medsovetМедицинский СоветMeditsinskiy sovet = Medical Council2079-701X2658-5790REMEDIUM GROUP Ltd.10.21518/ms2025-522medsovet-9702Research ArticleОРИГИНАЛЬНЫЕ ИССЛЕДОВАНИЯORIGINAL RESEARCHОценка надежности измерений легочных узлов при компьютерной томографии: ретроспективное исследованиеLung nodule measurement reliability in computed tomography: A retrospective studyhttps://orcid.org/0000-0002-5283-5961ВасильевЮ. А.VasilevYu. A.

Васильев Юрий Александрович - д.м.н., директор.

127051, Москва, ул. Петровка, д. 24, стр. 1

Yuriy A. Vasilev - Dr. Sci. (Med.), Director, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies.

24, Bldg. 1, Petrovka St., Moscow, 127051

npcmr@zdrav.mos.ruhttps://orcid.org/0000-0002-2681-9378БлохинИ. А.BlokhinI. A.

Блохин Иван Андреевич - к.м.н., начальник сектора исследований в лучевой диагностике отдела научных медицинских исследований.

127051, Москва, ул. Петровка, д. 24, стр. 1

Ivan A. Blokhin - Cand. Sci. (Med.), Head of the Radiation Diagnostics Research Sector of the Department of Scientific Medical Research, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies.

24, Bldg. 1, Petrovka St., Moscow, 127051

BlokhinIA@zdrav.mos.ruhttps://orcid.org/0000-0002-0166-3768КоденкоМ. Р.KodenkoM. R.

Коденко Мария Романовна - к.т.н., младший научный сотрудник отдела научных медицинских исследований, НПКЦ ДиТ; ассистент кафедры «Биомедицинские технические системы», МГТУ им. Н.Э. Баумана.

127051, Москва, ул. Петровка, д. 24, стр. 1; 105005, Москва, ул. 2-я Бауманская, д. 5

Maria R. Kodenko - Cand. Sci. (Eng.), Junior Researcher at the Department of Scientific Medical Research, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; Assistant Professor of the Department of Biomedical Engineering Systems, Bauman Moscow State Technical University.

24, Bldg. 1, Petrovka St., Moscow, 127051; 5, 2nd Baumanskaya St., Moscow, 105005

KodenkoMR@zdrav.mos.ruhttps://orcid.org/0000-0003-1117-0294СучиловаМ. М.SuchilovaM. M.

Сучилова Мария Максимовна - младший научный сотрудник отдела научных медицинских исследований.

127051, Москва, ул. Петровка, д. 24, стр. 1

Maria M. Suchilova - Junior Researcher at the Department of Scientific Medical Research, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies.

24, Bldg. 1, Petrovka St., Moscow, 127051

SuchilovaMM@zdrav.mos.ruhttps://orcid.org/0000-0002-2990-7736ВладзимирскийА. В.VladzymyrskyyA. V.

Владзимирский Антон Вячеславович - д.м.н., заместитель директора по научной работе, НПКЦ ДиТ; профессор кафедры информационных технологий и обработки медицинских данных, ПМГМУ им. И.М. Сеченова (Сеченовский Университет).

127051, Москва, ул. Петровка, д. 24, стр. 1; 119048, Москва, ул. Трубецкая, д. 8, стр. 2

Anton V. Vladzymyrskyy - Dr. Sci. (Med.), Deputy Director for Scientific Work, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies; Professor of the Department of Information Technology and Medical Data Processing, Sechenov First Moscow State Medical University (Sechenov University).

24, Bldg. 1, Petrovka St., Moscow, 127051; 8, Bldg. 2, Trubetskaya St., Moscow, 119991

VladzimirskijAV@zdrav.mos.ruhttps://orcid.org/0000-0002-0245-4431ОмелянскаяО. В.OmelyanskayaO. V.

Омелянская Ольга Васильевна - руководитель по управлению подразделениями Дирекции Наука.

127051, Москва, ул. Петровка, д. 24, стр. 1

Olga V. Omelyanskaya - Head of Division Management of the Directorate of Science, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies.

24, Bldg. 1, Petrovka St., Moscow, 127051

OmelyanskayaOV@zdrav.mos.ruhttps://orcid.org/0000-0002-9661-0254РешетниковР. В.ReshetnikovR. V.

Решетников Роман Владимирович - к.ф.-м.н., руководитель отдела научных медицинских исследований.

127051, Москва, ул. Петровка, д. 24, стр. 1

Roman V. Reshetnikov - Cand. Sci. (Phys. & Math.), Head of the Department of Scientific Medical Research, Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies.

24, Bldg. 1, Petrovka St., Moscow, 127051

ReshetnikovRV1@zdrav.mos.ruНаучно-практический клинический центр диагностики и телемедицинских технологийРоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine TechnologiesRussian FederationНаучно-практический клинический центр диагностики и телемедицинских технологий; Московский государственный технический университет имени Н.Э. БауманаРоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies; Bauman Moscow State Technical UniversityRussian FederationНаучно-практический клинический центр диагностики и телемедицинских технологий; Первый Московский государственный медицинский университет имени И.М. Сеченова (Сеченовский Университет)РоссияResearch and Practical Clinical Center for Diagnostics and Telemedicine Technologies; Sechenov First Moscow State Medical University (Sechenov University)Russian Federation202501012026021123129Copyright © Васильев Ю.А., Блохин И.А., Коденко М.Р., Сучилова М.М., Владзимирский А.В., Омелянская О.В., Решетников Р.В., 20262026Васильев Ю.А., Блохин И.А., Коденко М.Р., Сучилова М.М., Владзимирский А.В., Омелянская О.В., Решетников Р.В.Vasilev Y.A., Blokhin I.A., Kodenko M.R., Suchilova M.M., Vladzymyrskyy A.V., Omelyanskaya O.V., Reshetnikov R.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.med-sovet.pro/jour/article/view/9702Введение

Введение. В XIX веке медицинская визуализация практически повсеместно перешла от простой оценки наличия патологического признака к количественной оценке выявленных изменений. Несмотря на явную зависимость диагностической точности от степени погрешности при выполнении измерений, современные классификации рентгенологических ошибок не выделяют погрешность измерения как отдельную причину расхождений между специалистами. Мы считаем необходимым подробно изучить размер погрешности измерений врачей-рентгенологов в условиях, приближенных к рутинной практике, и определить возможность влияния такой ошибки на формирование правильной тактики лечения пациента.

Цель

Цель. Определить погрешность врачей-рентгенологов при измерении размеров легочного узла в ходе оппортунистического скрининга при компьютерной томографии органов грудной клетки (КТ ОГК).

Материалы и методы

Материалы и методы. Ретроспективное исследование проведено на материалах базы данных, содержащей разметку 3 897 нативных исследований КТ ОГК по стандартному протоколу. Разметка включала определение типа и среднего размера каждого легочного узла. Использовались следующие статистические методы обработки данных: оценка согласия разметчиков в оценке размеров очага – внутриклассовый коэффициент корреляции, погрешность измерений – пределы согласия (метод Бланда – Альтмана). Уровень значимости для всех статистических гипотез был принят равным 0,05.

Результаты

Результаты. В итоговый анализ после исследования на наличие выбросов включено 87 КТ-исследований, каждое из которых содержало единственный солидный легочный узел диаметром от 6 до 30 мм, независимо измеренный тремя врачами-рентгенологами. Медианный размер узла составил 10 мм. Внутриклассовый коэффициент корреляции составил 0,95 при 95% ДИ (0,93; 0,97). 95%-ный ДИ для максимальной абсолютной разности между разметчиками находится в диапазоне (1,5; 1,9) мм.

Выводы

Выводы. Погрешность измерения размеров солидного легочного узла при КТ ОГК тремя врачами-рентгенологами не превышает методологически установленного порога роста легочного узла.

Introduction

Introduction. In the 21st century, medical imaging evolved from simple assessment of the presence of a pathological sign to quantitative assessment of detected changes. Despite the obvious dependence of diagnostic accuracy on the degree of measurement error, modern classifications of radiologic errors do not single out measurement error as a separate cause of discrepancies between specialists. We consider it necessary to study in detail the size of measurement error of radiologists in conditions close to routine practice and to determine the possibility of the influence of such an error on the formation of the correct patient management tactics.

Aim

Aim. To determine radiologist discrepancy in measuring the pulmonary nodule size during opportunistic screening in chest computed tomography (CT).

Materials and methods

Materials and methods. A retrospective study was performed on a database containing the 3897 labeled native chest CT studies using a routine protocol. Experts determined the type and mean size of each pulmonary nodule. We used the following statistical methods: intraclass correlation coefficient to evaluate measurement reliability; limits of agreement (Bland-Altman method) to quantify measurement variability. The significance level for all statistical hypotheses was set to 0.05.

Results

Results. The final analysis included 87 CT studies, each containing a single solid pulmonary nodule with a diameter ranging from 6 to 30 mm, independently measured by three radiologists. The median nodule size was 10 mm. The intraclass correlation coefficient was 0.95 with 95% CI (0.93; 0.97). The 95% CI for the maximum absolute difference between observers ranged between (1.5; 1.9) mm.

Conclusion

Conclusion. The measurement disperancy between three radiologists for solid pulmonary nodule in chest CT did not exceed the methodologically established threshold for pulmonary nodule growth.

компьютерная томографиялегочный очагнадежность измеренийX-Ray Computed TomographySolitary Lung NoduleFinding ReproducibilityДанная статья подготовлена авторским коллективом в рамках научно-практического проекта в сфере медицины (№ ЕГИСУ: 123031500005-2) «Научное обоснование методов лучевой диагностики опухолевых заболеваний с использованием радиомического анализа».This article was prepared by a group of authors as a part of the medical research project (No. USIS [in the Unified State Information System for Accounting of Research, Development, and Technological Works]: 123031500005-2) “Scientific rationale for diagnostic radiology in oncology using radiomics”.ReferencesSullivan DC, Bresolin L, Seto B, Obuchowski NA, Raunig DL, Kessler LG. Introduction to metrology series. Stat Methods Med Res. 2015;24(1):3–8. https://doi.org/10.1177/0962280214537332.Sullivan DC, Bresolin L, Seto B, Obuchowski NA, Raunig DL, Kessler LG. Introduction to metrology series. Stat Methods Med Res. 2015;24(1):3–8. https://doi.org/10.1177/0962280214537332.Lederle FA, Wilson SE, Johnson GR, Reinke DB, Littooy FN, Acher CW et al. Variability in measurement of abdominal aortic aneurysms. J Vasc Surg. 1995;21(6):945–952. https://doi.org/10.1016/S0741-5214(95)70222-9.Lederle FA, Wilson SE, Johnson GR, Reinke DB, Littooy FN, Acher CW et al. Variability in measurement of abdominal aortic aneurysms. J Vasc Surg. 1995;21(6):945–952. https://doi.org/10.1016/S0741-5214(95)70222-9.Larici AR, Farchione A, Franchi P, Ciliberto M, Cicchetti G, Calandriello L et al. Lung nodules: size still matters. Eur Respir Rev. 2017;26:170025. https://doi.org/10.1183/16000617.0025-2017.Larici AR, Farchione A, Franchi P, Ciliberto M, Cicchetti G, Calandriello L et al. Lung nodules: size still matters. Eur Respir Rev. 2017;26:170025. https://doi.org/10.1183/16000617.0025-2017.Николаев АЕ, Сучилова ММ, Коркунова ОА, Блохин ИА, Гончар АП, Решетников РВ, Морозов СП. Терминология описания органов грудной клетки – рентгенография и компьютерная томография. М.: ГБУЗ «НПКЦ ДиТ ДЗМ»; 2022. 84 с.Николаев АЕ, Сучилова ММ, Коркунова ОА, Блохин ИА, Гончар АП, Решетников РВ, Морозов СП. Терминология описания органов грудной клетки – рентгенография и компьютерная томография. М.: ГБУЗ «НПКЦ ДиТ ДЗМ»; 2022. 84 с.Bankier AA, MacMahon H, Goo JM, Rubin GD, Schaefer-Prokop CM, Naidich DP. Recommendations for Measuring Pulmonary Nodules at CT: A Statement from the Fleischner Society. Radiology. 2017;285(2):584–600. https://doi.org/10.1148/radiol.2017162894.Bankier AA, MacMahon H, Goo JM, Rubin GD, Schaefer-Prokop CM, Naidich DP. Recommendations for Measuring Pulmonary Nodules at CT: A Statement from the Fleischner Society. Radiology. 2017;285(2):584–600. https://doi.org/10.1148/radiol.2017162894.Chelala L, Hossain R, Kazerooni EA, Christensen JD, Dyer DS, White CS. Lung-RADS Version 1.1: Challenges and a Look Ahead, From the AJR Special Series on Radiology Reporting and Data Systems. Am J Roentgenol. 2021;216(6):1411–1422. https://doi.org/10.2214/AJR.20.24807.Chelala L, Hossain R, Kazerooni EA, Christensen JD, Dyer DS, White CS. Lung-RADS Version 1.1: Challenges and a Look Ahead, From the AJR Special Series on Radiology Reporting and Data Systems. Am J Roentgenol. 2021;216(6):1411–1422. https://doi.org/10.2214/AJR.20.24807.Revel M-P, Bissery A, Bienvenu M, Aycard L, Lefort C, Frija G. Are Two-dimensional CT Measurements of Small Noncalcified Pulmonary Nodules Reliable? Radiology. 2004;231(2):453–458. https://doi.org/10.1148/radiol.2312030167.Revel M-P, Bissery A, Bienvenu M, Aycard L, Lefort C, Frija G. Are Two-dimensional CT Measurements of Small Noncalcified Pulmonary Nodules Reliable? Radiology. 2004;231(2):453–458. https://doi.org/10.1148/radiol.2312030167.Морозов СП, Кульберг НС, Гомболевский ВА, Ледихова НВ, Соколина ИА, Владзимирский АВ, Бардин АС. Свидетельство о государственной регистрации базы данных RU 2018620500. Тегированные результаты компьютерных томографий легких. 2018. Режим доступа: https://www.elibrary.ru/item.asp?id=39294439.Морозов СП, Кульберг НС, Гомболевский ВА, Ледихова НВ, Соколина ИА, Владзимирский АВ, Бардин АС. Свидетельство о государственной регистрации базы данных RU 2018620500. Тегированные результаты компьютерных томографий легких. 2018. Режим доступа: https://www.elibrary.ru/item.asp?id=39294439.Morozov SP, Kuzmina ES, Vetsheva NN, Gombolevskiy VA, Lantukh ZA, Polishuk NS et al. Moscow Screening: Lung Cancer Screening With Low-Dose Computed Tomography. Probl Sotsialnoi Gig Zdravookhranenniiai Istor Med. 2019;27:630–636. https://doi.org/10.32687/0869-866X-2019-27-si1-630-636.Morozov SP, Kuzmina ES, Vetsheva NN, Gombolevskiy VA, Lantukh ZA, Polishuk NS et al. Moscow Screening: Lung Cancer Screening With Low-Dose Computed Tomography. Probl Sotsialnoi Gig Zdravookhranenniiai Istor Med. 2019;27:630–636. https://doi.org/10.32687/0869-866X-2019-27-si1-630-636.Владзимирский АВ, Новик ВП, Павлов НА, Андрейченко АЕ, Блохин ИА, Гомболевский ВА и др. Свидетельство о государственной регистрации базы данных RU 2023621103. MosMedData: КТ с признаками рака легкого. 2023. Режим доступа: https://elibrary.ru/item.asp?id=52121950.Владзимирский АВ, Новик ВП, Павлов НА, Андрейченко АЕ, Блохин ИА, Гомболевский ВА и др. Свидетельство о государственной регистрации базы данных RU 2023621103. MosMedData: КТ с признаками рака легкого. 2023. Режим доступа: https://elibrary.ru/item.asp?id=52121950.Morozov SP, Gombolevskiy VA, Elizarov AB, Gusev MA, Novik VP, Prokudaylo SB et al. A simplified cluster model and a tool adapted for collaborative labeling of lung cancer CT scans. Comput Methods Programs Biomed. 2021;206:106111. https://doi.org/10.1016/j.cmpb.2021.106111.Morozov SP, Gombolevskiy VA, Elizarov AB, Gusev MA, Novik VP, Prokudaylo SB et al. A simplified cluster model and a tool adapted for collaborative labeling of lung cancer CT scans. Comput Methods Programs Biomed. 2021;206:106111. https://doi.org/10.1016/j.cmpb.2021.106111.Васильев ЮА, Савкина ЕФ, Владзимирский АВ, Омелянская ОВ, Арзамасов КМ. Обзор современных средств разметки цифровых диагностических изображений. Казанский медицинский журнал. 2023;104(5):750–760. https://doi.org/10.17816/KMJ349060.Vasilev YA, Savkina EF, Vladzymyrskyy AV, Omelyanskaya OV, Arzamasov KM. Overview of modern digital diagnostic image markup tools. Kazan Medical Journal. 2023;104(5):750–760. (In Russ.) https://doi.org/10.17816/KMJ349060.Kottner J, Audigé L, Brorson S, Donner A, Gajewski BJ, Hróbjartsson A et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. J Clin Epidemiol. 2011;64(1):96–106. https://doi.org/10.1016/j.jclinepi.2010.03.002.Kottner J, Audigé L, Brorson S, Donner A, Gajewski BJ, Hróbjartsson A et al. Guidelines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. J Clin Epidemiol. 2011;64(1):96–106. https://doi.org/10.1016/j.jclinepi.2010.03.002.Abu-Arafeh A, Jordan H, Drummond G. Reporting of method comparison studies: a review of advice, an assessment of current practice, and specific suggestions for future reports. Br J Anaesth. 2016;117(5):569–575. https://doi.org/10.1093/bja/aew320.Abu-Arafeh A, Jordan H, Drummond G. Reporting of method comparison studies: a review of advice, an assessment of current practice, and specific suggestions for future reports. Br J Anaesth. 2016;117(5):569–575. https://doi.org/10.1093/bja/aew320.Chow S-C, Shao J, Wang H, Lokhnygina Y (eds.). Sample size calculations in clinical research. Boca Raton: Taylor & Francis; 2017.Chow S-C, Shao J, Wang H, Lokhnygina Y (eds.). Sample size calculations in clinical research. Boca Raton: Taylor & Francis; 2017.Jones M, Dobson A, O’Brian S. A graphical method for assessing agreement with the mean between multiple observers using continuous measures. Int J Epidemiol. 2011;40(5):1308–1313. https://doi.org/10.1093/ije/dyr109.Jones M, Dobson A, O’Brian S. A graphical method for assessing agreement with the mean between multiple observers using continuous measures. Int J Epidemiol. 2011;40(5):1308–1313. https://doi.org/10.1093/ije/dyr109.Блохин ИА, Коденко МР, Шумская ЮФ, Гончар АП, Решетников РВ. Проверка гипотез исследования с использованием языка R. Digital Diagnostics. 2023;4(2):238−247. https://doi.org/10.17816/DD121368.Blokhin IA, Kodenko MR, Shumskaya YF, Gonchar AP, Reshetnikov RV. Hypothesis testing using R. Digital Diagnostics. 2023;4(2):238–247. (In Russ.) https://doi.org/10.17816/DD121368.Koo TK, Li MY. A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. J Chiropr Med. 2016;15(2):155–163. https://doi.org/10.1016/j.jcm.2016.02.012.Koo TK, Li MY. A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. J Chiropr Med. 2016;15(2):155–163. https://doi.org/10.1016/j.jcm.2016.02.012.MacMahon H, Naidich DP, Goo JM, Lee KS, Leung ANC, Mayo JR et al. Guidelines for Management of Incidental Pulmonary Nodules Detected on CT Images: From the Fleischner Society 2017. Radiology. 2017;284(1):228–243. https://doi.org/10.1148/radiol.2017161659.MacMahon H, Naidich DP, Goo JM, Lee KS, Leung ANC, Mayo JR et al. Guidelines for Management of Incidental Pulmonary Nodules Detected on CT Images: From the Fleischner Society 2017. Radiology. 2017;284(1):228–243. https://doi.org/10.1148/radiol.2017161659.Marten K, Auer F, Schmidt S, Kohl G, Rummeny EJ, Engelke C. Inadequacy of manual measurements compared to automated CT volumetry in assessment of treatment response of pulmonary metastases using RECIST criteria. Eur Radiol. 2006;16(4):781–790. https://doi.org/10.1007/s00330-005-0036-x.Marten K, Auer F, Schmidt S, Kohl G, Rummeny EJ, Engelke C. Inadequacy of manual measurements compared to automated CT volumetry in assessment of treatment response of pulmonary metastases using RECIST criteria. Eur Radiol. 2006;16(4):781–790. https://doi.org/10.1007/s00330-005-0036-x.Zhao B, James LP, Moskowitz CS, Guo P, Ginsberg MS, Lefkowitz RA et al. Evaluating Variability in Tumor Measurements from Same-day Repeat CT Scans of Patients with Non–Small Cell Lung Cancer. Radiology. 2009;252(1):263–272. https://doi.org/10.1148/radiol.2522081593.Zhao B, James LP, Moskowitz CS, Guo P, Ginsberg MS, Lefkowitz RA et al. Evaluating Variability in Tumor Measurements from Same-day Repeat CT Scans of Patients with Non–Small Cell Lung Cancer. Radiology. 2009;252(1):263–272. https://doi.org/10.1148/radiol.2522081593.Ziefle M. Effects of Display Resolution on Visual Performance. Hum Factors. 1998;40(4):554–568. https://doi.org/10.1518/001872098779649355.Ziefle M. Effects of Display Resolution on Visual Performance. Hum Factors. 1998;40(4):554–568. https://doi.org/10.1518/001872098779649355.Al-Ekrish AA, Ekram MIH, Al Faleh W, Alkhader M, Al-Sadhan R. The validity of different display monitors in the assessment of dental implant site dimensions in cone beam computed tomography images. Acta Odontol Scand. 2013;71(5):1085–1091. https://doi.org/10.3109/00016357.2012.741709.Al-Ekrish AA, Ekram MIH, Al Faleh W, Alkhader M, Al-Sadhan R. The validity of different display monitors in the assessment of dental implant site dimensions in cone beam computed tomography images. Acta Odontol Scand. 2013;71(5):1085–1091. https://doi.org/10.3109/00016357.2012.741709.Garland LH. On the Scientific Evaluation of Diagnostic Procedures: Presidential Address Thirty-fourth Annual Meeting of the Radiological Society of North America. Radiology. 1949;52:309–328. https://doi.org/10.1148/52.3.309.Garland LH. On the Scientific Evaluation of Diagnostic Procedures: Presidential Address Thirty-fourth Annual Meeting of the Radiological Society of North America. Radiology. 1949;52:309–328. https://doi.org/10.1148/52.3.309.Waite S, Scott J, Gale B, Fuchs T, Kolla S, Reede D. Interpretive Error in Radiology. AJR Am J Roentgenol. 2017;208(4):739–749. https://doi.org/10.2214/AJR.16.16963.Waite S, Scott J, Gale B, Fuchs T, Kolla S, Reede D. Interpretive Error in Radiology. AJR Am J Roentgenol. 2017;208(4):739–749. https://doi.org/10.2214/AJR.16.16963.Brady AP. Error and discrepancy in radiology: inevitable or avoidable? Insights Imaging. 2017;8(1):171–182. https://doi.org/10.1007/s13244-016-0534-1.Brady AP. Error and discrepancy in radiology: inevitable or avoidable? Insights Imaging. 2017;8(1):171–182. https://doi.org/10.1007/s13244-016-0534-1.Учеваткин АА, Юдин АЛ, Афанасьева НИ, Юматова ЕА. Оттенки серого: как и почему мы ошибаемся. Медицинская визуализация. 2020;24(3):123–145. https://doi.org/10.24835/1607-0763-2020-3-123-145.Uchevatkin AA, Yudin AL, Afanas’yeva NI, Yumatova EA. Shades of grey: how and why we make mistakes. Medical Visualization. 2020;24(3):123–145. (In Russ.) https://doi.org/10.24835/1607-0763-2020-3-123-145.Aras M, Erdil TY, Dane F, Gungor S, Ones T, Dede F et al. Comparison of WHO, RECIST 1.1, EORTC, and PERCIST criteria in the evaluation of treatment response in malignant solid tumors. Nucl Med Commun. 2016;37(1):9–15. https://doi.org/10.1097/MNM.0000000000000401.Aras M, Erdil TY, Dane F, Gungor S, Ones T, Dede F et al. Comparison of WHO, RECIST 1.1, EORTC, and PERCIST criteria in the evaluation of treatment response in malignant solid tumors. Nucl Med Commun. 2016;37(1):9–15. https://doi.org/10.1097/MNM.0000000000000401.Schwartz LH, Litière S, De Vries E, Ford R, Gwyther S, Mandrekar S et al. RECIST 1.1 –Update and clarification: From the RECIST committee. Eur J Cancer. 2016;62:132–137. https://doi.org/10.1016/j.ejca.2016.03.081.Schwartz LH, Litière S, De Vries E, Ford R, Gwyther S, Mandrekar S et al. RECIST 1.1 –Update and clarification: From the RECIST committee. Eur J Cancer. 2016;62:132–137. https://doi.org/10.1016/j.ejca.2016.03.081.Yoon SH, Kim KW, Goo JM, Kim D-W, Hahn S. Observer variability in RECIST-based tumour burden measurements: a meta-analysis. Eur J Cancer. 2016;53:5–15. https://doi.org/10.1016/j.ejca.2015.10.014.Yoon SH, Kim KW, Goo JM, Kim D-W, Hahn S. Observer variability in RECIST-based tumour burden measurements: a meta-analysis. Eur J Cancer. 2016;53:5–15. https://doi.org/10.1016/j.ejca.2015.10.014.Pinto A. Spectrum of diagnostic errors in radiology. WJR. 2010;2(10):377. https://doi.org/10.4329/wjr.v2.i10.377.Pinto A. Spectrum of diagnostic errors in radiology. WJR. 2010;2(10):377. https://doi.org/10.4329/wjr.v2.i10.377.

The authors declare that there are no conflicts of interest present.