Перспективное направление автоматизации выявления врожденных аномалий внутреннего уха

Введение. По данным Всемирной организации здравоохранения, во всем мире насчитывается около 1,5 млрд людей с нарушением слуха, из которых 430 млн имеют тяжелые нарушения слуховой функции. Потеря слуха поражает 1–2 из каждых 1000 новорожденных. Выявление аномалий внутреннего уха является трудной задачей даже для опытных специалистов. Цель. Разработать полностью автоматизированную последовательность команд с конвейерной передачей данных для классификации дефектов внутреннего уха и обработка КТ-снимков аномалий внутреннего уха пациентов с использованием данного программного обеспечения.

Материалы и методы. В данном исследовании представлен первый автоматизированный метод классификации врожденных аномалий внутреннего уха. В экспериментальной части разработана трехмерная сеть строения улитки для 346 стандартных и 121 атипичных структур с помощью общей схемы сегментации, обученной исключительно на нормальной анатомии. В ФГБУ НМИЦО оториноларингологии ФМБА России за период с 2018 по 2024 г. проведено обследование 98 пациентов из них было 54 (55,5%) мальчика и 44 (44,5%) девочки в возрасте от 8 мес. до 6 лет (средний возраст 2,5 года) c аномалиями развития внутреннего уха и с тяжелыми нарушениями слуха, которым в последующем проводилась кохлеарная имплантация.

Результаты. Получена обобщенная средняя точность – 77% по 7 различным патологическим подгруппам среди нарушений в сравнении с профессиональным диагнозом отохирурга, специализирующегося на врожденных дефектах внутреннего уха. Обсуждение. Несмотря на то что автоматическое обнаружение различных типов аномалий внутреннего уха по сути является задачей классификации, из-за отсутствия репрезентативных и разнородных наборов данных, которые точно представляют все разнообразие этих врожденных дефектов развития, приходится использовать параметрический подход (определение ориентиров). Этот метод используется при стандартных данных для получения неявной информации, которая может потенциально обнаружить аномалию в строении неконтролируемым образом.

Выводы. Предложен первый метод автоматического определения врожденных аномалий развития внутреннего уха и продемонстрировано, что применение 3D-информации о форме улитки, извлеченной с помощью модели, обученной исключительно на стандартных структурах, достаточно для классификации дефектов развития, что имеет принципиальное значение для клинического применения.

1. Brotto D, Sorrentino F, Cenedese R, Avato I, Bovo R, Trevisi P et al. Genetics of inner ear malformations: A review. Audiol Res. 2021;11(4):524–536. https://doi.org/10.3390/audiolres11040047.

2. Korver AM, Smith RJ, Camp GV, Schleiss MR, Bitner-Glindzicz MA et al. Congenital hearing loss. Nat Rev Dis Primers. 2017;3(1):1–17. https://doi.org/10.1038/nrdp.2016.94.

3. Paludetti G, Conti G, Nardo WD, Сorso EDE, Rolesi R, Picciotti PM, Fetoni AR. Infant hearing loss: from diagnosis to therapy official report of xxi conference of italian society of pediatric otorhinolaryngology. Acta Otorhinolaryngolog Ital. 2012;32(6):347–370. Available at: https://pubmed.ncbi.nlm.nih.gov/23349554/.

4. Chakravorti S, Noble JH, Gifford RH, Dawant BM, OConnell BP, Wang J, Labadie RF. Further evidence of the relationship between cochlear implant electrode positioning and hearing outcomes. Otology Neurotol. 2019;40(5):617–624. https://doi.org/10.1097/MAO.0000000000002204.

5. Sennaroglu L, Bajin MD. Classification and current management of inner ear malformations. Balkan Med J. 2017;34(5):397–411. https://doi.org/10.4274/balkanmedj.2017.0367.

6. Dhanasingh A, Erpenbeck D, Assadi MZ, Doyle U, Roland P, Hagr A et al. A novel method of identifying inner ear malformation types by pattern recognition in the mid modiolar section. Sci Rep. 2021;11(1):20868. https://doi.org/10.1038/s41598-021-00330-6.

7. Dhanasingh AE, Weiss NM, Erhard V, Altamimi F, Roland P, Hagr A et al. A novel three-step process for the identification of inner ear malformation types. Laryngoscope Investig Otolaryngol. 2022;7(6):2020–2028. https://doi.org/10.1002/lio2.936.

8. Escude B, James C, Deguine O, Сochard N, Eter E, Fraysse B et al. The size of the cochlea and predictions of insertion depth angles for cochlear implant electrodes. Audiol Neurotol. 2006;11(1):27–33. https://doi.org/10.1159/000095611.

9. Lopez Diez P, Sorensen K, Sundgaard JV, Diab K, Margeta J, Patou F, Paulsen RR. Deep reinforcement learning for detection of inner ear abnormal anatomy in computed tomography. Springer Nature. 2022;137:697–706. https://doi.org/10.1007/978-3-031-16437-867.

10. Sato D, Hanaoka S, Nomura Y, Takenaga T, Miki S, Yoshikawa T et al. A primitive study on unsupervised anomaly detection with an autoencoder in emergency head CT volumes. Med Imag. 2018;10575:388–393. https://doi.org/10.1117/12.2292276.

11. Sajid S, Hussain S, Sarwar A. Brain tumor detection and segmentation in mr images using deep learning. Arab J Sci Engin. 2019;44(11):9249–9261. https://doi.org/10.1007/s13369-019-03967-8.

12. Wang S, Zhu Y, Lee S, Elton DC, Shen TC, Tang Y et al. Global-local attention network with multitask uncertainty loss for abnormal lymph node detection in mr images. Med Image Anal. 2022;77:102345. https://doi.org/10.1016/j.media.2021.102345.

13. Dou Q, Chen H, Yu L, Qin J, Heng PA. Multilevel contextual 3-d cnns for false positive reduction in pulmonary nodule detection. IEEE Trans Biomed Eng. 2017;64(7):1558–1567. https://doi.org/10.1109/TBME.2016.2613502.

14. Leemput KV, Maes F, Vandermeulen D, Colchester A, Suetens P. Automated segmentation of multiple sclerosis lesions by model outlier detection. IEEE Trans Med Imaging. 2001;20(8):677–688. https://doi.org/10.1109/42.938237.

15. Prastawa M, Bullitt E, Ho S, Gerig G. A brain tumor segmentation frame-work based on outlier detection. Med Image Anal. 2003;8(3):275–283. https://doi.org/10.1016/j.media.2004.06.007.

16. Taboada-Crispi A, Sahli H, Monteagudo MO, Falcon A, Pacheco DH. Anomaly Detection in Medical Image Analysis. In book: Handbook of Research on Advanced Techniques in Diagnostic Imaging and Biomedical Applications. 2009;27:426–446. https://doi.org/10.4018/978-1-60566-314-2.ch027.

17. Baur C, Wiestler B, Albarqouni S, Navab N. Deep autoencoding models for unsupervised anomaly segmentation in brain mr images. Cham: Springer International Publishing. 2019;1:161–169. https://doi.org/10.48550/arXiv.1804.04488.

18. Atlason HE, Love A, Sigurdsson S, Gudnason V, Ellingsen LM. Unsupervised brain lesion segmentation from MRI using a convolutional autoencoder. Med Imaging. 2019;10949:109491H. https://doi.org/10.1117/12.2512953.

19. Astaraki M, Smedby O, Wang C. Prior-aware autoencoders for lung pathology segmentation. Med Image Anal. 2022;80:10249. https://doi.org/10.1016/j.media.2022.102491.

20. Hou R, Peng Y, Grimm LJ, Ren Y, Mazurowski MA, Marks JR et al. Anomaly detection of calcifications in mammography based on 11,000 negative cases. IEEE Trans Biomed Eng. 2022;69(5);1639–1650. https://doi.org/10.1109/TBME.2021.3126281.

21. Chen X, You S, Tezcan KC, Konukoglu E. Unsupervised lesion detection via image restoration with a normative prior. Med Image Anal. 2020;64:101713. https://doi.org/10.1016/j.media.2020.101713.

22. Pawlowski N, Lee MJ, Rajchl M, McDonagh S, Ferrante E, Kamnitsas K et al. Unsupervised lesion detection in brain ct using bayesian convolutional autoencoders. In 1st Conference on Medical Imaging with Deep Learning – MIDL. 2018. https://www.research.ed.ac.uk/en/publications/unsupervised-lesion-detection-in-brain-ct-using-bayesian-convolut.

23. Zimmerer D, Isensee F, Petersen J, Kohl S, Maier-Hein K. Unsupervised Anomaly Localization Using Variational Auto-Encoders. In: Shen D, Liu T, Peters TM, Staib LH, Essert C, Zhou S, et al. (eds.). Medical Image Computing and Computer Assisted Intervention – MICCAI 2019. Springer, Cham.; 2019. Vol. 11767, pp 289–297. https://doi.org/10.1007/978-3-030-32251-9_32.

24. Schlegl T, Seebock P, Waldstein SM, Langs G, Schmidt-Erfurth U. f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks. Med Image Anal. 2019;54:30–44. https://doi.org/10.1016/j.media.2019.01.010.

25. Baur C, Graf R, Wiestler B, Albarqouni S, Navab N. SteGANomaly: Inhibiting cyclegan steganography for unsupervised anomaly detection in brain mri. In: Martel AL, Martel AL, Abolmaesumi P, Stoyanov D, Mateus D, Zuluaga MA, Zhou SK et al. (eds). Medical Image Computing and Computer Assisted Intervention – MICCAI 2020. Springer, Cham.; 2020. Vol. 12262, pp. 718–727. Available at: https://link.springer.com/chapter/10.1007/978-3-030-59713-9_69.

26. Sun L, Wang J, Huang Y, Ding X, Greenspan H, Paisley J. An adversarial learning approach to medical image synthesis for lesion detection. IEEE J Biomed Health Inform. 2020;24(8):2303–2314. https://doi.org/10.1109/JBHI.2020.2964016.

27. Schlegl T, Seebock P, Waldstein SM, Schmidt-Erfurth U, Langs G. Unsupervised anomaly detection with generative adversarial networks to guide marker discovery. Inform Proc Med Imag. 2017;1065:146–157. Available at: https://link.springer.com/chapter/10.1007/978-3-319-59050-9_12.

28. Pinaya W, Tudosiu H, Gray R, Rees G, Nachev P, Ourselin S, Cardoso MJ. Unsupervised brain imaging 3D anomaly detection and segmentation with transformers. Med Image Anal. 2022;79:102475. https://doi.org/10.1016/j.media.2022.102475.

29. Zhou K, Li J, Luo W, Li Z, Yang J, Fu H et al. Proxy-bridged image reconstruction network for anomaly detection in medical images. IEEE Trans Med Imaging. 2022;41(3):582–594. https://doi.org/10.1109/TMI.2021.3118223.

30. Pinaya WHL, Graham MS, Gray R, F Da Costa P, Tudosiu PD, Wright P et al. Fast unsupervised brain anomaly detection and segmentation with diffusion models. In: Wang L, Dou Q, Fletcher PT, Speidel S, Li S (eds). Medical Image Computing and Computer Assisted Intervention – MICCAI 2022. Springer, Cham.; 2022. Vol. 13438, pp. 705–714. https://doi.org/10.48550/arXiv.2206.03461.

31. Wolleb J, Bieder F, Sandkuhler R, Cattin PC. Diffusion models¨ for medical anomaly detection. In: Wang L, Dou Q, Fletcher PT, Speidel S, Li S (eds). Medical Image Computing and Computer Assisted Intervention – MICCAI 2022. Springer, Cham.; 2022. Vol. 13438, pp. 35–45. https://doi.org/10.48550/arXiv.2203.04306.

32. Silva-Rodriguez J, Naranjo V, Dolz J. Constrained unsupervised anomaly segmentation. Med Image Anal. 2022;80:102526. https://doi.org/10.1016/j.media.2022.102526.

33. Venkataramanan S, Peng K-C, Singh RV, Mahalanobis A. Attention guided anomaly localization in images. Computer Vision – ECCV. 2020;4(1):485–503. https://doi.org/10.48550/arXiv.1911.08616

34. Margeta J, Hussain R, Lopez Diez P, Morgenstern A, Demarcy T, Wang Z et al. A web-based automated image processing research platform for cochlear implantation-related studies. J Clin Med. 2022;11(22):6640. https://doi.org/10.3390/jcm11226640.

35. Lopez Diez P, Sundgaard JV, Patou F, Margeta J, Reinhold R. Facial and cochlear nerves characterization using deep reinforcement learning for landmark detection. In: Lecture Notes in Computer Science. Springer Nature; 2021, pp. 519–528. https://doi.org/10.1007/978-3-030-87202-1_50.

36. Trier P, Ostergaard Noe K, Sorensen MS, Mosegaard J. The visible ear surgery simulator. Stud Health Technol Inform. 2008;132:523–525. Available at: https://pubmed.ncbi.nlm.nih.gov/18391361/.

37. Yushkevich PA, Piven J, Hazlett CH, Smith RG, Ho S, Gee JC, Gerig G. Userguided 3D active contour segmentation of anatomical structures: Significantly improved efficiency and reliability. Neuroimage. 2006;31(3):1116–1128. https://doi.org/10.1016/j.neuroimage.2006.01.015.

38. Lopez DP, Juhl KA, Sundgaard JV, Diab H, Margeta J, Patou F, Paulsen RR. Deep reinforcement learning for detection of abnormal anatomies. Proceedings North Lights Deep Learn Workshop. 2022;3:1–8. https://doi.org/10.7557/18.6280.

39. Radutoiu AT, Patou F, Margeta J, Paulsen RR, Lopez Diez P et al. Accurate localization of inner ear regions of interests using deep reinforcement learning. In: Lian, C., Cao, X., Rekik, I., Xu, X., Cui, Z. (eds) Machine Learning in Medical Imaging. Springer, Cham; 2022, pp. 416–424. Available at: https://link.springer.com/chapter/10.1007/978-3-031-21014-3_43.

40. Charles RQ, Su H, Kaichun H, Guibas M. Pointnet: Deep learningon point sets for 3d classification and segmentation. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21-26 July 2017. IEEE; 2017, pp. 77–85.5. https://doi.org/10.1109/CVPR.2017.16.

41. Abadi M, Barham P, Chen J, Davis A, Dean J, Devin M et al. Tensor flow: A system for large-scale machine learning. Proceedings of the 12th USENIX Conference on Operating Systems Design and Implementation. 2016;16:265–283. Available at: https://www.scirp.org/reference/ReferencesPapers?ReferenceID=2616525.

42. Bekkouch IEI, Maksudov B, Kiselev S, Mustafaev T, Vrtovec T, Ibragimov B. Multi-landmark environment analysis with reinforcement learning for pelvic abnormality detection and quantification. Med Image Anal. 2022;78:102417. https://doi.org/10.1016/j.media.2022.102417.

43. Zhou SK, Le HN, Luu K, Nguyen HV, Ayache N. Deep reinforcement learning in medical imaging: A literature review. Med Image Anal. 2021;73:102193. https://doi.org/10.1016/j.media.2021.102193.

44. Soomro TA, Zheng L, Afifi AJ, Ali A, Soomro S, Yin M, Gao J. Image segmentation for MR brain tumor detection using machine learning: A review. IEEE Rev Biomed Eng. 2023;16:70–90. https://doi.org/10.1109/rbme.2022.3185292.