RO138166A0 - Sistem de recunoaştere a formelor şi detecţia anomaliilor în morfologia fetală folosind inteligenţă artificială - Google Patents

Abstract

Invenţia se referă la un sistem de recunoaştere a formelor şi de detecţie a anomaliilor în morfologia fetală folosind inteligenţă artificială, destinat să ajute doctorul la ghidarea unei sonde ecografice pentru a obţine o bună vizualizare a planurilor biometrice fetale şi la verificarea prezenţei organelor unui făt, semnalând potenţialele anomalii congenitale aferente lor. Sistemul conform invenţiei cuprinde următoarele module: un modul de preprocesare a datelor în vederea construirii bazei de date de antrenament, un modul de diferenţiere a planurilor biometrice folosind etape competitiv/colaborative ale unui comitet de reţele neuronale, un modul de mixtură Gaussiană şi alţi algoritmi de învăţare statistică, un modul de identificare a organelor şi un modul de semnalare a anomaliilor congenitale bazat pe etapele competitiv/colaborative.

Description

RO 138166 AO

2/ uHCi JU Sî<-T fS'RU ÎiM-UTB Ci iăÂRCI Cerere de brevet de Imersie

......... 0 7 -08- 2023 □’i'.a eâps’it.........................^,·^,,·'··..2

DESCRIEREA INVENȚIEI „SISTEM DE RECUNOAȘTERE A FORMELOR ȘI DETECȚIA ANOMALIILOR ÎN MORFOLOGIA FETALĂ FOLOSIND INTELIGENȚĂ ARTIFICIALĂ”

l.l. TITLUL INVENȚIEI

Obiectul invenției constă într-un Sistem de recunoaștere a formelor și detecția anomaliilor în morfologia fetală folosind inteligență artificială, dezvoltat în cadrul proiectului Recunoașterea formelor și detecția anomaliilor în morfologia fetală utilizând Deep learning și învățare statistică - PARADISE (contract 101PCE/2022, număr proiect PN-III-PCE-2021-0057 acordat de Ministerul Cercetării, Inovării și Digitizării, CNCS-UEFISCDI, în cadrul PNCDI III).

1.2. DOMENIUL DE APLICARE AL INVENȚIEI

Sistemul propune o soluție pentru o scanare automată a morfologiei din trimestrul al doilea de sarcină, care determină automat planurile standard și segmentează structura anatomică, semnalând prezența unor anomalii congenitale, sistem ce se bazează pe o arhitectură de rețele neuronale convolutive (CNN). Interpretarea corectă a unei morfologii fetale prezintă dificultăți atât doctorilor fără experiență, cât și doctorilor cu experiență. Anomaliile congenitale reprezintă cea mai întâlnită cauză de deces fetală, mortalitate infantilă și morbiditate în anii copilăriei. La nivel mondial, în fiecare an, se nasc 7.9 milioane de copii cu anomalii congenitale. Unele dintre acestea pot fi controlate sau tratate, dar totuși 3.2 milioane de copii ajung să rămână cu dizabilități pe viață. Sistemul propus are ca scop analizarea imaginilor dintrun film ecografic și facilitarea stabilirii unui diagnostic de către medicul ginecolog. Răspunsul sistemului are rol informativ, diagnosticul final fiind pus de doctor.

1.3. STADIUL ACTUAL AL TEHNICII MONDIALE

Morfologia fetală este cel mai important instrument de diagnoză prenatală pentru determinarea anomaliilor congenitale. Ea permite evaluarea structurii și funcționalității organelor. Morfologia fetală nu este o procedură de rutină. Rata de detecție a unor anomalii congenitale pentru un doctor ginecolog cu peste 2000 de examinări este de doar 52% acuratețe, în timp ce rata de detecție pentru un doctor ginecolog cu mai puțin de 2000 de examinări este de 32.5% acuratețe, [1]. Discrepanța pre- și postnatală a anomaliilor congenitale printr-o examinare efectuată manual a fost raportată a fi de 29% la feții născuți vii (7% având un impact asupra îngrijirii pe termen lung) și de 23% în autopsiile fetale, [2]. Un diagnostic prenatal corect îmbunătățește îngrijirea neonatală și pediatrică, precum și rezultatul neurologic și chirurgical. Abordările actuale au limitări, sensibilitatea raportată fiind între 27.5% și 96%, [3]. Lipsa cunoștințelor ecografice necesare, oboseală, lipsa timpului, mișcarea involuntară a fătului, sau diferite caracteristici ale mamei, cum ar fi obezitatea, ar putea face dificilă sau, în unele cazuri, chiar imposibilă obținerea unui diagnostic corect.

în literatură au fost prezentate mai multe încercări de a crea un sistem automat de interpretare a morfologiilor fetale. Namburete et al. a propus o rețea neuronală complet convoluti vă pentru a segmenta creierul fetal 3D, [4]. în [5], s-a folosit o rețea neuronală convolutivă pentru evaluarea cardiaca automată folosind ultrasunete 4D, iar segmentare a plămânilor fetali și a creierului folosind Deep learning, telwfiee· selSoție* secvențială a caracteristicilor și mașini cu suport vectorial pentru imagini Abținute ρώτ rezonanță magnetică și ultrasunete. în [7], craniul fetal a fost segmentat folosmd Deej^Bâfflng.

I v ¹ î\ -.J

RO 138166 AO

2o

Dezavantajele comune ale sistemelor prezentate mai sus sunt: a), folosirea unei singure metode de Inteligență Artificială; b). segmentarea a doar unor părți din făt, nu fătul per ansamblu; (c) folosirea unor imagine scanate 3D/4D și RMN.

Problema tehnică pe care o rezolvă invenția constă în realizarea unui sistem inteligent de decizie ce folosește scanări 2D și îmbină algoritmi de Inteligență Artificială precum rețelele neuronale convolutive (Deep leaming) cu învățarea statistică. Spre deosebire de scanările 2D care sunt accesibile în orice spital sau cabinet privat, scanările 3D/4D și RMN necesită pregătire specială, condiții speciale, și este costisitoare.

1.4. SCOPUL INVENȚIEI

Rata de diagnosticare corectă a anomaliilor congenitale prin teste de screening este încă insuficientă. Problemele tehnice rezolvate de sistemului inteligent de decizie PARADISE sunt:

- asigurarea accesului pacientelor la îngrijiri medicale de înaltă calitate. Majoritatea femeilor nu-și permit îngrijire prenatală și cu atât mai mult nu își pot permite o morfologie fetală.

- ajutarea doctorilor ginecologi în a stabili un diagnostic corect, aducând tehnologia în fiecare oraș mic, chiar și în țările sărace, astfel încât să crească încrederea în rezultatele examenului morfologic.

- evitarea interpretării greșite din cauza oboselii, presiunii timpului, mișcărilor involuntare ale fătului, contracțiilor, sau a diferitelor caracteristici ale pacientei.

1.5. EXPUNEREA INVENȚIEI

Sistemul inteligent de decizie inventat realizează:

- ghidarea sondei·, sistemul inteligent ghidează sonda ecografului pentru o mai bună achiziție a planului biometric fetal, cu o acuratețe de peste 90%

- detecția automată de plan biometric fetal·. planurile fetale sunt detectate și stocate automat, fapt ce asigură că toate structurile anatomice sunt detectate și verificate

- semnalarea anomaliilor fetale·. sistemul inteligent de decizie semnalează constatări neobișnuite în imagini.

Sistemul cuprinde următoarele module, reprezentate în Figura 1:

1.

Modulul de construire a bazei de date: în urma efectuării morfologiei fetale de trimestru doi de sarcină, filmele ultrasonografice sunt salvate, urmând a fi împărțite în imagini consecutive. După un proces de anonimizare ce implică ștergerea elementelor personale din imagini prin preprocesarea lor în vederea identificării textului și altor artefacte cu CV2 [8] și Keras-OCR [9] și redesenarea zonelor șterse folosind culoarea pixelilor alăturați, imaginile sunt împărțite în planuri biometrice, iar organele fătului segmentate și etichetate corespunzător.

Modulul de diferențiere între planuri biometrice implică două etape:

a. Etapa competitivă: mai multe rețele neuronale convolutive sunt antrenate și validate pe baza de date construită în modulul 1. Deoarece algoritmii simt stocastici, se efectuează o analiză statistică a puterii, pentru a obți putere statistică cu eroare de tip I egală cu 0.05, pentru a^®! independente sunt necesare. Performanța de decizie a fiei este calculată ca fiind procentul de planuri biometrice con

le nei

RO 138166 AO

b. Se creează o ierarhie a performanțelor rețelelor neuronale folosind modele de mixtură Gaussiană împreuna cu o măsura statistică a capacității de diferențiere a planurilor ce ia în considerare acuratețea deciziei fiecărei rețele în faza de testare împreună cu deviația standard corespunzătoare. Diferențele dintre performanțe sunt analizate statistic folosind one-way ANOVA și testele posthoc Tukey, respectiv testul z pentru compararea proporțiilor. înainte de a efectua analiza statistică de comparație a performanțelor se efectuează teste de screening a normalității (testele Anderson-Darling și Jarque-Bera) și a egalității varianțelor (testele Levene și Brown-Forsythe).

Rețelele neuronale sunt grupate în clustere folosind modele de mixtură Gaussiane, luând în considerare acuratețea performanței în media și deviația standard corespunzătoare ei. Numărul de clustere este ales ținând cont de varianțele dinăuntrul și dintre clustere.

în sistem există două nivele de ierarhizare, cel format de metoda de mixtură Gaussiană, respectiv ierarhia rețelelor neuronale în fiecare cluster.

c. Etapa colaborativă: din fiecare cluster se va păstra cea mai performantă rețea neuronală căreia i se va asigna o pondere direct proporțională cu performanța ei normalizată cu performanța clusterului din care face parte (o combinație convexă a performanțelor medii), y, = Același calcul este efectuat și pentru normalizarea performanțelor dintre clustere

Ponderea fiecărei rețele neuronale o să fie calculată folosind formula y_£ · δ₀. Decizia finală a sistemului referitoare la stabilirea planului biometric va fi luată colaborativ printr-un sistem sinergetic de vot ponderat (figura 2).

Ilustrarea modului de stabilire a planului biometric e reprezentat în figura 2.

3. Modul de segmentare a organelor: după aplicarea modului de diferențiere a planurilor biometrică, se aplică YOLO pentru a segmenta organele, [10],

4. Modulul de semnalare a anomaliilor congenitale: se aplică același principiu ca la modulul de diferențiere dintre planurile biometrice, doar că în acest modul se diferențiază structurile între două clase normal și anormal.

Odată antrenat, sistemul se aplică pe morfologii fetale noi. Filmele se împart în imagini consecutive, care sunt clasificate de către sistem. Sistemul permite doctorului să aleagă care este probabilitatea dorită pentru identificarea planurilor biometrice, precum și probabilitatea pentru identificarea organelor, respectiv a clasificării lor ca fiind normale sau anormale. Imaginile care îndeplinesc cumulativ condițiile sunt stocate și etichetate conform răspunsului sistemului. Rezultatul este stocat pentru doctor pentru a fi verificat de către doctor ulterior.

în concluzie, avantajul acestui sistem inteligent de decizie dezvoltat contribuie semnificativ la îmbunătățirea fiabilității și detecției prenatale a anomaliilor congenitale care ar putea apărea la examinarea morfologiei fetale. Erorile datorate interpretării umane greșite constituie un motiv de îngrijorare. Doctorii ar putea să nu detecteze anomaliile congenitale și tratamentele posibile nu ar putea fi pregătite din timp și nici aplicate (întreruperea sarcinii, pregătirea echipei de neonatologie, a echipei de chirurgie etc.). Potențialul sistemului este evident, deoarece construiește un sistem inteligent de decizie care poate indica probleme ce pot fi ratate de ochiul neantrenat sau obosit. Invenția noastră are un impact asupra Inteligenței Artificiale aplicate în medicină, nu se limitează doar la un singur algoritm, iar validarea statistica elimina inducerea în eroare a practicii clinice sau a cercetărilor ulterioare. Folosirea unui singur algoritm de inteligență artificială nu este la fel de robustă precum un folosirea unui comitet de algoritmi de inteligen va

L

DIN f ΡΜ0Ά de încredgpXși i

RO 138166 AO componente au fost alese ierarhic de către alți algoritmi de învățare statistică pe baza evaluării statistice ale performanțelor lor.

Este greu de cuantificat impactul social și economic al sistemului. Un făt nediagnosticat cu anomalii congenitale duce la nașterea unui copil a cărui viața este amenințată, care ar putea avea una sau mai multe dizabilități, iar aceste lucruri afectează rutina zilnică a familiei și finanțele. Nivelul de afectare este greu de apreciat, deoarece depinde de gravitatea bolii și de situația asigurării de sănătate a familiilor. Pe lângă impactul social și economic, trebuie luat în considerare și impactul mental asupra familiei. Deci, invenția noastră creează un mediu ce va contribui semnificativ la sistemul de sănătate, industria medicală, farmaceutică, economică, și nu în ultimul rând, la bunăstarea fiecărui individ.

1.6. REFERINȚE

1. Tegnander, E., Eik-Nes, S.H., The examiner’s ultrasound experience has a significant impact on the detection rate of congenital heart defect at the second trimester fetal examination. Ultrasound Obstet Gyncol, 28, 8-14,2006.

2. Bensemlali, M., et al. Discordances between pre-natal and postnatal diagnoses of congenital heart diseases and impact on care strategies. J Am Coli Cardiol, 68, 921-930, 2016.

3. Salomon, L., et al., A score-based method for quality control of fetal images at routine second trimester ultrasound examination. Prenat Diagn, 28 (9), 822-827,2008.

4. Namburete, A. et al., Fully automated alignment of 3D fetal brain ultrasound to a canonical reference space using multi-task leaming. Med Image Anal. 46,1-14,2018.

5. Phillip, M. et al., Convolutional Neural Networks for Automated Fetal Cardiac Assessment using 4D B-Mode Ultrasound. 824-828,2019. doi: 10.1109/ISBI.2019.8759377.

6. Torrents-Barrena, J. et al. Assessment of radiomics and deep leaming for the segmenation of fetal and materna! anatomy in magnetic resonance imaging and ultrasound. Acad. Radiol., S 1076-6332( 19)30575-6,2019.

7. Al-Bander, B. et al., Improving fetal head countour detection by object localization with deep leaming. Zheng Y et al. (eds.). Annual Conference on Medical Image Understanding and Analysis, Springer, 142-150,2020.

8. https://pyDi.org/Droiectripencv-python/

9. https://keras-ocr.readthedocs.io/erv1atest/

1θ· https://docs.ultralytics.com/'

Claims (2)

1. RO 138166 AO
2. 2. REVENDICĂRI

   Rl. Sistemul inteligent de decizie folosit pentru a automatiza realizarea unei morfologii fetale de trimestrul al doilea bazat pe inteligență artificială compus din modulul (1) de construirea a bazei de date de antrenament prin anonimizarea datelor și eliminarea artefactelor folosind CV2 și Keras-ORC, modulul (2) de diferențierea a planurile biometrice folosind etapele competitiv/colaborative a comitetului de rețele neuronale, modelul de mixtură Gaussiană și ierarhizare lor statistică, modulul (3) de identificare a organelor folosind YOLO, și modulul (4) de semnalarea a anomaliilor congenitale bazat pe etapele competitiv/colaborative.

   R2. Sistemul automat de semnalare a anomaliilor fetale ce interacționează cu doctorul, conform revendicării Rl, ce este caracterizat prin colectarea datelor din filmele ecografice, analiza acestora, și retumarea detecția planurilor, a organelor fătului, și a deciziei cu privire la potențiala detecție a unei sau mai multor anomalii congenitale.