KR20240020692A - Ai 기법을 활용한 자동 태아 심장 기능 측정 장치 및방법 - Google Patents
Ai 기법을 활용한 자동 태아 심장 기능 측정 장치 및방법 Download PDFInfo
- Publication number
- KR20240020692A KR20240020692A KR1020230102842A KR20230102842A KR20240020692A KR 20240020692 A KR20240020692 A KR 20240020692A KR 1020230102842 A KR1020230102842 A KR 1020230102842A KR 20230102842 A KR20230102842 A KR 20230102842A KR 20240020692 A KR20240020692 A KR 20240020692A
- Authority
- KR
- South Korea
- Prior art keywords
- fac
- fetal heart
- region
- heart
- area
- Prior art date
Links
- 210000002458 fetal heart Anatomy 0.000 title claims abstract description 101
- 230000004217 heart function Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000005259 measurement Methods 0.000 title claims abstract description 39
- 238000002604 ultrasonography Methods 0.000 claims abstract description 34
- 210000003754 fetus Anatomy 0.000 claims abstract description 27
- 230000002861 ventricular Effects 0.000 claims abstract description 18
- 230000035935 pregnancy Effects 0.000 claims abstract description 17
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims abstract description 13
- 210000004291 uterus Anatomy 0.000 claims abstract description 10
- 230000000747 cardiac effect Effects 0.000 claims abstract description 8
- 230000001746 atrial effect Effects 0.000 claims abstract description 5
- 238000000691 measurement method Methods 0.000 claims abstract description 3
- 238000013473 artificial intelligence Methods 0.000 claims description 42
- 210000005246 left atrium Anatomy 0.000 claims description 31
- 210000005245 right atrium Anatomy 0.000 claims description 31
- 230000011218 segmentation Effects 0.000 claims description 23
- 210000005240 left ventricle Anatomy 0.000 claims description 14
- 210000005241 right ventricle Anatomy 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 210000002837 heart atrium Anatomy 0.000 claims description 12
- 238000003745 diagnosis Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000001605 fetal effect Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000002592 echocardiography Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011511 automated evaluation Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 208000018695 congenital heart malformation Diseases 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036244 malformation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pregnancy & Childbirth (AREA)
- Gynecology & Obstetrics (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
AI 기법을 활용한 자동 태아 심장 기능 측정 장치, 및 AI 기법을 활용한 자동 태아 심장 기능 측정 방법을 실행하도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램이 제공된다. 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 방법은 초음파 영상에서 자궁 내 태아의 심장 위치를 탐지하고, 탐지된 심장 영역을 4개의 심장 영역으로 분류 및 분할하는 단계; 상기 초음파 영상에서 얻어지는 4개의 심장 영역에서 각 심방 및 심실 영역의 확장기말과 수축기말의 면적을 산출하는 단계; 산출된 면적을 기반으로 분할 영역 변화(FAC; Fractional Area Change) 값을 산출하는 단계; 및 산출된 FAC 값을 기초로 임신 중 태아의 심장 기능을 파악하는 단계를 포함할 수 있다.
Description
본 발명은 인공지능(AI; Artificial Intelligence) 기법을 활용한 자동 태아 심장 기능 측정 장치 및 방법에 관한 것으로, 상세하게는 임산부 초음파 촬영 시 AI를 이용하여 자궁 내 태아의 심장 부위를 자동으로 인식하고, 심장의 좌심방, 좌심실, 우심방, 우심실을 자동으로 분류하여 각 심방, 심실별 확장기말과 수축기말의 면적을 기반으로 산출된 분할 영역 변화(FAC; Fractional Area Change) 값을 기초로 태아의 심장 기능을 예측 및 진단하는 자동 태아 심장 기능 측정 장치 및 방법에 관한 것이다.
임신 중 초음파 기기는 태아의 진단에 가장 많이 활용되는 기기이다. 초음파 기기를 통해 태아의 몸무게나 양수량 등을 계측할 수 있으며, 이를 바탕으로 임상 진료가 시행될 수 있다. 이와 함께, 임신 중 초음파는 태아의 장기 등의 구조적인 이상을 확인하는데 도움을 줄 수 있다. 관련된 많은 연구 등을 통해 태아의 기형이나 이상 소견을 확인할 수 있으며, 이를 바탕으로 임상 진료를 시행하게 된다.
초음파를 통해서 다양한 장기의 기형을 진단하게 되는데, 특히 초음파를 이용하여 태아 심장에 대해서 구조적인 이상을 바탕으로 다양한 선천성 심장 기형의 진단이 가능하게 되었다. 하지만, 심장의 구조적인 이상은 기능적인 이상을 동반하게 되나, 태아의 심장 기능에 대한 자동화된 평가 시스템의 개발은 매우 부족한 상황이다.
특히, 태아의 심장 기능은 산모의 자궁을 통해 평가해야 하기 때문에 기존의 성인을 대상으로 한 심장 기능 평가 방법은 적용에 한계가 있다. 일부 태아 심장 기능을 평가하기 위한 방법이 연구되고는 있으나, 적용이 어려우며 무엇보다도 측정자가 심장의 경계를 구분하여 그려야 하기 때문에 검사 정확도가 떨어지고 검사에 많은 시간이 소요되는 한계가 있다.
본 발명은 태아의 심장 초음파 촬영 시 자동으로 심장 영역을 탐지 및 분류할 수 있으며, 각 심장 영역 별 확장기말과 수출기말의 면적을 계산하고, 계산된 면적을 기반으로 실시간으로 평균 분할 영역 변화(FAC; Fractional Area Change) 값을 산출하여 이를 기초로 임신 중 태아의 심장 기능을 자동으로 파악할 수 있는 AI 기법을 활용한 자동 태아 심장 기능 측정 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, AI 기법을 활용한 자동 태아 심장 기능 측정 방법을 실행하도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램이 제공된다. 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 방법은 초음파 영상에서 자궁 내 태아의 심장 위치를 탐지하고, 탐지된 심장 영역을 좌심방, 좌심실, 우심방 및 우심실의 4개의 심장 영역으로 분류 및 분할하는 단계; 상기 초음파 영상에서 얻어지는 4개의 심장 영역에서 각 심방 및 심실 영역의 확장기말의 면적과 수축기말의 면적을 산출하는 단계; 산출된 확장기말의 면적 및 수축기말의 면적을 기반으로 분할 영역 변화(FAC; Fractional Area Change) 값을 산출하는 단계; 및 산출된 FAC 값을 기초로 임신 중 태아의 심장 기능을 진단하는 단계를 포함할 수 있다.
상기 FAC 값을 산출하는 단계는 하기 수식에 따라 평균 FAC 값을 계산할 수 있다.
[수식]
상기 수식에서, End-Diastolic area는 확장기말 면적, End-Systolic area는 수축기말 면적이다.
본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 방법은 인공지능 학습부에 의해 EfficientDet 모델을 기반으로 인공지능을 학습하는 단계를 더 포함할 수 있다.
상기 분류 및 분할하는 단계는 상기 인공지능 학습부에 의해 학습된 인공지능을 이용하여 상기 심장 영역의 탐지 및 분할을 수행할 수 있다.
상기 EfficientDet 모델은 EfficientNet을 백본으로 BiFPN을 다수의 레이어로 쌓은 특징 네트워크와, 상기 특징 네트워크에 화소 단위로 심장 영역을 예측하는 분할 예측 레이어를 추가한 구조로 제공될 수 있다.
상기 EfficientNet은 하나 이상의 MBConv1과 하나 이상의 MBConv6, 풀링 레이어 및 완전연결 레이어가 연결된 구조로 제공될 수 있다.
상기 BiFPN은 1x1 크기의 컨볼루션 완전 연결 레이어로 구성되는 교차-스케일 연결 및 가중 특징 혼합 모델로 구현될 수 있다.
상기 분할 예측 레이어는 심장 영역을 처리하는 네트워크로서, 상기 BiFPN의 마지막 단에서 심장 영역을 분류하고, 심장의 경계 영역을 처리하는 레이어일 수 있다.
상기 태아의 심장 기능을 판단하는 단계는 산출된 FAC 값을 미리 설정된 기준 FAC 범위와 비교하는 단계; 산출된 FAC 값이 미리 설정된 기준 FAC 범위 이내이면 태아 심장의 기능을 정상으로 판별하는 단계; 및 산출된 FAC 값이 미리 설정된 기준 FAC 범위에 미달하거나 초과하면 태아 심장의 기능을 비정상으로 판별하는 단계를 포함할 수 있다.
좌/우 심방/심실의 각 영역별로 상기 기준 FAC 범위는 상이하게 설정되고, 상기 각 영역별 상기 기준 FAC 범위는 임신 개월수와 태아의 예측 체중 및 심장 크기 중의 적어도 하나에 따라 상이하게 설정될 수 있다.
상기 태아의 심장 기능을 판단하는 단계는 좌/우 심방/심실의 각 영역별 FAC 값 뿐만 아니라, 상기 좌/우 심방/심실의 각 영역별로 산출되는 FAC 값들의 비율을 기초로 태아의 심장 기능의 이상 여부를 판단하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치는 초음파 영상에서 자궁 내 태아의 심장 위치를 탐지하고, 탐지된 심장 영역을 좌심방, 좌심실, 우심방 및 우심실의 4개의 심장 영역으로 분류 및 분할하는 영상 탐지 및 분할부; 상기 초음파 영상에서 얻어지는 상기 4개의 심장 영역에서 각 심방 및 심실 영역의 확장기말의 면적 및 수축기말의 면적을 산출하는 면적 산출부; 산출된 확장기말의 면적 및 수축기말의 면적을 기반으로 분할 영역 변화(FAC; Fractional Area Change) 값을 산출하는 FAC 산출부; 및 산출된 FAC 값을 기초로 임신 중 태아의 심장 기능을 진단하는 태아 심장기능 진단부를 포함할 수 있다.
상기 FAC 산출부는 하기 수식에 따라 평균 FAC 값을 계산할 수 있다.
[수식]
상기 수식에서, End-Diastolic area는 확장기말 면적, End-Systolic area는 수축기말 면적이다.
본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치는 EfficientDet 모델을 기반으로 인공지능을 학습하는 인공지능 학습부를 더 포함할 수 있다.
상기 영상 탐지 및 분할부는 상기 인공지능 학습부에 의해 학습된 인공지능을 이용하여 상기 심장 영역의 탐지 및 분할을 수행할 수 있다.
상기 FAC 산출부는 상기 확장기말 면적과 상기 수축기말 면적의 차분 값을 연산하고, 상기 수축기말 면적에 대한 상기 차분 값의 비율을 기초로 상기 FAC 값을 산출할 수 있다.
상기 태아 심장기능 진단부는, 산출된 FAC 값을 미리 설정된 기준 FAC 범위와 비교하고, 산출된 FAC 값이 미리 설정된 기준 FAC 범위 이내이면 태아 심장의 기능을 정상으로 판별하고, 산출된 FAC 값이 미리 설정된 기준 FAC 범위에 미달하거나 초과하면 태아 심장의 기능을 비정상으로 판별할 수 있다.
상기 태아 심장기능 진단부는, 좌/우 심방/심실의 각 영역별 FAC 값 뿐만 아니라, 상기 좌/우 심방/심실의 각 영역별로 산출되는 FAC 값들의 비율을 기초로 태아의 심장 기능의 이상 여부를 판단할 수 있다.
본 발명의 실시예에 의하면, 태아의 심장 초음파 촬영 시 자동으로 심장 영역을 탐지 및 분류할 수 있으며, 각 심장 영역 별 확장기말과 수출기말의 면적을 계산하고, 계산된 면적을 기반으로 실시간으로 분할 영역 변화(FAC; Fractional Area Change)를 산출하여 이를 기초로 임신 중 태아의 심장 기능을 자동으로 파악할 수 있다.
도 1은 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 방법의 순서도이다.
도 2a는 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치의 구성도이다.
도 2b는 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치를 구성하는 태아 심장 기능 측정부의 구성도이다.
도 3은 학습을 위한 이미지 전처리 과정에 대해 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 학습/러닝 모델에 활용되는 EfficientDet-b0의 개념도이다.
도 5는 본 발명의 실시예에 따른 학습/러닝 모델에 활용되는 EfficientNet의 개념도이다.
도 6은 본 발명의 실시예에 따른 학습/러닝 모델에 활용되는 BiFPN의 개념도이다.
도 7은 본 발명의 실시예에 따라 태아의 심장 영역을 4개의 좌/우 심방/심실 영역으로 분할한 것을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따라 초음파 영상에서 태아 심장을 분할한 것을 나타낸 예시도이다.
도 2a는 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치의 구성도이다.
도 2b는 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치를 구성하는 태아 심장 기능 측정부의 구성도이다.
도 3은 학습을 위한 이미지 전처리 과정에 대해 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 학습/러닝 모델에 활용되는 EfficientDet-b0의 개념도이다.
도 5는 본 발명의 실시예에 따른 학습/러닝 모델에 활용되는 EfficientNet의 개념도이다.
도 6은 본 발명의 실시예에 따른 학습/러닝 모델에 활용되는 BiFPN의 개념도이다.
도 7은 본 발명의 실시예에 따라 태아의 심장 영역을 4개의 좌/우 심방/심실 영역으로 분할한 것을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따라 초음파 영상에서 태아 심장을 분할한 것을 나타낸 예시도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 발명된 실시예를 상세히 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "~모듈" 및 "~부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 명세서에서 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명이 생략될 수 있다. 첨부된 도면은 본 명세서에 발명된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 발명된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 본 명세서에서 "및/또는"의 용어는 구성요소들 중의 어느 하나 또는 구성요소들 중에서 선택되는 임의의 조합을 포괄하는 의미로 이해되어야 한다.
본 발명은 AI 기법을 활용한 자동 태아 심장 기능 측정 장치 및 방법을 개시한다. 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치 및 방법은 심장 초음파 촬영에 의해 태아 심장에 대해 실시간으로 획득된 영상의 단면에서 자궁 내 태아의 심장 위치를 자동으로 탐지하고, 탐지된 심장 영역을 4개의 심방 심실(좌심방, 좌심실, 우심방, 우심실)로 자동으로 분류 및 분할하며, 4개의 심장 영역(좌심방, 좌심실, 우심방 및 우심실 영역)에서 각 심방/심실 영역의 확장기말과 수축기말의 면적을 산출하고, 산출된 면적을 기반으로 분할 영역 변화(FAC; Fractional Area Change) 값을 실시간으로 산출하여 이를 기초로 임신 중 태아의 심장 기능을 파악한다.
도 1은 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 방법의 순서도이다. 도 2a는 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치의 구성도이다. 도 2b는 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치를 구성하는 태아 심장 기능 측정부의 구성도이다.
도 1, 도 2a 및 도 2b를 참조하여 설명하면, 본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 방법은 심장 초음파 촬영에 의해 태아 심장에 대해 실시간으로 획득된 초음파 영상의 단면에서 자궁 내 태아의 심장 위치를 자동으로 탐지하고, 탐지된 심장 영역을 4개의 심방/심실(좌심방, 좌심실, 우심방, 우심실) 심장 영역으로 자동으로 분류 및 분할하는 단계(S10); 초음파 영상의 각 프레임에서 얻어지는 4개의 심장 영역(좌심방, 좌심실, 우심방 및 우심실 영역)에서 각 심방/심실 영역의 확장기말과 수축기말의 면적을 산출하는 단계(S20); 산출된 면적을 기반으로 분할 영역 변화(FAC; Fractional Area Change) 값을 실시간으로 산출하는 단계(S30); 및 산출된 FAC 값을 기초로 임신 중 태아의 심장 기능을 파악하는 단계(S40)를 포함할 수 있다. 단계 S30에서, FAC 값은 확장기말 면적과 수축기말 면적의 차분 값을 기초로 산출될 수 있다. 실시예에서, FAC 값은 수축기말 면적에 대한 차분 값의 비율을 기초로 산출되는 평균 FAC 값일 수 있다.
본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치는 초음파 영상을 입력받고, 초음파 영상 내에서 분석 대상 범위를 자동 혹은 사용자의 입력에 의해 선정하며, 이후 심장의 4가지 영역(좌심방, 좌심실, 우심방, 우심실)을 딥러닝을 통해 자동으로 분류/분할 후, 각 심장 영역별 확장기말과 수축기말의 면적을 계산하고, 이를 바탕으로 FAC를 실시간 산출하여 사용자에게 표시하도록 구성될 수 있다.
본 발명의 실시예에 따른 AI 기법을 활용한 자동 태아 심장 기능 측정 장치(10)는 입력부(20), 태아 심장 기능 측정부(30), 출력부(40), 저장부(50), 및 제어부(60)를 포함할 수 있다. 제어부(60)는 입력부(20), 태아 심장 기능 측정부(30), 출력부(40), 및 저장부(50)의 기능 및/또는 동작을 제어하여 AI를 기반으로 자동 태아 심장 기능 측정 프로그램을 실행시키는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
입력부(20)는 심장 초음파 촬영에 의해 태아 심장에 대해 실시간으로 획득된 초음파 영상을 입력받는 영상 입력 인터페이스부(예컨대, 데이터 수신 장치)와, 의료 전문가 등의 사용자로부터 각종 정보나 제어 명령을 입력받는 사용자 입력 인터페이스부(예컨대, 키보드, 마우스, 터치패드 등의 입력 장치)를 포함할 수 있다.
태아 심장 기능 측정부(30)는 단면에서 자궁 내 태아의 심장 위치를 자동으로 탐지하고, 탐지된 심장 영역을 4개의 심방/심실(좌심방, 좌심실, 우심방, 우심실)에 해당하는 심방/심실 영역(좌심방 영역, 좌심실 영역, 우심방 영역, 우심실 영역)으로 자동으로 분류 및 분할하고, 초음파 영상의 각 프레임에서 얻어지는 4개의 심장 영역(좌심방, 좌심실, 우심방 및 우심실 영역)에서 각 심방/심실 영역의 확장기말과 수축기말의 면적을 산출하고, 산출된 면적을 기반으로 분할 영역 변화(FAC; Fractional Area Change) 값을 실시간으로 산출하며, 산출된 FAC 값을 기초로 임신 중 태아의 심장 기능을 파악하는 자동 태아 심장 기능을 실행하도록 구성될 수 있다.
출력부(40)는 심장 초음파 촬영에 의해 태아 심장에 대해 실시간으로 획득되는 초음파 영상, 태아 심장 기능 측정부(30)에 의해 분석되는 태아의 심장 기능 등을 출력할 수 있다. 출력부(40)의 표시 화면의 일측에는 입력 이미지(초음파 영상)에 예측된 심장 영역의 윤곽선이 표시되고, 확장기말과 수축기말의 면적 및 평균 FAC가 실시간으로 표시될 수 있다. 출력부(40)는 영상과 각종 정보를 표시하는 디스플레이부, 음성 출력부, 및/또는 출력물을 인쇄하는 인쇄부 등으로 구성될 수 있으나, 이에 한정되는 것은 아니다.
저장부(50)는 심장 초음파 촬영에 의해 태아 심장에 대해 실시간으로 획득되는 초음파 영상, 태아 심장 기능 측정부(30)에 해당하는 AI를 기반으로 한 자동 태아 심장 기능 측정 프로그램(알고리즘), 제어부(60)에 의해 실행되는 태아 심장 기능 측정부(30)의 자동 태아 심장 기능 측정 프로그램에 의해 분석되는 각종 정보(심방/심실 심장 영역, 확장기말과 수축기말의 면적, FAC 값 및/또는 태아의 심장 기능 분석 결과 등)를 저장하는 메모리를 포함할 수 있다.
태아 심장 기능 측정부(30)는 AI 학습을 위한 영상 전처리부(31)와, 러닝 모델 생성을 위한 인공지능 학습부(32), 심장의 4가지 영역(좌심방, 좌심실, 우심방, 우심실)을 딥러닝을 통해 자동으로 분류/분할하는 영상 탐지 및 분할부(33), 심장 영역 중 4개의 좌/우 심방/심실 영역에서 확장기말과 수축기말의 면적을 산출하는 면적 산출부(34), 산출된 면적을 기반으로 FAC 값을 산출하는 FAC 산출부(35), 및 산출된 FAC 값을 기초로 태아의 심장 기능을 진단하는 태아 심장기능 진단부(36)를 포함할 수 있다.
도 3을 참조하여 학습을 위한 영상 전처리 과정에 대해 설명한다. 다양한 심장 초음파 기기에 따라 초음파 영상의 크기가 다를 뿐만 아니라, 초음파가 표시되는 영역 또한 각각 다르게 나타난다. AI 모델이 학습할 영역은 태아의 심장 영역으로, 영상(이미지)에서 초음파 영상 부분만 딥러닝 학습하기 위해 범위 선정이 필요하다.
입력부(20)에 의해 입력되는 영상은 동영상 파일로, 사용자가 보는 영상 영역이 필요하다. 영상의 가장자리에 표시되는 텍스트는 딥러닝 모델 학습에 있어 노이즈(noise)처럼 작용하기 때문에 제외시킬 필요가 있다. 따라서, 학습 모델의 정확도 향상을 위해 모델이 분석할 영상 범위를 사용자가 선정해주는 부분이 필요하다.
영상 영역의 범위를 지정하는 방식은 분석 대상인 초음파 영상 범위의 네 모서리를 입력부(20)(예를 들어, 키보드나 마우스, 또는 터치 패드 등의 입력 인터페이스)를 이용하여 클릭하거나 터치 입력하는 등의 방식으로 수행될 수 있다. 도 3의 예에서, 사용자에 의해 입력되는 초음파 영상 범위의 네 모서리 부분이 녹색 점으로 도시되어 있다.
다음으로, 본 발명의 실시예에 따른 자동 태아 심장 기능 측정을 위한 AI 학습/러닝 모델 생성 과정에 대해 설명한다. 학습/러닝 모델에 비디오(video) 포맷(예를 들어, “.mp4”, “.avi” 등의 video 확장자)의 영상 데이터가 입력될 수 있다. 일 실시예에서, 학습/러닝 모델은 파이토치(pytorch)를 이용한 EfficientDet-b0을 활용하여 생성될 수 있다.
도 4는 본 발명의 실시예에 따른 학습/러닝 모델에 활용되는 EfficientDet-b0의 개념도이다. 도 4에 도시된 바와 같이, EfficientDet의 구조는 EfficientNet을 백본(backbone)으로 하여, BiFPN을 4 레이어(layer)로 쌓은 특징 네트워크를 사용한 구조에 픽셀 단위(pixel wise)로 심장 영역(segmentation logits)을 예측하는 분할 예측 레이어(segmentation prediction layer)를 추가한 구조로 제공될 수 있다. 백본 네트워크로 사용된 EfficientNet은 표 1과 같이 여러 개의 컨볼루션 레이어(conv layer)와 Mbconv(mobile inverted bottleneck convolutiono) 블록(block), 그리고 컨볼루션 1x1 (conv 1x1), 풀링(Pooling), 완전연결(FC; Fully Connected) 레이어로 이루어져 있다.
Conv 3x3은 3x3의 커널(kernel)과 32개의 채널(channel)을 사용한 convolutional (합성곱) layer를 한 개 쌓은 구조이다. 이후 3x3의 kernel과 16개의 channel을 사용하는 MBConv1 블록 한 개 → 3x3 kernel과 24개의 channel을 사용하는 MBConv6 블록 2개 → 5x5 kernel과 40개의 channel을 사용하는 MBConv6 블록 2개 → 3x3 kernel과 80개의 channel을 사용하는 MBConv6 블록 3개 → 5x5 kernel과 112개의 channel을 사용하는 MBConv6 블록 3개 → 5x5 kernel과 192개 channel을 사용하는 MBConv6 블록 4개 → 3x3 kernel과 320개의 channel을 사용하는 MBConv6 블록 1개를 쌓는다. 마지막으로, 1x1 kernel을 사용하는 convolutional layer 1개와 pooling layer, 그리고 dense layer인 fully connected layer를 1개 쌓는다. 각 layer와 MBConv 블록을 거친 후의 데이터의 크기(dimension)와 MBConv 블록의 구조는 도 5와 같다.
EfficientNet에 사용된 MBConv 블록은 MBConv1과 MBConv6이다. 먼저, MBConv1은 depthwise convolutional layer를 사용한다. Depthwise convolution은 모든 채널의 영향을 받는 일반적인 convolution과는 다르게 feature map을 각 채널 별로 쪼개서 단일 채널에 대해서만 convolution을 적용하는 방식으로, 연산량을 기하급수적으로 줄일 수 있다.
이후 batch normalization을 사용하여 batch의 전체 입력값들의 평균과 표준편차를 조정하는 정규화를 진행한다. Activation function으로는 sigmoid-weighted linear unit인 swish를 사용할 수 있다. 이후 Squeeze-and-Excitation 단계인 SE 네트워크에서는 global average pooling layer를 통해 2차원의 값들을 평균하여 하나의 값을 계산해낸 후, fully-connected layer와 ReLU activation, 그리고 다시 fully-connected layer와 Sigmoid activation function을 거친다. 이후 1x1 kernel의 convolution을 거친 후 batch normalization을 진행한다.
MBConv6의 경우, MBConv1 블록 앞에 3개의 layer가 추가된 것으로, 1x1 kernel의 convolution → batch normalization → sigmoid-weighted linear unit activation → (여기부터 MBConv1과 동일) depthwise convolution → batch normalization → sigmoid-weighted linear unit activation → squeeze-and-excitation → 1x1 kernel의 convolution → batch normalization을 거친다. 일반적인 MBConv를 제안한 MobileNetV2의 구조는 표 2와 같다. 이 중 EfficientNet에서는 MBConv1과 MBConv6만 사용하였다.
EfficientNet 다음으로 사용되는 feature network인 BiFPN은 1x1 크기의 컨볼루션 완전 연결 레이어로 구성되는 교차-스케일 연결 및 가중 특징 혼합 모델로 구현되며, 도 6과 같은 구조로 제공될 수 있다. BiFPN은 fully convolution network의 일종으로, 1x1 크기의 convolution이 fully-connected layer처럼 역할한다. 즉, 도 6에서의 각 node는 dense layer(= fully-connected layer)에서 weight와 bias를 통해 학습되는 neuron이었다면, 여기에서는 1x1의 convolution이다. 즉, BiFPN은 어떤 순서/경로로 convolution을 거칠지에 대한 방법이라고 할 수 있다.
BiFPN은 bidirectional FPN으로, cross-scale connection과 weighted feature fusion을 사용한다. 먼저, FPN이라는 개념은 feature pyramid net으로, 위의 뉴런부터 아래로 키워가는 top-down 방식의 fully convolutional 방법이다. BiFPN은 도 6의 보라색 선처럼 같은 scale에 연결 선인 edge를 추가하여 더 많은 feature들이 반영될 수 있도록 한 구조이다. 마지막으로, segmentation logits은 최종 심장 영역을 처리하는 네트워크이다. BiFPN layer의 마지막 단에서 심장 영역을 classification 하고, 면적의 boundary를 처리해주는 layer로 최종 prediction이 처리되는 부분이다.
도 7은 본 발명의 실시예에 따라 태아의 심장 영역을 4개의 좌/우 심방/심실 영역으로 분할한 것을 나타낸 도면이다. 심장 영역이 4개의 좌/우 심방/심실 영역으로 분할되면, 심장 영역에서 확장기말 및 수축기말 계산을 통해 평균 FAC를 산출하는 과정이 수행될 수 있다. 예측된 4개의 심방, 심실 영역에서 평균 FAC를 계산하기 위해서는 학습/ 러닝 모델 생성 단계에서 생성된 모델이 초음파 영상을 입력 받아 4개의 심장 영역 분할을 예측한 이미지와, 이를 기반으로 계산된 확장기말과 수축기말의 면적을 필요로 한다. 이미지와 영역의 범위가 입력되었다면 다음과 같은 (1) 내지 (4)의 순서로 각 심장 영역 별로 가장 많이 수축했을 때와 이완 했을 때의 면적을 계산한다.
(1) 모델의 입력으로 초음파 영상을 로드(load)
(2) 모델이 관측할 심장 영역에 대한 사용자 설정 (이미지는 초음파 영상을 초단위로 나눈 frame이고, frame의 크기는 (1024, 800)로 통일)
(3) 설정된 이미지 내에서 심장 영역 분할 예측 이미지를 생성
(4) 이미지에서 예측된 각 심장 영역 부분의 윤곽(contour)으로 면적을 계산.
일 실시예로, 파악된 면적의 경계(boundary) 색상은 도 8의 예시와 같이, 다음과 같이 설정될 수 있다.
좌심방: 빨강, 좌심실: 초록, 우심방: 파랑, 우심실: 노랑
실시예에서, 좌/우 심방/심실의 각 영역의 면적은 해당 영역 내의 픽셀의 개수를 기초로 산출될 수 있다. 마지막으로, 하기의 수식을 통해 평균 FAC 값을 계산하고, 계산된 평균 FAC 값을 기초로 태아 심장의 기능을 진단할 수 있다.
[수식]
(End-Diastolic area: 확장기말 면적, End-Systolic area: 수축기말 면적)
산출된 평균 FAC 값을 기초로 태아 심장의 기능을 진단하는 방법은 다양한 방식이 고려될 수 있다. 일 예로, 산출된 평균 FAC 값이 미리 설정된 기준 FAC 범위와 비교하여, 산출된 평균 FAC 값이 미리 설정된 기준 FAC 범위 이내이면 태아 심장의 기능을 정상으로 판별하고, 산출된 평균 FAC 값이 미리 설정된 기준 FAC 범위에 미달하거나 초과하면 태아 심장의 기능을 비정상으로 판별할 수 있다.
일 예에서, 좌/우 심방/심실의 각 영역별로 기준 FAC 범위는 임신 개월수나 태아의 예측 체중, 심장 크기 등에 따라 상이하게 설정될 수 있다. 이에 따라 임신 개월수나 태아의 체중 등에 맞는 심장 기능의 기준을 설정하여 태아의 심장 기능을 정확하게 평가할 수 있다. 또한, 좌/우 심방/심실의 각 영역별 FAC 값 뿐만 아니라, 좌/우 심방/심실의 각 영역별로 산출되는 평균 FAC 값들의 비율을 기초로 태아의 심장 기능의 이상 여부를 추가로 판단할 수도 있다.
일 실시예에서, 평균 FAC 값은 태아 심장의 반복된 확장/수축에 따라 순차적으로 산출되는 FAC 값들의 통계 처리를 통해 산출되는 값(예를 들어, 평균 값, 중간 값 등)일 수 있다. 다른 예로, 각 좌/우 심방/심실 영역 별로 산출되는 FAC 값들을 통계 처리한 값(평균 값, 중간 값 등)을 FAC 값으로 설정하여 태아의 심장 기능을 진단할 수도 있다.
이상에서 설명된 실시예들의 구성 중 적어도 일부는 하드웨어 구성요소, 소프트웨어 구성요소, 및/ 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.
예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어 및/ 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 설명된 본 발명의 실시예에 대한 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 자동 태아 심장 기능 측정 장치
20 : 입력부
30 : 태아 심장 기능 측정부
31 : 영상 전처리부
32 : 인공지능 학습부
33 : 영상 탐지 및 분할부
34 : 면적 산출부
35 : FAC 산출부
36 : 태아 심장기능 진단부
40 : 출력부
50 : 저장부
60 : 제어부
20 : 입력부
30 : 태아 심장 기능 측정부
31 : 영상 전처리부
32 : 인공지능 학습부
33 : 영상 탐지 및 분할부
34 : 면적 산출부
35 : FAC 산출부
36 : 태아 심장기능 진단부
40 : 출력부
50 : 저장부
60 : 제어부
Claims (21)
- AI 기법을 활용한 자동 태아 심장 기능 측정 방법을 실행하도록 컴퓨터로 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램으로서,
상기 AI 기법을 활용한 자동 태아 심장 기능 측정 방법은:
초음파 영상에서 자궁 내 태아의 심장 위치를 탐지하고, 탐지된 심장 영역을 좌심방, 좌심실, 우심방 및 우심실의 4개의 심장 영역으로 분류 및 분할하는 단계;
상기 초음파 영상에서 얻어지는 4개의 심장 영역에서 각 심방 및 심실 영역의 확장기말의 면적과 수축기말의 면적을 산출하는 단계;
산출된 확장기말의 면적 및 수축기말의 면적을 기반으로 분할 영역 변화(FAC; Fractional Area Change) 값을 산출하는 단계; 및
산출된 FAC 값을 기초로 임신 중 태아의 심장 기능을 진단하는 단계를 포함하는, 컴퓨터 프로그램. - 청구항 1에 있어서,
상기 FAC 값을 산출하는 단계는 하기 수식에 따라 평균 FAC 값을 계산하고,
[수식]
상기 수식에서, End-Diastolic area는 확장기말 면적, End-Systolic area는 수축기말 면적인, 컴퓨터 프로그램. - 청구항 1에 있어서,
상기 AI 기법을 활용한 자동 태아 심장 기능 측정 방법은 인공지능 학습부에 의해 EfficientDet 모델을 기반으로 인공지능을 학습하는 단계를 더 포함하고,
상기 분류 및 분할하는 단계는 상기 인공지능 학습부에 의해 학습된 인공지능을 이용하여 상기 심장 영역의 탐지 및 분할을 수행하는, 컴퓨터 프로그램. - 청구항 3에 있어서,
상기 EfficientDet 모델은 EfficientNet을 백본으로 BiFPN을 다수의 레이어로 쌓은 특징 네트워크와, 상기 특징 네트워크에 화소 단위로 심장 영역을 예측하는 분할 예측 레이어를 추가한 구조로 제공되는, 컴퓨터 프로그램. - 청구항 4에 있어서,
상기 EfficientNet은 하나 이상의 MBConv1과 하나 이상의 MBConv6, 풀링 레이어 및 완전연결 레이어가 연결된 구조로 제공되는, 컴퓨터 프로그램. - 청구항 4에 있어서,
상기 BiFPN은 1x1 크기의 컨볼루션 완전 연결 레이어로 구성되는 교차-스케일 연결 및 가중 특징 혼합 모델로 구현되는, 컴퓨터 프로그램. - 청구항 4에 있어서,
상기 분할 예측 레이어는 심장 영역을 처리하는 네트워크로서, 상기 BiFPN의 마지막 단에서 심장 영역을 분류하고, 심장의 경계 영역을 처리하는 레이어인, 컴퓨터 프로그램. - 청구항 1에 있어서,
상기 태아의 심장 기능을 판단하는 단계는:
산출된 FAC 값을 미리 설정된 기준 FAC 범위와 비교하는 단계;
산출된 FAC 값이 미리 설정된 기준 FAC 범위 이내이면 태아 심장의 기능을 정상으로 판별하는 단계; 및
산출된 FAC 값이 미리 설정된 기준 FAC 범위에 미달하거나 초과하면 태아 심장의 기능을 비정상으로 판별하는 단계를 포함하는, 컴퓨터 프로그램. - 청구항 8에 있어서,
좌/우 심방/심실의 각 영역별로 상기 기준 FAC 범위는 상이하게 설정되고, 상기 각 영역별 상기 기준 FAC 범위는 임신 개월수와 태아의 예측 체중 및 심장 크기 중의 적어도 하나에 따라 상이하게 설정되는, 컴퓨터 프로그램. - 청구항 8에 있어서,
상기 태아의 심장 기능을 판단하는 단계는:
좌/우 심방/심실의 각 영역별 FAC 값 뿐만 아니라, 상기 좌/우 심방/심실의 각 영역별로 산출되는 FAC 값들의 비율을 기초로 태아의 심장 기능의 이상 여부를 판단하는 단계를 더 포함하는, 컴퓨터 프로그램. - 초음파 영상에서 자궁 내 태아의 심장 위치를 탐지하고, 탐지된 심장 영역을 좌심방, 좌심실, 우심방 및 우심실의 4개의 심장 영역으로 분류 및 분할하는 영상 탐지 및 분할부;
상기 초음파 영상에서 얻어지는 상기 4개의 심장 영역에서 각 심방 및 심실 영역의 확장기말의 면적 및 수축기말의 면적을 산출하는 면적 산출부;
산출된 확장기말의 면적 및 수축기말의 면적을 기반으로 분할 영역 변화(FAC; Fractional Area Change) 값을 산출하는 FAC 산출부; 및
산출된 FAC 값을 기초로 임신 중 태아의 심장 기능을 진단하는 태아 심장기능 진단부를 포함하는, AI 기법을 활용한 자동 태아 심장 기능 측정 장치. - 청구항 11에 있어서,
상기 FAC 산출부는 하기 수식에 따라 평균 FAC 값을 계산하고,
[수식]
상기 수식에서, End-Diastolic area는 확장기말 면적, End-Systolic area는 수축기말 면적인, AI 기법을 활용한 자동 태아 심장 기능 측정 장치. - 청구항 11에 있어서,
EfficientDet 모델을 기반으로 인공지능을 학습하는 인공지능 학습부를 더 포함하고,
상기 영상 탐지 및 분할부는 상기 인공지능 학습부에 의해 학습된 인공지능을 이용하여 상기 심장 영역의 탐지 및 분할을 수행하는, AI 기법을 활용한 자동 태아 심장 기능 측정 장치. - 청구항 13에 있어서,
상기 EfficientDet 모델은 EfficientNet을 백본으로 BiFPN을 다수의 레이어로 쌓은 특징 네트워크와, 상기 특징 네트워크에 화소 단위로 심장 영역을 예측하는 분할 예측 레이어를 추가한 구조로 제공되는, AI 기법을 활용한 자동 태아 심장 기능 측정 장치. - 청구항 14에 있어서,
상기 EfficientNet은 하나 이상의 MBConv1과 하나 이상의 MBConv6, 풀링 레이어 및 완전연결 레이어가 연결된 구조로 제공되는, AI 기법을 활용한 자동 태아 심장 기능 측정 장치. - 청구항 14에 있어서,
상기 BiFPN은 1x1 크기의 컨볼루션 완전 연결 레이어로 구성되는 교차-스케일 연결 및 가중 특징 혼합 모델로 구현되는, AI 기법을 활용한 자동 태아 심장 기능 측정 장치. - 청구항 14에 있어서,
상기 분할 예측 레이어는 심장 영역을 처리하는 네트워크로서, 상기 BiFPN의 마지막 단에서 심장 영역을 분류하고, 심장의 경계 영역을 처리하는 레이어인, AI 기법을 활용한 자동 태아 심장 기능 측정 장치. - 청구항 11에 있어서,
상기 FAC 산출부는 상기 확장기말의 면적과 상기 수축기말의 면적의 차분 값을 연산하고, 상기 수축기말의 면적에 대한 상기 차분 값의 비율을 기초로 상기 FAC 값을 산출하는, AI 기법을 활용한 자동 태아 심장 기능 측정 장치. - 청구항 11에 있어서,
상기 태아 심장기능 진단부는, 산출된 FAC 값을 미리 설정된 기준 FAC 범위와 비교하고, 산출된 FAC 값이 미리 설정된 기준 FAC 범위 이내이면 태아 심장의 기능을 정상으로 판별하고, 산출된 FAC 값이 미리 설정된 기준 FAC 범위에 미달하거나 초과하면 태아 심장의 기능을 비정상으로 판별하는, AI 기법을 활용한 자동 태아 심장 기능 측정 장치. - 청구항 19에 있어서,
좌/우 심방/심실의 각 영역별로 상기 기준 FAC 범위는 상이하게 설정되고, 상기 각 영역별로 설정되는 상기 기준 FAC 범위는 임신 개월수와 태아의 예측 체중 및 심장 크기 중의 적어도 하나에 따라 상이하게 설정되는, AI 기법을 활용한 자동 태아 심장 기능 측정 장치. - 청구항 19에 있어서,
상기 태아 심장기능 진단부는, 좌/우 심방/심실의 각 영역별 FAC 값 뿐만 아니라, 상기 좌/우 심방/심실의 각 영역별로 산출되는 FAC 값들의 비율을 기초로 태아의 심장 기능의 이상 여부를 판단하는, AI 기법을 활용한 자동 태아 심장 기능 측정 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220098600 | 2022-08-08 | ||
| KR1020220098600 | 2022-08-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240020692A true KR20240020692A (ko) | 2024-02-15 |
Family
ID=89899383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230102842A KR20240020692A (ko) | 2022-08-08 | 2023-08-07 | Ai 기법을 활용한 자동 태아 심장 기능 측정 장치 및방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240020692A (ko) |
-
2023
- 2023-08-07 KR KR1020230102842A patent/KR20240020692A/ko unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10650518B2 (en) | Computer aided diagnosis (CAD) apparatus and method | |
| US11024025B2 (en) | Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy | |
| US10846853B2 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
| KR101908680B1 (ko) | 약한 지도 학습 기반의 기계 학습 방법 및 그 장치 | |
| JP2022188108A (ja) | 超音波分析のためのシステムおよび方法 | |
| Penso et al. | Automated left and right ventricular chamber segmentation in cardiac magnetic resonance images using dense fully convolutional neural network | |
| JP2023511300A (ja) | 医用画像における解剖学的構造を自動的に発見するための方法及びシステム | |
| CN111493935A (zh) | 基于人工智能的超声心动图自动预测识别方法及系统 | |
| Lim et al. | Artificial intelligence in cardiovascular imaging | |
| JP2022516146A (ja) | 脳血管疾患学習装置、脳血管疾患検出装置、脳血管疾患学習方法、及び脳血管疾患検出方法 | |
| KR20180076504A (ko) | 신경망을 이용한 간 경변 예측 장치 및 방법 | |
| Zhang et al. | Image segmentation and classification for sickle cell disease using deformable U-Net | |
| Rachmatullah et al. | Convolutional neural network for semantic segmentation of fetal echocardiography based on four-chamber view | |
| EP3929936A1 (en) | Automatic detection of covid-19 in chest ct images | |
| Zuluaga et al. | Voxelwise atlas rating for computer assisted diagnosis: Application to congenital heart diseases of the great arteries | |
| WO2021011775A1 (en) | Systems and methods for generating classifying and quantitative analysis reports of aneurysms from medical image data | |
| Abdulkareem et al. | Generalizable framework for atrial volume estimation for cardiac CT images using deep learning with quality control assessment | |
| CN115205192A (zh) | 根据头部ct图像的自动出血扩张检测 | |
| CN113096080B (zh) | 图像分析方法及系统 | |
| US11875507B1 (en) | Systems and methods for detecting cardiovascular anomalies using spatiotemporal neural networks | |
| Sushma et al. | Classification of fetal heart ultrasound images for the detection of CHD | |
| KR20240020692A (ko) | Ai 기법을 활용한 자동 태아 심장 기능 측정 장치 및방법 | |
| US20210150712A1 (en) | Image analysis device and image analysis method | |
| Akrami et al. | Addressing variance shrinkage in variational autoencoders using quantile regression | |
| KR20230139257A (ko) | 기계 학습 모델 기반의 ct 영상을 분류 및 분할하기 위한 방법 및 장치 |