KR102660563B1 - 태아 심장의 이상 여부를 판단하는 초음파 진단 장치 및 초음파 진단 장치의 동작 방법 - Google Patents
태아 심장의 이상 여부를 판단하는 초음파 진단 장치 및 초음파 진단 장치의 동작 방법 Download PDFInfo
- Publication number
- KR102660563B1 KR102660563B1 KR1020180141136A KR20180141136A KR102660563B1 KR 102660563 B1 KR102660563 B1 KR 102660563B1 KR 1020180141136 A KR1020180141136 A KR 1020180141136A KR 20180141136 A KR20180141136 A KR 20180141136A KR 102660563 B1 KR102660563 B1 KR 102660563B1
- Authority
- KR
- South Korea
- Prior art keywords
- heart
- ultrasound
- fetal
- ultrasound image
- size
- Prior art date
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 311
- 210000002458 fetal heart Anatomy 0.000 title claims abstract description 78
- 230000005856 abnormality Effects 0.000 title claims abstract description 65
- 238000003745 diagnosis Methods 0.000 title claims description 103
- 210000002216 heart Anatomy 0.000 claims abstract description 256
- 210000003754 fetus Anatomy 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 47
- 210000000038 chest Anatomy 0.000 claims description 109
- 230000001605 fetal effect Effects 0.000 claims description 48
- 230000002159 abnormal effect Effects 0.000 claims description 26
- 238000010801 machine learning Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 13
- 230000000747 cardiac effect Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 22
- 239000000523 sample Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 208000002330 Congenital Heart Defects Diseases 0.000 description 12
- 230000005831 heart abnormality Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000012285 ultrasound imaging Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 229920001690 polydopamine Polymers 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 208000001166 dextrocardia Diseases 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000035935 pregnancy Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 208000011078 mesocardia Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 230000036266 weeks of gestation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0875—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/462—Displaying means of special interest characterised by constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/54—Control of the diagnostic device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pregnancy & Childbirth (AREA)
- Gynecology & Obstetrics (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Rheumatology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Human Computer Interaction (AREA)
- Fuzzy Systems (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
본 개시는 태아 심장의 이상 여부를 판단하는 초음파 진단 장치 및 그 동작 방법에 관한 것이다. 본 개시의 일 실시예는, 태아의 초음파 영상 상에서 심장의 위치를 검출하고, 검출된 심장의 위치에 기초하여 태아 심장의 이상 여부를 판단하는 초음파 진단 장치를 제공한다.
Description
본 개시는 태아 심장의 이상 여부를 판단하는 초음파 진단 장치 및 그 동작 방법에 관한 것이다. 구체적으로는, 태아의 초음파 영상 상에서 심장의 위치를 검출하고, 검출된 심장의 위치에 기초하여 태아 심장의 이상 여부를 판단하는 초음파 진단 장치에 관한 발명을 개시한다.
초음파 시스템은 초음파 프로브(probe)의 트랜스듀서(transducer)로부터 생성되는 초음파 신호를 대상체 내부의 소정 부위로 조사하고, 대상체 내부의 소정 부위로부터 반사된 에코 신호의 정보를 수신하여 대상체 내부의 부위에 대한 영상을 얻는다. 특히, 초음파 시스템은 대상체 내부의 관찰, 이물질 검출, 상해 측정, 특성들의 영상화 등 의학적 목적으로 사용된다.
태아의 초음파 영상을 분석하여 태아의 건강 상태를 파악하는데 있어서, 심장의 위치에 따른 이상 여부를 판단하는 것이 중요하다. 태아의 심장 초음파 영상 상에서 심장의 위치는 흉곽 내부의 왼쪽에 위치하여야 정상으로 분류된다. 그러나, 현재는 초음파 영상의 해석을 사용자(예를 들어, 의사)에만 의존하므로, 태아의 심장 이상 여부의 판단이 번거로울 뿐만 아니라, 정확하지 않아 심장 이상을 발견하지 못할 수도 있다.
본 개시의 일 실시예는, 태아의 심장 초음파 영상 상에서 심장의 위치를 검출하고, 검출된 심장 위치에 따라 태아 심장의 이상 여부를 판단하는 초음파 진단 장치 및 그 동작 방법을 제공한다.
본 개시의 일 실시예는, 태아 심장의 이상 여부에 관한 정보를 디스플레이하는 초음파 진단 장치 및 그 동작 방법을 제공한다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 태아의 심장에 관한 초음파 영상에서 태아의 흉곽 및 척추를 검출하는 단계; 상기 초음파 영상 상에서 태아의 흉곽의 좌우 방향에 관한 정보를 입력하는 사용자 입력을 수신하는 단계; 상기 초음파 영상에서 심장의 위치를 검출하는 단계; 및 상기 사용자 입력에 의해 입력된 좌우 방향 정보 및 검출된 심장의 위치 정보에 기초하여 태아 심장의 이상 여부를 판단하는 단계를 포함하는, 태아 심장의 이상 여부를 판단하는 방법을 제공한다.
예를 들어, 상기 태아 심장의 이상 여부를 판단하는 단계는 상기 초음파 영상 상에서 태아의 흉곽과 심장의 면적 정보에 기초하여 태아의 심장 크기의 이상 여부를 판단하는 단계를 포함할 수 있다.
예를 들어, 상기 태아 심장 크기의 이상 여부를 판단하는 단계는 상기 초음파 영상 상에서 태아의 흉곽의 면적 대비 심장의 면적의 비율을 계산하는 단계; 및 상기 계산된 면적 비율이 1/3을 초과하는 경우 심장 크기의 이상으로 결정하는 단계를 포함할 수 있다.
예를 들어, 상기 심장의 위치를 검출하는 단계는 상기 검출된 심장의 위치에 기초하여 심첨(cardiac apex)을 검출하는 단계를 포함하고, 상기 태아 심장의 이상 여부를 판단하는 단계는, 상기 검출된 심첨의 위치 및 방향 정보와 상기 검출된 심장 위치에 기초하여 태아의 심장의 이상 여부를 판단하는 단계를 포함할 수 있다.
예를 들어, 상기 심장의 위치를 검출하는 단계는 상기 초음파 영상을 심층 신경망(Deep Neural Network, DNN) 기반의 기계 학습 모델(Machine Learning)에 입력하는 학습(training)을 통해 상기 초음파 영상 내에 포함된 심장의 위치를 검출할 수 있다.
예를 들어, 상기 방법은 태아 심장의 이상 여부에 관한 정보를 숫자, 문자, 그래프, 이미지, 및 컬러 중 적어도 하나를 이용하여 표시하는 사용자 인터페이스(User Interface, UI)를 디스플레이하는 단계를 더 포함할 수 있다.
예를 들어, 상기 사용자 인터페이스를 디스플레이하는 단계는 상기 검출된 심장의 윤곽을 둘러싸는 가상의 선을 통해 상기 심장의 위치를 가이드하는 제1 UI를 디스플레이하는 단계를 포함할 수 있다.
예를 들어, 상기 사용자 인터페이스를 디스플레이하는 단계는 상기 검출된 흉곽의 면적과 상기 검출된 심장의 면적에 관한 비율 정보를 그래프 형태로 나타내는 제2 UI를 디스플레이하는 단계를 포함할 수 있다.
예를 들어, 상기 사용자 인터페이스를 디스플레이하는 단계는 상기 검출된 흉곽의 면적 대비 정상 범위에 해당되는 심장의 면적 크기의 범위를 컬러로 나타내는 컬러 맵을 상기 초음파 영상 상에 오버랩하여 디스플레이하는 단계를 포함할 수 있다.
예를 들어, 상기 사용자 인터페이스를 디스플레이하는 단계는 임신 주수에 따른 흉곽의 크기 대비 태아의 심장 크기의 비율을 그래프 상에 나타내는 주수별 심장 크기 그래프를 디스플레이하는 단계를 포함하고, 상기 주수별 심장 크기 그래프는 정상 범위의 심장 크기에 해당되는 값에 관한 가이드 라인을 포함할 수 있다.
예를 들어, 상기 방법은 태아의 심장에 이상이 있는 것으로 판단되는 경우 경고 메시지를 출력하는 단계를 더 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 태아의 심장에 관한 초음파 영상 상에서 태아의 흉곽의 좌우 방향에 관한 정보를 입력하는 사용자 입력을 수신하는 사용자 입력부; 및 상기 초음파 영상에서 태아의 흉곽 및 척추를 검출하고, 상기 초음파 영상에서 심장의 위치를 검출하고, 상기 사용자 입력에 의해 입력된 좌우 방향 정보 및 검출된 심장 위치에 기초하여 태아 심장의 이상 여부를 판단하는 제어부를 포함하는, 초음파 진단 장치를 제공한다.
예를 들어, 상기 제어부는 상기 초음파 영상 상에서 태아의 흉곽과 심장의 면적 정보에 기초하여 태아의 심장 크기의 이상 여부를 판단할 수 있다.
예를 들어, 상기 제어부는 상기 초음파 영상 상에서 태아의 흉곽의 면적 대비 심장의 면적의 비율을 계산하고, 상기 계산된 면적 비율이 1/3을 초과하는 경우 심장 크기의 이상으로 결정할 수 있다.
예를 들어, 상기 제어부는 상기 검출된 심장의 위치에 기초하여 심첨(cardiac apex)을 검출하고, 상기 검출된 심첨의 위치 및 방향 정보와 상기 검출된 심장 위치에 기초하여 태아 심장의 이상 여부를 판단할 수 있다.
예를 들어, 상기 제어부는 상기 초음파 영상을 심층 신경망(Deep Neural Network, DNN) 기반의 기계 학습 모델(Machine Learning)에 입력하는 학습(training)을 통해 상기 초음파 영상 내에 포함된 심장의 위치를 검출하는 기계 학습 모듈을 포함할 수 있다.
예를 들어, 상기 초음파 진단 장치는 태아 심장의 이상 여부에 관한 정보를 숫자, 문자, 그래프, 이미지, 및 컬러 중 적어도 하나를 이용하여 표시하는 사용자 인터페이스(User Interface, UI)를 디스플레이하는 디스플레이부를 더 포함할 수 있다.
예를 들어, 상기 디스플레이부는 상기 검출된 심장의 윤곽을 둘러싸는 가상의 선을 통해 상기 심장의 위치를 가이드하는 제1 UI를 디스플레이할 수 있다.
예를 들어, 상기 디스플레이부는 상기 검출된 흉곽의 면적과 상기 검출된 심장의 면적에 관한 비율 정보를 그래프 형태로 나타내는 제2 UI를 디스플레이할 수 있다.
예를 들어, 상기 디스플레이부는 상기 검출된 흉곽의 면적 대비 정상 범위에 해당되는 심장의 면적 크기의 범위를 컬러로 나타내는 컬러 맵을 상기 초음파 영상 상에 오버랩하여 디스플레이할 수 있다.
예를 들어, 상기 디스플레이부는 임신 주수에 따른 흉곽의 크기 대비 태아의 심장 크기의 비율을 그래프 상에 나타내는 주수별 심장 크기 그래프를 디스플레이하고, 상기 주수별 심장 크기 그래프는 정상 범위의 심장 크기에 해당되는 값에 관한 가이드 라인을 포함할 수 있다.
예를 들어, 상기 디스플레이부는 태아의 심장에 이상이 있는 것으로 판단되는 경우 경고 메시지를 디스플레이할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품을 제공하고, 상기 저장 매체는 태아의 심장에 관한 초음파 영상에서 태아의 흉곽 및 척추를 검출하는 단계; 사용자 입력부를 통해 상기 초음파 영상 상에서 태아의 흉곽의 좌우 방향에 관한 정보를 입력하는 사용자 입력을 수신하는 단계; 상기 사용자 입력에 의해 입력된 좌우 방향 정보에 기초하여 상기 초음파 영상에서 심장의 위치를 검출하는 단계; 및 검출된 심장 위치에 기초하여 태아 심장의 이상 여부를 판단하는 단계를 수행하는 명령어들을 포함할 수 있다.
본 개시의 일 실시예에는 태아의 심장 초음파 영상을 분석하여 태아 심장의 이상 여부를 자동으로 판단하고, 심장의 이상 여부에 관한 정보를 디스플레이함으로써 진단의 정확성 및 사용자 편의성을 향상시킬 수 있다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 초음파 진단 장치를 이용하여 태아의 심장 초음파 영상을 획득하고, 심장의 이상 여부를 판단하고, 태아 심장의 이상 여부에 관한 정보를 디스플레이하는 실시예를 도시한 개념도이다.
도 2는 태아의 심장 초음파 영상 상에서의 정상 심장 위치 및 비정상 심장 위치에 관한 예시이다.
도 3은 본 개시의 일 실시예에 따른 초음파 진단 장치의 구성 요소를 도시한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 태아의 심장의 이상 여부를 판단하는 방법의 각 단계를 도시한 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아 심장의 면적 크기에 따른 심장 이상 여부를 판단하는 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 초음파 영상 상에서 태아의 심장 위치 및 심첨(cardiac apex)를 검출하는 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 초음파 진단 장치가 기계 학습 모델(Machine Learning)을 이용하여 태아의 초음파 영상 상에서 심장을 검출하는 방법을 설명하기 위한 도면이다.
도 8a 내지 도 8g는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 이상 여부에 관한 정보를 표시하는 사용자 인터페이스(User Interface, UI)의 예시를 도시한 도면들이다.
도 9a 및 도 9b는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 초음파 영상 상에서 심장의 이상 여부에 관한 정보를 표시하는 사용자 인터페이스의 예시를 도시한 도면들이다.
도 10a 및 도 10b는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 초음파 영상 상에서 심장의 이상 여부에 관한 정보를 표시하는 사용자 인터페이스의 예시를 도시한 도면들이다.
도 11a 및 도 11b는 임신 주수별로 태아의 흉곽의 크기 대비 심장의 크기의 비율을 나타내는 그래프를 디스플레이하는 실시예를 도시한 도면들이다.
도 12는 본 개시의 일 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 13a 내지 도 13c는 본 개시의 일 실시예에 따른 초음파 진단 장치를 나타내는 도면들이다.
도 1은 초음파 진단 장치를 이용하여 태아의 심장 초음파 영상을 획득하고, 심장의 이상 여부를 판단하고, 태아 심장의 이상 여부에 관한 정보를 디스플레이하는 실시예를 도시한 개념도이다.
도 2는 태아의 심장 초음파 영상 상에서의 정상 심장 위치 및 비정상 심장 위치에 관한 예시이다.
도 3은 본 개시의 일 실시예에 따른 초음파 진단 장치의 구성 요소를 도시한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 태아의 심장의 이상 여부를 판단하는 방법의 각 단계를 도시한 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아 심장의 면적 크기에 따른 심장 이상 여부를 판단하는 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 초음파 영상 상에서 태아의 심장 위치 및 심첨(cardiac apex)를 검출하는 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 초음파 진단 장치가 기계 학습 모델(Machine Learning)을 이용하여 태아의 초음파 영상 상에서 심장을 검출하는 방법을 설명하기 위한 도면이다.
도 8a 내지 도 8g는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 이상 여부에 관한 정보를 표시하는 사용자 인터페이스(User Interface, UI)의 예시를 도시한 도면들이다.
도 9a 및 도 9b는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 초음파 영상 상에서 심장의 이상 여부에 관한 정보를 표시하는 사용자 인터페이스의 예시를 도시한 도면들이다.
도 10a 및 도 10b는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 초음파 영상 상에서 심장의 이상 여부에 관한 정보를 표시하는 사용자 인터페이스의 예시를 도시한 도면들이다.
도 11a 및 도 11b는 임신 주수별로 태아의 흉곽의 크기 대비 심장의 크기의 비율을 나타내는 그래프를 디스플레이하는 실시예를 도시한 도면들이다.
도 12는 본 개시의 일 실시예에 따른 초음파 진단 장치의 구성을 도시한 블록도이다.
도 13a 내지 도 13c는 본 개시의 일 실시예에 따른 초음파 진단 장치를 나타내는 도면들이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"(part, portion)라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
명세서 전체에서 "대상체"는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다. 또한, 대상체는 팬텀(phantom)일 수도 있으며, 팬텀은 생물의 밀도와 실효 원자 번호에 아주 근사하고 생물의 부피와 아주 근사한 물질을 의미할 수 있다. 예를 들어, 팬텀은, 인체와 유사한 특성을 갖는 구형 팬텀일 수 있다.
또한, 명세서 전체에서 "사용자"는 초음파 영상 장치를 사용하는 자로서, 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 초음파 영상 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지는 않는다.
또한, 본 명세서에서, "제1", "제2" 또는 "제1-1" 등의 표현은 서로 다른 구성 요소, 개체, 영상, 픽셀 또는 패치를 지칭하기 위한 예시적인 용어이다. 따라서, 상기 "제1", "제2" 또는 "제1-1" 등의 표현이 구성 요소 간의 순서를 나타내거나 우선 순위를 나타내는 것은 아니다.
이하에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 본 개시의 일 실시예에 따른 초음파 진단 장치(100)가 태아의 심장에 관한 초음파 영상을 획득하고, 태아 심장의 이상 여부를 판단하는 방법을 도시한 개념도이다.
도 1을 참조하면, 사용자(1)는 초음파 진단 장치(100)의 프로브(120)를 통해 태아(10)의 심장에 관한 초음파 영상(140)을 획득할 수 있다. 일 실시예에서, 프로브(120)는 태아(10)를 임신한 임산부의 복부에 초음파를 조사하고, 임산부의 복부로부터 반사되는 초음파 에코 신호를 수신하고, 수신된 초음파 에코 신호를 신호 처리하여 태아의 초음파 영상(140)을 획득할 수 있다. 초음파 진단 장치(100)는 태아의 심장에 관한 초음파 영상(140)을 디스플레이부(130) 상에 디스플레이할 수 다.
일 실시예에서, 초음파 진단 장치(100)는 태아의 초음파 영상(140) 상에서 태아의 흉곽 및 척추를 검출하고, 흉곽 및 척추의 위치에 기초하여 심장의 위치를 검출할 수 있다. 일 실시예에서, 초음파 진단 장치(100)는 사용자 입력부(110)를 통해 초음파 영상(140) 상에서의 좌우 방향 정보를 입력하는 사용자 입력을 수신할 수 있다. 초음파 진단 장치(100)는 초음파 영상(140)에서 태아의 심장 위치를 검출하고, 사용자 입력에 의해 입력된 좌우 방향 정보 및 검출된 심장의 위치에 기초하여 태아의 심장의 이상 여부를 판단할 수 있다. 구체적으로, 초음파 진단 장치(100)는 사용자 입력부(110)를 통해 수신된 사용자 입력에 의해 설정된 흉곽의 좌우 방향 대비 심장의 위치를 인식하고, 인식된 심장의 위치가 정상인지 비정상인지 여부를 판단할 수 있다.
일 실시예에서, 초음파 진단 장치(100)는 태아의 심장의 위치 뿐만 아니라, 심장의 면적 크기에 기초하여 심장의 이상 여부를 판단할 수도 있다. 이에 대해서는 도 5에서 상세하게 설명하기로 한다.
일 실시예에서, 초음파 진단 장치(100)는 심장의 위치, 심첨(cardiac apex)의 위치 및 방향 정보에 기초하여 태아 심장의 이상 여부를 판단할 수 있다. 이에 대해서는 도 6에서 상세하게 설명하기로 한다.
초음파 진단 장치(100)는 디스플레이부(130) 상에 태아의 심장의 이상 여부에 관한 정보를 숫자, 문자, 그래프, 이미지, 및 컬러 중 적어도 하나를 이용하여 표시하는 사용자 인터페이스(User Interface, UI)(151 내지 155)를 디스플레이할 수 있다. 일 실시예에서, 디스플레이부(130)는 초음파 영상(140)과 사용자 인터페이스(151 내지 155)를 함께 표시할 수 있다. 예를 들어, 디스플레이부(130)는 초음파 영상(140) 상에 사용자 인터페이스(151 내지 155)를 오버랩(overlap)하여 표시할 수 있다.
사용자 인터페이스(151 내지 155) 중 제1 UI(151)는 태아의 흉곽의 좌우 방향 정보를 나타낼 수 있다. 초음파 영상(140) 상에서의 태아의 흉곽의 좌우 방향은 사용자 입력부(110)를 통해 수신된 사용자 입력에 의해서 설정되지만, 이에 한정되는 것은 아니다. 일 실시예에서, 초음파 진단 장치(100)는 초음파 영상(140) 상에서 태아의 흉곽의 방향 정보를 자동으로 인식하고, 인식된 좌우 방향 정보를 디스플레이부(130) 상에 표시할 수 있다.
제2 UI(152)는 척추의 위치를 나타낼 수 있다. 일 실시예에서, 초음파 진단 장치(100)는 태아의 초음파 영상(140) 상에서 태아의 척추 위치를 검출할 수 있고, 검출한 태아의 척추를 제2 UI(152)로 표시할 수 있다.
제3 UI(153)는 태아의 심장 위치를 나타낼 수 있다. 일 실시예에서, 초음파 진단 장치(100)는 태아의 초음파 영상(140) 상에서 태아의 심장 위치를 검출하고, 검출된 심장의 윤곽을 둘러싸는 가상의 선을 통해 심장의 위치를 가이드하는 제3 UI(153)를 디스플레이부(130) 상에 표시할 수 있다.
제4 UI(154)는 정상 범위에 해당되는 태아의 심장 위치를 나타낼 수 있다. 일 실시예에서, 초음파 진단 장치(100)는 태아의 초음파 영상(140)에서 검출한 흉곽의 위치 및 면적에 기초하여 정상 범위에 해당되는 심장의 위치 및 면적을 가이드하는 제4 UI(154)를 디스플레이부(130) 상에 표시할 수 있다. 일 실시예에서, 제4 UI(154)는 제3 UI(153)와는 다른 컬러로 표시될 수 있으나, 이에 한정되지는 않는다. 일 실시예에서, 디스플레이부(130)는 제4 UI(154)를 초음파 영상(140) 상에 오버랩하여 디스플레이할 수 있다.
제5 UI(155)는 태아의 심첨(cardiac apex)의 위치를 나타낼 수 있다. 본 명세서에서 "심첨"이란 심장의 좌심실의 표면에 위치하는 좌전방의 첨단(尖端, edge)을 의미할 수 있다. 일 실시예에서, 초음파 진단 장치(100)는 태아의 초음파 영상(140)에서 심장의 장축과 단축의 비율에 따른 심첨의 위치를 검출하고, 검출된 심첨의 위치를 나타내는 제5 UI(155)를 디스플레이부(130) 상에 표시할 수 있다.
종래에는, 태아의 심장에 관한 초음파 영상을 해석함에 있어서 의사, 임상 병리사와 같은 사용자의 판단에만 의존하므로, 태아의 심장 이상 여부의 판단의 정확성 및 신속성이 담보되지 않고, 번거로움이 있었다. 도 1에 도시된 실시예에서, 초음파 진단 장치(100)는 태아(10)에 관한 심장 초음파 영상(140) 상에서 심장의 위치를 검출하고, 검출된 심장의 위치에 따른 심장의 이상 여부를 자동으로 판단하므로, 태아의 심장과 관련된 건강 이상 판단의 정확성을 높일 수 있다. 또한, 초음파 진단 장치(100)는 태아(10)의 심장의 이상 여부에 관한 정보를 디스플레이부(130) 상에 표시하는 사용자 인터페이스(151 내지 155)를 표시하는바, 사용자가 직관적으로 태아의 심장 이상 여부를 파악할 수 있어 사용자 편의성을 향상시킬 수 있다.
도 2는 태아의 심장 초음파 영상 상에서의 정상 심장 위치 및 비정상 심장 위치에 관한 예시이다.
도 2를 참조하면, 태아(10)의 초음파 영상 상에서 흉곽 내에서의 심장의 위치에 따라 정상 또는 비정상 여부가 결정될 수 있다. 일 실시예에서, 태아(10)의 심장 위치 뿐만 아니라, 초음파 영상에서 심첨의 위치 및 방향에 따라 태아 심장의 이상 여부가 결정될 수 있다.
태아(10)에 관한 복수의 초음파 영상들(200 내지 230) 중 제1 초음파 영상(200)에서 심장(202)의 위치는 흉곽 내에서 척추(206)를 기준으로 왼쪽에 치우져서 위치하는데 심장의 위치가 정상인 경우를 의미한다. 제1 초음파 영상(200)에서는 심첨(204)은 척추(206)를 기준으로 왼쪽에 위치하여 왼쪽 방향으로 기울어져 있는데, 이런 경우 태아(10)의 심장은 정상 위치에 있는 것으로 판단될 수 있다.
제2 초음파 영상(210) 내지 제4 초음파 영상(230)은 태아(10)의 심장 위치가 비정상인 경우에 해당되는 초음파 영상들일 수 있다. 제2 초음파 영상(210)에서 심장(212)의 위치는 흉곽 내에서 척추(216)를 기준으로 오른쪽에 치우져서 위치하고, 심첨(214) 역시 오른쪽에 위치한다. 심첨(214)은 척추(216)를 기준으로 흉곽 내에서 오른쪽을 향하는 방향으로 기울어져 있다. 제2 초음파 영상(210)에서와 같이 심장(212) 및 심첨(214)이 모두 오른쪽에 위치하고, 심첨(214)은 오른쪽 방향으로 기울어져 있는 경우를 우심증(右心症, Dextrocardia)라고 한다.
제3 초음파 영상(220)에서 심장(222)의 위치는 흉곽 내에서 척추(226)를 기준으로 오른쪽에 치우져서 위치하지만, 심첨(224)은 척추(226)의 위치와 유사하게 흉곽의 중심부에 위치한다. 제3 초음파 영상(220)에서 심첨(224)은 왼쪽 방향으로 기울어져 있다. 제3 초음파 영상(220)에서와 같이 심장(222)은 오른쪽에 위치하지만, 심첨(224)는 왼쪽을 향하는 방향으로 기울어져 있는 경우를 우전위(右轉位, Dextroposition)라고 한다.
제4 초음파 영상(230)에서 심장(232) 및 심첨(234)의 위치는 흉곽 내에서 척추(236)를 기준으로 중심부에 위치하고, 심첨(234)의 방향 역시 중심 방향으로 배치되어 있다. 제4 초음파 영상(230)에서와 같이 심장(232)의 위치가 중심부에 있고, 심첨(234)이 중심부를 가리키는 방향으로 배치되는 경우를 중앙위심장(中央位心臟, Mesocardia)라고 한다.
도 2에 도시된 복수의 초음파 영상들(200 내지 230)에서의 심장 위치, 심첨의 위치 및 방향 정보는 태아(10) 심장의 이상 여부를 판단하는데 있어 중요한 파라미터가 될 수 있다.
도 3은 본 개시의 일 실시예에 따른 초음파 진단 장치(300)의 구성 요소를 도시한 블록도이다. 초음파 진단 장치(300)는 카트형 뿐만 아니라 휴대형으로도 구형될 수 있으며, 휴대형 초음파 진단 장치는 팩스 뷰어(Picture Archiving and Communication System (PACS) viewer), HCU (Hand-carried cardiac ultrasound) 장비, 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등을 포함할 수 있으나, 이에 한정되지 않는다.
일 실시예에서, 초음파 진단 장치(300)는 초음파 프로브로부터 수신된 초음파 영상 데이터를 처리함으로써 초음파 영상을 생성하고, 생성된 영상을 표시하는 장치이거나, 별도의 영상 처리 기능 없이 단순히 영상 표시 기능만을 구현하는 장치일 수 있다.
도 3을 참조하면, 초음파 진단 장치(300)는 사용자 입력부(310), 제어부(320), 및 디스플레이부(330)를 포함할 수 있다. 그러나, 도 3에 도시된 구성 요소들은 초음파 진단 장치(300)의 필수적인 구성 요소만을 도시한 것이고, 본 개시의 초음파 진단 장치(300)가 도시된 구성 요소만을 포함하는 것은 아니다. 일 실시예에서, 초음파 진단 장치(300)는 프로브, 통신부, 저장부, 및 영상 처리부 중 적어도 하나를 더 포함할 수 있다.
사용자 입력부(310)는 초음파 진단 장치(300)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 일 실시예에서, 사용자 입력부(310)는 태아의 심장에 관한 초음파 영상 상에서 태아의 흉곽의 좌우 방향에 관한 정보를 입력하는 사용자 입력을 수신할 수 있다. 사용자 입력부(310)는 예를 들어, 버튼, 키 패드(key pad), 마우스, 트랙볼, 터치 패드, 터치스크린, 조그 스위치 등 하드웨어 구성을 포함할 수 있으나 이에 한정되는 것은 아니다. 디스플레이부(330)가 터치스크린으로 구성되는 경우, 사용자 입력부(310)는 터치스크린과 통합되어 사용자의 터치 입력을 수신할 수도 있다.
제어부(320)는 초음파 진단 장치(300)의 각 구성 요소들의 동작을 제어할 수 있다. 제어부(320)는 프로세서(322), 메모리(324) 및 기계 학습 모듈(326)을 포함할 수 있다. 일 실시예에서, 제어부(320)는 소정의 기능을 수행하기 위한 프로그램 코드 또는 데이터를 저장하는 메모리(324), 메모리(324)에 저장된 프로그램 코드 및 데이터를 처리하는 프로세서(322)를 포함할 수 있다. 일 실시예에서, 제어부(320)는 기계 학습 모듈(326)을 더 포함할 수 있다.
제어부(320)는 하나 이상의 메모리(324) 및 하나 이상의 프로세서(322)의 다양한 조합으로 구현 가능하다. 프로세서(322)는 초음파 진단 장치(300)의 동작 상태에 따라 프로그램 모듈을 생성하고 삭제할 수 있으며, 프로그램 모듈의 동작들을 처리할 수 있다. 일 실시예에서, 제어부(320)는 초음파 영상에서 태아의 흉곽 및 척추를 검출하고, 초음파 영상에서 심장의 위치를 검출하며, 사용자 입력부(310)를 통해 수신된 사용자 입력에 의해 입력된 좌우 방향 정보 대비 검출된 심장의 위치가 정상 위치인지 비정상 위치인지를 판단할 수 있다.
제어부(320)를 구성하는 프로세서(322)는 범용의 이미지 처리 기술(image processing) 또는 기계 학습(Machine Learning)을 통해 초음파 영상 내에서 태아의 심장을 검출할 수 있다. 예를 들어, 프로세서(322)는 중앙 처리 장치(CPU), 마이크로 프로세서(microprocessor), 및 그래픽 프로세서(GPU) 중 적어도 하나를 포함하는 하드웨어 모듈로 구성될 수 있다. 초음파 진단 장치(300)가 휴대형인 경우, 예를 들어 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등으로 구성되는 경우 프로세서(322)는 애플리케이션 프로세서(Application Processor, AP)로 구현될 수 있다.
메모리(324)는 초음파 진단 장치(300)의 각 기능들을 수행하기 위한 프로그램 코드 또는 데이터를 저장하는 하드웨어 장치로서, RAM(Random-Access Memory) 또는 ROM(Read-Only Memory)으로 구성될 수 있으나, 이에 한정되는 것은 아니다.
제어부(320)는 초음파 영상 상에서 태아의 심장의 면적 정보에 기초하여 태아의 심장 크기의 이상 여부를 판단할 수 있다. 일 실시예에서, 제어부(320)는 태아의 흉곽 면적 대비 심장의 면적 크기의 비율을 계산하고, 계산된 면적 비율이 1/3 이상인 경우 심장 크기에 이상이 있는 것으로 판단할 수 있다.
제어부(320)는 초음파 영상에서 검출된 심장의 위치에 기초하여 심첨(cardiac apex)을 검출하고, 검출된 심첨의 위치 및 방향 정보와 심장 위치 정보에 기초하여 태아 심장의 이상 여부를 판단할 수 있다.
기계 학습 모듈(326)은 인공 신경망 모델, Support Vector Machine (SVM), 및 딥 러닝(Deep Learning)을 포함하는 모든 기계학습 모델의 알고리즘 및 관련 애플리케이션을 수행하는 연산 능력이 있는 하드웨어 유닛으로 구성될 수 있다. 일 실시예에서, 기계 학습 모듈(326)은 기계 학습 모델(Machine Learning model)을 이용하여 초음파 영상 상에서 심장, 심첨, 척추, 흉곽 등을 검출할 수 있다. 기계 학습 모듈(326)은 예를 들어, 컨볼루션 신경망 모델(Convolution Neural Network, CNN) 또는 재귀 신경망 모델(Recurrent Neural Network, RNN)와 같은 공지의 심층 신경망 모델(Deep Neural Network, DNN)을 이용하여 초음파 영상 상에서 심장, 심첨, 척추, 흉곽 등의 위치를 검출할 수 있다. 도 3에서 프로세서(322)는 기계 학습 모듈(326)과 별개의 구성 요소로 도시되었으나, 이와 같은 구조로 한정되는 것은 아니다. 일 실시예에서, 프로세서(322)와 기계 학습 모듈(326)은 별개의 모듈(module)이 아닌, 단일 칩(chip)으로 구성될 수도 있다.
기계 학습 모듈(326)이 기계 학습 모델을 이용하여 심장의 위치를 검출하는 방법에 관해서는 도 7에서 상세하게 설명하기로 한다.
디스플레이부(330)는 제어부(320)에 의해 획득된 태아 심장의 이상 여부에 관한 정보를 숫자, 문자, 그래프, 이미지, 및 컬러 중 적어도 하나를 이용하여 표시하는 사용자 인터페이스(User Interface, UI)를 디스플레이할 수 있다.
디스플레이부(330)는 예를 들어, LCD 디스플레이, PDP 디스플레이, OLED 디스플레이, FED 디스플레이, LED 디스플레이, VFD 디스플레이, DLP(Digital Light Processing) 디스플레이, 평판 디스플레이(Flat Panel Display), 3D 디스플레이, 및 투명 디스플레이 중 적어도 하나를 포함하는 물리적 장치로 구성될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 디스플레이부(330)는 터치 인터페이스를 포함하는 터치스크린으로 구성될 수도 있다.
일 실시예에서, 디스플레이부(330)는 사용자 인터페이스를 태아의 초음파 영상 상에 오버랩(overlap)하여 표시할 수 있다.
디스플레이부(330)는 제어부(320)에 의해 초음파 영상으로부터 검출된 태아의 심장의 윤곽을 둘러싸는 가상의 선을 통해 심장의 위치를 가이드하는 사용자 인터페이스를 디스플레이할 수 있다.
디스플레이부(330)는 제어부(320)에 의해 초음파 영상으로부터 검출된 태아의 흉곽의 면적과 심장의 면적에 관한 비율 정보를 그래프 형태로 나타내는 사용자 인터페이스를 디스플레이할 수 있다. 일 실시예에서, 디스플레이부(330)는 검출된 흉곽의 면적 대비 정상 범위에 해당되는 심장의 면적 크기의 범위를 컬러로 나타내는 컬러 맵을 태아의 초음파 영상 상에 오버랩하여 디스플레이할 수 있다.
디스플레이부(330)는 임신 주수에 따른 태아의 심장 면적의 크기에 관한 이력 정보를 나타내는 주수별 심장 크기 그래프를 디스플레이할 수 있다. 일 실시예에서, 주수별 심장 크기 그래프는 임신 주수에 따른 흉곽의 크기 대비 심장 면적의 크기 비율값을 그래프 상에 표시하여 심장 크기의 변화를 나타내는 그래프일 수 있다. 일 실시예에서, 디스플레이부(330)는 정상 범위의 심장 크기에 해당되는 값에 관한 가이드라인을 주수별 심장 크기 그래프 상에 표시할 수 있다.
디스플레이부(330)는 제어부(320)에 의해 태아의 심장에 이상이 있는 것으로 판단되는 경우 경고 메시지를 출력할 수 있다. 경고 메시지는 문자, 또는 이미지로 표시될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 초음파 진단 장치(300)는 태아의 심장에 이상이 있는 것으로 판단되는 경우 음성 또는 사운드로 경고 메시지를 출력하는 스피커를 더 포함할 수 있다.
도 4는 본 개시의 일 실시예에 따른 태아의 심장의 이상 여부를 판단하는 방법의 각 단계를 도시한 흐름도이다.
단계 S410에서, 초음파 진단 장치는 태아의 심장에 관한 초음파 영상에서 태아의 흉곽 및 척추를 검출한다. 일 실시예에서, 초음파 진단 장치는 범용의 이미지 처리 기술을 이용하여 태아의 초음파 영상에서 흉곽과 척추를 검출할 수 있다. 다른 실시예에서, 초음파 진단 장치는 컨볼루션 신경망 모델(Convolution Neural Network, CNN) 또는 재귀 신경망 모델(Recurrent Neural Network, RNN)와 같은 공지의 심층 신경망 모델(Deep Neural Network, DNN)을 이용하여 초음파 영상 상에서 태아의 척추 및 흉곽의 위치를 검출할 수 있다.
단계 S420에서, 초음파 진단 장치는 초음파 영상 상에서 태아의 흉곽의 좌우 방향 정보를 입력하는 사용자 입력을 수신한다. 초음파 진단 장치는 수신한 사용자 입력에 기초하여 초음파 영상에서 흉곽의 심장의 좌우 방향을 설정할 수 있다.
일부 실시예에서는 단계 S420이 생략될 수도 있다. 즉, 일 실시예에서 초음파 진단 장치는 사용자 입력 없이도 자동으로 태아의 초음파 영상 내에서 태아 심장의 좌우 방향을 인식하고, 좌우 방향을 설정할 수 있다.
단계 S430에서, 초음파 진단 장치는 초음파 영상에서 심장의 위치를 검출한다. 일 실시예에서, 초음파 진단 장치는 범용의 이미지 처리 기술 또는 기계 학습 모델을 이용한 인공 지능 학습을 통해 심장의 위치를 검출할 수 있다. 일 실시예에서, 초음파 진단 장치는 단계 S420에서 수신된 사용자 입력에 의해 결정된 흉곽의 좌우 방향에 기초하여 심장의 위치가 흉곽 및 척추를 기준으로 어느 지점에 위치하는지를 판단할 수 있다.
일 실시예에서, 초음파 진단 장치는 태아의 초음파 영상에서 심장의 장축과 단축의 비율에 따른 심첨의 위치를 검출하고, 검출된 심첨의 위치와 심첨이 기울어진 방향에 관한 정보를 획득할 수 있다.
단계 S440에서, 초음파 진단 장치는 좌우 방향 정보 및 심장 위치에 기초하여 태아 심장의 이상 여부를 판단한다. 일 실시예에서, 초음파 진단 장치는 단계 S430에서 검출된 심장의 위치가 척추를 기준으로 흉곽의 왼쪽에 위치하는 경우에 태아의 심장이 정상이라고 판단할 수 있다. 이 경우, 좌 방향, 우방향 여부는 단계 S420에서 수신한 사용자 입력에 의해 결정될 수 있다. 일 실시예에서, 초음파 진단 장치는 심장의 위치 뿐만 아니라 심첨의 위치 및 심첨이 기울어진 방향에 관한 정보에 기초하여 태아의 심장의 이상 여부를 판단할 수 있다.
도 5는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아 심장의 면적 크기에 따른 심장 이상 여부를 판단하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 초음파 진단 장치는 초음파 영상 상에서 흉곽(510), 척추(520), 및 심장(530)의 경계를 검출할 수 있다. 일 실시예에서, 초음파 진단 장치는 공지의 이미지 처리 기술(image processing)을 사용하여 태아의 초음파 영상 내에서의 흉곽(510), 척추(520), 및 심장(530)을 검출할 수 있다. 일 실시예에서, 초음파 진단 장치는 인공 신경망 모델, Support Vector Machine (SVM), 및 딥 러닝(Deep Learning)을 포함하는 모든 기계학습 모델의 알고리즘 및 관련 애플리케이션을 수행하여 초음파 영상 내에서의 흉곽(510), 척추(520), 및 심장(530)을 검출할 수 있다.
초음파 진단 장치는 검출한 흉곽(510)의 면적 대비 심장(530)의 면적 크기의 비율에 따라 태아 심장의 이상 여부를 판단할 수 있다. 일 실시예에서, 초음파 진단 장치는 초음파 영상 상에서 검출한 태아의 흉곽(510)의 면적 대비 심장(530)의 면적 크기의 비율을 계산하고, 계산된 면적 비율이 1/3을 초과하는 경우 태아의 심장 크기가 비정상이라고 판단할 수 있다. 일 실시예에서, 초음파 진단 장치는 계산된 면적 비율이 1/3 미만인 경우에도 태아의 심장 크기가 비정상이라고 판단할 수 있다.
초음파 진단 장치는 태아의 흉곽(510)의 면적 대비 심장(530)의 면적 크기의 비율에 따라 정상 범위에 해당되는 심장의 크기를 나타내는 사용자 인터페이스(540)를 디스플레이할 수 있다. 사용자 인터페이스(540)는 검출된 심장(530)의 크기 대비 정상 범위에 해당되는 심장의 크기의 경계선을 나타낼 수 있다. 도 5에 도시된 사용자 인터페이스(540)는 통해 사용자는 정상 범위에 해당되는 심장 크기를 직관적으로 인지할 수 있다.
도 6은 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 초음파 영상(600) 상에서 태아의 심장(630) 및 심첨(cardiac apex)(640)을 검출하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 초음파 진단 장치는 초음파 영상(600) 상에서 흉곽(610), 척추(620), 및 심장(630)의 경계를 검출할 수 있다. 초음파 진단 장치는 공지의 이미지 처리 기술(image processing) 및 기계 학습 모델(Machine Learning)을 이용하여 초음파 영상(600) 내에서의 흉곽(610), 척추(620), 및 심장(630)을 검출할 수 있다.
초음파 진단 장치는 초음파 영상(600) 내에서 검출된 심장(630)의 장축과 단축의 비율에 기초하여 심첨(640)의 위치를 검출하고, 검출된 심첨(640)의 위치를 검출할 수 있다. 일 실시예에서, 초음파 진단 장치는 인공 신경망 모델, Support Vector Machine (SVM), 및 딥 러닝(Deep Learning)을 포함하는 모든 기계학습 모델의 알고리즘 및 관련 애플리케이션을 수행하여 초음파 영상(600) 내에서 심첨(640)을 검출할 수 있다.
초음파 진단 장치는 검출된 심첨(640)의 위치 및 방향 정보와 검출된 심장(630)의 위치 정보에 기초하여 태아의 심장(630)의 이상 여부를 판단할 수 있다. 구체적으로, 초음파 진단 장치는 검출된 심장(630) 및 심첨(640)의 위치가 흉곽(610) 내에서 척추(620)를 기준으로 왼쪽에 위치하고, 심첨(640)이 기울어진 방향이 왼쪽을 향하는 경우 태아의 심장(630)이 정상이라고 판단할 수 있다. 초음파 진단 장치는 그렇지 않은 경우, 즉 심장(630) 및 심첨(640)의 위치가 척추(620)를 기준으로 오른쪽 또는 중앙에 위치하거나, 심첨(640)이 기울어진 방향이 오른쪽 또는 중심 방향인 경우, 태아의 심장(630)이 비정상이라고 판단할 수 있다.
도 7은 본 개시의 일 실시예에 따른 초음파 진단 장치가 기계 학습 모델(Machine Learning)을 이용하여 태아의 초음파 영상(700) 상에서 심장을 검출하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 초음파 진단 장치는 컨볼루션 신경망 모델(Convolution Neural Network, CNN)을 이용하여 태아의 초음파 영상(700)에서 심장의 이미지를 학습(training)하고, 학습된 신경망 모델을 이용하여 심장을 검출하는 방법을 도시하고 있지만, 이는 설명의 편의를 위한 예시이다. 일 실시예에서, 초음파 진단 장치는 컨볼루션 신경망 모델 이외에 재귀 신경망 모델(Recurrent Neural Network, RNN) 또는 공지의 심층 신경망 모델(Deep Neural Network, DNN)을 이용하여 초음파 영상 상에서 심장, 심첨, 척추, 흉곽 등을 검출할 수 있다. 일 실시예에서, 초음파 진단 장치는 Support Vector Machine (SVM)과 같은 기계 학습 모델을 이용하여 초음파 영상(700) 내에서 심장 등을 검출할 수 있다.
초음파 영상(700)에서 심장을 검출하기 위하여, 초음파 진단 장치는 먼저 태아의 초음파 영상(700) 내의 해부학적 구조를 갖는 이미지 영역을 추출한다. 일 실시예에서, 초음파 진단 장치는 초음파 영상(700) 내의 심장을 포함하는 제1 이미지 영역(710), 심첨을 포함하는 제2 이미지 영역(712), 척추를 포함하는 제3 이미지 영역(714), 및 흉곽을 포함하는 제4 이미지 영역(716)을 추출할 수 있다. 이미지 추출 방법은 공지의 이미지 처리 기술을 사용할 수 있으나, 이에 한정되는 것은 아니다.
초음파 진단 장치는 심장을 포함하는 제1 이미지 영역(710)의 픽셀값을 소정의 크기를 갖는 필터(720)를 적용하는 컨볼루션 연산을 통해 복수의 레이어(layer)(730)를 포함하는 특징 맵(feature map)을 생성한다. 특징 맵은 제1 이미지 영역(710)의 픽셀값에 필터(720)를 곱하고, 필터(720)를 이동(stride)시킨 이후 다른 픽셀값에 필터(720)를 곱하는 컨볼루션 연산을 통해 생성된 특징 벡터 값을 갖는 복수의 레이어(730)를 포함할 수 있다.
초음파 진단 장치는 복수의 레이어(730)에 포함된 특징 벡터값을 서브 샘플링(subsampling) 또는 풀링(pooling) 과정을 거쳐 복수의 특징값(740)을 획득할 수 있다. 이 과정에서 사용되는 풀링 방법은 맥스 풀링(max pooling)을 사용할 수 있으나, 이에 한정되지는 않는다.
초음파 진단 장치는 획득된 복수의 특징값(740)을 하나의 레이어로 연결하는 fully connect layer(750)를 거쳐 출력값(760)을 획득한다. 초음파 진단 장치는 획득된 출력값(760)을 기학습된 레이블 값과 비교하여 출력값(760)이 심장을 의미한다는 것을 파악할 수 있다.
도 7에서 사용되는 컨볼루션 신경망 모델은 수백 또는 수천개의 초음파 영상에서 심장을 검출하는 학습(training)을 통해 얻어지는 필터값을 포함하는 네트워크를 이용하는 모델일 수 있다. 도 7에서는 컨볼루션 신경망 모델을 이용하여 초음파 영상(700)에서 심장을 검출하는 방법에 대해서만 도시되어 있지만, 심첨, 척추, 흉곽의 경우에도 동일한 방법을 통해 검출될 수 있다.
도 8a 내지 도 8g는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 이상 여부에 관한 정보를 표시하는 사용자 인터페이스(User Interface, UI)의 예시를 도시한 도면들이다. 초음파 진단 장치는 태아의 초음파 영상 상에 태아 심장의 이상 여부에 관한 정보를 숫자, 문자, 그래프, 이미지, 및 컬러 중 적어도 하나를 이용하여 표시하는 사용자 인터페이스를 디스플레이할 수 있다.
도 8a를 참조하면, 초음파 진단 장치는 초음파 영상에서 검출된 태아의 흉곽의 좌우 방향 정보를 나타내는 제1 UI(810)를 표시할 수 있다. 제1 UI(810)가 표시하는 방향 정보는 L(왼쪽), R(오른쪽)을 문자로 표시하는 사용자 인터페이스로서, 좌우 방향은 사용자가 직접 입력할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 초음파 진단 장치는 초음파 영상 상에서 태아의 흉곽의 방향 정보를 자동으로 인식하고, 인식된 좌우 방향 정보를 나타내는 제1 UI(810)를 디스플레이할 수 있다.
도 8b를 참조하면, 초음파 진단 장치는 태아의 흉곽의 좌우 방향을 나타내는 제1 UI(810) 외에 척추의 위치를 나타내는 제2 UI(820) 및 흉곽의 경계를 나타내는 제3 UI(830)를 디스플레이할 수 있다. 일 실시예에서, 초음파 진단 장치는 흉곽의 면적 대비 정상 범위에 해당되는 심장의 면적 범위를 가이드하는 심장 크기 가이드라인 UI(842)를 디스플레이할 수 있다. 심장 크기 가이드라인 UI(842)는 흉곽 및 척추의 위치에 기초하여 태아의 심장이 위치할 수 있는 영역을 예측하고, 예측된 영역에서 흉곽 면적의 1/3에 해당되는 범위를 가이드하는 사용자 인터페이스일 수 있다. 도 8b에서 심장 크기 가이드라인 UI(842)는 파란색의 원형태로 도시되고, 원의 내부가 파란색으로 채워져 있지만, 이는 예시적인 것이고, 도시된 바와 같이 한정되는 것은 아니다.
도 8c를 참조하면, 초음자 진단 장치는 제1 UI(810), 제2 UI(820), 제3 UI(830) 외에 실제 검출한 심장의 위치를 나타내는 제4 UI(840) 및 심장 크기 가이드라인 UI(842)를 더 디스플레이할 수 있다. 심장의 위치를 나타내는 제4 UI(840)는 심장 크기 가이드라인 UI(842)와는 다른 컬러로 표시될 수 있다.
도 8d를 참조하면, 초음파 진단 장치는 제1 UI(810), 제2 UI(820), 제3 UI(830), 제4 UI(840) 및 심장 크기 가이드라인 UI(842) 외에 심첨의 위치를 나타내는 심첨 UI(844)를 더 디스플레이할 수 있다. 초음파 진단 장치는 심장의 장축과 단축의 비율에 기초하여 심첨의 위치를 검출하고, 검출된 심첨의 위치를 나타내는 심첨 UI(844)를 디스플레이할 수 있다.
도 8e를 참조하면, 초음파 진단 장치는 제1 UI(810), 제2 UI(820), 제3 UI(830), 제4 UI(840), 심장 크기 가이드라인 UI(842), 및 심첨 UI(844) 외에 태아 심장의 이상 여부에 관한 정보를 나타내는 제5 UI(850)를 더 디스플레이할 수 있다. 제5 UI(850)는 태아의 심장의 위치 또는 면적 크기의 이상 여부에 관한 정보를 문자 또는 이미지로 표시하는 사용자 인터페이스일 수 있다. 제5 UI(850)는 태아 심장의 정상 또는 비정상 여부 뿐만 아니라, 비정상인 경우 어떤 타입에 해당되는지에 관한 정보를 표시할 수 있다. 도 8e에 도시된 실시예에서, 태아의 심장 및 심첨은 흉곽의 오른쪽에 위치하고, 심첨이 기울어진 방향 역시 오른쪽을 향하므로, 우심증(Dextrocardia)에 해당될 수 있고, 제5 UI(850)는 "dextrocardia"라는 문자를 초음파 영상 상의 일측에 표시할 수 있다.
도 8f를 참조하면, 초음파 진단 장치는 제1 UI(810), 제3 UI(830), 제4 UI(840), 및 심장 크기 가이드라인 UI(842) 외에 흉곽의 면적 대비 심장의 면적 크기의 비율 정보를 나타내는 면적 비율 UI(860)를 더 디스플레이할 수 있다. 면적 비율 UI(860)는 초음파 진단 장치가 검출한 심장의 면적 크기를 흉곽의 면적의 크기로 나눈 값을 그래프 형태로 표시하는 사용자 인터페이스일 수 있다. 도 8f에 도시된 예시에서, 면적 비율 UI(860)는 흉곽을 의미하는 문자 TC, 흉곽의 면적 크기를 표현하는 막대, 심장의 면적을 의미하는 HA, 및 심장 면적의 크기를 표현하는 막대로 구성될 수 있다. 일 실시예에서, 면적 비율 UI(860)는 계산된 비율, 즉 흉곽의 면적 대비 심장 면적의 크기를 나타내는 비율값을 숫자로 표시할 수도 있다.
도 8g를 참조하면, 초음파 진단 장치는 제1 UI(810), 제3 UI(830), 제4 UI(840), 제5 UI(850), 심장 크기 가이드라인 UI(842), 심첨 UI(844), 및 면적 비율 UI(860)를 디스플레이할 수 있다.
도 8a 내지 도 8g에 도시된 사용자 인터페이스들은 설명의 편의를 위한 예시적인 것이고, 도 8a 내지 도 8g에 걸쳐 도시된 각각의 사용자 인터페이스(810, 820, 830, 840, 842, 844, 850, 860)들은 도면에 도시되지 않은 어떠한 조합으로도 디스플레이될 수 있다. 예를 들어, 초음파 진단 장치는 제1 UI(810) 및 면적 비율 UI(860)만 초음파 영상과 함께 디스플레이할 수 있다.
도 9a 및 도 9b는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 초음파 영상 상에서 심장의 이상 여부에 관한 정보를 표시하는 사용자 인터페이스의 예시를 도시한 도면들이다.
도 9a를 참조하면, 초음파 진단 장치는 초음파 영상 상의 태아의 흉곽 면적의 크기 대비 정상 범위에 해당되는 심장의 크기 및 위치에 관한 가이드라인을 디스플레이할 수 있다. 초음파 진단 장치의 디스플레이부(330, 도 3 참조)는 초음파 영상에서 검출된 태아의 흉곽의 위치 및 면적을 나타내는 제1 UI(910)와 검출된 태아의 심장의 위치 및 면적을 나타내는 제2 UI(920)를 디스플레이할 수 있다.
초음파 진단 장치는 초음파 영상 상에서 검출된 태아의 흉곽의 면적 대비 정상 또는 비정상에 해당되는 태아의 심장 크기에 관한 복수의 가이드라인(931 내지 933)을 디스플레이할 수 있다. 일 실시예에서, 초음파 진단 장치는 초음파 영상에서 검출된 태아의 심장의 장축과 단축의 비율을 계산하고, 계산된 비율에 기초하여 정상 및 비정상에 해당되는 심장의 크기를 가이드하는 복수의 가이드라인(931 내지 933)을 디스플레이부 상에 디스플레이할 수 있다. 일 실시예에서, 복수의 가이드라인(931 내지 933)은 태아의 심장의 심첨부에서부터 연장되는 가이드라인일 수 있다.
예를 들어, 제1 가이드라인(931)은 흉곽의 면적, 즉 제1 UI(910)가 나타내는 면적의 1/3에 해당되는 정상 범위의 심장 면적을 가이드하는 가이드라인일 수 있다. 제2 가이드라인(932)은 검출된 흉곽의 면적의 1/3을 초과하지만 비정상으로 분류되지는 않는 범위에 있는 심장의 면적을 가이드하는 가이드라인일 수 있다. 제3 가이드라인(933)은 검출된 흉곽의 면적의 1/3을 초과하는 비정상에 해당되는 심장의 면적을 나타내는 가이드라인일 수 있다.
제1 내지 제3 가이드라인(931 내지 933)은 서로 다른 컬러로 디스플레이될 수 있다. 예를 들어, 제1 가이드라인(931)은 정상 심장 크기를 의미하는 녹색으로, 제2 가이드라인(932)은 비정상은 아니지만 흉곽의 면적의 1/3을 초과하기 때문에 경고의 의미를 갖는 노란색으로, 제3 가이드라인(933)은 비정상에 해당되는 심장의 크기를 의미하는 빨간색으로 디스플레이될 수 있다. 그러나, 제1 내지 제3 가이드라인(931 내지 933)의 컬러는 예시적인 것으로, 도 9a에 도시된 것으로 한정되지는 않는다.
초음파 영상 상에서 검출된 태아의 심장의 위치 및 면적을 나타내는 제2 UI(920)는 흉곽의 면적 크기에 따라 서로 다른 컬러로 디스플레이될 수 있다. 도 9b를 함께 참조하면, 제2 UI(920)는 흉곽의 면적 대비 정상 범위에 해당되는 심장 크기를 갖는 경우에는 파란색으로 디스플레이되지만, 심장 면적의 크기가 흉곽의 면적 대비 1/3을 초과하는 경우 제2 UI(922)는 빨간색으로 디스플레이될 수 있다.
도 10a 및 도 10b는 본 개시의 일 실시예에 따른 초음파 진단 장치가 태아의 심장 초음파 영상 상에서 심장의 이상 여부에 관한 정보를 표시하는 사용자 인터페이스의 예시를 도시한 도면들이다.
도 10a를 참조하면, 초음파 진단 장치는 초음파 영상 상에서 검출된 태아의 흉곽의 위치 및 면적을 나타내는 제1 UI(1010)와 검출된 태아의 심장의 위치 및 면적을 나타내는 제2 UI(1020)를 디스플레이할 수 있다. 일 실시예에서, 초음파 진단 장치는 검출된 흉곽의 면적 대비 정상 범위에 해당되는 심장의 면적 크기의 범위를 서로 다른 컬러로 나타내는 컬러 맵(1030)을 초음파 영상 상에 오버랩하여 디스플레이할 수 있다. 일 실시예에서, 컬러 맵(1030)은 파란색에서부터 빨간색에 이르는 컬러를 갖고 명도 및 채도를 다르게 하는 컬러 구성을 포함하고 있으나, 도시된 바와 같은 컬러로 한정되는 것은 아니다.
제2 UI(1020)는 초음파 영상 상에서 검출된 태아의 심장의 크기에 따라 컬러 맵(1030)에서 정의된 컬러로 매핑되어 디스플레이될 수 있다. 일 실시예에서, 제2 UI(1020)가 태아의 흉곽 대비 정상 범위에 해당되는 심장의 크기를 나타내는 경우, 제2 UI(1020)는 파란색으로 매핑되고, 파란색 컬러로 디스플레이될 수 있다.
도 10b를 참조하면, 초음파 영상 상에서 검출된 태아의 심장 크기가 비정상 범위에 해당되는 경우에는, 제2 UI(1022)가 빨간색으로 매핑되고, 빨간색 컬러로 디스플레이될 수 있다. 일 실시예에서, 태아의 심장 면적의 크기가 흉곽 면적의 1/3를 초과하는 경우 비정상으로 분류될 수 있고, 제2 UI(1022)는 빨간색으로 디스플레이될 수 있다.
도 11a 및 도 11b는 임신 주수별로 태아의 흉곽의 크기 대비 심장의 크기의 비율을 나타내는 그래프를 디스플레이하는 실시예를 도시한 도면들이다.
도 11a를 참조하면, 초음파 진단 장치는 초음파 영상을 촬영한 임신 주수(week)에 따라, 초음파 영상에서 검출된 태아의 흉곽의 크기 대비 태아의 심장 크기의 비율을 그래프 상에 나타내는 주수별 심장 크기 그래프를 디스플레이할 수 있다. 주수별 심장 크기 그래프는 임산부가 초음파 영상을 촬영한 시점의 임신 주수를 x축 상에, 촬영된 초음파 영상 내에서 검출된 태아의 심장의 면적 크기를 태아의 흉곽의 면적 크기로 나눈 비율(ratio)의 값을 y축에 표시하는 그래프일 수 있다. 도 11a에 도시된 그래프를 참조하면, 비율 값(Rk)은 임신 주수가 27주인 시점에서 촬영한 초음파 영상에서 검출된 태아의 심장 면적의 크기가 태아의 흉곽의 0.34 정도가 되는 경우의 값을 의미할 수 있다.
일 실시예에서, 주수별 심장 크기 그래프는 정상 범위에 해당되는 심장 크기에 해당되는 비율 값에 관한 가이드라인(Rnormal)을 더 표시할 수 있다. 가이드라인(Rnormal)은 초음파 영상 상에서 검출된 태아의 흉곽의 면적 크기 대비 정상에 해당되는 태아의 심장 면적의 크기에 관한 비율 값의 범위를 나타낼 수 있다. 가이드라인(Rnormal)은 임신 주수에 따라 달라지는 값일 수 있으나, 대략적으로 0.3 이상 0.4 미만의 범위를 갖도록 표시될 수 있다.
도 11b를 참조하면, 초음파 진단 장치는 임산부가 초음파 영상을 촬영한 시점에서의 임신 주수에 따라 검출된 태아의 심장 크기의 이력 정보(history information)를 나타내는 주수별 심장 크기 그래프를 디스플레이할 수 있다. 주수별 심장 크기 그래프를 참조하면, 임산부가 초음파 영상을 촬영한 시점의 임신 주수가 x축 상에 표시하고, 촬영된 초음파 영상 내에서 검출된 태아의 심장의 면적 크기를 태아의 흉곽의 면적 크기로 나눈 비율(ratio)의 값이 y축에 표시될 수 있다. 도 11b에 도시된 그래프를 참조하면, 임신 주수가 16주, 17주, 19주, 41주인 시점에 걸쳐 초음파 영상이 촬영되었고, 촬영된 초음파 영상에서 검출된 태아의 흉곽의 크기 대비 심장의 크기에 관한 비율값(R1 내지 Rn)의 이력 정보가 표시될 수 있다.
도 11a의 경우와 마찬가지로, 도 11b에 도시된 주수별 심장 크기 그래프도 정상 범위에 해당되는 심장 크기에 해당되는 비율 값에 관한 가이드라인(Rnormal)을 표시할 수 있다.
도 11a 및 도 11b에 도시된 주수별 심장 크기 그래프를 통해, 사용자는 물론 임산부도 태아의 심장 크기가 정상인지 여부를 임신 주수에 따라 직관적으로 파악할 수 있고, 따라서 사용자 편의성이 향상될 수 있다.
도 12는 본 개시의 일 실시예에 따른 초음파 진단 장치(1000)의 구성을 도시한 블록도이다. 일 실시예에 따른 초음파 진단 장치(1000)는 프로브(2000), 초음파 송수신부(1100), 제어부(1200), 영상 처리부(1300), 디스플레이부(1400), 저장부(1500), 통신부(1600), 및 입력부(1700)를 포함할 수 있다.
초음파 진단 장치(1000)는 카트형뿐만 아니라 휴대형으로도 구현될 수 있다. 휴대형 초음파 진단 장치의 예로는 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
프로브(2000)는 복수의 트랜스듀서들을 포함할 수 있다. 복수의 트랜스듀서들은 송신부(1130)로부터 인가된 송신 신호에 따라 대상체(10)로 초음파 신호를 송출할 수 있다. 복수의 트랜스듀서들은 대상체(10)로부터 반사된 초음파 신호를 수신하여, 수신 신호를 형성할 수 있다. 또한, 프로브(2000)는 초음파 진단 장치(1000)와 일체형으로 구현되거나, 또는 초음파 진단 장치(1000)와 유무선으로 연결되는 분리형으로 구현될수 있다. 또한, 초음파 진단 장치(1000)는 구현 형태에 따라 하나 또는 복수의 프로브(2000)를 구비할 수 있다.
제어부(1200)는 프로브(2000)에 포함되는 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 복수의 트랜스듀서들 각각에 인가될 송신 신호를 형성하도록 송신부(1130)를 제어한다.
제어부(1200)는 프로브(2000)로부터 수신되는 수신 신호를 아날로그 디지털 변환하고, 복수의 트랜스듀서들의 위치 및 집속점을 고려하여, 디지털 변환된 수신 신호를 합산함으로써, 초음파 데이터를 생성하도록 수신부(1150)를 제어 한다.
영상 처리부(1300)는 초음파 수신부(1150)에서 생성된 초음파 데이터를 이용하여, 초음파 영상을 생성한다.
디스플레이부(1400)는 생성된 초음파 영상 및 초음파 진단 장치(1000)에서 처리되는 다양한 정보를 표시할 수 있다. 초음파 진단 장치(1000)는 구현 형태에 따라 하나 또는 복수의 디스플레이부(1400)를 포함할 수 있다. 또한, 디스플레이부(1400)는 터치패널과 결합하여 터치 스크린으로 구현될 수 있다.
제어부(1200)는 초음파 진단 장치(1000)의 전반적인 동작 및 초음파 진단 장치(1000)의 내부 구성 요소들 사이의 신호 흐름을 제어할 수 있다. 제어부(1200)는 초음파 진단 장치(1000)의 기능을 수행하기 위한 프로그램 또는 데이터를 저장하는 메모리, 및 프로그램 또는 데이터를 처리하는 프로세서를 포함할 수 있다. 또한, 제어부(1200)는 입력부(1700) 또는 외부 장치로부터 제어신호를 수신하여, 초음파 진단 장치(1000)의 동작을 제어할 수 있다.
초음파 진단 장치(1000)는 통신부(1600)를 포함하며, 통신부(1600)를 통해 외부 장치(예를 들면, 서버, 의료 장치, 휴대 장치(스마트폰, 태블릿 PC, 웨어러블 기기 등))와 연결할 수 있다.
통신부(1600)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신부(1600)가 외부 장치로부터 제어 신호 및 데이터를 수신하고, 수신된 제어 신호를 제어부(1200)에 전달하여 제어부(1200)로 하여금 수신된 제어 신호에 따라 초음파 진단 장치(1000)를 제어하도록 하는 것도 가능하다.
또는, 제어부(1200)가 통신부(1600)를 통해 외부 장치에 제어 신호를 송신함으로써, 외부 장치를 제어부의 제어 신호에 따라 제어하는 것도 가능하다.
예를 들어 외부 장치는 통신부를 통해 수신된 제어부의 제어 신호에 따라 외부 장치의 데이터를 처리할 수 있다.
외부 장치에는 초음파 진단 장치(1000)를 제어할 수 있는 프로그램이 설치될 수 있는 바, 이 프로그램은 제어부(1200)의 동작의 일부 또는 전부를 수행하는 명령어를 포함할 수 있다.
프로그램은 외부 장치에 미리 설치될 수도 있고, 외부장치의 사용자가 어플리케이션을 제공하는 서버로부터 프로그램을 다운로드하여 설치하는 것도 가능하다. 어플리케이션을 제공하는 서버에는 해당 프로그램이 저장된 기록매체가 포함될 수 있다.
저장부(1500)는 초음파 진단 장치(1000)를 구동하고 제어하기 위한 다양한 데이터 또는 프로그램, 입/출력되는 초음파 데이터, 획득된 초음파 영상 등을 저장할 수 있다.
입력부(1700)는, 초음파 진단 장치(1000)를 제어하기 위한 사용자의 입력을 수신할 수 있다. 예를 들어, 사용자의 입력은 버튼, 키 패드, 마우스, 트랙볼, 조그 스위치, 놉(knop) 등을 조작하는 입력, 터치 패드나 터치 스크린을 터치하는 입력, 음성 입력, 모션 입력, 생체 정보 입력(예를 들어, 홍채 인식, 지문 인식 등) 등을 포함할 수 있으나 이에 한정되지 않는다.
일 실시예에 따른 초음파 진단 장치(1000)의 예시는 도 13a 내지 도 13c를 통해 후술된다.
도 13a 내지 도 13c는 초음파 영상 장치(1000a 내지 1000c)를 나타내는 도면들이다.
도 13a 및 도 13b를 참조하면, 초음파 영상 장치(1000a, 1000b)는 메인 디스플레이부(1210) 및 서브 디스플레이부(1220)를 포함할 수 있다. 메인 디스플레이부(1210) 및 서브 디스플레이부(1220) 중 하나는 터치스크린으로 구현될 수 있다. 메인 디스플레이부(1210) 및 서브 디스플레이부(1220)는 초음파 영상 또는 초음파 영상 장치(1000a, 1000b)에서 처리되는 다양한 정보를 표시할 수 있다. 또한, 메인 디스플레이부(1210) 및 서브 디스플레이부(1220)는 터치 스크린으로 구현되고, GUI 를 제공함으로써, 사용자로부터 초음파 영상 장치(1000a, 1000b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 메인 디스플레이부(1210)는 초음파 영상을 표시하고, 서브 디스플레이부(1220)는 초음파 영상의 표시를 제어하기 위한 컨트롤 패널을 GUI 형태로 표시할 수 있다. 서브 디스플레이부(1220)는 GUI 형태로 표시된 컨트롤 패널을 통하여, 영상의 표시를 제어하기 위한 데이터를 입력 받을 수 있다. 초음파 영상 장치(1000a, 1000b)는 입력 받은 제어 데이터를 이용하여, 메인 디스플레이부(1210)에 표시된 초음파 영상의 표시를 제어할 수 있다.
도 13b를 참조하면, 초음파 영상 장치(1000b)는 메인 디스플레이부(1210) 및 서브 디스플레이부(1220) 이외에 컨트롤 패널(1650)을 더 포함할 수 있다. 컨트롤 패널(1650)은 버튼, 트랙볼, 조그 스위치, 놉(knop) 등을 포함할 수 있으며, 사용자로부터 초음파 영상 장치(1000b)를 제어하기 위한 데이터를 입력 받을 수 있다. 예를 들어, 컨트롤 패널(1650)은 TGC(Time Gain Compensation) 버튼(1710), Freeze 버튼(1720) 등을 포함할 수 있다. TGC 버튼(1710)은, 초음파 영상의 깊이 별로 TGC 값을 설정하기 위한 버튼이다. 또한, 초음파 영상 장치(1000b)는 초음파 영상을 스캔하는 도중에 Freeze 버튼(1720) 입력이 감지되면, 해당 시점의 프레임 영상이 표시되는 상태를 유지시킬 수 있다.
한편, 컨트롤 패널(1650)에 포함되는 버튼, 트랙볼, 조그 스위치, 놉(knop) 등은, 메인 디스플레이부(1210) 또는 서브 디스플레이부(1220)에 GUI로 제공될 수 있다.
도 13c를 참조하면, 초음파 영상 장치(1000c)는 휴대형으로도 구현될 수 있다. 휴대형 초음파 영상 장치(1000c)의 예로는, 프로브 및 어플리케이션을 포함하는 스마트 폰(smart phone), 랩탑 컴퓨터, PDA, 태블릿 PC 등이 있을 수 있으나, 이에 한정되지 않는다.
초음파 영상 장치(1000c)는 프로브(2000)와 본체(1430)를 포함하며, 프로브(2000)는 본체(1430)의 일측에 유선 또는 무선으로 연결될 수 있다. 본체(1430)는 터치 스크린(1450)을 포함할 수 있다. 터치 스크린(1450)은 초음파 영상, 초음파 영상 장치에서 처리되는 다양한 정보, 및 GUI 등을 표시할 수 있다.
본 개시에 포함된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 엑스선 시스템을 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 초음파 진단 장치 및 그 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 초음파 진단 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 장치(예를 들어, 초음파 진단 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 장치와 통신 연결되는 제3 장치(예를 들어, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터로 읽을 수 있는 기록매체의 형태로 구현될 수 있다. 상기 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 상기 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시의 실시예들이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
Claims (23)
- 태아 심장의 이상 여부를 판단하는 초음파 진단 장치의 동작 방법에 있어서,
제어부에 의해, 태아의 심장에 관한 초음파 영상에서 태아의 흉곽 및 척추를 검출하는 단계;
사용자 입력부를 통해 상기 초음파 영상 상에서 태아의 흉곽의 좌우 방향에 관한 정보를 입력하는 사용자 입력을 수신하는 단계;
상기 제어부에 의해, 상기 초음파 영상에서 심장의 위치를 검출하는 단계; 및
상기 제어부에 의해, 상기 사용자 입력에 의해 입력된 좌우 방향 정보 및 검출된 심장의 위치 정보에 기초하여 태아 심장의 이상 여부를 판단하는 단계;
를 포함하고,
상기 태아 심장의 이상 여부를 판단하는 단계는,
상기 제어부에 의해, 상기 초음파 영상 상에서 태아의 흉곽과 심장의 면적 정보에 기초하여 태아의 심장 크기의 이상 여부를 판단하는 단계; 를 포함하는, 초음파 진단 장치의 동작 방법.
- 삭제
- 제1항에 있어서,
상기 태아 심장 크기의 이상 여부를 판단하는 단계는,
상기 제어부에 의해, 상기 초음파 영상 상에서 태아의 흉곽의 면적 대비 심장의 면적의 비율을 계산하는 단계; 및
상기 제어부에 의해, 상기 계산된 면적 비율이 1/3을 초과하는 경우 심장 크기의 이상으로 결정하는 단계;
를 포함하는, 초음파 진단 장치의 동작 방법.
- 제1 항에 있어서,
상기 심장의 위치를 검출하는 단계는,
상기 제어부에 의해, 상기 검출된 심장의 위치에 기초하여 심첨(cardiac apex)을 검출하는 단계를 포함하고,
상기 태아 심장의 이상 여부를 판단하는 단계는,
상기 제어부에 의해, 상기 검출된 심첨의 위치 및 방향 정보와 상기 검출된 심장 위치에 기초하여 태아의 심장의 이상 여부를 판단하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
- 제1 항에 있어서,
상기 심장의 위치를 검출하는 단계는,
상기 제어부에 의해, 상기 초음파 영상을 심층 신경망(Deep Neural Network, DNN) 기반의 기계 학습 모델(Machine Learning)에 입력하는 학습(training)을 통해 상기 초음파 영상 내에 포함된 심장의 위치를 검출하는, 초음파 진단 장치의 동작 방법.
- 제1 항에 있어서,
디스플레이부에 의해, 태아 심장의 이상 여부에 관한 정보를 숫자, 문자, 그래프, 이미지, 및 컬러 중 적어도 하나를 이용하여 표시하는 사용자 인터페이스(User Interface, UI)를 디스플레이하는 단계;
를 더 포함하는, 초음파 진단 장치의 동작 방법.
- 제6 항에 있어서,
상기 사용자 인터페이스를 디스플레이하는 단계는,
상기 디스플레이부에 의해, 상기 검출된 심장의 윤곽을 둘러싸는 가상의 선을 통해 상기 심장의 위치를 가이드하는 제1 UI를 디스플레이하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
- 제6 항에 있어서,
상기 사용자 인터페이스를 디스플레이하는 단계는,
상기 디스플레이부에 의해, 상기 검출된 흉곽의 면적과 상기 검출된 심장의 면적에 관한 비율 정보를 그래프 형태로 나타내는 제2 UI를 디스플레이하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
- 제6 항에 있어서,
상기 사용자 인터페이스를 디스플레이하는 단계는,
상기 디스플레이부에 의해, 상기 검출된 흉곽의 면적 대비 정상 범위에 해당되는 심장의 면적 크기의 범위를 컬러로 나타내는 컬러 맵을 상기 초음파 영상 상에 오버랩하여 디스플레이하는 단계를 포함하는, 초음파 진단 장치의 동작 방법.
- 제6 항에 있어서,
상기 사용자 인터페이스를 디스플레이하는 단계는,
상기 디스플레이부에 의해, 임신 주수에 따른 흉곽의 크기 대비 태아의 심장 크기의 비율을 그래프 상에 나타내는 주수별 심장 크기 그래프를 디스플레이하는 단계를 포함하고,
상기 주수별 심장 크기 그래프는 정상 범위의 심장 크기에 해당되는 값에 관한 가이드 라인을 포함하는, 초음파 진단 장치의 동작 방법.
- 제1 항에 있어서,
디스플레이부에 의해, 태아의 심장에 이상이 있는 것으로 판단되는 경우 경고 메시지를 출력하는 단계; 를 더 포함하는, 초음파 진단 장치의 동작 방법.
- 태아 심장의 이상 여부를 판단하는 초음파 진단 장치에 있어서,
태아의 심장에 관한 초음파 영상 상에서 태아의 흉곽의 좌우 방향에 관한 정보를 입력하는 사용자 입력을 수신하는 사용자 입력부; 및
상기 초음파 영상에서 태아의 흉곽 및 척추를 검출하고, 상기 초음파 영상에서 심장의 위치를 검출하고, 상기 사용자 입력에 의해 입력된 좌우 방향 정보 및 검출된 심장 위치에 기초하여 태아 심장의 이상 여부를 판단하는 제어부;
를 포함하고,
상기 제어부는, 상기 초음파 영상 상에서 태아의 흉곽과 심장의 면적 정보에 기초하여 태아의 심장 크기의 이상 여부를 판단하는, 초음파 진단 장치.
- 삭제
- 제12 항에 있어서,
상기 제어부는, 상기 초음파 영상 상에서 태아의 흉곽의 면적 대비 심장의 면적의 비율을 계산하고, 상기 계산된 면적 비율이 1/3을 초과하는 경우 심장 크기의 이상으로 결정하는, 초음파 진단 장치.
- 제12 항에 있어서,
상기 제어부는, 상기 검출된 심장의 위치에 기초하여 심첨(cardiac apex)을 검출하고, 상기 검출된 심첨의 위치 및 방향 정보와 상기 검출된 심장 위치에 기초하여 태아 심장의 이상 여부를 판단하는, 초음파 진단 장치.
- 제12 항에 있어서,
상기 제어부는, 상기 초음파 영상을 심층 신경망(Deep Neural Network, DNN) 기반의 기계 학습 모델(Machine Learning)에 입력하는 학습(training)을 통해 상기 초음파 영상 내에 포함된 심장의 위치를 검출하는 기계 학습 모듈을 포함하는, 초음파 진단 장치.
- 제12 항에 있어서,
태아 심장의 이상 여부에 관한 정보를 숫자, 문자, 그래프, 이미지, 및 컬러 중 적어도 하나를 이용하여 표시하는 사용자 인터페이스(User Interface, UI)를 디스플레이하는 디스플레이부;
를 더 포함하는, 초음파 진단 장치.
- 제17 항에 있어서,
상기 디스플레이부는, 상기 검출된 심장의 윤곽을 둘러싸는 가상의 선을 통해 상기 심장의 위치를 가이드하는 제1 UI를 디스플레이하는, 초음파 진단 장치.
- 제17 항에 있어서,
상기 디스플레이부는, 상기 검출된 흉곽의 면적과 상기 검출된 심장의 면적에 관한 비율 정보를 그래프 형태로 나타내는 제2 UI를 디스플레이하는, 초음파 진단 장치.
- 제17 항에 있어서,
상기 디스플레이부는, 상기 검출된 흉곽의 면적 대비 정상 범위에 해당되는 심장의 면적 크기의 범위를 컬러로 나타내는 컬러 맵을 상기 초음파 영상 상에 오버랩하여 디스플레이하는, 초음파 진단 장치.
- 제17 항에 있어서,
상기 디스플레이부는, 임신 주수에 따른 흉곽의 크기 대비 태아의 심장 크기의 비율을 그래프 상에 나타내는 주수별 심장 크기 그래프를 디스플레이하고,
상기 주수별 심장 크기 그래프는 정상 범위의 심장 크기에 해당되는 값에 관한 가이드 라인을 포함하는, 초음파 진단 장치.
- 제17 항에 있어서,
상기 디스플레이부는, 태아의 심장에 이상이 있는 것으로 판단되는 경우 경고 메시지를 디스플레이하는, 초음파 진단 장치.
- 컴퓨터로 읽을 수 있는 저장 매체에 저장되는 컴퓨터 프로그램에 있어서,
태아의 심장에 관한 초음파 영상에서 태아의 흉곽 및 척추를 검출하는 단계;
사용자 입력부를 통해 상기 초음파 영상 상에서 태아의 흉곽의 좌우 방향에 관한 정보를 입력하는 사용자 입력을 수신하는 단계;
상기 사용자 입력에 의해 입력된 좌우 방향 정보에 기초하여 상기 초음파 영상에서 심장의 위치를 검출하는 단계; 및
검출된 심장 위치에 기초하여 태아 심장의 이상 여부를 판단하는 단계;
를 포함하는 명령어들을 포함하고,
상기 태아 심장의 이상 여부를 판단하는 단계는,
상기 초음파 영상 상에서 태아의 흉곽과 심장의 면적 정보에 기초하여 태아의 심장 크기의 이상 여부를 판단하는 단계; 를 포함하는, 컴퓨터 프로그램.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180141136A KR102660563B1 (ko) | 2018-11-15 | 2018-11-15 | 태아 심장의 이상 여부를 판단하는 초음파 진단 장치 및 초음파 진단 장치의 동작 방법 |
| US16/598,522 US20200155114A1 (en) | 2018-11-15 | 2019-10-10 | Ultrasound diagnosis apparatus for determining abnormality of fetal heart, and operating method thereof |
| EP19206597.7A EP3653131B1 (en) | 2018-11-15 | 2019-10-31 | Ultrasound diagnosis apparatus for determining abnormality of fetal heart, and operating method thereof |
| CN201911117113.9A CN111184534A (zh) | 2018-11-15 | 2019-11-15 | 用于确定胎儿心脏的异常的超声诊断设备及其操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180141136A KR102660563B1 (ko) | 2018-11-15 | 2018-11-15 | 태아 심장의 이상 여부를 판단하는 초음파 진단 장치 및 초음파 진단 장치의 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200056875A KR20200056875A (ko) | 2020-05-25 |
| KR102660563B1 true KR102660563B1 (ko) | 2024-04-26 |
Family
ID=68426127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180141136A KR102660563B1 (ko) | 2018-11-15 | 2018-11-15 | 태아 심장의 이상 여부를 판단하는 초음파 진단 장치 및 초음파 진단 장치의 동작 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20200155114A1 (ko) |
| EP (1) | EP3653131B1 (ko) |
| KR (1) | KR102660563B1 (ko) |
| CN (1) | CN111184534A (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11457891B2 (en) * | 2020-08-17 | 2022-10-04 | Clarius Mobile Health Corp. | Method and system for defining cut lines to generate a 3D fetal representation |
| CN112184656B (zh) * | 2020-09-24 | 2024-04-16 | 广州爱孕记信息科技有限公司 | 基于超声动态图像的胎儿切面的确定方法及装置 |
| CN116322521A (zh) * | 2020-11-16 | 2023-06-23 | 深圳迈瑞生物医疗电子股份有限公司 | 中晚孕期胎儿的超声成像方法和超声成像系统 |
| US20220273261A1 (en) * | 2021-02-26 | 2022-09-01 | GE Precision Healthcare LLC | Ultrasound imaging system and method for multi-planar imaging |
| JP2022189138A (ja) * | 2021-06-10 | 2022-12-22 | 富士通株式会社 | 情報処理プログラム，情報処理装置及び情報処理方法 |
| KR20230084742A (ko) | 2021-12-06 | 2023-06-13 | 대한민국(농촌진흥청장) | 돼지 임신 진단 장치, 이를 포함하는 돼지 임신 진단 시스템 및 돼지 임신 진단 방법 |
| US11875507B1 (en) | 2023-02-22 | 2024-01-16 | BrightHeart SAS | Systems and methods for detecting cardiovascular anomalies using spatiotemporal neural networks |
| US11869188B1 (en) * | 2023-02-22 | 2024-01-09 | BrightHeart SAS | Systems and methods for improving detection of fetal congenital heart defects |
| US11861838B1 (en) | 2023-06-07 | 2024-01-02 | BrightHeart SAS | Systems and methods for system agnostic automated detection of cardiovascular anomalies and/or other features |
| CN117152125B (zh) * | 2023-10-25 | 2024-04-12 | 广州爱孕记信息科技有限公司 | 基于超声影像的心脏异常分析方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008534082A (ja) | 2005-03-25 | 2008-08-28 | イースタン ヴァージニア メディカル スクール | 胎児、新生児及び成体の器官のオペレータに依存しない標準超音波画像を取得及び生成するシステム、方法及び媒体 |
| JP2010115483A (ja) * | 2008-10-16 | 2010-05-27 | Toshiba Corp | 超音波診断装置、超音波画像処理装置、超音波画像取得プログラム及び超音波診断表示プログラム |
| JP2013123582A (ja) | 2011-12-15 | 2013-06-24 | Hitachi Aloka Medical Ltd | 超音波診断装置及び画像表示方法 |
| WO2014039935A1 (en) | 2012-09-08 | 2014-03-13 | Wayne State University | Apparatus and method for fetal intelligent navigation echocardiography |
| US20140296711A1 (en) | 2013-03-28 | 2014-10-02 | Samsung Medison Co., Ltd. | Ultrasound system and method of providing direction information of object |
| US20160038125A1 (en) | 2014-08-06 | 2016-02-11 | General Electric Company | Guided semiautomatic alignment of ultrasound volumes |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4745133B2 (ja) * | 2006-05-30 | 2011-08-10 | 株式会社東芝 | 超音波診断装置、医用画像処理装置及び医用画像処理プログラム |
| US20150193595A1 (en) * | 2014-01-08 | 2015-07-09 | IlnfoBionic, Inc. | Systems and methods for reporting patient health parameters |
| US11266375B2 (en) * | 2015-09-15 | 2022-03-08 | Koninklijke Philips N.V. | Device and method for determining fetal heart rate |
| CN105286921B (zh) * | 2015-09-23 | 2018-03-16 | 吉林大学 | 胎儿监测装置及终端设备 |
| US10871536B2 (en) * | 2015-11-29 | 2020-12-22 | Arterys Inc. | Automated cardiac volume segmentation |
-
2018
- 2018-11-15 KR KR1020180141136A patent/KR102660563B1/ko active IP Right Grant
-
2019
- 2019-10-10 US US16/598,522 patent/US20200155114A1/en not_active Abandoned
- 2019-10-31 EP EP19206597.7A patent/EP3653131B1/en active Active
- 2019-11-15 CN CN201911117113.9A patent/CN111184534A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008534082A (ja) | 2005-03-25 | 2008-08-28 | イースタン ヴァージニア メディカル スクール | 胎児、新生児及び成体の器官のオペレータに依存しない標準超音波画像を取得及び生成するシステム、方法及び媒体 |
| JP2010115483A (ja) * | 2008-10-16 | 2010-05-27 | Toshiba Corp | 超音波診断装置、超音波画像処理装置、超音波画像取得プログラム及び超音波診断表示プログラム |
| JP2013123582A (ja) | 2011-12-15 | 2013-06-24 | Hitachi Aloka Medical Ltd | 超音波診断装置及び画像表示方法 |
| WO2014039935A1 (en) | 2012-09-08 | 2014-03-13 | Wayne State University | Apparatus and method for fetal intelligent navigation echocardiography |
| US20140296711A1 (en) | 2013-03-28 | 2014-10-02 | Samsung Medison Co., Ltd. | Ultrasound system and method of providing direction information of object |
| US20160038125A1 (en) | 2014-08-06 | 2016-02-11 | General Electric Company | Guided semiautomatic alignment of ultrasound volumes |
Non-Patent Citations (4)
| Title |
|---|
| "Normal fetal heart axis and position", OBSTETRICS AND GYNECOLOGY, US, (19870801), vol. 70, no. 2, ISSN 0029-7844, pages 255 - 259, XP055462637 |
| "Prenatal diagnosis of congenital heart disease: A review of current knowledge", INDIAN HEART JOURNAL, IN, (20180101), vol. 70, no. 1 |
| "Ultrasound of fetal cardiac anomalies." American Journal of Roentgenology, vol.197.4, (2011.10.01.) |
| Ultrasound in Obstetrics and Gynecology, Vol. 46, Issue 6, pages.695-699(2015.2.26.) |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200056875A (ko) | 2020-05-25 |
| CN111184534A (zh) | 2020-05-22 |
| EP3653131B1 (en) | 2021-07-14 |
| EP3653131A1 (en) | 2020-05-20 |
| US20200155114A1 (en) | 2020-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102660563B1 (ko) | 태아 심장의 이상 여부를 판단하는 초음파 진단 장치 및 초음파 진단 장치의 동작 방법 | |
| KR102660092B1 (ko) | 초음파 영상 장치 및 그 동작 방법 | |
| KR102642000B1 (ko) | 의료 영상 장치 및 그 동작 방법 | |
| EP3420913B1 (en) | Ultrasound imaging apparatus and control method thereof | |
| US20140288425A1 (en) | Apparatus and method for providing elasticity information | |
| US10004478B2 (en) | Method and apparatus for displaying ultrasound image | |
| EP2842495A1 (en) | Method of generating body marker and ultrasound diagnosis apparatus using the same | |
| US10806433B2 (en) | Ultrasound apparatus and method of operating the same | |
| US11013494B2 (en) | Ultrasound imaging apparatus and ultrasound image display method | |
| EP3071113B1 (en) | Method and apparatus for displaying ultrasound image | |
| US20150272543A1 (en) | Ultrasound diagnostic apparatus and method of operating the same | |
| US10269453B2 (en) | Method and apparatus for providing medical information | |
| US20230062672A1 (en) | Ultrasonic diagnostic apparatus and method for operating same | |
| KR20200104103A (ko) | 초음파 영상과 타 모달리티(modality) 영상을 정합하는 초음파 영상 장치 및 그 동작 방법 | |
| JP2021029675A (ja) | 情報処理装置、検査システム及び情報処理方法 | |
| KR102367446B1 (ko) | 초음파 진단 장치 및 그 동작 방법 | |
| KR102593439B1 (ko) | 초음파 진단 장치의 제어 방법 및 초음파 진단 장치 | |
| EP3510936B1 (en) | Ultrasound imaging apparatus and method of controlling the same | |
| KR102656563B1 (ko) | 초음파 진단 장치 및 초음파 진단 장치의 제어 방법 | |
| US11096667B2 (en) | Ultrasound imaging apparatus and method of controlling the same | |
| KR102557389B1 (ko) | 초음파 영상장치 및 그 제어 방법 | |
| KR20210098243A (ko) | 초음파 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 | |
| KR20200094466A (ko) | 초음파 영상 장치 및 초음파 영상 생성 방법 | |
| EP3851051B1 (en) | Ultrasound diagnosis apparatus and operating method thereof | |
| EP3520702B1 (en) | Method of obtaining contrast image and ultrasound diagnosis apparatus for performing the method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |