KR20240057761A - 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스 - Google Patents
심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스 Download PDFInfo
- Publication number
- KR20240057761A KR20240057761A KR1020220138371A KR20220138371A KR20240057761A KR 20240057761 A KR20240057761 A KR 20240057761A KR 1020220138371 A KR1020220138371 A KR 1020220138371A KR 20220138371 A KR20220138371 A KR 20220138371A KR 20240057761 A KR20240057761 A KR 20240057761A
- Authority
- KR
- South Korea
- Prior art keywords
- points
- image
- echocardiographic
- echocardiogram
- providing information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000002592 echocardiography Methods 0.000 title description 7
- 238000005259 measurement Methods 0.000 claims abstract description 71
- 210000003484 anatomy Anatomy 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 30
- 230000002861 ventricular Effects 0.000 claims description 26
- 210000005246 left atrium Anatomy 0.000 claims description 23
- 230000000747 cardiac effect Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000003745 diagnosis Methods 0.000 claims description 4
- 238000002604 ultrasonography Methods 0.000 abstract description 17
- 210000005240 left ventricle Anatomy 0.000 description 18
- 210000000709 aorta Anatomy 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 11
- 210000005241 right ventricle Anatomy 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 210000004115 mitral valve Anatomy 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 208000019622 heart disease Diseases 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 206010020871 hypertrophic cardiomyopathy Diseases 0.000 description 3
- 230000004660 morphological change Effects 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000012285 ultrasound imaging Methods 0.000 description 3
- 206010002915 Aortic valve incompetence Diseases 0.000 description 2
- 206010007509 Cardiac amyloidosis Diseases 0.000 description 2
- 208000007177 Left Ventricular Hypertrophy Diseases 0.000 description 2
- 208000020128 Mitral stenosis Diseases 0.000 description 2
- 206010027727 Mitral valve incompetence Diseases 0.000 description 2
- 201000001943 Tricuspid Valve Insufficiency Diseases 0.000 description 2
- 206010044640 Tricuspid valve incompetence Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 210000001765 aortic valve Anatomy 0.000 description 2
- 201000002064 aortic valve insufficiency Diseases 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 208000006887 mitral valve stenosis Diseases 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000003102 pulmonary valve Anatomy 0.000 description 2
- 201000010298 pulmonary valve insufficiency Diseases 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009894 physiological stress Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000000596 ventricular septum Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/06—Measuring blood flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/06—Measuring blood flow
- A61B8/065—Measuring blood flow to determine blood output from the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Cardiology (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Hematology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
본 발명은, 프로세서에 의해 구현되는 심장 초음파 영상에 대한 정보 제공 방법으로서, 개체의 심장 초음파 영상을 수신하는 단계, 심장 초음파 영상을 입력으로 하며, 측정치 (measurements) 결정을 위해 심장의 해부학적 구조를 기초로 미리 결정된 복수의 포인트를 출력하도록 학습된 예측 모델을 이용하여, 수신된 심장 초음파 영상 내에서 상기 복수의 포인트를 예측하는 단계, 및 복수의 포인트에 기초하여 측정치를 결정하는 단계를 포함하는 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공한다.
Description
본 발명은 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스에 관한 것이다.
심장 초음파 검사는 입체적인 구조의 심장을 여러 차원의 평면에서 초음파를 투사하여 심장의 영상을 획득하고 혈역학적인 변수들을 측정하는 방식으로 이루어진다.
이때, 의료진은 갈비뼈 사이 등 심장 주위의 해부학적인 구조물들을 통해 다면적인 영상을 획득하도록, 초음파 영상을 얻기 쉬운 위치에 초음파 탐촉자 (probe) 를 위치시키고 회전과 기울임을 통해 적절한 단층을 찾아 영상을 기록한다.
특히, 심장 초음파 검사를 통한 접근 가능한 심장의 형태학적 변화는, 심장 질환, 예를 들어, 심장 아밀로이드증 (cardiac amyloidosis) 및 비대성 심근병증 (hypertrophic cardiomyopathy; HCM) 과도 연관이 있을 수 있다. 뿐만 아니라, 내인성 심장 질환과 전신 손상 모두 좌심실 벽 두께 증가 및 좌심실 비대 (left ventricular hypertrophy; LVH) 의 형태학적 변화와 연관이 있을 수 있다.
즉, 심실의 두께의 정도는 심장 질환의 진단, 나아가 예후 관찰을 위한 임상적 수치로서 제공될 수 있다.
한편, 심장의 형태학적 변화는 루틴한 영상 촬영 (routine imaging) 으로부터 관찰하기 어려우며, 특히 심장 아밀로이드증, 비대성 심근병증은 생리학적 스트레스가 없는 경우 좌심실 질량 (LV mass) 증가와 유사하게 나타날 수 있다.
나아가, 심장 초음파 검사를 통한 심실 벽 두께와 같은 측정치의 결정은, 의료진의 해석에 의존적이며, 결과의 신뢰도 또한 의료진의 실력에 의존적일 수 있다.
즉, 측정치는 의료진의 숙련도에 따라 편차가 클 수 있어, 심장 초음파 영상으로부터 정확도 높은 측정치의 도출이 가능한 새로운 정보 제공 시스템에 대한 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
한편, 전술한 문제점을 해결하기 위해, 본 발명의 발명자들은 심장 초음파 영상에 대하여 복수의 영역을 분할하도록 학습된 인공 신경망 네트워크 기반의 정보 제공 시스템을 개발하고자 하였다.
특히, 본 발명의 발명자들은, 인공 신경망 네트워크를 적용함으로써, 측정치 결정을 위해 심장 초음파 영상 내에서 이완기 말 (End-diastole) 및 수축기 말 (End-Systole) 의 특정 시점을 찾고, 해당 프레임에 대하여 측정치를 결정하는 임상 프로세스를 보완하고, 신뢰도 높은 정보를 제공할 수 있음을 인지할 수 있었다.
더욱이, 본 발명의 발명자들은 인공 신경망 네트워크를 적용함에 따라, 심장 초음파 영상의 전체 프레임에 대한 측정치 결정이 가능하고, 폭 넓은 임상 정보를 제공할 수 있음을 인지할 수 있었다.
그 결과, 본 발명의 발명자들은 인공 신경망 네트워크 기반 정보 제공 시스템을 개발하기에 이르렀다.
한편, 본 발명의 발명자들은 상기 정보 제공 시스템에 대하여, 인공 신경망 네트워크가 전체 영상 내에서 매우 작은 영역으로 존재하는 복수의 포인트들을 결정할 경우, 예측의 정확도가 낮아질 수 있음을 고려하고자 하였다.
보다 구체적으로, 본 발명의 발명자들은 인공 신경망 네트워크에 대하여 심장 초음파 내 복수의 영역 (예를 들어 우심실 전벽 (right ventricle anterior wall), 우심실 (right ventricle; RV) 등) 을 분할하는 동시에 해당 영역 내에서 복수의 포인트들을 예측하도록 구성할 수 있었다.
그 결과, 본 발명의 발명자들은 심장의 해부학적 구조적 특징을 고려한, 정확도 높은 복수의 포인트 예측이 가능함을 확인할 수 있었다.
나아가 본 발명의 발명자들은 대동맥 직경 (Aorta diameter) 또는 좌심방 직경 (LA diameter) 과 같은 측정치 (measurements) 를 자동으로 결정하도록 설계하고자 하였다.
이에 본 발명의 발명자들은 새로운 정보 제공 시스템을 제공함으로써 의료진의 숙련도에 관계 없이 심장 초음파 영상에 대한 신뢰도 높은 분석 결과의 제공이 가능함을 기대할 수 있었다.
한편, 본 발명의 발명자들은, 복수의 포인트 예측에 있어서 네트워크의 추론 속도 (Inference speed) 향상을 위해 입력된 영상이 압축되고 압축된 영상 내에서 복수의 포인트가 예측되는 정보 제공 시스템을 설계하고자 하였다.
이때, 본 발명의 발명자들은 예측된 포인트의 픽셀에 대한 확률 값을 리사이징 과정에서 고려하고자 하였고, 이러한 후처리에 의해 정확도 높은 포인트에 대한 위치 정보가 결정될 수 있음을 더욱 인지할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는, 인공 신경망 기반의 예측 모델을 이용하여 수신된 심장 초음파 영상으로부터 심장의 해부학적 구조를 고려한 복수의 포인트를 결정하고, 이로부터 측정치를 결정하도록 구성된 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 입력된 심장 초음파 영상을 압축하고 이로부터 복수의 포인트를 예측하고, 리사이징 과정에서 예측된 복수의 포인트에 대한 픽셀 값을 고려하도록 구성된, 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법이 제공된다. 상기 방법은, 프로세서에 의해 구현되는 심장 초음파 영상에 대한 정보 제공 방법으로서, 개체의 심장 초음파 영상을 수신하는 단계, 심장 초음파 영상을 입력으로 하며, 측정치 (measurements) 결정을 위해 심장의 해부학적 구조를 기초로 미리 결정된 복수의 포인트를 출력하도록 학습된 예측 모델을 이용하여, 수신된 심장 초음파 영상 내에서 상기 복수의 포인트를 예측하는 단계, 및 복수의 포인트에 기초하여 측정치를 결정하는 단계를 포함한다.
본 발명의 특징에 따르면, 예측 모델은 수신된 심장 초음파 영상을 입력으로 하여 심장 초음파 영상 내에서 상기 해부학적 구조를 기초로 복수의 영역을 분할하도록 구성된 제1 특징 추출부, 및 수신된 심장 초음파 영상을 입력으로 하여 심장 초음파 영상 내에서 복수의 포인트의 위치를 예측하도록 구성된 제2 특징 추출부를 포함할 수 있다. 이때, 복수의 포인트를 예측하는 단계는, 제1 특징 추출부 및 제2 특징 추출부를 이용하여, 복수의 영역 내에서 복수의 포인트의 위치를 결정하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 예측 모델은 복수의 노드 (nodes) 로 구성된 출력 층을 포함하고, 복수의 노드의 수는, 복수의 영역의 수 및 복수의 포인트의 수의 곱에 대응할 수 있다.
본 발명의 또 다른 특징에 따르면, 복수의 포인트를 예측하는 단계 이후에, 제1 특징 추출부를 통해 결정된 복수의 영역을 출력하는 단계, 및 복수의 영역 내에 예측된 복수의 포인트의 위치를 표시하여 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 복수의 포인트 예측하는 단계는, 축소된 심장 초음파 영상을 획득하도록, 예측 모델에 입력된 심장 초음파 영상을 미리 결정된 비율로 압축하는 단계, 축소된 심장 초음파 영상 내에서 복수의 포인트를 예측하는 단계, 및 복수의 포인트가 예측된, 축소된 심장 초음파 영상을 미리 결정된 비율에 기초하여 리사이징하는 (resizing) 단계를 더 포함할 수 있다. 이때, 측정치를 결정하는 단계는, 리사이징된 심장 초음파 영상 내의 복수의 포인트에 기초하여 측정치를 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 복수의 포인트를 예측하는 단계는, 축소된 심장 초음파 영상을 이루는 픽셀 각각에 대하여 복수의 포인트를 확률적으로 예측하는 단계를 포함할 수 있다. 또한, 리사이징하는 단계는, 상기 복수의 포인트에 대한 픽셀의 평균 확률 값에 기초하여 상기 복수의 포인트를 보정하는 단계, 및 보정된 복수의 포인트를 포함하는 심장 초음파 영상을, 미리 결정된 비율에 기초하여 리사이징하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 심장 초음파 영상은, 이완기 말 (End-iastole) 프레임 및 수축기 말 (End-Systole) 프레임을 포함하고, 상기 방법은 측정치를 결정하는 단계 이후에, 측정치가 결정된 이완기 말 프레임 및 수축기 말 프레임의 각각의 프레임을 결정하는 단계, 및 각각의 프레임을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 측정치는, 심실간 중격 (Interventricular septum thickness; IVS), 좌심실의 직경 (Left ventricular diameter; LVID), 좌심실 후방벽 두께 (Left ventricular posterior wall diastole; LVPWD), 우심실 유출로 (Right ventricular outflow tract; RVOT), 대동맥 직경 (Aortic diameter; Ao) 및 좌심방 직경 (Left atrium diameter; LA) 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 상기 방법은 측정치를 결정하는 단계 이후에, 측정치를 기초로 심박출량을 결정하는 단계를 더 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 심장 초음파 영상에 대한 정보 제공용 디바이스가 제공된다.
상기 디바이스는 개체의 심장 초음파 영상을 수신하도록 구성된 통신부, 및 통신부와 기능적으로 연결된 프로세서를 포함한다. 이때, 프로세서는, 심장 초음파 영상을 입력으로 하며, 측정치 (measurements) 결정을 위해 심장의 해부학적 구조를 기초로 미리 결정된 복수의 포인트를 출력하도록 학습된 예측 모델을 이용하여, 수신된 심장 초음파 영상 내에서 복수의 포인트를 예측하고, 복수의 포인트에 기초하여 측정치를 결정하도록 더 구성된다.
본 발명의 특징에 따르면, 예측 모델은, 수신된 상기 심장 초음파 영상을 입력으로 하여 심장 초음파 영상 내에서 해부학적 구조를 기초로 복수의 영역을 분할하도록 구성된 제1 특징 추출부, 및 수신된 심장 초음파 영상을 입력으로 하여 심장 초음파 영상 내에서 복수의 포인트의 위치를 예측하도록 구성된 제2 특징 추출부를 포함할 수 있다. 이때, 프로세서는, 제1 특징 추출부 및 제2 특징 추출부를 이용하여, 복수의 영역 내에서 복수의 포인트의 위치를 결정하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 예측 모델은 복수의 노드 (nodes) 로 구성된 출력 층을 포함할 수 있다. 이때, 복수의 노드의 수는, 복수의 영역의 수 및 복수의 포인트의 수의 곱에 대응할 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는 제1 특징 추출부를 통해 결정된 복수의 영역을 출력하고, 복수의 영역 내에 예측된 복수의 포인트의 위치를 표시하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 축소된 심장 초음파 영상을 획득하도록, 예측 모델에 입력된 심장 초음파 영상을 미리 결정된 비율로 압축하고, 축소된 심장 초음파 영상 내에서 복수의 포인트를 예측하고, 복수의 포인트가 예측된, 축소된 심장 초음파 영상을 미리 결정된 비율에 기초하여 리사이징하는 (resizing) 하고, 리사이징된 심장 초음파 영상 내의 복수의 포인트에 기초하여 상기 측정치를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 축소된 심장 초음파 영상을 이루는 픽셀 각각에 대하여 복수의 포인트를 확률적으로 예측하고, 복수의 포인트에 대한 픽셀의 평균 확률 값에 기초하여 복수의 포인트를 보정하고, 보정된 복수의 포인트를 포함하는 심장 초음파 영상을, 미리 결정된 비율에 기초하여 리사이징하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 심장 초음파 영상은, 이완기 말 (End-diastole) 프레임 및 수축기 말 (End-Systole) 프레임을 포함하고, 프로세서는, 측정치가 결정된 이완기 말 프레임 및 수축기 말 프레임의 각각의 프레임을 결정하도록 구성되고, 상기 디바이스는 각각의 프레임을 출력하도록 구성된 출력부를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 측정치는, 심실간 중격 (Interventricular septum thickness; IVS), 좌심실의 직경 (Left ventricular diameter; LVID), 좌심실 후방벽 두께 (Left ventricular posterior wall diastole; LVPWD), 우심실 유출로 (Right ventricular outflow tract; RVOT), 대동맥 직경 (Aortic diameter; Ao) 및 좌심방 직경 (Left atrium diameter; LA) 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면 프로세서는, 측정치를 기초로 심박출량을 결정하도록 더 구성될 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은, 심장 초음파 영상을 이용하여 심장의 해부학적 구조를 기초로 심장의 측정치를 결정하기 위한 복수의 포인트를 예측하도록 구성된 인공 신경망 네트워크 기반의 심장 초음파 영상에 대한 정보 제공 시스템을 제공함으로써, 신뢰도 높은 심장 질환과 연관된 정보를 제공할 수 있다.
특히, 본 발명은 분할된 복수의 영역 내에서 측정치 결정을 위한 복수의 포인트를 예측하여, 측정치를 자동 계측하도록 구성된 정보 제공 시스템을 제공함으로써, 보다 빠르고 정확하게 심장 구조의 정량화 결과를 제공할 수 있다.
즉, 본 발명은 의료진의 숙련도에 관계 없이 심장 초음파 영상에 대한 신뢰도 높은 분석 결과의 제공이 가능하며, 영상 분석 단계에서 보다 정확한 의사 결정 및 치료 계획을 수립하는데 기여할 수 있다.
나아가, 본 발명은 이완기 말 또는 수축기 말의 일부 프레임이 아닌, 전체 프레임에 대한 측정치 결정이 가능함에 따라 보다 폭 넓은 임상 정보를 제공할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공용 디바이스를 이용한 심장 초음파 영상에 대한 정보 제공 시스템을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 의료진 디바이스의 구성을 나타낸 블록도이다.
도 2b는 본 발명의 일 실시예에 따른 정보 제공용 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 4a 및 4b는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법에서 영상 리사이징의 절차를 도시한 것이다.
도 6a 및 6b는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법 에서 영상 리사이징의 절차를 예시적으로 도시한 것이다.
도 7은 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조적 특징 및 학습 절차를 예시적으로 도시한 것이다.
도 8은 다양한 실시예에 따른 정보 제공 방법에 적용되는 예측 모델에 대한 평과 결과를 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 의료진 디바이스의 구성을 나타낸 블록도이다.
도 2b는 본 발명의 일 실시예에 따른 정보 제공용 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 4a 및 4b는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법에서 영상 리사이징의 절차를 도시한 것이다.
도 6a 및 6b는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법 에서 영상 리사이징의 절차를 예시적으로 도시한 것이다.
도 7은 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조적 특징 및 학습 절차를 예시적으로 도시한 것이다.
도 8은 다양한 실시예에 따른 정보 제공 방법에 적용되는 예측 모델에 대한 평과 결과를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 심장 초음파 영상에 대한 정보를 제공받고자 하는 모든 대상을 의미할 수 있다. 한편, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "심장 초음파 영상"은, 개체에 대한 심장 초음파 영상으로서, 복수의 프레임으로 이루어진 동영상일 수 있다. 예를 들어, 심장 초음파 영상은, 이완기 말 또는 수축기 말의 특정 시점에 대한 프레임을 포함하는 동영상일 수 있다.
이때, 심장 초음파 영상은, 2D 또는 3D 영상일 수도 있다.
본 명세서에서 사용되는 용어, "복수의 영역"은 심장 초음파 영상에서 확인 가능한 심장 구조에 대한 복수의 영역을 의미할 수 있다.
본 발명의 특징에 따르면, 복수의 영역은, 우심실 전벽 (right ventricle anterior wall), 우심실 (right ventricle; RV), 대동맥 전벽 (Anterior wall of aorta), 대동맥 (Aorta), 대동맥 후벽 (Posterior wall of aorta), 좌심방 (left atrium; LA) 및 좌심방 후벽 (Posterior wall of LA) 중 선택된 하나의 영역을 포함할 수 있다.
본 명세서에서 사용되는 용어, "복수의 포인트"는 심장 구조에 대한 정량화 (예를 들어, 심실 벽의 두께 등), 또는 측정치 결정을 위한 포인트로서, 심장 구조의 경계에 존재할 수 있다.
여기서, "측정치"는 심장 구조에 대하여 측정 가능한 두께, 직경 등의 수치를 의미할 수 있다.
본 발명의 특징에 따르면, 측정치는 심실간 중격 IVS(Interventricular septum thickness), 좌심실의 직경 (Left ventricular diameter; LVID), 좌심실 후방벽 두께 (Left ventricular posterior wall diastole; LVPWD), 우심실 유출로 (Right ventricular outflow tract; RVOT), 대동맥 직경 (Aortic diameter; Ao) 및 좌심방 직경 (Left atrium diameter; LA) 중 적어도 하나일 수 있다. 그러나, 이에 제한되는 것은 아니다.
예를 들어, 좌심실의 직경의 측정치를 획득하고자 할 때, 좌심실 영역을 이루는 경계에 2 개의 복수의 포인트가 결정될 수 있고, 좌심실의 직경에 대응하는 2 개의 포인트간 거리가 결정될 수 있다.
한편, 실제 임상에서 의료진은 주기성을 갖는 심장 초음파 동영상에서 실시간 측정치 결정이 쉽지 않기에, 이완기 말 또는 수축기 말의 특정 시점에 대한 스틸 컷 영상을 선택하여 복수의 포인트 및 측정치 결정을 수행할 수 있다.
본 발명의 다양한 실시예에 따라, 심장 초음파 영상 내 모든 프레임에 대하여 복수의 포인트에 대한 예측이 가능한, 예측 모델이 제시된다.
본 명세서에서 사용되는 용어, "예측 모델"은 심장 초음파 영상을 입력으로 하여, 복수의 포인트의 위치 (예를 들어, x, y 좌표) 를 영상 내에서 출력하도록 구성된 모델일 수 있다.
보다 구체적으로, 예측 모델은, 심장 초음파 영상을 입력으로 하여, 영상 내의 심장의 구조적 특징에 기초하여 측정치 결정을 위한 복수의 포인트의 위치를 예측하도록 구성된 모델일 수 있다.
즉, 본원 명세서 내에서 "복수의 포인트 예측" 또는 "복수의 포인트 결정"은, 복수의 포인트에 대한 위치의 예측 또는 결정으로 해석될 수 있다.
이때, 예측 모델은, 심장 초음파 영상을 입력으로 하여 심장 초음파 영상 내에서 해부학적 구조를 기초로 복수의 영역을 분할하도록 구성된 제1 특징 추출부, 및 심장 초음파 영상을 입력으로 하여 심장 초음파 영상 내에서 복수의 포인트의 위치를 예측하도록 구성된 제2 특징 추출부를 포함할 수 있다.
예를 들어, 제1 특징 추출부는, 심장 초음파 영상을 입력으로 하여 우심실 전벽, 우심실, 대동맥 전벽, 대동맥, 대동맥 후벽, 좌심방 및 좌심방 후벽 각각을 확률적으로 분할하기 위한 유닛일 수 있다.
나아가, 제2 특징 추출부는, 심장 초음파 영상을 입력으로 하여 미리 결정된 복수의 포인트를 확률적으로 예측하기 위한 유닛일 수 있다.
즉, 각각의 특징 추출부로부터 추출된 특징들에 기초하여 복수의 영역 내에서 상기 복수의 포인트의 위치가 결정될 수 있다. 이에, 전체 영상에 비하여 상대적으로 적은 영역을 차지하는 복수의 포인트에 대한 국소적 예측이 가능함에 따라 보다 정확한 포인트 위치 예측이 가능할 수 있다.
나아가, 예측 모델은 복수의 노드 (nodes) 로 구성된 출력 층을 포함하는데, 여기서 복수의 노드의 수는, 미리 결정된 복수의 영역의 수 (클래스 수) 및 복수의 포인트의 수 (클래스 수) 의 곱에 대응할 수도 있다.
한편, 예측 모델은, DenseNet-121, U-net, VGG net, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+와 같은 DNN (deep neural network), Lawin+, SegFormer, Swin과 같은 Transformer, SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, RetinaNet, Resnet101, Inception-v3, HRNet, ResNeXt, EfficientNet 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 예측 모델은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수도 있다. 그러나, 이에 제한되는 것은 아니다.
이하에서는 도 1 및 2a 및 2b를 참조하여, 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공용 디바이스를 이용한 심장 초음파 영상에 대한 정보 제공 시스템 및 심장 초음파 영상에 대한 정보 제공용 디바이스를 설명한다.
도 1은 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공용 디바이스를 이용한 심장 초음파 영상에 대한 정보 제공 시스템을 도시한 것이다. 도 2a는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보를 제공받는 의료진 디바이스의 구성을 예시적으로 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
먼저, 도 1을 참조하면, 정보 제공 시스템 (1000) 은, 개체에 대한 심장 초음파 영상을 기초로 심장 초음파 영상과 연관된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 정보 제공 시스템 (1000) 은, 심장 초음파 영상과 연관된 정보를 수신하는 의료진 디바이스 (100), 심장 초음파 영상을 제공하는 초음파 영상 진단 디바이스 (200) 및 수신된 심장 초음파 영상에 기초하여 심장 초음파 영상에 관한 정보를 생성하는 정보 제공용 서버 (300) 로 구성될 수 있다.
먼저, 의료진 디바이스 (100) 는 심장 초음파 영상과 연관된 정보를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.
의료진 디바이스 (100) 는 정보 제공용 서버 (300) 로부터 개체에 대한 심장 초음파 영상과 연관된 예측 결과를 수신하고, 수신된 결과를 후술할 표시부를 통해 표시할 수 있다.
정보 제공용 서버 (300) 는 초음파 진단 디바이스와 같은 초음파 영상 진단 디바이스 (200) 로부터 제공된 심장 초음파 영상을 기초로 심장 정량화와 연관된 정보를 결정하기 위한 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 정보 제공용 서버 (300) 는 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.
보다 구체적으로, 정보 제공용 서버 (300) 는 초음파 영상 진단 디바이스 (200) 로부터 심장 초음파 영상을 수신하고, 수신된 심장 초음파 영상 내에서 측정치 결정을 위한 복수의 포인트 위치에 대한 예측이 수행된다. 이때, 정보 제공용 서버 (300) 는 예측 모델을 이용하여 심장 초음파 영상 내에서 복수의 포인트 위치에 대한 예측이 수행될 수 있다.
나아가, 정보 제공용 서버 (300) 는 복수의 포인트를 기초로 벽의 두께, 관의 직경 등과 같은 측정치를 결정할 수 있다.
정보 제공용 서버 (300) 는 결정된 측정치, 나아가 영역 분할 결과 등을 의료진 디바이스 (100) 로 제공할 수 있다.
이와 같이 정보 제공용 서버 (300) 로부터 제공되는 정보는 의료진 디바이스 (100) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.
다음으로, 도 2a 및 2b를 참조하여, 본 발명의 정보 제공용 서버 (300) 의 구성 요소에 대하여 구체적으로 설명한다.
먼저, 도 2a를 참조하면, 의료진 디바이스 (100) 는 메모리 인터페이스 (110), 하나 이상의 프로세서 (120) 및 주변 인터페이스 (130) 를 포함할 수 있다. 의료진 디바이스 (100) 내의 다양한 컴포넌트들은 하나 이상의 통신 버스 또는 신호 라인에 의해 연결될 수 있다.
메모리 인터페이스 (110) 는 메모리 (150) 에 연결되어 프로세서 (120) 로 다양한 데이터를 전할 수 있다. 여기서, 메모리 (150) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다양한 실시예에서, 메모리 (150) 는 운영 체제 (151), 통신 모듈 (152), 그래픽 사용자 인터페이스 모듈 (GUI) (153), 센서 처리 모듈 (154), 전화 모듈 (155) 및 애플리케이션 모듈 (156) 중 적어도 하나 이상을 저장할 수 있다. 구체적으로, 운영 체제 (151) 는 기본 시스템 서비스를 처리하기 위한 명령어 및 하드웨어 작업들을 수행하기 위한 명령어를 포함할 수 있다. 통신 모듈 (152) 은 다른 하나 이상의 디바이스, 컴퓨터 및 서버 중 적어도 하나와 통신할 수 있다. 그래픽 사용자 인터페이스 모듈 (GUI) (153) 은 그래픽 사용자 인터페이스를 처리할 수 있다. 센서 처리 모듈 (154) 은 센서 관련 기능 (예를 들어, 하나 이상의 마이크 (192) 를 이용하여 수신된 음성 입력을 처리함) 을 처리할 수 있다. 전화 모듈 (155) 은 전화 관련 기능을 처리할 수 있다. 애플리케이션 모듈 (156) 은 사용자 애플리케이션의 다양한 기능들, 예컨대 전자 메시징, 웹 브라우징, 미디어 처리, 탐색, 이미징, 기타 프로세스 기능을 수행할 수 있다. 아울러, 의료진 디바이스 (100) 는 메모리 (150) 에 어느 한 종류의 서비스와 연관된 하나 이상의 소프트웨어 애플리케이션 (156-1, 156-2) (예를 들어, 정보 제공 어플리케이션) 을 저장할 수 있다.
다양한 실시예에서, 메모리 (150) 는 디지털 어시스턴트 클라이언트 모듈 (157) (이하, DA 클라이언트 모듈) 을 저장할 수 있으며, 그에 따라 디지털 어시스턴트의 클라이언트 측의 기능을 수행하기 위한 명령어 및 다양한 사용자 데이터 (158) 를 저장할 수 있다.
한편, DA 클라이언트 모듈 (157) 은 의료진 디바이스 (100) 에 구비된 다양한 사용자 인터페이스 (예를 들어, I/O 서브시스템 (140)) 를 통해 사용자의 음성 입력, 텍스트 입력, 터치 입력 및/또는 제스처 입력을 획득할 수 있다.
또한, DA 클라이언트 모듈 (157) 은 시청각적, 촉각적 형태의 데이터를 출력할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 음성, 소리, 알림, 텍스트 메시지, 메뉴, 그래픽, 비디오, 애니메이션 및 진동 중 적어도 둘 하나 이상의 조합으로 이루어진 데이터를 출력할 수 있다. 아울러, DA 클라이언트 모듈 (157) 은 통신 서브시스템 (180) 을 이용하여 디지털 어시스턴트 서버 (미도시) 와 통신할 수 있다.
다양한 실시예에서, DA 클라이언트 모듈 (157) 은 사용자 입력과 연관된 상황 (context) 을 구성하기 위하여 다양한 센서, 서브시스템 및 주변 디바이스로부터 의료진 디바이스 (100) 의 주변 환경에 대한 추가 정보를 수집할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 사용자 입력과 함께 상황 정보를 디지털 어시스턴트 서버에 제공하여 사용자의 의도를 추론할 수 있다. 여기서, 사용자 입력에 동반될 수 있는 상황 정보는 센서 정보, 예를 들어, 광 (lighting), 주변 소음, 주변 온도, 주변 환경의 영상, 비디오 등을 포함할 수 있다. 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 물리적 상태 (예를 들어, 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 모션 패턴, 셀룰러 신호 강도 등) 을 포함할 수 있다. 또 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 소프트웨어 상태에 관련된 정보 (예를 들어, 의료진 디바이스 (100) 에서 실행 중인 프로세스, 설치된 프로그램, 과거 및 현재 네트워크 활동성, 백그라운드 서비스, 오류 로그, 리소스 사용 등) 를 포함할 수 있다.
다양한 실시예에서, 메모리 (150) 는 추가 또는 삭제된 명령어를 포함할 수 있으며, 나아가 의료진 디바이스 (100) 도 2a에 도시된 구성 외에 추가 구성을 포함하거나, 일부 구성을 제외할 수도 있다.
프로세서 (120) 는 의료진 디바이스 (100) 의 전반적인 동작을 제어할 수 있으며, 메모리 (150) 에 저장된 어플리케이션 또는 프로그램을 구동하여 심장 초음파 영상과 연관된 정보를 제공하는 인터페이스를 구현하기 위한 다양한 명령들을 수행할 수 있다.
프로세서 (120) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서 (120) 는 NPU (Neural Processing Unit) 과 같은 다양한 연산 장치가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다.
주변 인터페이스 (130) 는 다양한 센서, 서브 시스템 및 주변 디바이스와 연결되어, 의료진 디바이스 (100) 가 다양한 기능을 수행할 수 있도록 데이터를 제공해 줄 수 있다. 여기서, 의료진 디바이스 (100) 가 어떠한 기능을 수행한다는 것은 프로세서 (120) 에 의해 수행되는 것으로 이해될 수 있다.
주변 인터페이스 (130) 는 모션 센서 (160), 조명 센서 (광 센서) (161) 및 근접 센서 (162) 로부터 데이터를 제공받을 수 있으며, 이를 통해, 의료진 디바이스 (100) 는 배향, 광, 및 근접 감지 기능 등을 수행할 수 있다. 다른 예를 들어, 주변 인터페이스 (130) 는 기타 센서들 (163) (포지셔닝 시스템-GPS 수신기, 온도 센서, 생체인식 센서) 로부터 데이터를 제공받을 수 있으며, 이를 통해 의료진 디바이스 (100) 가 기타 센서들 (163) 과 관련된 기능들을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 카메라 서브시스템 (170) 및 이와 연결된 광학 센서 (171) 를 포함할 수 있으며, 이를 통해 의료진 디바이스 (100) 는 사진 촬영 및 비디오 클립 녹화 등의 다양한 촬영 기능을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 통신 서브 시스템 (180) 을 포함할 수 있다. 통신 서브 시스템 (180) 은 하나 이상의 유/무선 네트워크로 구성되며, 다양한 통신 포트, 무선 주파수 송수신기, 광학 송수신기를 포함할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 오디오 서브 시스템 (190) 을 포함하며, 이러한 오디오 서브 시스템 (190) 은 하나 이상의 스피커 (191) 및 하나 이상의 마이크 (192) 를 포함함으로써, 의료진 디바이스 (100) 는 음성 작동형 기능, 예컨대 음성 인식, 음성 복제, 디지털 녹음, 및 전화 기능 등을 수행할 수 있다.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 I/O 서브시스템 (140) 을 포함할 수 있다. 예를 들어, I/O 서브시스템 (140) 은 터치 스크린 제어기 (141) 를 통해 의료진 디바이스 (100) 에 포함된 터치 스크린 (143) 을 제어할 수 있다. 일 예로서, 터치 스크린 제어기 (141) 는 정전용량형, 저항형, 적외형, 표면 탄성파 기술, 근접 센서 어레이 등과 같은 복수의 터치 감지 기술 중 어느 하나의 기술을 사용하여 사용자의 접촉 및 움직임 또는 접촉 및 움직임의 중단을 검출할 수 있다. 다른 예를 들어, I/O 서브시스템 (140) 은 기타 입력 제어기(들) (142) 를 통해 의료진 디바이스 (100) 에 포함된 기타 입력/제어 디바이스 (144) 를 제어할 수 있다. 일 예로서, 기타 입력 제어기(들) (142) 은 하나 이상의 버튼, 로커 스위치 (rocker switches), 썸 휠 (thumb-wheel), 적외선 포트, USB 포트 및 스타일러스 등과 같은 포인터 디바이스를 제어할 수 있다.
다음으로, 도 2b를 참조하면, 정보 제공용 서버 (300) 는 통신 인터페이스 (310), 메모리 (320), I/O 인터페이스 (330) 및 프로세서 (340) 를 포함할 수 있으며, 각 구성은 하나 이상의 통신 버스 또는 신호 라인을 통해 서로 통신할 수 있다.
통신 인터페이스 (310) 는 유/무선 통신 네트워크를 통해 의료진 디바이스 (100), 초음파 영상 진단 디바이스 (200) 와 연결되어 데이터를 주고받을 수 있다. 예를 들어, 통신 인터페이스 (310) 는 초음파 영상 진단 디바이스 (200) 로부터 심장 초음파 영상을 수신할 수 있고, 이로부터 결정된 측정치와 연관된 정보를 의료진 디바이스 (100) 에 송신할 수 있다.
한편, 이러한 데이터의 송수신을 가능하게 하는 통신 인터페이스 (310) 는 통신 포드 (311) 및 무선 회로 (312) 를 포함하며, 여기 유선 통신 포트 (311) 는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스 (USB), 파이어와이어 등을 포함할 수 있다. 또한, 무선 회로 (312) 는 RF 신호 또는 광학 신호를 통해 외부 디바이스와 데이터를 송수신할 수 있다. 아울러, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술, 예컨대 GSM, EDGE, CDMA, TDMA, 블루투스, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜 중 적어도 하나를 사용할 수 있다.
메모리 (320) 는 정보 제공용 서버 (300) 에서 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리 (320) 는 심장 초음파 영상을 저장하거나, 심장 초음파 영상 내에서 복수의 포인트의 위치를 예측하도록 학습된 예측 모델을 저장할 수 있다.
다양한 실시예에서, 메모리 (320) 는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 메모리 (320) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
다양한 실시예에서, 메모리 (320) 는 운영 체제 (321), 통신 모듈 (322), 사용자 인터페이스 모듈 (323) 및 하나 이상의 애플리케이션 (324) 중 적어도 하나의 구성을 저장할 수 있다.
운영 체제 (321) (예를 들어, LINUX, UNIX, MAC OS, WINDOWS, VxWorks 등의 내장형 운영 체제) 는 일반적인 시스템 작업 (예를 들어, 메모리 관리, 저장 디바이스 제어, 전력 관리 등) 를 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및 드라이버를 포함할 수 있으며, 다양한 하드웨어, 펌웨어, 및 소프트웨어 컴포넌트 간의 통신을 지원할 수 있다.
통신 모듈 (323) 은 통신 인터페이스 (310) 를 통해 다른 디바이스와 통신을 지원할 수 있다. 통신 모듈 (320) 은 통신 인터페이스 (310) 의 유선 통신 포트 (311) 또는 무선 회로 (312) 에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 구성 요소들을 포함할 수 있다.
사용자 인터페이스 모듈 (323) 은 I/O 인터페이스 (330) 를 통해 키보드, 터치 스크린, 마이크 등으로부터 사용자의 요청 또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스를 제공할 수 있다.
애플리케이션 (324) 은 하나 이상의 프로세서 (330) 에 의해 실행되도록 구성되는 프로그램 또는 모듈을 포함할 수 있다. 여기서, 심장 초음파 영상과 연관된 정보를 제공하기 위한 애플리케이션은 서버 팜 (server farm) 상에서 구현될 수 있다.
I/O 인터페이스 (330) 는 정보 제공용 서버 (300) 의 입출력 디바이스 (미도시), 예컨대 디스플레이, 키보드, 터치 스크린 및 마이크 중 적어도 하나를 사용자 인터페이스 모듈 (323) 과 연결할 수 있다. I/O 인터페이스 (330) 는 사용자 인터페이스 모듈 (323) 과 함께 사용자 입력 (예를 들어, 음성 입력, 키보드 입력, 터치 입력 등) 을 수신하고, 수신된 입력에 따른 명령을 처리할 수 있다.
프로세서 (340) 는 통신 인터페이스 (310), 메모리 (320) 및 I/O 인터페이스 (330) 와 연결되어 정보 제공용 서버 (300) 의 전반적인 동작을 제어할 수 있으며, 메모리 (320) 에 저장된 애플리케이션 또는 프로그램을 통해 정보 제공을 위한 다양한 명령들을 수행할 수 있다.
프로세서 (340) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서 (340) 는 다양한 연산 장치가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다. 또는 프로세서 (340) 는 NPU (Neural Processing Unit) 과 같이 인공 신경망 모델을 계산하기 위한 모듈을 포함할 수 있다.
다양한 실시예에서, 프로세서 (340) 는 예측 모델들을 이용하여 심장 초음파 영상 내에서 복수의 포인트를 예측하고 측정치를 자동으로 결정하여 제공하도록 구성될 수 있다. 선택적으로, 프로세서 (340) 는 심장 초음파 영상으로부터 획득 가능한 측정치에 대한 정보를 제공하도록 구성될 수 있다.
이하에서는, 도 3, 도 4a 및 4b, 도 5, 도 6a 및 6b를 참조하여, 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법을 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 4a 및 4b는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다. 도 5는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법에서 영상 리사이징의 절차를 도시한 것이다. 도 6a 및 6b는 본 발명의 일 실시예에 따른 심장 초음파 영상에 대한 정보 제공 방법 에서 영상 리사이징의 절차를 예시적으로 도시한 것이다.
먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 절차는 다음과 같다. 먼저, 개체에 대한 심장 초음파 영상이 수신된다 (S310). 그 다음, 예측 모델에 의해 복수의 포인트의 위치가 결정된다 (S320). 그 다음, 복수의 포인트에 기초하여 측정치가 결정된다 (S330).
보다 구체적으로, 심장 초음파 영상이 수신되는 단계 (S310) 에서 표적 부위 즉 심장 부위에 대한 심장 초음파 영상이 수신될 수 있다.
본 발명의 특징에 따르면, 심장 초음파 영상이 수신되는 단계 (S310) 에서 복수의 프레임을 포함하는 심장 초음파 동영상이 수신될 수 있다. 그러나, 이에 제한되는 것은 아니며 단일 프레임의 스틸 컷 영상이 수신될 수 있다.
다음으로, 복수의 포인트가 예측되는 단계 (S320) 가 수행된다.
본 발명의 특징에 따르면, 복수의 포인트가 예측되는 단계 (S320) 는 수신된 심장 초음파 영상을 입력으로 하여 심장 초음파 영상 내에서 해부학적 구조를 기초로 복수의 영역을 분할하도록 구성된 제1 특징 추출부, 및 수신된 심장 초음파 영상을 입력으로 하여 심장 초음파 영상 내에서 복수의 포인트의 위치를 예측하도록 구성된 제2 특징 추출부를 포함하는 예측 모델에 의해 수행될 수 있다.
즉, 복수의 포인트가 예측되는 단계 (S320) 에서, 제1 특징 추출부 및 제2 특징 추출부에 의해 복수의 영역 내에서 상기 복수의 포인트의 위치가 결정될 수 있다.
이때, 제1 특징 추출부는, 심장 초음파 영상 내에서, 우심실 전벽 (right ventricle anterior wall), 우심실 (right ventricle; RV), 대동맥 전벽 (Anterior wall of aorta), 대동맥 (Aorta), 대동맥 후벽 (Posterior wall of aorta), 좌심방 (left atrium; LA) 및 좌심방 후벽 (Posterior wall of LA) 중 선택된 적어도 하나의 영역을 분할할 수 있다.
그 다음, 영역 기반 예측된 복수의 포인트에 기초하여 측정치가 결정된다 (S330).
예를 들어, 도 4a를 함께 참조하면, 심장 초음파 영상 (412) 이 수신되면, 복수의 포인트가 예측되는 단계 (S320) 에서 예측 모델 (420) 에 입력된다. 보다 구체적으로, 제1 특징 추출부 (420a) 에 의해 입력된 심장 초음파 영상 (412) 에 대한 복수의 영역의 분할과 관련된 특징이 추출되고, 동시에 제2 특징 추출부 (420b) 에 의해 입력된 심장 초음파 영상 (412) 에 대한 복수의 포인트와 관련된 특징이 추출된다. 이렇게 추출된 특징들에 대한 연산이 이루어진 후, 최종적으로 심장 초음파 영상 (412) 내에서, 특히 복수의 영역 내에서 복수의 포인트의 위치가 결정될 수 있다. 즉, 두 개의 특징 추출부에 의해 전체 초음파 영상에 비하여 상대적으로 적은 영역을 차지하는 복수의 포인트에 대한 국소적 예측이 가능함에 따라 보다 정확한 포인트 위치 예측이 가능할 수 있다. 그 다음, 측정치가 결정되는 단계 (S330) 에서 복수의 포인트를 기초로 측정치가 결정되고, 측정치가 결정된 영상 (432) 이 제공될 수 있다.
다시 도 3으로 돌아오면, 복수의 포인트가 예측되는 단계 (S320) 이후에, 제1 특징 추출부를 통해 결정된 복수의 영역이 출력되고, 복수의 영역 내에 예측된 복수의 포인트의 위치가 표시되어 제공되는 단계가 더욱 수행될 수 있다.
예를 들어, 도 4b를 함께 참조하면, 예측 모델 (420) 에 의해, 제1 특징 추출부 (420a) 를 통해 결정된 복수의 영역이 출력된다 (424 참조). 동시에 제1 특징 추출부 (420a) 및 제2 특징 추출부 (420b) 를 통해 결정된 복수의 포인트 위치가 심장 초음파 영상 (422) 내에 표시되고, 복수의 영역이 분할된 심장 초음파 영상 (424) 및 복수의 포인트 위치가 표시된 심장 초음파 영상 (422) 이 오버레이되어, 구조적 특징과 함께 복수의 포인트가 표시된 심장 초음파 영상 (426) 이 획득될 수 있다. 이러한 심장 초음파 영상 (426) 은 의료진 디바이스 (100) 에 수신되어 심장의 해부학적 구조적 특징과 함께, 심장 구조의 정량화를 위한 복수의 포인트에 대한 정보가 제공될 수 있다. 선택적으로, 구조적 특징과 함께 복수의 포인트가 표시된 심장 초음파 영상 (426) 내에서 측정치가 결정되고, 측정치가 결정된 심장 초음파 영상 (432) 이 추가 제공될 수도 있다.
다시, 도 3을 참조하면, 심장 초음파 영상은, 이완기 말 (End-diastole) 프레임 및 수축기 말 (End-Systole) 프레임을 포함할 수 있고, 측정치가 결정되는 단계 (S330) 이후에, 측정치가 결정된 이완기 말 프레임 및 수축기 말 프레임의 각각의 프레임이 결정되고, 각각의 프레임이 제공되는 단계가 더욱 수행될 수 있다.
한편, 복수의 포인트에 대한 예측 및 측정치의 결정은 전술한 실시예에 제한되는 것은 아니다.
도 5를 참조하면, 본 발명의 다른 실시예에 따른 정보 제공 방법에서, 예측 모델의 추론 속도 향상을 위해, 입력된 심장 초음파 영상이 미리 결정된 비율로 압축되고 (S510), 축소된 심장 초음파 영상 내에서 복수의 포인트가 예측되고 (S520), 복수의 포인트가 예측된, 축소된 심장 초음파 영상이 미리 결정된 비율에 기초하여 리사이징되는 (resizing) 단계 (S530) 가 더욱 수행될 수 있다.
예를 들어, 도 6a를 참조하면, 심장 초음파 영상이 미리 결정된 비율로 압축되는 단계에서 (S510) 예측 모델 (420) 에 입력된 심장 초음파 영상 (412) 이 미리 결정된 비율로 압축된다. 축소된 심장 초음파 영상 (512) 은 제2 특징 추출부 (420b) 에 의해 복수의 포인트가 예측되고, 다시 미리 결정된 비율에 기초하여 스케일업 되면서 리사이징된 심장 초음파 영상 (532) 이 획득될 수 있다. 이때, 선택적으로 제1 특징 추출부 (420a) 는 리사이징된 심장 초음파 영상 (532) 에 대하여 복수의 영역 분할을 위한 특징을 추출할 수 있지만, 이에 제한되는 것은 아니며 초기 입력된 심장 초음파 영상 (412) 에 대하여 특징 추출을 수행할 수도 있다. 나아가, 제1 특징 추출부 (420a) 에서 동일하게 심장 초음파 영상 (412) 에 대한 압축 및 리사이징이 수행될 수도 있다.
본 발명의 특징에 따르면, 리사이징되는 단계 (S530) 에서, 복수의 포인트에 대한 픽셀의 평균 확률 값에 기초하여 복수의 포인트가 보정되고, 보정된 복수의 포인트를 포함하는 심장 초음파 영상이 미리 결정된 비율에 기초하여 리사이징될 수 있다.
예를 들어, 도 6b를 함께 참조하면, 복수의 포인트가 결정된, 축소된 심장 초음파 영상 (522) 의 경우 이를 이루는 각각의 픽셀에 대하여 확률적으로 특정 포인트가 결정된다 (5221 참조). 이때, 특정 포인트의 픽셀의 평균 확률 값에 기초하여 포인트가 최종 결정될 수 있다 (5222) 참조. 즉, 리사이징된 심장 초음파 영상 (532) 의 경우 후처리된 복수의 포인트의 좌표, 즉 위치를 제공할 수 있어, 압축에 의해 예측 모델 (420) 의 추론 속도가 빨라졌음에도 정확도 높은 포인트 위치에 대한 정보 제공이 가능할 수 있다.
이에 의료진은, 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따라, 획득된 심장 초음파 영상으로부터 측정치를 용이하게 파악할 수 있어, 빠르게 초음파 분석 단계를 진행할 수 있고, 보다 정확한 의사 결정 및 치료 계획을 수립할 수 있다.
이하에서는 도 7을 참조하여, 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조적 특징 및 학습 방법에 대하여 설명한다. 도 7은 본 발명의 다양한 실시예에 이용되는 예측 모델의 구조적 특징 및 학습 절차를 예시적으로 도시한 것이다.
이때, 설명의 편의를 위해 전술한 실시예에서 사용된 도면 부호가 사용된다.
도 7을 참조하면, 예측 모델 (420) 은 학습용 심장 초음파 영상 (714) 을 기초로 복수의 심장 영역 분할을 위한 특징을 추출을 위한 제1 특징 추출부 (420a) 및 복수의 포인트 예측을 위한 특징 추출을 위한 제2 특징 추출부 (420b) 로 이루어질 수 있다. 학습 단계에서, 제1 특징 추출부 (420a) 로부터 추출된 특징과 복수의 영역이 마스크로서 라벨링된 심장 초음파 영상 (712), 즉 정답과의 비교를 통해 Lseg가 결정되고, 제2 특징 추출부 (420b) 로부터 추출된 특징과 복수의 포인트가 라벨링된 심장 초음파 영상 (716), 즉 정답과의 비교를 통해 Lseg_detect가 결정된다. 그 다음, Lseg 및 Lseg_detect에 기초하여 Ltotal이 결정되고, 예측 모델은 이를 학습함으로써 복수의 영역 내에서, 특히 복수의 영역에 대한 경계에서 복수의 포인트의 국소적 예측이 가능하도록 구성될 수 있다.
이러한 학습 단계를 통해, 예측 모델은 전체 초음파 영상 내에서 상대적으로 적은 영역을 차지하는 포인트에 대한 정확도 높은 예측이 가능할 수 있다.
평가: 예측 모델의 평가
이하에서는 도 8을 참조하여, 본 발명의 다양한 실시예에 적용되는 예측 모델의 평가 결과를 설명한다. 도 8은 다양한 실시예에 따른 정보 제공 방법에 적용되는 예측 모델에 대한 평과 결과를 도시한 것이다.l
도 8을 참조하면, 프로그래밍을 통해 측정치 결정을 위한 수동 입력이 필요한 반자동 방식의 모델에 대한 평가 (비교예 1), 심장 초음파 영상 내에서 영역 분할 없이 복수의 포인트를 바로 예측하도록 구성된 모델에 대한 평가 (비교예 2) 및 본 발명의 다양한 실시예에 적용되는 영역 분할 및 복수의 포인트의 예측을 수행하도록 구성된 예측 모델에 대한 평가 (실시예) 결과가 도시된다.
보다 구체적으로, 반자동 방식의 모델 기반의 비교예 1에 비하여, 복수의 포인트에 대한 예측이 가능한 모델 기반의 비교예 2 및 실시예에서 모델의 사이즈가 작고, 추론 속도가 빠른 것으로 나타난다.
특히, 본 발명의 실시예에 따르면, 영역 분할 및 복수의 포인트의 예측을 수행함에도, 압축된 영상에 대한 복수의 포인트 예측이 수행됨에 따라 프레임당 예측 속도가 0.03s로 비교예 2의 포인트 예측 기반 모델의 예측 속도인 0.1s보다 3/1 수준으로 빠른 것으로 나타난다.
또한 본 발명의 일 실시예에 따른 영상의 정확도를 평가하기 위해 본 발명의 일 실시예에 의해 획득한 18가지 영상에 대해 영상 인식 정확도에 대한 테스트를 시행하였으며, 정확도는 전체 이미지 수에 대해 정확히 인식된 이미지 수를 백분율로 나타내었다.
그 결과, 하기 표 1에 나타난 바와 같이 본 발명의 일 실시예에 따른 영상 인식과 실제 이미지 사이의 정확도를 비교한 결과 모두 평균 84% 이상으로 나타났으며, 평균 정확도는 98.22%로 측정되어 본 발명에 의한 영상 인식 정확도 또한 매우 우수함을 확인하였다.
| No. | View | Average Accuracy (%) |
Test Criteria | Pass/Fail |
| 1 | Parasternal long axis Left Ventricle (PLAX LV) | 100 | 84% | Pass |
| 2 | Apical Four Chamber (A4C) | 98 | 84% | Pass |
| 3 | Apical Four Chamber zoomed Left Ventricle (A4C Zoomed LV) | 95 | 84% | Pass |
| 4 | Apical Two Chamber (A2C) | 98 | 84% | Pass |
| 5 | Apical Two Chamber zoomed Left Ventricle (A2C zoomed LV) | 100 | 84% | Pass |
| 6 | Left Atrium and Aorta (LA/Ao) | 100 | 84% | Pass |
| 7 | Left Ventricle (LV) | 100 | 84% | Pass |
| 8 | Continuous Wave Doppler Mitral Stenosis (CW Doppler MS) | 100 | 84% | Pass |
| 9 | Continuous Wave Doppler Mitral Regurgitation (CW Doppler MR) | 88 | 84% | Pass |
| 10 | Pulsed Wave Doppler Mitral Valve(PW Doppler MV) | 100 | 84% | Pass |
| 11 | Continuous Wave Doppler Aortic Valve (CW Doppler AV) | 99 | 84% | Pass |
| 12 | Continuous Wave Doppler Aortic Regurgitation (CW Doppler AR) | 100 | 84% | Pass |
| 13 | Continuous Wave Doppler Tricuspid Regurgitation (DW Doppler TR) | 99 | 84% | Pass |
| 14 | Continuous Wave Doppler Pulmonary Valve (CW Doppler PV) | 93 | 84% | Pass |
| 15 | Continuous Wave Doppler Pulmonary Regurgitation (CW Doppler PR) | 100 | 84% | Pass |
| 16 | Pulsed Wave Doppler Right Ventricular Outflow Tract (PW Doppler RVOT) | 98 | 84% | Pass |
| 17 | Pulsed Wave Doppler Left Ventricular Outflow Tract (RW Doppler LVOT) | 100 | 84% | Pass |
| 18 | Doppler Tissue Imaging Mitral Valve annulus (DTI MV annulus) | 100 | 84% | Pass |
또한, 본 발명이 일 실시예에 의해 표시된 측정 결과와 전문가가 수동으로 측정한 결과를 비교하여 본 발명에 의한 측정 정확도를 측정하였다. 전문가의 측정값으로 정의된 기준값을 사용하여 본 발명에 의한 측정값의 정확도를 평가하기 위해 피어슨 상관 계수(Pearson Correlation Coefficient, PCC)를 산출하였다.
이전 연구(Subramanian,et al. "Automated Interventricular Septum Thickness Measurement from B-Mode Echocardiograms." Medical image computing and computer-assisted intervention: MICCAI (2010) 13. 510-7.)들을 통해 정확도를 평가하기 위한 피어슨 상관계수의 임계값은 0.8로 하였다.
그 결과, 하기 표 2에 나타낸 바와 같이 모든 테스트 샘플 결과는 피어슨 상관계수가 0.8 이상으로 나타나, 기준치를 충족하는 것으로 확인되어 본 발명의 일 실시예에 따른 측정 정확도 또한 우수함을 확인하였다.
| No | View | Measurement | Pearson correlation coefficient (r) | Test Criteria | Pass/ Fail |
| 1 | PLAX LV | LV septum diameter at the diastole (unit: mm) | 0.85 | 0.80 | Pass |
| LV septum diameter at the systole (unit: mm) | 0.84 | 0.80 | Pass | ||
| LV internal diameter at the diastole (unit: mm) | 0.84 | 0.80 | Pass | ||
| LV internal diameter at the systole (unit: mm) | 0.86 | 0.80 | Pass | ||
| LV posterior wall diameter at the diastole (unit: mm) | 0.86 | 0.80 | Pass | ||
| LV posterior wall diameter at the systole (unit: mm) | 0.88 | 0.80 | Pass | ||
| LA diameter (unit: mm) | 0.91 | 0.80 | Pass | ||
| Aorta diameter (unit: mm) | 0.84 | 0.80 | Pass | ||
| 2 | A4C | LV Volume | 0.86 | 0.80 | Pass |
| LA Volume | 0.88 | 0.80 | Pass | ||
| 3 | A4C zoomed LV | LV Volume | 0.87 | 0.80 | Pass |
| 4 | A2C | LV Volume | 0.90 | 0.80 | Pass |
| LA Volume | 0.86 | 0.80 | Pass | ||
| 5 | A2C zoomed LV | LV Volume | 0.85 | 0.80 | Pass |
| 6 | M-mode LA/Ao | LA diameter (unit: mm) | 0.98 | 0.80 | Pass |
| Aorta diameter (unit: mm) | 0.96 | 0.80 | Pass | ||
| 7 | M-mode LV | Interventricular septum diameter at diastole (unit: mm) | 0.94 | 0.80 | Pass |
| LV internal diameter at diastole (unit: mm) | 0.96 | 0.80 | Pass | ||
| LV posterior wall diameter at diastole (unit: mm) | 0.82 | 0.80 | Pass | ||
| Interventricular septum diameter at systole (unit: mm) | 0.92 | 0.80 | Pass | ||
| LV internal diameter at systole (unit: mm) | 0.97 | 0.80 | Pass | ||
| LV posterior wall diameter at systole (unit: mm) | 0.88 | 0.80 | Pass | ||
| 8 | PW Doppler Mitral Valve |
E Velocity | 0.99 | 0.80 | Pass |
| A Velocity | 0.98 | 0.80 | Pass | ||
| Deceleration time | 0.85 | 0.80 | Pass | ||
| 9 | DTI Mitral Valve Annulus | e' velocity | 0.98 | 0.80 | Pass |
| a' velocity | 0.93 | 0.80 | Pass | ||
| s' velocity | 0.94 | 0.80 | Pass | ||
| 10 | PW Doppler LVOT | Maximum Velocity | 0.98 | 0.80 | Pass |
| Velocity Time Integral | 0.99 | 0.80 | Pass | ||
| 11 | PW Doppler RVOT | Maximum Velocity | 0.98 | 0.80 | Pass |
| Velocity Time Integral | 0.99 | 0.80 | Pass | ||
| Acceleration time | 0.92 | 0.80 | Pass | ||
| 12 | CW Doppler Tricuspid Regurgitation |
Maximum Velocity | 0.95 | 0.80 | Pass |
| Velocity Time Integral | 0.9 | 0.80 | Pass | ||
| 13 | CW Doppler Aortic Regurgitation or Pulmonary Regurgitation |
Maximum Velocity | 0.98 | 0.80 | Pass |
| Pressure Half Time | 0.95 | 0.80 | Pass | ||
| 14 | CW Doppler Mitral Stenosis |
Maximum Velocity | 0.99 | 0.80 | Pass |
| Velocity Time Integral | 0.99 | 0.80 | Pass | ||
| Pressure Half Time | 0.99 | 0.80 | Pass | ||
| 15 | CW Doppler Mitral Regurgitation |
Maximum Velocity | 0.93 | 0.80 | Pass |
| Velocity Time Integral |
0.98 | 0.80 | Pass |
||
| 16 | CW Doppler Aortic Valve and Pulmonary Valve |
Maximum Velocity | 0.99 | 0.80 | Pass |
| Velocity Time Integral | 0.98 | 0.80 | Pass |
CW = continuous wave; DTI = Doppler tissue imaging; LVOT = left ventricular outflow tract; MV = mitral valve; PW = pulsed wave; RVOT = right ventricular outflow trac
이러한 결과는, 본 발명의 다양한 실시예에 적용되는 예측 모델이, 이완기 말 또는 수축기 말의 특정 프레임뿐만 아니라, 심장 초음파 영상의 모든 프레임에 대하여 신속하고 정확도 높은 포인트 위치의 예측이 가능함을 의미할 수 있다.
즉, 본 발명은 의료진의 숙련도에 관계 없이 심장 초음파 영상에 대한 신속하고 신뢰도 높은 분석 결과의 제공이 가능하며, 영상 분석 단계에서 보다 빠르고 정확한 의사 결정 및 치료 계획을 수립하는데 기여할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 의료진 디바이스
110: 메모리 인터페이스 120: 프로세서
130: 주변 인터페이스 140: I/O 서브 시스템
141: 터치 스크린 제어기 142: 기타 입력 제어기
143: 터치 스크린
144: 기타 입력 제어 디바이스
150: 메모리 151: 운영 체제
152: 통신 모듈 153: GUI 모듈
154: 센서 처리 모듈 155: 전화 모듈
156: 애플리케이션들
156-1, 156-2: 애플리케이션
157: 디지털 어시스턴트 클라이언트 모듈
158: 사용자 데이터
160: 모션 센서 161: 조명 센서
162: 근접 센서 163: 기타 센서
170: 카메라 서브 시스템 171: 광학 센서
180: 통신 서브 시스템
190: 오디오 서브 시스템
191: 스피커 192: 마이크
300: 정보 제공용 서버
310: 통신 인터페이스
311: 유선 통신 포트 312: 무선 회로
320: 메모리
321: 운영 체제 322: 통신 모듈
323: 사용자 인터페이스 모듈 324: 애플리케이션
330: I/O 인터페이스 340: 프로세서
110: 메모리 인터페이스 120: 프로세서
130: 주변 인터페이스 140: I/O 서브 시스템
141: 터치 스크린 제어기 142: 기타 입력 제어기
143: 터치 스크린
144: 기타 입력 제어 디바이스
150: 메모리 151: 운영 체제
152: 통신 모듈 153: GUI 모듈
154: 센서 처리 모듈 155: 전화 모듈
156: 애플리케이션들
156-1, 156-2: 애플리케이션
157: 디지털 어시스턴트 클라이언트 모듈
158: 사용자 데이터
160: 모션 센서 161: 조명 센서
162: 근접 센서 163: 기타 센서
170: 카메라 서브 시스템 171: 광학 센서
180: 통신 서브 시스템
190: 오디오 서브 시스템
191: 스피커 192: 마이크
300: 정보 제공용 서버
310: 통신 인터페이스
311: 유선 통신 포트 312: 무선 회로
320: 메모리
321: 운영 체제 322: 통신 모듈
323: 사용자 인터페이스 모듈 324: 애플리케이션
330: I/O 인터페이스 340: 프로세서
Claims (18)
- 프로세서에 의해 구현되는 심장 초음파 영상에 대한 정보 제공 방법으로서,
개체의 심장 초음파 영상을 수신하는 단계;
상기 심장 초음파 영상을 입력으로 하며, 측정치 (measurements) 결정을 위해 심장의 해부학적 구조를 기초로 미리 결정된 복수의 포인트를 출력하도록 학습된 예측 모델을 이용하여, 수신된 상기 심장 초음파 영상 내에서 상기 복수의 포인트를 예측하는 단계, 및
상기 복수의 포인트에 기초하여 측정치를 결정하는 단계를 포함하는, 심장 초음파 영상에 대한 정보 제공 방법. - 제1항에 있어서,
상기 예측 모델은,
수신된 상기 심장 초음파 영상을 입력으로 하여 상기 심장 초음파 영상 내에서 상기 해부학적 구조를 기초로 복수의 영역을 분할하도록 구성된 제1 특징 추출부, 및
수신된 상기 심장 초음파 영상을 입력으로 하여 상기 심장 초음파 영상 내에서 상기 복수의 포인트의 위치를 예측하도록 구성된 제2 특징 추출부를 포함하고,
상기 복수의 포인트를 예측하는 단계는,
상기 제1 특징 추출부 및 상기 제2 특징 추출부를 이용하여, 상기 복수의 영역 내에서 상기 복수의 포인트의 위치를 결정하는 단계를 포함하는, 심장 초음파 영상에 대한 정보 제공 방법. - 제2항에 있어서,
상기 예측 모델은 복수의 노드 (nodes) 로 구성된 출력 층을 포함하고,
상기 복수의 노드의 수는, 상기 복수의 영역의 수 및 복수의 포인트의 수의 곱에 대응하는, 심장 초음파 영상에 대한 정보 제공 방법. - 제2항에 있어서,
상기 복수의 포인트를 예측하는 단계 이후에,
상기 제1 특징 추출부를 통해 결정된 상기 복수의 영역을 출력하는 단계, 및
상기 복수의 영역 내에 예측된 상기 복수의 포인트의 위치를 표시하여 제공하는 단계를 더 포함하는, 심장 초음파 영상에 대한 정보 제공 방법. - 제1항에 있어서,
상기 복수의 포인트 예측하는 단계는,
축소된 심장 초음파 영상을 획득하도록, 상기 예측 모델에 입력된 상기 심장 초음파 영상을 미리 결정된 비율로 압축하는 단계;
상기 축소된 심장 초음파 영상 내에서 상기 복수의 포인트를 예측하는 단계, 및
복수의 포인트가 예측된, 축소된 심장 초음파 영상을 미리 결정된 비율에 기초하여 리사이징하는 (resizing) 단계를 더 포함하고,
상기 측정치를 결정하는 단계는,
리사이징된 심장 초음파 영상 내의 복수의 포인트에 기초하여 상기 측정치를 결정하는 단계를 포함하는, 심장 초음파 영상에 대한 정보 제공 방법. - 제5항에 있어서,
상기 복수의 포인트를 예측하는 단계는,
상기 축소된 심장 초음파 영상을 이루는 픽셀 각각에 대하여 상기 복수의 포인트를 확률적으로 예측하는 단계를 포함하고,
상기 리사이징하는 단계는,
상기 복수의 포인트에 대한 픽셀의 평균 확률 값에 기초하여 상기 복수의 포인트를 보정하는 단계, 및
보정된 복수의 포인트를 포함하는 심장 초음파 영상을, 상기 미리 결정된 비율에 기초하여 리사이징하는 단계를 포함하는, 심장 초음파 영상에 대한 정보 제공 방법. - 제1항에 있어서,
상기 심장 초음파 영상은, 이완기 말 (End-diastole) 프레임 및 수축기 말 (End-Systole) 프레임을 포함하고,
상기 측정치를 결정하는 단계 이후에,
상기 측정치가 결정된 상기 이완기 말 프레임 및 상기 수축기 말 프레임의 각각의 프레임을 결정하는 단계, 및
상기 각각의 프레임을 제공하는 단계를 더 포함하는, 심장 초음파 영상에 대한 정보 제공 방법. - 제1항에 있어서,
상기 측정치는, 심실간 중격 (Interventricular septum thickness; IVS), 좌심실의 직경 (Left ventricular diameter; LVID), 좌심실 후방벽 두께 (Left ventricular posterior wall diastole; LVPWD), 우심실 유출로 (Right ventricular outflow tract; RVOT), 대동맥 직경 (Aortic diameter; Ao) 및 좌심방 직경 (Left atrium diameter; LA) 중 적어도 하나인, 심장 초음파 영상에 대한 정보 제공 방법. - 제1항에 있어서,
상기 측정치를 결정하는 단계 이후에,
상기 측정치를 기초로 심박출량을 결정하는 단계를 더 포함하는, 심장 초음파 영상에 대한 정보 제공 방법. - 개체의 심장 초음파 영상을 수신하도록 구성된 통신부, 및
상기 통신부와 기능적으로 연결된 프로세서를 포함하되,
상기 프로세서는,
상기 심장 초음파 영상을 입력으로 하며, 측정치 (measurements) 결정을 위해 심장의 해부학적 구조를 기초로 미리 결정된 복수의 포인트를 출력하도록 학습된 예측 모델을 이용하여, 수신된 상기 심장 초음파 영상 내에서 상기 복수의 포인트를 예측하고,
상기 복수의 포인트에 기초하여 측정치를 결정하도록 더 구성된, 심장 초음파 영상에 대한 정보 제공용 디바이스. - 제10항에 있어서,
상기 예측 모델은,
수신된 상기 심장 초음파 영상을 입력으로 하여 상기 심장 초음파 영상 내에서 상기 해부학적 구조를 기초로 복수의 영역을 분할하도록 구성된 제1 특징 추출부, 및
수신된 상기 심장 초음파 영상을 입력으로 하여 상기 심장 초음파 영상 내에서 상기 복수의 포인트의 위치를 예측하도록 구성된 제2 특징 추출부를 포함하고,
상기 프로세서는,
상기 제1 특징 추출부 및 상기 제2 특징 추출부를 이용하여, 상기 복수의 영역 내에서 상기 복수의 포인트의 위치를 결정하도록 더 구성된, 심장 초음파 영상의 진단에 대한 정보 제공용 디바이스. - 제11항에 있어서,
상기 예측 모델은 복수의 노드 (nodes) 로 구성된 출력 층을 포함하고,
상기 복수의 노드의 수는, 상기 복수의 영역의 수 및 복수의 포인트의 수의 곱에 대응하는, 심장 초음파 영상의 진단에 대한 정보 제공용 디바이스. - 제11항에 있어서,
상기 프로세서는,
상기 제1 특징 추출부를 통해 결정된 상기 복수의 영역을 출력하고,
상기 복수의 영역 내에 예측된 상기 복수의 포인트의 위치를 표시하도록 더 구성된, 심장 초음파 영상에 대한 정보 제공용 디바이스. - 제10항에 있어서,
상기 프로세서는,
축소된 심장 초음파 영상을 획득하도록, 상기 예측 모델에 입력된 상기 심장 초음파 영상을 미리 결정된 비율로 압축하고,
상기 축소된 심장 초음파 영상 내에서 상기 복수의 포인트를 예측하고,
복수의 포인트가 예측된, 축소된 심장 초음파 영상을 미리 결정된 비율에 기초하여 리사이징 (resizing) 하고,
리사이징된 심장 초음파 영상 내의 복수의 포인트에 기초하여 상기 측정치를 결정하도록 더 구성된, 심장 초음파 영상에 대한 정보 제공용 디바이스. - 제14항에 있어서,
상기 프로세서는,
상기 축소된 심장 초음파 영상을 이루는 픽셀 각각에 대하여 상기 복수의 포인트를 확률적으로 예측하고,
상기 복수의 포인트에 대한 픽셀의 평균 확률 값에 기초하여 상기 복수의 포인트를 보정하고,
보정된 복수의 포인트를 포함하는 심장 초음파 영상을, 상기 미리 결정된 비율에 기초하여 리사이징하도록 더 구성된, 심장 초음파 영상에 대한 정보 제공용 디바이스. - 제10항에 있어서,
상기 심장 초음파 영상은, 이완기 말 (End-diastole) 프레임 및 수축기 말 (End-Systole) 프레임을 포함하고,
상기 프로세서는,
상기 측정치가 결정된 상기 이완기 말 프레임 및 상기 수축기 말 프레임의 각각의 프레임을 결정하도록 더 구성되고,
상기 디바이스는, 상기 각각의 프레임을 출력하도록 구성된 출력부를 더 포함하는, 심장 초음파 영상에 대한 정보 제공용 디바이스. - 제10항에 있어서,
상기 측정치는, 심실간 중격 (Interventricular septum thickness; IVS), 좌심실의 직경 (Left ventricular diameter; LVID), 좌심실 후방벽 두께 (Left ventricular posterior wall diastole; LVPWD), 우심실 유출로 (Right ventricular outflow tract; RVOT), 대동맥 직경 (Aortic diameter; Ao) 및 좌심방 직경 (Left atrium diameter; LA) 중 적어도 하나인, 심장 초음파 영상에 대한 정보 제공용 디바이스. - 제10항에 있어서,
상기 프로세서는,
상기 측정치를 기초로 심박출량을 결정하도록 더 구성된, 심장 초음파 영상에 대한 정보 제공용 디바이스.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220138371A KR20240057761A (ko) | 2022-10-25 | 2022-10-25 | 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스 |
| PCT/KR2023/014685 WO2024090810A1 (ko) | 2022-10-25 | 2023-09-25 | 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220138371A KR20240057761A (ko) | 2022-10-25 | 2022-10-25 | 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240057761A true KR20240057761A (ko) | 2024-05-03 |
Family
ID=90831110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220138371A KR20240057761A (ko) | 2022-10-25 | 2022-10-25 | 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240057761A (ko) |
| WO (1) | WO2024090810A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101128662B1 (ko) * | 2009-12-30 | 2012-04-12 | 서울여자대학교 산학협력단 | 좌심실 내외벽 경계 검출장치 및 그 방법 |
| CN110168613B (zh) * | 2016-09-20 | 2023-02-21 | 哈特弗罗公司 | 用于使用降阶模型和机器学习估计血流特性的系统和方法 |
| WO2018136805A1 (en) * | 2017-01-19 | 2018-07-26 | New York University | System, method and computer-accessible medium for ultrasound analysis |
| JP2020510463A (ja) * | 2017-01-27 | 2020-04-09 | アーテリーズ インコーポレイテッド | 全層畳み込みネットワークを利用する自動化されたセグメンテーション |
| KR102668408B1 (ko) * | 2021-03-09 | 2024-05-22 | 고려대학교 산학협력단 | 심장자기공명영상에서의 심방벽 분할 장치 및 그 방법 |
-
2022
- 2022-10-25 KR KR1020220138371A patent/KR20240057761A/ko unknown
-
2023
- 2023-09-25 WO PCT/KR2023/014685 patent/WO2024090810A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024090810A1 (ko) | 2024-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113194836B (zh) | 自动化临床工作流 | |
| US11446009B2 (en) | Clinical workflow to diagnose heart disease based on cardiac biomarker measurements and AI recognition of 2D and doppler modality echocardiogram images | |
| Tsang et al. | Transthoracic 3D echocardiographic left heart chamber quantification using an automated adaptive analytics algorithm | |
| US11301996B2 (en) | Training neural networks of an automatic clinical workflow that recognizes and analyzes 2D and doppler modality echocardiogram images | |
| WO2022127071A1 (zh) | 网络训练方法、图像分割方法、装置、设备、介质及产品 | |
| US11931207B2 (en) | Artificial intelligence (AI) recognition of echocardiogram images to enhance a mobile ultrasound device | |
| US11207055B2 (en) | Ultrasound Cardiac Doppler study automation | |
| BR112015025074B1 (pt) | Sistema de imageamento por ultrassom e método para gerar e avaliar vistas bidimensionais padrão a partir de dados de volume ultrassônico tridimensional | |
| US12001939B2 (en) | Artificial intelligence (AI)-based guidance for an ultrasound device to improve capture of echo image views | |
| TW202022713A (zh) | 心臟狀態評估方法與系統、電子裝置及超音波掃描裝置 | |
| CN111448614B (zh) | 用于分析超声心动图的方法和装置 | |
| CN112292086A (zh) | 超声病变评估及相关联的设备、系统和方法 | |
| US11250564B2 (en) | Methods and systems for automatic measurement of strains and strain-ratio calculation for sonoelastography | |
| WO2024103996A1 (zh) | 导管冲刷控制方法、装置、计算机设备以及存储介质 | |
| US20230351593A1 (en) | Automatic clinical workflow that recognizes and analyzes 2d and doppler modality echocardiogram images for automated cardiac measurements and grading of aortic stenosis severity | |
| US11786212B1 (en) | Echocardiogram classification with machine learning | |
| KR20240057761A (ko) | 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스 | |
| WO2021152603A1 (en) | System and method for classification of strain echocardiograms | |
| CN114565622B (zh) | 房间隔缺损长度的确定方法及装置、电子设备和存储介质 | |
| KR20240017487A (ko) | 도플러 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 도플러 초음파 영상에 대한 정보 제공용 디바이스 | |
| KR20230150623A (ko) | M-모드 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 m-모드 초음파 영상에 대한 정보 제공용 디바이스 | |
| CN112426170A (zh) | 一种胎盘厚度确定方法、装置、设备及存储介质 | |
| KR20230168168A (ko) | 초음파 영상 뷰에 대한 정보 제공 방법 및 이를 이용한 초음파 영상 뷰에 대한 정보 제공용 디바이스 | |
| KR20230149260A (ko) | 심장 초음파에 대한 가이드 방법 및 이를 이용한 심장 초음파에 대한 가이드용 디바이스 | |
| US20220067919A1 (en) | System and method for identifying a tumor or lesion in a probabilty map |