KR20230153166A - 초음파 이미지 분석 장치 및 방법 - Google Patents
초음파 이미지 분석 장치 및 방법 Download PDFInfo
- Publication number
- KR20230153166A KR20230153166A KR1020220053044A KR20220053044A KR20230153166A KR 20230153166 A KR20230153166 A KR 20230153166A KR 1020220053044 A KR1020220053044 A KR 1020220053044A KR 20220053044 A KR20220053044 A KR 20220053044A KR 20230153166 A KR20230153166 A KR 20230153166A
- Authority
- KR
- South Korea
- Prior art keywords
- plaque
- ultrasound image
- image information
- area
- prediction model
- Prior art date
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title abstract description 16
- 238000010191 image analysis Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims description 16
- 238000003703 image analysis method Methods 0.000 claims description 15
- 238000013175 transesophageal echocardiography Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 11
- 238000010200 validation analysis Methods 0.000 claims description 11
- 210000004204 blood vessel Anatomy 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 4
- 208000037260 Atherosclerotic Plaque Diseases 0.000 abstract description 5
- 239000000284 extract Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 210000000709 aorta Anatomy 0.000 description 7
- 206010008118 cerebral infarction Diseases 0.000 description 7
- 208000026106 cerebrovascular disease Diseases 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 206010065558 Aortic arteriosclerosis Diseases 0.000 description 3
- 208000006011 Stroke Diseases 0.000 description 3
- 208000032109 Transient ischaemic attack Diseases 0.000 description 3
- 201000001962 aortic atherosclerosis Diseases 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 201000010875 transient cerebral ischemia Diseases 0.000 description 3
- 206010003210 Arteriosclerosis Diseases 0.000 description 2
- 201000001320 Atherosclerosis Diseases 0.000 description 2
- 206010060839 Embolic cerebral infarction Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010014498 Embolic stroke Diseases 0.000 description 1
- 208000005189 Embolism Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000008337 systemic blood flow Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Vascular Medicine (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
본 개시는 초음파 이미지 분석 장치 및 방법에 관한 것으로서, 특히 경식도 초음파 이미지 정보로부터 동맥경화성 플라크 상태와 플라크 영역을 예측할 수 있는 초음파 이미지 분석 장치 및 방법을 제공할 수 있다. 구체적으로, 플라크 상태를 분류하는 제 1 예측 모델과 플라크 영역을 추출하는 제 2 예측 모델을 생성하여 적용함으로써 플라크 상태와 플라크 영역을 예측할 수 있는 초음파 이미지 분석 장치 및 방법을 제공할 수 있다.
Description
본 실시예들은 초음파 이미지 분석 장치 및 방법을 제공한다.
우리나라는 고령화 사회로 접어들면서 노인 인구의 증가로 인해 뇌졸중의 발생이 증가하고 있으며 허혈성 뇌질환인 뇌경색의 경우 뇌 혈관내벽의 동맥경화로 좁아져서 생기는 경우, 대동맥 동맥경화반이 떨어지거나 심장에서 혈전이 발생하여 생기는 색전성 뇌경색, 전신적 혈류저하로 발생하는 경우로 나뉠 수 있다. 그러나 25~40%에서 뇌경색의 원인을 알 수 없는 뇌경색이 보고되고 있으며 치료를 위해 원인을 확인하는 것이 환자의 예후에 중요할 수 있다. 색전성 뇌경색뿐만 아니라 원인을 알 수 없는 뇌경색의 원인으로 대동맥에서 죽상동맥경화증으로 발생하는 지방침착물(죽종 또는 플라크)의 색전증에 의해 뇌혈관을 막아 뇌졸증이 발생할 수 있다는 연구가 수년간 진행되고 있다.
특히, 대동맥 죽상동맥경화증을 판별하기 위해 사용되는 초음파는 일종의 탄성파로 인체 내부로 전파되면서 인체 조직의 물리적 특성에 따라 매질의 경계면에서는 반사되거나 투과되고 흡수로 인해 진폭 감쇠가 일어날 수 있다. 이러한 초음파의 특성을 이용하면 인체 내부 조직의 영상을 얻을 수 있고 이 영상으로부터 조직의 크기나 특성을 결정지을 수 있기 때문에 초음파 진단기기가 의료업계에서 폭넓게 활용되고 있다. 다만, 경식도 초음파 검사는 검사의 특성상 검사자마다 플라크 측정의 오차가 있을 수 있고, 식도로 검사 장비를 삽입하는 방식으로써 검사의 신속함이 필요하다는 문제점이 있다.
반면에, 최근 기계학습 이론의 급속한 발전으로 국내외 영상의료 진단기술에서는 뇌졸중과 같은 고위험성 질병을 진단하기 위해 초음파 영상(ultrasound image), 컴퓨터 단층 촬영(CT: computed tomography), 자기공명영상(MRI: magnetic resonance imaging)과 같은 이미지 영상 데이터에 인공지능 모델을 적용하여 의사의 영상 판독 시 소요되는 시간을 단축하고 정확도 있는 결과를 도출하는데 중요한 수단으로 활용하고 있다. 이에 따라, 색전성 뇌졸중에 주요 원인으로 대두되고 있는 대동맥 죽상동맥경화증을 인공지능 모델을 통해 미리 판별하여 고위험성 질병으로 진전되지 않도록 예방하고 관리할 수 있는 기술을 필요로 하고 있다.
따라서, 인공지능 모델을 통해 경식도 초음파 이미지 정보로부터 대동맥에서 죽상동맥경화증으로 발생하는 플라크를 정확하게 분석할 수 있는 기술을 필요로 하고 있다.
이러한 배경에서, 본 실시예들은 인공지능 모델을 통해 경식도 초음파 이미지 정보로부터 플라크를 정확하게 분석할 수 있는 초음파 이미지 분석 장치 및 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 실시예는 초음파 이미지 분석 장치에 있어서, 경식도 심초음파 검사 정보로부터 초음파 이미지 정보를 획득하고, 초음파 이미지 정보에 혈관 내 포함되는 플라크(plaque) 정보를 레이블링(labeling) 하여 학습 데이터를 생성하는 학습 데이터 생성부, 생성된 학습 데이터 기반으로 학습을 수행하여 초음파 이미지 정보로부터 플라크 상태를 분류하는 제 1 예측 모델과 플라크 영역을 추출하는 제 2 예측 모델을 생성하는 모델 생성부 및 생성된 각각의 예측 모델을 적용하여 특정 초음파 이미지 정보에서 플라크 상태와 플라크 영역을 예측하는 플라크 예측부를 포함하는 것을 특징으로 하는 초음파 이미지 분석 장치를 제공한다.
다른 측면에서, 본 실시예는 초음파 이미지 분석 방법에 있어서, 경식도 심초음파 검사 정보로부터 초음파 이미지 정보를 획득하고, 초음파 이미지 정보에 혈관 내 포함되는 플라크(plaque) 정보를 레이블링(labeling) 하여 학습 데이터를 생성하는 학습 데이터 생성 단계, 생성된 학습 데이터 기반으로 학습을 수행하여 초음파 이미지 정보로부터 플라크 상태를 분류하는 제 1 예측 모델과 플라크 영역을 추출하는 제 2 예측 모델을 생성하는 모델 생성 단계 및 생성된 각각의 예측 모델을 적용하여 특정 초음파 이미지 정보에서 플라크 상태와 플라크 영역을 예측하는 플라크 예측 단계를 포함하는 것을 특징으로 하는 초음파 이미지 분석 방법을 제공한다.
본 실시예들에 의하면, 인공지능 모델을 통해 경식도 초음파 이미지 정보로부터 플라크를 정확하게 분석할 수 있는 초음파 이미지 분석 장치 및 방법을 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 구성을 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 예측 동작을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 학습 데이터를 설명하기 위한 예시를 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 제 1 예측 모델을 설명하기 위한 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 제 2 예측 모델을 설명하기 위한 예시를 도시한 도면이다.
도 6은 본 개시의 일 실시예에 초음파 이미지 분석 장치에서 제 1 예측 모델의 성능을 설명하기 위한 예시를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 초음파 이미지 분석 장치에서 제 2 예측 모델의 성능을 설명하기 위한 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 초음파 이미지 분석 방법의 흐름도이다
도 9는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 예측 동작을 설명하기 위한 흐름도이다.
도 3은 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 학습 데이터를 설명하기 위한 예시를 도시한 도면이다.
도 4는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 제 1 예측 모델을 설명하기 위한 예시를 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 제 2 예측 모델을 설명하기 위한 예시를 도시한 도면이다.
도 6은 본 개시의 일 실시예에 초음파 이미지 분석 장치에서 제 1 예측 모델의 성능을 설명하기 위한 예시를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 초음파 이미지 분석 장치에서 제 2 예측 모델의 성능을 설명하기 위한 예시를 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 초음파 이미지 분석 방법의 흐름도이다
도 9는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 블록도이다.
본 개시는 초음파 이미지 분석 장치 및 방법에 관한 것이다.
이하, 본 개시의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 구성을 도시한 도면이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치(100)는, 경식도 심초음파 검사 정보로부터 초음파 이미지 정보를 획득하고, 초음파 이미지 정보에 혈관 내 포함되는 플라크(plaque) 정보를 레이블링(labeling) 하여 학습 데이터를 생성하는 학습 데이터 생성부(110), 생성된 학습 데이터 기반으로 학습을 수행하여 초음파 이미지 정보로부터 플라크 상태를 분류하는 제 1 예측 모델과 플라크 영역을 추출하는 제 2 예측 모델을 생성하는 모델 생성부(120) 및 생성된 각각의 예측 모델을 적용하여 특정 초음파 이미지 정보에서 플라크 상태와 플라크 영역을 예측하는 플라크 예측부(130)를 포함하는 것을 특징으로 하는 초음파 이미지 분석 장치(100)를 제공한다.
일 실시예에 따른 학습 데이터 생성부(110)는 초음파 이미지 정보에 플라크 정보를 레이블링하여 학습 데이터를 생성할 수 있다. 일 예로, 학습 데이터 생성부(110)는 경식도 심초음파 검사 정보로부터 초음파 이미지 정보를 획득하고, 초음파 이미지 정보에 혈관 내 포함되는 플라크(plaque) 정보를 레이블링(labeling) 하여 학습 데이터를 생성할 수 있다. 초음파 이미지 정보는 뇌경색 환자 또는 일과성 뇌허혈 발작 환자의 대동맥 죽상동맥경화성 플라크(aortic atherosclerotic plaque) 상태를 대동맥벽을 가장 근접해서 촬영할 수 있는 경식도 심초음파 검사(Transesophageal Echocardiography, TEE) 정보에 포함된 원본 이미지 정보일 수 있다. 또한, 플라크 정보는 플라크 상태 또는 플라크 영역에 관한 정보를 포함하는 정보일 수 있다. 예를 들어, 학습 데이터 생성부(110)는 초음파 이미지 정보를 미리 설정된 플라크 상태로 분류하고, 초음파 이미지 정보에서 플라크 영역이 주변 영역과 대비되도록 특정 색상으로 표시하여 레이블링할 수 있다. 여기서, 플라크 상태는 플라크 형상과 두께에 따라 두 분류 또는 세 분류로 미리 설정될 수 있다. 구체적으로, 학습 데이터 생성부(110)는 플라크 상태를 복합성 플라크(complex plaque)인 경우와 그렇지 않은 경우인 두 분류로 구분하거나, 정상(normal), 단순 플라크(simple Plaque), 복합성 플라크 세 분류로 구분하여 레이블링 할 수 있다. 즉, 학습 데이터 생성부(110)는 초음파 이미지 정보를 미리 설정된 플라크 상태인 정상(normal), 단순 플라크(simple Plaque) 및 복합성 플라크(complex plaque) 중 적어도 하나의 상태로 레이블링 할 수 있다.
다른 예를 들어, 학습 데이터 생성부(110)는 초음파 이미지 정보의 사이즈를 미리 설정된 픽셀로 변경하고, 초음파 이미지 정보와 플라크 정보가 레이블링된 레이블 이미지 정보를 매칭하여 학습 데이터를 생성할 수 있다. 구체적으로, 학습 데이터 생성부(110)는 초음파 이미지 정보의 사이즈를 가로 및 세로를 각각 512 픽셀로 변경하고, 초음파 원본 이미지 정보와 레이블 이미지 정보가 매칭되는 이미지 정보를 학습 데이터로 생성할 수 있다. 그리고, 학습 데이터는 훈련 데이터 세트(train dataset), 검증 데이터 세트(validation dataset) 및 검증 데이터 세트(validation dataset)로 구분되어 학습에 사용될 수 있다.
일 실시예에 따른 모델 생성부(120)는 초음파 이미지 정보로부터 플라크 정보를 예측하는 제 1 예측 모델과 제 2 예측 모델을 생성할 수 있다. 일 예로, 모델 생성부(120)는 생성된 학습 데이터 기반으로 학습을 수행하여 초음파 이미지 정보로부터 플라크 상태를 분류하는 제 1 예측 모델과 플라크 영역을 추출하는 제 2 예측 모델을 생성할 수 있다. 예를 들어, 모델 생성부(120)는 초음파 이미지 정보로부터 각각의 플라크 상태일 가능성을 확률로 산출하고, 가장 큰 확률로 예측된 상태를 최종 플라크 상태로 예측하는 제 1 예측 모델을 생성할 수 있다. 제 1 예측 모델은 복수의 컨볼루션 레이어(convolution layer), 플래튼 레이어(flatten layer) 및 덴스 레이어(dense layer)가 순차적으로 연결된 구조로 구성되며, 덴스 레이어로부터 출력된 결과에 소프트맥스 함수(Softmax function)를 적용하여 플라크 상태를 분류할 수 있다.
다른 예를 들어, 모델 생성부(120)는 초음파 이미지 정보에서 플라크 영역을 추출하는 제 2 예측 모델을 생성할 수 있다. 제 2 예측 모델은 복수의 컨볼루션 레이어 구조를 기반으로 축소되는 인코딩 영역과 확대되는 디코딩 영역으로 구성되며, 인코딩 영역에서 특징 정보를 맵핑하여 출력된 결과를 디코딩 영역에 연결(Concatenation)하여 플라크 영역을 추출할 수 있다. 구체적으로, 모델 생성부(120)는 제 2 예측 모델에 포함된 인코딩 영역의 각 레이어로부터 출력된 결과를 디코딩 영역에서 동일한 레이어의 입력으로 연결하여 분할 맵(segmentation map)을 생성할 수 있다. 이에 따라, 플라크 영역은 생성된 분할 맵에서 픽셀 단위로 특정하여 추출될 수 있다.
또 다른 예를 들어, 모델 생성부(120)는 생성된 학습 데이터 기반으로 제 1 예측 모델과 제 2 예측 모델의 학습을 수행할 수 있다. 모델 생성부(120)는 학습 데이터의 개수를 미리 설정된 비율에 따라 훈련 데이터 세트(train dataset), 검증 데이터 세트(validation dataset) 및 테스트 데이터 세트(test dataset)로 구분하여 각각의 예측 모델의 학습을 수행할 수 있다. 여기서, 미리 설정된 비율은 6:2:2일 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따른 플라크 예측부(130)는 생성된 각각의 예측 모델을 적용하여 특정 초음파 이미지 정보에서 플라크 상태와 플라크 영역을 예측할 수 있다. 예를 들어, 플라크 예측부(130)는 특정 초음파 이미지 정보를 입력으로 제 1 예측 모델을 적용하여 각각의 플라크 상태일 확률을 산출하고, 각각의 플라크 상태 중 가장 큰 확률을 갖는 플라크 상태를 최종 플라크 상태로 예측할 수 있다. 또한, 플라크 예측부(130)는 특정 초음파 이미지 정보를 입력으로 제 2 예측 모델을 적용하여 손실율을 최소화하는 분할 맵을 생성하고, 할 맵으로부터 추출된 플라크 영역을 표시하여 예측 이미지 정보로 출력할 수 있다. 예측 이미지 정보에는 플라크 영역이 주변 영역과 대비되도록 특정 색상으로 표시될 수 있다.
도 2는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 예측 동작을 설명하기 위한 흐름도이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치(100)가 각각의 예측 모델을 생성하고, 이를 통해 플라크 상태와 플라크 영역을 예측하는 과정을 설명할 수 있다. 일 예로, 학습 데이터 생성부(110)는 초음파 이미지 정보에 플라크(plaque) 정보를 레이블링(labeling)할 수 있다(S210). 예를 들어, 학습 데이터 생성부(110)는 뇌경색 또는 일과성 뇌허혈 발작 환자의 경식도 심초음파 검사 정보로부터 획득한 초음파 원본 이미지 정보와 초음파 이미지 정보에 플라크 영역이 레이블링된 레이블 이미지 정보를 학습 데이터로 활용할 수 있다. 이러한 이미지 정보는 의료용 디지털 영상 및 통신(Digital Imaging and Communications in Medicine, DICOM) 형태의 이미지 정보일 수 있다. 구체적으로, 학습 데이터 생성부(110)는 제 1 예측 모델을 위해 초음파 원본 이미지 정보를 각 플라크 상태 별로 분류하여 학습 데이터를 생성할 수 있다. 여기서, 플라크 상태는 미리 설정된 두 가지 형태(No complex(0), Complex plaque(1)) 또는 세 가지 형태(Normal(0), Simple plaque(1), Complex plaque(2))로 분류될 수 있다. 또한, 학습 데이터 생성부(110)는 초음파 이미지 정보의 사이즈를 미리 설정된 픽셀로 변경하고, 초음파 원본 이미지 정보와 레이블 이미지 정보가 매칭되는 이미지 정보로 학습 데이터를 생성할 수 있다.
일 예로, 모델 생성부(120)는 플라크 상태를 분류하는 제 1 예측 모델을 생성할 수 있다(S220). 예를 들어, 모델 생성부(120)는 대동맥의 초음파 원본 이미지 정보를 이용하여 플라크 상태를 분류하기 위해 인코더(encoder)와 디코더(decoder)를 통해 압축과 해제를 반복하며 특징 추출하는 제 1 예측 모델을 생성할 수 있다. 또한, 모델 생성부(120)는 학습 데이터의 개수를 미리 설정된 비율에 따라 훈련 데이터 세트(train dataset), 검증 데이터 세트(validation dataset) 및 테스트 데이터 세트(test dataset)로 구분하여 제 1 예측 모델의 학습을 수행할 수 있다. 여기서, 해당 비율은 플라크 상태 분류의 정확도를 높일 수 있는 값으로 설정될 수 있다. 구체적으로, 미리 설정된 비율은 6:2:2이고, 전체 학습 데이터의 개수가 1,536임을 가정한다면, 훈련 데이터 세트, 검증 데이터 세트 및 검증 데이터 세트가 각각 922개, 307개 및 307개로 결정될 수 있다. 또한, 제 1 예측 모델은 Google Colab의 GPU 환경에서 학습을 수행할 수 있다. 제 1 예측 모델에 관한 상세한 내용은 도 4를 참조하여 후술한다.
일 예로, 모델 생성부(120)는 플라크 영역을 추출하는 제 2 예측 모델을 생성할 수 있다(S230). 예를 들어, 모델 생성부(120)는 대동맥의 초음파 원본 이미지 정보를 이용하여 분할 맵을 생성하고, 픽셀 단위로 플라크 영역을 추출하는 제 2 예측 모델을 생성할 수 있다. 또한, 모델 생성부(120)는 학습 데이터의 개수를 미리 설정된 비율에 따라 훈련 데이터 세트(train dataset), 검증 데이터 세트(validation dataset) 및 테스트 데이터 세트(test dataset)로 구분하여 제 2 예측 모델의 학습을 수행할 수 있다. 여기서, 해당 비율은 플라크 영역의 정확도를 높일 수 있는 값으로 설정될 수 있다. 구체적으로, 미리 설정된 비율은 6:2:2이고, 초음파 원본 이미지 정보와 레이블 이미지 정보가 매칭되는 전체 학습 데이터의 개수가 300임을 가정한다면, 훈련 데이터 세트, 검증 데이터 세트 및 검증 데이터 세트가 각각 180개, 60개 및 60개로 결정될 수 있다. 또한, 제 2 예측 모델은 Learning rate는 10-3 , 배치 사이즈(batch size)는 4, 반복수(epoch)는 100으로 설계될 수 있다. 제 2 예측 모델은 유넷 진행의 속도를 높이기 위해 Google Colab에서 학습을 수행할 수 있다. 제 2 예측 모델에 관한 상세한 내용은 도 5를 참조하여 후술한다.
일 예로, 플라크 예측부(130)는 적용하여 특정 초음파 이미지 정보에서 플라크 상태와 플라크 영역을 예측할 수 있다(S240). 예를 들어, 플라크 예측부(130)는 특정 초음파 이미지 정보를 입력으로 제 1 예측 모델을 적용하여 각각의 플라크 상태일 확률을 산출함으로써 플라크 상태를 예측할 수 있다. 또한, 플라크 예측부(130)는 특정 초음파 이미지 정보를 입력으로 제 2 예측 모델을 적용하여 플라크 영역을 추출함으로써 플라크 영역을 예측할 수 있다.
도 3은 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 학습 데이터를 설명하기 위한 예시를 도시한 도면이다
도 3을 참조하면, 본 개시의 일 실시 예에 따른 초음파 이미지 분석 장치의 학습 데이터 생성부(110)는 초음파 이미지 정보를 획득하여 학습 데이터를 생성할 수 있다. 일 예로, 학습 데이터 생성부(110)는 초음파 이미지 정보를 미리 설정된 플라크 상태로 분류하고, 초음파 이미지 정보에 플라크 영역이 주변 영역과 대비되도록 특정 색상으로 표시하여 레이블 이미지 정보를 생성할 수 있다. 또한, 학습 데이터 생성부(110)는 초음파 이미지 정보와 레이블 이미지 정보를 매칭하여 학습 데이터를 생성할 수 있다. 예를 들어, 학습 데이터 생성부(110)는 경식도 심초음파 검사 정보로부터 각 플라크 상태(Normal, Simple plaque, Complex) 별 및 파일 형태(Dicom, Mark, Nomark, Label) 별로 초음파 이미지 정보를 분류할 수 있다. 그리고, 학습 데이터 생성부(110)는 대동맥의 초음파 원본 이미지 정보에 의료진에 의해 판단된 플라크 상태(0, 1, 2)와 플라크 영역을 레이블링하여 학습 데이터를 생성할 수 있다. 특히, 초음파 원본 이미지 정보와 레이블 이미지 정보가 매칭되는 이미지 정보는 제 2 예측 모델을 위한 학습 데이터로 활용될 수 있다.
도 4는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 제 1 예측 모델을 설명하기 위한 예시를 도시한 도면이다.
도 4를 참조하면, 초음파 이미지 분석 장치의 모델 생성부(120)가 제 1 예측 모델을 생성하는 내용을 설명할 수 있다. 일 예로, 모델 생성부(120)는 복수의 컨볼루션 레이어(410), 플래튼 레이어(420) 및 덴스 레이어(430)가 순차적으로 연결된 구조로 구성되며, 덴스 레이어(430)로부터 출력된 결과에 소프트맥스 함수(440)를 적용하여 플라크 상태를 분류하는 제 1 예측 모델을 생성할 수 있다. 예를 들어, 제 1 예측 모델은 초음파 원본 이미지 정보를 입력으로 하고, 출력을 입력에 근사시켜 복수의 컨볼루션 레이어(convolution layer)(410)를 학습시킬 수 있다. 또한, 제 1 예측 모델은 학습된 컨볼루션 레이어(convolution layer)(410)로부터 가중치를 추출할 수 있다. 여기서, 학습된 컨볼루션 레이어는 4개의 컨볼루션 레이어로 구성될 수 있으나, 이에 한정되는 것은 아니다. 그리고, 제 1 예측 모델은 컨볼루션 레이어(410)의 출력 정보를 1차원으로 변경하는 플래튼 레이어(flatten layer)(420)와 다시 n차원으로 변경하는 덴스 레이어(dense layer)(430)에 순차적으로 적용할 수 있다. 그리고, 제 1 예측 모델은 덴스 레이어(430)의 출력 정보인 n차원 벡터을 소프트맥스(Softmax) 함수(440)에 입력하여 각 클래스에 속할 확률을 추정하고 플라크 상태를 분류할 수 있다. 소프트맥스 함수(440)의 출력은 분류하고자 하는 플라크 상태의 갯수만큼 차원을 가지는 벡터이며, 각각의 특정 플라크 상태일 확률이 0과 1사이의 값으로 추정될 수 있다. 여기서, 제 1 예측 모델은 컨볼루션 오토인코더 모델(Convolutional auto Encoder)로 구현될 수 있으나, 공간적 특징 또는 짧은 시간적 특징을 학습하는 데에 유용한 인공신경망 알고리즘이면 이에 한정되는 것은 아니다.
도 5는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 제 2 예측 모델을 설명하기 위한 예시를 도시한 도면이다.
도 5를 참조하면, 초음파 이미지 분석 장치의 모델 생성부(120)가 제 2 예측 모델을 생성하는 내용을 설명할 수 있다. 일 예로, 모델 생성부(120)는 복수의 컨볼루션 레이어 구조를 기반으로 축소되는 인코딩 영역과 확대되는 디코딩 영역으로 구성되며, 인코딩 영역에서 특징 정보를 맵핑하여 출력된 결과를 디코딩 영역에 연결(Concatenation)하여 플라크 영역을 추출하는 제 2 예측 모델을 생성할 수 있다. 예를 들어, 제 2 예측 모델은 초음파 이미지 정보를 분할(segmentation)하고, 픽셀 단위로 라벨링하여 플라크 영역을 자동으로 추출할 수 있다. 구체적으로, 제 2 예측 모델은 대칭되는 형태의 중앙을 기준으로 왼쪽은 이미지가 축소되는 인코딩 영역, 오른쪽은 이미지가 확대되는 디코딩 영역으로 분류될 수 있다. 제 2 예측 모델의 디코딩 영역은 풀링 레이어(pooling Layer)를 제거하고, 대신 합성곱 필터(up-convolution filter)를 추가하여 업 샘플링(Up-Sampling)영역이 구성될 수 있다. 그리고, 제 2 예측 모델은 각각의 인코딩 영역과 디코딩 영역이 수평 관계에 있는 경우, 인코딩 영역에서 출력된 결과를 디코딩 영역과 연결(concatenation)할 수 있다. 이러한 연결 과정은 채널 차원(channel dimension)을 기준으로 두 장의 이미지 정보를 겹치는 형태로 수행되며, 분할 맵(segmentation map)을 생성할 수 있다. 그리고, 제 2 예측 모델은 이 과정에서 픽셀 단위로 서로 같은 위치에 있는 값을 특정하여 플라크 영역으로 추출할 수 있다. 여기서, 제 2 예측 모델은 이미지 분할 기법인 유넷 모델(U-Net)로 구현될 수 있다.
또한, 모델 생성부(120)는 제 2 예측 모델로부터 출력된 플라크 영역에서 특정 RGB값에 해당되는 특정 픽셀의 수를 계산하여 플라크 영역의 면적으로 추출할 수 있다. 그리고 모델 생성부(120)는 특정 RGB값으로 표시된 영역에 대한 픽셀 수로 계산한 혈관 면적에 대한 추출된 플라크 영역의 면적의 비율을 통해 플라크 비율을 산출할 수도 있다.
도 6은 본 개시의 일 실시예에 초음파 이미지 분석 장치에서 제 1 예측 모델의 성능을 설명하기 위한 예시를 도시한 도면이다.
도 6을 참조하면, 전술한 바에 따라 플라크 상태를 예측하는 제 1 예측 모델의 성능을 설명할 수 있다. 일 예로, 제 1 예측 모델이 대동맥의 플라크 상태를 두 가지 형태((no complex(0), complex plaque(1))로 예측한 성능을 파악하기 위해 ROC(receiver operating characteristic) 곡선(610)을 나타낼 수 있다. 그리고, ROC 곡선은 아래 영역인 AUC(area under the curve)의 값이 1에 가까울수록 모델의 성능이 우수하다는 것을 확인할 수 있다. 예를 들어, 제 1 예측 모델은 대동맥 플라크에 대한 각 클래스에 대한 AUC가 0.776과 0.775로 분석될 수 있다. 그리고, ROC 곡선(610)의 정확도(accuracy)인 ACC는 0.88로 분석될 수 있다. 즉, 제 1 예측 모델의 분류 성능을 나타내는 AUC는 약 0.77로 정확도인 ACC보다 낮게 측정될 수 있다.
다른 일 예로, 제 1 예측 모델이 대동맥의 플라크 상태를 세 가지 형태(normal(0), simple plaque(1), complex plaque(2))로 예측한 성능을 파악하기 위해 ROC 곡선(620)을 나타낼 수 있다. 예를 들어, 제 2 예측 모델은 대동맥 플라크에 대한 각 클래스에 대한 AUC가 0.891, 0.894, 0.885로 정확도 ACC인 0.724보다 높게 측정될 수 있다. 이에 따라, 제 1 예측 모델이 두 가지 형태로 플라크 상태를 분류한 경우는 정확도(ACC)가 AUC보다 높게 나타났고, 세 가지 형태로 플라크를 분류한 경우는 정확도(ACC)가 AUC 값보다 낮게 나타남을 확인할 수 있다.
다른 일 예로, 제 1 예측 모델이 대동맥의 플라크 상태를 두 가지 형태((no complex(0), complex plaque(1))로 예측한 성능을 정밀도, 재현율 및 F1-score로 나타낼 수 있다. 예를 들어, 제 1 예측 모델은 첫 번째 지표인 복합성 플라크가 아니라고 예측한 결과(class 0)의 정밀도(precision)가 0.90이고, 복합성 플라크라고 예측한 결과(class 1)의 정밀도는 0.65로 분석될 수 있다. 이는, 제 1 예측 모델이 복합성 플라크가 아니다(class 0)라고 예측한 데이터의 90%가 실제 결과와 일치했고, 복합성 플라크(class 1)라고 예측한 데이터의 65%가 실제 결과와 일치함을 의미할 수 있다. 다른 예를 들어, 제 1 예측 모델은 두 번째 지표인 재현율(recall)이 각각 0.96과 0.43으로 분석될 수 있다. 이는, 제 1 예측 모델이 실제로 복합성 플라크가 아닌(class 0) 데이터 중에서 복합성 플라크가 아니다(class 0)라고 예측한 비율이 96%이고, 실제로 복합성 플라크(class 1)인 데이터 중에 복합성 플라크(class 1)라고 예측한 비율이 43%임을 의미할 수 있다. 또 다른 예를 들어, 제 1 예측 모델은 정밀도와 재현율의 가중 조화 평균값인 F1-score가 각 분류에 대해 0.93과 0.51이며, 대동맥 플라크 상태를 두 분류로 예측한 정확도(accuracy)는 약 88%로 예측될 수 있다. 이에 따라, 제 1 예측 모델의 예측 성능은 표 1과 같이 나타날 수 있다.
도 7은 본 개시의 일 실시예에 초음파 이미지 분석 장치에서 제 2 예측 모델의 성능을 설명하기 위한 예시를 도시한 도면이다.
도 7을 참조하면, 전술한 바에 따라 플라크 영역을 예측하는 제 2 예측 모델의 성능을 설명할 수 있다. 일 예로, 제 2 예측 모델은 초음파 이미지 정보로부터 뇌경색 원인으로 대동맥 죽상동맥경 화증으로 발생하는 플라크 영역을 추출할 수 있다. 예를 들어, 도 7은 플라크 상태에 따른 각 케이스 별로 레이블이 없는 입력 이미지, 입력 이미지에 플라크 영역을 표시한 레이블 이미지, 제 2 예측 모델의 학습 결과로 나온 출력 이미지를 나타낸 결과일 수 있다. 제 2 예측 모델은 입력 이미지 정보와 의료진이 플라크 영역으로 표기한 레이블 이미지 정보가 각 케이스에 따라 연결 및 학습되어 플라크 영역을 표시한 예측 이미지 정보를 출력할 수 있다. 또한, 테스트(test) 결과, 제 2 예측 모델의 최종 손실율(loss rate)은 0.1942로 계산될 수 있다.
다른 일 예로, 제 2 예측 모델이 대동맥의 플라크 상태를 세 가지 형태(normal(0), simple plaque(1), complex plaque(2))로 예측한 성능을 정밀도, 재현율 및 F1-score로 나타낼 수 있다. 예를 들어, 제 1 예측 모델은 첫 번째 가지 형태로 플라크를 분류했을 때 정확도는 약 72%로 두 가지 플라크 형태로 분류했을 때 정확도 약 88%보다 낮게 예측되었다. 이에 따라, 제 2 예측 모델의 예측 성능은 표 2와 같이 나타날 수 있다.
이하에서는 도 1 내지 도 7을 참조하여 설명한 초음파 이미지 분석 장치가 수행할 수 있는 초음파 이미지 분석 방법에 대해서 설명한다.
도 8은 본 개시의 일 실시예에 따른 초음파 이미지 분석 방법의 흐름도이다
도 8을 참조하면, 본 개시의 일 실시예에 따른 초음파 이미지 분석 방법은 초음파 이미지 정보에 플라크 정보를 레이블링하여 학습 데이터를 생성하는 학습 데이터 생성 단계를 포함할 수 있다(S810). 일 예로, 초음파 이미지 분석 장치는 경식도 심초음파 검사 정보로부터 초음파 이미지 정보를 획득하고, 초음파 이미지 정보에 혈관 내 포함되는 플라크(plaque) 정보를 레이블링(labeling) 하여 학습 데이터를 생성할 수 있다. 초음파 이미지 정보는 뇌경색 환자 또는 일과성 뇌허혈 발작 환자의 대동맥 죽상동맥경화성 플라크(aortic atherosclerotic plaque) 상태를 대동맥벽을 가장 근접해서 촬영할 수 있는 경식도 심초음파 검사(Transesophageal Echocardiography, TEE) 정보에 포함된 원본 이미지 정보일 수 있다. 예를 들어, 초음파 이미지 분석 장치는 초음파 이미지 정보를 미리 설정된 플라크 상태로 분류하고, 음파 이미지 정보에서 플라크 영역이 주변 영역과 대비되도록 특정 색상으로 표시하여 레이블링할 수 있다. 구체적으로, 초음파 이미지 분석 장치는 플라크 형상과 두께에 따라 플라크 상태를 복합성 플라크(complex plaque)인 경우와 그렇지 않은 경우인 두 분류로 구분하여 레이블링 할 수 있다. 또는, 초음파 이미지 분석 장치는 정상(normal), 단순 플라크(simple Plaque), 복합성 플라크 세 분류로 구분하여 레이블링 할 수 있다.
다른 예를 들어, 초음파 이미지 분석 장치는 초음파 이미지 정보의 사이즈를 미리 설정된 픽셀로 변경하고, 초음파 이미지 정보와 플라크 정보가 레이블링된 레이블 이미지 정보를 매칭하여 학습 데이터를 생성할 수 있다. 구체적으로, 초음파 이미지 분석 장치는 초음파 이미지 정보의 사이즈를 가로 및 세로를 각각 512 픽셀로 변경하고, 초음파 원본 이미지 정보와 레이블 이미지 정보가 매칭되는 이미지 정보만을 학습 데이터로 생성할 수 있다.
일 실시예에 따른 초음파 이미지 분석 방법은 초음파 이미지 정보로부터 플라크 정보를 예측하는 제 1 예측 모델과 제 2 예측 모델을 생성하는 모델 생성 단계를 포함할 수 있다(S820). 일 예로, 초음파 이미지 분석 장치는 생성된 학습 데이터 기반으로 학습을 수행하여 초음파 이미지 정보로부터 플라크 상태를 분류하는 제 1 예측 모델과 플라크 영역을 추출하는 제 2 예측 모델을 생성할 수 있다. 예를 들어, 초음파 이미지 분석 장치는 초음파 이미지 정보로부터 각각의 플라크 상태일 가능성을 확률로 산출하고, 가장 큰 확률로 예측된 상태를 최종 플라크 상태로 예측하는 제 1 예측 모델을 생성할 수 있다. 제 1 예측 모델은 복수의 컨볼루션 레이어(convolution layer), 플래튼 레이어(flatten layer) 및 덴스 레이어(dense layer)가 순차적으로 연결된 구조로 구성되며, 덴스 레이어로부터 출력된 결과에 소프트맥스 함수(Softmax function)를 적용하여 플라크 상태를 분류할 수 있다.
다른 예를 들어, 초음파 이미지 분석 장치는 초음파 이미지 정보에서 플라크 영역을 추출하는 제 2 예측 모델을 생성할 수 있다. 제 2 예측 모델은 복수의 컨볼루션 레이어 구조를 기반으로 축소되는 인코딩 영역과 확대되는 디코딩 영역으로 구성되며, 인코딩 영역에서 특징 정보를 맵핑하여 출력된 결과를 디코딩 영역에 연결(Concatenation)하여 플라크 영역을 추출할 수 있다.
또 다른 예를 들어, 초음파 이미지 분석 장치는 생성된 학습 데이터 기반으로 제 1 예측 모델과 제 2 예측 모델의 학습을 수행할 수 있다. 초음파 이미지 분석 장치는 학습 데이터의 개수를 미리 설정된 비율에 따라 훈련 데이터 세트(train dataset), 검증 데이터 세트(validation dataset) 및 테스트 데이터 세트(test dataset)로 구분하여 각각의 예측 모델의 학습을 수행할 수 있다. 여기서, 미리 설정된 비율은 6:2:2일 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따른 초음파 이미지 분석 방법은 생성된 각각의 예측 모델을 적용하여 특정 초음파 이미지 정보에서 플라크 상태와 플라크 영역을 예측하는 플라크 예측 단계를 포함할 수 있다(S830). 예를 들어, 초음파 이미지 분석 장치는 특정 초음파 이미지 정보를 입력으로 제 1 예측 모델을 적용하여 각각의 플라크 상태일 확률을 산출하고, 각각의 플라크 상태 중 가장 큰 확률을 갖는 플라크 상태를 최종 플라크 상태로 예측할 수 있다. 또한, 초음파 이미지 분석 장치는 특정 초음파 이미지 정보를 입력으로 제 2 예측 모델을 적용하여 손실율을 최소화하는 분할 맵을 생성하고, 할 맵으로부터 추출된 플라크 영역을 표시하여 예측 이미지 정보로 출력할 수 있다.
도 9는 본 개시의 일 실시예에 따른 초음파 이미지 분석 장치의 블록도이다.
도 9를 참조하면, 일 실시예에 따른 초음파 이미지 분석 장치(100)는 통신 인터페이스(910) 및 프로세서(920)를 포함한다. 초음파 이미지 분석 장치(100)는 메모리(930)를 더 포함할 수 있다. 각 구성 요소, 통신 인터페이스(910), 프로세서(920) 및 메모리(930)는 통신 버스를 통해 서로 연결될 수 있다. 예를 들면, 통신 버스는 구성요소들을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
통신 인터페이스(910)는 경식도 심초음파 검사 장치로 심뇌혈관 환자의 경동맥을 촬영한 초음파 이미지 정보를 획득할 수 있다. 또한, 통신 인터페이스(910)는 무선 통신 또는 유선 통신을 통해서 외부 장치의 통신을 수행할 수 있다.
프로세서(920)는 도 1 내지 도 8을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(920)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), NPU(Neural Processing Unit), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
또한, 프로세서(920)는 프로그램을 실행하고, 초음파 이미지 분석 장치(100)를 제어할 수 있다. 프로세서(920)에 의하여 실행되는 프로그램 코드는 메모리(930)에 저장될 수 있다.
일 실시예에 따른 신경망 모델에 관한 정보는 프로세서(920) 내부 메모리에 저장되거나, 외부 메모리, 즉 메모리(930)에 저장될 수 있다. 예를 들어, 메모리(930)는 통신 인터페이스(910)를 통해 획득한 심뇌혈관 환자의 초음파 이미지 정보를 저장할 수 있다. 메모리(930)는 신경망 모델을 포함하는 인공 지능 모델을 저장할 수 있다. 또한, 메모리(930)는 프로세서(920)의 처리 과정에서 생성되는 다양한 정보 및 프로세서(920)에 의해 추출된 출력 정보들을 저장할 수 있다. 출력 정보는 신경망 연산 결과 또는 신경망 테스트 결과일 수 있다. 메모리(930)는 신경망 학습 결과를 저장할 수 있다. 신경망 학습 결과는, 초음파 이미지 분석 장치(100)에서 획득한 것일 수도 있고, 외부 장치로부터 획득한 것일 수도 있다. 신경망 모델의 학습 결과는, 가중치 및 바이어스 값을 포함할 수 있다. 이 밖에도, 메모리(930)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(930)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(930)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종데이터를 저장할 수 있다.
전술한 초음파 이미지 분석 장치(100)는 서버 또는 PC 형태로 구현될 수 있다. 또한, 초음파 이미지 분석 장치(100)는 휴대 가능한 모바일 기기로 구현될 수도 있다.
이상에서, 본 개시의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시가 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 개시에 개시된 실시 예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (14)
- 경식도 심초음파 검사 정보로부터 초음파 이미지 정보를 획득하고, 상기 초음파 이미지 정보에 혈관 내 포함되는 플라크(plaque) 정보를 레이블링(labeling) 하여 학습 데이터를 생성하는 학습 데이터 생성부;
생성된 학습 데이터 기반으로 학습을 수행하여 상기 초음파 이미지 정보로부터 플라크 상태를 분류하는 제 1 예측 모델과 플라크 영역을 추출하는 제 2 예측 모델을 생성하는 모델 생성부; 및
생성된 각각의 예측 모델을 적용하여 특정 초음파 이미지 정보에서 플라크 상태와 플라크 영역을 예측하는 플라크 예측부;를 포함하는 것을 특징으로 하는 초음파 이미지 분석 장치. - 제 1 항에 있어서,
상기 학습 데이터 생성부는,
상기 초음파 이미지 정보를 미리 설정된 플라크 상태로 분류하고, 상기 초음파 이미지 정보에서 플라크 영역이 주변 영역과 대비되도록 특정 색상으로 표시하여 레이블링하는 것을 특징으로 하는 초음파 이미지 분석 장치. - 제 1 항에 있어서,
상기 학습 데이터 생성부는,
상기 초음파 이미지 정보의 사이즈를 미리 설정된 픽셀로 변경하고, 상기 초음파 이미지 정보와 플라크 정보가 레이블링된 레이블 이미지 정보를 매칭하여 학습 데이터를 생성하는 것을 특징으로 하는 초음파 이미지 분석 장치. - 제 1 항에 있어서,
상기 플라크 상태는,
정상(normal), 단순 플라크(simple Plaque) 및 복합성 플라크(complex plaque) 중 적어도 하나의 상태인 것을 특징으로 하는 초음파 이미지 분석 장치. - 제 1 항에 있어서,
상기 제 1 예측 모델은,
복수의 컨볼루션 레이어(convolution layer), 플래튼 레이어(flatten layer) 및 덴스 레이어(dense layer)가 순차적으로 연결된 구조로 구성되며, 상기 덴스 레이어로부터 출력된 결과에 소프트 맥스 함수(Softmax function)를 적용하여 상기 플라크 상태를 분류하는 것을 특징으로 하는 초음파 이미지 분석 장치. - 제 1 항에 있어서,
상기 제 2 예측 모델은,
복수의 컨볼루션 레이어 구조를 기반으로 축소되는 인코딩 영역과 확대되는 디코딩 영역으로 구성되며, 상기 인코딩 영역에서 특징 정보를 맵핑하여 출력된 결과를 상기 디코딩 영역에 연결(Concatenation)하여 상기 플라크 영역을 추출하는 것을 특징으로 하는 초음파 이미지 분석 장치. - 제 1 항에 있어서,
상기 모델 생성부는,
상기 학습 데이터의 개수를 미리 설정된 비율에 따라 훈련 데이터 세트(train dataset), 검증 데이터 세트(validation dataset) 및 테스트 데이터 세트(test dataset)로 구분하여 학습을 수행하는 것을 특징으로 하는 초음파 이미지 분석 장치. - 경식도 심초음파 검사 정보로부터 초음파 이미지 정보를 획득하고, 상기 초음파 이미지 정보에 혈관 내 포함되는 플라크(plaque) 정보를 레이블링(labeling) 하여 학습 데이터를 생성하는 학습 데이터 생성 단계;
생성된 학습 데이터 기반으로 학습을 수행하여 상기 초음파 이미지 정보로부터 플라크 상태를 분류하는 제 1 예측 모델과 플라크 영역을 추출하는 제 2 예측 모델을 생성하는 모델 생성 단계; 및
생성된 각각의 예측 모델을 적용하여 특정 초음파 이미지 정보에서 플라크 상태와 플라크 영역을 예측하는 플라크 예측 단계;를 포함하는 것을 특징으로 하는 초음파 이미지 분석 방법. - 제 9 항에 있어서,
상기 학습 데이터 생성 단계는,
상기 초음파 이미지 정보를 미리 설정된 플라크 상태로 분류하고, 상기 초음파 이미지 정보에서 플라크 영역이 주변 영역과 대비되도록 특정 색상으로 표시하여 레이블링하는 것을 특징으로 하는 초음파 이미지 분석 방법. - 제 9 항에 있어서,
상기 학습 데이터 생성 단계는,
상기 초음파 이미지 정보의 사이즈를 미리 설정된 픽셀로 변경하고, 상기 초음파 이미지 정보와 플라크 정보가 레이블링된 레이블 이미지 정보를 매칭하여 학습 데이터를 생성하는 것을 특징으로 하는 초음파 이미지 분석 방법. - 제 9 항에 있어서,
상기 플라크 상태는,
정상(normal), 단순 플라크(simple Plaque) 및 복합성 플라크(complex plaque) 중 적어도 하나의 상태인 것을 특징으로 하는 초음파 이미지 분석 방법. - 제 9 항에 있어서,
상기 제 1 예측 모델은,
복수의 컨볼루션 레이어(convolution layer), 플래튼 레이어(flatten layer) 및 덴스 레이어(dense layer)가 순차적으로 연결된 구조로 구성되며, 상기 덴스 레이어로부터 출력된 결과에 소프트맥스 함수(Softmax function)를 적용하여 상기 플라크 상태를 분류하는 것을 특징으로 하는 초음파 이미지 분석 방법. - 제 9 항에 있어서,
상기 제 2 예측 모델은,
복수의 컨볼루션 레이어 구조를 기반으로 축소되는 인코딩 영역과 확대되는 디코딩 영역으로 구성되며, 상기 인코딩 영역에서 특징 정보를 맵핑하여 출력된 결과를 상기 디코딩 영역에 연결(Concatenation)하여 상기 플라크 영역을 추출하는 것을 특징으로 하는 초음파 이미지 분석 방법. - 제 9 항에 있어서,
상기 모델 생성 단계는,
상기 학습 데이터의 개수를 미리 설정된 비율에 따라 훈련 데이터 세트(train dataset), 검증 데이터 세트(validation dataset) 및 테스트 데이터 세트(test dataset)로 구분하여 학습을 수행하는 것을 특징으로 하는 초음파 이미지 분석 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220053044A KR20230153166A (ko) | 2022-04-28 | 2022-04-28 | 초음파 이미지 분석 장치 및 방법 |
| PCT/KR2022/017348 WO2023210893A1 (ko) | 2022-04-28 | 2022-11-07 | 초음파 이미지 분석 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220053044A KR20230153166A (ko) | 2022-04-28 | 2022-04-28 | 초음파 이미지 분석 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230153166A true KR20230153166A (ko) | 2023-11-06 |
Family
ID=88519059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220053044A KR20230153166A (ko) | 2022-04-28 | 2022-04-28 | 초음파 이미지 분석 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230153166A (ko) |
| WO (1) | WO2023210893A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102212499B1 (ko) * | 2018-01-03 | 2021-02-04 | 주식회사 메디웨일 | Ivus 영상 분석방법 |
| KR102343889B1 (ko) * | 2019-08-05 | 2021-12-30 | 재단법인 아산사회복지재단 | 초음파 영상 기반의 기계 학습을 통한 관상동맥 병변 진단 시스템 및 이의 진단 방법 |
| CN111950388B (zh) * | 2020-07-22 | 2024-04-05 | 上海市同仁医院 | 一种易损性斑块跟踪识别系统及方法 |
| KR102250219B1 (ko) * | 2020-09-15 | 2021-05-11 | 주식회사 아이도트 | 초음파 진단 시스템 |
| KR102370167B1 (ko) * | 2021-10-25 | 2022-03-04 | 주식회사 파인트리시스템 | 인공지능 기반 초음파 병변 진단 보조시스템 |
-
2022
- 2022-04-28 KR KR1020220053044A patent/KR20230153166A/ko not_active Application Discontinuation
- 2022-11-07 WO PCT/KR2022/017348 patent/WO2023210893A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023210893A1 (ko) | 2023-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11615879B2 (en) | System and method for automated labeling and annotating unstructured medical datasets | |
| Baloescu et al. | Automated lung ultrasound B-line assessment using a deep learning algorithm | |
| CN112992308B (zh) | 医学图像报告生成模型的训练方法及图像报告生成方法 | |
| US9858665B2 (en) | Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric MRI models | |
| JP2021521993A (ja) | 敵対的生成ネットワークを使用した画像強調 | |
| JP2022188108A (ja) | 超音波分析のためのシステムおよび方法 | |
| Zhang et al. | Intelligent scanning: Automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination | |
| CN111476757A (zh) | 一种冠脉斑块数据检测方法、系统、存储介质、终端 | |
| CN113496495B (zh) | 可缺失输入的医学图像分割模型建立方法及分割方法 | |
| CN110766691A (zh) | 一种心脏磁共振影像分析及心肌病预测的方法、装置 | |
| de Siqueira et al. | Artificial intelligence applied to support medical decisions for the automatic analysis of echocardiogram images: A systematic review | |
| Yang et al. | Hybrid attention for automatic segmentation of whole fetal head in prenatal ultrasound volumes | |
| Tiago et al. | A data augmentation pipeline to generate synthetic labeled datasets of 3D echocardiography images using a GAN | |
| Li et al. | Optical coherence tomography vulnerable plaque segmentation based on deep residual U-Net | |
| Dong et al. | Identifying carotid plaque composition in MRI with convolutional neural networks | |
| Irene et al. | Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method | |
| CN115330669A (zh) | 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质 | |
| KR20230153166A (ko) | 초음파 이미지 분석 장치 및 방법 | |
| Huang et al. | POST-IVUS: A perceptual organisation-aware selective transformer framework for intravascular ultrasound segmentation | |
| CN113129297B (zh) | 基于多期相肿瘤影像的直径自动测量方法及系统 | |
| CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
| Mani | Deep learning models for semantic multi-modal medical image segmentation | |
| Mehta et al. | Heart Disease Diagnosis using Deep Learning | |
| Song et al. | Two-path augmented directional context aware ultrasound image segmentation | |
| CN113160256A (zh) | 一种多任务生成对抗模型的mr影像胎盘分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |