KR102600401B1 - 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 - Google Patents
분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102600401B1 KR102600401B1 KR1020210071916A KR20210071916A KR102600401B1 KR 102600401 B1 KR102600401 B1 KR 102600401B1 KR 1020210071916 A KR1020210071916 A KR 1020210071916A KR 20210071916 A KR20210071916 A KR 20210071916A KR 102600401 B1 KR102600401 B1 KR 102600401B1
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- region
- abnormal
- value
- abnormality
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000011218 segmentation Effects 0.000 title description 6
- 238000004590 computer program Methods 0.000 title description 3
- 230000002159 abnormal effect Effects 0.000 claims abstract description 149
- 230000005856 abnormality Effects 0.000 claims abstract description 101
- 238000010801 machine learning Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 45
- 238000012351 Integrated analysis Methods 0.000 claims description 36
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000003703 image analysis method Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000010191 image analysis Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 210000000707 wrist Anatomy 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 4
- 229910000831 Steel Inorganic materials 0.000 claims 1
- 210000003189 scaphoid bone Anatomy 0.000 claims 1
- 239000010959 steel Substances 0.000 claims 1
- 206010017076 Fracture Diseases 0.000 description 22
- 208000010392 Bone Fractures Diseases 0.000 description 11
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 7
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000011176 pooling Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 206010017088 Fracture nonunion Diseases 0.000 description 3
- 206010056342 Pulmonary mass Diseases 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000037841 lung tumor Diseases 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 210000000623 ulna Anatomy 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010011732 Cyst Diseases 0.000 description 1
- 208000023178 Musculoskeletal disease Diseases 0.000 description 1
- 206010031264 Osteonecrosis Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000002411 hand bone Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000000450 navicular bone Anatomy 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Data Mining & Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
Abstract
본 발명은 분석 장치가 의료 영상을 분석하는 방법에 있어서, 이상 부위를 검출하고자 하는 대상 영상을 입력받는 a 단계, 대상 영상에서 관심 영역을 추출하는 b 단계, 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 관심 영역의 이상 상태를 분류하는 c 단계, 관심 영역에서 이상 부위를 분할(segmentation)하는 d 단계, c 단계에서 산출된 이상 상태에 대응되는 분류값과 d 단계에서 산출된 이상 부위의 픽셀 별 이상 확률값을 이용하여 대상 영상 또는 관심 영역의 이상 상태를 판단하는 e 단계를 포함하는 것을 일 특징으로 한다. 본 발명에 의하면 신속하고 편리하게 의료 영상에 이상 부위가 존재하는지 여부를 판독할 수 있다.
Description
본 발명은 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램에 관한 것으로, 보다 자세하게는 분류 및 분할을 이용하여 의료 영상에 포함된 이상 부위 및 이상 상태를 분석하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.
현재 우리나라의 의사 부족 문제는 점점 심화되고 있으며, 특히 긴급한 의료 현장에 전문의가 부족하여 빠른 대처가 이루어지지 않는 문제가 있다. 응급실로 오는 환자 중 가장 많은 수를 차지하는 사례가 골절 등의 근골격계 이상이나, 응급실에는 근골격계 전문의나 영상의학과 담당의가 부재한 경우가 많다. 단순방사선 사진은 초기 외상 환자의 골절 등의 진단에 있어서 매우 중요한 역할을 하나, 응급실에서 이루어지는 단순방사선 사진 판독 오류로 인한 초기 진단 실패율은 최대 80%까지 보고되며 특히 수지골(손가락뼈; phalanges) 영상에 대한 골절 등의 이상 검출은 50%도 안 되는 것으로 보고된다. 영상의학과 전문의 혹은 근골격계 전문의에 의한 판독이 실시간으로 정확하게 이루어지지 않으면, 환자의 응급실 체류시간이 길어질 뿐 아니라 오진에 의한 심각한 골절의 후유증, 환자의 민원, 의료기관의 신뢰도 저하와 같은 문제가 발생할 소지가 있으므로 이를 해결할 필요가 있다. 특히 일부 골절은 유병율은 적지만 발견이 매우 까다롭고, 초기에 발견하지 못하면 골괴사 등의 문제를 일으키는 증 심각한 후유증을 야기하기도 한다.
따라서 동 기술분야에서는 기계학습모델을 이용하여 자동으로 방사선 사진을 판독하고자 하는 시도들이 이루어지고 있으나, 아직까지 기계학습모델을 사용한 방식은 정확성에 한계가 있고, 블랙박스로 불리는 기계학습의 특성 상 자동 분석 결과에 대한 설명이 부족하여 현장에서 잘 활용되지 못하고 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 신속하고 편리하게 의료 영상에 이상 부위가 존재하는지 여부를 판독할 수 있도록 하는 것을 일 목적으로 한다.
또한, 본 발명은 딥러닝 컨볼루셔널 신경망 기법을 활용한 의료 영상 분석에 있어서, 이상 상태의 분류 정확도를 향상시키고, 영역별로 정밀 분석을 제공하는 것을 다른 목적으로 한다.
또한, 본 발명은 기계학습을 이용한 의료 영상 분석에 있어서, 분석 결과에 대한 특징을 제시하고 시각화 등을 통해 근거를 제공함으로써 기존의 영상 분석의 한계를 뛰어넘는 의료 영상 분석 방법 및 장치, 프로그램을 제공하는 것을 다른 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명은 분석 장치가 의료 영상을 분석하는 방법에 있어서, 이상 부위를 검출하고자 하는 대상 영상을 입력받는 a 단계, 대상 영상에서 관심 영역을 추출하는 b 단계, 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 관심 영역의 이상 상태를 분류하는 c 단계, 관심 영역에서 이상 부위를 분할(segmentation)하는 d 단계, c 단계에서 산출된 이상 상태에 대응되는 분류값과 d 단계에서 산출된 이상 부위의 픽셀 별 이상 확률값을 이용하여 대상 영상 또는 관심 영역의 이상 상태를 판단하는 e 단계를 포함하는 것을 일 특징으로 한다.
또한, 본 발명은 의료 영상을 분석하는 장치에 있어서, 이상 부위를 검출하고자 하는 대상 영상을 입력받는 입력부, 대상 영상에서 관심 영역을 추출하는 관심 영역 추출부, 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 관심 영역 내에 이상 부위가 존재하는지 여부를 분류하는 이상 분류부, 관심 영역에서 이상 부위를 분할(segmentation)하는 이상 부위 검출부, 이상 분류부에서 산출된 이상 부위 존재 여부에 대응되는 분류값과 이상 부위 검출부에서 산출된 이상 부위의 픽셀 별 이상 확률값을 이용하여 관심 영역의 이상 상태를 판단하는 통합분석부를 포함하는 것을 일 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 신속하고 편리하게 의료 영상에 이상 부위가 존재하는지 여부를 판독할 수 있다.
또한, 본 발명에 의하면 딥러닝 컨볼루셔널 신경망 기법을 활용한 의료 영상 분석에 있어서, 이상 상태의 분류 정확도를 향상시키고, 영역별로 정밀 분석을 제공할 수 있다.
또한, 본 발명은 기계학습을 이용한 의료 영상 분석에 있어서, 분석 결과에 대한 특징을 제시하고 시각화 등을 통해 근거를 제공함으로써 기존의 영상 분석의 한계를 극복할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 의료 영상 분석 장치 구성을 설명하기 위한 블록도,
도 2는 본 발명의 일 실시 예에 따른 통합분석부에 입력되는 분류값을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 이상 부위 검출 및 시각화를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 의료 영상 분석 방법을 설명하기 위한 순서도,
도 5는 본 발명의 일 실시 예에 따른 이상 상태 판단 방법을 구체적으로 설명하기 위한 순서도,
도 6는 본 발명의 다른 실시 예에 따른 이상 상태 판단 방법을 구체적으로 설명하기 위한 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 통합분석부에 입력되는 분류값을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 이상 부위 검출 및 시각화를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 의료 영상 분석 방법을 설명하기 위한 순서도,
도 5는 본 발명의 일 실시 예에 따른 이상 상태 판단 방법을 구체적으로 설명하기 위한 순서도,
도 6는 본 발명의 다른 실시 예에 따른 이상 상태 판단 방법을 구체적으로 설명하기 위한 순서도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 발명은 다양한 분야에 적용 가능하다. 본 명세서에서는 근골격계 이상 상태의 판단을 중심으로 기술의 내용을 설명할 것이나, 본 발명은 이상 질환의 종류에 제한받지 않으며, 심혈관질환, 뇌혈관질환 등의 이상 상태를 판단하기 위한 다양한 의료 영상 분석에 활용될 수 있다.
한편, 본 명세서에서 '이상 부위'라는 용어는 정상(normal), 이상(abnormal)의 이진 분류에 있어서 이상이 있는 것으로 판단되는 부위 뿐 아니라, 정상이 아닌 것으로 판단되는 다양한 이상 상태(의심, 물혹, 종양, 골절, 골절 불유합, 급성 골절 등)로 판단되는 부위를 포함하는 개념으로 이해될 수 있다.
또한 본 명세서에서 사용되는 '이상 상태'라는 용어는 대상 영상 또는 관심 영역에 존재하는 이상 부위의 상태를 의미하는 용어로 이해될 수 있다. '이상 상태'로는 정상, 이상이 포함될 수 있고, 더 구체적으로 정상, 의심, 물혹, 양성 종양, 음성 종양, 악성 종양과 같이 이상 부위의 구체적인 상태가 포함될 수도 있다. 또는 분석 대상 영상이 골절이 의심되는 영상인 경우, '이상 상태'는 정상, 골절의심, 골절 불유합(non-union), 급성 골절 (acute fracture) 등의 상태를 포함할 수 있다.
따라서 이상 상태에 대응되는 분류값 역시 분류 방법에 따라 다르게 정의될 수 있다. 예를 들어, 이상 분류부(150)가 대상 영상 또는 관심 영역을 이진 분류(binary classification)하는 경우, 이진 분류에 따라 정상 상태로 분류되는 영상은 '이상 상태'가 아닌 것에 해당하는 분류값, 이상 상태로 분류되는 영상은 '이상 상태'에 해당하는 분류값을 가질 것이다. 만약, 이상 분류부(150)가 대상 영상 또는 관심 영역을 다중 분류 하는 경우, 정상 상태로 분류되는 영상은 '이상 상태'가 아닌 것에 해당하는 분류값, 의심 상태로 분류되는 영상은 '이상 상태'의 종류가 '의심' 카테고리에 해당하는 분류값, 물혹이 있는 상태로 분류되는 영상은 '이상 상태'의 종류가 '물혹' 카테고리에 해당하는 분류값, 종양이 있는 상태로 분류되는 영상은 '이상 상태'의 종류가 '종양' 카테고리에 해당하는 분류값을 가질 수 있다. 즉, 이상 상태는 복수의 상태 종류를 포함하는 개념으로, 단순히 정상 상태에 반대되는 개념이 아닌, 이상 부위, 관심 영역, 대상 영상의 다양한 상태를 나타내는 개념으로 이해될 수 있다.
이하에서는 도 1 내지 도 3을 참조하여 본 발명의 일 실시 예에 의한 의료 영상 분석 장치를 살펴본다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 의료 영상 분석 장치(100)는 입력부(110), 관심영역 추출부(130), 이상 분류부(150), 이상 부위 검출부(160), 통합분석부(170)를 포함하며, 학습부(120) 및 출력부(190)를 더 포함할 수 있다.
입력부(110)는 사용자로부터 대상 영상을 입력받는 입력 모듈일 수 있으며, 다른 전자 장치(미도시)로부터 유무선 통신망을 통해 대상 영상을 수신하는 통신 모듈일 수 있다. 다른 실시 예로 입력부(110)는 객체의 영상을 획득하는 촬상 모듈일 수 있다. 대상 영상은 2차원 또는 3차원의 컬러 또는 흑백 영상일 수 있으며 카메라, 방사선 촬영 장치, 컴퓨터 단층 촬영 장치 등의 촬상 장치를 통해 획득된 것이거나 전자 장치의 캡처 기능을 통해 획득된 것일 수 있다. 입력부(110)는 수신한 대상 영상을 관심 영역 추출부(130)로 전달할 수 있다. 만약, 본 발명의 일 실시 예에 따른 의료 영상 분석 장치(100)가 골절 영상을 전문적으로 분석하는 장치인 경우, 입력부(110)는 골절 영상을 수신할 수 있다.
관심 영역 추출부(130)는 대상 영상에서 하나 이상의 관심 영역을 추출한다. 여기서 관심 영역이란, 대상 영상을 분석하는 데 있어서 중요도를 지닌 특정 영역을 의미한다. 기계 학습 분석에 있어서 특정 영역의 중요도는 해당 영상이 속한 도메인 지식에 기반하는 경우가 많다. 즉, 관심 영역을 중심으로 분석하는 것은 분석에 있어 오류를 야기할 가능성이 있는 주요 관심 영역 이외의 영역에서의 노이즈를 제거하여 정확도를 높이기 위한 것이다. 예를 들어, 도 3에 도시된 바와 같은 의료 영상을 대상 영상으로 수신하였는데(히트맵은 제외한 방사선 영상을 수신), 손목 부위의 골절 여부를 분석하고자 하는 경우, 의료 영상 분석 장치(100)는 손목 부위의 이상 상태 판단 시 확인이 요구되는 요골, 척골, 주상골과 같은 부위를 관심영역으로 추출하여 이상 상태를 판단할 수 있다.
관심 영역 추출부(130)는 수동 또는 자동으로 관심 영역을 검출할 수 있는데, 예를 들어, 사용자에 의해 설정된 위치 정보에 대응되는 영역을 관심 영역으로 추출할 수 있다. 즉, 도 2과 같은 손목 영상에서 사용자는 요골, 척골, 주상골과 같은 일 영역을 직접 설정할 수 있으며, 관심 영역 추출부(130)는 사용자에 의해 지정된 영역을 관심 영역으로 추출하여 이상 분류부(150) 및 이상 부위 검출부(160)에 전달할 수 있다.
다른 실시 예로, 관심 영역 추출부(130)는 질의 영상에 특정 영역에 대해 학습된 자동검출모델을 적용하여 특정 영역에 대응되는 영역을 관심 영역으로 추출할 수 있다. 여기서 특정 영역이란, 전술한 예시에서 골연령 측정에 주요하게 고려되는 영역을 의미한다. 자동 검출부(137)는 전체 영상에서 특정 영상의 추출하기 위하여 복수의 특정 영역 영상을 이용하여 학습된(훈련 및 평가된) 심층신경망인 자동검출모델을 포함할 수 있다. 자동검출모델로는 심층신경망 기반의 CNN(Convolutional Neural Network), Faster-RCNN, Yolo 검출 기법 등이 사용될 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 학습부(120)는 복수의 요골영상을 이용하여 자동검출모델을 훈련시킬 수 있으며, 이 경우 관심 영역 추출부(130)는 학습된 자동검출모델에 임의의 대상 영상(손목을 포함하는 손 뼈 영상)을 적용하여 요골에 해당하는 일 영역을 관심 영역으로 추출할 수 있다.
학습부(120)는 하나 이상의 자동검출모델을 독립적으로 학습시켜 관심 영역 추출부(130)에 제공할 수 있다. 각각의 자동검출모델은 기계학습모델로, 하나 이상의 계층으로 구성된 심층신경망 또는 회귀 분석 모델일 수 있다.
학습부(120)는 각 관심 영역에 대해 기 식별된, 즉 기 설정된 식별 값에 따라 분류된 다수의 관심 영역 영상을 훈련 데이터로 사용하여 자동검출모델을 훈련시킬 수 있다. 예를 들어, 학습부(120)는 관심 영역 별 골절 빈도, 검출 난이도 또는 미 검출 시 후유증 정도 등에 따라 구분된 관심영역을 학습 데이터로 하여 자동검출모델을 학습시킬 수 있다. 일 예로, 학습부(120)는 골절이 발생된 복수의 의료 영상 데이터에서 각 부위 별로 골절 발생 빈도를 카운트할 수 있으며, 골절 발생 빈도가 높게 나타난 부위 별로 자동검출모델을 학습시킬 수 있다. 또는 학습부(120)는 사용자에게 각 관심 영역 별 검출 난이도 또는 후유증 정도에 대한 의료 정보를 학습 데이터 식별 값으로 입력받아 자동검출모델을 훈련시킬 수도 있다.
학습부(120)는 자동검출모델뿐 아니라, 이상 분류부(150)에서 사용되는 기계학습모델을 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 기초로 학습시킬 수 있으며, 이상 부위 검출부(160)에서 사용되는 분할 CNN 모델을 학습시킬수도 있다.
또한 학습부(120)는 통합분석부(170)에서 사용되는 통합 분석 모델에
관심 영역 추출부(130)는 대상 영상에서 하나 이상의 관심 영역(관심 영역 1, 2, … , N)을 추출하여, 추출된 관심 영상을 이상 분류부(150) 및 이상 부위 검출부(160)로 전달할 수 있다. 이러한 관심 영역의 추출은 정확도를 향상시키기 위한 것으로, 기존 일반 영상 분석 방식과 같이 전체 영상을 입력 데이터로 하여 영상을 분석하는 것이 아니라, 주요 세부 영역 별로 기계학습모델링 및 적용을 수행함으로써 주요 세부 영역별로 정밀한 분석이 이루어질 수 있도록 한다.
이상 분류부(150)는 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 상기 관심 영역 내에 이상 부위가 존재하는지에 따라 상기 관심 영역의 이상 상태를 분류할 수 있다. 관심 영역 내에 이상 부위가 존재한다는 것은 결과적으로 대상 영상 내에 이상 부위가 존재한다는 것을 의미하므로, 이상 분류부(150)가 대상 영상의 정상/이상 상태를 판단, 분류하는 것으로 보아도 무방하다. 예를 들어, 대상 영상이 폐 영상이고, 이상 분류부(150)의 기계학습모델이 폐결절 또는 종양이 존재하는 이상 판별 데이터와 폐결절이나 종양이 존재하지 않는 정상 판별 데이터로 학습된 기계학습모델인 경우, 이상 분류부(150)는 입력받은 폐 영상 내 폐결절 유무 또는 종양 유무를 판단할 수 있다.
다른 실시 예로, 대상 영상이 뇌 영상이고, 이상 분류부(150)의 기계학습모델이 뇌출혈이 존재하는 이상 판별 데이터와 뇌출혈이 존재하지 않는 정상 판별 데이터로 학습된 기계학습모델인 경우, 이상 분류부(150)는 입력받은 뇌 영상 내 뇌출혈 유무를 판단할 수 있으며, 이에 따라 대상 영상의 이상 상태 또는 관심 영역의 이상 상태를 분류할 수 있다.
이상 분류부(150)에서 사용되는 기계학습모델은 하나 이상의 계층으로 구성된 심층신경망으로, 관심 영역의 특징들에 대한 특징 지도(feature map)을 만들어내는 다수의 합성곱 계층(convolution layer)과 다수의 합성곱 계층 사이에 서브 샘플링을 수행하는 통합 계층(pooling layer)을 포함하는 합성곱 신경망(convolutional Neural Network, CNN)일 수 있다. 합성곱 신경망은 입력 영상에 대하여 합성곱과 서브샘플링을 번갈아 수행함으로써 입력 영상으로부터 특징을 추출할 수 있다. 특징(feature) 또는 특징값은 영상을 분류 또는 식별하는 데 있어 중요한 핵심 특징들을 나타내는 벡터 값을 의미한다. 본 발명의 일 실시 예에 의하면 통합분석부(170)로 입력되는 제1 특징은 심층신경망을 구성하는 하나 이상의 계층 중 일 계층에서 출력되는 값 또는 일 계층으로 입력되는 값일 수 있다.
합성곱 신경망은 여러 개의 합성곱 계층(convolution layer), 여러 개의 서브샘플링 계층(subsampling layer, Max-Pooling layer, Pooling layer)를 포함하며, GAP 계층(Global Average Pooling layer), 완전 연결 계층(Fully-Connected layer), 소프트맥스 계층(Softmax layer) 등을 포함할 수 있다. 합성곱 계층은 입력 영상에 대해 합성곱을 수행하는 계층이며, 서브샘플링 계층은 입력 영상에 대해 지역적으로 최대값 또는 평균값을 추출하여 2차원 영상에 매핑하는 계층으로 국소적인 영역을 더 크게 하고 서브샘플링을 수행할 수 있다.
합성곱 계층에서는 커널의 크기, 사용할 커널의 개수(생성할 맵의 개수), 합성곱 연산 시 적용할 가중치 테이블 등의 정보가 필요하다. 서브 샘플링 계층에서는 서브 샘플링할 커널의 크기 정보, 커널 영역 내의 값들 중 최대값을 선택할 것인지 최소값을 선택할 것인지 등에 대한 정보가 필요하다.
합성곱 신경망(CNN)의 일 예를 도시한 도 2에서 합성곱 신경망은 합성곱 계층(layer 1, layer 3) 사이에 서브 샘플링이 이루어지는 통합 계층(layer 2)을 포함하고, 말단에 GAP 계층, 완전 연결 계층, 소프트맥스 계층을 포함할 수 있다. 이는 설명의 편의를 위한 것으로, 본 예시에 적용된 것과는 다른 특성을 갖는 계층을 보다 다양하게 조합하여 합성곱 신경망을 구성할 수 있으며, 본 발명은 심층신경망의 구성 및 구조에 의해 제한되지 아니한다.
이상 분류부(150)에서 출력되는 분류값은 관심 영역을 심층신경망 기계학습모델에 적용하여 산출된 값으로, 도 2에 도시된 바와 같이 심층신경망에 포함된 일 레이어의 입력 값, 출력 값 또는 입력 값 또는 출력 값을 이용하여 연산된 연산 값 중 적어도 하나를 포함할 수 있다. 전술한 바와 같이 분류값은 이진 분류에 따른 정상(normal)/이상(abnormal)에 각각 대응되는 값일 수 있으며, 다중 분류에 따른 정상/의심/물혹/종양(음성, 양성, 악성) 또는 정상/골절의심/골절 불유합/급성 골절/골절 등 사용자 설정에 따른 클래스에 대응되는 값일 수 있다.
이상 부위 검출부(160)는 관심 영역에서 이상 부위를 분할(segmentation)할 수 있으며, 이상 부위 검출부(160)의 결과물로는 각 픽셀 별 이상 확률값이 산출될 수 있다. 이상 확률값이란, 정상이 아닌 것(이상)으로 판단되는 확률에 대응되는 값을 의미하는 것으로 이해할 수 있다.
이상 부위 검출부(160)는 모든 픽셀의 레이블을 예측할 수 있으며, 대상 영상 즉, 관심 영역 내 모든 픽셀을 미리 지정된 개수의 클래스로 분류할 수 있다(dense prediction). 예를 들어, 이상 부위 검출부(160)는 정상과 이상의 이진 분류를 픽셀단위로 분류 예측하여, 이상으로 판단할 확률을 제시할 수 있다. 이를 바탕으로, 시각화부(180)는 이상 부위의 특징을 시각화 할 수 있다. 구체적으로 시각화부(180)는 이상 부위 검출부(160)에서 수신한 픽셀 별 이상 확률값을 이용하여, 이상 확률값에 대응되는 색상 또는 이미지를 대상 영상에 표시할 수 있다.
예를 들어, 도 3에 도시된 바와 같은 손목 영상에 있어서, 이상 확률값이 높은 부위는 붉은색, 이상 확률값이 낮은 부위는 파란색으로 표시할 수 있으며, 이 경우 도 3과 같은 히트맵(heat map)이 생성될 수 있다. 사용자는 히트맵을 통해 이상 부위를 직관적으로 파악할 수 있으며, 각 주요 영역(관심 영역) 별 골절 등의 질환 여부에 대한 확률적 가능성을 확인할 수 있다. 한편, 이상 확률값의 낮고 높음의 기준은 사용자에 의해 미리 설정된 임계치에 따라 달라질 수 있으며, 이는 사용자 설정에 따라 조정 가능하다.
다른 실시 예로, 대상 영상이 뇌 영상인 경우, 이상 부위 검출부(160)에서는 영역(픽셀)별로 정상과 이상(뇌출혈)을 구분하고자 할 수 있다. 이상 부위 검출부(160)는 각 픽셀단위로 뇌출혈이 존재하는 이상 영역(픽셀들)과 뇌출혈이 존재하지 않는 정상 영역(픽셀들)을 학습하고, 입력받은 뇌 영상 내 뇌출혈의 이상 확률값을 픽셀 단위로 제시할 수 있다.
통합분석부(170)는 이상 분류부(150)에서 산출된 이상 상태에 대응되는 분류값과 이상 부위 검출부(160)에서 산출된 이상 부위의 픽셀 별 이상 확률값을 이용하여 대상 영상 또는 관심 영역의 이상 상태를 판단할 수 있다. 통합분석부(170)에서 사용되는 분류값은 대상 영역의 이미지 전체 또는 관심 영역에 대한 이상 상태에 대한 자동 분류 특징이며, 이상 확률값은 픽셀 단위로 이상 상태를 판별하여 산출된 픽셀 별 이상 확률값(특징값)이다. 본 발명은 분류값과 이상 확률값을 종합적으로 고려하여 관심 영역의 이상 상태를 판단한다는 점에서 종래 기술과 차별화된 특성을 갖는다.
예를 들어, 본 발명의 일 실시 예에 의한 이상 분류부(150)는 심층신경망에 포함된 최종 소프트맥스(softmax) 레이어에 전달하기 이전의 특징 맵(feature map)의 값을 통합분석부(170)의 입력으로 사용할 수 있다. 즉, 상기 특징 맵의 값이 이상 분류부(150)에서 산출되는 분류값일 수 있다. 본 실시 예에서, GAP(Global Average Pooling)을 통해 각 특징 맵의 평균값을 구하고, 이를 FC Layer(Fully Connected Layer)를 통해 소프트맥스 레이어에 전달하는 도 2의 예시에서, 이상 분류부(150)는 분류값으로 GAP를 통해 산출한 각 특징 맵의 평균값 벡터를 사용할 수 있다. 그리고 이를 통합분석부(170) 입력으로 전달하여, 해당 관심 영역의 분류값을 다른 관심 영역의 분류값과 마찬가지로 통합분석모델에 적용할 수 있다. 이 경우 해당 관심영역n의 분류값 Fn=[A1, A2 A3,..., Ak](k는 채널의 총 개수)로 나타낼 수 있으며, k 채널에서 (i,j) 위치의 특징값을 라 하면, 각 특징값 Mk 의 평균값인 Ak는 다음과 같은 수학식으로 표현할 수 있다.
또 다른 실시 예로, 이상 분류부(150)는 심층신경망의 최종 클래스 분류를 위한 각 클래스의 스코어 또는 정규화된 확률값을 분류값으로 사용할 수 있다. 예를 들어, 소프트맥스 레이어의 각 클래스 스코어 값이나, 소프트맥스 레이어의 결과로 나온 정규화된 확률값을 해당 관심 영역의 분류값으로 산출하여 통합분석부(170)에 입력할 수 있다.
SC는 클래스C의 스코어를 의미하며, wc i 는 Ai의 가중치를 의미한다. 이 경우, 이 경우 관심 영역 n의 분류값(M= 클래스의 총 개수)이 되며, 통합분석부(170)로는 관심 영역별 분류값이 입력될 수 있다.
이와 같이 이상 분류부(150)에서 산출된 각 관심영역별 분류값은 통합분석부(170)에 입력되며, 통합분석부(170)는 분류값을 이용하여 최종적으로 대상 영상 또는 관심 영역의 이상 상태를 판단할 수 있다.
통합분석부(170)는 도 4에 도시된 바와 같이 이상 분류부(150) 및 이상 부위 검출부(160)에서 산출된 분류값과 이상 확률값을 통합 분석 모델에 적용하여 관심 영역의 이상 상태를 판단할 수 있는데, 여기서 통합 분석 모델은 복수의 학습 영상의 이상 상태에 대응되는 분류값과 이상 부위 내 픽셀 별 이상 확률값을 학습데이터로 하여 학습된 신경망 또는 회귀 모델일 수 있다.
또 다른 실시 예로, 통합분석부(170)는 이상 확률값이 기 설정된 제1 임계치를 초과하는 제1 픽셀의 수를 카운트하고, 제1 픽셀의 수가 대상 영상 또는 관심 영역에서 차지하는 비율을 산출하여, 산출된 비율과 분류값 중 어느 하나가 기 설정된 제2 임계치를 넘어가면 대상 영상 또는 관심 영역에 이상 부위가 존재하는 것으로 판단할 수 있다.
또 다른 실시 예로, 통합분석부(170)는 이상 확률값이 제1 임계치를 초과하는 픽셀의 수를 카운트하고 제1 임계치를 초과하는 픽셀들의 이상 확률값을 기 설정된 함수에 적용하여 대상 영상 또는 관심 영역의 이상 상태를 판단할 수 있다.
위 수학식 3은 통합분석부(170)에서 관심영역 n의 이상 상태를 판단하는 함수의 일 예를 나타낸 것이다. 위 수학식에서 T는 기 설정된 임계치를 의미하며, pi 는 픽셀의 이상 확률값, i는 픽셀의 위치 정보를 나타낸다. 이상 상태를 복수의 클래스로 분류한 경우, 픽셀 i의 이상 확률 값 pi 는, 픽셀 i가 특정 이상 상태(클래스)에 해당할 확률 p_ci 로 대체될 수도 있다. 임계치를 초과하는 픽셀들의 이상 확률값에 적용되는 함수는 사용자 설정에 따라 달라질 수 있다. 예를 들어, 사용자는 임계치를 초과하는 픽셀들의 이상 확률값의 평균값을 해당 관심 영역의 특징값으로 산출할 수 있으며, 산출된 특징값은 이상 상태에 대응되는 값일 수 있다.
또 다른 실시 예에서 통합분석부(170)는 분류값, 즉 대상 영상 또는 관심 영역의 이상 상태에 따라 제1 임계치를 조정할 수 있다. 예를 들어, 이상 분류부(150)가 대상 영상에 이상 부위가 존재하는 것으로 대상 영상을 분류한 경우, 통합분석부(170)는 제1 임계치를 기준 값보다 낮추거나 높여 False Negative를 줄일 수 있다.
또 다른 실시 예에서, 통합분석부(170)는 결정트리(decision tree) 방식으로 이상 분류부(150)에서 산출된 분류값에 따라 이상 확률값의 활용 여부를 결정할 수 있다. 만약 이상 확률값을 활용하는 것으로 결정되면, 통합분석부(170)는 기 설정된 확률값을 갖는 픽셀의 수를 이용하여 관심 영역의 이상 상태를 판단할 수 있다. 통합분석부(170)는 또한 이상 확률값을 활용하는 것으로 결정되면, 전술한 바와 같이 기 설정된 임계치를 넘어서는 이상 확률값을 갖는 픽셀의 이상 확률값 자체를 연산하거나, 임계치를 초과하는 이상 확률값을 갖는 픽셀의 수를 이용하여 관심 영역의 이상 상태를 판단할 수 있다.
마지막으로 출력부(190)는 이상 분류부(150), 이상 부위 검출부(160), 통합분석부(170)에서 산출된 결과 중 적어도 하나를 출력할 수 있다. 즉, 출력부(190)는 이상 분류부(150)에서 산출된 분류값, 이상 부위 검출부(160)에서 산출된 픽셀 별 이상 확률값 또는 이상 확률값을 연산하여 산출된 대푯값, 또는 통합분석부(170)에서 산출된 대상 영상 또는 관심 영역의 이상 부위 포함 여부에 대한 결과값 중 적어도 하나를 제공할 수 있다.
본 발명의 의료 영상 분석 장치(100)는 관심 영역 별로 정상 또는 이상 상태를 분류한 분류값과 분할(segmentation)을 통해 산출된 이상 부위의 픽셀 별 정보를 통합하여 분석을 수행한다는 점에서 기존의 영상 분석 방식이 제공하지 못했던 높은 분석 정확도를 제공할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 의료 영상 분석 방법을 도시한 순서도이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치는 대상 영상을 입력받고(S100), 대상 영상에서 하나 이상의 관심 영역을 추출할 수 있다(S200).
단계 200에서 전자 장치는 사용자에 의해 기 설정된 위치 정보에 대응되는 영역을 관심 영역으로 추출할 수 있으며, 질의 영상에 특정 영역에 대해 학습된 자동검출모델을 적용하여 특정 영역에 대응되는 영역을 관심 영역으로 추출할 수도 있다. 단계 200은 기 선정된 영역에 대응되는 하나 이상의 학습데이터로 학습된 심층신경망 기반의 컨볼루셔널 뉴럴 네트워크 모델을 이용하여 이루어질 수 있으며, 관심 영역은 골절 빈도, 검출 난이도 또는 미 검출 시 후유증 정도 중 적어도 하나 이상을 기초로 선정된 영역일 수 있다. 만약, 대상 영상이 손목 영상인 경우, 관심 영역은 요골, 철골, 주상골 중 적어도 하나에 대응되는 일 영역일 수 있다.
다음으로 전자 장치는 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 대상 영상 또는 관심 영역의 이상 상태를 분류할 수 있다(S300). 본 단계에서 대상 영상 또는 관심 영역의 이상 상태에 대응되는 분류값이 산출될 수 있는데, 분류값은 대상 영상 또는 관심 영역을 심층신경망 기계학습모델에 적용하여 산출된 값으로, 심층신경망에 포함된 레이어의 입력 값, 출력 값, 또는 상기 입력 값 또는 상기 출력 값을 이용하여 연산된 연산 값 중 적어도 하나를 포함할 수 있다.
다음으로 전자 장치는 대상 영상 또는 관심 영역에서 이상 부위를 분할할 수 있다(S400). 분할(segmentation)은 대상 영상 또는 관심 영역의 각 픽셀이 어느 클래스에 속하는지 예측하는 것을 의미한다. 즉, 본 단계에서 전자 장치는 이상 부위의 픽셀 별 이상 확률값을 산출할 수 있다. 도면에 도시된 바와 같이, 단계 300과 단계 400은 동시에 진행될 수 있으며, 물론 사용자 설정에 따라 순차적으로 처리될 수도 있으나 전후 순서에 특별히 종속되지 않는다.
전자 장치는 단계 300에서 산출된 대상 영상 또는 관심 영역의 이상 상태에 대응되는 분류값과, 단계 400에서 산출된 이상 부위의 픽셀 별 이상21 확률값을 이용하여 대상 영상 또는 관심 영역의 이상 상태를 최종적으로 판단할 수 있다(S500).
보다 구체적으로 단계 500을 설명하면 다음과 같다.
단계 500에서 전자 장치는 상기 분류값과 상기 이상 확률값을 기 학습된 통합 분석 모델에 적용하여 상기 관심 영역의 이상 상태를 판단할 수 있는데, 통합 분석 모델은 복수의 학습 영상의 이상 상태에 대응되는 분류값과 이상 부위 내 픽셀 별 이상 확률값을 학습데이터로 하여 학습된 신경망 또는 회귀 모델일 수 있다.
단계 500의 또 다른 실시 예로 도 5를 참조하면, 전자 장치는 상기 이상 확률값이 기 설정된 제1 임계치를 초과하는 픽셀의 수를 카운트하고(S510), 상기 픽셀의 수가 상기 대상 영상 또는 상기 관심 영역에서 차지하는 비율을 산출하고(S530), 상기 산출된 비율과 상기 분류값 중 어느 하나가 기 설정된 제2 임계치를 넘어가면 상기 대상 영상 또는 상기 관심 영역에 이상 부위가 존재하는 것으로 판단할 수 있다(S550). 나아가 전자 장치는 분류값에 따라 제1 임계치를 조정할 수도 있다. 예를 들어, 분류값이 대상 영상 또는 관심 영상에 이상 부위가 존재하는 것에 대응되는 값인 경우, 전자 장치는 자동으로 제1 임계치를 높이거나 낮추는 방식으로 판단 결과를 조정할 수 있으며, 이를 통해 전자 장치는 대상 영상에 이상 부위가 존재하는지에 대한 분석의 정확도를 더 높일 수 있다.
단계 500의 또 다른 실시 예로 도 6을 참조하면, 전자 장치는 상기 이상 확률값이 기 설정된 제1 임계치를 초과하는 픽셀의 수를 카운트하고(S520), 상기 픽셀의 이상 확률값을 기 설정된 함수에 적용하여 연산을 수행할 수 있다(S540). 예를 들어, 임계치를 초과하는 픽셀의 이상 확률값의 평균을 산출하거나, 중앙값을 산출하는 등, 사용자 설정에 따라 다양한 함수가 사용될 수 있다. 전자 장치는 산출된 결과값을 이용하여 상기 대상 영상 또는 상기 관심 영역의 이상 상태를 판단할 수 있다. 예를 들어, 전자 장치는 임계치를 초과하는 픽셀의 이상 확률값의 평균을 산출하고, 평균 값이 기 설정된 제3 임계치를 넘어가면 대상 영상 또는 관심 영역에 이상 부위가 존재하는 것으로 판단할 수 있다(S560).
단계 500의 또 다른 실시 예로 도 6을 참조하면, 전자 장치는 상기 분류값에 따라 상기 이상 확률값의 활용 여부를 결정할 수 있고(S501), 상기 이상 확률값을 활용하는 것으로 결정되면, 기 설정된 확률값을 갖는 픽셀을 이용하여 상기 관심 영역의 이상 상태를 판단할 수 있다(S503).
한편, 다시 도 4를 참조하면, 전자 장치는 이상 확률값에 대응되는 색상 또는 이미지를 상기 대상 영상에 표시하는 단계 600을 더 포함할 수 있으며, 이 경우 도 3에 도시된 바와 같이 이상 확률값에 따라 이상 부위를 시각화 할 수 있다.
또한 전자 장치는 단계 700에서 단계 300 내지 500에서 산출된 결과 중 적어도 하나를 출력할 수 있는데, 단계 300에서 산출된 분류값, 단계 400에서 산출된 픽셀 별 이상 확률값, 또는 이상 확률 값을 연산하여 산출된 대푯값, 단계 500에서 산출된 대상 영상 또는 관심 영역의 이상 부위 포함 여부에 대한 결과값이 결과로 출력될 수 있다.
전술한 실시 예에 따른 의료 영상 분석 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 이 때, 컴퓨터 판독가능 매체는 반송파와 같은 통신 매체는 포함하지 않는다.
본 명세서에서 생략된 일부 실시 예는 그 실시 주체가 동일한 경우 동일하게 적용 가능하다. 또한, 전술한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
100: 의료 영상 분석 장치
110: 입력부
120: 학습부
130: 관심영역 추출부
150: 이상 분류부
160: 이상 부위 검출부
170: 통합분석부
190: 출력부
110: 입력부
120: 학습부
130: 관심영역 추출부
150: 이상 분류부
160: 이상 부위 검출부
170: 통합분석부
190: 출력부
Claims (14)
- 분석 장치가 의료 영상을 분석하는 방법에 있어서,
이상 부위를 검출하고자 하는 대상 영상을 입력받는 a 단계;
상기 대상 영상에서 관심 영역을 추출하는 b 단계;
상기 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 상기 관심 영역의 이상 상태를 분류하는 c 단계;
상기 관심 영역에서 이상 부위를 분할(segmentation)하는 d 단계;
상기 c 단계에서 산출된 상기 이상 상태에 대응되는 분류값과 상기 d 단계에서 산출된 상기 이상 부위의 픽셀 별 이상 확률값을 통합 분석하여 상기 대상 영상 또는 상기 관심 영역의 이상 상태를 판단하거나, 상기 픽셀의 이상 확률값을 이용하여 상기 대상 영상 또는 상기 관심 영역의 이상 상태를 판단함에 있어서 상기 분류값에 따라 상기 이상 상태 판단에 활용되는 임계치를 조정하는 e 단계;를 포함하는 의료 영상 분석 방법.
- 제1항에 있어서,
상기 분류값은 상기 관심 영역을 심층신경망 기계학습모델에 적용하여 산출된 값으로, 상기 심층신경망에 포함된 레이어의 입력 값, 출력 값, 또는 상기 입력 값 또는 상기 출력 값을 이용하여 연산된 연산 값 중 적어도 하나를 포함하는 의료 영상 분석 방법.
- 제1항에 있어서,
상기 e 단계는,
상기 분류값과 상기 이상 확률값을 기 학습된 통합 분석 모델에 적용하여 상기 관심 영역의 이상 상태를 판단하며,
상기 통합 분석 모델은 복수의 학습 영상의 이상 상태에 대응되는 분류값과 이상 부위 내 픽셀 별 이상 확률값을 학습데이터로 하여 학습된 신경망 또는 회귀 모델인 의료 영상 분석 방법.
- 제1항에 있어서,
상기 e 단계는
상기 이상 확률값이 기 설정된 제1 임계치를 초과하는 픽셀의 수를 카운트하는 단계;
상기 픽셀의 수가 상기 대상 영상 또는 상기 관심 영역에서 차지하는 비율을 산출하는 단계;
상기 산출된 비율과 상기 분류값 중 어느 하나가 기 설정된 제2 임계치를 넘어가면 상기 대상 영상 또는 상기 관심 영역에 이상 부위가 존재하는 것으로 판단하는 단계를 포함하는 의료 영상 분석 방법.
- 제1항에 있어서,
상기 e 단계는
상기 이상 확률값이 기 설정된 제1 임계치를 초과하는 픽셀의 수를 카운트하는 단계;
상기 픽셀의 이상 확률값을 기 설정된 함수에 적용하여 산출된 결과값을 이용하여 상기 대상 영상 또는 상기 관심 영역의 이상 상태를 판단하는 단계를 포함하는 의료 영상 분석 방법.
- 제4항에 있어서,
상기 분류값에 따라 상기 제1 임계치를 조정하는 단계를 더 포함하는 의료 영상 분석 방법.
- 제1항에 있어서,
상기 e 단계는
상기 분류값에 따라 상기 이상 확률값의 활용 여부를 결정하는 단계;
상기 이상 확률값을 활용하는 것으로 결정되면, 기 설정된 확률값을 갖는 픽셀을 이용하여 상기 관심 영역의 이상 상태를 판단하는 단계를 포함하는 의료 영상 분석 방법.
- 제1항에 있어서,
상기 관심 영역은
골절 빈도, 검출 난이도 또는 미 검출 시 후유증 정도 중 적어도 하나 이상을 기초로 선정된 영역인 의료 영상 분석 방법.
- 제8항에 있어서
상기 관심 영역을 추출하는 단계는
상기 기 선정된 영역에 대응되는 하나 이상의 학습데이터로 학습된 심층신경망 기반의 컨볼루셔널 뉴럴 네트워크 모델을 이용하여 상기 관심 영역을 추출하는 단계를 포함하는 의료 영상 분석 방법.
- 제1항에 있어서,
상기 대상 영상이 손목 영상인 경우,
상기 관심 영역은 요골, 철골, 주상골 중 적어도 하나에 대응되는 일 영역인 의료 영상 분석 방법.
- 제1항에 있어서,
상기 이상 확률값에 대응되는 색상 또는 이미지를 상기 대상 영상에 표시하는 단계를 더 포함하는 의료 영상 분석 방법.
- 제1항에 있어서,
상기 c 단계 내지 e 단계에서 산출된 결과 중 적어도 하나를 출력하는 단계를 더 포함하는 의료 영상 분석 방법.
- 의료 영상을 분석하는 장치에 있어서,
이상 부위를 검출하고자 하는 대상 영상을 입력받는 입력부;
상기 대상 영상에서 관심 영역을 추출하는 관심 영역 추출부;
상기 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 상기 관심 영역 내에 이상 부위가 존재하는지 여부를 분류하는 이상 분류부;
상기 관심 영역에서 이상 부위를 분할(segmentation)하는 이상 부위 검출부;
상기 이상 분류부에서 산출된 이상 부위 존재 여부에 대응되는 분류값과 상기 이상 부위 검출부에서 산출된 상기 이상 부위의 픽셀 별 이상 확률값을 이용하여 상기 관심 영역의 이상 상태를 판단하는 통합분석부;를 포함하고,
상기 통합분석부는,
상기 분류값과 상기 이상 확률값을 통합 분석하여 상기 대상 영상 또는 상기 관심 영역의 이상 상태를 판단하거나, 상기 이상 확률값을 이용하여 상기 대상 영상 또는 상기 관심 영역의 이상 상태를 판단함에 있어서 상기 분류값에 따라 상기 이상 상태 판단에 활용되는 임계치를 조정하는 것을 특징으로 하는,
의료 영상 분석 장치.
- 제1항 내지 제12항의 방법 중 어느 하나의 방법을 실행시키기 위하여 컴퓨터 판독 가능 매체에 저장된 의료 영상 분석 프로그램.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210071916A KR102600401B1 (ko) | 2021-06-03 | 2021-06-03 | 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR1020230151531A KR20230157277A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 뇌 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR1020230151532A KR20230155416A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 종양 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR1020230151530A KR20230157276A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 근골격계 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210071916A KR102600401B1 (ko) | 2021-06-03 | 2021-06-03 | 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230151532A Division KR20230155416A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 종양 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR1020230151530A Division KR20230157276A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 근골격계 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR1020230151531A Division KR20230157277A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 뇌 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220164097A KR20220164097A (ko) | 2022-12-13 |
| KR102600401B1 true KR102600401B1 (ko) | 2023-11-10 |
Family
ID=84439109
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210071916A KR102600401B1 (ko) | 2021-06-03 | 2021-06-03 | 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR1020230151530A KR20230157276A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 근골격계 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR1020230151531A KR20230157277A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 뇌 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR1020230151532A KR20230155416A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 종양 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230151530A KR20230157276A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 근골격계 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR1020230151531A KR20230157277A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 뇌 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR1020230151532A KR20230155416A (ko) | 2021-06-03 | 2023-11-06 | 분류 및 분할을 이용한 종양 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (4) | KR102600401B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102630064B1 (ko) * | 2023-07-20 | 2024-01-29 | (주)해우기술 | 인공지능 기반의 결핵 분류 시스템 및 그 방법 |
| CN117372791B (zh) * | 2023-12-08 | 2024-03-22 | 齐鲁空天信息研究院 | 细粒度定向能毁伤区域检测方法、装置及存储介质 |
| CN117593591B (zh) * | 2024-01-16 | 2024-05-31 | 天津医科大学总医院 | 一种基于医学图像分割的舌象分类方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019215637A1 (en) * | 2018-05-08 | 2019-11-14 | Università Degli Studi Di Torino | Tumoral mass detection system based on magnetic resonance imaging |
| WO2020026349A1 (ja) * | 2018-07-31 | 2020-02-06 | オリンパス株式会社 | 画像診断支援システムおよび画像診断支援装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101901397B1 (ko) * | 2016-12-06 | 2018-09-21 | 부산대학교 산학협력단 | 딥러닝을 이용한 수완부 방사선 영상으로부터 골 성숙도(ｓｍｉ) 자동 분석방법 |
| KR102228087B1 (ko) * | 2019-06-25 | 2021-03-15 | 서울여자대학교 산학협력단 | 의료영상에서의 특정연골 분할 방법 및 장치 |
-
2021
- 2021-06-03 KR KR1020210071916A patent/KR102600401B1/ko active IP Right Grant
-
2023
- 2023-11-06 KR KR1020230151530A patent/KR20230157276A/ko active Application Filing
- 2023-11-06 KR KR1020230151531A patent/KR20230157277A/ko active Application Filing
- 2023-11-06 KR KR1020230151532A patent/KR20230155416A/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019215637A1 (en) * | 2018-05-08 | 2019-11-14 | Università Degli Studi Di Torino | Tumoral mass detection system based on magnetic resonance imaging |
| WO2020026349A1 (ja) * | 2018-07-31 | 2020-02-06 | オリンパス株式会社 | 画像診断支援システムおよび画像診断支援装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230157276A (ko) | 2023-11-16 |
| KR20230155416A (ko) | 2023-11-10 |
| KR20230157277A (ko) | 2023-11-16 |
| KR20220164097A (ko) | 2022-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102600401B1 (ko) | 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 | |
| US11937973B2 (en) | Systems and media for automatically diagnosing thyroid nodules | |
| US7529394B2 (en) | CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system | |
| US11321841B2 (en) | Image analysis method, image analysis device, image analysis system, and storage medium | |
| KR102045223B1 (ko) | 골 연령 분석 방법, 장치 및 컴퓨터 프로그램 | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| US20220207730A1 (en) | Systems and Methods for Automated Image Analysis | |
| Engeland et al. | Finding corresponding regions of interest in mediolateral oblique and craniocaudal mammographic views | |
| US20220301159A1 (en) | Artificial intelligence-based colonoscopic image diagnosis assisting system and method | |
| Syed et al. | Telemammography: a novel approach for early detection of breast cancer through wavelets based image processing and machine learning techniques | |
| CN105956386B (zh) | 基于健康人胸片的健康指标指数分类系统和方法 | |
| US20230206435A1 (en) | Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate | |
| CN111028940B (zh) | 肺结节多尺度检测方法、装置、设备及介质 | |
| US20230306591A1 (en) | Medical image analysis method | |
| KR102360615B1 (ko) | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 | |
| KR102651589B1 (ko) | 영상 및 비영상 데이터를 이용한 질병 예후 통합 예측 방법, 장치 및 컴퓨터 프로그램 | |
| Liu et al. | A locating model for pulmonary tuberculosis diagnosis in radiographs | |
| CN111612755B (zh) | 肺部病灶分析方法、装置、电子设备和存储介质 | |
| EP3926540A1 (en) | Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods | |
| KR102270669B1 (ko) | 인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치 | |
| US11521321B1 (en) | Monitoring computed tomography (CT) scan image | |
| EP3862922A1 (en) | Explaining the output of a trained model | |
| Bunnell | Early Breast Cancer Diagnosis via Breast Ultrasound and Deep Learning | |
| Khazendar et al. | Automatic identification of miscarriage cases supported by decision strength using ultrasound images of the gestational sac | |
| WO2023195924A2 (en) | Method and system for facilitating analysis of a skin condition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |