KR20220164097A - Apparatus, method and computer program for anayzing medical image using classification and segmentation - Google Patents
Apparatus, method and computer program for anayzing medical image using classification and segmentation Download PDFInfo
- Publication number
- KR20220164097A KR20220164097A KR1020210071916A KR20210071916A KR20220164097A KR 20220164097 A KR20220164097 A KR 20220164097A KR 1020210071916 A KR1020210071916 A KR 1020210071916A KR 20210071916 A KR20210071916 A KR 20210071916A KR 20220164097 A KR20220164097 A KR 20220164097A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- abnormal
- interest
- value
- classification
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000011218 segmentation Effects 0.000 title description 4
- 238000004590 computer program Methods 0.000 title description 3
- 230000002159 abnormal effect Effects 0.000 claims abstract description 183
- 238000010801 machine learning Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims description 41
- 238000012351 Integrated analysis Methods 0.000 claims description 32
- 230000005856 abnormality Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000003703 image analysis method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 7
- 210000000707 wrist Anatomy 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 210000000988 bone and bone Anatomy 0.000 claims description 4
- 210000000450 navicular bone Anatomy 0.000 claims description 4
- 229910000831 Steel Inorganic materials 0.000 claims description 2
- 239000010959 steel Substances 0.000 claims description 2
- 206010017076 Fracture Diseases 0.000 description 21
- 208000010392 Bone Fractures Diseases 0.000 description 15
- 238000010191 image analysis Methods 0.000 description 15
- 206010028980 Neoplasm Diseases 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 238000011176 pooling Methods 0.000 description 6
- 208000008574 Intracranial Hemorrhages Diseases 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 206010017088 Fracture nonunion Diseases 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002685 pulmonary effect Effects 0.000 description 3
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 2
- 206010011732 Cyst Diseases 0.000 description 2
- 208000031513 cyst Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000002320 radius Anatomy 0.000 description 2
- 210000000623 ulna Anatomy 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000001505 Musculoskeletal Abnormalities Diseases 0.000 description 1
- 206010031264 Osteonecrosis Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000002411 hand bone Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- G06K9/6267—
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
Abstract
Description
본 발명은 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램에 관한 것으로, 보다 자세하게는 분류 및 분할을 이용하여 의료 영상에 포함된 이상 부위 및 이상 상태를 분석하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to a method, apparatus, and computer program for analyzing a medical image, and more particularly, to a method, apparatus, and computer program for analyzing abnormal parts and states included in a medical image using classification and segmentation.
현재 우리나라의 의사 부족 문제는 점점 심화되고 있으며, 특히 긴급한 의료 현장에 전문의가 부족하여 빠른 대처가 이루어지지 않는 문제가 있다. 응급실로 오는 환자 중 가장 많은 수를 차지하는 사례가 골절 등의 근골격계 이상이나, 응급실에는 근골격계 전문의나 영상의학과 담당의가 부재한 경우가 많다. 단순방사선 사진은 초기 외상 환자의 골절 등의 진단에 있어서 매우 중요한 역할을 하나, 응급실에서 이루어지는 단순방사선 사진 판독 오류로 인한 초기 진단 실패율은 최대 80%까지 보고되며 특히 수지골(손가락뼈; phalanges) 영상에 대한 골절 등의 이상 검출은 50%도 안 되는 것으로 보고된다. 영상의학과 전문의 혹은 근골격계 전문의에 의한 판독이 실시간으로 정확하게 이루어지지 않으면, 환자의 응급실 체류시간이 길어질 뿐 아니라 오진에 의한 심각한 골절의 후유증, 환자의 민원, 의료기관의 신뢰도 저하와 같은 문제가 발생할 소지가 있으므로 이를 해결할 필요가 있다. 특히 일부 골절은 유병율은 적지만 발견이 매우 까다롭고, 초기에 발견하지 못하면 골괴사 등의 문제를 일으키는 증 심각한 후유증을 야기하기도 한다. Currently, the problem of lack of doctors in Korea is getting worse, and in particular, there is a problem in which rapid response is not made due to the lack of specialists in urgent medical fields. Musculoskeletal abnormalities such as fractures account for the largest number of patients who come to the emergency room, but in many cases, a musculoskeletal specialist or a radiologist is absent in the emergency room. Plain radiographs play a very important role in diagnosing fractures in patients with initial trauma, but up to 80% of initial diagnosis failure rates due to simple radiograph reading errors in emergency rooms have been reported, especially with phalanges imaging. It is reported that the detection of abnormalities such as fractures for . If the reading by the radiologist or musculoskeletal specialist is not accurately performed in real time, the patient's stay in the emergency room becomes longer, and problems such as serious fracture sequelae due to misdiagnosis, patient complaints, and lowered reliability of medical institutions may occur. So, we need to solve this. In particular, some fractures have a low prevalence, but are very difficult to detect, and if not detected early, they can cause problems such as osteonecrosis and cause serious sequelae.
따라서 동 기술분야에서는 기계학습모델을 이용하여 자동으로 방사선 사진을 판독하고자 하는 시도들이 이루어지고 있으나, 아직까지 기계학습모델을 사용한 방식은 정확성에 한계가 있고, 블랙박스로 불리는 기계학습의 특성 상 자동 분석 결과에 대한 설명이 부족하여 현장에서 잘 활용되지 못하고 있다. Therefore, attempts have been made to automatically read radiographs using machine learning models in the same technology field, but the method using machine learning models has limitations in accuracy, and due to the nature of machine learning called black box, automatic Due to insufficient explanation of the analysis results, it is not used well in the field.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 신속하고 편리하게 의료 영상에 이상 부위가 존재하는지 여부를 판독할 수 있도록 하는 것을 일 목적으로 한다. An object of the present invention is to solve the above problems, and to quickly and conveniently read whether or not there is an abnormal part in a medical image.
또한, 본 발명은 딥러닝 컨볼루셔널 신경망 기법을 활용한 의료 영상 분석에 있어서, 이상 상태의 분류 정확도를 향상시키고, 영역별로 정밀 분석을 제공하는 것을 다른 목적으로 한다. Another object of the present invention is to improve the classification accuracy of an abnormal state and provide precise analysis for each region in medical image analysis using a deep learning convolutional neural network technique.
또한, 본 발명은 기계학습을 이용한 의료 영상 분석에 있어서, 분석 결과에 대한 특징을 제시하고 시각화 등을 통해 근거를 제공함으로써 기존의 영상 분석의 한계를 뛰어넘는 의료 영상 분석 방법 및 장치, 프로그램을 제공하는 것을 다른 목적으로 한다. In addition, the present invention provides a medical image analysis method, apparatus, and program that overcome the limitations of conventional image analysis by presenting characteristics of analysis results and providing evidence through visualization in medical image analysis using machine learning. to do for a different purpose.
이러한 목적을 달성하기 위한 본 발명은 분석 장치가 의료 영상을 분석하는 방법에 있어서, 이상 부위를 검출하고자 하는 대상 영상을 입력받는 a 단계, 대상 영상에서 관심 영역을 추출하는 b 단계, 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 관심 영역의 이상 상태를 분류하는 c 단계, 관심 영역에서 이상 부위를 분할(segmentation)하는 d 단계, c 단계에서 산출된 이상 상태에 대응되는 분류값과 d 단계에서 산출된 이상 부위의 픽셀 별 이상 확률값을 이용하여 대상 영상 또는 관심 영역의 이상 상태를 판단하는 e 단계를 포함하는 것을 일 특징으로 한다. In order to achieve this object, the present invention provides a method for analyzing a medical image by an analysis device, comprising step a of receiving a target image to detect an abnormal part, step b of extracting a region of interest from the target image, and corresponding to the region of interest. Step c of classifying the abnormal state of the region of interest using the machine learning model trained with the normal discrimination data and the abnormal discrimination data as learning data, Step d of segmenting the abnormal part in the region of interest and step e of determining the abnormal state of the target image or region of interest using the classification value corresponding to the detected abnormal state and the abnormal probability value for each pixel of the abnormal region calculated in step d.
또한, 본 발명은 의료 영상을 분석하는 장치에 있어서, 이상 부위를 검출하고자 하는 대상 영상을 입력받는 입력부, 대상 영상에서 관심 영역을 추출하는 관심 영역 추출부, 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 관심 영역 내에 이상 부위가 존재하는지 여부를 분류하는 이상 분류부, 관심 영역에서 이상 부위를 분할(segmentation)하는 이상 부위 검출부, 이상 분류부에서 산출된 이상 부위 존재 여부에 대응되는 분류값과 이상 부위 검출부에서 산출된 이상 부위의 픽셀 별 이상 확률값을 이용하여 관심 영역의 이상 상태를 판단하는 통합분석부를 포함하는 것을 일 특징으로 한다. In addition, the present invention is an apparatus for analyzing a medical image, an input unit for receiving a target image to detect an anomaly, a region of interest extractor for extracting a region of interest from the target image, normal determination data corresponding to the region of interest, and an abnormality An anomaly classification unit that classifies whether or not an abnormal area exists in the region of interest using a machine learning model learned from discrimination data as learning data, an anomaly region detection unit that segments the abnormal region in the region of interest, and an anomaly classification unit It is characterized by including an integrated analysis unit that determines the abnormal state of the region of interest by using the calculated classification value corresponding to the presence or absence of the abnormal region and the abnormal probability value for each pixel of the abnormal region calculated by the abnormal region detection unit.
전술한 바와 같은 본 발명에 의하면, 신속하고 편리하게 의료 영상에 이상 부위가 존재하는지 여부를 판독할 수 있다. According to the present invention as described above, it is possible to quickly and conveniently read whether an abnormal part exists in a medical image.
또한, 본 발명에 의하면 딥러닝 컨볼루셔널 신경망 기법을 활용한 의료 영상 분석에 있어서, 이상 상태의 분류 정확도를 향상시키고, 영역별로 정밀 분석을 제공할 수 있다. In addition, according to the present invention, in medical image analysis using a deep learning convolutional neural network technique, it is possible to improve the classification accuracy of an abnormal state and provide precise analysis for each region.
또한, 본 발명은 기계학습을 이용한 의료 영상 분석에 있어서, 분석 결과에 대한 특징을 제시하고 시각화 등을 통해 근거를 제공함으로써 기존의 영상 분석의 한계를 극복할 수 있다. In addition, in medical image analysis using machine learning, the present invention can overcome the limitations of conventional image analysis by presenting characteristics of analysis results and providing evidence through visualization.
도 1은 본 발명의 일 실시 예에 따른 의료 영상 분석 장치 구성을 설명하기 위한 블록도,
도 2는 본 발명의 일 실시 예에 따른 통합분석부에 입력되는 분류값을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 이상 부위 검출 및 시각화를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 의료 영상 분석 방법을 설명하기 위한 순서도,
도 5는 본 발명의 일 실시 예에 따른 이상 상태 판단 방법을 구체적으로 설명하기 위한 순서도,
도 6는 본 발명의 다른 실시 예에 따른 이상 상태 판단 방법을 구체적으로 설명하기 위한 순서도이다. 1 is a block diagram for explaining the configuration of a medical image analysis apparatus according to an embodiment of the present invention;
2 is a diagram for explaining a classification value input to an integrated analysis unit according to an embodiment of the present invention;
3 is a view for explaining detection and visualization of abnormal parts according to an embodiment of the present invention;
4 is a flowchart for explaining a medical image analysis method according to an embodiment of the present invention;
5 is a flowchart for specifically explaining a method for determining an abnormal state according to an embodiment of the present invention;
6 is a flowchart for explaining in detail a method for determining an abnormal state according to another embodiment of the present invention.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다. The above objects, features and advantages will be described later in detail with reference to the accompanying drawings, and accordingly, those skilled in the art to which the present invention belongs will be able to easily implement the technical spirit of the present invention. In describing the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to indicate the same or similar elements, and all combinations described in the specification and claims may be combined in any manner. And unless otherwise specified, it should be understood that references to the singular may include one or more, and references to the singular may also include plural.
본 발명은 다양한 분야에 적용 가능하다. 본 명세서에서는 근골격계 이상 상태의 판단을 중심으로 기술의 내용을 설명할 것이나, 본 발명은 이상 질환의 종류에 제한받지 않으며, 심혈관질환, 뇌혈관질환 등의 이상 상태를 판단하기 위한 다양한 의료 영상 분석에 활용될 수 있다. The present invention is applicable to various fields. In this specification, the contents of the technology will be described focusing on the determination of abnormal conditions in the musculoskeletal system, but the present invention is not limited to the types of abnormal diseases, and is applicable to various medical image analysis to determine abnormal conditions such as cardiovascular diseases and cerebrovascular diseases. can be utilized
한편, 본 명세서에서 '이상 부위'라는 용어는 정상(normal), 이상(abnormal)의 이진 분류에 있어서 이상이 있는 것으로 판단되는 부위 뿐 아니라, 정상이 아닌 것으로 판단되는 다양한 이상 상태(의심, 물혹, 종양, 골절, 골절 불유합, 급성 골절 등)로 판단되는 부위를 포함하는 개념으로 이해될 수 있다. On the other hand, in this specification, the term 'abnormal part' refers not only to a part judged to be abnormal in the binary classification of normal and abnormal, but also to various abnormal states (suspicion, suspicion, tumor, fracture, fracture nonunion, acute fracture, etc.)
또한 본 명세서에서 사용되는 '이상 상태'라는 용어는 대상 영상 또는 관심 영역에 존재하는 이상 부위의 상태를 의미하는 용어로 이해될 수 있다. '이상 상태'로는 정상, 이상이 포함될 수 있고, 더 구체적으로 정상, 의심, 물혹, 양성 종양, 음성 종양, 악성 종양과 같이 이상 부위의 구체적인 상태가 포함될 수도 있다. 또는 분석 대상 영상이 골절이 의심되는 영상인 경우, '이상 상태'는 정상, 골절의심, 골절 불유합(non-union), 급성 골절 (acute fracture) 등의 상태를 포함할 수 있다.In addition, the term 'abnormal state' used herein may be understood as a term meaning a state of an abnormal part existing in a target image or region of interest. The 'abnormal state' may include normal or abnormal, and more specifically, may include specific conditions of abnormal parts such as normal, suspected, cyst, benign tumor, negative tumor, and malignant tumor. Alternatively, when an image to be analyzed is an image suspected of having a fracture, the 'abnormal state' may include states such as normal, suspected fracture, fracture non-union, and acute fracture.
따라서 이상 상태에 대응되는 분류값 역시 분류 방법에 따라 다르게 정의될 수 있다. 예를 들어, 이상 분류부(150)가 대상 영상 또는 관심 영역을 이진 분류(binary classification)하는 경우, 이진 분류에 따라 정상 상태로 분류되는 영상은 '이상 상태'가 아닌 것에 해당하는 분류값, 이상 상태로 분류되는 영상은 '이상 상태'에 해당하는 분류값을 가질 것이다. 만약, 이상 분류부(150)가 대상 영상 또는 관심 영역을 다중 분류 하는 경우, 정상 상태로 분류되는 영상은 '이상 상태'가 아닌 것에 해당하는 분류값, 의심 상태로 분류되는 영상은 '이상 상태'의 종류가 '의심' 카테고리에 해당하는 분류값, 물혹이 있는 상태로 분류되는 영상은 '이상 상태'의 종류가 '물혹' 카테고리에 해당하는 분류값, 종양이 있는 상태로 분류되는 영상은 '이상 상태'의 종류가 '종양' 카테고리에 해당하는 분류값을 가질 수 있다. 즉, 이상 상태는 복수의 상태 종류를 포함하는 개념으로, 단순히 정상 상태에 반대되는 개념이 아닌, 이상 부위, 관심 영역, 대상 영상의 다양한 상태를 나타내는 개념으로 이해될 수 있다. Therefore, the classification value corresponding to the abnormal state may also be defined differently according to the classification method. For example, when the
이하에서는 도 1 내지 도 3을 참조하여 본 발명의 일 실시 예에 의한 의료 영상 분석 장치를 살펴본다. Hereinafter, a medical image analysis apparatus according to an embodiment of the present invention will be described with reference to FIGS. 1 to 3 .
도 1을 참조하면, 본 발명의 일 실시 예에 따른 의료 영상 분석 장치(100)는 입력부(110), 관심영역 추출부(130), 이상 분류부(150), 이상 부위 검출부(160), 통합분석부(170)를 포함하며, 학습부(120) 및 출력부(190)를 더 포함할 수 있다. Referring to FIG. 1 , the medical image analysis apparatus 100 according to an embodiment of the present invention includes an input unit 110, an ROI extraction unit 130, an
입력부(110)는 사용자로부터 대상 영상을 입력받는 입력 모듈일 수 있으며, 다른 전자 장치(미도시)로부터 유무선 통신망을 통해 대상 영상을 수신하는 통신 모듈일 수 있다. 다른 실시 예로 입력부(110)는 객체의 영상을 획득하는 촬상 모듈일 수 있다. 대상 영상은 2차원 또는 3차원의 컬러 또는 흑백 영상일 수 있으며 카메라, 방사선 촬영 장치, 컴퓨터 단층 촬영 장치 등의 촬상 장치를 통해 획득된 것이거나 전자 장치의 캡처 기능을 통해 획득된 것일 수 있다. 입력부(110)는 수신한 대상 영상을 관심 영역 추출부(130)로 전달할 수 있다. 만약, 본 발명의 일 실시 예에 따른 의료 영상 분석 장치(100)가 골절 영상을 전문적으로 분석하는 장치인 경우, 입력부(110)는 골절 영상을 수신할 수 있다. The input unit 110 may be an input module that receives a target image from a user, or may be a communication module that receives a target image from another electronic device (not shown) through a wired or wireless communication network. In another embodiment, the input unit 110 may be an imaging module that acquires an image of an object. The target image may be a 2D or 3D color or black and white image, and may be obtained through an imaging device such as a camera, a radiation imaging device, a computed tomography device, or a capture function of an electronic device. The input unit 110 may transmit the received target image to the ROI extractor 130 . If the medical image analysis device 100 according to an embodiment of the present invention is a device that analyzes fracture images professionally, the input unit 110 may receive a fracture image.
관심 영역 추출부(130)는 대상 영상에서 하나 이상의 관심 영역을 추출한다. 여기서 관심 영역이란, 대상 영상을 분석하는 데 있어서 중요도를 지닌 특정 영역을 의미한다. 기계 학습 분석에 있어서 특정 영역의 중요도는 해당 영상이 속한 도메인 지식에 기반하는 경우가 많다. 즉, 관심 영역을 중심으로 분석하는 것은 분석에 있어 오류를 야기할 가능성이 있는 주요 관심 영역 이외의 영역에서의 노이즈를 제거하여 정확도를 높이기 위한 것이다. 예를 들어, 도 3에 도시된 바와 같은 의료 영상을 대상 영상으로 수신하였는데(히트맵은 제외한 방사선 영상을 수신), 손목 부위의 골절 여부를 분석하고자 하는 경우, 의료 영상 분석 장치(100)는 손목 부위의 이상 상태 판단 시 확인이 요구되는 요골, 척골, 주상골과 같은 부위를 관심영역으로 추출하여 이상 상태를 판단할 수 있다. The ROI extractor 130 extracts one or more ROIs from the target image. Here, the region of interest refers to a specific region having importance in analyzing a target image. In machine learning analysis, the importance of a specific region is often based on domain knowledge to which the image belongs. That is, the analysis based on the region of interest is intended to increase accuracy by removing noise in regions other than the main region of interest that may cause errors in analysis. For example, when a medical image as shown in FIG. 3 is received as a target image (a radiation image excluding a heat map is received), and it is desired to analyze whether or not a wrist region is fractured, the medical image analysis apparatus 100 uses the wrist When determining the abnormal state of a part, the abnormal state can be determined by extracting parts such as the radius, ulna, and navicular bone that require confirmation as a region of interest.
관심 영역 추출부(130)는 수동 또는 자동으로 관심 영역을 검출할 수 있는데, 예를 들어, 사용자에 의해 설정된 위치 정보에 대응되는 영역을 관심 영역으로 추출할 수 있다. 즉, 도 2과 같은 손목 영상에서 사용자는 요골, 척골, 주상골과 같은 일 영역을 직접 설정할 수 있으며, 관심 영역 추출부(130)는 사용자에 의해 지정된 영역을 관심 영역으로 추출하여 이상 분류부(150) 및 이상 부위 검출부(160)에 전달할 수 있다. The region of interest extractor 130 may manually or automatically detect the region of interest. For example, a region corresponding to location information set by a user may be extracted as the region of interest. That is, in the wrist image of FIG. 2 , the user may directly set one region such as the radius, ulna, or navicular bone, and the ROI extractor 130 extracts the region designated by the user as the ROI, ) and the abnormal part detection unit 160.
다른 실시 예로, 관심 영역 추출부(130)는 질의 영상에 특정 영역에 대해 학습된 자동검출모델을 적용하여 특정 영역에 대응되는 영역을 관심 영역으로 추출할 수 있다. 여기서 특정 영역이란, 전술한 예시에서 골연령 측정에 주요하게 고려되는 영역을 의미한다. 자동 검출부(137)는 전체 영상에서 특정 영상의 추출하기 위하여 복수의 특정 영역 영상을 이용하여 학습된(훈련 및 평가된) 심층신경망인 자동검출모델을 포함할 수 있다. 자동검출모델로는 심층신경망 기반의 CNN(Convolutional Neural Network), Faster-RCNN, Yolo 검출 기법 등이 사용될 수 있으나, 이에 한정되는 것은 아니다. As another embodiment, the ROI extractor 130 may extract a region corresponding to the specific region as the ROI by applying an automatic detection model learned for the specific region to the query image. Here, the specific region means a region that is mainly considered for bone age measurement in the above-described example. The automatic detection unit 137 may include an automatic detection model, which is a deep neural network learned (trained and evaluated) using a plurality of images of a specific region in order to extract a specific image from all images. As the automatic detection model, deep neural network-based Convolutional Neural Network (CNN), Faster-RCNN, and Yolo detection techniques may be used, but are not limited thereto.
예를 들어, 학습부(120)는 복수의 요골영상을 이용하여 자동검출모델을 훈련시킬 수 있으며, 이 경우 관심 영역 추출부(130)는 학습된 자동검출모델에 임의의 대상 영상(손목을 포함하는 손 뼈 영상)을 적용하여 요골에 해당하는 일 영역을 관심 영역으로 추출할 수 있다. For example, the
학습부(120)는 하나 이상의 자동검출모델을 독립적으로 학습시켜 관심 영역 추출부(130)에 제공할 수 있다. 각각의 자동검출모델은 기계학습모델로, 하나 이상의 계층으로 구성된 심층신경망 또는 회귀 분석 모델일 수 있다. The
학습부(120)는 각 관심 영역에 대해 기 식별된, 즉 기 설정된 식별 값에 따라 분류된 다수의 관심 영역 영상을 훈련 데이터로 사용하여 자동검출모델을 훈련시킬 수 있다. 예를 들어, 학습부(120)는 관심 영역 별 골절 빈도, 검출 난이도 또는 미 검출 시 후유증 정도 등에 따라 구분된 관심영역을 학습 데이터로 하여 자동검출모델을 학습시킬 수 있다. 일 예로, 학습부(120)는 골절이 발생된 복수의 의료 영상 데이터에서 각 부위 별로 골절 발생 빈도를 카운트할 수 있으며, 골절 발생 빈도가 높게 나타난 부위 별로 자동검출모델을 학습시킬 수 있다. 또는 학습부(120)는 사용자에게 각 관심 영역 별 검출 난이도 또는 후유증 정도에 대한 의료 정보를 학습 데이터 식별 값으로 입력받아 자동검출모델을 훈련시킬 수도 있다.The
학습부(120)는 자동검출모델뿐 아니라, 이상 분류부(150)에서 사용되는 기계학습모델을 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 기초로 학습시킬 수 있으며, 이상 부위 검출부(160)에서 사용되는 분할 CNN 모델을 학습시킬수도 있다. The
또한 학습부(120)는 통합분석부(170)에서 사용되는 통합 분석 모델에 In addition, the
관심 영역 추출부(130)는 대상 영상에서 하나 이상의 관심 영역(관심 영역 1, 2, … , N)을 추출하여, 추출된 관심 영상을 이상 분류부(150) 및 이상 부위 검출부(160)로 전달할 수 있다. 이러한 관심 영역의 추출은 정확도를 향상시키기 위한 것으로, 기존 일반 영상 분석 방식과 같이 전체 영상을 입력 데이터로 하여 영상을 분석하는 것이 아니라, 주요 세부 영역 별로 기계학습모델링 및 적용을 수행함으로써 주요 세부 영역별로 정밀한 분석이 이루어질 수 있도록 한다. The ROI extractor 130 extracts one or more ROI (
이상 분류부(150)는 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 상기 관심 영역 내에 이상 부위가 존재하는지에 따라 상기 관심 영역의 이상 상태를 분류할 수 있다. 관심 영역 내에 이상 부위가 존재한다는 것은 결과적으로 대상 영상 내에 이상 부위가 존재한다는 것을 의미하므로, 이상 분류부(150)가 대상 영상의 정상/이상 상태를 판단, 분류하는 것으로 보아도 무방하다. 예를 들어, 대상 영상이 폐 영상이고, 이상 분류부(150)의 기계학습모델이 폐결절 또는 종양이 존재하는 이상 판별 데이터와 폐결절이나 종양이 존재하지 않는 정상 판별 데이터로 학습된 기계학습모델인 경우, 이상 분류부(150)는 입력받은 폐 영상 내 폐결절 유무 또는 종양 유무를 판단할 수 있다. The
다른 실시 예로, 대상 영상이 뇌 영상이고, 이상 분류부(150)의 기계학습모델이 뇌출혈이 존재하는 이상 판별 데이터와 뇌출혈이 존재하지 않는 정상 판별 데이터로 학습된 기계학습모델인 경우, 이상 분류부(150)는 입력받은 뇌 영상 내 뇌출혈 유무를 판단할 수 있으며, 이에 따라 대상 영상의 이상 상태 또는 관심 영역의 이상 상태를 분류할 수 있다. As another embodiment, when the target image is a brain image and the machine learning model of the
이상 분류부(150)에서 사용되는 기계학습모델은 하나 이상의 계층으로 구성된 심층신경망으로, 관심 영역의 특징들에 대한 특징 지도(feature map)을 만들어내는 다수의 합성곱 계층(convolution layer)과 다수의 합성곱 계층 사이에 서브 샘플링을 수행하는 통합 계층(pooling layer)을 포함하는 합성곱 신경망(convolutional Neural Network, CNN)일 수 있다. 합성곱 신경망은 입력 영상에 대하여 합성곱과 서브샘플링을 번갈아 수행함으로써 입력 영상으로부터 특징을 추출할 수 있다. 특징(feature) 또는 특징값은 영상을 분류 또는 식별하는 데 있어 중요한 핵심 특징들을 나타내는 벡터 값을 의미한다. 본 발명의 일 실시 예에 의하면 통합분석부(170)로 입력되는 제1 특징은 심층신경망을 구성하는 하나 이상의 계층 중 일 계층에서 출력되는 값 또는 일 계층으로 입력되는 값일 수 있다. The machine learning model used in the
합성곱 신경망은 여러 개의 합성곱 계층(convolution layer), 여러 개의 서브샘플링 계층(subsampling layer, Max-Pooling layer, Pooling layer)를 포함하며, GAP 계층(Global Average Pooling layer), 완전 연결 계층(Fully-Connected layer), 소프트맥스 계층(Softmax layer) 등을 포함할 수 있다. 합성곱 계층은 입력 영상에 대해 합성곱을 수행하는 계층이며, 서브샘플링 계층은 입력 영상에 대해 지역적으로 최대값 또는 평균값을 추출하여 2차원 영상에 매핑하는 계층으로 국소적인 영역을 더 크게 하고 서브샘플링을 수행할 수 있다. The convolutional neural network includes several convolution layers, several subsampling layers (subsampling layer, Max-Pooling layer, and Pooling layer), a Global Average Pooling layer (GAP layer), and a fully-connected layer (Fully-Pooling layer). Connected layer), Softmax layer, and the like. The convolution layer is a layer that performs convolution on the input image, and the subsampling layer is a layer that extracts the maximum or average value locally from the input image and maps it to a 2D image. It enlarges the local area and performs subsampling. can be done
합성곱 계층에서는 커널의 크기, 사용할 커널의 개수(생성할 맵의 개수), 합성곱 연산 시 적용할 가중치 테이블 등의 정보가 필요하다. 서브 샘플링 계층에서는 서브 샘플링할 커널의 크기 정보, 커널 영역 내의 값들 중 최대값을 선택할 것인지 최소값을 선택할 것인지 등에 대한 정보가 필요하다. The convolution layer requires information such as the size of the kernel, the number of kernels to be used (the number of maps to be created), and a table of weights to be applied during the convolution operation. In the subsampling layer, information on the size of a kernel to be subsampled and whether to select a maximum value or a minimum value among values within a kernel area is required.
합성곱 신경망(CNN)의 일 예를 도시한 도 2에서 합성곱 신경망은 합성곱 계층(layer 1, layer 3) 사이에 서브 샘플링이 이루어지는 통합 계층(layer 2)을 포함하고, 말단에 GAP 계층, 완전 연결 계층, 소프트맥스 계층을 포함할 수 있다. 이는 설명의 편의를 위한 것으로, 본 예시에 적용된 것과는 다른 특성을 갖는 계층을 보다 다양하게 조합하여 합성곱 신경망을 구성할 수 있으며, 본 발명은 심층신경망의 구성 및 구조에 의해 제한되지 아니한다. In FIG. 2 showing an example of a convolutional neural network (CNN), the convolutional neural network includes an integration layer (layer 2) in which subsampling is performed between convolutional layers (
이상 분류부(150)에서 출력되는 분류값은 관심 영역을 심층신경망 기계학습모델에 적용하여 산출된 값으로, 도 2에 도시된 바와 같이 심층신경망에 포함된 일 레이어의 입력 값, 출력 값 또는 입력 값 또는 출력 값을 이용하여 연산된 연산 값 중 적어도 하나를 포함할 수 있다. 전술한 바와 같이 분류값은 이진 분류에 따른 정상(normal)/이상(abnormal)에 각각 대응되는 값일 수 있으며, 다중 분류에 따른 정상/의심/물혹/종양(음성, 양성, 악성) 또는 정상/골절의심/골절 불유합/급성 골절/골절 등 사용자 설정에 따른 클래스에 대응되는 값일 수 있다. The classification value output from the
이상 부위 검출부(160)는 관심 영역에서 이상 부위를 분할(segmentation)할 수 있으며, 이상 부위 검출부(160)의 결과물로는 각 픽셀 별 이상 확률값이 산출될 수 있다. 이상 확률값이란, 정상이 아닌 것(이상)으로 판단되는 확률에 대응되는 값을 의미하는 것으로 이해할 수 있다. The abnormal part detection unit 160 may segment the abnormal part in the region of interest, and an abnormality probability value for each pixel may be calculated as a result of the abnormal part detection unit 160 . It can be understood that the abnormal probability value means a value corresponding to a probability that is determined to be abnormal (abnormal).
이상 부위 검출부(160)는 모든 픽셀의 레이블을 예측할 수 있으며, 대상 영상 즉, 관심 영역 내 모든 픽셀을 미리 지정된 개수의 클래스로 분류할 수 있다(dense prediction). 예를 들어, 이상 부위 검출부(160)는 정상과 이상의 이진 분류를 픽셀단위로 분류 예측하여, 이상으로 판단할 확률을 제시할 수 있다. 이를 바탕으로, 시각화부(180)는 이상 부위의 특징을 시각화 할 수 있다. 구체적으로 시각화부(180)는 이상 부위 검출부(160)에서 수신한 픽셀 별 이상 확률값을 이용하여, 이상 확률값에 대응되는 색상 또는 이미지를 대상 영상에 표시할 수 있다. The anomaly detection unit 160 may predict the labels of all pixels and classify all pixels in the target image, that is, the region of interest into a pre-specified number of classes (dense prediction). For example, the abnormal part detection unit 160 may classify and predict the binary classification of normal and abnormal in units of pixels, and present a probability of determining abnormality. Based on this, the
예를 들어, 도 3에 도시된 바와 같은 손목 영상에 있어서, 이상 확률값이 높은 부위는 붉은색, 이상 확률값이 낮은 부위는 파란색으로 표시할 수 있으며, 이 경우 도 3과 같은 히트맵(heat map)이 생성될 수 있다. 사용자는 히트맵을 통해 이상 부위를 직관적으로 파악할 수 있으며, 각 주요 영역(관심 영역) 별 골절 등의 질환 여부에 대한 확률적 가능성을 확인할 수 있다. 한편, 이상 확률값의 낮고 높음의 기준은 사용자에 의해 미리 설정된 임계치에 따라 달라질 수 있으며, 이는 사용자 설정에 따라 조정 가능하다. For example, in the wrist image shown in FIG. 3 , regions with a high abnormality probability value may be displayed in red, and regions with a low abnormality probability value may be displayed in blue. In this case, a heat map as shown in FIG. 3 this can be created. The user can intuitively identify the abnormal part through the heat map, and check the probabilistic possibility of a disease such as a fracture for each major area (region of interest). On the other hand, the criterion of low or high odds probability value may vary according to a threshold set in advance by a user, which may be adjusted according to a user setting.
다른 실시 예로, 대상 영상이 뇌 영상인 경우, 이상 부위 검출부(160)에서는 영역(픽셀)별로 정상과 이상(뇌출혈)을 구분하고자 할 수 있다. 이상 부위 검출부(160)는 각 픽셀단위로 뇌출혈이 존재하는 이상 영역(픽셀들)과 뇌출혈이 존재하지 않는 정상 영역(픽셀들)을 학습하고, 입력받은 뇌 영상 내 뇌출혈의 이상 확률값을 픽셀 단위로 제시할 수 있다. As another embodiment, when the target image is a brain image, the abnormal part detection unit 160 may attempt to distinguish between normal and abnormal (cerebral hemorrhage) for each region (pixel). The abnormal part detection unit 160 learns the abnormal region (pixels) in which brain hemorrhage is present and the normal region (pixels) in which brain hemorrhage is not present in each pixel unit, and converts the abnormal probability value of brain hemorrhage in the received brain image into pixel units. can present
통합분석부(170)는 이상 분류부(150)에서 산출된 이상 상태에 대응되는 분류값과 이상 부위 검출부(160)에서 산출된 이상 부위의 픽셀 별 이상 확률값을 이용하여 대상 영상 또는 관심 영역의 이상 상태를 판단할 수 있다. 통합분석부(170)에서 사용되는 분류값은 대상 영역의 이미지 전체 또는 관심 영역에 대한 이상 상태에 대한 자동 분류 특징이며, 이상 확률값은 픽셀 단위로 이상 상태를 판별하여 산출된 픽셀 별 이상 확률값(특징값)이다. 본 발명은 분류값과 이상 확률값을 종합적으로 고려하여 관심 영역의 이상 상태를 판단한다는 점에서 종래 기술과 차별화된 특성을 갖는다. The
예를 들어, 본 발명의 일 실시 예에 의한 이상 분류부(150)는 심층신경망에 포함된 최종 소프트맥스(softmax) 레이어에 전달하기 이전의 특징 맵(feature map)의 값을 통합분석부(170)의 입력으로 사용할 수 있다. 즉, 상기 특징 맵의 값이 이상 분류부(150)에서 산출되는 분류값일 수 있다. 본 실시 예에서, GAP(Global Average Pooling)을 통해 각 특징 맵의 평균값을 구하고, 이를 FC Layer(Fully Connected Layer)를 통해 소프트맥스 레이어에 전달하는 도 2의 예시에서, 이상 분류부(150)는 분류값으로 GAP를 통해 산출한 각 특징 맵의 평균값 벡터를 사용할 수 있다. 그리고 이를 통합분석부(170) 입력으로 전달하여, 해당 관심 영역의 분류값을 다른 관심 영역의 분류값과 마찬가지로 통합분석모델에 적용할 수 있다. 이 경우 해당 관심영역n의 분류값 Fn=[A1, A2 A3,..., Ak](k는 채널의 총 개수)로 나타낼 수 있으며, k 채널에서 (i,j) 위치의 특징값을 라 하면, 각 특징값 Mk 의 평균값인 Ak는 다음과 같은 수학식으로 표현할 수 있다.For example, the
또 다른 실시 예로, 이상 분류부(150)는 심층신경망의 최종 클래스 분류를 위한 각 클래스의 스코어 또는 정규화된 확률값을 분류값으로 사용할 수 있다. 예를 들어, 소프트맥스 레이어의 각 클래스 스코어 값이나, 소프트맥스 레이어의 결과로 나온 정규화된 확률값을 해당 관심 영역의 분류값으로 산출하여 통합분석부(170)에 입력할 수 있다. As another embodiment, the
SC는 클래스C의 스코어를 의미하며, wc i 는 Ai의 가중치를 의미한다. 이 경우, 이 경우 관심 영역 n의 분류값(M= 클래스의 총 개수)이 되며, 통합분석부(170)로는 관심 영역별 분류값이 입력될 수 있다. S C means the score of class C, and w c i means the weight of A i . In this case, in this case, the classification value of region of interest n (M = the total number of classes), and the
이와 같이 이상 분류부(150)에서 산출된 각 관심영역별 분류값은 통합분석부(170)에 입력되며, 통합분석부(170)는 분류값을 이용하여 최종적으로 대상 영상 또는 관심 영역의 이상 상태를 판단할 수 있다. In this way, the classification value for each region of interest calculated by the
통합분석부(170)는 도 4에 도시된 바와 같이 이상 분류부(150) 및 이상 부위 검출부(160)에서 산출된 분류값과 이상 확률값을 통합 분석 모델에 적용하여 관심 영역의 이상 상태를 판단할 수 있는데, 여기서 통합 분석 모델은 복수의 학습 영상의 이상 상태에 대응되는 분류값과 이상 부위 내 픽셀 별 이상 확률값을 학습데이터로 하여 학습된 신경망 또는 회귀 모델일 수 있다. As shown in FIG. 4 , the
또 다른 실시 예로, 통합분석부(170)는 이상 확률값이 기 설정된 제1 임계치를 초과하는 제1 픽셀의 수를 카운트하고, 제1 픽셀의 수가 대상 영상 또는 관심 영역에서 차지하는 비율을 산출하여, 산출된 비율과 분류값 중 어느 하나가 기 설정된 제2 임계치를 넘어가면 대상 영상 또는 관심 영역에 이상 부위가 존재하는 것으로 판단할 수 있다. As another embodiment, the
또 다른 실시 예로, 통합분석부(170)는 이상 확률값이 제1 임계치를 초과하는 픽셀의 수를 카운트하고 제1 임계치를 초과하는 픽셀들의 이상 확률값을 기 설정된 함수에 적용하여 대상 영상 또는 관심 영역의 이상 상태를 판단할 수 있다. As another embodiment, the
위 수학식 3은 통합분석부(170)에서 관심영역 n의 이상 상태를 판단하는 함수의 일 예를 나타낸 것이다. 위 수학식에서 T는 기 설정된 임계치를 의미하며, pi 는 픽셀의 이상 확률값, i는 픽셀의 위치 정보를 나타낸다. 이상 상태를 복수의 클래스로 분류한 경우, 픽셀 i의 이상 확률 값 pi 는, 픽셀 i가 특정 이상 상태(클래스)에 해당할 확률 p_ci 로 대체될 수도 있다. 임계치를 초과하는 픽셀들의 이상 확률값에 적용되는 함수는 사용자 설정에 따라 달라질 수 있다. 예를 들어, 사용자는 임계치를 초과하는 픽셀들의 이상 확률값의 평균값을 해당 관심 영역의 특징값으로 산출할 수 있으며, 산출된 특징값은 이상 상태에 대응되는 값일 수 있다.
또 다른 실시 예에서 통합분석부(170)는 분류값, 즉 대상 영상 또는 관심 영역의 이상 상태에 따라 제1 임계치를 조정할 수 있다. 예를 들어, 이상 분류부(150)가 대상 영상에 이상 부위가 존재하는 것으로 대상 영상을 분류한 경우, 통합분석부(170)는 제1 임계치를 기준 값보다 낮추거나 높여 False Negative를 줄일 수 있다. In another embodiment, the
또 다른 실시 예에서, 통합분석부(170)는 결정트리(decision tree) 방식으로 이상 분류부(150)에서 산출된 분류값에 따라 이상 확률값의 활용 여부를 결정할 수 있다. 만약 이상 확률값을 활용하는 것으로 결정되면, 통합분석부(170)는 기 설정된 확률값을 갖는 픽셀의 수를 이용하여 관심 영역의 이상 상태를 판단할 수 있다. 통합분석부(170)는 또한 이상 확률값을 활용하는 것으로 결정되면, 전술한 바와 같이 기 설정된 임계치를 넘어서는 이상 확률값을 갖는 픽셀의 이상 확률값 자체를 연산하거나, 임계치를 초과하는 이상 확률값을 갖는 픽셀의 수를 이용하여 관심 영역의 이상 상태를 판단할 수 있다. In another embodiment, the
마지막으로 출력부(190)는 이상 분류부(150), 이상 부위 검출부(160), 통합분석부(170)에서 산출된 결과 중 적어도 하나를 출력할 수 있다. 즉, 출력부(190)는 이상 분류부(150)에서 산출된 분류값, 이상 부위 검출부(160)에서 산출된 픽셀 별 이상 확률값 또는 이상 확률값을 연산하여 산출된 대푯값, 또는 통합분석부(170)에서 산출된 대상 영상 또는 관심 영역의 이상 부위 포함 여부에 대한 결과값 중 적어도 하나를 제공할 수 있다. Finally, the output unit 190 may output at least one of the results calculated by the
본 발명의 의료 영상 분석 장치(100)는 관심 영역 별로 정상 또는 이상 상태를 분류한 분류값과 분할(segmentation)을 통해 산출된 이상 부위의 픽셀 별 정보를 통합하여 분석을 수행한다는 점에서 기존의 영상 분석 방식이 제공하지 못했던 높은 분석 정확도를 제공할 수 있다. The medical image analysis apparatus 100 of the present invention is conventional image analysis in that it performs analysis by integrating classification values of normal or abnormal states for each region of interest and pixel-specific information of an abnormal region calculated through segmentation. High analysis accuracy that the analysis method did not provide can be provided.
도 4는 본 발명의 일 실시 예에 따른 의료 영상 분석 방법을 도시한 순서도이다. 4 is a flowchart illustrating a method for analyzing a medical image according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 전자 장치는 대상 영상을 입력받고(S100), 대상 영상에서 하나 이상의 관심 영역을 추출할 수 있다(S200). Referring to FIG. 4 , the electronic device according to an embodiment of the present invention may receive a target image (S100) and extract one or more regions of interest from the target image (S200).
단계 200에서 전자 장치는 사용자에 의해 기 설정된 위치 정보에 대응되는 영역을 관심 영역으로 추출할 수 있으며, 질의 영상에 특정 영역에 대해 학습된 자동검출모델을 적용하여 특정 영역에 대응되는 영역을 관심 영역으로 추출할 수도 있다. 단계 200은 기 선정된 영역에 대응되는 하나 이상의 학습데이터로 학습된 심층신경망 기반의 컨볼루셔널 뉴럴 네트워크 모델을 이용하여 이루어질 수 있으며, 관심 영역은 골절 빈도, 검출 난이도 또는 미 검출 시 후유증 정도 중 적어도 하나 이상을 기초로 선정된 영역일 수 있다. 만약, 대상 영상이 손목 영상인 경우, 관심 영역은 요골, 철골, 주상골 중 적어도 하나에 대응되는 일 영역일 수 있다.In step 200, the electronic device can extract the region corresponding to the location information preset by the user as the region of interest, and apply the automatic detection model learned for the specific region to the query image to determine the region corresponding to the specific region as the region of interest. can also be extracted. Step 200 may be performed using a deep neural network-based convolutional neural network model trained with one or more learning data corresponding to a pre-selected region, and the region of interest is at least one of the frequency of fractures, the difficulty of detection, or the degree of sequelae when not detected. It may be an area selected based on one or more factors. If the target image is a wrist image, the region of interest may be a region corresponding to at least one of the radial bone, the steel bone, and the navicular bone.
다음으로 전자 장치는 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 대상 영상 또는 관심 영역의 이상 상태를 분류할 수 있다(S300). 본 단계에서 대상 영상 또는 관심 영역의 이상 상태에 대응되는 분류값이 산출될 수 있는데, 분류값은 대상 영상 또는 관심 영역을 심층신경망 기계학습모델에 적용하여 산출된 값으로, 심층신경망에 포함된 레이어의 입력 값, 출력 값, 또는 상기 입력 값 또는 상기 출력 값을 이용하여 연산된 연산 값 중 적어도 하나를 포함할 수 있다. Next, the electronic device may classify the abnormal state of the target image or the region of interest by using the machine learning model learned from the normal determination data and the abnormal determination data corresponding to the region of interest as learning data (S300). In this step, a classification value corresponding to the abnormal state of the target image or region of interest may be calculated. The classification value is a value calculated by applying the target image or region of interest to a deep neural network machine learning model, which is a layer included in the deep neural network. It may include at least one of an input value, an output value, or a calculation value calculated using the input value or the output value.
다음으로 전자 장치는 대상 영상 또는 관심 영역에서 이상 부위를 분할할 수 있다(S400). 분할(segmentation)은 대상 영상 또는 관심 영역의 각 픽셀이 어느 클래스에 속하는지 예측하는 것을 의미한다. 즉, 본 단계에서 전자 장치는 이상 부위의 픽셀 별 이상 확률값을 산출할 수 있다. 도면에 도시된 바와 같이, 단계 300과 단계 400은 동시에 진행될 수 있으며, 물론 사용자 설정에 따라 순차적으로 처리될 수도 있으나 전후 순서에 특별히 종속되지 않는다. Next, the electronic device may segment the abnormal part in the target image or region of interest (S400). Segmentation means predicting to which class each pixel of a target image or region of interest belongs. That is, in this step, the electronic device may calculate an abnormal probability value for each pixel of the abnormal part. As shown in the figure, steps 300 and 400 may be performed concurrently or may be sequentially processed according to user settings, but are not particularly dependent on the preceding order.
전자 장치는 단계 300에서 산출된 대상 영상 또는 관심 영역의 이상 상태에 대응되는 분류값과, 단계 400에서 산출된 이상 부위의 픽셀 별 이상21 확률값을 이용하여 대상 영상 또는 관심 영역의 이상 상태를 최종적으로 판단할 수 있다(S500). The electronic device finally determines the abnormal state of the target image or region of interest by using the classification value corresponding to the abnormal state of the target image or region of interest calculated in step 300 and the abnormality 21 probability value for each pixel of the abnormal region calculated in step 400. It can be judged (S500).
보다 구체적으로 단계 500을 설명하면 다음과 같다. More specifically, step 500 is described as follows.
단계 500에서 전자 장치는 상기 분류값과 상기 이상 확률값을 기 학습된 통합 분석 모델에 적용하여 상기 관심 영역의 이상 상태를 판단할 수 있는데, 통합 분석 모델은 복수의 학습 영상의 이상 상태에 대응되는 분류값과 이상 부위 내 픽셀 별 이상 확률값을 학습데이터로 하여 학습된 신경망 또는 회귀 모델일 수 있다. In step 500, the electronic device may determine the abnormal state of the region of interest by applying the classification value and the abnormal probability value to a pre-learned integrated analysis model. It may be a neural network or a regression model learned using values and anomaly probability values for each pixel in the anomaly area as learning data.
단계 500의 또 다른 실시 예로 도 5를 참조하면, 전자 장치는 상기 이상 확률값이 기 설정된 제1 임계치를 초과하는 픽셀의 수를 카운트하고(S510), 상기 픽셀의 수가 상기 대상 영상 또는 상기 관심 영역에서 차지하는 비율을 산출하고(S530), 상기 산출된 비율과 상기 분류값 중 어느 하나가 기 설정된 제2 임계치를 넘어가면 상기 대상 영상 또는 상기 관심 영역에 이상 부위가 존재하는 것으로 판단할 수 있다(S550). 나아가 전자 장치는 분류값에 따라 제1 임계치를 조정할 수도 있다. 예를 들어, 분류값이 대상 영상 또는 관심 영상에 이상 부위가 존재하는 것에 대응되는 값인 경우, 전자 장치는 자동으로 제1 임계치를 높이거나 낮추는 방식으로 판단 결과를 조정할 수 있으며, 이를 통해 전자 장치는 대상 영상에 이상 부위가 존재하는지에 대한 분석의 정확도를 더 높일 수 있다. Referring to FIG. 5 as another example of step 500, the electronic device counts the number of pixels for which the abnormality probability value exceeds a preset first threshold (S510), and the number of pixels in the target image or the region of interest After calculating the ratio (S530), and if any one of the calculated ratio and the classification value exceeds a preset second threshold, it can be determined that an abnormal part exists in the target image or the region of interest (S550). . Furthermore, the electronic device may adjust the first threshold according to the classification value. For example, when the classification value is a value corresponding to the presence of an abnormal region in the target image or the image of interest, the electronic device may automatically increase or decrease the first threshold to adjust the determination result, through which the electronic device It is possible to further increase the accuracy of the analysis of whether an abnormal part exists in the target image.
단계 500의 또 다른 실시 예로 도 6을 참조하면, 전자 장치는 상기 이상 확률값이 기 설정된 제1 임계치를 초과하는 픽셀의 수를 카운트하고(S520), 상기 픽셀의 이상 확률값을 기 설정된 함수에 적용하여 연산을 수행할 수 있다(S540). 예를 들어, 임계치를 초과하는 픽셀의 이상 확률값의 평균을 산출하거나, 중앙값을 산출하는 등, 사용자 설정에 따라 다양한 함수가 사용될 수 있다. 전자 장치는 산출된 결과값을 이용하여 상기 대상 영상 또는 상기 관심 영역의 이상 상태를 판단할 수 있다. 예를 들어, 전자 장치는 임계치를 초과하는 픽셀의 이상 확률값의 평균을 산출하고, 평균 값이 기 설정된 제3 임계치를 넘어가면 대상 영상 또는 관심 영역에 이상 부위가 존재하는 것으로 판단할 수 있다(S560).Referring to FIG. 6 as another example of step 500, the electronic device counts the number of pixels whose abnormal probability value exceeds a preset first threshold (S520), applies the abnormal probability value of the pixels to a preset function, and Calculation may be performed (S540). For example, various functions may be used according to user settings, such as calculating an average of abnormal probability values of pixels exceeding a threshold value or calculating a median value. The electronic device may determine an abnormal state of the target image or the region of interest using the calculated result value. For example, the electronic device may calculate an average of abnormal probability values of pixels exceeding a threshold value, and if the average value exceeds a preset third threshold value, it may be determined that an abnormal region exists in the target image or region of interest (S560). ).
단계 500의 또 다른 실시 예로 도 6을 참조하면, 전자 장치는 상기 분류값에 따라 상기 이상 확률값의 활용 여부를 결정할 수 있고(S501), 상기 이상 확률값을 활용하는 것으로 결정되면, 기 설정된 확률값을 갖는 픽셀을 이용하여 상기 관심 영역의 이상 상태를 판단할 수 있다(S503). Referring to FIG. 6 as another embodiment of step 500, the electronic device may determine whether to use the abnormal probability value according to the classification value (S501), and if it is determined to use the abnormal probability value, having a preset probability value An abnormal state of the region of interest may be determined using pixels (S503).
한편, 다시 도 4를 참조하면, 전자 장치는 이상 확률값에 대응되는 색상 또는 이미지를 상기 대상 영상에 표시하는 단계 600을 더 포함할 수 있으며, 이 경우 도 3에 도시된 바와 같이 이상 확률값에 따라 이상 부위를 시각화 할 수 있다. Meanwhile, referring to FIG. 4 again, the electronic device may further include step 600 of displaying a color or image corresponding to the abnormality probability value on the target image. In this case, as shown in FIG. area can be visualized.
또한 전자 장치는 단계 700에서 단계 300 내지 500에서 산출된 결과 중 적어도 하나를 출력할 수 있는데, 단계 300에서 산출된 분류값, 단계 400에서 산출된 픽셀 별 이상 확률값, 또는 이상 확률 값을 연산하여 산출된 대푯값, 단계 500에서 산출된 대상 영상 또는 관심 영역의 이상 부위 포함 여부에 대한 결과값이 결과로 출력될 수 있다. In addition, in step 700, the electronic device may output at least one of the results calculated in steps 300 to 500, which is calculated by calculating the classification value calculated in step 300, the odds probability value for each pixel calculated in step 400, or the odds probability value. The representative value calculated in step 500 and a resultant value of whether the target image or region of interest includes an abnormal part may be output as a result.
전술한 실시 예에 따른 의료 영상 분석 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.The medical image analysis method according to the above-described embodiment may be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.
본 명세서에서 생략된 일부 실시 예는 그 실시 주체가 동일한 경우 동일하게 적용 가능하다. 또한, 전술한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.Some embodiments omitted in this specification are equally applicable when the subject of the implementation is the same. In addition, since the above-described present invention is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention to those skilled in the art in the technical field to which the present invention belongs, the above-described embodiments and the appended It is not limited by drawings.
100: 의료 영상 분석 장치
110: 입력부
120: 학습부
130: 관심영역 추출부
150: 이상 분류부
160: 이상 부위 검출부
170: 통합분석부
190: 출력부100: medical image analysis device
110: input unit
120: learning unit
130: region of interest extraction unit
150: anomaly classification unit
160: abnormal part detection unit
170: integrated analysis unit
190: output unit
Claims (14)
이상 부위를 검출하고자 하는 대상 영상을 입력받는 a 단계;
상기 대상 영상에서 관심 영역을 추출하는 b 단계;
상기 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 상기 관심 영역의 이상 상태를 분류하는 c 단계;
상기 관심 영역에서 이상 부위를 분할(segmentation)하는 d 단계;
상기 c 단계에서 산출된 상기 이상 상태에 대응되는 분류값과 상기 d 단계에서 산출된 상기 이상 부위의 픽셀 별 이상 확률값을 이용하여 상기 대상 영상 또는 상기 관심 영역의 이상 상태를 판단하는 e 단계를 포함하는 의료 영상 분석 방법.
A method in which an analysis device analyzes a medical image,
step a of receiving a target image to detect an abnormal part;
b) extracting a region of interest from the target image;
c) classifying an abnormal state of the region of interest by using a machine learning model learned from the normal determination data and the abnormal determination data corresponding to the region of interest as learning data;
step d of segmenting the abnormal region in the ROI;
and an e step of determining an abnormal state of the target image or the region of interest using the classification value corresponding to the abnormal state calculated in step c and the abnormal probability value for each pixel of the abnormal region calculated in step d. Medical image analysis method.
상기 분류값은 상기 관심 영역을 심층신경망 기계학습모델에 적용하여 산출된 값으로, 상기 심층신경망에 포함된 레이어의 입력 값, 출력 값, 또는 상기 입력 값 또는 상기 출력 값을 이용하여 연산된 연산 값 중 적어도 하나를 포함하는 의료 영상 분석 방법.
According to claim 1,
The classification value is a value calculated by applying the region of interest to a deep neural network machine learning model, and is an input value or output value of a layer included in the deep neural network, or an operation value calculated using the input value or the output value. A medical image analysis method comprising at least one of
상기 e 단계는
상기 분류값과 상기 이상 확률값을 기 학습된 통합 분석 모델에 적용하여 상기 관심 영역의 이상 상태를 판단하며,
상기 통합 분석 모델은 복수의 학습 영상의 이상 상태에 대응되는 분류값과 이상 부위 내 픽셀 별 이상 확률값을 학습데이터로 하여 학습된 신경망 또는 회귀 모델인 의료 영상 분석 방법.
According to claim 1,
The step e is
determining an abnormal state of the region of interest by applying the classification value and the abnormal probability value to a pre-learned integrated analysis model;
The integrated analysis model is a neural network or regression model trained using classification values corresponding to abnormal states of a plurality of training images and abnormal probability values for each pixel in an abnormal region as training data.
상기 e 단계는
상기 이상 확률값이 기 설정된 제1 임계치를 초과하는 픽셀의 수를 카운트하는 단계;
상기 픽셀의 수가 상기 대상 영상 또는 상기 관심 영역에서 차지하는 비율을 산출하는 단계;
상기 산출된 비율과 상기 분류값 중 어느 하나가 기 설정된 제2 임계치를 넘어가면 상기 대상 영상 또는 상기 관심 영역에 이상 부위가 존재하는 것으로 판단하는 단계를 포함하는 의료 영상 분석 방법.
According to claim 1,
The step e is
counting the number of pixels for which the oddity probability value exceeds a preset first threshold value;
calculating a ratio occupied by the number of pixels in the target image or the region of interest;
and determining that an abnormal region exists in the target image or the region of interest when either one of the calculated ratio and the classification value exceeds a preset second threshold.
상기 e 단계는
상기 이상 확률값이 기 설정된 제1 임계치를 초과하는 픽셀의 수를 카운트하는 단계;
상기 픽셀의 이상 확률값을 기 설정된 함수에 적용하여 산출된 결과값을 이용하여 상기 대상 영상 또는 상기 관심 영역의 이상 상태를 판단하는 단계를 포함하는 의료 영상 분석 방법.
According to claim 1,
The step e is
counting the number of pixels for which the oddity probability value exceeds a preset first threshold value;
and determining an abnormal state of the target image or the region of interest using a result value calculated by applying an abnormality probability value of the pixel to a predetermined function.
상기 분류값에 따라 상기 제1 임계치를 조정하는 단계를 더 포함하는 의료 영상 분석 방법.
According to claim 4,
The medical image analysis method further comprising adjusting the first threshold according to the classification value.
상기 e 단계는
상기 분류값에 따라 상기 이상 확률값의 활용 여부를 결정하는 단계;
상기 이상 확률값을 활용하는 것으로 결정되면, 기 설정된 확률값을 갖는 픽셀을 이용하여 상기 관심 영역의 이상 상태를 판단하는 단계를 포함하는 의료 영상 분석 방법.
According to claim 1,
The step e is
determining whether to utilize the abnormal probability value according to the classification value;
and determining an abnormal state of the ROI using a pixel having a predetermined probability value when it is determined that the abnormal probability value is used.
상기 관심 영역은
골절 빈도, 검출 난이도 또는 미 검출 시 후유증 정도 중 적어도 하나 이상을 기초로 선정된 영역인 의료 영상 분석 방법.
According to claim 1,
The area of interest is
A medical image analysis method that is a region selected based on at least one of fracture frequency, detection difficulty, or degree of sequelae when not detected.
상기 관심 영역을 추출하는 단계는
상기 기 선정된 영역에 대응되는 하나 이상의 학습데이터로 학습된 심층신경망 기반의 컨볼루셔널 뉴럴 네트워크 모델을 이용하여 상기 관심 영역을 추출하는 단계를 포함하는 의료 영상 분석 방법.
According to claim 8
Extracting the region of interest
and extracting the region of interest using a convolutional neural network model based on a deep neural network learned with one or more training data corresponding to the previously selected region.
상기 대상 영상이 손목 영상인 경우,
상기 관심 영역은 요골, 철골, 주상골 중 적어도 하나에 대응되는 일 영역인 의료 영상 분석 방법.
According to claim 1,
If the target image is a wrist image,
The region of interest is a region corresponding to at least one of a radius, a steel bone, and a navicular bone.
상기 이상 확률값에 대응되는 색상 또는 이미지를 상기 대상 영상에 표시하는 단계를 더 포함하는 의료 영상 분석 방법.
According to claim 1,
The medical image analysis method further comprising displaying a color or image corresponding to the abnormal probability value on the target image.
상기 c 단계 내지 e 단계에서 산출된 결과 중 적어도 하나를 출력하는 단계를 더 포함하는 의료 영상 분석 방법.
According to claim 1,
The medical image analysis method further comprising outputting at least one of the results calculated in steps c to e.
이상 부위를 검출하고자 하는 대상 영상을 입력받는 입력부;
상기 대상 영상에서 관심 영역을 추출하는 관심 영역 추출부;
상기 관심 영역에 대응되는 정상 판별 데이터와 이상 판별 데이터를 학습 데이터로 학습된 기계학습모델을 이용하여, 상기 관심 영역 내에 이상 부위가 존재하는지 여부를 분류하는 이상 분류부;
상기 관심 영역에서 이상 부위를 분할(segmentation)하는 이상 부위 검출부;
상기 이상 분류부에서 산출된 이상 부위 존재 여부에 대응되는 분류값과 상기 이상 부위 검출부에서 산출된 상기 이상 부위의 픽셀 별 이상 확률값을 이용하여 상기 관심 영역의 이상 상태를 판단하는 통합분석부를 포함하는 의료 영상 분석 장치.
An apparatus for analyzing medical images,
an input unit that receives a target image to detect an abnormal part;
a region of interest extractor extracting a region of interest from the target image;
an abnormality classification unit that classifies whether or not there is an abnormal region in the region of interest by using a machine learning model learned from normal determination data and abnormality determination data corresponding to the region of interest as learning data;
an abnormal region detection unit configured to segment an abnormal region in the region of interest;
Medical treatment including an integrated analysis unit that determines the abnormal state of the region of interest by using the classification value corresponding to the presence or absence of the abnormal region calculated by the abnormal region classification unit and the abnormal probability value for each pixel of the abnormal region calculated by the abnormal region detection unit video analysis device.
A medical image analysis program stored in a computer readable medium to execute any one of the methods of claims 1 to 12.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210071916A KR102600401B1 (en) | 2021-06-03 | 2021-06-03 | Apparatus, method and computer program for anayzing medical image using classification and segmentation |
KR1020230151530A KR20230157276A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing musculoskeletal medical image using classification and segmentation |
KR1020230151531A KR20230157277A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing brain medical image using classification and segmentation |
KR1020230151532A KR20230155416A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing musculoskeletal medical image using classification and segmentation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210071916A KR102600401B1 (en) | 2021-06-03 | 2021-06-03 | Apparatus, method and computer program for anayzing medical image using classification and segmentation |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020230151531A Division KR20230157277A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing brain medical image using classification and segmentation |
KR1020230151532A Division KR20230155416A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing musculoskeletal medical image using classification and segmentation |
KR1020230151530A Division KR20230157276A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing musculoskeletal medical image using classification and segmentation |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220164097A true KR20220164097A (en) | 2022-12-13 |
KR102600401B1 KR102600401B1 (en) | 2023-11-10 |
Family
ID=84439109
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210071916A KR102600401B1 (en) | 2021-06-03 | 2021-06-03 | Apparatus, method and computer program for anayzing medical image using classification and segmentation |
KR1020230151531A KR20230157277A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing brain medical image using classification and segmentation |
KR1020230151532A KR20230155416A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing musculoskeletal medical image using classification and segmentation |
KR1020230151530A KR20230157276A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing musculoskeletal medical image using classification and segmentation |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020230151531A KR20230157277A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing brain medical image using classification and segmentation |
KR1020230151532A KR20230155416A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing musculoskeletal medical image using classification and segmentation |
KR1020230151530A KR20230157276A (en) | 2021-06-03 | 2023-11-06 | Apparatus, method and computer program for anayzing musculoskeletal medical image using classification and segmentation |
Country Status (1)
Country | Link |
---|---|
KR (4) | KR102600401B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372791A (en) * | 2023-12-08 | 2024-01-09 | 齐鲁空天信息研究院 | Fine grain directional damage area detection method, device and storage medium |
KR102630064B1 (en) * | 2023-07-20 | 2024-01-29 | (주)해우기술 | Ai-based tuberculosis classification system and the method of thereof |
CN117593591A (en) * | 2024-01-16 | 2024-02-23 | 天津医科大学总医院 | Tongue picture classification method based on medical image segmentation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180064863A (en) * | 2016-12-06 | 2018-06-15 | 부산대학교 산학협력단 | SMI automatic analysis method of hand-wrist radiation images using deep learning |
WO2019215637A1 (en) * | 2018-05-08 | 2019-11-14 | Università Degli Studi Di Torino | Tumoral mass detection system based on magnetic resonance imaging |
WO2020026349A1 (en) * | 2018-07-31 | 2020-02-06 | オリンパス株式会社 | Diagnostic imaging assistance system and diagnostic imaging assistance device |
KR20210000542A (en) * | 2019-06-25 | 2021-01-05 | 서울여자대학교 산학협력단 | Method and apparatus for segmentation of specific cartilage in medical image |
-
2021
- 2021-06-03 KR KR1020210071916A patent/KR102600401B1/en active IP Right Grant
-
2023
- 2023-11-06 KR KR1020230151531A patent/KR20230157277A/en active Application Filing
- 2023-11-06 KR KR1020230151532A patent/KR20230155416A/en active Application Filing
- 2023-11-06 KR KR1020230151530A patent/KR20230157276A/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180064863A (en) * | 2016-12-06 | 2018-06-15 | 부산대학교 산학협력단 | SMI automatic analysis method of hand-wrist radiation images using deep learning |
WO2019215637A1 (en) * | 2018-05-08 | 2019-11-14 | Università Degli Studi Di Torino | Tumoral mass detection system based on magnetic resonance imaging |
WO2020026349A1 (en) * | 2018-07-31 | 2020-02-06 | オリンパス株式会社 | Diagnostic imaging assistance system and diagnostic imaging assistance device |
KR20210000542A (en) * | 2019-06-25 | 2021-01-05 | 서울여자대학교 산학협력단 | Method and apparatus for segmentation of specific cartilage in medical image |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102630064B1 (en) * | 2023-07-20 | 2024-01-29 | (주)해우기술 | Ai-based tuberculosis classification system and the method of thereof |
CN117372791A (en) * | 2023-12-08 | 2024-01-09 | 齐鲁空天信息研究院 | Fine grain directional damage area detection method, device and storage medium |
CN117372791B (en) * | 2023-12-08 | 2024-03-22 | 齐鲁空天信息研究院 | Fine grain directional damage area detection method, device and storage medium |
CN117593591A (en) * | 2024-01-16 | 2024-02-23 | 天津医科大学总医院 | Tongue picture classification method based on medical image segmentation |
CN117593591B (en) * | 2024-01-16 | 2024-05-31 | 天津医科大学总医院 | Tongue picture classification method based on medical image segmentation |
Also Published As
Publication number | Publication date |
---|---|
KR20230157276A (en) | 2023-11-16 |
KR102600401B1 (en) | 2023-11-10 |
KR20230155416A (en) | 2023-11-10 |
KR20230157277A (en) | 2023-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11551433B2 (en) | Apparatus, method and computer program for analyzing image | |
KR102600401B1 (en) | Apparatus, method and computer program for anayzing medical image using classification and segmentation | |
US11275976B2 (en) | Medical image assessment with classification uncertainty | |
US20210219944A1 (en) | Systems and Media for Automatically Diagnosing Thyroid Nodules | |
Li et al. | Attention-guided convolutional neural network for detecting pneumonia on chest x-rays | |
US11321841B2 (en) | Image analysis method, image analysis device, image analysis system, and storage medium | |
KR102045223B1 (en) | Apparatus, method and computer program for analyzing bone age | |
US20220301159A1 (en) | Artificial intelligence-based colonoscopic image diagnosis assisting system and method | |
CN112365973B (en) | Pulmonary nodule auxiliary diagnosis system based on countermeasure network and fast R-CNN | |
US20220207730A1 (en) | Systems and Methods for Automated Image Analysis | |
US20230206435A1 (en) | Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate | |
KR102360615B1 (en) | Medical image diagnosis assistance apparatus and method using a plurality of medical image diagnosis algorithm for endoscope images | |
US12094113B2 (en) | Artificial intelligence-based gastroscopic image diagnosis assisting system and method | |
CN111028940B (en) | Multi-scale lung nodule detection method, device, equipment and medium | |
JP2006325640A (en) | Method of displaying abnormal shadow candidate and medical image processing system | |
JP7531648B2 (en) | Medical image analysis method | |
Cazzolato et al. | dp-breath: Heat maps and probabilistic classification assisting the analysis of abnormal lung regions | |
US20230052145A1 (en) | Explaining a model output of a trained model | |
JP2024507290A (en) | Method and system for breast ultrasonic image diagnosis using weakly-supervised deep learning artificial intelligence ial intelligence} | |
KR20230099995A (en) | Method for providing information of diagnosing cervical cancer and device for providing information diagnosing cervical cancer using the same | |
Liu et al. | A locating model for pulmonary tuberculosis diagnosis in radiographs | |
KR102270669B1 (en) | An image receiving device that calculates an image including a plurality of lesions using artificial intelligence | |
KR102651589B1 (en) | Disease prognosis integrated prediction method, device and computer program Using mage and non-image data | |
US11521321B1 (en) | Monitoring computed tomography (CT) scan image | |
KR102262684B1 (en) | Image Processing Method based on Artificial Intelligence of Image Receiving Device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |