KR20220086128A - 의료 영상 기반 질환 중증도 결정 장치 및 방법 - Google Patents
의료 영상 기반 질환 중증도 결정 장치 및 방법 Download PDFInfo
- Publication number
- KR20220086128A KR20220086128A KR1020200176280A KR20200176280A KR20220086128A KR 20220086128 A KR20220086128 A KR 20220086128A KR 1020200176280 A KR1020200176280 A KR 1020200176280A KR 20200176280 A KR20200176280 A KR 20200176280A KR 20220086128 A KR20220086128 A KR 20220086128A
- Authority
- KR
- South Korea
- Prior art keywords
- severity
- disease
- region
- medical image
- target region
- Prior art date
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 105
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013145 classification model Methods 0.000 claims abstract description 27
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 20
- 206010061218 Inflammation Diseases 0.000 description 15
- 230000004054 inflammatory process Effects 0.000 description 15
- 210000001180 ethmoid sinus Anatomy 0.000 description 14
- 210000004086 maxillary sinus Anatomy 0.000 description 14
- 210000003718 sphenoid sinus Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 210000001214 frontal sinus Anatomy 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 201000009890 sinusitis Diseases 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010046996 Varicose vein Diseases 0.000 description 1
- 210000004100 adrenal gland Anatomy 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 210000001672 ovary Anatomy 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 210000002990 parathyroid gland Anatomy 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 210000003635 pituitary gland Anatomy 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000001550 testis Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
- 210000003708 urethra Anatomy 0.000 description 1
- 210000001215 vagina Anatomy 0.000 description 1
- 208000027185 varicose disease Diseases 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G06N3/0427—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Neurosurgery (AREA)
- Dentistry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시예에 따른 의료 영상 기반 질환 중증도 결정 장치 및 방법이 제공된다. 본 발명의 실시예에 의료 영상 기반 질환 중증도 결정 장치는, 데이터를 송수신하도록 구성된 통신부; 및 상기 통신부와 연결하도록 구성된 제어부를 포함하고, 상기 제어부는, 상기 통신부를 통해 촬영 장치로부터 피검자의 목적 부위를 서로 다른 방향에서 촬영한 복수의 의료 영상을 획득하고, 상기 복수의 의료 영상을 기초로 상기 목적 부위에 해당하는 영역을 예측하도록 학습된 예측 모델을 이용하여 각 의료 영상으로부터 목적 부위 영역을 예측한 결과 데이터를 획득하고, 상기 결과 데이터를 기초로 상기 목적 부위 영역의 질환 중증도를 분류하도록 학습된 분류 모델을 이용하여 상기 질환 중증도를 결정하도록 구성된다.
Description
본 발명은 의료 영상 기반 질환 중증도 결정 장치 및 방법에 관한 것이다.
일반적으로 병원 진료는 환자가 내원하여 전문의를 만나 진료를 받거나, 질병 진단을 위한 검사를 받고, 전문의로부터 이에 대한 결과를 전달받는 방식으로 이루어진다.
예를 들어, 부비동에 발생되는 부비동염을 진단하기 위해 환자에 대한 엑스레이(x-ray) 검사가 이루어지고, 전문의는 엑스레이 영상을 이용하여 부비동의 혼탁, 공기, 및/또는 액체의 수준 등을 기준으로 부비동염을 진단할 수 있다.
그러나, 엑스레이 영상을 이용하는 경우 전문의가 부비동염을 육안으로 구분하기 어려우므로, 전문의에 따라 영상 판독의 편차가 존재할 수 있으며, 이에 따라 전문의의 신속하고 정확한 질환 진단이 어려울 수 있다.
따라서, 전문의가 환자의 목적 부위에 대한 질환 진단을 신속하고, 정확하게 하기 위한 의료 영상 기반 질환 중증도 결정 장치 및 방법이 요구된다.
이에, 본 발명이 해결하고자 하는 과제는 의료 영상 기반 질환 중증도 결정 장치 및 방법을 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 목적 부위에 대한 질환 진단을 신속하고 정확하게 하기 위한 의료 영상 기반 질환 중증도 결정 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 의료 영상 기반 질환 중증도 결정 장치 및 방법이 제공된다.
본 발명의 실시예에 의료 영상 기반 질환 중증도 결정 장치는, 데이터를 송수신하도록 구성된 통신부; 및 상기 통신부와 연결하도록 구성된 제어부를 포함하고, 상기 제어부는, 상기 통신부를 통해 촬영 장치로부터 피검자의 목적 부위를 서로 다른 방향에서 촬영한 복수의 의료 영상을 획득하고, 상기 복수의 의료 영상을 기초로 상기 목적 부위에 해당하는 영역을 예측하도록 학습된 예측 모델을 이용하여 각 의료 영상으로부터 목적 부위 영역을 예측한 결과 데이터를 획득하고, 상기 결과 데이터를 기초로 상기 목적 부위 영역의 질환 중증도를 분류하도록 학습된 분류 모델을 이용하여 상기 질환 중증도를 결정하도록 구성된다.
본 발명의 실시예에 따른 의료 영상 기반 질환 중증도 결정 장치의 제어부에 의해서 수행되는 의료 영상 기반 질환 중증도 결정 방법은, 촬영 장치로부터 피검자의 목적 부위를 서로 다른 방향에서 촬영한 복수의 의료 영상을 획득하는 단계; 상기 복수의 의료 영상을 기초로 상기 목적 부위에 해당하는 영역을 예측하도록 학습된 예측 모델을 이용하여 각 의료 영상으로부터 목적 부위 영역을 예측한 결과 데이터를 획득하는 단계; 및 상기 결과 데이터를 기초로 상기 목적 부위 영역의 질환 중증도를 분류하도록 학습된 분류 모델을 이용하여 상기 질환 중증도를 결정하는 단계를 포함한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 피검자의 목적 부위를 다시점으로 촬영한 복수의 의료 영상을 기초로 인공신경망을 이용하여 질환 중증도를 결정함으로써, 전문의 등과 같은 의료 전문가가 피검자의 질환을 보다 빠르고 정확하게 진단할 수 있고, 피검자의 질환 진단을 위해 소요되는 시간 및 자원을 최소화할 수 있다.
또한 본 발명은 질환 진단을 위해 인공신경망을 이용함으로써, 질환에 대한 오진단을 최소화하여 진단 결과의 정확성 및 신뢰성을 향상시킬 수 있다.
또한 본 발명은 피검자의 목적 부위에 대한 질환을 조기 진단할 수 있어 질환에 대한 신속하고 적절한 대응이 가능하다.
본 발명에 따른 효과는 이상에서 예시한 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 질환 중증도 결정 시스템을 설명하기 위한 개략도들이다.
도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 3은 본 발명의 실시예에 따라 복수의 인공신경망 모델을 이용하여 목적 부위 영역을 검출하고, 목적 부위 영역의 질환 중증도를 결정하는 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따라 복수의 의료 영상에서 목적 부위를 검출하기 위해 사용되는 예측 모델의 동작을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따라 목적 부위의 질환 중증도를 분류하기 위해 사용되는 분류 모델의 동작을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 전자 장치에서 의료 영상 기반 질환 중증도를 결정하기 위한 방법을 설명하는 흐름도이다.
도 7은 본 발명의 실시예에서 이용된 복수의 인공신경망 모델에 대한 평가 결과를 나타내는 도면들이다.
도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 3은 본 발명의 실시예에 따라 복수의 인공신경망 모델을 이용하여 목적 부위 영역을 검출하고, 목적 부위 영역의 질환 중증도를 결정하는 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따라 복수의 의료 영상에서 목적 부위를 검출하기 위해 사용되는 예측 모델의 동작을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따라 목적 부위의 질환 중증도를 분류하기 위해 사용되는 분류 모델의 동작을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 전자 장치에서 의료 영상 기반 질환 중증도를 결정하기 위한 방법을 설명하는 흐름도이다.
도 7은 본 발명의 실시예에서 이용된 복수의 인공신경망 모델에 대한 평가 결과를 나타내는 도면들이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 질환 중증도 결정 시스템을 설명하기 위한 개략도들이다.
도 1을 참조하면, 질환 중증도 결정 시스템(100)은 피검자의 목적 부위를 서로 다른 방향에서 촬영한 복수의 의료 영상을 이용하여 질환 중증도를 결정하기 위한 시스템으로서, 피검자의 복수의 의료 영상을 촬영하는 촬영 장치(110) 및 촬영 장치(110)로부터 제공된 복수의 의료 영상을 이용하여 질환 중증도를 결정하는 전자 장치(120)를 포함한다.
여기서, 의료 영상은 피검자의 목적 부위를 촬영한 영상으로, 엑스레이(x-ray) 영상 등일 수 있으나, 이에 한정되지 않는다. 목적 부위는 질환의 유무, 및/또는 중증도 등을 예측하고자 하는 피검자의 특정 신체 부위로서, 부비동, 척수, 신장, 입, 입술, 인후, 구강, 비강, 소장, 결장, 부갑상선, 담낭, 두경부, 유방, 골, 담관, 자궁경부, 심장, 하인두선, 폐, 기관지, 간, 피부, 요관, 요도, 고환, 질, 항문, 후두선, 난소, 갑상선, 식도, 비인두선, 뇌하수체, 타액선, 전립선, 췌장, 부신, 림프절, 비장, 뇌, 정맥류, 및/또는 근골격계 등일 수 있으나, 이에 한정되지 않으며, 엑스레이 촬영 장치 등에 의해서 영상으로 획득될 수 있는 다양한 부위일 수 있다. 제시된 실시예에서는 목적 부위를 부비동으로 설명하도록 한다.
먼저, 촬영 장치(110)는 피검자의 목적 부위를 서로 다른 방향으로 촬영한 복수의 의료 영상을 제공하기 위한 엑스레이 장치일 수 있다. 예를 들어, 서로 다른 방향은 목적 부위의 전면, 측면, 및/또는 후면 등을 촬영하기 위한 다시점 방향일 수 있으나, 이에 한정되지 않는다.
다음으로, 전자 장치(120)는 촬영 장치(110)로부터 복수의 의료 영상을 획득하고, 복수의 의료 영상을 기반하여 목적 부위의 질환 중증도를 결정하기 위한 태블릿 PC, 노트북 및/또는 PC 등 중 적어도 하나일 수 있다.
구체적으로, 전자 장치(120)는 복수의 의료 영상을 기초로 목적 부위에 해당하는 영역(이하, '목적 부위 영역'이라 함)을 검출하고, 검출된 목적 부위 영역을 기초로 질환 중증도를 결정할 수 있다.
이와 같이 복수의 의료 영상을 기초로 목적 부위 영역을 검출하고, 검출된 목적 부위 영역을 기초로 질환 중증도를 결정하기 위해 전자 장치(120)는 인공신경망 모델을 이용할 수 있다. 구체적으로, 전자 장치(120)는 복수의 의료 영상을 기반하여 목적 부위 영역을 검출하도록 학습된 제1 인공신경망 모델, 및 제1 인공신경망 모델을 통해서 검출된 목적 부위 영역에 기반하여 질환 중증도를 결정하도록 학습된 제2 인공신경망 모델을 이용할 수 있다.
제시된 실시예에서는 촬영 장치(110) 및 전자 장치(120)가 각각의 장치로서 구현된 경우를 설명하였으나, 이에 한정되지 않으며, 촬영 장치(110) 및 전자 장치(120)는 하나의 장치로서 구현될 수도 있다.
하기에서는 도 2를 참조하여 전자 장치(120)에 대해서 보다 구체적으로 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 2를 참조하면, 전자 장치(200)는 통신부(210), 저장부(220), 표시부(230), 및 제어부(240)를 포함한다. 다양한 실시예에서 표시부(230)는 선택적으로 구비될 수 있다. 제시된 실시예에서 전자 장치(200)는 도 1의 전자 장치(120)를 의미할 수 있다.
통신부(210)는 전자 장치(200)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(210)는 유/무선 통신을 이용하여 촬영 장치(110)와 연결되어 질환 중증도를 결정하기 위한 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부(210)는 촬영 장치(110)로부터 복수의 의료 영상을 수신할 수 있다.
저장부(220)는 복수의 의료 영상에 기반하여 질환 중증도를 결정하기 위해 사용되는 다양한 데이터를 저장할 수 있다.
다양한 실시예에서 저장부(220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 전자 장치(200)는 인터넷(internet)상에서 상기 저장부(220)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
표시부(230)는 사용자에게 각종 콘텐츠를 표시할 수 있다. 예를 들어, 표시부(230)는 복수의 의료 영상을 표시하거나, 결정된 질환 중증도에 대한 정보를 표시할 수 있다.
다양한 실시예에서 표시부(230)는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접, 드래그(drag), 스와이프(swipe) 또는 호버링(hovering) 입력 등을 수신할 수 있다.
제어부(240)는 통신부(210), 저장부(220), 및 표시부(230)와 동작 가능하게 연결되며, 의료 영상 기반 질환 중증도를 결정하기 위한 다양한 명령들을 수행할 수 있다.
제어부(240)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 어플리케이션 프로세서(AP), 디지털 신호 처리 장치(DSP), 산술 논리 연산 장치(ALU) 및 인공신경망 프로세서(NPU) 중 적어도 하나를 포함하도록 구성될 수 있다.
구체적으로, 제어부(240)는 통신부(210)를 통해 촬영 장치(110)로부터 복수의 의료 영상을 획득하고, 복수의 의료 영상을 기초로 피험자의 목적 부위 영역을 예측(또는 인식)하도록 학습된 예측 모델을 이용하여 각 의료 영상으로부터 목적 부위 영역을 예측한 결과 데이터를 획득할 수 있다. 제어부(240)는 획득된 결과 데이터를 기초로 목적 부위의 질환 중증도를 분류하도록 학습된 분류 모델을 이용하여 질환 중증도를 분류한 결과 데이터를 획득할 수 있다.
하기에서는 상술한 제어부(240)의 동작에 대해서 도 3 내지 도 5를 참조하여 구체적으로 설명하도록 한다.
도 3은 본 발명의 실시예에 따라 복수의 인공신경망 모델을 이용하여 목적 부위 영역을 검출하고, 목적 부위 영역의 질환 중증도를 결정하는 방법을 설명하기 위한 예시도이다. 제시된 실시예에서 후술하는 동작들은 도 2의 제어부(240)에 의해서 수행될 수 있다.
도 3은 참조하면, 제어부(240)는 복수의 의료 영상(300)을 입력으로 목적 부위 영역을 예측하도록 학습된 예측 모델(305)을 이용하여 복수의 의료 영상(300)으로부터 목적 부위 영역을 예측한 결과 데이터인 예측 결과 데이터(320)를 획득할 수 있다. 여기서, 복수의 의료 영상(300)은 피검자 얼굴의 전면을 촬영한 제1 의료 영상(302), 피검자 얼굴의 후면을 촬영한 제2 의료 영상(304) 및 피검자 얼굴의 측면을 촬영한 제3 의료 영상(306)을 포함할 수 있다.
예측 모델(310)은 복수의 의료 영상(300)을 기초로 목적 부위 영역을 예측하도록 학습된 인공신경망 모델일 수 있다.
구체적으로, 예측 모델(310)은 복수의 참조 영상을 미리 학습하고, 새롭게 입력되는 복수의 의료 영상(300)으로부터 목적 부위 영역을 예측하도록 구성된 인공신경망 모델일 수 있다. 여기서, 복수의 참조 영상은 다양한 피검자의 목적 부위를 서로 다른 복수의 시점으로 촬영한 의료 영상일 수 있으나, 이에 한정되지 않는다. 예를 들어, 참조 영상은 질환이 발생하지 않은 목적 부위 및 질환이 발생된 목적 부위 등을 촬영한 의료 영상일 수 있다.
이러한 예측 모델(310)은 미리 학습된 합성곱 신경망(CNN: Convolutional Neural Network)일 수 있으나, 이에 한정되지 않는다. 미리 학습된 합성곱 신경망은 입력된 입력 값에 대해 합성곱(convolution) 연산들을 수행하는 하나 이상의 계층들로 구성될 수 있으며, 입력값으로부터 합성곱 연산을 수행하여 출력값을 추론할 수 있다. 예를 들어, 미리 학습된 합성곱 신경망은 백본 네트워크(backbone network) 및 2개의 서브 네트워크(subnetwork)를 포함하는 레티나 신경망(RetinaNet)일 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서 예측 모델(310)을 학습하기 위해 전체 참조 영상 중 85%의 참조 영상이 학습을 위해 사용되고, 15%의 참조 영상이 검증을 위해 사용될 수 있다. 예측 모델을 학습하기 위해 설정되는 하이퍼 파라미터(Hyper-Parameter)는 한번에 학습할 데이터의 수를 나타내는 배치 크기(batch size), 전체 데이터를 반복적으로 학습하는 횟수를 나타내는 에포크(Epoch), 학습율(Learning rate) 및 입력 영상의 크기를 나타내는 입력 크기(input size) 등을 포함하며, 예를 들어, 최적의 배치 크기는 128개, 최적의 에포크는 200 횟수, 최적의 학습율은 0.0001이며, 최적의 입력 크기는 256 (pixel) x 256 (pixel) 일 수 있으나, 이에 한정되지 않으며, 이러한 하이퍼 파라미터 값들은 학습 성능을 향상시키기 위한 값으로 설정될 수 있다.
하기에서는 도 4를 참조하여 예측 모델(310)의 동작에 대해서 구체적으로 설명하도록 한다.
도 4는 본 발명의 실시예에 따라 복수의 의료 영상에서 목적 부위를 검출하기 위해 사용되는 예측 모델의 동작을 설명하기 위한 예시도이다. 제시된 실시예에서는 의료 영상을 피검자 얼굴의 전면, 측면 및 후면을 촬영한 엑스레이 영상인 것으로 한정하고, 목적 부위를 부비동(2개의 상악동, 2개의 전두동, 2개의 사골동 및 2개의 접형동)으로 한정하여 설명하도록 한다.
도 4를 참조하면, 예측 모델(400)은 의료 영상(410)을 입력으로 하여 목적 부위 영역을 예측하도록 학습된 복수의 인공신경망으로 이루어질 수 있다. 복수의 인공신경망은 제1 인공신경망(420), 제2 인공신경망(430) 및 제3 인공신경망(440)을 포함할 수 있다.
제1 인공신경망(420)은 의료 영상(410)을 입력으로 각 레이어(layer)에 대한 중간 특징 데이터(intermediate feature map)를 생성하는 레스넷(Residual Network, ResNet)일 수 있으나, 이에 한정되지 않는다.
제2 인공신경망(430)은 상위 레이어에서 하위 레이어 순으로 특정 레이어의 중간 특징 데이터와, 다음 레이어의 중간 특징 데이터를 합(merging)하여 각 레이어에 대응하는 특징 데이터를 생성하는 피쳐 피라미드 네트워크(Feature Pyramid Network, FPN)일 수 있으나, 이에 한정되지 않는다. 여기서, 특징 데이터에 대응하는 레이어는 레스넷의 각 레이어를 의미할 수 있다.
제3 인공신경망(440)은 목적 부위를 포함하도록 바운딩 박스(bounding box)를 조정하는 바운딩 박스 회귀(Regression) 서브넷 및 바운딩 박스에 포함된 목적 부위의 종류를 예측(또는 분류)하는 분류 서브넷(classification subnet)을 포함할 수 있다. 이러한 서브넷들은 병렬적으로 구성될 수 있다.
바운딩 박스를 조정하는 동작은 실제 의료 영상에서 목적 부위를 나타내는 그라운드-트루스(ground-truth) 바운딩 박스(즉, 정답)와 예측된(predicated) 바운딩 박스 간의 오프셋(offset)을 이용하여 수행될 수 있다. 여기서, 오프셋은 예측된 바운딩 박스 및 정답에 해당하는 그라운드-트루스 바운딩 박스가 서로 중첩(또는 일치)되는 정도를 의미할 수 있다. 이를 통해서 예측 모델의 성능이 평가될 수 있다.
이러한 예측 모델(400)를 통해서 출력된 예측 결과 데이터(450)는 목적 부위의 예측된 종류(예: 좌/우 상악동, 좌/우 전두동, 좌/우 사골동 및/또는 좌/우 접형동) 및 목적 부위에 대응하는 바운딩 박스를 포함할 수 있다. 다양한 실시예에서 예측 결과 데이터(450)는 예측된 종류에 대한 점수를 더 포함할 수 있다. 예를 들어, 예측 결과 데이터(450)는 제1 의료 영상(412)에서 예측된 목적 부위의 종류 및 바운딩 박스를 포함하는 제1 예측 결과 영상(452), 제2 의료 영상(414)에서 예측된 목적 부위의 종류 및 바운딩 박스를 포함하는 제2 예측 결과 영상(454) 및 제3 의료 영상(416)에서 예측된 목적 부위의 종류 및 바운딩 박스를 포함하는 제3 예측 결과 영상(456)을 포함할 수 있다. 여기서, 예측 결과 데이터(450)는 도 3에서 설명한 예측 결과 데이터(320)를 의미할 수 있다.
제어부(240)는 출력된 예측 결과 데이터(450)에 기반하여 의료 영상(410)에서 목적 부위 영역을 크롭(crop)한 크롭 데이터(460)를 생성할 수 있다. 예를 들어, 크롭 데이터(460)는 제1 예측 결과 영상(452)에서 부비동 영역을 크롭한 제1 크롭 영상(462), 제2 예측 결과 영상(454)에서 부비동 영역을 크롭한 제2 크롭 영상(464) 및 제3 예측 결과 영상(456)에서 부비동 영역을 크롭한 제3 크롭 영상(466)을 포함할 수 있다. 다양한 실시예에서 제어부(240)는 크롭 영상의 행(column) x 열(row) 중 더 큰 값을 기준으로 제로 패딩(zero padding)을 수행하여 크롭 영상을 정사각형으로 변환하고, 정사각형의 크롭 영상을 특정 크기의 리사이징(resizing)할 수 있다. 이를 통해서 크롭 영상의 해상도가 개선될 수 있다.
다시 도 3을 참조하면, 제어부(240)는 획득된 예측 결과 데이터(320)를 입력으로 목적 부위 영역의 질환 중증도를 분류하도록 학습된 분류 모델(330)을 이용하여 목적 부위 영역에서 질환 중증도를 분류한 결과 데이터인 분류 결과 데이터(340)를 획득할 수 있다.
분류 모델(330)은 예측 결과 데이터(320)를 기초로 목적 부위 영역의 질환 중증도를 분류하도록 학습된 인공신경망 모델일 수 있다.
구체적으로, 분류 모델(330)은 복수의 참조 영상을 미리 학습하고, 새롭게 입력되는 예측 결과 데이터(320)로부터 질환 중증도를 분류하도록 구성된 인공신경망 모델일 수 있다. 여기서, 복수의 참조 영상은 다양한 의료 영상에서 목적 부위가 크롭된 크롭 영상일 수 있으나, 예를 들어, 참조 영상은 질환을 포함하는 크롭 영상 및 질환을 포함하지 않은 다양한 크롭 영상일 수 있다. 다양한 실시예에서 질환을 포함하는 크롭 영상은 서로 다른 질환 중증도(예: 무증상, 경증, 중증, 및/또는 최중증 등)에 대응하는 크롭 영상일 수 있다. 이러한 중증도는 염증도를 포함하며, 해당 염증도는 의료 영상에 나타난 염증의 크기, 색상, 및/또는 형태 등에 따라 구분될 수 있다. 다양한 실시예서 분류 모델(330)은 참조 영상 뿐만 아니라 분류 정답 데이터(예: 해당 참조 영상의 실제 질환 중증도)를 더 학습할 수 있다.
이러한 분류 모델(330)은 미리 학습된 합성곱 신경망일 수 있으나, 이에 한정되지 않는다. 예를 들어, 미리 학습된 합성곱 신경망은 MVCNN(Multi-view Convolutional Neural Network) 또는 MPCNN(Multi-Planar CNN)일 수 있으나, 이에 한정되지 않는다.
하기에서는 도 5를 참조하여 분류 모델(330)의 동작에 대해서 구체적으로 설명하도록 한다.
도 5는 본 발명의 실시예에 따라 목적 부위의 질환 중증도를 분류하기 위해 사용되는 분류 모델의 동작을 설명하기 위한 예시도이다.
도 5를 참조하면, 분류 모델(500)은 예측 모델(310)을 통해서 출력된 예측 결과 데이터인 크롭 데이터(510)를 입력으로 목적 부위 영역의 질환 중증도를 분류하도록 학습된 복수의 인공신경망으로 이루어질 수 있다. 여기서, 크롭 데이터(510)는 제1 크롭 영상(512), 제2 크롭 영상(514) 및 제3 크롭 영상(516)을 포함할 수 있다.
이러한 복수의 인공신경망은 복수의 합성곱 신경망(예: 제1 합성곱 신경망, 제2 합성곱 신경망, 및 제3 합성곱 신경망)(520), 풀링 계층(pooling layer)(540) 및 제4 합성곱 신경망(560)을 포함할 수 있다.
복수의 합성곱 신경망(520)은 크롭 데이터(510)를 입력으로 하여 특징 데이터(530)를 출력할 수 있다.
구체적으로, 복수의 합성곱 신경망(520)은 제1 크롭 영상(512)을 입력으로 제1 특징 데이터(532)를 출력하는 제1 합성곱 신경망(522), 제2 크롭 영상(514)를 입력으로 제2 특징 데이터(534)를 출력하는 제2 합성곱 신경망(524), 및 제3 크롭 영상(516)를 입력으로 제3 특징 데이터(536)를 출력하는 제3 합성곱 신경망(526)을 포함할 수 있다. 여기서, 합성곱 신경망의 수는 입력되는 입력 영상의 수와 일치할 수 있다.
풀링 계층(540)은 제1 특징 데이터(532), 제2 특징 데이터(534) 및 제3 특징 데이터(536)를 통합(aggregation)하여 하나의 통합 특징 데이터를 생성하는 뷰 풀링 레이어(view-pooling layer)일 수 있으나, 이에 한정되지 않는다.
제4 합성곱 신경망(560)은 통합 특징 데이터를 입력으로 하여 목적 부위 영역의 질환 중증도를 분류하도록 학습된 인공신경망일 수 있다. 목적 부위 영역이 부비동인 경우 목적 부위 영역은 좌측 상악동, 우측 상악동, 좌측 전우동, 우측 전우동, 좌측 사골동, 우측 사골동, 좌측 접형동 및 우측 접형동에 해당하는 영역 중 적어도 하나를 포함할 수 있다.
이러한 제4 합성곱 신경망(560)은 좌측 상악동, 우측 상악동, 좌측 전우동, 우측 전우동, 좌측 사골동, 우측 사골동, 좌측 접형동 및 우측 접형동 중 적어도 하나를 질환 중증도에 해당하는 n개의 레이블(label)로 분류할 수 있다(n>0). 예를 들어, 부비동의 질환이 부비동염인 경우 질환 중증도는 부비동염의 염증도에 해당할 수 있다.
제4 합성곱 신경망(560)을 통해서 출력된 분류 결과 데이터(570)는 목적 부위 영역이 분류된 레이블의 종류를 포함할 수 있다. 예를 들어, n개의 레이블이 염증도 0(예: 무증상), 염증도 1(예: 경증), 염증도 2(예: 중증) 및 염증도 3(예: 최중증)를 포함하는 경우 분류 결과 데이터(570)는 입력된 크롭 데이터(510)에 대응하는 좌측 상악동, 우측 상악동, 좌측 전우동, 우측 전우동, 좌측 사골동, 우측 사골동, 좌측 접형동 및 우측 접형동 중 적어도 하나 각각을 염증도 0, 염증도 1, 염증도 2 및 염증도 3 중 어느 하나로 분류한 결과 데이터일 수 있다. 여기서, 분류 결과 데이터(570)는 도 3에서 설명한 분류 결과 데이터(340)를 의미할 수 있다.
이를 통해서 본 발명은 인공신경망을 이용하여 목적 부위에 대한 진단 중증도를 결정함으로써, 전문의 등과 같은 의료 전문가가 피검자의 질환에 대한 더욱 빠르고 정확한 진단을 할 수 있다.
하기에서는 도 6을 참조하여 전자 장치에서 의료 영상 기반 질환 중증도를 결정하기 위한 방법을 설명하도록 한다.
도 6은 본 발명의 실시예에 따른 전자 장치에서 의료 영상 기반 질환 중증도를 결정하기 위한 방법을 설명하는 흐름도이다. 하기에서 서술하는 동작들은 도 2의 제어부(240)에 의해서 수행될 수 있다.
도 6을 참조하면, 제어부(240)는 피검자의 목적 부위를 서로 다른 시점으로 촬영한 복수의 의료 영상을 획득한다(S600). 여기서, 복수의 의료 영상은 피검자의 목적 부위를 다시점으로 촬영한 엑스레이 영상일 수 있다.
제어부(240)는 복수의 의료 영상을 기초로 목적 부위 영역을 예측하도록 학습된 예측 모델을 이용하여 각 의료 영상으로부터 목적 부위 영역을 예측한 결과 데이터를 획득한다(S610). 목적 부위 영역은 적어도 하나의 서브 영역을 포함할 수 있으며, 예를 들어, 목적 부위 영역이 부비동인 경우 적어도 하나의 서브 영역은 좌측 상악동, 우측 상악동, 좌측 전우동, 우측 전우동, 좌측 사골동, 우측 사골동, 좌측 접형동 및 우측 접형동 중 적어도 하나에 해당하는 영역을 포함할 수 있다.
구체적으로, 제어부(240)는 복수의 의료 영상을 입력으로 하여 예측 모델을 통해 목적 부위 영역의 종류 및 목적 부위 영역에 대응하는 바운딩 박스를 예측하고, 복수의 의료 영상 각각에 대하여 예측된 목적 부위 영역의 종류 및 목적 부위 영역의 바운딩 박스를 나타낸 예측 결과 데이터를 출력할 수 있다. 이때, 목적 부위 영역의 바운딩 박스는 좌측 상악동, 우측 상악동, 좌측 전우동, 우측 전우동, 좌측 사골동, 우측 사골동, 좌측 접형동 및 우측 접형동 중 적어도 하나를 포함하는 바운딩 박스를 포함할 수 있다.
제어부(240)는 획득된 결과 데이터를 기초로 목적 부위 영역의 질환 중증도를 분류하도록 학습된 분류 모델을 이용하여 질환 중증도를 결정한다(S620).
구체적으로, 제어부(240)는 결과 데이터에서 바운딩 박스에 해당하는 목적 부위 영역을 크롭한 복수의 크롭 영상을 생성하고, 생성된 복수의 크롭 영상을 입력으로 하여 분류 모델을 통해 적어도 하나의 서브 영역에 대한 중증도를 분류하고, 분류 결과 데이터를 출력할 수 있다. 예를 들어, 분류 결과 데이터는 좌측 상악동, 우측 상악동, 좌측 전우동, 우측 전우동, 좌측 사골동, 우측 사골동, 좌측 접형동 및 우측 접형동 중 적어도 하나 각각을 염증도 0, 염증도 1, 염증도 2, 염증도 3 중 어느 하나로 분류한 결과 데이터일 수 있다.
제어부(240)는 결정된 질환 중증도에 대한 데이터를 제공한다(S630). 예를 들어, 제어부(240)는 분류 결과 데이터를 나타내는 인터페이스 화면을 표시부(230)를 통해 표시할 수 있다. 이러한 인터페이스 화면은 의료 영상, 의료 영상에서 검출된 목적 부위 영역, 및/또는 해당 목적 부위 영역의 질환 중증도 등을 나타내는 적어도 하나의 그래픽 객체를 포함할 수 있다.
하기에서는 도 7을 참조하여 상술한 '의료 영상 기반 질환 중증도를 결정하기 위해 이용된 복수의 인공신경망 모델'에 대한 평가 결과를 설명하도록 한다.
도 7은 본 발명의 실시예에서 이용된 복수의 인공신경망 모델에 대한 평가 결과를 나타내는 도면들이다.
도 7의 (a)를 참조하면, 질환 중증도 결정을 위해 이용된 예측 모델 및 분류 모델의 정답(true), 및 오답(false)을 정확하게 예측한 비율인 정확도, 모델이 정답이라고 분류한 것 중 실제 정답인 것의 비율인 정밀도 및 실제 정답 중 모델이 정답이라고 예측한 비율인 재현율에 대한 점수를 나타낸 표가 도시된다.
질환 중증도 결정에 대한 정확도 점수는 0.908 ± 0.105로서, 질환 중증도 결정을 위해 사용된 예측 모델 및 분류 모델은 정확도가 매우 높은 것으로 판단될 수 있다.
또한, 질환 중증도 결정에 대한 정밀도 점수는 0.845 ± 0.228로서, 질환 중증도 결정을 위해 사용된 예측 모델 및 분류 모델은 정밀도가 매우 높은 것으로 판단될 수 있다.
한편, 질환 중증도 결정에 대한 재현율 점수는 0.774 ± 0.213으로서, 중증도 결정을 위해 사용된 예측 모델 및 분류 모델은 재현율이 매우 높은 것으로 판단될 수 있다.
도 7의 (b)를 참조하면, 예측 모델 및 분류 모델이 실제 오답 중 정답으로 분류한 비율(False positive rate, FPR) 및 실제 정답 중 정답으로 분류한 비율(True positive rate, TPR)을 나타낸 ROC(Receiver Operating Characteristic) 그래프(700)가 도시된다. 예를 들어, x축은 FRP, y축은 TRP로 나타낼 수 있다.
ROC 그래프(700)는 TPR이 크고, FPR이 작은 커브(curve) 형태를 가지며, y=x 그래프(710)보다 y축 방향으로 상단에 위치한다. 또한, ROC 그래프(700) 아래의 면적값을 나타내는 AUC(Area Under Curve)는 0.885이다. AUC 값이 1에 가까울수록 질환 중증도 분류 능력이 높은 모델일 수 있다. 이에, 예측 모델 및 분류 모델은 질환 중증도 결정에 대한 성능이 우수하다고 평가될 수 있다.
이를 통해서 본 발명은 피험자의 목적 부위를 다시점으로 촬영한 복수의 영상을 기초로 인공신경망을 이용하여 목적 부위의 질환 중증도를 결정함으로써, 질환의 초기 진단이 가능하여 질환에 신속하게 대처할 수 있다.
또한 본 발명은 엑스레이 영상 등과 같이 의료 영상을 이용하여 육안으로 구분하기 어려운 질환에 대한 진단 및 중증도 확인이 가능하다.
또한 본 발명은 진단에 대한 비용을 절감할 수 있고, 진단 및 중증도 확인에 대한 편의성을 높일 수 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 질환 중증도 결정 시스템
110: 촬영 장치
120, 200: 전자 장치
210: 통신부
220: 저장부
230: 표시부
240: 제어부
110: 촬영 장치
120, 200: 전자 장치
210: 통신부
220: 저장부
230: 표시부
240: 제어부
Claims (14)
- 데이터를 송수신하도록 구성된 통신부; 및
상기 통신부와 연결하도록 구성된 제어부를 포함하고,
상기 제어부는,
상기 통신부를 통해 촬영 장치로부터 피검자의 목적 부위를 서로 다른 방향에서 촬영한 복수의 의료 영상을 획득하고,
상기 복수의 의료 영상을 기초로 상기 목적 부위에 해당하는 영역을 예측하도록 학습된 예측 모델을 이용하여 각 의료 영상으로부터 목적 부위 영역을 예측한 결과 데이터를 획득하고,
상기 결과 데이터를 기초로 상기 목적 부위 영역의 질환 중증도를 분류하도록 학습된 분류 모델을 이용하여 상기 질환 중증도를 결정하도록 구성되는, 의료 영상 기반 질환 중증도 결정 장치. - 제1항에 있어서, 상기 복수의 의료 영상은,
상기 피검자의 얼굴을 복수의 시점으로 촬영한 엑스레이(x-ray) 영상인, 의료 영상 기반 질환 중증도 결정 장치. - 제1항에 있어서, 상기 예측 모델은,
상기 복수의 의료 영상 각각을 입력으로 하여 상기 목적 부위 영역의 종류(class) 및 상기 목적 부위 영역에 대응하는 바운딩 박스(bounding box)를 예측하고, 상기 복수의 의료 영상 각각에 상기 예측된 종류 및 바운딩 박스를 나타낸 예측 결과 데이터를 출력하는, 의료 영상 기반 질환 중증도 결정 장치. - 제3항에 있어서, 상기 목적 부위 영역은, 적어도 하나의 서브 영역을 포함하고,
상기 예측 모델은,
상기 적어도 하나의 서브 영역의 종류 및 상기 적어도 하나의 서브 영역에 대응하는 바운딩 박스를 예측하도록 구성되는, 의료 영상 기반 질환 중증도 결정 장치. - 제4항에 있어서, 상기 제어부는,
상기 예측 결과 데이터에서 상기 바운딩 박스를 크롭(crop)한 크롭 영상을 생성하고,
상기 생성된 크롭 영상은, 상기 분류 모델의 입력값으로 입력되는, 의료 영상 기반 질환 중증도 결정 장치. - 제5항에 있어서, 상기 분류 모델은,
복수의 크롭 영상을 입력으로 하여 특징 데이터를 출력하는 복수의 인공신경망, 상기 복수의 인공신경망을 통해서 출력된 특징 데이터를 통합하여 통합 특징 데이터를 출력하는 풀링(pooling) 계층, 및 상기 통합 특징 데이터를 입력으로 하여 상기 질환 중증도를 분류한 분류 결과 데이터를 출력하는 인공신경망을 포함하는, 의료 영상 기반 질환 중증도 결정 장치. - 제6항에 있어서, 상기 분류 결과 데이터는,
상기 적어도 하나의 서브 영역에 대한 질환 중증도를 분류한 결과 데이터인, 의료 영상 기반 질환 중증도 결정 장치. - 의료 영상 기반 질환 중증도 결정 장치의 제어부에 의해서 수행되는 의료 영상 기반 질환 중증도 결정 방법에 있어서,
촬영 장치로부터 피검자의 목적 부위를 서로 다른 방향에서 촬영한 복수의 의료 영상을 획득하는 단계;
상기 복수의 의료 영상을 기초로 상기 목적 부위에 해당하는 영역을 예측하도록 학습된 예측 모델을 이용하여 각 의료 영상으로부터 목적 부위 영역을 예측한 결과 데이터를 획득하는 단계; 및
상기 결과 데이터를 기초로 상기 목적 부위 영역의 질환 중증도를 분류하도록 학습된 분류 모델을 이용하여 상기 질환 중증도를 결정하는 단계를 포함하는, 의료 영상 기반 질환 중증도 결정 방법. - 제8항에 있어서, 상기 복수의 의료 영상은,
상기 피검자의 얼굴을 복수의 시점으로 촬영한 엑스레이(x-ray) 영상인, 의료 영상 기반 질환 중증도 결정 방법. - 제8항에 있어서, 상기 예측 모델은,
상기 복수의 의료 영상 각각을 입력으로 하여 상기 목적 부위 영역의 종류(class) 및 상기 목적 부위 영역에 대응하는 바운딩 박스(bounding box)를 예측하고, 상기 복수의 의료 영상 각각에 상기 예측된 종류 및 바운딩 박스를 나타낸 예측 결과 데이터를 출력하는, 의료 영상 기반 질환 중증도 결정 방법. - 제10항에 있어서, 상기 목적 부위 영역은, 적어도 하나의 서브 영역을 포함하고,
상기 예측 모델은,
상기 적어도 하나의 서브 영역의 종류 및 상기 적어도 하나의 서브 영역에 대응하는 바운딩 박스를 예측하도록 구성되는, 의료 영상 기반 질환 중증도 결정 방법. - 제11항에 있어서,
상기 예측 결과 데이터에서 상기 바운딩 박스를 크롭(crop)한 크롭 영상을 생성하는 단계를 더 포함하고,
상기 생성된 크롭 영상은, 상기 분류 모델의 입력값으로 입력되는, 의료 영상 기반 질환 중증도 결정 장치. - 제12항에 있어서, 상기 분류 모델은,
복수의 크롭 영상을 입력으로 하여 특징 데이터를 출력하는 복수의 인공신경망, 상기 복수의 인공신경망을 통해서 출력된 특징 데이터를 통합하여 통합 특징 데이터를 출력하는 풀링(pooling) 계층, 및 상기 통합 특징 데이터를 입력으로 하여 상기 질환 중증도를 분류한 분류 결과 데이터를 출력하는 인공신경망을 포함하는, 의료 영상 기반 질환 중증도 결정 방법. - 제13항에 있어서, 상기 분류 결과 데이터는,
상기 적어도 하나의 서브 영역에 대한 질환 중증도를 분류한 결과 데이터인, 의료 영상 기반 질환 중증도 결정 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200176280A KR102530010B1 (ko) | 2020-12-16 | 2020-12-16 | 의료 영상 기반 질환 중증도 결정 장치 및 방법 |
| PCT/KR2021/018250 WO2022131642A1 (ko) | 2020-12-16 | 2021-12-03 | 의료 영상 기반 질환 중증도 결정 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200176280A KR102530010B1 (ko) | 2020-12-16 | 2020-12-16 | 의료 영상 기반 질환 중증도 결정 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220086128A true KR20220086128A (ko) | 2022-06-23 |
| KR102530010B1 KR102530010B1 (ko) | 2023-05-08 |
Family
ID=82059661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200176280A KR102530010B1 (ko) | 2020-12-16 | 2020-12-16 | 의료 영상 기반 질환 중증도 결정 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102530010B1 (ko) |
| WO (1) | WO2022131642A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102525371B1 (ko) * | 2022-10-04 | 2023-04-25 | 에이트스튜디오 주식회사 | 진단 방법 및 장치 |
| KR102612527B1 (ko) * | 2023-04-17 | 2023-12-11 | 제이피아이헬스케어 주식회사 | 말의 방사선영상의 촬영정보를 획득하기 위한 의료영상장치 및 동작 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351432B (zh) * | 2023-12-04 | 2024-02-23 | 环球数科集团有限公司 | 一种用于景区游客的多目标识别模型的训练系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101825459B1 (ko) * | 2016-08-05 | 2018-03-22 | 재단법인대구경북과학기술원 | 다중 클래스 객체 검출 장치 및 그 방법 |
| KR20190084426A (ko) * | 2018-01-08 | 2019-07-17 | 고려대학교 산학협력단 | 병변 스크리닝 장치 및 방법 |
| KR20190134586A (ko) * | 2019-11-28 | 2019-12-04 | 연세대학교 산학협력단 | 질환 예측 방법 및 이를 이용한 질환 예측 디바이스 |
| JP2020010804A (ja) * | 2018-07-17 | 2020-01-23 | 大日本印刷株式会社 | 医用画像診断支援装置、プログラム及び医用画像診断支援方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100998630B1 (ko) * | 2008-07-24 | 2010-12-07 | 울산대학교 산학협력단 | 폐질환 자동 분류 방법 |
| KR101740464B1 (ko) * | 2016-10-20 | 2017-06-08 | (주)제이엘케이인스펙션 | 뇌졸중 진단 및 예후 예측 방법 및 시스템 |
| KR101957811B1 (ko) * | 2018-08-07 | 2019-03-13 | 주식회사 뷰노 | 의료 영상에 기반하여 피검체의 치매에 대한 중증도를 산출하는 방법 및 이를 이용한 장치 |
| KR102198884B1 (ko) * | 2018-10-26 | 2021-01-05 | 재단법인 아산사회복지재단 | 섬망 여부의 조기 판단 및 섬망의 중증도 판단 방법 및 프로그램 |
| US10811135B2 (en) * | 2018-12-27 | 2020-10-20 | General Electric Company | Systems and methods to determine disease progression from artificial intelligence detection output |
-
2020
- 2020-12-16 KR KR1020200176280A patent/KR102530010B1/ko active IP Right Grant
-
2021
- 2021-12-03 WO PCT/KR2021/018250 patent/WO2022131642A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101825459B1 (ko) * | 2016-08-05 | 2018-03-22 | 재단법인대구경북과학기술원 | 다중 클래스 객체 검출 장치 및 그 방법 |
| KR20190084426A (ko) * | 2018-01-08 | 2019-07-17 | 고려대학교 산학협력단 | 병변 스크리닝 장치 및 방법 |
| JP2020010804A (ja) * | 2018-07-17 | 2020-01-23 | 大日本印刷株式会社 | 医用画像診断支援装置、プログラム及び医用画像診断支援方法 |
| KR20190134586A (ko) * | 2019-11-28 | 2019-12-04 | 연세대학교 산학협력단 | 질환 예측 방법 및 이를 이용한 질환 예측 디바이스 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102525371B1 (ko) * | 2022-10-04 | 2023-04-25 | 에이트스튜디오 주식회사 | 진단 방법 및 장치 |
| KR102612527B1 (ko) * | 2023-04-17 | 2023-12-11 | 제이피아이헬스케어 주식회사 | 말의 방사선영상의 촬영정보를 획득하기 위한 의료영상장치 및 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022131642A1 (ko) | 2022-06-23 |
| KR102530010B1 (ko) | 2023-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| KR102530010B1 (ko) | 의료 영상 기반 질환 중증도 결정 장치 및 방법 | |
| US20220051405A1 (en) | Image processing method and apparatus, server, medical image processing device and storage medium | |
| JP6657132B2 (ja) | 画像分類装置、方法およびプログラム | |
| CN112543941A (zh) | 用于训练生成式对抗网络和使用经训练的生成式对抗网络的系统和方法 | |
| EP3477589B1 (en) | Method of processing medical image, and medical image processing apparatus performing the method | |
| CN112567381A (zh) | 用于处理来自医学成像设备的实时视频并检测视频中的对象的系统和方法 | |
| CN114945951A (zh) | 用于图像分类的不确定性引导的半监督神经网络训练 | |
| JP2021002338A (ja) | 画像セグメンテーション及び識別のための方法及びシステム | |
| KR102102255B1 (ko) | 의료 영상에서 병변의 시각화를 보조하는 방법 및 이를 이용한 장치 | |
| CN111325714B (zh) | 感兴趣区域的处理方法、计算机设备和可读存储介质 | |
| KR102078876B1 (ko) | 기흉 검출 방법 및 시스템 | |
| KR102543013B1 (ko) | 전문가의 진단 능력 평가 방법, 인공지능 기반의 진단 보조 방법 및 이를 이용한 디바이스 | |
| CN114830107A (zh) | 图像处理系统、图像处理装置、内窥镜系统、接口以及图像处理方法 | |
| Galdran et al. | Real-time informative laryngoscopic frame classification with pre-trained convolutional neural networks | |
| KR102476957B1 (ko) | 의료 영상 기반 홀로그램 제공 장치 및 방법 | |
| US20230110263A1 (en) | Computer-implemented systems and methods for analyzing examination quality for an endoscopic procedure | |
| US20220319707A1 (en) | System, Method and Computer Readable Medium for Video-Based Facial Weakness Analysis for Detecting Neurological Deficits | |
| Ankireddy | Assistive diagnostic tool for brain tumor detection using computer vision | |
| KR20210138932A (ko) | 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 귀의 병변에 대한 정보 제공용 디바이스 | |
| Rao et al. | OCTAI: Smartphone-based Optical Coherence Tomography Image Analysis System | |
| KR102433054B1 (ko) | 의료 영상의 메타데이터 예측 장치 및 방법 | |
| Yao | Machine Learning and Image Processing for Clinical Outcome Prediction: Applications in Medical Data from Patients with Traumatic Brain Injury, Ulcerative Colitis, and Heart Failure | |
| KR102464887B1 (ko) | 의료 영상의 메타데이터 예측 장치 및 방법 | |
| Chan et al. | Identifying Pediatric Vascular Anomalies With Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |