KR20200080626A - 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스 - Google Patents
병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스 Download PDFInfo
- Publication number
- KR20200080626A KR20200080626A KR1020180170262A KR20180170262A KR20200080626A KR 20200080626 A KR20200080626 A KR 20200080626A KR 1020180170262 A KR1020180170262 A KR 1020180170262A KR 20180170262 A KR20180170262 A KR 20180170262A KR 20200080626 A KR20200080626 A KR 20200080626A
- Authority
- KR
- South Korea
- Prior art keywords
- lesion
- feature
- lesions
- medical image
- probability
- Prior art date
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 426
- 238000003745 diagnosis Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000000605 extraction Methods 0.000 claims description 150
- 230000013016 learning Effects 0.000 claims description 71
- 238000007637 random forest analysis Methods 0.000 claims description 25
- 238000012706 support-vector machine Methods 0.000 claims description 24
- 238000007477 logistic regression Methods 0.000 claims description 13
- 238000002604 ultrasonography Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000002591 computed tomography Methods 0.000 claims description 10
- 238000003066 decision tree Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000002600 positron emission tomography Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 2
- 201000010099 disease Diseases 0.000 abstract description 32
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 32
- 238000011156 evaluation Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 11
- 210000001685 thyroid gland Anatomy 0.000 description 8
- 238000011282 treatment Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000003325 tomography Methods 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 230000003211 malignant effect Effects 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 208000005718 Stomach Neoplasms Diseases 0.000 description 3
- 206010017758 gastric cancer Diseases 0.000 description 3
- 201000011549 stomach cancer Diseases 0.000 description 3
- 208000024770 Thyroid neoplasm Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000009453 Thyroid Nodule Diseases 0.000 description 1
- 206010046996 Varicose vein Diseases 0.000 description 1
- 230000004791 biological behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000013403 hyperactivity Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000002346 musculoskeletal system Anatomy 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001550 testis Anatomy 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 208000027185 varicose disease Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Pulmonology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명은, 개체의 질환 발병 의심 부위에 대한 의료 영상을 수신하는 단계, 의료 영상을 기초로 병변을 예측하도록 구성된 분류기를 이용하여, 개체에 대한 병변을 예측하는 단계, 의료 영상 내에서의 병변을 예측하는 처리 중에서, 분류기의 병변 예측에 대한 관심도를 나타내는, 병변 발현 의심 영상을 생성하는 단계, 및 예측된 병변 및 병변 발현 의심 영상을 제공하는 단계를 포함하는, 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스를 제공한다.
Description
본 발명은 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스에 관한 것으로, 보다 구체적으로 의료 영상을 기초로 질환과 연관된 병변을 분류하고 이에 대한 정보를 제공하도록 구성된 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스에 관한 것이다.
의료 영상이란, 의료 영상 기기를 통해 일정한 에너지를 투여하여 인체 내의 밀도, 성질에 따라 상이한 입사, 반사, 투과 정도를 갖는 특징을 이용하여 획득한 영상을 의미할 수 있다. 이러한 의료 영상으로는, X-레이 (X-ray) 영상, 초음파 (ultrasonography) 영상, 컴퓨터단층촬영 (Computed Tomography, CT) 영상, 자기공명 (Magnetic Resonance Imaging, MRI) 영상, 양전자단층촬영 (Positron Emission Tomography, PET) 영상, 나아가 내시경(Endoscopy) 영상이 있을 수 있다.
의료진은 이러한 의료 영상을 판독함으로써 질환의 조기 진단 및 병변에 따른 치료를 제공할 수 있다. 그러나, 이러한 의료 영상에 기초한 보조 진단 시스템은, 의료진 숙련도에 따른 진단의 편차가 있을 수 있다. 진단의 편차는, 오진, 치료 시점의 지연, 부적절한 치료가 수행되는 등의 의료 사고와도 연관이 있을 수 있다.
예를 들어, 갑상선 부위의 경우, 종양이나 기능 항진증에 대한 병변을 진단하는 것에 있어서 초음파 영상이 이용될 수 있다. 보다 구체적으로, 갑상선 초음파 검사는, 피검자를 눕힌 자세에서 경부 주위를 프로브로 스캔하면서 수행된다. 이때, 갑상선은 주변 조직과의 구별이 어려운 진단 부위이고, 갑상선 조직 내에 종양과 같은 병변에 의해 곡면이 형성될 경우 프로브가 이동하는 중에 프로브와 대상물 사이에 공간이 형성될 수 있어, 갑상선 내 종양의 진단에 어려움이 있을 수 있다. 결과적으로, 의료진의 숙련도에 따라 병변 진단 결과가 상이할 수 있어 진단의 신뢰도가 떨어질 수 있다.
즉, 종래의 의료 영상에 기초한 보조 진단 시스템은, 질환과 연관된 병변을 정확하게 예측하는 것에 있어 어려움이 있음에 따라, 의료 사고가 발생할 확률이 높을 수 있다.
의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 질환 발병 여부, 나아가 정확한 병변 진단에 있어서 새로운 보조 진단 시스템의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
특정 질환의 발병 여부, 나아가 질환과 연관된 병변에 대한 새로운 진단 시스템으로, 질환 또는 병변과 연관된 바이오마커의 수준에 기초한 분자생물학적 진단 방법이 제안되었다.
그러나, 분자생물학적 진단 방법은, 질환의 발병 여부는 진단할 수 있으나, 생물학적 행태가 상이한 병변의 세포 형태, 진행 정도 등 병변의 특성을 정확하게 구분하고 진단하는 것에 한계를 가질 수 있다.
한편, 본 발명의 발명자들은, 인공지능 알고리즘 기반의 보조 진단 시스템을 도입함으로써 종래의 의료 영상에 기초한 보조 진단 시스템이 갖는 한계 및 문제점들을 보완할 수 있음에 주목하였다. 보다 구체적으로, 본 발명의 발명자들은 의료진에 의한 의료 영상의 판독에 더해 인공지능을 이용한 진단 소견을 보완함으로써 정확한 병변의 진단을 제공하는 컴퓨터 보조 진단 (computer aided diagnosis, CADx) 시스템에 주목하였다.
이때, 본 발명의 발명자들은, 의료 영상에 기초한 진단과 관련하여 의료 영상의 데이터에 의해 학습된 예측 모델이 병변 진단과 연관된 정보를 제공할 수 있음을 인지할 수 있었다.
특히, 본 발명의 발명자들은, 복수의 모델들을 이용할 경우, 병변 진단의 정확도 및 정밀도 향상에 따라, 신뢰도 높은 진단 정보를 제공할 수 있음을 인지할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은, 의료 영상에 대하여 병변을 예측하는 과정에서 피쳐 (feature) 를 추출하도록 미세 조정한 (fine-tuning) 피쳐 추출 모델과, 추출된 피쳐를 기초로 병변을 분류하도록 구성된 분류 모델을 보조 진단 시스템에 적용하고자 하였다.
그 결과, 본 발명의 발명자들은, 복수개의 예측 모델을 이용하여 의료 영상에 대한 피쳐를 추출하고, 추출된 피쳐를 기초로 질환의 병변을 확률적으로 예측하여, 질환의 발병 여부와 함께 병변에 관한 정확한 정보를 제공할 수 있는, 새로운 의료 영상에 기초한 보조 진단 시스템을 개발하기에 이르렀다.
이때, 본 발명의 발명자들은, 의료 영상에 대하여 피쳐를 추출하도록 구성된 복수개의 모델들에 의해 추출된 피쳐를 결합하고 결합된 피쳐를 기초로 병변을 분류하도록 구성된 복수개의 분류 모델들에 의한 결과값을 결합하여, 최종적으로 병변 진단에 대한 정보를 제공하는 앙상블 방법 (ensemble method) 을 더욱 적용할 수 있었다.
결과적으로, 본 발명의 발명자들은, 단일의 모델을 이용했을 때보다 높은 정확도, 정밀도 및 특이도로 병변에 대한 분류 결과를 제공할 수 있음을 확인할 수 있었다.
한편, 본 발명의 발명자들은, 의료 영상에 기초한 진단에 이용되는 예측 모델과 관련하여, 학습용 데이터의 부족과 같은 이유로, 모델의 진단 성능 향상에 한계가 있음을 더욱 인지할 수 있었다.
그 결과, 본 발명의 발명자들은, 상기 보조 진단 시스템에 적용되는 예측 모델에 대하여, 병변 예측에 보다 효과적인 학습용 데이터를 선택적으로 학습하도록 구성함으로써 본 발명의 예측 모델의 진단 성능의 향상을 기대할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은, 학습에 이용되는 학습용 의료 영상으로부터 피쳐 추출 (또는, 분류) 결과에 따른 분산이 미리 결정된 수준 이상인 선택 학습용 의료 영상을 결정하고, 이를 모델들의 재학습에 반영하고자 하였다.
결과적으로, 본 발명의 발명자들은, 선택 학습용 의료 영상을 학습하도록 모델들을 구성함에 따라, 질환의 발병 여부, 나아가 병변의 예측과 같은 진단 능력의 향상을 확인할 수 있었다.
나아가, 본 발명의 발명자들은, 상기와 같은 보조 진단 시스템에 대하여 갑상선 초음파 영상을 적용하였고, 상기 영상으로부터 특징을 추출하고 이를 양성 또는 악성으로 분류하여, 병변 진단에 관한 정보를 제공할 수 있음을 확인할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는 수신된 의료 영상을 기초로 피쳐를 추출하도록 구성된 복수개의 피쳐 추출 모델 및 피쳐를 기초로 병변을 분류하도록 구성된 복수개의 분류기를 이용하여 병변을 분류하도록 구성된, 병변 진단에 대한 정보 제공 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 목적 부위에 대한 의료 영상을 수신하도록 구성된 수신부 및 의료 영상에 대하여 피쳐를 추출하고, 목적 부위에 대한 병변을 분류하도록 구성된 프로세서를 포함하는, 병변 진단에 대한 정보 제공용 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법이 제공된다. 본 방법은, 목적 부위에 대한 의료 영상을 수신하는 단계, 의료 영상 내에서 병변을 예측하는 처리 중에 추출되는 피쳐를 추출하도록 구성된 복수개의 피쳐 추출 모델을 이용하여 의료 영상에 대한 피쳐를 추출하는 단계, 추출된 피쳐를 기초로 병변을 분류하도록 구성된 복수개의 분류기를 이용하여 의료 영상 내의 목적 부위에 대한 병변을 분류하는 단계를 포함한다.
본 발명의 특징에 따르면, 복수개의 피쳐 추출 모델 각각은, 피쳐 추출 모델 별로 서로 상이한 적어도 하나의 피쳐를 추출하도록 구성될 수 있다. 나아가, 본 방법은, 피쳐를 추출하는 단계 이후에 결합 피쳐를 획득하도록, 복수개의 피쳐 추출 모델에 의해 각각 추출된 적어도 하나의 피쳐를 결합하는 단계를 더 포함할 수 있다. 또한, 목적 부위에 대한 병변을 분류하는 단계는, 복수개의 분류기를 이용하여, 결합 피쳐를 기초로 목적 부위에 대한 병변을 분류하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 적어도 하나의 피쳐는 적어도 두 개의 피쳐일 수 있다. 또한, 적어도 하나의 피쳐를 결합하는 단계는, 모델별 결합 특징을 획득하도록 적어도 하나의 피쳐를 모델 별로 제1 결합하는 단계, 및 최종 결합 특징을 획득하도록 모델별 결합 특징을 제2 결합하는 단계를 포함할 수 있다. 나아가, 목적 부위에 대한 병변을 분류하는 단계는, 복수개의 분류기를 이용하여, 최종 결합 피쳐를 기초로 목적 부위에 대한 병변을 분류하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 의료 영상 내에서 병변을 분류하는 단계는, 복수개의 분류기를 이용하여 피쳐에 대한 병변 확률을 산출하는 단계, 및 병변 확률을 기초로 목적 부위에 대한 병변을 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 병변은 미리 결정된 복수개의 병변을 포함할 수 있다. 이때, 병변 확률을 산출하는 단계는, 복수개의 분류기를 이용하여, 피쳐에 대한 복수개의 병변 각각의 확률을 산출하는 단계, 및 복수개의 분류기에 의해 산출된 복수개의 병변 각각의 확률을 기초로 복수개의 병변별 평균 병변 확률을 산출하는 단계를 포함할 수 있다. 또한, 병변 확률을 기초로 목적 부위에 대한 병변을 분류하는 단계는, 평균 병변 확률을 기초로 목적 부위에 대하여 복수개의 병변 중 하나의 병변을 갖는 것으로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 피쳐는 서로 상이한 피쳐를 복수개 포함하고, 복수개의 분류기는 복수개의 분류기로 구성된 앙상블 (ensemble) 분류기를 복수개 포함할 수 있다. 이때, 복수개의 앙상블 분류기는, 앙상블 분류기별로 서로 상이한 피쳐에 대한 병변을 각각 분류하도록 구성될 수 있다. 또한, 의료 영상 내에서 병변을 분류하는 단계는, 복수개의 앙상블 분류기를 이용하여, 복수개의 서로 상이한 피쳐 각각에 대한 병변 확률을 산출하는 단계, 및 복수개의 서로 상이한 피쳐 각각에 대한 병변 확률을 기초로, 목적 부위에 대한 병변을 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 병변은 미리 결정된 복수개의 병변을 포함할 수 있다. 이때, 병변 확률을 산출하는 단계는, 복수개의 앙상블 분류기를 이용하여, 복수개의 서로 상이한 피쳐 각각에 대한 복수개의 병변 각각의 확률을 산출하는 단계, 및 복수개의 서로 상이한 피쳐 각각에 대한 복수개의 병변 각각의 확률을 기초로, 복수개의 병변별 평균 병변 확률을 산출하는 단계를 포함할 수 있다. 또한, 병변 확률을 기초로 목적 부위에 대한 병변을 분류하는 단계는, 평균 병변 확률을 기초로 목적 부위에 대하여 복수개의 병변 중 하나의 병변을 갖는 것으로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 피쳐 추출 모델은, 병변에 대한 최종 예측 전에, 피쳐를 추출하도록 변형된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 피쳐 추출 모델은, 복수의 레이어로 구성된 사전 학습된 (pre-trained) CNN (convolutional neural network) 모델일 수 있다. 이때, 복수의 레이어 중 선택된 하나의 레이어가 출력 레이어로 변형된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 피쳐 추출 모델은, 학습용 의료 영상을 수신하는 단계, 및 변형된 출력 레이어를 갖는 피쳐 추출 모델에 대하여 학습용 의료 영상을 기초로 피쳐를 추출하도록 학습하는 단계를 통해 미세 조정된 (fine-tuned) 피쳐 추출 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 피쳐 추출 모델은, 학습용 의료 영상 중 분산이 미리 결정된 수준 이상인 선택 학습용 의료 영상을 결정하는 단계, 및 미세 조정된 피쳐 추출 모델에 대하여 선택 학습용 의료 영상을 기초로 피쳐를 추출하도록 학습하는 단계를 통해 재학습이 수행된 피쳐 추출 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 분류기는, 미리 결정된 병변을 포함하는 학습용 의료 영상에 대하여, 피쳐 추출 모델에 의해 추출된 피쳐를 수신하는 단계, 및 학습용 의료 영상에 대하여 추출한 피쳐를 기초로, 미리 결정된 병변을 분류하는 단계를 통해 학습된 분류기일 수 있다.
본 발명의 또 다른 특징에 따르면, 분류기는, 학습용 의료 영상 중 분산이 미리 결정된 수준 이상인 선택 학습용 의료 영상을 결정하는 단계, 및 학습된 분류기에 대하여 선택 학습용 의료 영상에 대한 피쳐를 기초로 미리 결정된 병변을 분류하는 단계를 통해 재학습된 분류기일 수 있다.
본 발명의 또 다른 특징에 따르면, 의료 영상은, 초음파 영상, X-레이 (X-ray) 영상, CT (computed tomography) 영상, MRI (magnetic resonance imaging) 영상, 내시경 영상 및 PET (positron emission tomography) 영상 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 복수개의 피쳐 추출 모델은, AlexNet, OverFeat, VGG, VGG-verydeep, ResNet, GoogleNet 및 의가중치 중 적어도 두 개의 딥 러닝 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 복수개의 분류기는, SVM (Support Vector Machine), RF (Random Forests), LDA (linear discriminant analysis), QDA (quadratic discriminant analysis), 결정 트리 (decision tree), XG Boost (extreme gradient boosting), 로지스틱 회귀분석 (logistic regression), logistic regression, NN (nearest neighbor) 및 GMM (Gaussian mixture model) 중 적어도 두 개의 분류 모델일 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스가 제공된다. 본 디바이스는, 목적 부위에 대한 의료 영상을 수신하도록 구성된 수신부, 및 수신부와 통신하도록 구성된 프로세서를 포함한다. 이때, 프로세서는, 의료 영상 내에서 병변을 예측하는 처리 중에 추출되는 피쳐를 추출하도록 구성된 복수개의 피쳐 추출 모델을 이용하여 의료 영상에 대한 피쳐를 추출하고, 추출된 피쳐를 기초로 병변을 분류하도록 구성된 복수개의 분류기를 이용하여 의료 영상 내의 목적 부위에 대한 병변을 분류하도록 구성된다.
본 발명의 특징에 따르면, 복수개의 피쳐 추출 모델 각각은, 피쳐 추출 모델 별로 서로 상이한 적어도 하나의 피쳐를 추출하도록 구성될 수 있다. 이때, 프로세서는, 결합 피쳐를 획득하도록, 복수개의 피쳐 추출 모델에 의해 각각 추출된, 적어도 하나의 피쳐를 결합하고, 복수개의 분류기를 이용하여 결합 피쳐를 기초로 목적 부위에 대한 병변을 분류하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 적어도 하나의 피쳐는 적어도 두 개의 피쳐일 수 있다. 이때, 프로세서는, 모델별 결합 특징을 획득하도록 적어도 하나의 피쳐를 모델 별로 제1 결합하고, 최종 결합 특징을 획득하도록 모델별 결합 특징을 제2 결합하고, 복수개의 분류기를 이용하여 최종 결합 피쳐를 기초로 목적 부위에 대한 병변을 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 복수개의 분류기를 이용하여 피쳐에 대한 병변 확률을 산출하고, 병변 확률을 기초로 목적 부위에 대한 병변을 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 병변은 미리 결정된 복수개의 병변을 포함할 수 있다. 이때, 프로세서는, 복수개의 분류기를 이용하여 피쳐에 대한 복수개의 병변 각각의 확률을 산출하고, 복수개의 분류기에 의해 산출된 복수개의 병변 각각의 확률을 기초로 복수개의 병변별 평균 병변 확률을 산출하고, 평균 병변 확률을 기초로 목적 부위에 대하여 복수개의 병변 중 하나의 병변을 갖는 것으로 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 피쳐는 서로 상이한 피쳐를 복수개 포함할 수 있다. 이때, 복수개의 분류기는 복수개의 분류기로 구성된 앙상블 분류기를 복수개 포함하고, 복수개의 앙상블 분류기는 앙상블 분류기별로 서로 상이한 피쳐에 대한 병변을 각각 분류하도록 구성될 수 있다. 나아가, 프로세서는, 복수개의 앙상블 분류기를 이용하여, 복수개의 서로 상이한 피쳐 각각에 대한 병변 확률을 산출하고, 복수개의 서로 상이한 피쳐 각각에 대한 병변 확률을 기초로 목적 부위에 대한 병변을 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 병변은 미리 결정된 복수개의 병변을 포함할 수 있다. 이때, 프로세서는 복수개의 앙상블 분류기를 이용하여, 복수개의 서로 상이한 피쳐 각각에 대한 복수개의 병변 각각의 확률을 산출하고, 복수개의 서로 상이한 피쳐 각각에 대한 복수개의 병변 각각의 확률을 기초로 복수개의 병변별 평균 병변 확률을 산출하고, 평균 병변 확률을 기초로 목적 부위에 대하여 복수개의 병변 중 하나의 병변을 갖는 것으로 결정하도록 더 구성될 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스가 제공된다. 본 디바이스는, 목적 부위에 대한 의료 영상을 수신하도록 구성된, 의료 영상 수신부, 의료 영상 내에서 병변을 예측하는 처리 중에 추출되는 피쳐를 추출하도록 구성된 복수개의 피쳐 추출 모델을 이용하여 의료 영상에 대한 피쳐를 추출하도록 구성된 피쳐 추출부, 및 추출된 피쳐를 기초로 병변을 분류하도록 구성된 복수개의 분류기를 이용하여, 의료 영상 내의 목적 부위에 대한 병변을 분류하도록 구성된 병변 분류부를 포함한다.
본 발명은, 의료 영상에 대하여 피쳐를 추출하고, 이를 기초로 질환의 발병 여부 나아가 병변을 예측하도록 구성된 복수개의 모델을 이용한 병변 진단에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공함으로써, 개체에 대하여 정확한 진단 정보를 제공할 수 있는 효과가 있다.
이에, 본 발명은, 의료진의 숙련도에 따라 병변 진단 결과가 상이할 수 있어 진단의 신뢰도가 떨어질 수 있는 종래의 의료 영상에 기초한 보조 진단 시스템이 갖는 한계를 극복할 수 있는 효과가 있다.
예를 들어, 본 발명은 갑상선 초음파 이미지를 기초로, 갑상선 암의 발병 여부뿐만 아니라, 악성 또는 양성과 같은 병변에 대한 정보를 제공할 수 있고, 예측 결과에 따라 개인의 상태에 맞춘 정확하고 효과적인 치료법을 제공할 수 있다. 이에, 본 발명은 조기 질환의 치료에 대한 좋은 예후를 제공하는 것에 기여할 수 있는 효과가 있다.
특히, 본 발명은, 의료 영상에 대하여 병변을 예측하는 과정에서 피쳐를 추출하도록 미세 조정된 피쳐 추출 모델 복수개와 추출된 피쳐를 기초로 병변을 분류하도록 구성된 복수의 분류기를 이용한 새로운 보조 진단 시스템을 제공할 수 있다. 이에, 본 발명은, 단일의 모델을 이용했을 때보다 높은 정확도, 정밀도 및 특이도로 병변에 대한 분류 결과를 제공할 수 있는 효과가 있다.
또한, 본 발명은, 보조 진단 시스템에 적용되는 예측 모델에 대하여, 결과 예측에 보다 효과적인 학습용 데이터를 선택적으로 학습하도록 구성함으로써 진단 성능의 향상을 기대할 수 있는 효과가 있다.
즉, 본 발명은 사전 학습된 모델의 학습 데이터 부족에 따른 성능 향상 한계를 극복할 수 있는 효과가 있다.
보다 구체적으로, 본 발명은, 예측 결과에 따른 분산이 미리 결정된 수준 이상인 학습용 의료 영상을 선택하고 이를 기초 학습된 모델들을 반영함으로써, 진단 성능이 향상된 의료 영상에 기초한 보조 진단 시스템을 제공할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2a는 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2b는 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 피쳐 추출부를 예시적으로 도시한 것이다.
도 2c는 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 병변 분류부를 예시적으로 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 3b 및 3c는 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법에 따른 피쳐 추출 절차를 예시적으로 도시한 것이다.
도 3d 및 3e는 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법에 따른 병변 분류 절차를 예시적으로 도시한 것이다.
도 4a는 본 발명의 다양한 실시예에 이용되는 피쳐 추출 모델 및 이에 대하여 수행된 미세 조정 사항을 도시한 것이다.
도 4b는 본 발명의 다양한 실시예에 이용되는 피쳐 추출 모델의 미세 조정 여부에 따른 평가 결과를 도시한 것이다.
도 5a 내지 5e는 본 발명의 다양한 실시예에 이용되는 복수개의 피쳐 추출 모델의 결합에 따른 평가 결과를 도시한 것이다.
도 6은 본 발명의 다양한 실시예에 이용되는 복수개의 분류기의 결합에 따른 평가 결과를 도시한 것이다.
도 2a는 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2b는 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 피쳐 추출부를 예시적으로 도시한 것이다.
도 2c는 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 병변 분류부를 예시적으로 도시한 것이다.
도 3a는 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 3b 및 3c는 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법에 따른 피쳐 추출 절차를 예시적으로 도시한 것이다.
도 3d 및 3e는 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법에 따른 병변 분류 절차를 예시적으로 도시한 것이다.
도 4a는 본 발명의 다양한 실시예에 이용되는 피쳐 추출 모델 및 이에 대하여 수행된 미세 조정 사항을 도시한 것이다.
도 4b는 본 발명의 다양한 실시예에 이용되는 피쳐 추출 모델의 미세 조정 여부에 따른 평가 결과를 도시한 것이다.
도 5a 내지 5e는 본 발명의 다양한 실시예에 이용되는 복수개의 피쳐 추출 모델의 결합에 따른 평가 결과를 도시한 것이다.
도 6은 본 발명의 다양한 실시예에 이용되는 복수개의 분류기의 결합에 따른 평가 결과를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "의료 영상"은, 질환 의심 부위에 대하여 영상 진단 장치로부터 촬영된 모든 의료 영상을 의미할 수 있다. 한편, 의료 영상은, 질환 의심 부위에 대한 X-레이 영상, 초음파 영상, 컴퓨터단층촬영 영상, 자기공명영상, 양전자단층촬영 영상, 나아가 내시경 영상을 포함할 수 있다.
바람직하게, 본 명세서에 개시된 의료 영상은 질환 의심 부위에 초음파 영상일 수 있으나, 이에 제한되는 것은 아니다.
나아가, 의료 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 의료 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법에 따라 복수개의 의료 영상 각각에 대한 질환 발병 여부 및 병변이 예측될 수 있다. 그 결과, 본 발명은 영상 진단 장치로부터의 의료 영상의 수신과 동시에 병변의 예측을 수행함으로써, 실시간으로 예측된 병변 부위에 대한 진단 정보를 제공할 수 있다.
본 명세서에서 사용되는 용어, "목적 부위"는 질환의 유무 등의 상태를 관찰하고자 하는 피검자의 특정 신체 부위일 수 있다. 예를 들어, 목적 부위는, 흉부, 척추, 상복부, 하복부, 폐, 뇌, 간, 정맥류, 자궁, 전립선, 고환, 근골격계, 갑상선 또는 유방일 수 있다. 그러나, 목적 부위는 이에 제한되는 것은 아니며 영상 진단 장치에 의해 영상이 획득되는 한 다양한 부위가 될 수 있다.
본 명세서에서 사용되는 용어, "병변" 은 특정한 질환에 대하여 나타나는 다양한 임상적 형태, 또는 특징, 또는 증상을 의미할 수 있다. 예를 들어, 갑상선 결절의 경우, 이의 병변은 양성 또는 악성으로 분류될 수 있다. 또한, 위암의 경우, 이의 병변은, 점막 침범성 위암, 점막하층 침범성 위암으로 분류될 수 있다. 그러나, 병변은 이에 제한되는 것이 아니다. 예를 들어, 병변은 임상적으로 '정상인 상태'를 더 포함할 수도 있다.
한편, 개체는, 동일한 질환을 가지고 있더라도 생물학적 특성의 병변이 상이할 수 있다. 이때, 질환의 치료에 있어서, 병변에 따라 적용되는 치료법이 상이할 수 있다. 이에, 질환의 발병 여부뿐만 아니라, 병변을 정확하게 구분하고 진단하는 것은, 개개인의 상태에 맞춘 정확하고 효과적인 치료법을 제공하는 것에 있어서 매우 중요할 수 있다.
이때, 질환의 진단 나아가, 병변의 예측에 대한 정확도를 높이기 위해, 의료 영상을 기초로 병변을 예측하도록 구성된 예측 모델이 이용될 수 있다.
본 명세서에서 사용되는 용어, "피쳐"는, 의료 영상 내에서 의미 있는 정보로서 추출된 특징을 의미할 수 있다.
예를 들어, 피쳐는 의료 영상 내에 존재하는 목적 부위를 식별 (또는, 인식) 할 수 있는 특징 파라미터일 수도 있다.
본 명세서에서 사용되는 용어, "피쳐 추출 모델"은, 의료 영상에 대하여 유의미한 피쳐를 인식하고 추출하도록 구성된 모델일 수 있다.
본 발명의 특징에 따르면, 피쳐 추출 모델은, 병변에 대한 최종 예측 전에, 피쳐를 추출하도록 변형된 모델일 수 있다. 보다 구체적으로, 피쳐 추출 모델은, 복수의 레이어로 구성된 사전 학습된 (pre-trained) CNN (convolutional neural network) 모델이고, 복수의 레이어 중 선택된 하나의 레이어가 출력 레이어로 변형된 모델일 수 있다.
본 발명의 다른 특징에 따르면, 피쳐 추출 모델은, 학습용 의료 영상을 수신하고, 변형된 출력 레이어를 갖는 피쳐 추출 모델에 대하여 학습용 의료 영상을 기초로 학습이 수행된, 미세 조정된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 피쳐 추출 모델은, 학습용 의료 영상 중 분산이 미리 결정된 수준 이상인 선택 학습용 의료 영상을 결정하고, 미세 조정된 피쳐 추출 모델에 대하여 선택 학습용 의료 영상을 기초로 재학습이 수행된 피쳐 추출 모델일 수 있다. 이때, 학습용 의료 영상 중, 미세 조정된 피쳐 추출 모델에 의한 분류 결과에 대한 분산이 0.02 또는 0.045이상인 학습용 의료 영상이, 선택 학습용 의료 영상으로 결정될 수 있다.
예를 들어, 분류 결과에 대한 분산 (A) 은 하기 수학식 1에 의해 산출될 수 있다.
[수학식 1]
여기서 P 0 및 P 1은 두 개의 클래스의 병변 (예를 들어, 양성 종양 또는 악성 종양) 에 대한 확률일 수 있다.
즉, 두 개의 병변 확률에 대한 값의 차이가 미리 결정된 수준 이상인 학습용 의료 영상은, 선택 학습용 의료 영상으로 결정될 수 있다.
한편, 본 발명의 피쳐 추출 모델은 AlexNet, OverFeat, VGG, VGG-verydeep, ResNet, GoogleNet 및 Inception 중 적어도 하나의 모델일 수 있다. 본 발명의 특징에 따르면, 상기 모델 중 선택된 두 개 이상의 모델의 조합이 이용될 수 있다.
예를 들어, 피쳐 추출에 있어서 복수의 피쳐 추출 모델이 적용될 경우, 각 피쳐 추출 모델에 의해 추출된 피쳐 파라미터들이 결합되고, 결합된 피쳐가 최종 특징으로 결정될 수 있다.
그러나, 본 발명의 피쳐 추출 모델은, 전술한 특징에 제한되는 것이 아니다.
본 명세서에서 사용되는 용어, "분류기"는 의료 영상으로부터 추출된 피쳐를 기초로, 특정 질환의 발병 여부, 나아가 동일한 질환에 대한 복수의 병변을 예측하도록 학습된 모델일 수 있다.
보다 구체적으로, 본 발명의 분류기는, 미리 결정된 병변을 포함하는 학습용 의료 영상에 대하여, 피쳐 추출 모델에 의해 추출된 피쳐를 수신하고, 학습용 의료 영상에 대하여 추출한 피쳐를 기초로, 미리 결정된 병변을 분류하는 단계를 통해 학습된 분류 모델일 수 있다. 예를 들어, 갑상선에 대한 의료 영상에 대하여 추출된 피쳐를 기초로, 악성 종양 또는 양성 종양의 2 클래스를 확률적으로 예측 (분류) 하도록 구성된 모델일 수 있다.
한편, 본 발명의 분류기는, 학습용 의료 영상 중 분산이 미리 결정된 수준 이상인 선택 학습용 의료 영상을 결정하고, 선택 학습용 의료 영상에 대한 피쳐를 기초로 미리 결정된 병변을 분류하는 단계를 통해 재학습된 분류기일 수 있다. 이때, 학습용 의료 영상 중 분류기에 의한 분류 결과에 대한 분산이 0.02 또는 0.045이상인 학습용 의료 영상이, 선택 학습용 의료 영상으로 결정될 수 있다.
예를 들어, 분류 결과에 대한 분산 (B) 은 하기 수학식 2에 의해 산출될 수 있다.
[수학식 2]
여기서 P 0 및 P 1은 두 개의 클래스의 병변 (예를 들어, 양성 종양 또는 악성 종양) 에 대한 확률일 수 있다.
즉, 두 개의 병변 확률에 대한 값의 차이가 미리 결정된 수준 이상인 학습용 의료 영상은, 선택 학습용 의료 영상으로 결정될 수 있다.
한편, 본 발명의 분류기는 SVM (Support Vector Machine), RF (Random Forests), LDA (linear discriminant analysis), QDA (quadratic discriminant analysis), 결정 트리 (decision tree), XG Boost (extreme gradient boosting), 로지스틱 회귀분석 (logistic regression), logistic regression, NN (nearest neighbor) 및 GMM (Gaussian mixture model) 중 적어도 하나의 모델일 수 있다. 본 발명의 특징에 따르면, 상기 모델 중 선택된 두 개 이상의 모델의 조합이 이용될 수 있다.
예를 들어, 병변 분류에 있어서 복수의 분류기가 적용될 경우, 각 분류기에 의해 출력된 결과값에 대한 평균이 산출되고, 평균값에 기초하여 최종적으로 병변이 결정될 수 있다.
그러나, 본 발명의 분류기는 전술한 특징에 제한되는 것이 아니다.
본 명세서에서 사용되는 용어, "앙상블 분류기"는, 전술한 분류기 중 선택된 두 개 이상의 분류기가 직렬 또는 병렬로 결합된 구성의 분류기를 의미할 수 있다.
본 발명의 특징에 따르면, 복수개의 앙상블 분류기가 병변 분류에 이용될 수 있다. 이때, 앙상블 분류기는, 각 분류기별로 서로 상이한 피쳐에 대한 병변을 분류하도록 구성될 수 있다.
예를 들어, 병변 분류에 있어서 복수의 앙상블 분류기가 적용될 경우, 각 앙상블 분류기에 의해 출력된 결과값에 대한 평균이 산출되고, 평균값에 기초하여 최종적으로 병변이 결정될 수 있다.
이하에서는 도 1를 참조하여, 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스를 설명한다.
도 1은 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 구성을 도시한 것이다.
도 1을 참조하면, 병변 진단에 대한 정보 제공용 디바이스 (100), 수신부 (110), 입력부 (120), 출력부 (130), 저장부 (140) 및 프로세서 (150) 를 포함한다.
구체적으로 수신부 (110) 는 영상 진단 장치로부터 피검자의 목적 부위에 대한 의료 영상을 수신하도록 구성될 수 있다. 이때, 수신부 (110) 는, 질환 의심 부위에 대한 X-레이 영상, 초음파 영상, 컴퓨터단층촬영 영상, 자기공명영상, 양전자단층촬영 영상, 나아가 내시경 영상의 의료 영상을 수신할 수 있다. 한편, 수신부 (110) 를 통해 획득된 의료 영상 내에는 병변이 발현한 영역이 포함될 수 있다.
입력부 (120) 는 키보드, 마우스, 터치 스크린 패널 등 제한되지 않는다. 입력부 (120) 는 병변 진단에 대한 정보 제공용 디바이스 (100) 를 설정하고, 이의 동작을 지시할 수 있다. 예를 들어, 의료인은 입력부 (120) 를 통해, 수신부 (110) 에 의해 수신된 의료 영상에 대하여 병변을 예측하고자 하는 영역을 직접 선택할 수 있다.
한편, 출력부 (130) 는 수신부 (110) 에 의해 수신된 의료 영상을 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 후술할 프로세서 (150) 에 의해 추출된 피쳐를 출력하거나, 분류기에 의해 분류된 병변에 대한 정보를 시각적으로 표시하도록 구성되어, 의료진에게 병변 진단에 대한 정보를 제공할 수 있다.
저장부 (140) 는 수신부 (110) 를 통해 수신한 의료 영상을 저장하고, 입력부 (120) 를 통해 설정된 병변 진단에 대한 정보 제공용 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (140) 는 후술될 프로세서 (150) 에 의해 추출된 피쳐, 분류된 병변에 대한 정보를 저장할 수 있도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부 (140) 는 프로세서 (150) 에 의해 결정된 다양한 정보들을 저장할 수 있다.
프로세서 (150) 는 병변 진단에 대한 정보 제공용 디바이스 (110) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 프로세서 (150) 는 의료 영상에 대하여 피쳐를 추출하고, 이를 기초로 병변을 분류하도록 구성된 예측 모델을 이용할 수 있다. 특히, 프로세서 (150) 는 보다 신뢰도 높은 정보를 제공하도록, 선택 학습용 의료 영상에 기초하여 재학습된, 복수개 예측 모델에 기초할 수 있다.
예를 들어, 프로세서 (150) 는 의료 영상에 대하여 피쳐를 추출하도록 구성된 복수개의 피쳐 추출 모델과 피쳐를 기초로 병변을 확률적으로 분류하도록 구성된 복수개의 분류기를 이용할 수 있다.
이에, 프로세서 (150) 수신부 (110) 로부터 수신한 의료 영상을 기초로, 피쳐를 추출하고, 병변을 분류하여 개체에 대한 병변을 확률적으로 예측하여 정확도 높은 병변 진단 정보를 제공할 수 있다.
한편 프로세서 (150) 는, AlexNet, OverFeat, VGG, VGG-verydeep, ResNet, GoogleNet 및 Inception 중 선택된 적어도 두 개의 피쳐 추출 모델을 이용하고, SVM (Support Vector Machine), RF (Random Forests), LDA (linear discriminant analysis), QDA (quadratic discriminant analysis), 결정 트리 (decision tree), XG Boost (extreme gradient boosting), 로지스틱 회귀분석 (logistic regression), logistic regression, NN (nearest neighbor) 및 GMM (Gaussian mixture model) 중 선택된 적어도 두 개의 분류 모델을 이용하도록 구성될 수 있다. 그러나, 프로세서 (150) 의 구성은 이에 제한되는 것이 아니다.
이하에서는, 도 2a 내지 도 2c를 참조하여, 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스를 구체적으로 설명한다.
도 2a는 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다. 도 2b는 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 피쳐 추출부를 예시적으로 도시한 것이다. 도 2c는 본 발명의 다른 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스의 병변 분류부를 예시적으로 도시한 것이다.
먼저, 도 2a를 참조하면, 병변 진단에 대한 정보 제공용 디바이스 (200), 의료 영상 수신부 (210), 피쳐 추출부 (220) 및 병변 분류부 (230) 를 포함한다.
보다 구체적으로 의료 영상 수신부 (210) 는 목적 부위에 대한 의료 영상을 수신하도록 구성될 수 있다. 이때, 의료 영상 수신부 (210) 는, 질환 의심 부위에 대한 X-레이 영상, 초음파 영상, 컴퓨터단층촬영 영상, 자기공명영상, 양전자단층촬영 영상, 나아가 내시경 영상의 의료 영상을 수신할 수 있다.
한편, 본 발명의 특징에 따르면, 의료 영상 수신부 (210) 는 목적 부위에 대한 의료 영상을 제공하는 영상 진단 장치일 수 도 있다. 예를 들어, 의료 영상 수신부 (210) 는 초음파 프로브, 내시경 프로브일 수도 있다.
이때, 의료 영상 수신부 (210) 를 통해 획득된 의료 영상 내에는 병변이 발현한 영역이 포함될 수 있다.
다음으로, 피쳐 추출부 (220) 는, 의료 영상 수신부 (210) 를 통해 의료 영상을 수신하고, 이를 기초로 피쳐를 추출 (출력) 하도록 구성될 수 있다.
본 발명의 특징에 따르면, 피쳐 추출부 (220) 는, 의료 영상에 대하여 피쳐를 추출하도록 구성된 피쳐 추출 모델에 기초할 수 있다. 이때, 피쳐 추출 모델은, 병변에 대한 최종 예측 전에, 피쳐를 추출하도록 변형된 모델일 수 있다.
예를 들어, 도 2b를 참조하면, 피쳐 추출부 (220) 는, 복수의 레이어로 구성된 사전 학습된 피쳐 추출 모델 (222) 로 구성될 수 있다. 나아가, 피쳐 추출부 (220) 는 사전 학습된 피쳐 추출 모델 (222) 에 대하여 복수의 레이어 중 선택된 하나의 레이어, 예를 들어 마지막 레이어가 클래스의 개수로 출력하도록 변형된 피쳐 추출 모델 (224) 로 구성될 수 있다. 또한, 피쳐 추출부 (220) 는, 변형된 피쳐 추출 모델 (224) 에 대하여 학습용 의료 영상을 기초로 피쳐를 추출하도록 학습된, 미세 조정된 피쳐 추출 모델 (226) 로 구성될 수 있다. 또한, 피쳐 추출부 (220) 는, 미세 조정된 피쳐 추출 모델 (226) 에 대하여 분산이 미리 결정된 수준 이상인 선택 학습용 의료 영상을 기초로 피쳐를 추출하도록 재학습된 피쳐 추출 모델 (228) 로 구성될 수 있다.
이때, 학습용 의료 영상 중 미세 조정된 피쳐 추출 모델에 의한 분류 결과에 대한 분산이 0.02 또는 0.045이상인 학습용 의료 영상이, 선택 학습용 의료 영상으로 결정될 수 있다.
예를 들어, 분류 결과에 대한 분산 (A) 은 하기 수학식 1에 의해 산출될 수 있다.
[수학식 1]
여기서 P 0 및 P 1은 두 개의 클래스의 병변 (예를 들어, 양성 종양 또는 악성 종양) 에 대한 확률일 수 있다.
즉, 두 개의 병변 확률에 대한 값의 차이가 미리 결정된 수준 이상인 학습용 의료 영상은, 선택 학습용 의료 영상으로 결정될 수 있다.
한편, 피쳐 추출 모델은 AlexNet, OverFeat, VGG, VGG-verydeep, ResNet, GoogleNet 및 Inception 중 적어도 하나의 모델일 수 있다.
본 발명의 다른 특징에 따르면, 피쳐 추출부 (220) 는 상기 모델 중 선택된 두 개 이상의 모델의 조합으로 구성될 수도 있다.
예를 들어, 피쳐 추출부 (220) 가 복수의 피쳐 추출 모델로 구성될 경우, 각 피쳐 추출 모델에 의해 추출된 피쳐 파라미터들이 결합된다. 그 다음, 결합된 피쳐가 최종 특징으로 결정될 수 있다.
그러나, 피쳐 추출부 (220) 의 구성은 전술한 것에 제한되는 것이 아니다.
다음으로, 병변 분류부 (230) 는, 피쳐 추출부 (220) 에 의해 추출된 피쳐를 수신하고, 이를 기초로 병변을 분류 (출력) 하도록 구성될 수 있다.
본 발명의 특징에 따르면, 병변 분류부 (230) 는, 의료 영상으로부터 추출된 피쳐를 기초로, 특정 질환의 발병 여부, 나아가 동일한 질환에 대한 복수의 병변을 예측하도록 학습된 분류기에 기초할 수 있다.
예를 들어, 도 2c를 참조하면, 병변 분류부 (230) 는, 분류기 (232) 에 대하여, 미리 결정된 병변을 포함하는 학습용 의료 영상에 대하여 추출된 피쳐를 수신하고 이를 기초로 미리 결정된 병변을 분류하도록 학습된 분류기 (234) 로 구성될 수 있다. 나아가, 병변 분류부 (230) 는, 학습된 분류기 (234) 에 대하여 분산이 미리 결정된 수준 이상인 선택 학습용 의료 영상에 대한 피쳐를 기초로 병병을 분류하도록 재학습된 분류기 (236) 로 구성될 수 있다.
이때, 학습용 의료 영상 중 분류기에 의한 분류 결과에 대한 분산이 0.02 또는 0.045이상인 학습용 의료 영상이, 선택 학습용 의료 영상으로 결정될 수 있다.
예를 들어, 분류 결과에 대한 분산 (B) 은 하기 수학식 2에 의해 산출될 수 있다.
[수학식 2]
여기서 P 0 및 P 1은 두 개의 클래스의 병변 (예를 들어, 양성 종양 또는 악성 종양) 에 대한 확률일 수 있다.
즉, 두 개의 병변 확률에 대한 값의 차이가 미리 결정된 수준 이상인 학습용 의료 영상은, 선택 학습용 의료 영상으로 결정될 수 있다.
한편, 분류기는 SVM (Support Vector Machine), RF (Random Forests), LDA (linear discriminant analysis), QDA (quadratic discriminant analysis), 결정 트리 (decision tree), XG Boost (extreme gradient boosting), 로지스틱 회귀분석 (logistic regression), logistic regression, NN (nearest neighbor) 및 GMM (Gaussian mixture model) 중 적어도 하나의 모델일 수 있다.
본 발명의 특징에 따르면, 병변 분류부 (230) 는 상기 모델 중 선택된 두 개 이상의 모델의 조합으로 구성될 수 있다.
예를 들어, 병변 분류부 (230) 가 복수의 분류기로 구성될 경우, 각 분류기에 의해 출력된 결과값에 대한 평균이 산출되고, 평균값에 기초하여 최종적으로 병변이 결정될 수 있다.
본 발명의 다른 특징에 따르면, 병변 분류부 (230) 는 전술한 분류기 중 선택된 두 개 이상의 분류기가 직렬 또는 병렬로 결합된 형태의 앙상블 분류기로 구성될 수 있다.
본 발명의 다른 특징에 따르면, 병변 분류부 (230) 는 각 분류기별로 서로 상이한 피쳐에 대한 병변을 분류하도록 구성된 복수개의 앙상블 분류기로 구성될 수 있다.
예를 들어, 병변 분류부 (230) 가 복수의 앙상블 분류기로 구성될 경우, 각 앙상블 분류기에 의해 출력된 결과값에 대한 평균이 산출되고, 평균값에 기초하여 최종적으로 병변이 결정될 수 있다.
이상의 본 발명의 다양한 실시예에 따른 병변 진단에 대한 정보 제공용 디바이스 (100, 200) 의 구성상 특징에 따라, 본 발명은, 병변 진단에 있어서 신뢰도 높은 정보를 제공할 수 있다. 예를 들어, 본 발명의 병변 진단에 대한 정보 제공용 디바이스 (100, 200) 는, 복수의 피쳐 추출 모델 및 복수의 분류기를 이용하는 구성상 특징에 따라, 단일의 예측 모델로 구성되어 피쳐 추출 없이 병변을 분류하도록 구성된 디바이스보다 높은 정확도, 정밀도 및 특이도로 병변을 분류할 수 있다. 나아가, 본 발명의 병변 진단에 대한 정보 제공용 디바이스 (100, 200) 는, 선택 학습 의료 영상을 기초로 재학습된 피쳐 추출 모델 및 분류기를 이용하는 구성상 특징에 따라, 사전 학습된 종래의 예측 모델로 구성된 디바이스보다 높은 정확도, 정밀도 및 특이도로 병변을 분류할 수 있다.
이에, 본 발명은 향상된 진단 능력을 갖는 병변 진단에 대한 정보 제공용 디바이스 (100, 200) 를 제공함으로써, 단일의 예측 모델에 기초한 종래의 보조 진단 시스템보다, 병변 진단에 있어서 신뢰도 높은 정보를 제공할 수 있다.
이하에서는, 도 3a 내지 3e를 참조하여, 본 발명의 다양한 실시예에 따른 병변 진단에 대한 정보 제공 방법을 구체적으로 설명한다. 도 3a는 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 3b 및 3c는 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법에 따른 피쳐 추출 절차를 예시적으로 도시한 것이다. 도 3d 및 3e는 본 발명의 일 실시예에 따른 병변 진단에 대한 정보 제공 방법에 따른 병변 분류 절차를 예시적으로 도시한 것이다.
도 3a를 참조하면, 본 발명의 일 실시예에 따른 병변 분류의 절차는 다음과 같다. 먼저, 목적 부위에 대한 의료 영상을 수신한다 (S310). 그 다음, 의료 영상에 대하여 병변을 예측하는 처리 중, 추출되는 피쳐를 출력하도록 구성된 복수개의 피쳐 추출 모델을 이용하여 피쳐를 추출한다 (S320). 다음으로, 피쳐를 기초로 병변을 분류하도록 구성된 복수개의 분류기를 이용하여, 목적 부위에 대한 병변을 분류한다 (S330).
보다 구체적으로, 의료 영상을 수신하는 단계 (S310) 에서, 목적 부위에 대한 의료 영상이 영상 진단 장치로부터 수신될 수 있다.
본 발명의 특징에 따르면, 의료 영상을 수신하는 단계 (S310) 에서, 초음파 영상, X-레이 영상, CT 영상, MRI 영상, 내시경 영상 및 PET (영상 중 적어도 하나의 영상이 수신된다.
다음으로, 피쳐를 추출하는 단계 (S320) 에서, 의료 영상을 수신하는 단계 (S310) 의 결과로 수신된 의료 영상에 대하여 복수개의 피쳐 추출모델 각각이 피쳐를 추출할 수 있다.
본 발명의 특징에 따르면, 피쳐를 추출하는 단계 (S320) 에서 복수개의 피쳐 추출 모델 각각은, 피쳐 추출 모델 별로 서로 상이한 적어도 하나의 피쳐를 추출하도록 구성될 수 있다.
예를 들어, 도 3b를 함께 참조하면, 피쳐를 추출하는 단계 (S320) 에서, 의료 영상을 수신하는 단계 (S310) 의 결과로 수신된 의료 영상 (312) 이 복수개의 피쳐 추출 모델 (322) 각각에 입력될 수 있다. 그 다음, 각각의 피쳐 추출 모델 (322) 에 서로 상이한 하나의 피쳐 (324) 가 추출 (출력) 될 수 있다. 마지막으로, 각각의 피쳐 추출 모델 (322) 에 의해 추출된 피쳐가 결합되어, 결합 피쳐 (226) 가 획득될 수 있다.
본 발명의 다른 특징에 따르면, 피쳐를 추출하는 단계 (S320) 에서 복수개의 피쳐 추출 모델 각각은, 피쳐 추출 모델 별로 서로 상이한 적어도 두 개의 피쳐를 추출하도록 구성될 수 있다.
예를 들어, 도 3c를 참조하면, 의료 영상 (312) 이 복수개의 피쳐 추출 모델 (322) 각각에 입력될 수 있다. 그 다음, 각각의 피쳐 추출 모델 (322) 에 서로 상이한 두 개의 복수의 피쳐 (324) 가 추출 (출력) 될 수 있다. 다음으로, 피쳐 추출 모델 (322) 별로 복수의 피쳐 (324) 를 결합하는 제1 결합을 통해, 모델별 결합 피쳐 (326) 가 각각 획득될 수 있다. 마지막으로, 복수개의 모델별 결합 피쳐 (326) 를 결합하는 제2 결합을 통해, 최종 결합 피쳐 (328) 가 획득될 수 있다.
마지막으로, 병변을 분류하는 단계 (S330) 에서, 피쳐를 추출하는 단계 (S320) 의 결과로 추출된 피쳐에 대하여 복수개의 분류기가 병변을 분류할 수 있다.
본 발명의 특징에 따르면, 병변을 분류하는 단계 (S330) 에서, 복수개의 분류기에 의해 피쳐에 대한 병변 확률이 산출되고, 병변 확률에 기초하여 목적 부위에 대한 병변이 분류된다.
본 발명의 다른 특징에 따르면, 병변을 분류하는 단계 (S330) 에서, 복수개의 분류기 각각은, 복수개의 피쳐 추출 모델에 의해 출력된 피쳐들이 결합된 결합 피쳐를 기초로 병변을 분류하도록 구성된다.
예를 들어, 도 3d를 참조하면, 병변을 분류하는 단계 (S330) 에서, 피쳐를 추출하는 단계 (S320) 의 결과로 획득된 하나의 결합 피쳐 (326) 가 복수의 분류기 (332) 각각에 입력될 수 있다. 그 다음, 복수개의 분류기 (332) 각각에 의해 결합 피쳐 (326) 에 대하여 미리 결정된 병변일 확률, 즉 병변 확률 (334) 이 산출될 수 있다. 그 다음, 복수개의 분류기 (332) 각각에 의해 산출된 복수개의 병변 확률 (334) 에 대한 평균 병변 확률 (335) 이 산출된다. 마지막으로, 병변에 대한 평균 병변 확률 (335) 이 미리 결정된 수준 이상인 경우, 목적 부위에 대하여 미리 결정된 병변이 존재하는 것으로 분류될 수 있다. 즉, 병변을 분류하는 단계 (S330) 의 결과로 분류 병변 (336) 에 대한 정보가 제공될 수 있다. 이때, 분류 병변 (336) 에 대한 확률이 병변 진단에 관한 정보로서 함께 제공될 수도 있다.
본 발명의 또 다른 특징에 따르면, 병변을 분류하는 단계 (S330) 에서, 복수개의 분류기에 의해, 미리 결정된 복수개의 병변 중 하나의 병변이 결정된다.
보다 구체적으로, 병변을 분류하는 단계 (S330) 에서, 복수개의 분류기에 의해 피쳐에 대한 복수개의 병변 각각의 확률이 산출되고, 복수개의 분류기에 의해 산출된 복수개의 병변 각각의 확률에 기초하여 복수개의 병변별 평균 병변 확률이 산출될 수 있다. 그 다음, 평균 병변 확률에 기초하여 목적 부위는 복수개의 병변 중 하나의 병변을 갖는 것으로 결정될 수 있다.
본 발명의 또 다른 특징에 따르면, 병변을 분류하는 단계 (S330) 에서, 복수개의 분류기로 구성된 앙상블 분류기에 의해 복수개의 피쳐에 기초한 병변이 결정된다.
예를 들어, 도 3e를 참조하면, 병변을 분류하는 단계 (S330) 에서, 피쳐를 추출하는 단계 (S320) 의 결과로 획득된 복수개의 결합 피쳐 (326) 가 복수개의 앙상블 분류기 (342) 에 각각 입력될 수 있다. 그 다음, 복수개의 앙상블 분류기 (342) 각각에 의해 병변 확률 (334), 평균 병변 확률 (335) 이 산출되고, 앙상블 분류기 (342) 별 분류 병변 (336) 이 각각 결정될 수 있다. 그 다음, 앙상블 분류기 (342) 별 분류 병변 (336) 에 대한 평균 분류 병변 확률 (337) 이 산출될 수 있다. 마지막으로, 병변에 대한 평균 분류 병변 확률 (337) 이 미리 결정된 수준 이상인 경우, 목적 부위에 대하여 미리 결정된 병변이 존재하는 것으로 최종 분류될 수 있다. 즉, 병변을 분류하는 단계 (S330) 의 결과로 결정된 최종 병변 (338) 에 대한 정보가 제공될 수 있다. 이때, 최종 병변 (338) 에 대한 확률이 병변 진단에 관한 정보로서 함께 제공될 수도 있다.
본 발명의 또 다른 특징에 따르면, 병변을 분류하는 단계 (S330) 에서, 복수개의 앙상블 분류기에 의해, 미리 결정된 복수개의 병변 중 하나의 병변이 결정된다.
보다 구체적으로, 병변을 분류하는 단계 (S330) 에서, 복수개의 앙상블 분류기에 의해 피쳐에 대한 복수개의 병변 각각의 확률이 산출되고, 복수개의 앙상블 분류기에 의해 산출된 복수개의 병변 각각의 확률에 기초하여 복수개의 병변별 평균 병변 확률이 산출될 수 있다. 그 다음, 평균 병변 확률에 기초하여 목적 부위는 복수개의 병변 중 하나의 병변을 갖는 것으로 결정될 수 있다.
이상의 본 발명의 다양한 실시예에 따른 병변 진단에 대한 정보 방법에 따라, 본 발명은, 병변 진단에 있어서 신뢰도 높은 정보를 제공할 수 있다. 예를 들어, 본 발명은 복수의 피쳐 추출 모델 및 복수의 분류기를 이용하여 피쳐를 추출하고 병변을 분류하도록 구성되어, 피쳐 추출 절차 없이 병변을 분류하도록 구성된 단일 모델에 기초한 디바이스보다, 높은 정확도, 정밀도 및 특이도로 병변을 분류할 수 있다
이에, 본 발명은 단일의 예측 모델에 기초한 종래의 보조 진단 시스템보다, 병변 진단에 있어서 신뢰도 높은 정보를 제공할 수 있다.
실시예 1: 미세 조정된 피쳐 추출 모델에 대한 평가
이하에서는, 도 4a 및 4b를 참조하여, 본 발명의 다양한 실시예에 이용되는 미세 조정된 피쳐 추출 모델에 대하여 구체적으로 설명한다. 도 4a는 본 발명의 다양한 실시예에 이용되는 피쳐 추출 모델 및 이에 대하여 수행된 미세 조정 사항을 도시한 것이다. 도 4b는 본 발명의 다양한 실시예에 이용되는 피쳐 추출 모델의 미세 조정 여부에 따른 평가 결과를 도시한 것이다.
보다 구체적으로, 본 평가는, 본 발명의 미세 조정된 피쳐 추출 모델 및 종래의 사전 학습된 모델에 기초한 피쳐 추출 모델 각각에 대하여 피쳐를 추출하고, 추출된 두 종류의 피쳐를 분류기에 적용하고, 병변 분류 결과에 대한 정확도, 정밀도 및 특이도를 측정함으로써 수행되었다.
이때, 피쳐 추출 모델로서 AlexNet, OverFeat, VGG, VGG-verydeep, ResNet 및 Inception이 이용되었고, 분류기로서 SVM 및 RF가 이용되었다.
보다 구체적으로, AlexNet, OverFeat, VGG 및 VGG-verydeep의 피쳐 추출 모델은, 레이어 fc1 및 fc2 중 하나의 레이어, 또는 fc1 및 fc2의 두 개의 출력 레이어에 대하여 피쳐를 추출하도록 미세 조정이 수행되었다. 이때, fc1 및 fc2의 두 개의 레이어에 대하여 피쳐를 추출될 경우, 자가 결합된 결합 피쳐가 최종 피쳐로 이용되었다.
나아가, ResNet 및 Inception의 피쳐 추출 모델은 복수의 레이어 중 선택된 하나의 레이어에서 피쳐를 추출하도록 미세 조정이 수행되었다.
또한, 분류과정에 있어서 SVM 및 RF는 내장 함수 fitcsvm 및 TreeBagger를 사용하여 MATLAB 2018a에 의해 구현되었다. 나아가, SVM는 페널티 매개 변수 C를 1로 선택하고 커널 규모를 경험적 절차에 의해 산출하도록 구성되었다.
그러나, 본 발명의 피쳐 추출 모델 및 분류는, 전술한 것에 제한되는 것이 아니다.
도 4a를 참조하면, AlexNet, OverFeat, VGG, VGG-verydeep, ResNet 및 Inception의 피쳐 추출 모델 각각에 대하여 적용된, 언어 (Language), 패키지 (Package) 및 사전 학습의 가중치 (Pre-trained weights) 의 미세 조정 정보가 도시된다. 나아가, 상기 모델 각각에 대하여 적용된, 학습용 의료 영상에 대한 반복 학습 회수를 의미하는 에폭 (Epochs), 학습 비율 (Learning rate) 및 학습 붕괴 (Learning decay) 의 미세 조정 정보가 도시된다.
이때, 에폭, 학습 비율 및 학습 붕괴에 대한 값들은, 6 회의 크로스 검정을 통해 최적화된 수치일 수 있다.
도 4b를 참조하면, 대부분의 피쳐 추출 모델에서, 마지막 레이어를 변형하고 선택 학습용 의료 영상으로 재학습을 진행한 미세 조정이 반영되었을 때, 분류의 정확도, 정밀도 및 특이도의 향상이 나타난다.
특히, 미세 조정된 AlexNet, OverFeat 및 VGG의 피쳐 추출 모델로부터 피쳐를 추출하고, 이로부터 병변을 분류한 결과 (With fine-tuning) 에서 정확도, 정밀도 및 민감도가 크게 향상된 것으로 나타난다.
나아가, RF를 분류기로 적용했을 때, SVM의 분류기를 이용했을 때보다 병변 분류 능력이 보다 우수한 것으로 나타난다.
즉, 이와 같은 결과는, 마지막 레이어를 변형하고 재학습이 수행된 AlexNet, OverFeat 및 VGG의 피쳐 추출 모델의 경우, 사전 훈련된 상태의 오리지널 AlexNet, OverFeat 및 VGG의 피쳐 추출 모델보다 병변 분류 능력이 향상된 것을 의미할 수 있다.
이상의 실시예 1의 결과에 따르면, 본 발명의 다양한 실시예에 이용되는 미세 조정된 피쳐 추출 모델, 특히 미세 조정이 수행된 AlexNet, OverFeat 및 VGG의 피쳐 추출 모델은 병변 분류 능력이 향상된 것으로 나타난다. 이에, 본 발명은, 상기와 같은 미세 조정된 피쳐 추출 모델을 이용함에 따라, 병변 진단에 있어서 신뢰도 높은 정보를 제공할 수 있는 효과가 있다.
실시예 2: 복수의 피쳐 추출 모델 결합에 대한 평가
이하에서는, 도 5a 내지 5e를 참조하여, 본 발명의 다양한 실시예에 이용되는 복수의 피쳐 추출 모델의 결합 여부에 따른 평가 결과를 설명한다. 도 5a 내지 5e는 본 발명의 다양한 실시예에 이용되는 복수개의 피쳐 추출 모델의 결합에 따른 평가 결과를 도시한 것이다.
이때, 본 평가는, 전술한 실시예 1에서 병변 분류 능력 우수한 6 개의 모델에 대하여 수행되었다.
보다 구체적으로, 도 5a를 참조하면, fc2 레이어에 대하여 피쳐를 추출하도록 미세 조정된 AlexNet ([A]), fc2 레이어에 대하여 피쳐를 추출하도록 미세 조정된 OverFeat ([O]), fc1 레이어에 대하여 피쳐를 추출하도록 미세 조정된 VGG ([V]), fc2의 출력 레이어를 갖는 VGG-verydeep ([Vv]), 하나의 출력 레이어를 갖는 ResNet ([R]) 및 하나의 출력 레이어를 갖는 Inception ([I]) 의 6 개의 모델이 선택되었다.
선택된 6 개의 모델로부터 피쳐를 추출하고, 추출된 피쳐를 분류기에 적용하여, 병변 분류 결과에 대한 정확도, 정밀도 및 특이도가 측정되었다. 이때, 분류기로서 SVM 및 RF가 이용되었다.
도 5b를 참조하면, 6 개의 모델 중 선택된 2 개의 모델의 조합을 이용했을 때, 전반적으로 분류에 대한 정확도, 정밀도 및 특이도가 향상된 것으로 나타난다.
보다 구체적으로, 2 개의 모델 각각으로부터 추출된 피쳐를 결합하고, 이를 SVM 및 RF에 적용하여 병변을 분류했을 때, 단일의 모델을 이용했을 때 보다 병변 분류에 대한 성능이 향상된 것으로 나타난다.
특히, 병변 분류의 정확도는, fc2의 출력 레이어를 갖는 VGG-verydeep ([Vv]) 와 하나의 출력 레이어를 갖는 Inception ([I]) 의 피쳐를 결합한 [VvI]를 제외한 나머지 모든 조합에서, 단일 모델을 이용했을 때 보다 향상된 것으로 나타난다.
도 5c를 참조하면, 6 개의 모델 중 선택된 3 개의 모델의 조합을 이용했을 때, 2 개의 모델의 조합을 이용했을 때와 유사한 수준의 정확도, 정밀도 및 특이도의 향상이 나타난다.
보다 구체적으로, 3 개의 모델 각각으로부터 추출된 피쳐를 결합하고, 이를 SVM 및 RF에 적용하여 병변을 분류했을 때, 단일의 모델을 이용했을 때 보다 병변 분류에 대한 성능이 향상된 것으로 나타난다.
특히, 병변 분류의 정확도는, fc2 레이어에 대하여 피쳐를 추출하도록 미세 조정된 AlexNet ([A]), fc1 레이어에 대하여 피쳐를 추출하도록 미세 조정된 VGG ([V]) 및 하나의 출력 레이어를 갖는 Inception ([I]) 의 피쳐를 결합한 [AVI]의 경우, RF 모델에 의한 분류 결과의 특이도는 99 %로 단일 또는 두 개의 모델을 이용한 결과에서보다 현저하게 높아진 것으로 나타난다.
나아가, fc2 레이어에 대하여 피쳐를 추출하도록 미세 조정된 OverFeat ([O]), fc1 레이어에 대하여 피쳐를 추출하도록 미세 조정된 VGG ([V]) 및 하나의 출력 레이어를 갖는 ResNet ([R]) 의 피쳐를 결합한 [OVR]의 경우, SVM 모델에 의한 분류 결과의 정확도 (94.7 %) 및 RF 모델에 의한 분류 결과의 정밀도 (94.0 %) 의 향상이 나타난다.
도 5d를 참조하면, 6 개의 모델 중 선택된 4 개의 모델의 조합을 이용했을 때, 현저한 정확도, 정밀도 및 특이도의 향상이 나타난다.
보다 구체적으로, 4 개의 모델 각각으로부터 추출된 피쳐를 결합하고, 이를 SVM 및 RF에 적용하여 병변을 분류했을 때, 단일의 모델을 이용했을 때 보다 병변 분류에 대한 성능이 향상된 것으로 나타난다.
특히, 도 5d에 개시된 4 개의 모델의 모든 조합에 따른 분류 결과의 정확도는 최소 90 %, 최대 94 %로 단일 모델을 이용했을 때보다 향상된 것으로 나타난다. 나아가, 4 개의 모델의 모든 조합에 따른 분류 결과의 특이도는 최소 91 %, 최대 99%로 단일 모델을 이용했을 때보다 향상된 것으로 나타난다. 또한, 병변 분류 능력의 향상 수준은, SVM의 분류기를 적용했을 때, RF의 분류기를 적용했을 때보다 높은 것으로 나타난다.
도 5d를 참조하면, 6 개의 모델 중 선택된 5 개 및 6 개의 모델의 조합을 이용했을 때, 전술한 4 개 이하의 모델의 조합에 따른 분류 결과와 유사한 수준으로 나타난다.
이상의 실시예 2의 결과에 따르면, 본 발명의 다양한 실시예에 이용되는 피쳐 추출 모델은, 복수개의 조합으로 이용되었을 때 병변 분류의 성능이 향상된 것으로 나타난다. 이에, 본 발명은, 복수의 피쳐 추출 모델에 기초한 보조 진단 시스템을 제공함에 따라, 단일의 모델을 이용했을 때보다 높은 정확도, 정밀도 및 특이도로 병변에 대한 분류 결과를 제공할 수 있다. 즉, 본 발명은 병변 진단에 있어서 신뢰도 높은 정보를 제공할 수 있는 효과가 있다.
실시예 3: 복수의 분류기 결합에 대한 평가 (앙상블 분류기에 대한 평가)
이하에서는, 도 6을 참조하여, 본 발명의 다양한 실시예에 이용되는 복수의 분류기의 결합에 따른 평가 결과를 설명한다. 도 6은 본 발명의 다양한 실시예에 이용되는 복수개의 분류기의 결합에 따른 평가 결과를 도시한 것이다.
본 평가는, 전술한 실시예 2에서 이용된, fc2 레이어에 대하여 피쳐를 추출하도록 미세 조정된 AlexNet ([A]), fc2 레이어에 대하여 피쳐를 추출하도록 미세 조정된 OverFeat ([O]), fc1 레이어에 대하여 피쳐를 추출하도록 미세 조정된 VGG ([V]), fc2의 출력 레이어를 갖는 VGG-verydeep ([Vv]), 하나의 출력 레이어를 갖는 ResNet ([R]) 및 하나의 출력 레이어를 갖는 Inception ([I])의 6 개의 모델에 대하여 수행되었다.
보다 구체적으로, 상기 6 개의 모델 중 선택된 적어도 하나의 모델로부터 추출된 피쳐 (또는, 결합 피쳐) 를 SVM 및 RF가 결합된 앙상블 분류기에 적용하였고, 이로부터 병변 분류 결과에 대한 정확도, 정밀도 및 특이도를 평가하였다.
이때, 앙상블 분류기에 의한 병변 분류는, SVM 및 RF에 피쳐가 입력되고 SVM 및 RF 각각에 의해 병변에 대한 확률, 즉 병변 확률이 산출되고, 산출된 병변 확률에 대한 평균 병변 확률에 기초하여 병변이 최종 결정 (분류) 됨으로써 수행될 수 있다.
도 6을 참조하면, 6 개의 모델 중 선택된 단일 모델에 의해 추출된 피쳐 또는 6 개의 모델 중 선택된 2 개 이상의 모델의 조합에 의해 추출된 피쳐에 기초한, SVM 및 RF로 구성된 앙상블 분류기의 병변 분류 결과가 도시된다.
보다 구체적으로, 단일 피쳐 추출 모델 또는 복수의 피쳐 추출 모델 모두에 대하여, 병변 분류 능력은 앙상블 분류기를 적용되었을 때, 단일의 분류기 (SVM 또는 RF) 를 적용했을 때보다 향상된 것으로 나타난다.
특히, 복수의 피쳐 추출 모델과 복수의 분류기의 조합에 의한 병변 분류의 결과에서 정확도 및 특이도는, 단일의 피쳐 추출 모델과 단일의 분류기를 이용했을 때보다 증가한 것으로 나타난다. 보다 구체적으로, fc2 레이어에 대하여 피쳐를 추출하도록 미세 조정된 OverFeat ([O]), fc1 레이어에 대하여 피쳐를 추출하도록 미세 조정된 VGG ([V]) 및 하나의 출력 레이어를 갖는 Inception ([I])의 3 개의 피쳐 추출 모델의 조합 및 앙상블 분류기가 적용된 [O][V][I]의 경우, 특이도가 98 %로, 단일의 피쳐 추출 모델과 단일의 분류기를 이용했을 때보다 현저하게 증가한 것으로 나타난다. 나아가, fc2의 출력 레이어를 갖는 VGG-verydeep ([Vv]) 및 하나의 출력 레이어를 갖는 ResNet ([R])의 2 개의 피쳐 추출모델의 조합 및 앙상블 분류기가 적용된 [Vv][R]의 경우, 민감도가 92 %로, 단일의 피쳐 추출 모델과 단일의 분류기를 이용했을 때보다 현저하게 증가한 것으로 나타난다. 또한, fc2 레이어에 대하여 피쳐를 추출하도록 미세 조정된 AlexNet ([A]), fc1 레이어에 대하여 피쳐를 추출하도록 미세 조정된 VGG ([V]) 및 하나의 출력 레이어를 갖는 ResNet ([R])의 3 개의 피쳐 추출모델의 조합 및 앙상블 분류기가 적용된 [A][V][R]의 경우, 정확도가 94.7 %로, 단일의 피쳐 추출 모델과 단일의 분류기를 이용했을 때보다 현저하게 증가한 것으로 나타난다.
이상의 실시예 3의 결과에 따르면, 본 발명의 다양한 실시예에 이용되는 분류기는, 복수개의 조합으로 이용되었을 때 병변 분류의 성능이 향상된 것으로 나타난다. 특히, 복수개의 피쳐 추출 모델과 복수개의 분류기를 이용했을 때, 분류의 정확도 및 특이도가 향상된 것으로 나타난다. 이에, 본 발명은, 복수의 피쳐 추출 모델 및 복수의 분류기에 기초한 보조 진단 시스템을 제공함에 따라, 단일의 피쳐 추출 모델 및 단일의 분류기를 이용했을 때보다 높은 정확도, 정밀도 및 특이도로 병변에 대한 분류 결과를 제공할 수 있다. 즉, 본 발명은 병변 진단에 있어서 신뢰도 높은 정보를 제공할 수 있는 효과가 있다.
이상의 실시예들에 따르면, 본 발명은, 의료 영상에 대하여 피쳐를 추출하고, 이를 기초로 질환의 발병 여부 나아가 병변을 예측하도록 구성된 복수개의 모델에 기초한 보조 진단 시스템을 제공함으로써, 개체에 대하여 정확한 진단 정보를 제공할 수 있는 효과가 있다.
이에, 본 발명은, 의료진의 숙련도에 따라 병변 진단 결과가 상이할 수 있어 진단의 신뢰도가 떨어질 수 있는 종래의 의료 영상에 기초한 보조 진단 시스템이 갖는 한계를 극복할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100, 200: 병변 진단에 대한 정보 제공용 디바이스
110: 수신부
120: 입력부
130: 출력부
140: 저장부
150: 프로세서
210: 의료 영상 수신부
220: 피쳐 추출부
222: 사전 학습된 피쳐 추출 모델
224: 변형된 피쳐 추출 모델
226: 미세 조정된 피쳐 추출 모델
228: 재학습된 피쳐 추출 모델
230: 병변 분류부
232: 분류기
234: 학습된 분류기
236: 재학습된 분류기
312: 의료 영상
322: 피쳐 추출 모델
324: 피쳐
326: 결합 피쳐
328: 최종 결합 피쳐
332: 분류기
334: 병변 확률
335: 평균 병변 확률
336: 분류 병변
337: 평균 분류 병변 확률
338: 최종 병변
342: 앙상블 분류기
110: 수신부
120: 입력부
130: 출력부
140: 저장부
150: 프로세서
210: 의료 영상 수신부
220: 피쳐 추출부
222: 사전 학습된 피쳐 추출 모델
224: 변형된 피쳐 추출 모델
226: 미세 조정된 피쳐 추출 모델
228: 재학습된 피쳐 추출 모델
230: 병변 분류부
232: 분류기
234: 학습된 분류기
236: 재학습된 분류기
312: 의료 영상
322: 피쳐 추출 모델
324: 피쳐
326: 결합 피쳐
328: 최종 결합 피쳐
332: 분류기
334: 병변 확률
335: 평균 병변 확률
336: 분류 병변
337: 평균 분류 병변 확률
338: 최종 병변
342: 앙상블 분류기
Claims (24)
- 프로세서에 의해 구현되는 병변 진단에 대한 정보 제공 방법으로서,
목적 부위에 대한 의료 영상을 수신하는 단계;
상기 의료 영상 내에서 병변을 예측하는 처리 중에 추출되는 피쳐 (feature) 를 추출하도록 구성된 복수개의 피쳐 추출 모델을 이용하여, 상기 의료 영상에 대한 피쳐를 추출하는 단계;
추출된 상기 피쳐를 기초로 병변을 분류하도록 구성된 복수개의 분류기 (classifier) 를 이용하여, 상기 의료 영상 내의 상기 목적 부위에 대한 병변을 분류하는 단계를 포함하는, 병변 진단에 대한 정보 제공 방법. - 제1항에 있어서,
상기 복수개의 피쳐 추출 모델 각각은,
상기 피쳐 추출 모델 별로 서로 상이한 적어도 하나의 피쳐를 추출하도록 구성되고,
상기 피쳐를 추출하는 단계 이후에,
결합 피쳐를 획득하도록, 상기 복수개의 피쳐 추출 모델에 의해 각각 추출된, 상기 적어도 하나의 피쳐를 결합하는 단계를 더 포함하고,
상기 목적 부위에 대한 병변을 분류하는 단계는,
상기 복수개의 분류기를 이용하여, 상기 결합 피쳐를 기초로 상기 목적 부위에 대한 병변을 분류하는 단계를 포함하는, 병변 진단에 대한 정보 제공 방법. - 제2항에 있어서,
상기 적어도 하나의 피쳐는,
적어도 두 개의 피쳐이고,
상기 적어도 하나의 피쳐를 결합하는 단계는,
모델별 결합 특징을 획득하도록, 상기 적어도 하나의 피쳐를 모델 별로 제1 결합하는 단계, 및
최종 결합 특징을 획득하도록, 상기 모델별 결합 특징을 제2 결합하는 단계를 포함하고,
상기 목적 부위에 대한 병변을 분류하는 단계는,
상기 복수개의 분류기를 이용하여, 상기 최종 결합 피쳐를 기초로 상기 목적 부위에 대한 병변을 분류하는 단계를 더 포함하는, 병변 진단에 대한 정보 제공 방법. - 제1항에 있어서,
상기 의료 영상 내에서 병변을 분류하는 단계는,
복수개의 분류기를 이용하여, 상기 피쳐에 대한 병변 확률을 산출하는 단계, 및
상기 병변 확률을 기초로 상기 목적 부위에 대한 병변을 분류하는 단계를 포함하는, 병변 진단에 대한 정보 제공 방법. - 제4항에 있어서,
상기 병변은,
미리 결정된 복수개의 병변을 포함하고,
상기 병변 확률을 산출하는 단계는,
복수개의 분류기를 이용하여, 상기 피쳐에 대한 복수개의 병변 각각의 확률을 산출하는 단계, 및
상기 복수개의 분류기에 의해 산출된 상기 복수개의 병변 각각의 확률을 기초로, 상기 복수개의 병변별 평균 병변 확률을 산출하는 단계를 포함하고,
상기 병변 확률을 기초로 상기 목적 부위에 대한 병변을 분류하는 단계는,
상기 평균 병변 확률을 기초로 상기 목적 부위에 대하여 상기 복수개의 병변 중 하나의 병변을 갖는 것으로 결정하는 단계를 포함하는, 병변 진단에 대한 정보 제공 방법. - 제1항에 있어서,
상기 피쳐는, 서로 상이한 피쳐를 복수개 포함하고,
상기 복수개의 분류기는,
상기 복수개의 분류기로 구성된 앙상블 (ensemble) 분류기를 복수개 포함하고,
복수개의 상기 앙상블 분류기는,
상기 앙상블 분류기별로 서로 상이한 피쳐에 대한 병변을 각각 분류하도록 구성되고,
상기 의료 영상 내에서 병변을 분류하는 단계는,
복수개의 상기 앙상블 분류기를 이용하여, 복수개의 상기 서로 상이한 피쳐 각각에 대한 병변 확률을 산출하는 단계, 및
상기 복수개의 상기 서로 상이한 피쳐 각각에 대한 병변 확률을 기초로, 상기 목적 부위에 대한 병변을 분류하는 단계를 포함하는, 병변 진단에 대한 정보 제공 방법. - 제6항에 있어서,
상기 병변은,
미리 결정된 복수개의 병변을 포함하고,
상기 병변 확률을 산출하는 단계는,
복수개의 상기 앙상블 분류기를 이용하여, 복수개의 상기 서로 상이한 피쳐 각각에 대한 복수개의 병변 각각의 확률을 산출하는 단계, 및
복수개의 상기 서로 상이한 피쳐 각각에 대한 복수개의 병변 각각의 확률을 기초로, 상기 복수개의 병변별 평균 병변 확률을 산출하는 단계를 포함하고,
상기 병변 확률을 기초로 상기 목적 부위에 대한 병변을 분류하는 단계는,
상기 평균 병변 확률을 기초로 상기 목적 부위에 대하여 상기 복수개의 병변 중 하나의 병변을 갖는 것으로 결정하는 단계를 포함하는, 병변 진단에 대한 정보 제공 방법. - 제1항에 있어서,
상기 피쳐 추출 모델은,
상기 병변에 대한 최종 예측 전에, 상기 피쳐를 추출하도록 변형된 모델인, 병변 진단에 대한 정보 제공 방법. - 제8항에 있어서,
상기 피쳐 추출 모델은,
복수의 레이어로 구성된 사전 학습된 (pre-trained) CNN (convolutional neural network) 모델이고,
상기 복수의 레이어 중 선택된 하나의 레이어가 출력 레이어로 변형된 모델인, 병변 진단에 대한 정보 제공 방법. - 제8항에 있어서,
상기 피쳐 추출 모델은,
학습용 의료 영상을 수신하는 단계, 및
상기 변형된 출력 레이어를 갖는 피쳐 추출 모델에 대하여 상기 학습용 의료 영상을 기초로 피쳐를 추출하도록 학습하는 단계를 통해 미세 조정된 (fine-tuned) 피쳐 추출 모델인, 병변 진단에 대한 정보 제공 방법. - 제10항에 있어서,
상기 피쳐 추출 모델은,
상기 학습용 의료 영상 중 분산이 미리 결정된 수준 이상인 선택 학습용 의료 영상을 결정하는 단계, 및
상기 미세 조정된 피쳐 추출 모델에 대하여 상기 선택 학습용 의료 영상을 기초로 피쳐를 추출하도록 학습하는 단계를 통해 재학습된 피쳐 추출 모델인, 병변 진단에 대한 정보 제공 방법. - 제1항에 있어서,
상기 분류기는,
미리 결정된 병변을 포함하는 학습용 의료 영상에 대하여, 상기 피쳐 추출 모델에 의해 추출된 피쳐를 수신하는 단계, 및
상기 학습용 의료 영상에 대하여 추출한 피쳐를 기초로, 상기 미리 결정된 병변을 분류하는 단계를 통해 학습된 분류기인, 병변 진단에 대한 정보 제공 방법. - 제12항에 있어서,
상기 분류기는,
상기 학습용 의료 영상 중 분산이 미리 결정된 수준 이상인 선택 학습용 의료 영상을 결정하는 단계, 및
상기 학습된 분류기에 대하여 상기 선택 학습용 의료 영상에 대한 피쳐를 기초로 상기 미리 결정된 병변을 분류하는 단계를 통해 재학습된 분류기인, 병변 진단에 대한 정보 제공 방법. - 제1항에 있어서,
상기 의료 영상은,
초음파 영상, X-레이 (X-ray) 영상, CT (computed tomography) 영상, MRI (magnetic resonance imaging) 영상, 내시경 영상 및 PET (positron emission tomography) 영상 중 적어도 하나인, 병변 진단에 대한 정보 제공 방법. - 제1항에 있어서,
상기 복수개의 피쳐 추출 모델은, AlexNet, OverFeat, VGG, VGG-verydeep, ResNet, GoogleNet 및 Inception 중 적어도 두 개의 딥 러닝 모델인, 병변 진단에 대한 정보 제공 방법. - 제1항에 있어서,
상기 복수개의 분류기는, SVM (Support Vector Machine), RF (Random Forests), LDA (linear discriminant analysis), QDA (quadratic discriminant analysis), 결정 트리 (decision tree), XG Boost (extreme gradient boosting), 로지스틱 회귀분석 (logistic regression), logistic regression, NN (nearest neighbor) 및 GMM (Gaussian mixture model) 중 적어도 두 개의 분류 모델인, 병변 진단에 대한 정보 제공 방법. - 프로세서에 의해 구현되는 병변 진단에 대한 정보 제공용 디바이스로서,
목적 부위에 대한 의료 영상을 수신하도록 구성된 수신부, 및
상기 수신부와 통신하도록 구성된 프로세서를 포함하고,
상기 프로세서는,
상기 의료 영상 내에서 병변을 예측하는 처리 중에 추출되는 피쳐를 추출하도록 구성된 복수개의 피쳐 추출 모델을 이용하여, 상기 의료 영상에 대한 피쳐를 추출하고,
추출된 상기 피쳐를 기초로 병변을 분류하도록 구성된 복수개의 분류기를 이용하여 상기 의료 영상 내의 상기 목적 부위에 대한 병변을 분류하도록 구성된, 병변 진단에 대한 정보 제공용 디바이스. - 제17항에 있어서,
상기 복수개의 피쳐 추출 모델 각각은,
상기 피쳐 추출 모델 별로 서로 상이한 적어도 하나의 피쳐를 추출하도록 구성되고,
상기 프로세서는,
결합 피쳐를 획득하도록, 상기 복수개의 피쳐 추출 모델에 의해 각각 추출된, 상기 적어도 하나의 피쳐를 결합하고, 상기 복수개의 분류기를 이용하여 상기 결합 피쳐를 기초로 상기 목적 부위에 대한 병변을 분류하도록 더 구성된, 병변 진단에 대한 정보 제공용 디바이스. - 제18항에 있어서,
상기 적어도 하나의 피쳐는,
적어도 두 개의 피쳐이고,
상기 프로세서는,
모델별 결합 특징을 획득하도록 상기 적어도 하나의 피쳐를 모델 별로 제1 결합하고,
최종 결합 특징을 획득하도록 상기 모델별 결합 특징을 제2 결합하고, 상기 복수개의 분류기를 이용하여 상기 최종 결합 피쳐를 기초로 상기 목적 부위에 대한 병변을 분류하도록 더 구성된, 병변 진단에 대한 정보 제공용 디바이스. - 제17항에 있어서,
상기 프로세서는,
복수개의 분류기를 이용하여 상기 피쳐에 대한 병변 확률을 산출하고, 상기 병변 확률을 기초로 상기 목적 부위에 대한 병변을 분류하도록 더 구성된, 병변 진단에 대한 정보 제공용 디바이스. - 제20항에 있어서,
상기 병변은,
미리 결정된 복수개의 병변을 포함하고,
상기 프로세서는,
복수개의 분류기를 이용하여 상기 피쳐에 대한 복수개의 병변 각각의 확률을 산출하고, 상기 복수개의 분류기에 의해 산출된 상기 복수개의 병변 각각의 확률을 기초로 상기 복수개의 병변별 평균 병변 확률을 산출하고, 상기 평균 병변 확률을 기초로 상기 목적 부위에 대하여 상기 복수개의 병변 중 하나의 병변을 갖는 것으로 결정하도록 더 구성된, 병변 진단에 대한 정보 제공용 디바이스. - 제1항에 있어서,
상기 피쳐는, 서로 상이한 피쳐를 복수개 포함하고,
상기 복수개의 분류기는,
상기 복수개의 분류기로 구성된 앙상블 (ensemble) 분류기를 복수개 포함하고,
복수개의 상기 앙상블 분류기는,
상기 앙상블 분류기별로 서로 상이한 피쳐에 대한 병변을 각각 분류하도록 구성되고,
상기 프로세서는,
복수개의 상기 앙상블 분류기를 이용하여, 복수개의 상기 서로 상이한 피쳐 각각에 대한 병변 확률을 산출하고, 상기 복수개의 상기 서로 상이한 피쳐 각각에 대한 병변 확률을 기초로 상기 목적 부위에 대한 병변을 분류하도록 더 구성된, 병변 진단에 대한 정보 제공용 디바이스. - 제22항에 있어서,
상기 병변은,
미리 결정된 복수개의 병변을 포함하고,
상기 프로세서는,
복수개의 상기 앙상블 분류기를 이용하여, 복수개의 상기 서로 상이한 피쳐 각각에 대한 복수개의 병변 각각의 확률을 산출하고, 복수개의 상기 서로 상이한 피쳐 각각에 대한 복수개의 병변 각각의 확률을 기초로 상기 복수개의 병변별 평균 병변 확률을 산출하고, 상기 평균 병변 확률을 기초로 상기 목적 부위에 대하여 상기 복수개의 병변 중 하나의 병변을 갖는 것으로 결정하도록 더 구성된, 병변 진단에 대한 정보 제공용 디바이스. - 목적 부위에 대한 의료 영상을 수신하도록 구성된, 의료 영상 수신부;
상기 의료 영상 내에서 병변을 예측하는 처리 중에 추출되는 피쳐를 추출하도록 구성된 복수개의 피쳐 추출 모델을 이용하여, 상기 의료 영상에 대한 피쳐를 추출하도록 구성된, 피쳐 추출부, 및
추출된 상기 피쳐를 기초로 병변을 분류하도록 구성된 복수개의 분류기를 이용하여, 상기 의료 영상 내의 상기 목적 부위에 대한 병변을 분류하도록 구성된, 병변 분류부를 포함하는, 병변 진단에 대한 정보 제공용 디바이스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180170262A KR102209382B1 (ko) | 2018-12-27 | 2018-12-27 | 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180170262A KR102209382B1 (ko) | 2018-12-27 | 2018-12-27 | 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20200080626A true KR20200080626A (ko) | 2020-07-07 |
| KR102209382B1 KR102209382B1 (ko) | 2021-01-28 |
| KR102209382B9 KR102209382B9 (ko) | 2023-02-21 |
Family
ID=71603086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180170262A KR102209382B1 (ko) | 2018-12-27 | 2018-12-27 | 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102209382B1 (ko) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200124973A (ko) * | 2019-04-25 | 2020-11-04 | 이화여자대학교 산학협력단 | 위암의 예후 예측을 위한 정보 제공 방법 |
| CN112037167A (zh) * | 2020-07-21 | 2020-12-04 | 苏州动影信息科技有限公司 | 一种基于影像组学和遗传算法的目标区域确定系统 |
| KR102270669B1 (ko) * | 2020-11-27 | 2021-06-29 | 주식회사 웨이센 | 인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치 |
| WO2022131607A1 (ko) * | 2020-12-14 | 2022-06-23 | 가톨릭대학교 산학협력단 | 세포 선별 장치 및 방법 |
| KR20220090172A (ko) * | 2020-12-22 | 2022-06-29 | 가천대학교 산학협력단 | 골절 검출 방법 및 이를 이용한 디바이스 |
| KR20220115757A (ko) * | 2021-02-10 | 2022-08-18 | 경북대학교 산학협력단 | 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템 |
| KR20220135683A (ko) * | 2021-03-31 | 2022-10-07 | 연세대학교 산학협력단 | 저선량 ct 영상 노이즈 저감 장치와 이를 위한 학습 장치 및 방법 |
| WO2023106679A1 (ko) * | 2021-12-06 | 2023-06-15 | 연세대학교 산학협력단 | 욕창에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
| WO2023128284A1 (ko) * | 2021-12-28 | 2023-07-06 | 가천대학교 산학협력단 | 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스 |
| KR102598233B1 (ko) * | 2022-06-07 | 2023-11-07 | 충북대학교병원 | 의료 영상을 대상으로 하는 딥러닝 기반의 의료정보 제공시스템 및 방법 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240035663A (ko) * | 2022-09-08 | 2024-03-18 | 재단법인 아산사회복지재단 | 트리 기반의 앙상블 모델을 이용하여 시퀀스 모델의 입력 데이터의 피처를 선택하는 방법 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101824691B1 (ko) * | 2017-01-05 | 2018-02-02 | 서울여자대학교 산학협력단 | 조영 증강된 다중검출 컴퓨터 단층 촬영 영상에서 정량적 특징 분류를 사용하여 지방이 적은 혈관근지방종과 투명세포 신세포암을 구별하기 위한 방법 |
-
2018
- 2018-12-27 KR KR1020180170262A patent/KR102209382B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101824691B1 (ko) * | 2017-01-05 | 2018-02-02 | 서울여자대학교 산학협력단 | 조영 증강된 다중검출 컴퓨터 단층 촬영 영상에서 정량적 특징 분류를 사용하여 지방이 적은 혈관근지방종과 투명세포 신세포암을 구별하기 위한 방법 |
Non-Patent Citations (2)
| Title |
|---|
| 이우선, "Ensemble Algorithm을 이용한 간암진단의 분류분석", 연세대학교 대학원 의학전산통계협동과정, 석사 학위논문, 2001.12. * |
| 정용규, 허고은, "효율적인 의료진단을 위한 앙상블 분류 기법", 한국인터넷방송통신학회 논문지 제10권 제3호 pp.97~102, 2010년 6월 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200124973A (ko) * | 2019-04-25 | 2020-11-04 | 이화여자대학교 산학협력단 | 위암의 예후 예측을 위한 정보 제공 방법 |
| CN112037167B (zh) * | 2020-07-21 | 2023-11-24 | 苏州动影信息科技有限公司 | 一种基于影像组学和遗传算法的目标区域确定系统 |
| CN112037167A (zh) * | 2020-07-21 | 2020-12-04 | 苏州动影信息科技有限公司 | 一种基于影像组学和遗传算法的目标区域确定系统 |
| KR102270669B1 (ko) * | 2020-11-27 | 2021-06-29 | 주식회사 웨이센 | 인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치 |
| WO2022131607A1 (ko) * | 2020-12-14 | 2022-06-23 | 가톨릭대학교 산학협력단 | 세포 선별 장치 및 방법 |
| KR20220090172A (ko) * | 2020-12-22 | 2022-06-29 | 가천대학교 산학협력단 | 골절 검출 방법 및 이를 이용한 디바이스 |
| WO2022139246A1 (ko) * | 2020-12-22 | 2022-06-30 | 가천대학교 산학협력단 | 골절 검출 방법 및 이를 이용한 디바이스 |
| KR20220115757A (ko) * | 2021-02-10 | 2022-08-18 | 경북대학교 산학협력단 | 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템 |
| WO2022173233A1 (ko) * | 2021-02-10 | 2022-08-18 | 경북대학교 산학협력단 | 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템 |
| KR20220135683A (ko) * | 2021-03-31 | 2022-10-07 | 연세대학교 산학협력단 | 저선량 ct 영상 노이즈 저감 장치와 이를 위한 학습 장치 및 방법 |
| WO2023106679A1 (ko) * | 2021-12-06 | 2023-06-15 | 연세대학교 산학협력단 | 욕창에 대한 정보 제공 방법 및 이를 이용한 디바이스 |
| WO2023128284A1 (ko) * | 2021-12-28 | 2023-07-06 | 가천대학교 산학협력단 | 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스 |
| KR102598233B1 (ko) * | 2022-06-07 | 2023-11-07 | 충북대학교병원 | 의료 영상을 대상으로 하는 딥러닝 기반의 의료정보 제공시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102209382B9 (ko) | 2023-02-21 |
| KR102209382B1 (ko) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102209382B1 (ko) | 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스 | |
| JP7069359B2 (ja) | 深層学習を使用して癌検出を改善するための方法およびシステム | |
| ES2914387T3 (es) | Estudio inmediato | |
| US20220254023A1 (en) | System and Method for Interpretation of Multiple Medical Images Using Deep Learning | |
| US10424411B2 (en) | Biopsy-free detection and staging of cancer using a virtual staging score | |
| US20230410301A1 (en) | Machine learning techniques for tumor identification, classification, and grading | |
| US11308611B2 (en) | Reducing false positive detections of malignant lesions using multi-parametric magnetic resonance imaging | |
| WO2019232346A1 (en) | Systems and media for automatically diagnosing thyroid nodules | |
| JP2020144700A (ja) | 画像診断装置、画像処理方法及びプログラム | |
| Shahangian et al. | Automatic brain hemorrhage segmentation and classification in CT scan images | |
| KR102257904B1 (ko) | 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스 | |
| Reddy et al. | Intelligent deep learning algorithm for lung cancer detection and classification | |
| Midya et al. | Computerized diagnosis of liver tumors from CT scans using a deep neural network approach | |
| WO2022178329A1 (en) | Methods and related aspects for classifying lesions in medical images | |
| WO2020263002A1 (ko) | 혈관 세그멘테이션 방법 | |
| Boyanapalli et al. | Ovarian cancer detection in computed tomography images using ensembled deep optimized learning classifier | |
| CN115131279A (zh) | 通过深度学习模型的疾病分类 | |
| Retico | Computer-aided detection for pulmonary nodule identification: improving the radiologist's performance? | |
| Al et al. | Reinforcement learning-based automatic diagnosis of acute appendicitis in abdominal ct | |
| Qian et al. | In vivo MRI based prostate cancer identification with random forests and auto-context model | |
| Zahari et al. | Quantifying the Uncertainty in 3D CT Lung Cancer Images Classification | |
| US11282193B2 (en) | Systems and methods for tumor characterization | |
| KR102311472B1 (ko) | 정상 조직 영역의 예측 방법 및 이를 이용한 정상 조직 영역 예측용 디바이스 | |
| KR102275760B1 (ko) | 조기 위암의 예측 방법 및 이를 이용한 디바이스 | |
| Adhikari et al. | PiXelNet: A DL-Based method for Diagnosing Lung Cancer using the Histopathological images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] |