KR20200005831A - 조기 위암의 예측 방법 및 이를 이용한 디바이스 - Google Patents
조기 위암의 예측 방법 및 이를 이용한 디바이스 Download PDFInfo
- Publication number
- KR20200005831A KR20200005831A KR1020180079298A KR20180079298A KR20200005831A KR 20200005831 A KR20200005831 A KR 20200005831A KR 1020180079298 A KR1020180079298 A KR 1020180079298A KR 20180079298 A KR20180079298 A KR 20180079298A KR 20200005831 A KR20200005831 A KR 20200005831A
- Authority
- KR
- South Korea
- Prior art keywords
- gastric cancer
- early gastric
- lesion
- suspected
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 206010028980 Neoplasm Diseases 0.000 title description 27
- 201000011510 cancer Diseases 0.000 title description 3
- 201000011591 microinvasive gastric cancer Diseases 0.000 claims abstract description 357
- 208000005718 Stomach Neoplasms Diseases 0.000 claims abstract description 68
- 206010017758 gastric cancer Diseases 0.000 claims abstract description 68
- 201000011549 stomach cancer Diseases 0.000 claims abstract description 68
- 230000003902 lesion Effects 0.000 claims description 246
- 230000002496 gastric effect Effects 0.000 claims description 100
- 230000009545 invasion Effects 0.000 claims description 45
- 230000009404 submucosal invasion Effects 0.000 claims description 41
- 238000001839 endoscopy Methods 0.000 claims description 12
- 238000002575 gastroscopy Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000000873 masking effect Effects 0.000 claims description 5
- 230000001225 therapeutic effect Effects 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 238000011156 evaluation Methods 0.000 description 12
- 238000011282 treatment Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 238000004393 prognosis Methods 0.000 description 8
- 206010064390 Tumour invasion Diseases 0.000 description 7
- 230000009400 cancer invasion Effects 0.000 description 7
- 210000002784 stomach Anatomy 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 238000002405 diagnostic procedure Methods 0.000 description 5
- 210000004877 mucosa Anatomy 0.000 description 4
- 210000004881 tumor cell Anatomy 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 210000004876 tela submucosa Anatomy 0.000 description 3
- 238000012323 Endoscopic submucosal dissection Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000012326 endoscopic mucosal resection Methods 0.000 description 2
- 238000013110 gastrectomy Methods 0.000 description 2
- 201000006585 gastric adenocarcinoma Diseases 0.000 description 2
- 210000001156 gastric mucosa Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 206010011732 Cyst Diseases 0.000 description 1
- 206010051066 Gastrointestinal stromal tumour Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010025323 Lymphomas Diseases 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000009109 curative therapy Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000012143 endoscopic resection Methods 0.000 description 1
- 238000012277 endoscopic treatment Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 201000011587 gastric lymphoma Diseases 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 238000010562 histological examination Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 208000029691 metastatic malignant neoplasm in the lymph nodes Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011470 radical surgery Methods 0.000 description 1
- 238000011127 radiochemotherapy Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
Abstract
본 발명은, 위암 의심 개체에 대하여 위 내시경 영상을 수신하는 단계, 위 내시경 영상을 기초로 조기 위암 발병 여부를 예측하도록 구성된 조기 위암 예측 모델을 이용하여, 위암 의심 개체에 대한 조기 위암 발병 여부를 예측하는 단계, 및 예측 결과를 제공하는 단계를 포함하는, 조기 위암 예측 방법 및 이를 이용한 디바이스를 제공한다.
Description
본 발명은 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에 관한 것으로, 보다 구체적으로 위암 의심 개체에 대한 위 내시경 영상을 기초로 조기 위암의 발병 여부를 예측하고, 종양의 침범 정도를 예측하도록 구성된, 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에 관한 것이다.
위에 생기는 악성 종양에는 위선암(gastric adenocarcinoma), 악성림프종(gastric lymphoma), 간질성 종양(gastrointestinal stromal tumor)등 여러 종류가 있으나 이 중 위선암이 가장 흔하다.
한편, 위암은 종양의 진행 정도에 따라, 조기 위암(early gastric cancer, EGC) 과 진행성 위암(advanced gastric cancer, AGC)으로 분류할 수 있다. 보다 구체적으로, 조기 위암은 림프절로의 전이 유무에 관계 없이, 종양 세포가 위의 점막층 또는 점막 하층까지 침범한 정도의 병태를 의미할 수 있다. 진행성 위암은 종양 세포가 점막하층을 지나 근육층 이상을 뚫고 침범됨에 따른 주변 장기로의 침습이 가능한 정도의 병태를 의미할 수 있다. 이때, 조기 위암 및 진행성 위암은 치료를 위해 적용되는 치료법이 상이할 수 있다. 예를 들어, 조기 위암의 경우, 내시경적 점막절제술(endoscopic mucosal resection, EMR), 내시경적 점막하박리술(endoscopic submucosal dissection, ESD) 및 국소적 근치술과 같은 비교적 간단한 시술 방법이 적용될 수 있고, 진행성 위암의 경우 조기 위암의 국소 치료법과는 대조되는, 림프절 절제와 같은 확대 근치수술과 함께 항암 방사선치료가 적용될 수 있다.
이때, 조기 위암 및 진행성 위암은 수행되는 치료 방법뿐만 아니라, 치료 예후, 나아가 재발률에 있어서도 상이할 수 있다. 예를 들어, 조기 위암 단계에서 치료가 수행되었을 때, 상대적으로 치료 예후가 좋을 수 있고, 재발률 또한 낮을 수 있다. 이에, 조기 단계에서의 위암 진단의 중요성은 지속적으로 높아지고 있다.
조기 위암의 진단 방법으로는 위 내시경 검사가 가장 빈번하게 이용되고 있으나, 조기 위암의 경우 병소 부위가 매우 작게 존재하거나 정상 조직과의 구별이 어려울 수 있어 정확도가 떨어질 수 있다.
의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 조기 위암의 진단, 특히 내시경을 이용한 진단에 있어서 새로운 진단 방법의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
한편, 위암에 대한 새로운 진단 방법으로, 위암과 연관된 바이오마커의 수준에 기초한 분자생물학적 진단 방법이 제안되었다. 그러나, 분자생물학적 진단 방법은, 위암 의심 개체에 대한 위암의 발병 여부는 진단할 수 있으나, 생물학적 특성이 상이한 위암을 정확하게 구분하고 진단하는 것에 한계를 가지고 있다.
본 발명의 발명자들은, 위암의 진단 특히 조기 위암의 정확도 높은 진단과 관련하여, 조기위암 내에서도 침범 깊이에 따라 치료법이 다르며, 같은 종양 단계(tumor stage)에 있다고 하더라도 재발 패턴 및 예후는 각각의 환자들마다 다를 수 있음에 주목하였다. 보다 구체적으로, 본 발명의 발명자들은, 점막층(mucosal) 또는, 점막하층(submucosal) 침범의 조기 위암에 대한 침범 깊이(depth of tumor invasion)를 정확히 예측하는 것이 개인의 상태에 맞춘 정확하고 효과적인 치료법을 제공하고, 나아가 좋은 예후로 이어질 수 있음을 인지하였다. 같은 조기위암이더라도 점막층의 경우에는 위절제와 같은 수술적 처치가 아닌 내시경적 치료만으로도 완치가 가능한 경우가 많다. 따라서, 절제 전 종양세포의 침범 깊이를 정확히 예측하는 것은 위절제가 필요 없는 환자들이 위절제를 받게 되거나 내시경적 절제를 받은 후 치료가 불완전하여 추가수술을 받게 되는 환자들이 없도록 하는데 있어서 매우 중요한 문제이다.
나아가, 본 발명의 발명자들은 종래의 내시경을 이용한 진단 시스템이 갖는 문제점을 해결하고 조기 위암 진단의 정확도를 높이기 위한 방안으로, 위 내시경 영상의 데이터에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다.
그 결과, 본 발명의 발명자들은, 예측 모델을 이용하여 위암 의심 개체의 위 내시경 영상에 대하여 점막층 침범 또는 점막하층 침범의 조기 위암 및 정상과 같은 점막 변화를 확률적으로 예측함에 따라, 조기 위암의 발병 여부와 함께 종양의 침범 깊이에 대한 진단 정보를 제공할 수 있는, 새로운 조기 위암 예측 시스템을 개발하기에 이르렀다.
나아가, 본 발명의 발명자는, 위 내시경 영상 내에서 조기 위암에 대한 병변 의심 영역을 예측하고 미리 결정된 랜드마크를 기초로 병변 의심 영역에 대한 위치를 결정하도록 예측 모델을 트레이닝하였다. 그 결과, 위 내시경 영상 내에서 발견된 병소 부위에 대한 정상 또는 조기 위암 여부를 예측하여 제공하고, 조기 위암일 경우 이의 위치 정보를 제공하도록 구성된, 조기 위암 예측 시스템을 개발할 수 있었다.
이때, 본 발명의 발명자들은, 예측 모델을 이용한 예측에 있어서, 전체 위 내시경 영상 내에서 극히 일부의 영역을 차지하는 병변 의심 영역만을 예측하도록 구성할 경우, 병변 영역이 배경으로 예측되는 가능성이 높다는 것에 주목하였다.
이에, 본 발명의 발명자들은, 위 내시경 영상 내에서 병변 영역만을 포함하도록 크로핑(cropping) 한 학습용 위 내시경 영상을 예측 모델의 학습에 추가적으로 이용하였고, 그 결과 이상의 데이터 불균형에 따른 문제점을 해결할 수 있었다.
이에, 본 발명이 해결하고자 하는 과제는 수신된 위 내시경 영상을 기초로 조기 위암 발병 여부, 나아가 조기 위암의 침범 깊이를 예측하도록 구성된 조기 위암 예측 모델을 이용하여, 조기 위암 발병 여부를 예측하고 예측 결과를 제공하도록 구성된 조기 위암의 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 위 내시경 영상 내에서 조기 위암의 병변 의심 영역을 예측하도록 구성된 병변 의심 영역 예측 모델을 이용하여, 위 내시경 영상 내에서 조기 위암의 병변 의심 영역을 예측하고 예측 결과를 제공하도록 구성된, 조기 위암의 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 위 내시경 영상 내에서, 미리 결정된 랜드마크를 예측하도록 구성된 병변 의심 영역 예측 모델을 이용하여, 병변 의심 영역의 위치를 예측하고 이를 제공하도록 구성된, 조기 위암의 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 복수개의 위 내시경 영상을 수신하고, 조기 위암 예측 모델을 이용하여 복수개의 위 내시경 영상 각각에 대하여 조기 위암 발병 여부를 예측함에 따라, 실시간으로 조기 위암에 대한 진단이 가능한, 조기 위암의 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 위암 의심 개체에 대한 내시경 영상을 획득하도록 구성된 내시경 영상 촬영부, 및 내시경 영상 촬영부와 동작 가능하게 연결되고 다양한 예측 모델을 이용하도록 구성된 프로세서를 포함하는, 조기 위암 예측용 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 조기 위암의 예측 방법이 제공된다. 본 방법은, 위암 의심 개체에 대하여 위 내시경 영상을 수신하는 단계, 위 내시경 영상을 기초로 조기 위암 발병 여부를 예측하도록 구성된 조기 위암 예측 모델을 이용하여, 위암 의심 개체에 대한 조기 위암 발병 여부를 예측하는 단계, 및 예측 결과를 제공하는 단계를 포함한다.
본 발명의 특징에 따르면, 조기 위암 예측 모델은 위 내시경 영상에 기초하여 점막층(mucosal) 침범 조기 위암 또는 점막하층(submucosal) 침범 조기 위암을 예측하도록 더 구성될 수 있다. 나아가, 조기 위암 발병 여부를 예측하는 단계는, 조기 위암 예측 모델을 이용하여 위암 의심 개체에 대하여 정상과 다르게 위암을 예측하고, 예측된 위암이 점막층 침범 조기 위암인지 점막하층 침범 조기 위암 인지를 예측하는 단계를 포함한다.
본 발명의 다른 특징에 따르면, 조기 위암 발병 여부를 예측하는 단계는 조기 위암 예측모델을 이용하여, 위암 의심 개체에 대하여 정상과 다르게 위암을 예측한 후 예측된 위암에 대해 점막층 침범 조기 위암인 확률, 점막하층 침범 조기 위암인 확률을 각각 산출하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 위암 발병 여부를 예측하는 단계는 위 내시경 영상 내에서 조기 위암의 병변 의심 영역을 예측하도록 구성된 병변 의심 영역 예측 모델을 이용하여, 위 내시경 영상 내에서 조기 위암의 병변 의심 영역을 예측하는 단계를 더 포함할 수 있다. 나아가, 제공하는 단계는 병변 의심 영역 예측 모델에 의해, 위 내시경 영상 내에서 조기 위암의 병변 의심 영역이 예측될 경우, 예측된 병변 의심 영역을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 발병 여부를 예측하는 단계는 병변 의심 영역 예측 모델을 이용하여 위 내시경 영상 내에서의 특정 영역에 대하여 병변 영역일 확률 또는, 정상인 확률을 산출하는 단계, 특정 영역에 대하여 병변 영역일 확률이 미리 결정된 수준 이상일 경우, 특정 영역을 병변 의심 영역으로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 병변 의심 영역 예측 모델은 위 내시경 영상 내에서 점막층 침범 조기 위암의 병변 영역 또는 점막하층 침범 조기 위암의 병변 영역을 예측하도록 더 구성될 수 있다. 또한, 발병 여부를 예측하는 단계는, 병변 의심 영역 예측 모델에 의해 병변 의심 영역이 결정될 경우, 병변 의심 영역 예측 모델을 이용하여 병변 의심 영역에 대하여 점막층 침범 조기 위암의 병변 영역일 확률 및 점막하층 침범 조기 위암의 병변 영역일 확률을 각각 산출하는 단계, 및 산출된 병변 의심 영역에 대한 확률을 기초로 병변 의심 영역에 대하여 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병태를 결정하는 단계를 더 포함할 수 있다. 나아가, 제공하는 단계는, 결정된 병변 의심 영역에 대한 병태를 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 병변 의심 영역 예측 모델은, 위 내시경 영상 내에서 미리 결정된 랜드마크를 예측하도록 더 구성될 수 있다. 또한, 위암 발병 여부를 예측하는 단계는, 병변 의심 영역 예측 모델을 이용하여 위 내시경 영상 내에서 상기 랜드마크를 예측하는 단계, 및 랜드마크를 기초로 병변 의심 영역의 위치를 예측하는 단계를 더 포함할 수 있다. 나아가, 제공하는 단계는, 예측된 병변 의심 영역의 위치를 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 위 내시경 영상을 수신하는 단계는 위암 의심 개체에 대한 복수개의 위 내시경 영상을 수신하는 단계를 포함할 수 있고, 조기 위암 발병 여부를 예측하는 단계는, 병변 의심 영역 예측 모델을 이용하여, 복수개의 위 내시경 영상 각각에 대하여 랜드마크를 예측하는 단계, 및 랜드마크를 기초로 복수개의 위 내시경 영상 각각에 대하여 병변 의심 영역의 위치를 예측하는 단계를 더 포함할 수 있다. 나아가, 제공하는 단계는, 복수개의 위 내시경 영상 각각에 대하여 예측된 병변 의심 영역의 위치를 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 점막층 침범 조기 위암의 병변 영역을 포함하는 점막층 침범 조기 위암 내시경 영상, 점막하층 침범 조기 위암의 병변 영역을 포함하는 점막하층 침범 내시경 영상 및 정상 개체에 대한 정상 위 내시경 영상으로 구성된 그룹 중 선택된 적어도 하나의 학습용 위 내시경 영상을 기초로, 학습용 위 내시경 영상에 대하여 조기 위암 발병 여부를 예측하도록, 조기 위암 예측 모델을 학습하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 학습하는 단계는, 학습용 위 내시경 영상의 픽셀을 미리 결정된 수준으로 표준화(normalization) 하는 단계, 학습용 위 내시경 영상 중 점막층 침범 조기 위암 내시경 영상 및 점막하층 침범 조기 위암 내시경 영상 각각에 대하여 점막층 침범 조기 위암의 병변 영역 및 점막하층 침범 조기 위암의 병변 영역을 마스킹하는 단계, 학습용 위 내시경 영상 중 정상 위 내시경 영상에 대하여, 병변 영역과 상이한 미리 결정된 랜드마크를 제외한 배경 영역을 마스킹하는 단계, 및 마스킹된 병변 영역 및 배경 영역을 기초로, 조기 위암 예측 모델이 점막층 침범 조기 위암, 점막하층 침범 조기 위암 및 정상으로 구성된 그룹 중 적어도 하나의 병태를 예측하도록 학습하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 표준화하는 단계는, 점막층 침범 조기 위암 내시경 영상 및 점막하층 침범 조기 위암 내시경 영상 각각에 대하여 점막층 침범 조기 위암의 병변 영역 및 상기 점막하층 침범 조기 위암의 병변 영역만을 포함하도록 크로핑(cropping) 하는 단계, 및 크로핑된 점막층 침범 조기 위암 내시경 영상, 크로핑된 점막하층 침범 조기 위암 내시경 영상, 및 정상 위 내시경 영상의 픽셀을 미리 결정된 수준으로 표준화하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 크로핑하는 단계는, 점막층 침범 조기 위암의 병변 영역 및 점막하층 침범 조기 위암의 병변 영역의 비율을 유지하면서 크로핑하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 위 내시경 영상을 수신하는 단계는, 암 의심 개체에 대한 복수개의 위 내시경 영상을 수신하는 단계를 포함할 수 있고, 위암 발병 여부를 예측하는 단계는, 조기 위암 예측 모델을 이용하여, 복수개의 위 내시경 영상 각각에 대하여 조기 위암 발병 여부를 예측하는 단계를 포함할 수 있다. 나아가, 제공하는 단계는 복수개의 위 내시경 영상 각각에 대한 예측 결과를 실시간으로 제공하는 단계를 포함할 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 조기 위암의 예측 디바이스가 제공된다. 본 디바이스는, 위암 의심 개체에 대한 내시경 영상을 획득하도록 구성된 내시경 영상 촬영부, 및 내시경 영상 촬영부와 동작 가능하게 연결된 프로세서를 포함한다. 이때, 프로세서는 위 내시경 영상을 기초로 조기 위암 발병 여부를 예측하도록 구성된 조기 위암 예측 모델을 이용하여, 위암 의심 개체에 대한 조기 위암 발병 여부를 예측하도록 구성된다.
본 발명의 특징에 따르면, 조기 위암 예측 모델은, 위 내시경 영상에 기초하여 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암을 예측하도록 더 구성될 수 있고, 프로세서는 조기 위암 예측 모델을 이용하여, 위암 의심 개체에 대하여 점막층 침범 조기 위암, 점막하층 침범 조기 위암 및 정상으로 구성된 그룹 중 적어도 하나의 병태를 예측하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 프로세서는 위 내시경 영상 내에서 조기 위암의 병변 의심 영역을 예측하도록 구성된 병변 의심 영역 예측 모델을 이용하여, 위 내시경 영상 내에서 조기 위암의 병변 의심 영역을 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 병변 의심 영역 예측 모델은 위 내시경 영상 내에서 점막층 침범 조기 위암의 병변 영역 또는 점막하층 침범 조기 위암의 병변 영역을 예측하도록 더 구성될 수 있다. 나아가, 프로세서는 병변 의심 영역 예측 모델에 의해 병변 의심 영역이 결정될 경우, 병변 의심 영역 예측 모델을 이용하여 병변 의심 영역에 대하여 점막층 침범 조기 위암의 병변 영역일 확률 및 점막하층 침범 조기 위암의 병변 영역일 확률을 각각 산출하고, 산출된 병변 의심 영역에 대한 확률을 기초로 병변 의심 영역에 대하여 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병태를 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 병변 의심 영역 예측 모델은, 위 내시경 영상 내에서 미리 결정된 랜드마크를 예측하도록 더 구성될 수 있다. 또한, 프로세서는 병변 의심 영역 예측 모델을 이용하여 위 내시경 영상 내에서 랜드마크를 예측하고, 랜드마크를 기초로 병변 의심 영역의 위치를 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 조기 위암 예측용 디바이스는 병변 의심 영역에 대하여 치료용 레이저를 조사하도록 구성된 레이저 조사부를 더 포함할 수 있다.
본 발명은, 위 내시경 영상에 대하여 조기 위암의 발병 여부 나아가 병태를 예측하도록 구성된 조기 위암 예측 모델을 이용한 조기 위암의 예측 방법 및 이를 이용한 디바이스를 제공함으로써, 위암 의심 개체에 대하여 정확한 진단 정보를 제공할 수 있는 효과가 있다.
보다 구체적으로, 본 발명은 점막층 침범 또는, 점막하층 침범의 조기 종양에 대한 침범 깊이를 예측한 정보를 제공할 수 있고, 예측 결과에 따라 개인의 상태에 맞춘 정확하고 효과적인 치료법을 제공할 수 있다. 이에, 본 발명은 조기 위암 치료에 대한 좋은 예후를 제공하는 것에 기여할 수 있는 효과가 있다.
또한, 본 발명은, 위 내시경 영상에 존재하는 홀(hole) 부분을 병변 영역으로 예측하는 오류를 줄이도록 학습용 위 내시경 영상을 가공하여 예측 모델의 학습에 이용함에 따라, 조기 위암에 대한 정확도 높은 진단 정보를 제공할 수 있는 효과가 있다.
나아가, 본 발명은, 전체 위 내시경 영상 내에서 극히 일부의 영역을 차지하는 병변 영역만을 예측할 경우 발생되는 병변 의심 영역이 배경으로 예측되는 가능성을 줄일 수 있는 효과가 있다.
또한, 본 발명은 미리 결정된 랜드마크를 기초로 예측된 병변 영역에 대한 위치를 결정하도록 구성된 예측 모델을 이용함에 따라, 병소에 대한 위치 정보를 제공할 수 있다. 이에, 의료인은 위치 정보를 기초로 병변 부위를 정확하게 파악할 수 있어, 보다 용이하게 조기 위암의 치료를 수행할 수 있다.
나아가, 본 발명은 랜드마크에 기초하여 병변의 위치를 예측하도록 구성된 예측 모델의 이용에 따라, 위 내시경 영상 내에 나타나는 위 내시경 장치, 잔존 음식물, 출혈 부위가 구별된 진단 결과를 제공할 수 있는 효과가 있다.
본 발명은 복수개의 위 내시경 영상을 수신하고, 각각의 위내시경 영상에 대하여 조기 위암의 발병 여부, 나아가 종양의 침습의 깊이를 예측함에 따라, 실시간으로 위 모니터링과 동시에 조기 위암의 예측이 가능한 진단 시스템을 제공할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 조기 위암의 예측 디바이스의 구성을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법의 절차를 도시한 것이다.
도 2b는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법에 의한 위 내시경 영상에 대한 조기 위암의 병태 예측의 절차를 예시적으로 도시한 것이다.
도 3a는 본 발명의 다른 실시예에 따른 조기 위암의 예측 방법의 절차를 도시한 것이다.
도 3b는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법에 의한 위 내시경 영상에 대한, 병변 의심 영역의 예측 및 조기 위암의 병태 예측의 절차를 예시적으로 도시한 것이다.
도 4a 내지 4c는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는, 조기 위암 예측 모델 및 병변 의심 영역 예측 모델에 대한 학습용 위 내시경 영상 데이터를 도시한 것이다.
도 4d는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는 조기 위암 예측 모델 및 병변 의심 영역 예측 모델을 예식적으로 도시한 것이다.
도 5a 내지 5i는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는 조기 위암 예측 모델에 대한 학습 방법 및 출력값 설정에 따른 평가 결과를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는 병변 의심 영역 예측 모델에 대한 평가 결과를 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법의 절차를 도시한 것이다.
도 2b는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법에 의한 위 내시경 영상에 대한 조기 위암의 병태 예측의 절차를 예시적으로 도시한 것이다.
도 3a는 본 발명의 다른 실시예에 따른 조기 위암의 예측 방법의 절차를 도시한 것이다.
도 3b는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법에 의한 위 내시경 영상에 대한, 병변 의심 영역의 예측 및 조기 위암의 병태 예측의 절차를 예시적으로 도시한 것이다.
도 4a 내지 4c는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는, 조기 위암 예측 모델 및 병변 의심 영역 예측 모델에 대한 학습용 위 내시경 영상 데이터를 도시한 것이다.
도 4d는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는 조기 위암 예측 모델 및 병변 의심 영역 예측 모델을 예식적으로 도시한 것이다.
도 5a 내지 5i는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는 조기 위암 예측 모델에 대한 학습 방법 및 출력값 설정에 따른 평가 결과를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는 병변 의심 영역 예측 모델에 대한 평가 결과를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "조기 위암"은 종양 세포가 위의 점막층 또는 점막 하층까지 침범한 정도의 병태를 의미할 수 있다. 한편, 같은 조기 위암의 종양 단계를 갖더라도, 점막층 침범 또는, 점막하층 침범의 조기 종양에 대한 침범 깊이에 따라 예후, 또는 재발 패턴이 상이할 수 있다. 이에, 조기 종양의 깊이를 예측하는 것은, 개개인의 상태에 맞춘 정확하고 효과적인 치료법을 제공할 수 있다.
본 명세서에서 사용되는 용어, "위 내시경 영상"는 위 내시경 진단 장치와 같은 내시경 디바이스로부터 수신한 위 점막을 포함하는 모든 영상을 의미할 수 있다. 바람직하게, 위 내시경 영상은 RGB 컬러 영상일 수 있으나 이에 제한되는 것은 아니다. 한편, 위 내시경 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 위 내시경 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 조기 위암의 예측 방법에 따라 복수개의 위 내시경 영상 각각에 대한 조기 위암의 발병 여부가 예측될 수 있다. 그 결과, 본 발명은 내시경 장치로부터의 위 내시경 영상의 수신과 동시에 조기 위암의 예측을 수행함으로써, 실시간으로 예측된 병변 부위에 대한 진단 정보를 제공할 수 있다.
한편, 조기 위암 단계에서, 낭종, 염증 또는 종괴 조직을 포함하는 병변 영역은, 위 내시경 영상 내에서 정상 조직에 비하여 극히 일부의 영역으로 존재할 수 있음에 따라, 사용자의 숙련도에 따라 병소 부위에 대한 진단률이 달라질 수 있다.
이러한 문제를 해결하기 위해, 위 내시경 영상 내에서 조기 위암의 발병 여부, 나아가 병변 의심 영역 및 병태를 예측하도록 학습된 예측 모델이 이용될 수 있다.
본 명세서에서 사용되는 용어, "조기 위암 예측 모델"은 위 내시경 영상에 대하여 조기 위암 또는 정상으로 예측하도록 구성된 모델일 수 있다. 보다 구체적으로, 조기 위암 예측 모델은, 수신한 위 내시경 영상의 RGB의 컬러를 기초로 점막층 침범 또는, 점막하층 침범의 조기 위암에 대한 종양의 침범 깊이를 예측하거나, 정상으로 분류하도록 학습된 예측 모델일 수 있다. 예를 들어, 조기 위암 예측 모델은 위 내시경 검사 또는, 조직 검사에 의해 조기 위암으로 확진된 영역을 포함하는 학습용 위 내시경 영상의 데이터 세트를 이용하여, 위 내시경 영상에 대한 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암 또는, 정상의 병태를 확률적으로 예측하고, 분류하도록 학습된 모델일 수 있다. 나아가, 조기 위암 예측 모델은 위 내시경 영상 내에서 병변 영역만을 포함하도록 크로핑한 학습용 위 내시경 영상을 기초로, 위암의 발병 여부를 예측하도록 학습된 모델일 수 있다. 이러한 학습 방법에 의해, 조기 위암 예측 모델은, 전체 위 내시경 영상 내에서 극히 일부의 영역을 차지하는 병변 의심 영역만을 예측하도록 구성될 때 나타나는, 병변 영역을 배경으로 예측하는 오류를 줄일 수 있다.
한편, 조기 위암 예측 모델은 입력된 위 내시경 영상에 대하여 조기 위암(점막층 침범 조기 위암 및 점막하층 침범 조기 위암) 또는, 정상의 2 클래스를 분류하도록 구성될 수 있다. 나아가, 점막층 침범 조기 위암, 점막하층 침범 조기 위암, 또는 정상의 3 클래스(class)를 분류하도록 구성될 수 있다. 조기 위암 예측 모델은 입력된 위 내시경 영상에 대하여 더 나아가, 조기 위암 예측 모델은 점막층 침범 조기 위암, 또는 점막하층 침범 조기 위암의 2 클래스를 분류하도록 구성될 수 있다.
한편, 본 발명의 다양한 실시예에 따른 조기 위암 예측 방법에서는, 수신된 위 내시경 영상 내에서, 조기 위암으로 의심되는 병변 의심 영역을 예측하도록 구성된, 병변 의심 영역 예측 모델이 더 이용될 수 있다.
본 명세서에서 사용되는 용어, "병변 의심 영역 예측 모델"은 위암 의심 개체에 대한 위 내시경 영상 내에서 병변 의심 영역의 존재 여부를 예측하고, 예측된 병변 의심 영역에 대한 점막층 침범 또는 점막하층 침범의 종양 침범 깊이를 예측하도록 학습된 모델일 수 있다. 보다 구체적으로, 병변 의심 영역 예측 모델은 위 내시경 영상 내에서의 특정 영역에 대하여 병변 영역일 확률 또는, 정상인 확률을 산출하고, 특정 영역에 대한 병변 영역일 확률이 미리 결정된 수준 이상일 경우, 특정 영역을 병변 의심 영역으로 결정할 수 있다. 예를 들어, 특정 영역에 대한 병변 의심 영역일 확률이 60% 이상인 경우(정상일 확률 40%), 상기 특정 영역을 병변 의심 영역으로 결정할 수 있다. 나아가, 병변 의심 영역 예측 모델은, 결정된 병변 의심 영역에 대하여 RGB 컬러를 기초로 점막층 침범 또는, 점막하층 침범의 종양 침범의 깊이를 예측하도록 구성될 수 있다. 더 나아가, 병변 의심 영역 예측 모델은 위 내시경 영상 내에서 미리 결정된 랜드마크를 예측하고, 이를 기초로 병변 의심 영역의 위치를 더 예측하도록 구성된 모델일 수 있다.
한편, 병변 의심 영역 예측 모델은, 병변 의심 영역의 예측 및 예측된 병변 의심 영역에 대한 병태의 분류를 동시에 수행할 수 있는 하나의 단일 모델일 수 있고, 병변 의심 영역의 예측 및 병태 분류를 각각 수행할 수 있는 두 개의 예측 모델일 수도 있다.
본 명세서에서 사용되는 용어, "병변 의심 영역"은 위 내시경 영상 내에서 종양으로 의심되는 영역을 의미할 수 있다. 예를 들어, 병변 의심 영역은 점막층 침범 종양 조직 또는, 점막하층 침범 종양 조직에 대한 영역일 수 있고, 병변과 유사한 형태를 갖는 정상 조직에 대한 영역일 수 있다. 한편, 병변 의심 영역은 다른 영역에 대하여 상이한 픽셀 값, 질감(texture) 을 가질 수 있다. 이에, 병변 의심 영역 예측 모델은 픽셀 값 또는 질감을 기초로, 병변 의심 영역을 예측할 수 있다.
본 명세서에서 사용되는 용어, "미리 결정된 랜드마크"는 병변 의심 영역의 위치를 식별하는 것에 있어서 기준이 될 수 있는 특정 영역 또는, 부위를 의미할 수 있다. 본원 명세서 내에서 미리 결정된 랜드마크는, 내시경 장치가 위의 내부 점막을 관통하며 이동함에 따라, 위 내시경 영상 내에 나타나는 '홀'일 수 있다. 그러나, 랜드마크는 이에 제한되는 것이 아니다.
전술한 바와 같이 본 발명의 다양한 실시예에서 이용되는 예측 모델들은, 조기 위암의 예측에 있어서 단일로 또는 조합으로 이용될 수 있다.
이하에서는 도 1을 참조하여, 본 발명의 일 실시예에 따른 조기 위암의 예측 디바이스를 설명한다.
먼저, 도 1을 참조하여, 본 발명의 일 실시예에 따른 조기 위암의 예측 디바이스를 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 조기 위암의 예측 디바이스의 구성을 도시한 것이다.
도 1을 참조하면, 조기 위암의 예측 디바이스 (100) 는 내시경 영상 촬영부 (110), 입력부 (120), 출력부 (130), 프로세서 (140) 및 저장부 (150) 를 포함한다.
구체적으로 내시경 영상 촬영부 (110) 는 위암 의심 개체의 위 점막 에 대한 위 내시경 영상을 촬영하도록 구성될 수 있다. 이때, 내시경 영상 촬영부 (110) 에 의해 획득된 위 내시경 영상은 RGB의 컬러 영상일 수 있으나, 이에 제한되는 것은 아니다. 한편, 내시경 영상 촬영부 (110) 는 촬영된 위 내시경 영상을 후술할 프로세서 (140) 에 송신하도록 더 구성될 수 있다. 나아가, 내시경 영상 촬영부 (110) 는 외부로부터 위 내시경 영상을 수신할 수 있는 수신부의 기능을 수행할 수도 있다. 한편, 내시경 영상 촬영부 (110) 를 통해 획득된 위 내시경 영상은 '병변 의심 영역'을 포함할 수 있다.
입력부 (120) 는 조기 위암의 예측 디바이스 (100) 를 설정하고, 전술한 내시경 영상 촬영부 (110) 의 동작을 지시할 수 있다. 예를 들어, 사용자는 입력부 (120) 를 통해, 원하는 스틸컷을 획득하도록 내시경 영상 촬영부 (110) 의 동작을 지시할 수 있다. 한편, 입력부 (120) 는 내시경 영상 촬영부 (110) 와 직접적으로 연결되어 조작하도록 레버가 구비된 스틱 형태를 가질 수 있으나, 이에 제한되지 않고, 키보드, 마우스, 터치 스크린 패널일 수 있다.
한편, 출력부 (130) 는 내시경 영상 촬영부 (110) 로부터 획득된 위 내시경 영상을 시각적으로 표시할 수 있다. 나아가, 출력부 (130) 는 프로세서 (140) 에 의해 위 내시경 영상 내에서 결정된 병태, 또는 병변 의심 영역에 대하여 예측된 확률을 포함하는 진단 정보를 표시하도록 구성될 수 있다.
프로세서 (140) 는 조기 위암의 예측 디바이스 (110) 에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 조기 위암의 예측을 위해 프로세서 (140) 는 위 내시경 영상에 대하여 점막층 침범 조기 위암, 점막하층 침범 조기 위암 또는, 정상으로 병태를 분류하고, 병변 의심 영역을 예측하도록 구성될 수 있다. 예를 들어, 프로세서 (140) 는 위암 의심 개체에 대한 위 내시경 영상에 대하여 조기 위암 또는 정상의 병태를 분류하고, 나아가 영상 내에 존재하는 병변 영역을 예측하고 병변 영역에 대한 병태를 분류하도록 구성된 예측 모델을 이용할 수 있다. 이에, 프로세서 (140) 는 내시경 영상 촬영부 (110) 로부터 수신한 위 내시경 영상, 예를 들어 위 내시경 영상의 RGB 컬러를 기초로, 위암 의심 개체에 대한 조기 위암의 진단 정보를 제공할 수 있다. 이때, 조기 위암의 발병 여부를 예측하도록 구성된 예측 모델들은, 영상을 기초로 학습되는 다양한 학습 모델에 기초할 수 있다. 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델들은 DNN(Deep Neural Network), CNN(Convolutional Neural Network), DCNN(Deep Convolution Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), SSD(Single Shot Detector) 모델 또는 U-net을 기반으로 하는 예측 모델일 수 있으나, 이에 제한되는 것은 아니다.
저장부 (150) 는 내시경 영상 촬영부 (110) 를 통해 획득한 위 암 의심 개체에 대한 위 내시경 영상을 저장하고, 입력부 (120) 를 통해 설정된 조기 위암의 예측 디바이스 (100) 의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부 (150) 는 프로세서 (140) 에 의해 분류 또는, 예측된 결과들을 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부 (150) 는, 조기 위암의 예측을 위해 프로세서 (140) 에 의해 결정된 다양한 정보들을 저장할 수 있다.
이하에서는, 도 2a 내지 도 2b를 참조하여, 본 발명의 일 실시예에 따른 조기 위암의 예측 방법을 구체적으로 설명한다. 도 2a는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법의 절차를 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법에 의한 위 내시경 영상에 대한 조기 위암의 병태 예측의 절차를 예시적으로 도시한 것이다.
도 2a를 참조하면, 본 발명의 일 실시예에 따른 조기 위암의 예측 절차는 다음과 같다. 먼저, 위암 의심 개체에 대한 위 내시경 영상을 수신한다 (S200). 그 다음, 위 내시경 영상에 대하여 조기 위암 발병 여부를 예측하도록 구성된 조기 위암 예측 모델을 이용하여, 위암 의심 개체에 대한 조기 위암의 발병 여부를 예측한다 (S210). 마지막으로, 조기 위암 예측 모델에 의해 예측된 결과를 제공한다 (S220).
예를 들어, 도 2b를 참조하면, 위 내시경 영상을 수신하는 단계 (S200) 위암 의심 개체에 대한 위 내시경 영상 (202) 를 수신할 수 있다. 이때, 위 내시경 영상 (202) 은 RGB 컬러 영상일 수 있다.
본 발명의 일 실시예에 따르면, 위 내시경 영상을 수신하는 단계 (S200) 에서는 위 내시경 영상 (202) 에 대한 빠른 분석이 가능하도록 일정한 픽셀을 갖도록 전처리가 수행된 위 내시경 영상 (202) 를 더 수신할 수 있다. 그렇지 않은 경우, 위 내시경 영상을 수신하는 단계 (S200) 이후에, 수신된 위 내시경 영상 (202) 에 대하여 일정한 픽셀 단위를 갖도록 크기를 조절하거나 대비, 해상도, 명암, 또는 좌우 대칭을 조절하는, 위 내시경 영상 (202) 에 대한 전처리 단계가 더 수행될 수 있다. 전처리 단계의 결과로, 위 내시경 영상 (202) 은 후술할 예측 모델에서 요구되는 해상도 또는 크기를 갖게 되고, 원본 위 내시경 영상보다 해상도 또는 크기가 작아질 수 있어, 예측 모델에서의 처리 속도가 향상될 수 있다.
본 발명의 다른 실시예에 따르면, 위 내시경 영상을 수신하는 단계 (S200) 에서는 복수개의 위 내시경 영상을 수신할 수 있다. 예를 들어, 내시경 영상 촬영부의 이동에 따라 실시간으로 촬영된 위 내시경 영상이 획득될 수 있음에 따라, 위 내시경 영상을 수신하는 단계 (S200) 에서는 복수개의 위 내시경 영상이 획득될 수 있다.
다음으로, 도 2b를 참조하면, 조기 위암의 발병 여부를 예측하는 단계 (S210) 에서는, 조기 위암 예측 모델 (212) 에, 위 내시경 영상을 수신하는 단계 (S200) 에서 획득된 위 내시경 영상 (202) 에 대한 RGB 컬러 (204) 가 입력된다. 이때, 조기 위암 예측 모델 (212) 은 위 내시경 영상 (202) 에 대한 RGB 컬러 (204) 를 기초로 점막층 침범 조기 위암, 점막 하층 침범 조기 위암, 또는 정상의 병태를 예측할 수 있으나, 이에 제한되는 것은 아니다. 보다 구체적으로, 조기 위암의 발병 여부를 예측하는 단계 (S210) 에서 조기 위암 예측 모델 (212) 은 입력된 RGB 컬러 (204) 를 기초로 위 내시경 영상 (202) 에 대한 점막층 침범 조기 위암, 점막 하층 침범 조기 위암, 또는 정상의 확률을 산출하고, 산출된 확률 값을 기초로 위 내시경 영상 (202) 에 대한 병태를 분류할 수 있다.
이에, 다시 도 2b를 참조하면, 예측 결과를 제공하는 단계 (S220) 에서는, 조기 위암의 발병 여부를 예측하는 단계 (S210) 에서 조기 위암 예측 모델 (212) 에 의해 조기 위암 발병 여부가 예측된 위 내시경 영상 (222) 이 제공될 수 있다. 보다 구체적으로, 예측 결과를 제공하는 단계 (S220) 에서는, 조기 위암 예측 모델 (212) 에 의해 산출된 위 내시경 영상 (202) 에 대한 점막층 침범 조기 위암, 점막 하층 침범 조기 위암, 또는 정상의 확률을 포함하는, 조기 위암 발병 예측 정보 (224) 가 함께 제공될 수 있다.
이상의 본 발명의 일 실시예에 따른 조기 위암의 예측 방법에 의해, 위암 의심 개체로부터 획득된 위 내시경 영상에 대한 병태의 분류에 따라, 사용자의 숙련도에 관계 없이 조기 위암의 정확한 예측이 가능할 수 있다. 이에, 본 발명은 위 내시경 영상에 기초한 진단 시스템에 적용될 수 있다.
이하에서는, 도 3a 내지 도 3b를 참조하여, 본 발명의 다른 실시예에 따른 조기 위암의 예측 방법을 구체적으로 설명한다. 도 3a는 본 발명의 다른 실시예에 따른 조기 위암의 예측 방법의 절차를 도시한 것이다. 도 3b는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법에 의한 위 내시경 영상에 대한, 병변 의심 영역의 예측 및 조기 위암의 병태 예측의 절차를 예시적으로 도시한 것이다.
도 3a를 참조하면, 본 발명의 일 실시예에 따른 조기 위암의 예측 절차는 다음과 같다. 먼저, 위암 의심 개체에 대한 위 내시경 영상을 수신한다 (S300). 그 다음, 위 내시경 영상에 대하여 병변 의심 영역을 예측하도록 구성된 병변 의심 영역 예측 모델을 이용하여, 위 내시경 영상 내에서 병변 의심 영역을 예측 한다 (S310). 마지막으로, 병변 의심 영역 예측 모델에 의해 예측된 병변 의심 영역을 제공한다 (S320).
예를 들어, 도 3b를 참조하면, 위 내시경 영상을 수신하는 단계 (S300) 위암 의심 개체에 대한 위 내시경 영상 (302) 를 수신할 수 있다. 이 때, 위 내시경 영상 (302) 은 RGB 컬러 영상일 수 있다.
도 3b를 참조하면, 병변 의심 영역을 예측하는 단계 (S310) 에서는, 병변 의심 영역 예측 모델 (312) 에, 위 내시경 영상을 수신하는 단계 (S300) 에서 획득된 위 내시경 영상 (302) 에 대한 RGB 컬러 (304) 가 입력된다. 이 때, 병변 의심 영역 예측 모델 (312) 은 위 내시경 영상 (302) 에 대한 RGB 컬러 (304) 를 기초로 병변 의심 영역을 예측할 수 있다. 그러나, 이에 제한되는 것은 아니다.
본 발명의 다른 실시예에 따르면, 병변 의심 영역을 예측하는 단계 (S310) 에서 병변 의심 영역 예측 모델 (312) 은 영역이 갖는 픽셀 값, 질감 및 주변 영역과의 픽셀 차이 정도 중 적어도 하나를 기초, 병변 의심 영역을 예측할 수 있다.
본 발명의 또 다른 실시예에 따르면, 병변 의심 영역을 예측하는 단계 (S310) 에서 병변 의심 영역 예측 모델 (312) 에 의해 병변 의심 영역 (324) 이 예측된 경우, 병변 의심 영역 (324) 에 대한 RGB 컬러 (326) 가 병변 의심 영역 예측 모델 (312) 에 추가적으로 입력될 수 있다. 그 결과, 예측된 병변 의심 영역 (324) 에 대한 병태가 결정될 수 있다. 보다 구체적으로, 병변 의심 영역을 예측하는 단계 (S310) 에서 병변 의심 영역 예측 모델 (312) 은 입력된 RGB 컬러 (326) 를 기초로, 병변 의심 영역 (324) 에 대한 점막층 침범 조기 위암, 점막 하층 침범 조기 위암, 또는 정상의 확률을 산출하고, 산출된 확률 값을 기초로 위 내시경 영상 (302) 내의 병변 의심 영역 (324) 에 대한 병태를 분류할 수 있다.
한편, 본 발명의 또 다른 실시예에 따르면, 병변 의심 영역을 예측하는 단계 (S310) 에서는, 병변 의심 영역 예측 모델 (312) 을 이용하여, 위 내시경 영상 (302) 내에서 미리 결정된 랜드마크를 예측하고, 랜드마크를 기초로 병변 의심 영역 (324) 의 위치를 예측하는 단계가 더 수행될 수 있다. 이때, 랜드마크는 내시경 장치가 위의 내부 점막을 관통하며 이동함에 따라, 위 내시경 영상 내에 나타나는 '홀'일 수 있으나, 이에 제한되는 것은 아니다. 랜드마크에 기초한 병변 의심 영역 (324) 의 위치의 예측에 따라, 병변 의심 영역 (324) 과, 위 내시경 영상 (302) 내에 나타나는 위 내시경 장치, 잔존 음식물, 출혈 부위가 구별될 수 있다.
다음으로 도 3b를 참조하면, 예측된 병변 의심 영역을 제공하는 단계 (S320) 에서는, 병변 의심 영역을 예측하는 단계 (S310) 에서 병변 의심 영역 예측 모델 (312) 에 의해, 병변 의심 영역 (324) 에 대한 병태가 예측된 위 내시경 영상 (332) 이 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 예측된 병변 의심 영역을 제공하는 단계 (S320) 에서는, 병변 의심 영역 예측 모델 (312) 에 의해 산출된 위 내시경 영상 (302) 내의 병변 의심 영역 (324) 에 대한 점막층 침범 조기 위암, 점막 하층 침범 조기 위암, 또는 정상의 확률을 포함하는, 조기 위암 발병 예측 정보 (334) 가 함께 제공될 수 있다.
본 발명의 또 다른 실시예에 따르면, 예측된 병변 의심 영역을 제공하는 단계 (S320) 에서는, 병변 의심 영역 예측 모델 (312) 에 의해 예측된 병변 의심 영역 (324) 의 위치의 정보가 제공될 수 있다.
이상의 본 발명의 다른 실시예에 따른 조기 위암의 예측 방법에 의해, 위암 의심 개체로부터 획득된 위 내시경 영상에 대하여 병변 의심 영역 및 이의 위치를 예측하고, 예측된 병변 의심 영역에 대한 병태를 분류하여 제공함에 따라, 사용자의 숙련도에 관계 없이 조기 위암의 정확한 예측이 가능할 수 있다. 이에, 본 발명은 위 내시경 영상에 기초한 진단 시스템에 적용될 수 있다.
이하에서는, 도 4a 내지 도 4c를 참조하여, 본 발명의 다양한 실시예에서 이용되는 조기 위암 예측 모델 및 병변 의심 영역 예측 모델의 학습 방법을 설명한다. 도 4a 및 4b는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는, 조기 위암 예측 모델 및 병변 의심 영역 예측 모델에 대한 학습용 위 내시경 영상 데이터를 도시한 것이다. 도 4c는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는 조기 위암 예측 모델 및 병변 의심 영역 예측 모델을 예식적으로 도시한 것이다.
이때, 학습에 이용된 영상은, 200 장의 점막층 침범 종양을 포함하는 위 내시경 영상, 200 장의 점막하층 침범 종양을 포함하는 위 내시경 영상, 및 200 장의 정상의 개체에 대한 위 내시경 영상으로 구성된 영상 중, 평가 데이터에 이용될 50 장의 영상을 제외한 150 장의 위 내시경 영상을 각각을 이용한다.
도 4a의 (a) 내지 (c)를 참조하면, 조기 위암 예측 모델 및 병변 의심 영역 예측 모델의 경우, 학습을 위해, 점막층 침범의 종양을 포함하는 위 내시경 영상 (도 4a의 (a)), 점막하층 침범의 종양을 포함하는 위 내시경 영상 (도 4a의 (b)) 및 정상 개체에 대한 위 내시경 영상 (도 4a의 (c)) 이 이용된다. 이때, 조기 위암의 학습용 위 내시경 영상 각각에 대하여, 점막층 침범의 종양에 대한 영역 및 점막하층 침범 종양에 대한 영역이 정답으로 각각 마스킹된다. 한편, 정상 개체에 대한 학습용 위 내시경 영상은, 영상 내에 존재하는 홀이 정답으로 예측되는 것을 방지하기 위해, 홀을 제외한 배경영역이 정답으로 마스킹된다.
학습용 위 내시경 영상을 기초로, 조기 위암 예측 모델은, 학습용 위 내시경 영상에 대한 병태를 분류하도록 학습될 수 있고, 병변 의심 영역 예측 모델은 학습용 위 내시경 영상 내에서 병변 의심 영역을 예측하고 예측된 영역에 대하여 병태를 분류하도록 학습될 수 있다.
한편, 예측 모델의 학습을 위해 학습용 위 내시경 영상은, 미리 결정된 픽셀을 갖도록 표준화 될 수 있다. 예를 들어, 학습용 위 내시경 영상은 101 x 101 픽셀(pixel) 을 갖도록 표준화될 수 있으나, 이에 제한되는 것은 아니다. 나아가, 학습용 위 내시경 영상은, 미리 결정된 픽셀 단위를 갖는 병소를 포함하는 위 내시경 전체 영상, 미리 결정된 픽셀 단위를 갖도록 병소를 확대 및 크로핑한 위 내시경 영상, 또는 미리 결정된 픽셀 단위를 갖도록 병소에 대한 비율을 고려하여 크로핑한 위 내시경 영상일 수 있다.
도 4b의 (a) 내지 (c)를 참조하면, 학습용 위 내시경 영상은 학습 데이터의 증폭을 위해, 반전, 회전 또는, 변형되어 가공될 수 있다. 그러나, 예측 모델의 학습을 위해 이용되는 학습용 위 내시경 영상은, 전술한 것에 제한되지 않고 보다 다양한 방법으로 가공될 수 있다.
한편, 본 발명의 본 발명의 다양한 실시예에서 이용되는 조기 위암 예측 모델 및 병변 의심 영역 예측 모델은, 영상 인식에 적합한 DCNN (Deep Convolution Neural Network) 또는 위 내시경 영상 내에서 의미 있는 부분을 픽셀 단위로 예측할 수 있는 U-net이 이용될 수 있다. 그러나, 본 발명의 예측 모델들은 이에 제한되지 않고 보다 다양한 알고리즘에 기초할 수 있다.
도 4c를 참조하면, DCNN에 기초한 예측 모델이 예시적으로 개시된다. 보다 구체적으로, 보다 구체적으로, DCNN에 기초한 예측 모델은 컨볼루션 층(convolutional layer) 과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 층(max pooling layer) 및 완전 연결 층(fully connected layer) 으로 구성될 수 있다. 예측 모델에 위 내시경 영상의 RGB 컬러가 입력되면, 다층의 신경망 구조에 의해 조기 위암(점막층 침범 조기 위암 및 점막하층 침범 조기 위암) 또는, 정상의 2 클래스를 분류하도록 구성될 수 있다. 나아가, 점막층 침범 조기 위암, 점막하층 침범 조기 위암, 또는 정상의 3 클래스로 위 내시경 영상이 분류될 수 있으며, 예측 모델은 점막층 침범 조기 위암, 또는 점막하층 침범 조기 위암의 2 클래스를 분류하도록 구성될 수 있다.
본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는, 조기 위암 예측 모델 및 병변 의심 영역 예측 모델은 전술한 것에 제한되지 않고 보다 다양한 방법으로 학습될 수 있다.
실시예 1: 조기 위암 예측 모델의 평가
이하의 실시예 1에서는 도 5a 내지 도 5i를 참조하여 본 발명의 다양한 실시예에 이용되는 조기 위암 예측 모델의 평가 방법 및 결과를 설명한다. 도 5a 내지 5i는 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는 조기 위암 예측 모델에 대한 학습 방법 및 출력값 설정에 따른 평가 결과를 도시한 것이다.
보다 구체적으로, 도 5a를 참조하면, 3 개의 조기 위암 예측 모델은, 입력된 위 내시경 영상에 대하여 점막층 침범 조기 위암, 점막하층 침범 조기 위암, 또는 정상의 3 클래스를 분류하도록 구성된 모델 (A. 3 클래스 분류), 조기 위암(점막층 침범 조기 위암 및 점막하층 침범 조기 위암) 또는, 정상의 2 클래스를 분류하도록 구성된 모델 (B. 2 클래스 분류), 및 점막층 침범 조기 위암, 또는 점막하층 침범 조기 위암의 2 클래스를 분류하도록 구성된 모델 (C. 2 클래스 분류) 이다.
나아가, 이상의 예측 모델 학습에 적용한 학습 방법은, 미리 결정된 픽셀 단위를 갖는 병소를 포함하는 위 내시경 전체 영상에 기초한 학습 하는 방법 (1), 미리 결정된 픽셀 단위를 갖도록 병소를 확대 및 크로핑한 위 내시경 영상에 기초한 학습 방법 (2), 및 미리 결정된 픽셀 단위를 갖도록 병소에 대한 비율을 고려하여 크로핑한 위 내시경 영상에 기초한 학습 방법 (3) 이다.
다시, 도 5a를 참조하면, 위 내시경 영상에 대하여 점막층 침범 조기 위암, 또는 점막하층 침범 조기 위암, 또는 정상의 3 클래스를 분류하도록 구성된 모델 (A. 3 클래스 분류) 은, 미리 결정된 픽셀 단위를 갖도록 병소를 확대 및 크로핑한 위 내시경 영상에 기초한 학습 방법 (2)를 적용했을 때 평균 검출률이 0.77의 높은 수준으로 나타난다.
조기 위암(점막층 침범 조기 위암 및 점막하층 침범 조기 위암) 또는, 정상의 2 클래스를 분류하도록 구성된 모델 (B. 2 클래스 분류)은, 미리 결정된 픽셀 단위를 갖도록 병소를 확대 및 크로핑한 위 내시경 영상에 기초한 학습 방법 (2)를 적용했을 때 평균 검출률이 0.98로, 다른 학습 방법들을 적용했을 때 보다 높게 나타난다. 즉, 본 발명의 조기 위암 예측 모델을 적용 했을 때, 조기 위암 또는, 정상으로의 예측 결과는 높은 신뢰 수준을 가질 수 있다.
마지막으로, 점막층 침범 조기 위암, 또는 점막하층 침범 조기 위암의 2 클래스를 분류하도록 구성된 모델 (C. 2 클래스 분류)은, 미리 결정된 픽셀 단위를 갖도록 병소를 확대 및 크로핑한 위 내시경 영상에 기초한 학습 방법 (2)를 적용했을 때 평균 검출률이 0.73으로, 다른 학습 방법들을 적용했을 때 보다 높게 나타난다. 즉, 본 발명의 조기 위암 예측 모델은 조기 위암의 병소를 포함하는 위 내시경 영상에 대하여 점막층 침범 또는 점막하층 침범의 침범 깊이를 보다 높은 신뢰도로 예측할 수 있다.
이상의 결과에 따라, 미리 결정된 픽셀 단위를 갖도록 병소를 확대 및 크로핑한 위 내시경 영상에 기초한 학습 방법 (2)에 기초하여, 입력된 위 내시경에 대한 종양 침범 깊이를 분류하도록 구성된 예측 모델이 본 발명의 다양한 실시예에 이용될 수 있으나, 이에 제한되는 것은 아니다.
도 5b를 참조하면, 미리 결정된 픽셀 단위를 갖는 병소를 포함하는 위 내시경 전체 영상에 기초한 학습 하는 방법 (1)에 의해 학습된, 점막층 침범 조기 위암, 또는 점막하층 침범 조기 위암, 또는 정상의 3 클래스를 분류하도록 구성된 모델 (A. 3 클래스 분류) 에 대한 평가 결과가 도시된다.
도 5b의 (a)를 참조하면, 점막층 침범(mucosal), 점막하층 침범(submucosal)의 위암 및 정상(normal) 의 3 클래스 각각에 대하여, 미리 결정된 정답(true label) 및 예측 결과(predicted label) 를 기초로 산출된 조기 위암 예측 모델의 평균 검출률(recall) 은 각각 0.62, 0.72 및 0.70으로 나타난다. 도 5b의 (b)를 참조하면, 점막층 침범, 점막하층 침범의 위암 및 정상의 3 클래스에 대하여, 미리 결정된 정답 및 예측 결과를 기초로 산출된 조기 위암 예측 모델의 예측 정확도(precision) 는 각각 0.633, 0.590 및 0.875로 나타난다.
도 5c를 참조하면, 미리 결정된 픽셀 단위를 갖는 병소를 포함하는 위 내시경 전체 영상에 기초한 학습 하는 방법 (1)에 의해 학습된, 조기 위암(점막층 침범 조기 위암 및 점막하층 침범 조기 위암), 또는 정상의 2 클래스를 분류하도록 구성된 모델 (B. 2 클래스 분류) 에 대한 평가 결과가 도시된다.
도 5c의 (a)를 참조하면, 조기 위암(점막층 침범 및 점막하층 침범) 및 정상의 2 클래스 각각에 대하여, 미리 결정된 정답 및 예측 결과를 기초로 산출된 조기 위암 예측 모델의 평균 검출률은 각각 0.94 및 0.92의 매우 높은 수준으로 나타난다. 도 5c의 (b)를 참조하면, 조기 위암 및 정상의 2 클래스에 대하여, 미리 결정된 정답 및 예측 결과를 기초로 산출된 조기 위암 예측 모델의 예측 정확도는 각각 0.959 및 0.885의 매우 높은 수준으로 나타난다.
도 5d를 참조하면, 미리 결정된 픽셀 단위를 갖는 병소를 포함하는 위 내시경 전체 영상에 기초한 학습 하는 방법 (1)에 의해 학습된, 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 2 클래스를 분류하도록 구성된 모델 (C. 2 클래스 분류) 에 대한 평가 결과가 도시된다.
도 5d의 (a)를 참조하면, 점막층 침범 및 점막하층 침범의 2 클래스 각각에 대하여, 미리 결정된 정답 및 예측 결과를 기초로 산출된 조기 위암 예측 모델의 평균 검출률은 각각 0.60 및 0.74로 나타난다. 도 5d의 (b)를 참조하면, 점막층 침범 및 점막하층 침범의 2 클래스에 대하여, 미리 결정된 정답 및 예측 결과를 기초로 산출된 조기 위암 예측 모델의 예측 정확도는 각각 0.698 및 0.649로 나타난다.
도 5e 내지 5g는, 미리 결정된 픽셀 단위를 갖는 병소를 포함하는 위 내시경 전체 영상에 기초한 학습 하는 방법 (1)에 의해 학습된 3 클래스 예측 모델에 대한 영상 분류 결과를 도시한다.
보다 구체적으로 도 5e를 참조하면, 조기 위암 예측 모델에 의해 50 장의 점막층 침범 종양을 포함하는 위 내시경 영상 각각에 대하여 산출된, 점막층 침범 조기 위암일 확률 (빨강, M), 점막하층 침범 조기 위암일 확률 (파랑, S) 및 정상일 확률 (녹색, N) 이 도시된다. 조기 위암 예측 모델은 산출된 확률 중 점막층 침범 조기 위암일 확률이 가장 높을 경우, 입력된 위 내시경 영상을 '점막층 침범 조기 위암'의 영상 (빨강) 으로 분류한다.
결과에 따르면, 조기 위암 예측 모델은 50 장의 점막층 침범 종양을 포함하는 위 내시경 영상 중 31장의 영상을 정확하게 예측한 것으로 나타난다. 한편, 조기 위암 예측 모델에 의해 점막층 침범 종양의 위 내시경 영상에 대하여 정상으로 예측한 경우는 극히 드문 것으로 나타난다.
도 5f를 참조하면, 조기 위암 예측 모델에 의해 50 장의 점막하층 침범 종양을 포함하는 위 내시경 영상 각각에 대하여 산출된, 점막층 침범 조기 위암일 확률 (빨강, M), 점막하층 침범 조기 위암일 확률 (파랑, S) 및 정상일 확률 (녹색, N) 이 도시된다. 조기 위암 예측 모델은 산출된 확률 중 점막하층 침범 조기 위암일 확률이 가장 높을 경우, 입력된 위 내시경 영상을 '점막하층 침범 조기 위암'의 영상 (파랑) 으로 분류한다.
결과에 따르면, 조기 위암 예측 모델은 50 장의 점막하층 침범 종양을 포함하는 위 내시경 영상 중 36 장의 영상을 정확하게 예측한 것으로 나타난다. 한편, 조기 위암 예측 모델에 의해 점막하층 침범 종양의 위 내시경 영상에 대하여 정상으로 예측한 경우는 단 2 장으로 극히 드문 것으로 나타난다.
도 5g를 참조하면, 조기 위암 예측 모델에 의해 50 장의 정상 개체에 대한 위 내시경 영상 각각에 대하여 산출된, 점막층 침범 조기 위암일 확률 (빨강, M), 점막하층 침범 조기 위암일 확률 (파랑, S) 및 정상일 확률 (녹색, N) 이 도시된다. 조기 위암 예측 모델은 산출된 확률 중 정상일 확률이 가장 높을 경우, 입력된 위 내시경 영상을 '정상'의 영상 (녹색)으로 분류한다.
결과에 따르면, 조기 위암 예측 모델은 50 장의 정상 개체에 대한 위 내시경 영상 중 35 장의 영상을 정확하게 예측한 것으로 나타난다.
도 5h 및 5i는, 미리 결정된 픽셀 단위를 갖는 병소를 포함하는 위 내시경 전체 영상에 기초한 학습 하는 방법 (1)에 의해 학습된 조기 위암의 2 클래스 예측 모델에 대한 영상 분류 결과를 도시한다.
도 5h를 참조하면, 조기 위암 예측 모델에 의해 50 장의 점막층 침범 위 내시경 영상 각각에 대하여 산출된, 점막층 침범 조기 위암일 확률 (빨강, M) 및 점막하층 침범 조기 위암일 확률 (파랑, S) 이 도시된다. 조기 위암 예측 모델은 산출된 확률 중 점막층 침범 위암일 확률이 가장 높을 경우, 입력된 위 내시경 영상을 '점막층 침범 조기 위암'의 영상 (빨강) 으로 분류한다.
결과에 따르면, 조기 위암 예측 모델은 50 장의 점막층 침범 위 내시경 영상 중 30 장의 영상을 정확하게 예측한 것으로 나타난다.
도 5i를 참조하면, 조기 위암 예측 모델에 의해 50 장의 점막하층 침범 위 내시경 영상 각각에 대하여 산출된, 점막층 침범 조기 위암일 확률 (빨강, M) 및 점막하층 침범 조기 위암일 확률 (파랑, S) 이 도시된다. 조기 위암 예측 모델은 산출된 확률 중 점막하층 침범 위함일 확률이 가장 높을 경우, 입력된 위 내시경 영상을 '점막하층 침범 조기 위암'의 영상 (파랑) 으로 분류한다.
결과에 따르면, 조기 위암 예측 모델은 50 장의 점막층 침범 위 내시경 영상 중 37 장의 영상을 정확하게 예측한 것으로 나타난다.
이상의 실시예 1의 결과로, 조기 위암 예측 모델에 기초한 본 발명의 다양한 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 디바이스는, 위암 의심 개체에 대하여 정확한 진단 정보를 제공할 수 있다. 보다 구체적으로 본 발명은 위 내시경 영상에 대하여 점막층 침범 또는, 점막하층 침범의 조기 종양에 대한 침범 깊이를 예측하여 그 결과를 제공할 수 있고, 예측 결과에 따라 개인의 상태에 맞춘 정확하고 효과적인 치료법을 제공할 수 있다. 이에, 본 발명은 조기 위암 치료에 대한 좋은 예후를 제공하는 것에 기여할 수 있다.
실시예 2: 병변 의심 영역 예측 모델의 평가
이하의 실시예 2에서는 도6을 참조하여 본 발명의 다양한 실시예에 이용되는 병변 의심 영역 예측 모델의 평가 방법 및 결과를 설명한다. 도 6은 본 발명의 일 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 조기 위암의 예측 디바이스에서 이용되는 병변 의심 영역 예측 모델에 대한 평가 결과를 도시한 것이다.
보다 구체적으로, 도 6의 (a) 내지 6의 (c)를 참조하면, 미리 정답으로 마스킹된, 점막층 침범 조기 위암 병변 영역 및 점막하층 침범 조기 위암의 병변 영역을 포함하는 조기 위암 위 내시경 영상과 정상 개체에 대한 위 내시경 영상에 대한, 병변 의심 영역 예측 모델의 예측 결과가 도시된다. 이때, 정상의 위 내시경 영상에 대해서는 정답 마스킹이 수행되지 않았다.
도 6의 (a)를 참조하면, 병변 의심 영역 예측 모델에 의해, 위 내시경 영상 내에서 점막층 침범의 종양에 대한 병변 영역이 정확하게 예측된 것으로 나타난다.
도 6의 (b)를 참조하면, 병변 의심 영역 예측 모델에 의해, 위 내시경 영상 내에서 점막하층 침범의 종양에 대한 병변 영역이 정확하게 예측된 것으로 나타난다.
도 6의 (c)를 참조하면, 병변 의심 영역 예측 모델에 의해, 정상의 위 내시경 영상에 대하여 어떠한 영역도 예측되지 않은 것으로 나타난다. 이는 병변 의심 영역 예측 모델이 정상의 위 내시경 영상에 대하여 정확하게 예측한 것을 의미할 수 있다.
이상의 실시예2의 결과로, 병변 의심 영역 예측 모델에 기초한 본 발명의 다양한 실시예에 따른 조기 위암의 예측 방법 및 이를 이용한 디바이스는 높은 정확도로 위 내시경 영상 내에서 병변 의심 영역을 예측할 수 있는 효과가 있다.
한편, 본 발명의 효과는 이에 제한되는 것이 아니다. 예를 들어, 본 발명은 미리 결정된 랜드마크를 기초로 예측된 병변 영역에 대한 위치를 결정하도록 구성된 병변 의심 영역 예측 모델을 이용함에 따라, 병소에 대한 위치 정보를 제공할 수 있다. 이에, 의료인은 위치 정보를 기초로 병변 부위를 정확하게 파악할 수 있어, 보다 용이하게 조기 위암의 치료를 수행할 수 있다.
나아가, 본 발명은 랜드마크게 기초하여 병변의 위치를 예측함에 따라, 위 내시경 영상 내에 나타나는 위 내시경 장치, 잔존 음식물, 출혈 부위가 구별된 진단 결과를 제공할 수 있는 효과가 있다.
또한, 본 발명은 복수개의 위 내시경 영상을 수신하고, 각각의 위내시경 영상에 대하여 조기 위암의 발병 여부, 나아가 종양의 침습의 깊이를 예측함에 따라, 실시간으로 위 모니터링과 동시에 조기 위암의 예측이 가능한 진단 시스템을 제공할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 조기 위암의 예측 디바이스
110: 내시경 촬영부
120: 입력부
130: 출력부
140: 프로세서
150: 저장부
202, 302: 위 내시경 영상
204, 304, 326: RGB 컬러
212: 조기 위암 예측 모델
222: 조기 위암 발병 여부가 예측된 위 내시경 영상
224, 334: 조기 위암 발병 예측 정보
312: 병변 의심 영역 예측 모델
322: 병변 의심 영역이 예측된 위 내시경 영상
324: 병변 의심 영역
332: 병변 의심 영역에 대한 병태가 예측된 위 내시경 영상
110: 내시경 촬영부
120: 입력부
130: 출력부
140: 프로세서
150: 저장부
202, 302: 위 내시경 영상
204, 304, 326: RGB 컬러
212: 조기 위암 예측 모델
222: 조기 위암 발병 여부가 예측된 위 내시경 영상
224, 334: 조기 위암 발병 예측 정보
312: 병변 의심 영역 예측 모델
322: 병변 의심 영역이 예측된 위 내시경 영상
324: 병변 의심 영역
332: 병변 의심 영역에 대한 병태가 예측된 위 내시경 영상
Claims (19)
- 위암 의심 개체에 대하여 위 내시경 영상을 수신하는 단계;
상기 위 내시경 영상을 기초로 조기 위암 발병 여부를 예측하도록 구성된 조기 위암 예측 모델을 이용하여, 상기 위암 의심 개체에 대한 조기 위암 발병 여부를 예측하는 단계, 및
상기 예측 결과를 제공하는 단계를 포함하는, 조기 위암의 예측 방법. - 제1항에 있어서,
상기 조기 위암 예측 모델은,
상기 위 내시경 영상에 기초하여 점막층(mucosal) 침범 조기 위암 또는 점막하층(submucosal) 침범 조기 위암을 예측하도록 더 구성되고,
상기 조기 위암 발병 여부를 예측하는 단계는,
상기 조기 위암 예측 모델을 이용하여 위암 의심 개체에 대하여 점막층 침범 조기 위암, 점막하층 침범 조기 위암 및 정상으로 구성된 그룹 중 적어도 하나의 병태를 예측하는 단계를 포함하는, 조기 위암의 예측 방법. - 제2항에 있어서,
상기 조기 위암 발병 여부를 예측하는 단계는,
상기 조기 위암 예측모델을 이용하여 상기 위암 의심 개체에 대하여 상기 점막층 침범 조기 위암인 확률, 상기 점막하층 침범 조기 위암인 확률 및 상기 정상인 확률을 각각 산출하는 단계,
산출된 상기 위암 의심 개체에 대한 확률을 기초로 상기 위암 의심 개체에 대하여 그룹 중 적어도 하나의 병태를 결정하는 단계를 포함하는, 조기 위암의 예측 방법. - 제1항에 있어서,
상기 위암 발병 여부를 예측하는 단계는,
상기 위 내시경 영상 내에서 조기 위암의 병변 의심 영역을 예측하도록 구성된 병변 의심 영역 예측 모델을 이용하여, 상기 위 내시경 영상 내에서 조기 위암의 병변 의심 영역을 예측하는 단계를 더 포함하고,
상기 제공하는 단계는,
상기 병변 의심 영역 예측 모델에 의해, 상기 위 내시경 영상 내에서 상기 조기 위암의 병변 의심 영역이 예측될 경우, 상기 예측된 병변 의심 영역을 제공하는 단계를 더 포함하는, 조기 위암의 예측 방법. - 제4항에 있어서,
상기 발병 여부를 예측하는 단계는,
상기 병변 의심 영역 예측 모델을 이용하여 상기 위 내시경 영상 내에서의 특정 영역에 대하여 병변 영역일 확률 또는, 정상인 확률을 산출하는 단계,
상기 특정 영역에 대하여 상기 병변 영역일 확률이 미리 결정된 수준 이상일 경우, 상기 특정 영역을 병변 의심 영역으로 결정하는 단계를 포함하는, 조기 위암의 예측 방법. - 제5항에 있어서,
상기 병변 의심 영역 예측 모델은,
상기 위 내시경 영상 내에서 점막층 침범 조기 위암의 병변 영역 또는 점막하층 침범 조기 위암의 병변 영역을 예측하도록 더 구성되고,
상기 발병 여부를 예측하는 단계는,
상기 병변 의심 영역 예측 모델에 의해 상기 병변 의심 영역이 결정될 경우,
상기 병변 의심 영역 예측 모델을 이용하여 상기 병변 의심 영역에 대하여 점막층 침범 조기 위암의 병변 영역일 확률 및 점막하층 침범 조기 위암의 병변 영역일 확률을 각각 산출하는 단계, 및
산출된 상기 병변 의심 영역에 대한 확률을 기초로 상기 병변 의심 영역에 대하여 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병태를 결정하는 단계를 더 포함하고,
상기 제공하는 단계는,
결정된 상기 병변 의심 영역에 대한 병태를 제공하는 단계를 더 포함하는, 조기 위암의 예측 방법. - 제4항에 있어서,
상기 병변 의심 영역 예측 모델은,
상기 위 내시경 영상 내에서, 미리 결정된 랜드마크를 예측하도록 더 구성되고,
상기 위암 발병 여부를 예측하는 단계는,
상기 병변 의심 영역 예측 모델을 이용하여 상기 위 내시경 영상 내에서 상기 랜드마크를 예측하는 단계, 및
상기 랜드마크를 기초로 상기 병변 의심 영역의 위치를 예측하는 단계를 더 포함하고,
상기 제공하는 단계는,
예측된 상기 병변 의심 영역의 위치를 제공하는 단계를 더 포함하는, 조기 위암의 예측 방법. - 제7항에 있어서,
상기 위 내시경 영상을 수신하는 단계는,
상기 위암 의심 개체에 대한 복수개의 위 내시경 영상을 수신하는 단계를 포함하고,
상기 조기 위암 발병 여부를 예측하는 단계는,
상기 병변 의심 영역 예측 모델을 이용하여, 복수개의 위 내시경 영상 각각에 대하여 상기 랜드마크를 예측하는 단계, 및
상기 랜드마크를 기초로 상기 복수개의 위 내시경 영상 각각에 대하여 상기 병변 의심 영역의 위치를 예측하는 단계를 더 포함하고,
상기 제공하는 단계는,
상기 복수개의 위 내시경 영상 각각에 대하여 예측된 상기 병변 의심 영역의 위치를 제공하는 단계를 더 포함하는, 조기 위암 예측 방법. - 제1항에 있어서,
점막층 침범 조기 위암의 병변 영역을 포함하는 점막층 침범 조기 위암 내시경 영상, 점막하층 침범 조기 위암의 병변 영역을 포함하는 점막하층 침범 내시경 영상 및 정상 개체에 대한 정상 위 내시경 영상으로 구성된 그룹 중 선택된 적어도 하나의 학습용 위 내시경 영상을 기초로, 상기 학습용 위 내시경 영상에 대하여 조기 위암 발병 여부를 예측하도록, 상기 조기 위암 예측 모델을 학습하는 단계를 더 포함하는, 조기 위암의 예측 방법. - 제9항에 있어서,
상기 학습하는 단계는,
상기 학습용 위 내시경 영상의 픽셀을 미리 결정된 수준으로 표준화 (normalization) 하는 단계;
상기 학습용 위 내시경 영상 중 상기 점막층 침범 조기 위암 내시경 영상 및 상기 점막하층 침범 조기 위암 내시경 영상 각각에 대하여 상기 점막층 침범 조기 위암의 병변 영역 및 상기 점막하층 침범 조기 위암의 병변 영역을 마스킹하는 단계;
상기 학습용 위 내시경 영상 중 상기 정상 위 내시경 영상에 대하여, 상기 병변 영역과 상이한 미리 결정된 랜드마크를 제외한 배경 영역을 마스킹하는 단계, 및
마스킹된 병변 영역 및 상기 배경 영역을 기초로 상기 조기 위암 예측 모델이, 점막층 침범 조기 위암, 점막하층 침범 조기 위암 및 정상으로 구성된 그룹 중 적어도 하나의 병태를 예측하도록 학습하는 단계를 포함하는, 조기 위암의 예측 방법. - 제10항에 있어서,
상기 표준화하는 단계는,
상기 점막층 침범 조기 위암 내시경 영상 및 상기 점막하층 침범 조기 위암 내시경 영상 각각에 대하여 상기 점막층 침범 조기 위암의 병변 영역 및 상기 점막하층 침범 조기 위암의 병변 영역만을 포함하도록 크로핑(cropping) 하는 단계, 및
크로핑된 점막층 침범 조기 위암 내시경 영상, 크로핑된 점막하층 침범 조기 위암 내시경 영상, 및 상기 정상 위 내시경 영상의 픽셀을 미리 결정된 수준으로 표준화하는 단계를 포함하는, 조기 위암의 예측 방법. - 제11항에 있어서,
상기 크로핑하는 단계는,
상기 점막층 침범 조기 위암의 병변 영역 및 상기 점막하층 침범 조기 위암의 병변 영역의 비율을 유지하면서 크로핑하는 단계를 포함하는, 조기 위암의 예측 방법. - 제1항에 있어서,
위 내시경 영상을 수신하는 단계는,
상기 위암 의심 개체에 대한 복수개의 위 내시경 영상을 수신하는 단계를 포함하고,
조기 위암 발병 여부를 예측하는 단계는,
상기 조기 위암 예측 모델을 이용하여, 상기 복수개의 위 내시경 영상 각각에 대하여 조기 위암 발병 여부를 예측하는 단계를 포함하고,
상기 제공하는 단계는,
상기 복수개의 위 내시경 영상 각각에 대한 예측 결과를 실시간으로 제공하는 단계를 포함하는, 조기 위암의 예측 방법. - 위암 의심 개체에 대한 내시경 영상을 획득하도록 구성된 내시경 영상 촬영부, 및
상기 내시경 영상 촬영부와 동작 가능하게 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 위 내시경 영상을 기초로 조기 위암 발병 여부를 예측하도록 구성된 조기 위암 예측 모델을 이용하여, 상기 위암 의심 개체에 대한 조기 위암 발병 여부를 예측하도록 구성된, 조기 위암 예측용 디바이스. - 제14항에 있어서,
상기 조기 위암 예측 모델은,
상기 위 내시경 영상에 기초하여 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암을 예측하도록 더 구성되고,
상기 프로세서는,
상기 조기 위암 예측 모델을 이용하여, 상기 위암 의심 개체에 대하여 점막층 침범 조기 위암, 점막하층 침범 조기 위암 및 정상으로 구성된 그룹 중 적어도 하나의 병태를 예측하도록 더 구성된, 조기 위암 예측용 디바이스. - 제14항에 있어서,
상기 프로세서는,
상기 위 내시경 영상 내에서 조기 위암의 병변 의심 영역을 예측하도록 구성된 병변 의심 영역 예측 모델을 이용하여, 상기 위 내시경 영상 내에서 조기 위암의 병변 의심 영역을 예측하도록 더 구성된, 조기 위암 예측용 디바이스. - 제16항에 있어서,
상기 병변 의심 영역 예측 모델은,
상기 위 내시경 영상 내에서 점막층 침범 조기 위암의 병변 영역 또는 점막하층 침범 조기 위암의 병변 영역을 예측하도록 더 구성되고,
상기 프로세서는,
상기 병변 의심 영역 예측 모델에 의해 상기 병변 의심 영역이 결정될 경우,
상기 병변 의심 영역 예측 모델을 이용하여 상기 병변 의심 영역에 대하여 점막층 침범 조기 위암의 병변 영역일 확률 및 점막하층 침범 조기 위암의 병변 영역일 확률을 각각 산출하고, 산출된 상기 병변 의심 영역에 대한 확률을 기초로 상기 병변 의심 영역에 대하여 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병태를 결정하도록 더 구성된, 조기 위암 예측용 디바이스. - 제16항에 있어서,
상기 병변 의심 영역 예측 모델은,
상기 위 내시경 영상 내에서, 미리 결정된 랜드마크를 예측하도록 더 구성되고,
상기 프로세서는,
상기 병변 의심 영역 예측 모델을 이용하여 상기 위 내시경 영상 내에서 상기 랜드마크를 예측하고, 상기 랜드마크를 기초로 상기 병변 의심 영역의 위치를 예측하도록 더 구성된, 조기 위암 예측용 디바이스. - 제16항에 있어서,
상기 병변 의심 영역에 대하여 치료용 레이저를 조사하도록 구성된, 레이저 조사부를 더 포함하는, 조기 위암 예측용 디바이스.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180079298A KR102275760B1 (ko) | 2018-07-09 | 2018-07-09 | 조기 위암의 예측 방법 및 이를 이용한 디바이스 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180079298A KR102275760B1 (ko) | 2018-07-09 | 2018-07-09 | 조기 위암의 예측 방법 및 이를 이용한 디바이스 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200005831A true KR20200005831A (ko) | 2020-01-17 |
| KR102275760B1 KR102275760B1 (ko) | 2021-07-09 |
Family
ID=69369988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180079298A KR102275760B1 (ko) | 2018-07-09 | 2018-07-09 | 조기 위암의 예측 방법 및 이를 이용한 디바이스 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102275760B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110052361A (ko) * | 2009-11-12 | 2011-05-18 | 연세대학교 산학협력단 | 조기 위암 무재발생존 예측 시스템 및 예측 방법 |
| KR20140070081A (ko) * | 2012-11-30 | 2014-06-10 | 삼성전자주식회사 | 컴퓨터 보조 진단 장치 및 방법 |
| KR20160035888A (ko) * | 2014-09-24 | 2016-04-01 | 재단법인대구경북과학기술원 | 내시경 장비를 이용한 진단 보조 장치 및 방법 |
| KR101708726B1 (ko) * | 2010-04-28 | 2017-02-21 | 기븐 이미징 리미티드 | 생체내 영상들 일부 표시 시스템 및 방법 |
| US20170200266A1 (en) * | 2016-01-07 | 2017-07-13 | ClearView Diagnostics Inc. | Method and means of cad system personalization to reduce intraoperator and interoperator variation |
| KR20180040287A (ko) * | 2016-10-12 | 2018-04-20 | (주)헬스허브 | 기계학습을 통한 의료영상 판독 및 진단 통합 시스템 |
-
2018
- 2018-07-09 KR KR1020180079298A patent/KR102275760B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110052361A (ko) * | 2009-11-12 | 2011-05-18 | 연세대학교 산학협력단 | 조기 위암 무재발생존 예측 시스템 및 예측 방법 |
| KR101708726B1 (ko) * | 2010-04-28 | 2017-02-21 | 기븐 이미징 리미티드 | 생체내 영상들 일부 표시 시스템 및 방법 |
| KR20140070081A (ko) * | 2012-11-30 | 2014-06-10 | 삼성전자주식회사 | 컴퓨터 보조 진단 장치 및 방법 |
| KR20160035888A (ko) * | 2014-09-24 | 2016-04-01 | 재단법인대구경북과학기술원 | 내시경 장비를 이용한 진단 보조 장치 및 방법 |
| US20170200266A1 (en) * | 2016-01-07 | 2017-07-13 | ClearView Diagnostics Inc. | Method and means of cad system personalization to reduce intraoperator and interoperator variation |
| KR20180040287A (ko) * | 2016-10-12 | 2018-04-20 | (주)헬스허브 | 기계학습을 통한 의료영상 판독 및 진단 통합 시스템 |
Non-Patent Citations (2)
| Title |
|---|
| Sabina Beg 외 11인, "Quality standards in upper gastrointestinal endoscopy: a position statement of the British Society of Gastroenterology ~". BMJ Publishing Group Ltd, pp.1-15, 2017.08.18. 공개 1부.* * |
| Toshiaki Hirasawa외 10인. "Application of artifcial intelligence using a convolutional neural network for detecting gastric cancer in endoscopic images". Gastric Cancer, pp.653-660, 2018.01.15. 공개 1부.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102275760B1 (ko) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Saito et al. | Automatic detection and classification of protruding lesions in wireless capsule endoscopy images based on a deep convolutional neural network | |
| Cai et al. | Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video) | |
| Ikenoyama et al. | Detecting early gastric cancer: Comparison between the diagnostic ability of convolutional neural networks and endoscopists | |
| KR102210806B1 (ko) | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 | |
| Fukuda et al. | Comparison of performances of artificial intelligence versus expert endoscopists for real-time assisted diagnosis of esophageal squamous cell carcinoma (with video) | |
| Kominami et al. | Computer-aided diagnosis of colorectal polyp histology by using a real-time image recognition system and narrow-band imaging magnifying colonoscopy | |
| CN110600122B (zh) | 一种消化道影像的处理方法、装置、以及医疗系统 | |
| TW201922174A (zh) | 圖像診斷支援裝置、資料收集方法、圖像診斷支援方法及圖像診斷支援程式 | |
| Wei et al. | Automated detection of celiac disease on duodenal biopsy slides: A deep learning approach | |
| KR102209382B1 (ko) | 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스 | |
| EP3479348B1 (en) | Method and apparatus for real-time detection of polyps in optical colonoscopy | |
| WO2020105699A1 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| CN112584749A (zh) | 基于消化器官的内窥镜图像的疾病的诊断支援方法、诊断支援系统、诊断支援程序和存储有该诊断支援程序的计算机可读取的记录介质 | |
| TW202006742A (zh) | 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體 | |
| WO2021054477A2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| EP3973539A1 (en) | System and method for interpretation of multiple medical images using deep learning | |
| Iwagami et al. | Artificial intelligence for the detection of esophageal and esophagogastric junctional adenocarcinoma | |
| Marya et al. | Application of artificial intelligence using a novel EUS-based convolutional neural network model to identify and distinguish benign and malignant hepatic masses | |
| Takeuchi et al. | Performance of a deep learning-based identification system for esophageal cancer from CT images | |
| EP3986226A1 (en) | Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium | |
| Nam et al. | Deep learning model for diagnosing gastric mucosal lesions using endoscopic images: development, validation, and method comparison | |
| KR102257904B1 (ko) | 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스 | |
| Everson et al. | A clinically interpretable convolutional neural network for the real-time prediction of early squamous cell cancer of the esophagus: comparing diagnostic performance with a panel of expert European and Asian endoscopists | |
| Wang et al. | Gastric polyps detection by improved Faster R-CNN | |
| Ikenoyama et al. | Artificial intelligence diagnostic system predicts multiple Lugol-voiding lesions in the esophagus and patients at high risk for esophageal squamous cell carcinoma |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |