KR20200070700A - 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스 - Google Patents

위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스 Download PDF

Info

Publication number
KR20200070700A
KR20200070700A KR1020180158131A KR20180158131A KR20200070700A KR 20200070700 A KR20200070700 A KR 20200070700A KR 1020180158131 A KR1020180158131 A KR 1020180158131A KR 20180158131 A KR20180158131 A KR 20180158131A KR 20200070700 A KR20200070700 A KR 20200070700A
Authority
KR
South Korea
Prior art keywords
region
landmark
stomach
image
interest
Prior art date
Application number
KR1020180158131A
Other languages
English (en)
Other versions
KR102256342B1 (ko
Inventor
금지수
조준익
오상일
김지현
Original Assignee
주식회사 셀바스에이아이
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 셀바스에이아이, 연세대학교 산학협력단 filed Critical 주식회사 셀바스에이아이
Priority to KR1020180158131A priority Critical patent/KR102256342B1/ko
Publication of KR20200070700A publication Critical patent/KR20200070700A/ko
Application granted granted Critical
Publication of KR102256342B1 publication Critical patent/KR102256342B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 개체에 대하여 내시경 영상을 수신하는 단계, 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 내시경 영상에 대한 위의 부위를 예측하는 단계, 및 예측된 위의 부위를 제공하는 단계를 포함하는, 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스를 제공한다.

Description

위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스{METHOD FOR PREDICTING LOCATIONS OF STOMACH AND DEVICE FOR PREDICTING LOCATIONS OF STOMACH USING THE SAME}
본 발명은 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스에 관한 것으로, 보다 구체적으로 내시경 영상을 기초로 위의 부위를 예측하고 내시경 영상을 분류하도록 구성된, 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스에 관한 것이다.
위에 생기는 악성 종양에는 위선암(gastric adenocarcinoma), 악성림프종(gastric lymphoma), 간질성 종양(gastrointestinal stromal tumor)등 여러 종류가 있으나 이 중 위선암이 가장 흔하다.
이때, 위암은 종양의 진행 정도에 따라, 조기 위암(early gastric cancer, EGC) 과 진행성 위암(advanced gastric cancer, AGC)으로 분류할 수 있다. 보다 구체적으로, 조기 위암은 림프절로의 전이 유무에 관계 없이, 종양 세포가 위의 점막층 또는 점막 하층까지 침범한 경우이고, 진행성 위암은 종양 세포가 점막하층을 지나 근육층 이상을 뚫고 침범된 경우로 주변 장기로의 침습이 가능하다.
위암의 진단 방법으로는, 위 내시경 검사가 가장 중요하다. 보다 구체적으로, 의료진은 내시경 스코프(scope)를 이용하여 위암 의심 개체에 대하여 촬영된 위 내시경 영상을 판독함으로써 위암을 진단하고, 이를 기초로 병변에 따른 치료를 제공할 수 있다. 한편, 내시경 영상에 기초한 진단 시스템은, 의료진 숙련도에 따른 진단의 편차가 있을 수 있다. 이러한 진단의 편차는, 오진, 치료 시점의 지연, 부적절한 치료가 수행되는 등의 의료 사고와도 연관이 있을 수 있다. 특히, 조기 위암의 경우 병소 부위가 매우 작게 존재하거나 정상 조직과의 구별이 어려울 수 있어, 의료진의 숙련도에 따른 진단의 편차가 보다 클 수 있다.
의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 질환 발병 여부뿐만 아니라, 병변에 대한 위치를 제공할 수 있는 새로운 진단 방법의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
한편, 본 발명의 발명자들은, 인공지능 알고리즘 기반의 진단 시스템을 도입함으로써 종래의 내시경 영상에 기초한 진단 방법이 갖는 한계 및 문제점들을 보완하고자 하였다.
본 발명의 발명자들은, 내시경 영상에 기초한 진단과 관련하여 내시경 영상의 데이터에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다.
특히, 본 발명의 발명자들은 내시경 영상에 대하여 위의 부위를 정확하게 예측함으로써 병변 발견 시 이의 위치, 즉 병소 부위에 대한 정확한 정보를 제공할 수 있음에 주목하였다.
보다 구체적으로, 본 발명의 발명자들은, 위의 부위에 따라 미리 결정된 랜드마크를 기초로 내시경 영상에 대하여 위 부위를 분류할 수 있도록 예측 모델을 구축하였다. 즉, 본 발명의 발명자들은, 의료진에 의한 내시경 영상의 판독에 더해 인공지능을 이용한 병소 부위에 대한 위치 정보를 더하여 정확한 병변의 진단을 제공하고자 하였다.
그 결과, 본 발명의 발명자들은, 예측 모델을 이용하여 내시경 영상에 대한 위의 부위를 예측하여 병변 발견 시 병소 부위에 대한 정확한 정보를 제공할 수 있는 새로운 내시경 영상에 기초한 진단 시스템을 개발하기에 이르렀다.
본 발명의 발명자들은, 내시경 영상에 기초하여 위의 부위에 따라 내시경 영상을 분류하도록 학습된 예측 모델에 기초한 진단 시스템이 병변에 대한 위치적 정보를 제공할 수 있어, 종래의 위 내시경에 기초한 진단 시스템이 갖는 한계를 극복할 수 있음을 기대할 수 있었다.
특히, 본 발명의 발명자들은, 새로운 진단 시스템을 제공함으로써, 의료진의 숙련도에 따른 진단의 오차의 발생, 병변이 발견되었을 때 이에 대한 위치 제공의 어려움과 같은 종래의 위 내시경에 기초한 진단 시스템이 갖는 한계들을 극복할 것을 기대할 수 있었다.
한편, 본 발명의 발명자들은, 예측 모델이 학습과정에서 정답과 예측 결과 사이의 오차를 줄이도록 학습함으로써 본 발명의 예측 모델의 진단 성능 향상을 기대할 수 있었다. 즉, 본 발명의 발명자들은 예측 모델에 대하여 미리 결정된 정답과 예측 모델의 예측 결과 사이의 오차를 줄이면서 학습하도록 구성함으로써 본 발명의 예측 모델의 진단 성능의 향상을 기대할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은, 예측 모델에 입력된 내시경 영상에 대한 분류의 오차, 즉 위의 부위 분류의 오차만을 줄이도록 학습될 경우, 학습 데이터 수가 적을 때, 랜드마크가 존재하는 핵심 영역을 고려하지 않고 학습될 수 있음에 따라 분류의 정확도가 떨어질 수 있다는 점에 대하여 주목하였다.
이러한 문제점을 해결하기 위해, 본 발명의 발명자들은, 실제 랜드마크가 존재하는 영역에 대한, 예측 모델의 위의 부위를 예측하는 과정에서 위의 부위 예측에 기여하는 관심 영역 사이의 위치 오차를, 상기 예측 모델의 학습에 더 반영하고자 하였다.
결과적으로, 본 발명의 발명자들은, 예측 모델을 위의 부위에 따른 영상 분류의 오차 및 위치 오차를 줄이도록 학습 모델을 구성함에 따라, 랜드마크의 중심의 위의 부위 예측, 나아가 분류 능력의 향상을 확인할 수 있었다.
즉, 본 발명의 발명자들은, 실제 랜드마크가 존재하는, 정답 랜드마크 영역 내에서 랜드마크의 예측이 활성화가 되도록 하는 '랜드마크' 중심의 학습이 가능한 예측 모델을 개발할 수 있었다. 이에 따라, 본 발명의 위의 부위 예측 모델은, 예측 과정에 있어서 내시경 영상에 대하여 ROI(region of interest)를 설정하고, 랜드마크 영역과 같은 주요 핵심 영역만을 포함하도록 크로핑(cropping) 하는 것, 내시경 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략 가능하도록 구성될 수 있었다.
나아가, 본 발명의 발명자들은, 예측 모델에 의한 위의 부위의 예측 결과와 함께, 상기 예측 모델의 관심도를 나타내는 영상을 제공하도록 하여, 예측 모델에 의한 위의 부위 예측에 있어서 관심도가 높은 영역에 대한 정보를 의료진에게 제공하도록 하였다.
이에, 본 발명이 해결하고자 하는 과제는 수신된 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 내시경 영상에 대한 위의 부위를 예측하고, 예측된 결과를 제공하도록 구성된, 위의 부위 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 수신된 내시경 영상을 기초로 위의 부위에 따라 미리 결정된 랜드마크를 예측하고, 랜드마크를 기초로 내시경 영상의 위의 부위를 분류하도록 구성된, 위의 부위 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 기초로 위의 부위를 예측하는 처리 중에서, 학습용 내시경 영상 내에서 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하여 이를 줄이도록 학습된 예측 모델을 이용한, 위의 부위 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 개체의 내시경 영상을 수신하도록 구성된 수신부, 및 내시경 영상에 대한 위의 부위를 예측하고 이를 제공하도록 구성된 프로세서를 포함하는, 위의 부위 예측용 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 위의 부위 예측 방법이 제공된다. 본 방법은, 개체에 대하여 내시경 영상을 수신하는 단계, 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 내시경 영상에 대한 위의 부위를 예측하는 단계, 및 예측된 위의 부위를 제공하는 단계를 포함한다.
본 발명의 특징에 따르면, 위의 부위 예측 모델은, 내시경 영상 내에서, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하도록 더 구성될 수 있다. 이때, 위의 부위를 예측하는 단계는, 위의 부위 예측 모델을 이용하여 내시경 영상 내에서 랜드마크를 예측하는 단계, 및 랜드마크를 기초로 위의 부위를 예측하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 랜드마크는, 위 유문관의 홀(hole), 또는 내시경 스코프(scope)일 수 있고, 위의 부위는, 위 상단부, 위 중간부 및 위 하단부 중 적어도 하나일 수 있다.
본 발명의 다른 특징에 따르면, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 홀의 랜드마크가 예측될 경우, 랜드마크를 기초로 위의 부위를 예측하는 단계는, 내시경 영상을 위 하단부에 대한 영상으로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 스코프의 랜드마크가 예측될 경우, 랜드마크를 기초로 위의 부위를 예측하는 단계는, 내시경 영상을 위 상단부에 대한 영상으로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 랜드마크가 예측되지 않을 경우, 랜드마크를 기초로 위의 부위를 예측하는 단계는, 내시경 영상을 위 중간부에 대한 영상으로 결정하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 내시경 영상 내에서 랜드마크를 예측하는 단계는, 위의 부위 예측 모델을 이용하여 내시경 영상 내에서 랜드마크를 확률적으로 예측하는 단계를 포함할 수 있다. 나아가, 랜드마크를 기초로 위의 부위를 예측하는 단계는, 랜드마크에 대한 확률적 예측 결과를 기초로, 위의 부위를 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 위의 부위 예측 모델의 관심도를 나타내는 관심도 영상을 생성하는 단계를 더 포함할 수 있다. 또한, 제공하는 단계는, 관심도 영상을 제공하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 관심도 영상은, 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함할 수 있다. 또한, 위의 부위 예측 모델은, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델일 수 있다. 이때, 위의 부위 예측 모델은, 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하는 단계, 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 주요 관심 영역을 포함하는 관심도 영상을 생성하는 단계, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하는 단계, 및 위치 오차를 학습하는 단계를 통해 위치 오차를 줄이도록 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 위치 오차를 산출하는 단계는 하기 [수학식 1]에 의해 위치 오차를 산출하는 단계를 포함할 수 있다.
[수학식 1]
Figure pat00001
여기서, GT는 정답 랜드마크 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT ∩ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT ∪ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 전체 픽셀 수이다.
본 발명의 또 다른 특징에 따르면, 관심도 영상은, 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함할 수 있다. 이때, 위의 부위 예측 모델은, 내시경 영상에 대한 위의 부위의 분류 오차를 줄이고, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델일 수 있다. 나아가 위의 부위 예측 모델은, 위의 부위가 미리 결정되고 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하는 단계, 학습용 내시경 영상을 기초로 위의 부위를 예측하는 단계, 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 주요 관심 영역을 포함하는 관심도 영상을 생성하는 단계, 학습용 내시경 영상의 미리 결정된 위의 부위에 대한 위의 부위 예측 모델에 의해 예측된 위의 부위의 분류 오차를 산출하는 단계, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하는 단계, 위의 부위의 분류 오차 및 위치 오차를 합산하여 전체 오차를 산출하는 단계, 및 전체 오차를 학습하는 단계를 통해 전체 오차를 줄이도록 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 위의 부위의 분류 오차를 산출하는 단계는, 하기 [수학식 2]에 의해 위의 부위의 분류 오차를 산출하는 단계를 포함할 수 있다.
[수학식 2]
Figure pat00002
여기서, k는 미리 결정된 위의 부위의 종류이고, t k 는 미리 결정된 위의 부위에 대한 레이블이고, y k 는 위의 부위 예측 모델에 의한 출력값이다.
본 발명의 또 다른 특징에 따르면, 전체 오차를 산출하는 단계는, 하기 [수학식 3]에 의해 위의 부위의 분류 오차 및 위치 오차를 합산하는 단계를 포함할 수 있다.
[수학식 3]
Figure pat00003
여기서, E cls 는 위의 부위의 분류 오차고, E loc 는 위치 오차이고, α는 가중치이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 위의 부위 예측용 디바이스가 제공된다. 본 발명의 디바이스는, 프로세서에 의해 구현되는 위의 부위 예측용 디바이스로서, 개체에 대하여 내시경 영상을 수신하도록 구성된 수신부, 및 프로세서를 포함한다. 이때, 프로세서는, 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 내시경 영상에 대한 위의 부위를 예측하고, 예측된 위의 부위를 제공하도록 구성된다.
본 발명의 특징에 따르면, 위의 부위 예측 모델은, 내시경 영상 내에서, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하도록 더 구성될 수 있다. 이때, 프로세서는, 위의 부위 예측 모델을 이용하여 내시경 영상 내에서 랜드마크를 예측하고, 랜드마크를 기초로 위의 부위를 예측하도록 더 구성될 수 있다.
본 발명의 다른 특징에 따르면, 랜드마크는 위 유문관의 홀, 또는 내시경 스코프고, 위의 부위는 위 상단부, 위 중간부 및 위 하단부 중 적어도 하나일 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 홀의 랜드마크가 예측될 경우, 내시경 영상을 위 하단부에 대한 영상으로 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 스코프의 랜드마크가 예측될 경우, 내시경 영상을 위 상단부에 대한 영상으로 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 위의 부위 예측 모델에 의해, 내시경 영상 내에서 랜드마크가 예측되지 않을 경우, 내시경 영상을 위 중간부에 대한 영상으로 결정하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 위의 부위 예측 모델을 이용하여, 내시경 영상 내에서 랜드마크를 확률적으로 예측하고, 랜드마크에 대한 확률적 예측 결과를 기초로, 위의 부위를 예측하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 위의 부위 예측 모델의 관심도를 나타내는, 관심도 영상을 생성하고 관심도 영상을 제공하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 관심도 영상은, 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함할 수 있다. 이때, 위의 부위 예측 모델은, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델일 수 있다. 나아가, 위의 부위 예측 모델은 수신부를 통해 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 더 수신하고, 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 위치 오차를 학습하는 단계를 통해 위치 오차를 줄이도록 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 관심도 영상은, 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함할 수 있다. 이때, 위의 부위 예측 모델은, 내시경 영상에 대한 위의 부위의 분류 오차를 줄이고, 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델일 수 있다. 나아가, 위의 부위 예측 모델은, 위의 부위가 미리 결정되고 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신부를 통해 더 수신하고, 학습용 내시경 영상을 기초로 위의 부위를 예측하고, 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 학습용 내시경 영상의 미리 결정된 위의 부위에 대한 위의 부위 예측 모델에 의해 예측된 위의 부위의 분류 오차를 산출하고, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 위의 부위의 분류 오차 및 위치 오차를 합산하여 전체 오차를 산출하고, 전체 오차를 학습하는 단계를 통해 전체 오차를 줄이도록 학습된 모델일 수 있다.
본 발명은, 내시경 영상에 대하여 미리 결정된 랜드마크를 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용한 위의 부위 예측 방법 및 이를 이용한 디바이스를 제공함으로써, 병변에 대한 정확한 정보를 제공할 수 있는 효과가 있다.
예를 들어, 본 발명은, 내시경 영상에 대하여, 위 상단부, 위 중간부 및 위 하단부 중 적어도 하나로 분류하고 이에 대한 정보를 제공하여, 병변이 발견될 경우, 병변이 발생한 위치, 즉 병소 부위에 대한 위치 정보를 제공할 수 있는 효과가 있다. 이에, 본 발명은 위암에 대한 정확한 진단, 나아가 좋은 치료 예후를 제공하는 것에 기여할 수 있는 효과가 있다.
또한, 본 발명은, 예측 모델에 대하여 미리 결정된 정답에 대한 예측 모델의 예측에 따른 결과 사이의 오차를 줄이도록 학습된 예측 모델을 제공함으로써, 내시경 영상 분류의 성능 향상을 기대할 수 있는 효과가 있다. 보다 구체적으로, 본 발명은, 예측 모델이 영상을 분류하는 과정에서 위의 부위 예측에 기여하는 관심 영역과 미리 결정된 랜드마크에 대한 영역 사이의 위치 오차를, 예측 모델의 학습에 반영함에 따라, 높은 정확도 또는 높은 정밀도로 내시경 영상을 분류할 수 있다.
이에, 본 발명은, 예측 모델이 위의 부위 분류의 오차만을 학습하도록 구성될 경우 학습 데이터 수가 적을 때 랜드마크 영역과 같은 핵심 영역을 고려하지 않고 학습될 수 있음에 따라 영상 분류의 정확도가 떨어질 수 있다는 문제점을 해결할 수 있는 효과가 있다.
나아가, 본 발명은, 예측 과정에 있어서, 입력되는 내시경 영상에 대하여 ROI를 설정하는 것, 랜드마크 영역과 같은 핵심 영역만을 포함하도록 크로핑하는 것, 내시경 영상의 확대, 변형하는 것과 같은 영상의 전처리 과정의 생략에도, 내시경 영상에 대하여 위의 부위를 예측하는 능력이 우수한 예측 모델을 제공할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 위의 부위 예측용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 위의 부위 예측 방법의 절차를 도시한 것이다.
도 3a는 본 발명의 다른 실시예에 따른 위의 부위 예측 방법의 절차를 도시한 것이다.
도 3b는 본 발명의 다른 실시예에 따른 위의 부위 예측 방법에 의한 내시경 영상에 대한 위의 부위 예측의 절차를 예시적으로 도시한 것이다.
도 4a 내지 4c는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 학습용 내시경 영상 데이터를 도시한 것이다.
도 4d는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 구성을 예시적으로 도시한 것이다.
도 5a 내지 5i는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 평가 결과를 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 질환의 발병 여부, 나아가 병변을 예측하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 위암 의심 개체일 수도 있다. 이때, 본 명세서 내 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "위의 부위"는, 위의 해부학적 구조에 따라 구별되는 복수의 부위를 의미할 수 있다. 예를 들어, 위의 부위는, 식도와 가까운 위의 분문부(cardia), 위의 분문부 옆의 위 기저부(fundus), 및 위 몸체부(corpus)의 상단이 위치하는 위 상단부를 포함할 수 있다. 나아가, 위의 부위는, 소장 옆의 위 유문부(pylorus), 위 전정부(antrum)가 위치하는 위 하단부를 포함할 수 있다. 또한, 위의 부위는, 상기 위 상단부 및 위 하단부 사이의 몸체부가 위치하는, 위 중간부를 더 포함할 수 있다.
그러나, 위의 부위는 이에 제한되는 것이 아니며, 위의 해부학적 구조에 따라 보다 다양하게 구별될 수 있다.
본 명세서에서 사용되는 용어, "내시경 영상"은, 질환 의심 부위에 대하여 영상 진단 장치로부터 촬영된 내시경 영상을 의미할 수 있다. 예를 들어, 내시경 영상은, 개체에 대하여 촬영된 위 상단부, 위 하단부 또는, 위 벽의 위 중간부를 포함하는 내시경 영상일 수 있다.
그러나, 이에 제한되지 않고 내시경 영상은 보다 다양한 위의 부위를 포함할 수 있다.
내시경 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 내시경 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 위의 부위 예측 방법에 따라 복수개의 내시경 영상 각각에 대한 위의 부위가 예측 또는 분류될 수 있다. 그 결과, 본 발명은 내시경 스코프와 같은 영상 진단 장치로부터의 내시경 영상의 수신과 동시에 위의 부위의 예측을 수행함으로써, 실시간으로 위의 부위에 대한 진단 정보를 제공할 수 있다. 즉, 본 발명은 내시경 영상 내에서 병변이 검출될 경우, 이에 대한 위치 정보를 실시간으로 제공할 수 있다.
한편, 내시경 영상은, 위의 부위에 따라 미리 결정된 랜드마크를 더 포함할 수 있다.
이때, 본 명세서에서 사용되는 용어, "랜드마크"는 내시경 영상을 기초로 위의 부분을 식별하는 것에 있어서 기준이 될 수 있는 특정 영역 또는, 부위를 의미할 수 있다.
예를 들어, 내시경 스코프는 위의 상단부를 촬영하기 위해 내시경 스코프의 삽입 반대 방향으로 휘어질 수 있다. 이에, 위의 상단부에 대한 내시경 영상은, 상기 스코프가 함께 나타날 수 있다. 따라서, 위의 상단부에 대하여, 내시경 스코프가 랜드마크로 결정될 수 있다. 즉, 내시경 영상에 대하여 내시경 스코프가 존재할 경우, 상기 내시경 영상은 위 상단부에 대한 영상일 수 있다.
나아가, 내시경 스코프에 의해 위의 하단부를 촬영할 경우, 위 유문부와 연결된 소장에 의한 '홀(hole)'이 나타날 수 있다. 이에, 위 하단부에 대하여, 상기 홀이 랜드마크로서 결정될 수 있다. 즉, 내시경 영상에 대하여 홀이 존재할 경우, 상기 내시경 영상은 위 하단부에 대한 영상일 수 있다.
한편, 내시경 스코프에 의해 위 중간부를 촬영할 경우, 위 몸체부의 위벽이 관찰될 수 있다. 즉, 위 중간부는 랜드마크를 포함하지 않을 수 있다. 이에, 내시경 영상에 대하여 내시경 스코프 또는 홀의 랜드마크가 존재하지 않을 경우, 상기 내시경 영상은 위 중간부에 대한 영상일 수 있다.
한편, 질환의 진단 나아가, 위의 부위의 예측에 대한 정확도를 높이기 위해, 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 예측 모델이 이용될 수 있다.
본 명세서에서 사용되는 용어, "위의 부위 예측 모델"은 내시경 영상에 대하여 위의 부위를 예측 또는 분류하도록 학습된 모델일 수 있다.
예를 들어, 본 발명의 위의 부위 예측 모델은, 입력된 내시경 영상에 대하여 위의 상단부, 위의 하단부 및 위의 중간부의 3 클래스를 확률적으로 예측(분류)하도록 구성된 모델일 수 있다.
한편, 본 발명의 위의 부위 예측 모델은, 내시경 영상 내에서 미리 결정된 랜드마크를 예측하고, 이를 기초로 내시경 영상에 대한 위의 부위를 예측하도록 더 구성된 모델일 수 있다.
예를 들어, 위 부위 예측 모델은, 내시경 영상에 대하여 내시경 스코프의 랜드마크가 예측될 경우, 상기 내시경 영상을 위 상단부에 대한 영상으로 결정하도록 학습된 예측 모델일 수 있다.
나아가, 위 부위 예측 모델은, 내시경 영상에 대하여 홀의 랜드마크가 예측될 경우, 상기 내시경 영상을 위 하단부에 대한 영상으로 결정하도록 학습된 예측 모델일 수 있다.
또한, 위 부위 예측 모델은, 내시경 영상에 대하여 랜드마크가 예측되지 않을 경우, 상기 내시경 영상을 위 중간부에 대한 영상으로 결정하도록 학습된 예측 모델일 수 있다.
한편, 본 발명의 위의 부위 예측 모델은, 미리 결정된 정답에 대한 예측 모델의 예측에 따른 결과 사이의 오차를 줄이도록 학습된 모델일 수 있다.
예를 들어, 본 발명의 위의 부위 예측 모델은, 예측 모델에 입력된 내시경 영상에 대한 위의 부위의 예측 결과의 오차, 즉 위의 부위의 분류 오차를 줄이도록 구성됨에 따라 내시경 영상에 대한 위의 부위 예측의 정확도가 향상된 모델일 수 있다.
보다 구체적으로, 본 발명의 위의 부위 예측 모델은, 위의 부위에 대하여 미리 결정된 랜드마크가 존재하는 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하고, 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 위치 오차를 학습하도록 구성된 모델일 수 있다.
이때, 정답 랜드마크 영역에 대한 상기 주요 관심 영역의 위치 오차는 [수학식 1]에 의해 산출될 수 있다.
[수학식 1]
Figure pat00004
여기서, GT는 정답 랜드마크 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT ∩ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT ∪ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 전체 픽셀 수일 수 있다.
나아가, 본 발명의 위의 부위 예측 모델은, 예측된 위의 부위의 분류 오차 및 관심 영역의 위치 오차를 모두 고려하여 학습된 모델일 수 있다.
보다 구체적으로, 본 발명의 위의 부위 예측 모델은, 위의 부위가 미리 결정되고 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하고, 학습용 내시경 영상을 기초로 위의 부위를 예측하고, 위의 부위를 예측하는 처리 중에서, 학습용 내시경 영상 내에서 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 미리 결정된 위의 부위에 대한, 예측 모델에 의해 예측된 위의 부위의 분류 오차를 산출하고, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 위의 부위의 분류 오차 및 상기 위치 오차를 합산하여 전체 오차를 산출하고, 전체 오차를 줄이도록 학습하는 단계를 통해 학습된 모델일 수 있다.
이때, 위의 부위의 분류 오차는 하기 [수학식 2]에 의해 산출될 수 있다.
[수학식 2]
Figure pat00005
여기서, k는 미리 결정된 위의 부위의 종류이고, t k 는 미리 결정된 위의 부위에 대한 레이블이고, y k 는 위의 부위 예측 모델에 의한 출력값일 수 있다.
나아가, 전체 오차는 하기 [수학식 3]에 의해 산출될 수 있다.
[수학식 3]
Figure pat00006
여기서, E cls 는 위의 부위의 분류 오차고, E loc 는 위치 오차이고, α는 가중치일 수 있다.
즉, α가 0.5일 경우, 예측된 위의 부위의 분류 오차 및 주요 관심 영역의 오차의 가중치가 동일하게 적용될 수 있다.
이에, 본 발명의 위의 부위 예측 모델은, 위의 부위에 대한 분류와 같은 결과값의 오차만을 줄이도록 학습된 모델보다 영상의 분류 능력이 우수할 수 있다. 즉 본 발명의 위의 부위 예측 모델은, 위의 부위의 분류 오차만을 줄이도록 학습될 경우 학습 데이터 수가 적을 때 실제 랜드마크가 존재하는 핵심 영역을 고려하지 않을 수 있어 영상 예측의 정확도가 떨어질 수 있다는 문제점을 해결할 수 있다.
나아가, 본 발명의 위의 부위 예측 모델은, 실제 랜드마크가 존재하는 영역 내에서 활성화가 되도록 하는 랜드마크 중심의 학습이 가능한 예측 모델일 수 있다. 이에, 예측 모델은, 예측 과정에 있어서 내시경 영상에 대하여 ROI를 설정하고, 랜드마크 영역과 같은 핵심 영역만을 포함하도록 크로핑하는 것과 내시경 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략 가능할 수 있다.
한편, 본 발명의 다양한 실시예에 따르면, 본 발명의 위의 부위 예측 모델은, 내시경 영상 내에서의 위의 부위를 예측하는 처리 중에서, 관심도가 높은 영역을 다른 영역과 구별되도록 내시경 영상 내에 표시하도록 더 구성될 수 있다.
예를 들어, 본 발명의 위의 부위 예측 모델은, 내시경 영상 내의 특정 영역에 대하여 관심도의 정도에 따라 상이한 색깔을 나타내도록, CAM(class activation mapping) 영상을 제공하도록 구성될 수 있다.
본 명세서에서 사용되는 용어, "주요 관심 영역"은, 내시경 영상 내에서 본 발명의 위의 부위 예측 모델에 의해 관심도가 큰 영역일 수 있다. 즉, 주요 관심 영역은, 랜드마크에 대한 영역일 확률이 다른 영역에서보다 클 수도 있다.
이에, 본 발명의 위의 부위 예측 모델은, 실제 랜드마크가 존재하는 영역의 미리 결정된 정답 랜드마크 영역에 대한 주요 관심 영역의 중첩률이 높아지도록 학습된 모델일 수 있다. 즉, 본 발명의 위의 부위 예측 모델은, 정답 랜드마크 영역에 대한 주요 관심 영역의 위치 오차를 줄이도록 구성된 모델로서, 상기와 같은 학습 방법에 의해 랜드마크의 예측 및 위의 부위에 따른 영상 분류의 정확도가 향상된 모델일 수 있다.
한편, 본 발명의 위의 부위 예측 모델은, VGG-16, DCNN(Deep Convolutional Neural Network) 및 ResNet 중 선택된 적어도 하나의 모델일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 위의 부위 예측 모델은, DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), SSD(Single Shot Detector) 모델 또는 U-net을 기반으로 하는 예측 모델일 수도 있다.
이하에서는 도 1을 참조하여, 본 발명의 일 실시예에 따른 위의 부위 예측용 디바이스를 설명한다.
먼저, 도 1을 참조하여, 본 발명의 일 실시예에 따른 위의 부위 예측용 디바이스를 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 위의 부위 예측용 디바이스의 구성을 도시한 것이다. 이때, 내시경 영상으로 위 내시경 영상을 예로 들어 설명하나, 이에 제한되는 것은 아니다.
도 1을 참조하면, 위의 부위 예측용 디바이스(100)는 내시경 영상 촬영부(110), 입력부(120), 출력부(130), 프로세서(140) 및 저장부(150)를 포함한다.
구체적으로 내시경 영상 촬영부(110)는 개체의 내시경 영상, 예를 들어 위 점막에 대한 내시경 영상을 촬영하도록 구성될 수 있다. 이때, 내시경 영상 촬영부(110)는 내시경 스코프일 수 있으나, 이에 제한되는 것이 아니다.
한편, 내시경 영상 촬영부(110)에 의해 획득된 내시경 영상은 RGB의 컬러 영상일 수도 있다. 내시경 영상 촬영부(110)는 촬영된 내시경 영상을 후술할 프로세서(140)에 송신하도록 더 구성될 수도 있다. 나아가, 내시경 영상 촬영부(110)는 외부로부터 내시경 영상을 수신할 수 있는 수신부의 기능을 수행할 수도 있다. 한편, 내시경 영상 촬영부(110)를 통해 획득된 내시경 영상은, 다양한 위의 부위를 포함할 수 있다.
예를 들어, 내시경 영상은, 식도와 가까운 위의 분문부, 위의 분문부 옆의 위 기저부, 및 위 몸체부의 상단이 위치하는 위 상단부를 포함할 수 있다. 나아가, 내시경 영상은, 소장 옆의 위 유문부, 위 전정부가 위치하는 위 하단부를 포함할 수 있다. 또한, 위의 부위는, 상기 위 상단부 및 위 하단부 사이의 몸체부가 위치하는, 위 중간부를 더 포함할 수 있다.
나아가, 내시경 영상은, 위의 부위에 따라 미리 결정된 랜드마크를 더 포함할 수 있다.
입력부(120)는 위의 부위 예측용 디바이스(100)를 설정하고, 전술한 내시경 영상 촬영부(110)의 동작을 지시할 수 있다. 예를 들어, 사용자는 입력부(120)를 통해, 원하는 스틸컷을 획득하도록 내시경 영상 촬영부(110)의 동작을 지시할 수 있다. 한편, 입력부(120)는 내시경 영상 촬영부(110)와 직접적으로 연결되어 조작하도록 레버가 구비된 스틱 형태를 가질 수 있으나, 이에 제한되지 않고, 키보드, 마우스, 터치 스크린 패널일 수 있다.
한편, 출력부(130)는 내시경 영상 촬영부(110)로부터 획득된 내시경 영상을 시각적으로 표시할 수 있다. 나아가, 출력부(130)는 프로세서(140)에 의해 내시경 영상 내에서 결정된 랜드마크, 위의 부위에 대한 정보, 나아가 병소 부위에 대한 위치 정보를 시각적으로 표시하도록 구성될 수 있다.
프로세서(140)는 위의 부위 예측용 디바이스(110)에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 프로세서(140)는, 내시경 영상에 대하여 위의 부위를 확률적으로 예측하고 위의 부위를 예측하는 처리 중에 관심도가 높은 영역을 결정하도록 구성된 예측 모델을 이용하도록 구성될 수 있다. 특히, 프로세서(140)는 위의 부위의 분류 오차 및 랜드마크의 위치에 대한 오차를 줄이도록 학습하여 높은 영상 분류 능력을 갖는 예측 모델에 기초할 수 있다.
예를 들어, 프로세서(140)는 개체에 대한 내시경 영상에 대한 위의 부위를 확률적으로 분류하고, 위의 부위를 예측하는 처리 중에 관심도가 높은 영역을 결정하도록 구성된 예측 모델을 이용할 수 있다. 이때, 예측 모델은, 미리 결정된 정답에 대한 위의 부위 분류 오차 및, 미리 결정된 정답 랜드마크 영역에 대한 관심도가 높은 영역의 위치 오차를 줄이도록 학습한 모델일 수 있다.
한편 프로세서(140)는, 영상을 기초로 학습되는 다양한 학습 모델에 기초할 수 있다. 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델들은 VGG-16, DCNN, ResNet, DNN, CNN, RNN, RBM, DBN, SSD 모델 또는 U-net을 기반으로 하는 예측 모델일 수 있으나, 이에 제한되는 것은 아니다.
저장부(150)는 내시경 영상 촬영부(110)를 통해 획득한 개체에 대한 내시경 영상을 저장하고, 입력부(120)를 통해 설정된 위의 부위 예측용 디바이스(100)의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부(150)는 프로세서(140)에 의해 분류 또는, 예측된 결과들, 나아가 프로세서(140)에 의해 결정된 주요 관심 영역을 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부(150)는, 위의 부위를 예측하고, 위 내시경 영상을 분류하기 위해 프로세서(140)에 의해 결정된 다양한 정보들을 저장할 수 있다.
이하에서는, 도 2를 참조하여, 본 발명의 일 실시예에 따른 위의 부위 예측 방법을 구체적으로 설명한다. 도 2는 본 발명의 일 실시예에 따른 위의 부위 예측 방법의 절차를 도시한 것이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 조기 위암의 예측 절차는 다음과 같다. 먼저, 개체에 대한 위 내시경 영상을 수신한다(S210). 그 다음, 위 내시경 영상에 대하여, 위의 부위에 따라 미리 결정된 랜드마크를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 랜드마크를 예측한다(S220). 다음으로, 랜드마크를 기초로 위 내시경 영상에 대한 위의 부위를 예측하고(S230), 마지막으로, 예측된 결과를 제공한다(S240).
보다 구체적으로, 위 내시경 영상을 수신하는 단계(S210)에서 위암 의심 개체에 대한 위 내시경 영상이 수신될 수 있다. 이때, 위 내시경 영상은 RGB 컬러의 영상일 수도 있으나 이에 제한되는 것은 아니다.
이때, 본 발명의 일 실시예에 따르면, 위 내시경 영상을 수신하는 단계(S210)에서 복수개의 위 내시경 영상이 수신될 수 있다. 예를 들어, 내시경 영상 촬영부와 같은 영상 진단 장치의 구동에 따라 실시간으로 촬영된 위 내시경 영상이 획득될 수 있음에 따라, 위 내시경 영상을 수신하는 단계(S210)에서 복수개의 위 내시경 영상이 획득될 수 있다.
다음으로, 랜드마크를 예측하는 단계(S220)에서, 위의 부위 예측 모델에 의해 위의 부위에 따라 미리 결정된 랜드마크가 예측될 수 있다.
본 발명의 일 실시예에 따르면, 랜드마크를 예측하는 단계(S220)에서, 위 하단부에 대한 랜드마크로서 결정된 위 유문관의 홀이 예측될 수 있다. 또한, 위 상단부에 대한 랜드마크로서 결정된 내시경 스코프가 예측될 수 있다.
본 발명의 다른 실시예에 따르면, 랜드마크를 예측하는 단계(S220)에서, 위의 부위 예측 모델에 의해 랜드마크가 확률적으로 예측될 수도 있다.
다음으로, 위의 부위를 예측하는 단계(S230)에서, 랜드마크를 예측하는 단계(S220)의 결과로 예측된 랜드마크에 따른 위 내시경 영상에 대한 위의 부위가 결정될 수 있다.
본 발명의 일 실시예에 따르면, 위의 부위를 예측하는 단계(S230)에서, 랜드마크를 예측하는 단계(S220)의 결과로 위의 부위 예측 모델에 의해 위 내시경 영상 내에서 홀의 랜드마크가 예측될 경우, 위 내시경 영상이 위 하단부에 대한 영상으로 결정될 수 있다.
본 발명의 다른 실시예에 따르면, 위의 부위를 예측하는 단계(S230)에서, 랜드마크를 예측하는 단계(S220)의 결과로 위의 부위 예측 모델에 의해 위 내시경 영상 내에서 내시경 스코프의 랜드마크가 예측될 경우, 위 내시경 영상이 위 상단부에 대한 영상으로 결정될 수 있다.
본 발명의 또 다른 실시예에 따르면, 위의 부위를 예측하는 단계(S230)에서, 랜드마크를 예측하는 단계(S220)의 결과로 랜드마크가 예측되지 않을 경우, 위 내시경 영상이 위 중간부에 대한 영상으로 결정될 수 있다.
본 발명의 또 다른 실시예에 따르면, 위의 부위를 예측하는 단계(S230)에서, 랜드마크에 대한 확률적 예측 결과에 따라 위의 부위가 예측될 수 있다.
예를 들어, 랜드마크를 예측하는 단계(S220)에서, 위 내시경 영상의 특정 영역에 대하여 홀의 랜드마크인 확률이 99 %로 산출된 경우, 상기 위 내시경 영상은 위 하단부에 대한 영상인 확률이 99 %인, 위 하단부 영상으로 결정될 수 있다.
마지막으로, 예측된 결과를 제공하는 단계(S240)에서, 위 내시경 영상에 대하여 결정된 위의 부위에 대한 정보가 제공될 수 있다.
본 발명의 일 실시예에 따르면, 예측된 결과를 제공하는 단계(S240)에서, 위 내시경 영상과 함께 예측된 위의 부위에 대한 정보가 함께 제공될 수 있다.
본 발명의 다른 실시예에 따르면, 위 내시경 영상 및 상기 위 내시경 영상에 대한 확률적 예측 결과가 제공될 수 있다.
예를 들어, 예측된 결과를 제공하는 단계(S240)에서, 위 내시경 영상과 함께 위 내시경 영상에 대한 위 상단부에 대한 영상인 확률, 위 중간부에 대한 영상인 확률, 또는 위 하단부에 대한 영상인 확률이 제공될 수 있다.
한편, 본 발명의 일 실시예에 따른 위의 부위를 예측하는 방법에서, 위 내시경 영상 내에서 병변을 예측하는 단계, 및 예측된 위 내시경 영상에 대한 위의 부위 및 예측된 상기 병변을 기초로, 병변에 대한 위치를 결정하는 단계가 더 수행될 수 있다.
이에, 예측된 결과를 제공하는 단계(S240)에서, 병변에 대한 위치가 더 제공될 수 있다.
이상의 본 발명의 일 실시예에 따른 위의 부위 예측 방법에 의해, 개체로부터 획득된 내시경 영상에 대한 위의 부위의 예측에 따라, 병변이 예측될 경우 이의 위치에 대한 정보 제공이 가능할 수 있다.
이하에서는, 도 3a 및 도 3b를 참조하여 본 발명의 다른 실시예에 따른 위의 부위 예측 방법에 대하여 설명한다. 도 3a는 본 발명의 다른 실시예에 따른 위의 부위 예측 방법의 절차를 도시한 것이다. 도 3b는 본 발명의 다른 실시예에 따른 위의 부위 예측 방법에 의한 내시경 영상에 대한 위의 부위 예측의 절차를 예시적으로 도시한 것이다.
도 3a를 참조하면, 본 발명의 일 실시예에 따른 조기 위암의 예측 절차는 다음과 같다. 먼저, 개체에 대한 위 내시경 영상을 수신한다(S310). 그 다음, 위의 부위 예측 모델을 이용하여 위 내시경 영상 내에서 랜드마크를 예측한다(S320). 이때, 위 내시경 영상 내에서의 랜드마크를 예측하는 처리 중에서, 위의 부위 예측 모델의 관심도를 나타내는, 랜드마크 영상이 생성된다(S322). 다음으로, 랜드마크를 기초로 위의 부위를 예측하고(S330), 마지막으로, 예측된 결과를 제공한다(S340).
예를 들어, 도 3b를 참조하면, 위 내시경 영상을 수신하는 단계(S310)에서 위암 의심 개체에 대한 위 내시경 영상(312)이 수신될 수 있다. 이때, 위 내시경 영상(312)은 RGB 컬러의 영상일 수도 있으나 이에 제한되는 것은 아니다.
다음으로, 도 3b를 참조하면, 랜드마크를 예측하는 단계(S320)에서, 위의 부위 예측 모델(322)에, 위 내시경 영상을 수신하는 단계(S310)에서 획득된 위 내시경 영상(312)이 입력될 수 있다. 이때, 위의 부위 예측 모델(322)은 CNN과 같은 복수의 레이어(layer)로 구성되어 입력된 위 내시경 영상(312)에 대한 랜드마크를 예측할 수 있다. 보다 구체적으로, 랜드마크를 예측하는 단계(S320)에서 위의 부위 예측 모델(322)에 위 내시경 영상(312)이 입력되면, 내시경 스코프 또는 홀의 랜드마크가 예측될 수 있다.
한편, 위의 부위 예측 모델(322)은, 위의 부위를 예측하는 처리 중에서 랜드마크로 예측되는 영역을 주요 관심 영역(324)으로 결정할 수 있다.
이에, 랜드마크 영상을 생성하는 단계(S322)에서, 위 내시경 영상 내에서의 랜드마크를 예측하는 처리 중에서, 위의 부위 예측 모델(322)의 관심도가 높은 주요 관심 영역(324)이 결정될 수 있다. 이때, 주요 관심 영역(324)은, 랜드마크에 대한 영역일 확률이 높을 수 있다.
보다 구체적으로, 도 3b를 참조하면, 랜드마크 영상을 생성하는 단계(S322)에서, 랜드마크에 대한 영역으로 예측되는 주요 관심 영역(324)을 포함하는 랜드마크 영상(326)이 생성될 수 있다.
한편, 랜드마크를 예측하는 단계(S320)에서, 위의 부위 예측 모델(322)에 의해 랜드마크가 확률적으로 예측될 수도 있다.
예를 들어, 도 3b를 참조하면, 랜드마크를 예측하는 단계(S320)에서, 주요 관심 영역(324)에 대하여 랜드마크인 확률이 산출될 수 있다. 보다 구체적으로, 위 내시경 영상(312)은 홀의 랜드마크인 확률이 99 %이고 스코프의 랜드마크인 확률이 1 %인 것으로 산출될 수 있다.
다음으로, 위의 부위를 예측하는 단계(S330)에서, 예측된 랜드마크에 따라 위 내시경 영상에 대한 위의 부위가 결정될 수 있다.
예를 들어, 도 3b를 참조하면, 랜드마크를 예측하는 단계(S320)에서, 위 내시경 영상(312)이 99 %의 홀의 랜드마크인 확률을 갖고, 1 %의 스코프의 랜드마크인 확률을 갖는 영상으로 결정되었음에 따라, 위 내시경 영상(312)은 위 하단부에 대한 영상인 확률이 99 %이고, 위 상단부인 확률이 1 %인 영상으로 결정될 수 있다. 즉, 위의 부위를 예측하는 단계(S330)에서, 위 내시경 영상(312)은 가장 높은 확률을 갖는 위 하단부에 대한 영상으로 결정될 수 있다.
마지막으로, 예측된 결과를 제공하는 단계(S340)에서, 위 내시경 영상에 대하여 결정된 위의 부위에 대한 정보가 제공될 수 있다.
예를 들어, 도 3b를 참조하면, 예측된 결과를 제공하는 단계(S340)에서, 위 하단부로 결정된 영상(342)과 함께 위의 부위에 대하여 확률적으로 예측된 정보, 보다 구체적으로, 위 하단부로 결정된 영상(342)에 대한 위 하단부일 확률, 위 상단부일 확률 및 위 중간부일 확률이 함께 제공될 수 있다.
또한, 예측된 결과를 제공하는 단계(S340)에서, 전술한 랜드마크 영상을 생성하는 단계(S322)에서 생성된 랜드마크 영상(326)이 함께 제공될 수 있다.
이상의 본 발명의 다른 실시예에 따른 위의 부위 예측 방법에 의해, 개체로부터 획득된 내시경 영상에 대한 위의 부위의 예측에 따라, 내시경 영상에 대한 다양한 정보를 제공할 수 있다.
이하에서는, 도 4a 내지 도 4d를 참조하여, 본 발명의 다양한 실시예에서 이용되는 위의 부위 예측 모델의 학습 방법을 설명한다. 도 4a 내지 4c는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 학습용 내시경 영상 데이터를 도시한 것이다. 도 4d는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 구성을 예시적으로 도시한 것이다.
이때, 학습용 내시경 영상은, 개체에 대하여 촬영된 위 상단부, 위 하단부 또는, 위 벽의 위 중간부를 포함하는 내시경 영상으로 구성될 수 있다.
그러나, 이에 제한되는 것이 아니며, 본 발명의 예측 모델의 학습은, 보다 위 부위에 대한 내시경 영상에 기초하여 수행될 수 있다.
도 4a의 (a)를 참조하면, 본 발명의 위의 부위 예측 모델의 위의 부위 예측의 학습, 검증 및 평가를 위해, 각각 1455 장의 위 하단부(hole)에 대한 내시경 영상, 2059 장의 위 상단부(scope)에 대한 영상 및 3584 장의 위 중간부에 대한 영상으로 구성된, A, B, C, D 및 E의 데이터셋의 학습용 영상이 이용된다.
도 4a의 (b)를 참조하면, 본 발명의 위의 부위 예측 모델의 학습, 검증 및 평가는 5회의 교차 검증을 통해 수행되었다. 이때, 학습, 검증 및 평가에 이용된 학습용 내시경 영상의 비율은 3:1:1이 되도록 구성되었다.
도 4b를 참조하면, 학습용 내시경 영상은, 내시경 영상 내의 불 필요한 영역들이 제거되었다. 이에, 불 필요 영역이 제거된 학습용 내시경 영상이 최종적으로 학습 및 실제 위의 부위 예측에 이용되었다. 즉, 본 발명의 위의 부위 예측 모델은, 예측 과정에 있어서 내시경 영상에 대하여 ROI를 설정하고, 핵심 영역만을 포함하도록 크로핑하는 것과 내시경 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략될 수 있다. 그럼에도, 본 발명의 위의 부위 예측 모델은, 위의 부위의 예측 능력이 다른 예측 모델들 보다 우수할 수 있다.
한편, 본 발명의 다양한 실시예에서 이용되는 위의 부위 예측 모델은, 영상 인식에 적합하고, 예측 처리 중에서 랜드마크 영역에 대한 활성화에 따른 관심도의 정도, 예를 들어 CAM을 제공할 수 있는, VGG-16, DCNN, ResNet 중 선택된 적어도 하나의 모델일 수 있다. 그러나, 본 발명의 예측 모델들은 이에 제한되지 않고 보다 다양한 알고리즘에 기초할 수 있다.
도 4c의 (a)를 참조하면, 위 하단부의 예측을 위한 학습용 내시경 영상은, 위 유문관의 홀에 대하여 마스크가 형성된 영상일 수 있다. 도 4c의 (b)를 참조하면, 위 상단부의 예측을 위한 학습용 내시경 영상은, 내시경 스코프에 마스크가 형성된 영상일 수 있다. 도 4c의 (c)를 참조하면, 위 중간부의 예측을 위한 학습용 내시경 영상은, 마스크가 형성되지 않은 영상일 수 있다.
도 4d를 참조하면, VGG-16에 기초한 위의 부위 예측 모델이 예시적으로 개시된다. 보다 구체적으로, VGG-16에 기초한 예측 모델은, 컨볼루션(convolution) + ReLU(Rectifier Linear Unit)으로 구성된 레이어, 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링(max pooling) 레이어, 완전 연결(fully connected layer) 레이어 및 최종적으로 내시경 영상에 대한 위의 부위를 분류하는 소프트맥스(softmax) 레이어의 복수의 층으로 구성될 수 있다.
보다 구체적으로, 위의 부위 예측 모델은, 위의 부위 예측 모델에 위의 부위에 따른 정답 랜드마크 영역(414)이 결정된, 224 x 224 픽셀의 학습용 내시경 영상(412)이 입력되면, 다층의 신경망 구조에 의해 위 상단부, 위 중간부 또는 위 하단부의 3 클래스로 영상을 분류하도록 구성될 수 있다.
이때, 위의 부위 예측 모델은, 위의 부위의 예측 처리 중에서, 보다 구체적으로 굵은 선으로 표시된 마지막 컨볼루션 + ReLU 레이어에서, 랜드마크의 예측의 활성화에 따른 관심도의 정도를 나타내는 랜드마크 영상(422)을 생성할 수 있다. 이때, 랜드마크 영상(422)은 위의 부위 예측 모델에 의해 결정된 관심도가 높은 주요 관심 영역(424)을 포함할 수 있는데, 주요 관심 영역(424)은 랜드마크의 활성화 정도에 따라 0 내지 1사이의 값을 가지도록 정규화될 수 있다.
이때, 학습용 내시경 영상(412)은, 랜드마크 영상(422)에 대하여 위의 부위 예측 모델에 의해 결정된 관심도가 높은 주요 관심 영역(424)과 실제 정답 랜드마크 영역(414)의 중첩된 정도에 따라 랜드마크에 대한 활성화 정도가 평가될 수 있다.
보다 구체적으로, 본 발명의 위의 부위 예측 모델은, 컨볼루션 + ReLU 레이어에서 학습용 내시경 영상(412)에서 미리 결정된 정답 랜드마크 영역(414)에 대한 주요 관심 영역(424)의 위치 오차를 산출하여, 랜드마크에 대한 활성화 정도를 평가할 수 있다.
이때, 위치 오차는, 하기 [수학식 1]에 의해 산출될 수 있다.
[수학식 1]
Figure pat00007
여기서, GT는 정답 랜드마크 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT ∩ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT ∪ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 전체 픽셀 수이다.
한편, 본 발명의 위의 부위 예측 모델은, 위의 부위 예측의 마지막 단계, 보다 구체적으로 마지막 소프트맥스 레이어에서 학습용 내시경 영상(412)에 대하여 미리 결정된 위의 부위에 대한, 위의 부위 예측 모델의 위의 부위의 분류 오차를 산출하고, 전술한 위치 오차 및 분류 오차를 줄이면서 학습하도록 구성될 수 있다.
이때, 위의 부위의 분류 오차는 하기 [수학식 2]에 의해 산출될 수 있다.
[수학식 2]
Figure pat00008
여기서, k는 미리 결정된 위의 부위의 종류이고, t k 는 미리 결정된 위의 부위에 대한 레이블이고, y k 는 위의 부위 예측 모델에 의한 출력값이다.
즉, 본 발명의 위의 부위 예측 모델은, 예측된 위의 부위의 분류 오차 및 관심 영역의 위치 오차를 합산한, 전체 오차를 줄이면서 학습하도록 구성됨에 따라, 위의 부위 분류뿐만 아니라 랜드마크의 위치를 학습하여 영상 분류 능력이 향상된 모델일 수 있다.
이때, 전체 오차는 [수학식 3]에 의해 산출될 수 있다.
[수학식 3]
Figure pat00009
여기서, E cls 는 위의 부위의 분류 오차고, E loc 는 위치 오차이고, α는 가중치이다. 즉, α가 0.5일 경우, 예측된 위의 부위의 분류 오차 및 주요 관심 영역의 오차의 가중치가 동일하게 적용될 수 있다.
이에, 본 발명의 위의 부위 예측 모델은, 위의 부위 분류와 같은 결과값의 오차만을 줄이면서 학습하도록 구성된 예측 모델보다, 위의 부위 예측 능력이 우수할 수 있다.
한편, 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델의 구성 및 이의 학습 방법은 전술한 것에 제한되는 것이 아니다.
실시예: 본 발명의 위의 부위 예측 모델의 평가
이하의 실시예에서는, 도 5a 내지 도 5i를 참조하여 본 발명의 다양한 실시예에 이용되는 랜드마크 중심의 학습을 수행한 위의 부위 예측 모델의 평가 결과를 설명한다. 이때, 예측 모델로서 VGG-16가 이용되었다. 나아가, 위의 부위 예측 모델은 입력된 내시경 영상에 대하여, 위 상단부, 위 하단부 및 위 중간부의 3 클래스로 분류하도록 구성되었다.
이때, 3 클래스의 위의 부위 예측에 대한 평가를 위해, 220 장의 위 상단부 영상, 220 장의 위 하단부 영상 및 220 장의 위 중간부 영상이 이용되었고, 총 5 번의 평가가 수행되었다.
도 5a 내지 도 5i는 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델에 대한 평가 결과를 비교하여 도시한 것이다.
먼저, 도 5a, 및 도 5b의 (a) 및 (b)를 참조하면, 본 발명의 랜드마크 중심의 학습 방법에 기초한 VGG-16 모델(본 발명의 위의 부위 예측 모델) 에 대한 위의 부위 예측 평가 결과가 도시된다.
본 평가 결과를 참조하면, 본 발명의 위의 부위 예측 모델은, 위 하단부에 대하여 0.950의 검출률(Recall, RCL), 0.980의 정확도(Precision, PRC) 및 0.965의 F-1 점수(F1)를 갖는 것으로 나타난다. 나아가, 본 발명의 위의 부위 예측 모델은 위 상단부에 대하여 0.979의 검출률, 0.977의 정확도 및 0.978의 F-1 점수를 갖는 것으로 나타난다. 또한, 본 발명의 위의 부위 예측 모델은 위 중간부에 대하여 0.962의 검출률, 0.935의 정확도 및 0.948의 F-1 점수를 갖는 것으로 나타난다.
즉, 본 발명의 위의 부위 예측 모델은, 높은 검출률, 정확도 및 F1 점수로, 위의 부위를 예측 하는 것으로 나타난다. 특히, 본 발명의 위의 부위 예측 모델은, 랜드마크 중심의 학습에 따라, 미리 결정된 랜드마크가 각각 존재하는 위 하단부 및 위 상단부에 대하여 보다 정확하고 정밀도 높은 분류가 가능할 수 있다.
도 5c를 더 참조하면, 본 발명의 위의 부위 예측 모델에 의한 위 하단부(hole)의 예측에 대한 AUC값은 0.99로 나타나고, 위 상단부(scope)의 예측에 대한 AUC값은 1.00으로 나타난다. 나아가, 위 중간부(middle)의 예측에 대한 AUC값은 0.99로 나타난다.
이와 같은 결과는, 위의 부위를 예측하는 것에 있어서, 본 발명의 랜드마크 중심의 학습 방법에 기초한 위의 부위 예측 모델이 높은 예측 능력을 가지는 것을 의미할 수 있다.
도 5d를 참조하면, 본 발명의 위의 부위 예측 모델에 의해 홀의 랜드마크가 예측되었음에 따라, 위 하단부로 분류된 내시경 영상이 도시된다. 이때, 위 하단부로 분류된 내시경 영상은, 위 하단부에 대한 랜드마크로서 미리 결정된, 홀의 예측에 따라 위 하단부일 확률(H)이 다른 확률(예를 들어, 위 상단부인 확률(S) 또는 위 중간부일 확률(M))보다 높은 영상일 수 있다.
도 5e를 함께 참조하면, 본 발명의 위의 부위 예측 모델은 위의 부위 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 홀의 랜드마크가 존재하는 영역인 정답 랜드마크 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
즉, 랜드마크 중심의 학습 방법에 기초한 본 발명의 위의 부위 예측 모델은, 내시경 영상에 대하여, 위 상단부, 위 하단부 또는 위 중간부의 위의 부위를 예측하고 분류하는 능력이 우수할 수 있다. 특히, 본 발명의 위의 부위 예측 모델에 의해 주요 관심 영역으로 결정된 영역은, 실제 랜드마크가 존재하는 영역일 확률이 높을 수 있다.
도 5f를 참조하면, 본 발명의 위의 부위 예측 모델에 의해 내시경 스코프의 랜드마크가 예측되었음에 따라, 위 상단부로 분류된 내시경 영상이 도시된다. 이때, 위 상단부로 분류된 내시경 영상은, 위 상단부에 대한 랜드마크로서 미리 결정된, 내시경 스코프의 예측에 따라 위 상단부일 확률(S)이 다른 확률(예를 들어, 위 하단부일 확률(H) 또는 위 중간부일 확률(M))보다 높은 영상일 수 있다.
도 5g를 함께 참조하면, 본 발명의 위의 부위 예측 모델은 위의 부위 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 스코프의 랜드마크가 존재하는 영역인 정답 랜드마크 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
즉, 랜드마크 중심의 학습 방법에 기초한 본 발명의 위의 부위 예측 모델은, 내시경 영상에 대하여, 위 상단부, 위 하단부 또는 위 중간부의 위의 부위를 예측하고 분류하는 능력이 우수할 수 있다. 특히, 본 발명의 위의 부위 예측 모델에 의해 주요 관심 영역으로 결정된 영역은, 실제 랜드마크가 존재하는 영역일 확률이 높을 수 있다.
도 5h를 참조하면, 본 발명의 위의 부위 예측 모델에 의해 내시경 스코프의 랜드마크가 예측되지 않았음에 따라, 위 중간부로 분류된 내시경 영상이 도시된다. 이때, 위 중간부로 분류된 내시경 영상은, 위 중간부일 확률(M)이 다른 확률(예를 들어, 위 상단부일 확률(S) 또는 위 하단부일 확률(H))보다 높은 영상일 수 있다.
도 5i를 함께 참조하면, 본 발명의 위의 부위 예측 모델은 실제 위 중간부의 내시경 영상의 일부 영역에 대하여 관심도(활성화 정도)가 높아지는 것으로 나타난다. 그러나, 위의 부위 예측 모델은, 상기 위 내시경 영상을 정확하게 위 중간부로 예측한 것으로 나타난다.
즉, 랜드마크 중심의 학습 방법에 기초한 본 발명의 위의 부위 예측 모델은, 내시경 영상에 대하여, 위 상단부, 위 하단부 또는 위 중간부의 위의 부위를 예측하고 분류하는 능력이 우수할 수 있다. 특히, 본 발명의 위의 부위 예측 모델에 의해 주요 관심 영역으로 결정된 영역은, 실제 랜드마크가 존재하는 영역일 확률이 높을 수 있다.
이상의 실시예의 결과로, 위의 부위의 분류 오차 및 랜드마크 위치 오차를 줄이면서 학습하도록 구성된 위의 부위 예측 모델에 기초한 본 발명의 다양한 실시예에 따른 위의 부위 예측 방법 및 이를 이용한 디바이스는, 높은 정확도로 내시경 영상에 대하여 위의 부위를 예측하고, 이에 따라 영상을 분류할 수 있다.
보다 구체적으로, 본 발명의 다양한 실시예에 이용되는 위의 부위 예측 모델은, 실제 랜드마크가 존재하는 랜드마크 영역에 대하여 높은 관심도를 갖는 것으로 나타난다. 즉, 내시경 영상 내에서 활성화가 높은 주요 관심 영역으로 결정된 영역은, 랜드마크가 존재하는 영역일 확률이 높을 수 있다.
특히, 본 발명은 실제 랜드마크가 존재하는 영역에 대한 예측 모델이 영상을 분류하는 과정에서 위의 부위 예측에 기여하는 관심 영역과 정답 랜드마크 영역 사이의 위치 오차를, 예측 모델의 학습에 반영함에 따라, 영상 분류의 기능이 향상된 진단 시스템을 제공할 수 있는 효과가 있다.
즉, 본 발명은, 내시경 영상에 대하여 위의 부위를 정확하게 예측함으로써 병변 발견 시 이의 위치, 즉 병소 부위에 대한 정확한 정보를 제공할 수 있는 효과가 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 위의 부위 예측용 디바이스
110: 내시경 촬영부
120: 입력부
130: 출력부
140: 프로세서
150: 저장부
312: 위 내시경 영상
322: 위의 부위 예측 모델
324, 424: 주요 관심 영역
326, 422: 랜드마크 영상
332: 위의 부위 예측 정보
342: 위 하단부로 결정된 영상
412: 학습용 내시경 영상
414: 정답 랜드마크 영역

Claims (25)

  1. 프로세서에 의해 구현되는 위의 부위 예측 방법으로서,
    개체에 대하여 내시경 영상을 수신하는 단계;
    상기 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 상기 내시경 영상에 대한 위의 부위를 예측하는 단계, 및
    예측된 상기 위의 부위를 제공하는 단계를 포함하는, 위의 부위 예측 방법.
  2. 제1항에 있어서,
    상기 위의 부위 예측 모델은,
    상기 내시경 영상 내에서, 상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하도록 더 구성되고,
    상기 위의 부위를 예측하는 단계는,
    상기 위의 부위 예측 모델을 이용하여 상기 내시경 영상 내에서 상기 랜드마크를 예측하는 단계, 및
    상기 랜드마크를 기초로 상기 위의 부위를 예측하는 단계를 포함하는, 위의 부위 예측 방법.
  3. 제2항에 있어서,
    상기 랜드마크는,
    위 유문관의 홀(hole), 또는 내시경 스코프(scope)이고,
    상기 위의 부위는,
    위 상단부, 위 중간부 및 위 하단부 중 적어도 하나인, 위의 부위 예측 방법.
  4. 제3항에 있어서,
    상기 위의 부위 예측 모델에 의해,
    상기 내시경 영상 내에서 상기 홀의 랜드마크가 예측될 경우,
    상기 랜드마크를 기초로 상기 위의 부위를 예측하는 단계는,
    상기 내시경 영상을 상기 위 하단부에 대한 영상으로 결정하는 단계를 포함하는, 위의 부위 예측 방법.
  5. 제3항에 있어서,
    상기 위의 부위 예측 모델에 의해,
    상기 내시경 영상 내에서 상기 스코프의 랜드마크가 예측될 경우,
    상기 랜드마크를 기초로 상기 위의 부위를 예측하는 단계는,
    상기 내시경 영상을 상기 위 상단부에 대한 영상으로 결정하는 단계를 포함하는, 위의 부위 예측 방법.
  6. 제3항에 있어서,
    상기 위의 부위 예측 모델에 의해,
    상기 내시경 영상 내에서 상기 랜드마크가 예측되지 않을 경우,
    상기 랜드마크를 기초로 상기 위의 부위를 예측하는 단계는,
    상기 내시경 영상을 상기 위 중간부에 대한 영상으로 결정하는 단계를 포함하는, 위의 부위 예측 방법.
  7. 제2항에 있어서,
    상기 내시경 영상 내에서 상기 랜드마크를 예측하는 단계는,
    상기 위의 부위 예측 모델을 이용하여, 상기 내시경 영상 내에서 상기 랜드마크를 확률적으로 예측하는 단계를 포함하고,
    상기 랜드마크를 기초로 상기 위의 부위를 예측하는 단계는,
    상기 랜드마크에 대한 확률적 예측 결과를 기초로, 상기 위의 부위를 예측하는 단계를 포함하는, 위의 부위 예측 방법.
  8. 제1항에 있어서,
    상기 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 위의 부위 예측 모델의 관심도를 나타내는, 관심도 영상을 생성하는 단계를 더 포함하고,
    상기 제공하는 단계는,
    상기 관심도 영상을 제공하는 단계를 더 포함하는, 위의 부위 예측 방법.
  9. 제8항에 있어서,
    상기 관심도 영상은,
    상기 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함하고,
    상기 위의 부위 예측 모델은,
    상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 상기 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 상기 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델이고,
    상기 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하는 단계;
    상기 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 상기 주요 관심 영역을 포함하는 관심도 영상을 생성하는 단계;
    상기 정답 랜드마크 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하는 단계, 및
    상기 위치 오차를 학습하는 단계를 통해 상기 위치 오차를 줄이도록 학습된 모델인, 위의 부위 예측 방법.
  10. 제9항에 있어서,
    상기 위치 오차를 산출하는 단계는,
    하기 [수학식 1]에 의해 상기 위치 오차를 산출하는 단계를 포함하는, 위의 부위 예측 방법.
    [수학식 1]
    Figure pat00010

    (여기서, GT는 정답 랜드마크 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT ∩ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT ∪ GC|는 정답 랜드마크 영역 및 주요 관심 영역의 전체 픽셀 수이다.)
  11. 제8항에 있어서,
    상기 관심도 영상은,
    상기 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함하고,
    상기 위의 부위 예측 모델은,
    상기 내시경 영상에 대한 위의 부위의 분류 오차를 줄이고, 상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 상기 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 상기 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델이고,
    상기 위의 부위가 미리 결정되고 상기 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 수신하는 단계;
    상기 학습용 내시경 영상을 기초로 상기 위의 부위를 예측하는 단계;
    상기 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 상기 주요 관심 영역을 포함하는 관심도 영상을 생성하는 단계;
    상기 학습용 내시경 영상의 미리 결정된 위의 부위에 대한 상기 위의 부위 예측 모델에 의해 예측된 위의 부위의 분류 오차를 산출하는 단계;
    상기 정답 랜드마크 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하는 단계;
    상기 위의 부위의 분류 오차 및 상기 위치 오차를 합산하여 전체 오차를 산출하는 단계, 및
    상기 전체 오차를 학습하는 단계를 통해 상기 전체 오차를 줄이도록 학습된 모델인, 위의 부위 예측 방법.
  12. 제11항에 있어서,
    상기 위의 부위의 분류 오차를 산출하는 단계는,
    하기 [수학식 2]에 의해 상기 위의 부위의 분류 오차를 산출하는 단계를 포함하는, 위의 부위 예측 방법.
    [수학식 2]
    Figure pat00011

    (여기서, k는 상기 미리 결정된 위의 부위의 종류이고, t k 는 상기 미리 결정된 위의 부위에 대한 레이블이고, y k 는 상기 위의 부위 예측 모델에 의한 출력값이다.)
  13. 제11항에 있어서,
    상기 전체 오차를 산출하는 단계는,
    하기 [수학식 3]에 의해 상기 위의 부위의 분류 오차 및 상기 위치 오차를 합산하는 단계를 포함하는, 위의 부위 예측 방법.
    [수학식 3]
    Figure pat00012

    (여기서, E cls 는 상기 위의 부위의 분류 오차고, E loc 는 상기 위치 오차이고, α는 가중치이다.)
  14. 제1항에 있어서,
    상기 내시경 영상 내에서 병변을 예측하는 단계, 및
    예측된 상기 내시경 영상에 대한 상기 위의 부위 및 예측된 상기 병변을 기초로, 상기 병변에 대한 위치를 결정하는 단계를 더 포함하고,
    상기 제공하는 단계는,
    상기 병변에 대한 위치를 제공하는 단계를 더 포함하는, 위의 부위 예측 방법.
  15. 프로세서에 의해 구현되는 위의 부위 예측용 디바이스로서,
    개체에 대하여 내시경 영상을 수신하도록 구성된 수신부,
    및 상기 프로세서를 포함하고,
    상기 프로세서는,
    상기 내시경 영상을 기초로 위의 부위를 예측하도록 구성된 위의 부위 예측 모델을 이용하여, 상기 내시경 영상에 대한 위의 부위를 예측하고, 예측된 상기 위의 부위를 제공하도록 구성된, 위의 부위 예측용 디바이스.
  16. 제15항에 있어서,
    상기 위의 부위 예측 모델은,
    상기 내시경 영상 내에서, 상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하도록 더 구성되고,
    상기 프로세서는,
    상기 위의 부위 예측 모델을 이용하여 상기 내시경 영상 내에서 상기 랜드마크를 예측하고, 상기 랜드마크를 기초로 상기 위의 부위를 예측하도록 더 구성된, 위의 부위 예측용 디바이스.
  17. 제16항에 있어서,
    상기 랜드마크는,
    위 유문관의 홀, 또는 내시경 스코프고,
    상기 위의 부위는,
    위 상단부, 위 중간부 및 위 하단부 중 적어도 하나인, 위의 부위 예측용 디바이스.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 위의 부위 예측 모델에 의해, 상기 내시경 영상 내에서 상기 홀의 랜드마크가 예측될 경우,
    상기 내시경 영상을 상기 위 하단부에 대한 영상으로 결정하도록 더 구성된, 위의 부위 예측용 디바이스.
  19. 제17항에 있어서,
    상기 프로세서는,
    상기 위의 부위 예측 모델에 의해, 상기 내시경 영상 내에서 상기 스코프의 랜드마크가 예측될 경우,
    상기 내시경 영상을 상기 위 상단부에 대한 영상으로 결정하도록 더 구성된, 위의 부위 예측용 디바이스.
  20. 제17항에 있어서,
    상기 프로세서는,
    상기 위의 부위 예측 모델에 의해, 상기 내시경 영상 내에서 상기 랜드마크가 예측되지 않을 경우,
    상기 내시경 영상을 상기 위 중간부에 대한 영상으로 결정하도록 더 구성된, 위의 부위 예측용 디바이스.
  21. 제16항에 있어서,
    상기 프로세서는,
    상기 위의 부위 예측 모델을 이용하여, 상기 내시경 영상 내에서 상기 랜드마크를 확률적으로 예측하고, 상기 랜드마크에 대한 확률적 예측 결과를 기초로, 상기 위의 부위를 예측하도록 더 구성된, 위의 부위 예측용 디바이스.
  22. 제15항에 있어서,
    상기 프로세서는,
    상기 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 위의 부위 예측 모델의 관심도를 나타내는, 관심도 영상을 생성하고 상기 관심도 영상을 제공하도록 더 구성된, 위의 부위 예측용 디바이스.
  23. 제22항에 있어서,
    상기 관심도 영상은,
    상기 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함하고,
    상기 위의 부위 예측 모델은,
    상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 상기 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 상기 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델이고,
    상기 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 상기 수신부를 통해 더 수신하고, 상기 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 상기 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 상기 정답 랜드마크 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하고, 상기 위치 오차를 학습하는 단계를 통해 상기 위치 오차를 줄이도록 학습된 모델인, 위의 부위 예측용 디바이스.
  24. 제22항에 있어서,
    상기 관심도 영상은,
    상기 위의 부위 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함하고,
    상기 위의 부위 예측 모델은,
    상기 내시경 영상에 대한 위의 부위의 분류 오차를 줄이고, 상기 위의 부위에 대하여 미리 결정된 랜드마크를 예측하고, 상기 랜드마크가 존재하는 정답 랜드마크 영역에 대하여 상기 주요 관심 영역이 높은 수준으로 중첩되도록 학습된 모델이고,
    상기 위의 부위가 미리 결정되고 상기 정답 랜드마크 영역을 포함하는 학습용 내시경 영상을 상기 수신부를 통해 더 수신하고, 상기 학습용 내시경 영상을 기초로 상기 위의 부위를 예측하고, 상기 학습용 내시경 영상에 대한 위의 부위를 예측하는 처리 중에서, 상기 주요 관심 영역을 포함하는 관심도 영상을 생성하고, 상기 학습용 내시경 영상의 미리 결정된 위의 부위에 대한 상기 위의 부위 예측 모델에 의해 예측된 위의 부위의 분류 오차를 산출하고, 상기 정답 랜드마크 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하고, 상기 위의 부위의 분류 오차 및 상기 위치 오차를 합산하여 전체 오차를 산출하고, 상기 전체 오차를 학습하는 단계를 통해 상기 전체 오차를 줄이도록 학습된 모델인, 위의 부위 예측용 디바이스.
  25. 제15항에 있어서,
    상기 프로세서는,
    상기 내시경 영상 내에서 병변을 예측하고, 예측된 상기 내시경 영상에 대한 상기 위의 부위 및 예측된 상기 병변을 기초로 상기 병변에 대한 위치를 결정하고, 상기 병변에 대한 위치를 제공하도록 더 구성된, 위의 부위 예측용 디바이스.
KR1020180158131A 2018-12-10 2018-12-10 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스 KR102256342B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180158131A KR102256342B1 (ko) 2018-12-10 2018-12-10 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180158131A KR102256342B1 (ko) 2018-12-10 2018-12-10 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스

Publications (2)

Publication Number Publication Date
KR20200070700A true KR20200070700A (ko) 2020-06-18
KR102256342B1 KR102256342B1 (ko) 2021-05-26

Family

ID=71143459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180158131A KR102256342B1 (ko) 2018-12-10 2018-12-10 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스

Country Status (1)

Country Link
KR (1) KR102256342B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839789B1 (ko) * 2017-08-01 2018-03-19 주식회사 뷰노 치과 영상의 판독 데이터 생성 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839789B1 (ko) * 2017-08-01 2018-03-19 주식회사 뷰노 치과 영상의 판독 데이터 생성 시스템

Also Published As

Publication number Publication date
KR102256342B1 (ko) 2021-05-26

Similar Documents

Publication Publication Date Title
US11633084B2 (en) Image diagnosis assistance apparatus, data collection method, image diagnosis assistance method, and image diagnosis assistance program
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
Ikenoyama et al. Detecting early gastric cancer: Comparison between the diagnostic ability of convolutional neural networks and endoscopists
Freedman et al. Detecting deficient coverage in colonoscopies
US9060673B2 (en) System and method for displaying portions of in-vivo images
Mackiewicz et al. Wireless capsule endoscopy color video segmentation
Abadir et al. Artificial intelligence in gastrointestinal endoscopy
CN112041912A (zh) 用于诊断肠胃肿瘤的系统和方法
Yeh et al. Bleeding and ulcer detection using wireless capsule endoscopy images
CN112466466B (zh) 基于深度学习的消化道辅助检测方法、装置和计算设备
CN109635871B (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
KR102222547B1 (ko) 인공지능 기반의 대장내시경 영상 분석 방법
EP3148399B1 (en) Reconstruction of images from an in vivo multi-camera capsule with confidence matching
KR102257904B1 (ko) 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스
US9430706B1 (en) System and method for detection of in-vivo pathology sequences
CN114913173B (zh) 内镜辅助检查系统、方法、装置及存储介质
WO2021220822A1 (ja) 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル
CN116745861A (zh) 通过实时影像获得的病变判断系统的控制方法、装置及程序
KR102256342B1 (ko) 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스
KR102275760B1 (ko) 조기 위암의 예측 방법 및 이를 이용한 디바이스
Jhang et al. Gastric Section correlation network for gastric precancerous lesion diagnosis
KR102270669B1 (ko) 인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치
KR102268771B1 (ko) 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
KR102253398B1 (ko) 인공지능 기반의 영상 처리 및 사용자 이벤트를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
Neto et al. Colonoscopic Polyp Detection with Deep Learning Assist.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant