KR20200060129A - 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스 - Google Patents

병변 예측 방법 및 이를 이용한 병변 진단용 디바이스 Download PDF

Info

Publication number
KR20200060129A
KR20200060129A KR1020180145720A KR20180145720A KR20200060129A KR 20200060129 A KR20200060129 A KR 20200060129A KR 1020180145720 A KR1020180145720 A KR 1020180145720A KR 20180145720 A KR20180145720 A KR 20180145720A KR 20200060129 A KR20200060129 A KR 20200060129A
Authority
KR
South Korea
Prior art keywords
lesion
region
interest
prediction model
medical image
Prior art date
Application number
KR1020180145720A
Other languages
English (en)
Other versions
KR102257904B1 (ko
Inventor
금지수
조준익
오상일
김지현
Original Assignee
주식회사 셀바스에이아이
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 셀바스에이아이, 연세대학교 산학협력단 filed Critical 주식회사 셀바스에이아이
Priority to KR1020180145720A priority Critical patent/KR102257904B1/ko
Publication of KR20200060129A publication Critical patent/KR20200060129A/ko
Application granted granted Critical
Publication of KR102257904B1 publication Critical patent/KR102257904B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은, 개체의 질환 발병 의심 부위에 대한 의료 영상을 수신하는 단계, 의료 영상을 기초로 병변을 예측하도록 구성된 병변 예측 모델을 이용하여, 개체에 대한 병변을 예측하는 단계, 의료 영상 내에서의 병변을 예측하는 처리 중에서, 병변 예측 모델의 병변 예측에 대한 관심도를 나타내는, 병변 발현 의심 영상을 생성하는 단계, 및 예측된 병변 및 병변 발현 의심 영상을 제공하는 단계를 포함하는, 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스를 제공한다.

Description

병변 예측 방법 및 이를 이용한 병변 진단용 디바이스{METHOD FOR PREDICTING PATHOLOGICAL CONDITIONS AND DEVICE FOR DIAGNOSING PATHOLOGICAL CONDITIONS USING THE SAME}
본 발명은 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스에 관한 것으로, 보다 구체적으로 의료 영상을 기초로 암과 같은 질환과 연관된 병변을 예측하도록 구성된, 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스에 관한 것이다.
의료 영상이란, 의료 영상 기기를 통해 일정한 에너지를 투여하여 인체 내의 밀도, 성질에 따라 상이한 입사, 반사, 투과 정도를 갖는 특징을 이용하여 획득한 영상을 의미할 수 있다. 이러한 의료 영상으로는, X-레이(X-ray) 영상, 초음파(ultrasonography) 영상, 컴퓨터단층촬영(Computed Tomography, CT) 영상, 자기공명(Magnetic Resonance Imaging, MRI) 영상, 양전자단층촬영(Positron Emission Tomography, PET) 영상뿐만 아니라 내시경(Endoscopy) 영상이 있을 수 있다.
의료진은 이러한 의료 영상을 판독함으로써 질환의 조기 진단 및 병변에 따른 치료를 제공할 수 있다. 그러나, 이러한 의료 영상에 기초한 진단 시스템은, 의료진 숙련도에 따른 진단의 편차가 있을 수 있다. 이러한 진단의 편차는, 오진, 치료 시점의 지연, 부적절한 치료가 수행되는 등의 의료 사고와도 연관이 있을 수 있다.
예를 들어, 위암은, 종양 세포가 위의 점막층 또는 점막하층까지 침범한 조기 위암, 종양 세포가 점막하층을 지나 근육층 이상을 뚫고 침범됨에 따른 주변 장기로의 침습이 가능한 정도의 진행성 위암으로 분류될 수 있다. 이때, 조기 위암 및 진행성 위암은 치료를 위해 적용되는 치료법, 치료 예후, 나아가 재발률은 상이할 수 있다. 그러나, 의료 영상 진단에 기초한 위암 진단의 경우, 병소 부위가 매우 작게 존재하거나 정상 조직과의 구별이 어려울 수 있어 정확도가 떨어질 수 있다.
즉, 내시경 영상과 같은 종래의 의료 영상에 기초한 진단 방법은, 질환의 발병뿐만 아니라 질환의 진행 정도 등 병변을 정확하게 예측하는 것에 있어 어려움이 있음에 따라, 의료 사고가 발생할 확률이 높을 수 있다.
의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 질환 발병 여부, 나아가 정확한 병변 진단에 있어서 새로운 진단 방법의 개발이 지속적으로 요구되고 있는 실정이다.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
특정 질환의 발병 여부, 나아가 병변의 진행 정도 등에 대한 새로운 진단 방법으로, 질환 또는 병변의 진행 정도와 연관된 바이오마커의 수준에 기초한 분자생물학적 진단 방법이 제안되었다. 그러나, 분자생물학적 진단 방법은, 질환의 발병 여부는 진단할 수 있으나, 생물학적 행태가 상이한 병변의 세포 형태, 진행 정도 등 병변의 특성을 정확하게 구분하고 진단하는 것에 한계를 가질 수 있다.
한편, 본 발명의 발명자들은, 인공지능 알고리즘 기반의 진단 시스템을 도입함으로써 종래의 의료 영상에 기초한 진단 방법이 갖는 한계 및 문제점들을 보완하고자 하였다. 보다 구체적으로, 본 발명의 발명자들은 의료진에 의한 의료 영상의 판독에 더해 인공지능을 이용한 진단 소견을 보완함으로써 정확한 병변의 진단을 제공하고자 하였다.
특히 본 발명의 발명자들은, 의료 영상에 기초한 진단과 관련하여 내시경 영상과 같은 의료 영상의 데이터에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다.
그 결과, 본 발명의 발명자들은, 예측 모델을 이용하여 질환의 병변을 확률적으로 예측함에 따라 질환의 발병 여부와 함께 병변에 관한 정확한 정보를 제공할 수 있는 새로운 의료 영상에 기초한 진단 시스템을 개발하기에 이르렀다.
보다 구체적으로, 본 발명의 발명자들은 상기 조기 진단 시스템을 이용하여, 위암 의심 개체의 의료 영상을 기초로 점막층(mucosal) 또는 점막하층(submucosal)의 침범 깊이(depth of tumor invasion)에 따른 조기 위암, 정상 소견에 있어서 병변을 확률적으로 예측할 수 있었고, 결과적으로 위암 발병 여부 나아가 병변의 침범 깊이에 따른 진행 정도에 관한 정보를 제공할 수 있었다.
예를 들어, 같은 조기 위암이더라도 점막층은 위절제와 같은 수술적 처치가 아닌 내시경적 치료만으로도 완치가 가능한 경우가 많다. 따라서, 절제 전 종양세포의 침범 깊이와 같은 병변의 진행 정도를 정확히 예측하는 것은 위절제가 필요 없는 환자들이 위절제를 받게 되거나 내시경적 절제를 받은 후 치료가 불완전하여 추가 수술을 받게 되는 환자들이 없도록 하는데 있어서 매우 중요한 문제일 수 있다.
즉, 본 발명의 발명자들은 의료 영상에 기초하여 학습된 예측 모델에 기초한 진단 시스템이, 전술한 조기 위암뿐만 아니라 다양한 질환의 발병 여부, 나아가 병변을 예측하는 것에 있어 적용될 수 있음을 인지할 수 있었다. 나아가, 본 발명의 발명자들은 예측 모델에 기초한 진단 시스템이 개인의 상태에 맞춘 정확하고 효과적인 치료법을 제공하고, 나아가 좋은 예후로 이어질 수 있음을 더 인지할 수 있었다.
한편, 본 발명의 발명자들은, 예측 모델이 학습과정에서 정답과 예측 결과 사이의 오차를 줄이도록 학습함으로써 본 발명의 예측 모델의 진단 성능 향상을 기대할 수 있었다. 예측 모델에 대하여 미리 결정된 정답과 예측 모델의 예측 결과 사이의 오차를 줄이면서 학습하도록 구성함으로써 본 발명의 예측 모델의 진단 성능의 향상을 기대할 수 있었다.
보다 구체적으로, 본 발명의 발명자들은, 예측 모델에 입력된 의료 영상에 대한 병변의 예측 결과의 오차, 즉 병변 분류의 오차만을 줄이도록 학습될 경우, 학습 데이터 수가 적을 때 실제 병변이 발현되는 핵심 영역을 고려하지 않고 학습될 수 있음에 따라 진단의 정확도가 떨어질 수 있다는 점에 대하여 주목하였다.
이러한 문제점을 해결하기 위해, 본 발명의 발명자들은, 실제 병변이 발현된 영역에 대한 예측 모델이 병변을 분류하는 과정에서 병변 예측에 기여하는 관심 영역 사이의 위치 오차를, 상기 예측 모델의 학습에 더 반영하고자 하였다.
결과적으로, 본 발명의 발명자들은, 예측 모델을 병변 분류의 오차 및 병변 발현 의심 영역의 위치 오차를 줄이도록 학습 모델을 구성함에 따라, 질환의 발병 여부, 나아가 병변의 예측과 같은 진단 능력의 향상을 확인할 수 있었다.
즉, 본 발명의 발명자들은, 실제 병변이 발현된 영역 내에서 병변의 분류가 활성화가 되도록 하는 '병변' 중심의 학습이 가능한 예측 모델을 개발할 수 있었다. 이에 따라, 본 발명의 병변 예측 모델은, 예측 과정에 있어서 의료 영상에 대하여 ROI(region of interest)를 설정하고, 병변 영역만을 포함하도록 크로핑(cropping) 하는 것과 의료 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략 가능할 수 있었다.
나아가, 본 발명의 발명자들은, 예측 모델에 의한 병변의 예측 결과와 함께, 상기 예측 모델의 관심도를 나타내는 병변 발현 의심 영상을 제공하도록 하여, 예측 모델에 의한 병변 예측에 있어서 관심도가 높은 영역에 대한 정보를 의료진에게 제공하도록 하였다.
이에, 본 발명이 해결하고자 하는 과제는 수신된 의료 영상을 기초로 병변을 예측하도록 구성된 병변 예측 모델을 이용하여, 병변을 예측하고, 예측 모델의 관심도를 나타내는 병변 발현 의심 영상을 생성하고, 예측된 병변 및 병변 발현 의심 영상을 제공하도록 구성된, 병변 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 수신된 특정 질환의 병변이 미리 결정된 학습용 의료 영상을 기초로 병변을 예측하고, 미리 결정된 특정 질환의 병변에 대한 병변 예측 모델에 의해 예측된 병변 분류의 오차를 산출하고 이를 줄이도록 학습된 예측 모델을 이용한, 병변 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 수신된 정답 영역을 포함하는 학습용 의료 영상을 기초로 병변을 예측하는 처리 중에서, 학습용 의료 영상 내에서 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하고, 정답 영역에 대한 주요 관심 영역의 위치 오차를 산출하여 이를 줄이도록 학습된 예측 모델을 이용한, 병변 예측 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 개체의 질환 발병 의심 부위에 대한 의료 영상을 수신하도록 구성된 수신부, 및 개체에 대한 병변을 예측하고, 의료 영상 내에서의 병변을 예측하는 처리 중에서, 관심도를 나타내는 병변 발현 의심 영상을 생성하고, 예측된 병변 및 병변 발현 의심 영상을 제공하도록 구성된 프로세서를 포함하는, 병변 진단용 디바이스를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 병변 예측 방법이 제공된다. 본 방법은, 개체의 질환 발병 의심 부위에 대한 의료 영상을 수신하는 단계, 의료 영상을 기초로 병변을 예측하도록 구성된 병변 예측 모델을 이용하여, 개체에 대한 병변을 예측하는 단계, 의료 영상 내에서의 병변을 예측하는 처리 중에서, 병변 예측 모델의 병변 예측에 대한 관심도를 나타내는, 병변 발현 의심 영상을 생성하는 단계, 및 예측된 병변 및 병변 발현 의심 영상을 제공하는 단계를 포함한다.
본 발명의 특징에 따르면, 병변 예측 모델은, 병변 분류의 오차를 줄이도록 더 구성된 모델일 수 있다. 또한, 병변 예측 모델은, 특정 질환의 병변이 미리 결정된 학습용 의료 영상을 수신하는 단계, 학습용 의료 영상을 기초로 병변을 예측하는 단계, 미리 결정된 특정 질환의 병변에 대한 병변 예측 모델에 의해 예측된 병변 분류의 오차를 산출하는 단계, 및 예측된 병변 분류의 오차를 줄이도록 학습하는 단계를 통해 학습될 수 있다.
본 발명의 다른 특징에 따르면, 예측된 병변 분류의 오차를 산출하는 단계는, 하기 [수학식 1]에 의해 예측된 병변 분류의 오차를 산출하는 단계를 포함할 수 있다.
[수학식 1]
Figure pat00001
(여기서, k는 미리 결정된 병변의 종류이고, t k 는 미리 결정된 특정 질환의 병변에 대한 레이블이고, y k 는 병변 예측 모델에 의한 출력값이다.)
본 발명의 또 다른 특징에 따르면, 병변 발현 의심 영상은, 병변 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함할 수 있다. 또한, 병변 예측 모델은, 미리 결정된 특정 질환의 병변이 발현되는 영역인, 정답 영역 내에 주요 관심 영역이 중첩되는 경우 미리 결정된 특정 질환이 발현된 것으로 결정하도록 더 구성된 모델일 수 있다. 나아가, 병변 예측 모델은, 정답 영역을 포함하는 학습용 의료 영상을 수신하는 단계, 병변을 예측하는 처리 중에서 학습용 의료 영상 내에서 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하는 단계, 정답 영역에 대한 주요 관심 영역의 위치 오차를 산출하는 단계, 및 주요 관심 영역의 위치 오차를 줄이도록 학습하는 단계를 통해 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 주요 관심 영역의 위치 오차를 산출하는 단계는, 하기 [수학식 2]에 의해 주요 관심 영역의 위치 오차를 산출하는 단계를 포함할 수 있다.
[수학식 2]
Figure pat00002
(여기서, GT는 정답 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT∩GC|는 정답 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT∪GC|는 정답 영역 및 주요 관심 영역의 전체 픽셀 수이다.)
본 발명의 또 다른 특징에 따르면, 병변 예측 모델은, 미리 결정된 특정 질환의 병변 분류의 오차를 줄이고, 미리 결정된 특정 질환의 병변이 발현되는 영역인, 정답 영역 내에 주요 관심 영역이 중첩되는 경우 미리 결정된 특정 질환이 발현된 것으로 결정하도록 더 구성된 모델일 수 있다. 또한, 병변 예측 모델은, 특정 질환의 병변이 미리 결정되고 정답 영역을 포함하는 학습용 의료 영상을 수신하는 단계, 학습용 의료 영상을 기초로 병변을 예측하는 단계, 병변을 예측하는 처리 중에서 학습용 의료 영상 내에서 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하는 단계, 미리 결정된 병변에 대한 예측 모델에 의해 예측된 병변 분류의 오차를 산출하는 단계, 학습 과정에서 정답 영역에 대한 주요 관심 영역의 위치 오차를 산출하는 단계, 병변 분류의 오차 및 주요 관심 영역의 위치 오차를 합하여 전체 오차를 산출하는 단계, 전체 오차를 줄이도록 학습하는 단계를 통해 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 전체 오차를 산출하는 단계는, 하기 [수학식 3]에 의해 병변 분류의 오차 및 주요 관심 영역의 위치 오차를 합산하는 단계를 포함할 수 있다.
[수학식 3]
Figure pat00003
(여기서, E cls 는 예측된 병변 분류의 오차고, E loc 는 주요 관심 영역의 오차이고, α는 가중치이다.)
본 발명의 또 다른 특징에 따르면, 질환은, 위암이고, 병변은, 점막층(mucosal) 침범성 위암, 점막하층(submucosal) 침범성 위암, 및 정상 중 적어도 하나일 수 있다. 또한, 개체에 대한 병변을 예측하는 단계는, 병변 예측 모델을 이용하여, 의료 영상을 기초로 점막층 침범성 위암, 점막하층 침범성 위암 및 정상 중 적어도 하나의 병변을 예측하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 요 관심 영역에 대한 병변을 분류하는 단계는, 병변 예측 모델을 이용하여, 의료 영상을 기초로 점막층 침범성 위암인 확률, 점막하층 침범성 위암인 확률 및 정상인 확률의 병변 발현 확률을 각각 산출하는 단계, 및 산출된 병변 발현 확률을 기초로 적어도 하나의 병변을 분류하는 단계를 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 병변 예측 모델에 의해 의료 영상 내에서 주요 관심 영역이 결정되지 않을 경우, 개체의 병변을 정상으로 분류하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 병변 예측 모델은, VGG-16, DCNN(Deep Convolutional Neural Network) 및 ResNet 중 선택된 적어도 하나의 모델일 수 있다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 병변 예측 방법이 제공된다. 본 방법은, 개체에 대하여 의료 영상을 수신하는 단계, 의료 영상 내에서 주요 관심 영역으로 결정된 주요 관심 영역을 포함하는, 병변 발현 의심 영상을 생성하는 단계, 및 병변 발현 의심 영상을 제공하는 단계를 포함한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 병변 진단용 디바이스가 제공된다. 본 디바이스는, 개체의 질환 발병 의심 부위에 대한 의료 영상을 수신하도록 구성된 수신부, 및 수신부와 통신하도록 연결된 프로세서를 포함한다. 이때, 프로세서는, 의료 영상을 기초로 병변을 예측하도록 구성된 병변 예측 모델을 이용하여, 개체에 대한 병변을 예측하고, 의료 영상 내에서의 병변을 예측하는 처리 중에서, 병변 예측 모델의 병변 예측에 대한 관심도를 나타내는, 병변 발현 의심 영상을 생성하고, 예측된 병변 및 병변 발현 의심 영상을 제공하도록 구성된다.
본 발명의 특징에 따르면, 병변 예측 모델은, 병변 분류의 오차를 줄이도록 더 구성된 모델일 수 있다. 또한, 병변 예측 모델은, 특정 질환의 병변이 미리 결정된 학습용 의료 영상을 수신하고, 학습용 의료 영상을 기초로 병변을 예측하고, 미리 결정된 특정 질환의 병변에 대한 병변 예측 모델에 의해 예측된 병변 분류의 오차를 산출하고, 예측된 병변 분류의 오차를 줄이도록 학습하는 단계를 통해 학습된 모델일 수 있다.
본 발명의 다른 특징에 따르면, 예측된 병변 분류의 오차는 하기 [수학식 1]에 의해 산출될 수 있다.
[수학식 1]
Figure pat00004
(여기서, k는 미리 결정된 병변의 종류이고, t k 는 미리 결정된 특정 질환의 병변에 대한 레이블이고, y k 는 병변 예측 모델에 의한 출력값이다.)
본 발명의 또 다른 특징에 따르면, 병변 발현 의심 영상은, 병변 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함할 수 있다. 또한, 병변 예측 모델은, 미리 결정된 특정 질환의 병변이 발현되는 영역인, 정답 영역 내에 주요 관심 영역이 중첩되는 경우 미리 결정된 특정 질환이 발현된 것으로 결정하도록 더 구성된 모델일 수 있다. 나아가, 병변 예측 모델은, 학습 과정에서 정답 영역을 포함하는 학습용 의료 영상을 수신하고, 병변을 예측하는 처리 중에서, 학습용 의료 영상 내에서 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하고, 정답 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 주요 관심 영역의 위치 오차를 줄이도록 학습하는 단계를 통해 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 주요 관심 영역의 위치 오차는 하기 [수학식 2]에 의해 산출될 수 있다.
[수학식 2]
Figure pat00005
(여기서, GT는 정답 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT∩GC|는 정답 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT∪GC|는 정답 영역 및 주요 관심 영역의 전체 픽셀 수이다.)
본 발명의 또 다른 특징에 따르면, 병변 예측 모델은, 학습 과정에서 미리 결정된 특정 질환의 병변 분류의 오차를 줄이고, 미리 결정된 특정 질환의 병변이 발현되는 영역인, 정답 영역 내에 주요 관심 영역이 중첩되는 경우 미리 결정된 특정 질환이 발현된 것으로 결정하도록 더 구성된 모델일 수 있다. 또한, 병변 예측 모델은, 학습 과정에서 특정 질환의 병변이 미리 결정되고 정답 영역을 포함하는 학습용 의료 영상을 수신하고, 학습용 의료 영상을 기초로 병변을 예측하고, 병변을 예측하는 처리 중에서, 학습용 의료 영상 내에서 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하고, 미리 결정된 병변에 대한 예측 모델에 의해 예측된 병변 분류의 오차를 산출하고, 정답 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 병변 분류의 오차 및 주요 관심 영역의 위치 오차를 합하여 전체 오차를 산출하고, 전체 오차를 줄이도록 학습하는 단계를 통해 학습된 모델일 수 있다.
본 발명의 또 다른 특징에 따르면, 전체 오차는 하기 [수학식 3]에 의해 산출될 수 있다.
[수학식 3]
Figure pat00006
(여기서, E cls 는 예측된 병변 분류의 오차고, E loc 는 주요 관심 영역의 오차이고, α는 가중치이다.)
본 발명의 또 다른 특징에 따르면, 질환은 위암이고, 병변은 점막층 침범성 위암, 점막하층 침범성 위암, 및 정상 중 적어도 하나일 수 있다. 또한, 프로세서는, 병변 예측 모델을 이용하여 의료 영상을 기초로 점막층 침범성 위암, 점막하층 침범성 위암 및 정상 중 적어도 하나의 병변을 예측하도록 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 프로세서는, 병변 예측 모델을 이용하여, 의료 영상을 기초로 점막층 침범성 위암인 확률, 점막하층 침범성 위암인 확률 및 정상인 확률의 병변 발현 확률을 각각 산출하고, 산출된 병변 발현 확률을 기초로 적어도 하나의 병변을 분류하도록 더 구성될 수 있다. 본 발명의 또 다른 특징에 따르면, 프로세서는, 병변 예측 모델에 의해 의료 영상 내에서 주요 관심 영역이 결정되지 않을 경우, 개체의 병변을 정상으로 분류하도록 더 구성될 수 있다.
본 발명의 또 다른 특징에 따르면, 병변 예측 모델은, VGG-16, DCNN 및 ResNet 중 선택된 적어도 하나의 모델일 수 있다.
본 발명은, 의료 영상에 대하여 질환의 발병 여부 나아가 병변을 예측하도록 구성된 병변 예측 모델을 이용한 병변 예측 방법 및 이를 이용한 디바이스를 제공함으로써, 개체에 대하여 정확한 진단 정보를 제공할 수 있는 효과가 있다.
예를 들어, 본 발명은 점막층 침범 또는, 점막하층 침범의 조기 종양에 대한 침범 깊이와 같은 병변에 대한 예측 정보를 제공할 수 있고, 예측 결과에 따라 개인의 상태에 맞춘 정확하고 효과적인 치료법을 제공할 수 있다. 이에, 본 발명은 조기 질환의 치료에 대한 좋은 예후를 제공하는 것에 기여할 수 있는 효과가 있다.
또한, 본 발명은, 예측 모델에 대하여 미리 결정된 정답에 대한 예측 모델의 예측에 따른 결과 사이의 오차를 줄이도록 학습된 예측 모델을 제공함으로써, 진단 성능의 향상을 기대할 수 있는 효과가 있다. 보다 구체적으로, 본 발명은 실제 병변이 발현된 영역에 대한 예측 모델이 병변을 분류하는 과정에서 병변 예측에 기여하는 관심 영역과 미리 결정된 정답 영역 사이의 위치 오차를, 예측 모델의 학습에 반영함에 따라, 진단 성능이 향상된 의료 영상에 기초한 진단 시스템을 제공할 수 있는 효과가 있다.
이에, 본 발명은, 예측 모델이 병변 분류의 오차만을 학습하도록 구성될 경우 학습 데이터 수가 적을 때 실제 병변이 발현되는 핵심 영역을 고려하지 않고 학습될 수 있음에 따라 진단의 정확도가 떨어질 수 있다는 문제점을 해결할 수 있는 효과가 있다.
나아가, 본 발명은, 예측 과정에 있어서 의료 영상에 대하여 ROI를 설정하고, 병변 영역만을 포함하도록 크로핑하는 것과 의료 영상의 확대, 변형과 같은 영상의 전처리 과정의 생략에도 진단 능력이 우수한 예측 모델을 제공할 수 있는 효과가 있다.
또한, 본 발명은 예측 모델의 병변 예측 처리 중에 있어서 관심도가 높은 영역에 대한 정보를 제공할 수 있다. 이에, 의료인은 위치 정보를 기초로 병변 부위를 정확하게 파악할 수 있어, 보다 용이하게 질환에 대한 치료를 수행할 수 있다.
나아가, 본 발명은 실시간으로 질환 의심 부위에 대한 모니터링과 동시에 질환의 발병 여부 및 병변의 예측이 가능한 진단 시스템을 제공할 수 있는 효과가 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 병변 진단용 디바이스의 구성을 예시적으로 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 병변 예측 방법의 절차를 도시한 것이다.
도 2b는 본 발명의 일 실시예에 따른 병변 예측 방법에 의한 의료 영상에 대한 조기 위암의 병변 예측의 절차를 예시적으로 도시한 것이다.
도 3a 및 3b는 본 발명의 다양한 실시예에 이용되는 병변 예측 모델의 학습용 의료 영상 데이터를 도시한 것이다.
도 3c는 본 발명의 다양한 실시예에 이용되는 병변 예측 모델의 구성을 예시적으로 도시한 것이다.
도 4a 내지 4f는 본 발명의 다양한 실시예에 이용되는 병변 예측 모델의 알고리즘 종류에 따른 평가 결과를 도시한 것이다.
도 5a 내지 도 5h는 본 발명의 다양한 실시예에 이용되는 병변 예측 모델 및 종래의 학습 방법에 기초한 예측 모델에 기초한 예측 모델에 대한 평가 결과를 비교하여 도시한 것이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.
본 명세서에서 사용되는 용어, "개체"는 질환의 발병 여부, 나아가 병변을 예측하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 위암, 대장암, 갑상선암, 전립선암, 간암, 유방암, 폐암, 방광암, 췌장암, 전립선암, 결장암, 골수종, 흑색종, 두경부암, 신세포암, 교모세포종 및 고환암과 같은 암 질환 의심 개체일 수도 있다.
이때, 본 명세서 내 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.
본 명세서에서 사용되는 용어, "병변"은 특정한 질환에 대하여 나타나는 다양한 임상적 형태, 또는 특징, 또는 증상을 의미할 수 있다. 예를 들어, 위암의 경우, 이의 병변은, 점막 침범성 위암, 점막하층 침범성 위암을 포함할 수 있다. 그러나, 병변은 이에 제한되는 것이 아니다. 예를 들어, 병변은 임상적으로 '정상인 상태'를 더 포함할 수도 있다.
한편, 개체는, 동일한 질환을 가지고 있더라도 생물학적 특성의 병변이 상이할 수 있다. 이때, 질환의 치료에 있어서, 병변에 따라 적용되는 치료법이 상이할 수 있다. 이에, 질환의 발병 여부뿐만 아니라, 병변을 정확하게 구분하고 진단하는 것은, 개개인의 상태에 맞춘 정확하고 효과적인 치료법을 제공하는 것에 있어서 매우 중요할 수 있다.
본 명세서에서 사용되는 용어, "의료 영상"은, 질환 의심 부위에 대하여 영상 진단 장치로부터 촬영된 모든 의료 영상을 의미할 수 있다. 예를 들어, 의료 영상은, 개체에 대하여 촬영된 위, 장, 폐, 갑상선, 상복부, 하복부, 간, 정맥류, 자궁, 전립선, 고환, 근골격계 또는 유방에 대한 의료 영상일 수 있다. 그러나, 이에 제한되지 않고 의료 영상은 보다 다양한 질환 의심 부위를 포함할 수 있다.
한편, 의료 영상은, 질환 의심 부위에 대한 X-레이 영상, 초음파 영상, 컴퓨터단층촬영 영상, 자기공명영상, 양전자단층촬영 영상, 나아가 내시경 영상을 포함할 수 있다.
바람직하게, 본 명세서에 개시된 의료 영상은 질환 의심 부위에 내시경 영상일 수 있으나, 이에 제한되는 것은 아니다. 나아가, 의료 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 의료 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 병변 예측 방법에 따라 복수개의 의료 영상 각각에 대한 질환 발병 여부 및 병변이 예측될 수 있다. 그 결과, 본 발명은 영상 진단 장치로부터의 의료 영상의 수신과 동시에 병변의 예측을 수행함으로써, 실시간으로 예측된 병변 부위에 대한 진단 정보를 제공할 수 있다.
한편, 질환의 진단 나아가, 병변의 예측에 대한 정확도를 높이기 위해, 의료 영상을 기초로 병변을 예측하도록 구성된 예측 모델이 이용될 수 있다.
본 명세서에서 사용되는 용어, "병변 예측 모델"은 의료 영상에 대하여 특정 질환의 발병 여부, 나아가 동일한 질환에 대한 복수의 병변을 예측하도록 학습된 모델일 수 있다.
예를 들어, 본 발명의 병변 예측 모델은, 입력된 의료 영상에 대하여 조기 위암(점막층 침범 조기 위암 및 점막하층 침범 조기 위암) 또는, 정상의 2 클래스를 확률적으로 예측(분류)하도록 구성된 모델일 수 있다. 나아가, 본 발명의 병변 예측 모델은, 점막층 침범 조기 위암, 점막하층 침범 조기 위암, 또는 정상의 3 클래스(class)를 확률적으로 예측하도록 구성된 모델일 수 있다.
한편, 본 발명의 병변 예측 모델은, 미리 결정된 정답에 대한 예측 모델의 예측에 따른 결과 사이의 오차를 줄이도록 학습된 모델일 수 있다.
예를 들어, 본 발명의 병변 예측 모델은, 예측 모델에 입력된 의료 영상에 대한 병변의 예측 결과의 오차, 즉 병변 분류의 오차를 줄이도록 구성됨에 따라 진단의 정확도가 향상된 모델일 수 있다.
보다 구체적으로, 본 발명의 병변 예측 모델은 특정 질환의 병변이 미리 결정된 학습용 의료 영상을 수신하고, 학습용 의료 영상을 기초로 병변을 예측하고, 미리 결정된 특정 질환의 병변에 대한 병변 예측 모델에 의해 예측된 병변 분류의 오차를 산출하고, 예측된 병변 분류의 오차를 줄이도록 학습하는 단계를 통해 학습된 모델일 수 있다.
이때, 병변 분류의 오차는 [수학식 1]에 의해 산출될 수 있다.
[수학식 1]
Figure pat00007
여기서, k는 미리 결정된 병변의 종류이고, t k 는 미리 결정된 특정 질환의 병변에 대한 레이블이고, y k 는 병변 예측 모델에 의한 출력값일 수 있다.
나아가, 본 발명의 병변 예측 모델은, 실제 병변이 발현된 영역에 대한 예측 모델이 병변을 분류하는 과정에서 병변 예측에 기여하는 관심 영역 사이의 위치 오차를 줄이면서 학습하도록 구성된 모델일 수 있다.
보다 구체적으로, 본 발명의 병변 예측 모델은, 정답 영역을 포함하는 학습용 의료 영상을 수신하고, 병변을 예측하는 처리 중에서 의료 영상 내에서 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하고, 정답 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 주요 관심 영역의 위치 오차를 줄이도록 학습하는 단계를 통해 학습된 모델일 수 있다.
이때, 주요 관심 영역의 위치 오차는 [수학식 2]에 의해 산출될 수 있다.
[수학식 2]
Figure pat00008
여기서, GT는 정답 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT∩GC|는 정답 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT∪GC|는 정답 영역 및 주요 관심 영역의 전체 픽셀 수일 수 있다.
한편, 본 발명의 병변 예측 모델은 예측된 병변 분류의 오차 및 관심 영역의 위치 오차를 모두 고려하여 학습된 모델일 수 있다.
보다 구체적으로, 본 발명의 병변 예측 모델은 특정 질환의 병변이 미리 결정되고 정답 영역을 포함하는 학습용 의료 영상을 수신하고, 학습용 의료 영상을 기초로 병변을 예측하고, 병변을 예측하는 처리 중에서, 의료 영상 내에서 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하고, 미리 결정된 병변에 대한 예측 모델에 의해 예측된 병변 분류의 오차를 산출하고, 정답 영역에 대한 주요 관심 영역의 위치 오차를 산출하고, 병변 분류의 오차 및 상기 주요 관심 영역의 위치 오차를 합하여 전체 오차를 산출하고, 전체 오차를 줄이도록 학습하는 단계를 통해 학습된 모델일 수 있다.
이때, 전체 오차는 [수학식 3]에 의해 산출될 수 있다.
[수학식 3]
Figure pat00009
여기서, E cls 는 예측된 병변 분류의 오차고, E loc 는 주요 관심 영역의 오차이고, α는 가중치일 수 있다. 즉, α가 0.5일 경우, 예측된 병변 분류의 오차 및 주요 관심 영역의 오차의 가중치가 동일하게 적용될 수 있다.
이에, 본 발명의 병변 예측 모델은, 병변 분류와 같은 결과값의 오차만을 줄이도록 학습된 예측 모델보다 진단 능력이 우수할 수 있다. 즉 본 발명의 병변 예측 모델은, 병변 분류의 오차만을 줄이도록 학습될 경우 학습 데이터 수가 적을 때 실제 병변이 발현되는 핵심 영역을 고려하지 않고 학습될 수 있음에 따라 진단의 정확도가 떨어질 수 있다는 문제점을 해결할 수 있다.
나아가, 본 발명의 병변 예측 모델은, 실제 병변이 발현된 영역 내에서 병변의 분류가 활성화가 되도록 하는 '병변' 중심의 학습이 가능한 예측 모델일 수 있다. 이에, 예측 모델은, 예측 과정에 있어서 의료 영상에 대하여 ROI를 설정하고, 병변 영역만을 포함하도록 크로핑하는 것과 의료 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략 가능할 수 있다.
한편, 본 발명의 다양한 실시예에 따르면, 본 발명의 병변 예측 모델은, 의료 영상 내에서의 병변을 예측하는 처리 중에서, 예측의 관심도가 높은 영역을 다른 영역과 구별되도록 의료 영상 내에 표시하도록 더 구성될 수 있다.
예를 들어, 본 발명의 병변 예측 모델은, 의료 영상 내의 특정 영역에 대하여 관심도의 정도에 따라 상이한 색깔을 나타내도록, CAM(class activation mapping) 영상을 제공하도록 구성될 수 있다.
본 명세서에서 사용되는 용어, "주요 관심 영역"은, 의료 영상 내에서 본 발명의 병변 예측 모델에 의해 관심도가 큰 영역일 수 있다. 즉, 주요 관심 영역은, 병변이 발현한 영역일 확률이 다른 영역에서보다 클 수도 있다.
이에, 본 발명의 병변 예측 모델은, 실제 병변이 발현된 영역의 미리 결정된 정답 영역에 대한 주요 관심 영역의 중첩률이 높아지도록 학습된 모델일 수 있다. 즉, 본 발명의 병변 예측 모델은, 정답 영역에 대한 주요 관심 영역의 위치 오차를 줄이도록 구성된 모델로서, 상기와 같은 학습 방법에 의해 예측의 정확도가 향상된 모델일 수 있다.
한편, 본 발명의 병변 예측 모델은, VGG-16, DCNN(Deep Convolutional Neural Network) 및 ResNet 중 선택된 적어도 하나의 모델일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 병변 예측 모델은, DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), SSD(Single Shot Detector) 모델 또는 U-net을 기반으로 하는 예측 모델일 수도 있다.
이하에서는 도 1을 참조하여, 본 발명의 일 실시예에 따른 병변 진단용 디바이스를 설명한다.
먼저, 도 1을 참조하여, 본 발명의 일 실시예에 따른 병변 진단용 디바이스를 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 병변 진단용 디바이스의 구성을 도시한 것이다. 이때, 의료 영상으로 위 내시경 영상을 예로 들어 설명하나, 이에 제한되는 것은 아니다.
도 1을 참조하면, 병변 진단용 디바이스(100)는 내시경 영상 촬영부(110), 입력부(120), 출력부(130), 프로세서(140) 및 저장부(150)를 포함한다.
구체적으로 내시경 영상 촬영부(110)는 개체의 의료 영상, 예를 들어 위 점막에 대한 내시경 영상을 촬영하도록 구성될 수 있다. 이때, 내시경 영상 촬영부(110)에 의해 획득된 의료 영상은 RGB의 컬러 영상일 수도 있다. 한편, 내시경 영상 촬영부(110)는 촬영된 의료 영상을 후술할 프로세서(140)에 송신하도록 더 구성될 수 있다. 나아가, 내시경 영상 촬영부(110)는 외부로부터 의료 영상을 수신할 수 있는 수신부의 기능을 수행할 수도 있다. 한편, 내시경 영상 촬영부(110)를 통해 획득된 의료 영상 내에는 병변이 발현한 영역이 포함될 수 있다.
입력부(120)는 병변 진단용 디바이스(100)를 설정하고, 전술한 내시경 영상 촬영부(110)의 동작을 지시할 수 있다. 예를 들어, 사용자는 입력부(120)를 통해, 원하는 스틸컷을 획득하도록 내시경 영상 촬영부(110)의 동작을 지시할 수 있다. 한편, 입력부(120)는 내시경 영상 촬영부(110)와 직접적으로 연결되어 조작하도록 레버가 구비된 스틱 형태를 가질 수 있으나, 이에 제한되지 않고, 키보드, 마우스, 터치 스크린 패널일 수 있다.
한편, 출력부(130)는 내시경 영상 촬영부(110)로부터 획득된 의료 영상을 시각적으로 표시할 수 있다. 나아가, 출력부(130)는 프로세서(140)에 의해 의료 영상 내에서 결정된 병변, 생성된 병변 발현 의심 영상과 같은 개체에 대한 진단 정보를 시각적으로 표시하도록 구성될 수 있다.
프로세서(140)는 병변 진단용 디바이스(110)에 대하여 정확한 예측 결과를 제공하기 위한 구성 요소일 수 있다. 이때, 프로세서(140)는 의료 영상에 대하여 병변을 확률적으로 예측하고, 프로세서(140)는 병변을 예측하는 처리 중에 관심도가 높은 영역을 결정하도록 구성된 예측 모델을 이용할 수 있다. 특히, 프로세서(140)는 병변 분류의 오차 및 병변의 위치에 대한 오차를 줄이도록 학습하여 높은 진단 능력을 갖는 예측 모델에 기초할 수 있다.
예를 들어, 프로세서(140)는 위암 의심 개체에 대한 의료 영상에 대하여 조기 위암 또는 정상의 병변을 확률적으로 분류하고, 병변을 예측하는 처리 중에 관심도가 높은 영역을 결정하도록 구성된 예측 모델을 이용할 수 있다. 이때, 예측 모델은, 미리 결정된 정답에 대한 병변의 분류의 오차 및, 미리 결정된 정답 영역에 대한 병변의 분류 중에 결정된 관심도가 높은 영역의 오차를 줄이도록 학습한 모델일 수 있다.
이에, 프로세서(140)는 내시경 영상 촬영부(110)로부터 수신한 의료 영상을 기초로, 위암 의심 개체에 대한 병변을 확률적으로 예측하고, 관심도가 높은 영역을 결정하여, 조기 위암에 대한 정확도 높은 진단 정보를 제공할 수 있다.
한편 프로세서(140)는, 영상을 기초로 학습되는 다양한 학습 모델에 기초할 수 있다. 예를 들어, 본 발명의 다양한 실시예에서 이용되는 예측 모델들은 VGG-16, DCNN, ResNet, DNN, CNN, RNN, RBM, DBN, SSD 모델 또는 U-net을 기반으로 하는 예측 모델일 수 있으나, 이에 제한되는 것은 아니다.
저장부(150)는 내시경 영상 촬영부(110)를 통해 획득한 개체에 대한 의료 영상을 저장하고, 입력부(120)를 통해 설정된 병변 진단용 디바이스(100)의 지시를 저장하도록 구성될 수 있다. 나아가, 저장부(150)는 프로세서(140)에 의해 분류 또는, 예측된 결과들, 나아가 프로세서(140)에 의해 결정된 주요 관심 영역을 저장하도록 구성된다. 그러나, 전술한 것에 제한되지 않고 저장부(150)는, 조기 위암의 예측을 위해 프로세서(140)에 의해 결정된 다양한 정보들을 저장할 수 있다.
이하에서는, 도 2a 내지 도 2b를 참조하여, 본 발명의 일 실시예에 따른 병변 예측 방법을 구체적으로 설명한다. 도 2a는 본 발명의 일 실시예에 따른 병변 예측 방법의 절차를 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 병변 예측 방법에 의한 의료 영상에 대한 조기 위암의 병변 예측의 절차를 예시적으로 도시한 것이다.
도 2a를 참조하면, 본 발명의 일 실시예에 따른 조기 위암의 예측 절차는 다음과 같다. 먼저, 개체에 대한 의료 영상을 수신한다(S210). 그 다음, 의료 영상에 대하여 병변을 예측하도록 구성된 병변 예측 모델을 이용하여, 개체에 대한 병변을 예측한다(S220). 다음으로, 의료 영상 내에서의 병변을 예측하는 처리 중에서, 병변 예측 모델의 관심도를 나타내는, 병변 발현 의심 영상을 생성한다(S230). 마지막으로, 예측된 병변 및 병변 발현 의심 영상을 제공한다(S240).
예를 들어, 도 2b를 참조하면, 의료 영상을 수신하는 단계(S210) 에서 위암 의심 개체에 대한 위 내시경 영상과 같은 의료 영상(212)이 수신될 수 있다. 이때, 의료 영상(212)은 RGB 컬러의 영상일 수도 있으나 이에 제한되는 것은 아니다.
이때, 본 발명의 일 실시예에 따르면, 의료 영상을 수신하는 단계(S210)에서 복수개의 의료 영상(212)이 수신될 수 있다. 예를 들어, 내시경 영상 촬영부와 같은 영상 진단 장치의 구동에 따라 실시간으로 촬영된 의료 영상(212)이 획득될 수 있음에 따라, 의료 영상을 수신하는 단계(S210)에서는 복수개의 의료 영상이 획득될 수 있다.
다음으로, 도 2b를 참조하면, 병변을 예측하는 단계(S220)에서는, 병변 예측 모델(222)에, 의료 영상을 수신하는 단계(S210)에서 획득된 의료 영상(212)이 입력될 수 있다. 이때, 병변 예측 모델(222)은 CNN과 같은 복수의 레이어(layer)로 구성되어 입력된 의료 영상(212)에 대한 병변을 예측할 수 있다. 보다 구체적으로, 병변을 예측하는 단계(S220)에서 병변 예측 모델(222)에 의료 영상(212)이 입력되면, 점막층 침범성, 점막하층 침범성 또는 정상의 병변이 예측될 수 있다.
본 발명의 일 실시예에 따르면, 병변을 예측하는 단계(S220)에서는 병변 예측 모델(222)에 의해 병변이 확률적으로 예측될 수 있다.
한편, 병변 예측 모델(222)은 병변의 예측 처리 중에서 병변이 발현된 것으로 의심되는 영역을 주요 관심 영역(224)으로 결정할 수 있다.
이에, 병변 발현 의심 영상을 생성하는 단계(S230)에서, 의료 영상 내에서의 병변을 예측하는 처리 중에서, 병변 예측 모델의 병변 예측에 대한 관심도를 나타내는 병변 발현 의심 영상이 생성될 수 있다.
보다 구체적으로, 도 2b를 참조하면, 병변 발현 의심 영상을 생성하는 단계(S230)에서, 병변을 예측하는 처리 중에서 관심도가 나타나는 병변 발현 의심 영상(226)이 생성될 수 있다. 이때, 병변 발현 의심 영상(226)은 예측 모델에 의해 관심도가 높은 영역인, 주요 관심 영역(224)을 포함할 수 있다. 즉, 주요 관심 영역(224)은, 실제 병변 예측 모델(222)이 병변을 분류하고자 할 때 병변이 발현한 것으로 의심되는 영역일 수 있다.
다음으로, 도 2b를 참조하면, 예측된 병변 및 병변 발현 의심 영상을 제공하는 단계(S240)에서는, 전술한 병변을 예측하는 단계(S220)에서 예측된 개체에 대한 병변 및 병변 발현 의심 영상을 생성하는 단계(S230)에서 생성된 병변 발현 의심 영상(226)이 제공될 수 있다. 보다 구체적으로, 예측된 병변 및 병변 발현 의심 영상을 제공하는 단계(S240)에서, 병변 예측 모델(222)에 의해 산출된 의료 영상(212)에 대한 점막층 침범 조기 위암, 점막하층 침범 조기 위암, 또는 정상의 확률을 포함하는, 조기 위암 발병 예측 정보(232)가 주요 관심 영역(224)이 표시된 병변 발현 의심 영상(226)과 함께 제공될 수 있다.
이상의 본 발명의 일 실시예에 따른 병변 예측 방법에 의해, 개체로부터 획득된 의료 영상에 대한 병변의 분류에 따라, 사용자의 숙련도에 관계 없이 조기 위암과 같은 질환에 대한 발병 여부 및 병변에 대한 정확한 예측이 가능할 수 있다. 이에, 본 발명은 의료 영상에 기초한 진단 시스템에 적용될 수 있다.
이하에서는, 도 3a 내지 도 3c를 참조하여, 본 발명의 다양한 실시예에서 이용되는 병변 예측 모델의 학습 방법을 설명한다. 도 3a 및 3b는 본 발명의 다양한 실시예에 이용되는 병변 예측 모델의 학습용 의료 영상 데이터를 도시한 것이다. 도 3c는 본 발명의 다양한 실시예에 이용되는 병변 예측 모델의 구성을 예시적으로 도시한 것이다.
이때, 학습용 의료 영상은, 위 내시경 영상으로, 점막층 침범 종양, 또는 점막하층 침범 종양으로 진단된 개체에 대한 의료 영상 및 정상의 의료 영상이 이용된다. 보다 구체적으로, 본 발명의 병변 예측 모델의 학습용 영상은, 점막 침범 종양 또는 점막하층 침범 종양의 병변 분류를 위한, 점막층 침범 종양 영상 및 점막하층 침범 종양 영상을 포함한다. 나아가, 본 발명의 병변 예측 모델의 학습용 영상은, 조기 위암 (점막 침범 종양 + 점막하층 침범 종양) 및 정상의 질환 발병 여부 예측을 위한, 조기 위암 영상 (점막 침범 종양 영상 + 점막하층 침범 종양 영상) 및 정상 개체에 대한 영상을 포함할 수 있다.
그러나, 이에 제한되는 것이 아니며, 본 발명의 예측 모델의 학습은, 보다 다양한 질환을 갖는 개체에 대한, 다양한 영상 진단 장치로부터 획득한 의료 영상에 기초하여 수행될 수 있다.
도 3a의 (a)를 참조하면, 본 발명의 병변 예측 모델의 병변 예측의 학습, 검증 및 평가를 위해, 총 1097 장의 점막층 침범 종양(Mucosal) 영상 및 총 1005 장의 점막하층 침범 종양(Submucosal) 영상으로 구성된 A, B, C, D 및 E의 데이터셋의 학습용 영상이 이용된다.
도 3a의 (b)를 참조하면, 본 발명의 병변 예측 모델의 질환 예측의 학습, 검증 및 평가를 위해, 총 2102 장의 조기 위암 병변 (Lesion) 영상 (점막층 침범 종양 영상 + 점막하층 침범 종양 영상) 및 총 5409 장의 정상 (Normal) 의 위 내시경 영상으로 구성된 A, B, C, D 및 E의 데이터셋의 학습용 영상이 이용된다.
도 3a의 (c)를 참조하면, 본 발명의 병변 예측 모델의 학습, 검증 및 평가는 5회의 교차 검증을 통해 수행되었다. 이때, 평가에서 학습용 의료 영상의 비율은 1:1(예를 들어, Mucosal 영상:Submucosal 영상 = Lesion 영상:Normal 영상 = 1:1) 이 되도록 구성하였다.
도 3b를 참조하면, 학습용 의료 영상(312)은, 의료 영상 내의 불필요한 영역들이 제거되었다. 이에, 불 필요 영역이 제거된 학습용 의료 영상(314)이 최종적으로 학습 및 실제 병변 예측에 이용되었다. 즉, 본 발명의 병변 예측 모델은, 예측 과정에 있어서 의료 영상에 대하여 ROI를 설정하고, 병변 영역만을 포함하도록 크로핑하는 것과 의료 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략될 수 있다. 그럼에도, 본 발명의 병변 예측 모델은, 예측 능력이 다른 예측 모델들 보다 우수할 수 있다.
한편, 본 발명의 본 발명의 다양한 실시예에서 이용되는 병변 예측 모델은, 영상 인식에 적합하고, 예측 처리 중에서 병변에 대한 활성화에 따른 관심도의 정도, 예를 들어 CAM을 제공할 수 있는, VGG-16, DCNN, ResNet 중 선택된 적어도 하나의 모델일 수 있다. 그러나, 본 발명의 예측 모델들은 이에 제한되지 않고 보다 다양한 알고리즘에 기초할 수 있다.
도 3c를 참조하면, VGG-16에 기초한 예측 모델이 예시적으로 개시된다. 보다 구체적으로, VGG-16에 기초한 예측 모델은, 컨볼루션(convolution) + ReLU(Rectifier Linear Unit)으로 구성된 레이어, 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링(max pooling) 레이어, 완전 연결(fully connected layer) 레이어 및 최종적으로 병변을 분류하는 소프트맥스(softmax) 레이어의 복수의 층으로 구성될 수 있다.
보다 구체적으로, 병변 예측 모델에 병변이 미리 결정된, 224 x 224 픽셀의 학습용 의료 영상(314)이 입력되면, 다층의 신경망 구조에 의해 점막층 침범 조기 위암, 또는 점막하층 침범 조기 위암과 같은 2 클래스의 병변을 분류하도록 구성될 수 있다.
이때, 병변 예측 모델은, 병변의 예측 처리 중에서, 보다 구체적으로 굵은 선으로 표시된 마지막 컨볼루션 + ReLU 레이어에서, 병변에 대한 활성화에 따른 관심도의 정도를 나타내는 병변 발현 의심 영상(324)을 생성할 수 있다. 이때, 병변 발현 의심 영상(324)은 병변 예측 모델에 의해 결정된 관심도가 높은 주요 관심 영역(322)을 포함할 수 있는데, 주요 관심 영역(322)은 병변 활성화 정도에 따라 0 내지 1사이의 값을 가지도록 정규화될 수 있다.
나아가, 본 발명의 병변 예측 모델은, 컨볼루션 + ReLU 레이어에서 학습용 의료 영상(314)에서 미리 결정된 정답 영역(316)에 대한 주요 관심 영역(322)의 위치 오차를 산출하도록 구성될 수 있다.
한편, 학습용 의료 영상(314)은 실제 병변이 발현된 영역인 정답 영역(316)을 포함할 수 있다. 따라서, 병변 발현 의심 영상(324)에 대하여, 병변 예측 모델에 의해 결정된 관심도가 높은 주요 관심 영역(322)과 실제 정답 영역(316)의 중첩된 정도에 따라 병변 위치 예측의 정확도가 평가될 수 있다.
즉, 본 발명의 병변 예측 모델은 병변의 분류뿐만 아니라 실제 병변이 발현된 정답 영역(316)에서 관심도가 높도록(활성화 되도록) 학습되어, 보다 높은 정확도로 병변을 예측할 수 있다.
이를 위해, 본 발명의 병변 예측 모델은, 병변 예측의 마지막 단계, 보다 구체적으로 마지막 소프트맥스 레이어에서 학습용 의료 영상(314)에 대하여 미리 결정된 병변에 대한 병변 예측 모델의 병변 분류의 오차를 산출하고, 이를 줄이면서 학습하도록 구성될 수 있다.
이때, 병변 분류의 오차는 [수학식 1]에 의해 산출될 수 있다.
[수학식 1]
Figure pat00010
여기서, k는 미리 결정된 병변의 종류 (점막층 침범 조기 위암, 또는 점막하층 침범 조기 위암)이고, t k 는 미리 결정된 특정 질환의 병변에 대한 레이블(점막층 침범 조기 위암, 또는 점막하층 침범 조기 위암)이고, y k 는 병변 예측 모델에 의한 출력값(점막층 침범 조기 위암, 또는 점막하층 침범 조기 위암)일 수 있다.
나아가, 본 발명의 병변 예측 모델은, 병변 예측의 마지막 단계, 보다 구체적으로 마지막 컨볼루션 + ReLU 레이어에서 학습용 의료 영상(314)에서 미리 결정된 정답 영역(316)에 대한 주요 관심 영역(322)의 위치 오차를 산출하고, 이를 줄이면서 학습하도록 더 구성될 수 있다.
이때, 주요 관심 영역의 위치 오차는 [수학식 2]에 의해 산출될 수 있다.
[수학식 2]
Figure pat00011
여기서, GT는 정답 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT∩GC|는 정답 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT∪GC|는 정답 영역 및 주요 관심 영역의 전체 픽셀 수일 수 있다.
즉, 본 발명의 병변 예측 모델은, 예측된 병변 분류의 오차 및 관심 영역의 위치 오차를 합산한, 전체 오차를 줄이면서 학습하도록 구성됨에 따라, 병변 분류뿐만 아니라 병변의 위치를 학습하여 진단 능력이 향상된 모델일 수 있다.
이때, 전체 오차는 [수학식 3]에 의해 산출될 수 있다.
[수학식 3]
Figure pat00012
여기서, E cls 는 예측된 병변 분류의 오차고, E loc 는 주요 관심 영역의 오차이고, α는 가중치일 수 있다. 즉, α가 0.5일 경우, 예측된 병변 분류의 오차 및 주요 관심 영역의 오차의 가중치가 동일하게 적용될 수 있다.
이에, 본 발명의 병변 예측 모델은, 병변 분류와 같은 결과값의 오차만을 줄이면서 학습하도록 구성된 예측 모델보다 진단 능력이 우수할 수 있다. 나아가 본 발명의 병변 예측 모델은, 병변 분류의 오차만을 줄이면서 학습하도록 구성될 경우 학습 데이터 수가 적을 때 실제 병변이 발현되는 핵심 영역을 고려하지 않고 학습될 수 있음에 따라 진단의 정확도가 떨어질 수 있다는 문제점을 해결할 수 있다.
한편, 본 발명의 다양한 실시예에 이용되는 병변 예측 모델의 구성 및 이의 학습 방법은 전술한 것에 제한되는 것이 아니다.
실시예: 병변 예측 모델의 평가
이하의 실시예에서는 도 4a 내지 도 4f를 참조하여 본 발명의 다양한 실시예에 이용되는 병변 예측 모델의 평가 결과를 설명한다. 이때, 예측 모델로서 VGG-16, DCNN 및 ResNet가 이용되었다. 나아가, 입력된 위 내시경 영상의 의료 영상에 대하여 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암(Mucosal vs Submucosal)의 2 클래스로 분류하거나 또는 조기 위암(점막층 침범 조기 위암 및 점막하층 침범 조기 위암) 또는 정상의 2 클래스를 분류하도록 구성되었다.
그러나, 본 발명의 병변 예측 모델은 이에 제한되는 것이 아니며, 이의 적용범위 또한 위암의 예측에 한정되는 것은 아니다. 예를 들어, 본 발명의 병변 예측 모델은 DNN, CNN, RNN, RBM, DBN, SSD 또는 U-net을 기반으로 하는 예측 모델일 수 있다. 나아가, 본 발명의 병변 예측 모델은 위암, 대장암, 갑상선암, 전립선암, 간암, 유방암, 폐암, 방광암, 췌장암, 전립선암, 결장암, 골수종, 흑색종, 두경부암, 신세포암, 교모세포종 및 고환암과 같은 암 질환에 대한 병변을 예측하는 것에 적용될 수 있다.
도 4a의 (a) 및 (b)를 참조하면, 병변의 위치를 중심으로 학습된 VGG-16 모델의 컨볼루션 레이어에서 나타나는, 점막층 침범 조기 위암(Mucosal) 영상 및 점막하층 침범 조기 위암(Submucosal) 영상에 대한 병변 분류 과정에서의 CAM 활성화의 변화가 도시된다.
보다 구체적으로, 도 4a의 (a)를 참조하면, 병변 중심으로 학습된 VGG-16 모델 기반의 병변 예측 모델은, 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 점막층 침범 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
도 4a의 (b)를 참조하면, 병변 중심으로 학습된 VGG-16 모델 기반의 병변 예측 모델은, 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 점막하층 침범 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
즉, VGG-16 모델 기반의 병변 예측 모델에 의해, 의료 영상 내에서 활성화가 높은 주요 관심 영역으로 결정된 영역은, 실제 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병변이 발현한 영역(병변 영역)일 확률이 높을 수 있다.
도 4b의 (a) 및 (b)를 참조하면, 병변의 위치를 중심으로 학습된 VGG-16 모델의 컨볼루션 레이어에서 나타나는, 조기 위암 병변(Lesion) 영상(점막층 침범 조기 위암 영상 + 점막하층 침범 조기 위암 영상)과 정상(Normal)의 위 내시경 영상에 대한 병변 또는 정상의 예측 과정에서의 CAM 활성화의 변화가 도시된다.
보다 구체적으로, 도 4b의 (a)를 참조하면, 병변 중심으로 학습된 VGG-16 모델 기반의 병변 예측 모델은, 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
도 4b의 (b)를 참조하면, 병변 중심으로 학습된 VGG-16 모델 기반의 병변 예측 모델은, 정상의 위 내시경 영상 내에서 일부 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다. 이때, 관심도가 높은 일부 영역은, 실제는 정상이나 병변이 발현한 것으로 의심되는 병변 의심 영역일 수 있다.
즉, VGG-16 모델 기반의 병변 예측 모델에 의해, 의료 영상 내에서 활성화가 높은 주요 관심 영역으로 결정된 영역은, 조기 위암의 병변이 발현한 영역(병변 영역)이거나 병변이 발현된 것으로 의심되는 병변 의심 영역일 확률이 높을 수 있다.
도 4c의 (a) 및 (b)를 참조하면, 병변의 위치를 중심으로 학습된 DCNN 모델의 컨볼루션 레이어에서 나타나는, 점막층 침범 조기 위암(Mucosal) 영상 및 점막하층 침범 조기 위암(Submucosal) 영상에 대한 병변 분류 과정에서의 CAM 활성화의 변화가 도시된다.
보다 구체적으로, 도 4c의 (a)를 참조하면, 병변 중심으로 학습된 DCNN 모델 기반의 병변 예측 모델은, 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 점막층 침범 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
도 4c의 (b)를 참조하면, 병변 중심으로 학습된 DCNN 모델 기반의 병변 예측 모델은, 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 점막하층 침범 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
즉, DCNN 모델 기반의 병변 예측 모델에 의해, 의료 영상 내에서 활성화가 높은 주요 관심 영역으로 결정된 영역은, 실제 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병변이 발현한 영역(병변 영역)일 확률이 높을 수 있다.
도 4d의 (a) 및 (b)를 참조하면, 병변의 위치를 중심으로 학습된 DCNN 모델의 컨볼루션 레이어에서 나타나는, 조기 위암 병변(Lesion) 영상(점막층 침범 조기 위암 영상 + 점막하층 침범 조기 위암 영상)과 정상(Normal)의 위 내시경 영상에 대한 병변 또는 정상의 예측 과정에서의 CAM 활성화의 변화가 도시된다.
보다 구체적으로, 도 4d의 (a)를 참조하면, 병변 중심으로 학습된 DCNN 모델 기반의 병변 예측 모델은, 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다. 특히, 조기 위암을 예측할 경우, 정답 영역과 그 이외의 영역에 대한 관심도 차이가 명확한 것으로 나타난다.
도 4d의 (b)를 참조하면, 병변 중심으로 학습된 DCNN 모델 기반의 병변 예측 모델은, 정상의 위 내시경 영상 내에서 일부 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다. 이때, 관심도가 높은 일부 영역은, 정상의 의료 영상에 대한 위 점막의 구조에 의해 나타난 것일 수 있다.
즉, DCNN 모델 기반의 병변 예측 모델에 의해, 의료 영상 내에서 활성화가 높은 주요 관심 영역으로 결정된 영역은, 조기 위암의 병변이 발현한 영역(병변 영역)이거나 병변이 발현된 것으로 의심되는 병변 의심 영역일 확률이 높을 수 있다.
도 4e의 (a) 및 (b)를 참조하면, 병변의 위치를 중심으로 학습된 ResNet 모델의 컨볼루션 레이어에서 나타나는, 점막층 침범 조기 위암(Mucosal) 영상 및 점막하층 침범 조기 위암(Submucosal) 영상에 대한 병변 분류 과정에서의 CAM 활성화의 변화가 도시된다.
보다 구체적으로, 도 4e의 (a)를 참조하면, 병변 중심으로 학습된 ResNet 모델 기반의 병변 예측 모델은, 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 점막층 침범 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
도 4e의 (b)를 참조하면, 병변 중심으로 학습된 ResNet 모델 기반의 병변 예측 모델은, 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 점막하층 침범 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
즉, ResNet 모델 기반의 병변 예측 모델에 의해, 의료 영상 내에서 활성화가 높은 주요 관심 영역으로 결정된 영역은, 실제 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병변이 발현한 영역(병변 영역)일 확률이 높을 수 있다.
도 4f의 (a) 및 (b)를 참조하면, 병변의 위치를 중심으로 학습된 ResNet 모델의 컨볼루션 레이어에서 나타나는, 조기 위암 병변(Lesion) 영상(점막층 침범 조기 위암 영상 + 점막하층 침범 조기 위암 영상)과 정상(Normal)의 위 내시경 영상에 대한 병변 또는 정상의 예측 과정에서의 CAM 활성화의 변화가 도시된다.
보다 구체적으로, 도 4f의 (a)를 참조하면, 병변 중심으로 학습된 ResNet 모델 기반의 병변 예측 모델은, 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다. 특히, 조기 위암을 예측할 경우, 정답 영역과 그 이외의 영역에 대한 관심도 차이가 명확한 것으로 나타난다.
도 4f의 (b)를 참조하면, 병변 중심으로 학습된 ResNet 모델 기반의 병변 예측 모델은, 정상의 위 내시경 영상 내에서 일부 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다. 이때, 관심도가 높은 일부 영역은, 정상의 의료 영상에 대한 위 점막의 구조에 의해 나타난 것일 수 있다. 나아가, 관심도가 높은 일부 영역은 실제 정상이지만 병변이 발현한 것으로 의심되는 병변 의심 영역일 수도 있다.
즉, ResNet 모델 기반의 병변 예측 모델에 의해, 의료 영상 내에서 활성화가 높은 주요 관심 영역으로 결정된 영역은, 조기 위암의 병변이 발현한 영역(병변 영역)이거나 병변이 발현된 것으로 의심되는 병변 의심 영역일 확률이 높을 수 있다.
이상의 실시예의 결과에 따르면, 본 발명의 다양한 실시예에 이용되는 병변 예측 모델은, 실제 병변이 발현한 영역인 병변 영역에 대하여 높은 관심도를 갖는 것으로 나타난다. 이때, 의료 영상 내에서 활성화가 높은 주요 관심 영역으로 결정된 영역은, 조기 위암의 병변이 발현한 영역(병변 영역)이거나 병변이 발현된 것으로 의심되는 병변 의심 영역일 확률이 높을 수 있다. 따라서, 예측 모델의 관심도를 나타내는 병변 발현 의심 영상이 함께 제공됨에 따라, 의료진은 병변 예측 모델에 의해 관심도가 높은 것으로 결정된 영역에 대하여 보다 주의 깊은 진단을 수행할 수 있다.
예를 들어, 본 발명은 점막층 침범 또는, 점막하층 침범의 조기 종양에 대한 침범 깊이와 같은 병변에 대한 예측 정보를 제공할 수 있고, 예측 결과에 따라 개인의 상태에 맞춘 정확하고 효과적인 치료법을 제공할 수 있다. 이에, 본 발명은 조기 질환의 치료에 대한 좋은 예후를 제공하는 것에 기여할 수 있다.
본 발명은, 미리 결정된 정답에 대한 예측에 따른 결과 사이의 오차를 줄이면서 학습하도록 구성된 병변 예측 모델을 제공함으로써, 진단 성능의 향상을 기대할 수 있는 효과가 있다. 보다 구체적으로, 본 발명은 실제 병변이 발현된 영역에 대한 예측 모델이 병변을 분류하는 과정에서 병변 예측에 기여하는 관심 영역과 정답 영역 사이의 위치 오차를, 예측 모델의 학습에 반영함에 따라, 진단 성능이 향상된 의료 영상에 기초한 진단 시스템을 제공할 수 있는 효과가 있다.
비교예: 본 발명의 병변 예측 모델 및 종래의 예측 모델의 평가
이하의 비교예에서는 도 5a 내지 도 5h를 참조하여 본 발명의 다양한 실시예에 이용되는 병변 중심의 학습을 수행한 병변 예측 모델 및 종래의 학습 방법에 기초한 예측 모델의 평가 결과를 설명한다. 이때, 예측 모델로서 VGG-16가 이용되었다. 나아가, 입력된 위 내시경 영상의 의료 영상에 대하여 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암(Mucosal vs Submucosal)의 2 클래스로 분류하거나 또는 조기 위암(점막층 침범 조기 위암 및 점막하층 침범 조기 위암) 또는 정상의 2 클래스를 분류하도록 구성되었다.
이때, 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암(Mucosal vs Submucosal)의 2 클래스로의 병변 예측 평가를 위해 150 장의 점막층 침범 조기 위암 영상 및 150 장의 점막하층 침범 조기 위암 영상이 이용되었고, 총 5 번의 평가가 수행되었다.
나아가, 조기 위암(점막층 침범 조기 위암 및 점막하층 침범 조기 위암) 또는 정상의 2 클래스로의 질환 발병 여부 예측 평가를 위해, 330 장의 조기 위암 영상 및 330 장의 정상의 위 내시경 영상이 이용되었고, 총 5 번의 평가가 수행되었다.
도 5a 내지 도 5h는 본 발명의 다양한 실시예에 이용되는 병변 예측 모델 및 종래의 학습 모델에 기초한 예측 모델에 대한 평가 결과를 비교하여 도시한 것이다.
도 5a를 참조하면, 종래의 학습 방법에 기초한 VGG-16 모델 및 본 발명의 병변 중심의 학습 방법에 기초한 VGG-16 모델 (본 발명의 병변 예측 모델) 에 대한 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암(Mucosal vs Submucosal)의 2 클래스로의 병변 예측 평가 결과가 도시된다.
본 평가 결과를 참조하면, 전체 종래의 학습 방법에 기초한 VGG-16 모델의 검출률(Recall, RCL), 정확도(Precision, PRC) 및 F1 점수(F1)은, 본 발명의 병변 예측 모델에 비하여 낮은 수준으로 나타난다.
보다 구체적으로, 전체 평가(합계) 결과를 참조하면, 종래의 학습 방법에 기초한 VGG-16 모델은 점막층 침범 조기 위암에 대하여 0.743의 검출률, 0.659의 정확도를 갖는 것으로 나타난다. 나아가, 종래의 학습 방법에 기초한 VGG-16 모델은 점막하층 침범 조기 위암에 대하여 0.616의 검출률, 0.705의 정확도를 갖는 것으로 나타난다.
이와 대조적으로, 도 5b의 (a) 및 (b)를 함께 참조하면, 본 발명의 병변 예측 모델은 점막층 침범 조기 위암에 대하여 0.804의 검출률, 0.781의 정확도를 갖는 것으로 나타난다. 나아가, 본 발명의 병변 예측 모델은 점막하층 침범 조기 위암에 대하여 0.775의 검출률, 0.798의 정확도를 갖는 것으로 나타난다.
즉, 본 발명의 병변 예측 모델은, 종래의 학습 방법에 기초한 VGG-16 모델에 비하여 보다 높은 검출률, 정확도 및 F1 점수로 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병변을 예측하는 것으로 나타난다.
나아가, 도 5c의 (a)를 더 참조하면, 종래의 학습 방법에 기초한 VGG-16 모델에 의한 점막층 조기 위암 또는 점막하층 침범 조기 위암의 병변 예측에 대한 AUC 값은 0.73으로 나타난다.
이와 대조적으로, 도 5c의 (b)를 더 참조하면, 본 발명의 병변 예측 모델에 의한 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병변 예측에 대한 AUC 값은 0.86으로 나타난다.
이와 같은 결과는, 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병변을 예측하는 것에 있어서, 본 발명의 병변 예측 모델이 종래의 학습 방법에 기초한 VGG-16 모델보다 높은 진단 능력을 가지는 것을 의미할 수 있다.
나아가, 도 5d의 (a)를 참조하면, 본 발명의 병변 예측 모델은 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 점막층 침범 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
도 5d의 (b)를 참조하면, 본 발명의 병변 예측 모델은, 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 점막하층 침범 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
즉, 병변 중심의 학습 방법에 기초한 본 발명의 병변 예측 모델은, 종래의 학습 방법에 기초한 예측 모델 보다, 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병변을 예측하는 것에 있어서 진단 능력이 우수할 수 있다. 특히, 본 발명의 병변 예측 모델에 의해 주요 관심 영역으로 결정된 영역은, 실제 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병변이 발현한 영역(병변 영역)일 확률이 높을 수 있다.
도 5e를 참조하면, 종래의 학습 방법에 기초한 VGG-16 모델 및 본 발명의 병변 중심의 학습 방법에 기초한 VGG-16 모델 (본 발명의 병변 예측 모델) 에 대한 조기 위암(점막층 침범 조기 위암 및 점막하층 침범 조기 위암) 또는 정상의 2 클래스로의 질환 발병 여부 예측 평가 결과가 도시된다.
본 평가 결과를 참조하면, 전체 종래의 학습 방법에 기초한 VGG-16 모델의 검출률(Recall, RCL), 정확도(Precision, PRC) 및 F1 점수(F1)은, 본 발명의 병변 예측 모델에 비하여 낮은 수준으로 나타난다.
보다 구체적으로, 전체 평가(합계) 결과를 참조하면, 종래의 학습 방법에 기초한 VGG-16 모델은 조기 위암에 대하여 0.832의 검출률, 0.932의 정확도를 갖는 것으로 나타난다. 나아가, 종래의 학습 방법에 기초한 VGG-16 모델은 정상 영상에 대하여 0.939의 검출률, 0.848의 정확도를 갖는 것으로 나타난다.
한편, 도 5f의 (a) 및 (b)를 함께 참조하면, 본 발명의 병변 예측 모델은 조기 위암에 대하여 0.925의 높은 수준의 검출률, 0.970의 높은 수준의 정확도를 갖는 것으로 나타난다. 나아가, 본 발명의 병변 예측 모델은 정상 영상에 대하여 0.972의 높은 검출률, 0.929의 높은 정확도를 갖는 것으로 나타난다.
즉, 본 발명의 병변 예측 모델은, 종래의 학습 방법에 기초한 VGG-16 모델에 비하여 보다 높은 검출률, 정확도 및 F1 점수로 조기 위암 또는 정상의 질환 발병 여부를 예측하는 것으로 나타난다.
나아가, 도 5g의 (a)를 더 참조하면, 종래의 학습 방법에 기초한 VGG-16 모델에 의한 점막층 조기 위암 또는 점막하층 침범 조기 위암의 병변 예측에 대한 AUC 값은 0.94로 나타난다.
한편, 도 5g의 (b)를 더 참조하면, 본 발명의 병변 예측 모델에 의한 점막층 침범 조기 위암 또는 점막하층 침범 조기 위암의 병변 예측에 대한 AUC 값은 0.99로 매우 높은 AUC 값을 갖는 것으로 나타난다.
이와 같은 결과는, 조기 위암의 발병 여부를 예측하는 것에 있어서, 본 발명의 병변 예측 모델이 종래의 학습 방법에 기초한 VGG-16 모델보다 높은 진단 능력을 가지는 것을 의미할 수 있다.
나아가, 도 5h의 (a)를 참조하면, 본 발명의 병변 예측 모델은 병변 예측 처리에 따라 영상 내에서 흰색 선으로 표시된 실제 조기 위암의 병변이 발현한 영역인 정답 영역과 유사한 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다.
도 5h의 (b)를 참조하면, 본 발명의 병변 예측 모델은, 정상의 의료 영상에 대하여 일부 영역에서 관심도(활성화 정도)가 높아지는 것으로 나타난다. 이때, 관심도 높은 일부 영역은, 실제 정상이지만 병변이 발현한 것으로 의심되는 병변 의심 영역일 수 있다.
즉, 병변 중심의 학습 방법에 기초한 본 발명의 병변 예측 모델은, 종래의 학습 방법에 기초한 예측 모델 보다, 조기 위암의 발병 여부를 예측하는 것에 있어서 진단 능력이 우수할 수 있다. 특히, 본 발명의 병변 예측 모델에 의해 주요 관심 영역으로 결정된 영역은, 실제 조기 위암의 병변이 발현한 영역(병변 영역)일 확률이 높을 수 있다.
이상의 비교예의 결과로, 병변 분류의 오차 및 병변 위치의 오차를 줄이면서 학습하도록 구성된 병변 의심 영역 예측 모델에 기초한 본 발명의 다양한 실시예에 따른 병변 예측 방법 및 이를 이용한 디바이스는, 높은 정확도로 의료 영상 내에서 병변 의심 영역을 예측할 수 있는 효과가 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 병변 진단용 디바이스
110: 내시경 촬영부
120: 입력부
130: 출력부
140: 프로세서
150: 저장부
212: 의료 영상
222: 병변 예측 모델
224, 322: 주요 관심 영역
226, 324: 병변 발현 의심 영상
232: 예측 정보
312, 314: 학습용 의료 영상
316: 정답 영역

Claims (23)

  1. 개체의 질환 발병 의심 부위에 대한 의료 영상을 수신하는 단계;
    상기 의료 영상을 기초로 병변을 예측하도록 구성된 병변 예측 모델을 이용하여, 상기 개체에 대한 병변을 예측하는 단계;
    상기 의료 영상 내에서의 병변을 예측하는 처리 중에서, 상기 병변 예측 모델의 병변 예측에 대한 관심도를 나타내는, 병변 발현 의심 영상을 생성하는 단계, 및
    예측된 상기 병변 및 상기 병변 발현 의심 영상을 제공하는 단계를 포함하는, 병변 예측 방법.
  2. 제1항에 있어서,
    상기 병변 예측 모델은,
    병변 분류의 오차를 줄이도록 더 구성된 모델이고,
    특정 질환의 병변이 미리 결정된 학습용 의료 영상을 수신하는 단계;
    상기 학습용 의료 영상을 기초로 병변을 예측하는 단계;
    미리 결정된 상기 특정 질환의 병변에 대한 상기 병변 예측 모델에 의해 예측된 병변 분류의 오차를 산출하는 단계, 및
    상기 예측된 병변 분류의 오차를 줄이도록 학습하는 단계를 통해 학습된 모델인, 병변 예측 방법.
  3. 제2항에 있어서,
    상기 예측된 병변 분류의 오차를 산출하는 단계는,
    하기 [수학식 1]에 의해 상기 예측된 병변 분류의 오차를 산출하는 단계를 포함하는, 병변 예측 방법.
    [수학식 1]
    Figure pat00013

    (여기서, k는 미리 결정된 병변의 종류이고, t k 는 미리 결정된 상기 특정 질환의 병변에 대한 레이블이고, y k 는 상기 병변 예측 모델에 의한 출력값이다.)
  4. 제1항에 있어서,
    상기 병변 발현 의심 영상은,
    상기 병변 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함하고,
    상기 병변 예측 모델은,
    미리 결정된 특정 질환의 병변이 발현되는 영역인, 정답 영역 내에 상기 주요 관심 영역이 중첩되는 경우 상기 미리 결정된 특정 질환이 발현된 것으로 결정하도록 더 구성된 모델이고,
    상기 정답 영역을 포함하는 학습용 의료 영상을 수신하는 단계;
    병변을 예측하는 처리 중에서, 상기 학습용 의료 영상 내에서 상기 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하는 단계;
    상기 정답 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하는 단계, 및
    상기 주요 관심 영역의 위치 오차를 줄이면서 학습하는 단계를 통해 학습된 모델인, 병변 예측 방법.
  5. 제4항에 있어서,
    상기 주요 관심 영역의 위치 오차를 산출하는 단계는,
    하기 [수학식 2]에 의해 상기 주요 관심 영역의 위치 오차를 산출하는 단계를 포함하는, 병변 예측 방법.
    [수학식 2]
    Figure pat00014

    (여기서, GT는 정답 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT∩GC|는 정답 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT∪GC|는 정답 영역 및 주요 관심 영역의 전체 픽셀 수일 수 이다.)
  6. 제1항에 있어서,
    상기 병변 예측 모델은,
    미리 결정된 특정 질환의 병변 분류의 오차를 줄이고, 상기 미리 결정된 특정 질환의 병변이 발현되는 영역인, 정답 영역 내에 상기 주요 관심 영역이 중첩되는 경우 상기 미리 결정된 특정 질환이 발현된 것으로 결정하도록 더 구성된 모델이고,
    상기 특정 질환의 병변이 미리 결정되고 상기 정답 영역을 포함하는 학습용 의료 영상을 수신하는 단계;
    상기 학습용 의료 영상을 기초로 병변을 예측하는 단계;
    병변을 예측하는 처리 중에서, 상기 학습용 의료 영상 내에서 상기 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하는 단계;
    상기 미리 결정된 병변에 대한 상기 예측 모델에 의해 예측된 병변 분류의 오차를 산출하는 단계;
    상기 정답 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하는 단계;
    상기 병변 분류의 오차 및 상기 주요 관심 영역의 위치 오차를 합하여 전체 오차를 산출하는 단계,
    상기 전체 오차를 줄이면서 학습하는 단계를 통해 학습된 모델인, 병변 예측 방법.
  7. 제6항에 있어서,
    상기 전체 오차를 산출하는 단계는,
    하기 [수학식 3]에 의해 상기 병변 분류의 오차 및 상기 주요 관심 영역의 위치 오차를 합산하는 단계를 포함하는, 병변 예측 방법.
    [수학식 3]
    Figure pat00015

    (여기서, E cls 는 예측된 병변 분류의 오차고, E loc 는 주요 관심 영역의 오차이고, α는 가중치이다.)
  8. 제1항에 있어서,
    상기 질환은, 위암이고,
    상기 병변은, 점막층(mucosal) 침범성 위암, 점막하층(submucosal) 침범성 위암, 및 정상 중 적어도 하나이고,
    상기 개체에 대한 병변을 예측하는 단계는,
    상기 병변 예측 모델을 이용하여, 상기 의료 영상을 기초로 상기 점막층 침범성 위암, 상기 점막하층 침범성 위암 및 상기 정상 중 적어도 하나의 병변을 예측하는 단계를 포함하는, 병변 예측 방법.
  9. 제8항에 있어서,
    상기 주요 관심 영역에 대한 병변을 분류하는 단계는,
    상기 병변 예측 모델을 이용하여, 상기 의료 영상을 기초로 상기 점막층 침범성 위암인 확률, 상기 점막하층 침범성 위암인 확률 및 상기 정상인 확률의 병변 발현 확률을 각각 산출하는 단계, 및
    산출된 상기 병변 발현 확률을 기초로 상기 적어도 하나의 병변을 분류하는 단계를 포함하는, 병변 예측 방법.
  10. 제1항에 있어서,
    상기 병변 예측 모델에 의해 상기 의료 영상 내에서 상기 주요 관심 영역이 결정되지 않을 경우,
    상기 개체의 병변을 정상으로 분류하는 단계를 더 포함하는, 병변 예측 방법.
  11. 제1항에 있어서,
    상기 병변 예측 모델은,
    VGG-16, DCNN(Deep Convolutional Neural Network) 및 ResNet 중 선택된 적어도 하나의 모델인, 병변 예측 방법.
  12. 개체에 대하여 의료 영상을 수신하는 단계;
    상기 의료 영상 내에서 주요 관심 영역으로 결정된 상기 주요 관심 영역을 포함하는, 병변 발현 의심 영상을 생성하는 단계, 및
    상기 병변 발현 의심 영상을 제공하는 단계를 포함하는, 병변 예측 방법.
  13. 개체의 질환 발병 의심 부위에 대한 의료 영상을 수신하도록 구성된 수신부, 및
    상기 수신부와 통신하도록 연결된 프로세서를 포함하고,
    상기 프로세서는, 상기 의료 영상을 기초로 병변을 예측하도록 구성된 병변 예측 모델을 이용하여, 상기 개체에 대한 병변을 예측하고, 상기 의료 영상 내에서의 병변을 예측하는 처리 중에서, 상기 병변 예측 모델의 병변 예측에 대한 관심도를 나타내는, 병변 발현 의심 영상을 생성하고, 예측된 상기 병변 및 상기 병변 발현 의심 영상을 제공하도록 구성된, 병변 진단용 디바이스.
  14. 제13항에 있어서,
    상기 병변 예측 모델은,
    병변 분류의 오차를 줄이도록 더 구성된 모델이고,
    특정 질환의 병변이 미리 결정된 학습용 의료 영상을 수신하고, 상기 학습용 의료 영상을 기초로 병변을 예측하고, 미리 결정된 상기 특정 질환의 병변에 대한 상기 병변 예측 모델에 의해 예측된 병변 분류의 오차를 산출하고, 상기 예측된 병변 분류의 오차를 줄이면서 학습하는 단계를 통해 학습된 모델인, 병변 진단용 디바이스.
  15. 제14항에 있어서,
    상기 예측된 병변 분류의 오차는,
    하기 [수학식 1]에 의해 산출되는, 병변 진단용 디바이스.
    [수학식 1]
    Figure pat00016

    (여기서, k는 미리 결정된 병변의 종류이고, t k 는 미리 결정된 상기 특정 질환의 병변에 대한 레이블이고, y k 는 상기 병변 예측 모델에 의한 출력값이다.)
  16. 제13항에 있어서,
    상기 병변 발현 의심 영상은,
    상기 병변 예측 모델의 관심도가 주변 영역에 비하여 높은 주요 관심 영역을 포함하고,
    상기 병변 예측 모델은,
    미리 결정된 특정 질환의 병변이 발현되는 영역인, 정답 영역 내에 상기 주요 관심 영역이 중첩되는 경우 상기 미리 결정된 특정 질환이 발현된 것으로 결정하도록 더 구성된 모델이고,
    상기 정답 영역을 포함하는 학습용 의료 영상을 수신하고, 병변을 예측하는 처리 중에서, 상기 학습용 의료 영상 내에서 상기 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하고, 상기 정답 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하고, 상기 주요 관심 영역의 위치 오차를 줄이면서 학습하는 단계를 통해 학습된 모델인, 병변 진단용 디바이스.
  17. 제16항에 있어서,
    상기 주요 관심 영역의 위치 오차는,
    하기 [수학식 2]에 의해 산출되는, 병변 진단용 디바이스.
    [수학식 2]
    Figure pat00017

    (여기서, GT는 정답 영역의 픽셀이고, GC는 주요 관심 영역의 픽셀이고, |GT∩GC|는 정답 영역 및 주요 관심 영역의 중첩 픽셀 수이고, |GT∪GC|는 정답 영역 및 주요 관심 영역의 전체 픽셀 수일 수 이다.)
  18. 제13항에 있어서,
    상기 병변 예측 모델은,
    미리 결정된 특정 질환의 병변 분류의 오차를 줄이고, 상기 미리 결정된 특정 질환의 병변이 발현되는 영역인, 정답 영역 내에 상기 주요 관심 영역이 중첩되는 경우 상기 미리 결정된 특정 질환이 발현된 것으로 결정하도록 더 구성된 모델이고,
    상기 특정 질환의 병변이 미리 결정되고 상기 정답 영역을 포함하는 학습용 의료 영상을 수신하고, 상기 학습용 의료 영상을 기초로 병변을 예측하고, 병변을 예측하는 처리 중에서, 상기 학습용 의료 영상 내에서 상기 주요 관심 영역을 포함하는 병변 발현 의심 영상을 생성하고, 상기 미리 결정된 병변에 대한 상기 예측 모델에 의해 예측된 병변 분류의 오차를 산출하고, 상기 정답 영역에 대한 상기 주요 관심 영역의 위치 오차를 산출하고, 상기 병변 분류의 오차 및 상기 주요 관심 영역의 위치 오차를 합하여 전체 오차를 산출하고, 상기 전체 오차를 줄이면서 학습하는 단계를 통해 학습된 모델인, 병변 진단용 디바이스.
  19. 제18항에 있어서,
    상기 전체 오차는,
    하기 [수학식 3]에 의해 산출되는, 병변 진단용 디바이스.
    [수학식 3]
    Figure pat00018

    (여기서, E cls 는 예측된 병변 분류의 오차고, E loc 는 주요 관심 영역의 오차이고, α는 가중치이다.)
  20. 제13항에 있어서,
    상기 질환은, 위암이고,
    상기 병변은, 점막층 침범성 위암, 점막하층 침범성 위암, 및 정상 중 적어도 하나이고,
    상기 프로세서는,
    상기 병변 예측 모델을 이용하여, 상기 의료 영상을 기초로 상기 점막층 침범성 위암, 상기 점막하층 침범성 위암 및 상기 정상 중 적어도 하나의 병변을 예측하도록 구성된, 병변 진단용 디바이스.
  21. 제20항에 있어서,
    상기 프로세서는,
    상기 병변 예측 모델을 이용하여, 상기 의료 영상을 기초로 상기 점막층 침범성 위암인 확률, 상기 점막하층 침범성 위암인 확률 및 상기 정상인 확률의 병변 발현 확률을 각각 산출하고, 산출된 상기 병변 발현 확률을 기초로 상기 적어도 하나의 병변을 분류하도록 더 구성된, 병변 진단용 디바이스.
  22. 제13항에 있어서,
    상기 프로세서는,
    상기 병변 예측 모델에 의해 상기 의료 영상 내에서 상기 주요 관심 영역이 결정되지 않을 경우,
    상기 개체의 병변을 정상으로 분류하도록 더 구성된, 병변 진단용 디바이스.
  23. 제13항에 있어서,
    상기 병변 예측 모델은,
    VGG-16, DCNN 및 ResNet 중 선택된 적어도 하나의 모델인, 병변 진단용 디바이스.
KR1020180145720A 2018-11-22 2018-11-22 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스 KR102257904B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180145720A KR102257904B1 (ko) 2018-11-22 2018-11-22 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180145720A KR102257904B1 (ko) 2018-11-22 2018-11-22 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스

Publications (2)

Publication Number Publication Date
KR20200060129A true KR20200060129A (ko) 2020-05-29
KR102257904B1 KR102257904B1 (ko) 2021-05-28

Family

ID=70911953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180145720A KR102257904B1 (ko) 2018-11-22 2018-11-22 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스

Country Status (1)

Country Link
KR (1) KR102257904B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002414A (zh) * 2020-08-23 2020-11-27 吾征智能技术(北京)有限公司 一种基于胃液认知胃病的系统、设备、存储介质
WO2022197045A1 (ko) * 2021-03-16 2022-09-22 주식회사 딥바이오 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템
KR102498706B1 (ko) 2022-06-30 2023-02-09 김수동 장기분할 의료영상의 정확도를 향상시키기 위한 영상보정방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839789B1 (ko) * 2017-08-01 2018-03-19 주식회사 뷰노 치과 영상의 판독 데이터 생성 시스템
KR101919866B1 (ko) * 2018-02-22 2018-11-19 주식회사 뷰노 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101839789B1 (ko) * 2017-08-01 2018-03-19 주식회사 뷰노 치과 영상의 판독 데이터 생성 시스템
KR101919866B1 (ko) * 2018-02-22 2018-11-19 주식회사 뷰노 뼈 스캔 영상에서 암 전이 여부의 판정을 지원하는 방법 및 이를 이용한 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
The Transactions of the Korean Institute of Electrical Engineers Vol. 67, No. 7, pp. 928~933, (2018.07.) 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002414A (zh) * 2020-08-23 2020-11-27 吾征智能技术(北京)有限公司 一种基于胃液认知胃病的系统、设备、存储介质
CN112002414B (zh) * 2020-08-23 2024-01-26 吾征智能技术(北京)有限公司 一种基于胃液认知胃病的系统、设备、存储介质
WO2022197045A1 (ko) * 2021-03-16 2022-09-22 주식회사 딥바이오 뉴럴 네트워크를 통한 질병의 진단결과를 이용한 예후예측방법 및 그 시스템
KR102498706B1 (ko) 2022-06-30 2023-02-09 김수동 장기분할 의료영상의 정확도를 향상시키기 위한 영상보정방법

Also Published As

Publication number Publication date
KR102257904B1 (ko) 2021-05-28

Similar Documents

Publication Publication Date Title
KR102209382B1 (ko) 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스
Yan et al. Learning from multiple datasets with heterogeneous and partial labels for universal lesion detection in CT
Cai et al. Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video)
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
Fukuda et al. Comparison of performances of artificial intelligence versus expert endoscopists for real-time assisted diagnosis of esophageal squamous cell carcinoma (with video)
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
Yan et al. Intelligent diagnosis of gastric intestinal metaplasia based on convolutional neural network and limited number of endoscopic images
WO2019232346A1 (en) Systems and media for automatically diagnosing thyroid nodules
Gulati et al. The future of endoscopy: Advances in endoscopic image innovations
KR102257904B1 (ko) 병변 예측 방법 및 이를 이용한 병변 진단용 디바이스
US20220296081A1 (en) Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
US20220301159A1 (en) Artificial intelligence-based colonoscopic image diagnosis assisting system and method
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
Wang et al. An interpretable deep neural network for colorectal polyp diagnosis under colonoscopy
US20210142480A1 (en) Data processing method and apparatus
US20220277445A1 (en) Artificial intelligence-based gastroscopic image diagnosis assisting system and method
Ham et al. Improvement of gastroscopy classification performance through image augmentation using a gradient-weighted class activation map
Al-Utaibi et al. Neural networks to understand the physics of oncological medical imaging
Morano et al. Deep multimodal fusion of data with heterogeneous dimensionality via projective networks
KR102256342B1 (ko) 위의 부위 예측 방법 및 이를 이용한 위의 부위 예측용 디바이스
KR102275760B1 (ko) 조기 위암의 예측 방법 및 이를 이용한 디바이스
Yan Intelligent diagnosis of precancerous lesions in gastrointestinal endoscopy based on advanced deep learning techniques and limited data
Banik et al. Recent advances in intelligent imaging systems for early prediction of colorectal cancer: a perspective
KR102485930B1 (ko) 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant