KR102536369B1 - 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 - Google Patents

인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 Download PDF

Info

Publication number
KR102536369B1
KR102536369B1 KR1020210026788A KR20210026788A KR102536369B1 KR 102536369 B1 KR102536369 B1 KR 102536369B1 KR 1020210026788 A KR1020210026788 A KR 1020210026788A KR 20210026788 A KR20210026788 A KR 20210026788A KR 102536369 B1 KR102536369 B1 KR 102536369B1
Authority
KR
South Korea
Prior art keywords
lesion
suspected
gastroscopic
image
video frame
Prior art date
Application number
KR1020210026788A
Other languages
English (en)
Other versions
KR20220122312A (ko
Inventor
최현지
안충일
Original Assignee
주식회사 인피니트헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인피니트헬스케어 filed Critical 주식회사 인피니트헬스케어
Priority to KR1020210026788A priority Critical patent/KR102536369B1/ko
Priority to US17/678,230 priority patent/US12094113B2/en
Priority to JP2022027895A priority patent/JP2022132180A/ja
Publication of KR20220122312A publication Critical patent/KR20220122312A/ko
Application granted granted Critical
Publication of KR102536369B1 publication Critical patent/KR102536369B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Endoscopes (AREA)

Abstract

인공 지능에 기반하여 위 내시경 영상 진단을 보조하는 시스템 및 방법이 개시된다. 시스템 내의 프로세서는 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하고, 프로세서는 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 병변으로 의심되는 부위의 위치 좌표를 산출하고, 프로세서는 병변으로 의심되는 부위의 존재 여부 및 병변으로 의심되는 부위의 위치 좌표를 포함하는 디스플레이 정보를 생성한다.

Description

인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 {ARTIFICIAL INTELLIGENCE-BASED GASTROSCOPY DIAGNOSIS SUPPORTING SYSTEM AND METHOD}
본 발명은 자동화된 시스템에 의하여 의료 영상 판독을 지원하는 장치 및 방법에 관한 것이다. 구체적으로는 인공지능 기반의 의료 영상 분석 알고리즘에 의하여 위 내시경 검사 시 위 내시경 영상의 진단을 보조하고, 병변의 누락 위험을 줄일 수 있도록 보조하는 장치, 시스템 및 방법에 관한 것이다.
본 발명은 중소벤처기업부 및 한국산업기술시험원의 규제자유특구혁신사업육성(R&D)사업의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호: 1425145953, 과제번호:P0011352, 과제명: 알고리즘 중심의 의료 웰니스 정보 서비스·기기 개발 플랫폼 실증].
정기적인 건강 진단의 목적으로 내시경 진단은 매우 빈번하게 발생하는 의료 행위이다. 이러한 내시경 진단 시 실시간 영상을 처리하여 의료 현장에서 전문가가 병변을 식별하기 용이하도록 전처리하는 기술에 대한 수요가 존재한다. 최근에는 미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure" 등에서 비디오 프레임에 대해서 노이즈를 제거하는 전처리 과정을 수행하고, 노이즈 제거 전처리 과정과 컴퓨터 보조 진단(CAD, Computer-Aided Diagnosis) 과정을 병렬적으로 진행하여 실시간 진단 보조 디스플레이 정보를 제공하는 기술이 소개된 바 있다.
이러한 기술에서는 CAD 모듈의 정확도와 신뢰도가 매우 중요한 요인으로 인식되고 있다.
영상 내 객체를 분할(segmentation) 또는 검출(detection)하고, 영상 내 객체를 분류(classify)하는 기술은 영상 처리에서 다양한 용도로 활용된다. 의료 영상에서는 영상의 밝기 값 또는 강도 값(intensity)에 기반하여 영상 내 객체를 분할, 검출, 분류하고 이때 객체는 인체의 장기(organ), 병변(lesion)일 수 있다.
영상 처리 과정을 자동화하는 데 있어서 최근 인공 신경망으로서 딥러닝, 컨볼루션 신경망(CNN, Convolutional Neural Network)의 도입은 영상 처리 자동화 프로세스의 성능을 비약적으로 향상시켰다.
그러나 한편으로 딥러닝, CNN 등의 최근의 인공 신경망은 내부가 블랙박스에 가까워, 도출되는 결과가 우수하더라도 사용자가 이를 전적으로 수용하고 채택하는 데에 거부감이 있다. 특히 인공 신경망에 대한 거부감은 인간의 생명을 다루는 분야인 의료 영상 분야에서는 더욱 중요하게 부각된다.
이러한 배경에서 설명 가능한 인공지능(explainable artificial intelligence, X-AI)에 대한 연구가 미국국방고등연구기획국(DARPA) 등에서 시도되고 있다 (https://www.darpa.mil/program/explainable-artificial-intelligence). 다만 아직까지 가시적인 성과는 드러나지 않고 있는 상황이다.
의료 분야에서 복잡한 형태의 병변을 분할/검출하고, 분류/진단하기 위한 기술로서 복수의 분할 알고리즘들을 선택적으로 적용하는 기술이 국제공개특허 WO 2018/015414 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION" 등이 소개된 바 있다.
상기 선행문헌에서는 영상 분할의 최종 결과물을 얻기 위하여 pre-trained 분할 알고리즘들을 비교하고 적어도 어느 하나를 선택하는 기법이 적용된다.
그러나 상기 선행문헌에서도 분할 알고리즘들을 선택적으로 적용하는 기준이 무엇인지에 대한 설명적 정보(descriptive information, explanation)를 도출할 수 없어 임상의(clinician)가 이러한 분할 기법이 임상적으로 어느 정도 유용한 지에 대한 신뢰를 높이기 어렵다는 문제가 있다.
또한 한국등록특허 KR 10-1938992 "진단 이유 설명이 생성되는 CAD 시스템 및 그 방법" 에서는 병변 진단에 대한 근거 정보를 도출하기 위하여 DNN 기반으로 추출된 특징 정보를 연쇄적으로 융합하여 특징 벡터를 생성하는 기술이 소개되었다. 그러나 KR 10-1938992는 인공 신경망이 스스로 특징 정보를 도출할 뿐, 추출된 특징 정보가 임상적으로 유용한 정보인 지에 대한 검증이 전혀 이루어지지 않기 때문에, 인공 신경망의 진단 결과에 대한 설명으로 인간이 인식할 수 있으리라는 근거가 희박하다.
이처럼 의료 영상의 판독 과정에서도 블랙박스처럼 실행되는 인공지능 판독 시스템이 결과를 도출하는 과정을 임상적으로 신뢰할 수 없다는 유사한 문제점이 여전히 존재한다.
알려진 선행 연구(S. Kumar et al., "Adenoma miss rates associated with a 3 minute versus 6 minute colonoscopy withdrawal time: a prospective, randomized trial,")에서는, 위 내시경 검사 과정에서 병변의 최대 25%가 누락될 수 있음이 알려져 있다. 이러한 현상은 이미지가 가지는 문제나, 사각지대, 사람의 실수로 인하여 나타나는 것으로 알려져 있다. 연속적이고 반복적인 시술로 인해 의사는 종종 피로 증상을 보여 병변이 덜 감지된다. 그리하여 사람의 실수가 병변 누락의 원인이 되어 검사의 의료 결과에 부정적인 영향을 미친다.
미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure" (2018년 9월 6일) 국제공개특허 WO 2018/015414 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION" (2018년 1월 25일) 한국등록특허 KR 10-1938992 "진단 이유 설명이 생성되는 CAD 시스템 및 그 방법" (2019년 1월 9일) 한국등록특허 KR 10-1850385 "관상 구조를 표현하는 의료 영상에서 진행 간격을 조정하는 사용자 인터페이스를 제공하는 의료 영상을 디스플레이하는 시스템 및 방법" (2018년 4월 13일) 한국등록특허 KR 10-1230871 "가상 내시경 장치, 그의 구동방법 및 검진 장치" (2013년 2월 1일)
S. Kumar et al., "Adenoma miss rates associated with a 3 minute versus 6 minute colonoscopy withdrawal time: a prospective, randomized trial," Gastrointest . Endosc ., vol. 85, no. 6, pp. 1273 1280, Jun. 2017, doi : 10.1016/j. gie.2016.11.030 (2017년 6월) D. A. Corley et al., "Adenoma Detection Rate and Risk of Colorectal Cancer and Death A BS TR AC T," n engl j med, vol. 14, no. 3, pp. 1298 306, 2014, doi : 10.1056/ NEJMoa1309086 (2014년 4월)
최근 딥러닝 기반의 인공지능 기법을 적용하여 영상 분할, 영상 내 객체의 검출, 및 분류 기법의 성능을 향상하고자 하는 노력이 계속되고 있다. 그러나 딥러닝 기반 인공지능의 경우, 그 동작으로부터 제공되는 결과물이 우연히 높은 성능을 보이는 것인지, 그 임무(task)에 적절한 판단 과정을 거친 것인 지를 사용자가 알 수 없는 블랙박스(black-box)라는 점이 활용 가능성을 제한하고 있다.
반면 설명이 용이한 룰-베이스드(rule-based) 방식의 훈련 또는 학습으로는 딥러닝 만큼의 성과가 얻어지지 못하는 점에서 사용이 제한되고 있다. 따라서 향상된 성능을 가지면서도 설명적 정보(descriptive information, explanation)를 제공할 수 있는 딥러닝 기반 인공지능에 대한 연구가 활발하다. 인공 신경망을 이용한 영상 처리를 실제로 응용하는 데 있어서, 특히 의료 영상 분야에서는 진단 및 분류의 근거에 대한 설명적 정보가 필요한데 종래 기술로는 아직까지 설명적 정보를 도출하지 못하는 상황이다.
상기 언급된 선행문헌 WO 2018/015414에서도 어떤 요소가 최종적인 분할 segmentation 성능을 향상하는 데에 영향을 미치는 지에 대한 설명적 정보(descriptive information, explanation)를 도출할 수 없고, 분할 과정에서 임상의(clinician)가 임상적으로 유의미한 피드백을 제공하더라도, 이 피드백이 실제로 딥러닝 시스템에 적절히 적용되었는지 확인할 수 있는 방법이 없다.
본 발명의 목적은 사용자가 의료 영상을 판독하는 과정에서 복수의 의료 영상 분석 알고리즘들에 대한 신뢰도 및 정확도를 포함하는 평가 스코어를 제공함으로써, 사용자에 의한 의료 영상 판독 결과의 정확도를 높이는 것이다.
본 발명의 목적은 사용자가 인공지능 의료 영상 분석 알고리즘들을 사용하여 최종적인 판독 결과를 도출하는 과정에 추천 정보를 설명적 정보(descriptive information)로서 제공하고, 사용자가 의료 영상 분석 알고리즘들에 대한 임상적 유용성을 정량화된 정보로서 제공하는 것이다.
본 발명의 목적은 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 실시간 비디오 프레임 각각에 대한 디스플레이 정보로서 생성하고 제공하는 것이다.
본 발명의 목적은 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 효율적으로 표시할 수 있는 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 제공하는 것이다.
본 발명의 목적은 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 자동으로 검출하여 제시함으로써 내시경 검사 도중 의료진이 실시간으로 확인하고 검토할 수 있도록 하는 사용자 인터페이스 및 진단 컴퓨팅 시스템을 제공하는 것이다.
본 발명의 목적은 위 내시경 영상의 실시간 비디오 프레임 각각에 대하여 인공지능 의료 영상 판독/진단 결과들에 기반하여 사용자가 놓칠 수 있는 용종, 궤양, 다양한 위장 질환 등을 인공지능 알고리즘으로 훈련시키고 이를 인공지능 진단 보조 시스템에 적용함으로써 업무 효율성 및 진단 정확도를 높이는 것이다.
선행 연구 결과(D. A. Corley et al., "Adenoma Detection Rate and Risk of Colorectal Cancer and Death A BS TR AC T,")에 따르면, 특히 선종 검출률의 1.0% 증가는 암 발병률의 3.0% 감소와 상관관계가 있다고 알려져 있다. 따라서 본 발명을 통해 병변 검출률을 높이고 위암 위험 요인을 조기에 걸러내어 위암 발병률을 낮추는 것을 목적으로 한다. 더불어 의사가 이전보다 더 많은 병변을 찾아 치료할 수 있도록 함으로써 위암의 원인을 줄이는 데에 기여하는 것을 목적으로 하며, 검사의 빈도를 줄이는 데에도 기여하는 것을 목적으로 한다.
본 발명의 목적은 사용자가 위내시경 검사 중 놓치기 쉬운 질환을 자동으로 검출하고 위장 경로(위 내시경 경로) 상에서의 위치까지 제시함으로써 사용자가 위 내시경 검사 도중 실시간으로 용이하게 확인하고 추후 이를 다른 검사자가 확인할 수 있는 리포트까지 간단한 조작으로 생성하는 것이다.
본 발명의 적용 대상인 위 내시경 영상의 진단 보조 기술에서는, 위장 내 다양한 병변 등이 위장 벽이나 주름과 함께 자리잡고 있을 때 주변 조직과 색이 차이가 없으며 그 크기가 작으면 놓치기 쉽다는 어려움이 있다. 따라서 본 발명의 목적은 인공지능을 통해 다양한 병변 등을 실시간으로 탐지하여 위장 내 질환발견율을 더욱 향상시킬 수 있는 방법과 함께 위장 내시경 경로 상에서의 위치를 제공하여 추후 다른 검사자가 그 병변 등을 다시 확인할 수 있도록 도와주는 것이다.
본 발명은 상기의 종래기술의 문제점을 해결하기 위한 수단으로 도출된 것으로서, 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템은 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 수신 모듈; 메모리 또는 데이터베이스; 프로세서; 및 사용자 디스플레이를 포함한다. 수신 모듈은 의료 영상을 수신하거나 입력받고, 메모리 또는 데이터베이스는 의료 영상(위 내시경 영상)에 대한 판독 기능을 가지는 적어도 하나 이상의 의료 영상 분석 알고리즘을 저장한다.
프로세서는 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하고, 프로세서는 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 병변으로 의심되는 부위의 위치 좌표를 산출하고, 프로세서는 병변으로 의심되는 부위의 존재 여부 및 병변으로 의심되는 부위의 위치 좌표를 포함하는 디스플레이 정보를 생성한다.
사용자 디스플레이는 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 비디오 프레임 상에 디스플레이 정보에 기반하여 병변으로 의심되는 부위가 시각적으로 구분되도록 표시하고, 병변으로 의심되는 부위의 위치 좌표를 병변으로 의심되는 부위와 시각적으로 연동되도록 표시한다.
프로세서는 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있고, 프로세서는 병변으로 의심되는 부위의 존재 여부, 병변으로 의심되는 부위의 위치 좌표, 및 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 포함하는 디스플레이 정보를 생성할 수 있다.
사용자 디스플레이는 디스플레이 정보에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 병변으로 의심되는 부위와 시각적으로 연동되도록 표시할 수 있다.
프로세서는 현재 검사 부위를 표시하는 비디오 프레임의 위 내시경 경로 상의 위치를 추적할 수 있고, 프로세서는 비디오 프레임의 위 내시경 경로 상의 위치 및 병변으로 의심되는 부위의 위치 좌표에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있다.
프로세서는 검사 대상 환자의 3차원 해부학적 구조를 포함하는 검사 전 획득 의료 영상에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있다.
인공 지능에 기반한 의료 영상(위 내시경 영상) 분석 알고리즘은, 비디오 프레임 각각에 대하여 검출된 병변의 표시, 병변의 비디오 프레임 내에서의 위치 좌표, 병변의 위 내시경 경로 상의 위치를 포함하는 레이블(label)을 비디오 프레임 각각과 함께 훈련용 데이터로 이용하여 훈련될 수 있다. 따라서 프로세서는 의료 영상 분석 알고리즘을 이용하여 비디오 프레임 내의 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있다.
본 발명의 실시예에 따라서는, 수신 모듈은 적어도 하나 이상의 위 내시경 영상 획득 모듈로부터 적어도 하나 이상의 위 내시경 영상을 수신하거나 입력받을 수 있다. 이때 프로세서는 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 병변으로 의심되는 부위가 존재하는 지 여부를 검출할 수 있다. 프로세서는 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 병변으로 의심되는 부위의 존재 여부 및 병변으로 의심되는 부위의 위치 좌표를 포함하는 디스플레이 정보를 생성할 수 있다.
본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 방법은, 프로세서, 및 사용자 디스플레이를 포함하는 위 내시경 영상 진단 보조 시스템에 의하여 실행되고, 위 내시경 영상 진단 보조 시스템 내의 메모리 또는 데이터베이스에 저장된 위 내시경에 대한 분석 기능을 가지는 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용할 수 있다.
본 발명의 방법은, 위 내시경 영상을 수신하거나 입력받는 단계; 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여, 프로세서가 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하는 단계; 프로세서가 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 병변으로 의심되는 부위의 위치 좌표를 산출하는 단계; 프로세서가 병변으로 의심되는 부위의 존재 여부 및 병변으로 의심되는 부위의 위치 좌표를 포함하는 디스플레이 정보를 생성하는 단계; 사용자 디스플레이가 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 비디오 프레임 상에 디스플레이 정보에 기반하여 병변으로 의심되는 부위가 시각적으로 구분되도록 표시하는 단계; 및 사용자 디스플레이가 병변으로 의심되는 부위의 위치 좌표를 병변으로 의심되는 부위와 시각적으로 연동되도록 표시하는 단계를 포함한다.
본 발명에 따르면 위 내시경 영상의 실시간 비디오 프레임 각각에 대하여 인공지능 의료 영상 판독/진단 결과들에 기반하여 사용자가 놓칠 수 있는 용종, 궤양, 다양한 위장 질환 등을 인공지능 알고리즘으로 훈련시키고 이를 인공지능 진단 보조 시스템에 적용함으로써 업무 효율성 및 진단 정확도를 높일 수 있다.
본 발명에 따르면 병변 등을 조기에 탐지하여 암 등으로 번질 수 있는 상황을 사전에 예방할 수 있는 효과가 있다 . 다양한 사이즈의 병변 등과 함께 위장 내시경 상의 위치까지도 레이블(label)에 포함되어 학습 데이터로 이용되었기 때문에 본 발명에 따르면 놓치기 쉬운 매우 작은 크기의 병변까지도 자동으로 탐지하여 병변 발견율을 높일 수 있음은 물론, 위장 내시경 영상 경로 상의 위치까지도 추출할 수 있다.
본 발명에 따르면 병변 검출률을 높이고 위암 위험 요인을 조기에 걸러내어 위암 발병률을 낮출 수 있다. 더불어 의사가 이전보다 더 많은 병변을 찾아 치료할 수 있도록 함으로써 위암의 원인을 줄이는 데에 기여할 수 있으며, 검사의 빈도를 줄이는 데에도 기여할 수 있다.
본 발명에 따르면 사용자가 위 내시경 검사 중 놓치기 쉬운 질환을 자동으로 검출하고 위장 경로(위 내시경 경로) 상에서의 위치까지 제시함으로써 사용자가 위 내시경 검사 도중 실시간으로 확인하고 추후 이를 다른 검사자가 확인할 수 있는 리포트까지 간단한 조작으로 생성할 수 있다.
본 발명에 따르면 내시경 영상의 실시간 비디오 프레임 각각에 대하여 인공지능 의료 영상 판독/진단 결과들 중 최적화된 내용을 제공할 수 있다.
본 발명에 따르면 복수의 인공지능 의료 영상 판독/진단 결과들 중 실시간 비디오 프레임 각각에 대하여 최적화된 내용을 제공할 수 있다.
본 발명에 따르면 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 실시간 비디오 프레임 각각에 대한 디스플레이 정보로서 생성하고 제공할 수 있다.
본 발명에 따르면 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 효율적으로 표시할 수 있는 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 제공할 수 있다.
본 발명에 따르면 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 자동으로 검출하여 제시함으로써 내시경 검사 도중 의료진이 실시간으로 확인하고 검토할 수 있도록 하는 사용자 인터페이스 및 진단 컴퓨팅 시스템을 구현할 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티 클라이언트 구조의 위 내시경 영상 진단 보조 시스템과 주변 기기를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 싱글 클라이언트 구조의 위 내시경 영상 진단 보조 시스템과 주변 기기를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템의 워크플로우를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 위 내시경 영상과 디스플레이 정보가 함께 표시되는 영상의 실시예를 도시하는 도면이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
최근 급속히 발전한 딥러닝/CNN 기반 인공 신경망 기술은 영상 분야에 적용할 경우, 인간의 육안으로 구분하기 어려운 시각적 요소를 구분하는 용도로 고려되고 있다. 이러한 기술의 적용 분야는 보안, 의료 영상, 비파괴 검사 등 다양한 분야로 확대될 가능성이 기대되고 있다.
예를 들어 의료 영상 분야에서, 암 조직 중 생검(biopsy) 상태에서 즉시 암으로 판정되지 않고, 병리학적(pathology) 관점에서 추적 모니터링된 이후에 비로소 암인지 여부가 판정되는 경우가 있다. 인간의 육안으로는 의료 영상에서 해당 세포가 암인지 여부를 확진하기 어려우나, 인공 신경망 기술을 적용할 경우 인간의 육안으로 관찰하는 것보다 더 정확한 예측 결과를 얻을 수 있을 것이라는 기대가 있다.
그러나 인공 신경망 기술이 일부 연구에서 인간의 육안보다 우수한 예측/분류/판독(진단) 결과를 얻을 수 있다 해도, 인공 신경망 기술의 적용으로 인하여 얻어진 예측/분류/판독(진단) 결과에 대한 설명적 정보가 부족하여 의료 현장에서 이를 수용하고 채택하기는 어려운 점이 문제로 대두된다.
본 발명은 인공 신경망 기술을 적용하여 인간의 육안으로 분류하기 어려운 영상 내 객체를 분류/예측하는 성능을 향상시키고자 하는 의도에서 도출되었다. 또한 인공 신경망 기술의 분류/예측 성능을 향상시키기 위해서라도 인공 신경망 기술의 분류/예측 과정에 기반한 최종 판독 결과의 생성까지 도달하는 내부 동작에 대한 설명적 정보를 얻는 것은 대단히 중요하다.
본 발명은 인공 신경망에 기반한 복수의 의료 영상 분석 알고리즘들의 각각의 성능 지표 및 임상적 유용성을 정량화된 지표로서 제시할 수 있다. 이로 인하여 인공 신경망의 분류/예측 과정에 기반한 최종 판독 결과가 도출되는 과정에 대한 설명적 정보를 제공할 수 있으며, 인공 신경망의 분류/예측/판독(지원) 결과를 인간 사용자가 채택할 것인지에 대한 레퍼런스를 제공할 수 있다.
종래 기술의 인공 신경망을 의료 영상의 판독/진단에 적용하였을 때, 주어진 임무(task)에만 과적합(overfit)되어 통계적 정확도는 높으나, 몇몇 임상적으로 중요한 진단 포인트에서는 정확도가 낮은 경우가 있다. 적지 않은 종래 기술의 인공 신경망이 이러한 상황에 놓여 있으며, 이로 인하여 임상의들이 인공 신경망이 적용된 의료 영상의 판독/진단 결과에 대하여 신뢰하기 어려운 상황이 빈번하게 발생한다. 이러한 위험성은 널리 알려진 인공 신경망인 IBM의 Watson 솔루션이, 학습된 데이터에 포함된 환자의 인종 정보 등에 과적합되어 새로운 인종의 환자들의 데이터셋에서는 정확도가 현저하게 저하되는 등의 문제점을 노출하고 있다는 데에서 더욱 명백하다.
따라서 인공 신경망의 우수한 판독/진단 잠재능력을 최대한 활용하되, 임상의들이 이러한 판독/진단 결과를 수용할 지 여부에 대한 정량화된 지표를 제공하고, 임상의들이 이러한 정량화된 지표를 생성하는 데에 직접적인 피드백을 제공할 수 있는 경로를 확보하는 것은 대단히 중요하다.
전술한 미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure", 국제공개특허 WO 2018/015414 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION", 및 한국등록특허 KR 10-1938992 "진단 이유 설명이 생성되는 CAD 시스템 및 그 방법" 등에서는 내시경 영상의 인공지능 기반 진단을 위한 기본적인 구성들, 즉, 내시경 영상 획득 모듈, 영상 캡쳐 및 영상 처리 모듈, 획득/캡쳐된 내시경 영상을 분석 엔진이 탑재된 컴퓨팅 시스템에 전달하는 송신/수신 인터페이스(모듈), 인공지능/인공 신경망 기반 영상 분석 알고리즘/엔진이 저장된 메모리 또는 데이터베이스 등에 대하여 개시되었다.
본 발명에서는 이들 선행문헌들 및 해당 분야의 종래 기술에서 자명하게 파악할 수 있는 데이터 저장 수단, 연산 수단, 인공 신경망의 기본 개념 및 구조, 입력 데이터(영상)를 전달하기 위한 송/수신 인터페이스 등에 대한 사항을 발명을 구현하기 위하여 필요로 하지만, 이들 기본적인 사항에 대한 설명을 상세히 기술하는 것은 본 발명의 요지를 흐릴 수 있으므로, 본 발명의 구성 중 본 발명의 출원 전에 당업자에게 공지된 내용은 필요에 따라서 본 명세서에서 본 발명의 구성 중 일부로서 설명하되, 당업자에게 자명한 사실은 발명의 취지를 흐릴 수 있다고 생각되면 설명을 생략할 수 있다.
또한 본 명세서에서 생략된 사항은 본 출원명세서에서 인용하고 있는 선행문헌들, 예를 들어, 미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure", 국제공개특허 WO 2018/015414 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION", 및 한국등록특허 KR 10-1938992 "진단 이유 설명이 생성되는 CAD 시스템 및 그 방법" 등을 통하여 당업자에게 공지되었음을 알림으로써 설명에 갈음할 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치 및 방법을 도 1 내지 도 4를 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 멀티 클라이언트 구조의 위 내시경 영상 진단 보조 시스템과 주변 기기를 도시하는 도면이다.
제1 위 내시경 영상 획득 모듈(132)은 실시간으로 획득되는 위 내시경 영상을 실시간으로 인공지능 워크스테이션(120)에 전달하거나, 위 내시경 영상의 캡쳐된 영상을 인공지능 워크스테이션(120)에 전달할 수 있다.
제2 위 내시경 영상 획득 모듈(134)은 실시간으로 획득되는 위 내시경 영상을 실시간으로 인공지능 워크스테이션(120)에 전달하거나, 위 내시경 영상의 캡쳐된 영상을 인공지능 워크스테이션(120)에 전달할 수 있다.
이때 인공지능 워크스테이션(120)은 제1 위 내시경 영상 획득 모듈(132) 및 제2 위 내시경 영상 획득 모듈(134)로부터 수신되는 위 내시경 영상(또는 캡쳐 영상)을 수신하는 입력/수신 인터페이스 모듈(도시되지는 않음)을 포함할 수 있다.
인공지능 워크스테이션(120)은 수신된/획득된 위 내시경 영상의 비디오 프레임을 인공지능 서버(110)로 전달할 수 있다. 이때 인공지능 서버(110)로 전달되는 영상은 표준화된 JPEG 포맷 또는 MPEG 포맷 등으로 전달될 수 있다. 인공지능 서버(110) 역시 표준화된 포맷의 비디오 프레임 영상을 수신하는 입력/수신 인터페이스 모듈(도시되지는 않음)을 포함할 수 있다.
인공지능 서버(110)는 인공지능 알고리즘(의료 영상 분석 알고리즘)(112)을 이용하여 비디오 프레임/영상 내 병변을 검출 및 판단할 수 있다.
인공지능 서버(110) 내의 프로세서(도시되지는 않음)는 주어진 영상 데이터를 인공지능 알고리즘(112)에 입력하고, 인공지능 알고리즘(112)의 분석 결과를 수신하며, 이 과정에서 인공지능 알고리즘(112)이 저장된 메모리 또는 스토리지(도시되지는 않음)와 프로세서 사이의 데이터 전달 과정을 제어할 수 있다.
인공지능 서버(110)의 출력 인터페이스 모듈(도시되지는 않음)은 인공지능 알고리즘(112)의 분석 결과를 인공지능 워크스테이션(120)에 전달할 수 있다. 이때 전달되는 정보는 비디오 프레임 내에서 병변으로 의심되는 부위가 검출되었는지 여부, 병변으로 의심되는 부위가 검출된 좌표, 병변으로 의심되는 부위가 병변일 확률, 병변으로 의심되는 부위의 위장 또는 위 내시경 경로 상에서의 위치를 포함할 수 있다.
인공지능 워크스테이션(120)은 사용자 디스플레이(122)에 인공지능 알고리즘(112)의 분석 결과를 표시할 수 있다. 이때 사용자 디스플레이(122)에 표시되는 정보는 현재 표시되는 위 내시경 영상의 비디오 프레임 내에서 병변으로 의심되는 부위가 검출되었는지 여부, 및 비디오 프레임 내에서 병변으로 의심되는 부위가 시각적으로 구분되도록 시각화(예를 들어, 하이라이트, 박스 형태로 병변 의심 부위를 표시), 병변 의심 부위의 비디오 프레임 내에서의 위치 좌표, 병변 의심 부위의 위장 또는 위 내시경 경로 상에서의 위치를 포함할 수 있다.
이때 사용자 디스플레이(122)에는 복수의 위 내시경 영상이 실시간으로 동시에 디스플레이될 수 있다. 화면 상의 윈도우마다 개별적으로 위 내시경 영상 비디오 프레임 하나씩이 디스플레이될 수 있다.
실시간 검진에서 사용자가 위 내시경 영상에서 즉시 병변 위험 부위를 발견하고 조치를 취하면 큰 문제가 없으나, 사용자가 실시간 검진에서 병변 위험 부위를 놓친 경우 종래 기술에서는 누락된 병변 위험 부위를 재진단하는 것은 사실상 불가능하였다.
본 발명에서는, 캡쳐된 비디오 프레임을 다른 사용자가 후에 재확인할 수도 있고, 이미 내시경이 전진한 상태에서도 이전의 비디오 프레임을 다시 호출하여 누락된 병변 위험 부위를 재진단할 수 있으며, 내시경 검사가 종료된 후에도 비디오 프레임 내에서의 위험 부위의 위치 좌표 및 위 내시경 경로 상에서의 위치를 함께 제공함으로써 위험 부위의 위치 식별이 가능하여 후속 조치를 취할 수 있도록 하는 효과가 있다.
도 1에서는 설명의 편의상 인공지능 워크스테이션(120)과 인공지능 서버(110)가 분리된 실시예가 도시되었으나, 이는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 다른 실시예에 따르면 인공지능 워크스테이션(120)과 인공지능 서버(110)가 하나의 컴퓨팅 시스템 내에서 결합된 채로 구현될 수도 있음은 당업자에게 자명하다.
도 2는 본 발명의 일 실시예에 따른 싱글 클라이언트 구조의 위 내시경 영상 진단 보조 시스템과 주변 기기를 도시하는 도면이다.
위 내시경 영상 획득 모듈(232)은 실시간으로 획득되는 위 내시경 영상을 실시간으로 인공지능 워크스테이션(220)에 전달하거나, 위 내시경 영상의 캡쳐된 영상을 인공지능 워크스테이션(220)에 전달할 수 있다.
이때 인공지능 워크스테이션(220)은 위 내시경 영상 획득 모듈(232)로부터 수신되는 위 내시경 영상(또는 캡쳐 영상)을 수신하는 입력/수신 인터페이스 모듈(도시되지는 않음)을 포함할 수 있다.
인공지능 워크스테이션(220)는 인공지능 알고리즘(의료 영상 분석 알고리즘)(212)을 이용하여 비디오 프레임/영상 내 병변을 검출 및 판단할 수 있다.
인공지능 워크스테이션(220) 내의 프로세서(도시되지는 않음)는 주어진 영상 데이터를 인공지능 알고리즘(212)에 입력하고, 인공지능 알고리즘(212)의 분석 결과를 수신하며, 이 과정에서 인공지능 알고리즘(212)이 저장된 메모리 또는 스토리지(도시되지는 않음)와 프로세서 사이의 데이터 전달 과정을 제어할 수 있다.
인공지능 워크스테이션(220)의 출력 인터페이스 모듈(도시되지는 않음)은 인공지능 알고리즘(212)의 분석 결과를 디스플레이 정보로서 생성하고, 디스플레이 정보를 사용자 디스플레이(222)에 전달할 수 있다. 이때 전달되는 정보는 비디오 프레임 내에서 병변으로 의심되는 부위가 검출되었는지 여부, 병변으로 의심되는 부위가 검출된 좌표, 병변으로 의심되는 부위가 병변일 확률, 병변으로 의심되는 부위의 위장 또는 위 내시경 경로 상에서의 위치를 포함할 수 있다.
인공지능 워크스테이션(220)은 사용자 디스플레이(222)에 인공지능 알고리즘(212)의 분석 결과를 표시할 수 있다. 이때 사용자 디스플레이(222)에 표시되는 정보는 현재 표시되는 위 내시경 영상의 비디오 프레임 내에서 병변으로 의심되는 부위가 검출되었는지 여부, 및 비디오 프레임 내에서 병변으로 의심되는 부위가 시각적으로 구분되도록 시각화(예를 들어, 하이라이트, 박스 형태로 병변 의심 부위를 표시), 병변 의심 부위의 비디오 프레임 내에서의 위치 좌표, 병변 의심 부위의 위장 또는 위 내시경 경로 상에서의 위치를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템의 워크플로우를 도시하는 도면이다.
본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템은 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 수신 모듈; 메모리 또는 데이터베이스; 프로세서; 및 사용자 디스플레이를 포함한다. 수신 모듈은 의료 영상을 수신하거나 입력받고, 메모리 또는 데이터베이스는 의료 영상(위 내시경 영상)에 대한 판독 기능을 가지는 적어도 하나 이상의 의료 영상 분석 알고리즘(312)을 저장한다.
위 내시경 검사 영상 획득 모듈(332)은 실시간으로 획득되는 위 내시경 영상을 위 내시경 영상 진단 보조 시스템에 전달하거나, 위 내시경 검사 영상 캡쳐 모듈(334)이 위 내시경 영상을 캡쳐하여 위 내시경 영상 진단 보조 시스템에 전달할 수 있다.
프로세서는 위 내시경 영상 및/또는 캡쳐 영상의 검은 테두리 부분을 제거하는 크롭핑(cropping), 회전/틸팅, 영상 밝기값의 보정 등을 포함하는 영상 처리(320)를 수행할 수 있다.
프로세서는 적어도 하나 이상의 의료 영상 분석 알고리즘(312)을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하고, 프로세서는 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 병변으로 의심되는 부위의 위치 좌표를 산출하고, 프로세서는 병변으로 의심되는 부위의 존재 여부 및 병변으로 의심되는 부위의 위치 좌표를 포함하는 분석 결과(314)를 생성한다. 프로세서는 분석 결과(314)에 기반하여 위 내시경 영상과 함께 표시될 디스플레이 정보를 생성한다.
사용자 디스플레이는 위 내시경 영상과 함께 분석 결과(314)를 표시한다(322). 즉, 사용자 디스플레이는 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 비디오 프레임 상에 디스플레이 정보에 기반하여 병변으로 의심되는 부위가 시각적으로 구분되도록 표시하고(322), 병변으로 의심되는 부위의 위치 좌표를 병변으로 의심되는 부위와 시각적으로 연동되도록 표시한다(322).
프로세서는 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있고, 병변으로 의심되는 부위의 존재 여부, 병변으로 의심되는 부위의 위치 좌표, 및 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 포함하는 디스플레이 정보를 생성할 수 있다. 이때 프로세서는 위 내시경 기기 상의 센서의 정보 및/또는 인공지능 알고리즘(312)의 분석 결과(312)에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있다.
사용자 디스플레이는 디스플레이 정보에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 병변으로 의심되는 부위와 시각적으로 연동되도록 표시할 수 있다(322).
프로세서는 현재 검사 부위를 표시하는 비디오 프레임의 위 내시경 경로 상의 위치를 추적할 수 있고, 프로세서는 비디오 프레임의 위 내시경 경로 상의 위치 및 병변으로 의심되는 부위의 위치 좌표에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있다.
프로세서는 검사 대상 환자의 3차원 해부학적 구조를 포함하는 검사 전 획득 의료 영상에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있다.
내시경 영상과 함께 표시된 디스플레이 정보를 사용자가 최종 확인(324)하고, 해당 디스플레이 정보의 병변 위험 부위를 병변으로 승인하거나, 병변이 아닌 것으로 부정하거나, 병변으로 승인된 경우에 병변에 대한 이후의 조치를 실행하거나, 이후의 조치를 실행하기 위하여 리포트를 작성함으로써 내시경 검사 과정은 종료될 수 있다.
인공 지능에 기반한 의료 영상(위 내시경 영상) 분석 알고리즘(312)은, 비디오 프레임 각각에 대하여 검출된 병변의 표시, 병변의 비디오 프레임 내에서의 위치 좌표, 병변의 위 내시경 경로 상의 위치를 포함하는 레이블(label)을 비디오 프레임 각각과 함께 훈련용 데이터로 이용하여 훈련될 수 있다. 따라서 프로세서는 의료 영상 분석 알고리즘(312)을 이용하여 비디오 프레임 내의 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출하여 분석 결과(314)로서 제공할 수 있다.
본 발명의 실시예에서, 내시경 영상이 나타내는 경로 상의 현재 위치를 식별하는 주된 수단은 내시경 영상에 대한 학습과 추론에 주로 의존할 수 있다.
이때 내시경 영상에 대한 학습과 추론에 의존하여 (위 내시경 또는 대장 내시경) 경로 상의 현재 위치를 식별한다면, 학습에 이용되는 내시경 영상의 레이블(label)은 프레임마다 별도로 내시경의 (위 내시경 또는 대장 내시경) 경로 상의 위치와 검출/확인(생검을 통하여 실제로 확인된 영상)된 병변 정보를 포함할 수 있다.
본 발명의 다른 실시예에서, 내시경 영상에 대한 학습과 추론이 대장 내 경로 상의 현재 위치를 식별하기 위한 주된 수단이지만, 영상 분석을 통하여 내시경 영상의 프레임의 진행 속도 등을 추정하여 현재 위치를 식별하는 수단을 부가적으로 결합하여 현재 위치를 좀 더 정확하게 식별할 수 있다.
또한 일반적으로는 내시경 시술 전 CT 영상의 촬영이 어려워서 내시경 영상에만 의존하여 대장 내 경로 상의 현재 위치를 식별해야 하겠지만, 만일 내시경 시술 전 CT 영상의 촬영이 가능하다면, 본 발명의 다른 실시예에서는, 시술 전 촬영된 CT 영상 등에 기반하여 재구성되는 내시경 검사 대상(위 또는 대장 등)의 3D 모델과 관련시켜 현재 위치를 식별할 수도 있다.
이때 CT 영상 기반 대장의 3D 모델은 본 출원인의 기존 특허인 가상 내시경 영상 기술 등과 결합하여 구현될 수 있다. (한국등록특허 KR 10-1850385, 또는 한국등록특허 KR 10-1230871)
또한 본 발명의 다른 실시예에 따라서는, 내시경 검사 대상(위 또는 대장 등) 내 내시경 경로 상의 현재 위치를 식별할 때, 전적으로 영상 분석에만 의존하지 않고 내시경 또는 내시경 장치에 설치된 센서(내시경이 인체에 투입된 길이를 검출할 수 있는 센서)와 관련시켜 보정(보상)될 수도 있다.
본 발명의 실시예에 따라서는, 수신 모듈은 적어도 하나 이상의 위 내시경 영상 획득 모듈로부터 적어도 하나 이상의 위 내시경 영상을 수신하거나 입력받을 수 있다. 이때 프로세서는 적어도 하나 이상의 의료 영상 분석 알고리즘(312)을 이용하여 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 병변으로 의심되는 부위가 존재하는 지 여부를 검출할 수 있다. 프로세서는 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 병변으로 의심되는 부위의 존재 여부 및 병변으로 의심되는 부위의 위치 좌표를 포함하는 디스플레이 정보를 생성할 수 있다.
본 발명의 다른 일 실시예에 의한 의료 영상 진단 보조 방법은, 의료 영상에 대한 판독을 지원하는 진단 보조 시스템(컴퓨팅 시스템) 내의 프로세서에 의하여 실행되며, 프로세서에 로드되는 프로그램 인스트럭션에 기반하여 실행된다.
본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 방법은, 프로세서, 및 사용자 디스플레이를 포함하는 위 내시경 영상 진단 보조 시스템에 의하여 실행되고, 위 내시경 영상 진단 보조 시스템 내의 메모리 또는 데이터베이스에 저장된 위 내시경에 대한 분석 기능을 가지는 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용할 수 있다.
본 발명의 방법은, 위 내시경 영상을 수신하거나 입력받는 단계; 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여, 프로세서가 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하는 단계; 프로세서가 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 병변으로 의심되는 부위의 위치 좌표를 산출하는 단계; 프로세서가 병변으로 의심되는 부위의 존재 여부 및 병변으로 의심되는 부위의 위치 좌표를 포함하는 디스플레이 정보를 생성하는 단계; 사용자 디스플레이가 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 비디오 프레임 상에 디스플레이 정보에 기반하여 병변으로 의심되는 부위가 시각적으로 구분되도록 표시하는 단계; 및 사용자 디스플레이가 병변으로 의심되는 부위의 위치 좌표를 병변으로 의심되는 부위와 시각적으로 연동되도록 표시하는 단계를 포함한다.
이때 본 발명의 방법은 상기 프로세서가 상기 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출하는 단계를 더 포함할 수 있다.
본 발명의 방법의 상기 디스플레이 정보를 생성하는 단계는, 상기 프로세서에 의하여 상기 병변으로 의심되는 부위의 존재 여부, 상기 병변으로 의심되는 부위의 상기 위치 좌표, 및 상기 병변으로 의심되는 부위의 상기 위 내시경 경로 상의 위치를 포함하는 상기 디스플레이 정보를 생성할 수 있다.
본 발명의 방법의 상기 사용자 디스플레이가 상기 병변으로 의심되는 부위의 상기 위치 좌표를 상기 병변으로 의심되는 부위와 시각적으로 연동되도록 표시하는 단계는, 상기 사용자 디스플레이에 의하여, 상기 디스플레이 정보에 기반하여 상기 병변으로 의심되는 부위의 상기 위 내시경 경로 상의 위치를 상기 병변으로 의심되는 부위와 시각적으로 연동되도록 표시할 수 있다.
본 발명의 방법의 상기 위 내시경 영상을 수신하거나 입력받는 단계는, 적어도 하나 이상의 위 내시경 영상 획득 모듈로부터 적어도 하나 이상의 위 내시경 영상을 수신하거나 입력받을 수 있다.
본 발명의 방법의 상기 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하는 단계는, 상기 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여 상기 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 병변으로 의심되는 부위가 존재하는 지 여부를 검출할 수 있다.
본 발명의 방법의 상기 디스플레이 정보를 생성하는 단계는, 상기 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 상기 병변으로 의심되는 부위의 존재 여부 및 상기 병변으로 의심되는 부위의 상기 위치 좌표를 포함하는 상기 디스플레이 정보를 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 위 내시경 영상과 디스플레이 정보가 함께 표시되는 영상의 실시예를 도시하는 도면이다.
디스플레이 정보는 병변으로 의심되는 부위의 존재 여부, 병변으로 의심되는 부위의 위치 좌표(현재 비디오 프레임 내에서의 위치 좌표), 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 포함할 수 있다.
위 내시경 영상의 비디오 프레임 상에서, 병변으로 의심되는 부위는 도 4에서처럼 비디오 프레임 내의 다른 부분과 시각적으로 구별되도록 시각화된다. 이때 도 4에서처럼 마커/박스 등의 시각화 요소로 표현될 수도 있고, 해당 영역이 하이라이트될 수도 있다.
또한 위치 정보 및 병변이 실제로 병변일 확률(인공지능에 의하여 추론된 확률)이 디스플레이 정보에 포함되어 병변으로 의심되는 부위의 시각화 요소에 근접하거나 관련성을 사용자가 직관적으로 이해할 수 있도록 시각화될 수 있다.
본 발명의 일 실시예에 따른 위 내시경 영상의 인공지능 분석 알고리즘의 학습 과정에서 훈련용 입력 데이터는 다음을 포함한다. 훈련용 입력 데이터로 이용되는 위 내시경 영상은 영상 획득 기기(위 내시경 영상 획득 모듈)가 지원하는 해상도에 따라 각기 다른 사이즈의 검은 색 배경을 포함하는 영상으로 이루어져 있다. 위 내시경 영상 정보만을 사용하기 위해 학습을 진행하기에 앞서 내시경 부분 추출(cropping)이 실행된다. 학습 단계에서 병변 등의 검출을 위한 정보와 함께 위장 내시경 경로 상에서의 위치도 함께 (레이블 정보에 포함되어) 학습되고 최종적으로 병변 등이 위치한 좌표 값과 병변 확률, 경로 상에서의 위치 결과에 대한 학습을 수행할 수 있다.
학습 후 실시간 영상에 대한 추론(inference) 과정에서는, 사용자 화면에 분석된 결과 값이 시각적으로 구분될 수 있는 시각화 요소를 이용하여 표시된다. 사용자의 누락 위험을 더욱 줄이기 위하여, 위험 부위가 발견된 경우에는 경보음을 함께 이용함으로써 사용자의 주의를 환기시킬 수 있다. 위험 부위의 종류, 위험 부위가 병변일 확률, 위험 부위가 시야 상의 사각 지대에 위치하여 누락 위험이 높은 경우에는 경보음을 달리 하여 사용자의 주의를 더욱 집중시킬 수 있다.
훈련용 데이터의 생성 시, 데이터의 특정한 편향성(내시경 기기의 색상, 명도, 해상도, 또는 틸팅) 등에 의한 과적합(overfitting)을 해소하기 위하여, 데이터 증식(augmentation)이 실행될 수 있다. 데이터의 증식은 이미지 데이터의 회전/틸팅, 이동, 대칭, 색상/명도/해상도의 보정 등을 통하여 이루어질 수 있다.
또한, 과적합을 막기 위한 방법의 일 예로서, 가중치 규제, 드롭아웃 추가, 네트워크 용량 조절(감소) 등 다양한 방법이 이용될 수 있다.
도 1 내지 도 4의 실시예에서는, 내시경 영상 진단 획득 모듈/내시경 장비로부터 실시간 영상 획득 모듈이 실시간 내시경 영상을 획득한다. 실시간 영상 획득 모듈은 실시간 내시경 영상을 진단 보조 시스템으로 전송한다. 진단 보조 시스템은 적어도 둘 이상의 인공 지능 알고리즘들을 포함하며, 실시간 내시경 영상에 적어도 둘 이상의 인공 지능 알고리즘들을 적용하여 판독/진단 정보를 포함하는 디스플레이 정보를 생성한다. 진단 보조 시스템은 디스플레이 정보를 사용자 시스템에 전달하고, 사용자 시스템은 실시간 내시경 영상에 디스플레이 정보를 오버레이하거나, 실시간 내시경 영상과 디스플레이 정보를 함께 디스플레이할 수 있다.
실시간 내시경 영상은 개별적인 영상 프레임으로 구분될 수 있다. 이때 내시경 영상 프레임은 수신 모듈에 의하여 수신되거나 입력될 수 있다.
진단 보조 시스템(컴퓨팅 시스템)은 수신 인터페이스 모듈, 프로세서, 전송 인터페이스 모듈, 및 메모리/스토리지를 포함한다. 프로세서는 내부적으로 하드웨어 또는 소프트웨어에 의하여 기능이 구현되는 서브 모듈들을 포함한다. 프로세서는 문맥 기반 판독 요건을 추출하는 제1 서브 모듈, 인공지능 판독 알고리즘들이 내시경 영상 프레임에 적용되어 생성되는 판독/진단 결과들 중에서 표시될 인공지능 분석 결과들을 선정하는 제2 서브 모듈, 사용자 시스템의 화면에 표시될 디스플레이 정보를 생성하는 제3 서브 모듈을 포함할 수 있다.
복수 개의 인공지능 판독 알고리즘들은 진단 컴퓨팅 시스템 내부의 메모리 또는 데이터베이스(도시되지 않음)에 저장되어 프로세서의 제어에 의하여 내시경 영상 프레임에 적용되고, 내시경 영상 프레임에 대한 판독/진단 결과를 생성할 수 있다.
도 1 내지 도 4의 실시예에서는 복수 개의 인공지능 판독 알고리즘들이 진단 컴퓨팅 시스템 내부의 메모리 또는 데이터베이스(도시되지 않음)에 저장되어 프로세서의 제어에 의하여 구동되는 경우가 도시되었으나, 본 발명의 다른 실시예에 따라서는 복수 개의 인공지능 판독 알고리즘들이 진단 컴퓨팅 시스템 외부의 메모리 또는 데이터베이스(도시되지 않음)에 저장될 수도 있다. 복수 개의 인공지능 판독 알고리즘들이 진단 컴퓨팅 시스템 외부의 메모리 또는 데이터베이스(도시되지 않음)에 저장되는 경우에는, 복수 개의 인공지능 판독 알고리즘들이 내시경 영상 프레임에 적용되고, 내시경 영상 프레임에 대한 판독/진단 결과가 생성되도록 프로세서가 전송 모듈을 경유하여 진단 컴퓨팅 시스템 외부의 메모리 또는 데이터베이스(도시되지 않음)을 제어할 수 있다. 이때 생성된 판독/진단 결과는 수신 모듈을 통하여 진단 컴퓨팅 시스템으로 전달되고, 프로세서는 판독/진단 결과에 기반하여 디스플레이 정보를 생성할 수 있다.
프로세서는 의료 영상의 비디오 프레임인 내시경 영상 프레임을 분석하여 내시경 영상 프레임에 대한 판독 요건을 추출한다. 프로세서는 판독 요건에 기반하여 복수의 의료 영상 분석 알고리즘들 중 내시경 영상 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리즘들을 선택하고, 프로세서는 내시경 영상 프레임에 상기 복수의 판독 적용 알고리즘들을 적용하여 내시경 영상 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성한다. 이러한 과정은 내시경 영상 프레임 각각에 대하여 프로세서에 의하여 실행된다.
프로세서는 내시경 영상 프레임을 분석하여 내시경 영상 프레임의 특성에 대응하는 문맥 기반 판독 요건을 추출할 수 있다. 프로세서는 문맥 기반 판독 요건에 기반하여 내시경 영상 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리즘들을 선택할 수 있다.
프로세서는 문맥 기반 판독 요건에 기반하여 복수의 판독 적용 알고리즘들의 조합을 선택할 수 있다. 프로세서는 내시경 영상 프레임에 복수의 판독 적용 알고리즘들의 조합을 적용하여 내시경 영상 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성할 수 있다.
복수의 판독 적용 알고리즘들의 조합은, 문맥 기반 판독 요건에 기반하여 내시경 영상 프레임에 대하여 우선적으로 추천되는 제1 판독 적용 알고리즘, 및 제1 판독 적용 알고리즘의 특성에 기반하여 문맥 기판 판독 요건 중 도출되는 보완 판독 요건에 기반하여 추천되는 제2 판독 적용 알고리즘을 포함할 수 있다.
문맥 기반 판독 요건은 내시경 영상 프레임이 포함하는 인체의 바디 파트, 인체의 장기(organ), 내시경 영상 프레임이 상기 인체의 장기 내에서 나타내는 상대적인 위치, 내시경 영상 프레임과 관련되는 병변의 발생 확률, 내시경 영상 프레임과 관련되는 병변의 위험도, 내시경 영상 프레임과 관련되는 병변의 식별 난이도, 및 타겟 병변의 종류 중 적어도 하나 이상을 포함할 수 있다. 내시경 영상 프레임이 어떤 장기에 대한 것인지 특정되면, 예를 들어, 내시경 영상 프레임이 대장 내시경(colonoscopy) 영상에 관련되는 경우에는, 현재 영상 프레임에 표시되는 영상이 대장 내시경 영상의 시작 부분인지, 중간 부분인지, 끝 부분인지에 대한 정보가 대장 내에서의 상대적인 위치(장기의 입구, 중간, 끝 부분)와 함께 식별될 수 있다. 위 내시경(gastroscopy) 영상인 경우에는, 현재 영상 프레임에 표시되는 영상이 위 내시경 영상의 시작 부분(예를 들어, 식도), 중간 부분인지(위장의 입구), 끝 부분인지에 대한 정보가 위 내시경 경로 상에서의 상대적인 위치와 함께 식별될 수 있다.
이에 따라서 식별된 위치 및 부위에서 발생할 가능성이 높은 병변/질환의 종류, 육안으로 식별이 쉽지 않아 의료진이 간과할 가능성이 높은 병변/질환의 종류, 현재 영상 프레임 내에서 시각적으로 식별하기 쉽지 않은 병변/질환에 대한 판독/진단 정보, 현재 영상 프레임이 가리키는 인체 장기 내에서의 위치에서 발생할 가능성이 있는 병변/질환 중 위험도/치사율이 높아 주의가 필요한 병변/질환의 종류 등에 기반하여 문맥 기반 판독 요건을 추출할 수 있다. 이때 문맥 기반 판독 요건은 위에서 기술한 정보에 기반하여 현재 영상 프레임에 관련하여 우선적으로 고려해야 하는 타겟 병변/질환의 종류에 대한 정보도 포함할 수 있다.
디스플레이 정보는 내시경 영상 프레임, 내시경 영상 프레임 상에 선택적으로 오버레이되는 판독 결과, 판독 결과를 생성한 판독 적용 알고리즘의 정보, 및 판독 적용 알고리즘에 대한 평가 스코어를 포함할 수 있다. 판독 적용 알고리즘에 대한 평가 스코어를 산출하는 과정은 앞서 설명한 도 1 내지 도 2의 실시예에서 평가 스코어를 산출하는 과정을 이용할 수 있다.
인공지능 판독 알고리즘은 평가 스코어가 높은 순서대로 판독 적용 시 우선 순위가 적용될 수 있지만, 몇 가지 추가적으로 고려할 변수가 존재한다.
1순위의 AI 알고리즘이 해당 내시경 영상에서 발생 가능한 병변의 일부만을 검출하고, 후순위의 AI 알고리즘이 1순위 알고리즘이 검출하지 못한 내용을 검출하고 있는 경우, 1순위 AI 알고리즘 진단 결과와 후순위의 AI 알고리즘 진단 결과를 함께 표시할 수 있다. 또한 사용자가 이러한 기준에 의하여 최종적인 판독 적용 AI 알고리즘을 선택할 수 있는 메뉴를 제공하되, 사용자의 선택을 도울 수 있도록 복수의 AI 알고리즘의 진단 결과 및 그 진단 결과를 함께 표시하는 이유에 대한 설명을 함께 디스플레이할 수 있다.
예를 들어, 현재 영상 프레임 내에서 발생할 가능성이 가장 높은 병변의 종류로서 병변 A1, A2가 알려져 있고, 발생할 가능성이 A1, A2보다는 낮지만 시각적으로 식별하기 어려워 간과될 가능성이 있는 병변 B가 알려져 있다고 가정한다. 병변 A1, A2에 대해서 가장 높은 평가 스코어를 획득한 인공지능 판독 알고리즘 X가 전체적으로 가장 높은 평가 스코어를 획득하고, 우선적으로 추천되는 제1 판독 적용 알고리즘으로 선택될 수 있다. 이때 제1 판독 적용 알고리즘이 병변 A1, A2에 대해서는 가장 높은 평가 스코어를 획득했지만, 병변 B에 대해서는 기준치 미만의 평가 스코어를 획득하는 경우가 있을 수 있다. 이때, 제1 판독 적용 알고리즘이 기준치 미만의 성능을 보이는 병변 B는 보완 판독 요건으로 지정될 수 있다. 제2 판독 적용 알고리즘은 보완 판독 요건인 병변 B에 대해서 가장 높은 평가 스코어를 획득한 인공지능 판독 알고리즘 Y로 선택될 수 있다. 제1 판독 적용 알고리즘과 제2 판독 적용 알고리즘의 조합은 전체적인 판독/진단 정보에 대한 신뢰성, 정확성 등의 평가 스코어가 높은 조합이면서도 특정 병변/질환에 대한 판독/진단 정보가 간과되거나, 특정 병변/질환에 대한 판독/진단 성능이 취약하지 않도록 선택될 수 있다. 따라서 제2 판독 적용 알고리즘은 전체적인 평가 스코어가 두루 높은 인공지능 판독 알고리즘보다는 제1 판독 적용 알고리즘이 취약한 보완 판독 요건에서 가장 우수한 성능을 보이는 인공지능 판독 알고리즘이 선택되도록 판독 적용 알고리즘을 선택하는 논리 조건이 설계될 수 있다.
위의 실시예에서 2개의 판독 적용 알고리즘들이 선택되는 경우를 예로 들었으나, 평가 스코어에 의하여 3개 이상의 판독 적용 알고리즘들의 조합이 더욱 우수한 성능을 나타내는 경우 3개 이상의 판독 적용 알고리즘들을 선택하여 적용하는 실시예도 본 출원명세서에 기재된 사항에 의하여 구현될 수 있을 것이다.
도 1 내지 도 4의 실시예는 내부적인 평가 스코어가 높은 AI 판독 알고리즘들이 적용된 판독 결과를 제시하고, 사용자가 평가 스코어 상위의 AI 판독 알고리즘들이 적용된 판독 결과를 선택할 수 있는 실시예이다. 도 1 내지 도 4의 실시예에서는 실시간 내시경 영상에 대하여 빠르게 판독 결과를 표시하고자 하는 목적에서 도출된 구성이 개시된다. 따라서 도 1 내지 도 4의 실시예에서는 문맥 기반 판독 요건에 기반하여 현재 비디오 프레임에 대하여 표시될 AI 판독 알고리즘들의 조합을 우선적으로 선택한 후, 이들 조합에 의한 판독 결과들을 디스플레이 정보로 생성하여 사용자에게 비디오 프레임과 함께 제공한다.
이때 현재 비디오 프레임에서 발생할 가능성이 높은 병변/질환의 종류, 현재 비디오 프레임에서 발생할 가능성이 높으나 시각적으로 식별하기 어려워서 의료진이 간과할 가능성이 높은 병변/질환의 종류, 및 현재 비디오 프레임에서 발생할 수 있는 병변/진단 중 위험도/치사율이 높아서 주의가 필요한 병변/질환의 종류 등이 문맥 기반 판독 요건에 포함될 수 있다. 또한 병변/질환의 종류 및 특성에 기반하여 현재 비디오 프레임에서 간과해서는 안 될 타겟 병변/질환의 종류, 및 타겟 병변/질환의 종류의 우선 순위가 문맥 기반 판독 요건에 포함될 수 있다.
본 발명의 판독/진단 결과 도출 및 디스플레이 정보는 병원 내에서 사용될 경우 내시경 데이터를 전달받아 분석한 후, 인공지능 진단 보조 결과를 표시할 수 있는 사용자 인터페이스를 가지는 사용자 시스템에 의하여 디스플레이되고, 사용자 입력에 기반하여 판독/진단 결과를 확정하거나, 판독/진단 결과를 교체하거나, 판독/진단 결과에 대한 수용 또는 거부를 결정할 수 있다.
프로세서는 상기 디스플레이 정보를 내시경 영상 프레임에 연계하여 상기 데이터베이스에 저장할 수 있다. 이때 데이터베이스는 진단 컴퓨팅 시스템 내부의 데이터베이스일 수 있으며, 향후 환자에 대한 의무 기록으로서 저장될 수 있다.
프로세서는 상기 디스플레이 정보 및 내시경 영상 프레임이 연계된 외부 저장 데이터를 생성하고, 상기 외부 저장 데이터를 전송 모듈을 경유하여 외부의 데이터베이스에 저장되도록 상기 외부의 데이터베이스로 전송할 수 있다. 이때 외부의 데이터베이스는 PACS 데이터베이스, 또는 클라우드 기반으로 구현된 데이터베이스일 수 있다.
이 때 복수의 의료 영상 분석 알고리즘들은 인공 신경망을 이용하는 인공 지능 알고리즘들이고, 프로세서는 판독 요건/문맥 기반 판독 요건 각각에 따른 평가 스코어를 복수의 의료 영상 분석 알고리즘들 각각에 대한 설명적 정보(descriptive information)로서 생성할 수 있다.
본 발명의 진단 보조 시스템은 내부적으로 적어도 둘 이상의 인공 지능 진단 알고리즘들을 포함할 수 있다. 3개 이상의 내시경 장비에서 내시경 영상 데이터가 진단 보조 시스템으로 전달된다. 진단 보조 시스템은 내시경 영상 데이터 각각의 프레임마다 적어도 둘 이상의 인공 지능 진단 알고리즘들을 적용하여 판독/진단 결과를 생성한다. 진단 보조 시스템은 내시경 영상 데이터 각각의 프레임마다 판독/진단 결과를 연계하여 디스플레이 정보를 생성한다. 이때 디스플레이 정보는 내시경 영상 데이터가 생성된 병원의 식별 정보(병원 A)를 포함하여 생성될 수 있다. 또한 디스플레이 정보는 각 병원의 내시경 장비마다 주어지는 식별 정보(내시경 1, 내시경 2, 내시경 3)를 포함하여 생성될 수 있다.
본 발명의 시스템은 생성된 디스플레이 정보를 클라우드 기반 데이터베이스에 전송하고, 클라우드 기반 데이터베이스에는 내시경 영상 데이터가 생성된 내시경 장비, 및 생성된 병원이 식별되어 내시경 영상 데이터 및 디스플레이 정보가 저장된다. 디스플레이 정보는 내시경 영상 데이터 각각의 프레임마다 판독/진단 정보가 연계되어 생성되고 저장된다. 내시경 영상 데이터 각각의 프레임마다 생성되는 판독/진단 정보는 도 1 내지 도 4의 실시예에서 설명된 것처럼 평가 스코어 및 문맥 기반 판독 요건에 기반하여 자동으로 생성될 수 있다.
클라우드 환경에서 본 발명이 적용될 경우, 무선 통신망으로 연결된 장비를 이용하여 내시경 영상 데이터 및 판독/진단 결과를 병원 측의 사용자 시스템에서 수신하고, 인공지능 진단 보조 결과를 사용자 시스템 상에서 디스플레이할 수 있다.
클라우드 데이터베이스에 저장된 디스플레이 정보는, 환자가 지정한 병원에 제공될 수 있으며, 환자는 자신이 접근하기 편리한 병원에서 자신의 내시경 영상 데이터 및 판독/진단 정보를 수신하고, 해당 병원에서 의사의 판독/진단 결과에 대한 해석 및 후속 진단을 받을 수 있다.
종래 기술의 의료진의 판독용 컴퓨팅 단말에서는 인공지능 알고리즘이 적용된 결과를 이용하여 판독 결과가 생성된다. 이때 판독 결과를 생성하는 과정에서는 의료진의 코멘트가 추가될 수 있다.
본 발명이 적용된 의료 영상 진단 보조 장치/시스템에서는 평가 스코어인 I-Score가 컴퓨팅 시스템으로부터 의료진의 판독용 컴퓨팅 단말로 전달된다. 판독 결과의 생성에 평가 스코어인 I-Score가 반영되어 최종 판독문이 생성될 수 있다. 본 발명의 일 실시예에 따라서는, 컴퓨팅 시스템은 평가 스코어인 I-Score와 함께 판독문을 생성하여 의료진의 컴퓨팅 시스템으로 전달할 수 있는데, 이때 컴퓨팅 시스템에서 생성되는 판독문은 평가 스코어인 I-Score가 높은 판독 적용 알고리즘들에 기반한 판독 결과들을 이용하여 작성될 수 있다.
컴퓨팅 시스템은 내부적으로 계산한 평가 스코어인 I-Score를 이용하여 추천 판독 결과를 선택할 수 있고, 평가 스코어가 함께 표시되므로 판독의(radiologist)는 해당 추천판독(예를 들어 판독의의 판독 결과와 일치하는 추천 판독 알고리즘)에 대한 판독신뢰도 등을 평가/확인할 수 있는 사용자 인터페이스를 제공할 수 있다. 컴퓨팅 시스템의 프로세서는 평가 스코어에 기반하여 복수의 판독 결과들 중 제1 판독 결과와 제2 판독 결과를 추천 판독 결과로서 선택할 수 있다. 프로세서는 제1 판독 알고리즘에 대한 평가 스코어, 제1 판독 결과, 제2 판독 알고리즘에 대한 평가 스코어, 및 제2 판독 결과를 포함하는 디스플레이 정보를 생성할 수 있다.
컴퓨팅 시스템은 판독 알고리즘의 신뢰도 점수, 판독 알고리즘의 정확도 점수, 및 피드백을 제공한 판독의의 평가 신뢰도 점수에 기반하여 평가 스코어를 생성할 수 있다. 프로세서는 복수의 판독 결과들 및 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 복수의 의료 영상 분석 알고리즘들 각각에 대한 신뢰도 점수, 복수의 의료 영상 분석 알고리즘들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 분석 알고리즘들 각각에 대한 상기 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성하고, 상기 하위 평가 항목에 기반하여 상기 평가 스코어를 생성할 수 있다.
예를 들어 평가 스코어의 생성 기준은 다음과 같이 구현될 수 있다.
[수학식 1]
I-Score = a x (AI 알고리즘의 신뢰도 점수) + b x (AI 알고리즘의 정확도 점수) + c x (AI 알고리즘에 대한 판독의의 평가 신뢰도 점수)
알고리즘의 신뢰도 점수는 판독의가 각 알고리즘에 대하여 부여할 수 있다. 즉, 제1 판독 결과와 제2 판독 결과 중 제1 판독 결과가 더 정확하다고 판단되면 제1 판독 결과에 대하여 높은 신뢰도 점수가 부여될 수 있다.
알고리즘의 정확도 점수는 별도의 부여 과정 없이, 판독의가 각 알고리즘의 판독 결과를 수용하는 정도에 의하여 결정될 수 있다. 예를 들어 제1 판독 결과가 10개의 병변 의심 위치를 제시하였는데 판독의가 9개의 병변 의심 위치를 승인하였다면 정확도 점수는 90/100 으로 주어질 수 있다.
알고리즘의 정확도 점수가 부여되는 또 다른 실시예로는, 생검(biopsy) 등에 의하여 정확한 결과가 드러나는 경우를 가정할 수 있다. 이 때에는 생검에 의한 정확한 결과와 비교하여 각 판독 알고리즘의 판독 결과의 정확도가 드러날 수 있다. 사용자가 생검에 의하여 정확한 결과를 컴퓨팅 시스템에 입력하면, 컴퓨팅 시스템은 각 판독 결과를 생검에 의한 정확한 결과(레퍼런스)와 비교하여 각 판독 알고리즘의 정확도 점수를 산출할 수 있다.
판독의의 평가 신뢰도 점수는, 판독의의 평가에 대한 신뢰도 점수로서 제공될 수 있다. 즉, 판독의가 해당 임상 분야에서 오랜 경력을 쌓은 전문가이면 그만큼 높은 평가 신뢰도 점수가 부여된다. 판독의의 경력연차, 판독의의 전공, 판독의의 전공의 여부, 해당 임상 분야에서의 경험 등이 고려되어 평가 신뢰도 점수가 산출될 수 있다.
컴퓨팅 시스템은 내부의 인공지능 알고리즘에 의해 평가 스코어 산출 기준을 지속적으로 학습하며 내부 정해진 일정에 따라 업데이트할 수 있다. 프로세서는 하위 평가 항목인 복수의 의료 영상 분석 알고리즘들 각각에 대한 신뢰도 점수, 복수의 의료 영상 분석 알고리즘들 각각에 대한 정확도 점수, 및 복수의 의료 영상 분석 알고리즘들 각각에 대한 상기 사용자의 평가 신뢰도 점수 각각에 대하여 가중치를 부여하고, 복수의 판독 결과들 및 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 목표 요건에 따라 하위 평가 항목 각각의 가중치가 조정되도록 상기 하위 평가 항목 각각의 가중치를 업데이트할 수 있다.
목표 요건의 예시로는 각 알고리즘들에 대한 사용자의 신뢰도와 정확도의 상관관계가 일치하는 방향으로 조정하는 경우를 들 수 있다. 예를 들어, 동일한 정확도 점수를 가지는 제1 판독 알고리즘과 제2 판독 알고리즘에 대한 판독의의 신뢰도 점수가 상이할 수가 있다. 이때 판독의의 평가의 일반적인 오차를 제거한 후에도 일정한 경향으로 신뢰도 점수가 상이한 경우 제1 판독 알고리즘과 제2 판독 알고리즘에 대한 판독의들의 신뢰도는 상이한 것으로 인정할 수 있다. 예를 들어 제1 판독 알고리즘과 제2 판독 알고리즘이 전체 10개의 병변 의심 위치 중 9개의 위치에서 정확한 판독 결과를 생성하여 정확도 점수는 90/100 이 되었지만 중증도의 병변을 제1 판독 알고리즘만 정확하게 판독하고 제2 판독 알고리즘은 정확히 판독하지 못하였다면 판독의의 신뢰도가 상이한 이유가 설명될 것이다. 정확도와 신뢰도의 상관관계가 일치하도록 조정하는 수단으로는 각 하위 항목 별 가중치를 조정하거나, 정확도를 판정하는 대상 병변의 선별 기준을 세분화하는 수단이 있을 수 있다. 이 경우 진단된 병변의 경도/중증도, 병변의 의료 영상의 중심으로부터의 위치, 병변의 식별 난이도(뼈, 장기, 혈관이 복잡하게 혼재되어 있는 영역에서는 난이도가 높음) 등의 기준으로 병변을 구분하고, 각 영역에서 병변의 진단 정확도에 다른 가중치를 부여하는 방법이 있을 수 있다.
컴퓨팅 시스템은 영상에 따라 적용 가능한 다수의 인공지능 알고리즘을 내부적으로 자동으로 할당할 수 있는 기능을 포함할 수 있다. 컴퓨팅 시스템은 영상에 적용 가능한 인공지능 알고리즘을 판단하기 위해 추천 판독시스템 내부에 별도 영상 분류 인공지능 알고리즘에 의해 하나의 검사 또는 하나 이상의 영상을 분류한 후 다수의 인공지능 알고리즘을 적용할 수 있다.
본 발명의 일 실시예에 따라서는 복수의 의료 영상 분석 알고리즘들이 인공 신경망을 이용한 것일 수 있다. 이때 평가 스코어 및 하위 평가 항목들을 각 판독 알고리즘에 대한 설명적 정보(descriptive information)로서 생성하고, 컴퓨팅 시스템이 평가 스코어 및 하위 평가 항목들을 판독 알고리즘들의 생성 주체에게 피드백하여 판독 알고리즘의 개선에 이용되도록 정보를 제공할 수도 있다. 이 때 인공 신경망이 최근 연구되고 있는 관련성 스코어(relevance score) 및 신뢰도 레벨(confidence level) 등을 이용하는 인공 신경망인 경우, 평가 스코어 및 하위 평가 항목들을 인공 신경망의 relevance score 또는 confidence level 등과 연계하여 통계 분석이 이루어져 판독 알고리즘의 개선에 평가 스코어 및 하위 평가 항목들이 영향을 미칠 수 있다.
이러한 본 발명의 일 실시예는 종래 기술의 의료 영상 판독 시퀀스를 최대한 변형하지 않으면서 본 발명에 의하여 얻을 수 있는 이점을 제공하고자 설계된 실시예이다.
본 발명의 또 다른 일 실시예에서는 컴퓨팅 시스템이 복수의 판독 적용 알고리즘들을 선택하고, 복수의 판독 적용 알고리즘들 각각을 의료 영상에 적용하여 복수의 판독 결과들을 생성하는 과정을 스스로 실행할 수 있다. 이 경우 컴퓨팅 시스템은 선택된 판독 적용 알고리즘들에 대한 정보 뿐만 아니라 판독 적용 알고리즘들에 기반한 복수의 판독 결과들을 의료진의 판독용 컴퓨팅 단말로 전달하고, 의료진의 판독용 컴퓨팅 단말에서는 의료 영상에 대한 인공지능 알고리즘(판독 적용 알고리즘들)이 적용된 결과가 디스플레이될 수 있다.
이때의 본 발명의 일 실시예는 의료진의 판독용 컴퓨팅 단말의 컴퓨팅 파워가 크지 않은 경우, 예를 들어 모바일 디바이스이거나 구형의 컴퓨팅 시스템일 때에도 본 발명에 의하여 얻을 수 있는 이점을 제공할 수 있다. 이때의 본 발명의 일 실시예는 의료 영상에 대한 인공지능 알고리즘을 적용하는 주체가 컴퓨팅 시스템이고, 컴퓨팅 시스템은 일종의 서버(server)로서 기능하며, 의료진의 판독용 컴퓨팅 단말은 씬 클라이언트(thin-client) 기반 시스템으로 동작할 수도 있다. 이 때의 본 발명의 일 실시예에서는 의료진의 판독용 컴퓨팅 단말에서 의료진이 복수의 판독 결과들 또는 복수의 판독 적용 알고리즘들에 대하여 입력한 피드백 지표를 컴퓨팅 시스템으로 피드백할 수 있다. 피드백 지표는 평가 대상 각각, 즉, 복수의 판독 결과들 또는 복수의 판독 적용 알고리즘들 각각과 연계되어 컴퓨팅 시스템 내의 메모리 또는 데이터베이스에 저장할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 일 실시예에서 선택된 알고리즘이 적용되는 단계는 임상의의 판독 시스템에서 실행되어 복수의 판독 결과들이 컴퓨팅 시스템으로 전달될 수도 있고, 본 발명의 다른 일 실시예에서는 선택된 알고리즘이 적용되는 단계가 컴퓨팅 시스템 내에서 전적으로 실행된 후, 임상의의 판독 시스템에서 그 결과가 디스플레이될 수도 있다.
본 발명의 일 실시예에 따른 의료 영상의 판독을 지원하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 인공지능 서버(컴퓨팅 시스템)
112, 212: 인공지능 알고리즘
120, 220: 인공지능 워크스테이션(컴퓨팅 시스템)
122, 222: 사용자 디스플레이
132, 134, 232: 위 내시경 영상 획득 모듈

Claims (8)

  1. 의료 영상에 대한 진단을 보조하는 진단 보조 시스템으로서, 상기 진단 보조 시스템은 컴퓨팅 시스템을 포함하고,
    상기 컴퓨팅 시스템은
    상기 의료 영상으로서 위 내시경 영상을 수신하거나 입력받는 수신 모듈;
    상기 위 내시경에 대한 분석 기능을 가지는 적어도 하나 이상의 의료 영상 분석 알고리즘을 저장하는 메모리 또는 데이터베이스;
    프로세서; 및
    사용자 디스플레이;
    를 포함하고,
    상기 프로세서는 상기 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여 상기 위 내시경 영상의 비디오 프레임을 분석하고, 상기 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하고,
    상기 프로세서는 상기 비디오 프레임 내에 상기 병변으로 의심되는 부위가 존재하면, 상기 병변으로 의심되는 부위의 위치 좌표를 산출하고,
    상기 프로세서는 상기 병변으로 의심되는 부위의 존재 여부 및 상기 병변으로 의심되는 부위의 상기 위치 좌표를 포함하는 디스플레이 정보를 생성하고,
    상기 사용자 디스플레이는 상기 비디오 프레임 내에 상기 병변으로 의심되는 부위가 존재하면, 상기 비디오 프레임 상에 상기 디스플레이 정보에 기반하여 상기 병변으로 의심되는 부위가 시각적으로 구분되도록 표시하고, 상기 병변으로 의심되는 부위의 상기 위치 좌표를 상기 병변으로 의심되는 부위와 시각적으로 연동되도록 표시하고,
    상기 프로세서는 인공 지능에 기반한 상기 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여 상기 위 내시경 영상의 비디오 프레임을 분석하고, 분석 결과로서 상기 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출하고,
    상기 프로세서는 상기 병변으로 의심되는 부위의 존재 여부, 상기 병변으로 의심되는 부위의 상기 위치 좌표, 및 상기 병변으로 의심되는 부위의 상기 위 내시경 경로 상의 위치를 포함하는 상기 디스플레이 정보를 생성하고,
    상기 사용자 디스플레이는 상기 디스플레이 정보에 기반하여 상기 병변으로 의심되는 부위의 상기 위 내시경 경로 상의 위치를 상기 병변으로 의심되는 부위와 시각적으로 연동되도록 표시하는 위 내시경 영상 진단 보조 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 프로세서는 현재 검사 부위를 표시하는 상기 비디오 프레임의 위 내시경 경로 상의 위치를 추적하고,
    상기 프로세서는 상기 비디오 프레임의 위 내시경 경로 상의 위치 및 상기 병변으로 의심되는 부위의 상기 위치 좌표에 기반하여 상기 병변으로 의심되는 부위의 상기 위 내시경 경로 상의 위치를 산출하는 위 내시경 영상 진단 보조 시스템.
  4. 제1항에 있어서,
    상기 프로세서는 검사 대상 환자의 3차원 해부학적 구조를 포함하는 검사 전 획득 의료 영상에 기반하여 상기 병변으로 의심되는 부위의 상기 위 내시경 경로 상의 위치를 산출하는 위 내시경 영상 진단 보조 시스템.
  5. 제1항에 있어서,
    상기 수신 모듈은 적어도 하나 이상의 위 내시경 영상 획득 모듈로부터 적어도 하나 이상의 위 내시경 영상을 수신하거나 입력받고,
    상기 프로세서는 상기 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여 상기 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 병변으로 의심되는 부위가 존재하는 지 여부를 검출하고,
    상기 프로세서는 상기 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 상기 병변으로 의심되는 부위의 존재 여부 및 상기 병변으로 의심되는 부위의 상기 위치 좌표를 포함하는 상기 디스플레이 정보를 생성하는
    위 내시경 영상 진단 보조 시스템.
  6. 프로세서, 및 사용자 디스플레이를 포함하는 위 내시경 영상 진단 보조 시스템에 의하여 실행되는 위 내시경 영상 진단 보조 방법에 있어서,
    위 내시경 영상을 수신하거나 입력받는 단계;
    상기 위 내시경 영상 진단 보조 시스템 내의 메모리 또는 데이터베이스에 저장된 상기 위 내시경에 대한 분석 기능을 가지는 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여, 상기 프로세서가 상기 위 내시경 영상의 비디오 프레임을 분석하고, 상기 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하는 단계;
    상기 프로세서가 상기 비디오 프레임 내에 상기 병변으로 의심되는 부위가 존재하면, 상기 병변으로 의심되는 부위의 위치 좌표를 산출하는 단계;
    상기 프로세서가 상기 병변으로 의심되는 부위의 존재 여부 및 상기 병변으로 의심되는 부위의 상기 위치 좌표를 포함하는 디스플레이 정보를 생성하는 단계;
    상기 사용자 디스플레이가 상기 비디오 프레임 내에 상기 병변으로 의심되는 부위가 존재하면, 상기 비디오 프레임 상에 상기 디스플레이 정보에 기반하여 상기 병변으로 의심되는 부위가 시각적으로 구분되도록 표시하는 단계; 및
    상기 사용자 디스플레이가 상기 병변으로 의심되는 부위의 상기 위치 좌표를 상기 병변으로 의심되는 부위와 시각적으로 연동되도록 표시하는 단계;
    를 포함하고,
    상기 프로세서가 인공 지능에 기반한 상기 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여 상기 위 내시경 영상의 비디오 프레임을 분석하고, 분석 결과로서 상기 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출하는 단계;
    를 더 포함하고,
    상기 디스플레이 정보를 생성하는 단계는, 상기 프로세서에 의하여 상기 병변으로 의심되는 부위의 존재 여부, 상기 병변으로 의심되는 부위의 상기 위치 좌표, 및 상기 병변으로 의심되는 부위의 상기 위 내시경 경로 상의 위치를 포함하는 상기 디스플레이 정보를 생성하고,
    상기 사용자 디스플레이가 상기 병변으로 의심되는 부위의 상기 위치 좌표를 상기 병변으로 의심되는 부위와 시각적으로 연동되도록 표시하는 단계는, 상기 사용자 디스플레이에 의하여, 상기 디스플레이 정보에 기반하여 상기 병변으로 의심되는 부위의 상기 위 내시경 경로 상의 위치를 상기 병변으로 의심되는 부위와 시각적으로 연동되도록 표시하는 위 내시경 영상 진단 보조 방법.
  7. 삭제
  8. 제6항에 있어서,
    상기 위 내시경 영상을 수신하거나 입력받는 단계는, 적어도 하나 이상의 위 내시경 영상 획득 모듈로부터 적어도 하나 이상의 위 내시경 영상을 수신하거나 입력받고,
    상기 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하는 단계는, 상기 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여 상기 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 병변으로 의심되는 부위가 존재하는 지 여부를 검출하고,
    상기 디스플레이 정보를 생성하는 단계는, 상기 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 상기 병변으로 의심되는 부위의 존재 여부 및 상기 병변으로 의심되는 부위의 상기 위치 좌표를 포함하는 상기 디스플레이 정보를 생성하는
    위 내시경 영상 진단 보조 방법.
KR1020210026788A 2021-02-26 2021-02-26 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 KR102536369B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210026788A KR102536369B1 (ko) 2021-02-26 2021-02-26 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
US17/678,230 US12094113B2 (en) 2021-02-26 2022-02-23 Artificial intelligence-based gastroscopic image diagnosis assisting system and method
JP2022027895A JP2022132180A (ja) 2021-02-26 2022-02-25 人工知能基盤の胃内視鏡映像診断支援システム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210026788A KR102536369B1 (ko) 2021-02-26 2021-02-26 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220122312A KR20220122312A (ko) 2022-09-02
KR102536369B1 true KR102536369B1 (ko) 2023-05-26

Family

ID=83007201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210026788A KR102536369B1 (ko) 2021-02-26 2021-02-26 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법

Country Status (3)

Country Link
US (1) US12094113B2 (ko)
JP (1) JP2022132180A (ko)
KR (1) KR102536369B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12014220B2 (en) * 2022-09-12 2024-06-18 International Business Machines Corporation Learning-based automatic selection of AI applications
WO2024117838A1 (ko) * 2022-12-01 2024-06-06 프리베노틱스 주식회사 내시경 영상을 분석하여 복수의 병변들에 대한 정보를 제공하기 위한 전자 장치 및 그러한 전자 장치를 포함하는 내시경 검사 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015107268A (ja) * 2013-12-05 2015-06-11 国立大学法人名古屋大学 内視鏡観察支援装置
WO2020136858A1 (ja) * 2018-12-28 2020-07-02 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101230871B1 (ko) 2009-09-10 2013-02-07 주식회사 인피니트헬스케어 가상 내시경 장치, 그의 구동방법 및 검진 장치
JP6039903B2 (ja) * 2012-01-27 2016-12-07 キヤノン株式会社 画像処理装置、及びその作動方法
KR101993716B1 (ko) * 2012-09-28 2019-06-27 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
JP6112291B2 (ja) * 2012-12-11 2017-04-12 パナソニックＩｐマネジメント株式会社 診断支援装置および診断支援方法
JP6527086B2 (ja) * 2013-03-15 2019-06-05 シナプティヴ メディカル （バルバドス） インコーポレイテッドＳｙｎａｐｔｉｖｅ Ｍｅｄｉｃａｌ （Ｂａｒｂａｄｏｓ） Ｉｎｃ． ハイパースペクトル手術用撮像システム
WO2017042812A2 (en) 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2018015414A1 (en) 2016-07-21 2018-01-25 Siemens Healthcare Gmbh Method and system for artificial intelligence based medical image segmentation
KR101850385B1 (ko) 2016-09-30 2018-05-02 주식회사 인피니트헬스케어 관상 구조를 표현하는 의료 영상에서 진행 간격을 조정하는 사용자 인터페이스를 제공하는 의료 영상을 디스플레이하는 시스템 및 방법
AU2017349568B2 (en) * 2016-10-31 2023-06-15 Body Vision Medical Ltd. Jigs for use in medical imaging and methods for using thereof
KR101938992B1 (ko) 2017-06-19 2019-01-15 한국과학기술원 진단 이유 설명이 생성되는 cad 시스템 및 그 방법
CN112584746B (zh) * 2018-08-23 2024-08-30 富士胶片株式会社 医用图像处理装置和内窥镜系统
KR102210806B1 (ko) * 2018-10-02 2021-02-01 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
US20220254017A1 (en) * 2019-05-28 2022-08-11 Verily Life Sciences Llc Systems and methods for video-based positioning and navigation in gastroenterological procedures
CN110495847B (zh) * 2019-08-23 2021-10-08 重庆天如生物科技有限公司 基于深度学习的消化道早癌辅助诊断系统和检查装置
CN110504029B (zh) * 2019-08-29 2022-08-19 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置
KR102360615B1 (ko) 2019-11-05 2022-02-09 주식회사 인피니트헬스케어 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技（深圳）有限公司 一种目标定位方法、装置及系统
US20230230364A1 (en) * 2020-05-26 2023-07-20 Nec Corporation Image processing device, control method and storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015107268A (ja) * 2013-12-05 2015-06-11 国立大学法人名古屋大学 内視鏡観察支援装置
WO2020136858A1 (ja) * 2018-12-28 2020-07-02 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2022132180A (ja) 2022-09-07
US12094113B2 (en) 2024-09-17
US20220277445A1 (en) 2022-09-01
KR20220122312A (ko) 2022-09-02

Similar Documents

Publication Publication Date Title
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
JP6859445B2 (ja) 脳卒中の診断及び予後予測方法システム及びその作動方法
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
JP2020126598A (ja) 人工知能の検出出力から疾患の進行を決定するシステムおよび方法
US11915822B2 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
JP2008259622A (ja) レポート作成支援装置およびそのプログラム
JP2009095550A (ja) 診断支援装置、診断支援装置の制御方法、およびそのプログラム
US20210202072A1 (en) Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network
JP2007280229A (ja) 類似症例検索装置、類似症例検索方法およびそのプログラム
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
KR102245219B1 (ko) 의료 영상에서 악성의심 병변을 구별하는 방법, 이를 이용한 의료 영상 판독 방법 및 컴퓨팅 장치
KR102536369B1 (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
US11742072B2 (en) Medical image diagnosis assistance apparatus and method using plurality of medical image diagnosis algorithms for endoscopic images
US12046367B2 (en) Medical image reading assistant apparatus and method providing hanging protocols based on medical use artificial neural network
US11996182B2 (en) Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network
JP2013010009A (ja) 診断支援装置、診断支援装置の制御方法、およびそのプログラム
CN111226287B (zh) 用于分析医学成像数据集的方法、系统、程序产品和介质
KR102714219B1 (ko) 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
Keshavamurthy et al. Weakly supervised pneumonia localization in chest X‐rays using generative adversarial networks
JP5533198B2 (ja) 医用画像表示装置及びプログラム
GALAGAN et al. Automation of polycystic ovary syndrome diagnostics through machine learning algorithms in ultrasound imaging
US20230099284A1 (en) System and method for prognosis management based on medical information of patient
EP4356837A1 (en) Medical image diagnosis system, medical image diagnosis system evaluation method, and program
JP2009061176A (ja) 医用画像処理装置及びプログラム
Varthiny et al. Interoperative Biopsy Site Localization in Endoscope for Gastro Intestinal Tract using Deep Learning Technology

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right