KR20230097646A - 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 - Google Patents

위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 Download PDF

Info

Publication number
KR20230097646A
KR20230097646A KR1020210187355A KR20210187355A KR20230097646A KR 20230097646 A KR20230097646 A KR 20230097646A KR 1020210187355 A KR1020210187355 A KR 1020210187355A KR 20210187355 A KR20210187355 A KR 20210187355A KR 20230097646 A KR20230097646 A KR 20230097646A
Authority
KR
South Korea
Prior art keywords
video frame
processor
gastric
lesion
anatomical
Prior art date
Application number
KR1020210187355A
Other languages
English (en)
Inventor
변소현
최현지
안충일
Original Assignee
주식회사 인피니트헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인피니트헬스케어 filed Critical 주식회사 인피니트헬스케어
Priority to KR1020210187355A priority Critical patent/KR20230097646A/ko
Priority to US18/087,945 priority patent/US20230206435A1/en
Publication of KR20230097646A publication Critical patent/KR20230097646A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4238—Evaluating particular parts, e.g. particular organs stomach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Abstract

인공 지능에 기반하여 위 내시경 영상 진단을 보조하는 시스템 및 방법이 개시된다. 시스템 내의 프로세서는 제1 의료 영상 분석 모델을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에서 미리 설정된 위장 내 해부학적 위치 클래스에 대응하는 부분을 식별하여 비디오 프레임의 위장 내 해부학적 위치를 분류한다. 프로세서는 사용자가 비디오 프레임을 위장 내 병변에 대한 소견 정보로서 캡쳐하여 저장하는 경우, 비디오 프레임의 위장 내 해부학적 위치 정보를 소견 정보의 인덱스 정보로서 소견 정보와 함께 저장한다.

Description

위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 {ARTIFICIAL INTELLIGENCE-BASED GASTROSCOPY DIAGNOSIS SUPPORTING SYSTEM AND METHOD TO IMPROVE GASTRO POLYP AND CANCER DETECTION RATE}
본 발명은 자동화된 시스템에 의하여 의료 영상 판독을 지원하는 장치 및 방법에 관한 것이다. 구체적으로는 인공지능 기반의 의료 영상 분석 알고리즘에 의하여 위 내시경 검사 시 위 내시경 영상의 진단을 보조하고, 병변의 누락 위험을 줄일 수 있도록 보조하는 장치, 시스템 및 방법에 관한 것이다.
본 발명은 과학기술정보통신부 및 정보통신산업진흥원의 AI 정밀의료솔루션(닥터앤서2.0)개발(R&D)의 일환으로 수행한 연구로부터 도출된 것이다[과제고유번호: 0252211001, 과제번호:S0252-21-1001, 과제명: AI 정밀의료솔루션(닥터앤서2.0)개발사업].
정기적인 건강 진단의 목적으로 내시경 진단은 매우 빈번하게 발생하는 의료 행위이다. 이러한 내시경 진단 시 실시간 영상을 처리하여 의료 현장에서 전문가가 병변을 식별하기 용이하도록 전처리하는 기술에 대한 수요가 존재한다. 최근에는 미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure" 등에서 비디오 프레임에 대해서 노이즈를 제거하는 전처리 과정을 수행하고, 노이즈 제거 전처리 과정과 컴퓨터 보조 진단(CAD, Computer-Aided Diagnosis) 과정을 병렬적으로 진행하여 실시간 진단 보조 디스플레이 정보를 제공하는 기술이 소개된 바 있다.
이러한 기술에서는 CAD 모듈의 정확도와 신뢰도가 매우 중요한 요인으로 인식되고 있다.
영상 내 객체를 분할(segmentation) 또는 검출(detection)하고, 영상 내 객체를 분류(classify)하는 기술은 영상 처리에서 다양한 용도로 활용된다. 의료 영상에서는 영상의 밝기 값 또는 강도 값(intensity)에 기반하여 영상 내 객체를 분할, 검출, 분류하고 이때 객체는 인체의 장기(organ), 병변(lesion)일 수 있다.
영상 처리 과정을 자동화하는 데 있어서 최근 인공 신경망으로서 딥러닝, 컨볼루션 신경망(CNN, Convolutional Neural Network)의 도입은 영상 처리 자동화 프로세스의 성능을 비약적으로 향상시켰다.
그러나 한편으로 딥러닝, CNN 등의 최근의 인공 신경망은 내부가 블랙박스에 가까워, 도출되는 결과가 우수하더라도 사용자가 이를 전적으로 수용하고 채택하는 데에 거부감이 있다. 특히 인공 신경망에 대한 거부감은 인간의 생명을 다루는 분야인 의료 영상 분야에서는 더욱 중요하게 부각된다.
이러한 배경에서 설명 가능한 인공지능(explainable artificial intelligence, X-AI)에 대한 연구가 미국국방고등연구기획국(DARPA) 등에서 시도되고 있다 (https://www.darpa.mil/program/explainable-artificial-intelligence). 다만 아직까지 가시적인 성과는 드러나지 않고 있는 상황이다.
의료 영상에서 인공지능, 특히 인공 신경망을 이용하는 경우에 결과가 도출되는 과정에 대한 설명적 정보(descriptive information, explanation)를 도출할 수 없어 임상의(clinician)가 이러한 인공지능 기법이 임상적으로 어느 정도 유용한 지에 대한 신뢰를 높이기 어렵다는 문제가 있다.
이처럼 의료 영상의 판독 과정에서도 블랙박스처럼 실행되는 인공지능 판독 시스템이 결과를 도출하는 과정을 임상적으로 신뢰할 수 없다는 유사한 문제점이 여전히 존재한다.
알려진 선행 연구(S. Kumar et al., "Adenoma miss rates associated with a 3 minute versus 6 minute colonoscopy withdrawal time: a prospective, randomized trial,")에서는, 위 내시경 검사 과정에서 병변의 최대 25%가 누락될 수 있음이 알려져 있다. 이러한 현상은 이미지가 가지는 문제나, 사각지대, 사람의 실수로 인하여 나타나는 것으로 알려져 있다. 연속적이고 반복적인 시술로 인해 의사는 종종 피로 증상을 보여 병변이 덜 감지된다. 그리하여 사람의 실수가 병변 누락의 원인이 되어 검사의 의료 결과에 부정적인 영향을 미친다.
한국등록특허 KR 10-2255311 "인공지능 기반의 위내시경 영상 분석 방법"에서는 위 내시경 촬영 영상에 대한 인공지능 기반의 복수의 영상 분류 모델과, 그 영상 분류 모델을 훈련하기 위한 학습 데이터를 구현하는 과정이 개시된다. KR 10-2255311에 의하면 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하는 기술, 병변의 위치를 자동으로 저장하는 기술이 개시된다.
한국공개특허 KR 10-2020-0038120 "위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법"에서는 위 내시경에서 얻어지는 영상 내에서 병변을 검출하고, 해당 병변이 종양인지 비종양인지 카테고리를 분류하는 기술이 개시된다.
이 같은 선행기술들에 의하여 얻어지는 인공신경망의 판독 정보를 이용하여 의료 전문가인 사용자의 판독을 지원하는 보다 직관적이고 편리한 사용자 인터페이스에 대한 필요성이 대두된다.
미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure" (2018년 9월 6일) 한국등록특허 KR 10-2255311 "인공지능 기반의 위내시경 영상 분석 방법" (2021년 5월 17일) 한국공개특허 KR 10-2020-0038120 "위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법" (2020년 4월 10일)
S. Kumar et al., "Adenoma miss rates associated with a 3 minute versus 6 minute colonoscopy withdrawal time: a prospective, randomized trial," Gastrointest . Endosc ., vol. 85, no. 6, pp. 1273 1280, Jun. 2017, doi : 10.1016/j. gie.2016.11.030 (2017년 6월) D. A. Corley et al., "Adenoma Detection Rate and Risk of Colorectal Cancer and Death A BS TR AC T," n engl j med, vol. 14, no. 3, pp. 1298 306, 2014, doi : 10.1056/ NEJMoa1309086 (2014년 4월)
본 발명의 목적은 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 실시간 비디오 프레임 각각에 대한 디스플레이 정보로서 생성하고 제공하는 것이다.
본 발명의 목적은 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 효율적으로 표시할 수 있는 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 제공하는 것이다.
본 발명의 목적은 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 자동으로 검출하여 제시함으로써 내시경 검사 도중 의료진이 실시간으로 확인하고 검토할 수 있도록 하는 사용자 인터페이스 및 진단 컴퓨팅 시스템을 제공하는 것이다.
본 발명의 목적은 위 내시경 영상의 실시간 비디오 프레임 각각에 대하여 인공지능 의료 영상 판독/진단 결과들에 기반하여 사용자가 놓칠 수 있는 용종, 궤양, 다양한 위장 질환 등을 인공지능 알고리즘으로 훈련시키고 이를 인공지능 진단 보조 시스템에 적용함으로써 업무 효율성 및 진단 정확도를 높이는 것이다.
본 발명의 목적은 사용자가 위내시경 검사 중 놓치기 쉬운 질환을 자동으로 검출하고 위장 경로(위 내시경 경로) 상에서의 위치까지 제시함으로써 사용자가 위 내시경 검사 도중 실시간으로 용이하게 확인하고 추후 이를 다른 검사자가 확인할 수 있는 리포트까지 간단한 조작으로 생성하는 것이다.
본 발명의 적용 대상인 위 내시경 영상의 진단 보조 기술에서는, 위장 내 다양한 병변 등이 위장 벽이나 주름과 함께 자리잡고 있을 때 주변 조직과 색이 차이가 없으며 그 크기가 작으면 놓치기 쉽다는 어려움이 있다. 따라서 본 발명의 목적은 인공지능을 통해 다양한 병변 등을 실시간으로 탐지하여 위장 내 질환발견율을 더욱 향상시킬 수 있는 방법과 함께 위장 내시경 경로 상에서의 위치를 제공하여 추후 다른 검사자가 그 병변 등을 다시 확인할 수 있도록 도와주는 것이다.
본 발명의 목적은 위장 내시경 검사 시, 실시간으로 내시경에 의하여 검사된 부분들의 해부학적 위치를 누적하여 표시함으로써 검사에 의하여 확인되지 않고 누락된 부분인 Blind spot을 용이하게 파악할 수 있도록 표시함과 동시에 위장 내 다양한 병변들을 크기와 색에 상관 없이 탐지하여 선종 검출률을 올리고, 해당 병변의 해부학적 위치 또한 나타내어 해당 검사가 완료된 이후의 다음 검사 또는 검사 결과를 리뷰하는 과정에서 의료 전문가인 사용자가 병변의 위치를 용이하게 파악할 수 있도록 돕는 것이다.
또한 본 발명의 목적은 위장 내시경 검사 종료 후 내시경 당시 검사자가 소견 정보로서 캡쳐 및/또는 저장했던 사진들 또한 위장 내 해부학적 위치에 맞게 표시하는 사용자 인터페이스를 제공함으로써 사용자가 검사 결과를 활용한 후속 의사 결정 시 보다 신속하고 편리하게 소견 정보를 검색하거나 소견 정보에 접근할 수 있도록 돕는 것이다.
본 발명은 상기의 종래기술의 문제점을 해결하기 위한 수단으로 도출된 것으로서, 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템은 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 수신 모듈; 메모리 또는 데이터베이스; 및 프로세서를 포함한다. 수신 모듈은 의료 영상을 수신하거나 입력받고, 메모리 또는 데이터베이스는 의료 영상(위 내시경 영상)에 대한 분석 기능을 가지는 적어도 하나 이상의 의료 영상 분석 모델을 저장한다.
프로세서는 제1 의료 영상 분석 모델을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에서 미리 설정된 위장 내 해부학적 위치 클래스에 대응하는 부분을 식별하여 비디오 프레임의 위장 내 해부학적 위치를 분류한다.
프로세서는 사용자가 비디오 프레임을 위장 내 병변에 대한 소견 정보로서 캡쳐하여 저장하는 경우, 비디오 프레임의 위장 내 해부학적 위치 정보를 소견 정보의 인덱스 정보로서 소견 정보와 함께 저장한다.
프로세서는 위장 내 해부학적 위치 맵을 포함하는 디스플레이 정보를 제공할 수 있다.
프로세서는 비디오 프레임이 사용자 디스플레이를 통하여 사용자에게 디스플레이되는 동안 비디오 프레임의 위장 내 해부학적 위치를 위장 내 해부학적 위치 맵 상에 표시하여 비디오 프레임과 함께 사용자에게 제공할 수 있다.
프로세서는 사용자가 내시경 검사 후 소견 정보의 확인을 요청하는 경우 소견 정보의 위장 내 해부학적 위치를 위장 내 해부학적 위치 맵 상에 표시하여 사용자에게 제공할 수 있다.
프로세서는 제2 의료 영상 분석 모델을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출할 수 있다.
프로세서는 제3 의료 영상 분석 모델을 이용하여 병변으로 의심되는 부위를 병변 클래스와 비교하여 병변 종류를 분류할 수 있다.
프로세서는 비디오 프레임의 위장 내 해부학적 위치 정보 및 비디오 프레임의 획득 순서에 기반하여 위 내시경 검사의 진입 및 후퇴 경로 정보를 생성할 수 있다.
프로세서는 위장 내 해부학적 위치 맵 상에 위 내시경 검사의 진입 및 후퇴 경로 정보를 사용자 디스플레이를 통하여 표시함으로써 사용자에게 제공할 수 있다.
프로세서는 제1 위장 내 해부학적 위치 맵 상에 이전 내시경 검사의 소견 정보에 접근할 수 있는 사용자 인터페이스를 이전 내시경 검사의 소견 정보의 위장 내 해부학적 위치에 표시하여 사용자에게 제공할 수 있다.
프로세서는 제2 위장 내 해부학적 위치 맵 상에 현재 내시경 검사의 진행 경로 및 현재 비디오 프레임의 위장 내 해부학적 위치를 표시하여 사용자에게 제공할 수 있다.
본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템은 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 수신 모듈; 메모리 또는 데이터베이스; 및 프로세서를 포함한다.
프로세서는 제1 의료 영상 분석 모델을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에서 미리 설정된 위장 내 해부학적 위치 클래스에 대응하는 부분을 식별하여 비디오 프레임의 위장 내 해부학적 위치를 분류한다.
프로세서는 해부학적 위치 클래스에 대응하는 위치에서 병변이 발견되었는지 여부, 해부학적 위치 클래스에 대응하는 위치에서 발견된 병변의 통계 정보를 위장 내 해부학적 위치 맵 상에 표시하여 사용자 디스플레이를 통하여 사용자에게 제공한다.
프로세서는 이전 내시경 검사의 비디오 프레임에 대한 분석 결과를 이용하여 제1 위장 내 해부학적 위치 맵 상에 이전 내시경 검사의 비디오 프레임에서 해부학적 위치 클래스에 대응하는 위치에서 병변이 발견되었는지 여부, 해부학적 위치 클래스에 대응하는 위치에서 발견된 병변의 통계 정보를 표시할 수 있다.
프로세서는 현재 내시경 검사의 비디오 프레임에 대한 분석 결과를 이용하여 제2 위장 내 해부학적 위치 맵 상에 현재 내시경 검사의 진행 경로 및 현재 비디오 프레임의 위장 내 해부학적 위치를 표시할 수 있다.
프로세서는 이전 내시경 검사의 비디오 프레임에 대한 분석 결과를 이용하여 제1 위장 내 해부학적 위치 맵 상에 이전 내시경 검사의 비디오 프레임에서 누락된 해부학적 위치 클래스의 존재 여부 및 해부학적 위치를 표시할 수 있다.
본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템은 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 수신 모듈; 메모리 또는 데이터베이스; 및 프로세서를 포함한다.
프로세서는 제1 의료 영상 분석 모델을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에서 미리 설정된 위장 내 해부학적 위치 클래스에 대응하는 부분을 식별하여 비디오 프레임의 위장 내 해부학적 위치를 분류한다.
프로세서는 비디오 프레임의 위장 내 해부학적 위치 정보 및 비디오 프레임의 획득 순서에 기반하여 위 내시경 검사의 진입 및 후퇴 경로 정보를 생성한다.
프로세서는 비디오 프레임의 위장 내 해부학적 위치 정보 및 위 내시경 검사의 진입 및 후퇴 경로 정보를 비디오 프레임의 인덱스 정보로서 비디오 프레임과 함께 저장한다.
프로세서는 위장 내 해부학적 위치 맵을 제공할 수 있다.
프로세서는 위장 내 해부학적 위치 맵 상에 비디오 프레임에 접근할 수 있는 사용자 인터페이스를 비디오 프레임의 위장 내 해부학적 위치에 표시하여 사용자에게 제공할 수 있다.
프로세서는 해부학적 위치 클래스에 대응하는 위치에 비디오 프레임이 존재하는 지 여부, 및 위 내시경 검사의 비디오 프레임에서 누락된 해부학적 위치 클래스의 존재 여부와 해부학적 위치를 위장 내 해부학적 위치 맵 상에 표시하여 사용자에게 제공할 수 있다.
본 발명에 따르면 위 내시경 영상의 실시간 비디오 프레임 각각에 대하여 인공지능 의료 영상 판독/진단 결과들에 기반하여 사용자가 놓칠 수 있는 용종, 궤양, 다양한 위장 질환 등을 인공지능 알고리즘으로 훈련시키고 이를 인공지능 진단 보조 시스템에 적용함으로써 업무 효율성 및 진단 정확도를 높일 수 있다.
본 발명에 따르면 병변 등을 조기에 탐지하여 암 등으로 번질 수 있는 상황을 사전에 예방할 수 있는 효과가 있다 . 다양한 사이즈의 병변 등과 함께 위장 내시경 상의 위치까지도 레이블(label)에 포함되어 학습 데이터로 이용되었기 때문에 본 발명에 따르면 놓치기 쉬운 매우 작은 크기의 병변까지도 자동으로 탐지하여 병변 발견율을 높일 수 있음은 물론, 위장 내시경 영상 경로 상의 위치까지도 추출할 수 있다.
본 발명에 따르면 병변 검출률을 높이고 위암 위험 요인을 조기에 걸러내어 위암 발병률을 낮출 수 있다. 더불어 의사가 이전보다 더 많은 병변을 찾아 치료할 수 있도록 함으로써 위암의 원인을 줄이는 데에 기여할 수 있으며, 검사의 빈도를 줄이는 데에도 기여할 수 있다.
본 발명에 따르면 사용자가 위 내시경 검사 중 놓치기 쉬운 질환을 자동으로 검출하고 위장 경로(위 내시경 경로) 상에서의 위치까지 제시함으로써 사용자가 위 내시경 검사 도중 실시간으로 확인하고 추후 이를 다른 검사자가 확인할 수 있는 리포트까지 간단한 조작으로 생성할 수 있다.
본 발명에 따르면 내시경 영상의 실시간 비디오 프레임 각각에 대하여 인공지능 의료 영상 판독/진단 결과들 중 최적화된 내용을 제공할 수 있다.
본 발명에 따르면 복수의 인공지능 의료 영상 판독/진단 결과들 중 실시간 비디오 프레임 각각에 대하여 최적화된 내용을 제공할 수 있다.
본 발명에 따르면 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 실시간 비디오 프레임 각각에 대한 디스플레이 정보로서 생성하고 제공할 수 있다.
본 발명에 따르면 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 효율적으로 표시할 수 있는 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 제공할 수 있다.
본 발명에 따르면 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 자동으로 검출하여 제시함으로써 내시경 검사 도중 의료진이 실시간으로 확인하고 검토할 수 있도록 하는 사용자 인터페이스 및 진단 컴퓨팅 시스템을 구현할 수 있다.
본 발명에 따르면 위장 내시경 검사 시, 실시간으로 내시경에 의하여 검사된 부분들의 해부학적 위치를 누적하여 표시함으로써 검사에 의하여 확인되지 않고 누락된 부분인 Blind spot을 용이하게 파악할 수 있도록 표시할 수 있다.
본 발명에 따르면 위장 내 다양한 병변들을 크기와 색에 상관 없이 탐지하여 선종 검출률을 올리고, 해당 병변의 해부학적 위치 또한 나타내어 해당 검사가 완료된 이후의 다음 검사 또는 검사 결과를 리뷰하는 과정에서 의료 전문가인 사용자가 병변의 위치를 용이하게 파악할 수 있도록 도울 수 있다.
본 발명에 따르면 위장 내시경 검사 종료 후 내시경 당시 검사자가 소견 정보로서 캡쳐 및/또는 저장했던 사진들 또한 위장 내 해부학적 위치에 맞게 표시하는 사용자 인터페이스를 제공함으로써 사용자가 검사 결과를 활용한 후속 의사 결정 시 보다 신속하고 편리하게 소견 정보를 검색하거나 소견 정보에 접근할 수 있도록 도울 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티 클라이언트 구조의 위 내시경 영상 진단 보조 시스템과 주변 기기를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 싱글 클라이언트 구조의 위 내시경 영상 진단 보조 시스템과 주변 기기를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템의 워크플로우를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 위 내시경 영상과 디스플레이 정보가 함께 표시되는 영상의 실시예를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 실행되는 위 내시경 검사 시 위장 내 해부학적 위치를 분류하는 과정의 예시이다.
도 6은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 제공되는 위 내시경 영상과 함께 제공되는 디스플레이 정보 및/또는 사용자 인터페이스의 일 예시이다.
도 7은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 실행되는 내시경 영상 내의 병변 검출, 및 해부학적 위치 분류 과정의 일 예시이다.
도 8은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 제공되는 사용자 인터페이스의 일 예시로서, 검사 도중 또는 종료 후 위장 내 해부학적 위치 맵과 함께 표시되는 병변 소견들의 사용자 인터페이스 및 소견들의 호출 프로세스를 도시하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 실행되는 방법의 워크플로우를 도시하는 동작 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 제공되는 위 내시경 영상과 함께 제공되는 디스플레이 정보 및/또는 사용자 인터페이스의 일 예시이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
최근 급속히 발전한 딥러닝/CNN 기반 인공 신경망 기술은 영상 분야에 적용할 경우, 인간의 육안으로 구분하기 어려운 시각적 요소를 구분하는 용도로 고려되고 있다. 이러한 기술의 적용 분야는 보안, 의료 영상, 비파괴 검사 등 다양한 분야로 확대될 가능성이 기대되고 있다.
예를 들어 의료 영상 분야에서, 암 조직 중 생검(biopsy) 상태에서 즉시 암으로 판정되지 않고, 병리학적(pathology) 관점에서 추적 모니터링된 이후에 비로소 암인지 여부가 판정되는 경우가 있다. 인간의 육안으로는 의료 영상에서 해당 세포가 암인지 여부를 확진하기 어려우나, 인공 신경망 기술을 적용할 경우 인간의 육안으로 관찰하는 것보다 더 정확한 예측 결과를 얻을 수 있을 것이라는 기대가 있다.
그러나 인공 신경망 기술이 일부 연구에서 인간의 육안보다 우수한 예측/분류/판독(진단) 결과를 얻을 수 있다 해도, 인공 신경망 기술의 적용으로 인하여 얻어진 예측/분류/판독(진단) 결과물이 우연히 높은 성능을 보이는 것인지, 그 임무(task)에 적절한 판단 과정을 거친 것인 지를 사용자가 알 수 없는 블랙박스(black-box)라는 점이 활용 가능성을 제한하고 있다. 즉, 인공 신경망의 분석 결과물이 도출되는 과정에 대한 설명적 정보가 부족하여 의료 현장에서 이를 수용하고 채택하기는 어려운 점이 문제로 대두된다.
반면 설명이 용이한 룰-베이스드(rule-based) 방식의 훈련 또는 학습으로는 딥러닝 만큼의 성과가 얻어지지 못하는 점에서 사용이 제한되고 있다. 따라서 향상된 성능을 가지면서도 설명적 정보(descriptive information, explanation)를 제공할 수 있는 딥러닝 기반 인공지능에 대한 연구가 활발하다. 인공 신경망을 이용한 영상 처리를 실제로 응용하는 데 있어서, 특히 의료 영상 분야에서는 진단 및 분류의 근거에 대한 설명적 정보가 필요한데 종래 기술로는 아직까지 설명적 정보를 도출하지 못하는 상황이다.
본 발명은 인공 신경망 기술을 적용하여 인간의 육안으로 분류하기 어려운 영상 내 객체를 분류/예측하는 성능을 향상시키고자 하는 의도에서 도출되었다. 또한 인공 신경망 기술의 분류/예측 성능을 향상시키기 위해서라도 인공 신경망 기술의 분류/예측 과정에 기반한 최종 판독 결과의 생성까지 도달하는 내부 동작에 대한 설명적 정보를 얻는 것은 대단히 중요하다. 또한 이러한 추세에 따라 의료 전문가인 사용자의 입장에서는 인공 신경망에 의하여 도출된 분석 결과물을 보다 편리하게 이용하고, 오류 여부를 확인하고, 필요한 정보를 추가로 검색하거나 활용할 수 있는 직관적이고 편리한 사용자 인터페이스를 필요로 한다.
본 발명은 인공 신경망에 기반한 복수의 의료 영상 분석 알고리즘들의 각각의 성능 지표 및 임상적 유용성을 정량화된 지표로서 제시할 수 있다. 이로 인하여 인공 신경망의 분류/예측 과정에 기반한 최종 판독 결과가 도출되는 과정에 대한 설명적 정보를 제공할 수 있으며, 인공 신경망의 분류/예측/판독(지원) 결과를 인간 사용자가 채택할 것인지에 대한 레퍼런스를 제공할 수 있다.
종래 기술의 인공 신경망을 의료 영상의 판독/진단에 적용하였을 때, 주어진 임무(task)에만 과적합(overfit)되어 통계적 정확도는 높으나, 몇몇 임상적으로 중요한 진단 포인트에서는 정확도가 낮은 경우가 있다. 적지 않은 종래 기술의 인공 신경망이 이러한 상황에 놓여 있으며, 이로 인하여 임상의들이 인공 신경망이 적용된 의료 영상의 판독/진단 결과에 대하여 신뢰하기 어려운 상황이 빈번하게 발생한다. 이러한 위험성은 널리 알려진 인공 신경망인 IBM의 Watson 솔루션이, 학습된 데이터에 포함된 환자의 인종 정보 등에 과적합되어 새로운 인종의 환자들의 데이터셋에서는 정확도가 현저하게 저하되는 등의 문제점을 노출하고 있다는 데에서 더욱 명백하다.
따라서 인공 신경망의 우수한 판독/진단 잠재능력을 최대한 활용하되, 임상의들이 이러한 판독/진단 결과를 수용할 지 여부에 대한 정량화된 지표를 제공하고, 임상의들이 이러한 정량화된 지표를 생성하는 데에 직접적인 피드백을 제공할 수 있는 경로를 확보하는 것은 대단히 중요하다.
전술한 미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure" 등에서는 내시경 영상의 인공지능 기반 진단을 위한 기본적인 구성들, 즉, 내시경 영상 획득 모듈, 영상 캡쳐 및 영상 처리 모듈, 획득/캡쳐된 내시경 영상을 분석 엔진이 탑재된 컴퓨팅 시스템에 전달하는 송신/수신 인터페이스(모듈), 인공지능/인공 신경망 기반 영상 분석 알고리즘/엔진이 저장된 메모리 또는 데이터베이스 등에 대하여 개시되었다.
한국등록특허 KR 10-2255311 "인공지능 기반의 위내시경 영상 분석 방법"에서는 위 내시경 촬영 영상에 대한 인공지능 기반의 복수의 영상 분류 모델과, 그 영상 분류 모델을 훈련하기 위한 학습 데이터를 구현하는 과정이 개시된다. KR 10-2255311에 의하면 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하는 기술, 병변의 위치를 자동으로 저장하는 기술이 개시된다.
한국공개특허 KR 10-2020-0038120 "위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법"에서는 위 내시경에서 얻어지는 영상 내에서 병변을 검출하고, 해당 병변이 종양인지 비종양인지 카테고리를 분류하는 기술이 개시된다.
본 발명에서는 이들 선행문헌들 및 해당 분야의 종래 기술에서 자명하게 파악할 수 있는 데이터 저장 수단, 연산 수단, 인공 신경망의 기본 개념 및 구조, 입력 데이터(영상)를 전달하기 위한 송/수신 인터페이스 등에 대한 사항을 발명을 구현하기 위하여 필요로 하지만, 이들 기본적인 사항에 대한 설명을 상세히 기술하는 것은 본 발명의 요지를 흐릴 수 있으므로, 본 발명의 구성 중 본 발명의 출원 전에 당업자에게 공지된 내용은 필요에 따라서 본 명세서에서 본 발명의 구성 중 일부로서 설명하되, 당업자에게 자명한 사실은 발명의 취지를 흐릴 수 있다고 생각되면 설명을 생략할 수 있다.
또한 본 명세서에서 생략된 사항은 본 출원명세서에서 인용하고 있는 선행문헌들, 예를 들어, 미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure", 한국등록특허 KR 10-2255311 "인공지능 기반의 위내시경 영상 분석 방법", 및 한국공개특허 KR 10-2020-0038120 "위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법" 등을 통하여 당업자에게 공지되었음을 알림으로써 설명에 갈음할 수 있다.
또한 상기 선행문헌들에 기재된 내용은 본 발명의 목적에 부합하는 범위 내에서 본 발명의 구성의 적어도 일부에 포함될 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 의료 영상 진단 보조 장치, 시스템 및 방법을 도 1 내지 도 10을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 멀티 클라이언트 구조의 위 내시경 영상 진단 보조 시스템과 주변 기기를 도시하는 도면이다.
제1 위 내시경 영상 획득 모듈(132)은 실시간으로 획득되는 위 내시경 영상을 실시간으로 인공지능 워크스테이션(120)에 전달하거나, 위 내시경 영상의 캡쳐된 영상을 인공지능 워크스테이션(120)에 전달할 수 있다.
제2 위 내시경 영상 획득 모듈(134)은 실시간으로 획득되는 위 내시경 영상을 실시간으로 인공지능 워크스테이션(120)에 전달하거나, 위 내시경 영상의 캡쳐된 영상을 인공지능 워크스테이션(120)에 전달할 수 있다.
이때 인공지능 워크스테이션(120)은 제1 위 내시경 영상 획득 모듈(132) 및 제2 위 내시경 영상 획득 모듈(134)로부터 수신되는 위 내시경 영상(또는 캡쳐 영상)을 수신하는 입력/수신 인터페이스 모듈(도시되지는 않음)을 포함할 수 있다.
인공지능 워크스테이션(120)은 수신된/획득된 위 내시경 영상의 비디오 프레임을 인공지능 서버(110)로 전달할 수 있다. 이때 인공지능 서버(110)로 전달되는 영상은 표준화된 JPEG 포맷 또는 MPEG 포맷 등으로 전달될 수 있다. 인공지능 서버(110) 역시 표준화된 포맷의 비디오 프레임 영상을 수신하는 입력/수신 인터페이스 모듈(도시되지는 않음)을 포함할 수 있다.
인공지능 서버(110)는 인공지능 알고리즘(의료 영상 분석 알고리즘)(112)을 이용하여 비디오 프레임/영상 내 병변을 검출 및 판단할 수 있다.
인공지능 서버(110) 내의 프로세서(도시되지는 않음)는 주어진 영상 데이터를 인공지능 알고리즘(112)에 입력하고, 인공지능 알고리즘(112)의 분석 결과를 수신하며, 이 과정에서 인공지능 알고리즘(112)이 저장된 메모리 또는 스토리지(도시되지는 않음)와 프로세서 사이의 데이터 전달 과정을 제어할 수 있다.
인공지능 서버(110)의 출력 인터페이스 모듈(도시되지는 않음)은 인공지능 알고리즘(112)의 분석 결과를 인공지능 워크스테이션(120)에 전달할 수 있다. 이때 전달되는 정보는 비디오 프레임 내에서 병변으로 의심되는 부위가 검출되었는지 여부, 병변으로 의심되는 부위가 검출된 좌표, 병변으로 의심되는 부위가 병변일 확률, 병변으로 의심되는 부위의 위장 또는 위 내시경 경로 상에서의 위치를 포함할 수 있다.
인공지능 워크스테이션(120)은 사용자 디스플레이(122)에 인공지능 알고리즘(112)의 분석 결과를 표시할 수 있다. 이때 사용자 디스플레이(122)에 표시되는 정보는 현재 표시되는 위 내시경 영상의 비디오 프레임 내에서 병변으로 의심되는 부위가 검출되었는지 여부, 및 비디오 프레임 내에서 병변으로 의심되는 부위가 시각적으로 구분되도록 시각화(예를 들어, 하이라이트, 박스 형태로 병변 의심 부위를 표시), 병변 의심 부위의 비디오 프레임 내에서의 위치 좌표, 병변 의심 부위의 위장 또는 위 내시경 경로 상에서의 위치를 포함할 수 있다.
이때 사용자 디스플레이(122)에는 복수의 위 내시경 영상이 실시간으로 동시에 디스플레이될 수 있다. 화면 상의 윈도우마다 개별적으로 위 내시경 영상 비디오 프레임 하나씩이 디스플레이될 수 있다.
실시간 검진에서 사용자가 위 내시경 영상에서 즉시 병변 위험 부위를 발견하고 조치를 취하면 큰 문제가 없으나, 사용자가 실시간 검진에서 병변 위험 부위를 놓친 경우 종래 기술에서는 누락된 병변 위험 부위를 재진단하는 것은 사실상 불가능하였다.
본 발명에서는, 캡쳐된 비디오 프레임을 다른 사용자가 후에 재확인할 수도 있고, 이미 내시경이 전진한 상태에서도 이전의 비디오 프레임을 다시 호출하여 누락된 병변 위험 부위를 재진단할 수 있으며, 내시경 검사가 종료된 후에도 비디오 프레임 내에서의 위험 부위의 위치 좌표 및 위 내시경 경로 상에서의 위치를 함께 제공함으로써 위험 부위의 위치 식별이 가능하여 후속 조치를 취할 수 있도록 하는 효과가 있다.
도 1에서는 설명의 편의상 인공지능 워크스테이션(120)과 인공지능 서버(110)가 분리된 실시예가 도시되었으나, 이는 본 발명의 일 실시예에 불과할 뿐, 본 발명의 다른 실시예에 따르면 인공지능 워크스테이션(120)과 인공지능 서버(110)가 하나의 컴퓨팅 시스템 내에서 결합된 채로 구현될 수도 있음은 당업자에게 자명하다.
도 2는 본 발명의 일 실시예에 따른 싱글 클라이언트 구조의 위 내시경 영상 진단 보조 시스템과 주변 기기를 도시하는 도면이다.
위 내시경 영상 획득 모듈(232)은 실시간으로 획득되는 위 내시경 영상을 실시간으로 인공지능 워크스테이션(220)에 전달하거나, 위 내시경 영상의 캡쳐된 영상을 인공지능 워크스테이션(220)에 전달할 수 있다.
이때 인공지능 워크스테이션(220)은 위 내시경 영상 획득 모듈(232)로부터 수신되는 위 내시경 영상(또는 캡쳐 영상)을 수신하는 입력/수신 인터페이스 모듈(도시되지는 않음)을 포함할 수 있다.
인공지능 워크스테이션(220)는 인공지능 알고리즘(의료 영상 분석 알고리즘)(212)을 이용하여 비디오 프레임/영상 내 병변을 검출 및 판단할 수 있다.
인공지능 워크스테이션(220) 내의 프로세서(도시되지는 않음)는 주어진 영상 데이터를 인공지능 알고리즘(212)에 입력하고, 인공지능 알고리즘(212)의 분석 결과를 수신하며, 이 과정에서 인공지능 알고리즘(212)이 저장된 메모리 또는 스토리지(도시되지는 않음)와 프로세서 사이의 데이터 전달 과정을 제어할 수 있다.
인공지능 워크스테이션(220)의 출력 인터페이스 모듈(도시되지는 않음)은 인공지능 알고리즘(212)의 분석 결과를 디스플레이 정보로서 생성하고, 디스플레이 정보를 사용자 디스플레이(222)에 전달할 수 있다. 이때 전달되는 정보는 비디오 프레임 내에서 병변으로 의심되는 부위가 검출되었는지 여부, 병변으로 의심되는 부위가 검출된 좌표, 병변으로 의심되는 부위가 병변일 확률, 병변으로 의심되는 부위의 위장 또는 위 내시경 경로 상에서의 위치를 포함할 수 있다.
인공지능 워크스테이션(220)은 사용자 디스플레이(222)에 인공지능 알고리즘(212)의 분석 결과를 표시할 수 있다. 이때 사용자 디스플레이(222)에 표시되는 정보는 현재 표시되는 위 내시경 영상의 비디오 프레임 내에서 병변으로 의심되는 부위가 검출되었는지 여부, 및 비디오 프레임 내에서 병변으로 의심되는 부위가 시각적으로 구분되도록 시각화(예를 들어, 하이라이트, 박스 형태로 병변 의심 부위를 표시), 병변 의심 부위의 비디오 프레임 내에서의 위치 좌표, 병변 의심 부위의 위장 또는 위 내시경 경로 상에서의 위치를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템의 워크플로우를 도시하는 도면이다.
본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템은 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 수신 모듈; 메모리 또는 데이터베이스; 프로세서; 및 사용자 디스플레이를 포함한다. 수신 모듈은 의료 영상을 수신하거나 입력받고, 메모리 또는 데이터베이스는 의료 영상(위 내시경 영상)에 대한 판독 기능을 가지는 적어도 하나 이상의 의료 영상 분석 알고리즘(312)을 저장한다.
위 내시경 검사 영상 획득 모듈(332)은 실시간으로 획득되는 위 내시경 영상을 위 내시경 영상 진단 보조 시스템에 전달하거나, 위 내시경 검사 영상 캡쳐 모듈(334)이 위 내시경 영상을 캡쳐하여 위 내시경 영상 진단 보조 시스템에 전달할 수 있다.
프로세서는 위 내시경 영상 및/또는 캡쳐 영상의 검은 테두리 부분을 제거하는 크롭핑(cropping), 회전/틸팅, 영상 밝기값의 보정 등을 포함하는 영상 처리(320)를 수행할 수 있다.
프로세서는 적어도 하나 이상의 의료 영상 분석 알고리즘(312)을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하고, 프로세서는 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 병변으로 의심되는 부위의 위치 좌표를 산출하고, 프로세서는 병변으로 의심되는 부위의 존재 여부 및 병변으로 의심되는 부위의 위치 좌표를 포함하는 분석 결과(314)를 생성한다. 프로세서는 분석 결과(314)에 기반하여 위 내시경 영상과 함께 표시될 디스플레이 정보를 생성한다.
사용자 디스플레이는 위 내시경 영상과 함께 분석 결과(314)를 표시한다(322). 즉, 사용자 디스플레이는 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 비디오 프레임 상에 디스플레이 정보에 기반하여 병변으로 의심되는 부위가 시각적으로 구분되도록 표시하고(322), 병변으로 의심되는 부위의 위치 좌표를 병변으로 의심되는 부위와 시각적으로 연동되도록 표시한다(322).
프로세서는 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있고, 병변으로 의심되는 부위의 존재 여부, 병변으로 의심되는 부위의 위치 좌표, 및 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 포함하는 디스플레이 정보를 생성할 수 있다. 이때 프로세서는 위 내시경 기기 상의 센서의 정보 및/또는 인공지능 알고리즘(312)의 분석 결과(312)에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있다.
사용자 디스플레이는 디스플레이 정보에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 병변으로 의심되는 부위와 시각적으로 연동되도록 표시할 수 있다(322).
프로세서는 현재 검사 부위를 표시하는 비디오 프레임의 위 내시경 경로 상의 위치를 추적할 수 있고, 프로세서는 비디오 프레임의 위 내시경 경로 상의 위치 및 병변으로 의심되는 부위의 위치 좌표에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있다.
프로세서는 검사 대상 환자의 3차원 해부학적 구조를 포함하는 검사 전 획득 의료 영상에 기반하여 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출할 수 있다.
내시경 영상과 함께 표시된 디스플레이 정보를 사용자가 최종 확인(324)하고, 해당 디스플레이 정보의 병변 위험 부위를 병변으로 승인하거나, 병변이 아닌 것으로 부정하거나, 병변으로 승인된 경우에 병변에 대한 이후의 조치를 실행하거나, 이후의 조치를 실행하기 위하여 리포트를 작성함으로써 내시경 검사 과정은 종료될 수 있다.
인공 지능에 기반한 의료 영상(위 내시경 영상) 분석 알고리즘(312)은, 비디오 프레임 각각에 대하여 검출된 병변의 표시, 병변의 비디오 프레임 내에서의 위치 좌표, 병변의 위 내시경 경로 상의 위치를 포함하는 레이블(label)을 비디오 프레임 각각과 함께 훈련용 데이터로 이용하여 훈련될 수 있다. 따라서 프로세서는 의료 영상 분석 알고리즘(312)을 이용하여 비디오 프레임 내의 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출하여 분석 결과(314)로서 제공할 수 있다.
본 발명의 실시예에서, 내시경 영상이 나타내는 경로 상의 현재 위치를 식별하는 주된 수단은 내시경 영상에 대한 학습과 추론에 주로 의존할 수 있다.
이때 내시경 영상에 대한 학습과 추론에 의존하여 (위 내시경 또는 대장 내시경) 경로 상의 현재 위치를 식별한다면, 학습에 이용되는 내시경 영상의 레이블(label)은 프레임마다 별도로 내시경의 (위 내시경 또는 대장 내시경) 경로 상의 위치와 검출/확인(생검을 통하여 실제로 확인된 영상)된 병변 정보를 포함할 수 있다.
본 발명의 다른 실시예에서, 내시경 영상에 대한 학습과 추론이 대장 내 경로 상의 현재 위치를 식별하기 위한 주된 수단이지만, 영상 분석을 통하여 내시경 영상의 프레임의 진행 속도 등을 추정하여 현재 위치를 식별하는 수단을 부가적으로 결합하여 현재 위치를 좀 더 정확하게 식별할 수 있다.
또한 일반적으로는 내시경 시술 전 CT 영상의 촬영이 어려워서 내시경 영상에만 의존하여 대장 내 경로 상의 현재 위치를 식별해야 하겠지만, 만일 내시경 시술 전 CT 영상의 촬영이 가능하다면, 본 발명의 다른 실시예에서는, 시술 전 촬영된 CT 영상 등에 기반하여 재구성되는 내시경 검사 대상(위 또는 대장 등)의 3D 모델과 관련시켜 현재 위치를 식별할 수도 있다.
이때 CT 영상 기반 대장의 3D 모델은 본 출원인의 기존 특허인 가상 내시경 영상 기술 등과 결합하여 구현될 수 있다. (한국등록특허 KR 10-1850385, 또는 한국등록특허 KR 10-1230871)
또한 본 발명의 다른 실시예에 따라서는, 내시경 검사 대상(위 또는 대장 등) 내 내시경 경로 상의 현재 위치를 식별할 때, 전적으로 영상 분석에만 의존하지 않고 내시경 또는 내시경 장치에 설치된 센서(내시경이 인체에 투입된 길이를 검출할 수 있는 센서)와 관련시켜 보정(보상)될 수도 있다.
본 발명의 실시예에 따라서는, 수신 모듈은 적어도 하나 이상의 위 내시경 영상 획득 모듈로부터 적어도 하나 이상의 위 내시경 영상을 수신하거나 입력받을 수 있다. 이때 프로세서는 적어도 하나 이상의 의료 영상 분석 알고리즘(312)을 이용하여 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 병변으로 의심되는 부위가 존재하는 지 여부를 검출할 수 있다. 프로세서는 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 병변으로 의심되는 부위의 존재 여부 및 병변으로 의심되는 부위의 위치 좌표를 포함하는 디스플레이 정보를 생성할 수 있다.
본 발명의 다른 일 실시예에 의한 의료 영상 진단 보조 방법은, 의료 영상에 대한 판독을 지원하는 진단 보조 시스템(컴퓨팅 시스템) 내의 프로세서에 의하여 실행되며, 프로세서에 로드되는 프로그램 인스트럭션에 기반하여 실행된다.
본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 방법은, 프로세서, 및 사용자 디스플레이를 포함하는 위 내시경 영상 진단 보조 시스템에 의하여 실행되고, 위 내시경 영상 진단 보조 시스템 내의 메모리 또는 데이터베이스에 저장된 위 내시경에 대한 분석 기능을 가지는 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용할 수 있다.
본 발명의 방법은, 위 내시경 영상을 수신하거나 입력받는 단계; 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여, 프로세서가 위 내시경 영상의 비디오 프레임을 분석하고, 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하는 단계; 프로세서가 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 병변으로 의심되는 부위의 위치 좌표를 산출하는 단계; 프로세서가 병변으로 의심되는 부위의 존재 여부 및 병변으로 의심되는 부위의 위치 좌표를 포함하는 디스플레이 정보를 생성하는 단계; 사용자 디스플레이가 비디오 프레임 내에 병변으로 의심되는 부위가 존재하면, 비디오 프레임 상에 디스플레이 정보에 기반하여 병변으로 의심되는 부위가 시각적으로 구분되도록 표시하는 단계; 및 사용자 디스플레이가 병변으로 의심되는 부위의 위치 좌표를 병변으로 의심되는 부위와 시각적으로 연동되도록 표시하는 단계를 포함한다.
이때 본 발명의 방법은 상기 프로세서가 상기 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 산출하는 단계를 더 포함할 수 있다.
본 발명의 방법의 상기 디스플레이 정보를 생성하는 단계는, 상기 프로세서에 의하여 상기 병변으로 의심되는 부위의 존재 여부, 상기 병변으로 의심되는 부위의 상기 위치 좌표, 및 상기 병변으로 의심되는 부위의 상기 위 내시경 경로 상의 위치를 포함하는 상기 디스플레이 정보를 생성할 수 있다.
본 발명의 방법의 상기 사용자 디스플레이가 상기 병변으로 의심되는 부위의 상기 위치 좌표를 상기 병변으로 의심되는 부위와 시각적으로 연동되도록 표시하는 단계는, 상기 사용자 디스플레이에 의하여, 상기 디스플레이 정보에 기반하여 상기 병변으로 의심되는 부위의 상기 위 내시경 경로 상의 위치를 상기 병변으로 의심되는 부위와 시각적으로 연동되도록 표시할 수 있다.
본 발명의 방법의 상기 위 내시경 영상을 수신하거나 입력받는 단계는, 적어도 하나 이상의 위 내시경 영상 획득 모듈로부터 적어도 하나 이상의 위 내시경 영상을 수신하거나 입력받을 수 있다.
본 발명의 방법의 상기 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하는 단계는, 상기 적어도 하나 이상의 의료 영상 분석 알고리즘을 이용하여 상기 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 병변으로 의심되는 부위가 존재하는 지 여부를 검출할 수 있다.
본 발명의 방법의 상기 디스플레이 정보를 생성하는 단계는, 상기 적어도 하나 이상의 위 내시경 영상의 비디오 프레임 각각에 대하여 상기 병변으로 의심되는 부위의 존재 여부 및 상기 병변으로 의심되는 부위의 상기 위치 좌표를 포함하는 상기 디스플레이 정보를 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 위 내시경 영상과 디스플레이 정보가 함께 표시되는 영상의 실시예를 도시하는 도면이다.
디스플레이 정보는 병변으로 의심되는 부위의 존재 여부, 병변으로 의심되는 부위의 위치 좌표(현재 비디오 프레임 내에서의 위치 좌표), 병변으로 의심되는 부위의 위 내시경 경로 상의 위치를 포함할 수 있다.
위 내시경 영상의 비디오 프레임 상에서, 병변으로 의심되는 부위는 도 4에서처럼 비디오 프레임 내의 다른 부분과 시각적으로 구별되도록 시각화된다. 이때 도 4에서처럼 마커/박스 등의 시각화 요소로 표현될 수도 있고, 해당 영역이 하이라이트될 수도 있다.
또한 위치 정보 및 병변이 실제로 병변일 확률(인공지능에 의하여 추론된 확률)이 디스플레이 정보에 포함되어 병변으로 의심되는 부위의 시각화 요소에 근접하거나 관련성을 사용자가 직관적으로 이해할 수 있도록 시각화될 수 있다.
본 발명의 일 실시예에 따른 위 내시경 영상의 인공지능 분석 알고리즘의 학습 과정에서 훈련용 입력 데이터는 다음을 포함한다. 훈련용 입력 데이터로 이용되는 위 내시경 영상은 영상 획득 기기(위 내시경 영상 획득 모듈)가 지원하는 해상도에 따라 각기 다른 사이즈의 검은 색 배경을 포함하는 영상으로 이루어져 있다. 위 내시경 영상 정보만을 사용하기 위해 학습을 진행하기에 앞서 내시경 부분 추출(cropping)이 실행된다. 학습 단계에서 병변 등의 검출을 위한 정보와 함께 위장 내시경 경로 상에서의 위치도 함께 (레이블 정보에 포함되어) 학습되고 최종적으로 병변 등이 위치한 좌표 값과 병변 확률, 경로 상에서의 위치 결과에 대한 학습을 수행할 수 있다.
학습 후 실시간 영상에 대한 추론(inference) 과정에서는, 사용자 화면에 분석된 결과 값이 시각적으로 구분될 수 있는 시각화 요소를 이용하여 표시된다. 사용자의 누락 위험을 더욱 줄이기 위하여, 위험 부위가 발견된 경우에는 경보음을 함께 이용함으로써 사용자의 주의를 환기시킬 수 있다. 위험 부위의 종류, 위험 부위가 병변일 확률, 위험 부위가 시야 상의 사각 지대에 위치하여 누락 위험이 높은 경우에는 경보음을 달리 하여 사용자의 주의를 더욱 집중시킬 수 있다.
훈련용 데이터의 생성 시, 데이터의 특정한 편향성(내시경 기기의 색상, 명도, 해상도, 또는 틸팅) 등에 의한 과적합(overfitting)을 해소하기 위하여, 데이터 증식(augmentation)이 실행될 수 있다. 데이터의 증식은 이미지 데이터의 회전/틸팅, 이동, 대칭, 색상/명도/해상도의 보정 등을 통하여 이루어질 수 있다.
또한, 과적합을 막기 위한 방법의 일 예로서, 가중치 규제, 드롭아웃 추가, 네트워크 용량 조절(감소) 등 다양한 방법이 이용될 수 있다.
도 1 내지 도 4의 실시예에서는, 내시경 영상 진단 획득 모듈/내시경 장비로부터 실시간 영상 획득 모듈이 실시간 내시경 영상을 획득한다. 실시간 영상 획득 모듈은 실시간 내시경 영상을 진단 보조 시스템으로 전송한다. 진단 보조 시스템은 적어도 둘 이상의 인공 지능 알고리즘들을 포함하며, 실시간 내시경 영상에 적어도 둘 이상의 인공 지능 알고리즘들을 적용하여 판독/진단 정보를 포함하는 디스플레이 정보를 생성한다. 진단 보조 시스템은 디스플레이 정보를 사용자 시스템에 전달하고, 사용자 시스템은 실시간 내시경 영상에 디스플레이 정보를 오버레이하거나, 실시간 내시경 영상과 디스플레이 정보를 함께 디스플레이할 수 있다.
실시간 내시경 영상은 개별적인 영상 프레임으로 구분될 수 있다. 이때 내시경 영상 프레임은 수신 모듈에 의하여 수신되거나 입력될 수 있다.
진단 보조 시스템(컴퓨팅 시스템)은 수신 인터페이스 모듈, 프로세서, 전송 인터페이스 모듈, 및 메모리/스토리지를 포함한다. 프로세서는 내부적으로 하드웨어 또는 소프트웨어에 의하여 기능이 구현되는 서브 모듈들을 포함한다. 프로세서는 문맥 기반 판독 요건을 추출하는 제1 서브 모듈, 인공지능 판독 알고리즘들이 내시경 영상 프레임에 적용되어 생성되는 판독/진단 결과들 중에서 표시될 인공지능 분석 결과들을 선정하는 제2 서브 모듈, 사용자 시스템의 화면에 표시될 디스플레이 정보를 생성하는 제3 서브 모듈을 포함할 수 있다.
복수 개의 인공지능 판독 알고리즘들은 진단 컴퓨팅 시스템 내부의 메모리 또는 데이터베이스(도시되지 않음)에 저장되어 프로세서의 제어에 의하여 내시경 영상 프레임에 적용되고, 내시경 영상 프레임에 대한 판독/진단 결과를 생성할 수 있다.
도 1 내지 도 4의 실시예에서는 복수 개의 인공지능 판독 알고리즘들이 진단 컴퓨팅 시스템 내부의 메모리 또는 데이터베이스(도시되지 않음)에 저장되어 프로세서의 제어에 의하여 구동되는 경우가 도시되었으나, 본 발명의 다른 실시예에 따라서는 복수 개의 인공지능 판독 알고리즘들이 진단 컴퓨팅 시스템 외부의 메모리 또는 데이터베이스(도시되지 않음)에 저장될 수도 있다. 복수 개의 인공지능 판독 알고리즘들이 진단 컴퓨팅 시스템 외부의 메모리 또는 데이터베이스(도시되지 않음)에 저장되는 경우에는, 복수 개의 인공지능 판독 알고리즘들이 내시경 영상 프레임에 적용되고, 내시경 영상 프레임에 대한 판독/진단 결과가 생성되도록 프로세서가 전송 모듈을 경유하여 진단 컴퓨팅 시스템 외부의 메모리 또는 데이터베이스(도시되지 않음)을 제어할 수 있다. 이때 생성된 판독/진단 결과는 수신 모듈을 통하여 진단 컴퓨팅 시스템으로 전달되고, 프로세서는 판독/진단 결과에 기반하여 디스플레이 정보를 생성할 수 있다.
프로세서는 의료 영상의 비디오 프레임인 내시경 영상 프레임을 분석하여 내시경 영상 프레임에 대한 판독 요건을 추출한다. 프로세서는 판독 요건에 기반하여 복수의 의료 영상 분석 알고리즘들 중 내시경 영상 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리즘들을 선택하고, 프로세서는 내시경 영상 프레임에 상기 복수의 판독 적용 알고리즘들을 적용하여 내시경 영상 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성한다. 이러한 과정은 내시경 영상 프레임 각각에 대하여 프로세서에 의하여 실행된다.
프로세서는 내시경 영상 프레임을 분석하여 내시경 영상 프레임의 특성에 대응하는 문맥 기반 판독 요건을 추출할 수 있다. 프로세서는 문맥 기반 판독 요건에 기반하여 내시경 영상 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리즘들을 선택할 수 있다.
프로세서는 문맥 기반 판독 요건에 기반하여 복수의 판독 적용 알고리즘들의 조합을 선택할 수 있다. 프로세서는 내시경 영상 프레임에 복수의 판독 적용 알고리즘들의 조합을 적용하여 내시경 영상 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성할 수 있다.
복수의 판독 적용 알고리즘들의 조합은, 문맥 기반 판독 요건에 기반하여 내시경 영상 프레임에 대하여 우선적으로 추천되는 제1 판독 적용 알고리즘, 및 제1 판독 적용 알고리즘의 특성에 기반하여 문맥 기판 판독 요건 중 도출되는 보완 판독 요건에 기반하여 추천되는 제2 판독 적용 알고리즘을 포함할 수 있다.
문맥 기반 판독 요건은 내시경 영상 프레임이 포함하는 인체의 바디 파트, 인체의 장기(organ), 내시경 영상 프레임이 상기 인체의 장기 내에서 나타내는 상대적인 위치, 내시경 영상 프레임과 관련되는 병변의 발생 확률, 내시경 영상 프레임과 관련되는 병변의 위험도, 내시경 영상 프레임과 관련되는 병변의 식별 난이도, 및 타겟 병변의 종류 중 적어도 하나 이상을 포함할 수 있다. 내시경 영상 프레임이 어떤 장기에 대한 것인지 특정되면, 예를 들어, 내시경 영상 프레임이 대장 내시경(colonoscopy) 영상에 관련되는 경우에는, 현재 영상 프레임에 표시되는 영상이 대장 내시경 영상의 시작 부분인지, 중간 부분인지, 끝 부분인지에 대한 정보가 대장 내에서의 상대적인 위치(장기의 입구, 중간, 끝 부분)와 함께 식별될 수 있다. 위 내시경(gastroscopy) 영상인 경우에는, 현재 영상 프레임에 표시되는 영상이 위 내시경 영상의 시작 부분(예를 들어, 식도), 중간 부분인지(위장의 입구), 끝 부분인지에 대한 정보가 위 내시경 경로 상에서의 상대적인 위치와 함께 식별될 수 있다.
이에 따라서 식별된 위치 및 부위에서 발생할 가능성이 높은 병변/질환의 종류, 육안으로 식별이 쉽지 않아 의료진이 간과할 가능성이 높은 병변/질환의 종류, 현재 영상 프레임 내에서 시각적으로 식별하기 쉽지 않은 병변/질환에 대한 판독/진단 정보, 현재 영상 프레임이 가리키는 인체 장기 내에서의 위치에서 발생할 가능성이 있는 병변/질환 중 위험도/치사율이 높아 주의가 필요한 병변/질환의 종류 등에 기반하여 문맥 기반 판독 요건을 추출할 수 있다. 이때 문맥 기반 판독 요건은 위에서 기술한 정보에 기반하여 현재 영상 프레임에 관련하여 우선적으로 고려해야 하는 타겟 병변/질환의 종류에 대한 정보도 포함할 수 있다.
디스플레이 정보는 내시경 영상 프레임, 내시경 영상 프레임 상에 선택적으로 오버레이되는 판독 결과, 판독 결과를 생성한 판독 적용 알고리즘의 정보, 및 판독 적용 알고리즘에 대한 평가 스코어를 포함할 수 있다. 판독 적용 알고리즘에 대한 평가 스코어를 산출하는 과정은 앞서 설명한 도 1 내지 도 2의 실시예에서 평가 스코어를 산출하는 과정을 이용할 수 있다.
인공지능 판독 알고리즘은 평가 스코어가 높은 순서대로 판독 적용 시 우선 순위가 적용될 수 있지만, 몇 가지 추가적으로 고려할 변수가 존재한다.
1순위의 AI 알고리즘이 해당 내시경 영상에서 발생 가능한 병변의 일부만을 검출하고, 후순위의 AI 알고리즘이 1순위 알고리즘이 검출하지 못한 내용을 검출하고 있는 경우, 1순위 AI 알고리즘 진단 결과와 후순위의 AI 알고리즘 진단 결과를 함께 표시할 수 있다. 또한 사용자가 이러한 기준에 의하여 최종적인 판독 적용 AI 알고리즘을 선택할 수 있는 메뉴를 제공하되, 사용자의 선택을 도울 수 있도록 복수의 AI 알고리즘의 진단 결과 및 그 진단 결과를 함께 표시하는 이유에 대한 설명을 함께 디스플레이할 수 있다.
예를 들어, 현재 영상 프레임 내에서 발생할 가능성이 가장 높은 병변의 종류로서 병변 A1, A2가 알려져 있고, 발생할 가능성이 A1, A2보다는 낮지만 시각적으로 식별하기 어려워 간과될 가능성이 있는 병변 B가 알려져 있다고 가정한다. 병변 A1, A2에 대해서 가장 높은 평가 스코어를 획득한 인공지능 판독 알고리즘 X가 전체적으로 가장 높은 평가 스코어를 획득하고, 우선적으로 추천되는 제1 판독 적용 알고리즘으로 선택될 수 있다. 이때 제1 판독 적용 알고리즘이 병변 A1, A2에 대해서는 가장 높은 평가 스코어를 획득했지만, 병변 B에 대해서는 기준치 미만의 평가 스코어를 획득하는 경우가 있을 수 있다. 이때, 제1 판독 적용 알고리즘이 기준치 미만의 성능을 보이는 병변 B는 보완 판독 요건으로 지정될 수 있다. 제2 판독 적용 알고리즘은 보완 판독 요건인 병변 B에 대해서 가장 높은 평가 스코어를 획득한 인공지능 판독 알고리즘 Y로 선택될 수 있다. 제1 판독 적용 알고리즘과 제2 판독 적용 알고리즘의 조합은 전체적인 판독/진단 정보에 대한 신뢰성, 정확성 등의 평가 스코어가 높은 조합이면서도 특정 병변/질환에 대한 판독/진단 정보가 간과되거나, 특정 병변/질환에 대한 판독/진단 성능이 취약하지 않도록 선택될 수 있다. 따라서 제2 판독 적용 알고리즘은 전체적인 평가 스코어가 두루 높은 인공지능 판독 알고리즘보다는 제1 판독 적용 알고리즘이 취약한 보완 판독 요건에서 가장 우수한 성능을 보이는 인공지능 판독 알고리즘이 선택되도록 판독 적용 알고리즘을 선택하는 논리 조건이 설계될 수 있다.
위의 실시예에서 2개의 판독 적용 알고리즘들이 선택되는 경우를 예로 들었으나, 평가 스코어에 의하여 3개 이상의 판독 적용 알고리즘들의 조합이 더욱 우수한 성능을 나타내는 경우 3개 이상의 판독 적용 알고리즘들을 선택하여 적용하는 실시예도 본 출원명세서에 기재된 사항에 의하여 구현될 수 있을 것이다.
도 1 내지 도 4의 실시예는 내부적인 평가 스코어가 높은 AI 판독 알고리즘들이 적용된 판독 결과를 제시하고, 사용자가 평가 스코어 상위의 AI 판독 알고리즘들이 적용된 판독 결과를 선택할 수 있는 실시예이다. 도 1 내지 도 4의 실시예에서는 실시간 내시경 영상에 대하여 빠르게 판독 결과를 표시하고자 하는 목적에서 도출된 구성이 개시된다. 따라서 도 1 내지 도 4의 실시예에서는 문맥 기반 판독 요건에 기반하여 현재 비디오 프레임에 대하여 표시될 AI 판독 알고리즘들의 조합을 우선적으로 선택한 후, 이들 조합에 의한 판독 결과들을 디스플레이 정보로 생성하여 사용자에게 비디오 프레임과 함께 제공한다.
이때 현재 비디오 프레임에서 발생할 가능성이 높은 병변/질환의 종류, 현재 비디오 프레임에서 발생할 가능성이 높으나 시각적으로 식별하기 어려워서 의료진이 간과할 가능성이 높은 병변/질환의 종류, 및 현재 비디오 프레임에서 발생할 수 있는 병변/진단 중 위험도/치사율이 높아서 주의가 필요한 병변/질환의 종류 등이 문맥 기반 판독 요건에 포함될 수 있다. 또한 병변/질환의 종류 및 특성에 기반하여 현재 비디오 프레임에서 간과해서는 안 될 타겟 병변/질환의 종류, 및 타겟 병변/질환의 종류의 우선 순위가 문맥 기반 판독 요건에 포함될 수 있다.
본 발명의 판독/진단 결과 도출 및 디스플레이 정보는 병원 내에서 사용될 경우 내시경 데이터를 전달받아 분석한 후, 인공지능 진단 보조 결과를 표시할 수 있는 사용자 인터페이스를 가지는 사용자 시스템에 의하여 디스플레이되고, 사용자 입력에 기반하여 판독/진단 결과를 확정하거나, 판독/진단 결과를 교체하거나, 판독/진단 결과에 대한 수용 또는 거부를 결정할 수 있다.
프로세서는 상기 디스플레이 정보를 내시경 영상 프레임에 연계하여 상기 데이터베이스에 저장할 수 있다. 이때 데이터베이스는 진단 컴퓨팅 시스템 내부의 데이터베이스일 수 있으며, 향후 환자에 대한 의무 기록으로서 저장될 수 있다.
프로세서는 상기 디스플레이 정보 및 내시경 영상 프레임이 연계된 외부 저장 데이터를 생성하고, 상기 외부 저장 데이터를 전송 모듈을 경유하여 외부의 데이터베이스에 저장되도록 상기 외부의 데이터베이스로 전송할 수 있다. 이때 외부의 데이터베이스는 PACS 데이터베이스, 또는 클라우드 기반으로 구현된 데이터베이스일 수 있다.
이 때 복수의 의료 영상 분석 알고리즘들은 인공 신경망을 이용하는 인공 지능 알고리즘들이고, 프로세서는 판독 요건/문맥 기반 판독 요건 각각에 따른 평가 스코어를 복수의 의료 영상 분석 알고리즘들 각각에 대한 설명적 정보(descriptive information)로서 생성할 수 있다.
본 발명의 진단 보조 시스템은 내부적으로 적어도 둘 이상의 인공 지능 진단 알고리즘들을 포함할 수 있다. 3개 이상의 내시경 장비에서 내시경 영상 데이터가 진단 보조 시스템으로 전달된다. 진단 보조 시스템은 내시경 영상 데이터 각각의 프레임마다 적어도 둘 이상의 인공 지능 진단 알고리즘들을 적용하여 판독/진단 결과를 생성한다. 진단 보조 시스템은 내시경 영상 데이터 각각의 프레임마다 판독/진단 결과를 연계하여 디스플레이 정보를 생성한다. 이때 디스플레이 정보는 내시경 영상 데이터가 생성된 병원의 식별 정보(병원 A)를 포함하여 생성될 수 있다. 또한 디스플레이 정보는 각 병원의 내시경 장비마다 주어지는 식별 정보(내시경 1, 내시경 2, 내시경 3)를 포함하여 생성될 수 있다.
본 발명의 시스템은 생성된 디스플레이 정보를 클라우드 기반 데이터베이스에 전송하고, 클라우드 기반 데이터베이스에는 내시경 영상 데이터가 생성된 내시경 장비, 및 생성된 병원이 식별되어 내시경 영상 데이터 및 디스플레이 정보가 저장된다. 디스플레이 정보는 내시경 영상 데이터 각각의 프레임마다 판독/진단 정보가 연계되어 생성되고 저장된다. 내시경 영상 데이터 각각의 프레임마다 생성되는 판독/진단 정보는 도 1 내지 도 4의 실시예에서 설명된 것처럼 평가 스코어 및 문맥 기반 판독 요건에 기반하여 자동으로 생성될 수 있다.
클라우드 환경에서 본 발명이 적용될 경우, 무선 통신망으로 연결된 장비를 이용하여 내시경 영상 데이터 및 판독/진단 결과를 병원 측의 사용자 시스템에서 수신하고, 인공지능 진단 보조 결과를 사용자 시스템 상에서 디스플레이할 수 있다.
클라우드 데이터베이스에 저장된 디스플레이 정보는, 환자가 지정한 병원에 제공될 수 있으며, 환자는 자신이 접근하기 편리한 병원에서 자신의 내시경 영상 데이터 및 판독/진단 정보를 수신하고, 해당 병원에서 의사의 판독/진단 결과에 대한 해석 및 후속 진단을 받을 수 있다.
종래 기술의 의료진의 판독용 컴퓨팅 단말에서는 인공지능 알고리즘이 적용된 결과를 이용하여 판독 결과가 생성된다. 이때 판독 결과를 생성하는 과정에서는 의료진의 코멘트가 추가될 수 있다.
본 발명이 적용된 의료 영상 진단 보조 장치/시스템에서는 평가 스코어인 I-Score가 컴퓨팅 시스템으로부터 의료진의 판독용 컴퓨팅 단말로 전달된다. 판독 결과의 생성에 평가 스코어인 I-Score가 반영되어 최종 판독문이 생성될 수 있다. 본 발명의 일 실시예에 따라서는, 컴퓨팅 시스템은 평가 스코어인 I-Score와 함께 판독문을 생성하여 의료진의 컴퓨팅 시스템으로 전달할 수 있는데, 이때 컴퓨팅 시스템에서 생성되는 판독문은 평가 스코어인 I-Score가 높은 판독 적용 알고리즘들에 기반한 판독 결과들을 이용하여 작성될 수 있다.
컴퓨팅 시스템은 내부적으로 계산한 평가 스코어인 I-Score를 이용하여 추천 판독 결과를 선택할 수 있고, 평가 스코어가 함께 표시되므로 판독의(radiologist)는 해당 추천판독(예를 들어 판독의의 판독 결과와 일치하는 추천 판독 알고리즘)에 대한 판독신뢰도 등을 평가/확인할 수 있는 사용자 인터페이스를 제공할 수 있다. 컴퓨팅 시스템의 프로세서는 평가 스코어에 기반하여 복수의 판독 결과들 중 제1 판독 결과와 제2 판독 결과를 추천 판독 결과로서 선택할 수 있다. 프로세서는 제1 판독 알고리즘에 대한 평가 스코어, 제1 판독 결과, 제2 판독 알고리즘에 대한 평가 스코어, 및 제2 판독 결과를 포함하는 디스플레이 정보를 생성할 수 있다.
컴퓨팅 시스템은 판독 알고리즘의 신뢰도 점수, 판독 알고리즘의 정확도 점수, 및 피드백을 제공한 판독의의 평가 신뢰도 점수에 기반하여 평가 스코어를 생성할 수 있다. 프로세서는 복수의 판독 결과들 및 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 복수의 의료 영상 분석 알고리즘들 각각에 대한 신뢰도 점수, 복수의 의료 영상 분석 알고리즘들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 분석 알고리즘들 각각에 대한 상기 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성하고, 상기 하위 평가 항목에 기반하여 상기 평가 스코어를 생성할 수 있다.
예를 들어 평가 스코어의 생성 기준은 다음과 같이 구현될 수 있다.
[수학식 1]
I-Score = a x (AI 알고리즘의 신뢰도 점수) + b x (AI 알고리즘의 정확도 점수) + c x (AI 알고리즘에 대한 판독의의 평가 신뢰도 점수)
알고리즘의 신뢰도 점수는 판독의가 각 알고리즘에 대하여 부여할 수 있다. 즉, 제1 판독 결과와 제2 판독 결과 중 제1 판독 결과가 더 정확하다고 판단되면 제1 판독 결과에 대하여 높은 신뢰도 점수가 부여될 수 있다.
알고리즘의 정확도 점수는 별도의 부여 과정 없이, 판독의가 각 알고리즘의 판독 결과를 수용하는 정도에 의하여 결정될 수 있다. 예를 들어 제1 판독 결과가 10개의 병변 의심 위치를 제시하였는데 판독의가 9개의 병변 의심 위치를 승인하였다면 정확도 점수는 90/100 으로 주어질 수 있다.
알고리즘의 정확도 점수가 부여되는 또 다른 실시예로는, 생검(biopsy) 등에 의하여 정확한 결과가 드러나는 경우를 가정할 수 있다. 이 때에는 생검에 의한 정확한 결과와 비교하여 각 판독 알고리즘의 판독 결과의 정확도가 드러날 수 있다. 사용자가 생검에 의하여 정확한 결과를 컴퓨팅 시스템에 입력하면, 컴퓨팅 시스템은 각 판독 결과를 생검에 의한 정확한 결과(레퍼런스)와 비교하여 각 판독 알고리즘의 정확도 점수를 산출할 수 있다.
판독의의 평가 신뢰도 점수는, 판독의의 평가에 대한 신뢰도 점수로서 제공될 수 있다. 즉, 판독의가 해당 임상 분야에서 오랜 경력을 쌓은 전문가이면 그만큼 높은 평가 신뢰도 점수가 부여된다. 판독의의 경력연차, 판독의의 전공, 판독의의 전공의 여부, 해당 임상 분야에서의 경험 등이 고려되어 평가 신뢰도 점수가 산출될 수 있다.
컴퓨팅 시스템은 내부의 인공지능 알고리즘에 의해 평가 스코어 산출 기준을 지속적으로 학습하며 내부 정해진 일정에 따라 업데이트할 수 있다. 프로세서는 하위 평가 항목인 복수의 의료 영상 분석 알고리즘들 각각에 대한 신뢰도 점수, 복수의 의료 영상 분석 알고리즘들 각각에 대한 정확도 점수, 및 복수의 의료 영상 분석 알고리즘들 각각에 대한 상기 사용자의 평가 신뢰도 점수 각각에 대하여 가중치를 부여하고, 복수의 판독 결과들 및 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 목표 요건에 따라 하위 평가 항목 각각의 가중치가 조정되도록 상기 하위 평가 항목 각각의 가중치를 업데이트할 수 있다.
목표 요건의 예시로는 각 알고리즘들에 대한 사용자의 신뢰도와 정확도의 상관관계가 일치하는 방향으로 조정하는 경우를 들 수 있다. 예를 들어, 동일한 정확도 점수를 가지는 제1 판독 알고리즘과 제2 판독 알고리즘에 대한 판독의의 신뢰도 점수가 상이할 수가 있다. 이때 판독의의 평가의 일반적인 오차를 제거한 후에도 일정한 경향으로 신뢰도 점수가 상이한 경우 제1 판독 알고리즘과 제2 판독 알고리즘에 대한 판독의들의 신뢰도는 상이한 것으로 인정할 수 있다. 예를 들어 제1 판독 알고리즘과 제2 판독 알고리즘이 전체 10개의 병변 의심 위치 중 9개의 위치에서 정확한 판독 결과를 생성하여 정확도 점수는 90/100 이 되었지만 중증도의 병변을 제1 판독 알고리즘만 정확하게 판독하고 제2 판독 알고리즘은 정확히 판독하지 못하였다면 판독의의 신뢰도가 상이한 이유가 설명될 것이다. 정확도와 신뢰도의 상관관계가 일치하도록 조정하는 수단으로는 각 하위 항목 별 가중치를 조정하거나, 정확도를 판정하는 대상 병변의 선별 기준을 세분화하는 수단이 있을 수 있다. 이 경우 진단된 병변의 경도/중증도, 병변의 의료 영상의 중심으로부터의 위치, 병변의 식별 난이도(뼈, 장기, 혈관이 복잡하게 혼재되어 있는 영역에서는 난이도가 높음) 등의 기준으로 병변을 구분하고, 각 영역에서 병변의 진단 정확도에 다른 가중치를 부여하는 방법이 있을 수 있다.
컴퓨팅 시스템은 영상에 따라 적용 가능한 다수의 인공지능 알고리즘을 내부적으로 자동으로 할당할 수 있는 기능을 포함할 수 있다. 컴퓨팅 시스템은 영상에 적용 가능한 인공지능 알고리즘을 판단하기 위해 추천 판독시스템 내부에 별도 영상 분류 인공지능 알고리즘에 의해 하나의 검사 또는 하나 이상의 영상을 분류한 후 다수의 인공지능 알고리즘을 적용할 수 있다.
본 발명의 일 실시예에 따라서는 복수의 의료 영상 분석 알고리즘들이 인공 신경망을 이용한 것일 수 있다. 이때 평가 스코어 및 하위 평가 항목들을 각 판독 알고리즘에 대한 설명적 정보(descriptive information)로서 생성하고, 컴퓨팅 시스템이 평가 스코어 및 하위 평가 항목들을 판독 알고리즘들의 생성 주체에게 피드백하여 판독 알고리즘의 개선에 이용되도록 정보를 제공할 수도 있다. 이 때 인공 신경망이 최근 연구되고 있는 관련성 스코어(relevance score) 및 신뢰도 레벨(confidence level) 등을 이용하는 인공 신경망인 경우, 평가 스코어 및 하위 평가 항목들을 인공 신경망의 relevance score 또는 confidence level 등과 연계하여 통계 분석이 이루어져 판독 알고리즘의 개선에 평가 스코어 및 하위 평가 항목들이 영향을 미칠 수 있다.
이러한 본 발명의 일 실시예는 종래 기술의 의료 영상 판독 시퀀스를 최대한 변형하지 않으면서 본 발명에 의하여 얻을 수 있는 이점을 제공하고자 설계된 실시예이다.
본 발명의 또 다른 일 실시예에서는 컴퓨팅 시스템이 복수의 판독 적용 알고리즘들을 선택하고, 복수의 판독 적용 알고리즘들 각각을 의료 영상에 적용하여 복수의 판독 결과들을 생성하는 과정을 스스로 실행할 수 있다. 이 경우 컴퓨팅 시스템은 선택된 판독 적용 알고리즘들에 대한 정보 뿐만 아니라 판독 적용 알고리즘들에 기반한 복수의 판독 결과들을 의료진의 판독용 컴퓨팅 단말로 전달하고, 의료진의 판독용 컴퓨팅 단말에서는 의료 영상에 대한 인공지능 알고리즘(판독 적용 알고리즘들)이 적용된 결과가 디스플레이될 수 있다.
이때의 본 발명의 일 실시예는 의료진의 판독용 컴퓨팅 단말의 컴퓨팅 파워가 크지 않은 경우, 예를 들어 모바일 디바이스이거나 구형의 컴퓨팅 시스템일 때에도 본 발명에 의하여 얻을 수 있는 이점을 제공할 수 있다. 이때의 본 발명의 일 실시예는 의료 영상에 대한 인공지능 알고리즘을 적용하는 주체가 컴퓨팅 시스템이고, 컴퓨팅 시스템은 일종의 서버(server)로서 기능하며, 의료진의 판독용 컴퓨팅 단말은 씬 클라이언트(thin-client) 기반 시스템으로 동작할 수도 있다. 이 때의 본 발명의 일 실시예에서는 의료진의 판독용 컴퓨팅 단말에서 의료진이 복수의 판독 결과들 또는 복수의 판독 적용 알고리즘들에 대하여 입력한 피드백 지표를 컴퓨팅 시스템으로 피드백할 수 있다. 피드백 지표는 평가 대상 각각, 즉, 복수의 판독 결과들 또는 복수의 판독 적용 알고리즘들 각각과 연계되어 컴퓨팅 시스템 내의 메모리 또는 데이터베이스에 저장할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 일 실시예에서 선택된 알고리즘이 적용되는 단계는 임상의의 판독 시스템에서 실행되어 복수의 판독 결과들이 컴퓨팅 시스템으로 전달될 수도 있고, 본 발명의 다른 일 실시예에서는 선택된 알고리즘이 적용되는 단계가 컴퓨팅 시스템 내에서 전적으로 실행된 후, 임상의의 판독 시스템에서 그 결과가 디스플레이될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 실행되는 위 내시경 검사 시 위장 내 해부학적 위치를 분류하는 과정의 예시이다.
본 발명의 일 실시예에 따르면 위장 내 해부학적 위치 클래스(class)는 식도, 위바닥(Fundus), 돌문(Cardia), 위몸통(body), 위각(Angle), 날문안뜰부위(Antrum), 날문(Pylorus), 및 십이지장으로 구분될 수 있다. 이때 위 몸통, 위각, 날문안뜰부위는 다시 전벽(AW), 후벽(PW), 큰굽이(GC), 작은굽이(LC)로 나뉘어 총 17 class로 구분될 수 있다.
본 발명의 위장 내 해부학적 위치 클래스는 도 5에 도시된 실시예에 국한되지 않으며, KR 10-2255311에 개시된 것과 같은 클래스가 이용될 수도 있음은 당업자에게 자명하다 할 것이다.
도 6은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 제공되는 위 내시경 영상과 함께 제공되는 디스플레이 정보 및/또는 사용자 인터페이스의 일 예시이다.
도 7은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 실행되는 내시경 영상 내의 병변 검출, 및 해부학적 위치 분류 과정의 일 예시이다.
도 10은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 제공되는 위 내시경 영상과 함께 제공되는 디스플레이 정보 및/또는 사용자 인터페이스의 일 예시이다.
도 6의 제1 윈도(610)에서는 실시간 내시경 영상이 디스플레이될 수 있다. 내시경 영상의 각 프레임에 대한 crop 프로세스에 의하여 내시경 영상의 테두리의 검은 부분은 제거되고 유효한 부분만 인공지능 모델(710, 720)에 전달된다. 본 발명의 일 실시예에서는 두 개의 인공지능 모델(710), 720)이 도시되나, 검출된 병변의 종류를 분류하는 또 다른 인공지능 모델이 제공될 수 있다. 이때 본 발명의 실시예에 따라서는 병변 검출 인공지능 모델(710)에 의하여 병변의 검출, 및 검출된 병변 종류의 분류가 함께 실행될 수도 있다. 검출된 병변은 마커(712)에 의하여 검출 여부가 표시될 수 있다. 검출된 병변의 종류가 분류된 경우, 병변이 용종, 위암, 위궤양인 지를 판별하여 서로 다른 시각화 요소를 가지는 마커(622, 624)로 표시될 수 있다. 이때 서로 다른 시각화 요소는 병변의 종류에 따라 다른 색상, 무늬(패턴), 마커의 외곽선의 종류(점선 or 실선) 등으로 구분되어 표시될 수 있다.
도 6의 제2 윈도(620)에는 검출된 병변에 대한 소견 정보(캡쳐된 프레임)가 표시될 수 있다. 병변 검출 인공지능 모델(710)을 통하여 용종, 위궤양, 또는 위암이 발견되었다면 제2 윈도(620)에 리스트 형식으로 누적되어 표시될 수 있다. 제2 윈도(620)에 표시되는 병변 및/또는 병변에 대한 소견 정보는 종류, 중요도, 병변의 크기, 병변의 개수, 특정 종류의 병변의 개수 등을 고려하여 제2 윈도(620)의 영역을 분할하여 표시될 수 있다.
도 6의 제3 윈도(630)에는 위장 내 해부학적 위치 맵이 표시되고, 위장 해부학적 구조 인공지능 모델(720)에 의하여 현재 제1 윈도(610)에 표시되는 영상이 위장 내 어느 해부학적 위치에 대응하는 구조(부분)에서 검사 중인 지를 분류할 수 있다. 분류된 현재 검사 중인 해부학적 위치 또는 현재까지 검사된 해부학적 위치/경로는 제3 윈도(630)에 의하여 표시될 수 있다. 제3 윈도의 또 다른 실시예(1030)에서는 현재까지 검사된 해부학적 위치/경로를 표시할 뿐만 아니라, 특히 현재 검사 중인 해부학적 위치를 강조하여 표시하고, 해당 해부학적 위치에서 병변이 검출되었는지 여부, 검출된 병변의 종류, 해부학적 위치에 대한 간략한 설명(클래스)을 표시할 수 있다. 제3 윈도(630) 또는 제3 윈도의 또 다른 실시예(1030)는 검사 중인 내시경 영상에 대해서 디스플레이되는 과정(S940)에서 시각화될 수 있을 뿐만 아니라, 검사가 종료 또는 임시 종료된 후 사용자가 검증, 확인, 의사결정을 위하여 참고하는 과정(S942, S944, S950)에서도 시각화될 수 있다. 검사 종료 또는 임시 종료 후의 표시 과정(S942, S944, S950)에서는 제1 윈도(610)에서 현재 표시되는 내시경 영상의 해부학적 위치, 병변의 검출 여부, 검출된 병변의 종류, 해부학적 위치까지의 경로가 표시되어 사용자가 주요한 병변이 존재하는 해부학적 위치 및 그 위치에 대응하는 비디오 프레임까지 신속하게 도달할 수 있도록 지원하는 네비게이션 기능이 추가될 수 있다.
위장 해부학적 구조 인공지능 모델(720)은 각 해부학적 위치에 대응하는 클래스(722, 724, 726)를 영상 내에서 식별하여 현재 영상이 대응하는 클래스(722, 724, 726)를 탐색하고 현재 영상의 해부학적 위치를 결정할 수 있다. 이때 위장 해부학적 구조 인공지능 모델(720)은 현재 영상에서 식별되는 클래스(722, 724, 726)의 비중을 고려하여 가장 적합도가 높거나 비중이 큰 클래스에 대응하는 해부학적 위치를 현재 영상의 해부학적 위치로 결정할 수 있다.
도 6에서는 현재 위 내시경 영상의 해부학적 위치가 인식되는 경우에 현재까지 지나온 경로에 대응하는 위장 내의 해부학적 구조가 제3 윈도(630)에서 표시된다. 지나온 경로에 대응하는 위장 내의 해부학적 구조는 아직 검사되지 않은 해부학적 구조와 다른 시각화 요소(색상, 패턴(무늬), 하이라이트)를 이용하여 구분되도록 시각화될 수 있다. 본 발명은 해부학적 구조의 검사 여부에 따른 구분된 시각화에 의하여 현재 검사에서 아직 지나오지 않은 Blind spot에 대한 정보를 사용자가 검사 중 실시간으로 한번 더 확인함으로써 확인하지 못했거나 또는 누락된 병변에 대해 검사할 수 있도록 사용자의 판독을 지원할 수 있다. 본 발명의 이러한 구성을 통하여 종합적인 병변 검출율을 향상시킬 수 있다.
도 8은 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 제공되는 사용자 인터페이스의 일 예시로서, 검사 도중 또는 종료 후 위장 내 해부학적 위치 맵과 함께 표시되는 병변 소견들의 사용자 인터페이스 및 소견들의 호출 프로세스를 도시하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템에 의하여 실행되는 방법의 워크플로우를 도시하는 동작 흐름도이다.
도 5 내지 도 10을 참조하면, 본 발명의 일 실시예에 따른 시스템은 내시경 검사(S910)를 실행한다. 사용자 요청 또는 미리 정해진 시퀀스에 의하여 내시경 영상 내의 비디오 프레임에 대한 영상 캡쳐(S912)가 실행될 수 있다.
위장 내시경은 인체에 내시경을 삽입하여 식도, 위, 십이지장 등에 나타나는 소화기 질환을 파악하는 검사 방법이다. 이는 위궤양, 위암 등 질병의 조기 발견과 치료에 중요한 역할을 하고 있다.
특히 위암의 조기 발견을 위해서는 상세한 촬영과 관찰, 그리고 기록이 중요하며, 누락되는 병변이 없도록 하는 것이 가장 중요하다. 하지만 영상의 문제나, 사각지대, 사람의 실수, 연속적이고 반복적인 시술로 인한 의사의 피로 증상으로 인해 최대 25% 병변이 누락되는 경우들이 있으며, 이는 의료 결과에 부정적인 영향을 미친다.
또한 미세한 병변으로 인하여 조직검사를 시행하여 선종이나 위암 및 기타 이상 소견이 얻어졌을 때 내시경 검사를 다시 해야 하는 경우가 적지 않다. 그러나 처음 내시경 검사를 시행하였을 때 의심하고 조직검사를 시행하였던 작은 병변을 재차 시행한 검사에서는 발견하지 못하는 경우가 많다. 그리하여 병변들의 위치와 모양을 정확하고 상세하게 기록해 두어야 할 필요가 있었다. 이는 의료 전문가들에게 있어서는 상당한 부담이며, 상세히 기록해 둔다 해도 여기에 주관적인 판단이 개입되는 것은 물론, 실제로 생체 조직의 형태가 미묘하게 변화될 수 있어서 재검사 과정에서 해당 소견의 병변을 정확하게 발견하기 어려운 문제점은 여전히 존재하였다.
이러한 문제는 재검사 뿐 아니라 주기적인 건강 검진과 같은 후속 검사 때에도 마찬가지로 존재한다. 특히 다수의 궤양과 용종이 혼재되어 있는 환자의 경우에는 과거의 소견에 대응하는 병변을 현재 영상에서 탐색하는 것이 쉽지 않은 경우가 많아 이러한 소견에 대응하는 병변의 위치, 병변에 대한 과거 소견 기록에 접근, 과거 소견에 대한 검색 등을 용이하게 도울 수 있는 효과적인 사용자 인터페이스에 대한 필요성이 대두되었다. 본 발명은 이러한 판독 지원 기능을 직관적이고 효과적인 사용자 인터페이스를 통하여 제공할 수 있다.
더불어 내시경 소견의 사진을 남길 때에, 너무 근접하여 사진을 캡쳐/촬영하면 병변의 위치나 전체적인 특성을 파악할 수 없기 때문에 병변의 특징적인 소견이 사진에 잘 반영되도록 캡쳐/촬영하는 것 또한 중요하다. 이는 미세한 병변에서 조직검사를 시행하여 선종이나 위암 및 기타 이상 소견이 나왔을 때 다시 재검사를 위해 꼭 필요한 부분이며, 재검사 시 다시 찾지 못하는 경우가 발생하기 때문에 자동으로 어떤 해부학적 위치에서 병변(용종)이 발견되었는지 추적을 돕는 기능의 사용자 인터페이스는 매우 중요하다.
위장 내시경에서는 병변의 유무 뿐만 아니라 병변의 해부학적 위치 정보도 중요한 정보로 여겨지고 있다. 본 발명에서는 병변의 해부학적 위치 정보를 고려하여 사용자가 검사 결과를 후속 리뷰하거나 재검사, 또는 후속 검사 시 기존의 소견 정보를 용이하게 검색하거나 소견 정보에 접근할 수 있도록 하는 직관적인 사용자 인터페이스가 제공된다.
본 발명은 위장 내시경 검사를 진행하는 동안 병변을 자동으로 찾아주고 지나온 경로를 표시하는 사용자 인터페이스를 제공함으로써 검사 시 누락되는 부분인 Blind spot을 줄여 병변의 발견율을 향상시킨다. 검사가 종료된 후 지나온 경로의 순서를 보여주고 각 해부학적 위치에서 병변이 얼마나 검출되었는지의 통계 정보와 발견된 결과의 이미지를 디스플레이하여 어떤 위치에서 병변이 검출되었는지 여부를 시각화할 수 있다.
이로 인하여 본 발명은 사용자가 검사 결과를 이용하여 용이하게 후속 조치를 취하거나, 용이하게 후속 의사 결정을 하거나, 후속 검사 또는 재검사 과정에서 용이하게 기존 검사의 소견 정보를 검색하거나 접근할 수 있도록 도울 수 있다.
선행 연구 결과(D. A. Corley et al., "Adenoma Detection Rate and Risk of Colorectal Cancer and Death A BS TR AC T,")에 따르면, 특히 선종 검출률의 1.0% 증가는 암 발병률의 3.0% 감소와 상관관계가 있다고 알려져 있다. 따라서 본 발명을 통해 병변 검출률을 높이고 위암 위험 요인을 조기에 걸러내어 위암 발병률을 낮추는 것을 목적으로 한다. 더불어 의사가 이전보다 더 많은 병변을 찾아 치료할 수 있도록 함으로써 위암의 원인을 줄이는 데에 기여하는 것을 목적으로 하며, 검사의 빈도를 줄이는 데에도 기여하는 것을 목적으로 한다.
본 발명을 통해 위장 내시경 검사 중 놓칠 수 있는 용종, 궤양, 암, 다양한 위장 질환 등을 인공지능 알고리즘으로 훈련시키고 이를 인공지능 진단 보조 시스템에 적용함으로써 업무 효율성 및 진단 정확도를 높일 수 있다. 본 발명의 실시예에서는 적어도 두 가지 인공지능을 이용할 수 있다. 용종, 궤양, 암 등을 분석하는 인공지능과 현재 위장벽의 위치 정보를 분석하는 인공지능이 이용될 수 있다. 위장 내 해부학적 위치에 따라 클래스를 구분해 두고, 검사 완료가 된 클래스에 해당하는 부분에는 검사가 완료되었음을 나타내는 표시를 부가하여 검사하지 않은 영역(Blind Spot)이 쉽게 파악되도록 시각화하는 사용자 인터페이스가 제공되고, 이러한 사용자 인터페이스에 의하여 선종 검출률이 향상될 수 있다. 또한 AI가 발견한 병변의 위장 해부학적 위치를 나타내 주어 위치 추적을 원활하게 하고 검사 종료 후의 재검사 또는 후속 검사에서 기존 검사의 병변을 용이하게 추적할 수 있도록 지원하는 기능이 포함될 수 있다. 이러한 판독 지원 기능을 통하여 결과적으로 위암 발병률을 낮출 수 있는 효과가 기대된다.
본 발명의 일 실시예에 따른 위 내시경 영상 진단 보조 시스템은 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 수신 모듈; 메모리 또는 데이터베이스; 및 프로세서를 포함한다. 수신 모듈은 의료 영상을 수신하거나 입력받고, 메모리 또는 데이터베이스는 의료 영상(위 내시경 영상)에 대한 분석 기능을 가지는 적어도 하나 이상의 의료 영상 분석 모델(710, 720)을 저장한다.
프로세서는 제1 의료 영상 분석 모델(720)을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고(S920), 비디오 프레임 내에서 미리 설정된 위장 내 해부학적 위치 클래스에 대응하는 부분을 식별하여 비디오 프레임의 위장 내 해부학적 위치를 분류한다(S924).
프로세서는 사용자가 비디오 프레임을 위장 내 병변에 대한 소견 정보로서 캡쳐하여 저장하는 경우(S930), 비디오 프레임의 위장 내 해부학적 위치 정보를 소견 정보의 인덱스 정보로서 소견 정보와 함께 저장한다. 사용자(검사자)가 실시간 위 내시경 영상의 비디오 프레임 내의 용종, 궤양, 위장 질환으로 의심되는 부위에 대하여 비디오 프레임을 캡쳐하여 사진을 병변(또는 의심 부위)에 대한 소견 정보로서 저장할 때, 프로세서는 향후 검색을 위한 인덱스로서 그 병변 또는 의심 부위의 위치(인공지능 모델에 의하여 분류됨)를 소견 정보와 함께 저장할 수 있다.
프로세서는 위장 내 해부학적 위치 맵을 포함하는 디스플레이 정보를 제공할 수 있다. 프로세서는 위치 맵을 이용하여 위장 내 해부학적 위치를 시각화하여 표시할 수 있다.
프로세서는 비디오 프레임이 사용자 디스플레이를 통하여 사용자에게 디스플레이되는 동안 비디오 프레임의 위장 내 해부학적 위치를 위장 내 해부학적 위치 맵 상에 표시하여 비디오 프레임과 함께 사용자에게 제공할 수 있다.
프로세서는 사용자가 내시경 검사 후 소견 정보의 확인을 요청하는 경우 소견 정보의 위장 내 해부학적 위치를 위장 내 해부학적 위치 맵 상에 표시하여 사용자에게 제공할 수 있다.
프로세서는 제2 의료 영상 분석 모델(710)을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고(S920), 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출할 수 있다(S922).
분석 결과는 디스플레이 정보(610, 620, 630, 800) 등을 이용하여 사용자 디스플레이를 통하여 사용자에게 제공될 수 있다(S940).
사용자는 분석 결과를 확인하고(S942), 검출된 병변, 검출된 병변의 종류에 대한 분류 결과, 병변의 위치 등을 확인할 수 있다.
사용자의 확인 과정에서 맵(810)을 통하여 표시된 정보에 의하여 누락된 부분이 존재하는 지 여부가 체크된다(S944).
누락된 부분이 없으면 검사가 종료되고 검사 결과에 대한 의료 전문가의 확인(S950) 프로세스가 실행된다. 이때 후속 조치에 대한 의사 결정이 이루어지며, 후속 조치의 예시로는 검출된 병변에 대한 생검(biopsy), 재검사, (일정 기간 경과 후의 또는 주기적인) 후속 검사, 환자에 대한 관찰 등을 들 수 있다. 누락된 부분이 존재하면 검사가 재개되고 필요에 따라 추가로 영상 캡쳐(S912)가 실행될 수 있다.
프로세서는 제3 의료 영상 분석 모델을 이용하여 병변으로 의심되는 부위를 병변 클래스와 비교하여 병변 종류를 분류할 수 있다(S922).
프로세서는 비디오 프레임의 위장 내 해부학적 위치 정보 및 비디오 프레임의 획득 순서에 기반하여 위 내시경 검사의 진입 및 후퇴 경로 정보를 생성할 수 있다.
프로세서는 위장 내 해부학적 위치 맵 상에 위 내시경 검사의 진입 및 후퇴 경로 정보를 사용자 디스플레이를 통하여 표시함으로써 사용자에게 제공할 수 있다.
검사 종료 또는 임시 종료 후의 확인 과정(S942, S944, S950)에서 소견 정보와 함께 저장된 위치 정보를 이용하여 사용자는 소견 정보를 신속하게 검색하거나 소견 정보에 신속하게 접근할 수 있다. 또한 위 내시경 검사의 진입 및 후퇴 경로 정보와 비디오 프레임의 획득 순서 정보를 이용하여 사용자는 전체 비디오 프레임에서 소견 정보가 캡쳐된 비디오 프레임을 신속하게 검색하거나 해당 비디오 프레임에 접근할 수 있다. 도면에는 도시되지 않았지만 비디오 프레임이 어느 위치에 대응하는 지, 경로 정보, 비디오 프레임의 획득 순서와 관련되어 전체 비디오 프레임에 대한 네비게이션 메뉴가 제공될 수도 있다.
프로세서는 제1 위장 내 해부학적 위치 맵 상에 이전 내시경 검사의 소견 정보에 접근할 수 있는 사용자 인터페이스를 이전 내시경 검사의 소견 정보의 위장 내 해부학적 위치에 표시하여 사용자에게 제공할 수 있다. 본 발명의 일 실시예에 따르면, 이전 검사에 대하여 도 8에서 도시되는 디스플레이 정보(800)가 제공될 수 있다. 도 8의 디스플레이 정보(800)는 도 6의 제1 내지 제3 윈도(610, 620, 630)와 별도의 윈도를 통하여 사용자에게 표시될 수 있다. 이때에는 제1 위장 내 해부학적 위치 맵은 맵(810)에 대응할 수 있고, 이전 내시경 검사의 소견 정보는 사용자 인터페이스(820, 830)에 의하여 사용자가 접근할 수 있다(822, 832).
이전 검사의 소견 정보(캡쳐 이미지, 병변의 검출 여부, 검출된 병변의 종류 등)가 제1 맵 상에 표시되고, 현재 검사의 진행 경로는 제2 맵에 표시될 수 있다.
프로세서는 제2 위장 내 해부학적 위치 맵 상에 현재 내시경 검사의 진행 경로 및 현재 비디오 프레임의 위장 내 해부학적 위치를 표시하여 사용자에게 제공할 수 있다. 본 발명의 일 실시예에 따르면, 현재 검사에 대하여 도 8에서 도시되는 디스플레이 정보(800)가 제공될 수 있다. 이때에는 제2 위장 내 해부학적 위치 맵은 맵(810)에 대응할 수 있고, 현재 내시경 검사의 경로 및 현재 비디오 프레임의 위장 내 해부학적 위치는 맵(810) 상에 표시될 수 있다. 검사 도중 또는 종료 후 결과 페이지에서는 내시경 검사가 이루어지지 않은 곳과 내시경 검사가 이루어진 곳을 구분할 수 있도록 시각화할 수 있다. 이때 구분되는 시각화 요소로는 색상, 패턴(무늬), 마커, 하이라이트 등 다양한 시각화 요소가 이용될 수 있다. 내시경 검사가 이루어진 구조(부분)와 이루어지지 않은 구조(부분)에 대한 구분은 검사 도중에도 제공될 수 있고, 검사가 종료 또는 임시 종료된 후 사용자가 확인하거나 검사 결과를 이용하여 의사 결정하는 과정(S942, S944, S950)에서도 제공될 수 있다.
또한 어느 해부학적 구조(부분)에서 전문의가 영상을 캡쳐했는지 한 눈에 볼 수 있도록 디스플레이될 수 있다. 한 환자에 대해 어느 구조에서 어떤 병변(위용종, 위궤양, 위암)이 검출되었는지 결과물을 일람할 수 있는 메뉴가 제공되고, 사용자는 각 메뉴를 선택하여 결과물을 자세히 볼 수 있다. 위장 내 어느 부분에서 어느 종류의 병변이 몇 개 검출되었는지 통계 정보가 함께 제공될 수 있다.
본 발명의 다른 일 실시예에 따른 위 내시경 영상 진단 보조 시스템은 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 수신 모듈; 메모리 또는 데이터베이스; 및 프로세서를 포함한다.
프로세서는 제1 의료 영상 분석 모델(720)을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고(S920), 비디오 프레임 내에서 미리 설정된 위장 내 해부학적 위치 클래스에 대응하는 부분을 식별하여 비디오 프레임의 위장 내 해부학적 위치를 분류한다(S924).
프로세서는 해부학적 위치 클래스에 대응하는 위치에서 병변이 발견되었는지 여부, 해부학적 위치 클래스에 대응하는 위치에서 발견된 병변의 통계 정보를 위장 내 해부학적 위치 맵 상에 표시하여 사용자 디스플레이를 통하여 사용자에게 제공한다(S930).
프로세서는 이전 내시경 검사의 비디오 프레임에 대한 분석 결과를 이용하여 제1 위장 내 해부학적 위치 맵 상에 이전 내시경 검사의 비디오 프레임에서 해부학적 위치 클래스에 대응하는 위치에서 병변이 발견되었는지 여부, 해부학적 위치 클래스에 대응하는 위치에서 발견된 병변의 통계 정보를 표시할 수 있다. 이때 표시되는 병변의 검출 및/또는 분류는 인공지능 모델에 의하여 자동으로 실행될 수도 있고, 사용자의 판단 후 사용자의 입력에 의하여 결정될 수도 있다.
이전 검사의 병변 통계 및 위치 맵(제1 맵)이 별도로 표시되고, 현재 검사의 검사 경로 진행 상황이 별도의 위치 맵(제2 맵)으로 표시될 수 있다.
프로세서는 현재 내시경 검사의 비디오 프레임에 대한 분석 결과를 이용하여 제2 위장 내 해부학적 위치 맵 상에 현재 내시경 검사의 진행 경로 및 현재 비디오 프레임의 위장 내 해부학적 위치를 표시할 수 있다.
프로세서는 이전 내시경 검사의 비디오 프레임에 대한 분석 결과를 이용하여 제1 위장 내 해부학적 위치 맵 상에 이전 내시경 검사의 비디오 프레임에서 누락된 해부학적 위치 클래스의 존재 여부 및 해부학적 위치를 표시할 수 있다. 제1 맵에서는 이전 검사에서 누락된 해부학적 위치에 대응하는 부분(blind spot)이 표시될 수 있다.
본 발명의 또 다른 일 실시예에 따른 위 내시경 영상 진단 보조 시스템은 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 수신 모듈; 메모리 또는 데이터베이스; 및 프로세서를 포함한다.
프로세서는 제1 의료 영상 분석 모델(720)을 이용하여 위 내시경 영상의 비디오 프레임을 분석하고(S920), 비디오 프레임 내에서 미리 설정된 위장 내 해부학적 위치 클래스에 대응하는 부분을 식별하여 비디오 프레임의 위장 내 해부학적 위치를 분류한다(S924).
프로세서는 비디오 프레임의 위장 내 해부학적 위치 정보 및 비디오 프레임의 획득 순서에 기반하여 위 내시경 검사의 진입 및 후퇴 경로 정보를 생성한다.
프로세서는 비디오 프레임의 위장 내 해부학적 위치 정보 및 위 내시경 검사의 진입 및 후퇴 경로 정보를 비디오 프레임의 인덱스 정보로서 비디오 프레임과 함께 저장한다.
순서 정보와 함께 검사 종료 또는 임시 종료 후 병변의 신속한 검색이 가능하도록 UI가 제공될 수 있다. UI는 위 내시경의 진입 시의 각 부위별 진단 순서 및 후퇴 시의 각 부위별 영상 표시 순서를 함께 표시하여, 검사 종료 후 전체 내시경 검사의 이미지 프레임 데이터 셋으로부터 병변 의심 부위를 신속하게 탐색할 수 있도록 지원하는 기능을 제공할 수 있다.
프로세서는 위장 내 해부학적 위치 맵을 제공할 수 있다.
프로세서는 위장 내 해부학적 위치 맵 상에 비디오 프레임에 접근할 수 있는 사용자 인터페이스를 비디오 프레임의 위장 내 해부학적 위치에 표시하여 사용자에게 제공할 수 있다. 사용자는 검사 종료 또는 임시 종료 후 맵 상의 UI를 통하여 그 위치의 비디오 프레임에 접근할 수 있다.
프로세서는 해부학적 위치 클래스에 대응하는 위치에 비디오 프레임이 존재하는 지 여부, 및 위 내시경 검사의 비디오 프레임에서 누락된 해부학적 위치 클래스의 존재 여부와 해부학적 위치를 위장 내 해부학적 위치 맵 상에 표시하여 사용자에게 제공할 수 있다. 사용자는 맵 상에 표시되는 검사된 영역(비디오 프레임이 존재하는 영역)을 참조하여 blind spot을 체크할 수 있다.
본 발명의 실시예들에 따르면, 위장 내시경 데이터를 바탕으로 용종, 궤양, 암 등의 위장 질환을 여러 클래스로 실시간 검출이 가능한 인공지능 진단 보조 시스템을 제공할 수 있다.
본 발명의 실시예들에 따르면, 위장 내시경 데이터를 바탕으로 위벽의 해부학적 구조를 추적하여 검사 영역과 검사하지 않은 영역을 체크하는 인공지능 진단 보조 시스템을 제공할 수 있다.
본 발명의 실시예들에 따르면, 위장 내시경 데이터를 통해 병변의 해부학적 위치를 돌문, 위바닥, 위몸통, 위각, 날문안뜰부위, 날문과 전벽, 후벽, 작은굽이, 큰굽이를 기반으로 나누어 내시경 위치 맵을 UI를 통해 표시하는 인공지능 진단 보조 시스템을 제공할 수 있다.
본 발명의 실시예들에 따르면, 위장 내시경 데이터를 바탕으로 위 해부학적 위치를 실시간으로 현재 검사 중인 부위의 해부학적 위치를 제시할 수 있는 인공지능 검사 위치 추적 보조 시스템을 제공할 수 있다.
본 발명의 실시예들에 따르면, 인공지능을 통해 제시된 검사 완료 부위를 돌문, 위바닥, 위몸통, 위각, 날문안뜰부위, 날문을 기반으로 나누어 내시경 위치 맵을 UI를 통해 표시해 Blind Spot을 놓치지 않도록 하고 UI를 통해 표시할 수 있는 인공지능 검사 위치 추적 보조 시스템을 제공할 수 있다.
본 발명의 실시예들에 따르면, 검사가 종료된 후 위장 벽을 어떤 순서로 지나 왔는지 UI를 통해 표시할 수 있다.
본 발명의 실시예들에 따르면, 위장 모양의 구조물(위치 맵)을 이용하여 내시경이 진입 및 후퇴한 경로의 순서대로 번호를 부여하여 표시할 수 있다.
본 발명의 실시예들에 따르면, 위장 내의 어느 구조(위치)에서 AI가 병변 위험 부위로 추론한 이미지가 검출되었는지 통계 정보를 함께 제공할 수 있다.
본 발명의 일 실시예에 따른 의료 영상의 판독을 지원하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 인공지능 서버(컴퓨팅 시스템)
112, 212: 인공지능 알고리즘
120, 220: 인공지능 워크스테이션(컴퓨팅 시스템)
122, 222: 사용자 디스플레이
132, 134, 232: 위 내시경 영상 획득 모듈

Claims (11)

  1. 의료 영상에 대한 진단을 보조하는 진단 보조 시스템으로서, 상기 진단 보조 시스템은 컴퓨팅 시스템을 포함하고,
    상기 컴퓨팅 시스템은
    상기 의료 영상으로서 위 내시경 영상을 수신하거나 입력받는 수신 모듈;
    상기 위 내시경에 대한 분석 기능을 가지는 적어도 하나 이상의 의료 영상 분석 모델을 저장하는 메모리 또는 데이터베이스; 및
    프로세서;
    를 포함하고,
    상기 프로세서는 제1 의료 영상 분석 모델을 이용하여 상기 위 내시경 영상의 비디오 프레임을 분석하고, 상기 비디오 프레임 내에서 미리 설정된 위장 내 해부학적 위치 클래스에 대응하는 부분을 식별하여 상기 비디오 프레임의 위장 내 해부학적 위치를 분류하고,
    상기 프로세서는 사용자가 상기 비디오 프레임을 위장 내 병변에 대한 소견 정보로서 캡쳐하여 저장하는 경우, 상기 비디오 프레임의 위장 내 해부학적 위치 정보를 상기 소견 정보의 인덱스 정보로서 상기 소견 정보와 함께 저장하는 위 내시경 영상 진단 보조 시스템.
  2. 제1항에 있어서,
    상기 프로세서는 위장 내 해부학적 위치 맵을 제공하고,
    상기 프로세서는 상기 비디오 프레임이 사용자 디스플레이를 통하여 상기 사용자에게 디스플레이되는 동안 상기 비디오 프레임의 위장 내 해부학적 위치를 상기 위장 내 해부학적 위치 맵 상에 표시하여 상기 비디오 프레임과 함께 상기 사용자에게 제공하고,
    상기 프로세서는 상기 사용자가 내시경 검사 후 상기 소견 정보의 확인을 요청하는 경우 상기 소견 정보의 위장 내 해부학적 위치를 상기 위장 내 해부학적 위치 맵 상에 표시하여 상기 사용자에게 제공하는
    위 내시경 영상 진단 보조 시스템.
  3. 제1항에 있어서,
    상기 프로세서는 제2 의료 영상 분석 모델을 이용하여 상기 위 내시경 영상의 비디오 프레임을 분석하고, 상기 비디오 프레임 내에 병변으로 의심되는 부위가 존재하는 지 여부를 검출하고,
    상기 프로세서는 제3 의료 영상 분석 모델을 이용하여 상기 병변으로 의심되는 부위를 병변 클래스와 비교하여 병변 종류를 분류하는
    위 내시경 영상 진단 보조 시스템.
  4. 제1항에 있어서,
    상기 프로세서는 상기 비디오 프레임의 위장 내 해부학적 위치 정보 및 상기 비디오 프레임의 획득 순서에 기반하여 위 내시경 검사의 진입 및 후퇴 경로 정보를 생성하고,
    상기 프로세서는 위장 내 해부학적 위치 맵 상에 상기 위 내시경 검사의 진입 및 후퇴 경로 정보를 사용자 디스플레이를 통하여 표시함으로써 상기 사용자에게 제공하는
    위 내시경 영상 진단 보조 시스템.
  5. 제1항에 있어서,
    상기 프로세서는 제1 위장 내 해부학적 위치 맵 상에 이전 내시경 검사의 소견 정보에 접근할 수 있는 사용자 인터페이스를 상기 이전 내시경 검사의 소견 정보의 위장 내 해부학적 위치에 표시하여 상기 사용자에게 제공하고,
    상기 프로세서는 제2 위장 내 해부학적 위치 맵 상에 현재 내시경 검사의 진행 경로 및 현재 비디오 프레임의 위장 내 해부학적 위치를 표시하여 상기 사용자에게 제공하는
    위 내시경 영상 진단 보조 시스템.
  6. 의료 영상에 대한 진단을 보조하는 진단 보조 시스템으로서, 상기 진단 보조 시스템은 컴퓨팅 시스템을 포함하고,
    상기 컴퓨팅 시스템은
    상기 의료 영상으로서 위 내시경 영상을 수신하거나 입력받는 수신 모듈;
    상기 위 내시경에 대한 분석 기능을 가지는 적어도 하나 이상의 의료 영상 분석 모델을 저장하는 메모리 또는 데이터베이스; 및
    프로세서;
    를 포함하고,
    상기 프로세서는 제1 의료 영상 분석 모델을 이용하여 상기 위 내시경 영상의 비디오 프레임을 분석하고, 상기 비디오 프레임 내에서 미리 설정된 위장 내 해부학적 위치 클래스에 대응하는 부분을 식별하여 상기 비디오 프레임의 위장 내 해부학적 위치를 분류하고,
    상기 프로세서는 상기 해부학적 위치 클래스에 대응하는 위치에서 병변이 발견되었는지 여부, 상기 해부학적 위치 클래스에 대응하는 위치에서 발견된 병변의 통계 정보를 위장 내 해부학적 위치 맵 상에 표시하여 사용자 디스플레이를 통하여 사용자에게 제공하는
    위 내시경 영상 진단 보조 시스템.
  7. 제6항에 있어서,
    상기 프로세서는 이전 내시경 검사의 비디오 프레임에 대한 분석 결과를 이용하여 제1 위장 내 해부학적 위치 맵 상에 상기 이전 내시경 검사의 비디오 프레임에서 상기 해부학적 위치 클래스에 대응하는 위치에서 병변이 발견되었는지 여부, 상기 해부학적 위치 클래스에 대응하는 위치에서 발견된 병변의 통계 정보를 표시하고,
    상기 프로세서는 현재 내시경 검사의 비디오 프레임에 대한 분석 결과를 이용하여 제2 위장 내 해부학적 위치 맵 상에 상기 현재 내시경 검사의 진행 경로 및 현재 비디오 프레임의 위장 내 해부학적 위치를 표시하는
    위 내시경 영상 진단 보조 시스템.
  8. 제7항에 있어서,
    상기 프로세서는 상기 이전 내시경 검사의 비디오 프레임에 대한 분석 결과를 이용하여 상기 제1 위장 내 해부학적 위치 맵 상에 상기 이전 내시경 검사의 비디오 프레임에서 누락된 해부학적 위치 클래스의 존재 여부 및 해부학적 위치를 표시하는
    위 내시경 영상 진단 보조 시스템.
  9. 의료 영상에 대한 진단을 보조하는 진단 보조 시스템으로서, 상기 진단 보조 시스템은 컴퓨팅 시스템을 포함하고,
    상기 컴퓨팅 시스템은
    상기 의료 영상으로서 위 내시경 영상을 수신하거나 입력받는 수신 모듈;
    상기 위 내시경에 대한 분석 기능을 가지는 적어도 하나 이상의 의료 영상 분석 모델을 저장하는 메모리 또는 데이터베이스; 및
    프로세서;
    를 포함하고,
    상기 프로세서는 제1 의료 영상 분석 모델을 이용하여 상기 위 내시경 영상의 비디오 프레임을 분석하고, 상기 비디오 프레임 내에서 미리 설정된 위장 내 해부학적 위치 클래스에 대응하는 부분을 식별하여 상기 비디오 프레임의 위장 내 해부학적 위치를 분류하고,
    상기 프로세서는 상기 비디오 프레임의 위장 내 해부학적 위치 정보 및 상기 비디오 프레임의 획득 순서에 기반하여 위 내시경 검사의 진입 및 후퇴 경로 정보를 생성하고,
    상기 프로세서는 상기 비디오 프레임의 위장 내 해부학적 위치 정보 및 상기 위 내시경 검사의 진입 및 후퇴 경로 정보를 상기 비디오 프레임의 인덱스 정보로서 상기 비디오 프레임과 함께 저장하는
    위 내시경 영상 진단 보조 시스템.
  10. 제9항에 있어서,
    상기 프로세서는 위장 내 해부학적 위치 맵을 제공하고,
    상기 프로세서는 상기 위장 내 해부학적 위치 맵 상에 상기 비디오 프레임에 접근할 수 있는 사용자 인터페이스를 상기 비디오 프레임의 위장 내 해부학적 위치에 표시하여 사용자에게 제공하는
    위 내시경 영상 진단 보조 시스템.
  11. 제9항에 있어서,
    상기 프로세서는 위장 내 해부학적 위치 맵을 제공하고,
    상기 프로세서는 상기 해부학적 위치 클래스에 대응하는 위치에 상기 비디오 프레임이 존재하는 지 여부, 및 상기 위 내시경 검사의 비디오 프레임에서 누락된 해부학적 위치 클래스의 존재 여부와 해부학적 위치를 상기 위장 내 해부학적 위치 맵 상에 표시하여 사용자에게 제공하는
    위 내시경 영상 진단 보조 시스템.
KR1020210187355A 2021-12-24 2021-12-24 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 KR20230097646A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210187355A KR20230097646A (ko) 2021-12-24 2021-12-24 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
US18/087,945 US20230206435A1 (en) 2021-12-24 2022-12-23 Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210187355A KR20230097646A (ko) 2021-12-24 2021-12-24 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230097646A true KR20230097646A (ko) 2023-07-03

Family

ID=86896892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210187355A KR20230097646A (ko) 2021-12-24 2021-12-24 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법

Country Status (2)

Country Link
US (1) US20230206435A1 (ko)
KR (1) KR20230097646A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240086248A1 (en) * 2022-09-12 2024-03-14 International Business Machines Corporation Learning-based automatic selection of AI applications
CN117576097B (zh) * 2024-01-16 2024-03-22 华伦医疗用品(深圳)有限公司 基于ai辅助图像处理信息的内窥镜图像处理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200038120A (ko) 2018-10-02 2020-04-10 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
KR102255311B1 (ko) 2020-08-10 2021-05-24 주식회사 웨이센 인공지능 기반의 위내시경 영상 분석 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200038120A (ko) 2018-10-02 2020-04-10 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
KR102255311B1 (ko) 2020-08-10 2021-05-24 주식회사 웨이센 인공지능 기반의 위내시경 영상 분석 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. A. Corley et al., "Adenoma Detection Rate and Risk of Colorectal Cancer and Death A BS TR AC T," n engl j med, vol. 14, no. 3, pp. 1298 306, 2014, doi : 10.1056/ NEJMoa1309086 (2014년 4월)
S. Kumar et al., "Adenoma miss rates associated with a 3 minute versus 6 minute colonoscopy withdrawal time: a prospective, randomized trial," Gastrointest . Endosc ., vol. 85, no. 6, pp. 1273 1280, Jun. 2017, doi : 10.1016/j. gie.2016.11.030 (2017년 6월)
미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure" (2018년 9월 6일)

Also Published As

Publication number Publication date
US20230206435A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
Cai et al. Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video)
JP5159242B2 (ja) 診断支援装置、診断支援装置の制御方法、およびそのプログラム
CN113015476A (zh) 用于生成和显示体内图像流的研究的系统和方法
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
CN111227864B (zh) 使用超声图像利用计算机视觉进行病灶检测的装置
US20220254017A1 (en) Systems and methods for video-based positioning and navigation in gastroenterological procedures
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
US11915822B2 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
US20120166211A1 (en) Method and apparatus for aiding imaging diagnosis using medical image, and image diagnosis aiding system for performing the method
JP2008259622A (ja) レポート作成支援装置およびそのプログラム
CN109117890A (zh) 一种图像分类方法、装置和存储介质
JP5456132B2 (ja) 診断支援装置、診断支援装置の制御方法、およびそのプログラム
US20210151171A1 (en) Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network
US20210202072A1 (en) Medical image diagnosis assistance apparatus and method for providing user-preferred style based on medical artificial neural network
WO2022110525A1 (zh) 一种癌变区域综合检测装置及方法
KR102095730B1 (ko) 딥러닝 기반의 대장 병변 검출 방법
KR102536369B1 (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
WO2021230000A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
US20210035687A1 (en) Medical image reading assistant apparatus and method providing hanging protocols based on medical use artificial neural network
JP2019013461A (ja) プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
CN111265234A (zh) 一种肺部纵膈淋巴结的性质判定方法及系统
JP2005269214A (ja) 画像診断支援装置及び画像診断支援方法及び画像診断支援プログラム及び画像診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5533198B2 (ja) 医用画像表示装置及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal