KR102344585B1 - 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 - Google Patents
딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 Download PDFInfo
- Publication number
- KR102344585B1 KR102344585B1 KR1020190151538A KR20190151538A KR102344585B1 KR 102344585 B1 KR102344585 B1 KR 102344585B1 KR 1020190151538 A KR1020190151538 A KR 1020190151538A KR 20190151538 A KR20190151538 A KR 20190151538A KR 102344585 B1 KR102344585 B1 KR 102344585B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- polyp
- endoscopic
- channel
- endoscopic image
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램에 관한 것으로, 용종 진단 방법은 영상 획득부가 인체 내부의 대장에서 촬영한 영상을 수신하는 단계; 영상 전처리부가 상기 수신한 영상으로부터 유사 협대역 내시경 영상을 출력하는 단계; 및 용종 검출부가 상기 유사 협대역 내시경 영상에 대하여 딥러닝 모델을 이용하여 상기 유사 협대역 내시경 영상에서 용종의 유무 및 상기 용종의 위치 정보를 검출하는 단계를 포함할 수 있다.
Description
본 발명은 내시경 촬영술 및 인공지능을 이용한 병변 진단 알고리즘에 관한 것으로, 보다 구체적으로는 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램에 관한 것이다.
대장 내시경 시술은 의사와 환자가 1 대 1 로 시술되는 검사로, 노동 집약적이고, 검사에 시간이 많이 소요되는 단점이 있다. 또한 시술이 반복적이고, 시술과정에서 의료진의 경험, 의료진의 컨디션, 피로도, 실수 등 다양한 요인들로 인해 관찰자 변동(inter observer) 또는 관찰자 내 변동(intra observer)이 존재할 수 있다. 여기서 관찰자 변동은 동일한 결과를 검사하는 둘 이상의 관찰자에 의해 얻어진 결과 사이의 변동량이고, 관찰자 내 변동은 동일한 결과를 두 번 이상 관찰 할 때 관찰자가 경험하는 변동량이다.
따라서, 현재 대장 내시경 시술에서 용종 검출의 간과율이 22% 내지 28%로 보고되고 있는 실정이다.
본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 대장 내시경 영상에서 용종을 실시간으로 자동 검출하여 용종의 위치를 제공하고자 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법은 영상 획득부가 인체 내부의 대장에서 촬영한 영상을 수신하는 단계; 영상 전처리부가 상기 수신한 영상으로부터 유사 협대역 내시경 영상을 출력하는 단계; 및 용종 검출부가 상기 유사 협대역 내시경 영상에 대하여 딥러닝 모델을 이용하여 상기 유사 협대역 내시경 영상에서 용종의 유무 및 상기 용종의 위치 정보를 검출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법은 영상 전처리부가 영상 채널 중 녹색 채널 및 청색 채널 중 적어도 어느 하나의 채널을 이용하여 영상을 처리하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법은 상기 영상 전처리부가 상기 수신한 영상을 청색 채널을 이용하여 처리하는 단계; 상기 청색 채널을 통해 처리된 영상을 녹색 채널을 이용하여 처리하는 단계; 및 상기 녹색 채널을 통해 처리된 영상을 녹색 채널을 이용하여 처리하는 단계를 포함하여 유사 협대역 내시경 영상을 출력할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법은 상기 영상 전처리부가 상기 수신한 영상을 녹색 채널을 이용하여 처리하는 단계; 상기 녹색 채널을 통해 처리된 영상을 청색 채널을 이용하여 처리하는 단계; 및 상기 청색 채널을 통해 처리된 영상을 청색 채널을 이용하여 처리하는 단계를 포함하여 유사 협대역 내시경 영상을 출력할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법은 영상 전처리부가 적어도 어느 하나의 상기 녹색 채널 및 적어도 어느 하나의 상기 청색 채널의 재조합을 통해 상기 유사 협대역 내시경 영상을 출력한 후, MSRCR(Multi-Scale Retinex with Color Restoration) 알고리즘을 적용하여 상기 유사 협대역 내시경 영상을 출력하는 단계를 더 포함하여 유사 협대역 내시경 영상을 출력할 수 있다.본 발명의 일 실시예에 따른 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법은 용종 검출부가 복수의 GPU에 병렬로 연결되어 복수의 영상을 동시에 처리할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법은 용종 검출부가 기 설정된 복수의 영상 프레임에 대하여 모든 영상 프레임에서 연속하여 용종을 검출하는 경우, 마지막 영상 프레임에 포함된 용종의 위치 정보를 검출하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 학습을 이용한 내시경 영상으로부터의 용종 진단 장치는 인체 내부의 대장에서 촬영한 영상을 수신하는 영상 획득부; 상기 영상 획득부가 수신한 영상으로부터 유사 협대역 내시경 영상을 출력하는 영상 전처리부; 및 상기 영상 전처리부에서 출력된 상기 유사 협대역 내시경 영상에 대하여 딥러닝 모델을 이용하여 상기 유사 협대역 내시경 영상에서 용종의 유무 및 상기 용종의 위치 정보를 검출하는 용종 검출부를 포함할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 학습을 이용한 내시경 영상으로부터의 용종 진단 프로그램은 프로세서와 결합되어, 컴퓨터로 판독가능한 기록 매체에 저장된 컴퓨터 프로그램이며, 상기 컴퓨터 프로그램은 상기 기록 매체에 저장된 명렁어에 의해 상기 프로세서에서 실행되며, 상기 프로세서는, 인체 내부의 대장에서 촬영한 영상을 수신하는 제1 오퍼레이션; 상기 수신한 영상으로부터 유사 협대역 내시경 영상을 출력하는 제2 오퍼레이션; 및 상기 유사 협대역 내시경 영상에 대하여 딥러닝 모델을 이용하여 상기 유사 협대역 내시경 영상에서 용종의 유무 및 상기 용종의 위치 정보를 검출하는 제3 오퍼레이션을 수행할 수 있다.
본 발명의 일 실시예에 따른 용종 진단 방법, 용종 진단 장치 및 용종 진단 프로그램은 대장 내시경 영상에서 용종을 자동으로 검출할 수 있고, 용종 검출 간과율을 현저하게 낮추며 용종 진단 정확도를 높일 수 있다.
본 발명은 또한 색소 내시경 또는 협대역 영상 내시경과 같은 비싼 이미지 증강 내시경을 사용하지 않더라도 용종 검출의 오검출을 방지할 수 있는 개선된 내시경 영상을 출력할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 용종 진단 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 용종 진단 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 따른 용종 진단 방법의 전체적인 과정을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 유사 협대역 내시경 영상을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 딥러닝 모델에 적용된 RetinaNet 딥러닝 모델의 구조를 나타낸다.
도 6은 본 발명의 일 실시예에 따라 RetinaNet 딥러닝 모델에서 사용된 ResNet50 딥러닝 모델 구조를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 용종 진단 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 따른 용종 진단 방법의 전체적인 과정을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 유사 협대역 내시경 영상을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 딥러닝 모델에 적용된 RetinaNet 딥러닝 모델의 구조를 나타낸다.
도 6은 본 발명의 일 실시예에 따라 RetinaNet 딥러닝 모델에서 사용된 ResNet50 딥러닝 모델 구조를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, "제 1"및 "제 2"라는 용어는 본 명세서에서 구별 목적으로만 사용되며, 어떠한 방식으로도 서열 또는 우선 순위를 나타내거나 예상하는 것을 의미하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 용종 진단 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 용종 진단 장치는 영상 획득부(100), 영상 전처리부(200) 및 용종 검출부(300)를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 획득부(100)는 내시경 장비에서 촬영한 영상을 획득하는 것으로, 실시간 처리를 위해 초당 15프레임 단위로 영상을 획득하며, 크기는 512x512 픽셀 크기로 사이즈를 변경할 수 있다. 다만, 상기 영상 획득 속도 및 영상 프레임의 사이즈에 한정되는 것은 아니며, 다양한 속도 및 다양한 크기로 변경될 수도 있다.
본 발명의 일 실시예에 따른 영상 전처리부(200)는 상기 영상 획득부(100)에서 수신한 영상으로부터 유사 협대역 내시경 영상을 출력할 수 있다.
본 발명의 일 실시예에 따른 유사 협대역 내시경 영상은 협대역 내시경 영상(Narrow Band Image, NBI)과 유사한 영상으로, 협대역 내시경 영상(Narrow Band Image, NBI)이 광학 필터를 사용해서 짧은 대역 범위의 파장만을 선택적으로 조사하여 얻은 영상인 반면, 본 발명의 유사 협대역 내시경 영상은 기존의 내시경 영상에서 적색 채널을 제거하고, 청색 채널과 녹색 채널만을 사용하여 내시경 영상을 재구성한 영상을 의미할 수 있다.
본 발명의 일 실시예에 따라 유사 협대역 내시경 영상을 사용하면, 기존의 광학 내시경에 비해 점막 표면의 미세 구조 및 점막 표면의 혈관상을 잘 관찰할 수 있어서, 용종이나 조기 대장암의 검출율을 높일 수 있고, 오검출율을 줄일 수 있다.
본 발명의 일 실시예에 따른 용종 검출부(300)는 상기 영상 전처리부(200)에서 출력한 유사 협대역 내시경 영상에 대하여 딥러닝 모델을 이용하여 용종의 유무 및 용종의 위치 정보를 자동으로 검출할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 모델은 10,000장의 대장 내시경 영상에서 용종의 위치를 학습한 모델이며, 도 5에 도시된 RetinaNet 모델 및 도 6에 도시된 ResNet50 딥러닝 모델 구조를 이용한다. 본 발명의 일 실시예에 따른 딥러닝 모델은 도 5 및 도 6을 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따른 용종 진단 방법의 순서도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 용종 진단 방법은 영상 획득부가 인체 내부의 대장에서 촬영한 내시경 영상을 수신하는 단계(S200), 영상 전처리부가 상기 수신한 영상으로부터 유사 협대역 내시경 영상을 출력하는 단계(S210) 및 용종 검출부가 상기 유사 협대역 내시경 영상에 대하여 딥러닝 모델을 이용하여 상기 유사 협대역 내시경 영상에서 용종의 유무 및 상기 용종의 위치 정보를 검출하는 단계(S220)를 포함할 수 있다.
도 2에 도시된 본 발명의 일 실시예에 따른 용종 진단 방법의 구체적인 과정에 대하여 도 3을 참조하여 설명한다. 도 3은 본 발명의 일 실시예에 따른 용종 진단 방법의 전체적인 과정을 나타내는 도면이다.
도 3을 참조하면, 내시경 장비가 대장에 대한 내시경 영상을 촬영한다(S310). 내시경 장비는 초당 60 프레임으로 영상을 촬영할 수 있으나, 반드시 이에 한정되는 것은 아니다. 본원 발명의 일 실시예에 따른 영상 획득부는 상기 내시경 영상을 초당 15 프레임씩 추출할 수 있으나(S320), 반드시 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 용종 진단 방법은 상기 추출한 내시경 영상 프레임의 사이즈를 변경하는 단계를 포함할 수 있다(S330). 내시경 영상 프레임의 사이즈는 미리 학습된 딥러닝 모델의 조건에 맞게 512 x 512 픽셀의 크기로 변환될 수 있다.
본 발명의 일 실시예에 따른 용종 진단 방법은 유사 협대역 내시경 영상을 출력하는 단계를 포함할 수 있다(S340). 본 발명은 내시경 영상에서 적색, 녹색 청색 채널을 포함하는 RGB 채널 중 적색 채널의 정보를 제거하고, 컬러 채널의 순서는 녹색 채널, 청색 채널, 청색 채널 순으로 재배열하여 유사 협대역 내시경 영상을 출력할 수 있다.
다만, 컬러 채널의 순서는 상기 순서로 한정되는 것은 아니며 청색 채널 녹색 채널 및 녹색 채널 순으로 영상을 재배열할 수 있으며, 적색 채널을 제외한 녹색 채널과 청색 채널의 조합으로 영상을 재배열할 수 있다.
도 4는 본 발명의 일 실시예에 따른 유사 협대역 내시경 영상을 나타내는 도면이다. 도 4a는 용종이 있는 경우의 유사 협대역 내시경 영상을 나타내고, 도 4b는 용종이 없는 경우의 유사 협대역 내시경 영상을 나타낸다.
도 4a 및 도 4b의 첫번째 사진은 내시경 영상 원본이다. 본 발명의 일 실시예에 따라 내시경 영상에서 적색 채널의 정보를 제거하면, 도 4a 및 도 4b의 두번째 사진을 얻을 수 있다.
그리고 도 4a 및 도 4b의 두번째 사진에 대하여 Retinex 이론에 기반한 MSRCR(Multi-Scale Retinex with Color Restoration) 알고리즘을 적용하여 영상에서 조명 성분을 줄이고, 반사 성분만을 나타냄으로써, 본 발명의 일 실시예에 따른 유사 협대역 내시경 영상을 출력할 수 있다. 도 4a 및 도 4b의 세번째 사진은 출력된 유사 협대역 내시경 영상이다.
본 발명의 일 실시예에 따른 용종 진단 방법은 용종 검출의 오검출률을 줄이기 위해, 하드웨어적인 변경 없이 소프트웨어적으로 내시경 이미지를 개선할 수 있으며, 딥러닝 검출 알고리즘에 적용할 수 있다.
종래의 내시경 이미지는 색소 내시경이나 협대역 영상 내시경과 같은 이미지 증강 내시경을 사용하여 개선된 이미지를 획득하는데, 이미지 증강 내시경은 가격이 고가이므로, 사용이 일반적이지 않은 현실적 문제가 있었다.
도 3을 참조하여 계속해서 본 발명의 일 실시예에 따른 용종 진단 방법을 설명하면, 유사 협대역 내시경 영상으로 이미지 변환된 영상은 네트워크를 통해 4개의 GPU 그래픽 카드가 설치된 딥러닝 워크스테이션으로 전송된다(S350).
한편, 딥러닝 워크스테이션은 본 발명의 일 실시예에 따른 용종 검출부에 대응될 수 있다.
딥러닝 워크스테이션으로 전송된 이미지들 중 연속된 영상 프레임은 차례로 4개의 멀티 GPU 그래픽 카드에 할당된다. 상기 4개의 멀티 GPU 그래픽 카드는 딥러닝 모델에 병렬로 연결되어 4개의 이미지를 동시에 처리할 수 있다(S360). 한편, 멀티 GPU 그래픽 카드는 4개로 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 유사 협대역 내시경 영상은 딥러닝 기반의 용종 검출 모델에 적용될 수 있다(S370).
본 발명의 일 실시예에 따른 딥러닝 기반의 용종 검출 모델은 약 10,000장의 내시경 영상을 학습하여 얻어진 모델로, 내시경 이미지에서 용종의 위치 정보를 추출할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반의 용종 검출 모델은 도 5에 도시된 바와 같은 RetinaNet 딥러닝 모델 구조와 도 6에 도시된 바와 같은 RetinaNet 딥러닝 모델에서 사용된 ResNet50 딥러닝 모델 구조를 갖는다.
본 발명의 일 실시예에 따른 딥러닝 모델의 ResNet50 구조는 49개의 컨볼루션 레이어(convolution layer)와 1개의 풀링 레이어(pooling layer)로 이루어진 ResNet50 구조를 갖는다. 한편, 컨볼루션 레이어는 7x7 커널 1개, 1x1 커널 32개, 3x3 커널 16개로 구성될 수 있다.
ResNet50 구조를 통해 용종에 대한 특징(feature)을 추출하고, 특징 피라미드 네트워크(Feature Pyramid Network, FPN)을 통해 사각형의 용종 좌표와 스코어를 획득할 수 있다.
본 발명은 상기 딥러닝 모델을 통해 용종이 검출된 영상 프레임이 연속하여 5개 이상 나오는 경우, 5개 영상 프레임 중 마지막 프레임의 용종 검출 좌표 및 스코어를 저장하고 최종적으로 용종이 있는 것으로 판단한다(S380, S390).
본 발명의 일 실시예에 따라 5개 이상의 영상 프레임에서 연속하여 용종이 검출된 경우만, 최종적으로 용종이 있는 것으로 판단함으로써, 순간적으로 나타났다가 사라지는 거품이나 이물질로 인해 발생할 수 있는 위양성률(False Positive)을 줄이는 효과를 달성할 수 있다.
본 발명의 일 실시예에 따라 최종적으로 용종이 있는 것으로 판단하면, 최종 검출된 용종의 위치 좌표 및 확률 값을 네트워크를 통해 용종 검출 프로그램이 설치되어 있는 워크스테이션으로 전송된다(S400).
본 발명의 일 실시예에 따라 검출된 용종의 위치 좌표는 내시경 영상 프레임 사이즈가 변경되기 전의 내시경 이미지 사이즈에 맞게 변환되고, 사각형 형태의 UI로 표시할 수 있다(S410). 한편, 원본 영상의 프레임에서의 용종 위치 좌표는 DB(2000)에 추가되어 딥러닝 모델을 강화시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 영상 획득부
200 : 영상 전처리부
300 : 용종 검출부
1000 : 용종 진단 장치
2000 : DB
200 : 영상 전처리부
300 : 용종 검출부
1000 : 용종 진단 장치
2000 : DB
Claims (21)
- 영상 획득부가 인체 내부의 대장에서 촬영한 영상을 수신하는 단계;
영상 전처리부가 상기 수신한 영상으로부터 유사 협대역 내시경 영상을 출력하는 단계; 및
용종 검출부가 상기 유사 협대역 내시경 영상에 대하여 딥러닝 모델을 이용하여 상기 유사 협대역 내시경 영상에서 용종의 유무 및 상기 용종의 위치 정보를 검출하는 단계;
를 포함하는 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법으로,
상기 영상 전처리부가 상기 수신한 영상으로부터 유사 협대역 내시경 영상을 출력하는 단계는
상기 수신한 영상에서 적색 채널의 정보를 제거하고, 녹색 채널 및 청색 채널 중 적어도 어느 하나의 채널을 이용하여 영상을 처리하는 단계; 및
MSRCR(Multi-Scale Retinex with Color Restoration)알고리즘을 적용하여 상기 유사 협대역 내시경 영상을 출력하는 단계;
를 포함하고,
상기 용종 검출부가 상기 유사 협대역 내시경 영상에 대하여 딥러닝 모델을 이용하여 상기 유사 협대역 내시경 영상에서 용종의 유무 및 상기 용종의 위치 정보를 검출하는 단계는
기 설정된 개수의 복수의 영상 프레임에서 연속하여 용종을 검출하는 경우, 용종이 있는 것으로 판단하고, 상기 용종이 연속적으로 검출된 복수의 영상 프레임 중 마지막 영상 프레임에 포함된 용종의 위치 정보를 검출하는 것을 특징으로 하는,
내시경 영상으로부터 용종 진단 방법. - 삭제
- 제1항에 있어서,
상기 수신한 영상에서 적색 채널의 정보를 제거하고, 녹색 채널 및 청색 채널 중 적어도 어느 하나의 채널을 이용하여 영상을 처리하는 단계는
상기 수신한 영상을 청색 채널을 이용하여 처리하는 단계;
상기 청색 채널을 통해 처리된 영상을 녹색 채널을 이용하여 처리하는 단계; 및
상기 녹색 채널을 통해 처리된 영상을 녹색 채널을 이용하여 처리하는 단계를 포함하여 유사 협대역 내시경 영상을 출력하는 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법. - 제1항에 있어서,
상기 수신한 영상에서 적색 채널의 정보를 제거하고, 녹색 채널 및 청색 채널 중 적어도 어느 하나의 채널을 이용하여 영상을 처리하는 단계는
상기 수신한 영상을 녹색 채널을 이용하여 처리하는 단계;
상기 녹색 채널을 통해 처리된 영상을 청색 채널을 이용하여 처리하는 단계; 및
상기 청색 채널을 통해 처리된 영상을 청색 채널을 이용하여 처리하는 단계를 포함하여 유사 협대역 내시경 영상을 출력하는 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법. - 삭제
- 제1항에 있어서,
상기 용종 검출부는 복수의 GPU에 병렬로 연결되어 복수의 영상을 동시에 처리하는 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법. - 삭제
- 인체 내부의 대장에서 촬영한 영상을 수신하는 영상 획득부;
상기 영상 획득부가 수신한 영상으로부터 유사 협대역 내시경 영상을 출력하는 영상 전처리부; 및
상기 영상 전처리부에서 출력된 상기 유사 협대역 내시경 영상에 대하여 딥러닝 모델을 이용하여 상기 유사 협대역 내시경 영상에서 용종의 유무 및 상기 용종의 위치 정보를 검출하는 용종 검출부;
를 포함하는 딥러닝 학습을 이용한 내시경 영상으로부터의 용종 진단 장치로,
상기 영상 전처리부는 수신한 영상에서 적색 채널의 정보를 제거하고, 녹색 채널 및 청색 채널 중 적어도 어느 하나의 채널을 이용하여 영상을 처리한 후, MSRCR(Multi-Scale Retinex with Color Restoration) 알고리즘을 적용하여 상기 유사 협대역 내시경 영상을 출력하고,
상기 용종 검출부는 기 설정된 개수의 복수의 영상 프레임에서 연속하여 용종을 검출하는 경우, 용종이 있는 것으로 판단하고, 상기 용종이 연속적으로 검출된 복수의 영상 프레임 중 마지막 영상 프레임에 포함된 용종의 위치 정보를 검출하는, 내시경 영상으로부터의 용종 진단 장치. - 삭제
- 제8항에 있어서,
상기 영상 전처리부는
상기 수신한 영상을 청색 채널을 이용하여 처리하고,
상기 청색 채널을 통해 처리된 영상을 녹색 채널을 이용하여 처리하며,
상기 녹색 채널을 통해 처리된 영상을 녹색 채널을 이용하여 처리하여 유사 협대역 내시경 영상을 출력하는 딥러닝 학습을 이용한 내시경 영상으로부터의 용종 진단 장치. - 제8항에 있어서,
상기 영상 전처리부는
상기 수신한 영상을 녹색 채널을 이용하여 처리하고
상기 녹색 채널을 통해 처리된 영상을 청색 채널을 이용하여 처리하며,
상기 청색 채널을 통해 처리된 영상을 청색 채널을 이용하여 처리하여 유사 협대역 내시경 영상을 출력하는 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 장치. - 삭제
- 제8항에 있어서,
상기 용종 검출부는 복수의 GPU에 병렬로 연결되어 복수의 영상을 동시에 처리하는 딥러닝 학습을 이용한 내시경 영상으로부터의 용종 진단 장치. - 삭제
- 프로세서와 결합되어, 컴퓨터로 판독가능한 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 상기 기록 매체에 저장된 명렁어에 의해 상기 프로세서에서 실행되며,
상기 프로세서는,
인체 내부의 대장에서 촬영한 영상을 수신하는 제1 오퍼레이션;
상기 수신한 영상으로부터 유사 협대역 내시경 영상을 출력하는 제2 오퍼레이션; 및
상기 유사 협대역 내시경 영상에 대하여 딥러닝 모델을 이용하여 상기 유사 협대역 내시경 영상에서 용종의 유무 및 상기 용종의 위치 정보를 검출하는 제3 오퍼레이션을 수행하는 딥러닝 학습을 이용한 내시경 영상으로부터의 용종 진단 프로그램으로,
상기 제2 오퍼레이션은 수신한 영상에서 적색 채널의 정보를 제거하고, 녹색 채널 및 청색 채널 중 적어도 어느 하나의 채널을 이용하여 영상을 처리한 후, MSRCR(Multi-Scale Retinex with Color Restoration) 알고리즘을 적용하여 상기 유사 협대역 내시경 영상을 출력하고,
상기 제3 오퍼레이션은 기 설정된 개수의 복수의 영상 프레임에서 연속하여 용종을 검출하는 경우, 용종이 있는 것으로 판단하고, 상기 용종이 연속적으로 검출된 복수의 영상 프레임 중 마지막 영상 프레임에 포함된 용종의 위치 정보를 검출하는, 용종 진단 프로그램. - 삭제
- 제15항에 있어서,
상기 제2 오퍼레이션은
상기 수신한 영상을 청색 채널을 이용하여 처리하는 오퍼레이션;
상기 청색 채널을 통해 처리된 영상을 녹색 채널을 이용하여 처리하는 오퍼레이션; 및
상기 녹색 채널을 통해 처리된 영상을 녹색 채널을 이용하여 처리하는 오퍼레이션을 포함하여 유사 협대역 내시경 영상을 출력하는 딥러닝 학습을 이용한 내시경 영상으로부터의 용종 진단을 위한 기록매체에 저장된 컴퓨터 프로그램. - 제15항에 있어서,
상기 제2 오퍼레이션은
상기 수신한 영상을 녹색 채널을 이용하여 처리하는 오퍼레이션;
상기 녹색 채널을 통해 처리된 영상을 청색 채널을 이용하여 처리하는 오퍼레이션; 및
상기 청색 채널을 통해 처리된 영상을 청색 채널을 이용하여 처리하는 오퍼레이션을 포함하여 유사 협대역 내시경 영상을 출력하는 딥러닝 학습을 이용한 내시경 영상으로부터의 용종 진단을 위한 기록매체에 저장된 컴퓨터 프로그램. - 삭제
- 제15항에 있어서,
상기 제3 오퍼레이션은 복수의 GPU에 병렬로 연결되어 복수의 영상을 동시에 처리하는 딥러닝 학습을 이용한 내시경 영상으로부터의 용종 진단을 위한 기록매체에 저장된 컴퓨터 프로그램. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151538A KR102344585B1 (ko) | 2019-11-22 | 2019-11-22 | 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151538A KR102344585B1 (ko) | 2019-11-22 | 2019-11-22 | 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210063522A KR20210063522A (ko) | 2021-06-02 |
| KR102344585B1 true KR102344585B1 (ko) | 2021-12-30 |
Family
ID=76372595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190151538A KR102344585B1 (ko) | 2019-11-22 | 2019-11-22 | 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102344585B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023140449A1 (ko) * | 2022-01-24 | 2023-07-27 | 가톨릭대학교 산학협력단 | 담낭 용종 판단 시스템 및 그 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102526434B1 (ko) | 2021-07-13 | 2023-04-26 | 경희대학교 산학협력단 | 병변 진단 장치 및 그 방법 |
| KR102641489B1 (ko) * | 2022-01-05 | 2024-02-27 | 주식회사 아이넥스코퍼레이션 | 내시경 영상을 이용한 용종 검출 방법, 장치 및 프로그램 |
| KR102641492B1 (ko) * | 2022-01-05 | 2024-02-27 | 주식회사 아이넥스코퍼레이션 | 내시경 영상을 이용한 용종 검출 방법, 장치 및 프로그램 |
| KR102648922B1 (ko) * | 2022-01-19 | 2024-03-15 | 고지환 | 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치 |
| KR102607977B1 (ko) * | 2022-03-07 | 2023-11-30 | 주식회사 웨이센 | 내시경 영상 분석 ai 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법 |
| KR102607959B1 (ko) * | 2022-03-07 | 2023-11-30 | 주식회사 웨이센 | 내시경 영상 분석 ai 모델을 이용한 소화관 내시경 영상 분석 장치 및 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160049897A (ko) * | 2014-10-28 | 2016-05-10 | 삼성전자주식회사 | 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법 |
| KR20190046530A (ko) | 2017-10-26 | 2019-05-07 | 아주대학교산학협력단 | 캡슐내시경의 위치 추적 방법 및 장치 |
| KR20190090150A (ko) * | 2018-01-24 | 2019-08-01 | 주식회사 인트로메딕 | 캡슐 내시경 영상의 서술자 생성 방법 및 장치, 서술자 기반 캡슐 내시경 영상 검색 방법 및 캡슐 내시경 모니터링 디바이스 |
| KR102118783B1 (ko) * | 2018-03-05 | 2020-06-03 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 조명환경에 강인한 색상 필터링을 위한 전처리 방법 및 그 시스템 |
-
2019
- 2019-11-22 KR KR1020190151538A patent/KR102344585B1/ko active IP Right Grant
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023140449A1 (ko) * | 2022-01-24 | 2023-07-27 | 가톨릭대학교 산학협력단 | 담낭 용종 판단 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210063522A (ko) | 2021-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102344585B1 (ko) | 딥러닝 학습을 이용한 내시경 영상으로부터 용종 진단 방법, 장치 및 프로그램 | |
| US10803582B2 (en) | Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program | |
| JP5800468B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| CN105979847B (zh) | 内窥镜图像诊断辅助系统 | |
| CN113573654A (zh) | 用于检测并测定病灶尺寸的ai系统 | |
| WO2017030747A1 (en) | Reconstruction with object detection for images captured from a capsule camera | |
| KR20190103937A (ko) | 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치 | |
| US20160155234A1 (en) | Methods of and apparatuses for modeling structures of coronary arteries from three-dimensional (3d) computed tomography angiography (cta) images | |
| US20230014490A1 (en) | Artificial intelligence detection system for mechanically-enhanced topography | |
| US11744453B2 (en) | Methods and apparatus to detect bleeding vessels | |
| CN111784686A (zh) | 一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质 | |
| CN112164026B (zh) | 一种内窥镜息肉实时检测方法、系统及终端 | |
| CN108697310B (zh) | 图像处理装置、图像处理方法和记录了程序的介质 | |
| CN113889238B (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| KR102602392B1 (ko) | 딥러닝 모델을 이용한 내시경 영상으로부터의 병변 검출 방법, 장치 및 프로그램 | |
| US11356608B2 (en) | System and method to obtain a moving endoscopic image | |
| CN116128801A (zh) | 一种基于多任务学习的图像清洁度评估方法及相关装置 | |
| CN116205814A (zh) | 医用内窥镜图像增强方法、系统及计算机设备 | |
| US11120554B2 (en) | Image diagnosis apparatus, image diagnosis method, and program | |
| Chen et al. | Pseudo-labeling for small lesion detection on diabetic retinopathy images | |
| JP2009273644A (ja) | 医用画像撮影装置、医用画像処理装置および医用画像処理プログラム | |
| KR20220072761A (ko) | 내시경 영상 병변 진단 시스템 | |
| Gadermayr et al. | Fully automated decision support systems for celiac disease diagnosis | |
| KR102405434B1 (ko) | 딥러닝 모델을 이용한 내시경 영상으로부터의 불필요한 이미지 제거 방법, 장치 및 프로그램 | |
| KR20160035888A (ko) | 내시경 장비를 이용한 진단 보조 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |