KR102221943B1 - 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템 - Google Patents

인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템 Download PDF

Info

Publication number
KR102221943B1
KR102221943B1 KR1020190012209A KR20190012209A KR102221943B1 KR 102221943 B1 KR102221943 B1 KR 102221943B1 KR 1020190012209 A KR1020190012209 A KR 1020190012209A KR 20190012209 A KR20190012209 A KR 20190012209A KR 102221943 B1 KR102221943 B1 KR 102221943B1
Authority
KR
South Korea
Prior art keywords
image
capsule endoscope
lesion
endoscope image
layer
Prior art date
Application number
KR1020190012209A
Other languages
English (en)
Other versions
KR20200094565A (ko
Inventor
이한희
이승철
Original Assignee
가톨릭대학교 산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단, 포항공과대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020190012209A priority Critical patent/KR102221943B1/ko
Publication of KR20200094565A publication Critical patent/KR20200094565A/ko
Application granted granted Critical
Publication of KR102221943B1 publication Critical patent/KR102221943B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템에 관한 것으로서, 인공지능 기반 캡슐 내시경 영상 판독 시스템은 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)을 전처리하는 전처리부; 및 전처리된 캡슐 내시경 영상을 입력으로 하여 병변이 있는 영상과 병변이 없는 영상으로 분류하는 합성곱 신경망(CNN)을 포함하고, 상기 합성곱 신경망(CNN)은 전처리된 캡슐 내시경 영상을 입력으로 받는 입력층; 상기 입력부를 통해 입력된 전처리된 캡슐 내시경 영상에 대해 특징을 추출하는 합성곱층; 그 추출된 소장 내시경 영상의 특징을 서브 샘플링하여 시스템의 안정성과 효율성을 높이는 최대 풀링(Max pooling)층; 완전연결(Fully connected)층을 대신하며, CAM(class activation map)을 얻는 전역평균풀링(global average pooling)층; 및 캡슐 내시경 영상 각각에 대해 병변이 존재하는 확률과 병변이 존재하지 않는 확률값을 출력하는 출력층을 포함한다.
본 발명에 의하면, 캡슐내시경으로 촬영된 대량의 내시경 영상을 판독하는 의사의 판독 시간을 줄이고 판독의 정확도를 높일 수 있고, 이를 통해 양질의 진료가 가능하다.

Description

인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템{Method and system for reading capsule endoscopy image based on artificial intelligence}
본 발명은 캡슐 내시경 영상판독에 관한 것으로서, 특히 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템에 관한 것이다.
캡슐 내시경은 알약 모양의 캡슐을 입으로 삼켜 식도, 위장, 소장 등의 건강상태를 촬영하고 이 영상을 분석 및 판독하여 소화기 질환 진단에 이용되는 기기이다. 소장은 위와 대장의 중간에 위치하며, 길이는 6 미터 가량 된다. 캡슐내시경으로 소장을 촬영할 때 10시간 이상 촬영하며 5만장 이상의 영상이 기록되고, 의사가 판독하는 시간과 정확도에 한계가 있다.
등록특허공보 제10-1921582호(2018.11.19)
본 발명이 해결하고자 하는 과제는 종래 기술의 한계를 해결하기 위해 창출된 것으로서, 캡슐내시경으로 촬영된 대량의 내시경 영상에 대해 의사의 판독 시간을 줄이고 정확도를 높일 수 있는 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템을 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 4차원 인공지능 기반 캡슐 내시경 영상 판독 방법은, 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)을 전처리하는 제1단계; 상기 전처리된 캡슐 내시경 영상을 입력으로 합성곱 신경망(Convolutional Neural Network; CNN)의 합성곱층을 통해 상기 캡슐 내시경 영상의 특징을 추출하는 제2단계; 상기 추출된 캡슐 내시경 영상의 특징을 최대 풀링(Max pooling) 층을 통해 서브 샘플링하여 시스템의 안정성과 효율성을 높이는 제3단계; 상기 제2단계와 제3단계를 반복하는 제4단계; CNN의 완전연결(Fully connected) 층 대신 전역 평균 풀링(global average pooling) 층을 넣어 CAM(class activation map)을 얻는 제5단계; 및 상기 전역 평균 풀링 층을 통해 병변이 있는 영상을 검출하는 제6단계를 포함한다.
상기 제1단계는 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)의 원본 이미지를 제외한 상하 좌우에 기록된 문자, 숫자 및 기호를 포함한 노이즈를 제거하는 단계; RGB(빨강, 초록, 파랑)로 표현되어 있는 상기 캡슐 내시경 영상을 HSV(색상, 채도, 명도)로 표현되는 영상으로 변환하는 단계; H(색상)의 영역에서 붉은 색으로 볼 수 있는 영역만 추출하는 단계; 및 상기 추출된 영역과 기존의 영상이 겹치는 부분을 RGB로 다시 표현하는 단계를 포함한다.
본 발명에 따른 4차원 인공지능 기반 캡슐 내시경 영상 판독 방법은, 다수의 캡슐 내시경 영상 각각을 학습된 합성곱 신경망에 입력시켜 각 영상마다 병변이 존재하는 확률값을 얻는 단계; 상기 병변이 존재하는 확률값을 이용하여 상기 캡슐 내시경 영상을 비디오 클립으로 생성하는 단계를 더 포함할 수 있다. 상기 비디오 클립의 각 영상은 CAM(Class Activation Map) 영상이 첨부될 수 있다. 상기 CNN에 입력되는 캡슐 내시경 영상은 다수의 캡슐 내시경 영상에 대해 병변이 있는 영상과 병변이 없는 영상 각각을 7:3의 비율로 학습(training) 데이터 세트와 테스트 데이터 세트로 나누고, 학습 데이터 세트는 병변이 있는 영상과 병변이 없는 영상의 수를 동일하게 하여 배치(batch)로 처리할 수 있다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 4차원 인공지능 기반 캡슐 내시경 영상 판독 시스템은, 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)을 전처리하는 전처리부; 및 상기 전처리된 캡슐 내시경 영상을 입력으로 하여 병변이 있는 영상과 병변이 없는 영상으로 분류하는 합성곱 신경망(CNN)을 포함하고, 상기 합성곱 신경망(CNN)은 상기 전처리된 캡슐 내시경 영상을 입력으로 받는 입력층; 상기 입력부를 통해 입력된 전처리된 캡슐 내시경 영상에 대해 특징을 추출하는 합성곱층; 상기 추출된 소장 내시경 영상의 특징을 서브 샘플링하여 시스템의 안정성과 효율성을 높이는 최대 풀링(Max pooling)층; 완전연결(Fully connected)층을 대신하며, CAM(class activation map)을 얻는 전역평균풀링(global average pooling)층; 및 상기 캡슐 내시경 영상 각각에 대해 병변이 존재하는 확률과 병변이 존재하지 않는 확률값을 출력하는 출력층을 포함한다.
상기 전처리부는 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)의 원본 이미지를 제외한 상하 좌우에 기록된 문자, 숫자, 기호를 포함하는 노이즈를 제거하는 노이즈 제거부; 상기 노이즈가 제거된, RGB(빨강, 초록, 파랑)로 표현되어 있는 상기 캡슐 내시경 영상을 HSV(색상, 채도, 명도)로 표현되는 영상으로 변환하는 색표현변환부; H(색상)의 영역에서 붉은 색으로 볼 수 있는 영역만 추출하는 색상추출부; 및 상기 추출된 영역과 기존의 영상이 겹치는 부분을 RGB로 다시 표현하고 상기 기존의 영상에서 상기 추출된 영역과 겹치지 않는 부분은 CNN의 학습이 용이한 색으로 처리하는 지도학습영상 생성부를 포함한다.
본 발명에 따른 4차원 인공지능 기반 캡슐 내시경 영상 판독 시스템은, 다수의 캡슐 내시경 영상 각각을 학습된 합성곱 신경망에 입력시켜 각 영상마다 병변이 존재하는 확률값을 얻고, 상기 확률값을 기초로 상기 캡슐 내시경 영상을 비디오 클립으로 생성하는 비디오클립 생성부를 더 포함할 수 있다.
상기 비디오 클립을 구성하는 각 영상은 CAM(Class Activation Map) 영상이 첨부될 수 있다.
상기 합성곱 신경망(CNN)의 입력층은 다수의 캡슐 내시경 영상에 대해 병변이 있는 영상과 병변이 없는 영상 각각을 7:3의 비율로 학습(training) 데이터 세트와 테스트 데이터 세트로 나누고, 학습 데이터 세트에 대해 병변이 있는 영상과 병변이 없는 영상을 같은 수로 입력 받는다.
본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템에 의하면, 캡슐 내시경으로 10시간 이상 촬영하여 5만장 이상의 캡슐 내시경 영상이 기록되는데, 캡슐내시경으로 촬영된 대량(수만장)의 내시경 영상을 판독하는 의사의 판독 시간을 줄이고 판독의 정확도를 높일 수 있고, 이를 통해 양질의 진료가 가능하다.
도 1는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 일실시예를 블록도로 나타낸 것이다.
도 2는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 전처리부의 세부 구성을 블록도로 나타낸 것이다.
도 3은 는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 전처리부를 통해 캡슐 내시경 영상에서 원본 이미지를 제외한 영상의 상하 좌우에 기록된 문자, 숫자, 기호 등의 노이즈를 제거하는 것을 나타낸 것이다.
도 4는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 전처리부를 통해 노이즈가 제거되고 HSV로 표현된 캡슐내시경 영상과 H(색상)의 영역에서 붉은 색으로 추출된 영역과 기존 영상이 겹친 부분을 RGB로 표현하고, 나머지 부분은 지도학습을 용이하게 하기 위해 검은 색으로 처리한 영상을 나타낸 것이다.
도 5는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 합성곱 신경망(CNN)의 세부 구성을 나타낸 것이다.
도 6은 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템에 적용되는 데이터 세트(Dataset)와 배치(Batch)의 구성을 나타낸 것이다.
도 7은 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 비디오 클립 생성부를 통해 생성된 비디오 클립의 구조에 대한 일 예를 나타낸 것이다.
도 8은 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 비디오 클립 생성부를 통해 생성된 비디오 클립의 예를 나타낸 것이다.
도 9는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 방법에 대한 일실시예를 흐름도로 나타낸 것이다.
도 10은 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 방법을 구성하는 전처리 단계의 세부 내용을 흐름도로 나타낸 것이다.
이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 일실시예를 블록도로 나타낸 것이다. 도 1을 참조하면, 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 일실시예는 전처리부(110) 및 합성곱 신경망(Convolutional Neural Network : CNN, 120)을 포함하여 이루어지고, 비디오 클립 생성부(130)를 더 포함할 수 있다.
도 2는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 전처리부(110)의 세부 구성을 블록도로 나타낸 것이다. 전처리부(110)는 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)을 전처리하며, 노이즈 제거부(210), 색표현변환부(220), 색상추출부(230) 및 지도학습 영상 생성부(240)를 포함하여 이루어진다.
도 3은 노이즈 제거부(210)를 통해 캡슐 내시경 영상에서 원본 이미지를 제외한 영상의 상하 좌우에 기록된 문자, 숫자, 기호 등의 노이즈를 제거하는 것을 나타낸 것이다. 노이즈 제거부(210)는 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)의 원본 이미지(312)를 제외한, 캡슐내시경 영상의 상하 좌우에 기록된 문자, 숫자, 기호를 포함하는 노이즈(314, 316, 318)를 제거한다. 참조번호 320은 캡슐 내시경 영상(310)에서 노이즈가 제거된 영상을 나타낸 것이다.
색표현변환부(220)는 상기 노이즈가 제거된, RGB(빨강, 초록, 파랑)로 표현되어 있는 상기 캡슐 내시경 영상을 HSV(색상, 채도, 명도)로 표현되는 영상으로 변환한다. 색상추출부(230)는 H(색상)의 영역에서 붉은 색으로 볼 수 있는 영역만 추출한다. 지도학습 영상 생성부(240)는 상기 추출된 영역과 기존의 영상이 겹치는 부분을 RGB로 다시 표현하고 상기 기존의 영상에서 상기 추출된 영역과 겹치지 않는 부분은 CNN의 학습이 용이한 색으로 처리한다.
도 4는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 전처리부(110)를 통해 노이즈가 제거되고 HSV로 표현된 캡슐내시경 영상(410)과 H(색상)의 영역에서 붉은 색으로 추출된 영역과 기존 영상이 겹친 부분(422)을 RGB로 표현하고 나머지 부분(424)은 지도학습을 용이하게 하기 위해 검은 색으로 처리한 영상(420)을 나타낸 것이다.
도 5는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 합성곱 신경망(CNN)의 세부 구성을 나타낸 것이다. 도 5를 참조하면, 합성곱 신경망(CNN, 120)은 전처리된 캡슐 내시경 영상(515)을 입력으로 하여 병변이 있는 영상과 병변이 없는 영상으로 분류하며, 입력층(510), 합성곱층(520), 최대 풀링(Max pooling)층(530), 전역평균풀링(global average pooling)층(540) 및 출력층(550)을 포함하여 이루어진다.
입력층(510)은 전처리된 캡슐 내시경 영상(515)을 입력으로 받는다. 상기 전처리된 캡슐 내시경 영상(515)는 전처리부(110)를 통해 도 4에 도시된 지도학습 영상(420)으로 전처리된 것이 CNN(120)을 통한 학습(training)에 효과적이다.
복수의 합성곱층(520)은 상기 입력층을 통해 입력된 전처리된 캡슐 내시경 영상에 대해 특징을 추출한다.
최대 풀링(Max pooling)층(530)은 상기 추출된 소장 내시경 영상의 특징을 서브 샘플링(subsampling)하여 시스템의 안정성과 효율성을 높인다.
전역 평균 풀링(global average pooling)층(540)은 통상의 CNN에 사용되는 완전연결(Fully connected) 층을 대체하며, CAM(class activation map)을 얻는다. Global average pooling을 사용하면, 파리미터(parameter) 수를 획기적으로 줄일 수 있다. CAM(Class activation map)을 이용하여, 각 class를 어떻게 판단했는지 확인하고, 해당 class의 대략적 위치도 찾을 수 있다. 본 발명의 실시예에서는 상기 CAM을 해당 캡슐 내시경 영상 위에 겹쳐서 나타냄으로써 병변이 있는 부위를 쉽게 알 수 있게 할 수 있다.
출력층(550)은 상기 캡슐 내시경 영상 각각에 대해 병변이 존재하는 확률과 병변이 존재하지 않는 확률값을 출력한다.
한편, 비디오클립 생성부(130)는 다수의 캡슐 내시경 영상 각각을 학습된 합성곱 신경망(120)에 입력시켜 각 영상마다 병변이 존재하는 확률값을 얻고, 상기 확률값을 이용하여, 예를 들어 확률값이 큰 순서대로 상기 캡슐 내시경 영상을 비디오 클립으로 생성한다. 도 7은 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 비디오 클립 생성부를 통해 생성된 비디오 클립의 구조에 대한 일 예를 나타낸 것이다. 도 7을 참조하면, 병변이 없는 정상 이미지(705)와 정상이미지(725) 사이에 병변이 있는 병변이미지(710, …, 720)를 모아 비디오 클립을 생성함으로써 의사의 판독 시간을 줄일 수 있게 된다. 도 8은 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템의 비디오 클립 생성부(130)를 통해 생성된 비디오 클립의 예를 나타낸 것이다. 도 8을 참조하면, 비디오 클립을 구성하는 각 영상은 캡슐 내시경 영상(815)과 병변이 있을 확률을 나타내는 확률분포(810)를 기재하고, 환자 정보와 시간(820)와 병변이 있는 부위를 색상으로 나타내는 CAM(Class Activation Map, 825)으로 구성될 수 있다.
도 6은 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 시스템에 적용되는 데이터 세트(Dataset)와 배치(Batch)의 구성을 나타낸 것이다. 상기 합성곱 신경망(CNN)의 입력층(310)은 다수의 캡슐 내시경 영상에 대해 병변이 있는 영상과 병변이 없는 영상 각각을 7:3의 비율로 학습(training) 데이터 세트와 테스트 데이터 세트로 나누고, 학습 데이터 세트에 대해 병변이 있는 영상과 병변이 없는 영상을 같은 수로 입력 받을 수 있다.
도 9는 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 방법에 대한 일실시예를 흐름도로 나타낸 것이다. 도 1 내지 도 9를 참조하면, 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 방법은, 전처리부(110)를 통해 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)을 전처리한다.(S910단계)
도 10은 본 발명에 따른 인공지능 기반 캡슐 내시경 영상 판독 방법을 구성하는 전처리 단계(S910단계)의 세부 내용을 흐름도로 나타낸 것이다. 도 10을 참조하면, 전처리는 노이즈 제거부(210)을 통해 먼저 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)의 원본 이미지(312)를 제외한 상하 좌우에 기록된 문자, 숫자 및 기호를 포함한 노이즈(314, 316, 318)를 제거한다.(S1010단계) 색표현 변환부(220)를 통해 RGB(빨강, 초록, 파랑)로 표현되어 있는 상기 캡슐 내시경 영상을 HSV(색상, 채도, 명도)로 표현되는 영상(410)으로 변환한다.(S1020단계) 색상추출부(230)을 통해 H(색상)의 영역에서 붉은 색으로 볼 수 있는 영역만 추출한다.(S1030단계) 지도학습 영상 생성부(240)를 통해 상기 추출된 영역과 기존의 영상이 겹치는 부분(422)을 RGB로 다시 표현하고, 겹치지 않는 부분(424)은 학습이 용이한 색으로 처리한 영상(420)을 생성한다.(S1040단계)
상기 전처리된 캡슐 내시경 영상을 입력으로 합성곱 신경망(Convolutional Neural Network)의 합성곱층(520)을 통해 상기 캡슐 내시경 영상의 특징을 추출한다.(S920단계) 입력층(510)에 입력되는 캡슐 내시경 영상은 도 6에 도시된 바와 같이, 다수의 캡슐 내시경 영상에 대해 병변이 있는 영상(610)과 병변이 없는 영상(620) 각각을 7:3의 비율로 학습(training) 데이터 세트(630, 650)와 테스트 데이터 세트(640, 660)로 나누고, 학습 데이터 세트(650, 670)와 테스트 데이터 세트(660, 680)는 병변이 있는 영상과 병변이 없는 영상의 수를 동일하게 하여 배치(batch)로 처리할 수 있다.
상기 추출된 캡슐 내시경 영상의 특징을 최대 풀링(Max pooling) 층을 통해 서브 샘플링하여 시스템의 안정성과 효율성을 높인다.(S930단계) 상기 S920단계와 S930단계를 반복한다.(S940단계) CNN의 완전연결(Fully connected) 층을 대체하는 전역 평균 풀링(global average pooling) 층을 넣어 CAM(class activation map)을 얻고, 전역 평균 풀링 층을 통해 병변이 있을 확률을 표시함으로써 병변있는 영상을 검출한다.(S950단계)
그리고 나서, 다수의 캡슐 내시경 영상 각각을 학습된 합성곱 신경망에 입력시켜 각 영상마다 병변이 존재하는 확률값을 얻은 후, 상기 병변이 존재하는 확률값을 이용하여, 예를 들어 확률값이 큰 순서대로 상기 캡슐 내시경 영상을 비디오 클립으로 생성한다.(S960 단계) 상기 각 비디오 클립을 구성하는 각 영상은 도 8에 도시되어 있는 바와 같이 CAM(Class Activation Map) 영상(825)이 첨부될 수 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110 : 전처리부 120 : CNN
130 : 비디오클립 생성부 210 : 노이즈 제거부
220 : 색표현 변환부 230 : 색상추출부
240 : 지도학습 영상 생성부 310 : 전처리 전의 캡슐 내시경 영상
320 : 노이즈 제거된 캡슐 내시경 영상
410 : 색변환된 캡슐 내시경 영상
420 : 전처리 후의 지도학습 영상
510 : 입력층 515 : 캡슐 내시경 영상
520 : 합성곱층 530 : 최대 풀링층
540 : 전역평균풀링층 545 : CAM(Class Activation Map)
550 : 출력층 810 : 병변있는 영상의 확률값
815 : 병변있는 캡슐 내시경 영상 820 : 환자 정보 및 날짜
825 : CAM(Class Activation Map)

Claims (10)

  1. 전처리부가 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)을 전처리하는 제1단계; 합성곱 신경망(CNN)의 합성곱층이 상기 전처리된 캡슐 내시경 영상을 입력으로 상기 캡슐 내시경 영상의 특징을 추출하는 제2단계; 상기 합성곱 신경망(CNN)의 최대 풀링층이 상기 추출된 캡슐 내시경 영상의 특징을 서브 샘플링하여 시스템의 안정성과 효율성을 높이는 제3단계; 상기 제2단계와 제3단계를 반복하는 제4단계; 상기 합성곱 신경망의 전역 평균 풀링(global average pooling) 층이 상기 합성곱 신경망(CNN)의 완전연결(Fully connected)층을 대체하여 CAM(class activation map)을 얻는 제5단계; 및 상기 합성곱 신경망의 출력층이 상기 전역 평균 풀링 층을 통해 병변있을 확률값을 이용하여 병변이 있는 영상을 검출하는 제6단계를 포함하고,
    비디오클립생성부가 다수의 캡슐 내시경 영상 각각을 학습된 합성곱 신경망에 입력시켜 각 영상마다 병변이 존재하는 확률값을 얻는 단계; 및 상기 비디오클립생성부가 상기 병변이 존재하는 확률값을 이용하여 상기 캡슐 내시경 영상을 비디오 클립으로 생성하는 단계를 더 포함하는 것을 특징으로 하는, 인공지능 기반 캡슐 내시경 영상 판독 방법.
  2. 제1항에 있어서, 상기 제1단계는
    상기 전처리부의 노이즈 제거부가 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)의 원본 이미지를 제외한 상하 좌우에 기록된 문자, 숫자 및 기호를 포함한 노이즈를 제거하는 단계;
    상기 전처리부의 색표현변환부가 RGB(빨강, 초록, 파랑)로 표현되어 있는 상기 캡슐 내시경 영상을 HSV(색상, 채도, 명도)로 표현되는 영상으로 변환하는 단계;
    상기 전처리부의 색상추출부가 H(색상)의 영역에서 붉은 색으로 볼 수 있는 영역만 추출하는 단계; 및
    상기 전처리부의 지도학습영상 생성부가 상기 추출된 영역과 기존의 영상이 겹치는 부분을 RGB로 다시 표현하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반 캡슐 내시경 영상 판독 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 각 영상은
    CAM(Class Activation Map) 영상이 첨부되어 있는 것을 특징으로 하는, 인공지능 기반 캡슐 내시경 영상 판독 방법.
  5. 제1항에 있어서, 캡슐내시경 영상은
    다수의 캡슐 내시경 영상에 대해 병변이 있는 영상과 병변이 없는 영상 각각을 7:3의 비율로 학습(training) 데이터 세트와 테스트 데이터 세트로 나누어지고, 학습 데이터 세트는 병변이 있는 영상과 병변이 없는 영상의 수를 동일하게 하여 배치(batch)로 처리되는 것을 특징으로 하는, 인공지능 기반 캡슐 내시경 영상 판독 방법.
  6. 캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)을 전처리하는 전처리부; 및 상기 전처리된 캡슐 내시경 영상을 입력으로 하여 병변이 있는 영상과 병변이 없는 영상으로 분류하는 합성곱 신경망(CNN)을 포함하고,
    상기 합성곱 신경망(CNN)은, 상기 전처리된 캡슐 내시경 영상을 입력으로 받는 입력층; 상기 입력층을 통해 입력된 전처리된 캡슐 내시경 영상에 대해 특징을 추출하는 합성곱층; 상기 캡슐 내시경 영상의 특징을 서브 샘플링하여 시스템의 안정성과 효율성을 높이는 최대 풀링(Max pooling)층; 완전연결(Fully connected)층을 대신하며, CAM(class activation map)을 얻는 전역평균풀링(global average pooling)층; 및 상기 캡슐 내시경 영상 각각에 대해 병변이 존재하는 확률과 병변이 존재하지 않는 확률값을 출력하는 출력층을 포함하며,
    다수의 캡슐 내시경 영상 각각을 학습된 합성곱 신경망에 입력시켜 각 영상마다 병변이 존재하는 확률값을 얻고, 상기 확률값을 이용하여 상기 캡슐 내시경 영상을 비디오 클립으로 생성하는 비디오클립 생성부를 더 포함하는 것을 특징으로 하는, 인공지능 기반 캡슐 내시경 영상 판독 시스템.
  7. 제6항에 있어서, 상기 전처리부는
    캡슐 내시경에 의해 촬영된 영상(캡슐 내시경 영상)의 원본 이미지를 제외한 상하 좌우에 기록된 문자, 숫자, 기호를 포함하는 노이즈를 제거하는 노이즈 제거부;
    상기 노이즈가 제거된, RGB(빨강, 초록, 파랑)로 표현되어 있는 상기 캡슐 내시경 영상을 HSV(색상, 채도, 명도)로 표현되는 영상으로 변환하는 색표현변환부;
    H(색상)의 영역에서 붉은 색으로 볼 수 있는 영역만 추출하는 색상추출부; 및
    상기 추출된 영역과 기존의 영상이 겹치는 부분을 RGB로 다시 표현하고 상기 기존의 영상에서 상기 추출된 영역과 겹치지 않는 부분은 CNN의 학습이 용이한 색으로 처리하는 지도학습영상 생성부를 포함하는 것을 특징으로 하는 인공지능 기반 캡슐 내시경 영상 판독 시스템.
  8. 삭제
  9. 제6항에 있어서, 상기 비디오 클립을 구성하는 각 영상은
    CAM(Class Activation Map) 영상이 첨부되어 있는 것을 특징으로 하는, 인공지능 기반 캡슐 내시경 영상 판독 시스템.
  10. 제6항에 있어서, 상기 합성곱 신경망(CNN)의 입력층은
    다수의 캡슐 내시경 영상에 대해 병변이 있는 영상과 병변이 없는 영상 각각을 7:3의 비율로 학습(training) 데이터 세트와 테스트 데이터 세트로 나누고, 학습 데이터 세트에 대해 병변이 있는 영상과 병변이 없는 영상을 같은 수로 입력 받는 것을 특징으로 하는, 인공지능 기반 캡슐 내시경 영상 판독 시스템.
KR1020190012209A 2019-01-30 2019-01-30 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템 KR102221943B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190012209A KR102221943B1 (ko) 2019-01-30 2019-01-30 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190012209A KR102221943B1 (ko) 2019-01-30 2019-01-30 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200094565A KR20200094565A (ko) 2020-08-07
KR102221943B1 true KR102221943B1 (ko) 2021-03-04

Family

ID=72049883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190012209A KR102221943B1 (ko) 2019-01-30 2019-01-30 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102221943B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191643A1 (ko) * 2021-03-10 2022-09-15 주식회사 지오비전 딥러닝을 이용한 위내시경 검사의 신뢰성을 향상시킬 수 있는 위내시경 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102262684B1 (ko) * 2020-11-13 2021-06-09 주식회사 웨이센 영상 수신 장치의 인공지능 기반의 영상 처리 방법
WO2022119364A1 (ko) * 2020-12-03 2022-06-09 주식회사 서르 캡슐 내시경 영상 기반 소장 병변 판독 방법, 장치 및 프로그램
KR20230071409A (ko) 2021-11-16 2023-05-23 주식회사 아이도트 캡슐 내시경 영상 판독 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101875004B1 (ko) * 2017-01-04 2018-07-05 금오공과대학교 산학협력단 캡슐 내시경 영상을 이용한 자동 출혈 감지 방법 및 컴퓨터 프로그램
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR101929965B1 (ko) * 2017-11-01 2018-12-17 가천대학교 산학협력단 Relm과 pca 특징을 이용한 구조적 mri 영상 기반의 치매 진단 방법 및 그 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101921582B1 (ko) 2016-11-14 2018-11-26 주식회사 모멘텀컨설팅 의료 진단 시스템, 서버 및 방법
KR102376787B1 (ko) * 2017-06-14 2022-03-22 한국전자통신연구원 병변 영역을 판단하는 캡슐 내시경 및 수신 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101875004B1 (ko) * 2017-01-04 2018-07-05 금오공과대학교 산학협력단 캡슐 내시경 영상을 이용한 자동 출혈 감지 방법 및 컴퓨터 프로그램
KR101929965B1 (ko) * 2017-11-01 2018-12-17 가천대학교 산학협력단 Relm과 pca 특징을 이용한 구조적 mri 영상 기반의 치매 진단 방법 및 그 장치
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191643A1 (ko) * 2021-03-10 2022-09-15 주식회사 지오비전 딥러닝을 이용한 위내시경 검사의 신뢰성을 향상시킬 수 있는 위내시경 시스템

Also Published As

Publication number Publication date
KR20200094565A (ko) 2020-08-07

Similar Documents

Publication Publication Date Title
KR102221943B1 (ko) 인공지능 기반 캡슐 내시경 영상 판독 방법 및 시스템
US11612311B2 (en) System and method of otoscopy image analysis to diagnose ear pathology
Shin et al. Comparison of hand-craft feature based SVM and CNN based deep learning framework for automatic polyp classification
CN113496489B (zh) 内窥镜图像分类模型的训练方法、图像分类方法和装置
US20180108138A1 (en) Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data
CN110738655B (zh) 影像报告生成方法、装置、终端及存储介质
JP2024045234A (ja) 腸の病理学のための画像スコアリング
KR20040059312A (ko) 혀영상으로부터 관심영역 추출방법 및 혀영상을 이용한건강 모니터링방법 및 장치
EP3932290B1 (en) Medical image processing device, processor device, endoscope system, medical image processing method, and program
US10610098B1 (en) Generalized retinal image screening system (GRIS)
US10748279B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
Haddad et al. Image analysis model for skin disease detection: framework
WO2019132588A1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
KR102034648B1 (ko) 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN112288697B (zh) 用于量化异常程度的方法、装置、电子设备及可读存储介质
CN110110750B (zh) 一种原始图片的分类方法及装置
CN110097080B (zh) 一种分类标签的构建方法及装置
JP7087390B2 (ja) 診断支援装置、画像処理方法及びプログラム
JP7129058B2 (ja) 医用画像診断支援装置、プログラム及び医用画像診断支援方法
JP2021027867A (ja) ファイリング装置、ファイリング方法及びプログラム
WO2020230972A1 (ko) 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치
CN116580446B (zh) 一种泛血管疾病虹膜特点识别方法及系统
CN110974121A (zh) 一种判断消化内窥镜检查是否染色的方法及系统
KR20200131722A (ko) 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant