KR102595429B1 - 장 정결도의 자동화 계산 장치 및 방법 - Google Patents

장 정결도의 자동화 계산 장치 및 방법 Download PDF

Info

Publication number
KR102595429B1
KR102595429B1 KR1020190160810A KR20190160810A KR102595429B1 KR 102595429 B1 KR102595429 B1 KR 102595429B1 KR 1020190160810 A KR1020190160810 A KR 1020190160810A KR 20190160810 A KR20190160810 A KR 20190160810A KR 102595429 B1 KR102595429 B1 KR 102595429B1
Authority
KR
South Korea
Prior art keywords
images
image
contamination
frame
pollution
Prior art date
Application number
KR1020190160810A
Other languages
English (en)
Other versions
KR20210071173A (ko
Inventor
임윤정
남지형
황영배
Original Assignee
동국대학교 산학협력단
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단, 충북대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020190160810A priority Critical patent/KR102595429B1/ko
Priority to PCT/KR2020/015914 priority patent/WO2021112436A1/ko
Publication of KR20210071173A publication Critical patent/KR20210071173A/ko
Application granted granted Critical
Publication of KR102595429B1 publication Critical patent/KR102595429B1/ko

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 장 정결도의 자동화 계산 장치 및 방법에 관한 것으로, 특히 캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정하는 장 정결도 자동화 계산 장치 및 방법에 관한 것이다. 본 발명은, 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 영상 획득부; 상기 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 색상으로 구분하여 상기 프레임의 오염도를 판단하는 오염 산출부; 및 상기 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출하는 장 정결도 판단부를 포함하는 장 정결도의 자동화 계산 장치 및 방법을 제공한다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 장 캡슐 내시경에서 객관적인 장정결 척도(objective bowel preparation scale)를 산출하여 보다 객관적으로 환자의 상태에 대응할 수 있는 의료서비스의 질 향상을 기대할 수 있는 이점이 있다.

Description

장 정결도의 자동화 계산 장치 및 방법{APPARATUS AND METHOD FOR AUTOMATIC CALCULATION OF BOWEL PREPARATION}
본 발명은, 장 정결도의 자동화 계산 장치 및 방법에 관한 것으로, 특히 캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정하는 장 정결도 자동화 계산 장치 및 방법에 관한 것이다.
캡슐 내시경을 이용한 검사는 카메라가 내장된 무선 캡슐내시경이 소화기장관의 연동운동과 중력에 의해 이동하면서 소화기관 내부를 촬영하며, 촬영된 영상은 환자가 장착한 수신기에 전송 및 저장되며 이를 컴퓨터에 옮긴 이후 의사가 판독을 통해 병변을 찾는 검사를 나타낸다. 이와 같은 캡슐 내시경은 인체 내부에서 8~12시간 동안 체류하면서 무선 통신 또는 인체 통신 방식으로 촬영한 6~12만 장의 방대한 영상을 병변 판독 장치에 전송할 수 있다.
이와 관련, 종래의 장 정결도를 판단하는 기술은 공개되지 않은 전무한 상태이고, 실제 병원과 같은 실무에서는 캡슐 내시경의 장 정결도는 ① 소장 점막의 외부 모습과 ② 버블(bubble), 음식물 잔해(debris), 담즙(bile) 등에 의한 암흑도(obscuration) 정도에 의해 결정되는데, 의사인 판독자들의 주관적인 평가를 바탕으로 평가를 하고 있는 실정이다.
적절한 장정결 (adequate bowel preparation) 판단 기준에 대한 근거가 없이 학습과 경험에 의해 진단을 하는 경우, 판독자마다 결과가 달라지고, 같은 판독자라도 판독 시점에 따라 달라져 객관적으로 제시된 장정결 척도(bowel preparation scale)가 없는 문제점이 있다. 이에 따른 추후 임상적 결정의 수월성, 합리성을 위해서 객관적인 장정결 척도 평가 방법은 의료 질 향상을 위해 필요하다.
본 발명은 기존의 장 정결도를 측정한 자료를 기준으로, 획득된 영상을 분석하여 장 정결도를 분석하는 장 정결도의 자동화 계산 장치를 제공하는 것을 일 목적으로 한다.
또한 본 발명은, 장 정결도의 기계적 산출 과정을 통해 소장 캡슐내시경에서 장 정결도 결정에 대한 객관적이고 자동화된 평가 방법을 제공하고, 캡슐 내시경 진단율에 근거하여 적절한 장 정결도의 cut-off value(bowel preparation scale)를 수행하는 방법을 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, 환자의 소장 상태를 관찰하기 위한 캡슐 내시경으로부터 획득된 복수의 영상으로부터 장 정결도를 판단하는 장 정결도의 자동화 계산 장치에 있어서, 상기 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 영상 획득부; 상기 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 딥러닝 기술 과 색상으로 구분하여 상기 프레임의 오염도를 판단하는 오염 산출부; 및 상기 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출하는 장 정결도 판단부를 포함하는 장 정결도의 자동화 계산 장치 및 방법을 제공한다.
실시 예에 따라, 상기 영상 획득부는, 상기 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치 또는 색상 중 적어도 어느 하나를 포함하여 프레임으로 형성할 수 있다.
실시 예에 따라, 상기 영상 획득부는, 상기 환자의 소장 또는 대장에 존재하는 담즙(Bile), 배설물(Feces), 버블(Bubble) 또는 피(Blood) 중 적어도 어느 하나를 포함한 영상을 획득할 수 있다.
실시 예에 따라, 상기 오염 산출부는, 기 획득된 영상을 오염된 영상과 오염되지 않은 영상 또는 담즙(Bile), 배설물(Feces), 버블(Bubble), 피(Blood) 중 어느 하나로 분류하는 분류 모듈; 상기 분류 모듈에서 분류된 영상과 획득된 영상을 비교하는 비교 모듈; 및 상기 영상 획득부로부터 획득된 영상의 획득 부위 병변 위치 또는 오염 여부를 판단하는 판단 모듈을 포함할 수 있다
실시 예에 따라, 상기 오염 산출부는, 상기 영상으로부터 랜덤하게 영상을 추출한 후, 임상의가 판단한 오염/비오염 영상의 데이터베이스와 비교하여, 획득 또는 입력된 영상에 대해서 오염 유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력하는 과정을 수행하는 기계 학습부를 더 포함할 수 있다.
실시 예에 따라, 상기 기계 학습부는, 점막(Mucosa) 영역을 포함하는 영상으로부터 오염된 영상과 오염되지 않은 영상 또는 담즙(Bile), 배설물(Feces), 버블(Bubble), 피(Blood) 중 어느 하나에 해당되는 히스토그램 분포를 학습할 수 있다.
실시 예에 따라, 상기 장 정결도 판단부는, 오염 또는 비오염된 영상 분류를 이용하여 가중치의 합을 통해 한 장의 영상에 대한 오염 유무를 판단할 수 있다.
실시 예에 따라, 상기 장 정결도 판단부는, 상기 캡슐 내시경의 한번의 시술을 통해 얻어진 전체 영상의 개수 N과 오염된 영상의 개수 C의 비율인 C/N*100%를 계산하여 해당 시술에서의 장 정결도를 복수의 단계로 분류할 수 있다.
또한 본 발명은, 캡슐 내시경으로부터 복수의 영상을 획득하여 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 단계; 상기 프레임과 기 저장된 오염도 기준 영상을 비교하여 오염도를 색상으로 구분하여 오염도를 판단하는 단계; 및 상기 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 영상을 프레임으로 형성하는 단계는, 상기 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상 또는 비교 결과 등 모든 관련 데이터들을 프레임 형식으로 나타내는 과정을 더 포함할 수 있다.
실시 예에 따라, 상기 오염도를 판단하는 단계는, 상기 영상에서 담즙(Bile), 배설물(Feces), 버블(Bubble) 또는 피(Blood) 중 적어도 어느 하나를 임상의의 데이터베이스와 비교하여 색상을 검출하는 과정을 더 포함할 수 있다.
실시 예에 따라, 상기 오염도를 판단하는 단계는, 분류 모듈이 영상 획득부에서 획득된 영상을 분류하는 과정; 비교 모듈에서 임상의가 판단하여 진단을 내린 자료 및 기 저장된 데이터베이스와 상기 영상을 비교하는 단계; 및 판단 모듈에서 상기 영상의 오염 또는 비오염을 판단하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 영상의 가용 여부를 %로 산출하는 단계는, 상기 영상에 대한 오염도가 기 설정된 오염도 비율을 초과하는지 판단하는 과정을 더 포함할 수 있다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 장 캡슐 내시경에서 객관적인 장정결 척도(objective bowel preparation scale)를 산출할 수 있는 이점이 있다.
또한 본 발명은, 캡슐 내시경 진단율에 근거하여 환자의 상태에 따른 장정결(adequate bowel preparation)의 평가 기준을 마련할 수 있는 이점이 있다.
또한 본 발명은, 캡슐 내시경 검사의 품질 지표(quality indicator)를 활용하여 진단 또는 처방에 있어 보다 객관적으로 환자의 상태에 대응할 수 있는 의료서비스의 질 향상을 기대할 수 있는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 장치의 블록도를 나타낸다.
도 2는 본 발명의 실시 예에 따라 영상 획득부에서, 캡슐 내시경으로부터 획득된 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 모습을 나타낸다.
도 3은 본 발명의 영상 획득부에서 획득된 복수의 영상에 대한 다양한 실시 예를 나타낸다.
도 4는 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 방법의 순서도를 나타낸다.
도 5는 본 발명의 실시 예에 따른 오염 산출부에서, 복수의 영상에 대한 오염도를 판단하기 위해 딥러닝 기반으로 오염된 영상에 따라 분류한 모습을 나타낸다.
도 6은 본 발명의 실시 예에 따라 히스토그램 기반으로 영상의 비오염도를 판단하는 모습을 나타낸다.
도 7은 발명의 실시 예에 따른 오염 산출부에서, 원영역 검출을 통한 버블 영상의 오염도를 판단하는 모습을 나타낸다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명은, 캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정하는 발명이다.
즉, 캡슐 내시경을 환자의 몸 속에 통과시켜 획득된 영상 각각의 오염도를 평가하여, 전체 영상에 대한 오염도의 평균치 또는 가중치 적용을 통해 전체 영상에 대한 오염도 %를 산출하여, 1회의 영상 획득 과정을 통해 획득된 영상을 환자의 진단에 사용할 수 있는지 결정하는 기술에 관한 것이다.
본 기술을 적용하여, 장 캡슐 내시경에서 객관적인 장정결 척도(objective bowel preparation scale)를 산출할 수 있고, 캡슐 내시경 진단율에 근거하여 환자의 상태에 따른 장정결(adequate bowel preparation)의 평가 기준을 객관적으로 마련할 수 있다.
장 정결도를 자동으로 계산하는 과정은, 크게 기존 임상 데이터 들을 오프라인으로 수집하여 각 영상의 진단 결과가 저장된 데이터베이스가 구축된 이후 시작될 수 있다.
개별 영상을 획득한 이후 각 영상을 기존 데이터베이스와 비교하여 각 색상 영역을 딥러닝으로 비교하여, 각 영상에 대한 결과 값을 도출하고, 이를 전체 영상에 적용하여 결과 값을 도출하는데, 개별 영상의 장정결 여부를 이용한 딥러닝의 결과는, 아래와 같이 산출될 수 있다.
장정결도 ( % ) = 장정결이 적절한 영상 / 전체 영상 (또는 몇 분 간격의 영상)
이는 Map view color의 비율을 이용한 장정결도 자동화 계산 방법으로, 아래의 도 1 내지 도 7을 통해 자세히 설명한다.
도 1은 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 장치의 블록도를 나타낸다.
도 1을 참조하면, 본 발명은 영상 획득부(10), 오염 산출부(20), 장 정결도 판단부(30), 기계 학습부(21), 디스플레이부(40)를 포함할 수 있다.
영상 획득부(10)는, 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성할 수 있다.
오염 산출부(20)는, 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 색상으로 구분하여 상기 프레임의 오염도를 판단할 수 있다.
오염 산출부(20)는 분류 모듈, 비교 모듈 및 판단 모듈을 포함할 수 있다.
분류 모듈은, 염된 영상과 오염되지 않은 영상을 구분한 데이터베이스를 딥러닝 이전 사전에 구축을 수행하고, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 오염 요인으로 분류할 수 있다.
비교 모듈은, 임상의가 판단하여 진단을 내린 자료가 기 저장된 데이터베이스와 분류된 영상을 비교할 수 있다.
판단 모듈은, 오염/비오염을 판단하며, 판단 모듈은 획득된 영상에서의 오염 여부에 대해 판단할 수 있다.
오염 산출부(20)는, Mucosa 영역을 주로 포함하는 영상으로부터 정상 상태인 Mucosa의 색(주로 연한 분홍색)에 해당하는 히스토그램 분포를 학습하고, 배설물(Feces)/ 담즙(Bile) 영상으로부터 오염된 색(주로 녹색/황색)에 해당하는 히스토그램 분포를 학습할 수 있다.
또한, 빨간색 형태의 피가 나타나는 Blood 영상으로부터 오염된 색(주로 빨간색)에 해당하는 히스토그램 분포를 학습할 수 있으며, 추가적으로 영상 내에 존재할 수 있는 장기 내 공간 영역(주로 검은색), 음식물(주로 노란색) 등 캡슐 내시경 영상에서 존재할 수 있는 히스토그램을 학습할 수 있다.
이렇게 학습된 히스토그램 분포를 통해서 영상 획득부(10)로부터 영상이 입력되면 입력된 영상 중에서 각 픽셀 혹은 작은 영역에 대해서 각각의 히스토그램 분포 중 어떤 히스토그램에 더 가까운지를 판단할 수 있다.
이 과정에서 비교 모듈과 판단 모듈이 적용될 수 있고, 영상에서 mucosa의 색에 가까운 정도를 계산하여 비오염된 정도를 판단할 수 있다. 또한, 전체 픽셀 또는 영역 중 mucosa가 확인되는 비오염된 비율이 기 설정된 일정 수치 이상이면 판단 모듈에서 비오염된 영상으로 판단하고, 이의 정도를 수치로 출력할 수 있다.
장 정결도 판단부(30)는, 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출할 수 있다.
기계 학습부(21)는, 캡슐 내시경으로부터 획득된 다양한 영상으로부터 랜덤하게 영상을 추출한 후, 임상의가 판단한 오염/비오염 영상의 데이터베이스와 비교하여, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 오염 요인으로 인한 오염유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력하는 과정을 수행할 수 있다.
디스플레이부(40)는, 기계 학습부(21)에서 수행된 영상 처리의 결과 및 결과에 관련된 각 영역의 사진 등 다양한 정보를 표시할 수 있다. 다만, 이에 한정되는 것은 아니고, 장 정결도와 관련된 비교된 데이터베이스의 자료, 병변 영역 등 모든 구성 내용을 표현하는 것을 포함한다. 디스플레이부(40)는 도 2에 도시된 바와 같이 측정 결과를 보여줄 수 있다.
도 2는 본 발명의 실시 예에 따라 영상 획득부(10)에서, 캡슐 내시경으로부터 획득된 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 모습을 나타낸다.
도 2를 참조하면, 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상, 비교 결과 등 모든 데이터들을 프레임 형식으로 나타낼 수 있고, 이에 한정되지 않고, 각종 관련 정보 또한 포함하여 표시할 수 있다.
도 3은 본 발명의 영상 획득부(10)에서 획득된 복수의 영상에 대한 다양한 실시 예를 나타낸다.
도 3을 참조하면, (a) 내지 (h)는 캡슐 내시경으로부터 획득된 다양한 영상, 즉 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등이 획득된 모습을 나타낸다.
이하 상술한 장 정결도의 자동화 계산 장치를 이용한 장 정결도의 자동화 계산 방법에 대해 설명한다.
도 4는 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 방법의 순서도를 나타낸다.
도 4를 참조하면, 본 발명은, 캡슐 내시경으로부터 복수의 영상을 획득하여 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 단계(S10), 프레임과 기 저장된 오염도 기준 영상을 비교하여 오염도를 색상으로 구분하여 오염도를 판단하는 단계(S20) 및 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계(S30)를 포함할 수 있다.
캡슐 내시경으로부터 복수의 영상을 획득(S11)하여 복수의 영상 중 일정 영역의 영상을 프레임으로 형성(S12)하는 단계는, 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상, 비교 결과 등 모든 관련 데이터들을 프레임 형식으로 나타내는 과정이다.
프레임과 기 저장된 오염도 기준 영상을 비교(S21)하여 오염도를 색상으로 구분하여 오염도를 판단(S22)하는 단계는, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 실시 예에 따라, 임상의의 데이터베이스와 비교하여 색상을 검출하는 과정이다.
본 발명의 실시 예에 따라, 장 정결도의 임상적 유용성을 측정하는 과정은 캡슐 내시경의 진단율과의 연관성을 평가하는 과정으로, 장정결도 기준과 캡슐내시경 진단 여부를 이용한 적절한 장정결도의 cut-off value를 제시한다.
즉, 장정결도 적절성 기준을 50%로 했을 때 진단 여부 (유소견), 55%, 60%, 65%,.... 95% 로 했을 때 진단 여부는 각 기준에 대한 민감도, 특이도를 이용해 ROC curve를 그림을 나타낼 수 있으며, 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계(S30)는, 캡슐 내시경 진단율을 최대로 할 수 있는 최저의 장 정결도 기준 (cut-off value)을 확인하여 적절(adequate) / 부적절(inadequate)의 기준으로 제공할 수 있다.
도 5는 본 발명의 실시 예에 따른 오염 산출부(20)에서, 복수의 영상에 대한 오염도를 판단하기 위해 딥러닝 기반으로 오염된 영상에 따라 분류한 모습을 나타낸다.
도 6은 본 발명의 실시 예에 따라 히스토그램 기반으로 영상의 비오염도를 판단하는 모습을 나타낸다.
도 7은 발명의 실시 예에 따른 오염 산출부(20)에서, 원영역 검출을 통한 버블 영상의 오염도를 판단하는 모습을 나타낸다.
장 정결도를 계산하기 위해 도 5 내지 도 7과 같이 세 개의 오염 또는 비오염된 영상 분류를 이용하여 가중치의 합을 통해 한 장의 영상에 대한 오염 유무를 판단할 수 있다.
캡슐 내시경의 한번 시술을 통해 얻어진 전체 영상의 개수 N과 오염된 영상의 개수 C의 비율인 C/N*100%를 계산하여 해당 시술의 장 정결도를 Excellent/Good/Fair/Poor 의 네 가지 정도로 구분할 수 있다.
오염 산출부(20)는 분류 모듈, 비교 모듈 및 판단 모듈을 포함할 수 있는데, 각 모듈의 학습과 분류 방법은 다음과 같다.
또한 오염 산출부(20)는, 히스토그램 기반의 영상으로 판단하는 방법, 버블 영역이나 형태로 판단하는 방법, 그 외 딥러닝으로 판단하는 방법을 사용하여 영상을 분류 및 판단할 수 있으며, 각각의 방법에 가중치를 적용하여 오염도를 산출할 수 있다.
1. 딥러닝 기반 오염된 영상 분류 모듈
도 5를 참조하면, 다양한 캡슐 내시경 영상으로부터 랜덤하게 영상을 추출한 후에 임상의가 판단하여 오염된 영상과 오염되지 않은 영상을 구분한 데이터베이스를 딥러닝 이전 사전에 구축을 수행하고, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 오염 요인으로 인한 오염 유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력할 수 있다.
이 과정에서 분류 모듈은 영상 획득부(10)에서 획득된 영상을 분류하고, 비교 모듈은 임상의가 판단하여 진단을 내린 자료가 기 저장된 데이터베이스와 분류된 영상을 비교하여, 오염/비오염을 판단하며, 판단 모듈은 획득된 영상에서의 오염 여부에 대해 판단한다.
2. 히스토그램 기반 영상 비오염도 판단 모듈
도 6을 참조하면, Mucosa 영역을 주로 포함하는 영상으로부터 정상 상태인 Mucosa의 색(주로 연한 분홍색)에 해당하는 히스토그램 분포를 학습하고, 배설물(Feces)/ 담즙(Bile) 영상으로부터 오염된 색(주로 녹색/황색)에 해당하는 히스토그램 분포를 학습할 수 있다.
또한, 빨간색 형태의 피가 나타나는 Blood 영상으로부터 오염된 색(주로 빨간색)에 해당하는 히스토그램 분포를 학습할 수 있으며, 추가적으로 영상 내에 존재할 수 있는 장기 내 공간 영역(주로 검은색), 음식물(주로 노란색) 등 캡슐 내시경 영상에서 존재할 수 있는 히스토그램을 학습할 수 있다.
이렇게 학습된 히스토그램 분포를 통해서 영상 획득부(10)로부터 영상이 입력되면 입력된 영상 중에서 각 픽셀 혹은 작은 영역에 대해서 각각의 히스토그램 분포 중 어떤 히스토그램에 더 가까운지를 판단할 수 있다.
이 과정에서 비교 모듈과 판단 모듈이 적용될 수 있고, 영상에서 mucosa의 색에 가까운 정도를 계산하여 비오염된 정도를 판단할 수 있다. 또한, 전체 픽셀 또는 영역 중 mucosa가 확인되는 비오염된 비율이 기 설정된 일정 수치 이상이면 판단 모듈에서 비오염된 영상으로 판단하고, 이의 정도를 수치로 출력할 수 있다.
3. 원영역 검출을 통한 버블 영상의 오염도 판단 모듈
도 7을 참조하면, 입력 영상에서 원영역을 검출하여 영상 내에 원이 차지하는 비율을 판단하여 영상의 오염도를 판단하고, 이의 정도를 수치로 출력할 수 있다.
캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정할 수 있다.
본 발명의 실시 예에 따라 전체 영상에 대한 오염도 비율이 50%를 초과하는 경우, 획득된 영상에 대해 진단을 하는 경우 오진이 될 수 있는 불명확한 영상 자료로 분류될 수 있다. 다만, 비율 %는 상술한 실시 예에 한정되는 것은 아니고, 환자의 상태나 영상 획득 방식에 따라 조절이 가능하며, 프로그램 될 수 있다.
이 경우, 획득된 영상은 저장되거나 삭제될 수 있고, 다시 캡슐 내시경을 이용하여 재촬영을 수행할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
10 : 영상 획득부 20 : 오염 산출부
21 : 기계 학습부
30 : 장 정결도 판단부 40 : 디스플레이부

Claims (13)

  1. 환자의 소장 상태를 관찰하기 위한 캡슐 내시경으로부터 획득된 영상으로부터 장 정결도를 판단하는 장 정결도의 자동화 계산 장치에 있어서,
    캡슐 내시경 영상을 획득하여 시간 순서에 따라 상기 캡슐 내시경 영상을 프레임으로 형성하는 영상 획득부;
    상기 프레임을 기 저장된 오염도 기준 영상과 비교하여, 상기 프레임의 오염도를 판단하는 오염 산출부; 및
    상기 캡슐 내시경 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하고, 캡슐 내시경 영상에 포함된 전체 프레임 수와 비교하여, 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출하는 장 정결도 판단부를 포함하고,
    상기 오염 산출부는
    딥러닝에 기반하여 상기 프레임의 제1 오염도를 판단하는 제1 오염 산출부;
    점막(Mucosa), 배설물(Feces), 담즙(Bile) 및 피(Blood)에 해당하는 히스토그램 분포에 기반하여 상기 프레임의 제2 오염도를 판단하는 제2 오염 산출부; 및
    상기 프레임에서 오염된 부분을 원영역으로 검출하고, 상기 프레임에서 상기 원영역이 차지하는 비율을 판단하여, 상기 프레임의 제3 오염도를 판단하는 제3 오염 산출부를 더 포함하되,
    상기 제1 내지 제3 오염도의 가중치의 합을 이용하여 상기 프레임의 오염도를 판단하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  2. 제 1 항에 있어서,
    상기 영상 획득부는,
    상기 캡슐 내시경 영상을 시간 순서, 획득 부위, 병변 위치 또는 색상 중 적어도 어느 하나를 포함하여 프레임으로 형성하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  3. 제 1 항에 있어서,
    상기 영상 획득부는,
    상기 환자의 소장 또는 대장에 존재하는 점막(Mucosa), 담즙(Bile), 배설물(Feces), 버블(Bubble) 또는 피(Blood) 중 적어도 어느 하나를 포함한 캡슐 내시경 영상을 획득하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  4. 제 1 항에 있어서,
    상기 오염 산출부는,
    기 획득된 영상을 오염된 영상과 오염되지 않은 영상 또는 담즙(Bile), 배설물(Feces), 버블(Bubble), 피(Blood) 중 어느 하나로 분류하는 분류 모듈;
    상기 분류 모듈에서 분류된 영상과 캡슐 내시경 영상을 비교하는 비교 모듈; 및
    상기 캡슐 내시경 영상의 획득 부위 병변 위치 또는 오염 여부를 판단하는 판단 모듈을 포함하는 장 정결도의 자동화 계산 장치.
  5. 제 1 항에 있어서,
    상기 제1 오염 산출부는,
    상기 캡슐 내시경 영상으로부터 랜덤하게 영상을 추출한 후, 임상의가 판단한 오염/비오염 영상의 데이터베이스와 비교하여, 획득 또는 입력된 영상에 대해서 오염 유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력하는 과정을 수행하는 기계 학습부를 더 포함하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  6. 제 1 항에 있어서,
    상기 제2 오염 산출부는,
    점막(Mucosa) 영역을 포함하는 영상으로부터 오염된 영상과 오염되지 않은 영상 또는 담즙(Bile), 배설물(Feces), 버블(Bubble), 피(Blood) 중 어느 하나에 해당되는 히스토그램 분포를 학습한 기계학습부를 이용하여 상기 프레임의 오염도를 판단하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 장 정결도 판단부는,
    상기 캡슐 내시경 영상의 가용 여부는 복수의 단계로 구분되는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  9. 캡슐 내시경으로부터 영상을 획득하여 시간 순서에 따라, 상기 영상을 프레임으로 형성하는 단계;
    상기 프레임과 기 저장된 오염도 기준 영상을 비교하여, 상기 프레임의 오염도를 판단하는 단계; 및
    상기 캡슐 내시경 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임의 수를 산출하고, 상기 캡슐 내시경 영상에 포함된 전체 프레임 수와 비교하여, 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계를 포함하고,
    상기 오염도를 판단하는 단계는,
    딥러닝에 기반하여 상기 프레임의 제1 오염도를 판단하는 단계;
    점막(Mucosa), 배설물(Feces), 담즙(Bile), 버블(Bubble) 및 피(Blood)에 해당하는 히스토그램 분포에 기반하여 상기 프레임의 제2 오염도를 판단하는 단계;
    상기 프레임의 오염된 부분을 원영역으로 검출하고, 상기 프레임에서 상기 원영역이 차지하는 비율을 판단하여, 상기 프레임의 제3 오염도를 판단하는 단계; 및
    상기 제1 내지 제3 오염도의 가중치의 합을 이용하여 상기 프레임의 오염도를 판단하는 단계를 더 포함하는 장 정결도의 자동화 계산 방법.
  10. 제 9 항에 있어서,
    상기 영상을 프레임으로 형성하는 단계는,
    상기 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상 또는 비교 결과 등 모든 관련 데이터들을 프레임 형식으로 나타내는 과정을 더 포함하는 장 정결도의 자동화 계산 방법.
  11. 제 9 항에 있어서,
    상기 오염도를 판단하는 단계는,
    상기 영상에서 점막(Mucosa), 담즙(Bile), 배설물(Feces), 버블(Bubble) 또는 피(Blood) 중 적어도 어느 하나를 임상의의 데이터베이스와 비교하여 색상을 검출하는 과정을 더 포함하는 장 정결도의 자동화 계산 방법.
  12. 삭제
  13. 제 9 항에 있어서,
    상기 캡슐 내시경 영상의 가용 여부는 복수의 단계로 구분되는 것을 특징으로 하는 장 정결도의 자동화 계산 방법.
KR1020190160810A 2019-12-05 2019-12-05 장 정결도의 자동화 계산 장치 및 방법 KR102595429B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190160810A KR102595429B1 (ko) 2019-12-05 2019-12-05 장 정결도의 자동화 계산 장치 및 방법
PCT/KR2020/015914 WO2021112436A1 (ko) 2019-12-05 2020-11-12 장 정결도의 자동화 계산 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190160810A KR102595429B1 (ko) 2019-12-05 2019-12-05 장 정결도의 자동화 계산 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210071173A KR20210071173A (ko) 2021-06-16
KR102595429B1 true KR102595429B1 (ko) 2023-11-01

Family

ID=76222521

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190160810A KR102595429B1 (ko) 2019-12-05 2019-12-05 장 정결도의 자동화 계산 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102595429B1 (ko)
WO (1) WO2021112436A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658179B (zh) * 2021-10-19 2021-12-28 武汉大学 肠道清洁度的检测方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101875004B1 (ko) * 2017-01-04 2018-07-05 금오공과대학교 산학협력단 캡슐 내시경 영상을 이용한 자동 출혈 감지 방법 및 컴퓨터 프로그램

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777518B1 (ko) * 2006-02-10 2007-11-16 올림푸스 가부시키가이샤 내시경 촬상 장치
JP2011036582A (ja) * 2009-08-18 2011-02-24 Hoya Corp 汚れ検知方法、及び医療用観察システム
JP5818520B2 (ja) * 2011-06-06 2015-11-18 株式会社東芝 医用画像処理システム
KR102237441B1 (ko) * 2018-02-28 2021-04-07 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101875004B1 (ko) * 2017-01-04 2018-07-05 금오공과대학교 산학협력단 캡슐 내시경 영상을 이용한 자동 출혈 감지 방법 및 컴퓨터 프로그램

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
M.K. Bashar 외, Medical Image Analysis, 2010.01.04., Vol.14, pp.449-470.*
Maria Magdalena Buijs 외, Endoscopy International Open, 2018.08.10., Vol.6, No.8, pp.E1044-E1050.*
Saqib Mahmood 외, Biomedicines, 2022.09.05., Vol.10, no.9, pp.1-26.
Tomonori Aoki 외, Gastrointestinal Endoscopy, 2020.05.15., Vol.93, No.1, pp.165-173.

Also Published As

Publication number Publication date
WO2021112436A1 (ko) 2021-06-10
KR20210071173A (ko) 2021-06-16

Similar Documents

Publication Publication Date Title
WO2018201633A1 (zh) 基于眼底图像的糖尿病视网膜病变识别系统
Zhang et al. Detection of microaneurysms using multi-scale correlation coefficients
Niemeijer et al. Automated detection and differentiation of drusen, exudates, and cotton-wool spots in digital color fundus photographs for diabetic retinopathy diagnosis
Kauppi et al. The diaretdb1 diabetic retinopathy database and evaluation protocol.
JP4487535B2 (ja) 健康度測定システムおよびプログラム
Figueiredo et al. Computer-assisted bleeding detection in wireless capsule endoscopy images
WO2010131944A2 (en) Apparatus for monitoring and grading diabetic retinopathy
WO2023155488A1 (zh) 基于多源多尺度特征融合的眼底图像质量评价方法和装置
CN112053321A (zh) 一种识别高度近视视网膜病变的人工智能系统
CN111524093A (zh) 一种异常舌象的智能筛查方法及其系统
CN111862090A (zh) 一种基于人工智能的食管癌术前管理的方法和系统
CN111797900A (zh) 一种oct-a图像的动静脉分类方法及装置
KR102595429B1 (ko) 장 정결도의 자동화 계산 장치 및 방법
Ghosh et al. Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy
CN111798408A (zh) 一种内窥镜干扰图像检测与分级系统及方法
CN111402184B (zh) 一种实现远程眼底筛查和健康服务的方法和系统
CN117315787B (zh) 基于机器视觉的婴幼儿吐奶实时识别方法、装置及设备
JP3548473B2 (ja) 眼底画像の動静脈識別方法、記録媒体及び装置
Nammalwar et al. Non-invasive glaucoma screening using ocular thermal image classification
KR101551814B1 (ko) 설진 영상의 평가지표 정량화를 통한 설진 분석 방법, 시스템 및 그 기록매체
WO2019092723A1 (en) System and method for determining pathological status of a laryngopharyngeal area in a patient
CN114494299A (zh) 温度检测设备
Figueiredo et al. An automatic blood detection algorithm for wireless capsule endoscopy images
JP2005345310A (ja) 血液健康支援システム
Liang et al. Automatic fovea detection in retinal fundus images

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant