KR20210071173A - 장 정결도의 자동화 계산 장치 및 방법 - Google Patents
장 정결도의 자동화 계산 장치 및 방법 Download PDFInfo
- Publication number
- KR20210071173A KR20210071173A KR1020190160810A KR20190160810A KR20210071173A KR 20210071173 A KR20210071173 A KR 20210071173A KR 1020190160810 A KR1020190160810 A KR 1020190160810A KR 20190160810 A KR20190160810 A KR 20190160810A KR 20210071173 A KR20210071173 A KR 20210071173A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- cleanliness
- bowel
- calculating
- Prior art date
Links
- 238000004364 calculation method Methods 0.000 title claims description 19
- 238000000034 method Methods 0.000 title abstract description 29
- 239000002775 capsule Substances 0.000 claims abstract description 42
- 230000003749 cleanliness Effects 0.000 claims abstract description 38
- 230000000968 intestinal effect Effects 0.000 claims abstract description 31
- 238000001839 endoscopy Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 238000011109 contamination Methods 0.000 claims description 43
- 238000010586 diagram Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 4
- 210000000813 small intestine Anatomy 0.000 claims description 4
- 239000003086 colorant Substances 0.000 abstract 1
- 238000003745 diagnosis Methods 0.000 description 12
- 239000008280 blood Substances 0.000 description 10
- 210000004369 blood Anatomy 0.000 description 10
- 210000000941 bile Anatomy 0.000 description 9
- 210000003608 fece Anatomy 0.000 description 9
- 210000004877 mucosa Anatomy 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011511 automated evaluation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
본 발명은, 장 정결도의 자동화 계산 장치 및 방법에 관한 것으로, 특히 캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정하는 장 정결도 자동화 계산 장치 및 방법에 관한 것이다. 본 발명은, 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 영상 획득부; 상기 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 색상으로 구분하여 상기 프레임의 오염도를 판단하는 오염 산출부; 및 상기 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출하는 장 정결도 판단부를 포함하는 장 정결도의 자동화 계산 장치 및 방법을 제공한다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 장 캡슐 내시경에서 객관적인 장정결 척도(objective bowel preparation scale)를 산출하여 보다 객관적으로 환자의 상태에 대응할 수 있는 의료서비스의 질 향상을 기대할 수 있는 이점이 있다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 장 캡슐 내시경에서 객관적인 장정결 척도(objective bowel preparation scale)를 산출하여 보다 객관적으로 환자의 상태에 대응할 수 있는 의료서비스의 질 향상을 기대할 수 있는 이점이 있다.
Description
본 발명은, 장 정결도의 자동화 계산 장치 및 방법에 관한 것으로, 특히 캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정하는 장 정결도 자동화 계산 장치 및 방법에 관한 것이다.
캡슐 내시경을 이용한 검사는 카메라가 내장된 무선 캡슐내시경이 소화기장관의 연동운동과 중력에 의해 이동하면서 소화기관 내부를 촬영하며, 촬영된 영상은 환자가 장착한 수신기에 전송 및 저장되며 이를 컴퓨터에 옮긴 이후 의사가 판독을 통해 병변을 찾는 검사를 나타낸다. 이와 같은 캡슐 내시경은 인체 내부에서 8~12시간 동안 체류하면서 무선 통신 또는 인체 통신 방식으로 촬영한 6~12만 장의 방대한 영상을 병변 판독 장치에 전송할 수 있다.
이와 관련, 종래의 장 정결도를 판단하는 기술은 공개되지 않은 전무한 상태이고, 실제 병원과 같은 실무에서는 캡슐 내시경의 장 정결도는 ① 소장 점막의 외부 모습과 ② 버블(bubble), 음식물 잔해(debris), 담즙(bile) 등에 의한 암흑도(obscuration) 정도에 의해 결정되는데, 의사인 판독자들의 주관적인 평가를 바탕으로 평가를 하고 있는 실정이다.
적절한 장정결 (adequate bowel preparation) 판단 기준에 대한 근거가 없이 학습과 경험에 의해 진단을 하는 경우, 판독자마다 결과가 달라지고, 같은 판독자라도 판독 시점에 따라 달라져 객관적으로 제시된 장정결 척도(bowel preparation scale)가 없는 문제점이 있다. 이에 따른 추후 임상적 결정의 수월성, 합리성을 위해서 객관적인 장정결 척도 평가 방법은 의료 질 향상을 위해 필요하다.
본 발명은 기존의 장 정결도를 측정한 자료를 기준으로, 획득된 영상을 분석하여 장 정결도를 분석하는 장 정결도의 자동화 계산 장치를 제공하는 것을 일 목적으로 한다.
또한 본 발명은, 장 정결도의 기계적 산출 과정을 통해 소장 캡슐내시경에서 장 정결도 결정에 대한 객관적이고 자동화된 평가 방법을 제공하고, 캡슐 내시경 진단율에 근거하여 적절한 장 정결도의 cut-off value(bowel preparation scale)를 수행하는 방법을 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, 환자의 소장 상태를 관찰하기 위한 캡슐 내시경으로부터 획득된 복수의 영상으로부터 장 정결도를 판단하는 장 정결도의 자동화 계산 장치에 있어서, 상기 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 영상 획득부; 상기 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 딥러닝 기술 과 색상으로 구분하여 상기 프레임의 오염도를 판단하는 오염 산출부; 및 상기 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출하는 장 정결도 판단부를 포함하는 장 정결도의 자동화 계산 장치 및 방법을 제공한다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 장 캡슐 내시경에서 객관적인 장정결 척도(objective bowel preparation scale)를 산출할 수 있는 이점이 있다.
또한 본 발명은, 캡슐 내시경 진단율에 근거하여 환자의 상태에 따른 장정결(adequate bowel preparation)의 평가 기준을 마련할 수 있는 이점이 있다.
또한 본 발명은, 캡슐 내시경 검사의 품질 지표(quality indicator)를 활용하여 진단 또는 처방에 있어 보다 객관적으로 환자의 상태에 대응할 수 있는 의료서비스의 질 향상을 기대할 수 있는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 장치의 블록도를 나타낸다.
도 2는 본 발명의 실시 예에 따라 영상 획득부에서, 캡슐 내시경으로부터 획득된 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 모습을 나타낸다.
도 3은 본 발명의 영상 획득부에서 획득된 복수의 영상에 대한 다양한 실시 예를 나타낸다.
도 4는 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 방법의 순서도를 나타낸다.
도 5는 본 발명의 실시 예에 따른 오염 산출부에서, 복수의 영상에 대한 오염도를 판단하기 위해 딥러닝 기반으로 오염된 영상에 따라 분류한 모습을 나타낸다.
도 6은 본 발명의 실시 예에 따라 히스토그램 기반으로 영상의 비오염도를 판단하는 모습을 나타낸다.
도 7은 발명의 실시 예에 따른 오염 산출부에서, 원영역 검출을 통한 버블 영상의 오염도를 판단하는 모습을 나타낸다.
도 2는 본 발명의 실시 예에 따라 영상 획득부에서, 캡슐 내시경으로부터 획득된 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 모습을 나타낸다.
도 3은 본 발명의 영상 획득부에서 획득된 복수의 영상에 대한 다양한 실시 예를 나타낸다.
도 4는 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 방법의 순서도를 나타낸다.
도 5는 본 발명의 실시 예에 따른 오염 산출부에서, 복수의 영상에 대한 오염도를 판단하기 위해 딥러닝 기반으로 오염된 영상에 따라 분류한 모습을 나타낸다.
도 6은 본 발명의 실시 예에 따라 히스토그램 기반으로 영상의 비오염도를 판단하는 모습을 나타낸다.
도 7은 발명의 실시 예에 따른 오염 산출부에서, 원영역 검출을 통한 버블 영상의 오염도를 판단하는 모습을 나타낸다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명은, 캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정하는 발명이다.
즉, 캡슐 내시경을 환자의 몸 속에 통과시켜 획득된 영상 각각의 오염도를 평가하여, 전체 영상에 대한 오염도의 평균치 또는 가중치 적용을 통해 전체 영상에 대한 오염도 %를 산출하여, 1회의 영상 획득 과정을 통해 획득된 영상을 환자의 진단에 사용할 수 있는지 결정하는 기술에 관한 것이다.
본 기술을 적용하여, 장 캡슐 내시경에서 객관적인 장정결 척도(objective bowel preparation scale)를 산출할 수 있고, 캡슐 내시경 진단율에 근거하여 환자의 상태에 따른 장정결(adequate bowel preparation)의 평가 기준을 객관적으로 마련할 수 있다.
장 정결도를 자동으로 계산하는 과정은, 크게 기존 임상 데이터 들을 오프라인으로 수집하여 각 영상의 진단 결과가 저장된 데이터베이스가 구축된 이후 시작될 수 있다.
개별 영상을 획득한 이후 각 영상을 기존 데이터베이스와 비교하여 각 색상 영역을 딥러닝으로 비교하여, 각 영상에 대한 결과 값을 도출하고, 이를 전체 영상에 적용하여 결과 값을 도출하는데, 개별 영상의 장정결 여부를 이용한 딥러닝의 결과는, 아래와 같이 산출될 수 있다.
장정결도
(
%
) =
장정결이
적절한 영상 / 전체 영상 (또는 몇 분 간격의 영상)
이는 Map view color의 비율을 이용한 장정결도 자동화 계산 방법으로, 아래의 도 1 내지 도 7을 통해 자세히 설명한다.
도 1은 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 장치의 블록도를 나타낸다.
도 1을 참조하면, 본 발명은 영상 획득부(10), 오염 산출부(20), 장 정결도 판단부(30), 기계 학습부(21), 디스플레이부(40)를 포함할 수 있다.
영상 획득부(10)는, 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성할 수 있다.
오염 산출부(20)는, 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 색상으로 구분하여 상기 프레임의 오염도를 판단할 수 있다.
오염 산출부(20)는 분류 모듈, 비교 모듈 및 판단 모듈을 포함할 수 있다.
분류 모듈은, 염된 영상과 오염되지 않은 영상을 구분한 데이터베이스를 딥러닝 이전 사전에 구축을 수행하고, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 오염 요인으로 분류할 수 있다.
비교 모듈은, 임상의가 판단하여 진단을 내린 자료가 기 저장된 데이터베이스와 분류된 영상을 비교할 수 있다.
판단 모듈은, 오염/비오염을 판단하며, 판단 모듈은 획득된 영상에서의 오염 여부에 대해 판단할 수 있다.
오염 산출부(20)는, Mucosa 영역을 주로 포함하는 영상으로부터 정상 상태인 Mucosa의 색(주로 연한 분홍색)에 해당하는 히스토그램 분포를 학습하고, 배설물(Feces)/ 담즙(Bile) 영상으로부터 오염된 색(주로 녹색/황색)에 해당하는 히스토그램 분포를 학습할 수 있다.
또한, 빨간색 형태의 피가 나타나는 Blood 영상으로부터 오염된 색(주로 빨간색)에 해당하는 히스토그램 분포를 학습할 수 있으며, 추가적으로 영상 내에 존재할 수 있는 장기 내 공간 영역(주로 검은색), 음식물(주로 노란색) 등 캡슐 내시경 영상에서 존재할 수 있는 히스토그램을 학습할 수 있다.
이렇게 학습된 히스토그램 분포를 통해서 영상 획득부(10)로부터 영상이 입력되면 입력된 영상 중에서 각 픽셀 혹은 작은 영역에 대해서 각각의 히스토그램 분포 중 어떤 히스토그램에 더 가까운지를 판단할 수 있다.
이 과정에서 비교 모듈과 판단 모듈이 적용될 수 있고, 영상에서 mucosa의 색에 가까운 정도를 계산하여 비오염된 정도를 판단할 수 있다. 또한, 전체 픽셀 또는 영역 중 mucosa가 확인되는 비오염된 비율이 기 설정된 일정 수치 이상이면 판단 모듈에서 비오염된 영상으로 판단하고, 이의 정도를 수치로 출력할 수 있다.
장 정결도 판단부(30)는, 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출할 수 있다.
기계 학습부(21)는, 캡슐 내시경으로부터 획득된 다양한 영상으로부터 랜덤하게 영상을 추출한 후, 임상의가 판단한 오염/비오염 영상의 데이터베이스와 비교하여, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 오염 요인으로 인한 오염유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력하는 과정을 수행할 수 있다.
디스플레이부(40)는, 기계 학습부(21)에서 수행된 영상 처리의 결과 및 결과에 관련된 각 영역의 사진 등 다양한 정보를 표시할 수 있다. 다만, 이에 한정되는 것은 아니고, 장 정결도와 관련된 비교된 데이터베이스의 자료, 병변 영역 등 모든 구성 내용을 표현하는 것을 포함한다. 디스플레이부(40)는 도 2에 도시된 바와 같이 측정 결과를 보여줄 수 있다.
도 2는 본 발명의 실시 예에 따라 영상 획득부(10)에서, 캡슐 내시경으로부터 획득된 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 모습을 나타낸다.
도 2를 참조하면, 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상, 비교 결과 등 모든 데이터들을 프레임 형식으로 나타낼 수 있고, 이에 한정되지 않고, 각종 관련 정보 또한 포함하여 표시할 수 있다.
도 3은 본 발명의 영상 획득부(10)에서 획득된 복수의 영상에 대한 다양한 실시 예를 나타낸다.
도 3을 참조하면, (a) 내지 (h)는 캡슐 내시경으로부터 획득된 다양한 영상, 즉 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등이 획득된 모습을 나타낸다.
이하 상술한 장 정결도의 자동화 계산 장치를 이용한 장 정결도의 자동화 계산 방법에 대해 설명한다.
도 4는 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 방법의 순서도를 나타낸다.
도 4를 참조하면, 본 발명은, 캡슐 내시경으로부터 복수의 영상을 획득하여 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 단계(S10), 프레임과 기 저장된 오염도 기준 영상을 비교하여 오염도를 색상으로 구분하여 오염도를 판단하는 단계(S20) 및 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계(S30)를 포함할 수 있다.
캡슐 내시경으로부터 복수의 영상을 획득(S11)하여 복수의 영상 중 일정 영역의 영상을 프레임으로 형성(S12)하는 단계는, 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상, 비교 결과 등 모든 관련 데이터들을 프레임 형식으로 나타내는 과정이다.
프레임과 기 저장된 오염도 기준 영상을 비교(S21)하여 오염도를 색상으로 구분하여 오염도를 판단(S22)하는 단계는, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 실시 예에 따라, 임상의의 데이터베이스와 비교하여 색상을 검출하는 과정이다.
본 발명의 실시 예에 따라, 장 정결도의 임상적 유용성을 측정하는 과정은 캡슐 내시경의 진단율과의 연관성을 평가하는 과정으로, 장정결도 기준과 캡슐내시경 진단 여부를 이용한 적절한 장정결도의 cut-off value를 제시한다.
즉, 장정결도 적절성 기준을 50%로 했을 때 진단 여부 (유소견), 55%, 60%, 65%,.... 95% 로 했을 때 진단 여부는 각 기준에 대한 민감도, 특이도를 이용해 ROC curve를 그림을 나타낼 수 있으며, 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계(S30)는, 캡슐 내시경 진단율을 최대로 할 수 있는 최저의 장 정결도 기준 (cut-off value)을 확인하여 적절(adequate) / 부적절(inadequate)의 기준으로 제공할 수 있다.
도 5는 본 발명의 실시 예에 따른 오염 산출부(20)에서, 복수의 영상에 대한 오염도를 판단하기 위해 딥러닝 기반으로 오염된 영상에 따라 분류한 모습을 나타낸다.
도 6은 본 발명의 실시 예에 따라 히스토그램 기반으로 영상의 비오염도를 판단하는 모습을 나타낸다.
도 7은 발명의 실시 예에 따른 오염 산출부(20)에서, 원영역 검출을 통한 버블 영상의 오염도를 판단하는 모습을 나타낸다.
장 정결도를 계산하기 위해 도 5 내지 도 7과 같이 세 개의 오염 또는 비오염된 영상 분류를 이용하여 가중치의 합을 통해 한 장의 영상에 대한 오염 유무를 판단할 수 있다.
캡슐 내시경의 한번 시술을 통해 얻어진 전체 영상의 개수 N과 오염된 영상의 개수 C의 비율인 C/N*100%를 계산하여 해당 시술의 장 정결도를 Excellent/Good/Fair/Poor 의 네 가지 정도로 구분할 수 있다.
오염 산출부(20)는 분류 모듈, 비교 모듈 및 판단 모듈을 포함할 수 있는데, 각 모듈의 학습과 분류 방법은 다음과 같다.
또한 오염 산출부(20)는, 히스토그램 기반의 영상으로 판단하는 방법, 버블 영역이나 형태로 판단하는 방법, 그 외 딥러닝으로 판단하는 방법을 사용하여 영상을 분류 및 판단할 수 있으며, 각각의 방법에 가중치를 적용하여 오염도를 산출할 수 있다.
1.
딥러닝
기반 오염된 영상 분류 모듈
도 5를 참조하면, 다양한 캡슐 내시경 영상으로부터 랜덤하게 영상을 추출한 후에 임상의가 판단하여 오염된 영상과 오염되지 않은 영상을 구분한 데이터베이스를 딥러닝 이전 사전에 구축을 수행하고, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 오염 요인으로 인한 오염 유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력할 수 있다.
이 과정에서 분류 모듈은 영상 획득부(10)에서 획득된 영상을 분류하고, 비교 모듈은 임상의가 판단하여 진단을 내린 자료가 기 저장된 데이터베이스와 분류된 영상을 비교하여, 오염/비오염을 판단하며, 판단 모듈은 획득된 영상에서의 오염 여부에 대해 판단한다.
2. 히스토그램 기반 영상
비오염도
판단 모듈
도 6을 참조하면, Mucosa 영역을 주로 포함하는 영상으로부터 정상 상태인 Mucosa의 색(주로 연한 분홍색)에 해당하는 히스토그램 분포를 학습하고, 배설물(Feces)/ 담즙(Bile) 영상으로부터 오염된 색(주로 녹색/황색)에 해당하는 히스토그램 분포를 학습할 수 있다.
또한, 빨간색 형태의 피가 나타나는 Blood 영상으로부터 오염된 색(주로 빨간색)에 해당하는 히스토그램 분포를 학습할 수 있으며, 추가적으로 영상 내에 존재할 수 있는 장기 내 공간 영역(주로 검은색), 음식물(주로 노란색) 등 캡슐 내시경 영상에서 존재할 수 있는 히스토그램을 학습할 수 있다.
이렇게 학습된 히스토그램 분포를 통해서 영상 획득부(10)로부터 영상이 입력되면 입력된 영상 중에서 각 픽셀 혹은 작은 영역에 대해서 각각의 히스토그램 분포 중 어떤 히스토그램에 더 가까운지를 판단할 수 있다.
이 과정에서 비교 모듈과 판단 모듈이 적용될 수 있고, 영상에서 mucosa의 색에 가까운 정도를 계산하여 비오염된 정도를 판단할 수 있다. 또한, 전체 픽셀 또는 영역 중 mucosa가 확인되는 비오염된 비율이 기 설정된 일정 수치 이상이면 판단 모듈에서 비오염된 영상으로 판단하고, 이의 정도를 수치로 출력할 수 있다.
3.
원영역
검출을 통한
버블
영상의 오염도 판단 모듈
도 7을 참조하면, 입력 영상에서 원영역을 검출하여 영상 내에 원이 차지하는 비율을 판단하여 영상의 오염도를 판단하고, 이의 정도를 수치로 출력할 수 있다.
캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정할 수 있다.
본 발명의 실시 예에 따라 전체 영상에 대한 오염도 비율이 50%를 초과하는 경우, 획득된 영상에 대해 진단을 하는 경우 오진이 될 수 있는 불명확한 영상 자료로 분류될 수 있다. 다만, 비율 %는 상술한 실시 예에 한정되는 것은 아니고, 환자의 상태나 영상 획득 방식에 따라 조절이 가능하며, 프로그램 될 수 있다.
이 경우, 획득된 영상은 저장되거나 삭제될 수 있고, 다시 캡슐 내시경을 이용하여 재촬영을 수행할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
10 : 영상 획득부
20 : 오염 산출부
21 : 기계 학습부
30 : 장 정결도 판단부 40 : 디스플레이부
21 : 기계 학습부
30 : 장 정결도 판단부 40 : 디스플레이부
Claims (1)
- 환자의 소장 상태를 관찰하기 위한 캡슐 내시경으로부터 획득된 복수의 영상으로부터 장 정결도를 판단하는 장 정결도의 자동화 계산 장치에 있어서,
상기 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 영상 획득부;
상기 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 딥러닝 기술과 색상으로 구분하여 상기 프레임의 오염도를 판단하는 오염 산출부; 및
상기 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출하는 장 정결도 판단부를 포함하는 장 정결도의 자동화 계산 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190160810A KR102595429B1 (ko) | 2019-12-05 | 2019-12-05 | 장 정결도의 자동화 계산 장치 및 방법 |
| PCT/KR2020/015914 WO2021112436A1 (ko) | 2019-12-05 | 2020-11-12 | 장 정결도의 자동화 계산 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190160810A KR102595429B1 (ko) | 2019-12-05 | 2019-12-05 | 장 정결도의 자동화 계산 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210071173A true KR20210071173A (ko) | 2021-06-16 |
| KR102595429B1 KR102595429B1 (ko) | 2023-11-01 |
Family
ID=76222521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190160810A KR102595429B1 (ko) | 2019-12-05 | 2019-12-05 | 장 정결도의 자동화 계산 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102595429B1 (ko) |
| WO (1) | WO2021112436A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658179A (zh) * | 2021-10-19 | 2021-11-16 | 武汉大学 | 肠道清洁度的检测方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101875004B1 (ko) * | 2017-01-04 | 2018-07-05 | 금오공과대학교 산학협력단 | 캡슐 내시경 영상을 이용한 자동 출혈 감지 방법 및 컴퓨터 프로그램 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100777518B1 (ko) * | 2006-02-10 | 2007-11-16 | 올림푸스 가부시키가이샤 | 내시경 촬상 장치 |
| JP2011036582A (ja) * | 2009-08-18 | 2011-02-24 | Hoya Corp | 汚れ検知方法、及び医療用観察システム |
| JP5818520B2 (ja) * | 2011-06-06 | 2015-11-18 | 株式会社東芝 | 医用画像処理システム |
| KR102237441B1 (ko) * | 2018-02-28 | 2021-04-07 | 이화여자대학교 산학협력단 | 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치 |
-
2019
- 2019-12-05 KR KR1020190160810A patent/KR102595429B1/ko active IP Right Grant
-
2020
- 2020-11-12 WO PCT/KR2020/015914 patent/WO2021112436A1/ko active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101875004B1 (ko) * | 2017-01-04 | 2018-07-05 | 금오공과대학교 산학협력단 | 캡슐 내시경 영상을 이용한 자동 출혈 감지 방법 및 컴퓨터 프로그램 |
Non-Patent Citations (4)
| Title |
|---|
| M.K. Bashar 외, Medical Image Analysis, 2010.01.04., Vol.14, pp.449-470.* * |
| Maria Magdalena Buijs 외, Endoscopy International Open, 2018.08.10., Vol.6, No.8, pp.E1044-E1050.* * |
| Saqib Mahmood 외, Biomedicines, 2022.09.05., Vol.10, no.9, pp.1-26. * |
| Tomonori Aoki 외, Gastrointestinal Endoscopy, 2020.05.15., Vol.93, No.1, pp.165-173. * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658179A (zh) * | 2021-10-19 | 2021-11-16 | 武汉大学 | 肠道清洁度的检测方法及装置 |
| CN113658179B (zh) * | 2021-10-19 | 2021-12-28 | 武汉大学 | 肠道清洁度的检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021112436A1 (ko) | 2021-06-10 |
| KR102595429B1 (ko) | 2023-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6657480B2 (ja) | 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム | |
| Dimauro et al. | A new method and a non-invasive device to estimate anemia based on digital images of the conjunctiva | |
| Zhang et al. | Detection of microaneurysms using multi-scale correlation coefficients | |
| US9149179B2 (en) | System and method for identifying eye conditions | |
| Abràmoff et al. | Automated early detection of diabetic retinopathy | |
| Bevilacqua et al. | A novel approach to evaluate blood parameters using computer vision techniques | |
| Hansen et al. | Diabetic retinopathy screening using digital non‐mydriatic fundus photography and automated image analysis | |
| US10980404B2 (en) | Device and method for producing a numerical classifier of images, so as to determine the viewing quality of the endoscopic videocapsule images of a segment of the digestive tube | |
| WO2014186838A1 (en) | A system and method for remote medical diagnosis | |
| JP2015216939A (ja) | 白内障検査装置および白内障判定プログラム | |
| WO2023155488A1 (zh) | 基于多源多尺度特征融合的眼底图像质量评价方法和装置 | |
| CN111798408B (zh) | 一种内窥镜干扰图像检测与分级系统及方法 | |
| Buijs et al. | Assessment of bowel cleansing quality in colon capsule endoscopy using machine learning: a pilot study | |
| CN112334990A (zh) | 自动宫颈癌诊断系统 | |
| CN111797900A (zh) | 一种oct-a图像的动静脉分类方法及装置 | |
| KR102595429B1 (ko) | 장 정결도의 자동화 계산 장치 및 방법 | |
| JP3548473B2 (ja) | 眼底画像の動静脈識別方法、記録媒体及び装置 | |
| CN110858396A (zh) | 生成子宫颈学习数据的系统和对子宫颈学习数据进行分类的方法 | |
| US20220328186A1 (en) | Automatic cervical cancer diagnosis system | |
| WO2019092723A1 (en) | System and method for determining pathological status of a laryngopharyngeal area in a patient | |
| Pan et al. | Bleeding detection from wireless capsule endoscopy images using improved euler distance in CIELab | |
| JP2005345310A (ja) | 血液健康支援システム | |
| Zarehpour et al. | BiliBin: An Intelligent Mobile Phone-based Platform to Monitor Newborn Jaundice | |
| Chakraborty et al. | A decision scheme based on adaptive morphological image processing for mobile detection of early stage diabetic retinopathy | |
| Ahmed et al. | Automatic Region of Interest Extraction from Finger Nail Images for Measuring Blood Hemoglobin Level |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |