WO2021112436A1 - 장 정결도의 자동화 계산 장치 및 방법 - Google Patents

장 정결도의 자동화 계산 장치 및 방법 Download PDF

Info

Publication number
WO2021112436A1
WO2021112436A1 PCT/KR2020/015914 KR2020015914W WO2021112436A1 WO 2021112436 A1 WO2021112436 A1 WO 2021112436A1 KR 2020015914 W KR2020015914 W KR 2020015914W WO 2021112436 A1 WO2021112436 A1 WO 2021112436A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
contamination
cleanliness
intestinal
Prior art date
Application number
PCT/KR2020/015914
Other languages
English (en)
French (fr)
Inventor
임윤정
남지형
황영배
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Publication of WO2021112436A1 publication Critical patent/WO2021112436A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to an apparatus and method for automatic calculation of intestinal cleanliness, and in particular, by comparing an image obtained from a capsule endoscope with image data previously read by a doctor through deep learning, availability of images obtained from a capsule endoscope through contamination level It relates to an apparatus and method for automatic calculation of intestinal cleanliness for determining whether or not
  • the wireless capsule endoscope with a built-in camera records the inside of the digestive tract while moving by peristalsis and gravity of the gastrointestinal tract, and the captured image is transmitted and stored in the receiver mounted by the patient and transferred to the computer. This refers to a test in which the doctor finds the lesion through reading.
  • Such a capsule endoscope can transmit 60,000 to 120,000 vast images taken through wireless communication or human body communication to the lesion reading device while staying inside the human body for 8 to 12 hours.
  • the conventional technique for judging intestinal cleanliness has not been disclosed, and in practice, such as in actual hospitals, the intestinal cleanliness of the capsule endoscope is determined by 1 the external appearance of the small intestine mucosa and 2 bubbles and food debris. ) and the degree of obscuration caused by bile, etc., the evaluation is based on the subjective evaluation of readers who are doctors.
  • An object of the present invention is to provide an automatic calculation device for intestinal cleanliness that analyzes intestinal cleanliness by analyzing acquired images on the basis of data obtained by measuring existing intestinal cleanliness.
  • the present invention provides an objective and automated evaluation method for determining intestinal cleanliness in small intestine capsule endoscopy through a mechanical calculation of intestinal cleanliness, and provides an appropriate cut-off value ( Another purpose is to provide a method for performing a bowel preparation scale.
  • the present invention provides an automatic calculation device for intestinal cleanliness for determining the degree of intestinal cleanliness from a plurality of images obtained from a capsule endoscope for observing the state of the small intestine of a patient, by acquiring the plurality of images an image acquisition unit configured to form an image of a predetermined region among the plurality of images as a frame according to a time sequence; a contamination calculation unit that compares the frame and a pre-stored contamination level reference image to classify the contamination level of the image by deep learning technology and color to determine the contamination level of the frame; and a bowel cleanliness determination unit for calculating the number of frames in which the degree of contamination is greater than or equal to a preset reference value among the plurality of images and calculating the availability of the capsule endoscopy image of the patient as a percentage by comparing it with the total number of images
  • An apparatus and method for automatic calculation of cleanliness are provided.
  • the image acquisition unit may form the image acquired from the capsule endoscope into a frame including at least one of a temporal sequence, an acquisition site, a lesion location, and a color.
  • the image acquisition unit may acquire an image including at least one of bile, feces, bubbles, and blood present in the small or large intestine of the patient. .
  • the contamination calculating unit is a classification module for classifying the previously acquired image into either a contaminated image, an uncontaminated image, or any one of Bile, Feces, Bubble, and Blood. ; a comparison module for comparing the image classified by the classification module with the acquired image; and a determination module for determining the location of a lesion or contamination of an image acquired from the image acquisition unit.
  • the contamination calculating unit randomly extracts an image from the image, compares it with a database of contaminated/uncontaminated images determined by a clinician, determines whether the acquired or input image is contaminated or not, It may further include a machine learning unit that performs a process of outputting the degree as a binary classification or probability.
  • the machine learning unit may include a contaminated image and an uncontaminated image from an image including a mucosa region, or any one of Bile, Feces, Bubble, and Blood.
  • One histogram distribution can be learned.
  • the intestinal cleanliness determining unit may determine the presence or absence of contamination of one image through the sum of weights using the contaminated or non-contaminated image classification.
  • the intestinal cleanliness determination unit calculates C/N*100%, which is the ratio of the total number N of images obtained through one procedure of the capsule endoscope and the number C of the contaminated images, in the corresponding procedure. Intestinal cleanliness can be classified into multiple levels.
  • the present invention comprises the steps of: obtaining a plurality of images from a capsule endoscope and forming an image of a certain region among the plurality of images into a frame; determining the pollution level by comparing the frame with the pre-stored pollution level reference image and classifying the pollution level by color; and calculating the availability of the capsule endoscopy image in %.
  • the step of forming the image into a frame may further include a process of displaying all related data such as time sequence, acquisition site, lesion position, color, or comparison result of the image acquired from the capsule endoscope in a frame format.
  • the determining of the degree of contamination may include comparing at least one of bile, feces, bubbles, and blood in the image with a clinician's database to detect a color.
  • the process may further include
  • the determining of the contamination level may include: a classification module classifying the image acquired by the image acquisition unit; comparing the image with the data determined by the clinician in the comparison module and the pre-stored database; and determining whether the image is contaminated or not contaminated by the determination module.
  • the calculating of whether the image is available as a percentage may further include determining whether the contamination level of the image exceeds a preset contamination rate ratio.
  • the present invention has the advantage of being able to prepare evaluation criteria for adequate bowel preparation according to the patient's condition based on the capsule endoscopy diagnosis rate.
  • the present invention has an advantage that can be expected to improve the quality of medical services that can more objectively respond to the patient's condition in diagnosis or prescription by utilizing the quality indicator (quality indicator) of the capsule endoscopy.
  • FIG. 1 is a block diagram of an automatic calculation apparatus for intestinal cleanliness according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a state in which an image of a certain region among a plurality of images acquired from a capsule endoscope is formed as a frame by the image acquisition unit according to an embodiment of the present invention.
  • FIG. 3 shows various embodiments of a plurality of images acquired by the image acquisition unit of the present invention.
  • FIG. 4 is a flowchart of a method for automatically calculating intestinal cleanliness according to an embodiment of the present invention.
  • FIG 5 shows a state in which the pollution calculator according to an embodiment of the present invention classifies the images according to the contaminated images based on deep learning in order to determine the degree of contamination of the plurality of images.
  • FIG. 6 is a diagram illustrating a state of determining the degree of non-contamination of an image based on a histogram according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a state in which the contamination calculator determines the contamination level of a bubble image by detecting an original region according to an embodiment of the present invention.
  • the present invention provides an automatic calculation device for intestinal cleanliness for determining the degree of intestinal cleanliness from a plurality of images obtained from a capsule endoscope for observing the state of the small intestine of a patient, by acquiring the plurality of images an image acquisition unit configured to form an image of a predetermined region among the plurality of images as a frame according to a time sequence; a contamination calculation unit that compares the frame and a pre-stored contamination level reference image to classify the contamination level of the image by deep learning technology and color to determine the contamination level of the frame; and a bowel cleanliness determination unit for calculating the number of frames in which the degree of contamination is greater than or equal to a preset reference value among the plurality of images and calculating the availability of the capsule endoscopy image of the patient as a percentage by comparing it with the total number of images
  • An apparatus and method for automatic calculation of cleanliness are provided.
  • the image acquisition unit may form the image acquired from the capsule endoscope into a frame including at least one of a temporal sequence, an acquisition site, a lesion location, and a color.
  • the image acquisition unit may acquire an image including at least one of bile, feces, bubbles, and blood present in the small or large intestine of the patient. .
  • the contamination calculating unit is a classification module for classifying the previously acquired image into either a contaminated image, an uncontaminated image, or any one of Bile, Feces, Bubble, and Blood. ; a comparison module for comparing the image classified by the classification module with the acquired image; and a determination module for determining the location of a lesion or contamination of an image acquired from the image acquisition unit.
  • the contamination calculating unit randomly extracts an image from the image, compares it with a database of contaminated/uncontaminated images determined by a clinician, determines whether the acquired or input image is contaminated or not, It may further include a machine learning unit that performs a process of outputting the degree as a binary classification or probability.
  • the machine learning unit may include a contaminated image and an uncontaminated image from an image including a mucosa region, or any one of Bile, Feces, Bubble, and Blood.
  • One histogram distribution can be learned.
  • the intestinal cleanliness determining unit may determine the presence or absence of contamination of one image through the sum of weights using the contaminated or non-contaminated image classification.
  • the intestinal cleanliness determination unit calculates C/N*100%, which is the ratio of the total number N of images obtained through one procedure of the capsule endoscope and the number C of the contaminated images, in the corresponding procedure. Intestinal cleanliness can be classified into multiple levels.
  • the present invention comprises the steps of: obtaining a plurality of images from a capsule endoscope and forming an image of a certain region among the plurality of images into a frame; determining the pollution level by comparing the frame with the pre-stored pollution level reference image and classifying the pollution level by color; and calculating the availability of the capsule endoscopy image in %.
  • the step of forming the image into a frame may further include a process of displaying all related data such as time sequence, acquisition site, lesion position, color, or comparison result of the image acquired from the capsule endoscope in a frame format.
  • the determining of the degree of contamination may include comparing at least one of bile, feces, bubbles, and blood in the image with a clinician's database to detect a color.
  • the process may further include
  • the determining of the contamination level may include: a classification module classifying the image acquired by the image acquisition unit; comparing the image with the data determined by the clinician in the comparison module and the pre-stored database; and determining whether the image is contaminated or not contaminated by the determination module.
  • the calculating of whether the image is available as a percentage may further include determining whether the contamination level of the image exceeds a preset contamination rate ratio.
  • the present invention is an invention for determining whether an image acquired from a capsule endoscope is available through a degree of contamination by comparing an image obtained from the capsule endoscope with image data previously read by a doctor through deep learning.
  • the contamination level of each image obtained by passing the capsule endoscope through the patient's body is evaluated, and the contamination level % of the entire image is calculated by applying the average value or weighted value of the contamination level for the entire image, and through one image acquisition process It relates to a technique for determining whether an acquired image can be used for diagnosis of a patient.
  • an objective bowel preparation scale can be calculated from the intestinal capsule endoscopy, and the evaluation criteria for adequate bowel preparation according to the patient's condition can be objectively evaluated based on the diagnosis rate of the capsule endoscopy.
  • the process of automatically calculating intestinal cleanliness can be started after a database is built in which the diagnosis results of each image are stored by collecting existing clinical data offline.
  • each image is compared with the existing database, each color area is compared with deep learning, and the result value for each image is derived, and the result value is derived by applying it to the entire image.
  • the result of deep learning using cleanliness can be calculated as follows.
  • Bowel prep (%) image with good bowel preparation / whole image (or images every few minutes)
  • FIG. 1 is a block diagram of an automatic calculation apparatus for intestinal cleanliness according to an embodiment of the present invention.
  • the present invention may include an image acquisition unit 10 , a contamination calculation unit 20 , a bowel cleanliness determination unit 30 , a machine learning unit 21 , and a display unit 40 .
  • the image acquisition unit 10 may acquire a plurality of images and form an image of a predetermined region among the plurality of images as a frame according to a time sequence.
  • the contamination calculator 20 may compare the frame and the pre-stored contamination level reference image to classify the contamination level of the image by color to determine the contamination level of the frame.
  • the pollution calculator 20 may include a classification module, a comparison module, and a determination module.
  • the classification module builds a database that distinguishes salted and uncontaminated images before deep learning, and for the input images, Bile/Feces/Bubble/Blood Contaminants can be classified as
  • the comparison module may compare the classified images with a database in which data for which a diagnosis is made by a clinician is pre-stored.
  • the determination module may determine contamination/non-contamination, and the determination module may determine whether the acquired image is contaminated.
  • the contamination calculator 20 learns the histogram distribution corresponding to the color (mainly light pink) of Mucosa in a normal state from the image mainly including the Mucosa region, and the color contaminated from the Feces/Bile image. It is possible to learn the histogram distribution corresponding to (mainly green/yellow).
  • the histogram distribution corresponding to the contaminated color (mainly red) can be learned from the Blood image in which red blood appears, and the spatial region (mainly black) and food (mainly yellow) in the organ that may exist in the image additionally It is possible to learn a histogram that may exist in the capsule endoscopy image of the back.
  • a comparison module and a judgment module can be applied, and the degree of non-contamination can be determined by calculating a degree close to the color of mucosa in the image.
  • the determination module may determine that the image is non-contaminated, and output the degree of this as a numerical value.
  • the intestinal cleanliness determination unit 30 calculates the number of frames in which the contamination level is greater than or equal to a preset reference value among a plurality of images, and compares the number of the plurality of images to calculate the availability of the capsule endoscopy image of the patient in %.
  • the machine learning unit 21 randomly extracts images from various images obtained from the capsule endoscope, compares it with a database of contaminated/uncontaminated images determined by a clinician, and compares the input images with bile/feces ( Feces)/ Bubbles/ Blood can be judged whether contamination is caused by contamination factors, and the process of outputting the contamination level as a binary classification or probability can be performed.
  • the display unit 40 may display various information such as a result of the image processing performed by the machine learning unit 21 and a picture of each area related to the result.
  • the present invention is not limited thereto, and includes data of a comparison database related to intestinal cleanliness, and expression of all constituents, such as lesion areas.
  • the display unit 40 may show the measurement result as shown in FIG. 2 .
  • FIG. 2 shows a state in which an image of a certain region among a plurality of images acquired from a capsule endoscope is formed as a frame in the image acquisition unit 10 according to an embodiment of the present invention.
  • all data such as time sequence, acquisition site, lesion position, color, and comparison result of the images acquired from the capsule endoscope may be displayed in a frame format, but the present invention is not limited thereto, and various related information may also be displayed.
  • FIG 3 shows various embodiments of a plurality of images acquired by the image acquisition unit 10 of the present invention.
  • (a) to (h) are various images obtained from the capsule endoscope, that is, bile/feces/bubble/blood, etc. are obtained with respect to the input image. shows how it has been
  • FIG. 4 is a flowchart of a method for automatically calculating intestinal cleanliness according to an embodiment of the present invention.
  • the present invention includes a step of obtaining a plurality of images from a capsule endoscope and forming an image of a certain area among the plurality of images into a frame (S10), comparing the frame with a pre-stored pollution level reference image to determine the level of pollution It may include a step (S20) of determining the degree of contamination by classifying into , and a step (S30) of calculating whether the capsule endoscopy image is available in %.
  • the step of acquiring a plurality of images from the capsule endoscope (S11) and forming an image of a certain region among the plurality of images as a frame (S12) is to compare the images acquired from the capsule endoscope in time sequence, acquisition site, lesion location, color, and comparison. This is the process of displaying all related data such as results in a frame format.
  • the step of comparing the frame with the pre-stored contamination level reference image (S21) and classifying the contamination level by color (S22) is the step of determining the contamination level (S22) with respect to the input image, bile / feces / bubble / blood.
  • (Blood) et al. it is a process of detecting a color by comparing it with a database of a clinician.
  • the process of measuring the clinical usefulness of intestinal cleanliness is a process of evaluating the correlation with the diagnosis rate of capsule endoscopy. -off value is provided.
  • adequacy criterion for bowel preparation is 50%, diagnosis (exact findings), 55%, 60%, 65%,.... 95%, diagnosis depends on the sensitivity and specificity of each criterion.
  • the ROC curve can be plotted using the ROC curve, and in the step of calculating the availability of capsule endoscopy image in % (S30), the lowest intestinal cleanliness standard (cut-off value) that can maximize the capsule endoscopy diagnosis rate is confirmed. Thus, it can be provided on the basis of adequate / inadequate.
  • FIG 5 shows a state in which the pollution calculator 20 according to an embodiment of the present invention classifies the images according to the contaminated images based on deep learning in order to determine the degree of contamination of the plurality of images.
  • FIG. 6 is a diagram illustrating a state of determining the degree of non-contamination of an image based on a histogram according to an embodiment of the present invention.
  • C/N*100% which is the ratio of the total number of images, N, and the number of contaminated images, C, obtained through one procedure of capsule endoscopy
  • the intestinal cleanliness of the procedure is evaluated in four ways: Excellent/Good/Fair/Poor. can be distinguished.
  • the pollution calculator 20 may include a classification module, a comparison module, and a determination module.
  • the learning and classification methods of each module are as follows.
  • the contamination calculation unit 20 may classify and determine the image using a method for determining a histogram-based image, a method for determining a bubble area or shape, and other methods for determining by deep learning, each method Pollution degree can be calculated by applying a weight to
  • the clinician determines that a database that distinguishes contaminated images from non-contaminated images is constructed in advance prior to deep learning, and for the input images, It judges the presence or absence of contamination due to contamination factors such as bile/feces/bubble/blood, and the degree of contamination can be output as binary classification or probability.
  • the classification module classifies the images acquired by the image acquisition unit 10
  • the comparison module compares the classified images with the database in which the data that the clinician judges and makes the diagnosis is pre-stored to determine contamination/non-contamination. and the determination module determines whether there is contamination in the acquired image.
  • the histogram distribution corresponding to the color (mainly light pink) of the Mucosa in the normal state is learned from the image mainly containing the Mucosa region, and the color (mainly) contaminated from the feces (Feces) / bile (Bile) image is learned. Green/yellow) corresponding histogram distribution can be learned.
  • the histogram distribution corresponding to the contaminated color (mainly red) can be learned from the Blood image in which red blood appears, and the spatial region (mainly black) and food (mainly yellow) in the organ that may exist in the image additionally It is possible to learn a histogram that may exist in the capsule endoscopy image of the back.
  • a comparison module and a judgment module can be applied, and the degree of non-contamination can be determined by calculating a degree close to the color of mucosa in the image.
  • the determination module may determine that the image is non-contaminated, and output the degree of this as a numerical value.
  • the degree of contamination of the image may be determined by detecting the original region in the input image and determining the proportion of the circle in the image, and the degree of this may be output as a numerical value.
  • the acquired image when the contamination rate of the entire image exceeds 50%, the acquired image may be classified as ambiguous image data that may be misdiagnosed.
  • the ratio % is not limited to the above-described embodiment, and can be adjusted and programmed according to the patient's condition or image acquisition method.
  • the acquired image may be stored or deleted, and recapture may be performed again using the capsule endoscope.

Abstract

본 발명은, 장 정결도의 자동화 계산 장치 및 방법에 관한 것으로, 특히 캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정하는 장 정결도 자동화 계산 장치 및 방법에 관한 것이다.

Description

장 정결도의 자동화 계산 장치 및 방법
본 발명은, 장 정결도의 자동화 계산 장치 및 방법에 관한 것으로, 특히 캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정하는 장 정결도 자동화 계산 장치 및 방법에 관한 것이다.
캡슐 내시경을 이용한 검사는 카메라가 내장된 무선 캡슐내시경이 소화기장관의 연동운동과 중력에 의해 이동하면서 소화기관 내부를 촬영하며, 촬영된 영상은 환자가 장착한 수신기에 전송 및 저장되며 이를 컴퓨터에 옮긴 이후 의사가 판독을 통해 병변을 찾는 검사를 나타낸다. 이와 같은 캡슐 내시경은 인체 내부에서 8~12시간 동안 체류하면서 무선 통신 또는 인체 통신 방식으로 촬영한 6~12만 장의 방대한 영상을 병변 판독 장치에 전송할 수 있다.
이와 관련, 종래의 장 정결도를 판단하는 기술은 공개되지 않은 전무한 상태이고, 실제 병원과 같은 실무에서는 캡슐 내시경의 장 정결도는 ① 소장 점막의 외부 모습과 ② 버블(bubble), 음식물 잔해(debris), 담즙(bile) 등에 의한 암흑도(obscuration) 정도에 의해 결정되는데, 의사인 판독자들의 주관적인 평가를 바탕으로 평가를 하고 있는 실정이다.
적절한 장정결 (adequate bowel preparation) 판단 기준에 대한 근거가 없이 학습과 경험에 의해 진단을 하는 경우, 판독자마다 결과가 달라지고, 같은 판독자라도 판독 시점에 따라 달라져 객관적으로 제시된 장정결 척도(bowel preparation scale)가 없는 문제점이 있다. 이에 따른 추후 임상적 결정의 수월성, 합리성을 위해서 객관적인 장정결 척도 평가 방법은 의료 질 향상을 위해 필요하다.
본 발명은 기존의 장 정결도를 측정한 자료를 기준으로, 획득된 영상을 분석하여 장 정결도를 분석하는 장 정결도의 자동화 계산 장치를 제공하는 것을 일 목적으로 한다.
또한 본 발명은, 장 정결도의 기계적 산출 과정을 통해 소장 캡슐내시경에서 장 정결도 결정에 대한 객관적이고 자동화된 평가 방법을 제공하고, 캡슐 내시경 진단율에 근거하여 적절한 장 정결도의 cut-off value(bowel preparation scale)를 수행하는 방법을 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, 환자의 소장 상태를 관찰하기 위한 캡슐 내시경으로부터 획득된 복수의 영상으로부터 장 정결도를 판단하는 장 정결도의 자동화 계산 장치에 있어서, 상기 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 영상 획득부; 상기 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 딥러닝 기술 과 색상으로 구분하여 상기 프레임의 오염도를 판단하는 오염 산출부; 및 상기 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출하는 장 정결도 판단부를 포함하는 장 정결도의 자동화 계산 장치 및 방법을 제공한다.
실시 예에 따라, 상기 영상 획득부는, 상기 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치 또는 색상 중 적어도 어느 하나를 포함하여 프레임으로 형성할 수 있다.
실시 예에 따라, 상기 영상 획득부는, 상기 환자의 소장 또는 대장에 존재하는 담즙(Bile), 배설물(Feces), 버블(Bubble) 또는 피(Blood) 중 적어도 어느 하나를 포함한 영상을 획득할 수 있다.
실시 예에 따라, 상기 오염 산출부는, 기 획득된 영상을 오염된 영상과 오염되지 않은 영상 또는 담즙(Bile), 배설물(Feces), 버블(Bubble), 피(Blood) 중 어느 하나로 분류하는 분류 모듈; 상기 분류 모듈에서 분류된 영상과 획득된 영상을 비교하는 비교 모듈; 및 상기 영상 획득부로부터 획득된 영상의 획득 부위 병변 위치 또는 오염 여부를 판단하는 판단 모듈을 포함할 수 있다
실시 예에 따라, 상기 오염 산출부는, 상기 영상으로부터 랜덤하게 영상을 추출한 후, 임상의가 판단한 오염/비오염 영상의 데이터베이스와 비교하여, 획득 또는 입력된 영상에 대해서 오염 유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력하는 과정을 수행하는 기계 학습부를 더 포함할 수 있다.
실시 예에 따라, 상기 기계 학습부는, 점막(Mucosa) 영역을 포함하는 영상으로부터 오염된 영상과 오염되지 않은 영상 또는 담즙(Bile), 배설물(Feces), 버블(Bubble), 피(Blood) 중 어느 하나에 해당되는 히스토그램 분포를 학습할 수 있다.
실시 예에 따라, 상기 장 정결도 판단부는, 오염 또는 비오염된 영상 분류를 이용하여 가중치의 합을 통해 한 장의 영상에 대한 오염 유무를 판단할 수 있다.
실시 예에 따라, 상기 장 정결도 판단부는, 상기 캡슐 내시경의 한번의 시술을 통해 얻어진 전체 영상의 개수 N과 오염된 영상의 개수 C의 비율인 C/N*100%를 계산하여 해당 시술에서의 장 정결도를 복수의 단계로 분류할 수 있다.
또한 본 발명은, 캡슐 내시경으로부터 복수의 영상을 획득하여 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 단계; 상기 프레임과 기 저장된 오염도 기준 영상을 비교하여 오염도를 색상으로 구분하여 오염도를 판단하는 단계; 및 상기 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 영상을 프레임으로 형성하는 단계는, 상기 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상 또는 비교 결과 등 모든 관련 데이터들을 프레임 형식으로 나타내는 과정을 더 포함할 수 있다.
실시 예에 따라, 상기 오염도를 판단하는 단계는, 상기 영상에서 담즙(Bile), 배설물(Feces), 버블(Bubble) 또는 피(Blood) 중 적어도 어느 하나를 임상의의 데이터베이스와 비교하여 색상을 검출하는 과정을 더 포함할 수 있다.
실시 예에 따라, 상기 오염도를 판단하는 단계는, 분류 모듈이 영상 획득부에서 획득된 영상을 분류하는 과정; 비교 모듈에서 임상의가 판단하여 진단을 내린 자료 및 기 저장된 데이터베이스와 상기 영상을 비교하는 단계; 및 판단 모듈에서 상기 영상의 오염 또는 비오염을 판단하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 영상의 가용 여부를 %로 산출하는 단계는, 상기 영상에 대한 오염도가 기 설정된 오염도 비율을 초과하는지 판단하는 과정을 더 포함할 수 있다.
전술한 바와 같은 구성을 갖는 본 발명에 따르면, 장 캡슐 내시경에서 객관적인 장정결 척도(objective bowel preparation scale)를 산출할 수 있는 이점이 있다.
또한 본 발명은, 캡슐 내시경 진단율에 근거하여 환자의 상태에 따른 장정결(adequate bowel preparation)의 평가 기준을 마련할 수 있는 이점이 있다.
또한 본 발명은, 캡슐 내시경 검사의 품질 지표(quality indicator)를 활용하여 진단 또는 처방에 있어 보다 객관적으로 환자의 상태에 대응할 수 있는 의료서비스의 질 향상을 기대할 수 있는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 장치의 블록도를 나타낸다.
도 2는 본 발명의 실시 예에 따라 영상 획득부에서, 캡슐 내시경으로부터 획득된 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 모습을 나타낸다.
도 3은 본 발명의 영상 획득부에서 획득된 복수의 영상에 대한 다양한 실시 예를 나타낸다.
도 4는 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 방법의 순서도를 나타낸다.
도 5는 본 발명의 실시 예에 따른 오염 산출부에서, 복수의 영상에 대한 오염도를 판단하기 위해 딥러닝 기반으로 오염된 영상에 따라 분류한 모습을 나타낸다.
도 6은 본 발명의 실시 예에 따라 히스토그램 기반으로 영상의 비오염도를 판단하는 모습을 나타낸다.
도 7은 발명의 실시 예에 따른 오염 산출부에서, 원영역 검출을 통한 버블 영상의 오염도를 판단하는 모습을 나타낸다.
상기 목적을 달성하기 위하여 본 발명은, 환자의 소장 상태를 관찰하기 위한 캡슐 내시경으로부터 획득된 복수의 영상으로부터 장 정결도를 판단하는 장 정결도의 자동화 계산 장치에 있어서, 상기 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 영상 획득부; 상기 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 딥러닝 기술 과 색상으로 구분하여 상기 프레임의 오염도를 판단하는 오염 산출부; 및 상기 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출하는 장 정결도 판단부를 포함하는 장 정결도의 자동화 계산 장치 및 방법을 제공한다.
실시 예에 따라, 상기 영상 획득부는, 상기 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치 또는 색상 중 적어도 어느 하나를 포함하여 프레임으로 형성할 수 있다.
실시 예에 따라, 상기 영상 획득부는, 상기 환자의 소장 또는 대장에 존재하는 담즙(Bile), 배설물(Feces), 버블(Bubble) 또는 피(Blood) 중 적어도 어느 하나를 포함한 영상을 획득할 수 있다.
실시 예에 따라, 상기 오염 산출부는, 기 획득된 영상을 오염된 영상과 오염되지 않은 영상 또는 담즙(Bile), 배설물(Feces), 버블(Bubble), 피(Blood) 중 어느 하나로 분류하는 분류 모듈; 상기 분류 모듈에서 분류된 영상과 획득된 영상을 비교하는 비교 모듈; 및 상기 영상 획득부로부터 획득된 영상의 획득 부위 병변 위치 또는 오염 여부를 판단하는 판단 모듈을 포함할 수 있다
실시 예에 따라, 상기 오염 산출부는, 상기 영상으로부터 랜덤하게 영상을 추출한 후, 임상의가 판단한 오염/비오염 영상의 데이터베이스와 비교하여, 획득 또는 입력된 영상에 대해서 오염 유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력하는 과정을 수행하는 기계 학습부를 더 포함할 수 있다.
실시 예에 따라, 상기 기계 학습부는, 점막(Mucosa) 영역을 포함하는 영상으로부터 오염된 영상과 오염되지 않은 영상 또는 담즙(Bile), 배설물(Feces), 버블(Bubble), 피(Blood) 중 어느 하나에 해당되는 히스토그램 분포를 학습할 수 있다.
실시 예에 따라, 상기 장 정결도 판단부는, 오염 또는 비오염된 영상 분류를 이용하여 가중치의 합을 통해 한 장의 영상에 대한 오염 유무를 판단할 수 있다.
실시 예에 따라, 상기 장 정결도 판단부는, 상기 캡슐 내시경의 한번의 시술을 통해 얻어진 전체 영상의 개수 N과 오염된 영상의 개수 C의 비율인 C/N*100%를 계산하여 해당 시술에서의 장 정결도를 복수의 단계로 분류할 수 있다.
또한 본 발명은, 캡슐 내시경으로부터 복수의 영상을 획득하여 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 단계; 상기 프레임과 기 저장된 오염도 기준 영상을 비교하여 오염도를 색상으로 구분하여 오염도를 판단하는 단계; 및 상기 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 영상을 프레임으로 형성하는 단계는, 상기 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상 또는 비교 결과 등 모든 관련 데이터들을 프레임 형식으로 나타내는 과정을 더 포함할 수 있다.
실시 예에 따라, 상기 오염도를 판단하는 단계는, 상기 영상에서 담즙(Bile), 배설물(Feces), 버블(Bubble) 또는 피(Blood) 중 적어도 어느 하나를 임상의의 데이터베이스와 비교하여 색상을 검출하는 과정을 더 포함할 수 있다.
실시 예에 따라, 상기 오염도를 판단하는 단계는, 분류 모듈이 영상 획득부에서 획득된 영상을 분류하는 과정; 비교 모듈에서 임상의가 판단하여 진단을 내린 자료 및 기 저장된 데이터베이스와 상기 영상을 비교하는 단계; 및 판단 모듈에서 상기 영상의 오염 또는 비오염을 판단하는 단계를 포함할 수 있다.
실시 예에 따라, 상기 영상의 가용 여부를 %로 산출하는 단계는, 상기 영상에 대한 오염도가 기 설정된 오염도 비율을 초과하는지 판단하는 과정을 더 포함할 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명은, 캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정하는 발명이다.
즉, 캡슐 내시경을 환자의 몸 속에 통과시켜 획득된 영상 각각의 오염도를 평가하여, 전체 영상에 대한 오염도의 평균치 또는 가중치 적용을 통해 전체 영상에 대한 오염도 %를 산출하여, 1회의 영상 획득 과정을 통해 획득된 영상을 환자의 진단에 사용할 수 있는지 결정하는 기술에 관한 것이다.
본 기술을 적용하여, 장 캡슐 내시경에서 객관적인 장정결 척도(objective bowel preparation scale)를 산출할 수 있고, 캡슐 내시경 진단율에 근거하여 환자의 상태에 따른 장정결(adequate bowel preparation)의 평가 기준을 객관적으로 마련할 수 있다.
장 정결도를 자동으로 계산하는 과정은, 크게 기존 임상 데이터 들을 오프라인으로 수집하여 각 영상의 진단 결과가 저장된 데이터베이스가 구축된 이후 시작될 수 있다.
개별 영상을 획득한 이후 각 영상을 기존 데이터베이스와 비교하여 각 색상 영역을 딥러닝으로 비교하여, 각 영상에 대한 결과 값을 도출하고, 이를 전체 영상에 적용하여 결과 값을 도출하는데, 개별 영상의 장정결 여부를 이용한 딥러닝의 결과는, 아래와 같이 산출될 수 있다.
장정결도(%) = 장정결이 적절한 영상 / 전체 영상 (또는 몇 분 간격의 영상)
이는 Map view color의 비율을 이용한 장정결도 자동화 계산 방법으로, 아래의 도 1 내지 도 7을 통해 자세히 설명한다.
도 1은 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 장치의 블록도를 나타낸다.
도 1을 참조하면, 본 발명은 영상 획득부(10), 오염 산출부(20), 장 정결도 판단부(30), 기계 학습부(21), 디스플레이부(40)를 포함할 수 있다.
영상 획득부(10)는, 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성할 수 있다.
오염 산출부(20)는, 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 색상으로 구분하여 상기 프레임의 오염도를 판단할 수 있다.
오염 산출부(20)는 분류 모듈, 비교 모듈 및 판단 모듈을 포함할 수 있다.
분류 모듈은, 염된 영상과 오염되지 않은 영상을 구분한 데이터베이스를 딥러닝 이전 사전에 구축을 수행하고, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 오염 요인으로 분류할 수 있다.
비교 모듈은, 임상의가 판단하여 진단을 내린 자료가 기 저장된 데이터베이스와 분류된 영상을 비교할 수 있다.
판단 모듈은, 오염/비오염을 판단하며, 판단 모듈은 획득된 영상에서의 오염 여부에 대해 판단할 수 있다.
오염 산출부(20)는, Mucosa 영역을 주로 포함하는 영상으로부터 정상 상태인 Mucosa의 색(주로 연한 분홍색)에 해당하는 히스토그램 분포를 학습하고, 배설물(Feces)/ 담즙(Bile) 영상으로부터 오염된 색(주로 녹색/황색)에 해당하는 히스토그램 분포를 학습할 수 있다.
또한, 빨간색 형태의 피가 나타나는 Blood 영상으로부터 오염된 색(주로 빨간색)에 해당하는 히스토그램 분포를 학습할 수 있으며, 추가적으로 영상 내에 존재할 수 있는 장기 내 공간 영역(주로 검은색), 음식물(주로 노란색) 등 캡슐 내시경 영상에서 존재할 수 있는 히스토그램을 학습할 수 있다.
이렇게 학습된 히스토그램 분포를 통해서 영상 획득부(10)로부터 영상이 입력되면 입력된 영상 중에서 각 픽셀 혹은 작은 영역에 대해서 각각의 히스토그램 분포 중 어떤 히스토그램에 더 가까운지를 판단할 수 있다.
이 과정에서 비교 모듈과 판단 모듈이 적용될 수 있고, 영상에서 mucosa의 색에 가까운 정도를 계산하여 비오염된 정도를 판단할 수 있다. 또한, 전체 픽셀 또는 영역 중 mucosa가 확인되는 비오염된 비율이 기 설정된 일정 수치 이상이면 판단 모듈에서 비오염된 영상으로 판단하고, 이의 정도를 수치로 출력할 수 있다.
장 정결도 판단부(30)는, 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출할 수 있다.
기계 학습부(21)는, 캡슐 내시경으로부터 획득된 다양한 영상으로부터 랜덤하게 영상을 추출한 후, 임상의가 판단한 오염/비오염 영상의 데이터베이스와 비교하여, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 오염 요인으로 인한 오염유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력하는 과정을 수행할 수 있다.
디스플레이부(40)는, 기계 학습부(21)에서 수행된 영상 처리의 결과 및 결과에 관련된 각 영역의 사진 등 다양한 정보를 표시할 수 있다. 다만, 이에 한정되는 것은 아니고, 장 정결도와 관련된 비교된 데이터베이스의 자료, 병변 영역 등 모든 구성 내용을 표현하는 것을 포함한다. 디스플레이부(40)는 도 2에 도시된 바와 같이 측정 결과를 보여줄 수 있다.
도 2는 본 발명의 실시 예에 따라 영상 획득부(10)에서, 캡슐 내시경으로부터 획득된 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 모습을 나타낸다.
도 2를 참조하면, 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상, 비교 결과 등 모든 데이터들을 프레임 형식으로 나타낼 수 있고, 이에 한정되지 않고, 각종 관련 정보 또한 포함하여 표시할 수 있다.
도 3은 본 발명의 영상 획득부(10)에서 획득된 복수의 영상에 대한 다양한 실시 예를 나타낸다.
도 3을 참조하면, (a) 내지 (h)는 캡슐 내시경으로부터 획득된 다양한 영상, 즉 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등이 획득된 모습을 나타낸다.
이하 상술한 장 정결도의 자동화 계산 장치를 이용한 장 정결도의 자동화 계산 방법에 대해 설명한다.
도 4는 본 발명의 실시 예에 따른 장 정결도의 자동화 계산 방법의 순서도를 나타낸다.
도 4를 참조하면, 본 발명은, 캡슐 내시경으로부터 복수의 영상을 획득하여 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 단계(S10), 프레임과 기 저장된 오염도 기준 영상을 비교하여 오염도를 색상으로 구분하여 오염도를 판단하는 단계(S20) 및 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계(S30)를 포함할 수 있다.
캡슐 내시경으로부터 복수의 영상을 획득(S11)하여 복수의 영상 중 일정 영역의 영상을 프레임으로 형성(S12)하는 단계는, 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상, 비교 결과 등 모든 관련 데이터들을 프레임 형식으로 나타내는 과정이다.
프레임과 기 저장된 오염도 기준 영상을 비교(S21)하여 오염도를 색상으로 구분하여 오염도를 판단(S22)하는 단계는, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 실시 예에 따라, 임상의의 데이터베이스와 비교하여 색상을 검출하는 과정이다.
본 발명의 실시 예에 따라, 장 정결도의 임상적 유용성을 측정하는 과정은 캡슐 내시경의 진단율과의 연관성을 평가하는 과정으로, 장정결도 기준과 캡슐내시경 진단 여부를 이용한 적절한 장정결도의 cut-off value를 제시한다.
즉, 장정결도 적절성 기준을 50%로 했을 때 진단 여부 (유소견), 55%, 60%, 65%,.... 95% 로 했을 때 진단 여부는 각 기준에 대한 민감도, 특이도를 이용해 ROC curve를 그림을 나타낼 수 있으며, 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계(S30)는, 캡슐 내시경 진단율을 최대로 할 수 있는 최저의 장 정결도 기준 (cut-off value)을 확인하여 적절(adequate) / 부적절(inadequate)의 기준으로 제공할 수 있다.
도 5는 본 발명의 실시 예에 따른 오염 산출부(20)에서, 복수의 영상에 대한 오염도를 판단하기 위해 딥러닝 기반으로 오염된 영상에 따라 분류한 모습을 나타낸다.
도 6은 본 발명의 실시 예에 따라 히스토그램 기반으로 영상의 비오염도를 판단하는 모습을 나타낸다.
도 7은 발명의 실시 예에 따른 오염 산출부(20)에서, 원영역 검출을 통한 버블 영상의 오염도를 판단하는 모습을 나타낸다.
장 정결도를 계산하기 위해 도 5 내지 도 7과 같이 세 개의 오염 또는 비오염된 영상 분류를 이용하여 가중치의 합을 통해 한 장의 영상에 대한 오염 유무를 판단할 수 있다.
캡슐 내시경의 한번 시술을 통해 얻어진 전체 영상의 개수 N과 오염된 영상의 개수 C의 비율인 C/N*100%를 계산하여 해당 시술의 장 정결도를 Excellent/Good/Fair/Poor 의 네 가지 정도로 구분할 수 있다.
오염 산출부(20)는 분류 모듈, 비교 모듈 및 판단 모듈을 포함할 수 있는데, 각 모듈의 학습과 분류 방법은 다음과 같다.
또한 오염 산출부(20)는, 히스토그램 기반의 영상으로 판단하는 방법, 버블 영역이나 형태로 판단하는 방법, 그 외 딥러닝으로 판단하는 방법을 사용하여 영상을 분류 및 판단할 수 있으며, 각각의 방법에 가중치를 적용하여 오염도를 산출할 수 있다.
1. 딥러닝 기반 오염된 영상 분류 모듈
도 5를 참조하면, 다양한 캡슐 내시경 영상으로부터 랜덤하게 영상을 추출한 후에 임상의가 판단하여 오염된 영상과 오염되지 않은 영상을 구분한 데이터베이스를 딥러닝 이전 사전에 구축을 수행하고, 입력된 영상에 대해서 담즙(Bile)/ 배설물(Feces)/ 버블(Bubble)/ 피(Blood) 등의 오염 요인으로 인한 오염 유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력할 수 있다.
이 과정에서 분류 모듈은 영상 획득부(10)에서 획득된 영상을 분류하고, 비교 모듈은 임상의가 판단하여 진단을 내린 자료가 기 저장된 데이터베이스와 분류된 영상을 비교하여, 오염/비오염을 판단하며, 판단 모듈은 획득된 영상에서의 오염 여부에 대해 판단한다.
2. 히스토그램 기반 영상 비오염도 판단 모듈
도 6을 참조하면, Mucosa 영역을 주로 포함하는 영상으로부터 정상 상태인 Mucosa의 색(주로 연한 분홍색)에 해당하는 히스토그램 분포를 학습하고, 배설물(Feces)/ 담즙(Bile) 영상으로부터 오염된 색(주로 녹색/황색)에 해당하는 히스토그램 분포를 학습할 수 있다.
또한, 빨간색 형태의 피가 나타나는 Blood 영상으로부터 오염된 색(주로 빨간색)에 해당하는 히스토그램 분포를 학습할 수 있으며, 추가적으로 영상 내에 존재할 수 있는 장기 내 공간 영역(주로 검은색), 음식물(주로 노란색) 등 캡슐 내시경 영상에서 존재할 수 있는 히스토그램을 학습할 수 있다.
이렇게 학습된 히스토그램 분포를 통해서 영상 획득부(10)로부터 영상이 입력되면 입력된 영상 중에서 각 픽셀 혹은 작은 영역에 대해서 각각의 히스토그램 분포 중 어떤 히스토그램에 더 가까운지를 판단할 수 있다.
이 과정에서 비교 모듈과 판단 모듈이 적용될 수 있고, 영상에서 mucosa의 색에 가까운 정도를 계산하여 비오염된 정도를 판단할 수 있다. 또한, 전체 픽셀 또는 영역 중 mucosa가 확인되는 비오염된 비율이 기 설정된 일정 수치 이상이면 판단 모듈에서 비오염된 영상으로 판단하고, 이의 정도를 수치로 출력할 수 있다.
3. 원영역 검출을 통한 버블 영상의 오염도 판단 모듈
도 7을 참조하면, 입력 영상에서 원영역을 검출하여 영상 내에 원이 차지하는 비율을 판단하여 영상의 오염도를 판단하고, 이의 정도를 수치로 출력할 수 있다.
캡슐 내시경으로부터 획득된 영상을 기존에 의사가 판독한 영상 데이터와 딥러닝으로 비교하여 오염도를 통해 캡슐 내시경으로부터 획득된 영상의 가용 여부를 결정할 수 있다.
본 발명의 실시 예에 따라 전체 영상에 대한 오염도 비율이 50%를 초과하는 경우, 획득된 영상에 대해 진단을 하는 경우 오진이 될 수 있는 불명확한 영상 자료로 분류될 수 있다. 다만, 비율 %는 상술한 실시 예에 한정되는 것은 아니고, 환자의 상태나 영상 획득 방식에 따라 조절이 가능하며, 프로그램 될 수 있다.
이 경우, 획득된 영상은 저장되거나 삭제될 수 있고, 다시 캡슐 내시경을 이용하여 재촬영을 수행할 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

Claims (13)

  1. 환자의 소장 상태를 관찰하기 위한 캡슐 내시경으로부터 획득된 복수의 영상으로부터 장 정결도를 판단하는 장 정결도의 자동화 계산 장치에 있어서,
    상기 복수의 영상을 획득하여 시간 순서에 따라 상기 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 영상 획득부;
    상기 프레임과 기 저장된 오염도 기준 영상과 비교하여 상기 영상의 오염도를 딥러닝 기술과 색상으로 구분하여 상기 프레임의 오염도를 판단하는 오염 산출부; 및
    상기 복수의 영상 중 상기 오염도가 기 설정된 기준치 이상이 되는 프레임 수를 산출하여 전체 복수의 영상 수와 비교하여 상기 환자의 캡슐 내시경 영상의 가용 여부를 %로 산출하는 장 정결도 판단부를 포함하는 장 정결도의 자동화 계산 장치.
  2. 제 1 항에 있어서,
    상기 영상 획득부는,
    상기 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치 또는 색상 중 적어도 어느 하나를 포함하여 프레임으로 형성하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  3. 제 1 항에 있어서,
    상기 영상 획득부는,
    상기 환자의 소장 또는 대장에 존재하는 담즙(Bile), 배설물(Feces), 버블(Bubble) 또는 피(Blood) 중 적어도 어느 하나를 포함한 영상을 획득하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  4. 제 1 항에 있어서,
    상기 오염 산출부는,
    기 획득된 영상을 오염된 영상과 오염되지 않은 영상 또는 담즙(Bile), 배설물(Feces), 버블(Bubble), 피(Blood) 중 어느 하나로 분류하는 분류 모듈;
    상기 분류 모듈에서 분류된 영상과 획득된 영상을 비교하는 비교 모듈; 및
    상기 영상 획득부로부터 획득된 영상의 획득 부위 병변 위치 또는 오염 여부를 판단하는 판단 모듈을 포함하는 장 정결도의 자동화 계산 장치.
  5. 제 4 항에 있어서,
    상기 오염 산출부는,
    상기 영상으로부터 랜덤하게 영상을 추출한 후, 임상의가 판단한 오염/비오염 영상의 데이터베이스와 비교하여, 획득 또는 입력된 영상에 대해서 오염 유무를 판단하며, 오염된 정도를 이진분류나 확률로 출력하는 과정을 수행하는 기계 학습부를 더 포함하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  6. 제 5 항에 있어서,
    상기 기계 학습부는,
    점막(Mucosa) 영역을 포함하는 영상으로부터 오염된 영상과 오염되지 않은 영상 또는 담즙(Bile), 배설물(Feces), 버블(Bubble), 피(Blood) 중 어느 하나에 해당되는 히스토그램 분포를 학습하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  7. 제 1 항에 있어서,
    상기 장 정결도 판단부는,
    오염 또는 비오염된 영상 분류를 이용하여 가중치의 합을 통해 한 장의 영상에 대한 오염 유무를 판단하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  8. 제 1 항에 있어서,
    상기 장 정결도 판단부는,
    상기 캡슐 내시경의 한번의 시술을 통해 얻어진 전체 영상의 개수 N과 오염된 영상의 개수 C의 비율인 C/N*100%를 계산하여 해당 시술에서의 장 정결도를 복수의 단계로 분류하는 것을 특징으로 하는 장 정결도의 자동화 계산 장치.
  9. 캡슐 내시경으로부터 복수의 영상을 획득하여 복수의 영상 중 일정 영역의 영상을 프레임으로 형성하는 단계;
    상기 프레임과 기 저장된 오염도 기준 영상을 비교하여 오염도를 색상으로 구분하여 오염도를 판단하는 단계; 및
    상기 캡슐 내시경 영상의 가용 여부를 %로 산출하는 단계를 포함하는 장 정결도의 자동화 계산 방법.
  10. 제 9 항에 있어서,
    상기 영상을 프레임으로 형성하는 단계는,
    상기 캡슐 내시경으로부터 획득된 영상을 시간 순서, 획득 부위, 병변 위치, 색상 또는 비교 결과 등 모든 관련 데이터들을 프레임 형식으로 나타내는 과정을 더 포함하는 장 정결도의 자동화 계산 방법.
  11. 제 9 항에 있어서,
    상기 오염도를 판단하는 단계는,
    상기 영상에서 담즙(Bile), 배설물(Feces), 버블(Bubble) 또는 피(Blood) 중 적어도 어느 하나를 임상의의 데이터베이스와 비교하여 색상을 검출하는 과정을 더 포함하는 장 정결도의 자동화 계산 방법.
  12. 제 9 항에 있어서,
    상기 오염도를 판단하는 단계는,
    분류 모듈이 영상 획득부에서 획득된 영상을 분류하는 과정;
    비교 모듈에서 임상의가 판단하여 진단을 내린 자료 및 기 저장된 데이터베이스와 상기 영상을 비교하는 단계; 및
    판단 모듈에서 상기 영상의 오염 또는 비오염을 판단하는 단계를 포함하는 장 정결도의 자동화 계산 방법.
  13. 제 9 항에 있어서,
    상기 영상의 가용 여부를 %로 산출하는 단계는,
    상기 영상에 대한 오염도가 기 설정된 오염도 비율을 초과하는지 판단하는 과정을 더 포함하는 장 정결도의 자동화 계산 방법.
PCT/KR2020/015914 2019-12-05 2020-11-12 장 정결도의 자동화 계산 장치 및 방법 WO2021112436A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0160810 2019-12-05
KR1020190160810A KR102595429B1 (ko) 2019-12-05 2019-12-05 장 정결도의 자동화 계산 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2021112436A1 true WO2021112436A1 (ko) 2021-06-10

Family

ID=76222521

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/015914 WO2021112436A1 (ko) 2019-12-05 2020-11-12 장 정결도의 자동화 계산 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102595429B1 (ko)
WO (1) WO2021112436A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658179B (zh) * 2021-10-19 2021-12-28 武汉大学 肠道清洁度的检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777518B1 (ko) * 2006-02-10 2007-11-16 올림푸스 가부시키가이샤 내시경 촬상 장치
JP2011036582A (ja) * 2009-08-18 2011-02-24 Hoya Corp 汚れ検知方法、及び医療用観察システム
JP5818520B2 (ja) * 2011-06-06 2015-11-18 株式会社東芝 医用画像処理システム
KR101875004B1 (ko) * 2017-01-04 2018-07-05 금오공과대학교 산학협력단 캡슐 내시경 영상을 이용한 자동 출혈 감지 방법 및 컴퓨터 프로그램
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777518B1 (ko) * 2006-02-10 2007-11-16 올림푸스 가부시키가이샤 내시경 촬상 장치
JP2011036582A (ja) * 2009-08-18 2011-02-24 Hoya Corp 汚れ検知方法、及び医療用観察システム
JP5818520B2 (ja) * 2011-06-06 2015-11-18 株式会社東芝 医用画像処理システム
KR101875004B1 (ko) * 2017-01-04 2018-07-05 금오공과대학교 산학협력단 캡슐 내시경 영상을 이용한 자동 출혈 감지 방법 및 컴퓨터 프로그램
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치

Also Published As

Publication number Publication date
KR20210071173A (ko) 2021-06-16
KR102595429B1 (ko) 2023-11-01

Similar Documents

Publication Publication Date Title
WO2019088462A1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
WO2021025458A1 (ko) 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치
US7319781B2 (en) Method and system for multiple passes diagnostic alignment for in vivo images
WO2016159726A1 (ko) 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법
WO2019054638A1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
WO2018169330A1 (en) Systems and methods for determining defects in visual field of a user
WO2019208848A1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
US20050075537A1 (en) Method and system for real-time automatic abnormality detection for in vivo images
Ghosh et al. A statistical feature based novel method to detect bleeding in wireless capsule endoscopy images
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2021112436A1 (ko) 장 정결도의 자동화 계산 장치 및 방법
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
CN104700424A (zh) 医用彩色电子内窥镜图像坏点检测装置
WO2013077558A1 (ko) 뇌전도를 이용한 로봇기반 자폐진단 장치 및 그 방법
WO2017065358A1 (ko) 시약 키트의 이미지를 통한 감염병 진단 방법 및 장치
WO2014157796A1 (ko) 진단 보조용 내시경 시스템 및 그 제어 방법
WO2019221586A1 (ko) 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN113768452A (zh) 一种电子内窥镜智能计时方法及装置
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2023075303A1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
WO2022114357A1 (ko) 영상 병변 진단 시스템
WO2017200132A1 (ko) 수면성 호흡장애 진단장치 및 방법
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
WO2022114371A1 (ko) 발열검사기의 실화상과 열화상의 최적 자동 매핑 방법 및 그 방법을 적용한 발열검사기
Pan et al. Bleeding detection from wireless capsule endoscopy images using improved euler distance in CIELab

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20895008

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20895008

Country of ref document: EP

Kind code of ref document: A1