KR102185886B1 - Colonoscopy image analysis method and apparatus using artificial intelligence - Google Patents

Colonoscopy image analysis method and apparatus using artificial intelligence Download PDF

Info

Publication number
KR102185886B1
KR102185886B1 KR1020200061636A KR20200061636A KR102185886B1 KR 102185886 B1 KR102185886 B1 KR 102185886B1 KR 1020200061636 A KR1020200061636 A KR 1020200061636A KR 20200061636 A KR20200061636 A KR 20200061636A KR 102185886 B1 KR102185886 B1 KR 102185886B1
Authority
KR
South Korea
Prior art keywords
artificial intelligence
colonoscopy
colonoscopy image
image
measurement
Prior art date
Application number
KR1020200061636A
Other languages
Korean (ko)
Inventor
이석복
박재준
유종욱
윤홍진
Original Assignee
주식회사 웨이센
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센, 연세대학교 산학협력단 filed Critical 주식회사 웨이센
Priority to KR1020200061636A priority Critical patent/KR102185886B1/en
Application granted granted Critical
Publication of KR102185886B1 publication Critical patent/KR102185886B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Abstract

The present invention relates to a colonoscopy image analysis method capable of discriminating objects such as cecum, polyp, foreign material, or the like using artificial intelligence. According to an embodiment of the present invention, a colonoscopy image analysis method comprises the steps of: generating an artificial intelligence model capable of determining which object of a colonoscopy image corresponds to at least within a group including cecum, polyp, and foreign material; and determining which object of the input colonoscopy image corresponds to within the group by applying the input colonoscopy image to the artificial intelligence model.

Description

인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치{Colonoscopy image analysis method and apparatus using artificial intelligence}Colonoscopy image analysis method and apparatus using artificial intelligence

본 발명은 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for analyzing colonoscopy images using artificial intelligence.

일반적으로 내시경은 수술을 하거나 부검을 하지 않고 기계를 신체에 삽입하여 장기를 관찰하는 의료기구이다. 종류로서 하나의 관형태로 되어있는 형태의 렌즈를 이용한 카메라를 직접 신체에 삽입하여 장기의 점막을 촬영하고 기록하여 병을 발견하고 진단할 수 있는 것과 높은 해상도를 이용하여 점막상태를 관찰하고 조직의 일부를 절단하여 검사할 수 있는 장치가 결합된 유리섬유를 이용한 파이버스코프 등이 있다. 이러한 내시경은 기관지경, 식도경, 위경, 십이지장경, 직장경, 방광경, 복강경 등에 사용되고 있으며, 특히 대장내시경은 건강검진, 대장용종 진단 등에 많이 사용되고 있다. In general, an endoscope is a medical device that observes organs by inserting a machine into the body without performing surgery or autopsy. As a type, a camera using a lens in the form of a tube can be directly inserted into the body to photograph and record the mucous membrane of organs to detect and diagnose diseases, and to observe the mucous membrane condition using high resolution and There are fiberscopes using glass fibers that incorporate a device that can be cut and inspected. These endoscopes are used for bronchoscopy, esophageal, gastric, duodenal, rectal, cystoscope, laparoscopy, and the like. In particular, colonoscopy is widely used for health examination and diagnosis of colon polyps.

그러나, 이러한 내시경으로 장기를 검사 및/또는 시술하기 위해서는 검사자가 내시경에 결합된 카메라로 촬영된 영상을 모니터로 확인하며 조종하거나 검사자의 감각으로 조종하므로 검사자의 조종의 미숙이나 실수로 인하여 내시경 검사가 제대로 이루어지지 않을 수 있다. However, in order to examine and/or perform an organ with such an endoscope, the examiner checks and manipulates the image captured by the camera coupled to the endoscope with a monitor or manipulates it with the examiner's senses. It may not work.

예를 들어, 대장 내시경의 경우 프로브가 맹장에 도달한 이후에 회수하여야 대장 전체에 대한 검사가 수행될 수 있지만, 검사자의 숙련도 차이 또는 오판으로 인해 프로브가 맹장에 도달하기 이전인 대장의 중간부터 수행되는 경우가 있다. 또한, 현행법상 대장 내시경 검사에 건강보험료가 적용되기 위해서는 내시경이 회수되는데 소정의 시간 이상이 소요되어야 한다. 종래에는 검사자가 회수를 시작하는 시간과 종료하는 시간을 일일이 확인하여야 하는 불편함이 있었다. 또한, 검사자에 따라 대장 내의 용종이나 이물질을 구분하는 능력이 상이하여 검사 결과가 달라질 수 있다. 카메라의 위치에 따라 한 개의 용종이 상이한 형상으로 보이거나 이물질에 의해 가려질 수 있는데, 종래에는 이러한 판단을 검사자에게 맡길 수 밖에 없었다.For example, in the case of colonoscopy, the entire large intestine can be examined only after the probe reaches the cecum, but due to differences in proficiency or misjudgment of the examiner, it is performed from the middle of the large intestine before the probe reaches the cecum. There are cases. In addition, in order to apply health insurance premiums for colonoscopy under the current law, it must take a predetermined time or more for the endoscope to be recovered. Conventionally, there is an inconvenience in that the inspector must individually check the time at which collection starts and ends. In addition, the test result may vary depending on the examiner because the ability to distinguish polyps or foreign substances in the large intestine is different. Depending on the position of the camera, one polyp may appear in a different shape or may be covered by foreign substances, but conventionally, such a judgment had to be left to the inspector.

특허등록공보 제10-2023753 B1호 (2019.09.16)Patent Registration Publication No. 10-2023753 B1 (2019.09.16)

본 발명의 실시예는 인공지능을 이용하여 맹장, 용종, 이물질 등의 객체를 판별할 있는 대장 내시경 영상 분석 방법 및 장치를 제공하고자 한다. An embodiment of the present invention is to provide a colonoscopy image analysis method and apparatus capable of discriminating objects such as cecum, polyp, and foreign body using artificial intelligence.

본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법은, 대장 내시경 영상의 객체가 적어도 맹장(cecum), 용종(polyp) 및 이물질(foreign)을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별할 수 있는 인공지능 모델을 생성하는 단계; 및 입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 입력된 대장 내시경 영상의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 판별하는 단계를 포함한다.In the method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention, it is determined which object of the colonoscopy image corresponds to at least within a group including cecum, polyp, and foreign material. Generating a capable artificial intelligence model; And determining which object of the input colonoscopy image corresponds to within the group by applying the input colonoscopy image to the artificial intelligence model.

상기 방법은, 입력된 대장 내시경 영상의 객체가 맹장에 해당하는 것으로 판별된 때로부터 대장 내시경의 회수(withdrawal) 시간을 측정하는 단계를 더 포함할 수 있다.The method may further include measuring the withdrawal time of the colonoscopy from when it is determined that the object of the input colonoscopy image corresponds to the cecum.

상기 방법은, 입력된 대장 내시경 영상이 체외 영상인 것으로 판단되면, 상기 회수 시간의 측정을 종료하는 단계를 더 포함할 수 있다.The method may further include terminating the measurement of the recovery time when it is determined that the input colonoscopy image is an in vitro image.

상기 인공지능 모델은 대장 내시경 영상이 체내 영상인지 체외 영상인지를 판별할 수 있고, 상기 종료하는 단계는, 상기 인공지능 모델을 이용하여 체외 영상인지를 판단할 수 있다.The artificial intelligence model may determine whether the colonoscopy image is an in-body image or an extracorporeal image, and in the ending step, it may be determined whether it is an external image using the artificial intelligence model.

상기 종료하는 단계는 입력된 대장 내시경 영상의 컬러 히스토그램에 기초하여 체외 영상인지를 판단할 수 있다.The ending step may determine whether the image is an in vitro image based on the color histogram of the input colonoscopy image.

상기 인공지능 모델은 대장내시경 영상에서 시술 중인지를 판별할 수 있고,The artificial intelligence model can determine whether a procedure is being performed on a colonoscopy image,

상기 방법은, 입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 시술 중인지를 판별하는 단계; 및 회수 시간의 측정이 시작한 후, 시술 중인 것으로 판별된 경우 상기 회수 시간의 측정을 중단하는 단계를 더 포함할 수 있다.The method includes the steps of determining whether a procedure is in progress by applying an input colonoscopy image to the artificial intelligence model; And stopping the measurement of the recovery time when it is determined that the procedure is being performed after starting the measurement of the recovery time.

상기 방법은, 상기 회수 시간의 측정이 중단된 상태에서, 시술 중이 아닌 것으로 판별된 경우 상기 회수 시간의 측정을 재개하는 단계를 더 포함할 수 있다.The method may further include restarting the measurement of the recovery time when it is determined that the procedure is not in progress while the measurement of the recovery time is stopped.

상기 인공지능 모델은 대장내시경 영상에서 시술 중인지를 판별할 수 있고, 상기 방법은, 입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 시술 중인지를 판별하는 단계; 회수 시간의 측정이 시작한 후, 시술 중인 것으로 판별된 경우 중단 시간의 측정을 시작하는 단계; 및 상기 중단 시간의 측정이 시작된 상태에서, 시술 중이 아닌 것으로 판별된 경우 상기 중단 시간의 측정을 종료하는 단계를 더 포함할 수 있다.The artificial intelligence model may determine whether a procedure is being performed from a colonoscopy image, and the method includes: determining whether a procedure is being performed by applying an input colonoscopy image to the artificial intelligence model; After starting the measurement of the recovery time, starting the measurement of the interruption time when it is determined that the procedure is being performed; And terminating the measurement of the interruption time when it is determined that the procedure is not in progress while the measurement of the interruption time is started.

상기 방법은, 회수 시간의 측정이 종료된 후, 상기 회수 시간과 상기 중단 시간에 기초하여 최종 회수 시간을 산정하는 단계를 더 포함할 수 있다.The method may further include calculating a final collection time based on the collection time and the interruption time after measurement of the collection time is finished.

상기 방법은, 상기 회수 시간이 소정 시간을 경과하였는지를 디스플레이 장치에 표시하는 단계를 더 포함할 수 있다.The method may further include displaying on the display device whether the collection time has passed a predetermined time.

상기 대장 내시경 영상은 복수의 프레임을 포함하고, 상기 판별하는 단계는, 상기 복수의 프레임의 각각에 대해 객체가 상기 그룹 중 어느 것에 해당하는지를 판별하고, 상기 방법은, 상기 객체가 동일한지 여부를 판단하는 단계; 및 상기 객체가 동일한지 여부에 기초하여, 상기 복수의 프레임의 상이한 객체의 개수를 산정하는 단계를 더 포함할 수 있다.The colonoscopy image includes a plurality of frames, and the determining step is to determine which one of the groups an object corresponds to for each of the plurality of frames, and the method determines whether the objects are the same Step to do; And calculating the number of different objects in the plurality of frames based on whether the objects are the same.

상기 동일한지 여부를 판단하는 단계는, 상기 복수의 프레임 중 소정의 시간 범위의 두 개의 프레임에 있어서, 객체의 위치 및 크기 중 적어도 하나에 기초하여 상기 두 개의 프레임의 객체가 동일한지 여부를 판단할 수 있다.The determining whether the two frames are the same may include determining whether the objects of the two frames are the same based on at least one of a position and a size of an object in two frames of a predetermined time range among the plurality of frames. I can.

상기 인공지능 모델은 상기 대장 내시경 영상의 각 프레임의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 확률적으로 판별하고, 상기 방법은, 상기 대장 내시경 영상 중 동일한 객체를 포함하는 것으로 판단된 프레임 중에서 가장 높은 확률을 갖는 프레임을 대표로 지정하는 단계를 더 포함할 수 있다.The artificial intelligence model probably determines which object in each frame of the colonoscopy image corresponds to which one in the group, and the method includes the highest among frames determined to include the same object among the colonoscopy images. It may further include the step of designating a frame having a probability as a representative.

본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 장치는, 대장 내시경 영상의 객체가 적어도 맹장, 용종 및 이물질을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별할 수 있는 인공지능 모델; 및 상기 인공지능 모델을 이용하여, 입력된 대장 내시경 영상의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 판별하는 객체 판별부를 포함한다.An apparatus for analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention includes an artificial intelligence model capable of determining which object of the colonoscopy image corresponds to at least within a group including cecum, polyp, and foreign body; And an object discrimination unit for determining which object of the input colonoscopy image corresponds to which one in the group by using the artificial intelligence model.

상기 장치는, 입력된 대장 내시경 영상의 객체가 맹장에 해당하는 것으로 판별된 때로부터 대장 내시경의 회수(withdrawal) 시간을 측정하는 회수시간 측정부를 더 포함할 수 있다.The apparatus may further include a collection time measuring unit for measuring a withdrawal time of the colonoscopy from when it is determined that the object of the input colonoscopy image corresponds to the cecum.

상기 회수시간 측정부는, 입력된 대장 내시경 영상이 체외 영상인 것으로 판단되면, 상기 회수 시간의 측정을 종료하는 종료 판단부를 포함할 수 있다.When it is determined that the input colonoscopy image is an in vitro image, the collection time measurement unit may include a termination determination unit that ends the measurement of the collection time.

상기 인공지능 모델은 대장 내시경 영상이 체내 영상인지 체외 영상인지를 판별할 수 있고, 상기 종료 판단부는, 상기 인공지능 모델을 이용하여 체외 영상인지를 판단할 수 있다.The artificial intelligence model may determine whether the colonoscopy image is an in-body image or an extracorporeal image, and the end determination unit may determine whether the image is in vitro using the artificial intelligence model.

상기 종료 판단부는, 입력된 대장 내시경 영상의 컬러 히스토그램에 기초하여 체외 영상인지를 판단할 수 있다.The end determination unit may determine whether the image is an in vitro image based on a color histogram of the input colonoscopy image.

상기 인공지능 모델은 대장내시경 영상이 시술 중인지를 판별할 수 있고, 상기 회수시간 측정부는, 입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 시술 중인지를 판별하고, 회수 시간의 측정이 시작한 후 시술 중인 것으로 판별된 경우, 상기 회수 시간의 측정을 중단하는 중단 판단부를 포함할 수 있다. The artificial intelligence model can determine whether a colonoscopy image is being performed, and the recovery time measurement unit applies the input colonoscopy image to the artificial intelligence model to determine whether the procedure is in progress, and after the measurement of the recovery time starts When it is determined that the procedure is being performed, it may include a stop determination unit that stops the measurement of the recovery time.

상기 회수시간 측정부는, 상기 회수 시간의 측정이 중단된 상태에서, 시술 중이 아닌 것으로 판별된 경우 상기 회수 시간의 측정을 재개하는 재개 판단부를 더 포함할 수 있다.The recovery time measurement unit may further include a resumption determination unit for restarting the measurement of the recovery time when it is determined that the recovery time is not being performed while the measurement of the recovery time is stopped.

상기 인공지능 모델은 대장내시경 영상에서 시술 중인지를 판별할 수 있고, 상기 회수시간 측정부는, 입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 시술 중인지를 판별하고, 회수 시간의 측정이 시작한 후, 시술 중인 것으로 판별된 경우 중단 시간의 측정을 시작하고, 상기 중단 시간의 측정이 시작된 상태에서, 시술 중이 아닌 것으로 판별된 경우 상기 중단 시간의 측정을 종료할 수 있다.The artificial intelligence model can determine whether a procedure is being performed from a colonoscopy image, and the collection time measurement unit applies the input colonoscopy image to the artificial intelligence model to determine whether the procedure is being performed, and after the measurement of the recovery time starts If it is determined that the procedure is being performed, the measurement of the interruption time may be started, and when the measurement of the interruption time is determined to be not being performed, the measurement of the interruption time may be terminated.

상기 회수시간 측정부는, 회수 시간의 측정이 종료된 후, 상기 회수 시간과 상기 중단 시간에 기초하여 최종 회수 시간을 산정할 수 있다.After the measurement of the recovery time is finished, the recovery time measurement unit may calculate a final recovery time based on the recovery time and the interruption time.

상기 대장 내시경 영상은 복수의 프레임을 포함하고, 상기 객체 판별부는, 상기 복수의 프레임의 각각에 대해 객체가 상기 그룹 중 어느 것에 해당하는지를 판별하고, 상기 장치는, 상기 객체가 동일한지 여부를 판단하는 동일성 판단부; 및 상기 객체가 동일한지 여부에 기초하여, 상기 복수의 프레임의 상이한 객체의 개수를 산정하는 객체 수 산정부를 더 포함할 수 있다.The colonoscopy image includes a plurality of frames, the object determination unit, for each of the plurality of frames, determines which of the groups an object corresponds to, and the device determines whether the objects are the same. Identity determination unit; And an object number calculation unit that calculates the number of different objects in the plurality of frames based on whether the objects are the same.

상기 동일성 판단부는, 상기 복수의 프레임 중 소정의 시간 범위의 두 개의 프레임에 있어서, 객체의 위치 및 크기 중 적어도 하나에 기초하여 상기 두 개의 프레임의 객체가 동일한지 여부를 판단할 수 있다.The identity determination unit may determine whether the objects of the two frames are the same based on at least one of a location and a size of an object in two frames of a predetermined time range among the plurality of frames.

상기 인공지능 모델은 상기 대장 내시경 영상의 각 프레임의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 확률적으로 판별하고, 상기 장치는, 상기 대장 내시경 영상 중 동일한 객체를 포함하는 것으로 판단된 프레임 중에서 가장 높은 확률을 갖는 프레임을 대표로 지정하는 객체 관리부를 더 포함할 수 있다.The artificial intelligence model probably determines which object of each frame of the colonoscopy image corresponds to which one in the group, and the device is the highest among frames determined to include the same object among the colonoscopy images. An object management unit that designates a frame having a probability as a representative may further be included.

본 발명의 실시예에 의하면, 인공지능에 의해 맹장, 용종, 이물질 등의 객체를 판별할 수 있기 때문에 객관성 및 신뢰성이 보장된 대장 내시경 검사를 수행할 수 있다. 또한, 회수 시간을 자동적으로 측정함으로써 정확한 회수 시간을 측정할 수 있다.According to an embodiment of the present invention, since objects such as appendix, polyp, and foreign body can be identified by artificial intelligence, a colonoscopy with guaranteed objectivity and reliability can be performed. In addition, by automatically measuring the recovery time, it is possible to accurately measure the recovery time.

도 1은 본 발명의 실시예에 따른 대장 내시경 영상 분석 방법 및 장치가 이용되는 대장 내시경 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법을 나타내는 순서도이다.
도 3은 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법을 나타내는 순서도이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법을 나타내는 순서도이다.
도 5는 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법을 나타내는 순서도이다.
도 6은 도 5의 동일성 판단 단계를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 장치의 구성을 나타내는 도면이다.
도 8은 도 7의 회수시간 측정부의 구성도이다.
도 9는 도 7의 동일성 판단부의 구성도이다.
도 10은 도 9의 판단부 내에 저장된 데이터의 일 예를 나타내는 도면이다.
도 11은 도 7의 객체수 산정부의 구성도이다.
도 12~도 14는 본 발명의 실시예에 따른 대장 내시경 영상 분석 장치의 화면의 일 예이다.1 is a view for explaining a colonoscopy process in which a method and apparatus for analyzing a colonoscopy image according to an embodiment of the present invention is used.
2 is a flow chart illustrating a method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention.
3 is a flow chart illustrating a method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention.
4A and 4B are flowcharts illustrating a method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention.
5 is a flow chart showing a method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention.
FIG. 6 is a diagram for explaining an identity determination step of FIG. 5.
7 is a diagram showing the configuration of a colonoscopy image analysis apparatus using artificial intelligence according to an embodiment of the present invention.
8 is a configuration diagram of a recovery time measurement unit of FIG. 7.
9 is a configuration diagram of the identity determination unit of FIG. 7.
10 is a diagram illustrating an example of data stored in the determination unit of FIG. 9.
11 is a configuration diagram of an object counting unit of FIG. 7.
12 to 14 are examples of screens of an apparatus for analyzing a colonoscopy image according to an embodiment of the present invention.

발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 명세서 및 청구범위에 사용된 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.Based on the principle that the inventor can appropriately define the concept of terms in order to describe his own invention in the best way, terms or words used in the present specification and claims are consistent with the technical idea of the present invention. It should be interpreted as meaning and concept.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 한 구성요소가 다른 구성요소에 "연결", "전송", "송신", "수신" 또는 "전달"된다고 할 때, 이는 직접적으로 연결, 전송, 송신, 수신 또는 전달되는 경우뿐만 아니라 다른 구성요소를 개재하여 간접적으로 연결, 전송, 송신, 수신 또는 전달되는 경우도 포함한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary. In addition, when one component is said to be "connected", "transmitted", "transmitted", "received" or "transmitted" to another component, it is not only the case that is directly connected, transmitted, transmitted, received or transmitted, but also the other It also includes cases that are indirectly connected, transmitted, transmitted, received or transmitted through components. In addition, terms such as "...unit", "...group", "module", and "device" described in the specification mean units that process at least one function or operation, which is a combination of hardware or software or hardware and software. It can be implemented as

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치가 이용되는 대장 내시경 과정을 설명하기 위한 도면이다. 실제의 대장은 구불구불한 형상이지만, 도시의 편의를 위해 직선 형태로 표현하였다.1 is a diagram for explaining a colonoscopy process in which a method and apparatus for analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention are used. The actual large intestine is a meandering shape, but it is expressed in a straight line for the convenience of the city.

도 1을 참조하면, 먼저 대장 내시경 검사를 위해 항문을 통해 대장에 프로브를 삽입한 후 대장을 팽창시키며 프로브를 맹장 방향으로 이동시킨다. 프로브가 맹장에 도달하면 이때부터 프로브를 반대 방향, 즉 항문 방향으로 회수하며 프로브가 항문에 도달하거나 체외로 배출되면 검사가 종료된다.Referring to FIG. 1, first, a probe is inserted into the large intestine through an anus for colonoscopy, and then the large intestine is expanded and the probe is moved in the direction of the cecum. When the probe reaches the cecum, the probe is retrieved from this point in the opposite direction, that is, in the anus direction, and when the probe reaches the anus or is discharged outside the body, the test is terminated.

대장 내에는 맹장, 용종, 음식 찌꺼기나 대변과 같은 이물질 등이 존재할 수 있다. 본 실시예에 따른 대장 내시경 영상 분석 방법 및 장치는 인공지능을 이용하여 객체를 판별한다. 본 명세서에서 객체란 정상 상태의 대장의 내벽과 구별되는 것으로, 적어도 맹장, 용종, 이물질을 포함하는 의미로 사용된다.In the large intestine, the appendix, polyps, food debris or foreign substances such as feces may be present. In the method and apparatus for analyzing a colonoscopy image according to the present embodiment, an object is identified using artificial intelligence. In the present specification, the object is distinguished from the inner wall of the large intestine in a normal state, and is used to include at least the cecum, polyp, and foreign body.

도 2는 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법을 나타내는 순서도이다.2 is a flow chart illustrating a method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention.

도 2를 참조하면, 대장 내시경 영상 분석 방법은, 대장 내시경 영상의 객체가 적어도 맹장, 용종 및 이물질을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별할 수 있는 제1 인공지능 모델을 생성하는 단계(S210); 및 입력된 대장 내시경 영상을 상기 제1 인공지능 모델에 적용함으로써, 입력된 대장 내시경 영상의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 판별하는 단계(S220)를 포함한다.Referring to FIG. 2, the method of analyzing a colonoscopy image includes generating a first artificial intelligence model capable of determining which object of the colonoscopy image corresponds to at least within a group including a cecum, a polyp, and a foreign body (S210 ); And determining (S220) which object of the input colonoscopy image corresponds to within the group by applying the input colonoscopy image to the first artificial intelligence model.

제1 인공지능 모델은 다양한 대장 내시경 영상을 이용하여 트레이닝됨으로써, 입력된 대장 내시경 영상에서 맹장, 용종 및 이물질을 판별할 수 있다. 트레이닝을 위해 맹장을 포함하는 영상, 용종을 포함하는 영상, 이물질을 포함하는 영상 및 정상 상태의 영상이 이용될 수 있다.The first artificial intelligence model is trained using various colonoscopy images, so that the appendix, polyps, and foreign substances can be identified from the input colonoscopy image. For training, an image including the cecum, an image including a polyp, an image including a foreign body, and an image in a normal state may be used.

제1 인공지능 모델의 생성을 위해 지도 학습(Supervised learning) 범위에 속하는 분류(Classification) 알고리즘 또는 인공신경망을 이용한 딥러닝(deep-learning) 알고리즘이 이용될 수 있다. 예를 들어 분류 알고리즘으로 Decision Tree, K-Nearest Neighbors, Support Vector Machine 등이 이용될 수 있다.In order to generate the first artificial intelligence model, a classification algorithm belonging to a range of supervised learning or a deep-learning algorithm using an artificial neural network may be used. For example, as a classification algorithm, Decision Tree, K-Nearest Neighbors, and Support Vector Machine may be used.

본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법은, 입력된 대장 내시경 영상의 객체가 맹장에 해당하는 것으로 판별된 때로부터 대장 내시경의 회수시간을 측정하는 단계를 더 포함할 수 있다.The method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention may further include measuring a recovery time of the colonoscopy from when the object of the input colonoscopy image is determined to correspond to the cecum. .

도 3은 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법을 나타내는 순서도이다.3 is a flow chart illustrating a method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention.

도 3을 참조하면, 대장 내시경 영상 분석 방법은, 먼저 제1 인공지능 모델을 생성한다(S310). S310 단계는 도 2의 S210 단계에 해당할 수 있다.Referring to FIG. 3, the method of analyzing a colonoscopy image first generates a first artificial intelligence model (S310). Step S310 may correspond to step S210 of FIG. 2.

다음으로, 회수 시간 시작 이벤트가 발생하였는지 판단한다(S320). Next, it is determined whether a collection time start event has occurred (S320).

예를 들어, 회수시간 시작 이벤트는 입력된 대장 내시경 영상의 객체가 맹장인 경우일 수 있다. 이 경우 도 2의 S220 단계에 해당할 수 있다. 또는, 사용자가 회수시간의 시작을 입력할 수도 있다.For example, the collection time start event may be a case where the object of the input colonoscopy image is the cecum. In this case, it may correspond to step S220 of FIG. 2. Alternatively, the user may input the start of the collection time.

회수 시간 시작 이벤트가 발생한 것으로 판단되면(S320, Yes), 회수 시간의 측정을 시작한다(S330).If it is determined that the collection time start event has occurred (S320, Yes), the measurement of the collection time is started (S330).

다음으로, 회수 시간 종료 이벤트가 발생하였는지 판단한다(S340). Next, it is determined whether a collection time end event has occurred (S340).

예를 들어, 회수시간 종료 이벤트는 상기 제1 인공지능 모델 또는 별도의 제2 인공지능 모델을 이용하여 프로브가 체외로 배출된 것으로 판단된 경우일 수 있다. For example, the collection time end event may be a case in which it is determined that the probe has been discharged to the outside of the body using the first artificial intelligence model or a separate second artificial intelligence model.

제2 인공지능 모델은 체내의 영상과 체외의 영상을 이용하여 트레이닝됨으로써, 입력된 대장 내시경 영상이 체외인지를 판별할 수 있다. 제2 인공지능 모델의 생성을 위해, 제1 인공지능 모델과 마찬가지로, 지도 학습 범위에 속하는 분류 알고리즘 또는 인공신경망을 이용한 딥러닝 알고리즘이 이용될 수 있다. 또는 제1 인공지능 모델이 객체를 판별할 뿐만 아니라 체외 영상과 체내 영상을 구분하도록 트레이닝될 수도 있다.The second artificial intelligence model is trained using an image inside the body and an image outside the body, so that it is possible to determine whether the input colonoscopy image is outside the body. In order to generate the second artificial intelligence model, similar to the first artificial intelligence model, a classification algorithm belonging to a supervised learning range or a deep learning algorithm using an artificial neural network may be used. Alternatively, the first artificial intelligence model may be trained to discriminate not only an object but also an external image and an internal image.

또는, 입력된 대장 내시경 영상의 컬러 히스토그램을 기초로, 입력된 대장 내시경 영상이 체내인지 체외인지를 판별할 수 있다. 체내의 영상은 체외의 영상에 비해 붉은 색 계열의 컬러 히스토그램이 높게 형성될 수 있다. 이러한 특성을 이용하여 미리 컬러 히스토그램의 기준을 설정해 놓고, 입력된 대장 내시경 영상의 컬러 히스토그램이 기준에 해당하는지 여부에 기초하여 체내인지 체외인지를 판단할 수 있다.Alternatively, based on the color histogram of the input colonoscopy image, it may be determined whether the input colonoscopy image is in the body or outside the body. An image inside the body may have a higher red color histogram than an image outside the body. Using these characteristics, a standard of the color histogram is set in advance, and whether the color histogram of the input colonoscopy image corresponds to the standard can be determined whether it is in the body or outside the body.

또는, 사용자가 회수시간의 종료를 직접 입력할 수도 있다.Alternatively, the user may directly input the end of the collection time.

회수 시간 종료 이벤트가 발생한 것으로 판단되면(S340, Yes), 회수 시간의 측정을 종료한다(S350). If it is determined that the collection time end event has occurred (S340, Yes), the measurement of the collection time is terminated (S350).

여기서, 회수 시간의 측정이 종료되면 회수 시간이 소정 시간을 경과하였는지를 디스플레이 장치에 표시할 수 있다. 현행법상 회수 시간이 소정 시간, 예를 들어 6분을 초과하는 경우에만 건강보험이 적용되는데, 대장 내시경 검사시 회수 시간을 사용자가 알 수 있게 함으로써 사용자 편의를 도모할 수 있다.Here, when the measurement of the collection time is finished, whether the collection time has passed a predetermined time may be displayed on the display device. According to the current law, health insurance is applied only when the collection time exceeds a predetermined time, for example, 6 minutes, and user convenience can be achieved by allowing the user to know the collection time during colonoscopy.

도 4a는 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법을 나타내는 순서도이다. 4A is a flow chart illustrating a method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention.

도 4a를 참조하면, 먼저 제1 인공지능 모델을 생성한다(S400). Referring to FIG. 4A, first, a first artificial intelligence model is generated (S400).

다음으로, 회수 시간 시작 이벤트가 발생하였는가를 판단한다(S410). 전술한 바와 같이, 제1 인공지능 모델을 이용하여 객체가 맹장인 것으로 판별되거나, 사용자가 시작을 입력한 경우일 수 있다.Next, it is determined whether the collection time start event has occurred (S410). As described above, it may be determined that the object is a cecum using the first artificial intelligence model, or a user inputs a start.

회수 시간 시작 이벤트가 발생한 것으로 판단되면(S410, Yes), 회수시간의 측정을 시작한다(S420).If it is determined that the collection time start event has occurred (S410, Yes), the measurement of the collection time is started (S420).

다음으로, 회수 시간 중단 이벤트가 발생하였는지를 판단한다(S430). Next, it is determined whether an event of stopping the collection time has occurred (S430).

예를 들어, 시술 중인 것으로 판단되거나 사용자가 회수 시간 중단을 입력한 경우일 수 있다.For example, it may be the case that it is determined that the procedure is being performed or the user inputs an interruption of the collection time.

시술 중인지 판단하기 위해, 대장내시경 영상에서 시술 중인지를 판별할 수 있는 제3 인공지능 모델을 생성하고, 입력된 대장 내시경 영상을 상기 제3 인공지능 모델에 적용함으로써, 시술 중인지를 판별할 수 있다. In order to determine whether the procedure is in progress, it is possible to determine whether the procedure is in progress by creating a third artificial intelligence model capable of determining whether the procedure is being performed from the colonoscopy image, and applying the input colonoscopy image to the third artificial intelligence model.

제3 인공지능 모델은 시술 중인 영상과 시술 중이 아닌 영상을 이용하여 트레이닝함으로써 생성될 수 있다. 예를 들어, 제3 인공지능 모델은 대장내시경 영상에서 시술도구를 판별할 수 있다. 제3 인공지능 모델의 생성을 위해, 제1 인공지능 모델과 마찬가지로, 지도 학습 범위에 속하는 분류 알고리즘 또는 인공신경망을 이용한 딥러닝 알고리즘이 이용될 수 있다. The third artificial intelligence model may be generated by training using images that are being performed and images that are not being performed. For example, the third artificial intelligence model can discriminate a procedure tool from a colonoscopy image. In order to generate the third artificial intelligence model, like the first artificial intelligence model, a classification algorithm belonging to a supervised learning range or a deep learning algorithm using an artificial neural network may be used.

또는, 시술 중인지 판단하기 위해, 제1 인공지능 모델이 객체를 판별할 수 있을 뿐만 아니라 시술 중인지를 판별할 수 있도록 트레이닝되고, 제1 인공지능 모델을 이용할 수도 있다.Alternatively, in order to determine whether the procedure is being performed, the first artificial intelligence model is trained not only to be able to determine an object but also to determine whether the procedure is being performed, and the first artificial intelligence model may be used.

회수 시간 중단 이벤트가 발생한 것으로 판단되면(S430, Yes), 회수시간의 측정을 중단한다(S440).If it is determined that the collection time stop event has occurred (S430, Yes), the measurement of the collection time is stopped (S440).

이후, 회수 시간 재개 이벤트가 발생하였는지를 판단한다(S450). Thereafter, it is determined whether a retrieval time resumption event has occurred (S450).

예를 들어, 시술 중이 아닌 것으로 판단되거나 사용자가 회수 시간 재개를 입력한 경우일 수 있다. 시술 중이 아닌지를 판단하기 위해 전술한 제1 인공지능 모델 또는 제3 인공지능 모델을 이용할 수 있다.For example, it may be the case that it is determined that the procedure is not in progress, or the user inputs the resumption of the collection time. The first artificial intelligence model or the third artificial intelligence model described above may be used to determine whether the procedure is in progress.

회수 시간 재개 이벤트가 발생한 것으로 판단되면(S450, Yes), 회수시간의 측정을 재개하고(S460), 재개 후 회수 시간 중단 이벤트가 발생했는지 판단한다(S430). 회수 시간 재개 이벤트가 발생하지 않은 것으로 판단되면(S450, No), 계속해서 회수시간 측정의 중단 상태를 유지한다(S440). If it is determined that the recovery time resumption event has occurred (S450, Yes), the measurement of the recovery time is resumed (S460), and it is determined whether a recovery time stop event has occurred after the resumption (S430). If it is determined that the recovery time resumption event has not occurred (S450, No), the state of stopping the recovery time measurement is continuously maintained (S440).

S430 단계에서 회수 시간 중단 이벤트가 발생하지 않은 것으로 판단되면, 회수시간 종료 이벤트가 발생하였는지 판단한다(S470). 전술한 바와 같이, 입력된 대장 내시경 영상이 체외 영상에 해당하거나 사용자가 종료를 입력한 경우일 수 있다.If it is determined that the collection time stop event has not occurred in step S430, it is determined whether the collection time end event has occurred (S470). As described above, the input colonoscopy image may correspond to an extracorporeal image or a user inputs an end.

회수 시간 종료 이벤트가 발생한 것으로 판단되면(S470, Yes), 회수 시간의 측정을 종료한다(S480). 이때, 회수 시간이 소정 시간을 경과하였는지를 디스플레이 장치에 표시할 수 있다. If it is determined that the collection time end event has occurred (S470, Yes), the measurement of the collection time is terminated (S480). In this case, whether or not the collection time has passed a predetermined time may be displayed on the display device.

회수 시간 종료 이벤트가 발생하지 않은 것으로 판단되면(S470, No), 계속해서 회수 시간을 측정하면서 회수 시간 중단 이벤트가 발생하였는지를 판단한다(S430).If it is determined that the recovery time end event has not occurred (S470, No), it is determined whether a recovery time stop event has occurred while continuously measuring the recovery time (S430).

도 4b는 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법을 나타내는 순서도이다. 4B is a flow chart illustrating a method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention.

도 4a에서는 회수시간 중단 이벤트가 발생한 경우 회수시간 측정을 중단하고 이후 회수시간 재개 이벤트가 발생하면 회수시간의 측정을 재개하였지만(S430~S460), 도 4b는 회수시간 중단 이벤트가 발생한 경우 중단시간의 측정을 시작하고 회수시간 재개 이벤트가 발생하면 중단시간의 측정을 종료한다(S1430~S1460). 이후, 회수시간의 측정이 종료된 후, 측정된 회수시간과 중단시간에 기초하여 최종 회수시간을 산정한다(S1490). 예를 들어, 최종 회수시간은 측정된 회수시간에서 중단시간을 뺀 값일 수 있다. In FIG. 4A, when the collection time interruption event occurs, the measurement of the collection time is stopped, and when the recovery time resume event occurs, the measurement of the collection time is resumed (S430 to S460). When the measurement is started and the recovery time resumption event occurs, the measurement of the interruption time is terminated (S1430 to S1460). Thereafter, after the measurement of the recovery time is finished, the final recovery time is calculated based on the measured recovery time and the interruption time (S1490). For example, the final recovery time may be a value obtained by subtracting the interruption time from the measured recovery time.

본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법은,Colonoscopy image analysis method using artificial intelligence according to an embodiment of the present invention,

상기 대장 내시경 영상은 복수의 프레임을 포함하고,The colonoscopy image includes a plurality of frames,

상기 판별하는 단계는, 상기 복수의 프레임의 각각에 대해 객체가 상기 그룹 중 어느 것에 해당하는지를 판별하고,In the determining step, for each of the plurality of frames, it is determined which of the group an object corresponds to,

상기 복수의 프레임 중 소정의 시간 범위의 두 개의 프레임에 있어서, 객체의 위치 및 크기 중 적어도 하나에 기초하여 상기 두 개의 프레임의 객체가 동일한지 여부를 판단하는 단계; 및Determining whether the objects of the two frames are the same based on at least one of a position and a size of an object in two frames of a predetermined time range among the plurality of frames; And

상기 객체가 동일한지 여부에 기초하여, 상기 복수의 프레임의 상이한 객체의 개수를 산정하는 단계를 더 포함할 수 있다.The method may further include calculating the number of different objects in the plurality of frames based on whether the objects are the same.

도 5는 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 방법을 나타내는 순서도이다.5 is a flow chart showing a method of analyzing a colonoscopy image using artificial intelligence according to an embodiment of the present invention.

도 5를 참조하면, 대장 내시경 영상 분석 방법은, 먼저, 제1 인공지능 모델을 생성하고(S500), 제1 인공지능 모델을 이용하여 객체를 판별한다(S510).Referring to FIG. 5, in the method of analyzing a colonoscopy image, first, a first artificial intelligence model is generated (S500), and an object is determined using the first artificial intelligence model (S510).

본 단계에서는 입력된 대장 내시경 영상의 각 프레임에 객체가 포함되어 있는지, 포함되었다면 객체가 적어도 맹장, 용종 및 이물질을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별한다.In this step, it is determined whether an object is included in each frame of the input colonoscopy image, and if so, which object corresponds to at least within a group including cecum, polyp, and foreign body.

다음으로, 현재 입력된 대장 내시경 영상 프레임의 객체가, 이전에 입력된 대장 내시경 영상 프레임의 객체와 동일한지 판단한다(S520).Next, it is determined whether the object of the currently input colonoscopy image frame is the same as the object of the previously input colonoscopy image frame (S520).

다음으로, 객체의 동일 여부에 기초하여, 입력된 대장 내시경 영상의 상이한 객체의 개수를 산정한다(S530).Next, the number of different objects in the input colonoscopy image is calculated based on whether the objects are the same (S530).

도 6은 도 5의 동일성 판단 단계(S520)를 설명하기 위한 도면이다.FIG. 6 is a diagram for describing an identity determination step (S520) of FIG. 5.

대장 내시경 영상에서 소정의 시간 범위의 두 개의 프레임(Frame N, Frame N+k)에 있어서, 객체의 위치 및 크기 중 적어도 하나에 기초하여 두 개의 프레임의 객체가 동일한지 여부를 판단할 수 있다.In two frames (Frame N and Frame N+k) of a predetermined time range in the colonoscopy image, it may be determined whether the objects of the two frames are the same based on at least one of the position and size of the object.

예를 들어, N번째 프레임의 객체는 중심좌표 (x1, y1), 높이 h1, 폭 w1이고, N+k번째 프레임의 객체는 중심좌표 (x2, y2), 높이 h2, 폭 w2라고 하자. 두 프레임의 객체는 이전의 S510 단계에서 동일한 종류, 예를 들어 용종으로 판별되었다고 가정한다. 두 프레임의 객체의 중심좌표 간의 유클리디안(Euclidean) 거리와, 두 프레임의 객체의 면적, 예를 들어 각 객체의 높이와 폭을 곱한 값에 기초하여 두 객체의 동일성을 판단할 수 있다. For example, assume that the object of the Nth frame is the center coordinate (x1, y1), the height h1, and the width w1, and the object of the N+kth frame is the center coordinate (x2, y2), the height h2, and the width w2. It is assumed that the object of the two frames is determined to be the same type, for example, polyp type in the previous step S510. The identity of the two objects may be determined based on a value obtained by multiplying the Euclidean distance between the central coordinates of the objects of the two frames and the area of the objects of the two frames, for example, the height and the width of each object.

이때 동일성 판단의 대상이 되는 두 프레임은 반드시 연속된 프레임일 필요는 없고, 비연속적일 수도 있다. 대장 내시경 영상의 시간당 프레임 수, 객체(맹장, 용종, 이물질 등)의 최대 크기, 프로브의 이동 속도를 고려하여 동일성 판단의 대상이 되는 프레임의 범위를 적절히 설정할 수 있다. 예를 들어, 대장 내시경 영상이 초당 30 프레임의 비율로 입력될 때 현재 입력된 프레임과 10 프레임 이내의 프레임에 대해 동일성 판단을 하도록 설정할 수 있다. In this case, the two frames that are the object of the identity determination need not necessarily be contiguous frames, and may be non-contiguous. In consideration of the number of frames per hour of the colonoscopy image, the maximum size of the object (cecum, polyp, foreign body, etc.), and the moving speed of the probe, the range of the frame to be determined for identity can be appropriately set. For example, when a colonoscopy image is input at a rate of 30 frames per second, it may be set to determine the identity of the currently input frame and the frame within 10 frames.

이에 따라, 관측 위치나 이물질 등에 의해 중간에 객체가 관찰되지 않았다가 다시 보이는 경우에도 동일한 객체로 판단할 수 있어, 검사의 정확성을 향상시킬 수 있다.Accordingly, even when an object is not observed in the middle due to an observation position or a foreign object, and then is seen again, it can be determined as the same object, and thus the accuracy of the inspection can be improved.

도 7은 본 발명의 실시예에 따른 인공지능을 이용한 대장 내시경 영상 분석 장치의 구성을 나타내는 도면이다.7 is a diagram showing the configuration of a colonoscopy image analysis apparatus using artificial intelligence according to an embodiment of the present invention.

도 7을 참조하면, 대장 내시경 영상 분석 장치는 객체 판별부(100), 회수시간 측정부(200), 동일성 판단부(300), 객체 수 산정부(400) 및 객체 관리부(500)를 포함할 수 있다. 대장 내시경 영상 분석 장치는 추가적으로 제1 인공지능 모델이 저장된 제1 인공지능 모델 저장부(10), 제2 인공지능 모델이 저장된 제2 인공지능 모델 저장부(20) 및 제3 인공지능 모델이 저장된 제3 인공지능 모델 저장부(30)를 포함할 수 있다. Referring to FIG. 7, the colonoscopy image analysis apparatus includes an object determination unit 100, a collection time measurement unit 200, an identity determination unit 300, an object counting unit 400, and an object management unit 500. I can. The colonoscopy image analysis apparatus additionally stores a first artificial intelligence model storage unit 10 in which a first artificial intelligence model is stored, a second artificial intelligence model storage unit 20 in which a second artificial intelligence model is stored, and a third artificial intelligence model. A third artificial intelligence model storage unit 30 may be included.

객체 판별부(100)는 입력된 대장 내시경 영상을 제1 인공지능 모델에 적용함으로써, 입력된 대장 내시경 영상의 객체가 적어도 맹장, 용종 및 이물질을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별한다.The object determination unit 100 applies the input colonoscopy image to the first artificial intelligence model, thereby determining which object of the input colonoscopy image corresponds to at least in the group including the cecum, polyps, and foreign substances.

회수시간 측정부(200)는 객체 판별부(100)로부터의 판별 결과에 기초하여 대장 내시경의 회수 시간을 측정한다.The collection time measurement unit 200 measures the collection time of the colonoscopy based on the determination result from the object determination unit 100.

동일성 판단부(300)는 객체의 동일 여부를 판단한다.The identity determination unit 300 determines whether the objects are identical.

객체수 산정부(400)는 동일성 판단부(300)의 판단 결과에 기초하여 객체의 종류별로 개수를 산정한다.The number of objects calculation unit 400 calculates the number of each object type based on the determination result of the identity determination unit 300.

객체 관리부(500)는 객체 별로 대장 내시경 영상의 프레임들을 분류하고 각 객체의 대표 프레임을 지정한다.The object management unit 500 classifies frames of a colonoscopy image for each object and designates a representative frame of each object.

도 8은 도 7의 회수시간 측정부(200)의 구성도이다.8 is a configuration diagram of the recovery time measurement unit 200 of FIG. 7.

도 8을 참조하면, 회수시간 측정부(200)는 중단 판단부(210), 재개 판단부(220), 종료 판단부(230) 및 타이머(240)를 포함할 수 있다.Referring to FIG. 8, the collection time measurement unit 200 may include a stop determination unit 210, a resume determination unit 220, an end determination unit 230, and a timer 240.

중단 판단부(210)는 제2 인공지능 모델을 이용하여 중단 이벤트의 발생, 예를 들어 시술 중인지를 판단한다.The interruption determination unit 210 determines whether an interruption event has occurred, for example, a procedure is being performed using the second artificial intelligence model.

재개 판단부(220)는 제2 인공지능 모델을 이용하여 재개 이벤트의 발생, 예를 들어 시술 중이 아닌 상태인지를 판단한다.The resumption determination unit 220 determines whether a resumption event occurs, for example, a state that is not undergoing a procedure, using the second artificial intelligence model.

종료 판단부(230)는 종료 이벤트의 발생, 예를 들어 대장 내시경 영상이 체외 영상인지를 판단한다. 체외 영상인지는 제3 인공지능 모델을 이용하거나 컬러 히스토그램을 이용하여 판단할 수 있다.The termination determination unit 230 determines whether the termination event occurs, for example, whether the colonoscopy image is an external image. Whether the image is in vitro can be determined using a third artificial intelligence model or a color histogram.

타이머(240)는 객체 판별부(100)로부터의 판별 결과, 예를 들어 객체가 맹장인 것으로 판별된 경우 회수시간의 측정을 시작하고, 중단 판단부(210)로부터 중단 이벤트가 발생한 것으로 판단된 경우 회수시간의 측정을 중단하고, 중단 상태에서 재개 판단부(220)로부터 재개 이벤트가 발생한 것으로 판단된 경우 회수시간의 측정을 재개한다. 종료 판단부(230)로부터 종료 이벤트가 발생한 것으로 판단된 경우에는 회수시간의 측정을 종료한다.The timer 240 starts measuring the collection time when it is determined that the object is an appendix as a result of determination from the object determination unit 100, and when it is determined that an interruption event has occurred from the interruption determination unit 210 The measurement of the recovery time is stopped, and when it is determined that a resume event has occurred from the resume determination unit 220 in the stopped state, the measurement of the recovery time is resumed. When it is determined that the termination event has occurred from the termination determination unit 230, the measurement of the collection time is terminated.

다만, 본 발명의 범위는 이에 한하지 않으며, 회수시간 측정부는 1개의 타이머(240) 대신에 2개의 타이머를 구비하고, 최종 회수시간 산정부를 더 구비할 수 있다. 하나의 타이머는 객체가 맹장인 것으로 판별된 경우 회수시간의 측정을 시작하고 종료 이벤트가 발생하면 회수시간의 측정을 종료할 수 있다. 나머지 타이머는 중단 이벤트가 발생한 것으로 판단한 경우 중단시간의 측정을 시작하고 재개 이벤트가 발생한 것으로 판단한 경우 중단시간의 측정을 종료할 수 있다. 최종 회수시간 산정부는 측정된 회수시간과 측정된 중단시간에 기초하여 최종 회수시간을 산정할 수 있다.However, the scope of the present invention is not limited thereto, and the collection time measurement unit may include two timers instead of one timer 240, and may further include a final collection time calculation unit. One timer can start measuring the collection time when it is determined that the object is an appendix, and can end the measurement of the collection time when an end event occurs. The remaining timers can start measuring the interruption time when it is determined that the interruption event has occurred, and can end the measurement of the interruption time when it is determined that the resumption event has occurred. The final collection time calculation unit may calculate the final collection time based on the measured collection time and the measured interruption time.

도 9는 도 7의 동일성 판단부(300)의 구성도이고, 도 10은 판단부(330) 내에 저장된 데이터의 일 예를 나타내는 도면이다.9 is a configuration diagram of the identity determination unit 300 of FIG. 7, and FIG. 10 is a diagram illustrating an example of data stored in the determination unit 330.

도 9를 참조하면, 동일성 판단부(300)는 위치 계산부(310), 크기 계산부(320) 및 판단부(330)를 포함할 수 있다.Referring to FIG. 9, the identity determination unit 300 may include a position calculation unit 310, a size calculation unit 320, and a determination unit 330.

위치 계산부(310)는 대장 내시경 영상의 각 프레임의 객체의 중심 위치를 계산한다.The position calculation unit 310 calculates the center position of the object in each frame of the colonoscopy image.

크기 계산부(320)는 대장 내시경 영상의 각 프레임의 객체의 크기를 계산한다.The size calculation unit 320 calculates the size of the object in each frame of the colonoscopy image.

판단부(330)는 소정 시간 범위 내의 프레임에 대해서 동일한 종류의 객체인지, 중심 위치가 소정 범위 내인지 및 크기가 소정 범위 내인지에 기초하여 객체의 동일 여부를 판단한다.The determination unit 330 determines whether the object is the same based on whether the frame is of the same type, the center position is within the predetermined range, and the size is within the predetermined range with respect to the frame within the predetermined time range.

도 10을 참조하면, 판단부(330)는 현재 프레임(프레임 #0)을 포함한 직전의 복수의 프레임(프레임 #1~프레임 #9)의 중심 위치 및 크기를 저장하고, 현재 프레임(프레임 #0)과 이전 프레임(프레임 #1~프레임 #9) 각각의 중심 위치간의 거리가 소정 범위 내인지 및 크기의 차이가 소정 범위 내인지를 판단함으로써 객체의 동일 여부를 판단할 수 있다.Referring to FIG. 10, the determination unit 330 stores the center position and size of a plurality of immediately preceding frames (frame #1 to frame #9) including the current frame (frame #0), and the current frame (frame #0). ) And the previous frame (frame #1 to frame #9), it is possible to determine whether the object is the same by determining whether the distance between the center position of each of the frames #1 to #9 is within a predetermined range and whether a difference in size is within a predetermined range.

도 10은 판단부(330)가 현재 프레임을 포함한 최근 10개의 프레임을 저장하는 것으로 도시하였지만, 프레임의 개수는 상이하게 설정될 수 있다.10 illustrates that the determination unit 330 stores the last 10 frames including the current frame, the number of frames may be set differently.

도 11은 도 7의 객체수 산정부(400)의 구성도이다.11 is a block diagram of the object counting unit 400 of FIG. 7.

도 11을 참조하면, 객체수 산정부(400)는 맹장 카운터(410), 용종 카운터(420), 이물질 카운터(430) 및 시술도구 카운터(440)를 포함할 수 있다.Referring to FIG. 11, the object counting unit 400 may include a cecum counter 410, a polyp counter 420, a foreign substance counter 430, and a surgical tool counter 440.

맹장 카운터(410), 용종 카운터(420), 이물질 카운터(430) 및 시술도구 카운터(440)는 객체 판별부(100) 및 동일성 판단부(300)의 판단 결과에 기초하여 각각 맹장의 개수, 용종의 개수, 이물질의 개수 및 시술도구의 개수를 산정할 수 있다.The cecum counter 410, the polyp counter 420, the foreign substance counter 430, and the surgical tool counter 440 are based on the determination result of the object determination unit 100 and the identity determination unit 300, respectively, It is possible to calculate the number of teeth, the number of foreign substances, and the number of surgical tools.

예를 들어, 맹장 카운터(410)는 객체 판별부(100)에서 맹장으로 판별되고, 동일성 판단부(300)에서 동일하지 않은 것으로 판단될 때마다 카운터 값을 1씩 증가시킬 수 있다. 맹장 카운터(410)는, 동일성 판단부(300)에서 동일한 것으로 판단된 경우 카운터 값은 이전 값을 유지할 수 있다. For example, the cecum counter 410 may be determined as cecum by the object determination unit 100 and may increase the counter value by one whenever the identity determination unit 300 determines that they are not identical. The cecum counter 410 may maintain the previous value when it is determined by the identity determination unit 300 to be the same.

유사하게, 용종 카운터(420)는 객체 판별부(100)에서 용종으로 판별되고, 동일성 판단부(300)에서 동일하지 않은 것으로 판단될 때마다 카운터 값을 1씩 증가시키고, 동일성 판단부(300)에서 동일한 것으로 판단된 경우 카운터 값은 이전 값을 유지할 수 있다. 이물질 카운터(430)는 객체 판별부(100)에서 이물질로 판별되고, 동일성 판단부(300)에서 동일하지 않은 것으로 판단될 때마다 카운터 값을 1씩 증가시키고, 동일성 판단부(300)에서 동일한 것으로 판단된 경우 카운터 값은 이전 값을 유지할 수 있다. 시술도구 카운터(440)는 객체 판별부(100)에서 시술도구로 판별되고, 동일성 판단부(300)에서 동일하지 않은 것으로 판단될 때마다 카운터 값을 1씩 증가시키고, 동일성 판단부(300)에서 동일한 것으로 판단된 경우 이전 값을 유지할 수 있다.Similarly, the polyp counter 420 is determined as a polyp by the object determination unit 100, and each time the identity determination unit 300 determines that it is not identical, the counter value is increased by 1, and the identity determination unit 300 If it is determined that the counter value is the same, the counter value may maintain the previous value. Whenever the object determination unit 100 determines that the foreign matter counter 430 is determined to be a foreign matter, and the identity determination unit 300 determines that it is not the same, the counter value is increased by one, and the identity determination unit 300 determines that it is the same. If it is determined, the counter value can maintain the previous value. The treatment tool counter 440 is determined as a treatment tool by the object determination unit 100, and whenever the identity determination unit 300 determines that it is not identical, the counter value is increased by 1, and the identity determination unit 300 If it is determined to be the same, the previous value can be maintained.

도 12~도 14는 본 발명의 실시예에 따른 대장 내시경 영상 분석 장치의 화면의 일 예이다. 도 12는 프로브 삽입시의 화면이고, 도 13은 프로브 회수시의 화면이고, 도 14는 프로브가 체외로 배출되어 검사가 종료된 때의 화면이다.12 to 14 are examples of screens of an apparatus for analyzing a colonoscopy image according to an embodiment of the present invention. FIG. 12 is a screen when a probe is inserted, FIG. 13 is a screen when a probe is retrieved, and FIG. 14 is a screen when a probe is discharged to the outside of the body and the test is finished.

도 12~도 14를 참조하면, 내시경 영상 분석 장치의 화면은 입력 영상 표시 부분(A), 대표 영상 표시 부분(B) 및 내시경 정보 표시 부분(C)을 포함할 수 있다.12 to 14, the screen of the endoscopic image analysis apparatus may include an input image display portion A, a representative image display portion B, and an endoscope information display portion C.

입력 영상 표시 부분(A)에는 입력된 대장 내시경 영상이 표시된다. 도 13에 도시된 바와 같이, 입력된 대장 내시경 영상의 객체가 폴립, 맹장, 이물질 및 시술도구 중 어느 것에 해당하는지가, 해당하는 객체의 아래 확률과 함께 표시될 수 있다. 도 13에서 입력된 대장 내시경 영상의 프레임은 폴립에 해당하는 확률이 100%인 객체와, 시술도구에 해당하는 확률이 100%인 객체를 포함한다.The inputted colonoscopy image is displayed on the input image display portion (A). As shown in FIG. 13, whether the object of the input colonoscopy image corresponds to a polyp, a cecum, a foreign body, and a surgical tool may be displayed together with a probability below of the corresponding object. The frame of the colonoscopy image input in FIG. 13 includes an object having a 100% probability corresponding to a polyp and an object having a 100% probability corresponding to a surgical tool.

대표 영상 표시 부분(B)에는 객체의 종류 별로 대표 프레임이 표시된다. 도 13의 대표 영상 표시 부분(B)에는 73번째 폴립, 3번째 맹장, 4번째 이물질 및 3번째 시술도구의 대표프레임이 표시되어 있다. 73번째 폴립은 현재까지 폴립으로 판단된 객체 중 가장 최근에 발견된 폴립일 수 있다. 괄호 내의 숫자는 각 객체에 해당하는 확률을 나타낸다. 도 14의 대표 영상 표시 부분(B)에는 307번째 폴립, 3번째 맹장, 11번째 이물질 및 46번째 시술도구의 대표프레임이 표시되어 있다. 307번째 폴립은 검사 종료 후 가장 최근의 폴립을 나타낼 수 있다. 즉, 도 14는 대장 내시경 검사에서 총 307개의 폴립이 발견되고 그 중 가장 마지막에 발견된 폴립을 나타낸 것일 수 있다.In the representative image display portion (B), a representative frame is displayed for each type of object. In the representative image display portion (B) of FIG. 13, a representative frame of the 73rd polyp, the 3rd cecum, the 4th foreign body and the 3rd surgical tool are displayed. The 73rd polyp may be the most recently discovered polyp among objects determined to be polyps so far. The numbers in parentheses indicate the probability corresponding to each object. In the representative image display portion (B) of FIG. 14, representative frames of the 307th polyp, the 3rd cecum, the 11th foreign body and the 46th surgical tool are displayed. The 307th polyp may represent the most recent polyp after completion of the test. That is, FIG. 14 may show a total of 307 polyps found in colonoscopy and the last polyps found among them.

본 실시예에서는 대표 영상 표시 부분(B)에 각 객체의 종류 별로 최근 객체의 대표 프레임이 표시되는 것으로 설명하였지만, 본 발명은 이에 한하지 않는다. 예를 들어, 사용자가 특정 객체를 선택하면, 선택된 객체의 대표 프레임이 표시될 수도 있다. 또는 발견된 객체 전체에 대해 대표 프레임이 표시될 수도 있다.In the present embodiment, it has been described that a representative frame of a recent object is displayed for each object type in the representative image display portion B, but the present invention is not limited thereto. For example, when a user selects a specific object, a representative frame of the selected object may be displayed. Alternatively, a representative frame may be displayed for all of the found objects.

내시경 정보 표시 부분(C)에는 검사 시간(Device date and time), 회수 시간(Start time, Elapsed), 객체 정보(Polyp, Cecum, Foreign), 경과 시간에 따른 객체의 해당 확률을 나타내는 그래프(C의 하단 우측) 등이 표시될 수 있다.In the endoscope information display part (C), the test time (Device date and time), collection time (Start time, Elapsed), object information (Polyp, Cecum, Foreign), graph showing the corresponding probability of the object according to the elapsed time (C Lower right), etc. may be displayed.

검사 시간은 검사 날짜와 현재 시각이 표시될 수 있다. 괄호 안은 내시경이 삽입된 때로부터 경과 시간을 나타낸다.The test time can be marked with the date and time of the test. The time in parentheses indicates the time elapsed from the time the endoscope was inserted.

회수 시간은 회수가 시작된 시각(Start time), 예를 들어 객체가 맹장으로 판단된 때와, 회수가 시작된 시각으로부터 경과된 시간(Elapsed)이 표시될 수 있다.The collection time may be a start time, for example, a time when the object is determined to be a cecum and a time elapsed from the time when the collection was started (Elapsed).

객체 정보는 객체 종류별 개수와, 각 객체에 해당하는 프레임의 개수가 표시될 수 있다.The object information may display the number of each object type and the number of frames corresponding to each object.

경과 시간에 따른 객체의 해당 확률을 나타내는 그래프는 검사가 시작된 때로부터 각 객체에 해당하는 것으로 판단되는 경우 그 확률을 시간축에 대해 나타낸다. 모든 객체를 표시할 수도 있고, 용종과 같은 특정 종류의 객체만을 표시할 수도 있다. 모든 객체를 표시하는 경우에는 객체의 종류 별로 색깔을 달리하여 표시할 수도 있다.The graph showing the corresponding probability of the object according to the elapsed time shows the probability on the time axis when it is determined that it corresponds to each object from the time the test was started. All objects can be displayed, or only specific types of objects such as polyps can be displayed. In the case of displaying all objects, different colors may be displayed for each type of object.

또한, 회수 시간이 소정 시간(예를 들어 360초)을 경과하였는지도 표시될 수 있다.Also, it may be displayed whether the collection time has passed a predetermined time (for example, 360 seconds).

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다. As described above, the present invention has been described in detail through preferred embodiments, but the present invention is not limited thereto, and various modifications and applications can be made within the scope of the technical spirit of the present invention. Self-explanatory to the technician. Therefore, the true scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

예를 들어, 본 발명의 실시예에 따른 대장 내시경 영상 분석 장치는 제1~제3 인공지능 모델을 이용하는 것으로 설명하였지만, 하나의 인공지능 모델이 제1~제3 인공지능 모델의 기능을 수행하도록 인공지능 모델이 생성될 수도 있다.For example, although it has been described that the colonoscopy image analysis apparatus according to an embodiment of the present invention uses the first to third artificial intelligence models, one artificial intelligence model performs the functions of the first to third artificial intelligence models. Artificial intelligence models can also be created.

Claims (25)

대장 내시경 영상의 객체가 적어도 맹장(cecum), 용종(polyp) 및 이물질(foreign)을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별할 수 있고, 대장내시경 영상에서 시술 중인지를 판별할 수 있는 인공지능 모델을 생성하는 단계;
입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 입력된 대장 내시경 영상의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 판별하는 단계;
입력된 대장 내시경 영상의 객체가 맹장에 해당하는 것으로 판별된 때로부터 대장 내시경의 회수(withdrawal) 시간을 측정하는 단계
입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 시술 중인지를 판별하는 단계; 및
회수 시간의 측정이 시작한 후, 시술 중인 것으로 판별된 경우 상기 회수 시간의 측정을 중단하는 단계
를 포함하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
An artificial intelligence model that can determine which object of the colonoscopy image corresponds to at least within the group including cecum, polyp, and foreign material, and whether the colonoscopy image is undergoing treatment Generating;
Determining which object of the input colonoscopy image corresponds to within the group by applying the input colonoscopy image to the artificial intelligence model;
Measuring the withdrawal time of the colonoscopy from the time it is determined that the object of the input colonoscopy image corresponds to the cecum
Determining whether a procedure is in progress by applying the input colonoscopy image to the artificial intelligence model; And
After the measurement of the collection time starts, stopping the measurement of the collection time when it is determined that the procedure is being performed
Colonoscopy image analysis method using artificial intelligence comprising a.
 삭제delete 제1항에 있어서,
입력된 대장 내시경 영상이 체외 영상인 것으로 판단되면, 상기 회수 시간의 측정을 종료하는 단계
를 더 포함하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
The method of claim 1,
When it is determined that the input colonoscopy image is an in vitro image, terminating the measurement of the collection time
Colonoscopy image analysis method using artificial intelligence further comprising a.
 제3항에 있어서,
상기 인공지능 모델은 대장 내시경 영상이 체내 영상인지 체외 영상인지를 판별할 수 있고,
상기 종료하는 단계는, 상기 인공지능 모델을 이용하여 체외 영상인지를 판단하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
The method of claim 3,
The artificial intelligence model can determine whether the colonoscopy image is an internal or external image,
The ending step is a method of analyzing colonoscopy image using artificial intelligence, characterized in that it is determined whether the image is in vitro using the artificial intelligence model.
 제3항에 있어서,
상기 종료하는 단계는 입력된 대장 내시경 영상의 컬러 히스토그램에 기초하여 체외 영상인지를 판단하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
The method of claim 3,
The ending step is a colonoscopy image analysis method using artificial intelligence, characterized in that it is determined whether the image is in vitro based on a color histogram of the input colonoscopy image.
 삭제delete 제1항에 있어서,
상기 회수 시간의 측정이 중단된 상태에서, 시술 중이 아닌 것으로 판별된 경우 상기 회수 시간의 측정을 재개하는 단계
를 더 포함하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
The method of claim 1,
Resuming the measurement of the recovery time when it is determined that the procedure is not in progress while the measurement of the recovery time is stopped
Colonoscopy image analysis method using artificial intelligence, characterized in that it further comprises.
 대장 내시경 영상의 객체가 적어도 맹장(cecum), 용종(polyp) 및 이물질(foreign)을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별할 수 있고, 대장내시경 영상에서 시술 중인지를 판별할 수 있는 인공지능 모델을 생성하는 단계;
입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 입력된 대장 내시경 영상의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 판별하는 단계;
입력된 대장 내시경 영상의 객체가 맹장에 해당하는 것으로 판별된 때로부터 대장 내시경의 회수(withdrawal) 시간을 측정하는 단계;
입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 시술 중인지를 판별하는 단계;
회수 시간의 측정이 시작한 후, 시술 중인 것으로 판별된 경우 중단 시간의 측정을 시작하는 단계; 및
상기 중단 시간의 측정이 시작된 상태에서, 시술 중이 아닌 것으로 판별된 경우 상기 중단 시간의 측정을 종료하는 단계
를 포함하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
An artificial intelligence model that can determine which object of the colonoscopy image corresponds to at least within the group including cecum, polyp, and foreign material, and whether the colonoscopy image is undergoing treatment Generating;
Determining which object of the input colonoscopy image corresponds to within the group by applying the input colonoscopy image to the artificial intelligence model;
Measuring the withdrawal time of the colonoscopy from when it is determined that the object of the input colonoscopy image corresponds to the cecum;
Determining whether a procedure is in progress by applying the input colonoscopy image to the artificial intelligence model;
After starting the measurement of the recovery time, starting the measurement of the interruption time when it is determined that the procedure is being performed; And
In the state where the measurement of the interruption time is started, when it is determined that the procedure is not in progress, terminating the measurement of the interruption time
Colonoscopy image analysis method using artificial intelligence comprising a.
 제8항에 있어서,
회수 시간의 측정이 종료된 후, 상기 회수 시간과 상기 중단 시간에 기초하여 최종 회수 시간을 산정하는 단계
를 더 포함하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
The method of claim 8,
After measurement of the collection time is finished, calculating a final collection time based on the collection time and the interruption time
Colonoscopy image analysis method using artificial intelligence, characterized in that it further comprises.
 제3항에 있어서,
상기 회수 시간이 소정 시간을 경과하였는지를 디스플레이 장치에 표시하는 단계
를 더 포함하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
The method of claim 3,
Displaying on a display device whether the collection time has passed a predetermined time
Colonoscopy image analysis method using artificial intelligence further comprising a.
 대장 내시경 영상의 객체가 적어도 맹장(cecum), 용종(polyp) 및 이물질(foreign)을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별할 수 있는 인공지능 모델을 생성하는 단계; 및
입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 입력된 대장 내시경 영상의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 판별하는 단계
를 포함하고,
상기 대장 내시경 영상은 복수의 프레임을 포함하고,
상기 판별하는 단계는, 상기 복수의 프레임의 각각에 대해 객체가 상기 그룹 중 어느 것에 해당하는지를 판별하고,
상기 객체가 동일한지 여부를 판단하는 단계; 및
상기 객체가 동일한지 여부에 기초하여, 상기 복수의 프레임의 상이한 객체의 개수를 산정하는 단계
를 더 포함하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
Generating an artificial intelligence model capable of determining which object of the colonoscopy image corresponds to at least within a group including cecum, polyp, and foreign material; And
Determining which object of the input colonoscopy image corresponds to in the group by applying the input colonoscopy image to the artificial intelligence model
Including,
The colonoscopy image includes a plurality of frames,
In the determining step, for each of the plurality of frames, it is determined which of the group an object corresponds to,
Determining whether the objects are the same; And
Calculating the number of different objects in the plurality of frames based on whether the objects are the same
Colonoscopy image analysis method using artificial intelligence further comprising a.
 제11항에 있어서,
상기 동일한지 여부를 판단하는 단계는,
상기 복수의 프레임 중 소정의 시간 범위의 두 개의 프레임에 있어서, 객체의 위치 및 크기 중 적어도 하나에 기초하여 상기 두 개의 프레임의 객체가 동일한지 여부를 판단하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
The method of claim 11,
The step of determining whether the above is the same,
In two frames of a predetermined time range among the plurality of frames, it is determined whether the objects of the two frames are the same based on at least one of the position and size of the object. Video analysis method.
 제11항에 있어서,
상기 인공지능 모델은 상기 대장 내시경 영상의 각 프레임의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 확률적으로 판별하고,
상기 대장 내시경 영상 중 동일한 객체를 포함하는 것으로 판단된 프레임 중에서 가장 높은 확률을 갖는 프레임을 대표로 지정하는 단계
를 더 포함하는 인공지능을 이용한 대장 내시경 영상 분석 방법.
The method of claim 11,
The artificial intelligence model probably determines which object in each frame of the colonoscopy image corresponds to which in the group,
Designating a frame having the highest probability among frames determined to contain the same object among the colonoscopy images as a representative
Colonoscopy image analysis method using artificial intelligence further comprising a.
 대장 내시경 영상의 객체가 적어도 맹장, 용종 및 이물질을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별할 수 있고, 대장내시경 영상이 시술 중인지를 판별할 수 있는 인공지능 모델;
상기 인공지능 모델을 이용하여, 입력된 대장 내시경 영상의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 판별하는 객체 판별부; 및
입력된 대장 내시경 영상의 객체가 맹장에 해당하는 것으로 판별된 때로부터 대장 내시경의 회수(withdrawal) 시간을 측정하는 회수시간 측정부;
를 포함하고,
상기 회수시간 측정부는,
입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 시술 중인지를 판별하고, 회수 시간의 측정이 시작한 후 시술 중인 것으로 판별된 경우, 상기 회수 시간의 측정을 중단하는 중단 판단부
를 포함하는 인공지능을 이용한 대장 내시경 영상 분석 장치.
An artificial intelligence model capable of determining which object of the colonoscopy image corresponds to at least within the group including the cecum, polyp, and foreign body, and determines whether the colonoscopy image is being performed;
An object determination unit that determines which object of the input colonoscopy image corresponds to which one in the group by using the artificial intelligence model; And
A collection time measuring unit for measuring a withdrawal time of the colonoscopy from when it is determined that the object of the input colonoscopy image corresponds to the cecum;
Including,
The recovery time measurement unit,
A stop determination unit that determines whether the procedure is in progress by applying the input colonoscopy image to the artificial intelligence model, and stops the measurement of the recovery time when it is determined that the procedure is being performed after the measurement of the recovery time starts
Colonoscopy image analysis device using artificial intelligence comprising a.
 삭제delete 제14항에 있어서,
상기 회수시간 측정부는,
입력된 대장 내시경 영상이 체외 영상인 것으로 판단되면, 상기 회수 시간의 측정을 종료하는 종료 판단부
를 포함하는 인공지능을 이용한 대장 내시경 영상 분석 장치.
The method of claim 14,
The recovery time measurement unit,
When it is determined that the input colonoscopy image is an in vitro image, a termination determination unit that terminates the measurement of the collection time
Colonoscopy image analysis device using artificial intelligence comprising a.
 제16항에 있어서,
상기 인공지능 모델은 대장 내시경 영상이 체내 영상인지 체외 영상인지를 판별할 수 있고,
상기 종료 판단부는, 상기 인공지능 모델을 이용하여 체외 영상인지를 판단하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 장치.
The method of claim 16,
The artificial intelligence model can determine whether the colonoscopy image is an internal or external image,
The end determination unit determines whether the image is in vitro using the artificial intelligence model. The colonoscopy image analysis apparatus using artificial intelligence.
 제16항에 있어서,
상기 종료 판단부는, 입력된 대장 내시경 영상의 컬러 히스토그램에 기초하여 체외 영상인지를 판단하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 장치.
The method of claim 16,
The end determination unit determines whether the image is in vitro based on a color histogram of the input colonoscopy image.
 삭제delete 제14항에 있어서,
상기 회수시간 측정부는,
상기 회수 시간의 측정이 중단된 상태에서, 시술 중이 아닌 것으로 판별된 경우 상기 회수 시간의 측정을 재개하는 재개 판단부
를 더 포함하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 장치.
The method of claim 14,
The recovery time measurement unit,
Resumption determination unit for resuming the measurement of the recovery time when it is determined that the procedure is not in progress while the measurement of the recovery time is stopped
Colonoscopy image analysis device using artificial intelligence, characterized in that it further comprises.
 대장 내시경 영상의 객체가 적어도 맹장, 용종 및 이물질을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별할 수 있고, 대장내시경 영상이 시술 중인지를 판별할 수 있는 인공지능 모델;
상기 인공지능 모델을 이용하여, 입력된 대장 내시경 영상의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 판별하는 객체 판별부; 및
입력된 대장 내시경 영상의 객체가 맹장에 해당하는 것으로 판별된 때로부터 대장 내시경의 회수(withdrawal) 시간을 측정하는 회수시간 측정부;
를 포함하고,
상기 회수시간 측정부는,
입력된 대장 내시경 영상을 상기 인공지능 모델에 적용함으로써, 시술 중인지를 판별하고, 회수 시간의 측정이 시작한 후, 시술 중인 것으로 판별된 경우 중단 시간의 측정을 시작하고, 상기 중단 시간의 측정이 시작된 상태에서, 시술 중이 아닌 것으로 판별된 경우 상기 중단 시간의 측정을 종료하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 장치.
An artificial intelligence model capable of determining which object of the colonoscopy image corresponds to at least within the group including the cecum, polyp, and foreign body, and determines whether the colonoscopy image is being performed;
An object determination unit for determining which object of the input colonoscopy image corresponds to which one in the group by using the artificial intelligence model; And
A collection time measuring unit for measuring a withdrawal time of the colonoscopy from when it is determined that the object of the input colonoscopy image corresponds to the cecum;
Including,
The recovery time measurement unit,
By applying the input colonoscopy image to the artificial intelligence model, it is determined whether the procedure is in progress, the measurement of the recovery time starts, and if it is determined that the procedure is in progress, the measurement of the interruption time starts, and the measurement of the interruption time is started In, when it is determined that the procedure is not in progress, the measurement of the interruption time is terminated. A colonoscopy image analysis apparatus using artificial intelligence.
 제21항에 있어서,
상기 회수시간 측정부는,
회수 시간의 측정이 종료된 후, 상기 회수 시간과 상기 중단 시간에 기초하여 최종 회수 시간을 산정하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 장치.
The method of claim 21,
The recovery time measurement unit,
After the measurement of the recovery time is finished, a colonoscopy image analysis apparatus using artificial intelligence, characterized in that the final recovery time is calculated based on the recovery time and the interruption time.
 대장 내시경 영상의 객체가 적어도 맹장, 용종 및 이물질을 포함하는 그룹 내에서 어느 것에 해당하는지를 판별할 수 있는 인공지능 모델;
상기 인공지능 모델을 이용하여, 입력된 대장 내시경 영상의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 판별하는 객체 판별부;
를 포함하고,
상기 대장 내시경 영상은 복수의 프레임을 포함하고,
상기 객체 판별부는, 상기 복수의 프레임의 각각에 대해 객체가 상기 그룹 중 어느 것에 해당하는지를 판별하고,
상기 객체가 동일한지 여부를 판단하는 동일성 판단부; 및
상기 객체가 동일한지 여부에 기초하여, 상기 복수의 프레임의 상이한 객체의 개수를 산정하는 객체 수 산정부
를 더 포함하는 인공지능을 이용한 대장 내시경 영상 분석 장치.
An artificial intelligence model capable of determining which object of the colonoscopy image corresponds to at least within the group including the cecum, polyp, and foreign body;
An object determination unit for determining which object of the input colonoscopy image corresponds to which one in the group by using the artificial intelligence model;
Including,
The colonoscopy image includes a plurality of frames,
The object determination unit, for each of the plurality of frames, determines which one of the group an object,
An identity determination unit determining whether the objects are the same; And
An object number calculation unit that calculates the number of different objects in the plurality of frames based on whether the objects are the same
Colonoscopy image analysis device using artificial intelligence further comprising.
 제23항에 있어서,
상기 동일성 판단부는,
상기 복수의 프레임 중 소정의 시간 범위의 두 개의 프레임에 있어서, 객체의 위치 및 크기 중 적어도 하나에 기초하여 상기 두 개의 프레임의 객체가 동일한지 여부를 판단하는 것을 특징으로 하는 인공지능을 이용한 대장 내시경 영상 분석 장치.
The method of claim 23,
The identity determination unit,
In two frames of a predetermined time range among the plurality of frames, it is determined whether the objects of the two frames are the same based on at least one of the position and size of the object. Video analysis device.
 제23항에 있어서,
상기 인공지능 모델은 상기 대장 내시경 영상의 각 프레임의 객체가 상기 그룹 내에서 어느 것에 해당하는지를 확률적으로 판별하고,
상기 대장 내시경 영상 중 동일한 객체를 포함하는 것으로 판단된 프레임 중에서 가장 높은 확률을 갖는 프레임을 대표로 지정하는 객체 관리부
를 더 포함하는 인공지능을 이용한 대장 내시경 영상 분석 장치.The method of claim 23,
The artificial intelligence model probably determines which object in each frame of the colonoscopy image corresponds to which in the group,
An object management unit that designates a frame having the highest probability among frames determined to contain the same object among the colonoscopy images as a representative
Colonoscopy image analysis device using artificial intelligence further comprising.
KR1020200061636A 2020-05-22 2020-05-22 Colonoscopy image analysis method and apparatus using artificial intelligence KR102185886B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200061636A KR102185886B1 (en) 2020-05-22 2020-05-22 Colonoscopy image analysis method and apparatus using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200061636A KR102185886B1 (en) 2020-05-22 2020-05-22 Colonoscopy image analysis method and apparatus using artificial intelligence

Publications (1)

Publication Number Publication Date
KR102185886B1 true KR102185886B1 (en) 2020-12-02

Family

ID=73792084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200061636A KR102185886B1 (en) 2020-05-22 2020-05-22 Colonoscopy image analysis method and apparatus using artificial intelligence

Country Status (1)

Country Link
KR (1) KR102185886B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149836A1 (en) * 2021-01-11 2022-07-14 한림대학교 산학협력단 Control method, apparatus and program for system for determining lesion obtained via real-time image
WO2022163514A1 (en) * 2021-01-27 2022-08-04 富士フイルム株式会社 Medical image processing device, method, and program
KR20220130855A (en) * 2021-03-19 2022-09-27 주식회사 인피니트헬스케어 Artificial intelligence-based colonoscopy diagnosis supporting system and method
KR102495838B1 (en) 2022-10-11 2023-02-06 주식회사 메디인테크 Method, apparatus and computer program for controlling endoscope based on medical image
KR102496672B1 (en) 2022-10-05 2023-02-06 주식회사 메디인테크 Method, apparatus and computer program for controlling endoscope based on medical image
KR102553961B1 (en) 2022-10-12 2023-07-10 주식회사 메디인테크 Method, apparatus and computer program for preventing blind spot in endoscopic procedure based on medical image
KR102584741B1 (en) 2022-10-05 2023-10-05 주식회사 메디인테크 Method, apparatus and computer program for controlling endoscope based on medical image
WO2023229100A1 (en) * 2022-05-24 2023-11-30 주식회사 아이도트 Endoscopy reading assistance system
KR102639202B1 (en) 2022-10-05 2024-02-21 주식회사 메디인테크 Method, apparatus and computer program for controlling endoscope based on medical image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018158817A1 (en) * 2017-02-28 2018-09-07 日本電気株式会社 Image diagnosis device, image diagnosis method, and program
JP6465452B2 (en) * 2016-12-22 2019-02-06 オリンパス株式会社 Endoscope insertion shape observation device
KR102023753B1 (en) 2017-11-28 2019-09-20 주식회사 삼육오엠씨네트웍스 Colonoscopy system with improved perforation prevention and surgical stability
JP2020069300A (en) * 2018-11-02 2020-05-07 富士フイルム株式会社 Medical diagnosis support device, endoscope system, and medical diagnosis support method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6465452B2 (en) * 2016-12-22 2019-02-06 オリンパス株式会社 Endoscope insertion shape observation device
WO2018158817A1 (en) * 2017-02-28 2018-09-07 日本電気株式会社 Image diagnosis device, image diagnosis method, and program
KR102023753B1 (en) 2017-11-28 2019-09-20 주식회사 삼육오엠씨네트웍스 Colonoscopy system with improved perforation prevention and surgical stability
JP2020069300A (en) * 2018-11-02 2020-05-07 富士フイルム株式会社 Medical diagnosis support device, endoscope system, and medical diagnosis support method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102505791B1 (en) * 2021-01-11 2023-03-03 한림대학교 산학협력단 Control method, apparatus, and program of lesion determination system acquired through real-time image
KR20220102172A (en) * 2021-01-11 2022-07-20 한림대학교 산학협력단 Control method, apparatus, and program of lesion determination system acquired through real-time image
WO2022149836A1 (en) * 2021-01-11 2022-07-14 한림대학교 산학협력단 Control method, apparatus and program for system for determining lesion obtained via real-time image
US11935239B2 (en) 2021-01-11 2024-03-19 Industry Academic Cooperation Foundation, Hallym University Control method, apparatus and program for system for determining lesion obtained via real-time image
WO2022163514A1 (en) * 2021-01-27 2022-08-04 富士フイルム株式会社 Medical image processing device, method, and program
KR20220130855A (en) * 2021-03-19 2022-09-27 주식회사 인피니트헬스케어 Artificial intelligence-based colonoscopy diagnosis supporting system and method
KR102531400B1 (en) * 2021-03-19 2023-05-12 주식회사 인피니트헬스케어 Artificial intelligence-based colonoscopy diagnosis supporting system and method
WO2023229100A1 (en) * 2022-05-24 2023-11-30 주식회사 아이도트 Endoscopy reading assistance system
KR102496672B1 (en) 2022-10-05 2023-02-06 주식회사 메디인테크 Method, apparatus and computer program for controlling endoscope based on medical image
KR102584741B1 (en) 2022-10-05 2023-10-05 주식회사 메디인테크 Method, apparatus and computer program for controlling endoscope based on medical image
KR102639202B1 (en) 2022-10-05 2024-02-21 주식회사 메디인테크 Method, apparatus and computer program for controlling endoscope based on medical image
KR102495838B1 (en) 2022-10-11 2023-02-06 주식회사 메디인테크 Method, apparatus and computer program for controlling endoscope based on medical image
KR102553961B1 (en) 2022-10-12 2023-07-10 주식회사 메디인테크 Method, apparatus and computer program for preventing blind spot in endoscopic procedure based on medical image

Similar Documents

Publication Publication Date Title
KR102185886B1 (en) Colonoscopy image analysis method and apparatus using artificial intelligence
JP2023171651A (en) Systems and methods for generating and displaying study information of in vivo image stream
JP4512834B2 (en) Capsule endoscope image display control device
WO2006087981A1 (en) Medical image processing device, lumen image processing device, lumen image processing method, and programs for them
US20210022586A1 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
WO2007119297A1 (en) Image processing device for medical use and image processing method for medical use
WO2006123455A1 (en) Image display device
US20200090548A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP4749732B2 (en) Medical image processing device
KR20160118037A (en) Apparatus and method for detecting lesion from medical image automatically
KR20220130855A (en) Artificial intelligence-based colonoscopy diagnosis supporting system and method
CN100411576C (en) Endoscope insertion direction detecting device, endoscope insertion direction detecting system, and endoscope insertion direction detecting method
CN114569043A (en) Endoscope auxiliary examination method and device based on artificial intelligence
JPWO2020152758A1 (en) Image processing device, diagnostic support method and image processing program
CN110167417B (en) Image processing apparatus, operation method, and storage medium
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
EP4285810A1 (en) Medical image processing device, method, and program
US20240016366A1 (en) Image diagnosis system for lesion
WO2022224446A1 (en) Image processing device, image processing method, and storage medium
KR20220122312A (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method
KR20210071173A (en) Apparatus and method for automatic calculation of bowel preparation
JP7264407B2 (en) Colonoscopy observation support device for training, operation method, and program
JPWO2020090002A1 (en) Image processing device and image processing method used for endoscopy system and endoscopy system
WO2023089716A1 (en) Information display device, information display method, and recording medium
JP2024008474A (en) Inspection support device, inspection support method, and inspection support program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant