KR20190079605A - Method and apparatus for analyzing images of capsule endoscopic based on knowledge model of gastrointestinal tract diseases - Google Patents

Method and apparatus for analyzing images of capsule endoscopic based on knowledge model of gastrointestinal tract diseases Download PDF

Info

Publication number
KR20190079605A
KR20190079605A KR1020190077331A KR20190077331A KR20190079605A KR 20190079605 A KR20190079605 A KR 20190079605A KR 1020190077331 A KR1020190077331 A KR 1020190077331A KR 20190077331 A KR20190077331 A KR 20190077331A KR 20190079605 A KR20190079605 A KR 20190079605A
Authority
KR
South Korea
Prior art keywords
disease
information
image
discovery
capsule
Prior art date
Application number
KR1020190077331A
Other languages
Korean (ko)
Inventor
이정원
박예슬
황규본
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020190077331A priority Critical patent/KR20190079605A/en
Publication of KR20190079605A publication Critical patent/KR20190079605A/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Endoscopes (AREA)

Abstract

According to one embodiment of the present invention, provided is a method for analyzing an image of a capsule endoscopic, which comprises the following steps. A capsule endoscopic image analysis device receives signs from a user. The capsule endoscopic image analysis device uses disease information included in a knowledge model to determine a disease in which the signs may appear. The capsule endoscopic image analysis device determines findings which can be seen in a gastrointestinal tract due to the disease by using finding information included in the knowledge model. The capsule endoscopic image analysis device separately provides frames in which the findings appeared in an image photographed by the capsule endoscope.

Description

지식 모델 기반 캡슐내시경의 영상 분석 방법 및 장치 {Method and apparatus for analyzing images of capsule endoscopic based on knowledge model of gastrointestinal tract diseases}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for analyzing a capsule endoscope,

본 발명은 지식 모델 기반으로 캡슐내시경의 영상을 분석하는 방법 및 그 장치에 관한 것이다. 보다 자세하게는 MST(Minimal Standard Terminology for Gastrointestinal Endoscopy)와 CEST(Capsule Endoscopy Structured Terminology)에 기초하여 정의된 지식 모델을 기반으로 캡슐내시경의 영상을 분석하여 임상 정보를 제공하는 방법 및 그 방법을 수행하는 장치에 관한 것이다.The present invention relates to a method and apparatus for analyzing an image of a capsule endoscope based on a knowledge model. More particularly, the present invention relates to a method for providing clinical information by analyzing images of a capsule endoscope based on a knowledge model defined based on Minimal Standard Terminology for Gastrointestinal Endoscopy (MST) and Capsule Endoscopy Structured Terminology (CEST) .

캡슐내시경은 위장관(Gastrointestinal Tract)을 관찰하기 위해 인체에 삽입하여 체내의 영상을 촬영하는 장치로, 캡슐내시경 영상의 분석을 위해서는 캡슐이 존재하고 있는 위치(식도, 위, 공장, 회장 등)와 해당 위치에서 발견된 정보(종양, 폴립, 용종 등)에 대한 정보에 대한 확인이 필요하다. 그러나 소화기관의 특성상 한 환자의 캡슐내시경 검사를 수행하게 되면 14~18시간 정도의 영상이 획득되기 때문에, 이에 해당되는 방대한 양의 영상을 분석하기 위해서는 시간적인 소모가 매우 크다. 그러므로 판독사는 캡슐내시경 영상을 분석하기 위해, 환자의 의심 질병을 기준으로 분석 대상이 되는 영상의 범위를 좁혀 판독한다.Capsule endoscopy is a device that is inserted into a human body to observe the gastrointestinal tract and images the body. For the analysis of the capsule endoscopic image, the location of the capsule (esophagus, stomach, plant, It is necessary to confirm information on the information (tumor, polyp, polyp, etc.) found in the location. However, due to the characteristics of the digestive system, when a capsule endoscopy is performed on a patient, 14 to 18 hours of images are obtained. Therefore, it is very time consuming to analyze a large amount of images. Therefore, in order to analyze the capsule endoscopic image, the reader narrows the range of the image to be analyzed on the basis of the suspected disease of the patient and reads it.

환자의 의심 질병(Suspected Diseases)이란 캡슐내시경 영상에서 발견해야 하는 주요 병변에 대한 예상 질병으로서 캡슐내시경 검사를 수행하기 이전의 증상으로부터 추론될 수 있다. 이와 같은 의심 질병(또는 예상 질병)이 선별되면, 의심 질병으로부터 발견될 수 있는 내시경적 특성을 확인할 수 있다. 예를 들면, 크론병의 경우의 전형적인 소견은 정상 점막 사이에 비교적 경계가 뚜렷한 분리성 궤양이 종주상으로 관찰되며, 이와 같은 병변들이 비연속적으로 발견된다는 점에 착안하여 영상을 분석할 수 있다.Suspected Diseases can be deduced from symptoms prior to performing a capsule endoscopy as an expected disease for major lesions that should be found in a capsule endoscopy image. Once such suspected diseases (or anticipated diseases) are selected, endoscopic features that can be detected from suspected diseases can be identified. For example, a typical finding of Crohn's disease is a dissociated ulcerous lesion that is relatively well-defined between the normal mucosa, which can be analyzed by focusing on the fact that these lesions are discontinuously found.

하지만 현재의 캡슐내시경 소프트웨어의 경우 환자의 의심 질병과 영상에서 발견되는 주요 병변의 연관성에 대한 고려가 없이, 단순히 영상 정보만 제공되고 있는 상황이다. 이에 지식 모델 기반으로 캡슐내시경의 영상 분석 과정에서 임상 정보를 제공할 수 있는 방법에 대한 필요성이 커지고 있다.However, current capsule endoscopy software simply provides image information without consideration of the association between the patient's suspicious disease and the major lesion found in the image. Therefore, there is a growing need for a method for providing clinical information in the image analysis process of capsule endoscopy based on the knowledge model.

본 발명이 해결하고자 하는 기술적 과제는 지식 모델 기반으로 캡슐내시경의 영상을 분석하는 방법 및 그 장치를 제공하는 것이다.The present invention provides a method and apparatus for analyzing an image of a capsule endoscope based on a knowledge model.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the above-mentioned technical problems, and other technical problems which are not mentioned can be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 캡슐 내시경 영상 분석 방법은, 캡슐내시경 영상 분석 장치가, 사용자로부터 증상(Signs)을 제공받는 단계; 상기 캡슐내시경 영상 분석 장치가, 지식 모델에 포함된 질병 정보를 이용하여 상기 증상이 나타날 수 있는 질병(Disease)을 판단하는 단계; 상기 캡슐내시경 영상 분석 장치가, 상기 지식 모델에 포함된 발견 정보를 이용하여 상기 질병으로 인해 위장관에서 볼 수 있는 발견(Findings)를 판단하는 단계; 및 상기 캡슐내시경 영상 분석 장치가, 캡슐내시경이 촬영한 영상에서 상기 발견이 나타난 프레임만 별도로 제공하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for analyzing a capsule endoscope image, the method comprising: receiving a signature from a user; The capsule endoscopic image analyzing method comprising the steps of: determining a disease (Disease) in which the symptom may appear using disease information included in a knowledge model; The capsule endoscopic image analyzing method comprising the steps of: (a) determining, using the discovery information included in the knowledge model, findings found in the gastrointestinal tract due to the disease; And the capsule endoscopic image analyzing apparatus may separately provide a frame in which the discovery is displayed in an image taken by the capsule endoscope.

바람직하게는, 상기 캡슐내시경 영상 분석 장치가, 온톨로지(ontology)에 기초하여 증상과 질병 사이의 상관 관계 및 질병과 발견 사이의 상관 관계를 사전에 정의하는 단계를 더 포함할 수 있다.Preferably, the capsule endoscopic image analyzing apparatus may further include a step of pre-defining a correlation between the symptom and the disease and a correlation between the disease and the discovery based on the ontology.

바람직하게는, 상기 프레임만 별도로 제공하는 단계는, 상기 프레임을 이미지의 형태로 포함하고, 상기 질병 및 상기 발견에 관한 정보를 텍스트의 형태로 포함하여 CEST(Capsule Endoscopy Structured Terminology)에 규약된 리포트를 생성하는 단계를 포함할 수 있다.Preferably, the step of separately providing the frame further comprises: generating a report conformed to a Capsule Endoscopy Structured Terminology (CEST) by including the frame in the form of an image and including information on the disease and the discovery in the form of text And a step of generating the data.

바람직하게는, 상기 발견은 복수 개이고, 상기 리포트는 상기 복수 개의 발견에 대한 발견된 개수, 크기의 통계 정보를 추가로 더 포함하는 것이다.Preferably, the discovery is plural, and the report further includes statistical information of the discovered number and size of the plurality of discovery.

바람직하게는, 상기 질병은 복수 개이고, 상기 리포트는 상기 복수개의 질병에 속한 각각의 질병과 상기 발견과의 매칭율에 따라 상기 각각의 질병이 실제로 발병할 확률의 통계 정보를 추가로 더 포함하는 것이다.Preferably, the disease is plural, and the report further includes statistical information of the probability that each disease actually occurs according to the matching rate of each disease belonging to the plurality of diseases to the discovery .

바람직하게는, 상기 사용자로부터 증상을 제공받는 단계는, 의료 정보 시스템으로부터 징후(Symptom)를 추가로 더 제공받는 단계를 포함할 수 있다.Advantageously, receiving the symptom from the user may further comprise receiving further symptoms from the medical information system.

바람직하게는, 상기 프레임만 별도로 제공하는 단계는, 상기 캡슐내시경이 촬영한 영상의 전체를 제공하는 제1 영역과, 상기 제1 영역의 인근에 상기 프레임만 별도로 표시한 제2 영역을 그래픽 사용자 인터페이스(GUI)를 통해서 시각적으로 제공하는 단계를 포함할 수 있다.Preferably, the step of separately providing the frame further includes: displaying a first area providing the entire image captured by the capsule endoscope and a second area displaying only the frame separately in the vicinity of the first area, RTI ID = 0.0 > (GUI). ≪ / RTI >

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 캡슐 내시경 영상 분석 장치는, 사용자로부터 증상(Signs)을 제공받는 증상 입력부; 지식 모델에 포함된 질병 정보를 이용하여 상기 증상이 나타날 수 있는 질병(Disease)을 판단하는 증상 분석부; 상기 지식 모델에 포함된 발견 정보를 이용하여 상기 질병으로 인해 위장관에서 볼 수 있는 발견(Findings)를 판단하는 영상 분석부; 및 캡슐내시경이 촬영한 영상에서 상기 발견이 나타난 프레임만 별도로 제공하는 질병 정보 출력부를 포함할 수 있다.According to another aspect of the present invention, there is provided an apparatus for analyzing a capsule endoscope image, the apparatus comprising: a symptom input unit for receiving symptoms from a user; A symptom analyzer for determining a disease (Disease) in which the symptom may appear using disease information included in the knowledge model; An image analyzer for determining the findings found in the gastrointestinal tract due to the disease using the discovery information included in the knowledge model; And a disease information output unit for separately providing only the frame in which the discovery is displayed in the image captured by the capsule endoscope.

본 발명에 따른 효과는 다음과 같다.The effects according to the present invention are as follows.

본 발명에서는 의심 질병에 대한 지식 정보를 기반으로 캡슐내시경 소프트웨어의 지능화를 가능하게 하는 위장관 질병 모델 및 분석 시스템을 제안한다. 본 발명에서 제안하는 발명을 이용하면, 특정 환자가 내원하여 백혈구 증가(Elevation of leukocytes), 빈혈(Anemia), 설사(Diarrhea), 열(Fever), C 반응성 단백질(C- Reactive Protein)에 대한 증상을 보인다고 할 때, 위장관 질병 모델을 기반으로 해당 환자의 의심 질환이 크론병이 결정될 수 있다. 이 때, 크론병에 대한 영상을 분석하기 위해 연관된 발견 정보로 종주성 궤양(Longitudinal Ulcer), 조약돌 점막상(Cobblestone Appearance) 또는 염증성 용종증(Inflammatory Polyposis)에 대한 특성을 보여줌으로서 의사의 진단을 보조하게 된다. 이를 통해서 단순히 캡슐내시경이 촬영한 영상을 뷰어 프로그램을 이용해서 보여주는 것에 그치는 것이 아니라 영상과 함께 임상 정보를 제공하여 캡슐내시경을 이용하는 사용자인 영상 분석가, 영상 판독사, 의사 등의 의료진의 편의성을 향상시킬 수 있다.The present invention proposes a gastrointestinal disease model and analysis system that enables intelligent capsule endoscope software based on knowledge information about suspected diseases. Using the invention proposed in the present invention, it is possible to prevent the symptoms of elevation of leukocytes, anemia, diarrhea, fever, C-reactive protein, , Crohn's disease can be determined on the basis of the gastrointestinal disease model. In order to analyze the image of Crohn's disease, related information is provided to assist the doctor in diagnosis by showing characteristics of longitudinal ulcer, Cobblestone Appearance or Inflammatory Polyposis. do. Through this, it is not just to show the images taken by the capsule endoscope using the viewer program, but to improve the convenience of the medical staff such as the image analyst, the image reader, and the doctor who use the capsule endoscope by providing the clinical information together with the image .

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood to those of ordinary skill in the art from the following description.

도 1 내지 도 3은 본 발명의 일 실시예에 따른 질병 모델 기반 캡슐내시경의 영상 분석 방법을 설명하기 위한 도면이다.
도 4 내지 도 7은 본 발명의 일 실시예에서 사용될 수 있는 질병 모델을 보다 자세히 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 질병 모델 기반 캡슐내시경의 영상 분석 장치를 설명하기 위한 도면이다.
도 9a 내지 도 9g는 본 발명의 일 실시예에서 사용되는 지식 모델을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 질병 모델 기반 캡슐내시경의 영상 분석 방법을 설명하기 위한 순서도이다.
1 to 3 are views for explaining an image analysis method of a disease-based capsule endoscope according to an embodiment of the present invention.
Figures 4-7 illustrate the disease model that may be used in an embodiment of the invention in more detail.
FIG. 8 is a view for explaining an image analysis apparatus of a disease model-based capsule endoscope according to an embodiment of the present invention.
9A to 9G are views for explaining a knowledge model used in an embodiment of the present invention.
10 is a flowchart illustrating an image analysis method of a disease-based capsule endoscope according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1 내지 도 3은 본 발명의 일 실시예에 따른 질병 모델 기반 캡슐내시경의 영상 분석 방법을 설명하기 위한 도면이다.1 to 3 are views for explaining an image analysis method of a disease-based capsule endoscope according to an embodiment of the present invention.

도 1을 참고하면 본 발명에서 사용하는 질병 모델이 하단에 도시되어 있다. 질병 모델은 다른 말로 지식 모델이라고 한다. 도 1을 참고하면 본 발명에서 사용하는 질병모델은 의심되는 질병(Suspected Diseases)과 내시경적 발견(Findings)로 구성되어 있다. 의심되는 질병은 하나 이상의 증상(Signs)를 통해서 추론을 할 수 있다. 내시경적 발견은 의심되는 질병을 통해서 추론할 수 있다. 즉 증상 > 의심되는 질병 > 내시경적 발견의 단계를 거쳐서 각각 다음 단계의 추론이 진행된다.Referring to FIG. 1, a disease model used in the present invention is shown at the bottom. In other words, disease models are called knowledge models. Referring to FIG. 1, the disease model used in the present invention is composed of Suspected Diseases and Endoscopic Findings. A suspected disease can be inferred through one or more symptoms. Endoscopic discovery can be inferred through suspected diseases. That is, the next stage of reasoning proceeds through the stages of symptom> suspected disease> endoscopic discovery.

예를 들면 캡슐내시경을 사용할 피검사자가 문진 시스템을 통해서 캡슐내시경을 경구에 투입하기 전에 현재 겪고 있는 증상들을 응답할 수 있다. 도 1의 예에서는 백혈구 증가(Elevation of leukocytes), 빈혈(Anemia), 설사(Diarrhea), 열(Fever), 반응성 단백질(C-Reactive Protein)에 대한 증상을 보인다고 하면 해당 피검사자의 의심되는 질병으로 크론병(Crohn's Diseases)을 추론할 수 있다. 다음으로 크론병을 보유한 환자들의 내시경 영상에서 주로 관찰되는 발견들을 사전에 학습된 모델을 통해서 추론할 수 있다. 예를 들면 종주성 궤양(Longitudinal Ulcer), 조약돌 점막상(Cobblestone Appearance), 염증성 용종증(Inflammatory)을 추론하고 피검사자의 캡슐내시경 영상에서 해당 발견들이 촬영된 프레임을 위주로 의료진에게 제공할 수 있다. 이를 통해서 의심되는 질병인 크론병이 실제로 발병하였는지 여부를 판단할 수 있는 지표를 제공할 수 있다.For example, a person using a capsule endoscope can respond to the symptoms currently experienced before the capsule endoscope is inserted into the oral cavity through the cardiopulmonary system. In the example of FIG. 1, when symptoms of elevation of leukocytes, anemia, diarrhea, fever, and reactive protein (C-Reactive Protein) are shown, You can infer Crohn's Diseases. Secondly, the findings that are mainly observed in endoscopic images of patients with Crohn 's disease can be inferred through a pre - learned model. For example, a longitudinal ulcer, a cobblestone appar- ent, and an inflammatory poly- morphism can be inferred, and a capsule endoscopic image of a subject can be provided to the medical staff mainly on the frame in which the findings are photographed. This can provide an indicator of whether a suspected disease, Crohn's disease, has actually occurred.

도 1의 상단을 참고하면 14시간 정도에 걸치는 캡슐내시경 영상의 프레임이 도시되어 있고, 그 중에서 의심되는 질병인 크론병과 관련된 발견이 발견되는 프레임들만 선별해서 특정 구간만 하단에 확장해서 도시된 것을 볼 수 있다. 뿐만 아니라 발견들이 발견된 구간에 대한 통계 정보를 생성해서 제공할 수 있다. 예를 들면 종주성 궤양(Longitudinal Ulcer)이 발견된 개수(number), 크기(size), 출혈 여부(bleeding), 패턴(pattern)과 같은 정보를 영상 정보와 함께 추가로 제공할 수 있다.Referring to the upper part of FIG. 1, a frame of a capsule endoscopic image over 14 hours is shown, and only the frames in which a discovery related to a suspected disease Crohn's disease is found are selected, . In addition, you can generate and provide statistical information about the discovery interval. For example, information such as the number, size, bleeding, and pattern of a longitudinal ulcer can be additionally provided together with image information.

도 2는 본 발명에서 제안하는 질병 모델 기반 캡슐내시경의 영상 분석 방법을 구현한 시스템의 도면이다. 도 2를 참고하면 내시경 정보 시스템(endoscopic Information System)은 병원 정보 시스템(Hospital Information System)과 연동되는 방식이다. 본 발명에서 제안하는 내시경 정보 시스템은 병원 정보 시스템과 연동되어 의료 정보를 교환한다. 병원 정보 시스템으로부터 수신하는 데이터는 환자의 식별을 위한 관리 데이터(이름, 나이, 성별 등)와 의료 데이터(이력, 증상, 검사 결과 등)에 대한 정보가 있다. 또한 내시경 정보 시스템에서 송신하는 데이터는 내시경 검사 결과에 대한 정보로, 크게 검사 이전(Pre-procedure), 검사(Procedure), 검사 이후(Post-procedure)에 대한 정보가 있다.2 is a diagram of a system implementing an image analysis method of a disease-based capsule endoscope proposed in the present invention. Referring to FIG. 2, an endoscopic information system is a system linked to a hospital information system. The endoscopic information system proposed in the present invention interchanges with the hospital information system to exchange medical information. The data received from the hospital information system includes management data (name, age, sex, etc.) for identifying the patient and medical data (history, symptoms, test results, etc.). In addition, data transmitted from the endoscopic information system is information on endoscopic examination results, and includes information about pre-procedure, procedure, and post-procedure.

이때 내시경 정보 시스템은 MST와 CEST에 기반하여 지식 모델을 관리할 수 있다. MST(Minimal Standard Terminology for Gastrointestinal Endoscopy)는 국제 표준 내시경 협회에서 제정된 위장관 내시경을 위한 최소한의 표준 용어 정의로서, 내시경 정보 시스템을 위한 용어 표준이다. 현재, 이와 같은 표준 용어를 활용하여 내시경 정보 시스템을 개발할 것을 권장하고 있으며, 구성 내용은 내시경 검사로부터 발견될 수 있는 병변에 대한 정보 뿐만 아니라, 검사의 원인, 이후 처치 방법, 이벤트 등에 대한 용어에 대해서도 정의되어 있다.At this time, the endoscopic information system can manage the knowledge model based on MST and CEST. Minimal Standard Terminology for Gastrointestinal Endoscopy (MST) is the minimum standard definition for gastrointestinal endoscopy established by the International Standard Endoscopy Association and is the terminology standard for endoscopic information systems. Currently, it is recommended to develop an endoscopic information system using these standard terms, and the contents of the contents are not limited to the information about the lesions that can be found from the endoscopic examination, but also the terms of the cause of the test, Is defined.

CEST(Capsule Endoscopy Structured Terminology)는 전체 내시경 검사에 다루는 것이 아니라 캡슐내시경에만 초점을 맞추어 다루는 용어 표준으로서, 제안하는 표준에는 캡슐내시경 영상의 판독 결과를 작성하기 위한 레포트 규격을 제시하고 있다. 작성되어야 하는 레포트에 대한 세부적인 규격은 도 3과 같으며, 도 2에 도시된 내시경 정보 시스템의 텍스트 레포트지에 대한 규격을 의미한다.Capsule Endoscopy Structured Terminology (CEST) is a term standard that focuses not only on endoscopy but also on capsule endoscopy. The proposed standard provides a report specification for preparing the results of capsule endoscopic images. Detailed specifications of the report to be prepared are shown in FIG. 3, and refer to a standard for the text report of the endoscopic information system shown in FIG.

다시 도 2를 참고하면, 병원 정보 시스템(HIS)와 연동을 통해 환자에 대한 관리 정보(Patient Administrative Data)와 의료 정보(Patient Medical Data)를 수신하고, 여기에 온톨로지를 기반으로 한 지식 모델을 적용하여 환자에 대한 임상 정보를 추천하여 제공할 수 있다. 예를 들어, 환자의 증상 정보를 기반으로 의심되는 질병을 추천해준다던지, 의심되는 질병이 있다면 어떤 발견 정보가 예측될 수 있는지를 추천하여 제공할 수 있다. 의료진은 이러한 추천된 정보를 바탕으로 실제 의료 서비스를 제공할 수 있다. 특히 종래의 MST나 CEST는 표준을 위한 것들이여서 용어에 대한 정의만 되어 있을 뿐 그 사이의 상관 관계에 대한 관심은 부족했다. 이를 개선하기 위해 본 발명에서는 병변간의 연관성, 원인(질병, 예후 인자 등)과의 연관성 등을 온톨로지 기반의 지식 모델로 정의하고, 이를 통해서 MST나 CEST의 특정 항목이 발견되면 발견된 특정 항목과 연관성이 있는 다른 항목에 대한 데이터를 자동으로 추론하여 추천할 수 있다. 특히, 이 과정에서는 활용되는 온톨로지는 MST와 CEST 표준에 제시되어 있는 용어를 기반으로 정의되었기 때문에, 추론(Reasoning) 또는 추천될 수 있는 임상 정보 역시 표준 용어다. 의 표현으로 수정하는 것이 좋을 것 같습니다.Referring again to FIG. 2, the system receives patient information (Patient Administrative Data) and medical information (Patient Medical Data) through interworking with a hospital information system (HIS), and applies a knowledge model based on the ontology The clinical information about the patient can be recommended and provided. For example, it may recommend a suspected disease based on the patient's symptom information, or recommend a discovery information if there is a suspected disease. Medical staff can provide actual medical services based on this recommended information. In particular, the conventional MST and CEST are for the standard, and only the definition of the term is concerned, but there is a lack of interest in the correlation between them. In order to improve this, the present invention defines an ontology-based knowledge model as a relationship between lesions and a cause (disease, prognostic factor, etc.), and associates a specific item found with an MST or CEST Can be recommended by automatically inferring the data for other items. In particular, since the ontology used in this process is defined based on the terms presented in the MST and CEST standards, the clinical terms that can be suggested or suggested for reasoning are also standard terms. I think it would be better to modify it as an expression of.

도 3을 참고하면 도 2의 내시경 정보 시스템의 오른쪽에 도시된 내시경 리포트(Endoscopic Report)가 보다 자세하게 도시된 것을 볼 수 있다. MST와 CEST에 기반하여 내시경 리포트는 도 3의 Table 1에 도시된 항목들에 관한 텍스트 리포트와 이미지들을 포함해서 생성된다. 이때 Table 1에 표시된 검출된 발견(Findings)에 유의할 필요가 있다. 캡슐내시경의 영상에서 발견된 궤양, 출혈, 점막상, 종양과 같은 발견들이 리포트에 필요하다. 본 발명에서 제안하는 질병 모델 기반 캡슐내시경의 영상 분석 방법은 지식 모델에 기반하여 영상에서 이러한 발견들을 자동으로 검색하고 리포트를 생성하기 위한 임상 정보들을 제공한다.Referring to FIG. 3, the endoscopic report shown on the right side of the endoscopic information system of FIG. 2 is shown in more detail. Based on the MST and CEST, the endoscopic report is generated including a text report and images relating to the items shown in Table 1 of FIG. At this time, it is necessary to pay attention to the detected findings shown in Table 1. Findings such as ulcers, hemorrhages, mucosal lesions, and tumors found in the capsule endoscopy images are needed for the report. The disease model-based capsule endoscopy image analysis method proposed in the present invention provides clinical information for automatically searching for such findings based on a knowledge model and generating a report.

즉 본 발명에서 제안하는 방법을 이용하면 캡슐내시경 영상의 판독을 보조하여 캡술내시경이 촬영한 영상에서 의심하고 있는 질병과 관련된 발견이 실제로 발견되었는지 확인하는 과정인 스크리닝 과정이 자동으로 수행되고 그 결과를 취합하여 임상 정보를 제공할 수 있다. 이를 통해 검사자의 편의성을 향상시킬 수 있다.That is, by using the method proposed in the present invention, the screening process, which is a process of assisting the reading of the capsule endoscope image and checking whether a discovery related to the suspected disease is actually found in the image taken by the capsule endoscope, is automatically performed, And collect clinical information. This can improve the convenience of the inspector.

도 4 내지 도 7은 본 발명의 일 실시예에서 사용될 수 있는 질병 모델을 보다 자세히 설명하기 위한 도면이다.Figures 4-7 illustrate the disease model that may be used in an embodiment of the invention in more detail.

도 4를 참고하면, 캡슐내시경을 피검사자의 경구에 투입하기 전의 사전 과정(Pre-procedure)으로 증상 및 징후(Sign and Symptoms)를 입력 받는 과정과 이를 기반으로 의심되는 질병(Suspected diagnosis)을 지식 모델에서 선별한다. 이를 위해서 증상 및 징후와 의심되는 질병이 온톨로지에 의해 사전에 구축되어 있어야 한다.Referring to FIG. 4, a process of inputting symptoms and signs by a pre-procedure before the capsule endoscope is inserted into the oral cavity of a testee, and a suspected diagnosis based on the process of receiving a sign and symptoms, . To this end, symptoms and signs and suspected diseases should be pre-established by the ontology.

도 4의 좌측 표를 참고하면 S01부터 S11까지 다양한 증상 및 징후들이 예시되어 있다. 예를 들면, 복통, 구토, 혈변, 빈혈, 설사, 체중 감소, 열, 백혈구 증가, C반응성 단백질, 장출혈, 장시간 NSAID 복용과 같은 증상들이 예시되어 있다. 이 중에서 S01 내지 S05와 같은 증상은 피검사자가 캡슐내시경을 이용한 검사를 수행하기 전에 문진 형식으로 시스템에 입력할 수 있다. 그리고 S06 내지 S11과 같은 징후들은 해당 피검사자를 담당한 의료진이 시스템에 입력할 수 있다.Referring to the left table of FIG. 4, various symptoms and signs are illustrated from S01 to S11. For example, symptoms such as abdominal pain, vomiting, blood stains, anemia, diarrhea, weight loss, heat, leukocyte increase, C-reactive protein, intestinal blood, and prolonged NSAID use are exemplified. Of these, the symptoms such as S01 to S05 can be inputted into the system in the form of a paper document before the examinee performs the examination using the capsule endoscope. And indications such as S06 to S11 can be entered into the system by the medical staff in charge of the examinee.

이렇게 입력 받은 증상 및 징후에 기초하여 우측 표에 도시된 D01 내지 D11와 같이 다양한 의심되는 질병을 선별할 수 있다. 예를 들면, 혈관확장, 셀리악병, 크론병, 유전성 폴립 증후군, 림프종, 비스테로이드 항염증약 질환, 폴립, 종양, 국소빈혈, 협착, 덩이 등과 같은 의심되는 질병을 선별할 수 있다. 이때 증상 및 징후와 관련된 의심되는 질병을 복수개 선별하는 경우도 가능하다. 일부 질병들의 경우 증상이나 징후가 유사한 경우가 있기 때문이다.Based on the received symptoms and indications, various suspected diseases can be selected, such as D01 to D11 shown in the right table. For example, suspected diseases such as vasodilation, celiac disease, Crohn's disease, hereditary polyp syndrome, lymphoma, non-steroidal antiinflammatory diseases, polyps, tumors, ischemia, stenosis, It is also possible to select a plurality of suspected diseases related to symptoms and signs. Some diseases have similar symptoms or signs.

이러한 경우에는 의료진에게 캡슐내시경의 영상을 분석한 리포트를 제공할 때, 각각의 질병과 실제 캡슐내시경의 영상에서 발견된 발견(Finding)과의 비율을 통해 실제 어느 질병일 확률이 높은지와 같은 통계 정보를 생성해서 제공할 수 있다. 의료진은 이와 같은 통계 정보에 의학적 소견을 반영하여 실제 질병을 진단하고 피검사자에게 의료 정보를 제공할 수 있다.In this case, when providing a report to the medical staff analyzing the capsule endoscopic image, the ratio of each disease to the finding found in the actual capsule endoscopic image is used to calculate the statistical information Can be generated and provided. The medical staff can diagnose the actual disease and provide medical information to the testee by reflecting the medical findings in such statistical information.

다음의 도 5를 참고하면 지식 모델에 의해 증상 및 징후와 의심되는 질병의 상관 관계가 정의된 것을 볼 수 있다. 도 5의 중앙에 표시된 연관성이 이러한 상관 관계를 예시한 부분이다. 도 5를 보다 자세히 살펴보면, 피검사자의 일반적인 검사 결과, 문진을 통해 입력 받은 내용들을 EMR, PACS, LIS 등의 의료 정보 시스템으로부터 수신하여 연관된 의심되는 질병을 선별한다. 예를 들면 S10 장출혈이 있는 경우에는 D01 혈관확장이 의심되는 질병으로 선별된다. 또 다른 예를 들면 S01 장출혈과 S04 빈혈과 S06 체중 감소가 있는 경우에는 D02 셀리악병이 의심되는 질병으로 선별된다. 도 5의 연관성에서 볼 수 있듯이 복수의 증상 및 징후의 조합을 통해서 의심되는 질병을 선별할 수 있다.Referring to FIG. 5 below, it can be seen that the correlation between symptoms and signs and suspected diseases is defined by the knowledge model. The correlation shown at the center of FIG. 5 is a part illustrating this correlation. Referring to FIG. 5, in the case of a general test result of the examinee, the contents inputted through the paper interview are received from the medical information system such as EMR, PACS, LIS, and the related suspected diseases are selected. For example, if there is a S10 enema, D01 is selected as a suspected disease. In another example, S01 intestinal bleeding, S04 anemia and S06 weight loss are selected as D02 seli disease. As can be seen from the association of FIG. 5, a combination of multiple symptoms and indications can be used to screen for suspected diseases.

다음의 도 6을 참고하면 MST에서 제시한 캡슐내시경에서 발견될 수 있는 임상 정보(Findings)를 분류한 것을 볼 수 있다. 종래의 MST에서는 내시경적 발견(Findings)를 단숙 목록 형태로 정의한 것에 불과했지만, 본 발명에서 제안하는 지식 모델은 이를 체계화 하고 질병과 발견 사이의 연관성을 온톨로지 기반으로 정의하였다. 캡슐내시경 검사를 판독할 때, 의심 질병에 대한 발견 정보를 고려한다. MST와 CEST는 내시경 검사를 수행할 때 고려되어야 하는 발견 정보를 정의해놓았으며 도 6과 같은 구조를 갖는다. 그러나 MST와 CEST에서는 질병에 대한 연관성이 고려되어 발견 정보를 정의하지 않았다. 정의된 발견 정보는 내시경으로부터 발견될 수 있는 모든 소견에 대한 용어, 속성의 정의이므로 본 발명에서는 질병에 대한 발견 정보의 연관성을 도 7과 같이 정의하였다.Referring to FIG. 6, it can be seen that the clinical information (Findings) that can be found in the capsule endoscope suggested by the MST is classified. In the conventional MST, only the endoscopic discoveries were defined as a short-stay list form. However, the knowledge model proposed in the present invention is systematized and the association between disease and discovery is defined based on the ontology. When reading a capsule endoscopy, consider discovery information about the suspected disease. MST and CEST have defined the discovery information to be considered when performing endoscopy and have the structure as shown in Fig. However, MST and CEST did not define the discovery information because of the association with disease. Since the defined discovery information is a definition of terms and attributes for all findings that can be found from an endoscope, the association of discovery information on diseases is defined in the present invention as shown in FIG.

예를 들면, 크론병의 경우 주 소견정보는 종주성 궤양(Longitudinal Ulcer)이 관찰되거나 조약돌 점막상(Cobblestone Appearance) 또는 염증성 용종증(Inflammatory Polyposis), 비건락성 상피세포 육아종(non-caseating epitheloid cell granuloma)이 관찰될 수 있다. 이와 같은 정보가 도 7의 좌측 표에 도시되어 있다. 도 5의 증상 및 징후와 의심되는 질병 사이의 상관 관계 및 도 7의 의심되는 질병과 내시경적 발견 사이의 상관 관계는 온톨로지를 이용하여 정의될 수 있다.For example, in the case of Crohn's disease, the main findings are chronic ulcers, Cobblestone Appearance or Inflammatory Polyposis, non-caseating epitheloid cell granuloma ) Can be observed. Such information is shown in the left table of Fig. The correlation between the symptoms and signs of FIG. 5 and the suspected disease and the correlation between the suspected disease and endoscopic findings of FIG. 7 can be defined using the ontology.

도 8은 본 발명의 일 실시예에 따른 질병 모델 기반 캡슐내시경의 영상 분석 장치를 설명하기 위한 도면이다.FIG. 8 is a view for explaining an image analysis apparatus of a disease model-based capsule endoscope according to an embodiment of the present invention.

본 발명에서 제안하는 질병 모델 기반 캡슐내시경의 영상 분석 장치는 도 8에서 터미널이라는 이름으로 도시되어 있다. 터미널은 태블릿, 스마트폰, 웨어러블 기기, 퍼스널 컴퓨터와 같은 물리적인 형태일 수 있다. 터미널은 캡슐내시경의 영상 전송부와 근거리 통신을 통해 캡슐내시경이 촬영한 영상을 실시간으로 전송 받는다. 이를 위해서 터미널은 통신부를 포함할 수 있으며, 터미널의 통신부는 기기 통신부와 서버 통신부를 포함할 수 있다.The apparatus for analyzing a disease-based capsule endoscope suggested in the present invention is shown in FIG. 8 as a terminal. A terminal may be in the form of a physical device such as a tablet, smart phone, wearable device, or personal computer. The terminal receives the image captured by the capsule endoscope in real time through a short distance communication with the capsule endoscope image transmitting unit. To this end, the terminal may include a communication unit, and the communication unit of the terminal may include a device communication unit and a server communication unit.

예를 들면 스마트폰의 NFC, 블루투스 등과 같은 근거리 통신 모듈이 기기 통신부로 캡슐내시경이 촬영한 영상을 수신받는데 사용된다. 그리고 3G, LTE와 같은 장거리 통신 모듈이 서버와 데이터를 주고 받을 수 있다. 터미널이 서버와 주고 받는 정보는 영상 분석을 위한 정보들이다. 즉 캡슐내시경으로부터 수신한 영상을 주기적으로 또는 비주기적으로 터미널에서 서버로 전송하면 서버에서는 영상 분석부를 통해서 위장관 질병 지식 모델에 기반하여 내시경적 발견을 검출하고 의심되는 질병과 매칭해서 임상 정보를 제공한다.For example, a short-range communication module such as NFC or Bluetooth of a smart phone is used to receive a video captured by a capsule endoscope. Long-distance communication modules such as 3G and LTE can exchange data with the server. The information that the terminal exchanges with the server is information for image analysis. In other words, if the image received from the capsule endoscope is periodically or aperiodically transmitted from the terminal to the server, the server detects the endoscopic discovery based on the gastrointestinal disease knowledge model through the image analysis unit and provides clinical information matching with the suspected disease .

그러면 터미널을 이를 서버 통신부를 통해서 수신해서 질병 정보 출력 인터페이스를 통해서 피검사자나 의료진에게 제공할 수 있다. 그 외에 터미널은 증상 정보 입력 인터페이스를 통해서 피검사자로부터 증상 정보를 입력받을 수 있다. 도 8에 도시된 예는 지식 모델에 기반하여 영상을 서버에서 분석하고 터미널에서는 그 결과만을 수신하는 중앙 집중형 시스템이 도시되어 있으나, 그 외에도 터미널이 서버로부터 지식 모델을 수신해서 터미널에서 캡슐내시경의 영상을 분석하는 분산형 시스템으로도 구현이 가능하다. 도 8의 예시는 발명의 이해를 돕기 위한 일 예일뿐 발명을 제한하고자 하는 것은 아니다.Then, the terminal can receive it through the server communication unit and provide it to the testee or the medical staff through the disease information output interface. In addition, the terminal can receive symptom information from the testee through the symptom information input interface. Although the example shown in FIG. 8 shows a centralized system for analyzing an image on a server based on a knowledge model and receiving only the result in a terminal, the terminal also receives a knowledge model from the server, It can also be implemented as a distributed system for analyzing images. The example of FIG. 8 is only an example for facilitating understanding of the invention, and is not intended to limit the invention.

도 8에서 서버를 보다 자세히 살펴보면 서버는 증상 분석부, 영상 분석부 및 임상 정보 제공부를 포함할 수 있다. 증상 분석부는 터미널로부터 입력받은 환자의 증상들을 통신부로부터 전송받아 분석하는 부분이다. 분석의 내용은 증상에 따른 의심 질병의 추론이며, 추론된 의심 질병에 대한 정보는 다시 터미널로 전송하게 된다. 이 때, 수행되는 분석은 위장관 질병 지식 모델을 기반으로 이루어진다. 영상 분석부는 캡슐내시경으로부터 촬영된 영상 및 기타 정보를 터미널로부터 전송받아 서버에서 분석하는 부분을 말한다. 분석 내용은 의심 질병으로부터 발생 가능한 발견 정보(Luminal Findings)를 획득하는 과정이며, 위장관 질병 지식 모델을 기반으로 수행된다. 임상 정보 제공부는 영상 분석부에서 획득된 발견 정보를 기반으로 의사 혹은 판독하는 전문의에게 관련된 임상 정보를 제공하는 부분이다. 제공되는 임상 정보는 발견될 수 있는 병변에 대한 속성 정보로 이상적인 병변의 형태, 개수, 출혈 여부, 크기 등이 속한다.In more detail, the server may include a symptom analysis unit, an image analysis unit, and a clinical information providing unit. The symptom analyzing unit analyzes the symptoms of the patient inputted from the terminal through the communication unit. The content of the analysis is the inference of the suspected disease according to the symptom, and the information about the suspected suspected disease is transmitted to the terminal again. At this time, the analysis performed is based on the gastrointestinal disease knowledge model. The image analysis unit is a part that receives images and other information taken from the capsule endoscope from a terminal and analyzes it in a server. The analysis is the process of obtaining Luminal Findings from suspect diseases and is based on the GIS knowledge model. The clinical information providing unit provides the clinical information related to the doctor or the reading specialist based on the discovery information obtained from the image analysis unit. The clinical information provided is the attribute information about the lesion that can be found, and it includes the ideal type, number, bleeding, size, etc. of the lesion.

서버의 데이터베이스에 온톨로지로 구축된 위장관 질병 지식 모델은 2종의 데이터를 포함한다. 이를 각각 제1 모델, 제2 모델로 명명하며, 제1 모델은 질병 정보로서 캡슐내시경 검사를 수행하는 원인에 대한 지식 정보를 담은 모델로서, 앞서 분석하였던 증상 및 징후와 질병 사이의 연관성이 정의된 모델을 의미한다. 제2 모델은 발견 정보로서 MST와 CEST 기반으로 분석된 발견 정보에 대해 의심 질병(Suspected Diseases)과의 연관성을 의미한다.Gastrointestinal disease knowledge model constructed with ontology in database of server includes two kinds of data. The first model is called the first model and the second model is the second model. The first model is the knowledge information about the cause of performing the capsule endoscopy as the disease information. The association between the symptom and the symptom and the disease analyzed before is defined Model. The second model implies the association of suspected diseases with discovery information analyzed on the basis of MST and CEST as discovery information.

도 8에 도시된 본 발명에서 제안하는 지식 모델에 기반한 캡슐내시경 영상 분석 시스템을 이용하면 캡슐내시경을 주요 판독 정보인 의심 질병에 관한 연관성이 정의된 지식 모델을 통해 진단에 필요한 임상 정보가 제공 혹은 추천될 수 있다. 이는 기존의 캡슐내시경 영상을 재생하는 역할만 하던 기존 소프트웨어에 진단 보조를 할 수 있는 임상 정보를 제공함으로써, 편리성과 경제성을 갖는 지능적인 소프트웨어를 개발할 수 있다.The capsule endoscopy image analysis system based on the knowledge model proposed in the present invention shown in FIG. 8 can be used to provide a capsule endoscope with the clinical information necessary for diagnosis through the knowledge model in which relevance to the suspected disease, . This provides intelligent software with convenience and economy by providing clinical information that can assist diagnosis of existing software, which only plays the role of regenerating capsule endoscope image.

도 9a 내지 도 9g는 본 발명의 일 실시예에서 사용되는 지식 모델을 설명하기 위한 도면이다.9A to 9G are views for explaining a knowledge model used in an embodiment of the present invention.

도 9a를 참고하면 온톨로지로 모델링된 지식 모델을 확인할 수 있다. 여기서 온톨로지란 컴퓨터가 사람처럼 어떤 객체(사물이거나 사람이거나 다른 모든 무엇인가)를 이해할 수 있도록 다른 객체와의 관계나 객체만의 의미를 표현한 관계형 모델이라고 정리할 수 있다.Referring to FIG. 9A, a knowledge model modeled by an ontology can be confirmed. Here, ontology can be defined as a relational model that expresses the meaning of only objects or relationships with other objects so that a computer can understand an object (object, person, or whatever) like a person.

특히 도 9a의 도메인(Domain)에서 Symptom의 속성(Property)이 canBeShownBy인 경우에 레인지(Range)가 Disease인 경우를 살펴보면, 특정 증상(Symptom)이 특정 질병(Disease)에서 나타날 수 있음(canBeShownBy)을 정의할 수 있다. 마찬가지로 도메인(Domain)에서 Finding의 속성(Property)이 canBeShownBy인 경우에 레인지(Range)가 Disease인 경우를 살펴보면, 특정 발견(Finding)이 특정 질병(Disease)에서 나타날 수 있음(canBeShownBy)을 정의할 수 있다. 또한 도메인(Domain)에서 Finding의 속성(Property)이 canBeShownIn인 경우에 레인지(Range)가 Anatomy인 경우를 살펴보면, 특정 발견(Finding)이 특정 위장관(Anatomy)에서 나타날 수 있음(canBeShownIn)을 정의할 수 있다. 그 외에도 영양 정보(Nutrition), 분비물 정보(Secretion) 등도 온톨로지로 구축할 수 있다. 이러한 온톨로지 모델링은 도 9b와 같이 RDF/XML 형식으로도 표현이 가능하다.In particular, if the range of the symptom property is canBeShownBy in the domain of FIG. 9A and the range is Disease, a specific symptom may appear in a specific disease (canBeShownBy) Can be defined. Similarly, if the domain of the Finding property is canBeShownBy and the range is Disease, then it is possible to define a specific finding (canBeShownBy) in a particular disease (Disease). have. In addition, if the range of the Finding property is canBeShownIn and the Range is Anatomy, it is possible to define a specific finding (canBeShownIn) in a specific gastrointestinal (Anatomy) have. Nutrition information and Secretion information can also be constructed using ontologies. This ontology modeling can be expressed in RDF / XML format as shown in FIG. 9B.

도 9c를 참고하면 온톨로지로 구축된 지식 모델의 구체적인 예를 확인할 수 있다. 도 9c를 참고하면 상단의 트리 모양의 데이터 구조에서 Disease 도메인을 볼 수 있다. 질병 중에서 출혈인 Hemorrhagic를 살펴보면 canBeShownBy 속성을 통해서 Colitis, Congestive, ForeignBody, Vasculitis 등에 의해서 출혈이 나타날 수 있음을 볼 수 있다. 또한 canBeShownIn 속성을 통해서 Colon, Stomach 등에서 출혈이 나타날 수 있음을 볼 수 있다.Referring to FIG. 9C, a concrete example of the knowledge model constructed by the ontology can be confirmed. Referring to FIG. 9C, the Disease domain can be seen in the tree structure data structure at the top. Hemorrhagic hemorrhage in the disease can be seen by Colitis, Congestive, ForeignBody, Vasculitis, etc. through the property of canBeShownBy. You can also see bleeding from Colon, Stomach, etc. through the canBeShownIn property.

다음으로 도 9d를 참고하면 온톨로지로 구축된 지식 모델의 또 다른 구체적인 예를 확인할 수 있다. Symptom 도메인에서 MedicalExamination 하위의 설사인 Diarrhea를 살펴보면 CanBeShownBy 속성을 통해서 크론병 ChrohnsDisease에 의해서 설사라는 증상이 나타날 수 있음을 확인할 수 있다. 또는 폴립증 증후군 HereditaryPolyposisSyndrome에 의해서 설사라는 증상이 나타날 수 있음을 확인할 수 있다.Next, referring to FIG. 9D, another concrete example of the knowledge model constructed by the ontology can be confirmed. Diarrhea, a subtype of MedicalExamination in the Symptom domain, shows diarrhea caused by Crohns disease by the CanBeShownBy attribute. Or diarrhea due to Hereditary Polyposis Syndrome.

다음으로 도 9e를 참고하면 온톨로지로 구축된 지식 모델의 또 다른 구체적인 예를 확인할 수 있다. Disease 도메인에서 CrohnsDisease를 살펴보면 hasFindingInfo 속성을 통해서 크론병 ChrohnsDisease에서 볼 수 있는 내시경적 발견으로 CobbleStone, Polyp, Ulcer이 있음을 확인할 수 있다.Next, referring to FIG. 9E, another concrete example of the knowledge model constructed by the ontology can be confirmed. If we look at CrohnsDisease in the Disease domain, we can confirm that there are CobbleStone, Polyp, and Ulcer in the endoscopic discovery that can be seen in Crohns disease by using hasFindingInfo attribute.

다음으로 도 9f를 참고하면 온톨로지로 구축된 지식 모델을 이용하여 증상-의심되는 질병-내시경적 발견을 통해 캡슐내시경의 영상을 분석하는 알고리즘의 의사코드(Pseudo Code)을 볼 수 있다. 도 9f를 참고하면, checkRelationshipsOfDiseases 함수에서는 증상을 파라미터로 입력 받아서, 지식 모델을 통해 의심되는 질병을 추론한다. 즉 제1 모델인 질병 정보를 조회하는 함수이다. 다음으로 checkRelationshipsOfFindings 함수에서는 의심되는 질병을 파라미터로 입력 받아서, 지식 모델을 통해 캡슐내시경이 촬영한 영상에서 볼 수 있는 발견을 추론한다.Next, referring to FIG. 9F, the pseudo code of the algorithm for analyzing the capsule endoscope image through symptom-suspected disease-endoscopic discovery using the knowledge model constructed by the ontology can be seen. Referring to FIG. 9F, the checkRelationshipsOfDiseases function receives symptoms as parameters and deduces suspected diseases through the knowledge model. That is, it is a function to inquire disease information which is the first model. Next, the checkRelationshipsOfFindings function receives the suspected disease as a parameter, and deduces the discovery that can be seen in the image captured by the capsule endoscope through the knowledge model.

데이터베이스에 구축된 다양한 사례의 환자 중에서 모델을 통해 추론된 발견 정보와 유사한 발견 정보를 가지는 환자의 캡슐내시경 프레임을 함께 제공함으로써 의료진의 진단을 보조할 수 있는 지능적인 시스템 구축을 가능하게 한다. 이렇게 캡슐내시경이 촬영한 영상을 자동으로 스크리닝 해서 제공하면 의료진이 캡슐내시경이 촬영한 전체 영상을 살펴볼 필요없이 간편하게 검토할 수 있다. By providing a capsule endoscopic frame of a patient having various discovery information similar to the discovery information deduced from the model among the various cases built in the database, it is possible to construct an intelligent system that can assist the diagnosis of the medical staff. Thus, if the capsule endoscopic image is automatically screened and provided, the medical staff can easily review the entire image captured by the capsule endoscope without having to look at it.

도 9g를 참고하면 본 발명에서 제안하는 방법을 이용하여 구현된 캡슐내시경의 영상 분석 소프트웨어의 사용자 화면(GUI)를 확인할 수 있다. 전제 촬영 영상중에서 특정 발견이 나타난 프레임만 선별해서 제공하고, 영상과 함께 좌측에서 볼 수 있는 것처럼 증상과 이로 인해 의심되는 질병 정보를 함께 제공할 수 있다. 또한, 의심되는 질병으로 인해 캡슐내시경의 영상에서 볼 수 있는 내시경적 발견을 우측헤 함께 제공할 수 있다. 이렇게 지능화된 분석 프로그램을 통해서 의료진의 편의성을 강화할 수 있다.Referring to FIG. 9G, a user's screen (GUI) of the image analysis software of the capsule endoscope implemented using the method proposed by the present invention can be confirmed. We can provide only the frames with specific findings from the pre-recorded images, and provide the symptoms and the suspicious disease information together with the images as seen from the left. In addition, the right hemisphere can be provided with an endoscopic discovery found in the imaging of the capsule endoscope due to the suspected disease. This intelligent analysis program can enhance the convenience of the medical staff.

도 10은 본 발명의 일 실시예에 따른 질병 모델 기반 캡슐내시경의 영상 분석 방법을 설명하기 위한 순서도이다.10 is a flowchart illustrating an image analysis method of a disease-based capsule endoscope according to an embodiment of the present invention.

도 10을 참고하면 캡슐내시경을 이용하는 피검사자로부터 증상을 입력 받는다(S1100). 또한 그 외에도 의료진 등을 통해서 징후를 입력 받거나 의료 정보 시스템과의 연동을 통해서 환자와 관련된 정보 및 징후를 전송 받을 수 있다. 다음으로 지식 모델을 구성하는 제1 모델인 질병 정보를 이용하여 피검사자가 입력한 증상 정보와 관련된 질병을 선별하고(S1200), 다시 제2 모델인 발견 정보를 이용하여 해당 질병을 가진 환자에게서 볼 수 있는 발견들을 선별한다(S1400). 다음으로 해당 발견들이 등장하는 이미지를 선별하여(S1400), 의료진에게 GUI 등을 통해서 제공한다(S1500).Referring to FIG. 10, a symptom is input from a testee using a capsule endoscope (S1100). In addition to this, the patient can receive the information or signs related to the patient through inputting the symptom through the medical staff or interlocking with the medical information system. Next, diseases related to the symptom information inputted by the examinee are selected using the disease information, which is the first model constituting the knowledge model (S1200), and again, the second model, the discovery information, (S1400). Next, an image in which the findings are found is selected (S1400), and the image is provided to the medical staff through a GUI or the like (S1500).

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

Claims (5)

캡슐내시경 영상 분석 장치의 상관 관계 정의부가, 온톨로지(ontology)에 기초하여 증상과 질병 사이의 상관 관계 및 질병과 발견 사이의 상관 관계를 사전에 정의하는 단계;
상기 캡슐내시경 영상 분석 장치의 증상 입력부가, 사용자로부터 증상(Signs)을 제공받는 단계;
상기 캡슐내시경 영상 분석 장치의 증상 분석부가, 지식 모델에 포함된 질병 정보를 이용하여 상기 증상이 나타날 수 있는 질병(Disease)을 판단하는 단계;
상기 캡슐내시경 영상 분석 장치의 영상 분석부가, 상기 지식 모델에 포함된 발견 정보를 이용하여 상기 질병으로 인해 위장관에서 볼 수 있는 발견(Findings)를 판단하는 단계;
상기 캡슐내시경 영상 분석 장치의 영상 분석부가, 상기 발견 정보에 대한 텍스트를 생성하고, 상기 발견 정보에 대응되는 이미지를 데이터 베이스로부터 검색하는 단계; 및
상기 캡슐내시경 영상 분석 장치의 질병 정보 출력부가, 캡슐내시경이 촬영한 영상에서 검출된 발견(Finding)이 상기 데이터베이스에서 검색된 이미지에 매칭되는 경우, 상기 판단된 질병(Disease)에서 상기 발견(Finding)이 검출되는 비율을 비교하여 상기 발견(Finding)에 대응되는 텍스트 및 이미지를 포함하는 프레임만 별도로 제공하는 단계;를 포함하고,
상기 증상과 질병 사이의 상관 관계를 사전에 정의하는 단계는 상기 질병은 복수의 증상을 포함하는 연관성에 의해 질병을 선별하는 캡슐 내시경 영상 분석 방법.
Defining a correlation of the capsule endoscopic image analyzing apparatus; defining a correlation between the symptom and the disease and a correlation between the disease and the discovery based on the ontology;
A symptom input unit of the capsule endoscope image analyzing apparatus, receiving symptoms from a user;
The symptom analyzing unit of the capsule endoscope image analyzing apparatus may determine a disease (Disease) in which the symptom may occur by using disease information included in the knowledge model;
An image analyzing unit of the capsule endoscope image analyzing apparatus, using the discovery information included in the knowledge model, to determine the findings found in the gastrointestinal tract due to the disease;
An image analyzing unit of the capsule endoscope image analyzing apparatus generates a text for the discovery information and retrieves an image corresponding to the discovery information from a database; And
The disease information outputting unit of the capsule endoscope image analyzing apparatus may be configured such that when the finding detected in the image captured by the capsule endoscope matches an image retrieved from the database, the finding in the determined disease (Disease) Comparing the detected ratio and separately providing only a frame including text and an image corresponding to the finding,
Wherein the step of pre-defining a correlation between the symptom and the disease is to sort the disease by a relationship comprising the plurality of symptoms.
제1항에 있어서,
상기 프레임만 별도로 제공하는 단계는,
상기 프레임을 이미지의 형태로 포함하고, 상기 질병 및 상기 발견에 관한 정보를 텍스트의 형태로 포함하여 CEST(Capsule Endoscopy Structured Terminology)에 규약된 리포트를 생성하기 위한 임상 정보를 추천하는 단계를 포함하되,
상기 발견은 복수 개이고,
상기 리포트는 상기 복수 개의 발견에 대한 발견된 개수, 크기의 통계 정보, 상기 복수개의 질병에 속한 각각의 질병과 상기 발견과의 매칭율에 따라 상기 각각의 질병이 실제로 발병할 확률의 통계 정보를 추가로 포함하는 것인,
캡슐 내시경 영상 분석 방법.
The method according to claim 1,
The step of separately providing the frame further comprises:
Recommending clinical information for generating a report conformed to a Capsule Endoscopy Structured Terminology (CEST) by including the frame in the form of an image and including the disease and the information about the discovery in the form of text,
The discovery is a plurality,
The report further includes statistical information on the probability of each disease occurring according to the number of discoveries, the statistical information on the plurality of discoveries, the matching rate between each disease belonging to the plurality of diseases and the discovery, . ≪ / RTI >
Capsule endoscopic image analysis method.
제1항에 있어서,
상기 사용자로부터 증상을 제공받는 단계는,
의료 정보 시스템으로부터 징후(Symptom)를 추가로 더 제공받는 단계를 포함하는,
캡슐 내시경 영상 분석 방법.
The method according to claim 1,
Wherein the receiving of the symptom from the user comprises:
Comprising the further step of receiving additional Symptoms from the medical information system,
Capsule endoscopic image analysis method.
제1항에 있어서,
상기 프레임만 별도로 제공하는 단계는,
상기 캡슐내시경이 촬영한 영상의 전체를 제공하는 제1 영역과, 상기 제1 영역의 인근에 상기 프레임만 별도로 표시한 제2 영역을 그래픽 사용자 인터페이스(GUI)를 통해서 시각적으로 제공하는 단계를 포함하는,
캡슐 내시경 영상 분석 방법.
The method according to claim 1,
The step of separately providing the frame further comprises:
Visually providing a first area providing the entire image captured by the capsule endoscope and a second area separately displayed in the vicinity of the first area through a graphical user interface (GUI) ,
Capsule endoscopic image analysis method.
사용자로부터 증상(Signs)을 제공받는 증상 입력부;
지식 모델에 포함된 질병 정보를 이용하여 상기 증상이 나타날 수 있는 질병(Disease)을 판단하는 증상 분석부;
상기 지식 모델에 포함된 발견 정보를 이용하여 상기 질병으로 인해 위장관에서 볼 수 있는 발견(Findings)를 판단하고, 상기 발견 정보에 대한 텍스트를 생성하되 상기 발견 정보에 대응되는 이미지를 데이터 베이스로부터 검색하는 영상 분석부; 및
캡슐내시경이 촬영한 영상에서 검출된 발견(Finding)에 대응되는 텍스트 및 이미지를 포함하는 프레임만 별도로 제공하는 질병 정보 출력부를 포함하고,
상기 질병은 복수의 증상을 포함하는 연관성에 의해 질병을 선별하는 캡슐 내시경 영상 분석 장치.
A symptom input unit for receiving symptoms from a user;
A symptom analyzer for determining a disease (Disease) in which the symptom may appear using disease information included in the knowledge model;
The method comprising the steps of: determining, by using the discovery information included in the knowledge model, discovery found in the gastrointestinal tract due to the disease; generating a text for the discovery information and retrieving an image corresponding to the discovery information from a database An image analysis unit; And
And a disease information output unit separately providing only a frame including a text and an image corresponding to a detection found in an image captured by the capsule endoscope,
Wherein the disease is selected by a disease involving a plurality of symptoms.
KR1020190077331A 2019-06-27 2019-06-27 Method and apparatus for analyzing images of capsule endoscopic based on knowledge model of gastrointestinal tract diseases KR20190079605A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190077331A KR20190079605A (en) 2019-06-27 2019-06-27 Method and apparatus for analyzing images of capsule endoscopic based on knowledge model of gastrointestinal tract diseases

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190077331A KR20190079605A (en) 2019-06-27 2019-06-27 Method and apparatus for analyzing images of capsule endoscopic based on knowledge model of gastrointestinal tract diseases

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170140438A Division KR20190046531A (en) 2017-10-26 2017-10-26 Method and apparatus for analyzing images of capsule endoscopic based on knowledge model of gastrointestinal tract diseases

Publications (1)

Publication Number Publication Date
KR20190079605A true KR20190079605A (en) 2019-07-05

Family

ID=67225334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077331A KR20190079605A (en) 2019-06-27 2019-06-27 Method and apparatus for analyzing images of capsule endoscopic based on knowledge model of gastrointestinal tract diseases

Country Status (1)

Country Link
KR (1) KR20190079605A (en)

Similar Documents

Publication Publication Date Title
US11043307B2 (en) Cognitive collaboration with neurosynaptic imaging networks, augmented medical intelligence and cybernetic workflow streams
Rubin Artificial intelligence in imaging: the radiologist’s role
US10332639B2 (en) Cognitive collaboration with neurosynaptic imaging networks, augmented medical intelligence and cybernetic workflow streams
US20200321100A1 (en) Systems and methods for improved analysis and generation of medical imaging reports
WO2020098539A1 (en) Image processing method and apparatus, computer readable medium, and electronic device
US9165116B2 (en) Patient data mining
US20210313077A1 (en) Augmenting Clinical Intelligence with Federated Learning, Imaging Analytics and Outcomes Decision Support
JP5628927B2 (en) MEDICAL INFORMATION DISPLAY DEVICE AND METHOD, AND PROGRAM
CN105074708A (en) A context driven summary view of radiology findings
JP2018503902A (en) A medical differential diagnostic device adapted to determine the optimal sequence of diagnostic tests for identifying disease states by adopting diagnostic validity criteria
CN109313648A (en) It is the system and method for hierarchy chart shape data structure by Document Modeling based on the semantic relation between the clinical concept being present in free text clinical document
KR20190046531A (en) Method and apparatus for analyzing images of capsule endoscopic based on knowledge model of gastrointestinal tract diseases
CN113488168A (en) Personalized physical examination item recommendation method based on user health information characteristic set
CN117501375A (en) System and method for artificial intelligence assisted image analysis
US9934539B2 (en) Timeline for multi-image viewer
Robertson et al. Artificial intelligence for the detection of polyps or cancer with colon capsule endoscopy
US9934356B2 (en) Multi-image viewer for multi-sourced images
Yokote et al. Small bowel capsule endoscopy examination and open access database with artificial intelligence: The SEE‐artificial intelligence project
US11094062B2 (en) Auto comparison layout based on image similarity
KR20190079605A (en) Method and apparatus for analyzing images of capsule endoscopic based on knowledge model of gastrointestinal tract diseases
Lebedev et al. Monitoring and Quality Control of Telemedical Services via the Identification of Artifacts in Video Footage
Fisher et al. Colour image analysis of wireless capsule endoscopy video: A review
TWI793391B (en) Medical image recognition system and medical image recognition method
TWI796018B (en) Method of using lesion unique code to generate consensus structured report
Li et al. Development and validation of an artificial intelligence-powered acne grading system incorporating lesion identification

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination