WO2021091092A1 - 소장 정결도를 진단하는 시스템 및 방법 - Google Patents

소장 정결도를 진단하는 시스템 및 방법 Download PDF

Info

Publication number
WO2021091092A1
WO2021091092A1 PCT/KR2020/013636 KR2020013636W WO2021091092A1 WO 2021091092 A1 WO2021091092 A1 WO 2021091092A1 KR 2020013636 W KR2020013636 W KR 2020013636W WO 2021091092 A1 WO2021091092 A1 WO 2021091092A1
Authority
WO
WIPO (PCT)
Prior art keywords
small intestine
cleanliness
images
image
collection
Prior art date
Application number
PCT/KR2020/013636
Other languages
English (en)
French (fr)
Inventor
김유진
Original Assignee
주식회사 인트로메딕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인트로메딕 filed Critical 주식회사 인트로메딕
Priority to GB2117924.7A priority Critical patent/GB2604706B/en
Priority to CN202080048089.2A priority patent/CN114080644A/zh
Priority to US17/612,486 priority patent/US20220304617A1/en
Publication of WO2021091092A1 publication Critical patent/WO2021091092A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4255—Intestines, colon or appendix
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Definitions

  • the present invention relates to a system and method for diagnosing small intestine cleanliness, and more specifically, to a system and method for displaying in a UI by automatically diagnosing the cleanliness of small intestine by learning in advance of the cleanliness of the small intestine. .
  • the small intestine is the digestive tract of 6-7m in length between the stomach and the large intestine. It is an important part that digests and absorbs nutrients while exercising. From the top, the small intestine is divided into three parts: duodenum, jejunum, and ileum.
  • Such cleanliness of the small intestine should be described as an essential item when preparing a diagnostic report after diagnosing the condition of the small intestine.
  • specialists are evaluating the degree of cleanliness according to the judgment of specialists based on the learned videos.
  • the present invention is to solve the problems of the prior art as described above, and an object thereof is to objectively and consistently diagnose small intestine cleanliness.
  • a system for diagnosing small bowel cleanliness for achieving the above object, comprising: a similarity analysis unit for analyzing to select representative images of similar small bowel images among a plurality of small bowel images; In the state that a plurality of small intestine images are learned, when a series of small intestine images to be diagnosed are received, the representative image is applied to the learning result to predict the small intestine cleanliness, thereby classifying the small intestine cleanliness by score. part; And a cleanliness diagnosis unit that calculates a final small intestine cleanliness for the series of small intestine images based on a score related to the small intestine cleanliness of the representative image and the number of small intestine images similar to the representative image. .
  • the similarity analysis unit selects the representative image by comparing the color histograms of the two collection images based on the Bhattacharyya Distance algorithm, and measures the similarity, and the multiple selected by similarity according to a predetermined similarity criterion. It is characterized in that the representative image is selected from the collection of images.
  • the similarity criterion is characterized in that the smaller the similarity of the two small intestine images converges to 0, and the higher the similarity, the converges to 1.
  • the image classification unit learns the color and texture characteristics of the plurality of collection images based on a CNN (Convolution Neural Network) model, and predicts the collection cleanliness by applying it to the learning result based on landmark information. It is characterized.
  • CNN Convolution Neural Network
  • the image classification unit is characterized in that it learns after unifying color standards of the plurality of collection images output from a plurality of image sensors.
  • the color standard is characterized in that at least one of RGB, Hue Saturation Value (HSV), and Lab (color coordinates) is used.
  • the plurality of small intestine images are characterized in that scoring for small intestine cleanliness from 1 to 10 is completed.
  • the final collectible cleanliness is characterized by dividing a value obtained by multiplying the number of similar images included in the representative image from 1 to n by the cleanliness score by the total number of the plurality of collectible images.
  • the image classification unit is characterized in that it learns a collection section from the plurality of collection images based on color and texture, and classifies the plurality of collection images according to the collection section based on landmark information set in the collection section. do.
  • the method comprising: receiving a plurality of small bowel images for which scoring has been completed; Learning a plurality of collection images for which the scoring has been completed; Analyzing to select representative images of similar small intestine images from among the plurality of small intestine images when a series of small intestine images for which small intestine cleanliness is to be diagnosed are received; Classifying a small intestine cleanliness by score by predicting a small intestine cleanliness by applying the representative image to a learning result; And calculating a final small intestine cleanliness for the plurality of small intestine images based on the representative image.
  • the system and method for diagnosing small intestine cleanliness according to the present invention has the following effects.
  • the system and method for diagnosing small intestine cleanliness according to the present invention is not consistent according to the subjective judgment of a specialist as in the prior art because the system automatically diagnoses small intestine cleanliness by learning pictures or images of a large amount of small intestine in advance. It is more consistent and can provide the degree of cleanliness of the small intestine, which was diagnosed as not being possible.
  • the system and method for diagnosing small intestine cleanliness according to the present invention immediately diagnose small intestine cleanliness according to the learned algorithm when a user inputs a picture of the small intestine to be diagnosed based on a previously learned picture or image of the small intestine. Therefore, it is possible to diagnose small intestine cleanliness in a short time, and accordingly, time for diagnosing small intestine cleanliness can be saved.
  • the small intestine cleanliness is immediately diagnosed according to the learned algorithm, so that the user can easily diagnose the small intestine cleanliness.
  • FIG. 1 is a block diagram of a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • FIG. 2 is a flow chart of a method for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • FIG. 3 is a diagram exemplarily showing that scoring of small intestine cleanliness for a small intestine image is completed in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • FIG. 4 is a diagram schematically illustrating unification of a plurality of color criteria before learning a small intestine image based on a CNN model in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • FIG. 5 is a diagram schematically illustrating learning of a small intestine image based on a CNN model in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • FIG. 6 is a diagram schematically illustrating comparing color histograms of two small intestine images using a batacharya distance algorithm in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • FIG. 7 is a diagram schematically illustrating selection of representative images based on similarity in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • FIG. 8 is a diagram schematically showing the calculation of the final small intestine cleanliness in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • the system for diagnosing small intestine cleanliness includes a data receiving unit 100, an image classifying unit 110, a similarity analysis unit 120, and a cleanness diagnosis unit 130. And a database 140.
  • the data receiving unit 100 is configured to receive a plurality of collection images from a specialist.
  • the data receiving unit 100 may receive information by being connected to a terminal of a specialist through a wired or wireless network.
  • the specialist can score small intestine cleanliness from 1 to 10 depending on the ease of review and diagnosis for multiple small intestine images.
  • the plurality of collection images may include the number of tens of thousands of collection images.
  • the image classification unit 110 learns the cleanliness of the small intestine based on the plurality of small intestine images received from the data receiving unit 100, and then receives a series of small intestine images in real time. It is a composition that is classified by scoring.
  • the image classification unit 110 may learn a plurality of small intestine images through an artificial neural network. In this case, learning a plurality of small intestine images can be learned based on a Convolution Neural Network (CNN) model.
  • Collectible images are scored from 1 to 10 regarding the cleanliness of the collectible, and the image classification unit 110 is the color and texture of the collectible images for each score in relation to the collectible images scored from 1 to 10.
  • the similarity analysis unit 120 is configured to analyze to select representative images of similar small intestine images among a series of small intestine images received from the data receiving unit 100 in real time.
  • the similarity analysis unit 120 analyzes whether two small intestine images are similar small intestine images among a plurality of small intestine images and selects a representative image, so that the image classification unit 110 classifies the small intestine cleanliness for the plurality of small intestine images. Accordingly, the cleanliness diagnosis unit 130 allows the final small intestine cleanliness to be quickly diagnosed.
  • the similarity analysis unit 120 does not analyze all tens of thousands of collection images by applying a similarity algorithm, and allows the image classification unit 110 to classify the small collection purity by taking only representative images of similar collection images. In this way, the similarity analysis unit 120 can help optimize the small intestine cleanliness diagnosis system 1 by increasing the speed of classifying small intestine images to diagnose small intestine cleanliness.
  • the cleanliness diagnosis unit 130 is a component that calculates the final small intestine cleanliness for small intestine images while a series of small intestine images are received in real time.
  • the final collection cleanliness should be calculated by considering how many similar images the representative image represents. That is, in the small intestine image, the purity of the small intestine will be different according to the section of the small intestine. Therefore, the small intestine cleanliness is finally diagnosed by calculating the average of the small intestine cleanliness for a series of small intestine images received by collecting scores for each small intestine section.
  • the database 140 is a component that stores and stores a plurality of collection images received from a specialist according to scores for small collection cleanliness.
  • the database 140 may store and store details of the cleanliness diagnosis unit 130 diagnosed in the small intestine.
  • FIG. 2 is a flow chart of a method for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • a plurality of small intestine images for which scoring has been completed are initially received.
  • FIG. 3 is a diagram exemplarily showing that scoring of small intestine cleanliness for a small intestine image is completed in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • the small intestine cleanliness for the small intestine image may be scored from 1 to 10.
  • the degree of cleanliness of the small intestine may be scored by a specialist viewing a collection of images based on various experiences and subjective judgment.
  • the specialist determines the degree of cleanliness of the small intestine according to the degree of clarity of the small intestine on the image of the small intestine, the proportion of the area representing the small intestine among the total size of the image, and the degree of floating matter on the image.
  • the specialist may determine that the small intestine cleanliness of the corresponding small intestine image is 1 point.
  • the specialist can determine that the small intestine cleanliness of the corresponding small intestine image is 2 points.
  • the cleanliness of the small intestine is 10 points
  • the small intestine is very clear on the image of the small intestine, so that the shape of the inner wall of the small intestine and even the ridges can be observed. It can be determined that the purity of the small intestine is 10 points.
  • the data receiving unit 100 may receive information on the collection images scored by a specialist for the plurality of collection images and store them in the database 140 for each score of the collection cleanliness.
  • the image classifying unit 110 learns a plurality of scoring-completed collection of images. ⁇ S21>
  • the image classification unit 110 may learn that a specialist scores a small intestine cleanliness for a small intestine image through an artificial neural network. This process will be described in detail with reference to FIGS. 4 and 5.
  • FIG. 4 is a schematic diagram showing unification of a plurality of color criteria before learning a small intestine image based on a CNN model in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention
  • FIG. 5 is an embodiment of the present invention. It is a diagram schematically showing the learning of a small intestine image based on a CNN model in a system for diagnosing small intestine cleanliness according to.
  • the image classifier 110 may undergo a pre-processing process for each small intestine image before learning a plurality of small intestine images.
  • the plurality of collection images are images output from various image sensors, each of the collection images has a different color standard. That is, even if it is a collection image stored with the same collection purity score, RGB (Red, Blue, Green), HSV (Hue Saturation Value), and Lab (color coordinates) can be set differently and output. In order to learn, the color standards must be the same so that the standards for learning can become clear. This becomes the learning input.
  • each small intestine image can be output from various image sensors, so the color standards of images with a small intestine purity of 6 points may not be the same.
  • the image classification unit 110 converts and inputs images having 6 points of small intestine purity into gray scale for RGB, selects and inputs the S component for HSV, and selects and inputs the b component for Lab. Collectible images can be preprocessed.
  • the image classification unit 110 may unify and learn a color standard through a process of pre-processing a plurality of collection images stored for each score of the collection degree of cleanliness for each score of the collection degree of purity.
  • the image classification unit 110 may perform a pre-processing process on a plurality of collection images for all the collection cleanliness scores from 1 point to 10 points based on the same color.
  • the image classifier 110 may learn a plurality of small intestine images through an artificial neural network. Specifically, the image classification unit 110 learns by matching the state of the small intestine image and the corresponding small intestine cleanliness score with respect to a plurality of small intestine images stored according to the score of the small intestine cleanliness.
  • a convolution neural network CNN may be used as a model in which the artificial neural network learns a plurality of small intestine images.
  • a CNN is an artificial neural network that uses convolution operations, consisting of input and output layers as well as multiple hidden layers.
  • the hidden layers of the CNN are usually made up of a series of convolutional layers that are related to multiplication or other dot products.
  • the active function is usually a ReLU (Rectified Linear Unit) layer, and since the inputs and outputs are masked by the active function and the final convolution, additional convolutions such as pooling layers, fully connected layers, and normalization layers, later referred to as hidden layers.
  • This CNN has a structure suitable for learning 2D data, and can be trained through the (Backpropagation algorithm). It is one of the representative models widely used in various application fields such as object classification and object detection in images. Accordingly, in the present invention, it is also possible to classify a plurality of collection images by learning based on the CNN model in the present invention.
  • CNN is a known technology, so a detailed description thereof will be omitted. It should be.
  • the image classifying unit 110 performs convolution 1 using the CNN, and then undergoes Max Pooling or Avg Pooling through the ReLU layer. Convolutions 2, 3, 4 and 5 are performed for the collection 2, 3, 4, and 5, respectively, as in the collection 1 image to perform ReLU layer and Max Pooling or Avg Pooling. Will go through.
  • RGB HSV
  • Lab set as learning inputs
  • Avg Pooling is used when HSV is S scale
  • Lab is b scale
  • Max Pooling is used when RGB is gray.
  • the image classification learns by classifying the color and texture of the collection image at 1 point, the color and texture of the collection image at 2 points, and the color and texture of the collection at 10 points. You can learn.
  • a landmark is set based on the features of the ridges of the small intestine or the inner wall, and is used to divide the collection section.
  • the image classification unit 110 may classify the collection cleanliness score for each collection section. For such landmark information, a specific mark set by a system user may be used.
  • the image classification unit 110 may learn an image having a small intestine cleanliness of 6 points when the color is Gray, S, and b.
  • FIG. 6 is a diagram schematically illustrating comparing color histograms of two small intestine images using a batacharya distance algorithm in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • the similarity analysis unit 120 may select a representative image by analyzing small intestine images with similar small intestine cleanliness among a plurality of small intestine images. Selecting a representative image from among the plurality of small intestine images in this way increases the speed of the process of diagnosing small intestine cleanliness, and makes it possible to diagnose small intestine cleanliness in a short time.
  • the similarity analysis unit 120 may analyze the similarity of the small intestine image using the Batacharya distance algorithm.
  • the Batacharya distance algorithm is known as a numerical image processing technique that measures the statistical segregation of spectral grades given a probability value of an accurate classification.
  • This Batacharya distance algorithm is the most robust among algorithms to find the distance between two distributions. That is, the similarity analysis unit 120 may measure the similarity by comparing the color histograms of the two collection images. Accordingly, the color histograms of the two images are compared, and the smaller the similarity is, the converges to "0", and the higher the similarity, the converges to "1".
  • Fig. 6 shows such a color histogram.
  • the color histogram may use a gray scale as a comparison type, or may use a Local Binary Pattern (LBP) or Multi-Block Local Binary Pattern (MB-LBP) image method.
  • LBP is a visual description type method used in computer vision classification. Since LBP is a known technology, detailed description will be omitted. Accordingly, the similarity analysis unit 120 may transform a plurality of collection images into a comparison type in order to compare them with a color histogram.
  • the color histogram will be described in detail.
  • the two small intestine images shown above were converted into color histograms H1 and H2 in gray scale by the similarity analysis unit 120, respectively.
  • the color histograms of these two collection images rise high on the left, and show a lower shape as it progresses to the right.
  • the two small intestine images shown below in FIG. 6 were converted into color histograms H1 and H2 by the similarity analysis unit 120, respectively, in the MB-LBP method.
  • the color histograms of these two collection images may be formed in the form of approximately' ⁇ '.
  • the similarity analysis unit 120 may measure the similarity by comparing the color histograms based on the gray scale color histogram of the two holding images or the LBP image method color histogram.
  • the similarity analysis unit 120 may calculate the batatcharya distance d(H1, H2) for the color histograms of the two collection images.
  • H1 and H2 are color histograms for the two small intestine images as described above, , Is the average of the color histograms for the two small images, I is the pixel value, and N is the total number of color histogram bins.
  • the similarity analysis unit 120 may calculate the batacharya distance d(H1, H2) based on such factors as follows.
  • the distance between the two distributions is calculated, and accordingly, the similarity can be measured by comparing the color histograms of the two collection images.
  • This similarity is calculated as a value between 0 and 1, and when the color histograms of two images are compared, the smaller the similarity is, the convergent to "0", and the larger the similarity is, the converged to "1".
  • FIG. 7 is a diagram schematically illustrating selection of representative images based on similarity in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • comparing the similarity of the two small intestine images with a reference value of the similarity may be repeatedly performed on consecutive frames of the small intestine to select a representative image. For example, assume that the standard of similarity is 0.850.
  • the similarity analysis unit 120 selects one of the first compared small intestine images as a representative image, and compares and analyzes the small intestine images and later small intestine images as shown in FIG. 7 to select small intestine images similar to the representative image. I can.
  • the similarity analysis unit 120 may compare and analyze the small intestine images later by selecting A as the representative image of the first small intestine image.
  • the similarity analysis unit 120 compares and analyzes the histograms of the two small intestine images by applying the Batacharya distance algorithm to the first and third small intestine images, thereby calculating a similarity of 0.921, Since this is higher than the reference similarity of 0.850, the first small intestine image and the third small intestine image can be analyzed as being similar to each other. In addition, when comparing the 4th small intestine image and the first small intestine image, since the 4th small intestine image and the first small intestine image have a similarity of 0.918, which is higher than the standard similarity of 0.850, the first small intestine image and the fourth small intestine image are analyzed as similar. can do.
  • the similarity analysis unit 120 calculates the similarity of the n-th small intestine image by comparing and analyzing the representative image and other images, respectively, and similar small intestine images may be included as a small intestine image group starting with the representative image. At this time, if a small intestine image with a similarity lower than the reference similarity of 0.850 appears, a new representative image is selected.
  • representative images A and B are lower than the reference similarity of 0.850 because the similarity of the two small intestine images is 0.754, and accordingly, the two small intestine images are analyzed to be not similar. Accordingly, the similarity analysis unit 120 may select similar images by using B as a new representative image. When comparing the small intestine images after the representative image B in the same manner as the images similar to the representative image A, the similarities are 0.874 and 0.856, respectively, so the two small intestine images are analyzed as similar to the representative image B. Accordingly, a group of small intestine images starting with the representative image B may be selected.
  • the image classification unit 110 is based on the fact that the similarity analysis unit 120 first selects representative images for the plurality of collection images when a plurality of collection images are received in real time based on the learned plurality of collection images. Classify according to the degree of cleanliness. That is, the collection purity is scored from 1 point to 10 points, and the image classification unit 110 classifies representative images from 1 point to 10 points by applying the learning result, and selects a collection image that is similar to the representative image. They can also be classified by score along with the representative video.
  • the cleanliness diagnosis unit 130 calculates the final small intestine cleanliness.
  • FIG. 8 is a diagram schematically showing the calculation of the final small intestine cleanliness in a system for diagnosing small intestine cleanliness according to an embodiment of the present invention.
  • the final small intestine cleanliness can be diagnosed by considering how many small intestine images are representative of similar small intestine images.
  • the final collection cleanliness is a value obtained by multiplying the number of similar collection images represented by the representative image by the small collection cleanliness of the representative image and dividing the sum by the total number of collection images. That is, the final small intestine cleanliness is to diagnose the final small intestine cleanliness by calculating an average value of the small intestine cleanliness of the entire small intestine image. This can be expressed as an equation as follows.
  • the image classification unit 110 classifies the scores of the small intestine cleanliness as shown in FIG. 8 on a plurality of collection images received by the data receiving unit 100 in real time.
  • the representative image A has 9 points for the cleanliness of the small intestine, and the small intestine images similar to the representative image A have a total of 7 including the representative image A.
  • the representative image B has 8 points for the small intestine cleanliness, and the small intestine images similar to the representative image B include a total of 3 images including the representative image B.
  • the final collection cleanliness is a value obtained by multiplying the number of similar collection images included in the representative image A by 9 points, which is the collection cleanliness score of the representative image A, and the number of similar collection images included in the representative image B.
  • the cleanliness diagnosis unit 130 diagnoses the final small intestine cleanliness by adding a value multiplied by 8 points, which is the small intestine cleanliness score of the representative image B, and dividing the total small intestine images by 10, which is the total number of small intestine images. This can be expressed as an equation as follows.
  • the cleanliness diagnosis unit 130 when the cleanliness diagnosis unit 130 finally diagnoses the score for the small intestine cleanliness, the small intestine cleanliness for a series of small intestine images received in real time may be diagnosed as 8.7 points.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Optics & Photonics (AREA)
  • Gastroenterology & Hepatology (AREA)

Abstract

본 발명은 소장(small bowel) 정결도를 진단하는 시스템에 관한 것으로, 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 유사도 분석부, 다수의 소장 영상을 학습한 상태에서 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 상기 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류하는 영상 분류부 및 상기 대표 영상의 소장 정결도에 관한 점수 및 상기 대표 영상과 유사한 소장 영상의 개수를 기반으로 상기 일련의 다수의 소장 영상에 관한 최종 소장 정결도를 산출하는 정결도 진단부를 포함할 수 있다.

Description

소장 정결도를 진단하는 시스템 및 방법
본 발명은 소장 정결도를 진단하는 시스템 및 방법에 관한 것으로, 더욱 구체적으로는 소장의 정결도를 미리 학습하여 소장의 정결도를 자동으로 진단함으로써 UI에 표시할 수 있도록 하는 시스템 및 방법에 관한 것이다.
소장은 위와 대장 사이에 있는 길이 6∼7m에 이르는 소화관으로 소화운동을 하면서 영양분을 소화 및 흡수하는 중요한 부분이다. 소장은 위에서부터 십이지장, 공장, 회장의 세 부분으로 구분된다.
이와 같은 소장의 정결도는 소장의 상태를 진단하여 진단 보고서를 작성할 시 필수 항목으로 기재해야 하는 부분이다. 현재는 전문의가 수 만장 이상의 소장에 관한 영상을 학습한 후 학습한 영상을 기반으로 전문의의 판단에 따라 정결도를 평가하고 있다.
하지만 위와 같은 종래의 소장 정결도에 대한 진단은 전문의가 스스로 판단하여 정결도를 결정하기 때문에 주관적인 판단이 들어갈 수밖에 없고, 소장 정결도를 진단하는 전문의마다 상이한 결정을 내릴 수 있는 여지가 다분하여 일관적이지 않은 문제점이 있다. 따라서 소장 정결도를 자동으로 진단하여 객관화 할 수 있는 시스템이 필요한 실정이다.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 소장 정결도를 객관적이고, 일관되게 진단하는 데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 소장(small bowel) 정결도를 진단하는 시스템에 관한 것으로, 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 유사도 분석부; 다수의 소장 영상을 학습한 상태에서 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 상기 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류하는 영상 분류부; 및 상기 대표 영상의 소장 정결도에 관한 점수 및 상기 대표 영상과 유사한 소장 영상의 개수를 기반으로 상기 일련의 다수의 소장 영상에 관한 최종 소장 정결도를 산출하는 정결도 진단부;를 포함할 수 있다.
여기서, 상기 유사도 분석부가 대표 영상을 선별하는 것은 바타챠랴 거리(Bhattacharyya Distance) 알고리즘을 기반으로 2개의 소장 영상의 컬러 히스토그램을 비교하는 것으로 유사도를 측정하고, 정해진 유사도 기준에 따라 유사도별로 선별된 상기 다수의 소장 영상 중에서 대표 영상을 선별하는 것을 특징으로 한다.
또, 상기 유사도 기준은 상기 2개의 소장 영상이 유사도가 작을수록 0에 수렴하고, 유사도가 클수록 1에 수렴하는 것을 특징으로 한다.
또한, 상기 영상 분류부는 CNN(Convolution Neural Network) 모델을 기반으로 상기 다수의 소장 영상의 컬러와 텍스처에 대한 특징을 학습하고, 랜드마크 정보를 기반으로 상기 학습 결과물에 적용하여 소장 정결도 예측하는 것을 특징으로 한다.
아울러, 상기 영상 분류부는 다수의 이미지 센서에서 출력된 상기 다수의 소장 영상의 컬러 기준을 통일한 후 학습하는 것을 특징으로 한다.
또한, 상기 컬러 기준은 RGB, HSV(Hue Saturation Value), Lab(색 좌표)를 적어도 하나 이상 사용하는 것을 특징으로 한다.
또, 상기 다수의 소장 영상은 1부터 10까지 소장 정결도에 대한 점수화가 완료되어 있는 것을 특징으로 한다.
또한, 상기 최종 소장 정결도는 1부터 n까지 각각 상기 대표 영상이 포함하는 유사 영상 수에 정결도 점수를 곱하여 더한 값을 상기 다수의 소장 영상의 총 개수로 나눈 것을 특징으로 한다.
아울러, 상기 영상 분류부는 상기 다수의 소장 영상에서 소장 구간을 컬러와 텍스처 기반으로 학습하고, 상기 소장 구간에 설정된 랜드마크 정보를 기반으로 상기 소장 구간에 따라 상기 다수의 소장 영상을 분류하는 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 소장(small bowel) 정결도를 진단하는 시스템에 관한 것으로, 점수화가 완료된 다수의 소장 영상을 수신하는 단계; 상기 점수화가 완료된 다수의 소장 영상을 학습하는 단계; 소장 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 단계; 상기 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류하는 단계; 및 상기 대표 영상을 기반으로 상기 다수의 소장 영상에 관한 최종 소장 정결도를 산출하는 단계;를 포함할 수 있다.
본 발명에 따른 소장 정결도를 진단하는 시스템 및 방법은 다음과 같은 효과가 있다.
첫째, 소장 정결도에 대한 일관적이고, 객관적 지표를 제공할 수 있다. 본 발명에 따른 소장 정결도를 진단하는 시스템 및 방법은 다량의 소장에 대한 사진 또는 영상을 시스템이 사전에 학습하여 소장 정결도를 자동으로 진단해주기 때문에 종래와 같이 전문의의 주관적인 판단에 따라 일관적이지 못하게 진단하였던 소장 정결도를 보다 일관적이고, 제공할 수 있다.
둘째, 시간을 절약할 수 있다. 본 발명에 따른 소장 정결도를 진단하는 시스템 및 방법은 사전에 학습된 소장에 대한 사진 또는 영상을 기반으로 사용자가 진단하고자 하는 소장의 사진을 입력하였을 시 학습된 알고리즘에 따라 소장 정결도를 즉시 진단하기 때문에 단시간에 소장 정결도를 진단할 수 있고, 이에 따라 소장 정결도를 진단하는 시간을 절약할 수 있다.
셋째, 편의성을 제공할 수 있다. 앞서 언급한 바와 같이, 사용자가 진단하고자 하는 소장의 사진을 입력하였을 시 학습된 알고리즘에 따라 소장 정결도를 즉시 진단하기 때문에 사용자는 용이하게 소장 정결도를 진단할 수 있다.
도1은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템의 블록도이다.
도2는 본 발명의 실시예에 따른 소장 정결도를 진단하는 방법의 순서도이다.
도3은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 소장 영상에 대한 소장 정결도의 점수화가 완료된 것을 예시적으로 나타낸 도면이다.
도4는 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 CNN 모델 기반으로 소장 영상을 학습하기 전에 복수의 컬러 기준을 통일하는 것을 개략적으로 나타낸 도면이다.
도5는 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 CNN 모델 기반으로 소장 영상을 학습하는 것을 개략적으로 나타낸 도면이다.
도6은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 바타챠랴 거리 알고리즘을 이용하여 2개의 소장 영상에 대한 컬러 히스토그램을 비교하는 것을 개략적으로 나타낸 도면이다.
도7은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 유사도를 기준으로 대표 영상을 선별하는 것을 개략적으로 나타낸 도면이다.
도8은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 최종 소장 정결도를 산출하는 것을 개략적으로 나타낸 도면이다.
이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.
<소장 정결도 진단 시스템의 구성>
도1은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템의 블록도이다.
도1에 도시된 바와 같이, 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템은 데이터 수신부(100), 영상 분류부(110), 유사도 분석부(120), 정결도 진단부(130) 및 데이터베이스(140)를 포함할 수 있다.
데이터 수신부(100)는 전문의로부터 다수의 소장 영상을 수신하는 구성이다. 이러한 데이터 수신부(100)는 전문의 측의 단말과 유무선의 네트워크로 연결되어 정보를 수신할 수 있다. 전문의는 다수의 소장 영상에 대해 리뷰 및 진단의 용이성 정도에 따라 1부터 10까지 소장 정결도를 점수화할 수 있다. 여기서, 다수의 소장 영상은 수 만장의 소장 영상의 개수가 포함될 수 있다.
영상 분류부(110)는 데이터 수신부(100)에서 수신한 다수의 소장 영상을 기반으로 소장의 정결도를 학습한 후 실시간으로 일련의 다수의 소장 영상을 수신하였을 시 대표 영상에 대해 소장 정결도의 점수를 매겨 분류하는 구성이다. 이러한 영상 분류부(110)는 인공신경망을 통해 다수의 소장 영상을 학습할 수 있다. 이 때 다수의 소장 영상을 학습하는 것은 CNN(Convolution Neural Network) 모델을 기반으로 학습할 수 있다. 소장 영상에는 1부터 10까지 소장 정결도에 관한 점수가 매겨져 있으며, 영상 분류부(110)는 1부터 10까지 소장 정결도의 점수가 매겨진 소장 영상과 관련하여 각 점수에 대한 소장 영상의 컬러와 텍스처에 대한 특징을 학습하고, 랜드마크 정보를 근거로 소장 구간의 영상을 학습 결과물에 적용하여 추후 일련의 다수의 소장 영상이 입력되었을 시 소장 정결도를 예측하여 소장 정결도의 점수에 따라 소장 영상을 분류할 수 있다.
유사도 분석부(120)는 데이터 수신부(100)로부터 실시간 수신한 일련의 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 구성이다. 이러한 유사도 분석부(120)는 다수의 소장 영상 중에서 두 소장 영상이 유사한 소장 영상인지를 분석하여 대표 영상을 선별함으로써 영상 분류부(110)가 다수의 소장 영상에 대해 소장 정결도를 분류하고, 이에 따라 정결도 진단부(130)가 최종 소장 정결도를 빠르게 진단할 수 있도록 한다. 유사도 분석부(120)는 유사도 알고리즘을 적용하여 수 만장의 소장 영상을 모두 분석하지 않고, 유사한 소장 영상들의 대표 영상만을 취하여 영상 분류부(110)가 소장 정결도를 분류할 수 있도록 하는 것이다. 이렇게 유사도 분석부(120)는 소장 정결도를 진단하기 위해 소장 영상을 분류하는 속도를 증가시킴으로써, 소장 정결도 진단 시스템(1)을 최적화시키는데 일조할 수 있다.
정결도 진단부(130)는 실시간으로 일련의 다수의 소장 영상이 수신된 상태에서 소장 영상들에 대한 최종 소장 정결도를 산출하는 구성이다. 최종 소장 정결도는 대표 영상이 몇 장의 유사 영상들을 대표하는지 고려하여 산출해야 한다. 즉, 소장 영상은 소장의 구간에 따라 각각 소장 정결도가 상이할 것이다. 따라서 각 소장의 구간별로 점수를 취합하여 수신한 일련의 다수의 소장 영상에 대해 소장 정결도의 평균을 산출함으로써 최종적으로 소장 정결도를 진단하는 것이다.
데이터베이스(140)는 전문의로부터 수신한 다수의 소장 영상을 소장 정결도에 대한 점수별로 저장하여 보관하는 구성이다. 또한, 데이터베이스(140)는 정결도 진단부(130)가 소장 정결도를 진단한 내역들을 저장하여 보관할 수도 있다.
이하에서는 본 발명에 따라 소장 정결도를 진단하는 방법에 대해 설명하기로 한다.
도2는 본 발명의 실시예에 따른 소장 정결도를 진단하는 방법의 순서도이다.
도2에 도시된 바와 같이, 본 발명의 실시예에 따른 소장 정결도를 진단하는 방법은 최초에 점수화가 완료된 다수의 소장 영상을 수신한다.<S20>
여기서, 점수화가 완료된 다수의 소장 영상에 대해 구체적으로 설명을 이어가기로 한다. 이를 위해 도3을 참고한다.
도3은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 소장 영상에 대한 소장 정결도의 점수화가 완료된 것을 예시적으로 나타낸 도면이다.
도3에 도시된 바와 같이, 소장 영상에 대한 소장 정결도는 1부터 10까지 점수가 매겨질 수 있다. 구체적으로, 소장 정결도는 전문의가 다양한 경험을 토대로 소장 영상을 보고 주관적인 판단으로 점수화 하여 매겨질 수 있다. 이 때 전문의는 소장 영상의 이미지 상에서 소장의 선명함 정도, 이미지의 전체 크기 중에서 소장을 표현한 영역의 비중 및 이미지 상에서 부유물 정도에 따라 소장 정결도를 결정하게 된다.
도3에서 보는 바와 같이, 소장 정결도가 1점인 경우 소장 영상의 이미지 상에서 소장의 형태가 거의 확인되지 않고, 선명하지 않은 상태이다. 이에 따라, 전문의는 해당 소장 영상의 소장 정결도가 1점인 것으로 판단할 수 있다.
또한, 소장 정결도가 2점인 경우에는 1점보다는 소장의 윤곽이나 내벽 등의 형태가 선명한 편이나 부유물이 다량 존재하기 때문에 전문의는 해당 소장 영상의 소장 정결도가 2점인 것으로 판단할 수 있다.
아울러, 소장 정결도가 10점인 경우에는 소장 영상의 이미지 상에서 소장이 매우 선명하여 소장 내벽의 형태와 융털까지 관찰할 수 있는 수준이며, 부유물이 거의 존재하지 않는 깨끗한 상태이기 때문에 전문의는 해당 소장 영상의 소장 정결도가 10점인 것으로 판단할 수 있다.
이렇게 다수의 소장 영상에 대하여 전문의가 점수화한 소장 영상의 정보를 데이터 수신부(100)가 수신하여 소장 정결도의 점수별로 데이터베이스(140)에 저장할 수 있다.
다음으로, 점수화 완료된 다수의 소장 영상을 영상 분류부(110)가 학습한다.<S21>
영상 분류부(110)는 인공신경망을 통해 전문의가 소장 영상에 대하여 소장 정결도를 점수화한 것을 학습할 수 있다. 이 과정을 도4 및 도5를 참고하여 구체적으로 설명하기로 한다.
도4는 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 CNN 모델 기반으로 소장 영상을 학습하기 전에 복수의 컬러 기준을 통일하는 것을 개략적으로 나타낸 도면이고, 도5는 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 CNN 모델 기반으로 소장 영상을 학습하는 것을 개략적으로 나타낸 도면이다.
먼저 도4에 도시된 바와 같이, 영상 분류부(110)는 다수의 소장 영상을 학습하기 전에 각각의 소장 영상에 대하여 전처리(Pre-processing) 과정을 거칠 수 있다. 구체적으로, 다수의 소장 영상은 다양한 이미지 센서에서 출력된 영상들이기 때문에 각각의 소장 영상들은 컬러 기준이 상이하다. 즉, 동일한 소장 정결도의 점수로 저장된 소장 영상이라 하더라도 각각 RGB(Red, Blue, Green), HSV(Hue Saturation Value), Lab(색 좌표)이 다르게 설정되어 출력될 수 있기 때문에 다수의 소장 영상을 학습하기 위해서는 컬러 기준이 동일해야 학습에 대한 기준이 명확해질 수 있는 것이다. 이는 학습 입력값이 된다.
예를 들어 도4에 도시된 바와 같이, 소장 정결도가 6점인 영상을 학습한다고 할 시 각각의 소장 영상은 다양한 이미지 센서에서 출력될 수 있으므로 소장 정결도가 6점인 영상들의 컬러 기준이 동일하지 않을 수 있다. 이에 따라, 영상 분류부(110)는 소장 정결도가 6점인 영상들을 RGB는 gray 스케일로 변환하여 입력하고, HSV는 S 성분을 선택하여 입력하며, Lab은 b 성분을 선택하여 입력함으로써, 다수의 소장 영상들을 전처리 할 수 있다.
이처럼 영상 분류부(110)는 각각의 소장 정결도의 점수별로 저장된 다수의 소장 영상을 소장 정결도의 점수별로 전처리하는 과정을 통해 컬러 기준을 통일하여 학습할 수 있다. 또한, 영상 분류부(110)는 1점부터 10점까지 모든 소장 정결도의 점수에 관한 다수의 소장 영상에 대하여 동일한 컬러 기준으로 전처리 과정을 수행하는 것도 가능하다.
아울러, 도5에 도시된 바와 같이, 본 발명에서는 인공신경망을 통해 영상 분류부(110)가 다수의 소장 영상을 학습할 수 있다. 구체적으로, 영상 분류부(110)는 소장 정결도의 점수에 따라 저장된 다수의 소장 영상에 대해 소장 영상의 상태와 대응하는 소장 정결도의 점수를 매칭하여 학습하는 것이다. 이때 인공신경망이 다수의 소장 영상을 학습하는 모델은 CNN(Convolution Neural Network)이 사용될 수 있다.
CNN은 일반적으로 다층의 숨겨진 레이어 뿐만 아니라 입력 및 출력 레이어로 구성되어 컨볼루션 연산을 사용하는 인공신경망이다. CNN의 숨겨진 레이어는 일반적으로 곱셈 또는 다른 내적과 관련이 있는 일련의 컨볼루셔널(convolutional) 레이어로 구성된다. 활성 함수는 일반적으로 ReLU(Rectified Linear Unit) 계층이며, 이후 입력 및 출력이 활성 함수 및 최종 컨볼루션에 의해 마스킹되기 때문에 이후 숨겨진 레이어로 언급된 풀링 레이어, 완전히 연결된 레이어 및 정규화 레이어와 같은 추가 컨볼루션이 이어진다. 이러한 CNN은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달((Backpropagation algorithm)을 통해 훈련될 수 있다. 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되는 대표적 모델 중 하나이기 때문에 이미지를 분류하는 작업에 사용된다. 이에 따라, 본 발명에서도 CNN 모델을 기반으로 영상 분류부(110)가 학습하여 다수의 소장 영상을 분류할 수 있다. CNN은 공지된 기술이므로 자세한 설명은 생략하기로 한다.
예를 들어 도5에 도시된 바와 같이, 5개의 소장 영상을 학습하는 것을 가정하기로 한다. 5개의 영상은 각각 1번 소장 영상이 Stride=1, Filter=3x3, 이미지 너비와 높이는 320x320인 이미지, 2번 소장 영상이 Stride=1, Filter=3x3, 이미지 너비와 높이는 160x160인 이미지, 3번 소장 영상이 Stride=1, Filter=3x3, 이미지 너비와 높이는 80x80인 이미지, 4번 소장 영상이 Stride=1, Filter=1x1, 이미지 너비와 높이는 40x40인 이미지, 5번 소장 영상이 Stride=1, Filter=3x3, 이미지 너비와 높이는 20x20인 이미지로 구성되어 있다.
따라서 1번 소장 영상은 영상 분류부(110)가 CNN을 이용하여 컨볼루션1을 진행하고, ReLU 레이어를 거쳐 Max Pooling 또는 Avg Pooling을 거치게 된다. 이러한 1번 소장 영상과 동일하게 2번 소장 영상, 3번 소장 영상, 4번 소장 영상 및 5번 소장 영상에 대해서도 각각 컨볼루션 2, 3, 4 및 5를 진행하여 ReLU 레이어와 Max Pooling 또는 Avg Pooling을 거치게 된다.
여기서, 학습 입력으로 설정된 RGB, HSV, Lab으로부터 HSV는 S 스케일, Lab는 b 스케일일 때 Avg Pooling를 사용하고, RGB가 gray 일 시 Max Pooling을 사용하게 된다.
이 때 소장 정결도를 학습할 시 소장 영상의 컬러와 텍스처에 대한 특징을 학습하게 된다. 즉, 소장 영상에 관한 특징으로는 각각의 소장 영상의 선명한 정도, 색상 및 텍스처가 점수별로 상이하다. 따라서 1점일 때의 소장 영상의 색상과 텍스처, 2점일 때의 소장 영상의 색상과 텍스처 및 10점일 때의 소장의 색상과 텍스처를 구분하여 영상 분류가 학습함으로써 각각의 소장 정결도 점수에 대한 특징을 학습할 수 있다.
또한, 소장 구간의 구분을 위해 랜드마크 정보를 기반으로 소장 구간을 학습하는 것도 가능하다. 즉, 소장의 융털이나 내벽의 특징을 기반으로 랜드마크를 설정하여 이를 소장 구간의 구분을 위해 사용하는 것이다. 이러한 소장 구간의 구분을 통해 영상 분류부(110)는 소장 구간별로도 소장 정결도 점수를 분류할 수도 있다. 이러한 랜드마크 정보는 시스템 사용자가 설정한 특정 표식이 사용될 수 있다.
이와 같은 과정을 통해 영상 분류부(110)는 컬러 기준으로 Gray, S, b 일 때 소장 정결도가 6점인 영상을 학습할 수 있다.
이후 소장 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석한다.<S22>
다수의 소장 영상 중에서 유사도를 분석하는 것을 도6을 통해 설명하기로 한다.
도6은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 바타챠랴 거리 알고리즘을 이용하여 2개의 소장 영상에 대한 컬러 히스토그램을 비교하는 것을 개략적으로 나타낸 도면이다.
도6에 도시된 바와 같이, 유사도 분석부(120)는 다수의 소장 영상 중에서 소장 정결도가 유사한 소장 영상들을 분석하여 대표 영상을 선별할 수 있다. 이렇게 다수의 소장 영상 중에서 대표 영상을 선별하는 것은 소장 정결도를 진단하는 과정의 속도를 증가시켜 단시간에 소장 정결도를 진단하는 것을 가능하게 한다.
본 발명에서는 유사도 분석부(120)가 바타챠랴 거리 알고리즘을 이용하여 소장 영상의 유사도를 분석할 수 있다. 바타챠랴 거리 알고리즘은 정확한 분류의 확률값이 주어질 때, 분광 등급의 통계적 분리성을 측정하는 수치 영상 처리 기술로 알려져 있다. 이러한 바타챠랴 거리 알고리즘은 두 분포 사이의 거리를 구하는 알고리즘 중에서 가장 강건하다. 즉, 두 소장 영상의 컬러 히스토그램을 비교하여 유사도 분석부(120)가 유사도를 측정할 수 있다. 이에 따라, 두 영상의 컬러 히스토그램을 비교하여 유사도가 작을수록 "0"에 수렴하고, 유사도가 클수록 "1"에 수렴하게 된다.
도6에는 이러한 컬러 히스토그램이 도시되어 있다. 컬러 히스토그램은 비교 타입으로써 gray 스케일을 사용할 수도 있고, 또는 LBP(Local Binary Pattern) 또는 MB-LBP(Multi-Block Local Binary Pattern) 이미지 방식을 사용할 수도 있다. 여기서, LBP는 컴퓨터 비전 분류에 사용되는 시각적 설명 유형 방식이다. LBP는 공지된 기술이기 때문에 자세한 설명은 생략하기로 한다. 따라서 유사도 분석부(120)는 컬러 히스토그램으로 비교하기 위해 다수의 소장 영상들을 비교 타입으로 변형시킬 수도 있다.
컬러 히스토그램에 대해 구체적으로 설명하기로 한다. 도6에서 위에 도시된 두 소장 영상은 유사도 분석부(120)에 의해 각각 gray 스케일로 컬러 히스토그램 H1 및 H2로 변환되었다. 이러한 두 소장 영상의 컬러 히스토그램은 좌측은 높이 솟아 있고, 우측으로 진행될수록 낮은 형태를 보여주고 있다. 또한, 도6의 아래에 도시된 두 소장 영상은 유사도 분석부(120)에 의해 각각 MB-LBP 방식으로 컬러 히스토그램 H1 및 H2로 변환되었다. 이러한 두 소장 영상의 컬러 히스토그램은 대략 'ㅂ'자의 형태로 형성될 수 있다.
이와 같은 두 소장 영상의 gray 스케일의 컬러 히스토그램이나 LBP 이미지 방식의 컬러 히스토그램을 기반으로 유사도 분석부(120)는 컬러 히스토그램을 비교하여 유사도를 측정할 수 있다.
구체적으로, 두 소장 영상의 컬러 히스토그램에 대하여 바타챠랴 거리 d(H1, H2)를 유사도 분석부(120)가 산출할 수 있다. 여기서, H1, H2는 앞서 설명한 바와 같이 두 소장 영상에 대한 컬러 히스토그램이며,
Figure PCTKR2020013636-appb-I000001
,
Figure PCTKR2020013636-appb-I000002
는 두 소장 영상에 대한 컬러 히스토그램의 평균이고, I는 픽셀값, N은 총 컬러 히스토그램 빈 수이다.
따라서 유사도 분석부(120)는 이와 같은 요소를 기반으로 바타챠랴 거리 d(H1, H2)를 아래와 같이 산출할 수 있다.
Figure PCTKR2020013636-appb-I000003
이러한 바타챠랴 거리를 산출함으로써 두 분포 간의 거리를 산출하고, 이에 따라 두 소장 영상의 컬러 히스토그램을 비교하여 유사도를 측정할 수 있다. 이러한 유사도는 0과 1 사이의 값으로 산출되며, 두 영상의 컬러 히스토그램을 비교했을 시 유사도가 작을수록 "0"에 수렴하고, 유사도가 클수록 "1"에 수렴하게 된다.
또한, 이하에서는 유사도가 분석된 소장 영상에서 대표 영상을 선별하는 것을 설명하기로 한다.
도7은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 유사도를 기준으로 대표 영상을 선별하는 것을 개략적으로 나타낸 도면이다.
도7에 도시된 바와 같이, 유사도 분석부(120)가 유사도를 측정한 후에는 다수의 소장 영상을 비교하여 유사한 소장 영상들을 선별할 수 있다.
구체적으로, 두 소장 영상의 유사도를 유사도의 기준값과 비교하는 것을 소장 구간의 연속된 프레임 상에서 반복적으로 수행하여 대표 영상을 선별할 수 있다. 예를 들어, 유사도의 기준이 0.850이라 가정한다. 이 때 도7과 같이 유사도 분석부(120)는 제일 처음 비교된 소장 영상 중에 하나를 대표 영상으로 선택하고, 이 소장 영상과 추후 소장 영상들을 비교 및 분석함으로써, 대표 영상과 유사한 소장 영상들을 선별할 수 있다.
즉, 도7에서 제일 왼쪽에 위치한 제1 소장 영상과, 제1 소장 영상의 오른쪽에 위치한 제2, 제3,
Figure PCTKR2020013636-appb-I000004
, 제n 의 소장 영상들을 비교해나가는 것이다. 이에 따라, 제2 소장 영상은 제1 소장 영상과 유사도가 0.923이고, 이는 기준 유사도인 0.850보다 크므로 제1 소장 영상과 제2 소장 영상은 유사한 것으로 분석할 수 있다. 이 중에서 유사도 분석부(120)는 제1 소장 영상을 대표 영상으로 A를 선택하여 추후 소장 영상들을 비교 및 분석할 수 있다. 이에 따라, 제1 소장 영상과 제3 소장 영상에 대해 동일하게 바타챠랴 거리 알고리즘을 적용하여 유사도 분석부(120)가 두 소장 영상의 히스토그램을 비교 및 분석함으로써 유사도가 0.921인 것을 산출할 수 있고, 이는 기준 유사도인 0.850보다 높기 때문에 제1 소장 영상과 제3 소장 영상은 서로 유사한 것으로 분석할 수 있다. 아울러, 제4 소장 영상과 제1 소장 영상을 비교해보면, 제4 소장 영상과 제1소장 영상은 유사도가 0.918이므로 기준 유사도인 0.850보다 높기 때문에 제1 소장 영상과 제4 소장 영상이 서로 유사한 것으로 분석할 수 있다.
이처럼 유사도 분석부(120)는 대표 영상과, 다른 영상들을 각각 비교 및 분석함으로써 제n 소장 영상의 유사도를 산출하고, 유사한 소장 영상들은 대표 영상을 필두로 하는 소장 영상 군으로 포함될 수 있다. 이 때 유사도가 기준 유사도인 0.850보다 낮은 소장 영상이 나타나면, 새로운 대표 영상을 선별한다.
구체적으로, 대표 영상 A와 B는 두 소장 영상의 유사도가 0.754이기 때문에 기준 유사도인 0.850보다 낮고, 이에 따라 두 소장 영상은 유사하지 않는 것으로 분석된다. 따라서 B를 새로운 대표 영상으로 하여 유사한 영상들을 유사도 분석부(120)가 선별할 수 있다. 앞서 대표 영상 A와 유사한 영상들과 동일하게 대표 영상 B 이후의 소장 영상들을 비교하였을 시 유사도가 각각 0.874, 0.856이므로 두 소장 영상은 대표 영상 B와 유사한 것으로 분석된다. 이에 따라, 대표 영상 B를 필두로 하는 소장 영상 군이 선별될 수 있다.
다음으로, 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류한다.<S23>
영상 분류부(110)는 학습한 다수의 소장 영상을 기반으로 하여 실시간으로 다수의 소장 영상이 수신되었을 시 유사도 분석부(120)가 먼저 다수의 소장 영상에 대해 대표 영상을 선별한 것을 기반으로 소장 정결도에 따라 분류한다. 즉, 소장 정결도는 1점부터 10점까지 점수화가 되어 있고, 영상 분류부(110)는 학습 결과물을 적용하여 대표 영상들을 1점부터 10점까지 분류하고, 대표 영상과 유사한 것으로 선별된 소장 영상들도 대표 영상과 함께 점수별로 분류할 수 있다.
마지막으로, 대표 영상을 기반으로 다수의 소장 영상에 관한 최종 소장 정결도를 산출한다.<S24>
정결도 진단부(130)가 최종 소장 정결도를 산출하는 것을 도8을 참고하여 설명하기로 한다.
도8은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 최종 소장 정결도를 산출하는 것을 개략적으로 나타낸 도면이다.
도8에 도시된 바와 같이, 최종 소장 정결도는 유사한 소장 영상들에 대하여 대표 영상이 몇 장의 소장 영상들을 대표하는지를 고려하여 진단될 수 있다.
구체적으로, 최종 소장 정결도는 대표 영상이 대표하는 유사한 소장 영상 수와 대표 영상의 소장 정결도를 곱하여 모두 더한 값을 전체 소장 영상의 수로 나눈 값이다. 즉, 최종 소장 정결도는 전체 소장 영상의 소장 정결도에 대해 평균적인 값을 계산하여 최종 소장 정결도를 진단하는 것이다. 이를 식으로 표현하면 아래와 같다.
Figure PCTKR2020013636-appb-I000005
예를 들어, 실시간으로 데이터 수신부(100)가 수신한 다수의 소장 영상을 영상 분류부(110)가 도8과 같이 소장 정결도의 점수를 분류하였다고 가정하자. 이 때 대표 영상 A는 소장 정결도의 점수가 9점이고, 대표 영상 A와 유사한 소장 영상은 대표 영상 A를 포함하여 총 7장이다. 또한, 대표 영상 B는 소장 정결도의 점수가 8점이고, 대표 영상 B와 유사한 소장 영상은 대표 영상 B를 포함하여 총 3장이다. 이에 따라, 최종 소장 정결도는 대표 영상 A가 포함하는 유사 소장 영상 수 7장에 대표 영상 A의 소장 정결도 점수인 9점을 곱한 값과, 또한 대표 영상 B가 포함하는 유사 소장 영상 수 3장에 대표 영상 B의 소장 정결도 점수인 8점을 곱한 값을 더하여 전체 소장 영상의 수인 10장으로 나눈 값을 정결도 진단부(130)가 최종 소장 정결도로 진단하는 것이다. 이를 수식으로 표현하면 아래와 같다.
Figure PCTKR2020013636-appb-I000006
이와 같이, 정결도 진단부(130)가 최종적으로 소장 정결도에 대한 점수를 진단하면, 실시간으로 수신된 일련의 다수의 소장 영상에 대한 소장 정결도는 8.7점으로 진단할 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.

Claims (10)

  1. 소장(small bowel) 정결도를 진단하는 시스템에 있어서,
    다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 유사도 분석부;
    다수의 소장 영상을 학습한 상태에서 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 상기 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류하는 영상 분류부; 및
    상기 대표 영상의 소장 정결도에 관한 점수 및 상기 대표 영상과 유사한 소장 영상의 개수를 기반으로 상기 일련의 다수의 소장 영상에 관한 최종 소장 정결도를 산출하는 정결도 진단부;를 포함하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  2. 제1항에 있어서,
    상기 유사도 분석부가 대표 영상을 선별하는 것은 바타챠랴 거리(Bhattacharyya Distance) 알고리즘을 기반으로 2개의 소장 영상의 컬러 히스토그램을 비교하는 것으로 유사도를 측정하고, 정해진 유사도 기준에 따라 유사도별로 선별된 상기 다수의 소장 영상 중에서 대표 영상을 선별하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  3. 제2항에 있어서,
    상기 유사도 기준은 상기 2개의 소장 영상이 유사도가 작을수록 0에 수렴하고, 유사도가 클수록 1에 수렴하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  4. 제1항에 있어서,
    상기 영상 분류부는 CNN(Convolution Neural Network) 모델을 기반으로 상기 다수의 소장 영상의 컬러와 텍스처에 대한 특징을 학습하고, 랜드마크 정보를 기반으로 상기 학습 결과물에 적용하여 소장 정결도 예측하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  5. 제1항에 있어서,
    상기 영상 분류부는 다수의 이미지 센서에서 출력된 상기 다수의 소장 영상의 컬러 기준을 통일한 후 학습하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  6. 제5항에 있어서,
    상기 컬러 기준은 RGB(Red, Green, Blue), HSV(Hue Saturation Value), Lab(색 좌표)를 적어도 하나 이상 사용하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  7. 제1항에 있어서,
    상기 다수의 소장 영상은 1부터 10까지 소장 정결도에 대한 점수화가 완료되어 있는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  8. 제1항에 있어서,
    상기 최종 소장 정결도는 1부터 n까지 각각 상기 대표 영상이 포함하는 유사 영상 수에 정결도 점수를 곱하여 더한 값을 상기 다수의 소장 영상의 총 개수로 나눈 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  9. 제1항에 있어서,
    상기 영상 분류부는 상기 다수의 소장 영상에서 소장 구간을 컬러와 텍스처 기반으로 학습하고, 상기 소장 구간에 설정된 랜드마크 정보를 기반으로 상기 소장 구간에 따라 상기 다수의 소장 영상을 분류하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  10. 소장(small bowel) 정결도를 진단하는 방법에 있어서,
    점수화가 완료된 다수의 소장 영상을 수신하는 단계;
    상기 점수화 완료된 다수의 소장 영상을 학습하는 단계;
    소장 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 단계;
    상기 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류하는 단계; 및
    상기 대표 영상을 기반으로 상기 다수의 소장 영상에 관한 최종 소장 정결도를 산출하는 단계;를 포함하는 것을 특징으로 하는 소장 정결도를 진단하는 방법.
PCT/KR2020/013636 2019-11-08 2020-10-07 소장 정결도를 진단하는 시스템 및 방법 WO2021091092A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
GB2117924.7A GB2604706B (en) 2019-11-08 2020-10-07 System and method for diagnosing small bowel cleanliness
CN202080048089.2A CN114080644A (zh) 2019-11-08 2020-10-07 用于诊断小肠清洁度的系统和方法
US17/612,486 US20220304617A1 (en) 2019-11-08 2020-10-07 System and method for diagnosing small bowel cleanliness

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190142203A KR102430946B1 (ko) 2019-11-08 2019-11-08 소장 정결도를 진단하는 시스템 및 방법
KR10-2019-0142203 2019-11-08

Publications (1)

Publication Number Publication Date
WO2021091092A1 true WO2021091092A1 (ko) 2021-05-14

Family

ID=75848002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013636 WO2021091092A1 (ko) 2019-11-08 2020-10-07 소장 정결도를 진단하는 시스템 및 방법

Country Status (5)

Country Link
US (1) US20220304617A1 (ko)
KR (1) KR102430946B1 (ko)
CN (1) CN114080644A (ko)
GB (1) GB2604706B (ko)
WO (1) WO2021091092A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332019B (zh) * 2021-12-29 2023-07-04 小荷医疗器械(海南)有限公司 内窥镜图像检测辅助系统、方法、介质和电子设备
CN115082448B (zh) * 2022-07-26 2023-05-23 青岛美迪康数字工程有限公司 肠道清洁度评分方法、装置和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185185B2 (en) * 2006-03-31 2012-05-22 Given Imaging Ltd. System and method for assessing a patient condition using tertiles derived from capsule endoscope images of the small bowel
KR20160063128A (ko) * 2014-11-26 2016-06-03 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
KR101889722B1 (ko) * 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR101928302B1 (ko) * 2018-04-10 2018-12-13 주식회사 뷰노 콘텐츠 기반 의료 영상 검색 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4991319B2 (ja) 2007-01-11 2012-08-01 株式会社東芝 干渉検知装置及びそれを利用した医用画像診断装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185185B2 (en) * 2006-03-31 2012-05-22 Given Imaging Ltd. System and method for assessing a patient condition using tertiles derived from capsule endoscope images of the small bowel
KR20160063128A (ko) * 2014-11-26 2016-06-03 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
KR101889722B1 (ko) * 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR101928302B1 (ko) * 2018-04-10 2018-12-13 주식회사 뷰노 콘텐츠 기반 의료 영상 검색 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
POGORELOV KONSTANTIN, RANDEL KRISTIN RANHEIM, GRIWODZ CARSTEN, ESKELAND SIGRUN LOSADA, DE LANGE THOMAS, JOHANSEN DAG, SPAMPINATO C: "KVASIR : A Multi-Class Image Dataset for Computer Aided Gastrointestinal Disease Detection", PROCEEDINGS OF THE 8TH ACM ON MULTIMEDIA SYSTEMS CONFERENCE, ACM, NEW YORK, NEW YORK, USA, 20 June 2017 (2017-06-20), New York, New York, USA, pages 164 - 169, XP055810563, ISBN: 978-1-4503-5002-0, DOI: 10.1145/3083187.3083212 *

Also Published As

Publication number Publication date
CN114080644A (zh) 2022-02-22
GB202117924D0 (en) 2022-01-26
US20220304617A1 (en) 2022-09-29
KR20210055881A (ko) 2021-05-18
GB2604706A (en) 2022-09-14
GB2604706B (en) 2024-02-07
KR102430946B1 (ko) 2022-08-10

Similar Documents

Publication Publication Date Title
WO2019054638A1 (ko) 영상 분석 방법, 장치 및 컴퓨터 프로그램
WO2021091092A1 (ko) 소장 정결도를 진단하는 시스템 및 방법
US4965725A (en) Neural network based automated cytological specimen classification system and method
CN110188615B (zh) 一种人脸表情识别方法、装置、介质及系统
CN107408211A (zh) 用于物体的再识别的方法
CN114283469B (zh) 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统
CN109685765B (zh) 一种基于卷积神经网络的x光片肺炎结果预测装置
CN108009560B (zh) 商品图像相似类别判定方法及装置
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
EP2557539A2 (en) Image processing apparatus, image processing method, and image processing program
CN110287862B (zh) 基于深度学习的防偷拍检测方法
CN110705639A (zh) 一种基于深度学习的医学精子图像识别系统
CN114529839A (zh) 一种面向无人机巡检的输电线金具异常检测方法及系统
CN114627553A (zh) 一种基于卷积神经网络的教室场景学生行为检测的方法
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
CN106960188B (zh) 天气图像分类方法及装置
JP3020973B2 (ja) 画像処理方法
WO2023075303A1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
JP2840347B2 (ja) 基板実装検査装置
Khavalko et al. Classification and Recognition of Medical Images Based on the SGTM Neuroparadigm.
Zhang et al. Blood cell image classification based on image segmentation preprocessing and CapsNet network model
WO2021141253A1 (ko) 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법
WO2020045903A1 (ko) Cnn을 이용하여 크기 독립적으로 물체를 검출하는 방법 및 장치
Iqbal et al. Towards Efficient Segmentation and Classification of White Blood Cell Cancer Using Deep Learning
CN114022698A (zh) 一种基于二叉树结构的多标签行为识别方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20884433

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 202117924

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20201007

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20884433

Country of ref document: EP

Kind code of ref document: A1