WO2022035119A1 - 인공지능 기반의 위내시경 영상 분석 방법 - Google Patents

인공지능 기반의 위내시경 영상 분석 방법 Download PDF

Info

Publication number
WO2022035119A1
WO2022035119A1 PCT/KR2021/010186 KR2021010186W WO2022035119A1 WO 2022035119 A1 WO2022035119 A1 WO 2022035119A1 KR 2021010186 W KR2021010186 W KR 2021010186W WO 2022035119 A1 WO2022035119 A1 WO 2022035119A1
Authority
WO
WIPO (PCT)
Prior art keywords
gastric
image
duodenum
stomach
classification models
Prior art date
Application number
PCT/KR2021/010186
Other languages
English (en)
French (fr)
Inventor
김경남
김지현
Original Assignee
주식회사 웨이센
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센, 연세대학교 산학협력단 filed Critical 주식회사 웨이센
Priority to US18/020,232 priority Critical patent/US20230301503A1/en
Publication of WO2022035119A1 publication Critical patent/WO2022035119A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a gastroscopy image analysis method, and more particularly, to automatically recognize an anatomical position in an ongoing gastroscopy by inputting a gastroscopic image into an artificial intelligence (AI) learning model, It relates to an artificial intelligence (AI)-based gastroscopic image analysis method that can record and inform the location of a lesion.
  • AI artificial intelligence
  • Cancer is a disease in which cells proliferate indefinitely and interfere with the function of normal cells, and although gastric cancer, lung cancer, liver cancer, breast cancer, colorectal cancer, etc. are representative, it can occur in virtually any tissue.
  • Stomach cancer has a high incidence worldwide in Korea and Japan, and has a low incidence in Western countries such as the United States and Europe. In Korea, it ranks first in incidence and second in mortality after lung cancer. If you look at the classification of gastric cancer, 95% of all gastric cancers are adenocarcinomas arising from the glandular cells of the mucous membrane of the stomach. In addition, there are lymphomas originating in the lymphatic system and gastrointestinal interstitial tumors originating in the interstitial tissue.
  • the biopsy has disadvantages in that it causes great pain to the patient, is expensive, and takes a long time to diagnose. In addition, if the patient has actual cancer, there is a risk that cancer metastasis may be induced during the biopsy process. There is a disadvantage in that it is impossible to diagnose the disease until the extraction of the disease is made.
  • cancer is determined based on an X-ray image or a nuclear magnetic resonance (NMR) image obtained using a contrast agent to which a disease target material is attached.
  • NMR nuclear magnetic resonance
  • Patent Document 1 discloses “an apparatus and method for diagnosing gastric lesions using deep learning of gastroendoscopic images”.
  • Silver A method for diagnosing a gastric lesion from an endoscopic image, the method comprising: acquiring a plurality of gastric lesion images; generating a data set by associating the plurality of gastric lesion images with patient information; preprocessing the data set to be applicable to a deep learning algorithm; constructing an artificial neural network through learning in which the data set that has undergone the pre-processing process is input and an item related to the gastric lesion classification result is output; and performing gastric lesion diagnosis through the artificial neural network after the new data set is pre-processed.
  • Patent Document 1 Although there is an advantage in that it is possible to diagnose a gastric lesion by collecting an upper endoscopy image (image) obtained from an endoscopic imaging device and applying it to a deep learning algorithm, the system and method Since it can be applied only to the diagnosis of gastric lesions, lesions of the target (stomach) region and adjacent regions (eg, oral cavity, larynx, esophagus, duodenum, etc.) have a problem that cannot be diagnosed.
  • image image
  • An object of the present invention is to provide an artificial intelligence (AI)-based gastroscopic image analysis method that can record and inform the location of a lesion for a target site and an adjacent site.
  • AI artificial intelligence
  • an artificial intelligence (AI) based gastroscopic image analysis method according to the present invention
  • a method of analyzing gastroscopy images by an artificial intelligence learning model built on a computer by receiving an image of gastroescopy as input to a computer,
  • an image classification model is configured to be classified into a region adjacent to a target region, and an image classification model is configured by classifying it into a first classification model to a tenth classification model. can do.
  • the training data of the plurality of image classification models may be configured, but the training data may be configured to be classified into regions adjacent to each target region in the gastroscopy image.
  • the target region is the oral cavity/pharynx
  • the adjacent region is the esophagus and the gastroesophageal junction
  • the second classification model is the target region is the esophagus
  • the adjacent region is the oral cavity.
  • the target site consists of the gastroesophageal junction
  • the adjacent site consists of the esophagus
  • the gastric body
  • the fourth classification model includes the target site of the gastric body, and the adjacent sites consist of the gastro-cardiac, gastro-bottom, and gastric vestibule.
  • the target region is the gastric vestibule
  • the adjacent regions are the gastric cardiac, gastric, and gastric. It may consist of government.
  • the target site is the gastric diaphragm, and the adjacent regions are the gastrobasal region, the stomach body, and the gastric vestibule.
  • the target region is the gastrocnemius region, and the adjacent regions are the gastroventricular region, the gastrocnemius region, and the stomach. It may be composed of the body part and the gastric vestibule.
  • the target region is the duodenum
  • the adjacent region is composed of the second duodenum
  • the gastric vestibule
  • the target region is the second part of the duodenum
  • the adjacent region is the duodenum and the gastric vestibule.
  • step c) in the photographing of each part of the stomach from the second part of the duodenum to the oral cavity and the pharynx, the second part of the duodenum ⁇ the duodenum ⁇ the pylorus ⁇ the vestibular part of the stomach ⁇ the stomach part ⁇ the stomach body part ⁇ the gastric bottom part ⁇ It can be taken in the order of gastroenteritis ⁇ esophagus ⁇ oral cavity, pharynx.
  • the second, and third classification models are used to classify and recognize the gastroesophageal junction, the esophagus, and the gastric body
  • the third, fourth, and fifth classification models are used to classify and recognize the gastroesophageal junction, the gastroesophageal junction, and the gastric vestibule.
  • the fourth, fifth, eighth, and ninth classification models are used to classify and recognize the gastric vestibule, the gastric body, the stomach, and the duodenum, and the fifth, ninth, and tenth classification models are used.
  • the duodenum the gastric antrum, and the second part of the duodenum.
  • the site recommended to be photographed and stored in the gastroscopy may include a gastroesophageal junction, a gastroesophageal junction, a gastric vestibule, and a duodenum.
  • step d) the anatomical position of the stomach is automatically classified and recognized using the plurality of image classification models for the image captured during the photographing, and the lesion position is automatically stored or notified in the duodenum and A lesion or perforation that can cause perforation in the pyloric part of the gastric vestibule can be automatically analyzed and notified.
  • the image of the specific part may include images of the gastric body part, the gastric vestibular part, and the gastric bottom part.
  • the segmentation result obtained by dividing the images of the gastric body part, the gastric vestibular part, and the gastric bottom part into regions by the region division model may include the anterior wall, the posterior wall, the soman, and the Taiwan, respectively.
  • the present invention by inputting and analyzing a gastroscopy image into an artificial intelligence (AI) learning model, the anatomical position in an ongoing gastroscopy is automatically recognized, and It has the advantage of being able to record and inform the location.
  • AI artificial intelligence
  • AI artificial intelligence
  • FIG. 2 is a view showing the anatomical structure of the stomach ( ⁇ ).
  • FIG. 3 is a diagram illustrating a configuration of training data of image classification models.
  • FIG. 4 is a view showing the movement path of the probe in the gastroscopy.
  • FIG. 5 is a diagram illustrating an operation sequence of an artificial intelligence learning model for automatically storing a lesion location during an imaging process from the oral cavity and larynx to the second duodenum using a gastroscopic probe.
  • FIG. 6 is a diagram illustrating an operation sequence of an artificial intelligence learning model for automatically notifying the location of a lesion during the imaging process from the second part of the duodenum to the oral cavity and the larynx using a gastroscopic probe.
  • FIG. 7 is a view showing a recommended site for capturing and storing images during gastroscopy.
  • FIG. 8 is a diagram illustrating an outline of segmenting an image input by a region segmentation model.
  • FIG. 9 is a diagram illustrating the division of a gastric body, a gastric vestibular region, and a gastric bottom region in a gastroscopic image.
  • AI artificial intelligence
  • an artificial intelligence (AI)-based gastroscopy image analysis method receives a gastroscopy image from a computer and analyzes the gastroscopic image by an artificial intelligence learning model built in the computer.
  • a plurality of artificial intelligence-based image classification models for gastroscopy images are configured (step S101).
  • each training data for the plurality of image classification models is configured to train the plurality of image classification models (step S102).
  • the image classification models are configured to be classified into regions adjacent to the target region, but the first to tenth classification models are An image classification model can be configured by classifying it as a classification model.
  • the training data of the plurality of image classification models are configured, and as shown in FIG. 3 , the training data may be configured to be classified into regions adjacent to each target region in the gastroscopy image.
  • the target site is the oral cavity/pharynx
  • the adjacent site is the esophagus and the gastroesophageal junction.
  • the target site is composed of a gastroesophageal junction
  • the adjacent site is the esophagus and the stomach. It can be composed of the lower part and the upper front part.
  • the target site is the gastric vestibule
  • the adjacent sites are the gastric parietal, gastric bottom, and stomach. It may consist of the Ministry of Education, the Ministry of Wisdom, and the Ministry of wisdom.
  • the target site is the gastric parietal region, and the adjacent regions are composed of the gastric bottom, gastric body, and gastric vestibule.
  • the target site is the gastric girdle and the adjacent region is the stomach. It can be composed of the upper part, the lower part, the upper part, and the upper part.
  • the target region is the duodenum
  • the adjacent region is the second duodenum
  • the tenth classification model 310 is the target region is the second part of the duodenum
  • the adjacent region is It may consist of the duodenum and the anterior chamber of the stomach.
  • the second part of the duodenum ⁇ the duodenum ⁇ the pyloric ring ⁇ the gastric vestibule ⁇ the stomach part ⁇ the stomach body ⁇ the gastroenter part ⁇ the gastric parietal part ⁇ the esophagus ⁇ It can be taken in the order of the oral cavity and the larynx.
  • the entrance When the gastroscopic probe reaches the entrance to the esophagus, the entrance is normally closed, but when it goes to the center, the mucous membrane is visible.
  • the esophageal-gastric junction is located 38-40 cm from the incisors, and it almost coincides with the boundary between the squamous epithelium of the esophagus and the columnar epithelium of the stomach.
  • the position of the diaphragm appears as a press mark at the esophagus-gastric junction or directly below it, and in normal people, the gastric mucosa is observed up to 1 cm above the diaphragm. If you look directly at it and gently push it in, it easily passes through the esophagus-gastric junction.
  • the lower esophagus bends the endoscope toward the posterior wall of the soman part in its structure, if it is pushed in as it is, it touches the posterior wall of the soman part.
  • the endoscope passes through the gastric parotid, rotate it to the left (counterclockwise) and observe while withdrawing the endoscope slightly while sending air. There are two important rules when passing through this area. The first is 'don't enter if you can't see it' and the second is 'If in doubt, pull it back'.
  • the pyloric ring In direct view, the pyloric ring is inserted while looking straight ahead. If you approach the pyloric ring while observing the vestibule and place the pyloric ring in the center of the field of vision, it will pass the pyloric ring. It is difficult to pass through the pyloric ring when breathing in or when the pyloric part is closed.
  • Areas that are difficult to observe such as the cardiac region, base, posterior wall of the body, the large portion of the upper body, just below the mastoid region, and the posterior wall of the duodenum, are observed while changing the position of the examinee or using methods such as U-inversion and J-inversion.
  • the purpose of the upper gastrointestinal endoscopy is to observe the esophagus, stomach, and duodenum in detail. Therefore, it is advisable to focus only on insertion and to observe the oral cavity and pharynx when withdrawing the endoscope. If you stay in the larynx for too long, the examinee will cough and have a hard time, so it is better to observe it as soon as possible.
  • the esophagus is observed while exhaling, and since most of the mucus is stagnant, it is observed while washing and suctioning with water. When the esophagus is normal, it shows vascular permeation, and the esophagus is observed closely, noting that there are various lesions including early cancer.
  • the first physiological stenosis is formed by the cricopharyngeal muscle, and since the endoscope passes at the same time as the swallowing exercise, it is better to take it out and observe it later. It is good to observe the site other than this sufficiently during insertion. Compression by the aortic arch and the left main bronchus located on the anal side of the aortic arch and its anus side is observed at a position of about 26-27 cm from the incisor, which is called the second physiological stenosis, and blood vessel beating can be confirmed.
  • the pulsatile compression by the heart can be observed at about 35 cm from the incisor, and the physiological third stenosis can be observed at the diaphragm tear site.
  • the esophagus is observed during insertion, but after observing the duodenum and stomach, remove the endoscope and check the findings observed during insertion again.
  • the anatomical position of the stomach is automatically classified and recognized using the plurality of image classification models for the image taken during the imaging, and the location of the lesion is automatically stored or notified, and shooting and storage are recommended in gastroscopy. It is verified whether an image has been taken of the target area (step S104).
  • step S104 the anatomical position of the stomach is automatically classified and recognized using the plurality of image classification models with respect to the image captured during the photographing, and the lesion position is automatically notified, as shown in FIG.
  • the fifth, ninth, and tenth classification models are used to classify the second part of the duodenum, the duodenum, and the gastric vestibule for notification of the location of the lesion during the imaging process.
  • the fourth, fifth, eighth, and ninth classification models are used to classify and recognize the gastric vestibule, the duodenum, the stomach, and the stomach, and the third, fourth, fifth, sixth, Using the seventh classification model, the gastroesophageal junction, the gastric body, and the esophagus are classified and recognized, and the gastroesophageal junction, the stomach body, and the esophagus are classified using the second, third, and fourth classification models. can classify and recognize the esophagus, the gastroesophageal junction, and the oral cavity/pharynx using the first, second, and third classification models.
  • the region recommended to be photographed and stored in the gastroscopy in step S104 is at least 4 images out of 8 images, that is, the gastroesophageal junction (image 2), and the stomach leg (image 5). ), the gastric vestibule (image 6), and the duodenum (image 7).
  • step S104 the anatomical position of the stomach is automatically classified and recognized using the plurality of image classification models with respect to the image captured during the photographing, and the position of the lesion is automatically stored or notified, in the duodenum and gastric anterior chamber.
  • the pyloric department of the government can automatically analyze and notify of lesions or perforations that may be the cause of perforation.
  • step S104 the image of a specific part of the captured gastroscopy image is divided into regions by the region segmentation model, and a segmentation map equal to the number of target classes is output as a segmentation result (step S105) ). That is, in this embodiment, the region segmentation model is trained to divide the input image into up to four regions, and thus, as shown in FIG. 8, the region segmentation model receives a color endoscope image as an input image and converts it into a result image. To output the same number (4) of segmentation maps as the number of target classes (4).
  • the image of the specific part may include images of the gastric body part (A), the gastric vestibular part (B), and the gastric bottom part (C) as shown in FIG. 9 .
  • the segmentation result obtained by dividing the images of the upper body portion (A), the gastric anterior portion (B), and the gastric lower portion (C) into regions by the region division model may include the anterior wall, the posterior wall, the soman, and the taiwan, respectively.
  • the region segmentation model operates and the anterior wall, the posterior wall, the small mantle, and Taiwan are displayed on the screen. It can be displayed as near a connection.
  • FIG. 5 is a diagram illustrating an operation sequence of an artificial intelligence learning model for automatically storing the location of a lesion during an imaging process from the oral cavity and larynx to the second part of the duodenum using a gastroscopic probe.
  • this is about automatically classifying and recognizing the anatomical position of the stomach using a plurality of image classification models in step S104 of FIG. 1 and automatically storing the lesion position.
  • the captured image is If inputted, the oral/pharyngeal, esophagus, and gastroesophageal junctions are recognized using the first, second, and third models (steps S501 to S504). If it is not a gastroesophageal junction in the determination of step S504, it returns to step S501.
  • the second, third, and fourth models are used to recognize the gastroesophageal junction, the esophagus, and the gastroesophageal junction (steps S505 to S508).
  • the flow returns to step S501.
  • the process returns to step S505.
  • the third, fourth, and fifth models are used to recognize the presence of a gastric portion, a gastroesophageal junction, and a gastric vestibule (steps S509 to S512).
  • step S511 if it is a gastroesophageal junction in the determination of step S511, it returns to step S505. In addition, if it is not the gastric vestibule in the determination of step S512, the process returns to step S509, and if the gastric vestibular part, the fourth, fifth, eighth, and ninth models are used to recognize whether the gastric vestibule, the gastric body, the stomach and the duodenum are bent (step S513). ⁇ S517). In this process, if it is an upper body part in the determination of step S515, it returns to step S509, and if it is a stomach part in the determination of step S516, it returns to step S513.
  • step S517 if it is not the duodenum in the determination of step S517, it returns to step S513, and if it is a duodenum, it is recognized whether the duodenum, the gastric vestibule, and the duodenum are second using the fifth, ninth, and tenth models (steps S518 to S521) . In this process, if it is the upper vestibule in the determination of step S520, the process returns to step S513. In addition, if it is not the second part of the duodenum in the determination of step S521, the process returns to step S518, and if it is the second part of the duodenum, it is recognized that the observation start position has been reached.
  • FIG. 6 is a diagram illustrating an operation sequence of an artificial intelligence learning model for automatically notifying the location of a lesion during the imaging process from the second part of the duodenum to the oral cavity and the larynx using a gastroscopic probe.
  • this is about automatically classifying and recognizing the anatomical location of the stomach using a plurality of image classification models in step S104 of FIG. 1 and automatically notifying the location of the lesion.
  • the captured image is input
  • the 5th, 9th, and 10th models it is recognized whether the second part of the duodenum, the duodenum, or the gastric vestibule is used (steps S601 to S604). In this process, if it is not the gastric vestibule in the determination of step S604, the process returns to step S601.
  • step S604 If it is a gastric vestibule, it is recognized whether the gastric vestibule, the duodenum, the stomach or the stomach is located using the 4th, 5th, 8th, and 9th models (step S604). S605 to S609). In this process, in the determination of step S607, if the duodenum is bent, it returns to step S601, and if it is the stomach in the determination of step S608, it returns to step S605. In addition, in the determination of step S609, if it is not a gastric part, the process returns to step S605.
  • the third, 4, 5, 6, 7 model is used to determine whether the gastric body part, the gastric vestibular part, the gastric body part, the gastric cardiac part, or the gastroesophageal junction part. is recognized (steps S610 to S615).
  • step S612 if it is the upper vestibular region, it returns to step S605, if it is the gastro-bottom in the determination of step S613, it returns to step S610, and if it is the gastric parietal in the determination of step S614, it returns to step S610.
  • step S615 if it is not a gastroesophageal junction in the determination of step S615, it returns to step S610, and if it is a gastroesophageal junction, the second, third, and fourth models are used to recognize the gastroesophageal junction, the stomach and the esophagus (steps S616 to S619). In this process, if it is the upper body part in the determination of step S618, the process returns to step S610.
  • step S619 if it is not the esophagus, it returns to step S616, and if it is the esophagus, the esophagus, gastroesophageal junction, and oral cavity/pharynx using the first, second, and third models are recognized (steps S620 to S623).
  • step S622 if it is a gastroesophageal junction in the determination of step S622, it returns to step S616, if it is not the oral cavity or larynx in the determination of step S623, it returns to step S620.
  • the flow returns to step S620, and if the inspection is complete, the operation sequence is ended.
  • the location of the lesion can be indicated by finely dividing the regions of the gastric body, gastric vestibular region, and gastric bottom regions into anterior/posterior wall and small fossa/taiwan regions using a region segmentation method rather than image classification as described above. there is.
  • the endoscopy automatically detects a dangerous condition such as "perforation” and informs the examiner, thereby reducing the risk that may exist in the examination process.
  • the anatomical position in the ongoing gastroscopy examination by inputting the gastroscopy image into the artificial intelligence (AI) learning model and analyzing it. It has the advantage of automatically recognizing the lesion and recording and notifying the location of the lesion with respect to the target site and adjacent sites.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명에 따른 인공지능(AI) 기반의 위내시경 영상 분석 방법은, 위내시경 촬영 영상에 대한 인공지능 기반의 복수의 영상 분류 모델을 구성하는 단계와; 복수의 영상 분류 모델에 대한 각각의 학습 데이터를 구성하여 복수의 영상 분류 모델을 학습시키는 단계와; 위내시경 프로브를 이용하여 구강 및 인후두로부터 십이지장 제2부까지 또는 상기 십이지장 제2부로부터 상기 구강 및 인후두까지 위의 각 부위에 대해 관찰 또는 촬영하는 단계와; 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장 또는 알리며, 위내시경 검사에서 촬영 및 저장이 권장되는 부위에 대한 영상을 촬영했는지를 검증하는 단계; 및 촬영된 위내시경 영상 중 특정부의 영상을 영역분할 모델에 의해 각각 영역별로 분할하여 분할결과로서 대상 클래스 수와 같은 수의 분할 맵을 출력하는 단계를 포함한다.

Description

인공지능 기반의 위내시경 영상 분석 방법
본 발명은 위내시경 영상 분석 방법에 관한 것으로서, 더 상세하게는 위내시경 영상을 인공지능(Artificial Intelligence; AI) 학습 모델에 입력하여 진행되고 있는 위내시경 검사에서의 해부학적 위치를 자동으로 인식하고, 병변의 위치를 기록 및 알려줄 수 있는 인공지능(AI) 기반의 위내시경 영상 분석 방법에 관한 것이다.
암은 세포가 무한히 증식하여 정상적인 세포의 기능을 방해하는 질병으로, 위암, 폐암, 간암, 유방암, 대장암 등이 대표적이나, 실질적으로는 어느 조직에서나 발생할 수 있다. 위암은 전 세계적으로 보면, 한국, 일본 등에서 많은 발생을 보이며 미국, 유럽 등의 서구에서는 발생률이 낮은 암이다. 한국의 경우 발생률 1위, 사망률은 폐암에 이어 2위를 차지하고 있다. 위암의 분류를 살펴보면 전체의 95%가 위벽의 점막의 샘세포에서 생기는 선암이다. 그 외 림프계에서 발생하는 림프종, 간질조직에서 발생하는 위장관 간질성 종양이 있다.
초창기 암 진단은 암 세포의 성장에 따른 생체 조직의 외적 변화에 근거하였으나, 근래에 들어 혈액, 당쇄(glyco chain), DNA(deoxyribonucleic acid) 등 생물의 조직 또는 세포에 존재하는 미량의 생체 분자를 이용한 진단 및 검출이 시도되고 있다. 그러나 가장 보편적으로 사용되는 암 진단 방법은 생체 조직 검사를 통해 얻어진 조직 샘플을 이용하거나, 영상을 이용한 진단이다.
생체 조직 검사는 환자에게 큰 고통을 야기하며, 고비용이 수반될 뿐만 아니라, 진단까지 긴 시간이 소요되는 단점이 있다. 또한, 환자가 실제 암에 걸린 경우, 생체 조직 검사 과정 중 암의 전이가 유발될 수 있는 위험이 있으며, 생체 조직 검사를 통해 조직 샘플을 얻을 수 없는 부위의 경우, 외과적인 수술을 통해 의심되는 조직의 적출이 이루어지기 전에는 질병의 진단이 불가능한 단점이 있다.
영상을 이용한 진단에서는 엑스레이(X-ray) 영상, 질병 표적 물질이 부착된 조영제를 사용하여 획득한 핵자기 공명(nuclear magnetic resonance, NMR) 영상 등을 기반으로 암을 판정한다. 그러나 이러한 영상 진단은 임상의 또는 판독의의 숙련도에 따라 오진의 가능성이 있으며, 영상을 얻는 기기의 정밀도에 크게 의존하는 단점이 있다.
한국 공개특허공보 제10-2020-0038120호(특허문헌 1)에는 "위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법"이 개시되어 있는바, 이에 따른 위 병변을 진단하는 방법은, 내시경 이미지에서 위 병변을 진단하는 방법에 있어서, 복수의 위 병변 이미지를 획득하는 단계; 상기 복수의 위 병변 이미지와 환자 정보를 연계하여 데이터 세트를 생성하는 단계; 딥러닝 알고리즘에 적용 가능하도록 상기 데이터 세트를 전처리하는 단계; 전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통한 인공신경망을 구축하는 단계; 신규 데이터 세트를 상기 전처리 과정을 거친 후 상기 인공신경망을 통해 위 병변 진단을 수행하는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 내시경 촬영 장치에서 획득되는 백상광 위 내시경 이미지(영상)를 수집하고, 딥러닝 알고리즘에 적용하여 위 병변을 진단할 수 있는 장점이 있기는 하나, 시스템 및 방법이 오직 위 병변 진단에만 적용될 수 있도록 되어 있어, 대상(위장) 부위와 인접한 부위(예를 들면, 구강, 인후두, 식도, 십이지장 등)의 병변은 진단할 수 없는 문제점을 내포하고 있다.
본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 위내시경 영상을 인공지능(AI) 학습 모델에 입력하여 분석함으로써, 진행되고 있는 위내시경 검사에서의 해부학적 위치를 자동으로 인식하고, 대상 부위 및 인접한 부위에 대한 병변의 위치를 기록 및 알려줄 수 있는 인공지능(AI) 기반의 위내시경 영상 분석 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 인공지능(AI) 기반의 위내시경 영상 분석 방법은,
위내시 촬영 영상을 컴퓨터로 입력받아 컴퓨터에 구축되어 있는 인공지능 학습 모델에 의해 위내시경 영상을 분석하는 방법으로서,
a) 위내시경 촬영 영상에 대한 인공지능 기반의 복수의 영상 분류 모델을 구성하는 단계와;
b) 상기 복수의 영상 분류 모델에 대한 각각의 학습 데이터를 구성하여 복수의 영상 분류 모델을 학습시키는 단계와;
c) 위내시경 프로브를 이용하여 구강 및 인후두로부터 십이지장 제2부까지 또는 상기 십이지장 제2부로부터 상기 구강 및 인후두까지 위(胃)의 각 부위에 대해 관찰 또는 촬영하는 단계와;
d) 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장 또는 알리며, 위내시경 검사에서 촬영 및 저장이 권장되는 부위에 대한 영상을 촬영했는지를 검증하는 단계; 및
e) 상기 촬영된 위내시경 영상 중 특정부의 영상을 영역분할 모델에 의해 각각 영역별로 분할하여 분할결과로서 대상 클래스 수와 같은 수의 분할 맵을 출력하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 a)에서 상기 복수의 영상 분류 모델을 구성함에 있어서, 대상 부위와 인접한 부위로 분류되도록 영상 분류 모델을 구성하되, 제1 분류 모델 내지 제10 분류 모델로 분류하여 영상 분류 모델을 구성할 수 있다.
또한, 상기 단계 b)에서 상기 복수의 영상 분류 모델의 학습 데이터를 구성하되, 위내시경 촬영 영상에서 각 대상 부위와 인접한 부위로 분류되도록 학습 데이터를 각각 구성할 수 있다.
이때, 상기 제1 분류 모델은 대상 부위는 구강/인후두, 인접한 부위는 식도, 위식도 접합부로 구성되고, 제2 분류 모델은 대상 부위는 식도, 인접한 부위는 구강, 위식도 접합부로 구성될 수 있다.
또한, 상기 제3 분류 모델은 대상 부위는 위식도 접합부, 인접한 부위는 식도, 위체부로 구성되고, 제4 분류 모델은 대상 부위는 위체부, 인접한 부위는 위분문부, 위저부, 위전정부로 구성될 수 있다.
또한, 상기 제5 분류 모델은 대상 부위는 위전정부, 인접한 부위는 위분문부, 위저부, 위체부로 구성되고, 제6 분류 모델은 대상 부위는 위저부, 인접한 부위는 위분문부, 위체부, 위전정부로 구성될 수 있다.
또한, 상기 제7 분류 모델은 대상 부위는 위분문부, 인접한 부위는 위저부, 위체부, 위전정부로 구성되고, 제8 분류 모델은 대상 부위는 위각부, 인접한 부위는 위분문부, 위저부, 위체부, 위전정부로 구성될 수 있다.
또한, 상기 제9 분류 모델은 대상 부위는 십이지장 구부, 인접한 부위는 십이지장 제2부, 위전정부로 구성되고, 제10 분류 모델은 대상 부위는 십이지장 제2부, 인접한 부위는 십이지장 구부, 위전정부로 구성될 수 있다.
또한, 상기 단계 c)에서 상기 십이지장 제2부로부터 구강, 인후두까지 위의 각 부위에 대해 촬영함에 있어서, 십이지장 제2부 → 십이지장 구부 → 유문륜 → 위전정부 → 위각부 → 위체부 → 위저부 → 위분문부 → 식도 → 구강, 인후두 순서로 촬영할 수 있다.
또한, 상기 단계 d)에서 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장함에 있어서, 상기 구강 및 인후두로부터 상기 십이지장 제2부까지 촬영 과정 중 병변 위치의 자동 저장을 위해 상기 제1, 제2, 제3 분류 모델을 이용하여 구강/인후두, 식도, 위식도 접합부를 분류 및 인식하고, 상기 제2, 제3, 제4 분류 모델을 이용하여 위식도 접합부, 식도, 위체부를 분류 및 인식하며, 상기 제3, 제4, 제5 분류 모델을 이용하여 위체부, 위식도 접합부, 위전정부를 분류 및 인식하고, 상기 제4, 제5, 제8, 제9 분류 모델을 이용하여 위전정부, 위체부, 위 각부, 십이지장 구부를 분류 및 인식하며, 상기 제5, 제9, 제10 분류 모델을 이용하여 십이지장 구부, 위전정부, 십이지장 제2부를 분류 및 인식할 수 있다.
또한, 상기 단계 d)에서 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 알림에 있어서, 상기 십이지장 제2부로부터 상기 구강 및 인후두까지 촬영 과정 중 병변 위치의 알림을 위해 상기 제5, 제9, 제10 분류 모델을 이용하여 십이지장 제2부, 십이지장 구부, 위전정부를 분류 및 인식하고, 상기 제4, 제5, 제8, 제9 분류 모델을 이용하여 위전정부, 십이지장 구부, 위 각부, 위체부를 분류 및 인식하며, 상기 제3, 제4, 제5, 제6, 제7 분류 모델을 이용하여 위체부, 위전정부, 위저부, 위분문부, 위식도 접합부를 분류 및 인식하고, 상기 제2, 제3, 제4 분류 모델을 이용하여 위식도 접합부, 위체부, 식도를 분류 및 인식하며, 상기 제1, 제2, 제3 분류 모델을 이용하여 식도, 위식도 접합부, 구강/인후두를 분류 및 인식할 수 있다.
또한, 상기 단계 d)에서 상기 위내시경 검사에서 촬영 및 저장이 권장되는 부위는 위식도 접합부, 위 각부, 위전정부, 십이지장 구부를 포함할 수 있다.
또한, 상기 단계 d)에서 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장 또는 알림에 있어서, 십이지장과 위전정부의 유문부에서 천공의 원인이 될 수 있는 병변 또는 천공을 자동으로 분석하여 알릴 수 있다.
또한, 상기 단계 e)에서 상기 특정부의 영상은 위체부, 위전정부 및 위저부의 영상을 포함할 수 있다.
이때, 상기 위체부, 위전정부 및 위저부의 영상을 상기 영역분할 모델에 의해 각각 영역별로 분할한 분할결과는 각각 전벽, 후벽, 소만, 대만을 포함할 수 있다.
이와 같은 본 발명에 의하면, 위내시경 영상을 인공지능(AI) 학습 모델에 입력하여 분석함으로써, 진행되고 있는 위내시경 검사에서의 해부학적 위치를 자동으로 인식하고, 대상 부위 및 인접한 부위에 대한 병변의 위치를 기록 및 알려줄 수 있는 장점이 있다.
또한, 위내시경 검사의 경험이 적은 검사자에게 위험이 될 수 있는 상황을 미리 알려줌으로써 검사의 안전성을 확보할 수 있다.
도 1은 본 발명에 따른 인공지능(AI) 기반의 위내시경 영상 분석 방법의 실행 과정을 나타낸 흐름도이다.
도 2는 위(胃)의 해부학적 구조를 나타낸 도면이다.
도 3은 영상 분류 모델들의 학습 데이터 구성을 나타낸 도면이다.
도 4는 위내시경 검사에서 프로브의 이동경로를 나타낸 도면이다.
도 5는 위내시경 프로브를 이용한 구강 및 인후두로부터 십이지장 제2부까지 촬영 과정중 병변 위치 자동 저장을 위한 인공지능 학습 모델의 동작 시퀀스를 나타낸 도면이다.
도 6은 위내시경 프로브를 이용한 십이지장 제2부로부터 구강 및 인후두까지 촬영 과정중 병변 위치 자동 알림을 위한 인공지능 학습 모델의 동작 시퀀스를 나타낸 도면이다.
도 7은 위내시경 검사 중 영상을 촬영 및 저장해야 할 권장 부위를 나타낸 도면이다.
도 8은 영역분할 모델에 의해 입력된 영상을 분할하는 개요를 나타낸 도면이다.
도 9는 위내시경 영상에서의 위체부, 위전정부, 위저부의 영역분할을 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 인공지능(AI) 기반의 위내시경 영상 분석 방법의 실행 과정을 나타낸 흐름도이다.
도 1을 참조하면, 본 발명에 따른 인공지능(AI) 기반의 위내시경 영상 분석 방법은, 위내시경 촬영 영상을 컴퓨터로 입력받아 컴퓨터에 구축되어 있는 인공지능 학습 모델에 의해 위내시경 영상을 분석하는 방법으로서, 먼저 위내시경 촬영 영상에 대한 인공지능 기반의 복수의 영상 분류 모델을 구성한다(단계 S101).
그리고 상기 복수의 영상 분류 모델에 대한 각각의 학습 데이터를 구성하여 복수의 영상 분류 모델을 학습시킨다(단계 S102).
여기서, 상기 단계 S101에서 상기 복수의 영상 분류 모델을 구성함에 있어서, 도 2 및 도 3에 도시된 바와 같이, 대상 부위와 인접한 부위로 분류되도록 영상 분류 모델을 구성하되, 제1 분류 모델 내지 제10 분류 모델로 분류하여 영상 분류 모델을 구성할 수 있다.
또한, 상기 단계 S102에서 상기 복수의 영상 분류 모델의 학습 데이터를 구성하되, 도 3에 도시된 바와 같이, 위내시경 촬영 영상에서 각 대상 부위와 인접한 부위로 분류되도록 학습 데이터를 각각 구성할 수 있다.
이때, 제1 분류 모델(301)은 대상 부위는 구강/인후두, 인접한 부위는 식도, 위식도 접합부로 구성되고, 제2 분류 모델(302)은 대상 부위는 식도, 인접한 부위는 구강, 위식도 접합부로 구성될 수 있다.
또한, 상기 제3 분류 모델(303)은 대상 부위는 위식도 접합부, 인접한 부위는 식도, 위체부로 구성되고, 제4 분류 모델(304)은 대상 부위는 위체부, 인접한 부위는 위분문부, 위저부, 위전정부로 구성될 수 있다.
또한, 상기 제5 분류 모델(305)은 대상 부위는 위전정부, 인접한 부위는 위분문부, 위저부, 위체부로 구성되고, 제6 분류 모델(306)은 대상 부위는 위저부, 인접한 부위는 위분문부, 위체부, 위전정부로 구성될 수 있다.
또한, 상기 제7 분류 모델(307)은 대상 부위는 위분문부, 인접한 부위는 위저부, 위체부, 위전정부로 구성되고, 제8 분류 모델(308)은 대상 부위는 위각부, 인접한 부위는 위분문부, 위저부, 위체부, 위전정부로 구성될 수 있다.
또한, 상기 제9 분류 모델(309)은 대상 부위는 십이지장 구부, 인접한 부위는 십이지장 제2부, 위전정부로 구성되고, 제10 분류 모델(310)은 대상 부위는 십이지장 제2부, 인접한 부위는 십이지장 구부, 위전정부로 구성될 수 있다.
이렇게 하여 복수의 영상 분류 모델의 구성 및 복수의 영상 분류 모델에 대한 학습이 완료되면, 도 4에 도시된 바와 같이, 위내시경 프로브를 이용하여 구강 및 인후두로부터 십이지장 제2부까지 또는 십이지장 제2부로부터 구강 및 인후두까지 위(胃)의 각 부위에 대해 관찰 또는 촬영한다(단계 S103). 이때, 상기 십이지장 제2부로부터 구강, 인후두까지 위의 각 부위에 대해 촬영함에 있어서, 십이지장 제2부 → 십이지장 구부 → 유문륜 → 위전정부 → 위각부 → 위체부 → 위저부 → 위분문부 → 식도 → 구강, 인후두 순서로 촬영할 수 있다.
여기서, 이상과 같은 위내시경 프로브를 이용한 구강 및 인후두로부터 십이지장 제2부까지 또는 십이지장 제2부로부터 구강 및 인후두까지 촬영 과정과 관련하여 조금 더설명을 부가해 보기로 한다.
위내시경 프로브가 식도 입구 부위에 도달하면 입구 부위는 통상 폐쇄되어 있는데 중심으로 진행하면 점막이 보인다. 식도·위 접합부는 절치로부터 38~40cm에 위치하며 식도의 편평 상피와 위의 원주 상피의 경계와 거의 일치하며 불규칙적인 선으로 관찰될 수 있어 'Z-line'이라 부른다. 횡격막의 위치는 식도-위 접합부 또는 그 직하방에서 눌린 자국으로 나타나며 정상인에서는 위점막이 횡경막 1cm 상방까지 관찰된다. 직접 보면서 부드럽게 밀어넣으면 식도·위 접합부를 쉽게 통과한다. 하부 식도는 구조상 내시경을 소만부의 후벽쪽으로 구부러지게 만들기 때문에 그대로 밀어넣으면 체부 소만부의 후벽에 닿는다. 내시경이 위분문부를 통과하면 왼쪽(시계 반대 방향)으로 회전시키고 내시경을 약간 빼면서 송기를 하며 관찰을 한다. 이 부위를 통과할 때 있어 두 가지 중요한 규칙이 있는데 첫째는 '보이지 않으면 진입하지 말라'이며 둘째는 '의심스러우면 뒤로 빼라'이다.
식도-위 접합부를 지나 위분문에서 위체부로 진입하는 것이 초심자에게는 어려운 경우가 많다. 가능하면 공기 주입을 적게 하고 검사자가 수검자와 마주보지 말고 수검자의 다리 쪽을 보고 삽입하면 쉽게 진입이 된다. 위내에 들어가면 위저부와 위체부를 나누는 분수령이 우측에 보인다. 적당량의 공기를 넣어 확장시키되 공기 주입이 과다한 경우에는 오히려 공기를 흡인하면 위체부로의 진입이 쉬워진다. 분수령 아래에서 전방 우측으로 위체부 대만을 따라 진행하면 위전정부에 도달한다. 진입도중 위 점막에 점액이나 기포가 묻어있을 때에는 생검 겸자공을 이용 시메치콘이 함유된 물로 세정하는 것이 관찰에 도움이 된다. 위각부의 대만에서 약간 앵글을 위로하고 내시경의 축을 시계 방향으로 회전하면 위전정부로 진입하게 되고 유문륜을 볼 수 있게 된다. 아래쪽에 전정부와 유문부가, 중심부에 위각부가 관찰된다. 조심스럽게 앵글을 아래로 하면서 전정부의 축을 따라 진입하면 유문륜에 도달한다. 많은 시술자들은 내시경이 식도를 통과하여 위내로 진입하면 가능한 한 빠른 시간 안에 최소한의 공기를 주입하면서 십이지장까지 내시경을 삽입한 뒤 내시경을 뒤로 빼면서 십이지장과 위를 관찰하는 것을 선호한다. 그러나 이때 너무 서두르지 말고 전체를 잘 관찰하도록 한다.
직시경에서는 유문륜을 정면으로 보면서 삽입한다. 전정부를 관찰하면서 유문륜에 접근하여 유문륜을 시야 중앙에 놓고 진행하면 유문륜을 넘어간다. 숨을 몰아 쉬거나 유문부가 닫혀 있는 경우 유문륜을 통과하기 쉽지 않은데, 이때는 일시적으로 호흡을 정지시키거나 공기를 흡입하게 되면 쉽게 통과할 수 있다.
십이지장구부에서 제2부로의 삽입시에는 매우 조심스럽게 진입한다. 내시경의 축을 오른쪽으로 90도 회전시키고 동시에 앵글을 업(up)시키면서 조심스럽게 전진한다. 삽입 후 앵글을 그대로 고정시킨 상태에서 내시경을 서서히 빼게 되면 위 대만부를 따라 진입된 내시경이 소만부를 따라 단축이 되면서 내시경이 일직선에 가깝게 되어 수검자의 불편감이 줄어든다.
<내시경 관찰 요령>
① 내시경 관찰의 기본 원칙
가. 시야에 나타나는 모든 것을 관찰한다.
나. 가능한 정면에서 관찰하고 필요에 따라 측면 혹은 사면으로 관찰한다.
다. 전체를 맹점 없이 관찰하기 위해서는 먼 시야로부터 관찰하며, 상세히 보기 위해서는 근접하여관찰 한다.
라. 수검자가 비협조적이거나 이상이 발견되면 무리하게 검사를 진행하지않는다.
마. 시야가 확보되지 않으면 절대로 무리하게 진행하지 말며 내시경을 다시 빼면서 공기를 삽입하여 시야를 확보하도록 한다.
바. 검사 중 부드러운 말씨로 계속 상황설명을 해주어 수검자를 안심시키면서 관찰한다.
② 관찰 목표의 설정
검사를 하려는 목적에 따라서 어느 부위의 어떤 병변을 관찰하려는 것인지 검사 전에 뚜렷한 목표를 설정한다. 그러나 일반적으로 검진이 목적인 경우에는 모든 부위를 골고루 잘 관찰하도록 한다.
③ 맹점의 관찰
분문부, 기저부, 체부의 후벽, 체상부의 대만부, 유분부 직하 및 십이지장 후벽과 같이 관찰하기 힘든 부위는 U-반전, J-반전 등의 방법이나 수검자의 체위를 변화시키면서 관찰한다.
④ 비정상 소견의 판단
정상 소견을 완전히 습득해야만 비정상 소견 여부를 확실히 감별할 수 있을 것이다. 항상 서두르지 말고 천천히 검사를 하면서 조금이라도 의심되면 여러 가지 조치를 강구한다.
⑤ 관찰 순서
내시경 검사 시 내부 장기의 관찰은 내시경을 삽입하면서 관찰하고 제거할 때 다시 잘 관찰하는 것이 기본이다. 내시경 삽입 후의 관찰 또는 사진 촬영 순서는 각 검사자마다 다를 수 있지만, 관찰에 누락되는 부위가 없도록 각자가 일정한 순서를 정하여 관찰한다.
⑥ 관찰
가. 구강, 인후두
상부 소화관 내시경의 목적은 식도, 위, 십이지장을 자세히 관찰하는 데 있으므로 삽입 시에는 삽입에만 전념하고 구강 및 인후두 관찰은 내시경을 빼낼 때 하는 것이 좋다. 후두부에서 너무 오래 머물게 되면 수검자가 기침을 하고 힘들게 되므로 가능하면 빨리 관찰하는 것이 좋다.
나. 식도
식도는 송기하면서 관찰하는데 대부분 점액이 고여 있기 때문에 물로 세정, 흡인하면서 관찰한다. 식도는 정상일 때 혈관 투과 소견을 보이며, 식도는 단순히 조기 암을 포함한 여러 가지 병변이 있음을 주지하고 세밀하게 관찰한다.
식도 입구에서 윤상 인두근에 의해 생리적 제1협착부가 형성되는데 이 부위는 연하운동과 동시에 내시경이 넘어가기 때문에 나중에 빼면서 관찰하는 것이 좋다. 이를 제외한 부위는 삽입 시에 충분히 관찰하는 것이 좋다. 절치에서 약 26~27cm 위치에서 2~3cm 폭으로 대동맥궁과 이것의 항문측에 위치한 좌주기관지에 의한 압박이 관찰되는데 이를 생리적 제2협착부라 하며 혈관박동을 확인할 수 있다. 절치로부터 약 35cm 부위에 심장에 의한 박동성 압박을 관찰할 수 있고 횡격막 열공부위에서 생리적 제3협착부를 관찰할 수 있다. 식도는 삽입 시에도 관찰하지만 십이지장과 위를 관찰한 후 내시경을 빼면서 삽입 시 관찰한 소견을 다시 확인하도록 한다. (이상은 보건복지부/국립암센터 발간 『위암 검진 질지침(2차 개정판)』 67∼69 페이지의 내용을 인용한 것임)
그러면, 이하에서는 다시 도 1을 참조하기로 한다.
이후, 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장 또는 알리며, 위내시경 검사에서 촬영 및 저장이 권장되는 부위에 대한 영상을 촬영했는지를 검증한다(단계 S104).
여기서, 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장함에 있어서, 도 5에 도시된 바와 같이, 상기 구강 및 인후두로부터 상기 십이지장 제2부까지 촬영 과정 중 병변 위치의 자동 저장을 위해 상기 제1, 제2, 제3 분류 모델을 이용하여 구강/인후두, 식도, 위식도 접합부를 분류 및 인식하고, 상기 제2, 제3, 제4 분류 모델을 이용하여 위식도 접합부, 식도, 위체부를 분류 및 인식하며, 상기 제3, 제4, 제5 분류 모델을 이용하여 위체부, 위식도 접합부, 위전정부를 분류 및 인식하고, 상기 제4, 제5, 제8, 제9 분류 모델을 이용하여 위전정부, 위체부, 위 각부, 십이지장 구부를 분류 및 인식하며, 상기 제5, 제9, 제10 분류 모델을 이용하여 십이지장 구부, 위전정부, 십이지장 제2부를 분류 및 인식할 수 있다.
또한, 상기 단계 S104에서 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 알림에 있어서, 도 6에 도시된 바와 같이, 상기 십이지장 제2부로부터 상기 구강 및 인후두까지 촬영 과정 중 병변 위치의 알림을 위해 상기 제5, 제9, 제10 분류 모델을 이용하여 십이지장 제2부, 십이지장 구부, 위전정부를 분류 및 인식하고, 상기 제4, 제5, 제8, 제9 분류 모델을 이용하여 위전정부, 십이지장 구부, 위 각부, 위체부를 분류 및 인식하며, 상기 제3, 제4, 제5, 제6, 제7 분류 모델을 이용하여 위체부, 위전정부, 위저부, 위분문부, 위식도 접합부를 분류 및 인식하고, 상기 제2, 제3, 제4 분류 모델을 이용하여 위식도 접합부, 위체부, 식도를 분류 및 인식하며, 상기 제1, 제2, 제3 분류 모델을 이용하여 식도, 위식도 접합부, 구강/인후두를 분류 및 인식할 수 있다.
이상과 같은 도 5 및 도 6의 구강 및 인후두로부터 십이지장 제2부까지 촬영 또는 십이지장 제2부로부터 구강 및 인후두까지 촬영 과정에서의 병변 위치 자동 저장 및 알림과 관련해서는 뒤에서 다시 설명하기로 한다.
또한, 상기 단계 S104에서 상기 위내시경 검사에서 촬영 및 저장이 권장되는 부위는 도 7에 도시된 바와 같이, 8개의 화상 중 최소 4개의 화상, 즉 위식도 접합부(화상 2), 위 각부(화상 5), 위전정부(화상 6), 십이지장 구부(화상 7)를 포함할 수 있다.
또한, 상기 단계 S104에서 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장 또는 알림에 있어서, 십이지장과 위전정부의 유문부에서 천공의 원인이 될 수 있는 병변 또는 천공을 자동으로 분석하여 알릴 수 있다.
이상과 같은 상기 단계 S104가 진행되는 동안, 상기 촬영된 위내시경 영상 중 특정부의 영상을 영역분할 모델에 의해 각각 영역별로 분할하여 분할결과로서 대상 클래스 수와 같은 수의 분할 맵을 출력한다(단계 S105). 즉, 본 실시예에서 상기 영역분할 모델은 입력영상을 최대 4개의 영역으로 분할하도록 학습되어 있으며, 따라서 도 8에 도시된 바와 같이, 영역분할 모델은 입력영상으로 컬러 내시경 영상을 입력받아 결과영상으로 대상 클래스 수(4개)와 같은 수(4개)의 분할 맵을 출력하는 것이다. 여기서, 상기 특정부의 영상은 도 9에서와 같이 위체부(A), 위전정부(B) 및 위저부(C)의 영상을 포함할 수 있다. 이때, 상기 위체부(A), 위전정부(B) 및 위저부(C)의 영상을 상기 영역분할 모델에 의해 각각 영역별로 분할한 분할결과는 각각 전벽, 후벽, 소만, 대만을 포함할 수 있다. 예를 들면, 특정부의 영상이 위체부일 때, 상기 영역분할 모델이 동작하여 전벽, 후벽, 소만, 대만이 화면에 표시되고, 병변을 기록하는 경우 위체부-전벽, 또는 위체부-전벽, 대만 연결부근과 같이 표시될 수 있다.
한편, 도 5는 위내시경 프로브를 이용한 구강 및 인후두로부터 십이지장 제2부까지 촬영 과정중 병변 위치 자동 저장을 위한 인공지능 학습 모델의 동작 시퀀스를 나타낸 도면이다.
도 5를 참조하면, 이는 상기 도 1의 단계 S104에서 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장하는 것에 대한 것으로서, 먼저 촬영 영상이 입력되면 제1, 2, 3 모델을 이용하여 구강/인후두, 식도, 위식도 접합부 여부를 인식한다(단계 S501∼S504). 단계 S504의 판별에서 위식도 접합부가 아니면 단계 S501로 회귀하고, 위식도 접합부이면 제2, 3, 4 모델을 이용하여 위식도 접합부, 식도, 위체부 여부를 인식한다(단계 S505∼S508). 이때, 단계 S507의 판별에서 식도이면 단계 S501로 회귀한다. 또한, 단계 S508의 판별에서 위체부가 아니면 단계 S505로 회귀하고, 위체부이면 제3, 4, 5 모델을 이용하여 위체부, 위식도 접합부, 위전정부 여부를 인식한다(단계 S509∼S512). 이 과정에서 단계 S511의 판별에서 위식도 접합부이면, 단계 S505로 회귀한다. 또한, 단계 S512의 판별에서 위전정부가 아니면 단계 S509로 회귀하고, 위전정부이면 제4, 5, 8, 9 모델을 이용하여 위전정부, 위체부, 위 각부, 십이지장 구부 여부를 인식한다(단계 S513∼S517). 이 과정에서 단계 S515의 판별에서 위체부이면 단계 S509로 회귀하고, 단계 S516의 판별에서 위 각부이면 단계 S513로 회귀한다. 또한, 단계 S517의 판별에서 십이지장 구부가 아니면 단계 S513으로 회귀하고, 십이지장 구부이면 제5, 9, 10 모델을 이용하여 십이지장 구부, 위전정부, 십이지장 제2부 여부를 인식한다(단계 S518∼S521). 이 과정에서 단계 S520의 판별에서 위전정부이면 단계 S513으로 회귀한다. 또한, 단계 S521의 판별에서 십이지장 제2부가 아니면 단계 S518로 회귀하고, 십이지장 제2부이면 관찰 시작 위치에 도달한 것으로 인식한다.
도 6은 위내시경 프로브를 이용한 십이지장 제2부로부터 구강 및 인후두까지 촬영 과정중 병변 위치 자동 알림을 위한 인공지능 학습 모델의 동작 시퀀스를 나타낸 도면이다.
도 6을 참조하면, 이는 상기 도 1의 단계 S104에서 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 알리는 것에 대한 것으로서, 먼저 촬영 영상이 입력되면 제5, 9, 10 모델을 이용하여 십이지장 제2부, 십이지장 구부, 위전정부 여부를 인식한다(단계 S601∼S604). 이 과정에서 단계 S604의 판별에서 위전정부가 아니면 단계 S601로 회귀하고, 위전정부이면 제4, 5, 8, 9 모델을 이용하여 위전정부, 십이지장 구부, 위 각부, 위체부 여부를 인식한다(단계 S605∼S609). 이 과정에서 단계 S607의 판별에서 십이지장 구부이면 단계 S601로 회귀하고, 단계 S608의 판별에서 위 각부이면 단계 S605로 회귀한다. 또한, 단계 S609의 판별에서 위체부가 아니면 단계 S605로 회귀하고, 위체부이면 제3, 4, 5, 6, 7 모델을 이용하여 위체부, 위전정부, 위체부, 위분문부, 위식도 접합부 여부를 인식한다(단계 S610∼S615). 이 과정에서 단계 S612의 판별에서 위전정부이면 단계 S605로 회귀하고, 단계 S613의 판별에서 위저부이면 단계 S610으로 회귀하며, 단계 S614의 판별에서 위분문부이면 단계 S610으로 회귀한다. 그리고 단계 S615의 판별에서 위식도 접합부가 아니면 단계 S610으로 회귀하고, 위식도 접합부이면 제2, 3, 4 모델을 이용하여 위식도 접합부, 위체부, 식도여부를 인식한다(단계 S616∼S619). 이 과정에서 단계 S618의 판별에서 위체부이면 단계 S610으로 회귀한다. 그리고 단계 S619의 판별에서 식도가 아니면 단계 S616으로 회귀하고, 식도이면 제1, 2, 3 모델을 이용하여 식도, 위식도 접합부, 구강/인후두 여부를 인식한다(단계 S620∼S623). 이 과정에서 단계 S622의 판별에서 위식도 접합부이면 단계 S616으로 회귀하고, 단계 S623의 판별에서 구강, 인후두가 아니면 단계 S620으로 회귀하며, 구강, 인후두이면 검사 종료 여부를 판별한다(단계 S624). 이 판별에서 검사 종료가 아니면 단계 S620으로 회귀하고, 검사 종료이면 동작 시퀀스를 종료한다.
이상과 같은 일련의 과정에 있어서, 전술한 바와 같이 위체부, 위전정부, 위저부의 영역을 영상 분류가 아닌 영역 분할 방식으로 세밀하게 전벽/후벽, 소만/대만 영역으로 구분하여 병변의 위치를 나타낼 수 있다.
또한, 내시경 검사에서 "천공"과 같은 위험 상태를 자동으로 발견하여 검사자에게 알려주게 되며, 이에 따라 검사 과정에서 있을 수 있는 위험을 줄일 수 있게 된다.
이상의 설명과 같이, 본 발명에 따른 인공지능(AI) 기반의 위내시경 영상 분석 방법은 위내시경 영상을 인공지능(AI) 학습 모델에 입력하여 분석함으로써, 진행되고 있는 위내시경 검사에서의 해부학적 위치를 자동으로 인식하고, 대상 부위 및 인접한 부위에 대한 병변의 위치를 기록 및 알려줄 수 있는 장점이 있다.
또한, 위내시경 검사의 경험이 적은 검사자에게 위험이 될 수 있는 상황을 미리 알려줌으로써 검사의 안전성을 확보할 수 있는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 위내시경 촬영 영상을 컴퓨터로 입력받아 컴퓨터에 구축되어 있는 인공지능 학습 모델에 의해 위내시경 영상을 분석하는 방법으로서,
    a) 위내시경 촬영 영상에 대한 인공지능 기반의 복수의 영상 분류 모델을 구성하는 단계와;
    b) 상기 복수의 영상 분류 모델에 대한 각각의 학습 데이터를 구성하여 복수의 영상 분류 모델을 학습시키는 단계와;
    c) 위내시경 프로브를 이용하여 구강 및 인후두로부터 십이지장 제2부까지 또는 상기 십이지장 제2부로부터 상기 구강 및 인후두까지 위의 각 부위에 대해 관찰 또는 촬영하는 단계와;
    d) 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위(胃)의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장 또는 알리며, 위내시경 검사에서 촬영 및 저장이 권장되는 부위에 대한 영상을 촬영했는지를 검증하는 단계; 및
    e) 상기 촬영된 위내시경 영상 중 특정부의 영상을 영역분할 모델에 의해 각각 영역별로 분할하여 분할결과로서 대상 클래스 수와 같은 수의 분할 맵을 출력하는 단계를 포함하고,
    상기 단계 a)에서 상기 복수의 영상 분류 모델을 구성함에 있어서, 대상 부위와 인접한 부위로 분류되도록 영상 분류 모델을 구성하되, 제1 분류 모델 내지 제10 분류 모델로 분류하여 영상 분류 모델을 구성하며,
    상기 단계 e)에서 상기 특정부의 영상은 위체부, 위전정부 및 위저부의 영상을 포함하고,
    상기 위체부, 위전정부 및 위저부의 영상을 상기 영역분할 모델에 의해 각각 영역별로 분할한 분할결과는 각각 전벽, 후벽, 소만, 대만을 포함하는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  2. 제1항에 있어서,
    상기 단계 b)에서 상기 복수의 영상 분류 모델의 학습 데이터를 구성하되, 위내시경 촬영 영상에서 각 대상 부위와 인접한 부위로 분류되도록 학습 데이터를 각각 구성하는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  3. 제1항에 있어서,
    상기 제1 분류 모델은 대상 부위는 구강/인후두, 인접한 부위는 식도, 위식도 접합부로 구성되고, 제2 분류 모델은 대상 부위는 식도, 인접한 부위는 구강, 위식도 접합부로 구성되는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  4. 제3항에 있어서,
    상기 제3 분류 모델은 대상 부위는 위식도 접합부, 인접한 부위는 식도, 위체부로 구성되고, 제4 분류 모델은 대상 부위는 위체부, 인접한 부위는 위분문부, 위저부, 위전정부로 구성되는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  5. 제4항에 있어서,
    상기 제5 분류 모델은 대상 부위는 위전정부, 인접한 부위는 위분문부, 위저부, 위체부로 구성되고, 제6 분류 모델은 대상 부위는 위저부, 인접한 부위는 위분문부, 위체부, 위전정부로 구성되는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  6. 제5항에 있어서,
    상기 제7 분류 모델은 대상 부위는 위분문부, 인접한 부위는 위저부, 위체부, 위전정부로 구성되고, 제8 분류 모델은 대상 부위는 위각부, 인접한 부위는 위분문부, 위저부, 위체부, 위전정부로 구성되는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  7. 제6항에 있어서,
    상기 제9 분류 모델은 대상 부위는 십이지장 구부, 인접한 부위는 십이지장 제2부, 위전정부로 구성되고, 제10 분류 모델은 대상 부위는 십이지장 제2부, 인접한 부위는 십이지장 구부, 위전정부로 구성되는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  8. 제1항에 있어서,
    상기 단계 c)에서 상기 십이지장 제2부로부터 구강, 인후두까지 위의 각 부위에 대해 촬영함에 있어서, 십이지장 제2부 → 십이지장 구부 → 유문륜 → 위전정부 → 위각부 → 위체부 → 위저부 → 위분문부 → 식도 → 구강, 인후두 순서로 촬영하는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  9. 제7항에 있어서,
    상기 단계 d)에서 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장함에 있어서, 상기 구강 및 인후두로부터 상기 십이지장 제2부까지 촬영 과정 중 병변 위치의 자동 저장을 위해 상기 제1, 제2, 제3 분류 모델을 이용하여 구강/인후두, 식도, 위식도 접합부를 분류 및 인식하고, 상기 제2, 제3, 제4 분류 모델을 이용하여 위식도 접합부, 식도, 위체부를 분류 및 인식하며, 상기 제3, 제4, 제5 분류 모델을 이용하여 위체부, 위식도 접합부, 위전정부를 분류 및 인식하고, 상기 제4, 제5, 제8, 제9 분류 모델을 이용하여 위전정부, 위체부, 위 각부, 십이지장 구부를 분류 및 인식하며, 상기 제5, 제9, 제10 분류 모델을 이용하여 십이지장 구부, 위전정부, 십이지장 제2부를 분류 및 인식하는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  10. 제7항에 있어서,
    상기 단계 d)에서 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 알림에 있어서, 상기 십이지장 제2부로부터 상기 구강 및 인후두까지 촬영 과정 중 병변 위치의 알림을 위해 상기 제5, 제9, 제10 분류 모델을 이용하여 십이지장 제2부, 십이지장 구부, 위전정부를 분류 및 인식하고, 상기 제4, 제5, 제8, 제9 분류 모델을 이용하여 위전정부, 십이지장 구부, 위 각부, 위체부를 분류 및 인식하며, 상기 제3, 제4, 제5, 제6, 제7 분류 모델을 이용하여 위체부, 위전정부, 위저부, 위분문부, 위식도 접합부를 분류 및 인식하고, 상기 제2, 제3, 제4 분류 모델을 이용하여 위식도 접합부, 위체부, 식도를 분류 및 인식하며, 상기 제1, 제2, 제3 분류 모델을 이용하여 식도, 위식도 접합부, 구강/인후두를 분류 및 인식하는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  11. 제1항에 있어서,
    상기 단계 d)에서 상기 위내시경 검사에서 촬영 및 저장이 권장되는 부위는 위식도 접합부, 위 각부, 위전정부, 십이지장 구부를 포함하는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
  12. 제1항에 있어서,
    상기 단계 d)에서 상기 촬영 중 촬영된 영상에 대하여 상기 복수의 영상 분류 모델을 이용하여 위(胃)의 해부학적 위치를 자동으로 분류 및 인식하고, 병변 위치를 자동으로 저장 또는 알림에 있어서, 십이지장과 위전정부의 유문부에서 천공의 원인이 될 수 있는 병변 또는 천공을 자동으로 분석하여 알리는 인공지능(AI) 기반의 위내시경 영상 분석 방법.
PCT/KR2021/010186 2020-08-10 2021-08-04 인공지능 기반의 위내시경 영상 분석 방법 WO2022035119A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/020,232 US20230301503A1 (en) 2020-08-10 2021-08-04 Artificial intelligence-based gastroscopic image analysis method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200100030A KR102255311B1 (ko) 2020-08-10 2020-08-10 인공지능 기반의 위내시경 영상 분석 방법
KR10-2020-0100030 2020-08-10

Publications (1)

Publication Number Publication Date
WO2022035119A1 true WO2022035119A1 (ko) 2022-02-17

Family

ID=76152540

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010186 WO2022035119A1 (ko) 2020-08-10 2021-08-04 인공지능 기반의 위내시경 영상 분석 방법

Country Status (3)

Country Link
US (1) US20230301503A1 (ko)
KR (1) KR102255311B1 (ko)
WO (1) WO2022035119A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102255311B1 (ko) * 2020-08-10 2021-05-24 주식회사 웨이센 인공지능 기반의 위내시경 영상 분석 방법
KR20230097646A (ko) 2021-12-24 2023-07-03 주식회사 인피니트헬스케어 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
KR20230163723A (ko) * 2022-05-24 2023-12-01 주식회사 아이도트 내시경 검사 판독 보조 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046530A (ko) * 2017-10-26 2019-05-07 아주대학교산학협력단 캡슐내시경의 위치 추적 방법 및 장치
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
KR20190117187A (ko) * 2018-04-06 2019-10-16 주식회사 뷰노 의료 영상을 시각화하는 방법 및 이를 이용한 장치
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
JP2020078539A (ja) * 2018-06-22 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
KR102255311B1 (ko) * 2020-08-10 2021-05-24 주식회사 웨이센 인공지능 기반의 위내시경 영상 분석 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102210806B1 (ko) 2018-10-02 2021-02-01 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046530A (ko) * 2017-10-26 2019-05-07 아주대학교산학협력단 캡슐내시경의 위치 추적 방법 및 장치
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
KR20190117187A (ko) * 2018-04-06 2019-10-16 주식회사 뷰노 의료 영상을 시각화하는 방법 및 이를 이용한 장치
JP2020078539A (ja) * 2018-06-22 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
KR102255311B1 (ko) * 2020-08-10 2021-05-24 주식회사 웨이센 인공지능 기반의 위내시경 영상 분석 방법

Also Published As

Publication number Publication date
KR102255311B1 (ko) 2021-05-24
US20230301503A1 (en) 2023-09-28
KR102255311B9 (ko) 2021-11-19

Similar Documents

Publication Publication Date Title
WO2022035119A1 (ko) 인공지능 기반의 위내시경 영상 분석 방법
WO2020071677A1 (ko) 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
JP7037220B2 (ja) 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7017198B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2020071678A2 (ko) 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
BR112020008774A2 (pt) Aparelho para auxiliar no diagnóstico por imagem, método para a coleta de dados, método para auxiliar no diagnóstico por imagem e programa para auxiliar no diagnóstico por imagem
WO2019245009A1 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN107767365A (zh) 一种内窥镜图像处理方法及系统
KR20080020652A (ko) 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체
CN111986196B (zh) 一种消化道胶囊内镜滞留自动监测方法及系统
Li et al. Intelligent detection endoscopic assistant: An artificial intelligence-based system for monitoring blind spots during esophagogastroduodenoscopy in real-time
CN109493340A (zh) 一种胃镜下食管胃底静脉曲张辅助诊断系统及方法
JPWO2019088178A1 (ja) 生検支援装置、内視鏡装置、生検支援方法、及び生検支援プログラム
CN108937871A (zh) 一种消化道微光学相干断层成像图像分析系统及方法
CN103593655A (zh) 无线胶囊内窥镜图像识别方法及系统
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
JP2021065606A (ja) 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
CN114451848B (zh) 内窥镜胶囊轨迹引导方法、装置及系统
WO2020204639A1 (ko) 소화관 스캔 장치, 인체 스캔 장치 및 그 인체 스캔방법, 음향 기반 소화기관 모니터링 시스템
WO2018164342A1 (ko) 수면내시경을 이용한 수면호흡장애 모니터링 및 진단 시스템 및 수면호흡장애 진단 및 모니터링방법
CN112862754A (zh) 一种基于智能识别的留图漏检提示系统和方法
WO2022191643A1 (ko) 딥러닝을 이용한 위내시경 검사의 신뢰성을 향상시킬 수 있는 위내시경 시스템
CN202408820U (zh) 具有电子ccd摄像系统和多普勒激光系统的胶囊小肠镜系统
WO2021118084A2 (ko) 유방암 자가 검진 서버 및 그 방법
CN104665756B (zh) 一种体内微型传感器图像采集处理装置及其处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21856125

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 10/07/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21856125

Country of ref document: EP

Kind code of ref document: A1