WO2020071677A1 - 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 - Google Patents

위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법

Info

Publication number
WO2020071677A1
WO2020071677A1 PCT/KR2019/012448 KR2019012448W WO2020071677A1 WO 2020071677 A1 WO2020071677 A1 WO 2020071677A1 KR 2019012448 W KR2019012448 W KR 2019012448W WO 2020071677 A1 WO2020071677 A1 WO 2020071677A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
image
data set
neural network
gastric
Prior art date
Application number
PCT/KR2019/012448
Other languages
English (en)
French (fr)
Inventor
조범주
방창석
박세우
이재준
최재호
홍석환
유용탁
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to US17/278,962 priority Critical patent/US20220031227A1/en
Priority to JP2021516756A priority patent/JP2022502150A/ja
Priority to CN201980064309.8A priority patent/CN112789686A/zh
Publication of WO2020071677A1 publication Critical patent/WO2020071677A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4216—Diagnosing or evaluating gastrointestinal ulcers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an apparatus and method for diagnosing gastric lesions using deep learning of gastroscopy images.
  • Cancer is the proliferation of cells that cannot be suppressed, and the importance of diagnosis and treatment is very important because it destroys the structure and function of normal cells and organs.
  • Cancer is a disease in which cells proliferate indefinitely and interfere with normal cell function, and lung cancer, gastric cancer (GC), breast cancer (BRC), colorectal cancer (CRC), etc. are typical, but practically Can occur in any organization.
  • Early cancer diagnosis was based on the external change of biological tissue according to the growth of cancer cells, but recently, diagnosis using trace biomolecules present in tissues or cells of organisms such as blood, glyco chains, DNA, etc. And detection is being attempted.
  • the most commonly used cancer diagnosis method is a diagnosis using a tissue sample obtained through a biopsy or using an image.
  • Stomach cancer is a common occurrence in Korea and Japan, and is low in the western United States and Europe. In Korea, the incidence rate is 1st and the mortality rate is 2nd after lung cancer. Looking at the classification of gastric cancer, 95% of the total is adenocarcinoma that occurs in the glandular cells of the mucous membrane of the stomach wall. Other lymphomas in the lymphatic system and gastrointestinal stromal tumors in the interstitial tissue.
  • biopsy of the body causes great pain to the patient, and it is not only expensive, but also takes a long time to diagnose.
  • the patient has actual cancer, there is a risk that metastasis of the cancer may be induced during the biopsy, and in the case where a tissue sample cannot be obtained through a biopsy, the tissue suspected through surgical surgery.
  • a disadvantage in that it is impossible to diagnose a disease before extraction is performed.
  • cancer is determined based on an X-ray image, a nuclear magnetic resonance (NMR) image obtained using a contrast agent having a disease target material attached thereto, and the like.
  • NMR nuclear magnetic resonance
  • an imaging diagnosis may have a misdiagnosis depending on the proficiency of a clinician or a reader, and has a drawback that is highly dependent on the precision of a device for obtaining an image.
  • even the most precise instruments cannot detect tumors of several millimeters or less in size, making it difficult to detect tumors at an early stage of onset.
  • a patient or a disease-bearing person is exposed to high-energy electromagnetic waves capable of causing a mutation of a gene, which may cause another disease and have a limitation in limiting the number of diagnosis through imaging. .
  • the doctor For existing neoplasms of the stomach, the doctor first judged whether the cancer was gastric, taking into account the shape and size of the inside of the stomach included in the endoscopic image through a gastroscopy, and confirmed by biopsy.
  • this method has different experiences for each doctor, and thus, diagnosis can be made differently, and an accurate diagnosis cannot be made in an area without a doctor.
  • the discovery of abnormal lesions obtained through an endoscopic device is generally determined by the abnormal shape of the lesion or the color change of the mucous membrane, and the diagnostic accuracy is known to be improved by training and optical techniques and chromoendoscopy.
  • Endoscopic imaging techniques such as narrow band imaging, confocal imaging, and magnification techniques (so-called image-enhanced endoscopy) is known to improve diagnostic accuracy.
  • the present application is to solve the above-mentioned problems of the prior art, and provides a device for diagnosing gastric lesions that collects white light gastroscopy images (images) obtained from an endoscope imaging device and applies it to a deep learning algorithm to diagnose gastric lesions.
  • the purpose is to do.
  • the present application is to solve the problems of the prior art described above, and an object of the present invention is to provide a device for diagnosing gastric lesions capable of providing a deep learning model for automatically classifying gastric tumors based on gastroscopy.
  • the present application is intended to solve the problems of the prior art described above, and a doctor (user) can diagnose gastric tumors that may be overlooked by evaluating in real time a plurality of image data obtained when examining gastric tumors using an endoscopic device. It is an object of the present invention to provide a diagnosis device for gastric lesions.
  • the present invention is to solve the above-described problems of the prior art, and to provide a gastric lesion diagnosis apparatus capable of automatically diagnosing and predicting gastric cancer or gastric dysplasia by automatically classifying gastric neoplasm based on gastric endoscopy images obtained in real time. The purpose.
  • a method of diagnosing a gastric lesion in an endoscopic image comprises obtaining a plurality of gastric lesion images, and linking the plurality of gastric lesion images and patient information To create a data set, pre-processing the data set to be applicable to a deep learning algorithm, artificial neural network through learning to input the data set that has undergone a pre-processing process as an input and output the items related to the classification result of the lesion. It may include the step of building.
  • the method for diagnosing gastric lesions in an endoscopic image may further include performing gastric lesion diagnosis through the artificial neural network after the pre-processing of a new data set.
  • the data set is classified into a learning data set required for learning the artificial neural network and a verification data set for verifying the progress of learning of the artificial neural network. You can create a set.
  • the verification data set according to an embodiment of the present application may be a data set that does not overlap with the learning data set.
  • the verification data set according to an embodiment of the present application may be data used for performance evaluation of the artificial neural network when the new data set is input to the artificial neural network after the pre-processing process.
  • the image acquiring step may receive a gastric lesion image obtained from a photographing device provided in the endoscope device.
  • a peripheral region of the image that does not include the gastric lesion is centered around the gastric lesion using the gastric lesion image included in the data set, and the deep learning algorithm Cropping to a size that can be applied to, step of shifting the image of the gastric lesion in the vertical direction, up and down and left and right, rotating the image of the gastric lesion, and flipping the image of the gastric lesion And color adjustment of the gastric lesion image, wherein the gastric lesion image may be preprocessed to a state applicable to the deep learning algorithm by performing at least one of a plurality of preprocessing processes.
  • the pre-processing according to an embodiment of the present application further includes amplifying the image data for increasing the number of data of the stomach lesion image data, wherein the amplifying the image data comprises:
  • the above lesion image data may be amplified by applying at least one of rotation, flipping, cropping, and noise mixing.
  • the step of constructing the artificial neural network includes: a convolutional neural network that uses the data set that has undergone the pre-processing process as an input and outputs an item related to the classification result of the above lesion; You can build a diagnostic model through learning of fully-connected neural networks.
  • the data set that has been subjected to the pre-processing according to an embodiment of the present application may be an input of the synthetic neural network, and the deeply connected deep neural network may be an output of the synthetic neural network and the patient information as an input.
  • the composite neural network according to an embodiment of the present application outputs a plurality of feature patterns from the plurality of stomach lesion images, and the plurality of feature patterns may be finally classified by a deep connection deep neural network.
  • the step of constructing the artificial neural network applies training data to a deep learning algorithm structure including convolutional neural networks and fully-connected neural networks.
  • the result can be fed back and learned through a backpropagation algorithm that gradually changes the weight of the neural network structure corresponding to the error.
  • the step of performing the gastric lesion diagnosis according to an embodiment of the present application includes advanced gastric cancer, early gastric cancer, high-grade dysplasia, and low-grade dysplasia. And non-neoplasm (non-neoplasm) at least any one of the gastric lesion diagnosis classification can be performed.
  • An apparatus for diagnosing a lesion in an endoscopic image includes: an image acquiring unit for acquiring a plurality of gastric lesion images, a data generating unit for generating a data set by linking the plurality of gastric lesion images and patient information, Includes a data pre-processing unit that pre-processes the data set to be applicable to deep learning algorithms and a learning unit that builds an artificial neural network through learning that inputs the data set that has undergone a pre-processing process as an input and outputs items related to the classification result of the lesion. can do.
  • the apparatus for diagnosing a lesion in an endoscopic image may further include a lesion diagnosis unit for performing gastric lesion diagnosis through the artificial neural network after the pre-processing of a new data set.
  • a doctor can learn a plurality of image data acquired during examination of a stomach tumor using an endoscope device in real time, and diagnose a stomach tumor that may be overlooked.
  • an objective and consistent reading result can be obtained by diagnosing and predicting a gastric lesion through a device for diagnosing a gastric endoscopic image obtained from an endoscopic imaging device, It reduces the likelihood of mistakes and misreads that can occur when the doctor can read them, and can be used as a clinical decision aid.
  • FIG. 1 is a schematic configuration diagram of a lesion diagnosis apparatus according to an embodiment of the present application.
  • FIG. 2 is a schematic block diagram of a lesion diagnosis apparatus according to an embodiment of the present application.
  • FIG. 3 is a view for explaining an embodiment of building an artificial neural network in the lesion diagnosis apparatus according to an embodiment of the present application.
  • FIG. 4 is an operation flowchart of a method for diagnosing a lesion according to an embodiment of the present application.
  • the present invention relates to an apparatus and method for diagnosing gastric lesions, including an in-depth learning model that classifies gastric tumors based on gastroscopy images obtained from an endoscopic device and evaluates its performance.
  • the present application can automatically diagnose the neoplasm of the stomach by reading a gastroscopy picture based on a convolutional neural network.
  • the present application applies a deep learning algorithm called a synthetic neural network to a gastroscopy photographic image data set, trains it with a computer, reads a newly entered gastroscopy, and automatically categorizes gastric neoplasms from the photo, thereby detecting gastric cancer or stomach cancer. Formation, etc. can be diagnosed or predicted.
  • a deep learning algorithm called a synthetic neural network
  • FIG. 1 is a schematic configuration diagram of a lesion diagnosis apparatus according to an embodiment of the present application.
  • the lesion diagnosis apparatus 10, the endoscope apparatus 20, and the display apparatus 23 may transmit and receive data (image, image, text) and various communication signals through a network.
  • the lesion diagnosis system 1 may include any kind of server, terminal or device having the function of storing and processing data.
  • An example of a network for sharing information between the lesion diagnosis apparatus 10, the endoscope apparatus 20, and the display apparatus 23 is a 3rd Generation Partnership Project (3GPP) network, a Long Term Evolution (LTE) network, a 5G network, and WIMAX ( World Interoperability for Microwave Access network, wired and wireless Internet, local area network (LAN), wireless local area network (WLAN), wide area network (WAN), personal area network (PAN), Bluetooth network, Wifi networks, NFC (Near Field Communication) networks, satellite broadcasting networks, analog broadcasting networks, DMB (Digital Multimedia Broadcasting) networks, etc. may be included, but are not limited thereto.
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • 5G Fifth Generation Partnership Project
  • WIMAX World Interoperability for Microwave Access network
  • wired and wireless Internet local area network
  • WLAN wireless local area network
  • WAN wide area network
  • PAN personal area network
  • Bluetooth network Wifi networks
  • NFC Near Field Communication
  • the endoscopic device 20 may be a device used for gastroscopy.
  • the endoscopic device 20 may include an operation portion 21 and a body portion 22.
  • the endoscope device 20 may include a body portion 22 inserted into the body and an operation portion 21 provided at a rear end of the body portion 22.
  • a part or the like may be included, and a channel corresponding to each of the plurality of units (parts) may be provided in the body part 22.
  • a biopsy channel may be provided in the insertion part, and an endoscopic operator may collect a tissue inside the body by inserting a scalpel into the biopsy channel.
  • a photographing unit that is, a camera
  • a small camera may be provided.
  • the imaging device may acquire an endoscope image over white light.
  • the imaging unit of the endoscopic device 20 may transmit the acquired stomach lesion image to the lesion diagnosis device 10 through a network.
  • the lesion diagnosis apparatus 10 may generate a control signal for controlling the biopsy unit based on the result of the above lesion diagnosis.
  • the biopsis unit may be a unit for collecting tissue inside the body. By collecting tissue inside the body, it is possible to judge the positive and negative of the tissue. In addition, cancer tissue can be removed by ablation of tissue inside the body.
  • the lesion diagnosis apparatus 10 may be included in the endoscopic apparatus 20 for obtaining a gastroscopy image and collecting tissue inside the body.
  • the gastroscopy image obtained in real time from the endoscopic device 20 is divided into at least one of items related to the gastric lesion diagnosis result as an input to an artificial neural network constructed through learning, and thus diagnosis and prediction of the gastric lesion is performed. It may be possible.
  • the endoscope device 20 may be formed in a capsule form.
  • the endoscopic device 20 may be formed in a capsule form, and inserted into the subject's body to obtain a gastroscopy image.
  • the capsule-type endoscope device 20 may also provide location information on whether the subject is located in the esophagus, stomach, small intestine, or large intestine.
  • the capsule-type endoscope device 20 is located in the body of the subject (patient) and can provide an image (image) acquired in real time to the lesion diagnosis apparatus 10 through a network.
  • the capsule-type endoscope device 20 provides not only the gastroscopy image, but also the location information from which the gastroscopy image was obtained, so that the classification result of the diagnosis of the lesion diagnosis apparatus 10 is advanced gastric cancer, early gastric cancer. If it belongs to at least one of (early gastric cancer), high-grade dysplasia and low-grade dysplasia, in other words, if it is a non-tumor-risk tumor, the user (physician) is the lesion By grasping the position of the can be made immediately excision.
  • the lesion diagnosis apparatus 10 receives the gastric lesion endoscope image obtained in real time from the endoscope apparatus 20 as an input to an algorithm generated through learning, and performs gastric lesion diagnosis, In 20), the suspected neoplastic lesion can be excised using endoscopic mucosal resection or endoscopic submucosal resection.
  • the display device 23 may include, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical system (MEMS) display.
  • the display device 23 may display a gastroscopy image obtained from the endoscope device 20 and gastric lesion diagnosis information diagnosed from the lesion diagnosis device 10 to the user.
  • the display device 23 may include a touch screen, and may receive a touch, gesture, proximity, or hovering input using, for example, an electronic pen or a user's body part.
  • the display device 23 may output a stomach lesion image obtained from the endoscope device 20. In addition, the display device 23 may output the result of diagnosing the stomach lesion.
  • FIG. 2 is a schematic block diagram of an apparatus for diagnosing a lesion according to an embodiment of the present application
  • FIG. 3 is a diagram for explaining an example of constructing an artificial neural network in the apparatus for diagnosing a lesion according to an embodiment of the present application.
  • the lesion diagnosis apparatus 10 may include an image acquisition unit 11, a data generation unit 12, a data pre-processing unit 13, a learning unit 14, and a lesion diagnosis unit 15. have.
  • the configuration of the lesion diagnosis apparatus 10 is not limited to those disclosed above.
  • the lesion diagnosis apparatus 10 may further include a database for storing information.
  • the image acquisition unit 11 may acquire a plurality of stomach lesion images.
  • the image acquisition unit 11 may receive the above lesion image from the imaging device provided in the endoscope device 20.
  • the image acquiring unit 11 may acquire a gastric lesion image acquired by an endoscopic imaging device (digital camera) used for gastroscopy treatment.
  • the image acquisition unit 11 may collect an endoscopic white light image of the pathologically confirmed gastric lesion.
  • the image acquisition unit 11 may receive a plurality of stomach lesion images from a plurality of hospital image storage devices and a database system.
  • the image storage device of a plurality of hospitals may be a device that stores images of gastric lesions obtained when performing gastroscopy in multiple hospitals.
  • the image acquisition unit 11 may acquire an image (image) photographed by changing any one of an angle, a direction, and a distance of the first area on the subject.
  • the image acquisition unit 11 may acquire a gastric lesion image in JPEG format.
  • the lesion image above may be a 1280 x 640 pixel resolution with a 35-degree field style applied.
  • the image acquisition unit 11 may acquire an image in which individual identifier information for each stomach lesion image is removed.
  • the image acquisition unit 11 may acquire an image in which a lesion is located in the center and a black frame region is removed from the image of the lesion.
  • the image acquisition unit 11 may exclude the image when a low-quality or low-resolution image is acquired, such as out-of-focus, artifacts, and transliteration, in the image acquisition process. In other words, if the image acquisition unit 11 is not applicable to the deep learning algorithm, the image may be excluded.
  • the endoscope device 20 may control the imaging unit using the operation unit 21.
  • the manipulation unit 21 may receive an manipulation input signal from a user so that the photographing unit places the target lesion in the field of view.
  • the manipulation unit 21 may control the position of the photographing unit based on the manipulation input signal received from the user.
  • the manipulation unit 21 may be provided with an operation input signal for capturing the corresponding image, and generate a signal for capturing the upper lesion image.
  • the endoscope device 20 may be a device formed in the form of a capsule.
  • the capsule endoscopy device 20 is inserted into the human body of the subject (subject) and can be operated remotely.
  • the above lesion image obtained from the capsule endoscopy device can be obtained by imaging not only the image of the region that the user wants to capture, but also all images acquired by video shooting.
  • the capsule endoscope device 20 may include an imaging unit and an operating unit.
  • the photographing unit may be inserted into the human body and controlled inside the human body based on an operation signal of the manipulation unit.
  • the data generator 12 may generate a data set by linking a plurality of stomach lesion images and patient information.
  • the patient information may include various information such as the subject's (subject's) gender, age, height, weight, race, nationality, smoking amount, alcohol consumption, and family history.
  • patient information may include clinical information.
  • Clinical information may refer to all data used by a doctor making a diagnosis in a hospital for a specific diagnosis. In particular, it may be electronic medical record data including data including gender and age, specific treatment status data, salary claims, and prescription data generated in the course of treatment.
  • clinical information may include biological data data such as genetic information.
  • Biological data data may include personal health information with numerical data such as heart rate, electrocardiogram, momentum, oxygen saturation, blood pressure, weight, and sugar.
  • the patient information is data input to the fully connected neural network together with the result of the structure of the compound neural network structure in the learning unit 14 described below, and the effect of improving the accuracy can be expected by increasing the information other than the lesion image as an artificial neural network. have.
  • the data generation unit 12 may generate a learning data set and a verification data set for applying a deep learning algorithm.
  • a data set may be generated by classifying the data set into a training data set required for learning an artificial neural network and a verification data set for verifying progress information of learning of an artificial neural network.
  • the data generation unit 12 may classify an image to be used for a training data set and an image used for a verification data set randomly among the above lesion images obtained from the image acquisition unit 11.
  • the data generation unit 12 may use the rest of the data sets for verification as data sets for learning.
  • the data set for verification can be randomly selected.
  • the ratio of the verification data set and the learning data set may be determined by a preset reference value. In this case, the preset reference value may be set to 10% of the data set for verification and 90% of the data set for learning, but is not limited thereto.
  • the data generation unit 12 may generate a data set by classifying a training data set and a verification data set to prevent an overfitting condition. For example, due to the learning characteristics of the neural network structure, the data set for learning may be in an overfitting state, so the data generation unit 12 may utilize the verification data set to prevent the artificial neural network from being in an overfitting state. .
  • the verification data set may be a data set that does not overlap with the learning data set. Since the data for verification is data that has not been used for the construction of an artificial neural network, it is the first data encountered in the artificial neural network at the time of verification. Therefore, the verification data set may be a data set suitable for evaluating the performance of the artificial neural network when a new image (a new image not used for learning) is input.
  • the pre-processing unit 13 may pre-process the data set to be applicable to a deep learning algorithm.
  • the pre-processing unit 13 may pre-process the data set in order to increase recognition performance in a deep learning algorithm and minimize similarity between images between patients.
  • the deep learning algorithm may be composed of two parts: a convolutional neural network structure and a fully-connected neural network structure.
  • the pre-processing unit 13 may perform a 5-step pre-processing process.
  • the pre-processing unit 13 may perform a crop step.
  • an unnecessary portion of the edge black background
  • the pre-processing unit 13 may crop the lesion image by setting a randomly designated pixel size (eg, 299 x 299 pixels, 244 x 244 pixels).
  • the pre-processing unit 13 may crop the above lesion image to a size that can be applied to a deep learning algorithm.
  • the pre-processing unit 13 may perform a parallel shift step.
  • the pre-processing unit 13 may parallelly move the image of the lesion in the vertical direction.
  • the pre-processing unit 13 may perform a flipping step.
  • the pre-processing unit 13 may vertically flip the image of the upper lesion.
  • the pre-processing unit 13 may perform a process of inverting the image of the lesion in the vertical direction and then inverting in the horizontal direction.
  • the pre-processing unit 13 may perform a color adjustment step.
  • the pre-processing unit 13 may perform color adjustment of the image based on the extracted color using the average subtraction method as the average RGB value of the entire data set. Further, the pre-processing unit 13 may randomly adjust the color of the lesion image.
  • the pre-processing unit 13 may perform the pre-processing of all 5 steps to generate the lesion image as a data set applicable to a deep learning algorithm. In addition, the pre-processing unit 13 may generate at least one of the pre-processing steps of 5 steps to generate the lesion image as a data set applicable to a deep learning algorithm.
  • the pre-processing unit 13 may further perform an enlargement / resizing step.
  • the resizing step may be a step of enlarging and reducing the lesion image to a predetermined size.
  • the pre-processing unit 13 may include an amplifying unit (not shown) for amplifying image data for increasing the number of data of the above lesion image data.
  • the amplification unit may perform a data augmentation process based on a learning data set.
  • the amplification unit may perform a data augmentation process by applying at least one of rotation, flipping, cropping, and noise mixing of the lesion image.
  • the pre-processing unit 13 may perform a pre-processing process to correspond to a preset reference value.
  • the preset reference value may be a value arbitrarily designated by the user.
  • the preset reference value may be a value determined by the average value of the acquired lesion image.
  • the data set that has passed through the pre-processing unit 13 may be provided to the learning unit 14.
  • the learning unit 14 may build an artificial neural network through learning that inputs a data set that has undergone a pre-processing process as an input and outputs an item related to the result of classification of the lesion.
  • the learning unit 14 applies a deep learning algorithm consisting of two parts, a convolutional neural network structure and a fully-connected neural network structure, and results of classification of the above lesions.
  • a deep learning algorithm consisting of two parts, a convolutional neural network structure and a fully-connected neural network structure, and results of classification of the above lesions.
  • Can be output as A deeply connected deep neural network forms a two-dimensional connection horizontally and vertically between nodes, and there is no connection relationship between nodes located on the same layer, and a connection relationship exists only between nodes located on adjacent layers. It is a neural network.
  • the learning unit 14 may construct a training model through learning using a composite neural network as an input of a learning data set that has undergone pre-processing, and an output of the synthetic neural network as an input of a deeply connected deep neural network.
  • the composite neural network may extract a plurality of specific feature patterns analyzing the gastric lesion image. At this time, the extracted specific feature pattern may be used to make final classification in a deeply connected deep neural network.
  • Convolutional Neural Networks are a type of neural network mainly used in speech recognition and image recognition. It is configured to process multidimensional array data, and is specialized in multidimensional array processing such as color images. Therefore, in the field of image recognition, techniques using deep learning are mostly based on the synthetic neural network.
  • the composite neural network processes images by dividing them into several pieces rather than one piece of data. In this way, even if the image is distorted, partial characteristics of the image can be extracted, so that the correct performance is obtained.
  • the composite neural network may be formed of a plurality of layer structures. Elements constituting each layer may be composed of a convolutional layer, an activation function, a max pooling layer, an activation function, and a dropout layer.
  • the convolution layer acts as a filter called a kernel, and those that partially process the entire image (or the generated new feature pattern) can extract a new feature pattern of the same size as the image.
  • the composite product layer can easily correct values of the feature pattern through an activation function in the feature pattern.
  • the max pooling layer can reduce the size of the image by sampling and resizing some gastric lesion images.
  • the convolutional neural network passes through the convolutional layer and the max pooling layer, and the size of the feature pattern is reduced, but multiple feature patterns can be extracted through the use of multiple kernels.
  • the dropout layer may be a method in which some weights are not intentionally considered for efficient training when training weights of the composite neural network. Meanwhile, the dropout layer may not be applied in the case of actual testing through a trained model.
  • a plurality of feature patterns extracted from the synthetic neural network can be used to perform classification work by being transferred to the next step, a deeply connected deep neural network.
  • the composite neural network can control the number of layers.
  • the composite neural network can build a more stable model by adjusting the number of layers according to the amount of training data for model training.
  • the learning unit 14 performs a diagnostic (training) model through learning that uses a pre-processing learning data set as an input to the synthetic neural network, and outputs the synthetic neural network and patient information as an input of a fully connected deep neural network.
  • the learning unit 14 may allow the pre-processed image data to enter the composite neural network preferentially, and the result obtained through the synthetic neural network to enter the deeply connected deep neural network.
  • the learning unit 14 may allow features extracted arbitrarily to enter a deeply connected deep neural network without going through a synthetic neural network.
  • the patient information may include various information such as the subject's (subject's) gender, age, height, weight, race, nationality, amount of smoking, alcohol consumption, and family history.
  • patient information may include clinical information.
  • Clinical information may refer to all data used by a doctor making a diagnosis in a hospital for a specific diagnosis. In particular, it may be electronic medical record data including data including gender and age, specific treatment status data, salary claims, and prescription data generated in the course of treatment.
  • clinical information may include biological data data such as genetic information.
  • Biological data data may include personal health information with numerical data such as heart rate, electrocardiogram, momentum, oxygen saturation, blood pressure, weight, and sugar.
  • the patient information is data input into the fully connected neural network together with the result of the synthetic neural network structure in the learning unit 14, and the effect of improving accuracy than the result derived by using only the above lesion image by using the patient information as the artificial neural network Can be expected.
  • the learning unit 14 applies the training data to a deep learning algorithm structure (a structure formed of a deeply connected deep neural network through a synthetic neural network) and compares the error derived from the actual result and the neural network structure as much as it corresponds to the error.
  • the result can be fed back and learned through a backpropagation algorithm that gradually changes the weight of.
  • the backpropagation algorithm may be to adjust the weight from each node to the next node to reduce the error of the result (the difference between the actual value and the result value).
  • the learning unit 14 may be to derive a final diagnostic model by training a neural network using a training data set and a verification data set to obtain weight parameters.
  • the lesion diagnosis unit 15 may perform gastric lesion diagnosis through an artificial neural network after preprocessing a new data set.
  • the lesion diagnosis unit 15 may derive a diagnosis for new data using the final diagnosis model derived from the learning unit 14 described above.
  • the new data may be data including an image of a stomach lesion that the user wants to diagnose.
  • the new data set may be a data set generated by associating a new stomach lesion image with patient information.
  • the new data set may be preprocessed in a state applicable to a deep learning algorithm through a preprocessing process of the preprocessing unit 12. Thereafter, the pre-processed new data set is input to the learning unit 14 so that the stomach lesion image can be diagnosed based on the learning parameters.
  • the lesion diagnosis unit 15 includes advanced gastric cancer, early gastric cancer, high-grade dysplasia, and low-grade dysplasia. Diagnosis of the gastric lesion may be performed by any one of at least one of a tumor (non-neoplasm). In addition, the lesion diagnosis unit 15 may be classified into cancer and non-cancer. In addition, the lesion diagnosis unit 15 may be classified into two categories, neoplastic and non-neoplastic, to perform the above-described lesion classification. Neobiological classification may include AGC, EGC, HGD and LGD. Non-tumor categories may include gastritis, benign ulcers, malformations, polyps, intestinal epithelialization or lesions such as epithelial tumors.
  • the lesion diagnosis apparatus 10 automatically classifies and diagnoses ambiguous lesions by analyzing an image obtained by the endoscopy device 20 to reduce side effects caused by unnecessary biopsy or endoscopic resection to classify and diagnose ambiguous lesions In the case of neoplasms (dangerous tumors), endoscopic resection procedures may be performed.
  • the endoscope device 20 may include an operation unit 21, a body unit 22, a control unit 23, a lesion position acquisition unit 24, and a display unit 25.
  • the operation unit 21 is provided at the rear end of the body unit 22 and can be operated based on user input information.
  • the operation portion 21 is a portion gripped by an endoscopic operator, and can operate the body portion 22 inserted into the subject's body.
  • the operation unit 21 can operate the operations of a plurality of unit devices required for the endoscopic procedure accommodated by the body unit 22.
  • the manipulation unit 21 may include a rotation control unit.
  • the rotation control unit may include a portion in charge of a function for generating a control signal and a function for providing a rotational force (for example, a motor).
  • the operation unit 21 may include a button for operating the imaging unit (not shown).
  • the button is a button for controlling the position of the photographing unit (not shown), and may be for a user to change the position of the body unit 22 such as up, down, left, right, forward, and backward.
  • the body portion 22 is a portion that is inserted into the subject's body, and can accommodate a plurality of unit devices.
  • the plurality of unit devices includes a photographing unit (not shown) that photographs the subject's body, an air supply unit that supplies air to the body, a water supply unit that supplies water to the body, a lighting unit that irradiates light into the body, and tissues in the body It may include at least one of a biopsy unit for collecting or treating a part of the suction unit and suction units for inhaling air or foreign substances from the body.
  • the biopsy unit may include various medical devices such as a mass and a needle for collecting a part of tissue from a living body, and the biopsy unit such as a mass and a needle is inserted into the body through a biopsy channel by an endoscopic operator, and thus cells in the body. Can be collected.
  • various medical devices such as a mass and a needle for collecting a part of tissue from a living body
  • the biopsy unit such as a mass and a needle is inserted into the body through a biopsy channel by an endoscopic operator, and thus cells in the body. Can be collected.
  • the photographing unit may accommodate a camera having a size corresponding to the diameter of the body portion 22.
  • An imaging unit may be provided at the front end of the body 22 to take an image of the lesion and provide an image of the lesion taken by the lesion diagnosis unit 10 and the display unit 25 through a network. .
  • the control unit 23 may generate a control signal for controlling the operation of the body unit 22 based on the user's input information provided by the operation unit 21 and the diagnosis result of the lesion diagnosis apparatus 10.
  • the control unit 23 may generate a control signal that controls the operation of the body unit 22 to correspond to a corresponding button when a selection input from one of the buttons included in the operation unit 21 is received. For example, when the user inputs a button for advancing the body portion 22, the control unit 23 transmits a motion control signal so that the body portion 22 can advance the body of the object (patient) at a constant speed. Can be created.
  • the body portion 22 may advance in the body of the object (patient) based on the control signal of the control unit 23.
  • control unit 23 may generate a control signal for controlling the operation of the photographing unit (not shown).
  • the control signal for controlling the operation of the imaging unit (not shown) may be a signal for capturing the lesion image by the imaging unit (not shown) located in the lesion area.
  • the user can click the capture acquisition button when the imaging unit (not shown) located in a specific lesion area from the manipulation unit 21 wants to acquire an image.
  • the control unit 23 may generate a control signal to acquire an image in the lesion area of the imaging unit (not shown) based on the input information provided from the operation unit 21.
  • the control unit 23 may generate a control signal for acquiring a specific gastric lesion image from an image being photographed by a photographing unit (not shown).
  • control unit 23 may generate a control signal for controlling the operation of the biopsy unit for collecting a part of the tissue of the object based on the diagnosis result of the lesion diagnosis apparatus 10.
  • the control unit 23 includes at least one of advanced gastric cancer, early gastric cancer, high-grade dysplasia, and low-grade dysplasia. If it belongs to any one, it is possible to generate a control signal for controlling the operation of the unit in the bio-op so that the resection can be performed.
  • the biopsy unit may include various medical devices such as a mass and a needle for collecting a part of tissue from a living body, and the biopsy unit such as a mass and a needle is inserted into the body through a biopsy channel by an endoscopic operator, and thus cells in the body. Can be collected.
  • control unit 23 may generate a control signal for controlling the operation of the bio-op unit based on the user input signal provided from the operation unit 21.
  • the operation of collecting, excising, and removing cells in the body may be performed by the user using the manipulation unit 21.
  • the lesion location obtaining unit 24 may generate stomach lesion information by linking the stomach lesion image and location information provided by the imaging unit (not shown).
  • the location information may be location information where the body portion 22 is currently located in the body.
  • the lesion location obtaining unit 24 displays the stomach lesion image and location information.
  • the above lesion information can be generated.
  • the lesion location acquiring unit 24 may provide the user (doctor) with stomach lesion information generated by linking the acquired stomach lesion image with location information.
  • the lesion location acquiring unit 24 may provide the diagnosis result of the lesion diagnosis unit 10 and the above lesion information of the lesion location acquiring unit 24 to the user through the display unit 25, the procedure for resecting (removing) the corresponding lesion and the position of the lesion during surgery It can prevent situations where resection can be performed elsewhere.
  • control unit 23 generates a control signal for controlling the position of the bi-op unit when the bi-op unit is not located in the corresponding lesion position using the location information provided by the lesion position obtaining unit 24. You can.
  • the lesion diagnosis apparatus 10 may generate a control signal for controlling the biopsies unit, and collect or remove cells in the body, thereby performing a faster biopsy.
  • rapid treatment may be possible by immediately removing cells diagnosed with cancer in an endoscopic diagnosis process.
  • FIG. 4 is an operation flowchart for a method of diagnosing gastric lesions in an endoscopic image according to an embodiment of the present application.
  • the method of diagnosing the stomach lesion in the endoscopic image shown in FIG. 4 may be performed by the lesion diagnosis apparatus 10 described above. Therefore, even if omitted, the description of the lesion diagnosis apparatus 10 may be equally applied to a description of a method of diagnosing a stomach lesion in an endoscopic image.
  • the lesion diagnosis apparatus 10 may acquire a plurality of stomach lesion images.
  • the lesion diagnosis apparatus 10 may receive a stomach lesion image obtained from an imaging device provided in the endoscope apparatus 20.
  • the lesion image may be a white light image.
  • the lesion diagnosis apparatus 10 may generate a data set by linking a plurality of stomach lesion images and patient information.
  • the lesion diagnosis apparatus 10 may generate a data set by classifying the learning data set required for learning the artificial neural network and the verification data set for verifying progress information of learning of the artificial neural network.
  • the verification data set may be a data set that is not duplicated with the training data set.
  • the data set for verification may be data used for performance evaluation of the artificial neural network when the new data set is an input of the artificial neural network after a pre-processing process.
  • the lesion diagnosis apparatus 10 may preprocess the data set to be applicable to a deep learning algorithm.
  • the lesion diagnosis apparatus 10 uses the stomach lesion image included in the data set to cut the peripheral region of the image that does not include the stomach lesion centering on the stomach lesion, and performs a CROP process to cut to a size applicable to a deep learning algorithm. can do.
  • the lesion diagnosis apparatus 10 may shift the image of the lesion in the vertical, horizontal, and horizontal directions (Shift).
  • the lesion diagnosis apparatus 10 may flip the image of the stomach lesion.
  • the lesion diagnosis apparatus 10 may adjust the color of the lesion image.
  • the lesion diagnosis apparatus 10 may perform at least one of a plurality of preprocessing processes to preprocess the lesion image in a state applicable to a deep learning algorithm.
  • the lesion diagnosis apparatus 10 may amplify image data to increase the number of data of the stomach lesion image data.
  • the lesion diagnosis apparatus 10 may amplify the gastric lesion image data by applying at least one of rotation, flipping, cropping, and noise mixing of the gastric lesion image data to amplify the image data.
  • the lesion diagnosis apparatus 10 may go through a pre-processing process to build an artificial neural network through learning by inputting a data set and outputting an item regarding the result of classification of the lesion.
  • the lesion diagnosis apparatus 10 learns of convolutional neural networks and fully-connected neural networks that take a pre-processed data set as an input and output items related to the above lesion classification results. You can build a training model through.
  • the lesion diagnosis apparatus 10 may build a training model by using a data set that has undergone pre-processing as an input of a synthetic neural network, and a fully connected deep neural network as an input of output and patient information of a synthetic neural network.
  • the composite neural network outputs a plurality of feature patterns from a plurality of stomach lesion images, and the plurality of feature patterns may be finally classified by a deeply connected deep neural network.
  • the lesion diagnosis apparatus 10 may perform gastric lesion diagnosis through an artificial neural network after preprocessing a new data set.
  • the lesion diagnosis apparatus 10 is at least one of advanced gastric cancer, early gastric cancer, high-grade dysplasia, low-grade dysplasia, and non-neoplasm. Any one of the above can be used to diagnose gastric lesions.
  • steps S401 to S405 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present application.
  • some steps may be omitted if necessary, and the order between the steps may be changed.
  • a method of diagnosing a gastric lesion in an endoscopic image may be implemented in a form of program instructions that can be performed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. Includes hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
  • the above-described method for diagnosing gastric lesions in the endoscope image may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.

Abstract

내시경 이미지에서 위 병변을 진단하는 방법에 관한 것으로서, 내시경 이미지에서 위 병변을 진단하는 방법은 복수의 위 병변 이미지를 획득하는 단계, 상기 복수의 위 병변 이미지와 환자 정보 를 연계하여 데이터 세트를 생성하는 단계, 딥러닝 알고리즘에 적용 가능하도록 상기 데이터 세트를 전처리하는 단계, 전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통한 인공신경망을 구축하는 단계를 포함할 수 있다.

Description

위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
본원은 2018년 10월 2일자로 출원된 한국 특허출원 번호 제10-2018-0117823호에 대한 우선권주장출원으로서, 해당 출원의 명세서 및 도면에 개시된 모든 내용은 인용에 의해 본 출원에 원용된다.
본원은 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법에 관한 것이다.
인간의 몸을 구성하고 있는 가장 작은 단위인 세포는 정상적일 때 세포 내 조절기능에 의해 분열하며 성장하고 죽어 없어지기도 하면서 세포 수 균형을 유지한다. 어떤 원인으로 세포가 손상을 받는 경우, 치료를 받아 회복하여 정상적인 세포로 역할을 하게 되지만, 회복이 안 된 경우는 스스로 죽게 된다. 그러나 여러 가지 이유로 인해 이러한 증식과 억제가 조절되지 않는 비정상적인 세포들이 과다하게 증식할 뿐만 아니라 주위 조직 및 장기에 침입하여 종괴 형성 및 정상 조직의 파괴를 초래하는 상태를 암(cancer)이라 정의한다. 암은 이렇듯 억제가 안 되는 세포의 증식으로, 정상적인 세포와 장기의 구조와 기능을 파괴하기에 그 진단과 치료의 중요성은 매우 크다.
암은 세포가 무한히 증식해 정상적인 세포의 기능을 방해하는 질병으로, 폐암, 위암(gastric cancer, GC), 유방암(breast cancer, BRC), 대장암(colorectal cancer, CRC) 등이 대표적이나, 실질적으로는 어느 조직에서나 발생할 수 있다. 초창기 암 진단은 암 세포의 성장에 따른 생체 조직의 외적 변화에 근거하였으나, 근래에 들어 혈액, 당쇄(glyco chain), 디엔에이(DNA) 등 생물의 조직 또는 세포에 존재하는 미량의 생체 분자를 이용한 진단 및 검출이 시도되고 있다. 그러나 가장 보편적으로 사용되는 암 진단 방법은 생체 조직 검사를 통해 얻어진 조직 샘플을 이용하거나, 영상을 이용한 진단이다.
위암은 전 세계적으로 보면, 한국, 일본 등에서 많은 발생을 보이며 미국, 유럽 등의 서구에서는 발생률이 낮은 암이다. 한국의 경우 발생률 1위, 사망률은 폐암에 이어 2위를 차지하고 있다. 위암의 분류를 살펴보면 전체의 95%가 위벽의 점막의 샘세포에서 생기는 선암이다. 그 외 림프계에서 발생하는 림프종, 간질조직에서 발생하는 위장관 간질성 종양이 있다.
그 중 생체 조직 검사는 환자에게 큰 고통을 야기하며, 고비용이 들뿐만 아니라, 진단까지 긴 시간이 소요되는 단점이 있다. 또한, 환자가 실제 암에 걸린 경우, 생체 조직 검사 과정 중 암의 전이가 유발될 수 있는 위험이 있으며, 생체 조직 검사를 통해 조직 샘플을 얻을 수 없는 부위의 경우, 외과적인 수술을 통해 의심되는 조직의 적출이 이루어지기 전에는 질병의 진단이 불가능한 단점이 있다.
영상을 이용한 진단에서는 엑스레이(X-ray) 영상, 질병 표적 물질이 부착된 조영제를 사용하여 획득한 핵자기공명(nuclear magnetic resonance, NMR) 영상 등을 기반으로 암을 판정한다. 그러나 이러한 영상 진단은 임상의 또는 판독의의 숙련도에 따라 오진의 가능성이 있으며, 영상을 얻는 기기의 정밀도에 크게 의존하는 단점이 있다. 더 나아가, 가장 정밀한 기기조차도 수 mm 이하의 종양은 검출이 불가능하여, 발병 초기 단계에서는 검출이 어려운 단점이 있다. 또한, 영상을 얻기 위해 환자 또는 질병 보유 가능자가 유전자의 돌연변이를 유발할 수 있는 고에너지의 전자기파에 노출되므로, 또 다른 질병을 야기할 수 있을 뿐만 아니라, 영상을 통한 진단 횟수에 제한이 있는 단점이 있다.
조기 위암(ECG)의 대부분은 임상 증상이나 징후가 없으므로 스크리닝 전략없이 적시에 탐지하고 치료하기 어려운 문제점이 발생한다. 더불어 위의 이형성증과 같은 전암성병변을 가진 환자는 위암에 걸릴 상당한 위험이 있다.
기존의 위에 발생한 신생물은 의사가 위내시경을 통해 내시경 이미지에 포함된 위 내부의 형태 및 크기를 감안하여 위암 여부를 일차적으로 판단하고, 조직검사로 확진을 내렸다. 그러나, 이 방법은 의사마다 경험이 달라 진단을 다르게 내릴 수 있으며, 의사가 없는 지역에서는 정확한 진단이 이루어질 수 없는 문제점이 발생한다.
또한, 내시경 장치를 통해 획득된 비정상적인 병변의 발견은 일반적으로 병변의 이상 형태나 점막의 색 변화에 따라 결정되며, 진단 정확도는 훈련 및 광학 기술 및 chromoendoscopy으로 개선되는 것으로 알려졌다. 협대역 촬영 (narrow band imaging), 공초점형 이미징(confocal imaging) 및 확대 기술 (소위 이미지 강화 내시경)과 같은 내시경 이미징 기술의 적용은 진단 정확도를 향상시키는 것으로 알려져 있다.
그러나, 백색 내시경만 통한 검사가 가장 일상적인 검사 방식이며, 영상 강화 내시경검사에서 서버 간 및 내시경 내 변동성을 해결하기 위한 절차 및 해석 프로세스의 표준화가 필요한 실정이다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2018-0053957호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 내시경 촬영 장치에서 획득되는 백색광 위 내시경 이미지(영상)를 수집하고, 딥러닝 알고리즘에 적용하여 위 병변을 진단할 수 있는 위 병변 진단 장치를 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 위 내시경 영상을 기반으로 위 종양을 자동으로 분류하는 심층 학습 모델을 제공할 수 있는 위 병변 진단 장치를 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 의사(사용자)가 내시경 장치를 이용하여 위 종양을 검사시 획득하는 복수의 이미지 데이터를 실시간으로 평가하여, 지나칠 수 있는 위 종양을 진단할 수 있는 위 병변 진단 장치를 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 실시간으로 획득되는 위 내시경 이미지를 기반으로 위신생물을 자동으로 분류하여 위암 혹은 위이형성 등을 진단 및 예측할 수 있는 위 병변 진단 장치를 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 내시경 이미지에서 위 병변을 진단하는 방법은 복수의 위 병변 이미지를 획득하는 단계, 상기 복수의 위 병변 이미지와 환자 정보를 연계하여 데이터 세트를 생성하는 단계, 딥러닝 알고리즘에 적용 가능하도록 상기 데이터 세트를 전처리하는 단계, 전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통한 인공신경망을 구축하는 단계를 포함할 수 있다.
본원의 일 실시예에 따른 내시경 이미지에서 위 병변을 진단하는 방법은 신규 데이터 세트를 상기 전처리 과정을 거친 후 상기 인공신경망을 통해 위 병변 진단을 수행하는 단계를 더 포함할 수 있다.
본원의 일 실시예에 따른 상기 데이터 세트 생성 단계는, 상기 데이터 세트를 상기 인공신경망 학습에 요구되는 학습용 데이터 세트 및 상기 인공신경망의 학습의 진행 정도를 검증하기 위한 검증용 데이터 세트로 분류하여 상기 데이터 세트를 생성할 수 있다.
본원의 일 실시예에 따른 상기 검증용 데이터 세트는 상기 학습용 데이터 세트와 중복되지 않는 데이터 세트일 수 있다.
본원의 일 실시예에 따른 상기 검증용 데이터 세트는 신규 데이터 세트가 상기 전처리 과정을 거친 후 인공신경망의 입력으로 되는 경우, 상기 인공신경망의 성능 평가에 활용되는 데이터일 수 있다.
본원의 일 실시예에 따른 상기 이미지 획득 단계는, 상기 내시경 장치에 구비된 촬영 장치로부터 획득된 위 병변 이미지를 수신할 수 있다.
본원의 일 실시예에 따른 상기 전처리하는 단계는, 상기 데이터 세트에 포함된 위 병변 이미지를 이용하여 상기 위 병변을 중심으로 하여 상기 위 병변이 포함되지 않은 이미지의 주변부 영역을 자르고, 상기 딥러닝 알고리즘에 작용 가능한 사이즈로 자르는(crop) 단계, 상기 위 병변 이미지를 상하좌우 방향으로 평행 이동(shift)하는 단계, 상기 위 병변 이미지를 회전(rotation)하는 단계, 상기 위 병변 이미지를 뒤집는(flipping) 단계 및 상기 위 병변 이미지를 색상 조정(color adjustment)을 포함하되, 복수의 전처리 과정 중 적어도 어느 하나를 수행하여 상기 위 병변 이미지를 상기 딥러닝 알고리즘에 적용 가능한 상태로 전처리할 수 있다.
본원의 일 실시예에 따른 상기 전처리하는 단계는, 상기 위 병변 이미지 데이터의 데이터 수를 증가시키기 위한 이미지 데이터를 증폭하는 단계를 더 포함하되, 상기 이미지 데이터를 증폭하는 단계는 상기 위 병변 이미지 데이터의 회전, 뒤집기, 자르기 및 소음 섞기 중 적어도 어느 하나를 적용하여 상기 위 병변 이미지 데이터를 증폭할 수 있다.
본원의 일 실시예에 따른 상기 인공신경망을 구축하는 단계는, 상기 전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 상기 위 병변 분류 결과에 관한 항목을 출력으로 하는 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)의 학습을 통한 진단 모델을 구축할 수 있다.
본원의 일 실시예에 따른 상기 전처리 과정을 거친 데이터 세트는 상기 합성곱신경망의 입력으로 하고, 상기 완전연결 심층 신경망은 상기 합성곱신경망의 출력 및 상기 환자 정보를 입력으로 할 수 있다.
본원의 일 실시예에 따른 상기 합성곱신경망은 상기 복수의 위 병변 이미지로부터 복수의 특징 패턴을 출력하고, 상기 복수의 특징 패턴은 완전연결 심층 신경망에 의해 최종 분류될 수 있다.
본원의 일 실시예에 따른 상기 인공신경망을 구축하는 단계는, 트레이닝 데이터를 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)을 포함하는 딥러닝 알고리즘 구조에 적용시키고, 오차에 해당하는 만큼의 신경망 구조의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 알고리즘을 통해 결과가 피드백되어 학습되도록 할 수 있다.
본원의 일 실시예에 따른 상기 위 병변 진단을 수행하는 단계는, 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 상기 위 병변 진단 분류를 수행할 수 있다.
본원의 일 실시예에 따른 내시경 이미지에서 병변을 진단하는 장치는, 복수의 위 병변 이미지를 획득하는 이미지 획득부, 상기 복수의 위 병변 이미지와 환자 정보를 연계하여 데이터 세트를 생성하는 데이터 생성부, 딥러닝 알고리즘에 적용 가능하도록 상기 데이터 세트를 전처리하는 데이터 전처리부 및 전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망을 구축하는 학습부를 포함할 수 있다.
본원의 일 실시예에 따른 내시경 이미지에서 병변을 진단하는 장치는 신규 데이터 세트를 상기 전처리 과정을 거친 후 상기 인공신경망을 통해 위 병변 진단을 수행하는 병변 진단부를 더 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 내시경 촬영 장치에서 획득되는 백상광 위 내시경 이미지(영상)를 수집하고, 딥러닝 알고리즘에 적용하여 위 병변을 진단할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 위 내시경 영상을 기반으로 위 종양을 자동으로 분류하고 생성된 인공신경망을 평가하는 심층 학습 모델을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 의사(사용자)가 내시경 장치를 이용하여 위 종양을 검사시 획득하는 복수의 이미지 데이터를 실시간으로 학습하여, 지나칠 수 있는 위 종양을 진단할 있다.
전술한 본원의 과제 해결 수단에 의하면, 경험 있는 의사가 필요했던 기존 위 내시경 판독에 비해 내시경 촬영 장치로 획득된 이미지를 학습하고, 위 병변을 분류함으로써, 큰 폭의 비용 절감 및 인력 절감 효과가 있다.
전술한 본원의 과제 해결 수단에 의하면, 내시경 촬영 장치에서 획득된 위 내시경 이미지를 사기 위 병변을 진단하는 장치를 통해 위 병변을 진단 및 예측함으로써, 객관적이고, 일관적인 판독 결과를 획득할 수 있으며, 의사가 판독할 수 때 발생할 수 있는 실수 및 오독의 가능성을 줄이고, 임상결정 보조도구로서 사용될 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 병변 진단 장치의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 병변 진단 장치의 개략적인 블록도이다.
도 3은 본원의 일 실시예에 따른 병변 진단 장치에서 인공신경망을 구축하는 실시예를 설명하기 위한 도면이다.
도 4는 본원의 일실시예에 따른 병변 진단 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 내시경 장치로부터 획득되는 위 내시경 이미지를 기반으로 위 종양을 분류하고, 그 성능을 평가하는 심층 학습 모델을 포함하는 위 병변을 진단하는 장치 및 방법에 관한 것이다. 본원은 합성곱신경망(convolutional neural network)에 기반하여 위내시경 사진을 판독하여 자동으로 위의 신생물을 진단할 수 있다.
본원은 위내시경 사진 이미지 데이터 세트에 합성곱신경망이라는 딥러닝 알고리즘을 적용하여 컴퓨터로 학습시킨 뒤, 새로 입력되는 위내시경 사진을 판독하고, 이를 통해 해당 사진에서 위신생물을 자동으로 분류하여 위암 혹은 위이형성 등을 진단 혹은 예측할 수 있다.
도 1은 본원의 일 실시예에 따른 병변 진단 장치의 개략적인 구성도이다.
도 1을 참조하면, 병변 진단 장치(10), 내시경 장치(20) 및 디스플레이 장치(23)는 데이터(이미지, 영상, 텍스트) 및 각종 통신 신호를 네트워크를 통해 송수신할 수 있다. 병변 진단 시스템(1)은 데이터 저장 및 처리의 기능을 가지는 모든 종류의 서버, 단말 또는 디바이스를 포함할 수 있다.
병변 진단 장치(10), 내시경 장치(20) 및 디스플레이 장치(23) 간의 정보 공유를 위한 네트워크의 일 예로는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 유무선 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, Wifi 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함될 수 있으며, 이에 한정된 것은 아니다.
내시경 장치(20)는 위 내시경 검사 시 사용되는 장치일 수 있다. 내시경 장치(20)는 조작부(21) 및 몸체부(22) 를 포함할 수 있다. 내시경 장치(20)는 신체 내로 삽입되는 몸체부(22) 및 몸체부(22)의 후단에 마련된 조작부(21)를 포함할 수 있다. 몸체부(22)의 전단에는 신체 내부를 촬영하기 위한 촬영부, 촬영부위에 빛을 조사하기 위한 조명부, 촬영이 용이하도록 신체 내부를 세척하는 물 분사부, 신체 내의 이물질이나 공기 등을 흡입하는 석션부 등이 포함될 수 있으며, 몸체부(22) 내에는 이러한 복수의 유닛(부)들 각각에 대응하는 채널이 마련될 수 있다. 또한, 삽입부 내에는 바이옵시 채널(biopsy channel)이 마련될 수 있으며, 내시경 시술자는 이 바이옵시 채널로 메스를 삽입하여 신체 내부의 조직을 채취할 수 있다. 내시경 장치(20)에 구비된 신체 내부를 촬영하는 촬영부(즉, 카메라)의 경우에는, 소형 카메라가 구비될 수 있다. 촬영 장치는 백색광 위 내시경 이미지를 획득할 수 있다.
내시경 장치(20)의 촬영부는 획득된 위 병변 이미지를 병변 진단 장치(10)로 네트워크를 통해 송신할 수 있다. 병변 진단 장치(10)는 위 병변 진단 결과에 기반하여 바이옵시 유닛을 제어하기 위한 제어 신호를 생성할 수 있다. 바이옵시 유닛은 신체 내부의 조직을 채취하기 위한 유닛일 수 있다. 신체 내부의 조직을 채취함으로써, 해당 조직의 양성 및 음성을 판단할 수 있다. 또한, 신체 내부의 조직을 절제함으로써, 암 조직을 제거할 수 있다. 예시적으로, 병변 진단 장치(10)는 위 내시경 이미지를 획득하고, 신체 내부의 조직을 채취하는 내시경 장치(20)에 포함될 수 있다. 달리 말해, 내시경 장치(20)로부터 실시간으로 획득되는 위 내시경 이미지를, 학습으로 통하여 구축된 인공신경망에 입력으로 하여 위 병변 진단 결과에 관한 항목 중 적어도 어느 하나로 구분되어 위 병변에 대한 진단 및 예측이 가능할 수 있다.
본원의 다른 일 실시예에 따르면, 내시경 장치(20)는 캡슐형태로 형성될 수 있다. 예를 들어, 내시경 장치(20)는 캡슐형태로 형성되어, 피검자의 체내로 삽입되어 위 내시경 이미지를 획득할 수 있다. 캡슐형 내시경 장치(20)는 피검자의 식도, 위, 소장 및 대장 중 어디에 위치하는지에 대한 위치 정보도 함께 제공할 수 있다. 달리 말해, 캡슐형 내시경 장치(20)는 피검자(환자)의 체내에 위치하고, 실시간으로 획득되는 영상(이미지)을 네트워크를 통해 병변 진단 장치(10)로 제공할 수 있다. 이때, 캡슐형 내시경 장치(20)는 위 내시경 이미지뿐만 아니라, 위 내시경 이미지가 획득된 위치 정보를 함께 제공함으로써, 병변 진단 장치(10)의 진단 분류 결과가 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia) 및 저이형성증(low-grade dysplasia) 중 적어도 어느 하나에 속하는 경우, 달리 말해, 비종양 위험성 종양에 해당하는 경우, 사용자(의사)가 해당 병변의 위치를 파악하여 바로 절제술이 가능하도록 할 수 있다.
본원의 일 실시예에 따르면, 내시경 장치(20)에서 실시간으로 획득된 위 병변 내시경 이미지를 병변 진단 장치(10)는 학습을 통해 생성된 알고리즘에 입력으로 하여 위 병변 진단을 수행하고, 내시경 장치(20)는 신생물 의심 병변을 내시경 점막 절제술 또는 내시경 점막하박리술을 이용하여 해당 병변을 절제할 수 있다.
디스플레이 장치(23)는 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(MEMS) 디스플레이를 포함할 수 있다. 디스플레이 장치(23)는 사용자에게 내시경 장치(20)로부터 획득되는 위 내시경 이미지 및 병변 진단 장치(10)로부터 진단되는 위 병변 진단 정보를 표시할 수 있다. 디스플레이 장치(23)는 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근점 또는 호버링 입력을 수신할 수 있다. 디스플레이 장치(23)는 내시경 장치(20)에서 획득되는 위 병변 이미지를 출력할 수 있다. 또한, 디스플레이 장치(23)는 위 병변 진단 결과를 출력할 수 있다.
도 2는 본원의 일 실시예에 따른 병변 진단 장치의 개략적인 블록도이고, 도 3은 본원의 일 실시예에 따른 병변 진단 장치에서 인공신경망을 구축하는 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 병변 진단 장치(10)는 이미지 획득부(11), 데이터 생성부(12), 데이터 전처리부(13), 학습부(14) 및 병변 진단부(15)를 포함할 수 있다. 다만, 병변 진단 장치(10)의 구성이 앞서 개시된 것들로 한정되는 것은 아니다. 예를 들어, 병변 진단 장치(10)는 정보를 저장하기 위한 데이터베이스를 더 포함할 수 있다.
이미지 획득부(11)는 복수의 위 병변 이미지를 획득할 수 있다. 이미지 획득부(11)는 내시경 장치(20)에 구비된 촬영 장치로부터 위 병변 이미지를 수신할 수 있다. 이미지 획득부(11)는 위 내시경 진료에 사용되고 있는 내시경 촬영 장치(디지털 카메라)로 획득된 위 병변 이미지를 획득할 수 있다. 이미지 획득부(11)는 병리학적으로 확인된 위 병변의 내시경 백색광 이미지를 수집할 수 있다. 또한, 이미지 획득부(11)는 복수의 병원의 영상 보관 장치 및 데이터베이스 시스템으로부터 복수의 위 병변 이미지를 수신할 수 있다. 복수의 병원의 영상 보관 장치는, 다수의 병원에서 위 내시경 수행 시 획득된 위 병변 이미지를 저장한 장치일 수 있다.
또한, 이미지 획득부(11)는 피검사체의 위의 제1 영역을 각도, 방향 및 거리 중 어느 하나를 달리하여 촬영된 영상(이미지)을 획득할 수 있다. 이미지 획득부(11)는 JPEG 형식의 위 병변 이미지를 획득할 수 있다. 위 병변 이미지는 1280 x 640 픽셀의 해상도로 각도 35도 필드의 스타일을 적용한 것일 수 있다. 한편, 이미지 획득부(11)는 각 위 병변 이미지에 대한 개별 식별자 정보가 제거된 이미지를 획득할 수 있다. 이미지 획득부(11)는 중앙에 병변이 위치하고, 위 병변 이미지 중 검은색 프레임 영역이 제거된 이미지를 획득할 수 있다.
반면, 이미지 획득부(11)는 이미지 획득 과정에서 초점 이탈, 인공물, 음역 등 품질이 낮거나 낮은 해상도의 이미지가 획득되는 경우, 해당 이미지를 배제할 수 있다. 달리 말해, 이미지 획득부(11)는 딥러닝 알고리즘에 적용 가능하지 않은 이미지인 경우, 해당 이미지를 배제할 수 있다.
본원의 일 실시예에 따르면, 내시경 장치(20)는 조작부(21)를 이용하여 촬영부를 제어할 수 있다. 조작부(21)는 촬영부가 목표 병변의 위치가 시야에 놓이게 하기 위해 사용자로부터 조작 입력 신호를 수신할 수 있다. 조작부(21)는 사용자로부터 입력받는 조작 입력 신호에 기반하여 촬영부의 위치를 제어할 수 있다. 또한, 조작부(21)는 촬영부의 시야가 목표 병변에 위치하는 경우, 해당 이미지를 캡처하기 위한 조작 입력 신호를 제공받고, 해당 위 병변 이미지를 캡처하기 위한 신호를 생성할 수 있다.
본원의 다른 일 실시예에 따르면, 내시경 장치(20)는 캡슐 형태로 형성된 장치일 수 있다. 캡슐 내시경 장치(20)는 대상자(피검자)의 인체 내부에 삽입되고, 원격에서 조작될 수 있다. 캡슐 내시경 장치로부터 획득되는 위 병변 이미지는 사용자가 캡처를 원하는 영역의 이미지뿐만 아니라, 동영상 촬영으로 획득되는 모든 영상을 이미지화하여 획득할 수 있다. 캡슐 내시경 장치(20)는 촬영부 및 조작부를 포함할 수 있다. 촬영부는 인체 내부에 삽입되고, 조작부의 조작 신호에 기반하여 인체 내부에서 제어될 수 있다.
데이터 생성부(12)는 복수의 위 병변 이미지와 환자 정보를 연계하여 데이터 세트를 생성할 수 있다. 환자 정보는 대상자(피검자)의 성별, 나이, 키, 몸무게, 인종, 국적, 흡연량, 음주량, 가족력 등의 다양한 정보를 포함할 수 있다. 또한, 환자 정보는 임상 정보를 포함할 수 있다. 임상정보란 병원에서 진단을 내리는 의사가 특정 진단에 활용하는 모든 데이터를 의미할 수 있다. 특히, 진료과정에서 생성되는 성별, 나이를 포함하는 자료, 특정 치료 여부 자료, 급여 청구 및 처방 자료 등을 포함하는 전자 의무 기록 자료일 수 있다. 또한, 임상정보는 유전자 정보와 같은 생물학적 데이터 자료를 포함할 수 있다. 생물학적 데이터 자료는 심박수, 심전도, 운동량, 산소포화도, 혈압, 체중, 당료와 같은 수치적 데이터를 갖는 개인 건강 정보를 포함할 수 있다.
환자 정보는 이하 설명되는 학습부(14)에서 합성곱신경망 구조의 결과물과 함께 완전 연결 신경망에 입력되는 데이터이며, 위 병변 이미지 외의 정보를 인공신경망을 입력으로 함으로써 보다 정확도를 향상시키는 효과를 기대할 수 있다.
또한, 데이터 생성부(12)는 딥러닝 알고리즘 적용을 위한 학습용 데이터 세트 및 검증용 데이터 세트를 생성할 수 있다. 데이터 세트를 인공신경망 학습에 요구되는 학습용 데이터 세트 및 인공신경망의 학습의 진행 정보를 검증하기 위한 검증용 데이터 세트로 분류하여 데이터 세트를 생성할 수 있다. 일예로, 데이터 생성부(12)는 이미지 획득부(11)로부터 획득된 위 병변 이미지 중 랜덤하게 학습용 데이터 세트에 활용될 이미지 및 검증용 데이터 세트에 활용된 이미지를 분류할 수 있다. 또한, 데이터 생성부(12)는 검증용 데이터 세트를 선택한 나머지를 데이터 세트를 학습용 데이터 세트로 사용할 수 있다. 검증용 데이터 세트는 랜덤하게 선택될 수 있다. 검증용 데이터 세트 및 학습용 데이터 세트의 비율은 미리 설정된 기준값에 의해 결정될 수 있다. 이때, 미리 설정된 기준값은 검증용 데이터 세트의 비율이 10%, 학습용 데이터 세트의 비율이 90%로 설정될 수 있으나, 이에 한정되는 것은 아니다.
데이터 생성부(12)는 과적합 상태를 방지하기 위해 학습용 데이터 세트 및 검증용 데이터 세트를 구분하여 데이터 세트를 생성할 수 있다. 예를 들어, 신경망 구조의 학습 특성상 학습용 데이터 세트는 과적합 상태가 될 수 있기 때문에, 데이터 생성부(12)는 검증용 데이터 세트를 활용하여, 인공신경망의 과적합 상태가 되는 것을 방지할 수 있다.
이때, 검증용 데이터 세트는 학습용 데이터 세트와 중복되지 않는 데이터 세트일 수 있다. 검증용 데이터는 인공신경망 구축에 사용되지 않은 데이터이므로, 검증 작업 시에 인공신경망에서 처음 접하는 데이터이다. 따라서 검증용 데이터 세트는 새로운 이미지(학습에 사용되지 않은 신규 이미지)가 입력으로 들어올 경우, 인공신경망의 성능 평가에 적절한 데이터 세트일 수 있다.
전처리부(13)는 딥러닝 알고리즘에 적용 가능하도록 데이터 세트를 전처리할 수 있다. 전처리부(13)는 딥러닝 알고리즘에서 인식 성능을 높이고 환자 간 영상과의 유사성을 최소화하기 위해 데이터 세트를 전처리할 수 있다. 딥러닝 알고리즘은 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어질 수 있다.
본원의 일 실시예에 따르면, 전처리부(13)는 5단계의 전처리 과정을 수행할 수 있다. 먼저, 전처리부(13)는 자르기(crop) 단계를 수행할 수 있다. 자르기(crop) 단계는 이미지 획득부(11)에서 획득된 위 병변 이미지에서 병변을 중심으로 하여 가장자리의 불필요한 부분(검은색 배경)을 잘라낼 수 있다. 일예로, 전처리부(13)는 임의로 지정한 픽셀 크기(예를 들어, 299 x 299 픽셀, 244x244 픽셀)를 설정하여 위 병변 이미지를 자를 수 있다. 달리 말해, 전처리부(13)는 딥러닝 알고리즘에 작용 가능한 사이즈로 위 병변 이미지를 자를 수 있다.
다음으로, 전처리부(13)는 평행 이동(shift) 단계를 수행할 수 있다. 전처리부(13)는 위 병변 이미지를 상하좌우 방향으로 평행 이동시킬 수 있다. 또한, 전처리부(13)는 뒤집기(flipping) 단계를 수행할 수 있다. 예를 들어, 전처리부(13)는 수직으로 위 병변 이미지를 뒤집을 수 있다. 또한, 전처리부(13)는 위 병변 이미지를 상하방향으로 뒤집고 이후 좌우방향으로 뒤집는 과정을 수행할 수 있다.
또한, 전처리부(13)는 색상 조정(color adjustment) 단계를 수행할 수 있다. 예를 들어, 색상 조정 단계에서 전처리부(13)는 전체 데이터 세트의 평균RGB 값으로 평균 감산 방법을 사용하여 추출된 색상을 기반으로 이미지의 색상 조정을 수행할 수 있다. 또한, 전처리부(13)는 랜덤하게 위 병변 이미지의 색상을 조정할 수 있다.
전처리부(13)는 5단계의 전처리 과정을 모두 수행하여 위 병변 이미지를 딥러닝 알고리즘에 적용 가능한 데이터 셋으로 생성할 수 있다. 또한, 전처리부(13)는 5단계의 전처리 과정 중 적어도 어느 하나를 수행하여 위 병변 이미지를 딥러닝 알고리즘에 적용 가능한 데이터 셋으로 생성할 수 있다.
또한, 전처리부(13)는 확대/축소(resizing) 단계를 더 수행할 수 있다. 확대/축소(resizing) 단계는 위 병변 이미지를 미리 설정된 사이즈로 확대 및 축소하는 단계일 수 있다.
전처리부(13)는 위 병변 이미지 데이터의 데이터 수를 증가시키기 위한 이미지 데이터를 증폭하는 증폭부(미도시)를 포함할 수 있다.
본원의 일 실시예에 따르면, 합성곱신경망을 포함하는 딥러닝 알고리즘을 이용하는 경우, 데이터의 양이 많을수록 좋은 성능을 달성하는 데 유리하지만, 위 내시경 사진 이미지는 그 검사 건수가 다른 검사에 비해 상당히 적은 편으로, 이미지 획득부(11)에서 검출된 위 병변 이미지 데이터 수집량은 합성곱 신경망을 활용하기에 매우 부족할 수 있다. 따라서, 증폭부(미도시)는 학습용 데이터 세트를 기반으로 데이터 증폭(augmentation)과정을 수행할 수 있다. 증폭부(미도시)는 위 병변 이미지의 회전, 뒤집기, 자르기, 소음 섞기 중 적어도 어느 하나의 방법을 적용하여 데이터 증폭(augmentation)과정을 수행할 수 있다.
전처리부(13)는 미리 설정된 기준값에 대응되도록 전처리 과정을 수행할 수 있다. 미리 설정된 기준값은 사용자가 임의로 지정한 값일 수 있다. 또한, 미리 설정된 기준값을 획득된 위 병변 이미지의 평균값에 의해 결정된 값을 수 있다. 전처리부(13)를 거친 데이터 세트는 학습부(14)로 제공될 수 있다.
학습부(14)는 전처리 과정을 거친 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망을 구축할 수 있다.
본원의 일 실시예에 따르면, 학습부(14)는 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어진 딥러닝 알고리즘을 적용하여 위 병변 분류 결과를 출력으로 할 수 있다. 완전연결 심층 신경망은 노드 간에 횡적/종적으로 2차원적 연결을 이루고, 서로 같은 층에 위치한 노드 간에는 연결 관계가 존재하지 않으며, 바로 인접한 층에 위치한 노드들 간에만 연결 관계가 존재한다는 것을 특징으로 하는 신경망이다.
학습부(14)는 전처리 과정을 거친 학습용 데이터 세트를 입력으로 하는 합성곱신경망과, 합성곱신경망의 출력을 완전연결 심층 신경망의 입력으로 하는 학습을 통한 훈련 모델을 구축할 수 있다.
본원의 일 실시예에 따르면 합성곱신경망은 위 병변 이미지를 분석하는 복수의 특정 특징 패턴을 추출할 수 있다. 이때, 추출된 특정 특징 패턴은 완전연결 심층 신경망에서 최종 분류를 하는데 사용될 수 있다.
합성곱신경망(Convolutional Neural Networks)은 음성 인식이나 이미지 인식에서 주로 사용되는 신경망의 한 종류이다. 다차원 배열 데이터를 처리하도록 구성되어 있어, 컬러 이미지와 같은 다차원 배열 처리에 특화되어 있다. 따라서 이미지 인식 분야에서 딥러닝을 활용한 기법은 대부분 합성곱신경망을 기초로 한다.
예시적으로 도 3을 참조하면, 합성곱신경망(CNN)은 이미지를 하나의 데이터가 아닌, 여러 개로 분할하여 처리한다. 이렇게 하면 이미지가 왜곡되더라도 이미지의 부분적 특성을 추출할 수 있어 올바른 성능을 낼 수 있다.
합성곱신경망은 복수의 층 구조로 이루어질 수 있다. 각각의 층을 구성하는 요소는 합성곱 층, 활성화 함수, max pooling 층, 활성화 함수, dropout 층으로 구성될 수 있다. 합성곱 층은 kernel이라 불리는 필터 역할을 하여 전체 이미지(또는 생성된 새로운 특징 패턴)를 부분적으로 처리한 것들이 이미지와 같은 크기의 새로운 특징 패턴(feature pattern)을 추출할 수 있다. 합성곱 층은 특징 패턴에서 활성화 함수를 통해 특징 패턴의 값들을 처리하기 편하게 보정할 수 있다. max pooling 층은 일부 위 병변 이미지를 샘플링(sampling) 하여 크기를 조절하여 이미지의 크기를 줄일 수 있다. 합성곱신경망은 합성곱 층 및 max pooling 층을 거쳐, 특징 패턴(feature pattern)의 크기는 줄어들게 되지만, 복수의 kernel 활용을 통해 복수의 특징 패턴(feature pattern)을 추출할 수 있다. dropout층은 합성곱신경망의 가중치들을 훈련할 때 효율적인 훈련을 위해 일부 가중치들을 의도적으로 고려하지 않는 방법일 수 있다. 한편, dropout층은 훈련된 모델을 통해 실제 테스트를 하는 경우에는 적용하지 않을 수 있다.
합성곱신경망에서 추출된 복수의 특징 패턴(feature pattern)은 다음 단계인 완전연결 심층 신경망으로 전달되어 분류 작업을 하는 데 활용될 수 있다. 합성곱신경망은 층의 개수를 조절할 수 있다. 합성곱신경망은 층의 개수는 모델 훈련을 위한 훈련용 데이터의 양에 맞추어 조절함으로써 보다 안정된 모델을 구축할 수 있다.
또한, 학습부(14)는 전처리 과정을 거친 학습용 데이터 세트를 합성곱신경망의 입력으로 하고, 합성곱신경망의 출력 및 환자 정보를 완전연결 심층 신경망의 입력으로 하는 학습을 통한 진단(훈련) 모델을 구축할 수 있다. 달리 말해, 학습부(14)는 전처리 과정을 거친 이미지 데이터가 우선적으로 합성곱신경망으로 들어가도록 하고, 합성곱신경망을 거치고 나온 결과물이 완전연결 심층 신경망에 들어가도록 할 수 있다. 또한, 학습부(14)는 임의로 추출된 특징(feature)들은 합성곱신경망을 거치지 않고, 곧바로 완전연결 심층 신경망으로 들어가도록 할 수 있다.
이때, 환자 정보는 대상자(피검자)의 성별, 나이, 키, 몸무게, 인종, 국적, 흡연량, 음주량, 가족력 등의 다양한 정보를 포함할 수 있다. 또한, 환자 정보는 임상 정보를 포함할 수 있다. 임상정보란 병원에서 진단을 내리는 의사가 특정 진단에 활용하는 모든 데이터를 의미할 수 있다. 특히, 진료과정에서 생성되는 성별, 나이를 포함하는 자료, 특정 치료 여부 자료, 급여 청구 및 처방 자료 등을 포함하는 전자 의무 기록 자료일 수 있다. 또한, 임상정보는 유전자 정보와 같은 생물학적 데이터 자료를 포함할 수 있다. 생물학적 데이터 자료는 심박수, 심전도, 운동량, 산소포화도, 혈압, 체중, 당료와 같은 수치적 데이터를 갖는 개인 건강 정보를 포함할 수 있다.
환자 정보는 학습부(14)에서 합성곱신경망 구조의 결과물과 함께 완전 연결 신경망에 입력되는 데이터이며, 환자 정보를 인공신경망을 입력으로 함으로써 위 병변 이미지만을 이용하여 도출된 결과보다 정확도를 향상시키는 효과를 기대할 수 있다.
일예로, 암이 고령에 많다는 점이 학습용 데이터 세트의 임상정보를 통해 학습하게 되면, 이미지 특징과 함께 42세 또는 79세의 나이가 입력되었을 경우, 위 병변 분류 결과에서 암 또는 양성 구분이 어려운 애매모호한 병변의 구분에서 고령의 환자는 암일 확률이 높아지는 쪽으로 결과를 도출할 수 있다.
학습부(14)는 트레이닝 데이터를 딥러닝 알고리즘 구조(합성곱신경망을 거쳐 완전연결 심층 신경망으로 형성된 구조)에 적용시켜 도출되는 결과와 실제 결과와의 오차를 비교하여 해당 오차에 해당하는 만큼 신경망 구조의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 알고리즘을 통해 결과가 피드백되어 학습될 수 있다. 역전파(backpropagation) 알고리즘은 결과의 오차(실제값과 결과값이 차이)를 줄이기 위해 각 노드에서 다음 노드로 이어지는 가중치를 조절하는 것일 수 있다. 학습부(14)는 학습용 데이터 세트와 검증용 데이터 세트를 이용하여 신경망을 학습시켜 가중치 매개 변수를 구하여 최종 진단 모델을 도출하는 것일 수 있다.
병변 진단부(15)는 신규 데이터 세트를 전처리 과정을 거친 후 인공신경망을 통해 위 병변 진단을 수행할 수 있다. 달리 말해, 병변 진단부(15)는 앞서 설명된 학습부(14)에서 도출된 최종 진단 모델을 이용하여 신규 데이터에 대한 진단을 도출할 수 있다. 신규 데이터는 사용자가 진단하고자 하는 위 병변 이미지를 포함하는 데이터 일 수 있다. 신규 데이터 세트는 신규 위 병변 이미지를 환자 정보와 연계하여 생성된 데이터 세트일 수 있다. 신규 데이터 세트는 전처리부(12)의 전처리 과정을 거쳐 딥러닝 알고리즘에 적용 가능한 상태로 전처리될 수 있다. 이후 전처리된 신규 데이터 세트는 학습부(14)에 입력되어, 학습 파라미터를 기반으로 위 병변 이미지가 진단될 수 있다.
본원의 일 실시예에 따르면, 병변 진단부(15)는 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 상기 위 병변 진단 분류를 수행할 수 있다. 또한, 병변 진단부(15)는 암과 비암으로 분류할 수 있다. 또한, 병변 진단부(15)는 신생물과 비신생물 2가지의 범주로 분류하여 위 병변 진단 분류를 수행할 수 있다. 신 생물 분류에는 AGC, EGC, HGD 및 LGD가 포함될 수 있다. 비 종양 범주에는 위염, 양성 궤양, 기형, 용종, 장 상피화 또는 상피 종양과 같은 병변이 포함될 수 있다.
병변 진단 장치(10)는 모호한 병변을 분류 및 진단하기 위해 불필요한 생체검사나 내시경 절제로 인해 발생되는 부작용을 감소시키기 위해 내시경 장치(20)로 획득된 이미지를 분석하여 모호한 병변을 자동으로 분류 및 진단해 주고, 신생물(위험 종양)일 경우, 내시경 절제 시술을 시행하도록 할 수 있다.
본원의 다른 일 실시예에 따르면, 내시경 장치(20)는 조작부(21), 몸체부(22), 제어부(23), 병변 위치 획득부(24), 디스플레이부(25)를 포함할 수 있다.
조작부(21)는 몸체부(22)의 후단에 마련되어 사용자의 입력 정보에 기반하여 조작될 수 있다. 조작부(21)는 내시경 시술자에 의하여 파지되는 부분으로서, 피검자의 체내로 삽입되는 몸체부(22)를 조작할 수 있다. 또한, 조작부(21)는 몸체부(22)가 수용하고 있는 내시경 시술시 필요한 복수의 유닛 장치의 동작을 조작할 수 있다. 조작부(21)는 회전 제어부를 포함할 수 있다. 회전 제어부는 제어 신호를 생성하는 기능 및 회전력을 제공하는 기능(예를 들어, 모터)을 담당하는 부분을 포함할 수 있다. 조작부(21)는 촬영부(미도시)를 조작하기 위한 버튼을 포함할 수 있다. 버튼은 촬영부(미도시)의 위치를 제어하기 위한 버튼으로서, 사용자가 상하좌우, 전진, 후진 등과 같은 몸체부(22)의 위치를 변경하기 위한 것일 수 있다.
몸체부(22)는 피검자의 체내로 삽입되는 부분으로서, 복수의 유닛 장치를 수용할 수 있다. 복수의 유닛 장치는 피검자의 체내를 촬영하는 촬영부(미도시), 체내로 공기를 공급하는 에어 공급 유닛, 체내로 물을 공급하는 물 공급 유닛, 체내로 빛을 조사하는 조명 유닛, 체내의 조직의 일부를 채취하거나 치료하기 위한 바이옵시(biopsy) 유닛 및 체내로부터의 공기 또는 이물질을 흡입하는 석션 유닛 중 적어도 하나를 포함할 수 있다. 바이옵시 유닛은 생체에서 조직 일부를 채취하기 위한 매스, 바늘 등 각종 의료기기들을 포함할 수 있으며, 매스, 바늘 등의 바이옵시 유닛은 내시경 시술자에 의하여 바이옵시 채널을 통해 체내로 삽입됨으로써 체내의 세포를 채취할 수 있다.
촬영부(미도시)는 몸체부(22)의 직경에 대응하는 크기를 갖는 카메라를 수용할 수 있다. 촬영부(미도시)는 몸체부(22)의 전단에 구비되어 위 병변 이미지를 촬영하고, 네트워크를 통해 병변 진단부(10) 및 디스플레이부(25)로 촬영한 위 병변 이미지를 제공할 수 있다.
제어부(23)는 조작부(21)에서 제공받은 사용자의 입력 정보 및 병변 진단 장치(10)의 진단 결과에 기반하여 몸체부(22)의 동작을 제어하는 제어 신호를 생성할 수 있다. 제어부(23)는 조작부(21)에 포함된 버튼 중 사용자로부터 어느 하나의 선택 입력을 수신한 경우, 해당 버튼에 대응하도록 몸체부(22)의 동작을 제어하는 제어 신호를 생성할 수 있다. 예를 들어, 제어부(23)는 사용자가 몸체부(22)를 전진하도록 하는 버튼을 입력한 경우, 몸체부(22)가 일정 속도로 대상체(환자)의 체내를 전진할 수 있도록 동작 제어 신호를 생성할 수 있다. 몸체부(22)는 제어부(23)의 제어 신호에 기반하여 대상체(환자)의 체내에서 전진할 수 있다.
또한, 제어부(23)는 촬영부(미도시)의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 촬영부(미도시)의 동작을 제어하기 위한 제어 신호는, 병변 영역에 위치한 촬영부(미도시)가 위 병변 이미지를 캡처하기 위한 신호일 수 있다. 달리 말해, 사용자는 조작부(21)로부터 특정 병변 영역에 위치한 촬영부(미도시)가 이미지를 획득하길 원하는 경우, 캡처 획득 버튼을 클릭할 수 있다. 제어부(23)는 조작부(21)로부터 제공받은 입력 정보에 기반하여 촬영부(미도시)기 해당 병변 영역에서 이미지를 획득할 수 있도록 제어 신호를 생성할 수 있다. 제어부(23)는 촬영부(미도시)가 촬영중인 영상으로부터 특정 위 병변 이미지를 획득하기 위한 제어 신호를 생성할 수 있다.
또한, 제어부(23)는 병변 진단 장치(10)의 진단 결과에 기반하여 대상체의 조직의 일부를 채취하기 위한 바이옵시 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 제어부(23)는 병변 진단 장치(10)의 진단 결과가 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia) 및 저이형성증(low-grade dysplasia) 중 적어도 어느 하나에 속하는 경우 절제술을 시행할 수 있도록 바이옵시 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 바이옵시 유닛은 생체에서 조직 일부를 채취하기 위한 매스, 바늘 등 각종 의료기기들을 포함할 수 있으며, 매스, 바늘 등의 바이옵시 유닛은 내시경 시술자에 의하여 바이옵시 채널을 통해 체내로 삽입됨으로써 체내의 세포를 채취할 수 있다. 또한, 제어부(23)는 조작부(21)로부터 제공받는 사용자 입력 신호에 기반하여 바이옵시 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 체내의 세포를 채취, 절제, 제거하는 동작은 사용자가 조작부(21)를 이용하여 수행하는 것일 수 있다.
본원의 일 실시예에 따르면, 병변 위치 획득부(24)는 촬영부(미도시)에서 제공받은 위 병변 이미지와 위치 정보를 연계하여 위 병변 정보를 생성할 수 있다. 위치 정보는 몸체부(22)가 현재 체내에 위치한 위치정보일 수 있다. 달리 말해, 몸체부(22)가 대상체(환자)의 위의 제1지점에 위치하고, 제1지점으로부터 위 병변 이미지가 획득된 경우, 병변 위치 획득부(24)는 상기 위 병변 이미지와 위치 정보를 연계하여 위 병변 정보를 생성할 수 있다.
병변 위치 획득부(24)는 획득된 위 병변 이미지와 위치 정보를 연계하여 생성된 위 병변 정보를 사용자(의사)에게 제공할 수 있다. 병변 진단부(10)의 진단 결과 및 병변 위치 획득부(24)의 위 병변 정보를 디스플레이부(25)를 통해 사용자에게 제공함으로써, 해당 병변을 절제(제거)하는 시술 및 수술 시 해당 병변 위치가 아닌 곳에서 절제술이 수행될 수 있는 상황을 방지할 수 있다.
또한, 제어부(23)는 병변 위치 획득부(24)에서 제공한 위치 정보를 이용하여 바이옵시 유닛이 해당 병변 위치에 위치하지 않을 경우, 상기 바이옵시 유닛의 위치를 제어하기 위한 제어신호를 생성할 수 있다.
병변 진단 장치(10)에서 바이옵시 유닛을 제어하기 위한 제어 신호를 생성하여, 체내의 세포를 채취 또는 제거함으로써, 더욱 빠른 조직 검사를 수행할 수 있다. 더불어, 암으로 진단된 세포를 내시경 진단 과정에서 바로 제거함으로써 빠른 치료가 가능할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 4는 본원의 일 실시예에 따른 내시경 이미지에서 위 병변을 진단하는 방법에 대한 동작 흐름도이다.
도 4에 도시된 내시경 이미지에서 위 병변을 진단하는 방법은 앞서 설명된 병변 진단 장치(10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 병변 진단 장치(10)에 대하여 설명된 내용은 내시경 이미지에서 위 병변을 진단하는 방법에 대한 설명에도 동일하게 적용될 수 있다.
단계 S401에서 병변 진단 장치(10)는 복수의 위 병변 이미지를 획득할 수 있다. 병변 진단 장치(10)는 내시경 장치(20)에 구비된 촬영 장치로부터 획득된 위 병변 이미지를 수신할 수 있다. 위 병변 이미지는 백색광 이미지일 수 있다.
단계 S402에서 병변 진단 장치(10)는 복수의 위 병변 이미지와 환자 정보를 연계하여 데이터 세트를 생성할 수 있다. 병변 진단 장치(10)는 인공신경망 학습에 요구되는 학습용 데이터 세트 및 인공신경망의 학습의 진행 정보를 검증하기 위한 검증용 데이터 세트로 분류하여 데이터 세트를 생성할 수 있다. 이때, 검증용 데이터 세트는 학습용 데이터 세트와 중복되지 않은 데이터 세트 일 수 있다. 검증용 데이터 세트는 신규 데이터 세트가 전처리 과정을 거친 후 인공신경망의 입력으로 되는 경우, 인공신경망의 성능 평가에 활용되는 데이터일 수 있다.
단계 S403에서 병변 진단 장치(10)는 딥러닝 알고리즘에 적용 가능하도록 데이터 세트를 전처리할 수 있다. 병변 진단 장치(10)는 데이터 세트에 포함된 위 병변 이미지를 이용하여 위 병변을 중심으로 하여 위 병변이 포함되지 않은 이미지의 주변부 영역을 자르고, 딥러닝 알고리즘에 작용 가능한 사이즈로 자르는 CROP 과정을 수행할 수 있다. 또한, 병변 진단 장치(10)는 위 병변 이미지를 상하좌우 방향으로 평행 이동(Shift) 시킬 수 있다. 또한, 병변 진단 장치(10)는 위 병변 이미지를 뒤집을(flipping) 수 있다. 또한, 병변 진단 장치(10)는 위 병변 이미지의 색상을 조정할 수 있다. 병변 진단 장치(10)는 복수의 전처리 과정 중 적어도 어느 하나를 수행하여 위 병변 이미지를 딥러닝 알고리즘에 적용 가능한 상태로 전처리할 수 있다.
또한, 병변 진단 장치(10)는 위 병변 이미지 데이터의 데이터 수를 증가시키기 위해 이미지 데이터를 증폭시킬 수 있다. 병변 진단 장치(10)는 이미지 데이터를 증폭시키기 위해 위 병변 이미지 데이터의 회전, 뒤집기, 자르기 및 소음 섞기 중 적어도 어느 하나를 적용하여 위 병변 이미지 데이터를 증폭시킬 수 있다.
단계 S404에서 병변 진단 장치(10)는 전처리 과정을 거치 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통한 인공신경망을 구축할 수 있다. 병변 진단 장치(10)는 전처리 과정을 거친 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)의 학습을 통한 훈련 모델을 구축할 수 있다.
또한, 병변 진단 장치(10)는 전처리 과정을 거친 데이터 세트는 합성곱신경망의 입력으로 하고, 완전연결 심층 신경망은 합성곱신경망의 출력 및 환자 정보를 입력으로 하여 훈련 모델을 구축할 수 있다. 합성곱신경망은 복수의 위 병변 이미지로부터 복수의 특징 패턴을 출력하고, 복수의 특징 패턴은 완전연결 심층 신경망에 의해 최종 분류될 수 있다.
단계 S405에서 병변 진단 장치(10)는 신규 데이터 세트를 전처리 과정을 거친 후 인공신경망을 통해 위 병변 진단을 수행할 수 있다. 병변 진단 장치(10)는 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 위 병변 진단 분류를 수행할 수 있다.
상술한 설명에서, 단계 S401 내지 S405는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 내시경 이미지에서 위 병변을 진단하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 내시경 이미지에서 위 병변을 진단하는 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims (16)

  1. 내시경 이미지에서 위 병변을 진단하는 방법에 있어서,
    복수의 위 병변 이미지를 획득하는 단계;
    상기 복수의 위 병변 이미지와 환자 정보를 연계하여 데이터 세트를 생성하는 단계;
    딥러닝 알고리즘에 적용 가능하도록 상기 데이터 세트를 전처리하는 단계;
    전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통한 인공신경망을 구축하는 단계를 포함하는, 병변 진단 방법.
  2. 제1항에 있어서,
    신규 데이터 세트를 상기 전처리 과정을 거친 후 상기 인공신경망을 통해 위 병변 진단을 수행하는 단계를 더 포함하는 것인, 병변 진단 방법.
  3. 제1항에 있어서,
    상기 데이터 세트 생성 단계는,
    상기 데이터 세트를 상기 인공신경망의 학습에 요구되는 학습용 데이터 세트 및 상기 인공신경망의 학습의 진행 정도를 검증하기 위한 검증용 데이터 세트로 분류하여 상기 데이터 세트를 생성하는 것인, 병변 진단 방법.
  4. 제3항에 있어서,
    상기 검증용 데이터 세트는 상기 학습용 데이터 세트와 중복되지 않는 데이터 세트인 것인, 병변 진단 방법.
  5. 제3항에 있어서,
    상기 검증용 데이터 세트는
    신규 데이터 세트가 상기 전처리 과정을 거친 후 인공신경망의 입력으로 되는 경우, 상기 인공신경망의 성능 평가에 활용되는 데이터인 것인, 병변 진단 방법.
  6. 제1항에 있어서,
    상기 이미지 획득 단계는,
    내시경 장치에 구비된 촬영 장치로부터 획득된 위 병변 이미지를 수신하는 것인, 병변 진단 방법.
  7. 제1항에 있어서,
    상기 전처리하는 단계는,
    상기 데이터 세트에 포함된 위 병변 이미지를 이용하여 상기 위 병변을 중심으로 하여 상기 위 병변이 포함되지 않은 이미지의 주변부 영역을 자르고, 상기 딥러닝 알고리즘에 작용 가능한 사이즈로 자르는(crop) 단계;
    상기 위 병변 이미지를 상하좌우 방향으로 평행 이동(shift)하는 단계;
    상기 위 병변 이미지를 회전(rotation)하는 단계;
    상기 위 병변 이미지를 뒤집는(flipping)단계; 및
    상기 위 병변 이미지를 색상 조정(color adjustment)를 포함하되,
    복수의 전처리 과정 중 적어도 어느 하나를 수행하여 상기 위 병변 이미지를 상기 딥러닝 알고리즘에 적용 가능한 상태로 전처리하는 것인, 병변 진단 방법.
  8. 제7항에 있어서,
    상기 전처리하는 단계는,
    위 병변 이미지 데이터의 데이터 수를 증가시키기 위한 이미지 데이터를 증폭하는 단계를 더 포함하되,
    상기 이미지 데이터를 증폭하는 단계는 상기 위 병변 이미지 데이터의 회전, 뒤집기, 자르기 및 소음 섞기 중 적어도 어느 하나를 적용하여 상기 위 병변 이미지 데이터를 증폭하는 것인, 병변 진단 방법.
  9. 제1항에 있어서,
    상기 인공신경망을 구축하는 단계는,
    상기 전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 상기 위 병변 분류 결과에 관한 항목을 출력으로 하는 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)의 학습을 통한 진단 모델을 구축하는 것인, 병변 진단 방법.
  10. 제9항에 있어서,
    상기 전처리 과정을 거친 데이터 세트는 상기 합성곱신경망의 입력으로 하고, 상기 완전연결 심층 신경망은 상기 합성곱신경망의 출력 및 상기 환자 정보를 입력으로 하는 것인, 병변 진단 방법.
  11. 제10항에 있어서,
    상기 합성곱신경망은
    상기 복수의 위 병변 이미지로부터 복수의 특징 패턴을 출력하고,
    상기 복수의 특징 패턴은 완전연결 심층 신경망에 의해 최종 분류되는 것인, 병변 진단 방법.
  12. 제9항에 있어서,
    상기 인공신경망을 구축하는 단계는,
    트레이닝 데이터를 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)을 포함하는 딥러닝 알고리즘 구조에 적용시키고, 오차에 해당하는 만큼의 신경망 구조의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 알고리즘을 통해 결과가 피드백되어 학습되도록 하는 것인, 병변 진단 방법.
  13. 제2항에 있어서,
    상기 위 병변 진단을 수행하는 단계는,
    진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 상기 위 병변 진단의 분류를 수행하는 것인, 병변 진단 방법.
  14. 내시경 이미지에서 병변을 진단하는 장치에 있어서,
    복수의 위 병변 이미지를 획득하는 이미지 획득부;
    상기 복수의 위 병변 이미지와 환자 정보를 연계하여 데이터 세트를 생성하는 데이터 생성부;
    딥러닝 알고리즘에 적용 가능하도록 상기 데이터 세트를 전처리하는 데이터 전처리부; 및
    전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망을 구축하는 학습부를 포함하는 것인, 병변 진단 장치.
  15. 제14항에 있어서,
    신규 데이터 세트를 상기 전처리 과정을 거친 후 상기 인공신경망을 통해 위 병변 진단을 수행하는 병변 진단부를 더 포함하는 것인, 병변 진단 장치.
  16. 제1항 내지 13항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2019/012448 2018-10-02 2019-09-25 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 WO2020071677A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/278,962 US20220031227A1 (en) 2018-10-02 2019-09-25 Device and method for diagnosing gastric lesion through deep learning of gastroendoscopic images
JP2021516756A JP2022502150A (ja) 2018-10-02 2019-09-25 胃内視鏡イメージのディープラーニングを利用して胃病変を診断する装置及び方法
CN201980064309.8A CN112789686A (zh) 2018-10-02 2019-09-25 利用胃内窥镜图像的深度学习诊断胃病变的装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0117823 2018-10-02
KR1020180117823A KR102210806B1 (ko) 2018-10-02 2018-10-02 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020071677A1 true WO2020071677A1 (ko) 2020-04-09

Family

ID=70054644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012448 WO2020071677A1 (ko) 2018-10-02 2019-09-25 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법

Country Status (5)

Country Link
US (1) US20220031227A1 (ko)
JP (1) JP2022502150A (ko)
KR (1) KR102210806B1 (ko)
CN (1) CN112789686A (ko)
WO (1) WO2020071677A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524124A (zh) * 2020-04-27 2020-08-11 中国人民解放军陆军特色医学中心 炎症性肠病消化内镜影像人工智能辅助系统

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287364B1 (ko) 2018-12-07 2021-08-06 주식회사 포인바이오닉스 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법
JP2022516419A (ja) * 2018-12-20 2022-02-28 コロプラスト アクティーゼルスカブ マスキングによるオストミー条件分類、装置及び関連する方法
KR102364027B1 (ko) * 2020-06-04 2022-02-16 계명대학교 산학협력단 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법
KR102492463B1 (ko) * 2020-06-24 2023-01-27 주식회사 뷰노 병변 판독 결과 표시 방법
WO2022015000A1 (ko) * 2020-07-13 2022-01-20 가톨릭대학교 산학협력단 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법
KR102255311B1 (ko) 2020-08-10 2021-05-24 주식회사 웨이센 인공지능 기반의 위내시경 영상 분석 방법
KR102415806B1 (ko) * 2020-09-15 2022-07-05 주식회사 뷰노 전자의료기록으로부터 의료 이벤트를 예측하는 인공 신경망의 기계학습 방법
KR102270669B1 (ko) * 2020-11-27 2021-06-29 주식회사 웨이센 인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치
KR102462975B1 (ko) * 2020-12-30 2022-11-08 (주)엔티엘헬스케어 인공지능 기반의 자궁경부암 검진 서비스 시스템
KR102536369B1 (ko) * 2021-02-26 2023-05-26 주식회사 인피니트헬스케어 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
KR102564443B1 (ko) 2021-03-10 2023-08-10 주식회사 지오비전 딥러닝을 이용한 위내시경 검사의 신뢰성을 향상시킬 수 있는 위내시경 시스템
KR102531400B1 (ko) * 2021-03-19 2023-05-12 주식회사 인피니트헬스케어 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
KR102383495B1 (ko) * 2021-06-03 2022-04-08 라크(주) 의료 영상데이터 추출 방법
KR102637484B1 (ko) * 2021-10-26 2024-02-16 주식회사 카이미 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
KR20230097646A (ko) 2021-12-24 2023-07-03 주식회사 인피니트헬스케어 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
WO2023135816A1 (ja) * 2022-01-17 2023-07-20 オリンパスメディカルシステムズ株式会社 医療支援システムおよび医療支援方法
CN114663372B (zh) * 2022-03-11 2022-09-23 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质
CN115054209B (zh) * 2022-04-14 2023-09-26 杭州华视诺维医疗科技有限公司 一种基于智能移动设备的多参数生理信息检测系统和方法
US20230342912A1 (en) * 2022-04-25 2023-10-26 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-functional computer-aided gastroscopy system optimized with integrated ai solutions and method
CN114565611B (zh) * 2022-04-28 2022-07-19 武汉大学 医学信息获取方法及相关设备
KR20230163723A (ko) * 2022-05-24 2023-12-01 주식회사 아이도트 내시경 검사 판독 보조 시스템
JP2024008646A (ja) * 2022-07-08 2024-01-19 Ｔｖｓ Ｒｅｇｚａ株式会社 受信装置およびメタデータ生成システム
KR102502418B1 (ko) * 2022-07-21 2023-02-24 연세대학교 산학협력단 신경망 기반 의료 영상 처리 장치 및 방법
CN116881783B (zh) * 2023-06-21 2024-04-09 清华大学 道路损伤检测方法、装置、计算机设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
KR20140063288A (ko) * 2012-11-16 2014-05-27 삼성전자주식회사 컴퓨터 보조 진단 방법 및 장치
US20160350912A1 (en) * 2014-02-07 2016-12-01 Hiroshima University Endoscopic image diagnosis support system
KR20170061222A (ko) * 2015-11-25 2017-06-05 한국전자통신연구원 건강데이터 패턴의 일반화를 통한 건강수치 예측 방법 및 그 장치
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
KR20180053957A (ko) * 2016-11-14 2018-05-24 테라셈 주식회사 의료 진단 시스템, 서버 및 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2763398B2 (ja) * 1990-11-20 1998-06-11 キヤノン株式会社 パターン認識装置
DE19833822A1 (de) * 1998-07-28 2000-02-03 Frank Stuepmann Selbstlernendes neuronales Netzwerk in hybrider VLSI-Technik
WO2014073527A1 (ja) * 2012-11-07 2014-05-15 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
US9836839B2 (en) * 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
JP6528608B2 (ja) * 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
US10127680B2 (en) * 2016-06-28 2018-11-13 Google Llc Eye gaze tracking using neural networks
US10803582B2 (en) * 2016-07-04 2020-10-13 Nec Corporation Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program
JP6737502B2 (ja) * 2016-09-05 2020-08-12 独立行政法人国立高等専門学校機構 学習用データ生成方法およびこれを用いた対象空間状態認識方法
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
CN110050267B (zh) * 2016-12-09 2023-05-26 北京地平线信息技术有限公司 用于数据管理的系统和方法
CN106780460B (zh) * 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
JP6875709B2 (ja) * 2017-06-09 2021-05-26 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN107492095A (zh) * 2017-08-02 2017-12-19 西安电子科技大学 基于深度学习的医学图像肺结节检测方法
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法
WO2019088121A1 (ja) * 2017-10-30 2019-05-09 公益財団法人がん研究会 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
CN107945870B (zh) * 2017-12-13 2020-09-01 四川大学 基于深度神经网络的早产儿视网膜病变检测方法及装置
CN108230339B (zh) * 2018-01-31 2021-08-03 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN108470359A (zh) * 2018-02-11 2018-08-31 艾视医疗科技成都有限公司 一种糖尿病性视网膜眼底图像病变检测方法
CN108364025A (zh) * 2018-02-11 2018-08-03 广州市碳码科技有限责任公司 基于深度学习的胃镜图像识别方法、装置、设备及介质
US11042992B2 (en) * 2018-08-03 2021-06-22 Logitech Europe S.A. Method and system for detecting peripheral device displacement

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140042531A (ko) * 2012-09-28 2014-04-07 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
KR20140063288A (ko) * 2012-11-16 2014-05-27 삼성전자주식회사 컴퓨터 보조 진단 방법 및 장치
US20160350912A1 (en) * 2014-02-07 2016-12-01 Hiroshima University Endoscopic image diagnosis support system
KR20170061222A (ko) * 2015-11-25 2017-06-05 한국전자통신연구원 건강데이터 패턴의 일반화를 통한 건강수치 예측 방법 및 그 장치
KR20180053957A (ko) * 2016-11-14 2018-05-24 테라셈 주식회사 의료 진단 시스템, 서버 및 방법
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524124A (zh) * 2020-04-27 2020-08-11 中国人民解放军陆军特色医学中心 炎症性肠病消化内镜影像人工智能辅助系统

Also Published As

Publication number Publication date
KR102210806B1 (ko) 2021-02-01
JP2022502150A (ja) 2022-01-11
CN112789686A (zh) 2021-05-11
US20220031227A1 (en) 2022-02-03
KR20200038120A (ko) 2020-04-10

Similar Documents

Publication Publication Date Title
WO2020071677A1 (ko) 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
WO2020071678A2 (ko) 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
Ueyama et al. Application of artificial intelligence using a convolutional neural network for diagnosis of early gastric cancer based on magnifying endoscopy with narrow‐band imaging
Ohmori et al. Endoscopic detection and differentiation of esophageal lesions using a deep neural network
JP6875709B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
US20210153808A1 (en) Diagnostic assistance method, diagnostic assistance system, diagnostic assistance program, and computer-readable recording medium storing therein diagnostic assistance program for disease based on endoscopic image of digestive organ
EP3811845A1 (en) Method of assisting disease diagnosis based on endoscope image of digestive organ, diagnosis assistance system, diagnosis assistance program, and computer-readable recording medium having said diagnosis assistance program stored thereon
BR112020008774A2 (pt) Aparelho para auxiliar no diagnóstico por imagem, método para a coleta de dados, método para auxiliar no diagnóstico por imagem e programa para auxiliar no diagnóstico por imagem
Riegler et al. Eir—efficient computer aided diagnosis framework for gastrointestinal endoscopies
CN104114077A (zh) 图像处理装置和图像处理方法
Penna et al. A technique for blood detection in wireless capsule endoscopy images
CN111524124A (zh) 炎症性肠病消化内镜影像人工智能辅助系统
Naz et al. Detection and classification of gastrointestinal diseases using machine learning
US11935239B2 (en) Control method, apparatus and program for system for determining lesion obtained via real-time image
CN113222957A (zh) 一种基于胶囊镜图像的多类别病灶高速检测方法及系统
CN116206741A (zh) 一种消化科医疗信息处理系统及方法
Bejakovic et al. Analysis of Crohn's disease lesions in capsule endoscopy images
Tashk et al. An innovative polyp detection method from colon capsule endoscopy images based on a novel combination of RCNN and DRLSE
Sindhu et al. Automatic detection of colonic polyps and tumor in wireless capsule endoscopy images using hybrid patch extraction and supervised classification
Cao et al. Deep learning based lesion detection for mammograms
CN114049934B (zh) 辅助诊断方法、装置、系统、设备和介质
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
CN114332056A (zh) 一种基于目标检测算法的早期胃癌内镜实时辅助检测系统
CN114581408A (zh) 一种基于yolov5的胃镜息肉检测方法
JP2019013461A (ja) プローブ型共焦点レーザー顕微内視鏡画像診断支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869036

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021516756

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19869036

Country of ref document: EP

Kind code of ref document: A1