WO2020071678A2 - 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 - Google Patents

실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법

Info

Publication number
WO2020071678A2
WO2020071678A2 PCT/KR2019/012449 KR2019012449W WO2020071678A2 WO 2020071678 A2 WO2020071678 A2 WO 2020071678A2 KR 2019012449 W KR2019012449 W KR 2019012449W WO 2020071678 A2 WO2020071678 A2 WO 2020071678A2
Authority
WO
WIPO (PCT)
Prior art keywords
unit
lesion
gastric
neural network
image
Prior art date
Application number
PCT/KR2019/012449
Other languages
English (en)
French (fr)
Other versions
WO2020071678A3 (ko
Inventor
조범주
방창석
박세우
이재준
최재호
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to JP2021516766A priority Critical patent/JP7218432B2/ja
Priority to CN201980064310.0A priority patent/CN112823396A/zh
Publication of WO2020071678A2 publication Critical patent/WO2020071678A2/ko
Publication of WO2020071678A3 publication Critical patent/WO2020071678A3/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00101—Insertion part of the endoscope body characterised by distal tip features the distal tip features being detachable
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00315—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
    • A61B2018/00482—Digestive system

Definitions

  • the present application relates to an endoscopic device and method for diagnosing gastric lesions based on a gastroscopy image obtained in real time.
  • Cancer is the proliferation of cells that cannot be suppressed, and the importance of diagnosis and treatment is very important because it destroys the structure and function of normal cells and organs.
  • Cancer is a disease in which cells multiply abnormally and interfere with normal cell function.
  • Representative cancers include lung cancer, gastric cancer (GC), breast cancer (BRC), and colorectal cancer (CRC). Can occur in any organization.
  • gastric cancer in the world, shows many occurrences in Korea and Japan, and in the United States and Europe, the incidence is low. In Korea, the incidence rate is ranked first and the mortality rate ranks second after lung cancer, which is one of the most significant effects on cancer. Looking at the classification of gastric cancer, 95% of the total is adenocarcinoma arising from glandular cells of the mucous membrane of the stomach wall, and there are other lymphomas in the lymphatic system and gastrointestinal stromal tumors in the interstitial tissue.
  • biopsy of the body causes great pain to the patient, and it is not only expensive, but also takes a long time to diagnose.
  • CT computed tomography
  • NMR nuclear magnetic resonance
  • Diagnosis using computed tomography or nuclear magnetic resonance has the potential to be misdiagnosed depending on the proficiency of a clinician or a reader, and has a drawback that is highly dependent on the precision of a device for obtaining an image. Furthermore, even the most precise instruments cannot detect tumors of several millimeters or less in size, making it difficult to detect tumors at an early stage of onset. In addition, since a patient or a person who is capable of holding the disease is exposed to a high-energy electromagnetic wave capable of causing mutation of the gene in order to obtain an image, another disease may be caused.
  • the diagnosis of a neoplasm occurring in the stomach is usually primarily found by a doctor through a gastroscopy, and it is often the primary judgment of gastric cancer considering the shape and size of the stomach inside included in the endoscopy image.
  • cancer was suspected, and gastric endoscopy was used to collect the tissue, and pathological biopsy confirmed it.
  • gastroscopy is a patient who needs to swallow an endoscope, and the endoscope passes through the esophagus and reaches the stomach, causing a lot of discomfort, and there is a possibility of complications such as esophageal perforation or gastric perforation. It is necessary for the patient to do.
  • the discovery of abnormal lesions obtained through an endoscopic device is generally determined by the abnormal shape of the lesion or the color change of the mucous membrane, and diagnostic accuracy is known to be improved by training and optical techniques and chromoendoscopy.
  • Endoscopic imaging techniques such as narrow band imaging, confocal imaging, and magnification techniques (so-called image-enhanced endoscopy) is known to improve diagnostic accuracy.
  • the present application is to solve the above-mentioned problems of the prior art, and collects white light gastroscopy images (images) obtained from an endoscopy device, and applies it to a deep learning algorithm in real time to diagnose gastric lesions in real time during gastroscopy It aims to provide a endoscopic device capable of.
  • the present application is to solve the problems of the prior art described above, and an object of the present invention is to provide an endoscopic device capable of providing a deep learning model for automatically classifying gastric tumors based on gastroscopy.
  • the present application is intended to solve the problems of the prior art described above, and a doctor (user) can diagnose gastric tumors that may be overlooked by evaluating in real time a plurality of image data obtained when examining gastric tumors using an endoscopic device. It aims to provide a endoscopic device.
  • the present application is for solving the above-mentioned problems of the prior art, and aims to provide an endoscope device capable of automatically classifying and predicting gastric cancer or gastric dysplasia by automatically classifying gastric neoplasm based on the gastroscopy image obtained in real time. do.
  • the endoscopic device for diagnosing a lesion using the gastroscopy image obtained in real time accommodates a plurality of unit devices and is inserted into a subject's body
  • the artificial neural network system through learning to input a plurality of gastric lesion images as inputs and output items regarding the results of the diagnosis of the gastric lesions, which are provided at the rear end of the body part and are operated on the body part based on user input information.
  • the lesion diagnosis unit performing diagnosis of the gastric lesion through the artificial neural network system constructed by linking the gastric endoscope image obtained in real time with patient information. It may include a display unit to display.
  • the endoscope device may further include a control unit that generates a control signal for controlling the operation of the body part based on the user's input information provided by the manipulation unit and the diagnosis result of the lesion diagnosis device.
  • the body portion is provided at the front end of the body portion, and includes a photographing unit for photographing a new gastric lesion image and providing the photographed new gastrointestinal endoscope image
  • the control unit comprises: A user input for controlling the operation of the photographing unit may be received, and a control signal for controlling the photographing unit may be generated.
  • a lesion location acquiring unit for generating gastric lesion information by linking the new gastroscope image provided by the imaging unit with location information, wherein the control unit diagnoses the lesion diagnosis apparatus and the result Based on the above lesion information, a control signal for controlling the operation of a biopsy unit for collecting a part of the tissue of the subject may be generated.
  • the lesion diagnosis unit is applied to an image acquisition unit receiving the new gastric lesion image, a data generation unit that generates a new data set by linking the new gastric lesion image and patient information, and applied to a deep learning algorithm Data pre-processing unit to pre-process the new data set to enable, artificial neural network construction unit to build an artificial neural network system through learning by inputting a plurality of gastric lesion images and outputting items related to the gastric lesion diagnosis result, and the new data
  • the set may include a gastric lesion diagnosis unit for performing gastric lesion diagnosis through the artificial neural network system after the pretreatment process.
  • the data generation unit generates a data set by linking each of the plurality of stomach lesion images with patient information, wherein the data set includes a training data set and the artificial neural network required for learning the artificial neural network system. It can be generated by classifying it into a data set for verification to verify the progress of learning of the system.
  • the verification data set may be a data set that does not overlap with the learning data set.
  • the pre-processing unit crops and moves a peripheral region of the image that does not include the gastric lesion centering on the gastric lesion using the gastric lesion image included in the new data set (
  • the above lesion image may be pre-processed to a state applicable to the deep learning algorithm by performing any one of pre-processing of shift), rotation, flipping, and color adjustment.
  • the pre-processing unit includes an amplifying unit for increasing the number of data of the new gastric lesion image data, wherein the amplifying unit applies rotation, flipping, cropping and noise mixing of the new gastric lesion image data
  • the amplifying unit applies rotation, flipping, cropping and noise mixing of the new gastric lesion image data
  • the above lesion image data can be amplified.
  • the artificial neural network constructing unit includes a convolutional neural network and a fully connected deep neural network that take the pre-processed data set as an input and output the items related to the gastric lesion diagnosis result as output.
  • Training model can be built through learning of Fully-connected Neural Networks.
  • the data set that has been subjected to the pre-processing process may be used as an input of the synthetic neural network
  • the deeply connected deep neural network may be an input of the synthetic neural network and the patient information.
  • the composite neural network outputs a plurality of feature patterns from the plurality of stomach lesion images, and the plurality of feature patterns may be finally classified by a deep connection deep neural network.
  • the gastric lesion diagnosis unit includes advanced gastric cancer, early gastric cancer, high-grade dysplasia, low-grade dysplasia, and non-tumor (
  • the gastric lesion diagnosis classification may be performed by any one of at least any one of non-neoplasm).
  • the endoscopic device obtained in real time is obtained by an endoscope device including a body part inserted into a subject's body and a rear end of the body part and an operation part for manipulating the body part based on user input information.
  • the method of diagnosing a lesion by constructing an artificial neural network system through learning to input a plurality of gastric lesion images as input and outputting an item regarding the result of gastric lesion diagnosis, and a new data set by linking the gastroscopy image with patient information And generating a diagnosis of gastric lesions through the constructed artificial neural network, and displaying a diagnosis result and a gastroscopy image obtained in real time.
  • a doctor can learn a plurality of image data acquired during examination of a stomach tumor using an endoscope device in real time, and diagnose a stomach tumor that may be overlooked.
  • an objective and consistent reading result can be obtained by diagnosing and predicting a gastric lesion through a device for diagnosing a gastric endoscopic image obtained from an endoscopic imaging device, It reduces the likelihood of mistakes and misreads that can occur when the doctor can read them, and can be used as a clinical decision aid.
  • FIG. 1 is a schematic configuration diagram of an endoscope device according to an embodiment of the present application.
  • FIG. 2 is a schematic block diagram of an endoscopic device according to an embodiment of the present application.
  • FIG. 3 is a schematic block diagram of a lesion diagnosis unit of an endoscopic device according to an embodiment of the present application.
  • FIG. 4 is an operation flowchart of a method for diagnosing a lesion using an upper endoscope image acquired in real time by an endoscope apparatus according to an embodiment of the present application.
  • the present invention relates to an apparatus and method for diagnosing gastric lesions, including an in-depth learning model that classifies gastric tumors based on gastroscopy images obtained from an endoscopic device and evaluates its performance.
  • the present application can automatically diagnose the neoplasm of the stomach by reading a gastroscopy picture based on a convolutional neural network.
  • the present application applies a deep learning algorithm called a synthetic neural network to a gastroscopy photographic image data set, trains it with a computer, reads a newly entered gastroscopy, and automatically categorizes gastric neoplasms from the photo, thereby detecting gastric cancer or stomach cancer. Formation, etc. can be diagnosed or predicted.
  • a deep learning algorithm called a synthetic neural network
  • the present application can diagnose and predict gastric cancer or gastric dysplasia by reading a new gastric lesion image acquired in real time in an artificial neural network system constructed based on a plurality of gastric lesion images.
  • FIG. 1 is a schematic block diagram of an endoscopic device according to an embodiment of the present application
  • FIG. 2 is a schematic block diagram of an endoscopic device according to an embodiment of the present application.
  • the endoscope device 1 includes a lesion diagnosis unit 10, an operation unit 21, a body unit 22, a control unit 23, a lesion position acquisition unit 24, and a display unit 25 ).
  • the endoscope device 1 can transmit and receive data (image, video, text) and various communication signals through a network.
  • the lesion diagnosis system 1 may include any kind of server, terminal or device having the function of storing and processing data.
  • the endoscopy device 1 may be a device used for gastroscopy.
  • the endoscope device 1 may be formed such that the body portion 22 is operated based on user input information, including the operation portion 21 as shown in FIG. 1.
  • the endoscope device 1 may be in the form of a capsule.
  • the capsule endoscope device 1 includes an ultra-small camera, and is inserted into the body of an object (patient) to obtain an image of the lesion of the stomach.
  • the shape of the endoscopic device 1 is not limited to the shape described above.
  • the lesion diagnosis unit 10 constructs an artificial neural network system through learning that inputs a plurality of gastric lesion images as input and outputs items related to gastric lesion diagnosis results, and establishes a new data set by linking the gastroscopy image with patient information. It is possible to perform gastric lesion diagnosis through the generated and constructed artificial neural network system.
  • the lesion diagnosis unit 10 may be configured to perform gastric lesion diagnosis after learning through an artificial neural network system in which a stomach lesion image obtained in real time is built.
  • the lesion diagnosis unit 10 will be described in more detail with reference to FIG. 3 to be described later.
  • the operation unit 21 is provided at the rear end of the body unit 22 and can be operated based on user input information.
  • the operation portion 21 is a portion gripped by an endoscopic operator, and can operate the body portion 22 inserted into the subject's body.
  • the operation unit 21 can operate the operations of a plurality of unit devices required for the endoscopic procedure accommodated by the body unit 22.
  • the manipulation unit 21 may include a rotation control unit.
  • the rotation control unit may include a portion in charge of a function for generating a control signal and a function for providing a rotational force (for example, a motor).
  • the operation unit 21 may include a button for operating the imaging unit (not shown).
  • the button is a button for controlling the position of the photographing unit (not shown), and may be for a user to change the position of the body unit 22 such as up, down, left, right, forward, and backward.
  • the body portion 22 is a portion that is inserted into the subject's body, and can accommodate a plurality of unit devices.
  • the plurality of unit devices includes a photographing unit (not shown) that photographs the subject's body, an air supply unit that supplies air to the body, a water supply unit that supplies water to the body, a lighting unit that irradiates light into the body, and tissues in the body It may include at least one of a biopsy (biopsy) unit for collecting or treating a portion of the suction unit for inhaling air or foreign matter from the body.
  • a biopsy biopsy
  • the biopsy unit may include various medical devices such as a mass and a needle for extracting a portion of tissue from a living body, and the biopsy unit such as a mass and a needle is inserted into the body through a biopsy channel by an endoscopic operator. Cells in the body can be collected by inserting into the.
  • various medical devices such as a mass and a needle for extracting a portion of tissue from a living body
  • the biopsy unit such as a mass and a needle is inserted into the body through a biopsy channel by an endoscopic operator. Cells in the body can be collected by inserting into the.
  • the photographing unit may accommodate a camera having a size corresponding to the diameter of the body portion 22.
  • An imaging unit may be provided at the front end of the body 22 to take an image of the lesion and provide an image of the lesion taken by the lesion diagnosis unit 10 and the display unit 25 through a network. .
  • the imaging unit may acquire a new gastric lesion image in real time.
  • the control unit 23 may generate a control signal for controlling the operation of the body unit 22 based on the user's input information provided by the operation unit 21 and the diagnosis result of the lesion diagnosis apparatus 10.
  • the control unit 23 may generate a control signal that controls the operation of the body unit 22 to correspond to a corresponding button when a selection input from one of the buttons included in the operation unit 21 is received. For example, when the user inputs a button for advancing the body portion 22, the control unit 23 transmits a motion control signal so that the body portion 22 can advance the body of the object (patient) at a constant speed. Can be created.
  • the body portion 22 may advance in the body of the object (patient) based on the control signal of the control unit 23.
  • control unit 23 may generate a control signal for controlling the operation of the photographing unit (not shown).
  • the control signal for controlling the operation of the imaging unit (not shown) may be a signal for capturing the lesion image by the imaging unit (not shown) located in the lesion area.
  • the user can click the capture acquisition button when the imaging unit (not shown) located in a specific lesion area from the manipulation unit 21 wants to acquire an image.
  • the control unit 23 may generate a control signal so that the imaging unit (not shown) can acquire an image in a corresponding lesion area based on input information provided from the operation unit 21.
  • the control unit 23 may generate a control signal for acquiring a specific gastric lesion image from an image being photographed by a photographing unit (not shown).
  • control unit 23 may generate a control signal for controlling the operation of the biopsy unit for collecting a part of the tissue of the subject based on the diagnosis result of the lesion diagnosis apparatus 10.
  • the control unit 23 includes at least one of advanced gastric cancer, early gastric cancer, high-grade dysplasia, and low-grade dysplasia. If it belongs to any one, it is possible to generate a control signal for controlling the operation of the biopsy (biopsy) unit to perform the resection.
  • the biopsy unit may include various medical devices such as a mass and a needle for extracting a portion of tissue from a living body, and the biopsy unit such as a mass and a needle is inserted into the body through a biopsy channel by an endoscopic operator. Cells in the body can be collected by inserting into the.
  • the control unit 23 may generate a control signal for controlling the operation of the biopsy unit based on the user input signal received from the operation unit 21. The operation of collecting, excising, and removing cells in the body may be performed by the user using the manipulation unit 21.
  • the lesion location obtaining unit 24 may generate stomach lesion information by linking the stomach lesion image and location information provided by the imaging unit (not shown).
  • the location information may be location information where the body portion 22 is currently located in the body.
  • the lesion location obtaining unit 24 displays the stomach lesion image and location information.
  • the above lesion information can be generated.
  • the lesion location acquiring unit 24 may provide the user (doctor) with stomach lesion information generated by linking the acquired stomach lesion image with location information.
  • the lesion location acquiring unit 24 may provide the diagnosis result of the lesion diagnosis unit 10 and the above lesion information of the lesion location acquiring unit 24 to the user through the display unit 25, the procedure for resecting (removing) the corresponding lesion and the position of the lesion during surgery It can prevent situations where resection can be performed elsewhere.
  • control unit 23 controls to control the position of the biopsy unit when the biopsy unit is not located at the corresponding lesion location using the location information provided by the lesion location acquisition unit 24. You can generate a signal.
  • FIG. 3 is a schematic block diagram of a lesion diagnosis unit of an endoscopic device according to an embodiment of the present application.
  • the lesion diagnosis unit 10 includes an image acquisition unit 11, a data generation unit 12, a data pre-processing unit 13, an artificial neural network construction unit 14, and a gastric lesion diagnosis unit 15. It can contain.
  • the configuration of the lesion diagnosis unit 10 is not limited to those disclosed above.
  • the lesion diagnosis unit 10 may further include a database for storing information.
  • the image acquisition unit 11 may acquire a new gastric lesion image.
  • the image acquisition unit 11 may receive a new gastric lesion image from a photographing unit (not shown).
  • the image acquisition unit 11 may acquire a new gastric lesion image acquired by an endoscopic imaging device (digital camera) used for gastroscopy treatment.
  • the image acquisition unit 11 may collect an endoscopic white light image of the pathologically confirmed gastric lesion.
  • the new gastric lesion image may be a gastric lesion image acquired in real time through an imaging unit (not shown) during endoscopy (treatment).
  • the image acquisition unit 11 may acquire an image (image) photographed by changing any one of an angle, a direction, and a distance of the first area on the subject.
  • the image acquisition unit 11 may acquire a new gastric lesion image in JPEG format.
  • the new gastric lesion image may be a 1280 x 640 pixel resolution with a 35-degree field style applied.
  • the image acquisition unit 11 may acquire an image in which individual identifier information for a new gastric lesion image is removed.
  • the image acquisition unit 11 may acquire a new gastric lesion image in which a lesion is located in the center and a black frame region is removed from the lesion image.
  • the image acquisition unit 11 may exclude the image when a low-quality or low-resolution image is acquired, such as out-of-focus, artifacts, and transliteration, in the image acquisition process. In other words, if the image acquisition unit 11 is not applicable to the deep learning algorithm, the image may be excluded.
  • the endoscope device 1 may be a device formed in the form of a capsule.
  • the capsule endoscope device 1 is inserted into the human body of the subject (subject) and can be operated remotely.
  • the new gastric lesion image obtained from the capsule endoscopy device may be data obtained by imaging not only the image of the region that the user wants to capture, but also all images acquired by video shooting.
  • the data generation unit 12 may generate a new data set by linking the new stomach lesion image and patient information.
  • the patient information may include various information such as the subject's (subject's) gender, age, height, weight, race, nationality, smoking amount, alcohol consumption, and family history.
  • patient information may include clinical information.
  • Clinical information may refer to all data used by a doctor making a diagnosis in a hospital for a specific diagnosis. In particular, it may be electronic medical record data including data including gender and age, specific treatment status data, salary claims, and prescription data generated in the course of treatment.
  • clinical information may include biological data data such as genetic information.
  • Biological data data may include personal health information with numerical data such as heart rate, electrocardiogram, momentum, oxygen saturation, blood pressure, weight, and sugar.
  • the patient information may be data input to a fully connected neural network together with a result of the structure of the synthetic neural network in the artificial neural network construction unit 14 described below, and improve accuracy by inputting information other than the above lesion image into the artificial neural network.
  • the effect can be expected.
  • the pre-processing unit 13 may pre-process a new data set to be applicable to a deep learning algorithm.
  • the pre-processing unit 13 may pre-process new data sets in order to increase recognition performance in a deep learning algorithm and minimize similarity between images between patients.
  • the deep learning algorithm may be composed of two parts: a convolutional neural network structure and a fully-connected neural network structure.
  • the pre-processing unit 13 may perform a 5-step pre-processing process.
  • the pre-processing unit 13 may perform a crop step.
  • an unnecessary portion (black background) of the edge may be cut out from the new stomach lesion image obtained by the image acquisition unit 11 with the lesion as the center.
  • the pre-processing unit 13 may crop the lesion image by setting a randomly designated pixel size (eg, 299 x 299 pixels, 244 x 244 pixels).
  • the pre-processing unit 13 may crop a new stomach lesion image to a size that can be applied to a deep learning algorithm.
  • the pre-processing unit 13 may perform a parallel shift step.
  • the pre-processing unit 13 may move the new gastric lesion image in parallel in the up, down, left, and right directions.
  • the pre-processing unit 13 may perform a flipping step.
  • the pre-processing unit 13 may vertically flip the image of the upper lesion.
  • the pre-processing unit 13 may perform a process of inverting the image of the lesion in the vertical direction and then inverting in the horizontal direction.
  • the pre-processing unit 13 may perform a color adjustment step.
  • the pre-processing unit 13 may perform color adjustment of the image based on the extracted color using the average subtraction method as the average RGB value of the entire data set.
  • the pre-processing unit 13 may randomly adjust the color of the new gastric lesion image.
  • the pre-processing unit 13 may perform all the pre-processing steps of 5 steps to generate a new stomach lesion image as a data set applicable to a deep learning algorithm. In addition, the pre-processing unit 13 may generate at least one of the five pre-processing steps to generate a new stomach lesion image as a data set applicable to a deep learning algorithm.
  • the pre-processing unit 13 may further perform an enlargement / resizing step.
  • the resizing step may be a step of enlarging and reducing the lesion image to a predetermined size.
  • the pre-processing unit 13 may include an amplifying unit (not shown) for amplifying image data for increasing the number of new gastric lesion image data.
  • the amplification unit may perform a data augmentation process by applying at least one of rotation, flipping, cropping, and noise mixing of the new gastric lesion image.
  • the pre-processing unit 13 may perform a pre-processing process to correspond to a preset reference value.
  • the preset reference value may be a value arbitrarily designated by the user.
  • the preset reference value may be a value determined by the average value of the acquired new gastric lesion image.
  • the new data set that has passed through the pre-processing unit 13 may be provided to the artificial neural network building unit 14.
  • the image acquisition unit 11 acquires a plurality of gastric lesion images
  • the data generation unit 12 transmits patient information to each of the plurality of gastric lesion image data.
  • the artificial neural network building unit 14 may construct an artificial neural network system by using the plurality of gastric lesion images received by the image acquisition unit 11 from a plurality of hospital image storage devices and database systems.
  • the image storage device of a plurality of hospitals may be a device that stores images of gastric lesions obtained when performing gastroscopy in multiple hospitals.
  • the artificial neural network building unit 14 may undergo a process of preprocessing the data set to be applicable to a deep learning algorithm.
  • the pre-processing process at this time may be performed in the data pre-processing unit 13 described above.
  • the artificial neural network building unit 14 preprocesses the data set to be applicable to a deep learning algorithm through a pre-processing step of 5 steps performed by the preprocessing unit 13 described above with respect to the above lesion image included in the data set. You can.
  • the data generation unit 12 may generate a learning data set and a verification data set for applying a deep learning algorithm.
  • a data set may be generated by classifying the data set into a training data set required for learning an artificial neural network and a verification data set for verifying progress information of learning of an artificial neural network.
  • the data generation unit 12 may classify an image to be used for a training data set and an image used for a verification data set randomly among a plurality of stomach lesion images obtained from the image acquisition unit 11. Also, the data generation unit 12 may use the rest of the data sets for verification as data sets for learning. The data set for verification can be randomly selected. The ratio of the verification data set and the learning data set may be determined by a preset reference value. In this case, the preset reference value may be set to 10% of the data set for verification and 90% of the data set for learning, but is not limited thereto.
  • the data generation unit 12 may generate a data set by classifying a training data set and a verification data set to prevent an overfitting condition. For example, due to the learning characteristics of the neural network structure, the data set for learning may be in an overfitting state, so the data generation unit 12 may utilize the verification data set to prevent the artificial neural network from being in an overfitting state. .
  • the verification data set may be a data set that does not overlap with the learning data set. Since the data for verification is data that has not been used for the construction of an artificial neural network, it is the first data encountered in the artificial neural network at the time of verification. Therefore, the verification data set may be a data set suitable for evaluating the performance of the artificial neural network when a new image (a new image not used for learning) is input.
  • the artificial neural network building unit 14 may build an artificial neural network through learning that inputs a data set that has undergone a pre-processing process as an input and outputs an item regarding the result of classification of the lesion.
  • the artificial neural network building unit 14 applies a deep learning algorithm consisting of two parts: a convolutional neural network structure and a fully-connected neural network structure.
  • the classification result can be output.
  • a deeply connected deep neural network forms a two-dimensional connection horizontally and vertically between nodes, and there is no connection relationship between nodes located on the same layer, and a connection relationship exists only between nodes located on adjacent layers. It is a neural network.
  • the artificial neural network constructing unit 14 may construct a training model through learning that uses a data set for learning that has undergone a pre-processing process as an input, and a learning that uses the output of the synthetic neural network as an input of a deeply connected deep neural network.
  • the composite neural network may extract a plurality of specific feature patterns analyzing the gastric lesion image. At this time, the extracted specific feature pattern may be used to make final classification in a deeply connected deep neural network.
  • Convolutional Neural Networks are a type of neural network mainly used in speech recognition and image recognition. It is configured to process multidimensional array data, and is specialized in multidimensional array processing such as color images. Therefore, in the field of image recognition, techniques using deep learning are mostly based on the synthetic neural network.
  • a composite neural network processes images by dividing them into several pieces rather than one piece of data. In this way, even if the image is distorted, partial characteristics of the image can be extracted, so that the correct performance is obtained.
  • the composite neural network may be formed of a plurality of layer structures. Elements constituting each layer may be composed of a convolutional layer, an activation function, a max pooling layer, an activation function, and a dropout layer.
  • the convolution layer acts as a filter called a kernel, and those that partially process the entire image (or the generated new feature pattern) can extract a new feature pattern of the same size as the image.
  • the composite product layer can easily correct values of the feature pattern through an activation function in the feature pattern.
  • the max pooling layer can reduce the size of the image by sampling and resizing some gastric lesion images.
  • the convolutional neural network passes through the convolutional layer and the max pooling layer, and the size of the feature pattern is reduced, but multiple feature patterns can be extracted through the use of multiple kernels.
  • the dropout layer may be a method in which some weights are not intentionally considered for efficient training when training weights of the composite neural network. Meanwhile, the dropout layer may not be applied in the case of actual testing through a trained model.
  • a plurality of feature patterns extracted from the synthetic neural network can be used to perform classification work by being transferred to the next step, a deeply connected deep neural network.
  • the composite neural network can control the number of layers.
  • the composite neural network can build a more stable model by adjusting the number of layers according to the amount of training data for model training.
  • the artificial neural network construction unit 14 diagnoses (training) through learning that uses a pre-processing learning data set as an input of the synthetic neural network, and outputs the synthetic neural network and patient information as an input of a fully connected deep neural network. Build a model.
  • the artificial neural network construction unit 14 may allow the pre-processed image data to first enter the synthetic neural network, and the result obtained through the synthetic neural network to enter the deeply connected deep neural network.
  • the artificial neural network constructing unit 14 may allow the randomly extracted features to go into a deeply connected deep neural network without going through a synthetic neural network.
  • the patient information may include various information such as the subject's (subject's) gender, age, height, weight, race, nationality, amount of smoking, alcohol consumption, and family history.
  • patient information may include clinical information.
  • Clinical information may refer to all data used by a doctor making a diagnosis in a hospital for a specific diagnosis. In particular, it may be electronic medical record data including data including gender and age, specific treatment status data, salary claims, and prescription data generated in the course of treatment.
  • clinical information may include biological data data such as genetic information.
  • Biological data data may include personal health information with numerical data such as heart rate, electrocardiogram, momentum, oxygen saturation, blood pressure, weight, and sugar.
  • the patient information is data input to the fully connected neural network together with the result of the structure of the synthetic neural network structure in the artificial neural network construction unit 14, and the patient information is input to the artificial neural network to improve accuracy than the result derived using only the lesion image above. You can expect the effect.
  • the artificial neural network construction unit 14 applies the training data to a deep learning algorithm structure (a structure formed by a deeply connected deep neural network through a synthetic product neural network) and compares the error between the result and the actual result, and corresponds to the corresponding error.
  • the result can be fed back and learned through a backpropagation algorithm that gradually changes the weight of the neural network structure.
  • the backpropagation algorithm may be to adjust the weight from each node to the next node to reduce the error of the result (the difference between the actual value and the result value).
  • the learning unit 14 may be to derive a final diagnostic model by training a neural network using a training data set and a verification data set to obtain weight parameters.
  • the gastric lesion diagnosis unit 15 may perform gastric lesion diagnosis through an artificial neural network after preprocessing a new data set. In other words, the gastric lesion diagnosis unit 15 may derive a diagnosis for a new gastroscopy image using the final diagnostic model derived from the artificial neural network construction unit 14 described above.
  • the new gastroscopy image may be a real-time gastroscopy image obtained through the imaging unit of the endoscopy device 1.
  • the new gastroscopy image may be data including a gastric lesion image that a user wants to diagnose.
  • the new data set may be a data set generated by associating a new stomach lesion image with patient information.
  • the new data set may be preprocessed in a state applicable to a deep learning algorithm through a preprocessing process of the preprocessing unit 12. Thereafter, the pre-processed new data set is input to the learning unit 14 so that the stomach lesion image can be diagnosed based on the learning parameters.
  • the gastric lesion diagnosis unit 15 is advanced gastric cancer, early gastric cancer, high-grade dysplasia, low-grade dysplasia, and
  • the gastric lesion diagnosis classification may be performed by any one of at least one of a non-neoplasm.
  • the stomach lesion diagnosis unit 15 may be classified into cancer and non-cancer.
  • the gastric lesion diagnosis unit 15 may be classified into two categories, neoplastic and non-neoplastic, to perform gastric lesion diagnostic classification.
  • Neobiological classification may include AGC, EGC, HGD and LGD.
  • Non-tumor categories may include gastritis, benign ulcers, malformations, polyps, intestinal epithelialization or lesions such as epithelial tumors.
  • the lesion diagnosis unit 10 automatically classifies and diagnoses ambiguous lesions by analyzing images acquired by the imaging unit (not shown) to reduce side effects caused by unnecessary biopsy or endoscopic resection to classify and diagnose ambiguous lesions. Diagnosis and, in the case of a neoplasm (dangerous tumor), information may be generated to perform an endoscopic resection procedure using a plurality of unit devices included in the body portion 22.
  • FIG. 4 is an operation flowchart of a method for diagnosing a lesion using an upper endoscope image acquired in real time by an endoscope apparatus according to an embodiment of the present application.
  • the method of diagnosing a lesion using the gastroscopy image obtained in real time by the endoscopic apparatus shown in FIG. 4 may be performed by the endoscopic apparatus 1 described above. Therefore, even if omitted, the description of the endoscopic device 1 may be equally applied to a description of a method of diagnosing a lesion using the endoscopic image obtained by the endoscopic device in real time.
  • the endoscopic device 1 may perform gastric lesion diagnosis of a gastric lesion image of a new data set through an artificial neural network.
  • the endoscopic device 1 may acquire a plurality of gastric lesion images.
  • the lesion image may be a white light image.
  • the endoscopic device 1 may generate a data set by linking a plurality of gastric lesion images and patient information.
  • the endoscope device 1 may generate a data set by classifying the training data set required for learning the artificial neural network and the verification data set for verifying progress information of learning of the artificial neural network.
  • the verification data set may be a data set that is not duplicated with the training data set.
  • the data set for verification may be data used for performance evaluation of the artificial neural network when the new data set is an input of the artificial neural network after a pre-processing process.
  • the endoscopic device 1 may preprocess a new data set to be applicable to a deep learning algorithm.
  • the endoscopic device 1 uses the new gastric lesion image included in the new data set to cut the peripheral region of the image that does not contain the gastric lesion centering on the gastric lesion, and performs a CROP process to cut to a size applicable to a deep learning algorithm. Can be done.
  • the endoscopy device 1 may shift the image of the new gastric lesion in the vertical, horizontal, and horizontal directions.
  • the endoscopic device 1 can flip a new gastric lesion image.
  • the endoscopic device 1 can adjust the color of the new gastric lesion image.
  • the endoscopic device 1 may perform at least one of a plurality of preprocessing processes to preprocess the new gastric lesion image in a state applicable to a deep learning algorithm.
  • the endoscopic device 1 can amplify the image data to increase the number of new gastric lesion image data.
  • the endoscopic device 1 may amplify the gastric lesion image data by applying at least one of rotation, flipping, cropping, and noise mixing of the gastric lesion image data to amplify the new image data.
  • the endoscopy device 1 may construct an artificial neural network through learning that uses a data set that has undergone a pre-processing process as an input and outputs an item regarding the result of classification of the lesion.
  • the endoscopic device 1 learns the study of convolutional neural networks and fully-connected neural networks that take pre-processed data sets as input and output items for the above lesion classification results. You can build a training model through.
  • the endoscopic device 1 may build a training model by using a data set that has undergone pre-processing as an input of a synthetic neural network, and a fully connected deep neural network as an input of output and patient information of a synthetic neural network.
  • the composite neural network outputs a plurality of feature patterns from a plurality of stomach lesion images, and the plurality of feature patterns may be finally classified by a deeply connected deep neural network.
  • the endoscopic device 1 may perform gastric lesion diagnosis through an artificial neural network after preprocessing a new data set.
  • the endoscopic device 1 is at least any one of advanced gastric cancer, early gastric cancer, high-grade dysplasia, low-grade dysplasia and non-neoplasm.
  • Gastric lesion diagnosis can be performed on a new gastrointestinal endoscopy image.
  • the endoscopic device 1 may output a new gastroscopy image acquired in real time and a gastric lesion diagnosis result output through an artificial neural network.
  • steps S401 to S402 may be further divided into additional steps or combined into fewer steps, according to an embodiment of the present application.
  • some steps may be omitted if necessary, and the order between the steps may be changed.
  • a method of diagnosing a lesion using an upper endoscope image acquired in real time by an endoscope device may be implemented in a form of program instructions that can be performed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
  • the above-described method for diagnosing a lesion using the above endoscope image acquired in real time by the endoscope device may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

실시간으로 획득되는 위 내시경 이미지를 이용하여 병변을 진단하는 내시경 장치에 관한 것이며, 피검자의 체내로 삽입되는 몸체부, 상기 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 상기 몸체부를 조작하는 조작부, 복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 상기 인공신경망을 통해 위 병변 진단을 수행하는 병변 진단부 및 상기 병변 진단부의 진단 결과 및 위 내시경 이미지를 표시하는 디스플레이부를 포함할 수 있다.

Description

실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
본원은 2018년 10월 2일자로 출원된 한국 특허출원 번호 제10-2018-0117824호에 대한 우선권주장출원으로서, 해당 출원의 명세서 및 도면에 개시된 모든 내용은 인용에 의해 본 출원에 원용된다.
본원은 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법에 관한 것이다.
인간의 몸을 구성하고 있는 가장 작은 단위인 세포는 정상적일 때 세포 내 조절기능에 의해 분열하며 성장하고 죽어 없어지기도 하면서 세포 수 균형을 유지한다. 어떤 원인으로 세포가 손상을 받는 경우, 치료를 받아 회복하여 정상적인 세포로 역할을 하게 되지만, 회복이 안 된 경우는 스스로 죽게 된다. 그러나 여러 가지 이유로 인해 이러한 증식과 억제가 조절되지 않는 비정상적인 세포들이 과다하게 증식할 뿐만 아니라 주위 조직 및 장기에 침입하여 종괴 형성 및 정상 조직의 파괴를 초래하는 상태를 암(cancer)이라 정의한다. 암은 이렇듯 억제가 안 되는 세포의 증식으로, 정상적인 세포와 장기의 구조와 기능을 파괴하기에 그 진단과 치료의 중요성은 매우 크다.
암은 세포가 비정상적으로 증식해 정상적인 세포의 기능을 방해하는 질병으로, 폐암, 위암(gastric cancer, GC), 유방암(breast cancer, BRC), 대장암(colorectal cancer, CRC) 등이 대표적이나, 실질적으로는 어느 조직에서나 발생할 수 있다. 이 중에서 위암은, 전 세계적으로 보면 한국, 일본 등에서 많은 발생을 보이며, 미국, 유럽 등의 서구에서는 발생률이 낮은 암이다. 한국의 경우 발생률 1위, 사망률은 폐암에 이어 2위를 차지하고 있어, 암 중에서 국민건강에 미치는 영향이 매우 큰 것 중 하나이다. 위암의 분류를 살펴보면 전체의 95%가 위벽의 점막의 샘세포에서 생기는 선암이고, 그 외 림프계에서 발생하는 림프종, 간질조직에서 발생하는 위장관 간질성 종양이 있다. 조기 위암(ECG)의 대부분은 임상 증상이나 징후가 없으므로 스크리닝 전략없이 적시에 탐지하고 치료하기 어려운 문제점이 발생한다. 더불어 위의 이형성증과 같은 전암성 병변을 가진 환자는 위암에 걸릴 상당한 위험이 있다.
가장 보편적으로 사용되는 위암의 진단 방법은 생체 조직 검사를 통해 얻어진 조직 샘플을 이용하거나, 위내시경 검사를 이용하는 것이고, 전산화단층촬영(computed tomography, CT)이나 핵자기공명(nuclear magnetic resonance, NMR) 등 영상을 이용할 수 있다. 그 중 생체 조직 검사는 환자에게 큰 고통을 야기하며, 고비용이 들뿐만 아니라, 진단까지 긴 시간이 소요되는 단점이 있다. 또한, 환자의 조직에 손상을 가하게 되는 침습적인 검사이며, 환자가 실제 암에 걸린 경우, 생체 조직 검사 과정 중 암의 전이가 유발될 수 있는 위험이 있어 과다한 검사는 환자에게 유해할 수 있다. 전산화단층촬영이나 핵자기공명을 이용한 진단은 임상의 또는 판독의의 숙련도에 따라 오진의 가능성이 있으며, 영상을 얻는 기기의 정밀도에 크게 의존하는 단점이 있다. 더 나아가, 가장 정밀한 기기조차도 수 mm 이하의 종양은 검출할 수 없어, 발병 초기 단계에서는 검출이 어려운 단점이 있다. 또한, 영상을 얻기 위해 환자 또는 질병 보유 가능자가 유전자의 돌연변이를 유발할 수 있는 고에너지의 전자기파에 노출되므로, 또 다른 질병을 야기할 수도 있다.
그러므로 현행 의료에서 위에 발생한 신생물의 진단은 보통 일차적으로 의사가 위내시경 검사를 통해 발견하고, 내시경 이미지에 포함된 위 내부의 형태 및 크기를 감안하여 위암 여부를 일차 판단하는 경우가 많았다. 그리고 이 중에서 암이 의심되는 병변에 대해 위내시경 검사를 하여 조직을 채취하고, 병리학적 조직검사로 확진을 내리는 경우가 많았다. 그런데 위내시경 검사는 내시경을 환자가 삼켜야 하고, 그 내시경이 식도를 거쳐 위에 도달하면서 많은 불편감을 야기하며, 식도 천공 혹은 위 천공 등 합병증이 발생할 가능성이 있어, 그 시행횟수를 줄이면서 위신생물을 진단하는 것이 환자를 위해 필요하다.
따라서, 의사가 위신생물발견을 위한 위내시경 검사를 하고, 이 결과를 분석한 뒤 조직검사를 하기 위한 위내시경 검사를 다시 시행하는 것보다는, 한 번의 위내시경 검사 동안 위내시경 이미지에서 위신생물 병변을 발견하고, 실시간으로 그 위험도를 평가하여, 어떤 병변에 대해서 조직검사를 해야 할지 말지를 즉시 결정하여, 암의 위험이 있는 병변에 대해 그 자리에서 바로 조직검사를 하는 것이 매우 필요하다. 점차, 이렇게 위내시경 횟수를 줄여가는 것이 현재의 추세이다. 실시간으로 위신생물 병변의 위험성을 평가함에 있어, 그 위험도를 실제보다 낮게 평가하게 되면 암 병변을 놓치게 되어 암치료가 이루어지지 않게 되는 중대한 결과가 초래되며, 위험도를 실제보다 높게 평가하게 되면, 불필요한 조직검사를 하게 되어 환자의 조직에 위해를 가하게 된다.
그러나 이렇게 실시간으로 위내시경 이미지를 보고 위 병변의 위험도를 평가하는 방법은 아직까지 표준으로 확립된 것이 없다. 현재, 이러한 위험도의 평가는 거의 전적으로 위내시경을 시행하는 의사의 주관적 판단에 의존한다. 그러나 이 방법은 의사마다 경험이 달라 진단을 다르게 내릴 수 있으며, 충분한 경험이 있는 의사가 없는 지역에서는 정확한 진단이 이루어질 수 없는 문제점이 발생한다.
내시경 장치를 통해 획득된 비정상적인 병변의 발견은 일반적으로 병변의 이상 형태나 점막의 색 변화에 따라 결정되며, 진단 정확도는 훈련 및 광학 기술 및 chromoendoscopy으로 개선되는 것으로 알려졌다. 협대역 촬영 (narrow band imaging), 공초점형 이미징(confocal imaging) 및 확대 기술 (소위 이미지 강화 내시경)과 같은 내시경 이미징 기술의 적용은 진단 정확도를 향상시키는 것으로 알려져 있다.
그러나 백색 내시경만 통한 검사가 가장 일상적인 검사 방식이며, 영상 강화 내시경검사에서 서버 간 및 내시경 내 변동성을 해결하기 위한 절차 및 해석 프로세스의 표준화가 필요한 실정이다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2018-0053957호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 내시경 촬영 장치에서 획득되는 백색광 위 내시경 이미지(영상)를 수집하고, 실시간으로 딥러닝 알고리즘에 적용하여, 위내시경 검사 도중 실시간으로 위 병변을 진단할 수 있는 내시경 장치를 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 위 내시경 영상을 기반으로 위 종양을 자동으로 분류하는 심층 학습 모델을 제공할 수 있는 내시경 장치를 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 의사(사용자)가 내시경 장치를 이용하여 위 종양을 검사시 획득되는 복수의 이미지 데이터를 실시간으로 평가하여, 지나칠 수 있는 위 종양을 진단할 수 있는 내시경 장치를 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 실시간으로 획득되는 위 내시경 이미지를 기반으로 위신생물을 자동으로 분류하여 위암 혹은 위이형성 등을 진단 및 예측할 수 있는 내시경 장치를 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 실시간으로 획득되는 위 내시경 이미지를 이용하여 병변을 진단하는 내시경 장치는, 복수의 유닛 장치를 수용하고, 피검자의 체내로 삽입되는 몸체부, 상기 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 상기 몸체부를 조작하는 조작부, 복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 실시간으로 획득되는 위 내시경 이미지를 환자 정보와 연계하여 구축된 상기 인공신경망 시스템을 통해 위 병변 진단을 수행하는 병변 진단부 및 상기 병변 진단부의 진단 결과 및 실시간으로 획득되는 위 내시경 이미지를 표시하는 디스플레이부를 포함할 수 있다.
본원의 일 실시예에 따르면 내시경 장치는 상기 조작부에서 제공받은 사용자의 입력 정보 및 상기 병변 진단 장치의 진단 결과에 기반하여 상기 몸체부의 동작을 제어하는 제어 신호를 생성하는 제어부를 더 포함할 수 있다.
본원의 일 실시예에 따르면 상기 몸체부는, 상기 몸체부의 전단에 구비되어, 신규 위 병변 이미지를 촬영하고, 촬영한 상기 신규 위 내시경 이미지를 제공하는 촬영부를 포함하되, 상기 제어부는, 상기 조작부로부터 상기 촬영부의 동작을 제어하기 위한 사용자의 입력을 수신하고, 상기 촬영부를 제어하기 위한 제어 신호를 생성할 수 있다.
본원의 일 실시예에 따르면 상기 촬영부에서 제공한 상기 신규 위 내시경 이미지를 위치 정보와 연계하여 위 병변 정보를 생성하는 병변 위치 획득부를 더 포함하되, 상기 제어부는 상기 병변 진단 장치의 진단 결과 및 상기 위 병변 정보에 기반하여 대상체의 조직의 일부를 채취하기 위한 생검(biopsy) 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다.
본원의 일 실시예에 따르면 상기 병변 진단부는, 상기 신규 위 병변 이미지를 제공받는 이미지 획득부, 상기 신규 위 병변 이미지와 환자 정보를 연계하여 신규 데이터 세트를 생성하는 데이터 생성부, 딥러닝 알고리즘에 적용 가능하도록 상기 신규 데이터 세트를 전처리하는 데이터 전처리부, 복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하는 인공신경망 구축부 및 상기 신규 데이터 세트를 상기 전처리 과정을 거친 후 상기 인공신경망 시스템을 통해 위 병변 진단을 수행하는 위 병변 진단부를 포함할 수 있다.
본원의 일 실시예에 따르면 상기 데이터 생성부는 상기 복수의 위 병변 이미지 각각을 환자 정보와 연계하여 데이터 세트를 생성하되, 상기 데이터 세트는 상기 인공신경망 시스템의 학습에 요구되는 학습용 데이터 세트 및 상기 인공신경망 시스템의 학습의 진행 정도를 검증하기 위한 검증용 데이터 세트로 분류하여 생성할 수 있다.
본원의 일 실시예에 따르면 상기 검증용 데이터 세트는 상기 학습용 데이터 세트와 중복되지 않는 데이터 세트일 수 있다.
본원의 일 실시예에 따르면 상기 전처리부는, 상기 신규 데이터 세트에 포함된 위 병변 이미지를 이용하여 상기 위 병변을 중심으로 하여 상기 위 병변이 포함되지 않은 이미지의 주변부 영역을 자르기(crop), 이동(shift), 회전(rotation), 뒤집기(flipping) 및 색상 조정(color adjustment) 중 어느 하나의 전처리 과정을 수행하여 상기 위 병변 이미지를 상기 딥러닝 알고리즘에 적용 가능한 상태로 전처리할 수 있다.
본원의 일 실시예에 따르면 상기 전처리부는, 상기 신규 위 병변 이미지 데이터의 데이터 수를 증가시키기 위한 증폭부를 포함하되, 상기 증폭부는 상기 신규 위 병변 이미지 데이터의 회전, 뒤집기, 자르기 및 소음 섞기를 적용하여 상기 위 병변 이미지 데이터를 증폭할 수 있다.
본원의 일 실시예에 따르면 상기 인공신경망 구축부는, 전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 상기 위 병변 진단 결과에 관한 항목을 출력으로 하는 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)의 학습을 통한 훈련 모델을 구축할 수 있다.
본원의 일 실시예에 따르면 상기 전처리 과정을 거친 데이터 세트는 상기 합성곱신경망의 입력으로 하고, 상기 완전연결 심층 신경망은 상기 합성곱신경망의 출력 및 상기 환자 정보를 입력으로 할 수 있다.
본원의 일 실시예에 따르면 상기 합성곱신경망은 상기 복수의 위 병변 이미지로부터 복수의 특징 패턴을 출력하고, 상기 복수의 특징 패턴은 완전연결 심층 신경망에 의해 최종 분류될 수 있다.
본원의 일 실시예에 따르면 상기 위 병변 진단부는, 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 상기 위 병변 진단 분류를 수행할 수 있다.
본원의 일 실시예에 따르면 피검자의 체내로 삽입되는 몸체부 및 상기 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 상기 몸체부를 조작하는 조작부를 포함하는 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법은, 복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 상기 인공신경망을 통해 위 병변 진단을 수행하는 단계 및 진단 결과 및 실시간으로 획득되는 위 내시경 이미지를 표시하는 단계를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 내시경 촬영 장치에서 획득되는 백색광 위 내시경 이미지(영상)를 수집하고, 딥러닝 알고리즘에 적용하여 위 병변을 진단할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 위 내시경 영상을 기반으로 위 종양을 자동으로 분류하고 생성된 인공신경망을 평가하는 심층 학습 모델을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 의사(사용자)가 내시경 장치를 이용하여 위 종양을 검사시 획득하는 복수의 이미지 데이터를 실시간으로 학습하여, 지나칠 수 있는 위 종양을 진단할 있다.
전술한 본원의 과제 해결 수단에 의하면, 경험 있는 의사가 필요했던 기존 위 내시경 판독에 비해 내시경 촬영 장치로 획득된 이미지를 학습하고, 위 병변을 분류함으로써, 큰 폭의 비용 절감 및 인력 절감 효과가 있다.
전술한 본원의 과제 해결 수단에 의하면, 내시경 촬영 장치에서 획득된 위 내시경 이미지를 사기 위 병변을 진단하는 장치를 통해 위 병변을 진단 및 예측함으로써, 객관적이고, 일관적인 판독 결과를 획득할 수 있으며, 의사가 판독할 수 때 발생할 수 있는 실수 및 오독의 가능성을 줄이고, 임상결정 보조도구로서 사용될 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 내시경 장치의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 내시경 장치의 개략적인 블록도이다.
도 3은 본원의 일 실시예에 따른 내시경 장치의 병변 진단부의 개략적인 블록도이다.
도 4는 본원의 일 실시예에 따른 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 내시경 장치로부터 획득되는 위 내시경 이미지를 기반으로 위 종양을 분류하고, 그 성능을 평가하는 심층 학습 모델을 포함하는 위 병변을 진단하는 장치 및 방법에 관한 것이다. 본원은 합성곱신경망(convolutional neural network)에 기반하여 위내시경 사진을 판독하여 자동으로 위의 신생물을 진단할 수 있다.
본원은 위내시경 사진 이미지 데이터 세트에 합성곱신경망이라는 딥러닝 알고리즘을 적용하여 컴퓨터로 학습시킨 뒤, 새로 입력되는 위내시경 사진을 판독하고, 이를 통해 해당 사진에서 위신생물을 자동으로 분류하여 위암 혹은 위이형성 등을 진단 혹은 예측할 수 있다.
본원은 복수의 위 병변 이미지를 기반으로 구축된 인공신경망 시스템에 실시간으로 획득되는 신규 위 병변 이미지를 판독하여 위 암 혹은 위이형성 등을 진단 및 예측할 수 있다.
도 1은 본원의 일 실시예에 따른 내시경 장치의 개략적인 구성도이고, 도 2는 본원의 일 실시예에 따른 내시경 장치의 개략적인 블록도이다.
도 1 및 도 2를 참조하면, 내시경 장치(1)는 병변 진단부(10), 조작부(21), 몸체부(22), 제어부(23), 병변 위치 획득부(24), 디스플레이부(25)를 포함할 수 있다.
내시경 장치(1)는 데이터(이미지, 영상, 텍스트) 및 각종 통신 신호를 네트워크를 통해 송수신할 수 있다. 병변 진단 시스템(1)은 데이터 저장 및 처리의 기능을 가지는 모든 종류의 서버, 단말 또는 디바이스를 포함할 수 있다.
내시경 장치(1)는 위 내시경 검사 시 사용되는 장치일 수 있다. 내시경 장치(1)는 도 1에 도시된 바와 같이 조작부(21)를 포함하여 사용자의 입력 정보에 기반하여 몸체부(22)가 조작되도록 형성될 수 있다. 또한, 내시경 장치(1)는 캡슐형태의 형상일 수 있다. 캡슐형 내시경 장치(1)는 초소형의 카메라를 포함하고, 대상체(환자)의 신체 내부에 삽입되어 위 병변 이미지를 획득할 수 있다. 내시경 장치(1)의 형상은 앞서 설명된 형상으로 한정되는 것은 아니다.
병변 진단부(10)는 복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 인공신경망 시스템을 통해 위 병변 진단을 수행할 수 있다. 달리 말해, 병변 진단부(10)는 실시간으로 획득되는 위 병변 이미지를 구축된 인공신경망 시스템을 통해 학습 후 위 병변 진단을 수행하는 것일 수 있다. 병변 진단부(10)는 후술할 도 3을 통해 보다 자세히 설명하기로 한다.
본원의 일 실시예에 따르면 조작부(21)는 몸체부(22)의 후단에 마련되어 사용자의 입력 정보에 기반하여 조작될 수 있다. 조작부(21)는 내시경 시술자에 의하여 파지 되는 부분으로서, 피검자의 체내로 삽입되는 몸체부(22)를 조작할 수 있다. 또한, 조작부(21)는 몸체부(22)가 수용하고 있는 내시경 시술시 필요한 복수의 유닛 장치의 동작을 조작할 수 있다. 조작부(21)는 회전 제어부를 포함할 수 있다. 회전 제어부는 제어 신호를 생성하는 기능 및 회전력을 제공하는 기능(예를 들어, 모터)을 담당하는 부분을 포함할 수 있다. 조작부(21)는 촬영부(미도시)를 조작하기 위한 버튼을 포함할 수 있다. 버튼은 촬영부(미도시)의 위치를 제어하기 위한 버튼으로서, 사용자가 상하좌우, 전진, 후진 등과 같은 몸체부(22)의 위치를 변경하기 위한 것일 수 있다.
몸체부(22)는 피검자의 체내로 삽입되는 부분으로서, 복수의 유닛 장치를 수용할 수 있다. 복수의 유닛 장치는 피검자의 체내를 촬영하는 촬영부(미도시), 체내로 공기를 공급하는 에어 공급 유닛, 체내로 물을 공급하는 물 공급 유닛, 체내로 빛을 조사하는 조명 유닛, 체내의 조직의 일부를 채취하거나 치료하기 위한 생검(biopsy) 유닛 및 체내로부터의 공기 또는 이물질을 흡입하는 석션 유닛 중 적어도 하나를 포함할 수 있다. 생검(biopsy) 유닛은 생체에서 조직 일부를 채취하기 위한 매스, 바늘 등 각종 의료기기들을 포함할 수 있으며, 매스, 바늘 등의 생검(biopsy) 유닛은 내시경 시술자에 의하여 생검(biopsy) 채널을 통해 체내로 삽입됨으로써 체내의 세포를 채취할 수 있다.
촬영부(미도시)는 몸체부(22)의 직경에 대응하는 크기를 갖는 카메라를 수용할 수 있다. 촬영부(미도시)는 몸체부(22)의 전단에 구비되어 위 병변 이미지를 촬영하고, 네트워크를 통해 병변 진단부(10) 및 디스플레이부(25)로 촬영한 위 병변 이미지를 제공할 수 있다. 촬영부(미도시)는 실시간으로 신규 위 병변 이미지를 획득할 수 있다.
제어부(23)는 조작부(21)에서 제공받은 사용자의 입력 정보 및 병변 진단 장치(10)의 진단 결과에 기반하여 몸체부(22)의 동작을 제어하는 제어 신호를 생성할 수 있다. 제어부(23)는 조작부(21)에 포함된 버튼 중 사용자로부터 어느 하나의 선택 입력을 수신한 경우, 해당 버튼에 대응하도록 몸체부(22)의 동작을 제어하는 제어 신호를 생성할 수 있다. 예를 들어, 제어부(23)는 사용자가 몸체부(22)를 전진하도록 하는 버튼을 입력한 경우, 몸체부(22)가 일정 속도로 대상체(환자)의 체내를 전진할 수 있도록 동작 제어 신호를 생성할 수 있다. 몸체부(22)는 제어부(23)의 제어 신호에 기반하여 대상체(환자)의 체내에서 전진할 수 있다.
또한, 제어부(23)는 촬영부(미도시)의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 촬영부(미도시)의 동작을 제어하기 위한 제어 신호는, 병변 영역에 위치한 촬영부(미도시)가 위 병변 이미지를 캡처하기 위한 신호일 수 있다. 달리 말해, 사용자는 조작부(21)로부터 특정 병변 영역에 위치한 촬영부(미도시)가 이미지를 획득하길 원하는 경우, 캡처 획득 버튼을 클릭할 수 있다. 제어부(23)는 조작부(21)로부터 제공받은 입력 정보에 기반하여 촬영부(미도시)가 해당 병변 영역에서 이미지를 획득할 수 있도록 제어 신호를 생성할 수 있다. 제어부(23)는 촬영부(미도시)가 촬영중인 영상으로부터 특정 위 병변 이미지를 획득하기 위한 제어 신호를 생성할 수 있다.
또한, 제어부(23)는 병변 진단 장치(10)의 진단 결과에 기반하여 대상체의 조직의 일부를 채취하기 위한 생검(biopsy) 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 제어부(23)는 병변 진단 장치(10)의 진단 결과가 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia) 및 저이형성증(low-grade dysplasia) 중 적어도 어느 하나에 속하는 경우 절제술을 시행할 수 있도록 생검(biopsy) 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 생검(biopsy) 유닛은 생체에서 조직 일부를 채취하기 위한 매스, 바늘 등 각종 의료기기들을 포함할 수 있으며, 매스, 바늘 등의 생검(biopsy) 유닛은 내시경 시술자에 의하여 생검(biopsy) 채널을 통해 체내로 삽입됨으로써 체내의 세포를 채취할 수 있다. 또한, 제어부(23)는 조작부(21)로부터 제공받는 사용자 입력 신호에 기반하여 생검(biopsy) 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 체내의 세포를 채취, 절제, 제거하는 동작은 사용자가 조작부(21)를 이용하여 수행하는 것일 수 있다.
본원의 일 실시예에 따르면, 병변 위치 획득부(24)는 촬영부(미도시)에서 제공 받은 위 병변 이미지와 위치 정보를 연계하여 위 병변 정보를 생성할 수 있다. 위치 정보는 몸체부(22)가 현재 체내에 위치한 위치정보일 수 있다. 달리 말해, 몸체부(22)가 대상체(환자)의 위의 제1지점에 위치하고, 제1지점으로부터 위 병변 이미지가 획득된 경우, 병변 위치 획득부(24)는 상기 위 병변 이미지와 위치 정보를 연계하여 위 병변 정보를 생성할 수 있다.
병변 위치 획득부(24)는 획득된 위 병변 이미지와 위치 정보를 연계하여 생성된 위 병변 정보를 사용자(의사)에게 제공할 수 있다. 병변 진단부(10)의 진단 결과 및 병변 위치 획득부(24)의 위 병변 정보를 디스플레이부(25)를 통해 사용자에게 제공함으로써, 해당 병변을 절제(제거)하는 시술 및 수술 시 해당 병변 위치가 아닌 곳에서 절제술이 수행될 수 있는 상황을 방지할 수 있다.
또한, 제어부(23)는 병변 위치 획득부(24)에서 제공한 위치 정보를 이용하여 생검(biopsy) 유닛이 해당 병변 위치에 위치하지 않을 경우, 상기 생검(biopsy) 유닛의 위치를 제어하기 위한 제어신호를 생성할 수 있다.
도 3은 본원의 일 실시예에 따른 내시경 장치의 병변 진단부의 개략적인 블록도이다.
도 3을 참조하면, 병변 진단부(10)는 이미지 획득부(11), 데이터 생성부(12), 데이터 전처리부(13), 인공신경망 구축부(14) 및 위 병변 진단부(15)를 포함할 수 있다. 다만, 병변 진단부(10)의 구성이 앞서 개시된 것들로 한정되는 것은 아니다. 예를 들어, 병변 진단부(10)는 정보를 저장하기 위한 데이터베이스를 더 포함할 수 있다.
이미지 획득부(11)는 신규 위 병변 이미지를 획득할 수 있다. 이미지 획득부(11)는 촬영부(미도시)로부터 신규 위 병변 이미지를 수신할 수 있다. 이미지 획득부(11)는 위 내시경 진료에 사용되고 있는 내시경 촬영 장치(디지털 카메라)로 획득된 신규 위 병변 이미지를 획득할 수 있다. 이미지 획득부(11)는 병리학적으로 확인된 위 병변의 내시경 백색광 이미지를 수집할 수 있다. 신규 위 병변 이미지는 내시경 검사(치료)시 촬영부(미도시)를 통해 실시간으로 획득되는 위 병변 이미지일 수 있다.
또한, 이미지 획득부(11)는 피검사체의 위의 제1 영역을 각도, 방향 및 거리 중 어느 하나를 달리하여 촬영된 영상(이미지)을 획득할 수 있다. 이미지 획득부(11)는 JPEG 형식의 신규 위 병변 이미지를 획득할 수 있다. 신규 위 병변 이미지는 1280 x 640 픽셀의 해상도로 각도 35도 필드의 스타일을 적용한 것일 수 있다. 한편, 이미지 획득부(11)는 신규 위 병변 이미지에 대한 개별 식별자 정보가 제거된 이미지를 획득할 수 있다. 이미지 획득부(11)는 중앙에 병변이 위치하고, 위 병변 이미지 중 검은색 프레임 영역이 제거된 신규 위 병변 이미지를 획득할 수 있다.
반면, 이미지 획득부(11)는 이미지 획득 과정에서 초점 이탈, 인공물, 음역 등 품질이 낮거나 낮은 해상도의 이미지가 획득되는 경우, 해당 이미지를 배제할 수 있다. 달리 말해, 이미지 획득부(11)는 딥러닝 알고리즘에 적용 가능하지 않은 이미지인 경우, 해당 이미지를 배제할 수 있다.
본원의 다른 일 실시예에 따르면, 내시경 장치(1)는 캡슐 형태로 형성된 장치일 수 있다. 캡슐 내시경 장치(1)는 대상자(피검자)의 인체 내부에 삽입되고, 원격에서 조작될 수 있다. 캡슐 내시경 장치로부터 획득되는 신규 위 병변 이미지는 사용자가 캡처를 원하는 영역의 이미지뿐만 아니라, 동영상 촬영으로 획득되는 모든 영상을 이미지화하여 획득되는 데이터일 수 있다.
데이터 생성부(12)는 신규 위 병변 이미지와 환자 정보를 연계하여 신규 데이터 세트를 생성할 수 있다. 환자 정보는 대상자(피검자)의 성별, 나이, 키, 몸무게, 인종, 국적, 흡연량, 음주량, 가족력 등의 다양한 정보를 포함할 수 있다. 또한, 환자 정보는 임상 정보를 포함할 수 있다. 임상정보란 병원에서 진단을 내리는 의사가 특정 진단에 활용하는 모든 데이터를 의미할 수 있다. 특히, 진료과정에서 생성되는 성별, 나이를 포함하는 자료, 특정 치료 여부 자료, 급여 청구 및 처방 자료 등을 포함하는 전자 의무 기록 자료일 수 있다. 또한, 임상정보는 유전자 정보와 같은 생물학적 데이터 자료를 포함할 수 있다. 생물학적 데이터 자료는 심박수, 심전도, 운동량, 산소포화도, 혈압, 체중, 당료와 같은 수치적 데이터를 갖는 개인 건강 정보를 포함할 수 있다.
환자 정보는 이하 설명되는 인공신경망 구축부(14)에서 합성곱신경망 구조의 결과물과 함께 완전 연결 신경망에 입력되는 데이터일 수 있으며, 위 병변 이미지 외의 정보를 인공신경망을 입력으로 함으로써 보다 정확도를 향상시키는 효과를 기대할 수 있다.
전처리부(13)는 딥러닝 알고리즘에 적용 가능하도록 신규 데이터 세트를 전처리할 수 있다. 전처리부(13)는 딥러닝 알고리즘에서 인식 성능을 높이고 환자 간 영상과의 유사성을 최소화하기 위해 신규 데이터 세트를 전처리할 수 있다. 딥러닝 알고리즘은 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어질 수 있다.
본원의 일 실시예에 따르면, 전처리부(13)는 5단계의 전처리 과정을 수행할 수 있다. 먼저, 전처리부(13)는 자르기(crop) 단계를 수행할 수 있다. 자르기(crop) 단계는 이미지 획득부(11)에서 획득된 신규 위 병변 이미지에서 병변을 중심으로 하여 가장자리의 불필요한 부분(검은색 배경)을 잘라낼 수 있다. 일예로, 전처리부(13)는 임의로 지정한 픽셀 크기(예를 들어, 299 x 299 픽셀, 244 x244 픽셀)를 설정하여 위 병변 이미지를 자를 수 있다. 달리 말해, 전처리부(13)는 딥러닝 알고리즘에 작용 가능한 사이즈로 신규 위 병변 이미지를 자를 수 있다.
다음으로, 전처리부(13)는 평행 이동(shift) 단계를 수행할 수 있다. 전처리부(13)는 신규 위 병변 이미지를 상하좌우 방향으로 평행 이동시킬 수 있다. 또한, 전처리부(13)는 뒤집기(flipping) 단계를 수행할 수 있다. 예를 들어, 전처리부(13)는 수직으로 위 병변 이미지를 뒤집을 수 있다. 또한, 전처리부(13)는 위 병변 이미지를 상하방향으로 뒤집고 이후 좌우방향으로 뒤집는 과정을 수행할 수 있다.
또한, 전처리부(13)는 색상 조정(color adjustment) 단계를 수행할 수 있다. 예를 들어, 색상 조정 단계에서 전처리부(13)는 전체 데이터 세트의 평균RGB 값으로 평균 감산 방법을 사용하여 추출된 색상을 기반으로 이미지의 색상 조정을 수행할 수 있다. 또한, 전처리부(13)는 랜덤하게 신규 위 병변 이미지의 색상을 조정할 수 있다.
전처리부(13)는 5단계의 전처리 과정을 모두 수행하여 신규 위 병변 이미지를 딥러닝 알고리즘에 적용 가능한 데이터 셋으로 생성할 수 있다. 또한, 전처리부(13)는 5단계의 전처리 과정 중 적어도 어느 하나를 수행하여 신규 위 병변 이미지를 딥러닝 알고리즘에 적용 가능한 데이터 셋으로 생성할 수 있다.
또한, 전처리부(13)는 확대/축소(resizing) 단계를 더 수행할 수 있다. 확대/축소(resizing) 단계는 위 병변 이미지를 미리 설정된 사이즈로 확대 및 축소하는 단계일 수 있다.
전처리부(13)는 신규 위 병변 이미지 데이터의 데이터 수를 증가시키기 위한 이미지 데이터를 증폭하는 증폭부(미도시)를 포함할 수 있다.
본원의 일 실시예에 따르면, 합성곱신경망을 포함하는 딥러닝 알고리즘을 이용하는 경우, 데이터의 양이 많을수록 좋은 성능을 달성하는 데 유리하지만, 신규 위 내시경 사진 이미지는 그 검사 건수가 다른 검사에 비해 상당히 적은 편으로, 이미지 획득부(11)에서 획득된 신규 위 병변 이미지 데이터 수집량은 합성곱 신경망을 활용하기에 매우 부족할 수 있다. 증폭부(미도시)는 신규 위 병변 이미지의 회전, 뒤집기, 자르기, 소음 섞기 중 적어도 어느 하나의 방법을 적용하여 데이터 증폭(augmentation)과정을 수행할 수 있다.
전처리부(13)는 미리 설정된 기준값에 대응되도록 전처리 과정을 수행할 수 있다. 미리 설정된 기준값은 사용자가 임의로 지정한 값일 수 있다. 또한, 미리 설정된 기준값을 획득된 신규 위 병변 이미지의 평균값에 의해 결정된 값일 수 있다. 전처리부(13)를 거친 신규 데이터 세트는 인공신경망 구축부(14)로 제공될 수 있다.
이하에서는 인공신경망 구축부(14)의 인공신경망 시스템 구축의 실시예를 설명하고자 한다.
본원의 일 실시예에 따르면, 인공신경망 구축부(14)는 이미지 획득부(11)가 복수의 위 병변 이미지를 획득하고, 데이터 생성부(12)가 복수의 위 병변 이미지 데이터 각각에 환자 정보를 연계하여 데이터 세트를 기반으로 인공신경망 시스템을 구축할 수 있다.
인공신경망 구축부(14)는 이미지 획득부(11)가 복수의 위 병변 이미지를 복수의 병원의 영상 보관 장치 및 데이터베이스 시스템으로부터 수신한 복수의 위 병변 이미지를 이용하여 인공신경망 시스템을 구축할 수 있다. 복수의 병원의 영상 보관 장치는, 다수의 병원에서 위 내시경 수행 시 획득된 위 병변 이미지를 저장한 장치일 수 있다.
또한, 인공신경망 구축부(14)는 딥러닝 알고리즘에 적용 가능하도록 상기 데이터 세트를 전처리하는 과정을 거칠 수 있다. 이때의 전처리 과정은 앞서 설명한 데이터 전처리부(13)에서 수행될 수 있다. 예를 들어, 인공신경망 구축부(14)는 데이터 세트에 포함된 위 병변 이미지를 앞서 설명한 전처리부(13)에서 수행되는 5단계의 전처리 과정을 거쳐 딥러닝 알고리즘에 적용 가능하도록 데이터 세트를 전처리할 수 있다.
일예로, 데이터 생성부(12)는 딥러닝 알고리즘 적용을 위한 학습용 데이터 세트 및 검증용 데이터 세트를 생성할 수 있다. 데이터 세트를 인공신경망 학습에 요구되는 학습용 데이터 세트 및 인공신경망의 학습의 진행 정보를 검증하기 위한 검증용 데이터 세트로 분류하여 데이터 세트를 생성할 수 있다.
또한, 데이터 생성부(12)는 이미지 획득부(11)로부터 획득된 복수의 위 병변 이미지 중 랜덤하게 학습용 데이터 세트에 활용될 이미지 및 검증용 데이터 세트에 활용된 이미지를 분류할 수 있다. 또한, 데이터 생성부(12)는 검증용 데이터 세트를 선택한 나머지를 데이터 세트를 학습용 데이터 세트로 사용할 수 있다. 검증용 데이터 세트는 랜덤하게 선택될 수 있다. 검증용 데이터 세트 및 학습용 데이터 세트의 비율은 미리 설정된 기준값에 의해 결정될 수 있다. 이때, 미리 설정된 기준값은 검증용 데이터 세트의 비율이 10%, 학습용 데이터 세트의 비율이 90%로 설정될 수 있으나, 이에 한정되는 것은 아니다.
데이터 생성부(12)는 과적합 상태를 방지하기 위해 학습용 데이터 세트 및 검증용 데이터 세트를 구분하여 데이터 세트를 생성할 수 있다. 예를 들어, 신경망 구조의 학습 특성상 학습용 데이터 세트는 과적합 상태가 될 수 있기 때문에, 데이터 생성부(12)는 검증용 데이터 세트를 활용하여, 인공신경망의 과적합 상태가 되는 것을 방지할 수 있다.
이때, 검증용 데이터 세트는 학습용 데이터 세트와 중복되지 않는 데이터 세트일 수 있다. 검증용 데이터는 인공신경망 구축에 사용되지 않은 데이터이므로, 검증 작업 시에 인공신경망에서 처음 접하는 데이터이다. 따라서 검증용 데이터 세트는 새로운 이미지(학습에 사용되지 않은 신규 이미지)가 입력으로 들어올 경우, 인공신경망의 성능 평가에 적절한 데이터 세트일 수 있다.
인공신경망 구축부(14)는 전처리 과정을 거친 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망을 구축할 수 있다.
본원의 일 실시예에 따르면, 인공신경망 구축부 (14)는 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어진 딥러닝 알고리즘을 적용하여 위 병변 분류 결과를 출력으로 할 수 있다. 완전연결 심층 신경망은 노드 간에 횡적/종적으로 2차원적 연결을 이루고, 서로 같은 층에 위치한 노드 간에는 연결 관계가 존재하지 않으며, 바로 인접한 층에 위치한 노드들 간에만 연결 관계가 존재한다는 것을 특징으로 하는 신경망이다.
인공신경망 구축부 (14)는 전처리 과정을 거친 학습용 데이터 세트를 입력으로 하는 합성곱신경망과, 합성곱신경망의 출력을 완전연결 심층 신경망의 입력으로 하는 학습을 통한 훈련 모델을 구축할 수 있다.
본원의 일 실시예에 따르면 합성곱신경망은 위 병변 이미지를 분석하는 복수의 특정 특징 패턴을 추출할 수 있다. 이때, 추출된 특정 특징 패턴은 완전연결 심층 신경망에서 최종 분류를 하는데 사용될 수 있다.
합성곱신경망(Convolutional Neural Networks)은 음성 인식이나 이미지 인식에서 주로 사용되는 신경망의 한 종류이다. 다차원 배열 데이터를 처리하도록 구성되어 있어, 컬러 이미지와 같은 다차원 배열 처리에 특화되어 있다. 따라서 이미지 인식 분야에서 딥러닝을 활용한 기법은 대부분 합성곱신경망을 기초로 한다.
합성곱신경망(CNN)은 이미지를 하나의 데이터가 아닌, 여러 개로 분할하여 처리한다. 이렇게 하면 이미지가 왜곡되더라도 이미지의 부분적 특성을 추출할 수 있어 올바른 성능을 낼 수 있다.
합성곱신경망은 복수의 층 구조로 이루어질 수 있다. 각각의 층을 구성하는 요소는 합성곱 층, 활성화 함수, max pooling 층, 활성화 함수, dropout층으로 구성될 수 있다. 합성곱 층은 kernel이라 불리는 필터 역할을 하여 전체 이미지(또는 생성된 새로운 특징 패턴)를 부분적으로 처리한 것들이 이미지와 같은 크기의 새로운 특징 패턴(feature pattern)을 추출할 수 있다. 합성곱 층은 특징 패턴에서 활성화 함수를 통해 특징 패턴의 값들을 처리하기 편하게 보정할 수 있다. max pooling 층은 일부 위 병변 이미지를 샘플링(sampling) 하여 크기를 조절하여 이미지의 크기를 줄일 수 있다. 합성곱신경망은 합성곱 층 및 max pooling 층을 거쳐, 특징 패턴(feature pattern)의 크기는 줄어들게 되지만, 복수의 kernel 활용을 통해 복수의 특징 패턴(feature pattern)을 추출할 수 있다. dropout 층은 합성곱신경망의 가중치들을 훈련시킬 때 효율적인 훈련을 위해 일부 가중치들을 의도적으로 고려하지 않는 방법일 수 있다. 한편, dropout 층은 훈련된 모델을 통해 실제 테스트를 하는 경우에는 적용하지 않을 수 있다.
합성곱신경망에서 추출된 복수의 특징 패턴(feature pattern)은 다음 단계인 완전연결 심층 신경망으로 전달되어 분류 작업을 하는 데 활용될 수 있다. 합성곱신경망은 층의 개수를 조절할 수 있다. 합성곱신경망은 층의 개수는 모델 훈련을 위한 훈련용 데이터의 양에 맞추어 조절함으로써 보다 안정된 모델을 구축할 수 있다.
또한, 인공신경망 구축부 (14)는 전처리 과정을 거친 학습용 데이터 세트를 합성곱신경망의 입력으로 하고, 합성곱신경망의 출력 및 환자 정보를 완전연결 심층 신경망의 입력으로 하는 학습을 통한 진단(훈련) 모델을 구축할 수 있다. 달리 말해, 인공신경망 구축부 (14)는 전처리 과정을 거친 이미지 데이터가 우선적으로 합성곱신경망으로 들어가도록 하고, 합성곱신경망을 거치고 나온 결과물이 완전연결 심층 신경망에 들어가도록 할 수 있다. 또한, 인공신경망 구축부 (14)는 임의로 추출된 특징(feature)들은 합성곱신경망을 거치지 않고, 곧바로 완전연결 심층 신경망으로 들어가도록 할 수 있다.
이때, 환자 정보는 대상자(피검자)의 성별, 나이, 키, 몸무게, 인종, 국적, 흡연량, 음주량, 가족력 등의 다양한 정보를 포함할 수 있다. 또한, 환자 정보는 임상 정보를 포함할 수 있다. 임상정보란 병원에서 진단을 내리는 의사가 특정 진단에 활용하는 모든 데이터를 의미할 수 있다. 특히, 진료과정에서 생성되는 성별, 나이를 포함하는 자료, 특정 치료 여부 자료, 급여 청구 및 처방 자료 등을 포함하는 전자 의무 기록 자료일 수 있다. 또한, 임상정보는 유전자 정보와 같은 생물학적 데이터 자료를 포함할 수 있다. 생물학적 데이터 자료는 심박수, 심전도, 운동량, 산소포화도, 혈압, 체중, 당료와 같은 수치적 데이터를 갖는 개인 건강 정보를 포함할 수 있다.
환자 정보는 인공신경망 구축부(14)에서 합성곱신경망 구조의 결과물과 함께 완전 연결 신경망에 입력되는 데이터이며, 환자 정보를 인공신경망을 입력으로 함으로써 위 병변 이미지만을 이용하여 도출된 결과보다 정확도를 향상시키는 효과를 기대할 수 있다.
일예로, 암이 고령에 많다는 점이 학습용 데이터 세트의 임상정보를 통해 학습하게 되면, 이미지 특징과 함께 42세 또는 79세의 나이가 입력되었을 경우, 위 병변 분류 결과에서 암 또는 양성 구분이 어려운 애매모호한 병변의 구분에서 고령의 환자는 암일 확률이 높아지는 쪽으로 결과를 도출할 수 있다.
인공신경망 구축부(14)는 트레이닝 데이터를 딥러닝 알고리즘 구조(합성곱신경망을 거쳐 완전연결 심층 신경망으로 형성된 구조)에 적용시켜 도출되는 결과와 실제 결과와의 오차를 비교하여 해당 오차에 해당하는 만큼 신경망 구조의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 알고리즘을 통해 결과가 피드백되어 학습 될 수 있다. 역전파(backpropagation) 알고리즘은 결과의 오차(실제값과 결과값이 차이)를 줄이기 위해 각 노드에서 다음 노드로 이어지는 가중치를 조절하는 것일 수 있다. 학습부(14)는 학습용 데이터 세트와 검증용 데이터 세트를 이용하여 신경망을 학습시켜 가중치 매개 변수를 구하여 최종 진단 모델을 도출하는 것일 수 있다.
위 병변 진단부(15)는 신규 데이터 세트를 전처리 과정을 거친 후 인공신경망을 통해 위 병변 진단을 수행할 수 있다. 달리 말해, 위 병변 진단부(15)는 앞서 설명된 인공신경망 구축부 (14)에서 도출된 최종 진단 모델을 이용하여 신규 위 내시경 이미지에 대한 진단을 도출할 수 있다.
신규 위 내시경 이미지는 내시경 장치(1)의 촬영부를 통해 획득되는 실시간 위 내시경 이미지일 수 있다. 신규 위 내시경 이미지는 사용자가 진단하고자 하는 위 병변 이미지를 포함하는 데이터 일 수 있다. 신규 데이터 세트는 신규 위 병변 이미지를 환자 정보와 연계하여 생성된 데이터 세트일 수 있다. 신규 데이터 세트는 전처리부(12)의 전처리 과정을 거쳐 딥러닝 알고리즘에 적용 가능한 상태로 전처리될 수 있다. 이후 전처리된 신규 데이터 세트는 학습부(14)에 입력되어, 학습 파라미터를 기반으로 위 병변 이미지가 진단될 수 있다.
본원의 일 실시예에 따르면, 위 병변 진단부(15)는 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 상기 위 병변 진단 분류를 수행할 수 있다. 또한, 위 병변 진단부(15)는 암과 비암으로 분류할 수 있다. 또한, 위 병변 진단부(15)는 신생물과 비신생물 2가지의 범주로 분류하여 위 병변 진단 분류를 수행할 수 있다. 신 생물 분류에는 AGC, EGC, HGD 및 LGD가 포함될 수 있다. 비 종양 범주에는 위염, 양성 궤양, 기형, 용종, 장 상피화 또는 상피 종양과 같은 병변이 포함될 수 있다.
병변 진단부(10)는 모호한 병변을 분류 및 진단하기 위해 불필요한 생체검사나 내시경 절제로 인해 발생하는 부작용을 감소시키기 위해 촬영부(미도시)로 획득된 이미지를 분석하여 모호한 병변을 자동으로 분류 및 진단해 주고, 신생물(위험 종양)일 경우, 몸체부(22)에 포함된 복수의 유닛 장치를 이용하여 내시경 절제 시술을 시행하도록 정보를 생성할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 4는 본원의 일 실시예에 따른 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법에 대한 동작 흐름도이다.
도 4에 도시된 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법은 앞서 설명된 내시경 장치(1)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 내시경 장치(1)에 대하여 설명된 내용은 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법에 대한 설명에도 동일하게 적용될 수 있다.
단계 S401에서 내시경 장치(1)는 인공신경망을 통해 신규 데이터 세트의 위 병변 이미지의 위 병변 진단을 수행할 수 있다. 단계 S401 이전에 내시경 장치(1)는 복수의 위 병변 이미지를 획득할 수 있다. 위 병변 이미지는 백색광 이미지일 수 있다. 또한, 내시경 장치(1)는 복수의 위 병변 이미지와 환자 정보를 연계하여 데이터 세트를 생성할 수 있다. 내시경 장치(1)는 인공신경망 학습에 요구되는 학습용 데이터 세트 및 인공신경망의 학습의 진행 정보를 검증하기 위한 검증용 데이터 세트로 분류하여 데이터 세트를 생성할 수 있다. 이때, 검증용 데이터 세트는 학습용 데이터 세트와 중복되지 않은 데이터 세트 일 수 있다. 검증용 데이터 세트는 신규 데이터 세트가 전처리 과정을 거친 후 인공신경망의 입력으로 되는 경우, 인공신경망의 성능 평가에 활용되는 데이터일 수 있다.
또한, 내시경 장치(1)는 딥러닝 알고리즘에 적용 가능하도록 신규 데이터 세트를 전처리할 수 있다. 내시경 장치(1)는 신규 데이터 세트에 포함된 신규 위 병변 이미지를 이용하여 위 병변을 중심으로 하여 위 병변이 포함되지 않은 이미지의 주변부 영역을 자르고, 딥러닝 알고리즘에 작용 가능한 사이즈로 자르는 CROP 과정을 수행할 수 있다. 또한, 내시경 장치(1)는 신규 위 병변 이미지를 상하좌우 방향으로 평행 이동(Shift) 시킬 수 있다. 또한, 내시경 장치(1)는 신규 위 병변 이미지를 뒤집을(flipping) 수 있다. 또한, 내시경 장치(1)는 신규 위 병변 이미지의 색상을 조정할 수 있다. 내시경 장치(1)는 복수의 전처리 과정 중 적어도 어느 하나를 수행하여 신규 위 병변 이미지를 딥러닝 알고리즘에 적용 가능한 상태로 전처리할 수 있다.
또한, 내시경 장치(1)는 신규 위 병변 이미지 데이터의 데이터 수를 증가시키기 위해 이미지 데이터를 증폭시킬 수 있다. 내시경 장치(1)는 신규 이미지 데이터를 증폭시키기 위해 위 병변 이미지 데이터의 회전, 뒤집기, 자르기 및 소음 섞기 중 적어도 어느 하나를 적용하여 위 병변 이미지 데이터를 증폭시킬 수 있다.
내시경 장치(1)는 전처리 과정을 거친 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통한 인공신경망을 구축할 수 있다. 내시경 장치(1)는 전처리 과정을 거친 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)의 학습을 통한 훈련 모델을 구축할 수 있다.
또한, 내시경 장치(1)는 전처리 과정을 거친 데이터 세트는 합성곱신경망의 입력으로 하고, 완전연결 심층 신경망은 합성곱신경망의 출력 및 환자 정보를 입력으로 하여 훈련 모델을 구축할 수 있다. 합성곱신경망은 복수의 위 병변 이미지로부터 복수의 특징 패턴을 출력하고, 복수의 특징 패턴은 완전연결 심층 신경망에 의해 최종 분류될 수 있다.
내시경 장치(1)는 신규 데이터 세트를 전처리 과정을 거친 후 인공신경망을 통해 위 병변 진단을 수행할 수 있다. 내시경 장치(1)는 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 신규 위 내시경 이미지에 대한 위 병변 진단 분류를 수행할 수 있다.
단계 S402에서 내시경 장치(1)는 실시간으로 획득된 신규 위 내시경 이미지 및 인공신경망을 거쳐 출력된 위 병변 진단 결과를 출력할 수 있다.
상술한 설명에서, 단계 S401 내지 S402는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 실시간으로 획득되는 위 내시경 이미지를 이용하여 병변을 진단하는 내시경 장치에 있어서,
    복수의 유닛 장치를 수용하고, 피검자의 체내로 삽입되는 몸체부;
    상기 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 상기 몸체부를 조작하는 조작부;
    복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 실시간으로 획득되는 신규 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 상기 인공신경망 시스템을 통해 위 병변 진단을 수행하는 병변 진단부; 및
    상기 병변 진단부의 진단 결과 및 실시간으로 획득되는 신규 위 내시경 이미지를 표시하는 디스플레이부를 포함하는 내시경 장치.
  2. 제1항에 있어서,
    상기 조작부에서 제공받은 사용자의 입력 정보 및 병변 진단 장치의 진단 결과에 기반하여 상기 몸체부의 동작을 제어하는 제어 신호를 생성하는 제어부를 더 포함하는 내시경 장치.
  3. 제2항에 있어서,
    상기 몸체부는,
    상기 몸체부의 전단에 구비되어, 신규 위 병변 이미지를 촬영하고, 촬영한 상기 신규 위 내시경 이미지를 상기 병변 진단부로 제공하는 촬영부를 포함하되,
    상기 제어부는,
    상기 조작부로부터 상기 촬영부의 동작을 제어하기 위한 사용자의 입력을 수신하고, 상기 촬영부를 제어하기 위한 제어 신호를 생성하는 것인, 내시경 장치.
  4. 제3항에 있어서,
    상기 촬영부에서 제공한 상기 신규 위 내시경 이미지를 위치 정보와 연계하여 위 병변 정보를 생성하는 병변 위치 획득부를 더 포함하되,
    상기 제어부는 상기 병변 진단 장치의 진단 결과 및 상기 위 병변 정보에 기반하여 대상체의 조직의 일부를 채취하기 위한 생검(biopsy) 유닛의 동작을 제어하기 위한 제어 신호를 생성하는 것인, 내시경 장치.
  5. 제3항에 있어서,
    상기 병변 진단부는,
    상기 신규 위 병변 이미지를 제공받는 이미지 획득부;
    상기 신규 위 병변 이미지와 환자 정보를 연계하여 신규 데이터 세트를 생성하는 데이터 생성부;
    딥러닝 알고리즘에 적용 가능하도록 상기 신규 데이터 세트를 전처리하는 데이터 전처리부;
    복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하는 인공신경망 구축부; 및
    상기 신규 데이터 세트를 전처리 과정을 거친 후 상기 인공신경망 시스템을 통해 위 병변 진단을 수행하는 위 병변 진단부를 포함하는 것인, 내시경 장치.
  6. 제5항에 있어서,
    상기 데이터 생성부는 상기 복수의 위 병변 이미지 각각을 환자 정보와 연계하여 데이터 세트를 생성하되, 상기 데이터 세트는 상기 인공신경망 시스템의 학습에 요구되는 학습용 데이터 세트 및 상기 인공신경망 시스템의 학습의 진행 정도를 검증하기 위한 검증용 데이터 세트로 분류하여 생성되는 것인, 내시경 장치.
  7. 제6항에 있어서,
    상기 검증용 데이터 세트는 상기 학습용 데이터 세트와 중복되지 않는 데이터 세트인 것인, 내시경 장치.
  8. 제5항에 있어서,
    상기 전처리부는,
    상기 신규 데이터 세트에 포함된 위 병변 이미지를 이용하여 상기 위 병변을 중심으로 하여 상기 위 병변이 포함되지 않은 이미지의 주변부 영역을 자르기(crop), 이동(shift), 회전(rotation), 뒤집기(flipping) 및 색상 조정(color adjustment) 중 어느 하나의 전처리 과정을 수행하여 상기 위 병변 이미지를 상기 딥러닝 알고리즘에 적용 가능한 상태로 전처리하는 것인, 내시경 장치.
  9. 제8항에 있어서,
    상기 전처리부는,
    신규 위 병변 이미지 데이터의 데이터 수를 증가시키기 위한 증폭부를 포함하되, 상기 증폭부는 상기 신규 위 병변 이미지 데이터의 회전, 뒤집기, 자르기 및 소음 섞기를 적용하여 상기 신규 위 병변 이미지 데이터를 증폭하는 것인, 내시경 장치.
  10. 제6항에 있어서,
    상기 인공신경망 구축부는,
    전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 상기 위 병변 진단 결과에 관한 항목을 출력으로 하는 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)의 학습을 통한 훈련 모델을 구축하는 것인, 내시경 장치.
  11. 제10항에 있어서,
    전처리 과정을 거친 상기 데이터 세트는 상기 합성곱신경망의 입력으로 하고, 상기 완전연결 심층 신경망은 상기 합성곱신경망의 출력 및 상기 환자 정보를 입력으로 하는 것인, 내시경 장치.
  12. 제11항에 있어서,
    상기 합성곱신경망은
    상기 복수의 위 병변 이미지로부터 복수의 특징 패턴을 출력하고,
    상기 복수의 특징 패턴은 완전연결 심층 신경망에 의해 최종 분류되는 것인, 내시경 장치.
  13. 제5항에 있어서,
    상기 위 병변 진단부는,
    진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 상기 위 병변 진단의 분류를 수행하는 것인, 내시경 장치.
  14. 피검자의 체내로 삽입되는 몸체부 및 상기 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 상기 몸체부를 조작하는 조작부를 포함하는 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법에 있어서,
    복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 실시간으로 획득되는 신규 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 상기 인공신경망 시스템을 통해 위 병변 진단을 수행하는 단계; 및
    진단 결과 및 실시간으로 획득되는 신규 위 내시경 이미지를 표시하는 단계를 포함하는, 병변 진단 방법.
  15. 제14항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2019/012449 2018-10-02 2019-09-25 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법 WO2020071678A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021516766A JP7218432B2 (ja) 2018-10-02 2019-09-25 リアルタイムに取得される胃内視鏡イメージに基づいて胃病変を診断する内視鏡装置及び方法
CN201980064310.0A CN112823396A (zh) 2018-10-02 2019-09-25 基于实时获得的胃内窥镜图像诊断胃病变的内窥镜装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0117824 2018-10-02
KR1020180117824A KR102168485B1 (ko) 2018-10-02 2018-10-02 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2020071678A2 true WO2020071678A2 (ko) 2020-04-09
WO2020071678A3 WO2020071678A3 (ko) 2020-05-28

Family

ID=70055574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012449 WO2020071678A2 (ko) 2018-10-02 2019-09-25 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법

Country Status (4)

Country Link
JP (1) JP7218432B2 (ko)
KR (1) KR102168485B1 (ko)
CN (1) CN112823396A (ko)
WO (1) WO2020071678A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435246A (zh) * 2020-11-30 2021-03-02 武汉楚精灵医疗科技有限公司 窄带成像放大胃镜下胃癌的人工智能诊断方法
WO2022065189A1 (ja) * 2020-09-23 2022-03-31 株式会社Ａｉメディカルサービス 検査支援装置、検査支援方法および検査支援プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102423048B1 (ko) * 2020-09-22 2022-07-19 한림대학교 산학협력단 인공지능을 이용한 비조영 컴퓨터 단층촬영 이미지를 바탕으로 대동맥 박리증을 판단하는 시스템의 제어 방법, 장치 및 프로그램
KR102421765B1 (ko) * 2020-09-29 2022-07-14 한림대학교 산학협력단 인공지능을 이용한 비조영 컴퓨터 단층촬영 이미지를 바탕으로 폐색전증을 판단하는 시스템의 제어 방법, 장치 및 프로그램
US20240016366A1 (en) * 2020-11-25 2024-01-18 Aidot Inc. Image diagnosis system for lesion
CN113539476A (zh) * 2021-06-02 2021-10-22 复旦大学 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统
KR20230163723A (ko) 2022-05-24 2023-12-01 주식회사 아이도트 내시경 검사 판독 보조 시스템
CN116230208B (zh) * 2023-02-15 2023-09-19 北京透彻未来科技有限公司 基于深度学习的胃粘膜炎症分型辅助诊断系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07250812A (ja) * 1994-03-15 1995-10-03 Olympus Optical Co Ltd 蛍光診断装置
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP5322794B2 (ja) * 2009-06-16 2013-10-23 株式会社東芝 内視鏡検査支援システム
CN101623191B (zh) * 2009-08-14 2011-02-16 北京航空航天大学 一种胃部组织性质无创检测装置
KR101497662B1 (ko) * 2013-03-26 2015-03-03 재단법인대구경북과학기술원 진단 보조용 내시경 시스템 및 그 제어 방법
JP6140056B2 (ja) * 2013-09-26 2017-05-31 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
CN108140240B (zh) * 2015-08-12 2022-05-31 分子装置有限公司 用于自动分析细胞的表型反应的系统和方法
JP6528608B2 (ja) * 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
JP6205535B2 (ja) * 2015-10-16 2017-09-27 オリンパス株式会社 挿入装置
KR20170061222A (ko) * 2015-11-25 2017-06-05 한국전자통신연구원 건강데이터 패턴의 일반화를 통한 건강수치 예측 방법 및 그 장치
US10803582B2 (en) * 2016-07-04 2020-10-13 Nec Corporation Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program
WO2018020558A1 (ja) 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
JP6737502B2 (ja) * 2016-09-05 2020-08-12 独立行政法人国立高等専門学校機構 学習用データ生成方法およびこれを用いた対象空間状態認識方法
EP3552112A1 (en) * 2016-12-09 2019-10-16 Beijing Horizon Information Technology Co., Ltd. Systems and methods for data management
WO2018165620A1 (en) * 2017-03-09 2018-09-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for clinical image classification
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
CN107423576A (zh) * 2017-08-28 2017-12-01 厦门市厦之医生物科技有限公司 一种基于深度神经网络的肺癌识别系统
CN107564580B (zh) * 2017-09-11 2019-02-12 合肥工业大学 基于集成学习的胃镜图像辅助处理系统及方法
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法
CN107658028A (zh) * 2017-10-25 2018-02-02 北京华信佳音医疗科技发展有限责任公司 一种获取病变数据的方法、识别病变方法及计算机设备
CN111655116A (zh) * 2017-10-30 2020-09-11 公益财团法人癌研究会 图像诊断辅助装置、资料收集方法、图像诊断辅助方法及图像诊断辅助程序
CN107705852A (zh) * 2017-12-06 2018-02-16 北京华信佳音医疗科技发展有限责任公司 一种医用电子内窥镜的实时病变智能识别方法及装置
CN107967946B (zh) * 2017-12-21 2021-05-11 武汉楚精灵医疗科技有限公司 基于深度学习的胃镜操作实时辅助系统及方法
CN108272437A (zh) * 2017-12-27 2018-07-13 中国科学院西安光学精密机械研究所 用于皮肤病诊断的光谱检测系统和分类器模型构建方法
GB201812050D0 (en) * 2018-07-24 2018-09-05 Dysis Medical Ltd Computer classification of biological tissue

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065189A1 (ja) * 2020-09-23 2022-03-31 株式会社Ａｉメディカルサービス 検査支援装置、検査支援方法および検査支援プログラム
CN112435246A (zh) * 2020-11-30 2021-03-02 武汉楚精灵医疗科技有限公司 窄带成像放大胃镜下胃癌的人工智能诊断方法

Also Published As

Publication number Publication date
JP7218432B2 (ja) 2023-02-06
KR20200038121A (ko) 2020-04-10
KR102168485B1 (ko) 2020-10-21
CN112823396A (zh) 2021-05-18
WO2020071678A3 (ko) 2020-05-28
JP2022507002A (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
WO2020071677A1 (ko) 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
WO2020071678A2 (ko) 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
Ohmori et al. Endoscopic detection and differentiation of esophageal lesions using a deep neural network
Horie et al. Diagnostic outcomes of esophageal cancer by artificial intelligence using convolutional neural networks
JP7037220B2 (ja) 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7017198B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
CN111655116A (zh) 图像诊断辅助装置、资料收集方法、图像诊断辅助方法及图像诊断辅助程序
CN111278348A (zh) 基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质
TW202006742A (zh) 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體
WO2017051944A1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
WO2020215810A1 (zh) 一种基于图像识别的结肠镜手术中窄带成像检测方法
US20230301503A1 (en) Artificial intelligence-based gastroscopic image analysis method
Al-Rahayfeh et al. Detection of bleeding in wireless capsule endoscopy images using range ratio color
Penna et al. A technique for blood detection in wireless capsule endoscopy images
Naz et al. Detection and classification of gastrointestinal diseases using machine learning
Suzuki et al. Artificial intelligence for cancer detection of the upper gastrointestinal tract
CN113222957A (zh) 一种基于胶囊镜图像的多类别病灶高速检测方法及系统
KR102095730B1 (ko) 딥러닝 기반의 대장 병변 검출 방법
CN116206741A (zh) 一种消化科医疗信息处理系统及方法
Bejakovic et al. Analysis of Crohn's disease lesions in capsule endoscopy images
WO2022149836A1 (ko) 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
CN114581408A (zh) 一种基于yolov5的胃镜息肉检测方法
Khryashchev et al. Analysis of Pathologies on Endoscopic Images of the Stomach Using SSD and RetinaNet Neural Network Architecture
WO2024019232A1 (ko) 신경망 기반 의료 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869037

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2021516766

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19869037

Country of ref document: EP

Kind code of ref document: A2