WO2022149836A1 - 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램 - Google Patents

실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램 Download PDF

Info

Publication number
WO2022149836A1
WO2022149836A1 PCT/KR2022/000109 KR2022000109W WO2022149836A1 WO 2022149836 A1 WO2022149836 A1 WO 2022149836A1 KR 2022000109 W KR2022000109 W KR 2022000109W WO 2022149836 A1 WO2022149836 A1 WO 2022149836A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lesion
server
icon
displaying
Prior art date
Application number
PCT/KR2022/000109
Other languages
English (en)
French (fr)
Inventor
방창석
이재준
조범주
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to CN202280009042.4A priority Critical patent/CN116745861A/zh
Priority to US18/260,245 priority patent/US11935239B2/en
Publication of WO2022149836A1 publication Critical patent/WO2022149836A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the present invention relates to a method, apparatus, and program for controlling a lesion determination system acquired through real-time images, and more particularly, to automatically discover and determine lesions using deep learning in an upper gastrointestinal endoscopy image, and to determine the depth of gastric wall invasion It relates to an endoscopy judgment aid device and method for providing information.
  • gastric neoplasia including gastric cancer is made by reading the pathological tissue through biopsy through endoscopic forceps if the endoscopist suspects a lesion through gross findings during the examination. In addition, a biopsy is being performed for the purpose of confirming that lesions that are difficult to determine with the naked eye are not carcinomas or neoplasms.
  • the ratio between the gross findings and the biopsy is low (if the endoscopist's visual estimation and actual judgment do not match), and the primary judgment through biopsy (examination of only a part of the entire lesion) and surgery and endoscopic resection
  • the rate of inconsistency in the final pathological findings of the entire tissue after treatment through the treatment is also 20-60%, which is reported in various ways depending on the experience and skill of the doctor. Therefore, due to the low initial judgment rate, there is confusion in the change of treatment policy or the prediction of the patient's prognosis.
  • a lesion is not found during endoscopy and missed, it directly affects the patient's prognosis.
  • the possibility of missing a lesion is also constantly being raised due to the difficulty of a thorough examination or intensive examination for physical reasons. That is, there is an unmet medical need for the detection and visual judgment of gastric neoplasms.
  • the depth of invasion into the gastric wall of the lesion must be predicted. This is mainly judged by the doctor's macroscopic findings and examinations such as endoscopic ultrasound, and only when gastric cancer or gastric neoplasm is confined to the mucosa or the submucosal infiltration depth is less than 500 ⁇ m, endoscopic resection is the target.
  • An object of the present invention is to provide a method of controlling a lesion determination system acquired through a real-time image.
  • a method for controlling a lesion determination system acquired through a real-time image for solving the above-described problem comprising: acquiring, by an endoscope apparatus, an upper endoscopic image; transmitting, by the endoscope device, the acquired gastroscopic image to a server; determining, by the server, the lesion included in the upper endoscopy image by inputting the upper endoscopy image to a first artificial intelligence model acquiring an image and transmitting it to a database of the server; determining, by the server, the type of lesion included in the image by inputting the image into a second artificial intelligence model; and displaying, by a display device, a UI for guiding a location of the lesion in the upper endoscopy image when a lesion is determined in the upper endoscopy image.
  • the step of determining the lesion may include, when receiving an image reading command from an operator while a real-time image is being captured by the endoscope device, the server, from the time when the image reading command is input, before a preset time acquiring a plurality of images for an image; inputting, by the server, the plurality of images into the second artificial intelligence model, determining whether or not the plurality of images include lesions and the type of lesions; determining, by the server, whether the lesion is included in the real-time image when it is determined that the lesion is included in the plurality of images; and when the lesion is included, displaying, by the display device, a UI for guiding the location of the lesion in the real-time image.
  • the endoscopic image when the endoscopic image is input to the first artificial intelligence model, determining, by the server, whether the image is an upper endoscopic image; and displaying, by the display device, a UI for inputting new patient information when the image is not an upper endoscopy image.
  • the step of determining whether the image is an upper endoscopic image may include: acquiring, by the server, data corresponding to an average contrast of an endoscope room in which the endoscopic image is captured; and determining, by the server, whether the endoscope device is located outside the human body based on the data; may include.
  • the step of determining the type of lesion included in the image includes, by the server, determining whether bleeding has occurred due to the biopsy; and when it is determined that the bleeding occurs, not performing the lesion determination on the location where the bleeding occurs.
  • control method may include, by the server, dividing the endoscopic image into a plurality of frames; and determining, by the server, a lesion corresponding to the continuous frame as the same lesion when a lesion is determined in a number of consecutive frames greater than or equal to a preset number among the plurality of frames.
  • the step of displaying the UI includes a first icon for inputting patient information, a second icon for confirming an image including the determined lesion, a third icon for confirming an examination result image, and a setting value for changing displaying a fourth icon and a fifth icon for returning to a real-time image; displaying a first UI for inputting a patient name, a patient chart number, a gender, and a year of birth when a user command for the first icon is input; displaying a second UI for guiding an image list including a lesion when a user command for the second icon is input; displaying a third UI for guiding a list indicating the determination result for each lesion when a user command for the third icon is input; displaying a fourth UI for changing a setting value when a user command is input through the fourth icon; displaying a fifth UI for displaying a real-time image when a user command is input through the fifth icon; and when a first user command for one of the first icon, the second icon
  • the determining of the lesion included in the upper endoscopy image may include: determining whether the determined lesion is a lesion requiring real-time treatment; when the determined lesion is a lesion requiring real-time treatment, calculating a difference value between a time at which the endoscope device is received from the endoscope device and a time at which the lesion included in the endoscopy image is determined; and when the difference value is equal to or greater than a preset value, displaying information on a lesion requiring treatment and the difference value on the fifth UI.
  • FIG. 1 is a system diagram according to an embodiment of the present invention.
  • FIGS. 2 and 3 are exemplary views for explaining a pre-processing method of an artificial intelligence model according to an embodiment of the present invention.
  • 4 to 6 are exemplary views for explaining a UI screen display method according to an embodiment of the present invention.
  • FIG. 7 is a flowchart according to an embodiment of the present invention.
  • FIG. 8 is a block diagram of an apparatus according to an embodiment of the present invention.
  • unit refers to a hardware component such as software, FPGA, or ASIC, and “unit” or “module” performs certain roles.
  • “part” or “module” is not meant to be limited to software or hardware.
  • a “part” or “module” may be configured to reside on an addressable storage medium or may be configured to reproduce one or more processors.
  • “part” or “module” refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, Includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • Components and functionality provided within “parts” or “modules” may be combined into a smaller number of components and “parts” or “modules” or additional components and “parts” or “modules”. can be further separated.
  • spatially relative terms “below”, “beneath”, “lower”, “above”, “upper”, etc. It can be used to easily describe the correlation between a component and other components.
  • a spatially relative term should be understood as a term that includes different directions of components during use or operation in addition to the directions shown in the drawings. For example, when a component shown in the drawing is turned over, a component described as “beneath” or “beneath” of another component may be placed “above” of the other component. can Accordingly, the exemplary term “below” may include both directions below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.
  • a computer means all types of hardware devices including at least one processor, and may be understood as encompassing software configurations operating in the corresponding hardware device according to embodiments.
  • a computer may be understood to include, but is not limited to, smart phones, tablet PCs, desktops, notebooks, and user clients and applications running on each device.
  • each step described in this specification is described as being performed by a computer, but the subject of each step is not limited thereto, and at least a portion of each step may be performed in different devices according to embodiments.
  • FIG. 1 is a system diagram according to an embodiment of the present invention.
  • the lesion determination system obtained through a real-time image may include a server 100 , an endoscope apparatus 200 , and a display apparatus 300 .
  • a 3rd Generation Partnership Project (3GPP) network for information sharing between the server 100, the endoscope apparatus 200, and the display apparatus 300
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term
  • 5G 5th Generation
  • WIMAX Worldwide Interoperability for Microwave Access
  • wired and wireless Internet LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area) Network), Bluetooth (Bluetooth) network, Wifi network, NFC (Near Field Communication) network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc.
  • NFC Near Field Communication
  • satellite broadcasting network analog broadcasting network
  • DMB Digital Multimedia Broadcasting
  • the server 100 is configured to determine a gastric lesion by acquiring an image from the endoscope apparatus 200 .
  • the server 100 may include an image acquiring unit, a data generating unit, a preprocessing unit, a learning unit, and a lesion determining unit.
  • the configuration of the server 100 is not limited to those disclosed above.
  • the server 100 may further include a database for storing information.
  • the image acquisition unit may acquire a plurality of gastric lesion images.
  • the image acquisition unit may receive a gastric lesion image from a photographing device provided in the endoscope apparatus 200 .
  • the image acquisition unit may acquire a gastric lesion image acquired with an endoscope imaging device (digital camera) used for gastroendoscopic treatment.
  • the image acquisition unit may collect an endoscopic white light image of the pathologically confirmed gastric lesion.
  • the image acquisition unit may receive a plurality of gastric lesion images from image storage devices and database systems of a plurality of hospitals.
  • the apparatus for storing images of a plurality of hospitals may be a device storing gastric lesion images obtained when performing gastroscopy in a plurality of hospitals.
  • the image acquisition unit may acquire an image (image) photographed by changing any one of an angle, a direction, and a distance to the first region above the subject.
  • the image acquisition unit may acquire a gastric lesion image in JPEG format.
  • the above lesion image may be a style of a field of 35 degrees with a resolution of 1280 x 640 pixels.
  • the image acquisition unit may acquire an image from which individual identifier information for each gastric lesion image is removed.
  • the image acquisition unit may acquire an image in which the lesion is located in the center and the black frame area is removed from the image of the upper lesion.
  • the image acquisition unit may exclude a corresponding image when an image of low quality or low resolution, such as defocus, artifact, and sound range, is acquired during the image acquisition process.
  • the image acquisition unit when the image acquisition unit is an image that is not applicable to the deep learning algorithm, the image may be excluded.
  • the data generator may generate a data set by associating a plurality of gastric lesion images with patient information.
  • the patient information may include various information such as gender, age, height, weight, race, nationality, smoking amount, alcohol consumption amount, family history, etc. of the subject (subject).
  • the patient information may include clinical information.
  • Clinical information may mean all data used by a doctor who makes a decision in a hospital for a specific decision. In particular, it may be an electronic medical record data including data including gender and age, specific treatment status data, claim data, and prescription data generated in the course of treatment.
  • clinical information may include biological data such as genetic information.
  • the biological data material may include personal health information having numerical data such as heart rate, electrocardiogram, exercise amount, oxygen saturation, blood pressure, weight, and glucose.
  • Patient information is data input to the fully connected neural network together with the result of the convolutional neural network structure in the learning unit to be described below, and it can be expected to further improve accuracy by inputting information other than the above lesion image to the artificial neural network.
  • the data generator may generate a training data set and a verification data set for applying the deep learning algorithm.
  • the data set may be generated by classifying the data set into a training data set required for artificial neural network learning and a validation data set for verifying learning progress information of the artificial neural network.
  • the data generating unit may classify an image to be used in a data set for training and an image to be used in a data set for verification randomly among the gastric lesion images obtained from the image acquisition unit.
  • the data generator may use the remainder of the selection of the data set for verification as the data set for training.
  • the data set for verification may be randomly selected.
  • a ratio of the data set for verification and the data set for training may be determined by a preset reference value. In this case, as for the preset reference value, the ratio of the verification data set may be set to 10% and the ratio of the training data set to 90%, but is not limited thereto.
  • the data generator may generate a data set by dividing a data set for training and a data set for verification in order to prevent an overfitting state. For example, since the training data set may be in an overfitting state due to the learning characteristics of the neural network structure, the data generator may prevent the artificial neural network from becoming overfitted by using the verification data set.
  • the data set for verification may be a data set that does not overlap with the data set for training. Since the data for verification is data that is not used in the construction of the artificial neural network, it is the first data encountered in the artificial neural network during the verification work. Therefore, the data set for verification may be a data set suitable for evaluating the performance of an artificial neural network when a new image (a new image not used for training) is input.
  • the preprocessor may preprocess the data set to be applicable to the deep learning algorithm.
  • the preprocessor can preprocess the data set to improve recognition performance in deep learning algorithms and to minimize similarity with images between patients.
  • a deep learning algorithm can consist of two parts: a structure of convolutional neural networks and a structure of fully-connected neural networks.
  • the artificial intelligence model according to an embodiment of the present invention may be Modified UNet++ to which an edge smoothing algorithm is applied in UNet++, which is a modified model of UNet.
  • the backbone of Modified UNet++ may be DenseNet121.
  • the artificial intelligence model according to the present invention advanced gastric cancer (advanced gastric cancer), early gastric cancer (early gastric cancer), high grade adenoma (high grade dysplasia), low grade adenoma (low grade) It may be a five-stage classification model of dysplasia) and normal lesions.
  • the AI model is a) Weight Initialization with ImageNet, b) Augmentation: Horizontal/Vertical Flip, Rotate (-10° ⁇ +10°), c) Batch Size: 6, d) Learning Rate: 4e-04 e ) Epoch: 100 f) Optimizer: Adam, g) Loss Function: categorical crossentropy can be used as a parameter.
  • the AI model according to the present invention is a two-stage classification model for whether the lesion is confined to the mucosa (mucosa-confined lesion) and whether there is submucosa-invaded lesion.
  • the AI model is a) Augmentation: Horizontal/Vertical Flip, Rotate (-5° to +5°), Horizontal/Vertical Shift (-10% to +10%), Zoom (0.8 to 1.2), b) Batch Size: 2, c) Learning Rate: 1.25e-4, d) Epoch: 200, e) Dropout: 0.4, f) Learning Rate Scheduler with 0.97 decay was used can be used as a parameter.
  • the artificial intelligence model according to the present invention may be a four-stage classification model into advanced gastric cancer, early gastric cancer, adenoma (dysplasia), and normal lesion (normal category).
  • the pre-processing unit may include an amplifying unit (not shown) for amplifying image data to increase the number of data of gastric lesion image data.
  • the amplifying unit may perform a data amplification process based on the training data set.
  • the amplification unit may perform a data amplification process by applying at least one method of rotation, flipping, cropping, and noise mixing of the gastric lesion image.
  • the preprocessor may perform a preprocessing process to correspond to a preset reference value.
  • the preset reference value may be a value arbitrarily designated by a user.
  • the preset reference value may be a value determined by the average value of the acquired gastric lesion images.
  • the data set passed through the preprocessor may be provided to the learning unit.
  • the learning unit can build an artificial neural network through learning that takes the preprocessed data set as an input and outputs items related to the classification result of the stomach lesion as an output.
  • the learning unit applies a deep learning algorithm consisting of two parts, a Convolutional Neural Networks structure and a Fully-connected Neural Networks structure, and outputs the above lesion classification result as an output.
  • a fully connected deep neural network is characterized in that a two-dimensional connection is made between nodes horizontally/vertically, there is no connection relationship between nodes located on the same layer, and only between nodes located on an adjacent layer. is a neural network
  • the learning unit can build a training model through learning using a convolutional neural network as an input to a training data set that has undergone pre-processing as an input, and a fully connected deep neural network using the output of the convolutional neural network as an input.
  • the convolutional neural network may extract a plurality of specific feature patterns for analyzing a gastric lesion image.
  • the extracted specific feature pattern can be used for final classification in a fully connected deep neural network.
  • Convolutional Neural Networks are a type of neural network mainly used in speech recognition and image recognition. It is configured to process multidimensional array data, and is specialized for multidimensional array processing such as color images. Therefore, most of the techniques using deep learning in the image recognition field are based on convolutional neural networks.
  • a convolutional neural network processes an image by dividing it into multiple pieces, not one piece of data. In this way, even if the image is distorted, the partial characteristics of the image can be extracted and correct performance can be achieved.
  • the convolutional neural network may have a plurality of layer structures.
  • the elements constituting each layer may be composed of a convolutional layer, an activation function, a max pooling layer, an activation function, and a dropout layer.
  • the convolutional layer acts as a filter called a kernel, so that partial processing of the entire image (or a new feature pattern generated) can extract a new feature pattern of the same size as the image.
  • the convolutional layer can easily correct the values of the feature pattern through an activation function in the feature pattern.
  • the max pooling layer can reduce the size of the image by adjusting the size by sampling some gastric lesion images.
  • the convolutional neural network goes through the convolutional layer and the max pooling layer, so that the size of the feature pattern is reduced, but a plurality of feature patterns can be extracted by utilizing a plurality of kernels.
  • the dropout layer may be a method that does not intentionally consider some weights for efficient training when training the weights of the convolutional neural network. On the other hand, the dropout layer may not be applied when an actual test is performed through a trained model.
  • a plurality of feature patterns extracted from the convolutional neural network can be transferred to the next step, a fully connected deep neural network, and used for classification.
  • Convolutional neural networks can control the number of layers.
  • Convolutional neural networks can build more stable models by adjusting the number of layers according to the amount of training data for model training.
  • the learning unit can build a judgment (training) model through learning that uses the pre-processed learning data set as an input to the convolutional neural network, and the output of the convolutional neural network and patient information as input to the fully connected deep neural network.
  • the learning unit may allow the image data that has undergone the preprocessing process to enter the convolutional neural network preferentially, and the result from the convolutional neural network to enter the fully connected deep neural network.
  • the learning unit may allow arbitrarily extracted features to enter the fully connected deep neural network without going through the convolutional neural network.
  • the patient information may include various information such as gender, age, height, weight, race, nationality, smoking amount, alcohol consumption amount, family history of the subject (subject).
  • the patient information may include clinical information.
  • Clinical information may mean all data used by a doctor who makes a decision in a hospital for a specific decision.
  • it may be an electronic medical record data including data including gender and age, specific treatment status data, claim data, and prescription data generated in the course of treatment.
  • clinical information may include biological data such as genetic information.
  • the biological data material may include personal health information having numerical data such as heart rate, electrocardiogram, exercise amount, oxygen saturation, blood pressure, weight, and glucose.
  • Patient information is data that is input to a fully connected neural network together with the result of the convolutional neural network structure in the learning unit. have.
  • the results can be derived in the way that elderly patients are more likely to have cancer.
  • the learning unit compares the error between the result obtained by applying the training data to the deep learning algorithm structure (structure formed into a fully connected deep neural network through a convolutional neural network) with the actual result, and gradually increases the weight of the neural network structure as much as the error corresponds to the error.
  • the result can be fed back and learned through a backpropagation algorithm that changes it to .
  • the backpropagation algorithm may be to adjust the weight from each node to the next node in order to reduce the error of the result (the difference between the actual value and the result value).
  • the learning unit may be to derive a final judgment model by learning a neural network using a training data set and a verification data set to obtain a weight parameter.
  • the lesion determination unit may preprocess the new data set and then perform gastric lesion determination through an artificial neural network.
  • the lesion determination unit may derive a determination on the new data using the final determination model derived from the above-described learning unit.
  • the new data may be data including an image of a stomach lesion that the user wants to determine.
  • the new data set may be a data set generated by associating a new gastric lesion image with patient information.
  • the new data set can be preprocessed in a state applicable to the deep learning algorithm through the preprocessing process of the preprocessor. Thereafter, the preprocessed new data set may be input to the learning unit, and the gastric lesion image may be determined based on the learning parameters.
  • the lesion determining unit is advanced gastric cancer, early gastric cancer, high-grade dysplasia, low-grade dysplasia and non-tumor (non-tumor).
  • the gastric lesion determination classification may be performed by any one of at least one.
  • the lesion determining unit may classify cancer into cancer and non-cancer.
  • the lesion determination unit may classify the lesion into two categories, a neoplasm and a non-neoplastic, to perform the classification of the determination of the gastric lesion.
  • Neoplasia classification may include AGC, EGC, HGD and LGD.
  • Non-tumor categories may include lesions such as gastritis, benign ulcers, malformations, polyps, intestinal epithelialization or epithelial tumors.
  • the server 100 automatically classifies and determines the ambiguous lesion by analyzing the image acquired with the endoscope device 200 in order to reduce the side effects caused by unnecessary biopsy or endoscopic resection to classify and determine the ambiguous lesion. , in the case of neoplasms (dangerous tumors), endoscopic resection may be performed.
  • the endoscopy device 200 may be a device used during gastroscopy.
  • the endoscope apparatus 200 may include a manipulation unit and a body unit.
  • the endoscope apparatus 200 may include a body to be inserted into the body and a manipulation unit provided at the rear end of the body.
  • the front end of the body part includes a photographing unit for photographing the inside of the body, a lighting unit for irradiating light to the photographing part, a water spraying unit for washing the inside of the body for easy shooting, a suction unit for sucking foreign substances or air in the body, etc.
  • a channel corresponding to each of the plurality of units (parts) may be provided in the body portion.
  • a biopsy channel may be provided in the insertion unit, and the endoscopic operator may insert a scalpel into the biopsy channel to collect tissue inside the body.
  • a photographing unit ie, a camera
  • a small camera may be provided in the case of a photographing unit (ie, a camera) for photographing the inside of the body provided in the endoscope apparatus 200.
  • the imaging device may acquire a white light gastroscopic image.
  • the photographing unit of the endoscope apparatus 200 may transmit the acquired gastric lesion image to the server 100 through a network.
  • the server 100 may generate a control signal for controlling the biopsy unit based on the determination result of the gastric lesion.
  • the biopsy unit may be a unit for collecting tissue inside the body. By collecting the tissue inside the body, it is possible to determine whether the tissue is positive or negative. In addition, by excising the tissue inside the body, it is possible to remove the cancerous tissue.
  • the server 100 may be included in the endoscope apparatus 200 for acquiring an upper endoscopy image and collecting tissue inside the body.
  • the upper endoscopy image acquired in real time from the endoscope device 200 is input to an artificial neural network constructed through learning, and is divided into at least one of the items related to the gastric lesion determination result, so that the determination and prediction of the gastric lesion is performed. It may be possible.
  • the endoscope apparatus 200 may be formed in a capsule form.
  • the endoscope apparatus 200 may be formed in a capsule form and inserted into a body of a subject to acquire an upper endoscopy image.
  • the capsule-type endoscope apparatus 200 may also provide location information on where the subject's esophagus, stomach, small intestine, and large intestine are located.
  • the capsule-type endoscope apparatus 200 may be located in the body of a subject (patient), and may provide an image (image) acquired in real time to the server 100 through a network.
  • the capsule-type endoscope apparatus 200 provides not only the upper endoscopy image but also the location information from which the upper endoscopy image was obtained, so that the determination classification result of the server 100 is advanced gastric cancer and early gastric cancer. If it belongs to at least one of gastric cancer, high-grade dysplasia, and low-grade dysplasia, in other words, if it is a non-tumor-risk tumor, the user (physician) determines the location of the lesion. can be identified so that resection can be performed immediately.
  • the server 100 performs gastric lesion determination by inputting the gastric lesion endoscope image acquired in real time by the endoscope apparatus 200 to an algorithm generated through learning, and the endoscope apparatus 200 ), a lesion suspected of a neoplasia can be excised using endoscopic mucosal resection or endoscopic submucosal dissection.
  • the endoscope apparatus 200 may control the photographing unit by using the manipulation unit.
  • the manipulation unit may receive a manipulation input signal from the user in order for the imaging unit to put the position of the target lesion in the field of view.
  • the manipulation unit may control the position of the photographing unit based on a manipulation input signal received from the user.
  • the manipulation unit may receive a manipulation input signal for capturing the corresponding image and generate a signal for capturing the corresponding gastric lesion image.
  • the endoscope device 200 may be a device formed in the form of a capsule.
  • the capsule endoscope apparatus 200 may be inserted into a human body of a subject (subject) and operated remotely.
  • the gastric lesion image obtained from the capsule endoscopy apparatus 200 may be obtained by imaging not only an image of a region desired by the user to capture, but also all images obtained by shooting a video.
  • the capsule endoscope apparatus 200 may include a photographing unit and a manipulation unit. The photographing unit may be inserted into the human body and controlled inside the human body based on a manipulation signal of the manipulation unit.
  • the display device 300 may include, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical system (MEMS) display.
  • the display apparatus 300 may display the gastroscopic image obtained from the endoscope apparatus 200 and gastric lesion determination information determined from the server 100 to the user.
  • the display apparatus 300 may include a touch screen, and may receive, for example, a touch input using an electronic pen or a part of the user's body, a gesture, a near point, or a hovering input.
  • the display apparatus 300 may output an image of a gastric lesion obtained by the endoscope apparatus 200 . Also, the display apparatus 300 may output a result of determining the gastric lesion.
  • the endoscope apparatus 200 may include a manipulation unit, a body unit, a processor, a lesion position obtaining unit, and a display unit.
  • the endoscope apparatus 200 may include an artificial intelligence model and perform lesion determination. Specifically, in order to prevent the real-time gastric endoscopy from being disturbed due to the time difference that occurs when the AI model determines the lesion, the algorithm related to the detection that can cause interference to the examiner is the endoscope device 200, and the rest is preprocessed. The algorithm related to reading and may be performed by the server 100 .
  • the manipulation unit may be provided at the rear end of the body unit to be manipulated based on user input information.
  • the manipulation unit is a part gripped by the endoscopic operator, and may manipulate the body part inserted into the body of the subject.
  • the operation unit may operate the operation of the plurality of unit devices required during the endoscopic procedure accommodated by the body portion.
  • the manipulation unit may include a rotation processor.
  • the rotation processor may include a part responsible for a function of generating a control signal and a function of providing a rotational force (eg, a motor).
  • the operation unit may include a button for operating the photographing unit (not shown).
  • the button is a button for controlling the position of the photographing unit (not shown), and may be for the user to change the position of the body part, such as up, down, left and right, forward, backward, and the like.
  • the body portion is a portion inserted into the body of the examinee, and may accommodate a plurality of unit devices.
  • the plurality of unit devices include a photographing unit (not shown) for photographing the body of the subject, an air supply unit for supplying air into the body, a water supply unit for supplying water into the body, a lighting unit for irradiating light into the body, and tissue in the body. It may include at least one of a biopsy unit for collecting or treating a portion of the body and a suction unit for sucking air or foreign substances from the body.
  • the biopsy unit may include various medical devices such as a mass and a needle for collecting a part of tissue from a living body, and the biopsy unit such as a mass and needle is inserted into the body through the biopsy channel by an endoscopic operator, so that cells in the body can be harvested.
  • various medical devices such as a mass and a needle for collecting a part of tissue from a living body
  • the biopsy unit such as a mass and needle is inserted into the body through the biopsy channel by an endoscopic operator, so that cells in the body can be harvested.
  • the photographing unit may accommodate a camera having a size corresponding to the diameter of the body.
  • a photographing unit may be provided at the front end of the body to photograph a gastric lesion image, and may provide the photographed gastric lesion image to the lesion determining unit and the display unit through a network.
  • the processor may generate a control signal for controlling the operation of the body unit based on the user's input information provided from the manipulation unit and the determination result of the server 100 .
  • the processor may generate a control signal for controlling the operation of the body unit to correspond to the corresponding button.
  • the processor may generate a motion control signal so that the body part moves forward through the body of the subject (patient) at a constant speed. The body part may move forward in the body of the object (patient) based on the control signal of the processor.
  • the processor may generate a control signal for controlling the operation of the photographing unit (not shown).
  • the control signal for controlling the operation of the imaging unit (not shown) may be a signal for the imaging unit (not shown) located in the lesion area to capture the gastric lesion image.
  • the user may click the capture acquisition button.
  • the processor may generate a control signal so that a photographing unit (not shown) may acquire an image from the corresponding lesion region based on input information provided from the manipulation unit.
  • the processor may generate a control signal for obtaining a specific gastric lesion image from an image being photographed by a photographing unit (not shown).
  • the processor may generate a control signal for controlling the operation of the biopsies unit for collecting a portion of the tissue of the object based on the determination result of the server 100 .
  • the processor A control signal may be generated to control the operation of the biopsy unit to perform the resection.
  • the biopsy unit may include various medical devices such as a mass and a needle for collecting a part of tissue from a living body, and the biopsy unit such as a mass and needle is inserted into the body through the biopsy channel by an endoscopic operator, so that cells in the body can be harvested.
  • the processor may generate a control signal for controlling the operation of the biopsy unit based on a user input signal provided from the manipulation unit. The operation of collecting, excising, and removing cells in the body may be performed by a user using a manipulation unit.
  • the lesion location acquisition unit may generate gastric lesion information by linking the gastric lesion image provided from the photographing unit (not shown) with the location information.
  • the location information may be location information where the body part is currently located in the body. In other words, when the body part is located at the first point above the subject (patient), and a gastric lesion image is obtained from the first point, the lesion location acquisition unit generates gastric lesion information by linking the gastric lesion image and location information.
  • the lesion location acquisition unit may provide the user (doctor) with gastric lesion information generated by linking the acquired gastric lesion image and location information.
  • the processor may generate a control signal for controlling the position of the biopsy unit when the biopsy unit is not located at the lesion position by using the position information provided by the lesion position obtaining unit.
  • a faster biopsy may be performed.
  • rapid treatment may be possible by immediately removing cells determined to be cancerous during the endoscopy determination process.
  • the endoscope apparatus 200 may acquire an upper endoscopy image.
  • step S120 the endoscope apparatus 200 may transmit the acquired gastroscopic image to the server 100 .
  • the server 100 may input the upper endoscopy image to the first artificial intelligence model to determine the lesion included in the upper endoscopy image.
  • the server 100 may store an image of an image before a preset time from the time when the image reading command is input. A plurality of images may be acquired.
  • the server 100 may receive an image reading command from the operator.
  • the image reading command may be a voice command.
  • the endoscope apparatus 200 may recognize the command as an image reading command and transmit a control signal for reading the image to the server 100 .
  • the image reading command may be an operation of pushing a preset button included in the endoscope apparatus 200 or an operation of touching a specific UI of the display apparatus 300 .
  • the server 100 may acquire a plurality of image frames for an image prior to a preset time from the time when the image reading command is input, and perform lesion determination analysis on the frame.
  • the server 100 may input a plurality of images into the third artificial intelligence model, and determine whether or not a lesion is included in the plurality of images and the type of the lesion.
  • the first artificial intelligence model and the second artificial intelligence model may be a lightweight artificial intelligence model for outputting a quick result
  • the third artificial intelligence model may be an artificial intelligence model for deriving an accurate result. That is, the first artificial intelligence model and the second artificial intelligence model capable of deriving fast results can be used to assist the gastroscopy in real time, and when there is a doctor's command to read the image, a long time is required for precise analysis. Instead of taking this time, a third artificial intelligence model that can derive precise results can be used.
  • the server 100 may determine whether a lesion is included in the real-time image.
  • the server 100 may display a UI for guiding the location of the lesion in the real-time image.
  • step S140 when a lesion is determined in the upper endoscopy image, the server 100 may acquire an image including the lesion and transmit it to the database of the server 100 .
  • the image including the lesion stored in the database may be checked in the second UI displayed through the second icon, as will be described later.
  • step S150 the server 100 may input the image into the second artificial intelligence model to determine the type of lesion included in the image.
  • a detection algorithm applying YOLO_v3 and EfficientNet may be applied to the second artificial intelligence model.
  • the second artificial intelligence model can recognize the lesion, remove the patient text and light reflection from the image including the lesion, read the lesion type, and display the result on the display device 300 in real time during the examination.
  • the server 100 may determine whether bleeding has occurred due to the biopsy.
  • the server 100 may include a fourth artificial intelligence model for detecting bleeding.
  • the server 100 may input the image image to the fourth artificial intelligence model before inputting the image image to the first artificial intelligence model and the second artificial intelligence model.
  • the server 100 may not perform lesion determination on a location where bleeding occurs.
  • the server 100 when it is determined that the video image input through the fourth artificial intelligence model is bleeding, the server 100 does not input the video image into the first artificial intelligence model and the second artificial intelligence model, and the fourth artificial intelligence model Only when it is determined that no bleeding has occurred in the video image input through the intelligent model, the corresponding video image may be input to the first AI model and the second AI model to perform lesion determination.
  • step S160 when a lesion is determined in the upper endoscopy image, the server 100 may display a UI for guiding the location of the lesion in the upper endoscopy image.
  • a UI for guiding the location of the lesion may be displayed by the display apparatus 300 .
  • a first icon 410 for inputting patient information a second icon 420 for confirming an image including the determined lesion, and an examination result image
  • a third icon 430 for changing a setting value, a fourth icon 440 for changing a setting value, and a fifth icon 450 for returning to a real-time image may be displayed.
  • the first icon 410 is an icon for inputting patient information. As shown in FIG. 4 , when a user command for the first icon 410 is input, the display device 100 may display a first UI for inputting the patient name, patient chart number, gender, and birth year. have.
  • Patient information can be modified while the endoscopy is in progress. Furthermore, when the first UI is displayed on the display apparatus 300 , the first icon may be highlighted in a different color from other icons, and a user command through the first icon may not be input.
  • the gastroscopy can be performed.
  • the year of birth may be input only as a number, such as “1988” or “88”, and only the year before the current time may be input as the year of birth.
  • the year of birth may be within a preset range from the current time. Of course, only the previous year can be entered.
  • the year of birth may be input only within a preset range based on the current time point. For example, if the current time point is 2020, a year prior to 1820 cannot be input based on a preset year (eg, 200).
  • a birth year out of the range is input, the display apparatus 300 may output a warning message such as "Please check your birth year".
  • the server 100 may perform indexing on the performed endoscopy.
  • a case in which patient information is insufficiently input may mean a case in which it cannot be distinguished from other endoscopy results.
  • the server 100 may perform indexing to distinguish the same patient data.
  • the server 100 may generate an arbitrary chart number and add it to the patient information. Any chart number generated by the server 100 may have a different format of chart numbering normally recorded or may be displayed in a different color.
  • the display apparatus 300 may display a fifth UI displaying a real-time image.
  • the second icon is an icon for checking an image stored in the database of the server 100 .
  • the display apparatus 300 may display a second UI for guiding the image list including the lesion.
  • the second icon may display the number of image lists together, and when the image list exceeds a preset number (eg, 99), only the preset number (eg, 99) It can be displayed together with the second icon.
  • a preset number eg, 99
  • the third icon is an icon for displaying the determination result for each lesion.
  • the display apparatus 300 may display a third UI for guiding a list indicating a determination result for each lesion, as shown in FIG. 6 .
  • the fourth icon is an icon for changing a setting value.
  • a fourth UI for changing a setting value may be displayed.
  • the fifth icon is an icon for returning to the real-time image.
  • the display apparatus 300 may display a fifth UI for displaying a real-time image.
  • the display device 300 may, when a first user command for one of the first icon, the second icon, the third icon, and the fourth icon is input, the 1 A UI corresponding to a user command may be displayed on the first layer.
  • the server 100 and the display device 300 may detect the image screen in real time.
  • the first UI to the fourth UI may be implemented in a layer different from the fifth UI.
  • the display device 300 displays a sixth icon 510 , a seventh icon 520 , an eighth icon 530 , and a ninth icon ( 540) and a tenth icon 550 may be displayed.
  • the sixth icon 510 may be generated when the server 100 is analyzing a lesion.
  • the operator may determine that the server 100 is reading the suspicious part because there is a suspicious part.
  • the seventh icon 520 is an icon for displaying the location and state of the lesion when the server 100 acquires a lesion from the image.
  • the seventh icon may be generated to correspond to the size of the lesion, and further, may be displayed in a different color according to the state of the lesion. For example, normal may be displayed in green, LGD in yellow, HGD in dark yellow, EGC in orange, and AGC in red.
  • the eighth icon 530 may be related to displaying the number of image lists, as described above.
  • the ninth icon 540 is configured to display patient information obtained through the first UI.
  • the patient information may include name, gender, age, and chart information, and when patient information is not input, it may be displayed as "-".
  • the tenth icon 550 is configured to display the number of lesions determined during endoscopy. When the number of images including the suspicious lesion is added, the number of numbers displayed on the tenth icon 550 may be changed.
  • the fifth icon 450 may not be displayed.
  • the server 100 may determine whether the determined lesion is a lesion requiring real-time treatment.
  • the server 100 may determine whether the determined lesion is a treatable lesion.
  • the server 100 calculates the difference between the time the endoscope device is received from the endoscope device 200 and the time at which the lesion included in the endoscopy image is determined. can be calculated.
  • the display apparatus 300 may display information on a lesion requiring an operation and the difference value on the fifth UI.
  • the server 100 determines the time at which the upper endoscope device is received and the lesion included in the upper endoscopy image. By calculating the difference value from the determined time and notifying the operator, it is possible to proceed with the operation on the lesion in real time during the gastroscopy.
  • the server 100 may determine whether the image is an upper endoscopic image.
  • the server 100 may display a UI for inputting new patient information.
  • the server 100 determines that the previous gastroscopic image is completed and the gastroscopy for a new patient has started, and can be displayed separately from the previously captured gastroscopic image. have.
  • the server 100 may classify the upper endoscopy image according to the patient even when patient information is not input.
  • the server 100 may obtain one class for a non-gastric part by extracting an image in which the esophagus is located and a tongue image in the patient's mouth from the gastroendoscopic image. Furthermore, the server 100 may acquire an image of the inside of the stomach as another class. The server 100 may learn each of the obtained two classes with a two-step classification artificial intelligence algorithm.
  • the server 100 even when the server 100 receives a request to read the image, if it is determined that the read request image is a part other than the stomach as a result of reading by the above-described two-step classification artificial intelligence algorithm, the lesion determination process is performed. may not perform.
  • the server 100 may obtain data corresponding to the average contrast of the endoscope room in which the endoscope image is taken, and determine whether the endoscope apparatus 200 is located outside the human body based on the obtained data. . Specifically, the server 100 may determine whether the photographed image is outside the human body based on illuminance, chroma, and contrast information of the image acquired by the endoscope apparatus 200 . Specifically, the server 100 obtains the average contrast value of the endoscope room environment, compares the obtained average contrast value with the contrast value of the image obtained through the endoscope apparatus 200, and the photographed image is photographed outside the human body. It can be determined whether or not For example, when the image acquired through the endoscope apparatus 200 is included in a specific brightness range, the server 100 may determine the image as an image outside the human body and turn off the artificial intelligence algorithm system.
  • the server 100 automatically distinguishes and recognizes the patient and recognizes the reading findings when the endoscopy of one patient is started and the endoscopy of another patient is started again. can be saved to the storage device.
  • the server 100 automatically recognizes and distinguishes the esophagus, the mouth, and the external part of the human body connected to the stomach from the endoscopic image, and does not perform artificial intelligence reading for the corresponding part, thereby providing the resources of the server 100 can focus only on the detection and judgment of gastric lesions.
  • the server 100 may divide the endoscopic image into a plurality of frames.
  • the server 100 may determine a lesion corresponding to the continuous frame as the same lesion.
  • the server 100 may determine the lesion as the same lesion when the lesion is read for the same region in a plurality of image frames included in the upper endoscopy image.
  • the server 100 may acquire a lesion class (eg, LGD) detected with the highest frequency with respect to an image frame corresponding to the same lesion as the determined lesion.
  • LGD lesion class
  • the server 100 may determine whether bleeding due to a biopsy has occurred during the endoscopy. When bleeding occurs, the server 100 may not determine it as a lesion. Specifically, the server 100 may learn a plurality of images in which bleeding has occurred as learning data to distinguish them from images of the stomach lesion.
  • the server 100 may detect and remove noise in various images other than the lesion seen during the upper endoscopy. For example, when the patient text is detected on the upper endoscopy screen, the server 100 may remove the detected patient text. As another example, when the light reflection on the screen caused by the meeting of the air ejected from the endoscope device and the liquid in the stomach is detected, the server 100 may not recognize the light reflection by correcting the light reflection. As another example, the server 100 may store data on a biopsy instrument configured separately from the gastroscopic apparatus 200 in advance, and when the biopsy instrument is photographed, the corresponding image may be excluded from the lesion determination. As another example, the server 100 may perform color correction on the image captured by the endoscope apparatus 200 .
  • the server 100 uses a segmented artificial intelligence algorithm to recognize and remove all patient texts, so that only the input image is read, or the light reflection from the endoscope device 200 is the average contrast value of the image. It can be classified by converting it into data, and if it is above or below a certain intensity value, the corresponding image can not be read even if it is requested to be read. Furthermore, when an external instrument such as a biopsy instrument is photographed, the external instrument is recognized by a detection algorithm modified from YOLO_v3, and the corresponding image can be controlled so that it is not read even if it is requested to be read.
  • the server 100 re-images the lesion once discovered by the server 100 in order to prevent the operator from looking at the AI device screen or missing the detected lesion during the upper endoscopy.
  • the seventh icon 520 may be displayed on the display device 300 to call attention to the operator.
  • the server 100 may simultaneously generate a computer notification sound and display an icon including a color specified for each lesion on the UI of the display apparatus 300 .
  • the server 100 may maintain the lesion position of the previous frame even if no lesion is detected in the current frame.
  • the location of the lesion may be displayed in real time in a rectangular shape like the seventh icon 520 . Meanwhile, if no lesion is detected, the seventh icon 520 may be removed.
  • the Max Overall Accuracy which is classified into four stages into advanced gastric cancer, early gastric cancer, dysplasia, and normal category, is 89.67%, and At this time, the sensitivity was 98.62% and the specificity was 85.28%. Advanced gastric cancer, early gastric cancer, high grade dysplasia, and low grade adenoma (low grade dysplasia) and normal lesion (normal category), the Max Overall Accuracy was 77%, and the sensitivity was 85.56% and specificity was 94.17%.
  • the Max Overall Accuracy was 89.9%, which was classified as either localized (mucosa-confined lesion) or submucosa-invaded lesion (submucosa-invaded lesion), and at this time, the sensitivity was 93.13% and the specificity was 89.08%. .
  • FIG. 8 is a block diagram of an apparatus according to an embodiment.
  • the processor 102 may include one or more cores (not shown) and a graphic processing unit (not shown) and/or a connection path (eg, a bus, etc.) for transmitting and receiving signals to and from other components. .
  • the processor 102 performs the method described with respect to FIG. 7 by executing one or more instructions stored in the memory 104 .
  • the processor 102 obtains new training data by executing one or more instructions stored in the memory, and performs a test on the acquired new training data using the learned model, and the test result, labeling Extracting the first learning data in which the obtained information is obtained with an accuracy greater than or equal to a predetermined first reference value, deleting the extracted first learning data from the new learning data, and removing the new learning data from which the extracted learning data is deleted It is possible to retrain the learned model using
  • the processor 102 is a RAM (Random Access Memory, not shown) and ROM (Read-Only Memory: ROM) for temporarily and / or permanently storing a signal (or, data) processed inside the processor 102. , not shown) may be further included.
  • the processor 102 may be implemented in the form of a system on chip (SoC) including at least one of a graphic processing unit, a RAM, and a ROM.
  • SoC system on chip
  • the memory 104 may store programs (one or more instructions) for processing and controlling the processor 102 .
  • Programs stored in the memory 104 may be divided into a plurality of modules according to functions.
  • a software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable ROM
  • EEPROM electrically erasable programmable ROM
  • flash memory hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.
  • the components of the present invention may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium.
  • Components of the present invention may be implemented as software programming or software components, and similarly, embodiments may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs, including C, C++ , Java, assembler, etc. may be implemented in a programming or scripting language. Functional aspects may be implemented in an algorithm running on one or more processors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Endoscopes (AREA)

Abstract

실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법이 제공된다. 상기 제어 방법은, 내시경 장치가, 위 내시경 영상을 획득하는 단계; 상기 내시경 장치가, 상기 획득된 위 내시경 영상을 서버로 전송하는 단계; 상기 서버가, 상기 위 내시경 영상을 제1 인공지능 모델에 입력하여, 상기 위 내시경 영상에 포함된 병변을 판단하는 단계 상기 서버가, 상기 위 내시경 영상 중 병변이 판단된 경우, 상기 병변을 포함하는 이미지를 획득하여, 상기 서버의 데이터베이스로 전송하는 단계; 상기 서버가, 상기 이미지를 제2 인공지능 모델에 입력하여, 상기 이미지에 포함된 병변의 종류를 판단하는 단계; 및 상기 위 내시경 영상 중 병변이 판단된 경우, 디스플레이 장치가, 상기 위 내시경 영상 내에서, 상기 병변의 위치를 안내하기 위한 UI를 표시하는 단계를 포함한다.

Description

실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
본 발명은 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램에 관한 것으로, 보다 상세하게는 상부위장관 내시경 실제검사 영상에서 딥러닝을 이용하여 병변을 자동으로 발견하고 판단하고 위벽침윤깊이 정보를 제공하는 내시경 검사 판단보조장치 및 방법에 관한 것이다.
우리나라는 위암발생률이 전세계에서 가장 높은 국가로 위암 및 그 전구 병변인 위 신생물의 판단을 위해 상부위장관 내시경 검사가 널리 시행되고 있다. 위암을 포함한 위 신생물의 판단은 내시경 의사가 검사 도중 육안소견으로 병변을 의심하면 내시경 겸자를 통한 조직검사를 통해 병리조직의 판독으로 이루어진다. 또한 육안으로 판단을 내리기 어려운 병변도 암종이나 신생물이 아님을 확인하기 위한 목적으로 조직검사가 시행되고 있다.
하지만, 육안소견과 조직검사가 일치하는 비율은 낮으며 (내시경 의사의 육안 추정판단과 실제판단이 일치하지 않는 경우), 조직검사를 통한 일차 판단(전체 병변의 일부만 검사)과 수술 및 내시경절제술을 통한 치료 후 전체조직의 최종병리소견의 불일치 비율 또한 20~60%로 의사의 경험과 실력에 따라 다양하게 보고되고 있다. 따라서 낮은 초기 판단율로 인해 치료방침의 변화나 환자의 예후 예측에 혼란이 있는 실정이다. 또한 내시경 검사 도중 병변을 발견하지 못하고 놓칠 경우 환자의 예후에 직접 영향을 미치게 되는데 최근 국내 소화기내시경의사의 번아웃 현상이 심각하다고 알려져 있다. 체력적인 이유로 면밀한 검사가 어렵거나 집중도 있는 검사가 어려워 병변을 놓칠 가능성 또한 지속적으로 제기되고 있다. 즉, 위 신생물의 발견 및 육안판단에 미충족 의료요구가 있는 실정이다.
판단 이외에도 위암이나 위신생물의 치료방침을 결정하기 위해서는 병변의 위벽 침윤깊이를 예측해야 한다. 이는 주로 의사의 육안소견과 내시경 초음파(endoscopic ultrasound) 등의 검사를 통해 판단하는데, 위암이나 위 신생물이 점막내에 국한되었거나 점막하 침윤 깊이가 500㎛이하인 경우에만 내시경 절제 시술의 대상이 된다.
하지만 육안소견의 정확도는 내시경 의사 개인에 따라 차이가 크고, 내시경 초음파의 점막하 침윤 예측정도는 최고수준의 전문가의 경우에도 72-84% 정도로 보고되고 있다. 따라서 내시경 절제술 이후에 점막하 침윤이 깊은 암으로 최종 판단되는 경우 추가적인 위절제수술이 필요하여 위암과 위 신생물의 위벽 침윤깊이 판단에 미충족 의료요구가 있는 실정이다.
본 발명의 배경이 되는 기술은 한국등록특허공보 제10-2168485호에 개시되어 있다.
본 발명이 해결하고자 하는 과제는 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법은, 내시경 장치가, 위 내시경 영상을 획득하는 단계; 상기 내시경 장치가, 상기 획득된 위 내시경 영상을 서버로 전송하는 단계; 상기 서버가, 상기 위 내시경 영상을 제1 인공지능 모델에 입력하여, 상기 위 내시경 영상에 포함된 병변을 판단하는 단계 상기 서버가, 상기 위 내시경 영상 중 병변이 판단된 경우, 상기 병변을 포함하는 이미지를 획득하여, 상기 서버의 데이터베이스로 전송하는 단계; 상기 서버가, 상기 이미지를 제2 인공지능 모델에 입력하여, 상기 이미지에 포함된 병변의 종류를 판단하는 단계; 및 상기 위 내시경 영상 중 병변이 판단된 경우, 디스플레이 장치가, 상기 위 내시경 영상 내에서, 상기 병변의 위치를 안내하기 위한 UI를 표시하는 단계를 포함한다.
이때, 상기 병변을 판단하는 단계는, 상기 내시경 장치에 의해 실시간 영상이 촬영되는 중, 시술자로부터 영상 판독 명령을 수신한 경우, 상기 서버는, 상기 영상 판독 명령이 입력된 시점으로부터 기 설정된 시간 이전의 영상에 대한 복수의 이미지를 획득하는 단계; 상기 서버가, 상기 복수의 이미지를 상기 제2 인공지능 모델에 입력하여, 상기 복수의 이미지에 병변이 포함되었는지 여부 및 병변의 종류를 판단하는 단계; 상기 서버가, 상기 복수의 이미지 중, 병변이 포함된 것으로 판단된 경우, 상기 실시간 영상 중, 상기 병변이 포함되었는지 여부를 판단하는 단계; 및 상기 병변이 포함된 경우, 상기 디스플레이 장치가 상기 실시간 영상 내에 상기 병변의 위치를 안내하기 위한 UI를 표시하는 단계를 포함할 수 있다.
이때, 상기 제1 인공지능 모델에 상기 내시경 영상이 입력된 경우, 상기 서버가, 상기 영상이 위 내시경 영상인지 여부를 판단하는 단계; 및상기 디스플레이 장치가, 상기 영상이 위 내시경 영상이 아닌 경우, 새로운 환자 정보를 입력하기 위한 UI를 표시하는 단계를 포함할 수 있다.
이때, 상기 영상이 위 내시경 영상인지 여부를 판단하는 단계는, 상기 서버가, 상기 내시경 영상이 촬영되는 내시경실의 평균 명암에 대응되는 데이터를 획득하는 단계; 및 상기 서버가, 상기 데이터를 바탕으로, 상기 내시경 장치가 인체 밖에 위치하는지 판단하는 단계; 를 포함할 수 있다.
이때, 상기 이미지에 포함된 병변의 종류를 판단하는 단계는, 상기 서버가, 조직검사로 인해 출혈이 발생하였는지 여부를 판단하는 단계; 및 상기 출혈 발생이 판단된 경우, 상기 출혈이 발생한 위치에 대한 병변 판단을 수행하지 않는 단계를 포함할 수 있다.
이때, 상기 제어 방법은, 상기 서버가, 상기 내시경 영상을 복수의 프레임으로 분할하는 단계; 및 상기 서버가, 상기 복수의 프레임 중, 기 설정된 수 이상의 연속된 프레임에 병변이 판단되면, 상기 연속된 프레임에 대응되는 병변을 동일 병변으로 판단하는 단계를 포함할 수 있다.
이때, 상기 UI를 표시하는 단계는, 환자 정보 입력을 위한 제1 아이콘, 판단된 병변을 포함하는 이미지를 확인하기 위한 제2 아이콘, 검사결과 이미지를 확인하기 위한 제3 아이콘, 설정값 변경을 위한 제4 아이콘 및 실시간 영상으로 복귀하기 위한 제5 아이콘을 표시하는 단계; 상기 제1 아이콘에 대한 사용자 명령이 입력되면, 환자명, 환자 차트 번호, 성별 및 출생연도 입력을 위한 제1 UI를 표시하는 단계; 상기 제2 아이콘에 대한 사용자 명령이 입력되면, 병변을 포함하는 이미지 리스트를 안내하기 위한 제2 UI를 표시하는 단계; 상기 제3 아이콘에 대한 사용자 명령이 입력되면, 상기 병변별 판단결과를 나타내는 리스트를 안내하기 위한 제3 UI를 표시하는 단계; 상기 제4 아이콘을 통한 사용자 명령이 입력되면, 설정값 변경을 위한 제4 UI를 표시하는 단계; 상기 제5 아이콘을 통한 사용자 명령이 입력되면, 실시간 영상을 표시하기 위한 제5 UI를 표시하는 단계; 및 상기 제5 UI를 표시하는 동안, 상기 제1 아이콘, 상기 제2 아이콘, 상기 제3 아이콘 및 상기 제4 아이콘 중 하나의 아이콘에 대한 제1 사용자 명령이 입력되면, 상기 제1 사용자 명령에 대응되는 UI를 제1 레이어에 표시하는 단계; 를 포함할 수 있다.
이때, 상기 위 내시경 영상에 포함된 병변을 판단하는 단계는, 상기 판단된 병변이 실시간 시술이 필요한 병변인지 여부를 판단하는 단계; 상기 판단된 병변이 실시간 시술이 필요한 병변인 경우, 상기 내시경 장치로부터 상기 위 내시경 장치를 수신한 시간과, 상기 위 내시경 영상에 포함된 병변을 판단한 시간과의 차이값을 산출하는 단계; 및 상기 차이값이 기 설정된 값 이상인 경우, 상기 제5 UI에 시술이 필요한 병변에 대한 정보 및 상기 차이값을 표시하는 단계를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상술한 본 발명의 다양한 실시예에 따라, 인공지능 모델을 이용한 병변 판단을 실시간으로 수행함으로써, 위 내시경 영상 촬영 및 시술의 정확도를 향상시킬 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 시스템도이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 인공지능 모델의 전처리 방법을 설명하기 위한 예시도이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 UI 화면 표시 방법을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 장치의 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 시스템도이다.
도 1에 도시된 바와 같이, 실시간 영상을 통해 획득되는 병변 판단 시스템은 서버(100), 내시경 장치(200) 및 디스플레이 장치(300)를 포함할 수 있다.
본 발명의 일 실시예에 따른 시스템은, 서버(100), 내시경 장치(200) 및 디스플레이 장치(300) 간의 정보 공유를 위한 네트워크의 일 예로는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 유무선 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, Wifi 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함될 수 있으며, 이에 한정된 것은 아니다.
서버(100)는 내시경 장치(200)로부터 이미지를 획득하여 위 병변을 판단하기 위한 구성이다. 본 발명의 일 실시예에 따른 서버(100)는 이미지 획득부, 데이터 생성부, 전처리부, 학습부 및 병변 판단부를 포함할 수 있다. 다만, 서버(100)의 구성이 앞서 개시된 것들로 한정되는 것은 아니다. 예를 들어, 서버(100)는 정보를 저장하기 위한 데이터베이스를 더 포함할 수 있다.
이미지 획득부는 복수의 위 병변 이미지를 획득할 수 있다. 이미지 획득부는 내시경 장치(200)에 구비된 촬영 장치로부터 위 병변 이미지를 수신할 수 있다. 이미지 획득부는 위 내시경 진료에 사용되고 있는 내시경 촬영 장치(디지털 카메라)로 획득된 위 병변 이미지를 획득할 수 있다. 이미지 획득부는 병리학적으로 확인된 위 병변의 내시경 백색광 이미지를 수집할 수 있다. 또한, 이미지 획득부는 복수의 병원의 영상 보관 장치 및 데이터베이스 시스템으로부터 복수의 위 병변 이미지를 수신할 수 있다. 복수의 병원의 영상 보관 장치는, 다수의 병원에서 위 내시경 수행 시 획득된 위 병변 이미지를 저장한 장치일 수 있다.
또한, 이미지 획득부는 피검사체의 위의 제1 영역을 각도, 방향 및 거리 중 어느 하나를 달리하여 촬영된 영상(이미지)을 획득할 수 있다. 이미지 획득부는 JPEG 형식의 위 병변 이미지를 획득할 수 있다. 위 병변 이미지는 1280 x 640 픽셀의 해상도로 각도 35도 필드의 스타일을 적용한 것일 수 있다. 한편, 이미지 획득부는 각 위 병변 이미지에 대한 개별 식별자 정보가 제거된 이미지를 획득할 수 있다. 이미지 획득부는 중앙에 병변이 위치하고, 위 병변 이미지 중 검은색 프레임 영역이 제거된 이미지를 획득할 수 있다.
반면, 이미지 획득부는 이미지 획득 과정에서 초점 이탈, 인공물, 음역 등 품질이 낮거나 낮은 해상도의 이미지가 획득되는 경우, 해당 이미지를 배제할 수 있다. 달리 말해, 이미지 획득부는 딥러닝 알고리즘에 적용 가능하지 않은 이미지인 경우, 해당 이미지를 배제할 수 있다.
데이터 생성부는 복수의 위 병변 이미지와 환자 정보를 연계하여 데이터 세트를 생성할 수 있다. 환자 정보는 대상자(피검자)의 성별, 나이, 키, 몸무게, 인종, 국적, 흡연량, 음주량, 가족력 등의 다양한 정보를 포함할 수 있다. 또한, 환자 정보는 임상 정보를 포함할 수 있다. 임상정보란 병원에서 판단을 내리는 의사가 특정 판단에 활용하는 모든 데이터를 의미할 수 있다. 특히, 진료과정에서 생성되는 성별, 나이를 포함하는 자료, 특정 치료 여부 자료, 급여 청구 및 처방 자료 등을 포함하는 전자 의무 기록 자료일 수 있다. 또한, 임상정보는 유전자 정보와 같은 생물학적 데이터 자료를 포함할 수 있다. 생물학적 데이터 자료는 심박수, 심전도, 운동량, 산소포화도, 혈압, 체중, 당료와 같은 수치적 데이터를 갖는 개인 건강 정보를 포함할 수 있다.
환자 정보는 이하 설명되는 학습부에서 합성곱신경망 구조의 결과물과 함께 완전 연결 신경망에 입력되는 데이터이며, 위 병변 이미지 외의 정보를 인공신경망을 입력으로 함으로써 보다 정확도를 향상시키는 효과를 기대할 수 있다.
또한, 데이터 생성부는 딥러닝 알고리즘 적용을 위한 학습용 데이터 세트 및 검증용 데이터 세트를 생성할 수 있다. 데이터 세트를 인공신경망 학습에 요구되는 학습용 데이터 세트 및 인공신경망의 학습의 진행 정보를 검증하기 위한 검증용 데이터 세트로 분류하여 데이터 세트를 생성할 수 있다. 일예로, 데이터 생성부는 이미지 획득부로부터 획득된 위 병변 이미지 중 랜덤하게 학습용 데이터 세트에 활용될 이미지 및 검증용 데이터 세트에 활용된 이미지를 분류할 수 있다. 또한, 데이터 생성부는 검증용 데이터 세트를 선택한 나머지를 데이터 세트를 학습용 데이터 세트로 사용할 수 있다. 검증용 데이터 세트는 랜덤하게 선택될 수 있다. 검증용 데이터 세트 및 학습용 데이터 세트의 비율은 미리 설정된 기준값에 의해 결정될 수 있다. 이때, 미리 설정된 기준값은 검증용 데이터 세트의 비율이 10%, 학습용 데이터 세트의 비율이 90%로 설정될 수 있으나, 이에 한정되는 것은 아니다.
데이터 생성부는 과적합 상태를 방지하기 위해 학습용 데이터 세트 및 검증용 데이터 세트를 구분하여 데이터 세트를 생성할 수 있다. 예를 들어, 신경망 구조의 학습 특성상 학습용 데이터 세트는 과적합 상태가 될 수 있기 때문에, 데이터 생성부는 검증용 데이터 세트를 활용하여, 인공신경망의 과적합 상태가 되는 것을 방지할 수 있다.
이때, 검증용 데이터 세트는 학습용 데이터 세트와 중복되지 않는 데이터 세트일 수 있다. 검증용 데이터는 인공신경망 구축에 사용되지 않은 데이터이므로, 검증 작업 시에 인공신경망에서 처음 접하는 데이터이다. 따라서 검증용 데이터 세트는 새로운 이미지(학습에 사용되지 않은 신규 이미지)가 입력으로 들어올 경우, 인공신경망의 성능 평가에 적절한 데이터 세트일 수 있다.
전처리부는 딥러닝 알고리즘에 적용 가능하도록 데이터 세트를 전처리할 수 있다. 전처리부는 딥러닝 알고리즘에서 인식 성능을 높이고 환자 간 영상과의 유사성을 최소화하기 위해 데이터 세트를 전처리할 수 있다. 딥러닝 알고리즘은 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어질 수 있다.
본 발명의 실시예에 따른 인공지능 모델은, UNet의 변형 모델인 UNet++ 에서 edge smoothing 알고리즘이 적용된 Modified UNet++일 수 있다. 이때, Modified UNet++의 Backbone은 DenseNet121일 수 있다.
한편, 도 2에 도시된 바와 같이, 본 발명에 따른 인공지능 모델은, 진행성위암(advanced gastric cancer), 조기위암(early gastric cancer), 고등급선종(high grade dysplasia), 저등급선종(low grade dysplasia), 정상병변(normal category)의 5단 분류 모델일 수 있다.
이 경우, 인공지능 모델은 a) Weight Initialization with ImageNet, b) Augmentation: Horizontal/Vertical Flip, Rotate(-10°~ +10°), c) Batch Size: 6, d) Learning Rate: 4e-04 e) Epoch: 100 f) Optimizer: Adam, g) Loss Function: categorical crossentropy를 파라미터로 사용할 수 있다.
또 다른 예로, 도 3에 도시된 바와 같이, 본 발명에 따른 인공지능 모델은 병변이 점막에 국한되어 있는지 (mucosa-confined lesion) 및 점막하 침윤이 있는지(submucosa-invaded lesion)에 대한 2단 분류 모델일 수 있다.
이 경우, 인공지능 모델은 a) Augmentation: Horizontal/Vertical Flip, Rotate(-5°~ +5°), Horizontal/Vertical Shift(-10% ~ +10%), Zoom(0.8 ~ 1.2), b) Batch Size: 2, c) Learning Rate: 1.25e-4, d) Epoch: 200, e) Dropout: 0.4, f) Learning Rate Scheduler with 0.97 decay was used를 파라미터로 사용할 수 있다.
다양한 실시예에 따라, 본 발명에 따른 인공지능 모델은 진행성위암(advanced gastric cancer), 조기위암(early gastric cancer), 선종(dysplasia), 정상병변(normal category)로 4단 분류 모델일 수 있다.
전처리부는 위 병변 이미지 데이터의 데이터 수를 증가시키기 위한 이미지 데이터를 증폭하는 증폭부(미도시)를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 합성곱신경망을 포함하는 딥러닝 알고리즘을 이용하는 경우, 데이터의 양이 많을수록 좋은 성능을 달성하는 데 유리하지만, 위 내시경 이미지는 그 검사 건수가 다른 검사에 비해 상당히 적은 편으로, 이미지 획득부에서 검출된 위 병변 이미지 데이터 수집량은 합성곱 신경망을 활용하기에 매우 부족할 수 있다. 따라서, 증폭부(미도시)는 학습용 데이터 세트를 기반으로 데이터 증폭(augmentation)과정을 수행할 수 있다. 증폭부(미도시)는 위 병변 이미지의 회전, 뒤집기, 자르기, 소음 섞기 중 적어도 어느 하나의 방법을 적용하여 데이터 증폭(augmentation)과정을 수행할 수 있다.
전처리부는 미리 설정된 기준값에 대응되도록 전처리 과정을 수행할 수 있다. 미리 설정된 기준값은 사용자가 임의로 지정한 값일 수 있다. 또한, 미리 설정된 기준값을 획득된 위 병변 이미지의 평균값에 의해 결정된 값을 수 있다. 전처리부를 거친 데이터 세트는 학습부로 제공될 수 있다.
학습부는 전처리 과정을 거친 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망을 구축할 수 있다.
본 발명의 일 실시예에 따르면, 학습부는 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어진 딥러닝 알고리즘을 적용하여 위 병변 분류 결과를 출력으로 할 수 있다. 완전연결 심층 신경망은 노드 간에 횡적/종적으로 2차원적 연결을 이루고, 서로 같은 층에 위치한 노드 간에는 연결 관계가 존재하지 않으며, 바로 인접한 층에 위치한 노드들 간에만 연결 관계가 존재한다는 것을 특징으로 하는 신경망이다.
학습부는 전처리 과정을 거친 학습용 데이터 세트를 입력으로 하는 합성곱신경망과, 합성곱신경망의 출력을 완전연결 심층 신경망의 입력으로 하는 학습을 통한 훈련 모델을 구축할 수 있다.
본 발명의 일 실시예에 따르면 합성곱신경망은 위 병변 이미지를 분석하는 복수의 특정 특징 패턴을 추출할 수 있다. 이때, 추출된 특정 특징 패턴은 완전연결 심층 신경망에서 최종 분류를 하는데 사용될 수 있다.
합성곱신경망(Convolutional Neural Networks)은 음성 인식이나 이미지 인식에서 주로 사용되는 신경망의 한 종류이다. 다차원 배열 데이터를 처리하도록 구성되어 있어, 컬러 이미지와 같은 다차원 배열 처리에 특화되어 있다. 따라서 이미지 인식 분야에서 딥러닝을 활용한 기법은 대부분 합성곱신경망을 기초로 한다.
합성곱신경망(CNN)은 이미지를 하나의 데이터가 아닌, 여러 개로 분할하여 처리한다. 이렇게 하면 이미지가 왜곡되더라도 이미지의 부분적 특성을 추출할 수 있어 올바른 성능을 낼 수 있다.
합성곱신경망은 복수의 층 구조로 이루어질 수 있다. 각각의 층을 구성하는 요소는 합성곱 층, 활성화 함수, max pooling 층, 활성화 함수, dropout 층으로 구성될 수 있다. 합성곱 층은 kernel이라 불리는 필터 역할을 하여 전체 이미지(또는 생성된 새로운 특징 패턴)를 부분적으로 처리한 것들이 이미지와 같은 크기의 새로운 특징 패턴(feature pattern)을 추출할 수 있다. 합성곱 층은 특징 패턴에서 활성화 함수를 통해 특징 패턴의 값들을 처리하기 편하게 보정할 수 있다. max pooling 층은 일부 위 병변 이미지를 샘플링(sampling) 하여 크기를 조절하여 이미지의 크기를 줄일 수 있다. 합성곱신경망은 합성곱 층 및 max pooling 층을 거쳐, 특징 패턴(feature pattern)의 크기는 줄어들게 되지만, 복수의 kernel 활용을 통해 복수의 특징 패턴(feature pattern)을 추출할 수 있다. dropout층은 합성곱신경망의 가중치들을 훈련할 때 효율적인 훈련을 위해 일부 가중치들을 의도적으로 고려하지 않는 방법일 수 있다. 한편, dropout층은 훈련된 모델을 통해 실제 테스트를 하는 경우에는 적용하지 않을 수 있다.
합성곱신경망에서 추출된 복수의 특징 패턴(feature pattern)은 다음 단계인 완전연결 심층 신경망으로 전달되어 분류 작업을 하는 데 활용될 수 있다. 합성곱신경망은 층의 개수를 조절할 수 있다. 합성곱신경망은 층의 개수는 모델 훈련을 위한 훈련용 데이터의 양에 맞추어 조절함으로써 보다 안정된 모델을 구축할 수 있다.
또한, 학습부는 전처리 과정을 거친 학습용 데이터 세트를 합성곱신경망의 입력으로 하고, 합성곱신경망의 출력 및 환자 정보를 완전연결 심층 신경망의 입력으로 하는 학습을 통한 판단(훈련) 모델을 구축할 수 있다. 달리 말해, 학습부는 전처리 과정을 거친 이미지 데이터가 우선적으로 합성곱신경망으로 들어가도록 하고, 합성곱신경망을 거치고 나온 결과물이 완전연결 심층 신경망에 들어가도록 할 수 있다. 또한, 학습부는 임의로 추출된 특징(feature)들은 합성곱신경망을 거치지 않고, 곧바로 완전연결 심층 신경망으로 들어가도록 할 수 있다.
이때, 환자 정보는 대상자(피검자)의 성별, 나이, 키, 몸무게, 인종, 국적, 흡연량, 음주량, 가족력 등의 다양한 정보를 포함할 수 있다. 또한, 환자 정보는 임상 정보를 포함할 수 있다. 임상정보란 병원에서 판단을 내리는 의사가 특정 판단에 활용하는 모든 데이터를 의미할 수 있다. 특히, 진료과정에서 생성되는 성별, 나이를 포함하는 자료, 특정 치료 여부 자료, 급여 청구 및 처방 자료 등을 포함하는 전자 의무 기록 자료일 수 있다. 또한, 임상정보는 유전자 정보와 같은 생물학적 데이터 자료를 포함할 수 있다. 생물학적 데이터 자료는 심박수, 심전도, 운동량, 산소포화도, 혈압, 체중, 당료와 같은 수치적 데이터를 갖는 개인 건강 정보를 포함할 수 있다.
환자 정보는 학습부에서 합성곱신경망 구조의 결과물과 함께 완전 연결 신경망에 입력되는 데이터이며, 환자 정보를 인공신경망을 입력으로 함으로써 위 병변 이미지만을 이용하여 도출된 결과보다 정확도를 향상시키는 효과를 기대할 수 있다.
일예로, 암이 고령에 많다는 점이 학습용 데이터 세트의 임상정보를 통해 학습하게 되면, 이미지 특징과 함께 42세 또는 79세의 나이가 입력되었을 경우, 위 병변 분류 결과에서 암 또는 양성 구분이 어려운 애매모호한 병변의 구분에서 고령의 환자는 암일 확률이 높아지는 쪽으로 결과를 도출할 수 있다.
학습부는 트레이닝 데이터를 딥러닝 알고리즘 구조(합성곱신경망을 거쳐 완전연결 심층 신경망으로 형성된 구조)에 적용시켜 도출되는 결과와 실제 결과와의 오차를 비교하여 해당 오차에 해당하는 만큼 신경망 구조의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 알고리즘을 통해 결과가 피드백되어 학습될 수 있다. 역전파(backpropagation) 알고리즘은 결과의 오차(실제값과 결과값이 차이)를 줄이기 위해 각 노드에서 다음 노드로 이어지는 가중치를 조절하는 것일 수 있다. 학습부는 학습용 데이터 세트와 검증용 데이터 세트를 이용하여 신경망을 학습시켜 가중치 매개 변수를 구하여 최종 판단 모델을 도출하는 것일 수 있다.
병변 판단부는 신규 데이터 세트를 전처리 과정을 거친 후 인공신경망을 통해 위 병변 판단을 수행할 수 있다. 달리 말해, 병변 판단부는 앞서 설명된 학습부에서 도출된 최종 판단 모델을 이용하여 신규 데이터에 대한 판단을 도출할 수 있다. 신규 데이터는 사용자가 판단하고자 하는 위 병변 이미지를 포함하는 데이터 일 수 있다. 신규 데이터 세트는 신규 위 병변 이미지를 환자 정보와 연계하여 생성된 데이터 세트일 수 있다. 신규 데이터 세트는 전처리부의 전처리 과정을 거쳐 딥러닝 알고리즘에 적용 가능한 상태로 전처리될 수 있다. 이후 전처리된 신규 데이터 세트는 학습부에 입력되어, 학습 파라미터를 기반으로 위 병변 이미지가 판단될 수 있다.
본 발명의 일 실시예에 따르면, 병변 판단부는 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 상기 위 병변 판단 분류를 수행할 수 있다. 또한, 병변 판단부는 암과 비암으로 분류할 수 있다. 또한, 병변 판단부는 신생물과 비신생물 2가지의 범주로 분류하여 위 병변 판단 분류를 수행할 수 있다. 신생물 분류에는 AGC, EGC, HGD 및 LGD가 포함될 수 있다. 비 종양 범주에는 위염, 양성 궤양, 기형, 용종, 장상피화 또는 상피 종양과 같은 병변이 포함될 수 있다.
서버(100)는 모호한 병변을 분류 및 판단하기 위해 불필요한 생체검사나 내시경 절제로 인해 발생되는 부작용을 감소시키기 위해 내시경 장치(200)로 획득된 이미지를 분석하여 모호한 병변을 자동으로 분류 및 판단해 주고, 신생물(위험 종양)일 경우, 내시경 절제 시술을 시행하도록 할 수 있다.
내시경 장치(200)는 위 내시경 검사 시 사용되는 장치일 수 있다. 내시경 장치(200)는 조작부 및 몸체부를 포함할 수 있다. 내시경 장치(200)는 신체 내로 삽입되는 몸체부 및 몸체부의 후단에 마련된 조작부를 포함할 수 있다. 몸체부의 전단에는 신체 내부를 촬영하기 위한 촬영부, 촬영부위에 빛을 조사하기 위한 조명부, 촬영이 용이하도록 신체 내부를 세척하는 물 분사부, 신체 내의 이물질이나 공기 등을 흡입하는 석션부 등이 포함될 수 있으며, 몸체부 내에는 이러한 복수의 유닛(부)들 각각에 대응하는 채널이 마련될 수 있다. 또한, 삽입부 내에는 바이옵시 채널(biopsy channel)이 마련될 수 있으며, 내시경 시술자는 이 바이옵시 채널로 메스를 삽입하여 신체 내부의 조직을 채취할 수 있다. 내시경 장치(200)에 구비된 신체 내부를 촬영하는 촬영부(즉, 카메라)의 경우에는, 소형 카메라가 구비될 수 있다. 촬영 장치는 백색광 위 내시경 이미지를 획득할 수 있다.
내시경 장치(200)의 촬영부는 획득된 위 병변 이미지를 서버(100)로 네트워크를 통해 송신할 수 있다. 서버(100)는 위 병변 판단 결과에 기반하여 바이옵시 유닛을 제어하기 위한 제어 신호를 생성할 수 있다. 바이옵시 유닛은 신체 내부의 조직을 채취하기 위한 유닛일 수 있다. 신체 내부의 조직을 채취함으로써, 해당 조직의 양성 및 음성을 판단할 수 있다. 또한, 신체 내부의 조직을 절제함으로써, 암 조직을 제거할 수 있다. 예시적으로, 서버(100)는 위 내시경 이미지를 획득하고, 신체 내부의 조직을 채취하는 내시경 장치(200)에 포함될 수 있다. 달리 말해, 내시경 장치(200)로부터 실시간으로 획득되는 위 내시경 이미지를, 학습으로 통하여 구축된 인공신경망에 입력으로 하여 위 병변 판단 결과에 관한 항목 중 적어도 어느 하나로 구분되어 위 병변에 대한 판단 및 예측이 가능할 수 있다.
본 발명의 다른 일 실시예에 따르면, 내시경 장치(200)는 캡슐형태로 형성될 수 있다. 예를 들어, 내시경 장치(200)는 캡슐형태로 형성되어, 피검자의 체내로 삽입되어 위 내시경 이미지를 획득할 수 있다. 캡슐형 내시경 장치(200)는 피검자의 식도, 위, 소장 및 대장 중 어디에 위치하는지에 대한 위치 정보도 함께 제공할 수 있다. 달리 말해, 캡슐형 내시경 장치(200)는 피검자(환자)의 체내에 위치하고, 실시간으로 획득되는 영상(이미지)을 네트워크를 통해 서버(100)로 제공할 수 있다. 이때, 캡슐형 내시경 장치(200)는 위 내시경 이미지뿐만 아니라, 위 내시경 이미지가 획득된 위치 정보를 함께 제공함으로써, 서버(100)의 판단 분류 결과가 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia) 및 저이형성증(low-grade dysplasia) 중 적어도 어느 하나에 속하는 경우, 달리 말해, 비종양 위험성 종양에 해당하는 경우, 사용자(의사)가 해당 병변의 위치를 파악하여 바로 절제술이 가능하도록 할 수 있다.
본 발명의 일 실시예에 따르면, 내시경 장치(200)에서 실시간으로 획득된 위 병변 내시경 이미지를 서버(100)는 학습을 통해 생성된 알고리즘에 입력으로 하여 위 병변 판단을 수행하고, 내시경 장치(200)는 신생물 의심 병변을 내시경 점막 절제술 또는 내시경 점막하박리술을 이용하여 해당 병변을 절제할 수 있다.
본 발명의 일 실시예에 따르면, 내시경 장치(200)는 조작부를 이용하여 촬영부를 제어할 수 있다. 조작부는 촬영부가 목표 병변의 위치가 시야에 놓이게 하기 위해 사용자로부터 조작 입력 신호를 수신할 수 있다. 조작부는 사용자로부터 입력받는 조작 입력 신호에 기반하여 촬영부의 위치를 제어할 수 있다. 또한, 조작부는 촬영부의 시야가 목표 병변에 위치하는 경우, 해당 이미지를 캡처하기 위한 조작 입력 신호를 제공받고, 해당 위 병변 이미지를 캡처하기 위한 신호를 생성할 수 있다.
본 발명의 다른 일 실시예에 따르면, 내시경 장치(200)는 캡슐 형태로 형성된 장치일 수 있다. 캡슐 내시경 장치(200)는 대상자(피검자)의 인체 내부에 삽입되고, 원격에서 조작될 수 있다. 캡슐 내시경 장치(200)로부터 획득되는 위 병변 이미지는 사용자가 캡처를 원하는 영역의 이미지뿐만 아니라, 동영상 촬영으로 획득되는 모든 영상을 이미지화하여 획득할 수 있다. 캡슐 내시경 장치(200)는 촬영부 및 조작부를 포함할 수 있다. 촬영부는 인체 내부에 삽입되고, 조작부의 조작 신호에 기반하여 인체 내부에서 제어될 수 있다.
디스플레이 장치(300)는 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(MEMS) 디스플레이를 포함할 수 있다. 디스플레이 장치(300)는 사용자에게 내시경 장치(200)로부터 획득되는 위 내시경 이미지 및 서버(100)로부터 판단되는 위 병변 판단 정보를 표시할 수 있다. 디스플레이 장치(300)는 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근점 또는 호버링 입력을 수신할 수 있다. 디스플레이 장치(300)는 내시경 장치(200)에서 획득되는 위 병변 이미지를 출력할 수 있다. 또한, 디스플레이 장치(300)는 위 병변 판단 결과를 출력할 수 있다.
한편, 본 발명의 다른 일 실시예에 따르면, 내시경 장치(200)는 조작부, 몸체부, 프로세서, 병변 위치 획득부 및 디스플레이부를 포함할 수 있다.
이 경우, 내시경 장치(200)는 인공지능 모델을 포함하며, 병변 판단을 수행할 수 있다. 구체적으로, 인공지능 모델이 병변 판단을 하는 경우 발생하는 시간 차이로 인해 실시간 위 내시경 검사가 방해되는 것을 막기 위하여, 검사자에　방해를　줄　수　있는　탐지에　관련한　알고리즘은　내시경 장치(200)가, 나머지　전처리와　판독에　관련한　알고리즘은　서버(100)가 수행할 수 있다.
조작부는 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 조작될 수 있다. 조작부는 내시경 시술자에 의하여 파지되는 부분으로서, 피검자의 체내로 삽입되는 몸체부를 조작할 수 있다. 또한, 조작부는 몸체부가 수용하고 있는 내시경 시술시 필요한 복수의 유닛 장치의 동작을 조작할 수 있다. 조작부는 회전 프로세서를 포함할 수 있다. 회전 프로세서는 제어 신호를 생성하는 기능 및 회전력을 제공하는 기능(예를 들어, 모터)을 담당하는 부분을 포함할 수 있다. 조작부는 촬영부(미도시)를 조작하기 위한 버튼을 포함할 수 있다. 버튼은 촬영부(미도시)의 위치를 제어하기 위한 버튼으로서, 사용자가 상하좌우, 전진, 후진 등과 같은 몸체부의 위치를 변경하기 위한 것일 수 있다.
몸체부는 피검자의 체내로 삽입되는 부분으로서, 복수의 유닛 장치를 수용할 수 있다. 복수의 유닛 장치는 피검자의 체내를 촬영하는 촬영부(미도시), 체내로 공기를 공급하는 에어 공급 유닛, 체내로 물을 공급하는 물 공급 유닛, 체내로 빛을 조사하는 조명 유닛, 체내의 조직의 일부를 채취하거나 치료하기 위한 바이옵시(biopsy) 유닛 및 체내로부터의 공기 또는 이물질을 흡입하는 석션 유닛 중 적어도 하나를 포함할 수 있다. 바이옵시 유닛은 생체에서 조직 일부를 채취하기 위한 매스, 바늘 등 각종 의료기기들을 포함할 수 있으며, 매스, 바늘 등의 바이옵시 유닛은 내시경 시술자에 의하여 바이옵시 채널을 통해 체내로 삽입됨으로써 체내의 세포를 채취할 수 있다.
촬영부(미도시)는 몸체부의 직경에 대응하는 크기를 갖는 카메라를 수용할 수 있다. 촬영부(미도시)는 몸체부의 전단에 구비되어 위 병변 이미지를 촬영하고, 네트워크를 통해 병변 판단부 및 디스플레이부로 촬영한 위 병변 이미지를 제공할 수 있다.
프로세서는 조작부에서 제공받은 사용자의 입력 정보 및 서버(100)의 판단 결과에 기반하여 몸체부의 동작을 제어하는 제어 신호를 생성할 수 있다. 프로세서는 조작부에 포함된 버튼 중 사용자로부터 어느 하나의 선택 입력을 수신한 경우, 해당 버튼에 대응하도록 몸체부의 동작을 제어하는 제어 신호를 생성할 수 있다. 예를 들어, 프로세서는 사용자가 몸체부를 전진하도록 하는 버튼을 입력한 경우, 몸체부가 일정 속도로 대상체(환자)의 체내를 전진할 수 있도록 동작 제어 신호를 생성할 수 있다. 몸체부는 프로세서의 제어 신호에 기반하여 대상체(환자)의 체내에서 전진할 수 있다.
또한, 프로세서는 촬영부(미도시)의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 촬영부(미도시)의 동작을 제어하기 위한 제어 신호는, 병변 영역에 위치한 촬영부(미도시)가 위 병변 이미지를 캡처하기 위한 신호일 수 있다. 달리 말해, 사용자는 조작부로부터 특정 병변 영역에 위치한 촬영부(미도시)가 이미지를 획득하길 원하는 경우, 캡처 획득 버튼을 클릭할 수 있다. 프로세서는 조작부로부터 제공받은 입력 정보에 기반하여 촬영부(미도시)기 해당 병변 영역에서 이미지를 획득할 수 있도록 제어 신호를 생성할 수 있다. 프로세서는 촬영부(미도시)가 촬영중인 영상으로부터 특정 위 병변 이미지를 획득하기 위한 제어 신호를 생성할 수 있다.
또한, 프로세서는 서버(100)의 판단 결과에 기반하여 대상체의 조직의 일부를 채취하기 위한 바이옵시 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 프로세서는 서버(100)의 판단 결과가 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia) 및 저이형성증(low-grade dysplasia) 중 적어도 어느 하나에 속하는 경우 절제술을 시행할 수 있도록 바이옵시 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 바이옵시 유닛은 생체에서 조직 일부를 채취하기 위한 매스, 바늘 등 각종 의료기기들을 포함할 수 있으며, 매스, 바늘 등의 바이옵시 유닛은 내시경 시술자에 의하여 바이옵시 채널을 통해 체내로 삽입됨으로써 체내의 세포를 채취할 수 있다. 또한, 프로세서는 조작부로부터 제공받는 사용자 입력 신호에 기반하여 바이옵시 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 체내의 세포를 채취, 절제, 제거하는 동작은 사용자가 조작부를 이용하여 수행하는 것일 수 있다.
본 발명의 일 실시예에 따르면, 병변 위치 획득부는 촬영부(미도시)에서 제공받은 위 병변 이미지와 위치 정보를 연계하여 위 병변 정보를 생성할 수 있다. 위치 정보는 몸체부가 현재 체내에 위치한 위치정보일 수 있다. 달리 말해, 몸체부가 대상체(환자)의 위의 제1지점에 위치하고, 제1지점으로부터 위 병변 이미지가 획득된 경우, 병변 위치 획득부는 상기 위 병변 이미지와 위치 정보를 연계하여 위 병변 정보를 생성할 수 있다.
병변 위치 획득부는 획득된 위 병변 이미지와 위치 정보를 연계하여 생성된 위 병변 정보를 사용자(의사)에게 제공할 수 있다. 병변 판단부(10)의 판단 결과 및 병변 위치 획득부의 위 병변 정보를 디스플레이부를 통해 사용자에게 제공함으로써, 해당 병변을 절제(제거)하는 시술 및 수술 시 해당 병변 위치가 아닌 곳에서 절제술이 수행될 수 있는 상황을 방지할 수 있다.
또한, 프로세서는 병변 위치 획득부에서 제공한 위치 정보를 이용하여 바이옵시 유닛이 해당 병변 위치에 위치하지 않을 경우, 상기 바이옵시 유닛의 위치를 제어하기 위한 제어신호를 생성할 수 있다.
서버(100)에서 바이옵시 유닛을 제어하기 위한 제어 신호를 생성하여, 체내의 세포를 채취 또는 제거함으로써, 더욱 빠른 조직 검사를 수행할 수 있다. 더불어, 암으로 판단된 세포를 내시경 판단 과정에서 바로 제거함으로써 빠른 치료가 가능할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본 발명의 동작 흐름을 간단히 살펴보기로 한다.
구체적으로, 도 7에 도시된 바와 같이, 단계 S110에서, 내시경 장치(200)가, 위 내시경 영상을 획득할 수 있다.
단계 S120에서, 내시경 장치(200)가, 획득된 위 내시경 영상을 서버(100)로 전송할 수 있다.
단계 S130에서, 서버(100)가, 위 내시경 영상을 제1 인공지능 모델에 입력하여, 위 내시경 영상에 포함된 병변을 판단할 수 있다.
일 실시예로, 내시경 장치(200)에 의해 실시간 영상이 촬영되는 중, 시술자로부터 영상 판독 명령을 수신하면, 서버(100)는, 영상 판독 명령이 입력된 시점으로부터 기 설정된 시간 이전의 영상에 대한 복수의 이미지를 획득할 수 있다.
구체적으로, 서버(100)가 병변으로 판단하지 않은 경우라고 하더라도, 시술자가 의심되는 이미지를 발견한 경우, 서버(100)는, 시술자에 의한 영상 판독 명령을 수신할 수 있다.
이때, 영상 판독 명령은 음성 명령일 수 있다. 예를 들어, 시술자가 "영상 판독"이라는 음성을 발산하면, 내시경 장치(200)는 해당 명령을 영상 판독 명령으로 인식하고, 서버(100)로 영상 판독을 위한 제어 신호를 전송할 수 있다. 또 다른 예로, 영상 판독 명령은 내시경 장치(200)에 포함된 기 설정된 버튼을 푸쉬하는 동작, 또는 디스플레이 장치(300)의 특정 UI를 터치하는 동작일 수 있음은 물론이다.
서버(100)는 영상 판독 명령을 수신하면, 영상 판독 명령이 입력된 시점으로부터 기 설정된 시간 이전의 영상에 대한 복수의 이미지 프레임을 획득하고, 해당 프레임에 대한 병변 판단 분석을 수행할 수 있다.
일 실시예로, 서버(100)는, 복수의 이미지를 제3 인공지능 모델에 입력하여, 복수의 이미지에 병변이 포함되었는지 여부 및 병변의 종류를 판단할 수 있다.
이때, 제1 인공지능 모델 및 제2 인공지능 모델은, 빠른 결과를 출력하기 위한 경량 인공지능 모델이고, 제3 인공지능 모델은 정확한 결과를 도출하기 위한 인공지능 모델일 수 있다. 즉, 위 내시경 검사를 실시간으로 보조하기 위하여 빠른 결과를 도출할 수 있는 제1 인공지능 모델 및 제2 인공지능 모델이 이용될 수 있으며, 의사의 영상 판독 명령이 있는 경우, 정밀 분석을 위해 오랜 시간이 걸리는 대신 정밀한 결과를 도출할 수 있는 제3 인공지능 모델을 이용할 수 있다.
이후, 복수의 이미지 중, 병변이 포함된 것으로 판단된 경우, 서버(100)는, 실시간 영상 중, 병변이 포함되었는지 여부를 판단할 수 있다.
병변이 포함된 경우, 서버(100)는, 실시간 영상 내에 병변의 위치를 안내하기 위한 UI를 표시할 수 있다.
단계 S140에서, 서버(100)가, 위 내시경 영상 중 병변이 판단된 경우, 병변을 포함하는 이미지를 획득하여, 서버(100)의 데이터베이스로 전송할 수 있다.
일 실시예로, 데이터베이스에 저장된 병변을 포함하는 이미지는, 후술하는 바와 같이, 제2 아이콘을 통해 표시되는 제2 UI에서 확인할 수 있다.
단계 S150에서, 서버(100)가, 이미지를 제2 인공지능 모델에 입력하여, 이미지에 포함된 병변의 종류를 판단할 수 있다.
일 실시예로, 제2 인공지능 모델은 YOLO_v3 및 EfficientNet를 응용한 Detection 알고리즘이 적용될 수 있다. 제2 인공지능 모델은 병변을 인식하고, 병변이 포함된 이미지에서 환자 텍스트와 빛반사를 제거한 후, 병변 종류를 판독해 그 결과를 검사 도중 실시간으로 디스플에이 장치(300)에 표시할 수 있다.
일 실시예로, 서버(100)는, 조직검사로 인해 출혈이 발생하였는지 여부를 판단할 수 있다.
구체적으로, 서버(100)는 출혈을 감지하기 위한 제4 인공지능 모델을 포함할 수 있다. 서버(100)는 제1 인공지능 모델 및 제2 인공지능 모델에 영상 이미지를 입력하기 전 단계에서, 영상 이미지를 제4 인공지능 모델에 입력할 수 있다.
출혈 발생이 판단된 경우, 서버(100)는, 출혈이 발생한 위치에 대한 병변 판단을 수행하지 않을 수 있다.
즉, 제4 인공지능 모델을 통해 입력된 영상 이미지가 출혈이 발생한 것으로 판단된 경우, 서버(100)는 해당 영상 이미지를 제1 인공지능 모델 및 제2 인공지능 모델에 입력하지 않고, 제4 인공지능 모델을 통해 입력된 영상 이미지가 출혈이 발생하지 않은 것으로 판단된 경우에만, 해당 영상 이미지를 제1 인공지능 모델 및 제2 인공지능 모델에 입력하여 병변 판단을 수행할 수 있다.
단계 S160에서, 서버(100)가, 위 내시경 영상 중 병변이 판단된 경우, 위 내시경 영상 내에서, 병변의 위치를 안내하기 위한 UI를 표시할 수 있다. 이때, 병변의 위치를 안내하기 위한 UI는 디스플레이 장치(300)에 의해 표시될 수 있다.
구체적으로, 도 4 및 도 5에 도시된 바와 같이, 환자 정보 입력을 위한 제1 아이콘(410), 판단된 병변을 포함하는 이미지를 확인하기 위한 제2 아이콘(420), 검사결과 이미지를 확인하기 위한 제3 아이콘(430), 설정값 변경을 위한 제4 아이콘(440) 및 실시간 영상으로 복귀하기 위한 제5 아이콘(450)을 표시할 수 있다.
제1 아이콘(410)은 환자 정보를 입력하기 위한 아이콘이다. 도 4에 도시된 바와 같이, 제1 아이콘(410)에 대한 사용자 명령이 입력되면, 디스플레이 장치(100)는, 환자명, 환자 차트 번호, 성별 및 출생연도 입력을 위한 제1 UI를 표시할 수 있다.
환자 정보는 내시경 검사가 진행되는 중에도 수정할 수 있다. 나아가, 제1 UI가 디스플레이 장치(300)에 표시되는 경우, 제1 아이콘은 다른 아이콘과 다른 색상으로 하이라이트 표시될 수 있으며, 제1 아이콘을 통한 사용자 명령이 입력되지 않을 수 있다.
한편, 제1 UI에 포함된 복수의 입력창 중, 일부만 입력될 수 있다. 즉, 복수의 입력창 모두에 대한 정보가 입력되지 않더라도, 위 내시경을 수행할 수 있다.
이때, 출생년도는 "1988' 또는 "88"과 같이 숫자로만 입력될 수 있으며, 출생년도는 현재 시점 이전의 년도만 입력할 수 있다. 다양한 실시예에 따라, 출생년도는 현재 시점에서 기 설정된 범위 이전의 년도만 입력할 수 있음은 물론이다.
한편, 출생년도는 현재 시점을 기준으로, 기 설정된 범위 내에서만 입력될 수 있다. 예를 들어, 현재 시점이 2020년인 경우, 기 설정된 년도(예를 들어 200년)을 기준으로 1820년 이전의 년도는 입력할 수 없다. 범위를 벗어나는 출생년도가 입력되는 경우, 디스플레이 장치(300)는 "출생년도를 확인해 주세요"와 같은 경고 메시지를 출력할 수 있다.
한편, 내시경 검사가 진행중이거나, 진행이 완료되었으나, 환자 정보가 불충분하게 입력된 경우, 서버(100)는, 징행된 내시경 검사에 대한 인덱싱을 수행할 수 있다. 이때, 환자 정보가 불충분하게 입력된 경우란, 다른 내시경 결과와 구분할 수 없는 경우를 의미할 수 있다. 예를 들어, 환자명 또는 출생정보만 입력되었으나, 동일한 환자명 또는 출생 정보을 가진 환자의 내시경이 진행되었거나 진행될 예정인 경우, 서버(100)는 동일한 환자 데이터를 구분하기 위해 인덱싱을 수행할 수 있다. 예를 들어, 서버(100)는 환자 정보가 불충분한 경우, 임의의 차트 번호를 생성하여 환자 정보에 추가할 수 있다. 서버(100)에 의해 생성된 임의의 차트 번호는 정상적으로 기록된 차트 번호화 다른 형식을 가지거나 다른 색상으로 표시될 수 있다.
일 실시예로, 제1 UI에 표시된 완료 아이콘 또는 취소 아이콘을 통한 사용자 명령이 입력되면, 디스플레이 장치(300)는 실시간 영상을 표시하는 제5 UI를 표시할 수 있다.
제2 아이콘은 서버(100)의 데이터베이스에 저장된 이미지를 확인하기 위한 아이콘이다.
제2 아이콘에 대한 사용자 명령이 입력되면, 디스플레이 장치(300)는, 병변을 포함하는 이미지 리스트를 안내하기 위한 제2 UI를 표시할 수 있다.
일 실시예로, 제2 아이콘은 이미지 리스트의 개수를 함께 표시할 수 있으며, 이미지 리스트가 기 설정된 개수(예를 들어 99개)를 초과하는 경우, 기 설정된 개수(예를 들어, 99개)만을 제2 아이콘에 함께 표시할 수 있다.
제3 아이콘은 병변별 판단 결과를 표시하기 위한 아이콘이다.
제3 아이콘에 대한 사용자 명령이 입력되면, 디스플레이 장치(300)는, 도 6에 도시된 바와 같이, 병변별 판단결과를 나타내는 리스트를 안내하기 위한 제3 UI를 표시할 수 있다.
제4 아이콘은, 설정값 변경을 위한 아이콘이다.
제4 아이콘을 통한 사용자 명령이 입력되면, 설정값 변경을 위한 제4 UI를 표시할 수 있다.
제5 아이콘은, 실시간 영상으로 복귀하기 위한 아이콘이다.
제5 아이콘을 통한 사용자 명령이 입력되면, 디스플레이 장치(300)는, 실시간 영상을 표시하기 위한 제5 UI를 표시할 수 있다.
일 실시예로, 제5 UI를 표시하는 동안, 디스플레이 장치(300)는, 제1 아이콘, 제2 아이콘, 제3 아이콘 및 제4 아이콘 중 하나의 아이콘에 대한 제1 사용자 명령이 입력되면, 제1 사용자 명령에 대응되는 UI를 제1 레이어에 표시할 수 있다.
다만, 이 경우에도 서버(100) 및 디스플레이 장치(300)는 영상 화면을 실시간으로 감지할 수 있다. 이를 위해 제1 UI 내지 제4 UI는 제5 UI와 다른 레이어에서 구현될 수 있다.
한편, 도 5에 도시된 바와 같이, 디스플레이 장치(300)는, 제 5 UI가 표시되는 동안, 제6 아이콘(510), 제7아이콘(520), 제8 아이콘(530), 제9 아이콘(540) 및 제10 아이콘(550)를 표시할 수 있다.
제6 아이콘(510)은, 서버(100)에서 병변에 대한 분석이 진행중인 경우 생성될 수 있다. 시술자는 제6 아이콘(510)이 제5 UI에 표시되면, 의심 부위가 존재하여 서버(100)가 해당 부위를 판독중이라고 판단할 수 있다.
제7 아이콘(520)은 서버(100)가 이미지 중 병변을 획득한 경우, 해당 병변의 위치 및 상태를 표시하기 위한 아이콘이다. 제7아이콘은 병변의 크기에 대응되게 생성될 수 있으며, 나아가, 병변의 상태에 따라 다른 색으로 표시될 수 있다. 예를 들어, 정상인 경우, 초록색으로, LGD의 경우 노란색으로, HGD인 경우 진한 노란색으로, EGC인 경우 주황색으로, AGC인 경우 빨간색으로 표시될 수 있다.
제8 아이콘(530)은 상술한 바와 같이, 이미지 리스트의 개수 표시와 관련될 수 있다.
제9 아이콘(540)은 제1 UI를 통해 획득된 환자 정보를 표시하기 위한 구성이다. 이때, 환자 정보는 이름, 성별, 나이, 차트 정보를 포함할 수 있으며, 환자 정보가 미입력 된 경우, "―"와 같이 표시될 수 있다.
제10 아이콘(550)은 내시경 진행동안 판단된 병변의 개수를 표시하기 위한 구성이다. 의심 병변을 포함하는 이미지의 개수가 추가되는 경우, 제10 아이콘(550)에 표시된 숫자의 개수가 변경될 수 있다.
이때, 제5 UI가 표시되는 동안에는, 제5 아이콘(450)이 표시되지 않을 수 있다.
한편, 본 발명의 다양한 실시예에 따라, 서버(100)는, 판단된 병변이 실시간 시술이 필요한 병변인지 여부를 판단할 수 있다.
구체적으로, 위 내시경을 진행하는 경우, 병변의 판단과 함께 시술이 진행되어야 할 필요성이 존재한다. 따라서, 서버(100)는 병변의 종류를 판단할 때, 판단된 병변이 시술 가능한 병변인지 여부를 함께 판단할 수 있다.
이후, 판단된 병변이 실시간 시술이 필요한 병변인 경우, 서버(100)는, 내시경 장치(200)로부터 위 내시경 장치를 수신한 시간과, 위 내시경 영상에 포함된 병변을 판단한 시간과의 차이값을 산출할 수 있다.
차이값이 기 설정된 값 이상인 경우, 디스플레이 장치(300)는, 제5 UI에 시술이 필요한 병변에 대한 정보 및 상기 차이값을 표시할 수 있다.
즉, 인공지능 모델이 위 내시경 영상의 이미지가 병변인지 판단하는 동안, 시술자는 이미 확인한 부위를 지나칠 수 있으므로, 서버(100)는 위 내시경 장치를 수신한 시간과, 위 내시경 영상에 포함된 병변을 판단한 시간과의 차이값을 계산하여 시술자에게 알림으로써, 위 내시경 도중 실시간으로 병변에 대한 시술을 진행할 수 있다.
한편, 본 발명의 다양한 실시예에 따라, 제1 인공지능 모델에 내시경 영상이 입력된 경우, 영상이 서버(100)가, 영상이 위 내시경 영상인지 여부를 판단할 수 있다.
이후, 서버(100)는, 영상이 위 내시경 영상이 아닌 경우, 새로운 환자 정보를 입력하기 위한 UI를 표시할 수 있다.
또는, 서버(100)는, 영상이 위 내시경 영상이 아닌 경우, 이전 위 내시경 영상이 완료되고, 새로운 환자에 대한 위 내시경이 시작된 것으로 판단하고, 이전에 촬영한 위 내시경 영상과 구분하여 표시할 수 있다.
상술한 방법을 통해, 서버(100)는 환자 정보가 입력되지 않은 경우라고 하더라도, 환자에 따라 위 내시경 영상을 분류할 수 있다.
구체적으로, 서버(100)는 위 내시경 영상 중 식도 부분이 위치한 이미지 및 환자 입안의 혀 이미지를 추출하여 위장이 아닌 부분에 대한 하나의 클래스를 획득할 수 있다. 나아가, 서버(100)는 위장 내부를 촬영한 이미지를 또 다른 클래스로 획득할 수 있다. 서버(100)는 획득된 두개의 클래스 각각을 2단계 구분 인공지능 알고리즘으로 학습시킬 수 있다.
일 실시예로, 서버(100)가 이미지에 대한 판독 요청을 수신한 경우라도, 상술한 2단계 구분 인공지능 알고리즘에 의한 판독 결과 판독 요청 이미지가 위장이 아닌 부분이라고 판단된 경우, 병변 판단 과정을 수행하지 않을 수 있다.
또 다른 실시예로, 서버(100)는, 내시경 영상이 촬영되는 내시경실의 평균 명암에 대응되는 데이터를 획득하고, 획득된 데이터를 바탕으로, 내시경 장치(200)가 인체 밖에 위치하는지 판단할 수 있다. 구체적으로, 서버(100)는, 내시경 장치(200)가 획득하는 이미지의 조도, 채도 및 명암 정보를 바탕으로 촬영된 이미지가 인체 밖인지 여부를 판단할 수 있다. 구체적으로, 서버(100)는, 내시경실 환경의 평균 명암 값을 획득하고, 획득된 평균 명암값과 내시경 장치(200)를 통해 획득되는 이미지의 명암값을 비교하여, 촬영된 이미지가 인체 밖에서 촬영된 것인지 여부를 판단할 수 있다. 예를 들어, 서버(100)는, 내시경 장치(200)를 통해 획득된 이미지가 특정 밝기 범위에 포함되면, 해당 이미지를 인체 밖 이미지로 판단하여 인공지능 알고리즘 시스템을 오프할 수 있다.
상술한 본 발명의 다양한 실시예에 따라, 서버(100)는 환자명이 입력되지 않더라도, 한 명의 내시경 검사가 종료된 후 다시 다른 환자의 내시경 검사가 시작될 경우, 환자를 자동으로 구별하여 인식하고 판독소견을 저장 장치에 저장할 수 있다.
나아가, 서버(100)는, 위와 연결되어 있는 식도와 입, 인체의 바깥부위를 내시경 영상에서 자동으로 인식하고 구별하여, 해당 부위에 대한 인공지능 판독을 수행하지 않음으로써, 서버(100)의 리소스를 위 병변의 발견과 판단에만 집중할 수 있다.
한편, 본 발명의 또 다른 실시예에 따라, 서버(100)는, 내시경 영상을 복수의 프레임으로 분할할 수 있다.
이후, 서버(100)는, 복수의 프레임 중, 기 설정된 수 이상의 연속된 프레임에 병변이 판단되면, 연속된 프레임에 대응되는 병변을 동일 병변으로 판단할 수 있다.
구체적으로, 서버(100)는, 위 내시경 영상이 포함하는 복수의 이미지 프레임에서 동일한 부위에 대한 병변 판독이 수행된 경우, 해당 병변을 동일 병변으로 판단할 수 있다. 서버(100)는 동일 병변에 대응되는 이미지 프레임에 대하여 가장 높은 빈도수로 검출되는 병변 클래스(예를 들어 LGD)를 판단된 병변으로 획득할 수 있다.
한편, 본 발명의 또 다른 실시예에 따라, 서버(100)는 내시경 검사 도중 조직검사로 인한 출혈이 발생하였는지 여부를 판단할 수 있다. 서버(100)는 출혈이 발생한 경우, 이를 병변으로 판단하지 않을 수 있다. 구체적으로, 서버(100)는 출혈이 발생한 복수의 이미지를 학습데이터로 학습시켜, 위 병변에 대한 이미지와 구별할 수 있다.
또 다른 실시예로, 서버(100)는 위 내시경 검사도중 보이는 병변 이외의 다양한 영상내 noise를 검출하고, 제거할 수 있다. 예를 들어, 서버(100)는, 위 내시경 화면에서 환자 텍스트가 검출된 경우, 검출된 환자 텍스트를 제거할 수 있다. 또 다른 예로, 서버(100)는 내시경기구에서 분출되는 공기와 위내 액체가 만나서 발생하는 화면의 빛 반사가 검출된 경우, 해당 빛 반사를 보정하여 인식하지 않을 수 있다. 도 다른 예로, 서버(100)는, 위 내시경 장치(200)와 별도로 구성된 조직검사 기구에 대한 데이터를 미리 저장하여, 조직검사 기구가 촬영된 경우, 해당 이미지를 병변 판단에서 제외할 수 있다. 또 다른 예로, 서버(100)는, 내시경 장치(200)에 의해 촬영된 이미지에 대한 색보정을 수행할 수 있다.
예를 들어, 서버(100)는 분할 인공지능 알고리즘을 활용해, 환자 텍스트를 모두 인식해 제거함으로써, 오직 입력 영상만 판독하거나, 내시경 장치(200)에서 나오는 빛 반사는 해당 이미지의 평균 명암 값을 데이터화 함으로써 구분하고, 특정 명암 값 이상이나 이하이면 해당 이미지는 판독을 요청해도 판독되지 않도록 할 수 있다. 나아가, 조직검사 기구와 같은 외부 기구가 촬영되면, YOLO_v3를 변형한 탐지 알고리즘으로 외부 기구를 인식하고, 해당 이미지는 판독을 요청해도 판독되지 않도록 제어할 수 있다.
한편, 도 5에 도시된 바와 같이, 서버(100)는 위 내시경 검사 도중 시술자가 인공지능 기기 화면을 보지 않거나 탐지된 병변을 놓치는 것을 방지하기 위해 한 번 서버(100) 가 발견한 병변이 다시 영상에 나타나면, 제7 아이콘(520)을 디스플레이 장치(300)에 표시하여 시술자의 주의를 환기시킬 수 있다. 나아가, 서버(100)는 병변이 발견되면 컴퓨터 알림음을 동시에 발생시키며 디스플레이 장치(300)의 UI에 병변별로 지정된 색을 포함하는 아이콘을 표시할 수 있다.
구체적으로, 서버(100)는 프레임간의 RGB 일치도가 특정값 이상이나 특정값 이하일 때, 현 프레임에서 병변이 탐지되지 않더라도 이전 프레임의 병변 위치를 그대로 유지할 수 있다. 이때, 병변의 위치는 제7 아이콘(520)과 같이 직사각형으로 실시간으로 표시될 수 있다. 한편, 병변이 탐지되지 않으면 제7 아이콘(520)이 제거될 수 있다.
한편, 본 발명에 따른 인공지능 모델 중, 진행성위암(advanced gastric cancer), 조기위암(early gastric cancer), 선종(dysplasia), 정상병변(normal category)로 4단 분류하는 Max Overall Accuracy는 89.67%이고 이때 민감도(sensitivity)는 98.62%,　특이도(specificity)는 85.28% 로 나타났으며, 진행성위암(advanced gastric cancer), 조기위암(early gastric cancer), 고등급선종(high grade dysplasia), 저등급선종(low grade dysplasia), 정상병변(normal category)로 5단 분류하는 Max Overall Accuracy는 77%이고 이때 민감도(sensitivity)는 85.56%, 특이도(specificity)는 94.17% 로 나타났으며, 병변이 점막에 국한되어 있는지 (mucosa-confined lesion) 또는 점막하 침윤이 있는지 (submucosa-invaded lesion) 2단 분류하는 Max Overall Accuracy는 89.9%이고 이때 민감도(sensitivity)는 93.13%, 특이도(specificity)는89.08% 로 나타났다.
도 8은 일 실시 예에 따른 장치의 구성도이다.
프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 7과 관련하여 설명된 방법을 수행한다.
예를 들어, 프로세서(102)는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써 신규 학습용 데이터를 획득하고, 학습된 모델을 이용하여, 상기 획득된 신규 학습용 데이터에 대한 테스트를 수행하고, 상기 테스트 결과, 라벨링된 정보가 소정의 제1 기준값 이상의 정확도로 획득되는 제1 학습용 데이터를 추출하고, 상기 추출된 제1 학습용 데이터를 상기 신규 학습용 데이터로부터 삭제하고, 상기 추출된 학습용 데이터가 삭제된 상기 신규 학습용 데이터를 이용하여 상기 학습된 모델을 다시 학습시킬 수 있다.
한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법에 있어서,
    내시경 장치가, 위 내시경 영상을 획득하는 단계;
    상기 내시경 장치가, 상기 획득된 위 내시경 영상을 서버로 전송하는 단계;
    상기 서버가, 상기 위 내시경 영상을 제1 인공지능 모델에 입력하여, 상기 위 내시경 영상에 포함된 병변을 판단하는 단계;
    상기 서버가, 상기 위 내시경 영상 중 병변이 판단된 경우, 상기 병변을 포함하는 이미지를 획득하여, 상기 서버의 데이터베이스로 전송하는 단계;
    상기 서버가, 상기 이미지를 제2 인공지능 모델에 입력하여, 상기 이미지에 포함된 병변의 종류를 판단하는 단계; 및
    상기 위 내시경 영상 중 병변이 판단된 경우, 디스플레이 장치가, 상기 위 내시경 영상 내에서, 상기 병변의 위치를 안내하기 위한 UI를 표시하는 단계; 를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 병변을 판단하는 단계는,
    상기 내시경 장치에 의해 실시간 영상이 촬영되는 중, 시술자로부터 영상 판독 명령을 수신한 경우, 상기 서버는, 상기 영상 판독 명령이 입력된 시점으로부터 기 설정된 시간 이전의 영상에 대한 복수의 이미지를 획득하는 단계;
    상기 서버가, 상기 복수의 이미지를 상기 제2 인공지능 모델에 입력하여, 상기 복수의 이미지에 병변이 포함되었는지 여부 및 병변의 종류를 판단하는 단계;
    상기 서버가, 상기 복수의 이미지 중, 병변이 포함된 것으로 판단된 경우, 상기 실시간 영상 중, 상기 병변이 포함되었는지 여부를 판단하는 단계; 및
    상기 병변이 포함된 경우, 상기 디스플레이 장치가 상기 실시간 영상 내에 상기 병변의 위치를 안내하기 위한 UI를 표시하는 단계; 를 포함하는 제어 방법.
  3. 제1항에 있어서,
    상기 제1 인공지능 모델에 상기 내시경 영상이 입력된 경우, 상기 서버가, 상기 영상이 위 내시경 영상인지 여부를 판단하는 단계; 및
    상기 디스플레이 장치가, 상기 영상이 위 내시경 영상이 아닌 경우, 새로운 환자 정보를 입력하기 위한 UI를 표시하는 단계;를 포함하는 제어 방법.
  4. 제3항에 있어서,
    상기 영상이 위 내시경 영상인지 여부를 판단하는 단계는,
    상기 서버가, 상기 내시경 영상이 촬영되는 내시경실의 평균 명암에 대응되는 데이터를 획득하는 단계; 및
    상기 서버가, 상기 데이터를 바탕으로, 상기 내시경 장치가 인체 밖에 위치하는지 판단하는 단계; 를 포함하는 제어 방법.
  5. 제1항에 있어서,
    상기 이미지에 포함된 병변의 종류를 판단하는 단계는,
    상기 서버가, 조직검사로 인해 출혈이 발생하였는지 여부를 판단하는 단계; 및
    상기 출혈 발생이 판단된 경우, 상기 출혈이 발생한 위치에 대한 병변 판단을 수행하지 않는 단계; 를 포함하는 제어 방법.
  6. 제1항에 있어서,
    상기 제어 방법은,
    상기 서버가, 상기 내시경 영상을 복수의 프레임으로 분할하는 단계; 및
    상기 서버가, 상기 복수의 프레임 중, 기 설정된 수 이상의 연속된 프레임에 병변이 판단되면, 상기 연속된 프레임에 대응되는 병변을 동일 병변으로 판단하는 단계;를 포함하는 제어 방법.
  7. 제1항에 있어서,
    상기 UI를 표시하는 단계는,
    환자 정보 입력을 위한 제1 아이콘, 판단된 병변을 포함하는 이미지를 확인하기 위한 제2 아이콘, 검사결과 이미지를 확인하기 위한 제3 아이콘, 설정값 변경을 위한 제4 아이콘 및 실시간 영상으로 복귀하기 위한 제5 아이콘을 표시하는 단계;
    상기 제1 아이콘에 대한 사용자 명령이 입력되면, 환자명, 환자 차트 번호, 성별 및 출생연도 입력을 위한 제1 UI를 표시하는 단계;
    상기 제2 아이콘에 대한 사용자 명령이 입력되면, 병변을 포함하는 이미지 리스트를 안내하기 위한 제2 UI를 표시하는 단계;
    상기 제3 아이콘에 대한 사용자 명령이 입력되면, 상기 병변별 판단결과를 나타내는 리스트를 안내하기 위한 제3 UI를 표시하는 단계;
    상기 제4 아이콘을 통한 사용자 명령이 입력되면, 설정값 변경을 위한 제4 UI를 표시하는 단계; 및
    상기 제5 아이콘을 통한 사용자 명령이 입력되면, 실시간 영상을 표시하기 위한 제5 UI를 표시하는 단계; 및 상기 제5 UI를 표시하는 동안, 상기 제1 아이콘, 상기 제2 아이콘, 상기 제3 아이콘 및 상기 제4 아이콘 중 하나의 아이콘에 대한 제1 사용자 명령이 입력되면, 상기 제1 사용자 명령에 대응되는 UI를 제1 레이어에 표시하는 단계; 를 포함하는 제어 방법.
  8. 제7항에 있어서,
    상기 위 내시경 영상에 포함된 병변을 판단하는 단계는,
    상기 판단된 병변이 실시간 시술이 필요한 병변인지 여부를 판단하는 단계;
    상기 판단된 병변이 실시간 시술이 필요한 병변인 경우, 상기 내시경 장치로부터 상기 위 내시경 장치를 수신한 시간과, 상기 위 내시경 영상에 포함된 병변을 판단한 시간과의 차이값을 산출하는 단계; 및
    상기 차이값이 기 설정된 값 이상인 경우, 상기 제5 UI에 시술이 필요한 병변에 대한 정보 및 상기 차이값을 표시하는 단계; 를 포함하는 제어 방법.
  9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 항의 방법을 수행하는, 장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
PCT/KR2022/000109 2021-01-11 2022-01-05 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램 WO2022149836A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280009042.4A CN116745861A (zh) 2021-01-11 2022-01-05 通过实时影像获得的病变判断系统的控制方法、装置及程序
US18/260,245 US11935239B2 (en) 2021-01-11 2022-01-05 Control method, apparatus and program for system for determining lesion obtained via real-time image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210003315A KR102505791B1 (ko) 2021-01-11 2021-01-11 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
KR10-2021-0003315 2021-01-11

Publications (1)

Publication Number Publication Date
WO2022149836A1 true WO2022149836A1 (ko) 2022-07-14

Family

ID=82358186

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/000109 WO2022149836A1 (ko) 2021-01-11 2022-01-05 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램

Country Status (4)

Country Link
US (1) US11935239B2 (ko)
KR (1) KR102505791B1 (ko)
CN (1) CN116745861A (ko)
WO (1) WO2022149836A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102623871B1 (ko) * 2023-07-27 2024-01-12 주식회사 인트로메딕 의료영상의 처리시스템 및 처리 방법
CN117788964B (zh) * 2024-02-28 2024-05-07 苏州凌影云诺医疗科技有限公司 一种针对病变识别的跳变控制方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150085943A (ko) * 2014-01-17 2015-07-27 주식회사 인피니트헬스케어 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
JP2020089710A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
KR102185886B1 (ko) * 2020-05-22 2020-12-02 주식회사 웨이센 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073338A1 (ja) * 2015-10-26 2017-05-04 オリンパス株式会社 内視鏡画像処理装置
JP6890184B2 (ja) * 2017-09-15 2021-06-18 富士フイルム株式会社 医療画像処理装置及び医療画像処理プログラム
CN107658028A (zh) * 2017-10-25 2018-02-02 北京华信佳音医疗科技发展有限责任公司 一种获取病变数据的方法、识别病变方法及计算机设备
US11100633B2 (en) * 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
JP7017198B2 (ja) * 2018-06-22 2022-02-08 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN108695001A (zh) 2018-07-16 2018-10-23 武汉大学人民医院（湖北省人民医院） 一种基于深度学习的癌症病灶范围预测辅助系统及方法
KR102058884B1 (ko) * 2019-04-11 2019-12-24 주식회사 홍복 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
US11191423B1 (en) * 2020-07-16 2021-12-07 DOCBOT, Inc. Endoscopic system and methods having real-time medical imaging
WO2021205778A1 (ja) * 2020-04-08 2021-10-14 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150085943A (ko) * 2014-01-17 2015-07-27 주식회사 인피니트헬스케어 의료 영상 판독 과정에서 구조화된 관심 영역 정보 생성 방법 및 그 장치
JP2020073081A (ja) * 2017-10-30 2020-05-14 公益財団法人がん研究会 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
JP2020089710A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
KR102185886B1 (ko) * 2020-05-22 2020-12-02 주식회사 웨이센 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치

Also Published As

Publication number Publication date
KR102505791B1 (ko) 2023-03-03
US11935239B2 (en) 2024-03-19
KR20220102172A (ko) 2022-07-20
US20240037733A1 (en) 2024-02-01
CN116745861A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
WO2022149836A1 (ko) 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
CN110136106B (zh) 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统
EP1769729B1 (en) System and method for in-vivo feature detection
WO2021147429A1 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
WO2007119297A1 (ja) 医療用画像処理装置及び医療用画像処理方法
JP7166430B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2020224153A1 (zh) 一种基于深度学习和图像增强的nbi图像处理方法及其应用
JP5085370B2 (ja) 画像処理装置および画像処理プログラム
CN111862090B (zh) 一种基于人工智能的食管癌术前管理的方法和系统
US20200090548A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP4749732B2 (ja) 医用画像処理装置
WO2023143014A1 (zh) 一种基于人工智能的内窥镜辅助检查方法及装置
WO2021139672A1 (zh) 医疗辅助操作方法、装置、设备和计算机存储介质
JPWO2020174747A1 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN111839428A (zh) 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
CN113613543A (zh) 诊断辅助装置、诊断辅助方法以及程序
CN115460968A (zh) 图像诊断装置、图像诊断方法、图像诊断程序和学习完毕模型
CN111768389A (zh) 基于卷积神经网络和随机森林的消化道操作自动计时方法
CN112971688B (zh) 图像处理方法、装置及计算机设备
WO2023075303A1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
CN111839429A (zh) 一种基于图像识别判断结肠镜检查是否完整的检测方法
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22736813

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18260245

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280009042.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22736813

Country of ref document: EP

Kind code of ref document: A1