WO2023090681A1 - 인공지능 판별 모델과 3차원 모델링 기반의 위장 질환 진단 장치 및 방법 - Google Patents

인공지능 판별 모델과 3차원 모델링 기반의 위장 질환 진단 장치 및 방법 Download PDF

Info

Publication number
WO2023090681A1
WO2023090681A1 PCT/KR2022/016521 KR2022016521W WO2023090681A1 WO 2023090681 A1 WO2023090681 A1 WO 2023090681A1 KR 2022016521 W KR2022016521 W KR 2022016521W WO 2023090681 A1 WO2023090681 A1 WO 2023090681A1
Authority
WO
WIPO (PCT)
Prior art keywords
disease
model
image
gastrointestinal
stomach
Prior art date
Application number
PCT/KR2022/016521
Other languages
English (en)
French (fr)
Inventor
김희만
황상원
Original Assignee
연세대학교 원주산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 원주산학협력단 filed Critical 연세대학교 원주산학협력단
Publication of WO2023090681A1 publication Critical patent/WO2023090681A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4238—Evaluating particular parts, e.g. particular organs stomach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an apparatus and method for diagnosing gastrointestinal diseases based on an artificial intelligence discrimination model and 3D modeling.
  • Gastric cancer is a cancer with a very high incidence in East Asian countries, including Korea, but great progress has been made in early diagnosis methods as well as surgical procedures and adjuvant chemotherapy. Nevertheless, gastric cancer still ranks very high among the causes of cancer-related deaths worldwide, regardless of gender, and the exact mechanism underlying gastric cancer development and tumor progression has not yet been fully elucidated.
  • Patent Document 1 Korean Patent Laid-open Publication No. 10-2012-0114895: Endoscope device and image acquisition method of the endoscope device
  • the problem to be solved by the embodiments of the present invention is to diagnose gastric disease information such as atrophic gastritis and intestinal metaplasia from endoscopic images based on an artificial intelligence discrimination model, and to model the shape and structure of the stomach from endoscopic images in three dimensions.
  • the goal is to provide a technology that intuitively presents and quantifies the progression rate and risk of gastrointestinal diseases such as atrophic gastritis and intestinal metaplasia through a technique for generating data displaying disease information in a dimensional model.
  • An apparatus for diagnosing a gastrointestinal disease includes an image processing unit acquiring an image of a stomach; a modeling unit generating a 3D model of the stomach based on the image; an image analysis unit that inputs the image to a machine learning-based discrimination model that determines gastrointestinal disease information and determines disease information included in the image; and a diagnosis unit displaying the determined disease information on the 3D model.
  • the image includes a plurality of frames specifying camouflage at a preset point
  • the modeling unit creates the 3D model reflecting the shape or structure of the camouflage from the plurality of frames based on a predetermined 3D modeling algorithm.
  • the predetermined 3D modeling algorithm may include a Shape from Shading and Motion (SfSM) or Structure from Motion (SfM) algorithm.
  • SfSM Shape from Shading and Motion
  • SfM Structure from Motion
  • the modeling unit may extract each model based on a shape from shading and motion (SfSM) and structure from motion (SfM) algorithm, and generate the 3D model by combining the respective models.
  • SfSM shape from shading and motion
  • SfM structure from motion
  • the modeling unit may improve a surface image of the 3D model by reapplying Shape from Shading and Motion (SfSM) and Structure from Motion (SfM) algorithms to the 3D model generated by combining the respective models.
  • SfSM Shading and Motion
  • SfM Structure from Motion
  • the image analysis unit may generate the discrimination model trained based on a predetermined image discrimination algorithm using learning data labeled with a class of disease location and disease information in a frame of an image of a stomach image. .
  • the predetermined image discrimination algorithm may include Inception ResNet V2 or DenseNet.
  • the image analyzer may distribute the learning data into a training set and a test set according to a predetermined ratio and improve the accuracy of the discrimination model based on a K-fold cross validation algorithm.
  • the location of the disease may be labeled based on a bounding box specifying the location and area of the disease.
  • the disease information includes at least a first class for specifying the type of disease including intestinal metaplasia or atrophic gastritis; and a second class that specifies at least the rate of progression of the disease or the risk of the disease, including the likelihood of gastric cancer.
  • the diagnostic unit may display the location, area, type, and risk of the determined disease on the 3D model.
  • diagnosis unit may display personal examination information of the patient in conjunction with a database of the patient whose stomach was photographed.
  • the individual checkup information may include a checkup period and number of checkups for each individual.
  • the diagnostic unit may calculate and display a ratio of the area of the determined disease to the surface area of the 3D model.
  • a method for diagnosing a gastrointestinal disease performed by an apparatus for diagnosing a gastrointestinal disease includes acquiring an image of a stomach; generating a 3D model of the stomach based on the image; discriminating disease information included in the image by inputting the image to a machine learning-based discrimination model that determines gastrointestinal disease information; and displaying the determined disease information on the 3D model.
  • the image includes a plurality of frames specifying the camouflage of a predetermined point
  • the generating of the 3D model reflects the shape or structure of the camouflage from the plurality of frames based on a predetermined 3D modeling algorithm.
  • a step of generating the 3D model may be included.
  • the predetermined 3D modeling algorithm may include a Shape from Shading and Motion (SfSM) or Structure from Motion (SfM) algorithm.
  • SfSM Shape from Shading and Motion
  • SfM Structure from Motion
  • the step of generating the 3D model extracts each model based on SfSM (Shape from Shading and Motion) and SfM (Structure from Motion) algorithms, and generates the 3D model by combining the respective models. steps may be included.
  • SfSM Shape from Shading and Motion
  • SfM Structure from Motion
  • SfSM Shape from Shading and Motion
  • SfM Structure from Motion
  • the determining step is the step of generating the discrimination model trained based on a predetermined image discrimination algorithm using learning data labeled with the location of the disease and the class for information about the disease in a frame of a photographed image of the stomach.
  • the predetermined image discrimination algorithm may include Inception ResNet V2 or DenseNet.
  • the determining step includes distributing the learning data into a training set and a test set according to a predetermined ratio and improving the accuracy of the discrimination model based on a K-fold Cross Validation algorithm.
  • the location of the disease may be labeled based on a bounding box specifying the location and area of the disease.
  • the disease information includes at least a first class for specifying the type of disease including intestinal metaplasia or atrophic gastritis; and a second class that specifies at least the rate of progression of the disease or the risk of the disease, including the likelihood of gastric cancer.
  • the displaying may include displaying the location, area, type, and risk of the determined disease on the 3D model.
  • the displaying may include displaying personal checkup information of the patient in conjunction with a database of the patient whose stomach was photographed.
  • the individual checkup information may include a checkup period and number of checkups for each individual.
  • the displaying may include calculating and displaying a ratio of the area of the determined disease to the surface area of the 3D model.
  • the present invention it is possible to increase the early detection rate of gastric cancer and reduce unnecessary screening tests by determining the risk of gastric cancer, intuitively displaying such disease information, and presenting the period and number of examinations for each individual.
  • it can be interlocked using an image of an existing endoscope system, it can be applied to all endoscope systems, which can be of great help in the prevention and early detection of gastric cancer.
  • FIG. 1 is a diagram showing the configuration of an artificial intelligence-based gastrointestinal disease diagnosis apparatus according to an embodiment.
  • 2A to 2F are exemplary diagrams of extracting a plurality of frames specifying a camouflage at a preset point from an image of a camouflage photographed according to an embodiment.
  • 3 is an exemplary view in which a 3D model of the stomach is generated based on a photographed image of the stomach according to an embodiment.
  • 4 and 5 are exemplary views of determining disease information included in an image of a stomach, according to an embodiment.
  • 6 and 7 are exemplary diagrams in which disease information is displayed on a 3D model generated from a photographed image of the stomach according to an embodiment.
  • FIG. 8 is a flowchart illustrating operation steps of a diagnosis method performed by a diagnosis apparatus according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating steps of an operation of generating a 3D model from a photographed image of a stomach according to an embodiment.
  • FIG. 10 is a flowchart illustrating steps of generating a discrimination model for discriminating disease information from a photographed image of a stomach according to an embodiment.
  • FIG. 1 is a diagram showing the configuration of an artificial intelligence discrimination model and a gastrointestinal disease diagnosis device 100 based on 3D modeling (hereinafter, referred to as “diagnosis device 100”) according to an embodiment.
  • the diagnosis apparatus 100 of FIG. 1 may include an image processing unit 110 , a modeling unit 120 , an image analysis unit 130 and a diagnosis unit 140 . Overall operations of the diagnostic apparatus 100 may be performed by a memory for storing data and instructions and one or more processors, and the one or more processors may control functional blocks included in FIG. 1 to perform operations to be described later. . However, since the description of components of the diagnostic device 100 of FIG. 1 is only an example, the technical concept of the present invention is not limitedly interpreted by FIG. 1 . Hereinafter, operations of each component of the diagnosis apparatus 100 will be described with reference to FIGS. 2 to 7 , and detailed operations will be described in detail with reference to FIGS. 8 and 10 .
  • the image processing unit 110 may acquire an image of the stomach from an external device.
  • the image processing unit 110 may acquire an image of the stomach taken by an endoscope device or an image of the stomach taken from a database of a hospital.
  • FIG. 2 is an exemplary view of extracting a plurality of frames specifying a camouflage at a preset point from a camouflage photographed image according to an embodiment.
  • the image processing unit 110 may extract a plurality of frames specifying camouflage at a preset point from an image of camouflage.
  • the image processing unit 110 may specify a frame of an image in which a camouflage of a specific point is photographed at a predetermined angle, map point information (eg, FIGS. 2A to 2F ) to the corresponding frame, and store the mapped information.
  • the modeling unit 120 may generate a 3D model reflecting the camouflage shape or structure of the acquired image based on a 3D modeling algorithm using the acquired image (eg, frame).
  • 3 is an exemplary view in which a 3D model of the stomach is generated based on a photographed image of the stomach according to an embodiment.
  • the modeling unit 120 may generate a 3D model of camouflage based on a 3D modeling algorithm that generates a structure or shape of camouflage by combining point information mapped to a frame of an acquired image. .
  • a detailed operation of the modeling unit 120 will be described later along with FIGS. 8 and 9 .
  • the image analyzer 130 may determine disease information included in the image by inputting an image (eg, frame) to a machine learning-based discrimination model that determines gastrointestinal disease information.
  • 4 and 5 are exemplary views of determining disease information included in an image of a stomach, according to an embodiment.
  • the image analysis unit 130 uses a machine learning-based discrimination model to determine the location, area, type (ex. intestinal metaplasia or atrophic gastritis), risk (ex. .The rate of progression of the disease or the possibility of gastric cancer) can be determined.
  • a detailed operation of the image analyzer 130 will be described later along with FIGS. 8 and 10 .
  • the diagnosis unit 140 may display disease information determined by the image analysis unit 130 on the 3D model generated by the modeling unit 120 .
  • 6 and 7 are exemplary diagrams in which disease information is displayed on a 3D model generated from a photographed image of the stomach according to an embodiment.
  • the diagnostic unit 140 may display the location, area, type, and risk of the identified disease on a 3D model, and quantitatively store data displaying disease information on the 3D model. there is.
  • the diagnosis unit 140 may calculate a ratio of the area of the determined disease to the surface area of the 3D model and display the calculated ratio on the 3D model.
  • the diagnosis unit 140 may additionally display and output personal examination information retrieved from a database storing a record of a patient who has taken a stomach image on a 3D model.
  • the individual checkup information may include a checkup period and number of checkups for each individual.
  • FIG. 8 is a flowchart illustrating operation steps of a diagnosis method performed by the diagnosis apparatus 100 according to an exemplary embodiment. Each step of the method according to FIG. 8 may be performed by the diagnostic device 100 described with reference to FIG. 1 , and each step is described as follows.
  • the image processing unit 110 may obtain an endoscopic image.
  • the image processing unit 110 may obtain an endoscopic image of the stomach captured by the endoscope device in real time or may acquire a pre-stored endoscopic image linked to a database of a hospital.
  • the image processing unit 110 may extract a frame image from the endoscopic image.
  • the image processing unit 110 may extract a plurality of frame images specific to the stomach at a predetermined point from the endoscopic image.
  • the modeling unit 120 may generate a 3D model of the stomach based on a 3D modeling algorithm that generates a structure or shape of the stomach by combining frames of images.
  • the modeling unit 120 may generate a 3D model by combining models generated using different 3D modeling algorithms. A detailed operation of generating a 3D model by the modeling unit 120 will be described later along with FIG. 9 .
  • the image analyzer 130 may input the extracted frame image to a machine learning-based discrimination model for determining gastrointestinal disease information to determine gastrointestinal disease information included in the endoscopic image.
  • the image analysis unit 130 may generate a discrimination model based on a predetermined image discrimination algorithm using learning data in which the class of the disease location and disease information is labeled in the frame of the image taken by the stomach, and the generation The discriminant model can be saved. A detailed operation of generating the discrimination model by the image analyzer 130 will be described later along with FIG. 10 .
  • the diagnosis unit 140 may display, output, and store the disease information determined in step S1030 on the 3D model generated in step S1020.
  • the diagnosis unit 140 may additionally display and output personal examination information retrieved from a database storing a record of a patient whose stomach has been photographed on the 3D model.
  • FIG. 9 is a flowchart illustrating steps of an operation of generating a 3D model from a photographed image of a stomach according to an embodiment. Each step of the method according to FIG. 9 may be performed by the diagnostic device 100 described with reference to FIG. 1 , and each step is described as follows.
  • the image processing unit 110 may obtain an endoscopic image.
  • the image processing unit 110 may obtain an endoscopic image of the stomach captured by the endoscope device in real time or may acquire a pre-stored endoscopic image linked to a database of a hospital.
  • the image processing unit 110 may extract a frame image from the endoscopic image.
  • the image processing unit 110 may extract a plurality of frame images specific to the stomach at a predetermined point from the endoscopic image.
  • the modeling unit 120 may generate an SfSM model reflecting the shape or structure of camouflage from a plurality of frames based on a shape from shading and motion (SfSM) algorithm.
  • SfSM is a 3D modeling open source algorithm included in the programming library of openCV (Open Source Computer Vision).
  • openCV Open Source Computer Vision
  • SfSM is a shape extraction method using shading and motion, and can generate a SfSM model reflecting the shape or structure of camouflage from a plurality of frames.
  • the modeling unit 120 may generate an SfM model reflecting the shape or structure of camouflage from a plurality of frames based on a structure from motion (SfM) algorithm.
  • SfM Structure from Motion
  • SfM is a 3D modeling open source algorithm included in the programming library of openCV (Open Source Computer Vision).
  • openCV Open Source Computer Vision
  • SfM is a shape extraction method using motion, and can generate an SfM model reflecting the shape or structure of camouflage from a plurality of frames.
  • the modeling unit 120 may generate a prototype model combining the SfSM model generated in step S1023 and the SfM model generated in step S1024.
  • the modeling unit 120 may generate a 3D model with an improved surface image by re-applying the SfSM algorithm and the SfM algorithm to the prototype model generated in step S1025.
  • the modeling unit 120 may store the generated 3D model.
  • FIG. 10 is a flowchart illustrating steps of generating a discrimination model for discriminating disease information from a photographed image of a stomach according to an embodiment. Each step of the method according to FIG. 10 may be performed by the diagnostic device 100 described with reference to FIG. 1 , and each step is described as follows.
  • the image processing unit 110 may interoperate with a database in which an endoscopic image of the stomach and a record of disease information for the image are stored.
  • the database may be a hardware module including a storage space and may be a server capable of transmitting and receiving data in a cloud manner.
  • step S1032 the image processing unit 110 may acquire the endoscopic image of the database.
  • the image processing unit 110 may extract a frame image from the endoscopic image.
  • the image processing unit 110 may extract a plurality of frame images specific to the stomach at a predetermined point from the endoscopic image.
  • the image analyzer 130 may extract disease information to be used as a learning class of a discrimination model to be described later among recording disease information for the endoscopic image.
  • the learning class may include disease information (ex. intestinal metaplasia, atrophic gastritis, etc.) or disease risk (ex. disease progression rate, gastric cancer possibility, etc.).
  • the image analyzer 130 may label the frame extracted in step S1033 with a class for disease location and disease information in step S1034. For example, the image analyzer 130 may create a bounding box at the location of the disease included in the extracted frame, label a class specifying the location and area of the disease, and specify disease information in the corresponding bounding box. It is possible to label a first class that specifies the risk of the disease and a second class that specifies the risk of the disease.
  • step S1036 the image analysis unit 130 learns a discrimination model based on the Inception ResNet V2 or DenseNet algorithm by using learning data labeled with the location of the disease and the class for information about the disease in the frame of the image taken by the stomach. can make it
  • step S1037 the image analysis unit 130 distributes the learning data generated in step S1035 into a training set and a test set according to a predetermined ratio and performs a K-fold Cross Validation algorithm to determine the discrimination model.
  • the accuracy of the discrimination model can be improved by performing the optimization of
  • step S1038 the image analysis unit 130 may store the generated discrimination model.
  • the early detection rate of gastric cancer can be increased and unnecessary screening tests can be reduced by determining the risk of gastric cancer, intuitively displaying such disease information, and presenting the period and number of examinations for each individual.
  • it since it can be interlocked using an image of an existing endoscope system, it can be applied to all endoscope systems, which can be of great help in the prevention and early detection of gastric cancer.
  • embodiments of the present invention may be implemented through various means.
  • embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • the method according to the embodiments of the present invention includes one or more ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices) , Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, etc.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers, microcontrollers, microprocessors, etc.
  • the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above.
  • the software codes may be stored in a memory unit and driven by a processor.
  • the memory unit may be located inside or outside the processor and exchange data with the processor by various means known in the art.
  • the present invention diagnoses gastrointestinal disease information such as atrophic gastritis and intestinal metaplasia from endoscopic images based on an artificial intelligence discrimination model, and displays disease information in a 3D model that models the shape and structure of the stomach from endoscopic images in 3D.
  • gastrointestinal disease information such as atrophic gastritis and intestinal metaplasia
  • 3D modeling-based gastrointestinal disease diagnosis device that can quantify while intuitively presenting the progress rate and risk of gastrointestinal diseases such as atrophic gastritis and intestinal metaplasia. It is applicable to various industrial fields within the range of taking the same configuration as in the present invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Endocrinology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따른 위장 질환 진단 장치는 위장을 촬영한 영상을 획득하는 영상 처리부; 상기 영상을 기초로 상기 위장의 3차원 모델을 생성하는 모델링부; 위장의 질환 정보를 판별하는 머신러닝 기반의 판별 모델에 상기 영상을 입력하여 상기 영상에 포함된 질환 정보를 판별하는 영상 분석부; 및 상기 3차원 모델에 상기 판별된 질환 정보를 표시하는 진단부를 포함할 수 있다.

Description

인공지능 판별 모델과 3차원 모델링 기반의 위장 질환 진단 장치 및 방법
본 발명은 인공지능 판별 모델과 3차원 모델링 기반의 위장 질환 진단 장치 및 방법에 관한 것이다.
위암은 한국을 포함한 동아시아 국가에서 발병률이 매우 높은 암이지만, 수술적 절차 및 이를 보조하는 화학적 항암 치료법뿐만 아니라 조기 진단 방법에 대해서도 많은 진전을 이뤄왔다. 그럼에도, 위암은 여전히 세계적으로 성별을 불문하고 암으로 인한 사망 원인 중 매우 높은 순위를 차지하고 있으며, 위암 발병 및 종양 진행의 근본이 되는 정확한 기전은 아직 완전히 밝혀진 바가 없다.
한편, 지금까지 연구된 바에 따르면 위축성 위염과 장상피화생은 위암으로 이어질 수 있는 위험 인자이기 때문에, 현재는 의사가 직접 내시경 영상을 육안으로 확인하고 분석하여 이러한 위장 질환을 진단하고 있으나, 이에 대한 자동적인 분석과 정량적인 데이터 생성은 적극적으로 이뤄지지 않고 있는 실정이다.
따라서, 위축성 위염과 장상피화생에 대한 자동화된 분석과 정량적인 데이터 생성을 통해 개개인의 맞춤형 위암 위험도를 분석하고, 개개인의 위험도에 따른 맞춤형 정기 검진을 제공할 수 있는 기술이 요구된다.
(특허문헌 1) 한국 공개특허공보 제10-2012-0114895호: 내시경 장치 및 상기 내시경 장치의 영상 획득 방법
본 발명의 실시예가 해결하고자 하는 과제는 인공지능 판별 모델을 기초로 내시경 영상으로부터 위축성 위염과 장상피화생 등의 위장 질환 정보를 진단하고, 내시경 영상으로부터 위장의 모양과 구조를 3차원으로 모델링한 3차원 모델에 질환 정보를 표시한 데이터를 생성하는 기법을 통해, 위축성 위염 및 장상피화생 등과 같은 위장 질환의 진행 속도와 위험도를 직관적으로 제시하면서 정량화할 수 있는 기술을 제공하는 것이다.
다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.
일 실시예에 따른 위장 질환 진단 장치는 위장을 촬영한 영상을 획득하는 영상 처리부; 상기 영상을 기초로 상기 위장의 3차원 모델을 생성하는 모델링부; 위장의 질환 정보를 판별하는 머신러닝 기반의 판별 모델에 상기 영상을 입력하여 상기 영상에 포함된 질환 정보를 판별하는 영상 분석부; 및 상기 3차원 모델에 상기 판별된 질환 정보를 표시하는 진단부를 포함할 수 있다.
또한, 상기 영상은 기 설정된 지점의 위장을 특정한 복수 개의 프레임을 포함하고, 상기 모델링부는 소정의 3차원 모델링 알고리즘을 기초로 상기 복수의 프레임으로부터 상기 위장의 모양 또는 구조를 반영하는 상기 3차원 모델을 생성할 수 있다.
또한, 상기 소정의 3차원 모델링 알고리즘은 SfSM(Shape from Shading and Motion) 또는 SfM(Structure from Motion) 알고리즘을 포함할 수 있다.
또한, 상기 모델링부는 SfSM(Shape from Shading and Motion) 및 SfM(Structure from Motion) 알고리즘을 기초로 각각의 모델을 추출하고, 상기 각각의 모델을 조합하여 상기 3차원 모델을 생성할 수 있다.
또한, 상기 모델링부는 상기 각각의 모델을 조합하여 생성된 3차원 모델에 SfSM(Shape from Shading and Motion) 및 SfM(Structure from Motion) 알고리즘을 재적용하여 상기 3차원 모델의 표면 이미지를 개선할 수 있다.
또한, 상기 영상 분석부는 위장을 촬영한 영상의 프레임에 질환의 위치 및 질환의 정보에 대한 클래스가 레이블링된 학습 데이터를 이용하여 소정의 이미지 판별 알고리즘을 기초로 학습시킨 상기 판별 모델을 생성할 수 있다.
또한, 상기 소정의 이미지 판별 알고리즘은 Inception ResNet V2 또는 DenseNet을 포함할 수 있다.
또한, 상기 영상 분석부는 상기 학습 데이터를 소정 비율에 따라 훈련 세트(training set)과 테스트 세트(test set)로 분배하고 K-fold Cross Validation 알고리즘을 기초로 상기 판별 모델의 정확도를 개선할 수 있다.
또한, 상기 질환의 위치는 질환의 위치 및 면적을 특정하는 바운딩 박스를 기초로 레이블링될 수 있다.
또한, 상기 질환의 정보는 적어도 장상피화생 또는 위축성 위염을 포함하는 질환의 종류를 특정하는 제1 클래스; 및 적어도 질환의 진행 속도 또는 위암 가능성을 포함하는 질환의 위험도를 특정하는 제2 클래스를 포함할 수 있다.
또한, 상기 진단부는 상기 3차원 모델에 상기 판별된 질환의 위치, 면적, 종류 및 위험도를 표시할 수 있다.
또한, 상기 진단부는 상기 위장을 촬영한 환자의 데이터베이스와 연동하여 상기 환자의 개인 검진 정보를 연동하여 표시할 수 있다.
또한, 상기 개인 검진 정보는 개인별 검진 기간 및 검진 횟수를 포함할 수 있다.
또한, 상기 진단부는 상기 판별된 질환의 면적이 상기 3차원 모델의 표면적에서 차지하는 비율을 계산하여 표시할 수 있다.
일 실시예에 따른 위장 질환 진단 장치가 수행하는 위장 질환 진단 방법은 위장을 촬영한 영상을 획득하는 단계; 상기 영상을 기초로 상기 위장의 3차원 모델을 생성하는 단계; 위장의 질환 정보를 판별하는 머신러닝 기반의 판별 모델에 상기 영상을 입력하여 상기 영상에 포함된 질환 정보를 판별하는 단계; 및 상기 3차원 모델에 상기 판별된 질환 정보를 표시하는 단계를 포함할 수 있다.
또한, 상기 영상은 기 설정된 지점의 위장을 특정한 복수 개의 프레임을 포함하고 상기 3차원 모델을 생성하는 단계는 소정의 3차원 모델링 알고리즘을 기초로 상기 복수의 프레임으로부터 상기 위장의 모양 또는 구조를 반영하는 상기 3차원 모델을 생성하는 단계를 포함할 수 있다.
또한, 상기 소정의 3차원 모델링 알고리즘은 SfSM(Shape from Shading and Motion) 또는 SfM(Structure from Motion) 알고리즘을 포함할 수 있다.
또한, 상기 3차원 모델을 생성하는 단계는 SfSM(Shape from Shading and Motion) 및 SfM(Structure from Motion) 알고리즘을 기초로 각각의 모델을 추출하고, 상기 각각의 모델을 조합하여 상기 3차원 모델을 생성하는 단계를 포함할 수 있다.
또한, 상기 3차원 모델을 생성하는 단계는 상기 각각의 모델을 조합하여 생성된 3차원 모델에 SfSM(Shape from Shading and Motion) 및 SfM(Structure from Motion) 알고리즘을 재적용하여 상기 3차원 모델의 표면 이미지를 개선하는 단계를 포함할 수 있다.
또한, 상기 판별하는 단계는 위장을 촬영한 영상의 프레임에 질환의 위치 및 질환의 정보에 대한 클래스가 레이블링된 학습 데이터를 이용하여 소정의 이미지 판별 알고리즘을 기초로 학습시킨 상기 판별 모델을 생성하는 단계를 포함할 수 있다.
또한, 상기 소정의 이미지 판별 알고리즘은 Inception ResNet V2 또는 DenseNet을 포함할 수 있다.
또한, 상기 판별하는 단계는 상기 학습 데이터를 소정 비율에 따라 훈련 세트(training set)과 테스트 세트(test set)로 분배하고 K-fold Cross Validation 알고리즘을 기초로 상기 판별 모델의 정확도를 개선하는 단계를 포함할 수 있다.
또한, 상기 질환의 위치는 질환의 위치 및 면적을 특정하는 바운딩 박스를 기초로 레이블링될 수 있다.
또한, 상기 질환의 정보는 적어도 장상피화생 또는 위축성 위염을 포함하는 질환의 종류를 특정하는 제1 클래스; 및 적어도 질환의 진행 속도 또는 위암 가능성을 포함하는 질환의 위험도를 특정하는 제2 클래스를 포함할 수 있다.
또한, 상기 표시하는 단계는 상기 3차원 모델에 상기 판별된 질환의 위치, 면적, 종류 및 위험도를 표시하는 단계를 포함할 수 있다.
또한, 상기 표시하는 단계는 상기 위장을 촬영한 환자의 데이터베이스와 연동하여 상기 환자의 개인 검진 정보를 연동하여 표시하는 단계를 포함할 수 있다.
또한, 상기 개인 검진 정보는 개인별 검진 기간 및 검진 횟수를 포함할 수 있다.
또한, 상기 표시하는 단계는 상기 판별된 질환의 면적이 상기 3차원 모델의 표면적에서 차지하는 비율을 계산하여 표시하는 단계를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면, 위암의 위험도를 판별하고 이러한 질환 정보를 직관적으로 나타냄과 동시에, 개인별 검진 검사의 기간과 횟수를 제시함으로써, 위암의 조기 발견율을 증가시키고 불필요한 검진 검사를 줄일 수 있다. 또한, 기존 내시경 시스템의 영상을 사용하여 연동할 수 있으므로 모든 내시경 시스템에 적용이 가능하여, 위암의 예방과 조기 발견에 큰 도움이 될 수 있다.
본 발명의 실시예에 대한 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 일 실시예에 따른 인공지능 기반의 위장 질환 진단 장치의 구성을 도시한 도면이다.
도 2a 내지 도 2f는 일 실시예에 따라 위장을 촬영한 영상으로부터 기 설정된 지점의 위장을 특정한 복수 개의 프레임을 추출하는 예시도이다.
도 3은 일 실시예에 따라 위장을 촬영한 영상을 기초로 위장의 3차원 모델을 생성한 예시도이다.
도 4 및 도 5는 일 실시예에 따라 위장을 촬영한 영상에 포함된 질환 정보를 판별한 예시도이다.
도 6 및 도 7는 일 실시예에 따라 위장을 촬영한 영상으로부터 생성한 3차원 모델에 질환 정보를 표시한 예시도이다.
도 8은 일 실시예에 따른 진단 장치가 수행하는 진단 방법의 동작 단계를 도시한 흐름도이다.
도 9는 일 실시예에 따라 위장을 촬영한 영상으로부터 3차원 모델을 생성하는 동작의 단계를 도시한 흐름도이다.
도 10은 일 실시예에 따라 위장을 촬영한 영상으로부터 질환 정보를 판별하는 판별 모델을 생성하는 동작의 단계를 도시한 흐름도이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.
또한, 어떤 구성요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
나아가 어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다.
이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다.
도 1은 일 실시예에 따른 인공지능 판별 모델과 3차원 모델링 기반의 위장 질환 진단 장치(100)(이하, "진단 장치(100)"로 지칭)의 구성을 도시한 도면이다.
도 1의 진단 장치(100)는 영상 처리부(110), 모델링부(120), 영상 분석부(130) 및 진단부(140)를 포함할 수 있다. 진단 장치(100)는 데이터 및 명령어를 저장하는 메모리와, 하나 이상의 프로세서에 의해 전반적인 동작이 수행될 수 있고, 하나 이상의 프로세서는 도 1에 포함된 기능 블록들이 후술할 동작들을 수행하도록 제어할 수 있다. 다만, 도 1의 진단 장치(100)의 구성 요소에 대한 설명은 일 실시예에 불과하므로, 도 1에 의해 본 발명의 기술적 사상이 한정 해석되는 것은 아니다. 이하에서는, 도 2 내지 도 7을 참조하여 진단 장치(100)의 각 구성 요소의 동작에 대해 설명할 것이며, 보다 자세한 동작에 대해서는 도 8 및 도 10을 참조하여 구체적으로 설명하도록 한다.
영상 처리부(110)는 위장을 촬영한 영상을 외부 장치로부터 획득할 수 있다. 예를 들어, 영상 처리부(110)는 내시경 장치가 위장을 촬영한 영상을 획득하거나, 병원의 데이터베이스로부터 위장을 촬영한 영상을 획득할 수 있다.
도 2는 일 실시예에 따라 위장을 촬영한 영상으로부터 기 설정된 지점의 위장을 특정한 복수 개의 프레임을 추출하는 예시도이다.
도 2를 참조하면, 영상 처리부(110)는 위장을 촬영한 영상으로부터 기 설정된 지점의 위장을 특정한 복수 개의 프레임을 추출할 수 있다. 일 예로, 영상 처리부(110)는 소정의 각도에서 특정 지점의 위장이 촬영된 영상의 프레임을 특정하고 해당 프레임에 지점 정보(ex. 도 2a 내지 도 2f)를 매핑하여 저장할 수 있다.
모델링부(120)는 획득된 영상(ex. 프레임)을 이용하여 3차원 모델링 알고리즘을 기초로 획득된 영상의 위장 모양 또는 구조를 반영하는 3차원 모델을 생성할 수 있다.
도 3은 일 실시예에 따라 위장을 촬영한 영상을 기초로 위장의 3차원 모델을 생성한 예시도이다.
도 3을 참조하면, 모델링부(120)는 획득된 영상의 프레임에 매핑된 지점 정보를 조합하여 위장의 구조 또는 모양을 생성하는 3차원 모델링 알고리즘을 기초로 위장의 3차원 모델을 생성할 수 있다. 모델링부(120)의 구체적 동작은 이후 도 8 및 도 9와 함께 후술하기로 한다.
영상 분석부(130)는 위장의 질환 정보를 판별하는 머신러닝 기반의 판별 모델에 영상(ex. 프레임)을 입력하여 영상에 포함된 질환 정보를 판별할 수 있다.
도 4 및 도 5는 일 실시예에 따라 위장을 촬영한 영상에 포함된 질환 정보를 판별한 예시도이다.
도 4 및 도 5를 참조하면, 영상 분석부(130)는 머신러닝 기반의 판별 모델을 이용하여 프레임에 포함된 질환의 위치, 면적, 종류(ex. 장상피화생 또는 위축성 위염), 위험도(ex. 질환의 진행 속도 또는 위암 가능성)를 판별할 수 있다. 영상 분석부(130)의 구체적 동작은 이후 도 8 및 10과 함께 후술하기로 한다.
진단부(140)는 모델링부(120)가 생성한 3차원 모델에 영상 분석부(130)가 판별된 질환 정보를 표시할 수 있다.
도 6 및 도 7는 일 실시예에 따라 위장을 촬영한 영상으로부터 생성한 3차원 모델에 질환 정보를 표시한 예시도이다.
도 6 및 도 7를 참조하면, 진단부(140)는 3차원 모델에 판별된 질환의 위치, 면적, 종류 및 위험도를 표시할 수 있고, 3차원 모델에 질환 정보가 표시된 데이터를 정량적으로 저장할 수 있다. 일 예로, 진단부(140)는 판별된 질환의 면적이 3차원 모델의 표면적에서 차지하는 비율을 계산하여 3차원 모델에 표시할 수 있다. 일 예로, 진단부(140)는 위장을 촬영한 환자의 기록을 저장하는 데이터베이스로부터 검색된 개인 검진 정보를 3차원 모델에 추가로 표시하여 출력할 수 있다. 일 예로, 개인 검진 정보는 개인별 검진 기간 및 검진 횟수를 포함할 수 있다.
도 8은 일 실시예에 따른 진단 장치(100)가 수행하는 진단 방법의 동작 단계를 도시한 흐름도이다. 도 8에 따른 방법의 각 단계는 도 1을 통해 설명된 진단 장치(100)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.
S1010 단계에서, 영상 처리부(110)는 내시경 영상을 획득할 수 있다. 예를 들어, 영상 처리부(110)는 내시경 장치가 위장을 실시간으로 촬영한 내시경 영상을 획득하거나, 병원의 데이터베이스와 연동되어 기 저장된 내시경 영상을 획득할 수 있다.
S1011 단계에서, 영상 처리부(110)는 내시경 영상으로부터 프레임 이미지를 추출할 수 있다. 영상 처리부(110)는 내시경 영상으로부터 기 설정된 지점의 위장을 특정한 복수 개의 프레임 이미지를 추출할 수 있다.
S1020 단계에서, 모델링부(120)는 영상의 프레임을 조합하여 위장의 구조 또는 모양을 생성하는 3차원 모델링 알고리즘을 기초로 위장의 3차원 모델을 생성할 수 있다. 모델링부(120)는 서로 다른 3차원 모델링 알고리즘을 사용하여 생성된 각 모델을 조합하여 3차원 모델을 생성할 수 있다. 모델링부(120)가 3차원 모델을 생성하는 구체적 동작은 도 9와 함께 후술하기로 한다.
S1030 단계에서, 영상 분석부(130)는 위장의 질환 정보를 판별하는 머신러닝 기반의 판별 모델에 추출된 프레임 이미지를 입력하여 내시경 영상에 포함된 위장의 질환 정보를 판별할 수 있다. 영상 분석부(130)는 위장을 촬영한 영상의 프레임에 질환의 위치 및 질환의 정보에 대한 클래스가 레이블링된 학습 데이터를 이용하여 소정의 이미지 판별 알고리즘을 기초로 판별 모델을 생성할 수 있고, 생성된 판별 모델을 저장할 수 있다. 영상 분석부(130)가 판별 모델을 생성하는 구체적 동작은 도 10과 함께 후술하기로 한다.
S1040 단계에서, 진단부(140)는 S1020 단계에서 생성된 3차원 모델에 S1030 단계에서 판별된 질환 정보를 표시하여 출력 및 저장할 수 있다.
S1041 단계에서, 진단부(140)는 위장을 촬영한 환자의 기록을 저장하는 데이터베이스로부터 검색된 개인 검진 정보를 3차원 모델에 추가로 표시하여 출력할 수 있다.
상술한 도 8의 흐름도에 따른 방법은 일 실시예에 불과하므로 도 8에 의해 본 발명의 사상이 한정 해석되는 것은 아니며, 도 8에 도시된 방법의 각 단계는 경우에 따라 도면과 그 순서를 달리하여 수행될 수 있다. 도 8의 내용 중 도 1 내지 7과 중복되는 내용에 대해서는 설명을 생략한다.
도 9는 일 실시예에 따라 위장을 촬영한 영상으로부터 3차원 모델을 생성하는 동작의 단계를 도시한 흐름도이다. 도 9에 따른 방법의 각 단계는 도 1을 통해 설명된 진단 장치(100)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.
S1021 단계에서, 영상 처리부(110)는 내시경 영상을 획득할 수 있다. 예를 들어, 영상 처리부(110)는 내시경 장치가 위장을 실시간으로 촬영한 내시경 영상을 획득하거나, 병원의 데이터베이스와 연동되어 기 저장된 내시경 영상을 획득할 수 있다.
S1022 단계에서, 영상 처리부(110)는 내시경 영상으로부터 프레임 이미지를 추출할 수 있다. 영상 처리부(110)는 내시경 영상으로부터 기 설정된 지점의 위장을 특정한 복수 개의 프레임 이미지를 추출할 수 있다.
S1023 단계에서, 모델링부(120)는 SfSM(Shape from Shading and Motion)알고리즘을 기초로 복수의 프레임으로부터 위장의 모양 또는 구조를 반영하는 SfSM 모델을 생성할 수 있다. SfSM은 openCV(Open Source Computer Vision)의 프로그래밍 라이브러리에 포함된 3차원 모델링 오픈소스 알고리즘이다. 예를 들어, SfSM은 명암(shading)과 움직임(motion)을 이용한 모양 추출 방식으로써, 복수의 프레임으로부터 위장의 모양 또는 구조를 반영하는 SfSM 모델을 생성할 수 있다.
S1024 단계에서, 모델링부(120)는 SfM(Structure from Motion) 알고리즘을 기초로 복수의 프레임으로부터 위장의 모양 또는 구조를 반영하는 SfM 모델을 생성할 수 있다. SfM(Structure from Motion)은 openCV(Open Source Computer Vision)의 프로그래밍 라이브러리에 포함된 3차원 모델링 오픈소스 알고리즘이다. 예를 들어, SfM은 움직임(motion)을 이용한 모양 추출 방식으로써, 복수의 프레임으로부터 위장의 모양 또는 구조를 반영하는 SfM 모델을 생성할 수 있다.
S1025 단계에서, 모델링부(120)는 S1023 단계에서 생성된 SfSM 모델과, S1024 단계에서 생성된 SfM 모델을 조합한 프로토타입 모델을 생성할 수 있다.
S1026 단계에서, 모델링부(120)는 S1025 단계에서 생성된 프로토타입 모델에 SfSM 알고리즘 및 SfM 알고리즘을 재적용하여 표면 이미지가 개선된 3차원 모델을 생성할 수 있다.
S1027 단계에서, 모델링부(120)는 생성된 3차원 모델을 저장할 수 있다.
상술한 도 9의 흐름도에 따른 방법은 일 실시예에 불과하므로 도 9에 의해 본 발명의 사상이 한정 해석되는 것은 아니며, 도 9에 도시된 방법의 각 단계는 경우에 따라 도면과 그 순서를 달리하여 수행될 수 있다. 도 9의 내용 중 도 1 내지 8과 중복되는 내용에 대해서는 설명을 생략한다.
도 10은 일 실시예에 따라 위장을 촬영한 영상으로부터 질환 정보를 판별하는 판별 모델을 생성하는 동작의 단계를 도시한 흐름도이다. 도 10에 따른 방법의 각 단계는 도 1을 통해 설명된 진단 장치(100)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.
S1031 단계에서, 영상 처리부(110)는 위장을 촬영한 내시경 영상 및 상기 영상에 대한 질환 정보 기록이 저장된 데이터베이스와 연동될 수 있다. 예를 들어, 데이터베이스는 저장 공간을 포함하는 하드웨어 모듈일 수 있고, 클라우드 방식으로 데이터를 송수신할 수 있는 서버일 수 있다.
S1032 단계에서, 영상 처리부(110)는 데이터베이스의 내시경 영상을 획득할 수 있다.
S1033 단계에서, 영상 처리부(110)는 내시경 영상으로부터 프레임 이미지를 추출할 수 있다. 영상 처리부(110)는 내시경 영상으로부터 기 설정된 지점의 위장을 특정한 복수 개의 프레임 이미지를 추출할 수 있다.
S1034 단계에서, 영상 분석부(130)는 내시경 영상에 대한 질환 정보 기록 중 후술할 판별 모델의 학습 클래스로 사용할 질환 정보를 추출할 수 있다. 예를 들어, 학습의 클래스는 질환 정보(ex. 장상피화생, 위축성 위염 등) 또는 질환의 위험도(ex. 질환의 진행 속도, 위암 가능성 등)를 포함할 수 있다.
S1035 단계에서, 영상 분석부(130)는 S1033 단계에서 추출한 프레임에, S1034 단계에서 질환의 위치 및 질환의 정보에 대한 클래스를 레이블링할 수 있다. 예를 들어, 영상 분석부(130)는, 추출된 프레임에 포함된 질환의 위치에 바운딩 박스를 생성하여 질환의 위치 및 면적을 특정하는 클래스를 레이블링 할 수 있고, 해당 바운딩 박스에 질환 정보를 특정하는 제1 클래스 및 질환의 위험도를 특정하는 제2 클래스를 레이블링 할 수 있다.
S1036 단계에서, 영상 분석부(130)는 위장을 촬영한 영상의 프레임에 질환의 위치 및 질환의 정보에 대한 클래스가 레이블링된 학습 데이터를 이용하여 Inception ResNet V2 또는 DenseNet 알고리즘을 기초로 판별 모델을 학습시킬 수 있다.
S1037 단계에서, 영상 분석부(130)는 S1035 단계에서 생성된 학습 데이터를 소정 비율에 따라 훈련 세트(training set)과 테스트 세트(test set)로 분배하고 K-fold Cross Validation 알고리즘을 함으로써, 판별 모델의 최적화 작업을 수행하여 판별 모델의 정확도를 개선시킬 수 있다.
S1038 단계에서, 영상 분석부(130)는 생성된 판별 모델을 저장할 수 있다.
상술한 도 10의 흐름도에 따른 방법은 일 실시예에 불과하므로 도 10에 의해 본 발명의 사상이 한정 해석되는 것은 아니며, 도 10에 도시된 방법의 각 단계는 경우에 따라 도면과 그 순서를 달리하여 수행될 수 있다. 도 10의 내용 중 도 1 내지 9와 중복되는 내용에 대해서는 설명을 생략한다.
상술한 실시예에 따르면, 위암의 위험도를 판별하고 이러한 질환 정보를 직관적으로 나타냄과 동시에, 개인별 검진 검사의 기간과 횟수를 제시함으로써, 위암의 조기 발견율을 증가시키고 불필요한 검진 검사를 줄일 수 있다. 또한, 기존 내시경 시스템의 영상을 사용하여 연동할 수 있으므로 모든 내시경 시스템에 적용이 가능하여, 위암의 예방과 조기 발견에 큰 도움이 될 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 인공지능 판별 모델을 기초로 내시경 영상으로부터 위축성 위염과 장상피화생 등의 위장 질환 정보를 진단하고, 내시경 영상으로부터 위장의 모양과 구조를 3차원으로 모델링한 3차원 모델에 질환 정보를 표시한 데이터를 생성하는 기법을 통해, 위축성 위염 및 장상피화생 등과 같은 위장 질환의 진행 속도와 위험도를 직관적으로 제시하면서 정량화할 수 있는 인공지능 판별 모델과 3차원 모델링 기반의 위장 질환 진단 장치로 구현되었으나 본 발명에서와 같은 구성을 취하는 범위에서 다양한 산업 분야에 적용 가능하다.

Claims (29)

  1. 위장을 촬영한 영상을 획득하는 영상 처리부;
    상기 영상을 기초로 상기 위장의 3차원 모델을 생성하는 모델링부;
    위장의 질환 정보를 판별하는 머신러닝 기반의 판별 모델에 상기 영상을 입력하여 상기 영상에 포함된 질환 정보를 판별하는 영상 분석부; 및
    상기 3차원 모델에 상기 판별된 질환 정보를 표시하는 진단부를 포함하는,
    위장 질환 진단 장치.
  2. 제1항에 있어서,
    상기 영상은,
    기 설정된 지점의 위장을 특정한 복수 개의 프레임을 포함하고,
    상기 모델링부는,
    소정의 3차원 모델링 알고리즘을 기초로 상기 복수의 프레임으로부터 상기 위장의 모양 또는 구조를 반영하는 상기 3차원 모델을 생성하는,
    위장 질환 진단 장치.
  3. 제2항에 있어서,
    상기 소정의 3차원 모델링 알고리즘은,
    SfSM(Shape from Shading and Motion) 또는 SfM(Structure from Motion) 알고리즘을 포함하는,
    위장 질환 진단 장치.
  4. 제3항에 있어서,
    상기 모델링부는,
    SfSM(Shape from Shading and Motion) 및 SfM(Structure from Motion) 알고리즘을 기초로 각각의 모델을 추출하고, 상기 각각의 모델을 조합하여 상기 3차원 모델을 생성하는,
    위장 질환 진단 장치.
  5. 제4항에 있어서,
    상기 모델링부는,
    상기 각각의 모델을 조합하여 생성된 3차원 모델에 SfSM(Shape from Shading and Motion) 및 SfM(Structure from Motion) 알고리즘을 재적용하여 상기 3차원 모델의 표면 이미지를 개선하는,
    위장 질환 진단 장치.
  6. 제1항에 있어서,
    상기 영상 분석부는,
    위장을 촬영한 영상의 프레임에 질환의 위치 및 질환의 정보에 대한 클래스가 레이블링된 학습 데이터를 이용하여 소정의 이미지 판별 알고리즘을 기초로 학습시킨 상기 판별 모델을 생성하는,
    위장 질환 진단 장치.
  7. 제6항에 있어서,
    상기 소정의 이미지 판별 알고리즘은,
    Inception ResNet V2 또는 DenseNet을 포함하는,
    위장 질환 진단 장치.
  8. 제7항에 있어서,
    상기 영상 분석부는,
    상기 학습 데이터를 소정 비율에 따라 훈련 세트(training set)과 테스트 세트(test set)로 분배하고 K-fold Cross Validation 알고리즘을 기초로 상기 판별 모델의 정확도를 개선하는,
    위장 질환 진단 장치.
  9. 제6항에 있어서,
    상기 질환의 위치는,
    질환의 위치 및 면적을 특정하는 바운딩 박스를 기초로 레이블링되는,
    위장 질환 진단 장치.
  10. 제6항에 있어서,
    상기 질환의 정보는,
    적어도 장상피화생 또는 위축성 위염을 포함하는 질환의 종류를 특정하는 제1 클래스; 및
    적어도 질환의 진행 속도 또는 위암 가능성을 포함하는 질환의 위험도를 특정하는 제2 클래스를 포함하는,
    위장 질환 진단 장치.
  11. 제1항에 있어서,
    상기 진단부는,
    상기 3차원 모델에 상기 판별된 질환의 위치, 면적, 종류 및 위험도를 표시하는,
    위장 질환 진단 장치.
  12. 제11항에 있어서,
    상기 진단부는,
    상기 위장을 촬영한 환자의 데이터베이스와 연동하여 상기 환자의 개인 검진 정보를 연동하여 표시하는,
    위장 질환 진단 장치.
  13. 제12항에 있어서,
    상기 개인 검진 정보는,
    개인별 검진 기간 및 검진 횟수를 포함하는,
    위장 질환 진단 장치.
  14. 제11항에 있어서,
    상기 진단부는,
    상기 판별된 질환의 면적이 상기 3차원 모델의 표면적에서 차지하는 비율을 계산하여 표시하는,
    위장 질환 진단 장치.
  15. 위장 질환 진단 장치가 수행하는 위장 질환 진단 방법에 있어서,
    위장을 촬영한 영상을 획득하는 단계;
    상기 영상을 기초로 상기 위장의 3차원 모델을 생성하는 단계;
    위장의 질환 정보를 판별하는 머신러닝 기반의 판별 모델에 상기 영상을 입력하여 상기 영상에 포함된 질환 정보를 판별하는 단계; 및
    상기 3차원 모델에 상기 판별된 질환 정보를 표시하는 단계를 포함하는,
    위장 질환 진단 방법.
  16. 제15항에 있어서,
    상기 영상은,
    기 설정된 지점의 위장을 특정한 복수 개의 프레임을 포함하고,
    상기 3차원 모델을 생성하는 단계는,
    소정의 3차원 모델링 알고리즘을 기초로 상기 복수의 프레임으로부터 상기 위장의 모양 또는 구조를 반영하는 상기 3차원 모델을 생성하는 단계를 포함하는,
    위장 질환 진단 방법.
  17. 제16항에 있어서,
    상기 소정의 3차원 모델링 알고리즘은,
    SfSM(Shape from Shading and Motion) 또는 SfM(Structure from Motion) 알고리즘을 포함하는,
    위장 질환 진단 방법.
  18. 제17항에 있어서,
    상기 3차원 모델을 생성하는 단계는,
    SfSM(Shape from Shading and Motion) 및 SfM(Structure from Motion) 알고리즘을 기초로 각각의 모델을 추출하고, 상기 각각의 모델을 조합하여 상기 3차원 모델을 생성하는 단계를 포함하는,
    위장 질환 진단 방법.
  19. 제18항에 있어서,
    상기 3차원 모델을 생성하는 단계는,
    상기 각각의 모델을 조합하여 생성된 3차원 모델에 SfSM(Shape from Shading and Motion) 및 SfM(Structure from Motion) 알고리즘을 재적용하여 상기 3차원 모델의 표면 이미지를 개선하는 단계를 포함하는,
    위장 질환 진단 방법.
  20. 제15항에 있어서,
    상기 판별하는 단계는,
    위장을 촬영한 영상의 프레임에 질환의 위치 및 질환의 정보에 대한 클래스가 레이블링된 학습 데이터를 이용하여 소정의 이미지 판별 알고리즘을 기초로 학습시킨 상기 판별 모델을 생성하는 단계를 포함하는,
    위장 질환 진단 방법.
  21. 제20항에 있어서,
    상기 소정의 이미지 판별 알고리즘은,
    Inception ResNet V2 또는 DenseNet을 포함하는,
    위장 질환 진단 방법.
  22. 제21항에 있어서,
    상기 판별하는 단계는,
    상기 학습 데이터를 소정 비율에 따라 훈련 세트(training set)과 테스트 세트(test set)로 분배하고 K-fold Cross Validation 알고리즘을 기초로 상기 판별 모델의 정확도를 개선하는 단계를 포함하는,
    위장 질환 진단 방법.
  23. 제20항에 있어서,
    상기 질환의 위치는,
    질환의 위치 및 면적을 특정하는 바운딩 박스를 기초로 레이블링되는,
    위장 질환 진단 방법.
  24. 제20항에 있어서,
    상기 질환의 정보는,
    적어도 장상피화생 또는 위축성 위염을 포함하는 질환의 종류를 특정하는 제1 클래스; 및
    적어도 질환의 진행 속도 또는 위암 가능성을 포함하는 질환의 위험도를 특정하는 제2 클래스를 포함하는,
    위장 질환 진단 방법.
  25. 제15항에 있어서,
    상기 표시하는 단계는,
    상기 3차원 모델에 상기 판별된 질환의 위치, 면적, 종류 및 위험도를 표시하는 단계를 포함하는,
    위장 질환 진단 방법.
  26. 제25항에 있어서,
    상기 표시하는 단계는,
    상기 위장을 촬영한 환자의 데이터베이스와 연동하여 상기 환자의 개인 검진 정보를 연동하여 표시하는 단계를 포함하는,
    위장 질환 진단 방법.
  27. 제26항에 있어서,
    상기 개인 검진 정보는,
    개인별 검진 기간 및 검진 횟수를 포함하는,
    위장 질환 진단 방법.
  28. 제25항에 있어서,
    상기 표시하는 단계는,
    상기 판별된 질환의 면적이 상기 3차원 모델의 표면적에서 차지하는 비율을 계산하여 표시하는 단계를 포함하는,
    위장 질환 진단 방법.
  29. 제15항 내지 제28항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
PCT/KR2022/016521 2021-11-16 2022-10-27 인공지능 판별 모델과 3차원 모델링 기반의 위장 질환 진단 장치 및 방법 WO2023090681A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210157948A KR20230071913A (ko) 2021-11-16 2021-11-16 인공지능 판별 모델과 3차원 모델링 기반의 위장 질환 진단 장치 및 방법
KR10-2021-0157948 2021-11-16

Publications (1)

Publication Number Publication Date
WO2023090681A1 true WO2023090681A1 (ko) 2023-05-25

Family

ID=86397301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016521 WO2023090681A1 (ko) 2021-11-16 2022-10-27 인공지능 판별 모델과 3차원 모델링 기반의 위장 질환 진단 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20230071913A (ko)
WO (1) WO2023090681A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10234663A (ja) * 1997-02-27 1998-09-08 Toshiba Corp 画像処理装置
JP2017500179A (ja) * 2013-12-05 2017-01-05 イントリンシック・メディカル・イメージング・リミテッド・ライアビリティ・カンパニーＩｎｔｒｉｎｓｉｃ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ Ｌｌｃ 狭窄マッピングによって狭窄重症度を評価するための方法
JP2020078539A (ja) * 2018-06-22 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
KR102132566B1 (ko) * 2019-10-24 2020-07-10 주식회사 딥노이드 병변 판독 장치 및 방법
KR102241312B1 (ko) * 2019-02-20 2021-04-16 주식회사 메디픽셀 머신러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120114895A (ko) 2011-04-08 2012-10-17 삼성전자주식회사 내시경 장치 및 상기 내시경 장치의 영상 획득 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10234663A (ja) * 1997-02-27 1998-09-08 Toshiba Corp 画像処理装置
JP2017500179A (ja) * 2013-12-05 2017-01-05 イントリンシック・メディカル・イメージング・リミテッド・ライアビリティ・カンパニーＩｎｔｒｉｎｓｉｃ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ Ｌｌｃ 狭窄マッピングによって狭窄重症度を評価するための方法
JP2020078539A (ja) * 2018-06-22 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
KR102241312B1 (ko) * 2019-02-20 2021-04-16 주식회사 메디픽셀 머신러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법
KR102132566B1 (ko) * 2019-10-24 2020-07-10 주식회사 딥노이드 병변 판독 장치 및 방법

Also Published As

Publication number Publication date
KR20230071913A (ko) 2023-05-24

Similar Documents

Publication Publication Date Title
WO2020207377A1 (zh) 一种图像识别模型训练及图像识别方法、装置及系统
Min et al. Overview of deep learning in gastrointestinal endoscopy
WO2019143177A1 (ko) 일련의 슬라이스 영상을 재구성하는 방법 및 이를 이용한 장치
WO2015108236A1 (ko) 요약 영상 브라우징 시스템 및 방법
WO2014208971A1 (en) Ultrasound image display method and apparatus
WO2017051943A1 (ko) 영상 생성 방법 및 장치, 및 영상 분석 방법
WO2021034138A1 (ko) 치매 평가 방법 및 이를 이용한 장치
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
WO2019143021A1 (ko) 영상의 열람을 지원하는 방법 및 이를 이용한 장치
WO2021075826A1 (ko) 생체 추출 데이터를 전처리하여 질병을 진단하는 방법 및 그를 위한 장치
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
Laiz et al. WCE polyp detection with triplet based embeddings
WO2021137454A1 (ko) 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템
WO2019143179A1 (ko) 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
WO2021230534A1 (ko) 안와 및 안와주변 병변 예측 장치 및 그 예측 방법
WO2022231329A1 (ko) 생체 이미지 조직 표시 방법 및 장치
WO2023090681A1 (ko) 인공지능 판별 모델과 3차원 모델링 기반의 위장 질환 진단 장치 및 방법
WO2023095989A1 (ko) 뇌질환 진단을 위한 다중 모달리티 의료 영상 분석 방법 및 장치
WO2016085236A1 (ko) 갑상선암 자동 판별 방법 및 시스템
WO2020246676A1 (ko) 자궁경부암 자동 진단 시스템
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2023075303A1 (ko) 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
WO2023027248A1 (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
WO2022145988A1 (ko) 인공지능을 이용한 안면부 골절 판독 장치 및 방법
WO2021015490A2 (ko) 이미지의 특이 영역 분석 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895889

Country of ref document: EP

Kind code of ref document: A1