WO2023033266A1 - 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법 - Google Patents

이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법 Download PDF

Info

Publication number
WO2023033266A1
WO2023033266A1 PCT/KR2022/000434 KR2022000434W WO2023033266A1 WO 2023033266 A1 WO2023033266 A1 WO 2023033266A1 KR 2022000434 W KR2022000434 W KR 2022000434W WO 2023033266 A1 WO2023033266 A1 WO 2023033266A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
disease
capsule endoscope
image
condition
Prior art date
Application number
PCT/KR2022/000434
Other languages
English (en)
French (fr)
Inventor
임윤정
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Publication of WO2023033266A1 publication Critical patent/WO2023033266A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Definitions

  • the present invention relates to medical diagnosis technology using artificial intelligence, and more particularly, to a method and system for providing condition information using a domain adaptation technique between heterogeneous capsule endoscopes.
  • 1 is a diagram illustrating a disease information providing system using a capsule endoscope. 1 shows two disease information providing systems 10 and 20. The system 10 on the left and the system 20 on the right use different types of capsule endoscopes.
  • capsule endoscope #1 (11) used in the disease information providing system #1 (10) shown on the left is a model manufactured/sold by Company A, and in the disease information providing system #2 (20) shown on the right
  • the capsule endoscope #2 (21) used is a model manufactured/sold by company B.
  • capsule endoscope images acquired by capsule endoscope #1 (11) are stored in DB #1 (12).
  • the medical staff uses their own terminal 14 to annotate the symptoms information, which is their diagnosis results, on the capsule endoscope images stored in DB #1 12.
  • capsule endoscopy images and condition information are stored as data sets in DB #1 (12).
  • the condition recognition model #1 (13) is an artificial intelligence model learned to predict condition information by receiving capsule endoscopy images stored in DB #1 (12).
  • the disease recognition model #1 (13) can automatically predict the disease by analyzing the input of a new capsule endoscope.
  • capsule endoscope images secured by capsule endoscope #2 (21) are stored in DB #2 (22). Then, the medical staff uses their own terminal 24 to annotate the symptoms information, which is their own diagnosis results, on the capsule endoscope images stored in DB # 2 22 .
  • capsule endoscopy images and condition information are also stored as data sets in DB #2 (22).
  • the condition recognition model #2 (23) is an artificial intelligence model learned to predict condition information by receiving the capsule endoscopy images stored in DB #2 (22).
  • the disease recognition model #2 (23) can automatically predict the disease by analyzing the input of a new capsule endoscope.
  • condition recognition model #1 (13) learned only the capsule endoscope images obtained through capsule endoscope #1 (11), as shown in FIG. 2, the capsule endoscope obtained through capsule endoscope #2 (21) When an image is input, the accuracy of disease prediction is very low.
  • condition recognition model #2 (23).
  • the disease recognition model #2 (23) also has very low accuracy in predicting the disease when the capsule endoscope image secured by the capsule endoscope #1 (11) is input.
  • capsule endoscopy images secured by capsule endoscope #2(21), which are capsule endoscopy images stored in DB #2(22), are capsule endoscopy images stored in DB #1(12), which trained condition recognition model #1(13). It is very different in many ways from the capsule endoscopy images obtained with capsule endoscope #1(11). As a result, the condition recognition model #1 (13) can have higher performance than before for DB #2 (22), but high performance cannot be expected, and performance for DB #1 (12) will be lower than before. can
  • condition recognition model #2 (23). That is, as shown in FIG. 5, the learning effect is not as good as expected when the condition recognition model #2 (23) is retrained with the data set of capsule endoscopy images and condition information stored in DB #1 (12). .
  • the present invention has been devised to solve the above problems, and an object of the present invention is to learn disease recognition models by domain adaptation between heterogeneous capsule endoscopes in a state in which heterogeneous capsule endoscopy databases are constructed, thereby improving the pathology of disease recognition. It is to provide a way to improve range and accuracy.
  • One aspect of the present invention includes the steps of analyzing a first medical image and converting it into a second medical image by a cycle GAN; and predicting the condition by analyzing the first medical image converted by the condition recognition model.
  • the cycle GAN reduces the loss between the first medical image obtained by inversely transforming the transformed first medical image and the first medical image, and the loss between the condition predicted by the condition recognition model and the GT (Ground Truth) condition. It can be learned in a direction.
  • the condition recognition model is first trained to predict a condition by receiving a second medical image, and is second trained to predict a condition by receiving a first medical image converted by cycle GAN. it could be
  • the second learning of the condition recognition model may be performed later than the first learning of the condition recognition model.
  • learning of the cycle GAN and second learning of the condition recognition model may be performed together.
  • the first medical image is a capsule endoscope image collected using a first type capsule endoscope
  • the second medical image is a capsule endoscope image collected using a second type capsule endoscope.
  • the first medical image is a capsule endoscope image collected using a first type capsule endoscope at a first medical institution
  • the second medical image is a first type capsule endoscope at a second medical institution. It may be a capsule endoscopy image collected using .
  • the method may further include preprocessing the first medical image, and the converting step may include analyzing the preprocessed first medical image and converting the preprocessed first medical image into a second medical image.
  • the preprocessing step may match the shadow area and resolution of the first medical image with that of the second medical image.
  • a cycle GAN analyzes a first medical image and converts it into a second medical image; and a disease recognition model that predicts a disease by analyzing the converted first medical image.
  • Pre-processing the first medical image in one aspect of the present invention and analyzing the preprocessed first medical image by cycle GAN and converting the preprocessed first medical image into a second medical image.
  • Pre-processing the first medical image in one aspect of the present invention and analyzing the preprocessed first medical image by cycle GAN and converting the preprocessed first medical image into a second medical image.
  • disease recognition models are learned by domain adaptation between heterogeneous capsule endoscopes, and even when a disease recognition model developed through a capsule endoscope of one type is used for another type, a high level of performance is achieved. recognition performance.
  • capsule endoscopy between different types not only capsule endoscopy between different types, but also hospitals in which the type of patient's disease, the setting of the capsule endoscope, and the storage method of capsule endoscope data are different for each hospital, even if the capsule endoscope is of the same type.
  • it is possible to secure high condition recognition performance even for capsule endoscopy secured in other hospitals, and ultimately, universal artificial intelligence that does not significantly deteriorate performance even in environmental changes such as any type of capsule endoscope, specific patient, or specific hospital. model can be created.
  • medical staff can convert a type of capsule endoscopy image unfamiliar to them into a capsule endoscopy image familiar to them to determine the condition, promoting convenience for medical staff and accuracy of diagnosis. can increase
  • FIG. 1 is a diagram showing a system for providing disease information using a capsule endoscope
  • FIGS. 2 and 3 are diagrams showing a situation in which a disease is predicted from a capsule endoscopy image obtained by a heterogeneous capsule endoscope
  • FIGS. 4 and 5 are diagrams showing a situation in which a disease recognition model is learned from a capsule endoscope image obtained by a heterogeneous capsule endoscope;
  • FIG. 6 is a diagram showing the structure of a condition information providing system according to an embodiment of the present invention.
  • FIG. 7 is a diagram showing the structure of a condition information providing system according to another embodiment of the present invention.
  • a method for providing condition information includes the steps of analyzing a first medical image and converting it into a second medical image by a cycle GAN; and analyzing the first medical image converted by the condition recognition model to predict the condition.
  • the cycle GAN can be learned in a direction in which the loss of similarity between the first medical image and the first medical image inversely transformed from the transformed first medical image and the loss between the condition predicted by the condition recognition model and the GT (Ground Truth) condition are reduced. there is.
  • the condition recognition model may be first trained to predict a condition by receiving a second medical image and second training to predict a condition by receiving a first medical image converted by cycle GAN.
  • the second learning of the condition recognition model may be performed later than the first learning of the condition recognition model. And, learning of the cycle GAN and second learning of the condition recognition model can be performed together.
  • the first medical image may be a capsule endoscope image collected using a first type capsule endoscope
  • the second medical image may be a capsule endoscope image collected using a second type capsule endoscope.
  • the first medical image is a capsule endoscope image collected at a first medical institution using a capsule endoscope of the first type
  • the second medical image is a capsule endoscope image collected at a second medical institution using a first type capsule endoscope.
  • the method for providing condition information further includes preprocessing the first medical image, and in the converting step, the preprocessed first medical image may be analyzed and converted into a second medical image.
  • the shadow area and resolution of the first medical image may be matched to that of the second medical image.
  • a condition information providing system includes a cycle GAN that analyzes a first medical image and converts it into a second medical image; and a condition recognition model for predicting a condition by analyzing the converted first medical image.
  • a method for converting a medical image includes pre-processing a first medical image; and analyzing the preprocessed first medical image by cycle GAN and converting the preprocessed first medical image into a second medical image.
  • a method for converting a medical image includes pre-processing a first medical image; and analyzing the preprocessed first medical image by cycle GAN and converting the preprocessed first medical image into a second medical image.
  • a method for providing symptom information by domain adaptation between heterogeneous capsule endoscopes is presented. Specifically, a method for effectively learning a disease recognition model learned from a DB constructed with a capsule endoscope of one type based on a DB constructed with a capsule endoscope of another type is presented.
  • FIG. 6 is a diagram showing the structure of a condition information providing system according to an embodiment of the present invention.
  • the disease information providing system according to an embodiment of the present invention corresponds to an improved system of the disease information providing system #1 (10) shown in FIG.
  • the condition information providing system includes a preprocessing unit #1 (110), a cycle GAN (Generative Adversarial Network) #1 (120), a condition recognition model #1 (130), and a cycle GAN It is configured to include a learning unit #1 (140) and a disease recognition model learning unit #1 (150).
  • Components of the condition information providing system according to an embodiment of the present invention may be implemented as SW as well as a processor that drives the SW.
  • DB #2 (22) is a DB in which capsule endoscope images obtained by capsule endoscope #2 (21) presented in FIG. 1 and condition information are stored as data sets.
  • the pre-processing unit #1 (110) is a component for pre-processing the capsule endoscope image stored in DB #2 (22), and for the capsule endoscope image of DB #2 (22), the shadow area and resolution are set in DB #1 ( Match the capsule endoscopy image of 12) (capsule endoscope image obtained with capsule endoscope #1(11)).
  • Capsule endoscopy image of DB #2(22) (capsule endoscope image obtained with capsule endoscope #2(21)) is converted into capsule endoscopy image of DB #1(12) (capsule endoscope image obtained with capsule endoscope #1(11))
  • the pre-processing unit #1 (110) matches the shaded area caused by the lens difference between the capsule endoscopes 11 and 21 and the resolution difference between the capsule endoscopes 11 and 21. is to match
  • GAN #1 receives and analyzes the capsule endoscopy image of DB #2 (22) preprocessed by the preprocessor #1 (110), and analyzes the capsule endoscope image of DB #2 (22) (capsule endoscope #1 It is an artificial intelligence model trained to transform like the capsule endoscopy image obtained in (11).
  • Cycle GAN #1 (120) applies a deep learning-based domain adaptation technique to convert the 'capsule endoscope image obtained by capsule endoscope #1 (11)' to 'capsule endoscope # 2(21) to convert it similarly to the 'capsule endoscope image'.
  • the condition recognition model #1 (130) receives and analyzes the capsule endoscopy image of DB #2 (22) converted like the capsule endoscope image secured by capsule endoscope #1 (11) by cycle GAN #1 (120). It is an artificial intelligence model that predicts disease.
  • the cycle GAN learning unit #1 trains the cycle GAN #1 (120) to convert the capsule endoscope image of DB #2 (22) to the capsule endoscope image secured by the capsule endoscope #1 (11).
  • the cycle GAN learning unit #1 (140) includes 'capsular endoscope image obtained by inversely transforming the capsule endoscopy image of DB #2 (22) converted by cycle GAN #1 (120)' and 'cycle GAN #1 (120). ), the parameters of cycle GAN #1 (120) are learned in the direction in which the loss between the original capsule endoscopy image of DB #2 (22) is reduced.
  • the cycle GAN learning unit #1 (140) further uses the predicted result of the condition recognition model #1 (130) for learning the cycle GAN #1 (120). Specifically, the cycle GAN learning unit #1 (140) trains the cycle GAN #1 (120) in a direction in which the loss between the disease predicted by the disease recognition model #1 (130) and the GT (Ground Truth) disease is reduced. .
  • the entire loss function used by the cycle GAN learning unit #1 (140) can be expressed as follows.
  • L T is the total loss function
  • L C is the loss between the capsule endoscopy image obtained by inversely transforming the converted capsule endoscopy image of DB #2 (22) and the original capsule endoscope image of DB #2 (22)
  • L P is It is the loss between the condition predicted by cycle GAN #1 (120) and the GT condition
  • a is the weight for determining the proportion of LC and LP in LT .
  • the disease recognition model #1 (130), like the disease recognition model #1 (11) shown in FIG. 1, is learned from the capsule endoscopy images of DB #1 (12).
  • the disease recognition model learning unit #1 (150) uses the capsule endoscope image (DB) secured by capsule endoscope #1 (11) by cycle GAN #1 (120).
  • the disease recognition model #1 (130) is trained using the capsule endoscopy image of DB #2 (22) converted like the capsule endoscopy image of #1 (12).
  • the disease recognition model learning unit #1 converts the capsule endoscopy image of DB #2 (22) to the capsule endoscope image secured by capsule endoscope #1 (11) by cycle GAN #1 (120).
  • the condition recognition model #1 (130) is trained in the direction in which the loss between the condition predicted by input and the GT condition decreases.
  • cycle GAN #1 (120) can convert the capsule endoscopy image of DB #2 (22) close to the capsule endoscope image obtained by capsule endoscope #1 (11), and the condition recognition model #1 (130) ) can accurately predict the condition information from the capsule endoscopy image converted by cycle GAN #1 (120).
  • FIG. 7 is a diagram showing the structure of a condition information providing system according to another embodiment of the present invention.
  • the disease information providing system according to an embodiment of the present invention corresponds to an improved system of the disease information providing system #2 (20) shown in FIG.
  • condition information providing system includes a pre-processing unit #2 (210), a cycle GAN #2 (220), a condition recognition model #2 (230), and a cycle GAN learning unit #2 ( 240) and condition recognition model learning unit #2 (250).
  • DB #1 (12) is a DB in which capsule endoscope images obtained by capsule endoscope #1 (11) presented in FIG. 1 and condition information are stored as data sets.
  • the pre-processing unit #2 (210) sets the shadow area and resolution for the capsule endoscope image stored in DB #1 (12) to the capsule endoscope image (capsule endoscope #2 (21)) of DB #2 (22). capsule endoscopy images).
  • Cycle GAN #2 (220) receives and analyzes the capsule endoscopy image of DB #1 (12) preprocessed by the preprocessing unit #2 (210), and analyzes the capsule endoscope image of DB #2 (22) (capsule endoscope #2 It is an artificial intelligence model trained to transform like the capsule endoscopy image obtained by (21).
  • the condition recognition model #2 receives and analyzes the capsule endoscopy image of DB #1 (12) converted like the capsule endoscope image secured by capsule endoscope #2 (21) by cycle GAN #2 (220). It is an artificial intelligence model that predicts disease.
  • cycle GAN #2 converts the capsule endoscopy image of DB #1 (12) to the capsule endoscope image secured by the capsule endoscope #2 (21), and recognizes the condition.
  • Cycle GAN #2 (220) is trained to increase the disease recognition accuracy of Model #2 (230).
  • condition recognition model #2 (230), like the condition recognition model #2 (21) shown in FIG. 1, is learned from the capsule endoscopy images of DB #2 (22).
  • condition recognition model #2 (230) in this state uses the capsule endoscope image (DB) secured by capsule endoscope #2 (21) by cycle GAN #2 (220).
  • the disease recognition model #2 (230) is trained using the capsule endoscopy image of DB #1 (12) converted like the capsule endoscope image of #2 (22).
  • cycle GAN #2 (220) can convert the capsular endoscope image of DB #1 (12) close to the capsular endoscope image obtained by capsule endoscope #2 (21), and the condition recognition model #2 (230) ) can accurately predict the condition information from the capsule endoscopy image converted by cycle GAN #2 (220).
  • the technical idea of the present invention can be applied to a homogeneous capsule endoscope, not a heterogeneous capsule endoscope.
  • the DB built using the capsule endoscope of type a at medical institution A is converted into cycle GAN, and the condition recognition
  • the technical concept of the present invention can also be applied to a system for predicting a disease in model A.
  • a function of providing the capsule endoscope image converted by the cycle GAN 120 or 220 as medical information through a medical staff terminal may be added.
  • the medical staff can determine the condition with the capsule endoscopy image familiar to them, thereby promoting the medical staff's convenience and increasing the accuracy of the diagnosis.
  • capsule endoscopy image mentioned in the above embodiment is only mentioned as an example of a medical image.
  • the technical concept of the present invention can be applied to other endoscopic images other than capsule endoscopy as well as other medical images other than endoscopic images.
  • the technical spirit of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment.
  • technical ideas according to various embodiments of the present invention may be implemented in the form of computer readable codes recorded on a computer readable recording medium.
  • the computer-readable recording medium may be any data storage device that can be read by a computer and store data.
  • the computer-readable recording medium may be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like.
  • computer readable codes or programs stored on a computer readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법이 제공된다. 본 발명의 실시예에 따른 병증정보 제공 방법은, cycle GAN이 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하고, 병증인식 모델이 변환된 제1 의료영상을 분석하여 병증을 예측한다. 이에 의해, 이종 캡슐내시경 간의 도메인 적응에 의해 병증인식 모델들을 학습하여, 한 기종의 캡슐내시경을 통해 개발된 병증인식 모델을 다른 기종에 사용하는 경우에도 높은 인식 성능을 낼 수 있게 된다.

Description

이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법
본 발명은 인공지능을 활용한 의료 진단 기술에 관한 것으로, 더욱 상세하게는 이종 캡슐내시경 간의 도메인 적응 기법을 이용하여 병증정보를 제공하는 방법 및 시스템에 관한 것이다.
도 1은 캡슐내시경을 이용한 질환정보 제공 시스템을 도시한 도면이다. 도 1에는 2개의 질환정보 제공 시스템들(10,20)이 도시되어 있는데, 좌측의 시스템(10)과 우측의 시스템(20)은 각기 다른 기종의 캡슐내시경을 이용한다.
이를 테면, 좌측에 도시된 질환정보 제공 시스템 #1(10)에서 이용하는 캡슐내시경 #1(11)은 A 社에서 제조/판매하는 기종이고, 우측에 도시된 질환정보 제공 시스템 #2(20)에서 이용하는 캡슐내시경 #2(21)는 B 社에서 제조/판매하는 기종인 것이다
질환정보 제공 시스템 #1(10)에서, 캡슐내시경 #1(11)으로 확보된 캡슐내시경 영상들은 DB #1(12)에 저장된다. 의료진은 자신의 단말(14)을 이용하여, DB #1(12)에 저장된 캡슐내시경 영상들에 대해 자신의 진단결과들인 병증정보들을 어노테이션 한다.
이에 의해, DB #1(12)에는 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장된다. 병증인식 모델 #1(13)는 DB #1(12)에 저장된 캡슐내시경 영상들을 입력받아 병증정보들을 예측할 수 있도록 학습되는 인공지능 모델이다.
이를 통해, 병증인식 모델 #1(13)은 새로운 캡슐내시경이 입력되면 이를 분석하여 자동으로 병증을 예측할 수 있게 된다.
한편, 질환정보 제공 시스템 #2(20)에서는, 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상들이 DB #2(22)에 저장된다. 그리고, 의료진은 자신의 단말(24)을 이용하여, DB #2(22)에 저장된 캡슐내시경 영상들에 대해 자신의 진단결과들인 병증정보들을 어노테이션 한다.
이에 의해, DB #2(22)에도 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장된다. 병증인식 모델 #2(23)는 DB #2(22)에 저장된 캡슐내시경 영상들을 입력받아 병증정보들을 예측할 수 있도록 학습되는 인공지능 모델이다.
이를 통해, 병증인식 모델 #2(23)도 새로운 캡슐내시경이 입력되면 이를 분석하여 자동으로 병증을 예측할 수 있게 된다.
하지만, 병증인식 모델 #1(13)은 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상들만을 학습한 관계로, 도 2에 도시된 바와 같이 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상이 입력되는 경우 병증 예측의 정확도가 매우 떨어진다.
이는, 병증인식 모델 #2(23)의 경우도 마찬가지이다. 병증인식 모델 #2(23)도 도 3에 도시된 바와 같이 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상이 입력되는 경우 병증 예측의 정확도가 매우 떨어진다.
이를 해소하기 위한 방안으로, 도 4에 도시된 바와 같이, DB #2(22)에 저장된 캡슐내시경 영상들과 병증정보들의 데이터 셋으로 병증인식 모델 #1(13)을 재학습시키는 것을 상정할 수 있다.
하지만, DB #2(22)에 저장된 캡슐내시경 영상들인 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상들은 병증인식 모델 #1(13)을 학습시켰던 DB #1(12)에 저장된 캡슐내시경 영상들인 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상들과 여러 가지 면에서 많이 다르다. 이에 의해, 병증인식 모델 #1(13)은 DB #2(22)에 대해서 기존보다 성능이 올라갈 수는 있지만, 그리 높은 성능을 기대할 수 없고, DB #1(12)에 대해서는 기존보다 성능이 떨어질 수 있다.
이는, 병증인식 모델 #2(23)의 경우도 마찬가지이다. 즉, 도 5에 도시된 바와 같이, DB #1(12)에 저장된 캡슐내시경 영상들과 병증정보들의 데이터 셋으로 병증인식 모델 #2(23)을 재학습시키는 경우도 학습 효과는 기대 만큼 좋지 않다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 이종의 캡슐내시경 DB들이 구축된 상태에서, 이종 캡슐내시경 간의 도메인 적응에 의해 병증인식 모델들을 학습하여, 병증인식의 범위와 정확도를 향상시키는 방법을 제공함에 있다.
본 발명의 일 양상은 cycle GAN이, 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계; 및 병증인식 모델이, 변환된 제1 의료영상을 분석하여 병증을 예측하는 단계;를 포함하는 것을 특징으로 하는 병증정보 제공 방법을 제공한다.
본 발명의 일 구체예로 상기 cycle GAN은, 변환된 제1 의료영상을 역변환한 의료영상과 제1 의료영상 간의 Loss와 병증인식 모델에 의해 예측한 병증과 GT(Ground Truth) 병증 간의 Loss가 줄어드는 방향으로 학습되는 것일 수 있다.
본 발명의 일 구체예로 상기 병증인식 모델은, 제2 의료영상을 입력받아 병증을 예측하도록 제1 학습되고, cycle GAN에 의해 변환된 제1 의료영상을 입력받아 병증을 예측하도록 제2 학습되는 것일 수 있다.
본 발명의 일 구체예로 병증인식 모델의 제2 학습은, 병증인식 모델의 제1 학습 보다 나중에 수행되는 것일 수 있다.
본 발명의 일 구체예로 cycle GAN의 학습과 병증인식 모델의 제2 학습은 함께 수행되는 것일 수 있다.
본 발명의 일 구체예로 상기 제1 의료영상은, 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고, 제2 의료영상은, 제2 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상인 것일 수 있다.
본 발명의 일 구체예로 상기 제1 의료영상은, 제1 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고, 제2 의료영상은, 제2 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상인 것일 수 있다.
본 발명의 일 구체예로 상기 방법은 제1 의료영상을 전처리하는 단계;를 더 포함하고, 변환 단계는, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 것일 수 있다.
본 발명의 일 구체예로 상기 전처리 단계는, 제1 의료영상의 음영지역과 해상도를 제2 의료영상과 일치시키는 것일 수 있다.
본 발명의 일 양상으로 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 cycle GAN; 및 변환된 제1 의료영상을 분석하여 병증을 예측하는 병증인식 모델;을 포함하는 것을 특징으로 하는 병증정보 제공 시스템을 제공한다.
본 발명의 일 양상으로 제1 의료영상을 전처리 하는 단계; 및 cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함하는 것을 특징으로 하는 의료영상 변환 방법을 제공한다.
본 발명의 일 양상으로 제1 의료영상을 전처리 하는 단계; 및 cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함하는 것을 특징으로 하는 의료영상 변환 방법을 제공한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 이종 캡슐내시경 간의 도메인 적응에 의해 병증인식 모델들을 학습하여, 한 기종의 캡슐내시경을 통해 개발된 병증인식 모델을 다른 기종에 사용하는 경우에도 높은 인식 성능을 낼 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 이종 간의 캡슐내시경에서뿐만이 아니라, 동종의 캡슐내시경이라 하더라도 병원마다 환자의 질환 종류나 캡슐내시경의 설정, 캡슐내시경 데이터의 저장 방식이 서로 다른 병원들에 적용하면, 다른 병원에서 확보된 캡슐내시경에 대해서도 높은 병증인식 성능을 확보할 수 있게 되며, 최종적으로는 어떤 종류의 캡슐내시경, 특정 환자, 특정 병원 등의 환경변화에도 성능 저하가 크지 않은 보편적인 인공지능 모델을 만들 수 있게 된다.
나아가, 본 발명의 실시예들에 따르면, 의료진들이 자신에게 익숙하지 않은 종류의 캡슐내시경 영상을 자신에게 익숙한 캡슐내시경 영상으로 변환하여 병증을 판단할 수 있게 되어, 의료진의 편의를 도모하고 진단의 정확도를 높일 수 있게 된다.
도 1은 캡슐내시경을 이용한 질환정보 제공 시스템을 도시한 도면,
도 2 및 도 3은 이종의 캡슐내시경으로 확보된 캡슐내시경 영상으로부터 병증을 예측하는 상황을 나타낸 도면,
도 4 및 도 5는 이종의 캡슐내시경으로 확보된 캡슐내시경 영상으로 병증인식 모델을 학습시키는 상황을 나타낸 도면,
도 6은 본 발명의 일 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면,
도 7은 본 발명의 다른 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면이다.
[부호의 설명]
110, 210 : 전처리부
120, 220 : cycle GAN(Generative Adversarial Network)
130, 230 : 병증인식 모델
140, 240 : cycle GAN 학습부
150, 250 : 병증인식 모델 학습부
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 병증정보 제공 방법은, cycle GAN이, 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계; 및 병증인식 모델이, 변환된 제1 의료영상을 분석하여 병증을 예측하는 단계;를 포함한다.
cycle GAN은, 변환된 제1 의료영상을 역변환한 의료영상과 제1 의료영상 간의 유사성에 대한 Loss와 병증인식 모델에 의해 예측한 병증과 GT(Ground Truth) 병증 간의 Loss가 줄어드는 방향으로 학습될 수 있다.
병증인식 모델은, 제2 의료영상을 입력받아 병증을 예측하도록 제1 학습되고, cycle GAN에 의해 변환된 제1 의료영상을 입력받아 병증을 예측하도록 제2 학습될 수 있다.
병증인식 모델의 제2 학습은, 병증인식 모델의 제1 학습 보다 나중에 수행될 수 있다. 그리고, cycle GAN의 학습과 병증인식 모델의 제2 학습은 함께 수행될 수 있다.
제1 의료영상은, 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고, 제2 의료영상은, 제2 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상일 수 있다.
제1 의료영상은, 제1 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고, 제2 의료영상은, 제2 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상일 수 있다.
본 발명의 실시예에 따른 병증정보 제공 방법은, 제1 의료영상을 전처리하는 단계;를 더 포함하고, 변환 단계는, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환할 수 있다.
전처리 단계는, 제1 의료영상의 음영지역과 해상도를 제2 의료영상과 일치시킬 수 있다.
한편, 본 발명의 다른 실시예에 따른, 병증정보 제공 시스템은, 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 cycle GAN; 및 변환된 제1 의료영상을 분석하여 병증을 예측하는 병증인식 모델;을 포함한다.
한편, 본 발명의 다른 실시예에 따른, 의료영상 변환 방법은, 제1 의료영상을 전처리 하는 단계; 및 cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 의료영상 변환 방법은, 제1 의료영상을 전처리 하는 단계; 및 cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는, 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공방법을 제시한다. 구체적으로, 한 기종의 캡슐내시경으로 구축한 DB를 기반으로, 다른 기종의 캡슐내시경으로 구축된 DB로 학습된 병증인식 모델을 효과적으로 학습시키는 방법을 제시한다.
도 6은 본 발명의 일 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면이다. 본 발명의 실시예에 따른 병증정보 제공 시스템은 도 1에 도시된 질환정보 제공 시스템 #1(10)을 개선한 시스템에 해당한다.
본 발명의 실시예에 따른 병증정보 제공 시스템은, 도시된 바와 같이, 전처리부 #1(110), cycle GAN(Generative Adversarial Network) #1(120), 병증인식 모델 #1(130), cycle GAN 학습부 #1(140) 및 병증인식 모델 학습부 #1(150)를 포함하여 구성된다. 본 발명의 실시예에 따른 병증정보 제공 시스템의 구성들은 SW로 구현될 수 있음은 물론 이 SW를 구동하는 프로세서로 구현할 수도 있다.
DB #2(22)는 전술한 도 1에서 제시한 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장되어 있는 DB이다.
전처리부 #1(110)는 DB #2(22)에 저장되어 있는 캡슐내시경 영상을 전처리하기 위한 구성으로, DB #2(22)의 캡슐내시경 영상에 대해, 음영지역과 해상도를 DB #1(12)의 캡슐내시경 영상(캡슐내시경 #1(11)로 확보된 캡슐내시경 영상)과 일치시킨다.
DB #2(22)의 캡슐내시경 영상(캡슐내시경 #2(21)로 확보된 캡슐내시경 영상)을 DB #1(12)의 캡슐내시경 영상(캡슐내시경 #1(11)로 확보된 캡슐내시경 영상)에 유사한 형태로 변환하기 위해, 전처리부 #1(110)는 캡슐내시경들(11,21)의 렌즈 차이에 의해서 발생하는 음영지역을 일치시키고, 캡슐내시경들(11,21)의 해상도 차이를 일치시키는 것이다.
cycle GAN #1(120)은 전처리부 #1(110)에 의해 전처리된 DB #2(22)의 캡슐내시경 영상을 입력받아 분석하여, DB #2(22)의 캡슐내시경 영상(캡슐내시경 #1(11)로 확보된 캡슐내시경 영상) 처럼 변환하도록 학습된 인공지능 모델이다.
'캡슐내시경 #1(11)로 확보된 캡슐내시경 영상'과 '캡슐내시경 #2(21)로 확보된 캡슐내시경 영상'은 초점 차이에 의한 블러 정도, 조명에 따른 밝기 차이, 캡슐의 부력과 자세제어에 따른 영상의 컨텐츠 차이 등이 있는데, cycle GAN #1(120)은 딥러닝 기반의 도메인 적응 기법을 적용하여, '캡슐내시경 #1(11)로 확보된 캡슐내시경 영상'을 '캡슐내시경 #2(21)로 확보된 캡슐내시경 영상'과 유사하게 변환하는 것이다.
병증인식 모델 #1(130)은 cycle GAN #1(120)에 의해 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상 처럼 변환된 DB #2(22)의 캡슐내시경 영상을 입력받아, 분석하여 병증을 예측하는 인공지능 모델이다.
cycle GAN 학습부 #1(140)은, cycle GAN #1(120)이 DB #2(22)의 캡슐내시경 영상을 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상에 처럼 변환하도록 학습시킨다.
이를 위해, cycle GAN 학습부 #1(140)는 'cycle GAN #1(120)에 의해 변환된 DB #2(22)의 캡슐내시경 영상을 역변환한 캡슐내시경 영상'과 'cycle GAN #1(120)에 입력된 DB #2(22)의 캡슐내시경 영상 원본' 간의 Loss가 줄어드는 방향으로 cycle GAN #1(120)의 파라미터들을 학습시킨다.
이와 더불어, cycle GAN 학습부 #1(140)는 cycle GAN #1(120)의 학습에 병증인식 모델 #1(130)의 예측 결과를 더 이용한다. 구체적으로, cycle GAN 학습부 #1(140)는 병증인식 모델 #1(130)에 의해 예측된 병증과 GT(Ground Truth) 병증 간의 Loss가 줄어드는 방향으로, cycle GAN #1(120)을 학습시킨다.
cycle GAN #1(120)으로 하여금, DB #2(22)의 캡슐내시경 영상을 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상에 처럼 변환하는 것에서 나아가, 병증인식 모델 #1(130)이 병증을 정확하게 예측할 수 있도록 하는 방향으로 캡슐내시경 영상 변환이 이루어지도록 하기 위한 것이다.
cycle GAN 학습부 #1(140)가 이용하는 전체 Loss 함수는 다음과 같이 표현할 수 있다.
LT = aLC + (1-a)LP
여기서, LT는 전체 Loss 함수이고, LC는 변환된 DB #2(22)의 캡슐내시경 영상을 역변환한 캡슐내시경 영상과 DB #2(22)의 캡슐내시경 영상 원본 간의 Loss이며, LP는 cycle GAN #1(120)에 의해 예측된 병증과 GT 병증 간의 Loss이고, a는 LT에서 LC와 LP의 비중을 결정하기 위한 가중치이다.
한편, 병증인식 모델 #1(130)은, 도 1에 도시된 병증인식 모델 #1(11)과 같이 DB #1(12)의 캡슐내시경 영상들로 학습된 것이다.
이와 같은 상태의 병증인식 모델 #1(130)에 대해, 병증인식 모델 학습부 #1(150)은 cycle GAN #1(120)에 의해 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상(DB #1(12)의 캡슐내시경 영상) 처럼 변환된 DB #2(22)의 캡슐내시경 영상을 이용하여 병증인식 모델 #1(130)을 학습시킨다.
구체적으로, 병증인식 모델 학습부 #1(150)은 cycle GAN #1(120)에 의해 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상 처럼 변환된 DB #2(22)의 캡슐내시경 영상을 입력받아 예측한 병증과 GT 병증 간의 Loss가 줄어드는 방향으로 병증인식 모델 #1(130)을 학습시킨다.
학습 단계에서 cycle GAN 학습부 #1(140)에 의한 cycle GAN #1(120)의 학습과 병증인식 모델 학습부 #1(150)에 의한 병증인식 모델 #1(130)의 학습은 동시에 함께 수행된다.
학습 결과, cycle GAN #1(120)은 DB #2(22)의 캡슐내시경 영상을 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상에 가깝게 변환할 수 있게 되고, 병증인식 모델 #1(130)은 cycle GAN #1(120)에 의해 변환된 캡슐내시경 영상으로부터 병증정보를 정확하게 예측할 수 있게 된다.
도 7은 본 발명의 다른 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면이다. 본 발명의 실시예에 따른 병증정보 제공 시스템은 도 1에 도시된 질환정보 제공 시스템 #2(20)을 개선한 시스템에 해당한다.
본 발명의 실시예에 따른 병증정보 제공 시스템은, 도시된 바와 같이, 전처리부 #2(210), cycle GAN #2(220), 병증인식 모델 #2(230), cycle GAN 학습부 #2(240) 및 병증인식 모델 학습부 #2(250)를 포함하여 구성된다.
DB #1(12)은 전술한 도 1에서 제시한 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장되어 있는 DB이다.
전처리부 #2(210)는 DB #1(12)에 저장되어 있는 캡슐내시경 영상에 대해, 음영지역과 해상도를 DB #2(22)의 캡슐내시경 영상(캡슐내시경 #2(21)로 확보된 캡슐내시경 영상)과 일치시킨다.
cycle GAN #2(220)은 전처리부 #2(210)에 의해 전처리된 DB #1(12)의 캡슐내시경 영상을 입력받아 분석하여, DB #2(22)의 캡슐내시경 영상(캡슐내시경 #2(21)로 확보된 캡슐내시경 영상) 처럼 변환하도록 학습된 인공지능 모델이다.
병증인식 모델 #2(230)은 cycle GAN #2(220)에 의해 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상 처럼 변환된 DB #1(12)의 캡슐내시경 영상을 입력받아, 분석하여 병증을 예측하는 인공지능 모델이다.
cycle GAN 학습부 #2(240)은, cycle GAN #2(220)이 DB #1(12)의 캡슐내시경 영상을 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상에 처럼 변환하되, 병증인식 모델 #2(230)의 병증인식 정확도는 증가하도록, cycle GAN #2(220)을 학습시킨다.
병증인식 모델 #2(230)은, 도 1에 도시된 병증인식 모델 #2(21)과 같이 DB #2(22)의 캡슐내시경 영상들로 학습된 것이다.
이와 같은 상태의 병증인식 모델 #2(230)에 대해, 병증인식 모델 학습부 #2(250)은 cycle GAN #2(220)에 의해 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상(DB #2(22)의 캡슐내시경 영상) 처럼 변환된 DB #1(12)의 캡슐내시경 영상을 이용하여 병증인식 모델 #2(230)을 학습시킨다.
학습 결과, cycle GAN #2(220)는 DB #1(12)의 캡슐내시경 영상을 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상에 가깝게 변환할 수 있게 되고, 병증인식 모델 #2(230)은 cycle GAN #2(220)에 의해 변환된 캡슐내시경 영상으로부터 병증정보를 정확하게 예측할 수 있게 된다.
한편, 본 발명의 실시예에 따른 병증정보 제공 시스템의 구성들에 대한 상세한 설명은, 도 6에 도시된 시스템의 구성들에 대한 상세한 설명으로부터 유추 가능하므로, 생략한다.
지금까지, 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는, 한 기종의 캡슐내시경으로 구축된 DB로 학습된 병증인식 모델에 대해, 다른 기종의 캡슐내시경으로 구축한 DB를 기반으로 학습시켜, 병증인식 범위를 확장하는 방법을 제시하였다.
한편, 본 발명의 기술적 사상은 이종의 캡슐내시경이 아닌 동종의 캡슐내시경에 대해서도 적용 가능하다. 이를 테면, 의료기관 A에서 기종 a의 캡슐내시경을 이용하여 구축한 DB로 학습된 병증인식 모델 A에 대해, 의료기관 B에서 동종인 기종 a의 캡슐내시경을 이용하여 구축한 DB를 cycle GAN으로 변환하고 병증인식 모델 A에서 병증을 예측하는 시스템에 대해서도, 본 발명의 기술적 사상이 적용될 수 있다.
의료기관 마다 환자의 질환 종류나 캡슐내시경의 설정, 캡슐내시경 데이터의 저장 방식이 서로 다르기 때문에, 본 발명의 실시예에 따른 방법이 적용되는 경우 다른 병원에서 확보된 캡슐내시경에 대해서도 높은 병증인식 성능을 확보할 수 있게 된다.
궁극적으로, 본 발명의 실시예에 따르면, 어떤 종류의 캡슐내시경, 특정 환자, 특정 병원 등의 환경변화에도 성능 저하가 크지 않은 보편적인 병증인식 모델을 구축할 수 있게 된다.
한편, cycle GAN(120,220)에 의해 변환된 캡슐내시경 영상을 의료진 단말을 통해 의료 정보로 제공하는 기능을 추가할 수 있다. 이를 통해, 의료진은 자신에게 익숙한 캡슐내시경 영상으로 병증을 판단할 수 있게 되어, 의료진의 편의를 도모하고 진단의 정확도를 높일 수 있게 된다.
나아가, 위 실시예에서 언급한 캡슐내시경 영상은 의료영상의 일 예로 언급한 것에 불과하다. 캡슐내시경 이외의 다른 내시경 영상은 물론, 내시경 영상 이외의 다른 의료영상에 대해서도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (12)

  1. cycle GAN이, 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계; 및
    병증인식 모델이, 변환된 제1 의료영상을 분석하여 병증을 예측하는 단계;를 포함하는 것을 특징으로 하는 병증정보 제공 방법.
  2. 청구항 1에 있어서,
    cycle GAN은,
    변환된 제1 의료영상을 역변환한 의료영상과 제1 의료영상 간의 Loss와 병증인식 모델에 의해 예측한 병증과 GT(Ground Truth) 병증 간의 Loss가 줄어드는 방향으로 학습되는 것을 특징으로 하는 병증정보 제공 방법.
  3. 청구항 2에 있어서,
    병증인식 모델은,
    제2 의료영상을 입력받아 병증을 예측하도록 제1 학습되고,
    cycle GAN에 의해 변환된 제1 의료영상을 입력받아 병증을 예측하도록 제2 학습되는 것을 특징으로 하는 병증정보 제공 방법.
  4. 청구항 3에 있어서,
    병증인식 모델의 제2 학습은,
    병증인식 모델의 제1 학습 보다 나중에 수행되는 것을 특징으로 하는 병증정보 제공 방법.
  5. 청구항 4에 있어서,
    cycle GAN의 학습과 병증인식 모델의 제2 학습은 함께 수행되는 것을 특징으로 하는 병증정보 제공 방법.
  6. 청구항 2에 있어서,
    제1 의료영상은,
    제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고,
    제2 의료영상은,
    제2 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상인 것을 특징으로 하는 병증정보 제공 방법.
  7. 청구항 2에 있어서,
    제1 의료영상은,
    제1 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고,
    제2 의료영상은,
    제2 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상인 것을 특징으로 하는 병증정보 제공 방법.
  8. 청구항 2에 있어서,
    제1 의료영상을 전처리하는 단계;를 더 포함하고,
    변환 단계는,
    전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 것을 특징으로 하는 병증정보 제공 방법.
  9. 청구항 8에 있어서,
    전처리 단계는,
    제1 의료영상의 음영지역과 해상도를 제2 의료영상과 일치시키는 것을 특징으로 하는 병증정보 제공 방법.
  10. 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 cycle GAN; 및
    변환된 제1 의료영상을 분석하여 병증을 예측하는 병증인식 모델;을 포함하는 것을 특징으로 하는 병증정보 제공 시스템.
  11. 제1 의료영상을 전처리 하는 단계; 및
    cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함하는 것을 특징으로 하는 의료영상 변환 방법.
  12. 제1 의료영상을 전처리 하는 단계; 및
    cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함하는 것을 특징으로 하는 의료영상 변환 방법.
PCT/KR2022/000434 2021-08-31 2022-01-11 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법 WO2023033266A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0115451 2021-08-31
KR1020210115451A KR102616961B1 (ko) 2021-08-31 2021-08-31 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법

Publications (1)

Publication Number Publication Date
WO2023033266A1 true WO2023033266A1 (ko) 2023-03-09

Family

ID=85411383

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/000434 WO2023033266A1 (ko) 2021-08-31 2022-01-11 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법

Country Status (2)

Country Link
KR (1) KR102616961B1 (ko)
WO (1) WO2023033266A1 (ko)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102039138B1 (ko) * 2019-04-02 2019-10-31 주식회사 루닛 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치
KR102115534B1 (ko) 2019-10-14 2020-05-26 주식회사 루닛 GAN(Generative Adversarial Networks)을 이용하는 이상 검출 방법, 장치 및 그 시스템
KR20200070062A (ko) 2018-12-07 2020-06-17 주식회사 포인바이오닉스 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법
KR20200093424A (ko) * 2019-01-28 2020-08-05 주식회사 스트라드비젼 도메인 적응에 적용될 수 있는 사이클 gan을 이용하여 실제 이미지 상의 객체 검출에 사용되는, 실제 세계 상의 실제 이미지를 가상 세계 상의 가상 이미지로 변환하는 런타임 입력 변환을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR20200131020A (ko) 2019-05-13 2020-11-23 (주)비주얼터미놀로지 의료기계 학습 시스템
KR20210016171A (ko) * 2019-08-01 2021-02-15 동국대학교 산학협력단 의료영상을 이용한 질환정보 제공 방법
KR20210030669A (ko) * 2019-09-10 2021-03-18 인하대학교 산학협력단 Gan을 이용한 의료 영상의 광강도 분포 일반화 기법
KR20210081805A (ko) 2019-12-24 2021-07-02 아주대학교산학협력단 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치
KR20210098381A (ko) * 2020-01-31 2021-08-10 고려대학교 산학협력단 병변 이미지 시각화 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200070062A (ko) 2018-12-07 2020-06-17 주식회사 포인바이오닉스 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법
KR20200093424A (ko) * 2019-01-28 2020-08-05 주식회사 스트라드비젼 도메인 적응에 적용될 수 있는 사이클 gan을 이용하여 실제 이미지 상의 객체 검출에 사용되는, 실제 세계 상의 실제 이미지를 가상 세계 상의 가상 이미지로 변환하는 런타임 입력 변환을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102039138B1 (ko) * 2019-04-02 2019-10-31 주식회사 루닛 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치
KR20200131020A (ko) 2019-05-13 2020-11-23 (주)비주얼터미놀로지 의료기계 학습 시스템
KR20210016171A (ko) * 2019-08-01 2021-02-15 동국대학교 산학협력단 의료영상을 이용한 질환정보 제공 방법
KR20210030669A (ko) * 2019-09-10 2021-03-18 인하대학교 산학협력단 Gan을 이용한 의료 영상의 광강도 분포 일반화 기법
KR102115534B1 (ko) 2019-10-14 2020-05-26 주식회사 루닛 GAN(Generative Adversarial Networks)을 이용하는 이상 검출 방법, 장치 및 그 시스템
KR20210081805A (ko) 2019-12-24 2021-07-02 아주대학교산학협력단 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치
KR20210098381A (ko) * 2020-01-31 2021-08-10 고려대학교 산학협력단 병변 이미지 시각화 장치 및 방법

Also Published As

Publication number Publication date
KR20230033237A (ko) 2023-03-08
KR102616961B1 (ko) 2023-12-27

Similar Documents

Publication Publication Date Title
WO2019088462A1 (ko) 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법
WO2019164064A1 (ko) 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법
WO2020111754A2 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2022145519A1 (ko) 딥러닝을 이용한 심전도 시각화 방법 및 장치
WO2022149894A1 (ko) 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2021194056A1 (en) Method for training deep learning network based on artificial intelligence and learning device using the same
WO2019031794A1 (ko) 피검체의 치명적 증상의 발생을 조기에 예측하기 위한 예측 결과를 생성하는 방법 및 이를 이용한 장치
WO2019235828A1 (ko) 투 페이스 질병 진단 시스템 및 그 방법
WO2022059969A1 (ko) 심전도 데이터 분류를 위한 심층 신경망 사전 학습 방법
WO2020101457A2 (ko) 지도학습기반의 합의 진단방법 및 그 시스템
WO2018169276A1 (ko) 언어 정보를 처리하기 위한 방법 및 그 전자 장치
WO2022114791A1 (ko) 빅데이터 기반의 질환 발병 위험도 예측 시스템, 예측 방법, 및 프로그램
WO2023033266A1 (ko) 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법
WO2021002669A1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
WO2017010612A1 (ko) 의료 영상 분석 기반의 병리 진단 예측 시스템 및 방법
WO2022191539A1 (ko) Turp 병리 이미지로부터 전립선암을 검출하기 위한 용도의 인공 뉴럴 네트워크를 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템
WO2023121051A1 (ko) 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2022163996A1 (ko) 자기주의 기반 심층 신경망 모델을 이용한 약물-표적 상호작용 예측 장치 및 그 방법
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
WO2023022406A1 (ko) 학습 실력 평가 방법, 학습 실력 평가 장치 및 학습 실력 평가 시스템
WO2023043001A1 (ko) 저해상도 이미지의 얼굴 인식 성능 향상을 위한 어텐션 맵 전달 방법 및 장치
WO2023027248A1 (ko) 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
WO2021015489A2 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
WO2011007970A1 (en) Method and apparatus for processing image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22864775

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022864775

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022864775

Country of ref document: EP

Effective date: 20240402