KR20230033237A - 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법 - Google Patents

이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법 Download PDF

Info

Publication number
KR20230033237A
KR20230033237A KR1020210115451A KR20210115451A KR20230033237A KR 20230033237 A KR20230033237 A KR 20230033237A KR 1020210115451 A KR1020210115451 A KR 1020210115451A KR 20210115451 A KR20210115451 A KR 20210115451A KR 20230033237 A KR20230033237 A KR 20230033237A
Authority
KR
South Korea
Prior art keywords
medical image
capsule endoscope
disease
image
recognition model
Prior art date
Application number
KR1020210115451A
Other languages
English (en)
Other versions
KR102616961B1 (ko
Inventor
임윤정
황영배
Original Assignee
동국대학교 산학협력단
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단, 충북대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020210115451A priority Critical patent/KR102616961B1/ko
Priority to PCT/KR2022/000434 priority patent/WO2023033266A1/ko
Publication of KR20230033237A publication Critical patent/KR20230033237A/ko
Application granted granted Critical
Publication of KR102616961B1 publication Critical patent/KR102616961B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법이 제공된다. 본 발명의 실시예에 따른 병증정보 제공 방법은, cycle GAN이 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하고, 병증인식 모델이 변환된 제1 의료영상을 분석하여 병증을 예측한다. 이에 의해, 이종 캡슐내시경 간의 도메인 적응에 의해 병증인식 모델들을 학습하여, 한 기종의 캡슐내시경을 통해 개발된 병증인식 모델을 다른 기종에 사용하는 경우에도 높은 인식 성능을 낼 수 있게 된다.

Description

이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법{Method of providing disease information by domain adaptation between heterogeneous capsule endoscopes}
본 발명은 인공지능을 활용한 의료 진단 기술에 관한 것으로, 더욱 상세하게는 이종 캡슐내시경 간의 도메인 적응 기법을 이용하여 병증정보를 제공하는 방법 및 시스템에 관한 것이다.
도 1은 캡슐내시경을 이용한 질환정보 제공 시스템을 도시한 도면이다. 도 1에는 2개의 질환정보 제공 시스템들(10,20)이 도시되어 있는데, 좌측의 시스템(10)과 우측의 시스템(20)은 각기 다른 기종의 캡슐내시경을 이용한다.
이를 테면, 좌측에 도시된 질환정보 제공 시스템 #1(10)에서 이용하는 캡슐내시경 #1(11)은 A 社에서 제조/판매하는 기종이고, 우측에 도시된 질환정보 제공 시스템 #2(20)에서 이용하는 캡슐내시경 #2(21)는 B 社에서 제조/판매하는 기종인 것이다
질환정보 제공 시스템 #1(10)에서, 캡슐내시경 #1(11)으로 확보된 캡슐내시경 영상들은 DB #1(12)에 저장된다. 의료진은 자신의 단말(14)을 이용하여, DB #1(12)에 저장된 캡슐내시경 영상들에 대해 자신의 진단결과들인 병증정보들을 어노테이션 한다.
이에 의해, DB #1(12)에는 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장된다. 병증인식 모델 #1(13)는 DB #1(12)에 저장된 캡슐내시경 영상들을 입력받아 병증정보들을 예측할 수 있도록 학습되는 인공지능 모델이다.
이를 통해, 병증인식 모델 #1(13)은 새로운 캡슐내시경이 입력되면 이를 분석하여 자동으로 병증을 예측할 수 있게 된다.
한편, 질환정보 제공 시스템 #2(20)에서는, 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상들이 DB #2(22)에 저장된다. 그리고, 의료진은 자신의 단말(24)을 이용하여, DB #2(22)에 저장된 캡슐내시경 영상들에 대해 자신의 진단결과들인 병증정보들을 어노테이션 한다.
이에 의해, DB #2(22)에도 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장된다. 병증인식 모델 #2(23)는 DB #2(22)에 저장된 캡슐내시경 영상들을 입력받아 병증정보들을 예측할 수 있도록 학습되는 인공지능 모델이다.
이를 통해, 병증인식 모델 #2(23)도 새로운 캡슐내시경이 입력되면 이를 분석하여 자동으로 병증을 예측할 수 있게 된다.
하지만, 병증인식 모델 #1(13)은 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상들만을 학습한 관계로, 도 2에 도시된 바와 같이 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상이 입력되는 경우 병증 예측의 정확도가 매우 떨어진다.
이는, 병증인식 모델 #2(23)의 경우도 마찬가지이다. 병증인식 모델 #2(23)도 도 3에 도시된 바와 같이 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상이 입력되는 경우 병증 예측의 정확도가 매우 떨어진다.
이를 해소하기 위한 방안으로, 도 4에 도시된 바와 같이, DB #2(22)에 저장된 캡슐내시경 영상들과 병증정보들의 데이터 셋으로 병증인식 모델 #1(13)을 재학습시키는 것을 상정할 수 있다.
하지만, DB #2(22)에 저장된 캡슐내시경 영상들인 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상들은 병증인식 모델 #1(13)을 학습시켰던 DB #1(12)에 저장된 캡슐내시경 영상들인 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상들과 여러 가지 면에서 많이 다르다. 이에 의해, 병증인식 모델 #1(13)은 DB #2(22)에 대해서 기존보다 성능이 올라갈 수는 있지만, 그리 높은 성능을 기대할 수 없고, DB #1(12)에 대해서는 기존보다 성능이 떨어질 수 있다.
이는, 병증인식 모델 #2(23)의 경우도 마찬가지이다. 즉, 도 5에 도시된 바와 같이, DB #1(12)에 저장된 캡슐내시경 영상들과 병증정보들의 데이터 셋으로 병증인식 모델 #2(23)을 재학습시키는 경우도 학습 효과는 기대 만큼 좋지 않다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 이종의 캡슐내시경 DB들이 구축된 상태에서, 이종 캡슐내시경 간의 도메인 적응에 의해 병증인식 모델들을 학습하여, 병증인식의 범위와 정확도를 향상시키는 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 병증정보 제공 방법은, cycle GAN이, 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계; 및 병증인식 모델이, 변환된 제1 의료영상을 분석하여 병증을 예측하는 단계;를 포함한다.
cycle GAN은, 변환된 제1 의료영상을 역변환한 의료영상과 제1 의료영상 간의 유사성에 대한 Loss와 병증인식 모델에 의해 예측한 병증과 GT(Ground Truth) 병증 간의 Loss가 줄어드는 방향으로 학습될 수 있다.
병증인식 모델은, 제2 의료영상을 입력받아 병증을 예측하도록 제1 학습되고, cycle GAN에 의해 변환된 제1 의료영상을 입력받아 병증을 예측하도록 제2 학습될 수 있다.
병증인식 모델의 제2 학습은, 병증인식 모델의 제1 학습 보다 나중에 수행될 수 있다. 그리고, cycle GAN의 학습과 병증인식 모델의 제2 학습은 함께 수행될 수 있다.
제1 의료영상은, 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고, 제2 의료영상은, 제2 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상일 수 있다.
제1 의료영상은, 제1 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고, 제2 의료영상은, 제2 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상일 수 있다.
본 발명의 실시예에 따른 병증정보 제공 방법은, 제1 의료영상을 전처리하는 단계;를 더 포함하고, 변환 단계는, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환할 수 있다.
전처리 단계는, 제1 의료영상의 음영지역과 해상도를 제2 의료영상과 일치시킬 수 있다.
한편, 본 발명의 다른 실시예에 따른, 병증정보 제공 시스템은, 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 cycle GAN; 및 변환된 제1 의료영상을 분석하여 병증을 예측하는 병증인식 모델;을 포함한다.
한편, 본 발명의 다른 실시예에 따른, 의료영상 변환 방법은, 제1 의료영상을 전처리 하는 단계; 및 cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 의료영상 변환 방법은, 제1 의료영상을 전처리 하는 단계; 및 cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 이종 캡슐내시경 간의 도메인 적응에 의해 병증인식 모델들을 학습하여, 한 기종의 캡슐내시경을 통해 개발된 병증인식 모델을 다른 기종에 사용하는 경우에도 높은 인식 성능을 낼 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 이종 간의 캡슐내시경에서 뿐만이 아니라, 동종의 캡슐내시경이라 하더라도 병원마다 환자의 질환 종류나 캡슐내시경의 설정, 캡슐내시경 데이터의 저장 방식이 서로 다른 병원들에 적용하면, 다른 병원에서 확보된 캡슐내시경에 대해서도 높은 병증인식 성능을 확보할 수 있게 되며, 최종적으로는 어떤 종류의 캡슐내시경, 특정 환자, 특정 병원 등의 환경변화에도 성능 저하가 크지 않은 보편적인 인공지능 모델을 만들 수 있게 된다.
나아가, 본 발명의 실시예들에 따르면, 의료진들이 자신에게 익숙하지 않은 종류의 캡슐내시경 영상을 자신에게 익숙한 캡슐내시경 영상으로 변환하여 병증을 판단할 수 있게 되어, 의료진의 편의를 도모하고 진단의 정확도를 높일 수 있게 된다.
도 1은 캡슐내시경을 이용한 질환정보 제공 시스템을 도시한 도면,
도 2 및 도 3은 이종의 캡슐내시경으로 확보된 캡슐내시경 영상으로부터 병증을 예측하는 상황을 나타낸 도면,
도 4 및 도 5는 이종의 캡슐내시경으로 확보된 캡슐내시경 영상으로 병증인식 모델을 학습시키는 상황을 나타낸 도면,
도 6은 본 발명의 일 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면,
도 7은 본 발명의 다른 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는, 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공방법을 제시한다. 구체적으로, 한 기종의 캡슐내시경으로 구축한 DB를 기반으로, 다른 기종의 캡슐내시경으로 구축된 DB로 학습된 병증인식 모델을 효과적으로 학습시키는 방법을 제시한다.
도 6은 본 발명의 일 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면이다. 본 발명의 실시예에 따른 병증정보 제공 시스템은 도 1에 도시된 질환정보 제공 시스템 #1(10)을 개선한 시스템에 해당한다.
본 발명의 실시예에 따른 병증정보 제공 시스템은, 도시된 바와 같이, 전처리부 #1(110), cycle GAN(Generative Adversarial Network) #1(120), 병증인식 모델 #1(130), cycle GAN 학습부 #1(140) 및 병증인식 모델 학습부 #1(150)를 포함하여 구성된다. 본 발명의 실시예에 따른 병증정보 제공 시스템의 구성들은 SW로 구현될 수 있음은 물론 이 SW를 구동하는 프로세서로 구현할 수도 있다.
DB #2(22)는 전술한 도 1에서 제시한 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장되어 있는 DB이다.
전처리부 #1(110)는 DB #2(22)에 저장되어 있는 캡슐내시경 영상을 전처리하기 위한 구성으로, DB #2(22)의 캡슐내시경 영상에 대해, 음영지역과 해상도를 DB #1(12)의 캡슐내시경 영상(캡슐내시경 #1(11)로 확보된 캡슐내시경 영상)과 일치시킨다.
DB #2(22)의 캡슐내시경 영상(캡슐내시경 #2(21)로 확보된 캡슐내시경 영상)을 DB #1(12)의 캡슐내시경 영상(캡슐내시경 #1(11)로 확보된 캡슐내시경 영상)에 유사한 형태로 변환하기 위해, 전처리부 #1(110)는 캡슐내시경들(11,21)의 렌즈 차이에 의해서 발생하는 음영지역을 일치시키고, 캡슐내시경들(11,21)의 해상도 차이를 일치시키는 것이다.
cycle GAN #1(120)은 전처리부 #1(110)에 의해 전처리된 DB #2(22)의 캡슐내시경 영상을 입력받아 분석하여, DB #2(22)의 캡슐내시경 영상(캡슐내시경 #1(11)로 확보된 캡슐내시경 영상) 처럼 변환하도록 학습된 인공지능 모델이다.
'캡슐내시경 #1(11)로 확보된 캡슐내시경 영상'과 '캡슐내시경 #2(21)로 확보된 캡슐내시경 영상'은 초점 차이에 의한 블러 정도, 조명에 따른 밝기 차이, 캡슐의 부력과 자세제어에 따른 영상의 컨텐츠 차이 등이 있는데, cycle GAN #1(120)은 딥러닝 기반의 도메인 적응 기법을 적용하여, '캡슐내시경 #1(11)로 확보된 캡슐내시경 영상'을 '캡슐내시경 #2(21)로 확보된 캡슐내시경 영상'과 유사하게 변환하는 것이다.
병증인식 모델 #1(130)은 cycle GAN #1(120)에 의해 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상 처럼 변환된 DB #2(22)의 캡슐내시경 영상을 입력받아, 분석하여 병증을 예측하는 인공지능 모델이다.
cycle GAN 학습부 #1(140)은, cycle GAN #1(120)이 DB #2(22)의 캡슐내시경 영상을 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상에 처럼 변환하도록 학습시킨다.
이를 위해, cycle GAN 학습부 #1(140)는 'cycle GAN #1(120)에 의해 변환된 DB #2(22)의 캡슐내시경 영상을 역변환한 캡슐내시경 영상'과 'cycle GAN #1(120)에 입력된 DB #2(22)의 캡슐내시경 영상 원본' 간의 Loss가 줄어드는 방향으로 cycle GAN #1(120)의 파라미터들을 학습시킨다.
이와 더불어, cycle GAN 학습부 #1(140)는 cycle GAN #1(120)의 학습에 병증인식 모델 #1(130)의 예측 결과를 더 이용한다. 구체적으로, cycle GAN 학습부 #1(140)는 병증인식 모델 #1(130)에 의해 예측된 병증과 GT(Ground Truth) 병증 간의 Loss가 줄어드는 방향으로, cycle GAN #1(120)을 학습시킨다.
cycle GAN #1(120)으로 하여금, DB #2(22)의 캡슐내시경 영상을 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상에 처럼 변환하는 것에서 나아가, 병증인식 모델 #1(130)이 병증을 정확하게 예측할 수 있도록 하는 방향으로 캡슐내시경 영상 변환이 이루어지도록 하기 위한 것이다.
cycle GAN 학습부 #1(140)가 이용하는 전체 Loss 함수는 다음과 같이 표현할 수 있다.
LT = aLC + (1-a)LP
여기서, LT는 전체 Loss 함수이고, LC는 변환된 DB #2(22)의 캡슐내시경 영상을 역변환한 캡슐내시경 영상과 DB #2(22)의 캡슐내시경 영상 원본 간의 Loss이며, LP는 cycle GAN #1(120)에 의해 예측된 병증과 GT 병증 간의 Loss이고, a는 LT에서 LC와 LP의 비중을 결정하기 위한 가중치이다.
한편, 병증인식 모델 #1(130)은, 도 1에 도시된 병증인식 모델 #1(11)과 같이 DB #1(12)의 캡슐내시경 영상들로 학습된 것이다.
이와 같은 상태의 병증인식 모델 #1(130)에 대해, 병증인식 모델 학습부 #1(150)은 cycle GAN #1(120)에 의해 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상(DB #1(12)의 캡슐내시경 영상) 처럼 변환된 DB #2(22)의 캡슐내시경 영상을 이용하여 병증인식 모델 #1(130)을 학습시킨다.
구체적으로, 병증인식 모델 학습부 #1(150)은 cycle GAN #1(120)에 의해 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상 처럼 변환된 DB #2(22)의 캡슐내시경 영상을 입력받아 예측한 병증과 GT 병증 간의 Loss가 줄어드는 방향으로 병증인식 모델 #1(130)을 학습시킨다.
학습 단계에서 cycle GAN 학습부 #1(140)에 의한 cycle GAN #1(120)의 학습과 병증인식 모델 학습부 #1(150)에 의한 병증인식 모델 #1(130)의 학습은 동시에 함께 수행된다.
학습 결과, cycle GAN #1(120)은 DB #2(22)의 캡슐내시경 영상을 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상에 가깝게 변환할 수 있게 되고, 병증인식 모델 #1(130)은 cycle GAN #1(120)에 의해 변환된 캡슐내시경 영상으로부터 병증정보를 정확하게 예측할 수 있게 된다.
도 7은 본 발명의 다른 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면이다. 본 발명의 실시예에 따른 병증정보 제공 시스템은 도 1에 도시된 질환정보 제공 시스템 #2(20)을 개선한 시스템에 해당한다.
본 발명의 실시예에 따른 병증정보 제공 시스템은, 도시된 바와 같이, 전처리부 #2(210), cycle GAN #2(220), 병증인식 모델 #2(230), cycle GAN 학습부 #2(240) 및 병증인식 모델 학습부 #2(250)를 포함하여 구성된다.
DB #1(12)은 전술한 도 1에서 제시한 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장되어 있는 DB이다.
전처리부 #2(210)는 DB #1(12)에 저장되어 있는 캡슐내시경 영상에 대해, 음영지역과 해상도를 DB #2(22)의 캡슐내시경 영상(캡슐내시경 #2(21)로 확보된 캡슐내시경 영상)과 일치시킨다.
cycle GAN #2(220)은 전처리부 #2(210)에 의해 전처리된 DB #1(12)의 캡슐내시경 영상을 입력받아 분석하여, DB #2(22)의 캡슐내시경 영상(캡슐내시경 #2(21)로 확보된 캡슐내시경 영상) 처럼 변환하도록 학습된 인공지능 모델이다.
병증인식 모델 #2(230)은 cycle GAN #2(220)에 의해 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상 처럼 변환된 DB #1(12)의 캡슐내시경 영상을 입력받아, 분석하여 병증을 예측하는 인공지능 모델이다.
cycle GAN 학습부 #2(240)은, cycle GAN #2(220)이 DB #1(12)의 캡슐내시경 영상을 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상에 처럼 변환하되, 병증인식 모델 #2(230)의 병증인식 정확도는 증가하도록, cycle GAN #2(220)을 학습시킨다.
병증인식 모델 #2(230)은, 도 1에 도시된 병증인식 모델 #2(21)과 같이 DB #2(22)의 캡슐내시경 영상들로 학습된 것이다.
이와 같은 상태의 병증인식 모델 #2(230)에 대해, 병증인식 모델 학습부 #2(250)은 cycle GAN #2(220)에 의해 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상(DB #2(22)의 캡슐내시경 영상) 처럼 변환된 DB #1(12)의 캡슐내시경 영상을 이용하여 병증인식 모델 #2(230)을 학습시킨다.
학습 결과, cycle GAN #2(220)는 DB #1(12)의 캡슐내시경 영상을 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상에 가깝게 변환할 수 있게 되고, 병증인식 모델 #2(230)은 cycle GAN #2(220)에 의해 변환된 캡슐내시경 영상으로부터 병증정보를 정확하게 예측할 수 있게 된다.
한편, 본 발명의 실시예에 따른 병증정보 제공 시스템의 구성들에 대한 상세한 설명은, 도 6에 도시된 시스템의 구성들에 대한 상세한 설명으로부터 유추 가능하므로, 생략한다.
지금까지, 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는, 한 기종의 캡슐내시경으로 구축된 DB로 학습된 병증인식 모델에 대해, 다른 기종의 캡슐내시경으로 구축한 DB를 기반으로 학습시켜, 병증인식 범위를 확장하는 방법을 제시하였다.
한편, 본 발명의 기술적 사상은 이종의 캡슐내시경이 아닌 동종의 캡슐내시경에 대해서도 적용 가능하다. 이를 테면, 의료기관 A에서 기종 a의 캡슐내시경을 이용하여 구축한 DB로 학습된 병증인식 모델 A에 대해, 의료기관 B에서 동종인 기종 a의 캡슐내시경을 이용하여 구축한 DB를 cycle GAN으로 변환하고 병증인식 모델 A에서 병증을 예측하는 시스템에 대해서도, 본 발명의 기술적 사상이 적용될 수 있다.
의료기관 마다 환자의 질환 종류나 캡슐내시경의 설정, 캡슐내시경 데이터의 저장 방식이 서로 다르기 때문에, 본 발명의 실시예에 따른 방법이 적용되는 경우 다른 병원에서 확보된 캡슐내시경에 대해서도 높은 병증인식 성능을 확보할 수 있게 된다.
궁극적으로, 본 발명의 실시예에 따르면, 어떤 종류의 캡슐내시경, 특정 환자, 특정 병원 등의 환경변화에도 성능 저하가 크지 않은 보편적인 병증인식 모델을 구축할 수 있게 된다.
한편, cycle GAN(120,220)에 의해 변환된 캡슐내시경 영상을 의료진 단말을 통해 의료 정보로 제공하는 기능을 추가할 수 있다. 이를 통해, 의료진은 자신에게 익숙한 캡슐내시경 영상으로 병증을 판단할 수 있게 되어, 의료진의 편의를 도모하고 진단의 정확도를 높일 수 있게 된다.
나아가, 위 실시예에서 언급한 캡슐내시경 영상은 의료영상의 일 예로 언급한 것에 불과하다. 캡슐내시경 이외의 다른 내시경 영상은 물론, 내시경 영상 이외의 다른 의료영상에 대해서도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110, 210 : 전처리부
120, 220 : cycle GAN(Generative Adversarial Network)
130, 230 : 병증인식 모델
140, 240 : cycle GAN 학습부
150, 250 : 병증인식 모델 학습부

Claims (12)

  1. cycle GAN이, 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계; 및
    병증인식 모델이, 변환된 제1 의료영상을 분석하여 병증을 예측하는 단계;를 포함하는 것을 특징으로 하는 병증정보 제공 방법.
  2. 청구항 1에 있어서,
    cycle GAN은,
    변환된 제1 의료영상을 역변환한 의료영상과 제1 의료영상 간의 Loss와 병증인식 모델에 의해 예측한 병증과 GT(Ground Truth) 병증 간의 Loss가 줄어드는 방향으로 학습되는 것을 특징으로 하는 병증정보 제공 방법.
  3. 청구항 2에 있어서,
    병증인식 모델은,
    제2 의료영상을 입력받아 병증을 예측하도록 제1 학습되고,
    cycle GAN에 의해 변환된 제1 의료영상을 입력받아 병증을 예측하도록 제2 학습되는 것을 특징으로 하는 병증정보 제공 방법.
  4. 청구항 3에 있어서,
    병증인식 모델의 제2 학습은,
    병증인식 모델의 제1 학습 보다 나중에 수행되는 것을 특징으로 하는 병증정보 제공 방법.
  5. 청구항 4에 있어서,
    cycle GAN의 학습과 병증인식 모델의 제2 학습은 함께 수행되는 것을 특징으로 하는 병증정보 제공 방법.
  6. 청구항 2에 있어서,
    제1 의료영상은,
    제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고,
    제2 의료영상은,
    제2 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상인 것을 특징으로 하는 병증정보 제공 방법.
  7. 청구항 2에 있어서,
    제1 의료영상은,
    제1 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고,
    제2 의료영상은,
    제2 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상인 것을 특징으로 하는 병증정보 제공 방법.
  8. 청구항 2에 있어서,
    제1 의료영상을 전처리하는 단계;를 더 포함하고,
    변환 단계는,
    전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 것을 특징으로 하는 병증정보 제공 방법.
  9. 청구항 8에 있어서,
    전처리 단계는,
    제1 의료영상의 음영지역과 해상도를 제2 의료영상과 일치시키는 것을 특징으로 하는 병증정보 제공 방법.
  10. 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 cycle GAN; 및
    변환된 제1 의료영상을 분석하여 병증을 예측하는 병증인식 모델;을 포함하는 것을 특징으로 하는 병증정보 제공 시스템.
  11. 제1 의료영상을 전처리 하는 단계; 및
    cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함하는 것을 특징으로 하는 의료영상 변환 방법.
  12. 제1 의료영상을 전처리 하는 단계; 및
    cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함하는 것을 특징으로 하는 의료영상 변환 방법.
KR1020210115451A 2021-08-31 2021-08-31 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법 KR102616961B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210115451A KR102616961B1 (ko) 2021-08-31 2021-08-31 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법
PCT/KR2022/000434 WO2023033266A1 (ko) 2021-08-31 2022-01-11 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210115451A KR102616961B1 (ko) 2021-08-31 2021-08-31 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법

Publications (2)

Publication Number Publication Date
KR20230033237A true KR20230033237A (ko) 2023-03-08
KR102616961B1 KR102616961B1 (ko) 2023-12-27

Family

ID=85411383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210115451A KR102616961B1 (ko) 2021-08-31 2021-08-31 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법

Country Status (2)

Country Link
KR (1) KR102616961B1 (ko)
WO (1) WO2023033266A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102115534B1 (ko) 2019-10-14 2020-05-26 주식회사 루닛 GAN(Generative Adversarial Networks)을 이용하는 이상 검출 방법, 장치 및 그 시스템
KR20200070062A (ko) 2018-12-07 2020-06-17 주식회사 포인바이오닉스 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법
KR20200131020A (ko) 2019-05-13 2020-11-23 (주)비주얼터미놀로지 의료기계 학습 시스템
KR20210016171A (ko) * 2019-08-01 2021-02-15 동국대학교 산학협력단 의료영상을 이용한 질환정보 제공 방법
KR20210030669A (ko) * 2019-09-10 2021-03-18 인하대학교 산학협력단 Gan을 이용한 의료 영상의 광강도 분포 일반화 기법
KR20210081805A (ko) 2019-12-24 2021-07-02 아주대학교산학협력단 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373023B1 (en) * 2019-01-28 2019-08-06 StradVision, Inc. Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation
KR102039138B1 (ko) * 2019-04-02 2019-10-31 주식회사 루닛 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치
KR20210098381A (ko) * 2020-01-31 2021-08-10 고려대학교 산학협력단 병변 이미지 시각화 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200070062A (ko) 2018-12-07 2020-06-17 주식회사 포인바이오닉스 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법
KR20200131020A (ko) 2019-05-13 2020-11-23 (주)비주얼터미놀로지 의료기계 학습 시스템
KR20210016171A (ko) * 2019-08-01 2021-02-15 동국대학교 산학협력단 의료영상을 이용한 질환정보 제공 방법
KR20210030669A (ko) * 2019-09-10 2021-03-18 인하대학교 산학협력단 Gan을 이용한 의료 영상의 광강도 분포 일반화 기법
KR102115534B1 (ko) 2019-10-14 2020-05-26 주식회사 루닛 GAN(Generative Adversarial Networks)을 이용하는 이상 검출 방법, 장치 및 그 시스템
KR20210081805A (ko) 2019-12-24 2021-07-02 아주대학교산학협력단 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치

Also Published As

Publication number Publication date
WO2023033266A1 (ko) 2023-03-09
KR102616961B1 (ko) 2023-12-27

Similar Documents

Publication Publication Date Title
US10902588B2 (en) Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
WO2022199462A1 (zh) 医学图像报告生成模型的训练方法及图像报告生成方法
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
CN111274425B (zh) 医疗影像分类方法、装置、介质及电子设备
WO2021052875A1 (en) Systems and methods for incorporating multimodal data to improve attention mechanisms
CN112614571B (zh) 神经网络模型的训练方法、装置、图像分类方法和介质
US20200364859A1 (en) Automated Anatomic And Regional Location Of Disease Features In Colonoscopy Videos
WO2022147885A1 (zh) 影像驱动的脑图谱构建方法、装置、设备及存储介质
WO2023165012A1 (zh) 问诊方法和装置、电子设备及存储介质
WO2024087359A1 (zh) 用于内窥镜的病灶检测方法、装置、电子设备及存储介质
JP6707131B2 (ja) 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
KR20230033237A (ko) 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법
CN117350979A (zh) 一种基于医疗超声影像的任意病灶分割和追踪系统
CN116525052A (zh) 结合句子级对比学习的层级式影像报告生成方法和装置
JP2023126130A (ja) オブジェクト検出のためのコンピュータにより実施される方法、データ処理機器及びコンピュータプログラム
CN115100723A (zh) 面色分类方法、装置、计算机可读程序介质及电子设备
CN116994695A (zh) 报告生成模型的训练方法、装置、设备及存储介质
CN114155606A (zh) 基于人体动作分析的语义识别方法及相关装置
WO2020230972A1 (ko) 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치
US20200279647A1 (en) Dialogue flow using semantic simplexes
Lin et al. A meta-fusion RCNN network for endoscopic visual bladder lesions intelligent detection
CN116824308B (zh) 图像分割模型训练方法与相关方法、装置、介质及设备
US20230326207A1 (en) Cascade stage boundary awareness networks for surgical workflow analysis
US20220059239A1 (en) Image or waveform analysis method, system and non-transitory computer-readable storage medium
US20240176959A1 (en) Method and apparatus for generating language model using crossmodal information

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant