KR102616961B1

KR102616961B1 - 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법

Info

Publication number: KR102616961B1
Application number: KR1020210115451A
Authority: KR
Inventors: 임윤정; 황영배
Original assignee: 동국대학교 산학협력단; 충북대학교 산학협력단
Priority date: 2021-08-31
Filing date: 2021-08-31
Publication date: 2023-12-27
Also published as: EP4398263A1; WO2023033266A1; KR20230033237A

Abstract

이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법이 제공된다. 본 발명의 실시예에 따른 병증정보 제공 방법은, cycle GAN이 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하고, 병증인식 모델이 변환된 제1 의료영상을 분석하여 병증을 예측한다. 이에 의해, 이종 캡슐내시경 간의 도메인 적응에 의해 병증인식 모델들을 학습하여, 한 기종의 캡슐내시경을 통해 개발된 병증인식 모델을 다른 기종에 사용하는 경우에도 높은 인식 성능을 낼 수 있게 된다.

Description

이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법{Method of providing disease information by domain adaptation between heterogeneous capsule endoscopes}

본 발명은 인공지능을 활용한 의료 진단 기술에 관한 것으로, 더욱 상세하게는 이종 캡슐내시경 간의 도메인 적응 기법을 이용하여 병증정보를 제공하는 방법 및 시스템에 관한 것이다.

도 1은 캡슐내시경을 이용한 질환정보 제공 시스템을 도시한 도면이다. 도 1에는 2개의 질환정보 제공 시스템들(10,20)이 도시되어 있는데, 좌측의 시스템(10)과 우측의 시스템(20)은 각기 다른 기종의 캡슐내시경을 이용한다.

이를 테면, 좌측에 도시된 질환정보 제공 시스템 #1(10)에서 이용하는 캡슐내시경 #1(11)은 A 社에서 제조/판매하는 기종이고, 우측에 도시된 질환정보 제공 시스템 #2(20)에서 이용하는 캡슐내시경 #2(21)는 B 社에서 제조/판매하는 기종인 것이다

질환정보 제공 시스템 #1(10)에서, 캡슐내시경 #1(11)으로 확보된 캡슐내시경 영상들은 DB #1(12)에 저장된다. 의료진은 자신의 단말(14)을 이용하여, DB #1(12)에 저장된 캡슐내시경 영상들에 대해 자신의 진단결과들인 병증정보들을 어노테이션 한다.

이에 의해, DB #1(12)에는 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장된다. 병증인식 모델 #1(13)는 DB #1(12)에 저장된 캡슐내시경 영상들을 입력받아 병증정보들을 예측할 수 있도록 학습되는 인공지능 모델이다.

이를 통해, 병증인식 모델 #1(13)은 새로운 캡슐내시경이 입력되면 이를 분석하여 자동으로 병증을 예측할 수 있게 된다.

한편, 질환정보 제공 시스템 #2(20)에서는, 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상들이 DB #2(22)에 저장된다. 그리고, 의료진은 자신의 단말(24)을 이용하여, DB #2(22)에 저장된 캡슐내시경 영상들에 대해 자신의 진단결과들인 병증정보들을 어노테이션 한다.

이에 의해, DB #2(22)에도 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장된다. 병증인식 모델 #2(23)는 DB #2(22)에 저장된 캡슐내시경 영상들을 입력받아 병증정보들을 예측할 수 있도록 학습되는 인공지능 모델이다.

이를 통해, 병증인식 모델 #2(23)도 새로운 캡슐내시경이 입력되면 이를 분석하여 자동으로 병증을 예측할 수 있게 된다.

하지만, 병증인식 모델 #1(13)은 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상들만을 학습한 관계로, 도 2에 도시된 바와 같이 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상이 입력되는 경우 병증 예측의 정확도가 매우 떨어진다.

이는, 병증인식 모델 #2(23)의 경우도 마찬가지이다. 병증인식 모델 #2(23)도 도 3에 도시된 바와 같이 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상이 입력되는 경우 병증 예측의 정확도가 매우 떨어진다.

이를 해소하기 위한 방안으로, 도 4에 도시된 바와 같이, DB #2(22)에 저장된 캡슐내시경 영상들과 병증정보들의 데이터 셋으로 병증인식 모델 #1(13)을 재학습시키는 것을 상정할 수 있다.

하지만, DB #2(22)에 저장된 캡슐내시경 영상들인 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상들은 병증인식 모델 #1(13)을 학습시켰던 DB #1(12)에 저장된 캡슐내시경 영상들인 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상들과 여러 가지 면에서 많이 다르다. 이에 의해, 병증인식 모델 #1(13)은 DB #2(22)에 대해서 기존보다 성능이 올라갈 수는 있지만, 그리 높은 성능을 기대할 수 없고, DB #1(12)에 대해서는 기존보다 성능이 떨어질 수 있다.

이는, 병증인식 모델 #2(23)의 경우도 마찬가지이다. 즉, 도 5에 도시된 바와 같이, DB #1(12)에 저장된 캡슐내시경 영상들과 병증정보들의 데이터 셋으로 병증인식 모델 #2(23)을 재학습시키는 경우도 학습 효과는 기대 만큼 좋지 않다.

한국공개특허 제2021-0081805호(2021.07.02) 한국공개특허 제2020-0131020호(2020.11.23) 한국공개특허 제2020-0070062호(2020.06.17) 한국등록특허 제2115534호(2020.05.20)

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 이종의 캡슐내시경 DB들이 구축된 상태에서, 이종 캡슐내시경 간의 도메인 적응에 의해 병증인식 모델들을 학습하여, 병증인식의 범위와 정확도를 향상시키는 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 병증정보 제공 방법은, cycle GAN이, 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계; 및 병증인식 모델이, 변환된 제1 의료영상을 분석하여 병증을 예측하는 단계;를 포함한다.

cycle GAN은, 변환된 제1 의료영상을 역변환한 의료영상과 제1 의료영상 간의 유사성에 대한 Loss와 병증인식 모델에 의해 예측한 병증과 GT(Ground Truth) 병증 간의 Loss가 줄어드는 방향으로 학습될 수 있다.

병증인식 모델은, 제2 의료영상을 입력받아 병증을 예측하도록 제1 학습되고, cycle GAN에 의해 변환된 제1 의료영상을 입력받아 병증을 예측하도록 제2 학습될 수 있다.

병증인식 모델의 제2 학습은, 병증인식 모델의 제1 학습 보다 나중에 수행될 수 있다. 그리고, cycle GAN의 학습과 병증인식 모델의 제2 학습은 함께 수행될 수 있다.

제1 의료영상은, 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고, 제2 의료영상은, 제2 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상일 수 있다.

제1 의료영상은, 제1 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고, 제2 의료영상은, 제2 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상일 수 있다.

본 발명의 실시예에 따른 병증정보 제공 방법은, 제1 의료영상을 전처리하는 단계;를 더 포함하고, 변환 단계는, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환할 수 있다.

전처리 단계는, 제1 의료영상의 음영지역과 해상도를 제2 의료영상과 일치시킬 수 있다.

한편, 본 발명의 다른 실시예에 따른, 병증정보 제공 시스템은, 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 cycle GAN; 및 변환된 제1 의료영상을 분석하여 병증을 예측하는 병증인식 모델;을 포함한다.

한편, 본 발명의 다른 실시예에 따른, 의료영상 변환 방법은, 제1 의료영상을 전처리 하는 단계; 및 cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 이종 캡슐내시경 간의 도메인 적응에 의해 병증인식 모델들을 학습하여, 한 기종의 캡슐내시경을 통해 개발된 병증인식 모델을 다른 기종에 사용하는 경우에도 높은 인식 성능을 낼 수 있게 된다.

또한, 본 발명의 실시예들에 따르면, 이종 간의 캡슐내시경에서 뿐만이 아니라, 동종의 캡슐내시경이라 하더라도 병원마다 환자의 질환 종류나 캡슐내시경의 설정, 캡슐내시경 데이터의 저장 방식이 서로 다른 병원들에 적용하면, 다른 병원에서 확보된 캡슐내시경에 대해서도 높은 병증인식 성능을 확보할 수 있게 되며, 최종적으로는 어떤 종류의 캡슐내시경, 특정 환자, 특정 병원 등의 환경변화에도 성능 저하가 크지 않은 보편적인 인공지능 모델을 만들 수 있게 된다.

나아가, 본 발명의 실시예들에 따르면, 의료진들이 자신에게 익숙하지 않은 종류의 캡슐내시경 영상을 자신에게 익숙한 캡슐내시경 영상으로 변환하여 병증을 판단할 수 있게 되어, 의료진의 편의를 도모하고 진단의 정확도를 높일 수 있게 된다.

도 1은 캡슐내시경을 이용한 질환정보 제공 시스템을 도시한 도면,
도 2 및 도 3은 이종의 캡슐내시경으로 확보된 캡슐내시경 영상으로부터 병증을 예측하는 상황을 나타낸 도면,
도 4 및 도 5는 이종의 캡슐내시경으로 확보된 캡슐내시경 영상으로 병증인식 모델을 학습시키는 상황을 나타낸 도면,
도 6은 본 발명의 일 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면,
도 7은 본 발명의 다른 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는, 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공방법을 제시한다. 구체적으로, 한 기종의 캡슐내시경으로 구축한 DB를 기반으로, 다른 기종의 캡슐내시경으로 구축된 DB로 학습된 병증인식 모델을 효과적으로 학습시키는 방법을 제시한다.

도 6은 본 발명의 일 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면이다. 본 발명의 실시예에 따른 병증정보 제공 시스템은 도 1에 도시된 질환정보 제공 시스템 #1(10)을 개선한 시스템에 해당한다.

본 발명의 실시예에 따른 병증정보 제공 시스템은, 도시된 바와 같이, 전처리부 #1(110), cycle GAN(Generative Adversarial Network) #1(120), 병증인식 모델 #1(130), cycle GAN 학습부 #1(140) 및 병증인식 모델 학습부 #1(150)를 포함하여 구성된다. 본 발명의 실시예에 따른 병증정보 제공 시스템의 구성들은 SW로 구현될 수 있음은 물론 이 SW를 구동하는 프로세서로 구현할 수도 있다.

DB #2(22)는 전술한 도 1에서 제시한 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장되어 있는 DB이다.

전처리부 #1(110)는 DB #2(22)에 저장되어 있는 캡슐내시경 영상을 전처리하기 위한 구성으로, DB #2(22)의 캡슐내시경 영상에 대해, 음영지역과 해상도를 DB #1(12)의 캡슐내시경 영상(캡슐내시경 #1(11)로 확보된 캡슐내시경 영상)과 일치시킨다.

DB #2(22)의 캡슐내시경 영상(캡슐내시경 #2(21)로 확보된 캡슐내시경 영상)을 DB #1(12)의 캡슐내시경 영상(캡슐내시경 #1(11)로 확보된 캡슐내시경 영상)에 유사한 형태로 변환하기 위해, 전처리부 #1(110)는 캡슐내시경들(11,21)의 렌즈 차이에 의해서 발생하는 음영지역을 일치시키고, 캡슐내시경들(11,21)의 해상도 차이를 일치시키는 것이다.

cycle GAN #1(120)은 전처리부 #1(110)에 의해 전처리된 DB #2(22)의 캡슐내시경 영상을 입력받아 분석하여, DB #2(22)의 캡슐내시경 영상(캡슐내시경 #1(11)로 확보된 캡슐내시경 영상) 처럼 변환하도록 학습된 인공지능 모델이다.

'캡슐내시경 #1(11)로 확보된 캡슐내시경 영상'과 '캡슐내시경 #2(21)로 확보된 캡슐내시경 영상'은 초점 차이에 의한 블러 정도, 조명에 따른 밝기 차이, 캡슐의 부력과 자세제어에 따른 영상의 컨텐츠 차이 등이 있는데, cycle GAN #1(120)은 딥러닝 기반의 도메인 적응 기법을 적용하여, '캡슐내시경 #1(11)로 확보된 캡슐내시경 영상'을 '캡슐내시경 #2(21)로 확보된 캡슐내시경 영상'과 유사하게 변환하는 것이다.

병증인식 모델 #1(130)은 cycle GAN #1(120)에 의해 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상 처럼 변환된 DB #2(22)의 캡슐내시경 영상을 입력받아, 분석하여 병증을 예측하는 인공지능 모델이다.

cycle GAN 학습부 #1(140)은, cycle GAN #1(120)이 DB #2(22)의 캡슐내시경 영상을 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상에 처럼 변환하도록 학습시킨다.

이를 위해, cycle GAN 학습부 #1(140)는 'cycle GAN #1(120)에 의해 변환된 DB #2(22)의 캡슐내시경 영상을 역변환한 캡슐내시경 영상'과 'cycle GAN #1(120)에 입력된 DB #2(22)의 캡슐내시경 영상 원본' 간의 Loss가 줄어드는 방향으로 cycle GAN #1(120)의 파라미터들을 학습시킨다.

이와 더불어, cycle GAN 학습부 #1(140)는 cycle GAN #1(120)의 학습에 병증인식 모델 #1(130)의 예측 결과를 더 이용한다. 구체적으로, cycle GAN 학습부 #1(140)는 병증인식 모델 #1(130)에 의해 예측된 병증과 GT(Ground Truth) 병증 간의 Loss가 줄어드는 방향으로, cycle GAN #1(120)을 학습시킨다.

cycle GAN #1(120)으로 하여금, DB #2(22)의 캡슐내시경 영상을 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상에 처럼 변환하는 것에서 나아가, 병증인식 모델 #1(130)이 병증을 정확하게 예측할 수 있도록 하는 방향으로 캡슐내시경 영상 변환이 이루어지도록 하기 위한 것이다.

cycle GAN 학습부 #1(140)가 이용하는 전체 Loss 함수는 다음과 같이 표현할 수 있다.

L_T = aL_C + (1-a)L_P

여기서, L_T는 전체 Loss 함수이고, L_C는 변환된 DB #2(22)의 캡슐내시경 영상을 역변환한 캡슐내시경 영상과 DB #2(22)의 캡슐내시경 영상 원본 간의 Loss이며, L_P는 cycle GAN #1(120)에 의해 예측된 병증과 GT 병증 간의 Loss이고, a는 L_T에서 L_C와 L_P의 비중을 결정하기 위한 가중치이다.

한편, 병증인식 모델 #1(130)은, 도 1에 도시된 병증인식 모델 #1(11)과 같이 DB #1(12)의 캡슐내시경 영상들로 학습된 것이다.

이와 같은 상태의 병증인식 모델 #1(130)에 대해, 병증인식 모델 학습부 #1(150)은 cycle GAN #1(120)에 의해 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상(DB #1(12)의 캡슐내시경 영상) 처럼 변환된 DB #2(22)의 캡슐내시경 영상을 이용하여 병증인식 모델 #1(130)을 학습시킨다.

구체적으로, 병증인식 모델 학습부 #1(150)은 cycle GAN #1(120)에 의해 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상 처럼 변환된 DB #2(22)의 캡슐내시경 영상을 입력받아 예측한 병증과 GT 병증 간의 Loss가 줄어드는 방향으로 병증인식 모델 #1(130)을 학습시킨다.

학습 단계에서 cycle GAN 학습부 #1(140)에 의한 cycle GAN #1(120)의 학습과 병증인식 모델 학습부 #1(150)에 의한 병증인식 모델 #1(130)의 학습은 동시에 함께 수행된다.

학습 결과, cycle GAN #1(120)은 DB #2(22)의 캡슐내시경 영상을 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상에 가깝게 변환할 수 있게 되고, 병증인식 모델 #1(130)은 cycle GAN #1(120)에 의해 변환된 캡슐내시경 영상으로부터 병증정보를 정확하게 예측할 수 있게 된다.

도 7은 본 발명의 다른 실시예에 따른 병증정보 제공 시스템의 구조를 도시한 도면이다. 본 발명의 실시예에 따른 병증정보 제공 시스템은 도 1에 도시된 질환정보 제공 시스템 #2(20)을 개선한 시스템에 해당한다.

본 발명의 실시예에 따른 병증정보 제공 시스템은, 도시된 바와 같이, 전처리부 #2(210), cycle GAN #2(220), 병증인식 모델 #2(230), cycle GAN 학습부 #2(240) 및 병증인식 모델 학습부 #2(250)를 포함하여 구성된다.

DB #1(12)은 전술한 도 1에서 제시한 캡슐내시경 #1(11)로 확보된 캡슐내시경 영상들과 병증정보들이 데이터 셋으로 저장되어 있는 DB이다.

전처리부 #2(210)는 DB #1(12)에 저장되어 있는 캡슐내시경 영상에 대해, 음영지역과 해상도를 DB #2(22)의 캡슐내시경 영상(캡슐내시경 #2(21)로 확보된 캡슐내시경 영상)과 일치시킨다.

cycle GAN #2(220)은 전처리부 #2(210)에 의해 전처리된 DB #1(12)의 캡슐내시경 영상을 입력받아 분석하여, DB #2(22)의 캡슐내시경 영상(캡슐내시경 #2(21)로 확보된 캡슐내시경 영상) 처럼 변환하도록 학습된 인공지능 모델이다.

병증인식 모델 #2(230)은 cycle GAN #2(220)에 의해 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상 처럼 변환된 DB #1(12)의 캡슐내시경 영상을 입력받아, 분석하여 병증을 예측하는 인공지능 모델이다.

cycle GAN 학습부 #2(240)은, cycle GAN #2(220)이 DB #1(12)의 캡슐내시경 영상을 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상에 처럼 변환하되, 병증인식 모델 #2(230)의 병증인식 정확도는 증가하도록, cycle GAN #2(220)을 학습시킨다.

병증인식 모델 #2(230)은, 도 1에 도시된 병증인식 모델 #2(21)과 같이 DB #2(22)의 캡슐내시경 영상들로 학습된 것이다.

이와 같은 상태의 병증인식 모델 #2(230)에 대해, 병증인식 모델 학습부 #2(250)은 cycle GAN #2(220)에 의해 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상(DB #2(22)의 캡슐내시경 영상) 처럼 변환된 DB #1(12)의 캡슐내시경 영상을 이용하여 병증인식 모델 #2(230)을 학습시킨다.

학습 결과, cycle GAN #2(220)는 DB #1(12)의 캡슐내시경 영상을 캡슐내시경 #2(21)로 확보된 캡슐내시경 영상에 가깝게 변환할 수 있게 되고, 병증인식 모델 #2(230)은 cycle GAN #2(220)에 의해 변환된 캡슐내시경 영상으로부터 병증정보를 정확하게 예측할 수 있게 된다.

한편, 본 발명의 실시예에 따른 병증정보 제공 시스템의 구성들에 대한 상세한 설명은, 도 6에 도시된 시스템의 구성들에 대한 상세한 설명으로부터 유추 가능하므로, 생략한다.

지금까지, 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.

위 실시예에서는, 한 기종의 캡슐내시경으로 구축된 DB로 학습된 병증인식 모델에 대해, 다른 기종의 캡슐내시경으로 구축한 DB를 기반으로 학습시켜, 병증인식 범위를 확장하는 방법을 제시하였다.

한편, 본 발명의 기술적 사상은 이종의 캡슐내시경이 아닌 동종의 캡슐내시경에 대해서도 적용 가능하다. 이를 테면, 의료기관 A에서 기종 a의 캡슐내시경을 이용하여 구축한 DB로 학습된 병증인식 모델 A에 대해, 의료기관 B에서 동종인 기종 a의 캡슐내시경을 이용하여 구축한 DB를 cycle GAN으로 변환하고 병증인식 모델 A에서 병증을 예측하는 시스템에 대해서도, 본 발명의 기술적 사상이 적용될 수 있다.

의료기관 마다 환자의 질환 종류나 캡슐내시경의 설정, 캡슐내시경 데이터의 저장 방식이 서로 다르기 때문에, 본 발명의 실시예에 따른 방법이 적용되는 경우 다른 병원에서 확보된 캡슐내시경에 대해서도 높은 병증인식 성능을 확보할 수 있게 된다.

궁극적으로, 본 발명의 실시예에 따르면, 어떤 종류의 캡슐내시경, 특정 환자, 특정 병원 등의 환경변화에도 성능 저하가 크지 않은 보편적인 병증인식 모델을 구축할 수 있게 된다.

한편, cycle GAN(120,220)에 의해 변환된 캡슐내시경 영상을 의료진 단말을 통해 의료 정보로 제공하는 기능을 추가할 수 있다. 이를 통해, 의료진은 자신에게 익숙한 캡슐내시경 영상으로 병증을 판단할 수 있게 되어, 의료진의 편의를 도모하고 진단의 정확도를 높일 수 있게 된다.

나아가, 위 실시예에서 언급한 캡슐내시경 영상은 의료영상의 일 예로 언급한 것에 불과하다. 캡슐내시경 이외의 다른 내시경 영상은 물론, 내시경 영상 이외의 다른 의료영상에 대해서도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110, 210 : 전처리부
120, 220 : cycle GAN(Generative Adversarial Network)
130, 230 : 병증인식 모델
140, 240 : cycle GAN 학습부
150, 250 : 병증인식 모델 학습부

Claims

cycle GAN이, 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계; 및
병증인식 모델이, 변환된 제1 의료영상을 분석하여 병증을 예측하는 단계;를 포함하고,
병증인식 모델은,
제2 의료영상을 입력받아 병증을 예측하도록 제1 학습되고,
제1 학습 이후에, cycle GAN에 의해 변환된 제1 의료영상을 입력받아 병증을 예측하도록 제2 학습되며,
cycle GAN의 학습과 병증인식 모델의 제2 학습은,
동시에 수행되는 것을 특징으로 하는 병증정보 제공 방법.
청구항 1에 있어서,
cycle GAN은,
변환된 제1 의료영상을 역변환한 의료영상과 제1 의료영상 간의 Loss와 병증인식 모델에 의해 예측한 병증과 GT(Ground Truth) 병증 간의 Loss가 줄어드는 방향으로 학습되는 것을 특징으로 하는 병증정보 제공 방법.
삭제
삭제
삭제
청구항 2에 있어서,
제1 의료영상은,
제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고,
제2 의료영상은,
제2 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상인 것을 특징으로 하는 병증정보 제공 방법.
청구항 2에 있어서,
제1 의료영상은,
제1 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상이고,
제2 의료영상은,
제2 의료기관에서 제1 기종의 캡슐내시경을 이용하여 수집한 캡슐내시경 영상인 것을 특징으로 하는 병증정보 제공 방법.
청구항 2에 있어서,
전처리부가, 제1 의료영상을 전처리하는 단계;를 더 포함하고,
변환 단계는,
전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 것을 특징으로 하는 병증정보 제공 방법.
청구항 8에 있어서,
전처리 단계는,
제1 의료영상의 음영지역과 해상도를 제2 의료영상과 일치시키는 것을 특징으로 하는 병증정보 제공 방법.
제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 cycle GAN; 및
변환된 제1 의료영상을 분석하여 병증을 예측하는 병증인식 모델;을 포함하고,
병증인식 모델은,
제2 의료영상을 입력받아 병증을 예측하도록 제1 학습되고,
제1 학습 이후에, cycle GAN에 의해 변환된 제1 의료영상을 입력받아 병증을 예측하도록 제2 학습되며,
cycle GAN의 학습과 병증인식 모델의 제2 학습은,
동시에 수행되는 것을 특징으로 하는 병증정보 제공 시스템.
전처리부가, 제1 의료영상을 전처리 하는 단계; 및
cycle GAN이, 전처리된 제1 의료영상을 분석하여 제2 의료영상 처럼 변환하는 단계;를 포함하고,
병증인식 모델은,
제2 의료영상을 입력받아 병증을 예측하도록 제1 학습되고,
제1 학습 이후에, cycle GAN에 의해 변환된 제1 의료영상을 입력받아 병증을 예측하도록 제2 학습되며,
cycle GAN의 학습과 병증인식 모델의 제2 학습은,
동시에 수행되는 것을 특징으로 하는 의료영상 변환 방법.
삭제