KR102559805B1 - 범용성이 향상된 인공지능에 의한 의료영상 변환방법 및 그 장치 - Google Patents

Abstract

본 발명의 일 측면은 인공지능에 의한 의료영상의 변환 방법에 관한 것으로, 더욱 상세하게는 범용성이 향상된, 생성적 적대 신경망(GAN)을 사용하여 의료영상을 변환하는 영상변환 방법 및 그 장치에 관한 것이다.
본 발명의 일 실시예에 따르면 학습모델이 다기관에서 요구하는 작업에 대해 일정한 퍼포먼스를 내기 위해서, 다양한 기관에 소속되는 전문가 집단의 다양한 평가의견을 반영함으로써 모델 범용성이 향상된 의료영상 변환 시스템을 제공할 수 있다.

Description

범용성이 향상된 인공지능에 의한 의료영상 변환방법 및 그 장치{Medical Image Conversion Method and Device based on Artificial Intelligence having Improved Versatility}

본 발명의 일 측면은 인공지능에 의한 의료영상의 변환 방법에 관한 것으로, 더욱 상세하게는 범용성이 향상된, 생성적 적대 신경망(GAN)을 사용하여 의료영상을 변환하는 영상변환 방법 및 그 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

기계학습을 수행하는 학습모델을 반영한 의료영상 변환 시스템에 있어서 그 학습의 기초가 되는 학습데이터의 수집이 중요하다.

의료데이터를 기반으로 하는 학습데이터는 병원, 기관 등으로부터 수집되는것이 일반적인데, 이러한 학습데이터는 개인정보에 대한 보안 등의 요구로 인하여 접근성이 매우 낮다.

따라서 제휴된 특정 병원 또는 특정 기관의 정보만을 확보하여 학습데이터로 이용하는 경우가 대부분이다.

그러나 특정 병원, 특정 기관에서만 의료정보를 제공받아서 가공된 학습데이터를 사용하여 학습한 학습모델은 편향적으로 학습될 수 밖에 없다. 즉, 특정 기관 종속성을 띠는 인공지능 모델은 다른 병원 또는 다른 기관에서 제공된 입력영상에 대하여 부정확한 출력물을 제공할 수 밖에 없다.

따라서 다양한 병원 또는 기관에서 적용될 수 있는 모델 범용성이 확보된 인공지능 학습모델에 의한 의료영상 변환용 소프트웨어의 개발이 시급하다.
(선행문헌: 특허등록번호 제2326740호, 발명의 명칭: 자동 기계학습을 통한 자동 진화형 플랫폼 구현 방법 및 장치)

전술한 배경기술은 발명자가 본 발명의 실시예들의 도출을 위해 보유하고 있었거나, 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 실시예들의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

이에 본 발명에 따른 일 측면은, 전술한 문제점을 해결하기 위해 제안된 것으로서, 본 발명의 목적은 학습모델이 다기관에서 요구하는 작업에 대해 일정한 퍼포먼스를 내기 위해서, 다양한 기관에 소속되는 전문가 집단의 다양한 평가의견을 반영함으로써 모델 범용성이 향상된 의료영상 변환 시스템을 제공함에 있다.

본 발명의 또 다른 목적은 의료 영상 간 변환을 통하여 의료진이 정확한 정보를 가지고 진료, 진단, 치료를 수행할 수 있도록 하고, 환자는 적절한 의료 서비스를 제공받을 수 있도록 하는 의료영상 변환 시스템을 제공함에 있다.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

위에 제기된 과제를 달성하기 위하여, 본 발명의 일 측면은 생성적 적대 신경망(GAN)으로 학습되고, 의료영상변환을 위해서 입력 데이터를 수신하고 출력영상을 생성하며, 상기 출력영상을 타겟영상과 비교하여 의료영상 변환결과의 정확성을 향상시키도록 학습되는 학습모델의 범용성 향상을 위한 인공지능 학습방법에 있어서,

의료영상 변환결과를 평가자 그룹에게 제공하는 제1 단계;

상기 평가자 그룹으로부터 상기 의료영상 변환결과에 대응하는 평가결과를 수신하는 제2 단계;

상기 평가결과에 기반하여 상기 평가자 그룹의 평가성향 차이를 분석하는 제3 단계; 및

상기 평가결과에서 상기 평가성향 차이를 제거하여 무성향평가결과를 만들고, 상기 차이제거 평가결과를 학습모델에 반영하여 상기 학습모델이 학습을 수행하게 하는 제4 단계; 중에서 하나 이상을 포함하는 인공지능 학습방법을 제공할 수 있다.

여기서 상기 제3 단계는, 서로 다른 소속기관 간에 제1 평가성향 차이를 분석하는 단계와 서로 다른 평가자 간에 제2 평가성향 차이를 분석하는 단계를 포함하는 것을 특징으로 할 수 있다.

상기 서로 다른 평가자는 동일 소속기관에 속하는 것을 특징으로 할 수 있다.

상기 제3 단계는, 통계적 방법으로 상기 평가성향 차이를 분석하는 것을 특징으로 할 수 있다. 실시예에 따라서 상기 제3 단계는 일정기간 동안 또는 일정 횟수 만큼 수집된 상기 평가성향 차이를 분석하는 것을 특징으로 할 수 있다.

본 발명의 다른 측면은 생성적 적대 신경망(GAN)으로 학습되고, 의료영상변환을 위해서 입력 데이터를 수신하고 출력영상을 생성하는 의료영상 변환장치에 있어서,

의료영상 변환결과를 평가자 그룹에게 제공하는 평가자정보제공부;

상기 평가자 그룹으로부터 상기 의료영상 변환결과에 대응하는 평가결과를 수신하는 평가자정보수신부;

상기 평가결과에 기반하여 상기 평가자 그룹의 평가성향 차이를 분석하는 차이분석부; 및

상기 평가결과에서 상기 평가성향 차이를 제거하여 무성향평가결과를 만들고, 상기 차이제거 평가결과를 학습모델에 반영하여 상기 학습모델이 학습을 수행하게 하는 학습부;를 포함하는 의료영상 변환장치를 제공할 수 있다.

상기 차이분석부는, 서로 다른 소속기관 간에 제1 평가성향 차이를 분석하는 제1 차이분석부와 서로 다른 평가자 간에 제2 평가성향 차이를 분석하는 제2 차이분석부를 포함하는 것을 특징으로 할 수 있다. 실시예에 따라서 상기 서로 다른 평가자는 동일 소속기관에 속하는 것을 특징으로 할 수 있다.

상기 차이분석부는, 통계적 방법으로 상기 평가성향 차이를 분석하는 것을 특징으로 할 수 있다.

상기 차이분석부는, 일정기간 동안 또는 일정 횟수 만큼 수집된 상기 평가성향 차이를 분석할 수 있다.

본 발명의 또 다른 측면은, 생성적 적대 신경망(GAN)으로 학습되는 의료영상변환을 수행하는 학습모델의 변환결과 개선방법에 있어서,

의료영상 변환결과를 평가자 그룹에게 제공하고, 상기 평가자 그룹으로부터 상기 의료영상 변환결과에 대한 평가의견을 수신하는 의견수신단계;

상기 평가의견에 기반하여 상기 평가자 그룹의 평가성향 차이를 추출하는 차이추출단계; 및

상기 추출된 평가성향 차이를 상기 평가의견에서 제거하여 상기 평가성향 차이가 제거된 무성향평가의견을 준비하는 의견준비단계;

를 포함하는 학습모델의 변환결과 개선방법을 제공할 수 있다.

본 발명의 또 다른 측면은, 입력영상을 입력받고, 상기 입력영상을 기반으로 상기 입력영상과 도메인이 다른 출력영상을 생성하는 학습모델;

상기 출력영상을 타겟영상과 비교하여 그 비교 결과를 상기 학습모델로 피드백하는 제1 피드백부; 및

상기 출력영상을 평가자에게 제공하고 상기 평가자의 평가의견을 수신하여 상기 평가자의 평가성향 차이를 추출하고, 상기 평가성향 차이를 상기 평가의견에서 제거하여 상기 평가성향 차이가 제거된 무성향평가의견을 도출하며, 상기 무성향평가의견을 상기 학습모델에 피드백하는 제2 피드백부;

를 포함하는 의료영상 변환시스템을 제공할 수 있다.

이상에서 설명한 바와 같이 본 발명의 일 실시예에 따르면 학습모델이 다기관에서 요구하는 작업에 대해 일정한 퍼포먼스를 내기 위해서, 다양한 기관에 소속되는 전문가 집단의 다양한 평가의견을 반영함으로써 모델 범용성이 향상된 의료영상 변환 시스템을 제공할 수 있다.

본 발명의 또 다른 실시예에 따르면 의료 영상 간 변환을 통하여 의료진이 정확한 정보를 가지고 진료, 진단, 치료를 수행할 수 있도록 하고, 환자는 적절한 의료 서비스를 제공받을 수 있도록 하는 의료영상 변환 시스템을 제공함에 있다.

의료 영상 간 변환을 통하여 의료진이 정확한 정보를 가지고 진료, 진단, 치료를 수행할 수 있도록 하고, 환자는 적절한 의료 서비스를 제공받을 수 있도록 하는 의료 영상 변환 방법을 제공하는 효과를 가진다.

이외에도, 본 발명의 효과는 실시예에 따라서 우수한 범용성을 가지는 등 다양한 효과를 가지며, 그러한 효과에 대해서는 후술하는 실시예의 설명 부분에서 명확하게 확인될 수 있다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 일 실시예를 예시하는 것이며, 전술된 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 의료영상 변환방법을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 인공지능 학습모델을 나타낸다.
도 3은 출력영상과 타겟영상 간에 일치율을 계산하는 일 실시예를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 인공지능 학습방법을 나타낸다.
도 5는 본 발명의 다른 실시예에 따른 의료영상 변환장치을 나타낸다
도 6은 본 발명의 일 실시예에 따른 학습데이터 전처리 방법을 나타낸다.
도 7은 본 발명의 일 실시예에 따른 의료영상 변환시스템을 나타낸다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 의료영상 변환방법을 나타내고, 도 2는 본 발명의 일 실시예에 따른 인공지능 학습모델을 나타낸다.

본 발명의 일 실시예에 따르면, 생성적 적대 신경망(GAN)을 사용하여 의료 영상을 변환하는 의료영상 변환방법을 제공할 수 있다.

본 실시예에 따른 의료영상 변환방법은 제1 이미지(110)와 제2 이미지(120)를 포함하는 페어드 데이터 셋에서 선택된 상기 제1 이미지(110)를 입력받는 제1 단계(S100); 상기 제1 이미지(110)를 기반으로 상기 제1 이미지(110)와 대응하고 상기 제1 이미지(110)와 도메인이 다른 제3 이미지(130)를 생성하는 제2 단계(S110);

상기 제3 이미지(130)를 상기 제2 이미지(120)와 비교하여 그 비교 결과를 고려하여 학습모델을 학습시키는 제3 단계(S120); 및 상기 제3 이미지(130)를 상기 제1 이미지(110)와 비교하여 그 비교 결과를 고려하여 상기 학습모델을 학습시키는 제4 단계(S130);를 포함하여 구성될 수 있다.

제1 이미지(110)와 제2 이미지(120)와 제3 이미지(130)는 의료영상을 의미할 수 있다. 여기서 의료영상은 MR 이미지(magnetic resonance image), 예컨대, 2D MR, 3D MR, 2D 스트리밍(streaming) MR, 4D MR, 4D 볼루메트릭(volumatric) MR, 4D 시네(cine) MR 등, 기능적 MR 이미지, 예컨대, fMR, DCE-MR, 확산(diffusion) MR 등, 컴퓨터 단층촬영(computed tomography, CT) 이미지, 예컨대, 2D CT, 콘빔(cone beam) CT, 3D CT, 4D CT 등, 초음파 이미지, 예컨대, 2D 초음파, 3D 초음파, 4D 초음파 등, 양전자 방출 단층 촬영(positron emission tomography, PET) 이미지, 엑스레이(X-ray) 이미지, 형광투시(fluoroscopic) 이미지, 방사선 요법 포털(radiotherapy portal) 이미지, 단일광자방출 컴퓨터 단층촬영(single-photo emission computed tomography, SPECT) 이미지, 컴퓨터 생성 합성 이미지(computer generated synthetic image), 예컨대, pseudo-CT, 등을 포함할 수 있다.

또한, 여기서 의료영상은 의료영상 데이터(medical image data), 예컨대, 학습 이미지(training image), 그라운드 트루스 이미지(ground truth image), 윤곽 이미지(contoured image), 도우즈 이미지(dose image) 등을 포함할 수 있다.

실시예에 따라서 의료영상은 영상획득장치로부터 획득된 이미지, 컴퓨터 합성 이미지 등을 포함할 수 있다. 영상획득장치는 예컨대, MR 촬상 장치(MR imaging device), CT 촬상 장치(CT imaging device), PET 촬상 장치(PET imaging device), 초음파 촬상 장치(ultrasound imaging device), 형광 투시 장치(fluoroscopic device), SPECT 촬상 장치(SPECT imaging device), 통합 선형 가속기와 MR 촬상 장치 등을 포함할 수 있다. 또한 영상획득장치는 전술한 예시에 한정되지 않으며, 환자의 의료영상을 획득하기 위한 기술적 사상의 범위 내에서 다양한 의료영상장치(medical imaging devices)를 포함할 수 있다.

페어드 데이터 셋(paired data set)은 객체, 예컨대, 환자의 특정 부위에 대한 영상을 포함하는 학습데이터의 셋을 포함할 수 있다.

예컨대, CT 촬상 장치, MR 촬상 장치를 사용하여 환자의 특정 부위, 예컨대, 두부에 대한 CT 영상과 MR 영상을 각각 촬영할 수 있고, 이 경우, CT 영상과 MR 영상은 페어드 데이터 셋을 구성할 수 있다.

환자의 특정부위에 대한 비조영증강(Non-enhanced) CT 영상과 MR 영상을 각각 촬영한 경우, 비조영증강(Non-enhanced) CT 영상과 MR 영상은 페어드 데이터 셋을 구성할 수 있고, 조영증강(Contrast enhanced) CT 영상과 MR 영상을 각각 촬영한 경우, 조영증강(Contrast enhanced) CT 영상과 MR 영상은 페어드 데이터 셋을 구성할 수 있다.

환자의 특정부위에 대한 T1 영상과 T2 영상을 촬영한 경우, T1 영상과 T2 영상은 페어드 데이터 셋을 구성할 수 있다.

여기서 환자의 특정 부위는 동일한 환자의 특정 부위를 의미할 수 있다. 또한, 촬영되는 부위가 동일하면 동일하지 않은 환자의 특정 부위를 의미할 수도 있다.

예컨대, 하나의 환자의 동일한 특정 부위를 촬영한 CT 영상과 MR 영상은 페어드 데이터 셋을 구성할 수 있으며, 서로 다른 환자의 동일한 부위를 촬영한 CT 영상과 MR 영상도 페어드 데이터 셋을 구성할 수 있다.

두 영상 간에 도메인(Domain)이 다르다는 것의 의미는. 예컨대 대응하는 두 영상에 각각 포함된 패턴의 콘트라스트가 두 영상 간에 차이가 나는 경우, 또는 두 영상 간에 인텐시티 분포 또는 패턴이 다른 경우에 도메인이 다르다.

또한, 서로 다른 촬상 장치에 의하여 촬영된 영상은 도메인이 다르다. 예컨대, CT 영상과 MR 영상은 각각 CT 촬상 장치와 MR 촬상 장치에서 촬영된 것이므로 양자는 도메인이 다르다. 마찬가지로 초음파 영상과 CT 영상 간, 초음파 영상과 MR 영상 간, MR 영상과 PET 영상 간에 도메인이 다르다.

또한, 비조영증강 영상과 조영증강 영상은 동일 부위에 대하여 인텐시티 분포가 다르므로 도메인이 다르다.

MR 영상의 경우, T1 영상과 T2 영상은 같은 MR 영상이지만 역시 인텐시티 분포가 다르므로 도메인이 다르다. 즉, 개체로부터 제공되는 시그널을 기초로 리컨스트럭션(Reconstruction)을 통하여 구현되는 두 영상 간에 이미지 구현에 기초가 되는 시그널(Signal), 시퀀스(Sequence) 또는 이미지 구현 과정(Process)에 차이가 있는 경우, 해당 차이를 가지는 두 영상은 도메인이 서로 다르다. 또, 전술한 의료영상의 예시 간에는 도메인이 다르다.

본 발명의 일 실시예에 따른 의료영상 변환방법을 설명하기 위해서 영상획득장치가 동일 환자로부터 동일 부위의 제1 이미지(110)와 제2 이미지(120)를 촬영하여 페어드 데이터 셋을 확보한 경우를 예를 들어 설명한다. 실시예에 따라서 제1 이미지(110)는 원본 CT 영상이고 제2 이미지(120)는 원본 MR 영상이며, 제3 이미지(130)는 합성 MR 영상인 경우를 설명한다.

제1 단계(S100)는 제1 이미지(110)와 제2 이미지(120)를 포함하는 페어드 데이터 셋에서 선택된 제1 이미지(110)를 학습모델이 입력받는 단계를 포함할 수 있다. 여기서 제1 이미지(110)는 원본 CT 영상을 학습데이터로 가공한 입력영상을 포함할 수 있다.

제1 이미지(110)와 제2 이미지(120)를 포함하는 페어드 데이터 셋에서 제1 이미지(110)와 제2 이미지(120) 중에서 어느 이미지를 입력영상으로 선택할 것인지는 본 실시예에 따른 의료영상 변환방법을 수행하는 소프트웨어 의료기기의 제조사가 결정할 수 있다. 이 경우 어느 이미지를 선택할 것인지는 선택 알고리즘에 의하여 자동으로 선택될 수도 있고, 작업자에 의하여 수작업으로 선택될 수도 있다.

제조사는 CT 촬상장치에서 원본 CT 영상을 획득하고, MR 촬상장치에서 원본 MR 영상을 획득하여 페어드 데이터 셋을 구성할 수 있으며, 알고리즘 또는 수작업에 의하여 페어드 데이터 셋에서 원본 CT 영상을 입력영상으로 선택할 수 있다.

제2 단계(S110)는 제1 이미지(110)를 입력받은 학습모델이 제1 이미지(110)를 기반으로 제1 이미지(110)와 대응하고 제1 이미지(110)와 도메인이 다른 제3 이미지(130)를 생성하는 단계를 포함할 수 있다.

예컨대 학습모델은 원본 CT 영상을 입력영상으로서 입력받고, 원본 CT 영상을 기반으로 합성 MR 영상을 생성할 수 있다.

학습모델이 제1 이미지(110)로부터 제1 이미지(110)와 도메인이 다른 제3 이미지(130)를 생성하는 과정은 실시예에 따라서 다음의 두가지 과정으로 수행될 수 있다. 다만 학습모델이 제3 이미지(130)를 생성하는 과정은 다음의 두가지 과정으로 한정되는 것은 아니다.

첫 번째 과정은 영상획득장치에서 획득된 제1 이미지(110)를 입력받아 제1 이미지(110)보다 작은 크기의 고차원 특징을 추출하기 위해 컨벌루션(convolution) 연산들을 수행하는 하나 이상의 계층들로 구성되며, 이를 특징을 추출하는 인공신경망으로 표현할 수 있다. 이러한 특징을 추출하는 인공신경망은 영상획득장치에서 획득된 2차원 또는 3차원 실제 영상데이터를 입력받아 컨벌루션(convolution) 연산들을 수행하여 원본 영상으로부터 영상 특징을 추출할 수 있다.

이러한 과정은 예시적으로 설명하면, 필터를 통하여 이미지의 특징을 추출하는 컨볼루션 레이어(convolution layer)와 상기 특징을 강화시키고 이미지의 크기를 줄이는 풀링 레이어(pooling layer)를 구비하며 컨벌루션과 풀링을 반복하면서 이미지의 특징을 추출할 수 있다.

실시예에 따라서 복수의 계층으로 구성되는 컨볼루션 레이어에서는 첫번째 컨볼루션 레이어에서 입력으로 주어지는 입력영상의 특징을 추출하여 결과로서 특징맵을 출력할 수 있으며, 풀링 레이어는 이 특징맵을 입력받아서 특징이 강화되고 이미지 크기가 줄어든 결과물을 출력하며, 풀링 레이어의 출력이 다시 두번째 컨벌루션 레이어에 입력되는 과정을 거칠 수 있다.

두 번째 과정은 전술한 첫 번째 과정의 결과물로부터 다른 모달리티의 영상데이터를 생성할 목적으로 역컨벌루션(deconvolution) 연산을 수행하는 하나 이상의 계층들로 구성되며, 이를 다른 모달리티의 영상을 생성하는 인공신경망으로 표현할 수 있다. 이러한 다른 모달리티의 영상을 생성하는 인공신경망은 첫 번째 과정에서의 특징을 추출하는 인공신경망의 컨벌루션 연산 수행의 결과로부터 역컨벌루션(deconvolution) 연산을 수행하여 2차원 또는 3차원의 다른 모달리티의 영상데이터를 생성할 수 있다.

제3 단계(S120)는 제3 이미지(130)를 제2 이미지(120)와 비교하고, 그 비교 결과를 고려하여 학습모델을 학습시키는 단계를 포함할 수 있다. 페어드 데이터 셋에 포함되는 원본 CT 영상과 원본 MR 영상 중에서 원본 CT 영상을 입력영상으로 결정하면, 원본 MR 영상은 타겟영상으로 결정될 수 있다. 여기서 제2 이미지(120)는 그라운드 트루스(ground truth)에 해당될 수 있다. 학습모델은 제3 이미지(130)를 생성한 뒤에, 생성된 제3 이미지(130)를 제2 이미지(120)와 비교하여 양자의 차이를 줄이는 방향으로 학습을 수행할 수 있다. 즉, 합성 MR 영상을 원본 MR 영상과 비교하여 원본 MR 영상에 근접하게 합성 MR 영상을 생성하였는지를 계속적으로 확인하여 합성 MR 영상과 원본 MR 영상이 같아지도록 학습할 수 있다. 실시예에 따라서 손실함수를 알고리즘에 적용하여 제3 이미지(130)와 제2 이미지(120) 간에 손실값을 계산하는 단계를 포함할 수 있으며, 손실값에 기반하여 학습모델의 파라미터를 업데이트할 수 있다.

실시예에 따라서 손실값을 계산하는 단계에서 학습모델을 업데이트하기 위한 손실값의 계산을 반복횟수(iterration)마다 수행할 수 있다. 즉, 학습모델은 학습을 수행하면서 반복횟수(iterration)마다 합성 MR 영상과 원본 MR 영상 간에 손실값을 계산할 수 있다.

반복횟수가 순차적으로 이어지는 제1 반복횟수구간과 제2 반복횟수구간을 포함하는 경우, 학습모델은 실시예에 따라서는 제1 반복횟수구간에서 계산된 제1 손실값과 제2 반복횟수구간에서 계산된 제2 손실값 간에 변화량의 절대값이 기준값보다 작아지는 경우에 이를 과적합(Overfitting)된 것으로 간주하고 학습을 종료할 수 있다.

학습모델이 의료영상변환을 충분히 학습한 상태에서는 더 이상 학습을 진행하지 않고, 학습을 완성시킬 수 있으며, 이렇게 학습이 완성된 학습모델은 이제 각기 다른 데이터 분포를 가진 여러 제1 이미지(110)에 대하여 제1 이미지(110)와는 도메인이 다른 제3 이미지(130)로 의료영상을 생성하는 능력을 가지게 된다.

본 발명의 일 실시예에 따른 학습모델(200)은 갠(GAN) 모델이 적용될 수 있으며, 생성자와 구분자를 포함하여 구성될 수 있다. 생성자는 이미지 생성하는 학습을 수행할 수 있고, 구분자는 이미지 구분 학습을 수행할 수 있다.

도 2를 참조하면, 갠(GAN) 모델이 적용된 학습모델(200)에 있어서, 원본 CT 영상(110)이 생성자(210)에 입력영상으로서 입력되면 생성자(210)는 전술한 컨볼루션 연산을 통하여 합성 MR 영상(130)을 생성하는 학습을 수행하고, 구분자(220)는 원본 MR 영상(120) 즉 실제 의료영상과 합성 MR 영상(130)을 구분하는 학습을 수행할 수 있다.

실시예에 따라서 본 실시예에 따른 학습모델(200)에 사이클갠(cycle-GAN) 모델(미도시)이 적용될 수도 있다. 이 경우 학습모델(200)은 제1 생성자(210)와 제1 구별자(220), 제2 생성자와 제2 구별자를 포함하여 구성될 수 있다. 원본 CT 영상(110)이 제1 생성자(210)에 입력영상으로서 입력되면 제1 생성자(210)는 전술한 컨볼루션 연산을 통하여 합성 MR 영상(130)을 생성하는 학습을 수행하고, 제1 구분자(220)는 원본 MR 영상(120) 즉 실제 의료영상과 합성 MR 영상을 구분하는 학습을 수행할 수 있고, 다시 제1 생성자(210)가 생성한 합성 MR 영상(130)을 제2 생성자에 입력하면 제2 생성자는 합성 MR 영상(130)에 기반하여 합성 CT 영상을 생성하는 학습을 수행할 수 있고, 제2 구별자는 합성 CT 영상을 원본 CT 영상과 구별하는 학습을 수행할 수 있다.

여기서 원본 CT 영상(110)은 전술한 의료영상 변환방법에 있어서 제1 이미지(110)에 대응하고, 합성 MR 영상(130)은 제3 이미지(130)에 대응하며, 원본 MR 영상(120)은 제2 이미지(120)와 대응하는 영상일 수 있다.

실시예에 따라서 제3 단계(S120)는 제3 이미지(130)와 제2 이미지(120) 간에 일치율을 계산하고, 이 계산값을 학습모델에 피드백하는 단계를 포함할 수 있다.

도 3은 출력영상과 타겟영상 간에 일치율을 계산하는 일 실시예를 나타낸다.

일치율의 계산은 실시예에 따라서 합성 MR 영상과 원본 MR 영상에서 동일한 부위에 병변 영역이 표시되어 있는 경우, 해당 병변 영역의 크기를 비교하여 계산할 수 있다. 예컨대, 합성 MR 영상과 원본 MR 영상으로부터 각각 종양 기타 병변의 위치를 표시하고 이를 바이너리(binary) 이미지로 전환하여 일치율을 계산할 수 있다.

이 경우, 일치율은 예시적으로 하우스도르프 거리(hausdorf distance), 다이스 유사성 계수(dice similarity coefficient) 등 평가지표를 이용하여 계산하거나, 두 병변의 위치의 질량중심(center of mass)의 차이를 통해 정량적으로 계산할 수 있다. 또한, 타겟영상과 출력영상이 CT 영상인 경우, 병변에 대한 방사선량 계산을 비교하여 두 이미지의 일치율을 판단할 수도 있다. 실시예에 따라서는 합성 MR 영상과 원본 MR 영상 간의 차이를 MAE, RMSE, SSIM, PSNR 등으로 표시(이하 성능지표)하여 수치화하여 판단할 수도 있다.

도 3을 참조하면, 출력영상인 합성 MR 영상(130)과 타겟영상인 원본 MR 영상(120) 간에 병변 영역을 정렬시키고 하우스도르프 거리 측정 방법을 적용하여 각 병변의 윤곽을 상호 비교하여 일치율을 계산하는 과정을 나타낸다.

도 4는 본 발명의 일 실시예에 따른 인공지능 학습방법을 나타낸다.

본 발명의 일 실시예에 따른 인공지능 학습방법은 생성적 적대 신경망(GAN)으로 학습되고, 의료영상변환을 위해서 입력 데이터를 수신하고 출력영상을 생성하며, 출력영상을 타겟영상과 비교하여 의료영상 변환결과의 정확성을 향상시키도록 학습되는 학습모델(200)의 범용성 향상을 위한 인공지능 학습방법에 있어서,

의료영상 변환결과를 평가자 그룹에게 제공하는 제1 단계(S200); 평가자 그룹으로부터 의료영상 변환결과에 대응하는 평가결과를 수신하는 제2 단계(S210);

평가결과에 기반하여 평가자 그룹의 평가성향 차이를 분석하는 제3 단계(S220); 및

평가결과에서 평가성향 차이를 제거하여 무성향평가결과를 만들고, 무성향평가결과를 학습모델(200)에 반영하여 학습모델(200)이 학습을 수행하게 하는 제4 단계(S230);를 포함하여 구성될 수 있다.

여기서 평가자는 일반적으로 전문가를 포함할 수 있다. 실시예에 따라서 평가자는 의사, 간호사 등 의료 종사자일 수 있다.

평가자 그룹은 전문가 중에서 의료영상 변환결과에 대하여 평가를 수행하는 그룹을 포함할 수 있으며, 관리 가능한 플랫폼 등에 등록한 전문가를 의미할 수 있다. 여기서 플랫폼은 의료영상 변환결과를 플랫폼에 등록된 평가자에게 제공하고 평가자로부터 해당 변환결과에 대한 의견을 수신할 수 있는 기능을 수행하는 웹사이트 또는 앱을 포함할 수 있다.

제2 단계(S210)에서 의료영상 변환결과는 학습모델(200)이 출력하는 출력영상을 포함할 수 있다. 학습모델(200)은 기계학습을 수행하며 학습이 종료된 뒤에는 소프트웨어 의료기기로서 각 병원 등에 제공되어 각 병원에서 의료행위를 위한 보조 프로그램으로서 기능할 수 있다.

평가자 그룹의 평가결과는 학습모델(200)이 출력하는 출력영상의 해상도, 품질 등에 대한 평가결과를 포함할 수 있다. 보통 의료영상의 퀄리티에 대하여 점수로 매겨질 수 있다.

실시예에 따라서 제3 단계(S220)는, 서로 다른 소속기관 간에 제1 평가성향 차이를 분석하는 단계와 서로 다른 평가자 간에 제2 평가성향 차이를 분석하는 단계를 포함하여 구성될 수 있다. 여기서 소속기관이란 병원, 건강보험심사평가원 등의 기관을 포함할 수 있다.

제1 평가성향 차이는 예컨대 서로 다른 소속기관 즉, A 병원과 B 병원 간에 의료영상 변환 소프트웨어에 대한 인식을 포함할 수 있다.

A 병원에 갑 의사와 B 병원에 을 의사가 있을 때, 이들이 영상변환장치의 결과물인 동일한 영상에 대하여 평가할 때 의료영상변환 소프트웨어 프로그램에 대한 A 병원의 인식과 B 병원의 인식이 다를 수 있다. A 병원에서는 본 실시예에 따른 의료영상 변환 소프트웨어에 대한 인식이 좋아서 점수를 후하게 줄 수 있고, B 병원에서는 본 실시예에 따른 의료영상 변환 소프트웨어에 대한 평판이 좋지 않아 점수를 유난히 낮게 줄 수 있다. 이 차이가 제1 평가성향 차이일 수 있다.

제2 평가성향 차이는 서로 다른 평가자 간에 평가성향의 차이를 나타낸다.

실시예에 따라서 서로 다른 평가자는 동일 소속기관에 속하는 것일 수 있다. 즉 갑 의사와 을 의사는 모두 A 병원에 속하는 의사일 수 있다. 이 경우 갑과 을이 소속된 A 병원의 분위기, 정책 등이 동일하더라도, 개인적 성향에 따라서 평가가 달라질 수 있다. 즉 갑 의사는 상대적으로 평가가 후하고, 을 의사는 상대적으로 평가가 박할 수 있다.

실시예에 따라서 제3 단계(S220)는, 통계적 방법으로 상기 평가성향 차이를 분석하는 것일 수 있다. 실시예에 따라서 제3 단계(S220)는 일정기간 동안 또는 일정 횟수 만큼 수집된 평가성향 차이를 분석하는 것일 수 있다.

여기서 평가 성향의 차이는 주관적인 의견을 포함하므로 통계적 방법으로 분석하는 것이 바람직하다. 즉, 많은 수의 평가 결과를 분석함으로써 의사들의 평가성향 차이를 파악할 수 있다. 실시예에 따라서 일정한 기간을 설정하고 해당 기간동안 제출된 평가결과를 기초로 평가성향 차이를 분석할 수 있으며, 다른 실시예에 의하면 일정한 횟수 만큼 수집된 평가성향 차이를 분석할 수 있다.

제2 평가성향 차이는 평가자 개인의 식별정보를 기준으로 분석될 수 있으며 영상의 퀄리티에 대한 점수를 일정 기간 동안 수집한 뒤에 평가성향 차이를 추출하여 분석하고, 이 분석되어 도출된 평가성향 차이를 평가결과에서 제거한 점수로서 반영하여 인공지능 학습모델(200)에 피드백할 수 있다.

인공지능 학습모델(200)은 평가자의 평가결과를 피드백 받아서 학습에 반영함으로써 출력영상의 정확성을 향상시킬 수 있다. 그러나 이 경우 평가결과가 주관적이거나 편협하다면 출력영상의 정확성을 향상시키는데 도움이 되지 않는다. 특정 병원에서 제공된 주관적인 평가결과를 반영하여 학습된 의료영상변환 소프트웨어는 일반적인 경우에 모든 병원이 사용하는 소프트웨어로는 부적절하다. 따라서 주관적이거나 편협한 평가결과로 반영되지 않도록 평가결과에서 평가성향 차이를 제거함으로써 객관적인 내용을 가지는 무성향평가결과에 기초하여 학습모델(200)에 피드백하는 것이 바람직하다.

도 5는 본 발명의 다른 실시예에 따른 의료영상 변환장치을 나타낸다

본 발명의 다른 실시예에 따른 의료영상 변환장치(400)은 생성적 적대 신경망(GAN)으로 학습되고, 의료영상변환을 위해서 입력 데이터를 수신하고 출력영상을 생성하는 의료영상 변환장치(400)에 있어서,

의료영상 변환결과를 평가자 그룹에게 제공하는 평가자정보제공부(410);

상기 평가자 그룹으로부터 상기 의료영상 변환결과에 대응하는 평가결과를 수신하는 평가자정보수신부(420);

상기 평가결과에 기반하여 상기 평가자 그룹의 평가성향 차이를 분석하는 차이분석부(430); 및

상기 평가결과에서 상기 평가성향 차이를 제거하여 무성향평가결과를 만들고, 상기 무성향평가결과를 학습모델에 반영하여 상기 학습모델이 학습을 수행하게 하는 학습부(440);를 포함하는 의료영상 변환장치(400)을 제공할 수 있다.

여기서 차이분석부(430)는, 서로 다른 상기 소속기관 간에 제1 평가성향 차이를 분석하는 제1 차이분석부와 서로 다른 평가자 간에 제2 평가성향 차이를 분석하는 제2 차이분석부를 포함하여 구성될 수 있다. 실시예에 따라서 서로 다른 평가자는 동일 소속기관에 속하도록 구성할 수 있다.

실시예에 따라서 차이분석부(430)는, 통계적 방법으로 평가성향 차이를 분석하는 것일 수 있으며, 실시예에 따라서 차이분석부(430)는 일정기간 동안 또는 일정 횟수 만큼 수집된 평가성향 차이를 분석하는 것일 수 있다.

본 실시예에 의한 의료영상 변환장치(400)는 전술한 실시예에서의 인공지능 학습방법을 수행하는 모델과 실질적으로 동일한 모델일 수 있다.

도 6은 본 발명의 일 실시예에 따른 학습데이터 전처리 방법을 나타낸다.

본 발명의 또 다른 측면에 의한

생성적 적대 신경망(GAN)으로 학습되는 의료영상변환을 수행하는 학습모델의 변환결과 개선방법에 있어서,

의료영상 변환결과를 평가자 그룹에게 제공하고, 상기 평가자 그룹으로부터 상기 의료영상 변환결과에 대한 평가의견을 수신하는 의견수신단계(S300);

상기 평가의견에 기반하여 상기 평가자 그룹의 평가성향 차이를 추출하는 차이추출단계(S310); 및

상기 추출된 평가성향 차이를 상기 평가의견에서 제거하여 상기 평가성향 차이가 제거된 무성향평가의견을 준비하는 의견준비단계(S320);

를 포함하는 학습모델의 변환결과 개선방법를 제공할 수 있다.

도 7은 본 발명의 일 실시예에 따른 의료영상 변환시스템을 나타낸다.

본 발명의 일 실시예에 따른 의료영상 변환시스템(500)은 제1 이미지(110)를 입력받고, 상기 제1 이미지(110)를 기반으로 상기 제1 이미지(110)와 도메인이 다른 제3 이미지(130)를 생성하는 학습모델(200);

상기 제3 이미지(130)를 제2 이미지(120)와 비교하여 그 비교 결과를 상기 학습모델(200)로 피드백하는 제1 피드백부(300); 및

상기 제3 이미지(130)를 평가자에게 제공하고 상기 평가자의 평가의견을 수신하여 상기 평가자의 평가성향 차이를 추출하고, 상기 평가성향 차이를 상기 평가의견에서 제거하여 상기 평가성향 차이가 제거된 무성향평가의견을 도출하며, 상기 무성향평가의견을 상기 학습모델(200)에 피드백하는 제2 피드백부(310);를 포함하여 구성될 수 있다.

여기서 도면상에 표시된 제1 이미지(110)는 전술한 실시예에서의 입력영상과, 제2 이미지(130)는 타겟영상과, 제3 이미지(120)는 출력영상과 대응할 수 있다.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

S100: 입력단계
S110: 생성단계
S120: 학습단계
110: 제1 이미지
120: 제2 이미지
130: 제3 이미지
200: 학습모델
S200: 제1 단계
S210: 제2 단계
S220: 제3 단계
S230: 제4 단계
400: 의료영상 변환장치
410: 평가자정보제공부
420: 평가자정보수신부
430: 차이분석부
440: 학습부
S300: 의견수신단계
S310: 차이추출단계
S320: 학습데이터준비단계
300: 제1 피드백부
310: 제2 피드백부
500: 의료영상 변환시스템

Claims (12)

1. 생성적 적대 신경망(GAN)으로 학습되고, 의료영상변환을 위해서 입력 데이터를 수신하고 출력영상을 생성하며, 상기 출력영상을 타겟영상과 비교하여 의료영상 변환결과의 정확성을 향상시키도록 학습되는 학습모델의 범용성 향상을 위한 인공지능 학습방법에 있어서,
   의료영상 변환결과를 평가자 그룹에게 제공하는 제1 단계;
   상기 평가자 그룹으로부터 상기 의료영상 변환결과에 대응하는 평가결과를 수신하는 제2 단계;
   상기 평가결과에 기반하여 상기 평가자 그룹의 평가성향 차이를 분석하는 제3 단계; 및
   상기 평가결과에서 상기 평가성향 차이를 제거하여 무성향평가결과를 만들고, 상기 무성향평가결과를 학습모델에 반영하여 상기 학습모델이 학습을 수행하게 하는 제4 단계;
   를 포함하는 인공지능 학습방법.
2. 제1항에 있어서,
   상기 제3 단계는, 서로 다른 소속기관 간에 제1 평가성향 차이를 분석하는 단계와 서로 다른 평가자 간에 제2 평가성향 차이를 분석하는 단계를 포함하는 것을 특징으로 하는 인공지능 학습방법.
3. 제2항에 있어서,
   상기 서로 다른 평가자는 동일 소속기관에 속하는 것을 특징으로 하는 인공지능 학습방법.
4. 제1항에 있어서,
   상기 제3 단계는, 통계적 방법으로 상기 평가성향 차이를 분석하는 것을 특징으로 하는 인공지능 학습방법.
5. 제4항에 있어서,
   상기 제3 단계는 일정기간 동안 또는 일정 횟수 만큼 수집된 상기 평가성향 차이를 분석하는 것을 특징으로 하는 인공지능 학습방법.
6. 생성적 적대 신경망(GAN)으로 학습되고, 의료영상변환을 위해서 입력 데이터를 수신하고 출력영상을 생성하는 의료영상 변환장치에 있어서,
   의료영상 변환결과를 평가자 그룹에게 제공하는 평가자정보제공부;
   상기 평가자 그룹으로부터 상기 의료영상 변환결과에 대응하는 평가결과를 수신하는 평가자정보수신부;
   상기 평가결과에 기반하여 상기 평가자 그룹의 평가성향 차이를 분석하는 차이분석부; 및
   상기 평가결과에서 상기 평가성향 차이를 제거하여 무성향평가결과를 만들고, 상기 무성향평가결과를 학습모델에 반영하여 상기 학습모델이 학습을 수행하게 하는 학습부;
   를 포함하는 의료영상 변환장치.
7. 제6항에 있어서,
   상기 차이분석부는, 서로 다른 소속기관 간에 제1 평가성향 차이를 분석하는 제1 차이분석부와 서로 다른 평가자 간에 제2 평가성향 차이를 분석하는 제2 차이분석부를 포함하는 것을 특징으로 하는 의료영상 변환장치.
8. 제7항에 있어서,
   상기 서로 다른 평가자는 동일 소속기관에 속하는 것을 특징으로 하는 의료영상 변환장치.
9. 제6항에 있어서,
   상기 차이분석부는, 통계적 방법으로 상기 평가성향 차이를 분석하는 것을 특징으로 하는 의료영상 변환장치.
10. 제9항에 있어서,
    상기 차이분석부는 일정기간 동안 또는 일정 횟수 만큼 수집된 상기 평가성향 차이를 분석하는 것을 특징으로 하는 의료영상 변환장치.
11. 삭제
12. 입력영상을 입력받고, 상기 입력영상을 기반으로 상기 입력영상과 도메인이 다른 출력영상을 생성하는 학습모델;
    상기 출력영상을 타겟영상과 비교하여 그 비교 결과를 상기 학습모델로 피드백하는 제1 피드백부; 및
    상기 출력영상을 평가자에게 제공하고 상기 평가자의 평가의견을 수신하여 상기 평가자의 평가성향 차이를 추출하고, 상기 평가성향 차이를 상기 평가의견에서 제거하여 상기 평가성향 차이가 제거된 무성향평가의견을 도출하며, 상기 무성향평가의견을 상기 학습모델에 피드백하는 제2 피드백부;
    를 포함하는 의료영상 변환시스템.