KR102586483B1

KR102586483B1 - 인공지능에 의한 의료영상 변환방법 및 그 장치

Info

Publication number: KR102586483B1
Application number: KR1020220158637A
Authority: KR
Inventors: 윤여동; 이은정
Original assignee: 주식회사 포데로사
Priority date: 2022-11-23
Filing date: 2022-11-23
Publication date: 2023-10-10

Abstract

본 발명의 일 측면은 의료 영상의 변환 방법에 관한 것으로, 더욱 상세하게는 생성적 적대 신경망(GAN)을 사용하여 의료 영상을 변환하는 영상 변환 방법에 관한 것이다.
본 발명의 일 실시예에 따르면 기계학습을 수행하는 학습모델에 의한 의료 영상 간 변환을 통하여 의료진이 정확한 정보를 가지고 진료, 진단, 치료를 수행할 수 있도록 하고, 환자는 적절한 의료 서비스를 제공받을 수 있도록 하는 의료 영상 변환 방법을 제공하는 효과를 가진다.

Description

인공지능에 의한 의료영상 변환방법 및 그 장치{Medical Image Conversion Method and Device based on Artificial Intelligence}

본 발명의 일 측면은 인공지능에 의한 의료영상의 변환 방법에 관한 것으로, 더욱 상세하게는 생성적 적대 신경망(GAN)을 사용하여 의료영상을 변환하는 영상변환 방법 및 그 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

의료진이 환자를 진단, 치료하기 위하여, 영상의학 분야에서 의료영상 변환은 근자에 중요한 이슈로 대두되고 있다.

응급실 뇌출혈 환자, 종양 환자 등의 진단 및 치료를 위해, 의료진은 조영증강제를 사용하지 않은 비조영증강 CT(non-enhanced CT) 영상, 조영증강제를 사용한 조영증강 CT(enhanced CT) 영상 등을 사용할 수 있다.

조영증강 CT(enhanced CT) 영상은 조직 콘트라스트(tissue contrast)를 증가시키기 위하여 조영제를 이용해 혈관이나 각종 장기, 암 등을 찾기 위해 촬영되는 의료영상 종류이다.

그러나 조영제는 종종 부작용을 유발하고 심하면 심정지, 쇼크사 등의 사유로 사망에 이르게 할 수 있다.

조영제에 의한 부작용은 사전에 예측이 불가하기 때문에 영상 변환으로 조영 증강되지 않은 CT 영상 또는 MR 영상을 조영 증강된 CT 영상 또는 MR 영상으로 변환이 가능하도록 한다면, 이러한 부작용을 사전에 방지할 수 있으며, 조영제에 의한 의료비용을 감소시킬 수 있다.

또한, MR 영상은 있으나 X-ray 조사가 불가능하여 CT 영상은 없는 개체, 예컨대, 임산부 등의 경우나 CT 영상은 있으나 시간, 비용, 임플란트 등의 원인으로 MR 영상을 촬영하지 못하는 경우에 역시 영상 모달리티 간 영상 변환으로 의료진은 조직의 경계를 파악하거나 조영제 사용없이 종양의 위치를 파악할 수 있다.

또한, MR 영상 간의 변환 예컨대 T1 영상에서 T2 영상으로의 변환, T1 영상에서 디퓨전(diffusion) 영상으로의 변환 등을 통하여 의료진이 병변에 대한 정보를 잘 파악할 수 있도록 도울 수 있다.

한편, 최근에 인공지능 학습모델을 적용한 의료영상 변환이 이슈가 되고 있다. 즉, 학습모델에게 의료영상 변환을 학습시키고, 학습이 완료된 뒤에는 해당 학습모델이 의료진의 니즈에 맞추어 의료영상을 변환하는 것이다.

이러한 학습모델은 생성적 적대 신경망(generative adversarial networks, GAN)을 통하여 학습을 수행하므로 페어드 데이터 셋(paired data set)을 구성하는 학습데이터의 수집이 필요하다.

여기서 페어드 데이터 셋(paired data set)은 학습모델이 학습에 필요한 학습데이터의 쌍을 의미한다. 예컨대, 원본 CT 영상을 기반으로 합성 MR 영상을 생성하기 위하여 원본 CT 영상과, 해당 원본 CT 영상과 정합하는 원본 MR 영상이 필요하다

그러나 학습데이터를 수집하는 과정에서 시간적, 공간적 제약에 의하여 서로 정합하는 페어드 데이터 셋을 확보하는 것은 매우 어렵다. 환자가 의료영상 촬영에 제한을 받을 수 있을 뿐만 아니라, CT 촬상장치와 MR 촬상장치를 동시에 경험할 수 없기 때문이다.

따라서 입력영상과 타겟영상의 슬라이스 레벨이 정확하게 맞지 않는 등의 문제가 생긴다.

또한, 경우에 따라서 입력영상은 확보되는데 타겟영상이 확보되지 않는 경우 등 페어드 데이터 셋을 확보하는 것 자체가 불가능할 때도 있다.

이러한 경우에도 학습모델이 정확한 출력영상을 생성할 수 있도록 하는 새로운 학습방법을 가지는 학습모델의 제시가 시급하다.

전술한 배경기술은 발명자가 본 발명의 실시예들의 도출을 위해 보유하고 있었거나, 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 실시예들의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

이에 본 발명에 따른 일 측면은, 전술한 문제점을 해결하기 위해 제안된 것으로서, 본 발명의 목적은 출력영상을 입력영상과 비교하고, 이를 학습모델에 반영하여 출력영상이 입력영상을 정확하게 반영하도록 하는 인공지능 학습모델을 제공함에 있다.

본 발명의 다른 목적은 입력영상과 타겟영상이 정합되지 않는 경우나 입력영상은 확보되는데 타겟영상이 확보되지 않는 경우에 학습모델이 정확한 출력영상을 생성할 수 있도록 하는 새로운 학습방법에 의한 의료영상 변환방법 또는 그 장치를 제공함에 있다.

본 발명의 또 다른 목적은 의료 영상 간 변환을 통하여 의료진이 정확한 정보를 가지고 진료, 진단, 치료를 수행할 수 있도록 하고, 환자는 적절한 의료 서비스를 제공받을 수 있도록 하는 의료영상 변환방법 또는 그 장치를 제공함에 있다.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

위에 제기된 과제를 달성하기 위하여, 본 발명의 일 측면은 생성적 적대 신경망(GAN)을 사용하여 의료 영상을 변환하는 의료영상 변환방법에 있어서,

제1 이미지와 제2 이미지를 포함하는 페어드 데이터 셋에서 선택된 상기 제1 이미지를 입력받는 제1 단계;

상기 제1 이미지를 기반으로 상기 제1 이미지와 대응하고 상기 제1 이미지와 도메인이 다른 제3 이미지를 생성하는 제2 단계;

상기 제3 이미지를 상기 제2 이미지와 비교하여 그 비교 결과를 고려하여 학습모델을 학습시키는 제3 단계; 및

상기 제3 이미지를 상기 제1 이미지와 비교하여 그 비교 결과를 고려하여 상기 학습모델을 학습시키는 제4 단계; 중에서 하나 이상을 포함하는 의료영상 변환방법을 제공할 수 있다.

여기서 상기 제4 단계는 상기 제3 이미지와 상기 제1 이미지 간에 이미지 패턴 유사도를 측정하고 이 측정값을 상기 학습모델에 피드백하는 것을 특징으로 할 수 있다.

상기 이미지 패턴 유사도는 실시예에 따라서 피어슨 상관 계수(Pearson Correlation Coefficient, PCC) 또는 상호의존정보(Mutual Information, MI)를 포함하는 것을 특징으로 할 수 있다.

상기 제3 단계는 상기 제3 이미지와 상기 제2 이미지 간에 일치율을 계산하고 이 계산값을 상기 학습모델에 피드백하고, 여기서 상기 일치율은 상기 이미지 패턴 유사도와는 다른 것을 특징으로 할 수 있다.

본 발명의 다른 측면은, 제1 이미지를 입력받고, 상기 제1 이미지를 기반으로 제3 이미지를 생성하는 학습부;

상기 학습부가 생성한 상기 제3 이미지를 제2 이미지와 비교하여 제1 비교값을 생성하고 상기 제1 비교값을 상기 학습부로 피드백하는 제1 비교부; 및

상기 학습부가 생성한 상기 제3 이미지를 상기 제1 이미지와 비교하여 제2 비교값을 생성하고 상기 제2 비교값을 상기 학습부로 피드백하는 제2 비교부; 중 하나 이상을 포함하는 인공지능 학습모델을 제공할 수 있다.

상기 제1 비교값과 상기 제2 비교값은 서로 다른 방식으로 생성되는 것을 특징으로 할 수 있다.

상기 제1 비교부는 서로 동일한 도메인에 속하는 상기 제2 이미지와 상기 제3 이미지 간에 차이를 비교하는 것을 특징으로 할 수 있다.

상기 제1 비교부는 상기 제2 이미지와 상기 제3 이미지 간에 일치율을 계산하고, 그 결과값을 상기 학습부로 피드백하는 것을 특징으로 할 수 있다.

상기 제2 비교부는 서로 다른 도메인에 속하는 상기 제1 이미지와 상기 제3 이미지 간에 차이를 비교하는 것을 특징으로 할 수 있다.

상기 제2 비교부는 상기 제1 이미지와 상기 제3 이미지 간에 이미지 패턴 유사도를 계산하고, 그 결과값을 상기 학습부로 피드백하는 것을 특징으로 할 수 있다.

본 발명의 또 다른 측면은, 생성적 적대 신경망(GAN)을 사용하여 의료 영상을 변환하는 영상변환장치에 있어서,

입력 이미지를 입력받고, 상기 입력 이미지를 기반으로 상기 입력 이미지와 대응하는 출력 이미지를 생성하는 학습모델; 및 상기 출력 이미지를 상기 입력 이미지와 비교하고, 그 비교값을 상기 학습모델로 피드백하는 비교부; 중 하나 이상을 포함하는 영상변환장치를 제공할 수 있다.

상기 학습모델은 상기 비교부와 별도로 상기 출력 이미지를 그라운드 트루스(ground-truth)와 비교하여 학습을 수행하는 것을 특징으로 할 수 있다.

상기 비교부는 상기 입력 이미지와 상기 출력 이미지 간에 이미지 패턴 유사도를 측정하여 그 결과를 상기 학습모델에 입력하는 것을 특징으로 할 수 있다.

상기 이미지 패턴 유사도는 피어슨 상관 계수(Pearson Correlation Coefficient, PCC) 또는 상호의존정보(Mutual Information, MI)를 포함하는 것을 특징으로 할 수 있다.

이상에서 설명한 바와 같이 본 발명의 일 실시예에 따르면 출력영상을 입력영상과 비교하고, 이를 학습모델에 반영하여 출력영상이 입력영상을 정확하게 반영하도록 하는 인공지능 학습모델을 제공할 수 있다.

본 발명의 다른 실시예에 따르면 입력영상과 타겟영상이 정합되지 않는 경우나 입력영상은 확보되는데 타겟영상이 확보되지 않는 경우에 학습모델이 정확한 출력영상을 생성할 수 있도록 하는 새로운 학습방법에 의한 의료영상 변환방법 또는 그 장치를 제공할 수 있다.

본 발명의 다른 실시예에 따르면 의료 영상 간 변환을 통하여 의료진이 정확한 정보를 가지고 진료, 진단, 치료를 수행할 수 있도록 하고, 환자는 적절한 의료 서비스를 제공받을 수 있도록 하는 의료영상 변환방법 또는 그 장치를 제공할 수 있다.

이외에도, 본 발명의 효과는 실시예에 따라서 우수한 범용성을 가지는 등 다양한 효과를 가지며, 그러한 효과에 대해서는 후술하는 실시예의 설명 부분에서 명확하게 확인될 수 있다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 일 실시예를 예시하는 것이며, 전술된 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 의료영상 변환방법을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 인공지능 학습모델을 나타낸다.
도 3은 출력영상과 타겟영상 간에 일치율을 계산하는 일 실시예를 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 인공지능 학습모델을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 이미지 패턴 유사도를 측정한 결과값을 나타낸다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략한다.

본 명세서에서 입력영상과 입력 이미지는 실질적으로 동일한 의미일 수 있다. 마찬가지로 출력영상과 출력 이미지도 실질적으로 동일한 의미이며, 타겟영상과 타겟 이미지도 동일한 의미일 수 있다.

도 1은 본 발명의 일 실시예에 따른 의료영상 변환방법을 나타내고, 도 2는 본 발명의 일 실시예에 따른 인공지능 학습모델을 나타낸다.

본 발명의 일 실시예에 따르면, 생성적 적대 신경망(GAN)을 사용하여 의료 영상을 변환하는 의료영상 변환방법을 제공할 수 있다.

본 실시예에 따른 의료영상 변환방법은 제1 이미지(110)와 제2 이미지(120)를 포함하는 페어드 데이터 셋에서 선택된 상기 제1 이미지(110)를 입력받는 제1 단계(S100); 상기 제1 이미지(110)를 기반으로 상기 제1 이미지(110)와 대응하고 상기 제1 이미지(110)와 도메인이 다른 제3 이미지(130)를 생성하는 제2 단계(S110);

상기 제3 이미지(130)를 상기 제2 이미지(120)와 비교하여 그 비교 결과를 고려하여 학습모델을 학습시키는 제3 단계(S120); 및 상기 제3 이미지(130)를 상기 제1 이미지(110)와 비교하여 그 비교 결과를 고려하여 상기 학습모델을 학습시키는 제4 단계(S130);를 포함하여 구성될 수 있다.

제1 이미지(110)와 제2 이미지(120)와 제3 이미지(130)는 의료영상을 의미할 수 있다. 여기서 의료영상은 MR 이미지(magnetic resonance image), 예컨대, 2D MR, 3D MR, 2D 스트리밍(streaming) MR, 4D MR, 4D 볼루메트릭(volumatric) MR, 4D 시네(cine) MR 등, 기능적 MR 이미지, 예컨대, fMR, DCE-MR, 확산(diffusion) MR 등, 컴퓨터 단층촬영(computed tomography, CT) 이미지, 예컨대, 2D CT, 콘빔(cone beam) CT, 3D CT, 4D CT 등, 초음파 이미지, 예컨대, 2D 초음파, 3D 초음파, 4D 초음파 등, 양전자 방출 단층 촬영(positron emission tomography, PET) 이미지, 엑스레이(X-ray) 이미지, 형광투시(fluoroscopic) 이미지, 방사선 요법 포털(radiotherapy portal) 이미지, 단일광자방출 컴퓨터 단층촬영(single-photo emission computed tomography, SPECT) 이미지, 컴퓨터 생성 합성 이미지(computer generated synthetic image), 예컨대, pseudo-CT, 등을 포함할 수 있다.

또한, 여기서 의료영상은 의료영상 데이터(medical image data), 예컨대, 학습 이미지(training image), 그라운드 트루스 이미지(ground truth image), 윤곽 이미지(contoured image), 도우즈 이미지(dose image) 등을 포함할 수 있다.

실시예에 따라서 의료영상은 영상획득장치로부터 획득된 이미지, 컴퓨터 합성 이미지 등을 포함할 수 있다. 영상획득장치는 예컨대, MR 촬상 장치(MR imaging device), CT 촬상 장치(CT imaging device), PET 촬상 장치(PET imaging device), 초음파 촬상 장치(ultrasound imaging device), 형광 투시 장치(fluoroscopic device), SPECT 촬상 장치(SPECT imaging device), 통합 선형 가속기와 MR 촬상 장치 등을 포함할 수 있다. 또한 영상획득장치는 전술한 예시에 한정되지 않으며, 환자의 의료영상을 획득하기 위한 기술적 사상의 범위 내에서 다양한 의료영상장치(medical imaging devices)를 포함할 수 있다.

페어드 데이터 셋(paired data set)은 객체, 예컨대, 환자의 특정 부위에 대한 영상을 포함하는 학습데이터의 셋을 포함할 수 있다.

예컨대, CT 촬상 장치, MR 촬상 장치를 사용하여 환자의 특정 부위, 예컨대, 두부에 대한 CT 영상과 MR 영상을 각각 촬영할 수 있고, 이 경우, CT 영상과 MR 영상은 페어드 데이터 셋을 구성할 수 있다.

환자의 특정부위에 대한 비조영증강(Non-enhanced) CT 영상과 MR 영상을 각각 촬영한 경우, 비조영증강(Non-enhanced) CT 영상과 MR 영상은 페어드 데이터 셋을 구성할 수 있고, 조영증강(Contrast enhanced) CT 영상과 MR 영상을 각각 촬영한 경우, 조영증강(Contrast enhanced) CT 영상과 MR 영상은 페어드 데이터 셋을 구성할 수 있다.

환자의 특정부위에 대한 T1 영상과 T2 영상을 촬영한 경우, T1 영상과 T2 영상은 페어드 데이터 셋을 구성할 수 있다.

여기서 환자의 특정 부위는 동일한 환자의 특정 부위를 의미할 수 있다. 또한, 촬영되는 부위가 동일하면 동일하지 않은 환자의 특정 부위를 의미할 수도 있다.

예컨대, 하나의 환자의 동일한 특정 부위를 촬영한 CT 영상과 MR 영상은 페어드 데이터 셋을 구성할 수 있으며, 서로 다른 환자의 동일한 부위를 촬영한 CT 영상과 MR 영상도 페어드 데이터 셋을 구성할 수 있다.

두 영상 간에 도메인(Domain)이 다르다는 것의 의미는. 예컨대 대응하는 두 영상에 각각 포함된 패턴의 콘트라스트가 두 영상 간에 차이가 나는 경우, 또는 두 영상 간에 인텐시티 분포 또는 패턴이 다른 경우에 도메인이 다르다.

또한, 서로 다른 촬상 장치에 의하여 촬영된 영상은 도메인이 다르다. 예컨대, CT 영상과 MR 영상은 각각 CT 촬상 장치와 MR 촬상 장치에서 촬영된 것이므로 양자는 도메인이 다르다. 마찬가지로 초음파 영상과 CT 영상 간, 초음파 영상과 MR 영상 간, MR 영상과 PET 영상 간에 도메인이 다르다.

또한, 비조영증강 영상과 조영증강 영상은 동일 부위에 대하여 인텐시티 분포가 다르므로 도메인이 다르다.

MR 영상의 경우, T1 영상과 T2 영상은 같은 MR 영상이지만 역시 인텐시티 분포가 다르므로 도메인이 다르다. 즉, 개체로부터 제공되는 시그널을 기초로 리컨스트럭션(Reconstruction)을 통하여 구현되는 두 영상 간에 이미지 구현에 기초가 되는 시그널(Signal), 시쿠언스(Sequence) 또는 이미지 구현 과정(Process)에 차이가 있는 경우, 해당 차이를 가지는 두 영상은 도메인이 서로 다르다. 또, 전술한 의료영상의 예시 간에는 도메인이 다르다.

본 발명의 일 실시예에 따른 의료영상 변환방법을 설명하기 위해서 영상획득장치가 동일 환자로부터 동일 부위의 제1 이미지(110)와 제2 이미지(120)를 촬영하여 페어드 데이터 셋을 확보한 경우를 예를 들어 설명한다. 실시예에 따라서 제1 이미지(110)는 원본 CT 영상이고 제2 이미지(120)는 원본 MR 영상이며, 제3 이미지(130)는 합성 MR 영상인 경우를 설명한다.

제1 단계(S100)는 제1 이미지(110)와 제2 이미지(120)를 포함하는 페어드 데이터 셋에서 선택된 제1 이미지(110)를 학습모델이 입력받는 단계를 포함할 수 있다. 여기서 제1 이미지(110)는 원본 CT 영상을 학습데이터로 가공한 입력영상을 포함할 수 있다.

제1 이미지(110)와 제2 이미지(120)를 포함하는 페어드 데이터 셋에서 제1 이미지(110)와 제2 이미지(120) 중에서 어느 이미지를 입력영상으로 선택할 것인지는 본 실시예에 따른 의료영상 변환방법을 수행하는 소프트웨어 의료기기의 제조사가 결정할 수 있다. 이 경우 어느 이미지를 선택할 것인지는 선택 알고리즘에 의하여 자동으로 선택될 수도 있고, 작업자에 의하여 수작업으로 선택될 수도 있다.

제조사는 CT 촬상장치에서 원본 CT 영상을 획득하고, MR 촬상장치에서 원본 MR 영상을 획득하여 페어드 데이터 셋을 구성할 수 있으며, 알고리즘 또는 수작업에 의하여 페어드 데이터 셋에서 원본 CT 영상을 입력영상으로 선택할 수 있다.

제2 단계(S110)는 제1 이미지(110)를 입력받은 학습모델이 제1 이미지(110)를 기반으로 제1 이미지(110)와 대응하고 제1 이미지(110)와 도메인이 다른 제3 이미지(130)를 생성하는 단계를 포함할 수 있다.

학습모델은 원본 CT 영상을 입력영상으로 입력받고, 원본 CT 영상을 기반으로 합성 MR 영상을 생성할 수 있다.

학습모델이 제1 이미지(110)로부터 제1 이미지(110)와 도메인이 다른 제3 이미지(130)를 생성하는 과정은 실시예에 따라서 다음의 두가지 과정으로 수행될 수 있다. 다만 학습모델이 제3 이미지(130)를 생성하는 과정은 다음의 두가지 과정으로 한정되는 것은 아니다.

첫 번째 과정은 영상획득장치에서 획득된 제1 이미지(110)를 입력받아 제1 이미지(110)보다 작은 크기의 고차원 특징을 추출하기 위해 컨벌루션(convolution) 연산들을 수행하는 하나 이상의 계층들로 구성되며, 이를 특징을 추출하는 인공신경망으로 표현할 수 있다. 이러한 특징을 추출하는 인공신경망은 영상획득장치에서 획득된 2차원 또는 3차원 실제 영상데이터를 입력받아 컨벌루션(convolution) 연산들을 수행하여 원본 영상으로부터 영상 특징을 추출할 수 있다.

이러한 과정은 예시적으로 설명하면, 필터를 통하여 이미지의 특징을 추출하는 컨볼루션 레이어(convolution layer)와 상기 특징을 강화시키고 이미지의 크기를 줄이는 풀링 레이어(pooling layer)를 구비하며 컨벌루션과 풀링을 반복하면서 이미지의 특징을 추출할 수 있다.

실시예에 따라서 복수의 계층으로 구성되는 컨볼루션 레이어에서는 첫번째 컨볼루션 레이어에서 입력으로 주어지는 입력영상의 특징을 추출하여 이로부터 특징맵을 출력할 수 있으며, 풀링 레이어는 이 특징맵을 입력받아 특징이 강화되고 이미지 크기가 줄어든 결과물을 출력하며, 풀링 레이어의 출력이 다시 두번째 컨벌루션 레이어에 입력되는 과정을 거칠 수 있다.

두 번째 과정은 전술한 첫 번째 과정의 결과물로부터 다른 모달리티의 영상데이터를 생성할 목적으로 역컨벌루션(deconvolution) 연산을 수행하는 하나 이상의 계층들로 구성되며, 이를 다른 모달리티의 영상을 생성하는 인공신경망으로 표현할 수 있다. 이러한 다른 모달리티의 영상을 생성하는 인공신경망은 첫 번째 과정에서의 특징을 추출하는 인공신경망의 컨벌루션 연산 수행의 결과로부터 역컨벌루션(deconvolution) 연산을 수행하여 2차원 또는 3차원의 다른 모달리티의 영상데이터를 생성할 수 있다.

제3 단계(S120)는 제3 이미지(130)를 제2 이미지(120)와 비교하고, 그 비교 결과를 고려하여 학습모델을 학습시키는 단계를 포함할 수 있다. 페어드 데이터 셋에 포함되는 원본 CT 영상과 원본 MR 영상 중에서 원본 CT 영상을 입력영상으로 결정하면, 원본 MR 영상은 타겟영상으로 결정될 수 있다. 여기서 제2 이미지(120)는 그라운드 트루스(ground truth)에 해당될 수 있다. 학습모델은 제3 이미지(130)를 생성한 뒤에, 생성된 제3 이미지(130)를 제2 이미지(120)와 비교하여 양자의 차이를 줄이는 방향으로 학습을 수행할 수 있다. 즉, 합성 MR 영상을 원본 MR 영상과 비교하여 원본 MR 영상에 근접하게 합성 MR 영상을 생성하였는지를 계속적으로 확인하여 합성 MR 영상과 원본 MR 영상이 같아지도록 학습할 수 있다. 실시예에 따라서 손실함수를 알고리즘에 적용하여 제3 이미지(130)와 제2 이미지(120) 간에 손실값을 계산하는 단계를 포함할 수 있으며, 손실값에 기반하여 학습모델의 파라미터를 업데이트할 수 있다.

실시예에 따라서 손실값을 계산하는 단계에서 학습모델을 업데이트하기 위한 손실값의 계산을 반복횟수(iterration)마다 수행할 수 있다. 즉, 학습모델은 학습을 수행하면서 반복횟수(iterration)마다 합성 MR 영상과 원본 MR 영상 간에 손실값을 계산할 수 있다.

반복횟수가 순차적으로 이어지는 제1 반복횟수구간과 제2 반복횟수구간을 포함하는 경우, 학습모델은 실시예에 따라서는 제1 반복횟수구간에서 계산된 제1 손실값과 제2 반복횟수구간에서 계산된 제2 손실값 간에 변화량의 절대값이 기준값보다 작아지는 경우에 이를 과적합(Overfitting)된 것으로 간주하고 학습을 종료할 수 있다.

학습모델이 의료영상변환을 충분히 학습한 상태에서는 더 이상 학습을 진행하지 않고, 학습을 완성시킬 수 있으며, 이렇게 학습이 완성된 학습모델은 이제 각기 다른 데이터 분포를 가진 여러 제1 이미지(110)에 대하여 제1 이미지(110)와는 도메인이 다른 제3 이미지(130)로 의료영상을 생성하는 능력을 가지게 된다.

본 발명의 일 실시예에 따른 학습모델(200)은 갠(GAN) 모델이 적용될 수 있으며, 생성자와 구분자를 포함하여 구성될 수 있다. 생성자는 이미지 생성하는 학습을 수행할 수 있고, 구분자는 이미지 구분 학습을 수행할 수 있다.

도 2를 참조하면, 갠(GAN) 모델이 적용된 학습모델(200)에 있어서, 원본 CT 영상(110)이 생성자(210)에 입력영상으로 입력되면 생성자(210)는 전술한 컨볼루션 연산을 통하여 합성 MR 영상(130)을 생성하는 학습을 수행하고, 구분자(220)는 원본 MR 영상(120) 즉 실제 의료영상과 합성 MR 영상(130)을 구분하는 학습을 수행할 수 있다.

실시예에 따라서 본 실시예에 따른 학습모델(200)에 사이클갠(cycle-GAN) 모델(미도시)이 적용될 수도 있다. 이 경우 학습모델(200)은 제1 생성자(210)와 제1 구별자(220), 제2 생성자와 제2 구별자를 포함하여 구성될 수 있다. 원본 CT 영상(110)이 제1 생성자(210)에 입력영상으로 입력되면 제1 생성자(210)는 전술한 컨볼루션 연산을 통하여 합성 MR 영상(130)을 생성하는 학습을 수행하고, 제1 구분자(220)는 원본 MR 영상(120) 즉 실제 의료영상과 합성 MR 영상을 구분하는 학습을 수행할 수 있고, 다시 제1 생성자(210)가 생성한 합성 MR 영상(130)을 제2 생성자에 입력하면 제2 생성자는 합성 MR 영상(130)에 기반하여 합성 CT 영상을 생성하는 학습을 수행할 수 있고, 제2 구별자는 합성 CT 영상을 원본 CT 영상과 구별하는 학습을 수행할 수 있다.

여기서 원본 CT 영상(110)은 전술한 의료영상 변환방법에 있어서 제1 이미지(110)에 대응하고, 합성 MR 영상(130)은 제3 이미지(130)에 대응하며, 원본 MR 영상(120)은 제2 이미지(120)와 대응하는 영상일 수 있다.

실시예에 따라서 제3 단계(S120)는 제3 이미지(130)와 제2 이미지(120) 간에 일치율을 계산하고, 이 계산값을 학습모델에 피드백하는 단계를 포함할 수 있다. 여기서 일치율은 전술한 이미지 패턴 유사도와는 다르다. 여기서 일치율을 계산하는 것은 동일한 도메인에 속하는 두 영상 간에 얼마나 차이가 있는지를 확인하기 위한 방법이므로 전술한 이미지 패턴 유사도와는 다른 것이다. 제3 단계(S120)와 제4 단계(S130)는 각각 다른 비교대상을 각각 다른 비교방식으로 비교하여 학습모델로 피드백하는 것이다.

도 3은 출력영상과 타겟영상 간에 일치율을 계산하는 일 실시예를 나타낸다.

일치율의 계산은 실시예에 따라서 합성 MR 영상과 원본 MR 영상에서 동일한 부위에 병변 영역이 표시되어 있는 경우, 해당 병변 영역의 크기를 비교하여 계산할 수 있다. 예컨대, 합성 MR 영상과 원본 MR 영상으로부터 각각 종양 기타 병변의 위치를 표시하고 이를 바이너리(binary) 이미지로 전환하여 일치율을 계산할 수 있다.

이 경우, 일치율은 예시적으로 하우스도르프 거리(hausdorf distance), 다이스 유사성 계수(dice similarity coefficient) 등 평가지표를 이용하여 계산하거나, 두 병변의 위치의 질량중심(center of mass)의 차이를 통해 정량적으로 계산할 수 있다. 또한, 타겟영상과 출력영상이 CT 영상인 경우, 병변에 대한 방사선량 계산을 비교하여 두 이미지의 일치율을 판단할 수도 있다. 실시예에 따라서는 합성 MR 영상과 원본 MR 영상 간의 차이를 MAE, RMSE, SSIM, PSNR 등으로 표시(이하 성능지표)하여 수치화하여 판단할 수도 있다.

도 3을 참조하면, 출력영상인 합성 MR 영상(130)과 타겟영상인 원본 MR 영상(120) 간에 병변 영역을 정렬시키고 하우스도르프 거리 측정 방법을 적용하여 각 병변의 윤곽을 상호 비교하여 일치율을 계산하는 과정을 나타낸다.

도 4는 본 발명의 다른 실시예에 따른 인공지능 학습모델을 나타낸다.

제4 단계(S130)는 제3 이미지(130)를 제1 이미지(110)와 비교하여 그 비교 결과를 고려하여 학습모델을 학습하는 단계를 포함할 수 있다. 제3 이미지(130)는 학습모델이 입력영상(110)을 수신하고, 이를 의료영상을 변환하여 출력한 출력영상(130)을 포함한다.

학습모델이 원본 CT 영상(110)을 기반으로 원본 CT 영상(110)이 속한 도메인과는 다른 도메인에 속하는 합성 MR 영상(130)을 출력한 경우, 이 출력영상(130)은 원본 CT 영상(110)을 반영해야 한다.

본 발명에 의한 의료영상 변환의 목적은 입력영상(110)을 정확하게 반영하는 출력영상(130)을 생성하는 데에 있다. 그러나 학습모델(200)이 그의 학습과정에서 출력영상(130)을 타겟영상(120)과 비교하여 그 차이를 줄이는 방향으로 학습하였으므로 출력영상(130)이 원본 CT 영상(110)을 정확히 반영하지 않는 경우가 있다. 즉, 출력영상(130)의 정확성이 떨어지는 문제가 있는 것이다.

이러한 문제를 해결하기 위해서 본 발명의 일 실시예에 따른 의료영상 변환방법은 제3 이미지(130)를 제1 이미지(110)와 비교하여 그 비교 결과를 다시 학습모델에 피드백하는 과정을 수행할 수 있다. 즉, 입력영상(110)과 출력영상(130)을 비교하여 출력영상(130)이 입력영상을 반영하는 정도를 측정하여 그 결과를 학습모델(200)의 학습과정에 입력하는 것이다.

제4 단계(S130)에서 비교 대상인 제3 이미지(130)와 제1 이미지(110)는 서로 도메인이 다른 이미지이다. 즉, 제3 이미지(130)는 MR 영상이고, 제1 이미지(110)는 CT 이미지이므로 양 자는 도메인이 다르다. 이는 제3 단계(S120)에서의 비교 대상인 제3 이미지(130)와 제2 이미지(120)가 서로 동일한 도메인에 속하는 이미지인 것과 대별된다. 제3 단계(S120)에서는 합성 MR 영상과 원본 MR 영상을 비교하므로 동일한 도메인에 속하는 영상을 비교 대상으로 한다. 따라서 제4 단계(S130)에서 학습모델이 피드백받는 입력값과 제3 단계(S120)에서 학습모델이 피드백받는 입력값은 성격이 다르다.

실시예에 따라서 제4 단계(S130)는 제3 이미지(130)와 제1 이미지(110) 간에 이미지 패턴 유사도를 측정하고 이 측정값을 상기 학습모델에 피드백하는 것일 수 있다. 합성 MR 영상과 원본 CT 영상 간에 도메인이 다르므로 두 영상에서 동일한 관심영역 또는 기관이라도 인텐시티 패턴이 다를 수 있다. 예컨대, CT 영상에서는 특정 A 부위가 화이트 영역으로 표시되는 경우 MR 영상에서는 동일한 A 부위가 블랙 영역으로 표시될 수 있다. 따라서 도메인이 서로 다른 두 영상 간에 차이를 비교하기 위하여 두 영상 간에 이미지 패턴 유사도를 측정하여 그 측정값을 학습모델에 반영함으로써 학습모델의 파라미터를 업데이트할 수 있다.

실시예에 따라서 이미지 패턴 유사도를 측정하기 위한 다양한 방법 중 하나는 피어슨 상관 계수(Pearson Correlation Coefficient, PCC)를 이용하는 것이다. 또는 상호의존정보(Mutual Information, MI)를 이용할 수도 있다. 그러나 본 실시예에 따른 이미지 패턴 유사도를 측정하기 위한 다양한 방법 중 하나일 뿐이며 그 외에 다양한 방법을 이용할 수 있다.

본 발명의 다른 실시예는 제1 이미지(110)를 입력받고, 상기 제1 이미지(110)를 기반으로 제3 이미지(130)를 생성하는 학습부(200);

상기 학습부(200)가 생성한 상기 제3 이미지(130)를 제2 이미지(120)와 비교하여 제1 비교값을 생성하고 상기 제1 비교값을 상기 학습부(200)로 피드백하는 제1 비교부(300); 및

상기 학습부(200)가 생성한 상기 제3 이미지(130)를 상기 제1 이미지(110)와 비교하여 제2 비교값을 생성하고 상기 제2 비교값을 상기 학습부(200)로 피드백하는 제2 비교부(400);를 포함하는 인공지능 학습모델(100)을 제공할 수 있다.

본 실시예에 따른 인공지능 학습모델(100)에서 학습부(200)는 제1 이미지(110)를 입력영상으로 수신하고, 제1 이미지(110)를 기반으로 제3 이미지(130)를 생성할 수 있다. 실시예에 따라서 제1 이미지(110)와 제3 이미지(130)는 동일한 도메인에 속하는 영상 또는 서로 다른 도메인에 속하는 영상을 포함할 수 있다. 실시예에 따라서 제1 이미지(110)는 입력영상을 의미할 수 있고, 제3 이미지(130)는 출력영상을 의미할 수 있다.

본 실시예에 따른 인공지능 학습모델(100)은, 제1 이미지(110)와 제3 이미지(130)가 서로 다른 도메인에 속하는 영상인 경우, 전술한 실시예에서의 의료영상 변환방법을 구현하는 것일 수 있다.

본 실시예에 따른 인공지능 학습모델(100)은 제1 비교부(300)와 제2 비교부(400)를 포함할 수 있다. 제1 비교부(300)의 비교대상인 제3 이미지(130)와 제2 이미지(120)는 동일한 모달리티 영상을 포함할 수 있다. 제2 비교부(400)의 비교대상인 제3 이미지(130)와 제1 이미지(110)는 서로 다른 모달리티 영상을 포함할 수 있다.

실시예에 따라서 제1 비교부(300)는 출력영상과 타겟영상을 비교하여 제1 비교값을 학습부(200)로 피드백하여 학습부(200)가 제1 비교값을 반영하여 학습하도록 기능할 수 있고, 제2 비교부(400)는 출력영상과 입력영상을 비교하여 제2 비교값을 학습부(200)로 피드백하여 학습부(200)가 제2 비교값을 반영하여 학습하도록 기능할 수 있다.

학습부(200)는 제1 비교값과 제2 비교값을 각각 입력받아서 학습을 수행할 수 있다. 실시예에 따라서 제1 비교값과 제2 비교값은 서로 다른 방식으로 생성되는 것일 수 있다.

실시예에 따라서 제1 비교부(300)는 제2 이미지(120)와 제3 이미지(130) 간에 일치율을 계산하고, 그 결과값을 상기 학습부(200)로 피드백하는 것일 수 있다. 예컨대 제1 비교값은 동일한 모달리티 영상 간에 일치율을 계산하여 도출된 결과를 포함할 수 있다.

실시예에 따라서 제2 비교부(400)는 제1 이미지(110)와 제3 이미지(130) 간에 이미지 패턴 유사도를 계산하고, 그 결과값을 상기 학습부(200)로 피드백하는 것일 수 있다. 예컨대 제2 비교값은 서로 다른 모달리티 영상 간에 이미지 패턴 유사도를 계산하고 도출된 결과를 포함할 수 있다. 제1 비교부(300)는 전술한 의료영상 변환방법에서 제3 단계(S120)의 과정을 수행하는 구성일 수 있으며, 제2 비교부(400)는 제4 단계(S130)의 과정을 수행하는 구성일 수 있다.

아래의 수학식1은 상호의존정보(Mutual Information, MI)를 계산하는 수학식이다.

수학식 1은 두 의료영상 X와 Y 간에 상호의존정보(MI)를 계산하는 수학식이다. 상호의존정보(MI)는 의료영상 X가 가지고 있는 정보와 의료영상 Y가 가지고 있는 정보가 서로 어떤 관계를 가지고 있는지를 나타내는 정보량을 의미할 수 있다.

실시예에 따라서, 대문자 X와 대문자 Y는 각각 원본 CT 영상(110)과 합성 T2 영상(130)을 의미할 수 있다. 그리고 소문자 x는 원본 CT 영상(110)의 각 픽셀 당 인텐시티값을 나타낼 수 있고, 소문자 y는 합성 T2 영상(130)의 각 픽셀 당 인텐시티값을 나타낼 수 있다.

이 경우, 본 수학식 1이 표현하고 있는 상호의존정보(MI(X;Y))는 원본 CT 영상(110)과 합성 T2 영상(130) 간에 이미지 패턴 유사도를 나타낼 수 있다.

구체적으로 설명하면, 본 수학식 1은 합성 T2 영상(130)에서 특정 영역의 인텐시티(y) 분포가 원본 CT 영상(110)의 인텐시티 분포(x)와 얼마나 연관성이 있는지를 나타낼 수 있다. 예컨대, 합성 T2 영상(130)에서 밝은 부분이 원본 CT 영상(110)에서는 어두울 수 있는 데, 이러한 인텐시티 분포가 얼마나 일관되게 대응되는가를 나타낼 수 있다.

본 실시예에서 이미지 패턴 유사도를 나타내는 상호의존정보(MI) 등의 방식으로 계산한 계산값을 피드백하는 셀프피드백(self feedback)은 학습모델이 생성하는 출력영상이 입력영상에 있는 정보를 충분히 표현하도록 하기 위한 피드백을 포함할 수 있다.

입력영상과 타겟영상을 포함하는 페어드 데이터 셋을 확보하는 과정에서 CT 촬상장치와 MR 촬상장치가 동일 환자의 동일 부위를 촬영한다고 하더라도 시간적 제약과 촬영 셋팅의 차이에 의하여 입력영상과 타겟영상이 완전히 정합이 되지 않는다. 즉, 환자가 CT 촬상장치를 통하여 CT 영상을 촬영한 뒤에 다시 MR 촬상장치를 통하여 MR 영상을 촬영할 때에는 다른 시간 및 다른 공간에서 촬영하므로 완전히 정합되는 CT 영상과 MR 영상을 얻을 수 없는 문제가 있다.

이렇게 페어드 데이터 셋에서 입력영상의 슬라이스와 타겟영상의 슬라이스가 완전하게 슬라이스 매칭되지 않는 경우, 학습모델이 생성하는 출력영상이 타겟영상을 무조건 따라가지 않고, 입력영상에 기반하여 생성되도록 하는 것이 셀프피드백이다.

다시 말하면, 셀프피드백은, 입력영상과 타겟영상이 정확하게 정합되지 않는 경우, 출력영상이 단순히 타겟영상과 동일한 이미지가 되도록 학습모델이 학습하게 하는 것이 아니라, 입력영상에서 나타난 조직, 병소 등의 정보가 도메인이 다른 출력영상에서 충분히 표현되도록 학습모델이 학습하게 하는 것이다.

셀프피드백을 컴패러티브피드백과 비교하여 설명한다.

컴패러티브피드백은 제3 단계(S120)에서 제3 이미지(130)와 제2 이미지(120) 간에 일치율을 계산한 계산값을 학습모델에 피드백하는 것이다.

셀프피드백과 컴패러티브피드백은 피드백을 위한 비교대상이 다르다. 셀프피드백은 입력영상과 출력영상을 비교하는 것이고, 컴패러티브피드백은 출력영상과 타겟영상을 비교하는 것이다. 즉, 셀프피드백은 서로 다른 도메인에 속하는 영상 간에 비교한 것이고, 컴패러티브피드백은 동일한 도메인에 속하는 영상 간에 비교한 것이다.

컴패러티브피드백은 비교대상인 두 이미지에 있어서 단순히 인텐시티 패턴이 동일한지 그 차이를 보는 것인 반면에 셀프피드백은 비교대상인 두 이미지가 얼마나 유사한지를 본다.

예컨대 원본 MR 영상과 합성 MR 영상의 경우는 영상정보의 도메인이 같기 때문에 생성된 합성 MR 영상과 원본 MR 영상 간의 행렬 연산으로 두 이미지 간의 일치율을 정량화하여 컴패러티브피드백으로 학습모델에 반영할 수 있다.

그러나 원본 CT 영상에서 합성 MR 영상으로 변환한 경우, 두 영상 정보는 서로 다른 이미지 도메인에 속해 있으므로 단순히 이미지 간의 행렬 연산으로 유사도를 수치화할 수는 없다.

왜냐하면 원본 CT 영상과 합성 MR 영상은 도메인이 다른 이미지이기 때문에 CT 영상에서 어둡게 보이는 영역이 MR 영상에서는 밝게 보이는 영역일 수 있고, CT 영상과 유사하게 어둡게 보이는 영역일 수도 있기 때문이다. 따라서 학습모델의 피드백 과정에 두 이미지 간의 유사도를 반영하기 위해서는 단순한 행렬 연산이 아닌 다른 연산기법이 적용되어야 한다.

도 5를 참조하여, 더욱 구체적으로 이미지 패턴 유사도를 설명한다.

도 5는 본 발명의 일 실시예에 따른 이미지 패턴 유사도를 계산한 결과값을 나타낸다. 여기서 이미지 패턴 유사도의 계산은 수학식 1을 사용하여 수행하였다. 도 5(a)는 학습모델이 원본 CT 영상을 입력받아서 다양한 출력영상을 출력한 모습을 나타낸다. 여기서 출력영상은 합성 T2 영상을 나타낸다. 도 5(b)는 출력영상들의 이미지 패턴 유사도의 계산값을 나타낸다.

도 5는 브레인 영상을 나타낸다. 도 5는 원본 CT 영상 중 하나의 슬라이스를 가지고 합성 T2 슬라이스 전체와 비교한 수치를 나타낸다. 입력영상인 원본 CT 영상의 제8번, 제12번, 제20번, 제24번, 제28번, 제32번, 제36번, 제40번, 제44번 슬라이스 각각에 대하여 학습모델이 타겟영상과 비교하여 출력한 출력 T2 영상들로써 입력영상과 대응되도록 출력 T2 영상의 제8번, 제12번, 제20번, 제24번, 제28번, 제32번, 제36번, 제40번, 제44번 슬라이스를 생성하였다.

여기서 도 5에서 입력영상으로 표시된 원본 CT 영상은 제12번 슬라이스 영상이고, 출력영상으로 표시된 합성 T2 영상 10개는 각각 제8번, 제12번, 제20번, 제24번, 제28번, 제32번, 제36번, 제40번, 제44번 슬라이스를 나타낸다.

도 5를 참조하면, 입력영상인 원본 CT 영상의 제12번 슬라이스 영상은 출력영상인 출력 T2 영상의 제12번 슬라이스 영상(a)과 가장 유사도 측정치가 높은 것을 알 수 있다. 그리고 입력영상인 원본 CT 영상의 제12번 슬라이스 영상은 출력영상인 출력 T2 영상의 제16번 슬라이스 영상(b) 또는 출력 T2 영상의 제20번 슬라이스 영상(c)과는 유사도 측정치가 제12번 슬라이스 영상(a) 보다는 다소 떨어지는 것을 알 수 있다. 도 5를 참조하면 출력영상 제16번 슬라이스 영상(b) 및 제20번 슬라이스 영상(c)에서는 입력영상 제12번 슬라이스에서는 안보이는 뇌실구조가 크게 나타나고 있으며, 출력영상 제12번 슬라이스 영상에서만 입력영상과 같이 뇌실구조가 보이지 않는다.

결국, 입력영상인 원본 CT 영상 제12번 슬라이스 영상과 출력영상인 합성 T2 영상 중 제12번 슬라이스 간에 유사도가 높고 나머지는 유사도가 떨어지는 것으로 슬라이스 레벨의 일치율을 패턴 유사도를 통해 계산할 수 있음을 보여준다.

즉, 원본 CT 영상 제12번 슬라이스 영상과 출력영상인 합성 T2 영상 중 제12번 슬라이스 간에 해부학적 구조가 가장 유사하다는 것이다.

이미지 패턴 유사도는 양 영상 간에 해부학적 구조물에 의한 표현의 연관성을 비교하는 것이다. 의료영상은 동일한 해부학적 구조일지라도 영상의 종류에 따라 인텐시티 패턴이 달라진다. 출력영상 제16번 슬라이스 영상(b) 및 제20번 슬라이스 영상(c)에서 입력영상에서 나타나지 않는 뇌실구조가 나타났으므로 양 영상은 원본 영상에서의 이미지 패턴을 제대로 반영하지 않아 낮은 유사도를 나타내었다.

본 발명은 컴퓨터가 전술한 수학식1을 통하여 생성된 영상이 원본 영상의 정보에 기반하여 충실하게 변환하였는지 확인하고 이를 인공지능 학습모델에 반영하여 없던 구조물을 인위적으로 생성하는 등의 문제를 해결할 수 있도록 한다.

이미지 패턴 유사도는 예컨대, 그레이 매터 및 화이트 매터의 볼륨, 스컬의 두께, 스컬의 직경 등이 유사한 것을 의미할 수 있다.

학습모델이 생성한 합성 MR 영상이라고 해도 타겟영상인 원본 MR 영상과 입력영상인 원본 CT 영상 간에 슬라이스 정합이 되지 않으면, 학습모델은 부정확한 합성 MR 영상을 생성하게 되므로 이를 방지하고자 셀프피드백을 추가한 것이다.

즉, 도 5는 타겟영상 중 입력영상과 레벨이 맞는 타겟영상을 반영하여 출력된 출력영상이 입력영상과 유사도가 높고, 입력영상과 레벨이 맞지 않는 타겟영상을 반영하여 출력된 출력영상과 해당 입력영상 간에는 유사도가 떨어지는 것을 나타낸다.

브레인의 경우, 두개골로 고정되어 있어 리지드(rigid)하므로 입력영상과 타겟영상 간에 정합이 크게 문제되지 않지만, 복부의 경우는 환자가 숨을 쉴 때 마다 기관의 위치 및 형태가 크게 변한다. 즉, 내장 기관의 상태에 따라서 크게 유동적이기 때문에 CT 영상과 MR 영상을 완벽하게 정합하기가 어렵다.

따라서 학습모델이 학습을 잘 수행하는 것이라 하더라도 타겟영상과 입력영상의 슬라이스 레벨이 정확히 ?Я? 않는 경우가 있기 때문에 입력영상에 기반하여 만들어진 출력영상이 그 입력영상의 텍스춰(texture)를 제대로 표현한 것인지 여부를 셀프피드백을 통하여 학습모델이 인지해야 할 필요가 있다.

도 5에서 여러 개의 T2 영상을 보여준 것은 이미 타겟영상과 비교를 한 결과물로 나온 것이고 이것이 원본 CT 영상과 얼마나 유사한지를 나타내는 것이다.

그 결과 실제로 동일한 레벨의 입력영상 슬라이스와 타겟영상 슬라이스 간에 유사도가 높다는 것을 나타낸 것이다. 도 5는 브레인에서 해당되는 것이지만, 본 발명은 동일한 레벨의 입력영상 슬라이스와 타겟영상 슬라이스 간에 유사도가 높다는 결론을 복부 또는 정합이 어려운 다른 기관에 대하여 사용할 수 있다.

즉 브레인 영상에서는 이미지 유사도를 크게 사용할 필요가 없지만, 복부 등을 촬영한 영상에서는 정합이 안되거나 아예 페어데이터가 없을 수도 있다. 본 발명의 실시예에 의하면 이러한 경우에도 입력영상과 출력영상 간에 이미지패턴 유사도 측정치를 학습모델에 피드백하여 학습모델을 업데이트함으로써 입력영상과 타겟영상 간에 부정합 또는 페어데이터의 부재에서 기인하는 출력영상의 유사도 저하 문제를 해소할 수 있다.

본 발명의 또 다른 실시예는 생성적 적대 신경망(GAN)을 사용하여 의료 영상을 변환하는 영상변환장치에 있어서,

입력 이미지를 입력받고, 상기 입력 이미지를 기반으로 상기 입력 이미지와 대응하는 출력 이미지를 생성하는 학습모델; 및 상기 출력 이미지를 상기 입력 이미지와 비교하고, 그 비교값을 상기 학습모델로 피드백하는 비교부;를 포함하는 영상변환장치를 제공할 수 있다.

여기서 입력 이미지는 전술한 실시예인 의료영상 변환방법에 있어서 제1 이미지(110)와 실질적으로 동일한 것일 수 있고, 출력 이미지는 제3 이미지(130)와 실질적으로 동일한 것일 수 있다.

실시예에 따라서 학습모델은 비교부와 별도로 출력 이미지를 그라운드 트루스(ground-truth)와 비교하여 학습을 수행할 수 있다. 또한 비교부는 입력 이미지와 출력 이미지 간에 이미지 패턴 유사도를 측정하여 비교하는 것일 수 있다.

여기서 이미지 패턴 유사도는 피어슨 상관 계수(Pearson Correlation Coefficient, PCC) 또는 상호의존정보(Mutual Information, MI)를 포함할 수 있다.

예컨대, 본 실시예에서 학습모델은 원본 CT 영상을 입력을 수신하고, GAN 모델에 의하여 원본 CT 영상에서 합성 MR 영상을 생성할 수 있다. 비교부는 학습모델에 입력으로 제공된 원본 CT 영상과 학습모델이 출력한 합성 MR 영상을 비교하여 양 자간 이미지 패턴 유사도를 측정하여 그 결과를 학습모델에 입력하는 것일 수 있다.

이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

S100: 제1 단계
S110: 제2 단계
S120: 제3 단계
S130: 제4 단계
100: 인공지능 학습모델
110: 제1 이미지
120: 제2 이미지
130: 제3 이미지
200: 학습부
210: 생성자
220: 구분자
300: 제1 비교부
400: 제2 비교부

Claims

생성자 및 구분자를 포함하는 생성적 적대 신경망(GAN)을 사용하여 의료 영상을 변환하는 의료영상 변환방법에 있어서,
제1 이미지와 제2 이미지를 포함하는 페어드 데이터 셋에서 선택된 상기 제1 이미지를 생성자의 입력영상으로서 입력받는 제1 단계;
상기 제1 이미지를 기반으로 상기 제1 이미지와 대응하고 상기 제1 이미지와 도메인이 다른 제3 이미지를 생성하는 제2 단계;
구분자가 상기 제3 이미지를 상기 제2 이미지와 비교하고, 그 비교 결과를 고려하여 학습모델을 학습시키는 제3 단계; 및
상기 제3 이미지가 상기 제1 이미지를 기반으로 생성되도록 하기 위하여, 상기 제3 이미지를 상기 제1 이미지와 비교하여 그 비교 결과를 고려하여 상기 학습모델을 학습시키는 제4 단계;
를 포함하는 의료영상 변환방법.
제1항에 있어서,
상기 제4 단계는 상기 제3 이미지와 상기 제1 이미지 간에 이미지 패턴 유사도를 측정하고 이 측정값을 상기 학습모델에 피드백하는 것을 특징으로 하는 의료영상 변환방법.
제2항에 있어서,
상기 이미지 패턴 유사도는 피어슨 상관 계수(Pearson Correlation Coefficient, PCC) 또는 상호의존정보(Mutual Information, MI)를 포함하는 것을 특징으로 하는 의료영상 변환방법.
제2항에 있어서,
상기 제3 단계는 상기 제3 이미지와 상기 제2 이미지 간에 일치율을 계산하고 이 계산값을 상기 학습모델에 피드백하고, 상기 일치율은 상기 이미지 패턴 유사도와는 다른 것을 특징으로 하는 의료영상 변환방법.
제1 이미지를 입력받고, 상기 제1 이미지를 기반으로 제3 이미지를 생성하는 학습부;
상기 학습부가 생성한 상기 제3 이미지를 제2 이미지와 비교하여 제1 비교값을 생성하고 상기 제1 비교값을 상기 학습부로 피드백하는 제1 비교부; 및
상기 제3 이미지가 상기 제1 이미지를 기반으로 생성되기 위해서, 상기 학습부가 생성한 상기 제3 이미지를 상기 제1 이미지와 비교하여 제2 비교값을 생성하고 상기 제2 비교값을 상기 학습부로 피드백하는 제2 비교부;
를 포함하는 인공지능 학습모델.
제5항에 있어서,
상기 제1 비교값과 상기 제2 비교값은 서로 다른 방식으로 생성되는 것을 특징으로 하는 인공지능 학습모델.
제5항에 있어서,
상기 제1 비교부는 서로 동일한 도메인에 속하는 상기 제2 이미지와 상기 제3 이미지 간에 차이를 비교하는 것을 특징으로 하는 인공지능 학습모델.
제7항에 있어서,
상기 제1 비교부는 상기 제2 이미지와 상기 제3 이미지 간에 일치율을 계산하고, 그 결과값을 상기 학습부로 피드백하는 것을 특징으로 하는 인공지능 학습모델.
제5항에 있어서,
상기 제2 비교부는 서로 다른 도메인에 속하는 상기 제1 이미지와 상기 제3 이미지 간에 차이를 비교하는 것을 특징으로 하는 인공지능 학습모델.
제9항에 있어서,
상기 제2 비교부는 상기 제1 이미지와 상기 제3 이미지 간에 이미지 패턴 유사도를 계산하고, 그 결과값을 상기 학습부로 피드백하는 것을 특징으로 하는 인공지능 학습모델.
삭제
삭제
삭제
삭제