KR20240037867A - 심층 생성적 적대 신경망을 이용한 교차 중심 스타일 전달 자기 공명 영상 조화 및 생성 기법을 통한 의료 영상 표준화 네트워크 모델의 학습 방법 및 의료 영상의 표준화 방법 - Google Patents

Abstract

본 발명은 심층 생성적 적대 신경망을 이용한 교차 중심 스타일 전달 자기 공명 영상 조화 및 생성 기법을 통한 의료 영상 표준화 네트워크 모델의 학습 방법 및 의료 영상의 표준화 방법에 관한 것으로, 더욱 상세하게는 서로 다른 의료 영상을 신뢰성 높게 표준화할 수 있는 기술에 관한 것으로, 다양한 의료 영상 장치를 통해 촬영된 의료 영상을 표준화하는데 이용될 수 있다.

Description

심층 생성적 적대 신경망을 이용한 교차 중심 스타일 전달 자기 공명 영상 조화 및 생성 기법을 통한 의료 영상 표준화 네트워크 모델의 학습 방법 및 의료 영상의 표준화 방법{Learning method of medical image standardization network model and standardization method of medical images through MR image harmonization method based on cross-center style transfer using deep generative adversarial network}

본 발명은 심층 생성적 적대 신경망을 이용한 교차 중심 스타일 전달 자기 공명 영상 조화 및 생성 기법을 통한 의료 영상 표준화 네트워크 모델의 학습 방법 및 의료 영상의 표준화 방법에 관한 것으로, 더욱 상세하게는 서로 다른 의료 영상을 신뢰성 높게 표준화할 수 있는 기술에 관한 것이다.

기존의 다양한 병원 및 기관에서 촬영한 의료 영상 데이터를 이용한 다중 코호트 및 융합 연구에서의 병변 추출, 병리 진단 예측 등의 심층 학습 (deep learning) 및 인공지능 분석 작업을 진행하는 경우 촬영기기 혹은 장소 등의 임의 변수에 의해서 동일한 촬영 부위에서도 이를 다르게 판단하여 성능에 유의미한 저하를 보이는 문제점이 발생하였다.

또한, 기존의 의료 영상의 표준화 작업은 각각의 기관 및 병원에서 진행하는 촬영 후 전처리의 차이점으로 인해, 추가적인 기관별 도메인 차이가 심화되는 문제점이 발생하였다.

이에 따라, 일관화된 전처리 방식과 표준화 작업을 통해 이러한 의료 영상 촬영 후 전처리에 따른 경향 차이를 제거할 필요성이 존재하며, 인공지능 모델을 다기관에서 일관적인 성능을 도출하고 모델을 상용화하기 위해 해당 문제를 해결할 필요성이 존재하였다.

따라서, 본 발명은 기관별 도메인 스타일을 학습하고, 학습한 도메인들을 중심으로 원하는 병원 및 기관을 모든 경우로 변환하고자 하며, 이러한 표준화된 모델을 이용하여 융합 연구 및 상용화에서의 신뢰성을 높이고, 위험 부담 및 오류를 줄여 인공지능을 이용한 섬세한 병리 판독을 목표한다.

이에 본 발명자들은 본 발명에 따른 의료 영상의 표준화 네트워크 모델의 표준화 성능 및 표준화된 의료 영상의 신뢰성이 월등히 우수한 것을 확인하였다.

이에, 본 발명의 목적은 의료 영상 표준화 네트워크 모델의 학습 방법을 제공하는 것이다.

본 발명의 다른 목적은 의료 영상 표준화 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 의료 영상 표준화 장치를 제공하는 것이다.

본 발명은 심층 생성적 적대 신경망을 이용한 교차 중심 스타일 전달 자기 공명 영상 조화 및 생성 기법에 관한 것으로, 본 발명에 따른 의료 영상 표준화 네트워크 모델은 서로 다른 의료 영상을 신뢰성 높게 표준화할 수 있다.

이하 본 발명을 더욱 자세히 설명하고자 한다.

본 발명의 일 양태는, 의료 영상을 표준화하는 의료 영상 표준화 네트워크 모델을 학습시키는 방법에 있어서, 의료 영상 각각에 대한 스타일 정보가 포함된 스타일 피쳐를 추출하고, 서로 다른 복수의 의료 영상 간의 스타일을 구분하는 추출 단계; 생성모듈을 이용하여 임의의 의료 영상 및 해당 의료 영상의 스타일 피쳐를 생성 모듈에 입력하여 가상 이미지를 생성하는 생성 단계; 생성된 가상 이미지와 원본 이미지에 기초하여 의료 영상 표준화 네트워크 모델을 학습시키는 학습 단계;를 포함하는, 의료 영상 표준화 네트워크 모델의 학습 방법이다.

본 명세서 상의 용어 "의료 영상"은, 이산적 영상 요소들 (예를 들어, 2차원 영상에 있어서는 픽셀)로 구성된 다차원 의료 영상 데이터를 포함하는 것일 수 있다. 구체적으로, 의료 영상은 눈으로 볼 수 있는 대상 또는 (예컨대, CT, MRI 검출기 등의 픽셀 출력에 대응되는 파일과 같은) 그 대상의 디지털 표현물을 포함할 수 있다. 의료데이터는 전산화 단층 촬영 (computed tomography; CT), 자기 공명 영상(magnetic resonance imaging; MRI), 안저 영상, 초음파 또는 본 발명의 기술분야에서 공지된 임의의 다른 의료 영상 시스템의 의하여 수집된 대상 (subject)의 의료 영상을 포함하는 것일 수 있다.

본 발명의 일 구현예에서, 방법은, 의료 영상을 전처리하는 전처리 단계를 포함하는 것일 수 있다.

본 발명의 일 구현예에서, 전처리 단계는, 의료 영상의 신호 세기를 정규화는 것일 수 있다.

본 발명의 일 구현예에서, 전처리 단계는, 의료 영상의 복셀 배열들의 크기를 표준 공간에 정렬하는 것일 수 있다.

본 발명의 일 구현예에서, 전처리 단계는, 의료 영상 중 이차원 다면 영상이 가장 작은 그룹에 맞춰 언더샘플링 (undersampling) 하는 것일 수 있다.

본 발명의 일 구현예에서, 학습 단계는, 생성 모듈 및 판별 모듈을 이용한 적대적 생성 네트워크 (Generative Adversarial Network;GAN)로 수행되는 것일 수 있다.

본 발명의 일 구현예에서, 학습 단계는, 임의의 의료 영상 및 해당 의료 영상의 스타일 피쳐에 기초하여, 생성 모듈이 가상 이미지를 원본 이미지에 근사하게 생성하도록 학습시키는 생성모듈 학습 단계를 포함하는 것일 수 있다.

본 발명의 일 구현예에서, 학습 단계는, 생성 모듈로부터 생성된 가상 이미지 및 원본 이미지를 무작위로 입력받아 가상 이미지 및 원본 이미지를 구분하도록 판별 모델을 학습시키는 판별모듈 학습 단계를 포함하는 것일 수 있다.

본 발명의 일 구현예에서, 추출 단계는, 매핑 네트워크 모듈을 이용하여 각 의료 영상 간의 서로 다른 스타일이 혼동되지 않게 구분하도록 학습하는 구분 훈련 단계를 포함할 수 있다.

본 발명의 일 구현예에서, 추출 단계는, 스타일 인코더 모듈을 이용하여 의료 영상 각각에 대한 스타일 피쳐가 해당 의료 영상의 스타일을 대변하도록 훈련하는 스타일 훈련 단계를 포함하는 것일 수 있다.

본 발명의 일 구현예에서, 생성 단계, 학습 단계, 판별모듈 학습단계 및 생성모듈 학습 단계로 이루어지는 그룹에서 선택된 하나 이상의 단계는 생성 모듈 또는 판별모듈이 생성한 학습정보를 하기 수학식 1의 손실함수에 대입하여 계산한 결과값에 기초하여 수행되는 것일 수 있다.

[수학식 1]

(여기서, E _{x or z}는 손실 함수의 오차 및 해당 변수를 표현하고, G(x,s)는 생성 모듈이 입력 데이터와 구하고자 하는 스타일을 학습시켜 생성시킨 데이터, D(x)는 판별 모듈이 해당 입력 데이터를 받았을때 판단한 결과로, 각각 도메인들을 구별해낸 값을 의미함)

본 발명의 일 구현예에서, 생성 단계, 학습 단계, 판별모듈 학습단계 및 생성모듈 학습 단계로 이루어지는 그룹에서 선택된 하나 이상의 단계는 생성 모듈 및 판별모듈 생성한 학습정보를 하기 수학식 2의 손실함수에 대입하여 계산한 결과값에 기초하여 수행되는 것일 수 있다.

[수학식 2]

(여기서, E _{x or z}는 손실 함수의 오차 및 해당 변수를 표현하고, G(x,s)는 생성 모듈이 입력 데이터와 구하고자 하는 스타일을 학습시켜 생성시킨 데이터, 은 스타일을 의미하는 변수로, S1의 경우 1번 도메인의 스타일을 의미하고,는 실제 값과 예측 값 사이의 절대값을 의미함)

본 발명의 일 구현예에서, 추출 단계, 구분 훈련 단계 및 스타일 훈련 단계로 이루어지는 그룹에서 선택된 하나 이상의 단계는, 하기 수학식 3의 손실함수에 대입하여 계산한 결과값에 기초하여 수행되는 것일 수 있다.

[수학식 3]

(여기서, E _{x or z}는 손실 함수의 오차 및 해당 변수를 표현하고, G(x,s)는 생성 모듈이 입력 데이터와 구하고자 하는 스타일을 학습시켜 생성시킨 데이터, 은 스타일을 의미하는 변수로, S1의 경우 1번 도메인의 스타일을 의미하고,는 실제 값과 예측 값 사이의 절대값을 의미함)

본 발명의 일 구현예에서, 추출 단계, 구분 훈련 단계 및 스타일 훈련 단계로 이루어지는 그룹에서 선택된 하나 이상의 단계는, 하기 수학식 4의 손실함수에 대입하여 계산한 결과값에 기초하여 수행되는 것일 수 있다.

[수학식 4]

(여기서, E _{x or z}는 손실 함수의 오차 및 해당 변수를 표현하고, G(x,s)는 생성 모듈이 입력 데이터와 구하고자 하는 스타일을 학습시켜 생성시킨 데이,터는 실제 값과 예측 값 사이의 절대값을 의미함)

본 발명의 일 구현예에서, 학습 단계, 추출 단계, 구분 훈련 단계 및 스타일 훈련 단계로 이루어지는 그룹에서 선택된 하나 이상의 단계는, 하기 수학식 5의 손실함수에 대입하여 계산한 결과값에 기초하여 수행되는 것일 수 있다.

[수학식 5]

(여기서, E _{x or z}는 손실 함수의 오차 및 해당 변수를 표현하고, G(x,s)는 생성 모듈이 입력 데이터와 구하고자 하는 스타일을 학습시켜 생성시킨 데이터, 은 스타일을 의미하는 변수로, S1의 경우 1번 도메인의 스타일을 의미하고,는 실제 값과 예측 값 사이의 절대값을 의미함)

본 발명의 일 구현예에서, 방법은, 학습된 의료 영상 표준화 네트워크 모델로부터 표준화 의료 영상을 재구성하는 재구성 단계를 포함하는 것일 수 있다.

본 발명의 일 구현예에서, 방법은, 원본 의료 영상의 화질 및 구조와 재구성된 표준화 의료 영상의 화질 및 구조 사이의 유사성을 검증하는 검증 단계를 포함하는 것일 수 있다.

본 발명의 일 구현예에서, 검증 단계는, 합성곱 신경망 모델 (Convolution Neural Network; CNN)을 통해 수행되는 것일 수 있다.

본 발명의 일 구현예에서, 검증 단계는 구조적 유사성 인덱스 맵 (Structural Similarity Index Map; SSIM)을 이용하여 원본 의료 영상과 표준화 의료 영상의 유사성을 검증하는 것일 수 있다.

본 발명의 일 구현예에서, 검증 단계는 하기 수학식 6을 이용하여 원본 의료 영상과 표준화 의료 영상의 유사성을 검증하는 것일 수 있다.

[수학식 6]

(여기서, 는 각 이미지 x,y에 대한 평균 값이고, 는 각 이미지 x,y에 대한 표준 편차 값이고, C1은 {0.01 * (지정 파라미터(Dynamic Range Value) (default 255))}의 제곱인 것임)

본 발명의 일 구현예에서, 검증 단계는, 인지적 이미지 패치 유사성 (Learned Perceptual Image Patch Similiary; LPIPS)을 이용하여 원본 의료 영상과 표준화 의료 영상의 유사성을 검증하는 것일 수 있다.

본 발명의 일 구현예에서, 검증 단계는, 하기 수학식 7의 수식을 이용하여 원본 의료 영상과 표준화 의료 영상의 유사성을 검증하는 것일 수 있다.

[수학식 7]

(여기서, 은 심층 학습으로 미리 학습된 네트워크의 각 층 l에서의 활성화 맵이고, H는 채널별 높이의 평균을 의미하고, W는 채널별 너비의 평균을 의미하고, 는 실제 값과 예측 값 사이의 절대값을 의미함)

본 발명의 다른 양태는, 학습된 의료 영상 표준화 네트워크 모델에 하나 이상의 의료 영상을 입력하여 표준화된 의료 영상을 추출하는 단계를 포함하는, 의료 영상의 표준화 방법이다.

본 발명은 심층 생성적 적대 신경망을 이용한 교차 중심 스타일 전달 자기 공명 영상 조화 및 생성 기법을 통한 의료 영상 표준화 네트워크 모델의 학습 방법 및 의료 영상의 표준화 방법에 관한 것으로, 더욱 상세하게는 서로 다른 의료 영상을 신뢰성 높게 표준화할 수 있는 기술에 관한 것으로, 다양한 의료 영상 장치를 통해 촬영된 의료 영상을 표준화하는데 이용될 수 있다.

본 발명은 다양한 병원 및 기관에서 촬영한 뇌 MR 영상을 이용해 판독하고자 하는 질병 지표 및 세부적인 구조를 최대한 유지한 채 원하는 기관으로 자유롭게 변환할 수 있는 환경을 제공한다.

본 발명은 의료 영상을 촬영한 기관 또는 촬영 기기와 관계없이 표준화된 의료 영상을 제공함으로써, 모든 병원에서 일관적인 성능을 보여주어 신뢰성을 높이고, 위험 부담 및 오류를 줄여 병리 판독의 질을 향상시킬 수 있으며, 다양한 기관에서의 영상을 통합하여 연구 결과를 범용적으로 적용할 수 있는 환경을 제공한다.

본 발명은 다양한 기관에서 촬영한 동일한 환자의 연구가 용이해지며, 영상의 프로토콜에 따른 영상적 변화와 병리적 활동에 의한 변화를 구분할 수 있는 환경을 제공한다.

본 발명은 딥러닝 기술 도입 및 상용화로 진단 시간을 단축하고, 판독을 보조하며, 기관 별 스타일을 반영한 합성 데이터를 임의로 생성할 수 있는 환경을 제공한다.

도 1은 본 발명의 일 실시예에 따른 의료 영상 표준화 방법을 보여주는 개요도이다.
도 2는 본 발명의 일 실시예에 따라 서로다른 프로토콜을 보유한 4가지 병원 및 기관에서 수득한 데이터셋을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 표준화 네트워크 모델을 통해 표준화한 결과를 입력 데이터별 생성 데이터 변환 영상으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 의료 영상 표준화 네트워크 모델을 통해 표준화한 결과를 입력 데이터별 생성 데이터 변환 기관별 결과로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 표준화한 영상 이미지의 분류 결과 및 화질 평가 결과를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 표준화 네트워크 모델을 통해 삼차원 뇌 영상을 구현한 결과 및 병리적 마커를 측정한 결과를 나타낸 도면이다.
도 7은 본 발명의 다른 실시예에 따른 입력 데이터 별 생성 데이터 변환 영상을 나타낸 도면이다.
도 8은 본 발명의 다른 실시예에 따른 이미지 화질 평가 결과를 나타낸 도면이다.
도 9는 본 발명의 다른 실시예에 따른 조화 전/후 영상의 기준 영상과의 비교 결과를 나타낸 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다.

또한, 명세서에 기재된 "?? 부", "?? 모듈"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 명세서 상에서 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 개시내용의 영역을 벗어나게 하는 것으로 해석되어서는안된다.

도 1은 본 발명의 일 실시예에 따른 의료 영상 표준화 방법을 보여주는 개요도이다.

도 1을 참조하면, 의료 영상 표준화 네트워크 모델의 학습 방법은 의료 영상 각각에 대한 스타일 정보가 포함된 스타일 피쳐를 추출하고, 서로 다른 복수의 의료 영상 간의 스타일을 구분하는 추출 단계; 생성모듈을 이용하여 임의의 의료 영상 및 해당 의료 영상의 스타일 피쳐를 생성 모듈에 입력하여 가상 이미지를 생성하는 생성 단계; 생성된 가상 이미지와 원본 이미지에 기초하여 의료 영상 표준화 네트워크 모델을 학습시키는 학습 단계를 포함할 수 있다.

여기서, 상기 스타일 또는 상기 스타일 정보는 각각의 의료 영상과 관련된 도메인 및 프로토콜에 대한 정보를 포함할 수 있다. 상기 스타일 피처는 상기 스타일의 특징값 또는 상기 스타일 정보의 특징값을 포함하거나, 상기 스타일을 대변하는 일정 크기의 임의 벡터값을 포함할 수 있다.

여기서, 상기 도메인은 MR 영상을 촬영한 영상 촬영기기의 설정값을 포함할 수 있다. 또한, 상기 프로토콜은 MR 영상를 촬영한 기기의 제조사 정보, 자기장 세기, 이미지 촬영 기법(Imaging Technique), 에코타임(Echo Time), 반복시간(Repat Time) 등을 포함할 수 있다. 상기 에코타임은 RF 펄스를 보낸 후 에코신호의 최고점이 생성되기까지의 시간을 포함하고, 상기 반복시간은 처음 RF 펄스를 보내고 같은 크기의 RF 펄스를 다시 보낼 때까지의 시간을 포함할 수 있다.

이때, 상기 의료 영상 표준화 네트워크 모델의 학습 방법은, 의료 영상을 전처리하는 전처리 단계를 포함하는 것일 수 있다.

전처리 단계는 의료 영상의 신호 세기를 정규화거나, 의료 영상의 복셀 배열들의 크기를 표준 공간에 정렬할 수 있다. 또는, 전처리 단계는 의료 영상 중 이차원 다면 영상이 가장 작은 그룹에 맞춰 언더샘플링 (undersampling)하는 것일 수 있다.

학습 단계는, 생성 모듈 및 판별 모듈을 이용한 적대적 생성 네트워크 (Generative Adversarial Network; GAN)로 수행되는 것일 수 있다.

구체적으로, 학습 단계는, 임의의 의료 영상 및 해당 의료 영상의 스타일 피쳐에 기초하여, 생성 모듈이 가상 이미지를 원본 이미지에 근사하게 생성하도록 학습시키는 생성모듈 학습 단계를 포함하는 것일 수 있다. 학습 단계는, 생성 모듈로부터 생성된 가상 이미지 및 원본 이미지를 무작위로 입력받아 가상 이미지 및 원본 이미지를 구분하도록 판별 모델을 학습시키는 판별모듈 학습 단계를 포함하는 것일 수 있다.

추출 단계는, 매핑 네트워크 모듈을 이용하여 각 의료 영상 간의 서로 다른 스타일이 혼동되지 않게 구분하도록 학습하는 구분 훈련 단계를 포함할 수 있다. 추출 단계는, 스타일 인코더 모듈을 이용하여 의료 영상 각각에 대한 스타일 피쳐가 해당 의료 영상의 스타일을 대변하도록 훈련하는 스타일 훈련 단계를 포함하는 것일 수 있다. 상기 스타일 훈련 단계는 상기 스타일 인코더 모듈을 이용하여 이미지에서 스타일을 대변하는 일정 크기의 임의 벡터값을 추출하고, 상기 임의 벡터값이 해당 스타일 또는 해당 이미지와 관련된 입력 데이터를 대변하도록 훈련할 수 있다.

일 실시예에 따른 의료 영상 표준화 네트워크 모델의 학습 방법은, 학습된 의료 영상 표준화 네트워크 모델로부터 표준화 의료 영상을 재구성하는 재구성 단계를 포함하는 것일 수 있다. 이때, 학습 방법은 원본 의료 영상의 화질 및 구조와 재구성된 표준화 의료 영상의 화질 및 구조 사이의 유사성을 검증하는 검증 단계를 포함하는 것일 수 있다.

검증 단계는, 합성곱 신경망 모델 (Convolution Neural Network; CNN)을 통해 수행되는 것일 수 있고, 검증 단계는 구조적 유사성 인덱스 맵 (Structural Similarity Index Map; SSIM)을 이용하여 원본 의료 영상과 표준화 의료 영상의 유사성을 검증하는 것일 수 있다.

이하, 본 발명을 하기의 실시예에 의하여 더욱 상세히 설명한다. 그러나 이들 실시예는 본 발명을 예시하기 위한 것일 뿐이며, 본 발명의 범위가 이들 실시예에 의하여 한정되는 것은 아니다.

실시예 1: 입력 데이터의 보정

도 2에서 나타낸 서로 다른 프로토콜을 보유한 T1-weighted MR 영상을 입력 데이터로 정리하였다. 각 T1-weighted MR 영상은 영상의 신호 세기를 정규화(z-score normalization) 해주고, 뇌 영상 복셀 배열들의 크기를 표준 공간(isovoxel, 1x1x1 mm3)으로 맞추어주었다. 모델 학습을 위해, 해당 이미지들을 이차원 단면 영상으로 세분화하였다. 해당 과정에서 그룹간의 데이터 차이로 인한 가중치의 편향성을 제거하기 위해 각 그룹의 영상의 개수중 가장 적은 수를 가진 그룹을 기준으로 언더샘플링 (undersampling)하였다. 추후 모델을 학습시킨 후 다시 재배열하여 삼차원 입체 영상으로 복원하였다.

실시예 2: 의료 영상 표준화 네트워크 모델 학습

의료 영상 표준화 네트워크 모델은 생성 모듈, 판별 모듈, 매핑 네트워크 모듈, 스타일 인코더 모듈로 구성하였고, 이때, 해당 모듈들은 모두 다중 퍼셉트론으로 이루어지도록 하였다. 생성 모듈은 입력 이미지와 상기 입력 이미지의 스타일 프로토콜을 매핑 네트워크 모듈과 스타일 인코더 모듈로 할당 받아 신규 데이터를 생성하였다. 여기서, 상기 신규 데이터는 상기 입력 이미지가 특정 스타일 피쳐를 가지도록 생성된 가상 이미지를 포함할 수 있다.

상기 생성 모듈은 생성된 신규 생성 데이터를 판별 모듈로 전달하며, 판별 모듈은 상기 생성 모듈에서 전달된 입력 데이터가 원본 이미지 인지 생성된 신규의 가상 이미지 인지 여부를 구분하도록 훈련된다.

판별 모듈은 실제 입력 이미지와 생성 모듈로 입력된 이미지를 무작위로 받고, 이를 구분할 수 있도록 훈련된다. 스타일 인코더 모듈은 이미지에서 스타일을 대변하는 일정 크기의 임의 벡터값(예를 들어, 수치값)을 추출하여, 생성 모듈에게 제공한다. 상기 스타일 인코더 모듈은 각 스타일 (예를 들어, 도메인 및 프로토콜)을 대변하는 임의 벡터값이 모든 해당 스타일의 입력 데이터를 대변하도록 훈련된다. 매핑 네트워크 모듈은 다양한 도메인의 스타일을 구분하고, 이러한 가상 공간들이 겹쳐 스타일이 혼동되지 않은 채 저장되도록 훈련된다.

상기 의료 영상 표준화 네트워크 모델은 상기 생성 모듈 및 상기 판별 모듈을 이용한 적대적 생성 네트워크 (Generative Adversarial Network; GAN)로 학습을 수행할 수 있다.

상기 적대적 생성 네트워크(Generative Adversarial Network)는 생성자(Generator)와 식별자(Discriminator)가 서로 경쟁(Adversarial)하며 데이터를 생성하는 모델이다. 생성자는 식별자가 자신이 생성한 데이터를 구별하지 못하도록 오차를 보정하며 데이터를 실제와 가깝게 학습할 수 있다. 식별자는 생성자가 생성한 가짜 데이터와 실제 샘플을 구분하기 쉽도록 오차를 보정하며 학습할 수 있다.

상기 생성 모듈은 상기 적대적 생성 네트워크(Generative Adversarial Network)의 생성자(Generator)일 수 있으며, 상기 판별 모듈은 상기 적대적 생성 네트워크(Generative Adversarial Network)의 식별자(Discriminator)일 수 있다.

상기 각각의 모델을 통해 표준화 네트워크의 훈련을 위한 손실함수는 하기 수학식 1 내지 5의 손실함수를 이용하였다. 구체적으로, 생성-판별 모듈 적대적 손실 함수는 하기 수학식 1과 같다.

[수학식 1]

(여기서, E _{x or z}는 손실 함수의 오차 및 해당 변수를 표현하고, G(x,s)는 생성 모듈이 입력 데이터와 구하고자 하는 스타일을 학습시켜 생성시킨 데이터, D(x)는 판별 모듈이 해당 입력 데이터를 받았을때 판단한 결과로, 각각 도메인들을 구별해낸 값을 의미함)

생성 모듈 순환-일관성 손실 함수는 하기 수학식 2와 같다.

[수학식 2]

(여기서, E _{x or z}는 손실 함수의 오차 및 해당 변수를 표현하고, G(x,s)는 생성 모듈이 입력 데이터와 구하고자 하는 스타일을 학습시켜 생성시킨 데이터, 은 스타일을 의미하는 변수로, S1의 경우 1번 도메인의 스타일을 의미하고,는 실제 값과 예측 값 사이의 절대값을 의미함)

스타일 재건 손실 함수는 하기 수학식 3과 같다.

[수학식 3]

(여기서, E _{x or z}는 손실 함수의 오차 및 해당 변수를 표현하고, G(x,s)는 생성 모듈이 입력 데이터와 구하고자 하는 스타일을 학습시켜 생성시킨 데이터, 은 스타일을 의미하는 변수로, S1의 경우 1번 도메인의 스타일을 의미하고,는 실제 값과 예측 값 사이의 절대값을 의미함)

스타일 다양성 손실 함수는 하기 수학식 4와 같다.

[수학식 4]

(여기서, E _{x or z}는 손실 함수의 오차 및 해당 변수를 표현하고, G(x,s)는 생성 모듈이 입력 데이터와 구하고자 하는 스타일을 학습시켜 생성시킨 데이,터는 실제 값과 예측 값 사이의 절대값을 의미함)

시간적 일관성 손실 함수는 하기 수학식 5와 같다.

[수학식 5]

(여기서, E _{x or z}는 손실 함수의 오차 및 해당 변수를 표현하고, G(x,s)는 생성 모듈이 입력 데이터와 구하고자 하는 스타일을 학습시켜 생성시킨 데이터, 은 스타일을 의미하는 변수로, S1의 경우 1번 도메인의 스타일을 의미하고,는 실제 값과 예측 값 사이의 절대값을 의미함)

상기 과정을 통해 도 3 내지 도 4와 같이 입력 데이터에 따라 표준화 영상을 생성하였으며, 도 6과 같이 뇌 영상을 3차원으로 구현하였고 이를 통해 병리적 마커로 활용되는 대뇌피질을 측정할 수 있었다.

도 3을 참고하면, 입력 데이터는 가상 이미지를 생성할 의료 영상의 원본 이미지일 수 있으며, 생성 데이터는 서로 다른 스타일을 가지는 이미지들일 수 있다. 본 발명은 도 3의 입력 데이터를 기반으로 각각의 생성 데이터의 스타일을 가지는 가상의 이미지를 생성하거나, 도 3의 입력 데이터를 기반으로 각각의 생성 데이터의 스타일을 가지는 표준화된 의료 영상을 추출할 수 있다.도 4를 참고하면, 본 발명은 우측의 입력 데이터를 기반으로 기관 별로 서로 다른 스타일을 가지는 가상 이미지들 각각의 기관 스타일에 맞춰 생성하거나, 우측의 입력 데이터를 기반으로 각각의 기관 스타일에 맞춘 표준화된 의료 영상을 추출할 수 있다.

실시예 3: 표준화 점수 검증

표준화 점수 검증 단계에서는, 생성된 MR 영상이 기존의 입력 데이터의 화질 및 구조를 잘 유지하였는지 확인해보기 위한 단계와 이러한 전환된 데이터가 해당 프로토콜의 스타일을 잘 변환하여 실용적 적용단계에서 개선되었는지를 확인하였다. 기존의 입력 데이터의 화질 및 구조를 잘 유지하였는지 확인해보기 위해, 이미지 품질 측정 수식인 수학식 6과 같은 구조적 유사성 인덱스 맵 (Structural Similarity Index Map; SSIM)과 수학식 7과 같은 학습된 인지적 이미지 패치 유사성 (Learned Perceptual Image Patch Similiary; LPIPS), 및 수학식 8과 같은 대비 대 잡음 비율 (Contrast to Noise Ratio, CNR)를 사용해주었다.

[수학식 6]

(여기서, 는 각 이미지 x,y에 대한 평균 값이고, 는 각 이미지 x,y에 대한 표준 편차 값이고, C1은 {0.01 * (지정 파라미터(Dynamic Range Value) (default 255))}의 제곱인 것임)

[수학식 7]

(여기서, 은 심층 학습으로 미리 학습된 네트워크의 각 층 l에서의 활성화 맵이고, H는 채널별 높이의 평균을 의미하고, W는 채널별 너비의 평균을 의미하고, 는 실제 값과 예측 값 사이의 절대값을 의미함)

[수학식 8]

(여기서, ROI(Region of Interest)는 이미지 내의 관심 영역을 의미하고, Background는 이미지 내에서 관심 영역을 제외한 나머지 영역을 의미하며, μ_ROI는 이미지 내 ROI에 대한 평균 값이고, μ_Background는 이미지 내 Background에 대한 평균 값이며, σ_ROI는 이미지 ROI에 대한 표준 편차 값이고, σ_Background는 이미지 내 Background에 대한 표준 편차 값임)

검증 결과, 도 5에서 확인할 수 있듯이, 구조적 유사성 인덱스 맵, 인지적 이미지 패치 유사성 점수를 계산한 결과, 훈련을 진행할수록 성능이 향상되었으며, 최종 성능 0.9310, 0.9758의 값을 얻었다. 또한 합성곱 신경망 (CNN)을 활용한 기관 분류 학습 결과, 해당 네트워크를 적용하기 전과 후는 약 90.3213, 62.5554로 전환 결과 기관들을 구별해내지 못하는 것을 확인하였다.

도 7은 본 발명의 다른 실시예에 따른 입력 데이터 별 생성 데이터 변환 영상을 나타낸 도면이고, 도 8은 본 발명의 다른 실시예에 따른 이미지 화질 평가 결과를 나타낸 도면이며, 도 9는 본 발명의 다른 실시예에 따른 조화 전/후 영상의 기준 영상과의 비교 결과를 나타낸 도면이다.

도 7를 참고하면, 본 발명의 다른 실시예는 서울대학병원의 신경아교종 및 전이암 환자들의 서로 다른 프로토콜을 가진 영상을 실험 데이터로 사용하였다. 데이터셋에 포함된 환자들의 경우, 기준 영상 및 기준 영상과 다른 프로토콜로 촬영한 후속 영상 쌍을 가지고 있다.

본 발명은 도 7을 통해 해당 데이터셋에 대한 결과물을 확인할 수 있다. 도 7의 기준 영상은 환자가 처음으로 촬영한 영상일 수 있으며, 도 7의 후속 영상은 동일한 환자가 일정한 기간이 지난 후에 촬영한 영상일 수 있다. 상기 기준 영상과 후속 영상은 서로 다른 스타일을 가질 수 있다. 또한, 도 7의 생성된 영상은 후속 영상을 기반으로 상기 기준 영상의 스타일을 가지도록 생성된 가상 이미지 또는 상기 학습된 의료 영상 표준화 네트워크 모델로부터 재구성된 표준화 의료 영상일 수 있다.

도 8 및 도 9를 참고하면, 본 발명의 다른 실시예는 본 발명의 일 실시예와 마찬가지로 구조적 유사성 인덱스 맵, 인지적 이미지 패치 유사성 점수를 계산한 결과, 훈련을 진행할수록 성능이 향상되었으며, 최종 성능 0.8008, 0.8233의 값을 얻었다. 또한, 본 발명의 다른 실시예는 뇌 영역의 밝기 및 표준 편차, 백색질 및 회색질에서의 대비 대 잡음 비율에 있어서 기준 영상과의 차이를 계산하였다. 후속 영상 원본에 비해, 조화된 영상에서 그 차이가 유의미하게 떨어졌으며, 그 값들은 다음과 같다 (모든 개체에서 원본 영상과 후속 영상의 차이의 평균 -> 모든 개체에서 조화된 후속 영상과의 차이의 평균).

-. 뇌 영역의 평균 신호 세기: -4.432 -> 1.791

-. 뇌 영역의 신호 세기의 표준편차: -4.614 -> -0.137

-. 백색질에서의 대비 대 잡음 비율: -0.931 -> 0.048

-. 회색질에서의 대비 대 잡음 비율: -0.458 -> 0.029

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. 이러한 기록 매체는 서버뿐만 아니라 사용자 단말에서도 실행될 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (9)

1. 의료 영상을 표준화하는 의료 영상 표준화 네트워크 모델을 학습시키는 방법에 있어서,
   의료 영상 각각에 대한 스타일 정보가 포함된 스타일 피쳐를 추출하고, 서로 다른 복수의 의료 영상 간의 스타일을 구분하는 추출 단계;
   임의의 의료 영상 및 해당 의료 영상의 스타일 피쳐를 생성 모듈에 입력하여 가상 이미지를 생성하는 생성 단계;
   생성된 가상 이미지와 원본 이미지에 기초하여 의료 영상 표준화 네트워크 모델을 학습시키는 학습 단계;를 포함하는,
   의료 영상 표준화 네트워크 모델의 학습 방법.
2. 제1항에 있어서, 상기 학습 단계는,
   임의의 의료 영상 및 해당 의료 영상의 스타일 피쳐에 기초하여, 생성 모듈이 가상 이미지를 원본 이미지에 근사하게 생성하도록 학습시키는 생성모듈 학습 단계를 포함하는 것인, 의료 영상 표준화 네트워크 모델의 학습 방법.
3. 제1항에 있어서, 상기 학습 단계는,
   생성 모듈로부터 생성된 가상 이미지 및 원본 이미지를 무작위로 입력받아 가상 이미지 및 원본 이미지를 구분하도록 판별 모델을 학습시키는 판별모듈 학습 단계를 포함하는 것인, 의료 영상 표준화 네트워크 모델의 학습 방법.
4. 제1항에 있어서, 상기 추출 단계는,
   매핑 네트워크 모듈을 이용하여 각 의료 영상 간의 서로 다른 스타일이 혼동되지 않게 구분하도록 학습하는 구분 훈련 단계를 포함하는 것인,
   의료 영상 표준화 네트워크 모델의 학습 방법.
5. 제1항에 있어서, 상기 추출 단계는,
   스타일 인코더 모듈을 이용하여 의료 영상 각각에 대한 스타일 피쳐가 해당 의료 영상의 스타일을 대변하도록 훈련하는 스타일 훈련 단계를 포함하는 것인, 의료 영상 표준화 네트워크 모델의 학습 방법.
6. 제1항에 있어서, 상기 방법은,
   학습된 의료 영상 표준화 네트워크 모델로부터 표준화 의료 영상을 재구성하는 재구성 단계를 더 포함하는 것인, 의료 영상 표준화 네트워크 모델의 학습 방법.
7. 제6항에 있어서, 상기 방법은,
   원본 의료 영상의 화질 및 구조와 재구성된 표준화 의료 영상의 화질 및 구조 사이의 유사성을 검증하는 검증 단계를 더 포함하는 것인, 의료 영상 표준화 네트워크 모델의 학습 방법.
8. 제7항에 있어서, 상기 검증 단계는,
   합성곱 신경망 모델 (Convolution Neural Network; CNN)을 통해 수행되는 것인, 의료 영상 표준화 네트워크 모델의 학습 방법.
9. 제1항에 따라 학습된 의료 영상 표준화 네트워크 모델에 하나 이상의 의료 영상을 입력하여 표준화된 의료 영상을 추출하는 단계를 포함하는, 의료 영상의 표준화 방법.

Images