KR102219890B1 - 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법 - Google Patents

Abstract

의료영상의 공간 정규화 장치는 복수 개의 기능적 의료영상을 심층 학습 아키텍처에 입력하면 미리 저장된 학습데이터에 기초하여 기능적 의료영상을 공간적 정규화하기 위한 적응형 템플릿을 생성하는 적응형 템플릿 생성부, 입력받은 사용자의 기능적 의료영상에 대해서 생성적 적대 신경망(Generative adversarial network: GAN)을 통해 적응형 템플릿에 기초한 이미지를 생성하고 생성된 이미지의 진위 여부를 판단하는 과정을 반복하여 학습하는 학습부, 그리고 학습 결과에 기초하여 공간 정규화된 사용자의 기능적 의료영상을 제공하는 공간 정규화부를 포함한다.

Description

딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법 {APPARATUS FOR SPATIAL NORMALIZATION OF MEDICAL IMAGE USING DEEP LEARNING AND METHOD THEREOF}

딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법이 제공된다.

의학 영상의 통계적인 분석을 위해서는 개별적인 피험자로부터 얻은 영상을 하나의 공간에 정규화시켜 3차원 화소의 값으로 비교하는 것이 합리적이다.

특히, 뇌 양전자 방출 단층 촬영 (PET)과 단일 광자 방출 컴퓨터 단층 촬영 (SPECT) 영상의 통계적 비교를 하거나 객관적 평가를 위해서는 공간 양적 표준화(SN, or anatomical standardization)는 필수적인 절차이다.

뇌 양전자 방출 단층 촬영 (PET) 영상만 이용하여 공간 양적 표준화(SN)를 수행하는 경우, 많은 오류가 발생한다. 구체적으로 양전자 단층촬영(positron emission tomography, PET), 단일광자 단층촬영(Single photon emission computed tomography, SPECT), 기능적 자기공명영상(functional magnetic resonance imaging, fMRI), 뇌파도(Electroencephalogram, EEG), 자기뇌파검사(Magnetoencephalography, MEG) 등은 기능적인 영상이라는 특징과 공간 분해능의 한계 때문에 단독 정보를 이용한 공간적 정규화가 어렵다.

따라서, 일반적으로 자기공명영상법(MRI) 또는 컴퓨터 단층촬영(CT)를 같이 촬영하고 이를 먼저 공간적 정규화(spatial normalization) 시킨 뒤, 얻어진 변형 벡터장을 기능 영상에 적용하여 공간적 정규화를 시킨다.

이러한 방법으로는 정확한 데이터를 얻을 수 있다는 장점이 있지만, 고 비용의 장비 사용으로 인해 많은 비용이 요구되기 때문에 시간 및 비용의 제약이 있다.

또한, 다양한 샘플에서 얻은 평균적 템플릿을 이용하여 뇌 양전자 방출 단층 촬영 (PET) 영상을 공간 양적 표준화(SN)를 진행하는 방법이 있으나, 이는 환자, 정상인 등 영상 간 다양한 특성을 정확하게 반영하지 못하기 때문에, 정확한 분석이 어렵다.

한편, 최근 많은 분야에서 복잡하고 고차원적인 문제를 성공적으로 해결하기 위해 빅데이터 기반의 딥 학습을 하는 머신 러닝을 이용한 연구가 진행되고 있다.

이에, 이러한 머신 러닝을 이용하여 별도의 자기공명영상법(MRI) 또는 컴퓨터 단층촬영(CT)의 촬영없이도 저 비용으로 정확한 공간적 정규화를 수행하는 기술이 요구된다.

본 발명의 하나의 실시예는 딥러닝을 이용하여 개별적으로 적응가능한 템플릿을 생성하고, 생성된 템플릿에 기초하여 개별 의료 기능영상을 공간 정규화하기 위한 것이다.

상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.

본 발명의 하나의 실시예에 따른 의료영상의 공간 정규화 장치는 복수 개의 기능적 의료영상을 심층 학습 아키텍처에 입력하면 미리 저장된 학습데이터에 기초하여 기능적 의료영상을 공간적 정규화하기 위한 적응형 템플릿을 생성하는 적응형 템플릿 생성부, 입력받은 사용자의 기능적 의료영상에 대해서 생성적 적대 신경망(Generative adversarial network: GAN)을 통해 적응형 템플릿에 기초한 이미지를 생성하고 생성된 이미지의 진위 여부를 판단하는 과정을 반복하여 학습하는 학습부, 그리고 학습 결과에 기초하여 공간 정규화된 사용자의 기능적 의료영상을 제공하는 공간 정규화부를 포함한다.

적응형 템플릿 생성부는, 심층 학습 아키텍처로부터 도출된 적응형 템플릿 결과와 미리 저장된 학습 데이터인 MRI 기반의 공간 정규화 영상과의 차이값을 측정하고, 측정된 차이가 최소화되도록 심층 학습을 통해 개별적으로 적응 가능한 적응형 템플릿을 생성할 수 있다.

학습부는, 사용자의 기능적 의료영상을 적응형 템플릿에 기초하여 공간 정규화하여 공간 정규화된 이미지를 생성하고, 공간 정규화된 이미지와 미리 저장된 학습 데이터인 MRI 기반의 공간 정규화 영상을 비교하여 진위 여부를 판단하며 판단 결과값이 생성되면 공간 정규화된 이미지를 생성하고 판단하는 과정을 차례로 반복 수행하고, 판단 결과로 상기 공간 정규화된 이미지와 미리 저장된 학습 데이터인 MRI 기반의 공간 정규화 영상을 구별하지 못하면, 해당 학습을 완료할 수 있다.

학습부는, 공간 정규화된 이미지의 데이터 확률 분포와 정규화된 MRI 데이터 확률 분포 사이의 잰슨-섀넌 다이버전스(Jensen -Shannon Divergence)가 극소화되도록 반복 학습시킬 수 있다.

학습부는, 다음 수학식을 이용하여 min-max 문제를 해결하는 과정을 통해 반복하여 학습할 수 있다.

여기서, G()는 이미지를 생성하는 생성기, D()는이미지를 판단하는 판별기이며, z는 네이티브 공간의 기능적 의료영상이고, x는 MRI 기반 SN 결과이며,

는 각각 생성자 및 판별 자의 매개 변수를 나타내며, E는 주어진 확률 분포에 대한 기대값,

은 MRI 기반의 SN 결과 간의 충실도 손실 값, m은 배치 크기이고, I_i ^MNI는 MNI 공간에서 MRI 기반 SN 결과를 나타내는 이미지이고, I_i ^Native는 기본 공간의 기능적 의료영상이다.

본 발명의 하나의 실시예에 따른 다양한 환경에 대응되는 복수개의 기능적 의료영상을 심층 학습 아키텍처에 적용하여 적응형 템플릿을 생성하는 단계, 입력받은 사용자의 기능적 의료영상에 대해서 생성적 적대 신경망(Generative adversarial network: GAN)을 통해 적응형 템플릿에 기초한 이미지를 생성하고 생성된 이미지의 진위 여부를 판단하는 과정을 반복하여 학습하는 단계, 그리고 학습이 완료되면 학습 결과에 기초하여 공간 정규화된 사용자의 기능적 의료영상을 제공하는 단계를 포함한다.

본 발명의 하나의 실시예는 딥 러닝을 이용하여 얻어지는 영상을 통해 최적화된 템플릿을 만들어 공간적 정규화를 진행함으로써, 발생하는 오차를 최소화하며, 정확도가 높은 결과를 얻을 수 있다.

또한, 양전자 방출 단층 촬영 영상만을 이용하여 영상을 정규화함으로써, 정량적, 통계적 분석이 가능하기 때문에, 환자의 진단과 연구에 저비용으로 많은 실험을 진행할 수 있다.

또한, 기존의 평균 데이터를 이용한 템플릿이 아닌 개별적으로 적응 가능한 최적의 템플릿을 이용하여 공간 정규화함으로써, 각 개인별 PET 영상의 다양한 특성들이 정확하게 반영되도록 공간 정규화할 수 있다.

도 1은 본 발명의 하나의 실시예에 따른 의료영상의 공간 정규화 하는 과정을 나타내는 흐름도이다.
도 2는 본 발명의 하나의 실시예에 따른 딥러닝을 이용한 의료영상의 공간 정규화 장치를 나타낸 구성도이다.
도 3은 본 발명의 하나의 실시예에 따른 적응형 템플릿부와 학습부를 설명하기 위한 예시도이다.
도 4는 본 발명의 하나의 실시예에 따른 의료영상의 공간 정규화 하는 과정을 나타내는 순서도이다.
도 5는 본 발명의 하나의 실시예에 따른 심층 학습 아키텍처 및 생성적 적대 신경망을 설명하기 위한 예시도이다.
도 6은 본 발명의 하나의 실시예에 따른 방법, 평균 템플릿 방법, 자기공명영상 정보 활용 방법을 통해 공간 정규화된 영상을 비교하기 위한 도면이다.
도 7은 본 발명의 하나의 실시예에 따른 방법과 자기공명영상 정보 활용 방법의 표준화된 이해 가치의 비율과 평균 템플릿 방법과 자기공명영상 정보 활용 방법과의 표준화된 이해 가치의 비율을 나타낸 그래프이다.

첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하에서는 도 1을 이용하여 본 발명의 하나의 실시예에 따른 딥러닝을 이용한 의료 영상의 공간 정규화 구성에 관한 전체적인 흐름에 대해서 상세하게 설명한다.

도 1은 본 발명의 하나의 실시예에 따른 의료영상의 공간 정규화하는 과정을 나타내는 흐름도이다.

도 1에 도시한 바와 같이, 일반적으로 MRI 영상(3D MRI in Native space)을 공간 정규화(SyN: spatial normalization)하여 공간 정규화된 MRI(Spatially Normalized MRI)를 생성하는 과정에서, 변형장(Deformation Field)이 추출된다.

본 발명의 하나의 실시예인 공간 정규화 장치(100)는 추출되는 변형장((Deformation Field)을 이용하여 기능적 의료 영상(PET)이 공간 정규화된 기능적 의료 영상(Spatially Normalized PET)을 생성하는 결과를 훈련 목표(Training target)로 이용하여 딥러닝(Deep learning)을 수행한다.

그러면, 공간 정규화 장치(100)는 딥러닝을 통해서 MRI(3차원 자기공명영상)이나 CT 없이도 기능적 의료 영상(PET)을 공간적 정규화를 수행할 수 있다.

이하에서 사용되는 기능적 의료 영상은 양전자를 방출하는 방사성 의약품을 이용하여 인체에 대한 생리·화학적, 기능적 영상을 3차원으로 나타낼 수 있는 양전자 단층촬영(PET)를 나타내지만, 이에 한정하는 것이 아니라 SPECT, fMRI, EEG, MEG 등 단독 정보를 이용하여 공간적 정규화가 어려운 기능적 의료 영상을 모두 포함한다.

이하에서는 도 2 를 이용하여 기능적 의료 영상(PET)를 학습된 인공 신경망을 통해 공간 정규화를 수행하는 공간 정규화 장치(100)에 대해서 상세하게 설명한다.

도 2는 본 발명의 하나의 실시예에 따른 딥러닝을 이용한 의료영상의 공간 정규화 장치를 나타낸 구성도이고, 도 3은 본 발명의 하나의 실시예에 따른 적응형 템플릿부와 학습부를 설명하기 위한 예시도이다.

도 2에 도시한 바와 같이, 의료영상의 공간 정규화 장치(100)는 적응형 템플릿 생성부(110), 학습부(120), 그리고 공간 정규화부(130)를 포함한다.

먼저, 적응형 템플릿 생성부(110)는 기능적 의료영상을 공간 정규화하기 위한 적응형 템플릿(200)을 생성한다.

적응형 템플릿 생성부(110)는 복수 개의 기능적 의료 영상을 수신하면, 심층 학습 아키텍처(convolutional auto-encoder: CAE)에 입력하여 심층 학습을 통해 개별적으로 적응 가능한 적응형 템플릿(200)을 생성한다.

이때 도 3의 (a)에 도시한 바와 같이, 적응형 템플릿 생성부(110)는 미리 저장된 학습 데이터(300)를 이용하여 심층 학습을 수행할 수 있다.

여기서, 미리 저장된 학습 데이터(300)는 자기공명영상법(MRI) 기반의 공간적 정규화를 수행한 이미지를 포함한다.

그리고 심층 학습 아키텍처는 컨벌루션 신경망(convolutional neural network)을 포함하며, 입력된 이미지를 계산을 거쳐 이해하고, 특징을 추출하여 정보를 회득하거나 새로운 이미지를 생성하는 인공 신경망을 나타낸다.

다음으로 도 3의 (b)에 도시한 바와 같이, 학습부(120)는 사용자의 기능적 의료 영상을 입력받으면, 적응형 템플릿(200)을 이용하여 공간적 정규화된 이미지를 생성한다. 그리고 학습부(120)는 생성된 공간적 정규화된 이미지와 미리 저장된 학습 데이터를 기반으로 진위 여부를 판단한다.

다시 말해, 학습부(120)는 사용자의 기능적 의료영상을 입력받으면, 입력받은 사용자의 기능적 의료영상에 대해서 생성적 적대 신경망(Generative adversarial network: GAN)을 통해 반복 학습을 수행한다.

여기서, 생성적 적대 신경망(Generative Adversarial Network: GAN)은 원본 데이터 분포와 유사한 이미지를 생성하기 위한 머신러닝으로, 진짜 같은 가짜를 쉽고 빠르게 만들 수 있는 기술로 활용되고 있다. 생성적 적대 신경망(GAN)은 생성자(Generator: G)와 판별자(Discriminator: D)의 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 도출해낸다. 생성자(G)는 실제에 가까운 데이터를 생성하는 것을 목적으로 실제 데이터를 학습하고 이를 바탕으로 데이터를 생성하고, 판별자(D)는 생성자(G)가 생성한 데이터를 실제인지, 거짓인지 판별하도록 학습한다.

학습부(120)는 이와 같은 생성적 적대 신경망을 이용하여 입력받은 사용자의 기능적 의료영상에 기초하여 공간적 정규화된 이미지를 생성하고, 생성된 이미지의 진위 여부를 판단하는 과정을 반복한다. 이와 같은 반복 학습을 통해 학습부(120)는 자기공명영상법(MRI) 기반의 공간적 정규화를 수행한 이미지를 이용하여 기능적 의료 영상을 공간적 정규화하는 결과와 매우 근접한 결과를 도출할 수 있다.

학습부(120)는 생성된 공간적 정규화된 이미지와 미리 저장된 학습 데이터를 판별할 수 없을 때까지 사용자의 기능적 의료 영상에 대해서 공간적 정규화하여 이미지를 생성하고, 생성된 이미지의 진위 여부를 판단하는 과정을 차례로 반복 수행한다.

다음으로 공간 정규화부(130)는 학습된 완료된 생성적 적대 신경망을 통해, 사용자 기능적 의료영상을 공간 정규화를 수행한다. 그리고 공간 정규화부(130)는 공간 정규화된 사용자의 기능적 의료영상을 제공한다.

한편, 의료영상의 공간 정규화 장치(100)는 서버, 단말, 또는 이들이 결합된 형태일 수 있다.

단말은 각각 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 장치를 통칭하는 것이다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.

서버는 복수개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.

메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.

통신 수단은 단말과 서비스 정보 또는 액션 정보를 실시간으로 송수신한다.

UI 표시 수단은 장치의 서비스 정보 또는 액션 정보를 실시간으로 출력한다. UI 표시 수단은 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.

이하에서는 도 4 내지 도 5를 이용하여 공간 정규화 장치(100)가 적응형 템플릿을 생성하고, 생성적 적대 신경망을 이용하여 공간 정규화된 기능적 의료 영상을 생성하는 과정에 대해서 상세하게 설명한다.

도 4은 본 발명의 하나의 실시예에 따른 의료영상의 공간 정규화 하는 과정을 나타내는 순서도이고, 도 5는 본 발명의 하나의 실시예에 따른 심층 학습 아키텍처 및 생성적 적대 신경망을 설명하기 위한 예시도이다.

도 4에 도시한 바와 같이, 공간 정규화 장치(100)는 다양한 환경에 대응되는 복수개의 기능적 의료영상을 심층 학습 아키텍처에 입력하여 적응형 템플릿을 생성한다(S410).

여기서, 심층 학습 아키텍처(CAE)는 복수의 레이어로 형성되어 있으며, 모든 회선 레이어는 3D 방식으로 특징을 추출한다. 그리고 심층 학습 아키텍처(CAE)는 스트라이드 컨볼루션(strided convolution)을 사용하여 연산을 수행하고, 회선 이후에 지수 선형 단위 (ELU) 활성화 함수를 적용한다.

또한, 심층 학습 아키텍처(CAE)는 최종 출력 레이어를 제외하고 배치 정규화(batch normalization)가 적용된다.

공간 정규화 장치(100)는 이러한 심층 학습 아키텍처를 통해 도출된 적응형 템플릿 결과와 미리 저장된 MRI 기반의 공간 정규화 결과간의 차이를 측정할 수 있다.

다시 말해, 공간 정규화 장치(100)는 심층 학습 아키텍처(CAE)의 출력 값과 미리 저장된 MRI 기반의 공간 정규화 결과간의 차이 측정하는 과정에서 다음 수학식 1의 손실 함수 (L_CAE)가 최소화되도록 심층 학습을 수행할 수 있다.

[수학식 1]

여기서 m은 배치(batch) 크기이고, I^MNI는 MNI 공간에서의 MRI 기반 공간 정규화(레이블)의 이미지이고, I^Native는 기본 공간에서의 입력된 사용자의 기능적 의료 영상이며, N은 MNI 공간의 복셀 수를 나타낸다.

이와 같이, 공간 정규화 장치(100)는 심층 학습 아키텍처(CAE)의 심층 학습을 통해 개별적으로 공간적 정규화를 수행할 수 있는 적응형 템플릿을 생성할 수 있다.

다음으로, 공간 정규화 장치(100)는 사용자의 기능적 의료 영상을 입력받는다(S420).

공간 정규화 장치(100)는 연동되는 사용자 단말(미도시함) 또는 서버(미도시함)로부터 사용자의 기능적 의료영상을 입력받을 수 있으며, 여기서, 통신망은 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다.

그리고 공간 정규화 장치(100)는 사용자의 기능적 의료 영상을 적응형 템플릿에 적용하여 이미지를 생성하고 생성된 이미지의 진위 여부를 판별하여 반복 학습을 수행한다(S430).

공간 정규화 장치(100)는 생성적 적대 신경망(GAN)을 통해 생성 모델과 구별 모델을 차례로 업데이트하면서 학습을 수행할 수 있다.

먼저, 공간 정규화 장치(100)는 생성적 적대 신경망(GAN)의 생성자(G)를 통해 사용자의 기능적 의료 영상을 적응형 템플릿에 기초하여 공간 정규화하고, 공간 정규화된 이미지를 생성한다.

그리고 공간 정규화 장치(100)는 생성적 적대 신경망(GAN)의 판별자(Discriminator: D)를 통해 공간 정규화된 이미지와 미리 저장된 학습 데이터인 MRI 기반의 공간 정규화 영상을 비교하여 진위 여부를 판단할 수 있다.

도 5의 (a)는 생성적 적대 신경망(GAN)의 생성자(Generator: G)의 네트워크 구조를 나타낸 예시도이고, 도 4의 (b)는 생성적 적대 신경망(GAN)의 판별자(Discriminator: D)의 네트워크 구조를 나타낸 예시도이다.

도 5를 보면, 각 빨간색 주황색 상자는 3D strided convolutional kernel을 나타내며, 여기서 s는 보폭의 크기이고 k는 커널의 크기를 나타낸다. 각각의 파란색 상자는 누출 - ReLU 또는 ELU와 같은 활성화 기능과 결합된 일괄 정규화를 나타낸다. 그리고 초록색 상자는 장치의 수와 완전히 연결된 레이어를 보여주며, 보라색 상자는 두 개의 스트라이드와 커널 크기 3을 갖는 3D 전치된 컨볼루션 레이어 (디콘볼루션)를 나타낸다.

한편, 도 5의 (a)와 같이, 생성적 적대 신경망(GAN)의 생성자(Generator: G)는 심층 학습 아키텍처(CAE)와 동일한 신경망으로 이용될 수 있으나 이에 한정하는 것은 아니다.

공간 정규화 장치(100)는 이와 같은 생성적 적대 신경망(GAN)의 생성자(G)와 판별자(D)를 이용하여, 판별자(D)의 판단 결과값이 생성되면, 공간 정규화된 이미지를 생성하고 판단하는 과정을 차례로 반복 수행한다.

공간 정규화 장치(100)는 생성적 적대 신경망(GAN)이 다음 수학식 2와 같은 min-max 문제를 해결함으로써 학습된다.

[수학식 2]

여기서 z는 네이티브 공간 (입력)의 PET 이미지이고, x는 MRI 기반 공간 정규화 결과(레이블)이며,

는 각각 생성자 및 판별 자의 매개 변수를 나타내고, E는 주어진 확률 분포에 대한 기대를 나타낸다.

먼저, max D는 목적함수를 극대화하는 판별자 D를 찾는 것을 나타낸다.

수학식 2에서 첫번째 항 E[Log D(x)]은 MRI 기반 공간 정규화 결과(x)로 목적 함수의 값이다. 그리고 두번째 항 E[log(1-D(G(z)))]은 생성자가 생성한 이미지(G(z))를 포함하며, arg max D를 위해서는 항 내부가 1- D(G(z)) 이므로, 두번째 항의 극대화는 D(G(z))의 극소화를 나타낸다.

결과적으로 공간 정규화 장치(100)는 두 항의 목적함수를 이용하여 진짜 그림을 넣으면 큰 값, 가짜 그림을 넣으면 작은 값을 출력하도록 판별자(D)를 학습시킨다.

다음으로 min G는 목적함수를 극소화하는 생성망 G를 찾는 것을 나타낸다.

수학식 2를 살펴보면, G는 두번째 항에만 포함되어 있으며, 전체 함수를 극소화하는 G는 두번째 항을 극소화하는 G이고, 결국 D(G(z))를 극대화하는 G를 나타낸다.

결과적으로 최적의 판별자 D를 가정하였을 때, 생성자(G)에 대한 목적함수는 D(x)와 D(G(z) 사이의 잰슨-섀넌 다이버전스(Jensen -Shannon Divergence) 최소화와 동일하다.

따라서, 공간 정규화 장치(100)는 공간 정규화된 이미지의 데이터 확률 분포와 정규화된 MRI 데이터 확률 분포 사이의 잰슨-섀넌 다이버전스가 극소화되도록 반복적으로 생성자(G)와 판별자(D)를 학습하여 업데이트할 수 있다.

또한, 다음 수학식 3과 같이 공간 정규화 장치(100)는 생성자(G)가 생성한 이미지와 MRI 기반 공간 정규화 결과(레이블)간의 충실도 손실을 min-max 문제에 추가할 수 있습니다.

[수학식 3]

여기서, G()는 이미지를 생성하는 생성자, D()는 이미지를 판단하는 판별자이며, z는 네이티브 공간의 기능적 의료영상이고, x는 MRI 기반 SN 결과이며,

는 각각 생성자 및 판별 자의 매개 변수를 나타내며, E는 주어진 확률 분포에 대한 기대값,

은 MRI 기반의 SN 결과 간의 충실도 손실 값, m은 배치 크기이고, I_i ^MNI는 MNI 공간에서 MRI 기반 SN 결과를 나타내는 이미지이고, IiNative는 기본 공간의 기능적 의료영상을 나타낸다.

이와 같이 반복 학습된 생성자(G)가 MRI 기반 공간 정규화 결과와 유사도가 매우 높은 사용자의 기능적 의료영상을 공간 정규화한 이미지를 생성할 수 있다.

이와 같은 과정에서 생성적 적대 신경망(GAN)의 판별자(D)는 MRI 기반 공간 정규화 결과와 생성자(G)가 생성한 공간 정규화한 이미지를 구별하지 못하면, 공간 정규화 장치(100)는 해당 학습을 완료할 수 있다.

다음으로, 공간 정규화 장치(100)는 학습된 알고리즘을 통해 사용자의 기능적 의료영상을 공간 정규화하여 공간 정규화된 의료영상을 제공한다(S440).

공간 정규화 장치(100)는 생성적 적대 신경망(GAN)에서 학습이 완료된 생성자(G)를 통해 사용자의 기능적 의료 영상을 공간 정규화하여 제공할 수 있다.

한편, 공간 정규화 장치(100)는 S410 단계에서 생성된 적응형 템플릿을 이용하여 해당 적응형 템플릿을 적용한 공간 정규화된 기능적 의료 영상을 제공할 수 있다. 다시 말해, 공간 정규화 장치(100)는 심층 학습 아키텍처(CAE)에 적용하여 적응형 템플릿(200)만을 생성하고, 해당 적응형 템플릿(200)만을 이용하여 기능적 의료 영상을 공간 정규화하여 제공할 수도 있다.

이하에서는 도 6 및 도 7를 이용하여 본 발명의 하나의 실시예에 따른 의료영상의 공간 정규화 방법과, 평균 템플릿을 통한 공간 정규화 방법을 비교하여 자기공명 영상 정보와의 정확도에 대해서 상세하게 설명한다.

도 6은 본 발명의 하나의 실시예에 따른 방법, 평균 템플릿 방법, 자기공명영상 정보 활용 방법을 통해 공간 정규화된 영상을 비교하기 위한 도면이고, 도 7은 본 발명의 하나의 실시예에 따른 방법과 자기공명영상 정보 활용 방법의 표준화된 이해 가치의 비율과 평균 템플릿 방법과 자기공명영상 정보 활용 방법과의 표준화된 이해 가치의 비율을 나타낸 그래프이다

도 6의 (가)는 평균 템플릿을 이용하여 PET 영상을 공간 정규화한 이미지이고, (나)는 본 발명에서 제안한 방법을 통한 PET 영상을 공간 정규화한 이미지이며, (다)는 자기공명 영상 정보를 활용하여 PET 영상을 공간 정규한 이미지이다.

도 6을 살펴보면, (나)와 (다)의 이미지는 거의 일치하는 반면에, (가)의 영상에서는 화살표 방향과 동그라미 영역에 차이가 크게 나타나는 것을 알 수 있다. 다시 말해, 평균 템플릿을 이용하여 PET 영상을 공간 정규화한 경우, 정확도가 많이 낮은 반면에 본 발명에서 제안한 딥러닝을 통한 PET 영상의 공간 정규화한 경우, 정확도가 매우 높은 것을 알 수 있다.

도 7은 본 발명의 하나의 실시예에 따른 공간적 정규화 방법과 평균 템플릿을 통한 공간적 정규화 방법의 정량적인 분석 결과를 나타낸다.

도 7의 그래프는 표준화된 이해 가치의 비율(ratio of standardized uptake value: SUVr)를 나타낸 그래프로, 뇌의 일정 영역을 선택하여 자기공명영상 정보와의 오차를 비교한 결과이다.

도 7를 살펴보면, 오차 값이 평균 템플릿을 통한 공간 정규화한 결과 값(흰 블록)의 오차가 최대 20% 가까이 나타나는 반면에, 본 발명에서 사용되는 심층 학습 아키텍처(CAE: Convolutional auto-encoder)는 구별 모델(빗금 블록)의 오차는 5% 미만의 값을 가진다. 특히 본 발명에서 제안한 생성적 적대 신경망(GAN)의 오차는 가장 최소의 오차를 보인다.

따라서, 본 발명에서 제안한 심층 학습 아키텍처를 통해 적응형 템플릿을 생성하고, 생성된 적응형 템플릿을 이용하여 생성적 적대 신경망을 통해 기능적 의료 영상을 공간 정규화하는 방법이 실제 자기공명영상 정보를 활용하여 공간 정규화하는 방법과 가장 유사함을 알 수 있다.

본 발명의 하나의 실시예에 따른 방법을 실행시키기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.

컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.

이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 의료영상의 공간 정규화 장치 110: 적응형 템플릿 생성부
120: 학습부 130: 공간 정규화부
200: 적응형 템플릿 300: 학습 데이터

Claims (10)

1. 복수 개의 기능적 의료영상을 심층 학습 아키텍처(convolutional auto-encoder: CAE)에 입력하면 상기 심층 학습 아키텍처로부터 도출된 적응형 템플릿 결과와 미리 저장된 학습 데이터인 MRI 기반의 공간 정규화 영상과의 차이값을 측정하고, 측정된 차이가 최소화되도록 심층 학습을 통해 개별적으로 적응 가능한 적응형 템플릿을 생성하는 적응형 템플릿 생성부,
   입력받은 사용자의 기능적 의료영상에 대해서 생성적 적대 신경망(Generative adversarial network: GAN)을 통해 상기 적응형 템플릿에 기초한 이미지를 생성하고 상기 생성된 이미지의 진위 여부를 판단하는 과정을 반복하여 학습하는 학습부, 그리고
   상기 학습 결과에 기초하여 공간 정규화된 사용자의 기능적 의료영상을 제공하는 공간 정규화부를 포함하고,
   상기 심층 학습 아키텍처는 복수의 레이어로 형성되어 있으며, 최종 출력 레이어를 제외하고 배치 정규화가 적용되며,
   상기 학습부는,
   상기 사용자의 기능적 의료영상을 상기 적응형 템플릿에 기초하여 공간 정규화하여 공간 정규화된 이미지를 생성하면, 상기 공간 정규화된 이미지와 미리 저장된 학습 데이터인 MRI 기반의 공간 정규화 영상을 비교하여 진위 여부를 판단하며
   판단 결과값이 생성되면 공간 정규화된 이미지를 생성하고 판단하는 과정을 차례로 반복 수행하고, 상기 판단 결과로 상기 공간 정규화된 이미지와 미리 저장된 학습 데이터인 MRI 기반의 공간 정규화 영상을 구별하지 못하면, 해당 학습을 완료하는 의료영상의 공간 정규화 장치.
   
2. 삭제
3. 삭제
4. 제1항에서,
   상기 학습부는,
   상기 공간 정규화된 이미지의 데이터 확률 분포와 정규화된 MRI 데이터 확률 분포 사이의 잰슨-섀넌 다이버전스(Jensen -Shannon Divergence)가 극소화되도록 반복 학습시키는 의료영상의 공간 정규화 장치.
   
5. 제1항에서,
   상기 학습부는,
   다음 수학식을 이용하여 min-max 문제를 해결하는 과정을 통해 반복하여 학습하는 의료영상의 공간 정규화 장치:
   

   

   
   여기서, G()는 이미지를 생성하는 생성기, D()는 이미지를 판단하는 판별기이며, z는 네이티브 공간의 기능적 의료영상이고, x는 MRI 기반 SN 결과이며,

   

   는 각각 생성자 및 판별 자의 매개 변수를 나타내며, E는 주어진 확률 분포에 대한 기대값,

   

   은 MRI 기반의 SN 결과 간의 충실도 손실 값, m은 배치 크기이고, I_i ^MNI는 MNI 공간에서 MRI 기반 SN 결과를 나타내는 이미지이고, I_i ^Native는 기본 공간의 기능적 의료영상이다.
   
6. 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치가 의료영상을 공간 정규화하는 방법으로서,
   다양한 환경에 대응되는 복수개의 기능적 의료영상을 심층 학습 아키텍처(convolutional auto-encoder: CAE)에 입력하여 상기 심층 학습 아키텍처로부터 도출된 적응형 템플릿 결과와 미리 저장된 MRI 기반의 공간 정규화 결과간의 차이를 측정하고, 측정된 차이가 최소화되도록 심층 학습을 통해 개별적으로 적응 가능한 적응형 템플릿을 생성하는 단계,
   입력받은 사용자의 기능적 의료영상에 대해서 생성적 적대 신경망(Generative adversarial network: GAN)을 통해 상기 적응형 템플릿에 기초한 이미지를 생성하고 상기 생성된 이미지의 진위 여부를 판단하는 과정을 반복하여 학습하는 단계, 그리고
   상기 학습이 완료되면 상기 학습 결과에 기초하여 공간 정규화된 사용자의 기능적 의료영상을 제공하는 단계를 포함하고,
   상기 심층 학습 아키텍처는 복수의 레이어로 형성되어 있으며, 최종 출력 레이어를 제외하고 배치 정규화가 적용되며,
   상기 학습하는 단계는,
   상기 사용자의 기능적 의료영상을 상기 적응형 템플릿에 기초하여 공간 정규화된 이미지로 생성하면, 상기 공간 정규화된 이미지와 미리 저장된 학습 데이터인 MRI 기반의 공간 정규화 영상을 비교하여 진위 여부를 판단하는 단계,
   판단 결과값이 생성되면 공간 정규화된 이미지를 생성하고 판단하는 과정을 차례로 반복 수행하는 단계, 그리고
   판단 결과로 상기 공간 정규화된 이미지와 미리 저장된 학습 데이터인 MRI 기반의 공간 정규화 영상을 구별하지 못하면, 해당 학습을 완료하는 단계를 포함하는 의료영상 공간 정규화 방법.
   
7. 삭제
8. 삭제
9. 제6항에서,
   상기 반복 수행하는 단계는,
   상기 공간 정규화된 이미지의 데이터 확률 분포와 정규화된 MRI 데이터 확률 분포 사이의 잰슨-섀넌 다이버전스(Jensen -Shannon Divergence)가 극소화되도록 반복 학습하는 의료영상 공간 정규화 방법
   
10. 제6항에서,
    상기 학습하는 단계는,
    다음 수학식을 이용하여 min-max 문제를 해결하는 과정을 통해 반복하여 학습하는 의료영상 공간 정규화 방법:
    

    

    
    여기서, G()는 이미지를 생성하는 생성기, D()는 이미지를 판단하는 판별기이며, z는 네이티브 공간의 기능적 의료영상이고, x는 MRI 기반 SN 결과이며,

    

    는 각각 생성자 및 판별 자의 매개 변수를 나타내며, E는 주어진 확률 분포에 대한 기대값,

    

    은 MRI 기반의 SN 결과 간의 충실도 손실 값, m은 배치 크기이고, I_i ^MNI는 MNI 공간에서 MRI 기반 SN 결과를 나타내는 이미지이고, I_i ^Native는 기본 공간의 기능적 의료영상이다.
    
    

Images