KR20210135039A

KR20210135039A - 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치

Info

Publication number: KR20210135039A
Application number: KR1020200053181A
Authority: KR
Inventors: 박상현; 정의진
Original assignee: 재단법인대구경북과학기술원
Priority date: 2020-05-04
Filing date: 2020-05-04
Publication date: 2021-11-12
Also published as: KR102348869B1

Abstract

본 발명은 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치에 관한 것이다. 본 발명의 일 실시 예에 따른 방법은 조건부 생성 적대적 네트워크(conditional generative adversarial network, cGAN)를 이용하며, 컴퓨팅 장치 또는 컴퓨팅 네트워크에서 수행되는 의료 영상의 예측을 위한 방법으로서, 인접한 다수의 2차원 의료 영상 및 조건을 입력 받아 해당 조건에 따른 다른 2차원 의료 영상들을 생성하여 출력하는 생성기와, 2차원 의료 영상 및 조건을 입력 받아 그 2차원 의료 영상에 대한 해당 조건의 일치 여부 및 실제 2차원 의료 영상 슬라이스의 부합 여부를 판별하는 제1 판별기와, 하나의 축 방향에서 인접한 2차원 의료 영상들을 입력 받아 그 2차원 의료 영상들에 대한 실제 3차원 영상 슬라이스의 부합 여부를 판별하는 제2 판별기를 적대 학습시키는 학습 단계; 및 학습된 생성기에 대상물인 인접한 다수의 2차원 의료 영상 및 조건을 입력하여 해당 조건에 대해 예측되는 3차원 의료 영상을 생성하는 예측 단계를 포함한다.

Description

조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치{METHOD AND APPARATUS FOR PREDITING MEDICAL IMAGE USING CONDITIONAL GENERATIVE ADVERSARIAL NETWORK}

본 발명은 의료 영상의 예측을 위한 방법 및 장치에 관한 것으로서, 더욱 상세하게는 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치에 관한 것이다.

알츠하이머병(Alzheimer's Disease; AD)은 아밀로이드 베타 단백질, 타우 단백질 등의 이상 단백질이 뇌 속에 쌓이면서 뇌 신경세포가 서서히 죽는 퇴행성 신경 질환이다. 이러한 알츠하이머병은 정상(Normal Condition; NC), 경도인지장애(Mild Cognitive Impairment; MCI) 및 AD의 순서로 진행되며, 그 진행 정도는 자기 공명 영상(Magnetic Resonance Image; MRI) 등의 의료 영상을 통해 보다 정확히 파악될 수 있다. 이하, NC, MCI 및 AD 등과 같이 어느 질병의 진행 정도에 관련된 단계를 “질병 진행 단계”라 지칭한다.

최근에는 다양한 머신 러닝(machine learning)의 알고리즘을 적용하여 의료 영상을 처리하여 예측하는 다양한 기법들이 개발되고 있다. 다만, 자기 공명 영상촬영(Magnetic Resonance Imaging; MRI) 영상 등의 의료 영상에 대한 정확한 예측을 위해서는 예측 모델의 학습 시에 많은 양의 의료 영상 데이터가 필요하지만, 의료 영상 데이터는 특성 상 그 양이 한정적일 수밖에 없다.

이러한 의료 영상 데이터 제한의 문제를 해결하기 위해, 생성 적대적 네트워크(Generative Adversarial Network; GAN)를 기반으로 하는 합성 영상 데이터 생성에 대한 연구가 제안되었다. 예를 들어, MRI 영상으로부터 컴퓨터 단층촬영(Computed Tomography; CT) 영상, MRI 영상으로부터 양전자 방출 단층촬영(Positron Emission Tomography; PET) 영상, CT 영상으로부터 PET 영상을 각각 생성하도록, GAN 모델이 적용될 수 있다. 하지만, 이러한 방식은 미리 정의된 2개의 도메인(domain) 사이에서만 도메인 변환이 수행되는 방식이다. 따라서, GAN은 특정 조건에 해당하는 영상만을 생성하는 것이 불가능하다.

한편, GAN의 한계를 해결하기 위해, 특정 목표 조건(target condition)을 적용함으로써 소스 영상(source image)를 목표 조건의 도메인으로 변환할 수 있는 조건부 생성 적대 네트워크(conditional Generative Adversarial Network; cGAN)이 새롭게 제안될 수 있다. 즉, cGAN을 이용하면 소스 영상을 특정 조건에 해당하는 영상으로 변환할 수 있다.

하지만, cGAN을 이용하는 종래 기술의 경우, 연령의 조건에 따른 해당 의료 영상을 생성하기 위한 기술에 불과할 뿐, NC, MCI 또는 AD 등과 같은 특정 질병 단계의 조건에 따른 해당 의료 영상을 생성하기 위한 기술이 아니다. 또한, 종래 기술은 2차원(2 Dimension; 2D) 영상 생성에 관련된 기술인데, 이는 처리해야 할 데이터 양이 많아 3차원(3D) 영상을 직접 생성하는 모델에 대한 최적화가 어렵다. 특히, 종래 기술을 통해 생성된 2D 영상들을 연결해 3D 영상을 재구성할 경우, 해당 각 2D 영상이 독립적으로 생성된 것이므로, 2D의 GAN 모델의 훈련(train) 시에 사용되지 않는 다른 축들에 걸쳐 불연속적 부분이 나타나는 문제를 초래한다.

상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 조건부 생성 적대적 네트워크(cGAN)을 이용하여 어느 질병 진행 단계의 의료 영상을 기반으로 다른 질병 진행 단계의 의료 영상을 예측하여 생성하는 방법 및 장치를 제공하는데 그 목적이 있다.

또한, 본 발명은 적은 메모리의 소요로 3D의 각 축에 걸쳐 연속적인 3D 의료 영상을 재구성할 수 있게 하는 의료 영상을 예측하여 생성하는 방법 및 장치를 제공하는데 그 다른 목적이 있다.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 방법은 조건부 생성 적대적 네트워크(conditional generative adversarial network, cGAN)를 이용하며, 컴퓨팅 장치 또는 컴퓨팅 네트워크에서 수행되는 의료 영상의 예측을 위한 방법으로서, (1) 인접한 다수의 2차원 의료 영상 및 조건을 입력 받아 해당 조건에 따른 다른 2차원 의료 영상을 생성하여 출력하는 생성기와, 2차원 의료 영상 및 조건을 입력 받아 그 2차원 의료 영상에 대한 해당 조건의 일치 여부 및 실제 2차원 의료 영상 슬라이스의 부합 여부를 판별하는 제1 판별기와, 하나의 축 방향에서 인접한 2차원 의료 영상들을 입력 받아 그 2차원 의료 영상들에 대한 실제 3차원 영상 슬라이스의 부합 여부를 판별하는 제2 판별기를 적대 학습시키는 학습 단계, (2) 학습된 생성기에 대상물인 인접한 다수의 2차원 의료 영상 및 조건을 입력하여 해당 조건에 대해 예측되는 3차원 의료 영상을 생성하는 예측 단계를 포함한다.

상기 조건은 질병의 진행 정도에 관련된 질병 진행 단계들 중 어느 하나를 포함할 수 있다.

상기 의료 영상은 뇌 측정 영상을 포함할 수 있으며, 상기 질병은 알츠하이머병을 포함할 수 있다.

상기 질병 진행 단계는 정상(Normal Condition; NC) 단계, 경도인지장애(Mild Cognitive Impairment; MCI) 단계 및 알츠하이머((Alzheimer's Disease; AD) 단계를 포함할 수 있다.

상기 학습 단계에서, 제1 및 제2 판별기가 학습된 후에 생성자가 학습되는 과정이 반복 수행될 수 있다.본 발명의 일 실시 예에 따른 장치는 조건부 생성 적대적 네트워크(conditional generative adversarial network, cGAN)를 이용하며, 컴퓨팅 장치 또는 컴퓨팅 네트워크에서 수행되는 의료 영상의 예측을 위한 장치이며, 상기 cGAN은, (1) 인접한 다수의 2차원 의료 영상 및 조건을 입력 받아 해당 조건에 따른 다른 2차원 의료 영상들을 생성하여 출력하는 생성기, (2) 2차원 의료 영상 및 조건을 입력 받아 그 2차원 의료 영상에 대한 해당 조건의 일치 여부 및 실제 2차원 의료 영상 슬라이스의 부합 여부를 판별하는 제1 판별기, (3) 하나의 축 방향에서 인접한 2차원 의료 영상들을 입력 받아 그 2차원 의료 영상들에 대한 실제 3차원 영상 슬라이스의 부합 여부를 판별하는 제2 판별기를 포함한다.

상기 cGAN은 생성기에 대해 제1 판별기 및 제2 판별기가 적대 학습될 수 있다.

학습된 상기 생성기는 대상물인 인접한 다수의 2차원 의료 영상 및 조건이 입력되면 해당 조건에 대해 예측되는 3차원 의료 영상을 생성할 수 있다.

상기와 같이 구성되는 본 발명은 cGAN을 이용하여 어느 질병 진행 단계의 의료 영상을 기반으로 다른 질병 진행 단계의 의료 영상을 정확히 예측하여 생성할 수 있는 이점이 있다.

또한, 본 발명은 적은 메모리의 소요로 3D의 각 축에 걸쳐 연속적인 3D 의료 영상을 재구성할 수 있게 하는 의료 영상을 예측하여 생성할 수 있는 이점이 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시 예에 따른 의료 영상의 예측 장치(100)를 나타낸다.
도 2는 본 발명의 일 실시 예에 따른 조건부 생성 적대적 네트워크(conditional generative adversarial network)(200)의 블록 구성도를 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 조건부 생성 적대적 네트워크(200)의 동작 원리를 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 예측 방법의 순서도를 나타낸다.
도 6은 해마(hippocampus), 심실(ventricle) 및 회백질 영역(gray matter region)에 대해 본 발명의 cGAN(200)을 사용하여 생성한 합성 영상을 나타낸다.
도 7은 본 발명의 cGAN(200), 2D cGAN 및 3D cGAN를 사용하여 생성한 합성 영상과, 그 원본 영상을 각각 나타낸다.

본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", “구비하다”, “마련하다” 또는 “가지다” 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

본 명세서에서, “또는”, “적어도 하나” 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “또는 B”“및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.

본 명세서에서, “예를 들어” 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어’ 있거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소 간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.

본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시 예를 상세히 설명하도록 한다.

도 1은 본 발명의 일 실시 예에 따른 의료 영상의 예측 장치(100)를 나타낸다. 또한, 도 2는 본 발명의 일 실시 예에 따른 조건부 생성 적대적 네트워크(conditional generative adversarial network)(200)의 블록 구성도를 나타낸다.

본 발명의 일 실시 예에 따른 예측 장치(100)는 조건부 생성 적대적 네트워크(conditional generative adversarial network; cGAN)(200)를 이용하여 특정 질병 단계의 의료 영상을 기반으로 다른 질병 진행 단계의 의료 영상을 예측하여 생성(합성)하는 장치일 수 있다. 이러한 예측 장치(100)는 영상획득장치에서 획득된 의료 영상의 데이터에 대해 예측 동작할 수 있다.

예를 들어, 영상획득장치는 X-ray 장치, 초음파 장치, 컴퓨터 단층촬영(Computed Tomography; CT) 장치, 자기 공명 영상촬영(Magnetic Resonance Imaging; MRI) 장치, 양전자 방출 단층촬영(Positron Emission Tomography; PET) 장치 등일 수 있으며, 의료 영상은 X-ray 영상, 초음파 영상, CT 영상, MRI 영상(또는 MR 영상), PET 영상 등일 수 있으나, 이에 한정되는 것은 아니다.

예측 장치(100)는 영상획득장치에 포함된 컴퓨팅 장치일 수 있으며, 별도로 마련된 컴퓨팅 장치 또는 컴퓨팅 네트워크일 수 있다. 도 1을 참조하면, 예측 장치(100)는 입력부(110), 통신부(120), 디스플레이(130), 메모리(140), 프로세서(150) 등을 포함할 수 있다.

입력부(110)는 조건 등에 관한 사용자의 입력에 대응하여, 입력데이터를 발생시킨다. 입력부(110)는 다양한 입력수단을 포함할 수 있다. 예를 들어, 입력부(110)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 터치 패드(touch pad), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

통신부(120)는 영상획득장치, 서버 등의 외부장치와의 통신을 수행하는 구성으로서, 의료 영상 데이터 등을 송수신할 수 있다. 예를 들어, 통신부(120)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energe), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행할 수 있고, 케이블 통신 등의 유선 통신을 수행할 수 있으나, 이에 한정되는 것은 아니다.

디스플레이(130)는 의료 영상 등의 다양한 영상 데이터를 화면으로 표시한다. 또한, 표시부(130)는 입력부(120)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수 있다. 예를 들어, 표시부(130)는 비발광형 패널이나 발광형 패널로 구성될 수 있으나, 이에 한정되는 것은 아니다.

메모리(140)는 예측 장치(100)의 동작에 필요한 각종 정보를 저장한다. 예를 들어, 저장 정보는 의료 영상 데이터, cGAN에 관련된 정보, 후술할 예측 방법에 관련된 프로그램 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

프로세서(150)는 예측 장치(100)의 다양한 제어동작을 수행할 수 있다. 예를 들어, 프로세서(150)는 후술할 예측 방법의 수행을 제어할 수 있으며, 예측 장치(100)의 나머지 구성, 즉 입력부(110), 통신부(120), 디스플레이(130), 메모리(140), 프로세서(150) 등의 동작을 제어할 수 있으나, 이에 한정되는 것은 아니다.

한편, 의료 영상의 예측에 이용되는 본 발명의 일 실시 예에 따른 cGAN(200)은, 도 2에 도시된 바와 같이, 생성기(generator)(G), 제1 판별기(first discriminator 또는 2D discriminator(F), 제2 판별기(second discriminator 또는 3D discriminator)(H)를 포함한다. 이들은 적대 학습(adversarial learning)될 수 있으며, 학습된 모델을 각각 '생성 모델', '제1 판별 모델', '제2 판별 모델'이라고 지칭할 수도 있다.

이러한 cGAN(200)에 관련된 대한 정보는 메모리(140)에 저장될 수 있으며, 프로세서(150)에서 적어도 하나의 프로세스(process)를 통해 수행될 수 있다. 다만, 이들 생성기(G), 제1 판별기(F) 및 제2 판별기(H)에 대해서는 후술할 예측 방법에서 더욱 상세히 설명하도록 한다.

이하, 프로세서(150)에 의해 제어 동작되는 본 발명의 일 실시 예에 따른 예측 방법에 대하여 설명하도록 한다.

다만, 이하에서는 cGAN(200)을 이용하여 알츠하이머병(Alzheimer's Disease, AD)의 정상(Normal Condition; NC), 경도인지장애(Mild Cognitive Impairment; MCI) 및 AD로 진행되는 질병 진행 단계 중 어느 질병 진행 단계의 의료 영상(뇌에 관한 MRI 영상)을 기반으로 다른 질병 진행 단계의 의료 영상을 예측하여 생성하는 방법에 대해서 설명하도록 하나, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명은 알츠하이머병 외에도 다른 질병에 대한 어느 질병 진행 단계의 의료 영상을 기반으로 다른 질병 진행 단계의 의료 영상을 예측하여 생성하는 방법에도 적용될 수 있다. 이때, 의료 영상은 뇌를 촬영한 영상 외에 다른 부위를 촬영한 영상일 수도 있다.

또한, 이하에서, '영상'은 의료 영상을 지칭할 수 있으며, '합성 영상'은 생성기(G)에 의해 생성된 영상을 지칭할 수 있다. 또한, 실제 2D 영상의 슬라이스(slice)는 'x2D'로, 합성 2D 영상의 슬라이스는 's2D'로, 실제 3D 영상의 슬라이스는 'x3D'로, 합성 3D 영상의 슬라이스는 's3D'로 각각 표현될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 조건부 생성 적대적 네트워크(200)의 동작 원리를 나타낸다.

생성기(G)는 2D 영상의 합성을 위한 구성이다. 즉, 생성기(G)는 입력되는 2D 영상(x2D 또는 s2D)으로부터 목표 조건(condition)(c)(즉, NC, MCI 또는 AD)에 해당하는 s2D를 생성한다. 특히, 생성기(G)는 인접한 다수의 2D 영상 및 조건(c)으로부터 인접한 s2D를 생성함으로써, 그와 관련된 3D 영상의 합성이 가능하게 한다. 이 생성기(G)는 질병에 의해 영향을 받는 뇌 영역을 수정하기 위해 적대적 학습(adversarial learning)에 의해 훈련되는 한편, 순환 학습(cycle learning)을 통해 변형을 역전시킴(reversing the transformation)으로써 환자의 정체성을 유지한다.

생성기(G)는 인코더(encoder), 전이 계층(transition layer) 및 디코더(decoder)를 포함할 수 있다. 인코더는 3개의 컨볼루션 레이어(convolutional layer)를 통해 피쳐 맵(feature map)을 x2D의 원래 크기의 1/4로 줄인다. 그 다음, 전이 계층은 6개의 잔차 블록(residual block)을 통해 피쳐 맵을 처리한다. 이때, 조건(c)와 피쳐 맵이 결합된다. 생성기(G)의 최종 단계에서, 3개의 전치 컨볼루션 계층(transpose convolution layer)에 의해 정의된 디코더는 잠재 표현(latent representation)을 x2D와 동일한 크기의 s2D로 변환한다.

제1 판별기(F)는 목표 조건을 충족하는 현실적인 2D 영상 슬라이스가 합성되도록 보장하기 위한 구성이다. 즉, 제1 판별기(F)는 입력된 2D 영상에 대해 조건의 레이블(label)(c)에 대한 일치 여부와, x2D에 대한 부합 여부(즉, 입력된 2D 영상이 x2D에 해당하는지 또는 s2D에 해당하는지 여부)를 판별한다.

제1 판별기(F)는 5개의 2D 컨볼루션 계층(convolution layer)과 2개의 완전 연결 계층(fully connected layer)을 포함한 CNN(convolutional neural network)로 구성될 수 있다. 2개의 완전 연결 계층은 2D 영상에 대한 실제 분류(Fa)(즉, 실제인지 합성인지 여부를 분류) 및 조건에 대한 분류(Fb)(즉, NC, MCI 또는 AD인지 여부를 분류)를 수행한다. F의 입력은 횡축(axial)의 x2D이거나 s2D이다.

제2 판별기(H)는 3D 영상의 생성 및 판별 시 발생하는 메모리 제한의 문제를 해결하면서 3D 구조를 보장하기 위한 구성이다. 즉, 제2 판별기(H)는 부드러운(smoothing) 3D 영상을 생성하는데 도움을 줄 수 있다.

생성기(G)에서는 3D 공간에서 합성되는 영상의 부드러움을 고려해, k개(단, k는 2이상의 자연수)의 인접 영상들(neighboring images)을 횡축(axial) 방향으로 순차적으로 배치한다. 즉, 미니 배치(mini-batch)에 각 영상에 대한 인접 영상들인 s¹ _2D, s² _2D, ..., s^k _2D가 생성된다. 제2 판별기(H)는 이 인접 영상들이 x3D에 대한 부합 여부(즉, x3D 또는 s3D에 해당하는지 여부)를 판별한다. 이에 따라, 제2 판별기(H)는 3D 공간의 영상 품질을 향상시켜, 종래 기술에서 복수 축들에 걸쳐 불연속적 부분이 나타나는 문제점을 해결할 수 있다. 즉, 본 발명은 제2 판별기(H)를 통해 3D의 각 축에 걸쳐 연속적인 3D 영상을 재구성할 수 있게 한다. 이때, x3D는 인접한 실제 2D 영상들인 x¹ _2D, x² _2D, ..., x^k _2D가 연쇄 처리(concatenation)된 것이며, s3D는 인접한 합성 2D 영상들인 s¹ _2D, s² _2D, ..., s^k _2D가 연쇄 처리된 것이다.

제2 판별기(H)는 제1 판별기(F)와 마찬가지로 CNN으로 구성될 수 있다. 다만, 제2 판별기(H)의 CNN은 5개의 3D 컨볼루션 레이어와, 그 입력이 인접 2D 슬라이스들이 x3D에 해당하는지 또는 s3D에 해당하는지를 구별하는 하나의 완전 연결 레이어로 구성된다. 이에 따라, 제2 판별기(H)는 모델이 3D의 3축 모두에서 우수한 품질의 3D 영상을 생성하도록 보장할 수 있다. 즉, 도 2를 참조하면, k개의 연속 2D 슬라이스(consecutive 2D slice)들인 s2D를 연쇄 처리하여 s3D를 재구성하는 모습을 볼 수 있다.

정리하면, 제2 판별기(H)는 생성기(G)에 의해 생성되어 연쇄 작업된 미니 배치에 있는 인접 2D 슬라이스들에 대해 작업을 수행한다. 이러한 제2 판별기(H)에 따라, 생성기(G)는 3D 공간의 정보를 고려한 2D 영상들을 합성하도록 학습된다.

도 4는 본 발명의 일 실시 예에 따른 예측 방법의 순서도를 나타낸다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 예측 방법은 S10 및 S20을 포함한다.

먼저, S10에서는 생성기(G), 제1 판별기(F) 및 제2 판별기(H)을 적대 학습시킨다. 이때, 2D와 3D 공간에서 다음의 (1) 및 (2)과 같이 적대적 손실 함수(adversarial loss function)(L_2D-adv, L_2D-adv)를 이용하여 cGAN(200)을 훈련(train)시킬 수 있다.

즉, L_2D-adv는 2D 영상에 대한 적대적 손실 함수이며, L_3D-adv는 3D 영상에 대한 적대적 손실 함수이다. 식 (1)의 L_2D-adv에 관련된 첫번째 항은 제1 판별기(F)에 실제(real) 2D 영상(x2D)이 입력되면 1에 가까운 확률 값을 출력하는 함수를, 두 번째 항은 제1 판별기(F)에 가짜 2D 영상(s2D)이 입력되면 0에 가까운 확률 값을 출력하는 함수이다. 식(2)의 L_3D-adv에 관련된 첫번째 항은 제2 판별기(H)에 실제 3D 영상(즉, 연속한 2D 영상들)(x3D)이 입력되면 1에 가까운 확률 값을 출력하는 함수를, 두 번째 항은 제2 판별기(H)에 가짜 3D 영상(즉, 연속한 2D 영상들)(s3D)이 입력되면 0에 가까운 확률 값을 출력하는 함수이다.

s2D는 x2D와 유사해야 하며 목표 조건(c)을 충족해야 한다. 이를 해결하기 위해, Fb는 입력된 2D 영상 슬라이스에 대한 조건을 분류한다. 한편, s2D에 대해 예측된 조건은 제2 판별기(G)를 최적화하는데 사용되며, x2D에 대해 예측된 조건은 제1 판별기(F)를 최적화하는데 사용된다. 따라서 실제 영상에 대한 분류 손실(L^r _cls)과 합성 영상에 대한 손실(L^s _cls)은 다음의 (3) 및 (4)와 같이 정의된다.

즉, 식 (3)에서 L^r _cls은 제1 판별기(F)에 실제 2D 영상 슬라이스(x2D)가 주어졌을 때 그 조건(c) 일치 여부를 맞출 확률에 -log 값을 취한 값으로 표현될 수 있으며, 해당 조건 일치 여부가 맞으면 0 값이 되고 틀리면 그 보다 큰 값이 된다. 식 (4)에서 L^s _cls는제1 판별기(F)에 가짜 2D 영상 슬라이스(s2D)가 주어졌을 때 그 조건 일치 여부를 맞출 확률에 -log 값을 취한 값으로 표현될 수 있으며, 해당 조건 일치 여부가 맞으면 0 값이 되고 틀리면 그 보다 큰 값이 된다.

합성된 영상은 입력 영상의 정체성을 유지해야 하기 때문에 적대적 손실과 함께 순환 일관성 손실(cycle consistency loss)(L_cyc)을 추가하였다. 다음의 (5)와 같이, 순환 일관성 손실(L_cyc)은 x2D의 원래 조건(c')과 s2D를 사용하여 생성기(G)를 사용하여 변환을 되돌린다.

즉, 식 (5)에서, L_cyc는 실제 2D 영상(x2D)과, 생성기(G)에 가짜 2D 영상(s2D) 및 조건(c')를 입력하여 생성한 영상인 G(s2D, c')과의 차이로 표현될 수 있다.

마지막으로, 다음의 (6) 내지 (8)과 같이, 생성기(G), 제1 판별기(F) 및 제2 판별기(H)는 각각의 손실 함수(L_G, L_F 및 L_H)를 최적화하면서 동시에 학습된다.

이때, 동시 학습은 모든 손실(loss)를 고려해서 학습이 진행된다는 것으로서, 제1 및 제2 판별기(F, H)와 생성자(G)를 번갈아 가며 학습이 진행되는 것을 의미한다. 즉, 제1 및 제2 판별기(F, H)가 먼저 학습된 후, 학습된 제1 및 제2 판별기(F, H)를 기반으로 생성자(G)가 학습되며, 다시 제1 및 제2 판별기(F, H)가 업데이트가 되고 생성기(G)가 업데이트되며, 이러한 과정이 반복될 수 있다. 예를 들어, 이러한 과정은 각 손실 함수(L_G, L_F 및 L_H)가 기 설정된 적정 값으로 세팅되는 방향으로, 또는 각 손실 함수(L_G, L_F 및 L_H)를 줄이는 방향으로, 또는 각 손실 함수(L_G, L_F 및 L_H)를 최소화하는 방향으로 학습이 진행되고 업데이트될 수 있으나, 이에 한정되는 것은 아니다.

또한, (6) 내지 (8)에서 각 손실 효과를 최적화하기 위한 파라미터를 적용할 수 있다. 즉, cls와 λ_cyc은 각각 손실 효과의 균형을 맞추기 위한 하이퍼 파라미터(hyperparameter)로서, cls는 1일 수 있으며, λ_cyc는 0.1일 수 있으나, 이에 한정되는 것은 아니다.

이후, S20에서는 최적 학습된 cGAN(200)을 이용하여 실제 대상이 되는 영상에 적용하는 단계이다. 즉, S20에서, 최적 학습된 생성기(G)에 대상물인 2차원 영상 및 조건을 입력함으로써, 해당 조건에 대해 예측되는 2차원 영상을 생성할 수 있다.

예를 들어, 알츠하이머병에 대한 검사 대상 환자의 MRI 영상과 그 조건(NC, MCI 또는 AD)을 기 학습된 생성기(G)에 입력하면, 생성기(G)는 해당 조건(NC, MCI 또는 AD)에 대해 예측되는 MRI 영상을 생성할 수 있다. 특히, 학습된 생성기(G)에 인접한 다수의 2차원 영상 및 조건을 입력하면, 해당 조건에 대해 예측되는 인접한 2차원 영상들을 생성할 수 있으며, 그 결과 생성된 인접 2차원 영상들을 통해 그에 관련된 3차원 영상이 합성될 수 있다.

<실험 결과>

1) 데이터세트(dataset)

알츠하이머 병 신경화 이니셔티브(Alzheimer's Disease Neuroimaging Initiative; ADNI)의 데이터세트를 사용하였다. AD 대상의 200개의 MRI 영상과, MCI 대상의 400개의 MRI 영상과, 정상 대조군인 NC 대상의 200개의 MRI 영상을 수집하였다. 모든 영상의 크기가 192 × 192 × 160이 되도록, 아핀 변환(affine transformation)을 사용하여 영상을 정렬하고 그 크기를 조정하였다.

2) 구현 세부 정보(Implementation details)

데이터를 2개의 짝수 하위 세트(subset)(세트 A 및 세트 B)로 나누었다. 본 발명의 모델을 사용하여, 세트 A에서 192 × 192 크기의 MR 영상의 횡축(axial) 방향 뷰를 가진 합성 영상(세트 A')을 생성하였다. 각 영상에 대해 원래 조건(c')을 제외한 다른 2가지 조건에 각각 대한 영상을 생성하였다(예를 들어, NC 영상 및 MCI 영상은 AD 영상에서 생성되며, MCI 영상 및 AD 영상은 NC 영상에서 생성됨). 생성기(G), 제1 판별기(F) 및 재2 판별기(H)를 동시에 훈련(train)시키기 위해, MRI 영상에서 k개의 연속 2D 슬라이스(consecutive 2D slice)를 샘플링(sampling)하여 훈련 미니 배치(training mini-batch)를 구성하였다. 본 실험에서는 k이 3, 6, 8의 값인 각각의 경우에 대해 평가되었다. 모델은 Adam Optimizer를 사용하여 150,000회 반복되고 일정한 감쇠와 함께 0.0001의 학습 속도로 학습되었다. 프로그램 코드는 PyTorch 딥 러닝 프레임 워크를 기반으로 개발되었으며, GTX TITAN X NVIDIA GPU에서 실행되었다.

3) 평가 설정(Evaluation setting)

생성된 3D 영상의 품질을 정량적으로 측정하기 위해 FID(Frechet Inception Distance)가 세트 A'와 세트 B 사이에서 측정되었다. FID는 실제 영상과 생성된 영상에 대한 임베디드 표현(embedded representation)으로 변환하여 이들의 차이를 평가하며, 이들의 평균(mean)과 공분산(covariance) 차이를 측정한다. 임베디드 표현은 ImageNet 데이터 세트에서 사전 훈련된 Inception 네트워크의 두 번째 계층으로 영상을 인코딩하여 계산되었다. 사전 훈련된 2D Inception 네트워크를 3D 영상에 적용하기 위해, 3축에서 2D 영상 슬라이스를 추출한 다음, FID 점수를 축 별로 각각 측정하였다.

또한, GAN-train 및 GAN-test 점수도 측정하였다. FID 점수는 실제 영상과 생성된 영상이 ImageNet 데이터 세트에 있는 영상과 유사한 가우시안 분포(Gaussian distribution)를 가지고 있다고 가정하지만, 이는 생체 의료 영상에 대한 좋은 표현이 아닐 수 있다. 다만, 실제 및 생성된 생의학적 영상 사이의 분포 유사성은 여전히 GAN-train 및 GAN-test 점수에 의해 측정될 수 있다. GAN-train 점수를 계산하기 위해 분류 모델을 생성된 데이터로 훈련한 다음 실제 데이터에서 테스트하였다. GAN-test의 경우, 모델을 실제 데이터로 학습한 다음 생성된 데이터를 테스트하였다. 각 판별 모델이 실제 데이터에 대해 훈련되고 테스트되어 GAN-train 및 GAN-test 점수가 거의 유사한 성능을 갖는 경우, 해당 GAN 모델은 효과적인 것으로 간주된다. 우리는 3가지 조건(NC vs MCI vs AD)에 대한 분류와, 비교적 쉬운 작업인 NC와 AD 간의 이진 분류(binary classification)(즉, NC vs AD)에 대한 점수를 측정하였다.

도 5는 분류를 위한 네트워크 아키텍처(Network architecture)를 나타낸다.

분류 모델의 경우, “Pan, Y., Liu, M., Lian, C., Zhou, T., Xia, Y., Shen, D.: Synthesizing Missing PET from MRI with Cycle-consistent Generative Adversarial Networks for Alzheimer's Disease Diagnosis. In: Medical Image Computing and Computer Assisted Intervention. pp. 455{463 (2018)” 에 기재된 작업을 따른다. 특히, 전체 3D 볼륨의 여러 위치에서 48 × 48 × 48 크기의 27개 패치를 추출하였다. 패치를 임베디드 표현으로 인코딩한 다음 모든 임베디드 벡터(embedded vector)를 연결하여(concatenated), 3D 영상에 대한 단일 분류 결과를 최종적으로 측정하였다. 분류 모델 세부 사항은 도 5에 도시된 바와 같을 수 있다. 다만, 그 외에도 어떤 형태의 분류 모델이든지 사용될 수 있으며, 사용된 해당 모델에 따라 그 정확도가 다를 수 있다.

본 발명의 cGAN(200)을 2D cGAN 및 3D cGAN과 비교하였다. 이때, 2D cGAN은 본 발명의 cGAN(200)과 유사한 구조를 가지나, 제2 판별기(G)를 사용하지 않았다. 3D cGAN도 본 발명의 cGAN(200)과 유사한 구조를 가지나, 3D 영상을 생성하는 3D 생성기를 사용한다. 다만, 메모리 제한으로 인해, 3D cGAN의 3D 생성기는 전체 3D 영상 대신 한 번에 20개의 인접한 2D 영상을 생성하도록 구현되었다. 공정한 비교를 위해, 본 발명에서 사용된 동일한 하이퍼 파라미터를 가지는 2D cGAN 및 3D cGAN을 사용하여 동일 실험을 수행하였다. 또한, 세트 A와 세트 B 사이에서 FID 및 GAN-train 스코어를 측정하여 그 상한을 나타냈다.

4) 정량 결과(Quantitative results)

				NC vs MCI vs AD		NC vs AD
Models	FID(A)	FID(C)	FID(S)	GAN-Train	GAN-Test	GAN-Train	GAN-Test
실제 영상	0.86	1.04	0.84	49.00	-	74.68	-
2D cGAN	34.30	40.36	46.36	43.67	42.27	56.32	75.95
3D cGAN	60.74	144.26	134.72	37.16	29.43	50.00	47.26
Our (k=3)	42.66	49.44	52.33	43.00	45.88	71.52	82.09
Our (k=6)	44.79	37.18	30.52	45.33	52.74	72.79	79.76
Our (k=8)	30.70	26.82	27.25	50.00	52.74	73.42	80.32

표 1은 본 발명의 cGAN(200)과, 비교 대상인 2D 및 3D cGAN에 의해 생성된 영상의 영상 품질 점수를 보여준다. 이때, FID 점수는 각각 횡축(axial)(A), 관상(coronal)(C) 및 시상(sagittal)(S) 보기에서 계산되었다. 또한, GAN-Train 및 GAN-Test 점수는 3가지 조건에 대한 분류(NC vs MCI vs AD)와, NC와 AD에 대한 이진 분류(NC vs AD)에 대해 계산되었다.2D cGAN은 횡축(axial) 방향에서 좋은 FID 점수를 달성했으나, 관상(coronal) 및 시상(sagittal) 보기에서는 FID 점수가 상대적으로 높았다. 또한, 2D cGAN은 GAN-train 및 GAN-test 점수가 낮거나 일치하지 않았다. 3D cGAN은 최악의 결과를 달성하였다. 이는 소량의 데이터를 사용하여 3D 모델이 제한된 미니 배치 크기로 훈련되어, 영상 생성 모델이 제대로 훈련되지 않았기 때문이다. 반면, 본 발명의 k=8인 모델은 3축의 FID 점수와, 3가지 조건에 대한 분류(NC vs MCI vs AD) 및 이진 분류(NC vs AD)에서의 GAN-train/GAN-test 점수가 2D 및 3D cGAN 보다 우수하다. 이 지표는 본 발명이 종래 기술에 해당할 수 있는 2D 및 3D cGAN 보다 현저하게 개선되어, 실제 데이터(실제 영상)과 유사한 점수로 실제 데이터의 기본 분포를 모델링하는 방법임을 나타낸다.

5) 정성적 결과(Qualitative results)

도 6은 해마(hippocampus), 심실(ventricle) 및 회백질 영역(gray matter region)에 대해 본 발명의 cGAN(200)을 사용하여 생성한 합성 영상을 나타낸다. 즉, 도 6에서, 상단은 NC, 중간은 MCI, 하단은 AD인 조건에 대한 합성 영상이며, 각 영상의 중요 부분의 차이는 노란색 화살표로 표시하였다.

도 7은 본 발명의 cGAN(200), 2D cGAN 및 3D cGAN를 사용하여 생성한 합성 영상과, 그 원본 영상을 각각 나타낸다. 즉, 도 7에서, 최상단은 본 발명의 cGAN(200), 두번째 줄은 2D cGAN, 세번째 줄은 3D cGAN를 각각 사용한 합성 영상을 나타내며, 최하단은 원본 영상을 나타낸다.

정성적 결과는 도 6 및 도 7에 나타내 바와 같다. 즉, 본 발명에 따른 cGAN(200)의 모델은 NC 환자 보다 AD 환자에서 해마와 회백질이 더 눈에 띄게 작아지는 것을 정확하게 예측함을 확인하였다. 특히, 본 발명의 합성 영상에는 2D 및 3D cGAN 모델의 합성 영상 보다 아티팩트(artifact)가 적다. 횡축(axial) 방향 관점에서 본 결과는 모든 방법에서 대부분 만족스럽지만, 관상(coronal) 또는 시상(sagittal) 관점에서 본 결과는 큰 차이가 발생한다. 즉, 해당 축 관점에서, 본 발명에 따른 cGAN(200)의 모델은 2D 및 3D cGAN 모델보다 더 선명한 경계를 나타내는 더 나은 3D 영상을 생성한다.

6) 데이터 확대에 대한 영향(Effect on data augmentation)

데이터 확대를 위해 생성된 영상에 대한 효과를 파악하기 위해, AD와 NC(AD vs NC)를 분리하고, MCI와 AD(MCI vs AD)를 분리하며, NC와 MCI(NC vs MCI)를 분리하는 각각의 이진 분류 모델을 구현하였다. 이때, 6개의 분류 모델을 훈련했는데, 3개는 실제 데이터(세트 A)만 가지고 훈련했고, 3개는 증강 데이터 및 실제 데이터(세트 A + 세트 A')를 가지고 훈련했으며, 이후 세트 B에서 테스트하였다. 그 결과는 다음의 표 2와 같다.

	AD vs NC	MCI vs AD	NC vs MCI
실제 데이터(real data)	78.48	62.90	64.25
실제 데이터(real data) + 합성 데이터(synthesized data)	81.25	63.35	66.06

즉, 표 2는 실제 영상의 데이터(실제 데이터)와 실제 및 합성 영상의 데이터(합성 데이터)를 통해 얻은 분류 모델에 대한 각각의 이진 분류 성능을 나타낸다. 증강 데이터는 이진 분류 설정의 모든 조합에서 약 2%의 일관된 개선을 달성했다. NC 영상과 AD 영상의 차이가 비교적 명확하기 때문에 더 높은 분류 정확도가 도출되었다. 반면, NC 또는 AD로부터 MCI의 분류는 모호함(ambiguity)으로 인해 상대적으로 낮은 정확도가 도출되었다.

상술한 바와 같이, 본 발명은 cGAN(200)을 이용하여 어느 질병 진행 단계의 의료 영상을 기반으로 다른 질병 진행 단계의 의료 영상을 예측하여 생성할 수 있는 이점이 있다. 즉, 입력되는 MRI 영상에 대해 AD의 목표 조건의 질병 단계(NC, MCI 또는 AD)의 MRI 이미지를 생성할 수 있다. 또한, 본 발명은 적은 메모리의 소요로 3D의 각 축에 걸쳐 연속적인 3D 의료 영상을 재구성할 수 있게 하는 의료 영상을 예측하여 생성할 수 있는 이점이 있다.

특히, 본 발명의 주요 기여점을 정리하면 다음과 같다.

(1) 현재의 질병 단계의 상태에서 다른 질병 단계의 상태로의 측정 부위의 변화(예를 들어, 뇌 변화 등)를 예측할 수 있는 cGAN(200)을 제시한다. 즉, 본 발명은 어느 한 MR 영상과 목표 조건으로부터 알츠하이머병의 NC, MCI 및 AD 영상을 합성할 수 있는 조건부 생성 적대적 네트워크(cGAN)을 제시한다. 따라서, 본 발명은 작은 데이터 세트로 정확한 예측 모델을 학습하는데 중요한 역할을 할 수 있다. 이러한 본 발명에 따른 모델은 의료 전문가가 환자의 상태가 어떻게 진행되는지를 더 잘 이해하고 질병이 진행됨에 따라 잠재적으로 큰 피해를 입을 수 있는 뇌 영역에 대한 노력에 집중할 수 있도록 도와줄 수 있다.

(2) 생성기(G) 및 제1 판별기(F)를 가지는 2D cGAN 구조에 제2 판별기(H)를 추가함으로써, 생성기(G)는 3D 공간의 구조 정보를 고려하여 부드럽고 자연스러운 3D 영상에 부합하는 영상을 합성할 수 있다. 즉, 본 발명에 따른 모델은 3D 공간의 모든 방향에서 일관된 양질의 3D 이미지를 효율적으로 생성할 수 있다.

(3) 2D 영상의 적은 메모리 사용으로, 효율적인 3D 영상 생성이 가능하게 한다. 또한, 본 발명은 MR 뇌 영상에서 AD를 식별하기 위해 분류 정확도를 향상시키는 일관된 데이터 확대 방법이다. (4) 본 발명은 배경 사실(ground truth)이 없이 2D 영상 생성에 대한 GAN의 성능을 평가하도록 일반적으로 사용되는 다양한 측정을 사용한 실험 결과를 통해, 정확도 등에 대한 효과가 입증된다. 특히, GAN-train과 GAN-test 점수를 비교함으로써, 본 발명에 따른 모델에 의해 생성된 합성 영상이 실제 영상의 특징과 유사하다는 것이 증명된다.

본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.

100: 예측 장치 200: 조건부 생성 적대적 네트워크(cGAN)
G: 생성기 F: 제1 판별기
H: 제2 판별기

Claims

조건부 생성 적대적 네트워크(conditional generative adversarial network, cGAN)를 이용하며, 컴퓨팅 장치 또는 컴퓨팅 네트워크에서 수행되는 의료 영상의 예측을 위한 방법으로서,
인접한 다수의 2차원 의료 영상 및 조건을 입력 받아 해당 조건에 따른 다른 2차원 의료 영상들을 생성하여 출력하는 생성기와, 2차원 의료 영상 및 조건을 입력 받아 그 2차원 의료 영상에 대한 해당 조건의 일치 여부 및 실제 2차원 의료 영상 슬라이스의 부합 여부를 판별하는 제1 판별기와, 하나의 축 방향에서 인접한 2차원 의료 영상들을 입력 받아 그 2차원 의료 영상들에 대한 실제 3차원 영상 슬라이스의 부합 여부를 판별하는 제2 판별기를 적대 학습시키는 학습 단계; 및
학습된 생성기에 대상물인 인접한 다수의 2차원 의료 영상 및 조건을 입력하여 해당 조건에 대해 예측되는 3차원 의료 영상을 생성하는 예측 단계;
를 포함하는 방법.
제1항에 있어서,
상기 조건은 질병의 진행 정도에 관련된 질병 진행 단계들 중 어느 하나를 포함하는 방법.
제2항에 있어서,
상기 의료 영상은 뇌 측정 영상을 포함하며, 상기 질병은 알츠하이머병을 포함하는 방법.
제3항에 있어서,
상기 질병 진행 단계는 정상(Normal Condition; NC) 단계, 경도인지장애(Mild Cognitive Impairment; MCI) 단계 및 알츠하이머((Alzheimer's Disease; AD) 단계를 포함하는 방법.
제1항에 있어서,
상기 학습 단계에서, 제1 및 제2 판별기가 학습된 후에 생성자가 학습되는 과정이 반복 수행되는 방법.
조건부 생성 적대적 네트워크(conditional generative adversarial network, cGAN)를 이용하며, 컴퓨팅 장치 또는 컴퓨팅 네트워크에서 수행되는 의료 영상의 예측을 위한 장치로서,
상기 cGAN은,
인접한 다수의 2차원 의료 영상 및 조건을 입력 받아 해당 조건에 따른 다른 2차원 의료 영상들을 생성하여 출력하는 생성기;
2차원 의료 영상 및 조건을 입력 받아 그 2차원 의료 영상에 대한 해당 조건의 일치 여부 및 실제 2차원 의료 영상 슬라이스의 부합 여부를 판별하는 제1 판별기; 및
하나의 축 방향에서 인접한 2차원 의료 영상들을 입력 받아 그 2차원 의료 영상들에 대한 실제 3차원 영상 슬라이스의 부합 여부를 판별하는 제2 판별기;
를 포함하는 장치.
제6항에 있어서,
상기 cGAN은 생성기에 대해 제1 판별기 및 제2 판별기가 적대 학습되는 장치.
제7항에 있어서,
학습된 상기 생성기는 대상물인 인접한 다수의 2차원 의료 영상 및 조건이 입력되면 해당 조건에 대해 예측되는 3차원 의료 영상을 생성하는 장치.