KR20220128505A

KR20220128505A - 인공지능 기반 mri-ct 영상 변환 방법 및 이를 이용한 초음파 치료 장치

Info

Publication number: KR20220128505A
Application number: KR1020210031884A
Authority: KR
Inventors: 김형민; 윤경호; 박태영; 고희경
Original assignee: 한국과학기술연구원
Priority date: 2021-03-11
Filing date: 2021-03-11
Publication date: 2022-09-21
Also published as: US20220292737A1

Abstract

본 발명은 초음파 치료 장치에 적용하기 위해 인공지능 기계학습 모델을 이용하여 MRI 영상을 CT 영상으로 변환하는 방법에 관한 것이다. 상기 방법은, 기계학습을 위한 MRI 영상 및 CT 영상을 포함하는 학습 데이터를 획득하는 단계; 상기 학습 데이터에 대해 전처리를 수행하는 단계; 상기 학습 데이터를 이용하여, 상기 MRI 영상에 대응하는 CT 영상을 생성하고, 생성된 CT 영상을 학습 데이터에 포함된 원본 CT 영상과 비교하는 인공신경망 모델을 학습시키는 단계; CT 영상으로 변환하고자 하는 MRI 영상을 입력 받는 단계; 상기 입력된 MRI 영상을 복수의 패치들로 분할하는 단계; 학습된 인공신경망 모델을 이용하여, 상기 입력된 MRI 영상의 패치들에 대응하는 CT 영상의 패치들을 생성하는 단계; 및 상기 CT 영상의 패치들을 융합하여 출력 CT 영상을 생성하는 단계를 포함한다. 인공신경망 모델은 생성자와 판별자의 적대적 학습을 통해 합성 CT 영상과 원본 CT 영상 간의 오차를 최소화하도록 구성된다.

Description

인공지능 기반 MRI-CT 영상 변환 방법 및 이를 이용한 초음파 치료 장치{METHOD FOR CONVERTING MRI TO CT IMAGE BASED ON ARTIFICIAL INTELLIGENCE, AND ULTRASOUND TREATMENT DEVICE USING THE SAME}

본 발명은 인공지능 기계학습 모델을 이용하여 MRI 영상을 CT 영상으로 변환하는 방법 및 이를 활용한 초음파 치료 장치에 관한 것이다.

종래에는 환자의 통증을 완화시키거나 특정 신체 부위의 신경 세포를 자극하는 치료 방법을 수행하기 위해 환자의 신체에 전극을 삽입하는 등의 방법이 이용되었으나, 이와 같은 방식은 물리적인 침습 과정에서 신체가 손상될 우려가 있었다.

최근에는 물리적인 침습 과정 없이도 환부를 자극할 수 있는 초음파 자극 치료법이 널리 이용되고 있는데, 출력 초음파의 강도에 따라 고강도 집속초음파(High-intensity Focused Ultrasound; HIFU)와 저강도 집속초음파(Low-intensity Focused Ultrasound; LIFU)로 분류될 수 있다. 고강도 집속초음파는 암세포, 종양, 병변 등과 같은 생체조직을 열적, 기계적으로 제거하는 직접적인 치료에 이용되는 반면, 저강도 집속초음파는 뇌신경을 자극하여 알츠하이머, 우울증 등 뇌질환 치료에 이용되거나 근신경을 자극하여 활성화시키는 등 재활치료에 적극 활용되고 있다. 이러한 집속초음파 치료 기술은 침습 과정을 최소화하여 감염이나 후유증 등의 부작용을 줄일 수 있어 각광 받고 있다.

자기공명영상유도 집속초음파(MRgFUS; Magnetic Resonance guided Focused Ultrasound) 치료 기술은 집속초음파 치료 기술과 영상유도 기술을 결합한 것이다. 이와 같은 영상유도 수술(image-guided surgery)은 주로 뇌신경 수술이나 임플란트 수술과 같이 시술자가 직접 환자의 환부를 보기 어렵고, 환자 신체내의 주요 신경과 장기들을 회피하면서 수술을 진행하여야 하는 경우에 이용된다. 일반적으로 자기공명영상(Magnetic Resonance Imaging) 촬영장치를 통해 획득한 MRI 영상 또는 컴퓨터단층촬영(Computed Tomography) 장치를 통해 획득한 CT 영상으로 수술 부위를 관찰하면서 초음파 치료를 진행한다.

특히, 두개골을 투과해서 초음파 에너지를 전달해야 하는 경두개 MRgFUS 의 경우, MRI 뿐만 아니라 추가적인 CT 촬영이 필수적인데, CT 영상을 통해 초음파 에너지의 적절한 투과에 필요한 두개골 인자 및 초음파 관련 변수를 알아낼 수 있기 때문이다. 예컨대, CT 촬영을 통해 알아낸 두개골 인자 정보를 이용하여 음속, 밀도, 감쇠 계수 등 초음파 치료에 필수적인 음향 특성 정보를 획득할 수 있다.

그런데 추가적인 CT 촬영은 환자와 의료진의 시간적, 경제적인 부담을 증가시킬 뿐만 아니라 방사능 노출로 인한 세포 손상과 같은 부작용의 우려가 있다. 특히, 임산부나 노약자와 같은 환자의 경우 방사능 노출 부담으로 인해 CT 촬영을 동반한 MRgFUS 치료가 더욱 어렵다.

미국 특허출원공개공보 제2011-0235884호

이에 본 발명은 상기한 문제점을 해결하기 위해 착안된 것으로서, 학습 가능한 인공신경망 모델을 이용하여 MRI 영상으로부터 정교한 CT 영상을 생성하는 기술을 제공하는 것을 목적으로 한다.

본 발명의 또 다른 목적은, 인공지능 기반 CT 영상 생성 기술을 초음파 치료 기술과 접목하여 추가적인 CT 촬영 없이도 두개골 인자 정보 및 음향 특성 정보를 획득할 수 있고, 이를 기반으로 정밀 초음파 치료가 가능한 자기공명영상 유도 초음파 치료 장치를 제공하는 것이다.

본 발명의 일 실시예에 따른 인공지능 기반 MRI-CT 영상 변환 방법은, 프로세서에 의해 실행되며, 기계학습을 위한 MRI 영상 및 CT 영상을 포함하는 학습 데이터를 획득하는 단계; 상기 학습 데이터에 대해 전처리를 수행하는 단계; 상기 학습 데이터를 이용하여, 상기 MRI 영상에 대응하는 CT 영상을 생성하고, 생성된 CT 영상을 학습 데이터에 포함된 원본 CT 영상과 비교하는 인공신경망 모델을 학습시키는 단계; CT 영상으로 변환하고자 하는 MRI 영상을 입력 받는 단계; 상기 입력된 MRI 영상을 복수의 패치들로 분할하는 단계; 학습된 인공신경망 모델을 이용하여, 상기 입력된 MRI 영상의 패치들에 대응하는 CT 영상의 패치들을 생성하는 단계; 및 상기 CT 영상의 패치들을 융합하여 출력 CT 영상을 생성하는 단계를 포함한다.

일 실시예에 따르면, 상기 인공신경망 모델을 학습시키는 단계는, 생성자를 이용하여 상기 학습 데이터에 포함된 MRI 영상에 대응하는 CT 영상을 생성하는 제1 프로세스; 판별자를 이용하여 상기 생성된 CT 영상과 학습 데이터에 포함된 원본 CT 영상을 비교하여 오차 데이터를 획득하는 제2 프로세스; 및 상기 오차 데이터를 이용하여 상기 생성자를 학습시키는 제3 프로세스를 포함할 수 있다.

일 실시예에 따르면, 상기 인공신경망 모델은, 상기 제1 내지 제3 프로세스를 반복적으로 수행함으로써 원본 CT 영상과 생성된 CT 영상 간의 오차를 줄이도록 학습될 수 있다.

일 실시예에 따르면, 상기 생성자는, MRI 영상 데이터를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하기 위한 적어도 하나의 합성곱층; 및 상기 특징맵에 기초하여 상기 입력된 MRI 영상에 대응하는 CT 영상을 생성하기 위한 적어도 하나의 전치합성곱층을 포함할 수 있다.

일 실시예에 따르면, 상기 판별자는, 상기 생성자에 의해 생성된 CT 영상 데이터를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하기 위한 적어도 하나의 합성곱층을 포함할 수 있다.

일 실시예에 따르면, 상기 인공신경망 모델은 학습된 비선형 매핑을 통해 MRI 영상에 대응하는 CT 영상을 생성할 수 있다.

일 실시예에 따르면, 상기 학습 데이터에 대해 전처리를 수행하는 단계는, 상기 학습 데이터에 포함된 MRI 영상 및 CT 영상에서 관심영역에 마스크를 적용하여 학습에 불필요한 부분을 제거하는 단계를 포함할 수 있다.

일 실시예에 따른 인공지능 기반 MRI-CT 영상 변환 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.

본 발명의 일 실시예에 따른 자기공명영상 유도 초음파 치료 장치는, 촬영된 환자의 MRI 영상을 획득하기 위한 MRI 영상 획득부; 상기 MRI 영상에 기초하여 초음파 치료 대상 조직을 디스플레이에 표시하기 위한 표시부; 인공지능 기반 MRI-CT 영상 변환 방법을 이용하여, 상기 MRI 영상에 대응하는 CT 영상을 생성하기 위한 CT 영상 생성부; 상기 CT 영상에 기초하여 대상 조직의 초음파 치료와 관련된 인자 정보 및 변수 정보를 획득하기 위한 처리부; 및 상기 인자 정보 및 변수 정보에 기초하여 설정된 초음파를 대상 조직에 출력하기 위한 초음파 출력부를 포함한다.

일 실시예에 따르면, 상기 초음파 출력부는, 대상 조직을 열적 또는 기계적으로 제거할 수 있는 고강도 집속초음파, 또는 대상 조직을 손상시키지 않고 자극하기 위한 저강도 집속초음파를 출력하도록 구성될 수 있다.

본 발명의 또 다른 실시예에 따른 인공지능 기반 MRI-CT 영상 변환 방법은, 프로세서에 의해 실행되며, CT 영상으로 변환하고자 하는 MRI 영상을 입력 받는 단계; 상기 입력된 MRI 영상을 복수의 패치들로 분할하는 단계; 입력된 임의의 MRI 영상에 대응하는 CT 영상을 생성하도록 학습된 인공신경망 모델을 이용하여, 상기 입력된 MRI 영상의 패치들에 대응하는 CT 영상의 패치들을 생성하는 단계; 및 상기 CT 영상의 패치들을 융합하여 출력 CT 영상을 생성하는 단계를 포함한다.

일 실시예에 따르면, 상기 인공신경망 모델은, 입력된 학습 데이터에 포함된 MRI 영상에 대응하는 CT 영상을 생성하고, 생성된 상기 CT 영상을 상기 학습 데이터에 포함된 원본 CT 영상과 비교하여 학습될 수 있다.

본 발명의 일 실시예에 따르면, 인공신경망 모델을 이용하여 입력 MRI 영상과 대응되는 CT 영상을 생성할 수 있다. 일 실시예에 따르면, 인공신경망 모델은 CT 영상을 합성하는 생성자와 합성된 CT 영상을 원본 CT 영상과 비교 분석하는 판별자의 상호 경쟁을 통해 오차를 최소화하도록 학습될 수 있다.

실시예에 따르면, 합성된 CT 영상에 기초하여 초음파 음향 특성 정보를 획득할 수 있고, 이러한 정보는 정밀 초음파 치료에 활용될 수 있다. 따라서 추가적인 CT 촬영에 따른 환자의 방사능 노출 부담과 시간적, 경제적 부담을 줄일 수 있고, 의료진의 수술 프로세스 또한 간소화할 수 있다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 도면의 일부 구성요소들에 대한 표현이 과장되거나 생략될 수 있다.
도 1은 일 실시예에 따른 인공지능 기반 MRI-CT 영상 변환 방법을 설명하기 위한 순서도이다.
도 2는 일 실시예에 따라 학습용 데이터에 포함된 MRI 영상 및 CT 영상에 대해 전처리를 수행하는 과정을 나타낸 것이다.
도 3은 일 실시예에 따라 MRI 영상으로부터 CT 영상을 합성하는 인공신경망 모델을 학습하는 과정을 나타낸 것이다.
도 4는 일 실시예에 따라 입력된 MRI 영상과 대응되는 CT 영상을 합성하는 과정을 나타낸 것이다.
도 5는 일 실시예에 따라 생성된 CT 영상과 실제 CT 영상의 품질을 비교한 것이다.
도 6은 일 실시예에 따라 생성된 CT 영상과 실제 CT 영상에 따른 두개골 특성을 비교한 것이다.
도 7은 일 실시예에 따라 생성된 CT 영상과 실제 CT 영상에 따른 음향 시뮬레이션 결과 및 오차를 나타낸 것이다.
도 8는 일 실시예에 따라 생성된 CT 영상을 활용하는 자기공명영상 유도 초음파 치료 장치의 구조를 나타낸 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명한다.

인공지능 기반 MRI-CT 영상 변환 방법

도 1은 일 실시예에 따른 인공지능 기반 MRI-CT 영상 변환 방법의 각 단계를 나타낸다.

도 1을 참조하면, 먼저 기계학습을 위한 MRI 영상 및 CT 영상을 포함하는 학습 데이터를 획득하는 단계가 수행된다(S100). 기계학습(Machine Learning)은 컴퓨터가 사물이나 데이터를 군집화하거나 분류하는데 사용되는 기술로서 서포트벡터머신(SVM), 인공신경망(Neural Networks) 등이 대표적이다. 본 명세서에서는 인공신경망 모델을 이용하여 입력 영상(MRI 영상)으로부터 특징을 추출하고 이에 대응하는 새로운 영상(CT 영상)을 합성하는 기술에 대해 설명한다.

이어서, 획득한 학습 데이터에 대해 전처리를 수행한다(S200). 도 2는 학습용 데이터에 포함된 MRI 영상 및 CT 영상에 대해 전처리를 수행하는 과정을 나타낸 것이다. 전처리 과정에는 각 이미지의 관심영역과 백그라운드를 구분하고 학습에 불필요한 백그라운드를 제거하는 프로세스가 포함된다. 도 2의 우측에 도시된 것처럼 미가공 데이터에 마스크를 적용하여 뇌 부위와 백그라운드 이미지를 분리한다. 또한, MRI 및 CT 영상의 intensity를 -1과 1 사이로 조정하는 프로세스가 수행될 수 있다. 이러한 데이터의 전처리 과정을 통해 학습 효율을 향상시킬 수 있다.

이어서, 학습 데이터를 이용하여 인공신경망 모델을 학습시키는 단계가 수행된다(S300). 인공신경망 모델은 입력 영상으로부터 특징을 추출하고 학습된 비선형 매핑을 통해 입력 MRI 영상에 대응하는 CT 영상을 생성하며, 생성된 CT 영상을 원본 CT 영상과 비교하여 오차 데이터를 이용해 원본에 가까운 영상을 생성하도록 학습된다.

구체적인 실시예에 따르면, 인공신경망 모델의 학습 프로세스는, 생성자를 이용하여 상기 학습 데이터에 포함된 MRI 영상에 대응하는 CT 영상을 생성하는 제1 프로세스, 판별자를 이용하여 상기 생성된 CT 영상과 학습 데이터에 포함된 원본 CT 영상을 비교하여 오차 데이터를 획득하는 제2 프로세스, 오차 데이터를 이용하여 생성자를 학습시키는 제3 프로세스를 포함한다.

도 3은 일 실시예에 따라 MRI 영상으로부터 CT 영상을 합성하는 인공신경망 모델을 학습하는 과정을 나타낸다.

먼저, 학습 데이터에 포함된 MRI 영상과 원본 CT 영상(즉, 컴퓨터단층촬영 장치를 이용하여 실제로 촬영된 영상)을 복수의 3차원 패치들로 분할한다. 영상을 분할하지 않고 원본 그대로 사용하면 그래픽 처리 장치의 메모리 한계로 인해 효율이 감소하기 때문에, 분할된 패치를 이용해 학습 및 영상 생성 과정을 거치고 마지막에 패치들을 순서에 맞게 융합하여 온전한 영상을 생성하는 방식으로 처리 속도 및 효율을 향상시킬 수 있다.

제1 프로세스에서는, 생성자를 이용하여 학습 데이터에 포함된 MRI 영상 패치에 대응하는 합성 CT 영상 패치를 생성한다. 생성자(generator)는 적어도 하나의 합성곱층과 적어도 하나의 전치합성곱층을 포함하는 복수의 레이어로 구성될 수 있다.

일 실시예에 따르면, 생성자를 구성하는 합성곱층은 MRI 영상 데이터를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력한다. 구체적으로, 필터를 일정 간격(stride)으로 움직이면서 입력 데이터에 곱하여 이미지 영역의 특징을 강조하는 특징 맵(feature map)을 출력한다. 합성곱층을 통과할수록 이미지의 너비, 높이, 깊이는 점점 줄어들면서 채널의 수가 많아진다. 필터의 값들은 가중치 파라미터들로 구성되며, 필터의 값들은 초기에 랜덤하게 설정되었다가 학습 단계에서 오차 역전파(출력층의 결과의 오차를 입력층 방향으로 전달하여 가중치 파라미터를 업데이트 하는 것)를 통해 최적화되도록 업데이트 된다.

전치합성곱층은 상기 합성곱층에 의해 추출된 특징맵을 목표하는 출력 이미지로 합성하고 사이즈를 복원(upsampling)하는 과정을 학습하는 층이다. 필터를 일정 간격으로 움직이면서 입력 데이터에 곱하여 특징맵을 출력하며, 합성곱층과 달리 입출력 크기를 전치한다. 다시 말해, 전치합성곱층을 통과할수록 이미지의 너비, 높이, 깊이는 점점 증가하고 채널의 수가 줄어든다. 합성곱층의 역기능을 수행하며 추출된 특징에 기초하여 새로운 이미지를 생성한다.

일 실시예에 따르면, 생성자의 합성곱층 또는 전치합성곱층은 특징맵의 데이터 분포를 정규화하기 위한 인스턴스정규화 및 각 출력값의 범위를 결정하기 위한 활성화 함수와 함께 사용될 수 있다. 인스턴스정규화는 학습 과정에서 합성곱 또는 전치합성곱의 필터 값(가중치)들이 학습 데이터에만 최적화되고 테스트 데이터에 적합하지 않게 되는 과적합(overfitting) 문제를 완화시키고 학습 과정을 안정화시키는 역할을 한다. 특징 맵의 데이터의 분포를 안정화시키기 위해 평균과 표준편차를 통해 특징 맵들을 정규화한다(모델이 전달되는 하나의 인자만큼씩). 학습을 마친 후 실제로 입력된 테스트 데이터 또한 학습 과정 동안 저장된 평균과 표준편차로 동일하게 정규화되기 때문에 학습 데이터와 분포가 다른 데이터에 대해서도 보다 안정적으로 출력 영상을 생성한다.

활성화 함수는 합성곱층 또는 전치합성곱층과 결합하여 각 층으로부터 다른 층으로 전달될 출력값의 범위를 결정하고 어떤 값을 전달할 것인지 임계치를 설정한다. 또한 딥러닝 모델에 비선형성(nonlinearity)를 추가하며 비선형성의 추가에 따라 딥러닝 모델의 층이 깊어지면서 오차의 미분 값이 0에 가까워지며 가중치 파라미터들이 업데이트되지 않는 Gradient vanishing 효과를 완화할 수 있다. 활성화 함수는, 예컨대 입력된 데이터가 0보다 작거나 같으면 0값, 크면 그대로의 값을 가지도록 하는 ReLu 활성화 함수, ReLu 활성화 함수와 비슷한 역할을 하나 입력되는 값이 0보다 작아도 완전히 0이 되지 않도록 0.1값을 곱해 0보다 크면 값을 유지하는 LeakyReLu 활성화 함수, 입력 데이터가 -1과 1 사이의 값을 가지도록 하는 Tanh 활성화 함수, 입력 데이터가 0과 1 사이의 값을 가지도록 하는 Sigmoid 활성화 함수 등이 사용될 수 있다.

제2 프로세스에서는 판별자를 이용하여 상기 생성된 CT 영상과 학습 데이터에 포함된 원본 CT 영상을 비교하여 오차 데이터를 획득한다. 판별자(discriminator)는 연속적인 합성곱층들을 포함할 수 있는데, 각 합성곱층은 생성자에서와는 달리, 생성된 CT 영상 데이터를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하도록 구성된다. 생성자와 마찬가지로, 각 합성곱층은 특징맵의 데이터 분포를 정규화하기 위한 인스턴스정규화 및 각 출력값의 범위를 결정하기 위한 활성화 함수와 함께 사용될 수 있다.

일 실시예에 따르면, 생성자는 적어도 하나의 잔여블록층(residual block layer)을 포함할 수 있는데, 모델의 층이 깊어질수록 최적화되기 힘들어지므로 모델의 학습 난이도를 낮추는 역할을 한다. 잔여블록층은 이미지의 너비와 높이가 작아지되 채널 방향으로 넓어지게 하는 합성곱층(Encoder)과 이미지의 너비와 높이 및 채널이 원본과 동일하게 복원하는 전치합성곱층(Decoder) 사이에서 반복된다. 하나의 잔여블록은 합성곱-인스턴스정규화-ReLu활성화-합성곱-인스턴스정규화 단계로 구성되며, 여기서 합성곱은 필터와 간격(stride) 값의 조정을 통해 입력 이미지와 동일한 너비, 높이, 깊이 및 채널의 크기를 갖는 이미지를 출력한다. 즉 입력 데이터의 특징을 추출하거나 복원하는 것이 아닌 데이터의 정보 손실을 최소화하여 다음 층에 전달하는 것을 모적으로 한다. 예컨대, 잔여블록은 입력 x 값을 잔여블록의 출력에 더해주는 형태를 갖는데, 이는 입력 데이터 x에 대한 출력 H(x)가 아닌 입력 x와 출력 H(x)의 차인 F(x)를 학습하도록 유도한다. 이에 따라 앞서 학습된 입력 데이터 x는 그대로 출력으로 가져와 더해줌으로써 잔여 정보인 F(x)만 학습할 수 있는 형태가 되어 모델의 학습 과정을 간소화할 수 있다.

제3 프로세스에서는 합성 CT 영상과 원본 CT 영상 간의 오차 데이터를 이용하여 생성자를 학습시킨다. 즉, MRI 영상을 통해 합성한 CT 영상과 실제 CT 장치를 통해 촬영한 원본 CT 영상을 비교하고, 비교 결과를 생성자에 다시 입력하여 다음에는 원본 CT 영상과 더 유사한 결과물을 출력하도록 생성자의 성능을 향상시킬 수 있다. 실시예에 따른 인공신경망 모델은 다양한 학습 데이터를 통해 상기 제1 내지 제3 프로세스를 반복함으로써 원본 CT 영상과 생성된 CT 영상 간의 오차를 줄이도록 학습될 수 있다.

이처럼 생성자는 비선형 매핑을 통해 영상을 생성하고, 판별자는 생성된 영상과 원본 영상을 구분하는 적대적 생성 신경망(GAN) 모델을 통해 학습을 거듭할수록 보다 정교한 영상(즉, 원본에 가까운 영상)을 생성할 수 있다.

다시 도 1을 참조하면, 인공신경망 모델의 학습을 마친 후 CT 영상으로 변환하고자 하는 MRI 영상 데이터를 입력 받는 단계(S400) 및 입력된 MRI 영상을 복수의 패치들로 분할하는 단계(S500)가 수행된다. 입력 MRI 영상은 실제로 수술하고자 하는 환자의 뇌 또는 신체부위를 MRI 장치를 통해 촬영한 영상이다. 전술한 바와 같이 MRI 영상을 복수의 3차원 패치들로 분할하고, 각 패치에 대해 대응되는 CT 영상 패치를 생성하는 방식을 통해 GPU 메모리 한계를 극복하는 것이 가능하다.

이어서, 학습된 인공신경망 모델을 이용하여 상기 입력된 MRI 영상의 패치들에 대응하는 CT 영상의 패치들을 생성하는 단계가 수행된다(S600). 전술한 바와 같이, 생성자는 비선형 매핑을 통해 MRI 영상 패치 각각에 대응하는 CT 영상 패치를 생성하고, 패치를 순서대로 융합하여 CT 영상을 만들어낸다. 도 4에는 입력 MRI 영상으로부터 합성 CT 영상을 생성하는 과정이 도시되어 있다.

도 5는 일 실시예에 따라 생성된 CT 영상과 실제 CT 영상의 품질을 비교한 사진과 그래프를 나타낸 것이다. (a)는 뇌 부위를 촬영한 MRI 영상을 나타내며 (b)는 뇌 부위를 촬영한 실제 CT 영상을 나타내며 (c)는 상기 인공신경망 모델을 이용해 생성한 합성 CT 영상을 나타낸다. (d)는 실시예에 따라 생성된 합성 CT 영상(sCT) 및 실제 CT 영상(rCT)의 오차를 나타내며 (e)는 각 영상의 Voxel (3D 공간의 한 점을 정의한 일단의 그래픽 정보)에 따른 Intensity를 나타낸 그래프이다. 도 5의 (d) 및 (e)에서 알 수 있듯이 합성 CT 영상과 실제 CT 영상의 단면이 거의 일치하며 Intensity 또한 유사하게 측정된다.

도 6은 일 실시예에 따라 생성된 CT 영상(sCT)과 실제 CT 영상(rCT)에 따른 두개골 특성을 특정 뇌영역을 대상으로 구하여 비교한 결과를 나타낸 것이다. 도시된 것처럼, 모든 영역에서 두개골 밀도(Skull density ratio)는 피어슨 계수(p < 0.001)가 0.92, 두개골 두께(Skull thickness)는 0.96으로 유사도가 높은 것을 확인할 수 있다. 이는 음향 특성과 더불어 시뮬레이션 결과를 실제 CT와 비슷하게 유도할 수 있음을 의미한다.

도 7은 일 실시예에 따라 생성된 CT 영상(sCT)과 실제 CT 영상(rCT)에 따른 음향 시뮬레이션 결과(Diff)를 2차원과 3차원으로 나타낸 것이다. 도시된 것처럼 대상 지점(dACC))에 대한 음향 압력차가 거의 일치함을 알 수 있고, 초점 위치에 초음파가 집속되는 영역 또한 거의 중첩됨을 알 수 있다. 아래의 표는 실제 CT 영상과 합성 CT 영상을 적용하여 최대 음압 및 초점 위치 오차율을 계산한 것이다. 피질하영역(M1; primary motor cortex, V1; primary motor cortex, dACC; dorsal anterior cingulate cortex)을 대상으로 하여 10명에 대해 시뮬레이션을 수행하였다.

대상 지점	최대 음압 (%)	초점 다이스 계수 (%)	초점 위치 거리 (mm)
M1	3.72±2.68	0.81±0.08	1.09±0.59
V1	2.11±1.65	0.89±0.06	0.76±0.48
dACC	4.87±3.28	0.84±0.07	0.95±0.63
평균	3.57±2.86	0.85±0.07	0.93±0.59

상기 표에 나타난 바와 같이, 모든 대상에 대해 최대 음압이 평균 4% 이하의 오차율을 나타냈다. 이는 실제 CT 영상이 아닌 합성된 CT 영상을 초음파 치료에 적용하기에 충분하다는 것을 의미한다.

실시예에 따른 인공지능 기반 MRI-CT 영상 변환 방법은, 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상의 실시예들에 따르면, 인공신경망 모델을 이용하여 입력 MRI 영상과 대응되는 CT 영상을 생성할 수 있다. 인공신경망 모델은 생성자와 판별자의 경쟁적 학습을 통해 성능을 향상시킬 수 있으며, 10% 이내의 오차율을 갖는 정교한 CT 영상을 생성하는 것이 가능하다.

자기공명영상 유도 집속초음파 치료 장치(MRgFUS)

도 8은 전술한 방법에 의해 생성된 CT 영상을 활용하는 일 실시예에 따른 자기공명영상 유도 초음파 치료 장치의 구조를 나타낸 것이다.

도 8을 참조하면, 초음파 치료 장치(10)는, 촬영된 환자의 MRI 영상을 획득하기 위한 MRI 영상 획득부(100), 상기 MRI 영상에 기초하여 초음파 치료 대상 조직을 디스플레이에 표시하기 위한 표시부(110), 인공지능 기반 MRI-CT 영상 변환 방법을 이용하여 상기 MRI 영상에 대응하는 CT 영상을 생성하기 위한 CT 영상 생성부(120), 상기 CT 영상에 기초하여 대상 조직의 초음파 치료와 관련된 인자 정보 및 변수 정보를 획득하기 위한 처리부(130), 및 상기 인자 정보 및 변수 정보에 기초하여 설정된 초음파를 대상 조직에 출력하기 위한 초음파 출력부(140)를 포함한다.

MRI 영상 획득부(100)는 촬영된 MRI 영상을 입력 받아 전처리를 수행한다. 전처리 과정에는 마스크를 통한 영상 내 관심영역과 백그라운드의 구분 및 백그라운드의 제거가 포함될 수 있다.

표시부(110)는 MRI 영상을 디스플레이에 표시하여 시술자가 대상 조직을 관찰하면서 초음파 치료를 행할 수 있도록 한다.

CT 영상 생성부(120)는 인공지능 기반 MRI-CT 영상 변환 방법을 이용하여 입력 MRI 영상으로부터 대응되는 CT 영상을 생성한다. 전술하였듯이 인공신경망 모델은 생성자와 판별자의 경쟁적 학습을 통해 합성 CT 영상의 정밀도를 향상시킨다(즉, 실제 CT 영상과의 오차를 최소화하도록 학습된다).

처리부(130)는 생성된 CT 영상에 기초하여 초음파 치료에 필요한 두개골 인자 정보나 음향 특성 등의 정보를 획득한다. 집속초음파의 진행 방향, 초점 위치, 초점에서의 압력 등은 초음파가 투과하는 두개골의 두께, 위치, 형태 등에 따라 달라질 수 있기에 정밀한 치료를 위해서는 CT 영상을 통해 이러한 정보를 사전에 획득할 필요가 있다.

마지막으로, 초음파 출력부(140)는 생성된 CT 영상으로 알아낸 정보(두개골 인자 정보, 초음파 변수, 음향 특성 정보 등)에 따라 설정된 초음파를 출력한다. 초음파 출력부(140)는 교류 에너지를 기계적 진동으로 변환하는 하나 또는 일련의 초음파 트랜스듀서(transducer)를 포함하며, 음향압력, 파형, 주파수 등 설정된 값에 따라 초음파를 발생 출력시킨다. 출력된 초음파는 중첩을 일으켜 초음파 빔을 형성하고, 목표 초점 위치에 집속하여 대상 조직을 제거하거나 자극한다. 일 실시예에 따르면, 초음파 출력부는(140)는 대상 조직을 열적 또는 기계적으로 제거할 수 있는 고강도 집속초음파 또는 대상 조직을 손상시키지 않고 자극하기 위한 저강도 집속초음파를 출력하도록 구성된다.

이상에서 설명한 초음파 치료 장치의 구성에 의하면, 추가적인 CT 촬영 없이도 합성된 CT 영상으로부터 획득한 음향 특성 정보를 이용해 정밀 초음파 치료가 가능하다. 따라서 추가적인 CT 촬영에 따른 환자의 방사능 노출 부담과 시간적, 경제적 부담을 줄일 수 있고, 의료진의 수술 프로세스 또한 간소화할 수 있다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

프로세서에 의해 실행되는 인공지능 기반 MRI-CT 영상 변환 방법으로서,
기계학습을 위한 MRI 영상 및 CT 영상을 포함하는 학습 데이터를 획득하는 단계;
상기 학습 데이터에 대해 전처리를 수행하는 단계;
상기 학습 데이터를 이용하여, 상기 MRI 영상에 대응하는 CT 영상을 생성하고, 생성된 CT 영상을 학습 데이터에 포함된 원본 CT 영상과 비교하는 인공신경망 모델을 학습시키는 단계;
CT 영상으로 변환하고자 하는 MRI 영상을 입력 받는 단계;
상기 입력된 MRI 영상을 복수의 패치들로 분할하는 단계;
학습된 인공신경망 모델을 이용하여, 상기 입력된 MRI 영상의 패치들에 대응하는 CT 영상의 패치들을 생성하는 단계; 및
상기 CT 영상의 패치들을 융합하여 출력 CT 영상을 생성하는 단계를 포함하는, 인공지능 기반 MRI-CT 영상 변환 방법.
제1항에 있어서,
상기 인공신경망 모델을 학습시키는 단계는,
생성자를 이용하여 상기 학습 데이터에 포함된 MRI 영상에 대응하는 CT 영상을 생성하는 제1 프로세스;
판별자를 이용하여 상기 생성된 CT 영상과 학습 데이터에 포함된 원본 CT 영상을 비교하여 오차 데이터를 획득하는 제2 프로세스; 및
상기 오차 데이터를 이용하여 상기 생성자를 학습시키는 제3 프로세스를 포함하는 것을 특징으로 하는, 인공지능 기반 MRI-CT 영상 변환 방법.
제2항에 있어서,
상기 인공신경망 모델은, 상기 제1 내지 제3 프로세스를 반복적으로 수행함으로써 원본 CT 영상과 생성된 CT 영상 간의 오차를 줄이도록 학습되는 것을 특징으로 하는, 인공지능 기반 MRI-CT 영상 변환 방법.
제2항에 있어서,
상기 생성자는,
MRI 영상 데이터를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하기 위한 적어도 하나의 합성곱층; 및
상기 특징맵에 기초하여 상기 입력된 MRI 영상에 대응하는 CT 영상을 생성하기 위한 적어도 하나의 전치합성곱층을 포함하는 것을 특징으로 하는, 인공지능 기반 MRI-CT 영상 변환 방법.
제2항에 있어서,
상기 판별자는,
상기 생성자에 의해 생성된 CT 영상 데이터를 입력 받아 관심영역의 특징을 강조하는 특징맵을 출력하기 위한 적어도 하나의 합성곱층을 포함하는 것을 특징으로 하는, 인공지능 기반 MRI-CT 영상 변환 방법.
제1항에 있어서,
상기 인공신경망 모델은 학습된 비선형 매핑을 통해 MRI 영상에 대응하는 CT 영상을 생성하는 것을 특징으로 하는, 인공지능 기반 MRI-CT 영상 변환 방법.
제1항에 있어서,
상기 학습 데이터에 대해 전처리를 수행하는 단계는, 상기 학습 데이터에 포함된 MRI 영상 및 CT 영상에서 관심영역에 마스크를 적용하여 학습에 불필요한 부분을 제거하는 단계를 포함하는 것을 특징으로 하는, 인공지능 기반 MRI-CT 영상 변환 방법.
제1항 내지 제7항 중 어느 한 항에 따른 인공지능 기반 MRI-CT 영상 변환 방법을 실행하기 위한, 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
촬영된 환자의 MRI 영상을 획득하기 위한 MRI 영상 획득부;
상기 MRI 영상에 기초하여 초음파 치료 대상 조직을 디스플레이에 표시하기 위한 표시부;
제1항 내지 제7항 중 어느 한 항에 따른 인공지능 기반 MRI-CT 영상 변환 방법을 이용하여, 상기 MRI 영상에 대응하는 CT 영상을 생성하기 위한 CT 영상 생성부;
상기 CT 영상에 기초하여 대상 조직의 초음파 치료와 관련된 인자 정보 및 변수 정보를 획득하기 위한 처리부; 및
상기 인자 정보 및 변수 정보에 기초하여 설정된 초음파를 대상 조직에 출력하기 위한 초음파 출력부를 포함하는, 자기공명영상 유도 초음파 치료 장치.
제9항에 있어서,
상기 초음파 출력부는, 대상 조직을 열적 또는 기계적으로 제거할 수 있는 고강도 집속초음파, 또는 대상 조직을 손상시키지 않고 자극하기 위한 저강도 집속초음파를 출력하도록 구성되는 것을 특징으로 하는, 자기공명영상 유도 초음파 치료 장치.
프로세서에 의해 실행되는 인공지능 기반 MRI-CT 영상 변환 방법으로서,
CT 영상으로 변환하고자 하는 MRI 영상을 입력 받는 단계;
상기 입력된 MRI 영상을 복수의 패치들로 분할하는 단계;
입력된 임의의 MRI 영상에 대응하는 CT 영상을 생성하도록 학습된 인공신경망 모델을 이용하여, 상기 입력된 MRI 영상의 패치들에 대응하는 CT 영상의 패치들을 생성하는 단계; 및
상기 CT 영상의 패치들을 융합하여 출력 CT 영상을 생성하는 단계를 포함하는, 인공지능 기반 MRI-CT 영상 변환 방법.
제11항에 있어서,
상기 인공신경망 모델은, 입력된 학습 데이터에 포함된 MRI 영상에 대응하는 CT 영상을 생성하고, 생성된 상기 CT 영상을 상기 학습 데이터에 포함된 원본 CT 영상과 비교하여 학습되는 것을 특징으로 하는, 인공지능 기반 MRI-CT 영상 변환 방법.
촬영된 환자의 MRI 영상을 획득하기 위한 MRI 영상 획득부;
상기 MRI 영상에 기초하여 초음파 치료 대상 조직을 디스플레이에 표시하기 위한 표시부;
제11항 또는 제12항에 따른 인공지능 기반 MRI-CT 영상 변환 방법을 이용하여, 상기 MRI 영상에 대응하는 CT 영상을 생성하기 위한 CT 영상 생성부;
상기 CT 영상에 기초하여 대상 조직의 초음파 치료와 관련된 인자 정보 및 변수 정보를 획득하기 위한 처리부; 및
상기 인자 정보 및 변수 정보에 기초하여 설정된 초음파를 대상 조직에 출력하기 위한 초음파 출력부를 포함하는, 자기공명영상 유도 초음파 치료 장치.