KR102504022B1

KR102504022B1 - 뇌 mri 영상으로부터 생성된 ct 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치

Info

Publication number: KR102504022B1
Application number: KR1020220030931A
Authority: KR
Inventors: 장원석; 김휘영; 박소희; 최동민
Original assignee: 연세대학교 산학협력단
Priority date: 2019-10-16
Filing date: 2022-03-11
Publication date: 2023-03-02
Also published as: KR102375277B1; KR20210045577A; KR20220040437A

Abstract

인공지능 기반 비침습 치료 계획 방법이 제공된다. 본 발명의 일 면에 따른 인공지능 기반 뇌 MRI 영상에서 생성된 CT 영상을 이용한 비침습 치료 계획 방법은, 환자의 뇌 MRI 영상을 획득하는 단계; 인공지능 알고리즘을 기반으로 미리 기계학습하여 생성한 학습 모델을 이용하여 상기 뇌 MRI 영상에 대응하는 합성 CT 영상을 생성하는 단계; 상기 합성 CT 영상에서 골조직 정보를 추출하는 단계; 상기 MRI 영상에서 추출한 병변 정보와 상기 골조직 정보에 기반하여 외부 에너지원 제공을 통한 비침습 치료 계획을 설정하는 단계;를 포함한다.

Description

뇌 MRI 영상으로부터 생성된 CT 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치{DEVICE FOR PLANNING A NON-INVASEVE TREATMENT BASED ON ARTIFICIAL INTELLIGENCE USING CT IMAGE GENERATED FROM BRAIN MRI IMAGE}

본 발명은 인공 지능 기반 뇌 MRI영상에서 생성된 CT 영상을 이용한 비침습 치료 계획 방법에 관한 것으로, 보다 자세하게는 CT 영상 촬영 없이 MRI 영상 촬영만으로 비침습 치료 계획을 수립하는 방법에 관한 것이다.

뇌질환 치료는 침습 치료를 적용할 경우 두개골을 열어야 하므로 치료 위험성이 올라간다. 따라서, 외부에너지원(예: 방사선, 초음파)을 이용하는 비침습 치료가 부각되고 있다. 그러나, 신경계 질환을 치료하는 측면에서, 비침습 치료 계획을 설정하는 과정에서 오차가 커서 병변이 위치한 부위보다 넓은 범위에 외부에너지원에 의한 선량이 주어지면 뇌조직 손상이 생길 수 있고, 병변 부위보다 좁은 범위에 외부에너지원이 제공되면 제대로 치료가 이루어지지 않는 문제점이 있었다.

한편, 뇌질환의 치료에 있어 주요 뇌 부위의 손상을 최소화 하며 치료 효과를 극대화하기 위한 치료법으로 감마나이프 방사선 수술의 임상 적용이 점차 확대되고 있다. 현재 감마나이프 방사선 수술의 적응 질환은 악성 및 양성 뇌종양 등 종양성 질환에서부터 파킨슨씨병과 같은 기능성 뇌질환, 안과 질환 및 뇌혈관 질환 등 다양한 질환의 치료에 이용되고 있으며, 각 질환에 대한 감마나이프 방사선 수술의 적용 또한 지속적으로 증가하고 있다. 이러한 감마나이프 방사선 수술은 프레임 고정-뇌영상 획득-치료계획 수립-치료 시행 4단계로 이루어져 있으며, 치료 계획은 머리에 프레임을 고정한 상태에서 획득한 뇌 MRI(자기공명) 영상 자료를 기반으로 1mm 오차 한도 가정 하에 이루어지게 된다. 특히, 방사선 치료계획의 선량분포를 계산함에 있어서 개인별 골조직(예: 두개골)의 두께와 위치 등이 중요한 고려요소이다.

구체적으로, 감마나이프 방사선 수술의 치료계획 수립-치료 시행의 과정 중, 두개골 내 방사선 조사 시 선량 분포는 tissue maximum ratio (TMR) 10 이라는 지표(index)를 이용한 알고리즘에 의해 계산되는데, 이 알고리즘은 방서선 조사 시 에너지 흡수에 가장 큰 영향을 미치는 개개인의 두개골의 차이를 반영하지 않은 알고리즘이라는 한계점이 있었다. 즉, TMR 10 알고리즘은 환자의 머리가 모두 물과 같은 밀도로 동일하게 이루어져 있다는 가정을 전제하나, 실제 뼈의 감쇄상수가 물보다 높기 때문에 방사선이 두개 내로 들어가면서 두개골에서 감쇄된다는 점에서 이를 반영하지 않은 TMR 10 알고리즘은 실제로 방사선량이 부정확한 위치에 부정확하게 들어갈 가능성이 존재한다는 문제점이 있었다. 뇌는 신체의 모든 기능을 총체적으로 담당하는 중요 구조물로써 뇌의 각 부분이 담당하는 기능이 달라 모든 부분이 중요하나, 정확하지 않은 방사선 수술로 방사선이 정상조직에 조사되게 되면 환자에게 신경학적 장애를 유발하거나 생명에 지장을 줄 수 있는 방사선 유발 조직 독성이 나타날 수 있고 방사선량이 일정 수준 이상 들어가야 하는 종양 조직에 정확하지 않은 선량이 들어가게 되면 종양이 재발할 수 있으므로 상기 문제점은 환자 치료에 있어 치명적인 결과를 초래할 수 있다.

최근, CT 영상을 이용하여 개개인의 두개골의 차이를 반영하여 선량을 계산하는 GammaPlanㄾ Convolution이 개발되어 있으나, 1) MRI 기반으로 치료 계획을 수립하는 감마나이프 방사선 수술의 특성 상 추가적인 뇌 CT 촬영이 필요함에 따른 방사선 피폭 증가, 2) 프레임 고정 후 시행하는 뇌 정위적 위치 계산의 기본 영상을 뇌 CT 영상으로 정한 뒤 기존 뇌 MRI 영상을 정합하여 치료 계획을 수립할 경우 영상 간의 정합 오차로 인한 치료 오차가 발생한다는 문제점이 있었다. 즉, CT 영상과 MRI 영상에서 특징점이 추출되고, 추출된 특징점의 매칭을 통해 CT 영상과 MRI 영상 간에 영상 정합이 수행된다. 그러나, CT 영상과 MRI 영상은 해상도, 화질, 시야, 부위별 대조도 등에서 큰 차이를 가지며, 이러한 차이로 인해 서로 다른 영상 간의 영상 정합이 어려우므로 치료 오차가 발생할 가능성이 높은 문제점이 있다.

한편, 최근에는 기계 학습 알고리즘들 중 딥 러닝(deep learning)이라는 기술이 다양한 분야에서 각광받고 있다. 특히, 객체 인식(object recognition) 분야에서는 딥 러닝의 일종인 CNN(convolutional neural network)이라는 기술이 각광받고 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다. CNN은 일반적으로 컨볼루션(convolution) 연산을 통해 영상의 특징을 추출하기 위한 다양한 필터와 비선형적인 특성을 더하기 위한 풀링(pooling) 또는 비선형 활성화(non-linear activation) 함수(예: sigmoid, ReLU(rectified linear unit) 등) 등을 사용할 수 있다.

이러한, 딥 러닝에 대한 관심의 증가와 함께, 다양한 의료 기기(예: 초음파, CT(computed tomography), MRI(magnetic resonance imaging) 등) 분야에서도 딥 러닝에 대한 관심이 증가하고 있다.

(특허문헌 0001) KR 10-2016-0050326

본 발명이 해결하고자 하는 과제는 비침습 치료를 적용함에 있어서 환자에게 추가적인 외부에너지원 조사를 방지하고 영상간 정합 오차에 따른 치료 오류를 방지할 수 있는 인공지능 기반 뇌 MRI 영상에서 생성된 CT 영상을 이용한 비침습 치료 계획 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 인공지능 기반 뇌 MRI(magnetic resonance imaging, 자기공명영상) 영상에서 생성된 CT(computed tomography, 컴퓨터 단층촬영영상) 영상을 이용한 비침습 치료 계획 방법은, 환자의 뇌 MRI 영상을 획득하는 단계; 인공지능 알고리즘을 기반으로 미리 기계학습하여 생성한 학습 모델을 이용하여 상기 뇌 MRI 영상에 대응하는 합성 CT 영상을 생성하는 단계; 상기 합성 CT 영상에서 골조직 정보를 추출하는 단계; 상기 MRI 영상에서 추출한 병변 정보와 상기 골조직 정보에 기반하여 외부 에너지원 제공을 통한 비침습 치료 계획을 설정하는 단계;를 포함한다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.

본 발명은 두개골을 열지 않고 외부 에너지원에 따른 비침습 치료가 적용되는 신경계 질환 치료에서 방사선 노출 없이 골조직 데이터를 획득할 수 있다.

또한, 본 발명은 비침습 치료 계획 수립을 위해 별도의 CT 영상을 촬영하지 않음에 따라 환자에게 추가적인 방사선 노출을 방지할 수 있고 환자의 안전성을 높일 수 있다.

또한, 본 발명은 MRI 영상과 합성 CT 영상을 이용하여 골조직(bone structure)을 반영함에 따라 정확한 비침습 치료 계획을 수립할 수 있고 치료 효율을 높일 수 있다.

또한, 본 발명은 병변 주변의 정상 조직에게 불필요한 외부 에너지원 조사를 방지할 수 있다.

또한, 본 발명은 인공지능 알고리즘을 이용함에 따라 매우 강인성이 확보된 학습 모델을 생성할 수 있다.

또한, 본 발명은 MRI 영상과 CT 영상의 정합 대신 인공지능 알고리즘을 이용하여 합성 CT 영상을 생성함에 따라 영상 처리 속도를 높일 수 있고 오차를 줄일 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1 은 본 발명의 일 실시 예에 따른 비침습 치료 계획 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 비침습 치료 계획 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 학습 모델 생성 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 CGAN을 설명하기 위한 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 학습 데이터 증강을 설명하기 위한 예시도이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 합성 CT 영상의 정밀도를 설명하기 위한 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1 은 본 발명의 일 실시 예에 따른 비침습 치료 계획 장치를 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 비침습 치료 계획 장치(100)는 획득한 MRI 영상과 기존 학습 데이터를 이용하여 비침습 치료의 계획을 수립할 수 있다. 예를 들어, 비침습 치료 계획 장치(100)는 복수의 환자 각각의 MRI 영상과 CT 영상들을 학습데이터로서 인공지능 알고리즘에 입력하여 학습 모델을 생성할 수 있고, 생성한 학습 모델을 이용하여 뇌 MRI 영상에서 CT 영상을 생성할 수 있고, 뇌 MRI 영상과 CT 영상을 이용하여 비침습 치료 계획을 수립할 수 있다.

일 실시 예에서, 비침습 치료 계획 장치(100)는 서버일 수 있고, 비침습 치료 계획을 설정할 수 있는 전용 프로그램이 설치될 수 있다. 예를 들어, 비침습 치료 계획 장치(100)는 의료 영상과 학습 데이터를 획득할 수 있는 데이터 획득부(110), 획득한 의료 영상과 학습 데이터를 전처리(예: 데이터 증강, 영상 crop)할 수 있는 데이터 처리부(120), 학습데이터와 인공지능 알고리즘을 이용하여 기계학습을 수행하고 학습 모델을 생성하는 딥러닝 학습부(130), 학습 모델을 이용하여 MRI 영상에서 CT 영상을 생성하는 영상 생성부(140), 병변 정보와 골조직 정보(예: 두개골 데이터)를 이용하여 비침습 치료 계획을 수립하는 치료 계획 설정부(150) 및 학습 결과, 학습 모델, 환자 데이터, 치료 결과 데이터 등을 빅데이터화하여 저장할 수 있는 데이터베이스(160)를 포함할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 비침습 치료 계획 방법을 설명하기 위한 흐름도이다. 도 2의 동작들은 도 1의 각 구성들에 의해 수행될 수 있다.

도 2 를 참조하면, 일 실시 예에서, 동작 21에서, 데이터 획득부(110)가 환자의 뇌 MRI 영상을 획득할 수 있다. 예를 들어, 데이터 획득부(110)는 MRI 영상 촬영 장치로부터 네트워크를 통해 뇌 MRI 영상을 수신할 수 있다. 이외에도 데이터 획득부(110)는 CT 영상 등 의료 영상을 획득 할 수 있다. 여기서 CT 영상은 컴퓨터 단층 촬영(CT; computed tomography)이고 MRI 영상은 자기 공명 영상(MRI; magnetic resonance imaging)이다. 예컨대, MRI 영상과 CT 영상은 복셀 데이터로서, 복수의 슬라이스 즉, 복수 개의 단위 이미지들로 이루어질 수 있다.

일 실시 예에서, 동작 22에서, 영상 생성부(140)가 인공지능 알고리즘을 기반으로 미리 기계학습하여 생성한 학습 모델을 이용하여 뇌 MRI 영상에 대응하는 합성 CT 영상을 생성할 수 있다. 예를 들어, 인공지능 알고리즘은 Condicitonal GAN(Generative Adversarial Network)일 수 있다. 기계학습하여 학습 모델을 생성하는 동작은 도 3에서 구체적으로 후술한다.

일 실시 예에서, 동작 23에서, 치료 계획 설정부(150)가 합성 CT 영상에서 골조직 정보를 추출할 수 있다. 예를 들어, 골조직은 두개골 등 뇌에 포함된 모든 골조직을 의미할 수 있다. 골조직 정보는 골조직의 두께, 골조직의 밀도 및 골조직의 위치 중 적어도 하나를 포함할 수 있다. 특히, 치료 계획에서 중요한 요소는 두개골의 두께, 밀도 및 위치일 수 있다. 두개골이 외부에너지원의 조사 선량에 가장 큰 영향을 미치는 요소이기 때문이다.

일 실시 예에서, 동작 24에서, 치료 계획 설정부(150)가 MRI 영상에서 추출한 병변 정보와 골조직 정보에 기반하여 외부 에너지원 제공을 통한 비침습 치료 계획을 설정할 수 있다. 예를 들어, 외부에너지원은 초음파, 방사선일 수 있고 이외에도 환자의 병변을 치료할 수 있으며 환자의 뇌 안으로 전자기파를 방출할 수 있는 것이면 모두 가능하다. 병변 정보는 병변의 위치, 크기, 두께, 병변 주변의 정상 조직의 위치, 크기 및 두께 중 적어도 하나를 포함할 수 있다.

일 실시 예에서, 치료 계획 설정부(150)는 병변 정보와 골조직 정보에 기반하여 신경계 질환 치료용 에너지원의 조사 선량, 조사 범위, 조사 방향, 조사 시간 및 3차원 조사 좌표를 결정할 수 있다. 예를 들어, 치료 계획 설정부(150)는 병변 정보와 골조직 정보를 Leksell GammaPlan^®-Convolution 알고리즘에 입력하여 방사선의 조사 선량, 조사 범위, 조사 방향, 조사 시간 및 3차원 조사 좌표를 결정할 수 있다.

한편, 도면에는 도시되지 않았지만, 치료 계획 설정부(150)는 치료 계획을 수립하기 이전에 합성 CT 영상의 유효성을 검증할 수 있다. 예컨대, 환자의 원본 CT 영상의 하운스필드 유닛(HU: Hounsfield Unit) 값을 연산하고, 합성 CT 영상의 하운스필드 유닛 값을 연산한 이후 원본 CT 영상의 하운스필드 유닛 값과 합성 CT 영상의 하운스필드 유닛 값을 비교함으로써 합성 CT 영상의 유효성을 검증할 수 있다. 예컨대, 합성 CT 영상의 하운스필드 유닛 값이 원본 CT 영상의 하운스필드 유닛 값과 동일하거나 가까울수록 합성 CT 영상이 유효한 자료로 확인할 수 있다. 방사선을 이용한 뇌 치료 시 뇌의 병변에 도달하는 방사선 선량에 가장 많은 영향을 주는 것이 두개골이며, 두개골의 방서선 흡수 선량을 가장 잘 대변하는 것이 하운스필드 유닛이므로 유효성 검증에서 이용할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 학습 모델 생성 방법을 설명하기 위한 흐름도이다. 도 4는 본 발명의 일 실시 예에 따른 CGAN을 설명하기 위한 블록도이다. 도 5는 본 발명의 일 실시 예에 따른 학습 데이터 증강을 설명하기 위한 예시도이다. 도 6 및 도 7은 본 발명의 일 실시 예에 따른 합성 CT 영상의 정밀도를 설명하기 위한 예시도이다. 도 3의 동작들은 도 1의 각 구성들에 의해 의해 수행될 수 있다.

하기 도 3에서 설명하는 동작들은 복수의 환자들 각각의 MRI 영상과 원본 CT 영상을 포함하는 학습 데이터를 인공지능 알고리즘에 입력하여, 인공지능 알고리즘을 통해 학습 모델을 생성하는 동작들일 수 있다. 여기서 인공지능 알고리즘은 Condicitonal GAN(Generative Adversarial Network)을 이용한다.

도 3 내지 도 7을 참조하면, 일 실시 예에서, 동작 31에서, 데이터 획득부(110)가 복수의 환자들 각각의 MRI 영상과 원본 CT 영상을 포함하는 학습 데이터를 획득할 수 있다. 예를 들어, 학습데이터는 뇌질환을 가진 복수의 환자들의 뇌 MRI 영상과 뇌 CT 영상 쌍(pair)일 수 있고, 이외에도 뇌와 관련된 질환의 정보가 담긴 의료 영상들을 모두 포함할 수 있다.

일 실시 예에서, 동작 32에서, 데이터 처리부(120)가 학습 데이터를 증강할 수 있다. 예를 들어, 데이터 처리부(120)는 학습 데이터에 포함된 MRI 영상과 원본 CT 영상을 회전(rotation)시키거나 플립(flip)시킴으로써 학습 데이터를 증강(augmentation)시킬 수 있고, 이에 따라 풍부한 학습데이터 량을 확보할 수 있다. 예컨대, 도 5에 개시된 바와 같이 데이터 처리부(120)는 원본 영상을 회전 또는 플립시킴에 따라 데이터 양을 늘릴 수 있다. 물론, 기 확보한 학습 데이터의 양에 따라 동작 32는 생략될 수 있다.

일 실시 예에서, 동작 33에서, 도 4에 도시된 바와 같이 딥러닝 학습부(130)가 학습 데이터에 포함된 MRI 영상을 조건부로 랜덤 노이즈 데이터를 생성자(Generator)에 입력할 수 있다. 예를 들어, 생성자는 FCN(fully convolutional network)일 수 있다.

일 실시 예에서, 동작 34에서, 딥러닝 학습부(130)가 생성자를 통해 합성 CT 영상을 생성할 수 있다. 예를 들어, 생성자는 MRI 영상을 조건부로 하여 랜덤 노이즈 데이터에서 합성 CT 영상을 생성할 수 있다.

일 실시 예에서, 동작 35에서, 딥러닝 학습부(130)가 생성된 합성 CT 영상(pseudo CT)과 학습 데이터에 포함된 MRI 영상에 대응하는 원본 CT 영상을 판별자(Discriminator)에 입력할 수 있다. 예를 들어, 판별자는 CNN(convolutional neural network)일 수 있다. 물론 이외에도 판별자는 CNN에 한정되지 않으며 심층 신경망(Deep Neural Network, DNN), 순환 신경망(Recurrent Neural Network, RNN)등 영상처리장치의 사용 목적에 따라 달라질 수 있다.

일 실시 예에서, 동작 36에서, 딥러닝 학습부(130)가 판별자가 합성 CT 영상이 원본인지 판별할 수 있다. 예를 들어, 판별자는 합성 CT 영상이 진짜(real)라고 본다면 1이라는 확률값을 출력할 수 있고 가짜라고 본다면 0이라는 확률값을 출력할 수 있고 진짜인지 가짜인지 구별이 어렵다면 0.5 확률값을 출력할 수 있다.

일 실시 예에서, 동작 37에서, 딥러닝 학습부(130)가 동작 31 내지 동작 36을 반복함으로써 학습 모델을 생성할 수 있다. 예를 들어, 딥러닝 학습부(130)는 생성자를 통해 합성 CT 영상을 생성하는 동작과 판별자를 통해 합성 CT 영상이 원본인지 판별하는 동작을 반복적으로 수행함으로써 학습 모델을 생성할 수 있다. 예컨대, 생성자가 생성한 합성 CT 영상을 판별자가 지속적으로 0.5에 가까운 확률값으로 출력할 경우 상기 학습 모델은 매우 정교한 학습 모델이 될 수 있다. 따라서, 영상 생성부(140)는 생성자를 포함하는 학습 모델을 통해 MRI 영상을 조건으로 하여 정확한 합성 CT 영상을 생성할 수 있다.

이와 같이, 기존의 analytic 한 방법(MRI의 intensity와 CT의 intensity(HU)를 one-to-one으로 매칭하는 방법 등)들은 MRI와 CT 각각의 영상 quality의 다양한 variability를 모두 반영하지 못하는 한계점이 있지만 본 발명과 같이 CGAN(Conditional Generative Adversarial Network)으로 대표되는 딥러닝 알고리즘을 이용하면 매우 강인성이 확보된 모델을 만들 수 있다. 또한, 본 발명은 GPU(graphics processing unit)에 기반하여 학습된 딥러닝 모델의 추론(inference)과정이 매우 속도가 빠르기 때문에(MR->CT conversion이 매우 빠름, slice당 < 1 sec 미만) 비침습 수술 계획 수립 속도가 현저히 높아질 수 있다.

한편, 본 발명의 효과를 확인하기 위해 TCGA(The cancer genome atlas)의 뇌 교모세포종 환자 19명의 CT/MR 영상 pair를 이용하여 Conditional Generative Adversarial Network (CGAN)로 학습하여 MRI 영상으로부터 CT 영상을 합성하는 예비 연구를 진행하였고, 부족한 데이터를 보충하기 위해 data augmentation을 수행하였고, 총 1,580개 slice 영상 pair를 확보하여 학습을 진행하였고, 실제 CT 영상과 비교하였을 때, 다이스 유사계수(Dice similarity coefficient, DSC) 기준으로 0.934의 합성 정확도를 보임을 확인할 수 있었다. 즉, 도 6에 도시된 영상들은 MR-CT 변환 연구결과 예시. 각각에서 (좌) 환자의 MR 영상, (중) 학습된 네트워크로 변환한 CT 영상, (우) 환자의 실제 CT 영상을 나타내고 있다.

본 발명의 일 면에 따른 인공지능 기반 뇌 MRI(magnetic resonance imaging, 자기공명영상) 영상에서 생성된 CT(computed tomography, 컴퓨터 단층촬영영상) 영상을 이용한 비침습 치료 계획 방법은, 환자의 뇌 MRI 영상을 획득하는 단계; 인공지능 알고리즘을 기반으로 미리 기계학습하여 생성한 학습 모델을 이용하여 상기 뇌 MRI 영상에 대응하는 합성 CT 영상을 생성하는 단계; 상기 합성 CT 영상에서 골조직 정보를 추출하는 단계; 상기 MRI 영상에서 추출한 병변 정보와 상기 골조직 정보에 기반하여 외부 에너지원 제공을 통한 비침습 치료 계획을 설정하는 단계;를 포함한다.

다양한 실시 예에 따르면, 상기 비침습 치료 계획을 설정하는 단계는 상기 병변 정보와 상기 두개골 정보에 기반하여 신경계 질환 치료용 에너지원의 조사 선량, 조사 범위, 조사 방향, 조사 시간 및 3차원 조사 좌표를 결정하는 단계를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 비침습 치료 계획을 설정하는 단계는 상기 병변 정보와 상기 두개골 정보를 Leksell GammaPlan^®-Convolution 알고리즘에 입력하여 방사선의 조사 선량, 조사 범위, 조사 방향, 조사 시간 및 3차원 조사 좌표를 결정하는 단계를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 환자의 원본 CT 영상의 하운스필드 유닛(HU: Hounsfield Unit) 값을 연산하는 단계; 상기 합성 CT 영상의 하운스필드 유닛 값을 연산하는 단계; 및 상기 원본 CT 영상의 하운스필드 유닛 값과 상기 합성 CT 영상의 하운스필드 유닛 값을 비교함으로써 상기 합성 CT 영상의 유효성을 검증하는 단계를 더 포함할 수 있다.

다양한 실시 예에 따르면, 복수의 환자들 각각의 MRI 영상과 원본 CT 영상을 포함하는 학습 데이터를 상기 인공지능 알고리즘에 입력하여, 상기 인공지능 알고리즘을 통해 상기 학습 모델을 생성하는 단계를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 인공지능 알고리즘은 Condicitonal GAN(Generative Adversarial Network)일 수 있다.

다양한 실시 예에 따르면, 상기 학습 모델을 생성하는 단계는, 상기 학습 데이터에 포함된 MRI 영상을 조건부로 랜덤 노이즈 데이터를 생성자(Generator)에 입력하는 단계; 상기 생성자를 통해 합성 CT 영상을 생성하는 단계; 상기 생성된 합성 CT 영상과 상기 학습 데이터에 포함된 상기 MRI 영상에 대응하는 원본 CT 영상을 판별자(Discriminator)에 입력하는 단계; 상기 판별자가 상기 합성 CT 영상이 원본인지 판별하는 단계; 및 상기 생성자를 통해 합성 CT 영상을 생성하는 동작과 상기 판별자를 통해 상기 합성 CT 영상이 원본인지 판별하는 동작을 반복적으로 수행함으로써 상기 학습 모델을 생성하는 단계;를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 생성자는 FCN(fully convolutional network)이고, 상기 판별자는 CNN(convolutional neural network)일 수 있다.

다양한 실시 예에 따르면, 상기 학습 데이터에 포함된 상기 MRI 영상과 상기 원본 CT 영상을 회전(rotation)시키거나 플립(flip)시킴으로써 상기 학습 데이터를 증강(augmentation)시킬 수 있다.

본 발명의 일 면에 따른 인공지능 기반 뇌 MRI 영상에서 생성된 CT 영상을 이용한 비침습 치료 계획 프로그램은 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 비침습 치료 계획 장치
110 : 데이터 획득부
120 : 데이터 처리부
130 : 딥러닝 학습부
140 : 영상 생성부
150 : 치료 계획 설정부
160 : 데이터베이스

Claims

환자의 뇌 MRI(Magnetic Resonance Imaging) 영상을 획득하는 데이터 획득부;
인공지능 알고리즘을 기반으로 미리 기계 학습된 학습 모델을 이용하여 상기 뇌 MRI 영상에 대응하는 합성 CT(Computed Tomography) 영상을 생성하는 영상 생성부; 및
상기 합성 CT 영상에서 두개골의 두께, 밀도 및 위치를 포함한 골조직 정보를 추출하고, 상기 뇌 MRI 영상에서 병변 정보를 추출하며, 상기 추출된 골조직 정보 및 병변 정보를 이용하여 외부 에너지원 제공을 통한 비침습 치료 계획을 설정하는 치료 계획 설정부를 포함하고,
상기 치료 계획 설정부는,
상기 환자의 원본 CT 영상의 제1 하운스필드 유닛(HU: Hounsfield Unit) 값 및 상기 합성 CT 영상의 제2 하운스필드 유닛 값의 비교 결과를 기반으로 상기 합성 CT 영상의 유효성을 검증하는, 뇌 MRI 영상으로부터 생성된 CT 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치.
제1 항에 있어서,
상기 치료 계획 설정부는,
상기 골조직 정보 및 상기 병변 정보를 이용하여, 신경계 질환 치료용 에너지원의 조사 선량, 조사 범위, 조사 방향, 조사 시간 및 3차원 조사 좌표를 결정하는, 뇌 MRI 영상으로부터 생성된 CT 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치.
제1 항에 있어서,
상기 치료 계획 설정부는,
상기 골조직 정보 및 상기 병변 정보를 Leksell GammaPlan®-Convolution 알고리즘에 입력하여 방사선의 조사 선량, 조사 범위, 조사 방향, 조사 시간 및 3차원 조사 좌표를 결정하는, 뇌 MRI 영상으로부터 생성된 CT 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치.
제1 항에 있어서,
복수의 환자들 각각의 MRI 영상과 원본 CT 영상을 포함하는 학습 데이터를 상기 인공지능 알고리즘에 입력하여, 상기 인공지능 알고리즘을 통해 상기 학습 모델을 생성하는 데이터 처리부를 더 포함하는, 뇌 MRI 영상으로부터 생성된 CT 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치.
제4 항에 있어서,
상기 인공지능 알고리즘은,
Condicitonal GAN(Generative Adversarial Network)을 포함하는, 뇌 MRI 영상으로부터 생성된 CT 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치.
제5 항에 있어서,
상기 데이터 처리부는,
상기 학습 데이터에 포함된 MRI 영상을 조건부로 랜덤 노이즈 데이터를 생성자(Generator)에 입력하고,
상기 생성자를 통해 합성 CT 영상을 생성하고,
상기 생성된 합성 CT 영상과 상기 학습 데이터에 포함된 상기 MRI 영상에 대응하는 원본 CT 영상을 판별자(Discriminator)에 입력하고,
상기 판별자를 통해 상기 합성 CT 영상이 원본인지 판별하며,
상기 생성자를 통해 합성 CT 영상을 생성하는 동작과 상기 판별자를 통해 상기 합성 CT 영상이 원본인지 판별하는 동작을 반복적으로 수행함으로써 상기 학습 모델을 생성하고,
상기 생성자는, FCN(fully convolutional network)이며,
상기 판별자는, CNN(convolutional neural network)인 것을 특징으로 하는, 뇌 MRI 영상으로부터 생성된 CT 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치.
제6 항에 있어서,
상기 데이터 처리부는,
상기 학습 데이터에 포함된 상기 MRI 영상과 상기 원본 CT 영상을 회전(rotation)시키거나 플립(flip)시킴으로써 상기 학습 데이터를 증강(augmentation)시키는 것을 특징으로 하는, 뇌 MRI 영상으로부터 생성된 CT 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치.
삭제
삭제
제1 항에 있어서,
상기 치료 계획 설정부는,
상기 제2 하운스필드 유닛 값이 상기 제1 하운스필드 유닛 값과 동일할 경우, 상기 합성 CT 영상이 유효한 것으로 확인하는, 뇌 MRI 영상으로부터 생성된 CT 영상을 이용한 인공지능 기반의 비침습 치료 계획 장치.