KR101992057B1 - 혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템 - Google Patents

Abstract

혈관투영영상에 인공지능을 적용한 뇌혈관 진단 방법 및 시스템이 개시된다. 뇌질환 진단 방법은, 혈관 정보를 포함하는 3차원 MR(magnetic resonance) TOF(time-of-flight) 데이터로부터 다중 혈관투영영상을 획득하는 단계, 다중 혈관투영영상의 복수의 투영영상들 각각으로부터 딥러닝 구조를 이용하여 뇌혈관 질환의 병변 또는 병변 영역을 학습하는 단계, 및 학습된 뇌혈관 질환의 병변에 기초하여 다중 혈관투영영상으로부터 병변 정보를 추출하는 단계를 포함한다.

Description

혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템{METHOD AND SYSTEM FOR DIAGNOSING BRAIN DISEASES USING VASCULAR PROJECTION IMAGES}

본 발명의 실시예는 뇌질환 진단 기술에 관한 것으로, 보다 상세하게는 혈관 투영영상에 인공지능을 적용한 뇌질환 진단 방법 및 시스템에 관한 것이다.

뇌 질환 즉, 뇌혈관 질환으로는 뇌혈관이 터지는 뇌출혈, 뇌혈관이 혈전 등에 의해 막히는 뇌경색, 뇌혈관이 비정상적으로 부풀어 오르는 뇌동맥류 등이 있고, 뇌출혈과 뇌경색을 아울러서 뇌졸중이라고 말한다. 뇌졸중은 뇌 혈관에 문제가 생겨 산소가 공급되지 않아 뇌세포가 죽어가는 질환을 말한다.

뇌졸중으로 인해 1㎜ 내외의 작고 미세한 뇌혈관이 1분간 막혀있게 되거나 단절되면 산소가 공급되지 않는 뇌 부분의 약 200만 개의 신경세포가 손상된다고 알려져 있다. 뇌동맥류는 위험 수준에 이르기 전까지 증상이 거의 없기 때문에 혈관 검사를 하기 전에는 발견하기 어렵고 혈관이 터질 때 순간적인 엄청난 통증과 의식 변화 등이 특징이다.

혈관 투영영상은 CT(computed tomography) 장치를 이용한 CT 조형술에 의해 생성되거나 자기공명영상(magnetic resonance images, MRI) 장치에 의해 생성될 수 있다. 혈관 투영영상으로는 TOF(time of flight) 등이 있다. TOF는 인플로우 효과(in-flow effect)와 플로우 관련 강화 효과(flow-related enhancement effect) 즉, 움직이는 혈류와 정지된 주위 조직과의 포화정도의 차이를 이용하여 얻어지는 혈관영상을 지칭한다.

인공지능은 학습, 문제 해결, 패턴 인식 등과 같이 주로 인간 지능과 연결된 인지 문제를 해결하는 데 주력하는 컴퓨터 공학 분야를 지칭한다. 인공지능은 기계학습(machine learning)이나 딥러닝(deep learning)을 포함할 수 있다.

인공 신경망(artificial neural network, ANN)은 기계 학습(machine learning)을 구현하는 최신 기법들 중 하나이다. 인공 신경망은 입력 계층(input layer), 은닉 계층(hidden layer) 및 출력 계층(output layer)으로 이뤄져 있다. 각 계층들은 뉴런(neuron)으로 구성되어 있으며, 각 계층의 뉴런들은 이전 계층의 뉴런들의 출력과 연결되어 있다. 이전 계층의 뉴런들의 각 출력 값과 그에 상응하는 연결 가중치(weight)를 내적(inner product)한 값에 바이어스(bias)를 더한 값을 일반적으로 비선형(non-linear)인 활성화 함수(activation function)에 넣고 그 출력값을 다음 단계 계층의 뉴런들에게 전달한다.

기존의 기계 학습 기법들은 입력 데이터에서 사람이 설계한 특징 추출(feature extraction) 과정을 통해 얻은 정보에서 분류기(classifier)를 학습하는 반면, 인공 신경망은 특징 추출과 분류기를 처음부터 끝까지 학습(end-to-end learning)하는 것이 일반적이다.

인공 신경망 중 하나인 합성곱 신경망(convolutional neural network, CNN)은 영상 인식 분야에서 기존의 기계 학습 기법들의 성능을 압도하며 크게 주목받고 있다. 합성곱 신경망의 구조는 일반적인 인공 신경망의 구조와 거의 동일한데, 추가적인 구성요소로는 합성곱 계층(convolutional layer)과 통합 계층(pooling layer)이 있다.

일반적인 합성곱 신경망의 구조는 합성곱 계층과 통합 계층이 번갈아가면서 진행되고, 두세 개 정도의 완전 연결 계층(fully-connected layer)을 거쳐 마지막에 출력 계층이 오는 것이다. 합성곱 계층의 뉴런들은, 이전 계층의 모든 뉴런들과 완전 연결(fully-connected)되는 인공 신경망과 달리, 이전 계층의 작은 지역에만 연결(local connectivity)되어 있다.

또한, 특징 지도(feature map)와 같은 슬라이스(slice)에 속하는 뉴런들은 동일한 값(parameter sharing)의 가중치와 바이어스를 갖는다. 이렇게 진행되는 연산이 합성곱이며, 적용되는 가중치들의 집합을 필터(filter) 또는 커널(kernel)이라고 부른다. 합성곱 신경망은 영상에서의 특징을 효과적으로 추출할 수 있고, 파라미터 수를 줄여서 과적합(overfitting)을 방지하고 일반화(generalization) 성능을 향상시킬 수 있다.

통합 계층은 합성곱 계층들 사이에 위치하며, 특징 지도(feature map)의 공간적(spatial) 크기를 줄여주는 역할을 한다. 이러한 과정도 파라미터 수를 줄여서 과적합을 방지하는 역할을 한다. 가장 많이 쓰이는 형태는 2×2 필터들을 2의 간격(stride)으로 적용시키는 맥스 풀링(max-pooling) 방법이다. 이 과정은 특징 지도의 크기를 너비, 높이 방향에 대해 각각 절반씩 줄이게 된다.

한편, 딥러닝은 영상을 학습하고 영상 내 패턴을 인식하는데 이용될 수 있으나, 아직까지 뇌혈관 질환을 진단하는데 적절하게 사용되고 있지 못한 실정이다. 이와 같이, 뇌혈관 질환을 진단하는데 있어서 딥러닝 등의 인공지능을 이용하는 적절한 방안이 요구되고 있는 실정이다.

국내 공개특허공보 제10-2016-0035488호(2016.03.31.) 국내 등록특허공보 제10-1373563호(2014.03.06.)

본 발명은 본 기술분야의 요구에 부응하기 위하여 안출된 것으로, 본 발명의 목적은 뇌혈관 투영영상에 딥러닝이나 인공지능을 적용하여 뇌동맥류나 뇌혈관 질환을 효율적으로 진단할 수 있는 뇌질환 진단 방법 및 시스템을 제공하는데 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 뇌질환 진단 방법은, 혈관 정보를 포함하는 의료영상 데이터로부터 다중 혈관투영영상을 획득하는 단계; 상기 다중 혈관투영영상의 복수의 투영영상들 각각으로부터 딥러닝 구조를 이용하여 뇌혈관 질환의 병변 또는 병변 영역을 학습하는 단계; 및 상기 학습된 뇌혈관 질환의 병변에 기초하여 상기 다중 혈관투영영상으로부터 병변 정보를 추출하는 단계를 포함한다.

일실시예에서, 상기 획득하는 단계는, 의료영상 데이터로부터 MIP(maximum intensity projection) 방식이나 체적 렌더링(volume rendering) 방식을 이용하여 미리 설정된 육면체 사이즈로 병변 후보를 포함한 병변 후보 볼륨를 생성하고, 상기 병변 후보 볼륨에서 6개 방향 이상의 2차원 투영영상들을 기본단위 셋 또는 하나의 복셀로 생성할 수 있다.

일실시예에서, 상기 학습하는 단계는 상기 6개 방향 이상의 2차원 투영영상들 각각에 대해 합성곱 신경망(convolutional neural network, CNN), 디컨볼루션(deconvolution) 및 스킵 컨넥션(skip connection)을 사용하는 딥러닝 학습이나 인공지능으로 병변 영역을 학습하거나, 딥러닝 또는 인공지능 아키텍처를 통해 상기 병변 영역을 학습하는 장치로부터 상기 6개 방향 이상의 투영영상들에 대한 딥러닝 학습정보를 제공받을 수 있다.

일실시예에서, 상기 학습하는 단계는, 상기 6개 이상의 2차원 투영영상들 각각에 대해 합성곱 신경망(convolutional neural network, CNN), 디컨볼루션(deconvolution) 및 스킵 컨넥션(skip connection)을 사용하는 딥러닝 학습이나 인공지능을 이용하거나, 상기 딥러닝 학습나 인공지능으로 뇌질환 병변을 학습하는 장치로부터 상기 각 혈관투영영상에 대한 딥러닝 학습정보를 제공받을 수 있다.

일실시예에서, 상기 학습하는 단계는, 상기 6개 방향 이상의 2차원 투영영상들 각각에 대한 병변 영역의 학습을 동시에 혹은 상호 연관하여 수행하고 상기 6개 방향 이상의 투영영상들을 포함한 하나의 복셀에 대한 학습결과를 출력할 수 있다.

일실시예에서, 상기 추출하는 단계는, 상기 학습결과에 따른 상기 6개 방향 이상의 투영영상들 각각의 병변 후보에 대한 투영 정보로부터 상기 뇌혈관 질환의 병변 부피를 추출할 수 있다.

일실시예에서, 뇌 질환 진단 방법은, 상기 추출된 병변 정보나 상기 병변 정보 내 병변 부피로부터 분류기를 활용하여 병변의 크기(size), 위치(location), 부피(volume), 뇌동맥류 중증도 또는 뇌출혈 가능 확률(stroke probability)을 계산하는 단계를 더 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 뇌질환 진단 시스템은, 혈관 정보를 포함하는 의료영상 데이터로부터 다중 혈관투영영상을 생성하는 병변영역 추출부; 상기 다중 혈관투영영상의 6개 방향 이상의 2차원 투영영상들로부터 딥러닝 구조를 이용하여 뇌혈관 질환의 병변 또는 병변 영역을 학습하는 딥러닝 학습부; 및 상기 학습된 뇌혈관 질환의 병변이나 병변 영역에 기초하여 상기 6개 방향 이상의 2차원 투영영상들로부터 병변의 크기, 위치 및 부피를 포함한 병변 정보를 추출하는 병변정보 추출부를 포함한다.

일실시예에서, 상기 병변영역 추출부는, 상기 의료영상 데이터로부터 MIP(maximum intensity projection) 방식이나 체적 렌더링(volume rendering) 방식을 이용하여 미리 설정된 사이즈로 육면체 형태의 병변 후보 볼륨을 생성하는 영상처리부; 및 상기 병변 후보 볼륨에서 6개 방향 이상의 혈관투영영상들을 기본단위 셋 또는 하나의 복셀로 생성하는 투영영상 생성부를 구비할 수 있다.

일실시예에서, 상기 병변정보 추출부는, 상기 6개 방향 이상의 투영영상들 각각에 대해 합성곱 신경망(convolutional neural network, CNN), 디컨볼루션(deconvolution) 및 스킵 컨넥션(skip connection)을 사용하는 딥러닝 학습부나 인공지능의 학습결과에 기초하여 병변 또는 병변 영역과 상기 병변 영역에 포함된 병변 후보에 대한 병변 정보를 출력할 수 있다.

일실시예에서, 뇌질환 진단 시스템은, 상기 병변 정보로부터 뇌동맥류나 뇌혈관 질환에 대한 정량적 중증도를 추출하는 중증도 추출부를 더 포함할 수 있다. 상기 중증도 추출부는 상기 병변 정보에 포함된 병변의 크기, 위치 및 부피로부터 분류기를 이용하여 뇌동맥류 중증도나 뇌출혈 가능 확률을 계산할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 뇌질환 진단 시스템은, 적어도 하나의 프로세서를 포함하며, 상기 프로세서는, 혈관 정보를 포함하는 의료영상 데이터로부터 MIP(maximum intensity projection) 방식이나 체적 렌더링(volume rendering) 방식을 이용하여 미리 설정된 사이즈로 육면체 형태의 병변 후보 볼륨을 생성하고, 상기 병변 후보 볼륨에서 6개 방향 이상의 투영영상들을 기본단위 셋 또는 하나의 복셀로 하는 다중 혈관투영영상을 생성하고, 상기 6개 방향 이상의 투영영상들 각각으로부터 딥러닝 구조를 이용하여 뇌동맥류나 뇌질환의 병변 또는 병변 영역을 학습하고, 상기 학습된 병변 또는 병변 영역에 기초하여 상기 다중 혈관투영영상으로부터 뇌동맥류나 뇌질환의 병변 정보를 추출하도록 이루어진다.

일실시예에서, 상기 프로세서는 상기의 생성, 학습 및 추출 기능이나 구성부에 더하여 상기 병변 정보로부터 뇌동맥류나 뇌혈관 질환에 대한 정량적 중증도를 추출하도록 이루어질 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 뇌 질환 진단 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체는, 혈관 정보를 포함하는 의료영상 데이터로부터 MIP(maximum intensity projection) 방식이나 체적 렌더링(volume rendering) 방식을 이용하여 미리 설정된 사이즈로 육면체 형태의 병변 후보 볼륨을 생성하는 단계; 상기 병변 후보 볼륨에서 6개 방향 이상의 투영영상들을 기본단위 셋 또는 하나의 복셀로 하는 다중 혈관투영영상을 생성하는 단계; 상기 6개 방향 이상의 투영영상들 각각으로부터 딥러닝 구조를 이용하여 뇌동맥류나 뇌질환의 병변 또는 병변 영역을 학습하는 단계; 및 상기 학습된 병변 또는 병변 영역에 기초하여 상기 다중 혈관투영영상으로부터 뇌동맥류나 뇌질환의 병변 정보를 추출하는 단계를 포함한다.

일실시예에서, 상기 기록매체는 상기의 생성 단계들, 학습 단계 및 추출 단계에 더하여 상기 병변 정보로부터 뇌동맥류나 뇌혈관 질환에 대한 정량적 중증도를 계산하거나 계산하여 출력하는 단계를 더 포함할 수 있다.

전술한 뇌 질환 진단 방법 및 시스템을 사용하는 경우에는, 뇌혈관 투영영상에 딥러닝이나 인공지능을 적용하여 뇌동맥류나 뇌혈관 질환을 효율적으로 진단할 수 있다.

또한, 다중 혈관투영영상에 포함된 6개 방향 이상의 투영영상들 각각에 대하여 인공지능이나 딥러닝을 적용하여 학습한 후 각 투영영상의 학습결과를 취합하여 뇌동맥류 등의 뇌혈관 질환을 진단하는 데 이용함으로써 뇌동맥류나 뇌혈관 질환에 대한 식별 또는 진단 정확도를 의미있게 향상시킬 수 있는 효과가 있다.

도 1은 본 발명의 일실시예에 따른 뇌질환 진단 시스템에 대한 블록도이다.
도 2는 도 1의 뇌질환 진단 시스템의 데이터처리부에 대한 블록도이다.
도 3은 도 2의 데이터처리부에서 병변후보영역을 추출하는 과정을 설명하기 위한 도면이다.
도 4는 도 3의 병변후보영역에 대한 다중 혈관투영영상을 생성하는 과정을 설명하기 위한 도면이다.
도 5은 도 4의 다중 혈관투영영상에 대한 예시도이다.
도 6은 도 5의 다중 혈관투영영상에 대한 딥러닝 아키텍처의 예시도이다.
도 7은 도 2의 데이터처리부의 작동 원리를 설명하기 위한 흐름도이다.
도 8은 도 6의 혈관투영영상으로부터 추출된 병변 정보를 토대로 중증도를 추출하는 과정을 설명하기 위한 예시도이다.
도 9는 도 8의 병변 정보에 따른 뇌질환을 진단하여 표시하는 뇌혈관 이미지에 대한 예시도이다.
도 10은 뇌질환의 하나인 뇌동맥류의 주요 발생 위치를 설명하기 위한 도면이다.
도 11은 본 발명의 다른 실시예에 따른 뇌질환 진단 시스템에 대한 블록도이다.
도 12는 도 11의 뇌질환 진단 시스템의 작동 원리를 설명하기 위한 흐름도이다.
도 13은 본 발명의 또 다른 실시예에 따른 뇌질환 진단 시스템에 대한 블록도이다.

이하 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.

설명에 앞서, 본 명세서에서 설명하는 용어를 요약하면 다음과 같다.

Time of Flight(TOF)는 In-flow effect, flow-related enhancement effect, 즉, 움직이는 혈류와 정지된 주변 조직과의 포화정도의 차이를 이용하여 혈관영상을 얻는 기법이다. 포화 정도에 따른 불균질성을 극복하기 위하여 MOTSA(multiple overlapping thin slap angiography), TONE(tilted optimized non-saturating excitation) 기법 등을 사용할 수 있다. 영상을 좋게 하기 위하여 MT(magnetization transfer), Gradient moment nulling(GMN, flow compensation) 기법을 추가할 수 있다.

최대투사강도(maximal intensity projection, MIP)는 투사 방향에서 가장 높은 밀도가 표시되며 혈관조영술 사진과 유사하게 투영 영상을 생성하는 방식을 말한다.

볼륨 렌더링(volume rendering, VR)은 투명도를 조절하여 혈관이나 주위 구조물을 표현하는 방식을 말한다. 볼륨 안의 모든 3차원 화소(voxel)는 최종 영상에 관여하며 자르거나 회전이 가능하다. 깊이 정보와 원근감이 표현가능하다.

도 1은 본 발명의 일실시예에 따른 뇌질환 진단 시스템에 대한 블록도이다.

도 1을 참조하면, 본 실시예에 따른 뇌질환 진단 시스템(10)은 기본적인 하드웨어 구조로서 제어부(2), 저장부(4), 영상획득부(6), 표시부(8) 및 데이터처리부(10)를 구비한다. 뇌질환 진단 시스템(10)은 뇌혈관 투영영상에 딥러닝이나 인공지능을 적용하여 뇌동맥류나 뇌혈관 질환을 효율적으로 진단할 수 있다.

제어부(2)는 저장부(4)에 저장되는 프로그램이나 소프트웨어 모듈을 수행하여 뇌질환 진단 방법을 구현하며, 뇌혈관 질환을 진단하는 시스템의 각 구성요소를 제어할 수 있다.

저장부(4)는 뇌질환 진단 방법을 구현하기 위한 프로그램이나 소프트웨어 모듈을 저장할 수 있다. 저장부(4)는 외부 장치로부터 전송된 TOF(time-of-flight) MRA(magnetic resonance angiography)를 저장할 수 있다. 저장부(4)는 TOF MRA에서 추출된 소정 사이즈의 병변 후보 볼륨을 저장할 수 있다. 또한, 저장부(4)는 병변 후보 볼륨으로부터 얻은 6개 방향 이상의 2차원 혈관투영영상들을 저장할 수 있다. 6개 방향 이상의 2차원 혈관투영영상들은 기본단위 셋이나 하나의 복셀로 설정되어 저장될 수 있다.

또한, 저장부(4)는 딥러닝이나 인공지능을 위한 프로그램이나 소프트웨어 모듈을 저장할 수 있다. 딥러닝이나 인공지능은 6개 방향 이상의 2차원 혈관투영영상들 각각에서 뇌동맥류 등의 뇌질환을 학습하고, 학습된 각 혈관투영영상의 학습결과를 복셀 단위, 혹은 세트 단위로 출력하도록 이루어질 수 있다. 딥러닝이나 인공지능은 정확도를 높이기 위한 아키텍처를 구비할 수 있다. 일례로, 딥러닝이나 인공지능 아키텍처는 CNN(convolutional neural network)과 병변 정보의 합을 위한 활성층(activation layer) 또는 풀링(pooling) 구조, 업샘플링(upsampling)을 위한 디컨볼루션(deconvolution) 구조, 학습 효율 향상을 위한 스킵 커넥션(skip connection) 구조 등을 이용하여 구현될 수 있다.

영상획득부(6)는 외부 장치로부터 혈관 정보를 포함한 TOF 데이터를 획득할 수 있다. 영상획득부(6)는 MRI(magnetic resonance images) 장치, MRA 장치 등에 연결되어 사람이나 환자의 뇌를 촬영한 3차원 영상을 획득할 수 있다. 즉, 영상획득부(6)는 자기공명영상(MRI) 장치 또는 자기공명 혈관조형술(magnetic resonance angiography, MRA)에 의한 영상 데이터를 이용할 수 있다. 혈관 투영영상은 3차원 TOF(time of flight) 데이터를 포함할 수 있다. 이러한 영상획득부(6)는 MRI 장치의 영상저장장치에 직접 접근하여 영상을 읽어오거나 가져오는 방식, MRI 장치에 연결된 영상전송장치로부터 영상을 수신하는 방식 등 다양한 방식으로 구현가능하다. 획득된 영상은 저장부(4)에 저장될 수 있다.

또한, 영상획득부(6)는 구현에 따라서 CT 혈관조형술(computed tomography angiography, CTA)에 의해 생성되는 영상 데이터이거나 이 영상 데이터에 기초하여 생성되는 혈관 투영영상을 사용하도록 구현될 수 있다.

전술한 CTA, MRI 또는 MRA로부터 얻은 혈관 투영영상은 본 실시예의 뇌동맥류 등의 뇌질환을 진단하는 시스템의 입력 이미지로 사용될 수 있다. 한편, 이하의 설명에서는 의료영상 데이터로서 MR TOF 데이터를 중심으로 설명하나, 이에 한정되지 않고, CTA에 의한 의료영상 데이터가 사용될 수 있음은 당연하다.

뇌동맥류의 특성에 따른 진단을 위해 입력 이미지는 대퇴통맥(femoral artery)을 통하여 양측 내경통맥(internal carotid artery) 및 일측 혹은 양측 척추동맥 (vertebral artery)을 각각 선택하여 혈관촬영을 시행하여 얻을 영상을 포함할 수 있다. 또한, 입력 이미지는 각각의 내경동맥 및 척추동맥 조영시 전후면과 측면 영상을 기본으로 얻고，또한 필요에 따라 사위변(oblique view), 경안면(transfacial view), 또는 악하경정위(submentovertical view)와 같은 추가의 투사(projection) 영상을 포함할 수 있다.

또한, 뇌동맥류의 크기와 뇌동맥류 경부의 크기를 측정하거나, 뇌동맥류를 경부의 크기별로 분류하거나, 큰 경부를 가지는 뇌동맥류를 크기별로 분류하기 위하여, 입력 이미지는 뇌동맥류 경부 분석정도에 대해서 평가하기 위한 영상들을 포함할 수 있다. 일례로, 입력 이미지는 다중 혈관투영영상을 재구성한 영상 즉 6개 이상의 투영영상에서 동맥류의 경부를 분석하기 위한 4개의 영상 즉 외부영상, 모동맥 방향에서의 내부영상, 동맥류의 돔 방향에서의 내부영상, 동맥류의 단면영상을 포함할 수 있다.

표시부(8)는 저장부(4)에 저장된 데이터 정보, 영상획득부(6)에서 획득한 영상 정보, 데이터처리부(10)에서 처리하는 병변후보볼륨 정보, 혈관투영영상 정보, 딥러닝이나 인공지능 학습 과정이나 학습 결과에 대한 정보, 뇌질환 진단결과에 대한 진단 정보 등을 시각적, 청각적 또는 이들의 혼합 방식으로 출력하도록 이루어질 수 있다. 표시부(8)는 디스플레이 장치를 포함할 수 있다.

데이터처리부(10)는 혈관 정보를 포함하는 3차원 MR TOF 데이터로부터 다중 혈관투영영상을 획득하고, 다중 혈관투영영상의 각 혈관투영영상으로부터 딥러닝 구조를 이용하여 뇌혈관 질환 병변을 학습하고, 학습된 뇌혈관 질환 병변에 기초하여 다중 혈관투영영상으로부터 병변 정보를 추출하도록 이루어질 수 있다. 또한, 데이터처리부(10)는 추출한 병변 정보에 기초하여 뇌동맥류의 중증도를 산출하거나 뇌출혈 가능 확률을 계산하도록 이루어질 수 있다.

도 2는 도 1의 뇌질환 진단 시스템의 데이터처리부에 대한 블록도이다. 도 3은 도 2의 데이터처리부에서 병변후보영역을 추출하는 과정을 설명하기 위한 도면이다. 도 4는 도 3의 병변후보영역에 대한 다중 혈관투영영상을 생성하는 과정을 설명하기 위한 도면이다. 도 5은 도 4의 다중 혈관투영영상에 대한 예시도이다. 도 6은 도 5의 다중 혈관투영영상에 대한 딥러닝 아키텍처의 예시도이다. 그리고 도 7은 도 2의 데이터처리부의 작동 원리를 설명하기 위한 흐름도이다.

도 2 내지 도 6을 참조하면, 본 실시예에 따른 데이터처리부(10)는 병변영역 추출부(100), 병변정보 추출부(300) 및 중증도 추출부(500)를 구비할 수 있다.

병변영역 추출부(100)는, 뇌동맥류 병변영역 추출부를 포함하며, 혈관 정보를 포함하는 의료영상 데이터 중 하나인 3차원 MR(magnetic resonance) TOF(time-of-flight) 데이터(110)로부터 다중 혈관투영영상을 추출한다. 여기서, 다중 혈관투영영상은 3차원 MR TOF 데이터(110)에서 추출한 3차원 병변 영역이나 병변 후보 볼륨으로부터 얻은 복수의 2차원 투영영상들을 포함한다. 본 실시예에서 다중 혈관투영영상은 딥러닝 학습과 병변정보 추출을 위해 미리 설정된 구성요소들을 구비하고 미리 설정된 절차에 따라 처리되도록 준비될 수 있다.

병변영역 추출부(100)는 3차원 MR TOF 데이터(110)로부터 MIP(maximum intensity projection) 방식이나 체적 렌더링(volume rendering) 방식을 이용하여 미리 설정된 육면체 사이즈로 병변 후보를 포함한 병변 후보 볼륨(120)을 생성할 수 있다(도 4 참조). 병변 후보 볼륨(120)은 기본단위 셋이나 하나의 복셀로 생성되는 복수의 투영영상들을 생성하기 위한 것이다.

본 실시예의 병변영역 추출부(100)는 도 5에 도시한 바와 같이 육면체 형태의 병변 후보 볼륨(120)을 적어도 6면과 직교하는 방향들(D1 내지 D6)에서 투영한 투영영상들(A1 내지 A6)을 생성할 수 있다. 이러한 투영영상들 각각은 2차원 투영영상으로서 혈관 정보를 서로 다른 방향에서 투영하여 나타내며, 기본단위 셋 또는 하나의 복셀의 다중 혈관투영영상(130)으로 지칭될 수 있다.

전술한 다중 혈관투영영상(130)을 준비하는데 있어서, 본 실시예의 병변영역 추출부(100)는 기설정된 방향들이나 임의의 방향들에서 2차원 투영영상 다수개를 얻고, 얻은 소정 개수의 다수의 2차원 투영영상들-여기서, 다수의 2차원 투영영상들은 위에서 언급한 6면과 직교하는 방향들(D1 내지 D6)에서 얻은 6개 방향의 투영영상들을 포함함-에서 병변 후보의 크기나 위치에 따라 적어도 6개의 일부 투영영상을 선택하도록 이루어질 수 있다.

일부 투영영상의 선택은 다수의 2차원 투영영상들 중 병변 후보가 실제 병변일 가능성이 가장 높은 투영영상을 기준으로 각 영상에 대해 기저장된 위치값이나 좌표를 토대로 동일하거나 유사한 범위 내의 병변 위치에서 일정 크기 이상이거나 크기가 큰 순서에서 일정 순위 이상으로 큰 크기를 가진 투영영상을 선택하도록 구현될 수 있다.

병변정보 추출부(300)는, 뇌동맥류 병변정보 추출부 또는 뇌혈관 질환 병변정보 추출부로 명명될 수 있으며, 딥러닝 아키텍처(도 6 참조)나 인공지능 아키텍처가 다중 혈관투영영상 내 복수의 2차원 투영영상들 각각으로부터 뇌동맥류나 뇌혈관 질환의 병변 또는 병변 영역을 학습하고 그 결과(학습결과)를 출력할 때, 학습결과에 따라 혹은 학습결과에 기초하여 다중 혈관투영영상으로부터 병변 정보를 추출한다.

또한, 병변정보 추출부(300)는 학습된 뇌혈관 질환의 병변에 기초하여 6개 방향 이상의 2차원 투영영상들 각각의 병변 후보에 대한 투영 정보로부터 병변의 크기, 위치 및 부피를 포함한 병변 정보를 추출할 수 있다.

여기서, 딥러닝 아키텍처나 인공지능 아키텍처는 6개 방향 이상의 투영영상들 각각의 병변, 병변 영역 또는 병변 후보에 대해 합성곱 신경망(convolutional neural network, CNN), 디컨볼루션(deconvolution) 및 스킵 컨넥션(skip connection)을 사용하여 딥러닝 학습을 수행하도록 이루어질 수 있다.

예를 들면, 딥러닝 아키텍처는 도 6에 도시한 바와 같이 컨볼루션 네트워크와 디컨볼루션 네트워크 및 숏컷(shortcut)을 포함한 형태를 구비할 수 있다. 즉, 딥러닝 아키텍처는, 도 6에 도시한 바와 같이, 분석 대상 영상인 3차원 MR(magnetic resonance) TOF(time-of-flight)의 국소적인 특징을 추출하기 위하여, 3X3 크기의 컬러 컨볼루션 레이어(convolution layer)와 액티베이션 레이어(ReLU)를 쌓고 2X2 크기의 필터를 스트라이드(stride) 1로 적용하여 다음 하위 깊이 레벨로 연결되는 컨볼루션 블록의 연산을 4회 반복하여 수행하고, 그 다음에 2X2 크기의 디컨볼루션 레이어(deconvolution layer)와 액티베이션 레이어(ReLU)를 적용하여 다음 상위 깊이 레벨로 연결된 후 3X3 크기의 컬러 컨볼루션 레이어와 액티베이션 레이어를 쌓는 역컨볼루션 블록의 연산을 4회 반복하여 수행하며, 여기서 각 레벨의 컨볼루션 블록의 연산을 포함한 컨볼루션 네트워크의 각 레벨의 컨볼루션 블록의 이미지에 동일 레벨의 역컨볼루션 네트워크의 대응 레벨의 컨볼루션 결과를 갖다 붙이고(copy and contatenate) 각 블록에서 컨볼루션 연산을 각각 수행하도록 이루어질 수 있다.

컨볼루션 네트워크와 디컨볼루션 네트워크 내 컨볼루션 블록은 conv-ReLU-conv 레이어들의 조합으로 구현될 수 있다. 그리고, 딥러닝 아키텍처의 출력은 컨볼루션 네트워크이나 디컨볼루션 네트워크에 연결되는 분류기를 통해 얻어질 수 있으나, 이에 한정되지는 않는다. 분류기는 FCN(fully connectivity network) 기법을 이용하여 영상에서 국소적인 특징을 추출하는데 이용될 수 있다.

또한, 딥러닝 아키텍처는 구현에 따라서 컨볼루션 볼록 내에 인셉션 모듈(inseption module) 또는 멀티 필터 경로(multi filter pathway)를 추가로 사용하도록 구현될 수 있다. 인셉션 모듈 또는 멀티 필터 경로 내 서로 다른 필터는 1×1 필터를 포함할 수 있다.

참고로, 딥러닝 아키텍처에서 입력(input) 이미지가 가로 32, 세로 32, 그리고 RGB 채널을 가지는 경우, 입력 이미지(X)의 크기는 [32x32x3]일 수 있다. 딥러닝 아키텍처의 CNN(convloultional neural network)에서 콘볼루션(convolutional, CONV) 레이어는 입력 이미지의 일부 영역과 연결되며, 이 연결된 영역과 자신의 가중치의 내적 연산(dot product)을 계산할 수 있다.

ReLU(rectified linear unit) 레이어는 max(0,x)와 같이 각 요소에 적용되는 액티베이션 함수(activation function)이다. ReLU 레이어는 볼륨의 크기를 변화시키지 않는다.

POOLING 레이어는 (가로, 세로) 차원에 대해 다운샘플링(downsampling) 또는 서브샘블링(subsampling)을 수행하여 감소된 볼륨을 출력할 수 있다.

그리고, 전연결(fully-connected, FC) 레이어는 클래스 점수들을 계산해 예컨대 [1x1x10]의 크기를 갖는 볼륨을 출력할 수 있다. 이 경우, 10개 숫자들은 10개 카테고리에 대한 클래스 점수에 해당한다. 전연결 레이어는 이전 볼륨의 모든 요소와 연결된다.

여기서, 어떤 레이어는 모수(parameter)를 갖지만 어떤 레이어는 모수를 갖지 않을 수 있다. CONV/FC 레이어들은 액티베이션 함수로서 단순히 입력 볼륨만이 아니라 가중치(weight)와 바이어스(bias)를 포함할 수 있다. 한편, ReLU/POOLING 레이어들은 고정된 함수로서, CONV/FC 레이어의 모수들은 각 이미지에 대한 클래스 점수가 해당 이미지의 레이블과 같아지도록 그라디언트 디센트(gradient descent)로 학습될 수 있다.

중증도 추출부(500)는, 뇌동맥류 중증도 추출부, 뇌혈관 질환 증증도 추출부, 또는 뇌출혈 가능 확률 추출부로 지칭될 수 있으며, 병변정보 추출부(300)에서 추출된 병변 정보로부터 분류기를 활용하여 뇌동맥류 중증도나 뇌출혈 가능 확률(stroke probability)을 계산할 수 있다. 여기서, 분류기는 FCN(fully connectivity network) 기법을 이용하여 영상에서 국소적인 특징을 추출할 수 있다.

또한, 중증도 추출부(500)는 표시부에 연결되어 자동 진단된 뇌동맥류나 뇌혈관 질병에 대한 병변의 크기, 위치, 부피 및 중증도를 화면에 표시할 수 있고, 입출력 장치를 통해 사용자나 의사로부터 받은 입력 신호에 따라 출력 데이터의 배열, 위치, 기준값 등을 변환하여 표시부에 제공하도록 구현될 수 있다.

또한, 중증도 추출부(500)는 3차원 MR TOF 데이터에서 사용자나 의사에 의해 지정된 일부 병변 정보와 일치하거나 차이를 가지는 자동 진단 병변 정보를 제공할 수 있다.

전술한 뇌질환 진단 시스템의 데이터처리부(10)의 작동 원리를 도 7을 참조하여 설명하면 다음과 같다.

먼저, 병변영역 추출부는 다중 혈관투영영상으로부터 뇌동맥류 병변 영역을 추출한다(S71). 본 단계에서 병변영역 추출부는 3차원 MR TOF 데이터를 처리하여 다중 혈관투영영상를 생성할 수 있으나, 이에 한정되지는 않는다. 병변영역 추출부는 다중 혈관투영영상을 생성하는 별도의 영상처리 기능을 구비하는 투영영상 생성부로부터 다중 혈관투영영상을 제공받을 수 있다. 여기서 영상처리 기능은 3차원 MR TOF 데이터로부터 MIP(maximum intensity projection) 방식을 이용하여 미리 설정된 뇌동맥류나 뇌혈관 질환에 대한 병변 혹은 병변 영역을 육면체 형태의 병변 후보 볼륨으로 생성하는 것을 포함한다.

다음, 병변정보 추출부는 병변 영역의 2차원 투영영상들 각각으로부터 딥러닝 구조를 이용하여 병변 정보를 추출한다(S72). 본 단계에서 병변정보 추출부는 딥러닝 구조의 학습결과에 따라 혹은 학습결과에 기초하여 다중 혈관투영영상으로부터 병변 정보를 추출할 수 있다.

일례로, 다중 혈관투영영상의 각 투영영상으로부터 추출되는 병변 정보는 병변 후보 볼륨 내 병변 후보에 대한 딥러닝 학습결과가 기준값 이상일 때, (혹은 구현에 따라 기준값 이하일 때) 해당 병변 후보를 병변으로 판단하고, 해당 병변에 대한 정보를 추출하도록 구현될 수 있다.

특히, 본 실시예의 병변정보 추출부는 6개 이상의 투영영상들을 하나의 복셀 혹은 기준단위 셋으로 설정하고, 하나의 기준단위 셋의 각 투영영상에 대한 학습결과의 전체 평균, 최고와 최저를 제외한 학습결과의 평균, 학습결과의 값이 큰 순서대로 일정 개수의 평균 등에서 선택되는 적어도 어느 하나의 방식을 적용하여 병변 후보를 병변으로 판단하도록 이루어질 수 있다. 이러한 6개 이상의 2차원 투영영상들을 이용하면, 3차원 투영영상을 통해 학습시간을 단축하고 학습결과의 효과적으로 조합하여 진단 정확도를 향상시킬 수 있는 효과가 있다.

여기서, 병변의 크기는 투영영상들의 병변 후보들 중 특정 병변 후보의 최대 직경이거나 병변 후보들의 최대 직경들의 평균일 수 있다.

병변의 위치는 병변의 크기로부터 병변을 추정되는 병변 후보의 3차원 좌표를 포함할 수 있다. 병변, 병변 영역 또는 병변 후보의 3차원 좌표는 3차원 MR TOF 데이터를 생성할 때 MRI 장비에서 각 영상에 저장하는 좌표를 이용하여 추출할 수 있다. 이러한 좌료 정보는 병변영역을 추출할 때나 병변정보를 추출할 때 동일하게 포함되거나 이를 기준으로 추가 설정될 수 있다.

병변의 부피는 병변의 크기로부터 병변을 추정되는 병변 후보에 대한 3차원 직교좌표계에 대응하는 6개의 투영영상들 중 적어도 3개의 2차원 투영영상들에서 병변의 2차원 부피에 기초하여 계산될 수 있다.

또한, 병변의 부피는 동일한 방향에서 시간 또는 깊이 차이를 갖고 추출한 복수의 2차원 단면영상들에서 각 단면 영상에서의 2차원 병변 부피를 더한 값으로 계산될 수 있다. 이러한 복수의 2차원 단면영상들은 3차원 MR TOF 데이터에서 대응 병변 영역을 가진 영상에서 해당 병변의 부피를 더하거나 적분함으로써 계산될 수 있다.

다음, 중증도 추출부는 병변 정보로부터 정량적 중증도를 추출한다(S73). 중증도 추출부는 병변 정보에 포함된 뇌동맥류나 뇌혈관 질환의 병변의 크기, 위치 및 부피에 기초하여 뇌동맥류의 중증도나 뇌졸중 가능 확률을 계산할 수 있다.

중증도의 계산에 있어서, 중증도 추출부는, 자체 연구에 따라 미리 설정되거나, 딥러닝 학습을 통해 미리 설정되거나, 국내 혹은 국제 기준에 따라 미리 설정된 중증도 단계들을 기준으로 중증도를 추출할 수 있다. 중증도는 원 등의 소정 모양 내 색상이나 색상의 진하기로 표시되거나, 백분율로 표시되거나, 미리 설정된 복수의 등급 중 어느 하나로 표시될 수 있다.

도 8은 도 6의 혈관투영영상으로부터 추출된 병변 정보를 토대로 중증도를 추출하는 과정을 설명하기 위한 예시도이다. 도 9는 도 8의 병변 정보에 따른 뇌질환을 진단하여 표시하는 뇌혈관 이미지에 대한 예시도이다. 그리고, 도 10은 뇌질환의 하나인 뇌동맥류의 주요 발생 위치를 설명하기 위한 도면이다.

도 8을 참조하면, 본 실시예에 따른 뇌질환 진단 시스템에서 중증도 추출부는 추출된 병변 정보를 입출력 장치(700)를 통해 출력할 수 있다. 입출력 장치(700)는 넓은 의미에서 뇌질환 진단 시스템으로부터 받는 병변 정보 등을 출력할 수 있는 장치를 포함한다. 입출력 장치(700)는 뇌질환 진단 시스템에 연결되는 데스크탑 컴퓨터, 개인휴대단말기(PDA), 모바일 단말, 네트워크 단말, 서버 장치 중 적어도 어느 하나에서 해당 기능을 수행하는 적어도 일부의 수단이나 구성부로 대체될 수 있다.

입출력 장치(700)는 병변정보 추출부에서 추출된 각 투영영상(A1 내지 A6)의 병변(CA)을 각 투영영상에 표시할 수 있다. 또한, 입출력 장치(700)는 병변정보 추출부에서 추출된 병변정보 중 병변의 크기, 위치, 부피 및 뇌졸중 가능 확률을 기재된 순서대로 입출력 장치(700)의 화면 영역들(711, 712, 713, 714)을 표시할 수 있다.

또한, 입출력 장치(700)는 입력데이터, 병변영역, 학습정보, 병변 일반정보, 병변 크기 상세정보, 병변 위치 상세정보, 병변 부피 상세정보, 중증도 계산조건 등을 표시하는 관련 정보 및 설정 표시 영역(720)을 구비할 수 있다.

또한, 입출력 장치(700)는 데이터 출력이나 데이터 출력 포맷 변환 등을 위한 환경 설정용 사용자 인터페이스(730)를 구비할 수 있다.

본 실시예에 의하면, 입출력 장치(700)는 도 8의 병변 정보에 따라 뇌질환을 진단하고 뇌혈관 이미지(106) 상에 앞서 진단한 병변의 위치(108)를 표시할 수 있다(도 9 참조).

뇌혈관은, 도 10의 박스 영역(109) 내에 도시한 바와 같이, 뇌기저동맥(basilar artery, BV1), 후대뇌동맥(posterior cerebral artery, BV2), 후교통동맥(posterior communicating artery), 내경동맥(internal carotid artery, BV4), 중간대뇌동맥(middle cerebral artery, BV5), 전대뇌동맥(anterior cerebral artery, BV6) 및 전교통동맥(anterior communicating artery, BV7)를 포함하고, 뇌동맥류(CA1, CA2, CA3, CA4)는 상기 뇌혈관의 동맥들의 연결 부위 등에서 자주 발생하게 된다.

따라서, 본 실시예에서는 뇌동맥류의 호발부위에 대한 가중치를 병변 위치에 부여하여 병변 후보 볼륨의 생성이나 병변 후보의 학습이나 병변의 인식에 반영할 수 있다. 가중치는 뇌동맥류(CA1, CA2, CA3, CA4)에서 기재된 순서대로 제1 뇌동맥류(CA1)의 위치가 가장 작고 제4 뇌동맥류(CA4)의 위치가 가장 클 수 있다. 위치는 병변의 2차원 단면의 대략적인 중심점에 대응될 수 있다.

도 11은 본 발명의 다른 실시예에 따른 뇌질환 진단 시스템에 대한 블록도이다. 도 12는 도 11의 뇌질환 진단 시스템의 작동 원리를 설명하기 위한 흐름도이다.

도 11을 참조하면, 본 실시예에 따른 뇌질환 진단 시스템은 데이터처리부(10)를 포함하고, 데이터처리부(10)은 영상처리부(102), 투영영상 생성부(104), 딥러닝 학습부(200), 병변정보 추출부(300) 및 중증도 추출부(500)를 포함하여 이루어진다. 영상처리부(102)와 투영영상 생성부(104)는 병변영역 추출부(100)에 대응될 수 있다.

상기 구성요소들에 대하여 좀더 구체적으로 설명하면, 영상처리부(102)는 3차원 MR TOF 데이터로부터 MIP(maximum intensity projection) 방식이나 체적 렌더링(volume rendering) 방식을 이용하여 미리 설정된 사이즈로 육면체 형태의 병변 후보 볼륨을 생성할 수 있다. 영상처리부(102)는 3차원 MR TOF 데이터에서 미리 설정된 위치나 의사에 의해 지정되는 위치나 이러한 위치에 있는 병변 후보를 중심으로 병변 후보 볼륨을 생성할 수 있다. 병변 후보 볼륨은 병변 영역 추출과 딥러닝 학습에 이용하는 것과 병변 정보 추출에 있어 데이터 처리의 신속 및 효율을 고려하여 육면체 혹은 정육면체 형태를 구비할 수 있다.

투영영상 생성부(104)는 병변 후보 볼륨에서 6개 방향 이상의 혈관투영영상들을 기본단위 셋 또는 하나의 복셀로 생성할 수 있다. 여기서, 6개 방향은 육면체의 각 면과 직교하는 방향을 포함할 수 있다. 투영영상 생성부(104)는 병변 후보 볼륨을 회전시키면서 복수 방향에서의 투영영상을 생성할 수 있다.

더욱이, 본 실시예에 따른 투영영상 생성부(104)는 복수의 투영영상들의 생성 시 병변 후보 볼륨을 회전시키면서 얻은 사전 투영영상들 혹은 더미 투영영상들에서 투영 영상에 병변 후보의 크기나 부피가 가장 큰 회전 각도에서 6개 방향의 투영영상을 획득하도록 구현될 수 있다.

딥러닝 학습부(200)는 도 6에 도시한 딥러닝 아키텍처를 이용할 수 있으나, 이에 한정되지는 않는다. 학습의 정확도를 높이기 위한 다양한 방법이 추가로 채용될 수 있다. 다만, 딥러닝 학습부(200)는 6개 방향 이상의 투영영상들 각각에 대해 합성곱 신경망(convolutional neural network, CNN), 디컨볼루션(deconvolution) 및 스킵 컨넥션(skip connection)을 사용하여 학습결과 또는 이에 대응하는 인공지능 진단결과를 출력할 수 있다.

병변정보 추출부(300)는 딥러닝 학습부(200)에서의 학습결과나 인공지능 진단결과에 기초하여 병변 또는 병변 영역과 상기 병변 영역에 포함된 병변 후보에 대한 병변 정보를 출력할 수 있다.

중증도 추출부(500)는 병변정보 추출부(300)에서 추출된 병변 정보나 상기 병변 정보 내 병변 부피로부터 분류기를 활용하여 병변의 크기(size), 위치(location), 부피(volume), 뇌동맥류 중증도 수치 또는 뇌출혈 가능 확률(stroke probability)을 계산할 수 있다.

병변정보 추출부(300) 및 중증도 추출부(500)의 기타 구성이나 작동 원리는 전술한 실시예의 대응 구성요소와 실질적으로 동일하므로 설명의 중복을 피하기 위해 여기서는 그 상세설명을 생략하기로 한다.

전술한 뇌질환 진단 시스템의 작동 과정을 도 12을 참조하여 설명하면 다음과 같다.

먼저, 병변영역 추출부는 혈관투영영상으로부터 뇌동맥류 병변영역을 추출한다(S121).

다음, 딥러닝 학습부는 추출된 병변영역의 2차원 투영영상들 각각으로부터 뇌질환 병변 즉, 뇌동맥류나 뇌혈관 질환에 대한 병변을 학습한다(S122).

다음, 병변정보 추출부는 학습된 뇌질환 병변에 기초하여 2차원 투영영상들로부터 병변정보를 추출한다(S123).

다음, 중증도 추출부는 병변 정보로부터 정량적 중증도를 추출한다(S124).

도 13은 본 발명의 또 다른 실시예에 따른 뇌질환 진단 시스템에 대한 블록도이다.

도 13을 참조하면, 본 실시예에 따른 뇌질환 진단 시스템은 데이터처리부(10) 및 통신서브시스템을 포함하고, 데이터처리부(10)는 병변영역 추출부(100), 병변정보 추출부(300) 및 중증도 추출부(500)를 포함하여 이루어진다. 통신서브시스템은 영상획득부(8)에 포함될 수 있다.

뇌질환 진단 시스템은 통신서브시스템을 통해 네트워크에 연결되고, 네트워트 상에서 연결되는 딥러닝 학습정보 제공장치(200a)와 신호 및 데이터를 송수신할 수 있다. 딥러닝 학습정보 제공장치(200a)는 네트워크를 통해 의료 영상 제공 장치, 의료 영상 저장 장치, MRI 등의 의료 장비에 연결될 수 있고, 3차원 MR TOF 데이터를 획득하여 딥러닝 학습을 수행할 수 있다.

뇌질환 진단 시스템은 병변영역 추출부(100)에서 생성한 다중 혈관투영영상을 딥러닝 학습정보 제공장치(200a)에 제공하고, 딥러닝 학습정보 제공장치(200a)로부터 하나의 복셀에 포함된 6개 이상의 투영영상들 각각에 대한 학습정보나 학습결과를 수신할 수 있다.

전술한 경우, 병변정보 추출부(100)는 딥러닝 아키텍처나 인공지능 아키넥처를 포함하지 않으므로 그 구성을 간소화할 수 있는 장점이 있다. 또한, 뇌질환 진단 서비스를 제공하는 서비스 제공자는 뇌질환 진단 시스템이나 MRI 장비로부터 3차원 MR TOF 데이터를 받고, 딥러닝 학습을 수행한 후 학습정보를 뇌질환 진단 시스템에 제공하도록 동작할 수 있다.

한편, 구현에 따라서 뇌질환 진단 서비스를 제공하는 서비스 제공자는 병변영역 추출부와 딥러닝 학습부를 구비한 딥러닝 학습정보 제공장치(200a)를 포함하도록 구현될 수 있다. 이 경우, 딥러닝 학습정보 제공장치(200a)는 네트워크를 통해 연결되는 클라이언트 단말이나 사용자 단말에 딥러닝 학습 정보를 제공함으로써 클라이언트 단말이나 사용자 단말에서 간편하게 병변정보를 추출하거나 표시하고 중증도를 출력하도록 구현될 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (11)

1. 병변영역 추출부 및 병변정보 추출부를 포함하는 뇌질환 진단 시스템에 의해 수행되는 뇌질환 진단 방법으로서,
   상기 병변영역 추출부에 의해, 혈관 정보를 포함하는 의료영상 데이터로부터 생성된 다중 혈관투영영상을 획득하는 단계;
   상기 뇌질환 진단 시스템에 포함되거나 연결되는 딥러닝 학습부에 의해, 상기 다중 혈관투영영상의 복수의 혈관투영영상들 각각으로부터 딥러닝 구조를 이용하여 뇌혈관 질환의 병변 영역을 학습하는 단계; 및
   상기 병변정보 추출부에 의해, 상기 딥러닝 학습부에서 학습된 뇌혈관 질환의 병변 영역에 기초하여 상기 다중 혈관투영영상으로부터 병변 부피를 포함한 병변 정보를 추출하는 단계;
   를 포함하며,
   상기 획득하는 단계는, 상기 의료영상 데이터에서 병변 후보를 포함하는 병변 후보 볼륨을 생성하고 상기 병변 후보 볼륨에서 6개 방향 이상의 혈관투영영상들을 기본단위 셋 또는 하나의 복셀로 하여 상기 다중 혈관투영영상을 생성하며,
   상기 추출하는 단계는, 상기 학습하는 단계를 통해 얻어지고 상기 혈관투영영상들 각각에서 투영되는 병변 후보의 크기나 위치에 따라 선택되는 적어도 일부의 혈관투영영상들의 병변 정보를 토대로 상기 병변 부피를 계산하는 뇌질환 진단 방법.
2. 청구항 1에 있어서,
   상기 획득하는 단계는, 상기 의료영상 데이터로부터 MIP(maximum intensity projection) 방식이나 체적 렌더링(volume rendering) 방식을 이용하는, 뇌질환 진단 방법.
3. 청구항 2에 있어서,
   상기 학습하는 단계는, 상기 6개 방향 이상의 투영영상들 각각에 대해 합성곱 신경망(convolutional neural network, CNN), 디컨볼루션(deconvolution) 및 스킵 컨넥션(skip connection)을 사용하는 딥러닝 학습이나 인공지능으로 병변 영역을 학습하거나, 딥러닝 또는 인공지능 아키텍처를 통해 상기 병변 영역을 학습하는 장치로부터 상기 6개 방향 이상의 투영영상들에 대한 딥러닝 학습정보를 제공받는, 뇌질환 진단 방법.
4. 청구항 3에 있어서,
   상기 학습하는 단계는 상기 6개 방향 이상의 혈관투영영상들 각각에 대한 병변 영역의 학습을 동시에 혹은 상호 연관하여 수행하고 상기 6개 방향 이상의 혈관투영영상들을 포함한 복셀에 대한 학습결과를 출력하는, 뇌질환 진단 방법.
5. 청구항 1에 있어서,
   상기 추출하는 단계는, 상기 학습결과에 따른 상기 6개 방향 이상의 혈관투영영상들 각각의 병변 후보를 병변으로 판단하고 상기 병변에 대한 투영 정보의 2차원 면적에 기초하여 상기 병변의 부피를 추출하며,
   상기 추출하는 단계 후에, 상기 뇌질환 진단 시스템에 포함되거나 연결되는 중증도 추출부에 의해 상기 병변의 크기, 위치 및 부피를 포함하는 병변 정보로부터 뇌혈관 질환의 정량적 중증도를 추출하는 단계를 더 포함하는, 뇌질환 진단 방법.
6. 청구항 1에 있어서,
   상기 추출된 병변 정보나 상기 병변 정보 내 병변의 크기(size), 위치(location) 및 부피(volume)로부터 분류기를 활용하여 뇌동맥류 중증도 또는 뇌출혈 가능 확률(stroke probability)을 계산하는 단계를 더 포함하는, 뇌질환 진단 방법.
7. 혈관 정보를 포함하는 의료영상 데이터로부터 생성된 다중 혈관투영영상을 획득하는 병변영역 추출부;
   상기 다중 혈관투영영상의 6개 방향 이상의 2차원 투영영상들 각각으로부터 딥러닝 구조를 이용하여 뇌혈관 질환의 병변 또는 병변 영역을 학습하는 딥러닝 학습부; 및
   상기 학습된 뇌혈관 질환의 병변에 기초하여 상기 6개 방향 이상의 2차원 투영영상들로부터 병변의 크기, 위치 및 부피를 포함한 병변 정보를 추출하는 병변정보 추출부;
   를 포함하며,
   상기 병변영역 추출부는, 상기 의료영상 데이터에서 병변 후보를 포함하는 병변 후보 볼륨을 생성하는 영상처리부와, 상기 병변 후보 볼륨에서 6개 방향 이상의 혈관투영영상들을 기본단위 셋 또는 하나의 복셀로 하여 상기 다중 혈관투영영상을 생성하는 투영영상 생성부를 구비하며,
   상기 병변정보 추출부는, 상기 딥러닝 학습부를 통해 얻어지고 상기 혈관투영영상들 각각에서 투영되는 병변의 크기나 위치에 따라 선택되는 적어도 일부의 혈관투영영상들의 병변 정보를 토대로 상기 병변의 부피를 계산하는 뇌질환 진단 시스템.
8. 청구항 7에 있어서,
   상기 영상처리부는 상기 의료영상 데이터로부터 MIP(maximum intensity projection) 방식이나 체적 렌더링(volume rendering) 방식을 이용하여 미리 설정된 사이즈로 육면체 형태의 병변 후보 볼륨을 생성하는, 뇌질환 진단 시스템.
9. 청구항 7에 있어서,
   상기 병변정보 추출부는, 상기 6개 방향 이상의 혈관투영영상들 각각에 대해 합성곱 신경망(convolutional neural network, CNN), 디컨볼루션(deconvolution) 및 스킵 컨넥션(skip connection)을 사용하는 딥러닝 학습부나 인공지능의 학습결과에 기초하여 각 혈관투영영상의 병변 후보를 병변으로 판단하고 상기 병변 또는 상기 병변을 포함하는 병변 영역에 대한 병변 정보를 출력하는, 뇌질환 진단 시스템.
10. 청구항 7 또는 9에 있어서,
    상기 병변 정보로부터 뇌동맥류에 대한 정량적 중증도를 추출하는 중증도 추출부를 더 포함하며, 여기서 상기 중증도 추출부는 상기 병변 정보에 포함된 병변의 크기, 위치 및 부피로부터 분류기를 이용하여 뇌출혈 가능 확률을 계산하는, 뇌질환 진단 시스템.
11. 적어도 하나의 프로세서를 포함하며, 상기 프로세서는,
    상기 프로세서에 연결된 저장부에 저장되는 병변영역 추출부를 수행함으로써, 혈관 정보를 포함하는 의료영상 데이터로부터 MIP(maximum intensity projection) 방식이나 체적 렌더링(volume rendering) 방식을 이용하여 미리 설정된 사이즈로 육면체 형태의 병변 후보 볼륨을 생성하고, 상기 병변 후보 볼륨에서 6개 방향 이상의 투영영상들을 기본단위 셋 또는 하나의 복셀로 하는 다중 혈관투영영상을 생성하고,
    상기 저장부에 저장되거나 상기 프로세서에 연결되는 딥러닝 학습부에 의해,상기 다중 혈관투영영상의 혈관투영영상들 각각으로부터 딥러닝 구조를 이용하여 뇌동맥류 병변을 학습하고,
    상기 저장부에 저장되는 병변정보 추출부를 수행함으로써, 상기 딥러닝 학습부에서 학습된 뇌동맥류 병변에 대한 각 혈관투영영상에 기초하여 상기 다중 혈관투영영상으로부터 뇌동맥류 병변의 부피를 포함하는 병변 정보를 추출하도록 이루어지는 뇌질환 진단 시스템.

Images