KR102095731B1

KR102095731B1 - 딥러닝 기반의 보조 진단 시스템의 mra 영상 학습 방법 및 혈관 병변 보조 진단 방법

Info

Publication number: KR102095731B1
Application number: KR1020190075682A
Authority: KR
Inventors: 최우식; 김태규; 이용은; 김화평
Original assignee: 주식회사 딥노이드
Priority date: 2019-06-25
Filing date: 2019-06-25
Publication date: 2020-05-18

Abstract

본 발명은 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법 및 혈관 병변 보조 진단 방법에 관한 것이다. 본 발명에 따른 혈관 병변 진단을 위한 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법은 혈관 병변이 레이블링된 MRA 영상이 상기 보조 진단 시스템에 입력되는 영상 입력 단계와; 상기 보조 진단 시스템에 의해 상기 MRA 영상으로부터 혈관 영역이 추출되는 혈관 추출 단계와; 상기 보조 진단 시스템에 의해 상기 혈관 영역을 따라 기 설정된 사이즈의 복수의 3차원 큐브 영역이 추출되는 큐브 추출 단계와; 상기 보조 진단 시스템에 의해 상기 MRA 영상의 레이블에 기초하여, 복수의 상기 3차원 큐브 영역이 양성 큐브와 음성 큐브로 분류되는 학습 데이터 추출 단계와; 상기 보조 진단 시스템에 의해 상기 양성 큐브와 상기 음성 큐브가 학습 데이터로 하여 학습되어 학습 모델이 생성되는 모델 생성 단계를 포함하는 것을 특징으로 한다. 이에 따라, 혈관을 3차원 큐브 단위로 학습 및 진단하여 혈관 내부에서 혈관을 바라보는 것과 같은 방법으로 학습 및 진단이 이루어져 간단하면서도 정확하게 뇌동맥류와 같은 병변의 진단이 가능하게 된다.

Description

딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법 및 혈관 병변 보조 진단 방법{MRA IMAGE LEARNING METHOD AND ASSISTANCE DIAGNOSIS METHOD FOR BLOOD VESSEL LESION OF DEEP LEARNING BASED ASSISTANCE DIAGNOSIS SYSTEM}

본 발명은 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법 및 혈관 병변 보조 진단 방법에 관한 것으로서, 보다 상세하게는 뇌동맥류와 같은 혈관 병변을 딥러닝 기반의 학습 모델을 통해 판독할 수 있는 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법 및 혈관 병변 보조 진단 방법에 관한 것이다.

현대 의학에서 효과적인 질병의 진단 및 환자의 치료를 위해 의료 영상은 매우 중요한 도구이다. 또한, 영상 기술 발달은 더욱 정교한 의료 영상 데이터를 획득 가능하게 하고 있다. 이러한 정교함의 대가로 데이터의 양은 점차 방대해지고 있어 의료 영상 데이터를 인간의 시각에 의존하여 분석하는 데 어려움이 많다. 이에, 최근 십여 년 동안 임상 의사 결정 지원 시스템 및 컴퓨터 보조 판독 시스템은 의료 영상 자동 분석에 있어서 필수적인 역할을 수행하여 왔다.

종래의 임상 의사 결정 지원 시스템 또는 컴퓨터 보조 판독 시스템은 병변 영역을 검출하여 표시하거나 판독 정보를 의료진 또는 의료 종사자 등(이하 사용자)에게 제시한다.

일례로, 한국 공개특허 제10-2017-0017614호에 개시된 '의료 영상 기반의 질환 진단 정보 산출 방법 및 장치'에서는, 분석 대상 객체가 촬영된 관심 영역을 검출하고, 변동계수를 산출하고, 변동계수 이미지를 작성하고 이를 기준 샘플과 비교하는 단계를 포함하고, CT, MRI, MRa 및 초음파 영상 촬영 장치 등을 통해 획득된 의료 영상을 활용하여 환자의 질환 정도를 진단하는 효과를 언급하고 있다.

특히, 근래에 딥러닝(Deep learning)과 같은 기계 학습(Machine learning)을 기반으로 하는 인공지능(AI) 기술은 의료 영상을 이용하여 환자의 질병을 판독하는데 있어 비약적인 발전을 가져오는데 바탕이 되고 있다.

딥러닝이란 사람의 신경세포(Biological Neuron)를 모사하여 기계가 학습하도록 하는 인공신경망(Artificial Neural Network) 기반의 기계 학습법을 의미한다. 최근, 딥러닝 기술은 이미지 인식 분야에서 비약적으로 발전하고 있고, 의료 영상을 이용한 판독 분야에서도 널리 사용되고 있다.

의료 영상에서의 딥러닝 기술은 질병을 포함하는 다수의 의료 영상과 해당 질병을 학습 데이터로 하여 기계 학습이 진행되어 기계 학습 모델(이하, '판독 모델'이라 함)이 생성되고, 판독 대상 의료 영상이 판독 모델에 입력되면 병변 여부를 진단하게 된다.

상기와 같이, 딥러닝 기반의 기계 학습법은 판독 모델을 생성하는데 사용되는 학습 데이터, 예컨대, 다수의 병변 영상과 다수의 정상 영상을 수집하고, 수집된 병변 영상과 정상 영상을 학습하여 생성된 판독 모델이 새로이 입력된 판독 대상 의료 영상의 병변 여부를 판독하게 되는 바, 다양하면서도 많은 학습 데이터가 학습에 사용될 때 판독 결과의 정확성을 높일 수 있다. 뿐만 아니라, 판독 대상 의료 영상이 학습 데이터와 유사할 때, 판독 결과의 정확성이 높아질 수 있다.

상기와 같은 딥러닝 기반의 보조 진단 시스템은 혈관 병변, 예컨대 뇌동맥류와 같은 질병을 진단하는데에도 그 적용이 요구되고 있다. 도 1은 MRA 영상을 기반으로 획득된 뇌혈관의 3차원 영상의 예를 나타낸 도면이다.

도 1에 도시된 바와 같이, 혈관, 특히 뇌혈관의 경우, 보는 방향에 따라 그 형상이 다르게 나타나고 있어, 뇌동맥류의 경우 보는 방향에 따라 정상으로 보일 수 있어, 판독의 정확성을 높이는데 한계가 있다. 이를 보완하기 위해서는 뇌혈관 영상에서 모든 방향에서 영상을 취득하여 학습시키고, 또한 실제 진단 과정에서도 모든 방향에서 뇌혈관 영상을 취득하여 이를 진단하여야 하는 문제점이 있다.

특히, 뇌혈관 전체 영역에서 뇌동맥류가 발생했는지 여부를 검사하게 되면, 뇌혈관 전체 영역을 단위 영역으로 구분하고, 해당 영역마다 모든 방향에서 영상을 취득하고 이를 진단하여야 하는 문제점이 있다.

이에, 본 발명은 상기와 같은 문제점을 해소하기 위해 안출된 것으로서, 혈관을 3차원 큐브 단위로 학습 및 진단하여 보다 간단하면서도 정확하게 뇌동맥류와 같은 병변의 진단이 가능한 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법 및 혈관 병변 보조 진단 방법을 제공하는데 그 목적이 있다.

상기 목적은 본 발명에 따라, 혈관 병변 진단을 위한 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법에 있어서, 혈관 병변이 레이블링된 MRA 영상이 상기 보조 진단 시스템에 입력되는 영상 입력 단계와; 상기 보조 진단 시스템에 의해 상기 MRA 영상으로부터 혈관 영역이 추출되는 혈관 추출 단계와; 상기 보조 진단 시스템에 의해 상기 혈관 영역을 따라 기 설정된 사이즈의 복수의 3차원 큐브 영역이 추출되는 큐브 추출 단계와; 상기 보조 진단 시스템에 의해 상기 MRA 영상의 레이블에 기초하여, 복수의 상기 3차원 큐브 영역이 양성 큐브와 음성 큐브로 분류되는 학습 데이터 추출 단계와; 상기 보조 진단 시스템에 의해 상기 양성 큐브와 상기 음성 큐브가 학습 데이터로 하여 학습되어 학습 모델이 생성되는 모델 생성 단계를 포함하는 것을 특징으로 하는 혈관 병변 진단을 위한 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법에 의해서 달성된다.

여기서, 상기 MRA 영상은 뇌혈관을 촬영한 MRA 영상을 포함하며; 상기 혈관 병변은 뇌동맥류를 포함할 수 있다.

또한, 상기 혈관 추출 단계는 상기 MRA 영상을 세그멘테이션하여 바이너리 영상이 생성되는 세그멘테이션 단계와; 상기 바이너리 영상으로부터 기 등록된 골격화 기법을 통해 스켈레톤 커브가 추출되는 1차 골격 추출 단계와; 상기 스켈레톤 커브가 큐빅 스무딩 스플라인(Cubic smoothing spline) 기법에 적용되어 스플라인 커브가 추출되어 상기 혈관 영역으로 추출되는 2차 골격 추출 단계를 포함할 수 있다.

그리고, 상기 혈관 추출 단계는 상기 1차 골격 추출 단계 이전에 플러드 필 알고리즘(Flood fill algorithm)을 이용하여 상기 바이너리 영상으로부터 혈관 이외의 잔가지 영역이 제거되는 노이즈 제거 단계를 더 포함할 수 있다.

그리고, 상기 큐브 추출 단계에서는 복수의 상기 3차원 큐브 영역이 상기 혈관 영역을 따라 중첩되게 추출될 수 있다.

또한, 상기 큐브 추출 단계는 상기 스플라인 커브를 따라 기 설정된 간격의 기준점을 기준으로 기 설정된 크기의 접선 벡터(Tangent vector), 법선 벡터(Normal vector), 및 종법선 벡터(Binormal vector)가 산출되는 단계와; 각각의 상기 기준점에서 해당 기준점의 접선 벡터(Tangent vector), 법선 벡터(Normal vector), 및 종법선 벡터(Binormal vector)에 기초하여 상기 3차원 큐브 영역이 추출되는 단계를 포함할 수 있다.

그리고, 상기 학습 데이터 추출 단계는 상기 MRA 영상의 레이블에 기초하여 전체 MRA 영상 내에서 혈관 병면에 속하는 전체 점의 개수가 전체 병변 점 개수로, 각각의 상기 3차원 큐브 영역 내에서 혈관 병변에 속하는 점의 개수가 큐브 병변 점 개수로 산출되는 단계와; 상기 전체 병변 점 개수 대비 상기 큐브 병변 점 개수가 기 설정된 비율 이상인 경우, 해당 3차원 큐브 영역이 상기 양성 큐브로 분류되는 단계와; 상기 전체 병변 점 개수 대비 상기 큐브 병변 점 개수가 기 설정된 비율 이하인 경우, 해당 3차원 큐브 영역이 상기 음성 큐브로 분류되는 단계를 포함할 수 있다.

그리고, 상기 음성 큐브로 추출되는 단계에서는 비율이 0으로 설정될 수 있다.

한편, 상기 목적은 본 발명의 또 다른 실시 형태에 따라, 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법에 있어서, (a) 제1항 내지 제8항 중 어느 한 항에 따른 MRA 영상 학습 방법을 통해 상기 보조 진단 시스템에 학습 모델이 생성되는 단계와; (b) 측정 대상 MRA 영상이 상기 보조 진단 시스템에 입력되는 단계와; (c) 상기 보조 진단 시스템에 의해 상기 측정 대상 MRA 영상으로부터 혈관 영역이 추출되는 단계와; (d) 상기 보조 진단 시스템에 의해 상기 (c) 단계에서 추출된 상기 혈관 영역을 따라 상기 MRA 영상 학습 방법의 상기 큐브 추출 단계에 대응하는 사이즈의 복수의 3차원 큐브 영역이 추출되는 단계와; (e) 상기 (a) 단계를 통해 생성된 상기 학습 모델에 의해 상기 (d) 단계에서 추출된 각각의 상기 3차원 큐브 영역이 양성 큐브인지 음성 큐브인지 판단되는 단계와; (f) 상기 보조 진단 시스템에 의해 상기 (e) 단계의 판단 결과에 기초하여, 상기 측정 대상 MRA 영상 내에서 혈관 병변이 추출되는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법에 의해서도 달성된다.

또한, 상기 (c) 단계는 (c1) 상기 MRA 영상을 세그멘테이션하여 바이너리 영상이 생성되는 단계와; (c2) 상기 (c1) 단계에서 추출된 상기 바이너리 영상으로부터 기 등록된 골격화 기법을 통해 스켈레톤 커브가 추출되는 단계와; (c3) 상기 (c2) 단계에서 추출된 상기 스켈레톤 커브가 큐빅 스무딩 스플라인(Cubic smoothing spline) 기법에 적용되어 스플라인 커브가 추출되어 상기 혈관 영역으로 추출되는 단계를 포함할 수 있다.

여기서, 상기 (c) 단계는 상기 (c2) 단계 이전에 플러드 필 알고리즘(Flood fill algorithm)을 이용하여 상기 바이너리 영상으로부터 혈관이외의 잔가지 영역이 제거되는 단계를 더 포함할 수 있다.

또한, 상기 (d) 단계에서는 복수의 상기 3차원 큐브 영역이 상기 혈관 영역을 따라 중첩되게 추출될 수 있다.

그리고, 상기 (d) 단계는 상기 스플라인 커브를 따라 기 설정된 간격의 기준점을 기준으로 기 설정된 크기의 접선 벡터(Tangent vector), 법선 벡터(Normal vector), 및 종법선 벡터(Binormal vector)가 산출되는 단계와; 각각의 상기 기준점에서 해당 기준점의 접선 벡터(Tangent vector), 법선 벡터(Normal vector), 및 종법선 벡터(Binormal vector)에 기초하여 상기 3차원 큐브 영역이 추출되는 단계를 포함할 수 있다.

그리고, 상기 (f) 단계는 상기 (e) 단계에서 상기 양상 큐브 또는 상기 음성 큐브인지 여부에 따라 각각의 상기 3차원 큐브 영역의 각 점에 가중치가 부여되는 단계와; 각각의 상기 3차원 큐브 영역을 구성하는 점들이 상기 측정 대상 MRA 영상 내의 해당 위치에서 중첩되는 단계와; 중첩된 점들의 가중치가 합산되어 가중치 합산값이 산출되는 단계와; 상기 가중치 합산값이 기 설정된 기준값 이상인 점이 혈관 병변으로 추출되는 단계를 포함할 수 있다.

상기와 같은 구성에 따라, 본 발명에 따르면, 혈관을 3차원 큐브 단위로 학습 및 진단하여 보다 간단하면서도 정확하게 뇌동맥류와 같은 병변의 진단이 가능한 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법 및 혈관 병변 보조 진단 방법이 제공된다.

도 1은 MRA 영상을 기반으로 획득된 뇌혈관의 3차원 영상의 예를 나타낸 도면이고,
도 2는 본 발명에 따른 딥러닝 기반의 보조 진단 시스템의 구성을 나타낸 도면이고,
도 3은 본 발명에 따른 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법의 흐름도이고,
도 4 내지 도 8은 본 발명에 따른 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법을 설명하기 위한 도면이고,
도 9는 본 발명에 따른 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법의 흐름도이고,
도 10 및 도 11은 본 발명에 따른 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.

도 1은 본 발명에 따른 딥러닝 기반의 병변 판독 시스템의 구성을 나타낸 도면이다. 도 1을 참조하여 설명하면, 본 발명에 따른 딥러닝 기반의 병변 판독 시스템은 혈관 추출 모듈(120), 큐브 추출 모듈(130), 학습 데이터 추출 모듈(140), 학습 모듈 및 메인 프로세서(160)를 포함한다. 또한, 본 발명에 따른 딥러닝 기반의 병변 판독 시스템은 영상 인터페이스부(110)를 포함한다.

영상 인터페이스부(110)는 학습 데이터로 사용될 MRA 영상을 입력받거나, 진단 대상 MRA 영상을 입력받는다. 여기서, 학습 데이터로 사용될 MRA 영상은 전문의에 의해 혈관 병변이 레이블링된 영상으로 NIfTI 포맷 형태의 영상을 포함할 수 있으며, 진단 대상 MRA 영상은 레이블링되지 않은 DICOM 포맷의 영상을 포함할 수 있다. 본 발명에서는 학습 데이터나 진단 대상이 되는 영상은 혈관에 특화된 MRA 영상인 것을 예로 한다.

혈관 추출 모듈(120)은 MRA 영상으로부터 혈관 영역을 추출한다. 본 발명에서는 혈관 추출 모듈(120)이, 도 2에 도시된 바와 같이, 세그멘테이션 모듈(121), 스켈레톤 커브 추출 모듈(122) 및 스플라인 커브 추출 모듈(123)을 포함하는 것을 예로 한다.

세그멘테이션 모듈(121)은 MRA 영상을 세그멘테이션 하여 바이너리 영상을 생성한다. 그리고, 스켈레톤 커브 추출 모듈(122)은 바이너리 영상으로부터 기 등록된 골격화 기법을 통해 스켈레톤 커브를 추출한다. 그리고, 스플라인 커브 추출 모듈(123)은 스켈레톤 커브를 큐빅 스무딩 스플라인(Cubic smoothing spline) 기법에 적용하여 스플라인 커브를 추출하는데, 스플라인 커브 추출 모듈(123)에 의해 추출된 스플라인 커브가 혈관 영역으로 추출된다.

여기서, 혈관 추출 모듈(120)에 의해 혈관 영역이 추출되는 구체적인 내용은 후술할 MRA 영상 학습 방법과 혈관 병변 보조 진단 방법에서 구체적으로 설명한다.

큐브 추출 모듈(130)은 혈관 추출 모듈(120)에 의해 추출된 혈관 영역, 예컨대, 상술한 스플라인 커브를 따라, 기 설정된 사이즈의 복수의 3차원 큐브 영역을 추출하는데, 이에 대한 상세한 설명은 후술할 MRA 영상 학습 방법과 혈관 병변 보조 진단 방법에서 구체적으로 설명한다.

학습 데이터 추출 모듈(140)은 본 발명에 따른 MRA 영상 학습 방법에서 MRA 영상의 레이블에 기초하여 복수의 3차원 큐브 영역을 양성 큐브와 음성 큐브로 분류하는데, 양성 큐브와 음성 큐브가 각각 학습 모델(150)의 학습 데이터로 입력된다. 여기서, 학습 데이터 추출 모듈(140)이 3차원 큐브 영역을 양성 큐브와 음성 큐브로 분류하는 방법에 대한 상세한 설명은 후술한다.

학습 모델(150)은 학습 데이터 추출 모듈(140)에 의해 분류되어 추출되는 양성 큐브와 음성 큐브를 학습 데이터로 하여 딥러닝 기반의 학습을 수행한다. 그리고, 학습 모델(150)은 혈관 병변 보조 진단 과정에서 측정 대상 MRA 영상으로부터 생성된 3차원 큐브 영역이 입력되면, 해당 3차원 큐브 영역이 양성 큐브인지 음성 큐브인지를 판단하는데 이에 대한 상세한 설명은 후술한다.

메인 프로세서(160)는 상술한 각 구성요소들을 제어하여, 본 발명에 따른 보조 진단 시스템이 레이블링된 MRA 영상을 이용하여 학습하고, 진단 대상 MRA 영상이 입력되면 해당 영상으로부터 뇌동맥류와 같은 병변이 존재하는지와 그 위치를 찾도록 제어한다.

이하에서는, 도 3 내지 도 8을 참조하여 본 발명에 따른 혈관 병변 진단을 위한 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법에 대해 상세히 설명한다.

먼저, 학습을 위해 혈관 병변이 레이블링된 MRA 영상이 영상 인터페이스부(110)를 통해 입력된다(S10). 도 4의 (a)는 입력된 MRA 영상의 예를 나타낸 도면으로, 도면에 도시된 바와 같이, MRA 영상은 단층 영상의 조합으로 구성된다.

MRA 영상이 입력되면, 입력된 MRA 영상으로부터 혈관 영역을 추출하기 위한 혈관 영역 추출 과정이 진행된다(S11). 먼저, 입력된 MRA 영상을 세그멘테이션하여 바이너리 영상이 생성된다(S111). 여기서, 세그멘테이션 과정은 특정값 이상의 영역은 1로, 나머지 영역은 0으로 하여 바이너리 영상을 생성하는데, MRA 영상의 경우 MRI를 기반으로 혈관을 강조한 영상으로 이와 같은 스레스홀딩(Thresholding) 방법만으로도 바이너리 영상을 쉽게 획득할 수 있다.

그런 다음, 바이너리 영상으로부터 기 등록된 골격화 기법을 통해 스켈레톤 커브(Skeletion curve)를 추출한다(S113). 본 발명에서는 스켈레톤 커브를 추출하는 과정 전에 잔가지 영역을 제거하는 과정(S112)을 먼저 수행하는 것을 예로 한다.

보다 구체적으로 설명하면, 도 4의 (c)는 바이너리 영상을 마칭 큐브 알고리즘(Marching cube algorithm)에 적용하여, 바이너리 영상으로부터 혈관 영역을 시각화한 예를 나타낸 도면이다. 도 4의 (c)에 도시된 바와 같이, MAR 영상을 세그멘테이션하여 바이너리 영상을 획득하는 경우, 해당 바이너리 영상에는 혈관 외에 잔가지들이 혈관으로 인식되는 경우가 발생한다.

이에, 본 발명에서는 3D 플러드 필 알고리즘(Flood fill algorithm)을 이용하여 바이너리 영상으로부터 혈관 이외의 잔가지 영역을 제거하는 과정을 추가적으로 거치는 것을 예로 한다.

도 4의 (c)는 3D 플러드 필 알고리즘(Flood fill algorithm)이 적용되어 잔가지가 제거된 상태의 바이너리 영상을 마칭 큐브 알고리즘(Marching cube algorithm)에 적용하여 혈관 영역을 시각화한 예를 나타내고 있다. 도 4의 (c)에 도시된 바와 같이, 3D 플러드 필 알고리즘(Flood fill algorithm)의 적용 전과 비교할 때 잔가지들이 효과적으로 제거되었음을 확인할 수 있다.

다시 도 3을 참조하여 설명하면, 잔가지가 제거된 바이너리 영상을 골격화(Skeletonization) 기법에 적용하여 바이너리 영상으로부터 스켈레톤 커브를 추출한다(S113). 여기서, 바이너리 영상으로부터 스켈레톤 커브를 추출하기 위한 골격화 기법은 기 공지된 다양한 알고리즘이 적용 가능한 바 그 상세한 설명은 생략한다. 도 5는 추출된 스켈레톤 커브의 예를 나타낸 도면으로, 앞서 설명한 마칭 큐브 알고리즘(Marching cube algorithm)을 통해 시각화된 혈관 이미지에 스켈레톤 커브를 오버랩시킨 예를 나타낸 도면이다.

그런 다음, 추출된 스켈레톤 커브를 상술한 바와 같이, 큐빅 스무딩 스플라인(Cubic smoothing spline) 기법에 적용하여 스플라인 커브를 추출한다(S114). 일반적으로 MRA 영상은 z축 방향으로의 간격이 다른 두 방향의 간격보다 넓어, 스켈레톤 커브를 추출할 때 도 6의 (a)에 도시된 바와 같이, 다소 거친 커브를 갖게 된다. 이 경우, 후술할 3차원 큐브 영역을 추출하는 과정에서 법선 평면을 획득하는 과정에서 영향을 받을 수 있는 바, 이를 완만하게 하는 것이 바람직하므로 큐빅 스무딩 스플라인(Cubic smoothing spline) 기법을 통해, 도 6의 (b)에 도시된 바와 같이 스플라인 커브를 추출하게 된다. 여기서, 스플라인 커브가 최종적인 혈관 영역으로 추출된다.

상기와 같은 과정을 통해, MRA 영상으로부터 혈관 영역으로 스플라인 커브가 추출되면, 혈관 영역, 즉 스플라인 커브를 따라 기 설정된 사이즈의 복수의 3차원 큐브 영역을 추출한다(S12). 여기서, 복수의 3차원 큐브 영역은 혈관 영역을 따라 상호 중첩되도록 추출된다.

보다 구체적으로 설명하면, 도 7에 도시된 바와 같이, 스플라인 커브를 따라 기 설정된 간격의 기준점 r(t)을 기준으로, 접선 벡터(Tangent vector) T(t), 법선 벡터(Normal vector) N(t), 및 종법선 벡터(Binormal vector) B(t)가 산출된다.

그런 다음, 각각의 기준점에서 해당 기준점의 접선 벡터(Tangent vector) T(t), 법선 벡터(Normal vector) N(t), 및 종법선 벡터(Binormal vector) B(t)에 기초하여, 도 8에 도시된 바와 같이, 3차원 큐브 영역이 추출된다. 본 발명에서는 일반적인 혈관의 사이즈를 고려하여, 3차원 큐브 영역의 사이즈가 16 mm ㅧ 16 mm ㅧ 16 mm로 설정되는 것을 예로 한다. 따라서, 기준점 간의 간격은 16 mm보다 작게 설정되어 인접한 3차원 큐브 영역들은 서로 중첩된다.

상기와 같이 3차원 큐브 영역들이 추출되면, 3차원 큐브 영상으로부터 학습 데이터를 추출하는 과정이 진행된다. 본 발명에서는 MRA 영상의 레이블에 기초하여, 3차원 큐브 영역이 양성 큐브인지 음성 큐브인지 분류하는 것을 예로 한다.

보다 구체적으로 설명하면, 전체 MRA 영상 내에서 혈관 병면에 속하는 전체 점의 개수를 전체 병변 점 개수로 산출한다. 그리고, 각각의 3차원 큐브 영역 내에서 혈관 병변에 속하는 점의 개수를 큐브 병변 점 개수로 산출한다(S13).

그리고, 전체 병변 점 개수 대비 큐브 병변 점 개수가 기 설정된 비율 이상인 경우(S14), 해당 3차원 큐브 영역이 양성 큐브로 분류된다. 반면, 전체 병변 점 개수 대비 큐브 병변 점 개수가 기 설정된 비율 이하인 경우(S14), 해당 3차원 큐브 영역이 음성 큐브로 분류된다. 본 발명에서는 음성 큐브로 분류되는 비율을 0으로 설정하는 것을 예로 하는데, 이는 3차원 큐브 영역이 병변을 전혀 포함하지 않은 상태를 음성 큐브, 즉 정상으로 분류하는 것을 예로 한 것이다.

또한, 본 발명에서는 양성 큐브로 분류하는 비율을 50%, 즉 0.5로 설정하는 것을 예로 하는데, 이 때, 비율이 0 < 비율 ≤ 0.5 사이인 3차원 큐브 영역은 학습 데이터에서 제외시킴으로써(S17), 보다 정확한 학습이 가능하게 된다.

상기와 같은 과정을 통해 음성 큐브와 양성 큐브의 추출이 완료되면, 추출된 양성 큐브와 음성 큐브를 학습 데이터로 하여 딥러닝 기반의 학습이 진행되고, 이러한 학습 과정을 통해 학습 모델(150)이 생성된다.

상기와 같이, 혈관에 대한 MRA 영상이 입력되면 혈관을 따라 3차원 큐브 영역을 추출하고, 추출된 3차원 큐브 영역에서 학습에 사용될 양성 큐브와 음성 큐브를 추출하게 되면, 3차원 큐브 영역 자체가 일정한 볼륨을 가지고 혈관 내부로부터 혈관을 바라보는 것과 같은 효과를 가지게 되어, 혈관을 촬영한 방향이나 학습 데이터의 방향과 무관하게 병변 여부의 학습이 가능하게 된다.

이하에서는, 도 9를 참조하여, 본 발명에 따른 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법에 대해 상세히 설명한다.

먼저, 측정 대상 MRA 영상이 입력되면(S30), 측정 대상 MRA 영상으로부터 혈관 영역이 추출된다(S31). 여기서, 진단 과정에서의 혈관 영역의 추출 과정은 세그멘테이션 과정(S311), 잔거지 영역 제거 과정(S312), 스켈레톤 커브 추출 과정(S313) 및 스플라인 커브 추출 과정(S314)이 진행되는데, 이는 전술한 학습 과정에서의 혈관 영역 추출 과정(S11)의 세그멘테이션 과정(S111), 잔거지 영역 제거 과정(S112), 스켈레톤 커브 추출 과정(S113) 및 스플라인 커브 추출 과정(S114)에 대응하는 바, 그 상세한 설명은 생략한다.

그런 다음, 스플라인 커브가 혈관 영역으로 추출되면, 스플라인 커브를 따라 복수의 3차원 큐브 영역이 추출된다(S32). 여기서, 3차원 큐브 영역의 추출 과정(S32)은 전술한 학습 과정에서의 3차원 큐브 영역의 추출 과정(S12)에 대응하는 바, 그 상세한 설명은 생략한다.

그리고, 각각의 3차원 큐브 영역이 학습 모델(150)에 적용되어(S33), 해당 3차원 큐브가 양성 큐브인지 여부가 판단된다(S34). 본 발명에서는 양성 큐브 또는 음성 큐브인지 여부에 따라 3차원 큐브 영역의 각 점에 가중치가 부여되는 것을 예로 한다(S35, S36).

예컨대, 3차원 큐브 영역이 양성 큐브로 판단되는 경우, 해당 3차원 큐브 영역의 각 점에 제1 가중치를 부여하고(S35), 음성 큐브로 판단되는 경우, 해당 3차원 큐브 영역의 각 점에 제2 가중치를 부여한다(S36). 본 발명에서는 제1 가중치를 '1'로 설정하고, 제2 가중치를 '-1'로 설정하는 것을 예로 한다.

상기와 같은 과정을 통해, 모든 3차원 큐브 영역에 제1 가중치 및 제2 가중치가 부여되면, 각각의 3차원 큐브 영역을 구성하는 점들이 측정 대상 MRA 영상 내에서 동일한 위치에 해당되는 점들끼리 중첩되고, 중첩된 점들의 가중치가 합산되어 가중치 합산값이 산출된다(S37).

도 10은 S34 단계에서 양성 큐브로 판정된 3차원 큐브 영역을 시각화한 예를 나타낸 도면이다. 도 10에 도시된 바와 같이, 실제 뇌동맥류가 위치하는 영역에서 양성 큐브가 밀집되어 있으나, 일부 위양성 영역이 발생하는 것을 확인할 수 있다. 도한, 실제 뇌동맥류가 위치하는 영역 주변에서도 양성 큐브가 나타나고 있어, 정확한 뇌동맥류의 위치 선정에는 어려움이 발생한다.

따라서, 양성 큐브와 음성 큐브로 판정된 모든 3차원 큐브 영역을 구성하는 점들을 동일한 위치에서 가중치를 합산하게 되면, 양성 큐브로 판정된 점들의 가중치는 중첩된 영역에서 증가할 것이고, 음성 큐브로 판정된 점들의 가중치는 중첩된 영역에서 감소하게 됨으로써, 일부 몇 개의 3차원 큐브 영역이 양성으로 판정되더라도 그 가중치 합산값이 기 설정된 기준값보다 작으면 해당 점을 정상으로 분류하고, 가중치 합산값이 기준값보다 크면 병면으로 분류함으로써, 위양성 영역을 제거함과 동시에, 도 11에 도시된 바와 같이, 병변의 정확한 위치의 산출이 가능하게 된다. 도 11의 (a)는 실제 병변 위치에서 병변 영역이 다소 분산되어 있으나, 가중치를 이용한 제거를 통해 도 11의 (b)에 도시된 바와 같이 보다 정확한 병변의 위치가 검출이 가능하게 된다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

110 : 영상 인터페이스부 120 : 혈관 추출 모듈
121 : 세그멘테이션 모듈 122 : 스켈레톤 커브 추출 모듈
123 : 스플라인 커브 추출 모듈 130 : 큐브 추출 모듈
140 : 학습 데이터 추출 모듈 150 : 학습 모델
160 : 메인 프로세서

Claims

혈관 병변 진단을 위한 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법에 있어서,
혈관 병변이 레이블링된 MRA 영상이 상기 보조 진단 시스템에 입력되는 영상 입력 단계와;
상기 보조 진단 시스템에 의해 상기 MRA 영상으로부터 혈관 영역이 추출되는 혈관 추출 단계와;
상기 보조 진단 시스템에 의해 상기 혈관 영역을 따라 기 설정된 사이즈의 복수의 3차원 큐브 영역이 추출되되, 상기 혈관 영역을 따라 상호 중첩되게 추출되는 큐브 추출 단계와;
상기 보조 진단 시스템에 의해 상기 MRA 영상의 레이블에 기초하여, 복수의 상기 3차원 큐브 영역이 양성 큐브와 음성 큐브로 분류되는 학습 데이터 추출 단계와;
상기 보조 진단 시스템에 의해 상기 양성 큐브와 상기 음성 큐브가 학습 데이터로 하여 학습되어 학습 모델이 생성되는 모델 생성 단계를 포함하는 것을 특징으로 하는 혈관 병변 진단을 위한 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법.
제1항에 있어서,
상기 MRA 영상은 뇌혈관을 촬영한 MRA 영상을 포함하며;
상기 혈관 병변은 뇌동맥류를 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법.
제1항에 있어서,
상기 혈관 추출 단계는
상기 MRA 영상을 세그멘테이션하여 바이너리 영상이 생성되는 세그멘테이션 단계와;
상기 바이너리 영상으로부터 기 등록된 골격화 기법을 통해 스켈레톤 커브가 추출되는 1차 골격 추출 단계와;
상기 스켈레톤 커브가 큐빅 스무딩 스플라인(Cubic smoothing spline) 기법에 적용되어 스플라인 커브가 추출되어 상기 혈관 영역으로 추출되는 2차 골격 추출 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법.
제3항에 있어서;
상기 혈관 추출 단계는 상기 1차 골격 추출 단계 이전에 플러드 필 알고리즘(Flood fill algorithm)을 이용하여 상기 바이너리 영상으로부터 혈관 이외의 잔가지 영역이 제거되는 노이즈 제거 단계를 더 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법.
삭제
제3항에 있어서,
상기 큐브 추출 단계는
상기 스플라인 커브를 따라 기 설정된 간격의 기준점을 기준으로 기 설정된 크기의 접선 벡터(Tangent vector), 법선 벡터(Normal vector), 및 종법선 벡터(Binormal vector)가 산출되는 단계와;
각각의 상기 기준점에서 해당 기준점의 접선 벡터(Tangent vector), 법선 벡터(Normal vector), 및 종법선 벡터(Binormal vector)에 기초하여 상기 3차원 큐브 영역이 추출되는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법.
제3항에 있어서,
상기 학습 데이터 추출 단계는
상기 MRA 영상의 레이블에 기초하여 전체 MRA 영상 내에서 혈관 병면에 속하는 전체 점의 개수가 전체 병변 점 개수로, 각각의 상기 3차원 큐브 영역 내에서 혈관 병변에 속하는 점의 개수가 큐브 병변 점 개수로 산출되는 단계와;
상기 전체 병변 점 개수 대비 상기 큐브 병변 점 개수가 기 설정된 비율 이상인 경우, 해당 3차원 큐브 영역이 상기 양성 큐브로 분류되는 단계와;
상기 전체 병변 점 개수 대비 상기 큐브 병변 점 개수가 기 설정된 비율 이하인 경우, 해당 3차원 큐브 영역이 상기 음성 큐브로 분류되는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법.
제7항에 있어서,
상기 음성 큐브로 추출되는 단계에서는 비율이 0으로 설정되는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 MRA 영상 학습 방법.
딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법에 있어서,
(a) 제1항 내지 제4항 중 어느 한 항, 또는 제6항 내지 제8항 중 어느 한 항에 따른 MRA 영상 학습 방법을 통해 상기 보조 진단 시스템에 학습 모델이 생성되는 단계와;
(b) 측정 대상 MRA 영상이 상기 보조 진단 시스템에 입력되는 단계와;
(c) 상기 보조 진단 시스템에 의해 상기 측정 대상 MRA 영상으로부터 혈관 영역이 추출되는 단계와;
(d) 상기 보조 진단 시스템에 의해 상기 (c) 단계에서 추출된 상기 혈관 영역을 따라 상기 MRA 영상 학습 방법의 상기 큐브 추출 단계에 대응하는 사이즈의 복수의 3차원 큐브 영역이 추출되되, 상기 혈관 영역을 따라 상호 중첩되게 추출되는 단계와;
(e) 상기 (a) 단계를 통해 생성된 상기 학습 모델에 의해 상기 (d) 단계에서 추출된 각각의 상기 3차원 큐브 영역이 양성 큐브인지 음성 큐브인지 판단되는 단계와;
(f) 상기 보조 진단 시스템에 의해 상기 (e) 단계의 판단 결과에 기초하여, 상기 측정 대상 MRA 영상 내에서 혈관 병변이 추출되는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법.
제9항에 있어서,
상기 MRA 영상은 뇌혈관을 촬영한 MRA 영상을 포함하며;
상기 혈관 병변은 뇌동맥류를 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법.
제9항에 있어서,
상기 (c) 단계는
(c1) 상기 MRA 영상을 세그멘테이션하여 바이너리 영상이 생성되는 단계와;
(c2) 상기 (c1) 단계에서 추출된 상기 바이너리 영상으로부터 기 등록된 골격화 기법을 통해 스켈레톤 커브가 추출되는 단계와;
(c3) 상기 (c2) 단계에서 추출된 상기 스켈레톤 커브가 큐빅 스무딩 스플라인(Cubic smoothing spline) 기법에 적용되어 스플라인 커브가 추출되어 상기 혈관 영역으로 추출되는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법.
제11항에 있어서;
상기 (c) 단계는 상기 (c2) 단계 이전에 플러드 필 알고리즘(Flood fill algorithm)을 이용하여 상기 바이너리 영상으로부터 혈관이외의 잔가지 영역이 제거되는 단계를 더 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법.
삭제
제11항에 있어서,
상기 (d) 단계는
상기 스플라인 커브를 따라 기 설정된 간격의 기준점을 기준으로 기 설정된 크기의 접선 벡터(Tangent vector), 법선 벡터(Normal vector), 및 종법선 벡터(Binormal vector)가 산출되는 단계와;
각각의 상기 기준점에서 해당 기준점의 접선 벡터(Tangent vector), 법선 벡터(Normal vector), 및 종법선 벡터(Binormal vector)에 기초하여 상기 3차원 큐브 영역이 추출되는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법.
제9항에 있어서,
상기 (f) 단계는
상기 (e) 단계에서 상기 양성 큐브 또는 상기 음성 큐브인지 여부에 따라 각각의 상기 3차원 큐브 영역의 각 점에 가중치가 부여되는 단계와;
각각의 상기 3차원 큐브 영역을 구성하는 점들이 상기 측정 대상 MRA 영상 내의 해당 위치에서 중첩되는 단계와;
중첩된 점들의 가중치가 합산되어 가중치 합산값이 산출되는 단계와;
상기 가중치 합산값이 기 설정된 기준값 이상인 점이 혈관 병변으로 추출되는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반의 보조 진단 시스템의 혈관 병변 보조 진단 방법.