KR20220008795A

KR20220008795A - GT(Ground Truth)를 이용하여 학습되는 신경망 모듈이 적용된 대뇌 미세출혈 탐지 방법

Info

Publication number: KR20220008795A
Application number: KR1020210169611A
Authority: KR
Inventors: 김동현; 최상혁; 모하메드알마스니; 노영; 김응엽
Original assignee: 주식회사 휴런
Priority date: 2020-07-14
Filing date: 2021-11-30
Publication date: 2022-01-21
Also published as: CN113925487B; KR102336058B1; US11481902B2; JP7111871B2; KR20220008794A; KR102388740B1; JP2022018097A; ES2925282T3; CN113925487A; KR102388739B1; KR20220008796A; EP3940635A1; EP3940635B1; KR102361478B1; US20220020153A1

Abstract

본 발명의 일 실시예에 따른 자기공명영상을 이용한 대뇌 미세출혈 탐지 방법은, 전처리부가 자기 공명 영상의 SWI 영상 및 페이즈 영상 각각을 정규화하고, 상기 정규화된 페이즈 영상의 부호를 반전시키는 페이즈 영상 변환을 수행하는 전처리 단계(a); YOLO 신경망 모듈이 상기 전처리된 SWI 영상 및 페이즈 영상이 결합된 2채널 영상을 입력받아 대뇌 미세출혈에 대한 다수의 후보 영역을 검출하는 YOLO 신경망 연산 단계(b); 및 대뇌 미세출혈 판단 신경망 모듈이 상기 다수의 후보 영역에 기초하여 상기 SWI 영상 및 페이즈 영상의 후보 영역 패치 영상들을 입력받아 각 후보 영역 패치 영상들이 대뇌 미세출혈 증상이 있는 영상인지 여부를 신경망 연산을 통해 판단하는 대뇌 미세출혈 판단 신경망 연산 단계(c)를 포함하고, 전처리 단계(a)는, 상기 전처리부가, 상기 정규화된 SWI 영상 및 상기 변환된 페이즈 영상과 인접한 슬라이스 영상들과의 평균값을 연산하고, 상기 연산된 평균값을 반영하는 전처리를 더 수행할 수 있다.

Description

GT(Ground Truth)를 이용하여 학습되는 신경망 모듈이 적용된 대뇌 미세출혈 탐지 방법 {Brain Microbleeds Detection Method Applied with Neural Network Module Learned Using Ground Truth}

본 발명은 GT(Ground Truth)를 이용하여 학습되는 신경망 모듈이 적용된 대뇌 미세출혈 탐지 방법에 관한 것으로서, 더욱 상세하게는 자기공명영상 및 신경망을 이용한 대뇌 미세출혈 탐지 장치 및 방법에 관한 것이다.

대뇌 미세출혈(Cerebral Microbleeds: CMBs)는 뇌졸증, 기능장애, 치매 및 인지장애 등 다양한 뇌혈관 질환의 진단 지표로 간주되는 미세한 만성 뇌출혈이다. 대뇌 미세출혈은 건강한 노인들을 포함한 여러 모집단에서 많이 발생하며, 두개내 출혈 원인이 될 확률이 높고 뇌 아밀로이드 혈관 조영증과 뇌 소혈관질환의 바이오 마커가 될 수 있다.

또한 대뇌 미세출혈은 허혈성 뇌졸증, 외상성 뇌손상, 알츠하이머병의 임상적 영향을 증가시킬 수 도 있다. 실제로 직접 병리학적 관찰을 한 결과 대뇌 미세출혈은 주변 뇌조직에 피해를 가해 기능장애, 치매 및 인지장애의 원인이 된다는 것이 밝혀졌다.

이로 인해 대뇌 미세출혈을 조기에 발견하고 대뇌 미세출혈로 착각할 수 있는 석회성 물질, 철분 및 정맥과 대뇌 미세출혈을 구분하는 것은 진단 및 치료에 매우 중요한 작업이다.

종래에 있어서, 대뇌 미세출혈 감지를 위해 CT와 자기공명영상이 이용되었다. 자기공명영상은 상자성인 출혈과 반자성인 석회성 물질을 구분하는데 도움이 되어 CT에 비해 미세출혈 감지에 있어서 더 선호되었다.

특히, 자기 공명 영상 중 SWI(Sensitivity-weighted Imaging) 영상은 대뇌 미세출혈에서 높은 식별력을 가졌으나, 여전히 신경외과 전문의에 의한 육안 검사는 시간이 많이 걸리고, 성공적인 식별이 어려운 문제점이 있었다.

대뇌 미세출혈의 검출 성능을 향상시키기 위해 다른 전문가나 자동화된 CAD와 같은 판독기가 사용되기도 하였다. 그러나, 대뇌 미세출혈의 자동 검출은 뇌 내부의 미세출혈의 위치 변화가 크고 그 크기가 작으며 석회 물질과 같이 유사한 물질의 존재로 인해 여전히 어려운 문제가 있다.

KR

10297738

B1

KR

102056989

B1

KR

1020160071230

A

본 발명은 인공 신경망을 이용하여 향상된 성능으로 대뇌 미세출혈을 탐지하는 방법 및 장치를 제안한다.

또한, 본 발명은 대뇌 미세출혈을 인공 신경망을 이용하여 탐지하는데 적합한 자기 공명 영상 전처리 방법을 제안한다.

상기와 같은 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 자기 공명 영상의 SWI 영상 및 페이즈 영상 각각을 정규화하고, 상기 정규화된 페이즈 영상의 부호를 반전시키는 페이즈 영상 변환을 수행하는 전처리부; 상기 전처리된 SWI 영상 및 페이즈 영상이 결합된 2채널 영상을 입력받아 대뇌 미세출혈에 대한 다수의 후보 영역을 검출하는 YOLO 신경망 모듈; 상기 다수의 후보 영역에 기초하여 상기 SWI 영상 및 페이즈 영상의 후보 영역 패치 영상들을 입력받아 각 후보 영역 패치 영상들이 대뇌 미세출혈 증상이 있는 영상인지 여부를 신경망 연산을 통해 판단하는 대뇌 미세출혈 판단 신경망 모듈을 포함하는 자기공명영상을 이용한 대뇌 미세출혈 탐지 장치가 제공된다.

상기 전처리부는 상기 정규화된 SWI 영상 및 상기 변환된 페이즈 영상과 인접한 슬라이스 영상들과의 평균값을 연산하고, 상기 연산된 평균값을 반영하는 전처리를 더 수행한다.

상기 YOLO 신경망 모듈은 다수의 바운딩 박스 및 각 바운딩 박스의 확률 정보를 출력하도록 GT(Ground Truth) 영상과의 손실을 역전파하여 학습된다.

상기 대뇌 미세출혈 판단 신경망 모듈은 CNN(Convolutional Neural Network) 레이어 및 FC(Fully Connected) 레이어를 포함하고, GT(Ground Truth)와의 손실을 역전파하여 학습된다.

상기 다수의 후보 영역에 대한 상기 후보 영역 패치 영상 각각은 상기 정규화 및 인접 슬라이스 평균 연산이 이루어진 SWI 영상의 후보 영역 및 상기 정규화 및 인접 슬라이스 평균 연산이 반영되고 상기 부호 반전이 반영되지 않은 페이즈 영상의 후보 영역을 이용하여 생성된다.

상기 후보 영역 패치 영상은 상기 정규화 및 상기 인접 슬라이스 평균 연산이 이루어진 상기 SWI 영상의 후보 영역 부분과 상기 정규화 및 상기 인접 슬라이스 평균 연산이 이루어진 상기 페이즈 영상의 후보 영역 부분을 연속적으로 연결한 1채널 영상이다

본 발명의 다른 측면에 따르면, 자기 공명 영상의 SWI 영상 및 페이즈 영상 각각을 정규화하고, 상기 정규화된 페이즈 영상의 부호를 반전시키는 페이즈 영상 변환을 수행하는 전처리 단계(a); 상기 전처리된 SWI 영상 및 페이즈 영상이 결합된 2채널 영상을 입력받아 대뇌 미세출혈에 대한 다수의 후보 영역을 검출하는 YOLO 신경망 연산 단계(b); 상기 다수의 후보 영역에 기초하여 상기 SWI 영상 및 페이즈 영상의 후보 영역 패치 영상들을 입력받아 각 후보 영역 패치 영상들이 대뇌 미세출혈 증상이 있는 영상인지 여부를 신경망 연산을 통해 판단하는 대뇌 미세출혈 판단 신경망 연산 단계(c)를 포함하는 자기공명영상을 이용한 대뇌 미세출혈 탐지 방법이 제공된다.

본 발명에 의하면, 대뇌 미세출혈을 인공 신경망을 이용하여 탐지하는데 적합한 자기 공명 영상 전처리를 통해 향상된 성능으로 대뇌 미세출혈을 탐지할 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 자기공명영상을 이용한 대뇌 미세출혈 탐지 장치의 전체적인 구조를 나타낸 도면.
도 2는 본 발명의 일 실시예에 따른 대뇌 미세출혈 탐지 장치에서 전처리부의 구성을 나타낸 블록도.
도 3은 본 발명의 일 실시에에 따른 YOLO 신경망 모듈의 구조를 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 YOLO 신경망 모듈에서 출력하는 영상의 일례를 나타낸 도면.
도 5는 본 발명의 일실시예에 따른 YOLO 신경망 모듈을 통해 선택된 후보 영역을 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른 대뇌 미세출혈 판단 신경망 모듈의 구조를 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 대뇌 미세출혈 판단 방법의 전체적인 흐름을 나타낸 순서도.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.

또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 자기공명영상을 이용한 대뇌 미세출혈 탐지 장치의 전체적인 구조를 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 자기공명영상을 이용한 대뇌 미세출혈 탐지 장치는 전처리부(100), YOLO 신경망 모듈(200) 및 대뇌 미세출혈 판단 신경망 모듈(300)을 포함한다.

본 발명의 대뇌 미세출혈 탐지 장치는 대뇌 영역을 촬영한 자기공명영상으로부터 대뇌 미세출혈이 발생하였는지 여부 및 대뇌 미세출혈이 발생하였을 경우 대뇌 미세출혈이 발생한 영역을 탐지한다.

본 발명의 대뇌 미세출혈 탐지 장치로는 두 종류의 자기공명영상이 입력된다. 제1 자기공명영상은 SWI 영상이고, 제2 자기공명영상은 페이즈 영상이다. SWI(Sensitivity-weighted Imaging) 영상은 자화율에 가중치를 둔 영상으로서 기존의 그래디언트-에코(Grandient-Echo) 기법의 영상을 3D 공간 해상도로 바꾼 영상이며 자기장을 왜곡하는 화합물에 민감하게 반응하는 영상이다. 이러한 SWI 영상은 혈액 물질 및 칼슘 등을 검출하는데 유용하다.

페이즈 영상은 그래디언트 에코 방식으로 획득되는 자기공명영상에서 위상값만을 추출하여 생성한 영상이다.

종래의 대뇌 미세출혈 탐지는 SWI 영상만을 이용하였으나 본 발명은 SWI 영상과 페이즈 영상을 모두 입력한다. 본 발명은 신경망 기반으로 대뇌 미세출혈을 탐지하며, 신경망에서의 정확한 판단을 위해 페이즈 영상의 정보가 함께 활용되도록 하여 탐지 성능의 향상을 도모한다.

SWI 영상과 페이즈 영상은 독립적으로 획득되며, SWI 영상은 다수의 슬라이스 영상을 포함하고, 페이즈 영상 역시 다수의 슬라이스 영상이 포함된다. 본 발명의 대뇌 미세출혈 탐지 장치는 각 슬라이스 영상별로 대뇌 미세출혈을 탐지한다.

이하에서 본 발명의 대뇌 미세출혈 탐지 장치로 입력되는 SWI 영상 및 페이즈 영상은 하나의 슬라이스 영상을 의미하는 것이며 슬라이스 영상의 집합을 의미하는 것은 아니다.

전처리부(100)는 SWI 영상 및 페이즈 영상을 입력받아 SWI 영상 및 페이즈 영상에 대한 전처리를 수행하고 YOLO 신경망 모듈(200)로 입력된 영상을 생성한다. 전처리부(100)는 본 발명의 핵심 구성 요소이며, 신경망에서 적절한 대뇌 미세출혈 탐지가 이루어지도록 SWI 영상 및 페이즈 영상에 대한 전처리를 수행한다. 전처리부(100)의 상세한 구조 및 전처리 방법은 도 2를 참조하여 후에 설명한다.

전처리부(100)에 의해 전처리된 입력 영상(SWI 영상과 페이즈 영상이 조합된 영상)은 YOLO 신경망 모듈(200)로 입력된다.

YOLO 신경망은 관심 객체의 감지를 위해 근래에 제안된 CNN(Convolutional Neural Network) 기법 중 하나로서 공지된 신경망이다. 본 발명의 대뇌 미세출혈 탐지 장치는 YOLO 신경망을 구성 요소 중 하나로 활용한다.

YOLO 신경망은 비교적 적은 계산량으로 객체를 탐지하기에 적합하도록 설계된 신경망으로서 기존의 R-CNN에 비해 빠른 계산 및 최적화가 용이한 신경망이다. 다만, YOLO 신경망은 정확한 객체 감지에는 높은 성능을 발휘하지 못하는 문제점이 있다. 이러한 이유로 YOLO 신경망은 식별력이 높지 않은 자기공명영상의 객체 검출에는 사용되지 아니하였다.

본 발명은 YOLO 신경망을 최종적인 대뇌 미세출혈 탐지 수단으로 활용하지는 않으며, 본 발명에서 YOLO 신경망 모듈(200)은 다수의 후보 영역을 출력하는 기능을 한다. YOLO 신경망 모듈(200)은 입력 영상에서 대뇌 미세출혈 가능성이 있는 다수의 영역들을 대외 미세출혈의 후보 영역들로 판단하며, YOLO 신경망 모듈(200)은 후보 영역만을 출력할 뿐 최종적인 판단을 수행하지는 않는다.

전처리부(100)를 통해 생성되는 입력 영상은 YOLO 신경망 모듈(200)에서 후보 영역의 추천이 적절히 이루어질 수 있도록 전처리되며, 본 발명이 제안하는 전처리를 통해 YOLO 신경망 모듈(200)이 자기공명영상에 대해서도 사용될 수 있도록 한다.

YOLO 신경망 모듈(200)에 의해 선택되는 후보 영역이 대뇌 미세출혈인지 여부에 대한 판단은 대뇌 미세출혈 판단 신경망 모듈(300)에 의해 이루어진다.

대뇌 미세출혈 판단 신경망 모듈(300)은 YOLO 신경망 모듈(200)에 의해 선택된 후보 영역 이미지를 입력받아, 신경망 연산을 통해 입력된 후보 영역 이미지가 대뇌 미세출혈인지 여부를 최종적으로 판단한다.

본 발명의 일 실시예에 따르면, 대뇌 미세출혈 판단 신경망 모듈(300)은 CNN 기반의 신경망으로 구현될 수 있으나 이에 한정되는 것은 아니다.

YOLO 신경망 모듈(200)에 의해 후보 영역이 선택되면, SWI 영상과 페이즈 영상에서 후보 영역에 상응하는 부분의 영상인 후보 영역 패치 영상이 대뇌 미세출혈 판단 신경망 모듈(300)로 입력된다. 각 후보 영역 패치 영상에 대한 판단은 독립적으로 이루어진다. 예를 들어, 5개의 후보 영역이 YOLO 신경망 모듈(200)에 의해 선택된 경우, 5개의 후보 영역 패치 영상 각각에 대해 독립적으로 대뇌 미세출혈이 반영된 영상인지 여부에 대한 판단이 대뇌 미세출혈 판단 신경망 모듈(300)에 의해 이루어진다.

이때, 대뇌 미세출혈 판단 신경망 모듈(300)로 입력되는 후보 영역 이미지는 YOLO 신경망 모듈(200)로 입력되는 전처리된 이미지와 동일한 이미지에서 후보 영역이 선택된 이미지일 수도 있으며, YOLO 신경망 모듈(200)로 입력되는 이미지와는 다른 방식으로 전처리된 후 후보 영역이 선택된 이미지일 수도 있다. 대뇌 미세출혈 판단 신경망 모듈(300)로 입력되는 이미지의 전처리는 도 2를 참조하여 설명한다.

도 2는 본 발명의 일 실시예에 따른 대뇌 미세출혈 탐지 장치에서 전처리부의 구성을 나타낸 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 전처리부는 정규화부(110), 페이즈 영상 변환부(120) 및 인접 슬라이스 평균 연산부(130)를 포함한다.

정규화부(110)는 SWI 영상 및 페이즈 영상이 소정 범위의 값만을 가지도록 정규화를 수행한다. 정규화부(110)는 SWI 영상 및 페이즈 영상 각각에 대해 정규화를 수행한다. 예를 들어, 정규화부는 SWI 영상 및 페이즈 영상이 0 ~ 1 사이의 픽셀값을 가지도록 정규화를 수행할 수 있다.

본 발명의 일 실시예에 따르면, 다음의 수학식 1과 같이 SWI 영상 및 페이즈 영상이 0 내지 1의 값을 가지도록 정규화 연산이 이루어질 수 있다.

페이즈 영상 변환부(120)는 정규화된 페이즈 영상을 변환한다. 본 발명의 바람직한 실시예에 따르면, 페이즈 영상 변환부(120)는 다음의 수학식 2와 같이 정규화된 페이즈 영상을 변환한다.

후에 설명하겠지만 SWI 영상과 페이즈 영상은 결합(Concatenation)되어 두개의 채널을 형성하는 형태로 입력되는데, 두 개의 채널값이 더해질 경우 YOLO 신경망 모듈의 후보 영역 탐지 성능이 저하될 수 있다. 자기공명영상에서 SWI 영상의 저강도 지점은 페이즈 영상의 저강도 지점과 대응되며, 이러한 이유로 해당 지점에서 두 영상의 값이 더해질 경우 영상의 특징값이 상쇄되어 정확한 식별이 이루어지기 어렵다.

이러한 이유로, 본 발명의 전처리부(100)는 페이즈 영상 변환부(120)를 통해 정규화된 페이즈 영상의 부호를 반전시키고 이를 통해 페이즈 영상 및 SWI 영상의 값이 더해질 때 특징이 상쇄되는 것을 방지하도록 한다.

인접 슬라이스 평균 연산부(130)는 인접한 SWI 영상과 페이즈 영상의 평균값을 반영한 영상을 생성한다. 예를 들어, 대상 슬라이스가 제N 슬라이스 영상일 경우 제 (N-1) 슬라이스 영상과 제(N+1) 슬라이스 영상 및 제N 슬라이스 영상의 평균을 연산하는 것이다. 여기서 평균 연산의 대상은 정규화가 완료된 SWI 슬라이스 영상 및 페이즈 영상 변환이 완료된 페이즈 슬라이스 영상이다. 앞서 설명한 바와 같이, SWI 영상 및 페이즈 영상은 다수의 슬라이스로 이루어지며, 본 발명의 대뇌 미세출혈 탐지는 슬라이스 영상 단위로 이루어진다.

즉, 슬라이스 평균 연산은 전처리의 가장 마지막 단계에서 이루어지며 인접한 슬라이스의 정보를 함께 반영하여 대뇌 미세출혈을 판단하기 위해 슬라이스 평균 연산이 이루어진다.

도 3은 본 발명의 일 실시에에 따른 YOLO 신경망 모듈의 구조를 나타낸 도면이다.

YOLO 신경망 모듈(300)로는 전처리부(200)에 의해 전처리된 SWI 영상 및 페이즈 영상이 결합된 영상이 입력된다. 두 개의 영상이 결합된 영상이기에 2채널 영상으로 정의할 수도 있을 것이다.

YOLO 신경망 모듈(300)은 다수의 레이어에 대해 컨볼루션 연산을 수행하며, 도 3에는 총 4개의 레이어를 통해 컨볼루션 연산이 이루어지는 경우가 도시되어 있다. 물론, 도 3에 도시된 레이어의 수는 예시적인 것이며, 콘볼루션 레이어의 수는 필요에 따라 변경 가능할 것이다.

각 레이어에서의 콘볼루션 연산이 이루어질 때마다 맥스풀링에 의해 영상의 사이즈는 줄어들게 되며, 영상의 채널 수는 증가하게 된다. 도 3에는 영상의 채널 수가 2, 192, 256, 512 및 1024의 순서로 증가하는 경우가 도시되어 있다.

콘볼루션 레이어에서의 콘볼루션 연산이 완료되면, 두 개의 FC(Fully Connected) 레이어를 통과하고, 최종적으로는 7 X 7 X 30의 데이터를 출력한다. 물론, 도 3에 도시된 각 레이어의 사이즈 및 채널 수 역시 예시적인 것이며 필요에 따라 변경 가능하다는 점은 당업자에게 있어 자명할 것이다.

YOLO 신경망 모듈은 GT(Ground Truth)를 이용한 지도 학습에 의해 학습될 수 있다. Ground Truth로는 일부 영역에 대뇌 미세출혈이 존재하는 자기공명영상이 이용될 수 있다.

GT를 이용하여 학습이 이루어질 경우, YOLO 신경망 모듈의 출력과 GT 영상과의 차를 손실로 설정하고, 손실을 역전파하면서 각 레이어의 콘볼루션 커널의 가중치를 학습한다. 콘볼루션 신경망의 학습 구조는 널리 알려진 기술이므로 이에 대한 상세한 설명은 생략하기로 한다.

도 4는 본 발명의 일 실시예에 따른 YOLO 신경망 모듈에서 출력하는 영상의 일례를 나타낸 도면이다.

도 4를 참조하면, YOLO 신경망 모듈은 다수의 바운딩 박스들이 형성된 영상을 출력한다. 본 발명과 같이 YOLO 신경망 모듈이 대뇌 미세출혈을 감지하도록 학습될 경우, YOLO 신경망 모듈은 대뇌 미세출혈이 발생할 가능성이 있는 영역에 바운딩 박스가 형성된 영상을 출력하게 된다.

YOLO 신경망 모듈이 출력하는 영상에는 바운딩 박스와 함께 각 바운딩 박스의 확률 정보가 포함되어 있다. 여기서 확률 정보는 해당 바운딩 박스 영역이 대뇌 미세출혈일 확률을 의미한다.

도 5는 본 발명의 일실시예에 따른 YOLO 신경망 모듈을 통해 선택된 후보 영역을 나타낸 도면이다.

도 5에 예시적으로 도시된 후보 영역은 도 4에 도시된 바운딩 박스와 각 바운딩 박스의 확률 정보에 기초하여 결정된다. 후보 영역으로 선택하기 위한 확률은 미리 결정될 수 있으며, 다수의 바운딩 박스 영역 중 미리 결정된 확률을 초과하는 바운딩 박스 영역을 후보 영역으로 선택한다.

YOLO 신경망 모듈의 출력 영상으로부터 후보 영역을 선택하는 동작은 별도의 선택 모듈에 의해 이루어질 수도 있을 것이며, YOLO 신경망 모듈이 미리 결정된 확률 이상의 후보 영역을 선택하도록 학습될 수도 있을 것이다.

도 6은 본 발명의 일 실시예에 따른 대뇌 미세출혈 판단 신경망 모듈의 구조를 나타낸 도면이다.

YOLO 신경망 모듈을 이용하여 대뇌 미세출혈 후보 영역이 선택되면, 해당 영역의 패치 영상이 대뇌 미세출혈 판단 신경망 모듈로 입력된다. 후보 영역의 패치 영상은 SWI 영상 및 페이즈 영상으로부터 후보 영역에 기초하여 각각 선택된다.

YOLO 신경망 모듈(200)의 입력 영상은 SWI 영상 및 페이즈 영상이 2개의 채널로 결합된 영상이었다. 대뇌 미세출혈 판단 신경망 모듈(300)의 입력 영상은 선택된 두 개의 후보 영역 패치 영상이 연속적으로 연결된 형태를 가진다. 즉, 대뇌 미세출혈 판단 신경망 모듈(300)의 입력 영상은 1채널 영상이며, YOLO 신경망 모듈(200)과 같은 2채널 영상이 아닌 것이 바람직하다.

앞서 설명한 바와 같이, 대뇌 미세출혈 판단 신경망 모듈로의 후보 영역 패치 영상은 YOLO 신경망 모듈(200)의 입력 영상(전처리된 영상)으로부터 선택될 수도 있으며, 다른 방식으로 전처리된 영상으로부터 선택될 수도 있다.

본원발명의 발명자의 연구에 의하면, YOLO 신경망 모듈(200)로의 입력 영상과는 다른 방식으로 전처리될 때 더 좋은 학습 효과 및 탐지 성능의 향상이 있었다.

이 경우, 전처리부(100)는 YOLO 신경망 모듈(200)을 위한 제1 전처리 영상과 대뇌 미세출혈 판단 신경망 모듈(300)을 위한 제2 전처리 영상을 각각 생성한다.

제2 전처리 영상은 제1 전처리 영상과 비교할 때 페이즈 영상에 대해 영상 변환이 이루어지지 않은 영상이다. 제2 전처리 시 SWI 영상에 대한 정규화 및 슬라이스 평균은 동일하게 이루어진다. 페이즈 영상에 대해서도 정규화 및 슬라이스 평균은 이루어지나 페이즈 영상 변환은 이루어지지 않는다. 즉, 페이즈 영상에 대해서도 SWI 영상과 동일하게 정규화 및 슬라이스 평균만 수행되는 것이다.

페이즈 영상에 대한 변환을 수행하지 않는 것은 대뇌 미세출혈 판단 신경망 모듈(300)로의 입력이 두 개의 영상이 결합(Concatenation)된 형태가 아닌 연속적으로 연결된 형태이기 때문이다.

대뇌 미세출혈 판단 신경망 모듈(300)은 다수의 콘볼루션 레이어 및 다수의 FC(Fully Connected) 레이어를 포함한다. 도 6에는 5개의 콘볼루션 레이어 및 3개의 FC(Fully Connected) 레이어가 도시되어 있으나 콘불루션 레이어 및 FC 레이어의 수가 적절히 선택될 수 있다는 점은 당업자에게 있어 자명할 것이다.

콘볼루션 레이어에서는 콘볼루션 커널을 이용한 콘볼루션 연산이 이루어지며 콘볼루션 연산이 이루어지면서 사이즈 및 채널이 변경될 수 있다. FC 레이어에서는 콘볼루션 레이어의 연산 결과의 클래스를 줄여나가는 연산이 이루어지며, 최종적으로는 두 개의 클래스만이 출력되도록 한다.

대뇌 미세출혈 판단 신경망 모듈(300)은 입력되는 후보 영역 패치 영상(SWI 영상 및 페이즈 영상이 연결된 영상)이 대뇌 미세출혈(CMBs) 증상이 있는 영상인지 여부를 최종적으로 판단하도록 학습된다. 일례로, 대뇌 미세출혈 증상이 있는 영상일 경우 0에 가까운 값을 출력하고, 대뇌 미세출혈 증상이 없는 영상일 경우 1에 가까운 값을 출력하도록 학습될 수 있다.

대뇌 미세출혈 판단 신경망 모듈(300)에 대한 학습 역시 GT(Ground Truth)를 이용하여 학습될 수 있다. 대뇌 미세출혈 판단 신경망 모듈(300)의 출력과 미리 설정된 클래스 값(예를 들어, 대뇌 미세출혈 영상이면 '0'이고 대뇌 미세출혈 영상이 아니면 '1')과의 차이를 손실로 설정하고 손실을 역전파하는 방식으로 학습이 이루어진다.

다수의 후보 영역 각각에 대한 패치 영상이 대뇌 미세출혈 판단 신경망 모듈(300)로 입력되고, 각 후보 영역 패치 영상 별로 대뇌 미세출혈 영상인지 여부가 최종적으로 판단된다.

도 7은 본 발명의 일 실시예에 따른 대뇌 미세출혈 판단 방법의 전체적인 흐름을 나타낸 순서도이다.

도 7을 참조하면, SWI 영상과 페이즈 영상이 각각 준비된다(단계 700).

SWI 영상과 페이즈 영상에 대한 제1 전처리를 수행한다(단계 702). 앞서 설명한 바와 같이, SWI 영상에 대해서는 정규화 및 슬라이스 평균 연산을 수행하고, 페이즈 영상에 대해서는 정규화, 영상 변환 및 슬라이스 평균 연산을 수행한다.

제1 전처리가 이루어지면, 전처리된 SWI 영상 및 페이즈 영상을 결합하고 학습된YOLO 신경망 모듈(200)에 입력하여 대뇌 미세출혈 후보 영역을 출력한다(단계 704). YOLO 신경망 모듈(200)은 바운딩 박스 및 바운딩 박스의 확률 정보가 포함된 영상을 출력하고, 각 바운딩 박스의 확률 정보에 기초하여 후보 영역 출력이 이루어진다.

후보 영역이 SWI 영상 및 페이즈 영상으로부터 선택되면, 후보 영역에 대한 제2 전처리가 반영된 패치 영상이 생성된다(단계 706). 앞서 설명한 바와 같이, 제2 전처리에서는 페이즈 영상에 대한 별도의 영상 변환을 수행하지 않는다. 후보 영역 패치 영상은 후보 영역에 대한 SWI 영상 및 페이즈 영상을 연속적으로 연결한 영상일 수 있다.

후보 영역에 대한 패치 영상들이 생성되면, 대뇌 미세출혈 판단 네트워크를 이용하여 각 후보 영역에 대한 패치 영상들이 대뇌 미세출혈 증상이 있는 영상인지 여부를 판단한다(단계 708).

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

전처리부가 자기 공명 영상의 SWI 영상 및 페이즈 영상 각각을 정규화하고, 상기 정규화된 페이즈 영상의 부호를 반전시키는 페이즈 영상 변환을 수행하는 전처리 단계(a);
YOLO 신경망 모듈이 상기 전처리된 SWI 영상 및 페이즈 영상이 결합된 2채널 영상을 입력받아 대뇌 미세출혈에 대한 다수의 후보 영역을 검출하는 YOLO 신경망 연산 단계(b); 및
대뇌 미세출혈 판단 신경망 모듈이 상기 다수의 후보 영역에 기초하여 상기 SWI 영상 및 페이즈 영상의 후보 영역 패치 영상들을 입력받아 각 후보 영역 패치 영상들이 대뇌 미세출혈 증상이 있는 영상인지 여부를 신경망 연산을 통해 판단하는 대뇌 미세출혈 판단 신경망 연산 단계(c)를 포함하고,

상기 전처리 단계(a)는,
상기 전처리부가, 상기 정규화된 SWI 영상 및 상기 변환된 페이즈 영상과 인접한 슬라이스 영상들과의 평균값을 연산하고, 상기 연산된 평균값을 반영하는 전처리를 더 수행하는 것을 특징으로 하는 자기공명영상을 이용한 대뇌 미세출혈 탐지 방법.
제1항에 있어서,
상기 다수의 후보 영역에 대한 상기 후보 영역 패치 영상 각각은 상기 정규화 및 인접 슬라이스 평균 연산이 이루어진 SWI 영상의 후보 영역 및 상기 정규화 및 인접 슬라이스 평균 연산이 반영되고 상기 부호 반전이 반영되지 않은 페이즈 영상의 후보 영역을 이용하여 생성되는 것을 특징으로 하는 자기공명영상을 이용한 대뇌 미세출혈 탐지 방법.
제2항에 있어서,
상기 후보 영역 패치 영상은 상기 정규화 및 상기 인접 슬라이스 평균 연산이 이루어진 상기 SWI 영상의 후보 영역 부분과 상기 정규화 및 상기 인접 슬라이스 평균 연산이 이루어진 상기 페이즈 영상의 후보 영역 부분을 연속적으로 연결한 1채널 영상인 것을 특징으로 하는 자기공명영상을 이용한 대뇌 미세출혈 탐지 방법.