KR101825719B1 - 뇌 영상 처리 방법과 이를 이용하는 임상 뇌 영상과 표준 뇌 영상의 매칭 방법 및 장치 - Google Patents

Abstract

뇌 영상 처리 방법과 이를 이용하는 임상 뇌 영상과 표준 뇌 영상의 매칭 방법 및 장치가 개시된다. 뇌 영상 처리 방법은, 사전 정의된 표준 뇌들에 대한 복수의 제1 영상들 각각에서 키포인트 또는 특징을 추출하는 단계, 뇌의 크기와 모양에 따라 서로 다르게 추출된 키포인트 또는 특징을 포함한 특징 벡터를 글로벌 특징으로 양자화하여 길이를 맞추는 벡터양자화단계, 및 복수의 제1 영상들 각각에 대응하여 서로 길이가 맞춰진 제1 벡터 양자화 정보를 저장하는 단계를 포함한다.

Description

뇌 영상 처리 방법과 이를 이용하는 임상 뇌 영상과 표준 뇌 영상의 매칭 방법 및 장치{BRAIN IMAGE PROCESSING METHOD AND MATCHING METHOD AND APPARATUS BETWEEN CLINICAL BRAIN IMAGE AND STANDARD BRAIN IMAGE USING THE SAME}

본 발명의 실시예는 뇌 영상 처리 기술과 이를 이용한 영상 매칭/검색 기술에 관한 것으로, 보다 상세하게는 뇌 영상 처리 방법과 이를 이용하는 임상 뇌 영상과 표준 뇌 영상의 매칭 방법 및 장치에 관한 것이다.

의료분야에서 이미지 매칭은 일반적으로 의료영상을 입력으로 그와 유사한 이미지를 데이터베이스에서 찾는 것을 지칭한다. 이러한 이미지 매칭을 이용하면, 매칭된 이미지에 대응하는 과거의 진단 정보를 보고 쿼리 이미지의 진단을 결정할 수 있다. 여기서, 쿼리 이미지는 매칭을 하기 위해 입력으로 들어오는 의료영상/의료영상이미지를 지칭한다.

기존의 이미지 매칭에 대한 연구들은 이미지 매칭 방법을 과거 진단 기록을 참조하기 위해 이용하였다. 관련 연구들을 예시하면 아래의 표 1과 같다.

이에 본 발명의 목적은 전술한 종래 기술과는 다르게 MNI(Montreal Neurological Institute) 템플릿(template) 이미지를 효과적으로 검색하기 위해 사용할 수 있는 뇌 영상 처리 방법을 제공하고자 한다.

본 발명의 다른 목적은 전술한 뇌 영상 처리 방법을 이용하는 임상 뇌 영상과 표준 뇌 영상의 매칭 방법을 제공하고자 한다.

본 발명의 또 다른 목적은 전술한 뇌 영상 처리 방법을 이용하는 임상 뇌 영상과 표준 뇌 영상의 매칭 장치를 제공하고자 한다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 뇌 영상 처리 방법은, 사전 정의된 표준 뇌들에 대한 복수의 제1 영상들 각각에서 키포인트 또는 특징을 추출하는 단계; 뇌의 크기와 모양에 따라 서로 다르게 추출된 키포인트 또는 특징을 포함한 특징 벡터를 글로벌 특징으로 양자화하여 길이를 맞추는 벡터양자화단계; 및 상기 복수의 제1 영상들 각각에 대응하여 서로 길이가 맞춰진 제1 벡터 양자화 정보를 저장하는 단계를 포함한다.

일실시예에서, 상기 추출하는 단계는, 상기 제1 영상들로부터 추출한 지역 특징들을 k-means 클러스터링을 통해 k개의 대표 기술자를 추출한 후, 상기 대표 기술자를 바탕으로 고차원의 지역 특징들을 1차원의 대표 기술자 인덱스로 사상할 수 있다.

일실시예에서, 상기 벡터양자화단계는, 양자화 함수를 이용하여 상기 고차원의 지역 특징을 저차원의 대표 기술자로 사상할 수 있다.

일실시예에서, 뇌 영상 처리 방법은, 상기 추출하는 단계 전에 상기 제1 영상들을 바이너리 이미지로 변환하는 전처리단계를 더 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 방법은, 사전 정의된 표준 뇌들에 대한 복수의 제1 영상들 각각에서 키포인트 또는 특징을 추출하는 단계; 뇌의 크기와 모양에 따라 서로 다르게 추출된 키포인트 또는 특징을 포함한 특징 벡터를 글로벌 특징으로 양자화하여 길이를 맞추는 벡터양자화단계; 상기 복수의 제1 영상들 각각에 대응하여 서로 길이가 맞춰진 제1 벡터 양자화 정보를 저장하는 단계; 임상용 뇌 영상인 제2 영상에 대응하는 제1 영상의 질의 신호를 획득하는 단계; 상기 질의 신호에 따라 상기 제2 영상에서 추출한 특징에 기초한 제2 벡터 양자화 정보와 상기 제1 벡터 양자화 정보를 비교하는 단계; 및 상기 비교 결과에 기초하여 유사도가 일정 오차 이하인 특정 제1 벡터 양자화 정보를 상기 질의 신호에 대한 응답 또는 질의 결과로 출력하는 단계를 포함한다.

일실시예에서, 상기 글로벌 특징은 BoF(Bag of Features)를 사용하며, 상기 비교하는 단계는 상기 BoF를 이용한 이미지 검색을 이용하고, 여기서 상기 이미지 검색은 영상을 특징 벡터로 표현하는 부분과 영상들의 특징 벡터들 간의 유사도를 측정하는 부분으로 나눠 수행될 수 있다.

일실시예에서, 상기 비교하는 단계는, 상기 질의 신호에 대응하는 표준 뇌들에 대한 복수의 제1 영상들에서 추출한 k개의 대표 기술자들을 바탕으로 제2 영상의 특징을 추출하고, 추출한 특징을 벡터로 표현하여 제1 영상들의 특징 벡터와 비교를 통해 유사한 이미지를 찾을 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 장치는, 미리 정의된 표준 뇌들에 대한 복수의 제1 영상들 각각에서 키포인트 또는 특징을 추출하는 추출부; 뇌의 크기와 모양에 따라 서로 다르게 추출된 키포인트 또는 특징을 포함한 특징 벡터를 글로벌 특징으로 양자화하여 길이를 맞추는 벡터양자화부; 상기 복수의 제1 영상들 각각에 대응하여 서로 길이가 맞춰진 제1 벡터 양자화 정보를 저장하는 저장부; 임상용 뇌 영상인 제2 영상에 대응하는 제1 영상의 질의 신호를 획득하는 사용자 인터페이스부; 상기 질의 신호에 따라 상기 제2 영상에서 추출한 특징에 기초한 제2 벡터 양자화 정보와 상기 제1 벡터 양자화 정보를 비교하는 검색부; 및 상기 검색부의 비교 결과에 기초하여 유사도가 일정 오차 이하인 특정 제1 벡터 양자화 정보를 상기 질의 신호에 대한 응답 또는 질의 결과로 출력하는 출력부를 포함한다.

일실시예에서, 상기 비교부는 상기 글로벌 특징으로 BoF(Bag of Features)를 사용하여 이미지 검색을 수행하며, 여기서 상기 이미지 검색은 영상을 지역 특징들의 집합으로 표현하는 부분과 영상들의 집합 간 유사도를 측정하는 부분으로 나눠 수행될 수 있다.

일실시예에서, 상기 비교부는, 상기 질의 신호에 대응하는 표준 뇌들에 대한 복수의 제1 영상들에서 추출한 k개의 대표 기술자들을 바탕으로 제2 영상의 특징을 추출하고, 추출한 특징을 벡터로 표현하여 제1 영상들의 특징 벡터와 비교를 통해 유사한 이미지를 찾을 수 있다.

상술한 바와 같은 뇌 영상 처리 방법과 이를 이용하는 임상 뇌 영상과 표준 뇌 영상의 매칭 방법 및 장치를 사용하는 경우에는, 사람마다 뇌의 모양과 크기가 다른 임상 뇌 영상에 해당하는 표준 뇌 영상을 찾고, 표준 뇌 영상에 임상 뇌 영상을 정합시켜 뇌 영상을 일반화시킬 수 있다. 즉, 미리 수집되는 사람의 임상 뇌 영상을 새로운 방법으로 일반화시켜 검색 등에 효과적으로 활용할 수 있는 장점이 있다.

또한, 상술한 표준 뇌 영상 DB를 이용하여 임상 뇌 영상과 매칭되는 표준 뇌 영상을 신속하고 정확하게 검색할 수 있다.

도 1은 본 발명의 일실시예에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 방법(이하, 간략히 뇌 영상 매칭 방법이라고 한다)을 설명하기 위한 도면이다.
도 2는 도 1의 뇌 영상 매칭 방법을 정리하여 나타낸 흐름도이다.
도 3은 도 1의 뇌 영상 매칭 방법의 주요 과정을 도식적으로 예시한 도면이다.
도 4는 본 실시예에 채용할 수 있는 대표적인 표준 뇌 영상에 대한 예시도이다.
도 5는 도 1의 매칭 방법에 채용할 수 있는 뇌 영상 처리 방법의 주요 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 장치에 대한 블록도이다.
도 7은 본 발명의 또 다른 실시예에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 방법에 대한 흐름도이다.

본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

후술되는 용어들은 본 발명에서의 기능을 고려하여 설정된 용어들로서 이는 실험자 및 측정자와 같은 조작자의 의도 또는 관례에 따라 달라질 수 있으므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 한 항목을 포함한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

각 도면에 제시된 동일한 도면부호는 동일한 부재를 나타낸다. 용어가 동일하더라도 표시하는 부분이 상이하면 도면 부호가 일치하지 않을 수 있다.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 방법(이하, 간략히 뇌 영상 매칭 방법이라고 한다)을 설명하기 위한 도면이다. 도 2는 도 1의 뇌 영상 매칭 방법의 주요 과정을 도식적으로 예시한 도면이다.

본 실시예에 따른 뇌 영상 매칭 방법은, 사람마다 뇌의 모양과 크기가 다르다는 점에 착안하여 표준 뇌 영상들과 임상 뇌 영상을 처리한다. 즉, 정량적으로 뇌 상태를 진단하기 위해서는 자기공명(Magnetic Resonance, MR) 등의 방식으로 얻어 진료 등에 사용하고 데이터베이스(DB)에 기록되는 임상 뇌 영상(20)을 획득하고 획득한 임상 뇌 영상(20)에 매칭되는 표준 뇌 영상(10A)을 미리 준비된 표준 뇌 영상들(10)에서 찾아야 한다(도 2 참조). 그래서 본 실시예에서는 표준 뇌 영상에 손쉽게 정합하여 일반화할 수 있는 표준 뇌 영상에 대한 임상 뇌 영상의 매칭 방법을 제공한다.

구체적으로, 도 1에 도시한 바와 같이, 본 실시예에 따른 뇌 영상 매칭 방법은, 우선 데이터베이스 등에 템플릿(templete, Temp) 형태로 저장(S10)되는 모든 표준 뇌 영상들(10)에서 특징(feature)을 추출한다(S12). 표준 뇌 영상은 제1 영상, 의료영상 또는 의료영상 이미지로 지칭될 수 있고, 표준 뇌 영상에서 추출된 특징은 제1 특징으로 지칭될 수 있다. 추출된 특징들 간의 비교를 통해 유사한 이미지를 찾을 수 있다. 추출된 특징들은 특징 벡터(feature vectors)로 표현될 수 있다(S12a).

본 실시예에 따른 뇌 영상 매칭 방법은, 기존 연구들에서 로컬 특징(local feature)과 글로벌 특징(global feature) 중 하나만을 사용하는 점에 착안하여 두 가지의 특징(feature) 타입을 모두 사용하여 영상 내 특징을 추출하도록 이루어진다.

구체적으로, 뇌 영상 매칭 방법은, 로컬 특징(local feature)으로 이미지(제1 영상)에서 키포인트(keypoint)를 추출한 뒤, 뇌의 크기와 모양에 따라 다르게 추출된 키포인트를 글로벌 특징(global feature)으로 양자화하여 길이를 맞출 수 있다(S13). 이러한 양자화는 벡터 양자화(vector quantization)으로 지칭될 수 있다.

글로벌 특징은 BoF(bag of features)를 사용할 수 있다. BoF는 텍스트 분류에 주로 이용되던 BoW(bag of word) 방법을 이미지에 적용한 것으로 이미지 및 유사 이미지 검색에 이용될 수 있다. BoF를 이용한 이미지 검색은 크게 이미지를 지역 특징들(local features)의 집합으로 표현하는 부분과 이미지들의 집합 간 유사도를 측정하는 부분으로 나눠질 수 있다.

이미지를 지역 특징들의 집합으로 표현하기 위하여 모든 표준 뇌 이미지들로부터 추출한 지역 특징들을 k-means 클러스터링을 통해 k 개의 대표 기술자를 추출한 후, 이를 바탕으로 고차원의 지역 특징들을 1차원의 대표 기술자 인덱스로 사상할 수 있다. 본 실시예에서는 고차원의 지역 특징을 저차원의 대표 기술자로 사상하기 위하여 양자화 함수를 이용할 수 있다.

한편, 획득되는 쿼리 이미지(S20)도 표준 뇌 영상의 경우와 유사하거나 동일한 방법으로 특징을 추출하고(S22), 추출한 특징을 벡터로 표현하고(S22a), 표현된 벡터를 벡터 양자화하고(S23), 양자화된 벡터들 간의 비교를 통해 유사한 이미지를 찾을 수 있다. 쿼리 이미지는 제2 영상 또는 임상정보로 지칭될 수 있고, 쿼리 이미지에서 추출된 특징은 제2 특징으로 지칭될 수 있다.

쿼리 이미지는 (T1, T2, FLAIR, DWI)와 같은 형태로 표현되거나 저장될 수 있다. 여기서, T1은 T1이완시간에 따른 강조영상을 나타내고, T2는 T2이완시간에 따른 다른 강조영상을 나타내며, FLAIR(fluid attenuated inversion recovery)는 액체감쇠반전회복 영상을 나타내고, DWI는 확산강조영상(diffusion weighted image)를 나타낸다.

T1강조영상은 짧은 에코타임(echo time, TE)과 짧은 반복시간(repetition time, TR)를 이용한 스핀에코 기법으로 조직의 T1이완시간의 차이를 신호 차이로 반영한 영상이다. 짧은 TR을 사용하면 조직 간에 종축 자기화의 회복 정도가 크게 차이가 나게 되며 이를 신호에 반영할 수 있다. T2강조영상은 긴 TR과 긴 TE를 이용한 스핀에코 기법으로 조직의 T2이완시간의 차이를 신호 차이로 반영한 영상이다. 긴 TE을 사용하면 조직 간에 횡축 자기화의 붕괴가 크게 차이가 나게 되며 이를 신호에 반영할 수 있다. FLAIR영상은 180도 반전펄스를 먼저 가하는 반전회복(inversion recovery) 기법을 이용하며, 뇌척수액의 신호를 억제하기 위하여 2500msec 정도의 반전시간을 적용하여 얻을 수 있다. 그리고, 확산강조영상(DWI)은 MRI 장비를 이용하여 조직 내 물양자의 불규칙한 운동(확산)을 측정하는 기법에 기초하여 얻는 영상이다.

쿼리 이미지에서 추출된 특징들은 특징들 간의 비교를 통해 유사한 이미지를 찾는데 이용된다.

쿼리 이미지에 대한 검색(retrieval) 요청 신호가 입력되거나 획득되면(S24), 이에 기초하여 뇌 영상 매칭 장치는 유사도를 측정할 수 있다. 즉, 뇌 영상 매칭 장치는 유사도를 측정하기 위하여 모든 표준 뇌 이미지들에서 추출한 k개의 대표 기술자들을 바탕으로 쿼리 이미지의 특징을 추출할 수 있다. 그리고, 추출한 특징을 벡터로 표현하고, 표준 뇌 이미지들에서 추출한 특징 벡터와 비교하여(S31), 벡터들 간의 거리를 측정할 수 있다(S31a).

쿼리 이미지의 특징 벡터와 비교하였을 때 모든 표준 뇌 이미지들의 특징 벡터 중 거리가 가장 가까운 즉, 유사도가 높은 이미지를 최종 결과로 도출할 수 있다(S33).

도 3은 도 1의 뇌 영상 매칭 방법을 정리하여 나타낸 흐름도이다.

도 3을 참조하면, 본 실시예에 따른 뇌 영상 매칭 방법은, 전처리(S11), 추출(S12), 벡터양자화(S13), 저장(S14), 쿼리 이미지 획득(S20), 비교/검색(S31) 및 매칭/검색 결과 출력(S33)의 일련의 단계들을 포함할 수 있다.

전처리 단계(S11)는 표준 뇌 영상이나 임상 뇌 영상에서 키포인트 또는 특징을 추출하기 전에 수행될 수 있다. 즉, 특징을 추출하기 전에 키포인트나 특징의 연산량을 줄이기 위해 이미지를 바이너리 이미지로 표현할 수 있다.

본 실시예에 따른 전처리 과정에서는 이미지의 큰 특징만을 고려하여 검색하기 위해 표준 뇌 영상에 대응하는 의료영상이나 임상 뇌 영상에 대응하는 임상정보를 바이너리 이미지로 변환할 수 있다. 전처리 과정의 연산식을 표현하면 [수학식 1]과 같다.

수학식 1에서, p(x, y)의 x, y는 이미지에서 픽셀 좌표를 나타내고, p는 픽셀 값을 나타낸다.

전처리 과정을 이용하면, 의료영상 이미지의 노이즈를 제거하기 위해 연산량이 비교적 높은 알고리즘을 사용하지 않으므로 뇌 영상의 처리 속도를 높이거나 뇌 영상 매칭 장치의 연산 속도를 높일 수 있는 장점이 있다.

전처리 단계(S11) 이후의 단계들인 추출 단계(S12), 벡터양자화 단계(S13), 쿼리 이미지 획득 단계(S20), 비교/검색 단계(S31) 및 매칭/검색 결과 출력 단계(S33)는 위에서 설명한 내용과 중복되므로 여기에서는 생략하기로 한다.

한편, 저장 단계(S14)는 벡터양자화된 특징 정보를 각 표준 뇌 또는 표준 뇌 영상에 대응하여 메모리나 저장장치에 저장할 수 있다. 구현에 따라서, 저장되는 벡터양자화된 특징 정보는 데이터베이스에 저장되어 관리될 수 있다.

쿼리 이미지 획득 단계(S20) 다음에는 추출 단계 및 벡터양자화 단계가 추가될 수 있으나, 이에 한정되지는 않는다. 일례로, 쿼리 이미지는 별도의 장치를 통해 미리 벡터양자화 단계를 거친 후 본 실시예에 따른 뇌 영상 매칭 장치에 입력될 수 있다.

도 4는 본 실시예에 채용할 수 있는 표준 뇌 영상에 대한 예시도이다.

도 4를 참조하면, 본 실시예의 뇌 영상 처리 방법이나 이를 이용하는 뇌 영상의 매칭 방법에서는 139개의 표준 뇌 이미지를 사용할 수 있다. 139개의 표준 뇌 이미지는 도 4에서 (a) 내지 (l)로 표시된 12개의 대표 이미지들로 구분될 수 있다.

한편, 본 실시예에 따른 뇌 영상 처리 방법이나 이를 이용하는 뇌 영상의 매칭 방법는 표준 뇌 이미지를 139개로 한정하지 않고, 그보다 더 많거나 더 적은 개수의 표준 뇌 이미지를 사용하도록 구현될 수 있다. 또한, 진단하고자 하는 질병에 따라 서로 다른 개수의 표준 뇌 이미지를 사용할 수 있다.

도 5는 도 1의 매칭 방법에 채용할 수 있는 뇌 영상 처리 방법의 주요 과정을 설명하기 위한 도면이다.

본 실시예에 따른 뇌 영상 처리 방법이나 이를 이용하는 뇌 영상의 매칭 방법 및 장치에서는 표준 뇌 영상에서 특징을 추출하여 영상을 한 벡터로 표현하고, 이 벡터의 표현을 T-분포 확률적 임베딩(t-sne)을 이용하여 2차원 특징 공간(feature space)에 표현할 수 있다.

T-분포 확률적 임베딩(t-sne)은 데이터의 차원 축소에 사용되는 기계 학습 알고리즘 중 하나로서 비선형 차원 축소 기법을 이용한다. 즉, 고차원 데이터를 비슷한 데이터는 근접한 2차원, 3차원 지점으로, 다른 데이터는 멀리 떨어진 지점으로 맵핑하여 가시화할 수 있다. 이러한 t-sne 기법은 각 데이터 쌍에 대해 결합 분포를 만들고, 이 결합 분포에 기초하여 비슷한 데이터는 선택될 확률이 매우 높고, 상대적으로 비슷하지 않은 데이터는 선택될 확률이 매우 낮도록 설계될 수 있다.

이와 같이, 본 실시예에서는 표준 뇌 이미지들을 특징 공간(feature space) 상에서 클러스터링하여 각 집합 단위로 구분하고 쿼리 이미지와 집합 간의 거리를 구해 쿼리 이미지와 가장 유사한 집단을 찾은 후, 찾은 집단 안에서 다시 유사한 이미지를 찾도록 이루어질 수 있다. 클러스터링(clustering)은 k-means를 이용한 k개의 대표 특징점을 추출하는 것을 지칭할 수 있다.

위의 검색 과정에서, 벡터와 벡터 간의 거리를 계산하기 위해 유클리디언 거리를 계산할 수 있다.

또한, 쿼리 이미지를 분할하여 각 분할된 지역에 해당하는 MNI(Montreal Neurological Institute) 번호를 매칭할 수 있다. 즉, 쿼리 이미지를 표준 뇌 이미지에 세분화하여 정합시키기 위해 쿼리 이미지를 지역적으로 분할하여 지역마다 매칭되는 표준 뇌 이미지를 찾을 수 있다.

도 6은 본 발명의 다른 실시예에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 장치에 대한 블록도이다. 도 7은 본 발명의 또 다른 실시예에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 방법에 대한 흐름도이다.

도 6을 참조하면, 본 실시예에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 장치(이하, 간략히 '뇌 영상 매칭 장치'라고 한다)(100)는, 제어부(110), 메모리(120) 및 인터페이스(130)를 포함할 수 있다. 인터페이스(130)는 입력장치에 연결되거나 네트워크에 연결될 수 있다.

또한, 뇌 영상 매칭 장치(100)는 데이터베이스를 구비하는 데이터베이스 시스템(140)과 연결될 수 있다. 데이터베이스 시스템(140)은 표준 뇌 영상 템플릿 및 쿼리 이미지 템플릿 중 적어도 어느 하나 또는 둘 모두를 저장하고 관리할 수 있다.

또한, 뇌 영상 매칭 장치(100)는 출력장치(150)에 연결될 수 있다. 출력장치(150)는 표시장치, 프린터, 스피커 등을 포함할 수 있으며, 구현에 따라서 네트워크를 통해 연결되는 원격지의 컴퓨팅 장치나 모바일 단말 등을 포함할 수 있다. 원격지의 출력장치(150)는 뇌 영상 매칭 장치의 매칭 결과의 출력에 따라 미리 설정된 목적지로 매칭 결과를 전송하는 경우를 포함할 수 있다.

본 실시예에서 데이터베이스 시스템(140) 및 출력장치(150)는 뇌 영상 매칭 장치(100)에 포함되지 않는 형태로 도시되어 있으나, 본 발명은 그러한 구성으로 한정되지 않고, 구현에 따라서 데이터베이스 시스템(140) 및 출력장치(150) 중 적어도 어느 하나 이상을 광의의 측면에서 뇌 영상 매칭 장치(100)에 포함하도록 구현될 수 있다.

주요 구성요소를 좀더 구체적으로 설명하면 다음과 같다.

제어부(110)는 메모리(120)에 저장되는 소프트웨어 모듈이나 프로그램을 수행하여 뇌 영상 처리 방법이나 뇌 영상 매칭 과정을 수행할 수 있다. 제어부(110)는 예를 들어 도 1 내지 도 3 중 적어도 어느 하나와 그 상세 설명에 따른 일련의 절차들을 수행할 수 있다.

제어부(110)는 적어도 하나 이상의 중앙 처리 장치(CPU) 또는 코어를 포함하는 프로세서나 마이크로프로세서로 구현될 수 있다. 중앙처리장치 또는 코어는 처리할 명령어를 저장하는 레지스터(register)와, 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU)와, 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 제어유닛(control unit)과, 이들을 연결하는 내부 버스 등을 구비할 수 있다. 중앙처리장치 혹은 코어는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으나, 이에 한정되지는 않는다.

또한, 제어부(110)는 하나 이상의 데이터 프로세서, 이미지 프로세서 또는 코덱(CODEC)을 포함할 수 있으나, 이에 한정되지는 않는다. 제어부(110)는 주변장치 인터페이스와 메모리 인터페이스를 구비할 수 있다. 주변장치 인터페이스는 제어부(110)와 출력장치(150) 등의 입출력 시스템이나 다른 주변 장치를 연결하고, 메모리 인터페이스는 제어부(110)와 메모리(120)를 연결할 수 있다.

메모리(120)는 뇌 영상 처리 방법이나 뇌 영상 매칭 프로세스를 구현하기 위한 소프트웨어 모듈을 저장할 수 있다. 소프트웨어 모듈은, 전처리부에 대응하고 뇌 영상을 바이너리로 이미지 변환하는 즉, 전처리(preprocessing)하는 제1 모듈(121), 제1 추출부 및/또는 제2 추출부를 포함하는 추출부에 대응하며 뇌 영상에서 특징점을 추출하는 제2 모듈(122), 제1 벡터양자화부 및/또는 제2 벡터양자화부를 포함하는 벡터양자화부로서의 제3 모듈(123), 데이터베이스 시스템(140)의 데이터베이스에서 관련 데이터를 관리하는 DB관리부로서의 제4 모듈(124), 쿼리이미지 획득부에 대응하는 제5 모듈(125), 비교/매칭 기능의 수행을 위한 검색부에 대응하며 임상 뇌 영상의 특징 벡터와 표준 뇌 영상의 특징 벡터들과 비교를 통해 가장 유사한 표준 뇌 영상을 검색하는 제6 모듈(126), 매칭 결과를 출력하는 출력부로서의 제7 모듈(127) 등을 포함할 수 있다.

이러한 모듈들은 제어부(110)에 의해 실행되어 일련의 동작을 수행할 수 있다. 일례로, 본 실시예에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 방법은 다음과 같은 프로세스로 진행될 수 있으며, 이러한 프로세스를 수행하는 장치를 뇌 영상 매칭 장치로 지칭할 수 있다.

본 실시예에 따른 뇌 영상 매칭 장치는, 먼저 표준 뇌 영상들을 각각 바이너리 이미지로 변환할 수 있다. 바이너리 이미지로의 변환은 전처리 과정에 해당할 수 있다. 다음, 변환된 바이너리 이미지들에서 키포인트(keypoint)를 추출하고, 추출된 키포인트들을 바탕으로 k-means 클러스터링을 통해 k개의 대표 특징을 추출할 수 있다. 대표 특징들은 저장되며, 저장된 대표 특징들은 코드북을 생성할 수 있다.

다음, 생성된 코드북을 가지고 표준 뇌 영상들에서 특징점을 추출할 수 있다. 특징점 추출은 BoF 알고리즘을 이용하여 수행될 수 있으며, 이러한 과정은 양자화 또는 벡터양자화로 지칭될 수 있다. 그리고 추출된 특징들을 벡터로 표현할 수 있다. 즉, 표준 뇌 영상들의 특징 벡터를 생성할 수 있다.

한편, 앞서 추출된 특징점을 추출한 방법으로 쿼리 이미지의 특징점을 추출하고, 추출된 특징들을 벡터로 표현할 수 있다. 즉, 쿼리 이미지의 특징 벡터를 생성할 수 있다.

다음, 표준 뇌 영상들의 특징 벡터와 쿼리 이미지의 특징 벡터 간 거리를 측정할 수 있다. 그리고, 쿼리 이미지의 특징 벡터와 가장 가까운 벡터에 해당하는 표준 뇌 영상을 출력할 수 있다.

또한, 도 7에 도시한 바와 같이, 본 실시예에 따른 임상 뇌 영상과 표준 뇌 영상의 매칭 방법은 다음과 같은 프로세스로 진행될 수 있다.

먼저, 뇌 영상 매칭 장치는, 코드북이 존재하는지를 판단하고(S71), 저장된 코드북이 없으면, 표준 뇌 영상(MNI)을 메모리에서 읽어들여 로딩할 수 있다(S72). 그리고 표준 뇌 영상을 전처리하고(S73), 표준 뇌 영상에서 특징을 추출하고(S74), 추출된 특징을 클러스터링하고(S75), 클러스터링된 코드북을 저장할 수 있다(S76).

한편, 코드북이 존재하면(S71의 Yes), 뇌 영상 매칭 장치는 코드북을 메모리에서 읽어들여 로딩할 수 있다(S77). 그런 다음, 표준 뇌 영상의 특징이 존재하는지를 판단할 수 있다(S78).

상기의 판단 결과, 표준 뇌 영상의 특징이 존재하지 않으면, 뇌 영상 매칭 장치는 표준 뇌 영상(MNI)을 로딩하고(S79), 표준 뇌 영상을 전처리하고(S80), 특징을 추출하고(S81), 추출한 표준 뇌 영상의 특징으로 저장할 수 있다(S82).

한편, 상기의 판단 결과, 표준 뇌 영상의 특징이 존재하면, 뇌 영상 매칭 장치는 표준 뇌 영상의 특징을 로딩하고(S83), 쿼리 이미지를 로딩하고(S84), 쿼리 이미지를 전처리하고(S85), 쿼리 이미지에서 특징을 추출하고(S86), 추출된 특징 또는 추출된 특징에 대응하는 특징 벡터를 토대로 검색을 수행(S87)하도록 이루어질 수 있다.

이와 같이, 본 실시예에 의하면, 새로운 뇌 영상 처리 기법을 통해 임상 뇌 영상과 매칭되는 표준 뇌 영상을 신속하고 정확하게 검색할 수 있다.

다시 도 6을 참조하면, 전술한 메모리(120)는 비휘발성 랜덤 액세스 메모리(non-volatile RAM, NVRAM), 대표적 휘발성 메모리인 DRAM(dynamic random access memory) 등의 반도체 메모리, 하드디스크 드라이브(hard disk drive, HDD), 광 저장 장치, 플래시 메모리 등으로 구현될 수 있다. 그리고 메모리(120)는 뇌 영상 처리 방법이나 뇌 영상 매칭 프로세스를 수행하기 위한 소프트웨어 모듈 외에 운영체제, 프로그램, 명령어 집합 등을 저장할 수 있다.

한편, 전술한 실시예에 있어서, 뇌 영상 매칭 장치의 구성요소들은 비휘발성 메모리(NVRAM) 기반으로 다양한 컴퓨팅 장치의 프로세서에 의해 수행되는 기능 블록 또는 모듈로 구현될 수 있다. 예컨대, 도 1 내지 도 3의 뇌 영상 처리 방법이나 뇌 영상 매칭 프로세스를 구현하는 장치의 메모리에 저장되는 소프트웨어 모듈은 이들이 수행하는 일련의 기능을 구현하기 위한 소프트웨어 형태로 컴퓨터 판독 가능 매체(기록매체)에 저장되거나 혹은 캐리어 형태로 원격지의 서버 장치 내 저장장치에 저장되고 서버 장치와 네트워크를 통해 연결되는 뇌 영상 매칭 장치에서 다운로드하여 해당 기능을 수행하도록 구현될 수 있다. 여기서 컴퓨터 판독 가능 매체는 네트워크를 통해 연결되는 복수의 컴퓨터 장치나 클라우드 시스템의 메모리나 저장 장치를 포함할 수 있고, 복수의 컴퓨터 장치나 클라우드 시스템 중 적어도 하나 이상은 본 실시예의 뇌 영상 처리 방법이나 뇌 영상 매칭 프로세스를 실행하기 위한 프로그램이나 소스 코드를 저장할 수 있다.

또한, 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하는 형태로 구현될 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것을 포함할 수 있다.

또한, 컴퓨터 판독 가능 매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 여기서 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 하드웨어 장치는 본 실시예의 뇌 영상 처리 방법이나 뇌 영상 매칭 프로세스를 동작시키기 위해 적어도 하나의 소프트웨어 모듈에 의해 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

인터페이스(130)는 뇌 영상 매칭 장치에서 의료영상 및/또는 임상정보를 획득하는 수단이나 이러한 기능을 수행하는 구성부를 포함할 수 있다. 인터페이스(130)는 표준 뇌 영상이나 쿼리 이미지가 입력되는 입력 포트를 포함하거나, 유선 또는 무선 통신 라인으로 연결되는 다른 장치에서 표준 뇌 영상이나 쿼리 이미지를 읽어오는 수단이나 구성부를 포함할 수 있다. 이러한 인터페이스(130)는 표준 뇌 영상이나 쿼리 이미지를 준비하는 입력장치 혹은 영상 획득부로서 기능할 수 있다.

또한, 인터페이스(130)는 뇌 영상 매칭 장치를 네트워크에 연결하는 수단이나 이러한 수단에 상응하는 구성부를 포함할 수 있다. 이러한 인터페이스(130)는 통신수단이나 통신 장치로서 하나 이상의 통신 프로토콜을 지원하는 하나 이상의 유선 및/또는 무선 통신 서브시스템을 포함할 수 있다.

유선 통신 서브시스템은 PSTN(public switched telephone network), ADSL(Asymmetric Digital Subscriber Line) 또는 VDSL(Very high-data rate Digital Subscriber Line) 네트워크, PES(PSTN Emulation Service)를 위한 서브시스템, IP(internet protocol) 멀티미디어 서브시스템(IMS) 등을 포함할 수 있고, 무선 통신 서브시스템은 무선 네트워크 연결을 위한 무선 주파수(radio frequency, RF) 수신기, RF 송신기, RF 송수신기, 광(예컨대, 적외선) 수신기, 광 송신기, 광 송수신기 또는 이들의 조합을 포함할 수 있다. 여기서, 무선 네트워크는 기본적으로 Wi-Fi를 지칭하나, 이에 한정되지 않는다. 본 실시예에서 인터페이스(130)는 다양한 무선 네트워크 예를 들어, GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), CDMA(Code Division Multiple Access), W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution), LET-A(LET-Advanced), OFDMA(Orthogonal Frequency Division Multiple Access), WiMax, Wi-Fi(Wireless Fidelity), Bluetooth 등에서 선택되는 적어도 하나 이상을 지원하도록 구현될 수 있다.

이상에서 설명한 바와 같이, 본 발명에 의하면, 사람마다 뇌의 모양과 크기가 다른 임상 뇌 영상을 검색에 적합한 형태로 처리할 수 있다. 또한, 미리 준비된 표준 뇌 영상에 기초하여 임상에서 얻은 임상 뇌 영상과 가장 잘 매칭되는 표준 뇌 영상을 신속하고 정확하게 검색할 수 있다.

상기에서는 본 발명의 바람직한 실시예들에 관하여 설명하였지만, 본 발명의 기술분야에서 통상의 지식을 가진 사람이라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.

Claims (10)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 사전 정의된 표준 뇌들에 대한 복수의 제1 영상들 각각에서 키포인트 또는 특징을 추출하는 단계;
   뇌의 크기와 모양에 따라 서로 다르게 추출된 키포인트 또는 특징을 포함한 특징 벡터를 글로벌 특징으로 양자화하여 길이를 맞추는 벡터양자화단계;
   상기 복수의 제1 영상들 각각에 대응하여 서로 길이가 맞춰진 제1 벡터 양자화 정보를 저장하는 단계;
   임상용 뇌 영상인 제2 영상에 대응하는 제1 영상의 질의 신호를 획득하는 단계;
   상기 질의 신호에 따라 상기 제2 영상에서 추출한 특징에 기초한 제2 벡터 양자화 정보와 상기 제1 벡터 양자화 정보를 비교하는 단계; 및
   상기 비교 결과에 기초하여 유사도가 일정 오차 이하인 특정 제1 벡터 양자화 정보를 상기 질의 신호에 대한 응답 또는 질의 결과로 출력하는 단계를 포함하는, 임상 뇌 영상과 표준 뇌 영상의 매칭 방법.
6. 청구항 5에 있어서,
   상기 글로벌 특징은 BoF(Bag of Features)를 사용하며,
   상기 비교하는 단계는 상기 BoF를 이용한 이미지 검색을 이용하며, 여기서 상기 이미지 검색은 영상을 특징 벡터로 표현하는 부분과 영상들의 특징 벡터들 간의 유사도를 측정하는 부분으로 나눠 수행되는, 임상 뇌 영상과 표준 뇌 영상의 매칭 방법.
7. 청구항 5에 있어서,
   상기 비교하는 단계는, 상기 질의 신호에 대응하는 표준 뇌들에 대한 복수의 제1 영상들에서 추출한 k개의 대표 기술자들을 바탕으로 제2 영상의 특징을 추출하고, 추출한 특징을 벡터로 표현하여 제1 영상들의 특징 벡터와 비교를 통해 유사한 이미지를 찾는, 임상 뇌 영상과 표준 뇌 영상의 매칭 방법.
8. 사전 정의된 표준 뇌들에 대한 복수의 제1 영상들 각각에서 키포인트 또는 특징을 추출하는 추출부;
   뇌의 크기와 모양에 따라 서로 다르게 추출된 키포인트 또는 특징을 포함한 특징 벡터를 글로벌 특징으로 양자화하여 길이를 맞추는 벡터양자화부;
   상기 복수의 제1 영상들 각각에 대응하여 서로 길이가 맞춰진 제1 벡터 양자화 정보를 저장하는 저장부;
   임상용 뇌 영상인 제2 영상에 대응하는 제1 영상의 질의 신호를 획득하는 사용자 인터페이스부;
   상기 질의 신호에 따라 상기 제2 영상에서 추출한 특징에 기초한 제2 벡터 양자화 정보와 상기 제1 벡터 양자화 정보를 비교하는 검색부; 및
   상기 검색부의 비교 결과에 기초하여 유사도가 일정 오차 이하인 특정 제1 벡터 양자화 정보를 상기 질의 신호에 대한 응답 또는 질의 결과로 출력하는 출력부를 포함하는, 임상 뇌 영상과 표준 뇌 영상의 매칭 장치.
9. 청구항 8에 있어서,
   상기 검색부는 상기 글로벌 특징으로 BoF(Bag of Features)를 사용하여 이미지 검색을 수행하며, 여기서 상기 이미지 검색은 영상을 특징 벡터로 표현하는 부분과 영상들의 특징 벡터들 간의 유사도를 측정하는 부분으로 나눠 수행되는, 임상 뇌 영상과 표준 뇌 영상의 매칭 장치.
10. 청구항 8에 있어서,
    상기 검색부는, 상기 질의 신호에 대응하는 표준 뇌들에 대한 복수의 제1 영상들에서 추출한 k개의 대표 기술자들을 바탕으로 제2 영상의 특징을 추출하고, 추출한 특징을 벡터로 표현하여 제1 영상들의 특징 벡터와 비교를 통해 유사한 이미지를 찾는, 임상 뇌 영상과 표준 뇌 영상의 매칭 장치.

Images