KR101141312B1

KR101141312B1 - 영상의 융합 기법을 이용한 의료용 혈관영상 처리방법

Info

Publication number: KR101141312B1
Application number: KR1020110045782A
Authority: KR
Inventors: 김성민; 신광용; 박영호; 이현창; 조소라; 이의철; 박강령
Original assignee: 동국대학교 산학협력단
Priority date: 2011-05-16
Filing date: 2011-05-16
Publication date: 2012-05-04
Also published as: US20130028490A1; US8428323B2; WO2012157835A1

Abstract

본 발명은 i) 혈관영상에 포함된 혈관이 가질 수 있는 다양한 방향 및 두께를 고려한 가버 필터를 이용하여 원본 혈관영상을 선명화하는 가버 필터링 단계; ii) 1차 미분 또는 2차 미분에 기반을 둔 에지 추출 방법을 이용하여 원본 혈관영상과 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상의 혈관과 비혈관 부분에서 발생하는 밝기 변화에 따른 에지를 검출하는 에지 검출단계; iii) 원본 혈관영상과 상기 단계 ii)의 에지 검출단계가 종료된 혈관영상을 융합하고, 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상과 상기 단계 ii)의 가버 필터가 적용된 영상에서 검출한 에지 혈관영상을 융합한 뒤 신경회로망을 이용하여 융합된 두 영상 각각의 화소에 적용할 가중치를 결정한 후 두 영상을 서로 융합하여 혈관 영상을 선명화하는 신경회로망을 이용한 혈관영상 선명화 단계; 및 iv) 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상과 단계 iii)의 신경회로망을 이용하여 선명화된 혈관영상을 스코어 레벨 퓨전 방법을 통해 혈관영상을 선명화 하는 스코어 레벨 퓨전을 이용한 혈관영상 선명화 단계를 포함하는 혈관영상 처리방법에 관한 것이다.

Description

영상의 융합 기법을 이용한 의료용 혈관영상 처리방법{Medical Image Processing Method for Blood Vessel based on Image Fusion method}

본 발명은 의료용 혈관영상 처리방법에 관한 것으로서, 보다 상세하게는 촬영된 원본 혈관영상에 혈관이 가질 수 있는 방향과 두께를 고려한 가버 필터(Gabor filter)를 적용하고, 원본 혈관영상 및 가버 필터가 적용된 혈관영상에서 각각 혈관 에지(Edge)를 검출하고, 신경회로망(Neural Network)을 통해 혈관영상 및 에지가 검출된 영상을 융합하여 혈관영상을 선명화하며, 융합된 혈관영상을 스코어 레벨 퓨전(Score level fusion)을 이용하여 혈관영상에 포함된 혈관을 보다 선명하게 관찰할 수 있도록 한 의료용 혈관영상 처리방법에 관한 것이다.

일반적으로 손가락 및 손등 같은 신체 일부의 혈관영상을 취득하는 방법으로는 MRI(Magnetic Resonance Imaging), CT(Computed Tomography)등과 같은 방사선 촬영 방법을 사용하고 있다.

하지만, 상기 방사선 촬영 방법들은 반드시 사용자가 조영제 투여를 받아야 하기 때문에 촬영이 번거롭고, 일부 사용자에게는 부작용을 초래할 뿐만 아니라, 비용이 고가이므로 특수한 목적을 제외하고는 진단 및 치료 목적에 사용되기 곤란하다는 문제점이 있다.

이러한 방사선 촬영 방법의 문제점들로 인해 혈관영상을 촬영하기 위한 다른 방법으로써, 적외선 조명 및 적외선 카메라 등을 이용한 적외선 촬영 방법이 개발되고 있다.

상기 적외선 촬영 방법은 혈관영상 취득 시 사용하는 근적외선 파장 조명이 혈관 속 혈액 내에 포함된 헤모글로빈(hemoglobin)에 흡수되는 현상으로 인해 혈관 영역이 비혈관 영역보다 비교적 어둡게 촬영되어, 혈관영상으로부터 혈관 영역과 비혈관 영역을 분석할 수 있다.

특히, 상기 적외선 촬영 방법은 상기 MRI 또는 CT에 비해 거부감이 적고, 비용이 저렴하며, 부작용이 없기 때문에 동맥경화로 인한 혈관 막힘 현상을 진단하거나, 손가락 같은 신체 일부분의 절단으로 인한 접합 수술 시 접합 부위 혈관의 올바른 접합 여부를 판단하는 의료 영상 분야에서 많이 사용되고 있다.

한편, 의료 영상 분야에서 상기 적외선 촬영 방법으로 취득한 혈관영상을 이용하여 정확한 진단 및 진료를 하기 위해서는 취득된 혈관영상의 혈관과 비혈관 영역이 가시적으로 선명해야 함으로, 영상 선명화 방법을 통해 혈관영상의 품질을 개선하는 것이 필수적으로 요구되고 있다.

영상 품질을 개선하기 위해 일례로서, 문헌(J. H. KIM, "An Image Merging Method for Two High Dynamic Range Images of different Exposure," Korea Multimedia Society, 2010)에는 정지한 사물을 대상으로 노출 시간을 달리하여 두 장의 HDR(High Dynamic Range) 영상을 취득하고, 두 장의 HDR 영상을 결합하는 과정에서 휘도와 색도의 정보를 이용하여 가중치를 결정하며, 가중치 변화로 발생할 수 있는 스파클 잡음을 방지하기 위해 가우시안 함수로 혼합하여 영상을 선명화하는 것이 개시되어 있다.

하지만, 상기 방법은 신체 일부분의 혈관영상을 취득할 경우, 사용자의 움직임으로 인해 취득된 두 장의 혈관영상 간의 회전 및 이동이 발생되어, 두 영상 간의 회전 및 이동의 예측이 곤란하고, 이를 정합하는 과정에서 처리 시간이 장시간 소요되며, 부정확한 정합으로 인한 혈관 영역의 왜곡이 발생될 수 있으므로 혈관영상의 선명화 처리 방법으로는 적용하는 것이 곤란하다.

또한, 혈관영상을 처리하는 다른 일례로서, 문헌(Z. Shi., W. Yiding, and W. Yunhong, "Extracting Hand Vein Patterns from Low-quality Images: A New Biometric Technique Using Low-cost Devices," In Proc. of the Fourth International Conf. on Image and Graphics, 2007)에는 정합필터(matched filter), 위너필터(wiener filter) 및 평균화필터(average filter)를 사용하여 영상의 잡음을 제거함으로써, 혈관영상의 선명화를 시도하였다.

하지만, 상기 방법은 다수의 필터를 사용하여 필터링함으로써 처리된 영상이 흐릿해지고, 이로 인해 혈관과 비혈관을 분리하는 단계에서 혈관과 비혈관의 분리가 부정확해지는 문제점이 있다.

이러한 문제점을 극복하기 위하여, 문헌(W. Lingyu and L. Graham. "Gray-scale Skeletonization of Thermal Vein Patterns Using the Watershed Algorithm in Vein Pattern Biometrics," in Proc. of Int. Conf. on Computational Intelligence and Security, 2006.)에는 영상의 혈관과 비혈관 분리 단계를 워터쉐드(watershed) 알고리즘으로 대체하여 영상의 골격을 추출하는 방법을 제시하였다.

하지만, 이러한 방법은 두개의 혈관이 서로 근접하게 위치할 경우, 이를 구분하기 곤란하다는 문제점이 있다.

본 발명은 다수의 방향과 두께를 고려한 가버 필터를 이용하여 혈관 부분의 신호를 증폭하고, 원본 혈관영상과 가버 필터가 적용된 혈관영상으로부터 에지를 검출한 후 신경회로망을 이용하여 혈관영상과 에지 영상을 융합하여 혈관영상을 선명화하고, 선명화된 혈관영상들을 스코어 레벨 퓨전을 이용하여 선명화함으로써, 한 장의 혈관영상으로부터 다수의 선명화된 혈관영상을 얻고, 혈관영상에 포함된 혈관과 비혈관의 구분을 명확히 하여 혈관영상의 품질을 향상시킬 수 있도록 한 의료용 혈관영상 처리방법을 제공한다.

본 발명은

i) 혈관영상에 포함된 혈관이 가질 수 있는 다양한 방향 및 두께를 고려한 가버 필터를 이용하여 원본 혈관영상을 선명화하는 가버 필터링 단계;

ii) 1차 미분 또는 2차 미분에 기반을 둔 에지 추출 방법을 이용하여 원본 혈관영상과 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상의 혈관과 비혈관 부분에서 발생하는 밝기 변화에 따른 에지를 검출하는 에지 검출단계;

iii) 원본 혈관영상과 상기 단계 ii)의 에지 검출단계가 종료된 혈관영상을 융합하고, 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상과 상기 단계 ii)의 가버 필터가 적용된 영상에서 검출한 에지 혈관영상을 융합한 뒤 신경회로망을 이용하여 융합된 두 영상 각각의 화소에 적용할 가중치를 결정한 후 두 영상을 서로 융합하여 혈관 영상을 선명화하는 신경회로망을 이용한 혈관영상 선명화 단계; 및

iv) 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상과 단계 iii)의 신경회로망을 이용하여 선명화된 혈관영상을 스코어 레벨 퓨전 방법을 통해 혈관영상을 선명화 하는 스코어 레벨 퓨전을 이용한 혈관영상 선명화 단계를 포함하는 혈관영상 처리방법에 관한 것이다.

본 발명에 따른 의료용 혈관영상 처리방법은 다양한 영상융합 방법을 이용하여 한 장의 혈관영상으로부터 다수의 선명화된 혈관영상들을 얻을 수 있어, 혈관관련 질병을 정밀하게 분석하여 정확한 진단 및 치료에 사용할 수 있도록 한다.

또한, 본 발명은 혈관과 비혈관을 명확하게 구분할 수 있고, 굵은 혈관뿐만 아니라 선명도가 낮아 구분하기 어려운 얇은 혈관까지 명확히 표시할 수 있는 혈관영상을 제공할 수 있다.

도 1은 본 발명에 따른 가버 필터의 공간 영역 및 주파수 영역 형태를 나타내는 도,
도 2는 본 발명에 따른 미분 값 변화에 따라 영상의 밝기 변화가 발생되는 공간 영역에서 검출되는 에지의 형태를 나타내는 도,
도 3은 본 발명에 따른 공간 영역에서 가버 필터가 적용된 영상 및 에지를 검출한 혈관영상을 나타내는 도,
도 4는 본 발명에 따른 혈관영상 및 혈관 에지가 검출된 영상을 융합하는데 적용된 신경회로망을 나타내는 도,
도 5는 본 발명에 따른 신경회로망을 통해 원본 혈관영상 및 에지가 검출된 영상 각각의 화소의 휘도값의 평균 및 표준편차를 이용하여 혈관영상의 선명화 처리과정을 나타내는 도,
도 6은 본 발명에 따른 신경회로망 및 가버 필터가 적용된 영상들을 MIN의 스코어 레벨 퓨전을 이용한 혈관영상의 선명화 처리과정을 나타내는 도,
도 7은 본 발명에 따른 신경회로망 및 가버 필터가 적용된 영상들을 MAX의 스코어 레벨 퓨전을 이용한 혈관영상의 선명화 처리과정을 나타내는 도,
도 8은 본 발명에 따른 신경회로망 및 가버 필터가 적용된 영상들을 SUM의 스코어 레벨 퓨전을 이용하여 혈관영상의 선명화 처리과정을 나타내는 도,
도 9는 본 발명에 따른 신경회로망 및 가버 필터가 적용된 영상들을 Weighted SUM의 스코어 레벨 퓨전을 이용하여 혈관영상의 선명화 처리과정을 나타내는 도,
도 10은 본 발명에 따른 다수의 혈관영상 융합 방법을 이용하여 원본 혈관영상으로부터 선명화 처리된 다수의 혈관영상들을 나타내는 도이다.

본 발명은 i) 혈관영상에 포함된 혈관이 가질 수 있는 다양한 방향 및 두께를 고려한 가버 필터를 이용하여 원본 혈관영상을 선명화하는 가버 필터링 단계; ii) 1차 미분 또는 2차 미분에 기반을 둔 에지 추출 방법을 이용하여 원본 혈관영상과 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상의 혈관과 비혈관 부분에서 발생하는 밝기 변화에 따른 에지를 검출하는 에지 검출단계; iii) 원본 혈관영상과 상기 단계 ii)의 에지 검출단계가 종료된 혈관영상을 융합하고, 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상과 상기 단계 ii)의 가버 필터가 적용된 영상에서 검출한 에지 혈관영상을 융합한 뒤 신경회로망을 이용하여 융합된 두 영상 각각의 화소에 적용할 가중치를 결정한 후 두 영상을 서로 융합하여 혈관 영상을 선명화하는 신경회로망을 이용한 혈관영상 선명화 단계; 및 iv) 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상과 단계 iii)의 신경회로망을 이용하여 선명화된 혈관영상을 스코어 레벨 퓨전 방법을 통해 혈관영상을 선명화 하는 스코어 레벨 퓨전을 이용한 혈관영상 선명화 단계를 포함하는 혈관영상 처리방법을 제공한다.

본 발명에 따른 혈관영상 처리방법, 특정적으로 의료용 혈관영상 처리방법은 의사가 환자를 진료하거나 치료할 목적으로 신체, 예를 들면 손, 손가락, 손등, 발가락 또는 이들 모두의 혈관을 촬영할 경우, 촬영된 혈관영상으로부터 선명화된 혈관영상들을 얻을 수 있도록 하는 것으로서, 이러한 목적을 갖는 혈관영상 처리방법이라면 특별히 한정되지 않는다.

특히, 본 발명에 따른 혈관영상 처리방법은 촬영된 한 장의 혈관영상으로부터 다수의 선명화된 혈관영상들을 얻을 수 있어, 한 장의 선명화된 혈관영상을 얻어 진료하던 기존 방법보다 신뢰도를 높일 수 있고, 영상에 포함된 혈관을 보다 정교하고, 선명하게 관찰할 수 있도록 한다.

여기서, 상기 신체는 손, 손가락, 손등, 손가락, 발가락 또는 이들 모두로 한정되는 것이 아니라, 사용자의 선택에 따라 다른 부분을 포함할 수 있으며, 본 발명은 적외선 조명 및 적외선 카메라로 촬영된 혈관영상뿐만 아니라, 조영제를 이용하여 촬영한 MRI(Magnetic Resonance Imaging), CT(Computed Tomography) 등의 혈관영상을 지칭한다.

한편, 본 발명에 따른 혈관영상은 적외선 조명 및 적외선 카메라로 촬영된 혈관영상뿐만 아니라, 조영제를 이용하여 촬영한 MRI(Magnetic Resonance Imaging), CT(Computed Tomography) 등의 혈관영상을 지칭한다.

또한, 상기 혈관영상은 영상을 처리하여 선명화하고자 하는 대상 영상 또는 선명화된 영상 등을 지칭할 수 있지만, 본 발명의 용이한 설명을 위해 상기 혈관영상을 처리하여 선명화하고자 하는 대상 영상, 즉 최초 촬영된 영상을 특정적으로 원본 혈관영상으로 지칭할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 대하여 상세히 설명하면 다음과 같다. 그러나 하기의 설명은 오로지 본 발명을 구체적으로 설명하기 위한 것으로 하기 설명에 의해 본 발명의 범위를 한정하는 것은 아니다.

도 1은 본 발명에 따른 가버 필터의 공간 영역 및 주파수 영역 형태를 나타내는 도, 도 2는 본 발명에 따른 미분 값 변화에 따라 영상의 밝기 변화가 발생되는 공간 영역에서의 검출되는 에지의 형태를 나타내는 도, 도 3은 본 발명에 따른 공간 영역에서 가버 필터가 적용된 영상 및 에지를 검출한 혈관 영상을 나타내는 도, 도 4는 본 발명에 따른 혈관영상 및 혈관 에지가 검출된 영상을 융합하는데 적용된 신경회로망을 나타내는 도, 도 5는 본 발명에 따른 신경회로망을 통해 원본 혈관영상 및 에지가 검출된 영상 각각의 화소의 휘도값의 평균 및 표준편차를 이용하여 혈관영상의 선명화 처리과정을 나타내는 도, 도 6은 본 발명에 따른 신경회로망 및 가버 필터가 적용된 영상들을 MIN의 스코어 레벨 퓨전을 이용한 혈관영상의 선명화 처리과정을 나타내는 도, 도 7은 본 발명에 따른 신경회로망 및 가버 필터가 적용된 영상들을 MAX의 스코어 레벨 퓨전을 이용한 혈관영상의 선명화 처리과정을 나타내는 도, 도 8은 본 발명에 따른 신경회로망 및 가버 필터가 적용된 영상들을 SUM의 스코어 레벨 퓨전을 이용하여 혈관영상의 선명화 처리과정을 나타내는 도, 도 9는 본 발명에 따른 신경회로망 및 가버 필터가 적용된 영상들을 Weighted SUM의 스코어 레벨 퓨전을 이용하여 혈관영상의 선명화 처리과정을 나타내는 도, 도 10은 본 발명에 따른 다수의 혈관영상 융합 방법을 이용하여 원본 혈관영상으로부터 선명화 처리된 다수의 혈관영상들을 나타내는 도로서 함께 설명한다.

도 1 내지 도 10에 도시된 바와 같이, 본 발명에 따른 의료용 혈관영상 처리방법은 i) 혈관영상에 포함된 혈관이 가질 수 있는 다양한 방향 및 두께를 고려한 가버 필터를 이용하여 원본 혈관영상을 선명화하는 가버 필터링 단계; ii) 1차 미분 또는 2차 미분에 기반을 둔 에지 추출 방법을 이용하여 원본 혈관영상과 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상의 혈관과 비혈관 부분에서 발생하는 밝기 변화에 따른 에지를 검출하는 에지 검출단계; iii) 원본 혈관영상과 상기 단계 ii)의 에지 검출단계가 종료된 혈관영상을 융합하고, 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상과 상기 단계 ii)의 가버 필터가 적용된 영상에서 검출한 에지 혈관영상을 융합한 뒤 신경회로망을 이용하여 융합된 두 영상 각각의 화소에 적용할 가중치를 결정한 후 두 영상을 서로 융합하여 혈관 영상을 선명화하는 신경회로망을 이용한 혈관영상 선명화 단계; 및 iv) 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상과 단계 iii)의 신경회로망을 이용하여 선명화된 혈관영상을 스코어 레벨 퓨전 방법을 통해 혈관영상을 선명화 하는 스코어 레벨 퓨전을 이용한 혈관영상 선명화 단계를 포함한다.

특정 양태로서, 본 발명에 따른 의료용 혈관영상 처리방법은 상기 단계 iv)의 후단계로서, 상기 단계 i) 내지 iv)에서 얻어진 영상들 및 원본 영상을 동시에 디스플레이하는 디스플레이 단계를 더 포함할 수 있다.

이때, 상기 디스플레이 단계는 사용자, 특정적으로 의학 전문가가 여러 영상 정보들을 동시에 서로 비교 관찰할 수 있도록 하여 혈관에 대한 정확한 판단을 내릴 수 있도록 한다.

본 발명에 따른 가버 필터링 단계는 가버 필터를 이용하여 혈관영상을 선명화하는 것이다.

이때, 상기 가버 필터(Garbor filter)는 가버 필터링을 수행하기에 앞서 사전에 다양한 혈관의 방향 및 두께에 따른 다수의 가버 필터를 미리 생성한 후 생성된 가버 필터를 혈관영상에 적용하게 된다.

본 발명에 따른 혈관이 가질 수 있는 다양한 혈관의 방향 및 두께를 고려한 다수의 가버 필터를 생성하여 적용하기 위해서는 다음 수학식 1의 가버 필터 수식 및 수학식 2의 주파수 영역에서의 표현식을 따라 가버 필터를 생성하여 영상을 처리한다.

여기서, 상기 수학식 1의 (x, y)는 필터에서의 (x, y) 픽셀 위치를 나타내며, g(x, y)는 상기 (x, y)위치에서의 가버 필터 계수 값을 나타낸다.

또한, 상기 수학식 1의

는 가버 필터의 주파수를 나타내고, 상기

,

는 가버필터 형태의 표준편차를 나타내는 파라미터이다.

또한, 상기 수학식 1에서 상기

,

에 의해 가버 필터의 형태가 결정된다.

이때, 상기

는 가버 필터의 방향을 나타내는 것으로 사전에 정한 다수의 혈관 방향 값을 사용하게 되며, 상기 가버 필터의 주기(period)는 사전에 정한 다수의 혈관 두께의 2배인 수치로 설정한다.

또한, 상기

(가버 필터의 주파수)는 "1/주기"의 수식에 의해 산출될 수 있으므로, 결과적으로 "1/(혈관두께의 2배)"로 정해진다.

또한, 일반적으로 표준편차(

,

)는 가버 필터의 형태를 결정하는 것으로,

는

과 동일한 값으로 사용하며, 가버 필터의 크기는

(

)의 2배 정도 크기 값으로 사용한다.

그러므로 사전에 다양한 혈관의 방향(

)과 두께(

)를 결정하기 때문에, 나머지 파라미터인

(

)만 결정되면 가버 필터의 크기[

(

)의 2배] 역시 설정되어, 최종적인 가버 필터가 결정된다.

여기서, 상기 파라미터

(

)는 일반적으로 혈관 두께가 클수록 큰

(

)값을 사용하고, 혈관두께가 작을수록 작은

(

)값을 사용한다.

한편, 상기 수학식 2는 수학식 1의 주파수 영역에서의 표현식을 나타낸다.

이때, 상기 수학식 2의 W는 필터의 주파수를 나타내고,

와

는 필터 형태의 표준편차로써 각각

,

를 나타낸다.

한편, 도 1의 (a) 및 (b)는 상기 가버 필터의 공간영역(spatial domain)과 주파수 영역(frequency domain)에서의 형태를 각각 나타낸 것이다.

도 1의 (a)에서 밑면의 두 축은 수학식 1의 x, y 좌표를 의미하고, 도 1의 (a)의 세로축은 수학식 1의 g(x,y)를 의미한다.

또한, 도 1의 (b)에서 밑면의 두 축은 수학식 2의 u, v 좌표를 의미하고, 세로축은 수학식 2의 G(u, v)를 의미한다.

한편, 도 3은 본 발명에 따른 공간 영역에서 가버 필터가 적용된 혈관영상 및 에지를 검출한 혈관영상을 나타내는 도로서, 원본 혈관영상인 도 3의 (a)에서 다양한 방향과 두께를 고려한 다수의 가버 필터를 적용한 후 추출된 다수의 결과 값들 중 최소값을 선택하여 적용함으로써, 도 3의 (b)와 같이 원본 혈관영상을 가버 필터링한 보다 선명화된 혈관영상을 얻을 수 있다.

본 발명에 따른 에지(edge) 검출단계는 혈관영상의 에지 정보를 이용하여 혈관과 비혈관을 분류하기 위한 것으로서, 이러한 목적을 갖는 통상적인 에지 검출방법, 예를 들면 에지 영역 검출방법이라면 특별히 한정되지 않는다.

본 발명에 따른 에지 검출단계는 혈관과 비혈관의 밝기 변화에 따라 에지, 예를 들면 에지 영역을 검출할 수 있다.

특정적으로, 본 발명에 따른 에지 검출단계는 1차 미분 또는 2차 미분에 기반을 둔 에지 추출 방법을 이용하여 원본 혈관영상과 상기 가버 필터링 단계가 종료된 혈관영상의 혈관과 비혈관 부분에서 발생하는 밝기 변화에 따른 에지 영역을 검출할 수 있다.

여기서, 상기 에지 검출단계의 에지는 혈관영상에서 1차 미분 또는 2차 미분을 이용하여 혈관과 비혈관의 밝기 변화가 발생하는 영역의 경계면에 위치할 수 있다.

특히, 상기 에지는 도 2에 도시된 바와 같이, 영상의 밝기 값의 변화가 발생되는 영역에서 1차 미분 또는 2차 미분에 따라 검출된다.

이때, 도 2의 1차 미분 값의 크기를 이용하여 혈관영상의 에지 존재여부를 파악할 수 있으며, 2차 미분 값의 부호는 에지 화소가 에지, 예를 들면 에지 영역의 밝은 부분에 있는지 또는 어두운 부분에 있는지를 결정하는데 사용된다.

또한, 상기 에지 검출단계의 에지 추출 방법은 소벨(Sobel), 프리윗(Prewitt), 로버츠(Roberts), 컴퍼스(Compass), 라플라시안(Laplacian), 가우시안-라플라시안(LoG: Laplacian of Gaussian) 또는 캐니(Canny) 중 한 가지 방법을 사용할 수 있다.

상기 에지 추출 방법은 당업계의 통상적인 에지 추출 마스크 방법이다.

상기 에지 검출단계의 예시로서, 도 3은 원본 혈관영상 및 가버 필터링 단계를 통해 가버 필터가 적용된 혈관영상으로부터 에지를 검출한 혈관영상을 나타낸다.

이때, 상기 도 3의 (a)는 원본 혈관영상이고, (b)는 가버 필터링 단계를 통해 가버 필터가 적용된 혈관영상이며, 도 3의 (c) 및 (d)는 (a)의 원본 혈관영상 및 (b)의 가버 필터가 적용된 혈관영상을 에지 추출 방법인 소벨(sobel) 9x9 에지 검출 마스크를 적용하여 에지를 검출한 혈관영상이다.

또한, 도 3에서 (a)의 원본 혈관영상에 포함된 어두운 부분은 혈관을 나타내고, 밝은 부분은 비혈관 부분을 나타낸다.

특히, 본 발명에 따른 에지 검출단계는 원본 혈관영상 및/또는 가버 필터링 단계를 거쳐 선명화된 혈관영상의 혈관 부분과 비혈관 부분을 보다 효과적으로 분류하기 위한 것으로서, 촬영된 전체 영상, 즉 전체 원본 혈관영상을 그대로 사용할 수도 있지만, 영상처리 시간을 단축하거나 사용자의 선택에 따라 다양한 목적에 적합하도록 전체 원본 혈관영상을 일정한 크기로 구획하거나 축소시킨 후 해당 영상에서 에지 영역을 검출할 수도 있다.

여기서, 상기 원본 혈관영상에 포함된 혈관들의 굵기가 다양하고, 원본 혈관영상을 일정한 크기로 축소하는 경우 혈관의 굵기가 변화되는 점을 고려하여, 이를 보완할 수 있는 다양한 형태 및 크기의 에지 검출 마스크를 사용할 수 있지만, 상기 에지를 검출하기 위한 마스크의 형태 및 크기는 특별하게 한정되지 않는다.

본 발명에 따른 신경회로망(neural network)을 이용한 혈관영상 선명화 단계는 원본 혈관영상과 상기 에지 검출단계가 종료된 혈관영상을 융합하고, 상기 가버 필터링 단계가 종료된 혈관영상과 상기 가버 필터가 적용된 영상, 즉 가버 필터링 단계가 종료된 혈관영상에서 검출한 에지 혈관영상을 융합한 뒤 신경회로망을 이용하여 융합된 두 영상 각각의 화소에 적용할 가중치를 결정한 후 두 영상을 서로 융합하여 혈관 영상을 선명화하는 것이다.

특히, 본 발명에 따른 신경회로망을 이용한 혈관영상 선명화 단계는 원본 혈관영상 및 혈관영상에서 추출된 에지 영상을 신경회로망을 이용하여 융합함으로써 선명화된 혈관영상을 얻는 것이므로, 신경회로망을 이용하여 영상 품질을 개선하기 위해 여러 장의 영상들을 융합하는 것이라면 특별히 한정되지 않는다.

여기서, 상기 신경회로망은 Hopfield, CSRN(Cellular Simultaneous Recurrent Networks), 단층 퍼셉트론(single-Layer Perceptron), 다층 퍼셉트론(Multi-Layer Perceptron), SVR(Support Vector Regression) 또는 SVDD(Support Vector Data Description) 중 하나의 방법을 이용할 수 있다.

이와 같은 신경회로망은 보통 입력값과 출력값의 일정한 패턴을 찾는 방식으로 구성되며, 그 구조는 입력층, 은닉층, 출력층, 가중치, 바이어스, 활성함수 등으로 이루어져 있고, 혈관영상 및 다양한 영상 품질을 선명화함에 따라 입력층, 은닉층 및 출력층에서 다수의 노드를 사용할 수 있고, 다수의 은닉층과 선형 또는 다양한 비선형 형태의 활성함수를 사용할 수도 있다.

한편, 도 4는 본 발명에 따른 혈관영상과 혈관영상에서 검출된 에지 영상을 융합하기 위해 사용한 다층 퍼셉트론 구조의 신경회로망을 나타낸다.

도 4의 신경회로망은 4개의 입력 노드, 9개의 은닉 노드 , 1개의 출력 노드 및 비선형 형태의 시그모이드(sigmoid) 활성함수로 구성되어 있으며, 입력으로는 혈관영상 및 혈관영상에서 추출한 에지 영상들의 각각의 화소의 휘도값의 평균과 표준편차를 입력받아, 신경회로망을 통해 혈관영상 융합에 적용될 가중치를 얻게 된다.

한편, 혈관영상을 신경회로망으로 융합하기에 앞서, 신경회로망의 학습을 위해 혈관영상과 에지 검출단계를 거친 에지 영상에서 혈관과 비혈관을 잘 분리하는 화소의 휘도값의 평균과 표준편차를 사전에 추출하고, 추출된 화소의 휘도값의 평균과 표준편차에 따라 최적의 가중치를 결정할 수 있다.

이러한 학습 데이터들은 역전파(Back-Propagation) 알고리즘 학습방법을 이용하여 미리 신경회로망의 일정한 패턴을 찾고, 패턴의 오차를 줄이는 과정을 반복함으로써 최적의 패턴을 찾는 방식으로 얻어질 수 있지만, 이에 한정되는 것이 아니라 혈관영상의 융합을 위한 신경회로망 학습방법을 통해 얻어지는 것이라면 어떠한 것이라도 무방하다.

도 5는 신경회로망을 통해 원본 혈관영상 및 에지가 검출된 영상 각각의 화소의 휘도값의 평균 및 표준편차를 이용하여 혈관영상의 선명화 처리과정을 나타내는 도로서, 사전에 학습된 도 4의 신경회로망을 이용하여 원본 혈관영상과 에지가 검출된 영상을 융합한다.

도 5에서 각각의 원본 혈관영상과 에지가 검출된 혈관영상에서 가중치를 추출할 화소를 중심으로 한 개의 화소단위로 이동하는 21x21 마스크를 통해 각각의 혈관영상에서 화소의 휘도값의 평균 및 표준편차를 추출한다.

도 5에서 원본 혈관영상과 에지가 검출된 혈관영상의 화소의 휘도값의 평균과 표준편차를 각각

,

및

으로 나타내며, 이들을 신경회로망의 입력값으로 사용한다.

또한, 도 5의 신경회로망에서 추출된

는 21x21 마스크가 적용된 원본 혈관영상의 중심 화소의 가중치로 사용되며,

는 마스크가 적용된 에지가 검출된 혈관영상의 중심 화소의 가중치로 사용하여 두 영상을 융합함으로써, 도 5의 신경회로망이 적용되어 선명화된 혈관영상을 얻을 수 있다.

본 발명에 따른 스코어 레벨 퓨전(Score level fusion)을 이용한 혈관영상 선명화 단계는 상기 가버 필터링 단계가 종료된 혈관영상과 상기 신경회로망을 이용하여 선명화된 혈관영상을 스코어 레벨 퓨전 방법을 통해 혈관영상을 선명화화 하는 것이다.

여기서, 상기 스코어 레벨 퓨전은 가버 필터링한 혈관영상 및 신경회로망을 이용한 혈관영상을 결합할 수 있는 방법이라면 특별히 한정되지 않지만, 예시적으로 MIN, MAX, SUM 또는 Weighted SUM 중 한 가지 방법을 사용할 수 있다.

본 발명에 따른 신경회로망 및 가버 필터를 이용하여 선명화된 혈관영상들은MIN, MAX, SUM 및 Weighted SUM등과 같은 스코어 레벨 퓨전 방법을 이용하여 혈관영상의 품질을 개선할 수 있다.

이러한 일례로서, 도 6 내지 도 9은 신경회로망 및 가버 필터를 이용하여 선명화된 혈관영상들을 각각 MIN, MAX, SUM 및 Weighted SUM의 스코어 레벨 퓨전 방법을 이용하여 혈관영상을 선명화 처리하는 과정을 나타낸다.

도 6은 신경회로망 및 가버 필터가 적용된 두 혈관영상을 융합하기 위해서 동일한 위치에 있는 두 영상의 화소의 휘도값을 비교한 후 최소값을 이용하여 혈관영상을 선명화한다

도 7은 신경회로망 및 가버 필터가 적용된 두 혈관영상을 융합하기 위해서 동일한 위치에 있는 두 영상의 화소의 휘도값을 비교한 후 최대값을 이용하여 혈관영상을 선명화한다.

도 8은 신경회로망 및 가버 필터가 적용된 두 혈관영상을 융합하기 위해서 동일한 위치에 있는 두 영상의 화소의 휘도값 평균을 이용하여 혈관영상을 선명화한다.

도 9는 신경회로망 및 가버 필터가 적용된 두 혈관영상을 융합하기 위해서 동일한 위치에 있는 두 영상의 화소의 휘도값에 임의에 가중치들을 곱하여 혈관영상을 선명화한다.

한편, 도 10은 본 발명에 따른 다수의 혈관영상 융합 방법을 이용하여 원본 혈관영상으로부터 선명화 처리된 다수의 혈관영상들을 나타낸다.

도 10의 선명화된 혈관영상들을 분석해 보면, 도 10의 (b)는 다수의 방향과 두께를 고려한 가버 필터의 영향으로 비가시적으로 얇은 혈관 부분의 신호를 증폭시킬 수 있기 때문에, 도 10의 (a)의 원본 혈관영상 보다 미세혈관을 선명도를 증가시킨다.

또한, 도 10의 (c)는 신경회로망에서 사용된 비선형 형태의 시그모이드 활성함수가 비가시적으로 얇은 혈관 부분을 선명하게 분류하지 못하지만, 비교적 혈관이 두껍고 한 곳에 밀집되어 가시적으로 구분하기 어려운 혈관 부분을 선명하게 분류하는 것을 나타낸다.

특히, 가버 필터를 통해 비가시적으로 얇은 혈관 부분의 신호를 증폭한 혈관영상을 통해 신경회로망을 적용한 도 10의 (d)는 미세한 혈관 영역뿐만 아니라, 혈관이 두껍게 밀접한 영역에서 혈관과 비혈관을 선명하게 분류해 준다.

더욱이, 가버 필터 및 신경회로망을 이용하여 선명화된 혈관영상들을 도 10의 (e) 내지 (h) 등의 결합 방법들을 이용하여 다양한 혈관영상의 특성을 반영한 혈관영상들을 바탕으로 혈관과 비혈관을 정밀하게 분석하는데 사용할 수 있다.

이와 같은 구성을 갖는 본 발명에 따른 의료용 혈관영상 처리방법은 손가락, 발가락, 손, 발 등의 신체 절단 및 접합 수술 후 접합 부위의 혈관이 올바르게 연결되었는지 확인하기 용이할 뿐만 아니라, 정상상태의 신체조건에서 취득한 혈관영상을 기록한 뒤 이후에 촬영된 영상정보와 서로 비교하여 혈관의 막힘 여부를 정기적으로 측정하여 관찰 가능하도록 할 수 있으며, 이를 통하여 버거씨 병(Buerger's disease), 레이노 증후군(Raynaud's phenomenon) 등과 같은 질병을 조기 진단 할 수 있을 뿐만 아니라, 결체조직의 조기 발견을 통해 류마티스 질환을 조기 진단할 수 있고, 당뇨 등으로 인해 발가락 혈관이 막혔는지의 여부를 신속히 판단할 수 있다.

이상에서 설명한 바와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예는 모두 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허 청구 범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모두 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

i) 혈관영상에 포함된 혈관이 가질 수 있는 다양한 방향 및 두께를 고려한 가버 필터를 이용하여 원본 혈관영상을 선명화하는 가버 필터링 단계;
ii) 1차 미분 또는 2차 미분에 기반을 둔 에지 추출 방법을 이용하여 원본 혈관영상과 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상의 혈관과 비혈관 부분에서 발생하는 밝기 변화에 따른 에지를 검출하는 에지 검출단계;
iii) 원본 혈관영상과 상기 단계 ii)의 에지 검출단계가 종료된 혈관영상을 융합하고, 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상과 상기 단계 ii)의 가버 필터가 적용된 영상에서 검출한 에지 혈관영상을 융합한 뒤 신경회로망을 이용하여 융합된 두 영상 각각의 화소에 적용할 가중치를 결정한 후 두 영상을 서로 융합하여 혈관 영상을 선명화하는 신경회로망을 이용한 혈관영상 선명화 단계; 및
iv) 상기 단계 i)의 가버 필터링 단계가 종료된 혈관영상과 단계 iii)의 신경회로망을 이용하여 선명화된 혈관영상을 스코어 레벨 퓨전 방법을 통해 혈관영상을 선명화 하는 스코어 레벨 퓨전을 이용한 혈관영상 선명화 단계를 포함하는 혈관영상 처리방법.
제1항에 있어서,
상기 단계 iv)의 후단계로서, 상기 단계 i) 내지 iv)에서 얻어진 영상들 및 원본 영상을 동시에 디스플레이하는 디스플레이 단계를 더 포함하는 혈관영상 처리방법.
제1항에 있어서,
상기 단계 i)의 가버 필터링 단계는 다음 수학식 1 및 수학식 2를 따라 다양한 방향 및 두께를 고려하여 다수의 가버 필터를 적용하고, 다수의 가버 필터를 통해 추출된 다수의 결과 값들 중 최소값을 선택하여 적용하는 것을 포함하는 혈관영상 처리방법.

<수학식 1>

여기서,
상기 (x, y)는 필터에서의 (x, y) 픽셀위치를 나타내며,
상기 g(x, y)는 상기 (x, y) 위치에서의 가버 필터 계수 값을 나타내고,
상기
는 가버 필터의 주파수를 나타내고,
상기
,
는 가버필터 형태의 표준편차를 나타내는 파라미터이며;

<수학식 2>

여기서,
상기 수학식 2는 수학식 1의 주파수 영역에서의 표현식을 나타내며,
상기 W는 필터의 주파수를 나타내고,
상기
와
는 필터 형태의 표준편차로써 각각
,
를 나타낸다.
제1항에 있어서,
상기 단계 ii)에 따른 에지 검출단계의 에지 추출 방법은 소벨(Sobel), 프리윗(Prewitt), 로버츠(Roberts), 컴퍼스(Compass), 라플라시안(Laplacian), 가우시안-라플라시안(LoG: Laplacian of Gaussian) 또는 캐니(Canny) 중 한 가지를 사용하는 것을 포함하는 혈관영상 처리 방법.
제1항에 있어서,
상기 단계 iii)에 따른 신경회로망을 이용한 혈관영상 선명화 단계의 신경회로망은 Hopfield, CSRN(Cellular Simultaneous Recurrent Networks), 단층 퍼셉트론(single-Layer Perceptron), 다층 퍼셉트론(Multi-Layer Perceptron), SVR (Support Vector Regression) 또는 SVDD(Support Vector Data Description) 방법 중 어느 하나를 이용하는 방법인 것을 포함하는 혈관영상 처리방법.
제1항에 있어서,
상기 단계 iii)에 따른 신경회로망을 이용한 혈관영상 선명화 단계의 신경회로망의 입력으로는 혈관 영상의 지역 영역내에서의 화소의 휘도값의 평균 및 표준편차와 에지가 검출된 영상의 지역 영역내에서의 화소의 휘도값의 평균 및 표준편차를 사용하고, 출력으로는 혈관영상 및 에지가 검출된 혈관영상 각각에 곱할 가중치 값으로 하는 것을 포함하는 혈관영상 처리방법.
제1항에 있어서,
상기 단계 iv)에 따른 스코어 레벨 퓨전을 이용한 혈관영상 선명화 단계의 스코어 레벨 퓨전은 MIN, MAX, SUM 또는 Weighted SUM 중 한 가지 방법을 이용하는 것을 포함하는 혈관영상 처리방법.