KR20070079552A

KR20070079552A - 화상 처리 방법 및 화상 처리기

Info

Publication number: KR20070079552A
Application number: KR1020060091563A
Authority: KR
Inventors: 도모하루 스즈키; 신이치 에구치
Original assignee: 후지쯔 가부시끼가이샤; 후지츠 프론테크 가부시키가이샤
Priority date: 2006-02-02
Filing date: 2006-09-21
Publication date: 2007-08-07
Also published as: DE602006015033D1; EP1816588B1; US20070177825A1; US8606012B2; KR100944171B1; KR100908856B1; CN101013469B; EP1918852B1; EP1816588A1; CN101013469A; DE602006011025D1; JP2007207009A; KR20090040412A; EP1918852A1

Abstract

계조의 촬상 화상으로부터 선분 요소를 추출하는 본 발명의 화상 처리 방법은 몰포로지(morphology) 처리를 이용하더라도, 콘트라스트비에 영향을 받지 않고 고속으로 선분을 추출할 수 있다. 선택 처리는 촬상 화상으로부터 연속적인 선분이 존재할 가능성이 있는 영역을 선택하고, 몰포로지 처리는 오퍼레이터를 주사하여 선택된 영역에서 선분 요소를 검출한다. 선분은 복수의 방향에서 고속으로 추출될 수 있다. 또한, 추출 대상 영역 선택 처리에 의해, 콘트라스트비가 높은 부분으로부터 선분의 성장 방향으로 연속하는 콘트라스트비가 낮은 부분도 하나의 선분으로서 추출된다.

Description

화상 처리 방법 및 화상 처리기{IMAGE PROCESSING METHOD AND IMAGE PROCESSOR}

도 1은 본 발명의 실시 형태에 따른 화상 처리기를 나타내는 블록도.

도 2는 도 1의 선분 추출부를 나타내는 블록도.

도 3은 도 1과 도 2의 촬상 화상예를 나타내는 도면.

도 4는 도 3의 로그 필터 처리 후의 화상예를 나타내는 도면.

도 5는 도 4의 화상으로부터 영역 선택 화상예를 나타내는 도면.

도 6은 도 4의 몰포로지 처리 후의 화상예를 나타내는 도면.

도 7은 도 6의 추출 대상 선택 처리 후의 화상예를 나타내는 도면.

도 8은 도 7의 로그 필터 처리 후의 화상예를 나타내는 도면.

도 9는 도 8의 2치화 처리 후의 화상예를 나타내는 도면.

도 10은 도 2의 로그 필터 처리를 나타내는 도면.

도 11은 도 2의 영역 선택 처리 및 탑햇 가산 처리를 나타내는 흐름도.

도 12는 도 11의 영역 선택 처리를 나타내는 도면.

도 13은 도 11의 오프닝 처리를 나타내는 도면.

도 14는 도 11의 영역 선택 처리 및 탑햇 가산 처리를 나타내는 도면.

도 15는 도 11의 탑햇 가산 처리를 나타내는 도면.

도 16은 도 2의 추출 영역 선택 처리를 나타내는 흐름도.

도 17은 도 16의 영역 지정 처리를 나타내는 도면.

도 18은 도 16의 히스토그램 작성, 마스크 영역 및 마커 영역 검출 처리를 나타내는 도면.

도 19는 도 16의 재구성 처리를 나타내는 도면.

도 20은 도 2의 로그 필터 처리를 나타내는 도면.

도 21은 도 20의 로그 필터 처리에 의한 선분 추출 동작을 나타내는 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 선분 추출부

2 : 촬상 장치

3 : 조사부

4 : 광학계 촬상부

5 : 피검체

40, 47 : 로그 필터 처리

42 : 2치화에 의한 영역 선택 처리

44 : 탑햇 가산 처리

46 : 추출 대상 선택 처리

48 : 2치화 처리

49 : 세선화 처리

<관련 출원과의 상호 참조>

본 출원은 2006년 2월 2일자로 출원한 일본 특허 출원 제 2006-025690호에 기초한 것으로서, 이 일본 특허 출원을 우선권으로 주장하며, 이 특허 문헌은 참조문헌으로서 그 전체 내용이 본 명세서에 포함된다.

본 발명은 가변 밀도 화상으로부터 연속 선분을 추출하는 화상 처리 방법 및 화상 처리기에 관한 것이며, 보다 구체적으로는, 선분의 성장 방향을 고려하여, 가변 밀도 화상으로부터 선형으로 연결된 영역을 추출하기 위한 화상 처리 방법 및 화상 처리기에 관한 것이다.

최근, 개인 인증 기술이 고도화됨에 따라, 생체(피검체)를 촬상하여 얻은 화상 데이터를 이용하는 다수의 개인 인증 기술이 제안되고 있다. 예컨대, 지문, 눈의 망막, 안면 및 혈관 등 개인을 구별할 수 있는 부분을 촬상하고, 개인 인증을 위해 그 촬상 화상으로부터 특징 부분을 추출한다. 이러한 개인 인증에 적합한 부분은 비교적 연속적인 선분으로 구성된 부분이다.

한편, 촬상 화상은 주위의 환경과 촬상 상태에 따라, 비교적 콘트라스트가 낮고 노이즈를 포함하기 때문에, 이러한 연속적인 선분을 정밀하게 추출하기 위하여 관련 기술에 혁신이 필요하다. 화상으로부터 연속적인 선분을 추출하기 위한 이러한 기술에 있어서, 엣지 강조 처리 및 선분을 추적하는 몰포로지 처리(morphology processing)가 효과적이다.

종래에, 촬상 화상을 2치화한 다음, 몰포로지 함수(morphology function)와 가우스 라플라스 필터(Gaussian Laplacian filter)를 이용하여 선분을 추출하는 방법이 제안되어 있다[일본 특허 공개 제2004-329825호 공보(도 3) 참조]. 그러나, 2치화한 후의 화상에 몰포로지 기술을 적용하는 것은 촬상 화상으로부터 취득한 계조 데이터를 이용하지 않기 때문에, 선분을 정밀하게 검출하기가 곤란하다.

또, 종래에, 계조 데이터에 몰포로지 처리를 실시하는 방법으로서, 눈의 망막 화상으로부터 혈관상 등의 선분을 추출하기 위해, 계조 데이터에 대하여 한가지 몰포로지 처리로서 오픈 처리(이하, 오프닝 처리하고도 함) 및 탑햇 처리(top hat processing)를 실시할 것이 제안되어 있다[논문 "Segmentation of Vessel-Like Pattern Using Mathematical Morphology and Curvature Evaluation"(F. Zana, J. C. Klein, IEEE Trans. Image Processing, Vol. 10, pp.1010-1019, July 2001) 참조].

그러나, 몰포로지 처리는 단순한 계산이 많이 반복되고 비선형적인 처리이기 때문에 계조 데이터 처리(계산)에 시간이 걸린다고 하는 문제가 있다. 예컨대, 개인 인증 처리에 몰포로지 처리가 적용되면, 인증 시간이 장시간이 된다.

또한, 몰포로지 처리는 연결된 선분의 추출에는 효과적이지만, 화상의 콘트라스트가 낮고, 연결되지 않은 선분도 추출되어 선분 추출 정밀도가 떨어진다.

전술한 관점에 있어서, 본 발명의 목적은 화상의 계조 데이터로부터 몰포로지 처리를 이용하여 고속으로 연결 선분을 추출하기 위한 화상 처리 방법 및 화상 처리기를 제공하는 것이다.

또, 본 발명의 다른 목적은 화상에 콘트라스트 차이가 있더라도, 몰포로지 처리를 이용하여 화상의 계조 데이터로부터 연결 선분을 추출하기 위한 화상 처리 방법 및 화상 처리기를 제공하는 것이다.

또, 본 발명의 다른 목적은 촬상 환경에 영향을 받지 않고, 몰포로지 처리를 이용하여 화상의 계조 데이터로부터 연결 선분을 추출하기 위한 화상 처리 방법 및 화상 처리기를 제공하는 것이다.

또, 본 발명의 다른 목적은 몰포로지 처리를 이용하여 생체 촬상 화상의 계조 데이터로부터 연결 선분을 추출하기 위한 화상 처리 방법 및 화상 처리기를 제공하는 것이다.

이들 목적을 달성하기 위해, 본 발명에 따르면, 계조의 촬상 화상으로부터 선분 요소를 추출하는 화상 처리 방법은, 상기 촬상 화상에 따른 화상을 2치화하여 상기 촬상 화상의 추출 영역을 2치 화상으로부터 선택하는 단계와, 선택된 추출 영역에 대하여 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 추출 화상으로부터 선형 요소를 추출함으로써 몰포로지 처리를 실행하는 단계와, 상기 추출된 선형 요소로부터 선분 요소를 추출하는 단계를 포함한다.

또, 본 발명에 따르면, 계조의 촬상 화상으로부터 선분 요소를 추출하는 화상 처리 방법은, 상기 촬상 화상에 따른 화상에 대하여 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 추출 화상으로부터 선형 요소를 추출함으로써 몰포로지 처리를 실행하는 단계와, 상기 몰포로지 처리가 수행된 화상으로부터, 비교적 콘트 라스트비가 높은 영역과 비교적 콘트라스트비가 낮은 영역을 추출하는 단계와, 상기 비교적 콘트라스트비가 높은 영역에 연결되는 상기 비교적 콘트라스트비가 낮은 영역의 선형 요소를 선분 요소로서 추출하는 단계를 포함한다.

또, 계조의 촬상 화상으로부터 선분 요소를 추출하는 화상 처리기는, 피검체를 촬상하는 촬상 장치와, 상기 촬상 장치가 촬상한 상기 촬상 화상에 따른 화상을 2치화하여 상기 촬상 화상의 추출 영역을 선택한 다음, 선택된 추출 영역에 대하여 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 추출 화상으로부터 선형 요소를 추출함으로써 몰포로지 처리를 실행하여 추출된 선형 요소로부터 선분 요소를 추출하는 선분 추출 장치를 포함한다.

또한, 계조의 촬상 화상으로부터 선분 요소를 추출하는 화상 처리기는 피검체를 촬상하는 촬상 장치와, 상기 촬상 장치가 촬상한 상기 촬상 화상에 따른 화상에 대하여 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 추출 화상으로부터 선형 요소를 추출하는 몰포로지 처리를 실행한 다음, 상기 몰포로지 처리가 수행된 화상으로부터 비교적 콘트라스트비가 높은 영역과 비교적 콘트라스트비가 낮은 영역을 추출하여 상기 비교적 콘트라스트비가 높은 영역에 연결되는 상기 비교적 콘트라스트비가 낮은 영역의 선형 요소를 선분 요소로서 추출하는 선분 추출 장치를 포함한다.

또한, 본 발명에서는, 상기 촬상 화상에 따른 화상을 2치화하여 상기 몰포로지 처리가 실행되는 상기 촬상 화상의 추출 영역을 선택하는 단계를 더 포함하는 것이 좋다.

또한, 본 발명에서는 상기 계조의 촬상 화상을 평활화하고 엣지 강조 처리함으로써 상기 촬상 화상에 따른 화상을 작성하는 단계를 더 포함하는 것이 좋다.

또한, 본 발명에서는 상기 추출된 선분 요소를 평활화하고 엣지 강조 처리하는 단계와, 평활화되고 엣지 강조된 선분 요소를 2치화하여 선분 데이터를 작성하는 단계를 더 포함하는 것이 좋다.

또한, 본 발명에 있어서, 상기 몰포로지 처리를 실행하는 단계는 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 오픈 처리 화상을 작성하는 단계와, 상기 촬상 화상에 따른 화상으로부터 상기 각 방향의 탑햇 처리 화상과 상기 각 방향의 오픈 처리 화상을 작성하는 단계와, 상기 각 방향의 탑햇 처리 화상을 가산하여 상기 선형 요소를 추출하는 단계를 더 포함하는 것이 좋다.

또한, 본 발명에 있어서, 상기 선분 요소를 추출하는 단계는 상기 촬상 화상에 따른 화상의 콘트라스트가 높을 가능성이 있는 영역을 지정하는 단계와, 상기 몰포로지 처리된 화상의 상기 지정된 영역에 대하여 비교적 콘트라스트비가 높은 영역과 비교적 콘트라스트비가 낮은 영역을 추출하는 단계와, 상기 비교적 콘트라스트비가 높은 영역에 연결되는 상기 비교적 콘트라스트비가 낮은 영역의 선형 요소를 선분 요소로서 추출하는 단계를 더 포함하는 것이 좋다.

또한, 본 발명에 있어서, 상기 영역을 추출하는 단계는, 지정된 영역의 휘도 빈도 히스토그램을 계산하는 단계와, 상기 휘도 빈도 히스토그램으로부터, 비교적 콘트라스트비가 높은 영역와 비교적 콘트라스트비가 낮은 영역을 추출하는 단계를 더 포함하는 것이 좋다.

또한, 본 발명에 있어서, 상기 추출 단계는 상기 빈도 히스토그램으로부터, 비교적 콘트라스트비가 낮은 영역으로서 비교적 휘도 레벨이 낮은 마스크 영역와, 비교적 콘트라스트비가 높은 영역으로서 비교적 휘도 레벨이 높은 마커 영역을 추출하는 단계를 더 포함하는 것이 좋다.

또한, 본 발명에 있어서, 상기 선분 요소 추출하는 단계는 상기 마커 영역을 갖는 마스크 영역을 상기 선분 요소로서 추출하는 단계를 더 포함하는 것이 좋다.

본 발명에 따르면, 연속적인 선분이 존재할 가능성이 있는 영역에 대하여 오퍼레이터를 주사함으로써 몰포로지 처리를 실시하기 때문에, 복수의 방향에서 고속으로 선분을 추출할 수 있다. 또한, 추출 대상 영역 선택 처리에 의해, 콘트라스트비가 높은 영역에서부터 선분의 성장 방향으로 연속하는 콘트라스트비가 낮은 영역도 하나의 선분으로서 추출되기 때문에, 콘트라스트비에 상관없이 고정밀도로 선분을 추출할 수 있다.

이하, 본 발명의 실시 형태를 화상 처리기, 화상 처리 방법 및 다른 실시 형태의 순으로 설명한다.

화상 처리기

도 1은 본 발명의 실시 형태에 따른 화상 처리기를 나타내는 블록도이고, 도 2는 도 1의 선분 추출부를 나타내는 블록도이며, 도 3 내지 도 9는 도 2의 선분 추출부의 화상 처리예를 나타내는 도면이다. 도 3 내지 도 9는 피검체 화상의 피부 표면의 무늬의 선분 추출 처리예에 도시하지만, 본 발명은 망막 혈관상 등의 생체 화상의 선분 추출에도 적용될 수 있다.

도 1에 도시하는 바와 같이, 촬상 장치(2)는 피검체(5)를 촬상한다. 촬상 장치(2)는 피검체(5)에 원하는 파장의 빛을 조사하는 광조사부(3)와, 피검체(5)로부터의 반사광을 수광하여 그것을 전기 신호(화상 신호)로 변환하는 광학계 촬상부(4)를 갖는다. 광학계 촬상부(4)는, 예컨대 렌즈 등의 광학 기구와, 수광상을 화상 신호로 변환하는 이미지 센서(예컨대, CMOS 이미지 센서)를 포함한다.

광학계 촬상부(4)의 이미지 센서는, 예컨대 가로 640 화소, 세로 480 화소이며, 각 화소의 수광량에 따른 크기를 갖는 전기 신호를 선분 추출부(1)에 출력한다. 선분 추출부(1)는 광학계 촬상부(4)의 이미지 센서로부터의 화상 신호(아날로그 신호)를 계조의 디지털 신호로 변환하고 변환된 디지털 화상 신호로부터 선분을 추출한다.

도 2를 참조하여 선분 추출부(1)의 선분 추출 처리를 설명한다. 촬상 화상은 계조의 디지털 신호로 저장되어 있다. 로그 필터 처리(40)에서는 계조 화상 데이터를 평활화하고, 노이즈를 제거한 다음, 2회 미분하여 화상의 엣지를 강조한다. 예컨대, 도 3에서 계조의 촬상 화상(예컨대, 피부 표면의 촬상 화상)(G1)에 대해 로그 필터 처리(40)가 실행되면, 평활화(적분)에 의해 노이즈가 제거되고, 미분에 의해 화상의 엣지가 강조되어, 도 4에 도시한 화상(흐릿한 선분 화상)(G2)을 얻을 수 있다.

영역 선택 처리(42)는 이 화상(G2)을 소정의 임계치로 2치화한 다음, 후술하는 몰포로지 처리 중 한가지인 탑햇 가산 처리(Top-Hat summation processing)를 실행하기 위한 영역을 선택한다. 예컨대, 도 4에 도시하는 로그 필터 처리된 화상(G2)을 2치화하면, 도 5에 도시하는 영역 선택 화상을 얻을 수 있다. 도 5에서, 검은 부분은 탑햇 가산 처리(44)를 실행하기 위한 영역으로서 선택된 것이다.

다음에, 탑햇 가산 처리(44)는 로그 필터 처리된 화상(G2)으로부터 연속적인 선형 요소를 추출한다. 이 때문에, 탑햇 가산 처리(44)는 화상(G2)에 대하여, 소정 길이의 화소(엘리먼트 또는 오퍼레이터라고 함)를 소정 방향으로 주사하여, 오퍼레이터가 휘도 레벨이 높은 방향으로 침입할 수 있는 상부 포락선 화상을 작성하는 오프닝 처리(44-1)와, 원래의 화상(G2)으로부터 상부 포락선 화상을 차감하여 탑햇 화상을 작성한 다음, 복수의 주사 방향으로 탑햇 화상을 각 화소마다 가산하는 탑햇 가산 처리(44-2)를 포함한다.

예컨대, 도 4의 화상(G2)에 대해 탑햇 가산 처리를 실행하면, 도 6에 도시하는 바와 같이, 분리된 선분은 제거되고, 연속적인 선형 요소(도 6의 흰 부분)만으로 된 화상(G4)을 얻을 수 있다. 본 실시예에서는, 전술한 선택 영역(도 5)만, 즉 연속적인 선분이 존재할 가능성이 있는 영역에 대해서만 탑햇 가산 처리(44)를 실행한다.

몰포로지 처리인 탑햇 가산 처리(44)를 화상 전체(전술한 예에서는 30만 화소분)에 복수의 방향으로 실시하면, 처리 시간이 길어진다. 선분의 방향이 불특정 다수개이기 때문에, 연속 선분을 정밀하게 추출하기 위해서는 주사 방향이 많으면 많을수록 좋은데, 바람직하게는 12 방향(30도마다)의 주사가 좋다. 이 경우에, 연속적인 선분의 추출 처리 시간은 장시간이 된다. 이 추출 처리 시간을 짧게 하기 위해서, 본 실시 형태에 나타내는 바와 같이, 연속적인 선분이 존재할 가능성이 있는 영역에 대하여 탑햇 가산 처리(44)를 실시하는 것이 효과적이다.

처리 대상이 계조 데이터인 경우, 연속적인 선분 내에 콘트라스트비가 다른 부분이 존재할 수 있다. 이 때문에, 이 탑햇 가산 처리를 실시한 후의 선분 화상을 2치화하여 선분을 추출하는 경우에, 콘트라스트비가 낮은 부분은 콘트라스트비가 높은 부분과 연속하고 있음에도 불구하고, 선분의 일부로서 추출되지 않는다.

이 실시 형태에서는, 이러한 콘트라스트비가 다른 부분을 갖는 연속 선분을 추출하기 위해서, 추출 대상 영역 선택 처리(46)를 실행한다. 추출 대상 영역 선택 처리(46)는 콘트라스트비가 높은 부분으로부터 선분의 성장 방향으로 연속하는 콘트라스트비가 낮은 부분도 하나의 선분으로서 추출하는 처리이다.

이 때문에, 추출 대상 영역 선택 처리(46)는 탑햇 가산 처리(44)를 실시한 후의 화상(G4)에서 콘트라스트비가 비교적 높은 영역을 추출 영역으로서 선택하는 추출 범위 선택 처리(46-1)와, 추출 범위 선택 처리(46-1)에서 선택한 추출 범위의 히스토그램을 작성하는 히스토그램 작성 처리(46-2)와, 이 히스토그램으로부터 비교적 휘도 레벨이 높은 영역을 마스크 영역으로서 선택하고, 또한 마스크 영역 내에서 휘도 레벨이 더 높은 영역을 마커 영역으로서 선택하는 마스크 영역/마커 영역 선택 처리(46-3)와, 화상(G4)의 선분으로부터 그 선택된 마스크 영역 내의 마커 영역에서 성장 방향으로 연속하는 선분을 재구성하는 재구성 처리(46-4)를 포함한다.

도 6의 화상(G4)의 선분에 대해 추출 대상 선택 처리하면, 도 7의 화상(G5) 이 나타내는 바와 같이, 연속적인 선분의 콘트라스트비가 높은 부분에 연속하는 콘트라스트비가 낮은 부분도 동일한 연속 선분(도 7에서 흰 부분)으로서 재구성된다. 본 발명에 따르면, 이 처리(46)를 실시함으로써 콘트라스트비가 동일한 연속 선분을 얻을 수 있다.

이 재구성 화상(G5)에 대하여, 재차 로그 필터 처리(47)를 실시하고, 평활화 및 엣지 강조를 실시하면, 도 8의 평활화되고 엣지 강조된 선분 화상(G6)을 얻을 수 있다. 이 선분 화상(G6)을 2치화 처리(48)에서, 소정의 임계치를 이용하여 2치화하면, 도 9에 도시하는 2치 선분 화상(G9)을 얻을 수 있다. 그리고, 임의의 폭을 가진 선분을 세선화 처리(49)에서 세선화하여 소정폭(예컨대, 1 화소)의 선분 화상을 얻는다.

이런 식으로, 몰포로지 처리로 연속 선분을 추출할 때에, 몰포로지 처리의 범위를 연속 선분이 존재할 가능성이 있는 화상 영역으로 제한함으로써, 통상 시간이 걸리는 몰포로지 처리의 처리 시간을 단축할 수 있다.

또한, 몰포로지 처리 후에 얻은 선분 화상으로부터 선분을 추출할 때에, 콘트라스트비가 낮은 영역도, 콘트라스트비가 높은 영역에 연속하고 있는 경우에는 연속 선분으로서 재구성되기 때문에, 콘트라스트비에 상관없이 연속적인 선분을 정밀하게 추출할 수 있다.

화상 처리 방법

이제, 도 2에서 설명한 선분 추출 처리를 설명한다. 도 10은 도 2의 로그 필터 처리(40)를 나타내는 도면이다.

이하, 로그 필터 처리(40)의 설명에 있어서, 입력 화상을 f라 하고, xy 좌표(이미지 센서 면) 상에서의 화상 휘도를 f(x, y)라고 하기로 한다. 2차원 가우스 함수 G(x, y)는 아래의 수학식 (1)과 같이 정의된다.

가우스 함수 G와 입력 화상 f의 컨볼루션으로 아래의 수학식 (2)를 이용하여 평활화 화상 F(x, y)를 얻는다.

이 평활화 화상 F(x, y)를 2회 편미분하여, 로그 필터의 출력 g(x, y)를 아래의 수학식 (3)을 이용하여 얻는다.

수학식 (3)에서 ∇(나블라)는 편미분을 나타내고, 수학식 (3)에서 평활화 화상 F(x, y)는 2회 미분된다. 즉, 로그 필터 처리(40)에서는 적분으로 화상을 평활화하고, 2회 미분으로 엣지를 강조한다.

이제, 로그 필터 처리(40)의 동작을 도 10을 참조하여 설명한다. 도 10은 설명의 편의상 작성된 모델도이다. 3차원 좌표의 x축과 y축은 2차원 평면 좌표를 나 타내고, s축은 휘도 레벨이다. 입력 화상 A1(f)에 대해 로그 필터 처리(40)를 실시하면, 평활화되고 엣지가 강조된 3차원 화상 A2(g)를 얻을 수 있다. 이 화상예가 도 3과 도 4에 도시되어 있다.

다음에, 2치화에 의한 영역 선택 처리(42)와 탑햇 가산 처리(44)를 설명한다. 도 11은 2치화에 의한 영역 선택 처리(42)와 탑햇 가산 처리(44)를 나타내는 처리 흐름도이고, 도 12는 도 11의 2치화에 의한 영역 선택 처리 동작을 나타내는 도면이며, 도 13은 탑햇 가산 처리의 오프닝 처리를 나타내는 도면이고, 도 14는 탑햇 가산 처리를 나타내는 도면이며, 도 15는 탑햇 처리를 나타내는 도면이다.

도 12 내지 도 15를 참조하여 도 11의 처리를 설명한다.

(S10) 전술한 바와 같이, 입력 화상에 대해 로그 필터 처리(40)를 실행하여 로그 필터 화상을 얻는다.

(S12) 다음에, 이 화상을 소정의 휘도 슬라이스 값(Th)을 이용하여 2치화한 다음, 오프닝 처리 대상 영역을 선택한다. 도 12에서는, 설명의 편의상, 2차원 좌표(x 또는 y와 s)를 도시한다. 입력 화상에 대하여, 소정의 휘도 슬라이스 값(Th)으로 슬라이스하여, 슬라이스 값을 초과한 영역을 오프닝 처리 범위로서 결정한다. 즉, 대상 선분의 휘도 레벨이 높다면 휘도 레벨이 낮은 영역에는 대상 선분이 존재할 가능성이 거의 없고, 휘도 레벨이 높은 영역에는 대상 선분이 존재할 가능성이 높다. 이 때문에, 선분 추출을 위한 탑햇 가산 처리(46)의 처리 범위는 화상 전체가 아니라, 화상의 휘도 레벨이 높은 영역에만 설정되기 때문에, 통상 시간이 걸리는 탑햇 가산 처리에 필요한 시간이 단축된다.

(S14) 지정된 오프닝 영역(도 5에서는 검은 부분)에서는 로그 필터 처리가 실행된 후의 화상에 대해 오프닝 처리가 실시된다. 오프닝 처리는 이미 잘 알려져 있지만, 도 13과 도 15의 모델도를 참조하여 간단히 설명하기로 한다.

도 13에 도시하는 바와 같이, 입력 화상 A3(f(x))에 대하여 오퍼레이터(또는 엘리먼트)(B)를 주사한다. 오퍼레이터(B)는 소정의 길이를 갖는다. 도 13은 3 방향으로 오퍼레이터(B)를 주사하는 예를 도시하고 있다. 도 15에 도시하는 바와 같이, 오퍼레이터(B)를 입력 화상 f(x)에 대하여 x축 방향으로 주사하면, 입력 화상 f(x)는 오퍼레이터(B)가 침입할 수 있는 부분과 침입할 수 없는 부분으로 분리된다. 오퍼레이터(B)가 침입할 수 있는 부분의 포락선 γ B(f)(x)를 얻는 처리를 "선형 오프닝 처리"라고 한다.

(S16) 이 선형 오프닝 처리된 화상을 이용하여, 입력 화상에 대해 탑햇 처리가 실시된다. 탑햇 처리는 다음의 수학식 (4)를 이용하여 수행된다.

(4)

즉, 도 15에서 오퍼레이터(B)가 침입할 수 없는 부분[이것을 탑햇(top-hat)이라고 함]의 함수를 얻을 수 있다.

(S18) 각 방향으로 오퍼레이터를 주사하여 얻은 탑햇 처리 후의 화상을 각 화소마다 가산한다.

이 오프닝 처리 및 탑햇 가산 처리를 도 14의 화상예를 이용하여 설명한다. 도 14에서는, 화상(B1)을 2치화하는 경우, x 및 y 방향으로 신장하는 선형 성분의 추출예를 이용하여 설명되는 화상 데이터를 편의상 설명하기로 한다. 화상(B1)에 있어서, 사선 부분은 휘도 레벨이 높은 영역이다. 이 화상을 2치화하면, 2치화된 입력 화상을 얻을 수 있다. 이 설명에 있어서, 횡축을 x, 종축을 y로 한다. 또, x 방향의 오퍼레이터(Bx)를 x 방향으로 3 화소 길이를 갖는 오퍼레이터, y 방향의 오퍼레이터(By)를 y 방향으로 3 화소 길이를 갖는 오퍼레이터인 것으로 한다.

먼저, 입력 화상의 x 방향으로 오퍼레이터(Bx)를 주사하여, 전술한 바와 같이, 오퍼레이터(Bx)가 침입할 수 있는 궤적을 결정한 다음, x축 선형 오프닝 화상을 얻을 수 있다. 즉, 입력 화상의 x축 방향으로 3 화소에 대해 "1"이 연속하는 부분에 화소치 "1"이 할당되고, 그 외에는 화소치 "0"이 할당된다.

이 x축 선형 오프닝 화상과 입력 화상을 이용하여, 각 화소마다 수학식 (4)에 의해 x축 탑햇 화상을 얻는다. 원화상(B1)과 비교하면, 이 화상은 x축 방향으로 연속적인 선형 성분의 윤곽을 나타낸다.

마찬가지로, 입력 화상의 y방향으로 오퍼레이터(By)를 주사하여, 전술한 바와 같이 오퍼레이터(By)가 침입할 수 있는 궤적을 결정한 다음, y축 선형 오프닝 화상을 얻을 수 있다. 즉, 입력 화상의 y축 방향으로 3 화소에 대해 "1"이 연속하는 부분에는 화소치 "1"이 할당되고, 그 외에는 화소치 "0"이 할당된다.

이 y축 선형 오프닝 화상 및 입력 화상을 이용하여, 각 화소마다 수학식 (4)에 의해 y축 탑햇 화상을 얻는다. 원화상(B1)과 비교하면, 이 화상은 y축 방향으로 연속적인 선형 성분을 나타낸다.

이 x축 탑햇 및 y축 탑햇 화상을 각 화소마다 가산하여 탑햇 가산 화상을 얻 는다. 원화상(B1)과 비교하면, 화상(B1)에 검은 점으로 표시하는 분리된 선형 성분이 제거되어 원 화상(B1)의 연속적인 선형 성분이 추출된다.

다음에, 추출 대상 영역 선택 처리(46)를 도 16 내지 도 19를 참조하여 설명한다. 도 16은 추출 대상 영역 선택 처리를 나타내는 흐름도이고, 도 17은 도 16의 추출 범위 선택 처리를 나타내는 도면이며, 도 18은 도 16의 히스토그램 작성 처리 및 마스크/마커 영역 선택 처리를 나타내는 도면이고, 도 19는 도 16의 재구성 처리를 나타내는 도면이다.

이제, 도 16의 추출 대상 영역 선택 처리를 도 17 내지 도 19를 참조하여 설명하기로 한다.

(S20) 탑햇 가산 처리(44)를 실시한 후의 화상(G4)으로부터 콘트라스트비의 비교적 높은 영역을 추출 범위(X)로서 선택한다. 도 17에 도시하는 바와 같이, 화상(Y)의 주변 부분보다 중앙 부분이 콘트라스트비가 높은 경향이 있다. 이것은 촬상 조건과 관련된다. 즉, 광학계의 성능, 피검체에의 광 조사 상태, 및 촬상 장치의 외부광의 상황에 따라, 주변 부분은 상이 흐릿해지는 경향이 있다. 이 때문에, 추출 범위 선택 처리(46-1)는 도 17에 도시하는 바와 같이, 화상(Y)의 주변 부분을 제외한 중앙 부분을 포함하는 영역(X)을 대상 영역으로서 선택한다.

(S22) 다음에, 추출 범위 선택 처리(46-1)로 선택한 추출 범위(X)의 히스토그램을 계산한다. 도 18에 도시하는 바와 같이, 횡축이 휘도 레벨이고, 종축이 화소의 빈도이며, 각 휘도 레벨의 화소수를 휘도 히스토그램으로서 계산한다.

(S24) 도 18에 도시하는 바와 같이, 이 휘도 히스토그램 분포에 있어서, 전 체 빈도수에 대하여 빈도수가 약 절반이 되는 휘도 레벨(M1)을 마스크 영역의 임계치로서 설정한 다음, 히스토그램 상에서 휘도 레벨이 M1 이상인 화소를 마스크 영역로서 선택한다. 다음에, 전체의 빈도수에 대하여 빈도수가 약 추가 절반(즉, 1/4)이 되는 휘도 레벨(M2)을 마커 영역의 임계치로서 설정한 다음, 히스토그램 상에서 휘도 레벨이 M2 이상인 화소를 마커 영역으로서 선택한다. 즉, 히스토그램으로부터 비교적 휘도 레벨이 높은 영역을 마스크 영역으로서 선택하고, 또한 마스크 영역 내에서 휘도 레벨이 더 높은 영역을 마커 영역으로서 선택한다.

(S26) 이 마스크 영역과 마커 영역을 이용하여, 탑햇 가산 처리된 화상을 재구성한다. 즉, 도 19에 도시하는 바와 같이, 선택된 마스크 영역과 마커 영역의 화소를 화상으로 변환하면, 마스크 영역(C1, C3)과, 마커 영역(C2)을 갖는 화상(B3)이 작성된다. 재구성은 도 19에 도시하는 바와 같이, 마커 영역(C2)이 존재하는 마스크 영역(C1)을 선분(D1)으로서 재구성한다. 여기서는 마커 영역이 없는 선분(C3)은 제거된다.

이와 같이, 영역의 콘트라스트비(선분 부분과 그 외 부분 간의 레벨차)가 낮을지라도, 콘트라스트비가 높은 선분 요소에 연결되어 있는 영역은 하나의 선분으로서 추출된다. 이러한 처리(46)를 실행하지 않는다면, 도 19의 경우에, 추출 선분은 C1 또는 C3, 또는 C2만이고, 콘트라스트비에 따라 추출 선분이 달라진다.

또, 마커 영역과 마스크 영역을 콘트라스트비가 높은 영역(X)의 화소 레벨로 결정하기 때문에, 콘트라스트비가 낮은 주변 부분으로부터 노이즈의 영향을 제거하면서 마커 영역과 마스크 영역을 결정할 수 있다.

또한, 마커 영역과 마스크 영역을 화상의 화소의 휘도 레벨의 빈도 히스토그램으로 결정하기 때문에, 화상의 선분 패턴이 다르더라도, 그 화상에 대응하는 상대적인 마커 영역과 마스크 영역을 선택할 수 있다.

다음에, 로그 필터 처리(47)를 도 20과 도 21을 참조하여 설명하기로 한다. 이 로그 필터 처리(47)는 로그 필터 처리(40)의 내용과 동일하며, 여기에서는 적분이 실시되고 미분에 의해 엣지가 강조된다. 그러나, 선분 추출의 후속 단계에 있어서, 로그 필터 처리(47)는 도 21에 도시하는 바와 같이, 도 19에서 얻은 선분(D1)을 평활화하는 것을 목적으로 한다. 즉, 도 20에 도시하는 바와 같이, 적분 후 원화상은 2회 미분된다(2회 미분). 이에 따라, 도 21에 도시하는 바와 같이, 선분(D1) 주변의 들쭉날쭉한 부분(D3)이 평활화되고, 매끄러운 선분 요소(D2)를 추출할 수 있다.

이 매끄러운 선분 요소를 2치화 처리(48)하고 세선화 처리(49)하면, 골격화된 선분을 얻을 수 있다. 전술한 로그 필터 처리(47)는 2치화 및 세선화하기에 유효하여 선분이 용이하게 세선화될 수 있다.

다른 실시 형태

전술한 실시 형태에서는 탑햇 가산 처리(44)의 오퍼레이터를 폭 1 화소, 길이 3 화소를 갖는 것으로서 설명하였지만, 오퍼레이터의 길이 및 폭은 추출 대상 선분 및 필요로 하는 정밀도에 따라 적절하게 선택될 수 있으며, 예컨대 20 화소 정도만으로도 좋다. 오퍼레이터의 형상은 사각형뿐만 아니라, 타원형 등의 다른 형상일 수도 있다.

오퍼레이터의 주사 방향의 수는 추출 대상 선분의 방향, 정밀도 및 처리 시간에 따라 선택될 수 있고, 4개 이상이 바람직하다. 더욱이, 주사 방향수가 적고, 처리 시간에 여유가 있는 경우에는, 2치화에 의한 영역 선택 처리(42)를 생략하여도 좋다. 마찬가지로, 콘트라스트비가 같은 것을 대상으로 한다면, 추출 대상 선택 처리(46)를 생략할 수도 있다.

또한, 몰포로지 처리로서 설명한 탑햇 가산 처리는 엘리먼트 또는 오퍼레이터를 화상에 대하여 복수의 방향으로 주사하여 각 방향의 추출 화상으로부터 선형 요소를 추출한다면 다른 방법을 이용할 수도 있다. 적용 분야는 피부 표면에 한정되지 않고, 생체의 혈관상이나, 생체 무늬 등에 관한 것이다.

이상, 본 발명을 실시 형태로 설명하였지만, 본 발명의 취지의 범위 내에서, 본 발명은 여러 가지 변형이 가능하고, 본 발명의 범위에서 이들을 배제해서는 안 된다.

연속적인 선분이 존재할 가능성이 있는 영역에 대하여 오퍼레이터를 주사함으로써 몰포로지 처리를 실시하기 때문에, 복수의 방향에서 고속으로 선분 요소를 추출할 수 있다. 또한, 콘트라스트비가 높은 영역에서부터 선분의 성장 방향으로 연속하는 콘트라스트비가 낮은 영역도 하나의 선분으로서 추출할 수 있기 때문에, 콘트라스트비에 상관없이 고정밀도로 선분을 추출할 수 있다. 이 때문에, 흐릿한 화상으로부터 연속적인 선분을 정밀하게 추출할 수 있다.

Claims

계조의 촬상 화상으로부터 선분 요소를 추출하는 화상 처리 방법으로서,

상기 촬상 화상에 따른 화상을 2치화하여 그 2치화 화상으로부터 상기 촬상 화상의 추출 영역을 선택하는 단계와;

선택된 추출 영역에 대하여 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 추출 화상으로부터 선형 요소를 추출함으로써 몰포로지(morphology) 처리를 실행하는 단계와;

상기 추출된 선형 요소로부터 선분 요소를 추출하는 단계

를 포함하는 화상 처리 방법.
계조의 촬상 화상으로부터 선분 요소를 추출하는 화상 처리 방법으로서,

상기 촬상 화상에 따른 화상에 대하여 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 추출 화상으로부터 선형 요소를 추출함으로써 몰포로지 처리를 실행하는 몰포로지 처리 실행 단계와;

상기 몰포로지 처리가 수행된 화상으로부터, 비교적 콘트라스트비가 높은 영역과 비교적 콘트라스트비가 낮은 영역을 추출하는 단계와;

상기 비교적 콘트라스트비가 높은 영역에 연결되는 상기 비교적 콘트라스트비가 낮은 영역의 선형 요소를 선분 요소로서 추출하는 선분 요소 추출 단계

를 포함하는 화상 처리 방법.
제2항에 있어서, 상기 촬상 화상에 따른 화상을 2치화하여 상기 몰포로지 처리가 실행되는 상기 촬상 화상의 추출 영역을 선택하는 단계를 더 포함하는 화상 처리 방법.
제1항에 있어서, 상기 계조의 촬상 화상을 평활화하고 엣지 강조 처리함으로써 상기 촬상 화상에 따른 화상을 작성하는 단계를 더 포함하는 화상 처리 방법.
제1항에 있어서,

상기 추출된 선분 요소를 평활화하고 엣지 강조 처리하는 단계와;

그 평활화되고 엣지 강조된 선분 요소를 2치화하여 선분 데이터를 작성하는 단계

를 더 포함하는 화상 처리 방법.
제1항에 있어서, 상기 몰포로지 처리를 실행하는 단계는,

상기 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 오픈 처리 화상을 작성하는 단계와;

상기 촬상 화상에 따른 화상으로부터 상기 각 방향의 탑햇(top hat) 처리 화상과 상기 각 방향의 오픈 처리 화상을 작성하는 단계와;

상기 각 방향의 탑햇 처리 화상을 가산하여 상기 선형 요소를 추출하는 단계

를 포함하는 화상 처리 방법.
제2항에 있어서, 상기 선분 요소 추출 단계는,

상기 촬상 화상에 따른 화상의 콘트라스트가 높은 가능성이 있는 영역을 지정하는 단계와;

상기 몰포로지 처리된 화상의 지정된 영역에 대하여 비교적 콘트라스트비가 높은 영역와 비교적 콘트라스트비가 낮은 영역을 추출하는 영역 추출 단계와;

상기 비교적 콘트라스트비가 높은 영역에 연결되는 상기 비교적 콘트라스트비가 낮은 영역의 선형 요소를 선분 요소로서 추출하는 선분 요소 추출 단계

를 더 포함하는 것인 화상 처리 방법.
제7항에 있어서, 상기 영역 추출 단계는,

상기 지정된 영역의 휘도 빈도 히스토그램을 계산하는 단계와;

상기 휘도 빈도 히스토그램으로부터 상기 비교적 콘트라스트비가 높은 영역과 비교적 콘트라스트비가 낮은 영역을 추출하는 단계

를 더 포함하는 것인 화상 처리 방법.
제8항에 있어서, 상기 영역 추출 단계는 상기 휘도 빈도 히스토그램으로부터, 비교적 콘트라스트비가 낮은 영역으로서 비교적 휘도 레벨이 낮은 마스크 영역과, 비교적 콘트라스트비가 높은 영역으로서 비교적 휘도 레벨이 높은 마커 영역을 추출하는 단계를 더 포함하는 것인 화상 처리 방법.
제9항에 있어서, 상기 선분 요소 추출 단계는 상기 마커 영역을 갖는 마스크 영역을 선분 요소로서 추출하는 단계를 더 포함하는 것인 화상 처리 방법.
제2항에 있어서, 상기 계조의 촬상 화상을 평활화하고 엣지 강조 처리하여 상기 촬상 화상에 따른 화상을 작성하는 단계를 더 포함하는 화상 처리 방법.
제2항에 있어서,

상기 추출된 선분 요소를 평활화하고 엣지 강조 처리하는 단계와;

그 평활화되고 엣지 강조된 선분 요소를 2치화하여 선분 데이터를 작성하는 단계

를 더 포함하는 화상 처리 방법.
제2항에 있어서, 상기 몰포로지 처리 실행 단계는,

상기 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 오픈 처리 화상을 작성하는 단계와;

상기 촬상 화상에 따른 화상으로부터 상기 각 방향의 탑햇 처리 화상과 상기 각 방향의 오픈 처리 화상을 작성하는 단계와;

상기 각 방향의 탑햇 처리 화상을 가산하여 상기 선형 요소를 추출하는 단계

를 더 포함하는 화상 처리 방법.
계조의 촬상 화상으로부터 선분 요소를 추출하는 화상 처리기로서,

피검체를 촬상하는 촬상 장치와;

상기 촬상 장치가 촬상한 상기 촬상 화상에 따른 화상을 2치화하여 상기 촬상 화상의 추출 영역을 선택한 다음, 이 선택된 추출 영역에 대하여 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 추출 화상으로부터 선형 요소를 추출함으로써 몰포로지 처리를 수행하여 상기 추출된 선형 요소로부터 선분 요소를 추출하는 선분 추출 장치

를 포함하는 화상 처리기.
계조의 촬상 화상으로부터 선분 요소를 추출하는 화상 처리기로서,

피검체를 촬상하는 촬상 장치와;

상기 촬상 장치가 촬상한 상기 촬상 화상에 따른 화상에 대하여 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 추출 화상으로부터 선형 요소를 추출하는 몰포로지 처리를 실행한 다음, 상기 몰포로지 처리가 수행된 화상으로부터, 비교적 콘트라스트비가 높은 영역과 비교적 콘트라스트비가 낮은 영역을 추출하여, 상기 비교적 콘트라스트비가 높은 영역에 연결되는 상기 비교적 콘트라스트비가 낮은 영역의 선형 요소를 선분 요소로서 추출하는 선분 추출 장치

를 포함하는 화상 처리기.
제15항에 있어서, 상기 선분 추출 장치는 상기 촬상 화상에 따른 화상을 2치화하여 상기 몰포로지 처리가 실행되는 상기 촬상 화상의 추출 영역을 선택하는 것인 화상 처리기.
제14항에 있어서, 상기 선분 추출 장치는 상기 계조의 촬상 화상을 평활화하고 엣지 강조 처리함으로써 상기 촬상 화상에 따른 화상을 작성하는 것인 화상 처리기.
제14항에 있어서, 상기 선분 추출 장치는 상기 추출된 선분 요소를 평활화하고 엣지 강조 처리한 다음, 그 평활화되고 엣지 강조된 선분 요소를 2치화하여 선분 데이터를 작성하는 것인 화상 처리기.
제14항에 있어서, 상기 선분 추출 장치는 상기 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 오픈 처리 화상을 작성하고, 상기 촬상 화상에 따른 화상으로부터 상기 각 방향의 탑햇 처리 화상과 상기 각 방향의 오픈 처리 화상을 작성한 다음, 상기 각 방향의 탑햇 처리 화상을 가산하여 상기 선형 요소를 추출하는 몰포로지 처리를 실행하는 것인 화상 처리기.
제15항에 있어서, 상기 선분 추출 장치는 상기 몰포로지 처리된 화상 중 상 기 촬상 화상의 콘트라스트비가 높은 가능성이 있는 영역에 대하여, 비교적 콘트라스트비가 높은 영역과 비교적 콘트라스트비가 낮은 영역을 추출하여, 상기 비교적 콘트라스트비가 높은 영역에 연결되는 상기 비교적 콘트라스트비가 낮은 영역의 선형 요소를 선분 요소로서 추출하는 것인 화상 처리기.
제20항에 있어서, 상기 선분 추출 장치는 상기 지정된 영역의 휘도 빈도 히스토그램을 계산하여 상기 휘도 빈도 히스토그램으로부터 상기 비교적 콘트라스트비가 높은 영역과 비교적 콘트라스트비가 낮은 영역을 추출하는 것인 화상 처리기.
제21항에 있어서, 상기 선분 추출 장치는 상기 휘도 빈도 히스토그램으로부터, 비교적 콘트라스트비가 낮은 영역으로서 비교적 휘도 레벨이 낮은 마스크 영역과, 비교적 콘트라스트비가 높은 영역으로서 비교적 휘도 레벨이 높은 마커 영역을 추출하는 것인 화상 처리기.
제22항에 있어서, 상기 선분 추출 장치는 상기 마커 영역을 갖는 마스크 영역을 상기 선분 요소로서 추출하는 것인 화상 처리기.
제15항에 있어서, 상기 선분 추출 장치는 상기 계조의 촬상 화상을 평활화하고 엣지 강조 처리함으로써 상기 촬상 화상에 따른 화상을 작성하는 것인 화상 처리기.
제15항에 있어서, 상기 선분 추출 장치는 추출된 선분 요소를 평활화하고 엣지 강조 처리한 다음, 그 평활화되고 엣지 강조된 선분 요소를 2치화하여 선분 데이터를 작성하는 것인 화상 처리기.
제15항에 있어서, 상기 선분 추출 장치는 상기 오퍼레이터를 복수의 방향으로 주사하여 각 방향의 오픈 처리 화상을 작성하고, 상기 촬상 화상에 따른 화상으로부터 상기 각 방향의 탑햇 처리 화상과 상기 각 방향의 오픈 처리 화상을 작성한 다음, 상기 각 방향의 탑햇 처리 화상을 가산하여 선형 요소를 추출하는 것인 화상 처리기.