KR101101142B1 - 비제한적 환경에서의 홍채 인식 시스템 및 방법 - Google Patents

Abstract

본 발명은 비제한적인 환경에서 얻어진 홍채가 포함된 눈 영상에서 정확하게 홍채 영역을 검출하여 홍채 인식의 성능을 향상시킬 수 있는 비제한적 환경에서의 홍채 인식 시스템 및 방법에 관한 것이다.

본 발명은 홍채 영역이 포함된 눈 영상으로부터 상기 홍채 영역을 분할하는 홍채 영역 분할부; 상기 분할된 홍채 영역이 오프 앵글 상태이면 오프 앵글을 가지는 홍채 영역을 보정하는 오프 앵글 보정부; 상기 분할된 홍채 영역 또는 상기 보정된 홍채 영역을 극좌표에서 표현되도록 변환하는 홍채 영역 변환부; 및 상기 변환된 홍채 영역에서 노이즈인 눈꺼풀과 속눈썹을 제거하는 노이즈 제거부;를 포함하는 비제한적 환경에서의 홍채 인식 시스템에 관한 것이다.

본 발명은 획득된 홍채 영상의 오프 앵글을 보정하고, 홍채 영역에 포함되는 눈꺼풀, 속눈썹과 같은 노이즈를 제거하여, 홍채 인식 시스템의 성능을 향상시키고, 홍채 인식의 높은 신뢰성을 확보할 수 있는 효과가 있다.

Description

비제한적 환경에서의 홍채 인식 시스템 및 방법{A system and method for identifying the iris of persons in unrestricted condition}

본 발명은 비제한적 환경에서의 홍채 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 비제한적인 환경에서 얻어진 홍채가 포함된 눈 영상에서 정확하게 홍채 영역을 검출하여 분할하고, 홍채 영역에 포함되는 눈꺼풀과 속눈썹을 검출하여 홍채 인식의 성능을 향상시킬 수 있는 비제한적 환경에서의 홍채 인식 시스템 및 방법에 관한 것이다.

홍채 인식은 사람마다 고유한 특성을 갖는 홍채 패턴 정보를 이용하여 사람을 인식하고 인증하는 기술이다. 홍채는 일생동안 변하지 않는 특성을 가지고 있으며, 얼굴 인식, 지문 인식, 음성 인식 등의 다른 생체 인식에 비해 높은 인식률을 나타내므로, 보안 분야에서 많이 이용되고 있다.

높은 보안 수준을 요구하는 곳에 많이 이용되는 홍채 인식 시스템은, 홍채 인식 시스템의 카메라로부터 일정 거리 떨어진 위치에 사용자가 서 있도록 하거나, 사용자가 눈을 크게 뜨고 일정 시간 동안 카메라를 응시하거나, 적외선 카메라를 이용하거나 하여 홍채 영상을 입력받도록 하는 것과 같이 제한된 환경에서 홍채 영 상을 획득하도록 하고 있다.

그러나, 상기와 같은 방법들을 통해 홍채 영상을 획득하는 것은 사용자에게 일정한 위치에 서도록 하거나 정해진 동작을 하도록 강요하므로, 사용자로부터 거부감을 불러 일으킬 수 있는 문제점이 있다.

최근에는 사용자의 편의를 위해 비제한적인 환경에서 홍채 영상을 획득하여 홍채 인식을 수행하는 홍채 인식 시스템이 제안되고 있다.

그러나, 비제한적인 환경에서 획득된 홍채 영상은 초점이 맞지 않은 상태로 획득되어 낮은 해상도를 가지거나, 홍채의 위치가 원하는 위치에서 벗어난 오프 앵글 상태인 경우가 발생한다.

또한 정상적인 상태 또는 오프 앵글 상태로 획득된 홍채 영상에 홍채 패턴 이외에 눈꺼풀, 속눈썹, 조명 반사광 등과 같이 홍채 인식 시스템의 성능을 감소시키는 요인들이 포함되어 있는 경우도 있다.

본 발명이 해결하고자하는 과제는 오프 앵글 상태로 획득된 홍채 영역을 보정하고, 홍채 영역에 포함되는 눈꺼풀, 속눈썹과 같은 노이즈를 제거하여 홍채 인식의 성능을 향상시키고 높은 신뢰성을 가지는 비제한적 환경에서의 홍채 인식 시스템 및 방법을 제공하는 것에 있다.

상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 비제한적 환경에서의 홍채 인식 시스템은,

홍채 영역이 포함된 눈 영상으로부터 상기 홍채 영역을 분할하는 홍채 영역 분할부; 상기 분할된 홍채 영역이 오프 앵글 상태이면 오프 앵글을 가지는 홍채 영역을 보정하는 오프 앵글 보정부; 상기 분할된 홍채 영역 또는 상기 보정된 홍채 영역을 극좌표에서 표현되도록 변환하는 홍채 영역 변환부; 및 상기 변환된 홍채 영역에서 노이즈인 눈꺼풀과 속눈썹을 제거하는 노이즈 제거부;를 포함하여 본 시스템 발명이 해결하고자 하는 과제를 해결한다.

상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 비제한적 환경에서의 홍채 인식 방법은,

(a) 홍채 영역이 포함된 눈 영상으로부터 상기 홍채 영역을 분할하는 단계; (b) 상기 분할된 홍채 영역이 오프 앵글 상태이면 오프 앵글을 가지는 홍채 영역을 보정하는 단계; (c) 상기 (a) 단계에서 분할된 홍채 영역 또는 상기 (b) 단계에서 보정된 홍채 영역을 극좌표에서 표현되도록 변환하는 단계; 및 (d) 상기 변환된 홍채 영역에서 노이즈인 눈꺼풀과 속눈썹을 제거하는 단계;를 포함하여 본 방법 발명이 해결하고자 하는 과제를 해결한다.

본 발명에 따른 비제한적 환경에서의 홍채 인식 시스템 및 방법은 홍채 영역이 포함된 눈 영상 내에서 홍채 영역의 위치가 정해진 위치에서 벗어난 오프 앵글 상태에서 동공 영역과 홍채 영역을 검출하여 홍채 영역을 분할하고, 분할된 홍채 영역의 오프 앵글 상태를 보정하여, 홍채 인식의 성능을 향상시킬 수 있는 효과가 있다.

본 발명은 홍채 영역에 포함되는 눈꺼풀, 속눈썹과 같은 노이즈를 제거하여, 홍채 인식 시스템의 성능을 향상시키고, 홍채 인식의 높은 신뢰성을 확보할 수 있는 효과가 있다.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 핵심을 우선 제시한다.

본 발명이 해결하고자 하는 과제의 해결을 위해, 본 발명은 홍채를 포함하는 눈 영상이 오프 앵글 상태로 획득되었을 때, 오프 앵글 상태에서 홍채 영역을 분할하여 오프 앵글을 가지는 홍채 영역을 보정하고, 분할된 홍채 영역 또는 보정된 홍채 영역에 포함되는 눈꺼풀, 속눈썹을 제거하여 비제한적 환경에서의 홍채 인식 시스템이 높은 신뢰성을 가지도록 하는 것이다.

이하 본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 또한, 본 발명에 따른 비제한적 환경에서 홍채를 인식하는 순서는 중요치 않고 예시되는 일부 단계가 생략되거나 적절히 변경될 수도 있다.

도 1은 본 발명에 따른 비제한적 환경에서의 홍채 인식 시스템의 블록도를 나타낸 도면이다. 도 2는 본 발명에 따른 비제한적 환경에서의 홍채 인식의 단계를 나타낸 순서도이고, 도 3은 본 발명에 따른 비제한적 환경에서의 홍채 인식을 위해 홍채 영역을 분할하는 단계를 상세하게 나타낸 순서도이고, 도 4는 본 발명에 따라 홍채 영역을 검출하기 위해 사용하는 1차원 필터의 예를 나타낸 도면이고, 도 5는 본 발명에 따른 비제한적 환경에서의 홍채 인식을 위해 홍채 영역 내의 노이즈를 제거하는 단계를 상세하게 나타낸 순서도이다.

본 발명의 비제한적 환경에서의 홍채 인식 시스템은 영상 획득부(11), 홍채 영역 분할부(12), 오프 앵글 보정부(13), 홍채 영역 변환부(14), 노이즈 제거부(15), 홍채 패턴 특징값 추출부(16), 홍채 패턴 특징값 매칭부(17)를 포함한다.

영상 획득부(11)는 홍채를 인식하기 위해 홍채가 포함된 눈 영상을 카메라 등을 이용하여 획득한다(s21).

홍채 영역 분할부(12)는 상기 영상 획득부(11)로부터 획득된 눈 영상으로부 터 홍채 영역을 얻기 위해서 홍채 영역을 분할한다(s22).

홍채 영역 분할부(12)는 a×a 픽셀의 블록 단위로 에너지값을 계산하는 단계(s321), 상기 계산된 에너지값 중에서 최소 에너지 값을 가지는 블록을 시드(seed) 영역으로 설정하는 단계(s322), s322 단계에서 상기 시드 영역을 성장시키는 단계(s323), 상기 시드 영역의 성장을 통해 생성된 영역을 동공 영역으로 검출하는 단계(s324), 상기 검출된 동공 영역의 무게 중심을 탐색하는 단계(s325), 상기 탐색된 동공 영역의 무게 중심을 이용하여 홍채 영역을 검출하여 분할하는 단계(s326)를 포함하여 동작한다.

s321 단계에서 a×a 픽셀의 블록 단위로 에너지값을 계산할 때, 본 발명에서는 가로 10 픽셀, 세로 10 픽셀의 크기를 가지는 블록을 의미한다. 상기 블록의 에너지값은 블록 내의 각 픽셀의 밝기값(intensity)을 제곱하여 그 값들의 평균값으로 구한다.

s322 단계는 계산된 에너지값 중에서 최소 에너지값을 가지는 블록을 시드 영역으로 설정한다.

s323 단계에서는 s322 단계에서 설정된 시드 영역을 성장시킨다. 상기 시드 영역에 인접하지만 상기 시드 영역으로 할당되지 않은 픽셀들을 비교하여 영역을 성장시킨다. 구체적으로는 시드 영역의 밝기값의 평균값과 시드 영역으로 할당되지 않은 픽셀의 밝기값의 차이가 가장 작은 픽셀을 시드 영역으로 할당하는 것으로, 영역을 성장시키는 과정에서 시드 영역를 포함하여 성장되는 영역의 밝기값의 평균값과 영역으로 할당되지 않은 픽셀의 밝기값의 차이가 임계값보다 크면 영역의 성 장은 종료된다.

s324 단계는 상기 s323 단계에서 영역의 성장이 종료되어 형성되는 영역을 동공 영역으로 검출한다.

s325 단계는 검출된 동공 영역의 무게 중심을 탐색한다.

s326 단계는 s325 단계에서 탐색된 무게 중심을 이용하여 홍채 영역을 검출하여 분할한다. 홍채 영역을 분할하기 위해, 먼저 홍채 영역의 경계를 검출하기 위해 상기 s325 단계에서 탐색된 무게 중심을 지나는 수평선 상에 도 4에 도시한 바와 같은 1차원 필터를 적용한다. 상기 1차원 필터는 상기 무게 중심을 기준으로 회전하면서 스캔하여 홍채 영역의 경계를 검출한다. s326 단계에서 검출하는 홍채 영역의 경계는 눈의 흰자위와 접하는 홍채 영역의 외곽의 경계이다.

홍채 영역의 외곽의 경계를 검출할 때, 홍채가 눈꺼풀에 의해 가려져 보이지 않는 경우가 있으므로, 탐색 시간과 연산 부하를 줄이기 위해, 1차원 필터를 이용하여 홍채 영역의 외곽의 경계를 탐색하는 범위를 제한할 수 있다.

상기 탐색하는 범위는 동공 영역의 무게 중심을 지나는 수평선을 그렸을 때, 수평선을 기준으로 +45도 ~ -45도 사이의 범위를 정한다. 이 범위는 홍채 인식의 성능을 시험하기 위해 구축된 데이터베이스 상의 영상들에서 눈꺼풀의 영향을 받지 않는 영역을 통계적으로 분석하여 산정한 것으로, 필요에 따라 수정될 수 있다.

본 발명에 따른 홍채 영역 분할부(12)에 의해 홍채 영역을 분할하는 것은, 이산 퓨리에 시리즈(Discrete Fourier Series)를 이용하여 홍채 영역을 검출하여 분할하는 방법보다 간단한 연산 과정을 거쳐 홍채 영역을 검출하여 분할하므로, 검 출 시간이 단축되는 장점이 있다.

도 6a는 홍채 인식을 위해 획득된 임의의 영상이다. 도 6b는 도 6a의 영상에서 10×10 픽셀의 블록 단위로 에너지값을 구한 영상이다. 도 6c는 도 6b의 영상에서 검출된 동공 영역을 나타낸다. 또한 도 7은 본 발명에 따른 홍채 영역 분할부(12)에 의해 분할된 홍채 영역을 나타낸 영상이다.

오프 앵글 보정부(13)는 홍채 영역 분할부(12)에서 검출된 홍채 영역이 오프 앵글(off angle) 상태인 경우 오프 앵글을 보정한다(s23). 즉, 분할된 홍채 영역이 원의 형상이 아니라 타원의 형상을 가지는 경우에 오프 앵글을 가지는 홍채 영역을 보정한다. 분할된 홍채 영역이 타원 형상을 가진다는 것은 눈의 위치가 카메라의 앵글의 위치로부터 일정거리 벗어난 위치에 있을 때 획득되었다는 것을 의미한다. 즉 홍채 영역은 눈 영상 내에서 정확한 원의 형상을 가지지 못하게 된다.

홍채 영역이 타원의 형상을 가지면, 홍채 영역 변환부(14)에서 홍채 영역을 극좌표에서 제대로 표현하지 못한다. 따라서 오프 앵글 보정부(13)는 타원의 형상을 원의 형상으로 투영하여 홍채 영역을 보정한다. 보다 상세하게는 타원의 중심을 검색하여 타원의 장축과 단축의 길이를 산출하고, 이를 원으로 투영하는 원근 투영(perspective projection) 방법을 이용하여 오프 앵글을 보정한다.

홍채 영역 변환부(14)는 상기 분할된 홍채 영역 또는 상기 보정된 홍채 영역을 극좌표에서 표현되도록 변환한다(s24).

상기 영상 획득부(11)에서 획득된 홍채가 포함되는 눈 영상, 홍채 영역 분할부(12)에서 분할된 홍채 영역 영상, 오프 앵글 보정부(13)에서 보정된 홍채 영역 영상은 모두 직교 좌표에서 표시된다. 따라서, 홍채 영역 변환부(14)는 직교 좌표로 표현된 영상의 좌표를 극좌표로 변환하여 n×m 픽셀 크기를 가지는 영상으로 변환한다.

상기 직교 좌표에서 표현된 홍채 영역을 극좌표에서 표현하도록 변환하는 수식은 수학식 1과 같다.

<수학식 1>

수학식 1에서

는 분할된 홍채 영역의 해당 픽셀의 명암값이고,

와

는 각각

방향을 따른 동공의 경계와 홍채의 경계의 좌표이다.

홍채 영역 변환부(14)에 입력되는 홍채 영역 영상은 동공 영역을 제외하고 동공의 외측 경계와, 홍채의 외측 경계로 둘러싸인 도넛 형상을 가진다. 이러한 홍채 영역 영상은 홍채 영역 변환부(14)를 통해 n×m 픽셀 크기를 가지는 직사각형의 형상으로 변환하게 된다. 이 때 직사각형의 상부는 동공에 접하는 부분이고, 직사각형의 하부는 눈의 흰자위와 접하는 부분이 된다. 도 7a, 도 7b, 도 8a, 도 9a, 도 9b, 도 10a, 도 10b에 도시된 홍채 영역 영상은 홍채 영역 변환부(14)를 거쳐 직사각형의 형상으로 변환된 영상들이다.

노이즈 제거부(15)는 홍채 영역 변환부(14)에서 변환된 홍채 영역에서 눈꺼풀 영역과 속눈썹 영역을 제거한다(s25).

노이즈 제거부(15)는 변환된 홍채 영역에서 포물선 형상을 가지는 눈꺼풀 영역을 검출하는 단계(s551), 변환된 홍채 영역의 각 픽셀의 명암값과 상기 각 픽셀의 국부표준편차를 이용하여 결합 특징값을 추출하는 단계(s552), 상기 추출된 결합 특징값의 히스토그램을 기초로 임계값을 결정하고, 결정된 임계값을 기준으로 속눈썹 영역과 홍채 영역을 분류하여 속눈썹 영역을 검출하는 단계(s553)를 포함하여 동작한다.

도 8a는 변환된 홍채 영역에서 눈꺼풀을 검출하기 위한 임의의 영상을 나타낸 도면이고, 도 8b는 도 8a의 영상에서 눈꺼풀 영역을 검출한 것을 나타낸다.

s551 단계는 변환된 홍채 영역 영상에 포물선 허프 변환을 적용하여 눈꺼풀 영역을 검출한다. 포물선 허프 변환의 수학식은 다음의 수학식 2로 나타낼 수 있다.

<수학식 2>

수학식 2에서

는 포물선의 정점 좌표이고, a는 포물선의 곡률이고,

는 회전각을 나타낸다. 회전각

는 카메라를 이용하여 홍채를 포함하는 눈 영상을 획득할 때, 눈의 회전이 일어날 수 있으므로, 이러한 눈의 회전을 고려하기 위해 포물선 허프 변환에 적용한 것이다.

수학식 2를 사용하여 눈꺼풀 영역을 검출하기 위해서는 4개의 파라미터를 구해야한다. 본 발명은 이를 극복하기 위해 도넛 형상의 분할된 홍채 영역을 극좌표에서 표현되도록 n×m 픽셀의 크기로 변환된 홍채 영역에 포물선 허프 변환을 적용한다. 변환하지 않은 홍채 영역에서는 눈의 회전을 알기 위해 회전각을 구해야 하지만, 변환된 홍채 영역에서는 포물선의 정점의 수평적인 이동으로 나타나므로 회전각

을 고려하지 않아도 된다. 즉, 3개의 파라미터 값을 구하면 포물선의 형태를 알 수 있다.

극좌표에서 표현되도록 n×m 픽셀의 크기로 변환된 홍채 영역에서 눈꺼풀은 도 8a에 도시된 바와 같이 위로 볼록한 포물선의 내부 영역을 나타내는 형상과 유사하며, 이러한 눈꺼풀 영역을 검출하기 위해 회전각

를 고려하지 않은 수학식 3을 적용한다.

<수학식 3>

여기서

는 포물선의 정점 좌표이고, a는 포물선의 곡률을 나타낸다.

극좌표에서 표현되도록 n×m 픽셀의 크기로 변환된 홍채 영역에 수학식 3을 적용해서 포물선의 정점 좌표와 포물선의 곡률을 산출하여, 변환된 홍채 영역 내에 경계가 포물선의 형태를 가지는 눈꺼풀의 영역을 검출할 수 있다.

본 발명에 따른 상기 수학식 3을 이용하면 3개의 파라미터(h, k, a)에 대해 연산을 수행하게 되므로, 연산 수행 시간을 줄일 수 있다.

또한 본 발명은 연산 수행 시간을 더욱 줄이기 위해서, 극좌표에서 표현되도록 n×m 픽셀의 크기로 변환된 홍채 영역에서 포물선의 정점 좌표가 위치하는 범위를 통계적으로 산정하여, 수학식 3을 적용하도록 검색 범위를 제한하였다.

본 발명의 실시예는 80×512의 크기로 변환된 홍채 영역에서 도 8a에 도시된 70×40의 크기를 가지는 빨간 사각형의 검색 범위에 상기 수학식 3의 포물선 허프 변환을 적용하였다. 변환된 홍채 영역에서는 위와 아래에 존재하는 눈꺼풀이 둘로 나뉘어서 좌/우에 하나씩 위치하는 것이 일반적이므로, 좌/우 하나씩 두 개의 검색 범위를 산정한다. 도 8a에 나타낸 영상 내의 빨간 사각형은 포물선의 정점 좌표의 곡률을 산출하기 위해 포물선 허프 변환을 적용하는 검색 범위를 나타낸 것이다. 도 8b에 나타낸 바이너리 영상은, 변환된 홍채 영역에 수학식 3을 적용하여 검출해낸 눈꺼풀 영역을 나타낸 것이다.

s552 단계는 홍채 영역 변환부(14)에서 변환된 홍채 영역에서 해당 픽셀(x,y)의 명암값과, 상기 해당 픽셀(x,y)을 중심으로 인접하는 8개의 픽셀의 명암값들을 이용하여 국부표준편차(local standard deviation)를 구하고, 상기 국부표준편차와 명암값을 이용하여 상기 해당 픽셀(x,y)의 결합 특징값(combined feature value)을 추출한다. s552 단계는 속눈썹 영역을 검출하기 위한 첫 번째 단계이다.

홍채 영역에서 속눈썹 영역을 검출하기 하기 위해, 극좌표에서 표현되도록 n ×m 픽셀의 크기로 변환된 홍채 영역에서 속눈썹 영역의 명암값이 홍채 영역의 명암값보다 낮다는 특성과, 속눈썹 영역은 홍채 영역에 비해 그레이 레벨의 변화가 크다는 특성을 이용한다.

본 발명에서는 명암값을 0과 1사이의 값으로 정규화하여 사용하며, 국부표준편차도 0과 1 사이의 정규화한 값으로 사용한다.

먼저 해당 픽셀의 정규화된 명암값(

)을 구하고, 다음으로, 상기 해당 픽셀의 명암값과 인접하는 픽셀의 명암값을 이용하여 해당 픽셀의 국부표준편차를 구한다. 국부표준편차(

)를 구하는 식을 수학식 4에 나타내었다.

<수학식 4>

여기서

는 변환된 홍채 영역 전체 픽셀의 명암값의 평균을 나타낸다.

국부표준편차만을 이용해 속눈썹 영역과 홍채 영역을 분류하는 경우, 홍채 영역에서 상대적으로 그레이 레벨의 변화가 큰 부분을 속눈썹 영역으로 분류할 수 있다. 또한, 많은 수의 속눈썹이 겹치거나 다발로 이루어지는 다수의 속눈썹 영역은 상대적으로 그레이 레벨의 변화가 작기 때문에, 홍채 영역으로 분류될 수 있다.

이와 같이 속눈썹 영역이 홍채 영역으로 잘못 분류되는 경우를 차단하기 위해, 본 발명에서는 명암값과 국부표준편차를 결합하여 산출한 결합 특징값을 이용 하여 속눈썹 영역과 홍채 영역을 분류한다. 상기 결합 특징값은 상기 명암값의 1의 보수(complement)와 상기 국부표준편차를 각각 같은 중요도를 적용하여 합산한 값이다. 이를 수학식으로 나타내면 수학식 5와 같다.

<수학식 5>

s553 단계는 상기 추출된 결합 특징값을 이용하여 속눈썹 영역과 홍채 영역을 분류한다. s553 단계는 속눈썹 영역을 검출하기 위한 두 번째 단계이다. 도 9a는 속눈썹 영역을 검출하기 위한 임의의 홍채 영역을 나타낸 도면이고, 도 9b는 도 9a의 영상에서 추출된 결합 특징값의 히스토그램을 나타낸 도면이다.

도 9b를 참조하면, 상기 추출된 결합 특징값의 히스토그램은 두 개의 정점(peak point)을 가지는 특성을 보인다. 결합 특징값의 히스토그램에서 하나의 정점은 홍채 영역에 포함되고, 다른 하나의 정점은 속눈썹 영역에 포함된다.

상기 홍채 영역의 결합 특징값들의 평균값과 상기 속눈썹 영역의 결합 특징값들의 평균값을 이용해 산출되는 영역 분류 분산(region classified variance)이 최대가 되도록 하는 값을 임계값으로 정한다. 따라서, 상기 임계값은 두 정점 사이의 골짜기 부분에 위치하게 된다.

상기 영역 분류 분산은 상기 홍채 영역의 결합 특징값들의 평균값과 상기 속눈썹 영역의 결합 특징값들의 평균값을 이용해 산출되는 상기 홍채 영역과 상기 속눈썹 영역 사이의 분산을 의미한다. 상기 영역 분류 분산을 구하는 방법은 otsu 가 제안하는 방법을 응용한 것이다(N. Otsu, "A threshold selection method from gray-level histogram", IEEE Trans, on System Man Cybernetic, vol. SMC-9, no. 1, pp.62-66, 1979).

도 9b를 참조하면, 상기 임계값을 기준으로 왼쪽에 상대적으로 픽셀의 수가 많은 영역은 홍채 영역으로, 오른쪽의 픽셀의 수가 적은 영역은 속눈썹 영역으로 분류할 수 있다.

또한, 상기 임계값은 하나의 정점은 상기 홍채 영역에 다른 하나는 상기 속눈썹 영역에 포함되는 상기 결합 특징값의 히스토그램에서, 상기 홍채 영역의 결합 특징값들의 평균값과 상기 속눈썹 영역의 결합 특징값들의 평균값을 이용하여 산출되는 영역 분류 분산이 최대가 되도록 하면서, 상기 홍채 영역의 결합 특징값들의 분산과 상기 속눈썹 영역의 결합 특징값들의 분산을 이용하여 산출되는 상기 홍채 영역과 상기 속눈썹 영역 내의 분산이 최소가 되도록 하는 값으로 결정할 수 있다.

또한, 속눈썹 영역의 픽셀의 수가 적은 경우, 임계값에 의해 홍채 영역과 속눈썹 영역을 제대로 분류하지 못할 수 있다. 따라서, 본 발명에서는 속눈썹은 일반적으로 눈꺼풀에 연결되는 특성을 이용하여, 속눈썹 영역의 이웃 화소 중 하나 이상의 화소가 눈꺼풀 영역에 해당하면 이를 속눈썹 영역으로 결정한다.

그리고, 홍채 영역이지만 홍채 영역의 그레이 레벨의 변화가 크기 때문에 속눈썹 영역을 검출되는 영역을 제거하기 위해, 속눈썹 영역이 일정 개수(본 발명에서는 50개) 이하의 화소로 이루어지는 부분을 제거하여 속눈썹 영역을 결정할 수 있다.

또한 상기 두 가지 방법 이외에, 홍채 영역이 속눈썹 영역으로 검출되는 경우 및 속눈썹 영역이 홍채 영역으로 검출되는 경우에, 모폴로지(morphology) 연산의 팽창(dilation), 침식(erosion), 팽창 후 침식(closing), 침식 후 팽창(opening)을 이용하여 각각의 영역을 결정할 수 있다.

상기 결합 특징값을 이용하면, 영상 취득 조건에 영향을 받지 않고 속눈썹 영역과 홍채 영역을 분류할 수 있는 특징이 있다.

또한, 속눈썹 영역을 검출하기 위한 결합 특징값을 추출하는 단계(s552)와 속눈썹 영역을 분류하는 단계(s553)는 상기 눈꺼풀 영역을 검출하는 단계(s551)를 거쳐 검출된 눈꺼풀 영역을 제외한 나머지 부분에 적용하여 속눈썹 영역을 검출할 수 있다. 상기 결합 특징값을 추출하는 단계(s552)와 속눈썹 영역을 분류하는 단계(s553)를 거쳐 얻어지는 영상이 도 10a와 도 10b에 도시되어 있다.

도 10a는 극좌표에서 표현되도록 n×m 픽셀의 크기로 변환된 홍채 영역을 나타낸 영상이고, 도 10b는 도 10a의 영상으로부터 자동으로 임계값을 산출하고, 산출된 임계값을 기준으로 홍채 영역과 속눈썹 영역을 분류한 것을 바이너리 영상으로 나타낸 것으로, 까만 부분은 홍채 영역이고, 흰 부분은 속눈썹 영역이다.

도 11a는 극좌표에서 표현되도록 n×m 픽셀의 크기로 변환된 홍채 영역을 나타낸 영상의 다른 예이고, 노이즈 제거부(15)를 거쳐 눈꺼풀 영역과 속눈썹 영역을 검출해낸 바이너리 영상을 도시한 것이다.

도 11b에 도시된 눈꺼풀 영역과 속눈썹 영역의 검출결과는 상기 s551 단계를 거쳐 검출된 눈꺼풀 영역과, 상기 s552 단계와 s553 단계를 거쳐 검출된 속눈썹 영 역을 모두 제거하여 나타낸 바이너리 영상이다.

상기 검출된 눈꺼풀 영역과 속눈썹 영역을 합치는 방법으로는, 검출된 눈꺼풀 영역을 포함하는 바이너리 영상과, 검출된 속눈썹 영역을 포함하는 바이너리 영상을 OR 연산을 행하여 결합하는 방법이 이용될 수 있다.

홍채 패턴 특징값 추출부(16)는 노이즈 제거부(15)에서 눈꺼풀 영역과 속눈썹 영역이 제거된 홍채 영역에서 홍채 패턴의 특징값을 추출한다(s26).

홍채 패턴 특징값 매칭부(17)는 홍채 패턴 특징값 추출부(16)에서 추출된 홍채 패턴 특징값을, 저장되어 있는 홍채 패턴의 특징값과 비교하여 매칭하는 홍채 패턴이 있는지를 확인하여 홍채 영상을 인식한다(s27).

도 11은 본 발명에 본 발명에 따른 눈꺼풀 및 속눈썹 영역 검출 방법을 적용한 홍채 인식 시스템과 종래 기술의 방법을 적용한 홍채 인식 시스템의 성능을 비교한 그래프이다. 상기 그래프는 오인식률(잘못 인식하는 비율, false accept ratio(FAR))과, 오거절률(잘못 거절하는 비율, false reject ratio(FRR))의 관계를 나타내는 검출 에러 트레이드오프(detection error trade-off(DET)) 커브를 나타낸다.

도 11에 본 발명의 비교 대상이 되는 기존 기술은 다음과 같다.

입력 영상에서 홍채 영역이 포함된 후보영역을 서브블록으로 나눈 뒤 각 서브블록의 특징값을 구하고 특징값을 분류하여 눈꺼풀 및 속눈썹 영역을 검출하는 방법이 제안되어 있다(① A. K. Bachoo and J. R. Tapamo, "Texture detection for segmentation of iris images," in Proc. ACM Int. Conf. South African Institute of Computer Scientists and Information Technologists, pp.236~243, White River, South Africa, Sep. 2005).

이와 유사한 방법으로, 입력 영상에서 홍채 영역을 추출한 후, 직사각형으로 재샘플링한 영상에서 위아래 눈꺼풀 및 속눈썹의 후보영역을 8개의 서브블록으로 나누고 각 서브 블록의 최대편차를 기준으로 미리 정한 8개의 모델 중 하나를 선택하여 눈꺼풀 및 속눈썹을 추출하는 방법이 제안되어 있다(② G. Xu, Z. Zhang, and Y. Ma, "Improving the performance of iris recognition system using eyelids and eyelashes detection and iris image enhancement," in Proc. IEEE Int. Conf. Cognitive Informatics, pp.871~876, Beijing, China, July 2006).

엘.마섹(L. Masek)이 제안한 방법은, 선형 허프 변환(Linear Hough Transform)을 이용하여 눈꺼풀과 홍채 영역 간의 경계를 수평방향의 직선으로 구분하여 눈꺼풀 영역을 추출하고, 속눈썹의 그레이 레벨(gray level)이 홍채 영역의 그레이 레벨보다 작은 특성을 이용하여 속눈썹 영역을 검출하였다(③ L. Masek, "Recognition of human iris patterns for biometric identification," Technical Report, School of Computer Science and Software Engineering, University of Western Australia, 2003).

또한, 동공에 근접한 홍채 영역만을 사용함으로써 눈꺼풀에 의한 영향을 최소화하고, 속눈썹 영역을 검출하기 위해 밝기값의 기울기값을 이용하거나(④ D. Zhang, D. M. Monro, and S. Rakshit, "Eyelash removal method for human iris recognition," in Proc. IEEE Int. Conf. Image Processing, pp.285~288, Atlanta, GA, Oct. 2006), 에지정보를 이용하는 방법(⑤ J. Huang, Y. Wang, J. Cui, and T. Tan, "Noise removal and impainting model for iris image," in Proc. IEEE Int. Conf. Image Processing, pp.869~872, Singapore, Oct. 2004)이 제안되어 있다.

동공에 근접한 홍채 영역만을 사용함으로써 눈꺼풀에 의한 영향을 최소화하고, 속눈썹 영역을 검출하기 위해 밝기값의 기울기값을 이용하거나(④ D. Zhang, D. M. Monro, and S. Rakshit, "Eyelash removal method for human iris recognition," in Proc. IEEE Int. Conf. Image Processing, pp.285~288, Atlanta, GA, Oct. 2006), 에지정보를 이용하는 방법(⑤ J. Huang, Y. Wang, J. Cui, and T. Tan, "Noise removal and impainting model for iris image," in Proc. IEEE Int. Conf. Image Processing, pp.869~872, Singapore, Oct. 2004)이 제안되어 있다.

또 다른 기술의 예로 대한민국 등록특허 제10-0794361호 "홍채 인식 성능 향상을 위한 눈꺼풀 검출과 속눈썹 보간방법"(⑥)이 제안되어 있다. 대한민국 등록특허 제10-0794361호가 제안하는 방법은 포물선 허프 변환(Parabolic Hough Transform)을 이용하여 눈꺼풀 영역을 검출하고 초점값을 고려하여 속눈썹 영역을 검출하는 것으로, 위에서 설명한 다른 방법들에 비해 비교적 높은 정확성으로 눈꺼풀 및 속눈썹 영역을 검출하는 특징이 있다.

도 11의 ①과 ②는 서브블록을 이용하여 눈꺼풀 및 속눈썹 영역을 검출하는 것으로, 타 방법들보다 높은 검출 에러 트레이드오프를 나타낸다. ④와 ⑤의 방법은 동공에 근접한 홍채 영역만을 사용하는 방법으로 상기 ①과 ②의 방법보다는 낮은 검출 에러 트레이드오프를 나타내지만, ⑥의 방법에 비해서는 높다.

본 발명은 ⑥의 방법에 비해 적은 개수의 파라미터를 산출함으로써 연산량을 줄이고, 영상의 특성에 따라 자동으로 임계값을 정하도록 하여, ⑥의 방법보다 좋은 성능을 보인다.

한편, 상술한 본 발명의 실시예는 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명에 따른 비제한적 환경에서의 홍채 인식 시스템을 나타낸 블록도이다.

도 2는 본 발명에 따른 비제한적 환경에서의 홍채 인식의 단계를 나타낸 순서도이다.

도 3은 본 발명에 따른 비제한적 환경에서의 홍채 인식을 위한 홍채 영역을 분할하는 단계를 상세하게 나타낸 순서도이다.

도 4는 본 발명에 따른 비제한적 환경에서의 홍채 인식을 위한 홍채 경계를 검출하기 위한 1차원 필터의 예를 나타낸 도면이다.

도 5는 본 발명에 따른 비제한적 환경에서의 홍채 인식을 위한 홍채 영역 내의 노이즈를 제거하는 단계를 상세하게 나타낸 순서도이다.

도 6a는 본 발명에 따른 비제한적 환경에서의 홍채 인식을 위해 획득한 임의의 영상을 나타낸 도면이다.

도 6b는 도 6a의 영상의 에너지를 구한 영상을 나타낸 도면이다.

도 6c는 도 6b의 영상을 이용해 동공 경계를 검출한 영상을 나타낸 도면이다.

도 7은 본 발명에 따른 비제한적 환경에서의 홍채 인식을 위해 획득한 임의의 영상에서 동공 경계와 홍채 경계를 검출한 영상을 나타낸 도면이다.

도 8a는 본 발명에 따른 극좌표로 변환된 홍채 영역에서 눈꺼풀 영역을 검출하기 위한 임의의 영상을 나타낸 도면이다.

도 8b는 도 8a의 영상에서 눈꺼풀 영역을 검출한 영상을 나타낸 도면이다.

도 9a는 본 발명에 따른 속눈썹 영역을 검출하기 위한 임의의 홍채 영역을 나타낸 도면이다.

도 9b는 도 9a에 나타낸 영상의 히스토그램을 나타낸 도면이다.

도 10a는 본 발명에 따른 속눈썹 영역을 검출하기 위한 임의의 홍채 영역을 나타낸 도면이다.

도 10b는 도 10a에 나타낸 영상에서 속눈썹 영역을 검출한 영상을 나타낸 도면이다.

도 11a는 본 발명에 따른 극좌표로 변환된 홍채 영역에서 노이즈(눈꺼풀, 속눈썹)를 제거하기 위한 임의의 영상을 나타낸 도면이다.

도 11b는 도 11a의 영상에서 노이즈(눈꺼풀, 속눈썹)을 제거한 영상을 나타낸 도면이다.

도 12는 본 발명에 따른 극좌표로 변환한 홍채 영역에서 노이즈를 제거한 홍채 인식 시스템과 기존의 방법을 적용한 홍채 인식 시스템의 성능을 비교한 그래프를 나타낸 도면이다.

Claims (17)

1. 홍채 영역이 포함된 눈 영상으로부터 상기 홍채 영역을 분할하는 홍채 영역 분할부;

   상기 분할된 홍채 영역이 오프 앵글 상태이면 오프 앵글을 가지는 홍채 영역을 보정하는 오프 앵글 보정부;

   상기 분할된 홍채 영역 또는 상기 보정된 홍채 영역을 극좌표에서 표현되도록 변환하는 홍채 영역 변환부; 및

   상기 변환된 홍채 영역에서 노이즈인 눈꺼풀과 속눈썹을 제거하는 노이즈 제거부;를 포함하고,

   상기 홍채 영역 분할부는,

   상기 홍채 영역이 포함된 눈 영상으로부터 정방형 크기를 갖는 픽셀의 블록 단위로 에너지값을 계산하고, 상기 계산된 에너지값 중에서 최소 에너지를 가지는 블록을 시드(seed) 영역으로 설정하고, 상기 시드 영역을 성장시키고, 상기 성장된 시드 영역을 동공 영역으로 검출하고, 상기 동공 영역의 무게 중심을 탐색하고, 상기 탐색된 무게 중심을 이용하여 상기 홍채 영역을 검출하여 분할하는 것을 특징으로 하며,

   상기 시드 영역의 성장은,

   상기 시드 영역의 밝기값의 평균값과 시드 영역이 아닌 픽셀의 밝기값의 차이가 가장 작은 픽셀을 시드 영역으로 할당하여, 반복적으로 상기 시드 영역의 면적을 증가시키고, 상기 시드 영역의 밝기값의 평균값과 시드 영역이 아닌 픽셀의 밝기값의 차이가 임계값보다 크면 상기 시드 영역의 면적 증가를 종료하는 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 시스템.
2. 삭제
3. 제1항에 있어서,

   상기 오프 앵글 보정부는,

   상기 분할된 홍채 영역의 형상이 타원인 경우, 원근 투영(perspective projection) 방법을 이용하여 홍채 영역의 타원 형상을 원의 형상으로 투영하여 오프 앵글을 가지는 홍채 영역을 보정하는 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 시스템.
4. 제3항에 있어서,

   상기 노이즈 제거부는,

   상기 변환된 홍채 영역에서 포물선 형상을 가지는 눈꺼풀 영역을 검출하고, 상기 변환된 홍채 영역에서 픽셀의 명암값과 상기 픽셀과 주변 픽셀 사이의 국부표준편차를 이용하여 속눈썹 영역을 검출하는 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 시스템.
5. (a) 홍채 영역이 포함된 눈 영상으로부터 상기 홍채 영역을 분할하는 단계;

   (b) 상기 분할된 홍채 영역이 오프 앵글 상태이면 오프 앵글을 가지는 홍채 영역을 보정하는 단계;

   (c) 상기 (a) 단계에서 분할된 홍채 영역 또는 상기 (b) 단계에서 보정된 홍채 영역을 극좌표에서 표현되도록 변환하는 단계; 및

   (d) 상기 변환된 홍채 영역에서 노이즈인 눈꺼풀과 속눈썹을 제거하는 단계;를 포함하고,

   상기 (a) 단계는,

   (a1) 상기 눈 영상으로부터 정방형 크기를 갖는 픽셀의 블록 단위로 에너지값을 이용하여 동공 영역을 검출하고, 상기 검출된 동공 영역의 무게 중심을 탐색하는 단계; 및

   (a2) 상기 탐색된 무게 중심을 이용하여 상기 홍채 영역을 검출하여 분할하는 단계를 포함하는 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
6. 삭제
7. 제5항에 있어서,

   상기 (a1) 단계는,

   (a11) 상기 홍채 영역이 포함된 눈 영상으로부터 상기 정방형 크기를 갖는 픽셀의 블록 단위로 에너지값을 계산하는 단계;

   (a12) 상기 계산된 에너지값 중에서 최소 에너지값을 가지는 블록을 시드(seed) 영역으로 설정하는 단계;

   (a13) 상기 시드 영역을 성장시키는 단계;

   (a14) 상기 (a13) 단계의 시드 영역의 성장을 통해 생성된 영역을 동공 영역으로 검출하는 단계; 및

   (a15) 상기 검출된 동공 영역의 무게 중심을 탐색하는 단계;를 포함하고,

   상기 (a13) 단계는,

   상기 시드 영역의 밝기값의 평균값과 시드 영역이 아닌 픽셀의 밝기값의 차이가 가장 작은 픽셀을 시드 영역으로 할당하여, 반복적으로 상기 시드 영역의 면적을 증가시키고, 상기 시드 영역의 밝기값의 평균값과 시드 영역이 아닌 픽셀의 밝기값의 차이가 임계값보다 크면 상기 시드 영역의 면적 증가를 종료하는 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
8. 제5항에 있어서,

   상기 (a2) 단계는,

   상기 홍채 영역을 검출하기 위해 상기 무게 중심을 기준으로 1차원 필터를 회전시켜 상기 홍채 영역의 외곽의 경계를 검출하여, 상기 홍채 영역을 분할하는 단계인 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
9. 제5항에 있어서,

   상기 (b) 단계는,

   상기 분할된 홍채 영역의 형상이 타원인 경우, 원근 투영(perspective projection) 방법을 이용하여 상기 타원 형상을 원의 형상으로 투영하여 오프 앵글을 가지는 홍채 영역을 보정하는 단계인 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
10. 제9항에 있어서,

    상기 (d) 단계는,

    (d1) 상기 변환된 홍채 영역에서 포물선 형상을 가지는 눈꺼풀 영역을 검출하는 단계; 및

    (d2) 상기 변환된 홍채 영역에서 각 픽셀의 명암값과 상기 각 픽셀의 국부표준편차(local standard deviation)를 이용하여 속눈썹 영역을 검출하는 단계;를 포 함하는 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
11. 제10항에 있어서,

    상기 (d2) 단계는,

    (d21) 상기 변환된 홍채 영역의 각 픽셀의 명암값과 상기 각 픽셀의 명암값과 인접하는 픽셀들의 명암값을 이용하여 해당 픽셀의 국부표준편차를 이용하여 결합 특징값(combined feature value)을 추출하는 단계; 및

    (d22) 상기 추출된 결합 특징값의 임계값을 결정하여 속눈썹 영역과 홍채 영역을 분류하여 속눈썹 영역을 검출하는 단계;를 포함하는 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
12. 제11항에 있어서,

    상기 (d21) 단계에서,

    상기 결합 특징값을 추출하기 위한 상기 명암값과 상기 국부표준편차는 0과 1 사이의 값으로 정규화한 값을 사용하는 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
13. 제12항에 있어서,

    상기 결합 특징값은,

    상기 명암값의 1의 보수(complement)와 상기 국부표준편차를 각각 같은 중요 도를 적용하여 합산한 값인 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
14. 제11항에 있어서,

    상기 임계값은,

    하나의 정점은 상기 홍채 영역에 포함되고 다른 하나는 상기 속눈썹 영역에 포함되는 상기 결합 특징값의 히스토그램에서, 상기 홍채 영역의 결합 특징값들의 평균과 상기 속눈썹 영역의 결합 특징값들의 평균값을 이용해 산출되는 영역 분류 분산(region classified variance)이 최대가 되도록 하는 값인 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
15. 제11항에 있어서,

    상기 임계값은,

    하나의 정점은 상기 홍채 영역에 포함되고 다른 하나는 상기 속눈썹 영역에 포함되는 상기 결합 특징값의 히스토그램에서, 상기 홍채 영역의 결합 특징값들의 평균과 상기 속눈썹 영역의 결합 특징값들의 평균값을 이용해 산출되는 영역 분류 분산이 최대가 되도록 하면서,

    상기 홍채 영역의 결합 특징값들의 분산과 상기 속눈썹 영역의 결합 특징값들의 분산이 최소가 되도록 하는 값인 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
16. 제14항에 있어서,

    상기 (d22) 단계는,

    상기 속눈썹 영역의 이웃 픽셀 중 하나 이상의 픽셀이 상기 눈꺼풀 영역에 해당하면 이를 속눈썹 영역으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 비제한적 환경에서의 홍채 인식 방법.
17. 제5항, 제7항 내지 제16항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images