상기의 목적을 달성하기 위하여, 본 발명에 의한 3차원 위치정보를 이용한 안구위치 추정시스템은 서로 다른 위치에서 동일한 안구 영역을 촬영하는 2개의 영상입력장치; 상기 촬영된 2개의 영상을 구성하는 화소들의 위치정보를 소정의 관계함수로 연산하여 상기 2개의 영상 상에서 매칭시키는 매칭부; 소정 기준 이상의 영상수치를 가지는 화소영역을 반사잡음으로 판단하여 상기 2개의 영상으로부터 각각 추출하는 잡음추출부; 상기 2개의 영상으로부터 추출된 반사잡음의 위치정보를 상기 매칭부로 전달하여 반사잡음 매칭정보를 전달받고 매칭된 반사잡음과 매칭되지 않은 반사잡음을 선별하는 유효잡음선별부; 및 상기 매칭된 반사잡음을 동공의 반사잡음으로 판단하여 눈위치를 추정하는 위치추정부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 의한 3차원 위치정보를 이용한 안구위치 추정시스템의 상기 위치정보는 평행좌표정보, 수직좌표정보 및 거리정보를 포함하는 것을 특징으로 한다.
또한, 본 발명에 의한 3차원 위치정보를 이용한 안구위치 추정시스템의 상기 매칭부는 상기 2개의 영상입력장치에 의하여 사전에 촬영된 영상을 기초로 하여 상기 소정의 관계함수를 매칭 테이블로 구성하고, 상기 촬영된 2개의 영상을 구성하는 화소들을 상기 매칭 테이블에 의하여 매칭시키는 것을 특징으로 한다.
또한, 본 발명에 의한 3차원 위치정보를 이용한 안구위치 추정시스템은 상기 영상입력장치가 상기 안구 영역을 촬영함에 있어서, 소정의 조사각을 가지고 상기 안구영역을 비추는 조명장치를 더 구비하는 것을 특징으로 한다.
또한, 본 발명에 의한 3차원 위치정보를 이용한 안구위치 추정시스템의 상기 조명장치는 다수개로서 서로 다른 위치에서 순차적으로 작동되고, 상기 영상입력장치는 상기 조명장치가 순차적으로 작동될 때마다 동시에 상기 안구 영역을 촬영함으로써 2개의 영상이 세트를 이루어 상기 조명장치의 수만큼 영상 세트가 제공되며, 상기 매칭부, 잡음추출부 및 유효잡음선별부는 상기 세트를 이루는 2개의 영상 또는 상기 각 세트에서 하나씩 선택되어 조합된 2개의 영상을 처리하는 것을 특징으로 한다.
상기의 다른 목적을 달성하기 위하여, 본 발명에 의한 3차원 위치정보를 이용한 안구위치 추정방법은 서로 다른 위치의 2개의 영상입력장치를 통하여 동일한 안구 영역을 촬영하는 단계; 소정 기준 이상의 영상수치를 가지는 화소영역을 잡음으로 판단하여 상기 촬영된 2개의 화면상에서 각각 추출하는 단계; 상기 추출된 화소영역의 위치정보를 소정의 관계함수로 연산하여 상기 2개의 화면상에서 매칭시키는 단계; 및 상기 2개의 화면상에서 매칭된 화소영역을 유효잡음으로 선별하고, 매칭되지 않은 화소영역을 무효잡음으로 선별하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명에 의한 3차원 위치정보를 이용한 안구위치 추정방법은 상기 유효잡음으로 선별된 화소영역을 동공의 반사잡음 성분으로 판단하여 눈위치를 추정하는 단계를 더 구비하는 것을 특징으로 한다.
또한, 본 발명에 의한 3차원 위치정보를 이용한 안구위치 추정방법은 상기 추정된 눈위치에 맞추어 홍채인식을 위한 안구 영역을 촬영하는 단계를 더 구비하는 것을 특징으로 한다.
이하에서 첨부된 도면을 참조하여 본 발명의 실시예에 따른 3차원 위치정보를 이용한 안구위치 추정시스템 및 안구위치 추정방법에 대하여 상세히 설명한다.
도 1은 본 발명의 제1실시예에 따른 3차원 위치정보를 이용한 안구위치 추정시스템(100)의 구성요소를 개략적으로 도시한 블록도이다.
도 1에 의하면, 본 발명의 제1실시예에 따른 3차원 위치정보를 이용한 안구위치 추정시스템(100)은 제1영상입력장치(110a), 제2영상입력장치(110b), 제3영상입력장치(120), 제어부(130), 매칭부(150), 잡음추출부(160), 유효잡음선별부(170), 위치추정부(180) 및 저장수단(140)을 포함하여 구성된다.
보통, 홍채인식을 수행하기 전의 불필요한 연산 과정을 피하기 위하여 안구의 위치를 찾는 과정이 선행되는데, 상기 제1영상입력장치(110a)와 제2영상입력장치(110b)는 안구의 위치를 찾기 위한 영상입력장치이고, 상기 제3영상입력장치(120)는 위치가 파악된 안구에 촬영 영역을 맞추어 홍채인식용 영상을 촬영하는 영상입력장치이다.
즉, 상기 제1영상입력장치(110a)와 제2영상입력장치(110b)가 촬영한 영상이 분석되어 안구의 위치가 파악되면, 상기 제3영상입력장치(120)는 안구의 정확한 위치로 구동되어 홍채인식용 영상을 촬영하게 된다(제1영상입력장치(110a)와 제2영상입력장치(110b)는 고정된 상태로서 구동되지 않는다).
도 2는 본 발명의 실시예에 따른 영상입력장치들이 차례대로 배치되어 안구 영역을 촬영하는 형태를 예시적으로 도시한 도면이고, 도 3은 본 발명의 제1영상입력장치(110a) 및 제2영상입력장치(110b)의 촬영 영역 상에서 안구 영역이 표시되는 영역을 비교하여 도시한 도면이다.
도 2에 의하면, 제1영상입력장치(110a)와 제2영상입력장치(110b)는 서로 다른 위치에 고정되어 동일한 안구 영역(D)을 촬영하는데, 안구영역(D)은 두 영상입력장치의 화각(A, B) 중에서 중복되는 화각의 화면 영역(C)에 위치된다.
본 발명의 실시예에서, 상기 안구 영역은 사람의 두 눈을 모두 포함하는 것으로 한다.
일반적으로, 제1영상입력장치(110a)와 제2영상입력장치(110b)로는 넓은 화각(wide view)을 가지는 카메라가 사용되고, 제3영상입력장치(120)로는 좁은 화각(narrow view)을 가지는 카메라가 사용된다. 전술한 바와 같이, 좁은 화각을 가지는 제3영상입력장치(120)는 정확한 위치로 구동되어 안구 영역을 보다 정교하게 촬영하게 된다.
도 3에 의하면, 각 영상입력장치가 촬영한 화면에서 안구 영역이 서로 상이한 곳에 위치하고 있음을 알 수 있는데, 이는 각 영상입력장치가 가지는 화각의 크기, 안구영역과의 거리, 렌즈 광축의 각도, 영상입력장치 간 거리 등의 위치 요인에 따라 달라진다.
상기 매칭부(150)는 촬영된 2개의 영상을 구성하는 화소들의 위치정보를 소정의 관계함수로 연산하여 상기 2개의 영상 상에서 매칭시키는 기능을 수행한다.
전술한 바와 같이, 상기 제1영상입력장치(110a)와 제2영상입력장치(110b)가 고정되고 화각의 크기, 렌즈 광축의 각도, 영상입력장치 간 거리 등의 위치요인도 고정된 수치를 가지므로, 각 영상입력장치에 의하여 사전에 촬영된 영상을 기초로 하여(트레이닝 단계를 거쳐) 상기 소정의 관계함수를 매칭 테이블로 구성할 수 있다.
즉, 홍채인식을 위하여 안구영역이 매번 상이한 위치에 있게 되더라도 상기 매칭부(150)는 촬영된 2개의 영상을 구성하는 화소들을 매칭 테이블에 의하여 매칭시킬 수 있다. 이는, 어느 하나의 영상입력장치에 의하여 촬영된 안구영역이 다른 영상입력장치의 촬영 화면 상에서 어느 곳에 위치될 지를 예측할 수 있음을 의미한다.
상기 관계함수는 다음과 같은 수학식(함수식)으로 표현될 수 있다.
f(PR, PL) = {Pan, Tilt, Focus}
상기 수학식에서 "Pan"은 평행좌표정보, "Tilt"는 수직좌표정보, "Focus"는 거리정보를 의미하고, "PL" 및 "PR"은 왼쪽 영상(도 3의 (a))과 오른쪽 영상(도 3의 (b)) 상의 3차원 좌표정보를 의미한다.
도 4는 본 발명의 제1영상입력장치(110a) 및 제2영상입력장치(110b)가 촬영한 각각의 안구 영상을 비교도시한 도면이다.
도 4와 같이, 홍채인식을 위하여 안구 영역을 촬영하면 빛의 반사에 의하여 다양한 잡음 성분(specular)(a1~a7, b1~b6)이 발생되는데, 동공에 의한 반사잡음(a1~a7)은 다양한 촬영 환경상에서도 일정한 크기로 일률적으로 발생된다.
반면, 안경과 같은 다른 요인에 의하여 발생되는 반사잡음(b1~b6)은 촬영 환 경에 따라 크기 및 위치가 상이하게 된다.
본 발명에 의한 3차원 위치정보를 이용한 안구위치 추정시스템(100)은 이러한 동공의 반사잡음(a1~a7)이 가지는 특성을 이용하여 안구의 위치를 추정하는 것으로서, 상기 제1영상입력장치(110a)와 제2영상입력장치(110b)가 촬영한 각각의 영상에서 동일한 위치에서 검출되는 반사잡음을 동공의 반사잡음(a1~a7)으로 판단하여 안구의 위치를 추정하게 된다.
그러나, 상기 제1영상입력장치(110a)와 제2영상입력장치(110b)가 촬영한 각각의 영상에서 상이한 위치에서 검출되는 반사잡음(b1~b6)은 무효한 성분으로 판단되어 눈 위치 추정 후보에서 제외된다.
한편, 상기 잡음추출부(160)는 제1영상입력장치(110a) 및 제2영상입력장치(110b)가 촬영한 영상을 각각 스캔하여 기 설정 값 이상의 영상수치를 가지는 화소영역을 추출한다.
빛의 반사에 따른 잡음 성분은 다른 화면 영역의 영상수치(가령, 높은 광도와 흰색 성분 등을 들 수 있다)와 차별화되므로 이러한 차별화된 특성을 이용하면 잡음성분의 화소영역을 추출할 수 있다.
상기 잡음추출부(160)에 의하여 잡음 성분이 2개의 영상으로부터 각각 추출되면, 상기 유효잡음선별부(170)는 상기 반사잡음들의 위치정보를 상기 매칭부(150)로 전달한다.
상기 매칭부(150)는 전달된 반사잡음들을 제1영상입력장치(110a)와 제2영상입력장치(110b)의 촬영화면상에서 매칭시켜 매칭정보를 생성하는데, 즉 제1영상입 력장치(110a)의 촬영화면 상에서 나타난 반사잡음이 제2영상입력장치(110b)의 촬영화면 상에서 나타날 것으로 간주하고 그 위치를 추정한다.
상기 매칭부(150)는 추정된 위치에서 실제 반사잡음이 검출되면 해당 반사잡음이 매칭되었다고 판단하고, 추정된 위치에서 실제 반사잡음이 검출되지 않으면 해당 반사잡음이 매칭되지 않았다고 판단한다.
역으로, 상기 매칭부(150)는 제2영상입력장치(110b)의 촬영화면 상에서 나타난 반사잡음이 제1영상입력장치(110a)의 촬영화면 상에서 나타날 것으로 간주하고 그 위치를 추정한다. 상기 매칭부(150)는 전술한 과정을 수행하여 해당 반사잡음의 매칭 여부를 판단한다.
상기 유효잡음선별부(170)는 매칭부(150)로부터 반사잡음들의 매칭정보를 전달받아 매칭된 반사잡음은 눈위치 추정의 유효한 후보로 인식하고, 매칭되지 않은 반사잡음은 눈위치 추정의 후보에서 제외시킨다.
즉, 상기 유효잡음선별부(170)는 매칭된 반사잡음을 동공의 반사잡음으로 인식하여 눈의 대응쌍을 찾는 것이다.
상기 위치추정부(180)는 눈(동공)의 대응쌍이 찾아짐에 따라 눈위치를 추정하고 추정된 눈위치 정보를 제3영상입력장치(120)로 전달한다.
상기 제3영상입력장치(120)는 눈위치 정보에 따라 구동되고, 홍채인식용 영상을 촬영한다. 제3영상입력장치(120)가 촬영한 영상이 처리되어 인증을 위한 홍채인식이 이루어지는데, 본 발명은 홍채인식 전에 눈위치를 찾는 전처리 과정으로서, 홍채인식과 관련된 기능에 대해서는 상세한 설명을 생략하기로 한다.
상기 제어부(130)는 인에이블신호를 송출하여 전술한 각 구성부들을 순차적으로 기능시키고, 저장수단(140)에 촬영된 영상데이터, 매칭 테이블, 매칭 정보 등의 데이터를 저장하여 관리한다.
이하에서, 본 발명의 제2실시예에 따른 안구위치 추정시스템에 대하여 설명하는데, 도 6을 참조하여 본 발명의 실시예에 따른 안구위치 추정 방법을 함께 언급하기로 한다.
도 5는 본 발명의 제2실시예에 따른 3차원 위치정보를 이용한 안구위치 추정시스템(200)의 구성요소를 개략적으로 도시한 블록도이고, 도 6은 본 발명의 실시예에 따른 3차원 위치정보를 이용한 안구위치 추정 방법을 도시한 흐름도이다.
도 5에 의하면, 본 발명의 제2실시예에 따른 3차원 위치정보를 이용한 안구위치 추정시스템(200)은 제1조명장치(210a), 제2조명장치(210b), 제1영상입력장치(220a), 제2영상입력장치(220b), 제3영상입력장치(230), 제어부(240), 저장수단(290), 매칭부(250), 잡음추출부(260), 유효잡음선별부(270) 및 위치추정부(280)를 포함하여 구성된다.
본 발명의 제2실시예에 따른 안구위치 추정시스템(200)이 전술한 제1실시예와 다른 점은, 제1실시예가 2개의 영상을 촬영하여 안구위치를 찾은 것에 비하여 제2실시예는 조명장치가 다수개로 구비되고 보다 많은 영상을 촬영하여 다양하게 비교함으로써 안구 위치의 검출률을 향상시킨 점에 있다.
상기 조명장치는, 상기 영상입력장치가 상기 안구 영역을 촬영할 때에 소정의 조사각으로 상기 안구영역을 비추는 기능을 수행하는데, LED(Light Emitting Diode)를 이용한 조명장치가 사용되는 것이 바람직하다.
또한, 상기 조명장치는 다수개로서 그 수에는 제한이 없으나, 본 발명의 제2실시예에서는 두개로 구비되고, 제1조명장치(210a)는 오른쪽에 설치되며, 제2조명장치(210b)는 왼쪽에 설치된 것으로 한다.
상기 제1조명장치(210a)와 제2조명장치(210b)는 다수개의 영상을 획득하기 위하여 순차적으로 작동되는데, 안구 영역이 이동되지 않도록 미세한 시간 차이를 두고 작동되는 것이 바람직하다. 즉, 안구 위치를 찾기 위하여 수행되는 영상처리는 정교한 신호처리과정으로서 안구 영역이 흔들리는 등의 위치 이동이 발생된다면 그 효과가 감소할 것이다.
참고로, 상기 제1조명장치(210a)와 제2조명장치(210b)는 수십 마이크로 세컨드(약 40 마이크로 세컨드 내외)의 시간 차이를 두고 순차적으로 작동되는 경우에 높은 안구위치 검출률을 보였다.
제1실시예와 같이, 상기 제1영상입력장치(220a)와 제2영상입력장치(220b)는 안구의 위치를 찾기 위한 영상입력장치이고, 상기 제3영상입력장치(230)는 위치가 파악된 안구에 촬영 영역을 맞추어 홍채인식용 영상을 촬영하는 영상입력장치이다.
상기 제1영상입력장치(220a)와 제2영상입력장치(220b)는 상기 제1조명장치(210a)와 제2조명장치(210b)가 순차적으로 작동될 때마다 동시에 안구 영역을 촬영함으로써 총 4개의 영상을 획득한다(S100).
따라서, 4개의 영상에는 반사잡음이 보다 다양하게 나타나게 되고, 4개의 영상에 나타난 반사잡음들을 조합하여 비교함으로써 동공의 반사잡음 검출률을 높일 수 있다.
전술한 제1실시예에서, 보통 상대적으로 크게 발생되는 무효 반사잡음이 동공의 반사잡음 영역에 나타나 동공의 반사잡음을 가리는 현상이 발생되었다면, 정확한 눈위치 추정이 어려워진다. 이러한 현상이 어느 하나의 영상에서 발생되어도 동공의 대응쌍을 찾기 어려우므로 정확한 눈위치 추정이 불가능해진다.
그러나, 본 발명의 제2실시예에서는 조명 장치를 좌우로 분리하고 조명장치별로 촬영을 실시함으로써, 무효한 반사잡음에 의하여 가리워지지 않은 동공의 반사잡음 쌍이 존재할 확률이 높아진다.
상기 잡음추출부(260)는 제1영상입력장치(220a) 및 제2영상입력장치(220b)가 촬영한 4개의 영상을 각각 스캔하여 반사잡음에 해당되는 화소영역을 추출한다(S110).
상기 잡음추출부(260)에 의하여 잡음 성분이 4개의 영상으로부터 각각 추출되면, 상기 유효잡음선별부(270)는 상기 반사잡음들의 위치정보를 상기 매칭부(250)로 전달한다.
상기 매칭부(250)는 전달된 반사잡음들을 4개의 전체 촬영화면상에서 매칭시켜 매칭정보를 생성하는데(S120), 매칭정보를 생성하는 과정은 전술한 제1실시예와 동일하므로 자세한 설명은 생략하기로 한다.
도 7은 본 발명의 제2실시예에 따른 3차원 위치정보를 이용한 안구위치 추정시스템(200)이 4개의 촬영화면상에서 반사잡음 성분을 비교하는 형태를 예시한 도면이다.
도 7에 의하면, 제1조명장치(210a)가 작동되는 경우에 제1영상입력장치(220a)가 촬영한 영상(이하에서, 이를 "제1-1 영상"이라 하면, 가령, 제2조명장치(210b)가 작동되는 경우에 제2영상입력장치(220b)가 촬영한 영상은 "제2-2 영상"으로 지칭될 것이다)(E1)은 제1-2 영상(E2) 및 제2-2 영상(E4)과 비교되고, 제1-2 영상(E2)은 제1-1 영상(E1) 및 제2-1 영상(E3)과 비교된다.
마찬가지로, 제2-1 영상(E3)은 제2-2 영상(E4) 및 제1-2 영상(E2)과 비교되고, 제2-2 영상(E4)은 제2-1 영상(E3) 및 제1-1 영상(E1)과 비교된다.
즉, 4개의 영상을 조합하여 비교함으로써 총 8개의 비교쌍이 생성되는데, 여기서, 제1-1 영상(E1) 및 제2-1 영상(E3), 그리고 제1-2 영상(E2) 및 제2-2 영상(E4)이 비교되지 않는 이유는 비록 다른 조명장치 아래 촬영되었더라도 동일한 영상입력장치에 의하여 촬영되었다면 동일한 동공이 촬영되었을 것이므로(무효 잡음 성분을 눈 위치 후보에서 제외시키는 것이 목적이므로) 비교쌍에서 제외시키는 것이다.
이와같은 과정을 통하여 상기 매칭부(250)는 반사잡음간에 다양한 매칭정보를 생성하고, 상기 유효잡음선별부(270)는 매칭부(250)로부터 반사잡음들의 매칭정보를 전달받는다.
상기 유효잡음선별부(270)는 매칭된 반사잡음은 눈위치 추정의 유효한 후보로 인식하고, 매칭되지 않은 반사잡음은 눈위치 추정의 후보에서 제외시킨다(S130).
따라서, 무효잡음들을 눈위치 추정의 후보에서 제외시키더라도 무효잡음들에 의하여 가리워지지 않은 동공의 반사잡음 대응쌍을 후보에 남겨둘 수 있는 확률이 높아진다.
상기 위치추정부(280)는 동공의 대응쌍이 찾아짐에 따라 눈위치를 추정하고 추정된 눈위치 정보를 제3영상입력장치(230)로 전달한다(S140).
최종적으로, 상기 제3영상입력장치(230)는 눈위치 정보에 따라 구동되고, 홍채인식용 영상을 촬영한다(S150).
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 본 발명의 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.