KR101745140B1

KR101745140B1 - 시선 추적 장치 및 방법

Info

Publication number: KR101745140B1
Application number: KR1020150133308A
Authority: KR
Inventors: 김선아
Original assignee: 현대자동차주식회사
Priority date: 2015-09-21
Filing date: 2015-09-21
Publication date: 2017-06-08
Also published as: US9813597B2; DE102015223891A1; CN106547341A; US20170083746A1; CN106547341B; KR20170034681A

Abstract

본 발명은 시선 추적 장치 및 방법에 관한 것으로, 본 발명에 따른 시선 추적 장치는 둘 이상의 카메라와 둘 이상의 조명을 이용하여 사용자의 눈 영상들을 획득하는 영상 취득부, 및 각 눈 영상에서 조명반사점을 검출하여 각막 중심점을 추출하고 상기 각 눈 영상으로부터 동공 중심점을 검출하며 각막 중심점과 동공 중심점을 이용하여 시선벡터를 산출하는 시선 산출부를 포함하되, 상기 시선 산출부는 상기 각 눈 영상에서 둘 이상의 조명반사점이 검출되는 경우, 각 조명과 그에 대응하는 조명반사점을 각각 연결하는 벡터들을 산출하고 그 산출된 벡터들이 만나는 교점을 각막 중심점으로 검출하고, 상기 눈 영상들 중 어느 하나 이상의 눈 영상에서 하나의 조명반사점만이 검출되는 경우, 기저장된 조명반사점과 각막 중심점 간의 거리 정보와 상기 하나의 조명반사점을 이용하여 상기 각막 중심점을 추출한다.

Description

시선 추적 장치 및 방법{GAZE TRACKER AND METHOD FOR TRACKING GRAZE THEREOF}

본 발명은 시선 추적 장치 및 방법에 관한 것으로, 더욱 상세하게는 스테레오 카메라를 이용한 시선 추적 시 하나의 조명반사점만 검출되는 경우에도 사용자의 시선을 추적할 수 있게 하는 시선 추적 장치 및 방법에 관한 것이다.

시선추적은 운전자의 상태 감시, 의도 파악 및 시선 연동 차량 내의 기기 작동 등 다양한 분야에 적용되고 있다. 최근에는 운전자의 주의 분산을 감시하는데 적용되고 있다.

이러한 시선 추적 장치는 스테레오 카메라를 이용하여 눈 영상을 촬영하고 그 촬영한 눈 영상에서 2개의 조명반사점을 검출한다. 그리고, 시선 추적 장치는 검출한 2개의 조명반사점을 이용하여 각막의 중점을 산출하고, 그 산출한 각막의 중점과 동공 중심점을 이용하여 사용자의 시선방향을 산출한다.

그러나, 종래의 시선 추적 장치는 홍채 안에 2개의 조명반사점이 생기는 경우에만 시선추적이 가능하므로, 얼굴 각도에 의해서 홍채에 하나의 조명반사점만 생기는 경우 시선을 추적할 수 없어 시선추적범위가 매우 협소하게 제한되는 문제점이 있다.

KR1020140126419A

본 발명은 이상과 같은 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 2개의 카메라와 2개의 조명을 구비하는 스테레오 카메라를 이용한 시선 추적 시 하나의 조명반사점만이 각막에 맺히는 경우에도 사용자의 시선을 추적할 수 있게 하는 시선 추적 장치 및 방법을 제공하고자 한다.

상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 둘 이상의 카메라와 둘 이상의 조명을 이용하여 사용자의 눈 영상들을 획득하는 영상 취득부, 및 각 눈 영상에서 조명반사점을 검출하여 각막 중심점을 추출하고 상기 각 눈 영상으로부터 동공 중심점을 검출하며 각막 중심점과 동공 중심점을 이용하여 시선벡터를 산출하는 시선 산출부를 포함하되, 상기 시선 산출부는 상기 각 눈 영상에서 둘 이상의 조명반사점이 검출되는 경우, 각 조명과 그에 대응하는 조명반사점을 각각 연결하는 벡터들을 산출하고 그 산출된 벡터들이 만나는 교점을 각막 중심점으로 검출하고, 상기 눈 영상들 중 어느 하나 이상의 눈 영상에서 하나의 조명반사점만이 검출되는 경우, 기저장된 조명반사점과 각막 중심점 간의 거리 정보와 상기 하나의 조명반사점을 이용하여 상기 각막 중심점을 추출하는 것을 특징으로 한다.

상기 시선 산출부는 상기 각막 중심점으로부터 상기 둘 이상의 조명반사점까지의 거리를 각각 산출하고 산출된 거리 정보를 누적하여 저장하는 것을 특징으로 한다.

상기 시선 산출부는 상기 조명반사점 및 상기 동공 중심점의 2차원 좌표를 3차원 좌표로 변환하는 것을 특징으로 한다.

상기 시선 산출부는 얼굴방향벡터를 이용하여 상기 하나의 조명반사점이 상기 둘 이상의 조명 중 어느 조명에 의해 각막에 맺힌 조명반사점인지를 판정하는 것을 특징으로 한다.

상기 시선 산출부는 상기 눈 영상들 중 둘 이상의 조명반사점이 검출된 눈 영상과 하나의 조명 반사점이 검출된 눈 영상 내 조명반사점들간의 유사도를 연산하여 상기 하나의 조명반사점이 어느 조명에 의해 각막에 맺힌 조명반사점인지를 판정하는 것을 특징으로 한다.

상기 시선 산출부는 상기 하나의 조명반사점과 판정된 조명을 연결하는 벡터를 산출하고, 산출한 벡터와 상기 거리정보를 이용하여 각막 중심점을 추출하는 것을 특징으로 한다.

상기 거리 정보는 기저장된 각막 중심점으로부터 조명반사점까지의 거리정보 중 최근 일정 기간의 거리정보에 대한 평균거리를 산출하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 둘 이상의 카메라와 둘 이상의 조명을 구비한 시선 추적 장치의 시선 추적 방법에 있어서, 상기 둘 이상의 카메라를 통해 사용자의 눈 영상을 각각 획득하는 단계, 상기 각각의 눈 영상에서 조명반사점을 검출하는 단계, 상기 각각의 눈 영상에서 둘 이상의 조명반사점이 검출되면, 각 조명과 그에 대응하는 조명반사점을 각각 연결하는 벡터들을 산출하고 그 산출된 벡터들이 만나는 교점을 각막 중심점으로 검출하는 단계, 상기 눈 영상들 중 어느 하나 이상의 눈 영상에서 하나의 조명반사점만이 검출되면, 기저장된 조명반사점과 각막 중심점 간의 거리 정보와 상기 하나의 조명반사점을 이용하여 상기 각막 중심점을 검출하는 단계, 상기 각막 중심점이 검출되면 상기 눈 영상으로부터 동공 중심점을 추출하는 단계, 및 상기 각막 중심점과 상기 동공 중심점을 이용하여 시선벡터를 산출하는 단계를 포함하는 것을 특징으로 한다.

상기 조명반사점을 검출하는 단계에서, 상기 검출한 조명반사점의 2차원 좌표를 3차원 좌표로 변환하는 것을 특징으로 한다.

상기 벡터들이 만나는 교점을 각막 중심점으로 검출하는 단계에서, 상기 각막 중심점으로부터 상기 둘 이상의 조명반사점까지의 거리를 각각 산출하고, 산출된 거리 정보를 누적하여 저장하는 것을 특징으로 한다.

상기 하나의 조명반사점을 이용한 각막 중심점 검출 단계는, 상기 하나의 조명반사점에 대응하는 조명을 결정하는 단계, 상기 하나의 조명반사점과 결정된 조명을 연결하는 제1벡터를 산출하는 단계, 및 상기 제1벡터와 상기 거리정보를 이용하여 각막 중심점을 추출하는 단계를 포함하는 것을 특징으로 한다.

상기 하나의 조명반사점에 대응하는 조명 결정 단계는, 얼굴방향벡터를 이용하여 상기 하나의 조명반사점이 상기 둘 이상의 조명 중 어느 조명에 의해 각막에 맺히는 조명반사점인지를 판정하는 것을 특징으로 한다.

상기 하나의 조명반사점에 대응하는 조명 결정 단계는, 둘 이상의 조명반사점이 검출된 눈 영상과 하나의 조명 반사점이 검출된 눈 영상 내 조명반사점들간의 유사도를 연산하여 상기 하나의 조명반사점이 어느 조명에 의해 각막에 맺힌 조명반사점인지를 판정하는 것을 특징으로 한다.

본 발명에 따르면, 2개의 카메라와 2개의 조명을 구비하는 스테레오 카메라를 이용하여 사용자의 시선을 추적할 때 하나의 조명반사점만이 각막에 맺히는 경우에도 하나의 조명반사점만을 이용하여 사용자의 시선을 추적할 수 있다. 따라서, 시선 추적 장치의 시선추적 가능 범위가 확대될 수 있다..

도 1은 본 발명의 일 실시예에 따른 시선 추적 장치의 블록구성도.
도 2는 본 발명과 관련된 각막 중심점 추출을 설명하기 위한 도면.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 시선 추적 방법을 도시한 흐름도.

이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

본 발명의 시선 추적 장치는 둘 이상의 카메라와 둘 이상의 조명을 포함할 수 있으나, 설명의 이해를 돕고자 2개의 카메라와 2개의 조명을 포함하는 경우를 예로 들어 설명한다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 장치의 블록구성도를 도시한다.

도 1에 도시된 바와 같이, 시선 추적 장치는 영상 획득부(110)와 시선 산출부(120)를 포함한다.

영상 획득부(110)는 스테레오 카메라로, 사용자의 좌측 및 우측 눈 영상을 각각 획득한다. 영상 획득부(110)는 제1카메라(111), 제2카메라(113), 제1조명(115), 제2조명(117)을 포함한다.

제1카메라(111) 및 제2카메라(113)는 동일한 피사체(사용자의 눈)를 서로 다른 위치에서 동시에 촬영한다. 다시 말해서, 영상 획득부(110)는 사용자의 왼쪽 눈과 오른쪽 눈에 대해 각각 2개의 눈 영상을 획득한다. 제1카메라(111) 및 제2카메라(113)를 통해 영상을 촬영할 때 제1조명(115) 및 제2조명(117)은 각각 사용자의 눈을 향해 적외선을 조사한다.

이러한 제1카메라(111)와 제2카메라(113)는 적외선 필터를 구비한 적외선 카메라로 구현될 수 있다. 그리고, 제1조명(115)과 제2조명(117)은 적외선을 조사하는 램프 또는 발광소자(Light Emitting Diode, LED) 등으로 구현될 수 있다.

본 실시예에서는 영상 획득부(110)가 사용자의 눈을 촬영하는 것을 개시하고 있으나, 이에 한정되지 않고 사용자의 얼굴을 촬영하고 영상 처리기를 통해 촬영한 얼굴 영상에서 눈 영역을 추출하도록 구현될 수도 있다.

시선 산출부(120)는 영상 획득부(110)를 통해 획득한 눈 영상들로부터 사용자의 시선을 산출한다. 이러한 시선 산출부(120)는 조명반사점 검출모듈(121), 각막 중심점 추출모듈(123), 동공 중심점 추출모듈(125), 시선 산출모듈(127)을 포함한다.

조명반사점 검출모듈(121)은 제1카메라(111) 및 제2카메라(113)를 통해 촬영한 각각의 눈 영상에서 제1조명(115) 및/또는 제2조명(117)에 의해 발생되는 조명반사점을 검출한다. 다시 말해서, 조명반사점 검출모듈(121)은 제1카메라(111)에 의해 촬영된 눈 영상에서 제1조명(115) 및/또는 제2조명(117)에 의한 조명반사점을 검출한다. 그리고, 조명반사점 검출모듈(121)은 제2카메라(113)에 의해 촬영된 눈 영상에서 제1조명(115) 및/또는 제2조명(117)에 의한 조명반사점을 검출한다.

조명반사점 검출모듈(121)은 삼각측량법 등과 같은 3차원 복원 기술을 이용하여 검출된 조명반사점들의 2차원 좌표를 3차원(3D) 좌표로 변환한다. 예를 들어, 제1카메라(111) 및 제2카메라(113)에 의해 촬영된 제1눈 영상 및 제2눈 영상에서 각각 제1조명(115)에 의한 제1조명반사점의 좌표를 추출하고 제1눈 영상에서 추출된 제1조명반사점의 좌표와 제2눈 영상에서 추출된 제1조명반사점의 좌표를 이용하여 제1조명반사점의 3차원 좌표를 연산한다.

또한, 조명반사점 검출모듈(121)은 고주파 필터를 이용하여 조명반사점을 검출할 수도 있다.

도 2를 참조하면, 제1조명(115) 및 제2조명(117)의 실제위치좌표가 각각 L₁ 및 L₂인 경우, 조명반사점 검출모듈(121)은 제1조명(115) 및 제2조명(117)에 의해 각막에 맺히는 제1조명반사점 및 제2조명반사점의 3차원 좌표 L₁' 및 L₂'를 산출한다.

각막 중심점 추출모듈(123)은 검출된 조명반사점(제1조명반사점 및/또는 제2조명반사점)과 그에 대응하는 조명(115 및/또는 117)의 위치 좌표를 이용하여 각막(cornea) 중심점을 산출한다. 다시 말해서, 각막 중심점 추출모듈(123)은 제1조명반사점의 3차원 좌표 L₁'와 제1조명(115)의 실제위치좌표 L₁를 연결하는 제1벡터(직선 D3)를 산출한다. 그리고, 각막 중심점 추출모듈(123)은 제2조명반사점의 3차원 좌표 L₂'와 제2조명(117)의 실제위치좌표 L₂를 연결하는 제2벡터(직선 D4)를 산출한다. 각막 중심점 추출모듈(123)은 제1벡터와 제2벡터의 교점을 각막 중심점 O으로 추출한다.

각막 중심점 추출모듈(123)은 각막 중심점 O를 추출한 후 각막 중심점 0로부터 제1조명반사점 L₁' 및 제2조명반사점 L₂'까지의 거리 D1 및 D2를 각각 산출한다. 그리고, 각막 중심점 추출모듈(123)은 산출한 거리 정보를 저장수단(미도시)에 누적하여 저장한다. 여기서, 거리 정보는 다음 [표 1]과 같은 테이블 형태로 저장될 수 있다.

프레임 #	오른쪽 눈영상		왼쪽 눈영상
프레임 #	D1	D2	D1	D2
프레임 1	22㎜	21㎜	20㎜	17㎜
프레임 2	25㎜	25㎜	22㎜	24㎜
. . .	. . .	. . .	. . .	. . .

각막 중심점 추출모듈(123)은 하나의 조명반사점이 검출되면 저장수단(미도시)에 기저장된 이전 눈영상들에서 검출된 제1조명반사점과 각막 중심점 간의 거리정보 중 최근 일정 기간의 거리정보에 대한 평균거리를 산출한다. 예컨대, 각막 중심점 추출모듈(123)은 최근 5 프레임에서 검출된 제1조명반사점과 각막 중심점 간의 거리들에 대한 평균을 연산한다.

또한, 각막 중심점 추출모듈(123)은 저장수단(미도시)에 기저장된 이전 눈영상들에서 검출된 제2조명반사점과 각막 중심점 간의 거리정보 중 최근 일정 기간의 거리정보에 대한 평균거리를 산출한다.

본 실시예에서는 기저장된 거리정보 중 최근 일정 기간의 거리정보에 대한 평균거리를 산출하여 이용하는 것을 예로 들어 설명하고 있으나, 이에 한정되지 않으며, 기저장된 거리 정보 중 가장 최근 거리정보 등을 사용할 수도 있다.

각막 중심점 추출모듈(123)은 조명반사점 검출모듈(121)에 의해 하나의 조명반사점만 검출된 경우, 검출된 조명반사점이 제1조명(115) 및 제2조명(117) 중 어느 조명에 의해 각막에 맺힌 조명반사점인지를 확인한다.

이때, 각막 중심점 추출모듈(123)은 얼굴방향벡터를 이용하여 검출된 조명반사점이 제1조명(115)에 의해 각막에 맺힌 제1조명반사점인지 또는 제2조명(117)에 의해 각막에 맺힌 제2조명반사점인지를 판정한다. 상기 얼굴방향벡터는 영상 획득부(110)를 통해 획득한 사용자의 얼굴 영상으로부터 산출된다.

한편, 각막 중심점 추출모듈(123)는 둘 이상의 조명반사점이 검출된 눈 영상과 하나의 조명 반사점이 검출된 눈 영상 내 조명반사점들간의 유사도를 연산하여 검출된 하나의 조명반사점이 제1조명(115) 및 제2조명(117) 중 어느 조명에 의해 각막에 맺힌 조명반사점인지를 판정한다.

예컨대, 2개의 조명반사점이 검출된 눈 영상에서 제1조명반사점이 동공 중심점으로부터 왼쪽으로 3픽셀 떨어진 곳에 위치하고, 제2조명반사점이 동공 중심점으로부터 오른쪽으로 3픽셀 떨어진 지점에 위치하는 경우, 검출된 한 개의 조명반사점과 동공 중심점 간의 거리를 산출하고, 그 산출된 거리에 근거하여 검출된 하나의 조명반사점이 동공 중심점을 기준으로 왼쪽에 위치하는지 오른쪽에 위치하는지를 판단한다.

각막 중심점 추출모듈(123)은 검출된 조명반사점이 제1조명반사점이면 제1조명반사점과 제1조명(115)을 연결하는 제3벡터를 산출한다. 그리고, 각막 중심점 추출모듈(123)은 제3벡터와 상기 제1조명반사점과 각막 중심점 간의 평균거리를 이용하여 각막 중심점을 산출한다.

한편, 각막 중심점 추출모듈(123)은 검출된 조명반사점이 제2조명반사점이면 제2조명반사점과 제2조명(117)을 연결하는 제3벡터를 산출한다. 그리고, 각막 중심점 추출모듈(123)은 제3벡터와 상기 제2조명반사점과 각막 중심점 간의 평균거리를 이용하여 각막 중심점을 산출한다.

동공 중심점 추출모듈(125)은 눈 영상에 영상 처리를 수행하여 동공 중심점을 검출한다. 이때, 동공 중심점 추출모듈(125)은 영상 획득부(110)를 통해 획득한 영상에서 눈 영역을 검출하고, 그 검출한 눈 영역에서 동공 중심점을 검출한다. 동공 중심점 검출모듈(125)은 눈 영상에서 검출한 2차원 동공 중심점을 3차원 동공 중심점으로 복원한다.

시선 산출모듈(127)은 동공 중심점 및 각막 중심점을 이용하여 사용자의 눈이 응시하는 시선 벡터를 산출한다. 즉, 시선 산출부(127)는 동공 중심점과 각막 중심점을 연결하는 직선을 시선 벡터로 산출한다.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 시선 추적 방법을 도시한 흐름도이다.

도 3a에 도시된 바와 같이, 시선 추적 장치의 시선 산출부(120)는 영상 획득부(110)를 통해 사용자의 눈 영상을 획득한다(S101). 이때, 시선 산출부(120)는 제1카메라(111) 및 제2카메라(113)를 통해 사용자의 눈 영상을 각각 촬영한다. 다시 말해서, 시선 추적 장치는 사용자의 오른쪽 눈과 왼쪽 눈에 대해 각각 2개의 영상을 획득한다.

시선 추적 장치의 조명반사점 검출모듈(121)은 제1카메라(111) 및 제2카메라(103)으로부터 출력되는 각각의 눈 영상에서 하나 이상의 조명반사점을 검출한다(S103). 조명반사점 검출모듈(121)은 삼각측량법 등과 같은 3차원 복원 기술을 이용하여 검출한 조명반사점의 2차원 좌표를 3차원 좌표로 변환한다.

시선 추적 장치의 각막 중심점 추출모듈(123)은 조명반사점 검출모듈(121)을 통해 2개의 조명반사점이 검출되었는지를 확인한다(S105). 다시 말해서, 각막 중심점 추출모듈(123)은 제1조명(115) 및 제2조명(117)에 의해 각막에 맺힌 제1조명반사점 및 제2조명반사점이 검출되었는지를 확인한다.

각막 중심점 추출모듈(123)은 각각의 눈 영상에서 2개의 조명반사점이 검출된 경우, 검출된 각각의 조명반사점과 그에 대응하는 조명(115, 117)을 연결하는 벡터를 각각 산출한다(S107). 다시 말해서, 각막 중심점 추출모듈(123)은 제1조명반사점의 3차원 좌표와 제1조명(115)의 실제위치좌표를 연결하는 제1벡터와 제2조명반사점의 3차원 좌표와 제2조명(117)의 실제위치좌표를 연결하는 제2벡터를 산출한다.

각막 중심점 추출모듈(123)은 산출한 벡터들이 만나는 지점을 각막 중심점으로 추출한다(S109). 예컨대, 각막 중심점 추출모듈(123)은 앞서 산출된 제1벡터와 제2벡터가 만나는 교점을 각막 중심점으로 추출한다.

각막 중심점 추출모듈(123)은 각막 중심점으로부터 제1조명반사점과 제2조명반사점까지의 거리를 각각 산출하여 저장한다(S110).

시선 추적 장치는 각막 중심점이 추출되면 영상처리를 통해 눈 영상에서 동공 중심점을 추출한다(S111). 이때, 동공 중심점 추출모듈(125)은 영상 획득부(110)를 통해 획득한 영상에서 눈 영역을 검출하고 그 눈 영역에서 동공 중심점을 검출한다. 이때, 동공 중심점 추출모듈(125)는 2차원 동공 중심점을 3차원 동공 중심점으로 복원한다. 본 실시예에서는 각막 중심점 추출 후 동공 중심점을 추출하는 것을 설명하고 있으나, 이에 한정되지 않고 각막 중심점과 동공 중심점을 동시에 추출하도록 구현할 수도 있다.

시선 추적 장치의 시선 산출모듈(127)은 각막 중심점과 동공 중심점을 연결하는 직선을 시선 벡터로 산출한다(S113).

한편, S105에서 2개의 조명반사점이 검출되지 않은 경우, 시선 추적 장치는 검출된 조명반사점이 1개인지를 확인한다(S121). 시선 추적 장치는 제1카메라(111) 및 제2카메라(108)를 통해 획득한 눈 영상들 중 어느 하나 이상의 눈 영상에서 하나의 조명반사점만이 검출되는지를 확인한다.

시선 추적 장치는 하나의 조명반사점만이 검출된 경우 기저장된 조명반사점과 각막 중심점 간의 평균거리를 연산한다(S123). 각막 중심점 추출모듈(123)은 기저장된 각막 중심점으로부터 제1조명반사점 및 제2조명반사점까지의 거리 정보들 중 최근 일정 기간의 제1조명반사점과 각막 중심점 간의 평균거리 및 제2조명반사점과 각막 중심점 간의 평균거리를 산출한다.

시선 추적 장치는 검출된 조명반사점에 대응하는 조명을 결정한다(S125). 이때, 시선 추적 장치는 얼굴방향벡터를 이용하여 검출된 조명반사점이 제1조명(115) 및 제2조명(117) 중 어느 조명에 의해 맺힌 것인지를 확인한다.

시선 추적 장치는 검출된 조명반사점과 그에 대응하는 조명을 연결하는 제3벡터를 산출한다(S127). 다시 말해서, 각막 중심점 추출모듈(123)은 검출된 조명반사점이 제1조명반사점이면 제1조명반사점과 제1조명(115)을 연결하는 벡터를 산출한다. 한편, 각막 중심점 추출모듈(123)은 검출된 조명반사점이 제2조명반사점이면 제2조명(117)과 제2조명반사점을 연결하는 벡터를 산출한다.

시선 추적 장치는 제3벡터와 평균거리를 이용하여 각막 중심점을 산출한다(S129).

이후, 시선 추적 장치는 동공 중심점을 추출하고(S111), 각막 중심점과 동공 중심점을 이용하여 시선벡터를 산출한다(S113).

이상에서는 S123을 수행한 후 S125를 수행하는 것을 설명하고 있으나, S125를 수행한 후 S123을 수행하도록 구현할 수도 있다.

예를 들어, 각막 중심점 추출모듈(123)은 검출된 하나의 조명반사점이 제1조명반사점이면 저장수단(미도시)에 기저장된 이전 눈영상들에서 검출된 제1조명반사점과 각막 중심점 간의 거리정보 중 최근 일정 기간의 거리정보에 대한 평균거리를 산출한다.

한편, 각막 중심점 추출모듈(123)은 검출된 하나의 조명반사점이 제2조명반사점이면 저장수단(미도시)에 기저장된 이전 눈영상들에서 검출된 제2조명반사점과 각막 중심점 간의 거리정보 중 최근 일정 기간의 거리정보에 대한 평균거리를 산출한다.

상기한 실시예에서는 눈 영상에서 하나의 조명반사점만이 검출되는 경우, 얼굴방향벡터를 이용하여 검출된 조명반사점이 어느 조명에 의해 발생된 것인지를 판정하는 것을 예로 들어 설명하고 있으나, 이에 한정되지 않는다.

예를 들어, 두 카메라를 통해 획득한 두 개의 눈 영상들 중 어느 하나의 눈 영상에서 하나의 조명반사점이 검출되고 다른 하나의 눈 영상에서 2개의 조명반사점이 검출되는 경우, 두 눈 영상 내 조명반사점들 간의 유사도를 산출하여 검출된 하나의 조명반사점이 어느 조명에 의해 발생된 것인지를 판단한다.

이상에서는 본 발명의 바람직한 실시 예 및 응용 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예 및 응용 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.

110: 영상 획득부
111: 제1카메라
113: 제2카메라
115: 제1조명
117: 제2조명
120: 시선 산출부
121: 조명반사점 검출모듈
123: 각막 중심점 추출모듈
125: 동공 중심점 추출모듈
127: 시선 산출모듈

Claims

둘 이상의 카메라와 둘 이상의 조명을 이용하여 사용자의 눈 영상들을 획득하는 영상 취득부, 및
각 눈 영상에서 조명반사점을 검출하여 각막 중심점을 추출하고 상기 각 눈 영상으로부터 동공 중심점을 검출하며 각막 중심점과 동공 중심점을 이용하여 시선벡터를 산출하는 시선 산출부를 포함하되,
상기 시선 산출부는
상기 각 눈 영상에서 둘 이상의 조명반사점이 검출되는 경우, 각 조명과 그에 대응하는 조명반사점을 각각 연결하는 벡터들을 산출하고 그 산출된 벡터들이 만나는 교점을 각막 중심점으로 검출하고,
상기 눈 영상들 중 어느 하나 이상의 눈 영상에서 하나의 조명반사점만이 검출되는 경우, 기저장된 조명반사점과 각막 중심점 간의 거리 정보와 상기 하나의 조명반사점을 이용하여 상기 각막 중심점을 추출하는 것을 특징으로 하는 시선 추적 장치.
제1항에 있어서,
상기 시선 산출부는,
상기 각막 중심점으로부터 상기 둘 이상의 조명반사점까지의 거리를 각각 산출하고 산출된 거리 정보를 누적하여 저장하는 것을 특징으로 하는 시선 추적 장치.
제1항에 있어서,
상기 시선 산출부는,
상기 조명반사점 및 상기 동공 중심점의 2차원 좌표를 3차원 좌표로 변환하는 것을 특징으로 하는 시선 추적 장치.
제1항에 있어서,
상기 시선 산출부는,
얼굴방향벡터를 이용하여 상기 하나의 조명반사점이 상기 둘 이상의 조명 중 어느 조명에 의해 각막에 맺힌 조명반사점인지를 판정하는 것을 특징으로 하는 시선 추적 장치.
제1항에 있어서,
상기 시선 산출부는,
상기 눈 영상들 중 둘 이상의 조명반사점이 검출된 눈 영상과 하나의 조명 반사점이 검출된 눈 영상 내 조명반사점들간의 유사도를 연산하여 상기 하나의 조명반사점이 어느 조명에 의해 각막에 맺힌 조명반사점인지를 판정하는 것을 특징으로 하는 시선 추적 장치.
제4항 또는 제5항에 있어서,
상기 시선 산출부는,
상기 하나의 조명반사점과 판정된 조명을 연결하는 벡터를 산출하고, 산출한 벡터와 상기 거리 정보를 이용하여 각막 중심점을 추출하는 것을 특징으로 하는 시선 추적 장치.
제1항에 있어서,
상기 거리 정보는,
기저장된 각막 중심점으로부터 조명반사점까지의 거리정보 중 최근 일정 기간의 거리정보에 대한 평균거리를 산출하는 것을 특징으로 하는 시선 추적 장치.
둘 이상의 카메라와 둘 이상의 조명을 구비한 시선 추적 장치의 시선 추적 방법에 있어서,
상기 둘 이상의 카메라를 통해 사용자의 눈 영상을 각각 획득하는 단계,
상기 각각의 눈 영상에서 조명반사점을 검출하는 단계,
상기 각각의 눈 영상에서 둘 이상의 조명반사점이 검출되면, 각 조명과 그에 대응하는 조명반사점을 각각 연결하는 벡터들을 산출하고 그 산출된 벡터들이 만나는 교점을 각막 중심점으로 검출하는 단계,
상기 눈 영상들 중 어느 하나 이상의 눈 영상에서 하나의 조명반사점만이 검출되면, 기저장된 조명반사점과 각막 중심점 간의 거리 정보와 상기 하나의 조명반사점을 이용하여 상기 각막 중심점을 검출하는 단계,
상기 각막 중심점이 검출되면 상기 눈 영상으로부터 동공 중심점을 추출하는 단계, 및
상기 각막 중심점과 상기 동공 중심점을 이용하여 시선벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 시선 추적 방법.
제8항에 있어서,
상기 조명반사점을 검출하는 단계에서,
상기 조명반사점의 2차원 좌표를 3차원 좌표로 변환하는 것을 특징으로 하는 시선 추적 방법.
제8항에 있어서,
상기 벡터들이 만나는 교점을 각막 중심점으로 검출하는 단계에서,
상기 각막 중심점으로부터 상기 둘 이상의 조명반사점까지의 거리를 각각 산출하고, 산출된 거리 정보를 누적하여 저장하는 것을 특징으로 하는 시선 추적 방법.
제8항에 있어서,
상기 하나의 조명반사점을 이용한 각막 중심점 검출 단계는,
상기 하나의 조명반사점에 대응하는 조명을 결정하는 단계,
상기 하나의 조명반사점과 결정된 조명을 연결하는 제1벡터를 산출하는 단계, 및
상기 제1벡터와 상기 거리 정보를 이용하여 각막 중심점을 추출하는 단계를 포함하는 것을 특징으로 하는 시선 추적 방법.
제11항에 있어서,
상기 하나의 조명반사점에 대응하는 조명 결정 단계는,
얼굴방향벡터를 이용하여 상기 하나의 조명반사점이 상기 둘 이상의 조명 중 어느 조명에 의해 각막에 맺히는 조명반사점인지를 판정하는 것을 특징으로 하는 시선 추적 방법.
제11항에 있어서,
상기 하나의 조명반사점에 대응하는 조명 결정 단계는,
둘 이상의 조명반사점이 검출된 눈 영상과 하나의 조명 반사점이 검출된 눈 영상 내 조명반사점들간의 유사도를 연산하여 상기 하나의 조명반사점이 어느 조명에 의해 각막에 맺힌 조명반사점인지를 판정하는 것을 특징으로 하는 시선 추적 방법.
제8항에 있어서,
상기 거리 정보는,
기저장된 각막 중심점으로부터 조명반사점까지의 거리정보 중 최근 일정 기간의 거리정보에 대한 평균거리를 산출하는 것을 특징으로 하는 시선 추적 방법.