KR100224538B1

KR100224538B1 - 시선검출장치(viewpoint detecting device)

Info

Publication number: KR100224538B1
Application number: KR1019950023070A
Authority: KR
Inventors: 타카시 코바야시
Original assignee: 미따라이 하지메; 캐논 가부시끼가이샤
Priority date: 1994-07-29
Filing date: 1995-07-29
Publication date: 1999-10-15
Also published as: EP0694281B1; CN1119809A; CN1039275C; EP0694281A1; JPH0846836A; KR960006505A; DE69526885D1; US5737641A

Abstract

시선검출장치는 조작자의 주시점의 위치를 검출하는 주시점검출회로와, 상기 주시점의 위치가 정상으로 검출된 경우 상기 주시점검출회로로부터의 검출정보를 기억하는 메모리와, 상기 주시점검출회로에 의한 상기 주시점의 위치의 검출이 정상으로 행해지지 않았을 경우, 상기 메모리에 기억된 검출정보를 이용해서 상기 주시점검출회로의 출력을 보상하는 보정회로를 구비하고 있다.

Description

시선검출장치

제1도(a) 내지 제1도(d)는 시선검출원리를 설명하는 도면

제2도는 시선검출장치의 블록도

제3도는 제2도에 도시한 시선검출을 이용한 시선스위치의 개략도

제4도는 제4도(a)및 제4도(b)로 구성된, 시선스위치의 제어순서를 표시한 순서도

제5도 내지 제7도는 제3도에 도시한 장치의 문제점을 설명하는 도면

제8도는 본 발명의 제1실시예를 구성하는 시선검출장치의 블록도

제9도는 제9도(a)및 제9도(b)로 구성된, 본 발명의 제1실시예의 시선검출장치의 제어순서를 표시한 순서도

제10도는 본 발명의 제1실시예에 있어서의 주시점의 산출처리를 설명하는 도면

제11도는 제 11도(a)및 제11도(b)로 구성된, 본 발명의 제2실시예를 구성하는 시선검출장치의 제어순서를 표시한 순서도

제12도는 본 발명의 제3실시예를 구성하는 시선검출장치의 일부의 블록도

제13도는 본 발명의 제3실시예의 시선검출장치내의 메모리의 개략도

제14도는 개인차정보의 측정원리를 설명하는 개략도

* 도면의 주요부분에 대한 부호의 설명

402 : 파인더화면 403 : 뷰파인더

405 : 안구(눈) 406 : 시선검출수단

407 : 표시회로 408 : 시스템제어회로

409 : 메모리 460 : 발광다이오드

464 : 주시점검출회로 465 : 메모리

466 : 광량검출수단

본 발명은 시선검출장치에 관한 것이다.

최근, 비데오카메라 등의 촬상기기의 소형화 및 다기능화를 향해 현저한 발달을 보이고 있다.

이러한 발달에 따라, 상기 다기능화에 관련된 번잡한 조작을 감소함과 동시에 조작자가의도하는 조작을 성취하기 의하여, 조작자의 주시점에 의한 각종 기능의 수행 및 각종 동작의 제어가 가능한 시선검출장치를 도입하고 있다.

이러한 시선검출장치에 있어서는, 예를 들면 비데오카메라 등의 카메라의 경우, 조작자가 주시하는 위치에 초점을 맞출 수 있고, 또는 조작자가 대응하는 지표를 주시한 때의 해당 기능을 수행하기 위한 스위치로서 기능한다.

이하, 본 출원인이 이전에 제안한 바와 같이 시선검출장치를 렌즈포커싱 및 주밍에 이용하는 비데오카메라의 일례를 설명한다.

본 출원인이 제안한 비데오카메라는, 뷰파인더에 내장된 시선검출장치에 의해, 파인더화면상에 표시된 주밍지표TELE(텔레) 및 WIDE(와이드)를 선택해서 줌동작을 행하고, 상기 파인더화면상의 주시점에서 피사체에 포커스를 맞추는 포커스동작을 행하기 위한 시선입력기능을 지니고 있다.

이하, 본 출원인이 제안한 상기 시선검출창치의 시선검출원리에 대해 설명한다.

제1도(c)및 제1도(d)는 각각 시선검출원리를 표시한 평면도 및 측면도이다.

예를 들면 관찰자가 못느끼는 (즉, 볼 수 없는)적외광을 방사하는 적외발광다이오드(IRED)로 이루어진 광원(706a), (706b)을 결상렌즈(711)의 광축에 대해서 x(수평)방향으로 대략 대칭으로(제1도(c)), 또 y(수직)방향으로 다소 아래쪽으로(제1도(d))배치되어, 관찰자의 눈(안구)을 발산조명하고 있다. 안구(708)에서 반사된 조명광의 일부는 결상렌즈(7111)에 의해서 이미지센서(712)에 결상된다. 제1도(a)는 이미지센서(712)에 투영되는 안구의 상을 개략적으로 도시한 것이고, 제1도(b)는 이미지센서(712)의 출력강도를 도시한 도면이다.

이하, 이들 도면을 이용해서 시선검출원리를 설명한다.

먼저, 수평면에 있어서, 광원(706b)으로부터 방사된 적외광, 제1도(c)에 도시한 바와같이 관찰자의 안구(708)의 각막(710)을 조명한다. 이 때, 각막(710)의 표면에서 반사된 적외광에 의해 형성되는 각막반사상d(허상)는 결상렌즈(711)에 의해 집광되어, 이미지센서(712)상의 의치d'에 결상된다. 마찬가지로, 광원(706a)으로부터의 적외광은 안구의 각막(710)을 조명하고, 이 때 각막(710)의 표면에서 반사된 적외광에 의해 형성된 각막반사상e(허상)는 결상렌즈(711)에 의해 집광되어, 이미지센서(712)상의 위치e'에 결상된다.

또, 홍채(704)(제1도(a))로 둘러싸인 동공(701)의 단부 a, b로부터의 광속은 결상렌즈(711)를 통해서 이미지센서(712)상의 위치a', b'에 결상된다. 결상렌즈(711)의 광축에 대해서 안구(708)의 광축의 회전각e가 작은 경우, 동공(701)의 단부a, b의 x좌표 xa, xb, 제1도(a)에서 x표로 표시한 바와 같이, 이미지센서(712)상에서 구할 수 있다. 그래서, 먼저 원의 최소자승법을 이용해서 동공의 중심xc를 산출한다.

한편, 각막(710)의 곡률중심o의 x좌표 xo를 이용해서, 안구(1108)의 광축에 대한 회전각x는 다음과 같이 표현된다. 즉,

또, 각막반사상d와 e의 중심k에 소정의 보정치δx를 고려해서 xo는 다음과 같이 구할 수 있다. 즉,

여기서, δx는 장치의 설치방법, 안구에 대한 거리 등으로부터 기하학적으로 구해지는 수치이나, 그 산출방법은 생략한다.

따라서, [1]식을 [2]식에 대입해서x를 구할 수 있다. 즉,

또, 이미지센서상에 투영된 각각의 특정점의 좌표를, 다음과 같이 '을 붙여서 구할 수 있다. 즉,

여기서, β는 결상렌즈(711)에 대한 안구거리 sze에 의해 결정되는 배율이며, 실제로는 각막반사상의 간격 │xd'-xe'│의 함수로서 구해진다.

다음에, 수직면에 있어서, 제1도(d)에 도시한 바와 같은 구성이 얻어진다. 2개의 IRED(706a), (706b)에 의해 생기는 각막반사상은 동일위치yi에 있다. 안구(708)의 회전각 ey는 상기한 수평면에서와 마찬가지 방법으로 산출할 수 있으나, [2]식만이 각막의 곡률중심o의 y좌표 yo를 규정한 다음식 [5]로 대체된다. 즉,

여기서, δy는 장치의 설치방법, 안구에 대한 거리 등으로부터 기하학적으로 구해지는 수차이나, 그 산출방법은 생략한다. 따라서, 수직방향의 회전각ey는 다음과 같이 표현할 수 있다.

즉,

여기서, yc'는 이미지센서상의 동공중심의 수직좌표이다.

또, 비데오카메라의 파인더화면상의 위치좌표(xn, yn)은 뷰파인더광학계에 의해서 정해지는 정수m을 이용하면, 수평면 및 수직면에 있어서 각각 다음과 같이 된다.즉,

제1도(a) 및 제1도(b)로부터 명백한 바와 같이, 동공에지의 검출은 이미지센서의 출력파형의 상승부(xb')와 하강부(xa')를 이용한다. 또, 각막반사상의 좌표는 샤프한 상승부(xe', xd')에 의해 결정한다.

다음에, 상술한 원리를 이용한 시선검출장치의 일례로서 시선의치에 대해 설명한다.

제2도는 시선스위치기능을 지닌 비데오카메라의 개략블록도이다.

제2도에 도시한 비데오카메라는 줌렌즈를 구비하여 피사체를 촬상하는 촬상렌즈계(401)와, 파인더화면(402)을 구비해서 촬상렌즈계(401)에 의해 촬상되는 피사체를 관찰하는 뷰파인더(403)와, 이 뷰파인더(403)의 앞에 배치된 접안렌즈(404)와, 촬영자의 안구, 즉 눈(405)의 시선을 검출하는 시선검출수단(406)과, 포커스에어리어의 개략을 표시하는 AF프레임, 후술하는 시선스위치의 지표, 그의 테이프카운터나 촬영모드 등 촬영에 필요한 정보 등을 파인더화면(402)에 표시하는 표시회로(407)와, 이 카메라의 각 부를 제어하는 시스템제어회로(408)와, 시선스위치의 지표의 파인더화면상의 좌표치를 기억해 놓는 메모리(409)와, 촬상렌즈계(401)와 표시회로(407)의 각 출력을 가산하는 가산기(410)를 구비하고 있다.

상기 시선검출수단(406)은 촬영자의 눈(405)에 적외광을 조사하는 적외발광다이오드(460)와, 가시광을 투과하고 적외광을 반사하는 다이크로익미러(461)와, 상기 다이크로익미러(461)에 의해 반사된 적외광을 집광하는 집광렌즈(462)와, 상기 집광렌즈(462)에 의해 집광된 적외광을 전기신호로 변환하는 광전변환소자(463)와, 상기 광전변환소자(463)상의 촬영자의 눈(405)의 상을 기초로, 촬영자의 파인더화면상의 주시점을 구하는 주시점검출회로(464)를 구비하고 있다.

다이크로익미러(461)는 가시광을 투과하므로, 촬영자가 접안렌즈(404)를 통해서 파인더화면(402)을 관찰할 수 있도록 되어 있다. 또, 다이크로익미러(461)는 적외광을 반사하므로, 적외발광다이오드(460)에 의해 조사된 눈(405)의 반사상은 집광렌즈(462)에 의해 집광되어서 광전변한소자(463)상에 결상된다.

또, 상기 주시점검출회로(464)는 광전변환소자(463)상의 촬영자의 눈(405)의 상에 의거해서, 전술한 원리나 일본국 특개평1-241511호공보 및 동 특개평2-32312호 공보등에 개시된 알고리즘에 따라서 촬영자의 파인더화면상의 주시점을 구하는 것이다.

다음에, 본 종래의 시선검출장치가 부착된 비데오카메라의 뷰파인더(403)에 탑재되어 있는 시선스위치의 기능에 대해서 설명한다.

파인더화면(402)상의 표시예를 제3도에 개략적으로 도시한다.

제3도에 도시한 바와 같이, 알파벳W, T, F로 표시되어 상호 다른 동작기능을 의미하는 지표(501a), (501b), (501c)로 이루어진 메뉴가 표시되어 있다. 여기서, 예를들면 W는 광각(와이드)쪽에의 줌동작, T는 망원(텔레)쪽에의 줌동작, F는 페이드동작을 각각 표시한다. 또, 오른쪽 하부의 숫자(502)는 시선스위치의 기능이 아니라, 예를 들면 날짜이다.

다음에, 시스템제어회로(408)의 동작의 일례를 제4도(a)및 제4도(b)에 도시한 순서도를 참조해서 설명한다. 각각의 시선위치의 지표를 포함하는 소정의 범의의 좌표군은 각각 메모리(409)에 기억되어 있고, 각 좌표군은 각 지표의 제3도에 표시한 범위의 좌표를 전부포함한다. 이들 좌표군을 예를 들면 광각쪽에의 줌동작은 α, 망원쪽에의 줌동작은 β, 페이드기능은 γ로 한다. 먼저, 비데오카메라의 전원이 온되면(스텝S601), 변수, 1, m, n이 각각 0으로 리세트되어(S602), 시선스위치의 준비가 완료된다. 변수1, m, n은 각각 촬영자의 주시점이 좌표군α, β, γ의 어느 것인가의 좌표와 일치한 횟수를 나타낸다. 시스템제어의로(408)는, 촬영자가 뷰파인더를 주시해서 시선검출이 정상으로 행해지고 있는 동안(S603), 끊임없이 촬영자의 파인더화면(402)상의 주시점의 좌표를 주시점검출회로(464)로부터 수취하고 있다.

다음에, 촬영자가 광각지표W를 주시한 때의 기능을 예로 들어 설명한다. 주시점의 좌표가 좌표군 α내의 어느 것인가의 좌표와 대략 일치하면(S604), 시스템제어회로(408)는 광각쪽에의 줌동작이외의 기능을 종료하고(S636), 변수 m, n을 0으로 리세트하고 (S605),1이 소성횟수(본 예에서는 5회)이상인 지의 여부를 판단하여(S606), 적으면 l에 1을 더한 후(S608), 다시 1이 5이상인지의 여부를 판단하여(S609), 적으면, 스텝S603으로 귀환하여 재차 주시점검출회로(464)로부터 주시점의 좌표를 수취한다.

한편, 스텝S609에서 1이 적어도 5이상인 것으로 판단되면, 줌렌즈군을 광각쪽으로 구동하고, 스텝S603으로 귀환하여, 재차 주시점의 좌표를 수취한다. 스텝S606에서 1이 5이상이면 스텝S611로 점프한다. 좌표군 α중 어느 하나의 좌표가 주시점좌표와 일치해도, 그 일치한 횟수가 5에 달하기 전에 주시점의 좌표가 좌표군α를 한번이라도 벗어나면, 변수1은 0으로 리세트된다(S613, S621, S628). 또 그외의 지표T 또는 F를 주시한 때에도 마찬가지 절차로 동작이 행해진다.

그러나, 상기 구성에서는, 촬영자의 얼굴의 경사 또는 눈의 운동 등에 의해서 동공이 눈꺼풀로 덮여진 경우에, 제1도(a)및 제1도(b)에 도시한 동공(601)의 에지a, b의 복수좌표를 구할 수 없어, 동공중심의 좌표(xc, yc)를 더이상 산출할 수 없거나, 또는 산출할 수 있어도 상당한 오차를 포함한다고 하는 문제점이 있다. 이점에 대해서는 이하에 더욱 설명한다.

제5도는, 일례로서, 상부눈꺼풀(804)이 동공을 부분적으로 덮고 있어, 동공에지(801)의 하부로부터만 좌표가 얻어지는 경우를 도시한 것이다. (802), (803)은 전술한 원리에서 설명한 바와 같이 광원의 각막반사상이다. 이와 같은 상태의 안구상으로부터 동공에지를 구한결과, 예를 들면, 제6도에 도시한 바와 같이 눈의 하부의 2점에서밖에 동공에지를 구할 수 없는 경우에 대해서 설명한다. 이 동공에지는 2점밖에 구해지지 않으므로, 이들 2점을 통과하는 (902), (903)등의 다수의 원을 고려할 수 있으나, 점선의 원(901)으로 표현된 실제의 동공을 구할 수는 없다.

또, 제7도에 도시한 바와 같이 2점이상의 동공에지(제7도에 x표로 표시함)를 구할 수 있다고 해도, 이들 점에 변동이 존재할 경우에는, 상부에지를 이용할 수 없으므로 실제의 동공(1001)보다도 크거나(1002), 작은 동공을 산출해 버린다. 그래서, 이 산출된 동공의 정보에 의거한 주시점의 좌표의 검출을 행하면, 상당한 오차가 생긴다고 하는 문제가 있었다.

본 발명의 제1목적은 이상의 설명을 감안해서, 전술한 동공정보를 보정해서 주시점의 검출오차를 경감시키는 것이 가능한 시선검출방법 및 장치를 제공하는 데 있다.

본원 발명의 제2목적은, 보정오차의 발생을 억제하면서 주시점의 검출오차를 경감시키는 것이 가능한 시선검출장치를 제공하는 데 있다.

본 발명의 제3목적은 촬영자의 동공의 직경이 빈번히 변화하는 상황하에서도 보정오차의 발생율 억제하면서 주시점의 검출오차를 경감시키는 것이 가능한 촬상장치를 제공하는 데 있다.

본 발명의 제4목적은 각 개인고유의 안구의 경사각과 시축간의 어긋남의 개인차를 보정하기 위한 개인차정보측정(캘리브레이션)의 측정오차를 경감시키는 것이 가능한 시선검출장치를 제공하는 데 있다.

상기 각 목적은, 본 발명의 바람직한 실시예에 의하면, 광원으로부터의 광을 사용자(즉, 촬영자)의 안구에 조사하고, 그의 반사상으로부터 눈의 주시점의 위치를 검출하고, 상기 사용자의 시선의 주시점을 산출하는 시선검출방법에 있어서, 상기 주시점의 산출이 정상으로 행해진 경우에는, 각막반사상과 동공 또는 홍채와의 위치관계를 표시하는 정보를 기억수단에 기억하고, 상기 주시점의 산출이 정상으로 행해지지 않았을 경우에는, 그 이전의 산출에 이용한 상기 정보를 상기 기억수단으로부터 보정정보로서 판독하고, 이 보정정보를 이용해서 새로운 주시점의 산출을 행하도록 함으로써 성취할 수 있다.

또, 본 발명의 바람직한 실시예에 의하면, 광원으로부터의 광을 사용자의 안구에 조사하고 그 각막반사상과 동공 또는 홍채와의 상대적인 위치관계를 검출하고, 이 위치관계에 의거해서 상기 사용자의 시선의 주시점을 산출하는 시선검출장치에 있어서, 상기 주시점산출이 정상으로 행해진 경우에 이용된 상기 위치관계를 표시하는 정보를 기억하는 기억수단과, 상기 주시점의 산출이 정상으로 행해지지 않았을 경우에 그 이전의 산출에 이용한 상기 정보를 상기 기억수단으로부터 보정정보로서 판독하고, 이 보정정보를 이용해서 새롭게 주시점의 산출을 행하는 산출수단을 구비하고 있다.

또, 본 발명의 바람직한 실시예에 의하면, 상기 기억수단에 항상 최신의 정보를 기억하도록 이루어지고, 상기 산출수단은 상기 최신의 정보를 상기 보정정보로서 이용하도록 하고 있다.

또한, 본 발명의 바람직한 실시예에 의하면, 광원으로부터의 광을 사용자의 안구에 조사하고, 그의 각막반사상과 동공 또는 홍채와의 상대적인 위치관계를 검출하고, 이 위치관계에 의거해서 상기 사용자의 시선의 주시점을 산출하는 시선검출장치를 구비한 촬상장치에 있어서, 상기 주시점의 산출이 정상으로 행해진 경우에 이용된 상기 위치관계를 표시하는 정보와 이 상태에서 촬상된 화상의 휘도정보를 기억하는 기억수단과, 상기 촬상화상의 휘도를 검출하는 광량검출수단과, 상기 주시점의 산출이 정상으로 행해지지 않았을 경우, 상기 광량검출수단으로부터 얻어진 휘도정보와 대응하는 상기 위치관계를 나타내는 정보를 상기 기억수단으로부터 보정정보로서 판독하고, 이 보정정보를 이용해서 새롭게 주시점의 산출을 행하는 산출수단을 구비하고 있다.

또, 본 발명의 바람직한 실시예에 의하면, 각 개인고유의 안구의 경사각과 시축간의 어긋남 등의 개인차를 보정하기 위한 개인차정보의 측정시에 상기 주시점의 산출을 행하도록 하고 있다.

본 발명의 기타 목적과 특정 등은 첨부도면을 참조한 이하의 설명으로부터 완전히 명백해질 것이다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조하면서 상세히 설명한다.

제8도는 본 발명의 제1실시예를 구성하는 비데오카메라의 블록도이며, 제2도의 종래예와 마찬가지의 기능을 가진 구성요소에는 마찬가지의 부호를 붙이고, 그 설명을 생략한다. 제8도에 도시한 회로에는 메모리(465)가 추가되어 있다. 이하 주시점검출회로(464)의 처리내용에 대해서 설명한다.

먼저, 사용자가 시선입력기능을 개시시키면, 주시점의 검출동작이 일정시간간격T마다 반복 된다. 메모리(465)에는, 사용자가 시선입력기능을 개시시킨 후, 최초로 주시점의 검출이 가능하였던 때의 동공에지좌표로부터 산출된 동공직경의 소정의 값이 기억된다. 여기에서 예를 들면 전술한 문제점때문에 동공에지가 다수 얻어질 수 없거나 산출한 주시점이 에러로 판단된 경우에는, 상기 메모리(465)에 기억된 동공직경을 이용해서 재차 주시점의 검출을 행한다.

제9도(a)및 제9도(b)는 상기 동작의 순서도이다. 사용자가 시선검출장치를 작동개시하면 (S201), 타이머가 개시(S202)하고, 미리 설정해 놓았던 시간T가 경과한 후(S203), 타이머를 정지시켜 리세트하고(S204), 주시점의 검출을 개시한다(S205). 먼저, 각막반사상의 위치의 검출(S206)과 동공에지의 검출(S207)을 행하여, 동공에지가 미리 설정해 놓았던 n점이상 얻어졌는지의 여부를 판단하고(S208), 얻어졌으면, 동공위치를 산출하고(S209), 주시점을 산출한다(S210 ).

여기서 산출한 주시점이 에러인 것으로 판단된 경우에는(S211), 스텝S212로 이행한다.

주시점이 에러인 것으로 판단되지 않았을 경우에는 스텝S215로 이행하여, 메모리(465)에 데이터가 기억되어 있지 않으면 기억한다(S216). 스텝S208에서동공에지가 미리 설정해 놓았던 n점보다 적은 것으로 판단되거나 스텝S211에서 에러라고 판단된 경우에는, 스텝S212로 이행하고, 메모리(465)에 동공직경의 정보가 기억되어 있지 않으면 스텝S205로 귀한하여 검출동작을 반복한다. 메모리(465)에 동공직경의 정보가 기억되어 있으면, 그것을 보정정보로서 이용해서, 동공위치의 산출을 행하고(S213), 주시점의 산출을 행한다(S214). 그래서 시선검출장치의 동작을 계속하고 있으면(S217), 스텝S202로 귀환한다.

스텝S211에서, 주시점의 검출에러의 예로서는, 동공위치를 구하는 스텝S209에서 산출된 동공직경이 인간의 표준적인 동공직경보다 상당히 크거나 작은 경우 또는 스텝S210에서 산출된 주시점의 좌표가 뷰파인더의 화면(402)밖에 위치하고 있을 경우 또는 스텝S206의 각막반사상의 측정에 의해서 산출된 뷰파인더의 화면(402)와 안구와의 거리가 미리 설정해 놓았던 값보다 긴 경우 등에 의해서 판단될 수 있다.

이하, 메모리(465)의 보정정보를 사용해서 동공의 위치를 산출하는 스텝S213의 예에 대해서 설명한다.

예를 들면, 전술한 문제점에서 이미 설명한 바와 같이, 동공의 상부부분이 상부 눈꺼풀에 의해서 덮여서, 동공에지가 하부부분만 얻어진 상황을 고려해보기로 한다. 제10도에 있어서, 에지는 에지검출에 의해서 3점(301), (302), (303)이 검출되어 있다. 이들 에지점으로부터 최소자승법에 의해 추정된 원으로 표시된 동공(304)이 미리 설정해 놓았던 동공직경보다도 큰것으로 가정한다. 이 경우 메모리(465)에 기억되어 있는 직경을 지닌 동공을 상기 에지점(301), (302), (303)으로부터의 거리의 제곱의 합을 최소화하는 위치에서 산출할 수 있다.

그러한 산출방법의 일례로서는, 측정된 동공에지의 좌표를 (xi, yi)(이 예에서는 i=1,2,3), 산출하는 동공의 중심위치를 (a, b), 메모리(465)에 기억되어 있는 동공직경을 2로 나누어서 얻은 동공의 반경을 c라 할때, 측정된 동공에지(xi, yi)에 대한 오차e는 다음과 같이 표시된다. 즉,

전체의 검출된 에지에 대한 오차의 제곱의 합E는 다음과 같이 표시된다. 즉,

이 식[10]은 변수a, b로 편미분해서 얻어지는 연립방정식을 풀어 동공의 중심위치(a, b)를 구한다.

이상 설명한 바와 같이, 사용자의 얼굴의 경사나 눈의 움직임 등에 의해서 동공이 부분적으로 덮여 있어 동공에지 a, b의 좌표를 복수점구할 수 없으므로, 동공중심을 산출할 수 없거나, 또는 산줄할 수 있다고 하더라도 그 산출한 주시점이 상당히 큰 오차를 내포하고 있을때에, 그것보다 이전에 행하였던 주시점의 오차가 크다고 판단되지 않았던 경우의 동공위치를 확인하는데 필요한 정보를 보정정보로서 이용하여 주시점의 산출을 행함으로써 검출오차를 경감시킬 수 있다.

상기 설명한 제1실시예에서는, 검출의 반복시간간격T가 충분히 짧은 경우(예를 들면 비데오신호의 수직동기신호의 주기)에는 상기 비데오카메라로 촬상되어 뷰파인더에 표시되는 영상의 1필드마다의 상관이 높으므로, 시간적으로 전후의 주시점에 있어서의 사용자의 동공직경의 상관도 높다. 따라서, 제2실시예에서는, 상기 제1실시예에 있어서의 메모리(465)에 기억되는 동공직경의 정보를 주시점검출에러가 판단되기 전의 최신의 정보로서 선택한다. 이 제2실시예의 제어순서를 제11도(a) 및 제11도(b)에 표시한다.

제11도(a) 및 제11도(b)에 있어서, 스텝S201∼S214, S217 및 S218은 제9도(a) 및 제9도(b)에 표시한 제1실시예의 것과 마찬가지이다. 제11도(b)에 도시한 흐름에서는, 제9도(b)의 스텝S215 및 S216이 생략되고, 스텝S211A가 새롭게 추가되어 있다.

스텝S211A에서는 미리 메모리(465)에 동공직경이 기억되어 있는지의 여부에 관계없이 주시점검출에 에러가 없다고 판단된 때마다 항상 메모리(465)의 정보를 갱신한다. 다른 동작은 상기 제1실시예와 마찬가지이다. 즉, 보정정보는 주시점의 검출에러가 판단되기전의 최신의 상기 동공직경의 정보로 이루어져 있다.

이와 같이 제2실시예에 의하면, 주시점의 검출에러가 판단된 때의 동공직경과의 상관이 높은 동공직경을 보정정보로서 사용함으로써 보정오차의 발생을 억제하면서 주시점의 검출에러를 경감함 수 있다.

상기 제1실시예의 비데오카메라로 촬영할 경우, 소정의 피사체에 의해서는 그들의 광량이 빈번하게 변화할 수도 있다. 또, 예를 들면 패닝이나 틸트동작에 의해서 밝은 장면의 화각과 어두운 장면의 화각이 자주 섞여서 촬영될 수도 있다. 이러한 경우, 촬영되는 피사체의 휘도(밝기)에 따라서 뷰파인더의 영상의 휘도도 변하므로, 사용자의 동공직경도 빈번하게 변화한다. 이러한 경우에는 주시점의 검출에러가 판단된 때의 영상의 휘도에 가능한 한 가까운 휘도를 지닌 영상의 주시점의 검출에 이용된 동공직경을 보정정보로서 이용한다.

제12도는 본 발명의 제3실시예의 블록도이며, 제8도와 대응하는 구성부분에는 동일부호가 붙어 있다. 새롭게 추가된 광량검출수단(466)은 비데오카메라의 촬상렌즈계(401)에 설치된 AE(자동노출)수단이어도 되고, 또는 비데오카메라에 입사되는 광량을 측정하는 이미지센서이어도 된다. 메모리(465)에는 주시점의 검출이 가능하였던 과거 k회에 있어서의 영상의 광량과 동공직경이 기억되어 있다.

횟수k는 임의로 선정될 수 있다. 주시점검출회로(464)는, 동공위치의 검출오차에 의한 주시점의 검출에러를 확인하면, 이 때 촬상된 영상의 휘도를 광량검출수단(466)으로부터 얻어, 그 휘도에 가장 가까운 휘도를 지닌 영상의 동공직경을 메모리(465)로부터 판독한다. 메모리(465)의 내용의 일례가 제13도에 도시되어 있다.

영역(601)에는 영상의 휘도로서 상이한 프레임의 평균IRE값이 기억되어 있고, 영역(602)에는 각 영상의 휘도에 상당하는 동공직경(단위0.1㎜)이 기억되어 있다. 상기 에러가 확인된 때에 촬상된 영상의 휘도가 예를 들어 37IRE이면, 75(x0.1㎜)인 동공직경이 보정정보로서 이용된다. 또 제12도의 기타부분은 제1도(a)내지 제1도(d)와 마찬가지의 동작을 한다.

이 제3실시예에 의하면, 사용자의 동공직경이 빈번하게 변하는 상황하에 있어서도, 주시점 검출에러 및 보정오차를 경감시킬 수 있다.

제4실시예에서는, 상기 설명한 주시점의 검출에 있어서, 각 사용자고유의 안구의 경사각과 시축간의 어긋남 등의 개인차를 보정하기 위한 캘리브레이션(개인차보정측정)을 행하도록 하고 있다.

제14도는 캘리브레이션을 행하기 위한 파인더화면(402)상의 표시예를 도시한 것으로서, 이 경우에는 파인더화면(402)상의 2개소에 2개의 지표(411), (412)가 표시되고 있다. 사용자는 지표(411)와 지표(412)를 차례로 주시하여 주시점의 검출을 행하고, 파인더화면(402)상의 지표의 좌표와 측정된 주시점의 좌표와의 어긋남으로부터 개인차 정보를 얻는다.

예를 들면, 파인더화면(402)의 아래쪽에 위치하는 지표(412)를 주시한 때에 안구가 아래쪽을 향함으로씨, 눈꺼풀에 의해 동공의 일부가 덮여 동공위치를 확인할 수 없는 경우가 있다. 이 경우 지표(411)를 주시한 때의 주시점의 검출에 이용된 동공직경을 보정정보로서 이용함으로써, 상기 캘리브레이션의 측성오차를 경감시킬 수 있다. 이 보정방법은 전술한 각 실시예의 방법과 마찬가지이다.

이러한 제4실시예에 의하면, 각 사용자에 고유한 안구의 경사각과 시축간의 어긋남 등의 개인차를 보정하기 위한 캘리브레이션의 측정오차를 경감시킬 수 있다.

이상의 각 실시예에 의하면, 주시점의 산출에 이용한 정보를 기억하고, 동공 또는 홍채의 위치인식에 필요한 정보의 측정이 불가능하거나, 또는 산출한 주시점의 오차가 큰 등의 산출이 부적절하다고 판단된 경우에는, 상기 기억된 동공 또는 홍채의 위치인식에 필요한 정보를 보정정보로서 이용해서 주시점의 산출을 행함으로써 주시점의 검출오차를 경감시키는 효과가 있다.

또, 상기 각 실시예에 의하면, 상기 보정정보로서 최신의 정보를 기억하고, 동공 또는 홍채의 위치인식에 필요한 정보의 측정이 불가능하거나, 또는 산출한 주시점의 오차가 큰 등의 산출이 부적절하다고 판단된 경우에는, 상기 최신의 보정정보를 이용해서 주시점의 산출을 행함으로써, 보정오차의 발생을 억제하면서 주시점의 검출오차를 경감시키는 효과가 있다.

또한, 상기 각 실시예에 의하면, 주시점산출에 이용한 정보와 촬상화상의 휘도정보를 기억하고, 예를 들면 동공 또는 용채의 위치인식에 필요한 정보의 측정이 불가능하거나 또는 산출한 주시점의 오차가 큰 등의 산출이 부적절하다고 판단된 경우에는, 촬상장치에 의해 촬상된 화상의 휘도에 가장 가까운 휘도를 지닌 화상에 상당하는 보정정보를 이용해서 주시점의 산출을 행함으로써, 사용자의 동공직경이 빈번히 변화하는 상황하에서도, 보정오차의 발생을 억제하면서 주시점의 검출오차를 경감시키는 효과가 있다.

또, 상기 각 실시예에 의하면, 주시점의 산출을 사용자에 고유한 안구의 경사각과 시축간의 어굿남 등의 개인차의 캘리브레이션시에 행함으로써, 주시점의 산출을 복수회 행하고, 또, 동공 또는 홍채의 위치인식에 필요한 정보의 측정이 불가능하거나 또는 주시점의 오차가 큰 등의 산출이 부적절하다고 판단된 경우, 상기 기억된 정보를 보정정보로서 이용하여 주시점의 산출을 행함으로써, 그러한 캘리브레이션의 측정오차를 경감시키는 효과가 있다.

Claims

사용자의 안구의 상을 취하여 상기 사용자의 주시점의 위치를 검출하는 주시점검출수단과, 상기 주시점검출수단에 의한 상기 주시점의 검출이 정상으로 행해진 경우 상기 주시점검출수단에 의한 주시점의 첫 번째 검출동작에 사용된 정보를 기억하는 기억수단과, 상기 주시점검출수단에 의해 사용자의 주시점의 검출이 정상으로 행해지지 않았을 경우, 상기 기억수단에 기억된 정보를 판독하는 것에 의해 상기 주시점 검출수단이 사용자의 주시점을 검출하도록 하는 보정수단을 구비한 것을 특징으로 하는 시선검출장치.
제1항에 있어서, 사용자의 안구에 조사하기 위한 조명수단을 또 구비하고, 상기 주시점검출수단은 상기 조명수단에 의해 방출되어 상기 안구표면에서 반사된 광을 수광하여 상기 주시점의 검출을 행하는 것을 특징으로 하는 시선검출장치.
제1항에 있어서, 상기 주시점검출수단은 각막반사상과 동공 또는 홍채로부터의 반사광에 의거해서 상기 주시점의 검출을 행하는 것을 특징으로 하는 시선검출장치.
제3항에 있어서, 상기 기억수단에 기억된 정보는 동공직경에 관한 정보인 것을 특징으로 하는 시선검출장치.
제1항에 있어서, 상기 보정수단은 상기 주시점검출수단에 의한 주시점의 검출에러를 판단하는 에러판정수단을 구비하고, 상기 에러판정수단은 동공직경이 비정상치인 경우 상기 주시점의 검출에 에러가 있다고 판단하는 것을 특징으로 하는 시선검출장치.
제1항에 있어서, 상기 보정수단은 상기 주시점검출수단에 의한 주시점의 검출에러를 판단하는 에러판정수단을 구비하고, 상기 에러판정수단은 주시점의 좌표가 화면밖에 위치할 경우 상기 주시점의 검출에 에러가 있다고 판단하는 것을 특징으로 하는 시선검출장치.
제1항에 있어서, 상기 보정수단은 상기 주시점검출수단에 의한 주시점의 검출에러를 판단하는 에러판정수단을 구비하고, 상기 에러판정수단은 안구와 화면간의 거리가 비정상일 경우 상기 주시점의 검출에 에러가 있다고 판단하는 것을 특징으로 하는 시선검출장치.
시선검출기능을 구비한 비데오카메라에 있어서, 촬상화상을 모니터하는 모니터수단과, 사용자의 상기 모니터수단의 화면상의 사용자의 주시점의 위치를 검출하는 주시점검출수단과, 상기 주시점검출수단에 의한 상기 주시점의 검출이 정상으로 행해진 경우, 상기 주시점 검출수단에 의한 주시점의 첫 번째 검출동작에 사용된 정보를 기억하는 기억수단과, 상기 주시점검출수단에 의해 사용자의 주시점의 검출이 정상으로 행해지지 않았을 경우, 상기 기억수단에 기억된 정보를 판독하는 것에 의해 상기 주시점검출 수단이 사용자의 주시점을 검출하도록 하는 보정수단을 구비한 것을 특징으로 하는 비데오카메라.
제8항에 있어서, 상기 모니터수단은 사용자의 안구에 조사하기 위한 조명수단을 구비한 전자뷰파인더이고, 상기 주시점검출수단은 상기 조명수단에 의해 방출되어 상기 상기 안구표면에서 반사된 광을 수광하여 상기 주시점의 검출을 행하는 것을 특징으로 하는 비데오카메라.
제8항에 있어서, 상기 주시점검출수단은 각막반사상과 동공 또는 홍채로부터의 반사광에 의거해서 상기 주시점의 검출을 행하는 것을 특징으로 하는 비데오카메라.
제8항에 있어서, 상기 기억수단에 기억된 정보는 복수의 동공직경에 관한 정보인 것을 특징으로 하는 비데오카메라.
제8항에 있어서, 상기 보정수단은 상기 주시점검출수단에 의한 주시점의 검출에러를 판단하는 에러판정수단을 구비하고, 상기 에러판정수단은 동공직경이 비정상치인 경우, 또는 주시점의 좌표가 상기 모니터수단의 화면밖에 위치할 경우, 또는 안구와 화면간의 거리가 비정상일 경우 상기 주시점의 검출에 에러가 있다고 판단하는 것을 특징으로 하는 비데오카메라.
제8항에 있어서, 상기 보정수단은 상기 주시점검출수단에 의한 주시점의 검출에러를 판단하는 에러판정수단을 구비하고, 상기 에러판정수단은 동공에지가 소정횟수 검출되지 않았을 경우, 상기 기억수단에 기억된 정보를 이용해서 상기 주시점검출수단의 출력을 보정하는 것을 특징으로 하는 비데오카메라.
제13항에 있어서, 상기 기억수단은 상기 주시점검출수단에 의한 주시점의 검출이 정상으로 행해진 경우 그안에 기억되어 있던 정보를 갱신하는 것을 특징으로 하는 비데오카메라.
광원으로부터의 광을 사용자의 안구에 조사하고, 그의 각막반사상과 동공 또는 홍채와의 상대적인 위치관계를 검출하고, 이 위치관계를 이용해서 상기 사용자의 시선의 주시점을 산출하는 시선검출장치를 사용하기 위한 시선검출방법에 있어서, 상기 주시점의 산출이 정상으로 행해진 경우에는 기억수단에 상기 위치관계를 표시하는 정보를 기억하는 단계와, 상기 주시점의 산출이 정상으로 행해지지 않았을 경우에는 그 이전의 산출에 이용한 상기 정보를 상기 기억수단으로부터 보정정보로서 판독하고, 이 보정정보를 이용해서 새로운 주시점의 산출을 행하는 단계를 구비한 것을 특징으로 하는 시선검출방법.
제15항에 있어서, 상기 기억된 정보는 동공직경에 관한 정보인 것을 특징으로 하는 시선검출방법.
제16항에 있어서, 상기 주시점의 산출이 정상으로 행해지지 않은 것을 판정하는 판정단계를 또 구비하고, 상기 판정단계에서는 동공직경이 비정상치인 경우 주시점의 검출에 에러가 있다고 판단하는 것을 특징으로 하는 시선검출방법.
제16항에 있어서, 상기 주시점의 산출이 정상으로 행해지지 않은 것을 판정하는 판정단계를 또 구비하고, 상기 판정단계에서는 주시점의 좌표가 화면밖에 위치할 경우 주시점의 검출에 에러가 있다고 판단하는 것을 특징으로 하는 시선검출방법.
제16항에 있어서, 상기 주시점의 산출이 정상으로 행해지지 않은 것을 판정하는 판정단계를 또 구비하고, 상기 판정단계에서는 안구와 화면간의 거리가 비정상일 경우 주시점의 검출에 에러가 있다고 판단하는 것을 특징으로 하는 시선검출방법.
광원으로부터의 광을 사용자의 안구에 조사하고, 상기 안구의 반사상을 검출하여 상기 사용자의 시선의 주시점을 산출하는 시선검출장치에 있어서, 상기 주시점의 산출이 정상으로 행해진 경우에 주시점산출에 이용된 정보를 기억하는 기억수단과, 상기 사용자의 주시점의 산출이 불가능한 경우 상기 기억수단에 기억된 정보를 보정정보로서 판독하고, 상기 보정정보를 이용해서 주시점을 산출하는 산출수단을 구비한 것을 특징으로 하는 시선검출장치.
제 20항에 있어서, 상기 기억수단은 항상 최신의 정보를 기억하고, 상기 산출수단은 상기 최신의 정보를 상기 보정정보로서 이용하도록 구성된 것을 특징으로 하는 시선검출장치.
제21항에 있어서, 사용자의 안구에 조사하기 위한 조명수단을 또 구비하고, 상기 조명수단으로 부터 방출되어 상기 안구의 표면에서 반사된 광을 수광하여 상기 주시점을 검출하는 것을 특징으로 하는 시선검출장치.
제21항에 있어서, 상기 주시점은 각막반사상과 동공 또는 홍채로부터 반사된 광에 의거해서 검출되는 것을 특징으로 하는 시선검출장치.
제21항에 있어서, 기억수단에 기억된 정보는 복수의 동공직경에 관한 정보인 것을 특징으로 하는 시선검출장치.
제21항에 있어서, 상기 산출수단은 주시점검출수단에 의한 주시점의 검출에러를 판단하는 에러 판정수단을 구비하고, 상기 에러판정수단은, 동공직경이 비정상치인 경우, 또는 주시점이 좌표가 모니터수단의 화면밖에 위치할 경우, 또는 안구와 화면간의 거리가 비정상일 경우 상기 주시점의 검출에 에러가 있다고 판단하는 것을 특징으로 하는 시선검출장치.
제21항에 있어서, 상기 산출수단은 주시점검출수단에 의한 주시점의 검출에러를 판단하는 에러 판정수단을 구비하고, 상기 에러판정수단은 동공의 에지가 소정횟수검출될 수 없는 경우 상기 기억수단에 기억된 정보를 이용해서 주시점검출수단의 출력을 보정하는 것을 특징으로 하는 시선검출장치.
광원으로부터의 광을 사용자의 안구에 조사하고, 상기 안구의 반사상을 검출하여 상기 사용자의 시선의 주시점을 판정하는 시선검출장치를 포함하는 촬상장치에 있어서, 상기 주시점의 산출이 정상으로 행해진 경우에 주시점의 판정에 이용된 정보와 이 경우에 촬상된 화상의 휘도정보를 기억하는 기억수단과, 상기 촬상화상의 휘도를 검출하는 광량검출수단과, 상기 사용자의 주시점의 산출이 불가능한 경우, 상기 기억수단으로부터, 상기 광량검출수단으로부터 얻어진 휘도정보에 대응하는 상기 기억된 정보를 보정정보로써 판독하고, 상기 보정정보를 이용해서 새롭게 주시점을 산출하는 산출수단을 구비한 것을 특징으로 하는 촬상장치.
제27항에 있어서, 각 사용자에 고유한 안구경사각과 시축간의 개인차를 보정하기 위한 개인차 정보의 측정시에 상기 주시점의 검출을 행하는 것을 특징으로 하는 촬상장치.
제27항에 있어서, 안구의 각막반사상과 그의 동공 또는 홍채와의 상대적인 위치관계를 검출하도록 구성된 것을 특징으로 하는 촬상장치.
제27항에 있어서, 상기 기억수단에 기억된 정보는 복수의 동공직경에 관한 정보인 것을 특징으로 하는 촬상장치.
제27항에 있어서, 상기 산출수단은 주시점검출수단에 의한 주시점의 검출에러를 판단하는 에러 판정수단을 구비하고, 상기 에러판정수단은, 동공직경이 비정상치인 경우, 또는 주시점의 좌표가 모니터수단의 화면밖에 위치할 경우, 또는 안구와 화면간의 거리가 비정상일 경우 상기 주시점의 검출에 에러가 있다고 판단하는 것을 특징으로 하는 촬상장치.
제1항 기재의 시선검출장치를 구비한 것을 특징으로 하는 전자기기.