KR20180121888A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

Abstract

시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 검출 대상의 시선을 검출하는 처리부를 구비하는 정보 처리 장치가 제공된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램

본 개시는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.

편광 화상에 기초하여 피사체의 법선 방향 벡터를 추정하는 기술이 개발되어 있다. 촬상 위치가 상이한 복수의 편광 화상에 기초하여 피사체의 법선 방향 벡터를 추정하는 기술로서는, 예를 들어 하기 특허문헌 1에 기재된 기술을 들 수 있다.

국제 공개 제2009/147814호

시선의 검출에 이용되는 방법으로서는, 예를 들어 IR LED(InfraRed Light Emitting Diode) 등의 광원의 광이 각막에 있어서 반사된 각막 반사 상(「푸르킨예 상」이라고도 칭해진다. 이하에서는, 각막 반사 상을 「푸르킨예 상」 또는 「휘점」이라고 나타내는 경우가 있다)을 사용하는 각막 반사법을 이용하는 방법이 있다. 각막 반사법이 이용되는 경우, 예를 들어 2개의 푸르킨예 상을 촬상 디바이스로 촬상하고 2개의 푸르킨예 상을 관측함으로써, 눈의 각막 중심의 3차원 위치를 구하는 것이 가능하다. 따라서 각막 반사법이 이용되는 경우에는, 사람이나 동물 등의, 시선의 검출 대상(이하, 간단히 「검출 대상」이라고 나타내는 경우가 있다)의 시선을 검출할 수 있다.

그러나 각막 반사법이 이용되는 경우에는 IR LED 등의 광원의 광을 이용할 필요가 있으므로, 하기와 같은 폐해가 발생할 수 있다.

·시선의 검출 정밀도가 푸르킨예 상의 관측의 안정성에 의존한다.

·IR LED 등의 광원의 광은 태양광의 영향을 받기 쉬우므로, 예를 들어 옥외 등에서는 시선의 검출 정밀도가 저하될 우려가 있다.

·IR LED 등의 광원의 광이 이용됨으로써 시선의 추정 각도에 제한이 가해질 우려가 있다.

·IR LED 등의 광원을 설치할 필요가 있기 때문에 장치의 디자인에 제약이 발생할 수 있다.

본 개시에서는, 시선의 검출 대상의 시선을 검출하는 것이 가능한, 신규이고 개량된 정보 처리 장치, 정보 처리 방법 및 프로그램을 제안한다.

본 개시에 의하면, 시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 상기 검출 대상의 시선을 검출하는 처리부를 구비하는 정보 처리 장치가 제공된다.

또한 본 개시에 의하면, 시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 상기 검출 대상의 시선을 검출하는 스텝을 갖는, 정보 처리 장치에 의하여 실행되는 정보 처리 방법이 제공된다.

또한 본 개시에 의하면, 시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 상기 검출 대상의 시선을 검출하는 기능을 컴퓨터에 실현시키기 위한 프로그램이 제공된다.

본 개시에 의하면 시선의 검출 대상의 시선을 검출할 수 있다.

또한 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께 혹은 상기 효과 대신 본 명세서에 나타난 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.

도 1은 본 실시 형태에 따른 정보 처리 방법을 설명하기 위한 설명도이다.
도 2는 본 실시 형태에 따른 편광 화상의 취득 방법의 일례를 나타내는 설명도이다.
도 3은 본 실시 형태에 따른 정보 처리 방법을 설명하기 위한 설명도이다.
도 4는 본 실시 형태에 따른 정보 처리 방법을 설명하기 위한 설명도이다.
도 5는 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 나타내는 흐름도이다.
도 6은 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 설명도이다.
도 7은 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 설명도이다.
도 8은 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 설명도이다.
도 9는 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 흐름도이다.
도 10은 본 실시 형태에 따른 매칭용의 특징량의 산출 방법의 일례를 설명하기 위한 설명도이다.
도 11은 본 실시 형태에 따른 매칭용의 특징량의 산출 방법의 일례를 설명하기 위한 설명도이다.
도 12는 본 실시 형태에 따른 매칭용의 특징량의 산출 방법의 일례를 설명하기 위한 설명도이다.
도 13은 본 실시 형태에 따른 매칭용의 특징량의 산출 방법의 일례를 설명하기 위한 설명도이다.
도 14는 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 설명도이다.
도 15는 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 흐름도이다.
도 16은 본 실시 형태에 따른 정보 처리 장치의 구성의 일례를 나타내는 블록도이다.
도 17은 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 나타내는 설명도이다.

이하에, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명한다. 또한 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 번호를 붙임으로써 중복 설명을 생략한다.

또한 이하에서는, 하기에 나타내는 순서로 설명을 행한다.

1. 본 실시 형태에 따른 정보 처리 방법

2. 본 실시 형태에 따른 정보 처리 장치

3. 본 실시 형태에 따른 프로그램

(본 실시 형태에 따른 정보 처리 방법)

먼저, 본 실시 형태에 따른 정보 처리 방법에 대하여 설명한다. 이하에서는, 본 실시 형태에 따른 정보 처리 방법에 따른 처리를 본 실시 형태에 따른 정보 처리 장치가 행하는 경우를 예로 든다.

[1] 본 실시 형태에 따른 정보 처리 방법의 개요

상술한 바와 같이, 각막 반사법을 이용하여 시선의 검출을 행하는 경우에는, IR LED 등의 광원의 광을 이용하는 것에 기인하여 다양한 폐해가 발생할 수 있다.

그래서 본 실시 형태에 따른 정보 처리 장치는, 시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 검출 대상의 시선을 검출한다(검출 처리). 본 실시 형태에 따른 정보 처리 장치는, 후술하는 바와 같이, 편광 화상에 기초하여 눈에 있어서의 각막의 중심 위치를 추정하여 검출 대상의 시선을 검출한다. 각막의 중심 위치는, 후술하는 바와 같이, 편광 화상에 기초하여 검출된 눈에 있어서의 동공의 위치와 편광 화상에 기초하여 추정된다.

보다 구체적으로는, 본 실시 형태에 따른 정보 처리 장치는 편광 화상으로부터 얻어지는 법선에 기초하여 검출 대상의 시선을 검출한다.

본 실시 형태에 따른 편광 화상이란, 편광 이미징 기술을 이용하여 촬상 디바이스에 의하여 촬상된 촬상 화상이다.

도 1은, 본 실시 형태에 따른 정보 처리 방법을 설명하기 위한 설명도이며, 본 실시 형태에 따른 정보 처리 방법의 적용예를 나타내고 있다.

도 1의 A는, 촬상 디바이스가, 검출 대상의 헤드부에 장착하여 사용되는 웨어러블 장치에 구비되는 경우의 일례를 나타내고 있다. 즉, 도 1의 A는, 촬상 디바이스가 검출 대상에 대한 소정 위치에 고정되어 있는 경우의 일례를 나타내고 있으며, 도 1의 A에 나타내는 예에서는, 본 실시 형태에 따른 정보 처리 장치는 당해 촬상 디바이스로부터 편광 화상을 취득한다. 검출 대상의 헤드부에 장착하여 사용되는 웨어러블 장치로서는, 도 1의 A에 나타낸 바와 같은 안경형의 웨어러블 장치(아이웨어)나, HMD(Head Mounted Display) 등을 들 수 있다. 또한 도 1의 A에 나타내는 예에서는, 웨어러블 장치가 구비하는 표시 디바이스의 표시 화면에, UI(User Interface)에 따른 화상 등의 다양한 화상(정지 화상 또는 동화상)이 표시된다.

도 1의 B는, 촬상 디바이스가 환경에 설치되는 예를 나타내고 있다. 또한 도 1의 B에 나타내는 예에서는, 환경에 설치되어 있는 표시 디바이스의 표시 화면에 다양한 화상이 표시된다. 즉, 도 1의 B는, 촬상 디바이스가 표시 디바이스에 대한 소정 위치에 고정되어 있는 경우의 일례를 나타내고 있으며, 도 1의 B에 나타내는 예에서는, 본 실시 형태에 따른 정보 처리 장치는 당해 촬상 디바이스로부터 편광 화상을 취득한다.

이하에서는, 검출 대상이, 도 1에 나타낸 바와 같은 사람인 경우를 예로 든다.

또한 도 1에 나타내는 적용예에 있어서, 본 실시 형태에 따른 정보 처리 장치로서는, 예를 들어 도 1의 A에 나타낸 바와 같은 웨어러블 장치, 도 1의 B에 나타낸 바와 같은 표시 디바이스, 또는 PC(Personal Computer)나 서버 등의 컴퓨터 등을 들 수 있다. 또한 본 실시 형태에 따른 정보 처리 장치는 상기에 나타낸 예에 한정되지 않는다. 본 실시 형태에 따른 정보 처리 장치의 다른 적용예에 대해서는 후술한다.

편광 화상은, 예를 들어 도 1의 A에 나타낸 바와 같은 웨어러블 장치에 구비되는 촬상 디바이스에 의한 촬상, 또는 도 1의 B에 나타낸 바와 같은 환경에 설치되는 촬상 디바이스에 의한 촬상에 의하여 얻어진다.

또한 본 실시 형태에 따른 촬상 디바이스는, 스테레오 화상을 촬상하는 스테레오 카메라여도 된다. 본 실시 형태에 따른 촬상 디바이스가 스테레오 카메라인 경우, 스테레오 카메라에 의한 촬상에 의하여, 우안 화상에 대응하는 제1 편광 화상(또는 좌안 화상에 대응하는 제1 편광 화상)과 좌안 화상에 대응하는 제2 편광 화상(또는 우안 화상에 대응하는 제2 편광 화상)이라는, 스테레오 화상을 구성하는 2개의 편광 화상이 얻어진다.

편광 화상은, 예를 들어 "촬상 디바이스의 렌즈 앞(렌즈로부터 보아 피사체측)에 편광판을 설치하고, 설치된 편광판을 회전시켜 복수 회 촬상하는 것", "촬상 디바이스의 각 화소에 대하여 편광각이 상이한 편광 필터를 배치하여 1회 촬상하는 것" 등에 의하여 얻어진다.

도 2는, 본 실시 형태에 따른 편광 화상의 취득 방법의 일례를 나타내는 설명도이며, 촬상 디바이스의 각 화소에 대하여 배치되는 편광 필터의 일례를 나타내고 있다. 도 2에서는, 0[도], 45[도], 90[도], 135[도]라는 4종류의 편광각을 갖는 편광 필터가 각 화소에 대하여 배치되는 예를 나타내고 있다.

예를 들어 도 2에 나타낸 바와 같은 편광각이 상이한 복수의 편광 필터를 통하여 촬상이 행해짐으로써 촬상 디바이스에서는 편광 화상이 생성된다. 또한 본 실시 형태에 따른 편광 필터의 예가 도 2에 나타내는 예에 한정되지 않는 것, 및 편광 화상의 취득 방법이 편광 필터를 이용한 방법에 한정되지 않음은 물론이다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 도 2에 나타낸 바와 같은 복수의 편광 필터를 통과시킨 촬상에 의하여 얻어진 편광 화상에 기초하여 법선을 얻는다. 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 편광 화상이 나타내는 광 강도(복수의 편광 필터를 통하여 얻어지는 강도)를 코사인 커브에 피팅하고 각 화소의 법선 벡터를 특정함으로써 법선을 얻는다.

또한 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 복수의 편광 필터를 통하여 촬상된 편광 화상의 평균을 취함으로써 휘도 화상(또는 RGB 필터를 더 이용하는 경우에는 RGB 화상. 이하, 마찬가지로 한다)을 얻는 것이 가능하다.

여기서, 각 화소의 법선 벡터는 방위각과 천정각으로 표현된다.

도 3은, 본 실시 형태에 따른 정보 처리 방법을 설명하기 위한 설명도이며, 법선 벡터에 대응하는 방위각과 천정각의 일례를 나타내고 있다.

방위각은 코사인 커브의 위상으로부터 산출할 수 있고, 또한 천정각은 코사인 커브의 진폭으로부터 산출할 수 있다.

여기서, 방위각은 180[도]의 부정성을 갖는다. 그 때문에, 피사체의 어느 위치에 있어서의 법선 벡터를 일의적으로 특정하지 못하는 경우가 있다.

도 4는, 본 실시 형태에 따른 정보 처리 방법을 설명하기 위한 설명도이며, 방위각의 부정성에 의하여 법선 벡터가 일의적으로 특정되어 있지 않은 경우의 일례를 나타내고 있다.

도 4에 나타낸 바와 같이, 방위각이 180[도]의 부정성을 가짐으로써 법선 벡터 1과 법선 벡터 2라는 2개의 법선 벡터가 얻어지는 점에서, 피사체의 어느 위치에 있어서의 법선 벡터를 일의적으로 특정하지 못하는 일이 일어날 수 있다.

본 실시 형태에 따른 정보 처리 방법에 따른 검출 처리에서는, 후술하는 바와 같이, 편광 화상에 기초하여 검출 대상의 시선을 검출할 때, 검출 대상의 눈에 있어서의 각막 표면의 법선(이하, 「각막에 대응하는 법선」이라고 나타낸다)을 구한다. 여기서, 검출 대상의 눈은 구체인 것(또는 구체라고 간주할 수 있는 것)이 기지이므로, 편광 화상으로부터 얻어지는 휘도 화상 상에서의 동공의 위치를 검출하면, 도 4에 나타낸 바와 같은 상기 부정성을 해소할 수 있다. 즉, 본 실시 형태에 따른 정보 처리 장치는, 검출된 눈에 있어서의 동공의 위치에 기초하여, 편광 화상으로부터 얻어지는 복수의 법선으로부터 각막에 대응하는 법선을 특정한다. 또한 본 실시 형태에 따른 정보 처리 장치는, 검출된 눈에 있어서의 동공의 위치 및 각막의 형상에 기초하여, 각막에 대응하는 법선을 추정한다.

상기와 같이 본 실시 형태에 따른 정보 처리 장치는, 편광 이미징 기술을 이용하여 얻어진 편광 화상에 기초하여, 검출 대상의 눈에 있어서의 각막에 대응하는 법선을 구하는 것이 가능하다.

본 실시 형태에 따른 정보 처리 장치는, 편광 화상으로부터 얻어지는 법선에 기초하여 검출 대상의 눈에 있어서의 각막의 중심 위치를 추정한다. 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 구해진 각막에 대응하는 법선에 기초하여 눈에 있어서의 각막의 중심 위치를 추정한다.

눈에 있어서의 각막의 중심 위치가 추정됨으로써, 각막 반사법이 이용되는 경우와 마찬가지로 검출 대상의 시선을 검출할 수 있다.

여기서, 본 실시 형태에 따른 정보 처리 장치는, 편광 화상에 기초하여 얻어진 각막에 대응하는 법선에 기초하여 각막의 중심 위치를 추정한다. 즉, 본 실시 형태에 따른 정보 처리 장치에서는, 각막 반사법이 이용되는 경우와 같이 푸르킨예 상을 이용하여 각막의 중심 위치를 추정할 필요는 없다.

따라서 본 실시 형태에 따른 정보 처리 장치는, 본 실시 형태에 따른 정보 처리 방법에 따른 처리로서 검출 처리를 행함으로써, 각막 반사법을 이용하여 시선의 검출을 행하는 경우와 같은 폐해를 발생시키지 않고 검출 대상의 시선을 검출할 수 있다.

또한 본 실시 형태에 따른 촬상 디바이스가 스테레오 카메라인 경우, 본 실시 형태에 따른 정보 처리 장치는, 스테레오 화상을 구성하는 제1 편광 화상 및 제2 편광 화상 각각으로부터 얻어지는 법선에 기초하여 검출 대상의 시선을 검출한다. 후술하는 바와 같이, 본 실시 형태에 따른 정보 처리 장치는, 제1 편광 화상 및 제2 편광 화상 각각으로부터 얻어지는 법선에 기초하여 검출 대상의 눈에 있어서의 각막의 중심 위치를 추정함으로써 검출 대상의 시선을 검출한다.

따라서 본 실시 형태에 따른 정보 처리 장치는, 스테레오 화상을 구성하는 제1 편광 화상 및 제2 편광 화상에 기초하여 검출 처리를 행하는 경우에 있어서도, 각막 반사법을 이용하여 시선의 검출을 행하는 경우와 같은 폐해를 발생시키지 않고 검출 대상의 시선을 검출할 수 있다.

[2] 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례

본 실시 형태에 따른 정보 처리 장치는, "편광 화상으로부터 얻어지는 법선에 기초하여 검출 대상의 시선을 검출하는 검출 처리"을 행한다.

상술한 바와 같이, 본 실시 형태에 따른 정보 처리 장치는, 편광 화상으로부터 얻어지는 법선에 기초하여 눈에 있어서의 각막의 중심 위치를 추정하여 검출 대상의 시선을 검출한다. 본 실시 형태에 따른 정보 처리 장치는, 편광 화상에 기초하여 추정되는 각막에 대응하는 법선에 기초하여 각막의 중심 위치를 추정한다.

이하, 본 실시 형태에 따른 정보 처리 방법에 따른 처리에 대하여 보다 구체적으로 설명한다.

도 5는, 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 나타내는 흐름도이다.

본 실시 형태에 따른 정보 처리 장치는 편광 화상으로부터 휘도 화상(또는 RGB 화상)을 생성한다(S100). 복수의 편광 필터를 통하여 촬상된 편광 화상의 평균을 취함으로써 휘도 화상을 생성한다. 또한 본 실시 형태에 따른 정보 처리 장치는 또한 RGB 필터를 끼움으로써 RGB 화상을 생성하는 것이 가능하다. 이하에서는, 스텝 S100에 있어서 휘도 화상이 생성되는 경우를 예로 든다.

본 실시 형태에 따른 정보 처리 장치는 휘도 화상으로부터 검출 대상의 눈에 있어서의 동공을 검출한다(S102). 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 동공 검출용의 사전 데이터를 이용한 기계 학습에 의하여 휘도 화상으로부터 동공을 검출한다.

본 실시 형태에 따른 정보 처리 장치는 휘도 화상으로부터 동공이 검출되었는지의 여부를 판정한다(S104). 여기서, 스텝 S104에 있어서 휘도 화상으로부터 동공이 검출되었다고 판정되지 않는 경우에는, 촬상 디바이스에 있어서의 촬상에 의하여 얻어진 편광 화상이, 검출 대상의 눈이 촬상된 편광 화상은 아닌 경우에 해당한다. 또한 스텝 S104에 있어서 휘도 화상으로부터 동공이 검출되었다고 판정된 경우에는, 촬상 디바이스에 있어서의 촬상에 의하여 얻어진 편광 화상이, 검출 대상의 눈이 촬상된 편광 화상인 경우에 해당한다

스텝 S104에 있어서 휘도 화상으로부터 동공이 검출되었다고 판정되지 않는 경우, 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 스텝 S100으로부터의 처리를 반복한다.

또한 스텝 S104에 있어서 휘도 화상으로부터 동공이 검출되었다고 판정된 경우에는, 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 편광 화상으로부터 법선 화상을 생성한다(S106). 법선 화상이란, 예를 들어 편광 화상의 각 화소에 있어서 특정되는 법선 벡터로 표시된 화상이다. 즉, 스텝 S106의 처리는, 편광 화상의 각 화소에 있어서 법선을 얻는 처리에 해당한다.

본 실시 형태에 따른 정보 처리 장치는, 스텝 S102에 있어서의 동공의 검출 결과와 스텝 S106에 있어서 생성된 법선 화상에 기초하여 동공 위치로부터 각막 상의 최근점을 구한다(S108).

도 6은, 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 설명도이며, 각막 상의 최근점의 일례를 나타내고 있다. 예를 들어 도 6에 나타낸 바와 같이 각막 상의 최근점이란, 예를 들어 천정각이 가장 작은 각막 상의 위치에 대응하는 점이다.

예를 들어 스텝 S108의 처리는, 편광 화상에 기초하여 검출된, 눈에 있어서의 동공의 위치와, 편광 화상으로부터 얻어지는 법선에 기초하여, 각막에 대응하는 법선을 추정하는 처리에 해당한다.

본 실시 형태에 따른 정보 처리 장치는 검출 대상의 눈이 구체라고 간주할 수 있으며, 즉, 각막이 구체라고 간주할 수 있다(또는 각막이 볼록 구면이라고 간주할 수 있다)는 것을 나타내는 정보에 기초하여 상술한 방위각의 부정성을 제거한다(S110).

도 7은, 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 설명도이며, 방위각의 부정성을 제거한 후의 법선 벡터의 일례를 나타내고 있다.

본 실시 형태에 따른 정보 처리 장치는 각막의 중심 위치를 추정한다(S112). 각막의 중심 위치는, 예를 들어 3차원의 좌표로 표시된다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 하기 (1)에 나타내는 제1 예에 따른 처리, 내지 (4)에 나타내는 제4 예에 따른 처리 중 어느 처리를 행함으로써 각막의 중심 위치를 구함으로써, 각막의 중심 위치를 추정한다.

(1) 각막의 중심 위치의 추정에 따른 처리의 제1 예: 각막 상의 복수의 법선에 기초하는 추정의 제1 예

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 각막 상의 복수의 법선에 기초하여 각막의 중심 위치를 추정한다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 각막 상의 복수의 법선의 최근방점을 구하고, 구해진 최근방점을 각막의 중심 위치로 한다. 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 각막의 반경에 기초하여 각막 상의 복수의 법선의 최근방점을 구한다.

본 실시 형태에 따른 정보 처리 장치가 각막의 중심 위치의 추정에 이용하는 각막의 반경은, 미리 설정되어 있는 고정값이어도 되고, 검출 대상에 대응하는 조정값에 의하여 당해 고정값이 조정되는 가변값이어도 된다. 각막의 반경이 가변값인 경우, 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 "생체 인증, 패스워드 인증 등의 임의의 방법에 의하여 특정된, 검출 대상의 인식 결과"와, "검출 대상과 조정값이 대응지어져 있는 테이블(또는 데이터베이스. 이하, 마찬가지로 한다)"에 기초하여, 검출 대상에 대응하는 조정값을 특정한다.

(2) 각막의 중심 위치의 추정에 따른 처리의 제2 예: 각막 상의 복수의 법선에 기초하는 추정의 제2 예

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 각막 상의 복수의 법선에 기초하여 각막의 중심 위치를 추정한다.

도 8은, 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 설명도이다. 도 8은, 각막 상의 2개의 법선에 기초하여 각막의 중심 위치를 추정하는 경우의 예를 나타내고 있다.

촬상 디바이스의 중심 위치(이하, 「카메라 중심」이라고 나타내는 경우가 있다)를 좌표계의 원점 O, 각막의 중심 위치를 C=(cx, cy, cz), 각막 반경을 r, 각막 상의 점을 G1, G2라 한다. 또한 각막 상의 점 G1 상의 법선 벡터를 N1, 각막 상의 점 G2 상의 법선 벡터를 N2, 촬상 디바이스의 중심 위치 O로부터 각막 상의 점 G1을 향하는 벡터를 I1, 촬상 디바이스의 중심 위치 O로부터 각막 상의 점 G2를 향하는 벡터를 I2, 촬상 디바이스의 중심 위치 O와 각막 상의 점 G1 사이의 거리를 d1, 촬상 디바이스의 중심 위치 O와 각막 상의 점 G2 사이의 거리를 d2라 한다. 이하에서는, 촬상 디바이스의 중심 위치 O와 각막 상의 점 G1 사이의 거리 d1을 「거리 d1」이라고 나타내고, 촬상 디바이스의 중심 위치 O와 각막 상의 점 G2 사이의 거리 d2를 「거리 d2」라고 나타내는 경우가 있다.

여기서, 각막의 중심 위치 C의 좌표, 촬상 디바이스의 중심 위치 O와 각막 상의 점 G1 사이의 거리 d1, 및 촬상 디바이스의 중심 위치 O와 각막 상의 점 G2 사이의 거리 d2가 미지이다. 이하에서는, 촬상 디바이스의 중심 위치 O와 각막 상의 점 G1 사이의 거리 d1을 「거리 d1」이라고 나타내고, 촬상 디바이스의 중심 위치 O와 각막 상의 점 G2 사이의 거리 d2를 「거리 d2」라고 나타내는 경우가 있다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 각막의 중심 위치 C의 좌표, 거리 d1 및 거리 d2를 미지로 하고, 하기 수식 1을 거리 d1, 거리 d2에 대하여 풀어냄으로써 각막의 중심 위치 C의 좌표를 구한다. 여기서, 수식 1로 표시되는 각 벡터는 x 좌표 성분, y 좌표 성분 및 z 좌표 성분을 가지므로, 수식 1은 비선형 연립 방정식에 해당한다. 또한 촬상 디바이스의 중심 위치 O로부터 각막의 중심 위치 C를 향하는 벡터는 하기 수식 2로 표시되고, 거리 d1 및 거리 d2는 하기 수식 3으로 표시된다.

… (수식 1)

… (수식 2)

… (수식 3)

본 실시 형태에 따른 정보 처리 장치는, 상기 수식 1로부터 구해진 거리 d1 및 거리 d2와, 상기 수식 3에 의하여, 각막 상의 점 G1의 위치 및 각막 상의 점 G2의 위치를 구한다. 그리고 본 실시 형태에 따른 정보 처리 장치는, 각막 상의 점 G1의 위치, 각막 상의 점 G1 상의 법선 벡터 N1, 각막 상의 점 G2의 위치, 각막 상의 점 G2 상의 법선 벡터 N2, 및 각막 반경 r에 의하여 각막의 중심 위치 C의 좌표를 구한다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 상기와 같이 각막 상의 2개의 법선에 기초하여 각막의 중심 위치를 추정할 수 있다.

또한 각막 상의 법선이 N개(N은 3 이상의 정수) 있는 경우에는, 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 상기 수식 1을 N개의 법선으로 확장하여 N개의 미지수를 구함으로써, 각막 상의 2개의 법선에 기초하는 경우와 마찬가지로 각막의 중심 위치 C의 좌표를 구할 수 있다. 여기서, 각막의 중심 위치 C의 좌표의 추정에 이용하는 각막 상의 법선의 수를 증가시킴으로써, 노이즈 등의 영향의 경감을 도모할 수 있다.

(3) 각막의 중심 위치의 추정에 따른 처리의 제3 예: 각막 상의 복수의 법선에 기초하는 추정의 제3 예

또한 각막 상의 복수의 법선에 기초하는 추정의 예(추정예)는 상기 제1 예에 따른 처리와 상기 제2 예에 따른 처리에 한정되지 않는다.

상술한 바와 같이, 본 실시 형태에 따른 정보 처리 장치는, 스테레오 화상을 구성하는 제1 편광 화상 및 제2 편광 화상 각각으로부터 얻어지는 법선에 기초하여 검출 대상의 눈에 있어서의 각막의 중심 위치를 추정하는 것도 가능하다.

제1 편광 화상 및 제2 편광 화상에 기초하여 검출 대상의 눈에 있어서의 각막의 중심 위치를 추정하는 경우, 본 실시 형태에 따른 정보 처리 장치는 제1 편광 화상 및 제2 편광 화상에 기초하여 시차를 구한다. 그리고 본 실시 형태에 따른 정보 처리 장치는 구해진 시차를 이용하여 각막의 중심 위치를 추정한다.

(3-1) 제1 편광 화상 및 제2 편광 화상에 기초하여 시차를 구하는 처리의 일례

제1 편광 화상 및 제2 편광 화상에 기초하여 시차를 구하는 처리의 일례를 설명한다. 도 9는, 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 흐름도이며, 제1 편광 화상 및 제2 편광 화상에 기초하여 시차를 구하는 처리의 일례를 나타내고 있다.

본 실시 형태에 따른 정보 처리 장치는, 도 5의 스텝 S100과 마찬가지로 제1 편광 화상으로부터 휘도 화상을 생성하고 제2 편광 화상으로부터 휘도 화상을 생성한다(S200). 이하에서는, 제1 편광 화상으로부터 생성되는 휘도 화상을 「제1 휘도 화상」이라고 나타내고, 제2 편광 화상으로부터 생성되는 휘도 화상을 「제2 휘도 화상」이라고 나타낸다.

또한 본 실시 형태에 따른 정보 처리 장치는, 스텝 S200의 처리를 행하지 않고 도 5의 스텝 S100의 처리에 의하여 생성된 제1 편광 화상에 대응하는 휘도 화상과 제2 편광 화상에 대응하는 휘도 화상을 스텝 S202 이후의 처리에 이용하는 것도 가능하다.

본 실시 형태에 따른 정보 처리 장치는, 제1 편광 화상 및 제2 편광 화상 각각으로부터 법선 방향을 추정한다(S202). 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 도 5의 스텝 S106과 마찬가지의 처리를 행함으로써 제1 편광 화상 및 제2 편광 화상 각각으로부터 법선 방향을 추정한다. 이하에서는, 제1 편광 화상으로부터 생성되는 법선 화상을 「제1 법선 화상」이라고 나타내고, 제2 편광 화상으로부터 생성되는 법선 화상을 「제2 법선 화상」이라고 나타낸다.

또한 본 실시 형태에 따른 정보 처리 장치는, 스텝 S202의 처리를 행하지 않고 도 5의 스텝 S106의 처리 결과를 스텝 S204 이후의 처리에 이용하는 것도 가능하다.

본 실시 형태에 따른 정보 처리 장치는, 스테레오 화상(제1 편광 화상 및 제2 편광 화상. 이하, 마찬가지로 한다)에 대응하는 휘도 화상 및 스테레오 화상에 대응하는 법선 화상을 병행화한다(S204). 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 제1 휘도 화상과 제2 휘도 화상에 대하여 대응하는 화소의 법선이 만나도록 워핑을 행함으로써, 스테레오 화상에 대응하는 휘도 화상을 병행화한다. 또한 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 제1 법선 화상과 제2 법선 화상에 대하여 대응하는 화소의 법선이 만나도록 워핑을 행함으로써, 스테레오 화상에 대응하는 법선 화상을 병행화한다. 워핑의 일례에 대해서는 후술한다.

본 실시 형태에 따른 정보 처리 장치는, 스테레오 화상에 대응하는 휘도 화상과, 스테레오 화상에 대응하는 법선 화상으로부터 얻어지는 법선을 나타내는 법선 정보에 기초하여, 제1 휘도 화상과 제2 휘도 화상을 매칭하기 위한 특징량(이하, 「매칭용의 특징량」이라고 나타낸다)을 산출한다(S206). 매칭용의 특징량은, 예를 들어 스테레오 화상에 있어서의 대응하는 복수의 화소에 대하여 산출된다.

여기서, 매칭용의 특징량을 구하는 방법으로서는, "AD(Absolute Difference)", "SAD(Sum Of Absolute Difference)", "NCC(Normalized Cross-Correlation)", "Census Transform", "LBP(Local Binary Pattern)" 등을 들 수 있다.

그러나 "AD" 등의, 기존의 매칭용의 특징량을 구하는 방법은, 주로 텍스처를 특징으로 한 매칭에 따른 처리이다. 그 때문에, 기존의 매칭용의 특징량을 구하는 방법만을 이용하는 경우, 예를 들어 텍스처가 적은 피사체가 스테레오 카메라에 의하여 촬상될 때는 제1 휘도 화상과 제2 휘도 화상을 매칭하지 못하는 일이 일어날 수 있다.

그래서 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 법선 정보를 이용하여 얻어지는 스코어에 기초하여 매칭용의 특징량을 산출한다. 또한 후술하는 바와 같이, 본 실시 형태에 따른 정보 처리 장치는, 또한 하나 또는 둘 이상의 상기 기존의 매칭용의 특징량을 구하는 방법을 이용하여 얻어지는 하나 또는 둘 이상의 스코어에 기초하여 매칭용의 특징량을 산출하는 것도 가능하다.

법선 정보를 이용하여 얻어지는 스코어에 기초하여 매칭용의 특징량을 산출함으로써, 텍스처가 적은 피사체가 촬상되는 경우에도 매칭의 정밀도를 향상시키는 것이 가능해진다. 따라서 법선 정보를 이용하여 얻어지는 스코어에 기초하여 매칭용의 특징량을 산출함으로써, 상기 기존의 매칭용의 특징량을 구하는 방법만이 이용되는 경우보다도 매칭의 정밀도를 향상을 도모할 수 있다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 하기 수식 4에 의하여 매칭용의 특징량을 산출한다.

여기서, 수식 4에 나타내는 "Matching Score"가 매칭용의 특징량에 해당한다. 또한 수식 4에 나타내는 "ScoreA"는, 하나의 기존의 매칭용의 특징량을 구하는 방법에 의하여 얻어지는 스코어를 나타내고, 수식 4에 나타내는 "a"는, "ScoreA"에 대한 가중치 부여를 규정하는 계수이다. 수식 4에 나타내는 "ScoreB"는, 다른 기존의 매칭용의 특징량을 구하는 방법에 의하여 얻어지는 스코어를 나타내고 있고, 수식 4에 나타내는 "b"는, "ScoreB"에 대한 가중치 부여를 규정하는 계수이다. 또한 수식 4에 나타내는 "ScoreC"는, 법선 정보를 이용하여 얻어지는 스코어를 나타내고 있고, 수식 4에 나타내는 "c"는, "ScoreC"에 대한 가중치 부여를 규정하는 계수이다.

또한 수식 4에 나타내는 계수 "a", "b", "c" 각각은, 미리 설정되어 있는 고정값이어도 되고, 본 실시 형태에 따른 정보 처리 장치의 유저의 조작 등에 의하여 변경 가능한 가변값이어도 된다. 또한 수식 4에 나타내는 계수 "a"와 계수 "b" 중 한쪽 또는 양쪽은 0(제로)이어도 된다.

Matching Score=a·ScoreA+b·ScoreB+c·ScoreC

… (수식 4)

또한 매칭용의 특징량을 산출하기 위한 수식은 상기 수식 4에 한정되지 않는다. 예를 들어 본 실시 형태에 따른 정보 처리 장치는, 3개 이상의 기존의 매칭용의 특징량을 구하는 방법에 의하여 얻어지는 스코어를 이용하여 매칭용의 특징량을 산출하는 것도 가능하다.

이하, ScoreA가 "Census Transform"에 의하여 얻어지는 스코어이고, ScoreB가 "AD"에 의하여 얻어지는 스코어인 경우를 예로 들어, 기존의 매칭용의 특징량을 구하는 방법에 의한 스코어의 산출 방법의 일례를 나타낸다. 또한 법선 정보를 이용한 스코어의 산출 방법의 일례를 나타낸다.

도 10은, 본 실시 형태에 따른 매칭용의 특징량의 산출 방법의 일례를 설명하기 위한 설명도이며, "Census Transform"에 의한 스코어의 산출 방법의 일례를 나타내고 있다. 도 10에 나타내는 A는, 좌안에 대응하는 휘도 화상(제1 휘도 화상 또는 제2 휘도 화상)을 나타내고, 도 10에 나타내는 B는, 우안에 대응하는 휘도 화상(제2 휘도 화상 또는 제1 휘도 화상)을 나타내고 있다.

"Census Transform"에서는, 좌안에 대응하는 휘도 화상과 우안에 대응하는 휘도 화상에 있어서의 주목 화소를 중심으로 한 패치 내에 있어서, 주목 화소와 다른 화소의 대소 관계가 1 또는 0로 표현된다. 그리고 "Census Transform"에서는, 주목 화소와 다른 화소의 대소 관계가 표현된 결과를 비트 패턴화한 것이 특징량으로 된다.

예를 들어 패치가, 도 10의 C에 나타낸 바와 같이 주목 화소를 중심으로 하는 5×5 화소로 구성되는 경우, 좌안에 대응하는 휘도 화상에 있어서의 주목 화소와 다른 화소의 대소 관계는 도 10의 D와 같이 표현되고, 도 10의 E에 나타낸 바와 같이 비트 패턴화된다. 도 10에 나타낸 바와 같이 패치가 5×5 화소로 구성되는 경우에는 24[bit]의 특징량이 생성된다.

또한 도 10에서는 나타내고 있지 않지만, 우안에 대응하는 휘도 화상에 있어서의 주목 화소에 대해서도 마찬가지로 특징량이 얻어진다. 여기서, 우안에 대응하는 휘도 화상에 있어서의 주목 화소는, 예를 들어 좌안에 대응하는 휘도 화상에 있어서의 주목 화소를 기준으로 하여, 우안에 대응하는 휘도 화상에 있어서의 동일한 라인의 화소를 탐색함으로써 특정된다.

그리고 "Census Transform"에서는, 좌안에 대응하는 휘도 화상에 기초하는 주목 화소의 특징량과 우안에 대응하는 휘도 화상에 기초하는 주목 화소의 특징량의 허밍 거리가 산출되고, 산출된 허밍 거리가 스코어로 된다.

또한 도 9의 스텝 S204에 나타낸 바와 같이, 스테레오 화상에 대응하는 휘도 화상이 병행화되는 경우에는, 주목 화소를 중심으로 한 패치의 특징량 및 스코어가 계산될 때, 스테레오 화상에 대응하는 휘도 화상의 법선 방향이 만나도록 워핑이 행해진 후에, 패치의 특징량 및 스코어가 계산된다.

도 11은, 본 실시 형태에 따른 매칭용의 특징량의 산출 방법의 일례를 설명하기 위한 설명도이며, 하나의 법선을 이용하여 워핑이 행해지는 예를 나타내고 있다. 도 11에 나타내는 A는, 좌안에 대응하는 휘도 화상(제1 휘도 화상 또는 제2 휘도 화상)을 나타내고, 도 11에 나타내는 B는, 우안에 대응하는 휘도 화상(제2 휘도 화상 또는 제1 휘도 화상)을 나타내고 있다. 또한 도 11에 나타내는 C는, 워핑이 행해진 우안에 대응하는 휘도 화상을 나타내고 있다.

좌안에 대응하는 휘도 화상과, 도 11의 C에 나타낸 바와 같이 워핑이 행해진 우안에 대응하는 휘도 화상에 기초하여, "Census Transform"에 의하여 스코어가 산출됨으로써, 보다 정밀도가 높은 시차를 얻는 것이 가능한 매칭용의 특징량을 산출할 수 있다.

또한 도 11에서는, 하나의 법선을 이용하여 워핑이 행해지는 예를 나타내고 있지만, 상술한 방위각의 부정성을 고려하여 2개의 법선을 이용하여 2회 워핑을 행하고 각각 특징량 및 스코어를 계산한 후에 보다 작은 값(또는 큰 값)을 채용하는 것도 가능하다.

도 12는, 본 실시 형태에 따른 매칭용의 특징량의 산출 방법의 일례를 설명하기 위한 설명도이며, "AD"에 의한 스코어의 산출 방법의 일례를 나타내고 있다. 도 12에 나타내는 A는, 좌안에 대응하는 휘도 화상(제1 휘도 화상 또는 제2 휘도 화상)을 나타내고, 도 12에 나타내는 B는, 우안에 대응하는 휘도 화상(제2 휘도 화상 또는 제1 휘도 화상)을 나타내고 있다.

"AD"에서는, 스테레오 화상에 대응하는 휘도 화상에 있어서의 주목 화소 각각의 화소값이 특징량으로 된다. 그리고 "AD"에서는, 주목 화소의 화소값의 차분의 절댓값이 스코어로 된다.

도 13은, 본 실시 형태에 따른 매칭용의 특징량의 산출 방법의 일례를 설명하기 위한 설명도이며, 법선 정보를 이용한 스코어의 산출 방법의 일례를 나타내고 있다. 도 13에 나타내는 A는, 좌안에 대응하는 휘도 화상(제1 휘도 화상 또는 제2 휘도 화상)을 나타내고, 도 13에 나타내는 B는, 우안에 대응하는 휘도 화상(제2 휘도 화상 또는 제1 휘도 화상)을 나타내고 있다.

좌안에 대응하는 휘도 화상에 있어서의 주목 화소를 기준으로 하여, 우안에 대응하는 휘도 화상에 있어서의 주목 화소가 탐색되는 경우, "좌안에 대응하는 휘도 화상에 있어서의 주목 화소의 법선(L_Normal_1)과 우안에 대응하는 휘도 화상에 있어서의 주목 화소의 법선(R_Normal_1)의 내적"과, "좌안에 대응하는 휘도 화상에 있어서의 주목 화소의 법선(L_Normal_1)과 우안에 대응하는 휘도 화상에 있어서의 주목 화소의 법선(R_Normal_2)의 내적"이 각각 산출된다. 그리고 산출된 내적 중 큰 값이 스코어로서 채용된다.

여기서, 주목 화소에 있어서 법선이 2개 존재하는 이유는, 상술한 바와 같이 방위각에 부정성이 존재하기 때문이다. 또한 내적의 계산에는 4(2×2)종류의 조합이 있으므로, 4종류의 조합에 대응하는 내적을 취하는 것도 가능하다. 그러나 상기와 같이 한쪽 화상에 있어서의 법선을 고정하고 또 다른 쪽 법선에 있어서의 2종류의 법선과의 내적을 계산한 경우에도 충분한 정밀도의 스코어를 얻을 수 있다.

본 실시 형태에 따른 정보 처리 장치는, 도 9의 스텝 S206에 있어서, 예를 들어 상기 수식 4에 나타내는 연산을 행함으로써 매칭용의 특징량을 산출한다.

다시 도 9를 참조하여, 제1 편광 화상 및 제2 편광 화상에 기초하여 시차를 구하는 처리의 일례를 설명한다. 본 실시 형태에 따른 정보 처리 장치는, 스텝 S206에 있어서 산출된 매칭용의 특징량에 기초하여 스테레오 화상에 있어서의 화상 매칭의 우도를 산출하고, 스테레오 화상에 있어서의 가장 우도가 높은 화소의 위치에 있어서의 시차를 구한다(S208).

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 도 9에 나타내는 처리를 행함으로써 제1 편광 화상 및 제2 편광 화상에 기초하여 시차를 구한다. 또한 제1 편광 화상 및 제2 편광 화상에 기초하여 시차를 구하는 처리의 예가, 도 9에 나타내는 예에 한정되지 않음은 물론이다.

(3-2) 시차를 이용하여 각막의 중심 위치를 추정하는 처리

본 실시 형태에 따른 정보 처리 장치는, 구해진 시차를 이용하여 각막의 중심 위치를 추정한다.

도 14는, 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 설명도이다. 도 14는, 각막 상의 2개의 법선 및 시차에 기초하여 각막의 중심 위치를 추정하는 경우의 예를 나타내고 있다.

스테레오 카메라를 구성하는 하나의 촬상 디바이스의 중심 위치(카메라 중심)를 좌표계의 원점 O, 각막의 중심 위치를 C=(cx, cy, cz), 각막 반경을 r, 각막 상의 점을 G1, G2라 한다. 또한 각막 상의 점 G1 상의 법선 벡터를 N1, 각막 상의 점 G2 상의 법선 벡터를 N2, 하나의 촬상 디바이스의 중심 위치 O로부터 각막 상의 점 G1을 향하는 벡터를 I1, 하나의 촬상 디바이스의 중심 위치 O로부터 각막 상의 점 G2를 향하는 벡터를 I2, 하나의 촬상 디바이스의 중심 위치 O와 각막 상의 점 G1 사이의 거리를 d1, 하나의 촬상 디바이스의 중심 위치 O와 각막 상의 점 G2 사이의 거리를 d2라 한다. 이하에서는, 하나의 촬상 디바이스의 중심 위치 O와 각막 상의 점 G1 사이의 거리 d1을 「거리 d1」이라고 나타내고, 하나의 촬상 디바이스의 중심 위치 O와 각막 상의 점 G2 사이의 거리 d2를 「거리 d2」라고 나타내는 경우가 있다.

상기 (3-1)의 처리에 의하여 구해진 시차에 의하여, 각막 상의 점 G1의 z 좌표에 상당하는 "z1"과 각막 상의 점 G2의 z 좌표에 상당하는 "z2"가 구해진다. 본 실시 형태에 따른 정보 처리 장치는, 하기 수식 5에 나타내는 연산을 행함으로써 거리 d1 및 거리 d2를 산출한다. 여기서, 수식 5에 나타내는 "f_x"는, 촬상 디바이스의 내부 파라미터의 하나인 FocalLength의 x 방향을 나타내고, 수식 5에 나타내는 "f_y"는 FocalLength의 y 방향을 나타내고 있다. 또한 수식 5에 나타낸 (u1, v1)은 각막 상의 점 G1의 화상 상의 좌표를 나타내고 있고, 수식 5에 나타낸 (u2, v2)는 각막 상의 점 G2의 화상 상의 좌표를 나타내고 있다. 수식 5에 나타내는 "u1", "v1", "u2" 및 "v2"는, 예를 들어 단위 [pix]로 표시된다.

… (수식 5)

거리 d1 및 거리 d2가 산출되면, 본 실시 형태에 따른 정보 처리 장치는 상기 수식 1에 의하여 각막 반경 r을 구하고 각막의 중심 위치 C의 좌표를 구한다.

상술한 바와 같이, 구해진 거리 d1 및 거리 d2와, 상기 수식 3에 의하여, 각막 상의 점 G1의 위치 및 각막 상의 점 G2의 위치가 구해진다. 본 실시 형태에 따른 정보 처리 장치는, 각막 상의 점 G1의 위치, 각막 상의 점 G1 상의 법선 벡터 N1, 각막 상의 점 G2의 위치, 각막 상의 점 G2 상의 법선 벡터 N2, 및 상기 수식 1에 의하여 구해진 각막 반경 r에 의하여 각막의 중심 위치 C의 좌표를 구한다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 상기와 같이 시차를 이용하여 각막의 중심 위치를 추정할 수 있다.

또한 각막 상의 법선이 N개(N은 3 이상의 정수) 있는 경우에는, 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 상기 수식 1을 N개의 법선으로 확장함으로써, 각막 상의 2개의 법선에 기초하는 경우와 마찬가지로 각막의 중심 위치 C의 좌표를 구하는 것이 가능하다.

(4) 각막의 중심 위치의 추정에 따른 처리의 제4 예: RANSAC(Random Sample Consensus)를 이용한 추정

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 RANSAC를 이용하여 최적화 문제를 풀어냄으로써 각막의 중심 위치를 추정한다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 M개(최소 2개)의 법선 벡터로부터 각막의 중심 좌표를 구하고, 구한 각막의 중심 좌표를 중심으로 하는 반경 r의 구를 화상에 재투영한다. 또한 본 실시 형태에 따른 정보 처리 장치는, 구 상의 법선과 편광 화상으로부터 구한 법선의 내적을 산출하고, 설정되어 있는 역치를 초과한 법선의 수를 카운트한다. 그리고 본 실시 형태에 따른 정보 처리 장치는, 가장 개수가 많았던 법선을 이용하여 최적화에 의하여 구의 중심 좌표를 구하여 각막의 중심 위치를 추정한다.

도 15는, 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명하기 위한 흐름도이며, RANSAC를 이용하여 각막의 중심 위치를 추정하는 처리의 일례를 나타내고 있다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 상기 (1)에 나타내는 제1 예에 따른 처리와 마찬가지로, M개의 법선 벡터의 최근방점으로서 각막의 중심 위치의 좌표를 산출한다(S300).

본 실시 형태에 따른 정보 처리 장치는, 스텝 S300에 있어서 산출된 좌표를 중심으로 하여 반경 r의 구의 표면을, 편광 화상에 기초하는 휘도 화상에 재투영한다(S302). 여기서, 반경 r은 각막의 반경에 상당한다. 반경 r은, 미리 설정되어 있는 고정값이어도 되고, 검출 대상에 대응하는 조정값에 의하여 당해 고정값이 조정되는 가변값이어도 된다.

본 실시 형태에 따른 정보 처리 장치는, 구 상의 법선과 편광 화상으로부터 구한 법선의 내적을 산출하고, 설정되어 있는 역치를 초과한 법선의 수를 카운트한다(S304). 상기 역치는, 미리 설정되어 있는 고정값이어도 되고, 본 실시 형태에 따른 정보 처리 장치의 유저의 조작 등에 의하여 변경 가능한 가변값이어도 된다.

본 실시 형태에 따른 정보 처리 장치는, 스텝 S304에 있어서 카운트된 법선의 수가 최댓값을 초과하였는지의 여부를 판정한다(S306). 여기서, 최댓값의 초기값으로서는, 0(제로) 등 설정되어 있는 값을 들 수 있다. 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 상기 법선의 수가 상기 최댓값보다 큰 경우, 또는 상기 법선의 수가 상기 최댓값 이상인 경우에, 카운트된 법선의 수가 설정되어 있는 최댓값을 초과했다고 판정한다.

스텝 S306에 있어서 최댓값을 초과했다고 판정되지 않는 경우에는, 본 실시 형태에 따른 정보 처리 장치는 후술하는 스텝 S310으로부터의 처리를 행한다.

또한 스텝 S306에 있어서 최댓값을 초과했다고 판정된 경우에는, 본 실시 형태에 따른 정보 처리 장치는, 최댓값을 카운트된 법선의 수로 갱신하고, 설정되어 있는 역치를 초과한 법선의 위치를 RAM(Random Access Memory) 등의 기록 매체에 기억한다(S308).

스텝 S306에 있어서 최댓값을 초과했다고 판정되지 않는 경우, 또는 스텝 S308의 처리가 행해진 경우에는, 본 실시 형태에 따른 정보 처리 장치는 L회(L은 설정되어 있는 정수) 처리가 행해졌는지의 여부를 판정한다(S310). L의 값은, 미리 설정되어 있는 고정값이어도 되고, 본 실시 형태에 따른 정보 처리 장치의 유저의 조작 등에 의하여 변경 가능한 가변값이어도 된다.

스텝 S310에 있어서 L회 처리가 행해졌다고 판정되지 않는 경우에는, 본 실시 형태에 따른 정보 처리 장치는 스텝 S300으로부터의 처리를 반복한다.

또한 스텝 S310에 있어서 L회 처리가 행해졌다고 판정된 경우에는, 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 "스텝 S302에 있어서 재투영시킨 각막의 중심 좌표를 중심으로 하는 반경 r의 구의 법선과, 스텝 S308에 있어서 기록 매체에 기억된 법선의 내적의 합"이 최대로 되는 각막의 중심 좌표를 최적화에 의하여 구한다(S312).

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 도 15에 나타내는 처리를 행함으로써 각막의 중심 위치를 추정한다. 또한 RANSAC를 이용한 각막의 중심 위치의 추정에 따른 처리가, 도 15에 나타내는 예에 한정되지 않음은 물론이다.

본 실시 형태에 따른 정보 처리 장치는, 도 5의 스텝 S112에 있어서, 예를 들어 상기 (1)에 나타내는 제1 예에 따른 처리, 내지 상기 (4)에 나타내는 제4 예에 따른 처리 중 어느 처리를 행함으로써 각막의 중심 위치를 추정한다.

다시 도 5를 참조하여, 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 일례를 설명한다. 본 실시 형태에 따른 정보 처리 장치는, 추정된 각막의 중심 위치와 각막의 반경에 기초하여 눈에 있어서의 동공의 중심 위치를 추정한다(S114). 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 각막 반사법이 이용되는 경우와 마찬가지로, 설정되어 있는 각막에 있어서의 동공 간 거리를 이용하고 또한 굴절 등을 고려함으로써 동공의 중심 위치를 추정한다.

본 실시 형태에 따른 정보 처리 장치는, 스텝 S112에 있어서 추정된 각막의 중심 위치와 스텝 S114에 있어서 추정된 동공의 중심 위치에 기초하여, 검출 대상의 시선에 대응하는, 광축을 나타내는 광축 벡터를 구한다(S116). 여기서 광축이란, 동공의 중심 위치를 통과하는 각막 법선이며, 예를 들어 각막의 중심 위치와 동공의 중심 위치를 연결한 선이 해당한다. 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 각막 반사법이 이용되는 경우와 마찬가지로 광축 벡터를 구한다.

본 실시 형태에 따른 정보 처리 장치는, 스텝 S116에 있어서 구해진 광축 벡터와, 캘리브레이션 정보에 기초하여, 검출 대상의 시축을 나타내는 시선 벡터를 구한다(S118).

시축이란, 절점(수정체 중앙 후면)과 중심와를 연결하는 선이며, 실제로 검출 대상이 보고 있는 축에 해당한다. 즉, 시선 벡터를 구함으로써 검출 대상의 시선이 검출된다.

시축과 광축은 일반적으로 일치하고 있지 않으며, 시축은 광축에 대하여 4[°] 내지 8[°] 정도 경사져 있다. 또한 광축에 대하여 시축의 경사는 개인 차가 있다.

상기와 같은 광축에 대한 시축의 어긋남을 보다 작게 하기 위하여, 캘리브레이션 정보에 기초하여 광축 벡터의 보정(이하, 「캘리브레이션」이라고 나타낸다)이 행해진다. 캘리브레이션은, 예를 들어 검출 대상의 눈마다 행해진다.

여기서, 캘리브레이션 정보는, 캘리브레이션을 행하기 위한 데이터이다. 캘리브레이션 정보로서는, 광축에 대한 시축의 어긋남(이하, 「오프셋」이라고 나타낸다)을 나타내는 데이터를 들 수 있다. 오프셋은, 예를 들어 하기와 같이 얻어진다.

·캘리브레이션 위치를 검출 대상으로 보고, 그때 구해진 광축 벡터와, 안구에 대응하는 기준 위치와 캘리브레이션 위치를 연결한 벡터의 차분을, 오프셋으로서 구한다.

본 실시 형태에 따른 정보 처리 장치는, 본 실시 형태에 따른 정보 처리 방법에 따른 검출 처리로서, 예를 들어 도 5에 나타내는 처리를 행함으로써, 편광 화상으로부터 얻어지는 법선에 기초하여 검출 대상의 시선을 검출한다. 또한 본 실시 형태에 따른 정보 처리 방법에 따른 검출 처리의 예가, 도 5에 나타내는 예에 한정되지 않음은 물론이다.

[3] 본 실시 형태에 따른 정보 처리 방법이 이용됨으로써 발휘되는 효과의 일례

본 실시 형태에 따른 정보 처리 방법에 따른 검출 처리가 행해짐으로써, 예를 들어 하기 효과를 발휘할 수 있다. 또한 본 실시 형태에 따른 정보 처리 방법에 따른 검출 처리가 행해짐으로써 발휘되는 효과가, 하기에 나타내는 예에 한정되지 않음은 물론이다.

·편광 이미징을 이용함으로써, LED 등의 광원을 사용하지 않고 촬상 디바이스에 의한 촬상만으로 검출 대상의 시선을 검출할 수 있다.

·LED 등의 광원이 사용되지 않으므로, 각막 반사법을 이용하여 시선의 검출을 행하는 경우와 같은, 푸르킨예 상의 아웃라이어에 의한 시선 정밀도의 저하 등이 발생하지 않는다.

·편광 화상에 기초하여 복수의 법선 벡터가 얻어지므로, 각막의 중심 위치의 추정 정밀도의 향상을 도모할 수 있다.

[4] 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 다른 예

또한 본 실시 형태에 따른 정보 처리 방법에 따른 처리는, "편광 화상으로부터 얻어지는 법선에 기초하여 검출 대상의 시선을 검출하는 검출 처리"에 한정되지 않는다.

예를 들어 본 실시 형태에 따른 정보 처리 장치는, "편광 화상으로부터 얻어지는 법선에 기초하여 시선 이외의 다양한 것을 검출하는 처리"(이하, 「다른 검출 처리」라고 나타낸다)를 행하는 것이 가능하다. 본 실시 형태에 따른 다른 검출 처리의 적용예로서는, 예를 들어 하기 (Ⅰ)에 나타내는 제1 예, 내지 (Ⅳ)에 나타내는 제4 예를 들 수 있다.

(Ⅰ) 다른 검출 처리의 제1 예

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 편광 화상으로부터 얻어지는 법선에 기초하여 검출 대상의 눈에 있어서의 각막의 중심 위치를 검출한다. 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 도 5의 스텝 S100 내지 S112의 처리를 행함으로써 각막의 중심 위치를 검출한다.

(Ⅱ) 다른 검출 처리의 제2 예

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 편광 화상으로부터 얻어지는 법선과, 오브젝트의 형상을 나타내는 정보에 기초하여, 형상을 나타내는 정보가 나타내는 오브젝트의 자세와 당해 오브젝트의 자세의 변화 중 한쪽 또는 양쪽을 검출한다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 편광 화상으로부터 얻어지는 법선의 조합에 의하여, 형상을 나타내는 정보가 나타내는 오브젝트의 자세를 추정함으로써, 당해 오브젝트의 자세를 검출한다. 또한 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 상이한 시점에 있어서의 촬상에 의하여 얻어진 복수의 편광 화상으로부터 얻어지는 법선의 조합을 비교함으로써, 형상을 나타내는 정보가 나타내는 오브젝트의 자세의 변화를 추정함으로써, 당해 오브젝트의 자세의 변화를 검출한다.

제2 예에 따른 다른 검출 처리의 적용예로서는, 예를 들어 "사람 등의 눈이 촬상된 편광 화상과, 안구(오브젝트의 일례)의 형상을 나타내는 정보에 기초하여, 눈의 자세를 검출하는 예"나, "게임기의 컨트롤러가 촬상된 편광 화상과, 당해 컨트롤러(오브젝트의 일례)의 형상을 나타내는 정보에 기초하여, 당해 컨트롤러의 자세를 검출하는 예" 등을 들 수 있다.

또한 본 실시 형태에 따른 정보 처리 장치는, 또한 형상을 나타내는 정보가 나타내는 오브젝트와 촬상 디바이스 사이의 거리에 기초하여 당해 오브젝트의 공간에 있어서의 위치(3차원 위치)를 검출하는 것도 가능하다. 상기 오브젝트와 촬상 디바이스 사이의 거리는, 예를 들어 TOF(Time Of Flight) 등의 임의의 방식에 의하여 거리를 검출하는 거리 센서 등에 의하여 검출된다.

(Ⅲ) 다른 검출 처리의 제3 예

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 편광 화상으로부터 얻어지는 법선에 기초하여, 촬상 디바이스에 의하여 촬상된 오브젝트(피사체) 중, 촬상 디바이스에 대하여 소정의 방향을 향하고 있는 오브젝트를 검출한다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 편광 화상에 기초하는 휘도 화상(또는 RGB 화상)에 있어서의, 편광 화상으로부터 얻어지는 법선 벡터가 설정되어 있는 각도의 범위에 포함되는 영역을 특정한다. 그리고 본 실시 형태에 따른 정보 처리 장치는, 특정된 영역에 대하여 임의의 오브젝트 인식 기술에 따른 오브젝트 인식 처리를 행함으로써, 촬상 디바이스에 대하여 소정의 방향을 향하고 있는 오브젝트를 검출한다.

제3 예에 따른 다른 검출 처리의 적용예로서는, 예를 들어 자동차 등의 이동체에 탑재되어 있는 촬상 디바이스에 의하여 촬상된 편광 화상에 기초하여 표지나 간판 등의 임의의 오브젝트를 검출하는 예 등을 들 수 있다.

제3 예에 따른 다른 검출 처리가 행해짐으로써, 오브젝트 인식 처리의 대상으로 되는 영역을 한정하는 것이 가능해진다. 따라서 제3 예에 따른 다른 검출 처리가 행해짐으로써, 예를 들어 오브젝트 인식 처리에 따른 처리 부하의 저감을 도모할 수 있다.

(Ⅳ) 다른 검출 처리의 제4 예

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 편광 화상으로부터 얻어지는 법선과, 오브젝트의 법선의 조합을 나타내는 정보에 기초하여, 법선의 조합을 나타내는 정보가 나타내는 오브젝트를 편광 화상으로부터 검출한다.

본 실시 형태에 따른 정보 처리 장치는, 예를 들어 편광 화상으로부터 얻어지는 법선의 조합과, 법선의 조합을 나타내는 정보가 나타내는 법선의 조합을 매칭한다. 그리고 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 편광 화상(또는 편광 화상에 기초하는 휘도 화상(또는 RGB 화상))에 있어서의, 법선의 조합이 일치하는 영역을 검출함으로써, 법선의 조합을 나타내는 정보가 나타내는 오브젝트를 편광 화상으로부터 검출한다.

제4 예에 따른 다른 검출 처리의 일 적용예로서는, 예를 들어 "소재가 상이한 것에 기인한 확산 반사, 경면 반사의 차이에 의하여 법선의 조합이 상이한 것을 이용하여 모조품을 판정하는 예"를 들 수 있다. 상기 일 적용예에서는, 편광 이미징 기술을 이용하여 촬상 디바이스에 의하여 촬상함으로써 모조품인지의 여부가 판정되므로, 모조품의 판별이 보다 간편해진다.

또한 제4 예에 따른 다른 검출 처리의 다른 적용예로서는, 예를 들어 "촬상 디바이스에 의하여 복수의 피사체가 촬상되는 경우에 있어서의, 편광 화상으로부터의 특정한 피사체가 포함되는 영역을 검출하는 예"를 들 수 있다. 상기 다른 적용예에서는, 상기 제3 예에 따른 다른 검출 처리와 마찬가지로, 예를 들어 오브젝트 인식 처리에 따른 처리 부하의 저감을 도모할 수 있다.

(본 실시 형태에 따른 정보 처리 장치)

다음으로, 상술한 본 실시 형태에 따른 정보 처리 방법에 따른 처리를 행하는 것이 가능한 본 실시 형태에 따른 정보 처리 장치의 구성의 일례에 대하여 설명한다.

도 16은, 본 실시 형태에 따른 정보 처리 장치(100)의 구성의 일례를 나타내는 블록도이다. 정보 처리 장치(100)는, 예를 들어 촬상부(102)와 제어부(104)를 구비한다.

또한 정보 처리 장치(100)는, 예를 들어 ROM(Read Only Memory. 도시 생략)이나, RAM(도시 생략), 기억부(도시 생략), 외부 장치와 무선 또는 유선으로 통신을 행하기 위한 통신부(도시 생략), 유저가 조작 가능한 조작부(도시 생략), 다양한 화면을 표시 화면에 표시하는 표시부(도시 생략) 등을 구비하고 있어도 된다. 정보 처리 장치(100)는, 예를 들어 데이터의 전송로로서의 버스에 의하여 상기 각 구성 요소 간을 접속한다. 정보 처리 장치(100)는, 예를 들어 데이터의 전송로로서의 버스에 의하여 상기 각 구성 요소 간을 접속한다. 정보 처리 장치(100)는, 예를 들어 정보 처리 장치(100)가 구비하고 있는 배터리 등의 내부 전원으로부터 공급되는 전력, 또는 접속되어 있는 외부 전원으로부터 공급되는 전력 등에 의하여 구동한다.

ROM(도시 생략)은, 제어부(104)가 사용하는 프로그램이나 연산 파라미터 등의 제어용 데이터를 기억한다. RAM(도시 생략)은, 제어부(104)에 의하여 실행되는 프로그램 등을 일시적으로 기억한다.

기억부(도시 생략)는 정보 처리 장치(100)가 구비하는 기억 수단이며, 예를 들어 사전 데이터나 캘리브레이션 정보 등의, 본 실시 형태에 따른 정보 처리 방법에 따른 데이터나, 편광 화상을 나타내는 화상 데이터, 어플리케이션 등, 다양한 데이터를 기억한다.

여기서, 기억부(도시 생략)로서는, 예를 들어 하드 디스크(Hard Disk) 등의 자기 기록 매체나 플래시 메모리(flash memory) 등의 불휘발성 메모리(nonvolatile memory) 등을 들 수 있다. 또한 기억부(도시 생략)는 정보 처리 장치(100)로부터 탈착 가능해도 된다.

통신부(도시 생략)로서는, 예를 들어 후술하는 통신 인터페이스를 들 수 있다. 또한 조작부(도시 생략)로서는, 예를 들어 후술하는 조작 입력 디바이스를 들 수 있고, 표시부(도시 생략)로서는, 예를 들어 후술하는 표시 디바이스를 들 수 있다.

[정보 처리 장치(100)의 하드웨어 구성예]

도 17은, 본 실시 형태에 따른 정보 처리 장치(100)의 하드웨어 구성의 일례를 나타내는 설명도이다. 정보 처리 장치(100)는, 예를 들어 MPU(150)와 ROM(152)과 RAM(154)과 기록 매체(156)와 입출력 인터페이스(158)와 조작 입력 디바이스(160)와 표시 디바이스(162)와 통신 인터페이스(164)와 촬상 디바이스(166)를 구비한다. 또한 정보 처리 장치(100)는, 예를 들어 데이터의 전송로로서의 버스(168)로 각 구성 요소 간을 접속한다.

MPU(150)는, 예를 들어 MPU(Micro Processing Unit) 등의 연산 회로로 구성되는 하나 또는 둘 이상의 프로세서나, 각종 처리 회로 등으로 구성되어 정보 처리 장치(100) 전체를 제어하는 제어부(104)로서 기능한다. 또한 MPU(150)는 정보 처리 장치(100)에 있어서, 예를 들어 후술하는 처리부(110)의 역할을 한다.

ROM(152)은, MPU(150)가 사용하는 프로그램이나 연산 파라미터 등의 제어용 데이터 등을 기억한다. RAM(154)은, 예를 들어 MPU(150)에 의하여 실행되는 프로그램 등을 일시적으로 기억한다.

기록 매체(156)는 기억부(도시 생략)로서 기능하며, 예를 들어 사전 데이터나 캘리브레이션 정보 등의, 본 실시 형태에 따른 정보 처리 방법에 따른 데이터나, 편광 화상을 나타내는 화상 데이터, 어플리케이션 등, 다양한 데이터를 기억한다.

기록 매체(156)로서는, 예를 들어 하드 디스크 등의 자기 기록 매체나 플래시 메모리 등의 불휘발성 메모리 등을 들 수 있다. 또한 기록 매체(156)는 정보 처리 장치(100)로부터 탈착 가능해도 된다.

입출력 인터페이스(158)는, 예를 들어 조작 입력 디바이스(160)나 표시 디바이스(162)를 접속한다. 조작 입력 디바이스(160)는 조작부(도시 생략)로서 기능하고, 또한 표시 디바이스(162)는 표시부(도시 생략)로서 기능한다. 여기서, 입출력 인터페이스(158)로서는, 예를 들어 USB(Universal Serial Bus) 단자나, DVI(Digital Visual Interface) 단자, HDMI(High-Definition Multimedia Interface)(등록 상표) 단자, 각종 처리 회로 등을 들 수 있다.

조작 입력 디바이스(160)는, 예를 들어 정보 처리 장치(100) 상에 구비되며, 정보 처리 장치(100)의 내부에서 입출력 인터페이스(158)와 접속된다. 조작 입력 디바이스(160)로서는, 예를 들어 버튼이나 방향 키, 조그 다이얼 등의 회전형 셀렉터, 또는 이들의 조합 등을 들 수 있다.

표시 디바이스(162)는, 예를 들어 정보 처리 장치(100) 상에 구비되며, 정보 처리 장치(100)의 내부에서 입출력 인터페이스(158)와 접속된다. 표시 디바이스(162)로서는, 예를 들어 액정 디스플레이(Liquid Crystal Display)나 유기 EL 디스플레이(Organic Electro-Luminescence Display. 또는 OLED 디스플레이(Organic Light Emitting Diode Display)라고도 칭해진다) 등을 들 수 있다.

또한 입출력 인터페이스(158)가, 정보 처리 장치(100)의 외부 장치로서의 조작 입력 디바이스(예를 들어 키보드나 마우스 등)나 표시 디바이스, 촬상 디바이스 등의 외부 디바이스와 접속하는 것도 가능함은 물론이다. 또한 표시 디바이스(162)는, 예를 들어 터치 디바이스 등, 표시와 유저 조작이 가능한 디바이스여도 된다.

통신 인터페이스(164)는 정보 처리 장치(100)가 구비하는 통신 수단이며, 네트워크를 통하여(또는 직접적으로), 외부의 촬상 디바이스나 외부의 표시 디바이스 등의 외부 디바이스나, 서버 등의 외부 장치와, 무선 또는 유선으로 통신을 행하기 위한 통신부(도시 생략)로서 기능한다. 통신 인터페이스(164)로서는, 예를 들어 통신 안테나 및 RF(Radio Frequency) 회로(무선 통신)나, IEEE 802.15.1 포트 및 송수신 회로(무선 통신), IEEE 802.11 포트 및 송수신 회로(무선 통신), 또는 LAN(Local Area Network) 단자 및 송수신 회로(유선 통신) 등을 들 수 있다. 또한 통신부(도시 생략)는, USB(Universal Serial Bus) 단자 및 송수신 회로 등, 통신을 행하는 것이 가능한 임의의 규격에 대응하는 구성이나, 네트워크를 통하여 외부 장치와 통신 가능한 임의의 구성이어도 된다.

또한 본 실시 형태에 따른 네트워크로서는, 예를 들어 LAN이나 WAN(Wide Area Network) 등의 유선 네트워크, 무선 LAN(WLAN: Wireless Local Area Network)이나 기지국을 통한 무선 WAN(WWAN: Wireless Wide Area Network) 등의 무선 네트워크, 또는 TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 통신 프로토콜을 이용한 인터넷 등을 들 수 있다.

촬상 디바이스(166)는 정보 처리 장치(100)가 구비하는 촬상 수단이며, 촬상에 의하여 편광 화상을 생성하는 촬상부(102)로서 기능한다. 촬상 디바이스(166)를 구비하는 경우, 정보 처리 장치(100)에서는, 예를 들어 촬상 디바이스(166)에 있어서 촬상에 의하여 생성된 편광 화상에 기초하여, 본 실시 형태에 따른 정보 처리 방법에 따른 처리를 행하는 것이 가능해진다.

촬상 디바이스(166)는, 예를 들어 렌즈/촬상 소자와 신호 처리 회로를 포함하여 구성된다. 렌즈/촬상 소자는, 예를 들어 광학계의 렌즈와, CMOS(Complementary Metal Oxide Semiconductor), CCD(Charge-Coupled Device) 등의 촬상 소자를 복수 사용한 이미지 센서로 구성된다. 신호 처리 회로는, 예를 들어 AGC(Automatic Gain Control) 회로나 ADC(Analog to Digital Converter)를 구비하며, 촬상 소자에 의하여 생성된 아날로그 신호를 디지털 신호(화상 데이터)로 변환한다. 또한 신호 처리 회로는, 예를 들어 RAW 현상에 따른 각종 처리를 행한다.

정보 처리 장치(100)는, 예를 들어 도 17에 나타내는 구성에 의하여, 본 실시 형태에 따른 정보 처리 방법에 따른 처리를 행한다. 또한 본 실시 형태에 따른 정보 처리 장치(100)의 하드웨어 구성은, 도 17에 나타내는 구성에 한정되지 않는다.

예를 들어 외부의 촬상 디바이스에 의하여 촬상된 편광 화상에 기초하여 본 실시 형태에 따른 정보 처리 방법에 따른 처리가 행해지는 경우에는, 정보 처리 장치(100)는 촬상 디바이스(166)를 구비하고 있지 않아도 된다.

또한 정보 처리 장치(100)는, 예를 들어 스탠드 얼론으로 처리를 행하는 구성인 경우, 또는 외부의 통신 디바이스에 의하여 통신을 행하는 경우에는 통신 인터페이스(164)를 구비하고 있지 않아도 된다. 또한 정보 처리 장치(100)는, 기록 매체(156), 조작 입력 디바이스(160), 표시 디바이스(162) 중 하나 또는 둘 이상을 구비하지 않는 구성을 취하는 것도 가능하다.

다시 도 16을 참조하여, 본 실시 형태에 따른 정보 처리 장치(100)의 구성의 일례에 대하여 설명한다. 촬상부(102)는 촬상에 의하여 편광 화상을 생성한다. 촬상부(102)로서는, 예를 들어 촬상 디바이스(166)를 들 수 있다.

제어부(104)는, 예를 들어 MPU 등으로 구성되며, 정보 처리 장치(100) 전체를 제어하는 역할을 한다. 또한 제어부(104)는, 예를 들어 처리부(110)를 구비하며, 본 실시 형태에 따른 정보 처리 방법에 따른 처리를 주도적으로 행하는 역할을 한다.

처리부(110)는, 예를 들어 본 실시 형태에 따른 검출 처리를 주도적으로 행하는 역할을 하며, 편광 화상으로부터 얻어지는 법선에 기초하여 검출 대상의 시선을 검출한다. 처리부(110)는, 예를 들어 도 5에 나타내는 처리를 행함으로써, 편광 화상에 기초하여 검출 대상의 시선을 검출한다.

또한 처리부(110)는, 예를 들어 상기 (Ⅰ)에 나타내는 제1 예에 따른 다른 검출 처리, 내지 (Ⅳ)에 나타내는 제4 예에 따른 다른 검출 처리 중 하나 또는 둘 이상의 처리를 행하는 것이 가능하다.

처리부(110)가, 상기 (Ⅰ)에 나타내는 제1 예에 따른 다른 검출 처리, 내지 (Ⅳ)에 나타내는 제4 예에 따른 다른 검출 처리 중 하나 또는 둘 이상의 처리를 행하는 것이 가능한 경우, 정보 처리 장치(100)는, 예를 들어 본 실시 형태에 따른 검출 처리를 행하는 기능에 추가하여, 상기 (Ⅰ)에 나타내는 제1 예에 따른 다른 검출 처리, 내지 (Ⅳ)에 나타내는 제4 예에 따른 다른 검출 처리 중 하나 또는 둘 이상의 처리를 더 행하는 기능을 더 갖는다.

정보 처리 장치(100)는, 예를 들어 도 16에 나타내는 구성에 의하여, 본 실시 형태에 따른 정보 처리 방법에 따른 처리(예를 들어 "검출 처리", 또는 "검출 처리 및 다른 검출 처리")를 행한다. 따라서 정보 처리 장치(100)는, 예를 들어 도 16에 나타내는 구성에 의하여 시선의 검출 대상의 시선을 검출할 수 있다.

또한 예를 들어 도 16에 나타내는 구성에 의하여, 정보 처리 장치(100)는, 상술한 바와 같은 본 실시 형태에 따른 정보 처리 방법에 따른 처리가 행해짐으로써 발휘되는 효과를 발휘할 수 있다.

또한 본 실시 형태에 따른 정보 처리 장치의 구성은, 도 16에 나타내는 구성에 한정되지 않는다.

예를 들어 본 실시 형태에 따른 정보 처리 장치는, 도 16에 나타내는 처리부(110)를 제어부(104)와는 개별적으로 구비할(예를 들어 다른 처리 회로로 실현할) 수 있다. 또한 처리부(110)는, 복수의 처리 회로로 실현되어 각 기능이 복수의 처리 회로에서 분산되어 행해져도 된다.

또한 본 실시 형태에 따른 정보 처리 방법에 따른 처리를 실현하기 위한 구성은, 도 16에 나타내는 구성에 한정되지 않으며, 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 분리 방식에 따른 구성을 취하는 것이 가능하다.

또한 예를 들어 처리부(110)가, 상기 (Ⅰ)에 나타내는 제1 예에 따른 다른 검출 처리, 내지 (Ⅳ)에 나타내는 제4 예에 따른 다른 검출 처리 중 하나 또는 둘 이상의 처리를 행하는 기능을 갖는 경우, 본 실시 형태에 따른 정보 처리 장치는, 본 실시 형태에 따른 검출 처리를 행하는 기능을 갖고 있지 않은 구성을 취하는 것도 가능하다.

또한 예를 들어 촬상부(102)과 마찬가지의 기능, 구성을 갖는 외부의 촬상 디바이스에 의하여 촬상되는 편광 화상에 기초하여, 본 실시 형태에 따른 정보 처리 방법에 따른 처리를 행하는 경우에는, 본 실시 형태에 따른 정보 처리 장치는 촬상부(102)를 구비하고 있지 않아도 된다.

이상, 본 실시 형태로서 정보 처리 장치를 예로 들어 설명했지만, 본 실시 형태는 이러한 형태에 한정되지 않는다. 본 실시 형태는, 예를 들어 "도 1의 A에 나타낸 바와 같은 아이웨어 등의, 검출 대상의 헤드부에 장착하여 사용되는 웨어러블 장치"나, "PC나 서버 등의 컴퓨터", "스마트폰 등의 통신 장치", "표시 장치", "태블릿형의 장치", "게임기", "자동차 등의 이동체" 등, 본 실시 형태에 따른 정보 처리 방법에 따른 처리를 행하는 것이 가능한 다양한 기기에 적용할 수 있다. 또한 본 실시 형태는, 예를 들어 상기와 같은 기기에 내장하는 것이 가능한 처리 IC에 적용할 수도 있다.

또한 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 하기에 나타내는 사용예 등의, 시선 검출을 적용하는 것이 가능한 다양한 사용예에 적용하는 것이 가능하다. 또한 본 실시 형태에 따른 정보 처리 장치를 적용하는 것이 가능한 사용예가, 하기에 나타내는 사용예에 한정되지 않음은 물론이다. 또한 하기와 같은 사용예에 있어서, 본 실시 형태에 따른 정보 처리 장치는, 상술한 바와 같이 표시 디바이스를 구비하고 있어도 되고, 구비하고 있지 않아도 된다.

·의료 현장에 있어서는, 의사 등의 의료 종사자(검출 대상의 일례)의 시선을 검출함으로써 의료 기기의 조작 입력이 행해져도 된다. 이것에 의하여, 의사 등의 의료 종사자는 손을 사용하지 않고 의료 기기를 조작할 수 있기 때문에, 예를 들어 수술의 효율이나 성공률을 향상시킬 수 있다. 또한 시선 검출에 의하여 조작 가능한 디바이스를 이용함으로써, 신체적 장해를 갖는 환자(검출 대상의 일례) 등은 생활 행위의 곤란을 경감할 수 있다.

·자동차 등의 이동체의 운전 시에 있어서는, 운전자(검출 대상의 일례)의 시선을 검출함으로써, 예를 들어 표시 디바이스의 표시 화면에 표시된 내비게이션의 조작이나, 운전자가 주시하고 있는 건물 등의 오브젝트에 관련된 정보의 제공이 가능해진다. 건물 등의 오브젝트에 관련된 정보는, 예를 들어 표시 디바이스의 표시 화면에 표시되어도 되고, 음성에 의하여 운전자에게 전달되어도 된다. 이것에 의하여, 운전자는 손을 사용하지 않고 디바이스를 조작할 수 있기 때문에 한눈팔거나 할 가능성을 경감하여 운전의 안전성을 향상시킬 수 있다. 또한 예를 들어 운전자의 주시처가 기록 매체에 기록되고, 기록된 운전자의 주시처와 미리 정한 유저 모델의 주시 데이터가 비교됨으로써 운전자의 운전 레벨을 판정하는 것이 가능하다. 또한 예를 들어 기록된 운전자의 주시처와 미리 정한 유저 모델의 주시 데이터가 비교됨으로써 운전자의 주의력이 판정되어, 운전자에게 음성 등으로 주의가 촉구되어도 된다.

·스포츠 현장에 있어서는, 스포츠를 행하고 있는 사람(검출 대상의 일례)의 시선을 검출함으로써 적절한 폼의 제안 등이 행해져도 된다.

·광고 마케팅에 있어서는, 마케팅 대상자(검출 대상의 일례)의 시선을 검출함으로써, 예를 들어 마케팅 대상자에게 추천해야 할 상품이 제안되어도 된다.

·농업에 있어서는, 농업에 종사하는 사람(검출 대상의 일례)의 시선을 검출함으로써, 예를 들어 농업에 종사하는 사람이 주시하고 있는 작물의 상태에 관한 보충 정보 등이, 표시 디바이스의 표시 화면 등에의 표시에 의하여 제공되어도 된다.

·축산업에 있어서는, 예를 들어 동물의 건강 관리 등을 위하여 동물(검출 대상의 일례)의 시선 검출 결과가 이용되어도 된다. 예를 들어 검출된 시선과 시선의 모델 데이터의 비교에 의하여 동물의 출산 시기나 컨디션 불량 등의 추정을 행하는 것이 가능하다. 또한 우리 내의 동물의 시선 검출 결과로부터 우리 내의 위생 상태가 추정되어도 된다.

또한 본 실시 형태에 따른 정보 처리 장치는, 예를 들어 클라우드 컴퓨팅 등과 같이 네트워크로의 접속(또는 각 장치 간의 통신)을 전제로 한 처리 시스템에 적용되어도 된다. 본 실시 형태에 따른 정보 처리 방법에 따른 처리가 행해지는 처리 시스템의 일례로서는, 예를 들어 "처리 시스템을 구성하는 하나의 장치에 의하여 본 실시 형태에 따른 정보 처리 방법에 따른 처리 중 일부 처리가 행해지고, 처리 시스템을 구성하는 다른 장치에 의하여 본 실시 형태에 따른 정보 처리 방법에 따른 처리의 당해 일부 처리 이외의 처리가 행해지는 시스템"을 들 수 있다.

(본 실시 형태에 따른 프로그램)

컴퓨터를 본 실시 형태에 따른 정보 처리 장치로서 기능시키기 위한 프로그램(예를 들어 "검출 처리", 또는 "검출 처리 및 다른 검출 처리" 등, 본 실시 형태에 따른 정보 처리 방법에 따른 처리를 실행하는 것이 가능한 프로그램)이, 컴퓨터에 있어서 프로세서 등에 의하여 실행됨으로써, 시선의 검출 대상의 시선을 검출할 수 있다.

또한 컴퓨터를 본 실시 형태에 따른 정보 처리 장치로서 기능시키기 위한 프로그램이, 컴퓨터에 있어서 프로세서 등에 의하여 실행됨으로써, 상술한 본 실시 형태에 따른 정보 처리 방법에 따른 처리에 의하여 발휘되는 효과(예를 들어 상술한 본 실시 형태에 따른 정보 처리 방법에 따른 다른 검출 처리에 의하여 발휘되는 효과 등)를 발휘할 수 있다.

또한 컴퓨터를, 상기 (Ⅰ)에 나타내는 제1 예에 따른 다른 검출 처리, 내지 (Ⅳ)에 나타내는 제4 예에 따른 다른 검출 처리 중 하나 또는 둘 이상의 처리를 행하는 기능을 갖고, 또한 본 실시 형태에 따른 검출 처리를 행하는 기능을 갖고 있지 않은, 본 실시 형태의 변형예에 따른 정보 처리 장치로서 기능시키기 위한 프로그램이, 컴퓨터에 있어서 프로세서 등에 의하여 실행됨으로써, 상술한 본 실시 형태에 따른 정보 처리 방법에 따른 다른 검출 처리에 의하여 발휘되는 효과를 발휘할 수 있다.

이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명했지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 사람이면, 청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예에 상도할 수 있음은 명백하며, 이들에 대해서도 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.

예를 들어 상기에서는, 컴퓨터를 본 실시 형태에 따른 정보 처리 장치로서 기능시키기 위한 프로그램(컴퓨터 프로그램)이 제공되는 것을 나타냈지만, 본 실시 형태는, 또한 상기 프로그램을 기억시킨 기록 매체도 아울러 제공할 수 있다.

상술한 구성은 본 실시 형태의 일례를 나타내는 것이며, 당연히 본 개시의 기술적 범위에 속하는 것이다.

또한 본 명세서에 기재된 효과는 어디까지나 설명적 또는 예시적인 것이며 한정적이지는 않다. 즉, 본 개시에 따른 기술은 상기 효과와 함께 혹은 상기 효과 대신, 본 명세서의 기재로부터 당업자에게는 명백한 다른 효과를 발휘할 수 있다.

또한 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.

(1)

시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 상기 검출 대상의 시선을 검출하는 처리부를 구비하는, 정보 처리 장치.

(2)

상기 처리부는 상기 편광 화상에 기초하여 상기 눈에 있어서의 각막의 중심 위치를 추정하여 상기 검출 대상의 시선을 검출하는, (1)에 기재된 정보 처리 장치.

(3)

상기 처리부는, 상기 편광 화상에 기초하여 검출된 상기 눈에 있어서의 동공의 위치와 상기 편광 화상에 기초하여 상기 각막의 중심 위치를 추정하는, (2)에 기재된 정보 처리 장치.

(4)

상기 처리부는, 상기 편광 화상으로부터 얻어지는 법선에 기초하여 상기 검출 대상의 시선을 검출하는, (1) 내지 (4) 중 어느 하나에 기재된 정보 처리 장치.

(5)

상기 처리부는, 상기 편광 화상으로부터 얻어지는 법선에 기초하여 상기 눈에 있어서의 각막의 중심 위치를 추정하여 상기 검출 대상의 시선을 검출하는, (4)에 기재된 정보 처리 장치.

(6)

상기 처리부는, 상기 편광 화상에 기초하여 추정되는 상기 각막에 대응하는 법선에 기초하여 상기 각막의 중심 위치를 추정하는, (5)에 기재된 정보 처리 장치.

(7)

상기 처리부는, 상기 편광 화상에 기초하여 검출된 상기 눈에 있어서의 동공의 위치와, 상기 편광 화상으로부터 얻어지는 법선에 기초하여, 상기 각막에 대응하는 법선을 추정하는, (6)에 기재된 정보 처리 장치.

(8)

상기 처리부는,

추정된 상기 각막의 중심 위치와 상기 각막의 반경에 기초하여 상기 눈에 있어서의 동공의 중심 위치를 추정하고,

추정된 상기 각막의 중심 위치와 추정된 상기 동공의 중심 위치에 기초하여, 상기 검출 대상의 시선에 대응하는 광축 벡터를 구하여, 상기 검출 대상의 시선을 검출하는, (5) 내지 (7) 중 어느 하나에 기재된 정보 처리 장치.

(9)

상기 처리부는, 검출된 상기 눈에 있어서의 동공의 위치에 기초하여, 상기 편광 화상으로부터 얻어지는 복수의 법선으로부터 상기 각막에 대응하는 법선을 특정하는, (7)에 기재된 정보 처리 장치.

(10)

상기 처리부는, 검출된 상기 눈에 있어서의 동공의 위치 및 상기 각막의 형상에 기초하여, 상기 각막에 대응하는 법선을 추정하는, (9)에 기재된 정보 처리 장치.

(11)

상기 처리부는 캘리브레이션 정보에 기초하여 상기 광축 벡터를 보정하여 상기 검출 대상의 시선을 검출하는, (8)에 기재된 정보 처리 장치.

(12)

상기 처리부는, 스테레오 화상을 구성하는 제1 상기 편광 화상 및 제2 상기 편광 화상 각각으로부터 얻어지는 법선에 기초하여 상기 검출 대상의 시선을 검출하는, (1)에 기재된 정보 처리 장치.

(13)

상기 처리부는, 제1 상기 편광 화상 및 제2 상기 편광 화상 각각으로부터 얻어지는 법선에 기초하여 상기 눈에 있어서의 각막의 중심 위치를 추정하여 상기 검출 대상의 시선을 검출하는, (12)에 기재된 정보 처리 장치.

(14)

상기 처리부는, 제1 상기 편광 화상 및 제2 상기 편광 화상 각각으로부터 얻어지는 법선 및 시차에 기초하여 각막 반경을 추정하고, 추정된 상기 각막 반경에 기초하여 상기 눈에 있어서의 각막의 중심 위치를 추정하는, (13)에 기재된 정보 처리 장치.

(15)

상기 처리부는, 상기 검출 대상에 대한 소정 위치에 고정된 촬상 디바이스로부터 상기 편광 화상을 취득하는, (1) 내지 (14) 중 어느 하나에 기재된 정보 처리 장치.

(16)

상기 처리부는, 표시 디바이스에 대한 소정 위치에 고정된 촬상 디바이스로부터 상기 편광 화상을 취득하는, (1) 내지 (14) 중 어느 하나에 기재된 정보 처리 장치.

(17)

표시 디바이스와,

상기 표시 디바이스에 대하여 고정되어 상기 편광 화상을 취득하는 촬상 디바이스

를 더 구비하는, (1) 내지 (16) 중 어느 하나에 기재된 정보 처리 장치.

(18)

상기 표시 디바이스와 상기 촬상 디바이스는, 상기 검출 대상에 장착 가능한 웨어러블 장치를 구성하는, (17)에 기재된 정보 처리 장치.

(19)

시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 상기 검출 대상의 시선을 검출하는 스텝을 갖는, 정보 처리 장치에 의하여 실행되는 정보 처리 방법.

(20)

시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 상기 검출 대상의 시선을 검출하는 기능을 컴퓨터에 실현시키기 위한 프로그램.

100: 정보 처리 장치
102: 촬상부
104: 제어부
110: 처리부

Claims (20)

1. 시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 상기 검출 대상의 시선을 검출하는 처리부를 구비하는, 정보 처리 장치.
2. 제1항에 있어서,
   상기 처리부는 상기 편광 화상에 기초하여 상기 눈에 있어서의 각막의 중심 위치를 추정하여 상기 검출 대상의 시선을 검출하는, 정보 처리 장치.
3. 제2항에 있어서,
   상기 처리부는, 상기 편광 화상에 기초하여 검출된 상기 눈에 있어서의 동공의 위치와, 상기 편광 화상에 기초하여, 상기 각막의 중심 위치를 추정하는, 정보 처리 장치.
4. 제1항에 있어서,
   상기 처리부는, 상기 편광 화상으로부터 얻어지는 법선에 기초하여 상기 검출 대상의 시선을 검출하는, 정보 처리 장치.
5. 제4항에 있어서,
   상기 처리부는, 상기 편광 화상으로부터 얻어지는 법선에 기초하여 상기 눈에 있어서의 각막의 중심 위치를 추정하여 상기 검출 대상의 시선을 검출하는, 정보 처리 장치.
6. 제5항에 있어서,
   상기 처리부는, 상기 편광 화상에 기초하여 추정되는 상기 각막에 대응하는 법선에 기초하여 상기 각막의 중심 위치를 추정하는, 정보 처리 장치.
7. 제6항에 있어서,
   상기 처리부는, 상기 편광 화상에 기초하여 검출된 상기 눈에 있어서의 동공의 위치와, 상기 편광 화상으로부터 얻어지는 법선에 기초하여, 상기 각막에 대응하는 법선을 추정하는, 정보 처리 장치.
8. 제5항에 있어서,
   상기 처리부는,
   추정된 상기 각막의 중심 위치와 상기 각막의 반경에 기초하여 상기 눈에 있어서의 동공의 중심 위치를 추정하고,
   추정된 상기 각막의 중심 위치와 추정된 상기 동공의 중심 위치에 기초하여, 상기 검출 대상의 시선에 대응하는 광축 벡터를 구하여, 상기 검출 대상의 시선을 검출하는, 정보 처리 장치.
9. 제7항에 있어서,
   상기 처리부는, 검출된 상기 눈에 있어서의 동공의 위치에 기초하여, 상기 편광 화상으로부터 얻어지는 복수의 법선으로부터 상기 각막에 대응하는 법선을 특정하는, 정보 처리 장치.
10. 제9항에 있어서,
    상기 처리부는, 검출된 상기 눈에 있어서의 동공의 위치 및 상기 각막의 형상에 기초하여, 상기 각막에 대응하는 법선을 추정하는, 정보 처리 장치.
11. 제8항에 있어서,
    상기 처리부는 캘리브레이션 정보에 기초하여 상기 광축 벡터를 보정하여 상기 검출 대상의 시선을 검출하는, 정보 처리 장치.
12. 제1항에 있어서,
    상기 처리부는, 스테레오 화상을 구성하는 제1 상기 편광 화상 및 제2 상기 편광 화상 각각으로부터 얻어지는 법선에 기초하여 상기 검출 대상의 시선을 검출하는, 정보 처리 장치.
13. 제12항에 있어서,
    상기 처리부는, 제1 상기 편광 화상 및 제2 상기 편광 화상 각각으로부터 얻어지는 법선에 기초하여 상기 눈에 있어서의 각막의 중심 위치를 추정하여 상기 검출 대상의 시선을 검출하는, 정보 처리 장치.
14. 제13항에 있어서,
    상기 처리부는, 제1 상기 편광 화상 및 제2 상기 편광 화상 각각으로부터 얻어지는 법선 및 시차에 기초하여 각막 반경을 추정하고, 추정된 상기 각막 반경에 기초하여 상기 눈에 있어서의 각막의 중심 위치를 추정하는, 정보 처리 장치.
15. 제1항에 있어서,
    상기 처리부는, 상기 검출 대상에 대한 소정 위치에 고정된 촬상 디바이스로부터 상기 편광 화상을 취득하는, 정보 처리 장치.
16. 제1항에 있어서,
    상기 처리부는, 표시 디바이스에 대한 소정 위치에 고정된 촬상 디바이스로부터 상기 편광 화상을 취득하는, 정보 처리 장치.
17. 제1항에 있어서,
    표시 디바이스와,
    상기 표시 디바이스에 대하여 고정되어 상기 편광 화상을 취득하는 촬상 디바이스
    를 더 구비하는, 정보 처리 장치.
18. 제17항에 있어서,
    상기 표시 디바이스와 상기 촬상 디바이스는, 상기 검출 대상에 장착 가능한 웨어러블 장치를 구성하는, 정보 처리 장치.
19. 시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 상기 검출 대상의 시선을 검출하는 스텝을 갖는, 정보 처리 장치에 의하여 실행되는 정보 처리 방법.
20. 시선의 검출 대상의 눈이 촬상된 편광 화상에 기초하여 상기 검출 대상의 시선을 검출하는 기능을 컴퓨터에 실현시키기 위한 프로그램.

Images