KR102376854B1 - 검출 장치 및 방법 - Google Patents

Abstract

본 기술은, 간단한 구성으로 조작성을 향상시킬 수 있도록 하는 검출 장치 및 방법에 관한 것이다. 콘텍트 렌즈형의 시선 검출 장치는 유저의 안구에 장착 가능한 형상으로 되어 있다. 또한, 시선 검출 장치에는 광을 출력하는 발광부와, 안구 표면에서 반사된 광을 수광하는 수광 소자가 복수 배치되어 있다. 수광 소자는, 발광부로부터 출력되고, 안구 표면에서 반사된 광을 수광하고, 그 수광량에 따른 수광 신호를 출력한다. 신호 처리부는, 각 수광 소자의 수광 신호에 기초하여, 유저의 시선을 검출한다. 본 기술은, 콘텍트 렌즈형의 시선 검출 장치나 표시 장치에 적용할 수 있다.

Description

검출 장치 및 방법{DETECTION DEVICE AND METHOD}

본 기술은 검출 장치 및 방법에 관한 것으로서, 특히, 간단한 구성으로 조작성을 향상시킬 수 있도록 한 검출 장치 및 방법에 관한 것이다.

예를 들어, 화면 상의 커서나 포인터를 움직이게 하는 유저 인터페이스에는, 조작 수단이 필요하다. 또한, 커서 등을 이동시키기 위한 유저 조작을 검출하는 방법으로서, 카메라로 촬영한 유저의 손발이나 손가락의 조작 부위의 움직임을, 화상 내의 조작 부위의 위치로부터 검출하는 방법이나, 유저의 손발이나 손가락에 장착한 자이로 센서의 신호로부터 움직임을 검출하는 방법이 있다.

이와 같이, 커서나 포인터의 유저 인터페이스 조작에 유저의 사지나 손가락 등을 이용하는 경우에는, 카메라나 자이로 센서 등의 외부 검출기가 필요하게 된다.

또한, 유저의 시선을 이용하여 커서나 포인터를 움직이는 조작이 행해지는 경우에는, 유저의 안구 움직임을 검출할 필요가 있다.

예를 들어, 안구의 위치나 운동을 측정하는 방법으로서, 자계에 놓인 코일에, 자계와 코일이 이루는 각에 비례한 전위가 발생하는 것을 이용하는 서치 코일법이 있다. 서치 코일법에서는, 콘텍트 렌즈에 검출 코일을 내장하여 안구에 장착하고, 외부에 수평 수직 자장을 부여하는 자장 코일을 설치하고, 외부로부터 부여한 자장에 대하여 콘텍트 렌즈에 내장한 검출 코일에 발생하는 유도 기전력을 검출함으로써 안구의 움직임이 검출된다.

또한, 안구의 위치나 운동을 측정하는 방법으로서, 각막부가 망막부에 비하여 10 내지 30μV의 정의 전위를 갖는 것을 이용하여 눈의 주위에 전극을 붙이고, 전위차를 검출하는 EOG(Electro oculography)법도 알려져 있다.

기타, 안구의 위치나 운동을 측정하는 방법으로서 강막 반사법, 각막 반사법 및 동공 각막 반사법이 알려져 있다.

강막 반사법은, 눈에 쬐어진 적외광의 반사율은 흰자와 검은자가 상이하다는 것을 이용하여, 외부에 준비한 카메라에 의해 안구에서 반사된 광을 촬영하여, 안구 운동을 검출하는 방법이다.

또한 각막 반사법은, 눈에 쬐어진 적외광 LED(Light Emitting Diode)에 의한 각막 상의 적외 LED광의 허상이, 각막과 안구의 회전 중심의 차이에 의해, 안구 운동에 수반하여 평행 이동하는 것을 이용하여, 외부에 준비한 카메라에 의해 안구에서 반사된 적외 LED광의 허상을 촬영하여, 안구 운동을 검출하는 방법이다.

동공 각막 반사법은, 기본 원리는 각막 반사법과 동일하지만 동공의 중심을 기준으로 하는 점에서 각막 반사법과 상이하다. 즉, 동공 각막 반사법은 외부에 준비한 카메라로 동공의 중심을 검출하고, 적외 LED광의 허상 위치와의 차이로부터 안구 운동을 검출하는 방법이다.

그런데, 소형의 화상 표시 장치로서, 콘텍트 렌즈형의 표시 장치가 제안되어 있다(예를 들어, 특허문헌 1 참조). 이 표시 장치는 유저의 안구에 장착되어서 사용되므로, 유저의 거처에 구애받지 않고, 유저에 대하여 화상을 제시할 수 있다.

일본 특허 제4752309호 공보

그러나, 이러한 콘텍트 렌즈형의 표시 장치로 커서나 포인터를 표시시켜서 유저 조작을 행하려고 하면, 상술한 방법에 의해 커서나 포인터를 움직이는 유저 인터페이스에는, 조작 수단을 검출하기 위하여 외부 검출 장치가 필요해진다.

콘텍트 렌즈형의 표시 장치는 유저의 안구에 장착되기 때문에 와이어리스로 사용되지만, 커서나 포인터를 조작하기 위하여 외부 검출 장치를 사용하는 것은, 사용자인 유저에게 여분의 기기를 갖고 다니게 하게 되어 부담이 되어버린다.

예를 들어, 카메라로 촬영한 움직임을 검출하는 방법에서는, 카메라의 화각내에 유저가 위치할 필요가 있어 유저의 행동 범위가 한정되기 때문에, 표시 장치를 옥외로 반출하는 것은 곤란하다. 또한, 조작 거리가 이격되면 카메라 화면 내의 조작 범위가 작아지기 때문에, 상대적으로 유저의 움직임을 검출하기 위한 화소수가 줄어들기 때문에 검출 정밀도가 저하되어버린다.

또한, 자이로 센서는 상대 위치를 검출하기 때문에, 자이로 센서로 유저의 움직임을 검출하는 방법에서는, 조작 시마다 기준 위치를 지정할 필요가 있다.

서치 코일법에서는, 외부에 수평 수직 자장을 부여하는 자장 코일을 설치할 필요가 있다. 또한, 서치 코일법에서는, 자장 코일로부터 나오는 자계에 대하여 검출 코일이 이동함으로써 발생하는 기전력을 이용하고 있으므로, 유저의 헤드부 위치가 자장 코일에 대하여 움직이지 않도록 고정할 필요가 있다.

EOG법은 검출 범위가 넓고, 유저가 눈을 감고 있어도 안구의 움직임을 검출할 수 있지만, 외부의 전자 노이즈에 약하기 때문에 검출 정밀도는 낮아, 1도 이하의 정밀도로 검출할 수 없다.

강막 반사법, 각막 반사법 및 동공 각막 반사법은, 모두 인체에 대한 부담은 적지만, 이들 방법에서는 외부에 카메라를 준비할 필요가 있다. 또한 환경광의 영향에 약하므로, 검출 정밀도를 높이기 위해서는 외란광이 적은 환경을 준비할 필요가 있다.

또한, 외부로부터 유저를 카메라로 촬영하여 안구의 움직임을 검출하는 방법에서는, 유저가 눈을 감고 있으면 안구를 검출하는 것이 불가능하므로, 유저가 눈을 감고 있는 동안에는 유저 인터페이스의 조작을 할 수 없다.

이상과 같이, 상술한 기술에서는 외부 검출 장치를 사용하지 않고, 간단한 구성으로 콘텍트 렌즈형의 표시 장치의 조작성을 향상시킬 수 없었다.

본 기술은, 이러한 상황을 감안하여 이루어진 것으로서, 간단한 구성으로 조작성을 향상시킬 수 있도록 하는 것이다.

본 기술의 일 측면의 검출 장치는, 안구에 장착 가능한 검출 장치로서, 상기 안구로부터 입사하는 광을 수광하는 수광 소자를 구비한다.

검출 장치에는, 광을 출력하는 발광 소자를 더 설치하고, 상기 수광 소자를, 상기 발광 소자 근방에 설치할 수 있다.

상기 발광 소자를 복수의 발광부로 구성하고, 상기 수광 소자를 상기 발광부 근방에 설치할 수 있다.

상기 수광 소자에는, 상기 발광부로부터 출력되어 상기 안구에서 반사된 광을 수광시키고, 상기 검출 장치의 각 영역에 배치된 복수의 상기 수광 소자에 의한 광의 수광량을 검출하는 신호 처리부를 더 설치할 수 있다.

상기 발광부를, 정보를 표시하는 표시 화소로 할 수 있다.

상기 검출 장치를, 상기 안구에 장착되었을 때에 각막 전체를 덮도록 할 수 있다.

상기 검출 장치가 상기 안구에 장착된 상태에 있어서, 상기 안구의 동공이 이동 가능한 범위의 영역에 대향하는 상기 검출 장치의 영역에, 상기 발광부 또는 상기 수광 소자 중 적어도 한쪽이 설치되어 있도록 할 수 있다.

상기 검출 장치가 상기 안구를 덮는 세로 방향의 폭보다도 가로 방향의 폭이 넓게 되도록 할 수 있다.

상기 검출 장치에 있어서의 가로 방향의 단부 근방에, 상기 발광 소자 및 상기 수광 소자와는 상이한 소자를 배치할 수 있다.

상기 검출 장치가, 상기 안구를 갖는 헤드부에 대하여 상기 검출 장치를 고정하는 구조를 갖도록 할 수 있다.

상기 신호 처리부에는, 상기 복수의 상기 수광 소자의 수광량에 기초하여 상기 안구의 방위를 구하게 할 수 있다.

상기 신호 처리부에는, 상기 안구의 방위와, 상기 안구와 쌍이 되는 안구의 방위에 기초하여 좌우의 눈의 폭주량을 산출시키고, 상기 폭주량에 기초하여, 주시되고 있는 대상물까지의 거리를 산출시킬 수 있다.

상기 신호 처리부에는, 상기 복수의 상기 수광 소자의 수광량에 기초하여 상기 안구의 동공의 직경을 구하게 할 수 있다.

상기 신호 처리부에는, 상기 복수의 상기 수광 소자의 수광량에 기초하여 생체의 상태를 검출시킬 수 있다.

상기 발광부에는, 소정 파장의 광을 상기 안구에 조사시키거나, 또는 복수의 서로 다른 파장의 광을 순서대로 상기 안구에 조사시키고, 상기 신호 처리부에는, 상기 안구에 조사된 상기 소정 파장의 광 또는 상기 복수의 서로 다른 파장의 광의 상기 수광 소자에 있어서의 수광량에 기초하여 상기 생체의 상태를 검출시킬 수 있다.

상기 발광부를, 정보를 표시하는 표시 화소로 하고, 상기 발광부에는 상기 정보를 표시하는 기간 후에, 상기 소정 파장의 광, 또는 상기 복수의 서로 다른 파장의 광을 상기 안구에 조사시킬 수 있다.

본 기술의 일 측면의 검출 방법은, 안구로부터 입사하는 광을 수광하는 수광 소자와, 상기 수광 소자에 의한 광의 수광량을 검출하는 신호 처리부를 구비하고, 상기 안구에 장착 가능한 검출 장치의 검출 방법으로서, 상기 수광 소자가 상기 안구에서 반사된 광을 수광하는 수광 스텝과, 상기 신호 처리부가, 상기 검출 장치의 각 영역에 배치된 복수의 상기 수광 소자에 의한 광의 수광량을 검출하는 검출 스텝을 포함한다.

상기 검출 장치에 설치된 발광 소자가 광을 출력하는 발광 스텝을 더 포함하고, 상기 수광 스텝에 있어서, 상기 수광 소자에는 상기 발광 소자로부터 출력되고, 상기 안구에서 반사된 광을 수광시킬 수 있다.

상기 신호 처리부가, 상기 복수의 상기 수광 소자의 수광량에 기초하여 상기 안구의 방위를 구하는 산출 스텝을 더 포함할 수 있다.

상기 산출 스텝에 있어서, 상기 신호 처리부에, 상기 안구의 방위와, 상기 안구와 쌍이 되는 안구의 방위에 기초하여 좌우의 눈의 폭주량을 산출하고, 상기 폭주량에 기초하여, 주시되고 있는 대상물까지의 거리를 산출시킬 수 있다.

본 기술의 일 측면에 있어서는, 안구로부터 입사하는 광을 수광하는 수광 소자를 구비하고, 상기 안구에 장착 가능한 검출 장치에 있어서, 상기 수광 소자에 의해 상기 안구에서 반사된 광이 수광된다.

본 기술의 일 측면에 의하면, 간단한 구성으로 조작성을 향상시킬 수 있다.

도 1은 표시 장치의 외관의 구성예를 도시하는 도면이다.
도 2는 표시 장치의 구성예를 도시하는 도면이다.
도 3은 표시 영역의 구성예를 도시하는 도면이다.
도 4는 시선 검출에 대하여 설명하는 도면이다.
도 5는 시선 검출에 대하여 설명하는 도면이다.
도 6은 주시 위치의 검출에 대하여 설명하는 도면이다.
도 7은 제어 장치에 의한 처리에 대하여 설명하는 도면이다.
도 8은 심박의 박동을 도시하는 도면이다.
도 9는 안구를 도시하는 도면이다.
도 10은 동공의 이동 범위에 대하여 설명하는 도면이다.
도 11은 캘리브레이션 처리를 설명하는 흐름도이다.
도 12는 시선 검출 처리를 설명하는 흐름도이다.
도 13은 생체 상태 검출 처리를 설명하는 흐름도이다.
도 14는 표시 장치의 다른 구성예를 도시하는 도면이다.
도 15는 표시 장치의 장착 상태를 도시하는 도면이다.
도 16은 표시 장치의 볼록부에 대하여 설명하는 도면이다.
도 17은 표시 장치의 고마찰부에 대하여 설명하는 도면이다.
도 18은 표시 장치의 볼록부 또는 고마찰부의 영역에 대하여 설명하는 도면이다.
도 19는 표시 영역의 다른 구성예를 도시하는 도면이다.
도 20은 표시 영역의 다른 구성예를 도시하는 도면이다.
도 21은 표시 영역의 다른 구성예를 도시하는 도면이다.
도 22는 표시 장치의 다른 구성예를 도시하는 도면이다.
도 23은 시선 검출 장치의 구성예를 도시하는 도면이다.
도 24는 검출 영역의 구성예를 도시하는 도면이다.
도 25는 캘리브레이션 처리를 설명하는 흐름도이다.
도 26은 시선 검출 처리를 설명하는 흐름도이다.

이하, 도면을 참조하여, 본 기술을 적용한 실시 형태에 대하여 설명한다.

<제1 실시 형태>

<콘텍트 렌즈형의 표시 장치의 구성예>

본 기술은, 콘텍트 렌즈형의 표시 장치에 관한 것이다. 콘텍트 렌즈형의 표시 장치는 유저의 안구에 장착되어서 와이어리스로 사용되기 때문에, 표시 장치로서의 기능으로 사용할 때에는, 유저는 표시 장치를 장착한 채 자유롭게 돌아다니는 등의 동작이 가능하다. 그러나, 표시되는 화면 내의 정보에 대하여 커서나 포인터 등의 선택 이동 조작을 카메라나 검출 장치 등의 외부 기기에서 행하는 것은, 사용자에게 부담을 주거나 제약을 주거나 하게 된다.

따라서, 본 기술에서는, 화상을 표시하는 표시 소자 근방에 수광 소자를 설치함으로써, 표시 장치 이외에 외부의 장치를 필요로 하지 않고 커서나 포인터 등의 조작을 행하기 위한 유저 인터페이스를 실현할 수 있도록 하였다.

콘텍트 렌즈형의 표시 장치에서는, 표시 소자가 발하는 광의 안구 표면에 있어서의 반사광이 수광 소자로 검출된다. 이 경우, 안구 표면의 흰자나 홍채에서는 반사광이 검출된다. 이에 비해 동공부에서는 안구 내로 광이 투과하기 때문에 반사광이 적다. 따라서, 반사광이 약한 부분이 동공으로서 검지되어, 검지된 동공의 움직임으로부터 시선이 검출된다.

이에 의해, 안구가 향하고 있는 방위를 특정하는 것이 가능하게 되므로, 외부 장치를 사용하지 않고 커서나 포인터 등의 조작을 행하기 위한 유저 인터페이스를 제공하는 것이 가능하게 되어, 간단한 구성으로 표시 장치의 조작성을 향상시킬 수 있다.

이어서, 본 기술을 적용한 콘텍트 렌즈형의 표시 장치의 구체적인 실시 형태에 대하여 설명한다.

콘텍트 렌즈형의 표시 장치는, 도 1에 도시한 바와 같이 유저의 안구에 장착된다.

도 1에서는, 유저의 안구 EY11의 표면에 콘텍트 렌즈형의 표시 장치(11)가 장착되어 있다. 표시 장치(11)는 소위 콘텍트 렌즈와 같이, 유저의 안구 EY11에 장착하거나, 이탈시키거나 하는 것이 가능한 형상으로 되어 있다.

이러한 표시 장치(11)는 예를 들어 도 2에 도시하는 바와 같이 구성된다.

즉, 표시 장치(11)는 표시 영역(21), 급전 안테나(22), 신호 안테나(23), 발전부(24), 센서(25), 신호 처리부(26) 및 표시 소자 구동부(27)를 포함한다.

또한, 도 2는 표시 장치(11)를 도 1 중, 좌측으로부터 우측 방향으로 본 도면, 즉 표시 장치(11)를 장착한 유저를 정면으로부터 본 도면이며, 도 2에서는 표시 장치(11)는 원형이 되어 있다.

표시 영역(21)은 유저에 대하여 제시하는 화상이나 문자 등의 정보를 표시하는 복수의 표시 화소를 포함하는 표시 소자와, 표시 화소에 인접하여 배치되고, 유저의 안구 표면에서 반사된 광을 수광하는 수광 소자를 갖고 있다.

급전 안테나(22)는 표시 영역(21)을 둘러싸도록 설치되어 있고, 외부로부터 공급되는 자계 또는 전계에 의한 유도 기전력을 받는다. 신호 안테나(23)는 유저의 시선에 기초하여 유저 인터페이스 조작을 행한 결과 등의 신호 처리부(26)로부터 공급된 정보를 외부로 송신하거나, 표시 화소에 표시하는 정보 등의 외부로부터 송신되어 온 정보를 수신하여 신호 처리부(26)에 공급하거나 한다.

발전부(24)는 외부로부터의 자계 등에 의한 전자기 유도에 의해 급전 안테나(22)에서 발생한 유도 전류를 정류함으로써 전력을 얻어서 축전하고, 표시 장치(11)의 각 부에 전력을 공급한다. 또한, 발전부(24)가 소정 방법에 의해 스스로 발전을 행하는 경우나, 충전지를 갖고 있는 경우에는, 표시 장치(11)에 급전 안테나(22)를 설치하지 않아도 된다.

센서(25)는 자이로 센서 또는 중력 센서 등을 포함하여, 표시 장치(11)가 장착된 유저의 자세나 움직임을 검출하고, 그 검출 결과를 신호 처리부(26)에 공급한다. 예를 들어 센서(25)에 의해, 유저의 헤드부 움직임이 검출된다.

신호 처리부(26)는 표시 장치(11) 전체를 제어한다. 예를 들어 신호 처리부(26)는 표시 영역(21)의 수광 소자로부터 공급된 신호에 기초하여, 표시 장치(11)의 각 영역에 배치된 수광 소자에 있어서의 광의 수광량의 차이(차)를 검출함으로써 유저의 시선을 검출한다. 또한, 신호 처리부(26)는 센서(25)로부터 공급된 검출 결과나, 시선의 검출 결과, 신호 안테나(23)에 의해 수신된 정보 등에 기초하여 표시 소자 구동부(27)를 제어하여, 표시 영역(21)에 화상 등을 표시시킨다.

구체적으로는, 예를 들어 표시 장치(11)가 유저의 안구에 대하여 회전한 경우, 센서(25)에서는 그 회전 방향과 회전량을 검출할 수 있다. 따라서, 신호 처리부(26)는 표시 소자 구동부(27)를 제어하여, 센서(25)로부터 공급된 안구에 대한 표시 장치(11)의 회전 방향과는 역방향으로 표시 장치(11)의 회전량만큼, 표시 영역(21)에 표시되어 있는 화상을 회전시킨다. 이에 의해, 표시 장치(11)가 유저의 안구 상에서 회전되어 버리는 경우가 있더라도, 그 결과 발생하는 화상의 회전을 보정하여, 유저에 대하여 화상을 보기 편하게 제시할 수 있다.

표시 소자 구동부(27)는 신호 처리부(26)의 제어에 따라서 표시 영역(21)의 표시 소자를 구동시켜, 화상을 표시시키거나, 표시 영역(21)의 수광 소자로부터 공급된 신호를 신호 처리부(26)에 공급하거나 한다. 또한, 이하, 표시 영역(21)의 수광 소자로부터 출력되는, 수광 소자의 수광량에 따른 신호를 수광 신호라고 칭하기로 한다.

또한, 표시 장치(11)의 표시 영역(21)은 예를 들어 도 3에 도시하는 바와 같이 구성된다. 또한, 도 3은, 도 1 중, 깊이 방향으로 표시 장치(11)를 보았을 때의 표시 장치(11)의 단면의 일부를 도시하고 있다.

도 3에서는 표시 장치(11)의 표시 영역(21)에는, 화상 등의 정보를 표시하는 표시 화소(51-1) 내지 표시 화소(51-7)와, 유저의 안구 표면으로부터 입사하는 반사광을 수광하는 수광 소자(52-1) 내지 수광 소자(52-7)가 설치되어 있다. 그리고, 표시 화소(51-1) 내지 표시 화소(51-7)를 포함하는 하나의 표시 디바이스가 표시 소자(53)로 된다.

또한, 이하, 표시 화소(51-1) 내지 표시 화소(51-7)를 특별히 구별할 필요가 없을 경우, 간단히 표시 화소(51)라고도 칭한다. 또한, 이하, 수광 소자(52-1) 내지 수광 소자(52-7)를 특별히 구별할 필요가 없을 경우, 간단히 수광 소자(52)라고도 칭한다.

표시 소자(53)는 예를 들어 액정 표시 소자나 유기 일렉트로루미네센스(OLED(Organic Light Emitting Diode)) 표시 소자 등으로 구성된다. 도 3의 예에서는, 표시 장치(11)의 도면 중, 우측, 즉 유저의 안구측에 세로 방향으로 표시 화소(51)와 수광 소자(52)가 교대로 배열되어서 배치되어 있다. 따라서, 예를 들어 도 2에서는, 표시 영역(21) 내의 도 2 중, 세로 방향 및 가로 방향으로 표시 화소(51)와 수광 소자(52)가 교대로 배열되어서 배치된다.

또한, 표시 장치(11)에 있어서의 표시 화소(51)와 수광 소자(52)의 도면 중, 좌측, 즉 표시 장치(11)의 외계측에는 윤활층(54)이 설치되어 있다. 윤활층(54)은 예를 들어 투명한 합성 수지 등을 포함하고, 이 윤활층(54)에 의해, 유저가 표시 장치(11)를 눈에 장착했을 때에, 유저의 눈꺼풀이 원활하게 이동할 수 있도록 되어 있다.

또한, 도 3에서는, 표시 화소(51)와 수광 소자(52)가 밀착되어 있는 예에 대하여 설명했지만, 이 표시 화소(51)와 수광 소자(52)는 반드시 밀착되어 있을 필요는 없고, 표시 화소(51)와 수광 소자(52)의 사이에 간극이 설치되어 있어도 된다. 또한, 도 3에서는, 하나의 표시 화소(51)에 대하여 하나의 수광 소자(52)가 설치되어 있지만, 복수의 표시 화소(51)에 대하여 하나의 수광 소자(52)가 설치되도록 해도 된다.

<시선 검출에 대해서>

계속해서, 표시 장치(11)에 의한 유저의 시선 검출에 대하여 설명한다.

예를 들어, 도 4에 도시한 바와 같이 유저의 안구 EY11에 장착된 표시 장치(11)에, 표시 화소(51-1) 내지 표시 화소(51-11)와, 수광 소자(52-1) 내지 수광 소자(52-12)가 설치되어 있다고 하자. 또한, 표시 장치(11)의 표시 영역(21) 중, 유저의 안구 EY11에 있어서의 동공 BE11과는 다른 부위, 예를 들어 흰자나 홍채의 부분과 대향하고 있는 영역을 영역 A라 하고, 표시 영역(21) 중, 동공 BE11과 대향하고 있는 영역을 영역 B라 한다.

이러한 영역 A와 영역 B에 설치된 각 표시 화소(51)가 발광하면, 도면 중, 실선의 화살표로 나타낸 바와 같이, 표시 화소(51)로부터 사출된 광은 안구 EY11을 향하여 진행하고, 안구 EY11에 도달한다.

예를 들어, 표시 화소(51)로부터 출력된 광 중, 안구 EY11에 있어서의 흰자나 홍채 등의 불투명한 부분에 입사한 광은, 안구 EY11의 표면에서 흡수 및 반사된다. 따라서, 영역 A에서는 표시 화소(51)로부터 출력된 광의 일부는, 점선의 화살표로 나타내지는 바와 같이 안구 EY11 표면에서 반사되어서 수광 소자(52)에 의해 수광(검출)된다.

이에 비해, 동공 BE11은 투명하므로, 표시 화소(51)로부터 출력된 광 중, 동공 BE11에 입사한 광은 동공 BE11에서 거의 반사되지 않고, 안구 EY11 내의 망막에 도달하고, 망막에서 흡수된다. 즉, 도면 중, 실선의 화살표로 나타내지는 바와 같이 영역 B에서는 표시 화소(51)로부터 출력된 광은, 안구 EY11 표면에서 거의 반사되지 않고 망막에 흡수된다. 따라서, 영역 B에서는, 수광 소자(52)에 있어서 표시 화소(51)로부터 출력된 광은 거의 검출되지 않는다.

이와 같이, 각 수광 소자(52)에 의해 수광된 표시 화소(51)로부터의 광의 양의 차이(차)를 검출함으로써, 안구 EY11(동공 BE11)이 향하고 있는 방향을 나타내는 안구 EY11의 방위, 즉 유저의 시선 방향을 특정할 수 있다. 특히 각 시각에 있어서의 유저의 시선 방향을 특정할 수 있으면, 안구의 움직임, 즉 시선의 움직임을 검출할 수 있고, 그 시선의 움직임으로부터 유저의 심리 상황이나 감정을 추정할 수도 있다.

또한, 엄밀하게는 안구 EY11의 어느 계면에 있어서도 약간의 반사는 발생하지만, 영역 A에서의 반사광의 광량에 비하여 영역 B에서의 반사광의 광량은 매우 적어지기 때문에, 영역 A와 영역 B의 판별은 충분히 가능하다.

또한, 유저가 눈을 감고 있는 상태에서는, 수광 소자(52)에는, 표시 화소(51)로부터 출력되고, 안구 EY11에서 반사된 광만이 입사한다. 한편, 유저가 눈을 뜨고 있는 경우, 표시 영역(21)이 어느 정도 광을 투과시킬 때에는, 수광 소자(52)에는 표시 화소(51)로부터 출력된 광 외에, 외부로부터 표시 영역(21)을 통하여 안구 EY11에 입사하고, 안구 EY11에서 반사된 환경광도 입사하게 된다.

그러나, 이러한 경우에 있어서도, 안구 EY11 중 흰자나 홍채 등의 불투명한 부위에 입사한 환경광은, 안구 EY11에서 반사되어서 수광 소자(52)에 입사함에 비해서, 안구 EY11 중 동공 BE11에 입사한 환경광은, 그 대부분이 동공 BE11을 투과하여 망막에 도달한다. 즉, 동공 BE11에 입사한 환경광은 거의 반사되지 않아, 수광 소자(52)에서의 환경광의 수광량도 적어진다. 그로 인해, 유저가 눈을 뜨고 있든지 감고 있든지, 영역 A와 영역 B의 판별은 충분히 가능하다.

구체적으로는, 예를 들어 도 5의 화살표 Q11에 도시한 바와 같이, 유저가 정면을 향하고 있는 경우에는, 신호 처리부(26)에서는 화살표 Q12에 도시하는 수광 신호 맵이 얻어진다.

예를 들어, 화살표 Q12에 도시하는 수광 신호 맵은, 각 수광 소자(52)에 있어서 수광된 광의 광량을 나타내는 화상 데이터로 된다. 또한, 수광 신호 맵 상의 각 원의 농담은, 수광 신호 맵상에 있어서의 그들의 원과 동일 위치 관계에 있는 표시 영역(21) 상의 수광 소자(52)로부터 출력된 수광 신호의 값을 나타내고 있다.

예를 들어 수광 신호 맵 상의 원이 밝을수록, 그 원에 대응하는 수광 소자(52)의 수광량이 많아, 수광 신호의 값이 큰 것을 나타내고 있다. 또한, 이 예에서는, 수광 소자(52)는 표시 영역(21) 상에 어레이형으로 배치되어 있으므로, 수광 신호 맵 상에 있어서도 각 수광 소자(52)에 대응하는 원이 세로 방향 및 가로 방향으로 배열되어서 배치되어 있다.

화살표 Q11에 도시하는 상태에서는, 동공 BE11은 도면 중, 좌측 방향을 향하고 있으므로, 유저의 시선 방향은 거의 정면의 방향으로 되어 있다. 그로 인해, 화살표 Q12에 도시하는 수광 신호 맵에서는, 동공 BE11에 대응하는 수광 신호 맵의 거의 중앙의 영역이 주위의 영역에 비해 어둡게 되어 있고, 그 어둡게 되어 있는 영역은 동공 BE11과 같은 원 형상이 되어 있다. 이것은, 상술한 바와 같이 동공 BE11에서는 거의 반사가 발생하지 않기 때문이다.

또한, 수광 신호 맵에서는, 동공 BE11에 대응하는 중앙의 영역의 주위의 영역은, 안구 EY11에 있어서의 흰자나 홍채 등의 반사광의 광량이 많은 부분의 위치를 나타내고 있다.

표시 장치(11)에서는, 어레이형으로 배열된 각 수광 소자(52)의 간격은 설계 단계에서 확정되어 있으므로, 수광 신호 맵에 기초하여 동공 BE11의 중심 위치, 즉 시선의 방향을 용이하게 산출할 수 있다.

예를 들어 유저의 시선 방향의 검출 결과는, 표시 장치(11)의 안구 EY11과 접하는 영역에서의, 동공 BE11의 중심이 향하고 있는 위치, 즉 동공 BE11의 중심과 접하고 있는 위치(이하, 시선 위치라고도 칭하는) 등으로 된다. 따라서, 예를 들어 화살표 Q11에 도시하는 예에서는, 표시 장치(11)의 거의 중앙의 위치가 시선 위치로 된다.

또한, 표시 장치(11)에서는, 수광 신호 맵으로부터 동공 BE11의 직경도 산출하는 것이 가능하다. 예를 들어 수광 신호의 값이 소정 값 이하인 영역이 동공 BE11의 영역으로 되고, 그 영역의 직경이 동공 BE11의 직경으로 된다.

또한, 화살표 Q13으로 도시한 바와 같이, 유저가 약간 상방을 향하고 있는 경우에는, 신호 처리부(26)에서는 화살표 Q14에 도시하는 수광 신호 맵이 얻어진다.

화살표 Q13에 도시하는 상태에서는, 동공 BE11은 도면 중, 약간 상측 방향을 향하고 있으므로, 유저의 시선 방향은 약간 상측 방향으로 되어 있다. 그로 인해, 화살표 Q14에 도시하는 수광 신호 맵에서는, 동공 BE11에 대응하는 수광 신호 맵의 영역은 화살표 Q12에 도시된 수광 신호 맵에 있어서의 경우에 비해 약간 상측 방향에 위치하고 있다.

이와 같이, 신호 처리부(26)에서는, 각 수광 소자(52)로부터 출력되는 수광 신호로부터 얻어지는 수광 신호 맵에 기초하여 동공 BE11의 위치를 검출함으로써, 시선 위치, 즉 안구 EY11의 방위를 구할 수 있다. 또한, 신호 처리부(26)에서는 안구 EY11의 방위로부터, 표시 영역(21)에 표시되어 있는 화상 상, 또는 실공간 상의 유저가 주시하고 있는 대상물의 상하 좌우의 위치를 산출할 수 있다.

<주시 위치까지의 거리에 대해서>

또한, 표시 장치(11)에서는, 수광 신호 맵에 기초하여, 유저가 주시하고 있는 대상물까지의 거리를 구할 수도 있다.

여기서, 도 6을 참조하여, 유저의 좌우의 안구의 방위에 기초하여, 주시 위치까지의 거리를 검출하는 원리에 대하여 설명한다.

예를 들어, 도 6에 도시한 바와 같이, 유저가 좌측의 안구 EY21L(좌안)에 표시 장치 DP11L을 장착하고, 우측의 안구 EY21R(우안)에 표시 장치 DP11R을 장착한 상태에서, 소정의 대상물 OB11 또는 대상물 OB12를 주시했다고 하자.

여기서, 표시 장치 DP11L 및 표시 장치 DP11R은, 각각 표시 장치(11)에 대응하는 장치이다.

또한, 도 6에서는 대상물 OB11이 주시 위치 AT11에 있고, 대상물 OB12가 주시 위치 AT12에 있다. 그리고, 유저로부터 주시 위치 AT11까지의 거리는, 유저로부터 주시 위치 AT12까지의 거리보다도 길게 되어 있다. 즉, 주시 위치 AT11이 주시 위치 AT12보다도, 보다 유저로부터 먼 위치에 있다.

일반적으로 사람이 뭔가를 볼 때에는, 물체까지의 거리에 따라 좌우의 눈에 폭주가 발생한다. 즉, 좌우의 안구가 각각 내측으로 회전하고, 그 회전 각도는 주시하고 있는 물체까지의 거리에 따라 변화한다.

예를 들어 도면 중, 좌측에 도시하는 예에서는, 유저는, 거의 정면의 주시 위치 AT11에 있는 대상물 OB11을 주시하고 있다. 이 예에서는, 유저의 좌측의 안구 EY21L의 동공 BE21L의 중심 및 대상물 OB11을 연결하는 직선과, 우측의 안구 EY21R의 동공 BE21R의 중심 및 대상물 OB11을 연결하는 직선이 이루는 각도가, 대상물 OB11을 보고 있는 유저의 폭주 각도가 된다. 이 폭주 각도는, 유저의 좌우의 눈의 폭주량을 나타내고 있다.

이와 같이 유저가 대상물 OB11을 보고 있을 때에는, 좌측의 안구 EY21L에 장착된 표시 장치 DP11L에서는 좌안의 수광 신호 맵 RM11L이 얻어지고, 우측의 안구 EY21R에 장착된 표시 장치 DP11R에서는 우안의 수광 신호 맵 RM11R이 얻어진다.

수광 신호 맵 RM11L 및 수광 신호 맵 RM11R으로부터, 유저의 좌우 동공 BE21L 및 동공 BE21R은, 유저로부터 보아서 약간 내측을 향하고 있음을 알 수 있다.

또한, 예를 들어 도면 중, 우측에 도시하는 예에서는, 유저는, 거의 정면의 주시 위치 AT12에 있는 대상물 OB12를 주시하고 있다. 이 예에서는, 유저의 좌측의 안구 EY21L의 동공 BE21L의 중심 및 대상물 OB12를 연결하는 직선과, 우측의 안구 EY21R의 동공 BE21R의 중심 및 대상물 OB12를 연결하는 직선이 이루는 각도가, 대상물 OB12를 보고 있는 유저의 폭주 각도가 된다.

이와 같이 유저가 대상물 OB12를 보고 있을 때에는, 좌측의 안구 EY21L에 장착된 표시 장치 DP11L에서는 좌안의 수광 신호 맵 RM12L이 얻어지고, 우측의 안구 EY21R에 장착된 표시 장치 DP11R에서는 우안의 수광 신호 맵 RM12R이 얻어진다.

도 6에 도시하는 예로부터 알 수 있는 바와 같이, 유저로부터 주시하고 있는 대상물까지의 거리가 짧아질수록, 그 대상물을 볼 때의 유저의 폭주 각도는 커진다. 예를 들어 도 6의 예에서는, 대상물 OB11을 보고 있을 때의 폭주 각도보다도, 대상물 OB12를 보고 있을 때의 폭주 각도가 보다 커져 있다.

또한, 이 폭주 각도의 변화에 수반하여, 수광 신호 맵에 있어서의 유저의 동공 위치(시선 위치)도 변화한다. 도 6의 예에서는, 수광 신호 맵에 있어서 대상물 OB11을 보고 있을 때의 동공 위치보다도, 대상물 OB12를 보고 있을 때의 동공 위치가 보다 유저의 내측(유저의 중심측)에 위치하고 있음을 알 수 있다.

표시 장치(11)에서는, 수광 소자(52)에서의 광의 검출 결과로부터 얻어지는 쌍이 되는 좌우의 안구의 방위, 즉 수광 신호 맵 상의 동공 위치로부터 유저의 좌우의 눈의 폭주 각도를 산출하는 것이 가능하고, 얻어진 폭주 각도로부터 주시 물체까지의 거리와, 주시 물체의 상하 좌우의 위치를 구할 수 있다.

이와 같이 주시 물체까지의 거리를 구할 수 있으면, 좌우 방향뿐만 아니라 깊이 방향의 위치도 구별할 수 있다. 따라서, 예를 들어 좌우의 눈에 시차가 있는 화상이나 버튼 등을 표시했을 때에, 깊이가 있는 조작을 실현할 수 있다.

또한, 폭주 각도는, 예를 들어 표시 장치 DP11L과 표시 장치 DP11R에 있어서, 각각 자신이 갖는 수광 소자(52)의 수광 신호로부터 얻어진 수광 신호 맵만이 사용되어서 산출되도록 해도 되고, 좌우의 눈의 수광 신호 맵으로부터 산출되도록 해도 된다.

좌우의 눈의 수광 신호 맵으로부터 폭주 각도가 산출되는 경우, 예를 들어 표시 장치 DP11L은 표시 장치 DP11R과 통신하고, 표시 장치 DP11R에서 얻어진 수광 신호 맵을 수신한다. 그리고, 표시 장치 DP11L은, 표시 장치 DP11L에서 얻어진 수광 신호 맵과, 표시 장치 DP11R으로부터 수신한 수광 신호 맵으로부터 폭주 각도를 산출하고, 얻어진 폭주 각도를 표시 장치 DP11R로 송신한다. 폭주 각도의 산출 시에는, 좌안의 수광 신호 맵에 있어서의 동공 위치를 나타내는 안구의 방위와, 우안의 수광 신호 맵에 있어서의 동공 위치를 나타내는 안구의 방위로부터 폭주 각도가 산출된다.

이에 의해, 표시 장치 DP11L과 표시 장치 DP11R에 있어서, 공통의 폭주 각도를 얻을 수 있다. 이 경우, 신호 처리부(26)에 의해 폭주 각도의 산출이 행하여지고, 신호 안테나(23)에 의해 폭주 각도의 송수신이 행하여진다. 또한, 신호 처리부(26)는 필요에 따라 폭주 각도를 사용하여 주시 물체까지의 거리와, 주시 물체의 상하 좌우의 위치를 구한다. 이 주시 물체까지의 거리 등이 표시 장치 DP11L로부터 표시 장치 DP11R로 송신되어도 된다.

또한, 좌우의 표시 장치 DP11L과 표시 장치 DP11R이, 각각 하나의 수광 신호 맵에 기초하여 폭주 각도를 산출할 경우, 좌안 또는 우안의 수광 신호 맵에 있어서의 동공 위치에 기초하여, 폭주 각도가 산출된다. 그로 인해, 대상물이 유저의 정면에 없을 때에는, 표시 장치 DP11L과 표시 장치 DP11R에서 얻어지는 폭주 각도가 서로 다른 각도가 된다. 즉, 좌우 비대칭인 폭주 각도가 된다. 그러나, 좌우 각각의 폭주 각도로부터, 대상 물체까지의 거리나 대상 물체의 좌우 상하의 위치를 구하는 것이 가능하다.

또한, 표시 장치 DP11L에서 얻어진 수광 신호 맵과, 표시 장치 DP11R에서 얻어진 수광 신호 맵에 기초하여, 다른 장치가 폭주 각도를 산출하도록 해도 된다.

그러한 경우, 예를 들어 도 7에 도시한 바와 같이, 제어 장치(81)가 표시 장치 DP11L 및 표시 장치 DP11R과 통신하고, 수광 신호 맵을 수신한다.

그리고, 제어 장치(81)는 표시 장치 DP11L로부터 수신한 수광 신호 맵과, 표시 장치 DP11R으로부터 수신한 수광 신호 맵에 기초하여 폭주 각도를 산출하고, 얻어진 폭주 각도를 표시 장치 DP11L 및 표시 장치 DP11R로 송신한다.

또한, 제어 장치(81)가 폭주 각도에 기초하여, 대상 물체까지의 거리나 대상 물체의 위치 등을 산출하고, 표시 장치 DP11L 및 표시 장치 DP11R로 송신하도록 해도 된다.

이상과 같이, 표시 장치(11)에 의하면, 안구로부터의 반사광을 직접 수광하여 안구의 움직임, 즉 각 시각에 있어서의 안구의 방위(시선 위치)를 검출할 수 있다. 특히, 표시 영역(21)에 복수의 수광 소자(52)를 설치함으로써, 안구의 미소한 움직임을 고정밀도로 검출하는 것이 가능하게 된다.

<마이크로쌔카드의 검출에 대해서>

그런데, 안구 운동에는 쌔카드라고 불리는 미동이 있음이 알려져 있다. 특히 시선이 머물고 있는 동안의 무의식적인 안구 운동 중에서, 1회의 움직임의 폭이 가장 큰 것은 마이크로쌔카드라 부르고 있다.

이러한 안구의 미동 방향은 불규칙적이 아니고, 가령 시선이 다른 장소로 향하고 있다고 해도, 은근히 주의를 기울이고 있는 물체쪽으로 치우쳐 있어, 마이크로쌔카드에는 사람의 숨겨진 생각이나 욕망이 나타나 있다고 여겨지고 있다.

따라서, 표시 장치(11)에 있어서 마이크로쌔카드를 검출하면, 유저가 주시하고 있는 대상물뿐만 아니라, 유저가 잠재적으로 흥미를 가지고 있는 대상물을 특정하는 것이 가능하게 된다.

구체적으로는, 예를 들어 신호 처리부(26)는 각 시각에 있어서의 수광 신호 맵에 기초하여, 그들의 각 시각에 있어서의 안구의 방위, 즉 시선 위치를 검출한다. 이때, 소정의 기간에 있어서 대부분의 시각에서 동일한 시선 위치가 검출된 경우, 그 시선 위치가 유저의 주시하고 있는 위치, 즉 유저가 주목하고 있는 대상물의 위치이다.

또한, 신호 처리부(26)는 상술한 소정의 기간에 있어서, 유저가 주시하고 있는 위치와는 다른 시선 위치 중, 안구의 방위의 움직임량이 가장 컸던 시각의 시선 위치를, 유저가 잠재적으로 흥미를 가지고 있는 대상물의 위치로 한다. 즉, 가장 컸던 안구의 움직임이 마이크로쌔카드로서 검출된다.

<생태 상태의 검출에 대해서>

또한, 표시 장치(11)에서는, 생체의 상태를 검출하는 것도 가능하다.

예를 들어 표시 장치(11)에서는, 생체의 상태로서 유저의 심박 박동을 검출할 수 있다. 이하, 박동을 검출하는 원리에 대하여 설명한다.

표시 장치(11)에서는, 표시 화소(51)가 소정 파장의 광을 출력하고, 그 광의 안구 표면에 있어서의 반사에 의해 발생한 반사광을 수광 소자(52)가 수광한다. 그리고, 신호 처리부(26)는 표시 소자 구동부(27)를 통하여 수광 소자(52)로부터 공급된 수광 신호의 값에 기초하여, 표시 장치(11)를 장착하고 있는 유저의 심박 박동을 검출한다.

예를 들어, 심박의 박동은 도 8에 도시한 바와 같이 주기적으로 발생하고, 박동의 시간은 주기에 비하여 짧고, 박동의 타이밍에 혈류가 발생하고 있다. 또한, 도 8에 있어서, 횡축은 시간을 나타내고 있고, 종축은 수광 신호의 값, 즉 혈류의 양을 나타내고 있다.

도 8에서는, 혈류량이 급준하게 변화하고 있는 부분이 박동의 부분이며, 박동이 주기적으로 발생하고 있음을 알 수 있다.

박동에서 혈류가 많은 타이밍에서는, 모세혈관에 흐르는 혈액이 많아지기 때문에, 혈류의 유무로부터 박동을 검출하는 것이 가능하게 된다. 안구에는 모세혈관이 통하고 있어, 심박의 박동에 맞춰서 혈류가 있다.

혈액 내의 성분인 옥시헤모글로빈과 디옥시헤모글로빈은 광흡수의 분광 특성이 상이하고, 805nm보다도 단파장측에서는 디옥시헤모글로빈 쪽이 높은 흡광 계수가 되고, 805nm보다도 장파장측에서는 옥시헤모글로빈 쪽이 높은 흡광 계수가 된다.

따라서, 신호 처리부(26)는 표시 소자 구동부(27)를 제어하여, 표시 화소(51)로부터 805nm보다도 파장이 짧은 소정 파장의 광과, 805nm보다도 파장이 긴 소정 파장의 광을 순서대로(교대로) 출력시킨다. 또한, 신호 처리부(26)는 표시 화소(51)로부터 출력되고, 안구 표면에서 반사된 광을 수광 소자(52)에 수광시킨다. 여기서, 805nm보다도 파장이 짧은 광은, 가시광으로 간주해도 된다.

그리고, 신호 처리부(26)는 짧은 파장의 광을 출력했을 때에 얻어진 수광 신호의 값과, 긴 파장의 광을 출력했을 때에 얻어진 수광 신호의 값의 차분을 구함으로써, 혈액 내에 옥시헤모글로빈과 디옥시헤모글로빈 중의 어느 성분이 많이 포함되어 있는지를 특정한다. 또한, 신호 처리부(26)는 수광 신호의 차분으로부터 얻어진 특정 결과와, 소정 기간에 있어서의 각 시각의 수광 신호의 값의 변화, 즉 수광 소자(52)에서 수광되는 반사광의 강도의 시간 변동에 기초하여 혈류(혈류량의 변화)를 검출하고, 혈류의 검출 결과로부터 박동을 구한다.

혈액 내의 헤모글로빈은, 특정 파장대의 광에 강한 흡수 스펙트럼을 갖고 있으며, 그 특정 파장대의 광을 조사했을 때의 혈액(혈관)에서의 반사광은, 혈관의 용량 변동에 따라 변화하는 헤모글로빈의 양에 따라서 변화한다. 그로 인해, 안구(모세혈관) 표면에 조사한 광의 반사광의 강도로부터 혈류량을 검출할 수 있다.

또한, 혈류량 자체가 생체의 상태로서 신호 처리부(26)에 의해 검출되어도 된다.

또한, 표시 장치(11)에서는, 안구의 충혈 정도를 검출하는 것도 가능하다.

안구의 충혈은, 뭔가의 영향을 원인으로 하여 흰자 표면의 혈관이 확장되어 떠올라 버리기 때문에 눈이 빨갛게 충혈되어 보이는 현상이며, 충혈 시에는 정상 시보다 혈액이 흐르는 양이 많게 되어 있다.

예를 들어, 눈의 표면이 세균이나 바이러스 감염으로부터 결막염을 일으킨 경우 등에 눈이 충혈되어버린다. 또한, 퍼스널 컴퓨터나 비디오 게임, 독서를 지나치게 하는 등의 눈의 혹사나, 콘텍트 렌즈의 영향, 눈의 휴양이 충분히 이루어지지 않은 경우에, 눈에 산소나 영양분을 보충하기 위하여 혈액을 많이 보내려고 혈관이 확장되는 등도, 눈이 충혈되는 원인이 된다.

표시 장치(11)의 신호 처리부(26)는 상술한 심박의 박동 검출에 있어서 설명한 경우와 동일한 처리를 행하여, 유저의 안구에 있어서의 혈류량을 검출하고, 정상 시의 혈류량과, 검출한 혈류량을 비교함으로써, 충혈 정도를 구한다. 이와 같이, 혈류량의 차분을 구하는 등, 혈류량을 비교함으로써, 정상 시보다 혈액이 흐르는 양이 많은 것을 검출할 수 있다. 또한, 정상 시의 혈류량은, 미리 정해진 값으로 되어도 되고, 과거의 혈류량으로부터 구해진 값으로 되어도 된다.

표시 장치(11)가 유저의 눈의 충혈 정도를 검출함으로써, 안구가 피로나 병으로 정상적이지 않음을 판단하는 것이 가능하게 된다.

이상과 같이, 표시 장치(11)가 심박이나 충혈 정도 등의 생체의 상태(인체의 상황)를 검출함으로써, 그 검출 결과를 여러가지 어플리케이션 프로그램 등에 이용할 수 있게 된다.

예를 들어, 유저가 놀라거나 흥분하거나 하여 심박이 상승하는 것을 표시 장치(11)가 검출하고, 또한, 표시 장치(11)가 그 놀람이나 흥분의 대상물을, 유저의 시선(안구의 움직임)과 마이크로쌔카드의 검출 결과로부터 특정하는 것이 가능하게 된다.

<표시 영역에 대해서>

그런데, 표시 장치(11)는 도 9에 도시하는 안구의 각막보다도 넓은 범위를 덮는 구조로 되어 있다. 도 9에서는, 안구 EY31에 있어서 사선이 그려진 부분이 각막 CO11을 나타내고 있다.

표시 장치(11)는 안구 EY31에 장착되었을 때에, 표시 장치(11)에 의해 각막 CO11 전체가 덮이는 크기 및 형상으로 된다.

또한, 예를 들어 도 10의 상측에 도시한 바와 같이, 유저가 정면을 보고 있는 상태에서는, 안구 EY11의 동공 BE11도 정면을 향하고 있다. 또한, 도 10에 있어서 도 4에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.

도 10의 상측에 도시하는 예에서는, 동공 BE11이 정면을 향하고 있는 상태이며, 표시 장치(11)의 각 표시 화소(51)로부터 출력된 광은 안구 EY11을 향하여 진행한다.

또한, 도면 중, 실선의 화살표는 표시 화소(51)로부터 출력된 광 중, 동공 BE11을 통하여 망막에 도달한 광을 나타내고 있다. 또한, 도면 중, 점선의 화살표는 표시 화소(51)로부터 출력된 광 중, 동공 BE11을 통하지 않고 안구 EY11에서 흡수 또는 반사되는 광이, 가령 안구 EY11 표면에서 흡수도 반사도 되지 않고 망막에 도달하였다고 했을 때의 광선을 나타내고 있다.

도면 중, 상측의 예에서는, 표시 장치(11)에 있어서의 동공 BE11에 대향하는 영역에 있는 표시 화소(51)로부터 출력된 광이 망막에 도달하고, 동공 BE11과는 상이한 부분에 대향하는 영역에 있는 표시 화소(51)로부터 출력된 광은 망막에는 도달하지 않음을 알 수 있다.

또한, 도면 중, 하측에는 유저가 상방을 향하고 있을 때의 안구 EY11의 상태가 도시되어 있다. 이 예에서는, 도면 중, 상측의 예와 비교하여 동공 BE11이 표시 장치(11)의 단부 방향(주위 방향)으로 이동하고 있고, 표시 장치(11)의 상단부 부근에 있는 표시 화소(51)로부터 출력된 광이 동공 BE11을 통하여 망막에 도달하고 있음을 알 수 있다. 또한, 표시 장치(11)의 중앙 부근에 있는 표시 화소(51)로부터 출력된 광은 동공 BE11을 통하지 않고, 안구 EY11 표면에서 반사 또는 흡수됨을 알 수 있다.

표시 장치(11)에서는, 표시 장치(11) 전체의 영역 중, 도 10에 도시하는 바와 같이 안구 EY11의 이동에 수반하여 동공 BE11이 이동 가능한 범위, 보다 상세하게는 일상 생활에서 사용하는 동공 BE11의 이동 범위의 영역에 대향하는 영역 전체에 표시 화소(51)와 수광 소자(52)가 설치된다. 바꾸어 말하면, 안구 EY11이 어느 방향을 향하고 있더라도, 동공 BE11과 대향하는 표시 장치(11)의 영역 근방에 표시 화소(51)와 수광 소자(52)가 배치되어 있게 된다.

이에 의해, 유저 인터페이스 조작 시에 안구 EY11이 이동해도, 표시 화소(51)에 의해 표시되는 정보가 누락됨으로써 정보가 감소되는 것을 피하는 것이 가능하게 된다. 즉, 유저의 시선이 어느 방향을 향하고 있어도, 표시 화소(51)에 의해 유저에 대하여 정보를 제시할 수 있음과 함께, 수광 소자(52)에 의해 유저의 시선 위치를 검출할 수 있다. 이 경우, 유저의 전체 시야로부터 화상을 표시하기 위한 광이 발해져서, 유저의 시계 전체에 화상이 표시되게 된다.

또한, 표시 장치(11)의 중앙보다도 넓은 범위(동공의 이동 범위)의 영역에는, 표시 화소(51) 또는 수광 소자(52) 중 적어도 한쪽이 설치되어 있으면 되고, 안구가 이동하는 범위 전부에 반드시 표시 화소(51)와 수광 소자(52)가 설치되어 있을 필요는 없다.

<캘리브레이션 처리의 설명>

이어서, 표시 장치(11)의 동작에 대하여 설명한다.

예를 들어, 유저의 시선 이동에 의한 안구의 움직임으로 유저 인터페이스 조작을 행할 때에는, 표시 장치(11)가 캘리브레이션 처리를 행함으로써, 유저의 시선 위치와 표시 영역(21)에 표시되는 정보의 위치와의 위치 관계를 정확하게 보정할 수 있다.

이하, 도 11의 흐름도를 참조하여, 표시 장치(11)에 의한 캘리브레이션 처리에 대하여 설명한다. 이 캘리브레이션 처리는, 예를 들어 유저가 콘텍트 렌즈형의 표시 장치(11)를 안구에 장착하면 개시된다.

스텝 S11에 있어서, 신호 처리부(26)는 표시 소자 구동부(27)를 제어하여, 표시 화소(51)를 발광시킨다. 표시 화소(51)는 표시 소자 구동부(27)의 제어에 따라서 발광하여, 소정의 화상을 표시시키는 광을 출력한다.

스텝 S12에 있어서, 수광 소자(52)는 안구로부터 입사해 오는 광의 검출을 개시한다. 즉, 수광 소자(52)는 표시 장치(11)의 외부나 표시 화소(51)로부터 안구로 입사되고, 안구 표면에서 반사된 광을 수광하여 광전 변환하고, 수광량에 따른 수광 신호를, 표시 소자 구동부(27)를 통하여 신호 처리부(26)에 공급한다.

스텝 S13에 있어서, 신호 처리부(26)는 표시 소자 구동부(27)를 제어하여 표시 화소(51)에 캘리브레이션 위치 결정 화상을 표시시킨다. 표시 화소(51)는 표시 소자 구동부(27)의 제어에 따라서 발광함으로써, 캘리브레이션 위치 결정 화상을 표시한다.

예를 들어, 캘리브레이션 위치 결정 화상은 캘리브레이션용의 마크의 화상 등으로 되고, 캘리브레이션 위치 결정 화상은, 표시 영역(21)의 중앙과 상하 좌우의 합계 5개의 각 위치에 순서대로 표시된다.

스텝 S13에서는, 신호 처리부(26)는 중앙과 상하 좌우의 각 위치 중에서, 아직 캘리브레이션 위치 결정 화상이 표시되지 않은 위치를 하나 선택하고, 선택한 위치에 캘리브레이션 위치 결정 화상을 표시시킨다.

또한, 표시 영역(21)에는 캘리브레이션 위치 결정 화상과 함께, 필요에 따라, 유저에 대하여 캘리브레이션 위치 결정 화상을 보고 위치 확정의 조작을 행할 것을 촉구하는 메시지가 표시되게 해도 된다.

캘리브레이션 위치 결정 화상이 표시되면, 표시 화소(51)로부터는 캘리브레이션 위치 결정 화상을 표시하기 위한 광이 출력되고, 그 광의 일부는 안구 표면에서 반사되어서 수광 소자(52)에 의해 수광된다. 그러자, 수광 소자(52)는 수광한 광의 양에 따른 수광 신호를, 표시 소자 구동부(27)를 통하여 신호 처리부(26)에 공급한다.

또한, 유저는, 시선을 캘리브레이션 위치 결정 화상을 향해서, 캘리브레이션 위치 결정 화상을 소정 시간 이상 주시하거나, 깜박임을 하거나 하는 등 미리 정해진 위치 확정 조작을 행한다.

스텝 S14에 있어서, 신호 처리부(26)는 수광 소자(52)로부터 공급된 수광 신호에 기초하여, 유저의 시선 위치를 확정한다.

예를 들어, 소정 시간 이상 동일 위치를 주시하는 동작이, 유저에 의한 위치 확정 조작으로 되어 있는 경우, 신호 처리부(26)는 수광 신호에 기초하여 수광 신호 맵을 생성하고, 얻어진 수광 신호 맵으로부터 각 시각에 있어서의 유저의 시선 위치를 구한다.

그리고, 신호 처리부(26)는 구한 각 시각의 시선 위치 중, 소정 시간 이상 연속하여 검출된 동일한 시선 위치를, 캘리브레이션 위치 결정 화상에 대한 시선 위치로 한다. 즉, 정해진 시선 위치가, 유저가 캘리브레이션 위치 결정 화상을 보고 있을 때의 시선 위치인 것으로 된다.

또한, 예를 들어 깜박임을 하는 동작이 유저에 의한 위치 확정 조작으로 되어 있는 경우, 신호 처리부(26)는 수광 신호에 기초하여 수광 신호 맵을 생성하고, 각 시각의 수광 신호 맵에 기초하여, 유저의 깜박임을 검출함과 함께 각 시각에 있어서의 유저의 시선 위치를 구한다.

그리고, 신호 처리부(26)는 깜박임이 검출된 시각에 있어서의 유저의 시선 위치를, 캘리브레이션 위치 결정 화상에 대한 시선 위치로 한다.

깜박임의 검출은, 예를 들어 수광 소자(52)에서 검출되는 광의 강도, 즉 수광 신호 맵의 각 위치에 있어서의 값(수광 신호의 값)에 기초하여 행하여진다.

유저가 눈꺼풀을 열고 있는 경우, 수광 소자(52)에 의해 수광되는 광에는, 표시 화소(51)로부터의 광 외에 환경광도 포함되어 있으므로, 유저가 눈꺼풀을 열고 있는 상태와, 눈꺼풀을 닫고 있는 상태는, 수광 소자(52)에 의해 수광되는 광의 강도가 상이하다. 그로 인해, 수광 소자(52)에서 검출되는 광량 레벨의 변화, 즉 수광 신호의 값의 변화로부터 유저의 깜박임을 검출할 수 있다. 또한, 광량 레벨의 변화 외에 시간적 변동도 고려함으로써 깜박임의 검출 정밀도를 더욱 향상시킬 수 있다.

스텝 S15에 있어서, 신호 처리부(26)는 모든 위치에 대하여, 처리를 행하였는지 여부를 판정한다. 예를 들어, 표시 장치(11)의 중앙과 상하 좌우의 각 위치에 캘리브레이션 위치 결정 화상이 표시되고, 그들 위치마다 시선 위치가 구해진 경우, 모든 위치에 대하여 처리를 행했다고 판정된다.

스텝 S15에 있어서, 아직 모든 위치에 대하여 처리를 행하지는 못하였다고 판정된 경우, 처리는 스텝 S13으로 복귀되고, 상술한 처리가 반복된다. 즉, 다음 위치에 캘리브레이션 위치 결정 화상이 표시되어, 시선 위치가 구해진다.

이에 비해, 스텝 S15에 있어서, 모든 위치에 대하여 처리를 행하였다고 판정된 경우, 스텝 S16에 있어서, 신호 처리부(26)는 캘리브레이션을 행하고, 캘리브레이션 처리는 종료된다.

예를 들어 신호 처리부(26)는 각 위치에 대하여 캘리브레이션 위치 결정 화상의 표시 위치와, 그 위치에 캘리브레이션 위치 결정 화상을 표시했을 때의 시선 위치와의 어긋남량을 구하고, 캘리브레이션을 행한다. 즉, 표시 영역(21)에 있어서의 화상의 표시 위치와, 실제로 그 화상을 유저가 주시했을 때의 시선 위치를 일치시키기 위한 보정값이 구해진다.

이상과 같이 하여 표시 장치(11)는 캘리브레이션 위치 결정 화상을 표시시키고, 그 표시 위치와 유저의 시선 위치에 기초하여 캘리브레이션을 행한다. 이와 같이 캘리브레이션을 행함으로써, 표시 위치와 시선 위치의 어긋남을 정확하게 보정할 수 있어, 표시 장치(11)의 조작성을 향상시킬 수 있다.

<시선 검출 처리의 설명>

캘리브레이션 처리가 행하여지면, 유저는 임의의 어플리케이션 프로그램을 기동시켜서, 원하는 처리를 실행시킬 수 있다.

예를 들어, 어플리케이션 프로그램의 실행 시에는, 유저는 시선을 이동시켜서 각종 조작을 행할 수 있다. 그러한 경우, 표시 장치(11)는 시선 검출 처리를 행하여 유저의 시선 위치를 검출하고, 그 검출 결과에 따른 처리를 행한다.

이하, 도 12의 흐름도를 참조하여, 표시 장치(11)에 의한 시선 검출 처리를 설명한다.

스텝 S41에 있어서, 신호 처리부(26)는 표시 소자 구동부(27)를 제어하여, 표시 화소(51)를 발광시킨다. 표시 화소(51)는 표시 소자 구동부(27)의 제어에 따라서 발광하고, 소정의 화상을 표시시키는 광을 출력한다. 이에 의해, 표시 영역(21)에는, 예를 들어 정보 선택을 위한 버튼이나 포인터 등이 필요에 따라서 표시된다.

스텝 S42에 있어서, 수광 소자(52)는 안구로부터 입사해 오는 광의 검출을 개시한다. 즉, 수광 소자(52)는 표시 장치(11)의 외부나 표시 화소(51)로부터 안구로 입사되고, 안구 표면에서 반사된 광을 수광하여 광전 변환하고, 수광량에 따른 수광 신호를, 표시 소자 구동부(27)를 통하여 신호 처리부(26)에 공급한다.

스텝 S43에 있어서, 신호 처리부(26)는 수광 소자(52)로부터 공급된 수광 신호에 기초하여, 유저의 시선 위치를 구한다. 즉, 신호 처리부(26)는 수광 신호에 기초하여 수광 신호 맵을 생성하고, 얻어진 수광 신호 맵으로부터 유저의 동공 중심(안구의 방위)을 검출함으로써 유저의 시선 위치를 구한다.

스텝 S44에 있어서, 신호 처리부(26)는 시선 위치에 기초하여 선택 처리를 행한다.

예를 들어, 표시 영역(21)에 포인터나 커서가 표시되어 있는 경우, 신호 처리부(26)는 시선 위치의 이동에 따라, 표시 소자 구동부(27)를 제어하여 표시 화소(51)를 구동시켜, 표시 영역(21)(표시 화소(51))에 표시되어 있는 포인터나 커서를 이동시킨다. 예를 들어, 시선 위치에 포인터 등이 위치하도록 표시가 제어된다.

또한, 신호 처리부(26)는 포인터나 커서, 즉 유저의 시선 위치가 표시 영역(21)에 표시되어 있는 버튼이나 아이콘 등의 선택 대상의 영역에 위치하고 있는 경우, 그 선택 대상이 선택된 것으로 한다. 또한, 유저의 시선 위치가 소정 시간 이상, 선택 대상의 위치에 있는 경우에, 선택 대상이 선택된 것으로 되도록 해도 된다.

또한, 예를 들어 표시 영역(21)에 포인터 등의 지시 수단이 표시되지 않는 경우에도, 시선 위치가 버튼 등의 선택 대상의 영역에 위치하고 있을 때에, 선택 대상이 선택된 것으로 하도록 해도 된다.

그 밖에, 유저의 시선 위치가 버튼 등의 선택 대상에 있는 상태에서, 유저가 1회 또는 복수회 등의 소정 횟수만큼 깜박임을 한 경우나, 시선 위치가 버튼 등의 선택 대상에 있는 상태에서, 유저가 소정 시간 이상, 눈꺼풀을 닫고 있는 경우에, 선택 대상이 선택된 것으로 되어도 된다. 이 경우, 신호 처리부(26)는 수광 신호 맵에 기초하여, 시선 위치와 함께 깜박임이나 유저가 눈을 감고 있는 시간을 검출하여, 선택 대상에 대한 선택 처리가 행하여진다.

또한, 쌍이 되는 유저의 좌우의 눈에 시차가 있는 화상이 제시되고 있는 경우에는, 유저로부터 주시 위치까지의 거리가 사용되어서 선택 처리가 행하여진다. 이 경우, 신호 안테나(23)는 쌍이 되는 다른 안구에 장착되어 있는 표시 장치(11)로부터 안구의 방위 또는 수광 신호 맵을 수신하여 신호 처리부(26)에 공급한다. 그리고 신호 처리부(26)는 스텝 S43에서 얻어진 안구의 방위(시선 위치)와, 수신된 안구의 방위 또는 수광 신호 맵으로부터 폭주 각도를 산출하고, 얻어진 폭주 각도로부터 주시 위치까지의 거리를 산출한다.

또한, 신호 처리부(26)가 표시 소자 구동부(27)를 통하여 표시 화소(51)를 제어하여, 선택된 버튼 등의 선택 대상을, 선택 상태로 되지 않은 다른 선택 대상의 색이나 형상과 상이한 색이나 형상, 즉 다른 표시 형식으로 표시시키도록 해도 된다. 이에 의해, 유저는, 어느 선택 대상이 선택 상태로 되어 있는지를 용이하게 알 수 있다.

또한, 선택 대상은, 버튼 등에 한하지 않고, 화상이나 문자 정보 등, 선택의 대상으로 될 수 있는 것이라면 어떤 것이어도 된다.

스텝 S45에 있어서, 신호 처리부(26)는 스텝 S44의 선택 처리에 의한 선택에 따른 처리를 실행하고, 시선 검출 처리는 종료된다.

예를 들어, 신호 처리부(26)는 선택된 선택 대상에 대응지어진 소프트웨어나 계산 처리를 실행하거나, 표시 화소(51)를 제어하여, 선택 대상으로 되어 있는 화상이나 문자 정보를 확대 표시시키거나 한다. 또한, 선택 처리에 의한 선택에 따라, 예를 들어 어플리케이션 프로그램에서 이용되는 정보로서, 수광 신호 맵으로부터 동공의 직경 등이 구해져도 된다.

또한, 스텝 S45에 있어서는, 상술한 생체의 상태의 검출 결과나 마이크로쌔카드의 검출 결과와, 선택 처리에 의한 선택에 따른 처리가 실행되도록 해도 된다.

이상과 같이 하여 표시 장치(11)는 표시 화소(51) 등으로부터의 광을 수광 소자(52)로 수광하고, 얻어진 수광 신호에 기초하여 시선 위치를 검출함과 함께, 시선 위치에 기초하여 선택 처리를 행하고, 그 선택 결과에 따른 처리를 실행한다.

이와 같이, 수광 소자(52)에서 얻어지는 수광 신호에 기초하여 시선 위치를 검출함으로써, 표시 장치(11) 이외에 외부의 장치를 필요로 하지 않고 간단하게 유저의 조작을 특정할 수 있다. 바꾸어 말하면, 간단한 구성으로 표시 장치(11)의 조작성을 향상시킬 수 있다.

또한, 표시 장치(11)에서는, 유저가 눈을 감은 상태여도 안구의 방위, 즉 시선 위치를 고정밀도로 검출할 수 있다. 이때, 표시 영역(21)에 있어서 서로 인접하는 수광 소자(52) 사이의 거리(피치)를 짧게 할수록, 시선 위치의 검출 정밀도를 향상시킬 수 있다.

<생체 상태 검출 처리의 설명>

또한, 표시 장치(11)에서는 생체의 상태를 검출할 수 있다.

이하, 도 13의 흐름도를 참조하여, 표시 장치(11)에 의한 생체 상태 검출 처리에 대하여 설명한다.

또한, 이 생체 상태 검출 처리는, 예를 들어 도 12를 참조하여 설명한 시선 검출 처리와 교대로 행하여진다. 즉, 표시 영역(21)에 화상 등의 정보가 표시되고 있는 기간에 시선 검출 처리가 행하여지고, 그 기간 후, 생체 상태 검출 처리가 행하여져서 생체의 상태가 검출되고, 또한 그 후, 다시 표시 영역(21)에 화상 등이 표시되어 시선 검출 처리가 행하여진다. 그리고, 그 이후에 있어서도 시선 검출 처리와 생체 상태 검출 처리가 교대로 행하여진다.

스텝 S71에 있어서, 신호 처리부(26)는 표시 소자 구동부(27)를 제어하여, 표시 화소(51)를 발광시킨다. 표시 화소(51)는 표시 소자 구동부(27)의 제어에 따라서 발광하고, 미리 정해진 소정의 파장 대역의 광을 출력한다.

스텝 S72에 있어서, 수광 소자(52)는 안구로부터 입사해 오는 광을 검출한다. 즉, 수광 소자(52)는 표시 장치(11)의 외부나 표시 화소(51)로부터 안구로 입사되고, 안구 표면에서 반사된 광을 수광하여 광전 변환하고, 수광량에 따른 수광 신호를, 표시 소자 구동부(27)를 통하여 신호 처리부(26)에 공급한다.

또한, 스텝 S71과 스텝 S72의 처리는, 표시 화소(51)로부터 출력되는 광의 파장마다 소정 횟수만큼 교대로 행하여진다.

예를 들어 생체 상태로서, 심박의 박동이나 혈류량, 충혈 정도 등이 검출되는 경우, 상술한 바와 같이 805nm보다도 짧은 소정 파장의 광의 출력 및 수광과, 805nm보다도 긴 소정 파장의 광의 출력 및 수광이 교대로 행하여진다.

생체 상태를 검출하는 경우에는, 시선 검출 처리가 행해지고 있지 않은 상태에서, 수광 소자(52)에 있어서 표시 화소(51)로부터의 광이 검출된다. 그로 인해, 생체 상태의 검출 시에는 수광 소자(52)는 시선 검출 처리가 행해지고 있을 때에 표시 화소(51)로부터 출력되는, 화상 표시를 위한 광의 영향을 받지 않아도 되므로, 보다 정확하게 생체 상태를 검출할 수 있다.

또한, 여기에서는 2가지의 특정한 파장의 광을 표시 화소(51)로부터 출력시키는 예에 대하여 설명했지만, 표시 화소(51)로부터 출력시키는 광의 파장을 시간과 함께 변화시키면서, 특정한 파장 대역의 3 이상의 각 파장의 광을 순서대로 안구에 조사하도록 해도 된다.

스텝 S73에 있어서, 신호 처리부(26)는 각 시각의 수광 신호의 차분을 구한다. 예를 들어, 짧은 파장의 광을 출력했을 때에 얻어진 수광 신호와, 긴 파장의 광을 출력했을 때에 얻어진 수광 신호의 차분을 구함으로써, 혈액 내에 옥시헤모글로빈과 디옥시헤모글로빈 중 어느 성분이 많이 포함되어 있는지를 특정할 수 있다.

스텝 S74에 있어서, 신호 처리부(26)는 스텝 S72에서 얻어진 각 시각의 수광 신호에 기초하여 생체의 상태를 구한다.

예를 들어 생체의 상태로서 심박의 박동이 검출되는 경우, 신호 처리부(26)는 스텝 S73에서 얻어진 차분과, 스텝 S72에서 얻어진 소정 기간의 각 시각의 수광 신호의 변화에 기초하여 혈류(혈류량의 변화)를 검출하고, 혈류의 검출 결과로부터 박동을 구한다.

또한, 예를 들어 생체의 상태로서 안구의 충혈 정도를 검출하는 경우, 신호 처리부(26)는 소정 기간의 각 시각의 수광 신호의 변화에 기초하여 유저의 안구에 있어서의 혈류량을 검출하고, 미리 유지하고 있는 정상 시의 혈류량과, 검출한 혈류량을 비교하여 충혈 정도를 구한다. 또한, 혈류량 자체가 생체의 상태로서 검출되어도 된다.

신호 처리부(26)는 심박의 박동이나 충혈 정도 등의 생체의 상태를 구하면, 얻어진 생체의 상태를 나타내는 정보를, 생체의 상태를 이용하는 어플리케이션 프로그램에 출력하고, 생체 상태 검출 처리는 종료된다.

예를 들어, 생체의 상태를 나타내는 정보는, 어플리케이션 프로그램에서 이용하기 위하여 신호 처리부(26)에 기록되거나, 신호 처리부(26)로부터 신호 안테나(23)를 통하여 외부로 송신되거나 한다. 또한, 생체의 상태를 나타내는 정보가 신호 처리부(26)에 있어서, 선택 대상의 선택 처리 등에 이용되도록 해도 된다.

이상과 같이 하여 표시 장치(11)는 특정 파장의 광을 표시 화소(51)로부터 출력시킴과 함께, 그 광을 수광 소자(52)에 의해 수광하고, 그 결과 얻어진 수광 신호로부터 생체의 상태를 검출한다.

이와 같이 표시 화소(51)로부터의 광을 수광 소자(52)로 수광함으로써 간단하게 생체의 상태를 검출할 수 있고, 생체 상태의 검출 결과로부터 보다 많은 정보를 얻을 수 있다. 예를 들어, 생체의 상태로서 유저의 심박 박동을 검출하면, 두근거리고 있는 등의 유저의 감정이나 심리 상황을 추정하는 것이 가능하게 된다.

또한, 상술한 캘리브레이션 처리나 시선 검출 처리, 생체 상태 검출 처리에서는, 모든 처리가 표시 장치(11)에 의해 행하여지는 것으로 설명했지만, 일부의 처리가 도 7에 도시된 제어 장치(81)에 의해 행하여지도록 해도 된다.

<제2 실시 형태>

<콘텍트 렌즈형의 표시 장치의 외관의 구성예>

또한, 이상에 있어서는, 도 2에 도시한 바와 같이 표시 장치(11)를 정면으로부터 보았을 때의 형상이 원형인 예에 대하여 설명했지만, 예를 들어 도 14에 도시하는 바와 같이 타원 형상으로 되어도 된다. 또한, 도 14에 있어서 도 2에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.

도 14에 도시하는 표시 장치(101)는 표시 영역(21), 급전 안테나(22), 신호 안테나(23), 발전부(24), 센서(25), 신호 처리부(26) 및 표시 소자 구동부(27)로 구성된다.

표시 장치(101)의 표시 영역(21) 내지 표시 소자 구동부(27)는 표시 장치(11)의 표시 영역(21) 내지 표시 소자 구동부(27)와 구성도 동작도 동일하고, 표시 장치(101)와 표시 장치(11)는 장치 전체의 외관 형상과, 표시 영역(21)의 형상만이 상이하다.

도 14는, 콘텍트 렌즈형의 표시 장치(101)를 장착한 유저를 정면으로부터 보았을 때와 동일한 방향으로부터 표시 장치(101)를 본 도면이며, 도 14에서는 표시 장치(101)는 가로 방향으로 긴 타원 형상으로 되어 있다. 그로 인해, 유저가 표시 장치(101)를 안구에 장착한 상태에서는, 원 형상의 표시 장치(11)와 비교하여 표시 장치(101)가 안구에 대하여 회전하기 어려워진다. 이에 의해, 표시 장치(101)의 안구에 대한 회전 어긋남을 억제할 수 있다.

또한, 도 14의 예에서는, 표시 장치(101)의 표시 영역(21)도 가로 방향으로 긴 타원 형상으로 되어 있다.

또한, 표시 장치(101)는 도면 중, 세로 방향보다도 가로 방향으로 긴 형상이 되어 있기 때문에, 표시 영역(21)의 상하에 인접하는 부분의 영역보다도, 표시 영역(21)의 좌우로 인접하는 부분의 영역쪽이, 보다 면적이 넓게 되어 있다. 이 표시 영역(21)이 아닌 표시 장치(101) 상의 영역은, 유저의 동공 이동 범위 밖의 영역이다.

따라서, 표시 장치(101)에서는 표시 영역(21)의 도면 중, 좌우로 인접하는, 표시 장치(101)의 좌우(가로 방향)의 단부 근방의 영역에 발전부(24) 내지 표시 소자 구동부(27)가 배치되어 있다. 이와 같이 표시 영역(21)의 좌우로 인접하는 영역에 발전부(24) 내지 표시 소자 구동부(27) 등의 표시 장치(101)를 구동하기 위한 소자를 배치함으로써, 이 소자가 화상 표시의 방해가 되어버리는 것을 방지할 수 있다.

도 15는, 유저가 콘텍트 렌즈형의 표시 장치(101)를 장착한 상태를, 유저의 정면으로부터 본 장착 구조를 도시하고 있다.

표시 장치(101)는 도면 중, 세로 방향에 비하여 가로 방향의 폭이 길게 되어 있다. 따라서, 표시 장치(101)가 유저의 안구에 장착된 상태에서는, 표시 장치(101)가 안구를 덮는 세로 방향의 폭보다도 가로 방향의 폭이 보다 넓게 된다. 또한, 표시 장치(101)의 상하 방향의 단부의 위치는 유저의 눈꺼풀과 안구의 밑동의 앞까지가 되고, 좌우 방향의 폭은 안구가 좌우로 이동하는 범위까지의 폭으로 되어, 좌우 방향의 폭이 길게 되어 있다.

또한, 표시 장치(101)는 표시 장치(101)가 유저의 헤드부에 대하여 움직이지 않도록 헤드부에 대하여 고정해 두는 구조를 갖고 있다.

예를 들어, 유저의 시선 변동에 수반하는 안구의 이동에 대하여 콘텍트 렌즈형의 표시 장치(101)가 안구와 함께 이동하면, 표시 영역(21)에 의해 표시되어 있는 정보(화상)의, 유저의 헤드부에 대한 절대 위치도 이동해버린다. 유저의 헤드부에 대한 정보(화상)의 절대 위치의 이동은 표시 위치의 이동으로서 인식되기 때문에, 유저의 헤드부에 대하여 항상 콘텍트 렌즈형의 표시 장치(101)의 위치를 고정하는 것이 바람직하다.

따라서, 예를 들어 도 16에 도시한 바와 같이, 표시 장치(101)의 외주 근방에는 볼록부가 설치되어 있다. 도 16에 도시하는 예에서는, 표시 장치(101)는 유저의 안구 각막 CO21 전체를 덮도록 장착되어 있다.

또한, 이 예에서는 표시 장치(101)의 상하의 단부가, 눈꺼풀과 안구가 상하 단부에서 연결되는 부분의 밑동의 전방측, 즉 윤부 근방에 위치하고 있고, 표시 장치(101)의 상하의 단부 부분의 외계측 표면에, 외계측으로 돌출된 볼록부(141)와 볼록부(142)가 설치되어 있다. 이 볼록부(141)와 볼록부(142)가 눈꺼풀(눈꺼풀결막)에 닿아서, 이에 의해 안구가 움직였을 때나, 유저가 깜박임을 했을 때에도 표시 장치(101)가 유저의 헤드부에 대하여 움직이지 않도록 고정된다.

또한, 표시 장치(101)에 볼록부(141)와 볼록부(142)를 설치하는 예에 대하여 설명했지만, 예를 들어 도 17에 도시한 바와 같이, 표시 장치(101)의 상하의 외주 근방에 고마찰부(151)와 고마찰부(152)를 설치함으로써, 표시 장치(101)를 유저의 헤드부에 대하여 고정하도록 해도 된다.

고마찰부(151)와 고마찰부(152)는 표시 장치(101)의 중앙부에 비하여 눈꺼풀과의 마찰을 높인 처리가 실시되어 있다. 그로 인해, 표시 장치(101)를 유저의 안구에 장착한 상태에서는, 고마찰부(151) 및 고마찰부(152)와, 유저의 눈꺼풀(눈꺼풀결막)과의 마찰에 의해, 표시 장치(101)가 유저의 헤드부에 대하여 움직이지 않도록 고정된다.

이와 같이, 표시 장치(101)에 볼록부(141)와 볼록부(142), 또는 고마찰부(151)와 고마찰부(152)가 설치되는 경우, 이 볼록부나 고마찰부는 도 18에 도시하는 영역 SR11 및 영역 SR12에 설치된다.

또한, 도 18은 표시 장치(101)를 장착한 유저를 정면으로부터 보았을 때와 동일한 방향으로부터 표시 장치(101)를 본 도면을 도시하고 있다. 따라서, 표시 장치(101)의 도면 중, 상측이 유저의 눈의 상측에 대응하고, 표시 장치(101)의 도면 중, 하측이 유저의 눈의 하측에 대응한다.

이 경우, 표시 장치(101)의 상측의 단부를 따라 설치된 영역 SR11에 도 16에 도시된 볼록부(141), 또는 도 17에 도시된 고마찰부(151)가 설치된다. 또한, 표시 장치(101)의 하측의 단부를 따라 설치된 영역 SR12에 도 16에 도시된 볼록부(142), 또는 도 17에 도시된 고마찰부(152)가 설치된다.

여기서, 볼록부(141)와 볼록부(142), 또는 고마찰부(151)와 고마찰부(152)는 표시 장치(101)의 도면 중, 전방측, 즉 외계측에 설치된다.

또한, 여기에서는 표시 장치(101)에 볼록부나 고마찰부가 설치되는 예에 대하여 설명했지만, 도 2에 도시한 표시 장치(11)의 상하의 단부를 따라 볼록부나 고마찰부가 설치되어도 된다.

<변형예 1>

<표시 영역의 구성예>

또한, 이상에 있어서는, 도 3에 도시한 바와 같이 표시 영역(21) 내에 표시 화소(51)와 수광 소자(52)가 밀착하여 설치되어 있는 예에 대하여 설명했지만, 표시 영역(21)에 외부로부터의 환경광을 투과시키는 투과 영역이 설치되도록 해도 된다.

그러한 경우, 표시 영역(21)은 예를 들어 도 19에 도시한 바와 같이 구성된다. 또한, 도 19에 있어서의 세로 방향 및 가로 방향은, 예를 들어 도 14에 있어서의 세로 방향 및 가로 방향에 대응한다. 또한, 도 19에 있어서, 하나의 사각형의 영역은, 표시 화소(51), 수광 소자(52), 또는 투과 영역을 나타내고 있다.

구체적으로는, 흑색 사각형은 하나의 표시 화소(51)의 영역을 나타내고 있고, 사선이 그려진 사각형은 하나의 수광 소자(52)의 영역을 나타내고 있고, 백색 사각형은 투과 영역을 나타내고 있다. 여기서, 투과 영역은, 표시 화소(51)나 수광 소자(52)보다도 광의 투과율(투명도)이 높은 영역이다.

예를 들어 화살표 Q31로 나타낸 사각형은, 하나의 표시 화소(51)의 영역을 나타내고 있고, 그 표시 화소(51)의 도면 중, 상하 좌우는 투과 영역으로 되어 있다. 또한, 화살표 Q31로 나타낸 표시 화소(51)의 경사 방향 상부 및 경사 방향 하부에는, 수광 소자(52)가 배치되어 있다. 따라서, 각 표시 화소(51)는 4개의 수광 소자(52)와 4개의 투과 영역에 둘러싸여 있다.

이와 같이 각 표시 화소(51) 주변에 표시 장치(11) 또는 표시 장치(101)를 통한 외계의 광(환경광)을 투과하는 투과 영역을 설치함으로써, 유저가 표시 장치(11)나 표시 장치(101)를 장착했을 때에도 주위를 보는 것이 가능하게 된다. 또한, 이 예에서는, 각 표시 화소(51)에 인접하여 수광 소자(52)가 설치되어 있기 때문에, 표시 화소(51)로부터 출력되고, 안구에서 반사된 광을 수광 소자(52)로 수광할 수 있다.

<변형예 2>

<표시 영역의 구성예>

또한, 도 20에 도시한 바와 같이 표시 영역(21)이 구성되도록 해도 된다. 또한, 도 20에 있어서, 하나의 사각형의 영역은, 표시 화소(51), 수광 소자(52), 또는 투과 영역을 나타내고 있다.

구체적으로는 흑색 사각형은 하나의 표시 화소(51)의 영역을 나타내고 있고, 사선이 그려진 사각형은 하나의 수광 소자(52)의 영역을 나타내고 있고, 백색 사각형은 투과 영역을 나타내고 있다.

예를 들어 화살표 Q41로 나타낸 사각형은 하나의 표시 화소(51)의 영역을 나타내고 있고, 그 표시 화소(51)는 투과 영역에 둘러싸여 있다.

또한, 화살표 Q42로 나타낸 사각형은 하나의 표시 화소(51)의 영역을 나타내고 있고, 그 표시 화소(51)의 도면 중, 우측 경사 방향 상부에는 하나의 수광 소자(52)가 배치되어 있고, 화살표 Q42로 나타낸 표시 화소(51)에 인접하는 다른 영역은 투과 영역이 되어 있다.

도 20에 도시하는 예에서는, 표시 영역(21)에 설치된 수광 소자(52)의 수는, 표시 영역(21)에 설치된 표시 화소(51)의 수보다도 적게 되어 있고, 그만큼 많은 투과 영역이 설치되어 있다. 이와 같이 표시 화소(51)수보다도 적은 수의 수광 소자(52)가 설치되게 함으로써, 표시 장치 외부로부터 표시 영역(21)을 투과하는 광(환경광)을 보다 많게 할 수 있어, 도 19에 도시된 예와 비하여, 유저가 보다 밝게 주위를 볼 수 있다.

<변형예 3>

<표시 영역의 구성예>

또한, 표시 영역(21)에 설치되는 표시 화소(51)가 투과 성능을 갖는 경우에는, 표시 영역(21)에 투과 영역을 형성하지 않아도, 유저는 표시 화소(51)를 통하여 주위를 볼 수 있다. 그러한 경우, 표시 영역(21)은 예를 들어 도 21에 도시한 바와 같이 구성된다.

또한, 도 21에 있어서, 검은 영역은 표시 화소(51)의 영역을 나타내고 있고, 사선이 그려진 사각형은 하나의 수광 소자(52)의 영역을 나타내고 있다.

이 예에서는, 표시 화소(51)에 인접하여 수광 소자(52)가 설치되어 있다. 또한, 표시 화소(51)에 있어서의 광의 투과율이, 수광 소자(52)에 있어서의 광의 투과율보다도 높게 되어 있고, 유저는 표시 화소(51)를 통하여 유저의 주위를 볼 수 있다.

<제3 실시 형태>

<콘텍트 렌즈형의 표시 장치의 구성예>

또한, 표시 장치(101)에 압력 센서를 설치하여, 표시 장치(101)를 장착한 유저의 눈꺼풀 개폐를 검출하거나, 유저가 눈꺼풀을 강하게 닫았을 때의 압력을 검출하거나 하도록 해도 된다. 그러한 경우, 표시 장치(101)는 예를 들어 도 22에 도시한 바와 같이 구성된다. 또한, 도 22에 있어서, 도 14에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.

도 22에 도시하는 표시 장치(101)는 도 14에 도시한 표시 장치(101)에 대하여 추가로 압력 센서(181)가 설치되어 있는 점에서 도 14의 표시 장치(101)와 상이하고, 다른 점에서는 도 14의 표시 장치(101)와 동일한 구성으로 되어 있다.

즉, 도 22의 표시 장치(101)는 표시 영역(21), 급전 안테나(22), 신호 안테나(23), 발전부(24), 센서(25), 신호 처리부(26), 표시 소자 구동부(27) 및 압력 센서(181)로 구성된다.

압력 센서(181)는 도면 중, 우측의 단부 근방에 위치하고, 발전부(24)로부터 전력을 받아서 동작한다. 또한, 압력 센서(181)는 표시 장치(101)의 도면 중, 깊이 방향에 대하여 가해진 압력을 검출하고, 그 검출 결과를, 표시 소자 구동부(27)를 통하여 신호 처리부(26)에 공급한다.

신호 처리부(26)는 압력 센서(181)로부터 공급된 압력의 검출 결과에 기초하여 유저의 눈꺼풀의 개폐 등을 검출하고, 예를 들어 유저가 눈꺼풀을 닫았을 때에 선택 대상의 선택을 결정하거나, 유저가 눈꺼풀을 강하게 닫았을 때, 즉 소정 값 이상의 압력이 검출되었을 때에 선택 대상의 선택을 결정하거나 한다.

이와 같이 압력 센서(181)에 의한 압력의 검출 결과에 기초하여 유저 조작을 검출함으로써, 표시 장치(101)의 조작성을 더욱 향상시킬 수 있다.

<제4 실시 형태>

<콘텍트 렌즈형의 시선 검출 장치의 구성예>

또한, 이상에 있어서는, 유저의 시선 방향을 검출하는 본 기술을 표시 장치에 적용하는 예에 대하여 설명했지만, 본 기술은 표시 장치에 한하지 않고, 유저의 시선 방향(안구의 방위)을 검출하는 장치 전반에 대하여 적용 가능하다. 이하에서는, 유저의 시선 방향을 검출하는 시선 검출 장치에 본 기술을 적용한 실시 형태에 대하여 설명한다.

도 23은, 본 기술을 적용한 시선 검출 장치의 구성예를 도시하는 도면이다. 또한, 도 23에 있어서 도 2에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.

콘텍트 렌즈형의 시선 검출 장치(211)는 유저의 안구에 장착 가능한 형상으로 되어 있고, 시선 검출 장치(211)가 안구에 장착된 상태에서는, 시선 검출 장치(211)가 유저의 안구 각막 전체를 덮도록 되어 있다.

시선 검출 장치(211)는 검출 영역(221), 급전 안테나(22), 신호 안테나(23), 발전부(24), 센서(25), 신호 처리부(26) 및 발광 소자 구동부(222)로 구성된다.

또한, 도 23은 시선 검출 장치(211)를 장착한 유저를 정면으로부터 보았을 때와 동일한 방향으로부터 시선 검출 장치(211)를 본 도면이며, 도 23에서는 시선 검출 장치(211)는 타원 형상으로 되어 있다.

검출 영역(221)은 유저의 안구 표면에 대하여 시선 검출용의 광을 사출하는 복수의 발광부를 포함하는 발광 소자와, 발광부에 인접하여 배치되고, 유저의 안구 표면에서 반사된 광을 수광하는 수광 소자를 갖고 있다. 또한, 검출 영역(221)에서는 상술한 표시 영역(21)과 마찬가지로, 유저의 안구의 동공이 이동 가능한 범위의 영역에 대향하는 검출 영역(221) 내의 영역에, 발광부 또는 수광 소자 중 적어도 한쪽이 설치되어 있다.

발광 소자 구동부(222)는 신호 처리부(26)의 제어에 따라서 검출 영역(221)의 발광 소자를 구동시켜, 각 발광부로부터 광을 사출시키거나, 검출 영역(221)의 수광 소자로부터 공급된 수광 신호를 신호 처리부(26)에 공급하거나 한다.

시선 검출 장치(211)에서는, 급전 안테나(22) 내지 신호 처리부(26)의 배치 위치는, 도 14의 표시 장치(101)에 있어서의 경우와 동일 배치 위치로 되어 있다.

또한, 시선 검출 장치(211)의 검출 영역(221)은 예를 들어 도 24에 도시한 바와 같이 구성된다. 또한, 도 24는, 도 23 중, 가로 방향으로부터 시선 검출 장치(211)를 보았을 때의 시선 검출 장치(211)의 단면의 일부를 도시하고 있다. 또한, 도 24에 있어서 도 3에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하였으며, 그 설명은 적절히 생략한다.

도 24에서는 시선 검출 장치(211)의 검출 영역(221)에는, 시선 방향을 검출하기 위한 광을 사출하는 발광부(251-1) 내지 발광부(251-7)와, 유저의 안구 표면으로부터 입사하는 반사광을 수광하는 수광 소자(52-1) 내지 수광 소자(52-7)가 설치되어 있다. 그리고, 발광부(251-1) 내지 발광부(251-7)를 포함하는 하나의 발광 디바이스가 발광 소자(252)로 된다.

또한, 이하, 발광부(251-1) 내지 발광부(251-7)를 특별히 구별할 필요가 없을 경우, 간단히 발광부(251)라고도 칭한다.

발광부(251)는 발광함으로써, 시선 검출을 위한 광을 사출하는 기능을 갖지만, 도 3에 도시한 표시 화소(51)와 같이 정보를 표시하는 기능은 갖고 있지 않다.

도 24의 예에서는, 시선 검출 장치(211)의 도면 중, 우측, 즉 유저의 안구측에 세로 방향으로 발광부(251)와 수광 소자(52)가 교대로 배열되어서 배치되어 있다. 따라서, 예를 들어 도 23에서는, 검출 영역(221) 내의 도 23 중, 세로 방향 및 가로 방향으로 발광부(251)와 수광 소자(52)가 교대로 배열되어서 배치된다.

또한, 도 24에서는, 발광부(251)와 수광 소자(52)가 밀착되어 있는 예에 대하여 설명했지만, 이들 발광부(251)와 수광 소자(52)는 반드시 밀착되어 있을 필요는 없고, 발광부(251)와 수광 소자(52)의 사이에 간극이 설치되어 있어도 된다. 또한, 도 24에서는, 하나의 발광부(251)에 대하여 하나의 수광 소자(52)가 설치되어 있지만, 복수의 발광부(251)에 대하여 하나의 수광 소자(52)가 설치되도록 해도 된다.

또한 검출 영역(221)에, 복수의 발광부(251)를 포함하는 발광 소자(252)가 설치되는 예에 대하여 설명했지만, 검출 영역(221) 전체의 영역에서 발광하는 하나의 발광부를 포함하는 발광 소자(252)를 검출 영역(221)에 설치해도 된다. 이 경우, 발광 소자(252)의 각 영역에, 그들 영역에서의 수광량을 검출하기 위한 수광 소자(52)를 설치하면 된다.

또한, 외계로부터 안구로 입사해 오는 광만을 이용하여 유저의 시선 방향을 검출하는 경우에는, 시선 검출 장치(211)에 반드시 발광 소자(252)를 설치할 필요는 없다.

<캘리브레이션 처리의 설명>

이어서, 시선 검출 장치(211)의 동작에 대하여 설명한다.

예를 들어, 시선 검출 장치(211)가 유저에 장착되면 캘리브레이션 처리가 개시된다. 이하, 도 25의 흐름도를 참조하여, 시선 검출 장치(211)에 의한 캘리브레이션 처리에 대하여 설명한다.

스텝 S101에 있어서, 신호 처리부(26)는 발광 소자 구동부(222)를 제어하여, 발광부(251)를 발광시킨다. 발광부(251)는 발광 소자 구동부(222)의 제어에 따라서 발광하고, 유저의 시선 방향을 검출하기 위한 광을 출력한다.

스텝 S102에 있어서, 수광 소자(52)는 안구로부터 입사해 오는 광의 검출을 개시한다. 즉, 수광 소자(52)는 시선 검출 장치(211)의 외부나 발광부(251)로부터 안구로 입사되고, 안구 표면에서 반사된 광을 수광하여 광전 변환하고, 수광량에 따른 수광 신호를, 발광 소자 구동부(222)를 통하여 신호 처리부(26)에 공급한다.

또한, 캘리브레이션 처리가 개시되면, 유저는 미리 정해진 방향으로 시선을 향하게 한다. 예를 들어 유저가, 시선 검출 장치(211)와 무선에 의해 접속되어 있는 제어 장치로부터 출력되는 음성 가이던스 등에 따라, 가능한 한 크게 시선을 상하 좌우로 이동시킨다.

이와 같이 유저가 시선을 상하 좌우로 이동시키고 있는 동안, 발광부(251)로부터는, 그 시선 방향을 검출하기 위한 광이 출력되고, 수광 소자(52)에서는, 발광부(251)로부터 출력되고 안구에서 반사된 광 등, 안구 표면으로부터 입사된 광을 수광하고, 그 수광량에 따른 수광 신호를, 발광 소자 구동부(222)를 통하여 신호 처리부(26)에 공급한다.

스텝 S103에 있어서, 신호 처리부(26)는 수광 소자(52)로부터 공급된 수광 신호에 기초하여, 유저의 시선 위치를 구한다.

예를 들어, 유저가 상하 좌우로 크게 시선을 움직이는 경우, 신호 처리부(26)는 유저에 의해 움직여진 시선의 상하 좌우의 각 단부의 위치를 시선 위치로서 구한다. 이에 의해, 각 시선 위치로부터 유저가 시선을 이동 가능한 범위를 구할 수 있다. 또한, 시선 위치의 산출 시에는, 예를 들어 도 11의 스텝 S14와 동일한 처리가 행하여진다.

스텝 S104에 있어서, 신호 처리부(26)는 구한 시선 위치에 기초하여 캘리브레이션을 행하고, 캘리브레이션 처리는 종료된다.

예를 들어 캘리브레이션 후에 있어서, 시선 검출 장치(211)에 의한 시선의 검출 결과가, 유저가 시선을 이동시킴으로써, 시선 검출 장치(211)와는 상이한 외부의 디스플레이 상의 커서를 이동시키는 처리에 이용되는 것으로 하자.

그러한 경우, 신호 처리부(26)는 스텝 S103의 처리에서 구한, 상하 좌우의 각 위치에 대한 시선 위치에 기초하여, 유저의 시선이 이동 가능한 범위를 구한다. 그리고, 신호 처리부(26)는 유저의 시선이 이동 가능한 범위로부터 마진을 차감하여 얻어진 영역의 각 위치와, 디스플레이의 각 위치를 대응지음으로써 캘리브레이션을 행한다.

이상과 같이 하여 시선 검출 장치(211)는 몇 가지의 시선 위치에 기초하여 캘리브레이션을 행한다. 이와 같이 캘리브레이션을 행함으로써, 외부의 디스플레이 등의 특정 영역과, 유저의 시선의 이동처의 영역과의 대응 등을 취할 수 있어, 유저에 의한 인터페이스 조작의 조작성을 향상시킬 수 있다.

<시선 검출 처리의 설명>

예를 들어 시선 검출 장치(211)와 외부의 제어 장치가 무선에 의해 접속되어 있는 경우, 캘리브레이션 처리가 행하여지면, 유저는 임의의 어플리케이션 프로그램을 기동시켜서, 원하는 처리를 실행시킬 수 있다.

예를 들어, 어플리케이션 프로그램의 실행 시에는, 유저는 시선을 이동시켜서 각종 조작을 행할 수 있다. 그러한 경우, 시선 검출 장치(211)는 시선 검출 처리를 행하여 유저의 시선 위치를 검출하고, 그 검출 결과를 외부의 제어 장치에 출력한다.

이하, 도 26의 흐름도를 참조하여, 시선 검출 장치(211)에 의한 시선 검출 처리를 설명한다.

스텝 S131에 있어서, 신호 처리부(26)는 발광 소자 구동부(222)를 제어하여, 발광부(251)를 발광시킨다. 발광부(251)는 발광 소자 구동부(222)의 제어에 따라서 발광하고, 유저의 시선 방향을 검출하기 위한 광을 출력한다.

스텝 S132에 있어서, 수광 소자(52)는 안구로부터 입사해 오는 광의 검출을 개시한다. 즉, 수광 소자(52)는 시선 검출 장치(211)의 외부나 발광부(251)부터 안구로 입사되고, 안구 표면에서 반사된 광을 수광하여 광전 변환하고, 수광량에 따른 수광 신호를, 발광 소자 구동부(222)를 통하여 신호 처리부(26)에 공급한다.

스텝 S133에 있어서, 신호 처리부(26)는 수광 소자(52)로부터 공급된 수광 신호에 기초하여, 유저의 시선 위치를 구한다. 즉, 신호 처리부(26)는 수광 신호에 기초하여 수광 신호 맵을 생성하고, 얻어진 수광 신호 맵으로부터 유저의 동공 중심(안구의 방위)을 검출함으로써 유저의 시선 위치를 구한다.

스텝 S134에 있어서, 신호 처리부(26)는 구한 시선 위치를 출력하고, 시선 검출 처리는 종료된다.

예를 들어, 신호 처리부(26)는 구한 시선 위치를 신호 안테나(23)에 공급하고, 제어 장치로 송신시킨다. 제어 장치는, 예를 들어 시선 검출 장치(211)로부터 수신한 시선 위치에 따라서 커서 등을 이동시키는 등, 시선 위치에 따른 처리를 실행한다.

이상과 같이 하여 시선 검출 장치(211)는 발광부(251) 등으로부터의 광을 수광 소자(52)로 수광하고, 얻어진 수광 신호에 기초하여 시선 위치를 검출하고, 그 검출 결과를 출력한다.

이와 같이, 수광 소자(52)에서 얻어지는 수광 신호에 기초하여 시선 위치를 검출함으로써, 시선 검출 장치(211) 이외에 외부의 장치를 필요로 하지 않고 간단하게 유저의 조작을 특정할 수 있다. 바꾸어 말하면, 간단한 구성으로 조작성을 향상시킬 수 있다.

또한, 여기에서는 시선 검출 장치(211)가 유저의 시선 위치를 검출하는 처리에 대하여 설명했지만, 시선 검출 장치(211)가 발광부(251)로부터 특정한 파장의 광을 출력시켜서 생체 상태를 검출하도록 하거나, 좌우의 눈의 폭주량이나 대상물까지의 거리를 산출하거나, 동공의 직경을 구하거나 하도록 해도 된다.

또한, 이상에 있어서는, 수광 신호 맵 상의 동공 영역에서의 수광 신호의 값이, 흰자나 홍채 부분의 영역에서의 수광 신호의 값보다도 작아지는 것을 이용하여, 수광 신호 맵으로부터 동공 영역, 즉 시선 위치를 검출하는 예에 대하여 설명하였다.

이것은, 바꾸어 말하면, 동공을 투과한 광이 도달하는 망막의 분광 반사율과, 흰자나 홍채 부분의 분광 반사율의 차를 이용하여 수광 신호 맵으로부터 유저의 동공 영역을 검출하는 것이다.

따라서, 표시 화소(51)나 발광부(251) 등으로부터 사출시키는 광의 파장에 따라서는, 흰자나 홍채 부분의 반사율보다도, 망막의 반사율쪽이 크게 되는 경우도 있다. 그러한 경우, 수광 신호 맵 상에 있어서는, 동공 영역에서의 수광 신호의 값이, 흰자나 홍채 부분의 영역에서의 수광 신호의 값보다도 커진다.

이와 같이, 흰자나 홍채 부분의 반사율보다도, 망막의 반사율쪽이 크게 되는 광을 표시 화소(51)나 발광부(251)로부터 출력시키는 경우에도, 신호 처리부(26)에 있어서 수광 신호 맵으로부터 동공 영역을 검출하는 것이 가능하다. 이 경우, 신호 처리부(26)는 수광 신호 맵에 있어서의 수광 신호의 값이 큰 영역을, 동공 영역으로서 검출한다.

어쨌든 신호 처리부(26)는 수광 신호 맵의 각 영역에서의 수광 신호의 값에 기초하여, 동공 영역(시선 위치)을 검출하는 것이 가능하다. 이때, 수광 신호의 값이 큰 영역을 동공 영역으로 할지, 수광 신호의 값이 작은 영역을 동공 영역으로 할지는, 표시 화소(51)나 발광부(251)로부터 출력시키는 광의 파장 및 흰자와 홍채나 망막의 분광 반사율 특성 등에 따라서 정하면 된다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

예를 들어, 본 기술은, 1가지의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치로 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치로 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.

또한, 본 기술은, 이하의 구성으로 하는 것도 가능하다.

[1]

안구에 장착 가능한 검출 장치로서,

상기 안구로부터 입사하는 광을 수광하는 수광 소자를 구비하는 검출 장치.

[2]

광을 출력하는 발광 소자를 더 구비하고,

상기 수광 소자는, 상기 발광 소자 근방에 설치되어 있는

[1]에 기재된 검출 장치.

[3]

상기 발광 소자는 복수의 발광부를 포함하고,

상기 수광 소자는 상기 발광부 근방에 설치되어 있는

[2]에 기재된 검출 장치.

[4]

상기 수광 소자는, 상기 발광부로부터 출력되어 상기 안구에서 반사된 광을 수광하고,

상기 검출 장치의 각 영역에 배치된 복수의 상기 수광 소자에 의한 광의 수광량을 검출하는 신호 처리부를 더 구비하는

[3]에 기재된 검출 장치.

[5]

상기 발광부는 정보를 표시하는 표시 화소인

[3] 또는 [4]에 기재된 검출 장치.

[6]

상기 검출 장치는, 상기 안구에 장착되었을 때에 각막 전체를 덮도록 되어 있는

[2] 내지 [5] 중 어느 한 항에 기재된 검출 장치.

[7]

상기 검출 장치가 상기 안구에 장착된 상태에 있어서, 상기 안구의 동공이 이동 가능한 범위의 영역에 대향하는 상기 검출 장치의 영역에, 상기 발광부 또는 상기 수광 소자 중 적어도 한쪽이 설치되어 있는

[3] 내지 [6] 중 어느 한 항에 기재된 검출 장치.

[8]

상기 검출 장치가 상기 안구를 덮는 세로 방향의 폭보다도 가로 방향의 폭이 넓게 되도록 되어 있는

[2] 내지 [7] 중 어느 한 항에 기재된 검출 장치.

[9]

상기 검출 장치에 있어서의 가로 방향의 단부 근방에, 상기 발광 소자 및 상기 수광 소자와는 상이한 소자가 배치되어 있는

[8]에 기재된 검출 장치.

[10]

상기 검출 장치는, 상기 안구를 갖는 헤드부에 대하여 상기 검출 장치를 고정하는 구조를 갖고 있는

[2] 내지 [9] 중 어느 한 항에 기재된 검출 장치.

[11]

상기 신호 처리부는, 상기 복수의 상기 수광 소자의 수광량에 기초하여 상기 안구의 방위를 구하는

[4]에 기재된 검출 장치.

[12]

상기 신호 처리부는, 상기 안구의 방위와, 상기 안구와 쌍이 되는 안구의 방위에 기초하여 좌우의 눈의 폭주량을 산출하고, 상기 폭주량에 기초하여, 주시되고 있는 대상물까지의 거리를 산출하는

[11]에 기재된 검출 장치.

[13]

상기 신호 처리부는, 상기 복수의 상기 수광 소자의 수광량에 기초하여 상기 안구의 동공의 직경을 구하는

[4]에 기재된 검출 장치.

[14]

상기 신호 처리부는, 상기 복수의 상기 수광 소자의 수광량에 기초하여 생체의 상태를 검출하는

[4]에 기재된 검출 장치.

[15]

상기 발광부는, 소정 파장의 광을 상기 안구에 조사하거나, 또는 복수의 서로 다른 파장의 광을 순서대로 상기 안구에 조사하고,

상기 신호 처리부는, 상기 안구에 조사된 상기 소정 파장의 광 또는 상기 복수의 서로 다른 파장의 광의 상기 수광 소자에 있어서의 수광량에 기초하여 상기 생체의 상태를 검출하는

[14]에 기재된 검출 장치.

[16]

상기 발광부는 정보를 표시하는 표시 화소이며, 상기 정보를 표시하는 기간 후에, 상기 소정 파장의 광, 또는 상기 복수의 서로 다른 파장의 광을 상기 안구에 조사하는

[15]에 기재된 검출 장치.

[17]

안구로부터 입사하는 광을 수광하는 수광 소자와,

상기 수광 소자에 의한 광의 수광량을 검출하는 신호 처리부

를 구비하고, 상기 안구에 장착 가능한 검출 장치의 검출 방법으로서,

상기 수광 소자가 상기 안구에서 반사된 광을 수광하는 수광 스텝과,

상기 신호 처리부가, 상기 검출 장치의 각 영역에 배치된 복수의 상기 수광 소자에 의한 광의 수광량을 검출하는 검출 스텝

을 포함하는 검출 방법.

[18]

상기 검출 장치에 설치된 발광 소자가 광을 출력하는 발광 스텝을 더 포함하고,

상기 수광 스텝에 있어서, 상기 수광 소자는 상기 발광 소자로부터 출력되고, 상기 안구에서 반사된 광을 수광하는

[17]에 기재된 검출 방법.

[19]

상기 신호 처리부가, 상기 복수의 상기 수광 소자의 수광량에 기초하여 상기 안구의 방위를 구하는 산출 스텝을 더 포함하는

[18]에 기재된 검출 방법.

[20]

상기 산출 스텝에 있어서, 상기 신호 처리부는, 상기 안구의 방위와, 상기 안구와 쌍이 되는 안구의 방위에 기초하여 좌우의 눈의 폭주량을 산출하고, 상기 폭주량에 기초하여, 주시되고 있는 대상물까지의 거리를 산출하는

[19]에 기재된 검출 방법.

11: 표시 장치
21: 표시 영역
23: 신호 안테나
25: 센서
26: 신호 처리부
27: 표시 소자 구동부
51-1 내지 51-7, 51: 표시 화소
52-1 내지 52-7, 52: 수광 소자
53: 표시 소자
81: 제어 장치
101: 표시 장치
141: 볼록부
142: 볼록부
151: 고마찰부
152: 고마찰부
181: 압력 센서
211: 시선 검출 장치
251-1 내지 251-7, 251: 발광부
252: 발광 소자

Claims (20)

1. 안구에 장착 가능한 검출 장치로서,
   광을 출력하는 발광 소자;
   상기 발광 소자 근방에 설치되고, 상기 발광 소자로부터 출력되어 상기 안구에서 반사된 광을 수광하는 수광 소자; 및
   상기 검출 장치의 각 영역에 배치된 복수의 상기 수광 소자에 의한 광의 수광량을 검출하고, 상기 복수의 상기 수광 소자의 수광량에 기초하여 상기 안구의 방위를 구하는 신호 처리부를 구비하는 검출 장치.
2. 삭제
3. 제1항에 있어서, 상기 발광 소자는 복수의 발광부를 포함하고,
   상기 수광 소자는 상기 발광부 근방에 설치되어 있는
   검출 장치.
4. 삭제
5. 제3항에 있어서, 상기 발광부는 정보를 표시하는 표시 화소인
   검출 장치.
6. 제1항에 있어서, 상기 검출 장치는, 상기 안구에 장착되었을 때에 각막 전체를 덮도록 되어 있는
   검출 장치.
7. 제3항에 있어서, 상기 검출 장치가 상기 안구에 장착된 상태에 있어서, 상기 안구의 동공이 이동 가능한 범위의 영역에 대향하는 상기 검출 장치의 영역에, 상기 발광부 또는 상기 수광 소자 중 적어도 한쪽이 설치되어 있는
   검출 장치.
8. 제1항에 있어서, 상기 검출 장치가 상기 안구를 덮는 세로 방향의 폭보다도 가로 방향의 폭이 넓게 되도록 되어 있는
   검출 장치.
9. 제8항에 있어서, 상기 검출 장치에 있어서의 가로 방향의 단부 근방에, 상기 발광 소자 및 상기 수광 소자와는 상이한 소자가 배치되어 있는
   검출 장치.
10. 제1항에 있어서, 상기 검출 장치는, 상기 안구를 갖는 헤드부에 대하여 상기 검출 장치를 고정하는 구조를 갖고 있는
    검출 장치.
11. 삭제
12. 제1항에 있어서, 상기 신호 처리부는, 상기 안구의 방위와, 상기 안구와 쌍이 되는 안구의 방위에 기초하여 좌우의 눈의 폭주량을 산출하고, 상기 폭주량에 기초하여, 주시되고 있는 대상물까지의 거리를 산출하는
    검출 장치.
13. 제1항에 있어서, 상기 신호 처리부는, 상기 복수의 상기 수광 소자의 수광량에 기초하여 상기 안구의 동공의 직경을 구하는
    검출 장치.
14. 제3항에 있어서, 상기 신호 처리부는, 상기 복수의 상기 수광 소자의 수광량에 기초하여 생체의 상태를 검출하는
    검출 장치.
15. 제14항에 있어서, 상기 발광부는, 소정 파장의 광을 상기 안구에 조사하거나, 또는 복수의 서로 다른 파장의 광을 순서대로 상기 안구에 조사하고,
    상기 신호 처리부는, 상기 안구에 조사된 상기 소정 파장의 광 또는 상기 복수의 서로 다른 파장의 광의 상기 수광 소자에 있어서의 수광량에 기초하여 상기 생체의 상태를 검출하는
    검출 장치.
16. 제15항에 있어서, 상기 발광부는 정보를 표시하는 표시 화소이며, 상기 정보를 표시하는 기간 후에, 상기 소정 파장의 광, 또는 상기 복수의 서로 다른 파장의 광을 상기 안구에 조사하는
    검출 장치.
17. 광을 출력하는 발광 소자,
    안구로부터 입사하는 광을 수광하는 수광 소자, 및
    상기 수광 소자에 의한 광의 수광량을 검출하는 신호 처리부
    를 구비하고, 상기 안구에 장착 가능한 검출 장치의 검출 방법으로서,
    상기 발광 소자에 의해 광을 출력하는 발광 스텝,
    상기 수광 소자에 의해, 상기 발광 소자로부터 출력되고 상기 안구에서 반사된 광을 수광하는 수광 스텝,
    상기 신호 처리부에 의해, 상기 검출 장치의 각 영역에 배치된 복수의 상기 수광 소자에 의한 광의 수광량을 검출하는 검출 스텝, 및
    상기 신호 처리부에 의해, 상기 복수의 상기 수광 소자의 수광량에 기초하여 상기 안구의 방위를 구하는 산출 스텝
    을 포함하는 검출 방법.
18. 삭제
19. 삭제
20. 제17항에 있어서, 상기 산출 스텝에 있어서, 상기 신호 처리부는, 상기 안구의 방위와, 상기 안구와 쌍이 되는 안구의 방위에 기초하여 좌우의 눈의 폭주량을 산출하고, 상기 폭주량에 기초하여, 주시되고 있는 대상물까지의 거리를 산출하는
    검출 방법.

Images