KR20170141140A

KR20170141140A - 헤드 마운트 디스플레이, 시선 검출 시스템

Info

Publication number: KR20170141140A
Application number: KR1020170074668A
Authority: KR
Inventors: 로흐란 윌슨; 케이치 세코
Original assignee: 포브, 아이엔씨.
Priority date: 2016-06-14
Filing date: 2017-06-14
Publication date: 2017-12-22
Also published as: JP2017224942A; CN107505707A; TW201809800A; US20180003980A1; US10191285B2

Abstract

유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이로서, 유저의 눈에 비가시광을 조사하는 조사부와, 가시광을 투과하고 비가시광을 반사하는 디스플레이용 유리를 구비한, 유저에게 보여주는 화상을 표시하는 모니터와, 비가시광에 의한 상을 촬상할 수 있는 촬상 장치와, 촬상 장치가 촬상한 화상을 시선 검출용 화상으로서 출력하는 출력부를 구비하고, 촬상 장치는, 조사부로부터 조사되고, 유저의 눈에 의하여 반사되며 디스플레이용 유리에 의하여 반사된 비가시광에 의해, 유저의 눈을 촬상한다.

Description

헤드 마운트 디스플레이, 시선 검출 시스템{HEAD MOUNTED DISPLAY AND GAZE DETECTION SYSTEM}

이 발명은, 헤드 마운트 디스플레이에 관한 것이다.

종래, 헤드 마운트 디스플레이에 다양한 영상을 표시하여, 유저에게 보여주는 것이 행해지고 있다. 예를 들면, 시차 화상을 표시하여 입체 영상을 보여줄 수 있다. 이러한 헤드 마운트 디스플레이에 있어서는, 유저의 시선을 검출하여, 표시된 영상의 어느 곳을 시청하고 있는지를 특정하거나, 그 특정에 근거하여, 시선을 이용한 입력을 행하거나 하는 것이 이루어지고 있다.

특허문헌 1에 있어서는, 유저의 눈에 적외광을 조사하여, 적외광이 조사되고 있는 유저의 눈을 촬상하고, 그 촬상 화상에 있어서의 적외광과 유저의 동공의 위치에 근거하여, 유저의 시선 방향을 검출하고 있다.

특허문헌 1: 일본 특허공개공보 11-73274호

그런데 헤드 마운트 디스플레이는, 유저의 두부에 장착하여 사용하는 것이기 때문에, 그 중량은 가능한 한 가벼울 것이 요구되고, 또, 가능한 한 컴팩트한 사이즈일 것이 요구된다. 이로 인하여, 상기 특허문헌 1에 있어서는, 유저의 시선 검출을 실현하기 위하여, 유저의 눈을 촬상하기 위한 카메라를, 그 촬상 방향을 모니터측을 향하게 한 후에 유저측에 배치하고 있다. 그리고 유저의 눈과 모니터의 사이에 비가시광을 반사하고 가시광을 투과하는 핫 미러를 배치함으로써, 핫 미러에 의하여 반사된 상을 촬상하여, 유저의 시선 검출을 실현하고 있다.

그런데 당해 핫 미러를 배치하는 것에 의하여, 헤드 마운트 디스플레이는 그 만큼 중량이 증가함과 함께, 헤드 마운트 디스플레이에 핫 미러를 배치하기 위한 스페이스를 요구하는 점에서, 헤드 마운트 디스플레이의 케이스 자체가 커진다는 문제가 있었다.

따라서, 본 발명은 상기 문제를 감안하여 이루어진 것으로, 종래보다 가볍고, 컴팩트한 헤드 마운트 디스플레이 및 헤드 마운트 디스플레이를 이용한 시선 검출 시스템을 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위하여, 본 발명의 일 양태는, 유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이로서, 유저의 눈에 비가시광을 조사하는 조사부와, 비가시광을 포함하는 광을 발광하는 발광소자를 발광시켜 유저에게 보여주는 화상을 표시하는 디스플레이와, 비가시광에 의한 상을 촬상할 수 있는 촬상 장치와, 촬상 장치가 촬상한 화상을 시선 검출용 화상으로서 출력하는 출력부를 구비하고, 디스플레이는, 그 표면에, 가시광을 투과하고 비가시광을 반사하는 피복면을 가지며, 피복면은, 디스플레이로부터 발광하는 비가시광이 촬상 장치에 도달하는 것을 억제하고, 촬상 장치는, 조사부로부터 조사되고, 유저의 눈에 의하여 반사되며 피복면에 의하여 반사된 비가시광에 의해, 유저의 눈을 촬상한다.

또, 피복면은, 디스플레이 표면을 덮는 투명판에, 가시광을 투과하고 비가시광을 반사하도록, 금속막 또는 유전체막이 증착되어 이루어지는 것으로 해도 된다.

또, 피복면은, 디스플레이의 표면에 부착된, 가시광을 투과하고 비가시광을 반사하는 비가시광 반사 필름인 것으로 해도 된다.

또, 촬상 장치는 글로벌 셔터 방식으로 촬상하는 촬상 장치이며, 조사부는, 글로벌 셔터가 열려 있을 때 비가시광을 조사하고, 글로벌 셔터가 닫혀 있을 때 비가시광을 조사하지 않는 것으로 해도 된다.

또, 촬상 장치는, 디스플레이에 화상을 표시하기 위한 주사가 이루어지는 블랭킹 구간에 있어서 촬상을 행하는 것으로 해도 된다.

또, 비가시광은 근적외광이며, 헤드 마운트 디스플레이는, 또한 촬상 장치가 촬상한 화상으로부터, 디스플레이에 표시되는 화상에 있어서, 적색의 화소에 대응하는 위치의 적색을 필터링한 화상을 생성하는 생성부를 구비하고, 출력부는 생성부가 생성한 화상을 출력하는 것으로 해도 된다.

또, 디스플레이가 형성하는 평면과 촬상 장치의 촬상 광축이 이루는 각도가 90도에 가까워지도록, 디스플레이를 촬상 장치를 향하여 경사시켜 배치하는 것으로 해도 된다.

또, 유저의 두부에 장착하여 사용하는 헤드 마운트 디스플레이와, 유저의 시선을 검출하는 시선 검출 장치를 포함하는 시선 검출 시스템으로서, 헤드 마운트 디스플레이는, 유저의 눈에 비가시광을 조사하는 조사부와, 비가시광을 포함하는 광을 발광하는 발광소자를 발광시켜 유저에게 보여주는 화상을 표시하는 디스플레이와, 비가시광에 의한 상을 촬상할 수 있는 촬상 장치와, 촬상 장치가 촬상한 화상을 시선 검출용 화상으로서 출력하는 출력부를 구비하고, 시선 검출 장치는, 출력부가 출력한 화상에 근거하여 유저의 시선 방향을 검출하는 시선 검출부를 구비하고, 디스플레이는, 그 표면에, 가시광을 투과하고 비가시광을 반사하는 피복면을 가지며, 피복면은, 디스플레이로부터 발광하는 비가시광이 촬상 장치에 도달하는 것을 억제하고, 촬상 장치는, 조사부로부터 조사되고, 유저의 눈에 의하여 반사되며 피복면에 의하여 반사된 비가시광에 의해, 유저의 눈을 촬상한다.

또, 비가시광은 근적외광이며, 시선 검출부는, 출력부로부터 출력된 화상에 대하여, 디스플레이에 표시되는 화상에 있어서, 적색계의 화소에 대응하는 위치의 적색의 채도를 억제하는 필터링을 실시하여 생성되는 화상에 근거하여 시선 검출을 실행한다.

또한, 이상의 구성요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 데이터 구조, 기록 매체 등의 사이에서 변환한 것도 또한 본 발명의 양태로서 유효하다.

본 발명에 의하면, 헤드 마운트 디스플레이를 장착한 유저의 시선 방향을 검출하는 기술을 제공할 수 있다.

도 1은 실시형태에 관한 헤드 마운트 디스플레이를 유저가 장착한 모습을 나타내는 외관도이다.
도 2는 실시형태에 관한 헤드 마운트 디스플레이의 화상 표시계의 개관을 모식적으로 나타내는 사시도이다.
도 3은 실시형태에 관한 헤드 마운트 디스플레이의 화상 표시계의 광학 구성을 모식적으로 나타내는 도면이다.
도 4는 실시형태에 관한 헤드 마운트 디스플레이 시스템의 구성을 나타내는 블록도이다.
도 5는 실시형태에 관한 시선 방향의 검출을 위한 캘리브레이션을 설명하는 모식도이다.
도 6은 유저의 각막의 위치 좌표를 설명하는 모식도이다.
도 7은 실시형태에 관한 영상 시스템(1)의 동작을 나타내는 플로차트이다.
도 8은 화상 표시 소자의 피복면의 광의 투과율에 관한 주파수 특성을 모식적으로 나타내는 그래프이다.

도 1은, 실시형태에 관한 시선 검출 시스템(1)의 개관을 모식적으로 나타내는 도면이다. 실시형태에 관한 시선 검출 시스템(1)은, 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)를 포함한다. 도 1에 나타내는 바와 같이, 헤드 마운트 디스플레이(100)는 유저(300)의 두부에 장착하여 사용된다.

시선 검출 장치(200)는, 헤드 마운트 디스플레이(100)를 장착한 유저의 오른쪽눈 및 왼쪽눈의 시선 방향을 검출하여, 유저의 초점, 즉, 유저가 헤드 마운트 디스플레이에 표시되어 있는 3차원 화상에 있어서 주시하고 있는 개소를 특정한다. 또, 시선 검출 장치(200)는, 헤드 마운트 디스플레이(100)가 표시하는 영상을 생성하는 영상 생성 장치로서도 기능한다. 한정은 하지 않지만, 일례로서 시선 검출 장치(200)는, 거치형 게임기, 휴대용 게임기, PC, 태블릿, 스마트폰, 패블릿, 비디오 플레이어, 텔레비전 등의 영상을 재생 가능한 장치이다. 시선 검출 장치(200)는, 헤드 마운트 디스플레이(100)와 무선 또는 유선으로 접속한다. 도 1에 나타내는 예에서는, 시선 검출 장치(200)는 헤드 마운트 디스플레이(100)와 무선으로 접속하고 있다. 시선 검출 장치(200)와 헤드 마운트 디스플레이(100)의 무선 접속은, 예를 들면 기존의 Wi-Fi(등록 상표)나 Bluetooth(등록 상표) 등의 무선 통신 기술을 이용하여 실현할 수 있다. 한정은 하지 않지만, 일례로서, 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)의 사이에 있어서의 영상의 전송은, Miracast(상표)나 WiGig(상표), WHDI(상표) 등의 규격에 준하여 실행된다.

또한, 도 1은, 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)가 상이한 장치인 경우의 예를 나타내고 있다. 그러나 시선 검출 장치(200)는 헤드 마운트 디스플레이(100)에 내장되어도 된다.

헤드 마운트 디스플레이(100)는, 케이스(150), 장착구(160), 및 헤드폰(170)을 구비한다. 케이스(150)는, 화상 표시 소자 등 유저(300)에 영상을 제시하기 위한 화상 표시계나, 도시하지 않은 Wi-Fi모듈이나 Bluetooth(등록 상표) 모듈 등의 무선 전송 모듈을 수용한다. 장착구(160)는, 헤드 마운트 디스플레이(100)를 유저(300)의 두부에 장착한다. 장착구(160)는 예를 들면, 벨트나 신축성의 띠 등으로 실현할 수 있다. 유저(300)가 장착구(160)를 이용하여 헤드 마운트 디스플레이(100)를 장착하면, 케이스(150)는 유저(300)의 눈을 덮는 위치에 배치된다. 이로 인하여, 유저(300)가 헤드 마운트 디스플레이(100)를 장착하면, 유저(300)의 시야는 케이스(150)에 의하여 차단된다.

헤드폰(170)은, 시선 검출 장치(200)가 재생하는 영상의 음성을 출력한다. 헤드폰(170)은 헤드 마운트 디스플레이(100)에 고정되지 않아도 된다. 유저(300)는, 장착구(160)를 이용하여 헤드 마운트 디스플레이(100)를 장착한 상태이더라도, 헤드폰(170)을 자유롭게 착탈할 수 있다.

도 2는, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)의 개관을 모식적으로 나타내는 사시도이다. 보다 구체적으로, 도 2는, 실시형태에 관한 케이스(150) 중, 헤드 마운트 디스플레이(100)를 장착했을 때에 유저(300)의 각막(302)에 대향하는 영역을 나타내는 도면이다.

도 2에 나타내는 바와 같이, 왼쪽눈용 볼록 렌즈(114a)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 유저(300)의 왼쪽눈의 각막(302a)과 대향하는 위치가 되도록 배치된다. 마찬가지로 오른쪽눈용 볼록 렌즈(114b)는, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 유저(300)의 오른쪽눈의 각막(302b)과 대향하는 위치가 되도록 배치된다. 왼쪽눈용 볼록 렌즈(114a)와 오른쪽눈용 볼록 렌즈(114b)는, 각각 왼쪽눈용 렌즈 지지부(152a)와 오른쪽눈용 렌즈 지지부(152b)에 파지되어 있다.

이하 본 명세서에 있어서, 왼쪽눈용 볼록 렌즈(114a)와 오른쪽눈용 볼록 렌즈(114b)를 특별히 구별하는 경우를 제외하고, 간단히 "볼록 렌즈(114)"라고 기재한다. 마찬가지로 유저(300)의 왼쪽눈의 각막(302a)과 유저(300)의 오른쪽눈의 각막(302b)을 특별히 구별하는 경우를 제외하고, 간단히 "각막(302)"이라고 기재한다. 왼쪽눈용 렌즈 지지부(152a)와 오른쪽눈용 렌즈 지지부(152b) 모두, 특별히 구별하는 경우를 제외하고 "렌즈 지지부(152)"라고 기재한다.

렌즈 지지부(152)에는, 복수의 적외광원(103)이 구비되어 있다. 번잡해지는 것을 피하기 위하여, 도 2에 있어서는 유저(300)의 왼쪽눈의 각막(302a)에 대하여 적외광을 조사하는 적외광원을 통틀어 적외광원(103a)으로 나타내고, 유저(300)의 오른쪽눈의 각막(302b)에 대하여 적외광을 조사하는 적외광원을 통틀어 적외광원(103b)으로 나타낸다. 이하, 적외광원(103a)과 적외광원(103b)을 특별히 구별하는 경우를 제외하고 "적외광원(103)"이라고 기재한다. 도 2에 나타내는 예에서는, 왼쪽눈용 렌즈 지지부(152a)에는 6개의 적외광원(103a)이 구비되어 있다. 마찬가지로, 오른쪽눈용 렌즈 지지부(152b)에도 6개의 적외광원(103b)이 구비되어 있다. 이와 같이, 적외광원(103)을 볼록 렌즈(114)에 직접 배치하지 않고, 볼록 렌즈(114)를 파지하는 렌즈 지지부(152)에 배치하는 것에 의하여, 적외광원(103)의 장착이 용이해진다. 일반적으로 렌즈 지지부(152)는 수지 등으로 구성되기 때문에, 유리 등으로 구성되는 볼록 렌즈(114)보다 적외광원(103)을 장착하기 위한 가공이 용이하기 때문이다.

상기 설명한 바와 같이, 렌즈 지지부(152)는 볼록 렌즈(114)를 파지하는 부재이다. 따라서, 렌즈 지지부(152)에 구비된 적외광원(103)은, 볼록 렌즈(114)의 주위에 배치되게 된다. 또한, 여기에서는, 각각의 눈에 대하여 적외광을 조사하는 적외광원(103)을 6개로 하고 있지만, 이 수는 이에 한정되는 것은 아니고, 각각의 눈에 대응하여 적어도 1개 있으면 되고, 2개 이상 배치되어 있는 것이 바람직하다.

도 3은, 실시형태에 관한 케이스(150)가 수용하는 화상 표시계(130)의 광학 구성을 모식적으로 나타내는 도면이고, 도 2에 나타내는 케이스(150)를 왼쪽눈측의 측면으로부터 본 경우의 도면이다. 화상 표시계(130)는, 적외광원(103), 화상 표시 소자(108), 볼록 렌즈(114), 카메라(116), 및 제1 통신부(118)를 구비한다.

적외광원(103)은, 근적외(700nm~2500nm 정도)의 파장 대역의 광을 조사 가능한 광원이다. 근적외광은, 일반적으로, 유저(300)의 육안으로는 관측할 수 없는 비가시광의 파장 대역의 광이다. 또한, 여기에서 이용하는 근적외광은, 유저에게 해를 끼치지 않는 파장 대역의 것을 이용한다.

화상 표시 소자(108)는 유저(300)에게 제시하기 위한 화상을 표시한다. 화상 표시 소자(108)가 표시하는 화상은, 시선 검출 장치(200) 내의 영상 출력부(222)가 생성한다. 영상 출력부(222)에 대해서는 후술한다. 화상 표시 소자(108)는, 예를 들면 기존의 LCD(Liquid Crystal Display)나 유기 EL디스플레이(Organic Electro Luminescence Display)를 이용하여 실현할 수 있다. 화상 표시 소자(108)는 그 표면으로서, 적어도 유저의 눈측에 피복면에 의하여 피복된 유리 또는 투명 수지에 의하여 덮여 있다. 당해 피복면은, 가시광을 투과하고 비가시광을 반사시키기 위하여 형성된 면이며, 예를 들면, 증착된 금속막 또는 유전체막(유전체 다층막)에 의하여 실현된다. 금속막이라면, 예를 들면, 알루미늄(Al), 금(Au), 백금(Pt), 크로뮴(Cr), 타이타늄(Ti), 니켈(Ni), 몰리브데넘(Mo), 구리(Cu), 은(Ag), 혹은 그 합금막이다. 또, 유전체막이라면, 예를 들면, 산화 타이타늄(TiO₃), 산화 실리콘(SiO₂), 나이오븀(Nb₂O₅), 탄탈럼(Ta₂O₅) 불화 마그네슘(MgF₂) 중 적어도 어느 하나를 이용한다. 즉, 화상 표시 소자(108)의 표면에는, 금속막 코팅 혹은 유전체막 코팅이 이루어져 있으며, 이로써, 가시광을 투과하고 비가시광을 반사하는 구성을 실현한다. 이로 인하여 카메라(116)는, 유저의 화상 표시 소자(108)에 표시되는 화상의 시인을 방해하지 않고, 적외광이 조사된 유저의 눈의 화상을, 화상 표시 소자(108)에 있어서의 반사에 의하여 촬상할 수 있다.

그런데 화상 표시 소자(108)는, 유저(300)에게 제시하기 위한 화상을 표시하기 위한 복수의 화소로 이루어지고, 각 화소는, 각 색의 색을 발광하는 발광소자(예를 들면, 발광 다이오드(LED))로 이루어진다. 당해 발광소자는, 기본적으로는, 유저(300)가 시인 가능한 가시광을 발광하지만, 당해 발광소자로부터는 비가시광 영역의 주파수의 광성분도 포함하고 있다. 따라서, 화상 표시 소자(108)의 표면에 피복면이 없는 상태에서는, 발광소자로부터 발광된 비가시광(근적외광)이, 카메라(116)에 의한 적외광원(103)으로부터 조사된 적외광에 대한 노이즈가 될 가능성이 있다. 그러나 본 실시형태에 관한 화상 표시 소자(108)는, 그 표면에 가시광을 투과하고 비가시광을 반사하는 피복면을 구비하는 것에 의하여, 화상 표시 소자(108)로부터 발광되는 비가시광을 반사할 수 있다. 따라서, 헤드 마운트 디스플레이(100)는, 카메라(116)에, 화상 표시 소자(108)로부터 발광되는 비가시광을 억제하는 구성을 구비한다. 또한, 유리와 수지에서는, 수지가 유리보다 경량으로 헤드 마운트 디스플레이(100)를 구축할 수 있음과 함께, 그 표면의 요철의 가공이 용이하고, 광의 반사 특성을 조정하기 쉽다는 메리트가 있다.

또, 화상 표시 소자(108)는, 화상 표시 소자(108)가 형성하는 평면이, 카메라(116)의 촬상 광축에 대하여 가능한 한 90도에 가까워지도록 경사시켜 배치하는 것이 바람직하다. 단, 그 때에는, 유저가 화상 표시 소자(108)에 묘화되는 화상을 시인하기에, 유저가 위화감을 느끼지 않을 정도로, 화상 표시 소자(108)를 경사시키는 것으로 한다. 화상 표시 소자(108)를 경사시키는 것에 의하여, 카메라(116)에 의한 촬상으로 얻어지는 화상이 가능한 한 일그러지지 않도록 할 수 있다.

볼록 렌즈(114)는, 도 3에 나타내는 바와 같이, 유저(300)가 헤드 마운트 디스플레이(100)를 장착했을 때에, 화상 표시 소자(108)와 유저(300)의 각막(302)의 사이에 배치된다. 즉, 볼록 렌즈(114)는, 헤드 마운트 디스플레이(100)가 유저(300)에게 장착되었을 때에, 유저(300)의 각막(302)에 대향하는 위치에 배치된다.

볼록 렌즈(114)는 화상 표시 소자(108)로부터의 화상 표시광을 집광한다. 이로써, 볼록 렌즈(114)는, 화상 표시 소자(108)가 생성하는 화상을 확대하여 유저(300)에게 제시하는 화상 확대부로서 기능한다. 또한, 설명의 편의상, 도 2에서는 볼록 렌즈(114)를 하나만 나타내고 있지만, 볼록 렌즈(114)는, 다양한 렌즈를 조합하여 구성되는 렌즈군이어도 되고, 한쪽이 곡률을 갖고, 다른 쪽이 평면인 편볼록 렌즈여도 된다.

복수의 적외광원(103)은, 볼록 렌즈(114)의 주위에 배치되어 있다. 적외광원(103)은, 유저(300)의 각막(302)을 향하여 적외광을 조사한다.

도시는 하지 않지만, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)는 화상 표시 소자(108)를 2개 구비하고 있어, 유저(300)의 오른쪽눈에 제시하기 위한 화상과 왼쪽눈에 제시하기 위한 화상을 독립적으로 생성할 수 있다. 이로 인하여, 실시형태에 관한 헤드 마운트 디스플레이(100)는, 유저(300)의 오른쪽눈과 왼쪽눈에, 각각 오른쪽눈용의 시차 화상과 왼쪽눈용의 시차 화상을 제시할 수 있다. 이로써, 실시형태에 관한 헤드 마운트 디스플레이(100)는, 유저(300)에 대하여 깊이감을 가진 입체 영상을 제시할 수 있다.

상기 설명한 바와 같이, 화상 표시 소자(108)는, 그 표면을 덮는 유리 또는 투명 수지에 가시광을 투과하고 근적외광을 반사한다. 따라서, 화상 표시 소자(108)가 조사하는 화상광은 유리 또는 투명 수지를 투과하여 유저(300)의 각막(302)까지 도달한다. 또 적외광원(103)으로부터 조사되어, 유저(300)의 각막(302)에 도달한다.

유저(300)의 각막(302)에 도달한 적외광은, 유저(300)의 각막(302)에서 반사되어 다시 볼록 렌즈(114)의 방향으로 향한다. 이 적외광은 볼록 렌즈(114)를 투과하고 화상 표시 소자(108)의 표면에서 반사된다. 카메라(116)는 가시광을 차단하는 필터를 구비하고 있으며, 화상 표시 소자(108)의 표면에서 반사된 근적외광을 촬상한다. 즉, 도 3의 일점 쇄선으로 나타내는 바와 같이, 카메라(116)는, 적외광원(103)으로부터 조사되고, 유저(300)의 눈에서 각막 반사된 근적외광을 촬상하는 근적외 카메라이다.

또한, 도시는 하지 않지만, 실시형태에 관한 헤드 마운트 디스플레이(100)의 화상 표시계(130)는, 카메라(116)를 2개, 즉, 오른쪽눈에서 반사된 적외광을 포함하는 화상을 촬상하는 촬상부와, 왼쪽눈에서 반사된 적외광을 포함하는 화상을 촬상하는 촬상부를 구비한다. 이로써, 유저(300)의 오른쪽눈 및 왼쪽눈의 쌍방의 시선 방향을 검출하기 위한 화상을 취득할 수 있다.

제1 통신부(118)는, 카메라(116)가 촬상한 화상을, 유저(300)의 시선 방향을 검출하는 시선 검출 장치(200)에 출력한다. 구체적으로는, 제1 통신부(118)는, 카메라(116)가 촬상한 화상을 시선 검출 장치(200)에 송신한다. 시선 방향 검출부로서 기능하는 시선 검출부(221)의 상세에 대해서는 후술하지만, 시선 검출 장치(200)의 CPU(Central Processing Unit)가 실행하는 시선 검출 프로그램에 의하여 실현된다. 또한, 헤드 마운트 디스플레이(100)가 CPU나 메모리 등의 계산 리소스를 갖고 있는 경우에는, 헤드 마운트 디스플레이(100)의 CPU가 시선 방향 검출부를 실현하는 프로그램을 실행해도 된다.

상세한 것은 후술하지만, 카메라(116)가 촬상하는 화상에는, 유저(300)의 각막(302)에서 반사된 근적외광에 기인하는 휘점과, 근적외의 파장 대역에서 관찰되는 유저(300)의 각막(302)을 포함하는 눈의 화상이 촬상되어 있다.

도 4는, 시선 검출 시스템(1)에 관한 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)의 블록도이다. 도 4에 나타내는 바와 같이, 또, 상기 설명한 바와 같이, 시선 검출 시스템(1)은, 서로 통신을 실행하는 헤드 마운트 디스플레이(100)와 시선 검출 장치(200)를 포함한다.

도 4에 나타내는 바와 같이 헤드 마운트 디스플레이(100)는, 제1 통신부(118)와, 표시부(121)와, 적외광 조사부(122)와, 화상 처리부(123)와, 촬상부(124)를 구비한다.

제1 통신부(118)는, 시선 검출 장치(200)의 제2 통신부(220)와 통신을 실행하는 기능을 갖는 통신 인터페이스이다. 상기 설명한 바와 같이, 제1 통신부(118)는, 유선 통신 또는 무선 통신에 의하여 제2 통신부(220)와 통신을 실행한다. 사용 가능한 통신 규격의 예는 상기 설명한 바와 같다. 제1 통신부(118)는, 촬상부(124) 또는 화상 처리부(123)로부터 전송된 시선 검출에 이용하는 화상 데이터를 제2 통신부(220)에 송신한다. 또, 제1 통신부(118)는, 시선 검출 장치(200)로부터 송신된 3차원 화상 데이터를 표시부(121)에 전달한다.

표시부(121)는, 제1 통신부(118)로부터 전달된 2차원 화상 데이터 또는 3차원 화상 데이터에 근거하는 화상을 화상 표시 소자(108)에 표시하는 기능을 가진다. 3차원 화상 데이터는, 오른쪽눈용 시차 화상과 왼쪽눈용 시차 화상을 포함하며, 그것들은 시차 화상 쌍이 된다.

적외광 조사부(122)는, 적외광원(103)을 제어하여, 유저의 오른쪽눈 또는 왼쪽눈에 적외광을 조사한다. 적외광 조사부(122)는, 촬상부(124)로부터 전달되는 카메라(116)의 글로벌 셔터의 개폐 타이밍에 따라 적외광을 조사한다. 즉, 카메라(116)의 글로벌 셔터가 열리는 타이밍에 있어서 적외광을 조사하고, 카메라(116)의 글로벌 셔터가 닫히는 타이밍에 있어서 적외광의 조사를 중지한다.

화상 처리부(123)는, 필요에 따라서, 카메라(116)가 촬상한 화상에 화상 처리를 행하여, 제1 통신부(118)에 전달한다.

촬상부(124)는, 카메라(116)를 이용하여, 각각의 눈에서 반사된 근적외광을 포함하는 화상을 촬상한다. 촬상부(124)는, 촬상해서 얻은 화상을 제1 통신부(118) 또는 화상 처리부(123)에 전달한다. 촬상부(124)는, 카메라(116)의 글로벌 셔터의 개폐 타이밍을 적외광 조사부(122)에 전달한다.

도 4에 나타내는 바와 같이 시선 검출 장치(200)는, 제2 통신부(220)와, 시선 검출부(221)와, 영상 출력부(222)와, 기억부(225)를 구비한다.

제2 통신부(220)는, 헤드 마운트 디스플레이(100)의 제1 통신부(118)와 통신을 실행하는 기능을 갖는 통신 인터페이스이다. 상기 설명한 바와 같이, 제2 통신부(220)는, 유선 통신 또는 무선 통신에 의하여 제1 통신부(118)와 통신을 실행한다.

시선 검출부(221)는, 제2 통신부(220)로부터 유저의 오른쪽눈의 시선 검출용 화상 데이터를 받아들여, 유저의 시선 방향을 검출한다. 시선 검출부(221)는, 후술하는 방법을 이용하여, 유저의 시선 방향을 산출한다.

영상 출력부(222)는, 헤드 마운트 디스플레이(100)의 표시부(121)에 의하여 화상 표시 소자(108)에 표시시키는 3차원 화상 데이터를 생성하여, 제2 통신부(220)에 전달한다. 또, 영상 출력부(222)는, 시선 검출을 위한 캘리브레이션에 이용하는 마커 화상 데이터를 생성하여, 제2 통신부(220)에 전달한다. 영상 출력부(222)는, 출력하는 3차원 화상의 좌표계 및 당해 좌표계에 있어서 표시되는 오브젝트의 3차원의 위치 좌표를 나타내는 정보를 보유한다.

기억부(225)는, 시선 검출 장치(200)가 동작상 필요로 하는 각종 프로그램이나 데이터를 기억하는 기록 매체이다.

다음으로 실시형태에 관한 시선 방향의 검출에 대하여 설명한다.

도 5는, 실시형태에 관한 시선 방향의 검출을 위한 캘리브레이션을 설명하는 모식도이다. 유저(300)의 시선 방향은, 카메라(116)가 촬상하고 제1 통신부(118)가 시선 검출 장치(200)에 출력한 영상을, 시선 검출 장치(200) 내의 시선 검출부(221)가 해석하는 것에 의하여 실현된다.

영상 출력부(222)는, 도 5에 나타내는 점 Q₁~Q₉까지의 9개의 점(마커 화상)을 생성하여, 헤드 마운트 디스플레이(100)의 화상 표시 소자(108)에 표시시킨다. 시선 검출 장치(200)는, 점 Q₁~점 Q₉에 도달할 때까지 차례로 유저(300)에게 주시시킨다. 이 때, 유저(300)는 목을 움직이지 않고 최대한 안구의 움직임만으로 각 점을 주시하도록 요구받는다. 카메라(116)는, 유저(300)가 점 Q₁~Q₉까지의 9개의 점을 주시하고 있을 때의 유저(300)의 각막(302)을 포함하는 화상을 촬상한다.

도 6은, 유저(300)의 각막(302)의 위치 좌표를 설명하는 모식도이다. 시선 검출 장치(200) 내의 시선 검출부(221)는, 카메라(116)가 촬상한 화상을 해석하여 적외광에서 유래하는 휘점(105)을 검출한다. 유저(300)가 안구의 움직임만으로 각 점을 주시하고 있을 때는, 유저가 어떠한 점을 주시하고 있는 경우이더라도, 휘점(105)의 위치는 움직이지 않는다고 생각된다. 따라서 시선 검출부(221)는, 검출한 휘점(105)을 근거로, 카메라(116)가 촬상한 화상 중에 2차원 좌표계(306)를 설정한다.

시선 검출부(221)는 또, 카메라(116)가 촬상한 화상을 해석하는 것에 의하여, 유저(300)의 각막(302)의 중심(P)을 검출한다. 이는 예를 들면 하프 변환이나 엣지 추출 처리 등, 이미 알려져 있는 화상 처리를 이용함으로써 실현할 수 있다. 이로써, 시선 검출부(221)는, 설정한 2차원 좌표계(306)에 있어서의 유저(300)의 각막(302)의 중심(P)의 좌표를 취득할 수 있다.

도 5에 있어서, 화상 표시 소자(108)가 표시하는 표시 화면에 설정된 2차원 좌표계에 있어서의 점 Q₁~점 Q₉의 좌표를 각각 Q₁(x₁, y₁)^T, Q₂(x₂, y₂)^T, ..., Q₉(x₉, x₉)^T로 한다. 각 좌표는, 예를 들면 각 점의 중심에 위치하는 화소의 번호가 된다. 또, 유저(300)가 점 Q₁~점 Q₉를 주시하고 있을 때의, 유저(300) 각막(302)의 중심(P)을, 각각 점 P₁~P₉로 한다. 이 때, 2차원 좌표계(306)에 있어서의 점 P₁~P₉의 좌표를 각각 P₁(X₁, Y₁)^T, P₂(X₂, Y₂)^T, ..., P₉(Z₉, Y₉)^T로 한다. 또한, T는 벡터 또는 행렬의 전치를 나타낸다.

여기에서, 2×2의 크기의 행렬 M을 이하의 식 (1)과 같이 정의한다.

[수 1]

이 때, 행렬 M이 이하의 식 (2)를 만족시키면, 행렬 M은 유저(300)의 시선 방향을 화상 표시 소자(108)가 표시하는 화상면에 사영(射影)하는 행렬이 된다.

P_N=MQ_N(N=1, ..., 9) (2)

상기식 (2)를 구체적으로 새로 쓰면 이하의 식 (3)과 같이 된다.

[수 2]

식 (3)을 변형하면 이하의 식 (4)를 얻는다.

[수 3]

여기에서,

[수 4]

로 하면, 이하의 식 (5)를 얻는다.

y=Ax (5)

식 (5)에 있어서, 벡터 y의 요소는 시선 검출부(221)가 화상 표시 소자(108)에 표시시키는 점 Q₁~Q₉의 좌표이기 때문에 기지(旣知)이다. 또, 행렬 A의 요소는 유저(300)의 각막(302)의 정점(P)의 좌표이기 때문에 취득할 수 있다. 따라서, 시선 검출부(221)는, 벡터 y 및 행렬 A를 취득할 수 있다. 또한, 변환 행렬 M의 요소를 나열한 벡터인 벡터 x는 미지(未知)이다. 따라서, 행렬 M을 추정하는 문제는, 벡터 y와 행렬 A가 기지일 때, 미지의 벡터 x를 구하는 문제가 된다.

식 (5)는, 미지수의 수(즉 벡터 x의 요소수 4)보다 식의 수(즉, 시선 검출부(221)가 캘리브레이션 시에 유저(300)에게 제시한 점 Q의 수)가 많으면, 우결정(overdetermined) 문제가 된다. 식 (5)에 나타내는 예에서는, 식의 수는 9개이기 때문에, 우결정 문제이다.

벡터 y와 벡터 Ax의 오차 벡터를 벡터 e로 한다. 즉, e=y-Ax이다. 이 때, 벡터 e의 요소의 제곱합을 최소로 한다는 의미에서 최적의 벡터 x_opt는, 이하의 식 (6)으로 구해진다.

x_opt=(A^TA)^-1A^Ty (6)

여기에서 "-1"역행렬을 나타낸다.

시선 검출부(221)는, 구한 벡터 x_opt의 요소를 이용함으로써, 식 (1)의 행렬 M을 구성한다. 이로써, 시선 검출부(221)는, 유저(300)의 각막(302)의 정점(P)의 좌표와 행렬 M을 이용함으로써, 식 (2)에 따라, 유저(300)의 눈이 화상 표시 소자(108)가 표시하는 동화상 상의 어느 곳을 주시하고 있는지를 2차원의 범위에서 추정할 수 있다.

이와 같이 하여 추정된 시선 방향은, 예를 들면, 화상 표시 소자(108)에 대하여 표시된 오브젝트에 대한 입력 위치에 이용하거나, 헤드 마운트 디스플레이(100)를 장착하는 유저의 네트워크상에서의 아바타의 표정에 반영시키거나 할 수 있다.

<동작>

본 실시형태에 관한 시선 검출 시스템(1)의 동작을, 도 7을 이용하여 설명한다. 도 7은, 본 실시형태에 관한 시선 검출 시스템(1)의 동작을 나타내는 플로차트이다.

도 7에 나타내는 바와 같이, 시선 검출 시스템(1)의 촬상부(124)는 카메라(116)의 글로벌 셔터를 연다(스텝 S701).

카메라(116)의 글로벌 셔터가 열리면, 적외광 조사부(122)는, 유저(300)의 눈에 적외광을 조사한다(스텝 S702).

유저의 눈에 적외광이 조사되면, 촬상부(124)는, 유저(300)의 각막에 의하여 반사되고, 또한 모니터인 화상 표시 소자(108)에 의하여 반사된 적외광을 촬상한다(스텝 S703). 촬상부(124)는, 촬상에 의하여 얻어진 화상을 화상 처리부(123) 또는 제1 통신부(118)에 전달한다. 제1 통신부(118)는, 화상 처리부(123)에 의하여 소정의 화상 처리가 실시된 화상, 혹은 촬상부(124)에 의하여 촬상된 그대로의 화상을 시선 검출 장치(200)에 송신한다.

제2 통신부(220)는, 헤드 마운트 디스플레이(100)로부터 송신된 화상 데이터를 수신하여, 시선 검출부(221)에 전달한다. 시선 검출부(221)는, 수신한 화상 데이터 중에서, 카메라(116)에 의하여 당해 화상 데이터가 촬상된 타이밍에 있어서, 카메라(116)의 촬상 방향, 화각, 화상 표시 소자(108)와의 배치 관계에 근거하여, 카메라(116)의 촬상 범위 중, 화상 표시 소자(108)에 표시되는 화상의 화소 데이터로부터, 적색으로 발광시키고 있는 화소 위치를 특정한다. 즉, 수신한 화상 중에서, 화상 표시 소자(108)에 있어서 표시되는 화상에 의하여 적색으로 발색하고 있는 개소를 특정한다. 화상 표시 소자(108)가 표시하는 화상은 영상 출력부(222)로부터 출력되므로, 시선 검출 장치(200)는, 당해 개소를 특정할 수 있다. 그리고 시선 검출부(221)는, 화상 데이터에 있어서 특정한 개소에 대하여 적색을 마스크 처리한다(스텝 S704). 이로써, 시선 검출부(221)가, 화상 표시 소자(108)에 의한 적색의 발색과, 근적외광에 의한 발색을 혼동할 가능성을 저감할 수 있다.

시선 검출부(221)는, 마스킹 후의 화상 데이터에 근거하여, 유저(300)의 시선 검출 처리를 실행하여, 유저(300)의 시선 방향을 검출한다(스텝 S705).

스텝 S703에 있어서의 촬상 후에, 촬상부(124)는, 카메라(116)의 글로벌 셔터를 닫는다(스텝 S706).

그리고 글로벌 셔터가 닫히면, 적외광 조사부(122)는 적외광의 조사를 중지하고(스텝 S707), 처리를 종료한다.

<정리>

상기 설명한 처리에 의하여, 본 실시형태에 관한 헤드 마운트 디스플레이는, 종래 탑재되고 있던 핫 미러를 탑재하지 않고도, 가시광을 투과하면서, 비가시광(근적외광)을 반사시켜, 유저의 눈에 조사되는 적외광을 촬상하는 구성을 실현할 수 있다. 핫 미러를 탑재하고 있지 않기 때문에, 그 만큼 헤드 마운트 디스플레이를 경량화할 수 있음과 함께, 그 스페이스를 컴팩트하게 할 수 있다.

<보충>

본 발명에 관한 시선 검출 시스템은, 상기 실시형태로 한정되는 것은 아니고, 그 발명의 사상을 실현하기 위한 다른 방법으로 실현되어도 되는 것은 말할 필요도 없다.

상기 실시형태에 있어서는, 화상 표시 소자(108)의 표면을 덮는 유리 또는 투명 수지에 은의 미세 입자를 봉입함으로써, 가시광을 투과하고 비가시광을 반사하는 구성을 실현하고 있었지만, 이에 한정되는 것은 아니다. 화상 표시 소자(108)의 표면으로서, 볼록 렌즈(114)측에, 가시광을 투과하고 비가시광을 반사하는 필름을 부착함으로써 실현되어도 된다. 이러한 필름의 일종으로서는, 예를 들면, 이른바 차열 필름을 이용할 수도 있다. 이러한 비가시광 반사 필름으로서는, 일례로서 도 8에 나타내는 것 같은, 광학 특성을 갖는 필름이면 된다. 도 8에 나타내는 그래프는, 가로축에 주파수, 세로축에 투과율을 취한 비가시광 반사 필름의 주파수 특성 800을 나타내고 있으며, 투과율이 높을 수록, 그 주파수의 광을 투과하는 것을 나타내고 있다. 따라서, 도 8에 나타내는 주파수 특성 800을 갖는 비가시광 반사 필름의 경우, 적외광 영역(약 700nm 이상, 1200nm 이하의 주파수 대역)의 광을 투과하지 않고, 가시광 영역(약 300nm 이상, 700nm 이하의 주파수 대역)의 광을 투과한다.

또, 상기 실시형태에 있어서는, 카메라(116)로는 글로벌 셔터 방식으로 촬상하는 카메라를 이용하여, 글로벌 셔터를 여는 타이밍에 있어서 적외광을 조사하여 촬상하는 것으로 했지만, 적외광의 조사 타이밍을 규정하는 방법은 이에 한정되지 않는다. 예를 들면, 화상 표시 소자(108)에 있어서 화상을 표시할 때, 주사에 있어서의 이른바 블랭킹 구간에 있어서 적외광을 조사하여, 카메라(116)에 의한 촬상을 행하는 것으로 해도 된다. 화상 표시 소자(108)의 블랭킹 구간에 있어서 카메라(116)에 의한 촬상을 행한다는 것은, 즉, 프레임과 프레임의 사이의 어두워지는 시간에 있어서만 비가시광(근적외광)에 의하여 카메라(116)가 촬상을 행하는 것을 의미한다. 따라서, 화상 표시 소자(108)에, 아무런 화상도 표시되고 있지 않는 타이밍에, 유저의 눈에 조사된 근적외광에 근거하는 촬상을 행할 수 있으므로, 화상 표시 소자(108)에 화상이 표시되고 있던 경우에 발광하는 LED의 적색에 의한 간섭을 억제한 촬상을 행할 수 있다. 따라서, 보다 선명히 유저의 눈에 조사된 비가시광(근적외광)과 근적외광에 근거하여 촬상된 유저의 눈의 상을 얻을 수 있으므로, 보다 시선 검출의 정밀도를 향상시킬 수 있다.

또, 상기 실시형태에 있어서, 스텝 S701의 처리와 스텝 S702의 처리의 처리 순서는 반대여도 되고, 동시에 실행되어도 된다. 마찬가지로 스텝 S706의 처리와 스텝 S707의 처리의 처리 순서도 반대여도 되고, 동시에 실행되어도 된다. 또, 스텝 S704와 스텝 S705의 처리와 스텝 S706와 스텝 S707의 처리도 병행하여 실행되어도 된다.

또, 상기 실시형태에 있어서는, 시선 검출 방법으로서 시선 검출 장치(200)의 프로세서가 시선 검출 프로그램 등을 실행하는 것에 의하여, 유저가 주시하고 있는 개소를 특정하는 것으로 하고 있지만, 이는 시선 검출 장치(200)에 집적회로(IC(Integrated Circuit) 칩, LSI(Large Scale Integration)) 등에 형성된 논리 회로(하드웨어)나 전용 회로에 의하여 실현되어도 된다. 또, 이러한 회로는, 1개 또는 복수의 집적회로에 의하여 실현되어도 되고, 상기 실시형태에 나타낸 복수의 기능부의 기능을 1개의 집적회로에 의하여 실현하는 것으로 해도 된다. LSI는, 집적도의 차이에 따라, VLSI, 슈퍼 LSI, 울트라 LSI 등이라고 불리는 경우도 있다.

또, 상기 시선 검출 프로그램은, 프로세서가 독취 가능한 기록 매체에 기록되어 있어도 되고, 기록 매체로서는, "일시적이지 않은 유형의 매체", 예를 들면, 테이프, 디스크, 카드, 반도체 메모리, 프로그래머블한 논리 회로 등을 이용할 수 있다. 또, 상기 검색 프로그램은, 당해 검색 프로그램을 전송 가능한 임의의 전송 매체(통신 네트워크나 방송파 등)를 통하여 상기 프로세서에 공급되어도 된다. 본 발명은, 상기 시선 검출 프로그램이 전자적인 전송에 의하여 구현화된, 반송파에 포함된 데이터 신호의 형태로도 실현될 수 있다.

또한, 상기 시선 검출 프로그램은, 예를 들면, ActionScript, JavaScript(등록 상표) 등의 스크립트 언어, Objective-C, Java(등록 상표) 등의 오브젝트 지향 프로그램 언어, HTML5 등의 마크업 언어 등을 이용하여 실장할 수 있다.

1 시선 검출 시스템,
100 헤드 마운트 디스플레이
103a 적외광원
103b 적외광원
105 휘점
108 화상 표시 소자
114, 114a, 114b 볼록 렌즈
116 카메라(제1 촬상부, 제2 촬상부)
118 제1 통신부
121 표시부
122 적외광 조사부
123 화상 처리부
124 촬상부
130 화상 표시계
150 케이스
152a, 152b 렌즈 지지부
160 장착구
170 헤드폰
200 시선 검출 장치
220 제2 통신부
221 시선 검출부
222 영상 출력부
225 기억부

Claims

유저의 두부에 장착하여 사용되는 헤드 마운트 디스플레이로서,
유저의 눈에 비가시광을 조사하는 조사부와,
비가시광을 포함하는 광을 발광하는 발광소자를 발광시켜 상기 유저에게 보여주는 화상을 표시하는 디스플레이와,
비가시광에 의한 상을 촬상할 수 있는 촬상 장치와,
상기 촬상 장치가 촬상한 화상을 시선 검출용 화상으로서 출력하는 출력부를 구비하고,
상기 디스플레이는, 그 표면에, 가시광을 투과하고 비가시광을 반사하는 피복면을 가지며,
상기 피복면은, 상기 디스플레이로부터 발광하는 비가시광이 상기 촬상 장치에 도달하는 것을 억제하고,
상기 촬상 장치는, 상기 조사부로부터 조사되고, 상기 유저의 눈에 의하여 반사되며 상기 피복면에 의하여 반사된 비가시광에 의해, 상기 유저의 눈을 촬상하는 헤드 마운트 디스플레이.
청구항 1에 있어서,
상기 피복면은, 상기 디스플레이 표면을 덮는 투명판에, 가시광을 투과하고 비가시광을 반사하도록, 금속막 또는 유전체막이 증착되어 이루어지는 것을 특징으로 하는 헤드 마운트 디스플레이.
청구항 1에 있어서,
상기 피복면은, 상기 디스플레이의 표면에 부착된, 가시광을 투과하고 비가시광을 반사하는 비가시광 반사 필름인 것을 특징으로 하는 헤드 마운트 디스플레이.
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 촬상 장치는 글로벌 셔터 방식으로 촬상하는 촬상 장치이며,
상기 조사부는, 상기 글로벌 셔터가 열려 있을 때 상기 비가시광을 조사하고, 상기 글로벌 셔터가 닫혀 있을 때 상기 비가시광을 조사하지 않는 것을 특징으로 하는 헤드 마운트 디스플레이.
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 촬상 장치는, 상기 디스플레이에 상기 화상을 표시하기 위한 주사가 이루어지는 블랭킹 구간에 있어서 촬상을 행하는 것을 특징으로 하는 헤드 마운트 디스플레이.
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 비가시광은 근적외광이며,
상기 헤드 마운트 디스플레이는, 또한 상기 촬상 장치가 촬상한 화상으로부터, 상기 디스플레이에 표시되는 화상에 있어서, 적색의 화소에 대응하는 위치의 적색을 필터링한 화상을 생성하는 생성부를 구비하고,
상기 출력부는, 상기 생성부가 생성한 화상을 출력하는 것을 특징으로 하는 헤드 마운트 디스플레이.
청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
상기 디스플레이가 형성하는 평면과 상기 촬상 장치의 촬상 광축이 이루는 각도가 90도에 가까워지도록, 상기 디스플레이를 상기 촬상 장치를 향하여 경사시켜 배치한 것을 특징으로 하는 헤드 마운트 디스플레이.
유저의 두부에 장착하여 사용하는 헤드 마운트 디스플레이와, 유저의 시선을 검출하는 시선 검출 장치를 포함하는 시선 검출 시스템으로서,
상기 헤드 마운트 디스플레이는,
유저의 눈에 비가시광을 조사하는 조사부와,
비가시광을 포함하는 광을 발광하는 발광소자를 발광시켜 상기 유저에게 보여주는 화상을 표시하는 디스플레이와,
비가시광에 의한 상을 촬상할 수 있는 촬상 장치와,
상기 촬상 장치가 촬상한 화상을 시선 검출용 화상으로서 출력하는 출력부를 구비하고,
상기 시선 검출 장치는,
상기 출력부가 출력한 화상에 근거하여 유저의 시선 방향을 검출하는 시선 검출부를 구비하고,
상기 디스플레이는, 그 표면에, 가시광을 투과하고 비가시광을 반사하는 피복면을 가지며,
상기 피복면은, 상기 디스플레이로부터 발광하는 비가시광이 상기 촬상 장치에 도달하는 것을 억제하고,
상기 촬상 장치는, 상기 조사부로부터 조사되고, 상기 유저의 눈에 의하여 반사되며 상기 피복면에 의하여 반사된 비가시광에 의해, 상기 유저의 눈을 촬상하는 시선 검출 시스템.
청구항 8에 있어서,
상기 피복면은, 상기 디스플레이 표면을 덮는 투명판에, 가시광을 투과하고 비가시광을 반사하도록, 금속막 또는 유전체막이 증착되어 이루어지는 것을 특징으로 하는 시선 검출 시스템.
청구항 8에 있어서,
상기 피복면은, 상기 디스플레이의 표면에 부착된, 가시광을 투과하고 비가시광을 반사하는 비가시광 반사 필름인 것을 특징으로 하는 시선 검출 시스템.
청구항 8 내지 청구항 10 중 어느 한 항에 있어서,
상기 촬상 장치는 글로벌 셔터 방식으로 촬상하는 촬상 장치이며,
상기 조사부는, 상기 글로벌 셔터가 열려 있을 때 상기 비가시광을 조사하고, 상기 글로벌 셔터가 닫혀 있을 때 상기 비가시광을 조사하지 않는 것을 특징으로 하는 시선 검출 시스템.
청구항 8 내지 청구항 10 중 어느 한 항에 있어서,
상기 촬상 장치는, 상기 디스플레이에 상기 화상을 표시하기 위한 주사가 이루어지는 블랭킹 구간에 있어서 촬상을 행하는 것을 특징으로 하는 시선 검출 시스템.
청구항 8 내지 청구항 10 중 어느 한 항에 있어서,
상기 비가시광은 근적외광이며,
상기 시선 검출부는, 상기 출력부로부터 출력된 화상에 대하여, 상기 디스플레이에 표시되는 화상에 있어서, 적색계의 화소에 대응하는 위치의 적색의 채도를 억제하는 필터링을 실시하여 생성되는 화상에 근거하여 시선 검출을 실행하는 것을 특징으로 하는 시선 검출 시스템.
청구항 8 내지 청구항 13 중 어느 한 항에 있어서,
상기 디스플레이가 형성하는 평면과 상기 촬상 장치의 촬상 광축이 이루는 각도가 90도에 가까워지도록, 상기 디스플레이를 상기 촬상 장치를 향하여 경사시켜 배치한 것을 특징으로 하는 시선 검출 시스템.