WO2022079584A1

WO2022079584A1 - 視線検出装置、視線検出プログラム及びヘッドマウントディスプレイ

Info

Publication number: WO2022079584A1
Application number: PCT/IB2021/059328
Authority: WO
Inventors: チェルニャクヤコブ; チェルニャクグレゴリー
Original assignee: フォーブインコーポレーテッド
Priority date: 2020-10-12
Filing date: 2021-10-12
Publication date: 2022-04-21
Also published as: JP2024514380A; US20230393653A1; US20240192771A1; JPWO2022079584A1; WO2022079585A1; WO2022079587A1; US20240134448A1; JPWO2022079587A1

Abstract

[課題] 複数個の輝点が角膜上で観察できない場合においても視線方向の視線検出装置を提供する。 [解決手段]この視線検出装置において、プロセッサは、複数の光源から照射される光に基づいて眼の角膜上で観察される輝点の状態が第１の状態である場合には、（１－１）複数の輝点に基づいて角膜の中心位置を特定し、（１－２）撮像装置の画像に基づいて眼の瞳孔の位置を特定し、（１－３）角膜の中心位置及び瞳孔の位置に基づいて視線方向を特定する。一方、プロセッサは、複数の光源に基づいて眼の角膜上で観察される輝点の状態が第２の状態である場合には、（２－１）記憶部に記憶された眼球の半径及び眼球の中心位置のデータに従い、眼球の形状を特定し、（２－２）撮像装置の画像及び眼球の中心位置から視線方向を特定する。

Description

視線検出装置、視線検出プログラム及びヘッドマウントディスプレイ

　本発明は、視線方向を検出する視線検出装置、視線検出プログラム及びヘッドマウントディスプレイに関する。

　現在、ゲームや映像において仮想現実（ＶＲ）を提供するため、立体画像を提供することが可能なヘッドマウントディスプレイの普及が加速している。ヘッドマウントディスプレイは、ユーザの頭部を覆う筐体の内部においてユーザに対し立体画像を提供する映像提供装置である。このようなヘッドマウントディスプレイにおいては、ユーザの視線方向を検出する視線検出器を設け、その視線方向の映像のみを高解像度化するなど、立体画像を変化させるように構成された装置も知られている（例えば、特許文献１参照）。

　ユーザの視線の検出は、赤外光を眼に照射し、赤外光で照射された眼の画像における光の輝点の位置を検出することにより行われる。このとき、視線方向を正確に把握するためには、複数の光源から複数の照射光を照射し、角膜上で複数の輝点を観察することが求められる。

　しかし、複数の光源を用いたとしても、複数個の輝点を常時角膜上で観察することは難しい。例えば、まばたきや、ヘッドマウントディスプレイの筐体のブレなどにより、複数個の輝点のうちの幾つかは角膜の外に投影され、視線検出のための情報として利用できない状況生じ得る。その場合、視線方向を正確に検出することができず、ヘッドマウントディスプレイに関し所望の動作を行なうことができない。

特開２００１−１３４３７１号公報

　本発明は、上記の問題に鑑みてなされたものであり、複数個の輝点が角膜上で観察できない場合においても視線方向の視線検出装置を提供することを目的とする。

　上記目的の達成のため、本発明に係る視線検出装置は、眼に対し光を照射する複数の光源と、前記眼の画像を撮像する撮像装置と、プロセッサとを備える。前記プロセッサは、前記複数の光源に基づいて前記眼の角膜上で観察される輝点の状態が第１の状態である場合には、
　（１−１）複数の前記輝点に基づいて前記角膜の中心位置を特定し、
　（１−２）前記撮像装置の画像に基づいて前記眼の瞳孔の位置を特定し、
　（１−３）前記角膜の中心位置及び前記瞳孔の位置に基づいて前記視線方向を特定する。一方、前記プロセッサは、前記複数の光源に基づいて前記眼の角膜上で観察される輝点の状態が第２の状態である場合には、
　（２−１）記憶部に記憶された前記眼球の半径及び前記眼球の中心位置のデータに従い、前記眼球の形状を特定し、
　（２−２）前記撮像装置の画像及び前記眼球の中心位置から前記視線方向を特定する。

　本発明によれば、複数個の輝点が角膜上で観察できない場合においても視線方向の視線検出装置を提供することができる。

第１の実施の形態の映像システム１の概観を模式的に示す図である。

第１の実施の形態の映像表示部１４０の構成を模式的に示す斜視図である。

第１の実施の形態の映像表示部１４０の構成を模式的に示す概略断面図である。

第１の実施の形態のヘッドマウントディスプレイ１００及び映像再生装置２００の主要部の構成を示すブロック図である。

第１の実施の形態による検出部２０３を用いて視線方向を検出する方法を説明する概略図である。

第１の実施の形態による検出部２０３を用いて視線方向を検出する方法を説明するフローチャートである。

第２の実施の形態による検出部２０３を用いて視線方向を検出する方法を説明するフローチャートである。

　以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。

　本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

［第１の実施の形態］
　図１を参照して、第１の実施の形態に係る映像システム１を説明する。図１は、映像システム１の概観を模式的に示す図である。第１の実施の形態に係る映像システム１は、ヘッドマウントディスプレイ１００と映像再生装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザの頭部に装着して使用される遮蔽型のヘッドマウントディスプレイであり得る。

　映像再生装置２００は、ヘッドマウントディスプレイ１００が表示する画像データを生成し、その画像データをヘッドマウントディスプレイ１００に有線又は無線通信により送信する。一例として、映像再生装置２００は、パソコン、据え置き型のゲーム機、携帯ゲーム機、タブレット端末、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の画像を再生することができる装置である。

　映像再生装置２００とヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の無線通信技術を用いて実現できる。また、ヘッドマウントディスプレイ１００と映像再生装置２００との間における画像の伝送は、Ｍｉｒａｃａｓｔ（商標）、ＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）、又はイーサネット（商標）等の規格に則って実行される。映像再生装置２００はヘッドマウントディスプレイ１００と一体に構成されるか、ヘッドマウントディスプレイ１００に内蔵されてもよい。

　ヘッドマウントディスプレイ１００は、筐体１１０、頭部固定部１２０、ヘッドフォン１３０、及び映像表示部１４０を備える。筐体１１０は、後述するように、映像表示部１４０の他、伝送モジュール、各種センサを収容する。頭部固定部１２０は、ヘッドマウントディスプレイ１００をユーザの頭部に装着する部材である。ヘッドフォン１３０は、映像再生装置２００が再生する画像の音声を出力する。なお、図示は省略しているが、ヘッドマウントディスプレイ１００は、ヘッドマウントディスプレイ１００の傾斜方向等を検出するためのジャイロセンサ等を備えていても良い。映像再生装置２００は、このジャイロセンサの検出結果に従って画像の表示状態を変更することができる。映像表示部１４０は、筐体１１０に収容され、映像再生装置２００から送信された映像を表示する。

　図２は、映像表示部１４０の構成を模式的に示す斜視図であり、図３はその概略断面図である。また、図４は、ヘッドマウントディスプレイ１００及び映像再生装置２００の主要部の構成を示すブロック図である。

　図２に示すように、映像表示部１４０は、ユーザの左右の眼Ｅ（ＥＬ、ＥＲ）のそれぞれに対し画像を提示し、これにより、ユーザに対し立体画像を提示可能とされている。図３に示すように、映像表示部１４０は、赤外光源１４１（１４１ａ~ｃ）、対物レンズ１４２、ハーフミラー１４３、カメラ１４４、ホットミラー１４５、及びディスプレイ１４６を備える。なお映像表示部１４０の構成は、左右の眼Ｅで同一であるので、以下では左右一方側の構成のみを説明する。

　赤外光源１４１は、眼の瞳孔の中心、角膜の中心の位置を検出し、更には眼球の中心の位置を検出し、眼Ｅの視線の検出に用いるための光源であって、近赤外（７８０ｎｍ~２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。赤外光源１４１は、少なくとも３個以上設けられる。ここでは一例として、赤外光源１４１ａ~ｃの３個が設けられるものとする（赤外光源１４１ｃは図３では図示を省略している）。なお、以下において、赤外光源１４１ａ~ｃを総称して「赤外光源１４１」ということがある。

　対物レンズ１４２は、ヘッドマウントディスプレイ１００の使用時においてユーザの眼Ｅの正面に配置されるように設けられる。赤外光源１４１ａ~ｃは、対物レンズ１４２の周囲に設けることができる。ここで、３つの赤外光源１４１ａ~ｃは、対物レンズ１４２の光軸に関し少なくとも線対称でない位置に設けられ、好ましくは光軸の周りに略均等な角度で配置されるのが好ましい。

　対物レンズ１４２とディスプレイ１４６との間の光路には、ハーフミラー１４３、及びホットミラー１４５が設けられている。ハーフミラー１４３は、眼Ｅからの光の一部を透過し、残りを反射させる。ハーフミラー１４３の反射側の光路には、カメラ１４４が設けられ、透過側の光路にはホットミラー１４５が設けられている。

　カメラ１４４は、赤外光源１４１ａ~１４１ｃからの光が投影され当該光に基づく輝点が形成された眼Ｅの画像を撮像する撮像装置である。この輝点を含む眼の画像は、眼の瞳孔の中心及び角膜の中心の位置、ひいては視線方向の検出のために用いられる。ディスプレイ１４６は、映像再生装置２００から送信された画像を表示するための映像表示デバイスであり、例えば既知の液晶ディスプレイや有機ＥＬディスプレイを用いて実現できる。ホットミラー１４５は、ディスプレイ１４６が発する可視光は透過する一方、近赤外光は反射する特性を有する。

　赤外光源１４１ａ~ｃからユーザの眼Ｅに到達した赤外光は、眼Ｅで反射され、対物レンズ１４２の方向に向かう。対物レンズ１４２を透過した光の一部は、ハーフミラー１４３で反射され、カメラ１４４に入射する。カメラ１４４は可視光を遮断するフィルタ（図示せず）を備えていてもよい。

　図４のブロック図に示すように、ヘッドマウントディスプレイ１００は、赤外光源１４１、カメラ１４４及びディスプレイ１４６に加え、制御部１０１及び通信部１０２を備えている。制御部１０１は、赤外光源１４１、カメラ１４４及びディスプレイ１４６を含むヘッドマウントディスプレイ１００の全体を制御する。また、通信部１０２は、映像再生装置２００との間でのデータ通信を司る。

　また、映像再生装置２００は、検出部２０３や映像生成部２０４を制御するための制御部２０１（プロセッサ）を備えるとともに、ヘッドマウントディスプレイ１００との間のデータ通信を司る通信部２０２を備えている。通信部２０２は、ヘッドマウントディスプレイ１００内の通信部１０２との間で通信を行い、ヘッドマウントディスプレイ１００で得られた各種データを受信して制御部２０１に供給すると共に、逆に映像再生装置２００で得られたデータをヘッドマウントディスプレイ１００に向けて送信する。また、映像再生装置２００は、検出部２０３と映像生成部２０４を備えている。

　検出部２０３は、眼Ｅに赤外光源１４１ａ~ｃからの赤外光が投影された状態でカメラ１４４により撮像された眼Ｅの画像に基づき、ユーザの眼の瞳孔の中心、角膜の中心の位置、更には眼球の中心の位置を検出する。そして検出部２０３は、瞳孔の中心、角膜の中心、及び／又は眼球の中心の位置のデータに基づき、眼Ｅの視線方向を検出する。検出部２０３は、眼Ｅの角膜上で観察可能な赤外光源１４１ａ~ｃの輝点の数に従って、異なる視線方向の検出手法を採用する。

　３個の赤外光源１４１に基づく眼Ｅ上の３個の輝点の位置が観察可能である場合（第１の状態）、検出部２０３は、瞳孔の中心位置を特定すると共に角膜の中心位置を特定し、これにより視線ベクトルを検出する。更に異なる時間毎に視線ベクトルを検出し、この視線ベクトルの交点の位置に基づき、眼球の中心の位置を検出する。眼球の中心位置が検出された場合、更に検出済みの瞳孔の中心の位置のデータ等に基づいて眼球の半径のデータも演算される。

　一方、３個未満の輝点のみが眼Ｅの角膜上で観察可能である場合（第２の状態）、検出部２０３は、記憶部に記憶されている眼球の中心の位置、及び眼球の半径のデータを用いて眼球モデルデータを生成し、更に瞳孔の位置を特定する。そして、眼球の中心の位置から瞳孔の中心に向かうベクトルを視線ベクトルすなわち視線方向として検出する。この点については、後で詳しく説明する。

　なお、映像再生装置２００は、上述のように、パソコン、据え置き型のゲーム機、携帯ゲーム機、タブレット端末、スマートフォン、ファブレット、ビデオプレイヤ等であり得る。検出部２０３は、例えば、パソコン等に含まれる画像信号プロセッサ（ＩＳＰ：Ｉｍａｇｅ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）と、記憶装置に記憶される画像処理プログラムとにより実現され得る。画像処理プログラムは、ＲＯＭやＲＡＭなどの内蔵型の記憶装置に記憶されてもよいし、メモリーカードやＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭなどの可搬型の記憶装置に記憶されてもよい。

　なお、ヘッドマウントディスプレイ１００がメモリを備え、制御部１０１とメモリが計算リソースとして機能し得る場合には、ヘッドマウントディスプレイ１００の制御部１０１が視線検出部を実現するプログラムを実行してもよい。同様に、検出部２０３の代わりに、映像再生装置２００の制御部（プロセッサ）２０１が視線検出部を実現するプログラムを実行してもよい。

　映像生成部２０４は、ジャイロセンサ（図示せず）の検出信号等に従い、ディスプレイ１４６において表示すべき画像を生成する機能を有する。なお、映像生成部２０４は、ジャイロセンサ等の出力に加え、前述の検出部２０３の検出結果に従い、生成する映像を変更してもよい。

　次に、第１の実施の形態による検出部２０３を用いて視線方向を検出する方法につき、図５~図９を参照して説明する。

　図５に示すように、人間の眼Ｅは、眼球中心Ｂｃを有する眼球Ｂと、眼球Ｂの一部に形成される角膜Ｃを有している。角膜Ｃは、眼球Ｂとは異なる半径（角膜半径）を有し、その曲率は角膜中心Ｃｃにより定まる。また、角膜Ｃの内部には虹彩が含まれ、この虹彩の中央に形成される孔部が瞳孔Ｐである。この瞳孔Ｐの中心である瞳孔中心Ｐｃ、角膜中心Ｃｃ、及び眼球中心Ｂｃは一本の直線Ｌｓ上に並ぶ。直線Ｌｓが眼Ｅの視線方向となる。従って、眼Ｅの視線方向を検出する場合、眼球中心Ｂｃ、瞳孔中心Ｐｃ、及び角膜中心Ｃｃを特定することにより、眼Ｅの視線方向（直線Ｌｓ）を特定することができる。

　図１に示すような映像システム１の場合、ユーザの頭部はヘッドマウントディスプレイ１００に固定される。図６に示すように、眼Ｅの視線方向は、眼球Ｂが眼球中心Ｂｃを中心として回転することにより変化すると考えられる。本実施の形態では、視線方向が時間の経過とともに変化する場合において、異なる複数のタイミングにおいて瞳孔中心Ｐｃ（Ｐｃ０~２）、角膜中心Ｃｃ（Ｃｃ０~２）の位置を特定し、更に瞳孔中心Ｐｃと角膜中心Ｃｃを結ぶ直線Ｌｓ（Ｌｓ０~２）を特定する。

　こうして特定された複数の直線Ｌｓの交点が、眼球中心Ｂｃとして特定される。また、眼球中心Ｂｃと瞳孔中心Ｐｃとの差（距離）が、眼球Ｂの半径Ｒｅとして特定される。なお、複数の直線Ｌｓは１点で交わらないことが生じ得る。この場合、最小二乗法等を用いて、複数の直線Ｌｓから最も近い点（最近傍点）を算出して、眼球中心Ｂｃとしてもよい。なお、眼球中心Ｂｃの位置は、ユーザの頭部がヘッドマウントディスプレイ１００に対しズレることが無い限り、一定であると推定される。このため、本実施の形態では、特定された眼球中心Ｂｃの位置情報を記憶部に記憶させ、その後の視線方向の特定のために使用する。

　次に、図７のフローチャートを参照して、本実施の形態に係る映像システム１における視線方向の検出の手順を説明する。この実施の形態では、前述したように、検出部２０３は、眼Ｅの角膜上で観察可能な赤外光源１４１ａ~ｃの輝点の数に従って、異なる視線方向の検出手法を採用する。

　赤外光源１４１ａ~ｃからの光を投影した状態で眼Ｅの画像がカメラ１４４において撮像されると（ステップＳ１１）、検出部２０３は、画像中で角膜Ｃ上に形成されている輝点の数を計数する（ステップＳ１２）。輝点が角膜Ｃ上で３点確認される場合、ステップＳ２１に移行する。一方、角膜Ｃ上で観察される輝点の数が２点以下である場合、ステップＳ３１に移行する。

　ステップＳ２１では、検出部２０３は、確認された３つの輝点の位置を解析し、角膜Ｃの角膜中心Ｃｃの位置を演算する。続くステップＳ２２では、検出部２０３は、カメラ１４４で撮像された画像において瞳孔Ｐを特定し、その瞳孔中心Ｐｃの位置を演算する。そして、ステップＳ２３では、ステップＳ２１、及びステップＳ２２で演算された角膜中心Ｃｃ及び瞳孔中心Ｐｃを結ぶ直線Ｌｓを眼Ｅの視線方向として演算する。演算された視線方向は、制御部２０１に出力される。

　制御部２０１は、得られた視線方向のデータに従い、ヘッドマウントディスプレイ１００及び映像再生装置２００において各種の制御を実行する。視線方向を示す直線Ｌｓのデータは、所定の時間間隔で演算され、検出部２０３のメモリ（図示せず）に記憶される。例えば、時刻ｔ０、ｔ１、ｔ２・・・において、異なる直線Ｌｓ０、Ｌｓ１、Ｌｓ２・・・のデータが演算され、記憶される。

　続くステップＳ２４では、眼球Ｂの半径Ｒｅが既知で、既に検出部２０３が有するメモリ（図示せず）に記憶されているか否かが判定される。眼球Ｂの半径が既知でなく、メモリに記憶されていない場合には（Ｎｏ）、ステップＳ２５に移行し、前述の複数通りの直線Ｌｓのデータに従い、眼球Ｂの半径Ｒｅを演算する。具体的には、図６に示すように、３通り以上の直線Ｌｓ（Ｌｓ０~Ｌｓ２）のデータを得て、その３本以上の直線Ｌｓの交点、又は最近傍点を求めることで、眼球Ｂの眼球中心Ｂｃの位置を求める。眼球中心Ｂｃの位置が特定されると、瞳孔中心Ｐｃの位置との関係から、眼球Ｂの半径Ｒｅが求められる。ステップＳ２６では、こうして求められた眼球Ｂの眼球中心Ｂｃの位置データ、及び半径Ｒｅの値を検出部２０３のメモリに記憶させる。

　一方、ステップＳ２４で、眼球Ｂの半径Ｒｅ及び眼球Ｂの眼球中心Ｂｃの位置が既にメモリに記憶されている場合には（Ｙｅｓ）、ステップＳ２５は省略される。ただ、眼球Ｂの半径Ｒｅ及び眼球Ｂの中心Ｂｃの位置が既にメモリに記憶されている場合であっても、定期的にステップＳ２５を実行し、眼球半径Ｒｅ及び眼球中心Ｂｃのデータを新たに演算し、メモリの記憶データを更新してもよい。

　以上は、ステップＳ１２で、角膜Ｃ上で観察される輝点の数が３個であった場合の動作であるが、観察される輝点の数が２個以下であった場合の動作（ステップＳ３１~Ｓ３３）を以下に説明する。上述したように、複数（例えば３個）の赤外光源１４１ａ~ｃを用いたとしても、複数個の輝点を常時角膜Ｃ上で観察できるとは限らない。この場合、角膜Ｃの中心位置を特定することができず、これに基づく視線方向の検出も困難になる。しかし、本実施の形態では、眼球中心Ｂｃを予め特定し、その位置データをメモリに記憶しており、この眼球中心Ｂｃと、瞳孔中心Ｐｃの位置データとに基づいて、視線方向を検出することができる。以下、その手順（ステップＳ３１~３３）を説明する。

　ステップＳ３１では、検出部２０３のメモリに記憶されている眼球Ｂの形状データである眼球中心Ｂｃの位置、及び眼球Ｂの半径Ｒｅを読み出す。図８（ａ）に示すように、検出部２０３は、読み出された眼球中心Ｂｃの位置データ、及び半径Ｒｅに基づいて眼球Ｂの形状データＭｅを生成する。

　続いて、ステップＳ３２では、図８（ｂ）に示すように、カメラ１４４の撮像画像に従い、瞳孔Ｐの瞳孔中心Ｐｃの位置データを演算する。そして、ステップＳ３３では、眼球中心Ｂｃと瞳孔中心Ｐｃを結ぶ直線Ｌｓのデータを演算し（図８（ｃ）参照）、この直線Ｌｓを視線方向と特定する。

　なお、上記の説明では、赤外光源１４１は、左右の眼の各々について３個ずつ設けられているものとして説明した。ただし、これはあくまで一例であり、眼Ｅの各々について設けられる赤外光源の数は、４個以上であってもよい。また、上記の例では、ステップＳ１２において、輝点が３個以上角膜Ｃ上で観察されるか否かにより、視線方向の検出手法の切替を行っているが、これも一例であって、他の基準に基づき、複数の検出手法を切り換えても良いことは言うまでもない。

　以上説明したように、第１の実施の形態のシステムでは、複数の赤外光源から光を投影し、角膜Ｃ上に形成される複数個の輝点に基づき角膜中心Ｃｃの位置を判定し、更に瞳孔中心Ｐｃの位置も判定することで、視線方向が検出可能とされている。そして、角膜Ｃ上で複数個の輝点が観察できない場合でも、予め記憶してある眼球中心Ｂｃのデータと、瞳孔中心Ｐｃのデータとに従い、視線方向を検出することができる。よって、本実施の形態によれば、状況の変化に拘わらず視線方向を正確に検出することが可能である。

［第２の実施の形態］
　次に、図９を参照して、第２の実施の形態に係る映像システム１を説明する。図９は、映像システム１において視線検出動作を実行する場合の手順を示すフローチャートである。第２の実施の形態の映像システムの全体構成は、第１の実施の形態（図１~図４）と略同一であるので、重複する説明は省略する。この第２の実施の形態では、図９に示すように、図７のステップＳ２４を省略し、眼球半径Ｒｅが既知か否かに拘わらず、毎回眼球半径Ｒｅの計算を実行し、眼球半径Ｒｅ及び眼球中心Ｂｃの位置のデータを更新する。この第２の実施の形態によっても、第１の実施の形態と同様の効果を得ることができる。

［第３の実施の形態］
　次に、図１０を参照して、第３の実施の形態に係る映像システム１を説明する。図１０は、映像システム１において視線検出動作を実行する場合の手順を示すフローチャートである。第３の実施の形態の映像システムの全体構成は、第１の実施の形態（図１~図４）と略同一であるので、重複する説明は省略する。この第３の実施の形態における視線検出動作（図１０）は、瞳孔中心Ｐｃの検出に関する手順が第１の実施の形態（図７）と異なっている。図１０において、図７と同じステップ番号を付されたブロックの動作は同一であるので、以下では説明は省略する。

　図１０では、ステップＳ２２において瞳孔中心Ｐｃの位置を検出するが、検出が成功した場合と失敗した場合とで動作が異なっている。成功した場合（ステップＳ４１のＹｅｓ）には、第１の実施の形態と同様に視線検出の手順が進行する（ステップＳ２３~Ｓ２６）。一方、失敗した場合（ステップＳ４１のＮｏ）には、眼球中心Ｂｃが既知であるか否かが判断される（ステップＳ４２）。既知である場合には（Ｙｅｓ）、瞳孔中心Ｐｃと角膜中心Ｃｃに基づく視線検出を行う代わりに、眼球中心Ｂｃと角膜中心Ｃｃに基づく視線検出が実行される（ステップＳ２３）。既知でなければ、視線検出をするための情報が不足しているので、視線検出は行わず、ステップＳ１１に戻る。

　この第３の実施の形態によれば、瞳孔中心Ｐｃの位置の検出が失敗した場合であっても、角膜中心Ｃｃの位置が検出されており、眼球中心Ｂｃの位置が得られていれば、視線検出を実行することができる。このため、前述の実施の形態に比べ、視線検出を行うことができる機会が増加し、ヘッドマウントディスプレイの所与の動作をより的確に実行することが可能になる。

［第４の実施の形態］
　次に、図１１及び図１２を参照して、第４の実施の形態に係る映像システム１を説明する。図１１は、映像システム１において視線検出動作を実行する場合の手順を示すフローチャートであり、図１２は、第４の実施の形態の動作を示す概略図である。第４の実施の形態の映像システムの全体構成は、第１の実施の形態（図１~図４）と略同一であるので、重複する説明は省略する。

　この第４の実施の形態における視線検出動作（図１１）は、輝点の数が３点未満と判断された後（ステップＳ１２のＮｏの判断の後）の動作が第１の実施の形態（図７）と異なっている。具体的にこの第３の実施の形態では、輝点の数が３点未満と判断された場合に、眼球の形状データＢＳと、眼球に向かう線の方向Ｄｒとに基づき、視線方向を検出する。図１１において、図７と同じステップ番号を付されたブロックの動作は同一であるので、以下では説明は省略する。

　この第４の実施の形態では、ステップＳ３１において眼球の形状データＢＳを生成した後、図１２に示すように、カメラ１４４における瞳孔中心ＣＰの位置を検出し、この検出情報に従い、レンズ１４２等の光学系を介してカメラ１４４から瞳孔中心ＣＰに向かう線の方向Ｄｒを解析する（ステップＳ３２Ａ）。カメラ１４４から瞳孔中心ＣＰに向けた方向Ｄｒは、カメラ１４４による２Ｄ画像における２Ｄの瞳孔中心から計算することができる。眼球中心Ｂｃから、この線の方向Ｄｒと、眼球の形状データＢＳとの交点に向かう方向Ｇｄが視線方向として特定される。

　以上説明したように、この第４の実施の形態によれば、瞳孔中心ＣＰに向けた線の方向Ｄｒを解析し、この方向Ｄｒと眼球の形状データとに従って視線方向が解析される。この方法によっても、前述の実施の形態と同一の効果を得ることができる。

［その他］
　本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。例えば、上記の実施の形態では、視線検出装置をヘッドマウントディスプレイ１００を有する映像システムにおいて搭載した例を主に説明したが、本発明の視線検出装置の適用範囲はこれに限定されるものではなく、視線検出機能を使用し得る様々な装置及びシステムに適用することが可能である。

　また、上記実施の形態においては、視線検出装置中のプロセッサが視線検出プログラム等を実行することにより、ユーザの視線方向等を特定することとしているが、視線検出装置は、集積回路に形成された論理回路や専用回路等のハードウエアによって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。

　また、上記視線検出プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。

　１…映像システム、　１００…ヘッドマウントディスプレイ、　１０１…制御部、　１０２…通信部、　１１０…筐体、　１２０…頭部固定部、　１３０…ヘッドフォン、　１４０…映像表示部、　１４１、１４１ａ~ｃ…赤外光源、　１４２…対物レンズ、　１４３…ハーフミラー、　１４４…カメラ、　１４５…ホットミラー、　１４６…ディスプレイ、　２００…映像再生装置、　２０１…制御部（プロセッサ）、　２０２…通信部、　２０３…検出部、　２０４…映像生成部、　Ｂ…眼球、　Ｂｃ…眼球中心、　Ｃ…角膜、　Ｃｃ…角膜中心、　Ｅ…眼、　Ｌｓ…直線、　Ｍｅ…形状データ，　Ｐ…瞳孔，　Ｐｃ…瞳孔中心，　Ｒｅ…眼球半径。

Claims

　眼に対し光を照射する複数の光源と、
　前記眼の画像を撮像する撮像装置と、
　プロセッサと
を備え、
　前記プロセッサは、
　前記複数の光源に基づいて前記眼の角膜上で観察される輝点の状態が第１の状態である場合には、
　（１−１）複数の前記輝点に基づいて前記角膜の中心位置を特定し、
　（１−２）前記撮像装置の画像に基づいて前記眼の瞳孔の位置を特定し、
　（１−３）前記角膜の中心位置及び前記瞳孔の位置に基づいて前記視線方向を特定し、
　前記複数の光源に基づいて前記眼の角膜上で観察される輝点の状態が第２の状態である場合には、
　（２−１）記憶部に記憶された前記眼球の半径及び前記眼球の中心位置のデータに従い、前記眼球の形状を特定し、
　（２−２）前記撮像装置の画像及び前記眼球の中心位置から前記視線方向を特定する
ことを特徴とする視線検出装置。
　前記プロセッサは、複数のタイミングで取得された前記視線方向のデータに従い、前記眼球の半径及び前記眼球の中心位置を特定し、前記記憶部に記憶させるよう構成された、請求項１に記載の視線検出装置。
　前記プロセッサは、前記眼球の中心位置を、特定された複数の視線の交点を求めることにより特定し、前記眼球の半径を、前記眼球の中心位置と前記瞳孔の位置との差に基づき特定する、請求項１に記載の視線検出装置。
　前記プロセッサは、前記第２の状態において、
　前記撮像装置の画像から前記瞳孔の位置を特定し、前記眼球の中心位置及び前記瞳孔の位置に基づき、前記視線方向を特定する、請求項１に記載の視線検出装置。
　前記プロセッサは、前記第１の状態において、
　前記眼の瞳孔の位置の特定に失敗した場合、前記眼球の形状及び前記角膜の中心位置に従って前記視線方向を特定する、請求項１に記載の視線検出装置。
　前記プロセッサは、前記第２の状態において、
　前記撮像装置の画像から前記眼から発する光線の方向を特定し、前記眼球の中心位置及び前記光線の方向に基づき、前記視線方向を特定する、請求項１に記載の視線検出装置。
　眼の視線方向を検出するための視線検出プログラムであって、
　複数の光源から前記眼に光を照射し、前記眼の角膜上で観察される輝点の状態を判定するステップと、
　前記輝点の状態が第１の状態である場合には、
　（１−１）複数の前記輝点に基づいて前記角膜の中心位置を特定し、
　（１−２）前記眼の画像に基づいて前記眼の瞳孔の位置を特定し、
　（１−３）前記角膜の中心位置及び前記瞳孔の位置に基づいて前記視線方向を特定し、一方、前記複数の光源に基づいて前記眼の角膜上で観察される輝点の状態が第２の状態である場合には、
　（２−１）記憶部に記憶された前記眼球の半径及び前記眼球の中心位置のデータに従い、前記眼球の形状を特定し、
　（２−２）前記眼の画像及び前記眼球の中心位置から前記視線方向を特定するステップと
をコンピュータに実行させることを特徴とする視線検出プログラム。
　複数のタイミングで取得された前記視線方向のデータに従い、前記眼球の半径及び前記眼球の中心位置を特定し、前記記憶部に記憶させる、請求項７に記載の視線検出プログラム。
　前記眼球の中心位置を、特定された複数の視線の交点を求めることにより特定し、前記眼球の半径を、前記眼球の中心位置と前記瞳孔の位置との差に基づき特定する、請求項７に記載の視線検出プログラム。
　前記第２の状態において、
　前記撮像装置の画像から前記瞳孔の位置を特定し、前記眼球の中心位置及び前記瞳孔の位置に基づき、前記視線方向を特定する、請求項７に記載の視線検出プログラム。
　前記第１の状態において、
　前記眼の瞳孔の位置の特定に失敗した場合、前記眼球の形状及び前記角膜の中心位置に従って前記視線方向を特定する、請求項７に記載の視線検出プログラム。
　前記第２の状態において、
　前記撮像装置の画像から前記眼から発する光線の方向を特定し、前記眼球の中心位置及び前記光線の方向に基づき、前記視線方向を特定する、請求項７に記載の視線検出プログラム。
　ユーザの頭部に装着される筐体と、前記筐体に設置され前記ユーザの視線を検出する視線検出装置とを含むヘッドマウントディスプレイであって、
　前記視線検出装置は、
　前記ユーザの眼に対し光を照射する複数の光源と、
　前記眼の画像を撮像する撮像装置と、
　プロセッサと
を備え、
　前記プロセッサは、
　前記複数の光源に基づいて前記眼の角膜上で観察される輝点の状態が第１の状態である場合には、
　（１−１）複数の前記輝点に基づいて前記角膜の中心位置を特定し、
　（１−２）前記撮像装置の画像に基づいて前記眼の瞳孔の位置を特定し、
　（１−３）前記角膜の中心位置及び前記瞳孔の位置に基づいて前記視線方向を特定し、
　前記複数の光源に基づいて前記眼の角膜上で観察される輝点の状態が第２の状態である場合には、
　（２−１）記憶部に記憶された前記眼球の半径及び前記眼球の中心位置のデータに従い、前記眼球の形状を特定し、
　（２−２）前記撮像装置の画像及び前記眼球の中心位置から前記視線方向を特定する
ことを特徴とするヘッドマウントディスプレイ。