WO2016103525A1

WO2016103525A1 - ヘッドマウントディスプレイ

Info

Publication number: WO2016103525A1
Application number: PCT/JP2014/084723
Authority: WO
Inventors: ロックランウィルソン; 漠居趙; 圭一瀬古
Original assignee: 株式会社Ｆｏｖｅ
Priority date: 2014-12-27
Filing date: 2014-12-27
Publication date: 2016-06-30
Also published as: JP5824697B1; JPWO2016103525A1; US20160370591A1

Abstract

　ユーザの頭部に装着して使用されるヘッドマウントディスプレイ１００において、光源は、非可視光を照射可能である。カメラ１１６は、光源から照射され、ユーザの眼３０２で反射された非可視光を撮像する。画像出力部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出部に出力する。筐体１５０は、光源、カメラ１１６、および画像出力部１１８を収容する。光源は可視光も照射可能であってもよく、光源から照射された可視光を用いて画像表示光を生成する画像表示素子１０８をさらに備えてもよい。カメラ１１６は、光源から照射され、画像表示素子を１０８経由してユーザの眼３０２で反射された非可視光を撮像してもよい。

Description

ヘッドマウントディスプレイ

　この発明は、ヘッドマウントディスプレイに関する。

　近赤外光などの非可視光をユーザの眼に照射し、その反射光を含むユーザの眼の画像を解析することでユーザの視線方向を検出する技術が知られている。検出したユーザの視線方向の情報は、例えばＰＣ（Personal Computer）やゲーム機等のモニタに反映させ、ポインティングデバイスとして用いることも現実のものとなってきている。

特開平２－２６４６３２号公報

　ヘッドマウントディスプレイは、装着したユーザに３次元的な映像を提示するための映像表示装置である。ヘッドマウントディスプレイは、一般に、ユーザの視界を覆うようにして装着して使用される。このため、ヘッドマウントディスプレイを装着したユーザは外界の映像が遮蔽される。ヘッドマウントディスプレイを映画やゲーム等の映像の表示装置として用いると、ユーザはコントローラ等の入力装置を視認することが難しい。

　そこで、ヘッドマウントディスプレイを装着したユーザの視線方向を検出してポインティングデバイスの代替として利用できれば便利である。しかしながら、ヘッドマウントディスプレイを装着したユーザの眼はヘッドマウントディスプレイの筐体に遮られるため、ヘッドマウントディスプレイの外部からユーザの眼に非可視光を照射することは困難である。

　本発明はこのような課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを装着したユーザの視線方向を検出する技術を提供することにある。

　上記課題を解決するために、本発明のある態様は、ユーザの頭部に装着して使用されるヘッドマウントディスプレイである。このヘッドマウントディスプレイは、非可視光を照射可能な光源と、光源から照射され、ユーザの眼で反射された非可視光を撮像するカメラと、カメラが撮像した画像を、ユーザの視線方向を検出する視線検出部に出力する画像出力部と、光源、カメラ、および画像出力部を収容する筐体とを備える。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、ヘッドマウントディスプレイを装着したユーザの視線方向を検出する技術を提供することができる。

実施の形態に係る映像システムの概観を模式的に示す図である。実施の形態に係る筐体が収容する画像表示系の光学構成を模式的に示す図である。図３（ａ）－（ｂ）は、ユーザの眼に入射される非可視光の輝点を基準位置とする視線検出技術を説明する図である。実施の形態に係る画像制御部が実行するマイクロミラーの制御パターンを模式的に示すタイミングチャートである。図５（ａ）－（ｂ）は、ユーザの眼に出現する輝点の一例を示す図である。第１の変形例に係る筐体が収容する画像表示系の光学構成を模式的に示す図である。第２の変形例に係る筐体が収容する画像表示系の光学構成を模式的に示す図である。第３の変形例に係る筐体が収容する画像表示系の光学構成を模式的に示す図である。

　図１は、実施の形態に係る映像システム１の概観を模式的に示す図である。実施の形態に係る映像システム１は、ヘッドマウントディスプレイ１００と映像再生装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。

　映像再生装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する。限定はしないが、一例として、映像再生装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。映像再生装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、映像再生装置２００はヘッドマウントディスプレイ１００と無線で接続している。映像再生装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と映像再生装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。

　なお、図１は、ヘッドマウントディスプレイ１００と映像再生装置２００とが異なる装置である場合の例を示している．しかしながら、映像再生装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。

　ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、後述する光源や画像表示素子など、ユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ－ＦｉモジュールやＢｌｕｅｔｏｏｔｈモジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。

　ヘッドフォン１７０は、映像再生装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。

　図２は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図である。画像表示系１３０は、白色光源１０２、フィルタ群１０４、フィルタ切替部１０６、画像表示素子１０８、画像制御部１１０、ハーフミラー１１２、凸レンズ１１４、カメラ１１６、および画像出力部１１８を備える。なお、図２において、白色光源１０２、フィルタ群１０４、およびフィルタ切替部１０６が、画像表示系１３０の光源を構成する。

　白色光源１０２は、可視光の波長帯域と、非可視光の波長帯域とを含む光を照射可能な光源である。非可視光は、ユーザ３００の肉眼では観測ができない波長帯域の光であり、一例としては近赤外（８００ｎｍ～２５００ｎｍ程度）の波長帯域の光である。

　フィルタ群１０４は、赤フィルタＲ、緑フィルタＧ、青フィルタＢ、および近赤外フィルタＩＲを含む。赤フィルタＲは、白色光源１０２が照射する光のうち、赤色光を透過させる。緑フィルタＧは、白色光源が照射する光のうち、緑色光を透過させる。青色フィルタＢは、白色光源が照射する光のうち、青色光を透過させる。近赤外フィルタＩＲは、白色光源が照射する光のうち、近赤外光を透過させる。

　フィルタ切替部１０６は、フィルタ群１０４に含まれるフィルタのうち、白色光源１０２が照射する光を透過させるフィルタを切り替える。図２に示す例では、フィルタ群１０４は既知のカラーホイールを用いて実現されており、フィルタ切替部１０６は、カラーホイールを回転駆動させるモータによって実現される。

　より具体的には、カラーホイールは４つの領域に分割されており、各領域に上述した赤フィルタＲ、緑フィルタＧ、青フィルタＢ、および近赤外フィルタＩＲが配置されている。白色光源１０２は、カラーホイールが停止しているとき、特定のひとつのフィルタのみを照射光が通過するように配置されている。このため、フィルタ切替部１０６であるモータはカラーホイールを回転させると、白色光源１０２が照射した光が透過するフィルタは循環的に切り替えられる。このため、カラーホイールを透過する白色光源１０２の光は、赤色光、緑色光、青色光、および近赤外光が時分割で切り替わることになる。結果として、画像表示系１３０の光源は、可視光である赤色光、緑色光、および青色光と、非可視光である近赤外光とを、時分割で照射することになる。

　フィルタ群１０４を透過した光は、画像表示素子１０８に入射される。画像表示素子１０８は、光源から照射された可視光を用いて画像表示光１２０を生成する。図２に示す例では、画像表示素子１０８は、既知のＤＭＤ（Digital Mirror Device）を用いて実現される。ＤＭＤは、複数のマイクロミラーを備える光学素子であり、１つのマイクロミラーが画像の１画素に対応する。

　画像制御部１１０は、映像再生装置２００から、再生すべき映像の信号を受信する。画像制御部１１０は、受信した映像の信号をもとに、光源から照射される光の切替タイミングに同期してＤＭＤが備える複数のマイクロミラーそれぞれを独立に制御する。

　画像制御部１１０は、各マイクロミラーのオン状態およびオフ状態を高速に制御することができる。マイクロミラーがオン状態のとき、そのマイクロミラーで反射された光は、ユーザ３００の眼３０２に入射される。反対に、マイクロミラーがオフ状態のときは、そのマイクロミラーで反射された光はユーザ３００の眼３０２には向かわない。画像制御部１１０は、各マイクロミラーで反射された光が画像を形成するようにマイクロミラーを制御することにより、ＤＭＤで反射された光によって画像表示光１２０を形成する。なお、各画素の輝度値は、対応するマイクロミラーの単位時間あたりにおけるオン状態の期間を制御することで制御できる。

　ハーフミラー１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の眼３０２との間に配置される。ハーフミラー１１２は、入射する近赤外光の一部のみを透過し、残りの光は反射する。なお、ハーフミラー１１２は、入射する可視光は反射することなく透過させる。画像表示素子１０８が生成する画像表示光１２０は、ハーフミラー１１２を透過してユーザ３００の眼３０２に向かう。

　凸レンズ１１４は、ハーフミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ハーフミラー１１２とユーザ３００の眼３０２との間に配置される。凸レンズ１１４はハーフミラー１１２を透過する画像表示光１２０を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図２では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよい。

　図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。

　上述したように、画像表示系１３０の光源は、可視光である赤色光、緑色光、および青色光と、非可視光である近赤外光とを、時分割で照射する。このため、光源から照射された近赤外光がＤＭＤのマイクロミラーで反射されると、その一部はハーフミラー１１２を透過した後に、ユーザ３００の眼３０２に入射される。ユーザ３００の眼３０２に入射した近赤外光の一部はユーザ３００の眼３０２で角膜反射され、再びハーフミラー１１２に到達する。

　ユーザ３００の眼で反射されハーフミラー１１２に到達した近赤外光の一部は、ハーフミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ハーフミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、画像表示系１３０の光源から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。

　画像出力部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出部（不図示）に出力する。具体的には、画像出力部１１８は、カメラ１１６が撮像した画像を映像再生装置２００に送信する。視線検出部は、映像再生装置２００のＣＰＵ（Central Processing Unit）が実行する視線検出プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線検出部を実現するプログラムを実行してもよい。

　詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の眼３０２で反射された近赤外光が輝点と、近赤外の波長帯域で観察されるユーザ３００の眼３０２の画像とが撮像されている。限定はしないが、一例として、実施の形態に係る視線検出部は、カメラ１１６によって撮像された画像における近赤外光の輝点を基準位置とし、当該位置に対するユーザ３００の瞳孔の相対位置から、ユーザ３００の視線方向を検出する既知のアルゴリズムを用いて実現できる。以下、実施の形態に係る画像表示系１３０における近赤外光の照射についてより詳細に説明する。

　図３（ａ）－（ｂ）は、ユーザ３００の眼３０２における非可視光の輝点を基準位置とする視線検出技術を説明する図である。より具体的に、図３（ａ）は、ユーザ３００の視線が正面を向いている状態においてカメラ１１６が撮像した画像を示す図であり、図３（ｂ）は、ユーザ３００の視線が横を向いている状態においてカメラ１１６が撮像した画像を示す図である。

　図３（ａ）－（ｂ）に示す例では、ユーザ３００の眼３０２に、第１輝点１２４ａ、第２輝点１２４ｂ、第３輝点１２４ｃ、および第４輝点１２４ｄが出現している。第１輝点１２４ａ、第２輝点１２４ｂ、第３輝点１２４ｃ、および第４輝点１２４ｄは、それぞれ光源から照射され、ユーザ３００の眼３０２で角膜反射された近赤外光に起因する輝点である。以下、第１輝点１２４ａ、第２輝点１２４ｂ、第３輝点１２４ｃ、および第４輝点１２４ｄを特に区別しない場合には、単に「輝点１２４」と総称する。

　図３（ａ）に示すように、第１輝点１２４ａ、第２輝点１２４ｂ、第３輝点１２４ｃ、および第４輝点１２４ｄは、それぞれユーザ３００が正面を向いている状態で、眼３０２の虹彩の境界において角膜反射されている。輝点１２４は、筐体１５０がユーザ３００の頭部に固定され、ユーザ３００の眼３０２と画像表示素子１０８との相対位置が変わらない限り、同じ位置に照射される。このため、輝点１２４はユーザ３００の眼３０２における固定点ないしランドマークと見なすことができる。図３に（ａ）に示すように、ユーザ３００が正面を向いている場合、ユーザ３００の瞳孔中心３０４は、第１輝点１２４ａ、第２輝点１２４ｂ、第３輝点１２４ｃ、および第４輝点１２４ｄの中心に一致する。

　図３（ｂ）に示すように、ユーザ３００が視線方向を横方向に移動させると、ユーザ３００の瞳孔中心３０４も連動して移動する。一方、ユーザ３００の眼３０２における輝点１２４の位置は変化しない。このため、視線検出部はカメラ１１６から取得した画像を解析することで、輝点１２４に対する瞳孔中心３０４の位置を取得することができる。これにより、視線検出部はユーザ３００の視線方向を検出することができる。なお、カメラ１１６から取得した画像における輝点１２４および瞳孔中心３０４の検出は、エッジ抽出やハフ変換等、既知の画像処理技術を用いることで実現できる。

　図３（ａ）－（ｂ）に示す例では、ユーザ３００の眼３０２上に、近赤外光の角膜反射に起因する４つの輝点１２４が出現している。しかしながら、輝点１２４の数は４つに限られず、少なくとも１点あればよい。なお、輝点１２４の数が多いほど、ユーザ３００の視線方向検出のロバスト性が向上する。画像表示素子１０８のある位置からユーザ３００の眼３０２に入射される近赤外光が、ユーザ３００のまぶたやまつげ等の何らかの遮蔽物に遮られて入射できない場合であっても、別の位置から入射される近赤外光は、ユーザ３００の眼３０２に到達する可能性があるからである。

　ユーザ３００の眼３０２上に近赤外光の角膜反射に起因する輝点１２４を出現させるために、画像制御部１１０は、光源が近赤外光を照射しているときに、少なくとも１画素分の近赤外光がユーザ３００の眼３０２内に入射するように、ＤＭＤの複数のマイクロミラーを制御する。

　なお、図３（ａ）－（ｂ）は、輝点１２４が円形状である場合の例を示している。図３（ｂ）において、第１輝点１２４ａ、第３輝点１２４ｃ、および第４輝点１２４ｄは虹彩から外れている。虹彩から外れた場所に生じる輝点１２４の形状は、実際には歪んだ形となる場合がある。しかしながら、不必要に詳細に記載することによってかえって技術内容が不明りょうとなることを防ぐために、図３（ｂ）では、輝点１２４の形状を円形状として図示している。

　図４は、実施の形態に係る画像制御部１１０が実行するマイクロミラーの制御パターンを模式的に示すタイミングチャートである。上述したように、フィルタ切替部１０６が赤フィルタＲ、緑フィルタＧ、青フィルタＢ、および近赤外フィルタＩＲを循環的に切り替える。このため、図４に示すように、画像表示素子１０８であるＤＭＤに入射される光も、赤色光、緑色光、青色光、および近赤外光が循環的に切り替わる。

　図４に示す例では、時刻Ｔ１から時刻Ｔ２に至るまでは、画像表示素子１０８に赤色光が入射され、時刻Ｔ２から時刻Ｔ３に至るまでは、緑色光が入射されることを示している．同様に、時刻Ｔ３から時刻Ｔ４に至るまでは、画像表示素子１０８に青色光が入射され、時刻Ｔ４から時刻Ｔ５に至るまでは、近赤外光が入射されることを示している。以下同様であり、時刻Ｔ１から時刻Ｔ５に至るまでの期間Ｄを１周期として、画像表示素子１０８には、赤色光、緑色光、青色光、および近赤外光が時間的に切り替わりながら順番に入射される。

　図４に示すように、画像制御部１１０は、画像表示素子１０８に近赤外光が入射されるタイミングに同期して、視線検出の際の基準点となる輝点１２４に対応するマイクロミラーをオン状態とする。図４に示す例では、画像表示素子１０８に近赤外光が入射される時刻Ｔ４から時刻Ｔ５の間、輝点１２４に対応するマイクロミラーをオン状態とする。これは例えば画像制御部１１０がフィルタ切替部１０６の駆動信号を取得することで実現できる。

　ここで「輝点１２４に対応するマイクロミラー」とは、例えば図３に示した第１輝点１２４ａ、第２輝点１２４ｂ、第３輝点１２４ｃ、および第４輝点１２４ｄに対応するマイクロミラーである。ＤＭＤが備える複数のマイクロミラーのうち、いずれのマイクロミラーが輝点１２４に対応するマイクロミラーに設定するかは、例えばユーザ３００がヘッドマウントディスプレイ１００を使用する前に、輝点１２４を定めるためのキャリブレーションを実行することで決定すればよい。

　なお、輝点１２４に対応するマイクロミラーは、画像表示光の形成にも用いられる。したがって、画像表示素子１０８に可視光が入射される時刻Ｔ１から時刻Ｔ４までの間は、画像制御部１１０は、映像の信号をもとに、輝点１２４に対応するマイクロミラーのオン／オフを制御する。これにより、画像制御部１１０は、画像表示素子１０８に可視光が入射されるときはユーザ３００に映像の信号に基づく画像表示光を生成し、近赤外光が入射されるときはユーザ３００の眼３０２上に輝点１２４を形成することができる。

　また、画像表示素子１０８は、ユーザ３００がヘッドマウントディスプレイ１００を装着した場合、ユーザ３００の眼３０２の正対する位置に配置される。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の眼３０２の正面から、輝点１２４を形成するための近赤外光を照射することができる。これにより、例えばユーザ３００のまつげやまぶた等によってユーザ３００の眼３０２に入射される近赤外光が遮蔽されることを抑制することができる。結果として、視線検出部が実行するユーザ３００の視線検出のロバスト性を向上することができる。

　ところで、図３を参照して上述したように、画像制御部１１０は、ユーザ３００の眼３０２上に近赤外光の角膜反射に起因する４つの輝点１２４が出現するようにＤＭＤの各マイクロミラーを制御する。このため、カメラ１１６が撮像した画像上において、複数の輝点１２４をそれぞれ識別できると、視線検出部による視線検出の際に便利である。いずれの輝点１２４がユーザ３００の眼３０２上に出現しているかの判別が容易となるからである。

　そこで画像制御部１１０は、複数の輝点１２４にそれぞれ対応するマイクロミラーを循環的に順次オンとするように制御してもよい。画像制御部１１０はまた、ユーザ３００の眼３０２上に出現する複数の輝点１２４の形状が異なるように、複数の輝点１２４にそれぞれ対応するマイクロミラーを制御してもよい。

　図５（ａ）－（ｂ）は、ユーザ３００の眼３０２に出現する輝点１２４の一例を示す図である。より具体的に、図５（ａ）は複数の輝点１２４が、時分割で順次ユーザ３００の眼３０２に出現する場合の例を示す図である。また図５（ｂ）は、複数の輝点１２４それぞれの形状が異なる場合の例を示す図である．図５（ａ）に示す例は、複数の輝点１２４をそれぞれ一意に特定するための識別子を、いわば時間的なバリエーションを用いて設定することに相当する。また図５（ｂ）は、複数の輝点１２４をそれぞれ一意に特定するための識別子を、いわば空間的なバリエーションを用いて設定することに相当する。

　図５（ａ）に示す例では、画像制御部１１０は、例えば第１輝点１２４ａに対応するマイクロミラーをオン状態としているときは、画像表示素子１０８に近赤外光が入射されているタイミングであっても、第２輝点１２４ｂ、第３輝点１２４ｃ、および第４輝点１２４ｄに対応するマイクロミラーをオフ状態とする。図３に示すように、画像表示素子１０８に近赤外光は周期的に入射され、その入射開始時刻は上述した周期Ｄ毎に、Ｔ４、Ｔ８、Ｔ１２、Ｔ１６と続く。

　画像制御部１１０は、時刻Ｔ４においては、第１輝点１２４ａがユーザ３００の眼３０２上に出現するように、第１輝点１２４ａに対応するマイクロミラーを制御する。また時刻Ｔ８においては、第２輝点１２４ｂがユーザ３００の眼３０２上に出現するように、第２輝点１２４ｂに対応するマイクロミラーを制御する。以下同様であり、画像制御部１１０は、時刻Ｔ１２および時刻Ｔ１６においては、それぞれ第３輝点１２４ｃおよび第４輝点１２４ｄがユーザ３００の眼３０２上に出現するように、マイクロミラーを制御する。これにより、視線検出部は、複数の輝点１２４それぞれの出現タイミングを用いて一意に特定することが可能となる。

　図５（ｂ）に示す例では、図５（ａ）に示す例とは異なり、第１輝点１２４ａ、第２輝点１２４ｂ、第３輝点１２４ｃ、および第４輝点１２４ｄは、ユーザ３００の眼３０２上に同時に出現する。しかしながら、第１輝点１２４ａ、第２輝点１２４ｂ、第３輝点１２４ｃ、および第４輝点１２４ｄの形状はそれぞれ異なる。図５（ｂ）に示す例では、第１輝点１２４ａは円形状であり、第２輝点１２４ｂはＸ形状である。また第３輝点１２４ｃは三角形状であり、第４輝点１２４ｄは四角形状である。画像制御部１１０は、ユーザ３００の眼３０２上にこれらの形状が出現するように、マイクロミラーを制御する。この場合、輝点１２４の形状を形成するために、各輝点１２４に対応するマイクロミラーは一つではなく複数となる。

　輝点１２４の各形状は一例であり、互いに異なる形状であればどのような形状であってもよい。これにより、視線検出部は、複数の輝点１２４それぞれの形状を用いて一意に特定することが可能となる。出現のタイミングを用いて輝点１２４を特定する場合と比較して、輝点１２４の特定の時間分解能を高めうる点で有利である。

　上述したように、実施の形態に係るヘッドマウントディスプレイ１００においては、白色光源１０２が照射する光をフィルタ群１０４が備える各フィルタを透過させることで、可視光と非可視光とに周期的に時分割する。このため、この光の分割周期の１周期内において、画像表示系１３０の光源から可視光が透過される時間は、ユーザ３００に提示される映像の明るさに影響する。すなわち、光の分割周期の１周期内において画像表示系１３０の光源から可視光が透過される時間が長いほど、ユーザ３００に提示される映像は明るくなる。

　反対に、分割周期の１周期内において画像表示系１３０の光源から可視光が透過される時間が短いほど、すなわち非可視光が透過させる時間が長いほど、カメラ１１６が撮像する画像における輝点１２４が明りょうとなる。図２に示す例においては、光の分割周期の１周期内において画像表示系１３０の光源から可視光が透過される時間は、フィルタ群１０４を実現するカラーホイールにおいて可視光を透過させるフィルタの面積に依存する。具体的には、フィルタ群１０４が備えるフィルタの内、赤フィルタＲ、緑フィルタＧ、および青フィルタＢが、可視光を透過させるフィルタである。また、フィルタ群１０４が備えるフィルタの内、近赤外フィルタＩＲが、非可視光を透過させるフィルタとなる。

　ここで、フィルタ群１０４は、近赤外フィルタＩＲの面積が、それ以外のフィルタの面積と異なるようにしてもよい。例えば、近赤外フィルタＩＲの面積を、それ以外のフィルタの面積よりも狭くすることで、ユーザ３００に対して明るい映像を提示することができる。反対に、近赤外フィルタＩＲの面積を、それ以外のフィルタの面積よりも広くすることで輝点１２４を明りょうにすることが可能となり、結果としてユーザ３００の視線検出のロバスト性を向上することができる。

　以上の構成による映像システム１の動作は以下のとおりである。まず、ユーザ３００はヘッドマウントディスプレイ１００の筐体１５０がユーザ３００の眼３０２の正面に位置するように、装着具１６０を用いてヘッドマウントディスプレイ１００を装着する。続いてユーザ３００は、眼３０２の虹彩や、虹彩の境界付近に輝点１２４が出現するように、輝点１２４を定めるためのキャリブレーションを実行する。

　画像制御部１１０は、画像表示系１３０の光源が近赤外光を照射するタイミングに同期して、輝点１２４に対応するマイクロミラーをオンとする。カメラ１１６は、ユーザ３００の眼３０２上で角膜反射した近赤外光を含むユーザ３００の眼３０２の近赤外画像を取得する。カメラ１１６が取得した画像において、ユーザ３００の眼３０２上で角膜反射した近赤外光に由来する輝点が、上述の輝点１２４となる。画像出力部１１８は、カメラ１１６が取得した画像を映像再生装置２００に出力する。映像再生装置２００における視線検出部は、カメラ１１６が取得した画像を解析することで、ユーザ３００の視線方向を検出する。

　視線検出部が検出したユーザ３００の視線方向は、例えば映像再生装置２００の諸機能を統括的に制御するオペレーティングシステムに送られ、ヘッドマウントディスプレイ１００を操作するための入力インタフェース等に利用される。

　以上より、実施の形態に係るヘッドマウントディスプレイ１００によれば、ヘッドマウントディスプレイ１００を装着したユーザ３００の視線方向を検出することできる。

　特に、実施の形態に係るヘッドマウントディスプレイ１００は、ヘッドマウントディスプレイ１００を装着したユーザ３００の眼３０２の正面から、近赤外光を入射することができる。これにより、ユーザ３００の眼３０２に安定的に近赤外光を入射することが可能となる。ゆえに、ユーザ３００の眼３０２で角膜反射された近赤外光に由来する輝点１２４を基準点とするユーザ３００の視線検出の安定性を向上することができる。

　また、実施の形態に係るヘッドマウントディスプレイ１００は、ヘッドマウントディスプレイ１００の筐体１５０の内側に、近赤外光等の非可視光を照射するための光源が内蔵される。このため、ヘッドマウントディスプレイ１００の筐体１５０がユーザ３００の眼３０２を覆っていても、ユーザ３００の眼３０２に非可視光を照射することができる。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

（第１の変形例）
　上記の説明では、画像表示系１３０の光源が白色光源１０２である場合について説明した。これに代えて、画像表示系１３０の光源は、波長が異なる複数の光源の集合体として形成してもよい。

　図６は、第１の変形例に係る筐体１５０が収容する画像表示系１３１の光学構成を模式的に示す図である。なお、以下本明細書において、実施の形態に係る画像表示系１３０の説明と重複する説明については、適宜省略または簡略化して記載する。

　第１の変形例に係る画像表示系１３１は、実施の形態に係る画像表示系１３０と同様に、画像表示素子１０８、画像制御部１１０、ハーフミラー１１２、凸レンズ１１４、カメラ１１６、および画像出力部１１８を備える。一方、第１の変形例に係る画像表示系１３１は、実施の形態に係る画像表示系１３０とは異なり、白色光源１０２、フィルタ群１０４、およびフィルタ切替部１０６を備えていない。その代わり、第１の変形例に係る画像表示系１３１は、光源群１０３を備える。

　光源群１０３は、波長が異なる複数の光源の集合体である。より具体的に、光源群１０３は、赤色光源１０３ａ、緑色光源１０３ｂ、青色光源１０３ｃ、および近赤外光源１０３ｄを備える。赤色光源１０３ａ、緑色光源１０３ｂ、青色光源１０３ｃ、および近赤外光源１０３ｄは、例えばＬＥＤ光源を用いて実現できる。すなわち、赤色光源１０３ａは、赤色光を照射する赤色ＬＥＤ、緑色光源１０３ｂは緑色光を照射する緑色ＬＥＤ、青色光源１０３ｃは青色光を照射する青色ＬＥＤ、および近赤外光源１０３ｄは近赤外光を照射する赤外ＬＥＤを用いて実現できる。

　このように、光源群１０３は各波長の光を独立して照射できるため、フィルタ群１０４やフィルタ切替部１０６を要しない。光源群１０３は、図４に示すようなタイミングチャートにしたがって、各ＬＥＤを発光させればよい。なお、実施の形態に係る映像システム１の場合と同様に、光源分１０３は、光の分割周期の１周期内において可視光が照射する時間と非可視光を照射する時間とを異なるようにしてもよい。

　第１の変形例に係る画像表示系１３１を備えるヘッドマウントディスプレイ１００は、上述した実施の形態に係る画像表示系１３０を備えるヘッドマウントディスプレイ１００と同様の効果を有する。それに加えて、第１の変形例に係る画像表示系１３１は、実施の形態に係る画像表示系１３０と比較してモータ等で実現されるフィルタ切替部１０５を有しないため、故障の要因を減らし、またヘッドマウントディスプレイ１００の静音化、低振動化、および軽量化を実現することができる。

（第２の変形例）
　上記の説明では、ユーザ３００の眼３０２で反射した非可視光を撮影するためにハーフミラー１１２を用いる場合について説明した。しかしながら、ハーフミラー１１２は必須の構成ではなく、省略してもよい。

　図７は、第２の変形例に係る筐体１５０が収容する画像表示系１３２の光学構成を模式的に示す図である。なお、以下本明細書において、上述した画像表示系１３０または画像表示系１３１の説明と重複する説明については、適宜省略または簡略化して記載する。

　第２の変形例に係る画像表示系１３２は、その筐体１５０に、光源群１０３、画像表示素子１０８、画像制御部１１０、凸レンズ１１４、カメラ１１６、および画像出力部１１８が備えられている。

　光源群１０３が、赤色光源１０３ａ、緑色光源１０３ｂ、青色光源１０３ｃ、および近赤外光源１０３ｄを照射するタイミングは、図４に示すタイミングチャートと同様である。

　実施の形態に係る画像表示系１３０、および第１の変形例に係る画像表示系１３１では、カメラ１１６は、ユーザ３００の眼３０２に出現する輝点１２４をハーフミラー１１２で反射して撮影する。これに対し、第２の変形例に係る画像表示系１３２においては、カメラ１１６はユーザ３００の眼３０２を向いており、ユーザ３００の眼３０２で反射された近赤外光を直接撮影する。

　第２の変形例に係る画像表示系１３２を備えるヘッドマウントディスプレイ１００は、上述した実施の形態に係る画像表示系１３０を備えるヘッドマウントディスプレイ１００と同様の効果を有する。それに加えて、カメラ１１６は、ハーフミラー１１２を用いることなく近赤外光に起因する輝点１２４を撮影することができる。筐体１５０にハーフミラー１１２を収容する必要がないので、ヘッドマウントディスプレイ１００を軽量化、小型化することができる。また、ヘッドマウントディスプレイ１００のコストダウンにも資する。さらに、画像表示系を構成する光学回路の部品点数が減るため、光軸のずれなどの不具合を低減することもできる。

（第３の変形例）
　図８は、第３の変形例に係る筐体１５０が収容する画像表示系１３３の光学構成を模式的に示す図である。なお、以下本明細書において、上述した画像表示系１３０、画像表示系１３１、または画像表示系１３３の説明と重複する説明については、適宜省略または簡略化して記載する。

　第３の変形例に係る画像表示系１３３は、光源群１０３、近赤外光源１０３ｄ、画像表示素子１０８、画像制御部１１０、凸レンズ１１４、カメラ１１６、および画像出力部１１８を備える。第３の変形例に係る画像表示系１３３が備える光源群１０３は、赤色光源１０３ａ、緑色光源１０３ｂ、および青色光源１０３ｃを備えるが、近赤外光源１０３ｄは備えていない。図８に示すように、第３の変形例に係る画像表示系１３３においては、近赤外光源１０３ｄは凸レンズ１１４の側面近傍に配置されている。

　より具体的に、近赤外光源１０３ｄは、ユーザ３００の眼３０２に向かう向きに近赤外光を照射できるように配置されている。図８には、図中凸レンズ１１４の上下に二つ近赤外光源１０３ｄが配置されている場合の例を示している。しかしながら、近赤外光源１０３ｄの数は２つに限られず、少なくとも１つ以上であればよい。近赤外光源１０３ｄが複数ある場合、図３（ａ）に示すように、それぞれユーザ３００の眼３０２の異なる位置に輝点１２４を生じさせるように、それぞれ異なる位置に向けて照射される。

　光源群１０３が備える赤色光源１０３ａ、緑色光源１０３ｂ、および青色光源１０３ｃの照射のタイミングと、近赤外光源１０３ｄの照射のタイミングとは、図４に示すタイミングチャートと同様である。図４に示すタイミングチャートにおいて、例えば時刻Ｔ４から時刻Ｔ５に至るまでの間、複数の近赤外光源１０３ｄが同時に発光する。第３の変形例に係る画像表示系１３３では、図４に示すタイミングチャートにおける「基準位置となる輝点に対応するマイクロミラー」のタイミングで、ユーザ３００の眼３０２から反射した近赤外光をカメラ１１６へ照射するようマイクロミラーを制御する。

　より詳細には、第３の変形例に係る画像表示系１３３では、図８に示すように、近赤外光源１０３ｄから照射されてユーザ３００の眼３０２で反射された近赤外光の光路を、カメラ１１６に向かう方向に変えるために、ＤＭＤのマイクロミラーを用いる。これを実現するために、画像制御部１１０は、近赤外光源１０３ｄが近赤外光を照射しているときに、ユーザ３００の眼３０２で反射された近赤外光の光路に向かうように、ＤＭＤのマイクロミラーを制御する。これにより、カメラ１１６は、ハーフミラー１１２を用いることなく近赤外光に起因する輝点１２４を撮影することができる。筐体１５０にハーフミラー１１２を収容する必要がないので、ヘッドマウントディスプレイ１００を軽量化、小型化することができる。また、ヘッドマウントディスプレイ１００のコストダウンにも資する。さらに、画像表示系を構成する光学回路の部品点数が減るため、光軸のずれなどの不具合を低減することもできる。

（第４の変形例）
　上述した実施の形態に係る画像表示系１３０、および第１の変形例に係る画像表示系１３１においては、画像表示素子１０８がＤＭＤで実現される場合について説明した。画像表示素子１０８はＤＭＤには限られず、他の反射型デバイスを用いても実現できる。例えば、画像表示素子１０８は、ＤＭＤに代えてＬＣＯＳ（Liquid crystal on silicon）（商標）で実現されてもよい。

（第５の変形例）
　図５（ａ）－（ｂ）を参照して上述した説明では、複数の輝点１２４を識別するために、各輝点１２４の時間的なバリエーション、または空間的なバリエーションを設定する場合について説明した。この他にも、時間的なバリエーションの他の例として、各輝点１２４の識別を周波数的なバリエーションを用いて設定してもよい．例えば、近赤外光源１０３ｄは、図５に示す例における第１輝点１２４ａ、第２輝点１２４ｂ、第３輝点１２４ｃ、および第４輝点１２４ｄが点滅するように、近赤外光の点灯の周波数を制御する。この点滅の周波数を、各輝点１２４によって変化させる。視線検出部は、カメラ１１６が動画撮影した映像に映る輝点の周波数を解析することで、各輝点１２４を識別することができる。あるいは、視線検出部は、近赤外光源１０３ｄのＰＷＭ制御における点灯のオン/オフ比を取得して、各輝点を識別してもよい。

　以上、実施の形態およびいくつかの変形例をもとに、映像システム１を説明した。実施の形態、または各変形例の任意の構成を組み合わせることでできる新たな変形例も、本発明の変形例に含まれる。

　例えば、第３の変形例に係る画像表示系１３３における近赤外光源１０３ｄの位置を、第２の変形例に係る画像表示系１３２における近赤外光源１０３ｄの位置としてもよい。具体的には、第３の変形例に係る画像表示系１３３において凸レンズに反射領域１１５を設け、反射領域１１５に向かって近赤外光が入射されるように近赤外光源１０３ｄを配置してもよい。

　１　映像システム、　１００　ヘッドマウントディスプレイ、　１０２　白色光源、　１０３　光源群、　１０３ａ　赤色光源、　１０３ｂ　緑色光源、　１０３ｃ　青色光源、　１０３ｄ　近赤外光源、　１０４　フィルタ群、　１０５，１０６　フィルタ切替部、　１０８　画像表示素子、　１１０　画像制御部、　１１２　ハーフミラー、　１１４　凸レンズ、　１１５　反射領域、　１１６　カメラ、　１１８　画像出力部、　１２０　画像表示光、　１２４　輝点、　１３０，１３１，１３２，１３３　画像表示系、　１５０　筐体、　１６０　装着具、　１７０　ヘッドフォン、　２００　映像再生装置、　３００　ユーザ、　３０２　眼、　３０４　瞳孔中心。

　この発明は、ヘッドマウントディスプレイに利用可能である。

Claims

　ユーザの頭部に装着して使用されるヘッドマウントディスプレイであって、
　非可視光を照射可能な光源と、
　前記光源から照射され、前記ユーザの眼で反射された非可視光を撮像するカメラと、
　前記カメラが撮像した画像を、前記ユーザの視線方向を検出する視線検出部に出力する画像出力部と、
　前記光源、前記カメラ、および前記画像出力部を収容する筐体とを備えることを特徴とするヘッドマウントディスプレイ。
　前記光源は可視光も照射可能であり、
　前記ヘッドマウントディスプレイはさらに、
　前記光源から照射された可視光を用いて画像表示光を生成する画像表示素子を備え、
　前記カメラは、前記光源から照射され、前記画像表示素子を経由して前記ユーザの眼で反射された非可視光を撮像することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
　前記ユーザが前記ヘッドマウントディスプレイを装着したときに、前記画像表示素子と前記ユーザの眼との間に配置され、非可視光を反射させるハーフミラーをさらに備え、
　前記カメラは、前記ユーザの眼と前記ハーフミラーとに反射された非可視光を撮像することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
　前記光源は、可視光と非可視光とを、時分割で照射することを特徴とする請求項２または３に記載のヘッドマウントディスプレイ。
　前記画像表示素子は、１つのマイクロミラーが１画素に対応する複数のマイクロミラーを備えるＤＭＤ（Digital Mirror Device）であり、
　前記ヘッドマウントディスプレイは前記複数のマイクロミラーそれぞれを独立に制御する画像制御部をさらに備え、
　前記画像制御部は、前記光源が非可視光を照射しているときに前記ユーザの眼内に少なくとも１画素分の非可視光が入射するように、前記複数のマイクロミラーを制御することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
　前記光源は、
　近赤外光の波長領域の光を含む光を照射する白色光源と、
　前記白色光源が照射する光のうち、赤色光を透過させる赤フィルタ、青色光を透過させる青フィルタ、緑色光を透過させる緑フィルタ、および近赤外光を透過させる近赤外フィルタを備えるフィルタ群と、
　前記フィルタ群を切り替えるフィルタ切替部とを備えることを特徴とする請求項２から５のいずれかに記載のヘッドマウントディスプレイ。
　前記フィルタ群は、近赤外フィルタの面積が、それ以外のフィルタの面積と異なることを特徴とする請求項６に記載のヘッドマウントディスプレイ。