JPWO2017026371A1 - ヘッドマウントディスプレイ - Google Patents

Abstract

ヘッドマウントディスプレイを装着するユーザの眼を撮影しやすいヘッドマウントディスプレイを提供する。ユーザに装着されるＨＭＤ（１０）は、ユーザの眼前に配置される表示部（１４）と、表示部（１４）とユーザの眼（３０）との間に配置される光学系（１７）と、表示部（１４）と光学系（１７）との間に配置され、ユーザの眼の像（４０）が映る表示部（１４）を撮像する撮像部（１６）と、を含む。

Description

本発明は、ヘッドマウントディスプレイに関する。

特許文献１〜４に記載されているようなユーザの頭部に装着して映像等を視聴するヘッドマウントディスプレイ等において、カメラで撮影したユーザの眼の画像から、ユーザの眼の位置や視線方向を検出する技術が知られている。

特表２０１５−５０８１８２号公報 特開２００２−３０１０３０号公報 特開平９−１２７４５９号公報 特表２０１２−５１５５７９号公報

ヘッドマウントディスプレイを装着するユーザの眼を撮影する際は、表示部とユーザの眼との間に配置される光学系と、当該ユーザの眼と、の間の空間であってユーザが表示部を見るのに邪魔にならない位置（例えば光学系の上部や下部）にカメラが設置される。

ここで、頭部に装着するヘッドマウントディスプレイにおいては、ヘッドマウントディスプレイを装着するユーザの眼と光学系との距離は近くなる。また、ユーザの視野を広くするために光学系のサイズは大きい方が好ましいという実情もある。そうするとユーザの眼に対するカメラの撮影角度が浅くなり、まぶたやまつげ等が邪魔となってユーザの眼を撮影しにくいという問題が生じる。

本発明は、上記課題に鑑みて為されたものであり、その目的の一つは、ヘッドマウントディスプレイを装着するユーザの眼を撮影しやすいヘッドマウントディスプレイを提供することにある。

上記課題を解決するために、本発明に係るユーザに装着されるヘッドマウントディスプレイは、前記ユーザの眼前に配置される表示部と、前記表示部と前記ユーザの眼との間に配置される光学系と、前記表示部と前記光学系との間に配置され、前記ユーザの眼の像が映る前記表示部を撮像する撮像部と、を含む。

本発明の一態様では、上記ヘッドマウントディスプレイは、前記ユーザの眼に対して光を照射する光照射部、をさらに含み、前記撮像部は、前記光照射部により照射された光が前記ユーザの眼で反射することで前記表示部に映る前記ユーザの眼の像を撮像する、こととしてもよい。

この態様において、前記光照射部は、前記光学系と前記ユーザの眼との間に配置され、前記ユーザの眼に対して直接光を照射する、こととしてもよい。

また、前記光照射部は、前記表示部と前記光学系との間に配置され、前記表示部に照射した光が反射する反射光を前記ユーザの眼に対して照射する、こととしてもよい。

また、前記光照射部は赤外光を照射し、前記撮像部は前記赤外光を撮像可能な赤外線カメラである、こととしてもよい。

また本発明の一態様では、前記撮像部により撮像された前記ユーザの眼の像を含む画像に基づいて当該ユーザの視線方向を検出する視線検出部、をさらに含む、こととしてもよい。

本発明の一実施形態に係るヘッドマウントディスプレイのハードウェア構成の一例を示す図である。 本実施形態に係るＨＭＤの構成の第１の例を示す概略図である。 対比例に係るＨＭＤの構成を示す概略図である。 本実施形態に係るＨＭＤの構成の第２の例を示す概略図である。 本実施形態に係るＨＭＤの構成の第１の変形例を示す概略図である。 本実施形態に係るＨＭＤの構成の第２の変形例を示す概略図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１０のハードウェア構成の一例を示す図である。図２は、本実施形態に係るＨＭＤ１０の構成の第１の例を示す概略図である。

図１に示すように、本実施形態に係るＨＭＤ１０は、例えば、制御部１１、記憶部１２、入出力部１３、表示部１４、光照射部１５、及び撮像部１６を含んで構成される。

制御部１１は、ＣＰＵ等のプログラム制御デバイスを含み、記憶部１２に記憶されたプログラムに従って各種の情報処理を実行する。

記憶部１２は、ＲＡＭやＲＯＭ等のメモリ素子を含み、制御部１１が実行するプログラム等を記憶する。また、記憶部１２は制御部１１のワークメモリとしても機能する。

入出力部１３は、例えばＨＤＭＩ（登録商標）ポート、ＵＳＢポート等の入出力インタフェースである。

表示部１４は、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。本実施形態に係る表示部１４は、例えば入出力部１３を介して接続される家庭用ゲーム機、ＤＶＤプレイヤ、Ｂｌｕｅ−ｒａｙ（登録商標）プレイヤ等のエンタテインメント装置から受信する映像信号が表す映像などを表示させる。なお、本実施形態に係る表示部１４は３次元映像を表示可能であってもよい。

光照射部１５は、例えばＬＥＤ等の光学素子である。本実施形態に係る光照射部１５は、赤外光といった可視光帯域以外の波長帯域の光を照射することとするが、この例に限定されず可視光帯域の光を照射することとしてもよい。

撮像部１６は、例えば被写体を撮像した画像を生成するデジタルカメラ等のカメラである。本実施形態に係る撮像部１６は、赤外光を撮像可能な赤外線カメラとするが、この例に限定されず可視光を撮像可能なカメラであってもよい。また、図２に示すように本実施形態に係る撮像部１６は、表示部１４を撮像可能に配置されており、ユーザの眼３０で反射する赤外光により得られるユーザの眼の像４０が映る表示部１４を撮像する。なお、撮像部１６は、ユーザの眼３０で反射する可視光により得られるユーザの眼の像４０が映る表示部１４を撮像することとしてもよい。

また、制御部１１は、撮像部１６が撮像したユーザの眼の像４０を含む画像からユーザの眼の位置やユーザの視線方向を検出する。制御部１１は、公知の視線検出技術を用いてユーザの眼の位置や視線方向を検出することとする。例えば、制御部１１は、赤外光がユーザの角膜に反射することで得られる基点とユーザの瞳孔との位置関係に基づいてユーザの眼の位置やユーザの視線方向を検出する。また、制御部１１は、虹彩や瞳孔の位置に基づいてユーザの眼の位置やユーザの視線方向を検出してもよい。なお、撮像部１６がユーザの眼の位置やユーザの視線方向を検出する機能を備えていてもよい。

このように撮像部１６が撮像したユーザの眼の像４０を含む画像から検出されたユーザの眼の位置やユーザの視線方向は、ＨＭＤ１０のキャリブレーションやユーザの視線追跡機能に適用することができる。ＨＭＤ１０のキャリブレーションは、ＨＭＤ１０の起動時やアプリケーションの起動時などに、表示部１４における映像の表示位置を調整するものであり、例えば検出されたユーザの眼の位置を用いて表示部１４におけるユーザの眼の位置に映像が表示されるよう調整することができる。ＨＭＤ１０の視線追跡機能では、例えば検出されたユーザの視線方向を用いて視線追跡を行うことができる。

なお、撮像部１６が撮像したユーザの眼の像４０を含む画像が、入出力部１３を介して外部の情報処理装置へ送信されることとしてもよい。この場合、外部の情報処理装置が受信したユーザの眼の像４０を含む画像を用いてユーザの眼の位置やユーザの視線方向を検出することとしてもよい。

図２に示す本実施形態に係るＨＭＤ１０の構成の第１の例では、ユーザがＨＭＤ１０を装着している状態を示している。図２に示すように、本実施形態に係るＨＭＤ１０では、ユーザの眼前に表示部１４と、ミラー、レンズ、プリズム等の少なくとも１つの光学部材を含む光学系１７とが配置される。つまり光学系１７がユーザの眼前に配置され、表示部１４が光学系１７を介してユーザの眼３０の正面に配置される。また、表示部１４から光学系１７までの距離をＸ、光学系１７からユーザの眼３０までの距離をＹとすると、距離Ｙは距離Ｘより短くなる。特にユーザに装着されるＨＭＤ１０では距離Ｙが短くなる傾向にある。このような本実施形態に係るＨＭＤ１０では、表示部１４から出力される映像光が光学系１７を通過してユーザの眼３０に入射することで、ユーザは表示部１４に表示される映像を見ることができる。そして、光照射部１５は、光学系１７とユーザの眼３０との間に配置され、ユーザの眼３０に対して赤外光を照射する。撮像部１６は、赤外光を撮像可能なカメラであり、表示部１４と光学系１７との間であって表示部１４に向けて配置される。ここで、ユーザの眼３０から表示部１４に対し垂直に入射する直線と撮像部１６との垂直距離をＨ１、表示部１４と撮像部１６との垂直距離をＬ１とする。

図２に示す本実施形態に係るＨＭＤ１０では、光照射部１５がユーザの眼３０に対して照射した赤外光がユーザの眼３０で反射し、その反射光が光学系１７を通過して表示部１４に入射することで赤外光によるユーザの眼の像４０が表示部１４に映る。そして撮像部１６が、赤外光によるユーザの眼の像４０が映る表示部１４を撮像する。なお、赤外光によるユーザの眼の像４０は、赤外光がユーザの角膜で反射することで得られる基点と、ユーザの瞳孔と、を示すものであればよく、撮像部１６はこのようなユーザの眼の像４０が映る表示部１４の一部を撮像可能に配置されていてもよい。このようにして図２に示す本実施形態に係るＨＭＤ１０では、撮像部１６による表示部１４に映るユーザの眼の像４０に対する撮影角度はθ_１となる。なお、図２においては例として表示部１４に映るユーザの眼の像４０の中心に対する撮影角度θ_１を示している。

次に、図２に示す本実施形態に係るＨＭＤ１０との対比例について説明する。図３は、対比例に係るＨＭＤ１１０の構成を示す概略図である。図３に示す対比例に係るＨＭＤ１１０では、ユーザの眼前に表示部１１４と、ミラー、レンズ、プリズム等の少なくとも１つの光学部材を含む光学系１１７とが配置される。つまり光学系１１７がユーザの眼前に配置され、表示部１１４が光学系１１７を介してユーザの眼１３０の正面に配置される。そして、光照射部１１５は、光学系１１７とユーザの眼１３０との間に配置され、ユーザの眼１３０に対して赤外光を照射する。撮像部１１６は、赤外光を撮像可能なカメラであり、光学系１１７とユーザの眼１３０との間であってユーザの眼１３０に向けて配置される。なお、図３に示す対比例に係るＨＭＤ１１０の表示部１１４、光照射部１１５、撮像部１１６、及び光学系１１７はそれぞれ、図２に示した本実施形態に係るＨＭＤ１０の表示部１４、光照射部１５、撮像部１６、及び光学系１７と同一のものとする。したがって表示部１１４から光学系１１７までの距離Ｘ、及び光学系１１７からユーザの眼１３０までの距離Ｙについても、図２に示した本実施形態に係るＨＭＤ１０と同一とする。

図３に示す対比例に係るＨＭＤ１１０では、光照射部１１５がユーザの眼１３０に対して照射した赤外光がユーザの眼１３０で反射し、その反射光が撮像部１１６に入射する。このようにして対比例に係るＨＭＤ１１０の撮像部１１６は、光照射部１１５が照射した赤外光がユーザの角膜で反射することで得られる基点と、ユーザの瞳孔と、を撮像することができる。そして図３に示す対比例に係るＨＭＤ１１０では、撮像部１１６によるユーザの眼１３０に対する撮影角度はθ_２となる。なお、図３においては例としてユーザの眼１３０の中心に対する撮影角度θ_２を示している。

ここで、図２に示す本実施形態に係るＨＭＤ１０と、図３に示す対比例に係るＨＭＤ１１０とを比較する。

まず本実施形態に係るＨＭＤ１０において撮像部１６は、表示部１４に映るユーザの眼の像４０を撮像しやすく、かつユーザによる表示部１４に表示される映像の視聴の妨げにならない位置に配置されることが好ましい。例えば、図２に示すように本実施形態に係るＨＭＤ１０において撮像部１６は、光学系１７に近い位置であって光学系１７の端部に配置される。つまり本実施形態に係るＨＭＤ１０における表示部１４と撮像部１６との垂直距離Ｌ１は距離Ｘに近い値となる。そしてユーザの眼３０から表示部１４に対し垂直に入射する直線と撮像部１６との垂直距離Ｈ１は、光学系１７のサイズとユーザの眼の位置とに応じた値となり例えば光学系１７の高さの約半分となる。

次に対比例に係るＨＭＤ１１０において撮像部１１６は、ユーザの眼１３０を撮像しやすく、かつユーザによる表示部１１４に表示される映像の視聴の妨げにならない位置に配置されることが好ましい。例えば、図３に示すように対比例に係るＨＭＤ１１０において撮像部１６は、光学系１１７に近い位置であって光学系１１７の端部に配置される。つまり対比例に係るＨＭＤ１１０におけるユーザの眼３０と撮像部１１６との垂直距離Ｌ２は距離Ｙに近い値となる。そしてユーザの眼１３０から表示部１１４に対し垂直に入射する直線と撮像部１１６との垂直距離Ｈ２は、光学系１１７のサイズとユーザの眼の位置とに応じた値となり例えば光学系１１７の高さの約半分となる。なお、図３に示す対比例に係るＨＭＤ１１０においては距離Ｙが短くなるほど、光学系１１７のサイズが大きくなるほど、撮像部１１６によるユーザの眼１３０に対する撮影角度θ_２が浅くなりユーザのまつげやまぶた等が撮像の障害となる。

このように図２及び図３において、本実施形態に係るＨＭＤ１０における垂直距離Ｈ１は、対比例に係るＨＭＤ１１０における垂直距離Ｈ２とほぼ同一となる。また本実施形態に係るＨＭＤ１０における垂直距離Ｌ１は、対比例に係るＨＭＤ１１０における垂直距離Ｌ２より長くなる。したがって、本実施形態に係る撮像部１６による表示部１４に映るユーザの眼の像４０に対する撮影角度θ_１は、対比例に係る撮像部１１６によるユーザの眼１３０に対する撮影角度θ_２より大きくなる。このように、本実施形態に係る撮像部１６がユーザの眼の像４０が映る表示部１４を撮像することで、ユーザの眼の像４０に対する撮像部１６の撮影角度を深くすることができユーザの眼の像４０を撮影しやすくなる。

また、上述の例では本実施形態に係るＨＭＤ１０における垂直距離Ｈ１は、対比例に係るＨＭＤ１１０における垂直距離Ｈ２とほぼ同一であり、本実施形態に係るＨＭＤ１０における垂直距離Ｌ１は、対比例に係るＨＭＤ１１０における垂直距離Ｌ２より長い例を示したが、この例に限定されるものではない。例えば、本実施形態に係るＨＭＤ１０における垂直距離Ｈ１が光学系１７の高さの半分より大きくてもよい。また本実施形態に係るＨＭＤ１０における垂直距離Ｌ１が距離Ｘより短くてもよいし距離Ｙより短くてもよい。このような場合であっても、本実施形態に係る撮像部１６がユーザの眼の像４０が映る表示部１４を撮像することで、対比例に係るＨＭＤ１１０のようなユーザのまつげやまぶた等の撮像の障害になるものがないのでユーザの眼の像４０を撮像しやすくなる。

さらに撮像部１６が赤外光によるユーザの眼の像４０が映る表示部１４を撮像することで、表示部１４にエンタテインメント装置から受信する映像等が表示されている期間にもユーザの眼の像４０を撮像することが可能となる。つまりユーザの眼に赤外光を照射することで表示部１４に表示される映像の邪魔にならずにユーザの眼の像４０を表示部１４に映すことが可能となる。これによりユーザがエンタテインメント装置から受信する映像等を視聴している間にも、制御部１１はユーザの眼の位置やユーザの視線方向を検出可能となりキャリブレーションや視線追跡を行うことができる。そして、例えばエンタテインメント装置から受信する映像等を表示部１４に表示している間に受け付けるユーザ入力操作として視線入力操作を利用することも可能となり、エンタテインメント装置がユーザの眼の位置やユーザの視線方向に応じた入力操作に関する処理を実行することができる。

また、図２に示す本実施形態に係るＨＭＤ１０において、撮像部１６は可視光を撮像可能なカメラとしてもよい。この場合、撮像部１６は表示部１４を撮像して得られる画像に対してフィルタリング処理等の画像処理を行うことで赤外光によるユーザの眼の像４０を抽出することとする。

また、図２に示す本実施形態に係るＨＭＤ１０において、撮像部１６は可視光を撮像可能なカメラとしたうえで光照射部１５を配置しないこととしてもよい。光照射部１５を配置しない場合であっても、可視光がユーザの眼３０で反射することで得られる反射光が、光学系１７を通過して表示部１４に入射することで可視光によるユーザの眼の像４０が表示部１４に映る。そして、撮像部１６が可視光によるユーザの眼の像４０が映る表示部１４を撮像することとしてもよい。ここで、撮像部１６が可視光によるユーザの眼の像４０が映る表示部１４を撮像する場合は、表示部１４にエンタテインメント装置から受信する映像等が表示されていない期間に行うことが好ましい。

図４は、本実施形態に係るＨＭＤ１０の構成の第２の例を示す概略図である。図４に示す本実施形態に係るＨＭＤ１０は、図２に示す本実施形態に係るＨＭＤ１０の光照射部１５の位置を異ならせたものである。図４に示す本実施形態に係るＨＭＤ１０の光照射部１５は、表示部１４と光学系１７との間に配置され、表示部１４に対して赤外レーザといった赤外光を照射する。その他の構成は図２に示す本実施形態に係るＨＭＤ１０と同様であるため、重複する説明はここでは省略する。

図４に示す本実施形態に係るＨＭＤ１０では、光照射部１５が表示部１４に対して照射した赤外光が表示部１４で反射し、その反射光が光学系１７を通過してユーザの眼３０に対して照射される。そして、ユーザの眼３０に対して照射された赤外光がユーザの眼３０で反射し、その反射光が再び光学系１７を通過して表示部１４に入射することで赤外光によるユーザの眼の像４０が表示部１４に映る。そして、撮像部１６がユーザの眼の像４０が映る表示部１４を撮像する。このように表示部１４に対して照射された赤外光が反射することで得られる反射光がユーザの眼３０に対して照射されることで、ユーザの眼３０に対して正面から赤外光が入射されることとなる。したがってユーザの眼の像４０が表示部１４に映りやすくなるので、撮像部１６はユーザの眼の像４０が映る表示部１４を撮像しやすくなる。そして制御部１１によるユーザの眼の位置やユーザの視線方向の検出の精度が向上することとなる。

なお、図２及び図４に示したＨＭＤ１０の構成はあくまで一例であり、この例に限定されるものではない。上述の例では、図２及び図４においてＨＭＤ１０の上方に光照射部１５や撮像部１６が配置されている例を示しているが、例えばＨＭＤ１０の下方に配置されてもよいし、ＨＭＤ１０の側面側に配置されてもよい。これらの配置は、表示部１４や光学系１７の特性、表示部１４から光学系１７までの距離Ｘ、光学系１７からユーザの眼３０までの距離Ｘ２等に応じて適宜設定されてもよい。

［変形例］
図５は、本実施形態に係るＨＭＤ１０の構成の第１の変形例を示す概略図である。図５はユーザがＨＭＤ１０を装着している状態を示している。図５に示す変形例に係るＨＭＤ１０では、光学系１７がユーザの眼前に配置され、撮像部１６が光学系１７を介してユーザの眼３０の正面に配置される。光学系１７は、可視光を反射し赤外光を透過するミラー２７を含み、撮像部１６とユーザの眼３０との間に配置される。表示部１４は、表示部１４から出力される映像光がミラー２７に反射してユーザの眼３０に入射するように配置される。光照射部１５は、光学系１７とユーザの眼３０との間に配置され、ユーザの眼３０に対して赤外光を照射する。撮像部１６は赤外光を撮像可能な赤外線カメラとする。

図５に示す変形例に係るＨＭＤ１０では、光照射部１５がユーザの眼３０に対して照射した赤外光がユーザの眼３０で反射し、その反射光がミラー２７を透過して撮像部１６に入射する。これにより、撮像部１６はユーザの眼３０に対して正面からユーザの眼３０を撮像することができる。

図６は、本実施形態に係るＨＭＤ１０の構成の第２の変形例を示す概略図である。図６に示す変形例に係るＨＭＤ１０は、図５に示す変形例に係るＨＭＤ１０の光照射部１５の位置を異ならせたものである。図６に示す変形例に係るＨＭＤ１０の光照射部１５は光学系１７を介してユーザの眼前に配置される。その他の構成は図５に示す変形例に係るＨＭＤ１０と同様であるため、重複する説明はここでは省略する。

図６に示す変形例に係るＨＭＤ１０では、光照射部１５が照射した赤外光がミラー２７を透過してユーザの眼３０に照射される。そして、ユーザの眼３０に対して照射された赤外光がユーザの眼３０で反射し、その反射光がミラー２７を透過して撮像部１６に入射する。これにより、光照射部１５はユーザの眼３０に対して正面から赤外光を照射することができ、撮像部１６はユーザの眼３０に対して正面からユーザの眼３０を撮像することができる。

Claims (6)

1. ユーザに装着されるヘッドマウントディスプレイであって、
   前記ユーザの眼前に配置される表示部と、
   前記表示部と前記ユーザの眼との間に配置される光学系と、
   前記表示部と前記光学系との間に配置され、前記ユーザの眼の像が映る前記表示部を撮像する撮像部と、
   を含むことを特徴とするヘッドマウントディスプレイ。
2. 前記ユーザの眼に対して光を照射する光照射部、をさらに含み、
   前記撮像部は、前記光照射部により照射された光が前記ユーザの眼で反射することで前記表示部に映る前記ユーザの眼の像を撮像する、
   ことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記光照射部は、前記光学系と前記ユーザの眼との間に配置され、前記ユーザの眼に対して直接光を照射する、
   ことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記光照射部は、前記表示部と前記光学系との間に配置され、前記表示部に照射した光が反射する反射光を前記ユーザの眼に対して照射する、
   ことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
5. 前記光照射部は赤外光を照射し、
   前記撮像部は前記赤外光を撮像可能な赤外線カメラである、
   ことを特徴とする請求項２から４のいずれか一項に記載のヘッドマウントディスプレイ。
6. 前記撮像部により撮像された前記ユーザの眼の像を含む画像に基づいて当該ユーザの視線方向を検出する視線検出部、をさらに含む、
   ことを特徴とする請求項１から５のいずれか一項に記載のヘッドマウントディスプレイ。

Images