WO2013111267A1 - ヘッドマウントディスプレイ及び表示方法 - Google Patents

Abstract

　ヘッドマウントディスプレイは、光源を有しており、観察される景色に重畳させた画像をユーザに認識させる。ヘッドマウントディスプレイは、第一画像と、景色における奥行き方向の距離を示す第二画像とを、ユーザに対比可能に認識させて描画するための光を光源から照射させる制御手段と、ユーザの姿勢又は動作を検出する検出手段と、を有する。制御手段は、検出手段によって検出された姿勢又は動作に応じて、第二画像の表示の有無を切り替える。

Description

ヘッドマウントディスプレイ及び表示方法

　本発明は、情報を表示する技術に関する。

　近年、ヘッドマウントディスプレイなどの表示装置を用いて、所定の情報をユーザの前方の景色に重畳して表示させるＡＲ（Augmented Reality）に関する技術が提案されている。例えば特許文献１には、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、画像情報に応じた表示を外景と重ねて行うヘッドマウントディスプレイに関して、仮想走行者の画像を表示させる技術が提案されている。具体的には、特許文献１には、仮想走行者との距離に応じた視差を有する左眼用画像と右眼用画像とを表示させることにより、仮想走行者との距離感を表す表示を行うことや、表示する画像の焦点位置を変更することにより、仮想走行者との距離感を変更することなどが記載されている。

特開２０１１－６７２７７号公報

　上記した特許文献１に記載の技術では、左右の眼（両眼）に異なる画像を提示することで視差を生じさせたり、焦点距離を調整したりすることで、表示する画像に距離感（言い換えると遠近感）を生じさせている。しかしながら、特許文献１に記載の技術は、視差を利用しているため、両眼に画像を表示させる構成に適用が限定され、片眼のみに画像を表示させる構成には適用することができなかった。また、視差を利用した立体視には個人差があるため、当該技術では、ユーザの見え方に合わせた調整を行う必要があった。そのため、調整機構や高度な画像処理などが必要となり、装置が複雑化、高コスト化したり、画像処理に要する負荷が大きくなったりする傾向にあった。

　本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、簡便な処理や装置構成にて、表示させる画像について適切に距離感を生じさせることが可能なヘッドマウントディスプレイ及び表示方法を提供することを主な目的とする。

　請求項１に記載の発明では、観察される景色に重畳させた画像をユーザに認識させるヘッドマウントディスプレイは、光源と、第一画像と、前記景色における奥行き方向の距離を示す第二画像とを、前記ユーザに対比可能に認識させて描画するための光を前記光源から照射させる制御手段と、前記ユーザの姿勢又は動作を検出する検出手段と、を有し、前記制御手段は、前記検出手段によって検出された前記姿勢又は前記動作に応じて、前記第二画像の表示の有無を切り替える。

　請求項１５に記載の発明では、光源を有し、観察される景色に重畳させた第一画像と第二画像とをユーザに認識させるヘッドマウントディスプレイによって行われる表示方法は、前記第一画像と、前記景色における奥行き方向の距離を示す前記第二画像とを、前記ユーザに対比可能に認識させて描画するための光を前記光源から照射させる制御工程と、前記ユーザの姿勢又は動作を検出する検出工程と、を有し、前記制御工程は、前記検出工程によって検出された前記姿勢又は前記動作に応じて、前記第二画像の表示の有無を切り替える。

　請求項１６に記載の発明では、観察される景色に重畳させて、画像をユーザに認識させるヘッドマウントディスプレイは、光源と、第一画像と、前記第一画像の前記景色における奥行き方向の距離を示す記二画像とを、前記ユーザに対比可能に認識させて描画するための光を前記光源から照射させる制御手段と、有する。

本実施例に係るヘッドマウントディスプレイの概略構成図を示す。 本実施例に係る第二画像を表示する理由を説明するための図を示す。 本実施例における第二画像を具体的に説明するための図を示す。 変形例１に係る第二画像を示す。 変形例２に係る第二画像を示す。

　本発明の１つの観点では、観察される景色に重畳させた画像をユーザに認識させるヘッドマウントディスプレイは、光源と、第一画像と、前記景色における奥行き方向の距離を示す第二画像とを、前記ユーザに対比可能に認識させて描画するための光を前記光源から照射させる制御手段と、前記ユーザの姿勢又は動作を検出する検出手段と、を有し、前記制御手段は、前記検出手段によって検出された前記姿勢又は前記動作に応じて、前記第二画像の表示の有無を切り替える。

　上記のヘッドマウントディスプレイは、光源を有しており、観察される景色に重畳させた画像（虚像）をユーザに認識させるために好適に利用される。制御手段は、第一画像と、景色における奥行き方向の距離を示す第二画像とを、ユーザに対比可能に認識させて描画するための光を光源から照射させる。第一画像は、例えば、ヘッドマウントディスプレイを介して観察される景色に含まれる所定のオブジェクトについての情報を示す画像であり、第二画像は、当該景色における奥行き（遠近）を表現した画像である。このような第二画像を表示させることで、簡便な処理や装置構成にて、第一画像について奥行き方向における位置をユーザに適切に把握させることができる、つまり第一画像に距離感（遠近感）を生じさせることができる。

　また、制御手段は、ユーザの姿勢又は動作に応じて、第二画像の表示の有無を切り替える。つまり、制御手段は、ユーザの姿勢又は動作によっては、第二画像を非表示とする。これにより、第二画像が視界を妨げてしまうことを適切に抑制することが可能となる。

　上記のヘッドマウントディスプレイの一態様では、前記制御手段は、前記姿勢又は前記動作より、前記ユーザが注視動作を行っていると判断される場合には、前記第二画像を表示させ、前記姿勢又は前記動作より、前記ユーザが注視動作を行っていないと判断される場合には、前記第二画像を表示させない。これにより、ユーザが注視動作を行っていない場合に、第二画像が視界を妨げてしまうことを適切に抑制することが可能となる。

　上記のヘッドマウントディスプレイの他の一態様では、前記制御手段は、１の前記第一画像が描画される場合には前記第二画像を描画せず、２以上の前記第一画像が描画された場合に、前記第一画像同士の間の領域に前記第二画像を描画する。これにより、２以上の第一画像が描画された場合に、当該２以上の第一画像の位置関係を適切に把握させることができる。

　上記のヘッドマウントディスプレイの他の一態様では、前記制御手段は、前記光源による描画領域のうち、前記第一画像が少なくとも含まれる所定の領域にのみ前記第二画像を描画させ、それ以外の領域には前記第二画像を描画させない。これにより、第二画像が視界を妨げてしまうことを適切に抑制することが可能となる。

　好適な例では、前記制御手段は、前記ユーザの頭部が所定時間以上静止していることを検出した場合に、注視動作を行っていると判断することができる。

　上記のヘッドマウントディスプレイの他の一態様では、前記ユーザにより観察される景色を撮影する撮影手段を有し、前記制御手段は、前記撮影手段により撮影された景色に、所定の物体が存在する場合に、前記第二画像を描画させる。これにより、景色中の所定の物体の位置などを、ユーザに適切に把握させることができる。

　上記のヘッドマウントディスプレイの他の一態様では、前記第二画像は、前記ユーザにより観察される景色の中において、前記景色の奥行き方向に向かって所定の距離間隔ごとに描画される。このような第二画像によれば、第一画像に距離感（遠近感）を生じさせることができると共に、第二画像を物差しとして用いることで、第一画像の位置を適切に把握させることができる。

　上記のヘッドマウントディスプレイにおいて好適には、前記第二画像は、前記ユーザにより観察される景色の奥行き方向に沿って奥行きを表現したグリッド線である。

　上記のヘッドマウントディスプレイの他の一態様では、前記第二画像は、当該第二画像の一部が前記景色中の目印となる物体に対応した位置に認識されるように描画される。これにより、第一画像の位置を適切に把握させることが可能となる。

　上記のヘッドマウントディスプレイの好適な例では、前記第二画像は、前記第一画像の目印となる画像であって、大きさによって前記景色の奥行きを表現した画像である。

　上記のヘッドマウントディスプレイの他の好適な例では、前記第二画像は、前記第一画像の目印となる画像であって、色の濃さ又はぼかし具合によって前記景色の奥行きを表現した画像である。

　上記のヘッドマウントディスプレイの好適な他の例では、前記第二画像は、前記第一画像の目印となる画像であって、前記景色の奥行きに従って立体的に表現された画像である。

　上記のヘッドマウントディスプレイにおいて好適には、前記第二画像は、前記ユーザに徐々に認識されるように描画される。

　好適には、上記のヘッドマウントディスプレイは、片眼にのみ用いられる。つまり、ヘッドマウントディスプレイは、片眼にのみ画像を表示させる。

　本発明の他の観点では、光源を有し、観察される景色に重畳させた第一画像と第二画像とをユーザに認識させるヘッドマウントディスプレイによって行われる表示方法は、前記第一画像と、前記景色における奥行き方向の距離を示す前記第二画像とを、前記ユーザに対比可能に認識させて描画するための光を前記光源から照射させる制御工程と、前記ユーザの姿勢又は動作を検出する検出工程と、を有し、前記制御工程は、前記検出工程によって検出された前記姿勢又は前記動作に応じて、前記第二画像の表示の有無を切り替える。

　本発明の更に他の観点では、観察される景色に重畳させて、画像をユーザに認識させるヘッドマウントディスプレイは、光源と、第一画像と、前記第一画像の前記景色における奥行き方向の距離を示す記二画像とを、前記ユーザに対比可能に認識させて描画するための光を前記光源から照射させる制御手段と、を有する。好適には、前記制御手段は、複数の前記第一画像を表示した場合に、前記第一画像同士の距離を示す第二画像を表示させることができる。

　以下、図面を参照して本発明の好適な実施例について説明する。

　［装置構成］
　図１は、本実施例に係るヘッドマウントディスプレイ１の一例を示した概略構成図である。以下では、ヘッドマウントディスプレイを適宜「ＨＭＤ」と表記する。

　図１に示すように、ＨＭＤ１は、主に、制御部２と、光源ユニット３と、ハーフミラー４と、カメラ５と、６軸センサ６と、を有する。ＨＭＤ１は、例えば眼鏡型に構成されており、ユーザの頭部に装着可能に構成されている。また、ＨＭＤ１は、例えばユーザの片眼にのみ画像を表示するように構成されている。

　制御部２は、図示しないＣＰＵやＲＡＭやＲＯＭなどを有しており、ＨＭＤ１の全体的な制御を行う。制御部２は、主に、ユーザに提示するための画像を生成する処理を行う。制御部２は、本発明における「検出手段」及び「制御手段」の一例である。

　光源ユニット３は、制御部２によって生成された画像を構成する光を、ハーフミラー４に向けて出射する。例えば、光源ユニット３は、レーザ光源やＬＣＤ光源などを有しており、このような光源から光を出射する。

　ハーフミラー４は、光源ユニット３からの光を、ユーザの眼球に向けて反射する。これにより、ＨＭＤ１によって形成された画像に対応する虚像が、ユーザに視認されることとなる。なお、ハーフミラー４は透過率と反射率とが概ね等しいが、このようなハーフミラー４を用いる代わりに、透過率と反射率とが等しくないようなミラー（所謂ビームスプリッタ）を用いても良い。

　カメラ５は、ＨＭＤ１の前方の景色を撮影し、撮影画像を生成する。カメラ５は、生成した撮影画像を制御部２に供給する。

　６軸センサ６は、複数の加速度センサ及び複数の角速度センサによって構成されている。具体的には、６軸センサ６は、Ｘ軸、Ｙ軸及びＺ軸の加速度と、Ｘ軸、Ｙ軸及びＺ軸の角速度とを検出可能に構成されている。６軸センサ６は、検出値を制御部２に供給する。６軸センサ６の検出値は、ユーザの頭部の姿勢や動作を示している。なお、このような６軸センサ６を用いる代わりに、加速度センサやジャイロセンサを用いて、ユーザの頭部の姿勢や動作を検出することとしても良い。

　ここで、ＨＭＤ１内の制御部２は、ハーフミラー４を透して観察される景色に重畳させた画像をユーザに認識させるための制御を行う。つまり、ＡＲ表示のための制御を行う。具体的には、制御部２は、ハーフミラー４を透して観察される景色に含まれる所定のオブジェクトについて、当該オブジェクトの情報を示す画像（以下では、適宜「第一画像」と呼ぶ。）に対応する虚像が、景色中の当該オブジェクトに応じた位置にて認識されるように制御を行う。１つの例では、制御部２は、カメラ５の撮影画像を解析することで情報を表示すべきオブジェクトを特定して、当該オブジェクトについての情報を生成し、当該情報に対応する第一画像を生成する。他の例では、制御部２は、図示しないナビゲーション装置（スマートフォンなどの携帯型端末装置も含む）などからオブジェクトについての情報を取得し、当該情報に対応する第一画像を生成する。いずれの例においても、制御部２は、このように生成した第一画像に対応する虚像が景色中のオブジェクトに応じた位置（例えばオブジェクトに重畳する位置や、オブジェクトの近傍の位置など）にて認識されるように、当該第一画像を表示させる位置を決定する。

　例えば、「第一画像」は、場所や、施設や、看板などの対象物についての情報を示す画像であり、アイコンや、タグや、コメントや、吹き出しなどによって表される。

　［制御方法］
　次に、本実施例において制御部２が行う制御方法について具体的に説明する。

　本実施例では、制御部２は、上記したような第一画像を表示させる際に、景色における奥行き（遠近）を表現した画像（以下、適宜「第二画像」と呼ぶ。）を、第一画像のガイドとして表示させる。つまり、制御部２は、第一画像に対応する虚像と第二画像に対応する虚像とをユーザに対比可能に認識させるための制御を行う。なお、以下では、冗長な説明を避けるため、第一画像及び第二画像に対応する虚像についても第一画像及び第二画像の文言を用いる場合がある。

　このような第二画像を表示する理由を、図２を参照して説明する。図２は、ユーザによって認識される２つの第一画像２１、２２（虚像）を概略的に示した図である。第一画像２１は、ハーフミラー４を透して観察される景色において手前側に位置するオブジェクトに関する画像であり、第一画像２２は、当該景色において、第一画像２１に対応するオブジェクトよりも奥側に位置するオブジェクトに関する画像であるものとする。図２に示す例では、第一画像２１と第一画像２２とが概ね同一のサイズとなっている。このような場合、ユーザは、第一画像２１、２２を認識した際に、どちらの画像が手前側に位置するものであり、どちらの画像が奥側に位置するものであるかを判断することが困難となる。つまり、ユーザは、第一画像２１、２２について、奥行き方向（正面方向）における位置関係を適切に把握することが困難となる。

　なお、基本的には、第一画像は、オブジェクトの位置に応じたサイズにて表示される（例えば奥のものほど第一画像のサイズが小さくされる）。しかしながら、第一画像自体の大きさ（例えば第一画像の情報量などに応じている）によっては、図２に示したように手前側の第一画像２１と奥側の第一画像２２とのサイズが概ね同一になってしまう。

　以上のことから、本実施例では、制御部２は、第一画像について奥行き方向における位置をユーザに適切に把握させるべく、つまり第一画像に距離感（遠近感）を生じさせるべく、景色における奥行き方向の距離を示す第二画像を、第一画像のガイド画像として表示させる。具体的には、制御部２は、ユーザにより観察される景色の奥行き方向に沿って奥行きを表現したグリッド線で構成された画像を、第二画像として表示させる。また、本実施例では、制御部２は、ユーザの視界を確保する観点から、ユーザの姿勢又は動作に応じて、このような第二画像３０の表示と非表示とを切り替える。

　図３を参照して、本実施例における第二画像について具体的に説明する。図３は、ユーザによって認識される、第一画像２１、２２（虚像）及び第二画像３０（虚像）を概略的に示した図である。なお、第一画像２１、２２は、図２に示したものと同一である。

　図３に示すように、第二画像３０は、ユーザに距離感を把握させるための、錯視の原理を利用した画像であり、グリッド線３０ａ～３０ｈなどによって構成されている。グリッド線３０ａ～３０ｈは、遠近法（パース）に従って、ユーザの正面方向に位置する消失点を基準とした一点透視図法によって描かれたものである。第二画像３０は、消失点に向かって狭まっていく直方体の外形形状を有している。グリッド線３０ａ～３０ｄは、当該直方体の底面において左右方向に延びる線分であり、グリッド線３０ｅ～３０ｈは、当該直方体の底面において奥行き方向に延びる線分である。なお、このようなグリッド線３０ａ～３０ｈ以外にも、第二画像３０は、当該直方体の側面において上下方向に延びるグリッド線や、当該直方体の上面において左右向に延びるグリッド線などを有するが、ここでは、グリッド線３０ａ～３０ｈを代表して説明する。

　また、グリッド線３０ａ～３０ｈは、ユーザの視野角に応じて設定されている。具体的には、グリッド線３０ａ～３０ｄは、ユーザの正面方向（奥行き方向）における位置（距離）を表しており、グリッド線３０ｅ～３０ｈは、ユーザの左右方向における位置（距離）を表している。例えば、グリッド線３０ａは、ユーザから正面方向に向かって５ｍ離れた位置を示しており、グリッド線３０ｂは、ユーザから正面方向に向かって１０ｍ離れた位置を示しており、グリッド線３０ｃは、ユーザから正面方向に向かって１５ｍ離れた位置を示している。更に、グリッド線３０ａ～３０ｈは、ユーザが認識し易い色（例えば緑色）や、第一画像２１、２２と異なる色などで表示される。

　制御部２は、上記のような第二画像３０に対して、第一画像２１、２２を重ね合わせて表示させる。この場合、制御部２は、前述したように決定された、ハーフミラー４を透して観察される景色に含まれるオブジェクトの位置に応じた第一画像２１、２２の表示位置に、第一画像２１、２２を表示させる。そして、制御部２は、１つの例では、ユーザの視界において予め定めた所定の位置にて第二画像３０の虚像が認識されるように、第二画像３０を表示させる。他の例では、制御部２は、第一画像２１、２２の位置に応じた位置に、第二画像３０を表示させる。この例では、制御部２は、ユーザによって認識される虚像に関して、第二画像３０のグリッド線３０ａ～３０ｈ上に第一画像２１、２２が位置するように（例えば、グリッド線３０ａ上に第一画像２１が位置するように、若しくはグリッド線３０ｃ上に第一画像２２が位置するように）、第二画像３０の表示位置を決定する。更に他の例では、制御部２は、ユーザによって認識される虚像に関して、第二画像３０のグリッド線３０ａ～３０ｈの一部が景色中の目印となるオブジェクトに対応した位置にて認識されるように、第二画像３０の表示位置を決定する。

　また、制御部２は、第二画像３０を表示させる場合に、ユーザに徐々に認識されるように第二画像３０を描画する制御を行う。具体的には、制御部２は、第一画像２１、２２を描画した後に、第二画像３０をフェードインさせるように描画する制御を行う。なお、フェードインについては、公知の種々の技術を適用することができる。

　また、制御部２は、第一画像２１、２２に応じた範囲にのみ、第二画像３０を表示させる。具体的には、制御部２は、第一画像２１、２２が少なくとも含まれるような範囲によって、表示させる第二画像３０の左右方向、上下方向及び奥行き方向を規定する。図３に示す例では、第二画像３０の奥行き方向に関しては、第一画像２２の奥側のグリッド線３０ｄまでが表示され、グリッド線３０ｄの更に奥側にはグリッド線が表示されていない。加えて、第二画像３０の左右方向に関しては、第一画像２１の左側のグリッド線３０ｅまでが表示され、グリッド線３０ｅの更に左側にはグリッド線が表示されず、また、第一画像２２の右側のグリッド線３０ｈまでが表示され、グリッド線３０ｈの更に右側にはグリッド線が表示されていない。つまり、第一画像２２から所定以上左右方向、奥行き方向に離れた位置にはグリッド線を表示させないようにしている。このようにしているのは、第一画像２１、２２の位置関係を把握させるために必要と言えるグリッド線のみを表示させるためである。つまり、第一画像２１、２２の位置関係を把握するために特に必要ないと言えるグリッド線を表示しないことで、ユーザの視界を確保することを図ったものである。

　なお、第一画像２１と第一画像２２との間を第二画像３０でつながるように表示させることで、第一画像２１と第一画像２２との相対的な位置関係が分かりやすくなる。よって、第一画像２１と第一画像２２とが所定距離以上離れた位置に表示されていても、第一画像２１と第一画像２２との間の領域に両者を繋ぐように第二画像３０を表示させることが好ましい。

　更に、本実施例では、制御部２は、ユーザの姿勢又は動作に応じて、上記したような第二画像３０の表示と非表示とを切り替える。具体的には、制御部２は、カメラ５によって撮影された撮影画像及び／又は６軸センサ６の検出値に基づいて、ユーザが注視動作を行っているか否かを判定する。例えば、撮影画像や６軸センサ６の検出値が、ユーザの頭部が静止（停止）していることを示している場合や、頭部が一定時間以上大きく動かされていない場合に、制御部２は、ユーザが注視動作を行っていると判定する。制御部２は、ユーザが注視動作を行っていると判定した場合には、第二画像３０を表示させ、ユーザが注視動作を行っていないと判定した場合には、第二画像３０を表示させない。こうすることで、ユーザが注視動作を行った場合（例えば任意のオブジェクトを注視している場合）にのみ、第二画像３０が表示され、ユーザが注視動作を行っていない場合（例えば移動中や視線を様々な方向に向けている場合）には、第二画像３０が表示されないこととなる。

　１つの例では、ユーザがゴルフをしている際に、制御部２は、移動中やスイングやショットなどを行っている場合には第二画像３０を表示させず、パターを行っている場合に第二画像３０を表示させる。この例において、制御部２は、ユーザの姿勢又は動作だけでなく（撮影画像や６軸センサ６の検出値によって判定される）、撮影画像に旗や旗竿などが含まれるか否かに応じて、ユーザがパターを行っているか否かを判断することができる。つまり、撮影画像中に実在する物体によって、第二画像３０が必要とされるか否かの判断をより高精度に行うことができる。

　なお、制御部２は、表示すべき第一画像が２つ以上存在する場合にのみ、第二画像を表示させることとしても良い。つまり、第一画像が１つしか存在しない場合には、第二画像を表示させないこととしても良い。

　［本実施例による作用・効果］
　以上説明したように、本実施例では、第一画像のガイド画像として第二画像を表示させる。これにより、第一画像について奥行き方向における位置をユーザに適切に把握させることができる、つまり第一画像に距離感（遠近感）を生じさせることができる。このような本実施例によれば、前述した特許文献１に記載されたような調整機構や高度な画像処理などを要せずして、第一画像に距離感を生じさせることができる。したがって、本実施例によれば、ＨＭＤ１の軽量化や、低コスト化や、操作の簡便化などを実現することが可能となる。

　また、特許文献１に記載された技術は、片眼のみに画像を表示させる構成や、レーザ光源によるマクスウェル視を利用する構成に適用することができなかった（当該構成では焦点距離を変更することができないため）。しかしながら、本実施例は、第二画像を表示させることによって距離感（遠近感）を生じさせているため、片眼のみに画像を表示させる構成や、レーザ光源によるマクスウェル視を利用する構成にも、適切に適用することができる。

　更に、本実施例では、ユーザが注視動作を行っている場合にのみ、第二画像を表示させ、ユーザが注視動作を行っていない場合には、第二画像を表示させない。これにより、ユーザが注視動作を行っていない場合（例えば移動中や視線を様々な方向に向けている場合）に、第二画像が視界を妨げてしまうことを適切に抑制することが可能となる。

　［変形例］
　以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用することができる。

　（変形例１）
　変形例１は、上記した第二画像３０（図３参照）の変形例に関する。

　図４は、変形例１に係る第二画像３１～３６を示している。具体的には、図４は、ユーザによって認識される、第一画像２１、２２（虚像）及び第二画像３１～３６（虚像）を概略的に示した図である。第一画像２１、２２は、図２に示したものと同一である。なお、ここでは、図３に示した第二画像３０と異なる点についてのみ説明し、特に説明しない構成などについては、第二画像３０と同様であるものとする。例えば、後述するグリッド線（曲線も含む）は、第二画像３０と同様に、ユーザの正面方向に位置する消失点を基準とした一点透視図法によって描かれている。

　図４（ａ）は、変形例１における第１の例に係る第二画像３１を示している。第二画像３１は、第二画像３０に対応する直方体の上面を除いた形態を有している。具体的には、第二画像３１は、当該直方体の底面において左右方向及び奥行き方向に延びるグリッド線が描かれ、当該直方体の側面において上下方向に延びるグリッド線が描かれた画像である。

　図４（ｂ）は、変形例１における第２の例に係る第二画像３２を示している。第二画像３２は、第二画像３０に対応する直方体の上面及び底面を除いた形態を有している。具体的には、第二画像３２は、当該直方体の側面において上下方向及び奥行き方向に延びるグリッド線が描かれた画像である。

　図４（ｃ）は、変形例１における第３の例に係る第二画像３３を示している。第二画像３３は、第二画像３０に対応する直方体の上面及び右の側面を除いた形態を有している。具体的には、第二画像３３は、当該直方体の底面において左右方向に延びるグリッド線が描かれ、当該直方体の左の側面において上下方向に延びるグリッド線が描かれた画像である。なお、直方体の底面において左右方向に延びるグリッド線が描かれ、直方体の右の側面において上下方向に延びるグリッド線が描かれた画像を、第二画像として用いても良い。例えば、ユーザの利き目に応じて、表示させる第二画像を、左の側面にグリッド線が描かれた画像（第二画像３３）と、右の側面にグリッド線が描かれた第二画像とで切り替えると良い。

　図４（ｄ）は、変形例１における第４の例に係る第二画像３４を示している。第二画像３４は、第二画像３０に対応する直方体の上面及び側面を除いた形態を有している。具体的には、第二画像３４は、当該直方体の底面において左右方向に延びるグリッド線のみが描かれた画像である。

　図４（ｅ）は、変形例１における第５の例に係る第二画像３５を示している。第二画像３５は、２つの線分のみから構成された画像である。具体的には、当該２つの線分は、ユーザの正面方向に位置する消失点から延びる２つの直線の一部に相当する。

　図４（ｆ）は、変形例１における第６の例に係る第二画像３６を示している。第二画像３６は、奥行き方向に並べて配列された、複数の曲線から構成された画像である。具体的には、第二画像３６は、奥に進むほど曲線のサイズが小さくなると共に、奥に進むほど曲線の間隔が狭くなるように構成されている。このような第二画像３６も、ユーザの正面方向に位置する消失点を基準とした一点透視図法によって描かれたものである。

　以上のような変形例１に係る第二画像３１～３６によっても、第一画像について奥行き方向における位置をユーザに適切に把握させることができる、つまり第一画像に距離感（遠近感）を生じさせることができる。

　（変形例２）
　上記した実施例及び変形例１では、グリッド線などによって第二画像が構成されていたが、変形例２では、第一画像についての目印（マーカ）によって第二画像が構成されている。

　図５は、変形例２に係る第二画像４１～４４を示している。具体的には、図５は、ユーザによって認識される、第一画像２１、２２（虚像）及び第二画像４１～４４（虚像）を概略的に示した図である。第一画像２１、２２は、図２に示したものと同一である。

　図５（ａ）は、変形例２における第１の例に係る第二画像４１を示している。第二画像４１は、２つの矢印画像４１ａ、４１ｂから構成されている。矢印画像４１ａは、第一画像２１についてのマーカに相当し、矢印画像４１ｂは、第一画像２２についてのマーカに相当する。矢印画像４１ａ、４１ｂは、その大きさによって景色の奥行きを表現するように構成されている。具体的には、矢印画像４１ａ、４１ｂは、奥のものほどサイズが小さくなるように構成されている。図５（ａ）に示す例では、第一画像２２は第一画像２１よりも奥側に位置するものであるため（つまり第一画像２２に対応するオブジェクトは第一画像２１に対応するオブジェクトよりも奥側に位置するため）、矢印画像４１ｂが矢印画像４１ａよりも小さなサイズで表示される。言い換えると、第一画像２１は第一画像２２よりも手前側に位置するものであるため、矢印画像４１ａが矢印画像４１ｂよりも大きなサイズで表示される。

　図５（ｂ）は、変形例２における第２の例に係る第二画像４２を示している。第二画像４２は、２つの矢印画像４２ａ、４２ｂから構成されている。矢印画像４２ａは、第一画像２１についてのマーカに相当し、矢印画像４２ｂは、第一画像２２についてのマーカに相当する。矢印画像４２ａ、４２ｂは、ぼかし具合（言い換えるとにじみ具合）によって景色の奥行きを表現するように構成されている。具体的には、矢印画像４２ａ、４２ｂは、奥のものほど、ぼかし具合が大きくなるように構成されている。つまり、奥のものほど、色が薄くされると共に、輪郭がぼかされる。図５（ｂ）に示す例では、第一画像２２は第一画像２１よりも奥側に位置するものであるため、矢印画像４２ｂが矢印画像４２ａよりもぼかして表示される。具体的には、矢印画像４２ｂの輪郭がぼかして表示されると共に、矢印画像４２ｂの色が矢印画像４２ａの色よりも薄い色で表示される。

　なお、上記のようにぼかし具合によって景色の奥行きを表現するように第二画像４２を構成する代わりに、色の濃さによって景色の奥行きを表現するように第二画像を構成しても良い。この場合には、第一画像２１よりも奥側に位置する第一画像２２の矢印画像４２ｂが、第一画像２１の矢印画像４２ａよりも薄い色で表示される。

　図５（ｃ）は、変形例２における第３の例に係る第二画像４３を示している。第二画像４３は、２つの矢印画像４３ａ、４３ｂから構成されている。矢印画像４３ａは、第一画像２１についてのマーカに相当し、矢印画像４３ｂは、第一画像２２についてのマーカに相当する。矢印画像４３ａ、４３ｂは、立体的に表現されている。具体的には、矢印画像４３ａ、４３ｂは、奥行き方向における位置（距離）に応じたパースが付与される。つまり、矢印画像４３ａ、４３ｂは、前述したグリッド線と同様に（図３参照）、遠近法に従って、ユーザの正面方向に位置する消失点を基準とした一点透視図法によって描かれる。

　図５（ｄ）は、変形例２における第４の例に係る第二画像４４を示している。第二画像４４は、２つの矢印画像４４ａ、４４ｂと、距離を示す文字画像４４ｃ、４４ｄとから構成されている。矢印画像４４ａは、第一画像２１についてのマーカに相当し、矢印画像４４ｂは、第一画像２２についてのマーカに相当する。文字画像４４ｃは、ユーザと第一画像２１に対応するオブジェクトとの距離（具体的には２ｍ）を示しており、文字画像４４ｄは、ユーザと第一画像２２に対応するオブジェクトとの距離（具体的には１０ｍ）を示している。

　以上のような変形例２に係る第二画像４１～４４によっても、第一画像について奥行き方向における位置をユーザに適切に把握させることができる、つまり第一画像に距離感（遠近感）を生じさせることができる。

　（変形例３）
　変形例３は、第一画像の内容や、ユーザの好みや、周辺環境などに応じて、上記した実施例、変形例１及び変形例２で示した第二画像を選択して表示させるものである。１つの例では、ユーザの好みに応じて選択された第二画像を表示させることができる。他の例では、第一画像が地面近くに位置するオブジェクトに対して表示されるものである場合に、図３や図４（ａ）～（ｄ）に示したような、底面や側面にグリッド線が描かれた第二画像３０、３１～３４を表示させることができる。こうすることで、例えばゴルフのパターを行う場面において、第二画像３０、３１～３４のグリッド線を物差しとして利用することができる。

　（変形例４）
　上記した実施例では、ユーザが注視動作を行っている場合に第二画像を表示させ、ユーザが注視動作を行っていない場合に第二画像を表示させない例を示したが、これに限定はされない。他の例では、ユーザが注視動作を行っていない場合（例えば移動中や視線を様々な方向に向けている場合）に、第二画像を表示させ、ユーザが注視動作を行った場合（例えば任意のオブジェクトを注視している場合）に、第二画像を表示させないこととすることができる。こうすることで、ユーザが注視動作を行っている場合に、第二画像が視界を妨げてしまうことを適切に抑制することが可能となる。

　なお、このような第二画像の表示と非表示との切り替えについても、第一画像の内容や、ユーザの好みや、周辺環境などに応じて設定することが好ましい。

　（変形例５）
　本発明は、ＨＭＤ１への適用に限定はされず、ＡＲ表示を行う種々の装置にて寄与することができる。例えば、本発明は、ヘッドアップディスプレイや、スマートフォンなどの携帯電話や、カメラ付きゲーム機などに適用することができる。

　本発明は、ＡＲ表示を行う装置に好適に適用することができる。

　１　ヘッドマウントディスプレイ（ＨＭＤ）
　２　制御部
　３　光源ユニット
　４　ハーフミラー
　５　カメラ
　６　６軸センサ

Claims (17)

1. 　観察される景色に重畳させた画像をユーザに認識させるヘッドマウントディスプレイであって、
   　光源と、
   　第一画像と、前記景色における奥行き方向の距離を示す第二画像とを、前記ユーザに対比可能に認識させて描画するための光を前記光源から照射させる制御手段と、
   　前記ユーザの姿勢又は動作を検出する検出手段と、を有し、
   　前記制御手段は、前記検出手段によって検出された前記姿勢又は前記動作に応じて、前記第二画像の表示の有無を切り替えることを特徴とするヘッドマウントディスプレイ。
2. 　前記制御手段は、前記姿勢又は前記動作より、前記ユーザが注視動作を行っていると判断される場合には、前記第二画像を表示させ、前記姿勢又は前記動作より、前記ユーザが注視動作を行っていないと判断される場合には、前記第二画像を表示させないことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 　前記制御手段は、１の前記第一画像が描画される場合には前記第二画像を描画せず、２以上の前記第一画像が描画された場合に、前記第一画像同士の間の領域に前記第二画像を描画することを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。
4. 　前記制御手段は、前記光源による描画領域のうち、前記第一画像が少なくとも含まれる所定の領域にのみ前記第二画像を描画させ、それ以外の領域には前記第二画像を描画させないことを特徴とする請求項１乃至３のいずれか一項に記載のヘッドマウントディスプレイ。
5. 　前記制御手段は、前記ユーザの頭部が所定時間以上静止していることを検出した場合に、注視動作を行っていると判断することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
6. 　前記ユーザにより観察される景色を撮影する撮影手段を有し、
   　前記制御手段は、前記撮影手段により撮影された景色に、所定の物体が存在する場合に、前記第二画像を描画させることを特徴とする請求項１乃至５のいずれか一項に記載のヘッドマウントディスプレイ。
7. 　前記第二画像は、前記ユーザにより観察される景色の中において、前記景色の奥行き方向に向かって所定の距離間隔ごとに描画されることを特徴とする請求項１乃至６のいずれか一項に記載のヘッドマウントディスプレイ。
8. 　前記第二画像は、前記ユーザにより観察される景色の奥行き方向に沿って奥行きを表現したグリッド線であることを特徴とする請求項７に記載のヘッドマウントディスプレイ。
9. 　前記第二画像は、当該第二画像の一部が前記景色中の目印となる物体に対応した位置に認識されるように描画されることを特徴とする請求項１乃至８のいずれか一項に記載のヘッドマウントディスプレイ。
10. 　前記第二画像は、前記第一画像の目印となる画像であって、大きさによって前記景色の奥行きを表現した画像であることを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。
11. 　前記第二画像は、前記第一画像の目印となる画像であって、色の濃さ又はぼかし具合によって前記景色の奥行きを表現した画像であることを特徴とする請求項１又は２に記載のヘッドマウントディスプレイ。
12. 　前記第二画像は、前記第一画像の目印となる画像であって、前記景色の奥行きに従って立体的に表現された画像であることを特徴とする請求項又は２に記載のヘッドマウントディスプレイ。
13. 　前記第二画像は、前記ユーザに徐々に認識されるように描画されることを特徴とする請求項１乃至１２のいずれか一項に記載のヘッドマウントディスプレイ。
14. 　片眼にのみ用いられることを特徴とする請求項１乃至１３のいずれか一項に記載のヘッドマウントディスプレイ。
15. 　光源を有し、観察される景色に重畳させた第一画像と第二画像とをユーザに認識させるヘッドマウントディスプレイによって行われる表示方法であって、
    　前記第一画像と、前記景色における奥行き方向の距離を示す前記第二画像とを、前記ユーザに対比可能に認識させて描画するための光を前記光源から照射させる制御工程と、
    　前記ユーザの姿勢又は動作を検出する検出工程と、を有し、
    　前記制御工程は、前記検出工程によって検出された前記姿勢又は前記動作に応じて、前記第二画像の表示の有無を切り替えることを特徴とする表示方法。
16. 　観察される景色に重畳させて、画像をユーザに認識させるヘッドマウントディスプレイであって、
    　光源と、
    　第一画像と、前記第一画像の前記景色における奥行き方向の距離を示す記二画像とを、前記ユーザに対比可能に認識させて描画するための光を前記光源から照射させる制御手段と、を有することを特徴とするヘッドマウントディスプレイ。
17. 　前記制御手段は、複数の前記第一画像を表示した場合に、前記第一画像同士の距離を示す第二画像を表示させることを特徴とする請求項１６に記載のヘッドマウントディスプレイ。

Images