JP6451222B2 - 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム - Google Patents

Description

本発明は、頭部装着型表示装置に関する。

観察者の頭部に装着されて用いられることによって、観察者の視野領域に虚像を形成する頭部装着型表示装置が知られている。この頭部装着型表示装置は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）とも呼ばれる。頭部装着型表示装置には、装着した状態において使用者の視界が遮断される非透過型の頭部装着型表示装置と、装着した状態において使用者の視界が遮断されない透過型の頭部装着型表示装置とがある。

一方、現実環境にコンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）と呼ばれる技術が知られている。透過型の頭部装着型表示装置において拡張現実感を実現するためには、現実世界に存在するオブジェクトを装飾するための付加提示用の情報（例えば文字や画像等）だけを、液晶ディスプレイに表示させる。使用者は、液晶ディスプレイを介して虚像として表示された付加提示用の情報と、目前のレンズを介して見える現実世界の外景との両方を視認することで、拡張現実感を体感することができる。

このように、透過型の頭部装着型表示装置で拡張現実感を実現する場合において、付加提示用の情報が虚像として表示される位置と、現実世界のオブジェクトと、の間のずれか大きくなると、使用者は違和感を覚える。このため、拡張現実感を実現する場合において、現実世界のオブジェクトの位置を把握したいという要望があった。特許文献１には、２眼以上のカメラで構成されるステレオカメラを用いて、現実世界のオブジェクトの位置を把握する技術が記載されている。

特開２００３−３１６５１０号公報 特開２０１１−２５９３４１号公報 特開２００５−１２２１００号公報

特許文献１に記載された技術では、現実世界のオブジェクトの位置を把握するために、２眼以上のカメラを必要とするという課題があった。また、特許文献２、３に記載された技術では、頭部装着型表示装置において、現実世界のオブジェクトの位置を把握することについては考慮されていない。なお、このような課題は、カメラによって取得された外景の画像を用いて現実世界のオブジェクトの位置を把握する場合に限らず、他の手段（例えば赤外線センサー等）によって取得された外景の情報（以降「外景情報」とも呼ぶ）を用いて現実世界のオブジェクトの位置を把握する場合にも共通する課題であった。

このため、単一の外景情報取得手段を用いて現実世界のオブジェクトの位置を把握することが可能な頭部装着型表示装置が望まれている。そのほか、頭部装着型表示装置には、小型化、低コスト化、省資源化、製造の容易化、使い勝手の向上等が望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の第１の形態は、
使用者が虚像と外景とを視認可能な頭部装着型表示装置であって、
前記使用者に前記虚像を視認させる画像表示部と、
前記使用者の視界方向の外景の特徴を少なくとも含む外景情報を取得する外景取得部と、
前記外景取得部によって経時的に取得された少なくとも２つの前記外景情報に基づいて、現実世界に存在する任意の対象オブジェクトの位置を推定する位置推定部と、
推定された前記対象オブジェクトの位置に基づいて、前記対象オブジェクトに付加するための仮想オブジェクトを表す前記虚像を、前記画像表示部に形成させる拡張現実感処理部と、
前記使用者の動きを誘発するための前記虚像を、前記画像表示部に形成させる誘発部と、
を備え、
前記位置推定部は、第１の外景情報と、前記第１の外景情報の取得後に前記外景取得部の移動量に応じて取得された第２の外景情報と、を用いて前記対象オブジェクトの位置を推定し、
前記使用者の動きを誘発するための前記虚像は、前記画像表示部の端に表示される一部が切れた不完全な虚像である、頭部装着型表示装置である。本発明は、以下の形態としても実現できる。

（１）本発明の一形態によれば、使用者が虚像と外景とを視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記使用者に前記虚像を視認させる画像表示部と；前記使用者の視界方向の外景の特徴を少なくとも含む外景情報を取得する外景取得部と；前記外景取得部によって経時的に取得された少なくとも２つの前記外景情報に基づいて、現実世界に存在する任意の対象オブジェクトの位置を推定する位置推定部と；推定された前記対象オブジェクトの位置に基づいて、前記対象オブジェクトに付加するための仮想オブジェクトを表す前記虚像を、前記画像表示部に形成させる拡張現実感処理部と、を備える。この形態の頭部装着型表示装置によれば、位置推定部は、外景取得部によって経時的に取得された少なくとも２つの外景情報に基づいて、外景取得部に対する対象オブジェクトの位置を推定する。このため、単一の外景情報取得手段（例えば単眼カメラ）を用いて現実世界に存在する任意の対象オブジェクトの位置を把握することが可能な頭部装着型表示装置を提供することができる。また、拡張現実感処理部は、推定された対象オブジェクトの位置に基づいて、対象オブジェクトに付加するための仮想オブジェクトを表す虚像を画像表示部に形成させる。このため、現実世界のオブジェクトである対象オブジェクトと、虚像として表示される仮想オブジェクトと、の間のずれを小さくすることができる。

（２）上記形態の頭部装着型表示装置において；前記位置推定部は；第１の外景情報と、前記第１の外景情報の取得後に前記外景取得部の移動量に応じて取得された第２の外景情報と、を用いて前記対象オブジェクトの位置を推定してもよい。この形態の頭部装着型表示装置によれば、位置推定部における対象オブジェクトの位置の推定の精度を向上させることができる。例えば、外景取得部の移動量が所定量以上である場合に、位置推定部が第２の外景情報を取得することとする。そうすれば、所定量を適宜設計することによって、位置推定部は、外景情報に含まれる外景の特徴の相違が大きな第１の外景情報と、第２の外景情報と、を用いて、対象オブジェクトの位置を推定することができる。

（３）上記形態の頭部装着型表示装置では、さらに；前記使用者の頭部の動きを検出する第１の動き検出部を備え；前記位置推定部は、前記第１の動き検出部によって検出された前記頭部の動きから、前記外景取得部の移動量を推定してもよい。この形態の頭部装着型表示装置によれば、位置推定部は、使用者の頭部の動きを用いて外景取得部の移動量を推定し、第２の外景情報を取得することができる。このため、位置推定部は、使用者が頭部を動かしたことに伴い生じた第１、２の外景情報に含まれる外景の特徴の相違を用いて、対象オブジェクトの位置を推定することができる。

（４）上記形態の頭部装着型表示装置では、さらに；前記使用者の体の動きを検出する第２の動き検出部を備え；前記位置推定部は、前記第２の動き検出部によって検出された前記体の動きから、前記外景取得部の移動量を推定してもよい。この形態の頭部装着型表示装置によれば、位置推定部は、使用者の体の動きを用いて外景取得部の移動量を推定し、第２の外景情報を取得することができる。このため、位置推定部は、使用者が体を動かしたことに伴い生じた第１、２の外景情報に含まれる外景の特徴の相違を用いて、対象オブジェクトの位置を推定することができる。

（５）上記形態の頭部装着型表示装置では、さらに；前記使用者の現在位置情報を取得する現在位置取得部を備え；前記位置推定部は、前記現在位置取得部によって取得された前記現在位置情報から、前記外景取得部の移動量を推定してもよい。この形態の頭部装着型表示装置によれば、位置推定部は、使用者の現在位置情報を用いて外景取得部の移動量を推定し、第２の外景情報を取得することができる。このため、使用者の動き（頭部の動きや体の動き）を検出する構成を有しない頭部装着型表示装置においても、位置推定部は、第２の外景情報を取得することができる。

（６）上記形態の頭部装着型表示装置では、さらに；前記使用者の動きを誘発するための前記虚像を、前記画像表示部に形成させる誘発部を備えてもよい。この形態の頭部装着型表示装置によれば、誘発部は、使用者の動き（頭部の動きや体の動き）を誘発するため、位置推定部は、第２の外景情報を取得しやすくなる。

（７）上記形態の頭部装着型表示装置において；前記位置推定部は；第１の外景情報と、前記第１の外景情報の取得後に前記外景情報に含まれる前記外景の特徴の相違に応じて取得された第２の外景情報と、を用いて前記対象オブジェクトの位置を推定してもよい。この形態の頭部装着型表示装置によれば、位置推定部における対象オブジェクトの位置の推定の精度を向上させることができる。例えば、外景情報に含まれる外景の特徴の相違が所定量以上である場合に、位置推定部が第２の外景情報を取得することとする。そうすれば、所定量を適宜設計することによって、位置推定部は、外景情報に含まれる外景の特徴の相違が大きな第１の外景情報と、第２の外景情報と、を用いて、対象オブジェクトの位置を推定することができる。

（８）上記形態の頭部装着型表示装置において；前記位置推定部は；前記第１の外景情報と前記第２の外景情報との間の視差を求め；求めた前記視差と、前記外景取得部の移動量と、前記外景取得部の焦点距離と、を用いて、前記対象オブジェクトの位置を推定してもよい。この形態の頭部装着型表示装置によれば、位置推定部は、第１の外景情報と第２の外景情報との間の視差と、外景取得部の移動量と、外景取得部の焦点距離と、を用いて、対象オブジェクトの位置を推定することができる。

（９）上記形態の頭部装着型表示装置において；前記位置推定部は、前記第１の外景情報に含まれる前記対象オブジェクトのエッジと、前記第２の外景情報に含まれる前記対象オブジェクトのエッジと、を基準として、前記視差を求めてもよい。この形態の頭部装着型表示装置によれば、位置推定部は、第１、２の外景情報に含まれる対象オブジェクトのエッジを基準として視差を求めるため、第１、２の外景情報間の視差を精度よく求めることができる。

（１０）上記形態の頭部装着型表示装置において；前記画像表示部は、前記使用者の眼前に前記虚像を形成する光学像表示部を備え；前記位置推定部は、さらに；推定された前記対象オブジェクトの位置と、前記使用者の眼の位置と、の延長線上に対応する前記光学像表示部の位置を算出し；前記拡張現実感処理部は；算出された前記光学像表示部の位置に基づいて、前記仮想オブジェクトの位置を決定してもよい。この形態の頭部装着型表示装置によれば、拡張現実感処理部は、対象オブジェクトの位置と使用者の眼の位置との延長線上に対応する光学像表示部の位置に基づいて、仮想オブジェクトの位置を決定する。すなわち、拡張現実感処理部は、光学像表示部越しに使用者が視認する対象オブジェクトの位置に基づいて、仮想オブジェクトの位置を決定することができる。この結果、拡張現実感処理部は、対象オブジェクトに付加するための仮想オブジェクトを、使用者に違和感を覚えさせない位置に表示させることが可能となる。

（１１）上記形態の頭部装着型表示装置では、さらに；前記使用者の眼の画像を取得する眼画像取得部を備え；前記位置推定部は、さらに；前記眼画像取得部によって取得された前記眼の画像を画像解析して、前記使用者の眼の大きさを取得し、取得した前記眼の大きさに基づいて前記使用者の眼の位置を推定してもよい。この形態の頭部装着型表示装置によれば、位置推定部は、眼画像取得部によって取得された眼の画像に基づいて使用者の眼の位置を推定することができる。

（１２）上記形態の頭部装着型表示装置において；前記眼画像取得部は、前記外景取得部の近傍に配置されていてもよい。この形態の頭部装着型表示装置によれば、眼画像取得部は、外景取得部の近傍に配置されているため、位置推定部が使用者の眼の位置を推定する際の精度を向上させることができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、外景取得部と、拡張現実感処理部と、位置推定部と、の４つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、外景取得部を有していてもよく、有していなくてもよい。また、この装置は、拡張現実感処理部を有していてもよく、有していなくてもよい。また、この装置は、位置推定部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 使用者に視認される虚像の一例を示す説明図である。 拡張現実感処理の手順を示すフローチャートである。 拡張現実感処理のステップＳ１０２について説明するための説明図である。 拡張現実感処理のステップＳ１０４について説明するための説明図である。 拡張現実感処理のステップＳ１０６について説明するための説明図である。 拡張現実感処理のステップＳ１０８について説明するための説明図である。 画像１および画像２の一例である。 拡張現実感処理のステップＳ１１０について説明するための説明図である。 拡張現実感処理のステップＳ１１２について説明するための説明図である。 第２実施形態におけるＨＭＤの構成を機能的に示すブロック図である。 第２実施形態における拡張現実感処理の手順を示すフローチャートである。 拡張現実感処理のステップＳ２０４（方法ａ２）の一例について説明する図である。 拡張現実感処理のステップＳ２０４（方法ａ２）の他の例について説明する図である。 使用者の動きを誘発するための虚像の一例を示す図である。 使用者の動きを誘発するための虚像の他の例を示す図である。 使用者の動きを誘発するための虚像の他の例を示す図である。 拡張現実感処理のステップＳ２０４（条件ｂ）について説明する図である。 拡張現実感処理のステップＳ２０４（条件ｂ）について説明する図である。 変形例におけるＨＭＤの外観の構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本実施形態では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データーに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、外側カメラ６１と、内側カメラ６２と、９軸センサー６６と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

外側カメラ６１は、使用者が画像表示部２０を装着した際の右側のこめかみに対応する位置に配置されている。外側カメラ６１は、画像表示部２０の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得する。外側カメラ６１はいわゆる可視光カメラであり、外側カメラ６１により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。外側カメラ６１は、「外景取得部」および「外景情報取得手段」として機能し、外景画像は「外景情報」として機能する。

なお、外景取得部は、使用者の視界方向の外景の特徴を少なくとも含む「外景情報」を取得可能な限りにおいて、任意の構成を採用することができる。例えば、外景取得部は可視光カメラに代えて、赤外線センサー、超音波センサー、レーダー等によって構成されていてもよい。この場合、センサーやレーダーによる検出値が「外景の特徴」として機能する。

内側カメラ６２は、使用者が画像表示部２０を装着した際の右側のこめかみに対応する位置に配置されている。内側カメラ６２は、画像表示部２０の裏側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の左右の眼を撮像し、使用者の眼の画像を取得する。内側カメラ６２は、外側カメラ６１と同様のいわゆる可視光カメラである。内側カメラ６２は、「眼画像取得部」として機能する。内側カメラ６２は、拡張現実感処理において、外側カメラ６１と使用者の眼との間の距離を推定するために用いられる。このため、内側カメラ６２は、外側カメラ６１の近傍に配置されていることが好ましい。

９軸センサー６６は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する「第１の動き検出部」として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０はＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、および、電源スイッチ１８に対する操作入力に応じた信号を取得する。なお、入力情報取得部１１０は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。また、例えば、画像表示部２０に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。また、例えば、外側カメラ６１を用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部１１０は、使用者からの操作入力を取得することができる。

記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部１２０は、焦点距離１２２と、移動量閾値１２４とを含んでいる。

焦点距離１２２は外側カメラ６１の焦点距離を予め記憶しておくための記憶領域である。焦点距離１２２に記憶されている外側カメラ６１の焦点距離には、デフォルト値として所定の値が格納されている。焦点距離１２２に記憶されている所定の値は、使用者による変更を受け付けてもよい。移動量閾値１２４には、後述の拡張現実感処理において、外側カメラ６１による２回目の撮像を行うための「外側カメラ６１の移動量」を表す閾値が格納されている。移動量閾値１２４に記憶されている閾値は、使用者による変更を受け付けてもよい。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）といった所定の無線通信規格に則って他の機器との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、ＨＭＤ１００の使用者の現在位置を検出し、使用者の現在位置情報を表す現在位置情報を生成する。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、ＯＳ１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０、位置推定部１４２、ＡＲ（Augmented Reality）処理部１４４として機能する。

位置推定部１４２は、後述の拡張現実感処理において、現実世界に存在するオブジェクトの、外側カメラ６１に対する位置を推定する。また、位置推定部１４２は、後述の拡張現実感処理において、使用者の右眼ＬＥおよび左眼ＲＥの、外側カメラ６１に対する位置を推定する。ＡＲ処理部１４４は、位置推定部１４２と協働することによって、拡張現実感処理を実現する。拡張現実感処理とは、拡張現実感を実現させるための処理であり、換言すれば、現実世界に存在するオブジェクトを拡張（付加）するための付加提示用の情報（例えば文字や画像等）を表す画像を表示させる処理である。なお、ＡＲ処理部１４４は、「拡張現実感処理部」に相当する。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、コンテンツに含まれる画像信号を取得し、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデーターの画像データーＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、左右のＬＣＤ制御部２１１、２１２による左右のＬＣＤ２４１、２４２の駆動ＯＮ／ＯＦＦや、左右のバックライト制御部２０１、２０２による左右のバックライト２２１、２２２の駆動ＯＮ／ＯＦＦを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、外側カメラ６１と、内側カメラ６２と、９軸センサー６６とを備えている。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。詳細な説明は省略する。

図３は、使用者に視認される虚像の一例を示す説明図である。図３（Ａ）は、通常の表示処理中の使用者の視野ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認する。図３（Ａ）の例では、虚像ＶＩは、ＨＭＤ１００のＯＳの待ち受け画面である。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のＨＭＤ１００の使用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後に外景ＳＣとを見ることができる。また、視野ＶＲのうち虚像ＶＩが表示されていない部分については、光学像表示部を透過して、外景ＳＣを直接見ることができる。

図３（Ｂ）は、拡張現実感処理中の使用者の視野ＶＲを例示している。拡張現実感処理において、ＡＲ処理部１４２は、現実世界に存在するオブジェクトに付加するための付加提示用の情報（例えば文字や画像等）を表す画像データーを生成し、生成した画像データーを画像表示部２０へ送信する。ここで、「現実世界に存在するオブジェクト」とは、使用者を取り巻く現実環境に含まれている任意の物を意味する。以降、現実世界に存在するオブジェクトであって、拡張現実感処理の対象となるオブジェクトを「対象オブジェクト」とも呼ぶ。対象オブジェクトは、任意の方法で決定することができる。例えば、使用者が視認している外景ＳＣに含まれている全てのオブジェクトを対象オブジェクトとしてもよい。外景ＳＣに含まれているオブジェクトの中から使用者が選択した一部のオブジェクトを、対象オブジェクトとしてもよい。外景ＳＣに含まれているオブジェクトの中から、ＨＭＤ１００において再生されているコンテンツや、ＨＭＤ１００において実行されているアプリケーションに応じて選択された一部のオブジェクトを、対象オブジェクトとしてもよい。また、「オブジェクトに付加する」とは、対象オブジェクトに対して情報を付加、削除、強調、減衰等させることを意味する。以降、対象オブジェクトに付加、削除、強調、減衰等される情報（付加提示用の情報）を「仮想オブジェクト」とも呼ぶ。図３（Ｂ）の例では、外景ＳＣに含まれる現実の道（対象オブジェクト）の上に重なるように、リンゴを表す画像ＶＯＢ（仮想オブジェクトＶＯＢ）が虚像ＶＩとして表示されている。これにより、使用者は、あたかも何もない道の上に、リンゴが落ちているような感覚を得ることができる。

Ａ−２．拡張現実感処理：
図４は、拡張現実感処理の手順を示すフローチャートである。拡張現実感処理は、ＯＳ１５０や任意のアプリケーションからの処理開始要求をトリガーとして開始される。

図５は、拡張現実感処理のステップＳ１０２について説明するための説明図である。図４のステップＳ１０２において位置推定部１４２は、外側カメラ６１に撮像を指示し、拡張現実感処理の対象オブジェクトＴＯＢ（図５）を含む、ＨＭＤ１００の使用者の視界方向の外景画像を取得する。位置推定部１４２は、取得した外景画像を記憶部１２０に記憶する。なお、説明の便宜上、ステップＳ１０２において取得された外景画像を「画像１」とも呼ぶ。画像１は「第１の外景情報」として機能する。また、図示の便宜上、図５〜７、図１０、図１１では、外側カメラ６１を強調して記載している。

図６は、拡張現実感処理のステップＳ１０４について説明するための説明図である。図４のステップＳ１０４において位置推定部１４２は、ステップＳ１０２で画像１を取得した時を起点とする外側カメラ６１の移動量Ｍ２（図６）が、移動量閾値１２４に格納されている閾値以上となったか否かを判定する。具体的には、位置推定部１４２は、９軸センサー６６からＨＭＤ１００の使用者の頭部の動き（速度、加速度、角速度、向き、向きの変化）を繰り返し取得する。そして、位置推定部１４２は、取得した頭部の回転量Ｍ１から、画像１を取得した時を起点とする外側カメラ６１の移動量Ｍ２を推定する。このように、本実施形態の位置推定部１４２は、ＨＭＤ１００を装着した使用者の頭部の動きを用いて、外側カメラ６１の移動量を推定している。

その後、図４のステップＳ１０４において、推定した外側カメラ６１の移動量Ｍ２が移動量閾値１２４の閾値未満である場合、位置推定部１４２は、処理をステップＳ１０４へ遷移させ、移動量Ｍ２の監視を継続する。一方、推定した外側カメラ６１の移動量Ｍ２が移動量閾値１２４の閾値以上である場合、位置推定部１４２は、処理をステップＳ１０６へ遷移させる。

図７は、拡張現実感処理のステップＳ１０６について説明するための説明図である。図４のステップＳ１０６において位置推定部１４２は、外側カメラ６１に撮像を指示し、拡張現実感処理の対象オブジェクトＴＯＢ（図７）を含む、ＨＭＤ１００の使用者の視界方向の外景画像を取得する。位置推定部１４２は、取得した外景画像をステップＳ１０２の画像１と区別可能な態様で、記憶部１２０に記憶する。なお、説明の便宜上、ステップＳ１０６において取得された外景画像を「画像２」とも呼ぶ。画像２は「第２の外景情報」として機能する。

図４のステップＳ１０８において位置推定部１４２は、画像１と画像２との視差から、ステレオ画像処理の技術を用いて、外側カメラ６１に対する対象オブジェクトの位置を推定する。なお、位置推定部１４２が推定する「位置」には、ＨＭＤ１００と対象オブジェクトとの間の距離と、ＨＭＤ１００に対する対象オブジェクトの方向と、が含まれる。具体的には、位置推定部１４２は、以下のようにして、外側カメラ６１に対する対象オブジェクトＴＯＢの位置を推定することができる。

図８は、拡張現実感処理のステップＳ１０８について説明するための説明図である。図９は、画像１および画像２の一例である。図８において、画像１の撮像の焦点をＰ１とし、画像２の撮像の焦点をＰ２とする。また、画像１の撮像面ＰＰ１における対象オブジェクトＴＯＢの投影点をｍ（ｘ１,ｙ１）とし、画像２の撮像面ＰＰ２における対象オブジェクトＴＯＢの投影点をｍ（ｘ２,ｙ２）とする。さらに、対象オブジェクトＴＯＢの実際の空間上の点をＴＯＢ（Ｘ,Ｙ,Ｚ）とする。ＯＡ１はステップＳ１０２の外側カメラ６１の平行光軸、ＯＡ２はステップＳ１０６の外側カメラ６１の平行光軸である。

使用者の頭部の回転に伴う外側カメラ６１の移動は、すなわち、水平方向の移動である。このため、上記においてｙ１＝ｙ２となる。このとき、対象オブジェクトＴＯＢの実際の空間上の点ＴＯＢ（Ｘ,Ｙ,Ｚ）と、画像１の対象オブジェクトＴＯＢの投影点ｍ（ｘ１,ｙ１）と、画像２の対象オブジェクトＴＯＢの投影点ｍ（ｘ２,ｙ２）とは、以下の式１〜３で表すことができる。
Ｚ＝（Ｍ２×ｆ）／（ｘ１−ｘ２） ・・・（式１）
Ｘ＝（Ｚ／ｆ）×ｘ２ ・・・（式２）
Ｙ＝（Ｚ／ｆ）×ｙ２ ・・・（式３）
ここで、焦点Ｐ１と焦点Ｐ２との間の距離は外側カメラ６１の移動量Ｍ２とみなすことができる。また、焦点Ｐ１と撮像面ＰＰ１との間の距離ｆ、および、焦点Ｐ２と撮像面ＰＰ２との間の距離ｆは、焦点距離１２２に予め記憶されている外側カメラ６１の焦点距離である。

従って、位置推定部１４２は、画像１と画像２との視差ＰＡ（ｘ１−ｘ２）（図９）をまず計測する。位置推定部１４２は、計測した視差ＰＡと、上記式１〜３と、移動量Ｍ２と、焦点距離１２２の焦点距離ｆと、を用いて、対象オブジェクトＴＯＢの実際の空間上の点ＴＯＢ（Ｘ,Ｙ,Ｚ）を求めることができる。なお、視差ＰＡを計測するための基準点は任意に定めることができる。例えば、位置推定部１４２は、対象オブジェクトのエッジＥＧ（図９）を、視差ＰＡを計測するための基準点とすることができる。エッジは、一般的に知られるエッジ検出のアルゴリズム（画像の明るさが鋭敏に変化している箇所を特定するアルゴリズム）によって簡便に求めることができる。エッジは連続した点の集合（線）として検出されることが多いため、このようにすれば、位置推定部１４２は、１つの点を基準点とする場合と比較して、精度よく画像１、２間の視差を求めることができる。なお、エッジは「特徴」として機能する。

図１０は、拡張現実感処理のステップＳ１１０について説明するための説明図である。図４のステップＳ１１０において位置推定部１４２は、外側カメラ６１に対する使用者の右眼ＲＥ（図１０）の位置を推定する。具体的には、位置推定部１４２は、内側カメラ６２に対して撮像を指示し、使用者の眼の画像を取得する。位置推定部１４２は、得られた眼の画像を画像解析することで得られた使用者の右眼ＲＥの大きさに基づいて、ＨＭＤ１００の外側カメラ６１に対する右眼ＲＥの位置ＲＥ（ｘ,ｙ,ｚ）を推定する。

図１１は、拡張現実感処理のステップＳ１１２について説明するための説明図である。図４のステップＳ１１２において位置推定部１４２は、対象オブジェクトＴＯＢの位置と、右眼ＲＥの位置とから、右画面上における仮想オブジェクトの表示位置を推定する。具体的には、位置推定部１４２は、ステップＳ１０８で推定した対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）と、ステップＳ１１０で推定した使用者の右眼ＲＥの位置ＲＥ（ｘ,ｙ,ｚ）と、の延長線上に対応する右光学像表示部２６の座標ＣＯを算出する。

図４のステップＳ１１４において位置推定部１４２は、ステップＳ１１２で算出した座標ＣＯをＡＲ処理部１４４へ送信する。その後、ＡＲ処理部１４４は、右光学像表示部２６の座標ＣＯを、右ＬＣＤ２４１の座標ＣＯｘに変換する。その後、ＡＲ処理部１４４は、座標ＣＯｘに仮想オブジェクトを配置した右眼用画像データーＤａｔａ１を生成し、右眼用画像データーＤａｔａ１を画像処理部１６０へ送信する。なお、ＡＲ処理部１４４は、座標ＣＯｘに基づいて仮想オブジェクトの配置を行えば足りる。このため、ＡＲ処理部１４４は、座標ＣＯｘに基づいて決定された任意の場所（例えば、座標ＣＯｘから所定の距離だけ離れた場所等）に仮想オブジェクトを配置することができる。

図４のステップＳ１２０〜Ｓ１２４において位置推定部１４２は、使用者の左眼ＬＥに対して、ステップＳ１１０〜Ｓ１１４で説明した処理と同様の処理を実施する。すなわち、ステップＳ１２０において位置推定部１４２は、外側カメラ６１に対する使用者の左眼ＬＥの位置を推定する。ステップＳ１２２において位置推定部１４２は、対象オブジェクトＴＯＢの位置と左眼ＬＥの位置とから左画面上（左光学像表示部２８）における仮想オブジェクトの表示位置を推定する。ステップＳ１２４においてＡＲ処理部１４４は、左光学像表示部２８の座標を左ＬＣＤ２４２の座標に変換し、変換後の座標に仮想オブジェクトを配置した左眼用画像データーＤａｔａ２を生成、画像処理部１６０へ送信する。

画像処理部１６０は、受信した右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを画像表示部２０へ送信する。その後、図２で説明した表示処理が実行されることで、図３（Ｂ）で説明したように、ＨＭＤ１００の使用者は、視野ＶＲに、立体的な仮想オブジェクトＶＯＢを視認することができる。

なお、上記実施形態において位置推定部１４２は、画像１、２の２つの画像を用いて、外側カメラ６１に対する対象オブジェクトの位置を推定した。しかし、位置推定部１４２は、３つ以上の画像を用いることで、外側カメラ６１に対する対象オブジェクトの位置を推定してもよい。３つ以上の画像を用いることとすれば、対象オブジェクトの位置の推定の精度を向上させることができる。

上記拡張現実感処理によれば、位置推定部１４２は、外景取得部（外側カメラ６１）によって経時的に取得された少なくとも２つの外景情報（第１の外景情報として機能する画像１、第２の外景情報として機能する画像２）に基づいて、頭部装着型表示装置（ＨＭＤ１００）の外景取得部に対する対象オブジェクトＴＯＢの位置を推定する。このため、単一の外景情報取得手段（例えば単眼カメラ）を用いて現実世界に存在する任意の対象オブジェクトＴＯＢの位置を把握することが可能な頭部装着型表示装置を提供することができる。また、拡張現実感処理部（ＡＲ処理部１４４）は、推定された対象オブジェクトＴＯＢの位置に基づいて、対象オブジェクトＴＯＢに付加するための仮想オブジェクトＶＯＢを表す虚像ＶＩを画像表示部２０に形成させる。このため、現実世界のオブジェクトである対象オブジェクトＴＯＢと、虚像として表示される仮想オブジェクトＶＯＢと、の間のずれを小さくすることができる。

さらに、上記拡張現実感処理によれば、位置推定部１４２における対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）の推定の精度を向上させることができる。例えば、上記実施形態で説明したように、外景取得部（外側カメラ６１）の移動量が所定量（移動量閾値１２４）以上である場合に、位置推定部１４２が第２の外景情報（画像２）を取得することとする。そうすれば、この所定量（移動量閾値１２４）を適宜設計することによって、位置推定部１４２は、外景情報に含まれる外景の特徴（エッジ）の相違（視差ＰＡ、図９）が大きな第１の外景情報（画像１）と、第２の外景情報（画像２）と、を用いて、対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）を推定することができる。

さらに、上記拡張現実感処理によれば、位置推定部１４２は、使用者の頭部の動き（回転量Ｍ１）を用いて外景取得部（外側カメラ６１）の移動量Ｍ２（図６）を推定し、第２の外景情報（画像２）を取得することができる。このため、位置推定部１４２は、使用者が頭部を動かしたことに伴い生じた第１、２の外景情報（画像１、２）に含まれる外景の特徴（エッジ）の相違（視差ＰＡ、図９）を用いて、対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）を推定することができる。

さらに、上記拡張現実感処理によれば、拡張現実感処理部１４４は、対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）と使用者の眼の位置（ＲＥ（ｘ,ｙ,ｚ）、ＬＥ（ｘ,ｙ,ｚ））との延長線上に対応する光学像表示部（右光学像表示部２６、左光学像表示部２８）の位置に基づいて、仮想オブジェクトＶＯＢの位置を決定する。すなわち、拡張現実感処理部１４４は、光学像表示部越しに使用者が視認する対象オブジェクトＴＯＢの位置に基づいて、仮想オブジェクトＶＯＢの位置を決定することができる。この結果、拡張現実感処理部１４４は、対象オブジェクトＴＯＢに付加するための仮想オブジェクトＶＯＢを、使用者に違和感を覚えさせない位置に表示させることが可能となる。

さらに、上記拡張現実感処理によれば、位置推定部１４２は、眼画像取得部（内側カメラ６２）によって取得された眼の画像に基づいて、頭部装着型表示装置（ＨＭＤ１００）の外景取得部（外側カメラ６１）に対する使用者の眼の位置（ＲＥ（ｘ,ｙ,ｚ）、ＬＥ（ｘ,ｙ,ｚ））を推定することができる。また、眼画像取得部は、外景取得部の近傍に配置されている。このため、位置推定部１４２が使用者の眼の位置を推定する際の精度を向上させることができる。

Ｂ．第２実施形態：
本発明の第２実施形態では、位置推定部における第２の外景情報の取得トリガーにバリエーションを持たせた構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。図中において第１実施形態と同様の符号が付されている構成および処理は、第１実施形態と同様である。

Ｂ−１．頭部装着型表示装置の構成：
図１２は、第２実施形態におけるＨＭＤ１００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ａを備える点である。制御部１０ａは、移動量閾値１２４に代えて移動量閾値１２４ａを備え、位置推定部１４２に代えて位置推定部１４２ａを備え、さらに、誘発部１４６を備えている。

移動量閾値１２４ａには、第２実施形態の拡張現実感処理において用いられる２つの閾値（第１の閾値、第２の閾値）が予め格納されている。第１の閾値は、第１実施形態と同様に「外側カメラ６１の移動量」を表す閾値である。第２の閾値は、「外景の特徴の相違」を表す閾値である。なお、移動量閾値１２４ａに記憶されている第１、２の閾値は、それぞれ、使用者による変更が可能であってもよい。位置推定部１４２ａは、拡張現実感処理における処理内容が第１実施形態と異なる。誘発部１４６は、拡張現実感処理において、使用者の動きを誘発するための虚像を、画像表示部２０に形成させる。

Ｂ−２．拡張現実感処理：
図１３は、第２実施形態における拡張現実感処理の手順を示すフローチャートである。図４に示した第１実施形態との違いは、ステップＳ１０２〜Ｓ１０６に代えてステップＳ２０２〜Ｓ２０６を備える点である。

ステップＳ２０２において位置推定部１４２ａは、外側カメラ６１によって撮像された外景画像（図５に示す拡張現実感処理の対象オブジェクトＴＯＢを含んだＨＭＤ１００ａの使用者の視界方向の外景画像）を取得する。本実施形態では、外側カメラ６１は、位置推定部１４２ａの指示によらずに繰り返し外景画像を撮像する構成とする。このため、本ステップにおいて位置推定部１４２ａは、繰り返し撮像されている外景画像から、ステップＳ２０２を実行した時点の１枚を取得する。なお、第１実施形態と同様に、位置推定部１４２ａは、外側カメラ６１に撮像を指示してもよい。位置推定部１４２ａは、取得した外景画像を「画像１」として記憶部１２０に記憶する。画像１は「第１の外景画像」として機能する。

ステップＳ２０４において位置推定部１４２ａは、次の外景画像の取得条件が成立したか否かを判定する。取得条件の詳細は後述する。取得条件が成立しない場合（ステップＳ２０４：ＮＯ）、位置推定部１４２ａは、取得条件の成立を監視する。

取得条件が成立した場合（ステップＳ２０４：ＹＥＳ）、ステップＳ２０６において位置推定部１４２ａは、外側カメラ６１により繰り返し撮像されている外景画像から、ステップＳ２０６を実行した時点の１枚を取得する。位置推定部１４２ａは、取得した外景画像を「画像２」として記憶部１２０に記憶する。画像２は「第２の外景画像」として機能する。

以降の処理は、図４で説明した第１実施形態と同様である。

図１３のステップＳ２０４の「次の外景画像の取得条件」について説明する。本実施形態における取得条件は、以下に示す条件ａ、ｂである。位置推定部１４２ａは、条件ａを単独で採用してもよく、条件ｂを単独で採用してもよい。また、位置推定部１４２ａは、条件ａ、ｂの両方を採用して、ステップＳ２０４においていずれか一方の条件が成立したか否かを判定してもよい。
（ａ）外側カメラ６１の移動量が所定量以上となった場合
（ｂ）外景情報に含まれる外景の特徴の相違が所定量以上となった場合

Ｂ−２−１．条件ａ（外側カメラ６１の移動量が所定量以上となった場合）：
条件ａを採用した場合、位置推定部１４２ａは、ステップＳ２０２で画像１を取得した時を起点とする外側カメラ６１の移動量Ｍ２（図６）が、移動量閾値１２４ａに格納されている第１の閾値以上となったか否かを判定する。位置推定部１４２ａは、外側カメラ６１の移動量Ｍ２を、少なくとも、以下の方法ａ１〜ａ３のいずれかを用いて推定する。方法ａ１〜ａ３は組み合わせて使用されてもよい。

（ａ１）方法ａ１において位置推定部１４２ａは、使用者の頭部の動きから外側カメラ６１の移動量を推定する。具体的には、位置推定部１４２ａは、９軸センサー６６から、ＨＭＤ１００ａの使用者の頭部の動きに伴う速度、加速度、角速度、向き、向きの変化（以降、これらを総称して「加速度等」とも呼ぶ。）を繰り返し取得する。

頭部の動きが回転移動であった場合、位置推定部１４２ａは、取得した加速度等から頭部の回転量Ｍ１（図６）を求める。位置推定部１４２ａは、求めた回転量Ｍ１から外側カメラ６１の移動量Ｍ２を求めることで、外側カメラ６１の移動量M２を推定する。具体的には、頭部の動きがＸ，Ｙ，Ｚ軸の直線移動や曲線移動であった場合、位置推定部１４２ａは、取得した加速度等から頭部の移動量を求める。位置推定部１４２ａは、求めた移動量を外側カメラ６１の移動量Ｍ２とみなすことで、外側カメラ６１の移動量を推定する。このように、頭部の動き、および、外側カメラ６１の動きには、回転移動に限らず、Ｘ，Ｙ，Ｚ軸方向の直線移動や曲線移動も含まれる。以降の方法ａ２、ａ３についても同様である。なお、このとき、９軸センサー６６は、使用者の頭部の動きを検出する「第１の動き検出部」として機能する。

このように、方法ａ１によれば、位置推定部１４２ａは、使用者の頭部の動きを用いて外景取得部（外側カメラ６１）の移動量Ｍ２（図６）を推定し、第２の外景情報（画像２）を取得することができる。使用者の頭部の動きは、使用者が意識的に行ったものでも、使用者が無自覚に行ったものでもよい。位置推定部１４２ａは、使用者が頭部を動かしたことに伴い生じた第１、２の外景情報（画像１、２）に含まれる外景の特徴（エッジ）の相違（視差ＰＡ、図９）を用いて、対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）を推定することができる。

（ａ２）方法ａ２において位置推定部１４２ａは、使用者の体の動きから外側カメラ６１の移動量を推定する。

図１４は、拡張現実感処理のステップＳ２０４（方法ａ２）の一例について説明する図である。図１４において、上段は歩行中の使用者ＵＳの頭部の鉛直方向における変化の推移を表し、下段は歩行中の使用者ＵＳの頭部の水平方向における変化の推移を表す。歩行中の使用者ＵＳの頭部の位置は、時間の経過（ｔ１〜ｔ５）に伴い、鉛直方向に沿って周期的に変化し、軌跡Ｏ１を描く（図１４、上段）。同時に、歩行中の使用者ＵＳの頭部の位置は、時間の経過（ｔ１〜ｔ５）に伴い、水平方向に沿って周期的に変化し、軌跡Ｏ２を描く（図１４、下段）。時刻ｔ１、ｔ３、ｔ５に示すように、使用者ＵＳの足が地面ＧＲに着地した際、着地に伴う衝撃Ｂ１、B２、B３が生じる。このとき、外側カメラ６１の位置Ｐ１、Ｐ２、Ｐ３は、使用者の歩幅の大きさだけ移動している。

位置推定部１４２ａは、９軸センサー６６によって検出される速度、加速度、角速度、向き、向きの変化（以降、これらを総称して「加速度等」とも呼ぶ。）を繰り返し取得する。このとき、９軸センサー６６は、使用者の体の動きを検出する「第２の動き検出部」として機能する。位置推定部１４２ａは、取得した加速度等の変化量に基づいて、歩行中の着地に伴う衝撃Ｂ１〜Ｂ３を検出する。位置推定部１４２ａは、衝撃を検出した際に、前回の衝撃検出時からの外側カメラ６１の移動量は、使用者の歩幅の大きさであるとみなすことができる。なお、使用者の歩幅の大きさは、予め記憶部１２０に記憶されていてもよいし、加速度等の変化量に基づいて求められてもよい。方法ａ２の一例では、このようにして外側カメラ６１の移動量を推定する。

なお、使用者の体の動きに伴う衝撃であれば、歩行中の着地以外の場合（例えば、使用者が走っている場合、スキップしている場合、躓いた場合等）にも、上記の方法を採用可能である。

図１５は、拡張現実感処理のステップＳ２０４（方法ａ２）の他の例について説明する図である。この例では、使用者は、ＨＭＤ１００ａとは別に、腕に３軸加速度センサーを装着する。３軸加速度センサーは、例えば、アームバンド、腕時計、ブレスレット、指輪等、使用者が腕に装着する物に内蔵されていてもよい。図１５は、歩行中の使用者の腕に装着された加速度センサーの検出値の推移を表している。Ｘ軸は、前後方向（換言すれば進行方向）の腕の振りによる加速度の変化を、Ｙ軸は、上下方向（換言すれば鉛直方向）の腕の振りによる加速度の変化を、Ｚ軸は、左右方向（換言すれば水平方向）の腕の振りによる加速度の変化を、それぞれ表している。歩行中の使用者の腕の振りによるＸ，Ｙ，Ｚ軸の加速度は、図示のように、時間の経過に伴い周期的に変化する。

位置推定部１４２ａは、腕に装着された加速度センサーによって検出される加速度を、繰り返し取得する。このとき、腕に装着された加速度センサーは、使用者の体の動きを検出する「第２の動き検出部」として機能する。位置推定部１４２ａは、取得したＸ，Ｙ，Ｚ軸の加速度の少なくともいずれか１つについて、周期的な変化の中で特徴のある点（以降、「特徴点」とも呼ぶ。）を検出する。例えば、位置推定部１４２ａは、Ｙ軸の加速度が最も高くなる点ＦＰを特徴点として検出する。位置推定部１４２ａは、特徴点を検出した際に、前回の特徴点検出時からの外側カメラ６１の移動量は、使用者の歩幅の大きさであるとみなすことができる。なお、使用者の歩幅の大きさは、予め記憶部１２０に記憶されていてもよいし、加速度の変化量に基づいて求められてもよい。方法ａ２の他の例では、このようにして外側カメラ６１の移動量を推定する。

このように、方法ａ２によれば、位置推定部１４２ａは、使用者の体の動きを用いて外景取得部（外側カメラ６１）の移動量を推定し、第２の外景情報（画像２）を取得することができる。使用者の体の動きは、使用者が意識的に行ったものでも、使用者が無自覚に行ったものでもよい。位置推定部１４２ａは、使用者が体を動かしたことに伴い生じた第１、２の外景情報（画像１、２）に含まれる外景の特徴（エッジ）の相違（視差ＰＡ、図９）を用いて、対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）を推定することができる。

（ａ３）方法ａ３において位置推定部１４２ａは、使用者の現在位置情報から外側カメラ６１の移動量を推定する。具体的には、位置推定部１４２ａは、ＧＰＳモジュール１３４から、ＨＭＤ１００ａの使用者の移動に伴う現在位置情報の変化を繰り返し取得する。位置推定部１４２ａは、取得した現在位置情報の変化量から、外側カメラ６１の移動量を求める。このとき、ＧＰＳモジュール１３４は、使用者の現在位置情報を取得する「現在位置取得部」として機能する。

なお、使用者の現在位置情報の変化は、ＧＰＳモジュール１３４以外の方法で取得しても良い。例えば、位置推定部１４２ａは、使用者の現在位置情報を自立航法によって求めてもよいし、車載ＧＰＳモジュールから受信してもよい。

このように、方法ａ３によれば、位置推定部１４２ａは、使用者の現在位置情報を用いて（外側カメラ６１）の移動量を推定し、第２の外景情報（画像２）を取得することができる。使用者の移動（現在位置の変化）は、使用者が意識的に行ったものでも、使用者が無自覚に行ったものでもよい。このようにすれば、使用者の動き（頭部の動きや体の動き）を検出する構成を有しないＨＭＤ１００ａにおいても、位置推定部１４２ａは、第２の外景情報（画像２）を取得することができる。

以上のように、ステップＳ２０４の取得条件として条件ａ（外側カメラ６１の移動量が所定量以上となった場合）を採用すれば、位置推定部１４２ａにおける対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）の位置の推定の精度を向上させることができる。例えば、上記実施形態で説明したように、外景取得部（外側カメラ６１）の移動量が所定量（移動量閾値１２４ａの第１の閾値）以上である場合に、位置推定部１４２ａが第２の外景情報（画像２）を取得することとする。そうすれば、この所定量（移動量閾値１２４ａの第１の閾値）を適宜設計することによって、位置推定部１４２ａは、外景情報に含まれる外景の特徴（エッジ）の相違（視差ＰＡ、図９）が大きな第１の外景情報（画像１）と、第２の外景情報（画像２）と、を用いて、対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）を推定することができる。

なお、上述した方法ａ１〜ａ３において、誘発部１４６は、使用者の動き（頭部の動き、体の動き、現在位置の移動）を誘発するための虚像を画像表示部２０に形成させてもよい。

図１６は、使用者の動きを誘発するための虚像ＶＩの一例を示す図である。例えば、誘発部１４６は、使用者の注意を喚起するためのオブジェクトＶＯ１を、視野ＶＲの一端から他端へ移動させる。オブジェクトＶＯ１は画像でもよく、文字列でもよい。オブジェクトＶＯ１は、使用者の注意を引きやすくするために、色相、明度、彩度、大きさ等が調整された画像や文字列であることが好ましい。図１６の例では、人の顔を模した画像ＶＯ１を、視野ＶＲの左端から右端へ移動させている。このようにすれば、誘発部１４６は、オブジェクトＶＯ１を眼で追わせることによって、使用者の頭部の動きを誘発することができる。

図１７および図１８は、使用者の動きを誘発するための虚像ＶＩの他の例を示す図である。図１７は、時刻ｔ１における虚像ＶＩを示し、図１８は、時刻ｔ１よりも後の時刻ｔ２における虚像ＶＩを示している。例えば、図１７に示すように、誘発部１４６は、対象オブジェクトＴＯ２に付加するための仮想オブジェクトＶＯ２を、不完全な形で表示させる。図１７の例では、木に付加するための仮想オブジェクトである「ブナの木」という文字列が、一部切れた不完全な形で表示されている。このようにすれば、誘発部１４６は、不完全なオブジェクトＶＯ２を眼で追わせることによって、使用者の頭部の動きを誘発することができる。図１８の例では、使用者が頭部を回転させて視野ＶＲを右にずらしたことに伴って、木に付加するための仮想オブジェクト「ブナの木」という文字列が完全な形で表示されている。

誘発部１４６は、上述した虚像と共に、または、上述した虚像に代えて、以下に示す画像ｃ１〜ｃ４を表す虚像を画像表示部２０に形成させてもよい。なお、画像ｃ１〜ｃ４は、静止画でもよく、動画でもよい。

（ｃ１）使用者を驚かせることで、頭部の動きや体の動きを誘発するための画像。例えば、使用者の恐怖心を煽り、顔（頭部）や体を背けさせるためのホラー画像、使用者の驚きを煽り、顔（頭部）や体を背けさせるためのフラッシュ画像。
（ｃ２）使用者に動きを指示することで、頭部の動き、体の動き、現在位置の移動を誘発するための画像。例えば、使用者に動きの真似をさせるためのラジオ体操をする人の画像、ヨガをする人の画像、ストレッチをする人の画像、シャドーボクシングをする人の画像。例えば、「ＸＸに行ってください」等、使用者に移動を指示する画像。

（ｃ３）使用者に質問を投げ掛けることで、頭部の動き、体の動きを誘発するための画像。例えば、現在時刻を問い掛ける画像、使用者が居る環境に関する質問を問いかける画像。
（ｃ４）使用者の所定のジェスチャーや所定の動きをさせることで、頭部の動き、体の動きを誘発するための画像。例えば、ＨＭＤ１００ａに対して、使用者が上を向くと虚像ＶＩの輝度が下がり、下を向くと虚像ＶＩの輝度が上がるという機能が予め搭載されているとする。このような場合に、使用者の操作を誘発するために、虚像ＶＩの輝度を上げる（または下げる）。

このように、誘発部１４６が使用者の動き（頭部の動き、体の動き、現在位置の移動）を誘発するための虚像ＶＩを画像表示部２０に形成させることとすれば、位置推定部１４２ａは、第２の外景情報（画像２）を取得しやすくなる。

Ｂ−２−２．条件ｂ（外景情報に含まれる外景の特徴の相違が所定量以上となった場合）：
図１９および図２０は、拡張現実感処理のステップＳ２０４（条件ｂ）について説明する図である。条件ｂは、ＨＭＤ１００ａの使用者は動かず、対象オブジェクトが動く場合に有効である。図１９は、第２実施形態の拡張現実感処理（図１３）のステップＳ２０２（時刻ｔ１）において取得された画像１の一例である。図２０は、外側カメラ６１によって繰り返し撮像されている外景画像のうち、時刻ｔ１より後の時刻ｔ２において撮像された外景画像ＩＭの一例である。

位置推定部１４２ａは、ステップＳ２０２（時刻ｔ１）において取得された画像１に含まれる対象オブジェクトＦＯのエッジＥＧ（特徴）と、時刻ｔ２において撮像された外景画像ＩＭに含まれる対象オブジェクトＦＯのエッジＥＧと、をそれぞれ検出し、両エッジの相違が、移動量閾値１２４ａに格納されている第２の閾値以上となったか否かを判定する。なお、位置推定部１４２ａは、例えば、時刻ｔ１、ｔ２、ｔ３に取得された３枚以上の画像を用いて、対象オブジェクトのエッジの相違を判定してもよい。

以上のように、ステップＳ２０４の取得条件として条件ｂ（外景情報に含まれる外景の特徴の相違が所定量以上となった場合）を採用すれば、位置推定部１４２ａにおける対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）の推定の精度を向上させることができる。例えば、外景情報に含まれる外景の特徴（エッジ）の相違が所定量（移動量閾値１２４ａの第２の閾値）以上である場合に、位置推定部１４２ａが第２の外景情報（画像２）を取得することとする。そうすれば、この所定量（移動量閾値１２４ａの第２の閾値）を適宜設計することによって、位置推定部１４２ａは、外景情報に含まれる外景の特徴（エッジ）の相違が大きな第１の外景情報（画像１）と、第２の外景情報（画像２）と、を用いて、対象オブジェクトＴＯＢの位置ＴＯＢ（Ｘ,Ｙ,Ｚ）を推定することができる。

以上のように、第２実施形態の拡張現実感処理によっても、第１実施形態と同様に、単一の外景情報取得手段（例えば単眼カメラ）を用いて現実世界に存在する任意の対象オブジェクトＴＯＢの位置を把握することが可能な頭部装着型表示装置（ＨＭＤ１００ａ）を提供することができる。

なお、ＨＭＤ１００ａは、ＨＭＤにおいて再生中のコンテンツや、使用者による設定に基づいて、上述した条件ａを採用するか、条件ｂを採用するか、条件ａを採用する場合に方法ａ１〜ａ３のいずれを用いるか、条件ａを採用する場合の使用者の動きを誘発するための虚像の表示の有無および虚像の種類を変更してもよい。このようにすれば、再生中のコンテンツや使用者の好みに応じて、条件等を最適化することが可能となる。

Ｃ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続し、接続部（コード）を廃した態様。なお、この場合において、制御部または画像表示部に対する給電をワイヤレスにより実施してもよい。

例えば、上記実施形態で例示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、上記実施形態では、制御部が送信部を備え、画像表示部が受信部を備えるものとしたが、送信部および受信部はいずれも、双方向通信が可能な機能を備えており、送受信部として機能してもよい。また、例えば、制御部が備えるとした操作用インターフェイス（各種キーやトラックパッド等）の一部を省略してもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

図２１は、変形例におけるＨＭＤの外観の構成を示す説明図である。図２１（Ａ）の例の場合、画像表示部２０ｘは、右光学像表示部２６に代えて右光学像表示部２６ｘを備え、左光学像表示部２８に代えて左光学像表示部２８ｘを備えている。右光学像表示部２６ｘと左光学像表示部２８ｘとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め上にそれぞれ配置されている。図２１（Ｂ）の例の場合、画像表示部２０ｙは、右光学像表示部２６に代えて右光学像表示部２６ｙを備え、左光学像表示部２８に代えて左光学像表示部２８ｙを備えている。右光学像表示部２６ｙと左光学像表示部２８ｙとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤとして実現することもできる。

例えば、制御部が備えるとした各処理部（例えば画像処理部、表示制御部等）は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、ＨＭＤは、両眼タイプの透過型ＨＭＤであるものとしたが、単眼タイプのＨＭＤとしてもよい。また、使用者がＨＭＤを装着した状態において外景の透過が遮断される非透過型ＨＭＤとして構成してもよい。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、通常のディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置、ビーム走査型ディスプレイ等）を採用してもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常のディスプレイ装置のリモコンとして利用することもできる。また、例えば、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたＨＭＤ、手持ち可能なハンドヘルドディスプレイ（ＨＨＤ、Hand Held Display）として構成されてもよい。また、外景の透過が遮断される非透過型ＨＭＤと外側カメラと組合せてビデオシースルー型ＨＭＤとして構成しても良い。

例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

例えば、上記実施形態では、外景取得部（外側カメラ）が画像表示部に内蔵されている構成を例示した。しかし、外景取得部は、画像表示部に取り外し可能に構成されていてもよい。具体的には、例えば、外景取得部として、クリップやアタッチメントを用いて画像表示部に着脱可能なＷＥＢカメラを採用してもよい。このようにしても、外景取得部によって経時的に取得された少なくとも２つの外景情報に基づき、外景取得部に対する対象オブジェクトの位置を推定することができる。なお、対象オブジェクトの位置を推定する際に、画像表示部と外景取得部との相対的な位置を考慮してもよい。画像表示部と外景取得部との相対的な位置は、画像取得部と外景取得部とのそれぞれに変位センサーを設けることによって検出可能である。

例えば、上記実施形態では、外景取得部（外側カメラ）の配置の一例を示した。しかし、外側カメラの配置は任意に変更することができる。例えば、外側カメラは、使用者の眉間に対応する位置に配置されていてもよく、使用者の左側のこめかみに対応する位置に配置されていてもよい。また、外側カメラの画角についても任意に定めることができる。なお、外側カメラの画角を広く（例えば３６０度）した場合、拡張現実感処理において、外側カメラにより得られた外景画像から、対象オブジェクトを含む一部を抽出するステップが実施されてもよい。

・変形例２：
上記実施形態では、拡張現実感処理の一例を示した。しかし、上記実施形態においてに示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

例えば、ステップＳ１０２、Ｓ２０２において位置推定部は、使用者の頭部の動きから外側カメラの移動量を推定することとしたが、外側カメラの近傍にモーションセンサーを付加し、当該モーションセンサーの検出値を用いて直接外側カメラの移動量を取得しても良い。

例えば、ステップＳ１０４、Ｓ２０４において位置推定部は、外側カメラの移動量が移動量閾値に記憶されている閾値以上となったか否かによって画像２を取得するか否かの判定を行った。しかし、位置推定部は、他の条件を用いて画像２を取得するか否かの判定を実施してもよい。例えば、位置推定部は、外側カメラの位置が画像２を取得するに当たって好ましい位置であるか否かを判断の条件としてもよい。「外側カメラの位置が画像２を取得するに当たって好ましい位置」とは、例えば、外側カメラの移動量が所定量以上であり、かつ、外側カメラのｙ軸上の位置（高さ）が画像１を取得した時点から大きな変化が無い場合、とすることができる。外側カメラのｙ軸上の位置（高さ）の条件を加えることとすれば、上記式１〜３における前提（ｙ１＝ｙ２）を担保することができる。

例えば、ステップＳ１０４、Ｓ２０４において位置推定部は、使用者の動き（頭部の動きや体の動き）の速さに応じて、ステップＳ１０４またはＳ２０４において使用する閾値を変更してもよい。この場合、記憶部内の移動量閾値に早さに応じた複数の閾値を格納しておき、使用する閾値を変更してもよい。また、移動量閾値に格納されている閾値に対して、速さに応じた係数を乗じることで、使用する閾値を変更してもよい。なお、使用者の動きの早さは、例えば、９軸センサーによって検出される加速度に基づいて検出可能である。

例えば、ステップＳ１０４、Ｓ２０４において位置推定部は、使用者の動き（頭部の動きや体の動き）の大きさの傾向を学習して、ステップＳ１０４またはＳ２０４において使用する閾値を変更してもよい。

例えば、ステップＳ１０８において位置推定部は、ステレオ画像処理以外の周知の他の技術を利用して、画像１と画像２との視差から、外側カメラに対する対象オブジェクトの位置を推定することができる。

例えば、ステップＳ１０８において位置推定部は、複数の静止画像から外側カメラに対する対象オブジェクトの位置を推定するとした。しかし、位置推定部は、動画像（経時的に取得された複数の静止画像の集合）を用いて、外側カメラに対する対象オブジェクトの位置を推定してもよい。

例えば、ステップＳ１０８において位置推定部は、外景の特徴として、外景画像に含まれるエッジを検出した。しかし、外景の特徴はエッジに限られない。例えば、位置推定部は、対象オブジェクトの特定の位置（例えば中心）や、対象オブジェクトの色を、外景の特徴として用いてもよい。この場合、位置推定部は、例えば、画像解析によって、画像１、２に含まれる対象オブジェクトの特定の位置や色を検出することができる。

例えば、ステップＳ１１０およびＳ１２０において位置推定部は、外側カメラに対する使用者の右眼および左眼の位置を推定することとした。しかし、外側カメラに対する使用者の右眼および左眼の位置は、予め記憶部に記憶されていることとし、ステップＳ１１０およびＳ１２０を省略してもよい。また、位置推定部は、内側カメラで眼の画像を取得することに代えて、超音波や赤外線を用いて、外側カメラに対する使用者の右眼および左眼の位置を推定してもよい。

例えば、上記実施形態において位置推定部が実行するとした処理は、拡張現実感処理部が実行してもよく、拡張現実感処理部が実行するとした処理は、位置推定部が実行してもよい。

例えば、上述した拡張現実感処理は、繰り返し実行されてもよい。図４の拡張現実感処理を繰り返す場合、ＨＭＤは、１回目の処理ではステップＳ１０２〜Ｓ１１４（Ｓ１２４）を実行し、２回目以降の処理ではステップＳ１０４〜Ｓ１１４（Ｓ１２４）を実行する。図１３の拡張現実感処理を繰り返す場合、ＨＭＤは、１回目の処理ではステップＳ２０２〜Ｓ１１４（Ｓ１２４）を実行し、２回目以降の処理ではステップＳ２０４〜Ｓ１１４（Ｓ１２４）を実行する。これらの場合、画像１を画像ｎ（ｎは１以上の整数）と、画像２を画像ｎ＋１と読み替える。

・変形例３：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…外側カメラ（外景取得部）
６２…内側カメラ（眼画像取得部）
６６…９軸センサー（第１の動き検出部、第２の動き検出部）
１１０…入力情報取得部
１００…ＨＭＤ（頭部装着型表示装置）
１２０…記憶部
１２２…焦点距離
１２４…移動量閾値
１３０…電源
１３２…無線通信部
１３４…ＧＰＳモジュール（現在位置取得部）
１４０…ＣＰＵ
１４２…位置推定部
１４４…ＡＲ処理部（拡張現実感処理部）
１４６…誘発部
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＶＩ…虚像
ＶＲ…視野
ＲＥ…右眼
ＬＥ…左眼
ＥＲ…端部
ＥＬ…端部
ＡＰ…先端部
ＶＯＢ…仮想オブジェクト
ＴＯＢ…対象オブジェクト
ＴＯ２…対象オブジェクト
ＶＯ２…仮想オブジェクト
Ｍ１…頭部の回転量
Ｍ２…外側カメラの移動量
ＣＯ…座標
ＥＧ…エッジ
ＵＳ…使用者
ＦＰ…点

Claims (11)

1. 使用者が虚像と外景とを視認可能な頭部装着型表示装置であって、
   前記使用者に前記虚像を視認させる画像表示部と、
   前記使用者の視界方向の外景の特徴を少なくとも含む外景情報を取得する外景取得部と、
   前記外景取得部によって経時的に取得された少なくとも２つの前記外景情報に基づいて、現実世界に存在する任意の対象オブジェクトの位置を推定する位置推定部と、
   推定された前記対象オブジェクトの位置に基づいて、前記対象オブジェクトに付加するための仮想オブジェクトを表す前記虚像を、前記画像表示部に形成させる拡張現実感処理部と、
   前記使用者の動きを誘発するための前記虚像を、前記画像表示部に形成させる誘発部と、
   を備え、
   前記位置推定部は、第１の外景情報と、前記第１の外景情報の取得後に前記外景取得部の移動量に応じて取得された第２の外景情報と、を用いて前記対象オブジェクトの位置を推定し、
   前記使用者の動きを誘発するための前記虚像は、前記画像表示部の端に表示される一部が切れた不完全な虚像である、
   頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、さらに、
   前記使用者の頭部の動きを検出する第１の動き検出部を備え、
   前記位置推定部は、前記第１の動き検出部によって検出された前記頭部の動きから、前記外景取得部の移動量を推定する、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、さらに、
   前記使用者の体の動きを検出する第２の動き検出部を備え、
   前記位置推定部は、前記第２の動き検出部によって検出された前記体の動きから、前記外景取得部の移動量を推定する、頭部装着型表示装置。
4. 請求項１から請求項３のいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記使用者の現在位置情報を取得する現在位置取得部を備え、
   前記位置推定部は、前記現在位置取得部によって取得された前記現在位置情報から、前記外景取得部の移動量を推定する、頭部装着型表示装置。
5. 請求項１から請求項４のいずれか一項に記載の頭部装着型表示装置であって、
   前記位置推定部は、
   前記第１の外景情報と前記第２の外景情報との間の視差を求め、
   求めた前記視差と、前記外景取得部の移動量と、前記外景取得部の焦点距離と、を用いて、前記対象オブジェクトの位置を推定する、頭部装着型表示装置。
6. 請求項５に記載の頭部装着型表示装置であって、
   前記位置推定部は、前記第１の外景情報に含まれる前記対象オブジェクトのエッジと、前記第２の外景情報に含まれる前記対象オブジェクトのエッジと、を基準として、前記視差を求める、頭部装着型表示装置。
7. 請求項１から請求項６のいずれか一項に記載の頭部装着型表示装置であって、
   前記画像表示部は、前記使用者の眼前に前記虚像を形成する光学像表示部を備え、
   前記位置推定部は、さらに、
   推定された前記対象オブジェクトの位置と、前記使用者の眼の位置と、の延長線上に対応する前記光学像表示部の位置を算出し、
   前記拡張現実感処理部は、
   算出された前記光学像表示部の位置に基づいて、前記仮想オブジェクトの位置を決定する、頭部装着型表示装置。
8. 請求項７に記載の頭部装着型表示装置であって、さらに、
   前記使用者の眼の画像を取得する眼画像取得部を備え、
   前記位置推定部は、さらに、
   前記眼画像取得部によって取得された前記眼の画像を画像解析して、前記使用者の眼の大きさを取得し、取得した前記眼の大きさに基づいて前記使用者の眼の位置を推定する、頭部装着型表示装置。
9. 請求項８に記載の頭部装着型表示装置であって、
   前記眼画像取得部は、前記外景取得部の近傍に配置されている、頭部装着型表示装置。
10. 画像表示部と外景取得部とを備える頭部装着型表示装置を制御する方法であって、
    （ａ）前記画像表示部により前記頭部装着型表示装置の使用者に虚像を視認させる工程と、
    （ｂ）前記外景取得部により前記使用者の視界方向の外景の特徴を少なくとも含む外景情報を取得する工程と、
    （ｃ）経時的に取得された少なくとも２つの前記外景情報に基づいて、現実世界に存在する任意の対象オブジェクトの位置を推定する工程と、
    （ｄ）推定された前記対象オブジェクトの位置に基づいて、前記対象オブジェクトに付加するための仮想オブジェクトを表す前記虚像を、前記工程（ａ）により形成させる工程と、
    （ｅ）前記使用者の動きを誘発するための前記虚像を、前記工程（ａ）によりに形成させる工程と、
    を含み、
    前記工程（ｃ）では、第１の外景情報と、前記第１の外景情報の取得後に前記外景取得部の移動量に応じて取得された第２の外景情報と、を用いて前記対象オブジェクトの位置を推定し、
    前記使用者の動きを誘発するための前記虚像は、前記画像表示部の端に表示される一部が切れた不完全な虚像である、
    方法。
11. コンピュータープログラムであって、
    画像表示部と外景取得部とを備える頭部装着型表示装置の使用者に前記画像表示部により虚像を視認させる形成機能と、
    前記外景取得部により前記使用者の視界方向の外景の特徴を少なくとも含む外景情報を取得する取得機能と、
    経時的に取得された少なくとも２つの前記外景情報に基づいて、現実世界に存在する任意の対象オブジェクトの位置を推定する推定機能と、
    推定された前記対象オブジェクトの位置に基づいて、前記対象オブジェクトに付加するための仮想オブジェクトを表す前記虚像を、前記形成機能により形成させる拡張現実感機能と、
    前記使用者の動きを誘発するための前記虚像を、前記形成機能により形成させる誘発機能と、
    をコンピューターに実現させるための、コンピュータープログラムであり、
    前記推定機能は、第１の外景情報と、前記第１の外景情報の取得後に前記外景取得部の移動量に応じて取得された第２の外景情報と、を用いて前記対象オブジェクトの位置を推定し、
    前記使用者の動きを誘発するための前記虚像は、前記画像表示部の端に表示される一部が切れた不完全な虚像である、
    コンピュータープログラム。

Images