JP6394108B2 - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

Description

本発明は、頭部装着型表示装置およびその制御方法、並びにコンピュータープログラムに関する。

近年、頭部に装着する表示装置である頭部装着型表示装置が知られている。この頭部装着型表示装置は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）とも呼ばれ、使用者がＨＭＤ装置を装着した状態で外景を見ることが可能なシースルー型ＨＭＤがある。シースルー型ＨＭＤは、液晶パネル等の光変調素子によって生成された画像光を、使用者の眼前に配置した光学系等で反射させることによって、使用者の視野領域に外景（実像）とともに虚像としての画像を形成する。

従来、シースルー型ＨＭＤでは、前記画像として文章を表示することが行われている（特許文献１、２参照）。これにより、使用者は、なんらかの作業等を行いながら、文章情報の提供を受けることができる。かかる形態の一つとして、プレゼンテーションや朗読の場において、話す内容を文章で示した台本画像をシースルー型ＨＭＤに表示させることが考えられる。

特開２０１４−５６２１７号公報 特開２０１３−１６０２０号公報 特開２００３−３４５３３５号公報 特開２０１０−１３９９０１号公報 特許第３８９８８１６号公報

前記従来のシースルー型ＨＭＤをプレゼンテーションや朗読の場において用いた場合、使用者は、外景としての聴衆と台本画像との間で頻繁に焦点距離を切り替えながら文字を読む作業を行う必要がある。このために、前記従来の技術によれば、使用者の目に大きな負担を与えてしまう問題があった。また、文章をどこまで読んだかを見失い易いという問題があった。そのほか、従来の頭部装着型表示装置においては、装置構成のコンパクト化や、低コスト化、省資源化、製造の容易化、使用者の利便性の向上等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
透過型の頭部装着型表示装置であって、
使用者に画像を視認させるとともに、外景を透過し得る画像表示部と、
前記使用者の視線の向きを検出する視線方向検出部と、
前記視線の向きに存在する物体までの距離を取得する距離取得部と、
前記使用者の作業を支援する支援画像を前記画像表示部に表示する支援画像表示制御部と、
前記外景を撮影する外景撮影部と、
前記外景撮影部によって得られた撮影画像から人物の顔を検出し、検出結果として顔の領域の位置およびサイズを得る顔検出処理部と、
を備え、
前記支援画像表示制御部は、
前記支援画像の焦点距離が、前記距離取得部によって取得された前記距離に対応した長さとなり、前記支援画像の位置が、前記外景の一部として前記使用者が視認する前記物体の像の付近となるように、前記支援画像の表示を行い、
前記距離取得部は、
前記顔検出処理部によって検出された人物の顔の中から最も大きい最大顔を選択し、前記撮影画像における前記最大顔のサイズと、前記最大顔までの距離とを取得し、
前記顔検出処理部によって検出された人物の顔の中から最も小さい最小顔を選択し、前記撮影画像における前記最小顔のサイズと、前記最小顔までの距離とを取得し、
前記選択された前記物体としての顔のサイズを取得し、
前記最大顔のサイズと、前記最大顔までの距離と、前記最小顔のサイズと、前記最小顔までの距離と、前記物体としての顔のサイズとに基づいて、前記物体としての顔までの距離を推定する、頭部装着型表示装置。

（１）本発明の一形態は、透過型の頭部装着型表示装置である。この頭部装着型表示装置は、使用者に画像を視認させるとともに、外景を透過し得る画像表示部と；前記使用者の視線の向きを検出する視線方向検出部と；前記視線の向きに存在する物体までの距離を取得する距離取得部と；前記使用者の作業を支援する支援画像を前記画像表示部に表示する支援画像表示制御部と；を備える。そして、前記支援画像表示制御部は；前記支援画像の焦点距離が、前記距離取得部によって取得された前記距離に対応した長さとなり、前記支援画像の位置が、前記外景の一部として前記使用者が視認する前記物体の像の付近となるように、前記支援画像の表示を行う。この形態の頭部装着型表示装置によれば、使用者は、視線の向きに存在して外景の一部として視認する物体の像の付近に支援画像を見つけることができ、さらに、前記物体までの距離に対応した長さである焦点距離でもって、支援画像を見ることができる。このために、使用者は、外景の一部として視認する物体から、焦点距離を大きく変えずに支援画像を見ることができる。したがって、本形態の頭部装着型表示装置は、使用者の目の負担を軽減することができる。

（２）前記形態の頭部装着型表示装置において、前記外景を撮影する外景撮影部と；前記外景撮影部によって得られた撮影画像から人物の顔を検出し、検出結果として顔の領域の位置およびサイズを得る顔検出処理部と；を備え；前記距離取得部は；前記顔検出処理部によって検出された顔の中から、前記視線の向きに存在する顔を前記物体として選択するようにしてもよい。この形態の頭部装着型表示装置によれば、外景の一部としての人物の顔の領域の付近に、支援画像を焦点距離を合わせて表示することができる。このために、プレゼンテーションや朗読等の場において、聴衆と支援画像との間の焦点距離の切り替えの作業を抑制して、使用者の目の負担を軽減することができる。

（３）前記形態の頭部装着型表示装置において、前記距離取得部は；前記顔検出処理部によって検出された人物の顔の中から最も大きい最大顔を選択し、前記撮影画像における前記最大顔のサイズと、前記最大顔までの距離とを取得し；前記顔検出処理部によって検出された人物の顔の中から最も小さい最小顔を選択し、前記撮影画像における前記最小顔のサイズと、前記最小顔までの距離とを取得し；前記選択された前記物体としての顔のサイズを取得し；前記最大顔の位置と、前記最大顔までの距離と、前記最小顔の位置と、前記最小顔までの距離と、前記物体としての顔のサイズとに基づいて、前記物体としての顔までの距離を推定するようにしてもよい。この形態の頭部装着型表示装置によれば、撮影画像から求められる各値から物体としての顔までの距離を求めることができ、機種に依存した構成を有しない。このために、この形態の頭部装着型表示装置は、汎用性が高い。

（４）上記形態の頭部装着型表示装置において、前記距離取得部は；前記画像表示部に設けられ、前記視線の向きに存在する物体までの距離を計測する測距部を含むようにしてもよい。この形態の頭部装着型表示装置によれば、支援画像の表示を行うアルゴリズムを簡素化することができることから、処理速度を向上することができる。

（５）上記形態の頭部装着型表示装置において、前記支援画像は、文章を含む画像でとしてもよい。この形態の頭部装着型表示装置によれば、使用者に文章情報を提供することが可能となる。

（６）上記形態の頭部装着型表示装置において、前記支援画像は、前記物体の前記使用者から見て左側に位置する第１支援画像と、前記物体の前記使用者から見て右側に位置する第２支援画像とを含み；前記支援画像表示制御部は；前記文章が横書きの場合に、前記第１支援画像に使用者がこれから読む文章を含み、前記第２支援画像に使用者が読み終えた文章を含むように；前記文章が縦書きの場合に、前記第１支援画像に使用者が読み終えた文章を含み、前記第２支援画像に使用者がこれから読む文章を含むように；前記支援画像の表示を行うようにしてもよい。この形態の頭部装着型表示装置によれば、使用者は、読み終えた文章を再度、見直すことができ、使用者の利便性の点で優れている。

（７）上記形態の頭部装着型表示装置において、前記支援画像表示制御部は、画像を表す画像光を生成し射出する一対の表示駆動部を制御して、前記使用者の右目と左目との輻輳角を変化させることによって、前記支援画像の焦点距離を調整するようにしてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置を構成する部材を機械的に移動させることなく、使用者の左右の眼に対応する表示素子（例えば表示パネル等）を機械的に移動させるのと同様の結果を得ることができる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、視線方向検出部と、距離取得部と、支援画像表示制御部と、の４つの要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、視線方向検出部を有していてもよく、有していなくてもよい。また、装置は、距離取得部を有していてもよく、有していなくてもよい。また、装置は、支援画像表示制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、使用者に画像を視認させるとともに、外景を透過し得るとしてもよい。視線方向検出部は、例えば、使用者の視線の向きを検出してもよい。距離取得部は、例えば、視線の向きに存在する物体までの距離を取得してもよい。支援画像表示制御部は、例えば、使用者の作業を支援する支援画像を画像表示部に表示するようにしてもよい。また、支援画像表示制御部は、支援画像の焦点距離が、距離取得部によって取得された距離に対応した長さとなり、支援画像の位置が、外景の一部として使用者が視認する物体の像の付近となるように、支援画像の表示を行うようにしてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置構成のコンパクト化や、低コスト化、省資源化、製造の容易化、使用者の利便性の向上、学習効果の向上等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、頭部装着型表示システム、表示装置、頭部装着型表示システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

本発明の第１実施形態における頭部装着型表示装置の概略構成を示す説明図である。 ヘッドマウントディスプレイの構成を機能的に示すブロック図である。 使用者に視認される虚像の一例を示す説明図である。 台本表示処理の前半部分を示すフローチャートである。 台本表示処理の後半部分を示すフローチャートである。 顔の領域の位置およびサイズを示す説明図である。 ステップＳ１６０までの処理によってＲＡＭに記憶される各値を示す説明図である。 特定顔までの距離を算出する方法を説明するためのグラフである。 焦点距離調整処理の手順を示すフローチャートである。 焦点距離テーブルの一例を示す説明図である。 表示駆動部の基準領域の大きさと表示駆動部から画像光が実際に射出される射出領域の大きさとの関係について説明する説明図である。 焦点距離が最長焦点距離の場合に表示駆動部から射出された画像光により形成される像について説明する説明図である。 焦点距離が最短焦点距離の場合に表示駆動部から射出された画像光により形成される像について説明する説明図である。 台本画像の表示位置を説明するための説明図である。 本発明の第２実施形態における台本表示処理の詳細を示すフローチャートである。 本発明の第３実施形態における台本表示処理の詳細を示すフローチャートである。 本発明の第４実施形態における台本画像の表示態様を示す説明図である。 第４実施形態の変形例における台本画像の表示態様を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、本発明の第１実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置であって、使用者が視認する虚像における画像の焦点距離を変更可能な頭部装着型表示装置である。なお、本実施形態において「使用者が視認する虚像における画像の焦点距離」とは、ヘッドマウントディスプレイ１００の使用者の両眼と、ヘッドマウントディスプレイ１００の使用に伴い使用者が視認する虚像に含まれる画像が結像する位置と、の間の距離を意味する。

ヘッドマウントディスプレイ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を区別せず「保持部」として説明する。同様に、右表示駆動部２２および左表示駆動部２４を区別せず「表示駆動部」として説明し、右光学像表示部２６および左光学像表示部２８を区別せず「光学像表示部」として説明する。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、ヘッドマウントディスプレイ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ヘッドマウントディスプレイ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイ１００の電源の状態を切り替える。

図２は、ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０には、焦点距離テーブル１２２が格納されている。焦点距離テーブル１２２は、焦点距離調整処理において使用されるテーブルである。焦点距離調整処理は、ヘッドマウントディスプレイ１００の使用者が視認する虚像における画像の焦点距離を変更する処理である。焦点距離テーブル１２２および焦点距離調整処理の詳細については後述する。

電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部１３２は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、自身の現在位置を検出する。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、表示制御部１６２、台本表示処理部１６４、音声処理部１７０として機能する。

画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給することで、画像表示部２０を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データＤａｔａとを生成し、送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデータの画像データＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データＤａｔａとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データＤａｔａに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データＤａｔａ１」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１６２は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１６２は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１６２は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。同様に、表示制御部１６２は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

台本表示処理部１６４は、プレゼンテーションにおいて台本を表示する台本表示処理を行う。記憶部１２０に台本表示処理用のコンピュータープログラムが記憶されており、ＣＰＵ１４０がそのコンピュータープログラムを読み出して実行することによって、台本表示処理部１６４は実現される。台本表示処理部１６４は、距離取得部１６４ａと支援画像表示制御部１６４ｂとを含む。台本表示処理部１６４、距離取得部１６４ａ、および支援画像表示制御部１６４ｂの詳細は、後述する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、外景撮影用カメラ６１（図１も参照）と、視線方向検出部６２と、９軸センサー６６とを備えている。

外景撮影用カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、外景撮影用カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者が向いている方向の外部の景色である外景を撮像する。外景撮影用カメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。

視線方向検出部６２は、使用者が画像表示部２０ａを装着した際の右側の目じりに対応する位置に配置されている。視線方向検出部６２は、眼球撮影用カメラを含む。視線方向検出部６２は、眼球撮影用カメラを用いて画像表示部２０を装着した状態における使用者の左右の眼球を撮像し、得られた眼球の画像を解析することによって使用者の視線の方向を検出する。本実施形態では、眼球画像の中から瞳孔の中心位置を求めることによって視線方向を検出する。なお、視線方向検出部６２が配置されている位置は、右側の目じりに対応する位置に変えて、左側の目じりに対応する位置とすることもできるし、目じりに対応する位置以外の使用者の左右の眼球を撮像可能な他の位置とすることもできる。

なお、視線方向検出部６２は、眼球撮影用カメラに加えて、近赤外ＬＥＤを含む構成としてもよい。目に見えない近赤外光を近赤外ＬＥＤによって照射し、それにより生じる眼球の表面（角膜）での反射を検出する。瞳孔と角膜反射の二つの位置関係から視線方向を算出することが可能となる。また、視線方向検出部６２は、上記の構成に限る必要もなく、例えば、眼球撮影用カメラを赤外線センサ−に換えた構成等、他の構成に換えることもできる。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部２０の向きが特定される。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。なお、ヘッドマウントディスプレイ１００が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。

図３は、使用者に視認される虚像の一例を示す説明図である。図３では、使用者の視野ＶＲを例示している。上述のようにして、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認する。図３の例では、虚像ＶＩは、ヘッドマウントディスプレイ１００のメニュー画面である。また、使用者は、右光学像表示部２６および左光学像表示部２８の半透過反射膜を透過して外景ＳＣを視認する。外景ＳＣは、例えば、プレゼンテーションを受ける聴衆を含む。このように、本実施形態のヘッドマウントディスプレイ１００の使用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後に外景ＳＣとを見ることができる。また、視野ＶＲのうち虚像ＶＩが表示されていない部分については、光学像表示部を透過して、外景ＳＣを直接見ることができる。

Ａ−２．台本表示処理：
図４および図５は、台本表示処理の詳細を示すフローチャートである。台本表示処理は、前述したようにプレゼンテーションにおいて台本を表示する処理であり、制御部１０のＣＰＵ１４０によって実行される。本実施形態によれば、図３に示した虚像ＶＩとしてのメニュー画面に含まれる台本表示処理用の起動アイコンＩＣを選択する操作が制御部１０においてなされたときに、台本表示処理は実行開始される。なお、実行開始後においては、所定の終了指示を受けるまで、台本表示処理は所定時間毎に繰り返し実行される。

処理が開始されると、ＣＰＵ１４０は、外景撮影用カメラ６１を起動して、外景撮影用カメラ６１によって得られる撮影画像を入力する（ステップＳ１１０）。撮影画像は、例えば、プレゼンテーションを行う会場内が撮影された画像であり、ここでは、複数の人物が写っているものとする。次いで、ＣＰＵ１４０は、ステップＳ１１０によって入力された撮影画像に対して顔検出処理を実行する（ステップＳ１２０）。顔検出処理は、撮影画像から人物の顔を検出するもので、検出結果として、顔の領域の位置およびサイズを得ることができる。顔検出処理は、例えば、Ｖｉｏｌａ＆Ｊｏｈｎｓ法を用いて行う。

図６は、顔の領域の位置およびサイズを示す説明図である。顔の領域は、頭部における、例えば肌色の部分である。図示するように、位置Ｐは顔の領域の中心位置であり、サイズＬは顔の領域の縦方向の長さである。位置Ｐは、撮影画像における横方向の位置（単位はピクセル）と縦方向の位置（単位はピクセル）とによって表される。サイズＬの単位は、ピクセルである。なお、位置Ｐは、上記に限る必要はなく、目と目の間の中点等の他の位置としてもよいし、サイズＬは、上記に換えて、顔の領域の横方向の長さとしてもよい。また、サイズＬは、長さに限る必要もなく、顔の領域の面積としてもよい。顔の領域の部位も肌色の部分に限る必要はなく、髪の毛の部分を含めた頭部全体としてもよい。ステップＳ１２０の顔検出処理の結果、複数の顔の領域についてのそれぞれの位置およびサイズが得られる。こうして得られた各顔の領域の位置およびサイズは、記憶部１２０のＲＡＭに記憶される。

図４のステップＳ１２０の実行後、ＣＰＵ１４０は、ステップＳ１２０によって得られた複数の顔のサイズを互いに比較して最大顔の領域を選び出し、その最大顔の領域のサイズを最大顔サイズＬ１として記憶部１２０のＲＡＭに記憶する（ステップＳ１３０）。その後、ＣＰＵ１４０は、ヘッドマウントディスプレイ１００の画像表示部２０から最大顔までの距離Ｄ１を最短焦点距離Ｆｍｉｎと見なし、記憶部１２０のＲＡＭに記憶する（ステップＳ１４０）。焦点距離は、ヘッドマウントディスプレイ１００の使用者が視認する画像の焦点距離である。最短焦点距離Ｆｍｉｎは、本実施形態では０．３ｍとした。すなわち、聴衆を見たときに、最も大きく見える顔が画像表示部２０から最も近い位置にあるとして、最大顔までの距離Ｄ１を最短焦点距離Ｆｍｉｎであるとみなしている。

続いて、ＣＰＵ１４０は、ステップＳ１２０によって得られた複数の顔のサイズを互いに比較して最小顔の領域を選び出し、その最小顔の領域のサイズを最小顔サイズＬ２として記憶部１２０のＲＡＭに記憶する（ステップＳ１５０）。その後、ＣＰＵ１４０は、画像表示部２０から最小顔までの距離Ｄ２を最長焦点距離Ｆｍａｘと定め、記憶部１２０のＲＡＭに記憶する（ステップＳ１６０）。最長焦点距離Ｆｍａｘは、無限遠を意味し、本実施形態では２００ｍとした。すなわち、聴衆を見たときに、最も小さく見える顔が画像表示部２０から最も遠い位置にあるとして、最大顔までの距離Ｄ１を最長焦点距離Ｆｍａｘであるとみなしている。

図７は、ステップＳ１６０までの処理によってＲＡＭに記憶される各値を示す説明図である。ステップＳ１６０までの処理によれば、最大顔サイズＬ１が求められ、画像表示部２０から最大顔までの距離Ｄ１が最短焦点距離Ｆｍｉｎと定められ、最小顔サイズＬ２が求められ、最小顔までの距離Ｄ２が最長焦点距離Ｆｍａｘと定められることになる。なお、図７においては、最大顔サイズＬ１および最小顔サイズＬ２は頭部全体の長さを示すように描画されているが、これは図示の都合によるものであり、実際には、図６で示したように肌色部分の長さである。

ステップＳ１６０の実行後、ＣＰＵ１４０は、図５のステップＳ１７０に処理を進める。ステップＳ１７０では、ＣＰＵ１４０は、視線方向検出部６２によって使用者の視線の方向を検出する。続いて、ＣＰＵ１４０は、ステップＳ１７０によって検出した使用者の視線方向に位置する人物の顔を特定する処理を行う（ステップＳ１８０）。先に説明したように、９軸センサー６６によって画像表示部２０の向きが特定され、撮影画像はこの向きで撮影されたものである。このため、ステップＳ１８０では、９軸センサー６６によって特定される画像表示部２０の向きと、ステップＳ１７０によって検出された使用者の視線方向との偏差を求めて、この偏差を撮影画像に照らし合わせることで、使用者の視線方向に存在する顔を撮影画像の中から特定できる。詳しくは、撮影画像の中心位置が画像表示部２０の向きと対応することから、上記の偏差から視線方向に対応する撮影画像上の位置が定まり、その位置にある顔を選び出す。図７においては、視線方向にある顔が特定顔として特定されることになる。

その後、ＣＰＵ１４０は、ステップＳ１２０の顔検出処理の結果から、ステップＳ１８０によって特定された特定顔の領域の位置およびサイズを抽出し、それらを特定顔の位置ＰｔおよびサイズＬｔとして、記憶部１２０のＲＡＭに記憶する（ステップＳ１９０）。

続いて、ＣＰＵ１４０は、ステップＳ１６０までの処理によって求められた最大顔サイズＬ１、最大顔までの距離Ｄ１、最小顔サイズＬ２、および最小顔までの距離Ｄ２と、ステップＳ１９０によって求められた特定顔のサイズＬｔとに基づいて、特定顔までの距離Ｄｔを推定する（ステップＳ２００）。

図８は、特定顔までの距離Ｄｔを推定する方法を示す説明図である。図中のグラフは、顔サイズＬを横軸に、距離Ｄを縦軸にとったものである。このグラフに、最大顔サイズＬ１と最大顔までの距離Ｄ１とによって定まる点Ｇ１と、最小顔サイズＬ２と最小顔までの距離Ｄ２とによって定まるＧ２をプロットし、人物の顔のサイズは一定であると仮定すると、顔サイズＬと距離Ｄとの対応関係を示す直線ＬＮを描くことができる。直線ＬＮによれば、顔のサイズＬが小さく撮影された人物は、距離Ｄが遠くにあり、顔のサイズＬが大きく撮影された人物は、距離Ｄは近くにあることが判る。この直線ＬＮに、ステップＳ１９０によって求められた特定顔のサイズＬｔを照らし合わせることで、サイズＬｔに応じた特定顔までの距離Ｄｔを求めることができる。

直線ＬＮは、次式（１）によって表すことができる。このため、ステップＳ２００では、次式（１）に、ステップＳ１６０までの処理によって求められた最大顔サイズＬ１、最大顔までの距離Ｄ１、最小顔サイズＬ２、および最小顔までの距離Ｄ２と、ステップＳ１９０によって求められた特定顔のサイズＬｔとを代入することで、特定顔までの距離Ｄｔを求める。

続いて、ＣＰＵ１４０は、ステップＳ２００によって推定された特定顔までの距離Ｄｔに焦点距離を調整する焦点距離調整処理を実行する（ステップＳ２１０）。焦点距離調整処理について、次に詳細に説明する。

Ａ−３．焦点距離調整処理：
図９は、焦点距離調整処理の手順を示すフローチャートである。焦点距離調整処理は、ヘッドマウントディスプレイ１００の使用者が視認する虚像における画像を変更する処理であり、台本表示処理のステップＳ２１０におけるサブルーチンとして実行される。すなわち、焦点距離調整処理は、画像処理部１６０（図２）の一部として機能するものであり、台本表示処理部１６４から読み出されて実行される。処理が開始されると、ＣＰＵ１４０は、まず、目標焦点距離を取得する（ステップＳ２１２）。「目標焦点距離」とは、画像の焦点距離を調整する際における、焦点距離の目標値である。ここでは、目標焦点距離は、ステップＳ２００によって求められた特定顔までの距離Ｄｔと定める。

目標焦点距離を取得後、ＣＰＵ１４０は、焦点距離テーブル１２２を用いて、目標焦点距離に対応した、表示駆動部（右表示駆動部２２、左表示駆動部２４）における射出領域の移動量を求める（ステップＳ２１４）。

図１０は、焦点距離テーブル１２２の一例を示す説明図である。焦点距離テーブル１２２は、移動量と、焦点距離とを含んでいる。移動量には、０（ピクセル）〜ｎ（ピクセル）までの数字が格納されている。ここでｎは任意の整数を表す。焦点距離には、表示駆動部から射出される画像光を、初期状態から「移動量」に格納されているピクセル数だけ移動させた場合における、ヘッドマウントディスプレイ１００の使用者が視認する画像の焦点距離を表す数字が格納されている。例えば、図３の例では、移動量が０ピクセルの場合は、ヘッドマウントディスプレイ１００の使用者が視認する画像の焦点距離は無限遠となることがわかる。無限遠は、前述したように、本実施形態では２００ｍと仮定しており、先に説明した最長焦点距離Ｆｍａｘに相当する。また、移動量が１ピクセルの場合は、使用者が視認する画像の焦点距離は１９９ｍであることがわかる。移動量がｎピクセルの場合は、使用者が視認する画像の焦点距離は０．３ｍであり、先に説明した最短焦点距離Ｆｍｉｎに相当する。

具体的には、図９のステップＳ２１４の処理は、ステップＳ２１２で取得した目標焦点距離をキーとして焦点距離テーブル１２２の「焦点距離」を検索し、一致するエントリの「移動量」に格納されている値（ピクセル）を取得する。なお、「表示駆動部における射出領域」については、図１１〜図１３を用いて説明する。

射出領域の移動量を求めた後、ＣＰＵ１４０は、求めた値を用いて、表示駆動部（右表示駆動部２２、左表示駆動部２４）の射出領域を移動させる（ステップＳ２１６）。なお、詳細は図１１〜図１３を用いて説明する。ステップＳ２１６の実行後、ＣＰＵ１４０は、処理を「リターン」に抜けて、この焦点距離調整処理を一旦終了し、図５のステップＳ２１０の処理を抜ける。

図１１は、表示駆動部の基準領域の大きさと、表示駆動部から画像光が実際に射出される射出領域の大きさとの関係について説明する説明図である。「表示駆動部の基準領域」とは、表示駆動部（右表示駆動部２２、左表示駆動部２４）が通常状態において画像光を射出する領域、換言すれば、表示駆動部が画像光を射出する基準となる領域を意味する。基準領域は、例えば、表示駆動部が画像光を射出することができる最大の領域よりも少し小さく設定されてもよいし、表示駆動部が画像光を射出することができる最大の領域とされてもよい。ここで「表示駆動部が画像光を射出することができる最大の領域」とは、本実施形態のように表示駆動部をバックライトとＬＣＤとで構成している場合、右ＬＣＤ２４１および左ＬＣＤ２４２において液晶が配置された全ての領域、かつ、右バックライト２２１および左バックライト２２２が照明光を照射可能な領域として定義される。

図１１の例では、使用者の右眼ＲＥに対応する右表示駆動部２２における基準領域ＭＡ１の大きさは、ｘピクセル：ｙピクセルである。同様に、使用者の左眼ＬＥに対応する左表示駆動部２４における基準領域ＭＡ２の大きさは、ｘピクセル：ｙピクセルである。

また、図１１において、表示駆動部（右表示駆動部２２、左表示駆動部２４）から画像光が実際に射出される領域（「射出領域」とも呼ぶ。）を斜線で示す。本実施形態において、射出領域は、基準領域よりも水平方向（横方向）に小さい。具体的には、使用者の右眼ＲＥに対応する右表示駆動部２２における射出領域ＣＡ１の大きさは、ｘ−ｎピクセル：ｙピクセルであり、基準領域ＭＡ１よりも水平方向に小さく設定されている。同様に、使用者の左眼ＬＥに対応する左表示駆動部２４における射出領域ＣＡ２の大きさは、ｘ−ｎピクセル：ｙピクセルであり、基準領域ＭＡ２よりも水平方向に小さく設定されている。なお、射出領域ＣＡ１、ＣＡ２の「ｎピクセル」は、図１０に示した焦点距離テーブル１２２の「移動量」の最大値と一致させることが好ましい。

また、本実施形態のヘッドマウントディスプレイ１００では、その初期状態において、使用者の右眼ＲＥに対応する右表示駆動部２２における射出領域ＣＡ１は、基準領域ＭＡ１の右端に配置されている。一方、使用者の左眼ＬＥに対応する左表示駆動部２４における射出領域ＣＡ２は、基準領域ＭＡ２の左端に配置されている。

基準領域ＭＡ１、ＭＡ２の一部である射出領域ＣＡ１、ＣＡ２から画像光を射出させるために、画像処理部１６０は、以下に挙げる（１）、（２）のいずれか一方の方法を用いることができる。

（１）右眼用画像データＤａｔａ１を生成する際に、射出領域ＣＡ１にはコンテンツ等に基づく画像から生成されたドットデータを挿入し、射出領域ＣＡ１以外の領域には、黒色のダミードットデータを挿入する。同様に、左眼用画像データＤａｔａ２を生成する際に、射出領域ＣＡ２にはコンテンツ等に基づく画像から生成されたドットデータを挿入し、射出領域ＣＡ２以外の領域には、黒色のダミードットデータを挿入する。

（２）表示駆動部の画像光生成部（右ＬＣＤ２４１および右バックライト２２１、左ＬＣＤ２４２および左バックライト２２２）による画像光生成の有効／無効を切り替えるための信号（Ｅｎａｂｌｅ信号）を操作する。具体的には、右眼用画像データＤａｔａ１と共に送信部５１へ送信するＥｎａｂｌｅ信号について、射出領域ＣＡ１ではＨｉ（有効）値を出力し、射出領域ＣＡ１以外の領域ではＬｏ（無効）値を出力する。同様に、左眼用画像データＤａｔａ２と共に送信部５２へ送信するＥｎａｂｌｅ信号について、射出領域ＣＡ２ではＨｉ値を出力し、射出領域ＣＡ２以外の領域ではＬｏ値を出力する。

上記（１）、（２）の方法を用いれば、射出領域ＣＡ１、ＣＡ２における画像データは、同一のコンテンツ等に基づく同一の画像から生成された画像データとすることができるため、画像処理部１６０における演算処理量を低減させることができる。

図１２は、焦点距離が最長焦点距離（無限遠）の場合に、表示駆動部から射出された画像光により形成される像について説明する説明図である。図１２では、左右を区別するために、像に対して表示駆動部に含まれるＬＣＤの符号を付している。焦点距離調整処理のステップＳ２１２において取得した目標焦点距離が「無限遠」であった場合、ステップＳ２１４において求める射出領域の移動量は「０（ピクセル）」となる。このため、ステップＳ２１６においてＣＰＵ１４０は、表示駆動部における射出領域ＣＡ１、ＣＡ２を、初期状態（図１１）のまま変更しない。その結果、射出領域ＣＡ１から射出される画像光に基づいて使用者の右眼ＲＥが視認する画像ＩＭ１と、射出領域ＣＡ２から射出される画像光に基づいて使用者の左眼ＬＥが視認する画像ＩＭ２とは、使用者の両眼が平行に真正面を見つめる位置に表示された平行視の状態となり、無限遠の焦点距離を実現することができる（図１２）。

図１３は、焦点距離が最短焦点距離（０．３ｍ）の場合に、表示駆動部から射出された画像光により形成される像について説明する説明図である。図１３では、左右を区別するために、像に対して表示駆動部に含まれるＬＣＤの符号を付している。焦点距離調整処理のステップＳ２１２において取得した目標焦点距離が「０．３（ｍ）」であった場合、ステップＳ２１４において求める射出領域の移動量は「ｎ（ピクセル）」となる。このため、ステップＳ２１６において、ＣＰＵ１４０は、使用者の右眼ＲＥに対応する右表示駆動部２２における射出領域ＣＡ１と、左眼ＬＥに対応する左表示駆動部２４における射出領域ＣＡ２とを、初期状態（図１１）から、使用者の眉間に向かう方向（図１３の白抜き矢印の方向）にｎピクセル、連動させて移動させる。その結果、射出領域ＣＡ１から射出される画像光に基づいて使用者の右眼ＲＥが視認する画像ＩＭ１と、射出領域ＣＡ２から射出される画像光に基づいて使用者の左眼ＬＥが視認する画像ＩＭ２とは、使用者の両眼から距離Ｌａだけ離れた位置に画像ＩＭとして結像する。距離Ｌａは目標焦点距離と概ね等しく、この例では０．３ｍとなる。

目標焦点距離が最短焦点距離（０．３ｍ）から最長焦点距離（無限遠）までの場合にも、同様に、ステップＳ２１４において、目標焦点距離に応じた移動量が求められ、ステップＳ２１６において、表示駆動部における射出領域ＣＡ１、ＣＡ２がその移動量だけ移動させる。その結果、使用者の両眼から目標焦点距離だけ離れた位置に画像として結像させることができる。以上のように、一対の表示駆動部において、一方の表示駆動部から射出された画像光により形成される像と、他方の表示駆動部から射出された画像光により形成される像と、が互いに連動して近づく（遠くなる）と、両画像光によって形成される像に対する使用者の右眼ＲＥと左眼ＬＥとの輻輳角が大きくなる（小さくなる）。この結果、ヘッドマウントディスプレイ１００の使用者は近く（遠く）に画像を知覚することができる。従って、使用者の右眼ＲＥと左眼ＬＥとの輻輳角を調整することにより、目標焦点距離である特定顔までの距離Ｄｔに画像の焦点距離Ｌａを調整することができる。

Ａ−４．台本表示処理の残り部分：
図９の焦点距離調整処理を終了し、図５のステップＳ２１０の処理を抜けると、次いで、ＣＰＵ１４０は、画像表示部２０に対して、ステップＳ１８０によって特定された特定顔の左隣りに台本画像を表示させる処理を行う（ステップＳ２２０）。

図１４は、台本画像の表示位置を説明するための説明図である。図示するように、使用者の視野ＶＲには、前述した最大顔の像（以下、単に「最大顔」とも呼ぶ）ＳＣ１、最小顔の像（以下、単に「最小顔」とも呼ぶ）ＳＣ２、特定顔の像（以下、単に「特定顔」とも呼ぶ）ＳＣｔ等が含まれる。特定顔ＳＣｔはステップＳ１８０によって特定されたものである。ステップＳ２２０では、ステップＳ１９０によって求められた特定顔ＳＣｔの位置ＰｔがＲＡＭから読み出され、この位置Ｐｔから所定の距離だけ離れた左隣りの位置に、台本としての文章（テキストデータ）が記載された台本画像ＳＮを表示させる。台本画像ＳＮは、使用者のプレゼンテーションを支援する支援画像である。「所定の距離」は、台本画像ＳＮが特定顔ＳＣｔに重ならずに、台本画像ＳＮと特定顔ＳＣｔの間がある程度、近ければ、いずれの長さとすることもできる。「左隣り」とは、使用者から見た左側の隣りである。その上、図示するように、台本画像ＳＮは、ステップＳ２１０によって特定顔ＳＣｔまでの距離Ｄｔに調整された焦点距離Ｆｔでもって表示される。

なお、台本画像ＳＮは、プレゼンテーションにおいて話す内容を文章で示した画像であり、文章は、横書きの日本語である。

図５のステップＳ２２０の実行後、ＣＰＵ１４０は、使用者の視線の方向を検出する視線方向検出処理を再度、行い、その検出結果から他の人物への視線移動があるか否かを判定する（ステップＳ２３０）。詳しくは、視線の方向が特定顔ＳＣｔと台本画像ＳＮの領域の外側に移動した場合に、他の人物への視線移動があったものと判定し、特定顔ＳＣｔと台本画像ＳＮの領域の内側に在る場合には、他の人物への視線移動はないものと判定する。こで、他の人物への視線移動があると判定された場合には、ステップＳ１８０に処理を戻して、ステップＳ１８０からステップＳ２３０までの処理を繰り返し実行する。一方、ステップＳ２３０で、他の人物への視線移動がないと判断された場合には、「リターン」に抜けて、この台本表示処理を一旦終了する。

前述した台本表示処理において、ステップＳ１１０〜Ｓ１６０およびステップＳ１８０〜Ｓ２００の処理が制御部１０の有する距離取得部１６４ａ（図２）に相当し、ステップＳ２１０およびＳ２２０の処理が制御部１０の有する支援画像表示制御部１６４ｂ（図２）に相当する。

Ａ−５．実施形態効果：
以上のように構成された第１実施形態の頭部装着型表示装置１００によれば、図１４に示すように、使用者は、視線の向きに存在して外景の一部として視認する特定顔ＳＣｔの左隣りに台本画像ＳＮを見つけることができ、さらに、特定顔ＳＣｔまでの距離Ｄ１に調整された焦点距離Ｆｔでもって、台本画像ＳＮを見ることができる。このために、使用者は、外景の一部として視認する特定顔ＳＣｔから、焦点距離を切り替えることなく台本画像ＳＮを見ることができる。したがって、頭部装着型表示装置１００は、使用者の目の負担を軽減するとともに、使用者による台本画像ＳＮの文章の違和感のないスムーズな読み込みを可能としている。また、この頭部装着型表示装置１００によれば、特定顔までの距離を測距センサー等の新たなセンサーを設けることなく、撮影画像から求めることができることから、装置構成を簡略化することができる。

Ｂ．第２実施形態：
図１５は、本発明の第２実施形態における台本表示処理の詳細を示すフローチャートである。第２実施形態の頭部装着型表示装置は、第１実施形態の頭部装着型表示装置１００と比べて、台本表示処理の内容と、台本表示処理にて用いられるマップデータが記憶部１２０のＲＯＭに格納されていることとが相違する。第２実施形態の頭部装着型表示装置のその他の構成は、第１実施形態の頭部装着型表示装置１００と同一である。なお、同一の構成要素については、以下の説明において同一の符合を付し、その説明を省略する。

図１５の台本表示処理は、第１実施形態における図４、図５の台本表示処理と比べて、ステップＳ１３０ないしＳ１６０の処理が省かれ、ステップＳ１８０とステップＳ２１０の間が、ステップＳ１９０およびＳ２００に換えてステップＳ３１０およびＳ３２０となっている点が異なる。すなわち、第２実施形態においては、第１実施形態と同一のステップＳ１１０、Ｓ１２０、Ｓ１７０、Ｓ１８０が順に実行される。その後、ＣＰＵ１４０は、ステップＳ１８０によって求められた特定顔についてのサイズＬｔを、ステップＳ１２０の顔検出処理の結果から選択して記憶部１２０のＲＡＭに記憶する（ステップＳ３００）。

続いて、ＣＰＵ１４０は、ＲＯＭに記憶されたマップデータに上記の特定顔のサイズＬｔを照らし合わせることで、サイズＬｔに応じた特定顔までの距離Ｄｔを求める（ステップＳ３１０）。マップデータは、図８に示した顔サイズＬｔと距離Ｄとの対応関係をマッピングした２次元のマップデータである。人物の顔サイズは一定であると仮定すると、顔サイズＬｔと距離Ｄとの対応関係は、外景撮影用カメラ６１のレンズの種類等によって、頭部装着型表示装置の機種固有のものとして一律に定まる。このため、第２実施形態の頭部装着型表示装置は、その機種毎に、予め実験的にあるいはシミュレーションにより前記対応関係を求め、その対応関係をマップデータとしてＲＯＭに予め格納しておく。そして、ステップＳ３１０では、特定顔のサイズＬｔをそのマップデータに照らし合わせることで、サイズＬｔに対応した距離Ｄｔを求める。

ステップＳ３１０の実行後、ＣＰＵ１４０は、第１実施形態と同一のステップＳ２１０、Ｓ２２０、Ｓ２３０を順に実行して、この台本表示処理を一旦終了する。

以上のように構成された第２実施形態の頭部装着型表示装置によれば、第１実施形態の頭部装着型表示装置１００と同一の効果を奏することができる。さらに、第２実施形態の頭部装着型表示装置によれば、台本表示処理の構成を簡素化することができることから、処理速度を向上することができる。なお、第２実施形態の頭部装着型表示装置によれば、機種に固有のマップデータが必要であるが、これに対して、第１実施形態の頭部装着型表示装置は、機種に固有のマップデータは不要である。このため、第１実施形態の頭部装着型表示装置は、第２実施形態よりも汎用性が高いと言える。

Ｃ．第３実施形態：
図１６は、本発明の第３実施形態における台本表示処理の詳細を示すフローチャートである。第３実施形態の頭部装着型表示装置は、第１実施形態の頭部装着型表示装置１００と比べて、台本表示処理の内容と、測距センサーを備えることとが相違する。第３実施形態の頭部装着型表示装置のその他の構成は、第１実施形態の頭部装着型表示装置１００と同一である。なお、同一の構成要素については、以下の説明において同一の符合を付し、その説明を省略する。

測距センサーは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されており、測定対象物までの距離を計測する。なお、配置されている位置は、使用者の視線方向にある物体までの距離を計測するに適した位置であれば、いずれの位置に変更してもよい。なお、測距センサーは、赤外線方式、レーザー方式等、超音波方式、ステレオカメラを用いた方式等、いずれの方式で距離を測定するものであってもよい。

図１６の台本表示処理は、第１実施形態における図４、図５の台本表示処理と比べて、ステップＳ１３０ないしＳ１６０の処理が省かれ、ステップＳ１８０とステップＳ２１０の間が、ステップＳ１９０およびＳ２００に換えてステップＳ４００となっている点が異なる。すなわち、第３実施形態においては、第１実施形態と同一のステップＳ１１０、Ｓ１２０、Ｓ１７０、Ｓ１８０が順に実行される。その後、ＣＰＵ１４０は、ステップＳ１８０によって求められた特定顔までの距離Ｄｔを、測距センサーを用いて計測して、記憶部１２０のＲＡＭに記憶する（ステップＳ４００）。

ステップＳ４００の実行後、ＣＰＵ１４０は、第１実施形態と同一のステップＳ２１０、Ｓ２２０、Ｓ２３０を順に実行して、この台本表示処理を一旦終了する。

以上のように構成された第３実施形態の頭部装着型表示装置によれば、第１実施形態の頭部装着型表示装置１００と同一の効果を奏することができる。さらに、第３実施形態の頭部装着型表示装置によれば、台本表示処理の構成を簡素化することができることから、処理速度を向上することができる。

Ｄ．第４実施形態：
図１７は、本発明の第４実施形態における台本画像の表示態様を示す説明図である。本発明の第４実施形態の頭部装着型表示装置は、第１実施形態の頭部装着型表示装置１００と比べて、台本画像の表示の態様が相違する。第４実施形態の頭部装着型表示装置のその他の構成は、第１実施形態の頭部装着型表示装置１００と同一である。

図１７に示すように、第４実施形態の頭部装着型表示装置では、特定顔ＳＣｔの左隣りに第１の台本画像ＳＮ１を、特定顔ＳＣｔの右隣りに第２の台本画像ＳＮ２を表示するようにしている。台本の文章は当初、第１の台本画像ＳＮ１に含まれ、使用者が第１の台本画像ＳＮ１の文章を読み終えると、その読み終わった文章（「みなさん、こんにちは。」で始まる文章）は第２の台本画像ＳＮ２に含まれるように移行する。使用者が第１の台本画像ＳＮ１の文章を読み終えたか否かは、視線方向検出部６２により検出される視線の方向から判定する。なお、視線の方向から判定する構成に換えて、９軸センサー６６によって使用者の頭部の動きを検出して、頭部を振る動作がなされたときに、第１の台本画像ＳＮ１の文章を読み終えたと判定する構成としてもよい。

この第４実施形態によれば、使用者は、読み終えた文章を再度、見直すことができ、使用者の利便性に優れている。なお、特定顔ＳＣｔの左側に位置する第１の台本画像ＳＮ１に使用者がこれから読む文章を含むようにし、特定顔ＳＣｔの右側に位置する第２の台本画像ＳＮ２に使用者が読み終えた文章を含むようにしたのは、台本画像に表示される文章が横書きの日本語で、左から右へ読み進める文章であるためである。これに対して、図１８に示すように、縦書きの日本語のように、右から左へ読み進める文章の場合には、特定顔ＳＣｔの左側に位置する第１の台本画像ＳＮ１１に使用者が読み終えた文章を含むようにし、特定顔ＳＣｔの右側に位置する第２の台本画像ＳＮ１２に使用者がこれから読む文章を含むようにすることが好ましい。

この第４実施形態の変形例として、台本画像の数を３つ、４つというように更に多くの数としてもよい。この場合も同様に、複数の台本画像を横方向に並べて、左から右へ読み進める文章である場合には、最も左側に位置する台本画像をこれから読む文章が含まれるようにし、より右側に位置するほど、読み終えたより古い文章が含まれるようにする。右から左へ読み進める文章である場合には、最も右側に位置する台本画像をこれから読む文章が含まれるようにし、より左側に位置するほど、読み終えたより古い文章が含まれるようにする。あるいは、横方向に並べられた中央の台本画像にこれから読む文章が含まれるようにし、左右の一方の側に読み終えた文章を、他方の側にこれからよりも後に読む文章が含まれるようにしてもよい。

また、この第４実施形態の変形例として、読み終えた文章を含む台本画像の輝度を、これから読む文章を含む台本画像の輝度よりも低くする構成としてもよい。また、読み終えた文章を含む台本画像とこれから読む文章を含む台本画像との色を変える構成としてもよい。また、読み終えた文章のサイズを、これから読む文章のサイズよりも小さくする構成としてもよい。これらの構成によって、読み終えた文章を含む台本画像とれから読む文章を含む台本画像との区別をより容易とすることができる。

Ｅ．変形例：
なお、この発明は上記第１ないし第４実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

・変形例１：
上記実施形態や変形例では、使用者の視認先として判定する物体を人物（人）の顔としていたが、これに換えて、人物の他の部位、例えば、目、首、肩幅等としてもよい。また、人の部位である必要もなく、人物が装着しているネクタイや帽子等の物であってもよい。さらに、必ずしも人物が装着している物である必要もなく、机や椅子等であってもよい。要は、比較的大きさが一定であり、使用者から見た大きさが装着者からの距離に比例もしくはほぼ比例するものであれば、いずれの物体としてもよい。

・変形例２：
上記第１ないし第３実施形態では、台本画像を特定顔の左隣りに表示していたが、これに換えて、右隣り、上隣り、あるいは下隣りに表示する構成としてもよい。要は、視線方向にある特定顔の付近（あるいは「周辺」、「周囲」）、すなわち、特定顔に対応づけされていると視認しうる程度の近さの場所であれば、台本画像はいずれの位置に表示する構成としてもよい。また、第４実施形態の変形例としては、第１台本画像と第２台本画像とを縦、横に並べる構成としてもよい。

・変形例３：
上記実施形態や変形例において、台本画像に対して、使用者の読み取っている位置を示すマーカーを付加する構成としてもよい。この読み取り位置は、視線方向検出部６２により検出される視線の方向から判定することができる。また、９軸センサー６６によって使用者の頭部の動きから判定してもよい。また、台本表示に際して、音声処理部１７０によって、台本画像に含まれる文章を音声によって発する構成としてもよい。

・変形例４：
上記実施形態や変形例において、台本画像の表示の明るさや色あいを、背景の明るさや色あいに応じて変化させる構成としてもよい。例えば、台本画像の色あいを背景の色あいに対して目立つ色とすることで、台本画像を背景から目立たせることができる。ここで言う台本画像の色あいとは、文章（文字）の周囲の色あいであるが、これに換えて、台本画像に含まれる文字の明るさや色あいを、背景の明るさや色あいに応じて変化させる構成とすることもできる。さらに、台本画像の大きさや、台本画像に含まれる文字を大きさを、台本画像の焦点距離に応じて変化させる構成としてもよい。

・変形例５：
上記実施形態や変形例では、特定顔の像の付近に表示する支援画像を、テキストデータである文章を含む台本画像としていたが、これに換えて、文章を含む他の種類の画像としてもよい。さらに、テキストデータである必要もなく、写真画像や、表計算ソフトのデータ、イラスト動画等の他の形式のデータに換えることもできる。要は、使用者の作業を支援するための画像であれば、どのような画像に換えることもできる。

・変形例６：
上記実施形態では、焦点距離調整処理の一例を示した。しかし、焦点距離調整処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。

・変形例７：
上記実施形態では、焦点距離テーブルの一例を示した。しかし、焦点距離テーブルの詳細はあくまで一例であり、種々の変更が可能である。例えば、フィールドの追加、削除、変更を行うことができる。また、焦点距離テーブルは、複数のテーブルに分割して正規化してもよい。例えば、移動量は、ピクセル以外の単位で表現されていてもよい。また、焦点距離は、メートル以外の単位で表現されていてもよい。焦点距離テーブルは省略可能である。焦点距離テーブルを省略する場合、画像処理部は、演算により移動量を求めることができる。

・変形例８：
上記各実施形態や変形例に換えて、視線の向きに存在する物体側に測距センサーを設け、物体側で測定した物体から画像表示部２０までの距離を、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信によって頭部装着型表示装置で受信する構成としてもよい。

・変形例９：
上記各実施形態や変形例では、プレゼンテーションや朗読の場において本発明の頭部装着型表示装置を使用する構成としたが、これに換えて、映画や、芝居、オペラ等を観る際に使用する構成とすることもできる。使用者は、発話者に視線を向けることが常であるが、本発明の頭部装着型表示装置によれば、その視線先の発話者の像の付近に使用者が取得している言語で字幕を表示することができる。この構成によっても、使用者が焦点距離を変更する作業の頻度を抑えることができることから、使用者の目の負担を軽減することができる。なお、本発明の頭部装着型表示装置は、上述した使用用途に限る必要はなく、様々な場において使用することができる。

・その他の変形例：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ（使用者の足により操作するスイッチ）による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、使用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、使用者が手を離すことが困難である作業においても、入力情報取得部は、使用者からの操作入力を取得することができる。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。

例えば、画像処理部、表示制御部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としても良い。例えば、表示駆動部は、ＬＣＤに代えてＤＭＤ（デジタル・マイクロミラー・デバイス）等を用いることもできる。例えば、表示駆動部は、ＲＧＢの各色光を発生させるための色光源とリレーレンズを含む信号光変調部と、ＭＥＭＳミラーを含む走査光学系と、これらを駆動する駆動制御回路と、を含むように構成されてもよい。このように、有機ＥＬやＤＭＤやＭＥＭＳミラーを用いても、「表示駆動部における射出領域」とは、表示駆動部から画像光が実際に射出される領域であることに変わりはなく、各デバイス（表示駆動部）における射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。また、例えば、表示駆動部は、画素信号に応じた強度のレーザーを、使用者の網膜へ出射する１つ以上のレーザーを含むように構成されてもよい。この場合、「表示駆動部における射出領域」とは、表示駆動部から画像を表すレーザー光が実際に射出される領域を表す。レーザー（表示駆動部）におけるレーザー光の射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…外景撮影用カメラ
６２…視線方向検出部
１１０…入力情報取得部
１００…ヘッドマウントディスプレイ（頭部装着型表示装置）
１２０…記憶部
１２２…焦点距離テーブル
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１６０…画像処理部
１６２…表示制御部
１６４…台本表示処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＳＮ…台本画像

Claims (7)

1. 透過型の頭部装着型表示装置であって、
   使用者に画像を視認させるとともに、外景を透過し得る画像表示部と、
   前記使用者の視線の向きを検出する視線方向検出部と、
   前記視線の向きに存在する物体までの距離を取得する距離取得部と、
   前記使用者の作業を支援する支援画像を前記画像表示部に表示する支援画像表示制御部と、
   前記外景を撮影する外景撮影部と、
   前記外景撮影部によって得られた撮影画像から人物の顔を検出し、検出結果として顔の領域の位置およびサイズを得る顔検出処理部と、
   を備え、
   前記支援画像表示制御部は、
   前記支援画像の焦点距離が、前記距離取得部によって取得された前記距離に対応した長さとなり、前記支援画像の位置が、前記外景の一部として前記使用者が視認する前記物体の像の付近となるように、前記支援画像の表示を行い、
   前記距離取得部は、
   前記顔検出処理部によって検出された人物の顔の中から最も大きい最大顔を選択し、前記撮影画像における前記最大顔のサイズと、前記最大顔までの距離とを取得し、
   前記顔検出処理部によって検出された人物の顔の中から最も小さい最小顔を選択し、前記撮影画像における前記最小顔のサイズと、前記最小顔までの距離とを取得し、
   前記選択された前記物体としての顔のサイズを取得し、
   前記最大顔のサイズと、前記最大顔までの距離と、前記最小顔のサイズと、前記最小顔までの距離と、前記物体としての顔のサイズとに基づいて、前記物体としての顔までの距離を推定する、頭部装着型表示装置。
2. 請求項１に記載された頭部装着型表示装置であって、
   前記距離取得部は、
   前記画像表示部に設けられ、前記視線の向きに存在する物体までの距離を計測する測距部を含む、頭部装着型表示装置。
3. 請求項１または２に記載の頭部装着型表示装置であって、
   前記支援画像は、文章を含む画像である、頭部装着型表示装置。
4. 請求項３に記載の頭部装着型表示装置であって、
   前記支援画像は、前記物体の前記使用者から見て左側に位置する第１支援画像と、前記物体の前記使用者から見て右側に位置する第２支援画像とを含み、
   前記支援画像表示制御部は、
   前記文章が横書きの場合に、前記第１支援画像に使用者がこれから読む文章を含み、前記第２支援画像に使用者が読み終えた文章を含むように、
   前記文章が縦書きの場合に、前記第１支援画像に使用者が読み終えた文章を含み、前記第２支援画像に使用者がこれから読む文章を含むように、
   前記支援画像の表示を行う、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記支援画像表示制御部は、
   画像を表す画像光を生成し射出する一対の表示駆動部を制御して、前記使用者の右目と左目との輻輳角を変化させることによって、前記支援画像の焦点距離を調整する、頭部装着型表示装置。
6. 使用者に画像を視認させるとともに外景を透過し得る画像表示部を有する頭部装着型表示装置の制御方法であって、
   前記使用者の視線の向きを検出する工程と、
   前記視線の向きに存在する物体までの距離を取得する工程と、
   前記使用者の作業を支援する支援画像を前記画像表示部に表示する工程と、
   前記外景を撮影する工程と、
   撮影によって得られた撮影画像から人物の顔を検出し、検出結果として顔の領域の位置およびサイズを得る工程と、
   を備え、
   前記支援画像を表示する工程は、
   前記支援画像の焦点距離が、前記取得された前記距離に対応した長さとなり、前記支援画像の位置が、前記外景の一部として前記使用者が視認する前記物体の像の付近となるように、前記支援画像の表示を行い、
   前記距離を取得する工程は、
   検出された人物の顔の中から最も大きい最大顔を選択し、前記撮影画像における前記最大顔のサイズと、前記最大顔までの距離とを取得し、
   前記検出された人物の顔の中から最も小さい最小顔を選択し、前記撮影画像における前記最小顔のサイズと、前記最小顔までの距離とを取得し、
   前記選択された前記物体としての顔のサイズを取得し、
   前記最大顔のサイズと、前記最大顔までの距離と、前記最小顔のサイズと、前記最小顔までの距離と、前記物体としての顔のサイズとに基づいて、前記物体としての顔までの距離を推定する、頭部装着型表示装置の制御方法。
7. 使用者に画像を視認させるとともに外景を透過し得る画像表示部と、前記使用者の視線の向きを検出する視線方向検出部とを有する頭部装着型表示装置を制御するためのコンピュータープログラムであって、
   コンピューターに、
   前記使用者の視線の向きに存在する物体までの距離を取得する機能と、
   前記使用者の作業を支援する支援画像を前記画像表示部に表示する機能と、
   前記外景を撮影する機能と、
   撮影によって得られた撮影画像から人物の顔を検出し、検出結果として顔の領域の位置およびサイズを得る機能と、
   を実現させ、
   前記支援画像を表示する機能は、
   前記支援画像の焦点距離が、前記取得された前記距離に対応した長さとなり、前記支援画像の位置が、前記外景の一部として前記使用者が視認する前記物体の像の付近となるように、前記支援画像の表示を行い、
   前記距離を取得する機能は、
   検出された人物の顔の中から最も大きい最大顔を選択し、前記撮影画像における前記最大顔のサイズと、前記最大顔までの距離とを取得し、
   前記検出された人物の顔の中から最も小さい最小顔を選択し、前記撮影画像における前記最小顔のサイズと、前記最小顔までの距離とを取得し、
   前記選択された前記物体としての顔のサイズを取得し、
   前記最大顔のサイズと、前記最大顔までの距離と、前記最小顔のサイズと、前記最小顔までの距離と、前記物体としての顔のサイズとに基づいて、前記物体としての顔までの距離を推定する、コンピュータープログラム。

Images