JP6331374B2

JP6331374B2 - 頭部装着型表示装置

Info

Publication number: JP6331374B2
Application number: JP2013259737A
Authority: JP
Inventors: 小林　伸一; 伸一小林
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2013-12-17
Filing date: 2013-12-17
Publication date: 2018-05-30
Anticipated expiration: 2033-12-17
Also published as: US20150168728A1; JP2015119236A

Description

本発明は、頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ））が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用してユーザーの眼に導くことにより、ユーザーに虚像を視認させる（例えば、特許文献１）。

特開２０１３−１７８６３９号公報

上記の特許文献では、現実環境にコンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）の実現手法が適用されているが、このＡＲの適用に限らず、カメラを搭載した頭部装着型表示装置では、ユーザーに虚像を外景に重ねて視認させるに当たり、カメラで撮像した撮像画像についても、これを虚像として提供可能としている。撮像画像が虚像として提供されると、ユーザーは、カメラの撮像状況を視認できるという利便性やカメラを何らかのマーカー読取に利用できるという利便性がある反面、次のような問題が指摘されるに到った。

カメラの撮像画像が虚像として提供されると、ユーザーは、撮像画像である虚像の外景と、ユーザーが自らの眼で見る実際の外景の両者を一度に視認することになる。カメラの撮像領域は、ユーザー自身が眼で見る視認領域と必ずしも一致せず、カメラの撮像方向についても、ユーザーの目線方向と必ずしも一致しない。また、撮像画像の画像データーは虚像形成に関連する各種データー処理に処されるので、撮像画像である虚像の外景が遅延して提供される。これらの結果、虚像として提供された外景と実際の外景との間で不整合が起き、ユーザーに違和感を与えかねない。こうしたことから、カメラを搭載したヘッドマウントディスプレイにおいて、カメラの撮像画像を虚像として提供する際の違和感を緩和することが要請されるに到った。この他、カメラの撮像画像を虚像として提供する構成についての汎用性の向上や、そのコスト低下等についても望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、外景に重ねて虚像を視認可能とする頭部装着型表示装置であって、ユーザーに視認させる前記虚像を形成して表示する画像表示部と、該画像表示部での虚像形成処理を実行する虚像形成処理部と、ユーザーの視野方向を撮像可能なカメラと、該カメラの撮像した撮像画像を虚像として含む撮像画像含有虚像を表示する設定と表示しない設定のいずれかに設定する設定部とを備える。上記形態の頭部装着型表示装置によれば、設定部の設定状況により、虚像形成処理部での虚像形成処理を実行したり実行しないようにできるので、カメラの撮像画像を虚像として含む撮像画像含有虚像をユーザーに提供しないようにできることから、実際の外景との不整合に起因した違和感を緩和、もしくは解消できる。しかも、上記形態の頭部装着型表示装置によれば、設定部の設定状況により、カメラの撮像画像を虚像として含む撮像画像含有虚像をユーザーに提供できるので、カメラの撮像状況を視認できるという利便性やカメラを何らかのマーカー読取に利用できるという利便性を損なわないようにできる。

（２）上記形態の頭部装着型表示装置において、前記設定部は、前記カメラの撮像開始の際には、前記撮像画像含有虚像を表示しない設定とするようにしてもよい。こうすれば、頭部装着型表示装置を装着したユーザーによるカメラの撮像開始当初から、ユーザーに違和感を与えないようにできる。

（３）上記のいずれかの形態の頭部装着型表示装置において、前記設定部は、ユーザーによる前記撮像画像含有虚像を表示する設定と表示しない設定のいずれかの選定を待機し、該選定により前記撮像画像含有虚像を表示する設定と表示しない設定のいずれかに設定するようにできる。こうすれば、撮像画像含有虚像の表示を所望したユーザー自らの表示設定を経て、撮像画像含有虚像を表示するので、この虚像が外景と不整合であったとしても、或いは、遅延して表示されたとしても、こうしたことをユーザーが予測しているので、違和感を与え難くできる。また、撮像画像含有虚像の表示の遅延を招かないよう、高速処理が可能な処理デバイスを特段使用する必要もなくなる。よって、撮像画像含有虚像を提供するに当たっての汎用性が高まると共に、コスト低下も可能となる。

（４）上記の形態の頭部装着型表示装置において、前記撮像画像含有虚像を表示する設定と表示しない設定のいずれかを定める際にユーザーにて操作される操作部を有し、前記設定部は、前記操作部のユーザー操作により前記撮像画像含有虚像を表示する設定と表示しない設定のいずれかに設定するようにできる。こうすれば、撮像画像含有虚像の表示を所望したユーザー自らの操作部操作を経て、撮像画像含有虚像を表示するので、違和感の低減等に有益となる。

（５）上記の形態の頭部装着型表示装置において、前記設定部は、ユーザーの頭部の挙動を監視し、ユーザーが所定の頭部挙動を起こすと、前記撮像画像含有虚像を表示する設定とするようにできる。こうしても、撮像画像含有虚像の表示を所望したユーザー自らが起こした所定の頭部挙動を経て、撮像画像含有虚像を表示するので、違和感の低減等に有益となる。

（６）上記の形態の頭部装着型表示装置において、前記カメラによる撮像状況を、ユーザーにより静止画撮像モードと動画撮像モードのいずれかに切り替えるモード切替部を有し、前記設定部は、前記モード切替部が前記静止画撮像モードに切り替えると、前記撮像画像含有虚像を表示する設定とするようにできる。静止画撮像モードで撮像したカメラ画像は、ユーザーが視認する外景と不整合であっても、ユーザー自らが所望して撮像した静止画像であるので、ユーザーは、実際の外景との不整合に起因した違和感を承知していることから、この違和感を感じ難くなる。

（７）上記のいずれかの形態の頭部装着型表示装置において、前記虚像形成処理部は、前記設定部が前記撮像画像含有虚像を表示しない設定とすると、前記撮像画像が省かれた前記撮像画像含有虚像が前記画像表示部に表示されるよう前記虚像形成処理を実行するようにできる。こうすれば、カメラの撮像画像が省かれた虚像については、これをユーザーに提供できるので、撮像画像が省かれた虚像に含まれる各種情報、例えばカメラで撮像中である旨の表示やアイコン等については、これらをユーザーに提供でき、利便性を損なわない。

（８）上記いずれかの形態の頭部装着型表示装置において、前記虚像形成処理部は、前記設定部が前記撮像画像含有虚像を表示しない設定とすると、同一階調で同一色のベタ画像が前記撮像画像に代用された前記撮像画像含有虚像が前記画像表示部に表示されるよう前記虚像形成処理を実行するようにできる。こうすれば、ユーザーに提供される撮像画像含有虚像にカメラの撮像画像に対応した虚像を含まないようにするので、虚像としての撮像画像の外景と実際の外景との不整合に起因した違和感を緩和、もしくは解消できる。

（９）上記いずれかの形態の頭部装着型表示装置において、前記設定部が前記撮像画像含有虚像を表示しない設定とすると、前記画像表示部での前記虚像の表示を停止させるようにできる。こうした虚像表示の停止に当たり、前記画像表示部が用いる光学系機器をオフとするようにできる。こうすれば、カメラの撮像画像を含む虚像としての撮像画像含有虚像をユーザーに簡便に提供しないようにできる。

（１０）上記いずれかの形態の頭部装着型表示装置において、前記虚像形成処理部は、前記設定部が前記撮像画像含有虚像を表示する設定とすると、前記撮像画像含有虚像が前記画像表示部に所定時間に亘って表示されるよう前記虚像形成処理を実行するようにできる。こうすれば、撮像画像含有虚像を表示しても、その表示時間を当初の所定時間に限るので、上記した違和感を与え得る時間を限ることができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

また、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。右表示駆動部２２における画像光生成部によって画像光が射出される様子を示す説明図である。ＡＲ処理部１４２にて実行される拡張現実処理によりユーザーに認識される虚像の一例を示す説明図である。ユーザーの視野ＶＲとカメラ６１の撮像領域ＣＲｖおよび虚像表示域ＶＩＲとの関係を概略的に示す説明図である。ユーザーの視野ＶＲにカメラ６１の撮像画像を虚像ＶＩとして重ねて表示した様子を概略的に示す説明図である。画像処理部１６０や表示制御部１９０等を含む制御部１０にて実行されるカメラプレビュー処理の概要を説明する説明図である。カメラプレビューが不要の場合の表示態様の概略を示す説明図である。カメラプレビューを行う場合の表示態様の概略を示す説明図である。他の実施形態のヘッドマウントディスプレイ１００にて行うカメラプレビュー処理の様子を概略的に示す説明図である。カメラプレビューが不要の場合の表示態様の一例の概略を示す説明図である。カメラプレビューが不要の場合の他の表示態様の概略を示す説明図である。また別の実施形態のヘッドマウントディスプレイ１００にて行うカメラプレビュー処理の様子を概略的に示す説明図である。変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、以下、ヘッドマウントディスプレイ１００）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、ユーザーが、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

ヘッドマウントディスプレイ１００は、ユーザーの頭部に装着された状態においてユーザーに虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、ユーザーの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、ユーザーが画像表示部２０を装着した際にユーザーの右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、ユーザーが画像表示部２０を装着した際のユーザーの眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、ユーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、ユーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、ユーザーの頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、ユーザーが画像表示部２０を装着した際のユーザーの頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

左右の表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、右導光板２６１、２６２（図２参照）と調光板とを含んでいる。右導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光をユーザーの眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（ユーザーの眼の側とは反対の側）を覆うように配置されている。調光板は、右導光板２６１、２６２を保護し、右導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、ユーザーの眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

カメラ６１は、ユーザーが画像表示部２０を装着した際の画像表示部２０の端部ＥＲに配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、ヘッドマウントディスプレイ１００を装着した状態におけるユーザーの視野方向を撮像方向とし、その撮像方向たるユーザー正面の外景（外部の景色）を撮像し、外景画像を取得する。この場合、ヘッドマウントディスプレイ１００を装着したユーザーが、自身の頭を上下や左右に動かせば、その動きに合わせてユーザーの視野方向は変わり、カメラ６１の撮像方向も変わる。カメラ６１はいわゆる可視光カメラであって、例えばＣＣＤ（ Charge Coupled Device ）やＣＭＯＳ（ Complementary Metal-Oxide Semiconductor ）等の撮像素子を備える。このカメラ６１により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像であり、その撮像データーは、後述のＣＰＵ１４０に出力され、後述のＡＲ処理に用いられる。本実施形態におけるカメラ６１は単眼カメラであるが、ステレオカメラとしてもよい。この他、カメラ６１は、ユーザーの視野方向を撮像できるカメラであればよく、例えば１８０度といった広角視野で撮像可能なカメラでもよい。また、３６０度のいわゆる魚眼撮像が可能なカメラを用い、魚眼撮像画像からユーザーの視野方向と一致した領域の画像を切り取るようにしてもよい。カメラ６１の配設位置については、画像表示部２０の端部ＥＲに限らず、ユーザーの眉間に対応する位置や、画像表示部２０の端部ＥＬとしてもよい。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、ヘッドマウントディスプレイ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ヘッドマウントディスプレイ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。このタッチパッド１４は、後述する各種スイッチ等を表示すると共に、当該スイッチのユーザー操作に応じた制御信号を出力する。図１では、カメラ６１による撮像開始スイッチや、後述のプレビュー表示の要否を定めるスイッチがメニュー表示されている。これらスイッチ表示は、装置電源オン等の所定のタイミング、或いは、ユーザーによる所定動作、例えばタッチパッド１４のシングルタッチや制御部１０を素早く上下に動かす動作があると、なされる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイ１００の電源の状態を切り替える。

図２はヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０は、後述の虚像ＶＩに含ませて表示するアイコン等のＣＧ（computer graphics）等を記憶している。電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って他の機器との無線通信を行う。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０、ＡＲ処理部１４２として機能する。ＡＲ処理部１４２は、ＯＳ１５０や、特定のアプリケーションからの処理開始要求をトリガーとして、拡張現実感を実現させるための処理（以降、「拡張現実処理」とも呼ぶ。）を実行する。

画像処理部１６０は、インターフェイス１８０を介して入力されるコンテンツ（映像）に基づいて信号を生成する。本実施形態では、カメラ６１の撮像した撮像画像も、このコンテンツの一つとされる。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データーＤａｔａとを生成・送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデーターの画像データーＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。また、表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。なお、表示制御部１９０は、図２に併記したプレビュー制御部として、本願における「虚像形成処理部」を、画像処理部１６０と協働して、或いは、ＡＲ処理部１４２による後述の拡張現実処理が実行される際には、このＡＲ処理部１４２とも協働して構築し、画像表示部２０での虚像形成に必要な虚像形成処理を実行する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢ（Universal Serial Bus）インターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、９軸センサー６６とを備えている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０がユーザーの頭部に装着されているときには、ユーザーの頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

図３は右表示駆動部２２における画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつユーザーの右眼ＲＥに導く。光学像表示部は、画像光を用いてユーザーの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

左眼ＬＥのための左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。右表示駆動部２２と左表示駆動部２４とは対になっており、左表示駆動部２４の各部は、右表示駆動部２２で説明した上記の各部と同様の構成および機能を有するので、その説明は省略する。

図４はＡＲ処理部１４２にて実行される拡張現実処理によりユーザーに認識される虚像の一例を示す説明図である。上述のようにして、ヘッドマウントディスプレイ１００のユーザーの両眼に導かれた画像光がユーザーの網膜に結像することにより、ユーザーは虚像ＶＩを視認することができる。図４に示すように、ヘッドマウントディスプレイ１００のユーザーの視野ＶＲ内には虚像ＶＩが表示され、この虚像ＶＩには、カメラ６１の駆動状況を表すアイコン等の各種ＣＧが含まれている。また、ユーザーの視野ＶＲのうち、虚像ＶＩが表示された部分については、ユーザーは、光学像表示部の虚像ＶＩと、この虚像ＶＩを透過するようにして外景ＳＣを虚像ＶＩの背後に視認する。ユーザーの視野ＶＲのうち、虚像ＶＩが表示された部分以外については、ユーザーは、光学像表示部を透過して、外景ＳＣを直接見ることができる。

このように虚像ＶＩを外景ＳＣに重ねて表示するための画像データーは、ヘッドマウントディスプレイ１００のＡＲ処理部１４２にてなされる拡張現実処理により、ユーザーが知覚する外景ＳＣを拡張するための付加提示用の情報を表す画像データーとして生成される。そして、ＡＲ処理部１４２にて生成された画像データーが、右ＬＣＤ制御部２１１等に通信されて、虚像ＶＩは、ユーザーの正面領域に表示される。なお、「外景ＳＣを拡張する」とは、ユーザーが眼にする現実環境、すなわち外景ＳＣに対して情報を付加、削除、強調、減衰させ、ユーザーから見た現実世界たる外景ＳＣを拡張することを意味する。画像データー生成を図る拡張現実処理の際、ＡＲ処理部１４２は、外景ＳＣに付加提示用の情報を融像させるために、異なる右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成する。「外景に付加提示用の情報を融像させる」とは、ユーザーが実際目にする外景ＳＣのうちの、ユーザーから所定の距離だけ離れた位置に対して、付加提示用の情報が存在するかのような感覚をユーザーに対して与える虚像ＶＩを表示することを意味する。

例えば、図４においてユーザーに視認される虚像ＶＩがリンゴであるとすると、このリンゴを表す画像データーが、外景ＳＣに含まれる現実の道の上に重なるような画像データーとしてＡＲ処理部１４２の拡張現実処理により生成され、この生成された画像データーに基づく画像が、虚像ＶＩとして表示されることになる。これにより、ユーザーは、あたかも何もない道の上に、リンゴが落ちているような感覚を得ることができるであり、ＡＲ処理部１４２は、図４に示した虚像ＶＩやリンゴの虚像ＶＩを、現実の外景ＳＣにユーザーから所定の距離だけ離れて表示するための右眼用、左眼用の上記データーを拡張現実処理により生成し、これを出力する。上記したリンゴを洗わす画像データーに替え、外部機器ＯＡからの他のコンテンツの画像データーが拡張現実処理に処されれば、これら画像データーに基づくコンテンツを虚像ＶＩとして表示する画像データーが生成され、その生成された画像データーの基づく画像（コンテンツ）が、虚像ＶＩとして表示されることになる。これにより、ユーザーは、視野ＶＲに含まれる外景に重ねて、虚像ＶＩたるコンテンツを視認することができるであり、ＡＲ処理部１４２は、図４に示した虚像ＶＩやコンテンツの虚像ＶＩを、現実の外景ＳＣにユーザーから所定の距離だけ離れて表示するための右眼用、左眼用の上記データーを拡張現実処理により生成し、これを表示制御部１９０と協働して出力する。こうした拡張現実処理がＡＲ処理部１４２により実行されない場合には、ユーザーは、図４に示した虚像ＶＩの表示領域である虚像表示域ＶＩＲを示す枠と、この虚像表示域ＶＩＲに含まれるカメラ６１の駆動状況を表すアイコン等の各種ＣＧとが、表示制御部１９０や画像処理部１６０により虚像ＶＩとして画像表示部２０にて表示されることになる。

ここで、撮像画像を虚像ＶＩとして表示する際のユーザーの視野ＶＲとカメラ６１の撮像領域ＣＲｖおよび虚像表示域ＶＩＲとの関係について説明する。図５はユーザーの視野ＶＲとカメラ６１の撮像領域ＣＲｖおよび虚像表示域ＶＩＲとの関係を概略的に示す説明図、図６はユーザーの視野ＶＲにカメラ６１の撮像画像を虚像ＶＩとして重ねて表示した様子を概略的に示す説明図である。図５に示すように、ユーザーの視野ＶＲに実像Ｒｉ１〜Ｒｉ５が水平に等分に並んで含まれている場合、カメラ６１は、ユーザーが装着した画像表示部２０の端部ＥＲに位置することから、その撮像領域ＣＲｖは、視野ＶＲの右方側の一部領域となり、カメラ６１は、実像Ｒｉ３〜Ｒｉ５を撮像する。このカメラ６１の撮像画像としての虚像ＶＩは、視野ＶＲのほぼ中央を占めて表示される。そして、ＡＲ処理部１４２にて得られた虚像ＶＩは、カメラ６１が実際に撮像した実像Ｒｉ３〜Ｒｉ５の撮像画像より縮小されて虚像表示域ＶＩＲに表示されるため、ユーザーは、図６下段に示すように、実像Ｒｉ１〜Ｒｉ５が水平に等分に並んで含まれる外景を、カメラ６１が実際に撮像した実像Ｒｉ３〜Ｒｉ５が縮小された虚像Ｖｉ３〜Ｖｉ５を透過して視認する。以下、カメラ６１が実際に撮像した撮像画像を虚像表示域ＶＩＲに虚像ＶＩとして表示した画像をカメラプレビューと称して、このカメラプレビューに関する処理について説明する。

Ａ−２．カメラプレビュー処理:
図７は画像処理部１６０や表示制御部１９０等を含む制御部１０にて実行されるカメラプレビュー処理の概要を説明する説明図、図８はカメラプレビューが不要の場合の表示態様の概略を示す説明図、図９はカメラプレビューを行う場合の表示態様の概略を示す説明図である。このカメラプレビュー処理は、カメラ６１が撮像を継続している間に繰り返し実行され、制御部１０は、まず、カメラ６１の撮像した撮像画像を虚像表示域ＶＩＲに虚像ＶＩとして表示するカメラプレビューの要否を判定する（ステップＳ１００）。この場合、カメラ６１による撮像は、タッチパッド１４における所定操作（撮像開始スイッチ操作）や、ヘッドマウントディスプレイ１００を装着したユーザーの頭部動作、例えば、連続した上下の頭部の動き等をトリガーとして開始される。また、カメラプレビューの要否、具体的にはカメラプレビューを要する場合には、タッチパッド１４における他の所定操作（プレビュー実行操作）や、ユーザーの他の頭部動作、例えば、連続した左右の頭部の動き等が必要とされている。制御部１０は、これら操作や頭部挙動を待機し、ステップＳ１００にてカメラプレビュー要否を判定する。より具体的に説明すると、制御部１０は、タッチパッド１４に、撮像開始スイッチに加え、或いは当該スイッチ操作後に、プレビュー実行スイッチを表示し、ユーザーによるこのプレビュー実行スイッチ操作を待機する。そして、当該スイッチのユーザー操作があると、カメラプレビュー表示を要すると判定する。この他、制御部１０は、９軸センサー６６からのセンサー出力に基づいてユーザーの頭部挙動を監視し、ユーザーの頭部挙動が連続した左右の頭部の動きに合致すれば、カメラプレビュー表示を要すると判定する。

制御部１０は、上記したプレビュー実行操作や所定の頭部動作の有無により、ステップＳ１００にてカメラプレビューの要否を判定し、ここで、カメラプレビューが不要であると判定すると、画像表示部２０にカメラプレビュー不要の旨の制御信号を出力して（ステップＳ１０５）、本ルーチンを一旦終了する。ステップＳ１００にてカメラプレビューが不要と判定した場合には、図８に示すように、カメラプレビュー不要の旨の制御信号を受けた画像表示部２０は、虚像ＶＩをその虚像表示域ＶＩＲを含めて表示しない上段の態様か、虚像表示域ＶＩＲの領域枠だけを虚像ＶＩとして表示する下段の態様のいずれかを採る。この下段の態様では、虚像表示域ＶＩＲしか表示されないので、カメラ６１の撮像画像が省かれた虚像ＶＩが虚像表示域ＶＩＲのみの虚像ＶＩとして画像表示部２０にて形成されることとほぼ同義となる。上記のいずれの態様を採るかは、図示しないディップスイッチ等にて規定したり、所定のユーザー操作にて予め定めるようにできる。本実施形態では、上記のカメラプレビューの要否は、初期設定にて、カメラプレビュー不要と設定されているので、カメラ６１が上記したユーザー操作によりオンされて撮像を開始する際、上記したプレビュー実行操作や所定の頭部動作がなければ、ステップＳ１００での否定判定を経て、図８のいずれかの態様とされる。

一方、ステップＳ１００にてカメラプレビューを要すると判定すると、制御部１０は、カメラ６１の撮像画像データーを入力し（ステップＳ１１０）、表示制御部１９０にてその入力した撮像画像データーから、虚像ＶＩを表示するための画像データー（虚像画像データー）を生成し、その生成した画像データーを画像表示部２０に出力して（ステップＳ１２０）、本ルーチンを一旦終了する。これにより、画像表示部２０は、カメラ６１の撮像した撮像画像を含む虚像ＶＩをユーザーの視野ＶＲの中の虚像表示域ＶＩＲに表示して、その虚像ＶＩをユーザーに視認させる。カメラ６１の撮像した撮像画像を含む虚像ＶＩ（以下、これを単に撮像画像含有虚像ＶＩと称する）を表示するに当たり、画像表示部２０は、図９に示すように、撮像画像含有虚像ＶＩとしての既述した虚像Ｖｉ３〜Ｖｉ５をその虚像表示域ＶＩＲと共に表示する上段の態様か、撮像画像含有虚像ＶＩとしての既述した虚像Ｖｉ３〜Ｖｉ５に加え、カメラ６１の駆動状況を表すアイコン等の各種ＣＧを虚像表示域ＶＩＲの領域枠と共に表示する下段の態様のいずれかを採る。上記のいずれの態様を採るかは、図示しないディップスイッチ等にて規定したり、所定のユーザー操作にて予め定めるようにできる。このように撮像画像含有虚像ＶＩを表示するに当たり、この撮像画像含有虚像ＶＩの表示期間を、本実施形態では、予め定めた所定期間、例えば、数秒から十数秒の期間に限るようにした。この場合、撮像画像含有虚像ＶＩの表示を所定時間に限るか、或いは継続して行うかを、図示しないディップスイッチ等にて規定したり、所定のユーザー操作にて予め定めるようにしてもよい。

以上説明した構成を備える本実施形態のヘッドマウントディスプレイ１００は、虚像ＶＩを外景ＳＣに重ねて表示するための画像データーを表示制御部１９０や画像処理部１６０にて生成し、その生成した画像データーにより、虚像ＶＩがユーザーの正面領域に表示されるように虚像ＶＩを外景ＳＣに重ねて視認させる。その上で、本実施形態のヘッドマウントディスプレイ１００は、カメラ６１の撮像した撮像画像を含む撮像画像含有虚像ＶＩをプレビューするに当たり、その要否をユーザー操作や初期設定状況から判定し（ステップＳ１００）、撮像画像含有虚像ＶＩのプレビューが不要であれば、この撮像画像含有虚像ＶＩをユーザーに提供しないようにできる（図８）。仮に、カメラ６１がオンされて撮像を行う際に常に撮像画像含有虚像ＶＩをユーザーに提供しておくようにすれば、ユーザーは、図６の下段に示すように、実像Ｒｉ１〜Ｒｉ５が水平に等分に並んで含まれる外景を、カメラ６１が実際に撮像した実像Ｒｉ３〜Ｒｉ５が縮小された虚像Ｖｉ３〜Ｖｉ５を透過して視認するので、外景たる実像Ｒｉ１〜Ｒｉ５と虚像Ｖｉ３〜Ｖｉ５との不整合に起因して違和感を抱く。これに対し、本実施形態のヘッドマウントディスプレイ１００によれば、撮像画像含有虚像ＶＩのプレビューが不要の場合に限って、撮像画像含有虚像ＶＩたる虚像Ｖｉ３〜Ｖｉ５をユーザーに提供しないので（図８参照）、外景との不整合に起因した違和感を緩和、もしくは解消できる。しかも、本実施形態のヘッドマウントディスプレイ１００によれば、撮像画像含有虚像ＶＩのプレビューが必要の際には、撮像画像含有虚像ＶＩたる虚像Ｖｉ３〜Ｖｉ５をユーザーに提供するので（図９参照）、カメラ６１の撮像状況を視認できるという利便性や、カメラ６１を他の目的達成のために用いる利便性、例えば、図示しないマーカー読取に利用できるという利便性を損なわないようにできる。

本実施形態のヘッドマウントディスプレイ１００は、カメラ６１の撮像開始の際には、初期設定として撮像画像含有虚像ＶＩを表示しないよう設定している。よって、本実施形態のヘッドマウントディスプレイ１００によれば、ヘッドマウントディスプレイ１００を装着したユーザーがカメラ６１による撮像を開始した当初から、ユーザーに外景との不整合に起因した違和感を与えないようにできる。

本実施形態のヘッドマウントディスプレイ１００は、カメラ６１の撮像した撮像画像を含む撮像画像含有虚像ＶＩをプレビューするに当たり、その要否をユーザー操作により設定する。ユーザーは、撮像画像含有虚像ＶＩの表示を所望してプレビューに必要な所定操作を自ら行ったので、そのユーザーは、撮像画像含有虚像ＶＩが外景と不整合であることや、画像データー生成を経た分だけ遅延して表示されることを予め予測している。よって、本実施形態のヘッドマウントディスプレイ１００によれば、表示した撮像画像含有虚像ＶＩが外景と不整合であったとしても、或いは、画像データー生成を経た分だけ遅延して表示されたとしても、こうしたことをユーザーが予測しているので、違和感を与え難くできる。また、撮像画像含有虚像ＶＩの表示の遅延を招かないよう、高速処理が可能な処理デバイスを特段使用する必要もないと共に、虚像表示域ＶＩＲに表示する虚像Ｖｉ３〜Ｖｉ５（図９参照）を実像Ｒｉ３〜Ｒｉ５と同寸にしたり、カメラ６１の撮像方向をユーザー視線に合わせるための高速処理デバイスを特段使用する必要もない。よって、本実施形態のヘッドマウントディスプレイ１００によれば、カメラ６１の撮像した撮像画像を含む撮像画像含有虚像ＶＩをプレビューするに当たっての汎用性が高まると共に、コスト低下を図ることもできる。

本実施形態のヘッドマウントディスプレイ１００は、カメラ６１の撮像した撮像画像を含む撮像画像含有虚像ＶＩをプレビューしないようにするに当たり、図８下段に示すように、カメラ６１の撮像画像が省かれた撮像画像含有虚像ＶＩを画像表示部２０に形成させて、撮像画像が省かれた虚像表示域ＶＩＲのみをユーザーに提供できる。よって、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザーは虚像表示域ＶＩＲの表示を通してカメラ６１で撮像中である旨を認知できるので、利便性を損なわない。なお、この図８下段の態様において、虚像表示域ＶＩＲの領域枠を表示せず、カメラ６１の駆動状況を表すアイコン等の各種ＣＧだけを、或いは赤色点滅を表示してもよく、こうしても、アイコン表示や点滅表示を通してカメラ６１で撮像中である旨を認知できるので、利便性を損なわない。赤色点滅に替え、或いは赤色点滅と同時に、カメラ撮像中である旨を音声にてユーザーに報知するようにしてもよい。

Ａ−３．他の実施形態:
ヘッドマウントディスプレイ１００は、次のような実施形態とできる。図１０は他の実施形態のヘッドマウントディスプレイ１００にて行うカメラプレビュー処理の様子を概略的に示す説明図、図１１はカメラプレビューが不要の場合の表示態様の一例の概略を示す説明図、図１２はカメラプレビューが不要の場合の他の表示態様の概略を示す説明図である。この実施形態では、ステップＳ１００でカメラプレビューが不要であると判定すると、カメラ６１の撮像画像データーと代替えしたデーターをＡＲ処理部１４２に出力し（ステップＳ１３０）、既述したステップＳ１２０に移行する。例えば、カメラ６１の画素に対応したそれぞれの撮像画像データーに替えて値ゼロのヌルデーター（ｎｕｌｌデーター）をＡＲ処理部１４２に出力すれば（ステップＳ１３０）、ＡＲ処理部１４２は、このｎｕｌｌデーターを拡張現実処理に処するとは言え、データー値がゼロなため、生成した虚像画像データーには、撮像画像に対応する虚像は含まれない。よって、この場合は、図１１に示すように、画像表示部２０は、虚像表示域ＶＩＲの領域枠だけを虚像ＶＩとして表示する上段の態様か、カメラ６１の駆動状況を表すアイコン等の各種ＣＧを虚像表示域ＶＩＲの領域枠と共に表示する下段の態様のいずれかを採る。上記のいずれの態様を採るかは、図示しないディップスイッチ等にて規定したり、所定のユーザー操作にて予め定めるようにできる。そして、図１１の態様であれば、虚像表示域ＶＩＲの単独表示（上段）を通して、或いは、カメラ６１の駆動状況を表すアイコン等の各種ＣＧと虚像表示域ＶＩＲの領域枠との表示（下段）を通して、カメラ６１で撮像中である旨を認知できるので、利便性を損なわない。

この他、カメラ６１の画素に対応したそれぞれの撮像画像データーに替えて、同一階調で同一色のベタ画像についての画像データーを表示制御部１９０に出力するようにしてもよい（ステップＳ１３０）。この場合、表示制御部１９０は、このベタ画像データーから虚像画像データーを生成するとは言え、ベタ画像データーである故に、生成した虚像画像データーには、撮像画像に対応する虚像は含まれず、ベタ画像データーに対応する単色、例えば白やグレー等のベタ画像が虚像ＶＩとして表示されるに過ぎない。よって、この場合は、図１２に示すように、画像表示部２０は、単一色のベタな虚像ＶＩを虚像表示域ＶＩＲで取り囲んで表示する上段の態様か、カメラ６１の駆動状況を表すアイコン等の各種ＣＧを単一色のベタな虚像ＶＩに含ませて虚像表示域ＶＩＲで取り囲んで表示する下段の態様のいずれかを採る。上記のいずれの態様を採るかは、図示しないディップスイッチ等にて規定したり、所定のユーザー操作にて予め定めるようにできる。

この実施形態のヘッドマウントディスプレイ１００によっても、カメラ６１の撮像した撮像画像を含む撮像画像含有虚像ＶＩをプレビューするに当たり、その要否をユーザー操作や初期設定状況から判定し（ステップＳ１００）、撮像画像含有虚像ＶＩのプレビューが不要であれば、この撮像画像含有虚像ＶＩをユーザーに提供しないようにできる（図１１〜図１２参照）ので、外景との不整合に起因した違和感緩和やカメラ６１の駆動状況を表すアイコン等の各種ＣＧの提供に伴う利便性の維持といった既述した効果を奏することができる。

図１３はまた別の実施形態のヘッドマウントディスプレイ１００にて行うカメラプレビュー処理の様子を概略的に示す説明図である。この実施形態では、ステップＳ１００でカメラプレビューが不要であると判定すると、制御部１０は、画像表示部２０に、右バックライト２２１と左バックライト２２２、或いは、右導光板２６１と左導光板２６２をオフとする制御信号を出力し（ステップＳ１４０）、既述したステップＳ１２０に移行する。この実施形態のヘッドマウントディスプレイ１００によれば、カメラ６１の撮像した撮像画像を含む撮像画像含有虚像ＶＩのプレビューが不要であれば、光学系機器のオフにより、撮像画像含有虚像ＶＩそれ自体を一切表示しないので、外景との不整合に起因した違和感緩和といった既述した効果を奏することができる。

Ｂ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ（ユーザーの足により操作するスイッチ）による操作入力を取得してもよい。また、フットスイッチや視線による操作入力を取得可能とすれば、ユーザーが手を離すことが困難である作業においても、入力情報取得部は、ユーザーからの操作入力を取得することができる。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。

図１４は変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図１４（Ａ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備える点と、左光学像表示部２８に代えて左光学像表示部２８ａを備える点である。右光学像表示部２６ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの右眼の斜め上に配置されている。同様に、左光学像表示部２８ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの左眼の斜め上に配置されている。図１４（Ｂ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点である。右光学像表示部２６ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの右眼の斜め下に配置されている。左光学像表示部２８ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの左眼の斜め下に配置されている。このように、光学像表示部はユーザーの眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部がユーザーの眼の一部分のみを覆う態様、換言すれば、光学像表示部がユーザーの眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。

例えば、画像処理部、表示制御部、ＡＲ処理部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が透過型の平面ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

例えば、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・他の変形例：
ＡＲ処理部は、カメラによって取得されたユーザー正面の外景画像を、画素視差角によりパターンマッチングさせて、拡張現実処理を実現してもよい。具体的には、画像表示部は、右眼用カメラと、左眼用カメラとを備える構成とする。右眼用カメラは、画像表示部のユーザーの右眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。左眼用カメラは、画像表示部のユーザーの左眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。ＡＲ処理部は、右眼用カメラにより撮像された画像に含まれる対象物体（付加提示用の情報を近傍に表示させる対象となる物体）と、左眼用カメラにより撮像された画像に含まれる対象物体との間のずれ量を求め、当該ずれ量と画素視差角とを用いて、拡張現実処理における虚像ＶＩの表示箇所たる「目標距離」を決定してもよい。

ＡＲ処理部は、外部機器ＯＡから提供を受けるコンテンツについての上記の拡張現実処理を、所定の条件が満足される場合に限って実行してもよい。例えば、画像表示部に対してユーザーの視線の方向を検出可能な構成を備えたうえで、ＡＲ処理部は、検出された視線の方向が以下の条件のうちの少なくともいずれか１つを満たす場合に限って、上記の拡張現実処理を実行してもよい。
・水平約２００°、垂直約１２５°（例えば、下方向７５°、上方向５０°）の視野角の範囲内であるとき。
・情報受容能力に優れる有効視野である、水平約３０°、垂直約２０°の範囲内であるとき。
・注視点が迅速に安定して見える安定注視野である、水平６０°〜９０°、垂直４５°〜７０°の範囲内であるとき。
・映像に誘発される自己運動感覚（ベクション）の誘発が起こりはじめる水平約２０°から、自己運動感覚が飽和する約１１０°の範囲内であるとき。

本実施形態では、図７等で示したカメラプレビュー処理をＡＲ処理部１４２を備えることで拡張現実処理による虚像表示を行うヘッドマウントディスプレイ１００に適用したが、拡張現実処理を採用しない形態のヘッドマウントディスプレイ１００に適用してもよい。

本実施形態では、カメラプレビューが不要の場合の表示態様として、虚像表示域ＶＩＲを表示したが（図８等）、この虚像表示域ＶＩＲについても表示しないようにしてもよい。或いは、虚像表示域ＶＩＲの中央に、画像表示部２０により、例えば赤色等の水平ラインを表示してもよい。こうして表示された水平ラインは、横方向に情報を持つバーコードや縦横に情報を持つＱＲコード（登録商標）の情報読込にカメラ６１を用いる際の位置合わせに用いることができる。よって、カメラプレビューが不要の場合の表示態様として、赤色等の水平ラインを虚像として表示すれば、カメラ６１の撮像した撮像画像（この場合は、バーコードやＱＲコード）を含む撮像画像含有虚像ＶＩをプレビューしないまま、ユーザーは、水平ラインがバーコードやＱＲコードに合致するようカメラ位置を調整して、カメラ６１による確実な情報読込ができ、利便性が高まる。

本実施形態では、カメラ６１を画像表示部２０に装着したが、カメラ６１を画像表示部２０とは別体に備え、この別体のカメラ６１にてユーザーの視野方向を撮像するようにしてもよい。この場合には、この別体のカメラ６１をＵＳＢケーブル等の信号線で制御部１０と接続すればよい。こうした別体のカメラ６１では、ユーザーの視野方向を撮像できると共に、ユーザーの視野方向とは異なる撮像方向で撮像することもできる。ユーザーの視野方向とは異なる撮像方向で撮像されたカメラ画像は、ユーザーが視認する実際の外景と全く相違することが有り得るので、既述した不整合に起因した違和感が顕著となり得る。よって、カメラ６１がユーザーの視野方向とは異なる撮像方向で撮像する場合には、カメラプレビュー表示を要しないと判定して、ステップＳ１０５に移行するようにしてもよい。また、ユーザーの視野方向とは異なる撮像方向の撮像をユーザーが敢えて所望する場合には、何らかのスイッチをタッチパッド１４に表示して、そのスイッチ操作により、カメラ６１がユーザーの視野方向とは異なる撮像方向で撮像する場合であっても、例外的に、カメラプレビュー表示を要すると判定するようにしてもよい。

本実施形態では、ステップＳ１００にて、タッチパッド１４（図１参照）に表示したプレビュー実行スイッチのユーザー操作やユーザーの頭部挙動に応じて、カメラプレビュー表示の要否を判定したが、これに限らない。例えば、タッチパッド１４に、カメラ６１による撮像を静止画撮像とする静止モードスイッチと、動画撮像とする動画モードスイッチを表示し、いずれかのモードスイッチのユーザー操作により、カメラプレビュー表示の要否を判定するようにしてもよい。具体的には、静止モードスイッチのユーザー操作があると、カメラプレビュー表示を要すると判定して、ステップＳ１１０に移行する。静止モードスイッチの操作後のカメラ画像は、静止画であることからユーザーが視認する外景と不整合となるが、ユーザー自らが所望した静止画像であるので、ユーザーは、実際の外景との不整合に起因した違和感を承知している。よって、静止モードスイッチのユーザー操作を経てカメラプレビュー表示を行っても、実際の外景との不整合に起因した違和感を、ユーザーに与え難くなり、違和感は緩和される。静止画像でのカメラプレビュー表示とすれば、虚像ＶＩとしてのデーター処理負荷を軽減できる。この静止画像でのカメラプレビュー表示を白黒の画像とすれば、より一層、データー処理負荷を軽減できる。また、動画モードスイッチのユーザー操作があると、カメラプレビュー表示を要しないと判定して、ステップＳ１０５に移行し、カメラプレビュー表示を行わない。一般に、動画像表示には、その虚像ＶＩへのデーター処理に所定の処理時間を要するが、動画モードではカメラプレビュー表示しないので、処理負荷を軽減できる。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２０ａ、２０ｂ…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２６ａ、２６ｂ…右光学像表示部
２８…左光学像表示部
２８ａ、２８ｂ…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
６１…カメラ
１００…ヘッドマウントディスプレイ（頭部装着型表示装置）
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１４２…ＡＲ処理部（虚像形成処理部）
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＣＧ…種
ＶＩ…虚像（撮像画像含有虚像）
ＥＬ…端部
ＡＰ…先端部
ＥＲ…端部
ＶＲ…視野
ＶＩＲ…虚像表示域
Ｒｉ１〜Ｒｉ５…実像
Ｖｉ３〜Ｖｉ５…虚像
ＣＲｖ…撮像領域

Claims

外景に重ねて虚像を視認可能とする頭部装着型表示装置であって、
ユーザーに視認させる前記虚像を形成して表示する画像表示部と、
該画像表示部での虚像形成処理を実行する虚像形成処理部と、
ユーザーの視野方向を撮像可能なカメラと、
該カメラの撮像した撮像画像を虚像として含む撮像画像含有虚像を表示する設定と表示しない設定のいずれかに設定するに当たり、ユーザーによる前記撮像画像含有虚像を表示する設定と表示しない設定のいずれかの選定を待機し、該選定により前記撮像画像含有虚像を表示する設定と表示しない設定のいずれかを設定する設定部と、
前記カメラによる撮像状況を、ユーザーにより静止画撮像モードと動画撮像モードのいずれかに切り替えるモード切替部とを備え、
前記設定部は、前記モード切替部が前記静止画撮像モードに切り替えると、前記撮像画像含有虚像を表示する設定とする、頭部装着型表示装置。
前記設定部は、前記カメラの撮像開始の際には、前記撮像画像含有虚像を表示しない設定とする、請求項１に記載の頭部装着型表示装置。
請求項１または請求項２に記載の頭部装着型表示装置であって、
前記撮像画像含有虚像を表示する設定と表示しない設定のいずれかを定める際にユーザーにて操作される操作部を有し、
前記設定部は、前記操作部のユーザー操作により前記撮像画像含有虚像を表示する設定と表示しない設定のいずれかに設定する、頭部装着型表示装置。
請求項１または請求項２に記載の頭部装着型表示装置であって、
前記設定部は、ユーザーの頭部の挙動を監視し、ユーザーが所定の頭部挙動を起こすと、前記撮像画像含有虚像を表示する設定とする、頭部装着型表示装置。
前記虚像形成処理部は、前記設定部が前記撮像画像含有虚像を表示しない設定とすると、前記撮像画像が省かれた前記撮像画像含有虚像が前記画像表示部に表示されるよう前記虚像形成処理を実行する、請求項１から請求項４のいずれか一項に記載の頭部装着型表示装置。
前記虚像形成処理部は、前記設定部が前記撮像画像含有虚像を表示しない設定とすると、同一階調で同一色のベタ画像が前記撮像画像に代用された前記撮像画像含有虚像が前記画像表示部に表示されるよう前記虚像形成処理を実行する、請求項１から請求項４のいずれか一項に記載の頭部装着型表示装置。
前記虚像形成処理部は、前記設定部が前記撮像画像含有虚像を表示しない設定とすると、前記画像表示部での前記虚像の表示を停止させる、請求項１から請求項４のいずれか一項に記載の頭部装着型表示装置。
前記虚像形成処理部は、前記画像表示部での前記虚像の表示の停止に当たり、前記画像表示部が用いる光学系機器をオフとする、請求項７に記載の頭部装着型表示装置。
前記虚像形成処理部は、前記設定部が前記撮像画像含有虚像を表示する設定とすると、前記撮像画像含有虚像が前記画像表示部に所定時間に亘って表示されるよう前記虚像形成処理を実行する、請求項１から請求項４のいずれか一項に記載の頭部装着型表示装置。
外景に重ねて虚像を視認可能とする頭部装着型表示装置であって、
ユーザーに視認させる前記虚像を形成して表示する画像表示部と、
該画像表示部での虚像形成処理を実行する虚像形成処理部と、
ユーザーの視野方向を撮像可能なカメラと、
該カメラの撮像した撮像画像を虚像として含む撮像画像含有虚像を表示する設定と表示しない設定のいずれかに設定する設定部とを備え、
前記虚像形成処理部は、前記設定部が前記撮像画像含有虚像を表示しない設定とすると、同一階調で同一色のベタ画像が前記撮像画像に代用された前記撮像画像含有虚像が前記画像表示部に表示されるよう前記虚像形成処理を実行する、頭部装着型表示装置。