WO2010103955A1 - ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム - Google Patents

Abstract

　観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置は、少なくとも前記画像光による画像が観察者により視認される範囲内において、前記外景の画像を撮像する撮像部と、前記撮像部により撮像された前記外景の画像から人の顔画像を検出する顔検出部と、前記顔検出部により前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断部と、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記画像光による画像の位置または大きさを制御する制御部と、を備える。

Description

ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム

　本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに観察者により視認されるように構成されたヘッドマウントディスプレイ装置に関する。ヘッドマウントディスプレイ装置を、以後、ＨＭＤと示す。

　画像情報に基づいた画像光による画像が外光による外景とともに観察者により視認されるように構成されたＨＭＤが、特許文献１に記載されている。

　観察者は、パソコンのモニタの代わりとしてＨＭＤを用いることで、パソコンで通常行うような作業を行いながら、観察者の視線方向にいる他者と対話することが可能となる。

特開平５－３０３０５３号公報

　しかしながら、画像光による画像と人の顔の画像とが重なると、観察者が対話に集中したい場合に画像光による画像が邪魔になり、観察者が対話に集中することができない。この場合、観察者が手動にてＨＭＤの電源をＯＦＦにする解決法が考えられるが、対話後、ＨＭＤの動作復帰をさせるまでに時間がかかる等の問題がある。

　本発明は、上述した問題点を解決するためになされたものであり、観察者が対話に集中したい場合に、画像光による画像が観察者の対話の邪魔にならないように、撮像部の撮像範囲において観察者により視認される画像光による画像の位置または大きさを制御することができるＨＭＤを提供することを目的とする。

　上記目的を達成するために、請求項１記載の本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置であって、少なくとも前記画像光による画像が観察者により視認される範囲内において、前記外景の画像を撮像する撮像部と、前記撮像部により撮像された前記外景の画像から人の顔画像を検出する顔検出部と、前記顔検出部により前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断部と、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記画像光による画像の位置または大きさを制御する制御部と、を備えたことを特徴とするものである。

　請求項２記載の本発明は、請求項１に記載の発明において、前記画像情報の重要度を判定する重要度判定部を備え、前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により判定された前記画像情報の重要度に基づいて、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御することを特徴とするものである。

　請求項３記載の本発明は、請求項２に記載の発明において、前記重要度判定部は、前記画像情報の内容から、前記観察者が行っている作業内容を判定し、その判定結果に基づいて、前記画像情報の重要度を判定することを特徴とするものである。

　請求項４記載の本発明は、請求項２に記載の発明において、前記画像情報は前記画像情報を識別するための識別子情報を含んでおり、前記重要度判定部は、前記識別子情報に基づいて、前記画像情報の重要度を判定することを特徴とするものである。

　請求項５記載の本発明は、請求項２～４のいずれかに記載の発明において、前記画像情報の各々は前記画像情報を識別するための識別子情報を含んでおり、前記識別子情報の各々に対応するアイコンをあらかじめ記憶しているアイコン記憶部を備え、前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が低いと判定されると、前記アイコン記憶部から前記画像情報に含まれる前記識別子情報に対応する前記アイコンを読み出し、読み出した前記アイコンが前記顔画像と重複しない位置または大きさで前記観察者により視認されるように制御することを特徴とするものである。

　請求項６記載の本発明は、請求項２～４のいずれかに記載の発明において、前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が高いと判定されると、重複部分における前記画像光による画像の輝度を上げることを特徴とするものである。

　請求項７記載の本発明は、請求項２～４のいずれかに記載の発明において、前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が中程度と判定されると、前記画像光による画像と前記顔画像とが重複しないように前記画像光による画像を、大きさを保持した状態で移動させることを特徴とするものである。

　請求項８記載の本発明は、請求項１に記載の発明において、前記画像情報と前記観察者により視認される前記画像光による画像の位置または大きさに関する属性情報とを記憶するための情報記憶部を備え、前記顔検出部は、所定の時間の間隔で前記撮像部により撮像された前記外景から前記顔画像を検出し、前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記観察者により現在視認されている前記画像光による画像に関する前記画像情報と前記属性情報とを前記情報記憶部に記憶させ、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御し、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された時点から前記所定の時間が経過した後、前記顔検出部により前記顔画像が検出されなかった場合に、前記情報記憶部に記憶された前記画像情報と前記属性情報とを読み出し、読み出した前記画像情報に基づいた前記画像光による画像が、読み出した前記属性情報に基づいた位置または大きさで、前記観察者により視認されるように制御することを特徴とするものである。

　請求項９記載の本発明は、請求項２に記載の発明において、前記重要度判定部により判定された前記画像情報の重要度を前記観察者以外の他者に通知する通知部を備えることを特徴とするものである。

　上記目的を達成するために、請求項１０記載の本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御方法であって、少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、前記顔検出ステップにより前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断ステップと、前記重複判断ステップにより前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、を備えたことを特徴とするものである。

　上記目的を達成するために、請求項１１記載の本発明は、観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御プログラムであって、少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、前記顔検出ステップにより前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断ステップと、前記重複判断ステップにより前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、をコンピュータにより実現することを特徴とするものである。

　請求項１記載のヘッドマウントディスプレイ装置によれば、ＨＭＤを装着した観察者が人と対面した際に、観察者が対話に集中したい場合には、画像光による画像が人の顔の画像と重複しないように、撮像部の撮像範囲において観察者により視認される画像光による画像の位置または大きさが制御される。これにより、画像光による画像が観察者の対話の邪魔にならず、観察者が対話に集中することが可能となる。

　ところで、観察者がＨＭＤを装着することにより視認する画像情報には、重要度が存在する。例えば、観察者がＨＭＤに設置された通信手段を用い、他者と電子メールなどを通じて通信を行う際に視認する画像に関する画像情報は、文書作成ソフトや表計算ソフトを用いる場合の画像情報よりも重要度が高い。

　請求項２記載のヘッドマウントディスプレイ装置によれば、画像情報の重要度に応じて画像光による画像の位置または大きさが制御される。これにより、画像情報の重要度に応じて、画像光による画像が、観察者がおかれている状況に適した位置または大きさに制御される。この結果、観察者が画像情報の重要度を判定し手動にて画像光による画像の位置または大きさを変更するという手間を省くことができる。

　請求項３記載のヘッドマウントディスプレイ装置によれば、画像光による画像に関する画像情報の内容から、観察者が行っている作業内容が判定され、その判定結果に基づいて、画像情報の重要度が判定される。これにより、画像光による画像が、観察者の作業状況に適した位置または大きさに制御される。この結果、観察者が自分の作業状況に応じて手動にて画像光による画像の位置または大きさを変更するという手間を省くことができる。

　請求項４記載のヘッドマウントディスプレイ装置によれば、画像情報の重要度の判定が識別子情報に基づいて行われる。これにより、画像情報の重要度の判定を確実に行うことができる。

　請求項５記載のヘッドマウントディスプレイ装置によれば、画像光による画像を視認して作業を行うよりも対話を優先して行うべき状況で、観察者は対話に集中することができる。また、観察者が対話後に画像情報に含まれる識別子情報に対応したアイコンを視認することで、対話前に画像光による画像を視認して行っていた作業の状況を思い出すことができる。

　請求項６記載のヘッドマウントディスプレイ装置によれば、重複部分における画像光による画像の輝度が上がる。従って、画像光による画像が重複部分において観察者に鮮明に視認されるようになり、対話よりも画像光による画像を視認して作業を行うことを優先すべき状況で、観察者は、対話相手が目前にいる場合にも、画像光による画像を集中して視認することができる。

　請求項７記載のヘッドマウントディスプレイ装置によれば、観察者が対話可能な状況で、画像光による画像が大きさを保持した状態で移動されるので、対話に集中したい場合には、対話相手に注目することが可能であり、画像光による画像を集中して視認したい場合には、画像光による画像に注目することができる。即ち、観察者は、人の顔の画像と画像光による画像とのどちらに注目するかの選択を行うことが可能となる。

　請求項８記載のヘッドマウントディスプレイ装置によれば、観察者は画像光による画像に対して位置または大きさの制御が行われる直前に視認していた画像光による画像を、対話終了後に、対話前の状態で視認することが可能となる。これにより、観察者が対話に備え、画像光による画像を手動にて消去する場合に比べ、画像光による画像の検索や呼び戻しといった、手動による動作復帰の手間が不要となる。

　請求項９記載のヘッドマウントディスプレイ装置によれば、観察者が対話に集中できる状況なのか、または、画像光による画像を集中して視認すべき状況なのかを観察者以外の他者に通知し、理解させることができる。これにより、観察者が対話に集中できる状況のときには円滑に対話に入ることができ、観察者が画像光による画像を集中して視認すべき状況の場合には観察者以外の他者から邪魔を受けることなく集中できる。

　請求項１０記載の画像制御方法および請求項１１記載の画像制御プログラムによれば、ＨＭＤを装着した観察者が人と対面した際に、観察者が対話に集中したい場合には、画像光による画像が人の顔の画像と重複しないように、所定の撮像範囲において観察者により視認される画像光による画像の位置または大きさが制御される。これにより、画像光による画像が観察者の対話の邪魔にならず、観察者が対話に集中することが可能となる。

本発明の一実施形態に係るＨＭＤ１の外観を示す図である。 上記ＨＭＤ１の電気的及び光学的構成を示す説明図である。 本実施形態に係るメイン処理を示すフローチャートである。 本実施形態に係るバックアップデータを記憶する処理を示すフローチャートである。 本実施形態に係る対話表示モードで表示する処理を示すフローチャートである。 本実施形態に係る対話優先モード時の表示制御を示すフローチャートである。 本実施形態に係る対話可能モード時の表示制御を示すフローチャートである。 本実施形態に係る対話不可モード時の表示制御を示すフローチャートである。 上記ＨＭＤ１を装着した観察者が視認することとなる外景とコンテンツ画像とが重畳した合成画像の一例である。 上記ＨＭＤ１の撮像範囲に顔画像が入ったことを示す図である。 本実施形態において複数のアプリケーションが起動している際の、バックアップデータの一例を示す図である。 本実施形態に係るＲＯＭ１３に記憶されている判断テーブルの一例を示す図である。 上記対話優先モード時の表示制御の一例を示す図である。 上記対話優先モード時の表示制御の一例を示す図である。 上記対話可能モード時の表示制御の一例を示す図である。 上記対話可能モード時の表示制御の一例を示す図である。 通常のガンマテーブルを示す図である。 本実施形態に係る高出力用ガンマテーブルを示す図である。 上記対話不可モード時の表示制御の一例を示す図である。 図３Ｃに示した対話表示モードの変形例を示すフローチャートである。

　以下、本発明の一実施形態について、図面を参照して具体的に説明する。本実施形態は本発明を網膜走査型ディスプレイに具体化したものである。

　網膜走査型ディスプレイは、観察者の頭部近傍に装着される。網膜操作型ディスプレイは、画像光を観察者の眼に導き、観察者の網膜上で２次元方向に画像光を走査する。これにより、コンテンツ情報に対応する画像が観察者により視認される。コンテンツ情報に対応する画像を、以後、コンテンツ画像と記す。

　なお、「視認」とは画像光が観察者の網膜上で２次元方向に走査され、観察者が画像を認識する態様と、画像が表示パネル等に表示され、観察者が表示パネル等に表示された画像から発生する画像光による画像を認識する態様の２つの態様を含む意味である。

　以後、「表示」という用語を用いた場合、観察者に対して画像光による画像を認識可能に動作することを意味するものとする。その点で上述のいずれの態様も画像光による画像を表示しているものと言える。

　[ＨＭＤ外観]
　図１に示すように、ヘッドマウントディスプレイ装置１は、フレーム部２と、画像表示部３と、ハーフミラー４と、ＣＣＤ５と、通知部６と、システムボックス７と、伝送ケーブル８とを備えている。「ヘッドマウントディスプレイ装置」を以後、「ＨＭＤ」と記す。

　ＨＭＤ１は、観察者Ｐがフレーム部２を頭部に装着した状態で、文書ファイル、画像ファイル、動画ファイル等の各種コンテンツ情報を画像としてその観察者Ｐに視認可能に表示する網膜走査型ディスプレイである。

　フレーム部２は、図１に示す通り、眼鏡のフレーム形状をしている。フレーム部２は、フロント部２ａと、一対のテンプル部２ｂとからなる。

　画像表示部３は、図１に示す通り、観察者Ｐから見て左側のテンプル部２ｂに取り付けられている。画像表示部３は、画像光を２次元的に走査することで、コンテンツ画像を表示する。

　ハーフミラー４は、図１に示す通り、画像表示部３に設けられている。ハーフミラー４は、画像表示部３から発せられた画像光を反射し、観察者Ｐの網膜に画像光を導く。また、ハーフミラー４は半透明であり、外光を透過する。このため、観察者Ｐは、ＨＭＤ１の装着時に、コンテンツ画像と同時に外景を視認できる。

　なお、画像表示部３は、後述のＲＯＭに記憶されたデータを基に、あらかじめ設定されたハーフミラー４の所定位置で、画像光を反射し、画像光を網膜に導く。ハーフミラー４の反射範囲及び設置位置により、観察者Ｐがコンテンツ画像を視認する範囲と位置と方向とがあらかじめ決定される。

　ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）５は、画像表示部３に取り付けられている。本実施形態におけるＣＣＤ５は、本発明の撮像部の一例である。

　観察者Ｐがコンテンツ画像を視認する範囲において、外景画像の中の観察者Ｐの対話相手の顔画像を撮像することを主な目的として、ＣＣＤ５が取り付けられているのである。通常、人と人との対話は、約１～３ｍの間隔で両者が向かい合うことにより行われる。ＣＣＤ５の光軸は、観察者Ｐから見て前方約１～３ｍの位置で、観察者Ｐがコンテンツ画像を視認する方向と交点を結ぶように設定される。これにより、観察者ＰがＨＭＤ１を装着して他者と対話を行う場合、ＣＣＤ５は、観察者Ｐがコンテンツ画像を視認する範囲において、外景画像の中の顔画像を撮像することが可能となる。

　通知部６は、ＣＣＤ５に設けられている。通知部６の向きはＣＣＤ５の撮像方向と一致している。通知部６は複数のＬＥＤから構成され、文字を表示することができる。観察者ＰがＨＭＤ１をモニタ代わりに使用するなどして行う、情報処理の状況や情報閲覧の状況といった、観察者Ｐの状況に応じた３種類の信号が、通知部６に供給される。これにより、通知部６は、観察者Ｐの状況に応じた文字を表示し、観察者Ｐに対向している他者に観察者Ｐの状況を通知することができる。本実施形態における通知部６が、本発明の通知部の一例である。

　システムボックス７は、画像表示部３と伝送ケーブル８を介して接続されている。システムボックス７は、ＨＭＤ１の全体の動作を統括制御し、コンテンツ画像を形成するための画像光を生成する。伝送ケーブル８は、光ファイバや各種信号を伝送するためのケーブルを備える。

　［ＨＭＤ電気的構成］
　本実施形態に係るＨＭＤ１の電気的構成について、図２を参照して説明する。

　図２に示すように、ＨＭＤ１は、ＨＭＤ１全体の動作を統括制御する統括制御部１０と、コンテンツ画像の画像光を生成する光生成部２０と、コンテンツ画像が観察者Ｐにより視認されるように画像光を走査する光走査部５０と、を備えている。統括制御部１０と、光生成部２０とは、システムボックス７に内蔵され、光走査部５０は、画像表示部３に内蔵されている。

　統括制御部１０は、パーソナルコンピュータ等の外部装置と接続可能なインターフェース１１と接続されている。統括制御部１０は、インターフェース１１を介し受け取った画像データを光生成部２０へ供給する。ここで、画像データとは、観察者Ｐが視認することとなるコンテンツ画像を表すデータである。光生成部２０は、統括制御部１０から供給される画像データに基づいて画像光を生成し、光走査部５０に供給する。光走査部５０は、光生成部２０により生成された画像光を２次元的に走査することで、コンテンツ画像を表示し、観察者Ｐに視認させる。

　統括制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１４と、ＶＲＡＭ（Ｖｉｄｅｏ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１５と、バス１６と、を備え、ＨＭＤ１を制御するコンピュータを構成している。

　ＣＰＵ１２は、ＲＯＭ１３に記憶されている各種情報処理プログラムを実行することにより、ＨＭＤ１が備える各種機能を実行する演算処理装置である。ＲＯＭ１３は、不揮発性メモリであるフラッシュメモリである。ＲＯＭ１３は、ＨＭＤ１により表示するコンテンツの再生、停止、早送り、巻き戻し等の制御を行う際に光生成部２０、光走査部５０等を動作させるための情報処理プログラム等、ＣＰＵ１２により実行される各種情報処理プログラムを記憶している。ＲＯＭ１３は、統括制御部１０が各種表示制御を行う際に参照する複数種類のテーブルも記憶している。ＲＡＭ１４は画像データ等の各種データを一時的に記憶する領域である。ＶＲＡＭ１５は、画像を表示する際に、表示される画像が表示前に一時的に描画される領域である。ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、及びＶＲＡＭ１５は、バス１６にそれぞれ接続されており、バス１６を介して各種情報の送受信を行う。

　統括制御部１０は、ＨＭＤ１の電源スイッチＳＷ、ＣＣＤ５、通知部６、及び通信制御回路９と接続されている。通信制御回路９は、パーソナルコンピュータ等とメールなどのやり取りを行う。

　インターフェース１１は、パーソナルコンピュータ等の外部装置から供給される画像データを統括制御部１０に供給する。供給された画像データはＲＡＭ１４により記憶される。

　光生成部２０は、信号処理回路２１と、光源部３０と、光合成部４０と、を備えている。

　画像データが、インターフェース１１と統括制御部１０とを介して、信号処理回路２１に供給される。信号処理回路２１は、供給された画像データに基づいて、画像を合成するための要素となる青、緑、赤の各画像信号２２ａ～２２ｃを生成し、光源部３０に供給する。信号処理回路２１は、水平走査部７０を駆動するための水平駆動信号２３を水平走査部７０に供給し、垂直走査部８０を駆動するための垂直駆動信号２４を垂直走査部８０に供給する。

　光源部３０は、信号処理回路２１から供給される３つの画像信号２２ａ～２２ｃをそれぞれ画像光にする画像光出力部として機能する。光源部３０は、青色の画像光を発生するＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生するＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生するＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。光源部３０は、光合成部４０に画像光を供給する。

　光合成部４０は、光源部３０から供給された３つの画像光を１つの画像光に合成して任意の画像光を生成する。光合成部４０は、光源部３０から入射する画像光を平行光にコリメートする。光合成部４０は、コリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を伝送ケーブル８に導く結合光学系４７とを備えている。各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行光化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射または透過される。

　光走査部５０は、コリメート光学系６０と、水平走査部７０と、垂直走査部８０と、リレー光学系７５、９０と、を備えている。

　コリメート光学系６０は、伝送ケーブル８を介して出射される画像光を平行光化し、水平走査部７０に導く。水平走査部７０は、コリメート光学系６０で平行光化された画像光を画像表示のために水平方向に往復走査する。垂直走査部８０は、水平走査部７０で水平方向に走査された画像光を垂直方向に往復走査する。リレー光学系７５は、水平走査部７０と垂直走査部８０との間に設けられ、水平走査部７０により走査された画像光を、垂直走査部８０に導く。リレー光学系９０は、水平方向と垂直方向とに走査（２次元的に走査）された画像光を瞳孔Ｅａへ出射する。

　水平走査部７０は、共振型偏向素子７１と、水平走査制御回路７２と、水平走査角検出回路７３と、を備えている。

　共振型偏向素子７１は、画像光を水平方向に走査するための反射面を有する。水平走査制御回路７２は、信号処理回路２１から供給される水平駆動信号２３に基づいて、共振型偏向素子７１を共振させる。水平走査角検出回路７３は、共振型偏向素子７１から供給される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する。水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を統括制御部１１０へ供給する。

　リレー光学系７５は、水平走査部７０と垂直走査部８０との間で画像光を中継する。共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって垂直走査部８０内の偏向素子８１の反射面に収束される。

　垂直走査部８０は、偏向素子８１と、垂直走査制御回路８２と、を備えている。

　偏向素子８１は、リレー光学系７５により導かれた画像光を垂直方向に走査する。垂直走査制御回路８２は、信号処理回路２１から供給される垂直駆動信号２４に基づいて、偏向素子８１を揺動させる。

　共振型偏向素子７１により水平方向に走査され、偏向素子８１によって垂直方向に走査された画像光は、２次元的に走査された走査画像光としてリレー光学系９０へ出射される。共振型偏向素子７１と偏向素子８１とにより走査される画像光は、あるタイミングに、ある走査角度で走査される。即ち、あるタイミングにおいて、画像光は一本である。従って、以後便宜上、「走査画像光は走査された複数の画像光より成る」といった内容の表現を用いるが、実際には、走査画像光は、あるタイミングにおいて一本の画像光より成るものである。

　リレー光学系９０は、正の屈折力を持つレンズ系９１、９２を備えている。レンズ系９１は、共振型偏向素子７１と偏向素子８１とにより走査された各々の画像光を、各々の中心線が相互に略平行になるよう変換し、尚且つ、各々の画像光を、レンズ系９１とレンズ系９２との中間位置に一度収束させる。中間位置に一度収束された各々の画像光は、再び拡散し、レンズ系９２に供給される。

　レンズ系９２は、レンズ系９１から供給された各々の画像光を、平行光化する。そして、レンズ系９２は、各々の画像光を、各々の中心線が観察者の瞳孔Ｅａに収束するように、変換する。

　レンズ系９２から供給された画像光は、ハーフミラー４で一度反射された後、観察者の瞳孔Ｅａに収束される。このようにして、観察者Ｐはコンテンツ画像を視認することができる。

　統括制御部１０は、共振型偏向素子７１の揺動状態に基づいた信号を、水平走査角検出回路７３から受け取る。そして、統括制御部１０は、受け取った信号に基づいて、信号処理回路２１の動作を制御する。信号処理回路２１は、水平走査制御回路７２へ水平駆動信号２３を供給し、垂直走査制御回路８２へ垂直駆動信号２４を供給する。水平走査制御回路７２は、供給された水平駆動信号２３に基づき、共振型偏向素子７１の動きを制御する。垂直走査制御回路８２は供給された垂直駆動信号２４に基づき、偏向素子８１の動きを制御する。以上の一連の流れにより、水平走査と垂直走査との同期が成される。

　[ＨＭＤ動作制御]
　次に、図３Ａ～図３Ｆを参照して、ＨＭＤ１の動作制御について説明する。本実施形態におけるＣＰＵ１２、及び、図３Ａ～図３Ｆに示すフローチャートの各ステップが、本発明の制御部の一例である。
（メイン処理）
　一連の制御処理はＣＰＵ１２により実行される。

　メイン処理では、先ず、通常の表示モードでコンテンツ画像ＣＯが表示される（ステップＳＡ１、以下ＳＡ１と記す）。このとき、観察者Ｐは図４に示すように、外景ＢＧとコンテンツ画像ＣＯとが重畳した合成画像を視認することとなる。

　通常の表示モードでコンテンツ画像ＣＯが表示されると、ＣＣＤ５による外景ＢＧの撮像が開始される（ＳＡ２）。ＣＣＤ５は、ＣＣＤ５に内蔵された駆動回路にて生成された読み出しクロックに基づき、撮像された画像の画像信号を読み出す。従って、ＣＣＤ５による外景ＢＧの撮像は、ＣＣＤ５の駆動回路にて生成される読み出しクロックに基づき、所定の時間間隔で行われる。このとき、ＣＣＤ５は図４に示すように、観察者Ｐがコンテンツ画像ＣＯを視認している範囲（以下、表示範囲と記す。）ＥＲより広い撮像範囲ＳＲにある外景ＢＧを撮像する。

　外景ＢＧが撮像されると、顔画像ＦＡがＣＣＤ５の撮像範囲ＳＲ内で検出されたか否かが判断される（ＳＡ３）。このステップには特開２００４－５４４４２号公報に開示されている公知の顔検出技術が用いられる。本実施形態におけるＣＰＵ１２及びステップＳＡ２、ＳＡ３が、本発明の顔検出部の一例である。

　図５に示すように、撮像範囲ＳＲに顔画像ＦＡが入り、顔画像ＦＡが検出されたと判断されると（ＳＡ３：Ｙｅｓ）、顔画像ＦＡとコンテンツ画像ＣＯとが撮像範囲ＳＲ内で少なくとも一部重複しているか否かが判断される（ＳＡ４）。本実施形態におけるＣＰＵ１２及びステップＳＡ４が、本発明の重複判断部の一例である。

　顔画像ＦＡとコンテンツ画像ＣＯとが撮像範囲ＳＲ内で少なくとも一部重複していると判断される（ＳＡ４：Ｙｅｓ）と、ＳＡ１において通常の表示モードで表示されたコンテンツ画像ＣＯのコンテンツデータが、ＲＡＭ１４に一時的に記憶される（ＳＡ５）。ＲＡＭ１４に一時的に記憶されたコンテンツデータを、以後、バックアップデータと記す。

　この際、ＲＡＭ１４に記憶されるバックアップデータとは、図６に示すようなデータである。図６は複数のアプリケーションが起動している際の、バックアップデータを示す。バックアップデータは、図６に示す通り、表示しているコンテンツ画像ＣＯを構成する各アプリケーションの識別子と、各アプリケーションの表示ウィンドウの左上端の座標及び右下端の座標と、各ウィンドウの階層とを有する。

　バックアップデータがＲＡＭ１４に記憶されると、対話表示モードで表示する処理に入り（ＳＡ６）、表示するコンテンツ画像ＣＯが図３Ｂに示すフローチャートに従って、制御される。

　対話表示モードで表示する処理が終了すると、ＲＡＭ１４に記憶されたバックアップデータと、対話表示制御後に観察者Ｐが現在視認しているコンテンツ画像ＣＯのデータとが比較される。この際、対話表示モードで制御され、変更された部分以外の点で、コンテンツ画像ＣＯのデータとバックアップデータとに差異があるか否かが判断される（ＳＡ７）。

　差異があると判断されると（ＳＡ７：Ｙｅｓ）、図６に示すバックアップデータの更新を行う（ＳＡ８）。更新内容は、バックアップしているアプリケーションの追加や削除、及び各ウィンドウの階層データの更新などである。

　バックアップデータの更新が行われると、電源スイッチＳＷにより電源ＯＦＦの指令が入力されたか否かが判断される（ＳＡ９）。電源ＯＦＦの指令が入力されたと判断されると（ＳＡ９：Ｙｅｓ）、処理が終了する。

　ＳＡ７において、コンテンツ画像ＣＯのデータとバックアップデータとに差異がないものと判断されると（ＳＡ７：Ｎｏ）、ＳＡ９に移り、電源スイッチＳＷにより電源ＯＦＦの指令が入力されたか否かが判断される（ＳＡ９）。

　ＳＡ９において、電源スイッチＳＷにより電源ＯＦＦの指令が入力されていないと判断されると（ＳＡ９：Ｎｏ）、ＳＡ３に戻る。

　ＳＡ３において、顔画像ＦＡが検出されていないと判断されると（ＳＡ３：Ｎｏ）、対話表示モード中であるか否かが判断される（ＳＡ１０）。対話表示モード中であると判断されると（ＳＡ１０：Ｙｅｓ）、ＲＡＭ１４にバックアップデータがあるか否かが判断される（ＳＡ１１）。ＲＡＭ１４にバックアップデータがあると判断される（ＳＡ１１：Ｙｅｓ）と、バックアップデータが取得され（ＳＡ１２）、バックアップデータに基づき、通常の表示モードで表示が行われる（ＳＡ１３）。ＳＡ１１において、ＲＡＭ１４にバックアップデータがないと判断されると（ＳＡ１１：Ｎｏ）、ＳＡ１３に移り、通常の表示モードで表示が行われる。通常の表示モードで表示が行われると、通常の表示モードに設定される（ＳＡ１４）。通常の表示モードに設定されると、ＳＡ９に移り、電源スイッチＳＷにより電源ＯＦＦの指令が入力されたか否かが判断される（ＳＡ９）。

　ＳＡ１０において、対話表示モード中でないと判断されると（ＳＡ１０：Ｎｏ）、処理がＳＡ９に移り、電源スイッチＳＷにより電源ＯＦＦの指令が入力されたか否かが判断される。また、ＳＡ４において、顔画像ＦＡとコンテンツ画像ＣＯとが撮像範囲ＳＲ内で重複していないと判断される（ＳＡ４：Ｎｏ）と、ＳＡ１１に移り、ＲＡＭ１４にバックアップデータがあるか否かが判断される。

（バックアップデータ記憶処理）
　バックアップデータ記憶処理では、先ず、起動中のアプリケーションの識別子の取得が行われる（ＳＢ１）。識別子の取得が行われると、各アプリケーションのウィンドウ情報の取得が行われる（ＳＢ２）。ウィンドウ情報は、各ウィンドウの座標や階層等の情報を含む。

　ウィンドウ情報の取得が行われると、各情報がバックアップデータとして、図６に示すようなテーブルにまとめられ、ＲＡＭ１４に記憶される（ＳＢ３）。

　バックアップデータが記憶されると、バックアップデータが記憶される処理が終了し、次の処理が、図３Ａに示すメイン処理のＳＡ６に戻る。本実施形態において、画像データ及びバックアップデータを記憶するＲＡＭ１４が、本発明の情報記憶部の一例である。

　（対話表示モード）
　対話表示モードの処理では、先ず、表示中のコンテンツ画像ＣＯのコンテンツデータに含まれる識別子の情報が認識され、図７に示すＲＯＭ１３に記憶されている判断テーブルが読み出され、参照される（ＳＣ１）。

　図７に示す判断テーブルが参照されることで、表示中のコンテンツ画像ＣＯのコンテンツデータに含まれる識別子情報から、観察者Ｐが対話可能な状態を示す「対話可能」か、対話できない状態を示す「対話不可」か、対話を優先して行うべき状態を示す「対話優先」なのかの判定が行われる。

　なお、ここで「対話可能」、「対話不可」、「対話優先」は、本発明における画像情報の重要度に対応する。即ち、画像情報の重要度が低い場合、観察者Ｐは対話に集中すべき状況であるため「対話優先」、重要度が高い場合、観察者Ｐは対話よりコンテンツ画像ＣＯを集中して視認すべき状況であるため「対話不可」、重要度が中程度の場合、観察者Ｐはコンテンツ画像ＣＯを視認しながら対話することができる状況であるため「対話可能」、と各々判定される。

　図７の判断テーブルについて、一例を挙げて詳細に説明する。一般的に通信制御回路９を使用する通信が実行される必要のあるコンテンツ画像ＣＯは、観察者Ｐが目を離すことのできないものであり、重要度が高い。そのため、本処理では、ＣＰＵ１２により、「対話不可」と判定される。

　判断テーブルが参照されると、判断テーブルから、観察者Ｐが「対話優先」の状態か否かが判断される（ＳＣ２）。「対話優先」であると判断されると（ＳＣ２：Ｙｅｓ）、対話優先モードに入り、図３Ｄに示すフローチャートに従って、表示制御が行われる（ＳＣ３）。

　観察者Ｐが「対話優先」の状態ではないと判断されると（ＳＣ２：Ｎｏ）、判断テーブルから、観察者Ｐが「対話可能」な状態か否かが判断される（ＳＣ４）。「対話可能」であると判断されると（ＳＣ４：Ｙｅｓ）、対話可能モードに入り、図３Ｅに示すフローチャートに従って、表示制御が行われる（ＳＣ５）。

　観察者Ｐが「対話可能」な状態ではないと判断されると（ＳＣ４：Ｎｏ）、判断テーブルから、観察者Ｐが「対話不可」な状態であると判断される。そして、対話不可モードに入り、図３Ｆに示すフローチャートに従って、表示制御が行われる（ＳＣ６）。

　対話優先モード、対話可能モード、または対話不可モードでの表示制御が終了すると、対話表示モードに設定される（ＳＣ７）。対話表示モードに設定されると、対話表示モードで表示する処理が終了し、次の処理が図３Ａに示すメイン処理のＳＡ７に戻る。本実施形態におけるＣＰＵ１２及びステップＳＣ１、ＳＣ２、ＳＣ４が、本発明の重要度判定部の一例である。

　以後、対話優先モード、対話可能モード、対話不可モードの説明を行う。ここまでは、コンテンツ画像ＣＯが複数のアプリケーションの表示ウィンドウにより構成されていることを前提としていたが、以後、各モードに対し、コンテンツ画像ＣＯは１個のアプリケーションの表示ウィンドウにより構成されていることを前提とする。これは、説明の簡略化のためのものであって、本実施形態において、コンテンツ画像ＣＯは複数の表示ウィンドウで構成されていても、１個の表示ウィンドウで構成されていても問題ではない。

　（対話優先モード）
　対話優先モードの処理では、先ず、ＣＣＤ５により撮像された顔画像ＦＡとコンテンツ画像ＣＯとの重複する領域が算出される（ＳＤ１）。ここで算出されるのは、ＣＣＤ５の撮像範囲ＳＲ内における重複領域の位置や面積等である。

　重複領域の算出が行われると、算出された重複領域の面積の、コンテンツ画像ＣＯの表示範囲ＥＲの面積に対する比率があらかじめ設定された所定値より大きいか否かが判断される（ＳＤ２）。

　比率が所定値より大きいと判断されると（ＳＤ２：Ｙｅｓ）、図８に示すように、表示しているコンテンツ画像ＣＯが所定のアイコンＩＣに置き換えられ、アイコンＩＣがコンテンツ画像ＣＯの表示範囲ＥＲの左下端に表示される（ＳＤ３）。本実施形態では、画像光が観察者Ｐの左眼に照射されているため、観察者Ｐは視線方向の左側にコンテンツ画像ＣＯを視認している。従って、通常対話相手と真正面に向き合い対話する場合において、アイコンＩＣが表示範囲ＥＲの左下端に表示されることにより、アイコンＩＣは顔画像ＦＡから可及的に遠ざけられ、対話の邪魔にならない。

　なお、アイコンＩＣとは、アプリケーションの内容を図または絵で表現したものである。例えば、図８に示すアイコンＩＣは、アプリケーションが文書ファイルであることを示すものである。

　ＳＤ３において、表示されるアイコンＩＣは、各アプリケーション毎に決まっている。アイコンＩＣの画像データはＲＯＭ１３にあらかじめ記憶されており、ＳＤ３において、コンテンツ画像ＣＯのアプリケーションに対応するアイコンＩＣの画像データがＲＯＭ１３から読み出され、表示される。本実施形態におけるＲＯＭ１３が、本発明のアイコン記憶部の一例である。

　コンテンツ画像ＣＯがアイコンＩＣに置き換えられ、アイコンＩＣが表示範囲ＥＲの隅に表示されることで、観察者Ｐは対向している他者、即ち、顔画像ＦＡに対応する人物との対話に集中することが可能となる。また、コンテンツ画像ＣＯをアイコン化することで、対話終了後、観察者Ｐが、対話開始前に何を視認していたかを思い出すことができる。

　ＳＤ２において、重複領域の面積の、コンテンツ画像ＣＯの表示範囲ＥＲの面積に対する比率があらかじめ設定された所定値以下であると判断されると、図９に示すように、コンテンツ画像ＣＯが表示範囲ＥＲ内で占めている領域のうち、顔画像ＦＡと重複しない領域が算出され、この領域にコンテンツ画像ＣＯが収まる様、コンテンツ画像ＣＯが縮小される（ＳＤ４）。

　顔画像ＦＡとコンテンツ画像ＣＯとが重複しない大きさに、コンテンツ画像ＣＯが縮小されることで、観察者Ｐは対向している他者、即ち、顔画像ＦＡに対応する人物との対話に集中することが可能となる。また、コンテンツ画像ＣＯを縮小して、残しておくことで、対話終了後、観察者Ｐが、対話開始前に何を視認していたかを思い出すことができる。

　なお、重複領域が大きい場合、顔画像ＦＡとコンテンツ画像ＣＯとが重複しない大きさに、コンテンツ画像ＣＯが縮小されると、観察者Ｐが、コンテンツ画像ＣＯの内容を把握できなくなるほど、コンテンツ画像ＣＯが小さくなる。このため、重複領域が大きい場合に、コンテンツ画像ＣＯが縮小されるのでなく、アイコン化されることで、観察者Ｐは対話後に、対話開始前に何を視認していたかを即座に思い出すことができる。

　ＳＤ３またはＳＤ４の表示制御が行われると、対向している他者に観察者Ｐが「対話優先」の状態であることを、通知部６が通知する（ＳＤ５）。

　具体的には、通知部６に「対話優先」と表示させるための信号が通知部６に送信され、「対話優先」と表示され、観察者Ｐが「対話優先」の状態であることが対向している他者に通知される。

　ＳＤ５において、「対話優先」の状態であることの通知が行われると、対話優先モードが終了し、次の処理が図３Ｃに示す対話表示モードで表示する処理のＳＣ７に戻る。

（対話可能モード）
　この対話可能モード処理では、ＳＤ１と同様、先ず、ＣＣＤ５により撮像された顔画像ＦＡとコンテンツ画像ＣＯとの重複する領域が算出される（ＳＥ１）。重複領域の算出が行われると、図１０に示すように、顔画像ＦＡとコンテンツ画像ＣＯとが重複しない位置まで、コンテンツ画像ＣＯが大きさを保持した状態で平行移動させられた場合に、コンテンツ画像ＣＯが表示範囲ＥＲを越えるか否かが判断される（ＳＥ２）。

　コンテンツ画像ＣＯが表示範囲ＥＲを越えると判断されると、図１０に示すように、顔画像ＦＡとコンテンツ画像ＣＯとが重複しない位置まで、コンテンツ画像ＣＯが大きさを保持した状態で、平行移動させられた後、表示範囲ＥＲを越える分だけ、表示ウィンドウが縮小する（ＳＥ３）。表示ウィンドウを縮小すると、図１０に示すように、コンテンツ画像ＣＯを顔画像ＦＡと重複しない位置まで、移動する（ＳＥ４）。

　顔画像ＦＡとコンテンツ画像ＣＯとが重複しない位置まで、コンテンツ画像ＣＯが大きさを保持した状態で、平行移動させられた場合に、コンテンツ画像ＣＯが表示範囲ＥＲを越えないと判断されると（ＳＥ２：Ｎｏ）、図１１に示すように、顔画像ＦＡとコンテンツ画像ＣＯとが重複しない位置まで、コンテンツ画像ＣＯが大きさを保持した状態で、平行移動させられる（ＳＥ４）。

　ＳＥ４の表示制御が行われると、対向している他者に観察者Ｐが「対話可能」の状態であることを、通知部６が通知する（ＳＥ５）。

　具体的には、通知部６に「対話可能」と表示させるための信号が通知部６に送信され、「対話可能」と表示させられ、観察者Ｐが「対話可能」の状態であることが伝えられる。

　「対話可能」の状態であることの通知が行われると、対話可能モードが終了し、次の処理が図３Ｃに示す対話表示モードで表示する処理のＳＣ７に戻る。

　（対話不可モード）
　対話不可モード処理では、ＳＤ１、ＳＥ１と同様、先ず、ＣＣＤ５により撮像された顔画像ＦＡとコンテンツ画像ＣＯとの重複する領域が算出される（ＳＦ１）。

　重複領域の算出が行われると、重複領域におけるコンテンツ画像ＣＯの輝度値が、ＲＯＭ１３に記憶されている閾値以下か否かが判断される（ＳＦ２）。

　重複領域におけるコンテンツ画像ＣＯの輝度値が、閾値以下であると判断される（ＳＦ２：Ｙｅｓ）と、あらかじめＲＯＭ１３に記憶されている高出力用のガンマテーブルが読み出される。そして、読み出された高出力用ガンマテーブルを用いて重複領域におけるコンテンツ画像ＣＯが表示される（ＳＦ３）。

　ガンマテーブルとは、図１２Ａに示すような、Ｒレーザ、Ｇレーザ、Ｂレーザの各レーザの、各階調に対する出力パワーを示すテーブルである。ガンマテーブルには出力パワーの最大値が設定されている。高出力用ガンマテーブルでは、図１２Ｂに示すように、出力パワーの最大値が、図１２Ａに示した通常のガンマテーブルで設定されているものよりも大きな値で設定されている。従って、高出力用ガンマテーブルを用いて重複領域におけるコンテンツ画像ＣＯが表示されることで、図１３に示すように、重複領域におけるコンテンツ画像ＣＯがはっきりと表示されるようになる。

　ＳＦ３の表示制御が行われると、対向している他人に観察者Ｐが「対話不可」の状態であることを、通知部６が通知する（ＳＦ４）。

　具体的には、通知部６に「対話不可」と表示させるための信号が通知部６に送信され、「対話不可」と表示され、観察者Ｐが「対話不可」の状態であることが伝えられる。

　重複領域におけるコンテンツ画像ＣＯの輝度値が、閾値より大きいと判断される（ＳＦ２：Ｎｏ）と、高出力用のガンマテーブルが用いられずとも、観察者Ｐがコンテンツ画像ＣＯを明確に視認できる状況であるため、そのままＳＦ４に進み、観察者Ｐが「対話不可」の状態であることが対向している他人に通知される。

　「対話不可」の状態であることの通知が行われると、対話不可モードが終了し、次の処理が図３Ｃに示す対話表示モードで表示する処理のＳＣ７に戻る。

　ここまで、対話優先モード、対話可能モード、対話不可モードの説明を行ってきた。ＶＲＡＭ１５は、各モードにおいて、コンテンツ画像ＣＯやアイコン画像ＩＣ等が表示される際に、ＲＯＭ１３やＲＡＭ１４から読み出されたコンテンツ画像ＣＯやアイコン画像ＩＣ等が表示の前に一度描画される領域である。

　ＶＲＡＭ１５に描画されたコンテンツ画像ＣＯやアイコン画像ＩＣ等のデータは、信号処理回路２１に供給され、観察者Ｐに視認される。

　（変形例）
　本実施形態において、観察者Ｐが「対話優先」、「対話可能」、「対話不可」のいずれの状態にあるかは、図８に示すような判断テーブルに則って、判定されていたが、これに限らず、例えば、図１４に示すように判定されてもよい。

　図１４に示した変形例は、図３Ｃに示した対話表示モードで表示する処理に相当する部分についての変形例である。

　対話表示モードで表示する処理では、先ず、通信制御回路９が起動し、ＨＭＤ１が外部装置と通信を行っているか否かが判断される（ＳＸ１）。

　外部装置と通信中であると判断されると（ＳＸ１：Ｙｅｓ）、観察者Ｐは、「対話不可」であると判定され、図３Ｆに示す対話不可モードに入る（ＳＸ２）。

　外部装置と通信中でないと判断されると（ＳＸ１：Ｎｏ）、観察者ＰがＨＭＤ１をモニタとして用い、文書を書くなどの操作を行っているか否かが判断される（ＳＸ３）。

　観察者Ｐが文書作成のために操作中であると判断される（ＳＸ３：Ｙｅｓ）と、観察者Ｐは、「対話可能」であると判定され、図３Ｅに示す対話可能モードに入る（ＳＸ４）。

　観察者Ｐが文書作成のために操作中でないと判断される（ＳＸ３：Ｎｏ）と、観察者Ｐは、「対話優先」であると判定され、図３Ｄに示す対話優先モードに入る（ＳＸ５）。対話優先モード、対話可能モード、または対話不可モードでの表示制御を実施すると、対話表示モードに設定される（ＳＸ６）。対話表示モードに設定されると、対話表示モードで表示する処理が終了し、次の処理が図３Ａに示すメイン処理のＳＡ７に戻る。本変形例におけるＣＰＵ１２及びステップＳＸ２、ＳＸ４、ＳＸ５が、本発明の制御部の一例であり、本変形例におけるＣＰＵ１２及びステップＳＸ１、ＳＸ３が、本発明の重要度判定部の一例である。

　本実施形態においては、ＨＭＤ１は、網膜走査型ディスプレイであったが、これに限らず、ＨＭＤ１は、ＬＣＤ表示パネル等を用いたヘッドマウントディスプレイ装置であってもよい。

　本実施形態は観察者Ｐの左眼に対し、コンテンツ画像ＣＯの表示を行う片眼モデルであったが、両眼モデルであってもよい。

　本実施形態において、観察者Ｐの状況は、「対話優先」、「対話可能」、「対話不可」の３種類の状態のいずれかに分類され、判定されていたが、これに限らず、例えば、６種、７種といった具合に細かく分類され、判定されてもよい。また、対話できるか、否かといった判定に限らず、例えば、観察者Ｐが通信を用いた作業をしているか、または文書作成を行っているかといった観察者Ｐの作業内容を判定するものであってもよい。

　本実施形態において、観察者Ｐが「対話優先」の状態であると判定された場合、コンテンツ画像ＣＯはアイコン化されるか、または縮小されるかであったが、これに限らず、例えば、一度バックアップデータがＲＡＭ１４に記憶された後、表示範囲ＥＲから消去されてもよい。「対話可能」、「対話不可」いずれの場合も同様に、表示制御の仕方は本実施形態のものだけに限らない。

　本実施形態において、撮像方向と観察者Ｐがコンテンツ画像ＣＯを視認する方向とはあらかじめ決められていたが、これに限らず、例えば、特開平７－４９７４４号公報に開示されているように観察者Ｐの視線方向を検知する手段がＨＭＤ１に設けられ、検出された観察者Ｐの視線方向と撮像部の撮像方向とを一致させるよう制御する構成であってもよい。

　本実施形態において、観察者Ｐが「対話優先」、または「対話可能」な場合、コンテンツ画像ＣＯは、顔画像ＦＡと重複しないように表示制御されていたが、これに限らず、例えば、コンテンツ画像ＣＯを暗くするなどの表示制御であってもよい。

１　　ＨＭＤ
２　　フレーム部
３　　画像表示部
４　　ハーフミラー
５　　ＣＣＤ
６　　通知部
７　　システムボックス
１０　統括制御部
１２　ＣＰＵ
１３　ＲＯＭ
１４　ＲＡＭ
１５　ＶＲＡＭ
２１　信号処理回路
Ｐ　　観察者
Ｅａ　瞳孔
ＣＯ　コンテンツ画像
ＢＧ　外景
ＥＲ　表示範囲
ＳＲ　撮像範囲
ＦＡ　顔画像
ＩＣ　アイコン

Claims (11)

1. 　観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置であって、
   　少なくとも前記画像光による画像が観察者により視認される範囲内において、前記外景の画像を撮像する撮像部と、
   　前記撮像部により撮像された前記外景の画像から人の顔画像を検出する顔検出部と、
   　前記顔検出部により前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断部と、
   　前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記画像光による画像の位置または大きさを制御する制御部と、
   　を備えたことを特徴とするヘッドマウントディスプレイ装置。
2. 　前記画像情報の重要度を判定する重要度判定部を備え、
   　前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により判定された前記画像情報の重要度に基づいて、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御することを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。
3. 　前記重要度判定部は、前記画像情報の内容から、前記観察者が行っている作業内容を判定し、その判定結果に基づいて、前記画像情報の重要度を判定することを特徴とする請求項２に記載のヘッドマウントディスプレイ装置。
4. 　前記画像情報は前記画像情報を識別するための識別子情報を含んでおり、
   　前記重要度判定部は、前記識別子情報に基づいて、前記画像情報の重要度を判定することを特徴とする請求項２に記載のヘッドマウントディスプレイ装置。
5. 　前記画像情報の各々は前記画像情報を識別するための識別子情報を含んでおり、
   　前記識別子情報の各々に対応するアイコンをあらかじめ記憶しているアイコン記憶部を備え、
   　前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が低いと判定されると、前記アイコン記憶部から前記画像情報に含まれる前記識別子情報に対応する前記アイコンを読み出し、読み出した前記アイコンが前記顔画像と重複しない位置または大きさで前記観察者により視認されるように制御することを特徴とする請求項２～４のいずれかに記載のヘッドマウントディスプレイ装置。
6. 　前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が高いと判定されると、重複部分における前記画像光による画像の輝度を上げることを特徴とする請求項２～４のいずれかに記載のヘッドマウントディスプレイ装置。
7. 　前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記重要度判定部により前記画像情報の重要度が中程度と判定されると、前記画像光による画像と前記顔画像とが重複しないように前記画像光による画像を、大きさを保持した状態で移動させることを特徴とする請求項２～４のいずれかに記載のヘッドマウントディスプレイ装置。
8. 　前記画像情報と前記観察者により視認される前記画像光による画像の位置または大きさに関する属性情報とを記憶するための情報記憶部を備え、
   　前記顔検出部は、所定の時間の間隔で前記撮像部により撮像された前記外景から前記顔画像を検出し、
   　前記制御部は、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記観察者により現在視認されている前記画像光による画像に関する前記画像情報と前記属性情報とを前記情報記憶部に記憶させ、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御し、前記重複判断部により前記顔画像と前記画像光による画像とが重複していると判断された時点から前記所定の時間が経過した後、前記顔検出部により前記顔画像が検出されなかった場合に、前記情報記憶部に記憶された前記画像情報と前記属性情報とを読み出し、読み出した前記画像情報に基づいた前記画像光による画像が、読み出した前記属性情報に基づいた位置または大きさで、前記観察者により視認されるように制御することを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。
9. 　前記重要度判定部により判定された前記画像情報の重要度を前記観察者以外の他者に通知する通知部を備える請求項２に記載のヘッドマウントディスプレイ装置。
10. 　観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御方法であって、
    　少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、
    　前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、
    　前記顔検出ステップにより前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断ステップと、
    　前記重複判断ステップにより前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、
    　を備えたことを特徴とする画像制御方法。
11. 　観察者の頭部近傍に装着され、画像情報に基づいた画像光による画像が外光による外景とともに前記観察者により視認されるように構成されたヘッドマウントディスプレイ装置に使用される画像制御プログラムであって、
    　少なくとも前記画像光による画像が観察者により視認される範囲を含む範囲内において、前記外景の画像を撮像する撮像ステップと、
    　前記撮像ステップにより撮像された前記外景の画像から人の顔画像を検出する顔検出ステップと、
    　前記顔検出ステップにより前記顔画像が検出された場合に、前記顔画像と前記画像光による画像とが重複しているか否かを判断する重複判断ステップと、
    　前記重複判断ステップにより前記顔画像と前記画像光による画像とが重複していると判断された場合に、前記画像光による画像が前記顔画像と重複しないように、前記観察者により視認される前記画像光による画像の位置または大きさを制御する制御ステップと、
    　をコンピュータにより実現する画像制御プログラム。

Images