JP6561606B2 - 表示装置、及び、表示装置の制御方法 - Google Patents

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、表示装置において、外界の光（外光ともいう）の影響を受ける場合であっても、表示する画像や映像の視認性を確保できるようにした表示装置が知られている（例えば、特許文献１参照）。特許文献１に開示されたヘッドマウントディスプレイ（Head Mounted Display：HMD）は、映像を表示し、暗所でも好適な視界を確保するため外界に光を照射する。この表示装置は、使用者が直接外界光から認識する色と、表示装置が照射する映像光から認識する色を異ならせることで、表示する映像を外界と区別しやすくする。

特開２００６−１３９１２４号公報

特許文献１に記載されたように、装置から光を出力して映像や画像を表示する場合、装置が出力する光の見え方が、他の光の影響により変化する。特許文献１には、画像光の波長を、装置が外界に照射する照射光と異なる波長にする例が開示されたが、この例では照射光の波長が既知である。これに対し、表示装置が表示する画像の視認性に影響を与える光について、あらかじめ波長を特定することができない場合に、対策を行うことはできなかった。
本発明は上記事情に鑑みてなされたものであり、装置が画像光を出力して表示する画像の視認性が、画像光以外の光の影響を受ける場合に、適切に対処して画像の視認性を調整できるようにすることを目的とする。

上記目的を達成するために、本発明の表示装置は、使用者に対し、複数の色光を含む画像光を出力して表示オブジェクトを表示する表示部と、光を検出する光検出部と、前記光検出部の検出結果に基づき、前記表示部が出力する前記画像光の色調を制御する制御部と、を備えることを特徴とする。
本発明によれば、光検出部が検出する光に合わせて、画像光の色調を変えることができる。このため、例えば、光検出部が画像光以外に使用者の視野に入射する光を検出する場合、この光と画像光の色調が調和するように制御したり、画像光の視認性を高めるように色調を制御したりできる。これにより、表示装置が表示する画像の視認性を適切に調整できる。

また、本発明は、上記表示装置において、前記光検出部は、前記表示部が出力する前記画像光とは異なる方向からの光を検出すること、を特徴とする。
本発明によれば、画像光以外に使用者の視野に入射する光と画像光の色調が調和するように制御したり、画像光の視認性を高めるように色調を制御したりでき、表示装置が表示する画像の視認性を適切に調整できる。

また、本発明は、上記表示装置において、前記表示部は、前記使用者の頭部に装着され、前記使用者の視野に外光が入射可能な状態で前記画像光を出力する構成を有し、前記光検出部は前記使用者の視野に入射する前記外光を検出すること、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置が表示する画像の色調を、使用者の視野に入射する外光に合わせて変化させることにより、画像の視認性を調整できる。

また、上記目的を達成するために、本発明の表示装置は、使用者に対し、複数の色光を含む画像光を出力して画像を表示する表示部と、前記表示部に隣接して設けられ、前記使用者の顔の前方からの光を検出する光検出部と、前記光検出部の検出結果に基づき、前記表示部が出力する前記画像光の色調を制御する制御部と、を備えることを特徴とする。
本発明によれば、表示部に隣接して設けられる光検出部が検出する光に合わせて、画像光の色調を変えることができる。このため、光検出部が表示部の近傍で検出する光と画像光の色調が調和するように制御したり、画像光の視認性を高めるように色調を制御したりできる。これにより、表示装置が表示する画像の視認性を適切に調整できる。

また、本発明は、上記表示装置において、前記制御部は、複数の色データを含む画像データに基づき、前記表示部に前記画像を構成する前記色光を出力させ、前記画像データに含まれる色データの階調値を変更することによって、前記画像光の色調を変更すること、を特徴とする。
本発明によれば、画像データに含まれる色毎の階調値を変化させることで、データ処理によって画像の視認性を調整できる。

また、本発明は、上記表示装置において、前記光検出部は、複数の異なる波長ごとに、受光する光の強度を検出するセンサーを備えること、を特徴とする。
本発明によれば、使用者の視野に入射する光の色に関する情報を得ることができる。

また、本発明は、上記表示装置において、前記制御部は、前記光検出部で検出される波長ごとの光の強度に基づいて、前記表示部が出力する前記画像光の色調を制御すること、を特徴とする。
本発明によれば、使用者の視野に入射する光の色に対応して画像光の色調を制御することにより、表示装置が表示する画像の視認性を適切に調整できる。

また、本発明は、上記表示装置において、前記制御部は、前記使用者が前記画像光を視認する視認性を高めるように、前記画像光の色調を制御すること、を特徴とする。
本発明によれば、使用者の視野に入射する光の色に対応して、表示装置が表示する画像の視認性を高めることができる。

また、本発明は、上記表示装置において、前記制御部は、前記画像光の色調を前記光検出部により検出する光の色調に近づけるように、前記画像光を構成する各々の前記色光の輝度を制御すること、を特徴とする。
本発明によれば、使用者の視野に入射する光の色に、画像光の色調を適応させて、表示装置が表示する画像を外光等の色に調和させることができる。

また、本発明は、上記表示装置において、前記制御部は、前記光検出部で検出される波長ごとの光の強度に基づいて、前記使用者が前記画像光を視認する視認性を高めるように、前記画像光を構成する各々の前記色光の輝度を制御する第１処理と、前記光検出部で検出される波長ごとの光の強度に基づいて、前記画像光の色調を前記光検出部により検出する光の色調に近づけるように、前記画像光を構成する各々の前記色光の輝度を制御する第２処理と、を実行可能に構成され、前記表示部に表示する画像の属性に応じて前記第１処理及び前記第２処理のいずれかを選択して実行すること、を特徴とする。
本発明によれば、外光等に対して画像の視認性を高める処理と、画像を外光等に調和させる処理とを、表示装置が表示する画像の属性に合わせて選択して実行できる。

また、本発明は、上記表示装置において、前記制御部は、前記第１処理を実行する場合、前記光検出部で検出される光の強度が予め設定された強度より低い場合に、前記画像光に含まれる各々の前記色光の輝度の比を予め設定された比に変化させること、を特徴とする。
本発明によれば、外光等の光の強度が低い場合であっても画像の視認性を適切に調整できる。

また、本発明は、上記表示装置において、前記制御部は、前記光検出部で検出される光の強度が予め設定された強度より低い場合に、前記画像光に含まれる各々の前記色光の輝度の比を予め設定された比に変化させること、を特徴とする。
本発明によれば、外光等の光の強度が低い場合であっても画像の視認性を適切に調整できる。

また、本発明は、上記表示装置において、前記光検出部は、第１検出状態と、前記第１検出状態よりも強度の低い光の検出に適する第２検出状態とを切り替え可能であり、前記制御部は、前記光検出部を第２検出状態に切り換える際に、前記画像光に含まれる各々の前記色光の輝度の比を予め設定された比に変化させること、を特徴とする。
本発明によれば、光検出部の検出状態を、検出する光の強度に合わせて切り替えることで、高精度で、かつ幅広いレンジで光を検出できる。

また、本発明は、上記表示装置において、前記制御部は、前記光検出部で検出される光の強度が予め設定された強度より低い場合に、前記表示部により表示する画像の画像データに対しコントラスト補正処理及び／又はエッジ補正処理を実行すること、を特徴とする。
本発明によれば、外光等の光の強度が低い場合に、コントラスト補正処理及び／又はエッジ補正処理を行うことで、画像の視認性を効果的に高めることができる。

また、本発明は、上記表示装置において、前記表示部は、前記使用者の視野内に位置する表示領域を備え、前記制御部は、前記光検出部により前記使用者の視野に入射する外光を検出した検出結果に基づき、前記表示領域を複数の部分に区分して部分ごとに前記画像光の色調を制御すること、を特徴とする。
本発明によれば、表示領域の部分ごとに画像の視認性を調整できる。

また、本発明は、上記表示装置において、前記光検出部は、前記使用者の視野に複数の方向から入射する光のそれぞれについて強度を検出可能であること、を特徴とする。
本発明によれば、複数の方向から使用者の視野に入射する光のそれぞれに対応して、画像の視認性を調整できる。

また、上記目的を達成するために、本発明は、複数の色光を含む画像光を使用者に対し出力して画像を表示する表示部と、前記表示部が出力する前記画像光とは異なる方向から前記使用者の視野に入射する光を検出する光検出部と、を備えた表示装置の制御方法であって、前記光検出部の検出結果に基づき、前記表示部が出力する前記画像光の色調を制御すること、を特徴とする。
本発明によれば、画像光以外に使用者の視野に入射する光に合わせて、画像光の色調を変えることができる。このため、画像光以外に使用者の視野に入射する光と画像光の色調が調和するように制御したり、画像光の視認性を高めるように色調を制御したりできる。これにより、表示装置が表示する画像の視認性を適切に調整できる。

第１実施形態の頭部装着型表示装置の外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 頭部装着型表示装置を構成する各部の機能ブロック図。 頭部装着型表示装置の表示状態を示す図であり、（Ａ）は表示領域の位置を示す説明図、（Ｂ）は第１の表示例、（Ｃ）は第２の表示例を示す。 頭部装着型表示装置の動作を示すフローチャートであり、（Ａ）は制御装置の動作を示し、（Ｂ）は画像表示部の動作を示す。 頭部装着型表示装置が実行する画像処理の一例を示すフローチャート。 画像処理の別の例を示すフローチャート。 画像処理の別の例を示すフローチャート。 第２実施形態の頭部装着型表示装置の動作の説明図であり、（Ａ）は表示領域に対応して撮像画像に設けられる領域を示し、（Ｂ）は表示領域を示す。 第２実施形態における画像処理の例を示すフローチャート。 第３実施形態における画像処理の例を示すフローチャート。 第４実施形態の頭部装着型表示装置の機能ブロック図。

［第１実施形態］
図１は、本発明を適用した第１実施形態に係るＨＭＤ（Head Mounted Display：頭部装着型表示装置）１００の外観構成を示す説明図である。
ＨＭＤ１００（表示装置）は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者がＨＭＤ１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、図２を参照して後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、ＨＭＤ１００は、少なくとも、ＨＭＤ１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。

調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよい。この場合、複数種類の調光板２０Ａを交換して装着可能としてもよい。例えば、可視光線の透過度が異なる複数種類の調光板から１種類を選択して画像表示部２０に装着可能な構成としてもよい。また、透過する光の色（可視光領域における透過スペクトル）が異なる複数種類の調光板から選択してもよい。また、画像表示部２０に調光板２０Ａを装着しない状態であっても使用可能な構成としてもよい。

カメラ６１は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、カメラ６１の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界に重なることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。

また、フレーム２には、光を検出する外光センサー６８（光検出部）が配置される。外光センサー６８は、光を受光し、受光した光量または受光した光の強度に応じた検出値を出力する環境光センサー（Ambient Light Sensor）である。
外光センサー６８はカメラ６１の近傍に配置され、カメラ６１の画角を含む方向から外光センサー６８に向けて照射される光を受光し、光量を検出する。また、外光センサー６８は画像表示部２０に隣接して設けられるので、画像表示部２０に対して外部から照射または入射する光とほぼ同じ方向からの光を受光する。これにより、外光センサー６８は、画像表示部２０を透過して使用者の眼に入射する光と同じ方向からの光を受光するので、使用者の眼に入射する外光を受光すると見なすことができる。

ここで、外光とは、右表示駆動部２２及び左表示駆動部２４が発する光のほかに、使用者の眼に入射する光をいう。具体的には、使用者の眼に入射する光のうち、図２に示す右表示駆動部２２及び左表示駆動部２４とは異なる光源が発する光を指し、光源から直接入射する直接光と反射光とのどちらを含んでもよい。
外光センサー６８は図１に示したように画像表示部２０の外から照射される光を受光し、特に、使用者の前方から照射される光を受光しやすい向きに設けられる。使用者の眼に実際に入射する外光は、右光学像表示部２６、左光学像表示部２８及び調光板２０Ａを透過した光を含むが、外光センサー６８が、右光学像表示部２６または左光学像表示部２８を透過した光そのものを受光する構成でなくてもよい。つまり、外光センサー６８の検出値が、使用者の眼に入射する外光の光量または強度の指標として利用可能であれば、本発明を実施できる。例えば、図１に示すように、使用者の眼に入射する外光と概ね同じ方向から画像表示部２０の外面に照射される光の一部を、外光センサー６８が受光できる構成が挙げられる。また、本実施形態では、一つの外光センサー６８をフレーム２に設ける構成を例に挙げるが、複数の外光センサー６８を設けることも可能である。また、外光センサー６８の位置は、図１に示すようにフレーム２の幅方向における中央とする他、端部ＥＲや端部ＥＬに設けてもよい。
この構成により、外光センサー６８が検出する光は、使用者が右導光板２６１、左導光板２６２を透過して視認する外景方向の外光とみなすことができる。言い換えれば、外光センサー６８は、図２に示す画像光Ｌの背景光として使用者の眼に入射する外光ＯＬを検出する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２を備える。また、左表示駆動部２４は、左バックライト２２２の拡散板で拡散された光の光路上に配置される透過型の左ＬＣＤ２４２、および、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、左導光板２６２（光学素子）に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１を備える。また、右表示駆動部２２は、右バックライト２２１の拡散板で拡散された光の光路上に配置される透過型の右ＬＣＤ２４１、および、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板２６１（光学素子）に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、ＨＭＤ１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０（図１）は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備えるハーネスである。右コード４２及び左コード４４は、本体コード４８が２本に分岐し、右コード４２は右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、画像表示部２０の本体とは別体となる箱形の本体を有し、ＨＭＤ１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、ＨＭＤ１００の電源オン／オフを切り替えるスイッチである。

図３は、ＨＭＤ１００を構成する各部の機能ブロック図である。
制御装置１０は、制御装置１０及び画像表示部２０を制御する制御部１１０（第２制御部）を備える。制御部１１０は、例えばマイクロプロセッサーで構成され、制御部１１０が処理するデータ等を一時的に記憶するメモリー１２１、及び、制御部１１０が処理するデータ等を不揮発的に記憶する記憶部１２２に接続される。メモリー１２１及び記憶部１２２はいずれも半導体素子により構成され、データバスを介して制御部１１０に接続する。

制御部１１０には、電源制御部１２３、ＵＩ（ユーザーインターフェイス）制御部１２４、無線Ｉ／Ｆ（インターフェイス）制御部１２５、音声制御部１２６、センサーＩＣ１２７、及び、外部Ｉ／Ｆ（インターフェイス）部１２８が接続される。
ＨＭＤ１００は、電源として一次電池または二次電池を備え、電源制御部１２３は、これら電池に接続されるＩＣで構成される。電源制御部１２３は、制御部１１０の制御に従って電池の残容量の検出を行い、検出値のデータ、または残容量が設定値以下となったことを示すデータを制御部１１０に出力する。

ＵＩ制御部１２４は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、及びメニューキー１７の各操作部、点灯部１２、及び、トラックパッド１４が接続されるＩＣである。上記各操作部は入力部として機能し、点灯部１２及びトラックパッド１４は出力部として機能し、ＨＭＤ１００のユーザーインターフェイスを構成する。ＵＩ制御部１２４は、上記操作部における操作を検出して、操作に対応する操作データを制御部１１０に出力する。また、ＵＩ制御部１２４は、制御部１１０の制御に従って、点灯部１２の点灯／消灯、及びトラックパッド１４における表示を行う。

無線Ｉ／Ｆ制御部１２５は、無線通信インターフェイス（図示略）に接続される制御ＩＣであり、制御部１１０の制御に従って、上記無線通信インターフェイスによる通信を実行する。制御装置１０が備える無線通信インターフェイスは、例えば、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
音声制御部１２６は、右イヤホン３２、左イヤホン３４、及びマイク６３に接続され、Ａ／Ｄ（アナログ／ディジタル）コンバーターやアンプ等を備えるＩＣである。音声制御部１２６は、制御部１１０から入力される音声データに基づき右イヤホン３２及び左イヤホン３４から音声を出力させる。また、音声制御部１２６は、マイク６３が集音する音声に基づき音声データを生成して制御部１１０に出力する。

センサーＩＣ１２７は、例えば、３軸加速度センサー、３軸ジャイロセンサー、及び３軸地磁気センサーを備え、例えば上記センサーを具備する１つのＩＣで構成される。センサーＩＣ１２７は、制御部１１０の制御に従って検出を実行し、各センサーの検出値を示すデータを制御部１１０に出力する。センサーＩＣ１２７が備えるセンサーの数や種類は制限されず、外光センサー、温度センサー、圧力センサー等を備えてもよい。

外部Ｉ／Ｆ部１２８は、ＨＭＤ１００を外部機器に接続するインターフェイスである。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部Ｉ／Ｆ部１２８には、ＨＭＤ１００に対してコンテンツを供給する種々の外部機器を接続できる。これらの外部機器は、ＨＭＤ１００に画像を供給する画像供給装置ということもでき、例えば、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。また、外部Ｉ／Ｆ部１２８は、右イヤホン３２、左イヤホン３４及びマイク６３に繋がる端子を設けてもよく、この場合、音声制御部１２６が処理するアナログ音声信号は外部Ｉ／Ｆ部１２８を介して入出力される。

制御部１１０には、Ｉ／Ｆ（インターフェイス）部１１５が接続される。Ｉ／Ｆ部１１５は接続部４０に一端に接続するコネクター等を備えたインターフェイスであり、接続部４０の他端は画像表示部２０のＩ／Ｆ部１５５に接続される。
制御部１１０は、接続部４０を介して、画像表示部２０が備えるサブ制御部１５０とデータ通信を実行する。

制御部１１０は、内蔵するＲＯＭに記憶するプログラムを実行して、ＨＭＤ１００の各部を制御する。制御部１１０は、センサーＩＣ１２７から入力されるデータに基づきセンサーの検出値を取得して、メモリー１２１に記憶する。このとき、制御部１１０は、センサーの検出値に対応付けて、検出値を取得した時刻を示すタイムスタンプ情報を付加して記憶する。

また、制御部１１０は、接続部４０を介して、画像表示部２０が備えるセンサー（外光センサー６８、９軸センサー１６２、及び、ＧＰＳ１６３）の検出値を示すデータを受信する。制御部１１０は、受信したデータをメモリー１２１に記憶する。制御部１１０が受信するデータは、サブ制御部１５０が付加したタイムスタンプ情報を含む。制御部１１０は、上記のようにセンサーＩＣ１２７の検出値に付加するタイムスタンプ情報を、サブ制御部１５０が付加したタイムスタンプ情報と区別できる態様で付加し、メモリー１２１に記憶する。メモリー１２１には、センサーの検出値が、データの属性の１つとしてタイムスタンプ情報が付加されたデータ形式で記憶される。ここで、制御部１１０は、センサーの検出値のデータを、記憶部１２２に記憶してもよい。

制御部１１０は、外部Ｉ／Ｆ部１２８または無線Ｉ／Ｆ制御部１２５により接続する外部機器から、コンテンツのデータを受信して、記憶部１２２に記憶する。コンテンツのデータは、画像表示部２０で表示するテキストや画像等のデータであり、右イヤホン３２及び左イヤホン３４で出力する音声のデータを含んでもよい。制御部１１０は、ＨＭＤ１００を制御してコンテンツを再生する。具体的には、制御部１１０は、コンテンツの表示用のデータをサブ制御部１５０に送信して表示を実行させ、コンテンツの音声データを音声制御部１２６に出力して音声を出力させる。また、外部機器から受信するコンテンツのデータが、再生に関する条件を示すデータを含む場合、制御部１１０は、この条件に従ってコンテンツを再生する。例えば、画像表示部２０において検出される位置や傾き等のセンサーの検出値が、条件に該当する場合に、検出値に対応するテキストや画像を表示させる。

画像表示部２０は、制御部１１０と通信を実行し、画像表示部２０の各部を制御するサブ制御部１５０を備える。サブ制御部１５０は、例えばマイクロプロセッサーで構成され、Ｉ／Ｆ部１５５により接続部４０に接続され、接続部４０を介して制御部１１０との間でデータ通信を実行する。
サブ制御部１５０には、外光センサー６８、９軸センサー１６２、及び、ＧＰＳ１６３のセンサー類が接続される。外光センサー６８は、上述したように環境光センサー（ＡＬＳ）のＩＣ、又は、環境光センサーを含む複数のセンサーやセンサーの周辺回路をユニット化したＩＣである。９軸センサー１６２は、３軸加速度センサー、３軸ジャイロセンサー、及び、３軸地磁気センサーを備えるＩＣである。

外光センサー６８は、光を受光して、複数の異なる波長域（周波数帯）における光量または強度を検出するカラーセンサーである。本実施形態では、外光センサー６８はＲＧＢカラーセンサーが採用される。外光センサー６８の周波数感度特性は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のそれぞれに対応するピーク周波数を有する。例えば、Ｒに対応する570〜700ｎｍの波長域、Ｇに対応する450〜630ｎｍの波長域、及び、Ｂに対応する400〜540ｎｍの波長域のそれぞれの波長域の受光強度を検出する。この外光センサー６８は、例えば、人間の視感効率に適合する特性を有することが好ましい。また、外光センサー６８は、センサー（検出部）本体と、センサーの検出値をデジタルデータとして出力する回路部（検出回路部）とをモジュール化したセンサーモジュールであってもよい。

外光センサー６８は、サブ制御部１５０の制御により駆動され、例えばＲ、Ｇ、Ｂそれぞれの周波数帯における受光量または受光強度を示す検出値を、デジタルデータとして、サブ制御部１５０に出力する。

９軸センサー１６２は、サブ制御部１５０の制御により駆動され、内蔵する各センサーの検出値を示すデータを、サブ制御部１５０に出力する。

ＧＰＳ１６３は、ＧＰＳ衛星や屋内に設置される疑似ＧＰＳ送信機（図示略）が送信する位置検出用の信号を受信して、画像表示部２０の現在位置を算出し、算出したデータをサブ制御部１５０に出力する。ＧＰＳ１６３は、位置検出用の信号を受信する受信機としての機能のみ有する構成としてもよく、この場合、ＧＰＳ１６３が出力するデータに基づきサブ制御部１５０が現在位置を算出する処理を行えば良い。

ＥＥＰＲＯＭ１６５（設定データ記憶部）は、サブ制御部１５０が実行する処理に関するデータ等を不揮発的に記憶する。
また、サブ制御部１５０にはカメラ６１が接続され、サブ制御部１５０は、カメラ６１を制御して撮像を実行させ、カメラ６１の撮像画像データを制御部１１０に送信する。

サブ制御部１５０には、右ＬＣＤ２４１を駆動して描画を行うＬＣＤ駆動部１６７、及び、左ＬＣＤ２４２を駆動して描画を行うＬＣＤ駆動部１６８が接続される。サブ制御部１５０は、制御部１１０からコンテンツのデータを受信し、受信したデータに含まれるテキストや画像を表示する表示データを生成してＬＣＤ駆動部１６７、１６８に出力し、表示を実行させる。

また、サブ制御部１５０は、右バックライト２２１を駆動するバックライト駆動部１６９、及び、左バックライト２２２を駆動するバックライト駆動部１７０に接続される。サブ制御部１５０は、バックライト駆動部１６９、１７０に対し、ＰＷＭ制御用のタイミングデータを含む制御データを出力する。バックライト駆動部１６９、１７０は、サブ制御部１５０から入力される制御データに基づき、右バックライト２２１、左バックライト２２２に駆動電圧とパルスを供給して、右バックライト２２１、左バックライト２２２を点灯させる。

また、サブ制御部１５０は、バックライト駆動部１６９に出力するデータにより、バックライト駆動部１６９が右バックライト２２１に出力するパルスのパルス幅、或いは、デューティーを指定する。デューティーは、パルスのオン期間とオフ期間の比を指す。同様に、サブ制御部１５０は、バックライト駆動部１７０に出力するデータにより、バックライト駆動部１７０が左バックライト２２２に出力するパルスのパルス幅、或いは、デューティーを指定する。右バックライト２２１及び左バックライト２２２はＬＥＤ等の個体光源であり、発光する明るさ、すなわち輝度をＰＷＭ制御により調整できる。従って、サブ制御部１５０の制御により、使用者の眼に入射する画像光Ｌ（図２）の光量を調整できる。また、サブ制御部１５０はバックライト駆動部１６９とバックライト駆動部１７０のそれぞれに、異なるデータを出力し、右バックライト２２１の輝度と左バックライト２２２の輝度とを個別に調整できる。

バックライト駆動部１６９は、右バックライト２２１の輝度を段階的に調整でき、バックライト駆動部１７０も同様に、左バックライト２２２の輝度を段階的に調整できる。本実施形態では、輝度を２５６段階で調整可能な構成を例に挙げる。サブ制御部１５０は、バックライト駆動部１６９、１７０に対し、右バックライト２２１及び左バックライト２２２のそれぞれの輝度を指定するデータを出力する。このデータは、輝度の段階を示す０〜２５５の輝度値である。バックライト駆動部１６９、１７０は、サブ制御部１５０から入力するデータで指定された輝度値に対応するパルスを生成して、右バックライト２２１と左バックライト２２２のそれぞれに出力する。
サブ制御部１５０には、表示に適した輝度や、右ＬＣＤ２４１及び左ＬＣＤ２４２のガンマ値等を加味して設定された輝度値が、初期値として設定される。

制御部１１０とサブ制御部１５０とを接続する接続部４０は、制御データバス４１Ａ、画像データバス４１Ｂ、表示データバス４１Ｃ、４１Ｄを含む複数のデータバスを有する。これらのデータバスは、互いに独立してデータを伝送可能であるが、各データバスを構成する信号線が物理的に区分された構成であってもよいし、各データバスが共通の信号線を用いて仮想的あるいは論理的に構成されてもよい。
制御データバス４１Ａは、制御部１１０からサブ制御部１５０に対して送信される制御データ、サブ制御部１５０が制御部１１０に送信するセンサーの検出値のデータ等を伝送する。画像データバス４１Ｂは、サブ制御部１５０から制御部１１０に、カメラ６１の撮像画像データを伝送する。表示データバス４１Ｃは、右表示駆動部２２で表示するデータを伝送し、表示データバス４１Ｄは左表示駆動部２４で表示するデータを伝送する。

画像表示部２０が備える外光センサー６８、９軸センサー１６２、及び、ＧＰＳ１６３を含む複数のセンサーのサンプリング周期は、大きく異なることもある。例えば、９軸センサー１６２の加速度センサーのサンプリング周期（サンプリング頻度）は２００回／秒以上となることが考えられる。これに対し、外光センサー６８のサンプリング周期はより遅くてもよく、１〜１０回／秒（１０００〜１００ｍｓ周期）程度でも十分に役立つことが考えられる。これらのセンサーは、サブ制御部１５０がサンプリング周期の設定を行い、設定したサンプリング周期に従ってサブ制御部１５０が検出値を取得する。サブ制御部１５０は、各センサーからサンプリングした検出値のデータを、制御データバス４１Ａにおいて時分割で制御部１１０に送信する。

このため、サンプリング周期の遅い（サンプリング頻度が低い、或いは、サンプリング間隔が長いと言い換えられる）センサーを制御するために制御データバス４１Ａが長時間占有されることがない。これにより、制御データバス４１Ａのオーバーヘッドを低減し、制御データバス４１Ａで多数のセンサーの検出値を効率よく伝送できる。また、サブ制御部１５０は、ＲＡＭ（図示略）を内蔵し、センサーの検出値を取得した場合はＲＡＭに一時的に記憶する。サブ制御部１５０は、ＲＡＭに記憶したデータの送信タイミングを調整して、データを制御データバス４１Ａに送出する。従って、サブ制御部１５０の動作も、各センサーのサンプリング周期の制約を受けにくく、センサーの制御のためにサブ制御部１５０の処理が占有される事態を防止できる。

制御部１１０は、接続部４０の各バスを介してデータを送受信することにより、画像表示部２０によって、ＡＲ表示を実行する。ＡＲ表示は、画像表示部２０（右光学像表示部２６及び左光学像表示部２８）を透過して使用者が視認する実空間の対象物に合わせて、いわゆるＡＲ（Augmented Reality）効果を奏する画像（以下、ＡＲ画像と呼ぶ）を表示する動作である。ＡＲ表示を行うと、使用者には、実空間に存在する対象物を見ている状態で、対象物に重なる位置または対象物に対応する位置にＡＲ画像が見える。このため、使用者にとっては、実空間の対象物に、文字や画像を含む仮想的な表示オブジェクトが付加されて視認できるため、あたかも現実を拡張するような効果がある。

図４は、ＨＭＤ１００の表示状態を示す図であり、（Ａ）は表示領域の位置を示す説明図であり、（Ｂ）は第１の表示例を示し、（Ｃ）は第２の表示例を示す。図４（Ａ）〜（Ｃ）で、ＶＲは使用者の視野を示し、ＶＳは視野ＶＲにおいて使用者が見ることが可能な外景を示す。
Ｖ１は、ＨＭＤ１００が画像を表示して使用者に視認させることが可能な領域、すなわち画像表示部２０の表示領域を示す。表示領域Ｖ１は、図４（Ａ）に示すように、使用者の視野ＶＲのほぼ中央に位置し、視野ＶＲよりも狭い。表示領域Ｖ１は視野ＶＲと同じサイズであってもよく、サイズ及び位置は図４（Ａ）の例に限定されない。

表示領域Ｖ１は、右導光板２６１のハーフミラー２６１Ａ（図２）、及び、左導光板２６２のハーフミラー２６２Ａが使用者の眼に画像光を反射することによって、形成される。表示領域Ｖ１は、右ＬＣＤ２４１及び左ＬＣＤ２４２に対応する。例えば、右ＬＣＤ２４１及び左ＬＣＤ２４２の表示可能な領域（表示可能領域）の全体に画像を表示すると、使用者に、表示領域Ｖ１の全体のサイズの画像を視認させることができる。

ＨＭＤ１００は、表示領域Ｖ１に、ＡＲ画像を構成する画像やテキスト等の表示オブジェクトを表示する。表示オブジェクトの表示位置、及び表示サイズは、使用者が視認する実空間（外景）の対象物の位置に合わせて決定される。例えば、制御部１１０が、後述するようにカメラ６１の撮像画像を解析し、カメラ６１の画角（撮像範囲）と表示領域Ｖ１との相対位置を定めるデータに基づいて、表示オブジェクトの表示位置、サイズを決定する処理を行う。上述のように、カメラ６１の画角（撮像範囲）は使用者の視野ＶＲに重なり、より好ましくは、カメラ６１の画角が視野ＶＲの全体を含む。従って、使用者が視野ＶＲにおいて視認する実空間の物体は、カメラ６１の撮像画像に写ることができ、カメラ６１の撮像画像から対象物を検出可能である。
対象物は移動可能な物体であってもよいし、異動できない物体すなわち固定的な建造物の一部または全部であってもよいし、物体の表面の一部が対象物であってもよい。

図４（Ａ）の例では、使用者の視野ＶＲに、実空間に存在するドアである対象物ＯＢ１が含まれる。この場合、使用者は画像表示部２０を透過して対象物ＯＢ１を視認する。ＨＭＤ１００は、カメラ６１の撮像画像からＡＲ表示を行う対象である対象物ＯＢ１の位置を検出する。ここで検出する位置はカメラ６１に対する対象物ＯＢ１の相対位置である。また、ＨＭＤ１００は、予め、カメラ６１の撮像画像における位置と表示領域Ｖ１との相対位置関係を示すデータを、記憶部１２２に記憶する。このデータは、例えば設定データ１２２ｂに含めることができる。この場合、ＨＭＤ１００は、設定データ１２２ｂを用いて、撮像画像における対象物ＯＢ１の位置から、表示領域Ｖ１における対象物ＯＢ１の位置を算出する。

図４（Ｂ）には対象物ＯＢ１よりも高い視認性で、すなわち目立つように画像ＡＲ１を表示する例を示す。図４（Ｂ）の例の表示を行う場合、ＨＭＤ１００は、対象物ＯＢ１が視認される位置に重なるように画像ＡＲ１の表示位置を決定し、画像ＡＲ１の表示サイズを、表示領域Ｖ１における最大サイズに設定する。図４（Ｂ）の画像ＡＲ１は、外景ＶＳよりも目立つように表示することが好ましく、例えば、表示領域Ｖ１における表示輝度が高輝度に設定され、視認性の高い色で表示される。

図４（Ｃ）には、外景ＶＳを補完するＡＲ表示の例を示す。図４（Ｃ）の画像ＡＲ２、ＡＲ３は、外景ＶＳの対象物ＯＢ１の色やテクスチャーを、外景ＶＳの色とは異なる状態として、使用者に視認させる効果がある画像である。画像ＡＲ２は対象物ＯＢ１の形状に合わせて、対象物ＯＢ１に重なるように表示される。また、画像ＡＲ３は画像ＡＲ２に接する位置に、画像ＡＲ２に合わせたサイズで表示される。図４（Ｃ）の例では、画像ＡＲ２、ＡＲ３が外景ＶＳに馴染むように表示することが好ましい。すなわち、画像ＡＲ２、ＡＲ３が、対象物ＯＢ１及び対象物ＯＢ１の周囲の外景ＶＳの視認性を損なわないことが好ましい。このため、例えば、表示領域Ｖ１における画像ＡＲ２、ＡＲ３の表示輝度は、外景ＶＳの視認性を損なわない程度の輝度に設定される。

図４（Ｂ）及び（Ｃ）に示した表示オブジェクトである画像ＡＲ１〜ＡＲ３を表示するためのデータは、記憶部１２２にコンテンツデータ１２２ａとして記憶される。コンテンツデータ１２２ａは、複数の表示オブジェクトのラスター画像データを含んでもよいし、表示オブジェクトを生成するためのベクトル画像データを含んでもよい。或いは、表示オブジェクトを生成するためのパラメーターや関数、テキストデータ等を含んでもよい。表示オブジェクトは、画像に限らず、文字を含んでもよいし、静止画像であっても動画像であってもよい。
また、複数の表示オブジェクトを表示するためのデータをコンテンツデータ１２２ａに含めてもよい。また、コンテンツデータ１２２ａは、音声データを含んでもよく、表示オブジェクトが表示される際に、コンテンツデータ１２２ａの音声データに基づき音声が音声制御部１２６により出力されてもよい。

ＨＭＤ１００がＡＲ表示において表示する表示オブジェクトの視認性、及び、画像表示部２０を透過して使用者に視認される外景ＶＳの視認性は、外部環境から画像表示部２０を透過して使用者の眼に入射する光、すなわち外光の影響を受ける。外光の光量が大きい（強度が高い）場合は、光量が小さい（強度が低い）場合に比べて、外景ＶＳの視認性が高まるが、表示オブジェクトの視認性が低下する。また、外光の色によって、表示オブジェクトの視認性が影響を受けることもある。外光の色は、外光に含まれる波長成分のバランスということもできる。可視領域のうち一部の波長域の光強度が高い外光が使用者の眼に入射する場合、外光が白色光である場合に比べて、表示オブジェクトにおいて光強度が高い波長域の視認性が低下する。このため、外光の色によって表示オブジェクトの色の見え方が変化し、表示オブジェクトの一部分の視認性が低下する等の現象が発生する可能性がある。

ＨＭＤ１００は、外光センサー６８で検出する外光の色に応じて、表示領域Ｖ１に表示する表示オブジェクトの表示態様を変化させ、表示オブジェクトの視認性を良好に保つ調整機能を備える。外光センサー６８はカラーセンサーで構成されるため、例えば、外光の強度を、波長域ごとの強度として検出できる。また、検出結果として、外光センサー６８の検出値から、外光の周波数スペクトルを求めてもよい。また、外光センサー６８の検出値から、外光の色の色度座標を算出して、検出結果としてもよい。これらの外光の色に関する検出結果を総称して、色調と呼ぶ。ＨＭＤ１００は、外光センサー６８の検出値から、上記のいずれかを含む外光の色調を求める。そして、ＨＭＤ１００は、外光の色調の検出結果に基づき、表示オブジェクトの表示色や、表示輝度を調整する。

ＨＭＤ１００を制御する制御部１１０（図３）は、ＡＲ表示、及び、上記の調整機能を実行する機能部として、撮像制御部１１１、画像処理部１１２、及び表示制御部１１３を備える。
撮像制御部１１１は、Ｉ／Ｆ部１１５、１５５を介してサブ制御部１５０にコマンドを送信することにより、カメラ６１に撮像を実行させる。サブ制御部１５０は、撮像制御部１１１が送信する撮像コマンドを受信して、カメラ６１に撮像を実行させ、カメラ６１の撮像画像データを撮像制御部１１１に送信する。

表示制御部１１３は、記憶部１２２に記憶されたコンテンツデータ１２２ａに基づき、画像表示部２０により表示オブジェクトを表示させる。表示制御部１１３は、コンテンツデータ１２２ａ、または、コンテンツデータ１２２ａに基づき生成される表示オブジェクトのデータを、Ｉ／Ｆ部１１５、１５５を介して送信する。また、表示制御部１１３は、表示オブジェクトの表示位置及びサイズを示すデータ、表示オブジェクトの表示を指示するコマンド等を送信する。サブ制御部１５０は、制御部１１０が送信するコマンドやデータを受信し、受信したデータに基づきＬＣＤ駆動部１６７、１６８及びバックライト駆動部１６９、１７０を駆動して表示を実行する。

表示制御部１１３は、コンテンツデータ１２２ａに基づき表示を行う場合、コンテンツデータ１２２ａから表示オブジェクトの画像データを抽出する処理、または、コンテンツデータ１２２ａに基づき表示オブジェクトの画像データを生成する処理を行う。

表示制御部１１３は、表示オブジェクトの表示領域Ｖ１における表示位置、すなわちＬＣＤ駆動部１６７、１６８における表示位置を求める処理を行う。表示制御部１１３は、ＡＲ表示を行わず通常表示を行う場合、コンテンツデータ１２２ａに含まれるデータまたは事前に設定された設定データ１２２ｂに基づいて、表示オブジェクトの表示位置を求め、表示位置を指定するコマンドを送信する。

また、表示制御部１１３は、ＡＲ表示を行う場合、例えばコンテンツデータ１２２ａにＡＲ表示を行うことを示す属性データが含まれる場合、ＡＲ表示の対象物ＯＢ１を使用者が視認する位置に合わせて、表示オブジェクトの表示位置を決定する処理を行う。この処理で、表示制御部１１３は、撮像画像から対象物ＯＢ１の画像を検出する。ＨＭＤ１００では、検出する対象物ＯＢの画像について、形状、色彩などの特徴量に関するデータを、例えば設定データ１２２ｂとして記憶部１２２に記憶する。表示制御部１１３は、記憶部１２２に記憶した設定データ１２２ｂを用いて、撮像画像から対象物ＯＢ１の画像を検出し、撮像画像における対象物ＯＢ１の位置を特定する。さらに、表示制御部１１３は、ＬＣＤ駆動部１６７、１６８における表示オブジェクトの表示位置を特定し、表示オブジェクトを表示させる。

また、表示制御部１１３は、外光センサー６８の検出値に基づき、画像表示部２０に表示する表示オブジェクトの色調、及び／又は輝度を調整する処理を行う。表示制御部１１３は、外光センサー６８の検出値から、外光の波長域ごとの受光強度を取得し、取得した受光強度に基づき、画像表示部２０に送信する表示オブジェクトの画像データを、画像処理部１１２によって処理させる。
画像処理部１１２は、コンテンツデータ１２２ａから表示制御部１１３が抽出した画像データまたはコンテンツデータ１２２ａに基づき表示制御部１１３が生成した画像データに対し、色調を変更する処理、或いは、輝度を調整する処理を実行する。例えば、画像処理部１１２は、処理対象の画像データを構成する各画素のＲＧＢの階調値を、表示制御部１１３が指定する補正パラメーターに従って補正する。

ＡＲ表示を行う場合、表示制御部１１３は、表示オブジェクトを、対象物ＯＢ１の前に重なるように表示する表示態様と、対象物ＯＢ１の後ろに重なって視認されるように表示する表示態様とを切り替えてもよい。また、画像処理部１１２によって画像データを処理させることにより、表示オブジェクトに影が付いたように視認される表示態様で表示してもよい。

図５は、ＨＭＤ１００の動作を示すフローチャートであり、（Ａ）は制御装置１０の動作を示し、（Ｂ）は画像表示部２０の動作を示す。
制御装置１０に対する操作により、表示動作の開始が指示されると、制御部１１０が、起動コマンドを生成してサブ制御部１５０に送信する（ステップＳ１１）。このコマンドは制御データバス４１Ａを介して伝送され、サブ制御部１５０はコマンドを受信する（ステップＳ３１）。

サブ制御部１５０は動作を開始し、コマンドに従って、サブ制御部１５０の初期化を行い、カメラ６１、外光センサー６８、９軸センサー１６２、及びＧＰＳ１６３を含む画像表示部２０の各部の初期化を行う（ステップＳ３２）。

制御部１１０は、コンテンツデータ１２２ａに基づきＡＲ画像を構成する表示オブジェクトの画像データを取得して、サブ制御部１５０に送信する（ステップＳ１２）。サブ制御部１５０は、画像データを受信し、受信した画像データに基づく画像の表示を開始する（ステップＳ３３）。ここで、サブ制御部１５０は、バックライト駆動部１６９、１７０を動作させて右バックライト２２１及び左バックライト２２２を点灯させ、受信した画像データに基づきＬＣＤ駆動部１６７、１６８を動作させて、画像を表示する。

続いて、制御部１１０が、外光センサー６８による検出実行を指示する検出コマンドを生成して、サブ制御部１５０に送信する（ステップＳ１３）。
サブ制御部１５０は、検出コマンドを受信し（ステップＳ３４）、外光センサー６８を動作させて検出値を取得して、検出結果すなわち検出値を示すデータを制御部１１０に送信する（ステップＳ３５）。

制御部１１０は、外光センサー６８の検出結果を受信して（ステップＳ１４）、画像処理を実行する（ステップＳ１５）。この画像処理は、外光センサー６８の検出結果に基づき表示オブジェクトの視認性を調整する処理であり、詳細は後述する。

制御部１１０は、カメラ６１による撮像実行を指示する撮像コマンドを生成してサブ制御部１５０に送信する（ステップＳ１６）。サブ制御部１５０は、撮像コマンドを受信して実行し（ステップＳ３６）、カメラ６１による撮像を実行させて、撮像画像データを制御部１１０に送信する（ステップＳ３７）。
制御部１１０は、撮像画像データを受信し（ステップＳ１８）、撮像画像データに基づいて、ＡＲ画像を構成する表示オブジェクトの表示位置、及び表示サイズを決定する（ステップＳ１８）。ステップＳ１８で、制御部１１０は、上述のようにＡＲ表示の対象である対象物ＯＢ１を撮像画像から検出し、撮像画像における対象物ＯＢ１の位置及び大きさに基づいて、表示オブジェクトの表示位置およびサイズを決定する。制御部１１０は、表示オブジェクトの表示位置および表示サイズを指定する表示位置データをサブ制御部１５０に送信する（ステップＳ１９）。

サブ制御部１５０は、表示位置データを受信し（ステップＳ３８）、右ＬＣＤ２４１及び左ＬＣＤ２４２における表示オブジェクトの表示位置及びサイズを更新する（ステップＳ３９）。

制御部１１０は、表示を終了するか否かを判定する（ステップＳ２０）。表示を終了しない場合（ステップＳ２０；ＮＯ）、制御部１１０はステップＳ１３に戻る。また、制御部１１０は、制御装置１０の操作により表示の終了が指示された場合、表示を終了すると判定し（ステップＳ２０；ＹＥＳ）、画像データの送信を停止する（ステップＳ２１）。制御部１１０は表示終了を指示する終了コマンドを生成し、サブ制御部１５０に送信する（ステップＳ２２）。
サブ制御部１５０は、終了コマンドを受信したか否かを判定する（ステップＳ４０）。終了コマンドを受信した場合（ステップＳ４０；ＹＥＳ）、サブ制御部１５０は、ＬＣＤ駆動部１６７、１６８及びバックライト駆動部１６９、１７０を停止させて表示を終了する（ステップＳ４１）。また、終了コマンドを受信しない場合（ステップＳ４０；ＮＯ）、サブ制御部１５０はステップＳ３４に戻る。

図６は、図５のステップＳ１５で制御部１１０が実行する画像処理を、詳細に示すフローチャートである。
制御部１１０は、ステップＳ１４（図５）で受信した外光センサー６８の検出結果から、外光の色調を取得する（ステップＳ１０１）。外光の色調は、例えば、上述した波長ごとの受光強度、Ｒ、Ｇ、Ｂの各波長域の強度、予め設定された特定の波長における受光強度等の検出値や、検出値から求められる周波数スペクトルまたは外光の色度座標等である。本実施形態で説明する「色調」は、外光の色調に関する上記の各種の情報のうち少なくとも１つを含む「色調情報」と呼んでもよい。

制御部１１０は、外光の色調に対応する補正パラメーターを生成し、或いは取得する（ステップＳ１０２）。ステップＳ１０２で、制御部１１０はステップＳ１０１で取得した外光の色調をもとに演算処理を行って、補正パラメーターを生成してもよい。また、外光の色調と補正パラメーターとを対応付けるテーブル（図示略）を、予め、記憶部１２２に記憶し、このテーブルを用いて補正パラメーターを取得してもよい。この場合のテーブルは、設定データ１２２ｂに含めてもよい。
そして、制御部１１０は、ステップＳ１０２で生成または取得した補正パラメーターを用いて、表示オブジェクトの画像データを補正する処理を行う（ステップＳ１０３）。

図６に示す処理の具体例として、３通りの処理が挙げられる。
第１の処理は、表示オブジェクトの視認性が低下しないように維持する処理である。言い換えれば、外光の影響で表示オブジェクトの視認性が低下する可能性がある場合に、視認性の低下を防止する処理である。

制御部１１０は、外光の色調の影響により表示オブジェクトの色調が変化して視認される可能性がある場合、この外光の影響を相殺するように、表示オブジェクトの画像データの階調値を補正する。右ＬＣＤ２４１及び左ＬＣＤ２４２は、例えばＲ、Ｇ、Ｂの３色の表示を行う液晶表示パネルで構成され、右バックライト２２１及び左バックライト２２２が発する白色光に合わせた色調特性を有する構成となっている。従って、外光が、いわゆる白色光である場合に、表示オブジェクトが本来の色で視認される。外光の色調が白色光とは異なる色調となっている場合、表示オブジェクトを構成する画像光と外光とが重なって使用者の眼に入射することにより、表示オブジェクトが本来の色調とは異なる色調で見える。この場合、制御部１１０は、外光が白色光である場合と同じように表示オブジェクトが視認されるように、画像データを構成するＲ、Ｇ、Ｂの各色のデータをそれぞれ補正する。例えば、制御部１１０は、画像データの各色のガンマ補正を行う。

第２の処理は、表示オブジェクトの視認性をより高くする処理である。
制御部１１０は、外光の色調とのコントラストが高くなるように、表示オブジェクトの画像データを補正する。第２の処理では、制御部１１０は、制御部１１０は、外光の色調とのコントラストが高くなるように、表示オブジェクトの画像データを補正する。この第２の処理の結果、表示オブジェクトが、外光が白色光である場合とは異なる色調で視認されてもよい。

第１及び第２の処理は、例えば、図４（Ｂ）に示す画像ＡＲ１のように、外景ＶＳに対して目立つように使用者に視認されることが望ましい表示オブジェクトについて、有用である。

第３の処理は、表示オブジェクトの色調を、外光の色調に合わせて変化させる処理である。第３の処理を行う場合、制御部１１０は表示オブジェクトの色調が外光の色調に近くなるように、画像データの階調値を補正する。
第３の処理によれば、表示オブジェクトが外景ＶＳに溶け込むような視覚効果を得ることができる。この第３の処理は、例えば、図４（Ｃ）に示す画像ＡＲ２、ＡＲ３のように、実空間（対象物）と同時に視認されることで視覚的な効果をもたらす表示オブジェクトについて、有用である。

図７は、図５のステップＳ１５で制御部１１０が実行する画像処理の別の例を、詳細に示すフローチャートである。
図７の画像処理で、制御部１１０は、外光の明るさ、すなわち外光センサー６８が受光する受光強度に対応して画像データを補正する。

制御部１１０は、ステップＳ１４（図５）で受信した外光センサー６８の検出結果から、外光の強度を算出する（ステップＳ１１１）。外光の強度は、例えば、特定の波長における外光センサー６８の受光強度であってもよいし、予め設定された複数の波長または波長域における受光強度から算出される値であってもよい。

制御部１１０は、外光の強度が、予め設定された設定値より暗いか否かを判定する（ステップＳ１１２）。設定値よりも暗い場合（ステップＳ１１２；ＹＥＳ）、制御部１１０は、設定データ１２２ｂから暗所用の補正パラメーターを生成または取得し（ステップＳ１１３）、この補正パラメーターを用いて表示オブジェクトの画像データを補正する（ステップＳ１１４）。また、外光の強度が設定値と同じか、設定値よりも明るい場合（ステップＳ１１２；ＮＯ）、制御部１１０は画像データの補正を行わず本処理を終了する。

人間の視細胞を構成する杆体細胞と錐体細胞のうち、外光の強度が弱い（外光が暗い）場合には杆体細胞が優位に働くことが知られている。杆体細胞の感光特性（光吸収特性）は500〜550ｎｍにピークを有し、錐体細胞よりも感光特性のピーク波長が短波長側にある。従って、外光が暗い場合は白色よりも青色側の光が強く視認される。図７の画像処理では、杆体細胞によって表示オブジェクトの画像光が強く感じられるように、表示オブジェクトの画像データを、青色が強くなるように補正する。これにより、使用者の眼に入射する光の強度が弱い場合に、表示オブジェクトが良好に視認されるようにすることができる。図７の画像処理では、表示オブジェクトと外景ＶＳとのコントラストが極端に大きくならないように、表示オブジェクトの視認性を向上させることができるという、効果が得られる。

また、制御部１１０は、図６に示した画像処理と、図７に示した画像処理とを組み合わせて実行することも可能である。この例を図８に示す。
図８は、図５のステップＳ１５で制御部１１０が実行する画像処理の別の例を、詳細に示すフローチャートである。なお、図８において、図６及び図７と同様の処理を行う処理ステップについては、同ステップ番号を付す。

図８の画像処理で、制御部１１０は、画像データの属性、すなわち表示オブジェクトの属性を判定する（ステップＳ１２１）。図８に示す画像処理を行う場合、コンテンツデータ１２２ａに含まれる表示オブジェクトの画像データに、表示オブジェクトの属性を示すデータが付加される。表示オブジェクトの属性は、例えば、当該表示オブジェクトを外景ＶＳに対して目立たせるか否か、すなわち表示オブジェクトの視認性を高めるか否かを示す。図４（Ｂ）に示した画像ＡＲ１と、図４（Ｃ）に示した画像ＡＲ２、ＡＲ３とは、異なる属性を有する。

制御部１１０は、ステップＳ１２１で取得した表示オブジェクトの属性に基づき、表示オブジェクトの視認性を高める処理を行うか否かを判定する（ステップＳ１２２）。視認性を高める処理を行う場合（ステップＳ１２２；ＹＥＳ）、制御部１１０は、図７に示したステップＳ１１１〜Ｓ１１２の処理を実行し、外光の強度が、予め設定された設定値より暗いか否かを判定する（ステップＳ１１２）。

設定値よりも暗い場合（ステップＳ１１２；ＹＥＳ）、制御部１１０は、設定データ１２２ｂから暗所用の補正パラメーターを取得する（ステップＳ１１３）。
さらに、制御部１１０は、外光センサー６８の検出結果から外光の色調を取得し（ステップＳ１２３）、画像データに適用する補正パラメーターを生成する（ステップＳ１２４）。ステップＳ１２４で、制御部１１０は、外光の色調に対応して、表示オブジェクトの視認性を高める補正パラメーターに、ステップＳ１１３で取得した暗所用の補正パラメーターを合わせた補正パラメーターを生成する。なお、ステップＳ１２４で制御部１１０が生成する補正パラメーターは、図７の画像処理と同様に暗所における視認性を確保でき、かつ、図６を参照して説明した第１または第２の処理と同様の効果が得られるパラメーターであればよく、算出方法等は任意である。

制御部１１０は、生成した補正パラメーターを用いて表示オブジェクトの画像データを補正する（ステップＳ１２５）。さらに、制御部１１０は、補正後の画像データに対して、コントラストを補正するコントラスト補正処理、及び、エッジ補正処理の少なくともいずれかを実行する（ステップＳ１２６）。コントラスト補正処理は、例えば、コントラストを強調して、暗い画像の視認性を高める処理とすることができる。また、エッジ補正処理は、例えば、エッジ強調を行って暗い画像の視認性を高める処理とすることができる。また、コントラスト補正処理でコントラストを低下させ、エッジ補正処理でエッジをぼかす処理を行うことで、表示オブジェクトを外光に馴染ませる効果を得る構成としてもよい。

また、外光の強度が設定値と同じか、設定値よりも明るい場合（ステップＳ１１２；ＮＯ）、制御部１１０は、外光センサー６８の検出結果から外光の色調を取得し（ステップＳ１３１）、補正パラメーターを生成または取得する（ステップＳ１３２）。ステップＳ１３２で生成する補正パラメーターは、外光に対して表示オブジェクトの視認性を維持し、或いは高める補正パラメーターであり、図６を参照して説明した第１または第２の処理と同様の効果が得られるパラメーターである。補正パラメーターを生成または取得した後、制御部１１０は、ステップＳ１２５に移行して画像データを補正する。

一方、画像データの属性に基づき、表示オブジェクトの視認性を高める処理を行わない場合（ステップＳ１２２；ＮＯ）、制御部１１０は、外光センサー６８の検出値から外光の色調を取得する（ステップＳ１３３）。制御部１１０は、表示オブジェクトの画像データの色調を、外光の色調に合わせる補正パラメーターを生成または取得し（ステップＳ１３４）、この補正パラメーターにより画像データを補正する（ステップＳ１３５）。ステップＳ１３３〜Ｓ１３５の処理は、図６を参照して説明した第３の処理と同様の処理である。

図８の画像処理を行う場合、制御部１１０は、外光の明るさと、表示オブジェクトの属性とに対応して、表示オブジェクトの画像データを補正することにより、表示オブジェクトの視認性を適正な状態とすることができる。

また、外光センサー６８が、検出する光の強度のレンジ（検出範囲）を複数段階に切換可能な構成である場合、図７及び８の動作において、外光センサー６８のレンジを切り替えてもよい。具体的には、制御部１１０は、サブ制御部１５０に送信する検出コマンド（図５（Ａ））により、外光センサー６８の検出レンジを指定する。制御部１１０は、外光センサー６８の検出結果が示す受光強度が、現在設定されているレンジの上限より小さく上限に近い値、上限値、或いは上限値を超える値である場合に、外光センサー６８のレンジを高強度側に切り替える検出コマンドを送信する。これにより、外光の強度が高い場合であっても、適切に外光を検出できる。また、制御部１１０は、外光センサー６８の検出結果が示す受光強度が、現在設定されているレンジの下限に近い値、下限値、或いは下限値より小さい値である場合に、外光センサー６８のレンジを低強度側に切り替える検出コマンドを送信する。これにより、外光の強度が弱い場合であっても、適切に外光を検出できる。そして、制御部１１０は、外光センサー６８のレンジに対応する補正パラメーターを取得または生成し、画像データを補正してもよい。この場合、制御部１１０は、ステップＳ１１２（図７、図８）において、外光センサー６８の検出結果から強度を判定する処理に代えて、外光センサー６８で設定されているレンジに基づき、外光の強度が設定値より暗いか否かを判定できる。

以上説明したように、本発明を適用した第１実施形態のＨＭＤ１００は、使用者に対し、複数の色光を含む画像光を出力して表示オブジェクトを表示する画像表示部２０を備える。ＨＭＤ１００は、光を検出する外光センサー６８を備える。制御部１１０は、外光センサー６８の検出結果に基づき、画像表示部２０が出力する画像光の色調を制御する。これにより、外光センサー６８が検出する光に合わせて、画像光の色調を変えることができる。このため、画像光以外に使用者の視野に入射する光と画像光の色調が調和するように制御したり、画像光の視認性を高めるように色調を制御したりできる。これにより、ＨＭＤ１００が表示する画像の視認性を適切に調整できる。
外光センサー６８は、画像表示部２０が出力する画像光とは異なる方向からの光を検出するので、画像光以外に使用者の視野に入射する光と画像光の色調が調和するように制御したり、画像光の視認性を高めるように色調を制御したりできる。

また、画像表示部２０は、使用者の頭部に装着され、使用者の視野に外光が入射可能な状態で画像光を出力する構成を有し、外光センサー６８は外光を検出する。このため、使用者の頭部に装着されるＨＭＤ１００が表示する画像の色調を、使用者の視野に入射する外光に合わせて変化させることにより、画像の視認性を調整できる。
また、外光センサー６８は、画像表示部２０に隣接して設けられるので、画像表示部２０の近傍で外光センサー６８が検出する光と画像光の色調が調和するように制御したり、画像光の視認性を高めるように色調を制御したりできる。

また、制御部１１０は、複数の色データを含む画像データに基づき、画像表示部２０に画像を構成する色光を出力させ、画像データに含まれる色データの階調値を変更することによって、画像光の色調を変更する。このため、画像データに含まれる色毎の階調値を変化させることで、データ処理によって画像の視認性を調整できる。

また、外光センサー６８は、複数の異なる波長ごとに、受光する光の強度を検出するセンサーを備えるので、使用者の視野に入射する光の色に関する情報を得ることができる。
また、制御部１１０は、外光センサー６８で検出される波長ごとの光の強度に基づいて、画像表示部２０が出力する画像光の色調を制御してもよい。この場合、使用者の視野に入射する光の色に対応して画像光の色調を制御することにより、ＨＭＤ１００が表示する画像の視認性を適切に調整できる。

また、制御部１１０は、使用者が画像光を視認する視認性を高めるように、画像光の色調を制御するので、使用者の視野に入射する光の色に対応して、ＨＭＤ１００が表示する画像の視認性を高めることができる。

また、制御部１１０は、画像光の色調を外光センサー６８により検出する光の色調に近づけるように、画像光を構成する各々の色光の輝度を制御する。これにより、使用者の視野に入射する光の色に、画像光の色調を適応させて、ＨＭＤ１００が表示する画像を外光等の色に調和させることができる。

また、制御部１１０は、図６を参照して説明したように、外光センサー６８で検出される波長ごとの光の強度に基づいて、使用者が画像光を視認する視認性を高めるように、画像光を構成する各々の色光の輝度を制御する第１及び第２の処理を行える。また、制御部１１０は、外光センサー６８で検出される波長ごとの光の強度に基づいて、画像光の色調を外光センサー６８により検出する光の色調に近づけるように、画像光を構成する各々の色光の輝度を制御する第３の処理を行える。そして、図８に示したように、制御部１１０は、画像表示部２０に表示する画像の属性に応じて、第１及び第２処理と、第３処理とを選択して実行できる。このため、外光等に対して画像の視認性を高める処理と、画像を外光等に調和させる処理とを、ＨＭＤ１００が表示する画像の属性に合わせて選択して実行できる。

ここで、図５のステップＳ１２で、表示オブジェクトの視認性を高める処理を行う高視認性モード、表示オブジェクトを外景に馴染ませ、調和させて表示する処理を行う高調和モード等、表示オブジェクトの視認性に関する処理の種類により、色補正曲線、γ特性、エッジ補正処理が異なる構成としてもよい。また、ＨＭＤ１００を使用するシーンに合わせて色補正曲線、γ特性、エッジ補正処理が異なる構成としてもよい。
例えば、表示オブジェクトと外景の視認性に関して複数の動作モードを設けてもよい。動作モードの例としては、（１）照度が低い暗所の環境（外が暗闇で黒にしか見えない場合など）で、画像光と外景との両方の視認性を高める「低照度環境モード」が挙げられる。また、例えば、（２）真夏の炎天など外光の照度が設定値以上の状態で、作業指示等のマニュアルを含む表示オブジェクトの視認性、可読性を高める「青天下ドキュメント閲覧モードが挙げられる。この動作モードは、視認性優先の「高視認性モード」と呼ぶこともできる。また、例えば、（３）作業標準等の文書を含む表示オブジェクトにおいて文字等の視認性を高め、文書を見ながらの作業を容易にする「ドキュメント優先モード」が挙げられる。この動作モードでは、作業標準の文字を蛍光色等で表示して可読性を高める動作等を含むことができる。また、例えば、（４）ＡＲ表示等で表示される表示オブジェクトの視認性を外景に高度に調和させる「付加画像融合モード」あるいは「色フィッティングモード」が挙げられる。ＨＭＤ１００は、動作モードごとに、表示オブジェクトの表示に係る複数のルックアップテーブル（ＬＵＴ）、演算式（補正曲線：ぼかし、エッチ強調等によるモードの組み合わせ）を有する構成としてもよい。また、上記動作モードに、環境光色対応の画像表示輝度を変更する、複数の動作モードを含んでもよい。

また、制御部１１０は、第１または第２の処理を実行する場合、外光センサー６８で検出される光の強度が予め設定された強度より低い場合に、画像光に含まれる各々の色光の輝度の比を予め設定された比に変化させる。具体的には、暗所用の補正パラメーターを利用して、画像データを補正する。このため、外光等の光の強度が低い場合であっても画像の視認性を適切に調整できる。

また、制御部１１０は、外光センサー６８で検出される光の強度が予め設定された強度より低い場合に、画像光に含まれる各々の色光の輝度の比を予め設定された比に変化させる。具体的には、暗所用の補正パラメーターを利用して、画像データを補正する。このため、外光等の光の強度が低い場合であっても画像の視認性を適切に調整できる。

また、外光センサー６８は、検出する受光強度のレンジを切換可能な構成としてもよい。この場合、いずれかのレンジは第１検出状態に相当し、他のレンジは第１検出状態よりも強度の低い光の検出に適する第２検出状態に相当する。制御部１１０は、外光センサー６８のレンジの切り換え又は設定状態に対応して、画像データを補正する補正パラメーターを生成または取得できる。このため、外光センサー６８により、高精度で外光を検出できる。

また、制御部１１０は、図８を参照して説明したように、外光センサー６８で検出される光の強度が予め設定された強度より低い場合に、画像表示部２０により表示する画像の画像データに対しコントラスト補正処理及び／又はエッジ補正処理を実行する。このため、外光等の光の強度が低い場合に、画像の視認性をより効果的に高めることができる。

［第２実施形態］
図９は、本発明を適用した第２実施形態におけるＨＭＤ１００の動作の説明図であり、（Ａ）は表示領域に対応して撮像画像に設けられる領域を示し、（Ｂ）は表示領域を示す。この第２実施形態におけるＨＭＤ１００は、外光センサー６８の構成を除いて第１実施形態と共通であるため、ＨＭＤ１００の構成については同符号を用いて説明を省略する。

第２実施形態における外光センサー６８は、外光を検出する検出範囲が設定され、検出範囲における外光の色調を、検出範囲における位置と対応付けて検出可能な構成である。この構成は、例えば、外光センサー６８として、カラー撮像が可能なデジタルカメラを採用することで、実現できる。

図９（Ａ）に示す例では、使用者の視野ＶＲに対応して外光検出範囲Ｖ２が設定される。外光検出範囲Ｖ２は、外光センサー６８が外光を検出する範囲であり、４つの領域Ｖ２１、Ｖ２２、Ｖ２３、Ｖ２４に分割される。外光センサー６８は、４つの領域Ｖ２１〜Ｖ２４のそれぞれについて、外光の受光強度を検出し、検出値を出力する。

外光検出範囲Ｖ２は、表示領域Ｖ１に対応付けられる。第２実施形態では、制御部１１０は、図９（Ｂ）に示すように、表示領域Ｖ１を４つの小領域Ｖ１１、Ｖ１２、Ｖ１３、Ｖ１４に分割し、小領域Ｖ１１〜Ｖ１４のそれぞれについて、表示オブジェクトの色調を補正できる。
外光センサー６８が、右光学像表示部２６及び左光学像表示部２８とは離れた位置に配置され、表示領域Ｖ１に実際に入射する外光を直接検出しない構成とすることもできる。この場合、外光センサー６８の外光検出範囲Ｖ２は、実際に外光センサー６８が外光を受光する位置から離れた位置となる。制御部１１０は、外光センサー６８の実際の検出値を、外光検出範囲Ｖ２における外光の色調に変換することで、外光検出範囲Ｖ２の外光の色調を間接的に検出できる。また、表示領域Ｖ１と外光検出範囲Ｖ２とを対応付けるパラメーターや演算式を記憶部１２２に記憶しておき、このパラメーターや演算式を制御部１１０が利用する構成とすることも可能である。

図１０は、第２実施形態におけるＨＭＤ１００の動作を示すフローチャートである。図１０の動作は、図５（Ａ）のステップＳ１２において実行され、上述した図６、図７、図８の動作の別の例に相当する。

制御部１１０は、外光センサー６８の検出値をもとに、外光検出範囲Ｖ２における領域Ｖ２１〜Ｖ２４のそれぞれの色調を取得する（ステップＳ２０１）。各領域Ｖ２１〜Ｖ２４について取得する色調は、上記第１実施形態のステップＳ１０１等で取得する色調と同様である。制御部１１０は、ステップＳ２０１で取得した色調に基づいて、表示領域Ｖ１の小領域Ｖ１１〜Ｖ１４のそれぞれについて補正パラメーターを生成または取得する（ステップＳ２０２）。

制御部１１０は、表示オブジェクトの画像データを取得し、この画像データを、小領域Ｖ１１〜Ｖ１４に対応して分割する（ステップＳ２０３）。そして、分割した画像データのそれぞれに対し、ステップＳ２０２の補正パラメーターを用いて補正を実行する（ステップＳ２０４）。

このように、制御部１１０は、外光センサー６８により使用者の視野に入射する外光を検出した検出結果に基づき、表示領域Ｖ１を複数の小領域Ｖ１１〜Ｖ１４に区分して、小領域Ｖ１１〜Ｖ１４ごとに画像光の色調を制御する。この第２実施形態によれば、視野ＶＲに入射する外光の色調が、視野ＶＲの場所によって異なる場合に、表示オブジェクトを構成する画像光の色調を、外光に対応して細かく補正できる。このため、視野ＶＲにおける外光の色調の差がある場合に、表示オブジェクトの視認性を効果的に調整できる。

［第３実施形態］
続いて、本発明を適用した第３実施形態について説明する。第３実施形態におけるＨＭＤ１００は、第１実施形態と共通であるため、ＨＭＤ１００の構成については同符号を用いて説明を省略する。

第３実施形態で、制御部１１０は、調光板２０Ａの色調に対応して、表示オブジェクトの画像データを補正する。上述のように、調光板２０Ａは右光学像表示部２６及び左光学像表示部２８の外側に位置するので、視野ＶＲに入射する外光は調光板２０Ａを透過する。このため、外光の色調は調光板２０Ａの光透過特性（可視光領域における透過スペクトル）の影響を受ける。また、調光板２０Ａは、上述のように着脱可能な構成とすることが可能であり、調光板２０Ａを非装着状態で使用すること、及び、光透過特性が異なる複数の調光板２０Ａを交換して装着することが考え得る。この第３実施形態では、画像表示部２０に装着される調光板２０Ａの種類に対応して、表示オブジェクトの色調を調整する例を説明する。

図１１は、第３実施形態におけるＨＭＤ１００の動作を示すフローチャートである。図１１の動作は、図５（Ａ）のステップＳ１２において実行され、上述した図６、図７、図８の動作の別の例に相当する。

制御部１１０は、ステップＳ１４（図５）で受信した外光センサー６８の検出結果から、外光の色調を取得する（ステップＳ２１１）。外光の色調は、上述した図６のステップＳ１０１で取得する色調と同様である。制御部１１０は、外光の色調に対応する補正パラメーターを生成し、或いは取得する（ステップＳ２１２）。

制御部１１０は、画像表示部２０に装着されている調光板２０Ａの種類を取得し、或いは判定する（ステップＳ２１３）。ステップＳ２１３では、調光板２０Ａが装着されていない場合、非装着と判定される。
例えば、調光板２０Ａの装着状態、すなわち装着されている調光板２０Ａの種類を示すデータが記憶部１２２に記憶されている場合、制御部１１０は、記憶部１２２に記憶されたデータに基づき、調光板２０Ａの種類を取得する。このデータは、例えば使用者が制御装置１０を操作して入力する。また、画像表示部２０において調光板２０Ａの種類を検出する検出機構を設けてもよい。例えば、調光板２０Ａには調光板２０Ａの種類に対応する構造体（例えば、突起や切り欠き）を設け、フレーム２には調光板２０Ａの構造体に機械的に接触する検出部（図示略）を設けた構成を採用できる。この場合、検出部において調光板２０Ａの構造体の接触／非接触を検出すれば、この検出結果に基づいて制御部１１０が調光板２０Ａの種類を判定できる。

制御部１１０は、調光板２０Ａの種類に対応する補正パラメーターを取得する（ステップＳ２１４）。第３実施形態では、記憶部１２２に、調光板２０Ａの種類に対応する補正パラメーターが予め記憶される。制御部１１０は、ステップＳ２１４で取得した補正パラメーターと、ステップＳ２１２で生成または取得した補正パラメーターとをもとに、画像データに適用する補正パラメーターを生成する（ステップＳ２１５）。ステップＳ２１５で制御部１１０が生成する補正パラメーターは、外光センサー６８が検出した外光の色調に対し、調光板２０Ａを透過することで外光の色調が変化することを加味した補正パラメーターである。これにより、制御部１１０は、調光板２０Ａを透過した外光の色調に対応する補正を行うことが可能となる。
制御部１１０は、ステップＳ２１５で生成した補正パラメーターを用いて、表示オブジェクトの画像データを補正する処理を行う（ステップＳ２１６）。

第３実施形態によれば、調光板２０Ａを透過しない外光を外光センサー６８で検出する構成において、調光板２０Ａを透過することによって外光の色調が変化する場合に、この色調の変化を加味して表示オブジェクトの色調を補正できる。このため、実際に使用者の眼に入射する外光の影響に対応して、表示オブジェクトの視認性を調整できる。
なお、第３実施形態と同様の効果を得る方法として、外光センサー６８が、調光板２０Ａを透過する外光を受光する構成とすることができる。この場合、外光センサー６８の受光面または受光部を、調光板２０Ａにより覆われる位置に配置すればよい。

［第４実施形態］
図１２は、本発明を適用した第４実施形態の構成を示すブロック図である。
第４実施形態では、ＨＭＤ１００において、画像表示部２０に設けられるサブ制御部１５０が、外光センサー６８の検出結果に基づいて、画像データを補正する処理部１１４を備える。すなわち、サブ制御部１５０を構成するＣＰＵ（図示略）が、サブ制御部１５０のＲＯＭ（図示略）または記憶部１２２に記憶されるプログラムを実行することにより、処理部１１４の機能を実行する。

この場合、制御部１１０は、図５（Ａ）のステップＳ１３〜Ｓ１５に示した動作を実行せず、サブ制御部１５０は、制御部１１０からコマンドを受信することなく、処理部１１４により外光センサー６８による検出を実行させる。さらに、サブ制御部１５０は、処理部１１４により、図５（Ａ）のステップＳ１５で示す画像処理を実行する。この画像処理としては、図６、図７、図８、図１０、及び図１１で説明したいずれの処理も実行可能である。

この構成によれば、上述した第１〜第３実施形態と同様の効果を得ることができる。また、サブ制御部１５０は、制御部１１０の撮像制御部１１１及び表示制御部１１３の機能をプログラムにより実行する構成とすることができる。
さらに、制御部１１０の全ての機能または一部の機能を、サブ制御部１５０が実行する構成とすることが可能である。また、制御部１１０だけでなく、メモリー１２１、記憶部１２２、電源制御部１２３、ＵＩ制御部１２４、無線Ｉ／Ｆ制御部１２５、音声制御部１２６、センサーＩＣ１２７、及び外部Ｉ／Ｆ部１２８を、画像表示部２０に実装する構成としてもよい。また、制御装置１０にＵＩ制御部１２４、センサーＩＣ１２７、及び外部Ｉ／Ｆ部１２８のみを設け、その他の機能部を画像表示部２０に設けてもよい。また、制御装置１０と画像表示部２０とを無線通信回線により接続してもよい。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記各実施形態では本体の一例として、眼鏡型のフレーム２を例示したが、本体の形状は眼鏡型に限定されない。使用者の頭部に装着または固定され、使用者の左眼及び右眼に対応して画像を表示する表示部を備えていればよい。例えば、上述した眼鏡型の他に、使用者の顔の上部を覆うスノーゴーグル様の形状であってもよいし、双眼鏡のように使用者の左右の眼のそれぞれの前方に配置される形状であってもよい。
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。或いは、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、図３に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図３に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、図３に示した各機能部は、マイクロプロセッサーとＩＣで構成する例に制限されず、より大規模の集積回路に複数の機能部を実装する構成としてもよいし、ＳｏＣ（System-on-a-chip）等の形態としても良い。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。

１０…制御装置、２０…画像表示部（表示部）、２０Ａ…調光板、２２…右表示駆動部、２４…左表示駆動部、４０…接続部、６１…カメラ、６３…マイク、６８…外光センサー（光検出部）、１００…頭部装着型表示装置（表示装置）、１１０…制御部、１１１…撮像制御部、１１２…画像処理部、１１３…表示制御部、１１４…処理部、１２１…メモリー、１２２…フラッシュメモリー、１２２ａ…コンテンツデータ、１２２ｂ…設定データ、１２５…無線Ｉ／Ｆ制御部、１２７…センサーＩＣ、１２８…外部Ｉ／Ｆ部、１５０…サブ制御部、１５５…Ｉ／Ｆ部、１６２…９軸センサー、１６３…ＧＰＳ、１６５…ＥＥＰＲＯＭ、１６７、１６８…ＬＣＤ駆動部、１６９、１７０…バックライト駆動部、２２１…右バックライト、２２２…左バックライト、２４１…右液晶ディスプレイ、２４２…左液晶ディスプレイ、２５１…右投写光学系、２５２…左投写光学系。

Claims (12)

1. 使用者に対し、複数の色光を含む画像光を出力して画像を表示する表示部と、
   光を検出する光検出部と、
   前記光検出部の検出結果に基づき、前記表示部が出力する前記画像光の色調を制御する制御部と、を備え、
   前記光検出部は、複数の異なる波長ごとに、受光する光の強度を検出するセンサーを備え、
   前記制御部は、前記光検出部で検出される波長ごとの光の強度に基づいて、前記使用者が前記画像光を視認する視認性を高めるように、前記画像光を構成する各々の前記色光の輝度を制御する第１処理と、
   前記光検出部で検出される波長ごとの光の強度に基づいて、前記画像光の色調を前記光検出部により検出する光の色調に近づけるように、前記画像光を構成する各々の前記色光の輝度を制御する第２処理と、を実行可能に構成され、
   前記表示部に表示する画像の属性に応じて前記第１処理及び前記第２処理のいずれかを選択して実行すること、
   を特徴とする表示装置。
2. 前記光検出部は、前記表示部が出力する前記画像光とは異なる方向からの光を検出すること、
   を特徴とする請求項１記載の表示装置。
3. 前記表示部は、前記使用者の頭部に装着され、前記使用者の視野に外光が入射可能な状態で前記画像光を出力する構成を有し、
   前記光検出部は前記使用者の視野に入射する前記外光を検出すること、
   を特徴とする請求項２記載の表示装置。
4. 使用者に対し、複数の色光を含む画像光を出力して画像を表示する表示部と、
   前記表示部に隣接して設けられ、前記使用者の顔の前方からの光を検出する光検出部と、
   前記光検出部の検出結果に基づき、前記表示部が出力する前記画像光の色調を制御する制御部と、を備え、
   前記光検出部は、複数の異なる波長ごとに、受光する光の強度を検出するセンサーを備え、
   前記制御部は、前記光検出部で検出される波長ごとの光の強度に基づいて、前記使用者が前記画像光を視認する視認性を高めるように、前記画像光を構成する各々の前記色光の輝度を制御する第１処理と、
   前記光検出部で検出される波長ごとの光の強度に基づいて、前記画像光の色調を前記光検出部により検出する光の色調に近づけるように、前記画像光を構成する各々の前記色光の輝度を制御する第２処理と、を実行可能に構成され、
   前記表示部に表示する画像の属性に応じて前記第１処理及び前記第２処理のいずれかを選択して実行すること、
   を特徴とする表示装置。
5. 前記制御部は、複数の色データを含む画像データに基づき、前記表示部に前記画像を構成する前記色光を出力させ、
   前記画像データに含まれる色データの階調値を変更することによって、前記画像光の色調を変更すること、
   を特徴とする請求項１から４のいずれかに記載の表示装置。
6. 前記制御部は、前記第１処理を実行する場合、前記光検出部で検出される光の強度が予め設定された強度より低い場合に、前記画像光に含まれる各々の前記色光の輝度の比を予め設定された比に変化させること、
   を特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記制御部は、前記光検出部で検出される光の強度が予め設定された強度より低い場合に、前記画像光に含まれる各々の前記色光の輝度の比を予め設定された比に変化させること、
   を特徴とする請求項１から４のいずれかに記載の表示装置。
8. 前記光検出部は、第１検出状態と、前記第１検出状態よりも強度の低い光の検出に適する第２検出状態とを切り替え可能であり、
   前記制御部は、前記光検出部を第２検出状態に切り換える際に、前記画像光に含まれる各々の前記色光の輝度の比を予め設定された比に変化させること、
   を特徴とする請求項７記載の表示装置。
9. 前記制御部は、前記光検出部で検出される光の強度が予め設定された強度より低い場合に、前記表示部により表示する画像の画像データに対しコントラスト補正処理及び／又はエッジ補正処理を実行すること、
   を特徴とする請求項６から８のいずれかに記載の表示装置。
10. 前記表示部は、前記使用者の視野内に位置する表示領域を備え、
    前記制御部は、前記光検出部により前記使用者の視野に入射する外光を検出した検出結果に基づき、前記表示領域を複数の部分に区分して部分ごとに前記画像光の色調を制御すること、
    を特徴とする請求項１から４のいずれかに記載の表示装置。
11. 前記光検出部は、前記使用者の視野に複数の方向から入射する光のそれぞれについて強度を検出可能であること、
    を特徴とする請求項１０記載の表示装置。
12. 複数の色光を含む画像光を使用者に対し出力して画像を表示する表示部と、複数の異なる波長ごとに、受光する光の強度を検出するセンサーを備え、前記表示部が出力する前記画像光とは異なる方向から前記使用者の視野に入射する光を検出する光検出部と、を備えた表示装置の制御方法であって、
    前記光検出部の検出結果に基づき、前記表示部が出力する前記画像光の色調を制御し、前記光検出部で検出される波長ごとの光の強度に基づいて、前記使用者が前記画像光を視認する視認性を高めるように、前記画像光を構成する各々の前記色光の輝度を制御する第１処理と、前記光検出部で検出される波長ごとの光の強度に基づいて、前記画像光の色調を前記光検出部により検出する光の色調に近づけるように、前記画像光を構成する各々の前記色光の輝度を制御する第２処理と、のいずれかを、前記表示部に表示する画像の属性に応じて選択して実行すること、
    を特徴とする表示装置の制御方法。
    

Images