JP5136442B2 - ヘッドマウントディスプレイ - Google Patents

Description

本発明は、ヘッドマウントディスプレイ（以下、ＨＭＤという。）に関するものである。

従来、外光を透過しつつ、画像情報に応じた強度の画像光をユーザの眼に投射して当該ユーザの眼の前方に前記画像光に応じた虚像である表示画像を視認させる表示手段を備えたシースルー型のＨＭＤが知られている（例えば、特許文献１参照。）。

このシースルー型のＨＭＤによれば、装着したユーザは、視線方向の外界の風景である背景画像と、虚像である表示画像との両者を同時に視認することとなる。

特開２００６−１６５７７３号公報

しかしながら、上記従来のシースルー型のＨＭＤでは、表示画像の内容が、文字や複雑な模様などの細かな画像や背景画像と近い輝度の画像などの場合、背景画像に紛れてしまい、視認し難くなる場合があった。

本発明は、斯かる事情に鑑みてなされたものであって、シースルー型でありながら、どのような表示画像であっても背景画像に紛れることなくユーザに視認し易くさせることのできるＨＭＤを提供する。

上記従来の課題を解決するために、請求項１に記載の発明では、外光を透過しつつ、画像情報に応じた強度の画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、前記ユーザの視野範囲のうち少なくとも画像が表示される範囲を含む所定範囲を撮像する撮像手段と、外光によりユーザに視認される背景画像に重畳すると、三原色の各色毎に所定フレーム期間内は輝度一定の基準背景輝度の画像となって前記背景画像を相殺する背景キャンセル用画像を、前記撮像手段によって撮像された撮像画像に基づいて生成する画像生成手段と、原画像情報に応じた画像に前記背景キャンセル用画像を表示位置と大きさを合わせて合成する画像処理手段と、前記背景キャンセル用画像を合成した画像を前記表示手段によって表示させる制御を行う表示制御手段と、を備えることとした。

また、請求項２に記載の発明では、請求項１に記載のヘッドマウントディスプレイにおいて、前記画像生成手段は、前記撮像画像の各色の最大輝度に基づいて各色毎に前記基準背景輝度を設定することとした。

また、請求項３に記載の発明では、請求項１に記載のヘッドマウントディスプレイにおいて、前記画像生成手段は、前記撮像画像の各色毎の最大輝度のうち最も高い輝度に基づいて各色毎の前記基準背景輝度を設定することとした。

また、請求項４に記載の発明では、請求項１に記載のヘッドマウントディスプレイにおいて、前記画像生成手段は、前記撮像手段で撮像できる最大輝度に基づいて前記基準背景輝度を設定することとした。

また、請求項５に記載の発明では、請求項１から４のいずれか１項に記載のヘッドマウントディスプレイにおいて、ユーザによって操作可能な操作手段と、前記操作手段の操作に応じて、前記背景キャンセル用画像の合成を有効とするか無効とするかを決定する表示決定手段と、を備えることとした。

また、請求項６に記載の発明では、請求項１から４のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記撮像画像を解析する撮像画像解析手段と、前記撮像画像解析手段による解析結果に基づいて、前記撮像画像が特定の撮像画像であるか判定する撮像画像判定手段と、前記撮像画像判定手段による判定結果に基づいて、前記背景キャンセル用画像の合成を有効とするか無効とするかを決定する表示決定手段と、を備えることとした。

請求項１に記載の発明によれば、ユーザの視野範囲のうち少なくとも画像が表示される範囲を含む所定範囲を撮像する撮像手段と、外光によりユーザに視認される背景画像に重畳すると、三原色の各色毎に所定フレーム期間内は輝度一定の基準背景輝度の画像となって前記背景画像を相殺する背景キャンセル用画像を、前記撮像手段によって撮像された撮像画像に基づいて生成する画像生成手段と、原画像情報に応じた画像に前記背景キャンセル用画像を表示位置と大きさを合わせて合成させる画像処理手段と、前記背景キャンセル用画像を合成した画像を前記表示手段によって表示させる制御を行う表示制御手段と、を備えたため、重畳した際に単一色となる領域（以下、マスク領域という。）内に原画像情報に応じた画像（以下、原画像という）を表示させることができて、原画像が文字や複雑な模様などの細かな画像や背景画像と近い輝度の画像などであっても、背景画像に紛れることなくユーザに対し、視認し易くさせることができる。

また、請求項２に記載の発明によれば、画像生成手段は、前記撮像画像の各色の最大輝度に基づいて各色毎に前記基準背景輝度を設定することとしたため、マスク領域を背景画像に応じた有彩色または無彩色とすることができる。

また、請求項３に記載の発明によれば、画像生成手段は、前記撮像画像の各色毎の最大輝度のうち最も高い輝度に基づいて各色毎の前記基準背景輝度を設定することとしたため、マスク領域を背景画像に応じた明るさの無彩色とすることができる。

また、請求項４に記載の発明によれば、画像生成手段は、前記撮像手段で撮像できる最大輝度に基づいて前記基準背景輝度を設定することとしたため、背景画像の状態に関わらず、マスク領域の輝度を一定に保つことができる。

また、請求項５に記載の発明によれば、ユーザによって操作可能な操作手段と、前記操作手段の操作に応じて、前記表示画像への前記背景キャンセル用画像の合成を有効とするか無効とするかを決定する表示決定手段と、を備えたため、ユーザの希望により、マスク領域を表示するか否かを決定することができる。

また、請求項６に記載の発明によれば、撮像画像を解析する撮像画像解析手段と、前記撮像画像解析手段による解析結果に基づいて、前記撮像画像が特定の撮像画像であるか判定する撮像画像判定手段と、前記撮像画像判定手段による判定結果に基づいて、前記表示画像への前記背景キャンセル用画像の合成を有効とするか無効とするかを決定する表示決定手段と、を備えたため、撮像画像の状態に応じて、マスク領域の表示、非表示をＨＭＤに行わせることができる。

本実施形態に係るＨＭＤの特徴点を説明するための説明図である。 本実施形態に係るＨＭＤの特徴点を説明するための説明図である。 本実施形態に係るＨＭＤの画像処理を説明するための説明図である。 本実施形態に係るＨＭＤの画像処理を説明するための説明図である。 本実施形態に係るＨＭＤの画像処理を説明するための説明図である。 本実施形態に係るＨＭＤの外観を示す説明図である。 本実施形態に係るＨＭＤを装着した状態を示す説明図である。 本実施形態に係るＨＭＤの電気的構成及び光学的構成を示したブロック図である。 本実施形態に係るＨＭＤの制御部の構成を示したブロック図である。 本実施形態に係るＨＭＤにおいて実行される処理の動作を示すフローチャートである。 本実施形態に係るＨＭＤにおいて実行される処理の動作を示すフローチャートである。 本実施形態に係るＨＭＤにおいて実行される処理の動作を示すフローチャートである。

本実施形態に係るＨＭＤは、静止画や動画を表示したり、文字や模様など比較的エッジの多い画像をユーザに対して表示する際に、ユーザの視線方向の外界風景（以下、背景画像とする）の一部または全部を相殺し、この相殺した領域（マスク領域）に画像を表示させることで、容易に視認可能とするものである。

まずここでは、本実施形態に係るＨＭＤの特徴的な点について、図面を参照しながら簡単に説明する。なお、以下の説明において「画像」は、特に断りのない限り、ユーザが視覚的に認識する所謂「画像」を意味するほか、画像データや画像信号の意味合いも含む場合がある。この「画像」は、技術的に可能な限り、両者いずれの意味で解釈しても良い。

図１及び図２は、本実施形態に係るＨＭＤの特徴点を説明するための説明図である。なお、本実施形態に係るＨＭＤは、写真やスライド、テレビ画像等の一般的な静止画や動画についても、ユーザが視認し易くなるという効果を有しているが、ここでは説明を容易とするために文字情報をユーザに対して提示するという状況を例にとって説明する。前述したように、シースルー型のＨＭＤは、図１にも示すように、外光由来の背景画像Ｇ１と、表示画像Ｇ２との両者を重畳した状態で視認できるという特徴を有している。

ここで図１に示す表示画像Ｇ２は、ＨＭＤが画像情報に応じて出射する画像光によりユーザに視認させるようとする画像（以下、原画像Ｇ５という。）のみで構成されている。すなわち、表示画像Ｇ２は、原画像Ｇ５をそのまま適用している。

なお、原画像Ｇ５は、原画像情報に基づいて生成されるものであり、この原画像情報には、ユーザに提示する情報（ここでは「ＮＥＷＳ」という文字情報としている。）を画像として表示するためのデータが含まれている。原画像情報は、ＨＭＤの外部から供給したり、ＨＭＤの内部に記憶されている情報であり、例えば、外部入力画像信号や、文字などのテキストファイル、ｊｐｅｇなどの静止画ファイル、ｍｐｅｇなどの動画ファイルの形態などとすることができる。

このように、原画像情報に基づく原画像Ｇ５を表示画像Ｇ２として、ユーザに対し視認させるのであるが、背景画像の状態によっては、図１の重畳後の画像（以下、ユーザ視認画像Ｇ３という。）のように、背景画像Ｇ１の中に表示画像Ｇ２が埋もれて、表示画像Ｇ２の視認が困難となる場合がある。

そこで、本実施形態に係るＨＭＤでは、図２に示すように、シースルーにより視認する背景画像Ｇ１を相殺する背景キャンセル用画像Ｇ４と、原画像Ｇ５とを合成表示し、この合成後の画像を、背景画像Ｇ１と重畳させる表示画像Ｇ２としている。

すると、重畳後のユーザ視認画像Ｇ３では、背景キャンセル用画像Ｇ４により相殺された領域（以下、マスク領域Ｍという）内に、原画像Ｇ５が明瞭に表示されることとなる。

ここでマスク領域Ｍは、輝度が平均化された無彩色又は単色の状態となっており、原画像Ｇ５は、マスク領域Ｍの無彩色又は単色の画像に上乗せして表示されるため、シースルー型でありながら、背景画像Ｇ１に原画像Ｇ５が紛れることなく画像をユーザに視認し易くさせることができる。

このマスク領域Ｍを生成するための背景キャンセル用画像Ｇ４は、ＨＭＤに備えられている撮像手段（後述）により撮像された画像（以下、撮像画像という。）に基づいて生成されるものである。

そこで次に、背景キャンセル用画像Ｇ４の生成から、ユーザ視認画像Ｇ３が形成されるまでのデータの処理について、図３及び図４を用いながら説明する。なお、本実施形態に係るＨＭＤでは、各ピクセル毎に、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光の三原色（以下、サブピクセルという。）を重ね合わせて画像光を生成しカラー画像の表示を行う（後述）が、赤色、緑色及び青色に対する処理は同様の処理であるため、理解を容易とするために、ここでは赤色についての処理を例に挙げて説明する。

図３の（ａ），（ｂ）及び図４の（ａ）〜（ｆ）は、各画像の任意の位置における水平走査方向のピクセル（画素）における赤色のサブピクセルの輝度を示している。

まず、図３（ａ）に示すように、ＨＭＤに備えられている撮像手段により、ユーザが視認する背景画像を撮像し、１フレーム毎に撮像画像を形成する。そして、この撮像画像を、シースルーによりユーザに視認される背景画像の輝度レベルに合わせる処理、すなわち撮像画像のＲＧＢの各サブピクセル（図３（ｂ）ではＲの各サブピクセル）に透過率αを乗じて輝度調整を行って調整撮像画像を生成する。換言すれば、ユーザの眼に投射したときにユーザが視認する画像が、ユーザがシースルーにより視認する背景画像と同じ画像となる調整撮像画像を生成する。このとき、例えば図３（ａ）の最も左側のサブピクセルに着目すると、撮像画像では輝度Ｌ１であったのが、透過率αを乗じて変換されることにより、輝度Ｌ２となる。この透過率αは、シースルー部（例えば、後述のハーフミラー19）における光の透過率である。また、この際、撮像画像にγ補正等の補正を施して、ＨＭＤの表示特性に合う画像となるよう調整を行う。

次に、調整撮像画像の赤色のサブピクセルの最大輝度と同じ輝度又はそれ以上の輝度が基準値として設定される。この基準値は、前述のマスク領域Ｍの輝度となるものであり、以下、基準背景輝度Ｋということとする。図４（ａ）において、基準背景輝度は、調整撮像画像におけるサブピクセルの輝度のうち最大輝度と同じ値としている。

次に、図４（ｂ）に示すように、各サブピクセルの輝度と、基準背景輝度Ｋとの差分をそれぞれ求め、図４（ｃ）に示すように、その差分のみで構成される画像を背景キャンセル用画像Ｇ４とする。

この背景キャンセル用画像Ｇ４に、図４（ｄ）で示す原画像Ｇ５を合成（輝度を加算）すると、図４（ｅ）に示す合成後画像Ｇ６が得られることとなる。この合成後画像Ｇ６を表示画像Ｇ２とし、ユーザに対して表示すると、背景画像Ｇ１（図４（ａ）参照）と重畳されて、図４（ｆ）に示すユーザ視認画像Ｇ３となって、ユーザが視覚的に認識することとなる。

このユーザ視認画像Ｇ３は、図４（ｆ）を見ても分かるように、背景画像Ｇ１の輝度が、基準背景輝度Ｋの値で平坦化されて輝度一定の状態となってマスク領域Ｍを構成し、そのマスク領域Ｍ内に、原画像Ｇ５が輝度を上乗せした状態となっている。

これにより、ユーザは、原画像Ｇ５が、輝度一定のマスク領域Ｍ上に表示されるのを視認することとなるため、原画像Ｇ５が文字や複雑な模様などの細かな画像であったとしても、背景画像に紛れることなく視認できることとなる。

なお、上述では、図５（ａ）に示すように、赤色の基準背景輝度Ｋは、撮像画像における赤色のサブピクセルの輝度のうち最大輝度の値とし、緑色の基準背景輝度Ｋは、緑色のサブピクセルのうち最大輝度の値とし、青色の基準背景輝度Ｋは、青色のサブピクセルのうち最大輝度の値とすること（以下、ＲＧＢ別基準背景輝度設定モードともいう。）となるが、これに限定されるものではない。

例えば、図５（ｂ）に示すように、三原色全てのサブピクセルの輝度のうち最大輝度の値を、赤色、緑色、青色に共通の基準背景輝度Ｋとして設定すること（以下、ＲＧＢ共通基準背景輝度設定モードともいう。）としても良く、また、図５（ｃ）に示すように、撮像手段の撮像可能な輝度上限値を基準背景輝度Ｋとして設定すること（以下、ＣＣＤ上限基準背景輝度設定モードともいう。）としても良い。特に、ＣＣＤ上限基準背景輝度設定モードによれば、撮像手段で撮像できる最小輝度から最大輝度の範囲に対応した輝度範囲で背景キャンセル画像を生成することとなる。

以下に、本発明に好適な実施形態について、さらに具体的に図面に基づいて説明する。

〔ＨＭＤの構成〕
次に、本実施形態に係るＨＭＤ10の具体的な構成について、図６及び図７を参照しながら説明する。

図６に示すように、本実施形態に係るＨＭＤ10は、前述の原画像情報や後述するＣＣＤカメラ14L,14Rからの入力に基づいて、画像光を形成するコントローラ11と、コントローラ11から出射された画像光を伝送する光ファイバケーブルを備えた伝送ケーブル部12と、伝送された画像光を走査してユーザＰに投射し、ユーザＰ対して画像を表示するための頭部装着ユニット13とを備えている。なお、伝送ケーブル部12は、後述するＣＣＤカメラ14L,14Rにて撮像した画像の信号（以下、撮像画像信号という。）や、後述の光源部31L,31Rに備えられる水平走査系48及び垂直走査系51と制御部30との間で同期をとるための垂直駆動信号35、水平駆動信号34をコントローラ11へ伝送する画像信号伝送用ケーブルも有している。

コントローラ11には、外部入出力端子15が形成されており、外部からの原画像情報の送受信を可能としている。また、コントローラ11には、前述の背景キャンセル用画像Ｇ４の原画像Ｇ５への合成を有効とするか、無効とするかを操作する背景キャンセルスイッチ20と、後述する制御部30により自動的に背景画像Ｇ１のキャンセルを行うか否かを操作する自動処理スイッチ21と、前述のＲＧＢ別基準背景輝度設定モード、ＲＧＢ共通基準背景輝度設定モード、ＣＣＤ上限基準背景輝度設定モードのいずれかを選択するモード切替スイッチ22と、ＨＭＤ10の電源を操作するための電源スイッチ25とが配設されている。これらの各スイッチ20,21,22は、ユーザＰによって操作可能な操作手段として機能する。

また、背景キャンセルスイッチ20、自動処理スイッチ21、電源スイッチ25は、一度押下するとＯＮ状態を保ち、再度押下するとＯＦＦ状態を保つプッシュ型のスイッチとしており、モード切替スイッチ22は、３段階に切換可能なスライドスイッチとしている。なお、各スイッチ20,21,22,25は、ユーザＰによって操作可能な形態であれば、これらに限定されるものではなく、例えば、タッチパネルとしたり、後述のＲＯＭ101内に格納されているプロクラムによってユーザ視認画像Ｇ３上に表示されるボタンの如き仮想的なスイッチとしても良いのは言うまでもない。

図７に示すように、頭部装着ユニット13には、略眼鏡形状とした支持部材16のフロント部17の左右両側に、伝送ケーブル部12により伝送されてきた画像光を、ユーザＰが表示画像として認識可能とするために走査する画像形成部18L,18Rが備えられている。

画像形成部18L,18Rには、ユーザＰの眼前にハーフミラー19がそれぞれ設けられており、図６に示すように、外光Ｌａはハーフミラー19を透過させてユーザＰの両方の眼ＹＬ,ＹＲに入射させ、画像光Ｌｂはハーフミラー19で反射させてユーザＰの眼に入射させるようにしている。このとき、ハーフミラー19は透過率αを乗じた光量の外界光も透過させるので、ユーザＰは、表示画像と背景画像とを同時に見ることができる。この画像形成部18L,18Rは、各色（Ｒ，Ｇ，Ｂ）毎に強度変調された画像光を２次元方向に走査した画像光をユーザＰの眼ＹＬ,ＹＲに入射し、ユーザＰの眼ＹＬ,ＹＲの網膜上で画像光を２次元方向に走査することにより、ユーザＰに表示画像を視認させる網膜走査ディスプレイ（Retinal Imaging Display）である。なお、画像形成部18L,18Rとして、網膜走査ディスプレイではなく、ＬＣＤ（liquid crystal display）を透過又は反射させて生成した画像光をユーザＰの眼に投射することでユーザＰの眼の網膜に画像を投影して、ユーザＰにコンテンツを視認させるディスプレイを用いてもよい。

このようにＨＭＤ10は、外光を透過しつつ、画像光をユーザＰの眼に投射するシースルー型のＨＭＤとしている。

また、頭部装着ユニット13には、支持部材16上に、撮像用のＣＣＤカメラ14L,14Rが左右それぞれ１つずつ配設されており、ユーザＰが頭部装着ユニット13を装着した際に、ユーザＰが視認する背景画像を含む範囲を撮像可能としている。すなわち、このＣＣＤカメラ14L,14Rは、ユーザＰの視野範囲のうち少なくとも表示画像が表示される範囲を含む所定範囲を撮像する撮像手段として機能する。

このＣＣＤカメラ14L,14Rにて生成された撮像画像信号は、伝送ケーブル部12を介してコントローラ11へ伝送される。

〔ＨＭＤ10の電気的構成及び光学的構成〕
次に、ユーザＰが装着するＨＭＤ10の電気的構成及び光学的構成について図８を用いながら説明する。

ＨＭＤ10には、コントローラ11の筐体内に収容されている画像光生成部23と、画像形成部18L,18R内にそれぞれ収容されている２つの画像走査部24L,24Rとが備えられている。なお、図８において、画像走査部24L,24R及び後述する光源部31L,31Rは、左右いずれも同様の構成であることから、ここでは左の眼ＹＬへ画像を表示する画像走査部24L及び光源部31Lについて詳細に説明し、右の眼ＹＲ側へ画像を表示する画像走査部24R及び光源部31Rについては簡略化して記載している。

この画像光生成部23と、伝送ケーブル部12と、画像走査部24L,24Rとは、外光を透過しつつ、画像情報に応じた強度の画像光をユーザの眼に投射してユーザの眼の網膜に画像を投影し、当該ユーザに前記画像光に応じた画像を視認させる表示手段として機能するものである。

画像光生成部23には、ＨＭＤ10を全体的に制御する制御部30と、２つの光源部31L,31Rとが備えられている。制御部30は、内部に記憶されているプログラムに基づいて後述するフローに従い所定の処理を実行する。なお、このプログラムは、例えば、ＣＤ−Ｒ、ＤＶＤ―Ｒ等の記録媒体に記録されてから図示しない記録媒体ドライブを介して、制御部30に読み込まれるようにしてもよい。

また、制御部30には、背景キャンセルスイッチ20と、自動処理スイッチ21と、モード切替スイッチ22と、電源スイッチ25とが接続されており、制御部30はそれぞれのスイッチ20,21,22,25の状態を監視可能に構成している。

また、制御部30には、外部入出力端子15が接続されており、例えばパーソナルコンピュータなどの外部接続機器と制御部30との間で、原画像情報の送受信を可能としている。

また、制御部30には、前述した左右２つのＣＣＤカメラ14L,14Rが接続されており、左右それぞれの撮像画像データを制御部30へ供給可能としている。

光源部31Lには、画像信号供給回路32が設けられている。この画像信号供給回路32は、制御部30が生成した画像形成信号Ｓに基づいて、表示画像を生成するための要素となる各信号を送信する。すなわち、画像信号供給回路34からは、Ｒ（赤色）画像信号33ｒ、Ｇ（緑色）画像信号33ｇ、Ｂ（青色）画像信号33ｂ、水平駆動信号34、及び、垂直駆動信号35が出力される。

また、光源部31Lには、Ｒ画像信号33ｒ、Ｇ画像信号33ｇ、Ｂ画像信号33ｂの各画像信号をもとにそれぞれ強度変調されたレーザ光を出射するように、Ｒレーザ36，Ｇレーザ37，Ｂレーザ38を、それぞれ駆動するためのＲレーザドライバ39，Ｇレーザドライバ40，Ｂレーザドライバ41が設けられている。

さらに、各レーザ36,37,38より出射されたレーザ光（Ｒ形成光42,Ｇ形成光43,Ｂ形成光44）を平行光にコリメートするように設けられたコリメート光学系45と、それぞれコリメートされたレーザ光を合波するダイクロイックミラー46と、合波されたレーザ光からなる画像光、すなわち、画像光を伝送ケーブル部12に導く結合光学系47とが設けられている。

尚、Ｒレーザ36，Ｇレーザ37，Ｂレーザ38として、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。

一方、画像走査部24Lには、画像光生成部23から伝送ケーブル部12を介して伝搬された画像光を水平走査系48に導くコリメート光学系49と、コリメートされた画像光を、光走査素子50を利用して水平方向に走査する水平走査系48と、水平走査系48によって走査された画像光を垂直走査系51に導く第１リレー光学系52と、水平走査系48に走査され、第１リレー光学系52を介して入射された画像光を、ガルバノミラー53を利用して垂直方向に走査する垂直走査系51と、垂直走査系51に走査された画像光をユーザＰの眼ＹＬ,ＹＲの瞳孔54に入射するように射出瞳をユーザＰの眼の瞳孔に位置させる第２リレー光学系55（投射光学系）と、ハーフミラー19と、が設けられている。

２次元走査され、ハーフミラー19で反射されてユーザＰの瞳孔54に入射した画像光は網膜26上に投影され、これによりユーザＰはこの画像光の残像によって形成される表示画像Ｇ２と、外光Ｌａにより視認される背景画像Ｇ１とが重畳されて、ユーザ視認画像Ｇ３として認識することができる。

水平走査系48は、画像光を水平方向に走査する光走査素子50と、その光走査素子50の駆動制御を行う水平走査制御回路56とを備え、表示すべき画像の１走査線ごとに、画像光を水平方向に水平走査させる光学系である。

これに対し、垂直走査系51は、垂直走査するガルバノミラー53と、そのガルバノミラー53の駆動制御を行う垂直走査制御回路57とを備え、表示すべき画像の１フレームごとに、画像光を最初の走査線から最後の走査線に向かって垂直に垂直走査する光学系である。

水平走査系48は、垂直走査系51より高速にすなわち高周波数で画像光を走査するように設計されている。また、水平走査系48，垂直走査系51は、図８に示すように、各々画像信号供給回路32に接続され、画像信号供給回路32より出力される水平駆動信号34，垂直駆動信号35にそれぞれ同期して画像光を走査するように構成されている。

〔制御部30の構成〕
次に、画像光生成部23内に備えられた制御部30の構成について、図９を参照しながら説明する。

制御部30は、ＣＰＵ100と、ＲＯＭ101と、ＲＡＭ102と、ＣＣＤカメラインターフェース103と、ＣＣＤカメラ用ＶＲＡＭ104と、画像信号供給回路用インターフェース107と、画像信号供給回路用ＶＲＡＭ108と、周辺機器用インターフェース111とを備えており、システムバス112を介して相互に接続されている。

ＲＯＭ101には、ＣＰＵ100で実行されることにより、後述するフローチャートに従った処理を実現するためのプログラムや、その際にＣＰＵ100が参照する透過率α及びＣＣＤカメラ14L,14Rの撮像可能な輝度上限値、及びキャンセル条件テーブルが記憶されている。

ここで、キャンセル条件テーブルとは、後述するフローを実行している際に、ＣＰＵ100が、撮像画像が特定の撮像画像であるか否かを判定するために参照するテーブルである。このキャンセル条件テーブルには、キャンセル画像を生成すべき時の条件の情報が含まれており、この条件は、例えば、背景画像の全体的な輝度変化が激しい場合はキャンセル画像を生成する旨の条件や、原画像の状態が、背景画像に紛れてしまいそうな場合はキャンセル画像を生成する旨の条件などがある。

ＲＡＭ102は、ＣＰＵ100にて参照される各種フラグや画像データなどの一時記憶領域として機能する。

ＣＣＤカメラインターフェース103は、左右２つのＣＣＤカメラ14L,14Rとの接続を担うものであり、ＣＣＤカメラ14L,14Rより伝送されてくる１フレーム毎の撮像画像信号を、撮像画像（撮像画像データ）に変換してＣＣＤカメラ用ＶＲＡＭ104に書き込む役割を担っている。

ＣＣＤカメラ用ＶＲＡＭ104は、ＣＣＤカメラインターフェース103にて変換された撮像画像データを、それぞれ左撮像画像用記憶領域105と、右撮像画像用記憶領域106とに左右別個にフレーム毎に記憶する機能を有している。後に詳述するが、ＣＰＵ100は、このＣＣＤカメラ用ＶＲＡＭ104の左右撮像画像用記憶領域105,106に記憶された撮像画像データに基づいて、背景キャンセル用画像Ｇ４を生成する。

画像信号供給回路用インターフェース107は、画像信号供給回路32との接続を担うものであり、画像信号供給回路用ＶＲＡＭ108を参照して、左右別個の画像形成信号Ｓを生成し画像信号供給回路32に供給する。

画像信号供給回路用ＶＲＡＭ108は、表示画像Ｇ２を記憶するものであり、前述のように、画像信号供給回路用インターフェース107が、この画像信号供給回路用ＶＲＡＭ108を参照して、左右２つの光源部31L,31Rに配設されているそれぞれの画像信号供給回路34に画像形成信号Ｓを供給する。

具体的に説明すると、画像信号供給回路用ＶＲＡＭ108内には、左表示画像用記憶領域109と、右表示画像用記憶領域110とが備えられており、画像信号供給回路用インターフェース107は、左表示画像用記憶領域109に記憶されている画像データに基づいて画像形成信号Ｓを生成した場合、この画像形成信号Ｓを表示画像Ｇ２の画像情報として左眼ＹＬ用の光源部31Lの画像信号供給回路32へ供給する。一方、右表示画像用記憶領域110に記憶されている画像データに基づいて画像形成信号Ｓを生成した場合には、この画像形成信号Ｓを表示画像Ｇ２の画像情報として、右眼ＹＲ用の光源部31Rの画像信号供給回路32へ供給する。

なお、表示画像Ｇ２とは、この画像信号供給回路用ＶＲＡＭ108の左右表示画像用記憶領域109,110に書き込まれた画像のことである。従って、この左右表示画像用記憶領域109,110に合成後画像Ｇ６が書き込まれれば、ユーザ視認画像Ｇ３上にはマスク領域Ｍが表示されることとなる。一方、左右表示画像用記憶領域109,110に原画像Ｇ５のみが書き込まれれば、原画像Ｇ５が表示画像Ｇ２となり、ユーザ視認画像Ｇ３上にマスク領域Ｍは出現しない。

周辺機器用インターフェース111は、制御部30に接続された周辺機器類の動作制御や信号の送受信を担うものであり、同周辺機器用インターフェース111には、前述の背景キャンセルスイッチ20や自動処理スイッチ21やモード切替スイッチ22が接続されている。

この周辺機器用インターフェース111は、例えば、背景キャンセルスイッチ20や自動処理スイッチ21、電源スイッチ25がＯＮ状態又はＯＦＦ状態とされた場合、ＲＡＭ102の所定アドレスにそれぞれのスイッチがＯＮ状態又はＯＦＦ状態であることを示すフラグを立てる。また、モード切替スイッチ22が変更された際には、モード切替スイッチ22にて選択されているモードを検知して、ＲＡＭ102の所定アドレスに選択されているモードを示すフラグを立てる。

これらのフラグは、プログラムの実行中にＣＰＵ100が参照することにより、前述の背景キャンセル用画像Ｇ４の原画像Ｇ５への合成を有効とするか否かの判定や、自動的に背景画像Ｇ１のキャンセルを行うか否かの判定や、電源オフ状態への移行を行うか否かの判定や、前述のＲＧＢ別基準背景輝度設定モード、ＲＧＢ共通基準背景輝度設定モード、ＣＣＤ上限基準背景輝度設定モードのいずれが選択されているかの判定を行うことができる。

〔制御部の処理フロー〕
次に、ＨＭＤ10における制御部30での処理について、図１０〜図１２を用いて説明する。図１０は、本実施形態に係るＨＭＤ10のメイン処理を示したフローチャートであり、図１１はメイン処理にて実行される表示画像生成処理を示したフローチャートであり、図１２は表示画像生成処理において実行される背景キャンセル用画像生成処理を示したフローチャートである。

まずは、図１０を用いてメインフローについて説明する。制御部30のＣＰＵ100は、まず、ＲＡＭ102のアクセス許可、作業領域を初期化等の初期設定を実行する（ステップＳ１０）。

次にＣＰＵ100は、表示画像Ｇ２を生成する表示画像生成処理を行う（ステップＳ１１）。この表示画像生成処理については、後に図１１にて更に詳細に説明する。この表示画像生成処理を終えると、ＣＰＵ100は、処理をステップＳ１２へ移す。

ステップＳ１２においてＣＰＵ100は、ステップＳ１１にて生成された左右それぞれの眼ＹＬ,ＹＲに表示するための表示画像Ｇ２を、画像信号供給回路用ＶＲＡＭ108の左右表示画像用記憶領域109,110へ書き込む。

次いでＣＰＵ100は、画像信号供給回路制御処理を行う（ステップＳ１３）。この画像信号供給回路制御処理においてＣＰＵ100は、画像信号供給回路用インターフェース107に対して、左右それぞれの光源部31L,31Rの画像信号供給回路32に対し、画像形成信号Ｓを送信するよう指示を行う。なお、ＣＰＵ100が、本ステップＳ１３を実行することにより、背景キャンセル用画像Ｇ４を合成した画像を、画像光生成部23、伝送ケーブル部12及び画像走査部24L,24Rにより構成される表示手段によってそれぞれ表示させる制御を行う表示制御手段として機能する。

次にＣＰＵ100は、電源スイッチ25がＯＦＦ状態であるか否かの判断を行う（ステップＳ１４）。ここで電源スイッチ25がＯＦＦ状態であると判断した場合（ステップＳ１４：Ｙｅｓ）には、ＣＰＵ100は、処理を終了する。一方電源スイッチ25がＯＦＦ状態ではないと判断した場合（ステップＳ１４：Ｎｏ）には、ＣＰＵ100は、処理をステップＳ１１へ戻す。

次に、メインフローのステップＳ１１にて実行される表示画像生成処理について、図１１を参照しながら説明する。

まず、表示画像生成処理においてＣＰＵ100は、ＲＡＭ102に原画像を書き込む。（ステップＳ２０）。

次いで、ＣＰＵ100は、自動処理スイッチ21の状態がＯＮ状態であるか否かについて判定を行う（ステップＳ２１）。ここで、自動処理スイッチ21の状態がＯＮ状態であると判定した場合（ステップＳ２１：Ｙｅｓ）には、ＣＰＵ100は、処理をステップＳ２２へ移す。一方、自動処理スイッチ21の状態がＯＦＦ状態であると判定した場合（ステップＳ２１：Ｎｏ）には、ＣＰＵ100は、処理をステップＳ２３へ移す。

ステップＳ２２において、ＣＰＵ100は、ＣＣＤカメラ用ＶＲＡＭ104の左右撮像画像用記憶領域105,106を参照し、ＲＯＭ101に記憶されているキャンセル条件テーブルと比較して、キャンセル画像を生成する必要があるか否かについて判定する。

そして、ＣＰＵ100は、ステップＳ２２の判定結果が、キャンセル画像が必要であるとの判定であるとき（ステップＳ２４：Ｙｅｓ）には、ＣＰＵ100は、処理をステップＳ２５へ移す。一方、キャンセル画像が必要ではないとの判定であるとき（ステップＳ２４：Ｎｏ）には、ＣＰＵ100は、処理をステップＳ２３へ移す。なお、ＣＰＵ100が、ステップＳ２２及び本ステップＳ２４を実行することにより、撮像画像を解析する撮像画像解析手段、撮像画像解析手段による解析結果に基づいて、撮像画像が特定の撮像画像であるか判定する撮像画像判定手段として機能する。

ステップＳ２３においてＣＰＵ100は、ＲＡＭ102を参照し、背景キャンセルスイッチ20がＯＮ状態であるか否かについて判定を行う。ここで、背景キャンセルスイッチ20がＯＮ状態であると判定した場合（ステップＳ２３：Ｙｅｓ）には、ＣＰＵ100は、処理をステップＳ２５へ移す。一方、背景キャンセルスイッチ20がＯＮ状態ではないと判定した場合（ステップＳ２３：Ｎｏ）には、ＣＰＵ100は、ステップＳ２０にてＲＡＭ上に書き込んだ原画像を表示画像として設定し（ステップＳ２９）、表示画像生成処理を終了する。なお、ＣＰＵ100が、本ステップＳ２３を実行することにより、操作手段の操作に応じて、原画像Ｇ５への背景キャンセル用画像Ｇ４の重畳を有効とするか無効とするかを決定する表示決定手段として機能する。

ステップＳ２５においてＣＰＵ100は、ステップＳ２０にてＲＡＭ102上に読み込んだ原画像Ｇ５を参照し、背景キャンセル用画像Ｇ４を生成する範囲を決定する。この範囲は、原画像Ｇ５を表示する画像サイズや位置に基づいて決定することができ、例えば原画像Ｇ５を表示する範囲と同じ範囲としたり、原画像Ｇ５を表示する範囲よりも上下左右にやや広めの範囲とすることができる。

次いでＣＰＵ100は、ＣＣＤカメラ用ＶＲＡＭ104の左右撮像画像用記憶領域105,106のピクセルデータを参照し、各ピクセルデータの三原色のサブピクセル毎に透過率αを乗じながら、ＲＡＭ102上に各色の調整後画像として記憶させる（ステップＳ２６）。

次に、ＣＰＵ100は、背景キャンセル用画像生成処理を行う（ステップＳ２７）。この背景キャンセル用画像生成処理は、後に図１２を参照しながら説明する。なお、ＣＰＵ100が、本ステップＳ２７を実行することにより、背景キャンセル用画像Ｇ４を、撮像手段によって撮像された撮像画像に基づいて生成する画像生成手段として機能する。ＣＰＵ100は、この背景キャンセル用画像生成処理を終えると、処理をステップＳ２８へ移す。

ステップＳ２８においてＣＰＵ100は、ＲＡＭ102上に記憶している原画像Ｇ５の各色（赤色、緑色、青色）のサブピクセルの輝度に、背景キャンセル用画像Ｇ４の各色のサブピクセルの輝度を加算することで合成し、合成後画像Ｇ６を形成する。この際、生成した背景キャンセル用画像Ｇ４は、原画像Ｇ５上のステップＳ２５にて決定した範囲（位置）に合成される。なお、ＣＰＵ100が、本ステップＳ２８を実行することにより、原画像情報に応じた原画像Ｇ５に背景キャンセル用画像Ｇ４を表示位置を合わせて合成させる画像処理手段として機能することとなる。本ステップＳ２８を終えると、ＣＰＵ100は、処理を分岐前のアドレスに戻す。

次に、表示画像生成処理のステップＳ２７にて実行される背景キャンセル用画像生成処理について、図１２を参照しながら説明する。

背景キャンセル用画像生成処理においてＣＰＵ100は、まず、ＲＡＭ102に記憶されているフラグを参照し、モード切替スイッチ22がＲＧＢ別基準背景輝度設定モードであるか否かについて判定を行う（ステップＳ４０）。

ここで、ＲＧＢ別基準背景輝度設定モードであると判定した場合（ステップＳ４０：Ｙｅｓ）には、ＣＰＵ100は、処理をステップＳ４１へ移す。

ステップＳ４１においてＣＰＵ100は、ＲＡＭ102上に記憶した１フレーム分の調整後画像（透過率αを乗じて変換済みの撮像画像）の各ピクセルデータの中から、Ｒ，Ｇ，Ｂ各成分別の（各サブピクセル毎の）最大輝度を検出し、それぞれこの値を、Ｒ成分の基準背景輝度、Ｇ成分の基準背景輝度、Ｂ成分の基準背景輝度として設定する。

次いでＣＰＵ100は、設定した基準背景輝度と、各サブピクセルの輝度との差分を、Ｒ，Ｇ，Ｂの各成分について取得し、ＲＡＭ102に記憶する（ステップＳ４２）。このステップＳ４２を終了すると、ＣＰＵ100は、処理をステップＳ５２へ移す。

一方、ステップＳ４０において、ＲＧＢ別基準背景輝度設定モードでないと判定した場合（ステップＳ４０：Ｎｏ）には、ＣＰＵ100は、処理をステップＳ４７へ移す。

ステップＳ４７においてＣＰＵ100は、ＲＡＭ102に記憶されているフラグを参照し、モード切替スイッチ22がＣＣＤ上限基準背景輝度設定モードであるか否かについて判定を行う。

ここで、ＣＣＤ上限基準背景輝度設定モードでないと判定した場合（ステップＳ４７：Ｎｏ）、すなわち、モード切替スイッチ22がＲＧＢ共通基準背景輝度設定モードに設定されている場合には、ＣＰＵ100は、処理をステップＳ４８へ移す。

ステップＳ４８においてＣＰＵ100は、ＲＡＭ102上に記憶した調整後画像の各ピクセルデータにおいて、三原色（ＲＧＢの各サブピクセル）の中での最大輝度を取得し、この値を基準背景輝度Ｋとして設定する。

次いでＣＰＵ100は、設定した基準背景輝度Ｋと、ＲＧＢの各サブピクセルの輝度との差分を取得し、ＲＡＭ102に記憶する（ステップＳ４９）。このステップＳ４９を終了すると、ＣＰＵ100は、処理をステップＳ５２へ移す。

一方、ステップＳ４７において、ＣＣＤ上限基準背景輝度設定モードであると判定した場合（ステップＳ４７：Ｙｅｓ）には、ＣＰＵ100は、処理をステップＳ５０へ移す。

ステップＳ５０においてＣＰＵ100は、ＣＣＤカメラ14L,14Rの撮像可能な輝度上限値に透過率αを乗じた輝度値をＲＯＭ101から取得し、この値を基準背景輝度Ｋとして設定する。

次いでＣＰＵ100は、設定した基準背景輝度Ｋと、ＲＧＢの各サブピクセルの輝度との差分を取得し、ＲＡＭ102に記憶する（ステップＳ５１）。なお、このとき、ＣＣＤカメラ14L,14Rで撮像可能な最小輝度から最大輝度の範囲に対応した輝度範囲で背景キャンセル画像Ｇ４が生成される。このステップＳ５１を終了すると、ＣＰＵ100は、処理をステップＳ５２へ移す。

ステップＳ５２において、ＣＰＵ100は、ＲＡＭ102に記憶されている取得した差分から、背景キャンセル用画像を生成して背景キャンセル用画像生成処理を終了する。

このように、本実施形態に係るＨＭＤ１０は、上述してきたフローに従って、動作することとなる。

上述してきたように、本実施形態に係るＨＭＤ１０によれば、外光（例えば、外光Ｌａ）を透過しつつ、画像情報（例えば、画像形成信号Ｓ）に応じた強度の画像光をユーザＰの眼（例えば、眼ＹＬ,ＹＲ）に投射して当該ユーザＰに前記画像光に応じた画像（例えば、表示画像Ｇ２）を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、前記ユーザＰの視野範囲のうち少なくとも画像（例えば、表示画像Ｇ２）が表示される範囲を含む所定範囲を撮像する撮像手段（例えば、ＣＣＤカメラ14L,14R）と、外光によりユーザＰに視認される背景画像（例えば、背景画像Ｇ１）に重畳すると、三原色の各色毎に所定フレーム期間内は輝度一定の基準背景輝度（例えば、基準背景輝度Ｋ）の画像（例えば、マスク領域Ｍ）となって前記背景画像を相殺する背景キャンセル用画像（例えば、背景キャンセル用画像Ｇ４）を、前記撮像手段によって撮像された撮像画像に基づいて生成する画像生成手段と、原画像情報に応じた画像（例えば、原画像Ｇ５）に前記背景キャンセル用画像を表示位置を合わせて合成させる画像処理手段と、前記背景キャンセル用画像を合成した画像（例えば、合成後画像Ｇ６）を前記表示手段によって表示させる制御を行う表示制御手段と、を備えたため、シースルー型でありながら、背景（例えば、背景画像Ｇ１）に紛れることなく細かな画像（例えば、原画像Ｇ５）をユーザに十分視認させることのできるＨＭＤ（例えば、ＨＭＤ１０）を提供することができる。

最後に、上述した各実施の形態の説明は本発明の一例であり、本発明は上述の実施の形態に限定されることはない。このため、上述した各実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
例えば、本実施形態では、網膜走査型の画像表示装置を挙げて説明したが、シースルー型の画像表示装置であれば特に限定されるものではなく、例えば、ＬＣＤを用いる画像表示装置にも適用可能である。

また、本実施形態では、図７に示したように、ユーザＰの両眼ＹＬ,ＹＲに画像を表示することとしたが、左右いずれかの眼に画像を表示するようにしても良い。

また、図１１に示した表示画像生成処理内において、現状の処理に加え、背景画像の時間的変化が激しい場合を検知して、ＣＣＤ上限基準背景輝度設定モードへ移行するよう構成したり、また、キャンセル画像の生成を行わないよう構成しても良い。

さらに、本実施形態では、デジタル処理を行うことで背景キャンセル用画像Ｇ４を生成し、原画像Ｇ５と合成して表示画像Ｇ２とする構成としたが、オペアンプ等を用いてアナログ信号を処理することとしても良い。例えば、撮像信号を反転しシースルー透過率などに応じてレベル調整して、背景画像をキャンセルする信号を作り、表示画像信号に重畳するような構成としても実現することができる。

10 ＨＭＤ
14L,14R ＣＣＤカメラ
19 ハーフミラー
20 背景キャンセルスイッチ
21 自動処理スイッチ
22 モード切替スイッチ
30 制御部
ＹＬ,ＹＲ 眼
Ｇ１ 背景画像
Ｇ２ 表示画像
Ｇ３ ユーザ視認画像
Ｇ４ 背景キャンセル用画像
Ｇ５ 原画像
Ｇ６ 合成後画像
Ｋ 基準背景輝度
Ｌａ 外光
Ｌｂ 画像光
Ｍ マスク領域
Ｐ ユーザ

Claims (6)

1. 外光を透過しつつ、画像情報に応じた強度の画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、
   前記ユーザの視野範囲のうち少なくとも画像が表示される範囲を含む所定範囲を撮像する撮像手段と、
   外光によりユーザに視認される背景画像に重畳すると、三原色の各色毎に所定フレーム期間内は輝度一定の基準背景輝度の画像となって前記背景画像を相殺する背景キャンセル用画像を、前記撮像手段によって撮像された撮像画像に基づいて生成する画像生成手段と、
   原画像情報に応じた原画像に前記背景キャンセル用画像を表示位置と大きさを合わせて合成する画像処理手段と、
   前記背景キャンセル用画像を合成した画像を前記表示手段によって表示させる制御を行う表示制御手段と、を備えたことを特徴とするヘッドマウントディスプレイ。
2. 請求項１に記載のヘッドマウントディスプレイにおいて、
   前記画像生成手段は、前記撮像画像の各色の最大輝度に基づいて各色毎に前記基準背景輝度を設定するヘッドマウントディスプレイ。
3. 請求項１に記載のヘッドマウントディスプレイにおいて、
   前記画像生成手段は、前記撮像画像の各色毎の最大輝度のうち最も高い輝度に基づいて各色毎の前記基準背景輝度を設定するヘッドマウントディスプレイ。
4. 請求項１に記載のヘッドマウントディスプレイにおいて、
   前記画像生成手段は、前記撮像手段で撮像できる最大輝度に基づいて前記基準背景輝度を設定するヘッドマウントディスプレイ。
5. 請求項１から４のいずれか１項に記載のヘッドマウントディスプレイにおいて、
   ユーザによって操作可能な操作手段と、
   前記操作手段の操作に応じて、前記背景キャンセル用画像の合成を有効とするか無効とするかを決定する表示決定手段と、を備えたことを特徴とするヘッドマウントディスプレイ。
6. 請求項１から４のいずれか１項に記載のヘッドマウントディスプレイにおいて、
   前記撮像画像を解析する撮像画像解析手段と、
   前記撮像画像解析手段による解析結果に基づいて、前記撮像画像が特定の撮像画像であるか判定する撮像画像判定手段と、
   前記撮像画像判定手段による判定結果に基づいて、前記背景キャンセル用画像の合成を有効とするか無効とするかを決定する表示決定手段と、を備えたことを特徴とするヘッドマウントディスプレイ。

Images