JP5201015B2 - ヘッドマウントディスプレイ - Google Patents

Description

本発明は、ヘッドマウントディスプレイに関する。

従来、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイが画像表示装置の一例として知られている。

そして、かかるヘッドマウントディスプレイの使用形態として、当該ヘッドマウントディスプレイを装着した状態で、表示手段により参照用画像（例えば、作業マニュアルなど）を表示させながら作業に従事する場合が考えられる。

この場合、前記表示手段により表示された参照用画像が、手を使って実際に作業するときには邪魔になる場合があるため、邪魔になると判断される場合には消去できるようにすることが望ましい。

他方、画像表示装置の一例として、車両などに搭載することができ、画像情報を反射手段による虚像として表示することができる虚像表示装置がある（例えば特許文献１を参照）。

かかる虚像表示装置は、当該虚像表示装置を操作するユーザの視線を特定する視線特定手段と、当該虚像表示装置により表示されている虚像のうち、視線特定手段により特定されたユーザ視線上或いはその近傍にある虚像を、ユーザが注視している注視虚像と特定する虚像特定手段と、当該虚像表示装置による表示を制御するための表示制御指令を検出する表示指令検出手段と、当該表示指令検出手段により検出された表示制御指令が、注視虚像の表示についての指令である場合には、表示制御指令に基づいて、注視虚像の表示を制御する第１表示制御手段と、を備えることを特徴としている。

そして、表示指令検出手段は、ユーザの手或いは指の動きを認識し、該認識した動きに基づいて、前記表示制御指令の指令内容を特定するようにして、ユーザが、手或いは指を動かしてジェスチャを行うことにより、虚像表示装置に対して指令を出すことができるようにしている。

こうして、特許文献１に係る虚像表示装置では、ユーザは、虚像を注視することによって特定した虚像について、所定のジェスチャによって虚像を消去することが可能となっている。

特開2005-138755号公報

前述したように、ヘッドマウントディスプレイでは、表示手段により表示される参照用画像が邪魔になると判断された場合に消去する技術は確立されていないため、特許文献１のように、ユーザが特定した参照用画像を所定のジェスチャにより簡単に消去する技術を適用することも考えられる。

しかし、作業中は、手を使用することが多いため、かかる手や指のジェスチャにより参照用画像（虚像）を消去するとなれば、作業を中断せざるをえなくなるなど、作業に支障をきたす場合がある。また、画像を特定するための特定手段が必要になるなど、装置が複雑化するおそれもある。

そこで、手や指を使う作業に用いられるヘッドマウントディスプレイにおいて、参照用画像を、作業の邪魔にならないように、より簡便に表示制御できる技術が求められている。

本発明では、上記課題を解決し、表示手段により表示させる参照用画像のうち、作業の邪魔になる領域の視認性を低減して、作業対象を含む外景の視認性を向上させる表示制御を行えるヘッドマウントディスプレイを提供することを目的としている。

上記目的を達成するために、請求項１に記載の発明は、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、前記撮像手段によって撮像された画像を解析して、前記ユーザの手を検知する手検知手段と、前記ユーザが所定の作業を行うときに参照用として使用する参照用画像を前記表示手段により表示させる制御を行う表示制御手段と、前記手検知手段で検知した手のうち一方の手と他方の手との間で形成される領域を判定する判定手段と、を備え、前記表示制御手段は、前記表示手段により表示させる参照用画像のうち前記判定手段で判定した領域の前記ユーザに対する視認性を低減して外景の視認性を向上させ、前記表示手段による表示制御を行っているときに、前記手検知手段で前記一方の手と前記他方の手とを検知したときであっても、当該検知した前記一方の手と前記他方の手との間の距離が所定距離以上のときに、前記視認性の低減を中止することとした。

また、請求項２に記載の発明は、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、前記撮像手段によって撮像された画像を解析して、前記ユーザの手を検知する手検知手段と、前記ユーザが所定の作業を行うときに参照用として使用する参照用画像を前記表示手段により表示させる制御を行う表示制御手段と、前記手検知手段で検知した手のうち一方の手と他方の手との間で形成される領域を判定する判定手段と、を備え、前記表示制御手段は、前記表示手段により表示させる参照用画像のうち前記判定手段で判定した領域の前記ユーザに対する視認性を低減して外景の視認性を向上させ、記表示手段による表示制御を行っているときに、前記手検知手段で前記一方の手と前記他方の手とを検知したときであっても、前記手検知手段により検知した手の位置が前記撮像手段の焦点距離内から外れたときに、前記視認性の低減を中止することとした。

また、請求項３に記載の発明は、請求項１又は請求項２に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記判定手段で判定した領域の画像の輝度を低下させることによって前記視認性の低減を行うことを特徴とする。

また、請求項４に記載の発明は、請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記判定手段で判定した領域の画像の輝度をゼロにすることを特徴とする。

また、請求項５に記載の発明は、請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記表示制御手段は、前記判定手段で判定した領域の形態に応じて、当該領域の前記ユーザに対する視認性の低減度合いを変更することを特徴とする。

また、請求項６に記載の発明は、請求項１〜５のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記判定手段は、前記手検知手段で検知した前記一方の手の指と前記他方の手の指との間で形成される領域を前記判定する領域とすることを特徴とする。

本発明によれば、表示手段により表示している参照用画像のうち、ユーザの手と手の間の領域における視認性を、スイッチ操作をすることなく自動的に低減して外景の視認性を向上させることができるため、参照用画像が作業の邪魔になることがなくなり、作業効率が上がるとともに、作業の安全性を高めることが可能となる。

本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）の光の進路を示す説明図である。 同ＨＭＤの使用状態を示す説明図である。 参照用画像の説明図である。 本実施形態に係るＨＭＤを使用して参照用画像を見ながら行う作業の説明図である。 本実施形態に係るＨＭＤの概要構成図である。 参照用画像の視認性を低減させる制御の一例を示す説明図である。 ＨＭＤの電気的構成及び光学的構成を示したブロック図である。 制御部の構成を示したブロック図である。 本実施形態に係るＨＭＤのコンテンツ表示制御処理を示したフローチャートである。 変形例に係るコンテンツ表示制御処理の説明図である。 参照用画像の視認性を低減させる制御の一例を示す説明図である。 参照用画像の視認性を低減させる制御の例外を示す説明図である。

以下、本実施形態に係るヘッドマウントディスプレイ（以下、「ＨＭＤ：Head Mount Display」という。）の一例について、図面を参照して説明する。なお、本実施形態では、HMDを、画像信号に基づいて生成した画像光を２次元的に走査し、その走査された画像光をユーザの眼に投射して網膜上に結像させる網膜走査型として説明するが、本発明はこれに限定されるものではなく、画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えた構成を有するものであれば全てに適用することができる。

［１．ＨＭＤの概要］
図１に示すように、本実施形態に係るＨＭＤは、コンテンツとなる表示画像として、例えば作業マニュアルのような参照用画像２００を表示させることができ、ユーザ１００は、図２に示すように、このＨＭＤを装着して参照用画像２００を見ながら所定の作業を行うことができるようになっている。本実施形態においては、ユーザ１００の作業として、コード１１１で接続された一対のバナナプラグ１１０，１１０を用いて配電盤の配線作業を行う例を説明するが、作業内容としては何ら限定されるものではない。

ＨＭＤは、図１に示すように、外光４００の一部が少なくともユーザ１００のいずれかの眼１０１に到達する状態で、参照用画像情報に応じた画像光５００をハーフミラー１０で反射させてユーザ１００の眼１０１に投射し、当該ユーザ１００に参照用画像２００を視認させる表示部１を備えている。

この表示部１は、図２に示すように、ユーザ１００の頭部１０２に装着される投影ユニット１ａと、この投影ユニット１ａと光ファイバケーブル５０を介して接続された光源ユニット１ｂとから構成されている。投影ユニット１ａは、ユーザ１００の頭部１０２に装着する眼鏡フレーム型の装着部１１に取り付けられ、光源ユニット１ｂは、投影ユニット１ａとは別体のコントロールユニット３に内蔵されている。また、装着部１１は眼鏡フレーム型としているため、あたかも眼鏡のように簡単に装着することができる。

参照用画像２００は、配電盤における配線作業に合わせて予め用意されている。本実施形態では、図３に示すように、配電盤の配線作業部（図２参照）にマトリックス状に設けられた端子群に対応するように、所定の画像表示領域ａ内に、縦横の座標（Ａ〜Ｇ、１〜７）と、作業順番に応じて接続すべき端子同士が表示されるようになっている。

図３（ａ）で示した参照用画像２００は、座標（３，Ｃ）に位置する端子と座標（５，Ｄ）に位置する端子とを配線する作業手順を示すものあり、端子位置を示す座標と、端子に対応する丸マーク２０１，２０１と、これら丸マーク２０１，２０１同士を線２０２で結んだ画像が表示されている。

また、参照用画像２００は、図３（ｂ）に示すように、ユーザ１００の視界の中では、作業対象となる配線作業部に重畳された状態で表示される。

したがって、図４に示すように、ユーザ１００は、実際の配線作業部に参照用画像２００を重畳表示させることで、配線すべき端子同士が簡単に特定できるため、たとえ作業に熟練した者でなくとも容易に所定の配線作業が行える。

しかし、図４に示すように、端子上に丸マーク２０１が重なってしまうと、実際の端子の位置が見え難くなることが考えられる。また、ユーザ１００の頭部１０２の位置が動くと参照用画像２００と端子位置とが簡単にずれてしまい、逆に誤配線、誤作業を招くおそれがあった。

そこで、本実施形態に係るＨＭＤは、図５に示すように、表示部１の他に、ユーザ１００の視野範囲のうち、少なくとも表示部１により参照用画像２００が表示される表示領域を含む範囲を撮像する撮像手段であるＣＣＤカメラ２と、このＣＣＤカメラ２によって撮像された画像を解析して、ユーザ１００の手１０３を検知する手検知手段と、参照用画像２００を表示させる制御を行う表示制御手段と、前記手検知手段で検知した手１０３のうち一方の手１０３と他方の手１０３との間で形成される作業領域ｂ（図６参照）を判定する判定手段として機能する制御部３０を備えた構成としている。

かかる構成により、表示制御手段は、表示部１により表示させる参照用画像２００のうち、前記判定手段で判定した作業領域ｂのユーザ１００に対する視認性を低減して作業対象となる配線作業部の視認性を向上させることができる。

すなわち、本実施形態における手検知手段、表示制御手段、及び判定手段は、コントロールユニット３に内蔵された制御部３０がその機能を担っており、この制御部３０は、図８を用いて後に詳述するが、ＣＰＵ４０、プログラムＲＯＭ４１、フラッシュＲ０Ｍ４２、ＲＡＭ４３などを備えたコンピュータからなり、プログラムＲＯＭ４１に格納された制御プログラムに従ってＣＰＵ４０が各手段として機能することになる。なお、プログラムＲＯＭ４１に格納された制御プログラムの一部は、例えば、ＣＤ−Ｒ、ＤＶＤ―Ｒ等の記録媒体に記録されているものでもよく、その場合、コントロールユニット３に所定の外部接続端子を設けておき、例えば図示しない記録媒体ドライブをこれに接続し、記録媒体を介して、例えばフラッシュＲ０Ｍ４２に読み込まれるようにしてもよい。

こうして、制御部３０は、図６（ａ）に示すように手検知手段として機能してユーザ１００の手１０３を検知することができるとともに、判定手段としても機能して、検知した左右の手１０３，１０３の間で形成される所定の領域を作業領域ｂとして判定すると、この作業領域ｂに重畳表示されている参照用画像２００の輝度を低下させることによって視認性の低減を行うのである。

ここで、一方の手１０３と他方の手１０３との間で形成される作業領域ｂとは、例えば手１０３自体は含まずに、手１０３と手１０３との間の空間で形成される場合もあるし、手１０３自体を含んで形成される場合もある。ここでは、図６（ａ）に示すように、手１０３自体を含んだ領域としているため、図６（ｂ）に示すように、参照用画像２００の一部をなす縦座標Ａ〜Ｇのうち、左の手１０３に重なってしまうＢＣＤＥは消える。
また、図６（ａ）では正しい位置からずれていたバナナプラグ１１０で連結すべき端子を表した丸マーク２０１，２０１及び両丸マーク２０１，２０１を結んだ線２０２、さらには端子位置を示す座標も図６（ｂ）では消えてすっきりとした表示となり、配線作業部の視認性が向上して、参照用画像２００が邪魔にならず、作業が行い易くなっている。

なお、図６（ｂ）で示した例では、表示制御手段として機能する制御部３０は、参照用画像２００のうち、作業領域ｂに重畳表示された部分の輝度をゼロにしているため、輝度がゼロとなった部分はユーザ１００の視野から消去された状態となっている。しかし、詳しくは後述するが、配線作業部の視認性を向上させるためには、作業領域ｂに重なる参照用画像２００の輝度を必ずしもゼロにしなくてもよく、作業領域ｂにおけるユーザ１００に対する視認性の低減度合いが変更されて作業領域ｂにおける配線作業部の視認性が向上すればよい。

ところで、ユーザ１００の手１０３を検知する方法としては、適宜周知の技術を採用することができる。本実施形態では、ユーザ１００の視野範囲のうち少なくとも表示部１による表示領域を含む範囲を撮像可能なＣＣＤカメラ２で撮像した撮像画像中の手１０３の色（肌色）と、その色が占める面積とにより手１０３として検知するようにしている。

つまり、制御部３０は、ＣＣＤカメラ２による撮像画像に含まれる各画素のＲＧＢ値から色温度を算出し、肌色を示す色温度の画素が集合した領域の面積が所定の値以上であるか否かを判定し、所定値以上の面積を有する領域を手１０３として検出するのである。

なお、手１０３に手袋をはめて作業するような場合は、肌色ではなく使用する手袋の色を検出することは言うまでもない。

［２．ＨＭＤの電気的構成及び光学的構成を含む具体的構成］
本実施形態に係るＨＭＤの概要は上述してきた通りであり、前述したように、ＨＭＤの投影ユニット１ａは、眼鏡フレーム型の装着部１１に取り付けられており、図２に示すように、装着部１１をユーザ１００の頭部１０２へ装着したとき、ユーザ１００の左眼部分と左側こめかみ部分とを被覆するような平面視略Ｌ字形状に形成され、この投影ユニット１ａの上方位置にＣＣＤカメラ２が配設されている。

また、図１及び図２で示したように、投影ユニット１ａの先端側には、左の眼１０１の前方に位置するようにハーフミラー１０が取り付けられている。

すなわち、本実施形態に係るＨＭＤは、図１に示すように、外光４００をハーフミラー１０から透過させてユーザ１００の左の眼１０１に入射させ、画像光５００はハーフミラー１０で反射させてユーザ１００の眼１０１に入射させるようにしている。また、当然ながら、外光４００は右の眼１０１にも入射している。したがって、ユーザ１００は、両眼１０１，１０１を開けている場合は当然ながら、右の眼１０１を閉じた状態であっても、参照用画像２００を見ながら外界も見ることができる。

また、コントロールユニット３はユーザ１００が衣服のポケットなどに収納して携行可能であり、このコントロールユニット３に配設された光源ユニット１ｂは、外部接続ケーブル４（図２参照）を介してＰＣ（パーソナルコンピュータ）３００（図８参照）などの外部機器と接続して画像情報を取得可能としており、この光源ユニット１ｂは、投影ユニット１ａと光ファイバケーブル５０等を介して接続されている。

また、光源ユニット１ｂは、後述する画像信号供給回路６を備えており、ＰＣ３００から送信される画像データに応じた画像情報を画素単位で強度変調して画像光５００を形成し、この画像光５００を光ファイバケーブル５０を介して投影ユニット１ａへ伝送し、投影ユニット１ａでは、伝送された画像光５００を走査してユーザ１００に参照用画像２００を視認させることができる。

図７はＨＭＤの電気的構成及び光学的構成を示したブロック図、図８は制御部の構成を示したブロック図であり、図７に示すように、ＨＭＤは表示部１及びＣＣＤカメラ２を備えており、表示手段である表示部１は、前述したように装着部１１に設けられた投影ユニット１ａと、コントロールユニット３に配設された光源ユニット１ｂとから構成されている。

このコントロールユニット３には、ＨＭＤ全体の動作を統括制御する制御部３０も配設されており、光源ユニット１ｂは、この制御部３０から供給される画像信号Ｓから画像情報を画素単位で読み出し、読み出した画素単位の画像情報に基づいてＲ（赤色），Ｇ（緑色），Ｂ（青色）の各色毎に強度変調された光束を生成して出射するようになっている。

なお、光源ユニット１ｂをコントロールユニット３内に設けるのではなく、投影ユニット１ａ内に設けるようにしてもよい。また、本実施形態では表示部１として２次元的に走査したレーザ光をユーザ１００の眼１０１に入射し網膜１０１ｂ上に画像を投影する網膜走査型の表示部を例に挙げて説明するが、これに限らず、例えば、液晶型の表示部を用いることもできる。液晶型の表示部としては、例えば、透過型液晶パネルに光源からの光を照射してこの液晶パネルを透過した光を画像光として利用者の眼に入射する透過型のものや、反射型液晶パネルに光源からの光を照射してこの液晶パネルを反射した光を画像光として利用者の眼に入射する反射型のものがある。

（光源ユニット１ｂ）
光源ユニット１ｂには、画像を合成するための要素となる信号等を発生する画像信号供給回路６が設けられている。ＰＣ３００から供給される画像データが制御部３０に入力されると、制御部３０はその画像データに基づいて画像信号Ｓを生成して画像信号供給回路６に送る。画像信号供給回路６は、画像信号Ｓに基づいて、参照用画像２００を形成するための要素となる各信号を画素単位で生成する。すなわち、画像信号供給回路６からは、Ｒ（赤色）画像信号６０ｒ，Ｇ（緑色）画像信号６０ｇ，Ｂ（青色）画像信号６０ｂが生成されて出力される。また、画像信号供給回路６は、水平走査部８０で使用される水平駆動信号６１と、垂直走査部９０で使用される垂直駆動信号６２とをそれぞれ出力する。

また、光源ユニット１ｂには、画像信号供給回路６から画素単位で出力されるＲ画像信号６０ｒ、Ｇ画像信号６０ｇ、Ｂ画像信号６０ｂの各画像信号６０ｒ，６０ｇ，６０ｂをもとに、それぞれ強度変調されたレーザ光（「光束」とも呼ぶ。）である画像光５００を出射するように、Ｒレーザ６３，Ｇレーザ６４，Ｂレーザ６５をそれぞれ駆動するためのＲレーザドライバ６６，Ｇレーザドライバ６７，Ｂレーザドライバ６８が設けられている。各レーザ６３，６４，６５は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、レーザ光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えてレーザ光の強度変調を行う必要がある。

さらに、光源ユニット１ｂは、各レーザ６３，６４，６５より出射されたレーザ光を平行光にコリメートするように設けられたコリメート光学系７１，７２，７３と、このコリメートされたレーザ光を合波するためのダイクロイックミラー７４，７５，７６と、合波されたレーザ光を光ファイバケーブル５０に導く結合光学系７７とが設けられている。

従って、各レーザ６３，６４，６５から出射したレーザ光は、コリメート光学系７１，７２，７３によってそれぞれ平行化された後に、ダイクロイックミラー７４，７５，７６に入射される。その後、これらのダイクロイックミラー７４，７５，７６により、各レーザ光が波長に関して選択的に反射・透過される。そして、これら３つのダイクロイックミラー７４，７５，７６にそれぞれ入射した３原色のレーザ光は、波長選択的に反射または透過して結合光学系７７に達し、集光されて光ファイバケーブル５０へ出力される。

（投影ユニット１ａ）
光源ユニット１ｂとユーザ１００の眼１０１との間に位置する投影ユニット１ａには、光源ユニット１ｂで生成され、光ファイバケーブル５０を介して出射されるレーザ光を平行光化するコリメート光学系８１と、このコリメート光学系８１で平行光化されたレーザ光を画像表示のために水平方向に往復走査する水平走査部８０と、水平走査部８０で水平方向に走査されたレーザ光を垂直方向に走査する垂直走査部９０と、水平走査部８０と垂直走査部９０との間に設けられた第１リレー光学系８５と、このように水平方向と垂直方向に走査されたレーザ光を瞳孔１０１ａへ出射するための第２リレー光学系９５とが設けられている。

水平走査部８０及び垂直走査部９０は、光ファイバケーブル５０から入射されたレーザ光を画像としてユーザ１００の網膜１０１ｂに投影可能な状態にするために、水平方向と垂直方向に走査して走査光束とする光学系であり、水平走査部８０は、レーザ光を水平方向に走査するため偏向面を有する共振型の偏向素子８２と、この偏向素子８２を共振させて偏向素子８２の偏向面を揺動させる駆動信号を水平駆動信号６１に基づいて発生する水平走査駆動回路８３を備えている。

一方、垂直走査部９０は、レーザ光を垂直方向に走査するため偏向面を有する非共振型の偏向素子９１と、この偏向素子９１の偏向面を非共振状態で揺動させる駆動信号を垂直駆動信号６２に基づいて発生する垂直走査制御回路９２とを備え、表示すべき画像の１フレームごとに、画像を形成するためのレーザ光を最初の水平走査線から最後の水平走査線に向かって垂直に走査する。ここで「水平走査線」とは、水平走査部８０による水平方向への１走査を意味する。

なお、偏向素子８１，９１は、ここではガルバノミラーを用いることとするが、レーザ光を走査するようにその偏向面（反射面）を揺動又は回転させられるものであれば、圧電駆動、電磁駆動、静電駆動等いずれの駆動方式によるものであってもよい。また、本実施形態においては、水平走査部８０に共振タイプの偏向素子を用い、垂直走査部９０を非共振タイプの偏向素子を用いることとしているが、これに限らず、例えば、垂直走査系に共振タイプの偏向素子を用いてもよく、どちらも非共振タイプの偏向素子としてもよい。

また、水平走査部８０と垂直走査部９０との間でレーザ光を中継する第１リレー光学系８５は、偏向素子８１の偏向面によって水平方向に走査されたレーザ光を偏向素子９１の偏向面に収束させる。そして、このレーザ光が偏向素子９１の偏向面によって垂直方向に走査され、正の屈折力を持つ２つのレンズ９５ａ，９５ｂが直列配置された第２リレー光学系９５を介して、眼１０１の前方に位置させたハーフミラー１０で反射されてユーザ１００の瞳孔１０１ａに入射し、網膜１０１ｂ上に画像信号Ｓに応じた参照用画像２００が投影される。これにより、ユーザ１００はこのように瞳孔１０１ａに入射する画像光５００であるレーザ光を、参照用画像２００として認識する（図３参照）。

なお、第２リレー光学系９５においては、レンズ９５ａによって、それぞれのレーザ光がそのレーザ光の中心線を相互に略平行にされ、かつそれぞれ収束レーザ光に変換される。そして、レンズ９５ｂによってそれぞれほぼ平行なレーザ光となると共に、これらのレーザ光の中心線がユーザ１００の瞳孔１０１ａに収束するように変換される。

（制御部３０）
制御部３０は、その内部に記憶されている制御プログラムにしたがって後述する所定の処理を実行することによって、前述した手検知手段、表示制御手段、及び判定手段等として機能する。

図８に示すように、制御部３０は、各コントローラ３１，３２，３６と、各ＶＲＡＭ（Video Random Access Memory）３３，３７と、周辺機器インターフェース（図中「Ｉ／Ｆ」と示し、以下「Ｉ／Ｆ」とも呼ぶ）３８と、通信Ｉ／Ｆ３９と、を備えている。

主コントローラ３１は、ＣＰＵ（Central Processing Unit）４０と、プログラムＲＯＭ（Read Only Memory）４１と、不揮発性メモリであるフラッシュＲＯＭ（フラッシュメモリ）４２と、ＲＡＭ（Random Access Memory）４３と、を備えており、これらはデータ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。

ＣＰＵ４０は、プログラムＲＯＭ４１に記憶されている制御プログラムを実行することにより、主コントローラ３１としてＨＭＤを構成する各部を動作させて、ＨＭＤが備える各種機能を実行させる演算処理装置である。また、フラッシュＲＯＭ４２は、ＣＣＤカメラ２などから出力される画像データや、参照用画像２００の輝度の設定値などを記憶する。

ＨＭＤ用コントローラ３２は、主コントローラ３１からの要求に応じて表示部１を制御し、主コントローラ３１によりＨＭＤ用ＶＲＡＭ３３に記憶された画像データに基づいた画像信号Ｓを表示部１に供給する。表示部１は、ＨＭＤ用コントローラ３２から画像信号Ｓが入力されると、この画像信号Ｓに基づいて強度変調した各色のレーザ光を生成及び走査してユーザ１００の眼１０１に出射し、ユーザ１００の網膜１０１ｂに画像信号Ｓに応じた画像を投影する。これによって、主コントローラ３１は、画像を表示させる制御を行う。

カメラ用コントローラ３６は、撮像手段であるＣＣＤカメラ２を制御し、カメラ用ＶＲＡＭ３７は、ＣＣＤカメラ２から出力される画像データを一時的に記憶する。主コントローラ３１は、ユーザ１００の手の位置を認識するために、カメラ用コントローラ３６を介してＣＣＤカメラ２を制御し、ユーザ１００の視野範囲のうち少なくとも表示部１による画像の表示領域を含む範囲をＣＣＤカメラ２により撮像させ、ＣＣＤカメラ２から出力される画像データをカメラ用ＶＲＡＭ３７を介して取得する。これによって、主コントローラ３１は、ＣＣＤカメラ２によって撮像された画像を取得することができ、前述したように、その画像を解析して肌色の領域とその面積を検出することによって、ユーザ１００の手を認識している。なお、ＣＣＤカメラ２によって撮像された画像の処理をするために主コントローラ３１内に別途画像処理部をハードウェアで構成することにより画像処理を高速に行うこともできる。

周辺機器Ｉ／Ｆ３８は、電源スイッチやコンテンツ表示スイッチやランプ類等（図示せず）の周辺機器５を主コントローラ３１に接続するためのインターフェースである。例えば、電源スイッチやコンテンツ表示スイッチやランプ類が周辺機器Ｉ／Ｆ３８に接続されたとき、主コントローラ３１は、電源スイッチやコンテンツ表示スイッチ等のスイッチ類からの操作情報を周辺機器Ｉ／Ｆ３８から受け取り、周辺機器Ｉ／Ｆ３８を介してランプ類の点灯情報をランプ類に供給する。

通信Ｉ／Ｆ３９は、主コントローラ３１とＰＣ３００とを通信可能に制御する。主コントローラ３１は、例えば、通信Ｉ／Ｆ３９を介して画像データの供給をＰＣ３００に要求し、ＰＣ３００から通信Ｉ／Ｆ３９を介して供給された画像データに基づいた画像信号ＳをＨＭＤ用コントローラ３２により表示部１に供給する。

なお、上述においては、撮像手段としてＣＣＤカメラ２を用いることとしたが、これに限られず、ＣＭＯＳカメラなどを用いてもよい。

次に、制御部３０での処理の一例について、図９及び図６を参照して説明する。図９はコンテンツとなる作業用マニュアル（参照用画像２００）の表示制御処理を示したフローチャートである。なお、ＨＭＤの電源スイッチ（図示せず）は既にオン操作されており、電源スイッチがオン操作された後の初期設定処理などは全て完了し、さらに、コンテンツ表示スイッチ（図示せず）がオン操作されてコンテンツ表示命令がされた場合としている。

コンテンツ表示命令がされると、図９に示すように、主コントローラ３１のＣＰＵ４０は、例えば図３に示した作業指示書などのコンテンツをＨＭＤ用ＶＲＡＭ３３に一時保存する（ステップＳ１００）。

次いで、ＣＰＵ４０は、ＣＣＤカメラ２がユーザ１００の左右の手１０３，１０３を検出したか否かを判定する（ステップＳ１０１）。

すなわち、前述したように、ＣＰＵ４０は、カメラ用ＶＲＡＭ３７を介してＣＣＤカメラ２が撮像した画像データを取得し、その中に、肌色を示す色温度の画素が集合した領域の面積が所定の値以上である場合に手１０３があると判定しており、かかる領域が２つ検知された場合に両手が撮像範囲内に存在すると判定することができる。

なお、このとき、肌色を示す色温度の画素が集合した領域の面積が所定の値以上の領域が１つの場合は片手のみが撮像範囲内に存在すると判定されることになり、本実施形態の特徴となる処理、すなわち、コンテンツとなる参照用画像２００のユーザ１００に対する視認性を低減して作業対象の視認性を向上させるという表示制御は実行されない。

ステップＳ１０１において、両手（左右の手）１０３，１０３が検出されていないと判定した場合（ステップＳ１０１：Ｎｏ）、ＣＰＵ４０は処理をステップＳ１０４に移す一方、両手１０３，１０３が検出されたと判定した場合は（ステップＳ１０１：Ｙｅｓ）、肌色として検出された２つの領域（肌色検出領域）間を仮想的に外接矩形（図６（ａ）における二点鎖線を参照）で囲み、外接矩形で囲まれた作業領域ｂの画像表示領域ａ内における位置を特定する（ステップＳ１０２）。

次いで、ＣＰＵ４０は、特定した外接矩形で仮想的に囲まれた作業領域ｂ内にある参照用画像２００の一部を黒で塗りつぶす制御を実行する。すなわち、参照用画像２００のうち、外接矩形で囲まれた作業領域ｂ内に重畳されている部分の輝度をゼロとする表示制御を実行する（ステップＳ１０３）。

ステップＳ１０４において、ＣＰＵ４０は、ステップＳ１０３の処理によってあたかも画像表示領域ａから外接矩形で仮想的に囲まれた作業領域ｂが刳り抜かれたかのような参照用画像２００を、ＨＭＤ用コントローラ３２を介して表示部１に送出する。他方、ステップＳ１０１において、左右の１０３，１０３が検出されていなかった場合はＨＭＤ用ＶＲＡＭ３３に保存しておいたコンテンツをそのままＨＭＤ用コントローラ３２を介して表示部１に送出することになる。

かかる処理により、ＣＣＤカメラ２がユーザ１００の左右の手１０３，１０３を検出すると、図６（ｂ）で示したように、左右の手１０３，１０３の間の丸マーク２０１や線２０２が非表示となって、配線作業部における結線対象となる端子の視認性が著しく向上するため、ユーザ１００は、当該端子に左右の手１０３，１０３で保持したバナナプラグ１１０，１１０を挿入しやすくなる。

ステップＳ１０５では、ＣＰＵ４０は、コンテンツ表示スイッチがオフ操作されてコンテンツ表示終了命令がなされたか否かを判定する。終了命令がなされていないと判定した場合は（ステップＳ１０５：Ｎｏ）、ステップＳ１００〜ステップＳ１０４までの処理を繰り返す一方、終了命令がなされた場合は（ステップＳ１０５：Ｙｅｓ）、この表示制御処理を終了する。

このように、本実施形態に係るＨＭＤでは、参照用画像２００を表示部１に表示させて参照しつつ、ユーザ１００が所定の作業を行う場合、表示している参照用画像２００のうち、ユーザ１００の手１０３と手１０３の間の作業領域ｂにおける視認性を、スイッチ操作をすることなく自動的に低減して外景となる配線作業部の視認性を向上させることができるため、参照用画像２００が作業の邪魔になることがなくなり、作業効率が上がるとともに、作業の安全性を高めることも可能となる。

ここで、表示制御処理の変形例について説明する。図１０は変形例に係る表示制御処理を示す説明図である。

この変形例では、主コントローラ３１で、手１０３と手１０３との間に作業領域ｂが形成されていると判定した場合に、その作業領域ｂに重畳表示される参照用画像２００の輝度を無条件でゼロにするのではなく、判定した作業領域ｂの形態に応じて、当該作業領域ｂにおける参照用画像２００のユーザ１００に対する視認性の低減度合いを変更するようにしている。

作業領域ｂの形態については、例えば、その面積の大小とすることができ、検出した左右の手１０３，１０３間に形成される作業領域ｂの面積Ａが所定の第１比較面積Ａ１を超える第１の条件の場合（Ａ＞Ａ１）は第１レベルの低減度合いとし、作業領域ｂの面積Ａが第１比較面積Ａ１よりも小さく第２比較面積Ａ２よりも大きい第２の条件の場合（Ａ１≧Ａ＞Ａ２）は第２レベルの低減度合いとし、さらに、作業領域ｂの面積Ａが第２比較面積Ａ２よりも小さく第３比較面積Ａ３よりも大きい第３の条件の場合（Ａ２≧Ａ＞Ａ３）は第３レベルの低減度合いとする、というように、予め、視認性の低減度合いをテーブル化してフラッシュＲＯＭ４２に記憶しておくのである。

例えば、座標（３，Ｅ）にある端子と座標（５，Ｆ）にある端子とを結線するという作業の場合であって、図１０（ａ）に示すように、参照用画像２００には「（３，Ｅ）−（５，Ｆ）を赤色の短い線のプラグで接続する」といった作業指示書が表示されているとする。ユーザ１００は、左右の手１０３，１０３の間に形成される作業領域ｂに表示された作業指示書を見て接続対象となる端子を確認するため、左右の手１０３，１０３は離れた状態となっている。このとき、検出される左右の手１０３，１０３の位置は、画像表示領域ａの中の端近傍同士となる。このときの作業領域ｂは広範囲に及んでおり、これが第１の条件を満たす場合、ＣＰＵ４０は、参照用画像２００のユーザ１００に対する視認性の低減度合いは第１のレベルで低くする。したがって、ユーザ１００は、作業指示内容を明瞭に視認することができるため、赤色の短いバナナプラグ１１０で結線すべき端子の位置を確認することができる。

結線すべき端子の位置を作業指示書で確認したユーザ１００は、図１０（ｂ）に示すように、画像表示領域ａの中の端近傍同士の位置から、座標（３，Ｅ）にある端子と座標（５，Ｆ）にある端子に近づけるように左右の手１０３，１０３を移動する。したがって、手１０３同士の距離が縮まり、左右の手１０３，１０３の間に形成される作業領域ｂの面積も一回り小さくなる。このとき、ＣＰＵ４０が第２の条件を満たしていると判定した場合、参照用画像２００のユーザ１００に対する視認性の低減度合いを第２のレベルまで低くする。具体的には、作業指示書を形成する文字の輝度を略５０％程に低減する。この状態では、作業指示書の文字は作業の邪魔になりつつあるものの、その色や線は薄く細く表示されるため、ユーザ１００は、これをさほど邪魔に思うことがない。

そして、図１０（ｃ）に示すように、左右の手１０３，１０３に保持されたバナナプラグ１１０が座標（３，Ｅ）にある端子と座標（５，Ｆ）にある端子とに接近した状態では、手１０３同士の距離がより一層縮まり、左右の手１０３，１０３の間に形成される作業領域ｂの面積が第３の条件を満たしたとする。するとＣＰＵ４０は、参照用画像２００のユーザ１００に対する視認性の低減度合いをさらに第３のレベルまで低くする。具体的には、作業指示書を形成する文字の輝度を略８０％程に低減する。この状態では、作業指示書の文字の色や線は、殆ど視認できない程度まで極めて薄く細く表示されるため、ユーザ１００にとってこれらが邪魔になることがない。

このように、図１０で示した例では、作業領域ｂの面積が広ければ広いほど、参照用画像２００が作業の邪魔になる可能性が漸次低くなるように表示制御を行っている。

［３．他の実施形態］
ところで、上述してきた実施形態では、手検知手段として機能する主コントローラ３１が左右の手１０３，１０３を外接矩形で囲み、その囲んだ領域を作業領域ｂとして認識していたが、他の実施形態として、図１１に示すように、一方の手１０３の指１０４と他方の手１０３の指１０４との間に形成される領域を可変作業領域ｃとして判定することもできる。

その場合、図１１（ａ）に示す状態では、左右の人差し指１０４及び親指１０４の間に形成された可変作業領域ｃは、扁平で範囲が狭いものであるため、参照用画像２００の丸マーク２０１や線２０２は当該可変作業領域ｃからは外れることになり、そのまま表示された状態となる。

ユーザ１００が、かかる丸マーク２０１や線２０２が邪魔と感じ、この視認性を低下させたい場合、図１１（ｂ）に示すように、バナナプラグ１１０を保持している指１０４を変えて、例えば左右の人差し指１０４，１０４を立ててやれば、ＣＰＵ４０は、可変作業領域ｃが上下方向に拡大したことを検出するとともに、この可変作業領域ｃの中に丸マーク２０１や線２０２が納まったことを検知する。そうなれば、図示するように、ＣＰＵ４０は、可変作業領域ｃにおける丸マーク２０１や線２０２の輝度を低減してユーザ１００に対する視認性を低下させ、それによって、逆に外景（配線作業部などの作業対象物など）の視認性を向上させるのである。

このように、本実施形態では、ユーザ１００が作業をしながらであっても、指１０４を動かすことで、可変作業領域ｃの面積や形状を任意に変更することができ、可変作業領域ｃの形態を変化させることで参照用画像２００の視認性の低減度合いを変更できることになる。したがって、参照用画像２００の視認性の低減度合いのユーザ１００による変更自由度が高まるため、利便性が向上する。

上述してきた実施形態では、主コントローラ３１が左右の手１０３を検知した場合は、所定の条件に基づいて参照用画像２００の視認性が低減されることになるが、例外規定を設けることもできる。

例えば、主コントローラ３１で検知した手１０３の状態が所定条件を満たすときには、視認性の低減処理を中止するのである。このときの所定条件としては、例えば、主コントローラ３１で検知した一方の手１０３と他方の手１０３との間の距離が所定距離以上のときとすることができる。

このように、参照用画像２００の視認性を低減する処理に例外規定を設けることで、例えば、作業途中で、視認性を低下あるいは消去状態としている参照用画像２００を再表示させて、作業の確認などを行うことができる。

例えば、図１０を参照して説明した視認性の低減処理の場合であれば、図１０（ａ）の状態において、検出した左右の手１０３，１０３の間隔が所定距離以上のときには、視認性の低減を中止するのである。つまり、第１のレベルとして低減度合いをゼロとする場合も含むようにしておくのである。

すなわち、作業中に確認したいことが生じて参照用画像２００を再表示させたい場合、一方の手１０３を配線作業部内からはみ出すように移動すれば、参照用画像２００が即座に表示されることになる。

また、主コントローラ３１は、少なくとも左右いずれかの検知した手１０３の位置がＣＣＤカメラ２の焦点距離を含む所定距離範囲にあるときに所定条件を満たすと判定して視認性の低減を中止することもできる。

ここで、ＣＣＤカメラ２の焦点距離を含む所定距離範囲としては、ＣＣＤカメラ２の焦点距離を越えて、なおかつ配線作業部からの一定距離以上離れた範囲（例えばＣＣＤカメラ２までの距離内）とすれば、かかる範囲内に手１０３が位置している場合は、参照用画像２００の輝度を低減する視認性低減処理を中止するのである。

例えば、図１２（ａ）に示すように、ＣＣＤカメラ２の焦点距離内から、左の手１０３が外れた場合は、作業が行われていないと判断されるため、主コントローラ３１のＣＰＵ４０は、参照用画像２００の輝度を低減するような視認性低減処理を中止して、図１２（ｂ）に示すように、通常表示のように明瞭に表示するのである。

なお、手１０３がＣＣＤカメラ２の焦点距離内から外れたことは、以下のことから検出することができる。すなわち、手１０３がＣＣＤカメラ２の焦点距離内から外れた場合、手１０３はＣＣＤカメラ２に近づくことになるため、図１２（ｂ）に示すように、一方の手（ここでは左手１０３）を表す肌色の画素が集合した領域面積が拡大方向に変化する。ＣＰＵ４０は、その面積の変化を検出して、手１０３がＣＣＤカメラ２の焦点距離内から外れたと判定することができる。

この場合も、作業中に確認したいことが生じて参照用画像２００を再表示させたい場合、一方の手１０３を手前側（ユーザ１００の身体側）に移動すれば、参照用画像２００が即座に表示されることになる。

上述してきたように、本実施形態によれば、以下の効果が期待できる。

（１）ＨＭＤにおいて、ユーザ１００の視野範囲のうち少なくとも前記表示部１による画像表示領域ａを含む範囲を撮像するＣＣＤカメラ２（撮像手段）と、このＣＣＤカメラ２によって撮像された画像を解析して、前記ユーザ１００の手１０３を検知し、前記ユーザ１００が所定の作業を行うときに参照用として使用する参照用画像２００を表示部１（表示手段）により表示させる制御を行うとともに、検知した手１０３のうち一方の手１０３と他方の手１０３との間で形成される作業領域ｂを判定する制御部３０（手検知手段、表示制御手段、判定手段）を備え、前記表示部１により表示させる参照用画像２００のうち前記作業領域ｂのユーザ１００に対する視認性を低減して作業対象となる配線作業部（外景）の視認性を向上させたため、例えばスイッチ操作などをすることなく自動的に参照用画像２００の視認性を低減して配線作業部の視認性を向上させることができ、参照用画像２００が作業の邪魔になることがなくなる。したがって、作業効率が上がるとともに、作業の安全性を高めることが可能となる。

（２）制御部３０は、判定した作業領域ｂの参照用画像２００の輝度を低下させることによって前記視認性の低減を行うこととしたため、ＨＭＤとしての視認性の低減処理を容易に行うことができる。

（３）制御部３０は、判定した作業領域ｂの参照用画像２００の輝度をゼロにすることができるため、この場合は参照用画像２００を消去したことになり、邪魔となる参照用画像２００をユーザ１００に全く視認させないようにすることができる。

（４）制御部３０は、判定した作業領域ｂの形態に応じて、当該作業領域ｂの前記ユーザ１００に対する視認性の低減度合いを変更することとしたため、例えば作業領域ｂの面積などにより参照用画像２００の邪魔になる度合いも変わる場合があるが、その度合いに応じた視認性の低減が図れ、作業性と参照用画像２００としての参照性との両立を図ることも可能となる。

（５）制御部３０は、検知した一方の手１０３の指１０４と他方の手１０３の指１０４との間で形成される可変作業領域ｃを前記判定する領域とすることとしたため、ユーザ１００は、視認性を低下させたい参照用画像２００があれば、指１０４を動かすという簡単な動作でターゲットとなる参照用画像２００の視認性を低下させることが可能となる。

（６）制御部３０は、表示部１による表示制御を行っているときに前記一方の手１０３と前記他方の手１０３とを検知したときであっても、当該検知した手１０３の状態が所定条件を満たすときには、前記視認性の低減を中止することとしたため、例えば、作業を中断して参照用画像２００を再表示させて作業の確認などを行うことが可能となる。

制御部３０は、検知した前記一方の手１０３と前記他方の手１０３との間の距離が所定距離以上のときに前記所定条件を満たすと判定することとすれば、ユーザ１００は、手１０３を動かすという簡単な動作で、作業中においても簡単に参照用画像２００を再表示させることができる。

制御部３０は、検知した手１０３の位置がＣＣＤカメラ２の焦点距離を含む所定距離範囲にあるときに前記所定条件を満たすと判定することとすれば、ユーザ１００は、手１０３を手前側に動かすという簡単な動作で、作業中においても簡単に参照用画像２００を再表示させることができる。

以上、各実施形態を通して本発明を説明してきたが、本発明はこれらに限定されるものではない。参照用画像２００のうちユーザ１００に対する視認性を低減させる場合に輝度を低下させることとしたが、例えば、表示色を変えて視認性を低下させることもできる。また、上述した各効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施の形態に記載されたものに限定されるものではない。

１ 表示部（表示手段）
１ａ 投影ユニット
１ｂ 光源ユニット
２ ＣＣＤカメラ（撮像手段）
３ コントロールユニット
３０ 制御部（手検知手段、表示制御手段、判定手段）
３１ 主コントローラ
４０ ＣＰＵ
１００ ユーザ
１０３ 手
１０４ 指
２００ 参照用画像
４００ 外光
５００ 画像光
ａ 画像表示領域
ｂ 作業領域
ｃ 可変作業領域

Claims (6)

1. 画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、
   前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、
   前記撮像手段によって撮像された画像を解析して、前記ユーザの手を検知する手検知手段と、
   前記ユーザが所定の作業を行うときに参照用として使用する参照用画像を前記表示手段により表示させる制御を行う表示制御手段と、
   前記手検知手段で検知した手のうち一方の手と他方の手との間で形成される領域を判定する判定手段と、を備え、
   前記表示制御手段は、
   前記表示手段により表示させる参照用画像のうち前記判定手段で判定した領域の前記ユーザに対する視認性を低減して外景の視認性を向上させ、
   前記表示手段による表示制御を行っているときに、前記手検知手段で前記一方の手と前記他方の手とを検知したときであっても、当該検知した前記一方の手と前記他方の手との間の距離が所定距離以上のときに、前記視認性の低減を中止することを特徴とするヘッドマウントディスプレイ。
2. 画像情報に応じた画像光を外光と共にユーザの眼に入射させ、前記画像情報に応じた画像を外景と重ねて表示する表示手段を備えたヘッドマウントディスプレイにおいて、
   前記ユーザの視野範囲のうち少なくとも前記表示手段による表示領域を含む範囲を撮像する撮像手段と、
   前記撮像手段によって撮像された画像を解析して、前記ユーザの手を検知する手検知手段と、
   前記ユーザが所定の作業を行うときに参照用として使用する参照用画像を前記表示手段により表示させる制御を行う表示制御手段と、
   前記手検知手段で検知した手のうち一方の手と他方の手との間で形成される領域を判定する判定手段と、を備え、
   前記表示制御手段は、
   前記表示手段により表示させる参照用画像のうち前記判定手段で判定した領域の前記ユーザに対する視認性を低減して外景の視認性を向上させ、
   前記表示手段による表示制御を行っているときに、前記手検知手段で前記一方の手と前記他方の手とを検知したときであっても、前記手検知手段により検知した手の位置が前記撮像手段の焦点距離内から外れたときに、前記視認性の低減を中止することを特徴とするヘッドマウントディスプレイ。
3. 前記表示制御手段は、前記判定手段で判定した領域の画像の輝度を低下させることによって前記視認性の低減を行うことを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。
4. 前記表示制御手段は、前記判定手段で判定した領域の画像の輝度をゼロにすることを特徴とする請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイ。
5. 前記表示制御手段は、前記判定手段で判定した領域の形態に応じて、当該領域の前記ユーザに対する視認性の低減度合いを変更することを特徴とする請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイ。
6. 前記判定手段は、前記手検知手段で検知した前記一方の手の指と前記他方の手の指との間で形成される領域を前記判定する領域とすることを特徴とする請求項１〜５のいずれか１項に記載のヘッドマウントディスプレイ。

Images