JP6217244B2 - 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム - Google Patents

Description

本発明は、画像処理装置とこれを有する頭部装着型表示装置に関する。

現実環境にコンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）と呼ばれる技術が知られている。こうした拡張現実感の実現手法は、ヘッドマウントディスプレイ（Head Mounted Display）と称される頭部装着型表示装置にも適用されている他（例えば、特許文献１）、ヘッドマウントディスプレイ以外の既存のディスプレイに画像を表示する画像処理装置にも適用されている（例えば、非特許文献１等）。特許文献１のヘッドマウントディスプレイは、拡張現実感による仮想パネルを虚像として視認させ、ユーザーの手の位置や動きを仮想パネルと関連付けている。このため、ユーザーの手の認識技術が不可欠であり、こうした手認識は、非特許文献１の他、非特許文献２でも提案されている。

特開２０１０−１４６４８１号公報

Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking The international Journal of Virtual Reality, 2009, 8(2): 7-12 Robust Hand Tracking Using a Simple Color Classification Technique

上記の非特許文献では、カメラで撮像したユーザーの手を認識するに当たり、予め手の色を肌色のモデル色として規定しておき、その規定したモデル色にマッチングする色の領域を抜き出して、その抜き出した領域形状をユーザーの手としている。よって、ユーザーの手の色として規定した肌色のモデル色を増やすことで、或いはマッチングの判断値にある程度の幅を持たせることで、ユーザーの手の認識確度をある程度確保できる。しかしながら、ユーザーの手の撮像状況は、一律であるとは言えず、例えば、野外ではその時々の天気や日光の照射状況の変化、反射光或いは影の映り込み等により、ユーザーの手の周辺の照度が急変することが多々ある。こうした場合には、モデル色とのマッチングに不整合が起き、ユーザーの手の認識確度が低下し得る。屋内であれば、照明条件により同様のことが起き得る。また、ユーザーの手の色は、人種は元より個々人に応じて多種多様であるため、ユーザーの手の認識の基準となるモデル色を、認識不可のユーザーの手の色に合わせて、その都度、新たに規定する必要があり、利便性に化欠ける。しかも、モデル色を新たに規定したとしても、照度急変により認識確度の低下が起き得る。このため、拡張現実感（ＡＲ）を適用し得るヘッドマウントディスプレイや画像処理装置において、ユーザーの手の認識確度を高めることが要請されるに到った。この他、ユーザーの手の認識の汎用性の向上や、そのコスト低下等についても望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、画像処理装置が提供される。この画像処理装置は、ユーザーの正面を撮像するカメラの撮像領域に入り込んだ前記ユーザーの手を認識する画像処理装置であって、前記カメラが備える複数のデーターからなる撮像画像の入力を受け、該撮像画像における前記データーの差分を算出し、該データーの差分算出を前記撮像領域の少なくとも一部の領域において実行する差分算出部と、該差分算出部の算出した前記差分が所定の閾値以内の領域の形状を認識対象形状として捕捉する捕捉部と、該捕捉した認識対象形状の対比形状としての手の輪郭形状を予め記憶した記憶部と、前記捕捉部の捕捉した認識対象形状を前記記憶部の記憶した前記輪郭形状と対比し、その対比結果に基づいて、前記捕捉した認識対象形状を前記撮像領域に入り込んだ前記ユーザーの手と認識する認識部とを備える。

上記形態の画像処理装置では、ユーザーの手を認識するに当たり、ユーザーの手を撮像した撮像画像におけるデーターの差分が所定の閾値以内の領域の形状を認識対象形状として捕捉した上で、その捕捉した認識対象形状を記憶済みの手の輪郭形状と対比し、その対比結果に基づいてユーザーの手を認識する。よって、上記形態の画像処理装置によれば、ユーザーの手の認識の基準となるモデル色を手の色ごとに規定する必要がないことから、ユーザーの手を認識するに当たっての利便性を損なわない。また、撮像画像での色の差分は、撮像画像におけるデーターの差分として現れ、差分算出対象となるデーターには、ユーザーの手の周辺の照度が急変しても、こうした照度急変がほぼ等分に影響を及ぼすことから、撮像画像におけるデーターの差分は、ユーザーの手の周辺の照度の急変にさほど影響されない。よって、上記形態の画像処理装置によれば、照度急変による認識確度の低下を抑制でき、認識確度の向上を図ることができる。また、捕捉した認識対象形状が対比される手の輪郭形状は、撮像領域においてユーザーが何らかの目的によって採ることが予想される手の輪郭形状であればよいので、記憶しておく手の輪郭形状はある程度制限され、人種や個々のユーザーに応じて設定する必要はない。この点からも、上記形態の画像処理装置によれば、ユーザーの手を認識するに当たっての利便性を損なわない他、ユーザーの手の認識の汎用性の向上やコスト低下も可能となる。

（２）上記形態の画像処理装置において、前記差分算出部は、前記撮像画像の前記差分を、前記撮像画像を構成する隣接画素間の画素値の差分として算出し、前記捕捉部は、前記隣接画素間の画素値の差分が所定の閾値以内の領域の形状を前記認識対象形状として捕捉するようにしてもよい。こうすれば、ユーザーの手を認識するに当たり、ユーザーの手を撮像した隣接画素間の画素値の差分が所定の閾値以内の領域の形状を認識対象形状として捕捉した上で、その捕捉した認識対象形状を記憶済みの手の輪郭形状と対比し、その対比結果に基づいてユーザーの手を認識する。よって、上記形態の画像処理装置によれば、ユーザーの手の認識の基準となるモデル色を手の色ごとに規定する必要がないことから、ユーザーの手を認識するに当たっての利便性を損なわない。また、隣接画素間の色の差分は、隣接画素間の画素値の差分として現れ、この画素値の差分を算出する際のそれぞれの画素は、ユーザーの手の周辺の照度が急変しても、ほぼ等分にその影響を受けることから、上記したように、照度急変による認識確度の低下をより確実に抑制でき、認識確度の向上を図ることができる。また、上記したように記憶しておく手の輪郭形状はある程度制限され、人種や個々のユーザーに応じて設定する必要はないので、ユーザーの手を認識するに当たっての利便性を損なわない他、ユーザーの手の認識の汎用性の向上やコスト低下も可能となる。

（３）上記形態の画像処理装置において、前記差分算出部は、前記撮像領域を予め区画した区画領域ごとに定められた実行順に、前記区画領域での前記隣接画素の間の色の差分算出を実行するようにできる。こうすれば、次の利点がある。通常、ユーザーは利き手側の手をユーザーから見たカメラの撮像領域に入り込ませるので、右利きであれば撮像領域の右方側からか撮像領域の下方側から、左利きであれば撮像領域の左方側からか撮像領域の下方側から、手を入り込ませる。よって、この形態の画像処理装置によれば、区画領域ごとに定められた実行順を撮像領域への手の入り込み動作に対応付けることで、ユーザーの手を速やかに認識できる。

（４）上記形態の画像処理装置において、前記区画領域は、前記撮像領域の左端領域と右端領域と下端領域と残余の領域に区画され、前記差分算出部は、前記左端領域と前記右端領域と前記下端領域のいずれかの領域を最先に前記差分算出を実行するようにできる。こうすれば、ユーザーの手をより速やかに認識できる。

（５）上記いずれかの形態の画像処理装置において、前記差分算出部は、前記撮像画像を構成する画素データーを色変換して得た明度の前記隣接画素間の差分を、前記隣接画素間の画素値の差分として算出するようにできる。画像データーを色変換して得た明度は、撮像したユーザーの手の周辺の照度の影響を受ける輝度と、色変換の過程で分離される。よって、この形態の画像処理装置によれば、照度急変に伴う認識確度の低下を高い実効性で抑制でき、認識確度の更なる向上を図ることができる。

（６）本発明の他の形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、ユーザーが虚像を外景に重ねて視認可能な頭部装着型表示装置であって、前記虚像を表示するための画像データーを生成し、該生成した前記画像データーにより、前記虚像がユーザーの視野に表示されるように前記虚像を視認させる拡張現実処理部と、上記したいずれかの形態の画像処理装置を備えた上で、前記カメラをユーザーの手を撮像可能に備える。そして、画像処理装置の前記拡張現実処理部は、前記虚像を前記撮像領域に対応した表示域で視認させると共に、前記画像処理装置の前記認識部が前記撮像領域に入り込んだ前記ユーザーの手を認識すると、該認識された前記ユーザーの手の少なくとも一部部位に対応する手部位対応画像が組み込まれた前記虚像を表示するための前記画像データーを生成し、前記虚像の表示域において前記手部位対応画像が占める位置を、前記撮像領域において前記一部部位が占める位置に応じて更新するようにできる。この形態の頭部装着型表示装置によれば、その有する画像処理装置にてユーザーの手を認識した上で、ユーザーに虚像を手部位対応画像を含んで視認させるので、ユーザーには、ユーザーの手と虚像における手部位対応画像との対応を認識させることができる。しかも、ユーザーは、自身の手を移動させることで、虚像において手に追従して移動する手部位対応画像を視認できるので、ユーザーの手を、何らかのコマンド動作に適用することも可能となり、利便性が高まる。

（７）上記形態の頭部装着型表示装置において、前記拡張現実処理部は、前記手部位対応画像を含む前記虚像が前記カメラの撮像領域に入り込んだ前記ユーザーの手を透過して表示されるよう、前記画像データーを生成するようにできる。この形態の頭部装着型表示装置によれば、ユーザーには、ユーザーの手を虚像に重ねて認識させるので、ユーザーの手の動作に対する手部位対応画像の認識を高めることができる。

（８）上記いずれかの形態の頭部装着型表示装置において、ユーザーの頭部の動きを検知する頭部挙動検知センサーを備え、前記画像処理装置の前記差分算出部は、前記頭部挙動検知センサーの検知した頭部の動きがキャンセルされた状態で、前記カメラが備える画素ごとの撮像データーの入力を受けるようにできる。こうすれば、隣接画素の間の色の差分が所定の閾値以内の認識対象形状をユーザーの頭部の動きに左右されずに正確に捕捉できるので、ユーザーの手の認識精度が高まる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、記憶部と、差分算出部と、認識部とを備える画像処理装置であり、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置においても実現可能である。また、本発明は、種々の態様で実現することが可能であり、例えば、画像処理装置および頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置１００（ヘッドマウントディスプレイ１００）の概略構成を示す説明図である。 ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。 右表示駆動部２２における画像光生成部によって画像光が射出される様子を示す説明図である。 ＡＲ処理部１４２にて実行される拡張現実処理により使用者に認識される虚像の一例を示す説明図である。 画像処理部１６０やＡＲ処理部１４２等を含むＣＰＵ１４０にて実行される手認識処理の概要を説明する説明図である。 手認識処理の手順を示すフローチャートである。 撮像データーの入力の状況を説明する説明図である。 撮像領域ＣＲの一部部位の隣接画素の間の差分算出の様子を模式的に示す説明図である。 撮像領域ＣＲの全域において差分算出とそのグループ化を行った結果を概略的に示す説明図である。 記憶部１２０の手輪郭形状記憶部１２２に記憶済みの手輪郭の概略を示す説明図である。 認識したユーザーの手Ｙｈの指先に対応するポインターＰを虚像ＶＩに組み込んだ様子を概略的に示す説明図である。 他の実施形態のヘッドマウントディスプレイ１００にて行う手認識処理の様子を概略的に示す説明図である。 変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。 ユーザーの手を認識する画像処理装置の概略を示す説明図である。

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、以下、ヘッドマウントディスプレイ１００）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、ユーザーが、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

ヘッドマウントディスプレイ１００は、ユーザーの頭部に装着された状態においてユーザーに虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、ユーザーの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、ユーザーが画像表示部２０を装着した際にユーザーの右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、ユーザーが画像表示部２０を装着した際のユーザーの眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、ユーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、ユーザーが画像表示部２０を装着した際のユーザーの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、ユーザーの頭部に画像表示部２０を保持する。

右表示駆動部２２は、右保持部２１の内側、換言すれば、ユーザーが画像表示部２０を装着した際のユーザーの頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図２参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図２参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光をユーザーの眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（ユーザーの眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、ユーザーの眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

カメラ６１は、ユーザーが画像表示部２０を装着した際のユーザーの眉間に対応する位置に配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、ヘッドマウントディスプレイ１００を装着した状態におけるユーザーの視界方向の外景（外部の景色）を撮像し、外景画像を取得する。カメラ６１はいわゆる可視光カメラであって、例えばＣＣＤ（ Charge Coupled Device ）やＣＭＯＳ（ Complementary Metal-Oxide Semiconductor ）等の撮像素子を備える。このカメラ６１により取得される外景画像は、物体から放射される可視光から物体の形状を表す画像である。本実施形態におけるカメラ６１は単眼カメラであるが、ステレオカメラとしてもよい。また、カメラ６１の配設位置は、ユーザーの眉間に限らず、画像表示部２０の端部ＥＬや端部ＥＲであってもよい。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、ヘッドマウントディスプレイ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ヘッドマウントディスプレイ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイ１００の電源の状態を切り替える。

図２はヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０は、手輪郭形状記憶部１２２を含んでいる。詳細は後述する。電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０、ＡＲ処理部１４２として機能する。ＡＲ処理部１４２は、ＯＳ１５０や、特定のアプリケーションからの処理開始要求をトリガーとして、拡張現実感を実現させるための処理（以降、「拡張現実処理」とも呼ぶ。）を実行する。詳細は後述する。なお、ＡＲ処理部１４２は、特許請求の範囲における「拡張現実処理部」に相当する。

画像処理部１６０は、インターフェイス１８０を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データーＤａｔａとを生成・送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデーターの画像データーＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを生成・送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データーＤａｔａに対して、解像度変換処理や、輝度・彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データーＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

画像処理部１６０は、上記した処理の他、後述のユーザーの手認識にも関与すべく、手検出処理部１６２を備える。画像処理部１６０の手検出処理部１６２は、具体的には、カメラ６１の各画素にて得られた撮像データーの入力を受け、その撮像データーで表される色の隣接画素の間の差分算出や、隣接画素の間の色の差分が所定の閾値以内の撮像データーの並びで形成される形状の捕捉、その捕捉した形状がユーザーの手であるかの判定等を、後述する図６の手認識処理の手順に沿って行う。よって、この手検出処理部１６２は、図６の手認識処理と相まって、特許請求の範囲における「差分算出部」、「捕捉部」および「認識部」を構築する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。また、表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、９軸センサー６６とを備えている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０がユーザーの頭部に装着されているときには、ユーザーの頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データーＤａｔａ１とに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

図３は右表示駆動部２２における画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつユーザーの右眼ＲＥに導く。光学像表示部は、画像光を用いてユーザーの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。右表示駆動部２２と左表示駆動部２４とは対になっており、左表示駆動部２４の各部は、右表示駆動部２２で説明した上記の各部と同様の構成および機能を有するので、その説明は省略する。

図４はＡＲ処理部１４２にて実行される拡張現実処理により使用者に認識される虚像の一例を示す説明図である。上述のようにして、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認することができる。図４に示すように、ヘッドマウントディスプレイ１００の使用者の視野ＶＲ内には虚像ＶＩが表示される。また、使用者の視野ＶＲのうち、虚像ＶＩが表示された部分については、使用者は、光学像表示部の虚像ＶＩと、この虚像ＶＩを透過するようにして外景ＳＣを虚像ＶＩの背後に視認する。使用者の視野ＶＲのうち、虚像ＶＩが表示された部分以外については、使用者は、光学像表示部を透過して、外景ＳＣを直接見ることができる。このように虚像ＶＩを外景ＳＣに重ねて表示するための画像データーは、ヘッドマウントディスプレイ１００のＡＲ処理部１４２にてなされる拡張現実処理により、ユーザーが知覚する外景ＳＣを拡張するための付加提示用の情報を表す画像データーとして生成される。そして、ＡＲ処理部１４２にて生成された画像データーが、右ＬＣＤ制御部２１１等に通信されて、虚像ＶＩは、ユーザーの正面領域に表示される。なお、「外景ＳＣを拡張する」とは、ユーザーが眼にする現実環境、すなわち外景ＳＣに対して情報を付加、削除、強調、減衰させ、ユーザーから見た現実世界たる外景ＳＣを拡張することを意味する。画像データー生成を図る拡張現実処理の際、ＡＲ処理部１４２は、外景ＳＣに付加提示用の情報を融像させるために、異なる右眼用画像データーＤａｔａ１と左眼用画像データーＤａｔａ２とを生成する。「外景に付加提示用の情報を融像させる」とは、ユーザーが実際目にする外景ＳＣのうちの、ユーザーから所定の距離だけ離れた位置に対して、付加提示用の情報が存在するかのような感覚をユーザーに対して与える虚像ＶＩを表示することを意味する。例えば、図４においてユーザーに視認される虚像ＶＩがリンゴであるとすると、このリンゴを表す画像データーが、外景ＳＣに含まれる現実の道の上に重なるような画像データーとして拡張現実処理により生成され、この生成された画像データーに基づく画像が、虚像ＶＩとして表示されることになる。これにより、使用者は、あたかも何もない道の上に、リンゴが落ちているような感覚を得ることができるであり、ＡＲ処理部１４２は、図４に示した虚像ＶＩやリンゴの虚像ＶＩを、現実の外景ＳＣにユーザーから所定の距離だけ離れて表示するための右眼用、左眼用の上記データーを拡張現実処理により生成し、これを出力する。

Ａ−２．手認識処理:
図５は画像処理部１６０やＡＲ処理部１４２等を含む制御部１０にて実行される手認識処理の概要を説明する説明図である。ヘッドマウントディスプレイ１００は、図１に示すように、カメラ６１を画像表示部２０に備え、当該カメラは眉間に位置することから、図５に示すように、カメラ６１の撮像領域ＣＲは、視野ＶＲのほぼ中央の情報領域を占める。ユーザーは、この撮像領域ＣＲが占める位置をカメラ位置から概ね知覚しているので、自身の手Ｙｈを自らの意志で撮像領域ＣＲに入り込ませる。このようにユーザーの手Ｙｈが撮像領域ＣＲに入り込むと、カメラ６１は、外景ＳＣに手Ｙｈが含まれた画像を撮像し、個々の画素に対応した撮像データーをＣＰＵ１４０に出力する。図５に示す外景ＳＣであれば、ユーザーが視点を変えることで、撮像領域ＣＲには、飛んでいる鳥が入り込んだり、道路を走行する車両なども入り込む。また、例えば、ユーザーが室内でヘッドマウントディスプレイ１００を使用していれば、撮像領域ＣＲには、テーブルや椅子、室内犬や猫、友人等の顔なども入り込むことがあり、カメラ６１は、これらが含まれた画像を撮像し、個々の画素に対応した撮像データーをＣＰＵ１４０に出力する。本実施形態のヘッドマウントディスプレイ１００は、撮像領域ＣＲに入り込んだ物がユーザーの手Ｙｈであるかを、次のようにして認識する。図６は手認識処理の手順を示すフローチャートである。

この手認識処理は、繰り返し実行されており、画像処理部１６０は、まず、カメラ６１が備える画素ごとの撮像データーの入力を受ける（ステップＳ１００）。図７は撮像データーの入力の状況を説明する説明図である。図７に示すように、本実施形態では、撮像領域ＣＲを縦横に４分割した分割領域ＣＲ１１〜ＣＲ２２をデーター入力単位とした。その上で、分割領域ごとのデーター入力は、それぞれの分割領域の左上の画素をデーター入力始点とし、分割領域ごとに横方向に走査しつつ、分割領域の右下の画素をデーター入力終点とした。こうしたデーター走査入力を、分割領域ＣＲ１１→ＣＲ１２→ＣＲ２１→ＣＲ２２の順に実行する。画像処理部１６０は、撮像データーの走査入力を受ける際、９軸センサー６６のセンサー出力に基づいて、ユーザーの頭部の傾きやひねり等の頭部の動きをキャンセルする。画像処理部１６０は、画素の並びに沿った分割領域ごとの撮像データーの走査入力を受けながら、その入力を受けた撮像データーで表される色の隣接画素の間の画素値の差分を算出する（ステップＳ１０２）。図８は撮像領域ＣＲの一部部位の隣接画素の間の画素値の差分算出の様子を模式的に示す説明図である。

こうした隣接画素の間の画素値の差分算出に続き、画像処理部１６０は、算出した画素値の差分が所定の閾値以内の撮像データーの並びをグループ化する（ステップＳ１０４）。図８では、画素列Ｌｉにおいて、ユーザーの手Ｙｈの指が占める範囲において隣接した画素の画素値の算出差分が所定の閾値以内である故にグループ化される。画素列Ｌｉ以外の画素列でも同様のグループ化がなされる。隣接画素の間の色の差分が所定の閾値以内であることは、隣接した画素で撮像した色は閾値範囲で同じ色であることと同義であるので、ステップＳ１０４のグループ化により、同色系統の領域が他の領域と区別されることになる。図８では、ユーザーの手Ｙｈの領域が他の領域と区別され、その輪郭形状が捕捉される。また、図８においてユーザーの手Ｙｈ以外の領域についても隣接画素の間の画素値の差分算出が行われ、算出した差分が所定の閾値以内の撮像データーの並びがグループ化される。図９は撮像領域ＣＲの全域において差分算出とそのグループ化を行った結果を概略的に示す説明図である。この図９に示すように、例えば、手Ｙｈの左右や上方において、仮に同じような色の雲や山並み木々が撮像されていれば、この雲や山並み、木々にあっても、算出した差分が所定の閾値以内の撮像データーの並びでグループ化される。本実施形態では、上記したグループ化により捕捉した輪郭形状が、カメラ６１により撮像され得るユーザーの手Ｙｈの大きさに比して小さい形状であれば、後述の形状対比の対象から除外した。これにより、形状対比に要する演算負荷を軽減できる。

次いで、画像処理部１６０は、前回の手認識処理の際にステップＳ１０４でグループ化して捕捉した輪郭と、今回の手認識処理のステップＳ１０４でグループ化して捕捉した輪郭とを対比し、捕捉済み輪郭が移動したか、或いは輪郭形状に変化があったかを判別する（ステップＳ１０６）。例えば、図８において、ユーザーが図示する指の形のまま手Ｙｈを動かしたり、ユーザーが親指を折り込んだりすると、捕捉済み輪郭の移動や輪郭形状変化があったとして、画像処理部１６０は、記憶部１２０の手輪郭形状記憶部１２２から、対比形状として記憶済みの手輪郭を読み込む（ステップＳ１０８）。その一方、捕捉済み輪郭の移動や輪郭形状変化がないと、捕捉した輪郭は、図８における雲や山並み、木々、或いは室内使用時におけるや室内のテーブルや椅子等である可能性が高いので、ステップＳ１０８以降の手認識が無用であるとして、一旦、本ルーチンを終了する。この場合、ユーザーが撮像領域ＣＲに手Ｙｈを入り込ませた後にその手を動かさない場合も有り得るが、ユーザーの手Ｙｈは撮像領域ＣＲへの入り込み時点で動きがあるので、ステップＳ１０６では肯定判別され、続くステップＳ１０８に移行する。なお、ステップＳ１０６の判別処理を省略し、ステップＳ１０４での輪郭捕捉に続いてステップＳ１０８の対比形状たる記憶済み手輪郭の読込を実行してもよい。

図１０は記憶部１２０の手輪郭形状記憶部１２２に対比形状として記憶済みの手輪郭の概略を示す説明図である。図示するように、手輪郭形状記憶部１２２には、親指を開いて人差し指を伸ばした手Ｙｈの輪郭を表すデーター、人差し指だけを伸ばして他の指を折り曲げた手Ｙｈの輪郭を表すデーター、人差し指と中指を伸ばした手Ｙｈの輪郭を表すデーター等が記憶されている。これら輪郭は、カメラ６１の撮像領域ＣＲに入り込ませる際にユーザーが予め取り得る手Ｙｈの形状を想定して規定されてデーター化され、予め手輪郭形状記憶部１２２に記憶されている。画像処理部１６０は、ステップＳ１０６に続くステップＳ１０８において図１０の手Ｙｈの輪郭データーを読み込み、その後、ステップＳ１０４で捕捉した輪郭を図１０の手Ｙｈの輪郭データーに対応する輪郭と対比し、その一致・不一致を判定する（ステップＳ１１０）。画像処理部１６０は、この判定に、凹凸の状況を対比するいわゆる凹凸対比手法等の手法を用い、輪郭が一致したと判定すると、その判定した輪郭をユーザーの曲げた手Ｙｈと認識する（ステップＳ１１２）。その後、画像処理部１６０は、ＡＲ処理部１４２等と協働して、ステップＳ１１２で認識したユーザーの手Ｙｈの一部部位、例えば指先に対応するポインターＰが虚像ＶＩに組み込まれるように、虚像ＶＩの生成用の画像データーを修正し、その修正した画像データーによりポインターＰを含む虚像ＶＩをユーザーに視認させる（ステップＳ１１４）。図１１は認識したユーザーの手Ｙｈの指先に対応するポインターＰを虚像ＶＩに組み込んだ様子を概略的に示す説明図である。なお、虚像ＶＩにおけるポインターＰが対応するユーザーの指の部位は、指先に限らず、ステップＳ１１２で認識したユーザーの手Ｙｈの指の付け根や伸びた指の中程としてもよい。

画像処理部１６０は、撮像領域ＣＲに占める手Ｙｈの指先の座標を、カメラ６１から出力される撮像データーに対応した画素の並びから算出し、この撮像領域ＣＲを虚像ＶＩの表示矩形に対応して変形した際の指先座標を、ポインターＰの座標として換算算出する。そして、虚像ＶＩにおけるこの換算座標にポインターＰが表示されるよう、ＡＲ処理部１４２は、虚像ＶＩの生成用の画像データーを再生成（修正）して、図１１に示すようにポインターＰを含む虚像ＶＩをユーザーに視認させる。その後、ユーザーの手Ｙｈが撮像領域ＣＲの範囲内で移動すれば、画像処理部１６０は、その都度の手Ｙｈの指先座標の算出と、虚像ＶＩにおけるポインター座標の換算算出とを行うので、これを受けて、ＡＲ処理部１４２は、手Ｙｈの指先の動きに追従して虚像ＶＩの表示用の画像データーを更新するので、ポインターＰを虚像ＶＩで動かしつつ、その虚像ＶＩをユーザーに視認させる。

以上説明した構成を備える本実施形態のヘッドマウントディスプレイ１００は、図１に示すように、これを頭部に装着したユーザーの正面領域を撮像するカメラ６１の撮像領域ＣＲに入り込んだユーザーの手Ｙｈを認識するに当たり、予め、手輪郭形状記憶部１２２に、撮像され得る手Ｙｈの輪郭形状を記憶する。その上で、本実施形態のヘッドマウントディスプレイ１００は、カメラ６１が備える画素ごとの撮像データーの入力を受け（ステップＳ１００）、撮像データーで表される色の隣接画素の間の差分算出を行い（ステップＳ１０２）、その算出差分が所定の閾値以内で同色系統の撮像データーの並びをグループ化する（ステップＳ１０４：図８〜図９）。そして、本実施形態のヘッドマウントディスプレイ１００は、グループ化を経て捕捉した輪郭を手輪郭形状記憶部１２２に記憶済みの手Ｙｈの輪郭形状と対比し（ステップＳ１１０）、輪郭が一致していれば、グループ化を経て捕捉した輪郭を撮像領域ＣＲに入り込んだユーザーの手Ｙｈと認識する。

この結果、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザーの手の認識の基準となるモデル色を手の色ごとに規定する必要がないことから、ユーザーの手Ｙｈを認識するに当たっての利便性を損なわない。また、隣接画素の間の色の差分を算出する際のそれぞれの画素は、ユーザーの手の周辺の照度が急変しても、ほぼ等分にその影響を受けることから、隣接画素の間の色の差分は、ユーザーの手Ｙｈの周辺の照度の急変にさほど影響されない。よって、本実施形態のヘッドマウントディスプレイ１００によれば、照度急変による手の認識確度の低下を抑制できると共に、認識確度を高めることができる。また、手輪郭形状記憶部１２２に記憶する手の輪郭形状は、撮像領域ＣＲにおいてユーザーが何らかの目的によって採ることが予想される手の輪郭形状であればよいので、記憶しておく手の輪郭形状はある程度制限され、人種や個々のユーザーに応じて設定する必要はない。この点からも、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザーの手Ｙｈを認識するに当たっての利便性を損なわない他、ユーザーの手Ｙｈの認識の汎用性が高まると共に、コスト低下も可能となる。

本実施形態のヘッドマウントディスプレイ１００は、グループ化を経て捕捉した輪郭を手輪郭形状記憶部１２２に記憶済みの手Ｙｈの輪郭形状と対比するに当たり、捕捉済み輪郭が所定の形状変化範囲内のまま移動したり、捕捉済み輪郭が形状変化を起こすと（ステップＳ１０６：肯定判定）、捕捉済み輪郭と記憶済みの手の輪郭との対比を実行する。こうすることで、次の利点がある。カメラがユーザーの正面領域を撮像する場合、カメラには、ユーザーの手以外のものも撮像され得る。例えば、ユーザーに正対するカメラがユーザーの正面領域を撮像する際には、ユーザーの手Ｙｈのみならず、ユーザーの顔面や上半身、或いはユーザー後方の室内のテーブルや椅子等のいわゆる静止物も撮像される。この他、画像表示部２０に組み込まれたカメラ６１は、例えば、図８における雲や山並み、木々、或いは室内使用時におけるや室内のテーブルや椅子等の静止物を撮像する。これら静止物は、輪郭の移動や輪郭形状の変化を起こさない。これに対し、ユーザーは、通常、何らかの目的を持って撮像領域ＣＲに手Ｙｈを入り込ませることから、手Ｙｈを、その姿勢をさほど変化させることなく、撮像領域において移動させたり、手Ｙの形を変えたりする。よって、図８における雲や山並み、木々、或いは室内使用時におけるや室内のテーブルや椅子等のいわゆる静止物が捕捉されても、これらについては、輪郭の移動や輪郭形状の変化が起きないので、静止物について補足した輪郭を、記憶済みの手の輪郭との対比から除外できる。よって、本実施形態のヘッドマウントディスプレイ１００によれば、手認識に要する演算処理の負荷を軽減できる。

本実施形態のヘッドマウントディスプレイ１００は、虚像ＶＩを外景ＳＣに重ねて表示するための画像データーをＡＲ処理部１４２にて生成し、その生成した画像データーにより、虚像ＶＩがユーザーの正面領域に表示されるように虚像ＶＩを外景ＳＣに重ねて視認させる。その上で、本実施形態のヘッドマウントディスプレイ１００は、撮像領域ＣＲに入り込んだユーザーの手Ｙｈを既述したように認識すると、その認識したユーザーの手Ｙｈの指先に対応するポインターＰが虚像ＶＩに組み込まれるように、画像データーを修正して、虚像ＶＩをポインターＰを含んで視認させる（ステップＳ１１４：図１１）。よって、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザーには、ユーザー自身の手Ｙｈと虚像ＶＩにおけるポインターＰとの対応を認識させることができる。

本実施形態のヘッドマウントディスプレイ１００は、ポインターＰを含む虚像ＶＩが表示された部分については、ユーザーに、虚像ＶＩを透過するようにして外景ＳＣを虚像ＶＩの背後に視認させる。よって、虚像ＶＩについては、これを、カメラ６１の撮像領域ＣＲに入り込んだユーザーの手Ｙｈを透過して表示されるよう、ユーザーに視認させる。この結果、本実施形態のヘッドマウントディスプレイ１００によれば、ユーザーには、ユーザーの手Ｙｈを虚像ＶＩに重ねて認識させるので、ユーザーの手Ｙｈの動作に対するポインターＰの認識を高めることができる。

本実施形態のヘッドマウントディスプレイ１００は、認識したユーザーの手Ｙｈの指先が撮像領域ＣＲにおいて占める座標を演算しつつ、その座標を虚像ＶＩにおけるポインターＰの座標に換算し、ポインターＰを含む虚像ＶＩをユーザーに視認させる（ステップＳ１１４：図１１）。よって、本実施形態のヘッドマウントディスプレイ１００によれば、手Ｙｈの動きに追従してポインターＰが虚像ＶＩにおいて移動させて、ユーザーには、自身の手Ｙｈの動きをポインターＰの動きに関連付けて認識させるので、ユーザーの手Ｙｈを、何らかのコマンド動作に適用することも可能となり、利便性が高まる。

本実施形態のヘッドマウントディスプレイ１００は、撮像データーの走査入力を受ける際、９軸センサー６６のセンサー出力に基づいてユーザーの頭部の動きをキャンセルする。よって、本実施形態のヘッドマウントディスプレイ１００によれば、同色系統としてグループ化した輪郭をユーザーの頭部の動きに左右されずに正確に捕捉できるので、ユーザーの手の認識精度が高まる。

Ａ−３．他の実施形態:
ヘッドマウントディスプレイ１００は、次のような実施形態とできる。図１２は他の実施形態のヘッドマウントディスプレイ１００にて行う手認識処理の様子を概略的に示す説明図である。この実施形態では、ステップＳ１００での撮像データーの走査入力とこれに続くステップＳ１０２での差分算出とを、撮像領域ＣＲを予め区画した区画領域ごとに定められた実行順に行う。つまり、図１２に示すように、撮像領域ＣＲを、左端領域ＣＲＬと右端領域ＣＲＲと下端領域ＣＲＤと残余領域ＣＲＵに予め区画し、各分割領域ごとの横方向のデーター走査入力を、右端領域ＣＲＲ→下端領域ＣＲＤ→左端領域ＣＲＬの順に実行する。通常、ユーザーは利き手側の手Ｙｈをユーザーから見たカメラの撮像領域ＣＲに入り込ませるので、右利きであれば右端領域ＣＲＲからか下端領域ＣＲＤから、撮像領域ＣＲに手Ｙｈを入り込ませる。先に説明した実施形態では、指先をポインターＰに合致させるので、左利きのユーザーにあっても、右利きと同様な手の動作を採ると想定される。よって、撮像領域ＣＲを左端領域ＣＲＬと右端領域ＣＲＲと下端領域ＣＲＤと残余領域ＣＲＵに予め区画し、上記の順にデーター走査入力を図るこの形態のヘッドマウントディスプレイ１００によれば、区画領域ごとに定められた実行順を撮像領域ＣＲへの手Ｙｈの入り込み動作に対応付けることで、例えば、右端領域ＣＲＲにユーザーの手Ｙｈが入り込んだ時点でその手Ｙｈを速やかに認識でき、その後は、全領域でのデーター入力により手Ｙｈの挙動をポインターＰの動作に対応させることができる。この実施形態において、データー走査入力を、下端領域ＣＲＤ→右端領域ＣＲＲ→左端領域ＣＲＬの順に実行するようにしてもよい。

ヘッドマウントディスプレイ１００の他の実施形態としては、ステップＳ１００で入力を受けるＲＧＢ系の撮像データーを、色を色相(hue)と彩度(saturation)と明度(value)で表すＨＳＶ表色系に色変換する。そして、続くステップＳ１０２での隣接画素の間の色の差分算出を、色変換により得た明度の隣接画素の間の差分算出に代える。撮像データーを色変換して得た明度は、撮像したユーザーの手Ｙｈの周辺の照度の影響を受ける輝度と、ＨＳＶ表色系への色変換の過程で分離されるので、ＨＳＶ表色系への色変換を経て得た明度を用いる実施形態のヘッドマウントディスプレイ１００によれば、照度急変に伴う認識確度の低下をより高い実効性で抑制でき、手Ｙｈの認識確度をより高めることができる。

Ｂ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。

上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図２に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線の信号伝送路を介した接続により接続されていてもよい。

例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ（ユーザーの足により操作するスイッチ）による操作入力を取得してもよい。また、フットスイッチや視線による操作入力を取得可能とすれば、ユーザーが手を離すことが困難である作業においても、入力情報取得部は、ユーザーからの操作入力を取得することができる。

例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、ユーザーがヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。

図１３は変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図１３（Ａ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備える点と、左光学像表示部２８に代えて左光学像表示部２８ａを備える点である。右光学像表示部２６ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの右眼の斜め上に配置されている。同様に、左光学像表示部２８ａは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの左眼の斜め上に配置されている。図１３（Ｂ）の例の場合、図１に示したヘッドマウントディスプレイ１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点である。右光学像表示部２６ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの右眼の斜め下に配置されている。左光学像表示部２８ｂは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時におけるユーザーの左眼の斜め下に配置されている。このように、光学像表示部はユーザーの眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部がユーザーの眼の一部分のみを覆う態様、換言すれば、光学像表示部がユーザーの眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。

例えば、画像処理部、表示制御部、ＡＲ処理部、音声処理部等の機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。

また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

例えば、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

例えば、上記実施形態では、画像光生成部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部とを用いて構成されるものとした。しかし、上記の態様はあくまで例示である。画像光生成部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・他の変形例：
ＡＲ処理部は、カメラによって取得されたユーザーの視界方向の外景画像を、画素視差角によりパターンマッチングさせて、拡張現実処理を実現してもよい。具体的には、画像表示部は、右眼用カメラと、左眼用カメラとを備える構成とする。右眼用カメラは、画像表示部のユーザーの右眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。左眼用カメラは、画像表示部のユーザーの左眼に対応する位置に配置され、画像表示部の表側方向の外景を撮像可能なカメラである。ＡＲ処理部は、右眼用カメラにより撮像された画像に含まれる対象物体（付加提示用の情報を近傍に表示させる対象となる物体）と、左眼用カメラにより撮像された画像に含まれる対象物体との間のずれ量を求め、当該ずれ量と画素視差角とを用いて、拡張現実処理における虚像ＶＩの表示箇所たる「目標距離」を決定してもよい。

ＡＲ処理部は、上記の拡張現実処理を、所定の条件が満足される場合に限って実行してもよい。例えば、画像表示部に対してユーザーの視線の方向を検出可能な構成を備えたうえで、ＡＲ処理部は、検出された視線の方向が以下の条件のうちの少なくともいずれか１つを満たす場合に限って、上記の拡張現実処理を実行してもよい。
・水平約２００°、垂直約１２５°（例えば、下方向７５°、上方向５０°）の視野角の範囲内であるとき。
・情報受容能力に優れる有効視野である、水平約３０°、垂直約２０°の範囲内であるとき。
・注視点が迅速に安定して見える安定注視野である、水平６０°〜９０°、垂直４５°〜７０°の範囲内であるとき。
・映像に誘発される自己運動感覚（ベクション）の誘発が起こりはじめる水平約２０°から、自己運動感覚が飽和する約１１０°の範囲内であるとき。

この他、拡張現実処理を行わない手認識構成の変形例とすることも可能である。図１４はユーザーの手を認識する画像処理装置の概略を示す説明図である。図示するように、この変形例では、パーソナルコンピューターＰＣを用い、内蔵のカメラ６１を、既述した実施形態におけるヘッドマウントディスプレイ１００のカメラ６１とする。なお、コンピューターと別体のカメラをパーソナルコンピューターＰＣと接続して構成してもよい。この変形例では、パーソナルコンピューターＰＣは、図２に示した制御部１０を、拡張現実処理に関与する構成を除外して備える。パーソナルコンピューターＰＣからなる画像処理装置は、パーソナルコンピューターＰＣの前に位置するユーザーの正面領域をカメラ６１にて撮像し、その撮像領域に入り込んだユーザーの手Ｙｈを、既述したヘッドマウントディスプレイ１００と同様に認識する。

また、上記の実施形態のヘッドマウントディスプレイ１００では、撮像領域ＣＲに入り込んだユーザーの手Ｙｈを認識するに当たり、カメラ６１が備える画素ごとに入力を受けた隣接画素の間の画素値の差分算出を行ったが（ステップＳ１０２）、撮像領域ＣＲに入り込んで撮像されるに到った何らかの輪郭捕捉対象物の撮像画像を含む近傍領域について、隣接画素の間の画素値の差分算出を行ったり、この近傍領域を占める画素から得られる色についてのデーターの差分算出を行うようにしてもよい。上記の近傍領域を占める画素についての差分演算とすれば、図８に示すように映り込んだ雲や山並み、木々等の静止物については、差分演算を経た輪郭形状の捕捉対象から除外できるので、その分、演算負荷が軽減する。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部（コントローラー）
１２…点灯部
１４…タッチパッド
１６…十字キー
１８…電源スイッチ
２０…画像表示部
２０ａ、２０ｂ…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２６ａ、２６ｂ…右光学像表示部
２８…左光学像表示部
２８ａ、２８ｂ…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
６１…カメラ
１００…ヘッドマウントディスプレイ（頭部装着型表示装置）
１１０…入力情報取得部
１２０…記憶部
１２２…手輪郭形状記憶部
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１４２…ＡＲ処理部（拡張現実処理部）
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…右眼用画像データー
Ｄａｔａ２…左眼用画像データー
ＣＲ…撮像領域
ＣＲ１１〜ＣＲ２２…分割領域
ＣＲＤ…下端領域
ＣＲＬ…左端領域
ＣＲＲ…右端領域
ＣＲＵ…残余領域
Ｐ…ポインター
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＲＥ…右眼
ＶＩ…虚像
ＥＬ…端部
ＡＰ…先端部
ＥＲ…端部
ＶＲ…視野
Ｙｈ…手
Ｌｉ…画素列

Claims (8)

1. ユーザーの正面を撮像するカメラの撮像領域に入り込んだ前記ユーザーの手を認識する画像処理装置であって、
   前記カメラが備える複数のデーターからなる撮像画像の入力を受け、該撮像画像における前記データーの差分を算出し、該データーの差分算出を前記撮像領域の少なくとも一部の領域において実行する差分算出部と、
   該差分算出部の算出した前記差分が所定の閾値以内の領域の形状を認識対象形状として捕捉する捕捉部と、
   該捕捉した認識対象形状の対比形状としての手の輪郭形状を予め記憶した記憶部と、
   前記捕捉部の捕捉した認識対象形状を前記記憶部の記憶した前記輪郭形状と対比し、その対比結果に基づいて、前記捕捉した認識対象形状を前記撮像領域に入り込んだ前記ユーザーの手と認識する認識部とを備え、
   前記差分算出部は、前記撮像領域を予め区画した区画領域ごとに定められた実行順に、前記区画領域での前記差分算出を実行し、
   前記区画領域は、前記撮像領域の左端領域と右端領域と下端領域と残余の領域に区画され、前記差分算出部は、前記左端領域と前記右端領域と前記下端領域のいずれかの領域について最先に前記差分算出を実行する、画像処理装置。
   る、画像処理装置。
2. 前記差分算出部は、前記撮像画像の前記差分を、前記撮像画像を構成する隣接画素間の画素値の差分として算出し、
   前記捕捉部は、前記隣接画素間の画素値の差分が所定の閾値以内の領域の形状を前記認識対象形状として捕捉する請求項１に記載の画像処理装置。
3. 前記差分算出部は、前記撮像画像を構成する画素データーを色変換して得た明度の前記隣接画素間の差分を、前記隣接画素間の画素値の差分として算出する請求項１または請求項２に記載の画像処理装置。
4. ユーザーの正面を撮像するカメラの撮像領域に入り込んだ前記ユーザーの手を認識する画像処理方法であって、
   前記カメラが備える複数のデーターからなる撮像画像の入力を受け、該撮像画像における前記データーの差分を算出し、該データーの差分算出を前記撮像領域の少なくとも一部の領域において実行する第１工程と、
   該差分算出部の算出した前記差分が所定の閾値以内の領域の形状を認識対象形状として捕捉する第２工程と、
   該捕捉した認識対象形状の対比形状としての手の輪郭形状を予め記憶した記憶部の前記輪郭形状と前記第２工程で捕捉した認識対象形状とを対比し、その対比結果に基づいて、前記捕捉した認識対象形状を前記撮像領域に入り込んだ前記ユーザーの手と認識する第３工程とを備え、
   前記第１工程では、前記撮像領域を予め区画した区画領域ごとに定められた実行順に、前記区画領域での前記差分算出を実行するに当たり、
   前記区画領域を、前記撮像領域の左端領域と右端領域と下端領域と残余の領域に区画したものとした上で、前記左端領域と前記右端領域と前記下端領域のいずれかの領域について最先に前記差分算出を実行する、画像処理方法。
5. ユーザーの正面を撮像するカメラの撮像領域に入り込んだ前記ユーザーの手を認識する画像処理を行うコンピュータープログラムであって、
   前記カメラが備える複数のデーターからなる撮像画像の入力を受け、該撮像画像における前記データーの差分を算出し、該データーの差分算出を前記撮像領域の少なくとも一部の領域において実行する差分算出機能と、
   該差分算出部の算出した前記差分が所定の閾値以内の領域の形状を認識対象形状として捕捉する捕捉機能と、
   該捕捉した認識対象形状の対比形状としての手の輪郭形状を予め記憶した記憶部の前記輪郭形状と前記差分算出機能で捕捉した認識対象形状とを対比し、その対比結果に基づいて、前記捕捉した認識対象形状を前記撮像領域に入り込んだ前記ユーザーの手と認識する認識機能とをコンピューターに実現させると共に、
   前記差分算出機能では、前記撮像領域を予め区画した区画領域ごとに定められた実行順に、前記区画領域での前記差分算出を実行するに当たり、
   前記区画領域を、前記撮像領域の左端領域と右端領域と下端領域と残余の領域に区画したものとした上で、前記左端領域と前記右端領域と前記下端領域のいずれかの領域について最先に前記差分算出を実行する、コンピュータープログラム。
6. ユーザーが虚像を外景に重ねて視認可能な頭部装着型表示装置であって、
   前記虚像を表示するための画像データーを生成し、該生成した前記画像データーにより、前記虚像がユーザーの視野に表示されるように前記虚像を視認させる拡張現実処理部と、
   請求項１ないし請求項３のいずれか一項の画像処理装置を備えた上で、前記カメラをユーザーの手を撮像可能に備え、
   前記拡張現実処理部は、
   前記虚像を前記撮像領域に対応した表示域で視認させると共に、
   前記画像処理装置の前記認識部が前記撮像領域に入り込んだ前記ユーザーの手を認識すると、該認識された前記ユーザーの手の少なくとも一部部位に対応する手部位対応画像が組み込まれた前記虚像を表示するための前記画像データーを生成し、前記虚像の表示域において前記手部位対応画像が占める位置を、前記撮像領域において前記一部部位が占める位置に応じて更新する、頭部装着型表示装置。
7. 前記拡張現実処理部は、前記手部位対応画像を含む前記虚像が前記カメラの撮像領域に入り込んだ前記ユーザーの手を透過して表示されるよう、前記画像データーを生成する請求項６に記載の頭部装着型表示装置。
8. 請求項６または請求項７に記載の頭部装着型表示装置であって、
   ユーザーの頭部の動きを検知する頭部挙動検知センサーを備え、
   前記画像処理装置の前記差分算出部は、前記頭部挙動検知センサーの検知した頭部の動きがキャンセルされた状態で、前記カメラから前記撮像画像の入力を受ける、頭部装着型表示装置。

Images