JP6501389B2 - ヘッドマウントディスプレイ装置、撮影制御方法、及びプログラム - Google Patents

Description

本発明は、ヘッドマウントディスプレイ装置、撮影制御方法、及びプログラムに関する。

装着者の前方を撮影することで取得された画像（前方画像）を装着者の眼の前に表示する、いわゆるビデオ透過型のヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）装置が知られている。この種のＨＭＤ装置に表示される前方画像の範囲は、その撮影を行うカメラの画角によって制限される。ＨＭＤ装置に表示される前方画像の範囲を広くするための技術として、特許文献１には、広角レンズを有するカメラによって広範囲な前方画像を取得するＨＭＤ装置が開示されている。

特開２０１１−２０５３５８号公報

特許文献１に開示されたＨＭＤ装置によれば、装着者の前方の様子を広い範囲で表示できる。しかし、装着者は、ＨＭＤ装置に表示された範囲の周辺を確認するためには、顔や身体の向きを変える必要がある。また、装着者が注目したい対象物に焦点が合っていない場合、装着者は、その対象物にカメラのピントを合わせるための操作を行う必要がある。このように、従来のＨＭＤ装置において、装着者の意図に合った前方画像を表示するためには装着者による煩雑な操作や動作を要していた。

本発明は、このような事情に鑑みてなされたものであり、装着者に煩雑な操作や動作を行わせずに、装着者の意図に合った、装着者の前方を表す画像（前方画像）を表示できる、ヘッドマウントディスプレイ装置、撮影制御方法、及びプログラムを提供することを目的とする。

本発明の第一の観点に係るヘッドマウントディスプレイ装置は、
装着者の前方を撮影する前方撮影手段と、
前記前方撮影手段によって撮影された装着者の前方を表す前方画像を表示する表示手段と、
装着者の左右の前眼部分を撮影する前眼部分撮影手段と、
前記前眼部分撮影手段によって撮影された前眼部分を表す前眼画像を取得する前眼画像取得手段と、
前記前眼画像取得手段によって取得された前記前眼画像から、装着者の動点の位置を前記表示手段に向けられた装着者の視線を検出するための視線検出情報として抽出する視線検出情報抽出手段と、
前記視線検出情報抽出手段によって抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を前記前方撮影手段に行わせる撮影制御手段と、を備え、
前記前方撮影手段の撮影方向を変更する必要があるか否かと前記動点の位置との対応関係を記憶し、
前記撮影制御手段は、前記対応関係を参照して、前記視線検出情報抽出手段によって抽出された動点の位置に応じて前記前方撮影手段の撮影方向を変更する必要があるか否かを判別し、その判別結果に従って前記前方撮影手段の撮影方向を変更することを特徴とする。

前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された動点の位置に応じて、前記前方撮影手段の焦点を調整してもよい。

また、前記動点の位置と装着者の視線がなす角度との対応関係、及び、前記装着者の視線がなす角度が変化しているか否かを判別するための基準の角度を記憶し、
前記撮影制御手段は、前記対応関係を参照して、前記視線検出情報抽出手段によって抽出された動点の位置に応じて前記装着者の視線がなす角度を読み出し、読み出した角度と前記基準の角度とから焦点を調整するか否かを判別し、その判別結果に従って前記前方撮影手段の焦点を調整してもよい。

前記視線検出情報抽出手段は、装着者の水晶体の厚さを前記視線検出情報として抽出し、
前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された水晶体の厚さに応じて、前記前方撮影手段の焦点を調整してもよい。

前記水晶体の厚さが変化しているか否かを判別するための基準の厚さを記憶し、
前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された前記水晶体の厚さと前記基準の厚さとから焦点を調整するか否かを判別し、その判別結果に従って前記前方撮影手段の焦点を調整してもよい。

前記前眼画像取得手段によって取得された前記前眼画像から、前記前方画像の明るさを検出するための明るさ検出情報を抽出する明るさ検出情報抽出手段を備え、
前記撮影制御手段は、前記明るさ検出情報抽出手段によって抽出された前記明るさ検出情報に基づいて、前記前方画像の明るさを変更してもよい。

前記明るさ検出情報抽出手段は、装着者の瞳孔径と瞼裂高径の少なくとも何れかを前記明るさ検出情報として抽出するとよい。

本発明の第二の観点に係る撮影制御方法は、
前眼画像取得部が、装着者の左右の前眼部分を表す前眼画像を取得する前眼画像取得ステップと、
視線検出情報抽出部が、前記前眼画像取得ステップで取得された前記前眼画像から、装着者の動点の位置を装着者の視線を検出するための視線検出情報として抽出する視線検出情報抽出ステップと、
撮影制御部が、前記視線検出情報抽出ステップで抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を装着者の前方を撮影する前方撮影部に行わせる撮影制御ステップと、を有し、
前記撮影制御ステップでは、前記前方撮影部の撮影方向を変更する必要があるか否かと前記動点の位置との対応関係を参照して、前記視線検出情報抽出ステップで抽出された動点の位置に応じて前記前方撮影部の撮影方向を変更する必要があるか否かを判別し、その判別結果に従って撮影方向を変更することを特徴とする。

本発明の第三の観点に係るプログラムは、
コンピュータを、
装着者の左右の前眼部分を表す前眼画像を取得する前眼画像取得手段、
前記前眼画像取得手段によって取得された前記前眼画像から、装着者の動点の位置を装着者の視線を検出するための視線検出情報として抽出する視線検出情報抽出手段、
前記視線検出情報抽出手段によって抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を装着者の前方を撮影する前方撮影部に行わせる撮影制御手段、として機能させ、
前記コンピュータに前記前方撮影部の撮影方向を変更する必要があるか否かと前記動点の位置との対応関係を記憶させ、
前記撮影制御手段は、前記対応関係を参照して、前記視線検出情報抽出手段によって抽出された動点の位置に応じて前記前方撮影部の撮影方向を変更する必要があるか否かを判別し、その判別結果に従って前記前方撮影部の撮影方向を変更することを特徴とする。

本発明によれば、装着者に煩雑な操作や動作を行わせずに、装着者の意図に合った前方画像を表示できる。

本発明の第１の実施の形態に係るヘッドマウントディスプレイ装置の外観を示した図である。 図１に示したヘッドマウントディスプレイ装置の背面部（装着者の眼と対向する面）を示した図である。 図１に示したヘッドマウントディスプレイ装置の構成を示したブロック図である。 図３に示した撮影方向制御情報の構成を示した図である。 図４に示した視線範囲を模式的に示した図である。 撮影方向の変更が必要な範囲を模式的に示した図である。 図３に示した焦点制御情報の構成を示した図である。 装着者の注視点と輻輳角との関係を模式的に示した図である 第１の実施の形態に係るヘッドマウントディスプレイ装置が実行する撮影制御処理のフローチャートである。 図９に示した撮影方向制御処理のフローチャートである。 図９に示した焦点制御処理のフローチャートである。 本発明の第２の実施の形態に係る焦点制御情報の構成を示した図である。 第２の実施の形態に係るヘッドマウントディスプレイ装置が実行する撮影制御処理のフローチャートである。 図１３に示した焦点制御処理のフローチャートである。 本発明の第３の実施の形態に係るヘッドマウントディスプレイ装置の構成を示したブロック図である。 図１５に示した明るさ制御情報の構成を示した図である。 第３の実施の形態に係るヘッドマウントディスプレイ装置が実行する撮影制御処理のフローチャートである。 図１７に示した明るさ調整処理のフローチャートである。

（第１の実施の形態）
以下、図面を参照して、本発明の第１の実施の形態に係るヘッドマウントディスプレイ装置、撮影制御方法、及びプログラムを説明する。

ヘッドマウントディスプレイ装置１０（以下、ＨＭＤ装置という）は、図１に示すように、フェイスパッドＦＰ及びストラップＳと一体に設けられる。フェイスパッドＦＰは、装着者の目の周りを覆う形状に形成されている。ストラップＳは、弾性を有し、ストラップＳの長さを調節するアジャスタＡを備える。装着者は、装着者の頭部にフィットするようにストラップＳの長さをアジャスタＡによって調節し、フェイスパッドＦＰで装着者の両眼を覆ってストラップＳを取り付ける。このようにして装着者はＨＭＤ装置１０を装着する。ＨＭＤ装置１０が装着されると、装着者の視界はフェイスパッドＦＰによって遮られ、装着者は直接的に現実空間の様子を確認できなくなる。

ＨＭＤ装置１０の前面（装着者から遠い方の面）には、装着者の眼（視点）に対応する位置に前方撮影部１３が設けられている。前方撮影部１３は、装着者の前方の現実空間を撮影する。また、ＨＭＤ装置１０の後面（装着者に近い方の面）には、図２に示すように、装着者の眼の前の位置（向かい合う位置）に表示部１４が設けられている。表示部１４は、前方撮影部１３によって撮影された装着者の前方を表す画像（以下、前方画像という）を立体的に表示する。つまり、装着者は、表示部１４に表示された前方画像を通じて（間接的に）、現実空間の様子を確認する。

また、ＨＭＤ装置１０は、装着者の視線に応じた撮影を前方撮影部１３に行わせる機能を備える。この機能を実現するために、表示部１４の周辺には前眼部分撮影部１５が設けられている。前眼部分撮影部１５は、装着者の左右のまぶた、まつ毛を含む前眼部分を撮影する。ＨＭＤ装置１０は、前眼部分を表す画像（前眼画像）を処理することで装着者の視線に応じた撮影を前方撮影部１３に行わせる。なお、ここでいう装着者の視線は左右の視線からなる。左の視線は装着者が注目している対象物と装着者の左眼の中心とを結ぶ線であり、右の視線は装着者が注目している対象物と装着者の右眼の中心とを結ぶ線である。

次に図３を参照してＨＭＤ装置１０の具体的な構成を説明する。ＨＭＤ装置１０は、制御部１１と、記憶部１２と、前方撮影部１３と、表示部１４と、前眼部分撮影部１５とを備える。

前方撮影部１３は、制御部１１の制御に従って装着者の前方を撮影する。前方撮影部１３の撮影タイミングは例えば４８〜６０フレーム毎秒（ｆｐｓ）であり、予め設定されている。前方撮影部１３の撮影タイミングは装着者の操作によって適宜に変更できる。また、前方撮影部１３は、左視点撮影装置１３Ｌ及び右視点撮影装置１３Ｒを備える。左視点撮影装置１３Ｌ及び右視点撮影装置１３Ｒは、それぞれ可視光撮影用のカメラ（一般的なデジタルカメラ）から構成される。左視点撮影装置１３Ｌは装着者の左眼の視点で、右視点撮影装置１３Ｒは装着者の右眼の視点で、それぞれ撮影を行う。前方撮影部１３は、左視点撮影装置１３Ｌ及び右視点撮影装置１３Ｒが行う撮影によって、立体的な前方画像（ステレオ画像）を取得する。

左視点撮影装置１３Ｌは、レンズユニット１３１Ｌ、信号処理部１３２Ｌ、及びレンズ駆動部１３３Ｌを備える。一方、右視点撮影装置１３Ｒは、レンズユニット１３１Ｒ、信号処理部１３２Ｒ、及びレンズ駆動部１３３Ｒを備える。

レンズユニット１３１Ｌ，１３１Ｒは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と撮影レンズとを備える。レンズユニット１３１Ｌ，１３１Ｒは、装着者の前方を表す像を結像し、結像した像を光電変換する。また、レンズユニット１３１Ｌ，１３１Ｒは、光電変換後の画像信号を出力する。レンズユニット１３１Ｌは左視点の画像信号を、レンズユニット１３１Ｒは右視点の画像信号を、それぞれ出力する。

信号処理部１３２Ｌ，１３２Ｒは、ノイズ除去回路と信号増幅回路とアナログ・デジタル変換回路とを備える。信号処理部１３２Ｌは、レンズユニット１３１Ｌから出力された左視点の画像信号について、ノイズ除去、信号増幅、アナログ・デジタル変換を行い、これにより得られた左視点の画像データを出力する。一方、信号処理部１３２Ｒは、信号処理部１３２Ｌと同様の信号処理を行い、右視点の画像データを出力する。

レンズ駆動部１３３Ｌ，１３３Ｒは、レンズ駆動回路から構成される。レンズ駆動部１３３Ｌ，１３３Ｒは、後述する撮影制御部１１ｃの制御に従って、レンズユニット１３１Ｌ，１３１Ｒの撮影方向や焦点を調整する。具体的には、レンズ駆動部１３３Ｌ，１３３Ｒは、レンズユニット１３１Ｌ，１３１Ｒの撮影レンズを回転させることにより撮影方向（光軸）を変更し、レンズユニット１３１Ｌ，１３１Ｒの撮影レンズを光軸方向に移動することにより焦点を調整する。

表示部１４は、制御部１１から各種画像を受け取り、受け取った画像を表示する。表示部１４は、前方撮影部１３によって得られた前方画像を表示する。表示部１４は、左視点表示装置１４Ｌ及び右視点表示装置１４Ｒを備える。左視点表示装置１４Ｌ及び右視点表示装置１４Ｒは、それぞれＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）等の表示装置と接眼レンズとを備える。左視点表示装置１４Ｌは、左視点撮影装置１３によって得られた画像を装着者の左眼の前に表示する。一方、右視点表示装置１４Ｒは、右視点撮影装置１３によって得られた画像を装着者の右眼の前に表示する。左視点表示装置１４Ｌ及び右視点表示装置１４Ｒに表示される各画像によって、装着者は立体的な画像（ステレオ画像）を確認できる。なお、表示部１４は、制御部１１の制御に従って、前方画像だけでなく拡張現実（ＡＲ：Augmented Reality）情報を表示してもよい。

前眼部分撮影部１５は、制御部１１の制御に従って装着者の左右の前眼部分を撮影する。前眼部分撮影部１５の撮影タイミングは例えば１秒間隔であり、装着者の操作によって適宜に変更できる。また、前眼部分撮影部１５は、左眼撮影装置１５Ｌ及び右眼撮影装置１５Ｒを備える。左眼撮影装置１５Ｌ及び右眼撮影装置１５Ｒは、それぞれ可視光撮影用のカメラから構成される。左眼撮影装置１５Ｌは装着者の左眼の前眼部分を撮影し、右眼撮影装置１５Ｒは装着者の右眼の前眼部分を撮影する。

左眼撮影装置１５Ｌは、レンズユニット１５１Ｌ及び信号処理部１５２Ｌを備える。一方、右眼撮影装置１５Ｒは、レンズユニット１５１Ｒ及び信号処理部１５２Ｒを備える。

レンズユニット１５１Ｌ，１５１Ｒは、ＣＣＤやＣＭＯＳ等の撮像素子と撮影レンズとを備える。レンズユニット１５１，１５１Ｒは、装着者の前眼部分を表す像を結像し、結像した像を光電変換することで得られた画像信号を出力する。レンズユニット１５１Ｌは左眼の前眼部分を、レンズユニット１５１Ｒは右眼の前眼部分を、それぞれ表す画像信号を出力する。

信号処理部１５２Ｌ，１５２Ｒは、ノイズ除去回路と信号増幅回路とアナログ・デジタル変換回路とを備える。信号処理部１５２Ｌは、レンズユニット１５１Ｌから出力された左眼の前眼部分を表す画像信号について、ノイズ除去、信号増幅、アナログ・デジタル変換を行い、これにより得られた左眼の前眼部分を表す画像データを出力する。一方、信号処理部１５２Ｒは、信号処理部１５２Ｌと同様の信号処理を行い、右眼の前眼部分を表す画像データを出力する。

記憶部１２は、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の記憶装置から構成される。記憶部１２は、制御部１１が各種処理を行うために使用する各種プログラムおよびデータ、制御部１１が各種処理を行うことにより生成または取得した各種データを記憶する。

記憶部１２は、特徴的には、撮影制御プログラム１２ａ、撮影方向制御情報１２ｂ、及び焦点制御情報１２ｃを記憶する。

撮影制御プログラム１２ａは、制御部１１に後述の撮影制御処理を実行させるためのプログラムである。撮影制御プログラム１２ａは、制御部１１の実行によって、制御部１１を前眼画像取得部１１ａ、視線検出情報抽出部１１ｂ、撮影制御部１１ｃとして機能させる。

撮影方向制御情報１２ｂは、レンズユニット１３１Ｌ，１３１Ｒの撮影方向を制御するための情報である。撮影方向制御情報１２ｂは、図４に示すように、エントリ毎に、視線範囲、動点範囲、変更要否、変更量を有する。

視線範囲は、表示部１４に立体的に表示される前方画像の範囲のうちの一の範囲を識別する情報を有する。図５に示すように、前方画像の範囲（装着者が確認可能な前方画像）が、縦、横及び奥行き（遠近）方向に４分割（全部で６４分割）された場合、視線範囲は、縦、横及び奥行き方向の範囲をそれぞれ識別する情報を有し、６４分割された範囲の何れの範囲であるのか識別される。

動点範囲は、同一エントリの視線範囲に対応する装着者の動点の範囲を表す。具体的には、動点範囲は、装着者が視線範囲内の対象物に注目しているときの装着者の動点の位置の範囲を表す。動点は例えば虹彩（黒眼）の中心である。動点範囲は、例えば、左右の眼についてＸＹ（平面）座標で表す。なお、ＸＹ座標の原点（０，０）は前眼画像において動かない部分である目頭等の固定点とする。また、動点範囲は、視線範囲毎に対象物に注目させる実験を行うことで得られた一般的なものである。

装着者の動点の位置は、前眼部分撮影部１５によって取得された前眼画像から抽出される。装着者の動点の位置が属する動点範囲は、その動点範囲に対応する視線範囲に装着者の視線が交差する点（注視点）が存在すること、つまり装着者が注目していることを表す。例えば、装着者の動点の位置が動点範囲「ＬＸ０≦Ｘ＜ＬＸ１，ＬＹ０≦Ｙ＜ＬＹ１」、「ＲＸ０≦Ｘ＜ＲＸ１，ＲＹ０≦Ｙ＜ＲＹ１」に属する場合、装着者は「視線範囲１」に注目していることを表す。

変更要否は、同一エントリの視線範囲に対応する撮影方向の変更の要否を表す。具体的には、装着者の注視点が視線範囲にあるとき（装着者の動点の位置が動点範囲に属するとき）に撮影方向の変更が必要か否かを表す。撮影方向の変更が必要な範囲は、例えば図６に示すように、装着者がほぼ正面でとらえられる視線の範囲から外れる範囲（半分から３分の２の範囲）とする。この範囲に該当する視線範囲については撮影方向の変更が必要であるとして、変更要否は「要」に設定される。一方、この範囲に該当しない視線範囲については撮影方向の変更が必要ないとして、変更要否は「否」に設定される。

変更量は、同一エントリの視線範囲に対応する撮影方向の制御量を表す。この変更量によって、装着者によって確認可能な前方画像の範囲の中心が視線範囲の代表的な位置となるように左右の撮影レンズ（レンズユニット１３１Ｌ，１３１Ｒ）が向けられる。例えば、装着者の動点の位置が動点範囲「ＬＸ２≦Ｘ＜ＬＸ３，ＬＹ２≦Ｙ＜ＬＹ３」、「ＲＸ２≦Ｘ＜ＲＸ３，ＲＹ２≦Ｙ＜ＲＹ３」に属する場合、左の撮影レンズは「変更量Ｌ３」、右の撮影レンズは「変更量Ｒ３」に従って撮影方向が変更される。なお、変更量は、装着者によって確認可能な前方画像の範囲の中心を基準の位置とし、その基準の位置と視線範囲の代表的な位置とから求められる。

焦点制御情報１２ｃは、レンズユニット１３１Ｌ，１３１Ｒの焦点を制御するための情報である。焦点制御情報１２ｃは、図７に示すように、エントリ毎に、視線範囲、動点範囲、輻輳角、レンズ位置を有する。視線範囲及び動点範囲は、撮影方向制御情報１２ｂに含まれた視線範囲及び動点範囲と一致するものとする。

輻輳角は、同一エントリの視線範囲に対応する装着者の左右の視線がなす角度を表す。具体的には、装着者が視線範囲の代表的な位置に注目したときの左右の視線がなす角度を表す。輻輳角は、装着者の注視点が近くにあるほど大きくなる。例えば、図８に示すように、対象物Ｐ２が対象物Ｐ１よりも装着者の近くにある場合、対象物Ｐ２に注目したときの輻輳角θ２は、対象物Ｐ１に注目したときの輻輳角θ１よりも大きい。

レンズ位置は、同一エントリの視線範囲に対応する撮影レンズの位置を表す。具体的には、装着者が視線範囲の代表的な位置に注目したとき（装着者の動点の位置が動点範囲に属するとき）に配置される撮影レンズの位置を表す。例えば、動点範囲「ＬＸ０≦Ｘ＜ＬＸ１，ＬＹ０≦Ｙ＜ＬＹ１」、「ＲＸ０≦Ｘ＜ＲＸ０，ＲＹ０≦Ｙ＜ＲＹ０」に装着者の動点の位置が属する場合、左の撮影レンズを「位置Ｌ１」、右の撮影レンズを「位置Ｒ１」に、それぞれ配置する。なお、輻輳角は、視線範囲の代表的な位置（注視点の位置）から推定される左右の視線がなす角度に基づいて設定される。レンズ位置は、レンズユニット１３１Ｌ，１３１Ｒから注視点までの距離に基づいて設定される。なお、レンズユニット１３１Ｌ，１３１Ｒから注視点までの距離は、左右の視線の方向とレンズユニット１３１Ｌ，１３１Ｒの幅の長さとから求められる。

図３に戻り、制御部１１は、ＣＰＵ(Central Processing Unit)、ＣＰＵのメインメモリとして機能するＲＡＭ（Random Access Memory）、タイマ等を備える。制御部１１は、命令やデータを転送するための伝送経路であるシステムバスを介してＨＭＤ装置１０の各部と接続され、ＨＭＤ装置１０全体を制御する。なお、制御部１１は、一部にＡＳＩＣ（Application Specific Integrated Circuit）等の専用回路を備えてもよい。

また、制御部１１は、ＨＭＤ装置１０が起動すると記憶部１２から撮影制御プログラム１２ａを読み出して実行する。制御部１１は、撮影制御プログラム１２ａを実行すると、前眼画像取得部１１ａ、視線検出情報抽出部１１ｂ、撮影制御部１１ｃとして機能する。

以上のように構成されたＨＭＤ装置１０は、前方画像（装着者の前方を表す画像）を表示部１４に表示する動作を行うとともに、前眼画像（装着者の前眼部分を表す画像）から装着者の動点の位置を抽出し、抽出した動点の位置に基づいて、装着者の視線に応じた撮影を前方撮影部１３に行わせる動作を行う。

以下、図９を参照してＨＭＤ装置１０の動作を詳細に説明する。ＨＭＤ装置１０が起動されると、制御部１１は、記憶部１２から撮影制御プログラム１２ａを読み出して実行する。これにより制御部１１は、前眼画像取得部１１ａ、視線検出情報抽出部１１ｂ、撮影制御部１１ｃとして機能する。

はじめに、撮影制御部１１ｃは、前方撮影部１３に装着者の前方を撮影させ（ステップＳ１１）、前方撮影部１３から前方画像を取得する。撮影制御部１１ｃは、取得した前方画像を表示部１４に表示する（ステップＳ１２）。

前眼画像取得部１１ａは、装着者の前眼部分を撮影するタイミング（例えば１秒間隔）が到来したか否かを判別する（ステップＳ１３）。前眼画像取得部１１ａは、前眼部分を撮影するタイミングが到来していないと判別した場合は（ステップＳ１３；ＮＯ）、ステップＳ１１に戻る。つまり、前眼部分を撮影するタイミングが到来するまでの間は、撮影方向や焦点の変更は行われず、予め設定されたフレームレートの撮影によって取得された前方画像が表示部１４に表示される。

一方、前眼画像取得部１１ａは、前眼部分を撮影するタイミングが到来したと判別した場合は（ステップＳ１３；ＹＥＳ）、前眼部分撮影部１５に装着者の前眼部分を撮影させる（ステップＳ１４）。前眼画像取得部１１ａは、前眼部分撮影部１５から装着者の前眼部分を表す画像（前眼画像）を取得する（ステップＳ１５）。

視線検出情報抽出部１１ｂは、前眼画像取得部１１ａによって取得された前眼画像から装着者の動点の位置を抽出する処理を行う。例えば、動点が虹彩（黒眼）の中心である場合、視線検出情報抽出部１１ｂは、前眼画像の中から虹彩の中心を特定し、その位置（ＸＹ座標値）を抽出する。視線検出情報抽出部１１ｂは、動点の位置を抽出できたか否かを判別し（ステップＳ１６）、抽出できないと判別した場合は（ステップＳ１６；ＮＯ）、ステップＳ１１に戻って上記と同様の処理を行う。つまり、この場合、ステップＳ１７及びＳ１８には進まないので、撮影方向や焦点の変更は行われない。

一方、視線検出情報抽出部１１ｂは、動点の位置を抽出できたと判別した場合（ステップＳ１６；ＹＥＳ）、撮影方向制御処理を行う（ステップＳ１７）。

ここで図１０を参照して、ステップＳ１７で行う撮影方向制御処理を説明する。

撮影制御部１１ｃは、記憶部１２に記憶された撮影方向制御情報１２ｂを参照し、抽出した動点の位置が属する動点範囲を特定する（ステップＳ１７１）。

撮影制御部１１ｃは、特定した動点範囲に対応する変更要否を参照し、撮影方向の変更が必要か否かを判別する（ステップＳ１７２）。例えば、動点範囲「ＬＸ２≦Ｘ＜ＬＸ３，ＬＹ２≦Ｙ＜ＬＹ３」、「ＲＸ２≦Ｘ＜ＲＸ３，ＲＹ２≦Ｙ＜ＲＹ３」を特定した場合、これに対応する変更要否は「要」なので、撮影制御部１１ｃは、撮影方向の変更が必要であると判別する（ステップＳ１７２；ＹＥＳ）。この場合、撮影制御部１１ｃは、特定した動点範囲に対応する「変更量Ｌ３」及び「変更量Ｒ３」に従って、レンズユニット１３１Ｌ，１３１Ｒの撮影レンズの向きをそれぞれ変更する（ステップＳ１７３）。その後、撮影制御部１１ｃは、図９に示したステップＳ１８に進む（リターン）。

一方、ステップＳ１７１で特定した動点範囲に対応する変更要否が「否」だった場合、撮影制御部１１ｃは、撮影方向の変更が必要ないと判別する（ステップＳ１７２；ＮＯ）。この場合、撮影制御部１１ｃは、撮影レンズの向きを変更しないで図９に示したステップＳ１８に進む（リターン）。

図９に戻り、撮影制御部１１ｃは、撮影方向制御処理（ステップＳ１７）を終えた後、焦点制御処理を行う（ステップＳ１８）。

図１１を参照して、ステップＳ１８で行う焦点制御処理を説明する。

撮影制御部１１ｃは、記憶部１２に記憶された焦点制御情報１２ｃを参照し、ステップＳ１６で抽出された動点の位置が属する動点範囲を特定する（ステップＳ１８１）。また、撮影制御部１１ｃは、特定した動点範囲に対応する輻輳角を抽出する（ステップＳ１８２）。例えば、動点範囲「ＬＸ２≦Ｘ＜ＬＸ３，ＬＹ２≦Ｙ＜ＬＹ３」、「ＲＸ２≦Ｘ＜ＲＸ３，ＲＹ２≦Ｙ＜ＲＹ３」を特定した場合、これに対応する「輻輳角３」が抽出される。

また、撮影制御部１１ｃは、ステップＳ１８２で抽出した輻輳角と、予め記憶された基準の輻輳角とから、輻輳角が一定の範囲を超えて変化しているか否かを判別する（ステップＳ１８３）。基準の輻輳角は、ＨＭＤ装置１０を起動して最初にステップＳ１８３を行う際には予め設定された初期値とされ、それ以降は、前回のステップＳ１８２で抽出された輻輳角とされる。例えば、撮影制御部１１ｃは、ステップＳ１８３が行われる度に、ステップＳ１８２で抽出した輻輳角を基準の輻輳角として更新、記憶する。

撮影制御部１１ｃは、一定の範囲を超えて変化していると判別した場合（ステップＳ１８３；ＹＥＳ）、ステップＳ１８１で特定した動点範囲に対応するレンズ位置に、レンズユニット１３１Ｌ，１３１Ｒの撮影レンズを配置する。例えば動点範囲に対応するレンズ位置が「位置Ｌ３」、「位置Ｒ３」である場合、レンズユニット１３１Ｌの撮影レンズを「位置Ｌ３」、レンズユニット１３１Ｒの撮影レンズを「位置Ｒ３」に配置する。これにより、撮影制御部１１ｃの焦点を装着者が注目している対象物に合わせる（ステップＳ１８４）。その後、撮影制御部１１ｃは、図９に示したステップＳ１１に戻る（リターン）。

一方、ステップＳ１８３において一定の範囲を超えて変化していないと判別した場合（ステップＳ１８３；ＮＯ）、撮影制御部１１ｃは、前方撮影部１３の焦点を調整しないで図９に示したステップＳ１１に戻る（リターン）。

以上のようにして一連の撮影制御処理が行われる。前眼画像取得部１１ａ、視線検出情報抽出部１１ｂ、撮影制御部１１ｃは、ＨＭＤ装置１０の電源がオフになるか、装着者によって処理を中断する操作が行われるまで、ステップＳ１１〜Ｓ１８の処理を繰り返し行う。

以上、第１の実施の形態に係るＨＭＤ装置１０によれば、装着者の左右の前眼部分を撮影することによって取得される前眼画像から、動点（虹彩の中心）の位置を抽出し、抽出した動点の位置に応じて前方撮影部１３の撮影方向や焦点を調整することができる。そのため、ＨＭＤ装置１０は、装着者に煩雑な操作や動作を行わせずに、装着者の意図に合った前方画像を表示できる。

また、ＨＭＤ装置１０によれば、前眼画像から抽出した動点の位置に基づいて撮影方向の変更が必要か否かを判別し、必要と判別した場合に撮影方向の変更を行うことができる。これにより、正面から外れた方向に視線を向ける等、視線が大きく変化する場合には撮影方向が変更されるが、装着者が無意識に視線を変える等、視線がほとんど変化しない場合には撮影方向は変更されない。このように、ＨＭＤ装置１０は、装着者の意図に合わせて自動的に撮影方向を変更できる。なお、ＨＭＤ装置１０は、変更要否について設定されていなくてもよい。ＨＭＤ装置１０は、動点の位置（視線検出情報）と変更量との対応関係が設定されていればよく、これにより、前眼画像から抽出した視線検出情報に対応する変更量に従って撮影方向を変更できる。

また、ＨＭＤ装置１０によれば、装着者の視線がなす輻輳角の変化に基づいて焦点の変更が必要か否かを判別し、必要と判別した場合に焦点の変更を行うことができる。これにより、装着者の視線が遠近方向に大きく変化した場合には前方撮影部１３の焦点が調整されるが、装着者の視線が遠近方向にほとんど変化しない場合には前方撮影部１３の焦点は調整されない。このように、ＨＭＤ装置１０は、装着者の意図に合わせて自動的に焦点を調整できる。なお、ＨＭＤ装置１０は、この判別処理を行わなくてもよく、特定された動点範囲に対応するレンズ位置に従って、前方撮影部１３の焦点を調整してもよい。

また、本実施の形態では、虹彩の中心を動点として説明したが、その他の動点でもよく、例えば瞳孔の中心等が採用されてもよい。また、動点の数も１つに限定されず、複数でもよい。また、視線検出情報抽出部１１ｂは、ＸＹ座標の原点として設定された固定点（目頭等）を動点とともに特定してもよい。視線検出情報抽出部１１ｂは、特定した固定点の位置（ＸＹ座標値）を原点（０，０）に変更することにより個人差を補正し、より正確に動点の位置を抽出できる。

また、ＨＭＤ装置１０は、前方撮影部１３から取得した前方画像について、装着者が注目している部分を鮮明にし、それ以外を不鮮明にする画像変換を行ってもよい。例えば、画像を鮮明にするための手法としては、画像のエッジ(輪郭)部分を強調するシャープネス機能を採用する。シャープネス機能は、その調整値を上げることで画像のエッジ部分が強調され、画像が鮮明になる。また、画像を不鮮明にするための手法としては、画像のエッジ(輪郭)部分をあいまいにする、ぼかし機能を採用する。ぼかし機能は、その調整値を上げることで画像のエッジ部分があいまいになり、画像が不鮮明になる。これらの機能を利用する場合、撮影制御部１１ｃは、ステップＳ１７１で特定した動点範囲に対応する視線範囲とその周辺の視線範囲を特定する。撮影制御部１１ｃは、特定した視線範囲に属する部分の前方画像についてシャープネスに係る調整値を上げることにより当該部分の前方画像を鮮明にする。また、撮影制御部１１ｃは、特定した視線範囲以外の部分の前方画像について、ぼかしに係る調整値を上げることにより当該部分の前方画像を不鮮明にする。そして、撮影制御部１１ｃは、このような画像変換を行った後の前方画像を表示部１４に表示する。これにより、表示部１４には、装着者が注目している部分が鮮明で、それ以外が不鮮明な前方画像が表示され、装着者は、直接的に現実空間の様子を確認している感覚を得ることができ、装着者の臨場感を向上させる効果が期待できる。

また、撮影方向制御情報１２ｂと焦点制御情報１２ｃとの間で視線範囲及び動点範囲が一致する場合、撮影方向制御情報１２ｂと焦点制御情報１２ｃとは、一つの制御情報にまとめてもよい。この場合、当該制御情報は、視線範囲、動点範囲、変更要否、変更量、輻輳角、及びレンズ位置を有する。また、本実施の形態では、撮影方向制御情報１２ｂと焦点制御情報１２ｃとの間で視線範囲及び動点範囲が一致する場合を説明したが、これらは異なっていてもよい。

また、撮影方向制御情報１２ｂ及び焦点制御情報１２ｃに含まれた動点範囲は、実験によって得られた一般的なものとして説明したが、実際にＨＭＤ装置１０を装着する装着者の動点の位置に基づいて設定されてもよい。この場合、例えば、ＨＭＤ装置１０の制御部１１は、表示部１４に実験用の画面を表示し、その画面において視線範囲毎に装着者の注意をひく絵や文字等の画像を表示する。制御部１１は、当該画像が表示されたときの前眼画像を前眼部分撮影部１５から取得し、取得した前眼画像から動点の位置を抽出する。制御部１１は、抽出した動点の位置に基づいて視線範囲に対応する動点の範囲を設定する。これにより、装着者固有の動点範囲を含んだ撮影方向制御情報１２ｂ及び焦点制御情報１２ｃが得られ、これを用いることで、より装着者の意図に合った前方画像を表示できる。

なお、撮影方向制御情報１２ｂ及び焦点制御情報１２ｃに含まれる視線範囲の数は、装着者の操作によって適宜に設定されてもよい。また、これに従って、撮影方向制御情報１２ｂに含まれる変更量、焦点制御情報１２ｃに含まれる輻輳角及びレンズ位置が設定されてもよい。また、撮影方向の変更が必要な範囲も装着者の操作によって適宜に設定されてもよく、これに従って、撮影方向制御情報１２ｂに含まれる変更要否が設定されてもよい。

また、ＨＭＤ装置１０は、撮影方向制御情報１２ｂに代えて、装着者の動点の位置と変更量との対応関係を回帰分析し、これによりモデル化された撮影方向制御情報を記憶してもよい。この場合、撮影制御部１１ｃは、モデル化された撮影方向制御情報を用いて、視線検出情報抽出部１１ｂによって抽出された動点の位置に対応する変更量を算出し、算出した変更量に従って、前方撮影部１３の撮影方向を変更させてもよい。

また、ＨＭＤ装置１０は、焦点制御情報１２ｃに代えて、装着者の動点の位置とレンズ位置との対応関係を回帰分析し、これによりモデル化された焦点制御情報を記憶してもよい。この場合、撮影制御部１１ｃは、モデル化された焦点制御情報を用いて、視線検出情報抽出部１１ｂによって抽出された動点の位置に対応するレンズ位置を算出し、算出したレンズ位置に従って、前方撮影部１３の焦点を調整してもよい。

（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。第１の実施の形態では、撮影制御部１１ｃは、視線検出情報抽出部１１ｂによって抽出された動点の位置に基づいて前方撮影部１３の焦点を調整した。本実施の形態では、水晶体の厚さを視線検出情報とし、前方画像から抽出した水晶体の厚さに基づいて、前方撮影部１３の焦点を調整する場合の態様を説明する。なお、上記実施の形態で説明した構成または動作と同様のものについては説明を適宜省略する。

前眼部分撮影部１５は、赤外線ＬＥＤ（Light Emitting Diode）と赤外線撮影用カメラとを備える。赤外線ＬＥＤは、装着者の左右の前眼部分を照射する。赤外線撮影用カメラは、装着者の前眼部分を撮影する。また、記憶部１２は、焦点制御情報１２ｃ’を記憶する。焦点制御情報１２ｃ’は、レンズユニット１３１Ｌ，１３１Ｒの焦点を制御するための情報である。焦点制御情報１２ｃ’は、図１２に示すように、距離と、水晶体の厚さと、レンズ位置との対応関係を表す。水晶体の厚さは、異なる距離毎に対象物に注目させる実験を行うことで得られた一般的なものである。

距離は、装着者の眼と装着者が注目している対象物との間の距離を表す。

水晶体の厚さは、同一エントリの距離に対応する装着者の水晶体の厚さを表す。水晶体は、装着者の注視点が近くにあるほど厚くなるという性質を有する。水晶体の厚さは、赤外線ＬＥＤの照射によって水晶体の前面で反射する像と水晶体の後面で反射する像との間の長さによって表される。

レンズ位置は、同一エントリの距離に対応する撮影レンズの位置を表す。

次に、図１３を参照してＨＭＤ装置１０が行う撮影制御処理を説明する。第１の実施の形態に係る撮影制御処理は、動点の位置が抽出されなかった場合に最初の処理（ステップＳ１１）に戻ったが、本実施の形態では、焦点制御処理（ステップＳ１８’）を行う。なお、それ以外の処理は第１の実施の形態に係る撮影制御処理と同じである。

図１３に示した焦点制御処理（ステップＳ１８’）について、図１４を参照して説明する。

視線検出情報抽出部１１ｂは、左右の前眼画像から、赤外線ＬＥＤの照射によって水晶体の前面で反射する像及び水晶体の後面で反射する像を特定し、その間の距離を測定する。これにより視線検出情報抽出部１１ｂは、左右の水晶体の厚さを抽出する（ステップＳ１８１’）。

撮影制御部１１ｃは、視線検出情報抽出部１１ｂによって抽出された水晶体の厚さと、予め記憶された基準の厚さとから、水晶体の厚さが一定の範囲を超えて変化しているか否かを判別する（ステップＳ１８２’）。基準の厚さは、ＨＭＤ装置１０を起動して最初に当該処理を行う際には予め設定された初期値とされ、それ以降は、前回抽出された水晶体の厚さとされる。撮影制御部１１ｃは、当該処理が行われる度に、視線検出情報抽出部１１ｂによって抽出された水晶体の厚さを基準の厚さとして更新、記憶する。ここでいう一定の範囲とは、視線が遠近方向に大きく変化したか否かを判断する基準として設定された距離の範囲に対応する水晶体の厚さの範囲である。なお、距離の範囲は適宜に変更できる。

撮影制御部１１ｃは、一定の範囲を超えて変化していると判別した場合（ステップＳ１８２’；ＹＥＳ）、記憶部１２に記憶された焦点制御情報１２ｃ’を参照し、視線検出情報抽出部１１ｂによって抽出された水晶体の厚さが属する範囲を特定する。撮影制御部１１ｃは、特定した範囲に対応するレンズ位置に、レンズユニット１３１Ｌ，１３１Ｒの撮影レンズを配置する。例えば、左眼の水晶体の厚さが「Ｔ０≦Ｔ＜Ｔ１」に属し、右眼の水晶体の厚さが「Ｔ１≦Ｔ＜Ｔ２」に属する場合、左の撮影レンズを「位置１」、右の撮影レンズを「位置２」にそれぞれ配置する。これにより、撮影制御部１１ｃの焦点を調整し（ステップＳ１８３’）、装着者が注目している対象物にピントを合わせる。その後、撮影制御部１１ｃは、図１３に示したステップＳ１１に戻る（リターン）。

一方、ステップＳ１８２’において一定の範囲を超えて変化していないと判別した場合（ステップＳ１８２’；ＮＯ）、撮影制御部１１ｃは、焦点を調整しないで図１３に示したステップＳ１１に戻る（リターン）。

以上、第２の実施の形態に係るＨＭＤ装置１０によれば、前方画像から水晶体の厚さを抽出し、抽出した水晶体の厚さに基づいて前方撮影部１３の焦点を調整することができる。

また、ＨＭＤ装置１０によれば、水晶体の厚さの変化に基づいて焦点の変更が必要か否かを判別し、必要と判別した場合に焦点の変更を行うことができる。これにより、装着者の視線が遠近方向に大きく変化した場合に前方撮影部１３の焦点が調整され、装着者の視線が遠近方向にほとんど変化しない場合には前方撮影部１３の焦点は調整されない。このように、ＨＭＤ装置１０は、装着者の意図に合わせて自動的に焦点を調整できる。なお、ＨＭＤ装置１０は、この判別処理を行わなくてもよく、抽出された水晶体の厚さに対応するレンズ位置に従って、前方撮影部１３の焦点を調整してもよい。

また、前眼部分撮影部１５に備えられた赤外線撮影用カメラは、水晶体の厚さを測定するために備えられたものであるが、視線検出情報抽出部１１ｂは、赤外線撮影用カメラによって取得された前眼画像から動点（例えば虹彩の中心）の位置を抽出し、動点の位置に応じて、赤外線撮影用カメラの撮影レンズの向きを変えてもよい。つまり、この場合、可視光撮影用のカメラを省略できる。また、前眼部分撮影部１５が可視光と赤外線の両方の撮影を行うことができる場合、何れのカメラによって前眼画像を取得するのかを、装着者の操作によって設定できるようにしてもよい。また、前方撮影部１３の焦点を、水晶体の厚さ、動点の位置のどちらに基づいて調整するのかを、装着者の操作によって設定できるようにしてもよい。

また、本実施の形態では、焦点制御情報１２ｃ’に含まれた水晶体の厚さは実験によって得られた一般的なものとして説明したが、実際にＨＭＤ装置１０を装着する装着者の水晶体の厚さに基づいて設定されてもよい。この場合、例えば、ＨＭＤ装置１０の制御部１１は、表示部１４に実験用の画面を表示し、その画面において、焦点制御情報１２ｃ’により表される距離毎に装着者の注意をひく絵や文字等の画像を表示する。制御部１１は、当該画像が表示されたときの前眼画像を前眼部分撮影部１５から取得し、取得した前眼画像から水晶体の厚さを測定する。制御部１１は、測定した水晶体の厚さに基づいて、距離に対応する水晶体の厚さの範囲を設定する。これにより、装着者固有の水晶体の厚さの範囲を含んだ焦点制御情報１２ｃ’が得られ、これを用いることで、より装着者の水晶体の厚さに応じて前方撮影部１３の焦点を調整できる。

また、ＨＭＤ装置１０は、焦点制御情報１２ｃ’に代えて、装着者の水晶体の厚さとレンズ位置との対応関係を回帰分析し、これによりモデル化された焦点制御情報を記憶してもよい。この場合、撮影制御部１１ｃは、モデル化された焦点制御情報を用いて、視線検出情報抽出部１１ｂによって抽出された水晶体の厚さに対応するレンズ位置を算出し、算出したレンズ位置に従って、前方撮影部１３の焦点を調整してもよい。

（第３の実施の形態）
次に、本発明の第３の実施の形態を説明する。本実施の形態では、前眼画像から視線検出情報を抽出するだけでなく、前方画像の明るさを検出するための明るさ検出情報を前眼画像から抽出し、明るさ検出情報に基づいて前方画像の明るさを変更するＨＭＤ装置１の例を説明する。なお、上記各実施の形態で説明した構成または動作と同様のものについては説明を適宜省略する。

明るさ検出情報は、例えば瞳孔径や瞼裂高径がある。瞳孔径は、瞳孔の大きさを表すものであり、明るいところでは小さく、暗いところでは大きくなるという性質を有する。また、瞼裂高径は、上瞼と下瞼の間の大きさを表すものであり、瞳孔径と同様、明るいところでは小さく、暗いところでは大きくなるという性質を有する。本実施の形態では、瞳孔径を採用した例を説明する。

図１５に示すように、ＨＭＤ装置１の制御部１１は、明るさ検出情報抽出部１１ｄを備える。明るさ検出情報抽出部１１ｄは、明るさ検出情報を前眼画像から抽出し、明るさ検出情報に基づいて表示部１４に表示される前方画像の明るさを調整する処理（明るさ調整処理）を行う。

また、ＨＭＤ装置１の記憶部１２には、明るさ制御情報１２ｄが記憶されている。明るさ制御情報１２ｄは、表示部１４に表示される前方画像の明るさを調整するための情報である。明るさ制御情報１２ｄは、図１６に示すように、エントリ毎に、明るさ、瞳孔径、調整要否、調整値を有する。

明るさは、表示部１４に表示された前方画像の明るさを識別する情報を有する。

瞳孔径は、同一エントリの明るさに対応する瞳孔径の範囲を表す。瞳孔径は、明るさ毎に瞳孔径の大きさを計測する実験を行うことで得られた一般的なものである。例えば、装着者の瞳孔径が「Ｄ０≦Ｄ＜Ｄ１」に属する場合、表示部１４に表示された前方画像の明るさは「明るさ１」と検出される。

調整要否は、同一エントリの明るさについての調整の要否を表す。具体的には、人が暗いと感じる範囲の明るさ（例えば１０，０００ルクス以上）や、明るいと感じる範囲の明るさ（例えば０．１ルクス以下）等、確認しにくいと感じる明るさについては調整が必要であるとして、調整要否は「要」に設定される。一方、この範囲に該当しない明るさ（確認しにくいと感じない明るさ）については調整が必要ないとして、調整要否は「否」に設定される。

調整値は、同一エントリの明るさを調整するための値を表す。調整値は、露出補正を行うための値である。この調整値によって、表示部１４に表示される前方画像の明るさが調整され、確認しくいと感じる明るさを、確認しやすいと感じる明るさに変更できる。露出補正は、その補正値が大きければ大きいほど明るくなる。従って、前方画像の明るさが明るいものほど調整値は小さく、前方画像の明るさが暗いものほど調整値は大きく設定される。例えば、装着者の瞳孔径が「Ｄ０≦Ｄ＜Ｄ１」に属する場合、「調整値１」に従って前方画像の明るさが調整される。

次に、図１７を参照してＨＭＤ装置１０が行う撮影制御処理を説明する。第１の実施の形態に係る撮影制御処理は、焦点制御処理（ステップＳ１８）を行った後に最初の処理（ステップＳ１１）に戻ったが、本実施の形態では、焦点制御処理（ステップＳ１８）を行った後に明るさ調整処理（ステップＳ１９）を行う。なお、それ以外の処理は第１の実施の形態に係る撮影制御処理と同じである。

図１７に示した明るさ調整処理（ステップＳ１９）について、図１８を参照して説明する。

明るさ検出情報抽出部１１ｄは、前眼画像の中から瞳孔を特定し、瞳孔径を抽出する（ステップＳ１９１）。

撮影制御部１１ｃは、記憶部１２に記憶された明るさ制御情報１２ｄを参照し、抽出した瞳孔径が属する範囲を特定する。また、撮影制御部１１ｃは、特定した瞳孔径の範囲に対応する調整要否を参照し、前方画像の明るさの調整が必要か否かを判別する（ステップＳ１９２）。例えば、瞳孔径の範囲「Ｄ０≦Ｄ＜Ｄ１」を特定した場合、これに対応する調整要否は「要」なので、撮影制御部１１ｃは、前方画像の明るさの調整が必要であると判別する（ステップＳ１９２；ＹＥＳ）。この場合、撮影制御部１１ｃは、特定した瞳孔径の範囲に対応する「調整値１」を設定する（ステップＳ１９３）。これにより、「調整値１」に露出補正され、以降の撮影によって取得される前方画像の明るさが変更される。その後、撮影制御部１１ｃは、図１７に示したステップＳ１１に戻る（リターン）。

一方、ステップＳ１９１で抽出した瞳孔径が属する範囲に対応する調整要否が「否」だった場合、撮影制御部１１ｃは、前方画像の明るさの調整が必要ないと判別する（ステップＳ１９２；ＮＯ）。この場合、撮影制御部１１ｃは、前方画像の明るさを調整しないで図１７に示したステップＳ１１に戻る（リターン）。

以上、第３の実施の形態に係るＨＭＤ装置１０によれば、前方画像から装着者の瞳孔径を抽出し、抽出した瞳孔径に基づいて表示部１４に表示される前方画像の明るさを変更することができる。これにより、装着者が暗いまたは明るいと感じる（確認しにくいと感じる）前方画像の明るさを、装着者が確認しやすいと感じる明るさに自動的に変更できる。

また、本実施の形態では、瞳孔径を明るさ検出情報として説明したが、瞼裂高径を明るさ検出情報としてもよい。また、瞳孔径と瞼裂高径の両方を明るさ検出情報としてもよく、瞳孔径及び瞼裂高径に基づいて前方画像の明るさを変更してもよい。

また、ＨＭＤ装置１０は、抽出した明るさ検出情報に対応する調整要否に従って、前方画像の明るさを変更したが、調整要否について設定されていなくてもよい。ＨＭＤ装置１０は、明るさ検出情報（瞳孔径、瞼裂高径の少なくとも何れか）と調整値との対応関係が設定されていればよく、これにより、前眼画像から抽出した明るさ検出情報に対応する調整値に従って前方画像の明るさを調整できる。

また、ＨＭＤ装置１０は、前眼画像から抽出した明るさ検出情報（例えば瞳孔径）が、一定の範囲を超えて変化したか否かを判別し、一定の範囲を超えて変化したと判別した場合に、抽出した明るさ検出情報に対応する調整値に従って前方画像の明るさを調整してもよい。ここでいう一定の範囲とは、前方画像の明るさが大きく変化したか否かを判断する基準として設定された明るさの範囲に対応する明るさ検出情報（ここでは瞳孔径）の範囲である。なお、明るさの範囲は適宜に変更できる。

（変形例１）
前方撮影部１３に備えられた撮影レンズの回転範囲が制限されている場合、ＨＭＤ装置１０の撮影制御部１１ｃは、現在の撮影レンズの向きと、撮影レンズの変更量（回転角）とから撮影方向を変更できるか否かを判別し、その判別結果を装着者に通知してもよい。例えば、撮影制御部１１ｃは、撮影方向を変更できないと判別した場合には、その旨を通知するメッセージを表示部１４に表示する。このメッセージが表示部１４に表示された場合、装着者は、顔または身体の向きを変えて、装着者の前方の撮影を行う。

（変形例２）
上記各実施の形態では、前方画像から抽出された動点の位置や水晶体の厚さ等の視線検出情報に基づいて、装着者の視線に応じた撮影を前方撮影部１３に行わせたが、装着者の視線に応じた撮影は、その他の視線検出情報に基づいて行ってもよい。例えば、人間の眼は、近くにあるものを見るときに見開き、遠くにあるものを見るときに細める動作を行う。ＨＭＤ装置１０は、この動作に基づいて、撮影制御部１３の焦点を調整してもよい。例えば、視線検出情報抽出部１１ｂは、前眼画像取得部１１ａによって取得された前眼画像から装着者の眼の開閉度合いを求め、撮影制御部１１ｃは、開閉度合いに応じて撮影制御部１３の焦点を調整してもよい。

その他、上記各実施の形態では、ＨＭＤ装置１０は、撮影制御部１３の撮影方向及び焦点を調整する例を説明したが、撮影方向及び焦点の何れを変更するのかは、操作者の操作によって設定されてもよい。また、ＨＭＤ装置１０は、撮影方向及び焦点の何れかを変更するものであってもよい。ＨＭＤ装置１０が撮影方向のみを変更するものとした場合、前方撮影部１３は、１つの撮影装置から構成されてもよい。

また、ＨＭＤ装置１０には、前方撮影部１３によって取得された前方画像を変換する画像変換機能を備えても良い。画像変換機能には、ズーム機能、画質調節機能、色覚補助機能等がある。ズーム機能は、前方画像を拡大または縮小する機能である。画質調節機能は、前方画像の明るさやコントラスト等の画質を調節する機能である。色覚補助機能は、色覚異常者によって同一の色として知覚される異なる種類の色のペア（混同色）を弁別できるように画像を変換する機能である。これらの画像変換機能によって、ＨＭＤ装置１０は、装着者の意図に合った前方画像を表示できる。

また、ＨＭＤ装置１０は、装着者の前眼画像によって認証処理を行ってもよい。例えば、ＨＭＤ装置１０には正当な使用権限を有する装着者の虹彩を表す画像（虹彩画像）を予め登録しておく。ＨＭＤ装置１０は、前眼部分撮影部１５によって取得された前眼画像の中から虹彩画像を抽出し、抽出した虹彩画像と一致する画像（類似する度合いが一定以上の画像）が登録されているか否かを判別する。ＨＭＤ装置１０は、一致する画像が登録されていると判別した場合、装着者が正当な使用権限を有する者であると認証し、一致する画像が登録されていないと判別した場合、装着者が正当な使用権限を有する者でないと認証する。

また、ＨＭＤ装置１０は、動画によって装着者の前眼画像を取得し、複数の連続した前眼画像に基づいて特定される操作者の眼の動作（ジェスチャー）に従って各種処理を行うようにしてもよい。この場合、ＨＭＤ装置１０には、眼の動作を特定する情報と、ＨＭＤ装置１０が実行する処理とを対応付けて予め登録しておく。具体的には、黒眼（虹彩）が左上、右上、左下、右下の順に移動してＺ字を描く動きを特定する情報と、一定の比率でズーム（拡大する）処理とを対応付けて登録しておく。これにより、装着者がＺ字を描くように黒眼を動かした場合に、ＨＭＤ装置１０は、表示部１４に表示された前方画像を拡大する処理を行う。

なお、本発明に係るＨＭＤ装置は、一般的なコンピュータによって実現できる。この場合、上記実施の形態で説明した動作を実行するためのプログラムをコンピュータにインストールし、このプログラムをコンピュータが実行することによって本発明に係るＨＭＤ装置として機能させることができる。このようなプログラムは、例えば、持ち運び可能な記録媒体等に記録されて配布される。持ち運び可能な記録媒体には、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＢＤ−ＲＯＭ(Blu-ray（登録商標） Disc)等がある。

また、プログラムを提供する方法は任意である。例えば、ＳＮＳ（ソーシャル・ネットワーキング・サービス）にアップロードされたプログラムをダウンロードしてもよい。また、プログラムは、プログラムを表す信号によって搬送波を変調した変調波によって伝送され、この変調波を受信した装置が変調波を復調してプログラムを復元してもよい。そして、コンピュータは、このプログラムを起動して、他のアプリケーションと同様に実行する。これによって、コンピュータは、本発明に係るＨＭＤ装置として機能する。

その他、本発明は、上記実施の形態の説明および図面によって限定されるものではなく、上記実施の形態および図面に適宜変更等を加えることは可能である。

１０ ヘッドマウントディスプレイ装置（ＨＭＤ装置）
１１ 制御部
１１ａ 前眼画像取得部
１１ｂ 視線検出情報抽出部
１１ｃ 撮影制御部
１１ｄ 明るさ検出情報抽出部
１２ 記憶部
１２ａ 撮影制御プログラム
１２ｂ 撮影方向制御情報
１２ｃ 焦点制御情報
１２ｄ 明るさ制御情報
１３ 前方撮影部
１３Ｒ 右視点撮影装置
１３Ｌ 左視点撮影装置
１３１Ｌ，１３１Ｒ レンズユニット
１３２Ｌ，１３２Ｒ 信号処理部
１３３Ｌ，１３３Ｒ レンズ駆動部
１４ 表示部
１４Ｌ 左視点表示装置
１４Ｒ 右視点表示装置
１５ 前眼部分撮影部
１５Ｌ 左眼撮影装置
１５Ｒ 右眼撮影装置
１５１Ｌ，１５１Ｒ レンズユニット
１５２Ｌ，１５２Ｒ 信号処理部
ＦＰ フェイスパッド
Ｓ ストラップ
Ａ アジャスタ

Claims (9)

1. 装着者の前方を撮影する前方撮影手段と、
   前記前方撮影手段によって撮影された装着者の前方を表す前方画像を表示する表示手段と、
   装着者の左右の前眼部分を撮影する前眼部分撮影手段と、
   前記前眼部分撮影手段によって撮影された前眼部分を表す前眼画像を取得する前眼画像取得手段と、
   前記前眼画像取得手段によって取得された前記前眼画像から、装着者の動点の位置を前記表示手段に向けられた装着者の視線を検出するための視線検出情報として抽出する視線検出情報抽出手段と、
   前記視線検出情報抽出手段によって抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を前記前方撮影手段に行わせる撮影制御手段と、を備え、
   前記前方撮影手段の撮影方向を変更する必要があるか否かと前記動点の位置との対応関係を記憶し、
   前記撮影制御手段は、前記対応関係を参照して、前記視線検出情報抽出手段によって抽出された動点の位置に応じて前記前方撮影手段の撮影方向を変更する必要があるか否かを判別し、その判別結果に従って前記前方撮影手段の撮影方向を変更する、
   ことを特徴とするヘッドマウントディスプレイ装置。
2. 前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された動点の位置に応じて、前記前方撮影手段の焦点を調整する、
   ことを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。
3. 前記動点の位置と装着者の視線がなす角度との対応関係、及び、前記装着者の視線がなす角度が変化しているか否かを判別するための基準の角度を記憶し、
   前記撮影制御手段は、前記対応関係を参照して、前記視線検出情報抽出手段によって抽出された動点の位置に応じて前記装着者の視線がなす角度を読み出し、読み出した角度と前記基準の角度とから焦点を調整するか否かを判別し、その判別結果に従って前記前方撮影手段の焦点を調整する、
   ことを特徴とする請求項２に記載のヘッドマウントディスプレイ装置。
4. 前記視線検出情報抽出手段は、装着者の水晶体の厚さを前記視線検出情報として抽出し、
   前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された水晶体の厚さに応じて、前記前方撮影手段の焦点を調整する、
   ことを特徴とする請求項１に記載のヘッドマウントディスプレイ装置。
5. 前記水晶体の厚さが変化しているか否かを判別するための基準の厚さを記憶し、
   前記撮影制御手段は、前記視線検出情報抽出手段によって抽出された前記水晶体の厚さと前記基準の厚さとから焦点を調整するか否かを判別し、その判別結果に従って前記前方撮影手段の焦点を調整する、
   ことを特徴とする請求項４に記載のヘッドマウントディスプレイ装置。
6. 前記前眼画像取得手段によって取得された前記前眼画像から、前記前方画像の明るさを検出するための明るさ検出情報を抽出する明るさ検出情報抽出手段を備え、
   前記撮影制御手段は、前記明るさ検出情報抽出手段によって抽出された前記明るさ検出情報に基づいて、前記前方画像の明るさを変更する、
   ことを特徴とする請求項１乃至５の何れか１項に記載のヘッドマウントディスプレイ装置。
7. 前記明るさ検出情報抽出手段は、装着者の瞳孔径と瞼裂高径の少なくとも何れかを前記明るさ検出情報として抽出する、
   ことを特徴とする請求項６に記載のヘッドマウントディスプレイ装置。
8. 前眼画像取得部が、装着者の左右の前眼部分を表す前眼画像を取得する前眼画像取得ステップと、
   視線検出情報抽出部が、前記前眼画像取得ステップで取得された前記前眼画像から、装着者の動点の位置を装着者の視線を検出するための視線検出情報として抽出する視線検出情報抽出ステップと、
   撮影制御部が、前記視線検出情報抽出ステップで抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を装着者の前方を撮影する前方撮影部に行わせる撮影制御ステップと、を有し、
   前記撮影制御ステップでは、前記前方撮影部の撮影方向を変更する必要があるか否かと前記動点の位置との対応関係を参照して、前記視線検出情報抽出ステップで抽出された動点の位置に応じて前記前方撮影部の撮影方向を変更する必要があるか否かを判別し、その判別結果に従って撮影方向を変更する、
   ことを特徴とする撮影制御方法。
9. コンピュータを、
   装着者の左右の前眼部分を表す前眼画像を取得する前眼画像取得手段、
   前記前眼画像取得手段によって取得された前記前眼画像から、装着者の動点の位置を装着者の視線を検出するための視線検出情報として抽出する視線検出情報抽出手段、
   前記視線検出情報抽出手段によって抽出された前記視線検出情報に基づいて、装着者の視線に応じた撮影を装着者の前方を撮影する前方撮影部に行わせる撮影制御手段、として機能させ、
   前記コンピュータに前記前方撮影部の撮影方向を変更する必要があるか否かと前記動点の位置との対応関係を記憶させ、
   前記撮影制御手段は、前記対応関係を参照して、前記視線検出情報抽出手段によって抽出された動点の位置に応じて前記前方撮影部の撮影方向を変更する必要があるか否かを判別し、その判別結果に従って前記前方撮影部の撮影方向を変更する、
   ことを特徴とするプログラム。

Images