JP6277673B2 - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents

Description

本発明は、頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。頭部装着型表示装置を操作するための入力装置として、例えば、キーボード、マウス、トラックパッド、等が知られている。他方、使用者の眼の状態を検出して、検出した眼の状態に基づいて撮像して、外景を撮像するカメラが知られている。

特許文献１には、使用者の一方の眼にコンテンツ等の画像を視認させる頭部装着型表示装置において、一方の眼の眼球運動を撮像すると共に、もう一方の眼のまぶたの動作を撮像し、撮像した眼球運動およびまぶたの動作に基づいて使用者に視認させる画像を制御する技術について開示されている。また、特許文献２には、頭部装着型表示装置において、使用者から所定の距離内にある平面に、キーボード等のユーザーインターフェースの画像を使用者に視認させ、ユーザーインターフェースに対する使用者の入力操作を検出することで、頭部装着型表示装置を操作する技術について開示されている。また、特許文献３には、頭部装着型表示装置に対する入力装置であるキーボードと、使用者が触れているキーボードのキーを画像として使用者に視認させる技術について開示されている。

特許文献４には、使用者の眼のウインクを検出して、検出したウインクに基づいて外景を撮像するカメラにおいて、撮影モードを、ウインクを検出してから所定の期間が遅延した後に撮像する遅延モードと、遅延なしに撮像する非遅延モードと、を選択できる技術について開示されている。また、特許文献５には、検出した使用者の眼のウインクに基づいて外景を撮像することにより、撮像時の手振れを抑制するカメラについて開示されている。また、特許文献６には、使用者の一方の眼にコンテンツ等の画像を視認させる頭部装着型表示装置において、一方の眼の眼球運動を撮像すると共に、もう一方の眼のまぶたの動作を撮像し、撮像した眼球運動およびまぶたの動作に基づいて使用者に視認させる画像を設定する技術について開示されている。

特許文献７には、ユーザーインターフェースとしてのポインターの画像を使用者に視認させる頭部装着型表示装置において、使用者が所定の時間以上固視した位置が検出され、検出された位置にポインターを表示し、その後、使用者が固視する位置が変わった場合に、ポインターが表示された状態で使用者の操作を受け付けるトラックボールがクリックされると、位置が変わった使用者が固視する位置にポインターを移動させて表示させる技術が開示されている。特許文献８には、複数の仮想ウィンドウを表示するディスプレイ上において、使用者が特定のウィンドウの一部を凝視した場合に、凝視された特定のウィンドウをアクティブかさせるか否かのメッセージを表示する技術が開示されている。

特開２０１０−１５２４４３号公報 特開２００２−３１８６５２号公報 特開２００３−９１３５３号公報 特開２０１０−４１６４３号公報 特開平６−２０８１５８号公報 特開２０１０−１５２４４３号公報 特開平９−１２８１３８号公報 特開平９−２０４２８７号公報

吉田久准、小濱剛、"目の動きから心の変化＝脳の活動をとらえる"、［online］、［平成２５年１０月１７日検索］、インターネット〈http://www.waka.kindai.ac.jp/topics/20110609_3.html〉 渡邊淳司、「視覚情報提示のための時空間統合知覚特性の研究」、博士論文、東京大学大学院情報理工学系研究科 システム情報学専攻、［online］、［平成２５年１０月１７日検索］、インターネット、〈http://www.junji.org/papers/DoctorThesis.pdf〉

しかし、特許文献１に記載された頭部装着型表示装置では、使用者の眼の眼球運動に基づいて使用者に視認させる画像が制御されるが、使用者の眼球運動によって、頭部装着型表示装置における画像の制御以外の操作を行ないたいとの要望があった。また、一方の眼の眼球運動だけでなく、両眼の眼球運動を含む色々な動きによって頭部装着型表示装置の操作を行ないたいという要望があった。また、特許文献２に記載された技術では、使用者から所定の距離以内に平面がない場合には、ユーザーインターフェースの画像を使用者に視認させることができない場合があり、利便性に改善の余地があった。また、特許文献３に記載された技術では、使用者は入力装置であるキーボードに触れているキーを視認できるが、キーボード等の入力装置が不要な状態で、使用者が手を使わずに、頭部装着型装置を操作したいとの要望があった。なお、上述の課題は、頭部装着型表示装置に限らず、入力装置を使用者に視認させることができる表示装置に共通する課題であった。

また、特許文献４および特許文献５に記載された技術では、使用者は、外景を撮像する場合に、ファインダーを見ることで撮像される画像を確認しなければならず、撮像時の操作性に向上の余地があった。また、使用者の眼のまぶたの状態に基づいてカメラの撮像機能が制御されているが、まぶたの状態に基づいて撮像機能以外の機能を制御したいとの要望があった。また、特許文献６に記載された頭部装着型表示装置では、使用者の眼の眼球運動に基づいて視認される画像が設定されるが、眼球運動による操作が難しい場合もあり、より簡便な操作方法が望まれていた。

また、特許文献７に記載された技術では、使用者がポインターを移動させる操作については使用者の視線位置によって行なわれるが、ポインター移動後の入力等の操作については視線位置以外の操作によって行なわれるため、視線位置等によって入力等の操作も行ないたいという課題があった。また、特許文献８に記載された技術では、使用者の凝視することで、複数の仮想ウィンドウから特定のウィンドウを選択されるが、使用者の視線によってウィンドウの選択以外の操作を行ないたいという課題があった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭部に装着された状態において、画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と；使用者の視線方向と、使用者の眼から所定の距離にある使用者の視線を遮る遮蔽物と、の少なくとも一方を検出する検出部と；前記検出された検出結果に基づいて前記画像光の制御を行なう制御部と、を備える。

（２）上記形態の頭部装着型表示装置において、前記画像表示部は、前記画像光として、複数の選択可能なオブジェクトと、検出された前記視線方向に対応した位置を示すポインターと、を使用者に視認させ；前記制御部は、前記頭部装着型表示装置に対して、複数の前記オブジェクトと前記ポインターとの位置関係に応じた内容の制御を行なう。この形態の頭部装着型表示装置によれば、使用者の視線方向に基づいて、使用者が手を使わなくても頭部装着型表示装置の各種制御を行なうことができ、使用者の操作性が向上する。また、物体として形を持ったキーボード等のユーザーインターフェースがなくても、使用者が頭部装着型表示装置の制御を行なうことができ、頭部装着型表示装置の携帯性が向上する。

（３）上記形態の頭部装着型表示装置によれば、前記検出部は、前記視線方向上の前記遮蔽物を検出し；前記制御部は、前記制御として、前記位置関係に基づいて一の前記オブジェクトの選択を行ない、前記遮蔽物の検出結果に基づいて選択した前記オブジェクトの決定を行なってもよい。この形態の頭部装着型表示装置によれば、使用者の視線方向と視線方向上に存在する遮蔽物に基づいて頭部装着型表示装置が制御されるため、使用者は全く手を使わずに頭部装着型表示装置を制御でき、使用者の操作性が向上する。

（４）上記形態の頭部装着型表示装置によれば、前記検出部は、前記遮蔽物としての使用者のまぶたの状態を検出し；前記制御部は、検出された前記まぶたの状態と前記位置関係とに応じた内容の制御を行なってもよい。この形態の頭部装着型表示装置によれば、使用者の視線方向と両まぶたの開閉状態に基づいて頭部装着型表示装置が制御されるため、使用者は全く手を使わずに頭部装着型表示装置を制御でき、使用者の操作性が向上する。

（５）上記形態の頭部装着型表示装置によれば、前記検出部は、使用者の右まぶたの開閉状態と左まぶたの開閉状態とを検出し；前記制御部は、前記位置関係と、検出された前記右まぶたの開閉状態と前記左まぶたの開閉状態との組み合わせと、に応じた内容の制御を行なってもよい。この形態の頭部装着型表示装置によれば、両まぶたの開閉状態の組み合わせに基づいて、頭部装着型表示装置の制御が行なわれるため、操作の種類に対応した多くの決定の組み合わせを使用者に提供でき、使用者の操作性が向上する。

（６）上記形態の頭部装着型表示装置によれば、前記検出部は、使用者の右眼と左眼とのそれぞれから前記所定の距離までの範囲における色または照度の少なくとも一方を示す右眼前指標値と左眼前指標値とを検出し；前記制御部は、前記位置関係と、検出された前記右眼前指標値と前記左眼前指標値と、に応じた内容の制御を行なってもよい。この形態の頭部装着型表示装置によれば、使用者は、まぶたの状態による操作に疲れた場合に、手のひら等の体の一部を用いて感覚的に操作を行なうことができ、使用者の利便性が向上する。

（７）上記形態の頭部装着型表示装置によれば、前記画像表示部は、前記画像光を生成する領域を、検出された前記視線方向と前記遮蔽物の検出結果とに基づいて設定してもよい。この形態の頭部装着型表示装置によれば、使用者の意思に基づいて画像光が生成される位置を、使用者は手などを使わずに設定できるため、使用者の操作性および利便性が向上する。

（８）上記形態の頭部装着型表示装置によれば、さらに；外景を撮像する撮像部と；撮像される外景に含まれ、前記所定の距離よりも離れた位置に存在する特定の対象を認識する画像認識部と、を備え；前記画像表示部は、認識された前記特定の対象に基づいて、前記画像光を生成する領域を設定してもよい。この形態の頭部装着型表示装置によれば、画像認識部が認識した特定の対象に基づいて画像光が生成される領域が設定されるため、使用者は、感覚的に画像光の大きさを設定することができ、使用者の利便性が向上する。また、画像光の生成有無について、使用者は、特定の対象を所定の距離に配置するだけでよいので、使用者の利便性が向上する。

（９）上記形態の頭部装着型表示装置によれば、さらに；使用者の頭部の向きを検出する向き検出部を備え；前記画像表示部は、検出された前記頭部の向きに基づいて、前記画像光を生成する領域を設定してもよい。この形態の頭部装着型表示装置によれば、使用者が頭部の向きを変更して、使用者が視認したい対象が変更されたことが検出され、使用者の視界を妨げない位置に自動的に画像光が生成されるため、使用者の利便性が向上する。

（１０）上記形態の頭部装着型表示装置において、さらに、外景を撮像する撮像部を備え；前記制御部は、前記制御として、前記遮蔽物の検出結果に基づいて前記撮像部の操作を行ない；前記画像表示部は、撮像領域を示す画像光である領域画像光を生成してもよい。この形態の頭部装着型表示装置によれば、使用者が外景を視認しながら撮像することで、撮像する外景の少なくとも一部の領域を表わす領域画像光が使用者に視認される。よって、使用者は、わざわざファインダー等をのぞかずに、外景を視認しながら撮像することで、撮像するタイミングを容易に計ることができ、使用者の利便性が向上する。また、使用者は、撮像部に触らないで、外景を撮像できるので、手振れを抑制して撮像できる。

（１１）上記形態の頭部装着型表示装置において、前記検出部は、前記遮蔽物としての使用者のまぶたの状態を検出し；前記制御部は、検出された前記まぶたの状態に基づいて前記操作を行なってもよい。この形態の頭部装着型表示装置によれば、使用者が手を使わないで、撮像部を用いて外景を撮像でき、使用者の利便性が向上する。

（１２）上記形態の頭部装着型表示装置において、前記検出部は、使用者の右まぶたの開閉状態と左まぶたの開閉状態とを検出し；前記制御部は、検出された前記右まぶたの開閉状態と前記左まぶたの開閉状態との組み合わせに基づいて前記操作を行なってもよい。この形態の頭部装着型表示装置によれば、使用者が手を使わないで、撮像部を用いて外景を撮像でき、使用者の利便性が向上する。

（１３）上記形態の頭部装着型表示装置において、前記画像表示部は、撮像される外景に対する前記視線方向に対応した位置を表わす画像光である視線位置画像光を生成して前記視線位置画像光を使用者に視認させ；前記制御部は、検出された前記視線方向と前記組み合わせとに基づいて、撮像される外景の一部の領域を設定し；前記領域画像光は、設定された前記一部の領域を示す画像光であってもよい。この形態の頭部装着型表示装置によれば、使用者が手を使わないで、撮像部が撮像する一部の領域を設定して、設定された一部の領域の画像を表わす領域画像光を使用者に視認させることができ、使用者の使い勝手、利便性、操作性が向上する。

（１４）上記形態の頭部装着型表示装置において、前記操作は、前記撮像部のレンズの焦点距離の調整を含み；前記領域画像光は、前記焦点距離が所定の距離に含まれる場合には、前記領域画像光を前記一部の領域における周辺部分に生成し、前記焦点距離が前記所定の距離に含まれない場合には、前記領域画像光を前記一部の領域の外景画像を表わす外景画像光を生成してもよい。この形態の頭部装着型表示装置によれば、使用者が手を使わないで撮像部の焦点距離を設定できるため、使用者の利便性が向上する。また、設定された焦点距離が視認される外景と同じような外景となる焦点距離である場合には、領域画像光は、一部の領域を示す画像光である。また、設定された焦点距離が視認される外景と異なるような外景となる焦点距離である場合には、領域画像光は、一部の領域の外景画像を表わす外景画像光である。よって、使用者が視認する外景と領域画像光との比較に応じて、画像表示部が画像光を生成するため、使用者の視認性および操作性が向上する。

（１５）上記形態の頭部装着型表示装置において、前記検出部は、使用者の右眼と左眼とのそれぞれから前記所定の距離までの範囲における色または照度の少なくとも一方を示す右眼前指標値と左眼前指標値とを検出し；前記制御部は、検出された前記右眼前指標値と前記左眼前指標値とに基づいて前記操作を行なってもよい。この形態の頭部装着型表示装置によれば、使用者は、ウインク等のまぶたの状態の変化による操作に対して疲れた場合に、手などの体の一部を用いて、まぶたの状態の変化と同じような操作を感覚的に行なうことができ、使用者の利便性が向上する。

（１６）上記形態の頭部装着型表示装置において、さらに；前記操作に基づいて、撮像される外景に含まれる特定の対象を認識する画像認識部を備え；前記制御部は、撮像される外景に前記特定の対象が認識される場合には、前記特定の対象に基づいて、撮像される外景の一部の領域を設定し；前記外景画像光は、設定された前記一部の領域を表わす画像光であってもよい。この形態の頭部装着型表示装置によれば、特定の対象が撮像される外景に含まれない場合であっても、自動で特定の対象の位置が推定されて、特定の対象が撮像されるため、使用者の利便性が向上する。

（１７）上記形態の頭部装着型表示装置において、前記制御部は、撮像される外景に前記特定の対象が認識されない場合には、撮像される外景に前記特定の対象が認識されているときの前記特定の対象の位置の変化に基づいて、前記撮像部から前記特定の対象までの方向を推定し；前記撮像部は、推定された方向を撮像してもよい。この形態の頭部装着型表示装置によれば、発信機等を特定の対象に装着させなくても、特定の対象が画像認識されることで、特定の対象が自動で追尾されて撮像されるので、使用者の使い勝手および操作性が向上する。また、使用者が視認する外景と異なる特定の対象を含む外景を表わす画像光が使用者に視認されるため、使用者は、特定の対象を撮像する場合でも、特定の対象を視認する必要がなく、使用者の利便性が向上する。

（１８）上記形態の頭部装着型表示装置において、さらに；重力方向に対する使用者の頭部の向きを検出する向き検出部を備え；前記画像表示部は、検出された前記頭部の向きと前記重力方向とがなす角度が所定値以上である場合に、前記角度に基づいて、前記領域画像光を、前記重力方向に直交する水平面に平行な軸を光軸として撮像される外景の全部または一部の領域を示す画像光として生成してもよい。この形態の頭部装着型表示装置によれば、使用者の頭部の向きが一時的に変更された場合であっても、撮像部が水平面に平行な軸を光軸とする外景を撮像するので、使用者の使い勝手が向上する。

（１９）上記形態の頭部装着型表示装置において、前記検出部は、使用者が前記特定の点を注視している場合における視線の揺らぎを検出し；前記制御部は、前記視線の揺らぎに基づいて前記制御を行なってもよい。この形態の頭部装着型表示装置によれば、使用者の視線の揺らぎを考慮した視線方向に基づいて画像光の制御が行なわれるため、制御の精度を向上させることができる。

（２０）上記形態の頭部装着型表示装置において、前記制御部は、前記視線の揺らぎの振幅が閾値未満である場合には、使用者が前記特定の点を注視していると判定してもよい。この形態の頭部装着型表示装置によれば、振幅の設定によって、使用者が特定の点を注視しているか否かの判定を簡便に行なえる。

（２１）上記形態の頭部装着型表示装置において、前記制御部は、前記視線方向が所定の期間に前記特定の点を中心とする所定の範囲内に収まっている場合には、使用者が前記特定の点を注視していると判定してもよい。この形態の頭部装着型表示装置によれば、所定の範囲の設定によって、使用者が特定の点を注視しているか否かの判定を簡便に行なえる。

（２２）上記形態の頭部装着型表示装置において、前記画像表示部は、前記画像光として、前記所定の範囲を示す画像光を使用者に視認させてもよい。この形態の頭部装着型表示装置によれば、使用者が特定の点を注視しているか否かの程度が所定の範囲を示す画像光によって使用者に視認させることができ、使用者の利便性が向上する。

（２３）上記形態の頭部装着型表示装置において、さらに；音声を出力する音声出力部を備え；前記制御部は、前記視線方向が前記所定の期間に前記所定の範囲内に収まっている場合には、前記音声出力部に特定の音声を出力させてもよい。この形態の頭部装着型表示装置によれば、使用者が画像光を制御可能な状態であることを音声によって使用者に認識させることができ、使用者の利便性が向上する。

（２４）上記形態の頭部装着型表示装置において、前記画像表示部は、前記画像光として、複数の選択可能なオブジェクトと、検出された前記視線方向に対応した位置を示すポインターと、を使用者に視認させ；前記制御部は、使用者が前記特定の点を注視していると判定した場合に、前記オブジェクトを選択可能にさせてもよい。この形態の頭部装着型表示装置によれば、使用者が画像光における選択可能なオブジェクトを注視していないにもかかわらず、当該オブジェクトが選択される誤操作を防止でき、使用者の意図を反映した正確な操作が行なわれる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、検出部と、制御部と、の３つ要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、検出部を有していてもよく、有していなくてもよい。また、装置は、制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、使用者の頭部に装着された状態において、画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させてもよい。検出部は、例えば、使用者の視線方向と、使用者の眼から所定の距離にある使用者の視線を遮る遮蔽物と、の少なくとも一方を検出してもよい。制御部は、例えば、前記検出された検出結果に基づいて前記画像光の制御を行なってもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、頭部装着型表示システム、表示装置、頭部装着型表示システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

頭部装着型表示装置１００の外観構成を示す説明図である。 頭部装着型表示装置１００の構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 視線操作入力処理の流れを示す説明図である。 視線操作入力処理の流れを示す説明図である。 大きさが調整される前の制御用画像ＣＩの一例を示す説明図である。 大きさが調整された後の制御用画像ＣＩの一例を示す説明図である。 第２実施形態における頭部装着型表示装置１００ａの概観構成を示す説明図である。 画像表示部２０ａにおける各種センサーと使用者のまぶたとの関係の概略を示す説明図である。 頭部装着型表示装置１００ａの構成を機能的に示すブロック図である。 撮像画像表示処理の流れを示す説明図である。 撮像画像表示処理の流れを示す説明図である。 撮像画像表示処理におけるまぶたの開閉状態に割り当てられた処理の一例を示す説明図である。 使用者が視認する視野ＶＲの一例を示す説明図である。 使用者が視認する視野ＶＲの一例を示す説明図である。 使用者が視認する視野ＶＲの一例を示す説明図である。 使用者が視認する視野ＶＲの一例を示す説明図である。 使用者が視認する視野ＶＲの一例を示す説明図である。 使用者が視認する視野ＶＲの一例を示す説明図である。 使用者が視認する視野ＶＲの一例を示す説明図である。 固視微動の概略を示す説明図である。 固視微動の概略を示す説明図である。 使用者が視線方向を移動させたときの経過時間と視線移動量との関係の一例を示す説明図である。 使用者が視線方向を移動させたときの経過時間に対する視線移動量および移動量変化量の関係の一例を示す説明図である。 第３実施形態における制御用画像表示処理の流れを示す説明図である。 使用者が視認する視野ＶＲの一例を示す説明図である。 画像表示部２０に表示される制御用画像ＣＩａの一例を示す説明図である。 画像表示部２０に表示される制御用画像ＣＩｂの一例を示す説明図である。 撮像調整モードにおいて使用者が視認する視野ＶＲの一例を示す説明図である。 変形例における頭部装着型表示装置の外観構成を示す説明図である。

次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
Ａ−２．視線操作入力処理：
Ｂ．第２実施形態：
Ｃ．第３実施形態：
Ｄ．変形例：

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、外景撮像カメラ６１と、距離センサー６３と、右眼撮像カメラ３７と、左眼撮像カメラ３８と、右眼照度センサー４５と、左眼照度センサー４７と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図３参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

外景撮像カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。外景撮像カメラ６１は、外部の景色である外景を撮像し、外景画像を取得する。本実施形態における外景撮像カメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。外景撮像カメラ６１は、請求項における撮像部に相当する。

距離センサー６３は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。距離センサー６３は、赤外線を発光すると共に、対象物に反射した赤外線を受光し、反射光の受光位置に基づいて、距離センサー６３と対象物との距離を測定する赤外線距離センサーである。本実施形態で用いられる距離センサー６３は、特定の位置における距離センサー６３と対象物との距離を測定することで、距離センサー６３から所定の距離にある対象物を検出する。他の実施形態では、距離センサー６３は、複数の発光部を有し、対象物の大きさや位置も測定する赤外線距離センサーであってもよい。また、距離センサー６３は、赤外線センサーではなく、光学センサーや超音波センサーであってもよい。距離センサー６３は、請求項における画像認識部に相当する。

右眼撮像カメラ３７および左眼撮像カメラ３８（以降、「眼撮像カメラ３７，３８」とも呼ぶ）は、使用者の右眼および左眼のそれぞれを撮像する小型のＣＣＤカメラである。右眼照度センサー４５および左眼照度センサー４７（以降、「照度センサー４５，４７」とも呼ぶ）は、使用者の右眼および左眼のそれぞれが視認する外景の照度を検出するセンサーである。なお、眼撮像カメラ３７，３８は、請求項における検出部に相当する。また、照度センサー４５，４７は、請求項における検出部に相当し、右眼照度センサー４５が検出する照度および左眼照度センサー４７が検出する照度のそれぞれは、請求項における右眼前指標値および左眼前指標値に相当する。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図２は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、操作部１３５に配置されたトラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、方向判定部１６１、照度処理部１４５、画像判定部１４２、視線入力部１７５、画像処理部１６０、として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

方向判定部１６１は、後述する９軸センサー６６が検出した画像表示部２０の向きに基づいて推定された使用者の頭部の傾きと、重力方向および重力方向に直交する水平面と、がなす角度を算出する。なお、方向判定部１６１および９軸センサー６６は、請求項における向き検出部に相当する。

照度処理部１４５は、照度センサー４５，４７のそれぞれが検出した使用者の右眼および左眼に視認される外景の照度に対して各種計算を行なう。本実施形態における照度処理部１４５は、右眼の外景の照度と左眼の外景の照度との差、および、一定期間において検出された照度の変化を算出する。照度処理部１４５は、算出した照度の差、および、照度が変化する前後の照度の差が予め設定された閾値以上であるか否かを判定する。例えば、昼の晴天下で、使用者が自分の手などで右光学像表示部２６または左光学像表示部２８のいずれか一方のみを覆った場合に、照度処理部１４５は、右眼の外景の照度と左眼の外景の照度とに閾値以上の差があると判定する。なお、照度処理部１４５は、請求項における検出部に相当する。

画像判定部１４２は、眼撮像カメラ３７，３８のそれぞれが撮像した使用者の右眼および左眼の画像を解析することで、右眼および左眼のそれぞれにおけるまぶたの開閉具合を判定し、また、視線方向を検出する。画像判定部１４２は、眼撮像カメラ３７，３８が撮像した使用者の右眼および左眼のそれぞれに対して、まぶたの開閉状態のパターンマッチングを行なうことで、まぶたが閉じている状態やまぶたが半分閉じている薄目の状態等を判定する。また、画像判定部１４２は、距離センサー６３が検出した対象物に対して、予め登録された設定対象物と同じであるかのパターンマッチングを行なう。なお、画像判定部１４２は、請求項における検出部および画像認識部に相当する。

視線入力部１７５は、照度処理部１４５が算出した照度の差および照度の変化、画像判定部１４２が判定したまぶたの開閉状態等、に基づいて、画像表示部２０に対して、使用者からの入力を受け付ける制御用画像を表示させる。画像表示部２０に表示される制御用画像には、複数の選択可能なボタンと、検出された視線方向に対応する位置を表わす位置画像と、が含まれている。視線入力部１７５は、まぶたの開閉状態、視線方向等に基づいて、頭部装着型表示装置１００、および、頭部装着型表示装置１００に接続された各種装置を制御する。なお、頭部装着型表示装置１００に接続された装置とは、直接、コード等で接続されている装置に限られず、無線通信部１３２を介して通信される装置も含まれる。視線入力部１７５は、請求項における制御部に相当する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データＤａｔａ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、外景撮像カメラ６１と、距離センサー６３と、９軸センサー６６と、右眼撮像カメラ３７と、左眼撮像カメラ３８と、右眼照度センサー４５と、左眼照度センサー４７と、を備えている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部２０の向きが特定され、方向判定部１６１は、使用者の頭部の向きを推定する。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２０２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．視線操作入力処理：
図４および図５は、視線操作入力処理の流れを示す説明図である。視線操作入力処理では、予め定められた使用者のまぶたの状態が検出されると、画像表示部２０の表示モードが視線入力モードへと移行し、使用者は、手を使わずにまぶたの開閉状態に基づいて頭部装着型表示装置１００等の制御を行なうことができる。初めに、眼撮像カメラ３７，３８は、所定の期間に予め定められた使用者のまぶたの状態が検出されるかを監視する（ステップＳ３１０）。本実施形態では、予め定められたまぶたの状態は、使用者の利き目である右眼が開いた状態、かつ、利き目ではない左眼のまぶたが閉じた状態、の組み合わせである。なお、一般に、利き目は、利き目でないもう一方の眼に比べて、外景を視認しやすく、利き目でないもう一方の眼は、利き目に比べて、まぶたを閉じやすい。そのため、本実施形態では、予め定められたまぶたの状態の組み合わせは、使用者にとって使い勝手が良い。利き目と利き目でないもう一方の眼とは、使用者が予め設定してもよいし、他の実施形態では、まぶたの状態の組み合わせは、利き目に限られず、右まぶたと左まぶたとの状態の組み合わせであってもよい。

ステップＳ３１０の処理において、所定の期間に予め定められたまぶたの状態が検出されない場合には（ステップＳ３１０：ＮＯ）、眼撮像カメラ３７，３８は、引き続き、まぶたの状態を監視する（ステップＳ３１０）。所定の期間に予め定められたまぶたの状態が検出されると（ステップＳ３１０：ＹＥＳ）、画像表示部２０は、表示モードを視線入力モードへと移行する。（ステップＳ３２０）。視線入力モードでは、画像表示部２０が制御用画像を表示する。視線入力部１７５は、使用者の視線方向に対応する位置を示す位置画像を含む制御用画像と使用者のまぶたの開閉状態とに基づいて、頭部装着型表示装置１００、および、頭部装着型表示装置１００に接続された各種装置を制御する。なお、視線入力モードを含め、以降で示す画像表示部２０の表示モードでは、各表示モードへと移行した後に、使用者の両まぶたが開いた状態である通常の状態に変化しても、他の表示モードへと移行しない。画像表示部２０は、表示モードを変更する特定のまぶたの状態が検出された場合のみ、他の表示モードへと移行する。

次に、距離センサー６３は、距離センサー６３から所定の距離にある特定の対象物の検出を監視する（ステップＳ３３０）。特定の対象物が検出されない場合には（ステップＳ３３０：ＮＯ）、引き続き、距離センサー６３は、特定の対象物の検出を監視する（ステップＳ３３０）。特定の対象物が検出されると（ステップＳ３３０：ＹＥＳ）、画像判定部１４２は、パターンマッチングによって、特定の対象物が予め設定された設定対象物であるかの判定を行なう（ステップＳ３４０）。本実施形態では、設定対象物として、人の手のひらが予め設定されているが、他の実施形態では、手のひら以外の対象物であってもよいし、設定対象物を使用者が任意に変更できる態様であってもよい。

ステップＳ３４０の処理において、検出された特定の対象物が設定対象物でないと判定された場合には（ステップＳ３４０：ＮＯ）、再度、距離センサー６３は、検出された特定の対象物とは異なる対象物の検出を監視する（ステップＳ３３０）。特定の対象物が設定対象物であると判定された場合には（ステップＳ３４０：ＹＥＳ）、画像判定部１４２は、特定の対象物の大きさが予め定められた所定の大きさ以上であるか否かの判定を行なう（ステップＳ３５０）。画像表示部２０は、撮像された特定の対象物の大きさに応じて設定した制御用画像を表示する。

特定の対象物の大きさが所定の大きさ以上ではないと判定された場合には（ステップＳ３５０：ＮＯ）、画像判定部１４２は、検出された特定の対象物に合わせて、制御用画像の大きさを調整する（ステップＳ３６０）。制御用画像の大きさが調整された場合（ステップＳ３６０）、または、ステップＳ３４０の処理において、制御用画像の大きさが所定の大きさ以上であると判定された場合には(ステップＳ３４０：ＹＥＳ)、画像表示部２０は、検出された使用者の視線方向を示す位置画像を含む制御用画像を表示する（ステップＳ３７０）。

図６は、大きさが調整される前の制御用画像ＣＩの一例を示す説明図である。図６には、制御用画像ＣＩの大きさが調整される前に、仮に、制御用画像ＣＩが画像表示部２０に表示された場合に、使用者が視認する視野ＶＲが示されている。なお、制御用画像ＣＩは、所定の大きさ以上ではないと判断された場合には、画像表示部２０に表示されない。そのため、大きさが調整される前の制御用画像ＣＩは、使用者に視認されることはない。図６に示すように、使用者の視野ＶＲでは、透過された外景ＳＣが視認され、外景ＳＣには、使用者の手のひらＨＤが含まれている。なお、最大画像表示領域ＰＮは、画像表示部２０が生成した画像光を使用者に視認させることができる最大領域を示している。最大画像表示領域ＰＮの外枠は、使用者には視認されないが、図６では、便宜上、実線で示されている。

画像表示部２０が制御用画像ＣＩを表示する場合、初めに、画像判定部１４２は、パターンマッチングにより検出した使用者の手のひらＨＤにおいて、予め設定された親指の先端ＳＰ１、人差し指の先端ＳＰ２、小指の先端ＳＰ３、の位置を検出する。画像表示部２０は、親指の先端ＳＰ１、人差し指の先端ＳＰ２、小指の先端ＳＰ３の内、少なくとも１つの先端を頂点とし、かつ、残り２つの先端を通り、最大画像表示領域ＰＮの横軸および縦軸と平行な線を外枠とする矩形状の制御用画像ＣＩを表示する。図６では、小指の先端ＳＰ３を頂点として、親指の先端ＳＰ１および人差し指の先端ＳＰ２を通る矩形状の制御用画像ＣＩが示されている。画像判定部１４２は、生成された制御用画像ＣＩの外枠の縦および横の辺の長さのそれぞれが所定の長さ以上であるか否かを判定することで、制御用画像ＣＩが所定の大きさ以上であるか否かを判定する。図６では、大きさを調整する前の制御用画像ＣＩにおける縦の外枠が所定の長さ未満であるため、制御用画像ＣＩが所定の大きさ以上ではないと判定され、画像表示部２０は、制御用画像ＣＩの大きさを調整して表示する。

図７は、大きさが調整された後の制御用画像ＣＩの一例を示す説明図である。図７には、画像表示部２０が大きさを調整した制御用画像ＣＩが表示され、使用者が視認する視野ＶＲが示されている。図７に示すように、画像表示部２０は、所定の長さ未満であると判定された縦の外枠を長くする調整を行なった制御用画像ＣＩを表示する。図６では、大きさが調整される前の制御用画像ＣＩが仮に表示された場合、制御用画像ＣＩが最大画像表示領域ＰＮにおける上の部分に生成されている。そのため、制御用画像ＣＩの大きさが調整された後では、図７に示すように、画像表示部２０は、制御用画像ＣＩの縦の外枠を下に延長して表示する。本実施形態では、延長される外枠の縦の長さは、予め制御用画像ＣＩが表示される場合に設定されている長さに対して足りない長さである。

図７に示すように、表示される制御用画像ＣＩには、ポインターＰ１と、キーボードＫＢと、入力スペースＩＢ１，ＩＢ２と、検索ボタンＢ１と、切替キーＢ２と、メニュー切替キーＢ３と、が含まれている。ポインターＰ１は、制御用画像ＣＩにおける使用者の視線方向に対応する位置を表わす位置画像である。キーボードＫＢは、アルファベットが配置されているキーボードであり、キーボードＫＢとポインターＰ１とを用いて入力された文字が入力スペースＩＢ１，ＩＢ２に表示される。キーボードＫＢは、アルファベットの大文字と小文字とを切り替える切替キーＢ２を含んでいる。検索ボタンＢ１は、入力スペースＩＢ１，ＩＢ２に入力された文字に基づいてインターネットでの検索を実行するボタンである。メニュー切替キーＢ３は、制御用画像ＣＩを、例えば、特定のフォルダーに保存されたファイルの一覧を表示するといった、異なる制御用画像へと切り替えるボタンである。なお、キーボードＫＢに含まれる各アルファベットに対応するキー、検索ボタンＢ１、切替キーＢ２、および、メニュー切替キーＢ３は、請求項におけるオブジェクトに相当し、ポインターＰ１は、請求項におけるポインターに相当する。

制御用画像ＣＩが表示されると（図４のステップ３７０）、次に、視線入力部１７５は、使用者の視線方向とまぶたの状態とに基づく入力の検出を監視する（図５のステップＳ３８０）。本実施形態では、画像判定部１４２が撮像される使用者の右眼の視線方向を判定し、画像表示部２０は、右眼の視線方向に対応する位置にポインターＰ１を表示する。そのため、使用者の視線方向の変化に応じて、ポインターＰ１は、制御用画像ＣＩにおける位置を変更する。視線入力部１７５は、予め定められた決定の操作を示すまぶたの状態が検出されない場合には（ステップＳ３８０：ＮＯ）、引き続き、決定の操作を示すまぶたの状態の検出を監視する（ステップＳ３８０）。

ステップＳ３８０の処理において、ポインターＰ１が制御用画像ＣＩの選択可能なボタンと重なっている状態で、決定の操作を示すまぶたの状態である左まぶたが所定の期間閉じた状態で右まぶたの瞬きが検出された場合には（ステップＳ３８０：ＹＥＳ）、視線入力部１７５は、入力の操作を行なう。視線入力部１７５は、ポインターＰ１が重なっているキーを決定して入力の操作を行ない、画像表示部２０が入力結果を入力スペースＩＢ１，ＩＢ２に表示する（ステップＳ３９０）。図７に示すように、入力スペースＩＢ１，ＩＢ２には、アルファベットの大文字で、「Ａ」、「Ｂ」、「Ｃ」が入力されて表示されている。本実施形態では、切替キーＢ２が決定された後に、「ａ」のアルファベットが決定されると、画像表示部２０は、大文字の「Ａ」を入力スペースＩＢ１，ＩＢ２に表示する。そのため、図７における入力スペースＩＢ１，ＩＢ２の入力結果は、切替キーＢ２、「ａ」、切替キーＢ２、「ｂ」、切替キーＢ２、「ｃ」のキーが順番に選択された状態である。なお、他の実施形態では、切替キーＢ２が決定されると、それ以降のアルファベットの大小が入れ替わって固定されてもよいし、キーボードＫＢの各キーに表示された小文字のアルファベットが大文字に変化して表示されてもよい。

次に、眼撮像カメラ３７，３８は、入力スペースＩＢ１，ＩＢ２への入力を終了してインターネット検索を行なう操作を示すまぶたの状態の検出を監視する（図４のステップＳ４００）。インターネット検索を行なう操作を示すまぶたの状態が検出されない場合には（ステップＳ４００：ＮＯ）、引き続き、決定の操作を示すまぶたの状態の検出を監視する（ステップＳ３８０）。インターネット検索を行なう操作を示す検索ボタンＢ１を決定するまぶたの状態が検出されると（ステップＳ４００：ＹＥＳ）、制御部１０が無線通信部１３２を介してインターネット検索を行ない、画像表示部２０は、検索結果を表示する（ステップＳ４１０）。検索結果が表示されると、制御用画像ＣＩが表示された場合と同じように、画像判定部１４２が判定した視線方向の変化に基づいてポインターＰ１が表示される位置が変更される。また、決定を示すまぶたの状態が検出されると、視線入力部１７５は、表示された検索結果における選択可能なアイコン等とポインターＰ１との位置に基づいて各種操作を行なう。

次に、眼撮像カメラ３７，３８は、画像表示部２０に表示された検索結果を異なる表示画像へと変更する操作を示すまぶたの状態の検出を監視する（ステップＳ４２０）。表示された検索結果を変更する操作として、所定の時間に右まぶたが閉じた状態で左まぶたが開いた状態が検出されると（ステップＳ４２０：ＹＥＳ）、眼撮像カメラ３７，３８が入力の検出を監視する（ステップＳ３８０）。表示された検索結果を変更するまぶたの状態が検出されない場合には（ステップＳ４２０：ＮＯ）、眼撮像カメラ３７，３８は、視線操作入力処理を終了する操作を示すまぶたの状態の検出を監視する（ステップＳ４３０）。視線操作入力処理を終了する操作を示すまぶたの状態が検出されない場合には（ステップＳ４３０：ＮＯ）、眼撮像カメラ３７，３８が入力の検出を監視する（ステップＳ３８０）。視線操作入力を終了する操作として、両まぶたを所定の時間閉じた後に右まぶたのみを所定の時間開いた状態が検出されると（ステップＳ４３０：ＹＥＳ）、制御部１０は、視線操作入力処理を終了する。

以上説明したように、本実施形態における頭部装着型表示装置１００では、画像表示部２０は、ポインターＰ１と、キーボードＫＢと、入力スペースＩＢ１，ＩＢ２と、検索ボタンＢ１と、切替キーＢ２と、メニュー切替キーＢ３と、を含む制御用画像ＣＩを表示する。視線入力部１７５は、キーボードＫＢ等とポインターＰ１との位置関係に基づいて、頭部装着型表示装置１００を制御する。そのため、本実施形態における頭部装着型表示装置１００では、使用者の視線方向に基づいて、使用者が手を使わなくても頭部装着型表示装置１００の各種制御を行なうことができ、使用者の操作性が向上する。また、物体として形を持ったキーボード等のユーザーインターフェースがなくても、使用者が頭部装着型表示装置１００の制御を行なうことができ、頭部装着型表示装置１００の携帯性が向上する。

また、本実施形態における頭部装着型表示装置１００では、眼撮像カメラ３７，３８が使用者の右眼および左眼のそれぞれを撮像し、画像判定部１４２が両まぶたの開閉状態を判定する。視線入力部１７５は、キーボードＫＢとポインターＰ１の位置関係に基づいてキーボードＫＢにおけるアルファベットのキーを選択し、両まぶたの開閉状態に基づいて選択したキーの決定を行なう。そのため、本実施形態における頭部装着型表示装置１００では、使用者の視線方向と両まぶたの開閉状態に基づいて頭部装着型表示装置１００が制御されるため、使用者は全く手を使わずに頭部装着型表示装置１００を制御でき、使用者の操作性が向上する。また、両まぶたの開閉状態の組み合わせに基づいて、決定が行なわれるため、操作の種類に対応した多くの決定の組み合わせを使用者に提供でき、使用者の操作性が向上する。

また、本実施形態における頭部装着型表示装置１００では、画像判定部１４２は、距離センサー６３が検出した対象物に対して、予め登録された設定対象物と同じであるかのパターンマッチングを行なう。画像判定部１４２のパターンマッチングによって、特定の対象物が予め設定された設定対象物である場合に、画像表示部２０は、撮像された特定の対象物の大きさに応じて設定した制御用画像ＣＩを表示する。そのため、本実施形態の頭部装着型表示装置１００では、画像判定部１４２が認識した対象物の大きさに応じて制御用画像ＣＩの大きさを変更するため、使用者は、感覚的に制御用画像ＣＩの大きさを調整することができ、使用者の利便性が向上する。また、制御用画像ＣＩが非表示の状態から表示の状態へと変化させるために、使用者は、単に手のひらＨＤを目の前にかざすだけでよいので、使用者の利便性が向上する。

Ｂ．第２実施形態：
図８は、第２実施形態における頭部装着型表示装置１００ａの外観構成を示す説明図である。第２実施形態では、第１実施形態と比べて、外景撮像カメラ６１ａの形状がことなり、画像表示部２０ａにトラックパッド３６が形成されている。第２実施形態における外景撮像カメラ６１ａは、単眼カメラであるが、ステレオカメラであってもよい。第２実施形態で用いられる外景撮像カメラ６１ａの画角は、光軸を起点として、上下においてはそれぞれ４０度であり、左右においてはそれぞれ６０度である。

トラックパッド３６は、トラックパッド３６の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド３６は、使用者が画像表示部２０ａを頭部に装着した場合に、右表示駆動部２２に対向する使用者の側頭部と反対側の面に配置されている。トラックパッド３６としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。なお、第２実施形態では、トラックパッド３６は、右表示駆動部２２に配置されているが、他の実施形態では、左表示駆動部２４に配置されてもよいし、画像表示部２０ａに対して着脱可能な構成であってもよい。

図９は、画像表示部２０ａにおける各種センサーと使用者のまぶたとの関係の概略を示す説明図である。図９には、画像表示部２０ａと、画像表示部２０ａを頭部に装着した使用者とを、使用者の頭上から見た場合の概略が示されている。右眼撮像カメラ３７および左眼撮像カメラ３８のそれぞれは、使用者の右眼ＲＥおよび左眼ＬＥを撮像しているため、使用者の右まぶたＲＬおよび左まぶたＬＬも同時に撮像する。そのため、眼撮像カメラ３７，３８は、使用者の両まぶたの開閉状態を撮像する。

右眼照度センサー４５および左眼照度センサー４７のそれぞれは、発光素子と受光素子とを備えており、照度センサー４５，４７の発光に対して、右眼ＲＥと左光学像表示部２８との間、および、左眼ＬＥと右光学像表示部２６との間からの反射光を検出することで照度を検出する。

図１０は、頭部装着型表示装置１００ａの構成を機能的に示すブロック図である。第２実施形態では、第１実施形態と比べて、制御部１０ａにおけるＣＰＵ１４０ａが視線入力部１７５の代わりに撮像設定部１７６として機能する点が異なる。

撮像設定部１７６は、方向判定部１６１が算出した角度、照度処理部１４５の判定、画像判定部１４２が判定したまぶたの開閉具合および推定した視線方向等、に基づいて、外景撮像カメラ６１ａの各種設定を行ない、画像表示部２０ａに対して、撮像される外景の全部または一部を示す画像信号を生成する。方向判定部１６１は、９軸センサー６６によって検出された使用者の頭部の動きから画像表示部２０ａの向きがわかるため、使用者の視線方向を推定できる。

図１１および図１２は、撮像画像表示処理の流れを示す説明図である。撮像画像表示処理では、予め定められた使用者のまぶたの状態が検出されると、画像表示部２０ａの表示モードを、使用者がまぶたの状態に基づいて外景を撮像できる撮像調整モードへと移行する。

図１３は、撮像画像表示処理におけるまぶたの開閉状態に割り当てられた処理の一例を示す説明図である。図１３には、画像表示部２０ａの表示モードの移行、および、各表示モードにおける処理を行なうためのまぶたの状態が一覧で示されている。本実施形態では、例えば、画像表示部２０ａの表示モードを撮像調整モードへと移行させるまぶたの状態は、使用者の利き目である右眼が開いた状態、かつ、利き目ではない左眼のまぶたが閉じた状態、の組み合わせ（ウインク）である。

撮像画像表示処理では、初めに、眼撮像カメラ３７，３８は、予め定められた使用者のまぶたの状態が所定の期間検出されるかを監視する（図５のステップＳ５１０）。予め定められたまぶたの状態が所定の期間検出されない場合には（ステップＳ５１０：ＮＯ）、眼撮像カメラ３７，３８は、引き続き、まぶたの状態を監視する（ステップＳ５１０）。予め定められたまぶたの状態が所定の期間検出されると（ステップＳ５１０：ＹＥＳ）、撮像設定部１７６は、画像表示部２０ａの表示モードを撮像調整モードへと移行させる（ステップＳ５２０）。撮像調整モードでは、使用者の両まぶたの開閉状態および使用者の右眼の視線方向に基づいて、撮像設定部１７６は、外景撮像カメラ６１ａが撮像する外景の内、生成されて保存される画像データや画像表示部２０に表示される画像を設定する。なお、撮像調整モードを含め、以降で示す画像表示部２０ａの表示モードでは、各表示モードへと移行した後に、使用者の両まぶたが通常の状態へと戻っても、表示モードを変更するまぶたの状態が検出されない限りは、他の表示モードへと移行されない。

図１４から図２０までの各図は、使用者が視認する視野ＶＲの一例を示す説明図である。図１４には、撮像調整モードへと移行する前の視野ＶＲが示され、図１５には、撮像調整モードにおける視野ＶＲが示されている。図１４には、画像表示部２０ａを透過して使用者が視認する外景ＳＣが示され、外景ＳＣの中には被写体であるヨットＯＢが含まれている。第２実施形態における最大画像表示領域ＰＮは、横の画素数が９６０であり、縦の画素数が５４０であるが、他の実施形態では異なる画素数であってもよい。

図１５では、図１６に対して、画像表示部２０ａが生成される画像データの範囲を表わす画像範囲外枠ＩＡを表示している点が異なる。画像範囲外枠ＩＡは、青色の線であり、撮像調整モードへと移行した初期状態では、最大画像表示領域ＰＮの外枠と同じであり、その後、使用者の視線方向等の設定により変更される。撮像調整モードにおいて、外景撮像カメラ６１ａの光学ズームレンズの焦点距離が変更されると、撮像設定部１７６は、撮像調整モードにおいて、焦点距離が３５ミリメートル以上５０ミリメートル以下の場合に、画像範囲外枠ＩＡを表示する。焦点距離が３５ミリメートル未満および５０ミリメートルを超える場合についての詳細は後述する。なお、画像範囲外枠ＩＡは、青色の線に限られず、他の色で、線種が異なっていてもよいし、使用者に画像範囲外枠ＩＡに囲まれる領域を視認させることができる範囲で種々変形可能である。

画像範囲外枠ＩＡが表示されると、次に、撮像設定部１７６は、受け付けた操作に基づいて外景撮像カメラ６１ａが撮像する外景ＳＣの一部の領域を指定する（図１１のステップＳ５３０）。図１６には、撮像調整モードにおいて、撮像される外景ＳＣの一部の領域が指定された場合に、使用者が視認する視野ＶＲが示されている。図１６には、推定された使用者の視線方向を表わすポインターＰＯ１と、ポインターＰＯ１を中心とする所定の領域を表わす撮像画像ＶＩ１と、が示されている。撮像調整モードにおいて、右眼の薄目の状態が検出されると、画像表示部２０ａは、ポインターＰＯ１を表示する。ポインターＰＯ１が表示された状態で、左眼の視線方向が変更されると、左眼撮像カメラ３８および画像判定部１４２が視線方向を推定する。画像表示部２０ａは、推定された視線方向に基づいて、ポインターＰＯ１を表示する位置を変更し、ポインターＰＯ１を中心として、予め定められた領域を表わす画像を撮像画像ＶＩ１に表示する。

ポインターＰＯ１が表示された状態で、撮像設定部１７６が焦点距離を変更すると、撮像画像ＶＩ１に表示される画像が拡大または縮小される。本実施形態では、右眼が薄目の状態の場合、自動で焦点距離が徐々に大きくなり、ある焦点距離まで達すると、焦点距離が徐々に小さくなる。画像判定部１４２は、右眼が薄目の状態から通常の開いた状態への変化を検出すると、撮像設定部１７６は、右眼が通常の開いた状態を検出した時点での焦点距離に設定する。焦点距離が３５ミリメートル未満の場合には、画像表示部２０ａは、ポインターＰＯ１を中心とする一部の領域を拡大した外景画像を撮像画像ＶＩ１に表示する。焦点距離が５０ミリメートルを超える場合には、画像表示部２０ａは、ポインターＰＯ１を中心とする一部の領域を縮小した外景画像を撮像画像ＶＩ１に表示する。光学ズームレンズの焦点距離が３５ミリメートル以上５０ミリメートル以下の場合には、使用者が視認する外景ＳＣに近い大きさの外景画像が撮像されるため、撮像画像ＶＩ１を表示しないことで、使用者は、より広い範囲で外景ＳＣを視認できる。また、光学ズームレンズの焦点距離が３５ミリメートル未満、または、５０ミリメートルを超える場合には、撮像画像ＶＩ１が表示されることで、使用者は、撮像される外景画像を確認しつつ、外景ＳＣを視認できる。

図１７には、撮像調整モードにおいて、外景撮像カメラ６１ａの焦点距離が３５ミリメートル以上５０ミリメートル以下に設定された場合に、使用者が視認する視野ＶＲが示されている。焦点距離が３５ミリメートル以上５０ミリメートル以下に設定されると、撮像設定部１７６は、撮像画像ＶＩ１を非表示にして、ポインターＰＯ１を中心とする画像範囲外枠ＩＡを表示する。なお、他の実施形態では、焦点距離にかかわらず、画像範囲外枠ＩＡではなく、撮像画像ＶＩ１が表示され続けてもよい。

次に、ポインターＰＯ１が表示された状態で、右眼撮像カメラ３７は、ポインターＰＯ１を中心とする一部の領域を固定して撮像し続ける撮像領域固定モードへの移行を示すまぶたの状態の検出を監視する（図１１のステップＳ５４０）。右眼撮像カメラ３７が右まぶたが所定の期間閉じた状態を検出すると（ステップＳ５４０：ＹＥＳ）、撮像設定部１７６は、画像表示部２０ａの表示モードを、ポインターＰＯ１を中心とする一部の領域を撮像し続ける撮像領域固定モードへと移行する（ステップＳ５５０）。

図１８には、撮像領域固定モードにおいて、使用者がさらに上の方向を向いたときに視認する視野ＶＲが示されている。撮像設定部１７６は、９軸センサー６６および方向判定部１６１が検出した画像表示部２０ａの向きに基づいて、外景撮像カメラ６１ａが設定されたポインターＰＯ１の方向を撮像するように、画像表示部２０ａに対する外景撮像カメラ６１ａの向きを調整する。外景撮像カメラ６１ａの向きが調整されると、右眼撮像カメラ３７は、外景ＳＣを撮像する操作を示すまぶたの状態の検出を監視する（図１１のステップＳ５６０）。撮像する操作を示すまぶたの状態を示す右眼のまぶたが所定の期間に２回の開閉の状態が検出されない場合には（ステップＳ５６０：ＮＯ）、引き続き、右眼撮像カメラ３７は、まぶたの状態を監視する（ステップＳ５６０）。ステップＳ５６０の処理において、所定のまぶたの状態が検出されると（ステップＳ５６０：ＹＥＳ）、外景撮像カメラ６１ａが外景ＳＣを撮像して、撮像設定部１７６は、撮像画像ＶＩ１に表示されている外景ＳＣを表わす画像データを生成して保存する（ステップＳ５７０）。画像表示部２０ａは、生成した画像データを表わす画像を、最大画像表示領域ＰＮにおける所定の範囲に一定期間表示した後、撮像領域固定モードへと戻る。

ステップＳ５４０の処理において、撮像領域固定モードへと移行するまぶたの状態が検出されなかった場合には（ステップＳ５４０：ＮＯ）、撮像調整モードで、右眼撮像カメラ３７は、ステップＳ５６０の処理と同じ撮像する操作を示すまぶたの状態の検出を監視する（ステップＳ５６５）。撮像する操作を示すまぶたの状態が検出されない場合には（ステップＳ５６５：ＮＯ）、右眼撮像カメラ３７は、撮像領域固定モードへの移行を示すまぶたの状態を監視する（ステップＳ５４０）。ステップＳ５６５の処理において、撮像する操作を示すまぶたの状態が検出された場合には（ステップＳ５６５：ＹＥＳ）、外景撮像カメラ６１ａが外景ＳＣを撮像して、撮像設定部１７６は、撮像画像ＶＩ１に表示されている外景ＳＣを表わす画像データを生成して保存する（ステップＳ５７０）。画像表示部２０ａは、生成した画像データを表わす画像を、最大画像表示領域ＰＮにおける所定の範囲に一定期間表示した後、撮像調整モードへと戻る。

次に、眼撮像カメラ３７，３８は、撮像処理を終了する操作を示すまぶたの状態の検出を監視する（図１２のステップＳ５８０）。撮像処理を終了する操作を示す眼撮像カメラ３７，３８は、撮像処理を終了する操作を示す使用者の両まぶたが開いた状態が検出されない場合には（ステップＳ５８０：ＮＯ）、再度、ステップＳ３２０以降の処理を行なう。眼撮像カメラ３７，３８は、撮像処理を終了する操作を示すまぶたの状態を検出すると（ステップＳ５８０：ＹＥＳ）、保存した外景画像を一覧表示するサムネイル表示モードへの移行を示すまぶたの状態の検出を監視する（ステップＳ５９０）。眼撮像カメラ３７，３８がサムネイル表示モードへの移行を示すまぶたの状態を示す所定の期間内に両まぶたが３回の瞬きを検出した場合には（ステップＳ５９０：ＹＥＳ）、撮像設定部１７６は、画像表示部２０ａの表示モードを、サムネイル表示モードへと移行させる（ステップＳ６００）。

図１９には、サムネイル表示モードにおいて、使用者が視認する視野ＶＲが示されている。図１９に示すように、使用者は、画像表示部２０ａに表示される撮像画像ＩＭＧ１、ＩＭＧ２と、ポインターＰＯ２と、を視認する。サムネイル表示モードにおいて、眼撮像カメラ３７，３８が使用者の右眼を閉じると共に左眼を開いたまぶたの状態（ウインク）を所定の期間検出すると、画像表示部２０ａは、ポインターＰＯ２を表示する。ポインターＰＯ２が表示された状態で、使用者の左眼の視線方向を変更すると、左眼撮像カメラ３８および画像判定部１４２が視線方向を推定する。推定された視線方向の変化に基づいて、画像表示部２０ａは、使用者の視線方向を示すポインターＰＯ２を表示する位置を変更する。

次に、左眼撮像カメラ３８は、最大画像表示領域ＰＮに表示された撮像画像ＩＭＧ１，ＩＭＧ２から１つの画像が選択される操作を示すまぶたの状態の検出を監視する（図１２のステップＳ６１０）。図１９に示すように、ポインターＰＯ２が撮像画像ＩＭＧ１に重なった状態で、撮像画像ＩＭＧ１が選択される操作を示す左眼撮像カメラ３８が所定の期間に左眼のまばたきを２回検出すると（ステップＳ６１０：ＹＥＳ）、撮像設定部１７６は、画像表示部２０ａの表示モードを、選択画像拡大モードへと移行させる（ステップＳ６２０）。

図２０には、選択画像拡大モードにおいて、使用者が視認する視野ＶＲが示されている。図２０に示すように、撮像画像ＩＭＧ１が選択された選択画像拡大モードでは、最大画像表示領域ＰＮの全領域に撮像画像ＩＭＧ１が拡大されて表示される。撮像画像ＩＭＧ１が拡大して表示されている場合に、眼撮像カメラ３７，３８は、選択画像拡大モードを終了する操作を示すまぶたの状態の検出を監視する（図１２のステップＳ６２５）。選択画像拡大モードを終了するまぶたの状態を示す一定期間両まぶたが閉じた状態が検出されない場合には（ステップＳ６２５：ＮＯ）、引き続き、最大画像表示領域ＰＮに撮像画像ＩＭＧ１が拡大されて表示される。選択画像拡大モードを終了するまぶたの状態が検出された場合には（ステップＳ６２５：ＹＥＳ）、撮像設定部１７６は、画像表示部２０ａの表示モードをサムネイル表示モードへと移行させ、ステップＳ６００以降の処理が行なわれる。

ステップＳ５９０の処理、または、ステップＳ６１０の処理において、所定のまぶたの状態が検出されなかった場合には（ステップＳ５９０：ＮＯ、ステップＳ６１０：ＮＯ）、眼撮像カメラ３７，３８は、撮像画像表示処理を終了する操作を示すまぶたの状態の検出を監視する（ステップＳ６３０）。撮像画像表示処理の終了を示す左眼を閉じたウインクから右眼を閉じたウインクへのまぶたが変化する状態が検出されない場合には（ステップＳ６３０：ＮＯ）、再度、図１１のステップＳ５２０以降の処理が行なわれる。図１２のステップＳ６３０の処理において、撮像画像表示処理の終了を示すまぶたの状態が検出されると（ステップＳ６３０：ＹＥＳ）、撮像画像表示処理が終了する。

以上説明したように、第２実施形態における頭部装着型表示装置１００ａでは、眼撮像カメラ３７，３８および画像判定部１４２が使用者の視線を遮る遮蔽物としてのまぶたの状態を検出し、撮像設定部１７６は、画像判定部１４２が解析した視線を遮る遮蔽物であるまぶたの検出結果に基づいて画像表示部２０の操作を行なう。そのため、第２実施形態における頭部装着型表示装置１００ａでは、使用者が外景ＳＣを視認しながら撮像することで、外景ＳＣの一部の領域を表わす画像データが生成される。よって、使用者は、わざわざファインダー等をのぞかずに、外景ＳＣを視認しながら撮像でき、撮像するタイミングを容易に計ることができ、使用者の利便性が向上する。また、使用者は、制御部１０ａおよび画像表示部２０ａに触らないで、外景ＳＣを撮像できるので、手振れを抑制して撮像できる。

また、第２実施形態における頭部装着型表示装置１００ａでは、右眼撮像カメラ３７が使用者の右まぶたの開閉状態を検出し、左眼撮像カメラ３８が使用者の左まぶたの開閉状態を検出する。撮像設定部１７６は、検出された右まぶたおよび左まぶたの開閉状態の組み合わせに基づいて、頭部装着型表示装置１００ａの各種操作を行なう。そのため、第２実施形態の頭部装着型表示装置１００ａでは、使用者が手を使わないで、外景撮像カメラ６１ａを用いて外景ＳＣを撮像でき、使用者の利便性が向上する。

また、第２実施形態における頭部装着型表示装置１００ａでは、眼撮像カメラ３７，３８および画像判定部１４２が使用者の視線方向を推定し、画像表示部２０ａは、推定された使用者の視線方向を表わすポインターＰＯ１を表示する。撮像設定部１７６は、推定された視線方向とまぶたの検出とに基づいて外景ＳＣの一部の領域を指定し、指定した一部の領域を示す画像範囲外枠ＩＡまたは撮像画像ＶＩ１を画像表示部２０ａに表示させる。そのため、第２実施形態の頭部装着型表示装置１００ａでは、使用者が手を使わないで、外景撮像カメラ６１ａが撮像する一部の領域を選択して、選択された領域の画像データを生成でき、使用者の使い勝手、利便性、操作性が向上する。

また、第２実施形態における頭部装着型表示装置１００ａでは、眼撮像カメラ３７，３８および画像判定部１４２が検出したまぶたの状態に基づいて外景撮像カメラ６１ａの焦点距離を設定する。画像表示部２０ａは、焦点距離が３５ミリメートル以上５０ミリメートル以下の範囲の場合には、画像範囲外枠ＩＡを表示し、焦点距離がそれ以外の範囲の場合には、ポインターＰＯ１を中心とする一部の領域を表わす画像を表示する。そのため、本実施形態における頭部装着型表示装置１００ａでは、使用者が手を使わないで、生成する画像データの焦点距離を設定できるため、使用者の利便性が向上する。また、設定された焦点距離が視認される外景ＳＣと同じような外景ＳＣとなる画像データを生成する焦点距離である場合には、画像表示部２０ａは、画像データを生成する一部の領域を画像範囲外枠ＩＡによって示して使用者に外景ＳＣを透過させる。また、設定された焦点距離が視認される外景ＳＣと異なるような外景ＳＣとなる画像データを生成する焦点距離である場合には、画像表示部２０ａは、画像データを表わす画像を画像表示部２０ａに表示する。よって、使用者が視認する外景ＳＣと生成される画像データの外景ＳＣとの比較に応じて、画像表示部２０ａが表示する画像を変更するため、使用者の視認性および操作性が向上する。

Ｃ．第３実施形態：
第３実施形態では、上記実施形態に対して、視線方向の特定の方法が異なる。使用者は、特定の点である注視点を凝視している場合、実際には、注視点の一点のみを凝視しているわけではなく、注視点を中心とする所定の範囲内を凝視している。このように、人間が注視点を凝視しているつもりでも、不随意的に常に起こっている細かな眼の揺れは、固視微動と呼ばれる。第３実施形態では、固視微動において、所定の時間内における眼の揺れの注視点からの距離や、眼の揺れの周波数特定等に基づいて視線方向が特定される。

第３実施形態では、画像判定部１４２は、固視微動における眼の揺れを解析することで、使用者の視線方向を特定すると共に、使用者が注視点を凝視しているか否かを判定する。図２１および図２２は、固視微動の概略を示す説明図である。図２１には、使用者の左眼ＬＥが注視点ＰＣを凝視している場合に、所定の時間において、使用者の左眼ＬＥの揺れＥＤ１（以下、「視線方向の揺れＥＤ１」とも呼ぶ）の揺れ範囲ＥＣ１が判定円ＪＣに含まれている場合が示されている。判定円ＪＣは、注視点ＰＣから所定の距離Ｒ離れた円である。図２２には、図２１と異なり、使用者の左眼ＬＥの揺れＥＤ２（視線方向の揺れＥＤ２）の揺れ範囲ＥＣ２が判定円ＪＣに含まれていない場合が示されている。なお、注視点ＰＣは、請求項における特定の点に相当する。また、左眼ＬＥの揺れＥＤ１，ＥＤ２は、請求項における視線の揺らぎに相当し、判定円ＪＣは、請求項における所定の範囲に相当し、距離Ｒは、請求項における視線の揺らぎの振幅に相当する。第３実施形態では、視線方向とは、使用者の眼から揺れＥＤ１を含む揺れ範囲ＥＣ１における任意の点までの方向をいう。

また、使用者が注視点ＰＣを脳で認識してから、注視点ＰＣを凝視するまでにかかる時間について以下のことが知られている。図２３は、使用者が視線方向を移動させたときの経過時間と視線移動量との関係の一例を示す説明図である。図２３には、使用者が注視点ＰＣ１を凝視していた後に、注視点ＰＣ１とは異なる注視点ＰＣ２へと視線方向を移動させた場合に、経過時間（ｓ）に対する視線移動量Ｌ１が示されている。経過時間は、注視点ＰＣ１が凝視すべき点として黒点で示された状態から、注視点ＰＣ１の位置の黒点を非表示にすると同時に、注視点ＰＣ２の位置の黒点を表示した瞬間を開始時刻として計測されている。図２３に示すように、使用者は、注視点ＰＣ２の位置の黒点が表示された後、約０．３秒（ｓ）経過してから視線を移動し始めて、約０．４（ｓ）経過した後に注視点ＰＣ２を凝視している。このことから、使用者にとって、新たな注視点ＰＣ２を脳で認識してから視線を移動し始めるには一定の時間がかかり、かつ、視線を移動し始めてから注視点ＰＣ２を凝視するまでには一定の時間がかかることがわかる。

図２４は、使用者が視線方向を移動させたときの経過時間に対する視線移動量および移動量変化量の関係の一例を示す説明図である。図２４には、図２３に示した視線移動量Ｌ１に加えて、経過時間に対する視線移動量の変化量Ｌ２（以下、「移動量変化量Ｌ２」とも呼ぶ）が示されている。図２４に示すように、注視点ＰＣ１から注視点ＰＣ２へと黒点の表示が移ってからの期間は、潜期間ＰＴ１と視線移動期間ＰＴ２と定常期間ＰＴ３とに分けられている。潜期間ＰＴ１は、注視点ＰＣ１から注視点ＰＣ２へと黒点の表示が移ってからの約０．３秒間である。視線移動期間ＰＴ２は、潜期間ＰＴ１が終了してから視線が移動しなくなるまでの期間であり、潜期間ＰＴ１が終了してから、注視点ＰＣ１から注視点ＰＣ２へと黒点の表示が移ってから約０．７秒までの期間である。定常期間ＰＴ３は、注視点ＰＣ２が凝視されて使用者の視線が動かない期間であり、視線移動期間ＰＴ２が終了して以降の期間である。以上を踏まえて、第３実施形態では、使用者が注視点ＰＣを凝視しているかの判定に用いる所定の時間として、視線移動期間ＰＴ２の０．４秒（ｓ）を用いるが、他の実施形態では、所定の時間は０．４秒以外の時間であってもよい。

画像判定部１４２は、継続的に撮像されている使用者の眼ＲＥ，ＬＥにおいて、最小二乗法を用いて、所定の時間として０．４秒間ごとにおける注視点ＰＣを算出する。画像判定部１４２は、算出した注視点ＰＣから予め定められた距離Ｒの判定円ＪＣの中に、０．４秒間における使用者の眼ＲＥ，ＬＥの揺れ範囲が納まるか否かを判定する。判定円ＪＣの中に眼ＲＥ，ＬＥの揺れ範囲が納まる場合には、画像判定部１４２は、使用者が注視点ＰＣを注視していると判定し、判定円ＪＣの中に眼ＲＥ，ＬＥの揺れ範囲が納まらない場合には、使用者が注視点ＰＣを注視していないと判定する。すなわち、画像判定部１４２は、使用者の眼ＲＥ，ＬＥの揺れの振幅が距離Ｒ未満の場合には、使用者が注視点ＰＣを注視していると判定する。

図２５は、第３実施形態における制御用画像表示処理の流れを示す説明図である。制御用画像処理は、第１実施形態の視線操作入力処理におけるステップＳ３７０の処理に相当する。制御用画像処理は、ポインターＰ１を含まない制御用画像ＣＩ（図７）が最大画像表示領域ＰＮに表示された後に行なわれる処理である。初めに、画像判定部１４２は、使用者が所定の時間、注視点ＰＣを凝視していたか否かを判定する（ステップＳ３７２）。所定の時間である０．４秒間に、継続して、範囲ＥＣ２が判定円ＪＣ内に含まれておらず、注視点ＰＣが凝視されていなかったと判定された場合には（ステップＳ３７２：ＮＯ）、画像判定部１４２は、引き続き、使用者が注視点ＰＣを凝視するのを監視する（ステップＳ３７２）。０．４秒間、継続して、範囲ＥＣ１が判定円ＪＣ内に納まり続け、注視点ＰＣが凝視されていたと判定された場合には（ステップＳ３７２：ＹＥＳ）、視線入力部１７５は、画像表示部２０に、制御用画像ＣＩとしてポインターＰ１を追加して表示させる（ステップＳ３７４）。

次に、視線入力部１７５は、ポインターＰ１が制御用画像ＣＩにおいて選択可能なボタン（例えば、検索ボタンＢ１等）に重複しているか否かを判定する（ステップＳ３７６）。例えば、ポインターＰ１がいずれの選択可能なボタンにも重複していないと判定された場合には（ステップＳ３７６：ＮＯ）、画像判定部１４２は、現時点で表示されているポインターＰ１とは異なる新たな注視点ＰＣが凝視されるのを監視する（ステップＳ３７２）。第３実施形態では、使用者がどの位置を凝視しているのかを視認させるために、ポインターＰ１を一定時間、最大画像表示領域ＰＮに表示させるが、他の実施形態では、ポインターＰ１が制御用画像ＣＩにおける選択可能なボタンと重複していないと判定された時点で、ポインターＰ１が表示されなくてもよい。

ステップＳ３７６の処理において、ポインターＰ１が制御用画像ＣＩにおける選択可能なボタンに重複していると判定された場合には（ステップＳ３７６：ＹＥＳ）、画像表示部２０が重複している選択可能なボタンのポップアップ表示し、かつ、音声処理部１７０およびイヤホン３２，３４が選択可能なボタンを示す音声を出力する。図２６は、使用者が視認する視野ＶＲの一例を示す説明図である。図２６に示すように、画像表示部２０は、ポインターＰ１が重複しているキーボードＫＢにおけるアルファベット「Ｃ」の文字をポップアップＰＵとして大きく表示する。また、音声処理部１７０は、イヤホン３２，３４を介して、「Ｃ」の音声を使用者に出力する。

以上説明したとおり、第３実施形態における頭部装着型表示装置１００では、画像判定部１４２が使用者の眼ＲＥ，ＬＥから注視点ＰＣまでを結んだ視線方向に対する眼の揺れを検出し、視線入力部１７５は、判定円ＪＣの中に眼ＲＥ，ＬＥの揺れ範囲が納まる場合には、制御用画像ＣＩとしてポインターＰ１を表示させる。そのため、第３実施形態の頭部装着型表示装置１００では、使用者の眼の揺れを考慮した視線方向に基づいて表示画像の制御が行なわれるため、制御の精度を向上させることができる。

また、第３実施形態における頭部装着型表示装置１００では、画像判定部１４２は、使用者の眼ＲＥ，ＬＥの揺れの振幅が判定円ＪＣの半径である距離Ｒ未満の場合には、使用者が注視点ＰＣを凝視していると判定する。また、画像判定部１４２は、判定円ＪＣの中に眼ＲＥ，ＬＥの揺れ範囲が納まる場合には、使用者が注視点ＰＣを凝視していると判定する。そのため、第３実施形態における頭部装着型表示装置１００では、判定円ＪＣの半径である距離Ｒの設定によって、使用者が注視点ＰＣを凝視しているか否かの判定を簡便に行なえる。

また、第３実施形態における頭部装着型表示装置１００では、使用者が注視点ＰＣを凝視していると判定された場合には、音声処理部１７０は、最大画像表示領域ＰＮにおいて、イヤホン３２，３４を介して、注視点ＰＣを示すポインターＰ１が重複しているキーボードＫＢにおけるアルファベット「Ｃ」の音声を使用者に出力する。この第３実施形態における頭部装着型表示装置１００では、使用者が表示画像を制御可能な状態であることを音声によって使用者に認識させることができ、使用者の利便性が向上する。

また、第３実施形態における頭部装着型表示装置１００では、画像表示部２０は、制御用画像ＣＩを表示し、使用者が注視点ＰＣを凝視していると判定された場合には、視線入力部１７５は、画像表示部２０に、ポインターＰ１を表示させて、制御用画像ＣＩに含まれるキーボードＫＢ等のキーを選択可能な状態にする。そのため、第３実施形態における頭部装着型表示装置１００では、使用者が制御用画像ＣＩにおける選択可能なキーを凝視していないにもかかわらず、当該キーが選択される誤操作を防止でき、使用者の意図を反映した正確な操作が行なわれる。

Ｄ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｄ１．変形例１：
図２７は、画像表示部２０に表示される制御用画像ＣＩａの一例を示す説明図である。図２７には、使用者が視認する外景ＳＣおよび表示された制御用画像ＣＩａを含む視野ＶＲが示されている。制御用画像ＣＩａは、無線通信部１３２を介して頭部装着型表示装置１００に接続されたテレビの操作部（リモコン）を表わす画像である。制御用画像ＣＩａには、テレビの電源のＯＮ／ＯＦＦを切り替える電源ボタンＰＷと、テレビの音量を調節する音量ボタンＶｕｐ，Ｖｄｗと、テレビのチャンネルを変更するチャンネル変更ボタンＣｕｐ，Ｃｄｗと、が含まれている。音量ボタンＶｕｐが選択されて決定されると、テレビの音量が所定の数値だけ大きくなり、音量ボタンＶｄｗが選択されて決定されると、テレビの音量が所定の数値だけ小さくなる。チャンネル変更ボタンＣｕｐが選択されて決定されると、テレビは、受信してチャンネル数を所定の数だけ大きいチャンネル数に設定して受信する。チャンネル変更ボタンＣｄｗが選択されて決定されると、テレビは、受信してチャンネル数を所定の数だけ小さいチャンネル数に設定して受信する。また、制御用画像ＣＩａには、テレビと有線で接続されているＤＶＤ再生機の操作を行なう複数のボタンを有するＤＶＤ操作ボタン群ＰＢも含まれている。図２７に示すように、ポインターＰ１は、ＤＶＤ操作ボタン群ＰＢに含まれるＤＶＤ再生機の再生を停止する停止ボタンＳＢに重なる位置に表示されている。上記実施形態と同じように、眼撮像カメラ３７，３８が決定の操作を示すまぶたの状態を検出すると、視線入力部１７５は、ＤＶＤ再生機で再生されているコンテンツを停止させる。この変形例では、頭部装着型表示装置１００と接続している装置の調整が、使用者の視線方向およびまぶたの状態によって操作される。

図２８は、画像表示部２０に表示される制御用画像ＣＩｂの一例を示す説明図である。図２８には、使用者が視認する外景ＳＣおよび表示された制御用画像ＣＩｂを含む視野ＶＲが示されている。図２７に示す制御用画像ＣＩｂは、記憶部１２０に記憶されている動画や音楽といったコンテンツに関連付けられた文字で表わされた複数のアイコン画像を一覧として表示する画像である。制御用画像ＣＩｂは、カーソル画像Ｃ１と、一覧画像Ｃ２と、ポインターＰ１と、から構成されている。この変形例では、カーソル画像Ｃ１は、十字の形をしており、上下左右の方向のそれぞれが選択される画像である。図２７に示すように、ポインターＰ１が十字の右方向を指す矢印の部分に重なった状態で、決定の操作を示すまぶたの状態が検出されると、一覧画像Ｃ２において、地図のアイコン画像を選択していることを表示している選択表示画像ＳＩが１つ右に移動する。この変形例では、一覧画像Ｃ２において、地図のアイコン画像の右に他のアイコン画像がないため、選択表示画像ＳＩは、ループして左のメールのアイコン画像に移動して、メールのアイコン画像に重なって表示される。また、この変形例では、カーソル画像Ｃ１の十字方向のいずれかにポインターＰ１を重ねた状態で決定の操作が行なわれなくても、ポインターＰ１を一覧画像Ｃ２のいずれかのアイコン画像に重ねた状態で特定のアイコン画像を選択して決定することもできる。特定のアイコン画像が選択表示画像ＳＩと重なって表示されている状態で、ポインターＰ１が決定キーＲＢに重なった状態で決定の操作が行なわれると、選択表示画像ＳＩと重なって表示されているアイコン画像が決定されて、当該アイコン画像に関連付けられた操作が行なわれる。

Ｄ２．変形例２：
また、上記実施形態では、まぶたの開閉状態に基づいて決定の操作が検出されたが、決定の操作を検出する方法はまぶたの開閉状態に限られず、種々変形可能である。まぶたが開いている状態であっても、使用者が視認する外景の色や照度に基づいて各種操作が行なわれてもよい。この変形例では、照度センサー４５，４７が使用者の右眼および左眼に視認されると想定される外景の照度を検出する。そのため、使用者がまぶたを閉じなくても、例えば、使用者の手のひらによって左光学像表示部２８の表面が覆われると、左眼に外景画視認されなくなるため、左眼照度センサー４７は、右眼照度センサー４５が検出する照度よりも小さい値の照度を検出する。照度処理部１４５が左眼照度センサー４７によって検出する照度が右眼照度センサー４５によって検出する照度よりも所定の閾値以上小さいと判定した場合に、視線入力部１７５は、上記実施形態における左のまぶたが閉じられた状態と同様の操作を行なう。そのため、この変形例の頭部装着型表示装置１００では、使用者は、まぶたの状態による操作に疲れた場合に、手のひら等の体の一部を用いて感覚的に操作を行なうことができ、使用者の利便性が向上する。

また、他の変形例では、照度センサー４５，４７の代わりに、右眼および左眼のそれぞれの視線方向のＲＧＢデータを検出するＲＧＢカラーセンサーが配置されてもよい。右眼および左眼のそれぞれに対応したＲＧＢカラーセンサーが検出した値によって、各種操作が行なわれてもよい。例えば、左光学像表示部２８の表面が覆われた場合に、左眼に対応するＲＧＢカラーセンサーは、黒に近い色を表わすＲＧＢデータを検出する。逆に、右眼に対応するＲＧＢカラーセンサーが検出したＲＧＢデータが黒に近い色を表わさない場合に、使用者の左まぶたが閉じられている状態と判定されてもよい。

Ｄ３．変形例３：
また、上記実施形態では、制御用画像ＣＩが予め定められた位置に表示されるとしたが、制御用画像ＣＩが表示される位置は予め定められた位置等に固定される必要はなく、制御用画像ＣＩの表示位置および表示位置の変更方法については、種々変形可能である。この変形例の頭部装着型表示装置１００では、９軸センサー６６および方向判定部１６１が使用者の頭部の向きを推定して、推定した頭部の向きと重力方向とがなす角度を算出する。例えば、使用者が上を向いて、方向判定部１６１が算出した角度が所定の角度以上である場合には、画像表示部２０は、制御用画像ＣＩを最大画像表示領域ＰＮにおける上の部分以外に表示する。そのため、この変形例の頭部装着型表示装置１００では、使用者が頭部の向きを変更して、使用者が視認したい対象が変更されたことが推定され、使用者の視界を妨げない位置に自動的に制御用画像ＣＩが表示されるため、使用者の利便性が向上する。

また、画像表示部２０が制御用画像ＣＩを表示する位置が使用者の視線方向やまぶたの開閉状態等に基づいて変更されてもよい。例えば、眼撮像カメラ３７，３８が使用者の右まぶただけが所定の時間閉じた状態を検出した後、ある一定の期間内に、左まぶただけが所定の時間閉じた状態を検出すると、使用者の視線方向に基づいて制御用画像ＣＩが最大画像表示領域ＰＮにおける位置が変更されてもよい。この変形例の頭部装着型表示装置１００では、使用者の意思に基づいて制御用画像ＣＩを表示させる位置を、手などを使わずに設定できるため、使用者の操作性および利便性が向上する。

また、上記実施形態では、設定対象物としての手のひらＨＤが検出されると、撮像された手のひらＨＤの大きさに応じて制御用画像ＣＩが表示されたが、設定対象物と制御用画像ＣＩとの関係についてはこれに限られず、種々変形可能である。例えば、撮像された手のひらＨＤの大きさや形に応じて、表示される制御用画像ＣＩの種類が変更されてもよい。また、撮像された手のひらＨＤと画像表示部２０との位置関係に基づいて、制御用画像ＣＩの表示位置が最大画像表示領域ＰＮの中心以外に設定されてもよい。この変形例では、撮像された設定対象物の位置や大きさに基づいて、透過する外景ＳＣと制御用画像ＣＩとが多くの領域で重複しないように使用者に視認させることができ、使用者の利便性が向上する。

Ｄ４．変形例４：
また、上記実施形態では、距離センサー６３によって、距離センサー６３から所定の距離内にある対象物が検出されたが、頭部装着型表示装置１００が必ずしも距離センサー６３を備える必要はなく、頭部装着型表示装置１００の構成については種々変形可能である。例えば、外景撮像カメラ６１および画像判定部１４２が、対象物との距離とは関係なく、撮像した対象物に対してパターンマッチングを行なって設定対象物であるか否かを判定してもよい。

また、上記実施形態では、眼撮像カメラ３７，３８および画像判定部１４２によってまぶたの開閉状態が判定されたが、使用者の視線方向を遮る遮蔽物を検出する方法はこれに限られず、種々変形可能である。例えば、眼撮像カメラ３７，３８の代わりに、赤外線センサーを用いてもよい。赤外線センサーは、発光した赤外線が使用者の眼またはまぶたに反射し、反射した反射光に基づいて、使用者のまぶたの開閉状態を判定する。また、画像判定部１４２は、パターンマッチングではなく、眼撮像カメラ３７，３８が取得した画像のＲＧＢデータを黒と白とに２値化し、２値化したデータに基づいて使用者のまぶたの開閉状態を判定してもよい。

また、眼撮像カメラ３７，３８には、スタビライザー機能は備え付けられていてもよい。スタビライザー機能によって、眼撮像カメラ３７，３８は、例えば、使用者が歩行中の場合に、歩行によって生じるぶれを軽減するため、まぶたの状態をより正確に検出して判定できる。

また、操作部１３５と検出されたまぶたの状態とに基づいて、電源１３０の電力消費が抑制される態様であってもよい。例えば、操作部１３５におけるトラックパッド１４が使用者からの操作を受け付けている場合には、使用者のまぶたの状態を検出する眼撮像カメラ３７，３８および照度センサー４５，４７への電力供給を停止してもよい。また、使用者の視線方向およびまぶたの状態によって頭部装着型表示装置１００および頭部装着型表示装置１００に接続された装置が操作されている場合には、操作部１３５への電力供給を停止してもよい。この変形例では、操作部１３５と制御用画像ＣＩとの内の一方の操作部によって使用者からの操作を受け付けている場合に、操作を受け付けていない操作部への電力を停止することで、頭部装着型表示装置１００が消費する電力を抑制できる。また、制御部１０の代わりに、例えば、スマートフォンのような携帯端末と接続されて、接続された携帯端末の電力消費を抑制してもよい。

また、上記実施形態では、視線入力部１７５が使用者の視線方向およびまぶたの状態に基づいて頭部装着型表示装置１００の操作を行なったが、必ずしも頭部装着型表示装置１００を操作する方法はこれに限られず、種々変形可能である。例えば、眼撮像カメラ３７，３８および画像判定部１４２は使用者の視線方向のみを検出して、視線方向に基づいて制御用画像ＣＩに含まれるいずれかのキーが選択されて、操作部１３５に含まれるいずれかのボタンで決定されてもよい。また、操作部１３５に含まれるボタンではなく、別途、別に備えられたユーザーインターフェースであってもよいし、画像表示部２０に形成された決定ボタン等であってもよい。この変形例では、単に視線方向のみで選択が行なわれ、決定がまぶたの状態ではなく、操作部１３５に備え付けられたボタン等で行なわれるため、使用者が簡単に決定の操作を行なうことができ、使用者の利便性および操作性が向上する。

また、上記実施形態では、請求項におけるオブジェクトに相当する具体例として、キーボードＫＢに含まれる各アルファベットに対応するキー、検索ボタンＢ１、切替キーＢ２、および、メニュー切替キーＢ３を例に挙げ、請求項におけるポインターに相当する具体例として、ポインターＰ１を例に挙げて説明したが、オブジェクトおよびポインターについては、種々変形可能である。例えば、請求項におけるオブジェクトまたはポインターとして、目印、標識、マーカー、記号、選択ボタン、ソフトキー、および、ソフトキーボードといったように、形状、色、および、図形等が変形された態様であってもよい。

また、上記実施形態では、眼撮像カメラ３７，３８は、眼撮像カメラ３７，３８から所定の距離にあり、視線方向上にあるまぶたの開閉を検出したが、必ずしも、所定の距離にあるまぶた等の遮蔽物を検出しなくてもよい。例えば、所定の距離までの一定の範囲内に存在する遮蔽物を検出することで、まぶたの開閉を検出したことと同様の操作が行なわれてもよい。

Ｄ５．変形例５：
また、外景撮像カメラ６１は、制御部１０に配置されてもよいし、制御部１０や画像表示部２０とは別体で、例えば、使用者が装着するヘルメットの上部等に配置されてもよい。

また、上記実施形態では、図２に示すように、９軸センサー６６、距離センサー６３、外景撮像カメラ６１、眼撮像カメラ３７，３８、および、照度センサー４５，４７は、画像表示部２０に配置されたが、必ずしも画像表示部２０に配置される必要はなく、配置については種々変形可能である。例えば、右眼撮像カメラ３７，３８は、画像表示部２０とは別体になっており、画像表示部２０とは別に頭部に装着される態様であってもよいし、画像表示部２０に着脱可能に形成されてもよい。

上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、操作部１３５の動きを検出する９軸センサーが操作部１３５に形成されて、検出した動きに基づいて各種操作が行なわれることで、使用者は、感覚的に頭部装着型表示装置１００の操作ができる。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

Ｄ６．変形例６：
図２９は、撮像調整モードにおいて使用者が視認する視野ＶＲの一例を示す説明図である。図２９には、使用者が右へ首を傾けた状態、すなわち、使用者の頭部の向きが重力方向に対して傾いて水平面となす角度が９０度未満の状態において、使用者が視認する視野ＶＲが示されている。図２９に示す撮像画像ＶＩ２には、外景撮像カメラ６１ａの光軸が重力方向と直交する水平面に平行な軸とした場合に、撮像される外景画像が示されている。この変形例では、方向判定部１６１および９軸センサー６６が使用者の頭部の向きを推定して、方向判定部１６１は、推定した頭部の向きと重力方向とがなす角度を算出する。方向判定部１６１が算出した角度が所定の角度以上である場合には、撮像設定部１７６は、算出された角度の分だけ補正して、画像表示部２０ａが表示する撮像画像ＶＩ２を表示する。なお、重力方向または水平面と使用者の頭部の向きとがなす角度については、図２９に示す例に限られず、種々変形可能である。例えば、使用者が上下に首を所定の角度以上に傾けた状態が検出された場合に、撮像画像ＶＩ２に表示される画像が補正されてもよい。なお、撮像画像ＶＩ２は、算出された角度の分だけ補正された外景画像であるが、角度の補正が行われずに、算出された角度に基づいて外景撮像カメラ６１ａが画像表示部２０ａに対して向きを変更して、水平面に平行な軸を光軸として外景撮像カメラ６１ａが外景ＳＣを撮像してもよい。

この変形例における頭部装着型表示装置１００ａでは、９軸センサー６６および方向判定部１６１が重力方向に対する使用者の頭部の向きを検出し、検出された重力方向と頭部の向きとがなす角度が所定の角度以上の場合に、重力方向に直交する水平面に平行な軸を光軸として外景撮像カメラ６１ａが撮像する外景ＳＣを表示する。そのため、この変形例における頭部装着型表示装置１００ａでは、例えば、使用者が首を回したりして、一時的に頭部の向きを変更した場合であっても、使用者が撮像したいと想定される水平面に平行な外景ＳＣを撮像できるので、使用者の使い勝手が向上する。

Ｄ７．変形例７：
また、上記実施形態では、眼撮像カメラ３７，３８が検出したまぶたの開閉状態に基づいて、画像表示部２０ａの表示モードの設定、および、撮像される外景ＳＣにおける一部の領域の設定等の操作が行なわれたが、これらの操作は、まぶたの開閉状態以外の使用者の視線方向を遮る遮蔽物の検出結果によって行なわれてもよい。例えば、使用者の両まぶたが開いている状態であっても、使用者が視認する外景ＳＣの色や照度に基づいて、画像表示部２０および外景撮像カメラ６１ａの操作が行なわれてもよい。この変形例では、照度センサー４５，４７が使用者の右眼および左眼に視認されると想定される外景ＳＣの照度を検出し、検出された照度の数値に基づいて操作が行なわれる。使用者がまぶたを閉じなくても、例えば、使用者の手によって左光学像表示部２８の表面が覆われると、左眼照度センサー４７に検出される照度の数値が右眼照度センサー４５に検出される照度の数値に比べて小さくなる。この場合に、照度処理部１４５は、上記実施形態における画像判定部１４２が左まぶたを閉じた状態と同じ判定をして、撮像設定部１７６が当該判定に基づいて画像表示部２０および外景撮像カメラ６１ａの操作を行なう。また、照度センサー４５，４７が一定期間における照度の検出を行ない、照度処理部１４５が２つの時点における照度の差を比較することで、上記実施形態におけるまぶたの開閉状態に代えて、画像表示部２０ａおよび外景撮像カメラ６１ａの操作が行なわれてもよい。

この変形例の頭部装着型表示装置１００ａでは、照度センサー４５，４７が使用者の右眼と左眼とのそれぞれから光学像表示部２６，２８の表面を手で覆う所までの所定の範囲における照度を検出し、撮像設定部１７６は、当該検出結果に基づいて画像表示部２０ａ等の操作を行なう。そのため、この変形例の頭部装着型表示装置１００ａでは、使用者は、ウインク等のまぶたの状態の変化による操作に対して疲れた場合に、手のひら等の体の一部を用いて、まぶたの状態の変化と同じような操作を感覚的に行なうことができ、使用者の利便性が向上する。

また、右眼および左眼のそれぞれに配置されたＲＧＢカラーセンサーが、使用者の右眼および左眼のそれぞれから、光学像表示部２６，２８の表面までの範囲におけるＲＧＢデータを検出してもよい。撮像設定部１７６は、右眼および左眼のそれぞれに対応したＲＧＢカラーセンサーによって検出された値に基づいて、各種操作を行なってもよい。例えば、左光学像表示部２８の表面が使用者の手によって覆われた場合に、左眼に対応するＲＧＢカラーセンサーは、黒に近い色を表わすＲＧＢデータを検出する。それに対し、右眼に対応するＲＧＢカラーセンサーが検出したＲＧＢデータが、昼の晴天下で白を表わすＲＧＢデータであった場合に、上記実施形態における使用者の左まぶたが閉じられているウインクと同じように判定されてもよい。

また、照度センサー４５，４７の代わりに、赤外線センサーが配置されてもよい。赤外線センサーから発光された赤外線が視線方向を遮る遮蔽物に反射した反射光を、赤外線センサーの受光部が検出することで、上記実施形態におけるまぶたの開閉状態に代えて、画像表示部２０ａおよび外景撮像カメラ６１ａの操作が行なわれてもよい。この変形例では、夜の比較的暗い場所においても遮蔽物を検出でき、使用者の利便性が向上する。

また、上記実施形態では、光学ズームレンズの焦点距離は、使用者の右眼が薄目の状態の場合に、自動的に変更されたが、焦点距離の調整方法はこれに限られず、種々変形可能である。例えば、使用者の手によって左光学像表示部２８の表面が覆われると、左眼照度センサー４７が検出した照度の変化によって、焦点距離が徐々に大きくなる設定であってもよい。また、使用者の手によって右光学像表示部２６の表面が覆われると、右眼照度センサー４５が検出した照度の変化によって、焦点距離が徐々に小さくなる設定であってもよい。

また、上記実施形態では、外景撮像カメラ６１ａは、画像表示部２０ａに対して、撮像する方向を変更できるように形成されたが、画像表示部２０ａに固定されていてもよいし、画像表示部２０ａとは別体で形成されてもよい。また、外景撮像カメラ６１ａは、光学ズームレンズの焦点距離を変更できたが、デジタルズームによって、撮像範囲の一部を拡大した画像を生成する態様であってもよい。

Ｄ８．変形例８：
また、上記実施形態では、画像表示部２０ａの表示モードが撮像領域固定モードの場合に、撮像される外景ＳＣに含まれる一部の領域が特定される態様としたが、画像判定部１４２が特定の対象を認識して、認識された特定の対象を外景撮像カメラ６１が追尾して撮像する態様であってもよい。この変形例では、撮像される外景ＳＣに含まれる特定の対象がまぶたの状態や視線方向に基づいて選択されると、画像判定部１４２が特定の対象物を認識する。画像判定部１４２は、一定期間撮像された外景画像の内から、複数の時点において、外景画像における特定の対象物の変化を算出することで、算出された変化に基づいて特定の対象物を特定する。その後、撮像される外景ＳＣに特定の対象物が含まれる場合には、撮像設定部１７６は、特定の対象物を含む外景ＳＣの一部の領域を設定する。外景撮像カメラ６１ａは、画像表示部２０に対して向きを変更し、設定された一部の領域を撮像し、画像表示部２０ａが特定の対象物を含む外景ＳＣを表示する。また、例えば、認識された特定の対象物の移動速度が急に大きくなって、撮像される外景ＳＣに特定の対象物が含まれなくなった場合には、撮像設定部１７６は、撮像される外景ＳＣに特定の対象物が含まれていたときの特定の対象物の移動変化に基づいて、特定の対象物の位置を推定する。外景撮像カメラ６１ａは、推定された特定の対象物の位置へと撮像する向きを変更して撮像する。

この変形例における頭部装着型表示装置１００ａでは、発信機等を特定の対象物に装着させなくても、特定の対象物が画像認識されることで、特定の対象物が自動で追尾されて撮像されるので、使用者の使い勝手および操作性が向上する。また、撮像される特定の対象物を含む外景画像が視認される外景ＳＣと異なっていても画像表示部２０ａに表示されるため、使用者は、特定の対象物を含む外景ＳＣを撮像したい場合に、特定の対象物を視認する必要がなく、使用者の利便性が向上する。また、特定の対象物が撮像される外景ＳＣから外れた場合であっても、自動で特定の対象物の位置が推定されて、特定の対象物を含む外景ＳＣが撮像されるため、使用者の利便性が向上する。

Ｄ９．変形例９：
また、上記実施形態では、外景撮像カメラ６１ａは、外景ＳＣを撮像した外景画像を保存するとしたが、撮像するのは特定の時点における静止画の画像に限られず、動画であってもよい。検出されたまぶたの開閉状態および推定された使用者の視線方向に基づいて、画像表示部２０ａのモードが、画像を撮像するモードと、動画を録画するモードと、に変更される態様であってもよい。

また、上記実施形態では、外景撮像カメラ６１ａの焦点距離が右眼撮像カメラ３７および画像判定部１４２によって検出された使用者の右眼の開閉状態によって設定されたが、焦点距離を設定する操作については、これに限られず種々変形可能である。例えば、撮像調整モードにおいて、画像表示部２０ａに配置されたトラックパッド３６に使用者の指が触れると、ポインターＰＯ１が表示されて、使用者の指の動きに基づいて焦点距離が設定されてもよい。例えば、トラックパッド３６に触れている使用者の指が右耳から使用者の前方の方向へと移動されると、画像表示部２０は、ポインターＰＯ１を中心とする一部の領域を拡大した外景画像を撮像画像ＶＩ１に表示してもよい。逆に、トラックパッド３６に触れている使用者の指が使用者の前方から右耳の方向へと移動されると、画像表示部２０は、ポインターＰＯ１を中心とする一部の領域を縮小した外景画像を撮像画像ＶＩ１に表示してもよい。

Ｄ１０．変形例１０：
固視微動には、ドリフト、トレマ、および、フリックがある。ドリフトは、小さな滑らかな動きであり、トレマは、非常に小さな高周波の振動である。フリックは、小さな跳ぶような動きであり、サッケードを小さくしたような動きである。画像判定部１４２は、ドリフトとトレマとフリックとの少なくとも１つの周波数特性を解析することで、距離Ｒや注視点ＰＣを特定して、使用者が注視点ＰＣを凝視しているか否かを判定してもよい。

上記第３実施形態における図２４に示すように、使用者は注視点ＰＣ１から注視点ＰＣ２へと凝視する視線位置を移動させるのに、少なくとも潜期間ＰＴ１と視線移動期間ＰＴ２とを加えた約０．７秒間が必要である。そのため、使用者が注視点ＰＣを凝視しているかの判定は、視線移動期間ＰＴ２の０．４秒を用い、使用者が凝視する注視点ＰＣを移動させたか否かの判定には、０．７秒を用いてもよい。例えば、使用者が注視点ＰＣ１を凝視した状態から、注視点ＰＣ２を凝視する状態に変化するまでに、閾値として０．７秒を設定してもよい。この場合、０．７秒以下の時間内に、注視点ＰＣの位置が変化した場合には、当該変化は、使用者の意図的なものではないと判断する。なお、使用者が凝視する注視点ＰＣを移動させたか否かの判定に用いる閾値は０．７秒に限られず、例えば、１秒といった期間でもよい。

また、上記第３実施形態では、図２６に示すように、ポインターＰ１が制御用画像ＣＩにおける選択可能なボタンに重複していると判定された場合には、重複している選択可能なボタンがポップアップ表示されたが、選択可能なボタンとポインターＰ１との表示方法はこれに限られず、種々変形可能である。例えば、あるボタンが選択された場合には、ポップアップを点滅させたり、拡大させたりして表示させてもよい。また、ポインターＰ１が選択可能なボタンに重複していると判定される範囲を、ポインターＰ１付近のボタンに対して表示させてもよいし、全てのボタンに対して判定される範囲を表示させてもよい。また、最大画像表示領域ＰＮに、図２１または図２２で示すような判定円ＪＣ、注視点ＰＣ、および、範囲ＥＣ１の関係が表示されてもよい。これらが表示されることで、使用者が注視点ＰＣを凝視しているか否かの程度が判定円ＪＣと範囲ＥＣ１との関係によって使用者に視認させることができ、使用者の利便性が向上する。また、算出された注視点ＰＣが使用者に視認されることで、使用者が意図しないボタンの選択を抑制でき、使用者による誤操作を軽減できる。

また、上記第３実施形態の頭部装着型表示装置１００において、使用者が操作部１３５等を操作することで、視線移動期間ＰＴ２の秒数や判定円ＪＣにおける距離Ｒが任意に設定されてもよい。この変形例の頭部装着型表示装置１００では、使用者が任意に視線方向の特定に関する設定を変更でき、使用者の利便性がより向上する。

また、使用者の年齢や性別といった個人差や、使用者が頭部装着型表示装置１００を使用する環境の明るさ等に応じて、複数のパターンに分類された視線移動期間ＰＴ２の秒数や判定円ＪＣにおける距離Ｒから、最適なパターンが選択されてもよい。これらのパターンは、操作部１３５等の操作や、使用者の視線方向に基づく各種操作によって設定されてもよい。また、これらのパターンが設定される設定モードと、通常の表示モード等と、が使用者によって注視点ＰＣが注視されている時間や使用者の眼のまばたきによって変更されてもよい。また、頭部装着型表示装置１００がパーソナルコンピューター（ＰＣ）と接続されたときに、ＰＣに付属されているマウスの追従性が使用者の視線方向に基づく各種操作や、視線方向の変化速度に基づいて設定されてもよい。

また、上記第３実施形態では、ポインターＰ１が制御用画像ＣＩにおける選択可能なボタンに重複していると判定された場合には、重複している選択可能なボタンがポップアップ表示され、かつ、選択可能なボタンを示す音声が出力されたが、必ずしもポップアップ表示と音声出力との両方が行なわれる必要はない。例えば、ポップアップ表示のみであってもよいし、音声出力のみであってもよい。また、音声出力については、音声を右イヤホン３２と左イヤホン３４との両方に出力される必要はなく、片方にのみ出力されてもよい。また、ポップアップの表示や出力される音声については種々変形可能である。例えば、ポップアップ表示がされると共に、音声においては、「入力可能です」という音声が出力されてもよい。

また、まぶたの開閉による所定の処理の決定時や、使用者が注視点ＰＣを凝視していると判定された時に、使用者に対して、音声出力による通知が行なわれてもよいし、注視点ＰＣまたは最大画像表示領域ＰＮにおける少なくとも一部の領域が点滅してもよい。また、音声出力や点滅の代わりに、画像表示部２０や制御部１０が振動によって使用者に通知が行なわれてもよいし、所定の時間、ポインターＰ１が固定されることで使用者に通知が行なわれてもよい。

Ｄ１１．変形例１１：
上記実施形態における頭部装着型表示装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４や外景撮像カメラ６１は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。また、上記実施形態では、使用者の頭の動きを検出するセンサーとして９軸センサー６６を利用しているが、これに代えて、加速度センサー、角速度センサー、地磁気センサーのうちの１つまたは２つから構成されたセンサーを利用するとしてもよい。また、上記実施形態では、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。

図３０は、変形例における頭部装着型表示装置の外観構成を示す説明図である。図３０（Ａ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点とである。右光学像表示部２６ｂは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ｂの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ｂの装着時における使用者の左眼の斜め上に配置されている。図３０（Ｂ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ｃが、右光学像表示部２６に代えて右光学像表示部２６ｃを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｃを備える点とである。右光学像表示部２６ｃは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｃは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様の頭部装着型表示装置１００として実現できる。

また、上記実施形態において、頭部装着型表示装置１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

また、制御部１０がパーソナルコンピューター（ＰＣ）に内蔵されて、ＰＣのモニターに代えて画像表示部２０が使用される態様であってもよいし、制御部１０と画像表示部２０とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
３７…右眼撮像カメラ（検出部）
３８…左眼撮像カメラ（検出部）
４０…接続部
４２…右コード
４４…左コード
４５…右眼照度センサー（検出部）
４６…連結部材
４７…左眼照度センサー（検出部）
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…外景撮像カメラ
６３…距離センサー（画像認識部）
６６…９軸センサー（向き検出部）
１００…頭部装着型表示装置
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部
１３５…操作部
１４０…ＣＰＵ
１４２…画像判定部（検出部、画像認識部）
１４５…照度処理部（検出部）
１５０…オペレーティングシステム
１６０…画像処理部
１６１…方向判定部（向き検出部）
１７０…音声処理部
１７５…視線入力部（制御部）
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号
Ｄａｔａ…画像データ
ＵＳＢインターフェイス…マイクロ
Ｐ１，ＰＯ１，ＰＯ２…ポインター（ポインター）
Ｂ１…検索ボタン（オブジェクト）
Ｂ２…切替キー（オブジェクト）
Ｂ３…メニュー切替キー（オブジェクト）
Ｃ１…カーソル画像
Ｃ２…一覧画像
ＣＩ，ＣＩａ，ＣＩｂ…制御用画像
ＫＢ…キーボード
ＲＢ…決定キー（オブジェクト）
ＰＢ…ＤＶＤ操作ボタン群
ＳＢ…停止ボタン（オブジェクト）
ＳＣ…外景
ＨＤ…手のひら
ＲＥ…右眼
ＬＥ…左眼
ＳＩ…選択表示画像
ＥＬ…端部
ＩＬ…照明光
ＰＬ…画像光
ＰＮ…最大画像表示領域
ＶＲ…視野
ＰＷ…電源ボタン（オブジェクト）
ＩＢ１，ＩＢ２…入力スペース
ＳＰ１…親指の先端
ＳＰ２…人差し指の先端
ＳＰ３…小指の先端
Ｖｕｐ，Ｖｄｗ…音量ボタン（オブジェクト）
Ｃｕｐ，Ｃｄｗ…チャンネル変更ボタン（オブジェクト）
ＩＭＧ１，ＩＭＧ２，ＶＩ１，ＶＩ２…撮像画像
ＩＡ…画像範囲外枠
ＯＢ…ヨット
ＲＬ…右まぶた
ＬＬ…左まぶた
ＰＣ，ＰＣ１，ＰＣ２…注視点（特定の点）
ＥＤ１，ＥＤ２…視線方向の揺れ（視線の揺らぎ）
ＪＣ…判定円（所定の範囲）
ＥＣ１，ＥＣ１…揺れ範囲
Ｌ１…視線移動量
ＰＴ１…潜期間
ＰＴ２…視線移動期間
ＰＴ３…定常期間
Ｒ…距離（視線の揺らぎの振幅）

Claims (26)

1. 透過型の頭部装着型表示装置であって、
   使用者の頭部に装着された状態において、画像を表す画像光を生成し、前記使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、
   前記使用者の視線方向と、前記使用者の眼から所定の距離にある前記使用者の視線を遮る遮蔽物と、の少なくとも一方を検出する検出部と、
   検出された検出結果に基づいて前記画像光の制御を行なう制御部と、を備え、
   前記検出部は、
   前記使用者が特定の点を注視している場合における固視微動による視線の揺らぎを検出する際に、
   前記使用者の視点が移動した場合において、第１の注視点から第２の注視点に移動したときの視点移動時間が、予め定められた閾値以下の場合には、当該移動は、前記固視微動による視線の揺らぎと判断し、
   前記制御部は、前記視線の揺らぎに基づいて前記制御を行なう、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記制御部は、前記視線の揺らぎの振幅が閾値未満である場合には、前記使用者が前記特定の点を注視していると判定する、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記制御部は、前記視線方向が所定の期間に前記特定の点を中心とする所定の範囲内に収まっている場合には、前記使用者が前記特定の点を注視していると判定する、頭部装着型表示装置。
4. 請求項３に記載の頭部装着型表示装置であって、
   前記画像表示部は、前記画像光として、前記所定の範囲を示す画像光を前記使用者に視認させる、頭部装着型表示装置。
5. 請求項３または請求項４に記載の頭部装着型表示装置であって、さらに、
   音声を出力する音声出力部を備え、
   前記制御部は、前記視線方向が前記所定の期間に前記所定の範囲内に収まっている場合には、前記音声出力部に特定の音声を出力させる、頭部装着型表示装置。
6. 請求項２から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像表示部は、前記画像光として、複数の選択可能なオブジェクトと、検出された前記視線方向に対応した位置を示すポインターと、を前記使用者に視認させ、
   前記制御部は、前記使用者が前記特定の点を注視していると判定した場合に、前記オブジェクトを選択可能にさせる、頭部装着型表示装置。
7. 請求項１に記載の頭部装着型表示装置であって、
   前記画像表示部は、前記画像光として、複数の選択可能なオブジェクトと、検出された前記視線方向に対応した位置を示すポインターと、を前記使用者に視認させ、
   前記制御部は、前記頭部装着型表示装置に対して、複数の前記オブジェクトと前記ポインターとの位置関係に応じた内容の制御を行なう、頭部装着型表示装置。
8. 請求項７に記載の頭部装着型表示装置であって、
   前記検出部は、前記視線方向上の前記遮蔽物を検出し、
   前記制御部は、前記制御として、前記位置関係に基づいて一の前記オブジェクトの選択を行ない、前記遮蔽物の検出結果に基づいて選択した前記オブジェクトの決定を行なう、頭部装着型表示装置。
9. 請求項８に記載の頭部装着型表示装置であって、
   前記検出部は、前記遮蔽物としての前記使用者のまぶたの状態を検出し、
   前記制御部は、検出された前記まぶたの状態と前記位置関係とに応じた内容の制御を行なう、頭部装着型表示装置。
10. 請求項９に記載の頭部装着型表示装置であって、
    前記検出部は、前記使用者の右まぶたの開閉状態と左まぶたの開閉状態とを検出し、
    前記制御部は、前記位置関係と、検出された前記右まぶたの開閉状態と前記左まぶたの開閉状態との組み合わせと、に応じた内容の制御を行なう、頭部装着型表示装置。
11. 請求項８から請求項１０までのいずれか一項に記載の頭部装着型表示装置であって、
    前記検出部は、前記使用者の右眼と左眼とのそれぞれから前記所定の距離までの範囲における色または照度の少なくとも一方を示す右眼前指標値と左眼前指標値とを検出し、
    前記制御部は、前記位置関係と、検出された前記右眼前指標値と前記左眼前指標値と、に応じた内容の制御を行なう、頭部装着型表示装置。
12. 請求項８から請求項１１までのいずれか一項に記載の頭部装着型表示装置であって、
    前記画像表示部は、前記画像光を生成する領域を、検出された前記視線方向と前記遮蔽物の検出結果とに基づいて設定する、頭部装着型表示装置。
13. 請求項７から請求項１２までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    外景を撮像する撮像部と、
    撮像される外景に含まれ、前記所定の距離よりも離れた位置に存在する特定の対象を認識する画像認識部と、を備え、
    前記画像表示部は、認識された前記特定の対象に基づいて、前記画像光を生成する領域を設定する、頭部装着型表示装置。
14. 請求項７から請求項１３までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記使用者の頭部の向きを検出する向き検出部を備え、
    前記画像表示部は、検出された前記頭部の向きに基づいて、前記画像光を生成する領域を設定する、頭部装着型表示装置。
15. 請求項１に記載の頭部装着型表示装置であって、さらに、
    外景を撮像する撮像部を備え、
    前記制御部は、前記制御として、前記遮蔽物の検出結果に基づいて前記撮像部の操作を行ない、
    前記画像表示部は、撮像領域を示す画像光である領域画像光を生成する、頭部装着型表示装置。
16. 請求項１５に記載の頭部装着型表示装置であって、
    前記検出部は、前記遮蔽物としての前記使用者のまぶたの状態を検出し、
    前記制御部は、検出された前記まぶたの状態に基づいて前記操作を行なう、頭部装着型表示装置。
17. 請求項１６に記載の頭部装着型表示装置であって、
    前記検出部は、前記使用者の右まぶたの開閉状態と左まぶたの開閉状態とを検出し、
    前記制御部は、検出された前記右まぶたの開閉状態と前記左まぶたの開閉状態との組み合わせに基づいて前記操作を行なう、頭部装着型表示装置。
18. 請求項１７に記載の頭部装着型表示装置であって、
    前記画像表示部は、撮像される外景に対する前記視線方向に対応した位置を表わす画像光である視線位置画像光を生成して前記視線位置画像光を前記使用者に視認させ、
    前記制御部は、検出された前記視線方向と前記組み合わせとに基づいて、撮像される外景の一部の領域を設定し、
    前記領域画像光は、設定された前記一部の領域を示す画像光である、頭部装着型表示装置。
19. 請求項１８に記載の頭部装着型表示装置であって、
    前記操作は、前記撮像部のレンズの焦点距離の調整を含み、
    前記制御部は、前記焦点距離が第１の距離未満の場合には、前記領域画像光を前記一部の領域における周辺部分に生成し、前記焦点距離が前記第１の距離もりも大きな第２の距離を越える場合には、前記領域画像光を前記一部の領域の外景画像を表わす外景画像光とし、前記焦点距離が前記第１の距離以上かつ前記第２の距離以下の場合には、前記領域画像光を表示しない、頭部装着型表示装置。
20. 請求項１５から請求項１９までのいずれか一項に記載の頭部装着型表示装置であって、
    前記検出部は、前記使用者の右眼と左眼とのそれぞれから前記所定の距離までの範囲における色または照度の少なくとも一方を示す右眼前指標値と左眼前指標値とを検出し、
    前記制御部は、検出された前記右眼前指標値と前記左眼前指標値とに基づいて前記操作を行なう、頭部装着型表示装置。
21. 請求項１９に記載の頭部装着型表示装置であって、さらに、
    前記操作に基づいて、撮像される外景に含まれる特定の対象を認識する画像認識部を備え、
    前記制御部は、撮像される外景に前記特定の対象が認識される場合には、前記特定の対象に基づいて、撮像される外景の一部の領域を設定し、
    前記外景画像光は、設定された前記一部の領域を表わす画像光である、頭部装着型表示装置。
22. 請求項２１に記載の頭部装着型表示装置であって、
    前記制御部は、撮像される外景に前記特定の対象が認識されない場合には、撮像される外景に前記特定の対象が認識されているときの前記特定の対象の位置の変化に基づいて、前記撮像部から前記特定の対象までの方向を推定し、
    前記撮像部は、推定された方向を撮像する、頭部装着型表示装置。
23. 請求項１５から請求項２１までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    重力方向に対する前記使用者の頭部の向きを検出する向き検出部を備え、
    前記画像表示部は、検出された前記頭部の向きと前記重力方向とがなす角度が所定値以上である場合に、前記角度に基づいて、前記領域画像光を、前記重力方向に直交する水平面に平行な軸を光軸として撮像される外景の少なくとも一部の領域を示す画像光として生成する、頭部装着型表示装置。
24. 請求項１から請求項２３までのいずれか一項に記載の頭部装着型表示装置であって、
    前記視点移動時間に対する前記閾値は、０．７秒である、頭部装着型表示装置。
25. 使用者の頭部に装着された状態において、画像を表す画像光を生成し、前記使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、前記使用者の視線方向と、前記使用者の眼から所定の距離にある前記使用者の視線を遮る遮蔽物と、の少なくとも一方を検出する検出部と、を備える、透過型の頭部装着型表示装置の制御方法であって、
    検出された検出結果に基づいて前記画像光の制御を行なう工程を備え、
    前記画像光の制御を行なう工程は、
    前記使用者が特定の点を注視している場合における固視微動による視線の揺らぎを検出する工程と、
    前記視線の揺らぎに基づいて前記制御を行なう工程と、
    を有し、
    前記視線の揺らぎを検出する工程は、前記使用者の視点が移動した場合において、第１の注視点から第２の注視点に移動したときの視点移動時間が、予め定められた閾値以下の場合には、当該移動は、前記固視微動による視線の揺らぎと判断する工程を含む、制御方法。
26. 請求項２５に記載の制御方法であって、
    前記視点移動時間に対する前記閾値は、０．７秒である、制御方法。

Images