WO2021157204A1

WO2021157204A1 - 映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法

Info

Publication number: WO2021157204A1
Application number: PCT/JP2020/046682
Authority: WO
Inventors: 一龍徳山
Original assignee: ソニーグループ株式会社
Priority date: 2020-02-04
Filing date: 2020-12-15
Publication date: 2021-08-12
Also published as: EP4086691A4; KR20220130138A; US20230095993A1; EP4086691A1

Abstract

本発明は、ユーザの視線に映像の中心部を追従させるための情報を得ることができる映像追従情報検出装置を提供することを目的とする。　本発明の映像追従情報検出装置（１０）は、映像光を投射する映像光投射部（１１０）と、前記映像光投射部（１１０）から投射された前記映像光の一部を眼球（１）に向けて反射し、他部を透過させる透過反射部材（１２０）とを含む映像表示系（１００）と、少なくとも１つの非可視光源（２１１）と、前記透過反射部材（１２０）と一体的に設けられ、前記非可視光源（２１１）からの非可視光を前記眼球（１）に向けて反射回折する反射回折部（２１２ｃ１）を含む回折光学素子（２１２ｃ）と、前記眼球（１）で反射され前記反射回折部（２１２ｃ１）で反射回折された前記非可視光を受光する受光素子（２２０ａ）とを含む視線検出系（２００）と、を備え、前記透過反射部材（１２０）の厚さ方向から見て、前記透過反射部材（１２０）の前記映像光の中心部が照射される部分（１２０ａ）と、前記反射回折部（２１２ｃ１）とが重なっている。

Description

映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法

　本開示に係る技術（以下「本技術」とも呼ぶ）は、映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法に関する。

　従来、ユーザの視界にある投影面上に映像光を照射することにより映像を虚像として視認させるディスプレイ装置が知られている。
　例えば特許文献１には、視線検出装置が搭載され、投影面となるハーフミラーを介して映像を虚像としてユーザに視認させるディスプレイ装置が開示されている。

特開２００３－２９１９８号公報

　しかしながら、従来のディスプレイ装置では、ユーザの視線に映像の中心部を追従させるための情報を得ることができなかった。

　そこで、本技術は、ユーザの視線に映像の中心部を追従させるための情報を得ることができる映像追従情報検出装置、該映像追従情報検出装置を備える映像追従装置、前記映像追従情報検出装置を用いる映像追従情報検出方法、前記映像追従情報検出装置を用いる映像追従方法を提供することを主目的とする。

　本技術は、映像光を投射する映像光投射部と、前記映像光投射部から投射された前記映像光の一部を眼球に向けて反射し、他部を透過させる透過反射部材とを含む映像表示系と、
　少なくとも１つの非可視光源と、前記透過反射部材と一体的に設けられ、前記非可視光源からの非可視光を前記眼球に向けて反射回折する反射回折部を含む回折光学素子と、前記眼球で反射され前記反射回折部で反射回折された前記非可視光を受光する受光素子とを含む視線検出系と、
　を備え、
　前記透過反射部材の厚さ方向から見て、前記透過反射部材の前記映像光の中心部が照射される部分と、前記反射回折部とが重なっている、映像追従情報検出装置を提供する。
　前記透過反射部材の厚さ方向から見て、前記透過反射部材の、前記映像光の中心部が照射される部分と前記反射回折部の中心部とが重なっていてもよい。
　前記反射回折部の大きさは、前記眼球の瞳孔の最大径以下であってもよい。
　前記瞳孔の最大径は、８ｍｍであってもよい。
　前記映像光投射部は、前記透過反射部材と一体的に設けられていてもよい。
　前記受光素子は、複数の受光領域を有していてもよい。
　前記複数の受光領域は、２次元配列された４つの受光領域であってもよい。
　前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを含んでいてもよい。
　前記瞳孔径取得部は、照度センサを含み、前記照度センサの検出結果に基づいて前記瞳孔径を求めてもよい。
　前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、
　前記視線検出系は、発光波長が異なる複数の前記非可視光源を含み、前記複数の非可視光源の点灯毎に前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを算出するための情報を求めてもよい。
　前記反射回折部と前記受光素子との間に配置され、前記非可視光源からの非可視光が入射されるビームスプリッタを更に備え、前記ビームスプリッタは、前記非可視光源からの非可視光の一部を前記反射回折部に向けて反射させ、前記反射回折部から前記受光素子に向かう非可視光の一部を透過させてもよい。
　前記視線検出系は、前記非可視光源から射出された非可視光を平行光とするコリメートレンズを有していてもよい。
　前記視線検出系は、前記非可視光源と前記反射回折部との間の前記非可視光の光路上に配置された偏光板を有していてもよい。
　前記視線検出系は、前記反射回折部と前記受光素子との間の前記非可視光の光路上に配置された波長選択フィルタを有していてもよい。
　前記映像光投射部が前記透過反射部材と一体的に設けられていてもよい。
　本技術は、前記映像光投射部が前記透過反射部材と一体的に設けられた前記映像追従情報検出装置と、
　前記映像表示系及び前記回折光学素子を前記透過反射部材の面内方向に平行な方向に移動させるアクチュエータと、
　前記映像追従情報検出装置の受光素子からの信号に基づいて、前記アクチュエータを制御する制御装置と、
　を備える、映像追従装置も提供する。
　前記映像追従装置は、前記非可視光源からの非可視光を、前記映像表示系及び前記回折光学素子の移動想定範囲に応じた断面の大きさの平行光とするコリメータレンズを含んでいてもよい。
　前記受光素子は、２次元配列された複数の受光領域を有し、前記制御装置は、前記複数の受光領域からの信号に基づいて、前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを検出し、その検出結果に基づいて前記アクチュエータを制御してもよい。
　前記制御装置は、前記映像光による映像を前記視線に追従させるように前記アクチュエータを制御してもよい。
　前記反射回折部は縦長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させてもよい。
　前記反射回折部は横長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させてもよい。
　前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の縦長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させてもよい。
　前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の横長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させてもよい。
　本技術は、前記映像追従装置を備える映像表示装置も提供する。
　本技術は、前記映像追従情報検出装置を用いて、映像を視線に追従させるための映像追従情報を検出する方法であって、
　前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
　前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
　を含む、映像追従情報検出方法も提供する。
　本技術は、前記映像追従情報検出装置を用いて、映像を視線に追従させる映像追従方法であって、
　前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
　前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
　前記ずれ情報に基づいて、少なくとも前記映像光投射部、前記透過反射部材及び前記回折光学素子を一体的に移動させる移動工程と、
　を含む、映像追従方法も提供する。
　前記移動工程では、前記映像を前記視線に追従させるように、少なくとも前記映像光投射部、前記透過反射部材及び前記反射回折部を一体的に移動させてもよい。

本技術の第１の実施形態に係る映像追従情報検出装置の構成例を示す断面図である。本技術の第１の実施形態に係る映像追従情報検出装置において、受光素子を用いてユーザの視線を検出する方法を説明するための図である本技術の第１の実施形態に係る映像追従情報検出装置を備える映像追従装置の制御装置の構成例を示すブロック図である。本技術の第１の実施形態に係る映像追従情報検出装置を備える映像追従装置の動作例を説明するためのフローチャートである。本技術の第１の実施形態に係る映像追従情報検出装置を備える映像追従装置において、映像中心が視線から外れた状態を示す図である。本技術の第１の実施形態に係る映像追従情報検出装置を備える映像追従装置により、映像中心を視線に追従させた状態を示す図である。図７Ａ～図７Ｃは、本技術の第１の実施形態に係る映像追従情報検出装置を備える映像追従装置により、映像中心を視線に追従させる方法の一例を説明するための図である。本技術の第２の実施形態に係る映像追従情報検出装置の構成例を説明するための断面図（その１）である。本技術の第２の実施形態に係る映像追従情報検出装置の構成例を説明するための断面図（その２）である。本技術の第２の実施形態に係る映像追従情報検出装置を備える映像追従装置の制御装置の構成例を示すブロック図である。本技術の第２の実施形態に係る映像追従情報検出装置を備える映像追従装置の動作例を説明するためのフローチャートである。本技術の第３の実施形態に係る映像追従情報検出装置を備える映像追従装置の動作例を説明するためのフローチャートである。図１３Ａ及び図１３Ｂは、それぞれ本技術の第４の実施形態に係る映像追従情報検出装置を備える映像追従装置の構成例１、２を説明するための回折光学素子の断面図である。図１４Ａ及び図１４Ｂは、それぞれ本技術の第５の実施形態に係る映像追従情報検出装置を備える映像追従装置の構成例１、２を説明するための回折光学素子の断面図である。

　以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、これにより本技術の範囲が狭く解釈されることはない。本明細書において、本技術に係る映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法の各々が複数の効果を奏することが記載される場合でも、本技術に係る映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法の各々は、少なくとも１つの効果を奏すればよい。本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。

　また、以下の順序で説明を行う。
１．導入
２．本技術の第１の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
３．本技術の第２の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
４．本技術の第３の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
５．本技術の第４の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
６．本技術の第５の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置
７．本技術の変形例

１．＜導入＞
　近年、開発競争が激化しているヘッドマウントディスプレイＨＭＤにおいては、視線検出等の眼球情報の検出が、例えばフォービエイテッド・レンダリング（Ｆｏｖｅａｔｅｄ　Ｒｅｎｄｅｒｉｎｇ）、視聴可能領域（アイボックス）の拡大に使用される。ＨＭＤは、例えば使用者に対して拡張現実（ＡＲ）の映像を表示する。

２．＜本技術の第１の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置＞
　本技術の第１の実施形態に係る映像追従情報検出装置１０及び該映像追従情報検出装置１０を備える映像追従装置について、図面を用いて説明する。
　映像追従情報検出装置１０は、例えば、ユーザの頭部に装着される映像表示装置の一例であるＨＭＤ（ヘッドマウントディスプレイ）に搭載される。ＨＭＤは、例えばアイウェアとも呼ばれる。
　すなわち、映像追従情報検出装置１０は、頭部装着型である。

（第１の実施形態に係る映像追従情報検出装置）
　図１は、第１の実施形態に係る映像追従情報検出装置１０の構成を模式的に示す断面図である。以下では、映像追従情報検出装置１０がユーザの頭部に装着されていることを前提として説明を進める。

　映像追従情報検出装置１０は、図１に示すように、映像表示系１００と、視線検出系２００とを備える。

［映像表示系］
　映像表示系１００は、映像光投射部１１０と、透過反射部材１２０（コンバイナとも呼ばれる）とを含む。

　映像光投射部１１０は、映像光ＩＬ（可視光）を投射する。映像光投射部１１０は、一例として、映像光ＩＬを射出する光源部と、該光源部からの映像光ＩＬの光路上に配置され、該映像光ＩＬを透過反射部材１２０に向けて投射する投射レンズとを含む。
　映像光投射部１１０は、透過反射部材１２０と一体的に設けられている。

　透過反射部材１２０は、該映像光投射部１１０から投射された映像光ＩＬの一部を眼球１に向けて反射し、他部を透過させる。
　透過反射部材１２０は、一例として、少なくとも可視光に対する透過性を有する透過基板３００（例えばＨＭＤのフレームに保持される透明又は半透明の基板）の眼球１側の面に眼球１に対向するように設けられている。
　透過基板３００には、一例として、映像光投射部１１０を支持するブラケット３５０が片持ち状態で設けられている。
　透過反射部材１２０は、一例として、反射型の回折光学素子であり、可視光である映像光ＩＬをその波長に応じた特定の方向に高効率で反射回折する。なお、透過反射部材１２０は、例えばハーフミラー、ガラス板等であってもよい。
　図１には、眼球１と透過反射部材１２０とが対向する方向をＺ軸方向とし、透過反射部材１２０の面内方向において、互いに直交する方向をＸ軸方向及びＹ軸方向とするＸＹＺ３次元直交座標系が設定されている。以下では、当該ＸＹＺ３次元直交座標系を適宜用いて説明する。

［視線検出系］
　視線検出系２００は、照射系２１０と、受光系２２０とを含む。
　照射系２１０は、眼球１に非可視光ＩＶＬ（例えば赤外光）を照射する。
　照射系２１０は、非可視光源２１１（例えば赤外光源）と、非可視光源２１１からの非可視光ＩＶＬ（例えば赤外光）を眼球１に導く照射光学系２１２とを有する。

（非可視光源）
　非可視光源２１１は、一例として、非可視光ＩＶＬ（例えば赤外光）を射出する例えば半導体レーザ、発光ダイオード等の光源である。

（照射光学系）
　照射光学系２１２は、コリメートレンズ２１２ａと、ビームスプリッタ２１２ｂと、回折光学素子２１２ｃとを含む。コリメートレンズは、カップリングレンズとも呼ばれる。
　コリメートレンズ２１２ａは、非可視光源２１１からの非可視光ＩＶＬの光路上に配置され、該非可視光を略平行光とする。
　ビームスプリッタ２１２ｂは、コリメートレンズ２１２ａを介した非可視光ＩＶＬの光路上に配置され、該非可視光ＩＶＬの一部を反射させ、他部を透過させる。ビームスプリッタ２１２ｂは、例えばハーフミラーである。
　回折光学素子２１２ｃは、ビームスプリッタ２１２ｂで反射された非可視光ＩＶＬの光路上に配置され、該非可視光を眼球１に向けて反射回折する。
　回折光学素子２１２ｃは、非可視光源２１１からの非可視光ＩＶＬを眼球１（より詳細には瞳孔１ａ）に向けて反射回折する反射回折部２１２ｃ１を含む。
　反射回折部２１２ｃ１は、特定の波長帯の光（非可視光、例えば赤外光）をその波長に応じた特定の方向に高効率で反射回折する。
　回折光学素子２１２ｃは、透過反射部材１２０と一体的に設けられている。
　すなわち、回折光学素子２１２ｃは、映像光投射部１１０とも一体的に設けられている。
　詳述すると、回折光学素子２１２ｃは、透過基板３００の眼球１側とは反対側の面における透過反射部材１２０に対応する位置に設けられている。
　なお、回折光学素子２１２ｃは、透過反射部材１２０に一体に（直接）設けられていてもよい。
　反射回折部２１２ｃ１の詳細については、後述する。

（受光系）
　受光系２２０は、照射系２１０から眼球１に照射され眼球１（例えば眼球１の眼底）で反射された非可視光ＩＶＬを受光する。
　受光系２２０は、受光素子２２０ａと、照射系２１０から眼球１に照射され眼球１で反射された非可視光ＩＶＬを受光素子２２０ａに導光する受光光学系２２０ｂとを含む。
　受光光学系２２０ｂは、眼球１からの反射光（非可視光ＩＶＬ）をビームスプリッタ２１２ｂに向けて反射回折する回折光学素子２１２ｃと、該回折光学素子２１２ｃで反射回折された非可視光ＩＶＬのうちビームスプリッタ２１２ｂを透過した非可視光ＩＶＬの光路上に配置され、該非可視光ＩＶＬを受光素子２２０ａに集光させる集光レンズ２２０ｂ１とを含む。
　すなわち、受光光学系２２０ｂは、ビームスプリッタ２１２ｂ及び回折光学素子２１２ｃを照射光学系２１２と共有している。
　換言すると、照射系２１０におけるビームスプリッタ２１２ｂから回折光学素子２１２ｃまでの非可視光ＩＶＬの光路と、受光系２２０における回折光学素子２１２ｃからビームスプリッタ２１２ｂまでの非可視光ＩＶＬの光路とが重なっている（略一致している）。

　受光素子２２０ａは、複数の受光領域を有する。
　複数の受光領域は、例えば２次元配列された４つの受光領域（２２０ａ－１～２２０ａ－４）である。各受光領域は、例えばフォトダイオード（ＰＤ）である。すなわち、受光素子２２０ａは、例えば４分割フォトダイオードである。
　なお、受光素子２２０ａは、高密度に２次元配列された多数の画素を含むイメージセンサであってもよいが、ここでは、低消費電力及び低レイテンシーの点で優位な小分割フォトダイオードの一例として４分割フォトダイオードを用いている。
　受光素子２２０ａの４つの受光領域２２０ａ－１～２２０ａ－４の受光光量によって、ユーザの視線（眼球の向き）を検出することができる。
　具体的には、例えば図２Ａにおいて、４つの受光領域２２０ａ－１～２２０ａ－４の受光光量は、それぞれＡ、Ｂ、Ｃ、Ｄである。
　ここで、図２Ａに示すように、例えば受光素子２２０ａの中心を原点ＯとするＸＹ座標（例えばＸ軸方向を水平方向、Ｙ軸方向を垂直方向）を設定した場合に、瞳孔１ａの中心がＸ軸方向の任意の位置にあるとき、総受光光量（Ａ＋Ｂ＋Ｃ＋Ｄ）が図２Ｂ上図に示す波形となり、水平信号（（Ａ＋Ｃ）－（Ｂ＋Ｄ））が図２Ｂ下図に示す波形となる。

　瞳孔１ａの中心がＹ軸方向の任意の位置にあるときも、図２Ｂに示す波形と同様になるので、総受光光量（総光量）、水平信号、垂直信号を取得することにより、瞳孔１ａの中心の位置、すなわち視線（眼球１の向き）を検出することができる。

（反射回折部）
　図１に戻り、反射回折部２１２ｃ１は、透過反射部材１２０の厚さ方向（透過反射部材１２０の面内方向に直交する方向、Ｚ軸方向）から見て、透過反射部材１２０の映像光ＩＬの中心部が照射される部分１２０ａと重なっている。
　ここでは、一例として、透過反射部材１２０の映像光ＩＬの中心部が照射される部分１２０ａは、透過反射部材１２０の中心部（以下では「コンバイナ中心」とも呼ぶ）に一致している。
　この場合に、反射回折部２１２ｃ１は、コンバイナ中心と重なっている。
　なお、透過反射部材１２０の映像光ＩＬの中心部が照射される部分１２０ａは、透過反射部材１２０の中心部（コンバイナ中心）から多少ずれていてもよい。

　さらに、反射回折部２１２ｃ１の中心部が、透過反射部材１２０の厚さ方向から見て、透過反射部材１２０の、映像光ＩＬの中心部が照射される部分１２０ａ（例えばコンバイナ中心）と重なっていることが好ましい。
　この場合、例えば受光素子２２０ａの４つの受光領域２２０ａ－１～２２０ａ－４（図２Ａ参照）の受光光量は、コンバイナ中心（映像光ＩＬにより表示される映像の中心、以下では「映像中心」とも呼ぶ）からのユーザの視線（瞳孔中心）のずれを示す。逆に言うと、４つの受光領域２２０ａ－１～２２０ａ－２の受光光量は、ユーザの視線（瞳孔中心）からの映像中心のずれを示す。

　さらに、反射回折部２１２ｃ１の大きさは、眼球１の瞳孔１ａの最大径以下であることが好ましい。
　この場合には、図１において、受光系２２０は、照射系２１０から眼球１の角膜に照射され該角膜からの反射光を受光することができるため、視線（瞳孔中心）からの映像中心のずれを精度良く求めることができる。
　一方、例えば反射回折部の大きさが瞳孔１ａの最大径よりも大きい場合は、角膜以外からの反射光も検出されるため、瞳孔１ａの中心の検出感度が低くなる。

　また、反射回折部２１２ｃ１の大きさは、瞳孔１ａの最小径以上であってもよい。
　一般的に、瞳孔１ａの径は、２ｍｍ～８ｍｍである。
　すなわち、一般的に、瞳孔１ａの最大径は、８ｍｍであり、瞳孔１ａの最小径は、２ｍｍである。

　図１において、非可視光源２１１から射出された非可視光ＩＶＬは、所定の拡散角まで拡散した後、コリメートレンズ２１２ａで所定のビーム径（反射回折部２１２ｃ１よりも十分に大きいビーム径）の平行光とされ、当該ビーム径を保ちつつ、一部がビームスプリッタ２１２ｂで反射されて、反射回折部２１２ｃ１に入射される。
　この場合に、例えば、映像追従情報検出装置１０がユーザの頭部に対して多少ずれても、非可視光源２１１からの非可視光ＩＶＬが反射回折部２１２ｃ１に照射される。

（映像追従装置の構成）

　第１の実施形態に係る映像追従情報検出装置１０を備える映像追従装置は、さらに、アクチュエータ４００と制御装置５００とを備える。
　アクチュエータ４００は、例えば、ＨＭＤのメガネフレームに対して、少なくとも映像表示系１００及び回折光学素子２１２ｃを透過反射部材１２０の面内方向に平行な方向（ＸＹ平面に平行な方向）に移動させる。
　具体的には、アクチュエータ４００は、一例として、一体的に設けられた映像表示系１００、回折光学素子２１２ｃ及び透過基板３００をＸ軸方向及びＹ軸方向に独立して移動させることが可能である。以下では、映像表示系１００、回折光学素子２１２ｃ及び透過基板３００を併せて「移動対象」とも呼ぶ。
　ここでは、一例として、透過基板３００がアクチュエータ４００を介してＨＭＤのメガネフレームに取付けられている。
　すなわち、移動対象は、アクチュエータ４００によりメガネフレームに対してＸ軸方向及びＹ軸方向に独立に移動可能となっている。
　アクチュエータ４００としては、例えば、２軸のリニアモータ、２軸のボールねじ機構及びこれの駆動源としてのモータを組み合わせたもの、２軸のラック・アンド・ピニオン機構とこれの駆動源としてのモータを組み合わせたもの等が挙げられる。

　当該映像追従装置において、映像追従情報検出装置１０のコリメートレンズ２１２ａは、非可視光源２１１からの非可視光ＩＶＬを、移動対象の移動想定範囲に応じた断面の大きさの平行光とする。
　具体的には、例えば、当該断面の大きさは、移動対象が移動想定範囲内で移動しても、非可視光源２１１からの非可視光ＩＶＬを反射回折部２１２ｃ１に照射可能な大きさである。

　制御装置５００は、図３に示すように、主制御部５００ａ及びずれ検出部５００ｂを含む。制御装置５００は、例えばＣＰＵ、チップセット等を含むハードウェア構成により実現される。
　ずれ検出部５００ａは、受光素子２２０ａの出力に基づいて、映像の視線からのずれ（ずれ量及びずれ方向）を検出し、その検出結果を主制御部５００ａに送る。
　主制御部５００ａは、映像中心の視線からのずれ（ずれ方向及びずれ量）に基づいて、移動対象をＸ軸方向に駆動するための駆動信号（パルス信号）及びＹ軸方向に駆動するための駆動信号（パルス信号）を生成し、アクチュエータ４００に出力する。これにより、映像中心の視線からのずれに基づいて、アクチュエータ４００が駆動される。

（映像追従装置の動作）
　以下に、図４のフローチャートを参照して、第１の実施形態に係る映像追従情報検出装置１０を備える映像追従装置の動作について説明する。図４のフローチャートは、制御装置５００の主制御部５００ａで実行される処理アルゴリズムに基づいている。

　最初のステップＳ１では、主制御部５００ａが、映像光ＩＬをコンバイナ（透過反射部材１２０）に照射する。具体的には、主制御部５００ａが、映像光投射部１１０からコンバイナに向けて映像光ＩＬを投射する。主制御部５００ａは、例えば、ユーザにより映像追従装置の電源スイッチがオンにされたときに、ステップＳ１を実行する。

　次のステップＳ２では、主制御部５００ａが、瞳孔１ａの中心（瞳孔中心）の初期位置を検出する。
　具体的には、主制御部５００ａは、アクチュエータ４００を制御して移動対象をＸ軸方向、Ｙ軸方向にそれぞれ掃引することで、瞳孔中心の初期位置（例えば図２Ａにおける瞳孔中心のＸＹ座標）を求める。例えば、主制御部５００ａは、移動対象をＸ軸方向、Ｙ軸方向にそれぞれ掃引して、図２における各受光領域での受光光量が同一となったときのコンバイナ中心の位置を瞳孔中心の初期位置として検出する。
　この瞳孔中心の初期位置が検出された状態では、視線からのコンバイナ中心のずれが０の状態である（視線とコンバイナ中心とが交わる状態である）。
　そこで、この状態（図１に示す状態又は図７Ａに示す状態）を、アクチュエータ４００による移動対象の初期位置とする。

　次のステップＳ３では、主制御部５００ａが、非可視光源２１１（例えば赤外光源）を点灯させる。このとき、非可視光源２１１から射出された非可視光ＩＶＬは、照射光学系２１２により眼球１に導かれる。眼球１で反射された非可視光ＩＶＬの少なくとも一部は、受光光学系２２０ｂにより受光素子２２０ａに導かれる。

　次のステップＳ４では、ずれ検出部５００ｂが、視線からのコンバイナ中心のずれを検出する。具体的には、ずれ検出部５００ｂは、受光素子２２０ａの４つの受光領域２２０ａ－１～２２０ａ－４の受光光量に基づいて当該ずれ（ずれ方向及びずれ量）を検出し、主制御部５００ａに送る。
　例えば、図５及び図７Ａにおいては、映像追従装置を搭載するメガネの掛けずれが起き、視線からのコンバイナ中心のずれが大きく、映像光ＩＬが瞳孔１ａにほとんど入射しない状態となっている。この場合には、映像の消失が発生するおそれがある。

　次のステップＳ５では、主制御部５００ａが、視線からのコンバイナ中心のずれに基づいて、映像表示系１００、回折光学素子２１２ｃ及び透過基板３００を一体的に移動させる。具体的には、主制御部５００ａは、映像の視線からのずれが極力小さくなるように、好ましくは０となるような駆動信号を生成し、アクチュエータ４００に印加する。
　例えば、図６に示すように、図５に示す状態から、アクチュエータ４００を制御して、視線検出系２００による瞳孔中心位置（視線）の検出動作を行うことにより、視線からのコンバイナ中心のずれをなくすことが可能である。すなわち、視線と映像中心のずれをなくすことが可能である。
　例えば、図７Ｃに示すように、図７Ｂに示す状態から、アクチュエータ４００を制御して、瞳孔中心位置の検出動作を行うことより、視線からのコンバイナ中心のずれをなくすことが可能である。

　最後のステップＳ６では、主制御部５００ａが、処理が終了したか否かを判断する。具体的には、例えば、主制御部５００ａは、ユーザにより映像追従装置のスイッチがオフにされときに処理が終了したと判断し、オンの状態のままのときには処理がしていない（継続中）であると判断する。ステップＳ６での判断が否定されるとステップＳ４に戻り、肯定されるとフローは終了する。

（映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法の効果）
　以上説明した第１の実施形態の映像追従情報検出装置１０は、映像光ＩＬを投射する映像光投射部１１０と、映像光投射部１１０から投射された映像光ＩＬの一部を眼球１に向けて反射し、他部を透過させる透過反射部材１２０とを含む映像表示系１００と、少なくとも１つの非可視光源２１１と、透過反射部材１２０に一体的に設けられ、非可視光源２１１からの非可視光ＩＶＬを眼球１に向けて反射回折する反射回折部２１２ｃ１を含む回折光学素子２１２ｃと、眼球１で反射され反射回折部２１２ｃ１で反射回折された非可視光ＩＶＬを受光する受光素子２２０ａとを含む視線検出系２００と、を備える。さらに、映像追従情報検出装置１０は、透過反射部材１２０の厚さ方向（例えばＺ軸方向）から見て、透過反射部材１２０の映像光ＩＬの中心部が照射される部分１２０ａと、反射回折部２１２ｃ１とが重なっている。
　この場合、受光素子２２０ａの出力により、映像光ＩＬの中心部により表示される映像の中心と視線とのずれを求めることができる。
　この結果、映像追従情報検出装置１０によれば、ユーザの視線に映像の中心部を追従させるための情報を得ることができる。
　また、映像追従情報検出装置１０によれば、非可視光源２１１からの光を回折光学素子２１２ｃで反射回折させて眼球１に入射させる構成を採用しているので、例えば、映像追従情報検出装置１０が搭載される、ＨＭＤのメガネフレーム上に光源や受光素子を配置する必要がなく、ユーザの視野を広く確保することができる。

　透過反射部材１２０の厚さ方向から見て、透過反射部材１２０の、映像光ＩＬの中心部が照射される部分１２０ａと反射回折部２１２ｃ１の中心部とが重なっていることが好ましい。これにより、映像中心と視線とのずれをより精度良く求めることができ、ひいては、ユーザの視線に映像を追従させるためのより高精度な情報を得ることができる。

　第１の実施形態の映像追従情報検出装置１０を備える映像追従装置は、映像表示系１００及び回折光学素子２１２ｃを透過反射部材１２０の面内方向に平行な方向に移動させるアクチュエータ４００と、映像追従情報検出装置１０の受光素子２２０ａからの信号に基づいて、アクチュエータを制御する制御装置５００と、を備える。これにより、ユーザの視線に映像を追従させることができる。

　受光素子２２０ａは、２次元配列された複数（例えば４つ）の受光領域２２０ａ－１～２２０ａ－４を有し、制御装置５００は、複数の受光領域２２０ａ－１～２２０ａ－４からの信号に基づいて、映像表示系１００により表示される映像の中心と眼球１の向きである視線とのずれを検出し、その検出結果に基づいてアクチュエータ４００を制御する。これにより、低レイテンシー且つ低消費電力で、ユーザの視線に映像を追従させることができる。

　第１の実施形態の映像追従情報検出装置１０を含む映像追従装置を備える映像表示装置（例えばＨＭＤ）によれば、コンバイナ中心が視線に追従するので、ユーザは、常時、映像中心を視ることができる。つまり、映像に対するユーザの視認性が良好な状態が継続して維持される。

　第１の実施形態の映像追従情報検出装置１０を用いて、映像を視線に追従させるための映像追従情報を検出する映像追従情報検出方法は、映像追従情報検出装置１０の映像表示系１００により映像を表示する工程と、視線検出系２００の検出結果を視線と映像の中心部とのずれ情報として取得する工程と、映像光ＩＬを透過反射部材１２０で反射させて眼球１に照射する映像光照射工程と、非可視光ＩＶＬを--透過反射部材１２０に設けられた反射回折部２１２ｃ１で反射回折させて眼球１に照射し、その反射光を反射回折部２１２ｃ１で反射回折させて受光することにより、眼球１の向きである視線を検出する視線検出工程と、を含む。
　この場合、眼球１からの反射光を受光することにより、映像光ＩＬの中心部により表示される映像の中心と視線とのずれを求めることができる。
　この結果、当該映像追従情報検出方法によれば、ユーザの視線に映像を追従させるための情報を得ることができる。

　第１の実施形態の映像追従情報検出装置１０を用いて、映像を視線に追従させる映像追従方法は、映像追従情報検出装置１０の映像表示系１００により映像を表示する工程と、視線検出系２００の検出結果を視線と映像の中心部とのずれ情報として取得する工程と、該ずれ情報に基づいて、少なくとも映像光投射部１１０、透過反射部材１２０及び回折光学素子２１２ｃを一体的に移動させる移動工程と、を含む。これにより、ユーザの視線に映像を追従させることができる。

３．＜本技術の第２の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置＞
　以下に、図８～図１１を参照して、本技術の第２の実施形態に係る映像追従情報検出装置２０及び該映像追従情報検出装置について説明する。

　ところで、眼球の瞳孔径は、環境光や映像光の輝度に依存して変化する。
　そこで、第２の実施形態に係る映像追従情報検出装置２０は、このような瞳孔径の変化に対応するための構成を有している。
　具体的には、第２の実施形態に係る映像追従情報検出装置２０は、図８～図１０に示すように、視線検出系２００が、眼球１の瞳孔径（瞳孔１ａの径）を取得する瞳孔径取得部５００ｃと、発光波長が異なる複数（例えば２つ）の非可視光源（例えば第１及び第２の非可視光源２１１ａ、２１１ｂ）と、瞳孔径取得部５００ｃでの取得結果に基づいて、複数の非可視光源２１１ａ、２１１ｂを選択的に点灯可能な点灯制御部５００ｄとを含む。
　さらに、第２の実施形態に係る映像追従情報検出装置２０は、図８及び図９に示すように、回折光学素子２１２ｄが、厚さ方向（Ｚ軸方向）に積層された、回折波長及び大きさが異なる複数（例えば２つ）の反射回折部（例えば第１及び第２の反射回折部２１２ｄ１、２１２ｄ２）を有する。
　第１の反射回折部２１２ｄ１は、第１の非可視光源２１１ａの発光波長を回折波長とする。すなわち、第１の反射回折部２１２ｄ１は、第１の非可視光源２１１ａからの非可視光ＩＶＬ１を特定の方向に高効率で回折する。
　第２の反射回折部２１２ｄ２は、第２の非可視光源２１１ｂの発光波長を回折波長とする。すなわち、第２の反射回折部２１２ｄ２は、第２の非可視光源２１１ｂからの非可視光ＩＶＬ２を特定の方向に高効率で回折する。
　一例として、第２の反射回折部２１２ｄ２は、第１の反射回折部２１２ｄ１よりも大きい。
　各反射回折部の大きさは、一例として、瞳孔１ａの最大径（例えば８ｍｍ）以下である。

　点灯制御部５００ｄは、第１及び第２の非可視光源２１１ａ、２１１ｂを順次点灯させる。瞳孔径取得部５００ｃは、第１及び第２の非可視光源２１１ａ、２１１ｂの点灯毎に眼球１の瞳孔径を取得する。点灯制御部５００ｄは、瞳孔径取得部５００ｃの取得結果に基づいて、複数の非可視光源２１１ａ、２１１ｂから点灯させる非可視光源を選択する。

　瞳孔径取得部５００ｃは、図１０に示すように、一例として、照度センサ５００ｃ１と、該照度センサ５００ｃ１の検出結果に基づいて眼球１の瞳孔径を推定する瞳孔系推定部５００ｃ２とを含む。照度センサ５００ｃ１は、例えば、映像光投射部１１０を支持するブラケット３５０に設けられている。

（映像追従装置の動作）
　以下に、第２の実施形態に係る映像追従情報検出装置２０を備える映像追従装置の動作を、図１１のフローチャートを参照して説明する。図１１のフローチャートは、制御装置５５０（図１０参照）の主制御部５００ａによって実行される処理アルゴリズムに基づいている。

　最初のステップＳ１１では、主制御部５００ａが、映像光ＩＬをコンバイナ（透過反射部材１２０）に照射する。具体的には、主制御部５００ａが、映像光投射部１１０からコンバイナに向けて映像光ＩＬを投射する。なお、主制御部５００ａは、例えば、ユーザにより映像追従装置の電源スイッチがオンにされたときに、ステップＳ１１を実行する。

　次のステップＳ１２では、照度センサ５００ｃ１が眼球１周辺の照度情報を検出する。

　次のステップＳ１３では、瞳孔径推定部５００ｃ２が、照度センサ５００ｃ１で検出された照度情報に基づいて瞳孔径を推定する。具体的には、瞳孔径推定部５００ｃ２は、例えば、予め瞳孔径と照度との対応関係を表すテーブルをメモリに保存しておき、瞳孔径推定部５００ｃ２が、当該テーブルを参照して、検出された照度情報に対応する瞳孔径を該照度情報検出時での瞳孔径と推定する。

　次のステップＳ１４では、点灯制御部５００ｄが、瞳孔径推定部５００ｃ２で推定された瞳孔径に応じて非可視光源を選択する。具体的には、点灯制御部５００ｄは、当該推定された瞳孔径が閾値（例えば４ｍｍ）以上の場合（暗瞳孔の場合）に、大きい方の反射回折部２１２ｄ２に対応する非可視光源である第２の非可視光源２１１ｂを選択する。一方、点灯制御部５００ｄは、当該推定された瞳孔径が閾値（例えば４ｍｍ）未満の場合（明瞳孔の場合）に、小さい方の反射回折部２１２ｄ１に対応する非可視光源である第１の非可視光源２１１ａを選択する。

　次のステップＳ１５では、主制御部５００ａが、点灯制御部５００ｄにより選択された非可視光源を点灯して瞳孔中心の初期位置を検出する。
　具体的には、主制御部５００ａは、上記第１の実施形態のステップＳ２と同様にアクチュエータ４００を制御して移動対象をＸ軸方向、Ｙ軸方向にそれぞれ掃引することで、瞳孔中心の初期位置を求める。
　例えば、第１の非可視光源２１１ａが選択された場合には、図８に示すように、第１の非可視光源２１１ａから射出されコリメートレンズ２１２ａ、ビームスプリッタ２１２ｂを介した非可視光ＩＶＬ１は、第１の反射回折部２１２ｄ１で眼球１に向けて回折される。眼球１に入射された非可視光ＩＶＬ１の少なくとも一部は、第１の反射回折部２１２ｄ１で反射回折され、ビームスプリッタ２１２ｂ、集光レンズ２２０ｂ１を介して受光素子２２０ａに入射される。
　例えば、第２の非可視光源２１１ｂが選択された場合には、図９に示すように、第２の非可視光源２１１ｂから射出されコリメートレンズ２１２ａ、ビームスプリッタ２１２ｂを介した非可視光ＩＶＬ２は、第２の反射回折部２１２ｄ２で眼球１に向けて回折される。眼球１に入射された非可視光ＩＶＬ２の少なくとも一部は、第２の反射回折部２１２ｄ２で反射回折され、ビームスプリッタ２１２ｂ、集光レンズ２２０ｂ１を介して受光素子２２０ａに入射される。
　すなわち、眼球１には瞳孔径に応じた大きさの非可視光が照射されるので、瞳孔中心位置の検出精度が向上する。
　瞳孔中心の初期位置が検出された状態では、視線からのコンバイナ中心のずれが０の状態である（視線とコンバイナ中心とが交わる状態である）。
　そこで、この状態（図８に示す状態）を、アクチュエータ４００による移動対象の初期位置とする。

　次のステップＳ１６では、ずれ検出部５００ｂが、選択された非可視光源を点灯して視線からのコンバイナ中心のずれを検出する。この場合にも、上述したように、瞳孔中心位置の検出精度が向上するため、当該ずれの検出精度も向上する。
　具体的には、ずれ検出部５００ｂは、受光素子２２０ａの４つの受光領域２２０ａ－１～２２０ａ－４の受光光量に基づいて当該ずれ（ずれ方向及びずれ量）を検出し、主制御部５００ａに送る。

　次のステップＳ１７では、主制御部５００ａが、検出されたずれに基づいてアクチュエータにより移動対象を移動する。
　具体的には、主制御部５００ａは、映像の視線からのずれが極力小さくなるように、好ましくは０となるような駆動信号を生成し、アクチュエータ４００に印加する。

　最後のステップＳ１８では、主制御部５００ａが、処理が終了したか否かを判断する。具体的には、例えば、主制御部５００ａは、ユーザにより映像追従装置のスイッチがオフにされたときに処理が終了したと判断し、オンの状態のままのときには処理がしていない（継続中）であると判断する。ステップＳ１８での判断が否定されるとステップＳ１２に戻り、肯定されるとフローは終了する。

　以上説明した第２の実施形態に係る映像追従情報検出装置２０によれば、眼球１に瞳孔径に応じた大きさの非可視光を照射するので、視線からの映像中心のずれを精度良く求めることができる。
　第２の実施形態に係る映像追従情報検出装置２０を備える映像追従装置によれば、視線に対して映像中心を精度良く追従させることができる。
４．＜本技術の第３の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置＞
　以下に、本技術の第３の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置について説明する。

　第３の実施形態に係る映像追従情報検出装置の構成は、瞳孔径取得部５００ｃ及び点灯制御部５００ｄを有していない点を除いて、図８～図１０に示す上記第２の実施形態に係る映像追従情報検出装置の構成と同様である。
　第３の実施形態に係る映像追従情報検出装置を備える映像追従装置の構成は、映像追従情報検出装置が瞳孔径取得部５００ｃを有していない点を除いて、上記第２の実施形態に係る映像表示位置調整情報検出装置を備える映像追従装置の構成と同様である。
　第３の実施形態に係る映像追従情報検出装置では、回折光学素子２１２ｄ（図８及び図９参照）は、厚さ方向に積層された、回折波長及び大きさが異なる複数の反射回折部２１２ｄ１、２１２ｄ２を有し、視線検出系２００は、発光波長が異なる複数の非可視光源（例えば第１及び第２の非可視光源２１１ａ、２１１ｂ）を含み、複数の非可視光源２１１ａ、２１１ｂの点灯毎に映像表示系１００により表示される映像の中心と眼球１の向きである視線とのずれを算出するための情報（ずれ算出情報）を求める。

　以下に、図１２を参照して、第３の実施形態に係る映像追従情報検出装置を備える映像追従装置の動作を説明する。

　最初のステップＳ２１では、主制御部５００ａが、映像光ＩＬをコンバイナ（透過反射部材１２０）に照射する。具体的には、主制御部５００ａが、映像光投射部１１０からコンバイナに向けて映像光ＩＬを投射する。なお、主制御部５００ａは、例えば、ユーザにより映像追従装置の電源スイッチがオンにされたときに、ステップＳ２１を実行する。
映像光ＩＬをコンバナに照射する。

　次のステップＳ２２では、主制御部５００ａが、第１の非可視光源２１１ａを点灯し、瞳孔中心の第１の初期位置算出情報を求める。具体的には、主制御部５００ａは、第１の非可視光源２１１ａを点灯させた状態で、上記第１の実施形態のステップＳ２と同様にアクチュエータ４００を制御して移動対象をＸ軸方向、Ｙ軸方向にそれぞれ掃引することで、瞳孔中心の第１の初期位置算出情報（例えばＸＹ座標）を求める。

　次のステップＳ２３では、主制御部５００ａが、第２の非可視光源２１１ｂを点灯し、瞳孔中心の第２の初期位置算出情報を検出する。具体的には、主制御部５００ａは、第２非可視光源２１１ｂを点灯させた状態で、上記第１の実施形態のステップＳ２と同様にアクチュエータ４００を制御して移動対象をＸ軸方向、Ｙ軸方向にそれぞれ掃引することで、瞳孔中心の第２の初期位置算出情報（例えばＸＹ座標）を求める。

　次のステップＳ２４では、主制御部５００ａが、第１及び第２の初期位置算出情報に基づいて、瞳孔中心の初期位置を算出する。具体的には、例えば、主制御部５００ａは、第１及び第２の初期位置算出情報のＸ座標の平均値、Ｙ座標の平均値をそれぞれ瞳孔中心の初期位置のＸ座標、Ｙ座標とする。

　次のステップＳ２５では、主制御部５００ａが、算出された瞳孔中心の初期位置にコンバイナ中心を一致させる。具体的には、主制御部５００ａは、現時点でのコンバイナ中心のＸＹ座標と、算出された瞳孔中心の初期位置のＸＹ座標の差分（Ｘ座標間の差分、Ｙ座標間の差分）だけアクチュエータ４００により移動対象をＸＹ平面に沿って移動させる。

　次のステップＳ２６では、ずれ検出部５００ｂが、第１の非可視光源２１１ａを点灯し、視線からのコンバイナ中心の第１のずれ算出情報（例えばＸ軸方向のずれ情報、Ｙ軸方向のずれ情報）を求める。

　次のステップＳ２７では、ずれ検出部５００ｂが、第２の非可視光源２１１ｂを点灯し、視線からのコンバイナ中心の第２のずれ算出情報（例えばＸ軸方向のずれ情報、Ｙ軸方向のずれ情報）を求める。

　次のステップＳ２８では、ずれ検出部５００ｂが、第１及び第２のずれ算出情報に基づいて、視線からのコンバイナ中心のずれを算出する。具体的には、例えば、主制御部５００ａは、第１及び第２のずれ算出情報のＸ軸方向の平均値、Ｙ軸方向の平均値をそれぞれ視線からのコンバイナ中心のＸ軸方向、Ｙ軸方向のずれとする。

　次のステップＳ２９では、主制御部５００ａが、算出されたずれに基づいてアクチュエータにより移動対象を移動する。
　具体的には、主制御部５００ａは、映像の視線からのずれが極力小さくなるように、好ましくは０となるような駆動信号を生成し、アクチュエータ４００に印加する。

　最後のステップＳ３０では、主制御部５００ａが、処理が終了したか否かを判断する。具体的には、例えば、主制御部５００ａは、ユーザにより映像追従装置のスイッチがオフにされたときに処理が終了したと判断し、オンの状態のままのときには処理がしていない（継続中）であると判断する。ステップＳ３０での判断が否定されるとステップＳ２６に戻り、肯定されるとフローは終了する。

　以上説明した第３の実施形態に係る映像追従情報検出装置によれば、眼球１に瞳孔径に応じた大きさの非可視光を照射するので、視線からの映像中心のずれを精度良く求めることができる。
　第３の実施形態に係る映像追従情報検出装置を備える映像追従装置によれば、視線に対して映像中心を精度良く追従させることができる。

５．＜本技術の第４の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置＞
　以下に、本技術の第４の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置について説明する。

　図１３Ａ及び図１３Ｂは、それぞれ本技術の第４の実施形態に係る映像追従情報検出装置を備える映像追従装置の構成例１、構成例２を説明するための図である。
　図１３Ａに示す構成例１は、アクチュエータの構成が異なる点を除いて、上記第１の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。
　図１３Ｂに示す構成例２は、アクチュエータの構成が異なる点を除いて、上記第２又は第３の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。

　第４の実施形態に係る映像追従装置の構成例１及び構成例２のアクチュエータは、図１３Ａ及び図１３Ｂに示すように、移動対象を一軸方向、例えばＸ軸方向のみに移動させるアクチュエータである。当該アクチュエータとしては、例えば、一軸のリニアモータ、ボールねじ機構と駆動源（例えばモータ）の組合せ、ラック・アンド・ピニオンと駆動源（例えばモータ）の組合せ等が挙げられる。

　第４の実施形態に係る映像追従情報検出装置の構成例１では、図１３Ａに示すように、回折光学素子２１２ｅの反射回折部２１２ｅ１が、アクチュエータによる移動対象の移動方向（Ｘ軸方向）に直交する方向を長手方向とする縦長形状（Ｙ軸方向を長手方向とする形状）とされている。
　この場合には、反射回折部２１２ｅ１がＹ軸方向の一定範囲をカバーできるので、移動対象をＸ軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。

　第４の実施形態に係る映像追従情報検出装置の構成例２では、図１３Ｂに示すように、回折光学素子２１２ｆがＺ軸方向に積層された複数（例えば２つ）の回折波長及び大きさが異なる反射回折部２１２ｆ１、２１２ｆ２を有する。
　２つの反射回折部２１２ｆ１、２１２ｆ２それぞれは、アクチュエータによる移動対象の移動方向（Ｘ軸方向）に直交する方向を長手方向とする縦長形状（Ｙ軸方向を長手方向とする形状）とされている。
　この場合には、反射回折部２１２ｆ１、ｆ２がＹ軸方向の一定範囲をカバーできるので、移動対象をＸ軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。
　さらに、構成例２では、回折波長及び大きさが異なる反射回折部が積層されているので、上記第２又は第３の実施形態と同様の作用、効果を得ることができる。

６．＜本技術の第５の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置＞
　以下に、本技術の第５の実施形態に係る映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置について説明する。

　図１４Ａ及び図１４Ｂは、それぞれ本技術の第５の実施形態に係る映像追従情報検出装置を備える映像追従装置の構成例１、構成例２を説明するための図である。
　図１４Ａに示す構成例１は、アクチュエータの構成が異なる点を除いて、上記第１の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。
　図１４Ｂに示す構成例２は、アクチュエータの構成が異なる点を除いて、上記第２又は第３の実施形態の映像追従情報検出装置を備える映像追従装置と同様の構成を有する。

　第５の実施形態に係る映像追従装置の構成例１及び構成例２のアクチュエータは、図１４Ａ及び図１４Ｂに示すように、移動対象を一軸方向、例えばＹ軸方向のみに移動させるアクチュエータである。当該アクチュエータとしては、例えば、一軸のリニアモータ、ボールねじ機構と駆動源（例えばモータ）の組合せ、ラック・アンド・ピニオンと駆動源（例えばモータ）の組合せ等が挙げられる。

　第５の実施形態に係る映像追従情報検出装置の構成例１では、図１４Ａに示すように、回折光学素子２１２ｇの反射回折部２１２ｇ１が、アクチュエータによる移動対象の移動方向（Ｙ軸方向）に直交する方向を長手方向とする横長形状（Ｘ軸方向を長手方向とする形状）とされている。
　この場合には、反射回折部２１２ｇ１がＸ軸方向の一定範囲をカバーできるので、移動対象をＹ軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。

　第４の実施形態に係る映像追従情報検出装置の構成例２では、図１４Ｂに示すように、回折光学素子２１２ｈがＺ軸方向に積層された複数（例えば２つ）の回折波長及び大きさが異なる反射回折部２１２ｈ１、２１２ｈ２を有する。
　２つの反射回折部２１２ｈ１、２１２ｈ２それぞれは、アクチュエータによる移動対象の移動方向（Ｙ軸方向）に直交する方向を長手方向とする横長形状（Ｘ軸方向を長手方向とする形状）とされている。
　この場合には、反射回折部２１２ｈ１、ｈ２がＸ軸方向の一定範囲をカバーできるので、移動対象をＹ軸方向に移動させるだけでも、視線からのコンバイナ中心のずれを求めて、該ずれを低減させるべくアクチュエータを駆動することができる。
　さらに、構成例２では、回折波長及び大きさが異なる反射回折部が積層されているので、上記第２又は第３の実施形態と同様の作用、効果を得ることができる。
７．＜本技術の変形例＞

　本技術の映像追従情報検出装置及び該映像追従情報検出装置を備える映像追従装置の構成は、適宜変更可能である。

　例えば、視線検出系２００は、非可視光源と反射回折部との間の非可視光の光路上（例えばコリメートレンズ２１２ａとビームスプリッタ２１２ｂとの間の非可視光の光路上）に配置された偏光板を有していてもよい。これにより、当該非可視光の光学ノイズ（例えばプルキニエ像）を除去することが可能である。

　例えば、視線検出系２００は、反射回折部と受光素子２２０ａとの間の非可視光の光路上（例えば集光レンズ２２０ｂ１と受光素子２２０ａとの間の非可視光の光路上）に配置された波長選択フィルタ（例えばバンドパスフィルタ）を有していてもよい。これにより、例えば、受光素子２２０ａで受光する非可視光（例えば赤外線）の波長を選択することができる。

　上記各実施形態において、アクチュエータにより映像追従情報検出装置の全体（例えば非可視光源、コリメートレンズ、ビームスプリッタ、集光レンズ、受光素子も含めて）を一体的に移動させて、視線に対するコンバイナ中心のずれを低減（０を含む）させるようにしてもよい。
　この場合には、例えばＨＭＤのメガネフレームのかけずれが起きて、視線に対するコンバイナ中心のずれが非常に大きくなっても、反射回折部が非可視光の照射範囲から外れるのを抑制できるので、各種検出を迅速に行うことができる。

　上記各実施形態において、ビームスプリッタ２１２ｂに対する非可視光源と受光素子の位置関係を逆にしてもよい。

　上記各実施形態において、映像光投射部１１０からの映像光ＩＬを、ビームスプリッタ２１２ｂを介して反射回折部に照射してもよい。

　上記各実施形態において、透過反射部材１２０として回折光学素子を用いているが、これに限らず、例えばガラス板、ハーフミラー等を用いてもよい。

　また、本技術は、以下のような構成をとることもできる。
（１）映像光を投射する映像光投射部と、前記映像光投射部から投射された前記映像光の一部を眼球に向けて反射し、他部を透過させる透過反射部材とを含む映像表示系と、
　少なくとも１つの非可視光源と、前記透過反射部材と一体的に設けられ、前記非可視光源からの非可視光を前記眼球に向けて反射回折する反射回折部を含む回折光学素子と、前記眼球で反射され前記反射回折部で反射回折された前記非可視光を受光する受光素子とを含む視線検出系と、
　を備え、
　前記透過反射部材の厚さ方向から見て、前記透過反射部材の前記映像光の中心部が照射される部分と、前記反射回折部とが重なっている、映像追従情報検出装置。
（２）前記透過反射部材の厚さ方向から見て、前記透過反射部材の、前記映像光の中心部が照射される部分と前記反射回折部の中心部とが重なっている、（１）に記載の映像追従情報検出装置。
（３）前記反射回折部の大きさは、前記眼球の瞳孔の最大径以下である、（１）又は（２）に記載の映像追従情報検出装置。
（４）前記瞳孔の最大径は、８ｍｍである、（３）に記載の映像追従情報検出装置。
（５）前記映像光投射部は、前記透過反射部材と一体的に設けられる、（１）～（４）のいずれか１つに記載の映像追従情報検出装置。
（６）前記受光素子は、複数の受光領域を有する、（１）～（５）のいずれか１つに記載の映像追従情報検出装置。
（７）前記複数の受光領域は、２次元配列された４つの受光領域である、（６）に記載の映像追従情報検出装置。
（８）前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを含む、（１）～（７）のいずれか１つに記載の映像追従情報検出装置。
（９）前記瞳孔径取得部は、照度センサを含み、前記照度センサの検出結果に基づいて前記瞳孔径を求める、（８）に記載の映像追従情報検出装置。
（１０）前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、前記視線検出系は、発光波長が異なる複数の前記非可視光源を含み、前記複数の非可視光源の点灯毎に前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを算出するための情報を求める、（１）～（７）のいずれか１つに記載の映像追従情報検出装置。
（１１）前記反射回折部と前記受光素子との間に配置され、前記非可視光源からの非可視光が入射されるビームスプリッタを更に備え、前記ビームスプリッタは、前記非可視光源からの非可視光の一部を前記反射回折部に向けて反射させ、前記反射回折部から前記受光素子に向かう非可視光の一部を透過させる、（１）～（１０）のいずれか１つに記載の映像追従情報検出装置。
（１２）前記視線検出系は、前記非可視光源から射出された非可視光を平行光とするコリメートレンズを有する、（１）～（１１）のいずれか１つに記載の映像追従情報検出装置。
（１３）前記視線検出系は、前記非可視光源と前記反射回折部との間の前記非可視光の光路上に配置された偏光板を有する、（１）～（１２）のいずれか１つに記載の映像追従情報検出装置。
（１４）前記視線検出系は、前記反射回折部と前記受光素子との間の前記非可視光の光路上に配置された波長選択フィルタを有する、（１）～（１３）のいずれか１つに記載の映像追従情報検出装置。
（１５）前記映像光投射部が前記透過反射部材と一体的に設けられた（１）～（１４）のいずれか１つに記載の映像追従情報検出装置と、
　前記映像表示系及び前記回折光学素子を前記透過反射部材の面内方向に平行な方向に移動させるアクチュエータと、
　前記映像追従情報検出装置の受光素子からの信号に基づいて、前記アクチュエータを制御する制御装置と、
　を備える、映像追従装置。
（１６）前記非可視光源からの非可視光を、前記映像表示系及び前記回折光学素子の移動想定範囲に応じた断面の大きさの平行光とするコリメータレンズを含む、（１５）に記載の映像追従装置。
（１７）前記受光素子は、２次元配列された複数の受光領域を有し、前記制御装置は、前記複数の受光領域からの信号に基づいて、前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを検出し、その検出結果に基づいて前記アクチュエータを制御する、（１５）又は（１６）に記載の映像追従装置。
（１８）前記制御装置は、前記映像光による映像を前記視線に追従させるように前記アクチュエータを制御する、（１５）～（１７）のいずれか１つに記載の映像追従装置。
（１９）前記反射回折部は縦長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させる、（１５）～（１８）のいずれか１つに記載の映像追従装置。
（２０）前記反射回折部は横長形状であり、前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させる、（１５）～（１８）のいずれか１つに記載の映像追従装置。
（２１）前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の縦長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させる、（１５）～（１８）のいずれか１つに記載の映像追従装置。
（２２）前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の横長形状の前記反射回折部を有し、前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させる、（１５）～（１８）のいずれか１つに記載の映像追従装置。
（２３）（１５）～（２２）のいずれか１つに記載の映像追従装置を備える映像表示装置。
（２４）（１）～（１４）のいずれか１つに記載の映像追従情報検出装置を用いて、映像を視線に追従させるための映像追従情報を検出する方法であって、
　前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
　前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
　を含む、映像追従情報検出方法。
（２５）（１）～（１４）のいずれか１つに記載の映像追従情報検出装置を用いて、映像を視線に追従させる映像追従方法であって、
　前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
　前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
　前記ずれ情報に基づいて、少なくとも前記映像光投射部、前記透過反射部材及び前記回折光学素子を一体的に移動させる移動工程と、
　を含む、映像追従方法。
（２６）前記移動工程では、前記映像を前記視線に追従させるように、少なくとも前記映像光投射部、前記透過反射部材及び前記反射回折部を一体的に移動させる、（２５）に記載の映像追従方法。

　１：眼球、１ａ：瞳孔、１０、２０：映像追従情報検出装置、１００：映像表示系、１１０：映像光投射部、１２０：透過反射部材、１２０ａ：映像光の中心部が照射される部分、２００：視線検出系、２１１、２１１ａ、２１１ｂ：非可視光源、２１２ａ：コリメートレンズ、２１２ｂ：ビームスプリッタ、２１２ｃ：回折光学素子、２１２ｃ１：反射回折部、２２０ａ：受光素子、２２０ａ－１～２２０ａ－４：受光領域、４００：アクチュエータ、ＩＬ：映像光、ＩＶＬ：非可視光。

Claims

　映像光を投射する映像光投射部と、前記映像光投射部から投射された前記映像光の一部を眼球に向けて反射し、他部を透過させる透過反射部材とを含む映像表示系と、
　少なくとも１つの非可視光源と、前記透過反射部材と一体的に設けられ、前記非可視光源からの非可視光を前記眼球に向けて反射回折する反射回折部を含む回折光学素子と、前記眼球で反射され前記反射回折部で反射回折された前記非可視光を受光する受光素子とを含む視線検出系と、
　を備え、
　前記透過反射部材の厚さ方向から見て、前記透過反射部材の前記映像光の中心部が照射される部分と、前記反射回折部とが重なっている、映像追従情報検出装置。
　前記透過反射部材の厚さ方向から見て、前記透過反射部材の、前記映像光の中心部が照射される部分と前記反射回折部の中心部とが重なっている、請求項１に記載の映像追従情報検出装置。
　前記反射回折部の大きさは、前記眼球の瞳孔の最大径以下である、請求項１に記載の映像追従情報検出装置。
　前記瞳孔の最大径は、８ｍｍである、請求項３に記載の映像追従情報検出装置。
　前記映像光投射部は、前記透過反射部材と一体的に設けられる、請求項１に記載の映像追従情報検出装置。
　前記受光素子は、複数の受光領域を有する、請求項１に記載の映像追従情報検出装置。
　前記複数の受光領域は、２次元配列された４つの受光領域である、請求項６に記載の映像追従情報検出装置。
　前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、
　前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを含む、請求項１に記載の映像追従情報検出装置。
　前記瞳孔径取得部は、照度センサを含み、前記照度センサの検出結果に基づいて前記瞳孔径を求める、請求項８に記載の映像追従情報検出装置。
　前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の前記反射回折部を有し、
　前記視線検出系は、発光波長が異なる複数の前記非可視光源を含み、前記複数の非可視光源の点灯毎に前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを算出するための情報を求める、請求項１に記載の映像追従情報検出装置。
　前記反射回折部と前記受光素子との間に配置され、前記非可視光源からの非可視光が入射されるビームスプリッタを更に備え、
　前記ビームスプリッタは、前記非可視光源からの非可視光の一部を前記反射回折部に向けて反射させ、前記反射回折部から前記受光素子に向かう非可視光の一部を透過させる、請求項１に記載の映像追従情報検出装置。
　前記視線検出系は、前記非可視光源から射出された非可視光を平行光とするコリメートレンズを有する、請求項１に記載の映像追従情報検出装置。
　前記視線検出系は、前記非可視光源と前記反射回折部との間の前記非可視光の光路上に配置された偏光板を有する、請求項１に記載の映像追従情報検出装置。
　前記視線検出系は、前記反射回折部と前記受光素子との間の前記非可視光の光路上に配置された波長選択フィルタを有する、請求項１に記載の映像追従情報検出装置。
　前記映像光投射部が前記透過反射部材と一体的に設けられた請求項１に記載の映像追従情報検出装置と、
　前記映像表示系及び前記回折光学素子を前記透過反射部材の面内方向に平行な方向に移動させるアクチュエータと、
　前記映像追従情報検出装置の受光素子からの信号に基づいて、前記アクチュエータを制御する制御装置と、
　を備える、映像追従装置。
　前記非可視光源からの非可視光を、前記映像表示系及び前記回折光学素子の移動想定範囲に応じた断面の大きさの平行光とするコリメータレンズを含む、請求項１５に記載の映像追従装置。
　前記受光素子は、２次元配列された複数の受光領域を有し、
　前記制御装置は、前記複数の受光領域からの信号に基づいて、前記映像表示系により表示される映像の中心と前記眼球の向きである視線とのずれを検出し、その検出結果に基づいて前記アクチュエータを制御する、請求項１５に記載の映像追従装置。
　前記制御装置は、前記映像光による映像を前記視線に追従させるように前記アクチュエータを制御する、請求項１５に記載の映像追従装置。
　前記反射回折部は縦長形状であり、
　前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させる、請求項１５に記載の映像追従装置。
　前記反射回折部は横長形状であり、
　前記アクチュエータは、前記映像表示系及び前記回折光学素子を前記反射回折部の長手方向に直交する方向に移動させる、請求項１５に記載の映像追従装置。
　前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の縦長形状の前記反射回折部を有し、
　前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、
　前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させる、請求項１５に記載の映像追従装置。
　前記回折光学素子は、厚さ方向に積層された、回折波長及び大きさが異なる複数の横長形状の前記反射回折部を有し、
　前記視線検出系は、前記眼球の瞳孔径を取得する瞳孔径取得部と、発光波長が異なる複数の前記非可視光源と、前記瞳孔径取得部での取得結果に基づいて、前記複数の非可視光源を選択的に点灯可能な点灯制御部とを有し、
　前記アクチュエータは、前記映像表示系を前記反射回折部の長手方向に直交する方向に移動させる、請求項１５に記載の映像追従装置。
　請求項１５に記載の映像追従装置を備える映像表示装置。
　請求項１に記載の映像追従情報検出装置を用いて、映像を視線に追従させるための映像追従情報を検出する方法であって、
　前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
　前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
　を含む、映像追従情報検出方法。
　請求項１に記載の映像追従情報検出装置を用いて、映像を視線に追従させる映像追従方法であって、
　前記映像追従情報検出装置の映像表示系により映像を表示する工程と、
　前記映像追従情報検出装置の視線検出系の検出結果を前記視線と前記映像の中心部とのずれ情報として取得する工程と、
　前記ずれ情報に基づいて、少なくとも前記映像光投射部、前記透過反射部材及び前記回折光学素子を一体的に移動させる移動工程と、
　を含む、映像追従方法。
　前記移動工程では、前記映像を前記視線に追従させるように、少なくとも前記映像光投射部、前記透過反射部材及び前記反射回折部を一体的に移動させる、請求項２５に記載の映像追従方法。