WO2024004416A1

WO2024004416A1 - 視線検出装置

Info

Publication number: WO2024004416A1
Application number: PCT/JP2023/018364
Authority: WO
Inventors: 友輝馬見新
Original assignee: ソニーグループ株式会社
Priority date: 2022-06-27
Filing date: 2023-05-17
Publication date: 2024-01-04

Abstract

撮像系の撮像方式によらず検出精度の低下を抑制することができる視線検出装置を提供すること。　本技術に係る視線検出装置は、パターン光を眼球に照射するパターン光照射系と、前記パターン光が照射された前記眼球を撮像する撮像系と、前記撮像系の撮像画像に基づいて前記眼球の向きである視線を検出する視線検出系と、を備え、前記パターン光は、非平行な少なくとも３つの線を有する基準パターンであって、前記少なくとも３つの線のうち少なくとも２つの線が交差する交点を持つ基準パターンに沿う形状を有する。本技術に係る視線検出装置によれば、撮像系の撮像方式によらず検出精度の低下を抑制することができる視線検出装置を提供することができる。

Description

視線検出装置

　本開示に係る技術（以下「本技術」とも呼ぶ）は、視線検出装置に関する。

　従来、パターン光を眼球に照射し該眼球を撮像系で撮像することにより、眼球の向きである視線を検出する視線検出装置が知られている。

　従来の視線検出装置の中には、矩形枠形状を持つパターン光を眼球に照射するもの（例えば特許文献１参照）や、２つの線分が１点で交差する形状を持つパターン光を眼球に照射するもの（例えば特許文献２参照）がある。

特開２０１０－２５０７８９号公報特開２０１４－１８８３２２号公報

　しかしながら、従来の視線検出装置では、撮像系の撮像方式（例えばイベントベースビジョン方式）によっては検出精度が低下するおそれがあった。

　そこで、本技術は、撮像系の撮像方式によらず検出精度の低下を抑制することができる視線検出装置を提供することを目的とする。

　本技術は、パターン光を眼球に照射するパターン光照射系と、
　前記パターン光が照射された前記眼球を撮像する撮像系と、
　前記撮像系の撮像画像に基づいて前記眼球の向きである視線を検出する視線検出系と、
　を備え、
　前記パターン光は、非平行な少なくとも３つの線を有する基準パターンであって、前記少なくとも３つの線のうち少なくとも２つの線が交差する交点を持つ基準パターンに沿う形状を有する、視線検出装置を提供する。
　前記少なくとも３つの線の各々は、少なくとも１つの他の前記線と交差していてもよい。
　前記少なくとも３つの線の各々は、少なくとも２つの他の前記線と交差していてもよい。
　前記基準パターンは、同一直線上にない少なくとも３つの前記交点を持っていてもよい。
　前記少なくとも３つの線が、同一の前記交点で交差していてもよい。
　前記少なくとも３つの線は、前記交点の周りに連続して鋭角を形成していてもよい。
　前記少なくとも３つの線は、前記交点から放射状に延びていてもよい。
　前記基準パターンは、互いに交差する前記少なくとも２つの線を含むパターンを複数有していてもよい。
　複数の前記パターンは、形状が同一の少なくとも２つの前記パターンを含んでいてもよい。
　複数の前記パターンは、形状が異なる少なくとも２つの前記パターンを含んでいてもよい。
　前記パターン光照射系は、複数の前記パターンのうち前記交点を検出可能な前記パターンに対応する、前記パターン光の一部を前記眼球に照射してもよい。
　前記視線検出系は、前記撮像画像から、前記パターン光の角膜反射像の特徴点を検出する角膜反射像検出部を含んでいてもよい。
　前記角膜反射像検出部は、前記撮像画像における前記角膜反射像の前記特徴点付近の角度及び／又は方向性を示す情報に基づいて、前記交点と前記特徴点とを対応付けてもよい。
　前記角膜反射像検出部は、前記撮像画像において輝度が上がった画素を、前記特徴点を構成する画素として抽出してもよい。
　前記視線検出系は、前記角膜反射像検出部での検出結果に基づいて、前記眼球の移動量、移動方向及び移動速度の少なくとも１つを推定する移動情報推定部を含んでいてもよい。
　前記移動情報推定部は、前記角膜反射像検出部で検出できた、前記交点に対応する前記特徴点から前記角膜反射像検出部で検出できなかった、前記交点に対応する前記特徴点の位置を推定し、その推定結果から前記眼球の移動方向を抽出してもよい。
　前記視線検出系は、少なくとも前記撮像系の撮像画像及び前記角膜反射像検出部での検出結果に基づいて前記視線を検出してもよい。
　前記パターン光照射系は、前記パターン光を出射する光源を含んでいてもよい。
　前記パターン光照射系は、光源と、前記光源からの光を整形して前記パターン光を生成する光学素子と、を含んでいてもよい。
　前記撮像系は、イベントセンサを含んでいてもよい。

図１Ａ及び図１Ｂは、それぞれ従来のアイトラッキング手法（その１及びその２）を説明するための図である。図２Ａ及び図２Ｂは、比較例１のアイトラッキングにＥＶＳを使用する際の問題点を説明するための図である。図３Ａ及び図３Ｂは、比較例２のアイトラッキングにＥＶＳを使用する際の問題点を説明するための図である。図４Ａ～図４Ｃは、比較例３のアイトラッキングにＥＶＳを使用する際の問題点を説明するための図である。図５Ａは、本技術の第１実施形態に係る視線検出装置からパターン光が照射された眼球を示す図である。図５Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。本技術の第１実施形態に係る視線検出装置の機能例を示すブロック図である。図７Ａ～図７Ｃは、それぞれ本技術の第１実施形態に係る視線検出装置のパターン光照射系の光源部の構成例１～３を示す図である。角膜反射像検出部の機能例１を示すブロック図である。視線検出処理１を説明するためのフローチャートである。図９のキャリブレーション工程を説明するためのフローチャートである。図１１Ａ～図１１Ｃは，本技術の第１実施形態に係る視線検出装置による作用例を説明するための図である。図１０のキャリブレーション値の取得について説明するための図である。図９の視線検出工程を説明するためのフローチャートである。図１４Ａは、本技術の第１実施形態の変形例１に係る視線検出装置からパターン光が照射された眼球を示す図である。図１４Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。図１５Ａは、本技術の第１実施形態の変形例２に係る視線検出装置からパターン光が照射された眼球を示す図である。図１５Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。図１６Ａは、本技術の第１実施形態の変形例３に係る視線検出装置からパターン光が照射された眼球を示す図である。図１６Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。角膜反射像検出部の機能例２を示すブロック図である。図１７の角膜反射像検出部の動作例を示す図である。視線検出処理２を説明するためのフローチャートである。図２０Ａは、本技術の第２実施形態に係る視線検出装置からパターン光が照射された眼球を示す図である。図２０Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。本技術の第２実施形態に係る視線検出装置の機能例を示すブロック図である。図２２Ａは、本技術の第２実施形態の変形例１に係る視線検出装置からパターン光が照射された眼球を示す図である。図２２Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。図２２Ｃは、該撮像画像から交点を検出する方法を説明するための図である。図２３Ａは、本技術の第２実施形態の変形例２に係る視線検出装置からパターン光が照射された眼球を示す図である。図２３Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。図２４Ａは、本技術の第２実施形態の変形例３に係る視線検出装置からパターン光が照射された眼球を示す図である。図２４Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。図２５Ａは、本技術の第２実施形態の変形例４に係る視線検出装置からパターン光が照射された眼球を示す図である。図２５Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。図２６Ａは、本技術の第２実施形態の変形例５に係る視線検出装置からパターン光が照射された眼球を示す図である。図２６Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。図２７Ａは、本技術の第３実施形態に係る視線検出装置からパターン光が照射された眼球を示す図である。図２７Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。本技術の第３実施形態に係る視線検出装置の機能例を示すブロック図である。角膜反射像検出部の機能例３を示すブロック図である。本技術の第４実施形態に係る視線検出装置の機能例を示すブロック図である。移動情報推定部の機能例１を示すブロック図である。移動情報推定部の機能例１の原理を説明するための図である。移動情報推定部の機能例２を示すブロック図である。図３４Ａ及び図３４Ｂは、移動情報推定部の機能例２の原理を説明するための図である。移動情報推定部の機能例３を示すブロック図である。移動情報推定部の機能例３の原理を説明するための図である。瞳孔検出部の機能例を示すブロック図である。図３８Ａ及び図３８Ｂは、それぞれ本技術の第２実施形態の変形例６、７に係る視線検出装置からパターン光が照射された眼球を示す図である。図３９Ａ～図３９Ｅは、それぞれ本技術の第１実施形態の変形例４～８に係る視線検出装置からパターン光が照射された眼球を示す図である。本技術の第１実施形態の変形例９に係る視線検出装置からパターン光が照射された眼球を示す図である。図４１Ａ～図４１Ｃは、それぞれ本技術の第１実施形態の変形例１０～１２に係る視線検出装置からパターン光が照射された眼球を示す図である。図４２Ａ～図４２Ｃは、それぞれ本技術の第１実施形態の変形例１３～１５に係る視線検出装置からパターン光が照射された眼球を示す図である。本技術に係る視線検出装置に好適なパターン光のバリエーション１及び該パターン光の角膜反射像を示す図である。本技術に係る視線検出装置に好適なパターン光のバリエーション２及び該パターン光の角膜反射像を示す図である。

　以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、これにより本技術の範囲が狭く解釈されることはない。本明細書において、本技術に係る視線検出装置が複数の効果を奏することが記載される場合でも、本技術に係る視線検出装置は、少なくとも１つの効果を奏すればよい。本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。

　また、以下の順序で説明を行う。
０．導入
１．本技術の第１実施形態に係る視線検出装置
２．本技術の第１実施形態の変形例１に係る視線検出装置
３．本技術の第１実施形態の変形例２に係る視線検出装置
４．本技術の第１実施形態の変形例３に係る視線検出装置
５．本技術の第２実施形態に係る視線検出装置
６．本技術の第２実施形態の変形例１に係る視線検出装置
７．本技術の第２実施形態の変形例２に係る視線検出装置
８．本技術の第２実施形態の変形例３に係る視線検出装置
９．本技術の第２実施形態の変形例４に係る視線検出装置
１０．本技術の第２実施形態の変形例５に係る視線検出装置
１１．本技術の第３実施形態に係る視線検出装置
１２．本技術の第４実施形態に係る視線検出装置
１３．本技術の第２実施形態の変形例６、７に係る視線検出装置
１４．本技術の第１実施形態の変形例４～８に係る視線検出装置
１５．本技術の第１実施形態の変形例９に係る視線検出装置
１６．本技術の第１実施形態の変形例１０～１２に係る視線検出装置
１７．本技術の第１実施形態の変形例１３～１５に係る視線検出装置
１８．パターン光のバリエーション１
１９．パターン光のバリエーション２
２０．本技術のその他の変形例

＜０．導入＞
（従来のアイトラッキング手法）
　従来、光（例えば非可視光）を眼球に照射し該眼球を撮像系で撮像することにより、眼球の向きである視線を検出する視線検出装置（アイトラッキング装置）が知られている。従来のアイトラッキング手法の第１例として、図１Ａに示す、瞳孔と角膜反射像の多項式フィッティング法が知られている。これは、光源の角膜反射像と瞳孔位置との関係性と視線とをキャリブレーションで紐付ける方法である。

　従来のアイトラッキング手法の第２例として、図１Ｂに示す、瞳孔と角膜反射像のモデル推定法が知られている。これは、複数の角膜反射像から角膜中心を求め、瞳孔画像から瞳孔中心を求めることで視線を検出する方法である。

　上記第１例及び第２例のような従来のアイトラッキングでは、高精度化が可能であるものの、消費電力とフレームレートとがトレードオフの関係にある。これに対処するために、例えばＥＶＳ（イベントベースビジョンセンサ）を用いることが考えられる。ＥＶＳは、高速且つ低消費電力な撮像素子として近年注目を集めている。

　しかし、ＥＶＳをアイトラッキングに使用する場合には、ロバスト性が低下する問題がある。その一因として、角膜反射像（プルキニエ像）の検出が難しいことが挙げられる。図２Ａは小さい点光源からの光が照射された眼球を通常の撮像素子で撮像した画像を示し、図２Ｂは小さい点光源からの光が照射された眼球をＥＶＳで撮像した画像を示す。図２Ａ及び図２Ｂに示すように小さい点光源を用いる場合には、コンピュータビジョンのアルゴリズムで階調なく点光源の小さい角膜反射像を抽出するのは困難である。さらに、太陽光等の多くの外光が点光源的に瞳に映り込むため、区別も難しい。

　図３Ａは大きい点光源からの光が照射された眼球を通常の撮像素子で撮像した画像を示し、図３Ｂは大きい点光源からの光が照射された眼球をＥＶＳで撮像した画像を示す。図３Ａ及び図３Ｂに示すように光源サイズを大きくすること（例えば大径の円形光源を用いること）も考えられる。この場合、円の特徴点として円の中心が考えられるが、円の半径が眼球運動、角膜曲率などの曖昧さの影響を受けるため好適ではない。

　そこで、ＥＶＳをアイトラッキングに使用する場合に角膜反射像の検出精度を向上させる取り組みが文献（Event-Based Kilohertz Eye Tracking using Coded Differential Lighting）で提案されている。この文献では、隣接する二つのＬＥＤを明滅させることでプルキニエの検出精度を向上させることが言及されているが、ＬＥＤの明滅によって全体の輝度変化が起こらないようにする管理が必要であったり、明滅周波数がＥＶＳの帯域幅に依存するなどの問題もある。なお、全体の輝度変化が起こるとイベントが一斉発火してしまい、レイテンシーが生じうる。

　そこで、特徴点を増やすべく眼球にパターン光を照射することが考えられるが、以下のような問題がある。
・眼球の動きによって、パターンの見え方が変わる。
・眼球の動きによって、パターンの少なくとも一部が消える。
　これらは、検出のロバスト性を大きく減少させる。

　以下に、眼球に矩形枠状のパターン光ＰＬを照射してアイトラッキングを行うシミュレーション例について説明する。図４Ａは、矩形枠状のパターン光ＰＬが照射された眼球を通常の撮像素子ＮＳで撮像した画像を示す。図４Ｂは、比較的高速で水平移動中に矩形枠状のパターン光ＰＬが照射された眼球をＥＶＳで撮像した画像を示す。図４Ｃは、比較的低速で水平移動中に矩形枠状のパターン光ＰＬが照射された眼球をＥＶＳで撮像した画像を示す。図４Ａでは、矩形枠状のパターン光ＰＬの反射光の画像ＰＬ－ＮＳが明瞭に確認できる。図４Ｂでは、パターン光ＰＬの反射光の画像ＰＬ－ＥＶＳにおいて矩形枠が二重線になって現れ、線が太いため、光源と反射光とのフィッティングに曖昧性が生じる。図４Ｃでも、パターン光ＰＬの反射光の画像ＰＬ－ＥＶＳにおいて矩形枠が二重線になって現れ、さらに水平には輝度変化がほとんど起こらないので、パターン光ＰＬの形状が相当失われていることがわかる。

　そこで、発明者は、鋭意検討の末、パターン光の形状に工夫を凝らすことにより、撮像系の撮像方式によらず検出精度の低下を抑制することができる視線検出装置（アイトラッキング装置）として、本技術に係る視線検出装置を開発した。本技術に係る視線検出装置は、特に撮像系にＥＶＳを用いる場合に非常に効果的である。

＜１．本技術の第１実施形態に係る視線検出装置＞
≪視線検出装置の構成≫
　図５Ａは、本技術の第１実施形態に係る視線検出装置１０からパターン光が照射された眼球ＥＢを示す図である。図５Ｂは、該眼球ＥＢのＥＶＳによる撮像画像を示す図である。図６は、本技術の第１実施形態に係る視線検出装置１０の機能例を示すブロック図である。

　視線検出装置１０は、例えばＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）に搭載され、アイトラッキング（視線検出）に用いられる。視線検出装置１０は、図６に示すように、パターン光照射系１００と、撮像系２００と、視線検出系３００とを備える。視線検出装置１０は、一例として、ユーザの頭部に装着される、ＨＭＤの支持構造体（例えば眼鏡フレーム）に支持されている。ＨＭＤは、ユーザの視野に画像を重畳して表示する。ＨＭＤは、一例として、視線検出装置１０の出力（ユーザの視線）に基づいて画像の表示を制御する。ＨＭＤの支持構造体には、ユーザに音声情報を提供する音声出力装置が設けられていてもよい。

（パターン光照射系）
　パターン光照射系１００は、パターン光ＰＬ１（図５Ａ参照）をユーザの眼球ＥＢに照射する。パターン光ＰＬ１は、例えば三角形状である。パターン光照射系１００は、一例として、光源１００ａ及び光源駆動部１００ｂ（光源ドライバ）を含む（図６参照）。光源１００ａは、一例として、非可視光（例えば赤外光）を射出する。光源１００ａは、一例として、点光源、線光源又は面光源である。光源１００ａとして、例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）、ＬＤ（Ｌａｓｅｒ　ｄｉｏｄｅ）等を用いることができる。なお、図５Ａ等において、符号ＣＯは角膜、符号ＰＵは瞳孔を示す。

　パターン光ＰＬ１は、非平行な少なくとも３つの線を有する基準パターンＢＰであって、該少なくとも３つの線のうち少なくとも２つの線が交差する交点を持つ基準パターンＢＰ（例えば三角形）に沿う形状を有する。基準パターンＢＰを構成する非平行な少なくとも３つの線の各々は、例えば図形の一部を構成する線、図形の輪郭の一部を構成する線、文字の一部を構成する線などであり、直線及び曲線のいずれでもよく、また実線のみならず少なくとも一部が破線でもよい。パターン光ＰＬ１は、基準パターンＢＰと完全に一致するパターンであってもよいし、基準パターンＢＰと概ね一致するパターンであってもよい。ここで「基準パターンＢＰと概ね一致するパターン」には、例えば基準パターンＢＰの少なくとも１つの交点を除去したパターン、基準パターンＢＰの少なくとも１つの交点を図形に置き換えたパターン等が含まれる。ここでは、パターン光ＰＬ１は、基準パターンＢＰに完全に一致している。基準パターンの形状は、光源自体の形状であってもよいし、光源からの光を整形する光学素子の形状であってもよい。

　パターン光ＰＬ１の少なくとも３つ（例えば３つ）の線の各々は、少なくとも１つ（例えば２つ）の他の線と交差する。詳述すると、パターン光ＰＬ１の少なくとも３つの線の各々は、少なくとも２つ（例えば２つ）の他の線と交差する。基準パターンＢＰは、一例として、同一直線上にない少なくとも３つの交点（例えば３つの交点）を持つ。より詳細には、基準パターンＢＰ及びパターン光ＰＬ１は、いずれも一辺が略水平で高さ方向が略鉛直方向に一致する三角形（例えば二等辺三角形、詳しくは正三角形）である。

　図７Ａ～図７Ｃは、それぞれ本技術の第１実施形態に係る視線検出装置１０のパターン光照射系１００の光源部の構成例１～３を示す図である。図７Ａに示す構成例１では、パターン光ＰＬ１と同じ形状（例えば三角形状）の光源１００ａが眼鏡フレームＥＦに（例えば眼鏡フレームＥＦのリム）に設けられている。図７Ｂに示す構成例２では、パターン光ＰＬ１と同じ形状（例えば三角形状）の透光性を持つ光源１００ａ（例えばｕＬＥＤ）が、眼鏡フレームＥＦに取り付けられた透明なガラス又は樹脂（例えば眼鏡フレームＥＦのリムに嵌め込まれた透明なガラス又は樹脂）に設けられている。図７Ｃに示す構成例３では、パターン光ＰＬ１と同じ形状（例えば三角形状）の光学素子（例えば回折素子）が、眼鏡フレームＥＦに取り付けられた透明なガラス又は樹脂（例えば眼鏡フレームＥＦのリムに嵌め込まれた透明なガラス又は樹脂）に設けられ、該光学素子に光源１００ａからの光が照射される。すなわち、該光学素子が光源１００ａからの光の形状をパターン光ＰＬ１の形状に整形する。なお、図７Ａ～図７Ｃに示す各構成例において眼鏡フレームがリムレスフレームであってもよい。

　光源駆動部１００ｂは、例えばトランジスタ、コンデンサ、抵抗等の回路素子を含んで構成される。光源駆動部１００ｂは、駆動信号（例えばパルス信号）を生成し、光源１００ａに印加する。

（撮像系）
　撮像系２００は、パターン光ＰＬ１が照射された眼球ＥＢを撮像し、その撮像画像を視線検出系３００に出力する。撮像系２００は、一例として図６に示すように、撮像素子２００ａを含むカメラである。撮像系２００は、撮像素子２００ａに加えて、パターン光照射系１００から眼球ＥＢに照射され該眼球ＥＢで反射されたパターン光ＰＬ１を撮像素子２００ａに集光させる集光素子（例えば集光レンズ、集光ミラー等）と、撮像素子２００ａの出力信号を処理する信号処理部とを含みうる。さらに、撮像系２００は、瞳孔検出用の撮像素子（例えば通常のイメージセンサ）を含みうる。

　撮像素子２００ａは、一例として、ＥＶＳ（イベントベースビジョンセンサ）である。ＥＶＳは、２次元配置された複数の画素を有している。ＥＶＳは、各画素の輝度変化を検出し、輝度変化があった画素のみの輝度値（画素値）を時間情報と組み合わせて出力するビジョンセンサであって、高速動作及び低消費電力を両立するビジョンセンサである。ＥＶＳは、一例として、画素毎の光電変換素子（例えば赤外域に感度を持つフォトダイオード）を有する受光回路、アンプ、コンパレータ（比較器）を含む。ＥＶＳでは、一例として、入射光が受光回路で電気信号に変換され、アンプで増幅されコンパレータで輝度の閾値によって明転信号（ポジティブイベント）と暗転信号（ネガティブイベント）とに振り分けられて出力される。ＥＶＳの出力信号は、信号処理部を介して撮像画像として出力される。ＥＶＳは、「イベントセンサ」、「イベントビジョンセンサ」とも呼ばれる。

（視線検出系）
　視線検出系３００は、一例として、角膜反射像検出部３００ａと、瞳孔検出部３００ｂと、視線検出部３００ｃとを含む。視線検出系３００は、さらに、記憶部（例えばメモリ）を含みうる。視線検出系３００は、例えばＣＰＵ、チップセット等のハードウェアで実現される。

　角膜反射像検出部３００ａは、撮像系２００の撮像画像から、パターン光ＰＬ１の角膜反射像の特徴点を検出する。詳述すると、角膜反射像検出部３００ａは、画像処理（例えばエッジ検出、輪郭抽出、濃淡検出等）により撮像系２００の撮像画像からパターン光ＰＬ１の角膜反射像を検出し、該角膜反射像の特徴点を抽出する。さらに、角膜反射像検出部３００ａは、基準パターンＢＰの交点（パターン光ＰＬ１の交点）とパターン光ＰＬ１の角膜反射像の特徴点とを対応付ける。

　図８は、角膜反射像検出部の機能例１を示すブロック図である。角膜反射像検出部３００ａは、図８に示すように、特徴点抽出部３００ａ１及び対応付け部３００ａ２を有する。特徴点抽出部３００ａ１は、例えばコーナー検出やＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）によってパターン光ＰＬ１の角膜反射像の特徴点を抽出する。対応付け部３００ａ２は、撮像系２００の撮像画像における該特徴点付近の角度及び／又は方向性を示す情報に基づいて、パターン光ＰＬ１の角膜反射像の特徴点と基準パターンＢＰの交点（パターン光ＰＬ１の交点）とを対応付け、その対応付けの結果を記憶部（例えばメモリ）に保存及び／又は視線検出部３００ｃに出力する。

　具体的には、図５Ａにおいて、眼球ＥＢが例えば水平移動する場合にＥＶＳからパターン光ＰＬ１のうち輝度変化があった画素の画素値のみが出力された結果、ＥＶＳの撮像画像が図５Ｂに示すようになる。補足すると、パターン光ＰＬ１のうち眼球ＥＢの水平移動に対して輝度変化が生じてＥＶＳの撮像画像に現れるのは、２つの斜辺部からなる逆Ｖ字状の角膜反射像ＰＬ１ｉ（ＥＶＳの出力信号）である。この場合に、特徴点抽出部３００ａ１が、角膜反射像ＰＬ１ｉの２つの斜辺部の交点をパターン光ＰＬ１の角膜反射像の特徴点として抽出する。そして、対応付け部３００ａ２が、該特徴点（例えば２つの斜辺部の交点）付近の角度及び／又は方向性を示す情報（例えば鋭角、上向き）から、該特徴点とパターン光ＰＬ１の交点とを対応付ける。

　なお、図５Ａでは、眼球ＥＢが基準パターンＢＰの１つの線に平行な方向（例えば水平方向）に移動する場合を例にとって説明したが、眼球ＥＢが基準パターンＢＰの非平行な３つの線のいずれにも非平行な方向に移動する場合には、ＥＶＳの撮像画像には、基準パターンＢＰ（パターン光ＰＬ１）の非平行な３つの線が現れることとなる。この場合、基準パターンＢＰの角膜反射像の特徴点（交点）が３つ検出されうる。

　瞳孔検出部３００ｂは、一例として、画像処理（例えばエッジ検出、輪郭抽出、濃淡検出等）を用いて、瞳孔検出用の撮像素子の撮像画像から瞳孔を抽出し、撮像画像の座標系における瞳孔中心の位置を算出し、その算出結果を記憶部（例えばメモリ）に保存及び／又は視線検出部３００ｃに出力する。

　視線検出部３００ｃは、一例として、撮像系２００の撮像画像に基づく瞳孔検出部３００ｂでの検出結果及び角膜反射像検出部３００ａでの検出結果に基づいて、眼球ＥＢの向きである視線を検出する。

≪視線検出処理１≫
　以下、視線検出装置１０等により実施される視線検出処理１について、図９～図１３を参照して説明する。図９は、視線検出処理１を説明するためのフローチャートである。

　ステップＳ１では、キャリブレーション工程が実行される。キャリブレーション工程の詳細は、後述する。

　ステップＳ２では、視線検出工程が実行される。視線検出工程の詳細は、後述する。ステップＳ２が実行されるとフローが終了する。

（ステップＳ１：キャリブレーション工程）
　以下、図９のキャリブレーション工程について図１０のフローチャートを参照して説明する。

　最初のステップＳ１－１では、ユーザの視線を所定方向に向けさせる。具体的には、ユーザに所定の注視点（例えば正面）を見るよう促す通知（例えばＨＭＤによる表示、音声出力装置による音声等）を行い、ユーザの視線を所定方向（例えば正面方向）に向けさせる。

　次のステップＳ１－２では、パターン光ＰＬ１を眼球ＥＢに照射する。具体的には、光源駆動部１００ｂにより光源１００ａを駆動する。

　次のステップＳ１－３では、撮像を行う。具体的には、パターン光ＰＬ１が照射された眼球ＥＢを瞳孔検出用の撮像素子（例えば通常のイメージセンサ）で撮像する。

　次のステップＳ１－４では、角膜反射像を検出する。具体的には、角膜反射像検出部３００ａが、ステップＳ１－３で撮像された撮像画像から、パターン光ＰＬ１の角膜反射像の特徴点を抽出し、該特徴点とパターン光ＰＬ１の交点との対応付けを行う。

　次のステップＳ１－５では、瞳孔を検出する。具体的には、瞳孔検出部３００ｂが、瞳孔検出用の撮像素子の撮像画像から瞳孔ＰＵを抽出し、瞳孔中心の位置を検出する。

　次のステップＳ１－６では、キャリブレーション値を取得する。具体的には、ステップＳ１－５で検出された瞳孔中心と、ステップＳ１－４で検出された、パターン光ＰＬ１の交点の角膜反射像との位置関係（図１２参照）とを視線方向（例えば正面方向）と紐づけてキャリブレーション値として取得し、記憶部（例えばメモリ）に保存する。

　なお、上記ステップＳ１－１～Ｓ１－６の一連のステップを複数回行ってキャリブレーション値を複数回取得して各回の平均値や中央値を用いることによりキャリブレーション値の精度を高めることができる。この場合、各回のステップＳ１－１での所定方向を同一方向としてもよいし、異なる方向としてもよい。

（ステップＳ２：視線検出工程）
　以下、図９の視線検出工程について図１３のフローチャートを参照して説明する。

　最初のステップＳ２－１では、パターン光ＰＬ１を眼球ＥＢに照射する。具体的には、光源駆動部１００ｂにより光源１００ａを駆動する。

　次のステップＳ２－２では、撮像を行う。具体的には、撮像系２００の撮像素子２００ａ（ＥＶＳ）が、パターン光ＰＬ１が照射された眼球ＥＢを撮像し、その撮像画像を出力する（図１１Ｂ及び図１１Ｃ参照）。ここで、図１１Ａは、パターン光ＰＬ１が照射された眼球ＥＢを通常の撮像素子ＮＳで撮像した撮像画像を示す。図１１Ｂは、比較的高速で水平移動中にパターン光ＰＬ１が照射された眼球をＥＶＳで撮像した画像を示す。図１１Ｃは、比較的低速で水平移動中にパターン光ＰＬ１が照射された眼球をＥＶＳで撮像した画像を示す。図１１Ａでは、パターン光ＰＬ１の反射光の画像ＰＬ１－ＮＳが明瞭に確認できる。図１１Ｂでは、パターン光ＰＬ１の反射光の画像ＰＬ１－ＥＶＳにおいて２つの斜辺が二重線になって現れ線が太くなるものの、該２つの斜辺とこれらの交点で構成されるコーナーを常時検出できるため、眼球ＥＢの高速移動に対してロバストな検出が可能となる。図１１Ｃでも、パターン光ＰＬ１の反射光の画像ＰＬ１－ＥＶＳにおいて２つの斜辺が二重線になって現れ線が太くなり、さらに水平には輝度変化がほとんど起こらないものの、該２つの斜辺とこれらの交点で構成されるコーナーを常時検出できるため、眼球ＥＢの低速移動に対してロバストな検出が可能となる。

　次のステップＳ２－３では、角膜反射像を検出する。具体的には、角膜反射像検出部３００ａがパターン光ＰＬ１の角膜反射像の特徴点を抽出し、該特徴点とパターン光ＰＬ１の交点との対応付けを行う。

　次のステップＳ２－４では、瞳孔を検出する。具体的には、瞳孔検出部３００ｂが、瞳孔検出用の撮像素子の撮像画像から瞳孔ＰＵを抽出し、瞳孔中心の位置を検出する。

　次のステップＳ２－５では、キャリブレーション値に基づいて視線を検出する。具体的には、ステップＳ２－４で検出された瞳孔中心とステップＳ２－３で検出された、パターン光ＰＬ１の各交点の角膜反射像との位置関係と、キャリブレーション工程（ステップＳ１）で取得され記憶部に保存されたキャリブレーション値とに基づいて視線方向を求める。

　最後のステップＳ２－６では、視線検出を終了するか否かを判断する。ここでの判断は、視線検出装置１０の電源がオフになったときに肯定され、オンのときは否定され、視線検出（ステップＳ２－１～Ｓ２－５）が再び行われる。

≪視線検出装置の効果≫
　以下、視線検出装置１０の効果について説明する。
　本技術の第１実施形態に係る視線検出装置１０は、パターン光ＰＬ１を眼球ＥＢに照射するパターン光照射系１００と、パターン光ＰＬ１が照射された眼球ＥＢを撮像する撮像系２００と、該撮像系２００の撮像画像に基づいて眼球ＥＢの向きである視線を検出する視線検出系３００と、を備え、パターン光ＰＬ１は、非平行な少なくとも３つの線を有する基準パターンであって、少なくとも３つの線のうち少なくとも２つの線が交差する交点を持つ基準パターンＢＰに沿う形状を有する。

　この場合、例えば撮像系２００の撮像方式がイベントベースビジョン方式である場合に、パターン光ＰＬ１が照射された眼球ＥＢがいずれの方向に移動しても、撮像画像においてパターン光ＰＬ１の非平行な少なくとも２つの線を検出でき、該少なくとも２つの線が形成する特徴点（例えば交点）を抽出することができる。

　結果として、視線検出装置１０によれば、撮像系２００の撮像方式によらず検出精度の低下を抑制可能な視線検出装置を提供することができる。なお、視線検出装置１０は、撮像系２００の撮像方式がイベントベースビジョン方式でない場合（例えば通常のイメージセンサである場合）には、撮像画像においてパターン光ＰＬ１の非平行な少なくとも３つの線を検出でき、該少なくとも３つの線が形成する特徴点（例えば交点）を抽出することができる。この場合にも、検出精度の低下を抑制可能な視線検出装置を提供することができる。

　基準パターンＢＰの少なくとも３つ（例えば３つ）の線の各々は、少なくとも１つ（例えば２つ）の他の線と交差する。これにより、パターン光ＰＬ１を撮像方式によらず特徴点を検出可能な極めて簡素な形状とすることができる。この結果、パターン光ＰＬ１の生成に用いられる光源や光学素子を極めて簡素な形状とすることができる。

　基準パターンＢＰの少なくとも３つ（例えば３つ）の線の各々は、少なくとも２つの他の前記線と交差する。これにより、パターン光ＰＬ１を撮像方式によらず特徴点を検出可能な簡素な形状とすることができる。この結果、パターン光ＰＬ１の生成に用いられる光源や光学素子を簡素な形状とすることができる。

　基準パターンＢＰは、同一直線上にない少なくとも３つの交点を持つ。これにより、パターン光ＰＬ１が照射された眼球ＥＢがいずれの方向に移動しても、撮像画像においてパターン光ＰＬ１の少なくとも１つの特徴点（例えば交点）を検出することができ、検出精度を向上することができる。

　視線検出系３００は、撮像系２００の撮像画像から、パターン光ＰＬ１の角膜反射像の特徴点（例えば交点）を検出する角膜反射像検出部３００ａを含む。これにより、眼球ＥＢの動きに対してロバストな検出が可能となる。

　角膜反射像検出部３００ａは、撮像系２００の撮像画像における基準パターンＢＰの角膜反射像の特徴点（例えば基準パターンＢＰの交点）付近の角度及び／又は方向性を示す情報に基づいて、基準パターンＢＰの交点と特徴点とを対応付ける。これにより、該交点と該特徴点とを精度良く対応付けることができる。

　視線検出系３００は、撮像系２００の撮像画像及び角膜反射像検出部３００ａでの検出結果に基づいて視線を検出する。これにより、視線を精度良く検出することができる。

　パターン光照射系１００は、パターン光を出射する光源１００ａを含んでいてもよい。これにより、光源１００ａを簡素な形状とできるので、光源１００ａの製造が容易である。

　パターン光照射系１００は、光源１００ａと、光源１００ａからの光を整形してパターン光ＰＬ１を生成する光学素子とを含んでいてもよい。これにより、該光学素子を簡素な形状とできるので、該光学素子の製造が容易である。

　撮像系２００は、ＥＶＳを含む。これにより、高速及び低消費電力での撮像が可能となる。

＜２．本技術の第１実施形態の変形例１に係る視線検出装置＞
　図１４Ａは、本技術の第１実施形態の変形例１に係る視線検出装置からパターン光が照射された眼球を示す図である。図１４Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。

　第１実施形態の変形例１に係る視線検出装置は、図１４Ａ及び図１４Ｂに示すように、パターン光照射系１００から眼球ＥＢに照射されるパターン光ＰＬ２の形状がパターン光ＰＬ１の形状と異なる点を除いて、第１実施形態に係る視線検出装置１０と同様の構成を有する。

　変形例１では、基準パターンＢＰは、非平行な少なくとも３つの線（例えば３つの線）が、同一の交点で交差し、且つ、該交点から放射状に延びている。詳述すると、変形例１では、基準パターンＢＰは、例えばＹ字を横向きにした形状（Ｙ字を９０°回転させた形状）を有する。ここでは、パターン光ＰＬ２は、基準パターンＢＰと完全に一致している。

　変形例１でも、例えば眼球ＥＢが水平方向（横方向）に移動した場合に、ＥＶＳによる撮像画像には、パターン光ＰＬ２の角膜反射像ＰＬ２ｉには輝度変化のない横線は現れないが、輝度変化のある２つの斜線が現れる。これら２つの斜線の交点を特徴点として抽出することにより、視線を精度良く検出することができる。

　変形例１に係る視線検出装置によれば、第１実施形態に係る視線検出装置１０と同様の効果を奏するとともに、基準パターンＢＰの交点（パターン光ＰＬ２の交点）が単一なので、角膜反射像と交点との対応付けが容易であり、より高速での視線検出が可能となる。

＜３．本技術の第１実施形態の変形例２に係る視線検出装置＞
　図１５Ａは、本技術の第１実施形態の変形例２に係る視線検出装置からパターン光が照射された眼球を示す図である。図１５Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。

　第１実施形態の変形例２に係る視線検出装置は、図１５Ａ及び図１５Ｂに示すように、パターン光照射系１００から眼球ＥＢに照射されるパターン光ＰＬ３の形状がパターン光ＰＬ１の形状と異なる点を除いて、第１実施形態に係る視線検出装置１０と同様の構成を有する。

　変形例２では、基準パターンＢＰは、非平行な少なくとも３つの線が、同一の交点で交差し、且つ、該交点の周りに連続して鋭角を形成している。変形例２では、基準パターンＢＰは、例えば横向きの矢印の形状を有する。ここでは、パターン光ＰＬ３は、基準パターンＢＰと完全に一致している。

　変形例２でも、例えば眼球ＥＢが水平方向に移動した場合に、ＥＶＳによる撮像画像には、パターン光ＰＬ３の角膜反射像ＰＬ３ｉには輝度変化のない横線は現れないが、輝度変化のある２つの斜線が現れる。これら２つの斜線の交点を特徴点として抽出することにより、視線を精度良く検出することができる。

　変形例２に係る視線検出装置によれば、第１実施形態に係る視線検出装置１０と同様の効果を奏するとともに、基準パターンＢＰの交点（パターン光ＰＬ３の交点）が単一なので、角膜反射像と交点との対応付けが容易であり、より高速での視線検出が可能となる。

＜４．本技術の第１実施形態の変形例３に係る視線検出装置＞
≪視線検出装置の構成≫
　図１６Ａは、本技術の第１実施形態の変形例３に係る視線検出装置からパターン光ＰＬ５が照射された眼球を示す図である。図１６Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。

　第１実施形態の変形例３に係る視線検出装置は、図１６Ａ及び図１６Ｂに示すように、パターン光照射系１００から眼球ＥＢに照射されるパターン光ＰＬ５の形状がパターン光ＰＬ１の形状と異なる点を除いて、第１実施形態に係る視線検出装置１０と同様の構成を有する。

　変形例３では、基準パターンＢＰは、非平行な少なくとも３つ（例えば４つ）の線の各々と少なくとも２つ（例えば２つ）の他の線とが交差している。変形例３では、基準パターンＢＰは、例えば非平行な四辺を持ち、一辺が水平方向に略平行な四辺形の形状を有する。基準パターンＢＰの大きさは、一例として瞳孔ＰＵの大きさ以上とされている。
ここでは、パターン光ＰＬ５は、基準パターンＢＰと完全に一致している。

　変形例３では、例えば眼球ＥＢが水平方向に移動した場合に、ＥＶＳによる撮像画像には、パターン光ＰＬ５の角膜反射像ＰＬ５ｉには輝度変化のない横線は現れないが、輝度変化のある３つの斜線が現れる（図１６Ｂ参照）。これら３つの斜線が形成する２つの交点を特徴点として抽出することにより、視線を精度良く検出することができる。

　図１７は、角膜反射像検出部の機能例２を示すブロック図である。変形例３に係る視線検出装置では、図１７に示すように、角膜反射像検出部３００ａが、特徴点抽出部３００ａ１、対応付け部３００ａ２及び角膜中心推定部３００ａ３を有している。

　図１８は、図１７の角膜反射像検出部の動作例を示す図である。特徴点抽出部３００ａ１は、ＥＶＳの撮像画像から、パターン光ＰＬ５の角膜反射像ＰＬ５ｉの複数の特徴点を抽出する。対応付け部３００ａ２は、特徴点抽出部３００ａ１で抽出された各特徴点とパターン光ＰＬ５の各交点とを対応付ける。角膜中心推定部３００ａ３は、特徴点抽出部３００ａ１で抽出され対応付け部３００ａ２で複数の交点と対応付けられた複数の特徴点から、パターン光ＰＬ５の対応する複数の交点の角膜上の反射点を求め、各反射点を通る法線ベクトルを求め、複数の法線ベクトルの交点を撮像画像の座標系における角膜中心（角膜ＣＯの中心）と推定し、その推定結果を視線検出部３００ｃに出力する。

　瞳孔検出部３００ｂは、一例として、画像処理（例えばエッジ検出、輪郭抽出、濃淡等）を用いて、瞳孔検出用の撮像素子の撮像画像から瞳孔を抽出し、撮像画像の座標系における瞳孔中心の位置を算出し、その算出結果を視線検出部３００ｃに出力する。

　視線検出部３００ｃは、角膜中心推定部３００ａ３の推定結果である角膜中心と、瞳孔検出部３００ｂの検出結果である瞳孔中心とに基づいて視線方向を求める。

≪視線検出処理２≫
　以下、変形例３に係る視線検出装置等により実施される視線検出処理２について、図１９を参照して説明する。図１９は、視線検出処理２を説明するためのフローチャートである。

　最初のステップＳ１１では、パターン光を眼球ＥＢに照射する。具体的には、光源駆動部１００ｂにより光源１００ａを駆動する。

　次のステップＳ１２では、撮像を行う。具体的には、撮像系２００の撮像素子２００ａ（ＥＶＳ）が、パターン光が照射された眼球ＥＢを撮像し、その撮像画像を出力する。

　次のステップＳ１３では、角膜反射像を検出する。具体的には、角膜反射像検出部３００ａが撮像画像からパターン光の角膜反射像の複数の特徴点を抽出し、各角膜反射像とパターン光の各交点との対応付けを行う。

　次のステップＳ１４では、角膜中心を推定する。具体的には、角膜反射像検出部３００ａがパターン光の角膜反射像の複数の特徴点に基づいて、角膜ＣＯの角膜中心を算出する。

　次のステップＳ１５は、瞳孔を検出する。具体的には、瞳孔検出部３００ｂが、瞳孔検出用の撮像素子の撮像画像から瞳孔ＰＵを抽出し、瞳孔中心の位置を検出する。

　次のステップＳ１６では、視線を検出する。具体的には、ステップＳ１４で推定された角膜中心と、ステップＳ１５で検出された瞳孔中心とに基づいて視線方向を求める。

　最後のステップＳ１７では、視線検出を終了するか否かを判断する。ここでの判断は、変形例３に係る視線検出装置の電源がオフになったときに肯定され、オンのときは否定され、視線検出（ステップＳ１１～Ｓ１６）が再び行われる。

≪視線検出装置の効果≫
　変形例３に係る視線検出装置によれば、パターン光ＰＬ５の角膜反射像の少なくとも２つの特徴点を常時検出できるので、キャリブレーションを要しない視線検出処理２により視線を検出できる。また、パターン光ＰＬ５が比較的大きいので、角膜反射像の特徴点の検出が容易である。

＜５．本技術の第２実施形態に係る視線検出装置＞
　図２０Ａは、本技術の第２実施形態に係る視線検出装置からパターン光ＰＬ１が照射された眼球を示す図である。図２０Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。図２１は、本技術の第２実施形態に係る視線検出装置２０の機能例を示すブロック図である。

　第２実施形態に係る視線検出装置２０は、基準パターンＢＰが、互いに交差する少なくとも２つ（例えば３つ）の線を含むパターン（例えば三角形状のパターン）を複数（例えば２つ）有する点を除いて、第１実施形態に係る視線検出装置１０と同様の構成を有する。

　視線検出装置２０では、基準パターンＢＰは、形状が同一（相似形も含む、以下同様）の少なくとも２つ（例えば２つ）のパターンを含み、該少なくとも２つのパターンは、向きが同一である。ここでは、基準パターンＢＰに対応するパターン光は、基準パターンＢＰに完全に一致している。すなわち、基準パターンＢＰに対応するパターン光は、一例として図２０Ａに示すように、形状及び向きが同一の複数（例えば２つ）の第１及び第２パターン部ＰＬ１Ａ、ＰＬ１Ｂを含んでいる。ここでは、基準パターンＢＰの各パターン及びパターン光の各パターン部は、一辺が略水平の三角形状とされている。

　図２０Ｂに示すように、例えば眼球ＥＢが水平移動したときＥＶＳの撮像画像には、第１パターン部ＰＬ１Ａの角膜反射像ＰＬ１Ａｉ及び第２パターン部ＰＬ１Ｂの角膜反射像ＰＬ１Ｂｉが現れる。各角膜反射像は、１つの交点を持つ逆Ｖ字である。

　視線検出装置２０では、パターン光照射系１００が、図２１に示すように、第１及び第２光源１００ａ１、１００ａ２を有している。第１光源１００ａ１は、第１パターン部ＰＬ１Ａの生成に用いられる。第２光源１００ａ２は、第２パターン部ＰＬ１Ｂの生成に用いられる。第１及び第２光源１００ａ１、１００ａ２は、光源駆動部１００ｂにより駆動される。

　視線検出装置２０でも、視線検出処理２が実施される。この際、角膜反射像ＰＬ１Ａｉの特徴点（第１パターン部ＰＬ１Ａの交点）及び角膜反射像ＰＬ１Ｂｉの特徴点（第２パターン部ＰＬ１Ｂの交点）を抽出し、これらの特徴点を用いて角膜中心を算出する。

　視線検出装置２０によれば、パターン光の角膜反射像の少なくとも２つの特徴点を常時検出できるので、キャリブレーションを要しない視線検出処理２により視線を検出可能である。

　なお、視線検出装置２０において、パターン光照射系１００は、基準パターンＢＰの複数のパターンのうち交点を検出可能なパターンに対応する、パターン光の一部（特徴点が検出可能なパターン部）のみを眼球ＥＢに選択的に照射することとしてもよい。補足すると、光源部の総発光量が一定の場合、パターン光を複数のパターン部に分割して照射すると、パターン部毎の輝度が下がるため、コントラストが低下し、信号が取得しづらくなる。そこで、パターン光の分割数（但し分割しない場合を分割数１とする）を減らすことにより、コントラストを高くし、信号を取得しやすくすることができる。基準パターンＢＰの複数のパターンのうち交点が検出可能なパターンか否かは、後述する移動情報推定部３００ｄの推定結果（例えば眼球ＥＢの移動方向）により判別可能である。ここで説明したパターン光の選択的照射方法は、他の実施形態及び変形例に係る視線検出装置にも適用可能である。

＜６．本技術の第２実施形態の変形例１に係る視線検出装置＞
　図２２Ａは、本技術の第２実施形態の変形例１に係る視線検出装置からパターン光が照射された眼球を示す図である。図２２Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。図２２Ｃは、該撮像画像から交点を検出する方法を説明するための図である。

　第２実施形態の変形例１に係る視線検出装置は、眼球ＥＢに照射されるパターン光がＹ字を横向きにした形状（Ｙ字を９０°回転させた形状）を持つ第１及び第２パターン部ＰＬ２Ａ、ＰＬ２Ｂを有している点を除いて、第２実施形態に係る視線検出装置２０と同様の構成を有する。

　図２２Ｂに示すように、例えば眼球ＥＢが水平移動したときＥＶＳの撮像画像には、第１パターン部ＰＬ２Ａの角膜反射像ＰＬ２Ａｉ及び第２パターン部ＰＬ２Ｂの角膜反射像ＰＬ２Ｂｉが現れる。各角膜反射像は、１つの交点を持つＶ字を横向きにした形状（Ｖ字を９０°回転させた形状）である。

　第２実施形態の変形例１に係る視線検出装置でも、視線検出処理２が実施される。この際、角膜反射像検出部３００ａが、角膜反射像ＰＬ２Ａｉの特徴点（第１パターン部ＰＬ２Ａの交点）及び角膜反射像ＰＬ２Ｂｉの特徴点（第２パターン部ＰＬ２Ｂの交点）を抽出し、これらの特徴点を用いて角膜中心を算出する。

　第２実施形態の変形例１に係る視線検出装置によれば、パターン光の角膜反射像の少なくとも２つの特徴点を常時検出できるので、キャリブレーションを要しない視線検出処理２により視線を検出可能である。また、各パターン部を比較的小さくしても、鋭角を大きくとることができるので、特徴点（例えば交点）の検出が容易である（図２２Ｃ参照）。

＜７．本技術の第２実施形態の変形例２に係る視線検出装置＞
　図２３Ａは、本技術の第２実施形態の変形例２に係る視線検出装置からパターン光が照射された眼球を示す図である。図２３Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。

　第２実施形態の変形例２に係る視線検出装置は、図２３Ａに示すように、眼球ＥＢに照射されるパターン光が、互いに異なる形状を持つ第１及び第２パターン部ＰＬ１Ａ、ＰＬ１’を有している点を除いて、第２実施形態に係る視線検出装置２０と同様の構成を有する。第１パターン部ＰＬ１Ａは、一辺が略水平な三角形状である。第２パターン部ＰＬ１’は、第１パターン部ＰＬ１Ａと非相似の三角形状であって各辺が第１パターン部ＰＬ１Ａのいずれの辺とも非平行な三角形状である。

　図２３Ｂに示すように、例えば眼球ＥＢが水平移動したときＥＶＳの撮像画像には、第１パターン部ＰＬ１Ａの角膜反射像ＰＬ１Ａｉ及び第２パターン部ＰＬ１’の角膜反射像ＰＬ１’ｉが現れる。角膜反射像ＰＬ１Ａｉは逆Ｖ字状であり、角膜反射像ＰＬ１’ｉは三角形状（第２パターン部ＰＬ１’と略同一形状）である。

　第２実施形態の変形例２に係る視線検出装置でも、視線検出処理２が実施される。この際、角膜反射像検出部３００ａが、角膜反射像ＰＬ１Ａｉの特徴点（第１パターン部ＰＬ１Ａの交点）及び角膜反射像ＰＬ１’ｉの特徴点（第２パターン部ＰＬ１’の交点）を抽出し、これらの特徴点を用いて角膜中心を算出する。

　第２実施形態の変形例２に係る視線検出装置によれば、パターン光の角膜反射像の少なくとも２つの特徴点を常時検出できるので、キャリブレーションを要しない視線検出処理２により視線を検出可能である。また、角膜反射像の特徴点を多く検出できるため、より高精度に視線を検出することができる。

＜８．本技術の第２実施形態の変形例３に係る視線検出装置＞
　図２４Ａは、本技術の第２実施形態の変形例３に係る視線検出装置からパターン光が照射された眼球を示す図である。図２４Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。

　第２実施形態の変形例３に係る視線検出装置は、図２４Ａに示すように、眼球ＥＢに照射されるパターン光が、形状が同一であり、且つ、向きが異なる第１及び第２パターン部ＰＬ２Ａ、ＰＬ２Ｂを有している点を除いて、第２実施形態に係る視線検出装置２０と同様の構成を有する。第１パターン部ＰＬ２ＡはＹ字を鋭角又は鈍角（例えば鈍角）だけ回転させた形状を持つ。第２パターン部ＰＬ２ＢはＹ字を横向きにした（Ｙ字を９０°回転させた）形状を持つ。すなわち、第２パターン部ＰＬ２Ｂは、Ｙ字を構成する３つの直線の各々が、第１パターン部ＰＬ２ＡのＹ字を構成する３つの直線のいずれとも非平行である。

　図２４Ｂに示すように、例えば眼球ＥＢが水平移動したときＥＶＳの撮像画像には、第１パターン部ＰＬ２Ａの角膜反射像ＰＬ２Ａｉ及び第２パターン部ＰＬ２Ｂの角膜反射像ＰＬ２Ｂｉが現れる。角膜反射像ＰＬ１ＡｉはＹ字を鈍角だけ回転させた形状（第１パターン部ＰＬ２Ａと略同一の形状）を持つ。角膜反射像ＰＬ２ＢｉはＶ字を横向きにした形状（Ｖ字を９０°回転させた形状）を持つ。

　第２実施形態の変形例３に係る視線検出装置でも、視線検出処理２が実施される。この際、角膜反射像検出部３００ａが、角膜反射像ＰＬ２Ａｉの特徴点（第１パターン部ＰＬ２Ａの交点）及び角膜反射像ＰＬ２Ｂｉの特徴点（第２パターン部ＰＬ２Ｂの交点）を抽出し、これらの特徴点を用いて角膜中心を算出する。

　第２実施形態の変形例３に係る視線検出装置によれば、パターン光の角膜反射像の少なくとも２つの特徴点を常時検出できるので、キャリブレーションを要しない視線検出処理２により視線を検出可能である。

＜９．本技術の第２実施形態の変形例４に係る視線検出装置＞
　図２５Ａは、本技術の第２実施形態の変形例４に係る視線検出装置からパターン光が照射された眼球を示す図である。図２５Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。

　第２実施形態の変形例４に係る視線検出装置は、図２５Ａに示すように、眼球ＥＢに照射されるパターン光が、形状が同一であり、且つ、向きが異なる第１及び第２パターン部ＰＬ４Ａ、ＰＬ４Ｂを有している点を除いて、第２実施形態に係る視線検出装置２０と同様の構成を有する。第１パターン部ＰＬ４ＡはＶ字を鋭角又は鈍角（例えば鈍角）だけ回転させた形状を持つ。第２パターン部ＰＬ４ＢはＶ字を鋭角又は鈍角（例えば鈍角）だけ第１パターン部ＰＬ４Ａとは異なる向きとなるように回転させた形状を持つ。すなわち、第２パターン部ＰＬ４Ｂは、Ｖ字を構成する２つの直線の各々が、第１パターン部ＰＬ４ＡのＶ字を構成する２つの直線のいずれとも非平行である。

　図２５Ｂに示すように、例えば眼球ＥＢが水平移動したときＥＶＳの撮像画像には、第１パターン部ＰＬ４Ａの角膜反射像ＰＬ４Ａｉ及び第２パターン部ＰＬ４Ｂの角膜反射像ＰＬ４Ｂｉが現れる。角膜反射像ＰＬ４Ａｉは、第１パターン部ＰＬ４Ａと略同一の形状を持つ。角膜反射像ＰＬ４Ｂｉは第２パターン部ＰＬ４Ｂと略同一の形状を持つ。

　第２実施形態の変形例４に係る視線検出装置では、視線検出処理１が実施される。この際、角膜反射像検出部３００ａが、角膜反射像ＰＬ４Ａｉの特徴点（第１パターン部ＰＬ４Ａの交点）及び／又は角膜反射像ＰＬ４Ｂｉの特徴点（第２パターン部ＰＬ４Ｂの交点）を抽出する。

　第２実施形態の変形例４に係る視線検出装置によれば、パターン光を極めて簡素な形状としながらも角膜反射像の少なくとも１つの特徴点を常時抽出でき、ひいては視線を常時検出しうる。

＜１０．本技術の第２実施形態の変形例５に係る視線検出装置＞
　図２６Ａは、本技術の第２実施形態の変形例５に係る視線検出装置からパターン光が照射された眼球を示す図である。図２６Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。

　第２実施形態の変形例５に係る視線検出装置は、図２６Ａに示すように、眼球ＥＢに照射されるパターン光が、互いに形状が異なる第１及び第２パターン部ＰＬ１Ａ、ＰＬ４Ａを有している点を除いて、第２実施形態に係る視線検出装置２０と同様の構成を有する。第１パターン部ＰＬ１Ａは一辺が略水平の三角形状を持つ。第２パターン部ＰＬ４Ａは逆Ｖ字の形状を持つ。第２パターン部ＰＬ４Ａの各線は、第１パターン部ＰＬ１Ａの三辺のいずれとも非平行である。

　図２６Ｂに示すように、例えば眼球ＥＢが水平移動したときＥＶＳの撮像画像には、第１パターン部ＰＬ１Ａの角膜反射像ＰＬ１Ａｉ及び第２パターン部ＰＬ４Ａの角膜反射像ＰＬ４Ａｉが現れる。角膜反射像ＰＬ１Ａｉは、第１パターン部ＰＬ１Ａの横線が欠けたような形状を持つ。角膜反射像ＰＬ４Ａｉは、第２パターン部ＰＬ４Ａと略同一の形状を持つ。

　第２実施形態の変形例５に係る視線検出装置でも、視線検出処理２が実施される。この際、角膜反射像検出部３００ａが、角膜反射像ＰＬ１Ａｉの特徴点（第１パターン部ＰＬ１Ａの交点）及び角膜反射像ＰＬ４Ａｉの特徴点（第２パターン部ＰＬ４Ａの交点）を抽出し、これらの特徴点を用いて角膜中心を算出する。

　第２実施形態の変形例５に係る視線検出装置によれば、パターン光の角膜反射像の少なくとも２つの特徴点を常時検出できるので、キャリブレーションを要しない視線検出処理２により視線を検出可能である。

＜１１．本技術の第３実施形態に係る視線検出装置＞
　図２７Ａは、本技術の第３実施形態に係る視線検出装置からパターン光が照射された眼球を示す図である。図２７Ｂは、該眼球のＥＶＳによる撮像画像を示す図である。図２８は、本技術の第３実施形態に係る視線検出装置３０の機能例を示すブロック図である。

　第３実施形態に係る視線検出装置３０は、基準パターンＢＰが、互いに交差する少なくとも２つ（例えば２つ）の線を含むパターンを複数（例えば３つ）有する点を除いて、第１実施形態に係る視線検出装置１０と同様の構成を有する。

　視線検出装置３０では、基準パターンＢＰは、形状が同一の少なくとも２つ（例えば３つ）のパターンを含み、該少なくとも２つのパターンは、向きが異なる。ここでは、基準パターンＢＰに対応するパターン光は、基準パターンＢＰに完全に一致している。すなわち、基準パターンＢＰに対応するパターン光は、一例として図２７Ａに示すように、形状が同一で向きが異なる複数（例えば３つ）の第１～第３パターン部ＰＬ４Ａ、ＰＬ４Ｂ、ＰＬ４Ｃを含んでいる。ここでは、基準パターンＢＰの各パターン及びパターン光の各パターン部は、略Ｖ字状である。詳述すると、一例として、各パターン部のＶ字を構成する２つの直線の各々は、他のパターン部のＶ字を構成する２つの直線のいずれとも非平行である。第３パターン部ＰＬ４Ｃの一辺が略水平である。

　図２７Ｂに示すように、例えば眼球ＥＢが水平移動したときＥＶＳの撮像画像には、第１パターン部ＰＬ４Ａの角膜反射像ＰＬ４Ａｉ、第２パターン部ＰＬ４Ｂの角膜反射像ＰＬ４Ｂｉ及び第３パターン部ＰＬ４Ｃの角膜反射像ＰＬ４Ｃｉが現れる。角膜反射像ＰＬ４Ａｉ、ＰＬ４Ｂｉは、１つの交点を持つＶ字である。角膜反射像ＰＬ４Ｃｉは、１つの直線である。

　視線検出装置３０では、パターン光照射系１００が、図２８に示すように、第１～第３光源１００ａ１、１００ａ２、１００ａ３を有している。第１光源１００ａ１は、第１パターン部ＰＬ４Ａの生成に用いられる。第２光源１００ａ２は、第２パターン部ＰＬ４Ｂの生成に用いられる。第３光源１００ａ３は、第３パターン部ＰＬ４Ｃの生成に用いられる。第１～第３光源１００ａ１、１００ａ２、１００ａ３は、光源駆動部１００ｂにより駆動される。

　視線検出装置３０でも、視線検出処理２が実施される。この際、角膜反射像ＰＬ４Ａｉの特徴点（第１パターン部ＰＬ４Ａの交点）、角膜反射像ＰＬ４Ｂｉの特徴点（第２パターン部ＰＬ４Ｂの交点）及び角膜反射像ＰＬ４Ｃｉの特徴点（第３パターン部ＰＬ４Ｃの交点）を抽出し、これらの特徴点を用いて角膜中心を算出する。

　視線検出装置３０によれば、パターン光の角膜反射像の少なくとも２つの特徴点を常時検出できるので、キャリブレーションを要しない視線検出処理２により視線を検出可能である。

（角膜反射像検出部の検出方法の例）
　上記各実施形態及び各変形例において、角膜反射像検出部３００ａは、ＥＶＳの撮像画像において輝度が上がった画素を特徴点として抽出してもよい。図２９は、角膜反射像検出部の機能例３を示すブロック図である。角膜反射像検出部３００ａの構成例３は、図２９に示すように、特徴点抽出部３００ａ１及び対応付け部３００ａ２に加えて、輝度比較部３００ａ４を有している。輝度比較部３００ａ４は、特徴点抽出部３００ａ１で抽出され対応付け部３００ａ２で対応付けされた特徴点を構成する複数の画素の各々の現フレームでの輝度と前フレームでの輝度を比較し、該画素のうち輝度が上がった画素のみを特徴点を構成する画素として抽出する。これにより、より厳密に特徴点を抽出することができる。

＜１２．本技術の第４実施形態に係る視線検出装置＞
図３０は、本技術の第４実施形態に係る視線検出装置４０の機能例を示すブロック図である。

　第４実施形態に係る視線検出装置４０は、図３０に示すように、視線検出系３００が、移動情報推定部３００ｄを更に有している点を除いて、第１実施形態に係る視線検出装置１０と概ね同様の構成を有する。

　移動情報推定部３００ｄは、角膜反射像検出部３００ａでの検出結果に基づいて、眼球ＥＢの移動量、移動方向及び移動速度の少なくとも１つを推定する。

（移動情報推定部の機能例１）
　図３１は、移動情報推定部３００ｄの機能例１を示すブロック図である。図３１に示す移動情報推定部３００ｄは、移動量推定部３００ｄ１及び移動方向推定部３００ｄ２を有する。移動量推定部３００ｄ１は、例えば輝度が小さくなった特徴点と輝度が大きくなった特徴点を抽出し、これら２つの特徴点の位置関係から、眼球ＥＢの移動量を推定することができる。移動方向推定部３００ｄ２は、該位置関係から眼球ＥＢの移動方向を推定することもできるし、例えば図３２に示すように角膜反射像ＰＬ４ｉの特徴点（交点）で交差する２つの直線が成す鋭角の向きやイベントの極性（明転及び暗転の別）から、眼球ＥＢの移動方向を推定することもできる。

　視線検出装置４０では、視線検出部３００ｃが、視線検出処理１を実施する。この際、キャリブレーション工程及び／又は視線検出工程において、角膜反射像の特徴点及び瞳孔中心に加えて移動情報推定部３００ｄで推定された眼球ＥＢの移動量及び移動方向を、視線と対応付けることにより、視線をより高精度に求めることができる。

（移動情報推定部の機能例２）
　図３３は、移動情報推定部３００ｄの機能例２を示すブロック図である。図３３に示す移動情報推定部３００ｄは、移動方向推定部３００ｄ２及び移動速度推定部３００ｄ３を有する。移動方向推定部３００ｄ２は、例えば輝度が小さくなった特徴点と輝度が大きくなった特徴点を抽出し、これら２つの特徴点の位置関係から、眼球ＥＢの移動方向を推定することもできるし、例えば図３２に示すように角膜反射像ＰＬ４ｉの特徴点（交点）で交差する２つの直線が成す鋭角の向きやイベントの極性（明転及び暗転の別）から、眼球ＥＢの移動方向を推定することもできる。移動速度推定部３００ｄ３は、例えば輝度が小さくなった特徴点と輝度が大きくなった特徴点を抽出し、これら２つの特徴点の位置関係、ＥＶＳのフレームレート等から、眼球ＥＢの移動速度を推定してもよい。

　図３３に示す移動情報推定部３００ｄの機能例２は、眼球ＥＢの移動方向及び移動速度から眼球ＥＢのターゲットポジション（到達位置）を推定するサッケード推定を行う。図３４Ａ及び図３４Ｂは、移動情報推定部３００ｄの機能例２の原理を説明するための図である。図３４Ａ及び図３４Ｂは、それぞれ眼球の同じ動きに対する眼球の位置の時間変化及び眼球の速度の時間変化を示す。図３４Ａ及び図３４Ｂより、眼球の位置の時間変化及び眼球の最高速度には相関があり、最高速度を検出することで、眼球の到達位置を予測可能である。

（移動情報推定部の機能例３）
　図３５は、移動情報推定部３００ｄの機能例３を示すブロック図である。図３５に示す移動情報推定部３００ｄは、角膜反射像検出部３００ａで検出できた（ＥＶＳの撮像画像に現れた）、交点に対応する特徴点から角膜反射像検出部３００ａで検出できなかった（ＥＶＳの撮像画像に現れなかった）、交点に対応する特徴点の位置を推定し、その推定結果から眼球ＥＢの移動方向を抽出する。ここでは、移動情報推定部３００ｄは、非検出交点推定部３００ｄ４及び移動方向抽出部３００ｄ５を含む。例えば図３６に示すように、非検出交点推定部３００ｄ４は、角膜反射像検出部３００ａで検出できた、基準パターンＢＰの交点に対応する特徴点（例えば角膜反射像ＰＬ４Ｂｉの特徴点）の位置から角膜反射像検出部３００ａで検出できなかった（ＥＶＳの撮像画像に現れなかった）、基準パターンＢＰの交点に対応する特徴点（例えば角膜反射像ＰＬ４Ａｉの特徴点）の位置を推定し（例えば図３６の破線部を推定可能）、その推定結果を出力する。これにより、特徴点を増やすことができ、視線検出処理１を行う上で検出精度を向上でき、視線検出処理２に対応することも可能である。

（瞳孔検出部の機能例）
　図３７は、瞳孔検出部３００ｂの機能例を示すブロック図である。図３７に示す瞳孔検出部３００ｂは、移動情報取得部３００ｂ１及び瞳孔パターン推定部３００ｂ２を有する。移動情報取得部３００ｂ１は、移動情報推定部３００ｄの推定結果である眼球ＥＢの移動情報（例えば移動量、移動方向及び移動速度の少なくとも１つ）を取得する。瞳孔パターン推定部３００ｂ２は、移動情報取得部３００ｂ１で取得された眼球ＥＢの移動情報から、瞳孔のパターンを推定し、パターン検出等により、瞳孔を検出する。

　以上説明した視線検出装置４０によれば、視線検出系３００が移動情報推定部３００ｄを有しているので、視線検出精度の更なる向上が期待できる。

＜１３．本技術の第２実施形態の変形例６、７に係る視線検出装置＞
　図３８Ａ及び図３８Ｂは、それぞれ本技術の第２実施形態の変形例６、７に係る視線検出装置からパターン光が照射された眼球を示す図である。

　変形例６に係る視線検出装置では、図３８Ａに示すように、眼球ＥＢに照射されるパターン光が、形状が同一（相似形も含む）且つ向きが異なる矩形の第１及び第２パターン部ＰＬ６Ａ、ＰＬ６Ｂを含む。

　変形例７に係る視線検出装置では、図３８Ｂに示すように、眼球ＥＢに照射されるパターン光が、矩形状の第１パターン部ＰＬ６及び三角形状の第２パターン部ＰＬ１’を含む。

＜１４．本技術の第１実施形態の変形例４～８に係る視線検出装置＞
　図３９Ａ～図３９Ｅは、それぞれ本技術の第１実施形態の変形例４～８に係る視線検出装置からパターン光が照射された眼球を示す図である。図３９Ａ～図３９Ｅの例では、パターン光に対応する基準パターンＢＰがいずれも放射状（例えばＹ字状）である。

　図３９Ａに示す変形例４では、パターン光ＰＬ２が基準パターンＢＰに完全に一致している。

　図３９Ｂに示す変形例５では、パターン光ＰＬ２は基準パターンＢＰに沿う形状であって、３つの直線のうち２つの直線が交差し、その交点から１つの直線が幾分（例えば１０画素以内）離れた形状を有する。

　図３９Ｃに示す変形例６では、パターン光ＰＬ２は、基準パターンＢＰに沿う形状であって、基準パターンＢＰの交点に対応する部分が図形（例えば円）で置き換わった形状を有する。

　図３９Ｄに示す変形例７では、パターン光ＰＬ２は基準パターンＢＰに沿う形状であって、基準パターンＢＰの交点に対応する部分が除去された形状を有する。

　図３９Ｅに示す変形例８では、パターン光ＰＬ２は基準パターンＢＰに沿う形状であって、基準パターンＢＰの交点に対応する部分が除去され、且つ、その除去された部分に図形（例えば円）が配置された形状を有する。

＜１５．本技術の第１実施形態の変形例９に係る視線検出装置＞
　図４０は、本技術の第１実施形態の変形例９に係る視線検出装置からパターン光が照射された眼球を示す図である。図４０に示す変形例９では、パターン光ＰＬ７は、１点で交差する非平行な３つの直線を有している。該３つの直線の交点から４つの線分が放射状に延びている。

＜１６．本技術の第１実施形態の変形例１０～１２に係る視線検出装置＞
　図４１Ａ～図４１Ｃは、それぞれ本技術の第１実施形態の変形例１０～１２に係る視線検出装置からパターン光が照射された眼球を示す図である。

　図４１Ａに示す変形例１０では、パターン光ＰＬ９が３つの交点を持つＡ字状の形状を有している。

　図４１Ｂに示す変形例１１では、パターン光ＰＬ１０が３つの交点を持つ、Ａ字の横線を左右に延長した形状を有している。

　図４１Ｃに示す変形例１２では、パターン光ＰＬ１１が３つの交点を持つ、Ａ字の横線を左右に延長し、且つ、Ａ字の２つの斜線を上方に延長した形状を有している。

＜１７．本技術の第１実施形態の変形例１３～１５に係る視線検出装置＞
　図４２Ａ～図４２Ｃは、それぞれ本技術の第１実施形態の変形例１３～１５に係る視線検出装置からパターン光が照射された眼球を示す図である。

　図４２Ａに示す変形例１３では、パターン光ＰＬ１２が、１つの曲線と２つの直線とが１点で交差し、その交点から放射状に延びる形状を有している。なお、パターン光ＰＬ１２は、１つの曲線と２つの直線とが複数の点で交差していてもよい。

　図４２Ｂに示す変形例１４では、パターン光ＰＬ１３が、２つの曲線と１つの直線とが１点で交差する形状を有している。なお、パターン光ＰＬ１３は、２つの曲線と１つの直線とが複数の点で交差していてもよい。

　図４２Ｃに示す変形例１５では、パターン光ＰＬ１４が、３つの曲線が１点で交差する形状を有している。なお、パターン光ＰＬ１４は、３つの曲線が複数の点で交差していてもよい。

＜１８．パターン光のバリエーション１＞
　図４３は、本技術に係る視線検出装置に好適なパターン光のバリエーション１及び該パターン光の角膜反射像を示す図である。図４３には、三角形、五角形、六角形等の多角形の他、星形のパターン光が示されている。図４３において、各パターン光の下方には、眼球の移動方向（例えば水平方向、鉛直方向及び斜め方向）毎のＥＶＳによる撮像画像が示されている。図４３から、これらいずれの形状のパターン光も、眼球の水平移動、鉛直移動及び斜め移動に対して、少なくとも１つ角膜反射像の特徴点（交点）を検出可能であることが分かる。

＜１９．パターン光のバリエーション２＞
　図４４は、本技術に係る視線検出装置に好適なパターン光のバリエーション２及び該パターン光の角膜反射像を示す図である。図４４には、三角形枠状、五角形枠状、六角形枠状等の多角形枠状の他、星形枠状のパターン光が示されている。図４４において、各パターン光の下方には、眼球の移動方向（例えば水平方向、鉛直方向及び斜め方向）毎のＥＶＳによる撮像画像が示されている。図４４から、これらいずれの形状のパターン光も、眼球の水平移動、鉛直移動及び斜め移動に対して、少・BR>ネくとも１つ角膜反射像の特徴点（交点）を検出可能であることが分かる。

＜２０．本技術のその他の変形例＞

　例えば光源及び光学素子の数は、適宜変更可能である。光源及び光学素子の数は、パターン光の分割数（パターン部の数）に応じて決めることができる。具体的には、光源がパターン光のパターン部を出射する場合には、光源の数をパターン部の数と同数に設定してもよい。光源から出射された光を光学素子でパターン部に整形する場合には、光学素子の数をパターン部の数と同数にし、且つ、光源の数をパターン部の数以下に設定してもよい。

　例えば撮像系の撮像素子２００ａは、ＥＶＳに限らず、通常のイメージセンサであってもよい。

　上記各実施形態及び各変形例に係る視線検出装置において、光源及び光学素子の種類、個数、形状、配置等は、適宜変更可能である。

　上記各実施形態及び各変形例に係る視線検出装置の少なくとも一部を矛盾しない範囲で相互に組み合わせてもよい。

　また、本技術は、以下のような構成をとることもできる。
（１）パターン光を眼球に照射するパターン光照射系と、
　前記パターン光が照射された前記眼球を撮像する撮像系と、
　前記撮像系の撮像画像に基づいて前記眼球の向きである視線を検出する視線検出系と、　を備え、
　前記パターン光は、非平行な少なくとも３つの線を有する基準パターンであって、前記少なくとも３つの線のうち少なくとも２つの線が交差する交点を持つ基準パターンに沿う形状を有する、視線検出装置。
（２）前記少なくとも３つの線の各々は、少なくとも１つの他の前記線と交差する、（１）に記載の視線検出装置。
（３）前記少なくとも３つの線の各々は、少なくとも２つの他の前記線と交差する、（１）又は（２）に記載の視線検出装置。
（４）前記基準パターンは、同一直線上にない少なくとも３つの前記交点を持つ、（１）～（３）のいずれか１つに記載に視線検出装置。
（５）前記少なくとも３つの線が、同一の前記交点で交差する、（１）～（４）のいずれか１つに記載の視線検出装置。
（６）前記少なくとも３つの線は、前記交点の周りに連続して鋭角を形成する、（１）～（５）のいずれか１つに記載の視線検出装置。
（７）前記少なくとも３つの線は、前記交点から放射状に延びる、（５）又は（６）に記載の視線検出装置。
（８）前記基準パターンは、互いに交差する前記少なくとも２つの線を含むパターンを複数有する、（１）～（７）のいずれか１つに記載の視線検出装置。
（９）複数の前記パターンは、形状が同一の少なくとも２つの前記パターンを含む、（８）に記載の視線検出装置。
（１０）前記複数のパターンは、向きが同一である、（９）に記載の視線検出装置。
（１１）前記複数のパターンは、向きが異なる、（９）に記載の視線検出装置。
（１２）複数の前記パターンは、形状が異なる少なくとも２つの前記パターンを含む、請（８）に記載の視線検出装置。
（１３）前記パターン光照射系は、前記複数のパターンのうち前記交点を検出可能な前記パターンに対応する、前記パターン光の一部を前記眼球に照射する、（８）～（１２）のいずれか１つに記載の視線検出装置。
（１４）前記視線検出系は、前記撮像画像から、前記パターン光の角膜反射像の特徴点を検出する角膜反射像検出部を含む、（１）～（１３）のいずれか１つに記載の視線検出装置。
（１５）前記角膜反射像検出部は、前記撮像画像における前記角膜反射像の前記特徴点付近の角度及び／又は方向性を示す情報に基づいて、前記交点と前記特徴点とを対応付ける、（１４）に記載の視線検出装置。
（１６）前記角膜反射像検出部は、前記撮像画像において輝度が上がった画素を、前記特徴点を構成する画素として抽出する、（１４）又は（１５）に記載の視線検出装置。
（１７）前記視線検出系は、前記角膜反射像検出部での検出結果に基づいて、前記眼球の移動量、移動方向及び移動速度の少なくとも１つを推定する移動情報推定部を含む、（１４）～（１６）のいずれか１つに記載の視線検出装置。
（１８）前記移動情報推定部は、前記角膜反射像検出部で検出できた、前記交点に対応する前記特徴点から前記角膜反射像検出部で検出できなかった、前記交点に対応する前記特徴点の位置を推定し、その推定結果から前記眼球の移動方向を抽出する、（１７）に記載の視線検出装置。
（１９）前記視線検出系は、少なくとも前記撮像系の撮像画像及び前記角膜反射像検出部での検出結果に基づいて前記視線を検出する、（１４）～（１８）のいずれか１つに記載の視線検出装置。
（２０）前記パターン光照射系は、前記パターン光を出射する光源を含む、（１）～（１９）のいずれか１つに記載の視線検出装置。
（２１）前記パターン光照射系は、光源と、前記光源からの光を整形して前記パターン光を生成する光学素子と、を含む、（１）～（１９）のいずれか１つに記載の視線検出装置。
（２２）前記撮像系は、イベントセンサを含む、（１）～（２１）のいずれか１つに記載の視線検出装置。

１０、２０、３０、４０：視線検出装置
１００：パターン光照射系
１００ａ：光源
１００ａ１：第１光源（光源）
１００ａ２：第２光源（光源）
１００ａ３：第３光源（光源）
２００：撮像系
３００：視線検出系
３００ａ：角膜反射像検出部
３００ｄ：移動情報推定部

Claims

　パターン光を眼球に照射するパターン光照射系と、
　前記パターン光が照射された前記眼球を撮像する撮像系と、
　前記撮像系の撮像画像に基づいて前記眼球の向きである視線を検出する視線検出系と、
　を備え、
　前記パターン光は、非平行な少なくとも３つの線を有する基準パターンであって、前記少なくとも３つの線のうち少なくとも２つの線が交差する交点を持つ基準パターンに沿う形状を有する、視線検出装置。
　前記少なくとも３つの線の各々は、少なくとも１つの他の前記線と交差する、請求項１に記載の視線検出装置。
　前記少なくとも３つの線の各々は、少なくとも２つの他の前記線と交差する、請求項１に記載の視線検出装置。
　前記基準パターンは、同一直線上にない少なくとも３つの前記交点を持つ、請求項１に記載の視線検出装置。
　前記少なくとも３つの線が、同一の前記交点で交差する、請求項１に記載の視線検出装置。
　前記少なくとも３つの線は、前記交点の周りに連続して鋭角を形成する、請求項５に記載の視線検出装置。
　前記少なくとも３つの線は、前記交点から放射状に延びる、請求項５に記載の視線検出装置。
　前記基準パターンは、互いに交差する前記少なくとも２つの線を含むパターンを複数有する、請求項１に記載の視線検出装置。
　複数の前記パターンは、形状が同一の少なくとも２つの前記パターンを含む、請求項８に記載の視線検出装置。
　複数の前記パターンは、形状が異なる少なくとも２つの前記パターンを含む、請求項８に記載の視線検出装置。
　前記パターン光照射系は、複数の前記パターンのうち前記交点を検出可能な前記パターンに対応する、前記パターン光の一部を前記眼球に照射する、請求項８に記載の視線検出装置。
　前記視線検出系は、前記撮像画像から、前記パターン光の角膜反射像の特徴点を検出する角膜反射像検出部を含む、請求項１に記載の視線検出装置。
　前記角膜反射像検出部は、前記撮像画像における前記角膜反射像の前記特徴点付近の角度及び／又は方向性を示す情報に基づいて、前記交点と前記特徴点とを対応付ける、請求項１２に記載の視線検出装置。
　前記角膜反射像検出部は、前記撮像画像において輝度が上がった画素を、前記特徴点を構成する画素として抽出する、請求項１２に記載の視線検出装置。
　前記視線検出系は、前記角膜反射像検出部での検出結果に基づいて、前記眼球の移動量、移動方向及び移動速度の少なくとも１つを推定する移動情報推定部を含む、請求項１２に記載の視線検出装置。
　前記移動情報推定部は、前記角膜反射像検出部で検出できた、前記交点に対応する前記特徴点から前記角膜反射像検出部で検出できなかった、前記交点に対応する前記特徴点の位置を推定し、その推定結果から前記眼球の移動方向を抽出する、請求項１５に記載の視線検出装置。
　前記視線検出系は、少なくとも前記撮像系の撮像画像及び前記角膜反射像検出部での検出結果に基づいて前記視線を検出する、請求項１２に記載の視線検出装置。
　前記パターン光照射系は、前記パターン光を出射する光源を含む、請求項１に記載の視線検出装置。
　前記パターン光照射系は、
　光源と、
　前記光源からの光を整形して前記パターン光を生成する光学素子と、
　を含む、請求項１に記載の視線検出装置。
　前記撮像系は、イベントセンサを含む、請求項１に記載の視線検出装置。