WO2017163516A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

視線の検出対象の眼が撮像された偏光画像に基づいて、検出対象の視線を検出する処理部を備える、情報処理装置が、提供される。

Description

情報処理装置、情報処理方法、およびプログラム

　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

　偏光画像に基づいて被写体の法線方向ベクトルを推定する技術が、開発されている。撮像位置が異なる複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。

国際公開第２００９／１４７８１４号

　視線の検出に用いられる手法としては、例えば、ＩＲ　ＬＥＤ（InfraRed　Light　Emitting　Diode）などの光源の光が角膜において反射された角膜反射像（「プルキニエ像」とも呼ばれる。以下では、角膜反射像を、「プルキニエ像」または「輝点」と示す場合がある。）を用いる角膜反射法を利用する方法が、ある。角膜反射法が用いられる場合、例えば、２つのプルキニエ像を撮像デバイスで撮像して、２つのプルキニエ像を観測することによって、眼の角膜中心の３次元位置を求めることが可能である。よって、角膜反射法が用いられる場合には、人や動物などの視線の検出対象（以下、単に「検出対象」と示す場合がある。）の視線を検出することができる。

　しかしながら、角膜反射法が用いられる場合には、ＩＲ　ＬＥＤなどの光源の光を利用する必要があるので、下記のような弊害が生じうる。
　　・視線の検出精度が、プルキニエ像の観測の安定性に依存する。
　　・ＩＲ　ＬＥＤなどの光源の光は太陽光の影響を受けやすいので、例えば屋外などでは、視線の検出精度が低下する恐れがある。
　　・ＩＲ　ＬＥＤなどの光源の光が利用されることによって、視線の推定角度に制限がつく恐れがある。
　　・ＩＲ　ＬＥＤなどの光源を設ける必要があるため、装置のデザインに制約が生じうる。

　本開示では、視線の検出対象の視線を検出することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

　本開示によれば、視線の検出対象の眼が撮像された偏光画像に基づいて、上記検出対象の視線を検出する処理部を備える、情報処理装置が、提供される。

　また、本開示によれば、視線の検出対象の眼が撮像された偏光画像に基づいて、上記検出対象の視線を検出するステップを有する、情報処理装置により実行される情報処理方法が、提供される。

　また、本開示によれば、視線の検出対象の眼が撮像された偏光画像に基づいて、上記検出対象の視線を検出する機能を、コンピュータに実現させるためのプログラムが、提供される。

　本開示によれば、視線の検出対象の視線を検出することができる。

　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る偏光画像の取得方法の一例を示す説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図である。 本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図である。 本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図である。 本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図である。 本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、以下では、下記に示す順序で説明を行う。
　　１．本実施形態に係る情報処理方法
　　２．本実施形態に係る情報処理装置
　　３．本実施形態に係るプログラム

（本実施形態に係る情報処理方法）
　まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げる。

［１］本実施形態に係る情報処理方法の概要
　上述したように、角膜反射法を用いて視線の検出を行う場合には、ＩＲ　ＬＥＤなどの光源の光を利用することに起因して、様々な弊害が生じうる。

　そこで、本実施形態に係る情報処理装置は、視線の検出対象の眼が撮像された偏光画像に基づいて、検出対象の視線を検出する（検出処理）。本実施形態に係る情報処理装置は、後述するように、偏光画像に基づいて眼における角膜の中心位置を推定して、検出対象の視線を検出する。角膜の中心位置は、後述するように、偏光画像に基づき検出された眼における瞳孔の位置と、偏光画像とに基づいて、推定される。

　より具体的には、本実施形態に係る情報処理装置は、偏光画像から得られる法線に基づいて、検出対象の視線を検出する。

　本実施形態に係る偏光画像とは、偏光イメージング技術を利用して撮像デバイスにより撮像された撮像画像である。

　図１は、本実施形態に係る情報処理方法を説明するための説明図であり、本実施形態に係る情報処理方法の適用例を示している。

　図１のＡは、撮像デバイスが、検出対象の頭部に装着して用いられるウェアラブル装置に備えられる場合の一例を示している。つまり、図１のＡは、撮像デバイスが検出対象に対する所定位置に固定されている場合の一例を示しており、図１のＡに示す例では、本実施形態に係る情報処理装置は、当該撮像デバイスから偏光画像を取得する。検出対象の頭部に装着して用いられるウェアラブル装置としては、図１のＡに示すような眼鏡型のウェアラブル装置（アイウェア）や、ＨＭＤ（Head　Mounted　Display）などが挙げられる。また、図１のＡに示す例では、ウェアラブル装置が備える表示デバイスの表示画面に、ＵＩ（User　Interface）に係る画像などの、様々な画像（静止画像または動画像）が、表示される。

　図１のＢは、撮像デバイスが、環境に設けられる例を示している。また、図１のＢに示す例では、環境に設けられている表示デバイスの表示画面に様々な画像が、表示される。つまり、図１のＢは、撮像デバイスが表示デバイスに対する所定位置に固定されている場合の一例を示しており、図１のＢに示す例では、本実施形態に係る情報処理装置は、当該撮像デバイスから偏光画像を取得する。

　以下では、検出対象が、図１に示すような人である場合を例に挙げる。

　また、図１に示す適用例において、本実施形態に係る情報処理装置としては、例えば、図１のＡに示すようなウェアラブル装置、図１のＢに示すような表示デバイス、または、ＰＣ（Personal　Computer）やサーバなどのコンピュータなどが、挙げられる。なお、本実施形態に係る情報処理装置は、上記に示す例に限られない。本実施形態に係る情報処理装置の他の適用例については、後述する。

　偏光画像は、例えば、図１のＡに示すようなウェアラブル装置に備えられる撮像デバイスによる撮像、または、図１のＢに示すような環境に設けられる撮像デバイスによる撮像によって、得られる。

　なお、本実施形態に係る撮像デバイスは、ステレオ画像を撮像するステレオカメラであってもよい。本実施形態に係る撮像デバイスがステレオカメラである場合、ステレオカメラによる撮像によって、右眼画像に対応する第１の偏光画像（または、左眼画像に対応する第１の偏光画像）と、左眼画像に対応する第２の偏光画像（または、右眼画像に対応する第２の偏光画像）という、ステレオ画像を構成する２つの偏光画像が得られる。

　偏光画像は、例えば、“撮像デバイスのレンズの前（レンズからみて被写体側）に偏光版を設置し、設置された偏光板を回転させて複数回撮像すること”、“撮像デバイスの各画素に対して、偏光角が異なる偏光フィルタを配置し、１回撮像すること”などによって、得られる。

　図２は、本実施形態に係る偏光画像の取得方法の一例を示す説明図であり、撮像デバイスの各画素に対して配置される偏光フィルタの一例を示している。図２では、０［度］、４５［度］、９０［度］、１３５［度］という４種類の偏光角を有する偏光フィルタが、各画素に対して配置される例を示している。

　例えば図２に示すような偏光角が異なる複数の偏光フィルタを通して撮像が行われることによって、撮像デバイスでは、偏光画像が生成される。なお、本実施形態に係る偏光フィルタの例が、図２に示す例に限られないこと、および、偏光画像の取得方法が、偏光フィルタを利用した方法に限られないことは、言うまでもない。

　本実施形態に係る情報処理装置は、例えば図２に示すような複数の偏光フィルタを通した撮像により得られた偏光画像に基づいて、法線を得る。本実施形態に係る情報処理装置は、例えば、偏光画像が示す光強度（複数の偏光フィルタを通して得られる強度）をコサインカーブにフィッティングし、各画素の法線ベクトルを特定することによって、法線を得る。

　また、本実施形態に係る情報処理装置は、例えば、複数の偏光フィルタを通して撮像された偏光画像の平均をとることによって、輝度画像（または、ＲＧＢフィルタをさらに利用する場合はＲＧＢ画像。以下、同様とする。）を得ることが可能である。

　ここで、各画素の法線ベクトルは、方位角と天頂角で表現される。

　図３は、本実施形態に係る情報処理方法を説明するための説明図であり、法線ベクトルに対応する方位角と天頂角との一例を示している。

　方位角は、コサインカーブの位相から算出することができ、また、天頂角は、コサインカーブの振幅から算出することができる。

　ここで、方位角は１８０［度］の不定性を有する。そのため、被写体のある位置における法線ベクトルを一意に特定することができない場合がある。

　図４は、本実施形態に係る情報処理方法を説明するための説明図であり、方位角の不定性により法線ベクトルが一意に特定されてない場合の一例を示している。

　図４に示すように、方位角が１８０［度］の不定性を有することによって、法線ベクトル１と法線ベクトル２という２つの法線ベクトルが得られることから、被写体のある位置における法線ベクトルを一意に特定することができないことが起こりうる。

　本実施形態に係る情報処理方法に係る検出処理では、後述するように、偏光画像に基づいて検出対象の視線を検出する際に、検出対象の眼における角膜表面の法線（以下、「角膜に対応する法線」と示す。）を求める。ここで、検出対象の眼は、球体であること（または、球体とみなせること）が既知であるので、偏光画像から得られる輝度画像上での瞳孔の位置を検出すれば、図４に示すような上記不定性を解消することができる。つまり、本実施形態に係る情報処理装置は、検出された眼における瞳孔の位置に基づいて、偏光画像から得られる複数の法線から、角膜に対応する法線を特定する。また、本実施形態に係る情報処理装置は、検出された眼における瞳孔の位置および角膜の形状に基づいて、角膜に対応する法線を推定する。

　上記のように、本実施形態に係る情報処理装置は、偏光イメージング技術を利用して得られた偏光画像に基づいて、検出対象の眼における角膜に対応する法線を求めることが可能である。

　本実施形態に係る情報処理装置は、偏光画像から得られる法線に基づいて検出対象の眼における角膜の中心位置を推定する。本実施形態に係る情報処理装置は、例えば、求められた角膜に対応する法線に基づいて、眼における角膜の中心位置を推定する。

　眼における角膜の中心位置が推定されることによって、角膜反射法が用いられる場合と同様に、検出対象の視線を検出することができる。

　ここで、本実施形態に係る情報処理装置は、偏光画像に基づき得られた角膜に対応する法線に基づき角膜の中心位置を推定する。つまり、本実施形態に係る情報処理装置では、角膜反射法が用いられる場合のように、プルキニエ像を利用して角膜の中心位置を推定する必要はない。

　したがって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、検出処理を行うことによって、角膜反射法を用いて視線の検出を行う場合のような弊害を生じさせずに、検出対象の視線を検出することができる。

　また、本実施形態に係る撮像デバイスがステレオカメラである場合、本実施形態に係る情報処理装置は、ステレオ画像を構成する第１の偏光画像および第２の偏光画像それぞれから得られる法線に基づいて、検出対象の視線を検出する。後述するように、本実施形態に係る情報処理装置は、第１の偏光画像および第２の偏光画像それぞれから得られる法線に基づいて、検出対象の眼における角膜の中心位置を推定することによって、検出対象の視線を検出する。

　よって、本実施形態に係る情報処理装置は、ステレオ画像を構成する第１の偏光画像および第２の偏光画像に基づいて検出処理を行う場合においても、角膜反射法を用いて視線の検出を行う場合のような弊害を生じさせずに、検出対象の視線を検出することができる。

［２］本実施形態に係る情報処理方法に係る処理の一例
　本実施形態に係る情報処理装置は、“偏光画像から得られる法線に基づいて、検出対象の視線を検出する検出処理”を行う。

　上述したように、本実施形態に係る情報処理装置は、偏光画像から得られる法線に基づいて眼における角膜の中心位置を推定して、検出対象の視線を検出する。本実施形態に係る情報処理装置は、偏光画像に基づき推定される角膜に対応する法線に基づいて、角膜の中心位置を推定する。

　以下、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。

　図５は、本実施形態に係る情報処理方法に係る処理の一例を示す流れ図である。

　本実施形態に係る情報処理装置は、偏光画像から輝度画像（または、ＲＧＢ画像）を生成する（Ｓ１００）。複数の偏光フィルタを通して撮像された偏光画像の平均をとることによって、輝度画像を生成する。また、本実施形態に係る情報処理装置は、さらに、ＲＧＢフィルタをかけることによって、ＲＧＢ画像を生成することが可能である。以下では、ステップＳ１００において、輝度画像が生成される場合を例に挙げる。

　本実施形態に係る情報処理装置は、輝度画像から検出対象の眼における瞳孔を検出する（Ｓ１０２）。本実施形態に係る情報処理装置は、例えば、瞳孔検出用の辞書データを利用した機械学習によって、輝度画像から瞳孔を検出する。

　本実施形態に係る情報処理装置は、輝度画像から瞳孔が検出されたか否かを判定する（Ｓ１０４）。ここで、ステップＳ１０４において輝度画像から瞳孔が検出されたと判定されない場合は、撮像デバイスにおける撮像により得られた偏光画像が、検出対象の眼が撮像された偏光画像ではない場合に該当する。また、ステップＳ１０４において輝度画像から瞳孔が検出されたと判定された場合は、撮像デバイスにおける撮像により得られた偏光画像が、検出対象の眼が撮像された偏光画像である場合に該当する

　ステップＳ１０４において輝度画像から瞳孔が検出されたと判定されない場合、本実施形態に係る情報処理装置は、例えば、ステップＳ１００からの処理を繰り返す。

　また、ステップＳ１０４において輝度画像から瞳孔が検出されたと判定された場合には、本実施形態に係る情報処理装置は、例えば、偏光画像から法線画像を生成する（Ｓ１０６）。法線画像とは、例えば、偏光画像の各画素において特定される法線ベクトルで表された画像である。つまり、ステップＳ１０６の処理は、偏光画像の各画素において法線を得る処理に該当する。

　本実施形態に係る情報処理装置は、ステップＳ１０２における瞳孔の検出結果と、ステップＳ１０６において生成された法線画像とに基づいて、瞳孔位置から角膜上の最近点を求める（Ｓ１０８）。

　図６は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、角膜上の最近点の一例を示している。例えば図６に示すように、角膜上の最近点とは、例えば、天頂角が最も小さい角膜上の位置に対応する点である。

　例えばステップＳ１０８の処理は、偏光画像に基づき検出された眼における瞳孔の位置と、偏光画像から得られる法線とに基づいて、角膜に対応する法線を推定する処理に、該当する。

　本実施形態に係る情報処理装置は、検出対象の眼が球体とみなせる、すなわち、角膜が球体とみなせる（または、角膜が凸球面とみなせる）ということを示す情報に基づいて、上述した方位角の不定性を除去する（Ｓ１１０）。

　図７は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、方位角の不定性を除去した後の法線ベクトルの一例を示している。

　本実施形態に係る情報処理装置は、角膜の中心位置を推定する（Ｓ１１２）。角膜の中心位置は、例えば、３次元の座標で表される。

　本実施形態に係る情報処理装置は、例えば下記の（１）に示す第１の例に係る処理～（４）に示す第４の例に係る処理のいずれかの処理を行うことによって、角膜の中心位置を求めることによって、角膜の中心位置を推定する。

（１）角膜の中心位置の推定に係る処理の第１の例：角膜上の複数の法線に基づく推定の第１の例
　本実施形態に係る情報処理装置は、例えば、角膜上の複数の法線に基づいて、角膜の中心位置を推定する。

　本実施形態に係る情報処理装置は、例えば、角膜上の複数の法線の最近傍点を求め、求められた最近傍点を、角膜の中心位置とする。本実施形態に係る情報処理装置は、例えば、角膜の半径に基づいて、角膜上の複数の法線の最近傍点を求める。

　本実施形態に係る情報処理装置が角膜の中心位置の推定に用いる角膜の半径は、予め設定されている固定値であってもよいし、検出対象に対応する調整値により当該固定値が調整される可変値であってもよい。角膜の半径が可変値である場合、本実施形態に係る情報処理装置は、例えば、“生体認証、パスワード認証などの任意の方法によって特定された、検出対象の認識結果”と、“検出対象と調整値とが対応付けられているテーブル（またはデータベース。以下、同様とする。）”とに基づいて、検出対象に対応する調整値を特定する。

（２）角膜の中心位置の推定に係る処理の第２の例：角膜上の複数の法線に基づく推定の第２の例
　本実施形態に係る情報処理装置は、例えば、角膜上の複数の法線に基づいて、角膜の中心位置を推定する。

　図８は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図８は、角膜上の２つの法線に基づいて、角膜の中心位置を推定する場合の例を示している。

　撮像デバイスの中心位置（以下、「カメラ中心」と示す場合がある。）を座標系の原点Ｏ、角膜の中心位置をＣ＝（ｃｘ，ｃｙ，ｃｚ）、角膜半径をｒ、角膜上の点をＧ１、
Ｇ２とする。また、角膜上の点Ｇ１上の法線ベクトルをＮ１、角膜上の点Ｇ２上の法線ベクトルをＮ２、撮像デバイスの中心位置Ｏから角膜上の点Ｇ１に向かうベクトルをＩ１、撮像デバイスの中心位置Ｏから角膜上の点Ｇ２に向かうベクトルをＩ２、撮像デバイスの中心位置Ｏと角膜上の点Ｇ１との間の距離をｄ１、撮像デバイスの中心位置Ｏと角膜上の点Ｇ２との間の距離をｄ２とする。以下では、撮像デバイスの中心位置Ｏと角膜上の点Ｇ１との間の距離ｄ１を「距離ｄ１」と示し、撮像デバイスの中心位置Ｏと角膜上の点Ｇ２との間の距離ｄ２を「距離ｄ２」と示す場合がある。

　ここで、角膜の中心位置Ｃの座標、撮像デバイスの中心位置Ｏと角膜上の点Ｇ１との間の距離ｄ１、および撮像デバイスの中心位置Ｏと角膜上の点Ｇ２との間の距離ｄ２が、未知である。以下では、撮像デバイスの中心位置Ｏと角膜上の点Ｇ１との間の距離ｄ１を「距離ｄ１」と示し、撮像デバイスの中心位置Ｏと角膜上の点Ｇ２との間の距離ｄ２を「距離ｄ２」と示す場合がある。

　本実施形態に係る情報処理装置は、例えば、角膜の中心位置Ｃの座標、距離ｄ１、および距離ｄ２を未知として、下記の数式１を距離ｄ１、距離ｄ２について解くことによって、角膜の中心位置Ｃの座標を求める。ここで、数式１で示される各ベクトルは、ｘ座標成分、ｙ座標成分、およびｚ座標成分を有するので、数式１は、非線形連立方程式に該当する。また、撮像デバイスの中心位置Ｏから角膜の中心位置Ｃへ向かうベクトルは、下記の数式２で表され、距離ｄ１および距離ｄ２は、下記の数式３で表される。

　本実施形態に係る情報処理装置は、上記数式１より求められた距離ｄ１、および距離ｄ２と、上記数式３とによって、角膜上の点Ｇ１の位置および角膜上の点Ｇ２の位置を求める。そして、本実施形態に係る情報処理装置は、角膜上の点Ｇ１の位置、角膜上の点Ｇ１上の法線ベクトルＮ１、角膜上の点Ｇ２の位置、角膜上の点Ｇ２上の法線ベクトルＮ２、および角膜半径ｒによって、角膜の中心位置Ｃの座標を求める。

　本実施形態に係る情報処理装置は、例えば上記のように、角膜上の２つの法線に基づいて角膜の中心位置を推定することができる。

　なお、角膜上の法線がＮ本（Ｎは、３以上の整数）ある場合には、本実施形態に係る情報処理装置は、例えば、上記数式１をＮ本の法線に拡張し、Ｎ個の未知数を求めることによって、角膜上の２つの法線に基づく場合と同様に、角膜の中心位置Ｃの座標を求めることができる。ここで、角膜の中心位置Ｃの座標の推定に用いる角膜上の法線の数を増やすことによって、ノイズなどの影響の軽減を図ることができる。

（３）角膜の中心位置の推定に係る処理の第３の例：角膜上の複数の法線に基づく推定の第３の例
　なお、角膜上の複数の法線に基づく推定の例は、上記第１の例に係る処理と、上記第２の例に係る処理とに限られない。

　上述したように、本実施形態に係る情報処理装置は、ステレオ画像を構成する第１の偏光画像および第２の偏光画像それぞれから得られる法線に基づいて、検出対象の眼における角膜の中心位置を推定することも、可能である。

　第１の偏光画像および第２の偏光画像に基づいて、検出対象の眼における角膜の中心位置を推定する場合、本実施形態に係る情報処理装置は、第１の偏光画像および第２の偏光画像に基づいて視差を求める。そして、本実施形態に係る情報処理装置は、求められた視差を利用して、角膜の中心位置を推定する。

（３－１）第１の偏光画像および第２の偏光画像に基づき視差を求める処理の一例
　第１の偏光画像および第２の偏光画像に基づいて視差を求める処理の一例を説明する。図９は、本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図であり、第１の偏光画像および第２の偏光画像に基づき視差を求める処理の一例を示している。

　本実施形態に係る情報処理装置は、図５のステップＳ１００と同様に、第１の偏光画像から輝度画像を生成し、第２の偏光画像から輝度画像を生成する（Ｓ２００）。以下では、第１の偏光画像から生成される輝度画像を「第１の輝度画像」と示し、第２の偏光画像から生成される輝度画像を「第２の輝度画像」と示す。

　なお、本実施形態に係る情報処理装置は、ステップＳ２００の処理を行わずに、図５のステップＳ１００の処理により生成された第１の偏光画像に対応する輝度画像と第２の偏光画像に対応する輝度画像とを、ステップＳ２０２以降の処理に用いることも可能である。

　本実施形態に係る情報処理装置は、第１の偏光画像および第２の偏光画像それぞれから法線方向を推定する（Ｓ２０２）。本実施形態に係る情報処理装置は、例えば、図５のステップＳ１０６と同様の処理を行うことによって、第１の偏光画像および第２の偏光画像それぞれから法線方向を推定する。以下では、第１の偏光画像から生成される法線画像を「第１の法線画像」と示し、第２の偏光画像から生成される法線画像を「第２の法線画像」と示す。

　なお、本実施形態に係る情報処理装置は、ステップＳ２０２の処理を行わずに、図５のステップＳ１０６の処理の結果を、ステップＳ２０４以降の処理に用いることも可能である。

　本実施形態に係る情報処理装置は、ステレオ画像（第１の偏光画像および第２の偏光画像。以下、同様とする。）に対応する輝度画像、およびステレオ画像に対応する法線画像を、並行化する（Ｓ２０４）。本実施形態に係る情報処理装置は、例えば、第１の輝度画像と第２の輝度画像とに対して、対応する画素の法線が合うようにワーピングを行うことによって、ステレオ画像に対応する輝度画像を並行化する。また、本実施形態に係る情報処理装置は、例えば、第１の法線画像と第２の法線画像とに対して、対応する画素の法線が合うようにワーピングを行うことによって、ステレオ画像に対応する法線画像を並行化する。ワーピングの一例については、後述する。

　本実施形態に係る情報処理装置は、ステレオ画像に対応する輝度画像と、ステレオ画像に対応する法線画像から得られる法線を示す法線情報とに基づいて、第１の輝度画像と第２の輝度画像とをマッチングするための特徴量（以下、「マッチング用の特徴量」と示す。）を、算出する（Ｓ２０６）。マッチング用の特徴量は、例えば、ステレオ画像における対応する複数の画素に対して算出される。

　ここで、マッチング用の特徴量を求める手法としては、“ＡＤ（Absolute　Difference）”、“ＳＡＤ（Sum　Of　Absolute　Difference）”、“ＮＣＣ（Normalized　Cross-Correlation）”、“Ｃｅｎｓｕｓ　Ｔｒａｎｓｆｏｒｍ”、“ＬＢＰ（Local　Binary　Pattern）”などが挙げられる。

　しかしながら、“ＡＤ”などの既存のマッチング用の特徴量を求める手法は、主にテクスチャを特徴としたマッチングに係る処理である。そのため、既存のマッチング用の特徴量を求める手法のみを用いる場合、例えばテクスチャが少ない被写体がステレオカメラにより撮像されるときには、第１の輝度画像と第２の輝度画像とをマッチングすることができないことが起こりうる。

　そこで、本実施形態に係る情報処理装置は、例えば、法線情報を利用して得られるスコアに基づいて、マッチング用の特徴量を算出する。また、後述するように、本実施形態に係る情報処理装置は、さらに、１または２以上の上記既存のマッチング用の特徴量を求める手法を利用して得られる、１または２以上のスコアに基づいて、マッチング用の特徴量を算出することも、可能である。

　法線情報を利用して得られるスコアに基づきマッチング用の特徴量を算出することによって、テクスチャが少ない被写体が撮像される場合であっても、マッチングの精度を向上させることが可能となる。よって、法線情報を利用して得られるスコアに基づきマッチング用の特徴量を算出することによって、上記既存のマッチング用の特徴量を求める手法のみが用いられる場合よりも、マッチングの精度を向上を図ることができる。

　本実施形態に係る情報処理装置は、例えば、下記の数式４によって、マッチング用の特徴量を算出する。

　ここで、数式４に示す“Ｍａｔｃｈｉｎｇ　Ｓｃｏｒｅ”が、マッチング用の特徴量に該当する。また、数式４に示す“ＳｃｏｒｅＡ”は、一の既存のマッチング用の特徴量を求める手法により得られるスコアを示し、数式４に示す“ａ”は、“ＳｃｏｒｅＡ”に対する重み付けを規定する係数である。数式４に示す“ＳｃｏｒｅＢ”は、他の既存のマッチング用の特徴量を求める手法により得られるスコアを示しており、数式４に示す“ｂ”は、“ＳｃｏｒｅＢ”に対する重み付けを規定する係数である。また、数式４に示す“ＳｃｏｒｅＣ”は、法線情報を利用して得られるスコアを示しており、数式４に示す“ｃ”は、“ＳｃｏｒｅＣ”に対する重み付けを規定する係数である。

　なお、数式４に示す係数“ａ”、“ｂ”、“ｃ”それぞれは、予め設定されている固定値であってもよいし、本実施形態に係る情報処理装置のユーザの操作などによって変更可能な可変値であってもよい。また、数式４に示す係数“ａ”と係数“ｂ”との一方または双方は、０（ゼロ）であってもよい。

　Matching　Score＝ａ・ＳｃｏｒｅＡ＋ｂ・ＳｃｏｒｅＢ＋ｃ・ＳｃｏｒｅＣ
・・・（数式４）

　なお、マッチング用の特徴量を算出するための数式は、上記数式４に限られない。例えば、本実施形態に係る情報処理装置は、３つ以上の既存のマッチング用の特徴量を求める手法により得られるスコアを利用して、マッチング用の特徴量を算出することも可能である。

　以下、ＳｃｏｒｅＡが、“Ｃｅｎｓｕｓ　Ｔｒａｎｓｆｏｒｍ”により得られるスコアであり、ＳｃｏｒｅＢが、“ＡＤ”により得られるスコアである場合を例に挙げ、既存のマッチング用の特徴量を求める手法によるスコアの算出方法の一例を示す。また、法線情報を利用したスコアの算出方法の一例を示す。

　図１０は、本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図であり、“Ｃｅｎｓｕｓ　Ｔｒａｎｓｆｏｒｍ”によるスコアの算出方法の一例を示している。図１０に示すＡは、左眼に対応する輝度画像（第１の輝度画像または第２の輝度画像）を示し、図１０に示すＢは、右眼に対応する輝度画像（第２の輝度画像または第１の輝度画像）を示している。

　“Ｃｅｎｓｕｓ　Ｔｒａｎｓｆｏｒｍ”では、左眼に対応する輝度画像と右眼に対応する輝度画像とにおける注目画素を中心としたパッチ内において、注目画素と他の画素との大小関係を１または０で表現される。そして、“Ｃｅｎｓｕｓ　Ｔｒａｎｓｆｏｒｍ”では、注目画素と他の画素との大小関係が表現された結果をビットパターン化したものが、特徴量とされる。

　例えば、パッチが、図１０のＣに示すように注目画素を中心とする５×５画素で構成される場合、左眼に対応する輝度画像における注目画素と他の画素との大小関係は、図１０のＤのように表現され、図１０のＥに示すようにビットパターン化される。図１０に示すようにパッチが５×５画素で構成される場合には、２４［ｂｉｔ］の特徴量が生成される。

　また、図１０では示していないが、右眼に対応する輝度画像における注目画素に対しても、同様に特徴量が得られる。ここで、右眼に対応する輝度画像における注目画素は、例えば、左眼に対応する輝度画像における注目画素を基準として、右眼に対応する輝度画像における同一ラインの画素を探索することによって、特定される。

　そして、“Ｃｅｎｓｕｓ　Ｔｒａｎｓｆｏｒｍ”では、左眼に対応する輝度画像に基づく注目画素の特徴量と、右眼に対応する輝度画像に基づく注目画素の特徴量とのハミング距離が算出され、算出されたハミング距離が、スコアとされる。

　なお、図９のステップＳ２０４に示すように、ステレオ画像に対応する輝度画像が並行化される場合には、注目画素を中心としたパッチの特徴量およびスコアが計算される際に、ステレオ画像に対応する輝度画像の法線方向が合うようにワーピングが行われた上で、パッチの特徴量およびスコアが計算される。

　図１１は、本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図であり、１つの法線を利用してワーピングが行われる例を、示している。図１１に示すＡは、左眼に対応する輝度画像（第１の輝度画像または第２の輝度画像）を示し、図１１に示すＢは、右眼に対応する輝度画像（第２の輝度画像または第１の輝度画像）を示している。また、図１１に示すＣは、ワーピングが行われた右眼に対応する輝度画像を示している。

　左眼に対応する輝度画像と、図１１のＣに示すようにワーピングが行われた右眼に対応する輝度画像とに基づいて、“Ｃｅｎｓｕｓ　Ｔｒａｎｓｆｏｒｍ”によりスコアが算出されることによって、より精度の高い視差を得ることが可能なマッチング用の特徴量を算出することができる。

　なお、図１１では、１つの法線を利用してワーピングが行われる例を示しているが、上述した方位角の不定性を考慮して、２つの法線を用いて２回ワーピングを行い、それぞれ特徴量およびスコアを計算した上で、より小さい値（または大きい値）を採用することも可能である。

　図１２は、本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図であり、“ＡＤ”によるスコアの算出方法の一例を示している。図１２に示すＡは、左眼に対応する輝度画像（第１の輝度画像または第２の輝度画像）を示し、図１２に示すＢは、右眼に対応する輝度画像（第２の輝度画像または第１の輝度画像）を示している。

　“ＡＤ”では、ステレオ画像に対応する輝度画像における注目画素それぞれの画素値が特徴量とされる。そして、“ＡＤ”では、注目画素の画素値の差分の絶対値が、スコアとされる。

　図１３は、本実施形態に係るマッチング用の特徴量の算出方法の一例を説明するための説明図であり、法線情報を利用したスコアの算出方法の一例を示している。図１３に示すＡは、左眼に対応する輝度画像（第１の輝度画像または第２の輝度画像）を示し、図１３に示すＢは、右眼に対応する輝度画像（第２の輝度画像または第１の輝度画像）を示している。

　左眼に対応する輝度画像における注目画素を基準として、右眼に対応する輝度画像における注目画素が探索される場合、“左眼に対応する輝度画像における注目画素の法線（Ｌ＿Ｎｏｒｍａｌ＿１）と、右眼に対応する輝度画像における注目画素の法線（Ｒ＿Ｎｏｒｍａｌ＿１）との内積”と、“左眼に対応する輝度画像における注目画素の法線（Ｌ＿Ｎｏｒｍａｌ＿１）と、右眼に対応する輝度画像における注目画素の法線（Ｒ＿Ｎｏｒｍａｌ＿２）との内積”が、それぞれ算出される。そして、算出された内積のうちの大きい値が、スコアとして採用される。

　ここで、注目画素において法線が２つ存在する理由は、上述したように方位角に不定性が存在するためである。なお、内積の計算には４（２×２）通りの組み合わせがあるので、４通りの組み合わせに対応する内積をとることも可能である。しかしながら、上記のように、一方の画像における法線を固定してもう他方の法線における２通りの法線との内積を計算した場合であっても、十分な精度のスコアを得ることができる。

　本実施形態に係る情報処理装置は、図９のステップＳ２０６において、例えば上記数式４に示す演算を行うことによって、マッチング用の特徴量を、算出する。

　再度図９を参照して、第１の偏光画像および第２の偏光画像に基づき視差を求める処理の一例を説明する。本実施形態に係る情報処理装置は、ステップＳ２０６において算出されたマッチング用の特徴量に基づいて、ステレオ画像における画像マッチングの尤度を算出し、ステレオ画像における最も尤度が高い画素の位置における視差を求める（Ｓ２０８）。

　本実施形態に係る情報処理装置は、例えば図９に示す処理を行うことによって、第１の偏光画像および第２の偏光画像に基づいて視差を求める。なお、第１の偏光画像および第２の偏光画像に基づいて視差を求める処理の例が、図９に示す例に限られないことは、言うまでもない。

（３－２）視差を利用して角膜の中心位置を推定する処理
　本実施形態に係る情報処理装置は、求められた視差を利用して、角膜の中心位置を推定する。

　図１４は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図１４は、角膜上の２つの法線、および視差に基づいて、角膜の中心位置を推定する場合の例を示している。

　ステレオカメラを構成する一の撮像デバイスの中心位置（カメラ中心）を座標系の原点Ｏ、角膜の中心位置をＣ＝（ｃｘ，ｃｙ，ｃｚ）、角膜半径をｒ、角膜上の点をＧ１、
Ｇ２とする。また、角膜上の点Ｇ１上の法線ベクトルをＮ１、角膜上の点Ｇ２上の法線ベクトルをＮ２、一の撮像デバイスの中心位置Ｏから角膜上の点Ｇ１に向かうベクトルをＩ１、一の撮像デバイスの中心位置Ｏから角膜上の点Ｇ２に向かうベクトルをＩ２、一の撮像デバイスの中心位置Ｏと角膜上の点Ｇ１との間の距離をｄ１、一の撮像デバイスの中心位置Ｏと角膜上の点Ｇ２との間の距離をｄ２とする。以下では、一の撮像デバイスの中心位置Ｏと角膜上の点Ｇ１との間の距離ｄ１を「距離ｄ１」と示し、一の撮像デバイスの中心位置Ｏと角膜上の点Ｇ２との間の距離ｄ２を「距離ｄ２」と示す場合がある。

　上記（３－１）の処理により求められた視差によって、角膜上の点Ｇ１のｚ座標に相当する“ｚ１”と、角膜上の点Ｇ２のｚ座標に相当する“ｚ２”とが求まる。本実施形態に係る情報処理装置は、下記の数式５に示す演算を行うことによって、距離ｄ１および距離ｄ２を算出する。ここで、数式５に示す“ｆ_ｘ”は、撮像デバイスの内部パラメータの１つであるＦｏｃａｌＬｅｎｇｔｈのｘ方向を示し、数式５に示す“ｆ_ｙ”は、ＦｏｃａｌＬｅｎｇｔｈのｙ方向を示している。また、数式５に示す（ｕ１，ｖ１）は、角膜上の点Ｇ１の画像上の座標を示しており、数式５に示す（ｕ２，ｖ２）は、角膜上の点Ｇ２の画像上の座標を示している。数式５に示す“ｕ１”、“ｖ１”、“ｕ２”、および“ｖ２”は、例えば単位［ｐｉｘ］で表される。

　距離ｄ１および距離ｄ２が算出されると、本実施形態に係る情報処理装置は、上記数式１により角膜半径ｒを求めて、角膜の中心位置Ｃの座標を求める。

　上述したように、求められた距離ｄ１、および距離ｄ２と、上記数式３とによって、角膜上の点Ｇ１の位置および角膜上の点Ｇ２の位置が求まる。本実施形態に係る情報処理装置は、角膜上の点Ｇ１の位置、角膜上の点Ｇ１上の法線ベクトルＮ１、角膜上の点Ｇ２の位置、角膜上の点Ｇ２上の法線ベクトルＮ２、および上記数式１により求められた角膜半径ｒによって、角膜の中心位置Ｃの座標を求める。

　本実施形態に係る情報処理装置は、例えば上記のように、視差を利用して角膜の中心位置を推定することができる。

　なお、角膜上の法線がＮ本（Ｎは、３以上の整数）ある場合には、本実施形態に係る情報処理装置は、例えば、上記数式１をＮ本の法線に拡張することによって、角膜上の２つの法線に基づく場合と同様に、角膜の中心位置Ｃの座標を求めることが可能である。

（４）角膜の中心位置の推定に係る処理の第４の例：ＲＡＮＳＡＣ（Random　Sample　Consensus）を利用した推定
　本実施形態に係る情報処理装置は、例えばＲＡＮＳＡＣを利用して最適化問題を解くことによって、角膜の中心位置を推定する。

　本実施形態に係る情報処理装置は、例えば、Ｍ本（最小２本）の法線ベクトルから角膜の中心座標を求め、求めた角膜の中心座標を中心とする半径ｒの球を画像に再投影する。また、本実施形態に係る情報処理装置は、球上の法線と偏光画像から求めた法線との内積を算出し、設定されている閾値を超えた法線の数をカウントする。そして、本実施形態に係る情報処理装置は、最も本数が多かった法線を用いて最適化により球の中心座標を求め、角膜の中心位置を推定する。

　図１５は、本実施形態に係る情報処理方法に係る処理の一例を説明するための流れ図であり、ＲＡＮＳＡＣを利用して角膜の中心位置を推定する処理の一例を示している。

　本実施形態に係る情報処理装置は、例えば上記（１）に示す第１の例に係る処理と同様に、Ｍ本の法線ベクトルの最近傍点として、角膜の中心位置の座標を算出する（Ｓ３００）。

　本実施形態に係る情報処理装置は、ステップＳ３００において算出された座標を中心とし、半径ｒの球の表面を、偏光画像に基づく輝度画像に再投影する（Ｓ３０２）。ここで、半径ｒは、角膜の半径に相当する。半径ｒは、予め設定されている固定値であってもよいし、検出対象に対応する調整値により当該固定値が調整される可変値であってもよい。

　本実施形態に係る情報処理装置は、球上の法線と偏光画像から求めた法線との内積を算出し、設定されている閾値を超えた法線の数をカウントする（Ｓ３０４）。上記閾値は、予め設定されている固定値であってもよいし、本実施形態に係る情報処理装置のユーザの操作などにより変更可能な可変値であってもよい。

　本実施形態に係る情報処理装置は、ステップＳ３０４においてカウントされた法線の数が、最大値を超えたか否かを判定する（Ｓ３０６）。ここで、最大値の初期値としては、０（ゼロ）など設定されている値が挙げられる。本実施形態に係る情報処理装置は、例えば、上記法線の数が上記最大値より大きい場合、または、上記法線の数が上記最大値以上である場合に、カウントされた法線の数が設定されている最大値を超えたと、判定する。

　ステップＳ３０６において最大値を超えたと判定されない場合には、本実施形態に係る情報処理装置は、後述するステップＳ３１０からの処理を行う。

　また、ステップＳ３０６において最大値を超えたと判定された場合には、本実施形態に係る情報処理装置は、最大値をカウントされた法線の数に更新し、設定されている閾値を超えた法線の位置をＲＡＭ（Random　Access　Memory）などの記録媒体に記憶する（Ｓ３０８）。

　ステップＳ３０６において最大値を超えたと判定されない場合、または、ステップＳ３０８の処理が行われた場合には、本実施形態に係る情報処理装置は、Ｌ回（Ｌは、設定されている整数）処理が行われたか否かを判定する（Ｓ３１０）。Ｌの値は、予め設定されている固定値であってもよいし、本実施形態に係る情報処理装置のユーザの操作などにより変更可能な可変値であってもよい。

　ステップＳ３１０においてＬ回処理が行われたと判定されない場合には、本実施形態に係る情報処理装置は、ステップＳ３００からの処理を繰り返す。

　また、ステップＳ３１０においてＬ回処理が行われたと判定された場合には、本実施形態に係る情報処理装置は、例えば、“ステップＳ３０２において再投影させた角膜の中心座標を中心とする半径ｒの球の法線と、ステップＳ３０８において記録媒体に記憶された法線との内積の和”が、最大となる角膜の中心座標を、最適化により求める（Ｓ３１２）。

　本実施形態に係る情報処理装置は、例えば図１５に示す処理を行うことによって、角膜の中心位置を推定する。なお、ＲＡＮＳＡＣを利用した角膜の中心位置の推定に係る処理が、図１５に示す例に限られないことは、言うまでもない。

　本実施形態に係る情報処理装置は、図５のステップＳ１１２において、例えば上記（１）に示す第１の例に係る処理～上記（４）に示す第４の例に係る処理のいずれかの処理を行うことによって、角膜の中心位置を推定する。

　再度図５を参照して、本実施形態に係る情報処理方法に係る処理の一例を説明する。本実施形態に係る情報処理装置は、推定された角膜の中心位置と角膜の半径とに基づいて、眼における瞳孔の中心位置を推定する（Ｓ１１４）。本実施形態に係る情報処理装置は、例えば角膜反射法が用いられる場合と同様に、設定されている角膜における瞳孔間距離を利用し、また、屈折などを考慮することによって、瞳孔の中心位置を推定する。

　本実施形態に係る情報処理装置は、ステップＳ１１２において推定された角膜の中心位置と、ステップＳ１１４において推定された瞳孔の中心位置とに基づいて、検出対象の視線に対応する、光軸を示す光軸ベクトルを求める（Ｓ１１６）。ここで、光軸とは、瞳孔の中心位置を通る角膜法線であり、例えば、角膜の中心位置と瞳孔の中心位置とを結んだ線が該当する。本実施形態に係る情報処理装置は、例えば角膜反射法が用いられる場合と同様に、光軸ベクトルを求める。

　本実施形態に係る情報処理装置は、ステップＳ１１６において求められた光軸ベクトルと、キャリブレーション情報とに基づいて、検出対象の視軸を示す視線ベクトルを求める（Ｓ１１８）。

　視軸とは、節点（水晶体中央後面）と中心窩を結ぶ線であり、実際に検出対象が見ている軸に該当する。つまり、視線ベクトルを求めることによって、検出対象の視線が検出される。

　視軸と光軸とは、一般的に一致しておらず、視軸は、光軸に対して４［°］～８［°］程度傾いている。また、光軸に対する視軸の傾き方には、個人差がある。

　上記のような光軸に対する視軸のずれをより小さくするために、キャリブレーション情報に基づいて、光軸ベクトルの補正（以下、「キャリブレーション」と示す。）が行われる。キャリブレーションは、例えば、検出対象の眼ごとに行われる。

　ここで、キャリブレーション情報は、キャリブレーションを行うためのデータである。キャリブレーション情報としては、光軸に対する視軸のずれ（以下、「オフセット」と示す。）を示すデータが挙げられる。オフセットは、は、例えば、下記のように得られる。
　　・キャリブレーション位置を検出対象に見てもらい、その時に求められた光軸ベクトルと、眼球に対応する基準位置とキャリブレーション位置とを結んだベクトルとの差分を、オフセットとして求める。

　本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る検出処理として、例えば図５に示す処理を行うことによって、偏光画像から得られる法線に基づいて、検出対象の視線を検出する。なお、本実施形態に係る情報処理方法に係る検出処理の例が、図５に示す例に限らないことは、言うまでもない。

［３］本実施形態に係る情報処理方法が用いられることにより奏される効果の一例
　本実施形態に係る情報処理方法に係る検出処理が行われることによって、例えば下記の効果を奏することができる。なお、本実施形態に係る情報処理方法に係る検出処理が行われることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
　　・偏光イメージングを利用することによって、ＬＥＤなどの光源を用いずに、撮像デバイスによる撮像のみで、検出対象の視線を検出することができる。
　　・ＬＥＤなどの光源が用いられないので、角膜反射法を用いて視線の検出を行う場合のような、プルキニエ像のアウトライヤによる視線精度の低下などが発生しない。
　　・偏光画像に基づき複数の法線ベクトルが得られるので、角膜の中心位置の推定精度の向上を図ることができる。

［４］本実施形態に係る情報処理方法に係る処理の他の例
　なお、本実施形態に係る情報処理方法に係る処理は、“偏光画像から得られる法線に基づいて、検出対象の視線を検出する検出処理”に限られない。

　例えば、本実施形態に係る情報処理装置は、“偏光画像から得られる法線に基づいて、視線以外の様々なものを検出する処理”（以下、「他の検出処理」と示す。）を行うことが可能である。本実施形態に係る他の検出処理の適用例としては、例えば、下記の（Ｉ）に示す第１の例～（ＩＶ）に示す第４の例が、挙げられる。

（Ｉ）他の検出処理の第１の例
　本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線に基づいて、検出対象の眼における角膜の中心位置を検出する。本実施形態に係る情報処理装置は、例えば、図５のステップＳ１００～Ｓ１１２の処理を行うことによって、角膜の中心位置を検出する。

（ＩＩ）他の検出処理の第２の例
　本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線と、オブジェクトの形状を示す情報とに基づいて、形状を示す情報が示すオブジェクトの姿勢と、当該オブジェクトの姿勢の変化との一方または双方を検出する。

　本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線の組み合わせにより、形状を示す情報が示すオブジェクトの姿勢を推定することによって、当該オブジェクトの姿勢を検出する。また、本実施形態に係る情報処理装置は、例えば、異なる時点における撮像により得られた複数の偏光画像から得られる法線の組み合わせを比較することにより、形状を示す情報が示すオブジェクトの姿勢の変化を推定することによって、当該オブジェクトの姿勢の変化を検出する。

　第２の例に係る他の検出処理の適用例としては、例えば、“人などの眼が撮像された偏光画像と、眼球（オブジェクトの一例）の形状を示す情報とに基づいて、眼の姿勢を検出する例”や、“ゲーム機のコントローラが撮像された偏光画像と、当該コントローラ（オブジェクトの一例）の形状を示す情報とに基づいて、当該コントローラの姿勢を検出する例”などが、挙げられる。

　また、本実施形態に係る情報処理装置は、さらに、形状を示す情報が示すオブジェクトと撮像デバイスとの間の距離に基づいて、当該オブジェクトの空間における位置（３次元位置）を検出することも可能である。上記オブジェクトと撮像デバイスとの間の距離は、例えば、ＴＯＦ（Time　Of　Flight）などの任意の方式により距離を検出する距離センサなどによって、検出される。

（ＩＩＩ）他の検出処理の第３の例
　本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線に基づいて、撮像デバイスにより撮像されたオブジェクト（被写体）のうち、撮像デバイスに対して所定の方向を向いているオブジェクトを検出する。

　本実施形態に係る情報処理装置は、例えば、偏光画像に基づく輝度画像（またはＲＧＢ画像）における、偏光画像から得られる法線ベクトルが設定されている角度の範囲に含まれる領域を特定する。そして、本実施形態に係る情報処理装置は、特定された領域に対して、任意のオブジェクト認識技術に係るオブジェクト認識処理を行うことによって、撮像デバイスに対して所定の方向を向いているオブジェクトを検出する。

　第３の例に係る他の検出処理の適用例としては、例えば、自動車などの移動体に搭載されている撮像デバイスにより撮像された偏光画像に基づいて、標識やかんばんなどの任意のオブジェクトを検出する例などが、挙げられる。

　第３の例に係る他の検出処理が行われることによって、オブジェクト認識処理の対象となる領域を限定することが可能となる。よって、第３の例に係る他の検出処理が行われることによって、例えば、オブジェクト認識処理に係る処理負荷の低減を図ることができる。

（ＩＶ）他の検出処理の第４の例
　本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線と、オブジェクトの法線の組み合わせを示す情報とに基づいて、法線の組み合わせを示す情報が示すオブジェクトを、偏光画像から検出する。

　本実施形態に係る情報処理装置は、例えば、偏光画像から得られる法線の組み合わせと、法線の組み合わせを示す情報が示す法線の組み合わせとをマッチングする。そして、本実施形態に係る情報処理装置は、例えば、偏光画像（または、偏光画像に基づく輝度画像（あるいはＲＧＢ画像））における、法線の組み合わせが一致する領域を検出することによって、法線の組み合わせを示す情報が示すオブジェクトを、偏光画像から検出する。

　第４の例に係る他の検出処理の一の適用例としては、例えば、“素材が異なることに起因した拡散反射、鏡面反射の違いにより法線の組み合わせが異なることを利用して、模造品を判定する例”が挙げられる。上記一の適用例では、偏光イメージング技術を利用して撮像デバイスにより撮像することにより、模造品であるか否かが判定されるので、模造品の判別が、より簡便となる。

　また、第４の例に係る他の検出処理の他の適用例としては、例えば、“撮像デバイスにより複数の被写体が撮像される場合における、偏光画像からの特定の被写体が含まれる領域を検出する例”が挙げられる。上記他の適用例では、上記第３の例に係る他の検出処理と同様に、例えば、オブジェクト認識処理に係る処理負荷の低減を図ることができる。

（本実施形態に係る情報処理装置）
　次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な本実施形態に係る情報処理装置の構成の一例について説明する。

　図１６は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、例えば、撮像部１０２と、制御部１０４とを備える。

　また、情報処理装置１００は、例えば、ＲＯＭ（Read　Only　Memory。図示せず）や、ＲＡＭ（図示せず）、記憶部（図示せず）、外部装置と無線または有線で通信を行うための通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。情報処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。情報処理装置１００は、例えば、情報処理装置１００が備えているバッテリなどの内部電源から供給される電力、または、接続されている外部電源から供給される電力などによって、駆動する。

　ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。

　記憶部（図示せず）は、情報処理装置１００が備える記憶手段であり、例えば、辞書データやキャリブレーション情報などの本実施形態に係る情報処理方法に係るデータや、偏光画像を示す画像データ、アプリケーションなど、様々なデータを記憶する。

　ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などが挙げられる。また、記憶部（図示せず）は、情報処理装置１００から着脱可能であってもよい。

　通信部（図示せず）としては、例えば後述する通信インタフェースが挙げられる。また、操作部（図示せず）としては、例えば後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、例えば後述する表示デバイスが挙げられる。

［情報処理装置１００のハードウェア構成例］
　図１７は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示す説明図である。情報処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４と、撮像デバイス１６６とを備える。また、情報処理装置１００は、例えば、データの伝送路としてのバス１６８で各構成要素間を接続する。

　ＭＰＵ１５０は、例えば、ＭＰＵ（Micro　Processing　Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成され、情報処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、情報処理装置１００において、例えば、後述する処理部１１０の役目を果たす。

　ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

　記録媒体１５６は、記憶部（図示せず）として機能し、例えば、辞書データやキャリブレーション情報などの本実施形態に係る情報処理方法に係るデータや、偏光画像を示す画像データ、アプリケーションなど、様々なデータを記憶する。

　記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体１５６は、情報処理装置１００から着脱可能であってもよい。

　入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子や、ＤＶＩ（Digital　Visual　Interface）端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）端子、各種処理回路などが挙げられる。

　操作入力デバイス１６０は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。

　表示デバイス１６２は、例えば、情報処理装置１００上に備えられ、情報処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid　Crystal　Display）や有機ＥＬディスプレイ（Organic　Electro-Luminescence　Display。または、ＯＬＥＤディスプレイ（Organic　Light　Emitting　Diode　Display）ともよばれる。）などが挙げられる。

　なお、入出力インタフェース１５８が、情報処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス１６２は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。

　通信インタフェース１６４は、情報処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像デバイスや外部の表示デバイスなどの外部デバイスや、サーバなどの外部装置と、無線または有線で通信を行うための通信部（図示せず）として機能する。通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local　Area　Network）端子および送受信回路（有線通信）などが挙げられる。また、通信部（図示せず）は、ＵＳＢ（Universal　Serial　Bus）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。

　また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide　Area　Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless　Local　Area　Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless　Wide　Area　Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission　Control　Protocol/Internet　Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

　撮像デバイス１６６は、情報処理装置１００が備える撮像手段であり、撮像により偏光画像を生成する撮像部１０２として機能する。撮像デバイス１６６を備える場合、情報処理装置１００では、例えば、撮像デバイス１６６において撮像により生成された偏光画像に基づいて、本実施形態に係る情報処理方法に係る処理を行うことが可能となる。

　撮像デバイス１６６は、例えば、レンズ／撮像素子と信号処理回路とを含んで構成される。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）、ＣＣＤ（Charge-Coupled　Device）などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、ＡＧＣ（Automatic　Gain　Control）回路やＡＤＣ（Analog　to　Digital　Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。

　情報処理装置１００は、例えば図１７に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置１００のハードウェア構成は、図１７に示す構成に限られない。

　例えば、外部の撮像デバイスにより撮像された偏光画像に基づき本実施形態に係る情報処理方法に係る処理が行われる場合には、情報処理装置１００は、撮像デバイス１６６を備えていなくてもよい。

　また、情報処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合、または、外部の通信デバイスにより通信を行う場合には、通信インタフェース１６４を備えていなくてもよい。また、情報処理装置１００は、記録媒体１５６、操作入力デバイス１６０、表示デバイス１６２のうちの１または２以上を備えない構成をとることも可能である。

　再度、図１６を参照して、本実施形態に係る情報処理装置１００の構成の一例について説明する。撮像部１０２は、撮像により偏光画像を生成する。撮像部１０２としては、例えば撮像デバイス１６６が挙げられる。

　制御部１０４は、例えばＭＰＵなどで構成され、情報処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば処理部１１０を備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。

　処理部１１０は、例えば、本実施形態に係る検出処理を主導的に行う役目を果たし、偏光画像から得られる法線に基づいて、検出対象の視線を検出する。処理部１１０は、例えば図５に示す処理を行うことによって、偏光画像に基づき検出対象の視線を検出する。

　また、処理部１１０は、例えば、上記（Ｉ）に示す第１の例に係る他の検出処理～（ＩＶ）に示す第４の例に係る他の検出処理のうちの１または２以上の処理を行うことが可能である。

　処理部１１０が、上記（Ｉ）に示す第１の例に係る他の検出処理～（ＩＶ）に示す第４の例に係る他の検出処理のうちの１または２以上の処理を行うことが可能な場合、情報処理装置１００は、例えば、本実施形態に係る検出処理を行う機能に加えて、上記（Ｉ）に示す第１の例に係る他の検出処理～（ＩＶ）に示す第４の例に係る他の検出処理のうちの１または２以上の処理をさらに行う機能をさらに有する。

　情報処理装置１００は、例えば図１６に示す構成によって、本実施形態に係る情報処理方法に係る処理（例えば、“検出処理”、または、“検出処理、および他の検出処理”）を行う。したがって、情報処理装置１００は、例えば図１６に示す構成によって、視線の検出対象の視線を検出することができる。

　また、例えば図１６に示す構成によって、情報処理装置１００は、上述したような本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を、奏することができる。

　なお、本実施形態に係る情報処理装置の構成は、図１６に示す構成に限られない。

　例えば、本実施形態に係る情報処理装置は、図１６に示す処理部１１０を、制御部１０４とは個別に備える（例えば、別の処理回路で実現する）ことができる。また、処理部１１０は、複数の処理回路で実現され、各機能が複数の処理回路で分散して行われてもよい。

　また、本実施形態に係る情報処理方法に係る処理を実現するための構成は、図１６に示す構成に限られず、本実施形態に係る情報処理方法に係る処理の切り分け方に応じた構成をとることが可能である。

　また、例えば、処理部１１０が上記（Ｉ）に示す第１の例に係る他の検出処理～（ＩＶ）に示す第４の例に係る他の検出処理のうちの１または２以上の処理を行う機能を有する場合、本実施形態に係る情報処理装置は、本実施形態に係る検出処理を行う機能を有していない構成をとることも可能である。

　また、例えば、撮像部１０２と同様の機能、構成を有する外部の撮像デバイスにより撮像される偏光画像に基づいて、本実施形態に係る情報処理方法に係る処理を行う場合には、本実施形態に係る情報処理装置は、撮像部１０２を備えていなくてもよい。

　以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、“図１のＡに示すようなアイウェアなどの検出対象の頭部に装着して用いられるウェアラブル装置”や、“ＰＣやサーバなどのコンピュータ”、“スマートフォンなどの通信装置”、“表示装置”、“タブレット型の装置”、“ゲーム機”、“自動車などの移動体”など、本実施形態に係る情報処理方法に係る処理を行うことが可能な、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣに適用することもできる。

　また、本実施形態に係る情報処理装置は、例えば下記に示すユースケースなどの視線検出を適用することが可能な様々なユースケースに、適用することが可能である。なお、本実施形態に係る情報処理装置を適用することが可能なユースケースが、下記に示すユースケースに限られないことは、言うまでもない。また、下記のようなユースケースにおいて、本実施形態に係る情報処理装置は、上述したように、表示デバイスを備えていてもよいし、備えていなくてもよい。
　　・医療の現場においては、医師などの医療従事者（検出対象の一例）の視線を検出することによって、医療機器の操作入力が行われてもよい。これにより、医師などの医療従事者は手を使わずに医療機器を操作することができるため、例えば手術の効率や成功率を向上させることができる。また、視線検出により操作可能なデバイスを利用することによって、身体的障害を有する患者（検出対象の一例）などは生活行為の困難を軽減することができる。
　　・自動車などの移動体の運転時においては、運転者（検出対象の一例）の視線を検出することによって、例えば、表示デバイスの表示画面に表示されたナビゲーションの操作や、運転者の注視している建物などのオブジェクトに関連する情報の提供が、可能となる。建物などのオブジェクトに関連する情報は、例えば、表示デバイスの表示画面に表示されてもよいし、音声によって運転者に伝達されてもよい。これにより、運転車は手を使わずにデバイスを操作することができるため、わき見などの可能性を軽減し、運転の安全性を向上させることができる。また、例えば、運転者の注視先が記録媒体にに記録され、記録された運転者の注視先と予め定めたユーザモデルの注視データとが比較されることによって、運転者の運転レベルを判定することが可能である。また、例えば、記録された運転者の注視先と予め定めたユーザモデルの注視データとが比較されることによって、運転者の注意力が判定され、運転者に音声などで注意が促されてもよい。
　　・スポーツの現場においては、スポーツを行っている者（検出対象の一例）の視線を検出することによって、適切なフォームの提案などが行われてもよい。
　　・広告マーケティングにおいては、マーケティング対象者（検出対象の一例）の視線を検出することによって、例えば、マーケティング対象者に推薦すべき商品が提案されてもよい。
　　・農業においては、農業に従事する者（検出対象の一例）のを検出することによって、例えば、農業に従事する者が注視している作物の状態に関する補足情報などが、表示デバイスの表示画面などへの表示により提供されてもよい。
　　・畜産業においては、例えば動物の健康管理などのために、動物（検出対象の一例）の視線検出結果が利用されてもよい。例えば、検出された視線と視線のモデルデータとの比較により、動物の出産時期や体調不良などの推定を行うことが、可能である。また、厩舎内の動物の視線検出結果から、厩舎内の衛生状態が推定されてもよい。

　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした処理システムに適用されてもよい。本実施形態に係る情報処理方法に係る処理が行われる処理システムの一例としては、例えば、“処理システムを構成する一の装置によって本実施形態に係る情報処理方法に係る処理の一部の処理が行われ、処理システムを構成する他の装置によって本実施形態に係る情報処理方法に係る処理の当該一部の処理以外の処理が行われるシステム”が、挙げられる。

（本実施形態に係るプログラム）
　コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（例えば、“検出処理”、または、“検出処理、および他の検出処理”など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、視線の検出対象の視線を検出することができる。

　また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果（例えば、上述した本実施形態に係る情報処理方法に係る他の検出処理によって奏される効果など）を、奏することができる。

　また、コンピュータを、上記（Ｉ）に示す第１の例に係る他の検出処理～（ＩＶ）に示す第４の例に係る他の検出処理のうちの１または２以上の処理を行う機能を有し、かつ、本実施形態に係る検出処理を行う機能を有していない、本実施形態の変形例に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る他の検出処理によって奏される効果を、奏することができる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

　上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出する処理部を備える、情報処理装置。
（２）
　前記処理部は、前記偏光画像に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、（１）に記載の情報処理装置。
（３）
　前記処理部は、前記偏光画像に基づき検出された前記眼における瞳孔の位置と、前記偏光画像とに基づいて、前記角膜の中心位置を推定する、（２）に記載の情報処理装置。
（４）
　前記処理部は、前記偏光画像から得られる法線に基づいて、前記検出対象の視線を検出する、（１）～（４）のいずれか１つに記載の情報処理装置。
（５）
　前記処理部は、前記偏光画像から得られる法線に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、（４）に記載の情報処理装置。
（６）
　前記処理部は、前記偏光画像に基づき推定される前記角膜に対応する法線に基づいて、前記角膜の中心位置を推定する、（５）に記載の情報処理装置。
（７）
　前記処理部は、前記偏光画像に基づき検出された前記眼における瞳孔の位置と、前記偏光画像から得られる法線とに基づいて、前記角膜に対応する法線を推定する、（６）に記載の情報処理装置。
（８）
　前記処理部は、
　推定された前記角膜の中心位置と前記角膜の半径とに基づいて、前記眼における瞳孔の中心位置を推定し、
　推定された前記角膜の中心位置と、推定された前記瞳孔の中心位置とに基づいて、前記検出対象の視線に対応する光軸ベクトルを求め、前記検出対象の視線を検出する、（５）～（７）のいずれか１つに記載の情報処理装置。
（９）
　前記処理部は、検出された前記眼における瞳孔の位置に基づいて、前記偏光画像から得られる複数の法線から、前記角膜に対応する法線を特定する、（７）に記載の情報処理装置。
（１０）
　前記処理部は、検出された前記眼における瞳孔の位置および前記角膜の形状に基づいて、前記角膜に対応する法線を推定する、（９）に記載の情報処理装置。
（１１）
　前記処理部は、キャリブレーション情報に基づき前記光軸ベクトルを補正し、前記検出対象の視線を検出する、（８）に記載の情報処理装置。
（１２）
　前記処理部は、ステレオ画像を構成する第１の前記偏光画像および第２の前記偏光画像それぞれから得られる法線に基づいて、前記検出対象の視線を検出する、（１）に記載の情報処理装置。
（１３）
　前記処理部は、第１の前記偏光画像および第２の前記偏光画像それぞれから得られる法線に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、（１２）に記載の情報処理装置。
（１４）
　前記処理部は、第１の前記偏光画像および第２の前記偏光画像それぞれから得られる法線および視差に基づいて角膜半径を推定し、推定された前記角膜半径に基づいて前記眼における角膜の中心位置を推定する、（１３）に記載の情報処理装置。
（１５）
　前記処理部は、前記検出対象に対する所定位置に固定された撮像デバイスから前記偏光画像を取得する、（１）～（１４）のいずれか１つに記載の情報処理装置。
（１６）
　前記処理部は、表示デバイスに対する所定位置に固定された撮像デバイスから前記偏光画像を取得する、（１）～（１４）のいずれか１つに記載の情報処理装置。
（１７）
　表示デバイスと、
　前記表示デバイスに対して固定され、前記偏光画像を取得する撮像デバイスと、
　をさらに備える、（１）～（１６）のいずれか１つに記載の情報処理装置。
（１８）
　前記表示デバイスと前記撮像デバイスとは、前記検出対象に装着可能なウェアラブル装置を構成する、（１７）に記載の情報処理装置。
（１９）
　視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出するステップを有する、情報処理装置により実行される情報処理方法。
（２０）
　視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出する機能を、コンピュータに実現させるためのプログラム。

　１００　　情報処理装置
　１０２　　撮像部
　１０４　　制御部
　１１０　　処理部
 

Claims (20)

1. 　視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出する処理部を備える、情報処理装置。
2. 　前記処理部は、前記偏光画像に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、請求項１に記載の情報処理装置。
3. 　前記処理部は、前記偏光画像に基づき検出された前記眼における瞳孔の位置と、前記偏光画像とに基づいて、前記角膜の中心位置を推定する、請求項２に記載の情報処理装置。
4. 　前記処理部は、前記偏光画像から得られる法線に基づいて、前記検出対象の視線を検出する、請求項１に記載の情報処理装置。
5. 　前記処理部は、前記偏光画像から得られる法線に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、請求項４に記載の情報処理装置。
6. 　前記処理部は、前記偏光画像に基づき推定される前記角膜に対応する法線に基づいて、前記角膜の中心位置を推定する、請求項５に記載の情報処理装置。
7. 　前記処理部は、前記偏光画像に基づき検出された前記眼における瞳孔の位置と、前記偏光画像から得られる法線とに基づいて、前記角膜に対応する法線を推定する、請求項６に記載の情報処理装置。
8. 　前記処理部は、
   　推定された前記角膜の中心位置と前記角膜の半径とに基づいて、前記眼における瞳孔の中心位置を推定し、
   　推定された前記角膜の中心位置と、推定された前記瞳孔の中心位置とに基づいて、前記検出対象の視線に対応する光軸ベクトルを求め、前記検出対象の視線を検出する、請求項５に記載の情報処理装置。
9. 　前記処理部は、検出された前記眼における瞳孔の位置に基づいて、前記偏光画像から得られる複数の法線から、前記角膜に対応する法線を特定する、請求項７に記載の情報処理装置。
10. 　前記処理部は、検出された前記眼における瞳孔の位置および前記角膜の形状に基づいて、前記角膜に対応する法線を推定する、請求項９に記載の情報処理装置。
11. 　前記処理部は、キャリブレーション情報に基づき前記光軸ベクトルを補正し、前記検出対象の視線を検出する、請求項８に記載の情報処理装置。
12. 　前記処理部は、ステレオ画像を構成する第１の前記偏光画像および第２の前記偏光画像それぞれから得られる法線に基づいて、前記検出対象の視線を検出する、請求項１に記載の情報処理装置。
13. 　前記処理部は、第１の前記偏光画像および第２の前記偏光画像それぞれから得られる法線に基づいて前記眼における角膜の中心位置を推定して、前記検出対象の視線を検出する、請求項１２に記載の情報処理装置。
14. 　前記処理部は、第１の前記偏光画像および第２の前記偏光画像それぞれから得られる法線および視差に基づいて角膜半径を推定し、推定された前記角膜半径に基づいて前記眼における角膜の中心位置を推定する、請求項１３に記載の情報処理装置。
15. 　前記処理部は、前記検出対象に対する所定位置に固定された撮像デバイスから前記偏光画像を取得する、請求項１に記載の情報処理装置。
16. 　前記処理部は、表示デバイスに対する所定位置に固定された撮像デバイスから前記偏光画像を取得する、請求項１に記載の情報処理装置。
17. 　表示デバイスと、
    　前記表示デバイスに対して固定され、前記偏光画像を取得する撮像デバイスと、
    　をさらに備える、請求項１に記載の情報処理装置。
18. 　前記表示デバイスと前記撮像デバイスとは、前記検出対象に装着可能なウェアラブル装置を構成する、請求項１７に記載の情報処理装置。
19. 　視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出するステップを有する、情報処理装置により実行される情報処理方法。
20. 　視線の検出対象の眼が撮像された偏光画像に基づいて、前記検出対象の視線を検出する機能を、コンピュータに実現させるためのプログラム。
     

Images