JP6496917B2 - 視線測定装置および視線測定方法 - Google Patents

Description

本発明は、対象者の眼球画像に基づき検出した対象者の視線に対して、個人差の補正を行う視線測定装置および視線測定方法に関するものである。

視線を非接触にて、高精度に測定できる技術として、角膜反射法が知られている。この手法は、眼球上の反射光を用いているため、その精度は、眼球形状の個人差に大きく影響される。そのため、測定した視線を個人の誤差を用いて、補正している。

特許文献１は、対象者の顔画像を取得する複数のステレオカメラとステレオカメラの開口部に外側の設けられた光源と、制御回路と画像処理装置とを備える注視点検出装置を開示する。画像処理装置は、顔画像に基づいて対象者の視線の角度を、関数を用いて計算し、複数のステレオカメラに対応して計算された視線の方向が近くなるように関数を補正して視線の方向を計算し、対象者の表示画面上の注視点を検出する。

国際公開第２０１２／０２０７６０号

本開示は、利用者の負担を低減すると共に、高精度に視線を検出可能となる視線測定装置を提供する。

本開示の視線測定装置は、所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源と、光源からの光が反射した対象者の眼球を含む顔画像を複数撮影する撮影部と、撮影部が撮影した顔画像毎に視線情報を算出する検知部と、検知部が算出した複数の視線情報の中で、所定の位置関係にある少なくとも２つの視線情報を用いて、補正情報を算出する算出部と、検知部が算出した視線情報を、補正情報を用いて補正する補正部と、を備える。

本開示の視線測定方法は、所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源からの光が反射した対象者の眼球を含む顔画像を複数撮影する撮影ステップと、撮影ステップで撮影された顔画像毎に視線情報を算出する検知ステップと、検知ステップで算出された複数の視線情報の中で、所定の位置関係にある少なくとも２つの視線情報を用いて、補正情報を算出する算出ステップと、算出ステップで算出された視線情報を、補正情報を用いて補正する補正ステップとを有する。

本開示の視線測定装置によれば、利用者の負担を低減すると共に、高精度に視線を検出可能となる。

実施の形態１における視線測定システムの一構成例を示す図である。 実施の形態１における演算装置の一構成例を示すブロック図である。 視線情報を説明する図である。 実施の形態１における視線測定装置の動作を説明するためのフローチャートである。 実施の形態１における選択する２つの視線情報の位置関係を説明する図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
［１．構成］
［１−１．システム構成］
図１は、実施の形態１における視線測定システム１の一構成例を示す図である。

図１において視線測定システム１は、対象者１００の視線を測定する視線測定装置１０と、対象者１００に対して注視先を表示する表示部２０とを備える。また、視線測定装置１０は、対象者１００の顔画像（眼球画像）を撮影する撮影部１２０と、対象者１００の眼球（不図示）上に光を照射する光源１３０と、対象者１００の視線測定を行う演算装置１１０とを備える。

表示部２０は、対象者１００の注視先となる注視点Ｐを表示する。表示部２０は、対象者１００の注視先が表示できるものであればよい。表示部２０は、液晶ディスプレイ（ＬＣＤ）パネルや有機ＥＬディスプレイパネルのような表示素子と、それを駆動する駆動回路とを含むディスプレイである。表示部２０は、視線測定装置１０もしくは、図示しない制御部からの制御に従って、注視点Ｐを表示する。

光源１３０は、所定の位置に配置され、対象者１００の眼球上に角膜反射点を形成させるための光を照射する。光源１３０は、例えば、赤外線を発光する光源である。

撮影部１２０は、光源１３０より照射された光を反射した対象者１００の顔画像を撮影する。撮影部１２０は、例えば、赤外線カメラであり、光源１３０より照射された赤外光が反射した反射光を受光することにより、対象者１００の顔画像を撮影する。

演算装置１１０は、実際の視線測定に先立って、撮影部１２０が撮影した対象者１００の顔画像から、対象者１００の視線ベクトル（算出視線ベクトルＧ１、Ｇ２）を検出する。そして、対象者１００の眼球位置Ｅ１、Ｅ２（瞳孔中心）および注視点Ｐから求められる実視線ベクトルＶ１、Ｖ２と算出視線ベクトルＧ１、Ｇ２との対応関係から個人差を補正するための補正情報を算出する。演算装置１１０は、算出した補正情報を用いて、検出した算出視線ベクトルＧ１、Ｇ２を補正する。

［１−２．演算装置の構成］
図２は、演算装置１１０の一構成例を示すブロック図である。図２において、演算装置１１０は、検知部１１１と、算出部１１２と、記憶部１１３と、補正部１１４とを備える。各機能部は、例えば、ＲＯＭ、磁気ディスク、光ディスクなどの記憶装置に記憶されたプログラムをＣＰＵに実行させることにより、その機能を実現する。

検知部１１１は、撮影部１２０が撮影した顔画像を用いて、対象者１００の算出視線ベクトルＧ１、Ｇ２を算出する。また、検知部１１１は、対象者１００の眼球位置Ｅ１、Ｅ２および注視点Ｐの位置関係から、実視線ベクトルＶ１、Ｖ２を算出する。検知部１１１は、算出した視線ベクトル（算出視線ベクトルと実視線ベクトル）、対象者１００の眼球位置Ｅ１、Ｅ２および対象者１００を一意に識別できる識別情報（以下、ＩＤという）を視線情報として算出部１１２に送出する。

算出部１１２は、検知部１１１が送出した視線情報を記憶部１１３に記憶させる。算出部１１２は、記憶部１１３が記憶している複数の視線情報の中から、所定の位置関係にある視線情報を少なくとも２つ選択して、眼球の個人差による検出誤差を補正するための補正情報を算出する。算出部１１２は視線情報と補正情報を補正部１１４に出力する。

記憶部１１３は、視線情報および補正情報を記憶する。記憶部１１３は、半導体メモリ等から構成されてもよく、揮発性メモリ又は不揮発性メモリ等から構成されてよい。

補正部１１４は、検知部１１１が算出した視線情報を、算出部１１２が算出した補正情報を用いて補正する。

［１−３．眼球の個人差による誤差］
図３は、視線情報を説明する図である。図３においては、対象者１００に対して、瞳孔中心２０２より水平方向をｘ軸、垂直方向をｚ軸、前後方向をｙ軸とする。

図３は、表示部２０に位置が既知である注視点Ｐが表示され、対象者１００が注視点Ｐを注視している状態を示す。ここで、対象者１００の視線とは、図３に示すように、対象者１００の眼球２００に存在する瞳孔領域２０１において、瞳孔中心２０２から、表示部２０上の注視点Ｐに向かう視線ベクトル（実視線ベクトルＶ１）で定義される。

また、角膜反射法などに代表される視線検出法により検知部１１１で算出される対象者１００の算出視線ベクトルＧ１は、対象者１００の個人差に伴う誤差を含んだベクトルである。図３に示すように、算出視線ベクトルＧ１と、実視線ベクトルＶ１とは異なるベクトルとなる。ここで、瞳孔中心２０２は、瞳孔領域２０１をクラスタリングや楕円近似等の手法によって検出し、その中心座標を取得することにより求められる。また、図３に示すように、対象者１００の眼球２００には、光源１３０から照射された光の反射光であるプルキニエ像２０３（角膜反射点）が存在する。

ここで、対象者１００の個人差とは、図３に示すような対象者１００の眼球２００の角膜表面における光屈折率、眼鏡等による屈折、眼球形状、眼球中心と中心窩とのズレなどの個人差である。後述する補正処理では、これらに起因する検出誤差を、個人固有の補正情報を用いて低減する。

［１−４．補正情報］
本開示では、視線検出法として、角膜反射法を用いて説明する。角膜反射法は、瞳孔の位置とプルキニエ像の位置関係から、視線を算出する手法である。

角膜反射法は、視線測定に先立って、既知の点を注視している対象者を撮影した顔画像から算出された視線ベクトルと実際の視線ベクトルの対応関係をもとに、補正情報を算出する。角膜反射法は、次式（数１）により、視線測定中算出した視線ベクトルを、角度に対しての係数と定数項（加算値）とからなる補正情報（補正値）を用いて補正する手法である。

角膜反射法では、補正前の視線ベクトルＢの仰角θＢおよび方位角φＢを、補正後の視線ベクトルＡの仰角θＡおよび方位角φＡに補正する場合、視線ベクトルの角度に対する補正情報は、式（数１）中の行列Ｈとして定義される。この場合、補正情報を求めるためには、対象者１００が複数の位置から注視点を注視した際の情報が必要となる。本開示では、補正情報を求めるために、対象者１００が２つの異なる位置から注視点Ｐを注視した際の情報を用いる。

［２．動作］
ここでは、図１に示すように、表示部２０に注視点Ｐを表示して、対象者１００に所定期間注視させた場合を例にとって説明する。なお、対象者１００は、所定期間中、注視点Ｐを注視していれば、頭部を動かしても構わない。

［２−１．全体の動作］
図４は、実施の形態１における視線測定装置１０の動作を説明するためのフローチャートである。

（ステップＳ４０１）検知部１１１は、対象者１００が注視点Ｐを注視した際に、撮影部１２０が撮影した顔画像を用いて、対象者１００の算出視線ベクトルを算出する視線検知処理を行う。また、検知部１１１は、対象者１００の瞳孔中心２０２および注視点Ｐの位置関係から、実視線ベクトルを算出する。検知部１１１は、算出視線ベクトルおよび実視線ベクトルのペアと対象者１００を一意に示すＩＤを対応付けて視線情報として算出部１１２に送出する。

（ステップＳ４０２）算出部１１２は、受け取った視線情報を記憶部１１３に記憶させる。記憶部１１３は、ＩＤを用いて、対象者１００に対応する補正情報が既に算出済かどうかを調べ、その対象者１００の補正情報が存在する場合、すなわち、その対象者１００の補正情報が算出済である場合（ステップＳ４０２のＹｅｓ）はステップＳ４０４へ進み、算出済ではない場合（ステップＳ４０２のＮｏ）はステップＳ４０３へ進む。

（ステップＳ４０３）算出部１１２は、記憶部１１３に記憶されている複数の視線情報の中で、所定の位置関係にある視線情報を少なくとも２つ用いて、視線の個人差に対する補正情報を算出する補正情報算出処理を行う。算出部１１２は、算出した補正情報をＩＤと対応付けて記憶部１１３に記憶させる。算出部１１２は、視線情報と算出した補正情報を補正部１１４に送出する。なお、算出部１１２は、実視線ベクトルと算出視線ベクトルのペアが異なる視線情報が、記憶部１１３に少なくとも２つ記憶されていない場合は、補正情報を算出せず、平均的な補正値を補正情報として、視線情報と共に、補正部１１４に送出する。

（ステップＳ４０４）算出部１１２は、記憶部１１３より、受け取ったＩＤに対応付けられた補正情報を読出し、視線情報と共に、補正部１１４に送出する。

（ステップＳ４０５）補正部１１４は、算出部１１２が送出した視線情報と補正情報を元に、式（数１）を用いて、算出視線ベクトルを補正する補正処理を行い、補正後の視線ベクトル（補正視線ベクトル）を算出する。

以下、各処理を詳細に説明する。

［２−２．視線検知処理］
図３を用いて、表示部２０上に注視点Ｐが表示されている場合を例にとって説明する。

撮影部１２０は、表示部２０上の注視点Ｐを注視する対象者１００の顔画像を撮影し、画像データを検知部１１１に送出する。なお撮影のタイミングは任意に設定可能であり、装置を別途設けるなどして、外部から信号を送り、撮影のタイミングを制御してもよい。

検知部１１１は、撮影部１２０が撮影した顔画像から、対象者１００の眼球付近を切り出した眼球画像を取得する。ここで、撮影部１２０は、対象者１００の顔画像として、片目だけ含むように撮影してもよいし、両目を含むように撮影しても良い。また、検知部１１１は、対象者１００の眼球画像として、片目だけの眼球画像でもよいし、両目それぞれの眼球画像を取得しても良い。なお、対象者１００の目とは、黒目および白目および瞼を含む眼球表面である。

次に、検知部１１１は、図３に示すように、対象者１００の瞳孔中心２０２と、プルキニエ像２０３と、撮影部１２０および光源１３０の位置関係を用いて、角膜反射法により、算出視線ベクトルＧ１を算出する。

ここで、算出視線ベクトルＧ１の算出に必要な撮影部１２０と光源１３０の位置は、既知の点として３次元位置が求まっており、視線測定装置１０内の図示しない記憶部に予め記憶されているとする。また、対象者１００の瞳孔中心２０２およびプルキニエ像２０３の３次元位置は、ステレオカメラを用いて求めても良いし、それ以外の測距手法により求めても良い。対象者１００の瞳孔中心２０２およびプルキニエ像２０３の３次元位置も上述の記憶部１１３に記憶されている。

具体的には、検知部１１１は、対象者１００が表示部２０上の注視点Ｐを注視している際に、撮影部１２０が撮影した対象者１００の顔画像から瞳孔領域２０１を切り出す。検知部１１１は、撮影部１２０と光源１３０の位置、および瞳孔中心２０２とプルキニエ像２０３の位置に基づいて、対象者１００の算出視線ベクトルＧ１を算出する。また、検知部１１１は、対象者１００の３次元上の瞳孔中心２０２および注視点Ｐの位置関係から、実視線ベクトルＶ１を算出する。

検知部１１１は、上述の処理を撮影部１２０から出力される顔画像毎に行う。検知部１１１は、顔画像毎に対象者１００の位置情報および対象者１００のＩＤと、瞳孔中心２０２、算出視線ベクトルと実視線ベクトルのペアを視線情報として送出する。

［２−３．補正情報算出処理］
算出部１１２は、記憶部１１３に記憶されている複数の視線情報の中から瞳孔中心２０２が異なる視線情報を２つ選択する。ここでは、図１に示すように、２つの視線情報における瞳孔中心２０２を各々眼球位置Ｅ１、Ｅ２として説明する。算出部１１２は、１つの注視点Ｐを異なる眼球位置Ｅ１、Ｅ２から注視した際の実視線ベクトルＶ１、Ｖ２と算出視線ベクトルＧ１、Ｇ２のそれぞれペアを用いて、視線の個人差に対する補正情報を統計的に算出する。

ここで、対象者１００の２つの眼球位置Ｅ１、Ｅ２によっては、正確な補正情報を算出できない場合がある。具体的には、算出された２つの実視線および算出視線ベクトルの仰角および方位角の差が各々一定未満である場合には、補正情報を算出できない。これは、補正情報は、１点を異なる眼球位置から注視した際の角度の差分を用いて算出されることによる。

図５は選択する２つの視線情報の位置関係を説明する図である。図５に示すように、本実施の形態では、眼球位置毎に直行座標系を設定し、算出された実視線ベクトルおよび算出視線ベクトルの仰角および方位角を算出する。

図５において、点Ｒは対象者１００前方に存在する任意の点を示す。座標系５００は、点Ｒと眼球位置Ｅ１を通る直線を直行座標系の基準軸の１つであるｙ軸とした座標系である。座標系５１０は、点Ｒと眼球位置Ｅ２を通る直線を直交座標系の基準軸の１つであるｙ軸とした座標系である。即ち、眼球位置Ｅ１、Ｅ２および点Ｒは同一平面（ｘｙ平面）上に位置する。点Ｑは注視点Ｐをｘｙ平面上に射影した点である。

ベクトルＨ１は、座標系５００において、算出視線ベクトルＧ１のｘｙ平面上に射影したベクトルである。同様に、ベクトルＨ２は、座標系５１０において、算出視線ベクトルＧ２のｘｙ平面上に射影したベクトルである。また、偏角θ１２は、ベクトルＨ１と算出視線ベクトルＧ１のなす角（仰角）である。偏角φ１２は、ベクトルＨ１とｙ軸とのなす角（方位角）を示す。同様に、偏角θ２２は、ベクトルＨ２と算出視線ベクトルＧ２のなす角（仰角）である。偏角φ２２は、ベクトルＨ２とｙ軸とのなす角（方位角）を示す。

図５に示すように、頭部移動により、異なる眼球位置Ｅ１、Ｅ２から同一の注視点Ｐを見る際、実視線ベクトルＶ１、Ｖ２の仰角および方位角は、眼球位置Ｅ１、Ｅ２によって変化する。なお、図５では、実視線ベクトルＶ１、Ｖ２を用いて説明しているが、算出視線ベクトルＧ１の偏角θ１１、φ１１、および算出視線ベクトルＧ２偏角θ２１、φ２１も同等である。

本実施の形態では、算出部１１２は、異なる眼球位置Ｅ１、Ｅ２から同じ注視点Ｐを見つめるときの視線情報のうち、実視線ベクトルＶ１、Ｖ２の仰角および方位角の差が所定角以上ある２つの視線情報を選択する。算出部１１２は、選択した視線情報の実視線ベクトルＶ１、Ｖ２および算出視線ベクトルＧ１、Ｇ２の角度の関係性から、補正情報を算出する。

［２−４．具体例］
以下、表示部２０に注視点Ｐを表示し、対象者１００に所定期間、注視点Ｐを注視させ、対象者１００の視線を測定する場合について、図１、図２、図５を用いて説明する。ここで、対象者１００は注視点Ｐを注視していれば、頭部を動かしても構わないとする。本実施の形態において、撮影部１２０は、所定期間内に２枚の顔画像Ａ、Ｂを撮影したとする。

まず、視線測定装置１０は、表示部２０に注視点Ｐを表示し、対象者１００に注視点Ｐを所定期間注視させる。撮影部１２０は、注視点Ｐを注視している対象者１００を撮影し、顔画像Ａ、Ｂを検知部１１１に出力する。

検知部１１１は、撮影部１２０が撮影した顔画像Ａより眼球画像を取得し、眼球画像から眼球位置Ｅ１、算出視線ベクトルＧ１を算出する。

算出視線ベクトルＧ１は、次式（数２）に示すように、極座標系のベクトルとして表現される。

式（数２）において、径ｒ１１はベクトルの径であり、眼球位置Ｅ１から表示部２０上の注視点Ｐまでの距離である。なお、ベクトルの径ｒ１１は単位ベクトルとして、１としてもよい。また、偏角θ１１は、図５に説明した算出視線ベクトルＧ１の仰角、偏角φ１１は算出視線ベクトルＧ１の方位角である。

また、検知部１１１は、表示部２０上の注視点Ｐの位置および、眼球位置Ｅ１に基づき、実視線ベクトルＶ１を算出する。実視線ベクトルＶ１も算出視線ベクトルＧ１と同様、次式（数３）に示すように、極座標系ベクトルとして表現される。

ただし、式（数３）において、径ｒ１２はベクトルの径である。ベクトルの径ｒ１２は単位ベクトルとして、１としてもよい。また、偏角θ１２は実視線ベクトルＶ１の仰角、偏角φ１２は実視線ベクトルＶ２の方位角である。

検知部１１１は顔画像Ａを用いて算出した実視線ベクトルＶ１と算出視線ベクトルＧ１のペアおよび眼球位置Ｅ１を含む視線情報と対象者１００のＩＤとを、算出部１１２に送出する。

次に、検知部１１１は、撮影部１２０が撮影した顔画像Ｂより眼球画像を取得し、眼球画像から眼球位置Ｅ２、算出視線ベクトルＧ２を算出する。

算出視線ベクトルＧ２は、次式（数４）に示すように、極座標系のベクトルとして表現される。

ただし、式（数４）において、径ｒ２１はベクトルの径である。ベクトルの径ｒ２１は単位ベクトルとして、１としてもよい。また、偏角θ２１は算出視線ベクトルＧ２の仰角、偏角φ２１は算出視線ベクトルＧ２の方位角である。

検知部１１１は、表示部２０上の注視点Ｐの位置および、眼球位置Ｅ２に基づき、実視線ベクトルＶ２を算出する。実視線ベクトルＶ２も算出視線ベクトルＧ２と同様、次式（数５）に示すように、極座標系のベクトルとして表現される。

ただし、式（数５）において、径ｒ２２はベクトルの径である。ベクトルの径ｒ２２は単位ベクトルとして、１としてもよい。また、偏角θ２２は実視線ベクトルＶ２の仰角、偏角φ２２は実視線ベクトルＶ２の方位角である。

検知部１１１は顔画像Ｂを用いて算出した実視線ベクトルＶ２と算出視線ベクトルＧ２のペアおよび眼球位置Ｅ２を含む視線情報と対象者１００のＩＤとを、算出部１１２に送出する。

算出部１１２は、対象者１００のＩＤを用いて、記憶部１１３に対象者１００の補正情報が記憶されているかを調べる。算出部１１２は、記憶部１１３に補正情報が記憶されている場合、検知部１１１から受け取った視線情報および記憶部１１３に記憶されている補正情報を読出して、補正部１１４に送出する。

また、算出部１１２は、記憶部１１３に対象者１００の補正情報が記憶されていない場合、すなわち、補正情報が算出されていない場合は、補正情報を算出する。

この場合、算出部１１２は、検知部１１１が送出した視線情報を記憶部１１３に記録するとともに、記憶部１１３に記録された視線情報の中から２つの視線情報を用いて、個人の視線の補正情報を算出する。なお、記憶部１１３は、光源１３０の位置も記録しても良い。

算出部１１２は、ＩＤを用いて、記憶部１１３に記録された視線情報を読み込み、補正情報算出処理を行う。この場合、算出部１１２は、顔画像Ａ、Ｂを用いて算出された２つの視線情報を読み込む。算出部１１２は、視線情報に２つの点において算出された視線ベクトルが含まれていない場合、補正情報の算出を行わない。この場合、算出部１１２は、平均的な補正値を補正情報として、補正部１１４に送出してもよい。

算出部１１２は、式（数１）に示す行列Ｈ内のω１，ω２，ω３，ω４を、算出視線ベクトルＧ１と実視線ベクトルＶ１、および算出視線ベクトルＧ２と実視線ベクトルＶ２のペアを用いて算出する。例えば、算出部１１２は、式（数１）において、補正後の視線ベクトルＡに実視線ベクトルＶ１、補正前の視線ベクトルＢに算出視線ベクトルＧ１を代入して、補正情報である行列Ｈを算出する。この算出方法には、算出視線ベクトルと実視線ベクトル間の誤差を最小とするようにした最小二乗法を用いても良い。算出部１１２は、行列Ｈを算出すると、視線情報と算出した補正情報を出力する。

補正部１１４は、視線情報および補正情報と、式（数１）を用いて、算出視線ベクトルを補正し、補正視線ベクトルを算出する。補正部１１４は、補正視線ベクトルを出力する。

［３．効果など］
本開示の視線測定装置１０では、光源１３０は、所定の注視点を注視する対象者１００の眼球に角膜反射点を形成するための光を照射し、撮影部１２０は、光源１３０からの光が反射した対象者１００の顔画像を複数撮影する。検知部１１１は、撮影部１２０が撮影した顔画像毎に視線情報を算出する。算出部１１２は、検知部１１１が算出した複数の視線情報の中で、所定の位置関係にある視線情報を少なくとも２つ用いて、補正情報を算出する。補正部１１４は、検知部１１１が算出した視線情報を、補正情報を用いて補正する。

これにより、算出部１１２は、対象者１００が自然に頭部を動かしている状態で測定した視線情報から、個人固有の視線ベクトルの補正情報を算出することができる。

従って、対象者１００の負担を軽減すると共に、高精度に視線を検出することが可能となる。

なお、本実施例では補正情報の算出に使用する注視点Ｐを表示部２０に表示するものとして説明したが、対象者の前方にある、位置が既知の物体に注視点Ｐを設定することもできる。例えば、車両中であれば、前方にある信号機や車両内のスピードメーターを注視点Ｐとして用いることが出来る。

この場合、注視点Ｐは、対象者１００の前方に存在する物体の中央に設定するものとする。しかし、対象者１００が物体内の良く注視する点もしくは領域が分かっている場合は、その平均位置などに注視点Ｐを設定しても良い。それ以後の処理は、表示部２０上の注視点Ｐを用いて算出する際と同様に、対象者１００の眼球位置の移動を検知し、実視線ベクトルおよび算出視線ベクトルの計算、補正値の算出を行う。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

実施の形態１において、光源は１つとしたが、複数の光源を用いても構わない。

実施の形態１において、対象者１００を注視させるために注視点を表示部２０に表示した。表示部２０に表示するものは、点に限るものではなく、例えば、基準となる位置にコンテンツを表示して、対象者１００に注視を誘導しても良い。この場合、コンテンツ内の基準となる位置を注視点として、演算を行ってもよい。

なお、視線測定装置１０で算出した視線情報を表示部２０に表示してもよい。この場合、算出した視線ベクトルと表示部２０の交点を算出し、注視先情報として出力してもよい。

また、本実施の形態では、算出部１１２は２つの視線情報を用いて補正情報を生成したが、３つ以上の視線情報を選択し、それらすべての視線情報で補正情報を算出してもよい。また、２つの組合せで複数算出した補正情報から、最終的な補正情報を作成してもよい。例えば、２つの組合せで算出した複数の補正情報の平均をとるなどしてもよい。このようにすることで、補正情報の精度を向上させることができる。

本開示は、非接触にて視線を測定する視線検出装置に適用可能である。具体的には、車両内の運転者の監視をはじめとした対象者の行動分析、視線を用いた機器の操作などに、本開示は適用可能である。

１ 視線測定システム
１０ 視線測定装置
２０ 表示部
１１０ 演算装置
１１１ 検知部
１１２ 算出部
１１３ 記憶部
１１４ 補正部
１２０ 撮影部
１３０ 光源
２００ 眼球
２０１ 瞳孔領域
２０２ 瞳孔中心
２０３ プルキニエ像
５００，５１０ 座標系
Ｇ１，Ｇ２ 算出視線ベクトル
Ｈ 行列
Ｐ 注視点
Ｖ１，Ｖ２ 実視線ベクトル

Claims (4)

1. 所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源と、
   前記光源からの光が反射した前記対象者の眼球を含む顔画像を複数撮影する撮影部と、
   前記撮影部が撮影した前記顔画像毎に視線情報を算出する検知部と、
   前記検知部が算出した複数の視線情報の中で、所定の位置関係にある少なくとも２つの視線情報を用いて、補正情報を算出する算出部と、
   前記検知部が算出した前記視線情報を、前記補正情報を用いて補正する補正部と、
   を備え、
   前記算出部は、前記複数の視線情報の中から、前記対象者が前記所定の注視点を注視した際の視線ベクトルの仰角および方位角の差がともに所定角以上である前記少なくとも２つの視線情報を選択して、前記補正情報を算出する視線測定装置。
2. 前記所定の注視点は、前記対象者の前方に設置されている表示部上に表示されている点もしくは、前記対象者の前方に存在する物体内の点である、請求項１に記載の視線測定装置。
3. 前記補正情報は、前記視線ベクトルの角度に対する係数と加算値とを含む、請求項１に記載の視線測定装置。
4. 所定の注視点を注視する対象者の眼球に角膜反射点を形成するための光を照射する光源からの光が反射した前記対象者の眼球を含む顔画像を複数撮影する撮影ステップと、
   前記撮影ステップで撮影された顔画像毎に視線情報を算出する検知ステップと、
   前記検知ステップで算出された複数の視線情報の中で、所定の位置関係にある少なくとも２つの前記視線情報を用いて、補正情報を算出する算出ステップと、
   前記検知ステップで算出された前記視線情報を、前記補正情報を用いて補正する補正ステップと、を有し、
   前記算出ステップは、前記複数の視線情報の中から、前記対象者が前記所定の注視点を注視した際の視線ベクトルの仰角および方位角の差がともに所定角以上である前記少なくとも２つの視線情報を選択して、前記補正情報を算出する視線測定方法。

Images