JP6583734B2 - 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム - Google Patents

Description

本発明の一側面は、角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラムに関する。

従来から、対象者の瞳孔を検出する技術が知られている。この技術は、よそ見運転の検出、運転者の眠気の検出、商品の興味の度合いの調査、コンピュータへのデータ入力などに応用することが可能である。

このような瞳孔検出技術に関し、下記特許文献１には、明瞳孔画像、無照明画像、および暗瞳孔画像を得た後に、画像差分処理を行うことによって瞳孔を検出する瞳孔検出方法が記載されている。この方法では、角膜反射像は、明瞳孔画像から無照明画像を差分して得られる差分画像もしくは暗瞳孔画像から無照明画像を差分して得られる差分画像から角膜反射像を検出する。これらの差分画像では、それぞれの光源による像だけが得られるので、太陽などの周囲光（外乱光）の像を除去して容易に角膜反射を検出できる。したがって、それら二つの差分画像に対して角膜反射に基づく位置補正を行った上でその差分画像同士を差分することで、瞳孔を検出することができる。

特開２００８−２４６００４号公報

しかしながら、一般には、対象者の眼を１枚ずつ撮影する間に対象者の頭部が動いてしまう。そうすると、外乱光による偽の像も移動してしまうので、単純に明瞳孔画像（もしくは暗瞳孔画像）から無照明画像を差分するだけでは、真の角膜反射と区別できない偽の像（偽の角膜反射）を除去できず、角膜反射に基づく位置補正を行うことができない。このような状況を解消するためには明瞳孔画像（もしくは暗瞳孔画像）から無照明画像を差分する際にも角膜反射に基づく位置補正を行うべきであるが、無照明画像には真の角膜反射が存在しないので、その位置補正を実施することができない。

そこで、明瞳孔画像（もしくは暗瞳孔画像）と無照明画像との位置補正を行うために無照明画像での角膜反射位置を推定することが望まれている。

本発明の一側面に係る角膜反射位置推定システムは、光源を備えるカメラを制御して対象者の眼の画像を連続的に取得する画像取得部であって、該光源からの光を用いて撮影された複数の瞳孔画像を取得した後に、該光源からの光を用いることなく撮影された一つの無照明画像を取得する該画像取得部と、複数の瞳孔画像のそれぞれに対応する角膜反射または角膜球中心の位置を基準位置として算出し、複数の該基準位置に基づいて角膜反射または角膜球中心の移動ベクトルを算出し、無照明画像における角膜反射位置を該移動ベクトルに少なくとも基づいて推定する推定部とを備える。

本発明の一側面に係る角膜反射位置推定方法は、プロセッサを備える角膜反射位置推定システムにより実行される角膜反射位置推定方法であって、光源を備えるカメラを制御して対象者の眼の画像を連続的に取得する画像取得ステップであって、該光源からの光を用いて撮影された複数の瞳孔画像を取得した後に、該光源からの光を用いることなく撮影された一つの無照明画像を取得する該画像取得ステップと、複数の瞳孔画像のそれぞれに対応する角膜反射または角膜球中心の位置を基準位置として算出し、複数の該基準位置に基づいて角膜反射または角膜球中心の移動ベクトルを算出し、無照明画像における角膜反射位置を該移動ベクトルに基づいて推定する推定ステップとを含む。

本発明の一側面に係る角膜反射位置推定プログラムは、光源を備えるカメラを制御して対象者の眼の画像を連続的に取得する画像取得部であって、該光源からの光を用いて撮影された複数の瞳孔画像を取得した後に、該光源からの光を用いることなく撮影された一つの無照明画像を取得する該画像取得部と、複数の瞳孔画像のそれぞれに対応する角膜反射または角膜球中心の位置を基準位置として算出し、複数の該基準位置に基づいて角膜反射または角膜球中心の移動ベクトルを算出し、無照明画像における角膜反射位置を該移動ベクトルに少なくとも基づいて推定する推定部としてコンピュータを機能させる。

このような側面においては、無照明画像よりも前に得られた複数の瞳孔画像に対応する複数の基準位置（角膜反射または角膜球中心の位置）が算出される。瞳孔画像は光源からの光を用いて撮影されるので、その瞳孔画像から角膜反射または角膜球中心の位置を得ることができる。そして複数の基準位置から角膜反射または角膜球中心の移動ベクトルを得ることで無照明画像を得る直前の角膜反射または角膜球中心の動きを把握できるので、その動きから、無照明画像を取得した時点の角膜反射位置を推定することができる。

本発明の一側面によれば、無照明画像での角膜反射位置を推定することができる。

第１実施形態に係る検出システムを示す斜視図である。 カメラのレンズ部分を示す平面図である。 図１に示す画像処理装置のハードウェア構成を示す図である。 図１に示す検出システムの機能構成を示すブロック図である。 角膜反射に基づく位置補正を説明するための図である。 第１実施形態における画像の取得および生成を示す図である。 瞳孔の移動を示す図である。 無照明画像における角膜反射の推定方法を示すフローチャートである。 第１実施形態に係る検出プログラムの構成を示す図である。 第２実施形態における画像の取得および生成を示す図である。 第３実施形態に係る検出システムを示す斜視図である。 （ａ），（ｂ）はそれぞれ、変形例における画像の取得を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。以下の各実施形態では、本発明に係る角膜反射位置推定システムおよび瞳孔検出システムを検出システム１に適用する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

［第１実施形態］
＜検出システムの構成＞
図１〜４を用いて、実施形態に係る検出システム１の構成を説明する。検出システム１は、対象者の瞳孔を検出するコンピュータシステムであり、このシステムにより、本実施形態に係る角膜反射位置推定方法および瞳孔検出方法が実施される。対象者とは、瞳孔を検出する対象となる人であり、被験者ともいうことができる。検出システム１、角膜反射位置推定方法、および瞳孔検出方法の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者の眠気の検出、商品の興味の度合いの調査、コンピュータへのデータ入力などに検出システム１を利用することができる。

検出システム１は、１台のカメラ１０と画像処理装置２０とを備える。本実施形態では、検出システム１は、対象者Ａが見る対象であるディスプレイ装置３０をさらに備える。しかし、検出システム１の利用目的は限定されないので、対象者Ａの視線の先にある物はディスプレイ装置３０に限定されず、例えば自動車のフロントガラスでもあり得る。したがって、ディスプレイ装置３０は検出システム１における必須の要素ではない。カメラ１０は画像処理装置２０と無線または有線により接続され、カメラ１０と画像処理装置２０との間で各種のデータまたは命令が送受信される。カメラ１０に対しては予めカメラ較正が行われる。

カメラ１０は対象者Ａの眼およびその周辺を撮影するために用いられる。カメラ１０は、対象者Ａが眼鏡をかけているときの顔画像における反射光の写り込みを防止する目的で対象者Ａの顔より低い位置に設けられる。水平方向に対するカメラ１０の仰角は、眼の確実な検出と対象者Ａの視野範囲の妨げの回避との双方を考慮して、例えば２０〜３５度の範囲に設定される。

本実施形態では、各カメラ１０のフレームレートは２４０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）であるとする。この場合には、カメラ１０は約４．２ｍｓ毎に画像を取得することができる。カメラ１０は、画像処理装置２０からの命令に応じて対象者Ａを撮像し、画像データを画像処理装置２０に出力する。

カメラ１０のレンズ部分を図２に模式的に示す。この図に示すように、カメラ１０では、対物レンズ１１が円形状の開口部１２に収容され、開口部１２の外側に光源１３が設けられる。光源１３は、対象者Ａの顔に向けて照明光を照射するための機器であり、複数の発光素子１３ａと複数の発光素子１３ｂとから成る。発光素子１３ａは、出力光の中心波長が８５０ｎｍの半導体発光素子（ＬＥＤ）であり、開口部１２の縁に沿って等間隔でリング状に配される。発光素子１３ｂは、出力光の中心波長が９４０ｎｍの半導体発光素子であり、発光素子１３ａの外側に等間隔でリング状に配される。したがって、カメラ１０の光軸から発光素子１３ｂまでの距離は、該光軸から発光素子１３ａまでの距離よりも大きい。それぞれの発光素子１３ａ，１３ｂは、カメラ１０の光軸に沿って照明光を出射するように設けられる。なお、光源１３の配置は図２に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。

画像処理装置２０は、カメラ１０の制御と、対象者Ａの瞳孔の検出とを実行するコンピュータである。画像処理装置２０は、据置型または携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、画像処理装置２０は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

画像処理装置２０の一般的なハードウェア構成を図３に示す。画像処理装置２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。

後述する画像処理装置２０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

図４に示すように、画像処理装置２０は機能的構成要素として画像取得部２１および算出部２２を備える。画像取得部２１は、カメラ１０の撮影タイミングとカメラ１０の光源１３の発光タイミングとを制御することで、少なくとも対象者Ａの眼が写った画像データをカメラ１０から取得する機能要素である。算出部２２は、画像データに基づいて対象者Ａの瞳孔位置を算出する機能要素である。

画像処理装置２０による処理結果の出力先は何ら限定されない。例えば、画像処理装置２０は処理結果を画像、図形、またはテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。あるいは、画像処理装置２０がその結果に基づいて更なる任意の処理を実行してもよい。

＜角膜反射の推定および瞳孔の検出＞
次に、図５〜８を用いて、検出システム１の動作について説明するとともに、本実施形態に係る角膜反射位置推定方法および瞳孔検出方法について説明する。

（瞳孔画像の取得）
眼に入った光は網膜で乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。カメラのどの光源も点灯させることなくカメラを露光させて得られる画像が無照明画像であり、この無照明画像も瞳孔画像の一種である。

本実施形態では、透過率が高い波長の光（中心波長が８５０ｎｍ）を発する発光素子１３ａが開口部１２に隣接した位置に設けられ、透過率が低い波長の光（中心波長が９４０ｎｍ）を発する発光素子１３ｂが開口部１２から離れた位置に設けられる。画像取得部２１は、発光素子１３ａを点灯させて明瞳孔画像を撮影し、発光素子１３ｂを点灯させて暗瞳孔画像を撮影し、発光素子１３ａ，１３ｂを点灯させることなく無照明画像を撮影する。したがって、明瞳孔画像および暗瞳孔画像は、光源１３からの光を用いて撮影することで得られる瞳孔画像であり、無照明画像は、光源１３からの光を用いることなく撮影することで得られる瞳孔画像である。

画像取得部２１は、このようなカメラ１０を制御することで明瞳孔画像、暗瞳孔画像、および無照明画像を取得し、これらの画像を算出部２２に出力する。本実施形態では、画像取得部２１は、「明瞳孔画像→無照明画像→暗瞳孔画像→無照明画像」の順に瞳孔画像を取得する処理を繰り返す。

（瞳孔位置の検出）
算出部２２は、画像取得部２１から入力された瞳孔画像に基づいて、対象者Ａの片眼または両眼の瞳孔中心を求める。

ｉ番目に得られる明瞳孔画像（または暗瞳孔画像）と（ｉ＋１）番目に得られる暗瞳孔画像（または明瞳孔画像）とが得られたとして、この２枚の瞳孔画像が得られる間に対象者Ａの頭部が動かなければ、単純に明瞳孔画像および暗瞳孔画像の差を取ることで、瞳孔部分が浮かび上がった差分画像を生成することができる。しかし、それら２枚の瞳孔画像が撮影されるまでの間のわずかな時間に対象者Ａの頭部が動くと、これら２画像の間で瞳孔の位置にずれが生じ、その結果、良好な差分画像を得ることができない。そこで、算出部２２は、差分画像を得る前に明瞳孔画像および暗瞳孔画像に対して角膜反射に基づく位置補正（以下では単に「位置補正」という）を実行する。

図５に示すように、算出部２２はｉ番目の画像および（ｉ＋１）番目の画像のそれぞれから検出した角膜反射点Ｒの位置が一致するようにｉ番目の画像をずらしてから（図５の矢印を参照）、２画像の差分を取る。図５の下段に示すこの差分画像から瞳孔Ｐを検出することができる。より具体的には、算出部２２は角膜反射および瞳孔を含む領域に対して位置補正を実行して差分画像を生成する。この領域をウィンドウという。ウィンドウの設定方法は限定されないが、一例として、角膜反射の位置を中心とし、かつ瞳孔を含む小領域をウィンドウとして設定してもよい。位置補正は、角膜反射の位置を一致させるように二つのウィンドウ内の画像のうちの一方をずらす処理である。続いて、算出部２２は、前の画像から輝度が大きく変化しないことを利用して、前の画像で検出された瞳孔の輝度平均を利用して、その平均輝度の半分の値を閾値として差分画像を２値化し、ラベリングを行う。続いて、算出部２２は、瞳孔らしい面積、サイズ、面積比、正方形度、および瞳孔特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔候補を選択する。そして、算出部２２は瞳孔候補の中で面積が最も大きいものを瞳孔として決定し、その瞳孔の中心座標を求める。算出部２２はその瞳孔中心座標に基づいて正確な角膜反射位置も求めることができる。

しかし、明瞳孔画像および暗瞳孔画像から直接的に得られる差分画像から瞳孔を検出する方法は外乱光の影響を受けやすく、その外乱光による偽の角膜反射が差分画像上に現れてしまう。多くの場合、真の角膜反射と偽の角膜反射とを画像の特徴のみから区別するのは難しい。

この問題を解決するために、検出システム１は明瞳孔画像および暗瞳孔画像に加えて無照明画像も取得し、差分明瞳孔画像および差分暗瞳孔画像を生成する。原理的には、無照明画像を用いた差分を実行することで、太陽光などの外部光により生じる偽の角膜反射を除去して、カメラ１０の光源の照明による真の角膜反射のみが写った明瞳孔画像および暗瞳孔画像（すなわち、差分明瞳孔画像および差分暗瞳孔画像）を得ることができる。したがって、その差分明瞳孔画像および差分暗瞳孔画像に対して位置補正を実行することで、瞳孔を検出するための良好な差分画像を得ることができる。

明瞳孔画像と暗瞳孔画像との間に必ず無照明画像を取得する本実施形態においては、図６の手順により差分画像が得られる。すなわち、算出部２２は連続して取得した明瞳孔画像および無照明画像の差分を取ることで差分明瞳孔画像を取得し、連続して取得した暗瞳孔画像および無照明画像の差分を取ることで差分暗瞳孔画像を取得する。続いて、算出部２２は連続して取得した差分明瞳孔画像および差分暗瞳孔画像の差分を取ることで差分画像を取得する。そして、算出部２２はその差分画像に基づいて瞳孔中心座標を求める（瞳孔を検出する）。なお、算出部２２は差分明瞳孔画像および差分暗瞳孔画像から差分画像を得る際に減算を用いてもよいし除算を用いてもよい。本明細書における「差分画像」は、減算により得られる画像だけでなく、除算により得られる除算画像も含む概念である。

しかし、本実施形態のようにカメラ１０のフレームレートが２４０ｆｐｓ程度である場合には、ｉ番目の画像を取得してから（ｉ＋１）番目の画像を取得するまでの時間差が約４．２ｍｓである。このくらいの時間差が生じると、差分明瞳孔画像を得るための明瞳孔画像および無照明画像を得る間における対象者Ａの頭部の動きを無視できない場合が生ずる。例えば、振動の激しい道を自動車で走行する場合に頭部が高速に振動すると、連続する２枚の画像間で瞳孔および角膜反射の位置が大きく変わり得る。頭部の動きを考慮することなく差分明瞳孔画像を生成すると、その画像において偽の角膜反射を除去することができない。この現象は差分暗瞳孔画像についても同様に生じ得る。

このような問題を解消するためには、差分明瞳孔画像（もしくは差分暗瞳孔画像）を生成する際に明瞳孔画像（もしくは暗瞳孔画像）および無照明画像に対して位置補正を実行する必要がある。しかし、図７に示すように、無照明画像には真の角膜反射Ｒが存在しないので、その無照明画像と、隣接する明瞳孔画像または暗瞳孔画像との組に対して位置補正を行うことができない。そこで、算出部２２は、無照明画像における真の角膜反射の位置を推定する。そして、算出部２２は隣接する二つのウィンドウｗに対して位置補正を実行し（すなわち、先のウィンドウｗ内の角膜反射が後のウィンドウｗ内の角膜反射と一致するように当該先のウィンドウ内の画像をずらし）、それら二つのウィンドウｗから差分明瞳孔画像または差分暗瞳孔画像を得る。

（画像取得間隔が一定である場合の角膜反射位置の推定）
図６に示す、４枚の画像（明瞳孔画像→無照明画像→暗瞳孔画像→無照明画像）を取得する処理を１サイクルの処理とする。サイクルの番号を０以上の整数で表すとすると、ｎサイクル目では、４ｎ番目の画像は明瞳孔画像であり、（４ｎ＋１）番目の画像は無照明画像であり、（４ｎ＋２）番目の画像は暗瞳孔画像であり、（４ｎ＋３）番目の画像は無照明画像である。

画像取得部２１による瞳孔画像の取得間隔が一定である場合には、算出部２２は以下に示す方法により角膜反射位置を推定する。

算出部２２は４ｎ番目の画像（明瞳孔画像）と（４ｎ＋１）番目の画像（無照明画像）とから得られる差分明瞳孔画像から角膜反射を検出することで、その明瞳孔画像における角膜反射位置Ｘ_４ｎを得る。さらに、算出部２２は（４ｎ＋２）番目の画像（暗瞳孔画像）と（４ｎ＋１）番目の画像（無照明画像）とから得られる差分暗瞳孔画像から角膜反射を検出することで、その暗瞳孔画像における角膜反射位置Ｘ_４ｎ＋２を得る。なお、角膜反射位置Ｘ_４ｎ，Ｘ_４ｎ＋２は前の処理で最終的に確定しているとする。本実施形態では、角膜反射位置は画像上における２次元座標（ｘ，ｙ）で示される。

これら二つの角膜反射位置が確定したことを前提として、算出部２２は（４ｎ＋３）番目の画像（無照明画像）における角膜反射位置Ｘ_４ｎ＋３を下記式（１）で示される等速度モデルにより推定する。角膜反射位置Ｘ_４ｎ＋３は、カメラ１０の光源が点灯した場合に発生する真の角膜反射の位置に相当する。
Ｘ_４ｎ＋３＝Ｘ_４ｎ＋２＋１／２（Ｘ_４ｎ＋２−Ｘ_４ｎ） …（１）
この式（１）は、（４ｎ＋３）番目の画像（無照明画像）の直前に得られた明瞳孔画像および暗瞳孔画像の間の角膜反射位置の動き（移動ベクトル（Ｘ_４ｎ＋２−Ｘ_４ｎ））が当該（４ｎ＋３）番目の画像までそのまま続くと仮定して、処理対象画像における角膜反射位置を推定することを意味する。なお、本実施形態における「移動ベクトル」とは、角膜反射位置の移動の方向および量を示すベクトルである。また、本実施形態では、移動ベクトルの計算に用いる基準位置は角膜反射位置である。

無照明画像における角膜反射位置を推定する手順は図８のフローチャートで表すことができる。すなわち、画像取得部２１が無照明画像を取得すると（ステップＳ１１、画像取得ステップ）、算出部２２がその無照明画像の直前に得られた明瞳孔画像および暗瞳孔画像のそれぞれにおける角膜反射位置に基づいて、角膜反射の移動ベクトルを算出する（ステップＳ１２、推定ステップ）。そして、算出部２２は無照明画像における角膜反射位置を移動ベクトルに基づいて推定する（ステップＳ１３、推定ステップ）。このように、算出部２２は無照明画像における角膜反射位置を推定する推定部として機能する。

同様に、算出部２２は次の明瞳孔画像である｛４（ｎ＋１）｝番目の画像における角膜反射位置Ｘ_{４（ｎ＋１）}を下記式（２）で示される等速度モデルにより推定する。
Ｘ_{４（ｎ＋１）}＝Ｘ_４ｎ＋２＋（Ｘ_４ｎ＋２−Ｘ_４ｎ） …（２）
この式（２）は、角膜反射の動き（移動ベクトル（Ｘ_４ｎ＋２−Ｘ_４ｎ））が｛４（ｎ＋１）｝番目の画像の画像までそのまま続くと仮定して、処理対象画像における角膜反射位置を推定することを意味する。

角膜反射位置Ｘ_４ｎ＋３を推定すると、算出部２２は（４ｎ＋２）番目の画像（暗瞳孔画像）と（４ｎ＋３）番目の画像（無照明画像）とに対して位置補正を行って（すなわち、暗瞳孔画像を無照明画像に向けてΔＸ_４ｎ＋２＝Ｘ_４ｎ＋３−Ｘ_４ｎ＋２だけずらして）差分暗瞳孔画像を生成し、その差分暗瞳孔画像から角膜反射を検出する。さらに、角膜反射位置Ｘ_{４（ｎ＋１）}を推定すると、算出部２２は（４ｎ＋３）番目の画像（無照明画像）と｛４（ｎ＋１）｝番目の画像（明瞳孔画像）とに対して位置補正を行って（すなわち、無照明画像を明瞳孔画像に向けてΔＸ_４ｎ＋３＝Ｘ_{４（ｎ＋１）}−Ｘ_４ｎ＋３だけずらして）差分明瞳孔画像を生成し、その差分明瞳孔画像から角膜反射を検出する。そして、算出部２２はその差分暗瞳孔画像および差分明瞳孔画像に対して位置補正を行って差分画像を生成し、その差分画像から瞳孔中心の座標を求める（瞳孔を検出する）。さらに、算出部２２はその瞳孔中心座標に基づいて正確な角膜反射位置Ｘ_{４（ｎ＋１）}も求め、これにより角膜反射位置Ｘ_{４（ｎ＋１）}が確定する。

この結果、（４ｎ＋２）番目の画像（暗瞳孔画像）での角膜反射位置Ｘ_４ｎ＋２と｛４（ｎ＋１）｝番目の画像（明瞳孔画像）での角膜反射位置Ｘ_{４（ｎ＋１）}とが得られる。したがって、算出部２２は{４（ｎ＋１）＋１}番目の画像（無照明画像）における角膜反射位置Ｘ_{４（ｎ＋１）＋１}と{４（ｎ＋１）＋２}番目の画像（暗瞳孔画像）における角膜反射位置Ｘ_{４（ｎ＋１）＋２}とを、下記式（３），（４）で示される等速度モデルにより推定することができる。
Ｘ_{４（ｎ＋１）＋１}＝Ｘ_{４（ｎ＋１）}＋１／２（Ｘ_{４（ｎ＋１）}−Ｘ_４ｎ＋２） …（３）
Ｘ_{４（ｎ＋１）＋２}＝Ｘ_{４（ｎ＋１）}＋（Ｘ_{４（ｎ＋１）}−Ｘ_４ｎ＋２） …（４）

角膜反射位置Ｘ_{４（ｎ＋１）＋１}を推定すると、算出部２２は｛４（ｎ＋１）｝番目の画像（明瞳孔画像）と｛４（ｎ＋１）＋１｝番目の画像（無照明画像）とに対して位置補正を行って差分明瞳孔画像を生成し、その差分明瞳孔画像から角膜反射を検出する。その後に角膜反射位置Ｘ_{４（ｎ＋１）＋２}を推定すると、算出部２２は｛４（ｎ＋１）＋１｝番目の画像（無照明画像）と｛４（ｎ＋１）＋２｝番目の画像（暗瞳孔画像）とに対して位置補正を行って差分暗瞳孔画像を生成し、その差分暗瞳孔画像から角膜反射を検出する。そして、算出部２２はその差分明瞳孔画像および差分暗瞳孔画像に対して位置補正を行って差分画像を生成し、その差分画像から瞳孔中心の座標を求める。また、算出部２２はその瞳孔中心座標に基づいて正確な角膜反射位置Ｘ_{４（ｎ＋１）＋２}も求め、これにより角膜反射位置Ｘ_{４（ｎ＋１）＋２}が確定する。

算出部２２は以上の処理を繰り返し実行することで瞳孔の位置を追跡することができる。

（画像取得間隔が一定でない場合の角膜反射位置の推定）
上記式（１）〜（４）を示した説明は画像の取得間隔が一定であることを前提とした。しかし、実際には画像の取得間隔が区々である状況が生じ得る。例えば、画像処理に多くの時間が掛かったり、画像処理装置２０のマルチタスクＯＳが他の処理をして画像処理のタイミングが遅れたりするなどの理由により、所定のタイミングで（例えば約４．２ｍｓ間隔で）画像を取得することができず（画像の取りこぼし）、何回目かの再試行でやっと所望の画像を取得する状況が起こり得る。この場合には画像の取得間隔が変わり得る（例えば、その間隔が約８．４（＝４．２×２）ｍｓになったり約１２．６（＝４．２×３）ｍｓになったりする）。一方、画像処理装置２０がある画像を処理し終えた段階で次の画像取得命令をカメラ１０に送る外部同期を採用した場合には画像の取りこぼしは起こらないが、この場合には画像処理装置２０内のハードウェアの状況（例えばＣＰＵの稼働状況）により画像の取得間隔が不規則になり得る。

このような場合を考慮して、算出部２２は、個々の画像の取得時刻を計測し、その取得時刻から求まる画像の取得間隔を考慮した等速度モデルにより角膜反射位置を推定してもよい。

４ｎ番目の画像（明瞳孔画像）を得てから（４ｎ＋１）番目の画像（無照明画像）を得るまでの時間間隔をΔｔ_１ ^ｎとし、その無照明画像を得てから（４ｎ＋２）番目の画像（暗瞳孔画像）を得るまでの時間間隔をΔｔ_２ ^ｎとする。また、その暗瞳孔画像を得てから（４ｎ＋３）番目の画像（無照明画像）を得るまでの時間間隔をΔｔ_３ ^ｎとし、その無照明画像を得てから４（ｎ＋１）番目の画像（明瞳孔画像）を得るまでの時間間隔をΔｔ_４ ^ｎとする。この時間間隔は、ある画像を取得する際の露光開始時刻と次の画像を取得する際の露光開始時刻との差であってもよいし、露光終了時刻の差でもよいし、カメラ１０から画像処理装置２０への画像の転送開始時刻または転送終了時刻の差でもよい。

この場合には、算出部２２は下記式（５）〜（８）で示される等速度モデルを用いて、角膜反射位置Ｘ_４ｎ＋３，Ｘ_{４（ｎ＋１）}，Ｘ_{４（ｎ＋１）＋１}，Ｘ_{４（ｎ＋１）＋２}を推定する。これらの式（５）〜（８）は上記式（１）〜（４）に対応する。したがって、画像の取得間隔が区々である場合にも、算出部２２は偽の角膜反射が除去された差分明瞳孔画像および差分暗瞳孔画像を生成することができ、その２画像から差分画像を生成して瞳孔を検出することができる。

画像の取りこぼしが想定される場合には、上記の時間間隔Δｔ_１ ^ｎ，Δｔ_２ ^ｎ，Δｔ_３ ^ｎ，Δｔ_４ ^ｎは、ある画像を得てから次の画像を得るまでに要したフレーム数で表現されてもよい。例えば、４ｎ番目の画像（明瞳孔画像）のフレーム番号が１０であり（４ｎ＋１）番目の画像（無照明画像）のフレーム番号が１３であれば、時間間隔Δｔ_１ ^ｎは３（＝１３−１０）で示される。この時間間隔を、隣接する２フレームの時間間隔（カメラ１０のフレームレートが２４０ｆｐｓであればその時間間隔は約４．２ｍｓである）にそのフレーム数を乗じた値で表現してもよいが、上記式（５）〜（８）の計算において２フレーム間の時間間隔は約分により消えるので、時間間隔Δｔ_１ ^ｎ，Δｔ_２ ^ｎ，Δｔ_３ ^ｎ，Δｔ_４ ^ｎをフレーム数で表すことができる。

なお、式（５）〜（８）において画像取得間隔が一定であるとすれば、これらの式は式（１）〜（４）に帰結する。したがって、式（１）〜（４）も式（５）〜（８）と同様に、移動ベクトルと個々の画像を取得する際の個々の時間間隔とに基づいて、無照明画像または瞳孔画像における角膜反射位置を推定することを意味する。

＜検出プログラム＞
次に、図９を用いて、画像処理装置２０を実現するための検出プログラム（角膜反射位置推定プログラムおよび瞳孔検出プログラム）Ｐ１を説明する。

検出プログラムＰ１は、メインモジュールＰ１０、画像取得モジュールＰ１１、および算出モジュールＰ１２を備える。

メインモジュールＰ１０は、角膜反射位置推定機能を含む瞳孔検出機能を統括的に制御する部分である。画像取得モジュールＰ１１および算出モジュールＰ１２を実行することにより実現される機能はそれぞれ、上記の画像取得部２１および算出部２２の機能と同様である。

検出プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。また、検出プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

［第２実施形態］
第１実施形態では、画像処理装置２０が１サイクルで４枚の画像（明瞳孔画像→無照明画像→暗瞳孔画像→無照明画像）を取得したが、画像の取得方法はこれに限定されない。本実施形態では、画像処理装置２０は図１０に示すように３枚毎に明瞳孔画像（または暗瞳孔画像）を取得するように明瞳孔画像と暗瞳孔画像との間に無照明画像を取得してもよい。この場合には、算出部２２は３ｎ番目に取得した明瞳孔画像と（３ｎ＋１）番目に取得した無照明画像との差分を取ることで差分明瞳孔画像を取得し、その無照明画像と（３ｎ＋２）番目に取得した暗瞳孔画像との差分を取ることで差分暗瞳孔画像を取得する。そして、算出部２２はこれらの差分明瞳孔画像および差分暗瞳孔画像の差分を取ることで差分画像を取得する。算出部２２は、連続して取得した暗瞳孔画像および明瞳孔画像（例えば、（３ｎ＋２）番目に取得した暗瞳孔画像と３（ｎ＋１）番目に取得した明瞳孔画像）の差分を取ることで更なる差分画像を取得してもよい。

このように１サイクルで３枚の画像を取得する場合には、算出部２２は無照明画像における角膜反射位置を以下のように推定する。

算出部２２は３ｎ番目に得た明瞳孔画像と（３ｎ＋１）番目に得た無照明画像とから得られる差分明瞳孔画像から角膜反射を検出することで、その明瞳孔画像における角膜反射位置Ｘ_３ｎを得る。さらに、算出部２２は（３ｎ＋２）番目に得た暗瞳孔画像と（３ｎ＋１）番目に得た無照明画像とから得られる差分暗瞳孔画像から角膜反射を検出することで、その暗瞳孔画像における角膜反射位置Ｘ_３ｎ＋２を得る。なお、角膜反射位置Ｘ_３ｎ，Ｘ_３ｎ＋２は前の処理で最終的に確定しているとする。ここで、角膜反射位置は画像上における２次元座標（ｘ，ｙ）で示される。算出部２２は、これら二つの角膜反射位置に基づいて、３（ｎ＋１）番目に得られる明瞳孔画像における角膜反射位置Ｘ_{３（ｎ＋１）}と、｛３（ｎ＋１）＋１｝番目に得られる無照明画像における角膜反射位置Ｘ_{３（ｎ＋１）＋１}を下記式（９），（１０）で示される等速度モデルにより推定する。
Ｘ_{３（ｎ＋１）}＝Ｘ_３ｎ＋２＋１／２（Ｘ_３ｎ＋２−Ｘ_３ｎ） …（９）
Ｘ_{３（ｎ＋１）＋１}＝Ｘ_３ｎ＋２＋（Ｘ_３ｎ＋２−Ｘ_３ｎ） …（１０）

これら二つの角膜反射位置を推定することで、算出部２２は３（ｎ＋１）番目に得た明瞳孔画像と｛３（ｎ＋１）＋１｝番目に得た無照明画像とに対して位置補正を行って差分明瞳孔画像を生成する。

さらに、その角膜反射位置Ｘ_{３（ｎ＋１）}を得ることで、算出部２２は｛３（ｎ＋１）＋２｝番目に得られる暗瞳孔画像における角膜反射位置Ｘ_{３（ｎ＋１）＋２}を下記式（１１）により予測することができる。
Ｘ_{３（ｎ＋１）＋２}＝Ｘ_{（３ｎ＋１）}＋２（Ｘ_{３（ｎ＋１）}−Ｘ_３ｎ＋２） …（１１）

この結果、二つの角膜反射位置Ｘ_{３（ｎ＋１）＋１}，Ｘ_{３（ｎ＋１）＋２}が得られるので、算出部２２は｛３（ｎ＋１）＋１｝番目に得た無照明画像と｛３（ｎ＋１）＋２｝番目に得た暗瞳孔画像とに対して位置補正を行って差分暗瞳孔画像を生成する。そして、算出部２２は差分明瞳孔画像および差分暗瞳孔画像に対して位置補正と差分とを実行することで差分画像を生成し、その差分画像から瞳孔を検出する。

算出部２２は以上の処理を繰り返し実行することで瞳孔を追跡することができる。

１サイクルで３枚の画像を取得する場合にも、第１実施形態と同じ理由により画像取得間隔が一定でない可能性がある。この場合には、算出部２２は第１実施形態と同様に画像の取得間隔を考慮した等速度モデルにより角膜反射位置を推定する。なお、その間隔がフレーム数で表現できる場合もあることも第１実施形態と同様である。

３ｎ番目に明瞳孔画像を得てから（３ｎ＋１）番目に無照明画像を得るまでの時間間隔をΔｔ_１ ^ｎとし、その無照明画像を得てから（３ｎ＋２）番目に暗瞳孔画像を得るまでの時間間隔をΔｔ_２ ^ｎとし、その暗瞳孔画像を得てから３（ｎ＋１）番目に明瞳孔画像を得るまでの時間間隔をΔｔ_３ ^ｎとする。第１実施形態と同様に、この時間間隔は露光開始時刻の差であってもよいし、露光終了時刻の差でもよいし、画像の転送開始時刻または転送終了時刻の差でもよいし、あるいは画像の取りこぼし数に基づいて表されてもよい。

算出部２２は上記式（９）〜（１１）に対応する下記式（１２）〜（１４）を用いて、角膜反射位置Ｘ_{３（ｎ＋１）}，Ｘ_{３（ｎ＋１）＋１}，Ｘ_{３（ｎ＋１）＋２}を推定する。したがって、画像の取得間隔が区々である場合にも、算出部２２は偽の角膜反射が除去された差分明瞳孔画像および差分暗瞳孔画像を生成することができ、その２画像から差分画像を生成して瞳孔を検出することができる。

なお、画像取得部２１は１サイクルにおいて「暗瞳孔画像→無照明画像→明瞳孔画像」の順に瞳孔画像を取得してもよい。この場合にも算出部２２は上記と同様の手法で無照明画像、明瞳孔画像、および暗瞳孔画像のそれぞれにおける角膜反射位置を推定することができる。

［第３実施形態］
第１および第２実施形態では画像上での座標、すなわち２次元座標に対して等速度モデルを適用したが、算出部２２は３次元座標に対して等速度モデルを適用してもよい。３次元座標に対して等速度モデルを適用して角膜反射位置を推定することで、撮像平面と交差する方向に瞳孔が移動する場合にも角膜反射位置を正確に推定することができる。

ただし、３次元座標を用いる場合には、検出システム１はステレオカメラとして機能する２台のカメラ１０を備える必要がある。図１１に示すように、一対のカメラ１０は、対象者Ａの左側にある左カメラ１０_Ｌと、対象者Ａの右側にある右カメラ１０_Ｒとから成る。１対のカメラ１０は水平方向に沿って所定の間隔をおいて配される。

一対のカメラ１０を用いる場合には、画像取得部２１は二つのカメラ１０の間で作動タイミングをわずかにずらし、個々のカメラ１０の露光時間はそのずらし時間以下に設定される。画像取得部２１は、各カメラ１０の露光時間中に、対応する発光素子１３ａおよび発光素子１３ｂを交互に発光させることで、一方のカメラ１０の光源１３からの光が他方のカメラ１０の画像に影響を与えないようにする（クロストークが起こらないようにする）。そして、画像取得部２１は、左カメラ１０_Ｌおよび右カメラ１０_Ｒのそれぞれから瞳孔画像を取得する。

算出部２２は、ある一つのフェーズにおける各カメラ１０_Ｌ，１０_Ｒからの瞳孔画像上での角膜反射位置を上記第１または第２実施形態での手法により求める。このときに得られる角膜反射位置は２次元座標であり、算出部２２はステレオ法（ステレオマッチング）を用いてその２次元座標から３次元座標を求める。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。３次元座標の計算に必要なこれらの内部パラメータおよび外部パラメータは、キャリブレーションデータとして予め取得されて算出部２２に記憶される。ステレオ法を用いて３次元座標を求める方法そのものは周知技術であり、例えば下記の参考文献１，２でも紹介されている。
（参考文献１）国際公開第２０１２／０７７７１３号パンフレット
（参考文献２）国際公開第２０１２／０２０７６０号パンフレット

算出部２２は、２台のカメラ１０からの出力データを基に検出した画像座標系における角膜反射位置と、世界座標系における角膜反射位置との関係式を、キャリブレーションデータを参照しながら取得する。次に、算出部２２は、２つの関係式から世界座標系における角膜反射位置の３次元座標を求める。算出部２２は、対象者Ａの左右の瞳孔のそれぞれについて角膜反射位置の３次元座標を求めることができる。続いて、算出部２２はそれぞれの眼について、左カメラ１０_Ｌのレンズ中心（レンズ中心以外の点でもよい）と左カメラ１０_Ｌに対応する角膜反射位置とを通る直線と、右カメラ１０_Ｒのレンズ中心（レンズ中心以外の点でもよい）と右カメラ１０_Ｒに対応する角膜反射位置とを通る直線との交点の３次元座標を角膜球中心の３次元座標として設定する。

このように角膜球中心の３次元座標を取得することを前提として、図６のように１サイクルで４枚の画像（明瞳孔画像→無照明画像→暗瞳孔画像→無照明画像）を取得する処理場合の角膜反射位置の推定方法を説明する。

算出部２２は４ｎ番目の画像（明瞳孔画像）と（４ｎ＋１）番目の画像（無照明画像）とから得られる差分明瞳孔画像から角膜反射を検出する処理を左カメラ１０_Ｌからの画像および右カメラ１０_Ｒからの画像のそれぞれに対して実行する。続いて、算出部２２は上記のようにステレオ法を用いてその明瞳孔画像に対応する角膜球中心座標Ｘ´_４ｎを得る。さらに、算出部２２は（４ｎ＋２）番目の画像（暗瞳孔画像）と（４ｎ＋１）番目の画像（無照明画像）とから得られる差分暗瞳孔画像から角膜反射を検出する処理を左カメラ１０_Ｌからの画像および右カメラ１０_Ｒからの画像のそれぞれに対して実行する。そして、算出部２２はステレオ法を用いてその暗瞳孔画像に対応する角膜球中心座標Ｘ´_４ｎ＋２を得る。上述したように、角膜球中心座標は３次元座標である。算出部２２は、これら二つの角膜球中心座標に基づいて、（４ｎ＋３）番目の画像（無照明画像）における角膜球中心座標Ｘ´_４ｎ＋３を下記式（１５）で示される等速度モデルにより推定する。
Ｘ´_４ｎ＋３＝Ｘ´_４ｎ＋２＋１／２（Ｘ´_４ｎ＋２−Ｘ´_４ｎ） …（１５）

この式（１５）における（Ｘ´_４ｎ＋２−Ｘ´_４ｎ）は、３次元空間での角膜球中心の動きを示す移動ベクトルである。本実施形態における「移動ベクトル」は、角膜球中心の位置の移動の方向および量を示すベクトルである。また、本実施形態では、移動ベクトルの計算に用いる基準位置は、角膜球中心の位置である。

続いて、算出部２２は推定した角膜球中心座標Ｘ´_４ｎ＋３を撮像平面（瞳孔画像）上の２次元座標に変換する。この変換は、ピンホールモデルを用いて３次元座標を撮像平面に投影する処理であるともいえる。３次元座標Ｘ´_４ｎ＋３（ｘ，ｙ，ｚ）に対応する撮像平面上の２次元位置Ｘ_４ｎ＋３は、カメラの焦点距離ｆを用いて下記式（１６）で得られる。
Ｘ_４ｎ＋３＝（ｘ（ｆ／ｚ），ｙ（ｆ／ｚ）） …（１６）
算出部２２は、左カメラ１０_Ｌから得られた画像と右カメラ１０_Ｒから得られた画像のそれぞれに対してその２次元座標への変換を実行する。

同様に、算出部２２は｛４（ｎ＋１）｝番目の画像、すなわち次の明瞳孔画像における角膜球中心座標Ｘ´_{４（ｎ＋１）}を下記式（１７）で示される等速度モデルにより推定する。
Ｘ´_{４（ｎ＋１）}＝Ｘ´_４ｎ＋２＋（Ｘ´_４ｎ＋２−Ｘ´_４ｎ） …（１７）

そして、算出部２２は推定した角膜球中心座標Ｘ´_{４（ｎ＋１）}を上記式（１６）により２次元座標Ｘ_{４（ｎ＋１）}に変換する。

このように角膜反射位置Ｘ_４ｎ＋３を推定すると、算出部２２は（４ｎ＋２）番目の画像（暗瞳孔画像）と（４ｎ＋３）番目の画像（無照明画像）とに対して位置補正を行って差分暗瞳孔画像を生成し、その差分暗瞳孔画像から角膜反射を検出する。さらに、角膜反射位置Ｘ_{４（ｎ＋１）}を推定すると、算出部２２は（４ｎ＋３）番目の画像（無照明画像）と｛４（ｎ＋１）｝番目の画像（明瞳孔画像）とに対して位置補正を行って差分明瞳孔画像を生成し、その差分明瞳孔画像から角膜反射を検出する。そして、算出部２２はその差分暗瞳孔画像および差分明瞳孔画像に対して位置補正を行って差分画像を生成し、その差分画像から瞳孔を検出し、正確な角膜反射位置Ｘ_{４（ｎ＋１）}を求める。

この結果、左カメラ１０_Ｌから得られた画像と右カメラ１０_Ｒから得られた画像とのそれぞれについて、（４ｎ＋２）番目の画像（暗瞳孔画像）での角膜反射位置Ｘ_４ｎ＋２と｛４（ｎ＋１）｝番目の画像（明瞳孔画像）での角膜反射位置Ｘ_{４（ｎ＋１）}とが得られる。したがって、算出部２２は、{４（ｎ＋１）＋１}番目の画像（無照明画像）における角膜球中心座標Ｘ_４´_{（ｎ＋１）＋１}と{４（ｎ＋１）＋２}番目の画像（暗瞳孔画像）における角膜球中心座標Ｘ_４´_{（ｎ＋１）＋２}とを下記式（１８），（１９）で示される等速度モデルにより推定することができる。
Ｘ´_{４（ｎ＋１）＋１}＝Ｘ_４´_{（ｎ＋１）}＋１／２（Ｘ_４´_{（ｎ＋１）}−Ｘ´_４ｎ＋２） …（１８）
Ｘ´_{４（ｎ＋１）＋２}＝Ｘ_４´_{（ｎ＋１）}＋（Ｘ_４´_{（ｎ＋１）}−Ｘ´_４ｎ＋２） …（１９）

そして、算出部２２は推定したこれらの角膜球中心座標Ｘ´_{４（ｎ＋１）＋１}，Ｘ´_{４（ｎ＋１）＋２}を上記式（１６）により撮像平面（瞳孔画像）上の２次元座標Ｘ_{４（ｎ＋１）＋１}，Ｘ_{４（ｎ＋１）＋２}に変換する。

角膜反射位置Ｘ_{４（ｎ＋１）＋１}を推定すると、算出部２２は｛４（ｎ＋１）｝番目の画像（明瞳孔画像）と｛４（ｎ＋１）＋１｝番目の画像（無照明画像）とに対して位置補正を行って差分明瞳孔画像を生成し、その差分明瞳孔画像から角膜反射を検出する。さらに、角膜反射位置Ｘ_{４（ｎ＋１）＋２}を推定すると、算出部２２は｛４（ｎ＋１）＋１｝番目の画像（無照明画像）と｛４（ｎ＋１）＋２｝番目の画像（暗瞳孔画像）とに対して位置補正を行って差分暗瞳孔画像を生成し、その差分暗瞳孔画像から角膜反射を検出する。そして、算出部２２はその差分明瞳孔画像および差分暗瞳孔画像に対して位置補正を行って差分画像を生成し、その差分画像から瞳孔を検出し、正確な角膜反射位置Ｘ_{４（ｎ＋１）＋２}を求める。

算出部２２は以上の処理を繰り返し実行することで瞳孔を追跡することができる。

当然ながら、角膜球中心座標に対して等速度モデルを適用する手法は、１サイクルで３画像を取得する上記第２実施形態にも適用できる。

［第４実施形態］
第１実施形態および第２実施形態では算出部２２は等速度モデルを用いて角膜反射位置を推定したが、算出部２２は等加速度モデルを用いてその推定を実行してもよい。算出部２２は、角膜反射位置を推定しようとする無照明画像の一つ前、二つ前、および３つ前に得た瞳孔画像（明瞳孔画像または暗瞳孔画像）における角膜反射位置を用いる。現在の画像、一つ前の画像、二つ前の画像、および三つ前の画像における角膜反射位置の２次元ベクトルをそれぞれｘ_０，ｘ_−１，ｘ_−２，ｘ_−３で表すとする。また、各ベクトルが得られた時刻をそれぞれｔ_０，ｔ_−１，ｔ_−２，ｔ_−３で表すとする。すると、現在の画像における座標と一つ前の画像における座標とから現在の速度ｖ_０が求まり、一つ前の画像における座標と二つ前の画像における座標とから一つ前の速度ｖ_−１が求まり、二つ前の画像における座標と三つ前の画像における座標とから二つ前の速度ｖ_−２が求まる。これらの速度は下記式（２０）〜（２２）で得られる。
ｖ_０＝（ｘ_０−ｘ_−１）／（ｔ_０−ｔ_−１） …（２０）
ｖ_−１＝（ｘ_−１−ｘ_−２）／（ｔ_−１−ｔ_−２） …（２１）
ｖ_−２＝（ｘ_−２−ｘ_−３）／（ｔ_−２−ｔ_−３） …（２２）
ここで、ｔ_０〜ｔ_−３はそれぞれの画像の取得時刻である。

これら三つの速度から、下記二つの加速度ａ_０，ａ_−１が下記式（２３），（２４）により得られる。
ａ_０＝（ｖ_０−ｖ_−１）／（ｔ_０−ｔ_−１） …（２３）
ａ_−１＝（ｖ_−１−ｖ_−２）／（ｔ_−１−ｔ_−２） …（２４）

ここで等加速度モデルよりａ_０＝ａ_−１であるから、未知の値ｖ_０を式（２３），（２４）より求めることができ、算出されたｖ_０を式（２０）に代入することで、未知であったｘ_０を求めることができる。

この等加速度モデルを図６の例に適用した場合について説明する。４ｎ番目に得た明瞳孔画像と（４ｎ＋２）番目の画像（暗瞳孔画像）において正確な角膜反射位置が得られているとすると、時刻ｔ_−３，ｔ_−２，ｔ_−１，ｔ_０はそれぞれフェーズ４ｎ，４ｎ＋２，４（ｎ＋１），４（ｎ＋１）＋１に相当する。この例は、フェーズ｛４（ｎ＋１）＋１｝の無照明画像における角膜反射位置を推定することに相当し、上記式（７）に相当する。フェーズ｛４（ｎ＋１）＋１｝（すなわち、時刻ｔ_０）における速度ｖ_{４（ｎ＋１）＋１}とすると、式（７）は下記式（２５），（２６）に置き換えられる。

ただし、
ｖ_{４（ｎ＋１）}＝Ｘ_{４（ｎ＋１）}−Ｘ_４ｎ＋２
ｖ_４ｎ＋２＝Ｘ_４ｎ＋２−Ｘ_４ｎ
である。

なお、現在の画像の４つ前までの画像まで考慮すれば、等加加速度モデルを用いた角膜反射位置の推定も可能である。等加速度モデルや等加加速度モデルなどのように次数を増やしたモデルは、カメラ１０の単位時間当たりのフレーム数が多い場合に有効である。

当然ながら、等加速度モデルまたは等加加速度モデルを用いる手法は、１サイクルで３画像を取得する第２実施形態および角膜球中心座標を用いる第３実施形態にも適用できる。

以上説明したように、本発明の一側面に係る角膜反射位置推定システムは、光源を備えるカメラを制御して対象者の眼の画像を連続的に取得する画像取得部であって、該光源からの光を用いて撮影された複数の瞳孔画像を取得した後に、該光源からの光を用いることなく撮影された一つの無照明画像を取得する該画像取得部と、複数の瞳孔画像のそれぞれに対応する角膜反射または角膜球中心の位置を基準位置として算出し、複数の該基準位置に基づいて角膜反射または角膜球中心の移動ベクトルを算出し、無照明画像における角膜反射位置を該移動ベクトルに少なくとも基づいて推定する推定部とを備える。

本発明の一側面に係る角膜反射位置推定方法は、プロセッサを備える角膜反射位置推定システムにより実行される角膜反射位置推定方法であって、光源を備えるカメラを制御して対象者の眼の画像を連続的に取得する画像取得ステップであって、該光源からの光を用いて撮影された複数の瞳孔画像を取得した後に、該光源からの光を用いることなく撮影された一つの無照明画像を取得する該画像取得ステップと、複数の瞳孔画像のそれぞれに対応する角膜反射または角膜球中心の位置を基準位置として算出し、複数の該基準位置に基づいて角膜反射または角膜球中心の移動ベクトルを算出し、無照明画像における角膜反射位置を該移動ベクトルに基づいて推定する推定ステップとを含む。

本発明の一側面に係る角膜反射位置推定プログラムは、光源を備えるカメラを制御して対象者の眼の画像を連続的に取得する画像取得部であって、該光源からの光を用いて撮影された複数の瞳孔画像を取得した後に、該光源からの光を用いることなく撮影された一つの無照明画像を取得する該画像取得部と、複数の瞳孔画像のそれぞれに対応する角膜反射または角膜球中心の位置を基準位置として算出し、複数の該基準位置に基づいて角膜反射または角膜球中心の移動ベクトルを算出し、無照明画像における角膜反射位置を該移動ベクトルに少なくとも基づいて推定する推定部としてコンピュータを機能させる。

このような側面においては、無照明画像よりも前に得られた複数の瞳孔画像に対応する複数の基準位置（角膜反射または角膜球中心の位置）が算出される。瞳孔画像は光源からの光を用いて撮影されるので、その瞳孔画像から角膜反射または角膜球中心の位置を得ることができる。そして複数の基準位置から角膜反射または角膜球中心の移動ベクトルを得ることで無照明画像を得る直前の角膜反射または角膜球中心の動きを把握できるので、その動きから、無照明画像を取得した時点の角膜反射位置を推定することができる。

フレームレートが高い（例えば２０００ｆｐｓ）高速度カメラを用いれば画像取得の時間差はわずか０．５ｍｓであり、明瞳孔画像、無照明画像、および暗瞳孔画像を得るのは１．５ｍｓで済む。撮影の時間間隔がこの程度であれば、その間に頭部が動いても画像間での瞳孔移動は無視することができる。しかし、高速度カメラは現状では高額であり簡単に採用することは難しい。これに対して、本実施形態で用いたフレームレートが２４０ｆｐｓのカメラは高速度カメラに比べて安価なのでシステムに導入しやすいが、上述したように４．２ｍｓという時間は、位置補正をしなくて済むレベルではない。そこで、本実施形態のように無照明画像を取得した時点の角膜反射位置を推定することで、明瞳孔画像もしくは暗瞳孔画像と無照明画像との位置補正が可能になる。

また、無照明画像の角膜反射位置を推定することで、明瞳孔画像もしくは暗瞳孔画像と無照明画像との位置補正を行う際に、画像のうち角膜反射位置を含むウィンドウのみを追尾しながら瞳孔を検出することができる。そのため、画像処理の負荷を全体として下げることができる。

角膜反射位置を基準位置として用いる場合には、３次元座標を考慮したりステレオ法を用いたりすることなく、無照明画像の角膜反射位置を簡易に推定することができる。一方、角膜球中心の位置を基準位置として用いる場合には、無照明画像の角膜反射位置をより正確に推定することができる。

他の側面に係る角膜反射位置推定システムでは、推定部が、移動ベクトルと、画像取得部が個々の画像を取得する際の個々の時間間隔とに基づいて、無照明画像における角膜反射位置を推定してもよい。移動ベクトルだけでなく、画像を取得する時間間隔も考慮することで、角膜反射の動きを正確に推定することができる。

他の側面に係る角膜反射位置推定システムでは、複数の瞳孔画像が二つの瞳孔画像であり、推定部が、二つの瞳孔画像のそれぞれにおける基準位置を算出し、二つの該基準位置に基づいて移動ベクトルを算出し、無照明画像における角膜反射位置を該移動ベクトルに少なくとも基づいて等速度モデルにより推定してもよい。等速度モデルを用いることで、前に得られた二つの瞳孔画像のみを用いて無照明画像での角膜反射位置を簡易に推定することができる。

他の側面に係る角膜反射位置推定システムでは、複数の瞳孔画像が三つの瞳孔画像であり、推定部が、三つの瞳孔画像のそれぞれにおける基準位置を算出し、三つの該基準位置に基づいて二つの移動ベクトルを算出し、無照明画像における角膜反射位置を該二つの移動ベクトルに少なくとも基づいて等加速度モデルにより推定してもよい。等加速度モデルを用いることで、移動ベクトルの移動の様子を詳細に推定することができるので、無照明画像での角膜反射位置を正確に推定することができる。

他の側面に係る角膜反射位置推定システムでは、画像取得部が、無照明画像を取得した後に、光源からの光を用いて撮影された一つの更なる瞳孔画像を取得し、推定部が、更なる瞳孔画像における角膜反射位置を移動ベクトルに少なくとも基づいて推定してもよい。この場合には、無照明画像での角膜反射位置だけでなくその後の瞳孔画像での角膜反射位置も推定することができる。

本発明の一側面に係る瞳孔検出システムは、上記角膜反射位置推定システムにより推定された無照明画像における角膜反射位置に基づいて瞳孔位置を算出する瞳孔算出部を備え、複数の瞳孔画像が明瞳孔画像および暗瞳孔画像のうちの一方を含み、更なる瞳孔画像が明瞳孔画像および暗瞳孔画像のうちの他方であり、瞳孔算出部が、明瞳孔画像および無照明画像からの差分明瞳孔画像の生成と、暗瞳孔画像および無照明画像からの差分暗瞳孔画像の生成とを無照明画像における角膜反射位置に基づいて実行し、該差分明瞳孔画像および該差分暗瞳孔画像から差分画像を生成し、該差分画像に基づいて瞳孔位置を算出する。

本発明の一側面に係る瞳孔検出方法は、プロセッサを備えるコンピュータシステムにより実行される瞳孔検出方法であって、上記角膜反射位置推定方法により推定された無照明画像における角膜反射位置に基づいて瞳孔位置を算出する瞳孔算出ステップを含み、画像取得ステップでは、無照明画像を取得した後に、光源からの光を用いて撮影された一つの更なる瞳孔画像を取得し、推定ステップでは、更なる瞳孔画像における角膜反射位置を移動ベクトルに少なくとも基づいて推定し、複数の瞳孔画像のうち無照明画像の直前に得られた瞳孔画像が明瞳孔画像および暗瞳孔画像のうちの一方を含み、更なる瞳孔画像が明瞳孔画像および暗瞳孔画像のうちの他方であり、瞳孔算出ステップでは、明瞳孔画像および無照明画像からの差分明瞳孔画像の生成と、暗瞳孔画像および無照明画像からの差分暗瞳孔画像の生成とを無照明画像における角膜反射位置に基づいて実行し、該差分明瞳孔画像および該差分暗瞳孔画像から差分画像を生成し、該差分画像に基づいて瞳孔位置を算出する。

本発明の一側面に係る瞳孔検出プログラムは、コンピュータを上記瞳孔検出システムとして機能させる。

このような側面においては、無照明画像における角膜反射位置も推定されるので、連続して撮影される明瞳孔画像、無照明画像、および暗瞳孔画像から精度の高い差分明瞳孔画像および差分暗瞳孔画像を生成できる。したがって、その差分明瞳孔画像および差分暗瞳孔画像から得られる差分画像も精度良く求められ、その差分画像から正確な瞳孔位置を求めることができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

（視線の検出）
算出部２２は、上記の手法により求めた瞳孔中心座標および角膜反射位置の相対的な位置関係からおよその視線を検出してもよい。この場合には、検出システム１は視線検出システムとしても機能する。この視線検出を厳密に実施するための方法は、例えば上記の参考文献１，２あるいは下記の参考文献３に記載されている。
（参考文献３）特開２００５−１８５４３１号公報

なお、このような視線検出の機能を実現するためのモジュールを検出プログラムＰ１に追加することで、視線検出プログラムを作成することができる。

すなわち、本発明の一側面に係る視線検出システムは、瞳孔検出システムにより算出された瞳孔位置に基づいて視線を検出する。

本発明の一側面に係る視線検出方法は、上記瞳孔検出方法により算出された瞳孔位置に基づいて視線を検出する。

本発明の一側面に係る視線検出プログラムは、コンピュータを上記視線検出システムとして機能させる。

このような側面においては、精度良く算出された瞳孔位置に基づいて対象者の視線を正しく特定することができる。

（顔姿勢の検出）
算出部２２は、上記の手法により求めた瞳孔中心座標を用いて顔姿勢を検出してもよい。この場合には、検出システム１は顔姿勢検出システムとしても機能する。顔姿勢検出の方法そのものは、例えば下記参考文献４に記載されている。
（参考文献４）特開２００７−２７１５５４号公報

参考文献４に記載の手法に従う場合には、算出部２２は左右の瞳孔のそれぞれについて、上記のいずれかの実施形態に基づいて角膜反射位置を推定し、その推定結果に基づいて瞳孔を検出し、瞳孔の中心座標を求める。また、算出部２２は、明瞳孔画像または暗瞳孔画像を参照して左右の鼻孔中心の２次元座標を求める。そして、算出部２２は左右の瞳孔中心と左右の鼻孔中心とについての２次元座標に基づいて左右の瞳孔中心の３次元座標および左右の鼻孔中心の３次元座標を算出し、対象者Ａの顔姿勢（重心および顔方向ベクトル）を求める。このように、参考文献４に記載の瞳孔中心座標の計算に上記各実施形態の手法を適用することができる。

なお、このような顔姿勢検出の機能を実現するためのモジュールを検出プログラムＰ１に追加することで、顔姿勢検出プログラムを作成することができる。

すなわち、本発明の一側面に係る顔姿勢検出システムは、上記瞳孔検出システムにより算出された瞳孔位置と、明瞳孔画像または暗瞳孔画像を参照して算出された鼻孔位置とに基づいて顔姿勢を検出する。

また、本発明の一側面に係る顔姿勢検出方法は、上記瞳孔検出方法により算出された瞳孔位置と、明瞳孔画像または暗瞳孔画像を参照して算出された鼻孔位置とに基づいて顔姿勢を検出する。

また、本発明の一側面に係る顔姿勢検出プログラムは、コンピュータを上記顔姿勢検出システムとして機能させる。

このような側面においては、精度良く算出された瞳孔位置に基づいて対象者の顔姿勢を正しく検出することができる。

（瞳孔の追跡に失敗した場合の処理）
瞳孔を追跡している最中に対象者Ａが眼を閉じた場合には画像中に瞳孔および角膜反射が写らないので、算出部２２は瞳孔を検出できず、瞳孔の追跡に失敗してしまう。この場合には、算出部２２は無照明画像を用いずに、明瞳孔画像および暗瞳孔画像のペアに対して位置補正をすることなく当該ペアから差分画像を生成し、その差分画像からの瞳孔検出を試みる。算出部２２は瞳孔検出に成功するまでこの試行を繰り返す。そして、瞳孔検出に成功すると、今度は上記実施形態のうちのいずれかの処理、すなわち無照明画像を用いた角膜反射位置の推定を含む瞳孔検出を再開する。

すなわち、他の側面に係る瞳孔検出システムでは、瞳孔算出部が、無照明画像における角膜反射位置に基づく瞳孔位置の算出に失敗した場合には、無照明画像を用いることなく、新たに取得された明瞳孔画像および暗瞳孔画像から新たな差分画像を生成し、該新たな差分画像に基づいて瞳孔位置を算出し、新たな差分画像に基づいて瞳孔位置が得られた場合には、画像取得部および推定部による処理が実行され、瞳孔算出部が該処理に基づいて推定された新たな無照明画像における角膜反射位置に基づいて瞳孔位置を算出してもよい。

この場合には、無照明画像を用いた瞳孔位置の算出に失敗するといったん明瞳孔画像および暗瞳孔画像のみから差分画像を生成して瞳孔を検出し、その検出に成功した場合には再び無照明画像を用いて瞳孔が検出される。したがって、対象者が眼を一瞬閉じるなどしたことで、無照明画像を用いた瞳孔検出が失敗した後も、引き続き対象者の瞳孔を追跡し続けることができる。

（その他）
なお、等速度モデルに代えてカルマンフィルタを用いる場合には線形カルマンフィルタを用いればよく、等加速度モデルに代えてカルマンフィルタを用いる場合には拡張カルマンフィルタを用いればよい。

したがって、他の側面に係る角膜反射位置推定システムでは、複数の瞳孔画像が二つの瞳孔画像であり、推定部が、二つの瞳孔画像のそれぞれにおける基準位置を算出し、二つの該基準位置に基づいて移動ベクトルを算出し、無照明画像における角膜反射位置を該移動ベクトルに少なくとも基づいて等速度モデルもしくは線形カルマンフィルタにより推定してもよい。

また、他の側面に係る角膜反射位置推定システムでは、複数の瞳孔画像が三つの瞳孔画像であり、推定部が、三つの瞳孔画像のそれぞれにおける基準位置を算出し、三つの該基準位置に基づいて二つの移動ベクトルを算出し、無照明画像における角膜反射位置を該二つの移動ベクトルに少なくとも基づいて等加速度モデルもしくは拡張カルマンフィルタにより推定してもよい。

画像処理装置２０は図１２に示すように１サイクルで２枚の画像を取得してもよい。図１２（ａ）は１サイクルで明瞳孔画像および無照明画像を取得する態様を示し、図１２（ｂ）は１サイクルで暗瞳孔画像および無照明画像を取得する態様を示す。画像処理装置２０は、明瞳孔画像（または暗瞳孔画像）と無照明画像とを交互に取得し、上記実施形態の手法を応用して無照明画像における角膜反射位置を推定してもよい。

１…検出システム、１０…カメラ、２０…画像処理装置、２１…画像取得部、２２…算出部（推定部、瞳孔算出部）、Ｐ１…検出プログラム、Ｐ１０…メインモジュール、Ｐ１１…画像取得モジュール、Ｐ１２…算出モジュール。

Claims (17)

1. 光源を備えるカメラを制御して対象者の眼の画像を連続的に取得する画像取得部であって、該光源からの光を用いて撮影された複数の瞳孔画像を取得した後に、該光源からの光を用いることなく撮影された一つの無照明画像を取得する該画像取得部と、
   前記複数の瞳孔画像のそれぞれに対応する角膜反射または角膜球中心の位置を基準位置として算出し、複数の該基準位置に基づいて角膜反射または角膜球中心の移動ベクトルを算出し、前記無照明画像における角膜反射位置を該移動ベクトルに少なくとも基づいて推定する推定部と
   を備える角膜反射位置推定システム。
2. 前記推定部が、前記移動ベクトルと、前記画像取得部が個々の画像を取得する際の個々の時間間隔とに基づいて、前記無照明画像における角膜反射位置を推定する、
   請求項１に記載の角膜反射位置推定システム。
3. 前記複数の瞳孔画像が二つの瞳孔画像であり、
   前記推定部が、前記二つの瞳孔画像のそれぞれにおける前記基準位置を算出し、二つの該基準位置に基づいて前記移動ベクトルを算出し、前記無照明画像における角膜反射位置を該移動ベクトルに少なくとも基づいて等速度モデルもしくは線形カルマンフィルタにより推定する、
   請求項１または２に記載の角膜反射位置推定システム。
4. 前記複数の瞳孔画像が三つの瞳孔画像であり、
   前記推定部が、前記三つの瞳孔画像のそれぞれにおける前記基準位置を算出し、三つの該基準位置に基づいて二つの移動ベクトルを算出し、前記無照明画像における角膜反射位置を該二つの移動ベクトルに少なくとも基づいて等加速度モデルもしくは拡張カルマンフィルタにより推定する、
   請求項１または２に記載の角膜反射位置推定システム。
5. 前記画像取得部が、前記無照明画像を取得した後に、前記光源からの光を用いて撮影された一つの更なる瞳孔画像を取得し、
   前記推定部が、前記更なる瞳孔画像における角膜反射位置を前記移動ベクトルに少なくとも基づいて推定する、
   請求項１〜４のいずれか一項に記載の角膜反射位置推定システム。
6. 請求項５に記載の角膜反射位置推定システムにより推定された前記無照明画像における角膜反射位置に基づいて瞳孔位置を算出する瞳孔算出部を備え、
   前記複数の瞳孔画像が明瞳孔画像および暗瞳孔画像のうちの一方を含み、前記更なる瞳孔画像が前記明瞳孔画像および前記暗瞳孔画像のうちの他方であり、
   前記瞳孔算出部が、前記明瞳孔画像および前記無照明画像からの差分明瞳孔画像の生成と、前記暗瞳孔画像および前記無照明画像からの差分暗瞳孔画像の生成とを前記無照明画像における角膜反射位置に基づいて実行し、該差分明瞳孔画像および該差分暗瞳孔画像から差分画像を生成し、該差分画像に基づいて前記瞳孔位置を算出する、
   瞳孔検出システム。
7. 前記瞳孔算出部が、前記無照明画像における角膜反射位置に基づく前記瞳孔位置の算出に失敗した場合には、無照明画像を用いることなく、新たに取得された明瞳孔画像および暗瞳孔画像から新たな差分画像を生成し、該新たな差分画像に基づいて前記瞳孔位置を算出し、
   前記新たな差分画像に基づいて前記瞳孔位置が得られた場合には、前記画像取得部および前記推定部による処理が実行され、前記瞳孔算出部が該処理に基づいて推定された新たな無照明画像における角膜反射位置に基づいて瞳孔位置を算出する、
   請求項６に記載の瞳孔検出システム。
8. 請求項６または７に記載の瞳孔検出システムにより算出された瞳孔位置に基づいて視線を検出する視線検出システム。
9. 請求項６または７に記載の瞳孔検出システムにより算出された瞳孔位置と、前記明瞳孔画像または前記暗瞳孔画像を参照して算出された鼻孔位置とに基づいて顔姿勢を検出する顔姿勢検出システム。
10. プロセッサを備える角膜反射位置推定システムにより実行される角膜反射位置推定方法であって、
    光源を備えるカメラを制御して対象者の眼の画像を連続的に取得する画像取得ステップであって、該光源からの光を用いて撮影された複数の瞳孔画像を取得した後に、該光源からの光を用いることなく撮影された一つの無照明画像を取得する該画像取得ステップと、
    前記複数の瞳孔画像のそれぞれに対応する角膜反射または角膜球中心の位置を基準位置として算出し、複数の該基準位置に基づいて角膜反射または角膜球中心の移動ベクトルを算出し、前記無照明画像における角膜反射位置を該移動ベクトルに基づいて推定する推定ステップと
    を含む角膜反射位置推定方法。
11. 光源を備えるカメラを制御して対象者の眼の画像を連続的に取得する画像取得部であって、該光源からの光を用いて撮影された複数の瞳孔画像を取得した後に、該光源からの光を用いることなく撮影された一つの無照明画像を取得する該画像取得部と、
    前記複数の瞳孔画像のそれぞれに対応する角膜反射または角膜球中心の位置を基準位置として算出し、複数の該基準位置に基づいて角膜反射または角膜球中心の移動ベクトルを算出し、前記無照明画像における角膜反射位置を該移動ベクトルに少なくとも基づいて推定する推定部と
    してコンピュータを機能させるための角膜反射位置推定プログラム。
12. プロセッサを備えるコンピュータシステムにより実行される瞳孔検出方法であって、
    請求項１０に記載の角膜反射位置推定方法により推定された前記無照明画像における角膜反射位置に基づいて瞳孔位置を算出する瞳孔算出ステップを含み、
    前記画像取得ステップでは、前記無照明画像を取得した後に、前記光源からの光を用いて撮影された一つの更なる瞳孔画像を取得し、
    前記推定ステップでは、前記更なる瞳孔画像における角膜反射位置を前記移動ベクトルに少なくとも基づいて推定し、
    前記複数の瞳孔画像のうち前記無照明画像の直前に得られた瞳孔画像が明瞳孔画像および暗瞳孔画像のうちの一方を含み、前記更なる瞳孔画像が前記明瞳孔画像および前記暗瞳孔画像のうちの他方であり、
    前記瞳孔算出ステップでは、前記明瞳孔画像および前記無照明画像からの差分明瞳孔画像の生成と、前記暗瞳孔画像および前記無照明画像からの差分暗瞳孔画像の生成とを前記無照明画像における角膜反射位置に基づいて実行し、該差分明瞳孔画像および該差分暗瞳孔画像から差分画像を生成し、該差分画像に基づいて前記瞳孔位置を算出する、
    瞳孔検出方法。
13. コンピュータを請求項６または７に記載の瞳孔検出システムとして機能させるための瞳孔検出プログラム。
14. 請求項１２に記載の瞳孔検出方法により算出された瞳孔位置に基づいて視線を検出する視線検出方法。
15. 請求項１２に記載の瞳孔検出方法により算出された瞳孔位置と、前記明瞳孔画像または前記暗瞳孔画像を参照して算出された鼻孔位置とに基づいて顔姿勢を検出する顔姿勢検出方法。
16. コンピュータを請求項８に記載の視線検出システムとして機能させるための視線検出プログラム。
17. コンピュータを請求項９に記載の顔姿勢検出システムとして機能させるための顔姿勢検出プログラム。

Images