JP4687097B2 - 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム - Google Patents

Description

この発明はカメラ等からの画像を処理する画像処理に関し、特に、画像中の人物の視線方向を推定するための画像認識の分野に関する。

人物の視線方向の検出は、マンマシンインタフェースの１つの方法として従来研究されてきた。

一方、たとえば、痴呆患者の介護者にとって、患者が例えばビデオ映像に心を集中してじっとしていてくれる時間が増えれば、負荷が軽減される。そこで、ビデオ映像を見ている患者をカメラで観察し、飽きてきたようすがみられたならばビデオの内容を切り替えて、引き続き興味を惹きつけ、じっとしている時間をより長くする方策が考えられる。患者がビデオ映像に心を集中しているかどうかは、たとえば、患者の目を検出追跡し、視線方向の時系列データを解析することにより判定できる可能性がある。

そして、視線検出についてはすでにさまざまな手法が提案されている（たとえば、非特許文献１を参照）。

ただし、たとえば、上述したような応用を考える場合は、対象が痴呆患者であり、非装着型のシステムとすることが前提となる。たとえば、２眼ステレオ方式で精度の高い実時間視線検出を実現した報告がある（たとえば、非特許文献２を参照）。しかし、２眼ステレオ方式では作動範囲が２つのカメラの共通視野領域に限定されるため、あらかじめ対象者の位置を限定できない場合には使いにくい。

そこで、対象者がビデオ映像装置から数ｍの範囲ならどの位置にいてもパン、チルト、ズームを制御して顔画像を得ることができるものとして、１台のビデオカメラの画像から、視線方向を推定する手法としては、従来、以下のような報告がある。

たとえば、顔の向きの変化にも対応するため、左右の目尻と口の両端（口角）から形成される台形を利用して顔の向きを推定すると同時に、両目尻の中点と左右の虹彩の中点の差から正面視からの目の片寄り量を推定し、両方合わせて視線方向を推定する原理を示した報告や（非特許文献３を参照）、眼球の幾何学的モデルから、両目尻ではなく、二つの眼球の中心を結ぶ直線が顔表面と交差する左右の２点（具体的には顔側面の目尻より少し上後方の点、以下、「三宅特徴点」と呼ぶ）を参照点とすれば、画像上のその中点と左右の虹彩の中点から、顔の向きに関係なく視線方向が計算できることを示し、実験でもよい結果を得た報告もある（非特許文献４を参照）。しかし、二つの三宅特徴点を画像から決定することは難しく、実験では人為的なマークを貼付し利用している。

さらに、人間の顔から「目尻」を検出する方法としては、空間周波数の低周波数成分を利用する方法の提案もあるが（たとえば、特許文献１を参照）、計算量の観点からは、実時間処理には、必ずしも適しているとはいえない。

なお、以下に説明する本発明の視線方向の推定方法においては、画像中からまず人物の顔を検出する。そこで、従来の画像中からの顔の検出手法の従来技術については、以下のようなものがある。

つまり、これまでに、肌色情報を用いた顔検出システムや、色情報を用いない（濃淡情報を用いる）顔検出手法では、テンプレートマッチングやニューラルネットワーク等の学習的手法を利用した手法については報告が数多くなされている。

たとえば、本発明の発明者も、安定性が高く、かつ実時間での顔の追跡が可能な手法として、安定した顔の特徴点として両目の間の点（以下では眉間（Ｂｅｔｗｅｅｎ−ｔｈｅ−Ｅｙｅｓ）と呼ぶ）に着目し、眉間の周囲は、額部と鼻筋は相対的に明るく、両サイドの目と眉の部分は暗いパターンになっており、それを検出するリング周波数フィルタを用いるとの手法を提案している（たとえば、非特許文献５、特許文献２を参照）。

さらに、本発明の発明者は、他の手法として、たとえば、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備して、順次、対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出し、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択する、というような顔を検出する方法も提案している（たとえば、特許文献３を参照）。

さらに、本発明の発明者らは、顔画像中から鼻位置をリアルタイムで追跡する手法についても報告している（たとえば、非特許文献６を参照）
大野健彦：視線を用いたインターフェース、情報処理、Vol．44、 No．7、pp．726−732（2003） 松本吉央、小笠原司、Zelinsky，A．：リアルタイム視線検出・動作認識システムの開発、信学技報ＰＲＭＵ99−151、pp．9−14 （1999） 青山宏、河越正弘：顔の面対称性を利用した視線感知法、情処研報89−CV−61、pp.1-8（1989） 三宅哲夫、春田誠司、堀畑聡：顔の向きに依存しない特徴量を用いた注視判定法、信学論（Ｄ−ＩＩ）、Vol．J86−D-II、No．12、 pp．1737−1744（2003） 川戸慎二郎、鉄谷信二、"リング周波数フィルタを利用した眉間の実時間検出"信学論（Ｄ−ＩＩ），ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，ｎｏ１２，ｐｐ．２５７７−２５８４，Ｄｅｃ．２００１． 川戸慎二郎、鉄谷信二：鼻位置の検出とリアルタイム追跡：信学技報IE2002−263、pp．25−29（2003） 特開平７−１８２４８３号公報明細書 特開２００１−５２１７６号公報明細書 特開２００４−１８５６１１号公報明細書

以上説明したような視線検出の方法は、１つのカメラより撮影された画像を用いる場合に、人為的なマーク等を用いずに画像情報に基づいて、リアルタイムに視線を追跡する方法や装置については、必ずしもどのようにして実現すればよいかが明確となっていない、という問題があった。

それゆえに本発明の目的は、１つのカメラより撮影された画像情報に基づいて、リアルタイムに視線を追跡する視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラムを提供することである。

この発明のある局面に従うと、視線方向の推定装置であって、人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影して獲得するための撮影手段と、対象画像領域内において、左右の虹彩を追跡する虹彩追跡手段と、対象画像領域内において、初期的に所定の汎用目尻テンプレートを用いて左右の目尻を検出する目尻検出手段とを備え、汎用目尻テンプレートは、左右の目のそれぞれに対応する第１および第２の汎用テンプレートを含み、第１および第２の汎用テンプレートの各々は、矩形の明領域中に、矩形の垂直方向の辺のうち顔の中心側に対応する一方の辺を底辺とし、矩形の垂直方向の他方の辺に頂点を有する三角形形状の暗領域が設けられたものであり、目尻検出手段は、対象画像領域内において、左右の虹彩の中心からそれぞれ所定距離離れた領域で、第１または第２の汎用テンプレートとのマッチングを行うことで、左右の目尻の検出を実行し、検出された左右の目尻の近傍の所定領域から追跡用目尻テンプレートデータを採集するための追跡用目尻テンプレート採集手段と、追跡用目尻テンプレートデータを用いて、対象画像領域内において左右の目尻を追跡する目尻追跡手段と、検出された左右虹彩間の中心位置と検出された左右目尻間の中心位置とに基づいて、視線を推定する視線推定手段とを備える。

この発明の他の局面に従うと、視線方向の推定方法であって、人間の顔領域を含む対象画像領域内の各画素に対応する画像データを準備するステップと、対象画像領域内において、左右の虹彩を追跡するステップと、対象画像領域内において、初期的に所定の汎用目尻テンプレートを用いて左右の目尻を検出するステップとを備え、汎用目尻テンプレートは、左右の目のそれぞれに対応する第１および第２の汎用テンプレートを含み、第１および第２の汎用テンプレートの各々は、矩形の明領域中に、矩形の垂直方向の辺のうち顔の中心側に対応する一方の辺を底辺とし、矩形の垂直方向の他方の辺に頂点を有する三角形形状の暗領域が設けられたものであり、左右の目尻を検出するステップは、対象画像領域内において、左右の虹彩の中心からそれぞれ所定距離離れた領域で、第１または第２の汎用テンプレートとのマッチングを行うことで、左右の目尻の検出を実行するステップを含み、検出された左右の目尻の近傍の所定領域から追跡用目尻テンプレートデータを採集するステップと、追跡用目尻テンプレートデータを用いて、対象画像領域内において左右の目尻を追跡するステップと、検出された左右虹彩間の中心位置と検出された左右目尻間の中心位置とに基づいて、視線を推定するステップとを備える。

この発明のさらに他の局面に従うと、コンピュータに、対象となる画像領域内の顔について視線方向の推定方法を実行させるためのプログラムであって、プログラムは、人間の顔領域を含む対象画像領域内の各画素に対応する画像データを準備するステップと、対象画像領域内において、左右の虹彩を追跡するステップと、対象画像領域内において、初期的に所定の汎用目尻テンプレートを用いて左右の目尻を検出するステップとを備え、汎用目尻テンプレートは、左右の目のそれぞれに対応する第１および第２の汎用テンプレートを含み、第１および第２の汎用テンプレートの各々は、矩形の明領域中に、矩形の垂直方向の辺のうち顔の中心側に対応する一方の辺を底辺とし、矩形の垂直方向の他方の辺に頂点を有する三角形形状の暗領域が設けられたものであり、左右の目尻を検出するステップは、対象画像領域内において、左右の虹彩の中心からそれぞれ所定距離離れた領域で、第１または第２の汎用テンプレートとのマッチングを行うことで、左右の目尻の検出を実行するステップを含み、検出された左右の目尻の近傍の所定領域から追跡用目尻テンプレートデータを採集するステップと、追跡用目尻テンプレートデータを用いて、対象画像領域内において左右の目尻を追跡するステップと、検出された左右虹彩間の中心位置と検出された左右目尻間の中心位置とに基づいて、視線を推定するステップとを備える。

［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態にかかる「視線方向の推定装置」について説明する。この視線方向の推定装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像に基づいて、視線方向を推定・検出するためのものである。図１に、この視線方向の推定装置の外観を示す。

図１を参照して、この視線方向の推定装置を構成するシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）またはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）ドライブ（以下、「光学ディスクドライブ」と呼ぶ）５０、あるいはＦＤ（Flexible Disk ）ドライブ５２を備えたコンピュータ本体４０と、コンピュータ本体４０に接続された表示装置としてのディスプレイ４２と、同じくコンピュータ本体４０に接続された入力装置としてのキーボード４６およびマウス４８と、コンピュータ本体４０に接続された、画像を取込むためのカメラ３０とを含む。この実施の形態の装置では、カメラ３０としてはＣＣＤ（Charge Coupled Device）またはＣＭＯＳセンサのような固体撮像素子を含むカメラを用い、カメラ３０の前にいてこのシステム２０を操作する人物の顔の位置を検出し視線を推定する処理を行なうものとする。

すなわち、カメラ３０により、人間の顔領域を含む画像であって対象となる画像領域内の各画素の値のデジタルデータが準備される。

図２は、カメラ３０により撮影された画像に基づいて、コンピュータ本体４０の処理結果がディスプレイ４２に表示される一例を示す図である。

図２に示すように、カメラ３０で撮影された画像は、ディスプレイ４２の撮影画像表示領域２００にリアルタイムに動画として表示されるとともに、後に詳しく説明するように、基準虹彩位置表示領域２０２には、初期的に行なわれた虹彩位置の検出結果が表示され、虹彩位置追跡結果表示領域２０４には、リアルタイムに追跡された虹彩位置が表示されている。撮影画像表示領域２００上の垂直な線は視線方向を示す指標である。視線がカメラ３０の方向を向いているとき、この指標はディスプレイ画面の中央にくる。１台のカメラ３０による撮影では、視線方向の絶村角度は計算できないので、カメラ３０に正対時にディスプレイ４２の左右の端を見たときに、たとえば、指標がディスプレイ画面の横１／４だけ振れるようにゲインを調整している。図２は、ディスプレイ４２の左端を見ているときの状態である。

図３に、このシステム２０の構成をブロック図形式で示す。図３に示されるようにこのシステム２０を構成するコンピュータ本体４０は、光学ディスクドライブ５０およびＦＤドライブ５２に加えて、それぞれバス６６に接続されたＣＰＵ（Central Processing Unit ）５６と、ＲＯＭ（Read Only Memory) ５８と、RAM （Random Access Memory）６０と、ハードディスク５４と、カメラ３０からの画像を取込むための画像取込装置６８とを含んでいる。光学ディスクドライブ５０にはＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２が装着される。ＦＤドライブ５２にはＦＤ６４が装着される。

既に述べたようにこの視線方向の推定装置の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２、ＦＤ６４等の記憶媒体に格納されて流通し、光学ドライブ５０またはＦＤドライブ５２等により記憶媒体から読取られてハードディスク５４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク５４にコピーされる。そうしてさらにハードディスク５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される。なお、ネットワーク接続されている場合には、ハードディスク５４に格納することなくＲＡＭ６０に直接ロードして実行するようにしてもよい。

図１および図３に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２、ＦＤ６４、ハードディスク５４等の記憶媒体に記憶されたソフトウェアである。

なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該視線方向の推定装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて視線方向の推定装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。

［視線方向の推定処理の動作］
以下では、本発明による視線の推定方法について説明する。

上述したように、非特許文献４に開示された手法は、マーク貼付が必要なだけでなく、顔が２０°程度横を向くと片方のマークが顔側面に隠れてしまい、顔の向きに影響されないという特徴を十分活かすことができない。

そこで、本発明では、三宅特徴点に近い自然特徴点である目尻を代用して、水平方向の視線推定アルゴリズムを実装している。

以下では、まず、ビデオ画像から顔を抽出し、目と鼻を追跡する。このような顔の検出と目と鼻の追跡アルゴリズムは、特に限定されないが、たとえば、上述した非特許文献５および非特許文献６で述べたものを使用することができる。さらに本発明では、目と鼻の位置び追跡に加えて、新たに円のフィッティングによる虹彩中心の抽出と目尻の自動抽出・追跡プログラムが組み込まれている。

本発明の処理の大略を述べると、まず、カメラ３０により撮影された画像中で正面顔を検出し、この正面顔領域において「汎用目尻テンプレート」を用いて、まず、目尻の検出を行なう。そして、検出された目尻の近傍で、ユーザの目尻パターン（以下、「追跡用目尻テンプレート」と呼ぶ）を採集する。追跡時は採集した追跡用目尻テンプレートを用いて、虹彩の近傍を画像中から探索検出する。視線方向は、このようにして得られた虹彩と目尻の相対位置関係から計算される。

図４は、初期的にユーザの正面顔画像から目尻の検出と追跡用目尻テンプレートの採集を行なう処理のフローを示すフローチャートである。

図４を参照して、まず、システム２０は、ディスプレイ４２の表示等により、ユーザにカメラ３０に対して正面を向くように促すとともに、ビデオ画像から顔を抽出し、目と鼻を追跡する。目と鼻が双方とも顔画像中から検出されれば、正面顔が検出されているものと判断する（ステップＳ１０２）。

続いて、システム２０は、左右の虹彩を検出して、虹彩中心を抽出する（ステップＳ１０４）。目の位置が画像中で特定されているので、虹彩の概略位置は既知である。したがって、この虹彩の概略位置を含む所定の大きさの領域において、周辺に向かって暗から明に変化する点を輪郭点候補としてラプラシアンのゼロクロス法で抽出し、いわゆる「ハフ変換」で最適な円の半径と中心を決定する。この際、虹彩の上辺、下辺は瞼によって隠されることが多いので、円の上辺１／６、下辺１／６に相当する部分はハフ変換の際に投票しない。なお、このような「ハフ変換」については、たとえば、文献：川口 剛、モハメッド リゾン、日高 大輔 著、「ハフ変換と分離度フィルタによる人物顔からの両目の検出」電子情報通信学会論文誌 Ｄ−ＩＩ Vol.J84-D-II No.10, pp.2190-2200 2001年10月に開示されている。

続いて、左右の虹彩の中点を中心に左右の虹彩が水平に並ぶように画像を回転する（ステップＳ１０６）。

ここで、図５は、上述した「汎用目尻テンプレート」を示す概念図である。汎用目尻テンプレートは、矩形の明領域中に三角形状の暗領域が存在する。

目尻は、顔中心にむかって広がった楔形の先端とみて、まず図５のような汎用目尻テンプレートで、左右独立に虹彩の側方に相関値が極大となる点を検出する。

すなわち、まず、右側の処理として、右虹彩の右側近傍小領域（たとえば、所定の大きさであって、虹彩の中心から右側に所定距離離れた矩形領域）で汎用右目尻テンプレートと最も相関の高い位置を右目尻位置とし（ステップＳ１０８）、抽出した右目尻位置を中心とする所定のテンプレートサイズのパターン（たとえば、濃淡パターン）を追跡用右目尻テンプレートとして、ハードディスク５４等の記憶装置中にセーブする（ステップＳ１１０）。

同様にして、左側の処理として、左虹彩の左側近傍小領域（たとえば、所定の大きさであって、虹彩の中心から左側に所定距離離れた矩形領域）で汎用左目尻テンプレートと最も相関の高い位置を左目尻位置とし（ステップＳ１１２）、抽出した左目尻位置を中心とする所定のテンプレートサイズのパターン（たとえば、濃淡パターン）を追跡用左目尻テンプレートとして、ハードディスク５４等の記憶装置中にセーブする（ステップＳ１１４）。

図６は、目尻の追跡および視線の推定処理のフローを示すフローチャートである。

図６を参照して、まず、図４と同様にして、画像中から目の位置を検出し、さらに、左右の虹彩の位置検出する（ステップＳ２０２）。

続いて、左右の虹彩の中点を中心に左右の虹彩が水平に並ぶように画像を回転する（ステップＳ２０４）。

さらに、右虹彩の右側近傍小領域で追跡用右目尻テンプレートと最も相関の高い位置を右目尻位置とし（ステップＳ２０６）、左虹彩の左側近傍小領域で追跡用左目尻テンプレートと最も相関の高い位置を左目尻位置とする（ステップＳ２０８）。

図７は、このようにして検出された目尻位置をディスプレイ４２に表示した一例である。

図７に示すように、目尻２１０および目尻２１２が検出されている。

図６に再び戻って、さらに、目尻の位置と虹彩の位置に基づいて視線を推定する（ステップＳ２１０）。

図８は、視線の推定を行なう処理を示す概念図である。

図８に示すように、検出された左右の目尻の中点（Ｘ１）と、左右の虹彩の中点（Ｘ２）との差から視線方向を推定する。たとえば、画像中において、中点Ｘ１に比べて、中点Ｘ２が右にずれていれば、ユーザ自身は、左を見ていると推定できる。ただし、目尻がかならずしも左右村称な位置に検出されるとは限らないので何らかのキャリブレーションを行なうことが望ましい。たとえば、鼻位置検出を利用して、鼻先が両目から等距離になったときに正面をみているとみなして、そのときの目尻のパターンを追跡用テンプレートとすると同時に、両目尻の中点と両虹彩の中点の差をオフツセットとして記憶し、視線方向の推定にはこのオフツセット分を差し引いて計算することとしてもよい。

以上説明したような処理により、１台のカメラ３０で撮影した画像に基づいて、リアルタイムにユーザの視線方向を追跡することが可能となる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態にかかるシステムの外観図である。 カメラ３０により撮影された画像に基づいて、コンピュータ本体４０の処理結果がディスプレイ４２に表示される一例を示す図である。 本発明の実施の形態にかかるシステムのハードウェア的構成を示すブロック図である。 初期的にユーザの正面顔画像から目尻の検出と追跡用目尻テンプレートの採集を行なう処理のフローを示すフローチャートである。 「汎用目尻テンプレート」を示す概念図である。 目尻の追跡および視線の推定処理のフローを示すフローチャートである。 検出された目尻位置をディスプレイ４２に表示した一例である。 視線の推定を行なう処理を示す概念図である。

符号の説明

２０ 視線方向の推定装置
３０ カメラ
４０ コンピュータ本体
４２ モニタ

Claims (3)

1. 人間の顔領域を含む対象画像領域内の各画素に対応する画像データを撮影して獲得するための撮影手段と、
   前記対象画像領域内において、左右の虹彩を追跡する虹彩追跡手段と、
   前記対象画像領域内において、初期的に所定の汎用目尻テンプレートを用いて左右の目尻を検出する目尻検出手段とを備え、
   前記汎用目尻テンプレートは、左右の目のそれぞれに対応する第１および第２の汎用テンプレートを含み、前記第１および第２の汎用テンプレートの各々は、矩形の明領域中に、前記矩形の垂直方向の辺のうち顔の中心側に対応する一方の辺を底辺とし、前記矩形の垂直方向の他方の辺に頂点を有する三角形形状の暗領域が設けられたものであり、
   前記目尻検出手段は、前記対象画像領域内において、前記左右の虹彩の中心からそれぞれ所定距離離れた領域で、前記前記第１または第２の汎用テンプレートとのマッチングを行うことで、前記左右の目尻の検出を実行し、
   検出された前記左右の目尻の近傍の所定領域から追跡用目尻テンプレートデータを採集するための追跡用目尻テンプレート採集手段と、
   前記追跡用目尻テンプレートデータを用いて、前記対象画像領域内において左右の目尻を追跡する目尻追跡手段と、
   検出された左右虹彩間の中心位置と検出された左右目尻間の中心位置とに基づいて、視線を推定する視線推定手段とを備える、視線方向の推定装置。
2. 人間の顔領域を含む対象画像領域内の各画素に対応する画像データを準備するステップと、
   前記対象画像領域内において、左右の虹彩を追跡するステップと、
   前記対象画像領域内において、初期的に所定の汎用目尻テンプレートを用いて左右の目尻を検出するステップとを備え、
   前記汎用目尻テンプレートは、左右の目のそれぞれに対応する第１および第２の汎用テンプレートを含み、前記第１および第２の汎用テンプレートの各々は、矩形の明領域中に、前記矩形の垂直方向の辺のうち顔の中心側に対応する一方の辺を底辺とし、前記矩形の垂直方向の他方の辺に頂点を有する三角形形状の暗領域が設けられたものであり、
   前記左右の目尻を検出するステップは、前記対象画像領域内において、前記左右の虹彩の中心からそれぞれ所定距離離れた領域で、前記前記第１または第２の汎用テンプレートとのマッチングを行うことで、前記左右の目尻の検出を実行するステップを含み、
   検出された前記左右の目尻の近傍の所定領域から追跡用目尻テンプレートデータを採集するステップと、
   前記追跡用目尻テンプレートデータを用いて、前記対象画像領域内において左右の目尻を追跡するステップと、
   検出された左右虹彩間の中心位置と検出された左右目尻間の中心位置とに基づいて、視線を推定するステップとを備える、視線方向の推定方法。
3. コンピュータに、対象となる画像領域内の顔について視線方向の推定方法を実行させるためのプログラムであって、前記プログラムは、
   人間の顔領域を含む対象画像領域内の各画素に対応する画像データを準備するステップと、
   前記対象画像領域内において、左右の虹彩を追跡するステップと、
   前記対象画像領域内において、初期的に所定の汎用目尻テンプレートを用いて左右の目尻を検出するステップとを備え、
   前記汎用目尻テンプレートは、左右の目のそれぞれに対応する第１および第２の汎用テンプレートを含み、前記第１および第２の汎用テンプレートの各々は、矩形の明領域中に、前記矩形の垂直方向の辺のうち顔の中心側に対応する一方の辺を底辺とし、前記矩形の垂直方向の他方の辺に頂点を有する三角形形状の暗領域が設けられたものであり、
   前記左右の目尻を検出するステップは、前記対象画像領域内において、前記左右の虹彩の中心からそれぞれ所定距離離れた領域で、前記前記第１または第２の汎用テンプレートとのマッチングを行うことで、前記左右の目尻の検出を実行するステップを含み、
   検出された前記左右の目尻の近傍の所定領域から追跡用目尻テンプレートデータを採集するステップと、
   前記追跡用目尻テンプレートデータを用いて、前記対象画像領域内において左右の目尻を追跡するステップと、
   検出された左右虹彩間の中心位置と検出された左右目尻間の中心位置とに基づいて、視線を推定するステップとを備える、プログラム。