JP6191943B2

JP6191943B2 - 視線方向推定装置、視線方向推定装置および視線方向推定プログラム

Info

Publication number: JP6191943B2
Application number: JP2013070319A
Authority: JP
Inventors: 内海　章; 章内海; 修蔵乗冨
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2013-03-28
Filing date: 2013-03-28
Publication date: 2017-09-06
Anticipated expiration: 2033-03-28
Also published as: JP2014194617A

Description

この発明はカメラ等からの画像を処理する画像処理に関し、特に、画像中の人物の視線方向を推定するための画像認識の分野に関する。

視線情報にはユーザの意図や興味対象などの情報が含まれているため、マーケティングや広告、コミュニケーション支援など様々な用途で有用であり、視線計測を利用した研究が幅広く進められている。

視線計測の手法としては、角膜反射を利用したものが一般的であるが、これらの手法では精度の高い計測が行える一方で、原理的に眼球と装置を近接させる必要があり、遠距離からの計測を行うことは難しい。また、これらの手法では、ユーザが特定の参照点を注視するなど事前にキャリブレーションを行う必要があるという問題があった。そのため、視線計測の用途は実験環境下での特定の被験者を対象とした計測に限られており、日常生活や公共の場において不特定多数のユーザに対して視線情報を取得することは困難であった（非特許文献１，非特許文献２を参照）。

それに対して、近年通常の画像観測を利用した視線計測の研究が盛んに行われている。なかでも眼球の３次元モデルを用いて眼球中心と虹彩（瞳孔）を結ぶ方向として視線方向を推定する手法は、特別な照明を必要とせず、従来の角膜反射による視線推定に比べて格段に低い解像度で視線計測を行うことができるという利点がある。特に、単眼カメラによる計測手法は、一定以上の解像度で観測ができればカメラとの距離に関わらず視線計測が行えることから観測距離の制約を大幅に緩和することが可能となる。また、ユーザに意識させずに自動的にキャリブレーションを行う手法も提案されており、これらの手法により、日常環境において視線を計測することが可能となった（たとえば、非特許文献３，特許文献１を参照）。

特開２０１２−２１６１８０号公報明細書

Ohno, T., Mukawa, N., and Kawato, S. 2003. Just blink your eyes: A head-free gaze tracking system. In Proc. CHI2003,950-951. Morimoto, C. H., and Mimica, M. R. M. 2005. Eye gaze tracking techniques for interactive applications. Computer Vision and Image Understanding 98, 1, 4-24. 山添大丈，内海章，米澤朋子，"単眼カメラを用いた視線推定のための三次元眼球モデルの自動キャリブレーション"，電子情報通信学会論文誌 D， Vol. J94-D， No。 6，pp.998-1006， 2011

この非特許文献３等に開示された手法では、視線方向を眼球中心と虹彩（瞳孔）を結ぶ方向として推定するが、虹彩（瞳孔）が画像から直接観測可能であるのに対して、眼球中心は直接観測することが困難であり、顔面上の特徴点の観測座標から間接的に位置を推定する必要がある。

視線推定の精度は、虹彩（瞳孔）位置と眼球中心位置両方の検出精度に依存するため、眼球中心位置を正確に推定することは視線計測の精度向上にとって極めて重要である。しかしながら、顔面上の特徴点（目尻・目頭・眉毛など）の分布には個人差があり、あらかじめその位置を正確に求めておくことは難しい。そのため、例えば、多数の人の平均的な特徴点位置をもとに顔姿勢を推定して眼球中心位置を求めることが行われる。

ただし、視線方向の推定精度を向上させるためには、眼球中心位置の推定精度をさらに向上させる必要がある。

本発明は、このような問題点を解決するためになされたものであって、その目的は、眼球中心と虹彩（瞳孔）を結ぶ方向として視線方向を推定する手法において、眼球中心位置の推定精度を向上させることが可能な視線方向推定装置、視線方向推定装置および視線方向推定プログラムを提供することである。

この発明の１つの局面に従うと、視線方向推定装置であって、観測領域内において、人間の頭部領域を含む動画像を取得するための撮影手段を備え、頭部領域には、予め複数の基本特徴点が規定されており、撮影された動画像の各画像フレームにおいて、基本特徴点を含む特徴点を抽出する特徴点抽出手段と、視線方向の推定処理の対象となる時点までの動画像において複数の画像フレームで抽出された基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定する眼球中心位置推定手段と、現時点の画像フレームから抽出された虹彩中心位置を抽出する虹彩位置決定手段と、眼球中心位置および虹彩中心位置に基づいて、推定対象となる人間の視線の方向を推定する視線方向推定手段とを備える。

好ましくは、眼球中心位置推定手段は、追加特徴点の頭部座標における３次元位置を推定する３次元位置推定手段と、基本特徴点および追加特徴点の３次元位置に基づいて、推定対象となる人間の頭部位置および姿勢を推定する姿勢推定手段と、推定された頭部位置および姿勢により、眼球中心の投影位置を算出する眼球中心位置算出部とを含む。

好ましくは、眼球中心位置推定手段は、弱透視変換を仮定した場合の基本特徴点および追加特徴点と眼球中心の投影位置の関係を表す線形変換を算出する特徴点関係算出手段と、基本特徴点および追加特徴点に基づいて、線形変換により眼球中心の投影位置を算出する眼球中心位置算出部とを含む。

この発明の他の局面に従うと、撮像装置により観測領域内において撮影された人間の頭部領域を含む動画像において、当該人間の視線方向を推定する視線方向推定方法であって、頭部領域には、予め複数の基本特徴点が規定されており、撮影された動画像の各画像フレームにおいて、基本特徴点を含む特徴点を抽出するステップと、視線方向の推定処理の対象となる時点までの動画像において複数の画像フレームで抽出された基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定するステップと、現時点の画像フレームから抽出された虹彩中心位置を抽出するステップと、眼球中心位置および虹彩中心位置に基づいて、推定対象となる人間の視線の方向を推定するステップとを備える。

この発明のさらに他の局面にしたがうと、演算装置と記憶装置とを備えるコンピュータに、撮像装置により観測領域内において撮影された人間の頭部領域を含む動画像において、当該人間の視線方向を推定する処理を実行させるための視線方向推定プログラムであって、頭部領域には、予め複数の基本特徴点が規定されており、プログラムは、演算装置が、撮影され記憶装置に格納された動画像の各画像フレームにおいて、基本特徴点を含む特徴点を抽出するステップと、演算装置が、視線方向の推定処理の対象となる時点までの動画像において複数の画像フレームで抽出された基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定するステップと、演算装置が、現時点の画像フレームから抽出された虹彩中心位置を抽出するステップと、演算装置が、眼球中心位置および虹彩中心位置に基づいて、推定対象となる人間の視線の方向を推定するステップとを、コンピュータに実行させる。

本発明の視線方向推定装置、視線方向推定装置および視線方向推定プログラムでは、眼球中心位置の推定精度を向上させ、より正確に視線方向の推定を行うことが可能となる。

視線方向の推定装置の外観を示す図である。コンピュータシステム２０のハードウェアブロック図である。ＣＰＵ２０４０がソフトウェアを実行することにより実現する機能を示す機能ブロック図である。顔（頭部）の検出が実施された結果を示す図である。ガボール表現を用いた顔部品モデルを用いた特徴点の抽出処理を説明するための概念図である。ラベリング処理例を示す図である。右目および左目の虹彩と眼球モデルとの照合処理の概念を示す図である。視線方向を決定するためのモデルを説明する概念図である。顔画像から抽出される顔特徴点の例を示す図である。実施の形態１における頭部位置・姿勢の推定の概念を示す概念図である。実施の形態１における眼球中心推定部５６４０の構成を説明するための機能ブロック図である。本実施の形態において、ＣＰＵ２０４０により視線推定のソフトウェアを実行する処理フローを示すフローチャートである。実施の形態２における眼球中心推定部５６４０の構成を説明するための機能ブロック図である。実施の形態２において、ＣＰＵ２０４０により視線推定のソフトウェアを実行する処理フローを示すフローチャートである。

以下、本発明の実施の形態の視線方向の推定装置の構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。

［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態にかかる「視線方向の推定装置」について説明する。この視線方向の推定装置は、パーソナルコンピュータ、カメラ付きの携帯情報端末または専用コンピュータ等、演算装置上で実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像に基づいて、視線方向を推定・検出するためのものである。

ただし、以下に説明する「視線方向の推定装置」の各機能の一部または全部は、ハードウェアにより実現されてもよい。

図１は、この視線方向の推定装置の外観を示す図である。

以下では、視線方向の推定装置が汎用のパーソナルコンピュータにより実現される構成を例にとって説明する。

図１を参照して、この視線方向の推定装置を構成するシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）またはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）ドライブ（以下、「光学ディスクドライブ」と呼ぶ）２０３０のような記録媒体からデータを読み取るためのドライブ装置を備えたコンピュータ本体２０１０と、コンピュータ本体２０１０に接続された表示装置としてのディスプレイ２１２０と、同じくコンピュータ本体２０１０に接続された入力装置としてのキーボード２１００およびマウス２１１０と、コンピュータ本体２０１０に接続された、画像を取込むためのカメラ３０とを含む。

記録媒体としては、光学ディスクに限定されず、たとえば、メモリカードのような不揮発性半導体メモリを用いたものであってもよく、その場合は、メモリドライブ２０２０（図示せず）が設けられる。

また、この実施の形態の装置では、各カメラ３０としては、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサのような固体撮像素子を含む単眼カメラを用いることができる。ただし、カメラの台数としては、１台でもよいし、複数台でもよい。以下では、１台の単眼カメラにより画像の撮像がされるものとして説明する。

（ハードウェアの構成）
図２は、コンピュータシステム２０のハードウェアブロック図である。

図２において、コンピュータ本体２０１０は、メモリドライブ２０２０、ディスクドライブ２０３０に加えて、ＣＰＵ２０４０と、ディスクドライブ２０３０及びメモリドライブ２０２０に接続されたバス２０５０と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ２０６０とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ２０７０と、アプリケーションプログラム、システムプログラム、及びデータを記憶するための不揮発性記憶装置（たとえば、ハードディスク（ＨＤＤ））２０８０と、ネットワーク等を介して外部機器、たとえば、サーバ等と通信するための通信インタフェース２０９０と、カメラ３０からの画像信号を受信するための画像入力インタフェース２０９２とを含む。

コンピュータシステム２０に、本実施の形態の視線方向の推定装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ２２００、またはメモリ媒体２２１０に記憶されて、ディスクドライブ２０３０またはメモリドライブ２０２０に挿入され、さらにハードディスク２０８０に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ本体２０１０に送信され、ハードディスク２０８０に記憶されても良い。プログラムは実行の際にＲＡＭ２０７０にロードされる。

コンピュータシステム２０は、さらに、入力装置としてのキーボード２１００およびマウス２１１０と、出力装置としてのディスプレイ２１２０とを備える。

上述したようなコンピュータシステム２０として機能するためのプログラムは、コンピュータ本体２０１０に、情報処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム２０がどのように動作するかは周知であり、詳細な説明は省略する。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

さらに、ＣＰＵ２０４０も、１つのプロセッサであっても、あるいは複数のプロセッサであってもよい。すなわち、シングルコアのプロセッサであっても、マルチコアのプロセッサであってもよい。

［システムの機能ブロック］
本実施の形態では、あらかじめ準備した平均的な顔形状（部品配置）モデルをもとに眼球中心位置を推定しながら、ユーザ固有の顔部品配置と眼球中心位置の関係をオンラインで学習し、眼球中心位置の推定精度を向上させることで高精度な視線推定を可能にする。

以下に説明するとおり、本実施の形態の視線方向の推定装置では、顔特徴点を各画像フレームで検出することにより、単眼カメラを使用して視線方向を推定する。

本実施の形態の視線方向の推定装置では、眼球中心と虹彩中心を結ぶ３次元ベクトルを視線方向として推定する。

ここで虹彩はカメラによって観測可能であるが、眼球中心は直接観測することができない。そこでカメラで得られる観測画像からユーザの顔面上の特徴点を検出し、顔形状の３次元モデルと顔特徴点の２次元観測座標から頭部の位置・姿勢を推定し、間接的に眼球中心の３次元座標を推定する。顔形状の３次元モデル(顔部品の３次元配置)と眼球中心位置の関係は、複数フレームの観測結果から、上述した非特許文献３に開示された手法によりユーザに意識させることなく自動的にキャリブレーションすることができる。

一方で、頭部位置・姿勢の推定結果に基づいて、左右それぞれの目領域の観測画像から虹彩抽出を行う。虹彩領域について楕円形上の当てはめ等の手法により３次元の虹彩中心位置（または虹彩中心の投影位置）を決定し、眼球中心位置と虹彩中心位置から視線方向を算出する。

上記の処理を実現するためには、以下に挙げる各項目についての検討が必要となる。
・顔の３次元モデル
・顔の検出、顔特徴点の決定
・眼球中心位置の推定
・虹彩の抽出
・視線方向の推定
以下では、これらの各項目について説明する。

なお、以下では実施の形態の説明の便宜上、「虹彩中心」との用語を用いるが、この用語は、「虹彩の中心」または「瞳孔の中心」を意味するものとして使用するものとする。つまり、視線の推定処理において、以下の説明のような手続きにより求められるものを「虹彩中心」と呼ぶか「瞳孔中心」と呼ぶかは、その手続きが同様である限りにおいて、本実施の形態の態様において、本質的な相違を有するものではない。

図３は、本実施の形態の視線方向の推定装置において、上述したＣＰＵ５６がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。

なお、図３に示した機能ブロックのうちのＣＰＵ５６が実現する機能ブロックとしては、ソフトウェアでの処理に限定されるものではなく、その一部または全部がハードウェアにより実現されてもよい。

図３を参照して、複数のカメラ３０により撮像された動画に対応する映像信号は、フレームごとに画像キャプチャ処理部５６０２により制御されてデジタルデータとしてキャプチャされ、画像データ記録処理部５６０４により、たとえば、ハードディスク２０８０のような不揮発性記憶装置に格納される。

顔検出部５６０６は、キャプチャされたフレーム画像列に対して、周知の顔検出アルゴリズムにより、顔候補探索を行う。なお、このような周知な顔（頭）検出アルゴリズムとしては、特に限定されないが、たとえば、特開２００８−１０２９０２号公報明細書に記載されるようなアルゴリズムや、後に説明するような公知文献に記載されるアルゴリズムを使用することが可能である。

特徴点抽出部５６１０は、後に説明するように、画像中の顔領域から特徴抽出を行う特徴抽出部５６１２と、抽出された特徴から予め定められた基本特徴点を決定する基本特徴点決定部５６１４ａと、動画の撮像の時間経過に従って、新たに検出される追加特徴点を決定する追加特徴点決定部５６１４ｂとを含む。なお、基本特徴点決定部５６１４ａと追加特徴点決定部５６１４ｂとを総称する場合は、特徴点決定部５６１４と呼ぶ。

眼球中心推定部５６４０は、眼球の３次元モデルに基づいて、処理対象の特定人物の眼球中心の３次元的な位置を推定する。本実施の形態では、追加の特徴点を順次追加していきながら、顔モデルにおける眼球中心位置を算出する構成とすることで、より多くの特徴点により、より精度を向上させながら、眼球中心位置の推定を行うことが可能となる。

虹彩抽出部は５６２０は、後に説明するように画像中から虹彩を抽出し、虹彩中心抽出部５６２２は、後に説明するようなアルゴリズムにより、虹彩の中心の投影位置を検出する。ここで、虹彩位置の推定においては、後に説明する最適化処理により虹彩位置の推定を行ってもよいし、あるいは、これも特許文献１（特開２００８−１０２９０２号公報明細書）に記載されたような処理であって、目の周辺領域に対して、ラプラシアンにより虹彩のエッジ候補を抽出し、円のハフ変換を適用することにより、虹彩の中心の投影位置を検出する、というような処理を行ってもよい。

視線方向推定部５６６０は、抽出された虹彩の中心の投影位置である画像フレーム中の２次元的な位置と、推定された眼球の３次元的な中心位置とに基づいて、視線方向を推定する。推定された視線方向は、眼球中心位置等の推定処理に使用したパラメータとともに、ハードディスク（不揮発性記憶装置）２０８０に格納される。

また、表示制御部５６７０は、以上のようにして推定された視線の方向を、表示装置２１２０において、取得された画像フレーム上に表示するための処理を行なう。

以下、各処理について、さらに詳しく説明する。

（顔の３次元モデル）
顔面上の各特徴点の重心位置を原点として顔の正面方向をＺ軸の正方向とする座標系（Ｘ＝０に対して左右対称)を定義し、複数の被験者についての観測データに基づいて平均的な顔の３次元モデル(顔部品の配置) を生成する。顔面上の基本特徴点としてＮ点(例えば両目尻、目頭と口の両端点の６点(Ｎ＝６))を利用する。ここでp番目の特徴点の３次元位置を以下のように表す。

（顔の検出，顔特徴点の決定）
顔検出および顔特徴点の検出については、たとえば、それぞれ広く用いられているＨａａｒ−ｌｉｋｅ特徴量を用いた顔検出アルゴリズムおよび、ガボール（Ｇａｂｏｒ）特徴量を利用した顔特徴点抽出を利用することができる。

まず、Ｈａａｒ−ｌｉｋｅ特徴量を用いた顔検出アルゴリズムについては、以下の文献に開示がある。

文献１：Viola, P., and Jones, M. 2001. Rapid object detection using a boosted cascade of simple features. In Proc. CVPR2001, vol. 1, 511-518.
ここで、図４は、このような顔（頭部）の検出が実施された結果を示す図である。このような顔（頭部）の検出処理としては、特に限定されないが、たとえば、以下の公知文献２に開示されたアルゴリズム（AdaBoostと呼ぶ）を使用することができる。

文献２：CVIM研究会チュートリアルシリーズ(チュートリアル2) 情報処理学会研究報告. 2007-CVIM-159(32), [コンピュータビジョンとイメージメディア] , P.265-272, 2007-05-15.
顔（頭部）の画像フレームからの検出については、周知の他のアルゴリズムを利用することも可能である。

また、顔特徴点の抽出において、顔部品モデルとしては、特徴点を含む部分画像を顔部品テンプレートとして事前に準備しおいてもよいし、あるいは、上述したガボール（Gabor）表現を用いたモデルを使用することも可能である。

図５は、このようなガボール表現を用いた顔部品モデルを用いた特徴点の抽出処理を説明するための概念図である。

ここで、「ガボール表現を用いた顔部品モデル」とは、顔画像領域内の各部分領域をガボール基底ベクトルとの積和演算により低次元ベクトル表現に変換し、あらかじめ変換してハードディスク２０８０に記録してあるモデルのことである。カメラ３０からの画像フレームは、たとえば、図５（ａ）の黒枠で示されるような黒四角の枠の大きさで部分画像に分割してあるものとする。ＣＰＵ２０４０は、このガボール表現を用いた顔部品モデルを顔部品テンプレートとして、各カメラからの画像フレームの各部分画像と比較し、類似度の高いものを特徴点として抽出する。

このような特徴点の抽出処理については、たとえば、以下の公知文献３に記載されている。

文献３：画像処理による顔検出と顔認識(サーベイ(2))情報処理学会研究報告. 2005-CVIM-149(37), [コンピュータビジョンとイメージメディア] , P.343-368, 2005-05-13.
なお、顔特徴点の抽出には、SIFT（Scale-Invariant Feature Transform）、SURF（Speeded Up Robust Features）などの特徴抽出手法を利用してもよい。

（眼球中心位置の推定）
上記の顔の３次元モデルを用いて顔の３次元位置、姿勢を決定する。頭部の位置、姿勢をＲ，Ｔとすると、顔の特徴点pの３次元位置について以下の関係が成り立つ。

ここで、Ａcはカメラの内部パラメータである。頭部の位置姿勢ＲとＴは次式で計算される再投影誤差を最小にすることで求めることができる。

推定された頭部位置姿勢に基づいて眼球中心投影位置を推定する。人の頭部には左右２個の眼球があるが、推定手法は共通であるので以下では一方の眼球についてのみ説明する。

眼球中心の投影位置ｘ_c＝［x_c, y_c］は、以下のようになる（後に説明する実施の形態１）。

なお、弱透視変換を仮定すると、顔特徴点位置（ｘ_p，ｙ_p）と眼球中心投影位置（ｘ_C，ｙ_C）の関係は線形変換Ｐで表されるため、変換式Ｐが既知であれば眼球中心投影位置は次式によって直接推定することもできる（後に説明する実施の形態２）。

（虹彩の抽出）
以上のようにして得られた頭部位置・姿勢に基づいて、カメラにおける左右の各目領域画像を抽出する。目領域の抽出には、ベジェ曲線を用いてモデル化した瞼形状の当てはめ結果と眼球領域の境界を利用することができる。

抽出後、各画素ごとの輝度値に基づいて虹彩・白目のラベル付けを行う。最後に得られた虹彩領域に対して３次元虹彩モデルを当てはめることで虹彩中心位置ｘ_iris＝［x_iris,ｙ_iris］を得る。

このような処理については、特許文献１に記載があるので、以下、簡単に説明する。

すなわち、入力画像から目の周辺領域を切り出し、色および輝度情報をもとに、以下の式（１）に従って、虹彩（黒目）、白目、肌領域の３種類にラベル付けを行なう。

ここで、ｈｓ,ｋは、肌領域のｋ番目の画素の色相（hue）の値を表わす。ｈｉ，ｊは、入力画像中の画素（ｉ，ｊ）（第ｉ番目のフレームのｊ番目の画素）の色相の値を表わす。ｖｓ,ｋは、入力画像中の画素（ｉ，ｊ）の明度の値を表わす。

図６は、このようなラベリング処理例を示す図である。

続いて各画素が虹彩モデルの内側にあるかどうかをチェックし、眼球モデルとの照合度を評価する（最適化処理）。

図７は、このような右目および左目の虹彩と眼球モデルとの照合処理の概念を示す図である。

ここで、このような眼球モデルとの照合度の評価処理を行なうにあたり、以下の式（２）で表される距離ｄ_｛LR｝,i,jを導入する。

一方、ｒ_｛LR｝,i,jは、虹彩中心から画素（ｉ，ｊ）方向の虹彩半径を示すとすると、図７に示すとおり、画素（ｉ，ｊ）が虹彩の外側にあれば、ｄ_｛LR｝,i,jは、ｒ_｛LR｝,i,jよりも大きな値を示す。

ｒ_｛LR｝,i,jは、以下の式（３）に示すように、３次元の眼球中心位置Ｘⁱ _{LR}（太字）、対象画像フレーム内の画素位置（ｘ_ｉ，ｊ，ｙ_ｉ，ｊ）、眼球半径ｌ^ｉ、虹彩半径ｒ^ｉ、対象画像フレーム内の虹彩中心投影位置ｘ_{LR}、ｉ（太字）の関数となる。なお、以下では、下付文字｛ＬＲ｝は、左を意味するＬ、右を意味するＲを総称するものとして使用する。また、添え字のｉは、第ｉ番目の画像フレームであることを示す。

なお、眼球中心位置は頭部に対して一定の位置にあると考えられる。ここで、眼球中心位置としては、頭部位置・姿勢により推定された位置、または、弱透視変換を仮定して得られた位置を用いるものとする。

最後に、眼周辺の全画素についてｄ_｛LR｝,i,jの評価を行ない、入力画像群に尤もよく当てはまる以下の式（４）のモデルパラメータθを、式（５）に従って決定する。

ここで、ｇ_i,j｛LR｝は、フレームi、画素jにおけるｄ_｛LR｝,i,jの評価値であり、対象画素が虹彩領域か白目領域かによって、以下の式に従い、符合を反転させる。

ラベリングｕijが撮影された画像内の虹彩領域を反映し、関数Ｇ_i,j｛LR｝は、眼球モデルから算出される虹彩領域を反映している。

このようにして、虹彩中心位置ｘ_iris＝［x_iris,ｙ_iris］を得ることができる。
（視線方向の推定）
以上のようにして得られた虹彩中心投影位置および眼球中心位置の投影位置から視線方向を計算することができる。

より具体的には、以上で求まった眼球中心位置と虹彩中心位置より視線方向を計算する。

図８は、視線方向を決定するためのモデルを説明する概念図である。

すなわち、以上の処理で得た眼球中心位置の画像上での投影座標をｘ_c＝［x_c, y_c］、虹彩中心の２次元座標をｘ_iris＝［x_iris,ｙ_iris］とし、眼球領域の半径ｒとすると視線方向(カメラの光軸と視線方向との間の角度) は以下の式により推定できる。

ここで、α，βはｘ軸、ｙ軸方向のそれぞれの視線方向である。
（顔特徴点の追加）
本実施の形態では、事前に用意された平均的な顔モデル等に基づいて、観測画像から抽出した特徴点から頭部の位置・姿勢を推定する。入力画像から新たに観測される特徴点と頭部位置・姿勢の関係は繰り返し観測によって徐々に精度を上げながら推定される。初期の段階では、眼球中心位置は事前に用意された顔モデル等に基づく頭部位置・姿勢推定情報のみから推定されるが、上記の頭部位置・姿勢と新たに観測される特徴点の関係が得られた段階で、それらの特徴点の情報を加えて眼球中心位置をより高精度に推定できるようになる。眼球中心位置と、別途得られる虹彩（瞳孔）位置から視線方向を算出することができる。

図９は、顔画像から抽出される顔特徴点の例を示す図である。

図１０は、実施の形態１における頭部位置・姿勢の推定の概念を示す概念図である。

図９の例では、黒でマークした特徴点（目尻・目頭・口端）６点が基本特徴点であり、平均的な顔モデルにおける位置があらかじめ与えられている。

図１０に示すように、これらの基本特徴点の顔面上の位置は比較的個人差が少なく、平均的なモデルによって頭部の位置・姿勢を推定することが可能である。したがって、基本特徴点としては、（目尻（左右）・目頭（左右）・口端（左右））のうちの少なくとも４点を設定するものとする。しかしながら、特徴点数が限られること、個人差が皆無ではないことから、頭部位置・姿勢推定の精度は比較的低い。

一方、図９の例において白でマークした特徴点は追加で検出された特徴点を示している。これらの特徴点は、眉毛やまぶたなど個人間の位置変化が大きい点であり、初期段階ではその位置は不明である。

しかし、図１０に示すように、繰り返し観測によって上述の通り、頭部位置・姿勢あるいは眼球中心位置とこれらの特徴点の関係を学習し、眼球中心位置の推定精度を向上させることが可能である。

図１１は、実施の形態１における眼球中心推定部５６４０の構成を説明するための機能ブロック図である。

図１１に示すように、眼球中心推定部５６４０は、３次元の頭部位置・姿勢を陽に含む処理により、眼球中心位置の推定を実行する。

すなわち、眼球中心推定部５６４０は、基本特徴点に基づいて、顔位置および顔姿勢の推定処理を行う初期顔位置・姿勢推定部５６４２と、新たな特徴点が観測されると、その新たな特徴点の頭部座標系における３次元位置を推定する特徴点３次元位置推定部５６４４と、頭部位置および顔位置の推定を行う時点で、３次元位置が特定済みの特徴点を用いて、顔位置および顔姿勢の推定処理を行う顔位置・姿勢推定部５６４６と、推定された顔位置および顔姿勢により、眼球中心位置を算出する眼球中心位置算出部５６４８とを含む。

図１２は、本実施の形態において、ＣＰＵ２０４０により視線推定のソフトウェアを実行する処理フローを示すフローチャートである。

図１２を参照して、処理が開始されると、まず、ＣＰＵ２０４０は、処理する画像フレームを時間軸上で特定するためのフレーム数Ｎｆを１に設定する（Ｓ１０２）。

続いて、ＣＰＵ２０４０は、画像キャプチャ処理部５６０２により、カメラ３０で観測される画像を、画像データとしてキャプチャする（Ｓ１０４）。そして、ＣＰＵ２０４０は、顔検出部５６０６により、キャプチャされたカメラ３０からの画像フレームのデータにおいて、顔（頭部）の検出を実施する（Ｓ１０５）。

続いて、ＣＰＵ２０４０は、検出された顔領域において、特徴抽出処理を行い（Ｓ１０６）、基本特徴点を決定する（Ｓ１０８）。

さらに、ＣＰＵ２０４０は、初期顔位置・姿勢推定部５６４２により、決決定されたすべての特徴点を用いて頭部位置・姿勢を推定し（Ｓ１１０）、推定された顔位置および顔姿勢に基づいて、眼球中心位置算出部５６４８により眼球中心位置を算出して眼球中心位置の推定処理を実行する（Ｓ１１８）。

また、ＣＰＵ２０４０は、虹彩を検出して虹彩中心位置を決定し（Ｓ１２０）、推定された眼球中心位置および虹彩中心位置に基づき、視線方向推定部５６６０により視線方向の推定を行う（Ｓ１２２）。

ＣＰＵ２０４０は、表示制御部５６７０により結果を出力し（Ｓ１２６）、現在のフレームでの頭部位置・姿勢の推定結果をハードディスク２０８０に格納する（Ｓ１２８）。

処理の終了が指示されていなければ（Ｓ１３０でＮ）、ＣＰＵ２０４０は、フレーム数Ｎｆを１だけインクリメントし（Ｓ１４０）、カメラ３０からの次のフレームとして画像をキャプチャし（Ｓ１５０）、前時刻の頭部位置・姿勢の推定結果を取得して（Ｓ１５２）これを利用して、顔検出処理を実行する（Ｓ１５４）。

ＣＰＵ２０４０は、特徴抽出部５６１２により顔領域から特徴の抽出を行い（Ｓ１５６）、特徴点を決定する（Ｓ１５８）。

頭部の座標系上で３次元座標（Ｘp，Ｙp，Ｚp)にある顔面上の特徴点は頭部の姿勢・位置がＲ，Ｔであるとき次式により２次元座標（ｘp、ｙp）に観測される。

新たな特徴点ｑ（Ｎ＋１≦ｑ≦Ｍ）が時刻ｔ＝１，…，ｋにおいて観測されたとすると、特徴点ｑの３次元位置については、ＣＰＵ２０４０は、以下のようにして推定する（Ｓ１６０）。

観測回数の増加に従い（ｋの値の増加に従い）、推定される特徴点ｑの３次元位置の精度は向上する。

処理がＳ１１０にもどると、ＣＰＵ２０４０は、繰り返し観測によって新たな特徴点ｑの３次元推定位置（Ｘq，Ｙq，Ｚq)が得られたら、頭部の位置・姿勢Ｒ，Ｔをこれらの特徴点の情報を考慮して以下の式に従って推定する（Ｓ１１０）。

観測回数の増加に伴い、より精度の向上した特徴点の３次元推定位置に基づいて、頭部の位置・姿勢Ｒ，Ｔを推定することになるので、これらの頭部の位置・姿勢の推定精度も観測回数とともに、向上することになる。

さらに、ＣＰＵ２０４０は、顔位置・姿勢推定部５６４６により、推定された頭部位置・姿勢Ｒ，Ｔによって眼球中心の投影位置ｘ_c＝［x_c, y_c］を次式で計算する。

以下、視線方向の推定のための処理は、同様であるので、説明は繰り返さない。

以上のような構成により、実施の形態１の視線方向推定装置、視線方向推定装置および視線方向推定プログラムでは、繰り返し観測の回数（撮像フレーム数）の増加に伴って、顔位置および姿勢の推定に利用する特徴点の位置の推定精度が高まることにより、より高精度に眼球中心位置を推定することができ、より正確に視線方向の推定を行うことが可能となる。

なお、以上の説明では、繰り返し観測によって、頭部座標における推定位置を更新するのは、追加特徴点であるものとした。ただし、本実施の形態において、推定位置の更新は、基本特徴点および追加特徴点の双方を含めて行うこととしてもよい。基本特徴点（目尻・目頭・口端（のうちの所定数））の位置についても、他の特徴点に比べると小さいものの個人差が存在する。そこで、基本特徴点（平均モデル）を使った繰り返し観測によって、基本特徴点（ユーザ個人の位置）と追加特徴点の位置を正確に求める構成とすることも可能である。

また、以上の説明では、撮像される画像は、単眼カメラの画像であるものとして説明したが、入力画像は距離画像（３次元画像）であってもよい。また、たとえば、初期的な基本特徴点の抽出においては、距離画像を用い、その後は、単眼カメラとしての画像を利用するというような構成でもよい。
［実施の形態２］
図１３は、実施の形態２における眼球中心推定部５６４０の構成を説明するための機能ブロック図である。

実施の形態２のその他の構成は、実施の形態１と同様であるので、説明は繰り返さない。

実施の形態２では、３次元の頭部位置・姿勢を陽に含まない場合の例を示している。

上述したとおり、弱透視変換を仮定すると、顔特徴点位置（ｘp、ｙp）と眼球中心投影位置（x_c, y_c）の関係は線形変換で表されるため、変換Ｐが既知であれば眼球中心投影位置は次式によって直接推定できる。

実施の形態２では、このような性質を利用して、眼球中心投影位置を推定し、これを利用して、視線方向の推定を行う。

図１３を参照して、眼球中心位置推定部５６４０は、基本特徴点決定部５６１４ａおよび追加特徴点決定部５６１４ｂで決定された特徴点を用いて、基本特徴点群と追加特徴点（群）と眼球中心投影位置の関係を、弱透視変換を仮定することで求める特徴点関係産出部５６５０と、このようにして求められた顔特徴点位置（ｘp、ｙp）と眼球中心投影位置（x_c, y_c）の関係を表わす線形変換を用いて、眼球中心投影位置を産出する眼球中心位置算出部５６５２とを含む。

図１４は、実施の形態２において、ＣＰＵ２０４０により視線推定のソフトウェアを実行する処理フローを示すフローチャートである。

図１４を参照して、処理が開始されると、まず、ＣＰＵ２０４０は、処理する画像フレームを時間軸上で特定するためのフレーム数Ｎｆを１に設定する（Ｓ１０２）。

さらに、ＣＰＵ２０４０は、特徴点関係算出部５６５０により、決定されたすべての特徴点を用いて顔特徴点位置（ｘp、ｙp）と眼球中心投影位置（x_c, y_c）の関係を表わす線形変換を推定し（Ｓ１１２）、推定された線形変換に基づいて、眼球中心位置算出部５６５２により眼球中心位置を算出して眼球中心位置の推定処理を実行する（Ｓ１１８）。

ＣＰＵ２０４０は、表示制御部５６７０により結果を出力し（Ｓ１２６）、現在のフレームでの頭部位置の推定結果をハードディスク２０８０に格納する（Ｓ１２８）。

処理の終了が指示されていなければ（Ｓ１３０でＮ）、ＣＰＵ２０４０は、フレーム数Ｎｆを１だけインクリメントし（Ｓ１４０）、カメラ３０からの次のフレームとして画像をキャプチャし（Ｓ１５０）、前時刻の頭部位置の推定結果を取得して（Ｓ１５２）これを利用して、顔検出処理を実行する（Ｓ１５４）。

ここで、時刻ｔに新たな特徴点Ｍ−Ｎ個を含む、総数Ｍ個の特徴点の座標が観測されたとする。

このような特徴点の座標を以下のように表現する。

ここで、既知の特徴点の観測によって上式によって推定される時刻ｔの眼球中心投影位置を（ｘ_c,t、ｙ_c,t）とする。なお、ここで眼球中心投影位置は、実施の形態１と同様に、３次元の頭部位置・姿勢に基づく方法によって求めてもよい。

ここで、新たな特徴点を含むＭ個の特徴点と眼球中心投影位置の関係を表す線形変換をＱとすると、ＣＰＵ２０４０は、特徴点関係産出部５６５０により、繰り返し観測される眼球中心投影位置と特徴点座標からＱを以下のように推定する（Ｓ１１２）。

なお、上式では、ｔ＜１で、基本特徴点（Ｎ個）により眼球中心の推定を行った後、ｔ＝１以降は、追加特徴点（Ｍ−Ｎ個）を含む総数Ｍ個の特徴点により線形変換Ｑを求める構成としている。以下では、説明の簡単のために、眼球中心位置の推定も、このようにｔ＝１以降は、特徴点の総数一定として説明する。ただし、より一般には、時間の経過にしたがって、追加特徴点の個数は、増減があってもよい。

さらに、ＣＰＵ２０４０は、推定されたＱを利用することによって、新たな特徴点を含むＭ個の特徴点から眼球中心投影位置ｘ_c＝［x_c, y_c］を次式によって推定する（Ｓ１１８）。

以上のような構成により、実施の形態２の視線方向推定装置、視線方向推定装置および視線方向推定プログラムでは、繰り返し観測により、顔特徴点位置（ｘp、ｙp）と眼球中心投影位置（x_c, y_c）の関係を表わす線形変換の推定に利用する特徴点の位置情報の個数を順次増加させることで、より高精度に眼球中心位置を推定することができ、より正確に視線方向の推定を行うことが可能となる。

また、実施の形態２においても、撮像される画像は、単眼カメラの画像であるものとして説明したが、入力画像は距離画像（３次元画像）であってもよい。また、たとえば、初期的な基本特徴点の抽出においては、距離画像を用い、その後は、単眼カメラとしての画像を利用するというような構成でもよい。

以上説明したように、実施の形態１および実施の形態２では、単眼カメラによる視線推定において重要な眼球中心の推定処理について、あらかじめ与えられた特徴点の平均的な位置情報による眼球中心の推定処理に加えて、顔面上のユーザ固有の特徴点の座標を利用することで、眼球中心の推定精度を向上させ、高い視線計測精度を与える。

実施の形態１および実施の形態２では、基本特徴点による方法で推定される眼球中心位置と、新たに検出されたユーザ固有の特徴点の抽出位置の関係をオンラインで推定する。この際、基本特徴点で推定される眼球中心位置には推定誤差が含まれるが、観測を繰り返すことで眼球中心と特徴点の関係を高精度に推定することができる。得られた関係を利用することで、ユーザ固有の特徴点を含む多数の特徴点を利用した安定で高精度な眼球中心位置の推定が可能となり、結果的に視線推定精度を向上させることができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

２０視線方向の推定装置、３０カメラ、２０１０コンピュータ本体、２０２０光学ディスクドライブ、２０３０光学ディスクドライブ、２０４０ＣＰＵ、２０５０バス、２０６０ＲＯＭ、２０７０ＲＡＭ、２０８０ハードディスク、２１００キーボード、２１１０マウス、２１２０ディスプレイ、２２１０メモリカード、５６０２画像キャプチャ処理部、５６０４画像データ記録処理部、５６０６顔検出部、５６１０特徴点抽出部、５６１２特徴抽出部、５６１４ａ基本特徴点決定部、５６１４ｂ追加特徴点決定部、５６２０虹彩抽出部、５６２２虹彩位置決定部、５６４０眼球中心位置推定部、５６６０視線方向推定部、５６７０表示制御部。

Claims

観測領域内において、人間の頭部領域を含む動画像を取得するための撮影手段を備え、前記頭部領域には、予め複数の基本特徴点が規定されており、
撮影された前記動画像の各画像フレームにおいて、前記基本特徴点を含む特徴点を抽出する特徴点抽出手段と、
視線方向の推定処理の対象となる時点までの動画像において複数の画像フレームで抽出された前記基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定する眼球中心位置推定手段と、
前記現時点の画像フレームから抽出された虹彩中心位置を抽出する虹彩位置決定手段と、
前記眼球中心位置および前記虹彩中心位置に基づいて、推定対象となる前記人間の視線の方向を推定する視線方向推定手段とを備える、視線方向推定装置。
前記眼球中心位置推定手段は、
前記追加特徴点の頭部座標における３次元位置を推定する３次元位置推定手段と、
前記基本特徴点および前記追加特徴点の３次元位置に基づいて、推定対象となる前記人間の頭部位置および姿勢を推定する姿勢推定手段と、
推定された前記頭部位置および前記姿勢により、眼球中心の投影位置を算出する眼球中心位置算出部とを含む、請求項１記載の視線方向推定装置。
前記眼球中心位置推定手段は、
弱透視変換を仮定した場合の前記基本特徴点および前記追加特徴点と眼球中心の投影位置の関係を表す線形変換を算出する特徴点関係算出手段と、
前記基本特徴点および前記追加特徴点に基づいて、前記線形変換により前記眼球中心の投影位置を算出する眼球中心位置算出部とを含む、請求項１記載の視線方向推定装置。
撮像装置により観測領域内において撮影された人間の頭部領域を含む動画像において、当該人間の視線方向を推定する視線方向推定方法であって、
前記頭部領域には、予め複数の基本特徴点が規定されており、
撮影された前記動画像の各画像フレームにおいて、前記基本特徴点を含む特徴点を抽出するステップと、
視線方向の推定処理の対象となる時点までの動画像において複数の画像フレームで抽出された前記基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定するステップと、
前記現時点の画像フレームから抽出された虹彩中心位置を抽出するステップと、
前記眼球中心位置および前記虹彩中心位置に基づいて、推定対象となる前記人間の視線の方向を推定するステップとを備える、視線方向推定方法。
演算装置と記憶装置とを備えるコンピュータに、撮像装置により観測領域内において撮影された人間の頭部領域を含む動画像において、当該人間の視線方向を推定する処理を実行させるための視線方向推定プログラムであって、
前記頭部領域には、予め複数の基本特徴点が規定されており、
前記プログラムは、
前記演算装置が、撮影され前記記憶装置に格納された前記動画像の各画像フレームにおいて、前記基本特徴点を含む特徴点を抽出するステップと、
前記演算装置が、視線方向の推定処理の対象となる時点までの動画像において複数の画像フレームで抽出された前記基本特徴点および追加的に抽出された追加特徴点に基づいて、現時点の画像フレームにおける眼球中心位置を推定するステップと、
前記演算装置が、前記現時点の画像フレームから抽出された虹彩中心位置を抽出するステップと、
前記演算装置が、前記眼球中心位置および前記虹彩中心位置に基づいて、推定対象となる前記人間の視線の方向を推定するステップとを、コンピュータに実行させる、視線方向推定プログラム。