JP6377566B2 - 視線計測装置、視線計測方法、およびプログラム - Google Patents

Description

本発明は、人物の瞳孔データと注視点とを関連付ける技術に関する。

瞳孔または虹彩などの眼に関するデータ（「瞳孔データ」と呼ぶ）を計測するためのセンサ（「瞳孔センサ」と呼ぶ）、および視野画像を撮影する可視光カメラ（「視野カメラ」と呼ぶ）を用い、瞳孔データから注視点を推定する視線計測技術が知られている。多くの視線計測技術では、人物の瞳孔データと、視野画像中でその人物が注視している点の座標（「注視点座標」と呼ぶ）とを関連付ける「射影関数」が学習される（視線校正）。視線校正が済めば、得られた瞳孔データをこの射影関数に適用することで注視点座標が得られる。

多くの視線計測技術では、利用者が視野画像内の既知座標の点を注視し、そのときの瞳孔データを取得して射影関数を学習する。しかしながら、この方法では学習に手間がかかる。

一方、射影関数の学習を自動化する技術が知られている。例えば、非特許文献１には、人物が映画等の映像を一定時間視聴した際のその人物の各時刻におけるその人物の瞳孔画像と映像の視覚的特徴量を入力とし、人がどのような低次の視覚的特徴を持った領域を注視しやすいかを確率で表す顕著性マップを用い、射影関数を学習する方法が提案されている。

Y. Sugano, Y. Matsushita, and Y. Sato, "Appearance-based gaze estimation using visual saliency," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 35, no. 2, pp. 329-341, 2013.

複数の人間の間で対話が行われる場合、誰かが発言したらその人を見るというように、話者が誰であるかが注視行動に影響を与えることが多い。しかしながら、非特許文献１の方法は映像を一定時間視聴した際の視覚情報のみに基づいて学習を行うものであり、話者が誰であるかが注視行動に影響を与える場合の学習精度が十分ではない。

本発明の課題は、話者が誰であるかが注視行動に影響を与える場合の射影関数を精度よく自動学習することである。

第一の人物の瞳孔データを取得し、第一の人物の視野の画像を取得し、第一の人物の視野の画像における話者である第二の人物の顔中心座標を取得し、第一の人物の視野の画像における第二の人物の顔中心座標と第一の人物の瞳孔データとを用いて、瞳孔データと注視点とを関連付ける射影関数を求める。

これにより、話者が誰であるかが注視行動に影響を与える場合の射影関数を精度よく自動学習できる。

図１は実施形態のシステム構成を例示した図である。 図２Ａおよび図２Ｂは実施形態の視線計測装置の機能構成を例示したブロック図である。 図３Ａは実施形態の顔追跡部の機能構成を例示したブロック図である。図３Ｂは実施形態の顔テンプレート作成部の機能構成を例示したブロック図である。 図４は学習処理を説明するための図である。 図５は推定処理を説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。
＜構成＞
図１に例示するように、本形態のシステムは、視野カメラ１２−１〜１２−Ｎ、瞳孔センサ１３−１〜１３−Ｎ、マイクロホン１４−１〜１４−Ｎ、および視線計測装置１１−１〜１１−Ｎを有し、視線計測装置１１−１〜１１−Ｎはネットワークを通じて通信可能に構成されている。ただし、Ｎは２以上の整数であり、例えばＮ≧３である。

図２Ａに例示するように、本形態の視線計測装置１１−１は、データ取得部１１１−１、顔追跡部１１２−１、射影関数学習部１１３−１、視野画像座標系注視点推定部１１４−１、顔座標系注視点推定部１１５−１、データ収集部１１６−１、話者検出部１１７−１、および顔テンプレート作成部１１８−１を有する。図２Ｂに例示するように、本形態のその他の視線計測装置１１−ｉ（ただし、ｉ＝２，・・・，Ｎ）は、データ取得部１１１−ｉ、顔追跡部１１２−ｉ、射影関数学習部１１３−ｉ、視野画像座標系注視点推定部１１４−ｉ、および顔座標系注視点推定部１１５−ｉを有する。

図３Ａに例示するように、本形態の顔追跡部１１２−ｎ（ただし、ｎ＝１，・・・，Ｎ）は、並進・スケール成分推定部１１２ａ−ｎ、画像面内角成分推定部１１２ｂ−ｎ、水平・垂直角成分推定部１１２ｃ−ｎ、顔中心画像座標推定部１１２ｄ−ｎ、および記憶部１１２ｅ−ｎを有する。図３Ｂに例示するように、本形態の顔テンプレート作成部１１８−１は、正面顔検出部１１８ａ−１、平均瞳孔画像生成部１１８ｂ−１、テクスチャ画像選択部１１８ｃ−１、顔中心座標取得部１１８ｄ−１、顔座標系変換部１１８ｅ−１、および記憶部１１８ｆ−１を有する。

各装置は、例えば、通信装置、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）、およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。例えば、スマートフォン端末装置、パーソナルコンピュータ端末装置、サーバ装置、専用の電子機器等によって視線計測装置１１−１〜１１−Ｎが構成される。

本形態では、同じ場所（例えば、会議室等）に集まった複数人の人物（対話者）１０−１〜１０−Ｎ（図１）が対話を行う。人物１０−１〜１０−Ｎからなる集合を「対話グループ」と呼ぶ。各人物１０−ｎ（ただし、ｎ＝１，・・・，Ｎ）は、視野カメラ１２−ｎ、瞳孔センサ１３−ｎ、およびマイクロホン１４−ｎを装着する。各人物１０−ｎは、これらをどのような形態で装着しても構わない。例えば、各人物１０−ｎが、これらが固定されたヘルメットを装着してもよいし、これらが埋め込まれたメガネを装着してもよい。視野カメラ１２−ｎは、人物１０−ｎの視野の画像を撮影するための可視光カメラである。「人物１０−ｎの視野の画像」は、人物１０−ｎの視野内の領域を含んだ画像であればよく、人物１０−ｎの視野と厳密に一致した領域の画像である必要はない。視野カメラ１２−ｎは、１台の可視光カメラのみを備えていてもよいし（単眼カメラ）、複数台の可視光カメラ（例えば２台でステレオ視が可能なカメラ）を備えていてもよい。瞳孔センサ１３−ｎは、人物１０−ｎの瞳孔データを取得するセンサである。「瞳孔データ」とは、瞳孔または虹彩などの眼に関するデータである。「瞳孔データ」の例は、瞳孔または虹彩などの眼の所定部分の位置（座標や角度等）を特定するためのデータ、形状を特定するためのデータ、色彩や模様を特定するためのデータ、またはこれらのうち複数を特定するためのデータである。本形態では、瞳孔センサ１３−ｎとして可視光カメラを用いる例を説明する。しかしながら、目付近の皮膚の電圧変化を利用する接触型の筋電センサなど他のセンサを瞳孔センサ１３−ｎとして用いてもよい。なお、瞳孔センサ１３−ｎとして可視光カメラを用いる場合、瞳孔センサ１３−ｎが１台の可視光カメラのみを備えていてもよいし、複数台の可視光カメラを備えていてもよい。マイクロホン１４−ｎは人物１０−ｎが発した音声を取得するためのものである。視野カメラ１２−ｎまたは瞳孔センサ１３−ｎがマイクロホン１４−ｎを備えていてもよい。

各視線計測装置１１−ｎは各人物１０−ｎ（ただし、ｎ＝１，・・・，Ｎ）に対応する。データ取得部１１１−ｎ、顔追跡部１１２−ｎ、射影関数学習部１１３−ｎ、視野画像座標系注視点推定部１１４−ｎ、および顔座標系注視点推定部１１５−ｎは、各人物１０−ｎに対して用意されており、それぞれが独立に動作する。一方、データ収集部１１６−１、話者検出部１１７−１、および顔テンプレート作成部１１８−１は、対話グループ全体に対して用意されており、対話グループ全体のために動作する。

＜処理＞
本形態の処理は、射影関数を学習する学習処理と、得られた射影関数を用いた推定処理とからなる。以下では、本形態の学習処理を説明した後、推定処理の説明を行う。
《学習処理》
図４を用いて本形態の学習処理を説明する。学習処理では、対話グループでなされた対話に基づく対話データを一定時間収集した後、それらを用い、瞳孔データと注視点とを関連付ける射影関数を学習する。

［データ取得処理］
対話グループの人物１０−１〜１０−Ｎによる対話の様子は、視野カメラ１２−１〜１２−Ｎ、瞳孔センサ１３−１〜１３−Ｎ、マイクロホン１４−１〜１４−Ｎによってリアルタイムに収録される。すなわち、視野カメラ１２−ｎは人物１０−ｎの視野の画像を取得し、瞳孔センサ１３−ｎは人物１０−ｎの両目の瞳孔および虹彩を含む画像を取得し、マイクロホン１４−ｎは人物１０−ｎの音声を取得する。これらのデータは、データ取得部１１１−ｎに送られる。

データ取得部１１１−ｎは、前処理として、瞳孔センサ１３−ｎで得られた画像を瞳孔データに変換する。本形態のデータ取得部１１１−ｎは、例えば、瞳孔センサ１３−ｎで得られた画像中の瞳孔中心の画像座標（「瞳孔座標」と呼ぶ）を計算する。瞳孔センサ１３−ｎは人物１０−ｎに装着（固定）されている。そのため、瞳孔センサ１３−ｎで得られた画像における人物１０−ｎの眼領域（瞳孔および虹彩の領域）の位置や大きさはさほど変化することはなく、左右の瞳孔の大きさや座標はおよそ一定範囲に収まる。このため、本形態では、その範囲内において、大きさが事前に決められた範囲内の楕円を一般化ハフ変換により検出し、それを瞳孔画像ｚ_ｎとし、その中心座標を瞳孔座標ｙ_ｎとする。なお、瞳孔座標の座標系は、瞳孔センサ１３−ｎで得られた画像の座標系である。この瞳孔座標はｙ_ｎ∈Ｒ^Ｄと表される。ただし、Ｒ^ＤはＤ次元（Ｄは正の整数）の実数を表す。例えば、瞳孔座標が左右の目それぞれの瞳孔中心の水平座標及び垂直座標からなる場合、Ｄ＝４である。本形態では左右の目の瞳孔座標および瞳孔画像の組（ｙ_ｎ，ｚ_ｎ）を「瞳孔データ」とする。また、データ取得部１１１−ｎは、正確な時刻を取得でき、視野カメラ１２−ｎで得られた視野の画像のデータ、瞳孔データ（ｙ_ｎ，ｚ_ｎ）、マイクロホン１４−ｎで得られた音声のデータにタイムスタンプを付す。タイムスタンプが付された視野カメラ１２−ｎで得られた視野の画像のデータをｖ_ｎ，ｊと表記し、瞳孔データ（ｙ_ｎ，ｚ_ｎ）を（ｙ_ｎ，ｊ，ｚ_ｎ，ｊ）と表記し、マイクロホン１４−ｎで得られた音声のデータをａ_ｎ，ｊと表記する。ただし、ｊは時間を表すインデックスである。ｊに対応する時刻を時刻ｊと表記する。学習処理では、これらのデータのことを「学習データ」と呼ぶ。データ取得部１１１−ｎは、視野の画像ｖ_ｎ，ｊ、瞳孔データ（ｙ_ｎ，ｊ，ｚ_ｎ，ｊ）、および音声のデータａ_ｎ，ｊをデータ収集部１１６−１に送る。

［データ収集処理］
データ収集部１１６−１は、各データ取得部１１１−ｎ（ただし、ｎ＝１，・・・，Ｎ）から送られた全人物１０−１〜１０−Ｎのデータを一定時間長分収集し、内部の記憶部（図示せず）に格納する。まずデータ収集部１１６−１は、収集された各データに付与されたタイムスタンプをもとに同期を行う。例えば、データ収集部１１６−１は、ある一つのデータ取得部１１１−ｎから送られたデータのタイムスタンプを基準とし、その時刻に最も近いデータを、その他のデータ取得部１１１−ｎ’（ただし、ｎ’≠ｎかつｎ’＝１，・・・，Ｎ）から送られたデータから選択し、それらを同期させる。この同期処理はオフラインで行われる。説明の便宜上、同じ添え字ｊに対応するデータは互いに同じ時刻のデータとして同期されるとする。同期された視野の画像ｖ_ｎ，ｊ、瞳孔データ（ｙ_ｎ，ｊ，ｚ_ｎ，ｊ）、および音声のデータａ_ｎ，ｊは、データ収集部１１６−１内部の記憶部（図示せず）に格納される。

［顔テンプレート作成処理］
顔テンプレート作成部１１８−１は、データ収集部１１６−１から視野の画像ｖ_ｎ，ｊおよび瞳孔データ（ｙ_ｎ，ｊ，ｚ_ｎ，ｊ）を受け取り、視野の画像中で各人物１０−ｎの顔を追跡するための各人物１０−ｎの顔テンプレートｔｅｍ^（ｎ）（ただし、ｎ＝１，・・・，Ｎ）を作成する。本形態では、三次元の形状モデル３Ｄｍｏｄ^（ｎ）と人物１０−ｎの顔のテクスチャ画像ｔｅｘ^（ｎ）からなる顔テンプレートｔｅｍ^（ｎ）を作成する。顔テンプレートｔｅｍ^（ｎ）は、顔のテクスチャ画像ｔｅｘ^（ｎ）、およびテクスチャ画像ｔｅｘ^（ｎ）の顔中心の二次元座標ｃｎｔ^（ｎ）∈Ｒ^２を形状モデル３Ｄｍｏｄ^（ｎ）上の三次元座標ｘ_０ ^（ｎ）∈Ｒ^３に変換したものを含む。形状モデル３Ｄｍｏｄ^（ｎ）には任意の形状を用いることが可能であり、円柱、楕円、人の平均顔形状などを使用すればよい。本形態では円柱を形状モデル３Ｄｍｏｄ^（ｎ）として用いる。

テクスチャ画像ｔｅｘ^（ｎ）は各人物１０−ｎを正面方向から撮影した顔画像である。本形態はテクスチャ画像ｔｅｘ^（ｎ）を用意する方法にも特徴がある。本形態では、ある人物１０−ｎのテクスチャ画像ｔｅｘ^（ｎ）を、その人物１０−ｎ以外の人物１０−ｎ”（ただし、ｎ”≠ｎかつｎ”＝１，・・・，Ｎ）が装着する視野カメラ１２−ｎ”により撮影された視野の画像ｖ_ｎ”，ｊから作成する。すなわち、本形態の人物１０−ｎの顔テンプレートｔｅｍ^（ｎ）は、人物１０−ｎ以外の人物１０−ｎ”の視野の画像ｖ_ｎ”，ｊを用いて作成された人物１０−ｎの顔のテクスチャ画像ｔｅｘ^（ｎ）を利用して作成される。人物１０−ｎ”は、顔テンプレートｔｅｍ^（ｎ）を利用して人物１０−ｎの顔を追跡する視線計測装置に対応する人物であってもよいし、その他の人物であってもよい。この点、環境中に固定されたカメラにより撮影された画像を用いてテクスチャ画像を得る従来の方法と異なる。

本形態のテクスチャ画像ｔｅｘ^（ｎ）の生成方法を詳細に説明する。まず、顔テンプレート作成部１１８−１（図３Ｂ）の正面顔検出部１１８ａ−１が、データ収集部１１６−１から学習データ中のすべての視野の画像ｖ_ｎ，ｊ（ただし、ｎ＝１，・・・，Ｎ）を受け取る。正面顔検出部１１８ａ−１は、人物１０−ｎの顔のテクスチャ画像ｔｅｘ^（ｎ）の候補（「候補画像」と呼ぶ）として、受け取ったすべての視野の画像ｖ_ｎ，ｊから左右の目を含む正面を向いた顔（正面顔）の画像を抽出し、記憶部１１８ｆ−１に格納する。正面顔画像の抽出は、例えば、正面顔を用いて学習された物体検出器（Haar-like特徴にもとづくカスケード型物体検出器。例えば、参考文献１「P. Viola and M. J. Jones, “Robust Real-Time Face Detection,” Int’l J. Computer Vision, 57(2), pp. 137-154, 2004.」等参照）、および、左右の目を用いて学習された同物体検出器を用いて行う。

これらの検出された正面顔画像は、人物１０−ｎの正面顔画像ではない可能性がある。このため、これらの候補画像の中から人物１０−ｎの正面顔画像を抽出する必要がある。そのため、まず平均瞳孔画像生成部１１８ｂ−１が、データ収集部１１６−１から人物１０−ｎのすべての瞳孔データ（ｙ_ｎ，ｊ，ｚ_ｎ，ｊ）の瞳孔画像ｚ_ｎ，ｊを抽出する。平均瞳孔画像生成部１１８ｂ−１は、左右の目の瞳孔画像ｚ_ｎ，ｊをそれぞれ平均化した平均瞳孔画像ｍｅａｎ(ｚ_ｎ）を作成し、記憶部１１８ｆ−１に格納する。次いで、テクスチャ画像選択部１１８ｃ−１が、記憶部１１８ｆ−１に格納された候補画像から前述のように左右の目の瞳孔画像を抽出し、平均瞳孔画像ｍｅａｎ（ｚ_ｎ）に最も類似する瞳孔画像を持つ候補画像をテクスチャ画像ｔｅｘ^（ｎ）として選択する。類似度を測る尺度としては、例えば、ピアソンの積率相関係数を用いればよい。テクスチャ画像選択部１１８ｃ−１は、この人物１０−ｎのテクスチャ画像ｔｅｘ^（ｎ）を人物１０−ｎの識別子ＩＤ_ｎと対応付けて記憶部１１８ｆ−１に格納する。識別子ＩＤ_ｎは例えば整数であり、異なる人物１０−ｎには異なる識別子ＩＤ_ｎが対応付けられる。これにより、識別子ＩＤ_ｎによってテクスチャ画像ｔｅｘ^（ｎ）を特定できる。このように、人物１０−ｎの瞳孔データ（ｙ_ｎ，ｊ，ｚ_ｎ，ｊ）をもとに、人物１０−ｎ以外の人物１０−ｎ”の視野の画像ｖ_ｎ”，ｊから人物１０−ｎの顔画像を検出し、検出された顔画像から人物１０−ｎの顔のテクスチャ画像ｔｅｘ^（ｎ）を作成する。さらに、顔中心座標取得部１１８ｄ−１が、抽出されたテクスチャ画像ｔｅｘ^（ｎ）の左右の目の画像座標の重心（二次元座標）を、そのテクスチャ画像ｔｅｘ^（ｎ）の顔中心の二次元座標ｃｎｔ^（ｎ）として記憶部１１８ｆ−１に格納する。

顔座標系変換部１１８ｅ−１は、中心座標が（０，０，０）であり、ｘ軸がテクスチャ画像ｔｅｘ^（ｎ）の水平軸に一致し、ｙ軸がテクスチャ画像ｔｅｘ^（ｎ）の垂直軸および円柱である形状モデル３Ｄｍｏｄ^（ｎ）の中心軸（回転軸）に一致し、ｚ軸がテクスチャ画像ｔｅｘ^（ｎ）の面外方向（ｘ−ｙ平面に直交する方向）に一致する座標系を定める。また顔座標系変換部１１８ｅ−１は、テクスチャ画像ｔｅｘ^（ｎ）から検出した顔の幅を円柱である形状モデル３Ｄｍｏｄ^（ｎ）の直径（２ｒ）とする。さらに顔座標系変換部１１８ｅ−１は、上述のテクスチャ画像ｔｅｘ^（ｎ）の顔中心の二次元座標ｃｎｔ^（ｎ）を三次元座標ｘ_０ ^（ｎ）∈Ｒ^３に変換し、記憶部１１８ｆ−１に格納する。三次元座標ｘ_０ ^（ｎ）の（ｘ座標値，ｙ座標値）＝（ｘ，ｙ）は、二次元座標ｃｎｔ^（ｎ）＝（ｃ_ｘ ^（ｎ），ｃ_ｙ ^（ｎ））からテクスチャ画像ｔｅｘ^（ｎ）の画像中心座標（ｏ_ｘ ^（ｎ），ｏ_ｙ ^（ｎ））を引いた座標（ｘ，ｙ）＝（ｃ_ｘ ^（ｎ）−ｏ_ｘ ^（ｎ），−ｃ_ｙ ^（ｎ）＋ｏ_ｙ ^（ｎ））であり、ｚ座標値は（ｒ^２−ｘ^２）^１／２である。この形状モデル３Ｄｍｏｄ^（ｎ）の座標系のことを顔座標系と呼ぶ。

以上の処理が各人物１０−ｎに対して実行され、テクスチャ画像ｔｅｘ^（ｎ）およびその顔中心の三次元座標ｘ_０ ^（ｎ）を含む各人物１０−ｎの顔テンプレートｔｅｍ^（ｎ）＝（ｔｅｍ^（ｎ），ｘ_０ ^（ｎ））が記憶部１１８ｆ−１に格納される。

［話者検出処理］
話者検出部１１７−１は、データ収集部１１６−１から学習データである音声のデータａ_ｎ，ｊを取得し、これらを用いて各時刻ｊにおいて発話している人物（話者）を特定する。各時刻ｊの話者１０−ｕ_ｊを表す値をｕ_ｊ∈｛１，・・・，Ｎ｝と表記する。各時刻ｊで発話している人数は常に一名と仮定してもよいし、そのような仮定を置かなくともよい。話者が常に一名と仮定する場合は、各時刻ｊにおいてパワーが最大となる音声のデータａ_α，ｊ（ただし、α∈｛１，・・・，Ｎ｝）に対応する人物１０−αを話者１０−ｕ_ｊとすればよい。そのような仮定を置かない場合は、人物１０−ｎの音声のデータａ_ｎ，ｊが事前に人物１０−ｎごとに定められた閾値ｔｈ_ｎを超えていれば、その人物１０−ｎを話者１０−ｕ_ｊとすればよい。閾値ｔｈ_ｎの設定方法に制限はないが、例えば、学習データ中の音声のデータａ_ｎ，ｊのパワーの時系列を、人物１０−ｎごとに、平均０、標準偏差１となるよう標準化し、その標準化で用いたスケーリング係数の逆数に一定の値（例えば０．５）を乗じた値を閾値ｔｈ_ｎとすればよい。

［顔追跡処理］
顔テンプレート作成部１１８−１は、各時刻ｊの話者を表す値ｕ_ｊを入力とし、話者である人物１０−ｂ（ただし、ｂ＝ｕ_ｊ）の顔テンプレートｔｅｍ^（ｂ）を顔追跡部１１２−ｎに出力する。顔テンプレートｔｅｍ^（ｂ）はすべての顔追跡部１１２−ｎに出力されてもよいし、人物１０−ｂを除く人物１０−ａ（ただし、ａ＝１，・・・，Ｎかつａ≠ｂ）に対応する顔追跡部１１２−ａのみに出力されてもよい。また、データ収集部１１６−１は、学習データに含まれる人物１０−ｎの視野の画像ｖ_ｎ，ｊを顔追跡部１１２−ｎに出力する。視野の画像ｖ_ｎ，ｊはすべての顔追跡部１１２−ｎに出力されてもよいし、人物１０−ｂを除く人物１０−ａに対応する顔追跡部１１２−ａのみに出力されてもよい。顔追跡部１１２−ａは、人物１０−ａの視野の画像ｖ_ａ，ｊおよび人物１０−ｂの顔テンプレートｔｅｍ^（ｂ）を用い、人物１０−ａの視野の画像ｖ_ａ，ｊにおける話者である人物１０−ｂの顔中心座標Ｍ_ａ，ｊ ^（ｂ）を取得する。この処理を顔追跡と呼ぶ。以下では、テンプレートマッチングを用いて顔追跡を行う例を説明する。ただし、これは本発明を限定するものではなく、他の物体追跡方法を用いても構わない。

本形態では、顔追跡を二段階に分けて行う。第一段階では、顔追跡部１１２−ａ（ただし、ａ＝１，・・・，Ｎかつａ≠ｂ）（図３Ｂ）の並進・スケール成分推定部１１２ａ−ａが、人物１０−ａの視野の画像ｖ_ａ，ｊ中の人物１０−ｂの回転成分を除く顔の運動成分を推定する。例えば、並進・スケール成分推定部１１２ａ−ａは、以下のように評価関数を最小化する（Ｔ_ｂ，ｓ_ｂ）を求める。

ここで、Ｉ_ａ ^ＦＯＶ（Ｘ）は人物１０−ａの視野の画像ｖ_ａ，ｊの座標Ｘにおける輝度値を表し、Ｉ_ｂ ^ＴＥＸ（Ｘ）は人物１０−ｂの顔テンプレートｔｅｍ^（ｂ）のテクスチャ画像ｔｅｘ^（ｂ）の座標Ｘにおける輝度値を表す。なお、式（１）に示すように、Ｉ_ａ ^ＦＯＶ（Ｘ）の上付き添え字「ＦＯＶ」は本来下付き添え字「ａ」の真上に記載されるべきである。しかしながら、記載表記の制約上、Ｉ_ａ ^ＦＯＶ（Ｘ）と表記している。Ｉ_ｂ ^ＴＥＸ（Ｘ）等のその他についても同様な表記を行っている。ｍ_ｂ，ｋ∈Ｒ^２は、人物１０−ｂのテクスチャ画像ｔｅｘ^（ｂ）中の点ｋの二次元座標を表す。Ｔ_ｂ∈Ｒ^２は二次元並進ベクトルを表し、ｓ_ｂ（ただし、ｓ_ｂ＞０）はスケールを表す。ｆ_１（ｍ_ｂ，ｋ，Ｔ_ｂ，ｓ_ｂ）は、以下のように定義される関数である。
ｆ_１（ｍ_ｂ，ｋ，Ｔ_ｂ，ｓ_ｂ）＝ｓ_ｂ・（ｍ_ｂ，ｋ＋Ｔ_ｂ） （２）
ただし、「・」は乗算を表す。すなわち、式（１）の評価関数は、視野の画像ｖ_ａ，ｊの領域を二次元並進ベクトルＴ_ｂの分だけシフトさせ、さらにｓ_ｂ倍した領域の輝度と顔テンプレートｔｅｍ^（ｂ）の輝度との類似度を最小化する（Ｔ_ｂ，ｓ_ｂ）を求めるものである。このような（Ｔ_ｂ，ｓ_ｂ）は、例えば、二次元並進ベクトルＴ_ｂおよびスケーリング係数ｓ_ｂが離散的な値をとることとし、全探索によって求められてもよい。より速い処理速度が求められる場合には、現時刻ｊより前の時刻で得られた二次元並進ベクトルおよびスケーリング係数を用い、視野の画像ｖ_ａ，ｊ中の人物１０−ｂが等速運動を行っていると過程して探索範囲を制限してもよい。また、（Ｔ_ｂ，ｓ_ｂ）を連続量として推定する場合には、逐次的モンテカルロ法（パーティクルフィルタ法）といったサンプリング法を用いても構わない。さらに、参考文献２（Z. Kalal, K. Mikolajczyk, and J. Matas, “Tracking-learning-detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, no. 7, pp. 1409-1422, 2012.）のようにテクスチャ画像ｔｅｘ^（ｂ）の更新を行いつつ、追跡する方法であっても構わない。なお、式（１）の右辺の

の最小値が予め定めた閾値を超える場合、並進・スケール成分推定部１１２ａ−ａは、時刻ｊの視野の画像ｖ_ａ，ｊ中には人物１０−ｂの顔の画像が含まれていないと判断することにしてもよい。このように判断された時刻ｊでは人物１０−ｂの顔中心座標Ｍ_ａ，ｊ ^（ｂ）は生成されない。

次いで、第二段階として、人物１０−ａの視野の画像ｖ_ａ，ｊ中の人物１０−ｂの顔の三次元の回転成分を推定する。この回転成分は、水平角φ_ｙ ^（ｂ）（ｙ軸回転角）、垂直角φ_ｘ ^（ｂ）（ｘ軸回転角）、および、画像面内角φ_ｚ ^（ｂ）（ｚ軸回転角）の三つからなる。ここでは、まず、画像面内角φ_ｚ ^（ｂ）を推定し、その後、水平角φ_ｙ ^（ｂ）、および、垂直角φ_ｘ ^（ｂ）を推定する。第一段階で用いた人物１０−ａの視野の画像ｖ_ａ，ｊに加えて、追跡される人物１０−ｂが装着した視野カメラ１２−ｂにて撮影された視野の画像ｖ_ｂ，ｊも用いる点に本形態の特徴がある。すなわち、本形態の顔追跡部１１２−ａは、人物１０−ｂの視野の画像ｖ_ｂ，ｊを用いて、人物１０−ａの視野の画像ｖ_ａ，ｊにおける人物１０−ｂの顔中心座標を取得する。ここでは、各人物の視野カメラの光軸がその人物の顔の正面方向と一致し、視野カメラの光軸は視野の画像の中央に存在すると仮定する。もしそうなっていなければ、事前に校正を行っておけばよい。

まず、画像面内角成分推定部１１２ｂ−ａ（ただし、ａ＝１，・・・，Ｎかつａ≠ｂ）（図３Ａ）が、人物１０−ｂの視野の画像ｖ_ｂ，ｊにおける画像面内角φ_ｚ ^（ｂ）を、オプティカルフローを用いて推定する。例えば、画像面内角成分推定部１１２ｂ−ａは、次式を解くことで画像面内角φ_ｚ ^（ｂ）を求める。

ここで、ｏは人物１０−ｂの視野画像面内での面内回転中心の座標である。ａ_ｉおよびｖ_ｉは、オプティカルフローのある算出点、および、その点におけるオプティカルフローである。オプティカルフローの算出点ａ_ｉとしては、画像をある大きさで区切った格子点や画像上の複数のエッジなどを用いればよい。式（３）の解は最急降下法など任意の非線形問題解決法を用いて解けばよい。

次いで、水平・垂直角成分推定部１１２ｃ−ａが、水平角φ_ｙ ^（ｂ）および垂直角φ_ｘ ^（ｂ）を、人物１０−ｂの視野カメラ１２−ｂにて撮影された視野の画像ｖ_ｂ，ｊにおける人物−ａの顔の位置（ｍ_ｘ ^（ｂ），ｍ_ｙ ^（ｂ））にもとづき次式により求める。

ここで、ｗ_ｘ ^（ｂ）およびｗ_ｙ ^（ｂ）は、人物１０−ｂの視野の画像ｖ_ｂ，ｊの幅および高さであり、Ψ_ｘ ^（ｂ）およびΨ_ｙ ^（ｂ）はその画像ｖ_ｂ，ｊの水平方向および垂直方向の視野角である。例えば、人物１０−ｂの視野の画像ｖ_ｂ，ｊ中で人物１０−ａが中央（あるいは左方、あるいは、上方）に位置すれば、人物１０−ａの視野の画像ｖ_ａ，ｊ中で人物１０−ｂは正面を向いている（あるいは向かって左方を向いている、あるいは向かって上方を向いている）ことになる。式（４）では放射歪みなど画像のひずみがないことを仮定している。画像の歪みがある場合には、事前のカメラ校正で歪を除去しておけばよい。このような水平角φ_ｙ ^（ｂ）および垂直角φ_ｘ ^（ｂ）の推定方法（頭部姿勢推定方法）は、人物１０−ａの視野の画像ｖ_ａ，ｊから推定する方法よりも高い精度で人物１０−ｂの顔の向きを推定できる。例えば、人物１０−ａの視野の画像ｖ_ａ，ｊ中で人物１０−ｂの顔の幅が３０ピクセルであり、人物１０−ａおよび１０−ｂの視野カメラ１２−ａおよび１２−ｂの水平方向の解像度が１９２０ピクセルで視野角が１２２．６度であったとする。ここで、人物１０−ｂが人物１０−ａに対して正面を向いた状態から１度水平方向に顔の向きを変えた場合を考える。人物１０−ｂの顔形状を直径が顔の幅に等しい円柱にて近似すると、人物１０−ａの視野の画像ｖ_ａ，ｊ中における人物１０−ｂの顔中心の位置の変化はわずか０．３ピクセル（＝３０／２・ｓｉｎ（１°））である。他方、式（４）で入力となる人物１０−ｂの視野の画像ｖ_ｂ，ｊ中における人物１０−ａの顔中心の位置は１６ピクセル変化する。すなわち、この場合では、後者の推定精度は前者の推定精度に比べて１６／０．３＝５３．３倍高い。

最後に、顔中心画像座標推定部１１２ｄ−ａが、顔テンプレートｔｅｍ^（ｂ）の顔中心の三次元座標ｘ_０ ^（ｂ）、二次元並進ベクトルＴ_ｂ、スケーリング係数ｓ_ｂ、水平角φ_ｙ ^（ｂ）、垂直角φ_ｘ ^（ｂ）、および画像面内角φ_ｚ ^（ｂ）を入力とし、人物１０−ａの視野の画像ｖ_ａ，ｊ中での人物１０−ｂの顔中心座標Ｍ_ａ，ｊ ^（ｂ）を次式により算出する。

ここで、関数ｆ（ｘ，Ｒ，Ｔ，ｓ）は、顔テンプレートの運動、および、弱中心投影の組み合わせを表す。Ｒ^（ｂ）∈Ｒ^２×３は（φ_ｘ ^（ｂ），φ_ｙ ^（ｂ），φ_ｚ ^（ｂ））を用いて表現される三次元回転行列の第三行を除く２×３行列を表す。すなわち、Ｒ^（ｂ）は、各軸周りの回転行列Ｒ_ｘ（φ_ｘ ^（ｂ））、Ｒ_ｙ（φ_ｙ ^（ｂ））、Ｒ_ｚ（φ_ｚ ^（ｂ））の積Ｒ_ｘ（φ_ｘ ^（ｂ））・Ｒ_ｙ（φ_ｙ ^（ｂ）））・Ｒ_ｚ（φ_ｚ ^（ｂ））で表現される三次元回転行列の第三行を除く２×３行列である。なお、弱中心投影に代えて中心投影など他の投影モデルが用いられてもよい。得られた人物１０−ｂの顔中心座標Ｍ_ａ，ｊ ^（ｂ）は記憶部１１２ｅ−ａに格納される。

［射影関数学習処理］
射影関数学習部１１３−ａ（図４）は、人物１０−ａの視野の画像ｖ_ａ，ｊにおける人物１０−ｂの顔中心座標Ｍ_ａ，ｊ ^（ｂ）と人物１０−ａの瞳孔データｙ_ａ，ｊとを用いて、人物１０−ａの瞳孔データｙ_ａ，ｊ∈Ｒ^Ｄと注視点とを関連付ける射影関数を求める。本形態では、重回帰を用いた以下の射影関数ｇ^（ａ）を求める。
ｐ_ａ，ｊ＝ｇ^（ａ）（ｙ_ａ，ｊ）＝ｗ^（ａ）ｙ_ａ，ｊ＋ｗ_０ ^（ａ） （６）
ここで、注視点は視野の画像ｖ_ａ，ｊ内の点であり、人物１０−ａが注視する点に相当する。注視点の座標（注視点座標）ｐ_ａ，ｊ∈Ｒ^２は、視野の画像ｖ_ａ，ｊの二次元座標系の座標（「注視点座標」と呼ぶ）である。視野の画像の二次元座標系を視野画像座標系と呼ぶ。この処理は人物１０−ａごとにオフライン処理にて行われる。射影関数学習部１１３−ａの入力は、学習データ中の各時刻ｊにおける人物１０−ａの視野の画像ｖ_ａ，ｊに含まれる話者である人物１０−ｂの顔中心座標Ｍ_ａ，ｊ ^（ｂ）（ここではこれをｐ_ａ，ｊとみなす）、および、人物１０−ａの瞳孔データｙ_ａ，ｊである。これらの入力は、例えば、人物１０−ａが話者である時刻の画像座標および瞳孔データを含まない。ｗ^（ａ）∈Ｒ^Ｄおよびｗ_０ ^（ａ）∈Ｒはそれぞれ重回帰式のパラメタを表す。射影関数学習部１１３−ａは、これらのパラメタｗ^（ａ）およびｗ_０ ^（ａ）を算出して出力する。これらのパラメタｗ^（ａ）およびｗ_０ ^（ａ）は、例えば最小二乗解として算出されればよい。例えば、射影関数学習部１１３−ａは、学習データの時間区間に対応するＭ_ａ，ｊ ^（ｂ）とｗ^（ａ）ｙ_ａ，ｊ＋ｗ_０ ^（ａ）との誤差の二乗和を最小にするパラメタｗ^（ａ）およびｗ_０ ^（ａ）を選択して出力する。なお、射影関数ｇ^（ａ）は式（６）のものに限定されず、その他の任意の関数を用いても構わない。相似変換や非特許文献１で用いられているガウス過程を用いて射影関数ｇ^（ａ）を得ても構わない。また、本形態では、人物１０−ａが話者ではない時刻の画像座標および瞳孔データを用いて射影関数を求めるが、必ずしも、これらの時刻のすべてにおいて人物１０−ａが話者である人物１０−ｂを見ているとは限らない。このため、より精緻な結果を得るために、話者交替時の直前と直後の画像座標および瞳孔データのみを用いて射影関数を求めても構わない。この場合には、例えば、射影関数学習部１１３−ａに、さらに話者検出部１１７−１から出力された話者１０−ｕ_ｊを表す値ｕ_ｊが入力される。射影関数学習部１１３−ａは、ｕ_ｊを用いて話者交替時ｊ’を特定し、ｊ’の直前の所定の時間区間と直後の所定の時間区間に含まれる像座標および瞳孔データのみを用いて射影関数ｇ^（ａ）を求める。各射影関数学習部１１３−ｎ（ただし、ｎ＝１，・・・，Ｎ）は同様な処理を行い、各人物１０−ｎ（ただし、ｎ＝１，・・・，Ｎ）の射影関数ｇ^（ｎ）を求め、そのパラメタｗ^（ｎ）およびｗ_０ ^（ｎ）を出力する。

《推定処理》
図５を用いて本形態の推定処理を説明する。推定処理では、上述の学習処理で得られた射影関数ｇ^（ｎ）のパラメタｗ^（ｎ），ｗ_０ ^（ｎ）、およびデータ取得部１１１−ｎより出力される瞳孔データｙ_ｎ，ｊを入力とし、人物１０−ｎの視野の画像ｖ_ｎ，ｊ中での視野画像座標系の注視点座標ｐ_ｎ，ｊ（視野画像座標系注視点座標）を出力する。注視点座標ｐ_ｎ，ｊは、人物１０−ｎが注視している点に対応する視野の画像ｖ_ｎ，ｊ中の点の座標である。さらに、人物１０−ｎが見ている人物（「被注視人物」と呼ぶ）のどこを注視しているかを表す、被注視人物の顔座標系における注視点座標を出力する。顔座標系における注視点座標は、顔追跡部１１２−ｎから出力される被注視人物の顔中心座標を用い、得られた注視点座標ｐ_ｎ，ｊをその被注視人物の顔座標系に変換して得られる。以下、これらの詳細を説明する。

［データ取得処理・データ収集処理］
学習処理と同じデータ取得処理・データ収集処理がリアルタイムに実行される。

［視野画像座標系注視点推定処理］
視野画像座標系注視点推定部１１４−ｎは、射影関数学習部１１３−ｎから送られた射影関数ｇ^（ｎ）のパラメタｗ^（ｎ）およびｗ_０ ^（ｎ）、ならびにデータ取得部１１１−ｎからリアルタイムに送られる瞳孔データｙ_ｎ，ｊを入力とし、人物１０−ｎの視野画像座標系における注視点座標ｐ_ｎ，ｊを計算して出力する。注視点座標ｐ_ｎ，ｊはｇ^（ｎ）（ｙ_ｎ，ｊ）によって得られる。

［話者検出処理］
推定処理では、話者検出処理を行ってもよいし、行わなくてもよい。話者検出処理を行う場合、話者検出部１１７−１は、学習処理と同じ話者検出処理をリアルタイムに行い、各時刻ｊの話者１０−ｕ_ｊを表す値ｕ_ｊを出力する。

［顔追跡処理］
推定処理では、学習処理で得られたすべての人物１０−ｂ’（ただし、ｂ’＝１，・・・，Ｎ）の顔テンプレートｔｅｍ^（ｂ’）が顔テンプレート作成部１１８−１から各顔追跡部１１２−ｎに出力される。また、データ収集部１１６−１は、リアルタイムに得られた人物１０−ｎの視野の画像ｖ_ｎ，ｊを顔追跡部１１２−ｎに出力する。顔追跡部１１２−ｎは、人物１０−ｎの視野の画像ｖ_ｎ，ｊおよび人物１０−ｂ’の顔テンプレートｔｅｍ^（ｂ’）を用い、人物１０−ｎの視野の画像ｖ_ｎ，ｊにおける何れかの人物１０−ｂ’に対応する二次元並進ベクトルＴ_ｂ’∈Ｒ^２、スケールｓ_ｂ’（ただし、ｓ_ｂ’＞０）、およびＲ^（ｂ’）∈Ｒ^２×３を取得して出力する。二次元並進ベクトルＴ_ｂ’およびスケールｓ_ｂ’を得る処理は、視野の画像ｖ_ｎ，ｊにおける話者である人物１０−ｂに代えて何れかの人物１０−ｂ’でよい以外、学習処理での並進・スケール成分推定部１１２ａ−ｎの処理と同じでよい。Ｒ^（ｂ’）は（φ_ｘ ^（ｂ’），φ_ｙ ^（ｂ’），φ_ｚ ^（ｂ’））を用いて表現される三次元回転行列の第三行を除く２×３行列であり、水平角φ_ｙ ^（ｂ’）、垂直角φ_ｘ ^（ｂ’）、および画像面内角φ_ｚ ^（ｂ’）から得られる。水平角φ_ｙ ^（ｂ’）、垂直角φ_ｘ ^（ｂ’）、および画像面内角φ_ｚ ^（ｂ’）を得る処理は、視野の画像ｖ_ｎ，ｊにおける話者である人物１０−ｂに代えて何れかの人物１０−ｂ’でよい以外、学習処理での画像面内角成分推定部１１２ｂ−ｎの処理および水平・垂直角成分推定部１１２ｃ−ｎの処理と同じでよい。

［顔座標系注視点推定処理］
顔座標系注視点推定部１１５−ｎは、リアルタイムに得られた時刻ｊの注視点座標ｐ_ｎ，ｊ、二次元並進ベクトルＴ_ｂ’、スケールｓ_ｂ’、およびＲ^（ｂ’）を入力とし、人物１０−ｎが注視する人物（被注視人物）１０−ｂ’の顔座標系における注視点座標（顔座標系注視点座標）ｘ_ｎ，ｊ ^（ｂ’）∈Ｒ^２を計算して出力する。顔座標系における注視点座標ｘ_ｎ，ｊ ^（ｂ’）は、時刻ｊにおいて、人物１０−ｎが人物１０−ｂ’のどのあたりを注視しているかを表す。顔座標系における注視点座標ｘ_ｎ，ｊ ^（ｂ’）は、次式をｘ_ｎ，ｊ ^（ｂ’）について解くことで算出される。

上式は最急降下法などの一般的な数値的最適化法で解けばよい。なお、人物１０−ｎの視野画像座標において、注視点座標ｐ_ｎ，ｊと人物１０−ｂ’の顔中心

とが一定距離以上離れている場合、顔座標系注視点推定部１１５−ｎは、人物１０−ｎが人物１０−ｂ’を注視していないと判断する。注視点座標ｐ_ｎ，ｊとＭ_ｎ，ｊ ^（ｂ’）との距離が一定距離未満となる人物１０−ｂ’が存在しない場合、顔座標系注視点推定部１１５−ｎは、人物１０−ｎは誰も注視していない旨を出力する。

また、顔座標系注視点推定部１１５−ｎが、この人物１０−ｂ’（被注視人物）の顔座標系の注視点座標ｘ_ｎ，ｊ ^（ｂ’）の時系列データから頻度マップ（ヒートマップ）を作成してもよい。その場合は、それぞれの時刻ｊで得られた注視点座標ｘ_ｎ，ｊ ^（ｂ’）に対し、それらの点の平均値を平均とし、標準偏差を事前に決めた定数とした正規分布を得、顔座標系の対象範囲における各点での密度（確率）を計算すればよい。この頻度マップを人物１０−ｂ’（被注視人物）が聞き手の時と話者の時とで分けて作成してもよい。この場合には、顔座標系注視点推定部１１５−ｎには、さらに話者検出部１１７−１から出力された各時刻ｊの話者１０−ｕ_ｊを表す値ｕ_ｊが入力され、顔座標系注視点推定部１１５−ｎは、これを用いて人物１０−ｂ’が聞き手であるか話者であるかを特定する。

＜本形態の特徴＞
本形態では、複数人で行われる対話において人が話し手の顔を注視しやすいという特徴にもとづき、第一の人物の視野の画像を用いて、第一の人物の視野の画像における話者である第二の人物の顔中心座標を取得し、第一の人物の視野の画像における第二の人物の顔中心座標と第一の人物の瞳孔データとを用いて、瞳孔データと注視点とを関連付ける射影関数を求める。これにより、事前の人手を介した処理を行うことなく、話者が誰であるかが注視行動に影響を与える場合の射影関数を精度よく自動学習できる。射影関数の学習には一定時間長の学習データが必要であり、その間はオフライン処理にて話者である人物１０−ｂの顔中心座標Ｍ_ａ，ｊ ^（ｂ）を注視点座標ｐ_ａ，ｊとみなして学習が行われる。一方、射影関数が得られた後はリアルタイムで注視点を算出できる。

本形態において好ましくは、第二の人物の視野の画像を用いて、第一の人物の視野の画像における第二の人物の顔中心座標を取得する。これにより、第一の人物の視野の画像から直接推定するよりも（例えば、参考文献３「Fathi, J. K. Hodgins, and J. M. Rehg, "Social interactions: A first-person perspective", IEEE Conf. on Computer Vision and Pattern Recognition, pp. 1226-1233, 2012.」）、高い精度で第二の人物の顔向きを推定できる。その結果、画像の解像度が低かったり、フォーカスが合っていなかったりといった場合であっても、第一の人物の視野の画像中の第二の人物の顔の向きを精度よく推定でき、第二の人物の顔中心座標を精度よく推定できる。

本形態において好ましくは、第二の人物以外の人物の視野の画像を用いて作成された第二の人物の顔のテクスチャ画像を利用し、視野の画像中で人物の顔を追跡するための第二の人物の顔テンプレートを作成する。これにより、事前の処理を行うことなく、顔テンプレートを作成することができる。

本形態において好ましくは、第二の人物の瞳孔データをもとに、第二の人物以外の人物の視野の画像から第二の人物の顔画像を検出し、検出された顔画像から第二の人物の顔のテクスチャ画像を作成する。これにより、検出された顔画像から第二の人物の顔のテクスチャ画像を自動的に特定できる。

本形態の推定処理でも、第二の人物の視野の画像を用いて、第一の人物の視野の画像における第二の人物の顔向きを推定する。これにより、第一の人物の視野の画像から直接推定するよりも高い精度で第二の人物の顔向きを推定できる。

＜変形例等＞
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の実施形態の学習処理における顔追跡処理では、顔テンプレート作成部１１８−１が、各時刻ｊの話者である人物１０−ｂ（ただし、ｂ＝ｕ_ｊ）の顔テンプレートｔｅｍ^（ｂ）のみを顔追跡部１１２−ｎに出力した。しかしながら、この顔追跡処理において、顔テンプレート作成部１１８−１がすべての人物１０−ｂ’の顔テンプレートｔｅｍ^（ｂ’）を顔追跡部１１２−ｎに出力してもよい。この場合、顔追跡部１１２−ｎは、さらに各時刻ｊの話者を表す値ｕ_ｊを入力とし、それを用いて選択した各時刻ｊの話者である人物１０−ｂ（ただし、ｂ＝ｕ_ｊ）の顔テンプレートｔｅｍ^（ｂ）を用い、話者である人物１０−ｂの顔追跡を行ってもよい。

上述の実施形態の推定処理では、学習データとは異なるリアルタイムで取得した視野の画像ｖ_ｎ，ｊ、瞳孔データｙ_ｎ，ｊ、および音声のデータａ_ｎ，ｊを用いた。しかしながら、学習データの視野の画像ｖ_ｎ，ｊ、瞳孔データｙ_ｎ，ｊ、および音声のデータａ_ｎ，ｊを用い、推定処理がなされてもよい。この場合、推定処理でのデータ取得処理およびデータ収集処理を省略できる。また視野画像座標系注視点推定処理は、学習データである瞳孔データｙ_ｎ，ｊを入力とし、人物１０−ｎの視野画像座標系における注視点座標ｐ_ｎ，ｊを計算して出力する。話者検出処理を行う場合、学習データの音声のデータａ_ｎ，ｊを用いて話者検出を行ってもよい。推定処理で話者を特定する必要がある場合でも、学習処理で得られた各時刻ｊの話者１０−ｕ_ｊを表す値ｕ_ｊを保存しておけば、それをそのまま利用できる。

上述の実施形態では、視線計測装置１１−１がデータ収集部１１６−１、話者検出部１１７−１、顔テンプレート作成部１１８−１を備えていた。しかしながら、視線計測装置１１−１がデータ収集部１１６−１、話者検出部１１７−１、顔テンプレート作成部１１８−１を具備せず、別途、話者検出部１１７−１、顔テンプレート作成部１１８−１を備えるサーバ装置等の中央処理装置が存在してもよい。中央処理装置は、ネットワーク経由で視線計測装置と通信を行う。

上述した実施形態の推定処理時の顔追跡処理では、学習処理で得られたすべての人物１０−ｂ’（ただし、ｂ’＝１，・・・，Ｎ）の顔テンプレートｔｅｍ^（ｂ’）が顔テンプレート作成部１１８−１から各顔追跡部１１２−ｎに出力された。しかしながら、学習処理で得られたすべての人物１０−ｂ’を学習処理時に各顔追跡部１１２−ｎに出力し、格納しておいてもよい。この場合には、推定処理時に顔テンプレート作成部１１８−１から各顔追跡部１１２−ｎに顔テンプレートｔｅｍ^（ｂ’）を送る必要はない。

その他、各装置がネットワークを通じて情報をやり取りするのではなく、少なくとも一部の組の装置が可搬型記録媒体を介して情報をやり取りしてもよい。或いは、少なくとも一部の組の装置が非可搬型の記録媒体を介して情報をやり取りしてもよい。これらの装置の一部からなる組み合わせが、同一の装置であってもよい。上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

本発明は、例えば、ウェアラブルカメラを用いた自動対話分析器に利用できる。

１１ 視線計測装置

Claims (6)

1. 第一の人物の視野の画像を用いて、前記第一の人物の視野の画像における話者である第二の人物の顔中心座標を取得する顔追跡部と、
   前記第一の人物の視野の画像における前記第二の人物の顔中心座標と前記第一の人物の瞳孔データとを用いて、前記瞳孔データと注視点とを関連付ける射影関数を求める射影関数学習部と、
   を有する視線計測装置。
2. 前記顔追跡部は、前記第二の人物の視野の画像を用いて、前記第一の人物の視野の画像における前記第二の人物の顔中心座標を取得する請求項１に記載の視線計測装置。
3. 視野の画像中で人物の顔を追跡するための顔テンプレートを作成する顔テンプレート作成部をさらに有し、
   前記第二の人物の顔テンプレートは、前記第二の人物以外の人物の視野の画像を用いて作成された前記第二の人物の顔のテクスチャ画像を利用して作成される請求項１または２に記載の視線計測装置。
4. 前記第二の人物の瞳孔データをもとに、前記第二の人物以外の人物の視野の画像から前記第二の人物の顔画像を検出し、検出された顔画像から前記第二の人物の顔のテクスチャ画像を作成する請求項３に記載の視線計測装置。
5. 第一の人物の瞳孔データを取得し、
   前記第一の人物の視野の画像を取得し、
   前記第一の人物の視野の画像における話者である第二の人物の顔中心座標を取得し、
   前記第一の人物の視野の画像における前記第二の人物の顔中心座標と前記第一の人物の瞳孔データとを用いて、前記瞳孔データと注視点とを関連付ける射影関数を求める、
   視線計測方法。
6. 請求項１から４の何れかの視線計測装置としてコンピュータを機能させるためのプログラム。

Images