JP5485044B2 - 表情学習装置、表情認識装置、表情学習方法、表情認識方法、表情学習プログラム及び表情認識プログラム - Google Patents

Description

本発明は、人物の顔の表情を認識するための表情学習装置、表情認識装置、表情学習方法、表情認識方法、表情学習プログラム及び表情認識プログラムに関する。

顔の表情は他者と感情を伝達しあう手段として最も基本的な非言語行動であると言われている。そのため、画像に基づく表情認識に関する研究がこれまでコンピュータビジョン分野を中心として盛んに行われてきた。しかし、これまでの表情認識手法は、表情カテゴリは認識できるものの、その表情の動的性質、すなわち、表出の速度や強度といった表情の時間変化に関する性質については、複雑な性質を認識できるレベルに至っているとは言い難い。

例えば、非特許文献１では、Supervised Locality Preserving Projectionsを用いて学習した多様体中で、表情がどのように時間的に遷移するのかを確率的にモデル化し、入力動画像からベイズ推定の枠組みにて表情カテゴリを推定する手法が提案されている。また、非特許文献２では、顔の３次元形状が表情変化に伴いどのように変形するのかをモデル化しておき、入力の顔の３次元形状から２次元ＨＭＭを用いて表情カテゴリを推定する手法が提案されている。

Caifeng Shan, Shaogang Gong, and Peter W. McOwan: "Dynamic facial expression recognition using a Bayesian temporal manifold model", In Proc. of the British Machine Vision Conf, Vol.1, pp. 297-306, 2006. Yi Sun and Lijun Yin: "Facial expression recognition based on 3D dynamic range model sequences", In Proc. of the Tenth European Conference on Computer Vision, pp. 58-71, 2008.

しかしながら、非特許文献１、２の２つの手法をはじめとしてこれまでの表情認識手法は、表情カテゴリは認識できるものの、その表情の動的性質については複雑な性質を認識できるレベルに至っていないという問題がある。

本発明は、このような事情に鑑みてなされたもので、顔面上の目や口といった特徴点の移動の情報に基づき、表情のカテゴリの認識のみならず、表情の表出の速度や強度に関する複雑な動的性質についても認識可能とする表情学習装置、表情認識装置、表情学習方法、表情認識方法、表情学習プログラム及び表情認識プログラムを提供することを目的とする。

本発明は、時系列の画像データから顔面上の複数の特徴点の位置情報からなる学習データを出力する入力手段と、前記入力手段から出力される前記学習データを、表情のカテゴリ空間に射影することにより表情のカテゴリのみに依存して分離されたカテゴリ多様体情報を生成するカテゴリ埋め込み手段と、前記カテゴリ多様体情報を記憶するカテゴリ多様体情報記憶手段と、前記入力手段から出力される前記学習データを、表情の動的性質空間に射影することにより表情の動的性質のみに依存して分離された動的性質多様体情報を生成する動的性質埋め込み手段と、前記動的性質多様体情報を記憶する動的性質多様体情報記憶手段とを備え、前記表情の動的性質は、カテゴリに関わらない表情の表出強度の時間変化であり、前記表情の動的性質空間は、前記表情の動的性質を表す固有空間であることを特徴とする。
また、本発明は、上記に記載の発明において、前記動的性質埋め込み手段は、前記学習データのカテゴリ空間上での座標ｙ _ｔ ∈Ｒ ^Ｎｃ を入力として、前記座標ｙ _ｔ からそれぞれの表情のカテゴリｃの表出強度に相当する成分ｙ’ _ｃ，ｔ を抽出し、抽出した成分ｙ’ _ｃ，ｔ を一定時間長ｈ分まとめた、段落００３３の［数５］に記載の式で表されるベクトルｙ _ｔ ^（ｃ） を生成し、前記ベクトルｙ _ｔ ^（ｃ） に対して埋め込み法を用いて得られた動的性質空間上での座標ｚ _ｔ ^（ｃ） を前記カテゴリ多様体情報として生成することを特徴とする。

本発明は、表情認識を行うための学習データを表情のカテゴリ空間に射影したカテゴリ多様体情報を記憶するカテゴリ多様体情報記憶手段と、前記学習データを表情の動的性質空間に射影した動的性質多様体情報を記憶する動的性質多様体情報記憶手段と、時系列の画像データから表情認識対象人物の顔面上の複数の特徴点の位置情報を出力する入力手段と、前記入力手段から出力される前記複数の特徴点の位置情報を、前記表情のカテゴリ空間に射影することにより、カテゴリ空間座標を求めるカテゴリ埋め込み手段と、前記入力手段から出力される前記複数の特徴点の位置情報を、前記表情の動的性質空間に射影することにより、動的性質空間座標を求める動的性質埋め込み手段と、前記カテゴリ多様体情報記憶手段に記憶されている前記カテゴリ多様体情報を参照して、前記カテゴリ空間座標が属する前記カテゴリ多様体情報を特定することにより前記表情認識対象人物の表情のカテゴリを推定するとともに、前記動的性質多様体情報記憶手段に記憶されている前記動的性質多様体情報を参照して、前記動的性質空間座標が属する前記動的性質多様体情報を特定することにより前記表情認識対象人物の表情の動的性質を推定する表情認識手段とを備え、前記表情の動的性質は、カテゴリに関わらない表情の表出強度の時間変化であり、前記表情の動的性質空間は、前記表情の動的性質を表す固有空間であることを特徴とする。
また、本発明は、前記動的性質埋め込み手段は、前記複数の特徴点の位置情報のカテゴリ空間上での座標ｙ_ｔ∈Ｒ^Ｎｃを入力として、前記座標ｙ_ｔからそれぞれの表情のカテゴリｃの表出強度に相当する成分ｙ’_ｃ，ｔを抽出し、抽出した成分ｙ’_ｃ，ｔを一定時間長ｈ分まとめた、段落００３３の［数５］に記載の式で表されるベクトルｙ_ｔ ^（ｃ）を生成し、前記ベクトルｙ_ｔ ^（ｃ）に対して埋め込み法を用いて得られた動的性質空間上での座標ｚ_ｔ ^（ｃ）を前記動的性質空間座標として生成することを特徴とする。
また、本発明は、前記表情認識手段は、前記カテゴリ空間座標及び前記動的性質空間座
標を入力データｘ_ｔとしたときに、表情のカテゴリｃ及び表情の動的性質ｍの同時事後確
率を最大化する表情のカテゴリ及び動的性質の組［＾ｃ_ｔ，＾ｍ_ｔ］を段落００３６の［
数１２］に記載の式により算出し、前記表情のカテゴリ及び動的性質の組［＾ｃ_ｔ，＾ｍ
_ｔ］における＾ｍ_ｔを前記表情認識対象人物の表情の動的性質とすることを特徴とする。

本発明は、時系列の画像データから各画像に含まれる顔面上の複数の特徴点の位置情報からなる学習データを出力する入力手段と、カテゴリ多様体情報を記憶するカテゴリ多様体情報記憶手段と、動的性質多様体情報を記憶する動的性質多様体情報記憶手段と、カテゴリ埋め込み手段と、動的性質埋め込み手段とを備える表情学習装置における表情学習方法であって、前記カテゴリ埋め込み手段が、前記入力手段から出力される前記学習データを、表情のカテゴリ空間に射影することにより表情のカテゴリのみに依存して分離されたカテゴリ多様体情報を生成して、前記カテゴリ多様体情報記憶手段に記憶するカテゴリ埋め込みステップと、前記動的性質埋め込み手段が、前記入力手段から出力される前記学習データを、表情の動的性質空間に射影することにより表情の動的性質のみに依存して分離された動的性質多様体情報を生成して、前記動的性質多様体情報記憶手段に記憶する動的性質埋め込みステップと、を有し、前記表情の動的性質は、カテゴリに関わらない表情の表出強度の時間変化であり、前記表情の動的性質空間は、前記表情の動的性質を表す固有空間であることを特徴とする。

本発明は、表情認識を行うための学習データを表情のカテゴリ空間に射影したカテゴリ多様体情報を記憶するカテゴリ多様体情報記憶手段と、前記学習データを表情の動的性質空間に射影した動的性質多様体情報を記憶する動的性質多様体情報記憶手段と、時系列の画像データから表情認識対象人物の顔面上の複数の特徴点の位置情報を出力する入力手段と、カテゴリ埋め込み手段と、動的性質埋め込み手段と、表情認識手段とを備える表情認識装置における表情認識方法であって、前記カテゴリ埋め込み手段が、前記入力手段から出力される前記複数の特徴点の位置情報を、前記表情のカテゴリ空間に射影することにより、カテゴリ空間座標を求めるカテゴリ埋め込みステップと、前記動的性質埋め込み手段が、前記入力手段から出力される前記複数の特徴点の位置情報を、前記表情の動的性質空間に射影することにより、動的性質空間座標を求める動的性質埋め込みステップと、前記表情認識手段が、前記カテゴリ多様体情報記憶手段に記憶されている前記カテゴリ多様体情報を参照して、前記カテゴリ空間座標が属する前記カテゴリ多様体情報を特定することにより前記表情認識対象人物の表情のカテゴリを推定するとともに、前記動的性質多様体情報記憶手段に記憶されている前記動的性質多様体情報を参照して、前記動的性質空間座標が属する前記動的性質多様体情報を特定することにより前記表情認識対象人物の表情の動的性質を推定する表情認識ステップとを有し、前記表情の動的性質は、カテゴリに関わらない表情の表出強度の時間変化であり、前記表情の動的性質空間は、前記表情の動的性質を表す固有空間であることを特徴とする。

本発明は、コンピュータを表情学習装置として機能させるための表情学習プログラムである。

本発明は、コンピュータを表情認識装置として機能させるための表情学習プログラムである。

本発明によれば、顔面上の目や口といった特徴点の移動の情報に基づき、表情のカテゴリの認識のみならず、表情の表出の速度や強度に関する複雑な動的性質についても認識可能になるという効果が得られる。また、表情が表出され始めた直後の表出強度が小さい、すなわち、無表情からそれほど大きく変化していない表情についても正しく認識できるようになる。例えば、一瞬表出された後、直ちに別の表情によって隠蔽された表情を認識することも可能となる。この表情の隠蔽が生じるのは、怒りや嫌悪といった感情を起因として不随意的、瞬間的かつ微細に表出される、社会的な場面においてはあまり望ましくない否定的な表情が、直ちに笑顔など他の肯定的あるいは中立的な表情によって隠されるといった場合である。このような隠蔽された表情を認識することは、対象人物の感情を正確に推定する上で重要である。

本発明の一実施形態の構成を示すブロックである。 対象人物の顔面上に配置された複数の特徴点一例を示す図である。 表情の運動のタイプの一例を示す図である。 ３つの表情カテゴリ（幸福、驚き、怒り）についての３Ｌ次元の学習データを３次元へと埋め込みを行った結果の一例を示す図である。 ３つの動的性質（通常、微細、大げさ）についてのｈ次元の学習データを３次元へと埋め込みを行った結果の一例を示す図である。 ベクトルｙ_ｔの概念を示す図である。 ベクトルｙ_ｔにおける異なる時間窓サイズの概念を示す図である。

以下、図面を参照して、本発明の一実施形態による表情学習装置及び表情認識装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、時系列の画像データ（以下、時系列画像データと呼ぶ）から、図２に示すような対象人物の顔面上に配置された複数の特徴点の座標値（位置情報）を学習データあるいは入力データ（テストデータ）として出力する入力部である。符号２は、入力部１から出力され、学習データ（Ｘ）セット記憶部４に記憶された学習データのセットを入力し、表情のカテゴリ及び動的性質についての多様体を生成して、カテゴリ多様体（Ｙ）記憶部５、動的性質多様体（Ｚ）記憶部６に記憶する表情学習部である。表情学習部２は、カテゴリ埋め込み部２１と動的性質埋め込み部２２とからなるコンピュータ装置で構成する。

符号３は、入力部１から出力される入力データ（テストデータ）ｘ_ｔ７を入力し、カテゴリ空間座標ｙ_ｔ８，動的性質空間座標ｚ_ｔ９を求め、これらから入力データｘ_ｔ７が表情学習部２より生成された表情のカテゴリ及び動的性質についての多様体のどれに類似しているかに基づき、入力データについて表情のカテゴリｃと動的性質ｍの推定値

からなる認識結果情報１０を出力する表情認識部である。表情認識部３は、カテゴリ埋め込み部３１と動的性質埋め込み部３２とカテゴリ及び動的性質認識部３３とからなるコンピュータ装置で構成する。なお、図１に示す表情学習部２、表情認識部３はそれぞれ異なるコンピュータ装置で構成してもよいし、表情学習部２、表情認識部３をまとめて１台のコンピュータ装置で構成してもよい。

ここでは、基本表情のカテゴリとして、幸福、怒り、驚き、恐れ、嫌悪、及び、悲しみの６つの表情を対象とする。すなわち、ｃ∈｛１，…，６｝であり、対象カテゴリ数はＮ_ｃ＝６である。動的性質については、図３に示すような、通常、微細、大げさ、高速及び低速の５つを対象とする。すなわち、ｍ∈｛１，…，５｝であり、対象動的性質の数はＮ_ｍ＝５である。表情のカテゴリ及び動的性質のいずれについても、どのような状態を認識の対象としても構わない。例えば、動的性質については、微細かつ高速といった組み合わせの状態を認識対象の１つとしてもよい。

次に、学習データについて説明する。１人あるいは複数人の人物についての様々なカテゴリｃ及び動的性質ｍに対する表情の表出を複数回分予め用意しておく。１回の表出は、無表情から開始して対象の表情を表出してから無表情に戻るまでとする。そのような時系列のデータ中の個々のフレームを独立したデータとみなして、１つの学習データとする。この学習データのセットをＸ＝｛ｘ_ｉ，ｃ_ｉ，ｍ_ｉ｝_{ｉ＝１，…，Ｎ}と表す。ここで、ｉはデータの番号（ＩＤ）を、Ｎは学習データの総フレーム数をそれぞれ表す。なお、学習データの数とその中でのデータのばらつきは認識精度に影響を及ぼすが、学習データ中には、認識対象のカテゴリｃ及び動的性質ｍについての表情が、それぞれ少なくとも１回分含まれているように用意しておく必要がある。

次に、表情認識を行うべき対象の入力データについて説明する。入力データは、１人の人物がある動的性質のあるカテゴリの表情を表出している間の特徴点座標の時系列データである。時刻ｔにおいて計測された特徴ベクトルをｘ_ｔと表す。

次に、図１に示す入力部について説明する。入力部１は、目や口といった顔部品周辺に配置されたＬ個の特徴点のＤ次元の座標値を並べたベクトルｘ＝［ｘ_１，１，…，ｘ_１，Ｄ，ｘ_２，１，…，ｘ_２，Ｄ，…，ｘ_Ｌ，１，…，ｘ_Ｌ，Ｄ］^Ｔ∈Ｒ^ＤＬを高い時間分解能で時系列に出力する。このベクトルｘを特徴ベクトルと呼ぶ。ここで、ｘ_ｉ，ｄはｉ番目の特徴点のｄ番目の次元の成分を表す。高い時間分解であることは表情の複雑な動的性質を識別するために必要である。ここでは、特徴点の３次元（Ｄ＝３）の座標値を高速に計測する手段として、例えば１００ｆｒａｍｅ／ｓｅｃで動作するモーションキャプチャシステムを用いる。すなわち、対象物表面に小さなマーカーを貼り付けた状態で、その人物を複数台のカメラにて撮影し、これを入力部に入力される時系列画像データとし、各画像中でのマーカーの位置からそれらマーカーの３次元座標を算出する。

このマーカーの位置の検出方法としては、緑色の塗料を顔面上に小さく塗ったものをマーカーとして、カラー映像から検出する方法を用いることができる。あるいは、赤外光をよく反射する素材をマーカーとして、赤外光を照射しながら赤外以外の波長の光をフィルタでカットしながら撮影した画像から検出する方法も用いることができる。または、そのようなマーカーを使用せずとも顔のテクスチャ情報のみから特徴点を検出できるのであればそうして構わない。あるいは、特徴点の位置情報として単に単眼カメラ画像中の特徴点の画像座標（Ｄ＝２）を用いても構わない。なお、各人物に対する顔面上での特徴点の数及び配置は同一であるものとする。これらの座標値を高速に計測する手段は、公知の方法を用いるため、ここでは詳細な説明を省略する。

この特徴ベクトルｘは、入力部１において、人物毎に無表情時を基準として正規化される。すなわち、任意の人物の無表情時の特徴ベクトルｘが等しくなるよう変換される。そのような正規化は次のようにして行われる。まず、前述した学習データセット中からある一人の人物の無表情時の特徴ベクトルｘ^ＢＡＳＥを選択する。その人物の任意の表情の特徴ベクトルについてはそのまま出力する。一方、他の人物については、全ての特徴ベクトルｘに対して射影ｇを施したベクトルｇ（ｘ）を出力する。この射影ｇについては、その人物の無表情時の特徴ベクトルがなるべくｘ^ＢＡＳＥに近くなるようなパラメータを求める。この射影ｇとしては、例えば、最も簡単なものの１つとして、特徴点座標空間の各座標軸に対してスケーリングを施す方法を用いる。

例えば、Ｄ＝３であれば、パラメータは３つであり、対角行列を用いて、

と表される。この３つのパラメータｓ_１，ｓ_２，ｓ_３については、基準とした人物の無表情時の特徴ベクトルｘ^ＢＡＳＥに対する、それぞれの人物の無表情時の特徴ベクトルの射影後のベクトルｇ（ｘ）の誤差の二乗の和が最小になる値、すなわち、最小二乗誤差基準に従って算出する。なお、この他にも、ＡＡＭ（Active Appearance Models）のように、個人毎の特徴ベクトルのばらつきについての基底を求め、その上位（主要な）いくつかの基底の線形和がなるべく特徴ベクトルｘ^ＢＡＳＥに近くなるようなパラメータを算出するという方法でも構わない。

次に、図１に示すカテゴリ埋め込み部２１、３１について説明する。カテゴリ埋め込み部は、入力されるデータｘ_ｔを、各軸が認識対象のカテゴリのうちの１つに対応したＮ_ｃ次元の空間（カテゴリ空間と呼ぶ）へと埋め込み、そのカテゴリ空間上での座標ｙ_ｔ∈Ｒ^Ｎｃを出力する。学習データをこの低次元のカテゴリ空間に埋め込んだ際に形成される多様体（カテゴリ多様対Ｙとよぶ）の一例を図４に示す。図４において、各点は１つのフレームを表している。このカテゴリ空間では、表情カテゴリ毎に分離された多様体が形成されるため、表情カテゴリを認識することがもともとの入力データの空間上よりも認識が容易となる。ここでは、表情変化、すなわち、特徴ベクトルｘ_ｔの状態が、動的性質に関わらずそのときの表出強度のみに依存することを仮定する。このとき、このカテゴリ空間は表情の動的性質とは独立となる。すなわち、カテゴリ空間上に形成される図４のような多様体は、表情のカテゴリのみに依存して分離されており、同じカテゴリで動的性質の違う表情はそのカテゴリの多様体上での移動の仕方の違いとして現れる。

次に、表情学習部２のカテゴリ埋め込み部２１の処理動作を説明する。まず、距離行列Ｍ∈Ｒ^Ｎ×Ｎを作成する。この距離行列Ｍは、成分（ｉ，ｊ）がｉ番目の学習データとｊ番目の学習データとの間の距離となっている。このときの距離尺度としては測地線距離を用いる。測地線距離については次のように計算する。まず、各学習データを１つのノードとするグラフを構築する。このとき、あるｉ番目の学習データからみて他のｊ番目の学習データがそれに隣接していると判断される場合に、ｉ番目の学習データからｊ番目の学習データに対してリンクを設ける。そのリンクには、両ノード間のユークリッド距離を値として持たせる。

隣接しているか否かの判断基準としては、ｋ−最近傍、すなわち、それぞれのデータに対して、そこからユークリッド距離の小さい他のデータを順にｋ個選択することとする。最後に、距離行列Ｍの（ｉ，ｊ）成分Ｍ_ｉ，ｊを、ｉ番目の学習データからｊ番目の学習データまでの間の単一あるいは複数のリンクで繋がれたパスのうち、通過するリンクの持つ値の和の最小値とする。なお、隣接の判断基準には、ｋ−最近傍以外にも、例えば、２つのデータの間のユークリッド距離が閾値以下であるようなデータ同士を全てリンクさせる方法を用いても構わない。

次いで、その距離行列Ｍに基づき、リップシッツ埋め込み（Lipschitz embedding）を用いてＮ_ｃ次元空間へと埋め込む。ｉ番目の学習データｘ_ｔをカテゴリ空間へと埋め込んだときの座標軸ｃについての成分をｙ_ｉ，ｃとすると、

である。ここで、Ｊ_ｃは学習データＸの中で表情カテゴリがであるデータの番号の集合を表す。以上の方法で形成させる学習データセットＸのカテゴリ空間上でのカテゴリ多様体をＹ＝｛ｙ_ｉ｝_{ｉ＝１，…，Ｎ}と表す。

続いて、表情認識部３のカテゴリ埋め込み部３１の処理動作を説明する。まず、入力データｘ_ｔから全ての学習データまでの測地線距離を計算する。ここでは、入力データｘ_ｔからｊ番目の学習データまでの距離をＭ_ｔ，ｊと表す。入力データに対してｋ−最近傍となる学習データについては、入力データとそれらの学習データとの間のユークリッド距離をＭ_ｔ，ｊとする。それ以外の学習データについては、入力データｘ_ｔに対するｋ−最近傍のそれぞれの点に対し、入力データｘ_ｔとその最近傍点との間のユークリッド距離に、その最近傍点ｋから対象としているｊ番目の学習データまでの距離Ｍ_ｋ，ｊを加えたもののうち、最小の値をＭ_ｔ，ｊとする。

次いで、入力データｘ_ｔをその距離行列Ｍに基づきリップシッツ埋め込みを用いてＮ_ｃ次元空間へと埋め込む。入力データｘ_ｔをカテゴリ空間へと埋め込んだときの座標軸ｃについての成分をｙ_ｔ，ｃとして、式（１）において、ｙ_ｉ，ｃ及びＭ_ｉ，ｊの代わりにｙ_ｔ，ｃ及びＭ_ｔ，ｊを用いてｙ_ｔ，ｃを計算する。

次に、図１に示す動的性質埋め込み部２２、３２について説明する。動的性質埋め込み部２２、３２は、対象とする表情データがカテゴリ空間上でどのように移動するのかの情報を、それぞれの軸が認識対象の動的性質の１つに対応したＮ_ｍ次元の空間（これを動的性質空間と呼ぶ）へと埋め込み、その動的性質空間上での座標ｚ_ｔ∈Ｒ^Ｎｍを出力する。学習データセットＸをこのような低次元の動的性質空間に埋め込んだ際に形成される多様体（以下、動的性質多様体Ｚと呼び、Ｚ＝｛ｚ_ｉ｝_{ｉ＝１，…，Ｎ}とする）の一例を図５に示す。図５において、各点は１つのフレームを表している。

この動的性質空間は表情のカテゴリに依存しない、すなわち、図３に示すような動的性質は、カテゴリに関わらず共通であるとする。このように、カテゴリとは独立した動的性質空間を作成することで、全ての表情のカテゴリ及び動的性質の組み合わせに対して学習データを準備しなくとも、認識対象のそれぞれの動的性質についてカテゴリに関わらず少なくとも１回の表出分ずつの学習データを準備すれば、同じ動的性質を持つ全てのカテゴリの表情を認識できるようになる。ただし、認識の精度は学習データの数、及び、その中でのデータのばらつきに依存する。また、カテゴリと動的性質が混合したＮ_ｃ×Ｎ_ｍ次元の空間へ入力データを直接１回で埋め込むよりも、形成される多様体のばらつきを小さくすることができ、より少ないデータから学習した場合でも正しくそれらを認識できることが期待できる。

このような動的性質空間を作成するために、ここでは、カテゴリ空間へと埋め込まれた入力データｙ_ｔから特定の表情カテゴリに関する表出の強度に相当する成分を抽出し、それをさらに対象とする動的性質の数と同じ次元数の空間へと埋め込む。このときの動的性質空間上での座標を

と表す。

動的性質埋め込み部２２、３２は、まず、入力データｘ_ｔのカテゴリ空間上での座標ｙ_ｔ∈Ｒ^Ｎｃを入力として、そのｙ_ｔからそれぞれの表情カテゴリｃの表出の強度に相当する成分ｙ'_ｃ，ｔを抽出し、それを一定時間長（時間窓サイズ）ｈ分まとめたベクトル

を作成する。ベクトルｙ_ｔの概念図を図６に示す。ここでは、この時間窓サイズｈを、０．１〜０．５秒分、すなわち、入力データのフレームレートが１００ｆｒａｍｅ／ｓｅｃであればｈ＝１０〜５０程度とする。図７に異なる時間窓サイズｈについての概念図を示す。ただし、この時間窓サイズｈの値については、認識したい動的性質に応じて適切な値に設定すればよい。大きな時間窓サイズｈは低速に表出される表情の検出に適しており、逆に、小さな時間窓サイズｈは高速に表出される表情の検出に適している。

成分ｙ'_ｃ，ｔについては式（２）により算出する。

ここで、Ｙ_ｃは学習データＸの中で表情カテゴリｃがであるデータをそれぞれカテゴリ空間へと埋め込んだベクトルの集合を、

はＹ_ｃの中でｙからの測地線距離がｊ番目に小さなベクトルを、‖・‖はＬ２ノルムをそれぞれ表す。

このように、埋め込みを行う際の入力となるベクトル

に時間的に連続したデータを含めることで、表情の動的性質を表現する。そして、このベクトル

に対してリップシッツ埋め込みを行い、動的性質空間上での座標

を出力する。このリップシッツ埋め込みについては、カテゴリ埋め込み部と同様の処理とする。表情学習部２と表情認識部３で処理が多少異なる点についても同様である。ただし、入力としてｘの代わりにｙ^（ｃ）を用い、ｙの代わりにｚ^（ｃ）を出力する点が異なる。

次に、図１に示すカテゴリ及び動的性質認識部３３について説明する。カテゴリ及び動的性質認識部３３は、入力データｘ_ｔに対して表情のカテゴリ及び動的性質の認識を行い、それらの認識結果情報

を出力する。ここでは、表情のカテゴリ及び動的性質の推定値を、入力データが与えられたもとでの、表情のカテゴリ及び動的性質の同時事後確率を最大化するカテゴリ及び動的性質とする。

ここで、ｐ（ｃ｜ｘ_ｔ）は入力データｘ_ｔが与えられたもとでの表情のカテゴリｃの事後確率、ｐ（ｍ｜ｃ，ｘ_ｔ）は入力データｘ_ｔ及び表情カテゴリｃが与えられたもとでの動的性質ｍの事後確率である。ここでは、式（３）を厳密に解く、すわなち、カテゴリと動的性質に対して総当りで調べることとする。ただし、近似的な方法を用いても構わない。例えば、まず、ｐ（ｃ｜ｘ_ｔ）を最大化するカテゴリを推定値

として決定し、次いで、そのカテゴリ

についての

を最大化する動的性質ｍを推定値

としても構わない。

なお、ここでは、表情のカテゴリ及び動的性質の時間遷移については考慮していないが、マルコフ過程などを仮定して時系列フィルタリングを適用することも可能である。

次に、カテゴリについての事後確率を計算する処理動作について説明する。本実施形態では、入力データの対象の表情カテゴリ毎の事後確率ｐ（ｃ｜ｘ_ｔ）を、入力データｘ_ｔをカテゴリ空間へと埋め込んだ際のカテゴリに関する多様体までの距離に基づき計算する。ベイズ則を用いるとｐ（ｃ｜ｘ_ｔ）は次のように展開される。

ここで、ｐ（ｙ_ｔ｜ｃ）は入力データのカテゴリ空間での座標ｙ_ｔの表情カテゴリｃに対する尤度である。ｐ（ｃ）は表情カテゴリｃの事前確率であり、学習データセット中に含まれるカテゴリｃのデータの割合とする。

本実施形態では、尤度ｐ（ｙ_ｔ｜ｃ）を、学習データ中での対象データのカテゴリ空間での座標ｙ_ｔのｋ−最近傍に占めるデータのうちカテゴリのデータの占める割合に基づき次のように定義する。

ここで、τ は０＜τ≪１の定数であり、βはスケール係数である。これら２つのパラメータについては、

を成立させるものとして経験的に設定する。

Ｑ_ｃ（ｙ）については、カテゴリ空間上での座標に対するｋ−最近傍

を用いて、

と定義する。ここで、Ｙは学習データ集合Ｘの要素をそれぞれカテゴリ空間へと埋め込んだベクトルの集合を、Ｉ（ｙ，ｃ）はｙに対応する学習データの表情のカテゴリがｃであれば１、そうでなければ０を返す関数である。

次に、動的性質についての事後確率を計算する処理動作について説明する。

は入力データｘ_ｔのカテゴリｃについての動的性質空間での座標

が与えられたもとでの動的性質ｍの事後確率である。ベイズ則を用いるとｐ（ｍ｜ｃ，ｘ_ｔ）は次のように展開される。

ここで、ｐ（ｚ_ｔ｜ｍ）は入力データｘ_ｔの埋め込み空間上での座標ｚ_ｔの動的性質ｍに対する尤度である。尤度ｐ（ｍ）は表情の動的性質ｍの事前確率であり、学習サンプル中に含まれる動的性質ｍのデータの占める割合とする。このｐ（ｚ_ｔ｜ｍ）の定義については、カテゴリについての事後確率の計算において、ｙ_ｔをｚ_ｔに、ｃをｍに置き換えて計算することとする。

なお、この動的性質の尤度については、この

を計算する際に時間窓サイズｈの分のデータが必要となる。そこで、まだデータｘ_ｔが入力され始めてからの経過時間がｈ未満である場合には、動的性質については考慮せず、ｐ（ｙ_ｔ｜ｃ）を最大化するカテゴリをカテゴリの推定値とし、これのみを出力することとする。

以上説明したように、２段階での埋め込み、すなわち、カテゴリ埋め込み処理と動的性質埋め込み処理を続けて行い、入力データは２段階の埋め込みのそれぞれの段階において、カテゴリに関する空間と動的性質に関する空間という２つの別の性質を持つ空間へと射影するようにした。これにより、１段階目の空間的な埋め込みでは、表情のカテゴリのみに依存して分離された多様体が形成され、２段階目の時間的な埋め込みでは、表情の動的性質のみに依存して分離された多様体が形成されることになる。結果的に、１段階目で埋め込まれるカテゴリに関する空間上ではカテゴリの種類を、２段階目で埋め込まれる動的性質に関する空間上では動的性質の種類をそれぞれ認識しやすくなる。

例えば、表情が表出され始めた直後でまだ表出強度が小さい段階では、表情のカテゴリのみを考えたのではその識別が困難である。本発明によれば、動的性質を同時に扱い、尤もらしいカテゴリと動的性質の組み合わせを探索することで、結果としてその表情のカテゴリを正しく認識することが可能となる。すなわち、ここでのカテゴリ空間への埋め込みとは空間方向の埋め込みであり、動的性質空間への埋め込みとは時間方向の埋め込みである。ここで、空間的とは、対象としている瞬間の表情が無表情時からどれだけ変化しているのか、すなわち、表情のカテゴリに関する情報を意味する。一方、時間的とは、表情変化の度合いが対象としている瞬間までどのように時間的に変化したのかを意味する。

入力データとしては、高い時間分解能で得た、目や口といった顔部品の周辺に配置された特徴点の座標値の時系列データとした。このとき、表情が変化した際に、顔部品が移動や変形することで特徴点の座標値が変化する。時間分解能の高いデータを扱うことで表情の動的性質に関する詳細を表現し、さらにそれを認識することができる。処理の第一段階では、入力データを、リップシッツ埋め込み法を用いて表情カテゴリの空間へと埋め込む。次いで、それらのデータがカテゴリの空間上を時間的にどのように移動するかの情報を、さらにリップシッツ埋め込み法を用いて動的性質の空間へと埋め込む。最後に、入力データ中の表情が、学習データから事前に形成されたそれぞれの空間中のカテゴリと動的性質に関するどの多様体に近いのかに基づき、カテゴリと動的性質を認識して出力する。

これにより、顔面上の目や口といった特徴点の移動の情報に基づき、表情のカテゴリの認識のみならず、表情の表出の速度や強度に関する複雑な動的性質についても認識可能となる。また、表情が表出され始めた直後の表出強度が小さい、すなわち、無表情からそれほど大きく変化していない表情についても正しく認識できるようになる。例えば、一瞬表出された後、直ちに別の表情によって隠蔽された表情を認識することも可能となる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより表情学習処理及び表情認識処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

顔面上の目や口といった特徴点の移動の情報に基づき、表情のカテゴリの認識のみならず、表情の表出の速度や強度に関する複雑な動的性質についても認識することが不可欠な用途に適用できる。

１・・・入力部、２・・・表情学習部、３・・・表情認識部、４・・・学習データセット記憶部、５・・・カテゴリ多様体記憶部、６・・・動的性質多様体記憶部

Claims (9)

1. 時系列の画像データから顔面上の複数の特徴点の位置情報からなる学習データを出力する入力手段と、
   前記入力手段から出力される前記学習データを、表情のカテゴリ空間に射影することにより表情のカテゴリのみに依存して分離されたカテゴリ多様体情報を生成するカテゴリ埋め込み手段と、
   前記カテゴリ多様体情報を記憶するカテゴリ多様体情報記憶手段と、
   前記入力手段から出力される前記学習データを、表情の動的性質空間に射影することにより表情の動的性質のみに依存して分離された動的性質多様体情報を生成する動的性質埋め込み手段と、
   前記動的性質多様体情報を記憶する動的性質多様体情報記憶手段と
   を備え、
   前記表情の動的性質は、カテゴリに関わらない表情の表出強度の時間変化であり、
   前記表情の動的性質空間は、前記表情の動的性質を表す固有空間である
   ことを特徴とする表情学習装置。
2. 前記動的性質埋め込み手段は、
   前記学習データのカテゴリ空間上での座標ｙ _ｔ ∈Ｒ ^Ｎｃ を入力として、前記座標ｙ _ｔ からそれぞれの表情のカテゴリｃの表出強度に相当する成分ｙ’ _ｃ，ｔ を抽出し、抽出した成分ｙ’ _ｃ，ｔ を一定時間長ｈ分まとめた次式（Ａ）で表されるベクトルｙ _ｔ ^（ｃ） を生成し、
   

   

   前記ベクトルｙ _ｔ ^（ｃ） に対して埋め込み法を用いて得られた動的性質空間上での座標ｚ _ｔ ^（ｃ） を前記カテゴリ多様体情報として生成する
   ことを特徴とする請求項１に記載の表情学習装置。
3. 表情認識を行うための学習データを表情のカテゴリ空間に射影したカテゴリ多様体情報を記憶するカテゴリ多様体情報記憶手段と、
   前記学習データを表情の動的性質空間に射影した動的性質多様体情報を記憶する動的性質多様体情報記憶手段と、
   時系列の画像データから表情認識対象人物の顔面上の複数の特徴点の位置情報を出力する入力手段と、
   前記入力手段から出力される前記複数の特徴点の位置情報を、前記表情のカテゴリ空間に射影することにより、カテゴリ空間座標を求めるカテゴリ埋め込み手段と、
   前記入力手段から出力される前記複数の特徴点の位置情報を、前記表情の動的性質空間に射影することにより、動的性質空間座標を求める動的性質埋め込み手段と、
   前記カテゴリ多様体情報記憶手段に記憶されている前記カテゴリ多様体情報を参照して、前記カテゴリ空間座標が属する前記カテゴリ多様体情報を特定することにより前記表情認識対象人物の表情のカテゴリを推定するとともに、前記動的性質多様体情報記憶手段に記憶されている前記動的性質多様体情報を参照して、前記動的性質空間座標が属する前記動的性質多様体情報を特定することにより前記表情認識対象人物の表情の動的性質を推定する表情認識手段と
   を備え、
   前記表情の動的性質は、カテゴリに関わらない表情の表出強度の時間変化であり、
   前記表情の動的性質空間は、前記表情の動的性質を表す固有空間である
   ことを特徴とする表情認識装置。
4. 前記動的性質埋め込み手段は、
   前記複数の特徴点の位置情報のカテゴリ空間上での座標ｙｔ∈ＲＮｃを入力として、前記座標ｙｔからそれぞれの表情のカテゴリｃの表出強度に相当する成分ｙ’ｃ，ｔを抽出し、抽出した成分ｙ’ｃ，ｔを一定時間長ｈ分まとめた次式（Ｂ）で表されるベクトルｙｔ（ｃ）を生成し、
   

   

   前記ベクトルｙｔ（ｃ）に対して埋め込み法を用いて得られた動的性質空間上での座標ｚｔ（ｃ）を前記動的性質空間座標として生成する
   ことを特徴とする請求項３に記載の表情認識装置。
5. 前記表情認識手段は、
   前記カテゴリ空間座標及び前記動的性質空間座標を入力データｘ _ｔ としたときに、表情のカテゴリｃ及び表情の動的性質ｍの同時事後確率を最大化する表情のカテゴリ及び動的性質の組［＾ｃ _ｔ ，＾ｍ _ｔ ］を次式（Ｃ）により算出し、
   

   

   前記表情のカテゴリ及び動的性質の組［＾ｃ _ｔ ，＾ｍ _ｔ ］における＾ｍ _ｔ を前記表情認識対象人物の表情の動的性質とする
   ことを特徴とする請求項３又は請求項４のいずれかに記載の表情認識装置。
6. 時系列の画像データから各画像に含まれる顔面上の複数の特徴点の位置情報からなる学習データを出力する入力手段と、カテゴリ多様体情報を記憶するカテゴリ多様体情報記憶手段と、動的性質多様体情報を記憶する動的性質多様体情報記憶手段と、カテゴリ埋め込み手段と、動的性質埋め込み手段とを備える表情学習装置における表情学習方法であって、
   前記カテゴリ埋め込み手段が、前記入力手段から出力される前記学習データを、表情のカテゴリ空間に射影することにより表情のカテゴリのみに依存して分離されたカテゴリ多様体情報を生成して、前記カテゴリ多様体情報記憶手段に記憶するカテゴリ埋め込みステップと、
   前記動的性質埋め込み手段が、前記入力手段から出力される前記学習データを、表情の動的性質空間に射影することにより表情の動的性質のみに依存して分離された動的性質多様体情報を生成して、前記動的性質多様体情報記憶手段に記憶する動的性質埋め込みステップと、
   を有し、
   前記表情の動的性質は、カテゴリに関わらない表情の表出強度の時間変化であり、
   前記表情の動的性質空間は、前記表情の動的性質を表す固有空間である
   ことを特徴とする表情学習方法。
7. 表情認識を行うための学習データを表情のカテゴリ空間に射影したカテゴリ多様体情報を記憶するカテゴリ多様体情報記憶手段と、前記学習データを表情の動的性質空間に射影した動的性質多様体情報を記憶する動的性質多様体情報記憶手段と、時系列の画像データから表情認識対象人物の顔面上の複数の特徴点の位置情報を出力する入力手段と、カテゴリ埋め込み手段と、動的性質埋め込み手段と、表情認識手段とを備える表情認識装置における表情認識方法であって、
   前記カテゴリ埋め込み手段が、前記入力手段から出力される前記複数の特徴点の位置情報を、前記表情のカテゴリ空間に射影することにより、カテゴリ空間座標を求めるカテゴリ埋め込みステップと、
   前記動的性質埋め込み手段が、前記入力手段から出力される前記複数の特徴点の位置情報を、前記表情の動的性質空間に射影することにより、動的性質空間座標を求める動的性質埋め込みステップと、
   前記表情認識手段が、前記カテゴリ多様体情報記憶手段に記憶されている前記カテゴリ多様体情報を参照して、前記カテゴリ空間座標が属する前記カテゴリ多様体情報を特定することにより前記表情認識対象人物の表情のカテゴリを推定するとともに、前記動的性質多様体情報記憶手段に記憶されている前記動的性質多様体情報を参照して、前記動的性質空間座標が属する前記動的性質多様体情報を特定することにより前記表情認識対象人物の表情の動的性質を推定する表情認識ステップと
   を有し、
   前記表情の動的性質は、カテゴリに関わらない表情の表出強度の時間変化であり、
   前記表情の動的性質空間は、前記表情の動的性質を表す固有空間である
   ことを特徴とする表情認識方法。
8. コンピュータを請求項１又は請求項２のいずれか一項に記載の表情学習装置として機能させるための表情学習プログラム。
9. コンピュータを請求項３から請求項５のいずれか一項に記載の表情認識装置として機能させるための表情認識プログラム。

Images