JP5061808B2

JP5061808B2 - 感情判定方法

Info

Publication number: JP5061808B2
Application number: JP2007242155A
Authority: JP
Inventors: 裕一小林
Original assignee: Toppan Inc
Current assignee: Toppan Inc
Priority date: 2007-09-19
Filing date: 2007-09-19
Publication date: 2012-10-31
Anticipated expiration: 2027-09-19
Also published as: JP2009075713A

Description

本発明は、人物の感情を身体動作を対象として、センサ情報などの人物動作撮像情報から抽出した識別対象である人物の特定部位の位置、速度、加速度などの物理特徴量に基づいて人物の感情を判定する方法に関する。

近年、様々なセンサー類が開発され、人間のいろいろな種類の生体情報を計測する技術の発展・普及が急激に進みつつある。このようなセンサー類を利用することで、人の行動を詳細に観測することが可能になりつつある。

この様な場合、単にセンサー類から直接測定できるデータのみならず、これらのデータより感情を識別する技術が既に特許文献１として公知になっている。

この特許文献１には、複数モーダルのデータを対象として、ニューラルネットワーク手法による学習に基づいて、コンテキストを考慮して情動を推定する技術が開示されている。

それとは別に、ビデオ映像から、人物の動作やジェスチャーを認識する技術が研究されている。また、顔表情を分析対象として、感情を推定したり識別したりする技術が多数見られている。

なお、この様な人物の感情の研究事例としては、顔表情の研究の他に、身体動作や音声を対象とした研究が見られる。そのうち身体動作に関しては、舞踊に関連した身体表現の研究分野でいくつか事例があるが、一般化できる性質の研究ではなかった。また、この様な研究は特定の定型動作を対象とするものであるため、その定型動作を観察対象に行わせないと判定できないものであり、日常動作のような非定型動作を対象としたものではなかった。

なお、動作を観測する技術としては、身体の特定部位に着目して光学的、電気的、若しくは磁気的に検出した３次元位置座標の時系列データ、或いは加速度センサ等で直接的に測定できる時系列データを対象とする技術が知られている。

その他、視点の異なる複数台のカメラで同時的に撮影したビデオ映像等の人物動作撮像情報から算出した３次元位置の時系列データを対象とする技術が知られている。また、映像データの場合、特定部位を抽出するための複雑な画像処理を前処理として用いるコンピュータビジョン技術が、３次元形状復元技術として特許文献２等で知られているが、他方、３次元座標時系列データあるいは加速度時系列データ等として前処理なしに直接的に適用可能である技術が既に知られている。

また、動作認識の代表的手法として、いわゆる隠れマルコフモデルを用いた方法も既に知られている。

特許文献は以下の通り。
特開２００５−１９９４０３号公報特開２００４−２２０３１２号公報

しかし、特許文献１の様な技術でも、人物の動作、例えば、立っている、歩いている、走っている等や、ジェスチャー、すなわち腕を広げる、腕を上に上げる等の定型的動作等を識別するものしか対応できなかったため、特定の動作における非定型的な人物の諸動作から対象者の感情状態を識別することが求められている。

また、動作認識の代表的方法として、いわゆる隠れマルコフモデルを用いた方法が知られているが、この方法では、データを離散的データとして扱う場合には、動作の分節化やベクトル量子化が必要となる。また、連続的データとして扱う場合には、混合正規分布モデル等の確率モデルを適用する必要があり、さらに適当な状態数と正規分布の初期パラメータ等のパラメータを決めるための前処理が必要となり、処理が煩雑である。さらに、良好な推定精度を得るためには、これらのパラメータを試行錯誤して決定する必要があった。

そこで、試行錯誤の様な熟練と経験を必要とせず、その処理による結果を得るのに定型的方法により、なるべく簡易な計算方法で求めることができることが求められていた。

本発明の課題は、この様な状況の下、特定の動作における非定型的な人物の諸動作から、対象者の感情状態を識別することが可能な感情判定方法を提供することである。

本発明の請求項１に係る発明は、人物動作撮像情報を基にした身体中心座標における特徴点情報に、感情特徴行列の逆行列を作用して特徴ベクトルを求めて感情判定を行い、
中立感情を含む有意な感情判定が出るまで前記感情特徴行列を変えて行い、有意な感情判定がされない場合は有意な判定は出来ないと判定することを特徴とする感情判定方法を提供するものである。

本発明の請求項２に係る発明は、請求項１記載の感情判定方法の特徴点情報が、位置または速度または加速度の何れかもしくはこれらの組み合わせの情報であることを特徴とする感情判定方法を提供するものである。

本発明の請求項３に係る発明は、請求項２記載の感情判定方法の特徴点が、左右の肘の中点もしくは左右の膝の中点であることを特徴とする感情判定方法を提供するものである。

本発明の請求項４に係る発明は、請求項１乃至３何れか記載の感情判定方法の感情特徴行列が、感情モード、人物モード、時間変化モードの３モードを含むテンソルに高階特異値分解を適用し、感情モードについて展開して求められたものであることを特徴とする感情判定方法を提供するものである。

本発明の請求項５に係る発明は、請求項４記載の感情判定方法のテンソルが、特定の特徴点における感情モード、人物モード、時間変化モードの３モードからなるテンソルであることを特徴とする感情判定方法を提供するものである。

本発明の請求項１に係る感情判定方法によれば、非定型的な人物の諸動作から、対象者の感情状態を識別することが可能な感情判定方法が提供できる。

また、有意な身体部位の動きを計測することにより、感情毎の差違が出やすい部位の動きに特化して、カメラ映像などの人物動作撮像情報を得る測定装置から身体中心座標への変換を含むコンピュータビジョン技術などの技術を使用して、感情判定をより簡易に判定することが可能になる。これにより、監視カメラ映像における人物の動作、すなわち人物動作撮像情報から、簡易に感情を判定することが可能になる。
また、怒り（ａｎｇｅｒ）等の所定の感情に分類されない場合も中立感情を想定し、それでも該当しない場合に不適切な感情判定とならない感情判定方法が提供できる。

また、本発明の請求項２に係る感情判定方法によれば、感情測定に用いる特徴点情報として、感情判定に最も適した特徴点情報の提供に適した感情判定方法が提供できる。

また、本発明の請求項３に係る感情判定方法によれば、上記感情判定方法の中でも最も感情判定に有意な特徴点を提示できる感情判定方法が提供できる。

また、本発明の請求項４に係る感情判定方法によれば、特徴点データ単位にモードを決めてテンソル空間として構成可能であり、テンソル解析手法により簡単に算出が可能になる。

また、従来手法に比べて、低次元のデータとして算出するため、識別計算も容易になり、計算コストが低くなった。また、テンソル解析は、各種数値計算アプリケーションを利用することが可能で、これにより容易に計算することが可能である等の多くの利点がある。

また、その人の感情状態を、特徴点の時系列データを観測することで、ある程度ラフに識別できれば、感情に応じた自動接客サービスや、遠隔で子供の状況を推測して危険を察知したり、人と人、人とロボット、人とメディア環境の間のコミュニケーションを円滑に実現するための基礎技術を提供できる感情判定方法が提供できる。

また、本発明の請求項５に係る感情判定方法によれば、特定の特徴点における感情モード、人物モード、時間変化モードを決めてテンソル空間として構成することにより、最も計算が容易なテンソル解析手法により簡単に算出が可能になる。

また、最も判定に適した特徴点が明らかな場合、当該特徴点のみの計算で済むため、識別計算も容易になり、計算コストが低くなった。

また、テンソル解析は、各種数値計算アプリケーションを利用して計算することが可能である等の多くの利点がある。

本発明の感情判定方法の一実施形態に基づいて、テンソルとして、ある特徴点における感情モード、人物モード、時間変化モードの３モードからなるテンソルの場合で代表させて以下説明する。

本実施の形態は、データ観測フェーズと、獲得したデータからモデルを学習する学習フェーズと、学習したモデルを用いて他の観測データから感情を識別するフェーズとからなる場合で以下説明するが、データ観測フェーズと、獲得したデータからモデルを学習する学習フェーズにより十分学習したモデルが確立されている場合には、それを用いて他の観測データから感情を識別する感情認識フェーズだけでも有効である。

動作観測データとしては、身体の特定部位に着目して光学的、電気的、乃至は磁気的に検出した３次元位置座標の時系列データ、或いは加速度センサ等で直接的に測定できる時系列データを用い得るが、その限りではなく、例えば視点の異なる複数台のカメラで同時的に撮影したビデオ映像等の映像データから特徴量を算出した３次元位置の時系列データでも利用可能である。もちろん、後述の様にこれを感情判定に用いる場合は人物動作撮像情報として用い、これを身体中心座標に変換することにより特徴点情報として利用しうる。

但し、映像データの場合、特徴点となすべき特定部位を抽出するための複雑な画像処理を前処理として必要とするが、既存のコンピュータビジョン技術、例えば、３次元形状復元技術などで対応可能である。なお、３次元座標時系列データあるいは加速度時系列データ等は、そのような前処理なしに直接的に適用してもよい。

データ観測フェーズでは、前記の各種動作獲得手段によって得た時系列データを図１の様に、身体中心座標系に変換して処理して特徴量を得る。これには既に公知の各種ソフトウエアを用いることができる。

この様な身体中心座標系に変換した特徴量、もしくは複数の特徴量から導き出された複数、例えば、複数人あるいは同一人物の複数データの代表的観測データは、時系列データとして後述の特徴点情報として利用する他、次の学習フェーズにおいても代表的観測データとしても利用しうる。

次に学習フェーズでは、身体中心座標系に変換した複数、例えば、複数人あるいは同一人物の複数データの時系列データである代表的観測データからテンソル空間を構成し、それを高階特異値分解によって低次元の、処理が容易な部分データ空間に分解する。

なお、この様な学習は、繰り返し行うことにより、より良い学習結果が得られるので、例えば、図７の様な構成例を用い、図８の様なフローチャートにより順次学習することにより実施する。

高階特異値分解では、図２に示す様に、感情、人物、および時間変化をモードとする特徴点情報のテンソル空間にデータを配置し、感情モードＩ_emotionあるいは人物モードＩ_subjectにテンソルの行列展開を適用することにより、人物に依存しない感情特徴ベクトル、あるいは感情に依存しない人物特徴ベクトルを生成する。

身体動作の学習用データについては、まず身体動作として、ある程度感情による差異が検出可能と考えられる定型的動作を選ぶのが、判定の精度向上には有利である。

ここでは、歩行動作を採用する。

学習用データを得るために動作してもらう人物（以下演者と称する）には、歩行動作の範囲内、つまり、他の動作に変わらない範囲で、自由に身体を動かして指定の感情を表現してもらう。

以下、特徴点情報を得るためのデータ処理前の人物動作撮像情報としての観測データとして身体の注目部位の３次元座標データ（ｘ，ｙ，ｚ）を用いて時系列データを得た場合を例に説明する。

特徴点情報を得るために必要なモーションキャプチャ装置で測定したい身体部位、例えば、主な関節部位やその中間部位等のＭケ所にそれぞれ位置センサーを装着し、測定範囲内で動作して貰い、それを観測することにより時系列データとしての動作データを得る。図３は、Ｍ＝３０として計測し、部位間をスケルトンで連結した様子を示す。

感情モードとして用いられる基本感情として、怒り（ａｎｇｅｒ）、嫌悪（ｄｉｓｇｕｓｔ）、恐れ（ｆｅａｒ）、喜び（ｊｏｙ）、悲しみ（ｓａｄｎｅｓｓ）、驚き（ｓｕｒｐｒｉｓｅ）を用い、それに無感情、すなわち、特に感情を抱いていない中立感情（ｎｏｒｍａｌ）の状態の７種類とする場合で以下説明する。

まず、複数の演者に、前記７感情状態を歩行動作の中で演じ分けて貰う。ここで学習データとしては、演技が比較的安定している時系列データであることが望ましい。そこで、数年程度の演劇経験のある複数人（Ｎ人）を演者として採用する。

そのうえでＮ人について、７つの感情状態を１つの歩行動作としてそれぞれ演じて貰い、それらを観測して時系列データである観測データとして得る。観測は同一人物・同一感情に対して複数回（ｍ回）行う。なお、この様に各学習データ、即ち学習手段に与えるデータは、時系列データである。

また、特徴量算出手段は、Ｎ人分の前記時系列データ、すなわちモーションキャプチャ・データを受け取り、指定の身体部位の時系列データを参照し、各時間における指定の特徴量、すなわち特徴点情報を算出して時系列データとする処理を繰り返し、Ｎ人分の１次元の時系列データとして出力する。

学習手段は、各感情毎に前記特徴量算出手段からＮ人分の特徴量の時系列データを受け取り、まず感情モード、人物モード、および時間変化モードの３モードからなるテンソル空間を構成する（図２参照）。

次に前記構成したテンソル空間に高階特異値分解を適用し、数１のように分解する。

これはデータ空間（テンソル）が、コアテンソルとモード１行列、モード２行列、およびモード３行列のｎ−モード積の形に分解できることを意味している。

いま、モード１を人物モード、モード２を感情モード、モード３を特徴量に関する時間変化モードとすると、モード１に対して展開することにより感情に依存しない特徴が、一方、モード２に対して展開することにより人物に依存しない特徴が、それぞれ算出することができる。

本発明の目的は、人物に依存しない感情毎の特徴を求めることであるから、ここでは、感情モードについて展開して計算することを採用する。

ｎ−モード積の計算には、「テンソルの行列化」技法を用いることによって計算可能である。

テンソルとモード１行列のｎ−モード積、この場合は１−モード積、は、数２のような関係があることが知られている。

なお、「テンソルの行列化」技法の説明は複雑であるため、３階のテンソルの場合で最
も単純なテンソルの場合を例として図４に示す。

この計算方法により、数１の計算が可能となる。

次に人物に依存しない各感情毎の特徴（以下、感情特徴ベクトルと称する）を求める。ある被験者ｐの感情αに着目して、

とすると、

のように、人物に依存しない感情特徴ベクトルが得られる。

図５および図６に、数５によって求められた感情特徴ベクトルの例を示す。ここでは、身体の指定部位として肘を、指定特徴として、左右部位の中点の身体前後方向の軌跡および速度特徴を指定した場合の例を示している。

図５および図６は左右の肘を結んだ中点位置の、身体に対して前後方向への、それぞれ3秒間における速度（ｅｌｂｏｗ−ｃｅｎｔｅｒ−Ｖｅｌ−Ｙ）および位置（ｅｌｂｏｗ−ｃｅｎｔｅｒ−Ｙ）を特徴量とした場合に、テンソル空間を構成して後述のように高階特異値分解後、各感情毎に感情特徴ベクトル（７次元）を算出し、グラフに表した結果である。なお、複数人の、複数感情による動作データの場合、それを記述する空間はテンソル空間と解することができる。

この様にテンソル空間を構成して後述の様に高階特異値分解後、各感情毎に感情特徴ベクトル（７次元）（ｅｍｏｔｉｏｎｆｅａｔｕｒｅｖｅｃｔｏｒ）を算出し、グラフに表した結果である。尚、横軸は感情特徴ベクトルの各次元を表している。

図６では、恐れ（ｆｅａｒ）感情が他感情から識別されているのがわかり、また図６では、嫌悪（ｄｉｓｇｕｓｔ）感情が他感情から識別されているのがわかる。

このように、識別したい感情のデータに対し、学習データから各感情を識別するのに有効な特徴量、写像行列、テンソルを読み取り、同じ種類の特徴量を算出し、写像行列、テンソルを用いて、数５により感情特徴ベクトルを求め、ベクトル間の距離を比較し、もっとも乖離の大きい感情特徴ベクトルの感情が、学習データの感情と一致した場合、識別された感情として判定される。

学習データの利用に関しては、図９の様な構成図が考えられる。

すなわち、感情判定に用いる場合は、以上の感情特徴ベクトルの作成に用いられた特徴点の時系列データ、すなわち感情判定に用いる人物動作撮像情報を身体中心座標に変換した特徴点情報に、上記手段で得られた感情特徴行列の逆行列を作用して特徴ベクトルを求めてその特徴ベクトルと各感情の特徴ベクトルとの距離が一定距離以下か否かを順次判定し、どの感情ベクトルとの距離も一定距離以下である場合は、中立感情であるとして感情判定を行うことで、簡単に感情判定が可能になる。

尚、実験の結果から、選択すべき特徴として、左右対になっている部位（手首・肘・肩・膝・踵など）間の関係特徴（例えば、中点の位置・速度・加速度）が、識別に有効であり、各身体部位の位置・速度・加速度などを単独で分析しても、識別には有効でない結果が得られる。

また、この感情判定には特徴点情報に、特徴ベクトルと各感情の特徴ベクトルとの距離が一定距離以下か否かにより判定したが、各感情ごとに距離を変えたり、その他、距離によらない判定方法など、各種の判定方法が応用可能である。

なお、特徴点として各種の特徴点を用いることが可能だが、歩行動作を動作観測データとする場合は、安定した特徴量が得られ、しかも感情の変化によりその変化が特徴量の変化として表れやすい特徴点として、左右の肘や膝の中点が特に有効である。

特異値分解は一般に行列に対して適用され、テンソルに対して直接には適用できない。そこで、テンソルと行列の積を行列の積として計算する「n-モード積」という計算手法に基づいて、テンソルを行列として計算する「テンソルの行列展開」という計算手法を適用することにより、テンソルに対しても特異値分解を可能にするもので、これを高階特異値分解という。

以上の学習を行いながら感情判定を行う場合の処理フローを図１０で示す。

また、身体に対して前後方向への、それぞれ速度および位置を特徴量とした場合に、テンソル空間を構成して高階特異値分解する技術の応用方法としては、感情に依存しない各人物毎の特徴（以下、人物特徴ベクトルと称する）を求める方法が考えられる。ある感情αの被験者ｐの感情に着目して、

とすると、

のように、感情に依存しない人物特徴ベクトルが得られる。

このように、識別したい人物のデータに対し、学習データから各人物を識別するのに有効な特徴量、写像行列、テンソルを読み取り、同じ種類の特徴量を算出し、写像行列、テンソルを用いて、数８により人物特徴ベクトルを求め、ベクトル間の距離を比較し、もっとも乖離の大きい人物特徴ベクトルの人物が、学習データの感情と一致した場合、識別人物として出力する。

以上の学習を行いながら人物判定を行う場合の処理フローを図１１で示す。

その他の本発明の合成手法を用いたシステムの例として、例えば、演技シミュレーターが考えられる。感情表現の不得手な役者の卵が、感情表現の得意な役者の身体表現を真似る際に、得意な役者の全感情の身体表現データを学習用データとして学習させ基底行列を獲得した後、不得手な役者のある感情の身体表現データをテストデータとして与えてやることで、不得手な役者の動作で得意な役者の身体表現のエッセンスを加味した身体表現データを得ることができる。この動作データを画面上に再現して目視したり、自分の動作をキャプチャーしながら、その合成動作データに近づくように表現を練習することが可能になり、体感型の演技の自習が可能となる。

また、学習サンプルに無い人物の学習サンプルにある感情の動作データが与えられれば
、その人物の学習サンプルにある他感情の動作データを合成することも可能である。

また、学習サンプルにある人物の新たな感情データが与えられれば、感情モードでテンソル展開を実施して、他の人物の同じ感情の動作データを合成することも可能である。

また、どのような身体部位のどのような動作が感情の識別に有効であるのか判定可能であり、これにより、人体アニメーションやデジタルシネマにおける人物の動きを合成する技術に応用可能である感情判定方法が提供できる。

加えて、以上の高階特異値分解を３モードのテンソル空間とする以外に、特徴点として複数の特徴点を測定し、特徴種類モードを含めた４モードのテンソル空間とすることも可能である。この場合は、最も判定に適した特徴点により判定できるために判定精度を向上できたり、カメラにより判定に最も適したとされた特徴点が得られない場合でも、その特徴点以外の特徴点でその判定を補うことを可能とすることもできる。

もちろん、他の観点を付加した４モードでも良いし、他のモードを付加した５モード以上の多モードとしても良い。

人物動作撮像情報などのデータ観測結果と、身体中心座標との関係を示す概念斜視図である。高階特異値分解の概念説明図である。モーションキャプチャーデータの中の一つのデータの斜視表示である。単純な３階テンソル（２×２×２）の場合の特異値分解の概念説明図である。左右肘の中点の前後方向の速度特徴を特徴量とした場合の得られた感情特徴ベクトルの例である。左右肘の中点の前後方向の位置特徴を特徴量とした場合の得られた感情特徴ベクトルの例である。学習手段の構成図である。学習を行う場合の処理フローである。学習データ利用の場合の構成図である。学習を行いながら感情判定を行う場合の処理フローである。学習を行いながら人物判定を行う場合の処理フローである。

符号の説明

Ｉ_emotion テンソルの感情モード
Ｉ_subject テンソルの人物モード
Ｉ_feature テンソルの特徴量の時間変化モード

Claims

人物動作撮像情報を基にした身体中心座標における特徴点情報に、感情特徴行列の逆行列を作用して特徴ベクトルを求めて感情判定を行い、
中立感情を含む有意な感情判定が出るまで前記感情特徴行列を変えて行い、有意な感情判定がされない場合は有意な判定は出来ないと判定することを特徴とする感情判定方法。
請求項１記載の感情判定方法の特徴点情報が、位置または速度または加速度の何れかもしくはこれらの組み合わせの情報であることを特徴とする感情判定方法。
請求項２記載の感情判定方法の特徴点が、左右の肘の中点もしくは左右の膝の中点であることを特徴とする感情判定方法。
請求項１乃至３何れか記載の感情判定方法の感情特徴行列が、感情モード、人物モード、時間変化モードの３モードを含むテンソルに高階特異値分解を適用し、感情モードについて展開して求められたものであることを特徴とする感情判定方法。
請求項４記載の感情判定方法のテンソルが、特定の特徴点における感情モード、人物モード、時間変化モードの３モードからなるテンソルであることを特徴とする感情判定方法。