JP6467965B2 - 感情推定装置及び感情推定方法 - Google Patents

Description

本発明は、顔表情から人の感情を推定する技術に関する。

人同士のコミュニケーションにおいては、言葉を用いて意思を伝達する方法だけでなく、言葉以外の手段によるコミュニケーション（非言語コミュニケーションと呼ばれる）も用いられる。非言語コミュニケーションには、例えば、顔表情、視線、身振り、声色などがあり、これらは相手方の感情を理解する上で重要な役割を果たすことが多い。近年、このような非言語コミュニケーションを、マンマシンインタラクションに利用しようとする試みが行われている。中でも、顔表情に基づく感情推定は、人と機械のあいだの高度なコミュニケーションを実現するための重要な要素技術として期待されている。

画像から顔表情を認識する技術については、従来から多くの方法が提案されており、既に実用化されているものもある。例えば特許文献１には、画像から両目と口の形状特徴（フーリエ記述子）を抽出し、その特徴に基づき６表情（喜び／驚き／怖れ／怒り／嫌悪／悲しみ）の度合いを示す指標を算出するアルゴリズムが開示されている。

しかしながら、画像から顔表情が認識できたとしても、その認識結果からさらに人の感情（心理的状態）まで推定することは容易ではない。コミュニケーションの最中は表情が様々に変化することが通常であるため、一枚の画像における顔表情だけでは、その人の感情を正確に理解することはできないからである。また、いわゆるポーカーフェイスとか作り笑いという言葉があるように、本心（真の感情）が常に顔に表れているとは限らないからである。

特開２００７−６５９６９号公報

本発明は上記実情に鑑みなされたものであって、画像から認識した顔表情に基づいてその人の感情を精度良く推定可能な技術を提供することを目的とする。

上記目的を達成するために、本発明では、顔表情の時系列データから対象者の顔表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者の感情を推定する、という構成を採用する。

具体的には、本発明の第１の態様に係る感情推定装置は、対象者の感情を推定する感情推定装置であって、前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情を認識する表情認識部と、前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定する感情推定部と、を有し、前記感情推定部は、表情の時間的変化に関わる特徴として、前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、前記微表情として表れた表情の種類に対応する感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定することを特徴とする。
本発明の第２の態様に係る感情推定装置は、対象者の感情を推定する感情推定装置であって、前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情を認識する表情認識部と、前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定する感情推定部と、を有し、前記感情推定部は、表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化、及び、前記対象者の顔に一瞬のあいだ表れる微表情の出現の両方を検出した場合に、変化後の主表情の種類に対応する感情と前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定することを特徴とする。
本発明の第３の態様に係る感情推定装置は、対象者の感情を推定する感情推定装置であって、前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情を認識する表情認識部と、前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定する感情推定部と、を有し、前記感情推定部は、表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化を検出し、且つ、主表情の種類が変化する遷移期間のあいだに前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、変化後の主表情の種類に対応する感情と前記遷移期間のあいだに前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定することを特徴とする。

本発明によれば、推定対象期間のあいだの顔表情の時間的変化に関わる特徴に注目する
ため、推定対象期間内の感情の動き、反応、発露などを捉えることが可能となり、一枚の画像における顔表情だけで推定するのに比べて、高精度かつ高信頼の推定結果を得ることができる。

本発明の１つの態様では、前記感情推定部は、表情の時間的変化に関わる特徴として、前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、前記微表情として表れた表情の種類に対応する感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する。微表情とはフラッシュのように一瞬で顔に表れて消え去る表情のことをいう。例えば、真の感情を相手に悟られまいと、意図的に表情を隠そうとしたり偽の表情を作ろうとしたときに、真の感情が微表情として出現することが多い。よって、上記構成のように微表情の出現に注目することで、対象者の感情をより正確に理解することが可能となる。

本発明の１つの態様では、前記感情推定部は、表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化、及び、前記対象者の顔に一瞬のあいだ表れる微表情の出現の両方を検出した場合に、変化後の主表情の種類に対応する感情と前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する。このように主表情の種類変化と微表情の出現の両方に注目することで、対象者の複雑な感情や真の感情の理解が可能になると期待できる。

本発明の１つの態様では、前記感情推定部は、表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化を検出し、且つ、主表情の種類が変化する遷移期間のあいだに前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、変化後の主表情の種類に対応する感情と前記遷移期間のあいだに前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する。例えば、対象者が真の感情を意図的に隠そうとした場合、真の感情が微表情として一瞬表れた後、それが別の表情で隠される、という顔表情の変化がみられることが多い。すなわち、主表情の遷移期間のあいだに出現する微表情は、対象者の真の感情を表している蓋然性が高いといえる。よって、主表情の遷移期間のあいだに出現する微表情に注目することで、対象者の真の感情の理解が可能になると期待できる。

前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記感情推定部は、前記複数種類の表情のなかで１つの表情のスコアが最も大きい状態が所定時間以上続いた場合に、当該１つの表情を主表情と判定することが好ましい。この構成によれば、対象者の顔表情および主表情を定量的・客観的に評価することができる。また、ノイズ的な細かな表情の変化を無視できるため、推定の信頼性を向上することができる。

前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記感情推定部は、ある表情のスコアが一瞬のあいだ閾値を超えた場合に、当該表情を微表情と判
定することが好ましい。この構成によれば、対象者の顔表情および微表情を定量的・客観的に評価することができる。例えば、前記感情推定部は、一瞬のあいだに、ある表情のスコアが前記閾値よりも低い状態から前記閾値を超え、再び前記閾値より低い状態に戻った場合に、当該表情を微表情と判定することができる。「一瞬」とは、例えば、１秒以下の時間である。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する感情推定装置として捉えることができる。また本発明は、上記処理の少なくとも一部を含む感情推定方法、又は、かかる方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、画像から認識した顔表情に基づいてその人の感情を精度良く推定することができる。

感情推定装置の構成例を示す図。 感情推定処理の流れを示すフローチャート。 記憶部に記憶された表情認識結果の時系列データの一例。 時系列データと主表情変化検出の例。 時系列データと微表情検出の例。

以下に図面を参照して、この発明を実施するための好ましい形態を例示的に詳しく説明する。ただし、以下の実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

（装置構成）
図１は、本発明の実施形態に係る感情推定装置の構成例を示す図である。感情推定装置１は、対象者２を撮影した画像を解析して対象者２の感情を推定するための装置である。この感情推定装置１は、非言語コミュニケーションによるマンマシンインタラクションを実現するためのモジュールとして利用できる。例えば、家事や介助を行う家庭用ロボットに感情推定装置１を搭載すれば、ロボットがユーザの反応をみながら動作を適応的に変更するなどの高度な制御が可能となる。他にも、人工知能、コンピュータ、スマートフォン、タブレット端末、ゲーム機器、家電製品、産業機械、自動車など、あらゆる産業分野への応用が可能である。

図１の感情推定装置１は、主な構成として、画像取得部１０、表情認識部１１、記憶部１２、感情推定部１３、結果出力部１４を有している。感情推定部１３は、さらに、主表情変化検出部１３０と微表情検出部１３１を有している。

画像取得部１０は、撮像装置３から画像を取得する機能を有する。感情推定を行う際には、対象者２の顔を時系列で撮影した複数の画像（例えば、２０ｆｐｓの連続画像）が撮像装置３から順次取り込まれる。撮像装置３はモノクロ又はカラーのカメラにより構成される。図１では撮像装置３を感情推定装置１とは別に設けたが、撮像装置３を感情推定装置１に搭載してもよい。表情認識部１１は、画像センシング処理によって画像から顔表情を認識する機能を有する。記憶部１２は、表情認識部１１から出力される表情認識結果を
時系列データとして記憶する機能を有する。感情推定部１３は、記憶部１２に記憶された時系列データから対象者２の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者２の感情を推定する機能を有する。結果出力部１４は、感情推定部１３の推定結果を出力（表示装置への表示、外部装置への情報伝送など）する機能を有する。

感情推定装置１は、ＣＰＵ（プロセッサ）、メモリ、補助記憶装置、入力装置、表示装置、通信装置などを具備するコンピュータにより構成することができる。感情推定装置１の各機能は、補助記憶装置に格納されたプログラムをメモリにロードし、ＣＰＵが実行することにより実現される。ただし、感情推定装置１の一部又は全部の機能をＡＳＩＣやＦＰＧＡなどの回路で実現することもできる。あるいは、感情推定装置１の一部の機能（例えば、表情認識部１１、記憶部１２、感情推定部１３の機能）をクラウドコンピューティングや分散コンピューティングにより実現してもよい。

（感情推定処理）
次に、図２を参照して感情推定装置１で実行される感情推定処理の流れを説明する。図２は、感情推定処理の流れを示すフローチャートである。

まず、ステップＳ２００において、感情推定の対象となる期間（推定対象期間と呼ぶ）が設定される。推定対象期間は、感情推定装置１が自動で設定してもよいし、感情推定結果を利用する外部装置や外部ソフトウェアが感情推定装置１に対して指定してもよいし、ユーザが手動で指定してもよい。推定対象期間は任意に設定できるが、好ましくは数秒〜数十秒の長さに設定するとよい。期間が短すぎると感情の変化を検出できない可能性があるし、逆に期間が長すぎると感情の変化が多すぎて推定結果を絞り込み難くなるからである。例えば、何らかのイベント（機械の動作、会話出力、サービス提供など）に対する人の反応を知りたいのであれば、当該イベントの発生時刻を含む数秒〜数十秒程度の期間を推定対象期間に設定するとよい。

以後のステップＳ２０１〜Ｓ２０５の処理は、推定対象期間の開始から終了までのあいだ、例えば５０ミリ秒ごと（２０ｆｐｓに相当）に繰り返し実行される（ループＬ１）。

ステップＳ２０１では、画像取得部１０が、撮像装置３から対象者２を撮影した画像を取得する。顔表情に基づく感情推定が目的のため、対象者２の顔が（可能な限り）正面から写った画像が望ましい。次に、表情認識部１１が、画像から顔を検出し（ステップＳ２０２）、さらに顔器官（目、眉、鼻、口など）を検出する（ステップＳ２０３）。顔検出及び顔器官検出には公知の手法をはじめ、いかなるアルゴリズムを用いてもよいため、詳しい説明は割愛する。

次に、表情認識部１１が、ステップＳ２０２及びＳ２０３の検出結果を利用して、対象者２の顔表情を認識する（ステップＳ２０４）。顔表情の種類は、感情を示す語によって表される。表情の認識とは、顔表情の種類を判別すること、すなわち認識の対象である顔表情の種類を感情を示す語によって特定することをいう。ここで、顔表情の特定は、単一の感情を示す語による特定でもよいし、感情を示す語の組み合わせによる特定でもよい。感情を示す語を組み合わせる場合、各感情を示す語が重み付けされていてもよい。本実施形態では、ポール・エックマン（Paul Ekman）の表情分析をもとに、顔表情を「真顔」「喜び」「怒り」「嫌悪」「驚き」「怖れ」「悲しみ」の７種類に分類する。表情認識結果としては、７種類の表情それぞれの度合い（表情らしさ、表情度とも呼ぶ）を合計が１００となるように数値化したスコアが出力される。各表情のスコアは表情成分値とも呼ばれる。

なお、ステップＳ２０４の表情認識には公知の手法をはじめ、いかなるアルゴリズムを用いてよい。以下、表情認識処理の一例を述べる。まず表情認識部１１が、顔器官の位置情報に基づき顔器官の相対位置や形状に関わる特徴量を抽出する。特徴量としては、Ｈａａｒ−ｌｉｋｅ特徴量、特徴点間距離、特許文献１に開示されているフーリエ記述子などを用いることができる。次に、表情認識部１１が、抽出した特徴量を７種類の顔表情それぞれの判別器に入力し、各表情の度合いを計算する。各判別器はサンプル画像を用いた学習によって生成することができる。最後に、表情認識部１１は、７つの判別器からの出力値を合計が１００になるよう規格化し、７種類の表情のスコア（表情成分値）を出力する。

表情認識部１１は、表情認識結果をタイムスタンプ情報と共に記憶部１２内のデータベースに格納する（ステップＳ２０５）。図３は、記憶部１２内に記憶された表情認識結果の時系列データの一例である。各行が５０ミリ秒ごとの表情認識結果を示している。

以上の処理によって、推定対象期間のあいだの表情認識結果の時系列データが得られたら、感情推定部１３による感情推定処理が行われる。本実施形態の感情推定処理は、図２に示すように、主表情変化検出（ステップＳ２０６）、微表情検出（ステップＳ２０７）、及び、感情推定（ステップＳ２０８）の３つのステップからなる。以下、各ステップの詳細について説明する。

（１）主表情変化検出（ステップＳ２０６）
主表情変化検出とは、顔表情の時間的変化に関わる特徴として、対象者２の顔に持続的に表れている表情（主表情と呼ぶ）の種類の変化を検出する処理である。「持続的に」とは、一般に人が観察したときに表情について持続的と感じられる時間継続して、という意味である。持続的と感じられる時間は、たとえば３秒以上である。「表れている」とは、一般に人が観察して認めることができる、という意味である。人による観察結果と近似する結果を出すような表情判別アルゴリズムを任意に採用することができる。人は、感情（心理状態）の変化があったときに、それを意識的又は無意識的に表情に出すことが多い。したがって、主表情の種類の変化はその人の感情の変化と強い因果関係があり、且つ、少なくとも変化後の主表情は対象者２が抱いた感情を反映している蓋然性が高いと考えられる。よって、主表情の種類の変化に注目することで、対象者２の感情をより正確に理解することが可能となる。

本実施形態では、主表情を定量的・客観的に評価するため、「主表情」を「７種類の表情のなかでスコアが最も大きく、且つ、その状態が所定時間以上続いていること」と定義する。「所定時間」は任意に設定できるが、同じ表情が持続する一般的な時間を考慮し数秒〜十数秒程度に設定するとよい（本実施形態では３秒に設定する）。なお、主表情の定義はこれに限られない。例えば、「主表情のスコアが所定値よりも大きい」という条件や、「主表情と他の表情のスコアの差が所定値以上」という条件を付加することで、主表情判定の信頼性を高めることもできる。

主表情変化検出部１３０は、記憶部１２から時系列データを読み込み、上述した定義に合致するスコアをもつ主表情の有無を調べる。そして、主表情変化検出部１３０は、主表情が検出できたか否か、（主表情が検出できた場合は）推定対象期間のあいだに主表情の種類が変化したか否か、などの情報を検出結果として出力する。

図４（Ａ）〜図４（Ｃ）は時系列データと検出結果の例である。横軸が時間、縦軸がスコア、各グラフが各表情のスコアの時間的変化を示している（真顔、喜び、怒り以外の表情はスコアが殆ど０のため不図示）。図４（Ａ）の例では、突出してスコアが大きい表情が無く、また各表情のスコアの大小関係が頻繁に入れ替わっており、主表情が存在しない
。したがって、主表情変化検出部１３０は、「主表情：なし」という検出結果を出力する。図４（Ｂ）の例では、推定対象期間の全体をとおして「真顔」が最大スコアを維持している。したがって、主表情変化検出部１３０は、「主表情：『真顔』のまま変化なし」という検出結果を出力する。図４（Ｃ）の例では、推定対象期間前半の約５秒間は「真顔」のスコアが最大であり、後半の約５秒間は「喜び」のスコアが最大である。したがって、主表情変化検出部１３０は、「主表情：『真顔』から『喜び』へ変化」という検出結果を出力する。

図４（Ａ）のように表情が定まらない場合や、図４（Ｂ）のように表情に変化がない場合、表情のみから対象者２の感情を推定することは難しい。一方、図４（Ｃ）のように、推定対象期間の途中で明らかに表情の変化が認められる場合には、推定対象期間の直前あるいは推定対象期間の前半に発生した何らかのイベントに対する対象者２の反応（抱いた感情）が、推定対象期間の後半に主表情となって表出した蓋然性が高い。それゆえ、本実施形態では、「主表情の種類の変化」という検出結果を後述する感情推定に利用する。

（２）微表情検出（ステップＳ２０７）
微表情検出とは、顔表情の時間的変化に関わる特徴として、対象者２の顔に一瞬のあいだ表れる表情（微表情と呼ぶ）の出現を検出する処理である。「一瞬のあいだ」とは、一般に人が観察したときに表情について一瞬と感じられる時間の範囲で、という意味である。一瞬と感じられる時間は、たとえば１秒以内である。「表れる」の意味は、主表情についての「表れている」の意味と同じである。例えば、真の感情を相手に悟られまいと、意図的に表情を隠そうとしたり偽の表情を作ろうとしたときに、真の感情が微表情として出現することが多い。よって、微表情の出現に注目することで、対象者２の感情をより正確に理解することが可能となる。

本実施形態では、微表情を定量的・客観的に評価するため、「微表情」を「スコアが一瞬のあいだ閾値を超えること」と定義する。一瞬か否かの判定基準は、例えば、１秒以下の時間に設定するとよい。また「閾値」も任意に設定でき、例えば、３０〜７０程度に設定するとよい。一般に、微表情の多くは２００ミリ秒以内に消えるという報告があるので、本実施形態では、一瞬か否かの判定基準を２００ミリ秒に設定する。また、スコアの閾値を５０に設定する。したがって、本実施形態の微表情検出部１３１は、「２００ミリ秒以内に、ある表情のスコアが５０よりも低い状態から５０を超え、再び５０より低い状態に戻った」場合に当該表情を「微表情」と判定する。

微表情検出部１３１は、記憶部１２から時系列データを読み込み、上述した定義に合致するスコアをもつ微表情の有無を調べる。本実施形態では、５０ミリ秒ごとの表情認識結果が得られているため、５０を超えるスコアが１回以上３回以下続いたときに微表情と判定すればよい。図５は、推定対象期間の約５秒の時点で「怒り」の微表情が検出された例を示している。

ところで、人が真の感情を意図的に隠そうとした場合、真の感情が微表情として一瞬表れた後、それが別の表情で隠される、という顔表情の変化がみられることが多い。例えば、図５の例のように、主表情が「真顔」から「喜び」に変化する遷移期間のあいだに微表情「怒り」が出現した場合、対象者２は、内心ではややネガティブな感情を抱いたものの、それが表情に表れないよう笑顔（喜び顔）を作ったと考えられる。このように、主表情の遷移期間のあいだに出現する微表情は、対象者２の真の感情を理解する上で非常に重要な情報である。したがって、微表情検出については、推定対象期間の全体を検出範囲とするのでなく、主表情の遷移期間のみを検出範囲としてもよい。検出範囲を主表情の遷移期間に限定することで、微表情検出の処理時間の短縮を図ることができると共に、対象者２の感情に関わりの強い微表情の抽出が可能となるからである。

（３）感情推定（ステップＳ２０８）
感情推定部１３は、主表情変化検出（ステップＳ２０６）及び微表情検出（ステップＳ２０７）の検出結果を基に、対象者２の感情を推定する（ステップＳ２０８）。具体的には以下のルールで対象者２の感情推定を行う。

・主表情の種類の変化が検出され、微表情は検出されなかった場合：感情推定部１３は、変化後の主表情の種類に対応する感情を、対象者２が推定対象期間のあいだに抱いた感情であると推定する。例えば、図４（Ｃ）の例であれば、対象者２の感情は「喜び」である。このとき、表情のスコアを感情の度合い（大きさ）を表す情報として付加し、「８０％喜び」のように感情を表現してもよい。

・微表情が検出され、主表情の種類の変化は検出されなかった場合：感情推定部１３は、検出された微表情の種類に対応する感情を、対象者２が推定対象期間のあいだに抱いた感情であると推定する。この場合も、上記と同様、表情のスコアを感情の度合いを表す情報として付加してもよい。

・主表情の種類の変化と微表情の両方が検出された場合：感情推定部１３は、変化後の主表情の種類に対応する感情と微表情に対応する感情を複合した感情を、対象者２が推定対象期間のあいだに抱いた感情であると推定する。図５の例であれば、変化後の主表情は「喜び」であり、微表情は「怒り」であるため、例えば、対象者２の感情は「喜んでいるが少し不満があるかもしれない」のように推定される。あるいは、「喜び」のスコアから「怒り」の微表情分を減点し、「６０％喜び」というような推定結果を出力してもよい。

・主表情の種類の変化も微表情も検出されなかった場合：感情推定部１３は、顔表情に基づく感情推定はできないとして、エラーを返す。

以上のように感情推定結果が得られたら、結果出力部１４が感情推定結果を出力する（ステップＳ２０９）。このような感情推定結果を基にロボットやコンピュータの制御を行うことで、例えば、「相手が喜んでいるから同じアクションを続けよう」とか「相手が不満に感じたようなので、別案を提示しよう」というように、人と機械のあいだの高度なコミュニケーションの実現が期待できる。

以上述べた本実施形態の構成は次のような利点を有する。感情推定装置１は、推定対象期間のあいだの顔表情の時間的変化に関わる特徴に注目するため、推定対象期間内の感情の動き、反応、発露などを捉えることが可能となり、一枚の画像における顔表情だけで推定するのに比べて、高精度かつ高信頼の推定結果を得ることができる。特に、主表情の種類の変化と微表情の出現という特徴に注目することで、対象者の感情をより正確に理解することが可能となる。さらに、主表情の種類の変化と微表情の両方が検出された場合には、両者を複合した推定を行うので、対象者の複雑な感情や真の感情の理解が可能になると期待できる。

なお、上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。例えば、上記実施形態では、主表情変化検出（ステップＳ２０６）と微表情検出（ステップＳ２０７）を実行したが、いずれか一方の検出処理だけを行う構成でも構わない。また、上記実施形態では７種類の表情分類を用いたが、他の表情分類を用いても構わない。

１：感情推定装置
２：対象者
３：撮像装置
１０：画像取得部
１１：表情認識部
１２：記憶部
２０：感情推定部
１３０：主表情変化検出部
１３１：微表情検出部

Claims (11)

1. 対象者の感情を推定する感情推定装置であって、
   前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
   前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情を認識する表情認識部と、
   前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
   推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定する感情推定部と、
   を有し、
   前記感情推定部は、
   表情の時間的変化に関わる特徴として、前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、
   前記微表情として表れた表情の種類に対応する感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する
   ことを特徴とする感情推定装置。
2. 対象者の感情を推定する感情推定装置であって、
   前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
   前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情を認識する表情認識部と、
   前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
   推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定する感情推定部と、
   を有し、
   前記感情推定部は、
   表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化、及び、前記対象者の顔に一瞬のあいだ表れる微表情の出現の両方を検出した場合に、
   変化後の主表情の種類に対応する感情と前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する
   ことを特徴とする感情推定装置。
3. 対象者の感情を推定する感情推定装置であって、
   前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
   前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情を認識する表情認識部と、
   前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
   推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定する感情推定部と、
   を有し、
   前記感情推定部は、
   表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化を検出し、且つ、主表情の種類が変化する遷移期間のあいだに前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、
   変化後の主表情の種類に対応する感情と前記遷移期間のあいだに前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する
   ことを特徴とする感情推定装置。
4. 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
   前記感情推定部は、前記複数種類の表情のなかで１つの表情のスコアが最も大きい状態が所定時間以上続いた場合に、当該１つの表情を主表情と判定する
   ことを特徴とする請求項２または請求項３に記載の感情推定装置。
5. 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
   前記感情推定部は、ある表情のスコアが一瞬のあいだ閾値を超えた場合に、当該表情を微表情と判定する
   ことを特徴とする請求項１から４のいずれか１項に記載の感情推定装置。
6. 前記感情推定部は、一瞬のあいだに、ある表情のスコアが前記閾値よりも低い状態から前記閾値を超え、再び前記閾値より低い状態に戻った場合に、当該表情を微表情と判定する
   ことを特徴とする請求項５に記載の感情推定装置。
7. 前記一瞬とは、１秒以下の時間である
   ことを特徴とする請求項１から６のいずれか１項に記載の感情推定装置。
8. コンピュータにより対象者の感情を推定する感情推定方法であって、
   コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
   コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情を認識するステップと、
   コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
   コンピュータが、推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時
   系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定するステップと、
   を有し、
   前記感情を推定するステップでは、
   表情の時間的変化に関わる特徴として、前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、
   前記微表情として表れた表情の種類に対応する感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する
   ことを特徴とする感情推定方法。
9. コンピュータにより対象者の感情を推定する感情推定方法であって、
   コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
   コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情を認識するステップと、
   コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
   コンピュータが、推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定するステップと、
   を有し、
   前記感情を推定するステップでは、
   表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化、及び、前記対象者の顔に一瞬のあいだ表れる微表情の出現の両方を検出した場合に、
   変化後の主表情の種類に対応する感情と前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する
   ことを特徴とする感情推定方法。
10. コンピュータにより対象者の感情を推定する感情推定方法であって、
    コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
    コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情を認識するステップと、
    コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
    コンピュータが、推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定するステップと、
    を有し、
    前記感情を推定するステップでは、
    表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化を検出し、且つ、主表情の種類が変化する遷移期間のあいだに前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、
    変化後の主表情の種類に対応する感情と前記遷移期間のあいだに前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する
    ことを特徴とする感情推定方法。
11. 請求項８から１０のいずれか１項に記載の感情推定方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images