WO2016129192A1 - 感情推定装置及び感情推定方法 - Google Patents

感情推定装置及び感情推定方法 Download PDF

Info

Publication number
WO2016129192A1
WO2016129192A1 PCT/JP2015/086237 JP2015086237W WO2016129192A1 WO 2016129192 A1 WO2016129192 A1 WO 2016129192A1 JP 2015086237 W JP2015086237 W JP 2015086237W WO 2016129192 A1 WO2016129192 A1 WO 2016129192A1
Authority
WO
WIPO (PCT)
Prior art keywords
facial expression
emotion
subject
estimation
expression
Prior art date
Application number
PCT/JP2015/086237
Other languages
English (en)
French (fr)
Inventor
純平 松永
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015026336A priority Critical patent/JP6467965B2/ja
Priority to JP2015-026336 priority
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2016129192A1 publication Critical patent/WO2016129192A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00302Facial expression recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Abstract

 感情推定装置は、対象者を時系列で撮影した複数の画像を取得する画像取得部と、前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情を認識する表情認識部と、前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定する感情推定部と、を有する。

Description

感情推定装置及び感情推定方法
 本発明は、顔表情から人の感情を推定する技術に関する。
 人同士のコミュニケーションにおいては、言葉を用いて意思を伝達する方法だけでなく、言葉以外の手段によるコミュニケーション(非言語コミュニケーションと呼ばれる)も用いられる。非言語コミュニケーションには、例えば、顔表情、視線、身振り、声色などがあり、これらは相手方の感情を理解する上で重要な役割を果たすことが多い。近年、このような非言語コミュニケーションを、マンマシンインタラクションに利用しようとする試みが行われている。中でも、顔表情に基づく感情推定は、人と機械のあいだの高度なコミュニケーションを実現するための重要な要素技術として期待されている。
 画像から顔表情を認識する技術については、従来から多くの方法が提案されており、既に実用化されているものもある。例えば特許文献1には、画像から両目と口の形状特徴(フーリエ記述子)を抽出し、その特徴に基づき6表情(喜び/驚き/怖れ/怒り/嫌悪/悲しみ)の度合いを示す指標を算出するアルゴリズムが開示されている。
 しかしながら、画像から顔表情が認識できたとしても、その認識結果からさらに人の感情(心理的状態)まで推定することは容易ではない。コミュニケーションの最中は表情が様々に変化することが通常であるため、一枚の画像における顔表情だけでは、その人の感情を正確に理解することはできないからである。また、いわゆるポーカーフェイスとか作り笑いという言葉があるように、本心(真の感情)が常に顔に表れているとは限らないからである。
特開2007-65969号公報
 本発明は上記実情に鑑みなされたものであって、画像から認識した顔表情に基づいてその人の感情を精度良く推定可能な技術を提供することを目的とする。
 上記目的を達成するために、本発明では、顔表情の時系列データから対象者の顔表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者の感情を推定する、という構成を採用する。
 具体的には、本発明に係る感情推定装置は、対象者の感情を推定する感情推定装置であって、前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情を認識する表情認識部と、前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定する感情推定部と、を有することを特徴とする。
 本発明によれば、推定対象期間のあいだの顔表情の時間的変化に関わる特徴に注目するため、推定対象期間内の感情の動き、反応、発露などを捉えることが可能となり、一枚の画像における顔表情だけで推定するのに比べて、高精度かつ高信頼の推定結果を得ることができる。
 前記感情推定部は、表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化を検出した場合に、変化後の主表情の種類に対応する感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定することが好ましい。人は、感情(心理状態)の変化があったときに、それを意識的又は無意識的に表情に出すことが多い。したがって、主表情の種類の変化はその人の感情の変化と強い因果関係があり、且つ、少なくとも変化後の主表情は対象者が抱いた感情を反映している蓋然性が高いと考えられる。よって、上記構成のように主表情の種類の変化に注目することで、対象者の感情をより正確に理解することが可能となる。
 前記感情推定部は、表情の時間的変化に関わる特徴として、前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、前記微表情として表れた表情の種類に対応する感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定することが好ましい。微表情とはフラッシュのように一瞬で顔に表れて消え去る表情のことをいう。例えば、真の感情を相手に悟られまいと、意図的に表情を隠そうとしたり偽の表情を作ろうとしたときに、真の感情が微表情として出現することが多い。よって、上記構成のように微表情の出現に注目することで、対象者の感情をより正確に理解することが可能となる。
 前記感情推定部は、表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化、及び、前記対象者の顔に一瞬のあいだ表れる微表情の出現の両方を検出した場合に、変化後の主表情の種類に対応する感情と前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定することが好ましい。このように主表情の種類変化と微表情の出現の両方に注目することで、対象者の複雑な感情や真の感情の理解が可能になると期待できる。
 前記感情推定部は、表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化を検出し、且つ、主表情の種類が変化する遷移期間のあいだに前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、変化後の主表情の種類に対応する感情と前記遷移期間のあいだに前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定することが好ましい。例えば、対象者が真の感情を意図的に隠そうとした場合、真の感情が微表情として一瞬表れた後、それが別の表情で隠される、という顔表情の変化がみられることが多い。すなわち、主表情の遷移期間のあいだに出現する微表情は、対象者の真の感情を表している蓋然性が高いといえる。よって、主表情の遷移期間のあいだに出現する微表情に注目することで、対象者の真の感情の理解が可能になると期待できる。
 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記感情推定部は、前記複数種類の表情のなかで1つの表情のスコアが最も大きい状態が所定時間以上続いた場合に、当該1つの表情を主表情と判定することが好ましい。この構成によれば、対象者の顔表情および主表情を定量的・客観的に評価することができる。また、ノイズ的な細かな表情の変化を無視できるため、推定の信頼性を向上することができる。
 前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、前記感情推定部は、ある表情のスコアが一瞬のあいだ閾値を超えた場合に、当該表情を微表情と判定することが好ましい。この構成によれば、対象者の顔表情および微表情を定量的・客観的に評価することができる。例えば、前記感情推定部は、一瞬のあいだに、ある表情のスコアが前記閾値よりも低い状態から前記閾値を超え、再び前記閾値より低い状態に戻った場合に、当該表情を微表情と判定することができる。「一瞬」とは、例えば、1秒以下の時間である。
 なお、本発明は、上記構成ないし機能の少なくとも一部を有する感情推定装置として捉えることができる。また本発明は、上記処理の少なくとも一部を含む感情推定方法、又は、かかる方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
 本発明によれば、画像から認識した顔表情に基づいてその人の感情を精度良く推定することができる。
図1は感情推定装置の構成例を示す図。 図2は感情推定処理の流れを示すフローチャート。 図3は記憶部に記憶された表情認識結果の時系列データの一例。 図4Aは時系列データと主表情変化検出の例。 図4Bは時系列データと主表情変化検出の例。 図4Cは時系列データと主表情変化検出の例。 時系列データと微表情検出の例。
 以下に図面を参照して、この発明を実施するための好ましい形態を例示的に詳しく説明する。ただし、以下の実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
 (装置構成)
 図1は、本発明の実施形態に係る感情推定装置の構成例を示す図である。感情推定装置1は、対象者2を撮影した画像を解析して対象者2の感情を推定するための装置である。この感情推定装置1は、非言語コミュニケーションによるマンマシンインタラクションを実現するためのモジュールとして利用できる。例えば、家事や介助を行う家庭用ロボットに感情推定装置1を搭載すれば、ロボットがユーザの反応をみながら動作を適応的に変更するなどの高度な制御が可能となる。他にも、人工知能、コンピュータ、スマートフォン、タブレット端末、ゲーム機器、家電製品、産業機械、自動車など、あらゆる産業分野への応用が可能である。
 図1の感情推定装置1は、主な構成として、画像取得部10、表情認識部11、記憶部12、感情推定部13、結果出力部14を有している。感情推定部13は、さらに、主表情変化検出部130と微表情検出部131を有している。
 画像取得部10は、撮像装置3から画像を取得する機能を有する。感情推定を行う際には、対象者2の顔を時系列で撮影した複数の画像(例えば、20fpsの連続画像)が撮像装置3から順次取り込まれる。撮像装置3はモノクロ又はカラーのカメラにより構成される。図1では撮像装置3を感情推定装置1とは別に設けたが、撮像装置3を感情推定装置1に搭載してもよい。表情認識部11は、画像センシング処理によって画像から顔表情を認識する機能を有する。記憶部12は、表情認識部11から出力される表情認識結果を時系列データとして記憶する機能を有する。感情推定部13は、記憶部12に記憶された時系列データから対象者2の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて対象者2の感情を推定する機能を有する。結果出力部14は、感情推定部13の推定結果を出力(表示装置への表示、外部装置への情報伝送など)する機能を有する。
 感情推定装置1は、CPU(プロセッサ)、メモリ、補助記憶装置、入力装置、表示装置、通信装置などを具備するコンピュータにより構成することができる。感情推定装置1の各機能は、補助記憶装置に格納されたプログラムをメモリにロードし、CPUが実行することにより実現される。ただし、感情推定装置1の一部又は全部の機能をASICやFPGAなどの回路で実現することもできる。あるいは、感情推定装置1の一部の機能(例えば、表情認識部11、記憶部12、感情推定部13の機能)をクラウドコンピューティングや分散コンピューティングにより実現してもよい。
 (感情推定処理)
 次に、図2を参照して感情推定装置1で実行される感情推定処理の流れを説明する。図2は、感情推定処理の流れを示すフローチャートである。
 まず、ステップS200において、感情推定の対象となる期間(推定対象期間と呼ぶ)が設定される。推定対象期間は、感情推定装置1が自動で設定してもよいし、感情推定結果を利用する外部装置や外部ソフトウェアが感情推定装置1に対して指定してもよいし、ユーザが手動で指定してもよい。推定対象期間は任意に設定できるが、好ましくは数秒~数十秒の長さに設定するとよい。期間が短すぎると感情の変化を検出できない可能性があるし、逆に期間が長すぎると感情の変化が多すぎて推定結果を絞り込み難くなるからである。例えば、何らかのイベント(機械の動作、会話出力、サービス提供など)に対する人の反応を知りたいのであれば、当該イベントの発生時刻を含む数秒~数十秒程度の期間を推定対象期間に設定するとよい。
 以後のステップS201~S205の処理は、推定対象期間の開始から終了までのあいだ、例えば50ミリ秒ごと(20fpsに相当)に繰り返し実行される(ループL1)。
 ステップS201では、画像取得部10が、撮像装置3から対象者2を撮影した画像を取得する。顔表情に基づく感情推定が目的のため、対象者2の顔が(可能な限り)正面から写った画像が望ましい。次に、表情認識部11が、画像から顔を検出し(ステップS202)、さらに顔器官(目、眉、鼻、口など)を検出する(ステップS203)。顔検出及び顔器官検出には公知の手法をはじめ、いかなるアルゴリズムを用いてもよいため、詳しい説明は割愛する。
 次に、表情認識部11が、ステップS202及びS203の検出結果を利用して、対象者2の顔表情を認識する(ステップS204)。顔表情の種類は、感情を示す語によって表される。表情の認識とは、顔表情の種類を判別すること、すなわち認識の対象である顔表情の種類を感情を示す語によって特定することをいう。ここで、顔表情の特定は、単一の感情を示す語による特定でもよいし、感情を示す語の組み合わせによる特定でもよい。感情を示す語を組み合わせる場合、各感情を示す語が重み付けされていてもよい。本実施形態では、ポール・エックマン(Paul Ekman)の表情分析をもとに、顔表情を「真顔」「喜び」「怒り」「嫌悪」「驚き」「怖れ」「悲しみ」の7種類に分類する。表情認識結果としては、7種類の表情それぞれの度合い(表情らしさ、表情度とも呼ぶ)を合計が100となるように数値化したスコアが出力される。各表情のスコアは表情成分値とも呼ばれる。
 なお、ステップS204の表情認識には公知の手法をはじめ、いかなるアルゴリズムを用いてよい。以下、表情認識処理の一例を述べる。まず表情認識部11が、顔器官の位置情報に基づき顔器官の相対位置や形状に関わる特徴量を抽出する。特徴量としては、Haar-like特徴量、特徴点間距離、特許文献1に開示されているフーリエ記述子などを用いることができる。次に、表情認識部11が、抽出した特徴量を7種類の顔表情それぞれの判別器に入力し、各表情の度合いを計算する。各判別器はサンプル画像を用いた学習によって生成することができる。最後に、表情認識部11は、7つの判別器からの出力値を合計が100になるよう規格化し、7種類の表情のスコア(表情成分値)を出力する。
 表情認識部11は、表情認識結果をタイムスタンプ情報と共に記憶部12内のデータベースに格納する(ステップS205)。図3は、記憶部12内に記憶された表情認識結果の時系列データの一例である。各行が50ミリ秒ごとの表情認識結果を示している。
 以上の処理によって、推定対象期間のあいだの表情認識結果の時系列データが得られたら、感情推定部13による感情推定処理が行われる。本実施形態の感情推定処理は、図2に示すように、主表情変化検出(ステップS206)、微表情検出(ステップS207)、及び、感情推定(ステップS208)の3つのステップからなる。以下、各ステップの詳細について説明する。
 (1)主表情変化検出(ステップS206)
 主表情変化検出とは、顔表情の時間的変化に関わる特徴として、対象者2の顔に持続的に表れている表情(主表情と呼ぶ)の種類の変化を検出する処理である。「持続的に」とは、一般に人が観察したときに表情について持続的と感じられる時間継続して、という意味である。持続的と感じられる時間は、たとえば3秒以上である。「表れている」とは、一般に人が観察して認めることができる、という意味である。人による観察結果と近似する結果を出すような表情判別アルゴリズムを任意に採用することができる。人は、感情(心理状態)の変化があったときに、それを意識的又は無意識的に表情に出すことが多い。したがって、主表情の種類の変化はその人の感情の変化と強い因果関係があり、且つ、少なくとも変化後の主表情は対象者2が抱いた感情を反映している蓋然性が高いと考えられる。よって、主表情の種類の変化に注目することで、対象者2の感情をより正確に理解することが可能となる。
 本実施形態では、主表情を定量的・客観的に評価するため、「主表情」を「7種類の表情のなかでスコアが最も大きく、且つ、その状態が所定時間以上続いていること」と定義する。「所定時間」は任意に設定できるが、同じ表情が持続する一般的な時間を考慮し数秒~十数秒程度に設定するとよい(本実施形態では3秒に設定する)。なお、主表情の定義はこれに限られない。例えば、「主表情のスコアが所定値よりも大きい」という条件や、「主表情と他の表情のスコアの差が所定値以上」という条件を付加することで、主表情判定の信頼性を高めることもできる。
 主表情変化検出部130は、記憶部12から時系列データを読み込み、上述した定義に合致するスコアをもつ主表情の有無を調べる。そして、主表情変化検出部130は、主表情が検出できたか否か、(主表情が検出できた場合は)推定対象期間のあいだに主表情の種類が変化したか否か、などの情報を検出結果として出力する。
 図4A~図4Cは時系列データと検出結果の例である。横軸が時間、縦軸がスコア、各グラフが各表情のスコアの時間的変化を示している(真顔、喜び、怒り以外の表情はスコアが殆ど0のため不図示)。図4Aの例では、突出してスコアが大きい表情が無く、また各表情のスコアの大小関係が頻繁に入れ替わっており、主表情が存在しない。したがって、主表情変化検出部130は、「主表情:なし」という検出結果を出力する。図4Bの例では、推定対象期間の全体をとおして「真顔」が最大スコアを維持している。したがって、主表情変化検出部130は、「主表情:『真顔』のまま変化なし」という検出結果を出力する。図4Cの例では、推定対象期間前半の約5秒間は「真顔」のスコアが最大であり、後半の約5秒間は「喜び」のスコアが最大である。したがって、主表情変化検出部130は、「主表情:『真顔』から『喜び』へ変化」という検出結果を出力する。
 図4Aのように表情が定まらない場合や、図4Bのように表情に変化がない場合、表情のみから対象者2の感情を推定することは難しい。一方、図4Cのように、推定対象期間の途中で明らかに表情の変化が認められる場合には、推定対象期間の直前あるいは推定対象期間の前半に発生した何らかのイベントに対する対象者2の反応(抱いた感情)が、推定対象期間の後半に主表情となって表出した蓋然性が高い。それゆえ、本実施形態では、「主表情の種類の変化」という検出結果を後述する感情推定に利用する。
 (2)微表情検出(ステップS207)
 微表情検出とは、顔表情の時間的変化に関わる特徴として、対象者2の顔に一瞬のあいだ表れる表情(微表情と呼ぶ)の出現を検出する処理である。「一瞬のあいだ」とは、一般に人が観察したときに表情について一瞬と感じられる時間の範囲で、という意味である。一瞬と感じられる時間は、たとえば1秒以内である。「表れる」の意味は、主表情についての「表れている」の意味と同じである。例えば、真の感情を相手に悟られまいと、意図的に表情を隠そうとしたり偽の表情を作ろうとしたときに、真の感情が微表情として出現することが多い。よって、微表情の出現に注目することで、対象者2の感情をより正確に理解することが可能となる。
 本実施形態では、微表情を定量的・客観的に評価するため、「微表情」を「スコアが一瞬のあいだ閾値を超えること」と定義する。一瞬か否かの判定基準は、例えば、1秒以下の時間に設定するとよい。また「閾値」も任意に設定でき、例えば、30~70程度に設定するとよい。一般に、微表情の多くは200ミリ秒以内に消えるという報告があるので、本実施形態では、一瞬か否かの判定基準を200ミリ秒に設定する。また、スコアの閾値を50に設定する。したがって、本実施形態の微表情検出部131は、「200ミリ秒以内に、ある表情のスコアが50よりも低い状態から50を超え、再び50より低い状態に戻った」場合に当該表情を「微表情」と判定する。
 微表情検出部131は、記憶部12から時系列データを読み込み、上述した定義に合致するスコアをもつ微表情の有無を調べる。本実施形態では、50ミリ秒ごとの表情認識結果が得られているため、50を超えるスコアが1回以上3回以下続いたときに微表情と判定すればよい。図5は、推定対象期間の約5秒の時点で「怒り」の微表情が検出された例を示している。
 ところで、人が真の感情を意図的に隠そうとした場合、真の感情が微表情として一瞬表れた後、それが別の表情で隠される、という顔表情の変化がみられることが多い。例えば、図5の例のように、主表情が「真顔」から「喜び」に変化する遷移期間のあいだに微表情「怒り」が出現した場合、対象者2は、内心ではややネガティブな感情を抱いたものの、それが表情に表れないよう笑顔(喜び顔)を作ったと考えられる。このように、主表情の遷移期間のあいだに出現する微表情は、対象者2の真の感情を理解する上で非常に重要な情報である。したがって、微表情検出については、推定対象期間の全体を検出範囲とするのでなく、主表情の遷移期間のみを検出範囲としてもよい。検出範囲を主表情の遷移期間に限定することで、微表情検出の処理時間の短縮を図ることができると共に、対象者2の感情に関わりの強い微表情の抽出が可能となるからである。
 (3)感情推定(ステップS208)
 感情推定部13は、主表情変化検出(ステップS206)及び微表情検出(ステップS207)の検出結果を基に、対象者2の感情を推定する(ステップS208)。具体的には以下のルールで対象者2の感情推定を行う。
 ・主表情の種類の変化が検出され、微表情は検出されなかった場合:感情推定部13は、変化後の主表情の種類に対応する感情を、対象者2が推定対象期間のあいだに抱いた感情であると推定する。例えば、図4Cの例であれば、対象者2の感情は「喜び」である。このとき、表情のスコアを感情の度合い(大きさ)を表す情報として付加し、「80%喜び」のように感情を表現してもよい。
 ・微表情が検出され、主表情の種類の変化は検出されなかった場合:感情推定部13は、検出された微表情の種類に対応する感情を、対象者2が推定対象期間のあいだに抱いた感情であると推定する。この場合も、上記と同様、表情のスコアを感情の度合いを表す情報として付加してもよい。
 ・主表情の種類の変化と微表情の両方が検出された場合:感情推定部13は、変化後の主表情の種類に対応する感情と微表情に対応する感情を複合した感情を、対象者2が推定対象期間のあいだに抱いた感情であると推定する。図5の例であれば、変化後の主表情は「喜び」であり、微表情は「怒り」であるため、例えば、対象者2の感情は「喜んでいるが少し不満があるかもしれない」のように推定される。あるいは、「喜び」のスコアから「怒り」の微表情分を減点し、「60%喜び」というような推定結果を出力してもよい。
 ・主表情の種類の変化も微表情も検出されなかった場合:感情推定部13は、顔表情に基づく感情推定はできないとして、エラーを返す。
 以上のように感情推定結果が得られたら、結果出力部14が感情推定結果を出力する(ステップS209)。このような感情推定結果を基にロボットやコンピュータの制御を行うことで、例えば、「相手が喜んでいるから同じアクションを続けよう」とか「相手が不満に感じたようなので、別案を提示しよう」というように、人と機械のあいだの高度なコミュニケーションの実現が期待できる。
 以上述べた本実施形態の構成は次のような利点を有する。感情推定装置1は、推定対象期間のあいだの顔表情の時間的変化に関わる特徴に注目するため、推定対象期間内の感情の動き、反応、発露などを捉えることが可能となり、一枚の画像における顔表情だけで推定するのに比べて、高精度かつ高信頼の推定結果を得ることができる。特に、主表情の種類の変化と微表情の出現という特徴に注目することで、対象者の感情をより正確に理解することが可能となる。さらに、主表情の種類の変化と微表情の両方が検出された場合には、両者を複合した推定を行うので、対象者の複雑な感情や真の感情の理解が可能になると期待できる。
 なお、上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。例えば、上記実施形態では、主表情変化検出(ステップS206)と微表情検出(ステップS207)を実行したが、いずれか一方の検出処理だけを行う構成でも構わない。また、上記実施形態では7種類の表情分類を用いたが、他の表情分類を用いても構わない。
1:感情推定装置
2:対象者
3:撮像装置
10:画像取得部
11:表情認識部
12:記憶部
13:感情推定部
130:主表情変化検出部
131:微表情検出部

Claims (11)

  1.  対象者の感情を推定する感情推定装置であって、
     前記対象者を時系列で撮影した複数の画像を取得する画像取得部と、
     前記画像取得部で取得された複数の画像のそれぞれから前記対象者の表情を認識する表情認識部と、
     前記複数の画像の表情認識結果を時系列データとして記憶する記憶部と、
     推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定する感情推定部と、を有する
    ことを特徴とする感情推定装置。
  2.  前記感情推定部は、
     表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化を検出した場合に、
     変化後の主表情の種類に対応する感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する
    ことを特徴とする請求項1に記載の感情推定装置。
  3.  前記感情推定部は、
     表情の時間的変化に関わる特徴として、前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、
     前記微表情として表れた表情の種類に対応する感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する
    ことを特徴とする請求項1に記載の感情推定装置。
  4.  前記感情推定部は、
     表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化、及び、前記対象者の顔に一瞬のあいだ表れる微表情の出現の両方を検出した場合に、
     変化後の主表情の種類に対応する感情と前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する
    ことを特徴とする請求項1に記載の感情推定装置。
  5.  前記感情推定部は、
     表情の時間的変化に関わる特徴として、前記対象者の顔に持続的に表れている主表情の種類の変化を検出し、且つ、主表情の種類が変化する遷移期間のあいだに前記対象者の顔に一瞬のあいだ表れる微表情の出現を検出した場合に、
     変化後の主表情の種類に対応する感情と前記遷移期間のあいだに前記微表情として表れた表情の種類に対応する感情を複合した感情を前記対象者が前記推定対象期間のあいだに抱いた感情であると推定する
    ことを特徴とする請求項1に記載の感情推定装置。
  6.  前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
     前記感情推定部は、前記複数種類の表情のなかで1つの表情のスコアが最も大きい状態が所定時間以上続いた場合に、当該1つの表情を主表情と判定する
    ことを特徴とする請求項2、4、5のいずれか1項に記載の感情推定装置。
  7.  前記表情認識部は、前記対象者の画像から複数種類の表情それぞれの度合いを数値化したスコアを計算し、各表情のスコアを表情認識結果として出力するものであり、
     前記感情推定部は、ある表情のスコアが一瞬のあいだ閾値を超えた場合に、当該表情を微表情と判定する
    ことを特徴とする請求項3、4、5のいずれか1項に記載の感情推定装置。
  8.  前記感情推定部は、一瞬のあいだに、ある表情のスコアが前記閾値よりも低い状態から前記閾値を超え、再び前記閾値より低い状態に戻った場合に、当該表情を微表情と判定する
    ことを特徴とする請求項7に記載の感情推定装置。
  9.  前記一瞬とは、1秒以下の時間である
    ことを特徴とする請求項3、4、5、7、8のいずれか1項に記載の感情推定装置。
  10.  コンピュータにより対象者の感情を推定する感情推定方法であって、
     コンピュータが、前記対象者を時系列で撮影した複数の画像を取得するステップと、
     コンピュータが、前記取得された複数の画像のそれぞれから前記対象者の表情を認識するステップと、
     コンピュータが、前記複数の画像の表情認識結果を時系列データとして記憶部に記憶するステップと、
     コンピュータが、推定の対象となる推定対象期間のあいだに前記記憶部に記憶された時系列データから前記対象者の表情の時間的変化に関わる特徴を検出し、その検出された特徴に基づいて前記対象者が前記推定対象期間のあいだに抱いた感情を推定するステップと、を有する
    ことを特徴とする感情推定方法。
  11.  請求項10に記載の感情推定方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
PCT/JP2015/086237 2015-02-13 2015-12-25 感情推定装置及び感情推定方法 WO2016129192A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015026336A JP6467965B2 (ja) 2015-02-13 2015-02-13 感情推定装置及び感情推定方法
JP2015-026336 2015-02-13

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE112015006160.6T DE112015006160T5 (de) 2015-02-13 2015-12-25 Emotionsschätzvorrichtung und Emotionsschätzverfahren
US15/652,866 US20170311863A1 (en) 2015-02-13 2017-07-18 Emotion estimation device and emotion estimation method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/652,866 Continuation US20170311863A1 (en) 2015-02-13 2017-07-18 Emotion estimation device and emotion estimation method

Publications (1)

Publication Number Publication Date
WO2016129192A1 true WO2016129192A1 (ja) 2016-08-18

Family

ID=56615515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/086237 WO2016129192A1 (ja) 2015-02-13 2015-12-25 感情推定装置及び感情推定方法

Country Status (4)

Country Link
US (1) US20170311863A1 (ja)
JP (1) JP6467965B2 (ja)
DE (1) DE112015006160T5 (ja)
WO (1) WO2016129192A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807537A (zh) * 2017-11-16 2018-03-16 四川长虹电器股份有限公司 基于人脸表情识别的智慧家电控制系统及方法
CN109717792A (zh) * 2018-11-06 2019-05-07 余姚市雷阵雨电器有限公司 电动机噪声消除平台

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255487B2 (en) * 2015-12-24 2019-04-09 Casio Computer Co., Ltd. Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium
JP6657048B2 (ja) 2016-09-30 2020-03-04 本田技研工業株式会社 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体
KR20180072978A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치
JP6814068B2 (ja) * 2017-02-20 2021-01-13 株式会社東海理化電機製作所 生体状態推定装置
US10929759B2 (en) 2017-04-06 2021-02-23 AIBrain Corporation Intelligent robot software platform
US10963493B1 (en) * 2017-04-06 2021-03-30 AIBrain Corporation Interactive game with robot system
US10810371B2 (en) 2017-04-06 2020-10-20 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system
US10839017B2 (en) 2017-04-06 2020-11-17 AIBrain Corporation Adaptive, interactive, and cognitive reasoner of an autonomous robotic system utilizing an advanced memory graph structure
KR20190107857A (ko) * 2018-03-13 2019-09-23 삼성전자주식회사 디스플레이장치 및 그 제어방법
JPWO2019193781A1 (ja) * 2018-04-04 2020-12-10 パナソニックIpマネジメント株式会社 感情推定装置、感情推定方法及びプログラム
US10969763B2 (en) * 2018-08-07 2021-04-06 Embodied, Inc. Systems and methods to adapt and optimize human-machine interaction using multimodal user-feedback
KR102185571B1 (ko) * 2019-01-22 2020-12-02 경일대학교산학협력단 구매 의도를 식별하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102187396B1 (ko) * 2019-02-28 2020-12-04 한양대학교 산학협력단 얼굴 표정 인식을 위한 학습 방법 및 장치, 근전도 데이터를 이용하는 얼굴 표정 인식 방법
WO2020235346A1 (ja) * 2019-05-20 2020-11-26 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、システム及び方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056388A (ja) * 2003-07-18 2005-03-03 Canon Inc 画像処理装置、画像処理方法、撮像装置
JP2006071936A (ja) * 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
JP2013017587A (ja) * 2011-07-08 2013-01-31 Namco Bandai Games Inc ゲームシステム、プログラム、及び情報記憶媒体
JP2014206903A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 表情推定装置、制御方法、制御プログラム、および記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7388971B2 (en) * 2003-10-23 2008-06-17 Northrop Grumman Corporation Robust and low cost optical system for sensing stress, emotion and deception in human subjects
US20060224046A1 (en) * 2005-04-01 2006-10-05 Motorola, Inc. Method and system for enhancing a user experience using a user's physiological state
US9965598B2 (en) * 2011-11-30 2018-05-08 Elwha Llc Deceptive indicia profile generation from communications interactions
US9640218B2 (en) * 2012-12-07 2017-05-02 Intel Corporation Physiological cue processing
KR101644586B1 (ko) * 2014-11-18 2016-08-02 상명대학교서울산학협력단 인체 미동에 의한 hrp 기반 사회 관계성 측정 방법 및 시스템
US10515393B2 (en) * 2016-06-30 2019-12-24 Paypal, Inc. Image data detection for micro-expression analysis and targeted data services
US10515199B2 (en) * 2017-04-19 2019-12-24 Qualcomm Incorporated Systems and methods for facial authentication

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056388A (ja) * 2003-07-18 2005-03-03 Canon Inc 画像処理装置、画像処理方法、撮像装置
JP2006071936A (ja) * 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
JP2013017587A (ja) * 2011-07-08 2013-01-31 Namco Bandai Games Inc ゲームシステム、プログラム、及び情報記憶媒体
JP2014206903A (ja) * 2013-04-15 2014-10-30 オムロン株式会社 表情推定装置、制御方法、制御プログラム、および記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HITOMI MATSUHISA ET AL.: "Kokoro no Kenko Jotai Haaku System no Tame no Kao Hyojo Henka Jikoku Kenshutsu", ITE TECHNICAL REPORT, vol. 37, no. 36, 12 August 2013 (2013-08-12), pages 53 - 56, ISSN: 1342-6893 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807537A (zh) * 2017-11-16 2018-03-16 四川长虹电器股份有限公司 基于人脸表情识别的智慧家电控制系统及方法
CN109717792A (zh) * 2018-11-06 2019-05-07 余姚市雷阵雨电器有限公司 电动机噪声消除平台

Also Published As

Publication number Publication date
US20170311863A1 (en) 2017-11-02
DE112015006160T5 (de) 2017-10-19
JP6467965B2 (ja) 2019-02-13
JP2016149063A (ja) 2016-08-18

Similar Documents

Publication Publication Date Title
JP6467965B2 (ja) 感情推定装置及び感情推定方法
US20180129870A1 (en) Identifying facial expressions in acquired digital images
JP5323770B2 (ja) ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機
US9852327B2 (en) Head-pose invariant recognition of facial attributes
CN107077604B (zh) 用于心律检测的面部皮肤掩膜生成
KR101574884B1 (ko) 표정 추정 장치, 제어 방법, 제어 프로그램, 및 기록 매체
US20150023603A1 (en) Head-pose invariant recognition of facial expressions
JP5061563B2 (ja) 検出装置、生体判定方法、およびプログラム
Turabzadeh et al. Real-time emotional state detection from facial expression on embedded devices
Ponce-López et al. Non-verbal communication analysis in victim–offender mediations
JP2006133937A (ja) 動作識別装置
Ponce-López et al. Multi-modal social signal analysis for predicting agreement in conversation settings
WO2010133661A1 (en) Identifying facial expressions in acquired digital images
JP2017204280A (ja) ビデオフレームを選択する方法、システム及び装置
Lee Detection and recognition of facial emotion using bezier curves
US20200272807A1 (en) Eye tracking method and user terminal performing same
KR20140114283A (ko) 정보 처리 장치
JP2009098901A (ja) 表情検出方法及び装置及びプログラム
WO2018154098A1 (en) Method and system for recognizing mood by means of image analysis
KR20180075221A (ko) 전자 장치 및 그 동작 방법
JP6322927B2 (ja) インタラクション装置、インタラクションプログラムおよびインタラクション方法
JP6209067B2 (ja) 画像認識装置、及び画像認識方法
US20200272810A1 (en) Response apparatus and response method
JP2017054240A (ja) 検出装置、方法及びプログラム
JP6906273B2 (ja) 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15882065

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112015006160

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15882065

Country of ref document: EP

Kind code of ref document: A1