JP6132335B2 - 感情推定装置及び感情推定方法 - Google Patents

Description

本発明は、顔画像から感情や心理状態を推定する技術に関する。

下記特許文献１及び２は、顔画像（表情画像）から感情や心理状態を推定する手法を提案する。これら手法は、複数人の顔画像から、表情マップ、線形判別式、重回帰式等を取得し、これら情報に基づいて、不特定人の顔画像に対応する感情や心理状態を推定する。

また、下記特許文献３は、ユーザの個々の好みに応じた表情の被写体を撮像する撮像装置を提案する。この撮像装置は、個人を識別するための個人識別特徴量と、ユーザの好みに応じた表情を示す表情判断特徴量とを予め格納しておき、撮像された複数の画像に写る個人を特定し、当該複数の画像の中の、その個人の表情判断特徴量と類似する特徴量を持つ画像を出力用画像として記録する。

特開２００７−０６５９６９号公報 特開２００８−１４６３１８号公報 特開２００６−１１５４０６号公報

上記特許文献１及び２で提案される手法は、複数人から得られる標準的な表情との関係から、或る顔画像に対応する感情や心理状態を推定しているため、人や場面によっては、高い推定精度を達成できない可能性がある。例えば、感情を標準的に表情に出さない人や、老人や病人等のように感情を表情に出せない状況にある人に対しては、上述の提案手法は、精度よく感情や心理状態を推定できない可能性が高い。また、上記特許文献３は、各個人の好みの表情を示す表情判断特徴量を予め登録しているものの、各個人の好みに応じた表情と近似する画像を特定しているに過ぎず、各個人の感情や心理状態を推定しているわけではない。

本発明は、このような事情に鑑みてなされたものであり、各個人の感情を高精度に推定する技術を提供することにある。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第１の側面は、感情推定装置に関する。第１の側面に係る感情推定装置は、撮像された被判定者の顔を示す顔画像情報を取得する画像取得部と、画像取得部により取得される顔画像情報、及び、感情情報格納部に格納される、被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、被判定者の感情を推定する感情推定部と、生体センサにより測定される前記被判定者の生体情報の時系列データを取得する生体情報取得部と、前記生体情報取得部により取得される生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定するタイミング推定部と、前記画像取得部により取得される前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記タイミング推定部により推定されるタイミングに対応する顔画像情報を特定し、特定された顔画像情報を、該タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する感情情報登録部と、を有する。

第２の側面は、少なくとも１つのコンピュータにより実行される感情推定方法に関する。第２の側面に係る感情推定方法は、撮像された被判定者の顔を示す顔画像情報を取得し、取得された顔画像情報、及び、感情情報格納部に格納される、被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、被判定者の感情を推定し、生体センサにより測定される前記被判定者の生体情報の時系列データを取得し、前記取得された生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定し、前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記推定されたタイミングに対応する顔画像情報を特定し、前記特定された顔画像情報を、前記タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する、ことを含む。

なお、本発明の他の側面としては、上記第２の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各側面によれば、各個人の感情を高精度に推定する技術を提供することができる。

実施形態における感情推定システムのハードウェア構成例を概念的に示す図である。 実施形態における感情推定装置の処理構成例を概念的に示す図である。 実施形態における感情推定システムの動作例を示すシーケンスチャートである。 変形例における感情推定システムの処理構成例を概念的に示す図である。

以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

〔システム構成〕
図１は、実施形態における感情推定システム１のハードウェア構成例を概念的に示す図である。感情推定システム１は、図１に示されるように、撮像装置２、生体センサ３及び感情推定装置１０を有する。

感情推定装置１０は、いわゆるコンピュータであり、例えば、バス９で相互に接続される、ＣＰＵ（Central Processing Unit）５、メモリ６、入出力インタフェース（Ｉ／Ｆ）７等を有する。メモリ６は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体等である。入出力Ｉ／Ｆ８は、表示装置（図示せず）、入力装置（図示せず）、通信装置（図示せず）等と接続され得る。例えば、入出力Ｉ／Ｆ７は、通信装置などを介して、撮像装置２及び生体センサ３と通信を行う。感情推定装置１０と、撮像装置２又は生体センサ３との間の通信は、本実施形態では制限されない。その通信は、例えば、ＵＳＢ（Universal Serial Bus）通信やＩＰ（Internet Protocol）通信等である。本実施形態は、感情推定装置１０のハードウェア構成を制限しない。

感情推定装置１０は、後述の感情情報データベース（ＤＢ）１７にデータを登録する動作モード（以降、登録モードと表記する）と、感情情報ＤＢ１７に登録されているデータに基づいて、被判定者の感情を推定する動作モード（以降、推定モードと表記する）とを有する。感情推定装置１０は、例えば、入力装置を用いた操作者の入力操作により、その２つの動作モードの間を切り替える。

撮像装置２は、いわゆるカメラであり、任意のタイミングで被判定者を撮像し、被判定者の顔を含む画像の画像信号を出力する。即ち、撮像装置２は、撮像素子を含み、被判定者の像を電気信号（画像信号）に変換し、その画像信号を出力する。撮像装置２は、画像信号を感情推定装置１０へ出力してもよいし、その画像信号から生成される画像データ（画像ファイル）を感情推定装置１０へ出力してもよい。

生体センサ３は、感情推定装置１０が登録モードで動作している場合に、被判定者の被測定部位又はその周辺に取り付けられ、被判定者の生体情報を逐次測定する。生体センサ３により測定される生体情報は、例えば、脳波、脈拍、心拍、心電図、呼吸、発汗、血圧、体温等のうちの少なくとも一つの情報である。本実施形態は、感情を推定可能な生体情報であれば、生体情報の具体的内容を制限しない。例えば、生体センサ３は、脳波計、血圧計及び体温計を含み、これらにより検出される脳波、血圧及び体温の組み合わせを生体情報として測定するようにしてもよい。生体センサ３による各種生体情報の具体的測定手法には、周知技術が用いられればよい。

〔処理構成〕
図２は、実施形態における感情推定装置１０の処理構成例を概念的に示す図である。実施形態における感情推定装置１０は、画像取得部１１、生体情報取得部１２、顔画像ＤＢ１３、生体情報ＤＢ１４、タイミング推定部１５、感情情報登録部１６、感情情報ＤＢ１７、感情推定部１８等を有する。これら各処理部は、例えば、ＣＰＵ５によりメモリ６に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ７を介してインストールされ、メモリ６に格納されてもよい。

画像取得部１１は、撮像装置２により撮像された被判定者の顔を示す顔画像情報を取得する。顔画像情報は、撮像装置２により撮像された被判定者の顔が写る顔画像の画像データであってもよいし、その顔画像の画像データから抽出される特徴量データであってもよい。画像データは、撮像装置２により生成され、撮像装置２から取得されてもよいし、撮像装置２から出力される画像信号に基づいて画像取得部１１により生成されてもよい。また、画像データは、可搬型記録媒体、他のコンピュータ等から入出力Ｉ／Ｆ４を経由して取得されてもよい。

画像取得部１１は、上述のように取得された顔画像の画像データから特徴量データを取得することもできる。特徴量データの具体的な取得手法には、周知技術が用いられればよい。例えば、感情推定システム１で推定される各感情を表し易い顔の各構成要素（各部位）に相当する領域画像から得られる特徴量データが取得される。

画像取得部１１は、登録モード時には、感情情報ＤＢ１７への登録対象となり得る顔画像情報を取得し、推定モード時には、感情推定の対象となる顔画像情報を取得する。具体的には、登録モード時には、画像取得部１１は、撮像装置２により逐次撮像された被判定者の顔画像に関する顔画像情報の時系列データを取得し、その時系列データを顔画像ＤＢ１３に格納する。例えば、画像取得部１１は、撮像タイミングを撮像装置２に指示し、その撮像タイミングで撮像された画像データを撮像装置２から取得し、その画像データを撮像タイミングに対応する時間情報と共に顔画像ＤＢ１３に格納するようにしてもよい。また、画像取得部１１は、登録モードであることを撮像装置２に通知することで、撮像装置２に所定の周期で被判定者を逐次撮像させるようにしてもよい。画像取得部１１は、複数の画像データをまとめて、各画像データの時間情報と共に、撮像装置２から取得してもよい。

生体情報取得部１２は、登録モード時に、生体センサ３により測定される被判定者の生体情報の時系列データを取得し、その時系列データを生体情報ＤＢ１４に格納する。生体情報取得部１２は、生体情報と、その生体情報が測定されたタイミングを示す時間情報とを生体センサ３から取得してもよいし、生体センサ３から生体情報を取得し、その生体情報の取得タイミングをその生体情報に対応する時間情報とするようにしてもよい。

顔画像ＤＢ１３は、画像取得部１１により取得された、被判定者の顔画像に関する顔画像情報の時系列データを格納する。具体的には、顔画像ＤＢ１３は、被判定者の複数の顔画像情報を時間情報と共に格納する。顔画像ＤＢ１３は、複数の被判定者の顔画像情報を格納するようにしてもよい。

生体情報ＤＢ１４は、生体情報取得部１２により取得された、被判定者の生体情報の時系列データを格納する。具体的には、生体情報ＤＢ１４は、被判定者の生体情報とそれに対応する時間情報との複数の組を格納する。生体情報ＤＢ１４は、複数の被判定者の生体情報を格納するようにしてもよい。

タイミング推定部１５は、登録モード時に動作する。タイミング推定部１５は、生体情報取得部１２により取得され、生体情報ＤＢ１４に格納される生体情報の時系列データに基づいて、被判定者が所定感情を有したタイミングを推定する。具体的には、タイミング推定部１５は、生体情報ＤＢ１４に格納される生体情報の時系列データの中から、感情情報ＤＢ１７に格納され得る複数の所定感情の各々について、各所定感情を被判定者が有したであろうタイミングをそれぞれ推定する。複数の所定感情は、例えば、喜び、楽しみ、緊張、怒り、哀しみ、恐怖等である。タイミング推定部１５は、一定期間の生体情報が生体情報ＤＢ１４に格納されたことを契機に処理を開始する。

例えば、脳波を周波数解析することで、怒り、哀しみ、喜び等の感情を定量化する様々な手法が提案されている。α波、θ波、β波、δ波等の分布により、感情を推定することができる。また、感情に応じて脈拍、心拍、呼吸、血圧、体温等が変化することも知られている。従って、これら情報の少なくとも１つを用いれば、所定の感情を推定することができる。本実施形態は、タイミングを推定する所定感情の種類を制限せず、かつ、上記タイミングの具体的推定手法を制限しない。感情情報ＤＢ１７に格納され得る複数の所定感情の種類は、予め決められ、タイミング推定部１５に設定されている。

例えば、タイミング推定部１５は、上記所定感情へ変化した後のタイミング、又は、上記所定感情を強く表しているタイミングを、被判定者がその所定感情を有したタイミングとして推定する。例えば、タイミング推定部１５は、心拍数が所定閾値を超えた直後を被判定者が緊張感を有したタイミングとして推定してもよいし、心拍数が最も高い時をそのタイミングとして推定してもよい。他の例としては、タイミング推定部１５は、脳波のθ波、α波及びβ波の各含有率をそれぞれ計算し、各含有率が所定パターンを示す時を被判定者が緊張しているタイミングとして推定してもよいし、β波の含有率が最も大きいときをそのタイミングとして推定してもよい。

感情情報ＤＢ１７は、被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を格納する。例えば、感情情報ＤＢ１７は、所定感情毎に、被判定者の表情画像情報とその所定感情を特定する感情ＩＤとを格納する。複数の所定感情は、上述したとおり、例えば、喜び、楽しみ、緊張、怒り、哀しみ、恐怖等である。

感情情報登録部１６は、登録モード時に動作する。感情情報登録部１６は、顔画像ＤＢ１３に格納されている、被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、タイミング推定部１５により推定されるタイミングに対応する顔画像情報を特定し、特定された顔画像情報を、そのタイミングに対応する所定の感情に関連付けて感情情報ＤＢ１７に格納する。具体的には、感情情報登録部１６は、タイミング推定部１５により推定された各所定感情のタイミングに基づいて、その各タイミングに適合する時間情報と共に格納される各顔画像情報を顔画像ＤＢ１３からそれぞれ抽出し、抽出された各顔画像情報を各所定感情の感情ＩＤと共に、感情情報ＤＢ１７に格納する。

感情推定部１８は、推定モード時に動作する。感情推定部１８は、推定モード時に画像取得部１１により取得される顔画像情報、及び、感情情報ＤＢ１７に格納される、被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、被判定者の感情を推定する。例えば、感情推定部１８は、画像取得部１１により取得された顔画像情報に最も近似する顔画像情報を感情情報ＤＢ１７の中で特定し、その特定された顔画像情報に関連付けられる所定感情を被判定者の感情として決定する。顔画像情報が画像データである場合、感情推定部１８は、周知技術である画像データ同士の類似度判定を行う。

また、感情推定部１８は、感情情報ＤＢ１７に格納される各顔画像情報と、画像取得部１１により取得された顔画像情報との間の各類似度をそれぞれ算出するようにしてもよい。この場合、感情推定部１８は、各類似度を正規化することで得られる各値を、対応する各所定感情のポイントとしてそれぞれ出力するようにしてもよい。

〔動作例〕
以下、実施形態における感情推定方法について図３を用いて説明する。図３は、実施形態における感情推定システム１の動作例を示すシーケンスチャートである。図３では、（Ｓ３１）〜（Ｓ３５）が登録モードにおける処理を示し、（Ｓ３６）及び（Ｓ３７）が推定モードにおける処理を示す。図３では、登録モードと推定モードとがシーケンシャルに実行される例が示されるが、各動作モードは連続して実行されなくてもよい。また、以下の説明では、感情推定装置１０が各方法の実行主体となるが、感情推定装置１０に含まれる上述の各処理部が実行主体となってもよい。

感情推定装置１０は、顔画像情報の時系列データを取得する（Ｓ３１）。このとき、撮像装置２は、或る周期で、被判定者を撮像している。撮像装置２による撮像タイミングは、感情推定装置１０により指定されてもよいし、所定の周期で決められてもよい。これにより、感情推定装置１０は、撮像装置２により逐次撮像された被判定者の顔画像の画像データ又は特徴量データを逐次取得し、画像データ又は特徴量データと、対応する時間情報とを顔画像ＤＢ１３に順次格納していく。

並行して、感情推定装置１０は、その被判定者の生体情報の時系列データを取得する（Ｓ３２）。このとき、生体センサ３は、或る周期で、被判定者の生体情報を測定している。生体センサ３による測定タイミングは、感情推定装置１０により指定されてもよいし、所定の周期で決められてもよい。これにより、感情推定装置１０は、生体センサ３により逐次測定された被判定者の生体情報を逐次取得し、その生体情報と、対応する時間情報とを生体情報ＤＢ１４に順次格納していく。

感情推定装置１０は、所定期間分の生体情報が取得されると、取得された生体情報の時系列データに基づいて、被判定者の各所定感情のタイミングをそれぞれ推定する（Ｓ３３）。例えば、感情推定装置１０は、所定感情へ変化した後のタイミング、又は、所定感情を強く表しているタイミングを、被判定者がその所定感情を有したタイミングとして推定する。

感情推定装置１０は、推定された各所定感情のタイミングに対応する顔画像情報を抽出する（Ｓ３４）。具体的には、感情推定装置１０は、各所定感情のタイミングに適合する時間情報と関連付けられて顔画像ＤＢ１３に格納される各顔画像情報をそれぞれ抽出する。

感情推定装置１０は、抽出された各顔画像情報を、各所定感情に関連付けて感情情報ＤＢ１７にそれぞれ格納する（Ｓ３５）。このように感情情報ＤＢ１７への顔画像情報の登録が完了すると、感情推定装置１０は、いつでも、推定モードに移行して、（Ｓ３６）の処理を実行することができるようになる。

感情推定装置１０は、撮像装置２により撮像された、感情推定のための当該被判定者の顔画像情報を取得する（Ｓ３６）。

感情推定装置１０は、（Ｓ３６）で取得された顔画像情報と、感情情報ＤＢ１７に格納される顔画像情報とを用いて、被判定者の感情を推定する（Ｓ３７）。推定される被判定者の感情は、（Ｓ３６）で取得された顔画像情報が示す顔画像が撮像された時に、被判定者が有すると推定される感情である。感情推定装置１０は、画像データ間、又は、特徴量データ間の類似度判定を行うことで、被判定者の感情を推定する。推定結果は、最も近似する顔画像情報に対応する１つの所定感情であってもよいし、各所定感情に関するポイントであってもよい。

〔実施形態の作用及び効果〕
上述したように本実施形態では、登録モードにおいて、被判定者の顔画像情報と所定感情との対応関係が感情情報ＤＢ１７に登録され、推定モードにおいて、感情情報ＤＢ１７に格納される対応関係と、新たに取得された被判定者の顔画像情報とに基づいて、その被判定者の感情が推定される。登録モードでは、次のように、感情情報ＤＢ１７へのデータ登録が行われる。被判定者の生体情報が順次測定されると共に、その被判定者の顔を含む画像が順次撮像されることで、その被判定者に関する生体情報及び顔画像情報の各時系列データがそれぞれ取得される。そして、その生体情報の時系列データから、被判定者が各所定感情を有していたであろうタイミングがそれぞれ推定され、顔画像情報の時系列データから、各所定感情のタイミングに対応する各顔画像情報がそれぞれ抽出され、抽出された各顔画像情報が各所定感情と関連付けられて感情情報ＤＢ１７にそれぞれ格納される。

このように、本実施形態によれば、被判定者個人の生体情報及び顔画像情報から、その被判定者の感情が推定されるため、感情を標準的に表情に出さない被判定者に関しても高精度に感情を推定することができる。更に、本実施形態によれば、感情推定のための基になる顔画像情報と所定感情との対応関係が、生体情報という客観的な指標（データ）により生成されるため、被判定者個々に表情への表われ方が異なる感情を被判定者個々に応じて高精度に推定することができる。これにより、寝たきりの患者のように感情を表情に出せない状況にある者に関しても、高精度に感情を推定することができる。即ち、本実施形態によれば、介護施設や病院等で、老人や患者の状態を監視するための感情推定システムとしても大きな効果を発揮する。

ところで、被判定者に生体センサ３を取り付けておき、生体センサ３で測定される生体情報のみを用いてその被判定者の感情を推定することは可能である。しかしながら、この手法では、被判定者は、感情推定時には常時生体センサ３を取り付けておく必要があり、不快である。本実施形態によれば、登録モード時のみ、生体センサ３が被判定者に取り付けられ、推定モード時には、生体センサ３を取り外すことができるため、被判定者の不快感を軽減することができる。

［変形例］
感情推定装置１０は、複数の装置（コンピュータ）として実現されてもよい。
図４は、変形例における感情推定システム１の処理構成例を概念的に示す図である。図４に示されるように、感情推定システム１は、上記登録モード時の処理のみを行う情報登録装置２０、及び、上記推定モード時の処理のみを行う感情推定装置１０を有するようにしてもよい。この場合、感情推定装置１０は、画像取得部１１及び感情推定部１８を有し、情報登録装置２０は、上述の感情推定部１８以外の処理部を有する。また、顔画像ＤＢ１３、生体情報ＤＢ１４及び感情情報ＤＢ１７が更に他のコンピュータ上に実現されてもよい。

なお、上述の説明で用いたフローチャートでは、複数の工程（処理）が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。本実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． 撮像された被判定者の顔を示す顔画像情報を取得する画像取得部と、
前記画像取得部により取得される顔画像情報、及び、感情情報格納部に格納される、前記被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、前記被判定者の感情を推定する感情推定部と、
を備える感情推定装置。
２． 生体センサにより測定される前記被判定者の生体情報の時系列データを取得する生体情報取得部と、
前記生体情報取得部により取得される生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定するタイミング推定部と、
前記画像取得部により取得される前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記タイミング推定部により推定されるタイミングに対応する顔画像情報を特定し、特定された顔画像情報を、該タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する感情情報登録部と、
を更に備える１．に記載の感情推定装置。
３． 前記タイミング推定部は、前記所定感情へ変化した後のタイミング、又は、前記所定感情を強く表しているタイミングを、前記被判定者が所定感情を有したタイミングとして推定する、
２．に記載の感情推定装置。
４． 前記生体情報は、脳波、脈拍、心拍、心電図、呼吸、発汗、血圧、体温のうちの少なくとも一つの情報である２．又は３．に記載の感情推定装置。
５． 少なくとも１つのコンピュータにより実行される感情推定方法において、
撮像された被判定者の顔を示す顔画像情報を取得し、
前記取得された顔画像情報、及び、感情情報格納部に格納される、前記被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、前記被判定者の感情を推定する、
ことを含む感情推定方法。
６． 生体センサにより測定される前記被判定者の生体情報の時系列データを取得し、
前記取得された生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定し、
前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記推定されたタイミングに対応する顔画像情報を特定し、
前記特定された顔画像情報を、前記タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する、
ことを更に含む５．に記載の感情推定方法。
７． 前記タイミングの推定は、前記所定感情へ変化した後のタイミング、又は、前記所定感情を強く表しているタイミングを、前記被判定者が所定感情を有したタイミングとして推定する、
６．に記載の感情推定方法。
８． ５．から７．のいずれか１つに記載の感情推定方法を少なくとも１つのコンピュータに実行させるプログラム。

１ 感情推定システム
２ 撮像装置
３ 生体センサ
５ ＣＰＵ
６ メモリ
７ 入出力Ｉ／Ｆ
１０ 感情推定装置
１１ 画像取得部
１２ 生体情報取得部
１３ 顔画像ＤＢ
１４ 生体情報ＤＢ
１５ タイミング推定部
１６ 感情情報登録部
１７ 感情情報ＤＢ
１８ 感情推定部
２０ 情報登録装置

Claims (6)

1. 撮像された被判定者の顔を示す顔画像情報を取得する画像取得部と、
   前記画像取得部により取得される顔画像情報、及び、感情情報格納部に格納される、前記被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、前記被判定者の感情を推定する感情推定部と、
   生体センサにより測定される前記被判定者の生体情報の時系列データを取得する生体情報取得部と、
   前記生体情報取得部により取得される生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定するタイミング推定部と、
   前記画像取得部により取得される前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記タイミング推定部により推定されるタイミングに対応する顔画像情報を特定し、特定された顔画像情報を、該タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する感情情報登録部と、
   を備える感情推定装置。
2. 前記タイミング推定部は、前記所定感情へ変化した後のタイミング、又は、前記所定感情を強く表しているタイミングを、前記被判定者が所定感情を有したタイミングとして推定する、
   請求項１に記載の感情推定装置。
3. 前記生体情報は、脳波、脈拍、心拍、心電図、呼吸、発汗、血圧、体温のうちの少なくとも一つの情報である請求項１又は２に記載の感情推定装置。
4. 少なくとも１つのコンピュータにより実行される感情推定方法において、
   撮像された被判定者の顔を示す顔画像情報を取得し、
   前記取得された顔画像情報、及び、感情情報格納部に格納される、前記被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、前記被判定者の感情を推定し、
   生体センサにより測定される前記被判定者の生体情報の時系列データを取得し、
   前記取得された生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定し、
   前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記推定されたタイミングに対応する顔画像情報を特定し、
   前記特定された顔画像情報を、前記タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する、
   ことを含む感情推定方法。
5. 前記タイミングの推定は、前記所定感情へ変化した後のタイミング、又は、前記所定感情を強く表しているタイミングを、前記被判定者が所定感情を有したタイミングとして推定する、
   請求項４に記載の感情推定方法。
6. 請求項４又は５に記載の感情推定方法を少なくとも１つのコンピュータに実行させるプログラム。

Images