JP6524049B2

JP6524049B2 - 感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステム

Info

Publication number: JP6524049B2
Application number: JP2016211871A
Authority: JP
Inventors: 健波多野; 志田　弘一; 弘一志田
Original assignee: Toshiba Corp; Toshiba Digital Solutions Corp
Current assignee: Toshiba Corp; Toshiba Digital Solutions Corp
Priority date: 2016-10-28
Filing date: 2016-10-28
Publication date: 2019-06-05
Anticipated expiration: 2036-10-28
Also published as: JP2018068618A; WO2018079106A1

Description

本発明の実施形態は、感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステムに関する。

従来、顔画像に基づいて対象となる人物の感情を検出する技術が研究されている。この従来技術は、例えば顔画像から表情を判定し、判定結果の表情から感情を検出する。しかしながら、上記の従来技術においては、笑顔などの外見上の特徴からしか感情を検出することができず、感情が表情に出にくい人物や、意図的に感情を隠そうとする人物などの実際の感情を検出することが難しい場合がある。

特開２００５−２３７６６８号公報

本発明が解決しようとする課題は、推定ターゲットに関連する複数の情報を総合的に判断することによって推定ターゲットの正確な感情を推定することができる感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステムを提供することである。

実施形態の感情推定装置は、脈拍解析部と、表情解析部と、発話内容解析部と、発話トーン解析部と、感情推定部とを持つ。前記脈拍解析部は、推定ターゲットの脈拍を解析して脈拍情報を生成する。前記表情解析部は、前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの表情を解析して表情情報を生成する。前記発話内容解析部は、前記推定ターゲットの音声情報に基づいて、前記推定ターゲットの発話内容を解析して発話内容情報を生成する。前記発話トーン解析部は、前記音声情報に基づいて、前記推定ターゲットの発話トーンを解析して発話トーン情報を生成する。前記感情推定部は、前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、前記推定ターゲットの感情を推定する。

第１の実施形態の感情推定装置を用いた感情推定システムのハードウェア構成の一例を示す図。第１の実施形態の感情推定装置の一例を示す機能ブロック図。第１の実施形態の画像解析部の一例を示す機能ブロック図。第１の実施形態の音声解析部の一例を示す機能ブロック図。第１の実施形態の辞書記憶部に記憶されている辞書データの一例を示す図。第１の実施形態の感情推定装置の処理の一例を示すフローチャート。第１の実施形態の利用者端末に表示された感情推定結果の一例を示す図。第２の実施形態の感情推定装置を用いた感情推定システムのハードウェア構成の一例を示す図。第２の実施形態の感情推定装置の処理の一例を示すフローチャート。第３の実施形態の感情推定装置を用いた感情推定システムのハードウェア構成の一例を示す図。第３の実施形態の感情推定装置の一例を示す機能ブロック図。第３の実施形態の端末に表示された「笑顔」のカウント結果の一例を示す図。

以下、実施形態の感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステムを、図面を参照して説明する。

（第１の実施形態）

実施形態の感情推定装置は、感情推定の対象とする推定ターゲットの顔の表情だけでなく、脈拍や、発話内容、発話トーンなど、マルチモーダルな出力情報を入力として、それらを総合的に判断して、より機微であり、より正確な感情を推定する。以下においては、推定ターゲットとして「人間」を対象とする例を説明する。

図１は、本実施形態の感情推定装置１を用いた感情推定システムＡ１のハードウェア構成の一例を示す図である。感情推定システムＡ１は、例えば、感情推定装置１と、ネットワークＮと、対象者端末Ｐ１と、利用者端末Ｐ２とを備える。感情推定装置１は、対象者Ｔ（推定ターゲット）の顔の画像情報、音声情報などに基づいて、対象者Ｔの感情を推定する。ネットワークＮは、対象者端末Ｐ１と、利用者端末Ｐ２とを通信可能に接続し、利用者端末Ｐ２と、感情推定装置１とを通信可能に接続する。ネットワークＮは、ＩＰ通信網、各種電話網、その他の無線通信網、有線通信網などにより実現される。

対象者端末Ｐ１は、対象者Ｔの画像情報および音声情報を取得し、ネットワークＮを介して、利用者端末Ｐ２に送信する。利用者端末Ｐ２は、ネットワークＮを介して、対象者端末Ｐ１から受信した画像情報および音声情報を感情推定装置１に送信する。感情推定装置１は、利用者端末Ｐ２から受信した画像情報および音声情報に基づいて、対象者Ｔの感情を推定し、推定した感情情報を利用者端末Ｐ２に送信する。対象者端末Ｐ１および利用者端末Ｐ２は、例えば、テレビ電話機能を備えたＰＣ端末、携帯電話などである。利用者端末Ｐ２には、感情推定装置１と通信可能であり、感情推定装置１から受信した感情情報を表示することが可能なインターフェースを実現するアプリケーションがインストールされていてよい。

図２は、本実施形態の感情推定装置１の一例を示す機能ブロック図である。感情推定装置１は、例えば、通信部１０と、解析部１２と、履歴記憶部Ｄ１と、辞書記憶部Ｄ３とを備える。

通信部１０は、例えば、ネットワークＮを介して、利用者端末Ｐ２から対象者Ｔの顔の画像情報および音声情報を受信し、解析部１２に出力する。また、通信部１０は、例えば、ネットワークＮを介して、推定した感情情報を利用者端末Ｐ２に送信する。

解析部１２は、通信部１０から入力された対象者Ｔの画像情報および音声情報に基づいて、対象者Ｔの感情推定を行う。解析部１２は、例えば、画像解析部２０と、音声解析部３０と、感情推定部４０とを備える。

画像解析部２０は、通信部１０から入力された対象者Ｔの画像情報を解析し、解析結果を感情推定部４０に出力する。図３に示すように、画像解析部２０は、例えば、画像情報を解析して対象者Ｔの顔の脈拍に関する脈拍情報を生成して感情推定部４０に出力する脈拍解析部２２と、画像情報を解析して対象者Ｔの表情に関する表情情報を生成して感情推定部４０に出力する表情解析部２４とを備える。

脈拍解析部２２は、例えば、画像情報から取得される対象者Ｔの顔の皮下の血液中のヘモグロビンが吸収する信号に基づいて、脈波伝搬時間の推定を行う。脈拍解析部２２は、この推定された脈波伝搬時間が血圧と相関することを利用して、対象者Ｔの脈拍に関する脈拍情報を生成する。脈拍情報には、対象者Ｔの脈拍の数値データ（指標値）が含まれてよい。尚、脈拍解析部２２は、上記の脈拍解析処理を行わずに、画像情報を感情推定部４０に出力し、感情推定部４０において総合的な感情を推定するための情報の一部として使うようにしてもよい。脈拍解析部２２は、顔以外の身体の画像情報から脈拍を解析することも可能である。また脈拍解析部２２は、顔の一部の画像情報などの部分画像から脈拍を解析することも可能である。また、脈拍解析部２２は、血圧計、心電図の結果、もしくはウェアラブルの脈波センサ等から脈拍を解析してもよい。

表情解析部２４は、上記の画像情報に対して、笑い、怒り、悲しみ、喜びなどの感情の種類を紐付けし、対象者Ｔの表情に関する表情情報を出力する。例えば、表情解析部２４は、上記の画像情報に対して、「笑い」の感情として、「大笑い」、「微笑」などの程度を考慮したより細かな種類を紐付けし、「怒り」の感情として、「激怒」、「小さな怒り」などのより細かな種類を紐付けしてもよい。表情情報には、対象者Ｔの感情が数値化されたデータ（指標値）が含まれてもよい。この感情が数値化されたデータとは、笑い、怒り、悲しみ、喜びなどの各感情の程度を数値で表したものである。尚、表情解析部２４は、上記の表情解析処理を行わずに、画像情報を感情推定部４０に出力し、感情推定部４０において総合的な感情を推定するための情報の一部として使うようにしてもよい。

音声解析部３０は、通信部１０から入力された対象者Ｔの音声情報を解析し、解析結果を感情推定部４０に出力する。図４に示すように、音声解析部３０は、例えば、音声情報を解析して対象者Ｔの発話内容に関する発話内容情報を生成して感情推定部４０に出力する発話内容解析部３２と、音声情報を解析して対象者Ｔの発話のトーン関する発話トーン情報を生成して感情推定部４０に出力する発話トーン解析部３４とを備える。

発話内容解析部３２は、例えば、音声情報に含まれる音声データをテキストデータに変換して、辞書記憶部Ｄ３に記憶された辞書データを参照することにより、発話内容情報を生成する。発話内容情報には、対象者Ｔの感情が数値化されたデータ（指標値）が含まれてよい。発話内容解析部３２は、例えば、対象者Ｔの発話内容に、「おかしい」、「違います」などの否定的な表現が含まれている場合には「怒り」を示す数値を高く設定する。一方、発話内容解析部３２は、例えば、対象者Ｔの発話内容に、「ありがとう」、「助かりました」などの肯定的な表現が含まれている場合には「喜び」を示す数値を高く設定する。尚、発話内容解析部３２は、上記の発話内容解析処理を行わずに、音声情報を感情推定部４０に出力し、感情推定部４０において総合的な感情を推定するための情報の一部として使うようにしてもよい。

発話トーン解析部３４は、例えば、発話の音量、速度、および周波数のうち少なくとも１つに基づいて、発話トーン情報を生成する。発話トーン情報には、対象者Ｔの感情が数値化されたデータ（指標値）が含まれてよい。例えば、発話トーン解析部３４は、対象者Ｔに関して、連続的に取得した音声情報（時系列の音声情報）に基づいて音量、速度、周波数の各々の平均値を取得し、その平均値からのずれに基づいて発話トーン情報を生成する。或いは、発話トーン解析部３４は、音量、速度、周波数の各々の変化率に基づいて発話トーン情報を生成する。発話トーン解析部３４は、例えば、音量が急増した場合に、感情が高ぶってきたという判断する。また、発話トーン解析部３４は、話す速度が上がった場合に、感情が高ぶってきたという判断する。また、発話トーン解析部３４は、声の高低を表すパラメーターである周波数を参照し、周波数が上がった場合に、感情が高ぶってきたと判断する。発話トーン解析部３４は、感情が高ぶってきたという判断をした場合、例えば、感情の候補として「怒り」を示す数値を高く設定する。或いは、発話トーン解析部３４は、ある瞬間の音声情報から音量、速度、周波数を取得し、取得した音量、速度、周波数の少なくとも一つが、音量、速度、周波数ごとにあらかじめ定められた基準値を超えたかどうかに基づいて発話トーン情報を生成する。発話トーン解析部３４は、例えば、音量が基準値より大きい場合に、感情が高ぶってきたという判断する。尚、発話トーン解析部３４は、上記の発話トーン解析処理を行わずに、音声情報を感情推定部４０に出力し、感情推定部４０において総合的な感情を推定するための情報の一部として使うようにしてもよい。

感情推定部４０は、対象者Ｔの画像情報、対象者Ｔの音声情報、および対象者Ｔの音声情報に含まれる音声データをテキストデータに変換したテキスト情報のうち少なくとも２つの情報に基づいて、対象者Ｔの感情推定を行う。例えば、感情推定部４０は、脈拍解析部２２から入力された脈拍情報、表情解析部２４から入力された表情情報、発話内容解析部３２から入力された発話内容情報、および発話トーン解析部３４から入力された発話トーン情報のうち少なくとも２つに基づいて、対象者Ｔの感情推定を行う。感情推定部４０は、推定した対象者Ｔの感情情報を、通信部１０を介して、利用者端末Ｐ２に送信する。利用者Ｕは、利用者端末Ｐ２のディスプレイなどに表示された感情情報を確認することで、対象者Ｔの感情を知ることができる。

感情推定部４０における感情推定処理においては、多層構造のニューラルネットワーク（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ：ＤＮＮ）、畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ：ＣＮＮ）、再帰型ニューラルネットワーク（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ：ＲＮＮ）などを用いたディープラーニング技術を採用してもよい。感情推定部４０は、脈拍情報、表情情報、発話内容情報、および発話トーン情報に関するデータと、感情推定結果のデータとを入力とする教師あり学習処理を予め行ってよい。この場合、感情推定部４０は、脈拍情報、表情情報、発話内容情報、および発話トーン情報のいずれの情報を重視するのかについての重み付けを、対象者Ｔの属性（性別、年齢、国籍など）毎に行ってもよい。

尚、脈拍解析部２２が脈拍解析処理を行わずに画像情報を感情推定部４０に出力している場合、感情推定部４０は、画像情報に基づいて、脈拍解析処理を行ってよい。また、表情解析部２４が表情解析処理を行わずに画像情報を感情推定部４０に出力している場合、感情推定部４０は、画像情報に基づいて、表情解析処理を行ってよい。また、発話内容解析部３２が発話内容解析処理を行わずに音声情報を感情推定部４０に出力している場合、感情推定部４０は、音声情報に基づいて、発話内容解析処理を行ってよい。また、発話トーン解析部３４が発話トーン解析処理を行わずに音声情報を感情推定部４０に出力している場合、感情推定部４０は、音声情報に基づいて、発話トーン解析処理を行ってよい。また、例えば、感情推定部４０は、各解析部から得られた情報からそれぞれの解析処理を行わず、各解析部から得られた情報をそのまま使って、総合的な感情推定を行ってもよい。

履歴記憶部Ｄ１は、対象者Ｔに関する各種情報を記憶する。履歴記憶部Ｄ１は、例えば、対象者Ｔの画像情報、音声情報、脈拍解析部２２によって解析された脈拍情報、表情解析部２４によって解析された表情情報、発話内容解析部３２によって解析された発話内容情報、および発話トーン解析部３４によって解析された発話トーン情報、感情推定部４０によって推定された感情情報、電話番号、氏名などを記憶する。

辞書記憶部Ｄ３は、例えば、対象者Ｔの音声情報の内容を解釈するための辞書データを記憶する。図５は、辞書記憶部Ｄ３に記憶されている辞書データの一例を示す図である。辞書記憶部Ｄ３は、文字列と、笑い、怒り、悲しみ、喜びなどの各感情の程度を表す数値とを対応付けた辞書データを記憶する。各感情の程度を数値は、例えば、１から５の数値が割り振られており、数値が大きくなるほど、各感情の程度が高いことを示す。

例えば、辞書記憶部Ｄ３は、文字列「おかしい」と関連付けされた情報として、怒りの数値が「３」であり、笑いの数値が「１」であり、喜びの数値が「０」であり、悲しみ数値が「１」である情報を記憶している。すなわち、文字列「おかしい」は、怒りの感情を表している傾向が高いことを示している。尚、辞書記憶部Ｄ３は、図５に示したデータ以外にも、多数の辞書データを記憶してよい。また、辞書記憶部Ｄ３は、例えば、音声情報の内容をより正確に解釈するための他の項目の情報をさらに記憶してもよい。

履歴記憶部Ｄ１および辞書記憶部Ｄ３の各々は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどで実現される。尚、履歴記憶部Ｄ１および辞書記憶部Ｄ３は、一つのハードウェアで構成されていてもよい。また、履歴記憶部Ｄ１および辞書記憶部Ｄ３の各々は、感情推定装置１の外部に設けられてもよい。

上記の感情推定装置１の各機能部のうち一部または全部は、プロセッサがプログラム記憶部（図示しない）に記憶されたプログラム（ソフトウェア）を実行することにより実現されてよい。プログラムは、感情推定装置１の作動開始時に予めインストールされていてもよいし、他のコンピュータからダウンロードされてよいし、コンパクトディスクなどの可搬型記憶媒体からインストールされてもよい。また、感情推定装置１の各機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

次に、本実施形態の感情推定装置１の動作について説明する。図６は、感情推定装置１の処理の一例を示すフローチャートである。

利用者Ｕと対象者Ｔとが通信を行っている間（例えば、テレビ電話で会話を行っている間）、利用者端末Ｐ２は、ネットワークＮを介して、対象者端末Ｐ１から対象者Ｔの顔の画像情報および音声情報を継続的に取得する。利用者端末Ｐ２は、取得した画像情報および音声情報を感情推定装置１に送信する。これにより、感情推定装置１の通信部１０は、対象者Ｔの画像情報および音声情報を取得する（ステップＳ１０１）。通信部１０は、取得した画像情報を画像解析部２０に出力し、取得した音声情報を音声解析部３０に出力する。

次に、画像解析部２０の脈拍解析部２２は、画像情報を解析して対象者Ｔの脈拍に関する脈拍情報を生成する（ステップＳ１０３）。例えば、脈拍解析部２２は、画像情報から取得される対象者Ｔの顔の皮下の血液中のヘモグロビンが吸収する信号に基づいて、脈波伝搬時間の推定を行う。脈拍解析部２２は、この推定された脈波伝搬時間が血圧変動と正の相関をすることを利用して、脈拍情報を生成する。脈拍解析部２２は、生成した脈拍情報を感情推定部４０に出力する。尚、履歴記憶部Ｄ１に対象者Ｔの過去の脈拍情報が記憶されている場合には、脈拍解析部２２は、この過去の脈拍情報を合わせて参照することにより、より正確な脈拍情報を生成してよい。

次に、画像解析部２０の表情解析部２４は、画像情報を解析して対象者Ｔの表情に関する表情情報を生成する（ステップＳ１０５）。例えば、表情解析部２４は、画像情報に対して、笑い、怒り、悲しみ、喜びなどの感情の種類を紐付けし、表情情報を生成する。表情解析部２４は、画像情報に対する「笑い」の感情として、「大笑い」、「微笑」などの程度を考慮したより細かな種類を紐付けしてもよい。表情解析部２４は、生成した表情情報を感情推定部４０に出力する。尚、履歴記憶部Ｄ１に対象者Ｔの過去の表情情報が記憶されている場合には、表情解析部２４は、この過去の表情情報を合わせて参照することにより、より正確な表情情報を生成してよい。

次に、音声解析部３０の発話内容解析部３２は、音声情報を解析して対象者Ｔの発話内容に関する発話内容情報を生成する（ステップＳ１０７）。例えば、発話内容解析部３２は、音声情報に含まれる音声データをテキストデータに変換して、辞書記憶部Ｄ３に記憶された辞書データを参照することにより、発話内容情報を生成する。発話内容解析部３２は、変換したテキストデータに含まれる各文字列が、辞書記憶部Ｄ３に記憶されているか否かを判定し、記憶されている場合には各感情の程度を表した数値を抽出する。発話内容解析部３２は、変換したテキストデータが辞書記憶部Ｄ３に記憶された文字列を複数含んでいる場合には、感情毎に数値を合計した値を発話内容情報としてよい。発話内容解析部３２は、生成した発話内容情報を感情推定部４０に出力する。尚、履歴記憶部Ｄ１に対象者Ｔの過去の発話内容情報が記憶されている場合には、発話内容解析部３２は、この過去の発話内容情報を合わせて参照することにより、より正確な発話内容情報を生成してよい。

次に、音声解析部３０の発話トーン解析部３４は、音声情報を解析して対象者Ｔの発話のトーン関する発話トーン情報を生成する（ステップＳ１０９）。例えば、発話トーン解析部３４は、発話の音量、速度、周波数の各々の変化に基づいて、発話トーン情報を生成する。発話トーン解析部３４は、生成した発話トーン情報を感情推定部４０に出力する。尚、履歴記憶部Ｄ１に対象者Ｔの過去の発話トーン情報が記憶されている場合には、発話トーン解析部３４は、この過去の発話トーン情報を合わせて参照することにより、より正確な発話トーン情報を生成してよい。

尚、上記の脈拍解析部２２、表情解析部２４、発話内容解析部３２、および発話トーン解析部３４の各々の解析処理は、任意の順序で実行してもよいし、並行して実行してもよい。

次に、感情推定部４０は、脈拍解析部２２から入力された脈拍情報、表情解析部２４から入力された表情情報、発話内容解析部３２から入力された発話内容情報、および発話トーン解析部３４から入力された発話トーン情報に基づいて、対象者Ｔの感情推定を行う（ステップＳ１１１）。

次に、感情推定部４０は、通信部１０を介して、推定した感情情報を利用者端末Ｐ２に送信する（ステップＳ１１３）。利用者端末Ｐ２は、通信部１０から受信した感情情報を、例えば、利用者端末Ｐ２のディスプレイなどに表示させる。

図７は、利用者端末Ｐ２のディスプレイに表示された感情推定結果の一例を示す図である。図７に示す例では、ディスプレイの表示画面の領域Ｓ１に、推定した対象者Ｔの感情情報が表示されており、領域Ｓ２に、対象者Ｔの画像が表示されており、領域Ｓ３に、対象者Ｔのプロフィール情報が表示されている。この例では、推定した対象者Ｔの感情情報が「Ｌ１：小さな怒り」である状態を示している。利用者Ｕは、ディスプレイに表示された感情情報を確認することで、対象者Ｔの感情を知ることができる。対象者Ｔのプロフィール情報は、利用者Uが利用者端末Ｐ２を用いて入力および編集してもよい。また、年齢性別などを顔情報から推定する技術を用いて推定された対象者Ｔのプロフィール情報を領域Ｓ３に表示してもよい。以上により、本フローチャートの処理を終了する。

尚、利用者Ｕが利用者端末Ｐ２を利用している間（例えば、テレビ電話で会話を行っている間）、上記のフローチャートの処理が繰り返し実行され、その状況に応じた対象者Ｔの感情情報が利用者端末Ｐ２のディスプレイに表示される。

以上説明した第１の実施形態によれば、推定ターゲットに関連する複数の情報を総合的に判断することによって推定ターゲットの正確な感情を推定することができる。

例えば、脈拍情報から、推定ターゲットのストレス具合、興奮度（落ち着き度）などがわかる。また、表情情報から、推定ターゲットの外見上に表れた直接的な感情を推測できる。また、発話内容情報の内容から、推定ターゲットの発言が、「怒り」などの負の感情に由来するものであるのか、「喜び」などの正の感情に由来するものであるのかを推測できる。また、発話トーン情報から、対象者Ｔが興奮した状態なのか、それもと落ち着いた状態なのか、怒っているのか、喜んでいるのか、などの感情を推測できる。

本実施形態によれば、上記のようなマルチモーダルな複数の情報を総合的に判断することによって、推定ターゲットの正確な感情を推定することができる。また、例えば、同じ「怒り」の感情でも、その程度、その詳細な感情のニュアンスといった正確な感情を読み取ることができる。外見上に表れた表情だけでもある程度の推測はできるが、例えば、コールセンター業務などの顧客の高度な感情を読み取る必要がある場合、対応を間違えると大変な事態に陥ることがある。本実施形態によれば、推定ターゲットの正確かつ詳細な感情を推定することができるため、コールセンター業務や接客業などの顧客対応業務を支援することができる。また、運転手の感情を推定することにより、運転手に安全運転を促すこともできる。また、脈拍解析部２２が画像情報を解析して脈拍情報を生成する場合、生体センサなど推定ターゲットの生体情報を取得する装置を用いることなくユーザの生体情報を考慮した感情推定を行うことができる。

（第２の実施形態）
以下、第２の実施形態について説明する。第１の実施形態と比較して、第２の実施形態は、感情推定装置１が利用者端末Ｐ２に実装されている点が異なる。このため、構成などについては第１の実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。

図８は、本実施形態の感情推定装置１を用いた感情推定システムＡ２のハードウェア構成の一例を示す図である。感情推定システムＡ２は、例えば、対象者端末Ｐ１と、感情推定装置１が実装された利用者端末Ｐ２（以下、「感情推定装置１」と呼ぶ）と、対象者端末Ｐ１と感情推定装置１とをつなぐネットワークＮとを備える。感情推定装置１は、ネットワークＮを介して、対象者端末Ｐ１から対象者Ｔの画像情報および音声情報を受信する。

次に、本実施形態の感情推定装置１の動作について説明する。図９は、感情推定装置１の処理の一例を示すフローチャートである。

まず、感情推定装置１の通信部１０は、例えば、ネットワークＮを介して、対象者端末Ｐ１から対象者Ｔの顔の画像情報および音声情報を取得する（ステップＳ２０１）。通信部１０は、取得した画像情報を画像解析部２０に出力し、取得した音声情報を音声解析部３０に出力する。

次に、画像解析部２０の脈拍解析部２２は、画像情報を解析して対象者Ｔの脈拍に関する脈拍情報を生成する（ステップＳ２０３）。脈拍解析部２２は、生成した脈拍情報を感情推定部４０に出力する。

次に、画像解析部２０の表情解析部２４は、画像情報を解析して対象者Ｔの表情に関する表情情報を生成する（ステップＳ２０５）。表情解析部２４は、生成した表情情報を感情推定部４０に出力する。

次に、音声解析部３０の発話内容解析部３２は、音声情報を解析して対象者Ｔの発話内容に関する発話内容情報を生成する（ステップＳ２０７）。発話内容解析部３２は、生成した発話内容情報を感情推定部４０に出力する。

次に、音声解析部３０の発話トーン解析部３４は、音声情報を解析して対象者Ｔの発話のトーン関する発話トーン情報を生成する（ステップＳ２０９）。発話トーン解析部３４は、生成した発話トーン情報を感情推定部４０に出力する。

次に、感情推定部４０は、脈拍解析部２２から入力された脈拍情報、表情解析部２４から入力された表情情報、発話内容解析部３２から入力された発話内容情報、および発話トーン解析部３４から入力された発話トーン情報に基づいて、対象者Ｔの感情推定を行う（ステップＳ２１１）。感情推定部４０は、推定した対象者Ｔの感情情報を、例えば、表示部（図示しない）に表示させる。以上により、本フローチャートの処理を終了する。

以上説明した第２の実施形態によれば、推定ターゲットに関連する複数の情報を総合的に判断することによって推定ターゲットの正確な感情を推定することができる。

尚、感情推定部４０は、感情推定を行うとともに、利用者Ｕの動作決定を支援するための支援情報を生成して利用者端末Ｐ２に表示させてもよい。例えば、コールセンターの顧客対応オペレータが感情推定装置１を利用する場合には、感情推定部４０は、顧客への回答内容、提案内容などを含む支援情報を生成して利用者端末Ｐ２に表示させてもよい。また、別の実施形態として、ネットワークを介した他の端末との通信を必要としないスタンドアローン型の感情推定装置１を、笑顔メンターとして、接客員にとって望ましい、笑顔や発話などを教育するシステムとして利用してもよい。

尚、感情推定部４０は、対象者Ｔの周辺状況に関する情報（天候、温度、時間帯、場所など）を合わせて考慮して、感情推定を行ってもよい。また、辞書記憶部Ｄ３は、感情推定装置１の利用用途に応じてカスタマイズした辞書データを記憶するようにしてもよい。例えば、対象者Ｔが非常に温度の高い地域にいる場合、対象者Ｔは少し不機嫌であると推定する。対象者Ｔの周辺状況に関する情報は、例えば、対象者Ｔの背景画像や位置情報や撮影時間などから取得する。また、推定ターゲットには、人間、その他動物などの多様な生体、或いは、人工知能などの非生体が含まれてもよい。

（第３の実施形態）
以下、第３の実施形態について説明する。第１の実施形態と比較して、第３の実施形態は、対象者の表情毎（笑顔、怒り顔など）の総数をカウントする機能が感情推定装置に実装されている点が異なる。このため、構成などについては第１の実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。

図１０は、本実施形態の感情推定装置２を用いた感情カウントシステムＡ３のハードウェア構成の一例を示す図である。感情カウントシステムＡ３は、例えば、感情推定装置２と、感情推定装置２とネットワークＮを介して接続された少なくとも１つの端末（図１０の例では、端末Ｒ１、端末Ｒ２、端末Ｒ３）とを備える。端末Ｒ１、端末Ｒ２、および端末Ｒ３の各々には、カメラＣ１、カメラＣ２、およびカメラＣ３が接続されている。カメラＣ１、カメラＣ２、およびカメラＣ３は、例えば、展示場などの各種施設などに設置され、不特定多数の対象者Ｔを撮影するような環境で使用される。カメラＣ１、カメラＣ２、およびカメラＣ３は、例えば、各種施設内の互いに異なる場所に設置される。

カメラＣ１は、対象者Ｔの顔画像を撮影し、撮影した顔画像を端末Ｒ１に出力する。端末Ｒ１は、カメラＣ１から入力された顔画像を感情推定装置２に送信する。カメラＣ２は、対象者Ｔの顔画像を撮影し、撮影した顔画像を端末Ｒ２に出力する。端末Ｒ２は、カメラＣ２から入力された顔画像を感情推定装置２に送信する。カメラＣ３は、対象者Ｔの顔画像を撮影し、撮影した顔画像を端末Ｒ３に出力する。端末Ｒ３は、カメラＣ３から入力された顔画像を感情推定装置２に送信する。カメラＣ１は、カメラＣ２、およびカメラＣ３によって撮影される対象者Ｔは、互いに異なる人物であってもよいし、同一人物であってもよい。

感情推定装置２は、端末Ｒ１、端末Ｒ２、および端末Ｒ３の各々から受信した顔画像に対して表情解析処理を行い、表情毎の総数をカウントする。図１１は、本実施形態の感情推定装置２の一例を示す機能ブロック図である。第１の実施形態と比較して、感情推定装置２は、表情毎の総数をカウントする計数部５０をさらに備えている。また、表情解析部２４は、表情情報を計数部５０に出力するように構成されている。

計数部５０は、解析部１２（表情解析部２４）によって解析された表情毎の総数をカウントする。例えば、表情解析部２４によって、端末Ｒ１から受信した対象者Ｔの顔画像の表情が「笑顔」であると判定された場合、計数部５０は、例えば、内部に設けられたメモリ（図示しない）に「笑顔」の総数「１」を記憶させるとともに、通信部１０を介して、「笑顔」の表情情報および総数「１」を端末Ｒ１に送信する。この後、表情解析部２４によって、端末Ｒ１から受信した他の対象者Ｔの顔画像に対する表情解析処理が行われ、他の対象者Ｔの表情が「笑顔」であると判定された場合、計数部５０は、内部に設けられたメモリに「笑顔」の総数を１つインクリメントした「２」を記憶させるとともに、通信部１０を介して「笑顔」の表情情報および総数「２」を端末Ｒ１に送信する。

尚、計数部５０は、端末毎に上記のカウント処理を行ってもよいし、複数の端末に対して上記のカウント処理を行い、その表情毎の合計を算出してもよい。図１２は、本実施形態の端末Ｒ１（表示装置）に表示された「笑顔」のカウント結果の一例を示す図である。図１２に示す例では、複数の端末（端末Ｒ１、端末Ｒ２、端末Ｒ３）によって取得された画像の「笑顔」のカウント結果が端末Ｒ１のディスプレイなどに表示されている。ここでは、端末Ｒ１に接続されたカメラＣ１によって撮影された顔画像に対してその表情が「笑顔」と判定された総数「１２８」が領域Ｗ１に表示されている。また、カメラＣ１によって撮影された顔画像に対してその表情が「笑顔」と判定された総数と、カメラＣ２によって撮影された顔画像に対してその表情が「笑顔」と判定された総数と、カメラＣ３によって撮影された顔画像に対してその表情が「笑顔」と判定された総数と、の合計「５３９」が領域Ｗ２に表示されている。また、領域Ｗ３には、対象者Ｔの画像が表示され、領域Ｗ４には、その他の情報が表示されている。尚、図１２に示す表示結果は一例であり、例えば「笑顔」のカウント総数の時系列での推移を示すグラフで表示してもよい。また、計数部５０によるカウント結果のうち、所定の時間内にカウントした表情毎のカウント数を表示してもよい。

以上説明した第３の実施形態によれば、推定ターゲットの表情毎の総数をカウントすることができる。尚、感情推定装置２は、端末Ｒ１、端末Ｒ２、および端末Ｒ３にそれぞれ実装されていてもよい。ここで、複数の端末における表情毎の合計を算出する場合には、感情推定装置２が実装された端末Ｒ１、端末Ｒ２、および端末Ｒ３が互いに通信して総数に関する情報を送受信するようにしてもよい。

また、表情解析部２４は、１枚の画像に複数人の対象者Ｔが含まれている場合、その各対象者Ｔの表情を解析することができる。例えば、表情解析部２４は、１枚の画像に３人の笑顔の対象者Ｔが含まれている場合、「笑顔」が３つである旨を示す情報を計数部５０に出力する。計数部５０は、表情解析部２４から入力された「笑顔」が３つである旨を示す情報に基づいて、内部に設けられたメモリに「笑顔」の総数「３」を記憶させる（或いは、３つインクリメントさせる）とともに、通信部１０を介して、「笑顔」の表情情報および総数「３」（或いは、３つインクリメントさせた数値）を端末Ｒ１に送信する。

上記の本実施形態では、計数部５０が、表情解析部２４により「笑顔」と解析された総数をカウントする例を示したが、計数部５０は笑顔以外の表情をカウントしてもよい。また、解析部１２は表情解析部２４による解析結果だけでなく、その他の解析結果に基づいて対象者Ｔの感情を推定し、計数部５０が、推定された感情毎に総数をカウントしてもよい。例えば、表情、発話内容、発話トーンを用いて解析部１２は対象者Ｔの感情を推定し、怒り気味の発話をした人を計数部５０がカウントしてもよい。すなわち、本実施形態の感情推定装置２は、推定ターゲットに関連する複数の情報を総合的に判断して感情を推定し、推定した感情毎の総数をカウントできる。これにより、例えば、展示場などの会場内の参加者の盛り上がり度合いを推定するなども可能である。また、計数部５０は、脈拍情報、表情情報、発話内容情報、および発話トーン情報の各々に含まれる指標値毎の総数をカウントしてもよい。例えば、脈拍情報に含まれる指標値（脈拍値）毎の総数をカウントすることで、対象者Ｔのストレス具合や、興奮具合などを推定することが可能である。

また、本実施形態の感情推定装置２は、顔画像から同一人物をトラックし、異なるカメラによって撮影された対象者Ｔ毎のカウントをしてもよいし、緊張度の高い人物を特定し不穏な動きをする不審者の検出に使用してもよい。

以上説明した少なくとも一つの実施形態によれば、推定ターゲットの脈拍を解析して脈拍情報を生成する脈拍解析部と、前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの表情を解析して表情情報を生成する表情解析部と、前記推定ターゲットの音声情報に基づいて、前記推定ターゲットの発話内容を解析して発話内容情報を生成する発話内容解析部と、前記音声情報に基づいて、前記推定ターゲットの発話トーンを解析して発話トーン情報を生成する発話トーン解析部と、前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、前記推定ターゲットの感情を推定する感情推定部とを備えることで、推定ターゲットに関連する複数の情報を総合的に判断して推定ターゲットの正確な感情を推定することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１，２…感情推定装置、１０…通信部、１２…解析部、２０…画像解析部、２２…脈拍解析部、２４…表情解析部、３０…音声解析部、３２…発話内容解析部、３４…発話トーン解析部、４０…感情推定部、５０…計数部、Ｄ１…履歴記憶部、Ｄ３…辞書記憶部、Ａ１，Ａ２…感情推定システム、Ａ３…感情カウントシステム、Ｐ１…対象者端末、Ｐ２…利用者端末、Ｒ１，Ｒ２，Ｒ３…端末（表示装置）

Claims

複数の推定ターゲットの各々の脈拍を解析して脈拍情報を生成する脈拍解析部と、
前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの各々の表情を解析して表情情報を生成する表情解析部と、
前記推定ターゲットの音声情報に基づいて、前記推定ターゲットの各々の発話内容を解析して発話内容情報を生成する発話内容解析部と、
前記音声情報に基づいて、前記推定ターゲットの各々の発話トーンを解析して発話トーン情報を生成する発話トーン解析部と、
前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、前記推定ターゲットの各々の感情を推定する感情推定部と、
前記感情推定部によって推定された前記推定ターゲットの各々の感情に基づいて、前記推定ターゲットの感情毎の総数をカウントする計数部と
を備える感情推定装置。
前記脈拍解析部は、前記推定ターゲットの画像情報に基づいて、前記推定ターゲットの脈拍を解析して前記脈拍情報を生成する、
請求項１に記載の感情推定装置。
文字列と、感情の程度を表す数値とを対応付けた辞書データを記憶する辞書記憶部をさらに備え、
前記発話内容解析部は、前記音声情報に含まれる音声データをテキストデータに変換したテキスト情報に含まれる文字列が前記辞書記憶部に記憶されているか否かを判定し、前記テキスト情報に含まれる前記文字列が前記辞書記憶部に記憶されている場合には、前記数値に基づいて前記発話内容情報を生成する、
請求項１もしくは請求項２に記載の感情推定装置。
前記発話トーン解析部は、前記音声情報に含まれる音声データの音量、速度、および周波数のうち少なくとも１つに基づいて、前記発話トーン情報を生成する、
請求項１から３のいずれか一項に記載の感情推定装置。
前記推定ターゲットの前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報を記憶した履歴記憶部をさらに備え、
前記脈拍解析部、前記表情解析部、前記発話内容解析部、および前記発話トーン解析部の各々は、前記履歴記憶部を参照して解析処理を行う、
請求項１から４のいずれか一項に記載の感情推定装置。
前記計数部は、前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報の各々に含まれる指標値毎の総数をカウントする、
請求項１から５のいずれか一項に記載の感情推定装置。
前記計数部は、前記表情解析部によって生成された前記表情情報に基づいて、前記推定ターゲットの表情毎の総数をカウントする、請求項６に記載の感情推定装置。
前記表情解析部は、互いに異なる場所に設置された複数のカメラによって撮影された前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの各々の表情を解析して前記表情情報を生成する、請求項１から７のいずれか一項に記載の感情推定装置。
前記表情解析部は、前記複数のカメラによって撮影された前記推定ターゲットの顔の画像情報に基づいて、同一の推定ターゲットを特定し、特定した前記推定ターゲットの表情を解析して前記表情情報を生成し、
前記計数部は、前記表情解析部によって生成された前記表情情報に基づいて、特定した前記推定ターゲットの表情毎の総数をカウントする、
請求項８に記載の感情推定装置。
前記推定ターゲットにより利用される端末と通信を行っている間、前記端末から前記推定ターゲットの顔の画像情報および音声情報を継続的に受信する通信部をさらに備え、
前記感情推定部は、前記通信部により継続的に受信された前記画像情報および前記音声情報に基づいて生成された前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、状況に応じた前記推定ターゲットの感情を推定する、請求項１から９のいずれか一項に記載の感情推定装置。
複数の推定ターゲットの各々の脈拍を解析して脈拍情報を生成し、
前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの各々の表情を解析して表情情報を生成し、
前記推定ターゲットの音声情報に基づいて、前記推定ターゲットの各々の発話内容を解析して発話内容情報を生成し、
前記音声情報に基づいて、前記推定ターゲットの各々の発話トーンを解析して発話トーン情報を生成し、
前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、前記推定ターゲットの各々の感情を推定し、
推定された前記推定ターゲットの各々の感情に基づいて、前記推定ターゲットの感情毎の総数をカウントする
感情推定方法。
コンピュータに、
複数の推定ターゲットの各々の脈拍を解析して脈拍情報を生成させ、
前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの各々の表情を解析して表情情報を生成させ、
前記推定ターゲットの音声情報に基づいて、前記推定ターゲットの各々の発話内容を解析して発話内容情報を生成させ、
前記音声情報に基づいて、前記推定ターゲットの各々の発話トーンを解析して発話トーン情報を生成させ、
前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、前記推定ターゲットの各々の感情を推定させ、
推定された前記推定ターゲットの各々の感情に基づいて、前記推定ターゲットの感情毎の総数をカウントさせる
感情推定プログラム。
請求項１から１０のいずれか一項に記載の感情推定装置と、
前記計数部によってカウントされた総数を表示する表示装置と
を備える、感情カウントシステム。