JP7283336B2 - 印象推定方法、印象推定プログラムおよび印象推定装置 - Google Patents

Description

本発明の実施形態は、印象推定方法、印象推定プログラムおよび印象推定装置に関する。

従来、商品・サービスを対象としたマーケティング調査では、調査対象とする試供品などを試した被験者の状態を捉えて試供品の評価を自動的に収集する手法がある。

被験者の評価を収集する従来技術としては、カメラを用いて被験者の映像を撮影し、マイクを用いて被験者の音声を受信して試供品を試したその時をトリガとして被験者の状態を捉え、映像の顔検出区間における表情感情解析データと、音声の音声感情解析データとを試供品の評価情報の一つとすることで、試供品の評価を自動的に取得する装置が知られている。

特開２０１８－１０６４１９号公報

しかしながら、上記の従来技術では、被験者が試供品に対する印象を十分に発露していないタイミングで被験者の状態を捉える場合があり、対象に対する印象推定の精度が十分ではないという問題がある。

１つの側面では、対象に対する人の印象を精度よく推定することができる印象推定方法、印象推定プログラムおよび印象推定装置を提供することを目的とする。

１つの案では、ユーザそれぞれの動作に基づいてユーザそれぞれの所定の対象に対する印象を推定する印象推定方法であって、動作を検出する処理と、第１のトリガを検出する処理と、第２のトリガを検出する処理と、設定する処理と、推定する処理とをコンピュータが実行する。動作を検出する処理は、ユーザそれぞれの動作を検出する。第１のトリガを検出する処理は、検出したユーザそれぞれの動作において、第１のユーザが対象に対して行う動作を示す第１のトリガを検出する。第２のトリガを検出する処理は、検出したユーザそれぞれの動作において、第１のユーザから第２のユーザに対するコミュニケーション動作を示す第２のトリガを検出する。設定する処理は、第１のトリガを検出した後の所定時間内に第２のトリガを検出した場合に、第１のトリガおよび第２のトリガに基づき、第１のユーザおよび第２のユーザの少なくとも一方について対象に対する印象を推定する動作の期間を設定する。推定する処理は、設定した期間内における第１のユーザおよび第２のユーザの少なくとも一方の動作を特徴量とし、第１のユーザおよび第２のユーザの少なくとも一方の対象に対する印象を推定する。

本発明の１実施態様によれば、対象に対する人の印象を精度よく推定できる。

図１は、実施形態にかかる印象推定装置の機能構成例を示すブロック図である。 図２は、実施形態にかかる印象推定装置の設置例を説明する説明図である。 図３は、印象推定例を説明する説明図である。 図４は、実施形態にかかる印象推定装置の動作例を示すフローチャートである。 図５は、人物における印象データの一例を説明する説明図である。 図６は、人物における印象データの一例を説明する説明図である。 図７は、人物における印象データの一例を説明する説明図である。 図８は、人物における印象データの一例を説明する説明図である。 図９は、人物における印象データの一例を説明する説明図である。 図１０は、人物における印象データの一例を説明する説明図である。 図１１－１は、印象情報収集率のグラフ例を説明する説明図である。 図１１－２は、回答内容のグラフ例を説明する説明図である。 図１２は、プログラムを実行するコンピュータの一例を示すブロック図である。

以下、図面を参照して、実施形態にかかる印象推定方法、印象推定プログラムおよび印象推定装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する印象推定方法、印象推定プログラムおよび印象推定装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

図１は、実施形態にかかる印象推定装置の機能構成例を示すブロック図である。図１に示すように、印象推定装置１は、入力部１０、記憶部２０、出力部３０、制御部４０、第１トリガ検出部５１、第２トリガ検出部５２、印象推定部５３およびグループ推定部５４を有する。印象推定装置１は、入力部１０の音声受信部１１および撮影部１２よりマーケティング調査において調査対象とするサービス・試供品などを試した被験者（以下、人物）の状態（音声、顔画像など）を捉える。

図２は、実施形態にかかる印象推定装置１の設置例を説明する説明図である。図２に示すように、入力部１０における音声受信部１１および撮影部１２は、マーケティング調査の対象とするワインＷを人物Ｈそれぞれに提供し、ワインＷの試飲を行う会場に設置される。

例えば、ワインＷの提供を受けた人物Ｈ１～Ｈ７それぞれは、友達、同僚、カップルなどのグループＧ１～Ｇ３ごとに、ワインＷを会場にて試飲する。音声受信部１１および撮影部１２は、会場における人物Ｈ１～Ｈ７それぞれの状態（音声、顔画像など）を捉えるように設置される。

一例として、音声受信部１１は、試飲会場内の音声を漏らさずに捉えるように、各テーブルなどに設置される。また、音声受信部１１は、人物Ｈ１～Ｈ７それぞれの音声を漏らさずに拾うように、ワインＷを提供した際に人物Ｈ１～Ｈ７それぞれに設置したピンマイクなどであってもよい。また、撮影部１２は、例えばワインＷの会場の全体を俯瞰するように設置され、グループＧ１～Ｇ３における人物Ｈ１～Ｈ７それぞれの動作を撮影する。

次いで、印象推定装置１は、捉えた人物Ｈ１～Ｈ７それぞれの状態（動作）をもとに印象推定部５３において対象に対する印象推定を行い、出力部３０より推定結果を出力する。これにより、印象推定装置１のユーザは、サービス・試供品などの評価を自動的に取得することができ、商品・サービスを対象としたマーケティング調査を容易に行うことができる。例えば、印象推定装置１としては、パーソナルコンピュータなどを適用できる。

入力部１０は、音声受信部１１および撮影部１２の入力を受け付ける。入力部１０は、音声受信部１１および撮影部１２より入力されたデータをもとに、公知の動作認識技術を用いることで、人物Ｈそれぞれの動作を検出する。すなわち、入力部１０は、動作検出部の一例である。

具体的には、入力部１０は、撮影部１２の映像より公知の画像認識技術を用いることで人物Ｈ１～Ｈ７それぞれを識別する。なお、印象推定装置１は、識別した人物Ｈ１～Ｈ７それぞれにユニークな識別情報（人物ＩＤ）を割り当てることで、人物Ｈ１～Ｈ７の情報を個別に管理する。次いで、入力部１０は、撮影部１２の映像の中の、識別した人物Ｈ１～Ｈ７それぞれの画像領域を切り出し、動作を解析する公知の動作解析エンジンに投入することで、人物Ｈ１～Ｈ７それぞれの動作を例えば行動タグという形で取得する。

また、入力部１０は、動作解析エンジンにより解析した人物Ｈ１～Ｈ７それぞれの動作に関する音を音声受信部１１より取得した音声を解析し、行動タグに含める。また、入力部１０は、人物Ｈ１～Ｈ７それぞれの動作に関する音が他の人物への発話（会話）である場合、会話時に音声受信部１１より取得した音声を音声認識することで、会話の内容を取得する。

このように、入力部１０は、人物Ｈ１～Ｈ７それぞれの動作の内容を示す行動タグを識別情報（人物ＩＤ）付きで得る。入力部１０は、得られた行動タグを制御部４０へ出力する。

例えば、行動タグに示される動作内容については、対象に関する匂いの場合、鼻をクンクンする動き、深い吸い込み動作等がある。また、匂いに関する発生単語（会話の内容）には、匂い、香り、臭い等がある。また、匂いに関する動作の音（発生音）には、鼻をクンクンする音、深い吸い込み音等がある。

また、対象に関して味見をする場合の動作内容については、対象を舐める動き、食べる動き、飲み込む動き等がある。また、対象に関して味見をする場合の発生単語（会話の内容）には、美味しい、不味い、好き、好きではない等がある。また、対象に関して味見をする場合の動作の音（発生音）には、対象を舐める音、食べる音、飲み込む音等がある。

また、対象に関して触れる場合の動作内容については、対象を触る動き等がある。また、対象に関して触れる場合の発生単語（会話の内容）には、手触りがいい、手触りが悪い等がある。また、対象に関して触れる場合の動作の音（発生音）には、対象を触る音、叩く音等がある。

また、対象を直視する場合の動作内容については、対象への視点動作（凝視や見渡す動き）等がある。また、対象を直視する場合の発生単語（会話の内容）には、きれい、すごい等がある。また、行動タグに示される動作内容については、上記のコミュニケーション動作（会話の内容）などの他に、他の人物への視点動作（視線移動、アイコンタクト）、他の人物への顔向け、声掛け、名前呼び、肩をたたく動作等もある。

記憶部２０は、制御部４０の制御のもと各種処理の情報を格納するメモリなどである。具体的には、記憶部２０は、入力部１０が検出した人物Ｈ１～Ｈ７それぞれの動作内容（行動タグ）、音声受信部１１が取得した音声データ、撮影部１２が撮影した画像データ、印象推定部５３およびグループ推定部５４の推定結果などの情報を格納する。

出力部３０は、制御部４０の制御のもと各種処理の結果をディスプレイやファイルなどに出力する処理部である。例えば、出力部３０は、印象推定部５３による、人物Ｈ１～Ｈ７それぞれの対象に対する印象推定の結果をディスプレイやファイルなどに出力する。これにより、印象推定装置１のユーザは、人物Ｈ１～Ｈ７それぞれの対象に対する印象を容易に知ることができる。

例えば、出力部３０は、撮影部１２の画像データ（映像）と、人物Ｈ１～Ｈ７それぞれの対象に対する印象推定の結果とを記憶部２０より読み出す。次いで、出力部３０は、撮影部１２の映像に対し、識別した人物Ｈ１～Ｈ７それぞれに識別情報（人物ＩＤ）を付与した識別枠を付与するとともに、識別情報に紐付けられた印象推定の結果を例えばアイコン形式で付与する。次いで、出力部３０は、人物Ｈ１～Ｈ７それぞれに識別枠と、印象推定の結果とを付与した撮影部１２の映像をディスプレイなどに表示する。このように、出力部３０は、人物Ｈ１～Ｈ７それぞれの対象に対する印象推定の結果を、人物Ｈ１～Ｈ７それぞれに対応付けて表示する。

制御部４０は、印象推定装置１の処理を統括制御する処理部である。例えば、制御部４０は、入力部１０の音声受信部１１および撮影部１２より入力されたデータ（音声データ、画像データ）を記憶部２０に格納する。また、制御部４０は、入力部１０が検出した人物Ｈ１～Ｈ７それぞれの動作に関する情報（動作タグ）を記憶部２０に格納する。また、制御部４０は、記憶部２０に格納した各種情報を適宜読み出して出力部３０、第１トリガ検出部５１、第２トリガ検出部５２、印象推定部５３およびグループ推定部５４へ出力する。また、制御部４０は、印象推定部５３において、印象データを取得する期間の設定を行う（詳細は後述する）。

第１トリガ検出部５１は、入力部１０が検出した人物Ｈ１～Ｈ７それぞれの動作において、人物Ｈ１～Ｈ７のいずれかの人物が所定の対象（例えばワインＷ）に対して行う動作を示すトリガ（第１のトリガ）を検出する処理部である。

具体的には、第１トリガ検出部５１には、第１のトリガとして検出する動作（動作内容、発生音など）が予め設定されている。第１トリガ検出部５１は、人物Ｈ１～Ｈ７それぞれの行動タグを逐次監視しており、行動タグの内容が予め設定された動作に該当する場合に第１のトリガを検出する。

例えば、第１トリガ検出部５１は、人物Ｈ１～Ｈ７それぞれの行動タグが、鼻をクンクンする動き、深い吸い込み動作、鼻をクンクンする音、深い吸い込み音などの動作または動作で生じる音である場合、対象に関する匂いの動作として第１のトリガを検出する。

また、第１トリガ検出部５１は、人物Ｈ１～Ｈ７それぞれの行動タグが、対象を舐める動き、食べる動き、飲み込む動き、対象を舐める音、食べる音、飲み込む音などの動作または動作で生じる音である場合、対象に関する味見の動作として第１のトリガを検出する。

また、第１トリガ検出部５１は、対象を触る動き、対象を触る音、叩く音などの動作または動作で生じる音である場合、対象に触れる動作として第１のトリガを検出する。

また、第１トリガ検出部５１は、対象への視点動作（凝視や見渡す動き）である場合、対象を直視する動作として第１のトリガを検出する。

第２トリガ検出部５２は、入力部１０が検出した人物Ｈ１～Ｈ７それぞれの動作において、人物Ｈ１～Ｈ７のいずれかの人物から他の人物に対するコミュニケーション動作を示すトリガ（第２のトリガ）を検出する処理部である。

具体的には、第２トリガ検出部５２には、第２のトリガとして検出する動作（動作内容、会話の内容など）が予め設定されている。第２トリガ検出部５２は、人物Ｈ１～Ｈ７それぞれの行動タグを逐次監視しており、行動タグの内容が予め設定された動作に該当する場合に第２のトリガを検出する。

例えば、第２トリガ検出部５２は、人物Ｈ１～Ｈ７それぞれの行動タグが、他の人物への視点動作（視線移動、アイコンタクト）、他の人物への顔向け、声掛け、名前呼び、肩をたたく動作などである場合、コミュニケーション動作として第２のトリガを検出する。

なお、第２トリガ検出部５２は、第２のトリガとして検出するコミュニケーション動作について、対象に関する会話に限定してもよい。例えば、対象をワインＷとする場合、第２トリガ検出部５２は、人物Ｈ１～Ｈ７それぞれの行動タグが、ワイン、商品名、匂い、香り、臭い、美味しい、不味い、好き、好き等を含む会話の内容である場合に第２のトリガを検出する。

印象推定部５３は、入力された音声データおよび画像データより識別した人物Ｈ１～Ｈ７それぞれについて、音声および画像に基づく人物Ｈ１～Ｈ７それぞれの動作を特徴量とし、人物Ｈ１～Ｈ７それぞれが有する印象（感情）を推定する処理部である。

例えば、人物Ｈ１～Ｈ７それぞれの動作における特徴量としては、表情（しぐさ）として主に顔の表情や体の動き（手の動き）などとして現れる表情特徴量、音声として現れる音声特徴量がある。印象推定部５３は、入力された音声データおよび画像データより人物Ｈ１～Ｈ７それぞれの表情特徴量、音声特徴量を抽出する。次いで、印象推定部５３は、教師付きの機械学習により表情特徴量、音声特徴量から印象推定を行うように学習した学習モデルを用いて人物Ｈ１～Ｈ７それぞれが有する印象を推定する。この印象推定部５３における印象推定は、映像および音声の少なくとも１つの特徴量（表情特徴量、音声特徴量の中の１つ）または複数の特徴量の組み合わせで判定してもよい。

また、印象推定部５３は、肯定的な印象（Ｐｏｓｉｔｉｖｅ）～否定的な印象（Ｎｅｇａｔｉｖｅ）の中でどの程度の印象を人物が有しているかを数値として求めるものとする。例えば、印象推定部５３は、肯定的な印象を有している場合は、その大きさを正の整数値として求める。また、印象推定部５３は、否定的な印象を有している場合は、その大きさを負の整数値として求める。また、印象推定部５３は、肯定・否定どちらでもない場合は０として求める。

図３は、印象推定例を説明する説明図である。図３に示すように、印象推定部５３は、撮影部１２の画像データより、識別した人物Ｈ１～Ｈ７それぞれについて顔検出５３１を行う。次いで、印象推定部５３は、検出した顔画像の向きや大きさを調整するアライメント調整５３２を行うことで表情特徴量を得る。なお、本実施形態では顔の表情、しぐさより表情特徴量を得る構成としているが、手の動きを含めるようにアライメント調整５３２を行うことで、手の動きを含む表情特徴量を得るようにしてもよい。次いで、印象推定部５３は、所定の表情特徴量に対して正解とするＡＵ（Action Unit）値を含む教師データにより機械学習した学習モデルを用い、人物Ｈ１～Ｈ７それぞれの表情特徴量をもとにＡＵ値を推定するＡＵ推定５３３を行う。次いで、印象推定部５３は、推定したＡＵ値を印象を示す数値へ変換する印象推定５３４を行い、人物Ｈ１～Ｈ７それぞれが有する印象を示す印象データを得る。

図３の例では、表情特徴量より印象データを得る構成を例示したが、音声特徴量についても同様にして印象データが得られる。例えば、印象推定部５３は、所定の音声特徴量に対して正解とするＡＵ値を含む教師データにより機械学習した学習モデルを用いることで、人物Ｈ１～Ｈ７それぞれの表情特徴量をもとに印象データを得ることができる。

また、本実施形態では、一人よりも複数人いる時のコミュニケーション動作において表情等の感情（印象）の発露が多いことに着目した。特に、対象（例えばワインＷ）に対する印象を発露するタイミングとしては、対象に対する動作（例えば匂いを嗅ぐなど）に続いて行われるコミュニケーション動作（例えば会話、アイコンタクトなど）である点に着目した。そこで、制御部４０は、第１トリガ検出部５１および第２トリガ検出部５２の検出結果をもとに、対象に対する印象を発露していると想定されるタイミングに合わせて、印象推定部５３より印象データを取得する期間（抽出Ｗｉｎｄｏｗ）を設定する。

具体的には、制御部４０は、第１のトリガを検出した後の所定時間内に第２のトリガを検出した場合に、第１のトリガおよび第２のトリガに基づき、コミュニケーション動作を発した人物およびコミュニケーション動作を受けた人物の少なくとも一方について対象に対する印象を推定する動作の期間（抽出Ｗｉｎｄｏｗ）を設定する。

例えば、制御部４０は、対象に対する動作後にコミュニケーション動作を発した人物については、少なくとも第１のトリガ（対象に対する動作時）を含む期間を印象を推定する動作の期間（抽出Ｗｉｎｄｏｗ）として設定する。

また、制御部４０は、コミュニケーション動作を受けた人物については、少なくとも第２のトリガ（コミュニケーション動作時）を含む期間を印象を推定する動作の期間（抽出Ｗｉｎｄｏｗ）として設定する。

このように、印象推定装置１は、対象（例えばワインＷ）に対する印象を発露していると想定されるタイミングに合わせて印象データを取得する期間（抽出Ｗｉｎｄｏｗ）を設定することで、対象に対する人物の印象を精度よく推定することができる。

グループ推定部５４は、撮影部１２の画像データより、人物Ｈ１～Ｈ７それぞれが属するグループＧ１～グループＧ３の推定を行う処理部である。具体的には、撮影部１２の画像データより識別した人物Ｈ１～Ｈ７それぞれについて、互いの距離が近い状態を継続している組をグループＧ１～グループＧ３として推定する。グループ推定部５４は、人物Ｈ１～Ｈ７それぞれについて推定したグループを示す識別情報（グループＩＤ）を付与する。

制御部４０は、グループ推定部５４が推定したグループをもとに、コミュニケーション動作を受けた人物を特定する。具体的には、制御部４０は、コミュニケーション動作を発した人物と同一のグループに属する（グループＩＤが同じ）人物をコミュニケーション動作を受けた人物と特定する。

図４は、実施形態にかかる印象推定装置１の動作例を示すフローチャートである。図４に示すように、処理が開始されると、印象推定装置１は、音声受信部１１、撮影部１２等の各種センサを起動し（Ｓ１）、人物Ｈの動作検出を開始する。

次いで、印象推定装置１は、第１トリガ検出部５１による第１のトリガの検出、第２トリガ検出部５２による第２のトリガの検出および印象推定部５３による印象推定を開始する（Ｓ２）。

次いで、制御部４０は、人物Ｈ１～Ｈ７いずれかについて、第１トリガ検出部５１が第１のトリガを検出したか否かを判定する（Ｓ３）。第１のトリガを検出していない場合（Ｓ３：Ｎｏ）、制御部４０は処理を待機する。

第１のトリガを検出した場合（Ｓ３：Ｙｅｓ）、第１のトリガを検出した人物に関し、制御部４０は、予め設定された所定時間内に第２トリガ検出部５２が第２のトリガを検出したか否かを判定する（Ｓ４）。第１のトリガを検出した人物に関して所定時間内に第２のトリガを検出していない場合（Ｓ４：Ｎｏ）、制御部４０はＳ３へ処理を戻す。

第１のトリガを検出した人物に関して所定時間内に第２のトリガを検出した場合（Ｓ４：Ｙｅｓ）、制御部４０は、第１のトリガおよび第２のトリガをもとに、第１のトリガを検出した人物と、その人物と同一グループの人物とに対して抽出Ｗｉｎｄｏｗを設定する（Ｓ５）。すなわち、制御部４０は、コミュニケーション動作を発した人物と、コミュニケーション動作を受けた人物とについて、第１のトリガおよび第２のトリガに応じた抽出Ｗｉｎｄｏｗを設定する。

具体的には、制御部４０は、第１のトリガを検出した人物（コミュニケーション動作を発した人物）については、第１のトリガ（対象に対する動作時）を含む所定期間を抽出Ｗｉｎｄｏｗとする。また、制御部４０は、第１のトリガを検出した人物と同一グループの人物（コミュニケーション動作を受けた人物）については、第２のトリガ（コミュニケーション動作時）を含む所定期間を抽出Ｗｉｎｄｏｗとする。

次いで、印象推定部５３は、抽出Ｗｉｎｄｏｗを設定した人物について、抽出Ｗｉｎｄｏｗ内の印象推定結果（印象データ）を抽出する（Ｓ６）。

次いで、制御部４０は、予め設定された終了条件を満たすか否かをもとに、処理を終了するか否かを判定する（Ｓ７）。終了条件を満たす場合（Ｓ７：Ｙｅｓ）、制御部４０は処理を終了する。終了条件を満たさない場合（Ｓ７：Ｎｏ）、制御部４０は、Ｓ３へ処理を戻し、処理を継続する。

ここで、具体例を用いて、人物における印象推定を説明する。図５～図１０は、人物Ｈ１、Ｈ２における印象データの一例を説明する説明図である。

図５～図１０の例では、人物Ｈ１、Ｈ２が対象とするワインＷを持って会場に入室し、ワインＷの感想を述べ合うまでの時間経過を例示している。具体的には、入室後、人物Ｈ１が人物Ｈ２にワインＷとは無関係の話題を話しかける（ｔ１）。次いで、人物Ｈ１は、ワインＷの匂いを認識し（ｔ２、ｔ２ａ）、ワインＷの匂いを嗅ぐ動作を行う（ｔ３）。次いで、ワインＷの匂いを嗅ぐ動作の後、人物Ｈ１は、人物Ｈ２に対してワインＷに関する会話を行う（ｔ４）。

また、図９は、本実施形態における抽出Ｗｉｎｄｏｗの設定例であり、図５～図８、図１０は、本実施形態とは別の抽出Ｗｉｎｄｏｗの設定例（比較例）である。

図５に示すように、人物Ｈ１、Ｈ２の印象データは、入室後はワインＷとは無関係の話題により否定的な値を示している。その後、人物Ｈ１については、ワインＷの匂い認識後（ｔ２）にワインＷに関する印象を発露し、ｔ２以後の所定期間は肯定的な値を示している。人物Ｈ２については、人物Ｈ１からのワインＷに関する会話（ｔ４）に誘発される形でワインＷに関する印象を発露し、ｔ４以後の所定期間は肯定的な値を示している。

図６では、提供されたワインＷを持って会場に入室したタイミングより所定期間内を抽出Ｗｉｎｄｏｗとしている。図６に示すように抽出Ｗｉｎｄｏｗを設定する場合、ワインＷとは無関係の話題の会話に関する印象（否定的な印象）を含めてしまうこととなる。このため、人物Ｈ１、Ｈ２がワインＷに関して本来有している肯定的な印象が打ち消され、印象推定の精度が悪くなることとなる。

図７では、提供されたワインＷの匂いを認識して、ワインＷの匂いを嗅ぐ動作を行ったタイミング（ｔ３）を含む所定期間内を抽出Ｗｉｎｄｏｗとしている。この場合、ワインＷの匂いを嗅ぐ動作を行った人物Ｈ１については、ワインＷに関する印象を発露するタイミングに合わせて抽出Ｗｉｎｄｏｗを設定し、精度よく印象推定を行うことができる。しかしながら、人物Ｈ２については、ワインＷの匂いを嗅ぐ動作を行っていないことから、抽出Ｗｉｎｄｏｗが設定されない。

図８では、単にコミュニケーション動作を行ったタイミング（ｔ１、ｔ４）を含む所定期間内を抽出Ｗｉｎｄｏｗとしている。この場合、ワインＷとは無関係の会話が行われたタイミングで抽出Ｗｉｎｄｏｗが設定され得ることから、図６と同様、印象推定の精度が悪くなることとなる。

図９では、ワインＷの匂いを嗅ぐ動作（ｔ３）に続いて行われるコミュニケーション動作（ｔ４）をもとに、コミュニケーション動作を行った側（人物Ｈ１）と、コミュニケーション動作を受けた側（人物Ｈ２）の抽出Ｗｉｎｄｏｗを設定している。

具体的には、人物Ｈ１については、ワインＷの匂いを嗅ぐ動作を行ったタイミング（ｔ３）を基準とし、ｔ３を含む前後の所定期間を抽出Ｗｉｎｄｏｗとする。また、人物Ｈ２については、人物Ｈ１からのコミュニケーション動作時（ｔ４）を基準とし、ｔ４を含む前後の所定期間を抽出Ｗｉｎｄｏｗとする。これにより、人物Ｈ１、Ｈ２ともに、ワインＷに関する印象を発露するタイミングに合わせて抽出Ｗｉｎｄｏｗが設定されることから、精度よく印象推定を行うことができる。

図１０では、第２のトリガ後に所定時間内に第１のトリガが検出される（ｔ２ａ）場合を例示している。すなわち、図１０では、図９とは逆に、コミュニケーション動作（ｔ１）に続いて行われるワインＷの匂いを嗅ぐ動作（ｔ２ａ）をもとに、コミュニケーション動作を行った側（人物Ｈ１）と、コミュニケーション動作を受けた側（人物Ｈ２）の抽出Ｗｉｎｄｏｗを設定している。

人の行動は、認知後に、認知に応じた行動をとることが一般的であると言える。例えば、ｔ１の会話のように、最初のトリガとなるコミュニケーション動作は、認知とは関係のないものである可能性がある。したがって、第２のトリガ→第１のトリガを契機に抽出Ｗｉｎｄｏｗを設定する場合、ワインＷに関する印象を発露するタイミングに合わせた抽出Ｗｉｎｄｏｗの設定とはならず、印象推定の精度が悪くなることとなる。

以上のように、印象推定装置１は、入力部１０と、第１トリガ検出部５１と、第２トリガ検出部５２と、制御部４０と、印象推定部５３とを有する。入力部１０は、音声受信部１１および撮影部１２より入力されたデータをもとに人物Ｈそれぞれの動作を検出する。第１トリガ検出部５１は、入力部１０が検出した動作において、第１のユーザが対象（例えばワインＷ）に対して行う動作を示す第１のトリガを検出する。第２トリガ検出部５２は、入力部１０が検出した動作において、第１のユーザから第２のユーザに対するコミュニケーション動作を示す第２のトリガを検出する。制御部４０は、第１のトリガを検出した後の所定時間内に第２のトリガを検出した場合に、第１のトリガおよび第２のトリガに基づき、第１のユーザおよび第２のユーザの少なくとも一方について対象に対する印象を推定する動作の期間（抽出Ｗｉｎｄｏｗ）を設定する。また、印象推定部５３は、設定した期間内における第１のユーザおよび第２のユーザの少なくとも一方の動作を特徴量とし、第１のユーザおよび第２のユーザの少なくとも一方の対象に対する印象を推定する。

本実施形態では、一人よりも複数人いる時のコミュニケーション動作において表情等の感情（印象）の発露が多いことに着目している。特に、対象に対する印象を発露するタイミングとしては、対象に対する動作（例えば匂いを嗅ぐなど）に続いて行われるコミュニケーション動作（例えば会話、アイコンタクトなど）である点に着目している。例えば、コミュニケーション動作を行った側については、コミュニケーション動作の直前における、対象に対する動作を行った時点から印象を発露している場合がある。また、コミュニケーション動作を受けた側については、対象に対する動作を行うことなく、コミュニケーションを受けることによって対象に対する印象を発露している場合がある。

したがって、印象推定装置１は、対象に対して行う動作を示す第１のトリガに続いてコミュニケーション動作を示す第２のトリガを検出した場合に、第１のトリガおよび第２のトリガに基づいて印象を推定する動作の期間を設定することで、対象に対する人の印象を精度よく推定することができる。

図１１－１は、印象情報収集率のグラフ例を説明する説明図である。図１１－１におけるグラフＸ１は、アンケート形式で対象（例えばワインＷ）に対する回答を取得した場合の、総数に対するアンケート回答数を示すグラフである。グラフＸ２は、印象推定装置１を用いて対象に対する印象を検出した場合の、総数に対する検出できた人の数を示すグラフである。

図１１－１に示すように、アンケート形式では、総数に対して回答を取得できた数の割合が低くなる傾向があり、一定数の回答を得ようとする場合には情報収集に関するコストが高くなる。これに対し、本実施形態では、グループで来場した人からはほぼ漏れなく印象の検出を行うことができ、情報収集に関するコストを低く抑えることができる。

図１１－２は、回答内容のグラフ例を説明する説明図である。図１１－２におけるグラフＸ３は、アンケート形式で対象（例えばワインＷ）に対する回答を取得した場合の、回答内容の内訳を示すグラフである。グラフＸ２は、印象推定装置１を用いて対象に対する印象を検出した場合の、印象の内訳を示すグラフである。

図１１－２に示すように、アンケート形式では、対象に対して強い印象（大変良い、大変悪い）を持つ人が、回答に対する動機が強く、実際に回答するケースが多くなる。逆に、対象に対して強い印象を持たない人は、回答に対する動機が弱く、回答しないケースが多くなる。このため、アンケート形式では、対象に対して強い印象に偏った回答が得られることとなる。これに対し、本実施形態では、回答に対する動機に関係なく、グループで来場した人からはほぼ漏れなく印象の検出を行うことができるので、偏りなく精度のよい結果を得ることができる。

また、第１トリガ検出部５１は、対象に対する匂いを嗅ぐ動作、味見をする動作、触れる動作および直視する動作の少なくとも１つを第１のトリガとして検出する。このため、印象推定装置１は、対象に対する匂いを嗅ぐ動作、味見をする動作、触れる動作および直視する動作を契機として印象を推定する動作の期間を設定できる。

また、第２トリガ検出部５２は、少なくとも、対象に関連する会話、アイコンタクト、肩をたたく動作のいずれかを第２のトリガとして検出する。このため、印象推定装置１は、対象に関連する会話、アイコンタクト、肩をたたく動作のいずれかを契機として印象を推定する動作の期間を設定できる。

また、制御部４０は、第１のユーザについては少なくとも第１のトリガを含む期間を設定する。このため、印象推定装置１は、コミュニケーション動作を行った側（第１のユーザ）については、対象に対する動作を行った時点を印象を推定する動作の期間に含めることができる。

また、制御部４０は、第２のユーザについては少なくとも第２のトリガを含む期間を設定する。このため、印象推定装置１は、コミュニケーション動作を受けた側（第２のユーザ）については、コミュニケーション動作を受けた時点を印象を推定する動作の期間に含めることができる。

また、印象推定装置１は、第１のユーザおよび第２のユーザの少なくとも一方の対象に対する印象の推定結果を、第１のユーザおよび第２のユーザに対応付けて表示する出力部３０を有する。このため、印象推定装置１は、複数の人物における印象の推定結果を分かりやすく提示できる。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、第１トリガ検出部５１と第２トリガ検出部５２、印象推定部５３とグループ推定部５４を統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の各実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施形態と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１２は、プログラムを実行するコンピュータの一例を示すブロック図である。

図１２に示すように、コンピュータ１００は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３とを有する。また、コンピュータ１００は、記憶媒体からプログラム等を読み取る媒体読取装置１０４と、各種装置と接続するためのインタフェース装置１０５と、他の情報処理装置等と有線または無線により接続するための通信装置１０６とを有する。また、コンピュータ１００は、各種情報を一時記憶するＲＡＭ１０７と、ハードディスク装置１０８とを有する。また、各装置１０１～１０８は、バス１０９に接続される。

ハードディスク装置１０８には、図１に示した入力部１０、出力部３０、制御部４０、第１トリガ検出部５１、第２トリガ検出部５２、印象推定部５３およびグループ推定部５４の各処理部と同様の機能を有するプログラム１０８Ａが記憶される。また、ハードディスク装置１０８には、入力部１０、出力部３０、制御部４０、第１トリガ検出部５１、第２トリガ検出部５２、印象推定部５３およびグループ推定部５４を実現するための各種データが記憶される。入力装置１０２は、例えば、コンピュータ１００の利用者から操作情報等の各種情報の入力を受け付ける。モニタ１０３は、例えば、コンピュータ１００の利用者に対して表示画面等の各種画面を表示する。インタフェース装置１０５は、例えば印刷装置等が接続される。通信装置１０６は、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。

ＣＰＵ１０１は、ハードディスク装置１０８に記憶されたプログラム１０８Ａを読み出して、ＲＡＭ１０７に展開して実行することで、各種の処理を行う。また、このプログラムは、コンピュータ１００を図１に示した入力部１０、出力部３０、制御部４０、第１トリガ検出部５１、第２トリガ検出部５２、印象推定部５３およびグループ推定部５４として機能させることができる。

なお、上記のプログラム１０８Ａは、ハードディスク装置１０８に記憶されていなくてもよい。例えば、コンピュータ１００が読み取り可能な記憶媒体に記憶されたプログラム１０８Ａを、コンピュータ１００が読み出して実行するようにしてもよい。コンピュータ１００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にプログラム１０８Ａを記憶させておき、コンピュータ１００がこれらからプログラム１０８Ａを読み出して実行するようにしてもよい。

以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）ユーザそれぞれの動作に基づいて前記ユーザそれぞれの所定の対象に対する印象を推定する印象推定方法であって、
前記ユーザそれぞれの動作を検出し、
検出した前記ユーザそれぞれの動作において、第１のユーザが前記対象に対して行う動作を示す第１のトリガを検出し、
検出した前記ユーザそれぞれの動作において、前記第１のユーザから第２のユーザに対するコミュニケーション動作を示す第２のトリガを検出し、
前記第１のトリガを検出した後の所定時間内に前記第２のトリガを検出した場合に、前記第１のトリガおよび前記第２のトリガに基づき、前記第１のユーザおよび前記第２のユーザの少なくとも一方について前記対象に対する印象を推定する動作の期間を設定し、
設定した前記期間内における前記第１のユーザおよび前記第２のユーザの少なくとも一方の動作を特徴量とし、前記第１のユーザおよび前記第２のユーザの少なくとも一方の前記対象に対する印象を推定する、
処理をコンピュータが実行することを特徴とする印象推定方法。

（付記２）前記第１のトリガを検出する処理は、前記対象に対する匂いを嗅ぐ動作、味見をする動作、触れる動作および直視する動作の少なくとも１つを第１のトリガとして検出する、
ことを特徴とする付記１に記載の印象推定方法。

（付記３）前記第２のトリガを検出する処理は、少なくとも、前記対象に関連する会話、アイコンタクト、肩をたたく動作のいずれかを第２のトリガとして検出する、
ことを特徴とする付記１または２に記載の印象推定方法。

（付記４）前記設定する処理は、前記第１のユーザについては少なくとも前記第１のトリガを含む期間を設定する、
ことを特徴とする付記１乃至３のいずれか一に記載の印象推定方法。

（付記５）前記設定する処理は、前記第２のユーザについては少なくとも前記第２のトリガを含む期間を設定する、
ことを特徴とする付記１乃至４のいずれか一に記載の印象推定方法。

（付記６）前記第１のユーザおよび前記第２のユーザの少なくとも一方の前記対象に対する印象の推定結果を、前記第１のユーザおよび前記第２のユーザに対応付けて表示する処理をさらにコンピュータが実行する、
ことを特徴とする付記１乃至５のいずれか一に記載の印象推定方法。

（付記７）ユーザそれぞれの動作に基づいて前記ユーザそれぞれの所定の対象に対する印象をコンピュータに推定させる印象推定プログラムであって、
前記ユーザそれぞれの動作を検出し、
検出した前記ユーザそれぞれの動作において、第１のユーザが前記対象に対して行う動作を示す第１のトリガを検出し、
検出した前記ユーザそれぞれの動作において、前記第１のユーザから第２のユーザに対するコミュニケーション動作を示す第２のトリガを検出し、
前記第１のトリガを検出した後の所定時間内に前記第２のトリガを検出した場合に、前記第１のトリガおよび前記第２のトリガに基づき、前記第１のユーザおよび前記第２のユーザの少なくとも一方について前記対象に対する印象を推定する動作の期間を設定し、
設定した前記期間内における前記第１のユーザおよび前記第２のユーザの少なくとも一方の動作を特徴量とし、前記第１のユーザおよび前記第２のユーザの少なくとも一方の前記対象に対する印象を推定する、
処理をコンピュータに実行させることを特徴とする印象推定プログラム。

（付記８）前記第１のトリガを検出する処理は、前記対象に対する匂いを嗅ぐ動作、味見をする動作、触れる動作および直視する動作の少なくとも１つを第１のトリガとして検出する、
ことを特徴とする付記７に記載の印象推定プログラム。

（付記９）前記第２のトリガを検出する処理は、少なくとも、前記対象に関連する会話、アイコンタクト、肩をたたく動作のいずれかを第２のトリガとして検出する、
ことを特徴とする付記７または８に記載の印象推定プログラム。

（付記１０）前記設定する処理は、前記第１のユーザについては少なくとも前記第１のトリガを含む期間を設定する、
ことを特徴とする付記７乃至９のいずれか一に記載の印象推定プログラム。

（付記１１）前記設定する処理は、前記第２のユーザについては少なくとも前記第２のトリガを含む期間を設定する、
ことを特徴とする付記７乃至１０のいずれか一に記載の印象推定プログラム。

（付記１２）前記第１のユーザおよび前記第２のユーザの少なくとも一方の前記対象に対する印象の推定結果を、前記第１のユーザおよび前記第２のユーザに対応付けて表示する処理をさらにコンピュータに実行させる、
ことを特徴とする付記７乃至１１のいずれか一に記載の印象推定プログラム。

（付記１３）ユーザそれぞれの動作に基づいて前記ユーザそれぞれの所定の対象に対する印象を推定する印象推定装置であって、
前記ユーザそれぞれの動作を検出する動作検出部と、
検出した前記ユーザそれぞれの動作において、第１のユーザが前記対象に対して行う動作を示す第１のトリガを検出する第１トリガ検出部と、
検出した前記ユーザそれぞれの動作において、前記第１のユーザから第２のユーザに対するコミュニケーション動作を示す第２のトリガを検出する第２トリガ検出部と、
前記第１のトリガを検出した後の所定時間内に前記第２のトリガを検出した場合に、前記第１のトリガおよび前記第２のトリガに基づき、前記第１のユーザおよび前記第２のユーザの少なくとも一方について前記対象に対する印象を推定する動作の期間を設定する設定部と、
設定した前記期間内における前記第１のユーザおよび前記第２のユーザの少なくとも一方の動作を特徴量とし、前記第１のユーザおよび前記第２のユーザの少なくとも一方の前記対象に対する印象を推定する推定部と、
を有することを特徴とする印象推定装置。

（付記１４）前記第１トリガ検出部は、前記対象に対する匂いを嗅ぐ動作、味見をする動作、触れる動作および直視する動作の少なくとも１つを第１のトリガとして検出する、
ことを特徴とする付記１３に記載の印象推定装置。

（付記１５）前記第２トリガ検出部は、少なくとも、前記対象に関連する会話、アイコンタクト、肩をたたく動作のいずれかを第２のトリガとして検出する、
ことを特徴とする付記１３または１４に記載の印象推定装置。

（付記１６）前記設定部は、前記第１のユーザについては少なくとも前記第１のトリガを含む期間を設定する、
ことを特徴とする付記１３乃至１５のいずれか一に記載の印象推定装置。

（付記１７）前記設定部は、前記第２のユーザについては少なくとも前記第２のトリガを含む期間を設定する、
ことを特徴とする付記１３乃至１６のいずれか一に記載の印象推定装置。

（付記１８）前記第１のユーザおよび前記第２のユーザの少なくとも一方の前記対象に対する印象の推定結果を、前記第１のユーザおよび前記第２のユーザに対応付けて表示する出力部をさらに有する、
ことを特徴とする付記１３乃至１７のいずれか一に記載の印象推定装置。

１…印象推定装置
１０…入力部
１１…音声受信部
１２…撮影部
２０…記憶部
３０…出力部
４０…制御部
５１…第１トリガ検出部
５２…第２トリガ検出部
５３…印象推定部
５４…グループ推定部
１００…コンピュータ
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…媒体読取装置
１０５…インタフェース装置
１０６…通信装置
１０７…ＲＡＭ
１０８…ハードディスク装置
１０８Ａ…プログラム
１０９…バス
５３１…顔検出
５３２…アライメント調整
５３３…ＡＵ推定
５３４…印象推定
Ｇ１～Ｇ３…グループ
Ｈ、Ｈ１～Ｈ７…人物
ｔ１～ｔ４…時刻
Ｗ…ワイン
Ｘ１～Ｘ４…グラフ

Claims (8)

1. ユーザそれぞれの動作に基づいて前記ユーザそれぞれの所定の対象に対する印象を推定する印象推定方法であって、
   前記ユーザそれぞれの動作を検出し、
   検出した前記ユーザそれぞれの動作において、第１のユーザが前記対象に対して行う動作を示す第１のトリガを検出し、
   検出した前記ユーザそれぞれの動作において、前記第１のユーザから第２のユーザに対するコミュニケーション動作を示す第２のトリガを検出し、
   前記第１のトリガを検出した後の所定時間内に前記第２のトリガを検出した場合に、前記第１のトリガおよび前記第２のトリガに基づき、前記第１のユーザおよび前記第２のユーザの少なくとも一方について前記対象に対する印象を推定する動作の期間を設定し、
   設定した前記期間内における前記第１のユーザおよび前記第２のユーザの少なくとも一方の動作を特徴量とし、前記第１のユーザおよび前記第２のユーザの少なくとも一方の前記対象に対する印象を推定する、
   処理をコンピュータが実行することを特徴とする印象推定方法。
2. 前記第１のトリガを検出する処理は、前記対象に対する匂いを嗅ぐ動作、味見をする動作、触れる動作および直視する動作の少なくとも１つを第１のトリガとして検出する、
   ことを特徴とする請求項１に記載の印象推定方法。
3. 前記第２のトリガを検出する処理は、少なくとも、前記対象に関連する会話、アイコンタクト、肩をたたく動作のいずれかを第２のトリガとして検出する、
   ことを特徴とする請求項１または２に記載の印象推定方法。
4. 前記設定する処理は、前記第１のユーザについては少なくとも前記第１のトリガを含む期間を設定する、
   ことを特徴とする請求項１乃至３のいずれか一項に記載の印象推定方法。
5. 前記設定する処理は、前記第２のユーザについては少なくとも前記第２のトリガを含む期間を設定する、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の印象推定方法。
6. 前記第１のユーザおよび前記第２のユーザの少なくとも一方の前記対象に対する印象の推定結果を、前記第１のユーザおよび前記第２のユーザに対応付けて表示する処理をさらにコンピュータが実行する、
   ことを特徴とする請求項１乃至５のいずれか一項に記載の印象推定方法。
7. ユーザそれぞれの動作に基づいて前記ユーザそれぞれの所定の対象に対する印象をコンピュータに推定させる印象推定プログラムであって、
   前記ユーザそれぞれの動作を検出し、
   検出した前記ユーザそれぞれの動作において、第１のユーザが前記対象に対して行う動作を示す第１のトリガを検出し、
   検出した前記ユーザそれぞれの動作において、前記第１のユーザから第２のユーザに対するコミュニケーション動作を示す第２のトリガを検出し、
   前記第１のトリガを検出した後の所定時間内に前記第２のトリガを検出した場合に、前記第１のトリガおよび前記第２のトリガに基づき、前記第１のユーザおよび前記第２のユーザの少なくとも一方について前記対象に対する印象を推定する動作の期間を設定し、
   設定した前記期間内における前記第１のユーザおよび前記第２のユーザの少なくとも一方の動作を特徴量とし、前記第１のユーザおよび前記第２のユーザの少なくとも一方の前記対象に対する印象を推定する、
   処理をコンピュータに実行させることを特徴とする印象推定プログラム。
8. ユーザそれぞれの動作に基づいて前記ユーザそれぞれの所定の対象に対する印象を推定する印象推定装置であって、
   前記ユーザそれぞれの動作を検出する動作検出部と、
   検出した前記ユーザそれぞれの動作において、第１のユーザが前記対象に対して行う動作を示す第１のトリガを検出する第１トリガ検出部と、
   検出した前記ユーザそれぞれの動作において、前記第１のユーザから第２のユーザに対するコミュニケーション動作を示す第２のトリガを検出する第２トリガ検出部と、
   前記第１のトリガを検出した後の所定時間内に前記第２のトリガを検出した場合に、前記第１のトリガおよび前記第２のトリガに基づき、前記第１のユーザおよび前記第２のユーザの少なくとも一方について前記対象に対する印象を推定する動作の期間を設定する設定部と、
   設定した前記期間内における前記第１のユーザおよび前記第２のユーザの少なくとも一方の動作を特徴量とし、前記第１のユーザおよび前記第２のユーザの少なくとも一方の前記対象に対する印象を推定する推定部と、
   を有することを特徴とする印象推定装置。

Images