JP6992870B2 - 情報処理システム、制御方法、およびプログラム - Google Patents

Description

本開示は、情報処理システム、制御方法、およびプログラムに関する。

従来、交渉や会議、営業、プレゼンテーション等の社会的コミュニケーションにおいて、人は相手の様子を伺いながら話を進め、理想的なコミュニケーションの状態を作るが、このようなコミュニケーションの能力は個人の技能による所が多かった。

対話による人とのコミュニケーションを取る際のアドバイスシステムに関しては、例えば下記特許文献１が提案されている。特許文献１に開示されているシステムでは、プレゼンテーション、会議、講習会等における参加者（発表者、受講者）の集中度を検出し、参加者にフィードバックを行う。また、例えば集中度の低い受講者が後方座席に居る際には、発表者に「声を大きくしてください」等のメッセージが表示される。

特開２０１２－１６０１７３号公報

ここで、人はコミュニケーションの際に、身振り手振りや声の調子、口数の多さ、頷き等により、自身の本当の気持ち（感情）を示すシグナルを出しており、上述した相手の様子を伺いながら話を進める方法では、このような相手の出すシグナルに基づいて相手の感情を把握していることが想定される。

しかしながら、相手のシグナルを感知することが人によっては困難であったり、また、シグナルを把握できても自分の理想とするコミュニケーション状態に近付けるためにどのようなにすればよいかが分からなかったりする場合も想定される。

そこで、本開示では、ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することが可能な情報処理システム、制御方法、およびプログラムを提案する。

本開示によれば、第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、前記第１ユーザが前記第２ユーザとコミュニケーションを行う用途に応じた理想的な感情シグナルの状態とアドバイスとの対応情報を参照して、前記通信部により受信された感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記受信した感情シグナルの状態と前記用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第１ユーザへのアドバイスを生成する生成部と、前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信する制御部と、を備える、情報処理システムを提案する。

本開示によれば、第１ユーザが第２ユーザとコミュニケーションを行う用途に応じた理想的な感情シグナルの状態とアドバイスとの対応情報を参照して、前記第１ユーザおよび前記第２のユーザのうち少なくともいずれか一方の感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記感情シグナルの状態と前記用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第１ユーザへのアドバイスを生成する外部サーバに前記用途と前記感情シグナルを送信し、前記用途と感情シグナルに応じて生成された前記第１ユーザへのアドバイスを受信する通信部と、前記第１ユーザへのアドバイスを通知する通知部と、備える、情報処理システムを提案する。

本開示によれば、プロセッサが、第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信することと、前記第１ユーザが前記第２ユーザとコミュニケーションを行う用途に応じた理想的な感情シグナルの状態とアドバイスとの対応情報を参照して、前記受信した感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記受信した感情シグナルの状態と前記用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第１ユーザへのアドバイスを生成することと、前記生成されたアドバイスを、前記第１ユーザに対応するクライアント端末に送信することと、を含む、制御方法を提案する。

本開示によれば、コンピュータを、第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、前記第１ユーザが前記第２ユーザとコミュニケーションを行う用途に応じた理想的な感情シグナルの状態とアドバイスとの対応情報を参照して、前記通信部により受信された感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記受信した感情シグナルの状態と前記用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第１ユーザへのアドバイスを生成する生成部と、前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信する制御部、として機能させるための、プログラムを提案する。

以上説明したように本開示によれば、ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理システムの全体構成を示す図である。 本実施形態によるセンサ装置の構成の一例を示すブロック図である。 本実施形態による感情シグナルサーバの構成の一例を示すブロック図である。 本実施形態によるアドバイス生成サーバの構成の一例を示すブロック図である。 本実施形態によるユーザ端末の構成の一例を示すブロック図である。 本実施形態による情報処理システムの動作処理を示すフローチャートである。 本実施形態による用途選択画面を含む初期画面例を示す図である。 本実施形態によるアドバイス生成処理を示すフローチャートである。 本実施形態によるアドバイス情報ＤＢに格納されるアドバイスセットの一例を示す図である。 本実施形態による用途「交渉」の場合における「影響力」のアドバイス生成について説明する図である。 本実施形態による用途「傾聴」の表示画面の一例を示す図である。 本実施形態による用途「交渉」の表示画面の一例を示す図である。 本実施形態の変形例１によるユーザＡのみがセンサ装置を有している場合におけるアドバイス生成処理の事前処理について示すフローチャートである。 本実施形態の変形例２による表示画面例を示す図である。 本実施形態の変形例３による表示画面例を示す図である。 本実施形態の変形例３による他の表示画面例を示す図である。 本実施形態の変形例３による他の表示画面例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２－１．全体構成
２－２．センサ装置
２－３．感情シグナルサーバ
２－４．アドバイス生成サーバ
２－５．ユーザ端末
３．動作処理
３－１．システム動作処理
３－２．アドバイス生成処理
４．表示画面例
５．変形例
５－１．ユーザＡ（本人）のみがセンサ装置１０を有している場合
５－２．ユーザＢ（相手）のみがセンサ装置１０を有している場合
５－３．感情シグナルスクランブル処理
６．まとめ

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
まず、本開示の一実施形態による情報処理システムの概要について図１を参照して説明する。図１に示すように、例えば交渉や商談といった社会的コミュニケーションを行っている際、人は自身の感情を示す感情シグナルを表出していることが想定される。感情シグナルは、例えば４つの社会的シグナル、すなわち「影響力」、「ミミクリ（mimicry；模倣）」、「活動レベル」、「一貫性」により定量化され得る。

「影響力」は、会話中における話者交代のパターンから算出される。例えばユーザＡが一方的に話していたり、ユーザＢの話を遮ってユーザＡが話し続けていたりする場合、ユーザＡの影響力が大きいと言える。また、相手の言葉に被せるようにして双方言葉を発している場合はどちらの影響力も大きい。また、会話に長く不規則な中断がある場合、影響力は小さいと言える。

「ミミクリ」は、会話中においてユーザが相手の言葉や身振り・手振りを真似する回数や時間に基づいて算出される。通常、会話に夢中になり、波長が合っている場合、および共感している場合は、互いの身振り・手振りや言葉を真似し合う傾向があるため、「ミミクリ」の値が大きい程、相手に同調・共感していると言える。

「活動量」は、身振り手振りの量や、身体の動きの激しさから算出される。「活動量」の値が大きい程、相手の話に関心を持ち、興味を示していることが分かる。

「一貫性」は、発話の韻律や身振り手振りの変動量、話している際の声の高さや大きさやリズムの変動から算出される。「一貫性」の値が大きい程、精神が集中していることが分かり、値が小さい程、感情的になっていることが分かる。

このような感情シグナルは、例えばユーザに装着されたセンサ装置（カメラセンサ、マイクロホン、ジャイロセンサ、加速度センサ、および地磁気センサ等）により検知されるセンサデータから算出され得る。

本システムでは、これらの感情シグナルに基づいてコミュニケーションの状態を認識し、コミュニケーションの目的やユーザの社会的な立場、対話者の関係等に応じた理想的なコミュニケーションの状態、すなわち理想的な感情シグナルが表出する状態にするためのアドバイスをユーザに対して行う。

例えば、図１に示すように、ユーザＡがユーザＢと交渉している際、本開示による情報処理システムは、ユーザＡおよびユーザＢの少なくともいずれか一方から検知された感情シグナルを取得し、現在の状態を認識する。次いで、情報処理システムは、「交渉」の場における理想的なコミュニケーション状態（すなわち感情シグナル状態）と現在の感情シグナルとを比較し、理想的なコミュニケーション情報を構築するためのアドバイスをユーザ端末５からユーザＡに提示する。例えば「活動レベル」の値が理想値よりも低い場合には、「身振り手振りを交えて話して下さい。」といったアドバイスが提示される。また、ユーザＡへのアドバイスの提示は、検知したユーザＡの感情シグナル（「影響力」、「ミミクリ」、「活動レベル」、および「一貫性」）の値および理想値を示すレーダーチャートと共に行われてもよい。

これによりユーザＡは、アドバイスに従って話のテンポや声の調子、身振り手振り、発言量等を調整し、ユーザＢとの交渉を理想的な状態に近付けることができる。

以上、本開示の一実施形態による情報処理システムの概要について説明した。本実施形態による情報処理システムによれば、ユーザの感情を示すシグナルに基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することができる。

＜＜２．基本構成＞＞
＜２－１．全体構成＞
続いて、本実施形態による情報処理システムの全体構成について、図２を参照して説明する。図２は、本実施形態による情報処理システム１の全体構成を示す図である。図２に示すように、本実施形態による情報処理システム１は、ユーザに装着され、感情シグナルを算出するためのデータを検知するセンサ装置１０（１ａ、１ｂ）と、感情シグナルを算出する感情シグナルサーバ２と、感情シグナルに基づいてアドバイスを生成するアドバイス生成サーバ３と、生成されたアドバイスをユーザにフィードバックするユーザ端末５とを含む。センサ装置１０、感情シグナルサーバ２、アドバイス生成サーバ３、およびユーザ端末５は、ネットワーク４を介して接続され得る。

センサ装置１０は、図２に示すような首掛け型の他、メガネ型、頭部装着型、時計型、腕輪型、バッジ型等、様々な形態が考え得る。また、センサ装置１０は、ユーザに装着される装置に限定されず、スマートフォンや携帯電話端末等、ユーザに所持される装置であってもよい。また、センサ装置１０はユーザ端末５と一体化していてもよい。センサ装置１０は、カメラセンサ、マイクロホン、ジャイロセンサ、加速度センサ、および地磁気センサ等によりユーザの発話、声の大きさ、身体の活動量、頷き、相槌等を検知し、検知したデータ（センサ値）を、ネットワーク４を介して感情シグナルサーバ２へ送信する。なお感情シグナルサーバ２への送信は、ユーザが所持するスマートフォン、携帯電話端末、タブレット端末等のモバイル端末を介して行われてもよい。

感情シグナルサーバ２は、センサ装置１０により検知されたデータ（センサ値）を解析して、ユーザの感情シグナル（例えば、影響力、ミミクリ、活動レベル、および一貫性）を算出する。算出した感情シグナルは、感情シグナルＤＢ２２に格納され得る。また、感情シグナルＤＢ２２には、本システムの用途（例えば「交渉」、「傾聴」、「協業」、「指導」といった社会的コミュニケーションの種類）に応じた理想的な感情シグナル値も格納されている。

アドバイス生成サーバ３は、ユーザからによる用途の選択を受けて、用途に応じた理想的なコミュニケーションを構築するためのアドバイスを感情シグナル値に基づいて行う。具体的には、アドバイス生成サーバ３は、選択された用途向けの理想的な感情シグナル値を感情シグナルサーバ２の感情シグナルＤＢ２２から呼び出し、理想的な感情シグナル値と、感情シグナルサーバ２により算出された現在の感情シグナル値とを比較し、その結果からアドバイスを生成し、ユーザにフィードバックする。比較結果に基づくアドバイスは、例えばアドバイス情報ＤＢ３２に格納されている事例（ルール）に基づいて生成されてもよいし、機械学習や協調フィルタリングといった推薦技術を用いて生成されてもよい。

ユーザ端末５は、ユーザに結果の提示を行う情報処理装置である。ユーザ端末５は、アドバイス生成サーバ３から送信された比較結果に基づくアドバイスを、表示出力、音声出力、または振動等によりユーザに通知する。

以上、本実施形態による情報処理システム１の全体構成について説明した。続いて、本実施形態の情報処理システム１に含まれる各装置の基本構成について、図３～図６を参照して具体的に説明する。

＜２－２．センサ装置＞
図３は、本実施形態によるセンサ装置１０の構成の一例を示すブロック図である。図３に示すように、本実施形態によるセンサ装置１０は、センサ部１１、センサデータ抽出部１２、制御部１３、通信部１４、および記憶部１５を有する。

センサ部１１は、ユーザの動きや音声を検知する機能を有し、例えばカメラセンサ、マイクロホン、ジャイロセンサ、加速度センサ、および地磁気センサ等により実現され得る。

センサデータ抽出部１２は、センサ部１１からセンサデータ（撮像画像、音声情報等）を抽出する。

制御部１３は、センサ装置１０の各構成を制御する。また、制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部１３は、センサデータ抽出部１２により抽出されたセンサデータを、記憶部１５に一時的に保存し、また、通信部１４から感情シグナルサーバ２に送信するよう制御する。

通信部１４は、制御部１３の指示に従って、外部装置とデータの送受信を行うＩ／Ｆ（インターフェース）として機能する。例えば通信部１４は、ネットワーク４に接続し、ネットワーク（クラウド）上の感情シグナルサーバ２にセンサデータをリアルタイムで送信する。なお通信部１４は、ユーザが所持するユーザ端末５と、Ｗｉ－Ｆｉ（登録商標）、赤外線通信、またはＢｌｕｅｔｏｏｔｈ（登録商標）等により近距離無線接続し、ユーザ端末５を介して感情シグナルサーバ２にセンサデータをリアルタイムで送信するようにしてもよい。

記憶部１５は、制御部１３が各処理を実行するためのプログラムを格納する。また、記憶部１５は、センサデータを一時的に保持する領域も有する。

＜２－３．感情シグナルサーバ＞
次に、図４を参照して感情シグナルサーバ２の構成について説明する。図４は、本実施
形態による感情シグナルサーバ２の構成の一例を示すブロック図である。図４に示すように、感情シグナルサーバ２は、制御部２０、通信部２１、感情シグナルＤＢ２２、およびユーザ情報ＤＢ２３を有する。

制御部２０は、感情シグナルサーバ２の各構成を制御する。また、制御部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部２０は、図４に示すように、データ処理部２０ａ、データ解析部２０ｂ、感情シグナル算出部２０ｃ、ユーザ管理部２０ｄとしても機能する。

データ処理部２０ａは、通信部２１により受信した、センサ装置１０により検知されたセンサデータを整えて、より正確に解析が行える状態のデータに処理し、データ解析部２０ｂに出力する。データ解析部２０ｂは、データ処理部２０ａにより整えられたセンサデータの解析を行い、発話、声の大きさ、身体の活動量、身振り手振り、頷き、相槌等の情報を抽出し、感情シグナル算出部２０ｃに出力する。

感情シグナル算出部２０ｃは、データ解析により得られた情報に基づいて、ユーザの感情シグナルを算出する。より具体的には、感情シグナル算出部２０ｃは、感情シグナルとして、影響力、ミミクリ、活動レベル、および一貫性といった４つの値を算出する。なお本実施形態では、一例として、これらの感情シグナルの値を、正規化した0～1の間の数値で算出する。以下、４つの感情シグナルの算出について詳述する。

・影響力
感情シグナル算出部２０ｃは、例えばマイクロホンにより収音されたユーザＡとユーザＢの会話の音声データの解析により得られた発言の頻度、発言の長さ、声の強度、発言の重複（相手と同時に話してしまうこと）、発言を中断させられた頻度等に基づいて「影響力」を算出する。例えば、感情シグナル算出部２０ｃは、ユーザＡの発言の頻度がユーザＢに比べて少ない場合、ユーザＡの影響力は小さいと判定する。また、感情シグナル算出部２０ｃは、発言の長さについても同様に判定（発言の長さが長い程「影響力」が大きいと判定）する。

また、感情シグナル算出部２０ｃは、ユーザＡとユーザＢの声の強度の平均レベルを比較し、ユーザＢの声の強度の平均レベルの方が大きい場合、ユーザＡの影響力は小さいと判定する。また、感情シグナル算出部２０ｃは、発言が重複した際に発言を中断する頻度が高い場合、中断させられた側のユーザの影響力は小さいと判定する。

・ミミクリ
感情シグナル算出部２０ｃは、例えばカメラ、赤外線センサ、加速度センサ、ジャイロセンサ等により検知されたユーザの頭の動きや、マイクロホンにより収音された発話を解析することで得られた相手に同意を示す動作（頷き、相槌、同じ言葉の繰り返し等）に基づいて「ミミクリ（模倣）」を算出する。例えば、感情シグナル算出部２０ｃは、会話の中で同じ単語が繰り得される（出現確立が高い）場合、ミミクリが高いと判定する。また、相槌を示す特定の単語（「なるほど」「そうですか」「ええ」「はい」等）の出現確率を測定し、ミミクリを判定する。

・活動レベル
感情シグナル算出部２０ｃは、例えばカメラ、赤外線センサ、加速度センサ、ジャイロセンサ等により検知されたユーザの両手や上半身頭の動きを解析することで得られた身振り手振りの動作に基づいて、「活動レベル」を算出する。ユーザの身振り手振りの回数や上半身の動きは、ユーザが話に夢中になったり、熱心になったりしている際に増える。感情シグナル算出部２０ｃは、身振り手振りの回数や、上半身の動きの大きさを数値化し、
活動レベルを判定する。

・一貫性
感情シグナル算出部２０ｃは、例えばマイクロセンサにより収音された発話を解析することで得られる、発言の頻度、発言の長さ、声の強度、声の周波数、発言の速さ等に基づいて、「一貫性」を算出する。例えば、感情シグナル算出部２０ｃは、会話中における声の強度の変動や声のピッチ（周波数）の変動を時系列で測定し、その偏差と出現確率から、発言が一貫しているか、変調を来しているかを測定し、一貫性を算出する（一貫している場合は一貫性が高く、変調を来している場合は一貫性が低い）。

以上説明したように算出された感情シグナルは、感情シグナルＤＢ２２に格納され、また、通信部２１を介してアドバイス生成サーバ３に送信される。

ユーザ管理部２０ｄは、ユーザ情報ＤＢ２３に格納されるユーザ情報の管理を行う。例えばユーザ管理部２０ｄは、ユーザ情報ＤＢ２３へのユーザ情報の登録、削除、更新等の処理を行う。ユーザ情報は、例えばユーザの氏名、年齢、性別、趣味・嗜好、ユーザＩＤ、および話し方の傾向（平均的な発言頻度、声の強度、声の周波数、発言の早さ、身振り手振りの頻度等）を含む。

通信部２１は、制御部２０の指示に従って、外部装置とデータの送受信を行うＩ／Ｆ（インターフェース）として機能する。例えば通信部２１は、ネットワーク４に接続し、センサ装置１０から会話中にセンシングされたセンサデータを受信したり、算出された感情シグナルをアドバイス生成サーバ３に送信したりする。また、通信部２１は、アドバイス生成サーバ３からの要求に応じて、感情シグナルＤＢ２２から抽出された所定用途の理想的な感情シグナルを返信する。

感情シグナルＤＢ２２は、感情シグナル算出部２０ｃにより算出された感情シグナルを格納する。また、感情シグナルＤＢ２２は、「交渉」「傾聴」「協業」「指導」といった用途別の理想的な感情シグナルを格納してもよい。理想的な感情シグナルとは、例えばその用途における多くの事例を教師データとして機械学習手法または統計手法により得られた理想値である。また、理想的な感情シグナルは、用途毎に望ましい数値として管理者に入力されたものであってもよい。

ユーザ情報ＤＢ２３は、本システムの利用者であるユーザに関する情報（ユーザ情報）を格納する。

＜２－４．アドバイス生成サーバ＞
続いて、本実施形態によるアドバイス生成サーバ３の構成について図５を参照して説明する。図５は、本実施形態によるアドバイス生成サーバ３の構成の一例を示すブロック図である。図５に示すように、アドバイス生成サーバ３は、制御部３０、通信部３１、およびアドバイス情報ＤＢ３２を有する。

制御部３０は、アドバイス生成サーバ３の各構成を制御する。また、制御部３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部３０は、図５に示すように、用途設定部３０ａ、比較部３０ｂ、およびアドバイス生成部３０ｃとしても機能する。

用途設定部３０ａは、アドバイス生成の用途を設定する。例えば用途設定部３０ａは、ユーザ端末５で表示された用途選択画面においてユーザにより選択された用途を設定してもよい。本明細書において、アドバイス生成の用途とは、具体的には人と人（或いは人と
ロボット）の社会的コミュニケーションにおいて想定される４つの分類、すなわち「交渉」、「傾聴」、「協業」、および「指導」が想定される。「交渉」は、例えば社内で上司に異動の申し出や待遇の改善を要求する場面や、社外での営業または取引先との契約締結の場面が該当し、「傾聴」は、例えば商品の不具合に苦情を言って来たお客様の応対をする場面（クレーム応対場面）が該当する。また、「協業」は、例えば仕事や当番の進め方について一緒に行うパートナーと相談する場面、「指導」は、例えば遅刻を繰り返す部下を教育する場面が該当する。

ユーザは、後述する用途選択画面において、これから行うコミュニケーションは上記４つの分類のいずれに該当するかを選択する。なお会話の途中で、話の展開によってはコミュニケーションの種類が動的に変わることも想定されるので、ユーザにより都度用途選択を行えるようにしてもよい。

比較部３０ｂは、感情シグナルサーバ２により算出されたユーザの現在の感情シグナルと、用途設定部３０ａにより設定された用途に応じた理想的な感情シグナルとを比較する。用途に応じた理想的な感情シグナルは、例えば感情シグナルサーバ２の感情シグナルＤＢ２２から取得されてもよいし、アドバイス生成サーバ３の内部メモリに記憶されていてもよい。また、比較部３０ｂは、比較結果をアドバイス生成部３０ｃに出力する。

アドバイス生成部３０ｃは、比較結果に基づき、アドバイス情報ＤＢ３２を参照して、理想的な状態に近付くようユーザへのアドバイスを生成する。アドバイス情報ＤＢ３２には、図１０を参照して後述する用途別のアドバイスセットが格納されている。各アドバイスセットは、各感情シグナル、すなわち「影響力」「ミミクリ」「活動レベル」および「一貫性」における、ユーザＡ（システム利用：自分）の値とユーザＢ（相手）の値の組み合わせに応じたアドバイスを含む。

通信部３１は、制御部３０の指示に従って、外部装置とデータの送受信を行う。例えば通信部３１は、感情シグナルサーバ２により算出されたユーザの感情シグナルや、設定された用途の理想的な感情シグナルを感情シグナルサーバ２から受信したり、アドバイス生成部３０ｃにより生成されたアドバイスをユーザ端末５に送信したりする。また、通信部３１は、アドバイスと共に、対象ユーザの感情シグナルおよび設定された用途の理想的な感情シグナルを送信してもよい。

アドバイス情報ＤＢ３２は、アドバイス生成部３０ｃがアドバイスを生成する際に利用されるアドバイス情報を格納する。アドバイス情報は、図１０を参照して後述する用途別の感情シグナル種別毎のアドバイスセットであってもよい。かかるアドバイスセットは、事例に基づいて予め生成されたアドバイスルールである。

以上、本実施形態によるアドバイス生成サーバ３の構成について説明した。なお図２、図４、および図５では、アドバイス生成サーバ３および感情シグナルサーバ２を別体として説明したが、本実施形態はこれに限定されず、アドバイス生成サーバ３および感情シグナルサーバ２が一のサーバ（同一体）により実現されてもよい。

＜２－５．ユーザ端末＞
続いて、本実施形態によるユーザ端末５の構成について図６を参照して説明する。図６は、本実施形態によるユーザ端末５の構成の一例を示すブロック図である。図６に示すように、ユーザ端末５は、制御部５０、通信部５１、操作入力部５２、表示部５３、および記憶部５４を有する。また、ユーザ端末５は、図１に示すようにノートＰＣ（パーソナルコンピュータ）により実現されていてもよいし、タブレット端末、スマートフォン、携帯電話端末、デスクトップ型ＰＣ等により実現されていてもよい。或いは、ユーザ端末５は
、メガネ型デバイス、時計型デバイス、首掛けデバイス等のウェアラブルデバイスにより実現されていてもよい。

制御部５０は、ユーザ端末５の各構成を制御する。また、制御部５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。本実施形態による制御部５０は、表示部５３に用途選択画面を表示したり、操作入力部５２から入力された用途選択を通信部５１からアドバイス生成サーバ３に送信して用途に応じたアドバイスの生成を要求するよう制御したりする。また、制御部５０は、アドバイス生成サーバ３から受信したアドバイス情報、および現在の感情シグナル値や理想的なシグナル値を含む表示画面を表示部５３に表示して、ユーザに通知するよう制御する。

通信部５１は、制御部５０の指示に従って、外部装置とデータの送受信を行う。例えば通信部５１は、用途選択情報をネットワーク上のアドバイス生成サーバ３に送信したり、アドバイス生成サーバ３からアドバイス情報等を受信したりする。また、通信部５１は、近傍に存在する外部装置と接続してデータの送受信を行う機能を有していてもよい。具体的には、通信部５１は、ユーザが装着するセンサ装置１０からセンサデータを受信し、ネットワーク上の感情シグナルサーバ２に送信することも可能である。

操作入力部５２は、ユーザ端末５に対するユーザ操作を検出し、操作入力情報として制御部５０に出力する機能を有する。操作入力部５２は、例えばタッチパネルにより実現され、表示部５３と一体化されることで、表示画面に対するユーザ操作を検出することが可能である。また、操作入力部５２は、マイクロホンにより収音された音声を解析してユーザによる音声入力を実現してもよいし、カメラにより撮像された撮像画像を解析してユーザによるジェスチャー入力を実現してもよい。

表示部５３は、メニュー画面、操作画面、用途選択画面、アドバイス通知画面等の各種画面を表示する機能を有し、例えば液晶ディスプレイにより実現される。また、ユーザ端末５がメガネ型デバイスにより実現されている場合、表示部５３は、装着時にユーザの眼前に位置するレンズ部分に相当し、例えばホログラム光学技術を用いて表示を行うレンズ部であってもよい。表示される用途選択画面やアドバイス通知画面を含む表示画面の具体的については、図８～図１８を参照して後述する。

記憶部５４は、制御部５０が各処理を実行するためのプログラムを格納する。また、本実施形態による記憶部５４は、アドバイス生成サーバ３から受信したアドバイス情報等を一時的に記憶してもよい。

以上、ユーザ端末５の主要な構成について説明した。なおユーザ端末５の構成は、図６に示す例に限定されず、例えばさらにセンサ部（カメラ、マイクロホン、赤外線センサ、加速度センサ、ジャイロセンサ等）およびセンサデータ抽出部を備え、センサ装置１０の機能を有してもよい。また、図６に示す構成では、出力部の一例として表示部５３を用いたが、本実施形態はこれに限定されず、例えばユーザ端末５は、スピーカまたは振動部を備え、アドバイス情報の出力を音声出力または振動出力により行ってもよい。

＜＜３．動作処理＞＞
＜３－１．システム動作処理＞
次に、本実施形態による情報処理システムの動作処理について図７を参照して説明する。図７は、本実施形態による情報処理システムの動作処理を示すフローチャートである。

図７に示すように、ユーザ端末５は、オープニングメッセージの表示と、用途入力画面の表示を行う（ステップＳ１０３、Ｓ１０６）。具体的にはユーザ端末５は、表示部５３
に、「用途を選択してください」といったオープニングメッセージと共に、用途選択画面を表示する。ここで、図８に、本実施形態による用途選択画面を含む初期画面例を示す。図８に示すように、例えば初期画面１００の右上に、用途選択画面１１３が表示されている。用途選択画面１１３では、交渉、傾聴、協業、指導といった４つの用途を選択し得る。図８に示す例では、一例として「傾聴」が選択されている。また、初期画面１００の右下には、アドバイス表示画面１１４が表示され、初期画面１００の左側には、各感情シグナルの値が表示されるグラフ画面１１１が表示されている。ここではまだ用途が選択された段階であるため、アドバイス表示画面１１４は空欄であって、感情シグナル値のグラフも表示されていない。また、スクランブルＯＮ／ＯＦＦボタン１１２の詳細に関しては後述する変形例３において説明するが、本実施形態では常時「ＯＦＦ」になっている。かかる初期画面１００の表示は、アドバイス生成サーバ３から受信した表示情報に基づいて行われ得る。

次いで、用途選択画面１１３で用途が選択（入力）されると（ステップＳ１０９／Ｙｅｓ）、ユーザの感情シグナルの取得処理が行われる（ステップＳ１１２）。具体的には、アドバイス生成サーバ３は、用途が選択されると、感情シグナルサーバ２がセンサ装置１０から取得したユーザのセンシングデータに基づいて算出した感情シグナル（具体的には、影響力、ミミクリ、活動レベル、一貫性の値）を略リアルタイムで感情シグナルサーバ２から取得する。本実施形態では、一例としてコミュニケーションを行っているユーザＡとユーザＢがそれぞれセンサ装置１０ａ、１０ｂを装着し（図２参照）、ユーザＡのセンシングデータに基づくユーザＡの感情シグナルと、ユーザＢのセンシングデータに基づくユーザＢの感情シグナルが取得され得る。

上記感情シグナルの取得（ステップＳ１１２）は、有意な感情シグナルが取得できるまでの繰り返される（ステップＳ１１５）。有意な感情シグナルとは、理想的な感情シグナルと比較処理してアドバイス生成を行うことができる感情シグナルの値を示す。

続いて、有意な感情シグナルが取得できると（ステップＳ１１５／Ｙｅｓ）、アドバイス生成サーバ３は、感情シグナルに基づいて、用途に応じた理想的な状態を構築するためのアドバイスを生成する（ステップＳ１１８）。アドバイス生成処理の具体的な処理内容については、図９を参照して後述する。アドバイス生成サーバ３は、生成したアドバイス情報をユーザ端末５に送信する。

そして、ユーザ端末５は、アドバイス生成サーバ３から受信したアドバイス情報を表示し、ユーザに通知する（ステップＳ１２１）。具体的には、ユーザ端末５は、図８に示すアドバイス表示画面１１４に、選択された用途に応じた理想的な状態に近付くためのアドバイス情報を表示する。また、グラフ画面１１１には、アドバイス情報と共にアドバイス生成サーバ３から受信した現在のユーザの各感情シグナルの値および理想的な各感情シグナルの値を表示し、現状の状態および理想の状態をユーザに直感的に把握させることができる。グラフ画面１１１のみの場合、コミュニケーション中にどのように対応したら理想状態に近付けるか判断できないことも想定されるため、具体的なアドバイスと共に表示される。アドバイス情報等の具体的な表示例については、図１２～図１３を参照して後述する。

＜３－２．アドバイス生成処理＞
次に、上記Ｓ１１８に示すアドバイス生成サーバ３によるアドバイス生成処理について図９を参照して具体的に説明する。図９は、本実施形態によるアドバイス生成処理を示すフローチャートである。

図９に示すように、まず、アドバイス生成サーバ３は、ユーザの選択に基づいて設定さ
れた用途が「交渉」である場合（ステップＳ１３３／Ｙｅｓ）、アドバイス情報ＤＢ３２から「交渉」のアドバイスセットを抽出し、当該アドバイスセットを用いて各感情シグナル（具体的には影響力、ミミクリ、活動レベル、および一貫性）におけるアドバイスを取得する（ステップＳ１３６）。ここで、図１０に、アドバイス情報ＤＢ３２に格納されるアドバイスセットの一例を示す。

アドバイス情報ＤＢ３２には、図１０に示すように、用途「交渉」のアドバイスセット６０、「傾聴」のアドバイスセット６１、「協業」のアドバイスセット６２、「指導」のアドバイスセット６３が格納される。各アドバイスセットは、「影響力」のアドバイス情報６０ａ、「ミミクリ」のアドバイス情報６０ｂ、「活動レベル」のアドバイス情報６０ｃ、「一貫性」のアドバイス情報６０ｄを含む。各アドバイス情報は、ユーザＡ（図１０では「自分」と称す）とユーザＢ（図１０では「相手」と称す）の正規化された感情シグナル値（影響力、ミミクリ、活動レベル、一貫性）の組み合わせに対応する座標に紐付けられる。ここでは一例として、アドバイスが各座標に格納されたマトリクス６００を用いて説明する。

用途設定部３０ａにより用途が「交渉」と設定された場合、アドバイス生成部３０ｃは、「交渉」のアドバイスセット６０を抽出し、まずはそのうちの「影響力」のアドバイスを生成する。以下、「影響力」のアドバイス生成処理について図１１を参照して具体的に説明する。なお本実施形態においてコミュニケーションにおけるユーザの「影響力」は、上述したように例えば発言の頻度、発言の長さ、声の強度、発言の重複、発言が重複した時に発言を中断させられた頻度等に基づいて、正規化した0～1の間の数値で算出される。

図１１は、本実施形態による用途「交渉」の場合における「影響力」のアドバイス生成について説明する図である。用途が「交渉」の場合における「影響力」の理想的な状態は、相互に同じ様な影響力を持つ状態と考えられる。交渉においては、どちらか一方の人物が大きな影響力を与えている状態好ましくないためである。したがって、ユーザＡ（自分）とユーザＢ（相手）の理想的な影響力の組み合わせは、主に双方の影響力が均衡している領域６０１で示される部分となる。なお、かかる理想値は、「理想的な感情シグナル」として例えば感情シグナルサーバ２から受信されたデータに基づくものである。

しかしながら、図１１に示すように、例えばユーザＡ（自分）の影響力（Ｘ）が0.75で、ユーザＢ（相手）の影響力（Ｙ）が0.25の場合、両者の影響力の組み合わせはＰ座標となり、理想の状態から外れてしまう。この場合、相手の影響力をユーザＡが強制的に変えることは出来ないため、ユーザＡは自らの影響力を下げるよう行動することで、両者の影響力が均衡する理想的な状態に近付けることができる。Ｐ座標からは、例えば「（相手の言う事を）遮らず、自由に話させてください」というように、自らの影響力を下げる行動を指示するアドバイスが取得される。このようにして、アドバイス生成部３０ｃは、ユーザＡとユーザＢの現在の「影響力」の値と、理想値に基づいて、アドバイス情報を参照し、理想的な状態に近付けるためのユーザＡに対するアドバイスを生成することができる。

アドバイス生成部３０ｃは、以上説明したアドバイス取得処理を、「ミミクリ」、「活動レベル」、および「一貫性」についても同様に行い、それぞれのアドバイスを取得する。

次いで、図９に戻り、アドバイス生成サーバ３は、ユーザの選択に基づいて設定された用途が「傾聴」である場合（ステップＳ１３９／Ｙｅｓ）、アドバイス情報ＤＢ３２から「傾聴」のアドバイスセットを抽出し、当該アドバイスセットを用いて同様に各感情シグナルにおけるアドバイスを取得する（ステップＳ１４２）。

次に、アドバイス生成サーバ３は、ユーザの選択に基づいて設定された用途が「協業」である場合（ステップＳ１４５／Ｙｅｓ）、アドバイス情報ＤＢ３２から「協業」のアドバイスセットを抽出し、当該アドバイスセットを用いて同様に各感情シグナルにおけるアドバイスを取得する（ステップＳ１４８）。

続いて、アドバイス生成サーバ３は、ユーザの選択に基づいて設定された用途が「指導」である場合（ステップＳ１５１／Ｙｅｓ）、アドバイス情報ＤＢ３２から「指導」のアドバイスセットを抽出し、当該アドバイスセットを用いて同様に各感情シグナルにおけるアドバイスを取得する（ステップＳ１５４）。

そして、アドバイス生成サーバ３は、選択された用途に応じたアドバイスが取得できると、アドバイスの他、例えばユーザＡの現在の感情シグナル値（現在値）と、選択された用途に応じた理想値の表示を生成する（ステップＳ１５７）。

以上、本実施形態によるアドバイス生成処理について詳細に説明した。

＜＜４．表示画面例＞＞
次に、本実施形態によるアドバイスおよび各感情シグナルの現在値・理想値を含む表示画面例について、図１２～図１３を用いて説明する。

（表示例１）
図１２は、本実施形態による用途「傾聴」の表示画面１０１の一例を示す図である。表示画面１０１は、図７に示すステップＳ１２１に示す表示処理において、ユーザ端末５の表示部５３に表示される表示画面の一例である。図１２に示すように、表示画面１０１は、グラフ画面１１１ａと、用途選択画面１１３ａと、アドバイス通知画面１１４ａとを含む。図１２に示す例では、用途選択画面１１３ａで示されるように、「傾聴」が選択されている。

グラフ画面１１１ａでは、ユーザＡの各感情シグナルの現在値と用途「傾聴」における各感情シグナルの理想値がレーダーチャートで示されている。グラフ画面１１１ａを見ることで、ユーザＡは、自身の影響力が理想の状態よりも大きく、自身の一貫性、活動レベル、およびミミクリは理想の状態よりも小さいことを直感的に把握することができる。「傾聴」の場合、例えばユーザＡ側の影響力を少なくして相手（ユーザＢ）に話して貰い、さらに相手に共感していることを示す状態が理想となるため、影響力の理想値が小さく、ミミクリの理想値が大きく示される。

また、アドバイス通知画面１１４ａでは、現状から理想的な状態に近付くためにユーザＡがどのような対応を行えば良いかを示すアドバイス情報が表示されている。アドバイス情報は、各感情シグナル値に応じたアドバイス、すなわち「影響力」に関するアドバイス、「ミミクリ」に関するアドバイス、「活動レベル」に関するアドバイス、および「一貫性」に関するアドバイスが夫々明示される。ここで、アドバイス生成サーバ３は、例えば下記表１に示すようなアドバイスルールを用いてアドバイスを取得することも可能である。かかるアドバイスルールは、用途別に設けられ、アドバイス情報ＤＢ３２に格納される。

これにより、アドバイス生成サーバ３は、ユーザＡの感情シグナルの現在値（或いはユーザＡとユーザＢの感情シグナル値の組み合わせ；図１１に示すＰ座標参照）が理想値より大きいか小さいかに応じて、上記アドバイスルールから適切なアドバイスを取得することができる。

（表示例２）
図１３は、本実施形態による用途「交渉」の表示画面１０２の一例を示す図である。図１３に示すように、表示画面１０２は、グラフ画面１１１ｂと、用途選択画面１１３ｂと、アドバイス通知画面１１４ｂとを含む。図１３に示す例では、用途選択画面１１３ｂで示されるように、「交渉」が選択されている。

グラフ画面１１１ｂでは、ユーザＡの各感情シグナルの現在値と用途「交渉」における各感情シグナルの理想値がレーダーチャートで示されている。グラフ画面１１１ｂを見ることで、ユーザＡは、自身のミミクリが理想の状態よりも大きく、自身の影響力、一貫性、および活動レベルは理想の状態よりも小さいことを直感的に把握することができる。「交渉」の場合、相手が強い立場の場合が多いため、ユーザＡ側からは相手の話を遮らずに相手の考えを聞き出し、さらに、ユーザＡの態度に一貫性を持たせることで、相手に納得してもらうことが理想となるため、影響力の理想値が小さく、一貫性の理想値が大きく示される。

また、アドバイス通知画面１１４ｂでは、現状から理想的な状態に近付くためにユーザＡがどのような対応を行えば良いかを示すアドバイス情報が表示されている。本実施形態によるアドバイス情報は、例えば下記表２に示すようなアドバイスルールに従って生成されてもよい。

＜＜５．変形例＞＞
以上説明した実施形態では、ユーザＡおよびユーザＢの両方がセンサ装置１０を有し、両ユーザの感情シグナルを取得できる場合について説明したが、本実施形態はこれに限定されず、いずれか一方のユーザのみがセンサ装置１０を有していてもよい。以下、システム利用者であるユーザＡ本人のみがセンサ装置１０を有している場合と、コミュニケーション相手であるユーザＢのみがセンサ装置１０を有している場合について、それぞれ説明する。

＜５－１．ユーザＡ（本人）のみがセンサ装置１０を有している場合＞
本実施形態の変形例１による情報処理システムは、ユーザＡのみの感情シグナルに基づいて、理想の状態に近付けるためのアドバイスを生成することが可能である。具体的には、本変形例による情報処理システムは、相手（ユーザＢ）がセンサ装置１０を有さず、感情シグナルが取得できない状態であるため、用途毎のDefault値を採用してアドバイスを生成する。Default値は、例えば用途別に相手の過去の影響力、ミミクリ、活動レベル、および一貫性の値に基づいて算出される（例えば出現率の一番高い値等）。以下、図１４を参照して具体的に説明する。

図１４は、ユーザＡのみがセンサ装置１０を有している場合におけるアドバイス生成処理の事前処理について示すフローチャートである。図１４に示す処理は、相手（ユーザＢ）からの感情シグナルが取得出来なかった場合に（ステップＳ２０１／Ｎｏ）、図９に示すアドバイス生成処理の前に実施される。

この場合、アドバイス生成サーバ３は、設定された用途が「交渉」の場合（ステップＳ２０３／Ｙｅｓ）、「交渉」のアドバイスセットを抽出し、「交渉」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする（ステップＳ２０６）。

また、アドバイス生成サーバ３は、設定された用途が「傾聴」の場合（ステップＳ２０
９／Ｙｅｓ）、「傾聴」のアドバイスセットを抽出し、「傾聴」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする（ステップＳ２１２）。

また、アドバイス生成サーバ３は、設定された用途が「協業」の場合（ステップＳ２１５／Ｙｅｓ）、「協業」のアドバイスセットを抽出し、「協業」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする（ステップＳ２１８）。

また、アドバイス生成サーバ３は、設定された用途が「指導」の場合（ステップＳ２２１／Ｙｅｓ）、「指導」のアドバイスセットを抽出し、「指導」における影響力、ミミクリ、活動レベル、および一貫性の各Default値を相手の値としてセットする（ステップＳ２２４）。

以上説明したように、本変形例１による情報処理システムは、図１０に示すようなアドバイスセットを参照してアドバイスを生成する際、相手（ユーザＢ）の感情シグナルが取得出来なかった場合は、Default値を採用してアドバイスを生成することが可能である。

＜５－２．ユーザＢ（相手）のみがセンサ装置１０を有している場合＞
また、本実施形態の変形例２による情報処理システムは、コミュニケーション相手（ユーザＢ）のみの感情シグナルに基づいて、理想の状態に近付けるためのアドバイスを生成することも可能である。具体的には、本変形例による情報処理システムは、本人（ユーザＡ）がセンサ装置１０を有さず、感情シグナルが取得できない状態であるため、相手の感情シグナルをモニターさせ、用途毎の相手の標準的な値（通常値）と比較して、アドバイスを生成する。以下、図１５を参照して具体的に説明する。

図１５は、本実施形態の変形例２による表示画面例を示す図である。図１５に示すように、表示画面１０３は、グラフ画面１１１ｃと、用途選択画面１１３ｃと、アドバイス通知画面１１４ｃとを含む。ここで、本変形例によるグラフ画面１１１ｃでは、相手の感情シグナルの値（現在値）と、相手の通常値がレーダーチャートで示されている。アドバイス生成サーバ３は、相手の感情シグナルの値と、相手の通常値とを比較して、例えば下記表３に示すようなアドバイスルールに基づいてアドバイスを生成する。かかるアドバイスルールは、用途別に存在する。また、下記表３において、図１５のグラフ画面１１１ｃに示すように、相手の現状の「影響力」は通常値よりも小さく、「ミミクリ」は通常値よりも大きく、「活動レベル」は通常値よりも小さく、「一貫性」は通常値よりも小さい。

以上説明したように、本変形例２による情報処理システムは、相手（ユーザＢ）の感情シグナルと、相手の通常値とに基づいて、アドバイスを生成することが可能である

＜５－３．感情シグナルスクランブル処理＞
続いて、本実施形態の変形例３による情報処理システムについて説明する。上記実施形態および各変形例では、より理想的なコミュニケーション状態を構築するためのアドバイスを生成していたが、本実施形態はこれに限定されず、例えば理想的ではないコミュニケーション状態を構築するためのアドバイスを生成することも可能である。例えば、ビジネスの場において相手と駆け引きを行う際に、こちらの考えを相手に読み取られないよう、明示的に自身の考えとは反対の態度を示して本来の意図とは異なる感情シグナルを表出することが有効な場合がある。本実施形態の変形例３では、このように本来の感情シグナルをスクランブルさせて相手に読み取られないようにするためのアドバイスを生成する感情シグナルスクランブル処理を提案する。以下、図１６を参照して具体的に説明する。

図１６は、本実施形態の変形例３による表示画面例を示す図である。図１６に示すように、表示画面１０４は、グラフ画面１１１ｄと、用途選択画面１１３ｄと、アドバイス通知画面１１４ｄとを含む。図１６に示す例では、用途選択画面１１３ｄで示されるように、「傾聴」が選択されている。

また、ユーザＡは、例えばビジネスの場において相手と駆け引きを行う場合等、自身の本当の感情シグナルを相手に読み取らせないよう、理想的なコミュニケーション状態から離れるためのアドバイスを得たい場合、スクランブルＯＮ／ＯＦＦボタン１１２ｄを「ＯＮ」に設定する。これにより、例えばグラフ画面１１１ｄでは、理想的な状態から離れることを促す表示が表示され、また、アドバイス通知画面１１４ｄには、理想的な状態から離れるためのアドバイスが表示される。

具体的には、図１６のグラフ画面１１１ｄに示すように、ユーザＡ（システム利用者本人）の感情シグナルの値（図１６に示す「あなたの現在値」）と、用途「傾聴」における理想値を示すレーダーチャートと共に、理想的な状態から離れるよう促す矢印が各感情シグナルの軸上（４軸上）に表示される。これにより、ユーザＡは、現在どのような感情シグナルが自身から相手に対して表出されているかを客観的に把握し、相手に本当の感情シグナルが読み取られないよう理想的な状態から離れるためには、各感情シグナルを強めれ
ばよいのか或いは弱めればよいのかを直感的に認識することができる。

例えば「影響力」は、現在の値が理想値よりも少し大きいため、理想の状態からさらに離れるよう、影響力をさらに強めるよう促す矢印が表示されている。また、「ミミクリ」、「活動レベル」、および「一貫性」は、それぞれ現在の値が理想値よりも少し小さいため、理想の状態からさらに離れるよう、「ミミクリ」、「活動レベル」、および「一貫性」をそれぞれ弱めるよう促す矢印が表示されている。

また、アドバイス通知画面１１４ｄに表示される理想的な状態から離れるためのアドバイスは、アドバイス生成サーバ３により、例えば下記表４に示すような用途別のアドバイスルールに基づいて生成される。

（感情スクランブル時における他の表示画面例）
また、本変形例による表示画面例は、図１６に示す例に限定されない。例えば、本変形例では、理想的な状態から離れた状態をスクランブル理想値として示してもよい。以下、図１７を参照して説明する。

図１７は、本変形例による他の表示画面例を示す図である。図１７に示すように、表示画面１０５は、グラフ画面１１１ｅと、用途選択画面１１３ｅと、アドバイス通知画面１１４ｅとを含む。図１７のグラフ画面１１１ｅでは、ユーザＡ（システム利用者本人）の感情シグナルの値（図１７に示す「あなたの現在値」）と、用途「傾聴」における理想値と、さらにスクランブル理想値を示すレーダーチャートが表示されている。これにより、ユーザＡは、現在どのような感情シグナルが自身から相手に対して表出されているかを客観的に把握し、相手に本当の感情シグナルが読み取られないよう理想的な状態から離れるために、各感情シグナルを強めればよいのか或いは弱めればよいのかを直感的に認識することができる。また、スクランブル理想値が併せて表示されることで、ユーザＡは、理想的な状態からどの程度離れればよいかを直感的に把握することができる。

（相手のみがセンサ装置１０を有している場合）
また、本変形例は、ユーザＡのコミュニケーション相手であるユーザＢのみがセンサ装置１０を有し、ユーザＡがセンサ装置１０を有していない場合にも応用することが可能である。以下、図１８を参照して説明する。

図１８は、本実施形態の変形例３による他の表示画面例を示す図である。図１８に示すように、表示画面１０６は、グラフ画面１１１ｆと、用途選択画面１１３ｆと、アドバイス通知画面１１４ｆとを含む。図１８のグラフ画面１１１ｆでは、ユーザＢの感情シグナ
ルの値（図１８に示す「相手の現在値」）と、用途「交渉」におけるスクランブル理想値を示すレーダーチャートが表示されている。これにより、ユーザＡは、現在どのような感情シグナルが相手から表出されているかを把握し、「交渉」のコミュニケーションを理想的な状態にしないためには、相手の感情シグナルをスクランブル理想値に近付ければよいことを直感的に認識することができる。また、アドバイス通知画面１１４ｆには、相手の感情シグナルをスクランブル理想値にさせるためにどのような対応を取ればよいかを示すアドバイスが表示されている。

ここで、アドバイス通知画面１１４ｆに表示されているアドバイスは、アドバイス生成サーバ３により、ユーザＢのセンサデータに基づいて算出された感情シグナルに基づいて、例えば下記表４に示すような用途別のアドバイスルールを参照して生成される。

＜＜６．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、ユーザの感情を示すシグナル（すなわち感情シグナル）に基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することを可能とする。

また、本実施形態による情報処理システムでは、ユーザ本人の感情シグナルとコミュニケーション相手の感情シグナルのうちいずれか一方の感情シグナルしか取得出来なかった場合も、理想的なコミュニケーション状態を構築するためのアドバイスを生成することができる。

また、ユーザ本人の本当の感情シグナルが相手に伝わることが適切ではない状況では、意図的に表出する感情シグナルをスクランブルし、理想的なコミュニケーション状態から離れるためのアドバイスを生成することも可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述したセンサ装置１０、感情シグナルサーバ２、アドバイス生成サーバ３、またはユーザ端末５に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、センサ装置１０、感情シグナルサーバ２、アドバイス生成サーバ３、またはユーザ端末５の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、上述した実施形態および変形例では、主にユーザ端末５の表示部５３からアドバイス等が表示出力されていたが、コミュニケーション中に表示画面を見ることが著しく困難な場合もある。そこで、ユーザへのアドバイスの提示等のフィードバックを、図２に示すようなノートＰＣではなく、例えば頭部装着型のウェアラブルデバイスにより実現することが考えられる。頭部装着型のウェアラブルデバイスには、例えば複数の振動部が搭載され、図８に示すような感情シグナルの４軸が、それぞれ前後左右に配置された振動部に割り当てられ、現在の状況や理想とすべき状況、また、どのように対応すべきかを振動部の振動によってユーザに知らせることができる。例えば、「影響力」が大きく足りていない場合は前方の振動部が強く振動し、「ミミクリ」が大きく足りていない場合は右方向の振動部が強く振動し、「活動レベル」が大きく足りていない場合は後方の振動部が強く振動し、「一貫性」が大きく足りていない場合は左方向の振動部が強く振動する。人の頭部は敏感であって、振動部の振動を区別することが可能である。また、頭部装着型のウェアラブルデバイスには、例えば骨伝導スピーカが設けられて、アドバイスが音声出力されてもよい。骨伝導スピーカにより出力することで、ユーザＡは、表示画面を見たり、コミュニケーション相手に知られたりすることなく、アドバイスを得ることができる。

また、このような振動によるフィードバックを行うユーザ端末５は、頭部装着型のウェアラブルデバイスに限定されず、例えば４方向（前、後ろ、右、左）がそれぞれ振動する機能を有する腕輪型（腕バンド）ウェアラブルデバイスや、ベルト型（胴バンド）ウェアラブルデバイスであってもよい。

また、上述した実施形態では、用途選択として「交渉」「傾聴」「協業」「指導」を挙げたが、これらは用途の一例であって、本開示はこれに限定されず、例えば他のシチュエーションとして「デート」や「面接」等を用いてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
第１ユーザが第２ユーザとコミュニケーションを行う用途を設定する用途設定部と、
前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、
前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第１ユーザへのアドバイスを生成する生成部と、
前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信する制御部と、
を備える、情報処理システム。
（２）
前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記第１ユーザへのアドバイスを生成する、前記（１）に記載の情報処理システム。
（３）
前記生成部は、用途毎に蓄積された、前記感情シグナルの状態とアドバイスとの対応情報に基づき、前記第１ユーザへのアドバイスを生成する、前記（１）または（２）に記載の情報処理システム。
（４）
前記生成部は、前記受信した感情シグナルと前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記第１ユーザへのアドバイスを生成する、前記（１）～（３）のいずれか１項に記載の情報処理システム。
（５）
前記生成部は、前記第１ユーザの現在の感情シグナルおよび第２ユーザの現在の感情シグナルとの組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第１ユーザへのアドバイスを生成する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（６）
前記生成部は、前記第１ユーザの現在の感情シグナルおよび第２ユーザの感情シグナルのデフォルト値との組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第１ユーザへのアドバイスを生成する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（７）
前記生成部は、前記第２ユーザの現在の感情シグナルと、前記用途に応じた前記第２ユーザの通常値に基づいて、前記通常値を理想の状態として当該理想の状態に近付くための前記第１ユーザへのアドバイスを生成する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（８）
前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的な状態から離れるように、前記第１ユーザへのアドバイスを生成する、前記（１）に記載の情報処理システム。
（９）
前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的でない状態に近づくように、前記第１ユーザへのアドバイスを生成する、前記（１）に記載の情報処理システム。
（１０）
前記制御部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第１ユーザまたは第２ユーザの感情シグナル、および前記理想的な状態の感情シグナルを送信するよう制御する、前記（１）～（９）のいずれか１項に記載の情報処理システム。
（１１）
第１ユーザが第２ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第１ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第１ユーザへのアドバイスを受信する通信部と、
前記第１ユーザへのアドバイスを通知する通知部と、
を備える、情報処理システム。
（１２）
前記情報処理システムは、
前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを検出する検出部をさらに備え、
前記通信部は、前記外部サーバに、前記検出された感情シグナルを送信する、前記（１１）に記載の情報処理システム。
（１３）
前記通知部は、前記第１ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態に近付くように前記第１ユーザへアドバイスを通知する、前記（１１）または（１２）に記載の情報処理システム。
（１４）
前記通知部は、前記第１ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態から離れるように前記第１ユーザへアドバイスを通知する、前記（１１）～（１３）のいずれか１項に記載の情報処理システム。
（１５）
前記通知部は、前記第１ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的でない状態に近づくように前記第１ユーザへのアドバイスを通知する、前記（１１）～（１３）のいずれか１項に記載の情報処理システム。
（１６）
前記通知部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第１ユーザまたは第２ユーザの感情シグナルと前記理想的な状態の感情シグナルを示すグラフを通知する、前記（１１）～（１５）のいずれか１項に記載の情報処理システム。
（１７）
前記通知部は、頭部装着型デバイスに搭載された振動部により、前記第１ユーザに振動で通知を行う、前記（１１）～（１５）のいずれか１項に記載の情報処理システム。
（１８）
第１ユーザが第２ユーザとコミュニケーションを行う用途を設定することと、
前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを通信部により受信することと、
前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第１ユーザへのアドバイスを生成することと、
前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信するよう制御部により制御することと、
を含む、制御方法。
（１９）
コンピュータを、
第１ユーザが第２ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
前記第１ユーザおよび第２ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第１ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第１ユーザへのアドバイスを受信する通信部と、
前記第１ユーザへのアドバイスを通知する通知部と、
として機能させるための、プログラム。

１ 情報処理システム
１０ センサ装置
１１ センサ部
１２ センサデータ抽出部
１３ 制御部
１４ 通信部
１５ 記憶部
２ 感情シグナルサーバ
２０ 制御部
２０ａ データ処理部
２０ｂ データ解析部
２０ｃ 感情シグナル算出部
２０ｄ ユーザ管理部
２１ 通信部
２２ 感情シグナルＤＢ
２３ ユーザ情報ＤＢ
３ アドバイス生成サーバ
３０ 制御部
３０ａ 用途設定部
３０ｂ 比較部
３０ｃ アドバイス生成部
３１ 通信部
３２ アドバイス情報ＤＢ
５ ユーザ端末
５０ 制御部
５１ 通信部
５２ 操作入力部
５３ 表示部
５４ 記憶部

Claims (16)

1. 第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、
   前記第１ユーザが前記第２ユーザとコミュニケーションを行う用途に応じた理想的な感情シグナルの状態とアドバイスとの対応情報を参照して、前記通信部により受信された感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記受信した感情シグナルの状態と前記用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第１ユーザへのアドバイスを生成する生成部と、
   前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信する制御部と、
   を備える、情報処理システム。
2. 前記生成部は、前記第１ユーザの現在の感情シグナルおよび前記第２ユーザの現在の感情シグナルの組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
3. 前記生成部は、前記第１ユーザの現在の感情シグナルおよび前記第２ユーザの感情シグナルのデフォルト値の組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
4. 前記生成部は、前記第２ユーザの現在の感情シグナルと、前記用途に応じた前記第２ユーザの通常値とに基づいて、前記通常値を理想の状態として当該理想の状態に近付くための前記第１ユーザへのアドバイスを生成する、請求項１に記載の情報処理システム。
5. 前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的な状態から離れるように、前記第１ユーザへのアドバイスを生成する、請求項１～４のいずれか１つに記載の情報処理システム。
6. 前記生成部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的でない状態に近づくように、前記第１ユーザへのアドバイスを生成する、請求項１～４のいずれか１つに記載の情報処理システム。
7. 前記制御部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第１ユーザまたは前記第２ユーザの感情シグナル、および前記理想的な状態の感情シグナルを送信するよう制御する、請求項１～６のいずれか１つに記載の情報処理システム。
8. 第１ユーザが第２ユーザとコミュニケーションを行う用途に応じた理想的な感情シグナルの状態とアドバイスとの対応情報を参照して、前記第１ユーザおよび前記第２ユーザのうち少なくともいずれか一方の感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記感情シグナルの状態と前記用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第１ユーザへのアドバイスを生成する外部サーバに前記用途と前記感情シグナルを送信し、前記用途と前記感情シグナルに応じて生成された前記第１ユーザへのアドバイスを受信する通信部と、
   前記第１ユーザへのアドバイスを通知する通知部と、
   を備える、情報処理システム。
9. 前記情報処理システムは、
   前記第１ユーザおよび前記第２ユーザのうち少なくともいずれか一方の感情シグナルを検出する検出部をさらに備え、
   前記通信部は、前記外部サーバに、前記検出された感情シグナルを送信する、請求項８に記載の情報処理システム。
10. 前記通知部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的な状態に近付くように前記第１ユーザへアドバイスを通知する、請求項８または９に記載の情報処理システム。
11. 前記通知部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的な状態から離れるように前記第１ユーザへアドバイスを通知する、請求項８または９に記載の情報処理システム。
12. 前記通知部は、前記第１ユーザの感情シグナルが、前記用途に応じた理想的でない状態に近づくように前記第１ユーザへアドバイスを通知する、請求項８または９に記載の情報処理システム。
13. 前記通知部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第１ユーザまたは前記第２ユーザの感情シグナルと前記理想的な状態の感情シグナルを示すグラフを通知する、請求項８～１２のいずれか１つに記載の情報処理システム。
14. 前記通知部は、頭部装着型デバイスに搭載された振動部により、前記第１ユーザに振動で通知を行う、請求項８～１２のいずれか１つに記載の情報処理システム。
15. プロセッサが、
    第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信することと、
    前記第１ユーザが前記第２ユーザとコミュニケーションを行う用途に応じた理想的な感情シグナルの状態とアドバイスとの対応情報を参照して、前記受信した感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記受信した感情シグナルの状態と前記用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第１ユーザへのアドバイスを生成することと、
    前記生成されたアドバイスを、前記第１ユーザに対応するクライアント端末に送信することと、
    を含む、制御方法。
16. コンピュータを、
    第１ユーザおよび第２ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、
    前記第１ユーザが前記第２ユーザとコミュニケーションを行う用途に応じた理想的な感情シグナルの状態とアドバイスとの対応情報を参照して、前記通信部により受信された感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記受信した感情シグナルの状態と前記用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第１ユーザへのアドバイスを生成する生成部と、
    前記生成されたアドバイスを、前記通信部を介して前記第１ユーザに対応するクライアント端末に送信する制御部、
    として機能させるための、プログラム。

Images