JP6798484B2 - 情報処理システム、制御方法、およびプログラム - Google Patents
情報処理システム、制御方法、およびプログラム Download PDFInfo
- Publication number
- JP6798484B2 JP6798484B2 JP2017516562A JP2017516562A JP6798484B2 JP 6798484 B2 JP6798484 B2 JP 6798484B2 JP 2017516562 A JP2017516562 A JP 2017516562A JP 2017516562 A JP2017516562 A JP 2017516562A JP 6798484 B2 JP6798484 B2 JP 6798484B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- advice
- unit
- signal
- emotion signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 67
- 238000000034 method Methods 0.000 title claims description 25
- 230000008451 emotion Effects 0.000 claims description 177
- 238000004891 communication Methods 0.000 claims description 81
- 230000002996 emotional effect Effects 0.000 claims description 72
- 238000013459 approach Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 31
- 238000012986 modification Methods 0.000 description 28
- 230000004048 modification Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 10
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 238000013075 data extraction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000037081 physical activity Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- CONKBQPVFMXDOV-QHCPKHFHSA-N 6-[(5S)-5-[[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]methyl]-2-oxo-1,3-oxazolidin-3-yl]-3H-1,3-benzoxazol-2-one Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C[C@H]1CN(C(O1)=O)C1=CC2=C(NC(O2)=O)C=C1 CONKBQPVFMXDOV-QHCPKHFHSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Telephonic Communication Services (AREA)
Description
1.本開示の一実施形態による情報処理システムの概要
2.構成
2−1.全体構成
2−2.センサ装置
2−3.感情シグナルサーバ
2−4.アドバイス生成サーバ
2−5.ユーザ端末
3.動作処理
3−1.システム動作処理
3−2.アドバイス生成処理
4.表示画面例
5.変形例
5−1.ユーザA(本人)のみがセンサ装置10を有している場合
5−2.ユーザB(相手)のみがセンサ装置10を有している場合
5−3.感情シグナルスクランブル処理
6.まとめ
まず、本開示の一実施形態による情報処理システムの概要について図1を参照して説明する。図1に示すように、例えば交渉や商談といった社会的コミュニケーションを行っている際、人は自身の感情を示す感情シグナルを表出していることが想定される。感情シグナルは、例えば4つの社会的シグナル、すなわち「影響力」、「ミミクリ(mimicry;模倣)」、「活動レベル」、「一貫性」により定量化され得る。
<2−1.全体構成>
続いて、本実施形態による情報処理システムの全体構成について、図2を参照して説明する。図2は、本実施形態による情報処理システム1の全体構成を示す図である。図2に示すように、本実施形態による情報処理システム1は、ユーザに装着され、感情シグナルを算出するためのデータを検知するセンサ装置10(1a、1b)と、感情シグナルを算出する感情シグナルサーバ2と、感情シグナルに基づいてアドバイスを生成するアドバイス生成サーバ3と、生成されたアドバイスをユーザにフィードバックするユーザ端末5とを含む。センサ装置10、感情シグナルサーバ2、アドバイス生成サーバ3、およびユーザ端末5は、ネットワーク4を介して接続され得る。
図3は、本実施形態によるセンサ装置10の構成の一例を示すブロック図である。図3に示すように、本実施形態によるセンサ装置10は、センサ部11、センサデータ抽出部12、制御部13、通信部14、および記憶部15を有する。
次に、図4を参照して感情シグナルサーバ2の構成について説明する。図4は、本実施形態による感情シグナルサーバ2の構成の一例を示すブロック図である。図4に示すように、感情シグナルサーバ2は、制御部20、通信部21、感情シグナルDB22、およびユーザ情報DB23を有する。
感情シグナル算出部20cは、例えばマイクロホンにより収音されたユーザAとユーザBの会話の音声データの解析により得られた発言の頻度、発言の長さ、声の強度、発言の重複(相手と同時に話してしまうこと)、発言を中断させられた頻度等に基づいて「影響力」を算出する。例えば、感情シグナル算出部20cは、ユーザAの発言の頻度がユーザBに比べて少ない場合、ユーザAの影響力は小さいと判定する。また、感情シグナル算出部20cは、発言の長さについても同様に判定(発言の長さが長い程「影響力」が大きいと判定)する。
感情シグナル算出部20cは、例えばカメラ、赤外線センサ、加速度センサ、ジャイロセンサ等により検知されたユーザの頭の動きや、マイクロホンにより収音された発話を解析することで得られた相手に同意を示す動作(頷き、相槌、同じ言葉の繰り返し等)に基づいて「ミミクリ(模倣)」を算出する。例えば、感情シグナル算出部20cは、会話の中で同じ単語が繰り得される(出現確立が高い)場合、ミミクリが高いと判定する。また、相槌を示す特定の単語(「なるほど」「そうですか」「ええ」「はい」等)の出現確率を測定し、ミミクリを判定する。
感情シグナル算出部20cは、例えばカメラ、赤外線センサ、加速度センサ、ジャイロセンサ等により検知されたユーザの両手や上半身頭の動きを解析することで得られた身振り手振りの動作に基づいて、「活動レベル」を算出する。ユーザの身振り手振りの回数や上半身の動きは、ユーザが話に夢中になったり、熱心になったりしている際に増える。感情シグナル算出部20cは、身振り手振りの回数や、上半身の動きの大きさを数値化し、活動レベルを判定する。
感情シグナル算出部20cは、例えばマイクロセンサにより収音された発話を解析することで得られる、発言の頻度、発言の長さ、声の強度、声の周波数、発言の速さ等に基づいて、「一貫性」を算出する。例えば、感情シグナル算出部20cは、会話中における声の強度の変動や声のピッチ(周波数)の変動を時系列で測定し、その偏差と出現確率から、発言が一貫しているか、変調を来しているかを測定し、一貫性を算出する(一貫している場合は一貫性が高く、変調を来している場合は一貫性が低い)。
続いて、本実施形態によるアドバイス生成サーバ3の構成について図5を参照して説明する。図5は、本実施形態によるアドバイス生成サーバ3の構成の一例を示すブロック図である。図5に示すように、アドバイス生成サーバ3は、制御部30、通信部31、およびアドバイス情報DB32を有する。
続いて、本実施形態によるユーザ端末5の構成について図6を参照して説明する。図6は、本実施形態によるユーザ端末5の構成の一例を示すブロック図である。図6に示すように、ユーザ端末5は、制御部50、通信部51、操作入力部52、表示部53、および記憶部54を有する。また、ユーザ端末5は、図1に示すようにノートPC(パーソナルコンピュータ)により実現されていてもよいし、タブレット端末、スマートフォン、携帯電話端末、デスクトップ型PC等により実現されていてもよい。或いは、ユーザ端末5は、メガネ型デバイス、時計型デバイス、首掛けデバイス等のウェアラブルデバイスにより実現されていてもよい。
<3−1.システム動作処理>
次に、本実施形態による情報処理システムの動作処理について図7を参照して説明する。図7は、本実施形態による情報処理システムの動作処理を示すフローチャートである。
次に、上記S118に示すアドバイス生成サーバ3によるアドバイス生成処理について図9を参照して具体的に説明する。図9は、本実施形態によるアドバイス生成処理を示すフローチャートである。
次に、本実施形態によるアドバイスおよび各感情シグナルの現在値・理想値を含む表示画面例について、図12〜図13を用いて説明する。
図12は、本実施形態による用途「傾聴」の表示画面101の一例を示す図である。表示画面101は、図7に示すステップS121に示す表示処理において、ユーザ端末5の表示部53に表示される表示画面の一例である。図12に示すように、表示画面101は、グラフ画面111aと、用途選択画面113aと、アドバイス通知画面114aとを含む。図12に示す例では、用途選択画面113aで示されるように、「傾聴」が選択されている。
図13は、本実施形態による用途「交渉」の表示画面102の一例を示す図である。図13に示すように、表示画面102は、グラフ画面111bと、用途選択画面113bと、アドバイス通知画面114bとを含む。図13に示す例では、用途選択画面113bで示されるように、「交渉」が選択されている。
以上説明した実施形態では、ユーザAおよびユーザBの両方がセンサ装置10を有し、両ユーザの感情シグナルを取得できる場合について説明したが、本実施形態はこれに限定されず、いずれか一方のユーザのみがセンサ装置10を有していてもよい。以下、システム利用者であるユーザA本人のみがセンサ装置10を有している場合と、コミュニケーション相手であるユーザBのみがセンサ装置10を有している場合について、それぞれ説明する。
本実施形態の変形例1による情報処理システムは、ユーザAのみの感情シグナルに基づいて、理想の状態に近付けるためのアドバイスを生成することが可能である。具体的には、本変形例による情報処理システムは、相手(ユーザB)がセンサ装置10を有さず、感情シグナルが取得できない状態であるため、用途毎のDefault値を採用してアドバイスを生成する。Default値は、例えば用途別に相手の過去の影響力、ミミクリ、活動レベル、および一貫性の値に基づいて算出される(例えば出現率の一番高い値等)。以下、図14を参照して具体的に説明する。
また、本実施形態の変形例2による情報処理システムは、コミュニケーション相手(ユーザB)のみの感情シグナルに基づいて、理想の状態に近付けるためのアドバイスを生成することも可能である。具体的には、本変形例による情報処理システムは、本人(ユーザA)がセンサ装置10を有さず、感情シグナルが取得できない状態であるため、相手の感情シグナルをモニターさせ、用途毎の相手の標準的な値(通常値)と比較して、アドバイスを生成する。以下、図15を参照して具体的に説明する。
続いて、本実施形態の変形例3による情報処理システムについて説明する。上記実施形態および各変形例では、より理想的なコミュニケーション状態を構築するためのアドバイスを生成していたが、本実施形態はこれに限定されず、例えば理想的ではないコミュニケーション状態を構築するためのアドバイスを生成することも可能である。例えば、ビジネスの場において相手と駆け引きを行う際に、こちらの考えを相手に読み取られないよう、明示的に自身の考えとは反対の態度を示して本来の意図とは異なる感情シグナルを表出することが有効な場合がある。本実施形態の変形例3では、このように本来の感情シグナルをスクランブルさせて相手に読み取られないようにするためのアドバイスを生成する感情シグナルスクランブル処理を提案する。以下、図16を参照して具体的に説明する。
また、本変形例による表示画面例は、図16に示す例に限定されない。例えば、本変形例では、理想的な状態から離れた状態をスクランブル理想値として示してもよい。以下、図17を参照して説明する。
また、本変形例は、ユーザAのコミュニケーション相手であるユーザBのみがセンサ装置10を有し、ユーザAがセンサ装置10を有していない場合にも応用することが可能である。以下、図18を参照して説明する。
上述したように、本開示の実施形態による情報処理システムでは、ユーザの感情を示すシグナル(すなわち感情シグナル)に基づいて、理想的なコミュニケーション状態を構築するためのアドバイスを生成することを可能とする。
(1)
第1ユーザが第2ユーザとコミュニケーションを行う用途を設定する用途設定部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、
前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成する生成部と、
前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信する制御部と、
を備える、情報処理システム。
(2)
前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的な状態に近付くように、前記第1ユーザへのアドバイスを生成する、前記(1)に記載の情報処理システム。
(3)
前記生成部は、用途毎に蓄積された、前記感情シグナルの状態とアドバイスとの対応情報に基づき、前記第1ユーザへのアドバイスを生成する、前記(1)または(2)に記載の情報処理システム。
(4)
前記生成部は、前記受信した感情シグナルと前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記第1ユーザへのアドバイスを生成する、前記(1)〜(3)のいずれか1項に記載の情報処理システム。
(5)
前記生成部は、前記第1ユーザの現在の感情シグナルおよび第2ユーザの現在の感情シグナルとの組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第1ユーザへのアドバイスを生成する、前記(1)〜(4)のいずれか1項に記載の情報処理システム。
(6)
前記生成部は、前記第1ユーザの現在の感情シグナルおよび第2ユーザの感情シグナルのデフォルト値との組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第1ユーザへのアドバイスを生成する、前記(1)〜(4)のいずれか1項に記載の情報処理システム。
(7)
前記生成部は、前記第2ユーザの現在の感情シグナルと、前記用途に応じた前記第2ユーザの通常値に基づいて、前記通常値を理想の状態として当該理想の状態に近付くための前記第1ユーザへのアドバイスを生成する、前記(1)〜(4)のいずれか1項に記載の情報処理システム。
(8)
前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的な状態から離れるように、前記第1ユーザへのアドバイスを生成する、前記(1)に記載の情報処理システム。
(9)
前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的でない状態に近づくように、前記第1ユーザへのアドバイスを生成する、前記(1)に記載の情報処理システム。
(10)
前記制御部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第1ユーザまたは第2ユーザの感情シグナル、および前記理想的な状態の感情シグナルを送信するよう制御する、前記(1)〜(9)のいずれか1項に記載の情報処理システム。
(11)
第1ユーザが第2ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、
前記第1ユーザへのアドバイスを通知する通知部と、
を備える、情報処理システム。
(12)
前記情報処理システムは、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを検出する検出部をさらに備え、
前記通信部は、前記外部サーバに、前記検出された感情シグナルを送信する、前記(11)に記載の情報処理システム。
(13)
前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態に近付くように前記第1ユーザへアドバイスを通知する、前記(11)または(12)に記載の情報処理システム。
(14)
前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態から離れるように前記第1ユーザへアドバイスを通知する、前記(11)〜(13)のいずれか1項に記載の情報処理システム。
(15)
前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的でない状態に近づくように前記第1ユーザへのアドバイスを通知する、前記(11)〜(13)のいずれか1項に記載の情報処理システム。
(16)
前記通知部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第1ユーザまたは第2ユーザの感情シグナルと前記理想的な状態の感情シグナルを示すグラフを通知する、前記(11)〜(15)のいずれか1項に記載の情報処理システム。
(17)
前記通知部は、頭部装着型デバイスに搭載された振動部により、前記第1ユーザに振動で通知を行う、前記(11)〜(15)のいずれか1項に記載の情報処理システム。
(18)
第1ユーザが第2ユーザとコミュニケーションを行う用途を設定することと、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方の感情シグナルを通信部により受信することと、
前記受信した感情シグナルの前記用途に応じた理想的な状態に基づいて、前記第1ユーザへのアドバイスを生成することと、
前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信するよう制御部により制御することと、
を含む、制御方法。
(19)
コンピュータを、
第1ユーザが第2ユーザとコミュニケーションを行う用途の選択を受付ける選択入力部と、
前記第1ユーザおよび第2ユーザのうち少なくともいずれか一方から検出された感情シグナルの、前記選択入力部により選択された用途に応じた理想的な状態に基づいて、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、
前記第1ユーザへのアドバイスを通知する通知部と、
として機能させるためのプログラムが記憶された、記憶媒体。
10 センサ装置
11 センサ部
12 センサデータ抽出部
13 制御部
14 通信部
15 記憶部
2 感情シグナルサーバ
20 制御部
20a データ処理部
20b データ解析部
20c 感情シグナル算出部
20d ユーザ管理部
21 通信部
22 感情シグナルDB
23 ユーザ情報DB
3 アドバイス生成サーバ
30 制御部
30a 用途設定部
30b 比較部
30c アドバイス生成部
31 通信部
32 アドバイス情報DB
5 ユーザ端末
50 制御部
51 通信部
52 操作入力部
53 表示部
54 記憶部
Claims (16)
- 第1ユーザが第2ユーザとコミュニケーションを行う際に前記第1ユーザに提示するアドバイスの用途として予め規定される複数の用途の中からいずれかを設定する用途設定部と、
前記第1ユーザおよび前記第2ユーザのうち少なくともいずれか一方の感情シグナルを受信する通信部と、
前記複数の用途毎に予め蓄積される、用途に応じた理想的な感情シグナルの状態と前記アドバイスとの対応情報を参照して、前記通信部により受信された感情シグナルが、前記用途設定部により設定された用途に応じた理想的な状態に近付くように、前記受信した感情シグナルの状態と前記用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第1ユーザへのアドバイスを生成する生成部と、
前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信する制御部と、
を備える、情報処理システム。 - 前記生成部は、前記第1ユーザの現在の感情シグナルおよび前記第2ユーザの現在の感情シグナルとの組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、前記第1ユーザの現在の感情シグナルおよび前記第2ユーザの感情シグナルのデフォルト値との組み合わせ値と、前記用途に応じた理想的な状態の感情シグナルとを比較した比較結果に基づいて、前記理想的な状態に近付くための前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、前記第2ユーザの現在の感情シグナルと、前記用途に応じた前記第2ユーザの通常値に基づいて、前記通常値を理想の状態として当該理想の状態に近付くための前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的な状態から離れるように、前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記生成部は、前記第1ユーザの感情シグナルが、前記用途に応じた理想的でない状態に近づくように、前記第1ユーザへのアドバイスを生成する、請求項1に記載の情報処理システム。
- 前記制御部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第1ユーザまたは前記第2ユーザの感情シグナル、および前記理想的な状態の感情シグナルを送信するよう制御する、請求項1〜6のいずれか1項に記載の情報処理システム。
- 第1ユーザが第2ユーザとコミュニケーションを行う際に前記第1ユーザに提示するアドバイスの用途として予め規定される複数の用途の中からいずれかの選択を受付ける選択入力部と、
前記複数の用途毎に予め蓄積される、用途に応じた理想的な感情シグナルの状態と前記アドバイスとの対応情報を参照し、前記第1ユーザおよび前記第2ユーザのうち少なくともいずれか一方から検出された感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態に近付くように、前記検出された感情シグナルの状態と前記選択された用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、
前記第1ユーザへのアドバイスを通知する通知部と、
を備える、情報処理システム。 - 前記情報処理システムは、
前記第1ユーザおよび前記第2ユーザのうち少なくともいずれか一方の感情シグナルを検出する検出部をさらに備え、
前記通信部は、前記外部サーバに、前記検出された感情シグナルを送信する、請求項8に記載の情報処理システム。 - 前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態に近付くように前記第1ユーザへアドバイスを通知する、請求項8または9に記載の情報処理システム。
- 前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態から離れるように前記第1ユーザへアドバイスを通知する、請求項8〜10のいずれか1項に記載の情報処理システム。
- 前記通知部は、前記第1ユーザの感情シグナルが、前記選択入力部により選択された用途に応じた理想的でない状態に近づくように前記第1ユーザへのアドバイスを通知する、請求項8〜10のいずれか1項に記載の情報処理システム。
- 前記通知部は、前記生成されたアドバイスと共に、当該アドバイスの生成に用いた前記第1ユーザまたは前記第2ユーザの感情シグナルと前記理想的な状態の感情シグナルを示すグラフを通知する、請求項8〜12のいずれか1項に記載の情報処理システム。
- 前記通知部は、頭部装着型デバイスに搭載された振動部により、前記第1ユーザに振動で通知を行う、請求項8〜12のいずれか1項に記載の情報処理システム。
- プロセッサが、
第1ユーザが第2ユーザとコミュニケーションを行う際に前記第1ユーザに提示するアドバイスの用途として予め規定される複数の用途の中からいずれかを設定することと、
前記第1ユーザおよび前記第2ユーザのうち少なくともいずれか一方の感情シグナルを通信部により受信することと、
前記複数の用途毎に予め蓄積される、用途に応じた理想的な感情シグナルの状態と前記アドバイスとの対応情報を参照して、前記通信部により受信された感情シグナルが、前記設定された用途に応じた理想的な状態に近付くように、前記受信した感情シグナルの状態と前記用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第1ユーザへのアドバイスを生成することと、
前記生成されたアドバイスを、前記通信部を介して前記第1ユーザに対応するクライアント端末に送信するよう制御部により制御することと、
を含む、制御方法。 - コンピュータを、
第1ユーザが第2ユーザとコミュニケーションを行う際に前記第1ユーザに提示するアドバイスの用途として予め規定される複数の用途の中からいずれかの選択を受付ける選択入力部と、
前記複数の用途毎に予め蓄積される、用途に応じた理想的な感情シグナルの状態と前記アドバイスとの対応情報を参照し、前記第1ユーザおよび前記第2ユーザのうち少なくともいずれか一方から検出された感情シグナルが、前記選択入力部により選択された用途に応じた理想的な状態に近付くように、前記検出された感情シグナルの状態と前記選択された用途に応じた理想的な感情シグナルの状態とを比較した比較結果に基づき、前記第1ユーザにアドバイスを生成する外部サーバに前記選択された用途を送信し、前記用途と感情シグナルに応じて生成された前記第1ユーザへのアドバイスを受信する通信部と、
前記第1ユーザへのアドバイスを通知する通知部と、
として機能させるための、プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015094575 | 2015-05-07 | ||
JP2015094575 | 2015-05-07 | ||
PCT/JP2016/052858 WO2016178329A1 (ja) | 2015-05-07 | 2016-02-01 | 情報処理システム、制御方法、および記憶媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020191851A Division JP6992870B2 (ja) | 2015-05-07 | 2020-11-18 | 情報処理システム、制御方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016178329A1 JPWO2016178329A1 (ja) | 2018-02-22 |
JP6798484B2 true JP6798484B2 (ja) | 2020-12-09 |
Family
ID=57217688
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017516562A Active JP6798484B2 (ja) | 2015-05-07 | 2016-02-01 | 情報処理システム、制御方法、およびプログラム |
JP2020191851A Active JP6992870B2 (ja) | 2015-05-07 | 2020-11-18 | 情報処理システム、制御方法、およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020191851A Active JP6992870B2 (ja) | 2015-05-07 | 2020-11-18 | 情報処理システム、制御方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6798484B2 (ja) |
WO (1) | WO2016178329A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220208175A1 (en) * | 2019-09-26 | 2022-06-30 | Yamaha Corporation | Information processing method, estimation model construction method, information processing device, and estimation model constructing device |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018197934A (ja) * | 2017-05-23 | 2018-12-13 | 日本アイラック株式会社 | 情報処理装置 |
WO2019160104A1 (ja) * | 2018-02-16 | 2019-08-22 | 日本電信電話株式会社 | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム |
JP6723543B2 (ja) * | 2018-05-30 | 2020-07-15 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
JP7172705B2 (ja) * | 2019-02-18 | 2022-11-16 | 沖電気工業株式会社 | 感情推定装置、感情推定方法、プログラム、及び感情推定システム |
JP6611972B1 (ja) | 2019-03-05 | 2019-11-27 | 正通 亀井 | アドバイス提示システム |
JP2021111239A (ja) * | 2020-01-14 | 2021-08-02 | 住友電気工業株式会社 | 提供システム、提供方法、提供装置、及びコンピュータプログラム |
JP6994722B2 (ja) * | 2020-03-10 | 2022-01-14 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
WO2022201383A1 (ja) | 2021-03-24 | 2022-09-29 | 株式会社I’mbesideyou | 動画像分析プログラム |
JPWO2022264217A1 (ja) * | 2021-06-14 | 2022-12-22 | ||
JP7057011B1 (ja) | 2021-06-25 | 2022-04-19 | 株式会社Kakeai | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム |
JP7057029B1 (ja) | 2021-06-25 | 2022-04-19 | 株式会社Kakeai | 二者間のコミュニケーションにおいて個々人への関わり方を改善するためのコンピュータシステム、方法、およびプログラム |
WO2023135939A1 (ja) * | 2022-01-17 | 2023-07-20 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
JP7388768B2 (ja) | 2022-02-01 | 2023-11-29 | 株式会社I’mbesideyou | 動画像分析プログラム |
WO2024101022A1 (ja) * | 2022-11-10 | 2024-05-16 | 株式会社Nttドコモ | アバターマッチング装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4003300B2 (ja) * | 1998-06-22 | 2007-11-07 | セイコーエプソン株式会社 | 生体の状態制御支援装置 |
JP2001344352A (ja) * | 2000-05-31 | 2001-12-14 | Toshiba Corp | 生活支援装置および生活支援方法および広告情報提供方法 |
JP3872263B2 (ja) * | 2000-08-07 | 2007-01-24 | 富士通株式会社 | Ctiサーバ及びプログラム記録媒体 |
JP4389512B2 (ja) * | 2003-07-28 | 2009-12-24 | ソニー株式会社 | 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置 |
JP2006061632A (ja) * | 2004-08-30 | 2006-03-09 | Ishisaki:Kk | 感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法 |
JP4904188B2 (ja) * | 2007-03-30 | 2012-03-28 | 三菱電機インフォメーションシステムズ株式会社 | 分配装置、分配プログラム及び分配システム |
US8463606B2 (en) * | 2009-07-13 | 2013-06-11 | Genesys Telecommunications Laboratories, Inc. | System for analyzing interactions and reporting analytic results to human-operated and system interfaces in real time |
CN103430523B (zh) * | 2011-03-08 | 2016-03-23 | 富士通株式会社 | 通话辅助装置和通话辅助方法 |
JP6073649B2 (ja) * | 2012-11-07 | 2017-02-01 | 株式会社日立システムズ | 音声自動認識・音声変換システム |
JP6023685B2 (ja) * | 2013-10-09 | 2016-11-09 | 日本電信電話株式会社 | 感情情報表示制御装置、その方法及びプログラム |
-
2016
- 2016-02-01 WO PCT/JP2016/052858 patent/WO2016178329A1/ja active Application Filing
- 2016-02-01 JP JP2017516562A patent/JP6798484B2/ja active Active
-
2020
- 2020-11-18 JP JP2020191851A patent/JP6992870B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220208175A1 (en) * | 2019-09-26 | 2022-06-30 | Yamaha Corporation | Information processing method, estimation model construction method, information processing device, and estimation model constructing device |
US11875777B2 (en) * | 2019-09-26 | 2024-01-16 | Yamaha Corporation | Information processing method, estimation model construction method, information processing device, and estimation model constructing device |
Also Published As
Publication number | Publication date |
---|---|
JP2021044001A (ja) | 2021-03-18 |
JP6992870B2 (ja) | 2022-01-13 |
JPWO2016178329A1 (ja) | 2018-02-22 |
WO2016178329A1 (ja) | 2016-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6992870B2 (ja) | 情報処理システム、制御方法、およびプログラム | |
Abdolrahmani et al. | " Siri Talks at You" An Empirical Investigation of Voice-Activated Personal Assistant (VAPA) Usage by Individuals Who Are Blind | |
US11341962B2 (en) | Electronic personal interactive device | |
US9953650B1 (en) | Systems, apparatus and methods for using biofeedback for altering speech | |
US10956831B2 (en) | Detecting interaction during meetings | |
JP6538825B2 (ja) | 可変触覚出力のための意味論的フレームワーク | |
KR102444165B1 (ko) | 적응적으로 회의를 제공하기 위한 장치 및 방법 | |
US20160327922A1 (en) | A control device and control method for performing an operation based on the current state of a human as detected from a biometric sample | |
CN108885485A (zh) | 基于存在性检测的数字助理体验 | |
WO2016080553A1 (ja) | 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム | |
CN105144027A (zh) | 在确定动作中使用非言语通信 | |
CN110472130A (zh) | 降低对手动开始/结束点和触发短语的需求 | |
Reijula et al. | Human well-being and flowing work in an intelligent work environment | |
EP3360056B1 (en) | Facilitating awareness and conversation throughput in an augmentative and alternative communication system | |
Shi et al. | Accessible video calling: Enabling nonvisual perception of visual conversation cues | |
US20240079012A1 (en) | Providing private answers to non-vocal questions | |
US20240071386A1 (en) | Interpreting words prior to vocalization | |
JP2007142957A (ja) | 遠隔対話方法及び装置 | |
US20230260534A1 (en) | Smart glass interface for impaired users or users with disabilities | |
JP7152453B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム | |
Kato et al. | Sign language conversational user interfaces using luminous notification and eye gaze for the deaf and hard of hearing | |
Mansouri Benssassi et al. | Wearable assistive technologies for autism: opportunities and challenges | |
US12052299B2 (en) | System and method to improve video conferencing using presence metrics | |
JP7123028B2 (ja) | 情報処理システム、情報処理方法、及びプログラム | |
US20220141266A1 (en) | System and method to improve video conferencing using presence metrics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190108 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6798484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |