JP7170013B2 - 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム Download PDF

Info

Publication number
JP7170013B2
JP7170013B2 JP2020163954A JP2020163954A JP7170013B2 JP 7170013 B2 JP7170013 B2 JP 7170013B2 JP 2020163954 A JP2020163954 A JP 2020163954A JP 2020163954 A JP2020163954 A JP 2020163954A JP 7170013 B2 JP7170013 B2 JP 7170013B2
Authority
JP
Japan
Prior art keywords
information
party
conference
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020163954A
Other languages
English (en)
Other versions
JP2022056128A (ja
Inventor
孝裕 森田
亮 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2020163954A priority Critical patent/JP7170013B2/ja
Publication of JP2022056128A publication Critical patent/JP2022056128A/ja
Application granted granted Critical
Publication of JP7170013B2 publication Critical patent/JP7170013B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。
近年、複数の拠点間でのオンラインでの会議を可能とするオンライン会議に関する技術の開発がますます盛んになっている。例えば、オンライン会議の各出席者の音声データおよび画像データを取得し、取得した各出席者の音声データおよび画像データに基づいて、音声データにおける各発言の発言者を特定し、取得した各出席者の音声データを発言の時系列でタイムラインとして出力する技術が知られている。
特開2019-61594号公報
しかしながら、上記の従来技術では、各出席者の音声データを発言の時系列でタイムラインとして出力するにすぎない。このため、利用者が初対面の相手とのオンライン会議を円滑に進められるよう支援可能にすることができるとは限らない。
実施形態に係る情報処理装置は、会議の参加者の参加者情報に基づいて、前記会議の相手の相手情報を前記会議が開始される前に抽出する抽出部と、前記相手と前記会議を行う利用者の端末装置に前記相手情報を前記会議の会議中に表示するよう制御する出力制御部と、を備える。
図1は、実施形態に係る情報処理の一例を示す図である。 図2は、実施形態に係る情報処理の一例を示す図である。 図3は、実施形態に係る情報処理の一例を示す図である。 図4は、実施形態に係る情報処理システムの構成例を示す図である。 図5は、実施形態に係る情報処理システムの他の構成例を示す図である。 図6は、実施形態に係る情報処理装置の構成例を示す図である。 図7は、実施形態に係る参加者情報記憶部の一例を示す図である。 図8は、実施形態に係る相手情報記憶部の一例を示す図である。 図9は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本願に係る情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
(実施形態)
〔1.はじめに〕
一般的に、初対面の相手と会議をする場合には、会議が開始される前に対面でのあいさつや名刺交換を行うのはもちろんのこと、相手の性格や趣向などが未知のため、特に相手の状況を注視しつつ慎重に会議を進める必要がある。
一方で、近年、新型コロナウイルス感染症対策等により、テレワークを導入する企業が増加している。このように、テレワークが強く望まれる状況下においては、対面での会議を避けるため、初対面の相手とのオンライン会議をせざるを得ないケースが少なからず発生する。
しかしながら、オンライン会議は、対面会議と比べると、情報不足に起因するデメリットが存在すると言われている。具体的には、オンライン会議は、対面会議と比べて、他の参加者の表情や雰囲気、温度感といった情報をとらえにくい場合がある。特に、初対面の相手と会議をする場合には、対面会議でさえも慎重に進める必要があるにも関わらず、そこにオンライン会議での情報不足が重なると、より両者のコミュニケーションがぎこちなくなり、会議を円滑に進めることが極めて困難になる可能性がある。そのため、初対面の相手とのオンライン会議において、会議の参加者がお互いより分かりあえて、会議を円滑に進めることができるようなサポートシステムが望まれている。
そこで、本願発明に係る情報処理装置は、会議前に、会議の参加者の参加者情報に基づいて、会議の相手の相手情報を抽出する。また、情報処理装置は、会議中に、相手と会議を行う利用者の端末装置に相手情報を表示するよう制御する。このように、情報処理装置は、利用者に対して会議中に会議の相手の相手情報を提供するので、初対面の対手との会議における情報不足を補うことができる。これにより、情報処理装置は、会議中に両者のコミュニケーションを促すことができる。したがって、情報処理装置は、利用者が初対面の相手とのオンライン会議を円滑に進められるよう支援可能にすることができる。
また、本願発明に係る情報処理装置は、会議後に、会議中の相手の情報に基づいて、会議の内容に対する相手の反応に関するレポート情報を生成する。また、情報処理装置は、相手と会議を行った利用者の端末装置にレポート情報を表示するよう制御する。このように、情報処理装置は、利用者に対して会議後に会議中の相手の反応に関するレポート情報を提供するので、利用者がレポート情報を相手との次回以降の会議に活用することを可能にする。したがって、情報処理装置は、利用者が初対面の相手との次回以降のオンライン会議を円滑に進められるよう支援可能にすることができる。
〔2.情報処理の一例〕
まず、図1~図3を用いて、実施形態に係る情報処理の一例について説明する。図1~図3は、実施形態に係る情報処理の一例を説明するための図である。なお、図1~図3で説明する会議は、オンライン会議である。図1~図3に示す情報処理は、実施形態に係る情報処理システム1によって実現される。情報処理システム1には、端末装置10と、情報処理装置100とが含まれる(図4参照)。以下の説明では、実施形態に係る情報処理として、端末装置10および情報処理装置100が協働して行う情報処理について説明する。本実施形態では、情報処理装置100は、実施形態に係る情報処理プログラムを実行し、端末装置10と協働することで、実施形態に係る情報処理を行う。
〔2-1.会議前〕
まず、図1を用いて、会議前における情報処理の一例について説明する。図1は、互いに面識がなく異なる会社に所属するAさんとCさんがオンライン会議を行う前の様子を描いている。図1では、情報処理装置100が、会議の相手であるCさんの所属情報に基づいて、Cさんの会社と利用者であるAさんの会社との間で共通する関連情報を会議が開始される前に抽出する。例えば、情報処理装置100は、Cさんの会社名の情報に基づいて、関連情報の一例として、Cさんの会社とAさんの会社が協力して行った事業に関するインターネット上のニュース記事を抽出する。情報処理装置100は、ニュース記事を抽出すると、Cさんを識別可能な識別情報と抽出したニュース記事に関する情報を対応付けて記憶する。
また、図1では、情報処理装置100が、Aさんの会社内のAさん以外のBさんとCさんと会議実績を示す情報に基づいて、Aさんの会社における会議情報を記録したデータベースからBさんとCさんとの会議の議事録に関する議事録情報を抽出する。情報処理装置100は、情報処理装置100は、議事録情報を抽出すると、Cさんを識別可能な識別情報と抽出した議事録情報を対応付けて記憶する。
〔2-2.会議中〕
次に、図2を用いて、会議中における情報処理の一例について説明する。図2は、図1で説明したAさんとCさんがオンライン会議を行っている最中の様子を描いている。図2では、情報処理装置100が、会議の冒頭(例えば、会議が開始されてから5分以内)で会議前に抽出したニュース記事に関する情報をAさんの端末装置10に表示するよう制御する。
例えば、情報処理装置100は、「Cさんと自組織の間で関与ある情報はこのようなものがあります」といったニュース記事の要約を示す文字情報をAさんの端末装置10に表示するよう制御する。Aさんは、Aさんの端末装置10に表示されたニュース記事の要約を示す文字情報を視認すると、Cさんに対して端末装置10に表示されたニュース記事に関する話題を振ってもよい。このように、情報処理装置100は、会議の冒頭のアイスブレイク等に使える共通話題を会議の冒頭でAさんに提供することで、会議の冒頭でAさんとCさんとのコミュニケーションを促すことができる。
また、図2では、情報処理装置100が、CさんによってBさんとCさんとの会議の内容に関する発言が行われたタイミングで会議前に抽出したBさんとCさんとの会議の議事録情報をAさんの端末装置10に表示するよう制御する。
例えば、情報処理装置100は、Cさんの音声データに基づいて、Cさんの発言の中にBさんとCさんとの会議の内容に関するキーワードである「〇〇製品」が登場したと判定する。情報処理装置100は、Cさんの発言の中にBさんとCさんとの会議の内容に関するキーワードである「〇〇製品」が登場したと判定すると、CさんによってBさんとCさんとの会議の内容に関する発言が行われたと判定する。続いて、情報処理装置100は、CさんによってBさんとCさんとの会議の内容に関する発言が行われたと判定した場合に、会議前に抽出したBさんとCさんとの会議の議事録情報をAさんの端末装置10に表示するよう制御する。
例えば、情報処理装置100は、「〇〇製品について自組織のBさんは導入を一度見送りました」といったBさんとCさんとの会議の議事録の要約を示す文字情報をAさんの端末装置10に表示するよう制御する。Aさんは、Aさんの端末装置10に表示された議事録の要約を示す文字情報を視認すると、Cさんの発言に登場した「〇〇製品」に関する自社内での評価があまりよくないことを認識したうえで、Cさんとの会話を進める。このように、情報処理装置100は、Cさんとの会話の流れを汲んだ相手情報を会議中にAさんに提供することで、Aさんが初対面のCさんとのオンライン会議を円滑に進められるよう支援可能にすることができる。
〔2-3.会議後〕
次に、図3を用いて、会議後における情報処理の一例について説明する。図3は、図2で説明したAさんとCさんによるオンライン会議が終わった後に、情報処理装置100が会議の内容に対するCさんの反応に関するレポート情報をAさんの端末装置10に表示する様子を描いている。
図3の上段は、情報処理装置100が、会議の開始から終了までの各時刻におけるAさんによって伝達される伝達内容にCさんが共感する度合いを示す共感スコアを視覚化した情報を示す。例えば、情報処理装置100は、利用者の端末装置10に、会議中の各時刻におけるCさんの表情状態を示すスコア、視線移動量を示すスコア、頷き度合を示すスコア、および発言量を示すスコアを視覚化した共感情報を表示するよう制御する。
図3の下段は、情報処理装置100が、共感スコアのベスト1~2およびワースト1にそれぞれ対応する時刻における伝達内容を示す共有画面の画像(例えば、共有画面に表示されたスライドの画像)を示す。例えば、情報処理装置100は、利用者の端末装置10に、共感スコアが高い方から上位2位以内の各順位に対応する各時刻に共有画面に表示されたスライドの画像と共感情報における時刻とを視覚的に対応付けた画像を表示するよう制御する。また、情報処理装置100は、利用者の端末装置10に、共感スコアが最下位に対応する時刻に共有画面に表示されたスライドの画像と共感情報における時刻とを視覚的に対応付けた画像を表示するよう制御する。なお、共感スコアのベストおよびワーストは、ともに、何番目まで表示するかユーザが定義することができる。
このように、情報処理装置100は、Aさんに対して会議後に会議中のCさんの反応に関するレポート情報を提供するので、Aさんがレポート情報をCさんとの次回以降の会議に活用することを可能にする。具体的には、情報処理装置100は、利用者が共感スコアのベストに対応する時刻における伝達内容をより相手にアピールまたは踏み込むためのネタとして役立てる(次回以降の会議の資料準備も含め)ことを可能にする。また、情報処理装置100は、利用者が共感スコアのワーストに対応する時刻における伝達内容を無駄なやりとりをなくしその他のアピールまたは踏み込みの時間にあてることを可能にする。したがって、情報処理装置100は、AさんがCさんとの次回以降のオンライン会議を円滑に進められるよう支援可能にすることができる。
〔3.情報処理システムの構成〕
次に、図4を用いて、実施形態に係る情報処理システム1の構成について説明する。図4は、実施形態に係る情報処理システム1の構成例を示す図である。図4に示すように、情報処理システム1には、端末装置10と、情報処理装置100とが含まれる。端末装置10と、情報処理装置100とは所定のネットワークNを介して、有線または無線により通信可能に接続される。なお、図4に示す情報処理システム1には、任意の数の端末装置10と任意の数の情報処理装置100とが含まれてもよい。
端末装置10は、オンライン会議の参加者(以下、「参加者」ともいう)によって利用される情報処理装置である。端末装置10は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)や、ヘッドマウントディスプレイ等である。本実施形態では、端末装置10は、ノート型PCであるものとする。
また、端末装置10には、オンライン会議システムを利用するためのアプリケーション(以下、「オンライン会議アプリ」ともいう)がインストールされている。端末装置10は、オンライン会議アプリに対する操作を行うための各種画像(例えば、ツールバーやアイコン等)を画面に表示する。また、端末装置10には、カメラ、マイク、スピーカーなどの機能を有するデバイスが接続されている。端末装置10は、それぞれのデバイスから入力された映像や音声を複数の拠点間で送受信する。
また、端末装置10には、参加者の物理的な状態を検知する各種のセンサが接続されている。例えば、端末装置10には、上述したカメラやマイクが搭載されている。端末装置10は、各種のセンサによって、参加者の物理的な状態を示すセンサ情報を検出する。例えば、端末装置10は、センサ情報の一例として、カメラによって参加者の画像を検出する。また、端末装置10は、センサ情報の一例として、マイクによって参加者の音声を検出する。端末装置10は、センサ情報を検出すると、検出したセンサ情報を情報処理装置100に送信する。
また、端末装置10は、情報処理装置100から会議中に相手情報を受信する。端末装置10は、相手情報を受信すると、相手情報を出力する。具体的には、端末装置10は、会議中に相手情報を画面に表示する。
また、端末装置10は、情報処理装置100から会議後にレポート情報を受信する。端末装置10は、レポート情報を受信すると、レポート情報を出力する。具体的には、端末装置10は、会議後にレポート情報を画面に表示する。
なお、図4に示すように、端末装置10を利用する参加者に応じて、端末装置10を端末装置10-1~10-N(Nは自然数)のように区別して説明する場合がある。例えば、端末装置10-1は、図2に示す参加者Aによって利用される端末装置10である。また、例えば、端末装置10-2は、図2に示す参加者Cによって利用される端末装置10である。また、以下では、端末装置10-1~10-N(Nは自然数)について、特に区別なく説明する場合には、端末装置10と記載する。
情報処理装置100は、図1~図3で説明した処理を実行する情報処理装置である。具体的には、情報処理装置100は、会議前に、会議の参加者の参加者情報に基づいて、会議の相手の相手情報を抽出する。また、情報処理装置100は、会議中に、相手と会議を行う利用者の端末装置10に相手情報を表示するよう制御する。また、情報処理装置100は、会議後に、会議中の相手の情報に基づいて、会議の内容に対する相手の反応に関するレポート情報を生成する。また、情報処理装置100は、相手と会議を行った利用者の端末装置10にレポート情報を表示するよう制御する。
上述した図4では、実施形態に係る情報処理システムが中央処理型(集中型ともいう)のコンピューティングシステムである例について説明したが、情報処理システムの構成はこれに限られない。図4を用いて、実施形態に係る情報処理システムの他の構成について説明する。図4は、実施形態に係る情報処理システムの他の構成例を示す図である。図4に示す情報処理システム1Aは、複数台の端末装置10で構成される分散型コンピューティングシステムである。情報処理システム1Aは、複数台の端末装置10がネットワークを介して互いに接続されている。また、図4に示す情報処理システム1Aでは、それぞれの端末装置10に図4で説明した情報処理装置100の機能が実装されている。以下では、図4に示すように、端末装置10を利用する参加者に応じて、端末装置10を端末装置10-1~10-N(Nは自然数)のように区別して説明する。
図4に示す端末装置10は、図1~図3で説明した処理を実行する情報処理装置である。具体的には、端末装置10は、会議前に、会議の参加者の参加者情報に基づいて、会議の相手の相手情報を抽出する。また、端末装置10は、会議中に、相手と会議を行う利用者の端末装置10に相手情報を表示するよう制御する。また、端末装置10は、会議後に、会議中の相手の情報に基づいて、会議の内容に対する相手の反応に関するレポート情報を生成する。また、端末装置10は、相手と会議を行った利用者の端末装置10にレポート情報を表示するよう制御する。
〔4.情報処理装置の構成〕
次に、図6を用いて、実施形態に係る情報処理装置100の構成について説明する。図6は、実施形態に係る情報処理装置100の構成例を示す図である。図6に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、情報処理装置100は、情報処理装置100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示させるための表示部(例えば、液晶ディスプレイ等)を有してもよい。
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークと有線または無線で接続され、例えば、端末装置10との間で情報の送受信を行う。
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、図6に示すように、参加者情報記憶部121と相手情報記憶部122とセンサ情報記憶部123とレポート情報記憶部124を有する。
(参加者情報記憶部121)
参加者情報記憶部121は、会議の参加者に関する各種の情報を記憶する。例えば、参加者情報記憶部121は、会議の相手の所属組織、所属部署などの所属情報と、相手を識別可能な識別情報とを対応付けて記憶する。また、参加者情報記憶部121は、相手と会議を行う利用者の所属組織、所属部署などの所属情報と、利用者を識別可能な識別情報とを対応付けて記憶する。また、参加者情報記憶部121は、利用者の所属組織内の利用者以外の他の利用者と相手との会議実績を示す情報と、相手を識別可能な識別情報とを対応付けて記憶する。
図7を用いて、参加者情報記憶部121の一例について説明する。図7は、実施形態に係る参加者情報記憶部121の一例を示す図である。図7の1レコード目に示す例では、利用者ID「#1」は、図1~図3に登場したAさんを識別する識別情報を示す。所属情報「D社〇〇部」は、Aさんの所属組織と所属部署を示す。また、図7の2レコード目に示す例では、利用者ID「#2」は、図1~図3に登場したCさんを識別する識別情報を示す。所属情報「E社△△部」は、Cさんの所属組織と所属部署を示す。また、会議実績「D社のB氏との会議実績」は、Aさんの所属組織であるD社内のBさんとCさんとの会議実績があることを示す。
(相手情報記憶部122)
相手情報記憶部122は、会議の相手に関する各種の情報を記憶する。具体的には、相手情報記憶部122は、相手の所属組織と利用者の所属組織との関連情報と、相手を識別可能な識別情報とを対応付けて記憶する。例えば、相手情報記憶部122は、関連情報の要約や関連情報に含まれるキーワードと、相手を識別可能な識別情報とを対応付けて記憶してもよい。また、相手情報記憶部122は、利用者の所属組織内の利用者以外の他の利用者と相手との会議の議事録に関する議事録情報と、相手を識別可能な識別情報とを対応付けて記憶する。例えば、相手情報記憶部122は、議事録情報の要約や議事録情報に含まれるキーワードと、相手を識別可能な識別情報とを対応付けて記憶してもよい。
図8を用いて、相手情報記憶部122の一例について説明する。図8は、実施形態に係る相手情報記憶部122の一例を示す図である。図8の1レコード目に示す例では、利用者ID「#2」は、図1~図3に登場したCさんを識別する識別情報を示す。関連情報1「Cさんと自組織の間で関与ある情報はこのようなものがあります。・・・」は、Cさんの所属組織とAさんの所属組織との関連情報を示す。また、関連情報2「〇〇製品について自組織のBさんは導入を一度見送りました。」は、Aさんの所属組織であるD社内のBさんとCさんとの会議の議事録情報の要約を示す。
(センサ情報記憶部123)
センサ情報記憶部123は、会議の参加者の会議中の物理的な状態を示す各種のセンサ情報を記憶する。具体的には、センサ情報記憶部123は、参加者の会議中のセンサ情報と、参加者を識別可能な識別情報とを対応付けて記憶する。
(レポート情報記憶部124)
レポート情報記憶部124は、会議の内容に対する会議中の相手の反応に関する各種の情報を記憶する。具体的には、レポート情報記憶部124は、相手が利用者によって伝達される伝達内容に共感する度合いを示す共感スコアと、相手を識別可能な識別情報とを対応付けて記憶する。例えば、レポート情報記憶部124は、共感スコアとして、会議中の相手の表情状態を示すスコア、視線移動量を示すスコア、頷き度合を示すスコア、および発言量を示すスコアと、相手を識別可能な識別情報とを対応付けて記憶する。
(制御部130)
図6の説明に戻って、制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図6に示すように、制御部130は、取得部131と、抽出部132と、判定部133と、生成部134と、出力制御部135とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部130の内部構成は、図6に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
(取得部131)
取得部131は、会議の参加者の参加者情報を取得する。具体的には、取得部131は、参加者情報の一例として、会議の相手の所属組織、所属部署などの相手の所属情報を取得する。例えば、取得部131は、相手と会議を行う利用者の端末装置10から相手の所属情報を取得する。取得部131は、相手の所属情報を取得すると、相手の所属情報と相手を識別可能な識別情報とを対応付けて参加者情報記憶部121に格納する。
また、取得部131は、参加者情報の一例として、相手と会議を行う利用者の所属組織、所属部署などの利用者の所属情報を取得する。例えば、取得部131は、利用者の所属情報を利用者の端末装置10から取得する。取得部131は、利用者の所属情報を取得すると、利用者の所属情報と利用者を識別可能な識別情報とを対応付けて参加者情報記憶部121に格納する。
また、取得部131は、参加者情報の一例として、利用者の所属組織内の利用者以外の他の利用者と相手との会議実績を示す情報を取得する。例えば、取得部131は、利用者の所属組織における会議情報を記録したデータベースから他の利用者と相手との会議実績を示す情報を取得する。取得部131は、他の利用者と相手との会議実績を示す情報を取得すると、会議実績を示す情報と相手を識別可能な識別情報とを対応付けて参加者情報記憶部121に格納する。
また、取得部131は、会議の参加者の会議中の物理的な状態を示す各種のセンサ情報を記憶する。具体的には、取得部131は、会議の相手の会議中の物理的な状態を示す各種のセンサ情報を取得する。例えば、取得部131は、センサ情報の一例として、会議の相手の会議中の画像データを相手の端末装置10に搭載されたカメラから取得する。また、取得部131は、センサ情報の一例として、会議の相手の会議中の音声データを相手の端末装置10に搭載されたマイクから取得する。取得部131は、会議の相手のセンサ情報を取得すると、相手の会議中のセンサ情報と、相手を識別可能な識別情報とを対応付けてセンサ情報記憶部123に記憶する。
また、取得部131は、相手と会議を行う利用者の会議中の物理的な状態を示す各種のセンサ情報を取得する。例えば、取得部131は、センサ情報の一例として、利用者の会議中の画像データを利用者の端末装置10に搭載されたカメラから取得する。また、取得部131は、センサ情報の一例として、利用者の会議中の音声データを利用者の端末装置10に搭載されたマイクから取得する。取得部131は、利用者のセンサ情報を取得すると、利用者の会議中のセンサ情報と、利用者を識別可能な識別情報とを対応付けてセンサ情報記憶部123に記憶する。
(抽出部132)
抽出部132は、会議の参加者の参加者情報に基づいて、会議の相手の相手情報を会議が開始される前に抽出する。抽出部132は、利用者にとって初対面の相手の相手情報を抽出する。具体的には、抽出部132は、参加者情報の一例として、相手の所属情報に基づいて、相手情報の一例として、相手の所属組織と利用者の所属組織との関連情報を抽出する。例えば、抽出部132は、インターネット上に公開されている関連情報を抽出する。例えば、抽出部132は、インターネット上に公開されている関連情報の一例として、相手の所属組織と利用者の所属組織との間で行われた取引に関するニュース記事、相手の所属組織と利用者の所属組織とが協力または提携して行った事業に関するニュース記事などを抽出する。例えば、抽出部132は、関連情報の一例として、抽出したニュース記事の要約を生成してもよい。また、抽出部132は、関連情報の一例として、抽出したニュース記事からいくつかのキーワードを抽出してもよい。抽出部132は、関連情報を抽出すると、関連情報と相手を識別可能な識別情報とを対応付けて相手情報記憶部122に記憶する。
また、抽出部132は、参加者情報の一例として、利用者の所属組織内の利用者以外の他の利用者と相手との会議実績を示す情報に基づいて、相手情報の一例として、他の利用者と相手との会議内容に関する情報を抽出する。例えば、抽出部132は、会議内容に関する情報として、他の利用者と相手との会議の議事録に関する議事録情報を抽出する。例えば、抽出部132は、利用者の所属組織における会議情報を記録したデータベースから議事録情報を抽出する。例えば、抽出部132は、議事録情報の一例として、抽出した議事録の要約を生成してもよい。また、抽出部132は、議事録情報の一例として、抽出した議事録からいくつかのキーワードを抽出してもよい。抽出部132は、議事録情報を抽出すると、議事録情報と相手を識別可能な識別情報とを対応付けて相手情報記憶部122に記憶する。
なお、抽出部132は、機密情報として取り扱う機密レベルを示す情報が付された議事録情報を抽出してもよい。例えば、抽出部132は、利用者にとってアクセス可能な機密レベルを示す情報が付された議事録情報を抽出してもよい。
(判定部133)
判定部133は、相手によって相手情報に関する発言が行われたか否かを判定する。例えば、判定部133は、公知の音声認識技術を用いて、取得部131によって取得された相手の音声データを文字列に変換する。続いて、判定部133は、音声データを文字列に変換すると、相手情報記憶部122を参照して、変換した文字列の中に相手情報に関するキーワードが含まれているか否かを判定する。判定部133は、変換した文字列の中に相手情報に関するキーワードが含まれていると判定した場合、相手によって相手情報に関する発言が行われたと判定する。一方、判定部133は、変換した文字列の中に相手情報に関するキーワードが含まれていないと判定した場合、相手によって相手情報に関する発言が行われていないと判定する。
(生成部134)
生成部134は、会議の会議中の相手の情報に基づいて、会議の内容に対する相手の反応に関するレポート情報を生成する。具体的には、生成部134は、取得部131によって取得された会議の相手の会議中のセンサ情報に基づいて、相手が利用者によって伝達される伝達内容に共感する度合いを示す共感スコアを算出する。より具体的には、生成部134は、共感スコアの一例として、会議の会議中の相手の表情状態、視線移動量、頷き度合、または発言量のうち少なくともいずれか1つを示すスコアを算出する。
例えば、生成部134は、公知の技術を用いて、取得部131によって取得された会議の相手の会議中の画像データに基づいて、会議中の各時刻における相手の表情状態を示すスコア、視線移動量を示すスコア、頷き度合を示すスコアを算出する。また、生成部134は、公知の技術を用いて、取得部131によって取得された会議の相手の会議中の音声データに基づいて、会議中の各時刻における相手の発言量を示すスコアを算出する。続いて、生成部134は、レポート情報の一例として、会議の会議中の各時刻における共感スコアを視覚化した共感情報を生成する。例えば、生成部134は、会議の会議中の各時刻における相手の表情状態を示すスコア(以下、表情スコアと記載する)、視線移動量を示すスコア(以下、視線移動量スコアと記載する)、頷き度合を示すスコア(以下、頷きスコアと記載する)、および発言量を示すスコア(以下、発言量スコアと記載する)を視覚化した共感情報を生成する。
また、生成部134は、算出した共感スコアが高い方から所定の順位以内(例えば、上位2位以内)の各順位に対応する各時刻における伝達内容を示す共有画面の画像(例えば、共有画面に表示されたスライドの画像)を抽出する。例えば、生成部134は、会議の会議中の各時刻における相手の表情スコアと視線移動量スコアと頷きスコアと発言量スコアとの合計スコアが最も高い時刻において共有画面に表示されたスライドの画像と、合計スコアが2番目に高い時刻において共有画面に表示されたスライドの画像を抽出する。続いて、生成部134は、レポート情報の一例として、抽出したスライドの画像を共感情報における時刻と視覚的に対応付けた画像を生成する。
また、生成部134は、算出した共感スコアが低い方から所定の順位以内(例えば、下位1位内)の各順位に対応する各時刻における伝達内容を示す共有画面の画像(例えば、共有画面に表示されたスライドの画像)を抽出する。例えば、生成部134は、会議の会議中の各時刻における相手の表情スコアと視線移動量スコアと頷きスコアと発言量スコアとの合計スコアが最も低い時刻において共有画面に表示されたスライドの画像を抽出する。続いて、生成部134は、レポート情報の一例として、抽出したスライドの画像を共感情報における時刻と視覚的に対応付けた画像を生成する。
(出力制御部135)
出力制御部135は、相手と会議を行う利用者の端末装置10に相手情報を会議の会議中に表示するよう制御する。具体的には、出力制御部135は、利用者の端末装置10に抽出部132によって抽出された相手情報を会議の会議中に表示するよう制御する。より具体的には、出力制御部135は、利用者の端末装置10に抽出部132によって抽出された相手情報を会議の会議中に送信する。
例えば、出力制御部135は、利用者の端末装置10に、会議が開始されてから第1時間以内(例えば、5分以内)に相手情報を表示するよう制御する。例えば、出力制御部135は、利用者の端末装置10に、会議が開始されてから第1時間以内(例えば、5分以内)に抽出部132によって抽出された関連情報を表示するよう制御する。
また、出力制御部135は、判定部133によって相手によって相手情報に関する発言が行われたと判定された場合に、利用者の端末装置10に相手情報を表示するよう制御する。例えば、出力制御部135は、判定部133によって相手によって議事録情報に関する発言が行われたと判定された場合に、利用者の端末装置10に議事録情報を表示するよう制御する。
また、出力制御部135は、利用者の端末装置10にレポート情報を表示するよう制御する。具体的には、出力制御部135は、利用者の端末装置10に生成部134によって生成されたレポート情報を会議の会議後に表示するよう制御する。例えば、出力制御部135は、利用者の端末装置10に、生成部134によって生成された会議中の各時刻における相手の表情状態を示すスコア、視線移動量を示すスコア、頷き度合を示すスコア、および発言量を示すスコアを視覚化した共感情報を表示するよう制御する。また、出力制御部135は、利用者の端末装置10に、生成部134によって抽出された共感スコアが高い方から所定の順位以内(例えば、上位2位以内)の各順位に対応する各時刻における伝達内容を示す共有画面の画像(例えば、共有画面に表示されたスライドの画像)と共感情報における時刻とを視覚的に対応付けた画像を表示するよう制御する。また、出力制御部135は、利用者の端末装置10に、生成部134によって抽出された共感スコアが低い方から所定の順位以内(例えば、下位1位内)の各順位に対応する各時刻における伝達内容を示す共有画面の画像(例えば、共有画面に表示されたスライドの画像)と共感情報における時刻とを視覚的に対応付けた画像を表示するよう制御する。
〔5.変形例〕
上述した実施形態に係る情報処理システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
〔5-1.高齢者向けの電話による詐欺被害防止サービス〕
まず、情報処理システム1の構想を応用した特殊使用例について説明する。
〔5-1-1.概要〕
情報処理装置100が、振り込め詐欺やオレオレ詐欺等をリアルタイムで検知して電話中に高齢者に対して出力する。これにより、情報処理装置100は、振り込め詐欺やオレオレ詐欺等の被害を抑えることができる。
〔5-1-2.従来技術との差別化〕
従来、『迷惑電話ブロック』と呼ばれる、危険な電話番号から着信があった際に、その旨が表示されるサービスが存在する。『迷惑電話ブロック』では、警察から振り込め詐欺やオレオレ詐欺等に用いられた危険な電話番号の情報提供を受ける。そして、危険な電話番号から着信があった際に、その旨を表示する。しかしながら、『迷惑電話ブロック』では、事前に危険な電話番号として特定されていない電話番号から着信があった場合には、危険な電話番号から着信があったかどうかを判断することができないため、警告を表示することができない。
そこで、情報処理装置100は、詐欺に使われそうなセリフや詐欺を繰り返す人の声紋情報から、電話中に危険な電話であると判断してその場で警告する。これにより、情報処理装置100は、事前に危険な電話番号として特定されていない電話番号(例えば、新しい電話番号)から着信があった場合であっても、危険な電話番号からの電話である旨の警告を表示することができる。なお、高齢者の方は、警告表示があったとしてもその情報をうまく使えない可能性ある。そこで、情報処理装置100は、近親者の身近な音声により警告を出力する。これにより、情報処理装置100は、高齢者の方が警告の情報を受け入れやすいように高齢者の方に対して働きかけることができる。
〔5-1-3-1.電話前〕
電話前は、図1で説明したオンライン会議前に相当する。情報処理装置100は、悪事を働く人やその動向を検知できるように事前に詐欺情報を仕込む。具体的には、情報処理装置100は、詐欺情報の一例として、詐欺を働く際によく使われるセリフや過去に詐欺を働いた人の声紋情報を抽出する。例えば、情報処理装置100は、危険な電話番号が特定できている場合に、録音された電話の音声情報に基づいて、詐欺を働く際によく使われるセリフや過去に詐欺を働いた人の声紋情報を詐欺情報として抽出する。続いて、情報処理装置100は、詐欺情報を抽出すると、抽出した詐欺情報を記憶する。
〔5-1-3-2.電話中〕
電話中は、図2で説明したオンライン会議中に相当する。情報処理装置100は、詐欺を働く人から電話がかかってきた場合、高齢者の方が電話を受ける耳と反対側に装着している補聴器から相手に聞こえないように「詐欺ですよ」と密かに伝える。具体的には、情報処理装置100は、電話の相手の音声情報に基づいて、電話の相手によって詐欺に関する発言が行われたか否かを判定する。例えば、情報処理装置100は、電話の相手の音声情報と事前に記憶した詐欺情報との比較に基づいて、電話の相手によって詐欺に関する発言が行われたか否かを判定してもよい。情報処理装置100は、電話の相手によって詐欺に関する発言が行われたと判定した場合には、事前に高齢者の近親者の方が登録しておいた音声によって「詐欺ですよ」という音声を高齢者の方が装着している補聴器から出力する。
〔5-1-3-3.電話後〕
電話後は、図3で説明したオンライン会議後に相当する。情報処理装置100は、高齢者の近親者の方等の端末装置に危険な電話があったことの注意喚起を促す警告の通知を出力する。
〔5-1-4.その他の効果〕
なお、上記のサービスが社会に浸透していくと、悪事を働く人間にとっての抑止力にもなる。
〔5-2.その他の変形例〕
上述した図1~図3では、情報処理装置100がオンライン会議の会議前に会議の相手の相手情報を抽出して会議中に利用者の端末装置10に相手情報を表示する例について説明したが、オンライン会議でなくてもよい。例えば、抽出部132は、電話会議や通常の対面会議の会議前に会議の相手の相手情報を抽出する。出力制御部135は、電話会議や通常の対面会議の会議中に利用者の端末装置10に相手情報を表示してもよい。
また、上述した図1では、情報処理装置100が参加者情報の一例として相手の所属情報に基づいて相手の所属組織と利用者の所属組織との関連情報を抽出する例について説明したが、参加者情報はこれに限られない。具体的には、抽出部132は、参加者情報の一例として、相手の所属組織と利用者の所属組織との関係性に基づいて、相手情報として、相手の所属組織と利用者の所属組織との関連情報を抽出してもよい。例えば、抽出部132は、相手の所属組織と利用者の所属組織との関係性が、親会社と子会社であるという関係性に基づいて、関連情報を抽出してもよい。
また、上述した図2では、情報処理装置100が会議の相手によって相手情報に関する発言が行われた場合に利用者の端末装置10に相手情報を表示する例について説明したが、端末装置10に相手情報を表示するタイミングはこれに限られない。具体的には、判定部133は、会議の参加者による無言状態が第2時間以上続いたか否かを判定する。例えば、判定部133は、取得部131によって取得された参加者の音声データに基づいて、参加者による無言状態が第2時間以上続いたか否かを判定する。出力制御部135は、判定部133によって無言状態が第2時間以上続いたと判定された場合に、利用者の端末装置10に相手情報を表示するよう制御する。
図1~図2では、情報処理装置100が会議前に異なる組織に属する相手の相手情報を抽出して会議中に利用者の端末装置10に相手情報を表示する例について説明したが、会議の相手が利用者と同じ組織に属する初対面の相手であってもよい。例えば、抽出部132は、相手の氏名や所属部署の情報に基づいて、相手の社員情報を抽出してもよい。出力制御部135は、利用者の端末装置10に相手の社員情報を会議の会議中に表示するよう制御する。
〔6.効果〕
上述してきたように、実施形態に係る情報処理装置100は、抽出部132と出力制御部135を備える。抽出部132は、会議の参加者の参加者情報に基づいて、会議の相手の相手情報を会議が開始される前に抽出する。出力制御部135は、相手と会議を行う利用者の端末装置10に相手情報を会議の会議中に表示するよう制御する。具体的には、会議は、オンライン会議である。
このように、情報処理装置100は、利用者に対して会議中に会議の相手の相手情報を提供するので、相手との会議における情報不足を補うことができる。これにより、情報処理装置100は、会議中に両者のコミュニケーションを促すことができる。したがって、情報処理装置100は、利用者が初対面の相手とのオンライン会議を円滑に進められるよう支援可能にすることができる。
また、抽出部132は、参加者情報として、相手の所属情報に基づいて、相手情報として、相手の所属組織と利用者の所属組織との関連情報を抽出する。出力制御部135は、利用者の端末装置10に関連情報を会議の会議中に表示するよう制御する。また、抽出部132は、参加者情報として、相手の所属組織と利用者の所属組織との関係性に基づいて、相手情報として、相手の所属組織と利用者の所属組織との関連情報を抽出する。出力制御部135は、利用者の端末装置10に関連情報を会議の会議中に表示するよう制御する。
これにより、情報処理装置100は、利用者に対して会議中に相手の所属組織と利用者の所属組織との関連情報を提供するので、初対面の相手との会議における情報不足を補うことができる。これにより、情報処理装置100は、会議中に両者のコミュニケーションを促すことができる。
また、抽出部132は、インターネット上に公開されている関連情報を抽出する。出力制御部135は、利用者の端末装置10にインターネット上に公開されている関連情報を会議の会議中に表示するよう制御する。
これにより、情報処理装置100は、インターネット上に公開されているニュース記事等の情報資源を活用して利用者に対して相手情報を提供することができるので、会議の相手の相手情報をより効率よく提供することができる。
また、抽出部132は、参加者情報として、利用者の所属組織内の利用者以外の他の利用者と相手との会議実績を示す情報に基づいて、相手情報として、他の利用者と相手との会議内容に関する情報を抽出する。出力制御部135は、利用者の端末装置10に会議内容に関する情報を会議の会議中に表示するよう制御する。また、抽出部132は、会議内容に関する情報として、他の利用者と相手との会議の議事録に関する議事録情報を抽出する。出力制御部135は、利用者の端末装置10に議事録情報を会議の会議中に表示するよう制御する。
これにより、情報処理装置100は、初対面の相手の組織と利用者の所属組織との過去の会議に関する情報を利用者に提供することができるので、利用者が過去の会議に関する内容を踏まえて初対面の相手とのオンライン会議を円滑に進められるよう支援可能にすることができる。
また、抽出部132は、機密情報として取り扱う機密レベルを示す情報が付された議事録情報を抽出する。出力制御部135は、利用者の端末装置10に機密レベルを示す情報が付された議事録情報を会議の会議中に表示するよう制御する。
これにより、情報処理装置100は、機密情報が漏れないように、適切な情報を利用者に対して提供することができる。
また、出力制御部135は、利用者の端末装置10に会議が開始されてから第1時間以内に相手情報を表示するよう制御する。
これにより、情報処理装置100は、会議の冒頭のアイスブレイク等に使える共通話題を会議の冒頭で利用者に対して提供することができるで、会議の冒頭で両者のコミュニケーションを促すことができる。
また、情報処理装置100は、判定部133をさらに備える。判定部133は、相手によって相手情報に関する発言が行われたか否かを判定する。出力制御部135は、判定部133によって相手によって相手情報に関する発言が行われたと判定された場合に、利用者の端末装置10に相手情報を表示するよう制御する。
これにより、情報処理装置100は、相手との会話の流れを汲んだ相手情報を会議中に利用者に対して提供することができるので、利用者が初対面の相手とのオンライン会議を円滑に進められるよう支援可能にすることができる。
また、判定部133は、会議の参加者による無言状態が第2時間以上続いたか否かを判定する。出力制御部135は、判定部133によって無言状態が第2時間以上続いたと判定された場合に、利用者の端末装置10に相手情報を表示するよう制御する。
これにより、情報処理装置100は、会議中の会話が途切れたタイミングで利用者に対して相手情報を提供することができるので、会議中の会話の再開を促すきっかけを与えることができる。ひいては、情報処理装置100は、利用者が初対面の相手とのオンライン会議を円滑に進められるよう支援可能にすることができる。
また、情報処理装置100は、生成部134をさらに備える。生成部134は、会議の会議中の相手の情報に基づいて、会議の内容に対する相手の反応に関するレポート情報を生成する。出力制御部135は、利用者の端末装置10にレポート情報を表示するよう制御する。
このように、情報処理装置100は、利用者に対して会議後に会議中の相手の反応に関するレポート情報を提供するので、利用者がレポート情報を相手との次回以降の会議に活用することを可能にする。したがって、情報処理装置100は、利用者が初対面の相手との次回以降のオンライン会議を円滑に進められるよう支援可能にすることができる。
また、生成部134は、レポート情報として、相手が利用者によって伝達される伝達内容に共感する度合いを示す共感スコアであって、会議の会議中の各時刻における共感スコアを視覚化した共感情報を生成する。出力制御部135は、利用者の端末装置10に共感情報を表示するよう制御する。また、生成部134は、共感スコアとして、会議の会議中の相手の表情状態、視線移動量、頷き度合、または発言量のうち少なくともいずれか1つを示すスコアを視覚化した共感情報を生成する。
これにより、情報処理装置100は、利用者の伝達内容に対する相手の共感度合に関するレポート情報を利用者に対して会議後に提供するので、相手の共感度合が高かった伝達内容や相手の共感度合が低かった伝達内容を利用者が把握しやくすることを可能にする。
また、生成部134は、レポート情報として、共感スコアが高い方から所定の順位以内の各順位に対応する各時刻における伝達内容を示す第1伝達情報、または共感スコアが低い方から所定の順位以内の各順位に対応する各時刻における伝達内容を示す第2伝達情報のうち少なくともいずれか一方を抽出する。出力制御部135は、利用者の端末装置10に第1伝達情報または第2伝達情報のうち少なくともいずれか一方を表示するよう制御する。
これにより、情報処理装置100は、相手の共感度合が特に高かった伝達内容や相手の共感度合が特に低かった伝達内容を利用者が把握しやくすることを可能にする。具体的には、情報処理装置100は、利用者が共感スコアのベストに対応する時刻における伝達内容をより相手にアピールまたは踏み込むためのネタとして役立てる(次回以降の会議の資料準備も含め)ことを可能にする。また、情報処理装置100は、利用者が共感スコアのワーストに対応する時刻における伝達内容を無駄なやりとりをなくしその他のアピールまたは踏み込みの時間にあてることを可能にする。
また、抽出部132は、利用者にとって初対面の相手の相手情報を抽出する。
これにより、情報処理装置100は、利用者に対して会議中に会議の相手の相手情報を提供するので、初対面の相手との会議における情報不足を補うことができる。したがって、情報処理装置100は、利用者が初対面の相手とのオンライン会議を円滑に進められるよう支援可能にすることができる。
〔7.ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置100は、例えば図9に示すような構成のコンピュータ1000によって実現される。図9は、情報処理装置100の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔8.その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、抽出部は、抽出手段や抽出回路に読み替えることができる。
1 情報処理システム
1A 情報処理システム
10 端末装置
100 情報処理装置
110 通信部
120 記憶部
121 参加者情報記憶部
122 相手情報記憶部
123 センサ情報記憶部
124 レポート情報記憶部
130 制御部
131 取得部
132 抽出部
133 判定部
134 生成部
135 出力制御部

Claims (18)

  1. 会議の相手の前記会議の会議中の情報に基づいて、前記会議の内容に対する前記相手の反応に関するレポート情報を生成する生成部と、
    前記相手と前記会議を行った利用者の端末装置に前記レポート情報を表示するよう制御する出力制御部と、
    を備え
    前記生成部は、
    前記レポート情報として、前記利用者が前記会議の会議中に前記相手に伝達した伝達内容に対して前記相手が共感する度合いを示す共感スコアであって、前記会議の会議中の各時刻における前記共感スコアを算出し、前記共感スコアの高さを示す順位が所定の範囲の順位以内の各順位に対応する各時刻における前記相手の画面に表示された画面情報を抽出し、抽出した前記画面情報と、前記画面情報が前記相手の画面に表示された表示時刻に関する情報と、前記表示時刻における前記共感スコアの高さを示す順位に関する情報とを視覚的に対応付けた情報である表示情報を生成し、
    前記出力制御部は、
    前記利用者の端末装置に前記表示情報を表示するよう制御する、
    情報処理装置。
  2. 前記会議の参加者の参加者情報に基づいて、前記会議の相手の相手情報を前記会議が開始される前に抽出する抽出部をさらに備え、
    前記出力制御部は、
    前記相手と前記会議を行う利用者の端末装置に前記相手情報を前記会議の会議中に表示するよう制御する、
    請求項1に記載の情報処理装置。
  3. 前記抽出部は、
    前記参加者情報として、前記相手の所属情報に基づいて、前記相手情報として、前記相手の所属組織と前記利用者の所属組織との関連情報を抽出し、
    前記出力制御部は、
    前記利用者の端末装置に前記関連情報を前記会議の会議中に表示するよう制御する、
    請求項に記載の情報処理装置。
  4. 前記抽出部は、
    前記参加者情報として、前記相手の所属組織と前記利用者の所属組織との関係性に基づいて、前記相手情報として、前記相手の所属組織と前記利用者の所属組織との関連情報を抽出し、
    前記出力制御部は、
    前記利用者の端末装置に前記関連情報を前記会議の会議中に表示するよう制御する、
    請求項またはに記載の情報処理装置。
  5. 前記抽出部は、
    インターネット上に公開されている前記関連情報を抽出し、
    前記出力制御部は、
    前記利用者の端末装置に前記インターネット上に公開されている前記関連情報を前記会議の会議中に表示するよう制御する、
    請求項またはに記載の情報処理装置。
  6. 前記抽出部は、
    前記参加者情報として、前記利用者の所属組織内の前記利用者以外の他の利用者と前記相手との会議実績を示す情報に基づいて、前記相手情報として、前記他の利用者と前記相手との会議内容に関する情報を抽出し、
    前記出力制御部は、
    前記利用者の端末装置に前記会議内容に関する情報を前記会議の会議中に表示するよう制御する、
    請求項のいずれか1項に記載の情報処理装置。
  7. 前記抽出部は、
    前記会議内容に関する情報として、前記他の利用者と前記相手との会議の議事録に関する議事録情報を抽出し、
    前記出力制御部は、
    前記利用者の端末装置に前記議事録情報を前記会議の会議中に表示するよう制御する、
    請求項に記載の情報処理装置。
  8. 前記抽出部は、
    機密情報として取り扱う機密レベルを示す情報が付された前記議事録情報を抽出し、
    前記出力制御部は、
    前記利用者の端末装置に前記機密レベルを示す情報が付された前記議事録情報を前記会議の会議中に表示するよう制御する、
    請求項に記載の情報処理装置。
  9. 前記出力制御部は、
    前記利用者の端末装置に前記会議が開始されてから第1時間以内に前記相手情報を表示するよう制御する、
    請求項のいずれか1項に記載の情報処理装置。
  10. 前記相手によって前記相手情報に関する発言が行われたか否かを判定する判定部をさらに備え、
    前記出力制御部は、
    前記判定部によって前記相手によって前記相手情報に関する発言が行われたと判定された場合に、前記利用者の端末装置に前記相手情報を表示するよう制御する、
    請求項のいずれか1項に記載の情報処理装置。
  11. 前記会議の参加者による無言状態が第2時間以上続いたか否かを判定する判定部をさらに備え、
    前記出力制御部は、
    前記判定部によって前記無言状態が第2時間以上続いたと判定された場合に、前記利用者の端末装置に前記相手情報を表示するよう制御する、
    請求項10のいずれか1項に記載の情報処理装置。
  12. 前記生成部は、
    前記共感スコアとして、前記会議の会議中の前記相手の表情状態、視線移動量、頷き度合、または発言量のうち少なくともいずれか1つを示すスコアを算出する、
    請求項1~11のいずれか1項に記載の情報処理装置。
  13. 前記生成部は、
    前記レポート情報として、前記共感スコアが高い方から第1の順位以内の各順位に対応する各時刻における前記相手の画面に表示された第1の画面情報、または前記共感スコアが低い方から第2の順位以内の各順位に対応する各時刻における前記相手の画面に表示された第2の画面情報のうち少なくともいずれか一方を抽出し、抽出した前記第1の画面情報と、前記第1の画面情報が前記相手の画面に表示された第1の表示時刻に関する情報と、前記第1の表示時刻における前記共感スコアの高さを示す順位に関する情報とを視覚的に対応付けた情報である第1の表示情報、または、抽出した前記第2の画面情報と、前記第2の画面情報が前記相手の画面に表示された第2の表示時刻に関する情報と、前記第2の表示時刻における前記共感スコアの高さを示す順位に関する情報とを視覚的に対応付けた情報である第2の表示情報のうち少なくともいずれか一方を生成し、
    前記出力制御部は、
    前記利用者の端末装置に前記第1の表示情報または前記第2の表示情報のうち少なくともいずれか一方を表示するよう制御する、
    請求項1~12のいずれか1項に記載の情報処理装置。
  14. 前記抽出部は、
    前記利用者にとって初対面の前記相手の前記相手情報を抽出する、
    請求項11のいずれか1項に記載の情報処理装置。
  15. 前記会議は、オンライン会議である、
    請求項1~14のいずれか1項に記載の情報処理装置。
  16. コンピュータが実行する情報処理方法であって、
    会議の相手の前記会議の会議中の情報に基づいて、前記会議の内容に対する前記相手の反応に関するレポート情報を生成する生成工程と、
    前記相手と前記会議を行った利用者の端末装置に前記レポート情報を表示するよう制御する出力制御工程と、
    を含み、
    前記生成工程は、
    前記レポート情報として、前記利用者が前記会議の会議中に前記相手に伝達した伝達内容に対して前記相手が共感する度合いを示す共感スコアであって、前記会議の会議中の各時刻における前記共感スコアを算出し、前記共感スコアの高さを示す順位が所定の範囲の順位以内の各順位に対応する各時刻における前記相手の画面に表示された画面情報を抽出し、抽出した前記画面情報と、前記画面情報が前記相手の画面に表示された表示時刻に関する情報と、前記表示時刻における前記共感スコアの高さを示す順位に関する情報とを視覚的に対応付けた情報である表示情報を生成し、
    前記出力制御工程は、
    前記利用者の端末装置に前記表示情報を表示するよう制御する、
    情報処理方法。
  17. 会議の相手の前記会議の会議中の情報に基づいて、前記会議の内容に対する前記相手の反応に関するレポート情報を生成する生成手順と、
    前記相手と前記会議を行った利用者の端末装置に前記レポート情報を表示するよう制御する出力制御手順と、
    をコンピュータに実行させ
    前記生成手順は、
    前記レポート情報として、前記利用者が前記会議の会議中に前記相手に伝達した伝達内容に対して前記相手が共感する度合いを示す共感スコアであって、前記会議の会議中の各時刻における前記共感スコアを算出し、前記共感スコアの高さを示す順位が所定の範囲の順位以内の各順位に対応する各時刻における前記相手の画面に表示された画面情報を抽出し、抽出した前記画面情報と、前記画面情報が前記相手の画面に表示された表示時刻に関する情報と、前記表示時刻における前記共感スコアの高さを示す順位に関する情報とを視覚的に対応付けた情報である表示情報を生成し、
    前記出力制御手順は、
    前記利用者の端末装置に前記表示情報を表示するよう制御する、
    情報処理プログラム。
  18. 情報処理装置と、利用者の端末装置とを含む情報処理システムであって、
    前記情報処理装置は、
    会議の相手の前記会議の会議中の情報に基づいて、前記会議の内容に対する前記相手の反応に関するレポート情報を生成する生成部と、
    前記相手と前記会議を行った利用者の端末装置に前記レポート情報を表示するよう制御する出力制御部と、
    を備え、
    前記生成部は、
    前記レポート情報として、前記利用者が前記会議の会議中に前記相手に伝達した伝達内容に対して前記相手が共感する度合いを示す共感スコアであって、前記会議の会議中の各時刻における前記共感スコアを算出し、前記共感スコアの高さを示す順位が所定の範囲の順位以内の各順位に対応する各時刻における前記相手の画面に表示された画面情報を抽出し、抽出した前記画面情報と、前記画面情報が前記相手の画面に表示された表示時刻に関する情報と、前記表示時刻における前記共感スコアの高さを示す順位に関する情報とを視覚的に対応付けた情報である表示情報を生成し、
    前記出力制御部は、
    前記利用者の端末装置に前記表示情報を表示するよう制御し、
    前記利用者の端末装置は、
    前記表示情報を表示する、
    情報処理システム。
JP2020163954A 2020-09-29 2020-09-29 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム Active JP7170013B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020163954A JP7170013B2 (ja) 2020-09-29 2020-09-29 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020163954A JP7170013B2 (ja) 2020-09-29 2020-09-29 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Publications (2)

Publication Number Publication Date
JP2022056128A JP2022056128A (ja) 2022-04-08
JP7170013B2 true JP7170013B2 (ja) 2022-11-11

Family

ID=80998731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020163954A Active JP7170013B2 (ja) 2020-09-29 2020-09-29 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Country Status (1)

Country Link
JP (1) JP7170013B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122839A (ja) 2007-11-13 2009-06-04 Sharp Corp 電子会議支援システム
JP2011061314A (ja) 2009-09-07 2011-03-24 Konica Minolta Business Technologies Inc 会議システム、会議管理装置、端末装置およびプログラム
JP2017016566A (ja) 2015-07-06 2017-01-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6239797B1 (ja) 2017-01-07 2017-11-29 株式会社エグゼクティブ 企業情報通知システム及び営業支援システム
JP2020144642A (ja) 2019-03-07 2020-09-10 京セラドキュメントソリューションズ株式会社 営業支援システムおよび営業支援プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6814604B2 (ja) * 2016-11-01 2021-01-20 シャープ株式会社 会議情報表示システム、会議情報表示方法および会議情報表示プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122839A (ja) 2007-11-13 2009-06-04 Sharp Corp 電子会議支援システム
JP2011061314A (ja) 2009-09-07 2011-03-24 Konica Minolta Business Technologies Inc 会議システム、会議管理装置、端末装置およびプログラム
JP2017016566A (ja) 2015-07-06 2017-01-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6239797B1 (ja) 2017-01-07 2017-11-29 株式会社エグゼクティブ 企業情報通知システム及び営業支援システム
JP2020144642A (ja) 2019-03-07 2020-09-10 京セラドキュメントソリューションズ株式会社 営業支援システムおよび営業支援プログラム

Also Published As

Publication number Publication date
JP2022056128A (ja) 2022-04-08

Similar Documents

Publication Publication Date Title
CN110392913B (zh) 在共用的启用语音的装置上处理呼叫
US8290132B2 (en) Communications history log system
US9398128B2 (en) Identifying a contact based on a voice communication session
US8090159B2 (en) Apparatus and method for identifying a name corresponding to a face or voice using a database
US7787612B2 (en) Method and system for requesting help
JP2010113167A (ja) 有害顧客検知システム、その方法及び有害顧客検知プログラム
JP2008242318A (ja) 対話を検出する装置、方法およびプログラム
US8855280B1 (en) Communication detail records (CDRs) containing media for communications in controlled-environment facilities
JP2018207143A (ja) 顧客応対システム、顧客応対方法、顧客応対装置、及びプログラム
JP2005275890A (ja) プレゼンス情報発行装置およびシステムならびにプログラム
CN107430851A (zh) 发言提示装置、发言提示方法以及程序
US11677558B2 (en) System and method for customizing inmate communication notification
JP7207425B2 (ja) 対話装置、対話システムおよび対話プログラム
JP2012160793A (ja) テレビ会議システム及びテレビ会議用装置並びにプログラム
Schulze et al. Conversational context helps improve mobile notification management
US20150229765A1 (en) Telephone directory management apparatus, telephone directory management system, and telephone directory management method
US11381675B2 (en) Command based interactive system and a method thereof
US9860373B2 (en) Caller identification apparatus, caller identification method, and recording medium on which caller identification program has been stored
CN110569726A (zh) 一种服务机器人的交互方法及系统
JP7170013B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
WO2018061824A1 (ja) 情報処理装置、情報処理方法およびプログラム記録媒体
JP6779658B2 (ja) 詐欺防止システム、詐欺防止装置、ユーザー端末、詐欺防止方法、及びプログラム
TWI359603B (en) A personal reminding apparatus and method thereof
JP2022163463A (ja) コミュニケーションロボット
TWI835304B (zh) 人工智能聲控銀行交易系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7170013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150