JP7152453B2 - 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。

近年、複数の拠点間でのオンラインでの会議を可能とするオンライン会議に関する技術の開発がますます盛んになっている。例えば、オンライン会議の各出席者の音声データおよび画像データを取得し、取得した各出席者の音声データおよび画像データに基づいて、音声データにおける各発言の発言者を特定し、取得した各出席者の音声データを発言の時系列でタイムラインとして出力する技術が知られている。

特開２０１９－６１５９４号公報

オンライン会議におけるユーザビリティを向上させる技術が求められている。

実施形態に係る情報処理装置は、オンライン会議に関する会議情報に基づいて、前記オンライン会議の参加者の端末装置に出力される情報であって、前記オンライン会議を補完する情報である補完情報をカスタマイズする生成部と、前記生成部によってカスタマイズされた前記補完情報を前記参加者の端末装置に出力するよう制御する出力制御部と、を備える。
また、前記生成部は、前記会議情報として、前記オンライン会議における参加者の役割を示す役割情報に基づいて、前記補完情報を参加者に応じてカスタマイズする。
また、前記生成部は、前記役割情報として、処理対象の参加者が前記オンライン会議で取り扱われる内容に関与する度合いを示すスコアである関与度に基づいて、前記補完情報を参加者に応じてカスタマイズする。
また、前記生成部は、前記役割情報として、処理対象の参加者が前記オンライン会議で取り扱われる内容に関して有する権限の大きさを示す情報に基づいて、前記補完情報を参加者に応じてカスタマイズする。
また、前記生成部は、前記役割情報として、処理対象の参加者が前記オンライン会議における話し手または聞き手のうちいずれであるかを示す情報に基づいて、前記補完情報を参加者に応じてカスタマイズする。
また、前記生成部は、前記会議情報として、前記オンライン会議の種類を示す会議種別情報に基づいて、前記補完情報を参加者に応じてカスタマイズする。
また、前記生成部は、前記会議種別情報として、前記オンライン会議の一の参加者である話し手が前記オンライン会議の他の参加者である聞き手に対して所定の内容を伝達する種類の報告型会議であることを示す情報に基づいて、前記補完情報を参加者に応じてカスタマイズする。
また、前記生成部は、前記補完情報として、前記報告型会議であることを示す情報である前記会議種別情報に基づいて、前記聞き手が前記話し手によって伝達される内容に共感する度合いを示すスコアである共感度に対応するレベルを視覚化した共感度情報を前記話し手用に生成することで、前記共感度情報を前記話し手用にカスタマイズし、前記出力制御部は、前記共感度情報を前記話し手の端末装置に表示するよう制御する。
また、前記生成部は、前記聞き手の内面情報および外見情報から前記聞き手の前記共感度を示すスコアを推定するよう学習された学習モデルを用いて前記聞き手の前記共感度を示すスコアを推定する。
また、前記生成部は、前記補完情報として、前記共感度を前記聞き手それぞれに対応する重みで重み付けした重み付き共感度に対応するレベルを視覚化した重み付き共感度情報を前記話し手用に生成することで、前記重み付き共感度情報を前記話し手用にカスタマイズし、前記出力制御部は、前記重み付き共感度情報を前記話し手の端末装置に表示するよう制御する。
また、前記生成部は、前記聞き手が前記話し手によって伝達される内容に関して有する権限の大きさを示す情報または前記聞き手が前記話し手によって伝達される内容に関与する度合いを示すスコアである関与度のうち少なくともいずれか１つに基づいて、前記聞き手それぞれに対応する重みを決定する。
また、前記生成部は、前記会議種別情報として、前記オンライン会議の一の参加者である話し手が前記オンライン会議の他の参加者である聞き手に対して所定の内容を伝達する種類の報告型会議の会議時間の長さが所定の閾値を超える長時間報告型会議であることを示す情報に基づいて、前記補完情報を参加者に応じてカスタマイズする。
また、前記生成部によって生成される補完情報の提供先となる前記聞き手を特定する判定部をさらに備え、前記生成部は、前記長時間報告型会議であることを示す情報である前記会議種別情報に基づいて、前記補完情報として、前記判定部によって特定された聞き手に対して前記所定の内容に関与する可能性があることを通知する通知画像を前記特定された聞き手用に生成することで、前記通知画像を前記特定された聞き手用にカスタマイズし、前記出力制御部は、前記通知画像を前記特定された聞き手の端末装置に表示するよう制御する。
また、前記判定部は、前記所定の内容に関するキーパーソンである参加者を特定し、前記生成部は、前記長時間報告型会議であることを示す情報である前記会議種別情報に基づいて、前記補完情報として、前記判定部によって特定されたキーパーソンを含む部分画像の表示態様を変更した変更画像を前記特定された聞き手用に生成することで、前記変更画像を前記特定された聞き手用にカスタマイズし、前記出力制御部は、前記変更画像を前記特定された聞き手の端末装置に表示するよう制御する。
また、前記生成部は、前記会議情報として、前記オンライン会議の参加者の発話の内容に関する発話情報に基づいて、前記補完情報として、前記オンライン会議で取り扱われる２次元物体または３次元物体の構造を示す物体情報の表示態様を変更した物体画像を生成することで、前記物体画像をカスタマイズし、前記出力制御部は、前記物体画像を前記参加者の端末装置に表示するよう制御する。
また、前記生成部は、前記会議情報として、前記オンライン会議の一の参加者の感情を示す情報に基づいて、前記補完情報として、前記一の参加者の表情が前記感情に反して見えるよう加工した加工画像を生成することで、前記加工画像をカスタマイズし、前記出力制御部は、前記一の参加者以外の他の参加者の端末装置に前記加工画像を表示するよう制御する。
また、前記生成部は、前記会議情報として、前記オンライン会議の一の参加者の感情を示す情報に基づいて、前記補完情報として、前記一の参加者の音声が前記感情に反して聞こえるよう加工した加工音声を生成することで、前記加工音声をカスタマイズし、前記出力制御部は、前記一の参加者以外の他の参加者の端末装置に前記加工音声を音声により出力するよう制御する。
また、前記生成部は、前記会議情報として、前記オンライン会議の一の参加者の感情を示す情報に基づいて、前記補完情報として、前記オンライン会議における休憩のタイミングを示す休憩情報および前記休憩のタイミングであることを通知する通知情報を生成することで、前記休憩情報および前記通知情報をカスタマイズし、前記出力制御部は、前記休憩情報に基づく前記休憩のタイミングに合わせて参加者それぞれの端末装置に前記通知情報を出力するよう制御する。
また、実施形態に係る情報処理方法は、コンピュータが実行する情報処理方法であって、オンライン会議に関する会議情報に基づいて、前記オンライン会議の参加者の端末装置に出力される情報であって、前記オンライン会議を補完する情報である補完情報をカスタマイズする生成工程と、前記生成工程によってカスタマイズされた前記補完情報を前記参加者の端末装置に出力するよう制御する出力制御工程と、を含む。
また、実施形態に係る情報処理プログラムは、オンライン会議に関する会議情報に基づいて、前記オンライン会議の参加者の端末装置に出力される情報であって、前記オンライン会議を補完する情報である補完情報をカスタマイズする生成手順と、前記生成手順によってカスタマイズされた前記補完情報を前記参加者の端末装置に出力するよう制御する出力制御手順と、をコンピュータに実行させることを特徴とする。
また、実施形態に係る情報処理システムは、情報処理装置と、オンライン会議の参加者の端末装置とを含む情報処理システムであって、前記情報処理装置は、オンライン会議に関する会議情報に基づいて、前記オンライン会議の参加者の端末装置に出力される情報であって、前記オンライン会議を補完する情報である補完情報をカスタマイズする生成部と、前記生成部によってカスタマイズされた前記補完情報を前記参加者の端末装置に出力するよう制御する出力制御部と、を備え、前記参加者の端末装置は、前記生成部によってカスタマイズされた前記補完情報を出力する。

図１は、実施形態に係る情報処理の概要を説明するための図である。 図２は、実施形態に係る情報処理の一例を示す図である。 図３は、実施形態に係る情報処理システムの構成例を示す図である。 図４は、実施形態に係る情報処理システムの他の構成例を示す図である。 図５は、実施形態に係る情報処理装置の構成例を示す図である。 図６は、実施形態に係る会議情報記憶部の一例を示す図である。 図７は、実施形態に係る会議情報記憶部の一例を示す図である。 図８は、実施形態に係る情報処理手順を示すフローチャートである。 図９は、第１の変形例に係る情報処理の一例を示す図である。 図１０は、第２の変形例に係る情報処理の一例を示す図である。 図１１は、第３の変形例に係る情報処理の一例を示す図である。 図１２は、共感度の算出処理の一例を示す図である。 図１３は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（実施形態）
〔１．はじめに〕
近年、新型コロナウイルス感染症対策等により、テレワークを導入する企業が増加している。また、テレワーク導入に伴い、ビデオ会議やＷｅｂ会議といったオンライン会議を利用する機会がますます増加している。

一般的に、オンライン会議は、対面会議と比べると、情報不足に起因するデメリットが存在すると言われている。具体的には、オンライン会議は、対面会議と比べて、他の参加者の表情や雰囲気、温度感といった情報をとらえにくい場合がある。また、オンライン会議は、対面会議と比べて、論点が複雑な議論には不向きな場合がある。また、オンライン会議は、対面会議と比べて、特に参加者の人数が多くなってくると、言語情報のみでは認識のずれが生じやすい場合がある。

そこで近年、オンライン会議での情報不足を解決するための技術が開発されている。例えば、オンライン会議の参加者の脳波を測定することで、参加者の感情を定量化して可視化することが可能な技術が知られている（参考ＵＲＬ：https://www.dentsusciencejam.com/VAA/）。また、ＶＲの会議空間で複数の参加者が資料や画像、動画をＶＲ空間に並べながら共同作業を行うことが可能な技術が知られている（参考ＵＲＬ：https://neutrans.space/product/biz/）。また、オンライン会議の複数の参加者が同じ空間で一つのホワイトボードを共有しながら会議を行っているかのような３次元没入型体験を提供するデジタルホワイトボードに関する技術が知られている（参考ＵＲＬ：https://dl.acm.org/doi/10.1145/2702123.2702160）。

しかしながら、オンライン会議での情報不足を補完する補完情報が多いと、情報過多によって、かえってオンライン会議ツールが使いにくくなる場合が生じうる。そのため、オンライン会議を補完する補完情報を状況に応じてカスタマイズして、参加者ごとに適切に表示するまたは出力する技術が望まれている。そこで、本願発明は、会議種類や参加者の役割に応じてオンライン会議の補完情報を的確に処理して、参加者に提供する技術を提供する。これにより、本願発明は、オンライン会議における補完情報の情報過多によるユーザビリティの低下を防ぐことができる。また、本願発明は、オンライン会議の参加者に応じて適切な補完情報を提供することができる。したがって、本願発明は、オンライン会議におけるユーザビリティを向上させることができる。

〔２．情報処理の概要〕
まず、図１を用いて、実施形態に係る情報処理の概要について説明する。図１は、実施形態に係る情報処理の概要を説明するための図である。図１に示す情報処理は、実施形態に係る情報処理システム１によって実現される。情報処理システム１には、端末装置１０と、情報処理装置１００とが含まれる。以下の説明では、実施形態に係る情報処理として、端末装置１０および情報処理装置１００が協働して行う情報処理について説明する。本実施形態では、情報処理装置１００は、実施形態に係る情報処理プログラムを実行し、端末装置１０と協働することで、実施形態に係る情報処理を行う。図１では、情報処理装置１００が、オンライン会議の種類や参加者の役割に基づいてソリューションを最適化して、参加者それぞれに最適化されたソリューションを提供する。

まず、情報処理装置１００は、オンライン会議の会議種別を決定する（ステップＳ１）。具体的には、情報処理装置１００は、「発散する」会議（例えば、ブレインストーミング、アイデア出し会等）、「教える」会議（例えば、トレーニング、勉強会、研修、説明会等）、「整理する」会議（例えば、連絡会、協議会、スケジューリング会等）、「報告する」会議、「決定する」会議（例えば、経営会議、役員会議等）または「区切る」会議（例えば、年始会、決起会、キックオフミーティング、中間報告会、成果報告会等）といった複数の会議種別の中からオンライン会議の参加者によって選択された会議種別を端末装置１０から受け付ける。例えば、「報告する」会議とは、オンライン会議の参加者である話し手から他の参加者である聞き手に対して所定の内容が伝達される種類の会議を意味する。なお、以下では、「報告する」会議のことを「報告型会議」と記載する場合がある。続いて、情報処理装置１００は、端末装置１０から受け付けた会議種別に基づいて処理を実行することを決定する。図１に示す例では、情報処理装置１００は、「報告する」会議という会議種別に基づいて処理を実行することを決定する。

続いて、情報処理装置１００は、会議種別に基づいて、オンライン会議の情報不足を解決するためのソリューションを決定する（ステップＳ２）。具体的には、情報処理装置１００は、あらかじめ会議種別と紐づけられたソリューションに関する処理を実行することを決定する。図１に示す例では、情報処理装置１００は、「報告する」会議と紐づけられたソリューションである「熱量や空気感の共有」、「伝達状況のフィードバック」、「快適な会議空間の維持」、「意見収集のサポート・効率化」に関する処理を実行することを決定する。

続いて、情報処理装置１００は、オンライン会議における参加者の役割を示す役割情報に基づいて、決定された各ソリューションを最適化する処理を実行する（ステップＳ３）。具体的には、情報処理装置１００は、各ソリューションに関する補完情報を生成する。続いて、情報処理装置１００は、役割情報に基づいて、補完情報をカスタマイズする。図１に示す例では、情報処理装置１００は、「伝達状況のフィードバック」に関する補完情報を生成する。続いて、情報処理装置１００は、役割情報に基づいて、「伝達状況のフィードバック」に関する補完情報を参加者ごとにカスタマイズする。

続いて、情報処理装置１００は、参加者ごとにカスタマイズされた補完情報を参加者それぞれに適用する（ステップＳ４）。具体的には、情報処理装置１００は、参加者ごとにカスタマイズされた補完情報を参加者それぞれの端末装置１０に出力する。図１に示す例では、情報処理装置１００は、参加者の役割が会議における話し手であるか聞き手であるかに基づいて、参加者ごとにカスタマイズされた補完情報を参加者の端末装置１０に出力する。より具体的には、情報処理装置１００は、参加者の役割が会議における話し手である場合には、話し手による伝達内容の聞き手に対する伝達状況を示す補完情報を話し手の端末装置１０に出力する。一方、情報処理装置１００は、参加者の役割が会議における聞き手である場合には、伝達状況を知る必要がないため、伝達状況を示す補完情報を聞き手の端末装置１０に出力しないようにする。

なお、情報処理装置１００は、参加者の役割が会議における聞き手である場合には、聞き手のその他の役割情報に基づいてカスタマイズされた補完情報を聞き手それぞれの端末装置１０に出力してもよい。例えば、情報処理装置１００は、聞き手の役職に基づいて、聞き手ごとにカスタマイズされた補完情報を聞き手それぞれの端末装置１０に出力してもよい。例えば、情報処理装置１００は、聞き手の役職が管理職である場合には、会議内容に関する実務に携わる可能性が低いので、詳細な内容の代わりに、話し手によって伝達される内容を要約した補完情報を管理職である聞き手の端末装置１０に出力してもよい。一方、情報処理装置１００は、聞き手の役職が一般社員である場合には、会議内容に関する実務に携わる可能性が高いので、話し手によって伝達される内容の詳細に関する補完情報を一般社員である聞き手の端末装置１０に出力してもよい。

また、情報処理装置１００は、聞き手の役割が話し手によって伝達される内容に関するプロジェクトの関係者であるか否かに基づいて、聞き手ごとにカスタマイズされた補完情報を聞き手それぞれの端末装置１０に出力してもよい。この点については、後述する図２を用いて詳細に説明する。

〔３．情報処理の一例〕
次に、図２を用いて、実施形態に係る情報処理の一例について説明する。図２は、実施形態に係る情報処理の一例を示す図である。図２に示す情報処理は、実施形態に係る情報処理システム１によって実現される。

図２の説明に先立って、図３を用いて、実施形態に係る情報処理システム１の構成について説明する。図３は、実施形態に係る情報処理システム１の構成例を示す図である。図３に示すように、情報処理システム１には、端末装置１０と、情報処理装置１００とが含まれる。端末装置１０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図３に示す情報処理システム１には、任意の数の端末装置１０と任意の数の情報処理装置１００とが含まれてもよい。

端末装置１０は、オンライン会議の参加者（以下、「参加者」ともいう）によって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）や、ヘッドマウントディスプレイ等である。本実施形態では、端末装置１０は、ノート型ＰＣであるものとする。

また、端末装置１０には、オンライン会議システムを利用するためのアプリケーション（以下、「オンライン会議アプリ」ともいう）がインストールされている。端末装置１０は、オンライン会議アプリに対する操作を行うための各種画像（例えば、ツールバーやアイコン等）を画面に表示する。また、端末装置１０には、カメラ、マイク、スピーカーなどの機能を有するデバイスが接続されている。端末装置１０は、それぞれのデバイスから入力された映像や音声を複数の拠点間で送受信する。

また、端末装置１０には、参加者の物理的な状態を検知する各種のセンサが接続されている。例えば、端末装置１０には、上述したカメラやマイクに加えて、脳波センサや心拍センサといったセンサが接続されている。端末装置１０は、各種のセンサによって、参加者の物理的な状態を示すセンサ情報を検出する。例えば、端末装置１０は、センサ情報の一例として、カメラによって参加者の画像を検出する。また、端末装置１０は、センサ情報の一例として、マイクによって参加者の音声を検出する。また、端末装置１０は、センサ情報の一例として、脳波センサによって参加者の脳波を検出する。また、端末装置１０は、センサ情報の一例として、心拍センサによって参加者の心拍数を検出する。端末装置１０は、センサ情報を検出すると、検出したセンサ情報を情報処理装置１００に送信する。

また、端末装置１０は、情報処理装置１００から補完情報を受信する。端末装置１０は、補完情報を受信すると、補完情報を出力する。例えば、端末装置１０は、補完情報が画像である場合には、補完情報を画面に表示する。また、端末装置１０は、補完情報が音声である場合には、補完情報をスピーカーから出力する。

なお、図３に示すように、端末装置１０を利用する参加者に応じて、端末装置１０を端末装置１０－１～１０－Ｎ（Ｎは自然数）のように区別して説明する場合がある。例えば、端末装置１０－１は、図２に示す参加者Ｕ２１によって利用される端末装置１０である。また、例えば、端末装置１０－２は、図２に示す参加者Ｕ２２によって利用される端末装置１０である。また、例えば、端末装置１０－３は、図２に示す参加者Ｕ２３によって利用される端末装置１０である。また、以下では、端末装置１０－１～１０－Ｎ（Ｎは自然数）について、特に区別なく説明する場合には、端末装置１０と記載する。

情報処理装置１００は、図１で説明した処理を実行する情報処理装置である。具体的には、情報処理装置１００は、オンライン会議に関する会議情報に基づいて、オンライン会議の参加者の端末装置１０に出力される情報であって、オンライン会議を補完する情報である補完情報をカスタマイズする。また、情報処理装置１００は、カスタマイズされた補完情報を参加者の端末装置１０に出力するよう制御する。具体的には、情報処理装置１００は、参加者ごとにカスタマイズされた補完情報を生成すると、生成した補完情報を参加者の端末装置１０に送信する。

ここで、補完情報とは、オンライン会議において参加者の端末装置１０に通常出力される情報以外の情報を指す。例えば、オンライン会議において参加者の端末装置１０に通常出力される情報には、オンライン会議アプリに対する操作を行うための各種画像（例えば、ツールバーやアイコン等）、他の参加者の映像や音声といった情報が含まれる。また、補完情報をカスタマイズすることには、補完情報を生成することに加えて、オンライン会議において参加者の端末装置１０に通常出力される情報に変更を加えることが含まれる。

上述した図３では、実施形態に係る情報処理システムが中央処理型（集中型ともいう）のコンピューティングシステムである例について説明したが、情報処理システムの構成はこれに限られない。図４を用いて、実施形態に係る情報処理システムの他の構成について説明する。図４は、実施形態に係る情報処理システムの他の構成例を示す図である。図４に示す情報処理システム１Ａは、複数台の端末装置１０で構成される分散型コンピューティングシステムである。情報処理システム１Ａは、複数台の端末装置１０がネットワークを介して互いに接続されている。また、図４に示す情報処理システム１Ａでは、それぞれの端末装置１０に図３で説明した情報処理装置１００の機能が実装されている。以下では、図４に示すように、端末装置１０を利用する参加者に応じて、端末装置１０を端末装置１０－１～１０－Ｎ（Ｎは自然数）のように区別して説明する。

図４に示す端末装置１０は、図１で説明した処理を実行する情報処理装置である。具体的には、端末装置１０－ｉ（ｉは１～Ｎまでの自然数）は、オンライン会議に関する会議情報に基づいて、オンライン会議の参加者の端末装置１０－ｊ（ｊは１～Ｎまでの自然数、但しｊ≠ｉ）に出力される情報であって、オンライン会議を補完する情報である補完情報をカスタマイズする。また、端末装置１０－ｉは、カスタマイズされた補完情報を参加者の端末装置１０－ｊに出力するよう制御する。具体的には、端末装置１０－ｉは、参加者ごとにカスタマイズされた補完情報を生成すると、生成した補完情報を参加者の端末装置１０－ｊに送信する。

ここから、図２の説明に戻る。図２では、オンライン会議を用いて、話し手である参加者Ｕ１１（以下、「話し手Ｕ１１」ともいう）が聞き手である参加者Ｕ２１～Ｕ２３（以下、「聞き手Ｕ２１～Ｕ２３」ともいう）に対してプロジェクトＡに関する報告を行っている。また、図２に示すオンライン会議は、会議時間が所定の閾値（例えば、２時間）を超える長時間の報告型会議である。また、３人の聞き手のうち、聞き手Ｕ２１は、プロジェクトＡに関与する度合い（以下、「プロジェクトＡへの関与度」ともいう）が低い参加者である。また、聞き手Ｕ２２は、プロジェクトＡへの関与度が中程度の参加者である。また、聞き手Ｕ２３は、プロジェクトＡへの関与度が高い参加者である。

このとき、情報処理装置１００は、３人の聞き手のプロジェクトＡへの関与度に基づいて、プロジェクトＡへの関与度が中程度である聞き手Ｕ２２に対する補完情報を生成する。具体的には、情報処理装置１００は、補完情報の一例として、聞き手Ｕ２２に対する注意喚起を促すための点滅中のランプを示す通知画像Ｇ１を生成する。続いて、情報処理装置１００は、話し手Ｕ１１によって聞き手Ｕ２２に関係する内容が発言されたタイミングで、点滅中のランプを示す通知画像Ｇ１を端末装置１０－２の画面に表示する。具体的には、情報処理装置１００は、あらかじめ聞き手Ｕ２２と紐づけて記憶されているキーワード３が話し手Ｕ１１の発言に登場したタイミングで、点滅中のランプを示す通知画像Ｇ１を端末装置１０－２の画面に表示する。

このように、情報処理装置１００は、話し手によって伝達される内容への関与度が低い聞き手（図３の例では、聞き手Ｕ２１）に対しては、会議中に特別な注意喚起を促す必要がないことから、補完情報を出力しない。また、情報処理装置１００は、話し手によって伝達される内容への関与度が高い聞き手（図３の例では、聞き手Ｕ２３）に対しては、注意喚起を促すまでもなく会議の内容に集中していると考えられるため、補完情報を出力しない。一方、情報処理装置１００は、話し手によって伝達される内容への関与度が中程度である聞き手（図３の例では、聞き手Ｕ２２）に対しては、会議中に関与する場面で注意喚起を促す補完情報を出力する。これにより、情報処理装置１００は、例えば、長時間のオンライン会議において、関与度が中程度の聞き手が会議の最初から最後まで常時会議に集中することを要することなく、聞き手に関係する場面のみ集中して会議に参加することを可能にする。また、情報処理装置１００は、オンライン会議の参加者に応じた適切な補完情報を提供することができる。すなわち、情報処理装置１００は、オンライン会議の参加者それぞれが個人に特化された最適な情報を受け取ることを可能にする。したがって、本願発明は、オンライン会議におけるユーザビリティを向上させることができる。

〔４．情報処理装置の構成〕
次に、図５を用いて、実施形態に係る情報処理装置１００の構成について説明する。図５は、実施形態に係る情報処理装置１００の構成例を示す図である。図５に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、端末装置１０との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、図５に示すように、事前情報記憶部１２１とマスタ情報記憶部１２２と会議情報記憶部１２３とレポート情報記憶部１２４を有する。

（事前情報記憶部１２１）
事前情報記憶部１２１は、オンライン会議の開始前に参加者によって事前に登録されたオンライン会議に関する会議情報を記憶する。例えば、事前情報記憶部１２１は、会議の種類（会議種別）、会議の目的、参加者の立場（役割）、および参加者による設定に関する情報を記憶する。図２に示す例では、事前情報記憶部１２１は、会議種別が「報告型会議」であるという情報を記憶する。また、事前情報記憶部１２１は、会議の目的が「プロジェクトＡに関する報告」であるという情報を記憶する。また、事前情報記憶部１２１は、参加者の立場（役割）として、参加者Ｕ１１が「話し手」であり、参加者Ｕ２１～Ｕ２３が「聞き手」であるという情報を記憶する。また、事前情報記憶部１２１は、参加者それぞれを識別可能な識別情報「Ｕ２１」～「Ｕ２３」と参加者Ｕ２１～Ｕ２３それぞれのプロジェクトＡへの関与度を対応付けて記憶してもよい。

（マスタ情報記憶部１２２）
マスタ情報記憶部１２２は、オンライン会議に関する各種のマスタ情報を記憶する。例えば、マスタ情報記憶部１２２は、図１に示す会議種別、ソリューションの定義、最適化処理の定義、および後述するレポートの定義に関するマスタ情報を記憶する。

（会議情報記憶部１２３）
会議情報記憶部１２３は、オンライン会議に関する各種の情報を記憶する。例えば、会議情報記憶部１２３は、会議中の参加者の音声、映像、脳波、心拍、および共有画面の画像に関する情報を記憶する。また、会議情報記憶部１２３は、事前情報記憶部１２１に記憶されている会議情報を記憶してもよい。

（レポート情報記憶部１２４）
レポート情報記憶部１２４は、オンライン会議に対する評価内容に関する情報を記憶する。例えば、レポート情報記憶部１２４は、会議の内容に対する参加者それぞれの共感度や理解度を示す情報を記憶する。また、レポート情報記憶部１２４は、参加者の評価（主観と客観）を示す情報を記憶してもよい。

また、記憶部１２０は、各種の学習モデルに関する情報を記憶する。例えば、記憶部１２０は、参加者の共感度を推定する学習モデルに関する情報を記憶する。例えば、記憶部１２０は、参加者の共感度を推定する学習モデルの接続係数に関する情報を記憶する。

（制御部１３０）
図５の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図５に示すように、制御部１３０は、取得部１３１と、判定部１３２と、生成部１３３と、出力制御部１３４とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（取得部１３１）
取得部１３１は、各種の情報を取得する。具体的には、取得部１３１は、会議の種類（会議種別）、会議の目的、参加者の立場（役割）、および参加者による設定に関する情報を端末装置１０から取得する。また、取得部１３１は、会議中の参加者の音声、映像、脳波、心拍、および共有画面の画像に関する情報を端末装置１０から取得する。

（判定部１３２）
判定部１３２は、生成部１３３によって生成される補完情報の提供先となる聞き手を特定する。ここで、図６および図７を用いて、判定部１３２が補完情報の提供先となる聞き手を特定する処理の一例について説明する。図６および図７は、実施形態に係る会議情報記憶部の一例を示す図である。

まず、図６に示す会議情報記憶部１２３Ａは、オンライン会議の参加者である聞き手それぞれに関連するキーワードと聞き手を識別する識別情報を対応付けて記憶する。図６に示す例では、聞き手Ｕ２１を識別する識別情報「Ｕ２１」と聞き手Ｕ２１に関連するキーワード１、キーワード２、キーワード３が対応付けて記憶されている。また、聞き手Ｕ２２を識別する識別情報「Ｕ２２」と聞き手Ｕ２２に関連するキーワード１、キーワード３、キーワード５が対応付けて記憶されている。また、聞き手Ｕ２３を識別する識別情報「Ｕ２３」と聞き手Ｕ２３に関連するキーワード５、キーワード７、キーワード９が対応付けて記憶されている。

判定部１３２は、話し手の音声情報に基づいて、会議情報記憶部１２３Ａに記憶されているいずれかのキーワードが話し手の発言に含まれるか否かを判定する。例えば、判定部１３２は、公知の音声認識技術を用いて、話し手による発話の音声情報を文字情報に変換する。続いて、判定部１３２は、話し手による発話の文字情報に会議情報記憶部１２３Ａに記憶されているキーワードが含まれるか否かを判定する。図２に示す例では、判定部１３２は、話し手Ｕ１１による発話の音声情報に基づいて、会議情報記憶部１２３Ａに記憶されているキーワード３が話し手Ｕ１１の発言に含まれると判定する。

続いて、判定部１３２は、会議情報記憶部１２３Ａに記憶されている特定のキーワードが話し手の発言に含まれると判定した場合、特定のキーワードと対応付けられた参加者を特定する。図２に示す例では、判定部１３２は、会議情報記憶部１２３Ａに記憶されているキーワード３が話し手Ｕ１１の発言に含まれると判定した場合、会議情報記憶部１２３Ａを参照して、キーワード３と対応付けられた参加者として、聞き手Ｕ２１とＵ２２を特定する。

次に、図７に示す会議情報記憶部１２３Ｂは、オンライン会議の参加者である聞き手それぞれの各プロジェクトへの参加状況と聞き手を識別する識別情報を対応付けて記憶する。図７に示す例では、「Ｕ２１」で識別される聞き手Ｕ２１のプロジェクトＡへの参加状況は「参加」であり、プロジェクトＢへの参加状況は「不参加」である。また、「Ｕ２２」で識別される聞き手Ｕ２２のプロジェクトＡへの参加状況は「不参加」であり、プロジェクトＢへの参加状況は「不参加」である。また、「Ｕ２３」で識別される聞き手Ｕ２３のプロジェクトＡへの参加状況は「不参加」であり、プロジェクトＢへの参加状況は「参加」である。

判定部１３２は、キーワード３と対応付けられた参加者を特定した場合、事前情報記憶部１２１を参照して、会議の目的から「プロジェクトＡ」という単語を抽出する。続いて、判定部１３２は、会議情報記憶部１２３Ｂを参照して、キーワード３と対応付けられた参加者として特定された聞き手のうち、抽出した単語である「プロジェクトＡ」への参加状況が「不参加」である聞き手を特定する。図２に示す例では、判定部１３２は、会議情報記憶部１２３Ｂを参照して、キーワード３と対応付けられた参加者として特定された聞き手Ｕ２１とＵ２２のうち、プロジェクトＡへの参加状況が「不参加」である参加者として、聞き手Ｕ２２を特定する。続いて、判定部１３２は、聞き手Ｕ２２を補完情報の提供先と特定する。このようにして、判定部１３２は、話し手によって伝達される内容（図２の例では、プロジェクトＡ）に関与していない聞き手であって、聞き手と対応付けて記憶された属性情報（図２の例では、キーワード３）から会議の内容に関係すると判定された聞き手を補完情報の提供先として特定する。

（生成部１３３）
生成部１３３は、オンライン会議に関する会議情報に基づいて、オンライン会議の参加者の端末装置１０に出力される情報であって、オンライン会議を補完する情報である補完情報をカスタマイズする。具体的には、生成部１３３は、会議情報の一例として、オンライン会議の種類を示す会議種別情報に基づいて、補完情報を参加者に応じてカスタマイズする。より具体的には、生成部１３３は、会議種別情報の一例として、オンライン会議の一の参加者である話し手がオンライン会議の他の参加者である聞き手に対して所定の内容を伝達する種類の報告型会議の会議時間の長さが所定の閾値を超える長時間報告型会議であることを示す情報に基づいて、補完情報を参加者に応じてカスタマイズする。

また、生成部１３３は、会議情報の一例として、オンライン会議における参加者の役割を示す役割情報に基づいて、補完情報を参加者に応じてカスタマイズする。例えば、生成部１３３は、役割情報の一例として、処理対象の参加者がオンライン会議における話し手または聞き手のうちいずれであるかを示す情報に基づいて、補完情報を参加者に応じてカスタマイズする。

また、生成部１３３は、役割情報の一例として、処理対象の参加者がオンライン会議で取り扱われる内容に関与する度合いを示すスコアである関与度に基づいて、補完情報を参加者に応じてカスタマイズする。例えば、生成部１３３は、事前情報記憶部１２１に記憶された関与度を示すスコアに基づいて、参加者ごとに補完情報をカスタマイズする。

図２に示す例では、生成部１３３は、長時間報告型会議であることを示す情報である会議種別情報に基づいて、補完情報の一例として、判定部１３２によって特定された聞き手Ｕ２２に対して所定の内容に関与する可能性があることを通知する通知画像Ｇ１を特定された聞き手Ｕ２２用に生成することで、通知画像Ｇ１を特定された聞き手Ｕ２２用にカスタマイズする。

（出力制御部１３４）
出力制御部１３４は、生成部１３３によってカスタマイズされた補完情報を参加者の端末装置１０に出力するよう制御する。図２に示す例では、出力制御部１３４は、生成部１３３によって通知画像Ｇ１が生成されると、通知画像Ｇ１を聞き手Ｕ２２の端末装置１０に表示するよう制御する。具体的には、出力制御部１３４は、通知画像Ｇ１が生成されると、通知画像Ｇ１を聞き手Ｕ２２の端末装置１０に送信する。

〔５．情報処理のフロー〕
次に、図８を用いて、実施形態に係る情報処理の手順について説明する。図８は、実施形態に係る情報処理手順を示すフローチャートである。図８に示すように、端末装置１０は、端末装置１０の参加者から会議情報の入力を受け付ける（ステップＳ１０１）。例えば、端末装置１０は、オンライン会議に関する会議情報として、会議の種類（会議種別）、会議の目的、参加者の立場、または参加者の設定といった情報を入力する。端末装置１０は、会議情報の入力を受け付けると、受け付けた会議情報を情報処理装置１００に送信する。

情報処理装置１００は、端末装置１０から会議情報を受信する（ステップＳ１０２）。情報処理装置１００は、会議情報を受信すると、会議情報に基づいて、実行するソリューションを決定する（ステップＳ１０３）。情報処理装置１００は、実行するソリューションを決定すると、記憶部１２０に会議情報を書き込む（ステップＳ１０４）。例えば、情報処理装置１００は、決定したソリューションに関する情報を事前情報記憶部１２１に書き込む。情報処理装置１００は、端末装置１０から受信した会議情報を会議情報記憶部１２３に書き込む。

その後、会議が開始される（ステップＳ１０５）。情報処理装置１００は、会議が開始されると、会議中の会議情報の収集を開始する（ステップＳ１０６）。例えば、情報処理装置１００は、会議中の会議情報として、参加者の音声、画像、共有画面の画像および環境情報といった情報を端末装置１０から収集することを開始する。

情報処理装置１００は、端末装置１０から会議中の会議情報を受信する（ステップＳ１０７）。例えば、情報処理装置１００は、会議中の会議情報として、参加者の音声、画像、共有画面の画像および環境情報といった情報を端末装置１０から受信する。続いて、情報処理装置１００は、会議中の会議情報を受信すると、会議情報に基づいて、事前に決定したソリューションを補完情報に適用する（ステップＳ１０８）。具体的には、情報処理装置１００は、マスタ情報記憶部１２２を参照して、事前に決定したソリューションの定義を読み込む。続いて、情報処理装置１００は、会議情報に基づいて、事前に決定したソリューションに関する補完情報に対する最適化処理を行う（ステップＳ１０９）。言い換えると、情報処理装置１００は、会議情報に基づいて、事前に決定したソリューションに関する補完情報をカスタマイズする。情報処理装置１００は、補完情報をカスタマイズすると、カスタマイズされた補完情報を端末装置１０に送信する。

端末装置１０は、情報処理装置１００から最適化処理された補完情報を受信する（ステップＳ１１０）。例えば、ある端末装置１０は、カスタマイズされた補完情報（内容Ａ）を情報処理装置１００から受信する。また、別の端末装置１０は、カスタマイズされた補完情報（内容Ｂ）を情報処理装置１００から受信する。

その後、会議が終了する（ステップＳ１１１）。会議が終了すると、情報処理装置１００は、会議情報記憶部１２３から会議中の処理情報を読み込む（ステップＳ１１２）。続いて、情報処理装置１００は、会議中の処理情報に基づいて、会議に関するレポートを作成する（ステップＳ１１３）。情報処理装置１００は、レポートを作成すると、作成したレポートをレポート情報記憶部１２４に記憶する。

〔６．変形例〕
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。

〔６－１．第１の変形例〕
まず、図９を用いて、第１の変形例に係る情報処理について説明する。図９は、第１の変形例に係る情報処理の一例を示す図である。図９では、図２と同様に、オンライン会議を用いて、話し手Ｕ１１が聞き手Ｕ２１～Ｕ２３に対してプロジェクトＡに関する報告を行っている。また、図９に示すオンライン会議は、会議時間が所定の閾値（例えば、２時間）を超える長時間の報告型会議である。また、３人の聞き手のうち、聞き手Ｕ２１は、プロジェクトＡへの関与度が低い参加者である。また、聞き手Ｕ２２は、プロジェクトＡへの関与度が中程度の参加者である。また、聞き手Ｕ２３は、プロジェクトＡへの関与度が高い参加者である。

図９に示す例では、判定部１３２は、図２と同様にして、補完情報の提供先として、プロジェクトＡへの関与度が中程度の参加者である聞き手Ｕ２２を特定する。続いて、判定部１３２は、話し手Ｕ１１によって伝達される内容であるプロジェクトＡに関するキーパーソンである参加者Ｕ２３を特定する。例えば、判定部１３２は、参加者Ｕ２１～Ｕ２３それぞれのプロジェクトＡへの関与度が事前情報記憶部１２１に記憶されている場合に、事前情報記憶部１２１を参照して、関与度を示すスコアが所定の閾値を超える参加者Ｕ２３をキーパーソンとして特定する。

また、生成部１３３は、補完情報の一例として、判定部１３２によって特定されたキーパーソンである参加者Ｕ２３を含む部分画像を拡大した変更画像Ｇ２を特定された聞き手Ｕ２２用に生成することで、変更画像Ｇ２を特定された聞き手Ｕ２２用にカスタマイズする。出力制御部１３４は、変更画像Ｇ２を特定された聞き手Ｕ２２の端末装置１０－２に表示するよう制御する。

このように、情報処理装置１００は、話し手によって伝達される内容への関与度が低い聞き手（図９の例では、聞き手Ｕ２１）に対しては、会議中に特別な注意喚起を促す必要がないことから、補完情報を出力しない。また、情報処理装置１００は、話し手によって伝達される内容への関与度が高い聞き手（図９の例では、聞き手Ｕ２３）に対しては、注意喚起を促すまでもなく会議の内容に集中していると考えられるため、補完情報を出力しない。一方、情報処理装置１００は、話し手によって伝達される内容への関与度が中程度である聞き手（図９の例では、聞き手Ｕ２２）に対しては、キーパーソンを拡大して表示する。これにより、情報処理装置１００は、例えば、長時間のオンライン会議において、関与度が中程度の聞き手が会議の内容に関するキーパーソンを把握することを可能にする。また、情報処理装置１００は、オンライン会議の参加者に応じた適切な補完情報を提供することができる。したがって、本願発明は、オンライン会議におけるユーザビリティを向上させることができる。

〔６－２．第２の変形例〕
次に、図１０を用いて、第２の変形例に係る情報処理について説明する。図１０は、第２の変形例に係る情報処理の一例を示す図である。図１０では、図２と同様に、オンライン会議を用いて、話し手Ｕ１１が聞き手Ｕ２１～Ｕ２３に対してプロジェクトＡに関する報告を行っている。図１０に示す例では、生成部１３３は、会議種別情報の一例として、報告型会議であることを示す情報に基づいて、話し手Ｕ１１による伝達内容の聞き手に対する伝達状況を示す補完情報を生成する。

具体的には、生成部１３３は、補完情報の一例として、聞き手が話し手によって伝達される内容に共感する度合いを示すスコアである共感度に対応するレベルを視覚化した共感度情報（例えば、画像）を話し手用に生成することで、共感度情報を話し手用にカスタマイズする。図１０に示す例では、生成部１３３は、聞き手Ｕ２１～Ｕ２３それぞれの共感度に対応するレベルを視覚化した共感度画像Ｇ２１～Ｇ２３を話し手Ｕ１１用に生成する。出力制御部１３４は、共感度画像Ｇ２１～Ｇ２３を話し手の端末装置１０に表示するよう制御する。

これにより、情報処理装置１００は、報告型会議において、会議中に話し手に対して聞き手それぞれへの伝達状況をフィードバックすることを可能とする。したがって、本願発明は、オンライン会議におけるユーザビリティを向上させることができる。

〔６－３．第３の変形例〕
次に、図１１を用いて、第３の変形例に係る情報処理について説明する。図１１は、第３の変形例に係る情報処理の一例を示す図である。図１１では、図１０と同様に、オンライン会議を用いて、話し手Ｕ１１が聞き手Ｕ２１～Ｕ２３に対してプロジェクトＡに関する報告を行っている。図１１に示す例では、生成部１３３は、補完情報の一例として、共感度を聞き手それぞれに対応する重みで重み付けした重み付き共感度に対応するレベルを視覚化した重み付き共感度情報（例えば、画像）を話し手用に生成することで、重み付き共感度情報を話し手用にカスタマイズする。

図１１では、生成部１３３は、プロジェクトＡへの関与度が高く、役割権限が部長職である聞き手Ｕ２３の重みを他の聞き手よりも大きくすることを決定する。例えば、生成部１３３は、聞き手Ｕ２３の重みを「１．０」と決定する。また、生成部１３３は、プロジェクトＡへの関与度が低く、役割権限が一般職である聞き手Ｕ２１の重みを他の聞き手よりも小さくすることを決定する。例えば、生成部１３３は、聞き手Ｕ２１の重みを「０．１」と決定する。また、生成部１３３は、プロジェクトＡへの関与度が最も高いが、役割権限が一般職である聞き手Ｕ２２の重みを他の聞き手の重みを中間程度とすることを決定する。例えば、生成部１３３は、聞き手Ｕ２２の重みを「０．５」と決定する。このように、生成部１３３は、聞き手が話し手によって伝達される内容に関して有する権限の大きさを示す情報または聞き手が話し手によって伝達される内容に関与する度合いを示すスコアである関与度のうち少なくともいずれか１つに基づいて、聞き手それぞれに対応する重みを決定する。

続いて、生成部１３３は、聞き手Ｕ２１～Ｕ２３それぞれの共感度を聞き手Ｕ２１～Ｕ２３それぞれの重みで重み付けした重み付き共感度に対応するレベルを視覚化した重み付き共感度画像Ｇ２４を話し手Ｕ１１用に生成する。出力制御部１３４は、重み付き共感度画像Ｇ２４を話し手Ｕ１１の端末装置１０－１１に表示するよう制御する。

これにより、情報処理装置１００は、報告型会議において、会議中に話し手に対して聞き手全体への伝達状況を一目で確認できる形でフィードバックすることを可能とする。したがって、本願発明は、オンライン会議におけるユーザビリティを向上させることができる。

次に、図１２を用いて、図１０および図１１で説明した共感度の算出処理について説明する。図１２は、共感度の算出処理の一例を示す図である。生成部１３３は、聞き手の内面情報および外見情報から聞き手の共感度を示すスコアを推定するよう学習された学習モデルＭ１を生成する。生成部１３３は、生成した学習モデルＭ１を用いて、聞き手の内面情報および外見情報から聞き手の共感度を示すスコアを推定する。ここで、内面情報とは、具体的には、聞き手の脳波や心拍数といった生体情報を指す。取得部１３１は、端末装置１０から聞き手の脳波や心拍数といった生体情報を取得する。また、外見情報とは、聞き手の表情、視線の移動量、頷き具合を指す。取得部１３１は、端末装置１０から聞き手の画像を取得する。生成部１３３は、取得部１３１によって取得された画像に基づいて、聞き手の表情を示す情報、視線の移動量、頷き具合を示す情報を算出する。

〔６－４．その他の変形例〕
また、生成部１３３は、役割情報の一例として、処理対象の参加者がオンライン会議で取り扱われる内容に関して有する権限の大きさを示す情報に基づいて、補完情報を参加者に応じてカスタマイズする。例えば、生成部１３３は、聞き手の役職が管理職である場合には、会議内容に関する実務に携わる可能性が低いので、詳細な内容の代わりに、話し手によって伝達される内容を要約した補完情報を管理職である聞き手の端末装置１０に出力してもよい。一方、生成部１３３は、聞き手の役職が一般社員である場合には、会議内容に関する実務に携わる可能性が高いので、話し手によって伝達される内容の詳細に関する補完情報を一般社員である聞き手の端末装置１０に出力してもよい。

また、生成部１３３は、会議情報の一例として、オンライン会議の参加者の発話の内容に関する発話情報に基づいて、補完情報をカスタマイズしてもよい。例えば、生成部１３３は、補完情報の一例として、オンライン会議で取り扱われる２次元物体または３次元物体の構造を示す物体情報の表示態様を変更した物体画像を生成することで、物体画像をカスタマイズする。例えば、出力制御部１３４は、判定部１３２によってオンライン会議の参加者の発話にオンライン会議で取り扱われる３次元物体（例えば、装置）の所定の部位を示す単語が含まれると判定された場合に、３次元物体の構造を示す物体画像を参加者の端末装置１０に表示するよう制御する。

また、生成部１３３は、会議情報の一例として、オンライン会議の一の参加者の感情を示す情報に基づいて、補完情報をカスタマイズする。具体的には、生成部１３３は、補完情報の一例として、一の参加者の表情が感情に反して見えるよう加工した加工画像を生成することで、加工画像をカスタマイズする。例えば、生成部１３３は、一の参加者が怒っていたという情報に基づいて、一の参加者の表情が穏やかに見えるよう加工した加工画像を生成する。出力制御部１３４は、一の参加者以外の他の参加者の端末装置１０に加工画像を表示するよう制御する。

また、生成部１３３は、補完情報の一例として、一の参加者の音声が感情に反して聞こえるよう加工した加工音声を生成することで、加工音声をカスタマイズする。例えば、生成部１３３は、一の参加者が怒っているという情報に基づいて、一の参加者の音声が穏やかに聞こえるよう加工した加工音声を生成する。出力制御部１３４は、一の参加者以外の他の参加者の端末装置１０に加工音声を音声により出力するよう制御する。

また、生成部１３３は、補完情報の一例として、オンライン会議における休憩のタイミングを示す休憩情報および休憩のタイミングであることを通知する通知情報を生成することで、休憩情報および通知情報をカスタマイズする。例えば、生成部１３３は、一の参加者が怒っているという情報に基づいて、クールダウンさせるために、オンライン会議における休憩のタイミングを示す休憩情報および休憩のタイミングであることを通知する通知情報を生成する。出力制御部１３４は、休憩情報に基づく休憩のタイミングに合わせて参加者それぞれの端末装置１０に通知情報を出力するよう制御する。

〔７．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、生成部１３３と出力制御部１３４を備える。生成部１３３は、オンライン会議に関する会議情報に基づいて、オンライン会議の参加者の端末装置１０に出力される情報であって、オンライン会議を補完する情報である補完情報をカスタマイズする。出力制御部１３４は、生成部１３３によってカスタマイズされた補完情報を参加者の端末装置１０に出力するよう制御する。

これにより、情報処理装置１００は、会議情報に基づいて、オンライン会議の参加者に応じた適切な補完情報を提供することができる。すなわち、情報処理装置１００は、オンライン会議の参加者それぞれが個人に特化された最適な情報を受け取ることを可能にする。したがって、情報処理装置１００は、オンライン会議におけるユーザビリティを向上させることができる。

また、生成部１３３は、会議情報として、オンライン会議における参加者の役割を示す役割情報に基づいて、補完情報を参加者に応じてカスタマイズする。

これにより、情報処理装置１００は、参加者の役割に応じた適切な補完情報を提供することができる。したがって、情報処理装置１００は、オンライン会議におけるユーザビリティを向上させることができる。

また、生成部１３３は、役割情報として、処理対象の参加者がオンライン会議で取り扱われる内容に関与する度合いを示すスコアである関与度に基づいて、補完情報を参加者に応じてカスタマイズする。

これにより、情報処理装置１００は、参加者の関与度に応じた適切な補完情報を提供することができる。したがって、情報処理装置１００は、オンライン会議におけるユーザビリティを向上させることができる。

また、生成部１３３は、役割情報として、処理対象の参加者がオンライン会議で取り扱われる内容に関して有する権限の大きさを示す情報に基づいて、補完情報を参加者に応じてカスタマイズする。

これにより、情報処理装置１００は、参加者の権限の大きさに応じた適切な補完情報を提供することができる。したがって、情報処理装置１００は、オンライン会議におけるユーザビリティを向上させることができる。

また、生成部１３３は、役割情報として、処理対象の参加者がオンライン会議における話し手または聞き手のうちいずれであるかを示す情報に基づいて、補完情報を参加者に応じてカスタマイズする。

これにより、情報処理装置１００は、参加者の立場に応じた適切な補完情報を提供することができる。したがって、情報処理装置１００は、オンライン会議におけるユーザビリティを向上させることができる。

また、生成部１３３は、会議情報として、オンライン会議の種類を示す会議種別情報に基づいて、補完情報を参加者に応じてカスタマイズする。生成部１３３は、会議種別情報として、オンライン会議の一の参加者である話し手がオンライン会議の他の参加者である聞き手に対して所定の内容を伝達する種類の報告型会議であることを示す情報に基づいて、補完情報を参加者に応じてカスタマイズする。

これにより、情報処理装置１００は、会議種別に応じた適切な補完情報を提供することができる。したがって、情報処理装置１００は、オンライン会議におけるユーザビリティを向上させることができる。

また、生成部１３３は、補完情報として、報告型会議であることを示す情報である会議種別情報に基づいて、聞き手が話し手によって伝達される内容に共感する度合いを示すスコアである共感度に対応するレベルを視覚化した共感度情報を話し手用に生成することで、共感度情報を話し手用にカスタマイズする。出力制御部１３４は、共感度情報を話し手の端末装置１０に表示するよう制御する。

これにより、情報処理装置１００は、話し手に対して聞き手それぞれに対する伝達状況をフィードバックすることを可能にする。したがって、情報処理装置１００は、オンライン会議におけるユーザビリティを向上させることができる。

また、生成部１３３は、補完情報として、共感度を聞き手それぞれに対応する重みで重み付けした重み付き共感度に対応するレベルを視覚化した重み付き共感度情報を話し手用に生成することで、重み付き共感度情報を話し手用にカスタマイズする。出力制御部１３４は、重み付き共感度情報を話し手の端末装置１０に表示するよう制御する。また、生成部１３３は、聞き手が話し手によって伝達される内容に関して有する権限の大きさを示す情報または聞き手が話し手によって伝達される内容に関与する度合いを示すスコアである関与度のうち少なくともいずれか１つに基づいて、聞き手それぞれに対応する重みを決定する。

これにより、情報処理装置１００は、話し手に対して聞き手全体に対する伝達状況をより適切にフィードバックすることを可能にする。したがって、情報処理装置１００は、オンライン会議におけるユーザビリティを向上させることができる。

また、生成部１３３は、会議種別情報として、オンライン会議の一の参加者である話し手がオンライン会議の他の参加者である聞き手に対して所定の内容を伝達する種類の報告型会議の会議時間の長さが所定の閾値を超える長時間報告型会議であることを示す情報に基づいて、補完情報を参加者に応じてカスタマイズする。

これにより、情報処理装置１００は、長時間報告型会議に応じた適切な補完情報を提供することができる。したがって、情報処理装置１００は、オンライン会議におけるユーザビリティを向上させることができる。

また、情報処理装置１００は、判定部１３２をさらに備える。判定部１３２は、生成部１３３によって生成される補完情報の提供先となる聞き手を特定する。生成部１３３は、長時間報告型会議であることを示す情報である会議種別情報に基づいて、補完情報として、判定部１３２によって特定された聞き手に対して所定の内容に関与する可能性があることを通知する通知画像を特定された聞き手用に生成することで、通知画像を特定された聞き手用にカスタマイズする。出力制御部１３４は、通知画像を特定された聞き手の端末装置１０に表示するよう制御する。

これにより、情報処理装置１００は、長時間のオンライン会議において、例えば、関与度が中程度の聞き手が会議の最初から最後まで常時会議に集中することを要することなく、聞き手に関係する場面のみ集中して会議に参加することを可能にする。また、情報処理装置１００は、オンライン会議の参加者に応じた適切な補完情報を提供することができる。したがって、本願発明は、オンライン会議におけるユーザビリティを向上させることができる。

また、判定部１３２は、所定の内容に関するキーパーソンである参加者を特定する。生成部１３３は、長時間報告型会議であることを示す情報である会議種別情報に基づいて、補完情報として、判定部１３２によって特定されたキーパーソンを含む部分画像の表示態様を変更した変更画像を特定された聞き手用に生成することで、変更画像を特定された聞き手用にカスタマイズする。出力制御部１３４は、変更画像を特定された聞き手の端末装置１０に表示するよう制御する。

これにより、情報処理装置１００は、長時間のオンライン会議において、例えば、関与度が中程度の聞き手が会議の内容に関するキーパーソンを把握することを可能にする。また、情報処理装置１００は、オンライン会議の参加者に応じた適切な補完情報を提供することができる。したがって、本願発明は、オンライン会議におけるユーザビリティを向上させることができる。

また、生成部１３３は、会議情報として、オンライン会議の参加者の発話の内容に関する発話情報に基づいて、補完情報として、オンライン会議で取り扱われる２次元物体または３次元物体の構造を示す物体情報の表示態様を変更した物体画像を生成することで、物体画像をカスタマイズする。出力制御部１３４は、物体画像を参加者の端末装置１０に表示するよう制御する。

これにより、情報処理装置１００は、参加者の発話の内容に応じた補完情報を提供することができる。したがって、本願発明は、オンライン会議におけるユーザビリティを向上させることができる。

また、生成部１３３は、会議情報として、オンライン会議の一の参加者の感情を示す情報に基づいて、補完情報として、一の参加者の表情が感情に反して見えるよう加工した加工画像を生成することで、加工画像をカスタマイズする。出力制御部１３４は、一の参加者以外の他の参加者の端末装置１０に加工画像を表示するよう制御する。また、生成部１３３は、会議情報として、オンライン会議の一の参加者の感情を示す情報に基づいて、補完情報として、一の参加者の音声が感情に反して聞こえるよう加工した加工音声を生成することで、加工音声をカスタマイズする。出力制御部１３４は、一の参加者以外の他の参加者の端末装置１０に加工音声を音声により出力するよう制御する。また、生成部１３３は、会議情報として、オンライン会議の一の参加者の感情を示す情報に基づいて、補完情報として、オンライン会議における休憩のタイミングを示す休憩情報および休憩のタイミングであることを通知する通知情報を生成することで、休憩情報および通知情報をカスタマイズする。出力制御部１３４は、休憩情報に基づく休憩のタイミングに合わせて参加者それぞれの端末装置１０に通知情報を出力するよう制御する。

これにより、情報処理装置１００は、参加者の感情に応じた補完情報を提供することができる。したがって、本願発明は、オンライン会議におけるユーザビリティを向上させることができる。

〔８．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図１３に示すような構成のコンピュータ１０００によって実現される。図１３は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔９．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、生成部は、生成手段や生成回路に読み替えることができる。

１ 情報処理システム
１Ａ 情報処理システム
１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 判定部
１３３ 生成部
１３４ 出力制御部

Claims (17)

1. オンライン会議に関する会議情報に基づいて、前記オンライン会議の参加者の端末装置に出力される情報であって、前記オンライン会議を補完する情報である補完情報をカスタマイズする生成部と、
   前記生成部によってカスタマイズされた前記補完情報を前記参加者の端末装置に出力するよう制御する出力制御部と、
   を備え、
   前記生成部は、
   前記会議情報として、前記オンライン会議の種類を示し、前記オンライン会議の一の参加者である話し手が前記オンライン会議の他の参加者である聞き手に対して所定の内容を伝達する種類の報告型会議であることを示す会議種別情報に基づいて、前記補完情報を参加者に応じてカスタマイズし、
   前記補完情報として、前記報告型会議であることを示す情報である前記会議種別情報に基づいて、前記聞き手が前記話し手によって伝達される内容に共感する度合いを示すスコアである共感度に対応するレベルを示す共感度情報を前記話し手用に生成することで、前記共感度情報を前記話し手用にカスタマイズし、
   前記補完情報として、前記共感度を前記聞き手それぞれに対応する重みで重み付けした重み付き共感度に対応するレベルを示す重み付き共感度情報を前記話し手用に生成することで、前記重み付き共感度情報を前記話し手用にカスタマイズし、
   前記出力制御部は、
   前記重み付き共感度情報を前記話し手の端末装置に表示するよう制御する、
   情報処理装置。
2. 前記生成部は、
   前記会議情報として、前記オンライン会議における参加者の役割を示す役割情報に基づいて、前記補完情報を参加者に応じてカスタマイズする、
   請求項１に記載の情報処理装置。
3. 前記生成部は、
   前記役割情報として、処理対象の参加者が前記オンライン会議で取り扱われる内容に関与する度合いを示すスコアである関与度に基づいて、前記補完情報を参加者に応じてカスタマイズする、
   請求項２に記載の情報処理装置。
4. 前記生成部は、
   前記役割情報として、処理対象の参加者が前記オンライン会議で取り扱われる内容に関して有する権限の大きさを示す情報に基づいて、前記補完情報を参加者に応じてカスタマイズする、
   請求項２または３に記載の情報処理装置。
5. 前記生成部は、
   前記役割情報として、処理対象の参加者が前記オンライン会議における話し手または聞き手のうちいずれであるかを示す情報に基づいて、前記補完情報を参加者に応じてカスタマイズする、
   請求項２～４のいずれか１項に記載の情報処理装置。
6. 前記生成部は、
   前記聞き手の内面情報および外見情報から前記聞き手の前記共感度を示すスコアを推定するよう学習された学習モデルを用いて前記聞き手の前記共感度を示すスコアを推定する、
   請求項１～５のいずれか１項に記載の情報処理装置。
7. 前記生成部は、
   前記聞き手が前記話し手によって伝達される内容に関して有する権限の大きさを示す情報または前記聞き手が前記話し手によって伝達される内容に関与する度合いを示すスコアである関与度のうち少なくともいずれか１つに基づいて、前記聞き手それぞれに対応する重みを決定する、
   請求項１～６のいずれか１項に記載の情報処理装置。
8. 前記生成部は、
   前記会議種別情報として、前記オンライン会議の一の参加者である話し手が前記オンライン会議の他の参加者である聞き手に対して所定の内容を伝達する種類の報告型会議の会議時間の長さが所定の閾値を超える長時間報告型会議であることを示す情報に基づいて、前記補完情報を参加者に応じてカスタマイズする、
   請求項１～７のいずれか１項に記載の情報処理装置。
9. 前記生成部によって生成される補完情報の提供先となる前記聞き手を特定する判定部をさらに備え、
   前記生成部は、
   前記長時間報告型会議であることを示す情報である前記会議種別情報に基づいて、前記補完情報として、前記判定部によって特定された聞き手に対して前記所定の内容に関与する可能性があることを通知する通知画像を前記特定された聞き手用に生成することで、前記通知画像を前記特定された聞き手用にカスタマイズし、
   前記出力制御部は、
   前記通知画像を前記特定された聞き手の端末装置に表示するよう制御する、
   請求項８に記載の情報処理装置。
10. 前記判定部は、
    前記所定の内容に関するキーパーソンである参加者を特定し、
    前記生成部は、
    前記長時間報告型会議であることを示す情報である前記会議種別情報に基づいて、前記補完情報として、前記判定部によって特定されたキーパーソンを含む部分画像の表示態様を変更した変更画像を前記特定された聞き手用に生成することで、前記変更画像を前記特定された聞き手用にカスタマイズし、
    前記出力制御部は、
    前記変更画像を前記特定された聞き手の端末装置に表示するよう制御する、
    請求項９に記載の情報処理装置。
11. 前記生成部は、
    前記会議情報として、前記オンライン会議の参加者の発話の内容に関する発話情報に基づいて、前記補完情報として、前記オンライン会議で取り扱われる２次元物体または３次元物体の構造を示す物体情報の表示態様を変更した物体画像を生成することで、前記物体画像をカスタマイズし、
    前記出力制御部は、
    前記物体画像を前記参加者の端末装置に表示するよう制御する、
    請求項１～１０のいずれか１項に記載の情報処理装置。
12. 前記生成部は、
    前記会議情報として、前記オンライン会議の一の参加者の感情を示す情報に基づいて、前記補完情報として、前記一の参加者の表情が前記感情に反して見えるよう加工した加工画像を生成することで、前記加工画像をカスタマイズし、
    前記出力制御部は、
    前記一の参加者以外の他の参加者の端末装置に前記加工画像を表示するよう制御する、
    請求項１～１１のいずれか１項に記載の情報処理装置。
13. 前記生成部は、
    前記会議情報として、前記オンライン会議の一の参加者の感情を示す情報に基づいて、前記補完情報として、前記一の参加者の音声が前記感情に反して聞こえるよう加工した加工音声を生成することで、前記加工音声をカスタマイズし、
    前記出力制御部は、
    前記一の参加者以外の他の参加者の端末装置に前記加工音声を音声により出力するよう制御する、
    請求項１～１２のいずれか１項に記載の情報処理装置。
14. 前記生成部は、
    前記会議情報として、前記オンライン会議の一の参加者の感情を示す情報に基づいて、前記補完情報として、前記オンライン会議における休憩のタイミングを示す休憩情報および前記休憩のタイミングであることを通知する通知情報を生成することで、前記休憩情報および前記通知情報をカスタマイズし、
    前記出力制御部は、
    前記休憩情報に基づく前記休憩のタイミングに合わせて参加者それぞれの端末装置に前記通知情報を出力するよう制御する、
    請求項１～１３のいずれか１項に記載の情報処理装置。
15. コンピュータが実行する情報処理方法であって、
    オンライン会議に関する会議情報に基づいて、前記オンライン会議の参加者の端末装置に出力される情報であって、前記オンライン会議を補完する情報である補完情報をカスタマイズする生成工程と、
    前記生成工程によってカスタマイズされた前記補完情報を前記参加者の端末装置に出力するよう制御する出力制御工程と、
    を含み、
    前記生成工程は、
    前記会議情報として、前記オンライン会議の種類を示し、前記オンライン会議の一の参加者である話し手が前記オンライン会議の他の参加者である聞き手に対して所定の内容を伝達する種類の報告型会議であることを示す会議種別情報に基づいて、前記補完情報を参加者に応じてカスタマイズし、
    前記補完情報として、前記報告型会議であることを示す情報である前記会議種別情報に基づいて、前記聞き手が前記話し手によって伝達される内容に共感する度合いを示すスコアである共感度に対応するレベルを示す共感度情報を前記話し手用に生成することで、前記共感度情報を前記話し手用にカスタマイズし、
    前記補完情報として、前記共感度を前記聞き手それぞれに対応する重みで重み付けした重み付き共感度に対応するレベルを示す重み付き共感度情報を前記話し手用に生成することで、前記重み付き共感度情報を前記話し手用にカスタマイズし、
    前記出力制御工程は、
    前記重み付き共感度情報を前記話し手の端末装置に表示するよう制御する、
    情報処理方法。
16. オンライン会議に関する会議情報に基づいて、前記オンライン会議の参加者の端末装置に出力される情報であって、前記オンライン会議を補完する情報である補完情報をカスタマイズする生成手順と、
    前記生成手順によってカスタマイズされた前記補完情報を前記参加者の端末装置に出力するよう制御する出力制御手順と、
    をコンピュータに実行させ、
    前記生成手順は、
    前記会議情報として、前記オンライン会議の種類を示し、前記オンライン会議の一の参加者である話し手が前記オンライン会議の他の参加者である聞き手に対して所定の内容を伝達する種類の報告型会議であることを示す会議種別情報に基づいて、前記補完情報を参加者に応じてカスタマイズし、
    前記補完情報として、前記報告型会議であることを示す情報である前記会議種別情報に基づいて、前記聞き手が前記話し手によって伝達される内容に共感する度合いを示すスコアである共感度に対応するレベルを示す共感度情報を前記話し手用に生成することで、前記共感度情報を前記話し手用にカスタマイズし、
    前記補完情報として、前記共感度を前記聞き手それぞれに対応する重みで重み付けした重み付き共感度に対応するレベルを示す重み付き共感度情報を前記話し手用に生成することで、前記重み付き共感度情報を前記話し手用にカスタマイズし、
    前記出力制御手順は、
    前記重み付き共感度情報を前記話し手の端末装置に表示するよう制御する、
    ことを特徴とする情報処理プログラム。
17. 情報処理装置と、オンライン会議の参加者の端末装置とを含む情報処理システムであって、
    前記情報処理装置は、
    オンライン会議に関する会議情報に基づいて、前記オンライン会議の参加者の端末装置に出力される情報であって、前記オンライン会議を補完する情報である補完情報をカスタマイズする生成部と、
    前記生成部によってカスタマイズされた前記補完情報を前記参加者の端末装置に出力するよう制御する出力制御部と、
    を備え、
    前記参加者の端末装置は、
    前記生成部によってカスタマイズされた前記補完情報を出力し、
    前記生成部は、
    前記会議情報として、前記オンライン会議の種類を示し、前記オンライン会議の一の参加者である話し手が前記オンライン会議の他の参加者である聞き手に対して所定の内容を伝達する種類の報告型会議であることを示す会議種別情報に基づいて、前記補完情報を参加者に応じてカスタマイズし、
    前記補完情報として、前記報告型会議であることを示す情報である前記会議種別情報に基づいて、前記聞き手が前記話し手によって伝達される内容に共感する度合いを示すスコアである共感度に対応するレベルを示す共感度情報を前記話し手用に生成することで、前記共感度情報を前記話し手用にカスタマイズし、
    前記補完情報として、前記共感度を前記聞き手それぞれに対応する重みで重み付けした重み付き共感度に対応するレベルを示す重み付き共感度情報を前記話し手用に生成することで、前記重み付き共感度情報を前記話し手用にカスタマイズし、
    前記出力制御部は、
    前記重み付き共感度情報を前記話し手の端末装置に表示するよう制御する、
    情報処理システム。

Images