JP7427112B2 - 情報処理装置、表示制御システム、表示制御方法、及び表示制御プログラム - Google Patents

情報処理装置、表示制御システム、表示制御方法、及び表示制御プログラム Download PDF

Info

Publication number
JP7427112B2
JP7427112B2 JP2022570933A JP2022570933A JP7427112B2 JP 7427112 B2 JP7427112 B2 JP 7427112B2 JP 2022570933 A JP2022570933 A JP 2022570933A JP 2022570933 A JP2022570933 A JP 2022570933A JP 7427112 B2 JP7427112 B2 JP 7427112B2
Authority
JP
Japan
Prior art keywords
audience
concentration level
presenter
avatar
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022570933A
Other languages
English (en)
Other versions
JPWO2022137488A1 (ja
Inventor
愛梨 守谷
壮平 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022137488A1 publication Critical patent/JPWO2022137488A1/ja
Application granted granted Critical
Publication of JP7427112B2 publication Critical patent/JP7427112B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理装置、表示制御システム、表示制御方法、及び表示制御プログラムに関する。
近年、ネットワークを介したプレゼンテーションが行われている。例えば、プレゼンテーションは、アバタを用いて、行われる。ここで、アバタに関する技術が提案されている(特許文献1を参照)。特許文献1の集団状態推定装置は、聴衆を撮影した映像を受け取る。集団状態推定装置は、映像に基づいて聴衆全体の状態を推定し、聴衆全体の状態に基づいてアバタを生成する。また、集団状態推定装置は、表情スコアに基づいてスコア値が最大の表情分類を判定し、表情分類の顔の画像データに基づくアバタの顔を生成する。さらに、集団状態推定装置は、頷き状態の割合をもとに、頷きの角度を判定し、頷きの角度に基づいてアバタを下に向ける。
特開2019-219987号公報
発表者は、聴講者がどのくらい集中して聞いているのかを理解したい。聴講者がどのくらい集中して聞いているのかを示す状態は、聴講者の集中状態と呼ぶ。例えば、上記の技術を用いることで、発表者は、聴講者の集中状態を理解することができる。すなわち、発表者は、ディスプレイに表示されているアバタの表情の変化又はアバタの頷きを視認することで、聴講者の集中状態を理解することができる。しかし、発表者が発表をしながら、アバタの表情の変化又はアバタの頷きを視認することは、困難である。そのため、発表者が聴講者の集中状態を容易に理解することは、困難である。
本開示の目的は、容易に、聴講者の集中状態を発表者に理解させることである。
本開示の一態様に係る情報処理装置が提供される。情報処理装置は、発表者が用いる装置である。情報処理装置は、聴講者が用いる聴講者装置の前に存在する前記聴講者の状態を示す聴講者状態情報を取得する取得部と、前記聴講者状態情報に基づいて、前記聴講者の集中度を算出する算出部と、前記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行する生成処理部と、前記発表者が見る表示装置に、生成された画面が表示されるように、表示制御を行う表示制御部と、を有する。
本開示によれば、容易に、聴講者の集中状態を発表者に理解させることができる。
実施の形態1の表示制御システムを示す図である。 実施の形態1の情報処理装置が有するハードウェアを示す図である。 実施の形態1のディスプレイに表示されるアバタの具体例を示す図(その1)である。 実施の形態1の情報処理装置の機能を示すブロック図である。 実施の形態1の表示制御システムで実行される処理の例を示すシーケンス図である。 実施の形態1のディスプレイに表示されるアバタの具体例を示す図(その2)である。 実施の形態1の変形例の表示制御システムで実行される処理の例を示すシーケンス図である。 実施の形態1の変形例のディスプレイに表示されるアバタの具体例を示す図である。 実施の形態1の変形例の情報処理装置が実行する処理を説明するための図である。 実施の形態2の表示制御システムを示す図である。 実施の形態2のサーバの機能を示すブロック図である。 実施の形態2の表示制御システムで実行される処理の例を示すシーケンス図である。 実施の形態2の変形例の表示制御システムで実行される処理の例を示すシーケンス図である。 実施の形態3の表示制御システムを示す図である。 実施の形態3の聴講者装置の機能を示すブロック図である。 実施の形態3の表示制御システムで実行される処理の例を示すシーケンス図である。 実施の形態3の変形例の表示制御システムで実行される処理の例を示すシーケンス図である。
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本開示の範囲内で種々の変更が可能である。
実施の形態1.
図1は、実施の形態1の表示制御システムを示す図である。表示制御システムは、情報処理装置100と情報処理装置200とを含む。情報処理装置100と情報処理装置200とは、ネットワークを介して、通信する。
情報処理装置100は、発表者が用いる装置である。情報処理装置100は、発表者装置と呼んでもよい。情報処理装置100は、表示制御方法を実行する装置である。情報処理装置200は、聴講者が用いる装置である。情報処理装置200は、聴講者装置と呼んでもよい。例えば、情報処理装置100,200は、ノート型、デスクトップ型、又はタブレット型のコンピュータである。
次に、情報処理装置100が有するハードウェアを説明する。
図2は、実施の形態1の情報処理装置が有するハードウェアを示す図である。情報処理装置100は、プロセッサ101、揮発性記憶装置102、及び不揮発性記憶装置103を有する。
プロセッサ101は、情報処理装置100全体を制御する。例えば、プロセッサ101は、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などである。プロセッサ101は、マルチプロセッサでもよい。情報処理装置100は、処理回路を有してもよい。処理回路は、単一回路又は複合回路でもよい。
揮発性記憶装置102は、情報処理装置100の主記憶装置である。例えば、揮発性記憶装置102は、RAM(Random Access Memory)である。不揮発性記憶装置103は、情報処理装置100の補助記憶装置である。例えば、不揮発性記憶装置103は、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)である。
情報処理装置100には、ディスプレイ300、マウス310、キーボード320、撮像装置330、及びマイク340が接続されている。また、情報処理装置100は、ディスプレイ300、キーボード320、撮像装置330、及びマイク340のうちの少なくとも1つを有してもよい。ディスプレイ300は、発表者が見るディスプレイである。ディスプレイ300、マウス310、キーボード320、撮像装置330、及びマイク340は、発表者側のディスプレイ、マウス、キーボード、撮像装置、及びマイクと呼んでもよい。
ここで、ディスプレイは、表示装置とも言う。また、マイクは、マイクロフォンである。
情報処理装置200には、ディスプレイ、マウス、キーボード、撮像装置、及びマイクが接続されている。また、情報処理装置200は、当該ディスプレイ、当該キーボード、当該撮像装置、及び当該マイクのうちの少なくとも1つを有してもよい。当該ディスプレイは、聴講者が見るディスプレイである。なお、当該ディスプレイ、当該マウス、当該キーボード、当該撮像装置、及び当該マイクは、聴講者側のディスプレイ、マウス、キーボード、撮像装置、及びマイクと呼んでもよい。
ここで、発表者は、アバタを用いて、プレゼンテーションを行う。ディスプレイ300に表示されるアバタの例を示す。
図3は、実施の形態1のディスプレイに表示されるアバタの具体例を示す図(その1)である。ディスプレイ300には、発表者アバタ301、聴講者アバタ302、及び範囲303が表示されている。発表者アバタ301は、発表者のアバタである。聴講者アバタ302は、聴講者のアバタである。
発表者アバタ301は、発表者の発話に合わせて発話する。例えば、情報処理装置100は、リップシンクを用いることで、発表者の発話に合わせて発表者アバタ301を話させることができる。また、情報処理装置100は、発表者の声色が変えられた発話を発表者アバタ301に話させてもよい。
範囲303は、チャットの内容が表示される範囲である。例えば、聴講者が入力した文字が、範囲303に表示される。
ディスプレイ300に表示されている画面は、情報処理装置200のディスプレイでも表示されている。そのため、聴講者は、情報処理装置200を介して、発表者のプレゼンテーションを聞くことができる。
次に、情報処理装置100が有する機能を説明する。
図4は、実施の形態1の情報処理装置の機能を示すブロック図である。情報処理装置100は、記憶部110、取得部120、算出部130、生成処理部140、及び表示制御部150を有する。
記憶部110は、揮発性記憶装置102又は不揮発性記憶装置103に確保した記憶領域として実現してもよい。
取得部120、算出部130、生成処理部140、及び表示制御部150の一部又は全部は、処理回路によって実現してもよい。また、取得部120、算出部130、生成処理部140、及び表示制御部150の一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ101が実行するプログラムは、表示制御プログラムとも言う。例えば、表示制御プログラムは、記録媒体に記録されている。
記憶部110は、様々な情報を記憶する。
取得部120は、聴講者状態情報を取得する。例えば、取得部120は、聴講者状態情報を情報処理装置200から取得する。また、例えば、取得部120は、外部装置を介して、聴講者状態情報を取得する。なお、外部装置の図示は、省略されている。聴講者状態情報は、聴講者の状態を示す情報である。聴講者状態情報については、後で詳細に説明する。
算出部130は、聴講者状態情報に基づいて、聴講者の集中度を算出する。算出方法については、後で説明する。なお、集中度は、関心度と読み替えてもよい。
生成処理部140は、集中度に応じた色及び大きさのうちの少なくとも1つが反映された聴講者アバタ302が表示された画面の生成処理を実行する。また、既にディスプレイ300に聴講者アバタ302が表示されている場合、生成処理部140の処理は、次のように表現してもよい。生成処理部140は、集中度に基づいて、ディスプレイ300に表示されている聴講者アバタ302の色及び聴講者アバタ302の大きさのうちの少なくとも1つが変更された聴講者アバタ302が表示された画面の生成処理を実行する。
また、生成処理部140は、集中度が表示された画面の生成処理を実行してもよい。
表示制御部150は、生成された画面がディスプレイ300に表示されるように、表示制御を行う。例えば、ディスプレイ300が情報処理装置100の外部に存在する場合、表示制御部150は、生成された画面と、当該画面の表示指示とをディスプレイ300に送信する。
このように、表示制御部150が表示制御を行うことで、例えば、ディスプレイ300には、集中度に応じた色の聴講者アバタ302が表示される。また、例えば、ディスプレイ300には、集中度に応じた大きさの聴講者アバタ302が表示される。また、例えば、ディスプレイ300には、集中度が表示される。
次に、表示制御システムで実行される処理を、シーケンス図を用いて、説明する。
図5は、実施の形態1の表示制御システムで実行される処理の例を示すシーケンス図である。図5の処理は、定期的に実行される。
(ステップST101)聴講者状態情報は、情報処理装置200に接続されているマウス、キーボード、撮像装置、及びマイクから取得される。情報処理装置200は、聴講者状態情報を情報処理装置100に送信する。なお、情報処理装置200は、聴講者状態情報を自主的に送信してもよい。また、情報処理装置200は、聴講者状態情報の送信指示を情報処理装置100から受信した場合、聴講者状態情報を送信してもよい。
聴講者状態情報は、取得部120に取得される。
(ステップST102)算出部130は、聴講者状態情報に基づいて、聴講者の集中度を算出する。
ここで、聴講者状態情報と集中度の算出方法とを具体的に説明する。また、集中度は、0~100の数値とする。
例えば、聴講者状態情報は、聴講者がマウスを用いて単位時間当たりに行ったクリックの回数である。例えば、単位時間は、1分である。取得部120は、当該クリックの回数を取得する。算出部130は、当該回数に基づいて、集中度を算出する。具体的には、算出部130は、100に対して、1クリック当たりに10を減算する。算出された値が、集中度である。このように、集中度が、当該回数に基づいて、算出される。例えば、聴講者が発表中にクリックを行うことは、聴講者が集中して聞いていないと言える。そのため、算出部130は、当該回数に応じて、低い集中度を算出する。
例えば、聴講者状態情報は、聴講者が単位時間当たりにマウスを動かしている時間である。取得部120は、当該時間を取得する。算出部130は、当該時間に基づいて、集中度を算出する。具体的には、算出部130は、単位時間当たりの当該時間の割合を算出する。例えば、単位時間は、10分とする。当該時間が4分である場合、算出部130は、40%を算出する。算出部130は、100に対して40を減算する。算出部130は、集中度“60”を算出する。
例えば、聴講者状態情報は、情報処理装置200でアクティブなアプリケーションを示す情報と、当該アプリケーションを用いて入力された文字数とである。取得部120は、当該アプリケーションを示す情報と当該文字数とを取得する。算出部130は、当該アプリケーションに対応する値(以下、係数と呼ぶ)と文字数とに基づいて、集中度を算出する。具体的には、算出部130は、当該アプリケーションに対応する係数と当該文字数とを乗算する。なお、例えば、当該アプリケーションに対応する係数は、記憶部110に格納されている。算出部130は、100に対して、算出された値を減算する。算出された値が、集中度である。具体的に係数を説明する。例えば、当該アプリケーションがメモ帳である場合、係数は、0である。係数を0にすることで、算出部130は、集中度“100”を算出する。聴講者が発表者の話を聞いてメモ帳に文字を入力していると言えるから、聴講者の集中度は、“100”である。また、例えば、当該アプリケーションがメールである場合、係数は、2である。係数を2にすることで、算出部130は、100より小さい値の集中度を算出する。このように、聴講者がメールの作成作業を行っている場合、聴講者は、集中していないと言える。よって、聴講者が関係ないアプリケーションを使っている場合、算出部130は、係数を用いて、低い集中度を算出する。
例えば、聴講者状態情報は、情報処理装置200でアクティブなアプリケーションを示す情報と、当該アプリケーションを用いて入力された文字数とである。取得部120は、当該アプリケーションを示す情報と当該文字数とを取得する。算出部130は、当該アプリケーションが、聴講者が集中しているときに用いられるアプリケーションである場合、当該文字数に応じた値を集中度として、算出する。例えば、算出部130は、当該アプリケーションがメモ帳である場合、当該文字数に基づいて、10文字当たりに10を加算する。加算することにより得られた合計値が、集中度である。
例えば、聴講者状態情報は、情報処理装置200でアクティブなアプリケーションを示す情報である。取得部120は、当該アプリケーションを示す情報を取得する。取得部120は、当該アプリケーションと集中度との対応関係を示す関係情報を取得する。例えば、取得部120は、関係情報を記憶部110から取得する。なお、関係情報は、関係テーブルと呼んでもよい。算出部130は、当該アプリケーションを示す情報と当該関係情報とに基づいて、集中度を特定する。
例えば、聴講者状態情報は、単位時間当たりにおける、聴講者側のマイクに入力された音の音量の平均値である。取得部120は、当該音量の平均値を取得する。算出部130は、当該音量の平均値に基づいて、集中度を算出する。具体的には、算出部130は、100に対して、当該音量の平均値に対応する値を減算する。例えば、当該音量の平均値が10dBである場合、算出部130は、100に対して、10を減算する。算出された値が、集中度である。
例えば、聴講者状態情報は、単位時間当たりにおける、聴講者側のマイクに入力された音の音量を示す情報である。取得部120は、当該音量を示す情報を取得する。算出部130は、当該音量を示す情報に基づいて、当該音量が予め設定された閾値以上である時間の割合を算出する。算出部130は、当該割合に基づいて、集中度を算出する。具体的に算出処理を説明する。例えば、単位時間は、10秒とする。よって、当該音量を示す情報は、10秒間におけるマイクに入力された音の音量を示す情報である。当該音量が予め設定された閾値以上である時間が4秒である場合、算出部130は、40%を算出する。算出部130は、100に対して40を減算する。算出部130は、集中度“60”を算出する。
例えば、聴講者状態情報は、単位時間当たりにおける、聴講者側の撮像装置が撮像することにより得られた聴講者の顔の映像である。取得部120は、聴講者の顔の映像を取得する。算出部130は、聴講者の顔の映像に基づいて、集中度を算出する。具体的には、算出部130は、聴講者の顔の映像に基づいて、単位時間当たりにおける、聴講者が聴講者側のディスプレイを見ていない時間の割合を算出する。例えば、算出部130は、40%を算出する。算出部130は、100に対して40を減算する。算出部130は、集中度“60”を算出する。
例えば、聴講者が何もしていないことを聴講者状態情報が示している場合、算出部130は、集中度“50”を算出してもよい。
取得部120は、複数の聴講者状態情報(例えば、音量を示す情報と映像)を取得してもよい。複数の聴講者状態情報が取得された場合、算出部130は、複数の聴講者状態情報に基づいて、集中度を算出してもよい。例えば、算出部130は、上述したように、音量を示す情報に基づいて集中度を算出し、映像に基づいて集中度を算出する。算出部130は、2つの集中度の平均値を算出する。算出された平均値が、最終的な集中度である。
また、上述した集中度の算出方法は、一例である。そのため、他の方法を用いて集中度が算出されてもよい。例えば、算出部130は、取得部120によって取得された学習済モデルと聴講者状態情報とを用いて、集中度を算出してもよい。
(ステップST103)生成処理部140は、集中度に応じた色又は大きさが反映された聴講者アバタ302が表示された画面の生成処理を実行する。
具体的に、聴講者アバタ302の色に関する処理を説明する。生成処理部140は、集中度が予め設定された閾値以上である場合、赤色の聴講者アバタ302を生成する。生成処理部140は、集中度が当該閾値よりも小さい場合、青色の聴講者アバタ302を生成する。また、生成処理部140は、青色から赤色の間の聴講者アバタ302を生成する場合、生成処理部140は、次の処理を実行する。例えば、集中度が80である場合、生成処理部140は、集中度を0.8に変換する。生成処理部140は、算出することにより得られた値である48(=240-0.8×240)の色相の聴講者アバタ302を生成する。
具体的に、聴講者アバタ302の大きさに関する処理を説明する。生成処理部140は、集中度が予め設定された閾値以上である場合、ディスプレイ300に表示されている聴講者アバタ302よりも大きい聴講者アバタ302を生成する。生成処理部140は、集中度が当該閾値よりも小さい場合、ディスプレイ300に表示されている聴講者アバタ302よりも小さい聴講者アバタ302を生成する。また、生成処理部140は、次の方法を実行してもよい。例えば、集中度が80の場合、生成処理部140は、集中度を0.8に変換する。聴講者アバタ302の大きさの最大値を20とする。聴講者アバタ302の大きさの最小値を5とする。生成処理部140は、算出することにより得られた値である17(=(20-5)×0.8+5)の大きさの聴講者アバタ302を生成する。
(ステップST104)表示制御部150は、生成された画面がディスプレイ300に表示されるように、表示制御を行う。
図6は、実施の形態1のディスプレイに表示されるアバタの具体例を示す図(その2)である。図6のディスプレイ300は、図3のディスプレイ300よりも後の状態である。
ディスプレイ300には、聴講者アバタ302が表示されている。図6の聴講者アバタ302の色は、図3の聴講者アバタ302の色から変更されている。例えば、図6の聴講者アバタ302の色は、赤色と考えてもよい。例えば、発表者は、聴講者アバタ302の色が赤色に変わることで、聴講者が集中して聞いていることを、直感的に理解することができる。
実施の形態1によれば、情報処理装置100は、集中度に応じた色の聴講者アバタ302をディスプレイ300に表示させる。これにより、発表者は、発表中であっても、直感的に、聴講者が集中して聞いているかを理解できる。
情報処理装置100は、集中度に応じた大きさの聴講者アバタ302をディスプレイ300に表示させる。これにより、発表者は、発表中であっても、直感的に、聴講者が集中して聞いているかを理解できる。
また、集中度に応じた色又は大きさの聴講者アバタ302がディスプレイ300に表示された場合、発表者は、聴講者と対面で発表しているような感覚を得ることができる。
情報処理装置100は、集中度をディスプレイ300に表示させる。これにより、発表者は、発表中であっても、直感的に、聴講者が集中して聞いているかを理解できる。
このように、情報処理装置100は、発表者が直感的に理解できる情報をディスプレイ300に表示されることで、容易に、聴講者の集中状態を発表者に理解させることができる。
また、発表者は、ディスプレイ300を視認し、聴講者が集中して発表を聞いていないことを理解した場合、発表者は、発表内容を適宜変更できる。これにより、発表者は、聴講者の理解度及び集中度を高めることができる。
また、生成処理部140は、集中度が予め設定された閾値以下である場合、聴講者アバタ302が表示されていない画面の生成処理を実行してもよい。発表者は、当該画面がディスプレイ300に表示されることで、直感的に、聴講者が聞いていないことを理解できる。
情報処理装置100は、次の処理を実行してもよい。取得部120は、発表資料を取得する。例えば、取得部120は、発表資料を記憶部110から取得する。生成処理部140は、集中度に応じた色及び大きさのうちの少なくとも1つが反映された聴講者アバタ302と当該発表資料とが表示された画面の生成処理を実行する。また、生成処理部140は、集中度と当該発表資料とが表示された画面の生成処理を実行してもよい。表示制御部150は、生成された画面がディスプレイ300に表示されるように、表示制御を行う。これにより、発表者は、当該画面が表示されたディスプレイ300を視認することができる。発表者は、発表資料を見ながら発表を行う。そのため、発表資料がディスプレイ300に表示されることで、発表者は、発表資料を視認しながら聴講者アバタ302も視認する。よって、情報処理装置100は、発表者が聴講者の集中状態を視認する可能性を向上させることができる。
情報処理装置100は、次の処理を実行してもよい。表示制御部150は、生成された画面が情報処理装置200のディスプレイに表示されるように、表示制御を行う。例えば、表示制御部150は、当該画面と、当該画面の表示指示とを情報処理装置200に送信する。これにより、情報処理装置200は、情報処理装置200のディスプレイに当該画面を表示する。聴講者は、当該画面を視認することで、自分の集中度を直感的に把握できる。よって、情報処理装置100は、直感的に、自分の集中度を聴講者に把握させることができる。
実施の形態1の変形例.
実施の形態1の変形例では、複数の聴講者が発表を聞いている場合を説明する。実施の形態1では、ディスプレイ300に聴講者アバタ302が表示される場合を説明した。聴講者アバタ302は、聴講者のアバタであるため、個性のあるアバタであると考えてもよい。実施の形態1の変形例では、ディスプレイ300に、無個性の聴講者のアバタが表示される。無個性の聴講者のアバタは、無個性聴講者アバタと呼ぶ。
次に、表示制御システムで実行される処理を、シーケンス図を用いて、説明する。
図7は、実施の形態1の変形例の表示制御システムで実行される処理の例を示すシーケンス図である。図7の処理は、定期的に実行される。
表示制御システムは、情報処理装置100と情報処理装置200,201とを含む。情報処理装置200,201は、聴講者が用いる装置である。すなわち、情報処理装置200,201は、2つの聴講者装置である。図7には、2つの聴講者装置が、例示されている。聴講者装置の数は、3つ以上でもよい。
(ステップST111)情報処理装置200は、聴講者状態情報を情報処理装置100に送信する。
(ステップST112)情報処理装置201は、聴講者状態情報を情報処理装置100に送信する。
これにより、複数の聴講者の状態を示す複数の聴講者状態情報が、取得部120に取得される。
(ステップST113)算出部130は、複数の聴講者状態情報に基づいて、複数の聴講者のそれぞれの集中度を算出する。なお、集中度の算出方法は、実施の形態1の算出方法と同じである。
(ステップST114)算出部130は、複数の聴講者のそれぞれの集中度に基づいて、聴講者全体の集中度を算出する。例えば、算出部130は、複数の集中度の平均値を、聴講者全体の集中度として、算出する。また、算出部130は、次の方法で、聴講者全体の集中度を算出してもよい。算出部130は、複数の聴講者のうち、予め設定された閾値以上の集中度の聴講者の数を算出する。なお、当該閾値以上の集中度の聴講者の数は、集中している聴講者の数と呼ぶ。算出部130は、式(1)を用いて、聴講者全体の集中度を算出する。
Figure 0007427112000001
ここで、表示制御部150は、理解しているか否かを確認するためのボタンを情報処理装置200,201に表示させてもよい。聴講者は、発表内容を理解している場合、当該ボタンを押下する。取得部120は、当該ボタンを押下した聴講者の数を示す情報を取得してもよい。取得部120が当該情報を取得した場合、算出部130は、式(2)を用いて、聴講者全体の集中度を算出してもよい。
Figure 0007427112000002
(ステップST115)生成処理部140は、聴講者全体の集中度に応じた数、色、及び大きさのうちの少なくとも1つが反映された無個性聴講者アバタが表示された画面の生成処理を実行する。また、既にディスプレイ300に無個性聴講者アバタが表示されている場合、生成処理部140の処理は、次のように表現してもよい。生成処理部140は、聴講者全体の集中度に基づいて、ディスプレイ300に表示されている無個性聴講者アバタの数、色、及び大きさのうちの少なくとも1つが変更された無個性聴講者アバタが表示された画面の生成処理を実行する。
具体的に、無個性聴講者アバタの数に関する処理を説明する。例えば、聴講者全体の集中度が80の場合、生成処理部140は、集中度を0.8に変換する。無個性聴講者アバタの最大表示可能数は、100とする。生成処理部140は、算出することにより得られた値である80(=100×0.8)の無個性聴講者アバタを生成する。
具体的に、無個性聴講者アバタの色に関する処理を説明する。生成処理部140は、聴講者全体の集中度が予め設定された閾値以上である場合、赤色の無個性聴講者アバタを生成する。生成処理部140は、聴講者全体の集中度が当該閾値よりも小さい場合、青色の無個性聴講者アバタを生成する。また、生成処理部140は、青色から赤色の間の無個性聴講者アバタを生成する場合、次の処理を実行する。例えば、聴講者全体の集中度が80の場合、生成処理部140は、集中度を0.8に変換する。生成処理部140は、算出することにより得られた値である48(=240-0.8×240)の色相の無個性聴講者アバタを生成する。
具体的に、無個性聴講者アバタの大きさに関する処理を説明する。生成処理部140は、聴講者全体の集中度が予め設定された閾値以上である場合、ディスプレイ300に表示されている無個性聴講者アバタよりも大きい無個性聴講者アバタを生成する。生成処理部140は、聴講者全体の集中度が当該閾値よりも小さい場合、ディスプレイ300に表示されている無個性聴講者アバタよりも小さい無個性聴講者アバタを生成する。また、生成処理部140は、次の方法を実行してもよい。例えば、集中度が80の場合、生成処理部140は、集中度を0.8に変換する。無個性聴講者アバタの大きさの最大値を20とする。無個性聴講者アバタの大きさの最小値を5とする。生成処理部140は、算出することにより得られた値である17(=(20-5)×0.8+5)の大きさの無個性聴講者アバタを生成する。
また、生成処理部140は、次の処理を実行してもよい。“聴講者全体の集中度<50”である場合、生成処理部140は、“無個性聴講者アバタの最大表示可能数×聴講者全体の集中度(例えば、聴講者全体の集中度が80の場合は、0.8)×2”により算出された数の青色の無個性聴講者アバタを生成する。“50≦聴講者全体の集中度<80”である場合、生成処理部140は、最大表示可能数の無個性聴講者アバタを生成する。また、生成処理部140は、聴講者全体の集中度が80に近いほど、生成される無個性聴講者アバタの色を赤色に近づける。“80≦聴講者全体の集中度”である場合、生成処理部140は、最大表示可能数の無個性聴講者アバタを生成する。また、生成処理部140は、生成される無個性聴講者アバタの色を赤色にする。さらに、生成処理部140は、聴講者全体の集中度が100に近いほど、生成される無個性聴講者アバタの大きさを大きくする。
生成処理部140は、聴講者全体の集中度が表示された画面の生成処理を実行してもよい。
(ステップST116)表示制御部150は、生成された画面がディスプレイ300に表示されるように、表示制御を行う。
図8は、実施の形態1の変形例のディスプレイに表示されるアバタの具体例を示す図である。図8の上図のディスプレイ300には、発表者アバタ301と無個性聴講者アバタ304a~304cとが表示されている。すなわち、3つの無個性聴講者アバタが、ディスプレイ300に表示されている。
図8の下図のディスプレイ300の画面は、情報処理装置100の処理後の状態である。図8の下図のディスプレイ300には、6つの無個性聴講者アバタが表示されている。すなわち、無個性聴講者アバタの数が、増加している。発表者は、無個性聴講者アバタの数が増加することで、聴講者全体が集中して聞いていることを、直感的に理解することができる。
実施の形態1の変形例によれば、情報処理装置100は、聴講者全体の集中度に応じた数、色、及び大きさのうちの少なくとも1つが反映された無個性聴講者アバタが表示された画面を生成する。情報処理装置100は、生成された画面をディスプレイ300に表示させる。このように、情報処理装置100は、発表者が直感的に理解できる情報をディスプレイ300に表示させることで、容易に、聴講者全体の集中状態を発表者に理解させることができる。
また、情報処理装置100は、聴講者全体の集中度を算出しなくてもよい。聴講者全体の集中度が算出されない場合、情報処理装置100は、次の処理を実行する。当該処理を、図を用いて説明する。
図9は、実施の形態1の変形例の情報処理装置が実行する処理を説明するための図である。図9の説明では、聴講者の数は、40である。
算出部130は、ステップST113が実行された後、集中度の区分ごとに、聴講者数を集計する。算出部130は、区分ごとに割合を算出する。生成処理部140は、割合が0以外の区分に対応する無個性聴講者アバタを生成する。生成処理部140は、割合が0の区分に対応する無個性聴講者アバタを生成しない。図9の場合、生成処理部140は、8つの無個性聴講者アバタを生成する。生成処理部140は、区分に応じて、8つの無個性聴講者アバタに色付ける。例えば、生成処理部140は、集中度が低い区分の無個性聴講者アバタほど、青色を付ける。生成処理部140は、集中度が高い区分の無個性聴講者アバタほど、赤色を付ける。生成処理部140は、割合に応じて、8つの無個性聴講者アバタの大きさを変える。例えば、生成処理部140は、割合が最も大きい区分の無個性聴講者アバタの大きさを最も大きくする。生成処理部140は、割合が最も小さい区分の無個性聴講者アバタの大きさを最も小さくする。
このように、情報処理装置100は、個人の集中度を区分ごとにまとめて、区分ごとに応じた無個性聴講者アバタの画面をディスプレイ300に表示させる。
情報処理装置100は、次の処理を実行してもよい。取得部120は、発表資料を取得する。例えば、取得部120は、発表資料を記憶部110から取得する。生成処理部140は、聴講者全体の集中度に応じた数、色、及び大きさのうちの少なくとも1つが反映された無個性聴講者アバタと当該発表資料とが表示された画面の生成処理を実行する。生成処理部140は、聴講者全体の集中度と当該発表資料とが表示された画面の生成処理を実行してもよい。これにより、発表者は、当該画面が表示されたディスプレイ300を視認することができる。発表者は、発表資料を見ながら発表を行う。そのため、発表資料がディスプレイ300に表示されることで、発表者は、発表資料を視認しながら無個性聴講者アバタも視認する。よって、情報処理装置100は、発表者が聴講者全体の集中状態を視認する可能性を向上させることができる。
情報処理装置100は、次の処理を実行してもよい。表示制御部150は、生成された画面が情報処理装置200のディスプレイに表示されるように、表示制御を行う。これにより、情報処理装置200は、情報処理装置200のディスプレイに当該画面を表示する。聴講者は、当該画面を視認することで、他の聴講者の集中状態を把握できる。また、情報処理装置100は、聴講者に他の聴講者の集中状態を把握させることで、同じ場所にいるような一体感を聴講者に与えることができる。
実施の形態2.
次に、実施の形態2を説明する。実施の形態2では、実施の形態1と相違する事項を主に説明する。そして、実施の形態2では、実施の形態1と共通する事項の説明を省略する。
実施の形態1では、発表者が用いる情報処理装置がアバタを生成する場合を説明した。実施の形態2では、サーバがアバタを生成する場合を説明する。
図10は、実施の形態2の表示制御システムを示す図である。表示制御システムは、サーバ400、発表者装置500、及び聴講者装置600を含む。サーバ400、発表者装置500、及び聴講者装置600は、ネットワークを介して、通信する。
サーバ400は、情報処理装置とも言う。例えば、サーバ400は、クラウドサーバである。サーバ400は、表示制御方法を実行する装置である。サーバ400は、プロセッサ、揮発性記憶装置、及び不揮発性記憶装置を有する。サーバ400は、処理回路を有してもよい。
発表者装置500は、発表者が用いる装置である。例えば、発表者装置500は、PC(Personal Computer)である。発表者装置500は、ディスプレイを有する。また、発表者装置500には、ディスプレイが接続されてもよい。
聴講者装置600は、聴講者が用いる装置である。例えば、聴講者装置600は、PCである。聴講者装置600は、ディスプレイを有する。また、聴講者装置600には、ディスプレイが接続されてもよい。
次に、サーバ400が有する機能を説明する。
図11は、実施の形態2のサーバの機能を示すブロック図である。サーバ400は、記憶部410、取得部420、算出部430、生成処理部440、及び表示制御部450を有する。
記憶部410は、サーバ400が有する揮発性記憶装置又は不揮発性記憶装置に確保した記憶領域として実現してもよい。
取得部420、算出部430、生成処理部440、及び表示制御部450の一部又は全部は、サーバ400が有する処理回路によって実現してもよい。また、取得部420、算出部430、生成処理部440、及び表示制御部450の一部又は全部は、サーバ400が有するプロセッサが実行するプログラムのモジュールとして実現してもよい。例えば、当該プロセッサが実行するプログラムは、表示制御プログラムとも言う。例えば、表示制御プログラムは、記録媒体に記録されている。
記憶部410は、様々な情報を記憶する。
取得部420は、聴講者状態情報を取得する。例えば、取得部420は、聴講者状態情報を聴講者装置600から取得する。また、例えば、取得部420は、外部装置を介して、聴講者状態情報を取得する。なお、外部装置の図示は、省略されている。
算出部430が実行する処理は、算出部130が実行する処理と同じである。例えば、算出部430は、聴講者状態情報に基づいて、聴講者の集中度を算出する。このように、算出部430が実行する処理は、算出部130が実行する処理と同じである。そのため、算出部430の詳細な説明は、省略する。
生成処理部440が実行する処理は、生成処理部140が実行する処理と同じである。例えば、生成処理部440は、集中度に応じた色及び大きさのうちの少なくとも1つが反映された聴講者アバタが表示された画面の生成処理を実行する。このように、生成処理部440が実行する処理は、生成処理部140が実行する処理と同じである。そのため、生成処理部440の詳細な説明は、省略する。
表示制御部450は、発表者装置500のディスプレイに、生成された画面が表示されるように、発表者装置500に対して表示制御を行う。例えば、表示制御部450は、当該画面と、当該画面の表示指示とを発表者装置500に送信する。これにより、例えば、発表者装置500のディスプレイには、集中度に応じた色の聴講者アバタが表示される。また、例えば、当該ディスプレイには、集中度に応じた大きさの聴講者アバタが表示される。また、例えば、当該ディスプレイには、集中度が表示される。
次に、表示制御システムで実行される処理を、シーケンス図を用いて、説明する。
図12は、実施の形態2の表示制御システムで実行される処理の例を示すシーケンス図である。図12の処理は、定期的に実行される。
(ステップST121)聴講者装置600は、聴講者状態情報を取得する。例えば、聴講者状態情報は、聴講者装置600に接続されているマウス、キーボード、撮像装置、及びマイクを介して、取得される。聴講者装置600は、聴講者状態情報をサーバ400に送信する。
これにより、聴講者状態情報は、取得部420に取得される。
(ステップST122)算出部430は、聴講者状態情報に基づいて、聴講者の集中度を算出する。
(ステップST123)生成処理部440は、集中度に応じた色、又は集中度に応じた大きさが反映された聴講者アバタが表示された画面の生成処理を実行する。
(ステップST124)表示制御部450は、生成された画面と、当該画面の表示指示とを発表者装置500に送信する。
(ステップST125)発表者装置500は、当該画面を発表者装置500のディスプレイに表示する。
実施の形態2によれば、サーバ400は、発表者が直感的に理解できる情報を発表者装置500のディスプレイに表示させる。これにより、サーバ400は、容易に、聴講者の集中状態を発表者に理解させることができる。
また、サーバ400は、画面の生成を発表者装置500に実行させてもよい。例えば、ステップST122の後、サーバ400は、集中度を発表者装置500に送信する。発表者装置500は、集中度に応じた色及び大きさのうちの少なくとも1つが反映された聴講者アバタが表示された画面の生成処理を実行する。また、発表者装置500は、集中度が表示された画面の生成処理を実行してもよい。発表者装置500は、生成された画面が発表者装置500のディスプレイに表示されるように、表示制御を行う。
サーバ400は、次の処理を実行してもよい。取得部420は、発表資料を取得する。例えば、取得部420は、発表資料を記憶部410から取得する。生成処理部440は、集中度に応じた色及び大きさのうちの少なくとも1つが反映された聴講者アバタと発表資料とが表示された画面の生成処理を実行する。また、生成処理部440は、集中度と当該発表資料とが表示された画面の生成処理を実行してもよい。
サーバ400は、次の処理を実行してもよい。表示制御部450は、生成された画面が聴講者装置600のディスプレイに表示されるように、表示制御を行う。例えば、表示制御部450は、当該画面と、当該画面の表示指示とを聴講者装置600に送信する。これにより、聴講者装置600は、聴講者装置600のディスプレイに当該画面を表示する。
実施の形態2の変形例.
実施の形態2の変形例では、サーバ400が実施の形態1の変形例と同様の処理を実行する場合を説明する。サーバ400は、実施の形態1の変形例と同様の処理を実行する。そのため、サーバ400の詳細な処理の説明は、省略する。
次に、表示制御システムで実行される処理を、シーケンス図を用いて、説明する。
図13は、実施の形態2の変形例の表示制御システムで実行される処理の例を示すシーケンス図である。図13の処理は、定期的に実行される。
表示制御システムは、サーバ400、発表者装置500、及び聴講者装置600,601を含む。図13には、2つの聴講者装置が例示されている。聴講者装置の数は、3つ以上でもよい。
(ステップST131)聴講者装置600は、聴講者状態情報をサーバ400に送信する。
(ステップST132)聴講者装置601は、聴講者状態情報をサーバ400に送信する。
これにより、複数の聴講者の状態を示す複数の聴講者状態情報が、取得部420に取得される。
(ステップST133)算出部430は、複数の聴講者状態情報に基づいて、複数の聴講者のそれぞれの集中度を算出する。
(ステップST134)算出部430は、複数の聴講者のそれぞれの集中度に基づいて、聴講者全体の集中度を算出する。
(ステップST135)生成処理部440は、聴講者全体の集中度に応じた数、色、及び大きさのうちの少なくとも1つが反映された無個性聴講者アバタが表示された画面の生成処理を実行する。生成処理部440は、聴講者全体の集中度が表示された画面の生成処理を実行してもよい。
(ステップST136)表示制御部450は、生成された画面と、当該画面の表示指示とを発表者装置500に送信する。
(ステップST137)発表者装置500は、当該画面を発表者装置500のディスプレイに表示する。
実施の形態2の変形例によれば、サーバ400は、発表者が直感的に理解できる情報を発表者装置500のディスプレイに表示させる。これにより、サーバ400は、容易に、聴講者全体の集中状態を発表者に理解させることができる。
サーバ400は、聴講者全体の集中度の算出と、画面の生成とを発表者装置500に実行させてもよい。例えば、ステップST133の後、サーバ400は、複数の聴講者のそれぞれの集中度を発表者装置500に送信する。発表者装置500は、複数の聴講者のそれぞれの集中度に基づいて、聴講者全体の集中度を算出する。発表者装置500は、聴講者全体の集中度に応じた数、色、及び大きさのうちの少なくとも1つが反映された無個性聴講者アバタが表示された画面の生成処理を実行する。また、発表者装置500は、聴講者全体の集中度が表示された画面の生成処理を実行してもよい。
サーバ400は、画面の生成を発表者装置500に実行させてもよい。例えば、ステップST134の後、サーバ400は、聴講者全体の集中度を発表者装置500に送信する。発表者装置500は、聴講者全体の集中度に応じた数、色、及び大きさのうちの少なくとも1つが反映された無個性聴講者アバタが表示された画面の生成処理を実行する。また、発表者装置500は、聴講者全体の集中度が表示された画面の生成処理を実行してもよい。
サーバ400は、次の処理を実行してもよい。取得部420は、発表資料を取得する。生成処理部440は、集中度に応じた数、色、及び大きさのうちの少なくとも1つが反映された無個性聴講者アバタと発表資料とが表示された画面の生成処理を実行する。
サーバ400は、次の処理を実行してもよい。表示制御部450は、生成された画面が聴講者装置600のディスプレイに表示されるように、表示制御を行う。例えば、表示制御部450は、当該画面と、当該画面の表示指示とを聴講者装置600に送信する。これにより、聴講者装置600は、聴講者装置600のディスプレイに当該画面を表示する。
実施の形態3.
次に、実施の形態3を説明する。実施の形態3では、実施の形態1と相違する事項を主に説明する。そして、実施の形態3では、実施の形態1と共通する事項の説明を省略する。
実施の形態1では、発表者装置である情報処理装置100が集中度を算出する場合を説明した。実施の形態3では、聴講者装置が集中度を算出する場合を説明する。
図14は、実施の形態3の表示制御システムを示す図である。表示制御システムは、聴講者装置700と発表者装置800を含む。聴講者装置700と発表者装置800は、ネットワークを介して、通信する。
聴講者装置700は、聴講者が用いる装置である。例えば、聴講者装置700は、PCである。聴講者装置700は、ディスプレイを有する。また、聴講者装置700には、ディスプレイが接続されてもよい。
聴講者装置700は、プロセッサ、揮発性記憶装置、及び不揮発性記憶装置を有する。聴講者装置700は、処理回路を有してもよい。
発表者装置800は、発表者が用いる装置である。例えば、発表者装置800は、PCである。発表者装置800は、ディスプレイを有する。また、発表者装置800には、ディスプレイが接続されてもよい。
次に、聴講者装置700が有する機能を説明する。
図15は、実施の形態3の聴講者装置の機能を示すブロック図である。聴講者装置700は、記憶部710、取得部720、算出部730、及び通信部740を有する。
記憶部710は、聴講者装置700が有する揮発性記憶装置又は不揮発性記憶装置に確保した記憶領域として実現してもよい。
取得部720、算出部730、及び通信部740の一部又は全部は、聴講者装置700が有する処理回路によって実現してもよい。また、取得部720、算出部730、及び通信部740の一部又は全部は、聴講者装置700が有するプロセッサが実行するプログラムのモジュールとして実現してもよい。
記憶部710は、様々な情報を記憶する。
取得部720は、聴講者状態情報を取得する。例えば、取得部720は、聴講者装置700に接続されているマウス、キーボード、撮像装置、及びマイクを介して、聴講者状態情報を取得する。聴講者状態情報は、実施の形態1で説明した聴講者状態情報と同じである。
算出部730が実行する処理は、算出部130が実行する処理と同じである。例えば、算出部730は、聴講者状態情報に基づいて、聴講者の集中度を算出する。このように、算出部730が実行する処理は、算出部130が実行する処理と同じである。そのため、算出部730の詳細な説明は、省略する。
通信部740は、聴講者の集中度を発表者装置800に送信する。
次に、表示制御システムで実行される処理を、シーケンス図を用いて、説明する。
図16は、実施の形態3の表示制御システムで実行される処理の例を示すシーケンス図である。図16の処理は、定期的に実行される。
(ステップST141)取得部720は、聴講者状態情報を取得する。
(ステップST142)算出部730は、聴講者状態情報に基づいて、聴講者の集中度を算出する。
(ステップST143)通信部740は、聴講者の集中度を発表者装置800に送信する。
(ステップST144)発表者装置800は、集中度に応じた色及び大きさのうちの少なくとも1つが反映された聴講者アバタが表示された画面の生成処理を実行する。発表者装置800は、集中度が表示された画面の生成処理を実行してもよい。
(ステップST145)発表者装置800は、生成された画面が発表者装置800のディスプレイに表示されるように、表示制御を行う。
実施の形態3によれば、表示制御システムは、発表者が直感的に理解できる情報を発表者装置800のディスプレイに表示させる。これにより、表示制御システムは、容易に、聴講者の集中状態を発表者に理解させることができる。
実施の形態3の変形例.
実施の形態3の変形例では、無個性聴講者アバタが発表者装置800のディスプレイに表示される場合を説明する。実施の形態3の変形例の一部は、実施の形態1の変形例と重複する。そのため、実施の形態1の変形例と重複する処理の説明は、省略する。
次に、表示制御システムで実行される処理を、シーケンス図を用いて、説明する。
図17は、実施の形態3の変形例の表示制御システムで実行される処理の例を示すシーケンス図である。図17の処理は、定期的に実行される。
表示制御システムは、聴講者装置700,701、及び発表者装置800を含む。図17には、2つの聴講者装置が例示されている。聴講者装置の数は、3つ以上でもよい。
(ステップST151)取得部720は、聴講者装置700を用いる聴講者の状態を示す聴講者状態情報を取得する。
(ステップST152)算出部730は、聴講者状態情報に基づいて、聴講者の集中度を算出する。
(ステップST153)通信部740は、聴講者の集中度を発表者装置800に送信する。
(ステップST154)聴講者装置701の取得部は、聴講者装置701を用いる聴講者の状態を示す聴講者状態情報を取得する。
(ステップST155)聴講者装置701の算出部は、聴講者状態情報に基づいて、聴講者の集中度を算出する。
(ステップST156)聴講者装置701の通信部は、聴講者の集中度を発表者装置800に送信する。
これにより、複数の聴講者のそれぞれの集中度は、発表者装置800に受信される。
(ステップST157)発表者装置800は、複数の聴講者のそれぞれの集中度に基づいて、聴講者全体の集中度を算出する。
(ステップST158)発表者装置800は、聴講者全体の集中度に応じた数、色、及び大きさのうちの少なくとも1つが反映された無個性聴講者アバタが表示された画面の生成処理を実行する。発表者装置800は、聴講者全体の集中度が表示された画面の生成処理を実行してもよい。
(ステップST159)発表者装置800は、生成された画面が発表者装置800のディスプレイに表示されるように、表示制御を行う。
実施の形態3の変形例によれば、表示制御システムは、発表者が直感的に理解できる情報を発表者装置800のディスプレイに表示させる。これにより、表示制御システムは、容易に、聴講者の集中状態を発表者に理解させることができる。
以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
100 情報処理装置、 101 プロセッサ、 102 揮発性記憶装置、 103 不揮発性記憶装置、 110 記憶部、 120 取得部、 130 算出部、 140 生成処理部、 150 表示制御部、 200,201 情報処理装置、 300 ディスプレイ、 301 発表者アバタ、 302 聴講者アバタ、 303 範囲、 304a~304c 無個性聴講者アバタ、 310 マウス、 320 キーボード、 330 撮像装置、 340 マイク、 400 サーバ、 410 記憶部、 420 取得部、 430 算出部、 440 生成処理部、 450 表示制御部、 500 発表者装置、 600,601 聴講者装置、 700,701 聴講者装置、 710 記憶部、 720 取得部、 730 算出部、 740 通信部、 800 発表者装置。

Claims (27)

  1. 発表者が用いる情報処理装置であって、
    聴講者が用いる聴講者装置の前に存在する前記聴講者の状態を示す聴講者状態情報を取得する取得部と、
    前記聴講者状態情報に基づいて、前記聴講者の集中度を算出する算出部と、
    記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行する生成処理部と、
    前記発表者が見る表示装置に、生成された画面が表示されるように、表示制御を行う表示制御部と、
    を有する情報処理装置。
  2. 前記聴講者状態情報は、前記聴講者がマウスを用いて単位時間当たりに行ったクリックの回数であり、
    前記算出部は、前記回数に基づいて、前記集中度を算出する、
    請求項1に記載の情報処理装置。
  3. 前記聴講者状態情報は、前記聴講者が単位時間当たりにマウスを動かしている時間であり、
    前記算出部は、前記時間に基づいて、前記集中度を算出する、
    請求項1に記載の情報処理装置。
  4. 前記聴講者状態情報は、単位時間当たりにおける、聴講者側のマイクロフォンに入力された音の音量の平均値であり、
    前記算出部は、前記音量の平均値に基づいて、前記集中度を算出する、
    請求項1に記載の情報処理装置。
  5. 前記聴講者状態情報は、単位時間当たりにおける、聴講者側のマイクロフォンに入力された音の音量を示す情報であり、
    前記算出部は、前記音量を示す情報に基づいて、前記音量が予め設定された閾値以上である時間の割合を算出し、前記割合に基づいて、前記集中度を算出する、
    請求項1に記載の情報処理装置。
  6. 前記聴講者状態情報は、単位時間当たりにおける、前記聴講者の顔の映像であり、
    前記算出部は、前記聴講者の顔の映像に基づいて、前記集中度を算出する、
    請求項1に記載の情報処理装置。
  7. 前記取得部は、複数の前記聴講者状態情報を取得し、
    前記算出部は、複数の前記聴講者状態情報に基づいて、前記集中度を算出する、
    請求項1からのいずれか1項に記載の情報処理装置。
  8. 前記取得部は、学習済モデルを取得し、
    前記算出部は、前記聴講者状態情報と前記学習済モデルとを用いて、前記集中度を算出する、
    請求項1に記載の情報処理装置。
  9. 前記生成処理部は、前記集中度が予め設定された閾値以下である場合、前記聴講者アバタが表示されていない画面の生成処理を実行する、
    請求項1からのいずれか1項に記載の情報処理装置。
  10. 前記取得部は、発表資料を取得し、
    前記生成処理部は、前記集中度に応じた色及び大きさのうちの少なくとも1つが反映された前記聴講者アバタと前記発表資料とが表示された画面の生成処理を実行する、
    請求項1からのいずれか1項に記載の情報処理装置。
  11. 前記取得部は、複数の聴講者の状態を示す複数の聴講者状態情報を取得し、
    前記算出部は、前記複数の聴講者状態情報に基づいて、前記複数の聴講者のそれぞれの集中度を算出し、前記複数の聴講者のそれぞれの集中度に基づいて、聴講者全体の集中度を算出し、
    前記生成処理部は、前記聴講者全体の集中度に応じた色、及び大きさのうちの少なくとも1つが反映された、無個性の聴講者のアバタである無個性聴講者アバタが表示された画面の生成処理を実行する、
    請求項1に記載の情報処理装置。
  12. 前記取得部は、発表資料を取得し、
    前記生成処理部は、前記聴講者全体の集中度に応じた色、及び大きさのうちの少なくとも1つが反映された前記無個性聴講者アバタと前記発表資料とが表示された画面の生成処理を実行する、
    請求項11に記載の情報処理装置。
  13. 前記表示制御部は、前記聴講者が見る表示装置に、生成された画面が表示されるように、表示制御を行う、
    請求項1から12のいずれか1項に記載の情報処理装置。
  14. 発表者が用いる情報処理装置であって、
    聴講者が用いる情報処理装置でアクティブなアプリケーションを示す情報と、前記アプリケーションを用いて入力された文字数とを取得する取得部と、
    前記アプリケーションに対応する値と前記文字数とに基づいて、前記聴講者の集中度を算出する算出部と、
    前記集中度が表示された画面の生成処理、又は前記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行する生成処理部と、
    前記発表者が見る表示装置に、生成された画面が表示されるように、表示制御を行う表示制御部と、
    を有する情報処理装置。
  15. 発表者が用いる情報処理装置であって、
    聴講者が用いる情報処理装置でアクティブなアプリケーションを示す情報と、前記アプリケーションを用いて入力された文字数とを取得する取得部と、
    前記アプリケーションが、前記聴講者が集中しているときに用いられるアプリケーションである場合、前記文字数に応じた値を、前記聴講者の集中度として、算出する算出部と、
    前記集中度が表示された画面の生成処理、又は前記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行する生成処理部と、
    前記発表者が見る表示装置に、生成された画面が表示されるように、表示制御を行う表示制御部と、
    を有する情報処理装置。
  16. 発表者が用いる情報処理装置であって、
    聴講者が用いる情報処理装置でアクティブなアプリケーションを示す情報と、前記アプリケーションと集中度との対応関係を示す関係情報とを取得する取得部と、
    前記アプリケーションを示す情報と前記関係情報とに基づいて、前記聴講者の集中度を算出する算出部と、
    前記集中度が表示された画面の生成処理、又は前記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行する生成処理部と、
    前記発表者が見る表示装置に、生成された画面が表示されるように、表示制御を行う表示制御部と、
    を有する情報処理装置。
  17. 表示装置と接続し又は前記表示装置を有し、かつ発表者が用いる発表者装置と通信する情報処理装置であって、
    聴講者が用いる聴講者装置の前に存在する前記聴講者の状態を示す聴講者状態情報を取得する取得部と、
    前記聴講者状態情報に基づいて、前記聴講者の集中度を算出する算出部と、
    記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行する生成処理部と、
    生成された画面が前記表示装置に表示されるように、前記発表者装置に対して表示制御を行う表示制御部と、
    を有する情報処理装置。
  18. 前記取得部は、複数の聴講者の状態を示す複数の聴講者状態情報を取得し、
    前記算出部は、前記複数の聴講者状態情報に基づいて、前記複数の聴講者のそれぞれの集中度を算出し、前記複数の聴講者のそれぞれの集中度に基づいて、聴講者全体の集中度を算出し、
    前記生成処理部は、前記聴講者全体の集中度に応じた色、及び大きさのうちの少なくとも1つが反映された、無個性の聴講者のアバタである無個性聴講者アバタが表示された画面の生成処理を実行する、
    請求項17に記載の情報処理装置。
  19. 表示装置と接続し又は前記表示装置を有し、かつ発表者が用いる発表者装置と、
    前記発表者装置と通信する情報処理装置と、
    を含み、
    前記情報処理装置は、
    聴講者が用いる聴講者装置の前に存在する前記聴講者の状態を示す聴講者状態情報を取得し、
    前記聴講者状態情報に基づいて、前記聴講者の集中度を算出し、
    前記集中度を前記発表者装置に送信し、
    前記発表者装置は、
    記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行し、
    生成された画面が前記表示装置に表示されるように、表示制御を行う、
    表示制御システム。
  20. 前記情報処理装置は、
    複数の聴講者の状態を示す複数の聴講者状態情報を取得し、
    前記複数の聴講者状態情報に基づいて、前記複数の聴講者のそれぞれの集中度を算出し、
    前記複数の聴講者のそれぞれの集中度を前記発表者装置に送信し、
    前記発表者装置は、
    前記複数の聴講者のそれぞれの集中度に基づいて、聴講者全体の集中度を算出し、
    記聴講者全体の集中度に応じた色、及び大きさのうちの少なくとも1つが反映された、無個性の聴講者のアバタである無個性聴講者アバタが表示された画面の生成処理を実行する、
    請求項19に記載の表示制御システム。
  21. 前記情報処理装置は、
    複数の聴講者の状態を示す複数の聴講者状態情報を取得し、
    前記複数の聴講者状態情報に基づいて、前記複数の聴講者のそれぞれの集中度を算出し、
    前記複数の聴講者のそれぞれの集中度に基づいて、聴講者全体の集中度を算出し、
    前記聴講者全体の集中度を前記発表者装置に送信し、
    前記発表者装置は、
    記聴講者全体の集中度に応じた色、及び大きさのうちの少なくとも1つが反映された、無個性の聴講者のアバタである無個性聴講者アバタが表示された画面の生成処理を実行する、
    請求項19に記載の表示制御システム。
  22. 表示装置と接続し又は前記表示装置を有し、かつ発表者が用いる発表者装置と、
    前記発表者装置と通信し、かつ聴講者が用いる聴講者装置と、
    を含み、
    前記聴講者装置は、
    前記聴講者装置の前に存在する前記聴講者の状態を示す聴講者状態情報を取得し、
    前記聴講者状態情報に基づいて、前記聴講者の集中度を算出し、
    前記集中度を前記発表者装置に送信し、
    前記発表者装置は、
    記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行し、
    生成された画面が前記表示装置に表示されるように、表示制御を行う、
    表示制御システム。
  23. 前記発表者装置と通信し、かつ複数の聴講者が用いる複数の聴講者装置を含み、
    前記複数の聴講者装置のそれぞれは、
    聴講者の状態を示す聴講者状態情報を取得し、
    前記聴講者状態情報に基づいて、前記聴講者の集中度を算出し、
    前記聴講者の集中度を前記発表者装置に送信し、
    前記発表者装置は、
    前記複数の聴講者のそれぞれの集中度を受信し、
    前記複数の聴講者のそれぞれの集中度に基づいて、聴講者全体の集中度を算出し、
    記聴講者全体の集中度に応じた色、及び大きさのうちの少なくとも1つが反映された、無個性の聴講者のアバタである無個性聴講者アバタが表示された画面の生成処理を実行する、
    請求項22に記載の表示制御システム。
  24. 発表者が用いる情報処理装置が、
    聴講者が用いる聴講者装置の前に存在する前記聴講者の状態を示す聴講者状態情報を取得し、
    前記聴講者状態情報に基づいて、前記聴講者の集中度を算出し、
    記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行し、
    前記発表者が見る表示装置に、生成された画面が表示されるように、表示制御を行う、
    表示制御方法。
  25. 表示装置と接続し又は前記表示装置を有し、かつ発表者が用いる発表者装置と通信する情報処理装置が、
    聴講者が用いる聴講者装置の前に存在する前記聴講者の状態を示す聴講者状態情報を取得し、
    前記聴講者状態情報に基づいて、前記聴講者の集中度を算出し、
    記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行し、
    生成された画面が前記表示装置に表示されるように、前記発表者装置に対して表示制御を行う、
    表示制御方法。
  26. 発表者が用いる情報処理装置に、
    聴講者が用いる聴講者装置の前に存在する前記聴講者の状態を示す聴講者状態情報を取得し、
    前記聴講者状態情報に基づいて、前記聴講者の集中度を算出し、
    記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行し、
    前記発表者が見る表示装置に、生成された画面が表示されるように、表示制御を行う、
    処理を実行させる表示制御プログラム。
  27. 表示装置と接続し又は前記表示装置を有し、かつ発表者が用いる発表者装置と通信する情報処理装置に、
    聴講者が用いる聴講者装置の前に存在する前記聴講者の状態を示す聴講者状態情報を取得し、
    前記聴講者状態情報に基づいて、前記聴講者の集中度を算出し、
    記集中度に応じた色及び大きさのうちの少なくとも1つが反映された、前記聴講者のアバタである聴講者アバタが表示された画面の生成処理を実行し、
    生成された画面が前記表示装置に表示されるように、前記発表者装置に対して表示制御を行う、
    処理を実行させる表示制御プログラム。
JP2022570933A 2020-12-25 2020-12-25 情報処理装置、表示制御システム、表示制御方法、及び表示制御プログラム Active JP7427112B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/048645 WO2022137488A1 (ja) 2020-12-25 2020-12-25 情報処理装置、表示制御システム、表示制御方法、及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2022137488A1 JPWO2022137488A1 (ja) 2022-06-30
JP7427112B2 true JP7427112B2 (ja) 2024-02-02

Family

ID=82157617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022570933A Active JP7427112B2 (ja) 2020-12-25 2020-12-25 情報処理装置、表示制御システム、表示制御方法、及び表示制御プログラム

Country Status (2)

Country Link
JP (1) JP7427112B2 (ja)
WO (1) WO2022137488A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252970A (ja) 2003-01-30 2004-09-09 Daiwa Securities Group Inc 遠隔講演システム、方法及びプログラム、情報処理システム及び方法、遠隔聴講端末装置
JP2006262010A (ja) 2005-03-16 2006-09-28 Tokai Univ 遠隔会議・教育システム
JP2007213282A (ja) 2006-02-09 2007-08-23 Seiko Epson Corp 講演者支援装置および講演者支援方法
JP2018084874A (ja) 2016-11-21 2018-05-31 コニカミノルタ株式会社 会議システム、会議管理装置およびプログラム
US20200311392A1 (en) 2019-03-27 2020-10-01 Agt Global Media Gmbh Determination of audience attention

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252970A (ja) 2003-01-30 2004-09-09 Daiwa Securities Group Inc 遠隔講演システム、方法及びプログラム、情報処理システム及び方法、遠隔聴講端末装置
JP2006262010A (ja) 2005-03-16 2006-09-28 Tokai Univ 遠隔会議・教育システム
JP2007213282A (ja) 2006-02-09 2007-08-23 Seiko Epson Corp 講演者支援装置および講演者支援方法
JP2018084874A (ja) 2016-11-21 2018-05-31 コニカミノルタ株式会社 会議システム、会議管理装置およびプログラム
US20200311392A1 (en) 2019-03-27 2020-10-01 Agt Global Media Gmbh Determination of audience attention

Also Published As

Publication number Publication date
JPWO2022137488A1 (ja) 2022-06-30
WO2022137488A1 (ja) 2022-06-30

Similar Documents

Publication Publication Date Title
US10095918B2 (en) System and method for interpreting interpersonal communication
US9621851B2 (en) Augmenting web conferences via text extracted from audio content
US8791977B2 (en) Method and system for presenting metadata during a videoconference
US11417330B2 (en) Determining conversation analysis indicators for a multiparty conversation
US11521620B2 (en) Synthesizing higher order conversation features for a multiparty conversation
US10972295B1 (en) System and method for detecting the end of an electronic conference session
US11810357B2 (en) Segmenting and generating conversation features for a multiparty conversation
US10084829B2 (en) Auto-generation of previews of web conferences
JP2024026295A (ja) 音声映像ストリームからのプライバシーに配慮した会議室でのトランスクリプション
JP7323098B2 (ja) 対話支援装置、対話支援システム、及び対話支援プログラム
JP2022074024A (ja) 方法、コンピュータ・プログラム製品、およびコンピュータ・システム(聴衆フィードバックを用いたパーソナル・スピーチ提案)
WO2019043597A1 (en) SYSTEMS AND METHODS FOR MIXED REALITY INTERACTIONS WITH AVATAR
US20240129348A1 (en) System and method for identifying active communicator
Kucherenko et al. Evaluating gesture-generation in a large-scale open challenge: The GENEA Challenge 2022
CN114138960A (zh) 用户意图识别方法、装置、设备及介质
US20230291868A1 (en) Indication of Non-Verbal Cues Within a Video Communication Session
JP7427112B2 (ja) 情報処理装置、表示制御システム、表示制御方法、及び表示制御プログラム
US20220292879A1 (en) Measuring and Transmitting Emotional Feedback in Group Teleconferences
US20230353613A1 (en) Active speaker proxy presentation for sign language interpreters
JP7152453B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
WO2022137485A1 (ja) 情報処理装置、制御方法、及び制御プログラム
JP7313518B1 (ja) 評価方法、評価装置、および、評価プログラム
JP7406704B2 (ja) 情報処理装置、制御方法、及び制御プログラム
US20240146876A1 (en) Audio visualization
WO2023162073A1 (ja) 学習装置、学習方法及び学習プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240123

R150 Certificate of patent or registration of utility model

Ref document number: 7427112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150