JP7418698B2 - 情報処理装置、表示装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、表示装置、情報処理方法、及びプログラム
に関する。

遠隔のユーザ同士でコミュニケーションを図る際に用いられる遠隔コミュニケーション
ツールにおいて、映像データ及び音声データを記録しておき、記録したデータを抽出して
プレイバック再生して、ユーザに提供する技術が提案されている。例えば、特許文献１に
は、音声と操作の開始時刻及び終了時刻に基づき、データを再生する装置が開示されてい
る。

特開２０１４－１４０９１号公報

例えば遠隔会議などでは、ユーザ間の情報の送受信が停止した際にも、一方の拠点にお
いて会議が進行する場合がある。この場合、他方の拠点にいるユーザは、情報の送受信が
停止している間のデータを取得することができず、内容を理解することができなくなる。
特許文献１では、音声と操作の開始時刻及び終了時刻に基づきデータを再生しているため
、情報の送受信が停止した時間帯の内容をユーザに提供することができない。従って、情
報の送受信が停止した際にも、ユーザに適切に内容を確認させることが求められている。

本発明は、上記課題を鑑み、情報の送受信が停止した際にも、ユーザに適切に内容を確
認させることが可能な情報処理装置、表示装置、情報処理方法、及びプログラムを提供す
ることを目的とする。

本発明の一態様にかかる情報処理装置は、映像情報及び音声情報を含む配信情報の出力
を停止する旨の停止信号が取得されてから、前記配信情報の出力を再開する旨の再開信号
が取得されるまでの停止時間において、前記配信情報の出力を停止する配信情報出力部と
、前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づき、前記
停止時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成部と、を備える
。

本発明の一態様にかかる表示装置は、所定の停止時間において、映像情報及び音声情報
を含む配信情報の表示を停止する配信情報表示部と、前記停止時間における前記映像情報
及び前記音声情報の少なくとも一方に基づく情報であって、前記停止時間の長さに応じて
情報量が異なる情報である補助情報を、前記停止時間の経過後に、前記配信情報と同時に
表示する補助情報表示部と、を有する。

本発明の一態様にかかる情報処理方法は、映像情報及び音声情報を含む配信情報の出力
を停止する旨の停止信号を取得してから、前記配信情報の出力を再開する旨の再開信号を
取得するまでの停止時間の間には、前記配信情報の出力を停止する配信情報出力ステップ
と、前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づき、前
記停止時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成ステップと、
を有する。

本発明の一態様にかかるプログラムは、映像情報及び音声情報を含む配信情報の出力を
停止する旨の停止信号を取得してから、前記配信情報の出力を再開する旨の再開信号を取
得するまでの停止時間の間には、前記配信情報の出力を停止する配信情報出力ステップと
、前記停止時間における前記映像情報及び前記音声情報の少なくとも一方に基づき、前記
停止時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成ステップと、を
コンピュータに実行させる。

本発明によれば、情報の送受信が停止した際にも、ユーザに適切に内容を確認させるこ
とができる。

図１は、本実施形態に係る情報処理システムの模式図である。 図２は、本実施形態に係る表示装置の模式的なブロック図である。 図３は、本実施形態に係る情報処理装置のブロック図である。 図４は、停止時間データベースの一例を示す表である。 図５は、配信情報と補助情報の出力タイミングを示す図である。 図６は、本実施形態に係る表示装置の模式的なブロック図である。 図７は、総停止時間を設定するフローを説明するフローチャートである。 図８は、補助情報の出力フローを説明するフローチャートである。 図９は、表示装置による配信情報と補助情報との表示例を示す図である。 図１０は、表示装置による配信情報と補助情報との表示例を示す図である。 図１１は、表示装置による配信情報と補助情報との表示例を示す図である。 図１２は、表示装置による配信情報と補助情報との表示例を示す図である。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実
施形態により本発明が限定されるものではない。

（情報処理システムの構成）
図１は、本実施形態に係る情報処理システムの模式図である。図１に示すように、本実
施形態に係る情報処理システム１は、離れた場所にある場所ＡＲ１と場所ＡＲ２とで情報
の送受信を行うものである。具体的には、情報処理システム１は、場所ＡＲ１にいるユー
ザＨ１の音声と映像とを、場所ＡＲ２にいるユーザＨ２に伝達し、場所ＡＲ２にいるユー
ザＨ２の音声と映像とを、場所ＡＲ１にいるユーザＨ１に伝達する。本実施形態では、場
所ＡＲ１にいるユーザＨ１が複数であり、場所ＡＲ２にいるユーザＨ２が単数である。情
報処理システム１は、場所ＡＲ１と場所ＡＲ２とで情報の送受信を行うことで、複数のユ
ーザＨ１による場所ＡＲ１での会議への、ユーザＨ２の遠隔からの参加を可能としている
。ただし場所ＡＲ１及び場所ＡＲ２のユーザの人数は任意である。

情報処理システム１は、場所ＡＲ１と場所ＡＲ２との情報の送受信が停止した場合にお
いて、停止していた間の場所ＡＲ１での会議の内容を、送受信の再開後に場所ＡＲ２のユ
ーザＨ２に伝達することで、ユーザＨ２に停止していた時間での会議の内容を理解させる
ものである。図１に示すように、情報処理システム１は、場所ＡＲ１に設置される情報取
得装置１０、表示装置１２、及び情報処理装置１４と、場所ＡＲ２に設置される情報取得
装置１６、表示装置１８、及び検出装置１９と、ネットワークＮとを備える。なお、情報
処理装置１４は、場所ＡＲ１に設置されることに限られず、任意の位置にあってもよい。
また、情報取得装置１０と表示装置１２と情報処理装置１４とは、本実施形態では個別の
装置であるが、情報取得装置１０と表示装置１２と情報処理装置１４との少なくとも２つ
が一体の装置であってもよい。同様に、情報取得装置１６と表示装置１８と検出装置１９
とは、本実施形態では個別の装置であるが、情報取得装置１６と表示装置１８と検出装置
１９との少なくとも２つが一体の装置であってもよい。また、情報取得装置１６と表示装
置１８とが一体の装置であってもよい。

情報取得装置１０は、場所ＡＲ１の音声情報と映像情報とを取得する装置である。情報
取得装置１０が取得する音声情報は、場所ＡＲ１で生じている音であり、場所ＡＲ１にい
るユーザＨ１が発する音声を含む。情報取得装置１０が取得する映像情報は、場所ＡＲ１
を撮像した動画像であり、本実施形態では、場所ＡＲ１にいるユーザＨ１を撮像した動画
像を含む。情報取得装置１０は、例えば録音機能付きのビデオカメラであり、マイク１０
Ａと撮像部１０Ｂとを有する。マイク１０Ａは、場所ＡＲ１で録音することで音声情報を
取得する。撮像部１０Ｂは、場所ＡＲ１を撮像することで撮像情報を取得する。情報取得
装置１０は、情報処理装置１４と接続されており、取得した場所ＡＲ１の音声情報及び映
像情報を、情報処理装置１４に出力する。情報取得装置１０は、場所ＡＲ１の音声情報と
映像情報とを連続して取得し続けており、取得した音声情報と映像情報とを、随時、情報
処理装置１４に出力する。すなわち、情報取得装置１０は、取得した音声情報と映像情報
とを、リアルタイムで情報処理装置１４に出力する。詳しくは後述するが、情報処理装置
１４は、音声情報及び映像情報に基づいた配信情報と補助情報とを、ネットワークＮを介
して場所ＡＲ２の表示装置１８に出力する。

情報取得装置１６は、場所ＡＲ２の音声情報と映像情報とを取得する装置である。情報
取得装置１６が取得する音声情報とは、場所ＡＲ２で生じている音であり、場所ＡＲ２に
いるユーザＨ２が発する音声を含む。情報取得装置１６が取得する映像情報は、場所ＡＲ
２の動画像であり、場所ＡＲ２にいるユーザＨ２を撮像した動画像を含む。情報取得装置
１６は、例えば録音機能付きのビデオカメラであり、マイク１６Ａと撮像部１６Ｂとを有
する。マイク１６Ａは、場所ＡＲ２で録音することで音声情報を取得する。撮像部１６Ｂ
は、場所ＡＲ２を撮像することで撮像情報を取得する。情報取得装置１６は、ネットワー
クＮと接続されており、取得した音声情報及び撮像情報を、ネットワークＮを介して、場
所ＡＲ１の表示装置１２に出力する。情報取得装置１６は、場所ＡＲ２の音声情報と映像
情報とを連続して取得し続けており、取得した音声情報と映像情報とを、随時、表示装置
１２に出力する。すなわち、情報取得装置１６は、取得した音声情報と映像情報とを、リ
アルタイムで表示装置１２に出力する。

検出装置１９は、ネットワークＮを介して、情報処理装置１４に接続されている。検出
装置１９は、ユーザＨ２以外の人が、場所ＡＲ２に、さらに言えば場所ＡＲ２の表示装置
１８に、接近しているかを検出する装置である。以下、表示装置１８に接近するユーザＨ
２以外の人を、接近者と記載する。検出装置１９は、検出部１９Ａと検出情報出力部１９
Ｂとを有する。

検出部１９Ａは、表示装置１８が出力する情報を認識可能な程度に近い位置に、接近者
がいることを検出する機構であり、例えば近接センサである。検出部１９Ａは、表示装置
１８の所定距離の範囲内に人がいるかを検出し、所定距離の範囲内にユーザＨ２以外の人
がいる場合、接近者がいると検出し、所定距離の範囲内にユーザＨ２以外の人がいない場
合、接近者がいると検出しない（接近者がいないとする）。検出部１９Ａは、例えば、表
示装置１８に対向する位置にあるユーザＨ２の椅子よりも後方に設けられることで、ユー
ザＨ２を除いた人の接近を検出可能である。ただし、検出部１９Ａは、接近者を検出可能
な装置であれば、このような構成の近接センサに限られない。例えば、検出部１９Ａは、
映像を撮像する撮像部であってもよく、撮像した映像にユーザＨ２以外の人が写っている
場合に、表示装置１８に接近者がいると検出し、撮像した映像にユーザＨ２以外の人が写
っていない場合に、表示装置１８に接近者がいると検出しない（接近者がいないとする）
。

検出情報出力部１９Ｂは、検出部１９Ａの検出結果を取得する。検出情報出力部１９Ｂ
は、検出部１９Ａから、接近者がいるとの検出結果を取得した場合に、停止信号を生成し
て、生成した停止信号を、情報処理装置１４に送信する。検出情報出力部１９Ｂは、検出
部１９Ａが接近者の検出を解除した旨の結果を取得した場合に、すなわち、接近者がいる
と検出した後に接近者がいると検出しなくなった場合に、再開信号を生成して、生成した
再開信号を、情報処理装置１４に送信する。言い換えれば、検出情報出力部１９Ｂは、場
所ＡＲ２に接近者が現れた場合に、停止信号を出力し、接近者が場所ＡＲ１からいなくな
った場合に、再開信号を出力する。詳しくは後述するが、停止信号は、情報処理装置１４
に配信情報の出力を停止させるトリガとなる信号であり、再開信号は、情報処理装置１４
に配信情報の出力停止を解除させる、すなわち配信情報の出力を再開させるためのトリガ
となる信号である。

なお、検出装置１９は、例えば、図示しない制御部、すなわちＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、記憶部を備えていてよい。例えば、検出情報出
力部１９Ｂは、制御部が記憶部に記憶されたプログラムを読み出すことによって後述する
処理を実行する。また、検出部１９Ａの制御も、制御部が記憶部に記憶されたプログラム
を読み出すことによって実行されてもよい。ただし、検出装置１９は、このようにＣＰＵ
を備えることに限られず、接近者を検出した場合に停止信号を送信し、接近者がいなくな
った場合に再開信号を送信する処理を、ハードウェア回路によって実現してもよい。

本実施形態では、このように、接近者の有無に応じて、停止信号及び再開信号を情報処
理装置１４に出力している。すなわち、本実施形態では、配信情報を出力停止及び出力再
開するためのトリガを、接近者の有無に設定している。これにより、配信情報がユーザＨ
２以外の人に認識されて、会議の情報が漏れることが抑制される。ただし、配信情報を出
力停止及び出力再開するためのトリガは、接近者の有無に限られない。例えば、ユーザＨ
２が場所ＡＲ２から離れたかをトリガとしてもよい。この場合、検出装置１９は、ユーザ
Ｈ２が場所ＡＲ２から離れたかを検出して、ユーザＨ２が場所ＡＲ２を離れた場合に、停
止信号を出力し、ユーザＨ２が場所ＡＲ２に戻ってきた場合に、再開信号を出力する。ま
た例えば、ユーザＨ２の入力を、トリガとしてもよい。この場合、検出装置１９は、ユー
ザＨ２による配信情報を停止させる旨の入力を検出することをトリガとして、停止信号を
生成、出力する。また、検出装置１９は、ユーザＨ２による配信情報を再開させる旨の入
力を検出することをトリガとして、再開信号を生成、出力する。このように、停止信号及
び再開信号の出力のトリガは、任意に設定可能である。

図２は、本実施形態に係る表示装置の模式的なブロック図である。表示装置１２は、ネ
ットワークＮを介して、場所ＡＲ２の情報取得装置１６に接続されており、情報取得装置
１６から、場所ＡＲ２の音声情報及び映像情報を取得する。表示装置１２は、取得した場
所ＡＲ２の音声情報及び映像情報を、場所ＡＲ１で出力する。図２に示すように、表示装
置１２は、入力部２０と、出力部２２と、記憶部２４と、制御部２６とを有する。入力部
２０は、ユーザＨ１の操作（入力）を受け付ける。出力部２２は、場所ＡＲ２の音声情報
及び映像情報を出力する。すなわち、出力部２２は、映像情報を表示するディスプレイで
ある表示部２２Ａと、音声情報を音声として出力するスピーカ２２Ｂとを有する。記憶部
２４は、制御部２６の演算内容、プログラムの情報、及び、取得した音声情報及び映像情
報などを記憶するメモリである。記憶部２４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃ
ｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＨＤＤ（
Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。

制御部２６は、表示装置１２の全体を制御する演算装置、すなわちＣＰＵである。制御
部２６は、出力情報取得部２６Ａと、出力制御部２６Ｂとを有する。出力情報取得部２６
Ａと出力制御部２６Ｂとは、制御部２６が記憶部２４に記憶されたソフトウェア（プログ
ラム）を読み出すことで実現されて、後述する処理を実行する。

出力情報取得部２６Ａは、場所ＡＲ２の映像情報及び音声情報を、情報取得装置１６か
ら取得する。出力情報取得部２６Ａは、場所ＡＲ２の映像情報及び音声情報を、随時、す
なわちリアルタイムで取得する。出力制御部２６Ｂは、出力情報取得部２６Ａが取得した
場所ＡＲ２の映像情報及び音声情報を、リアルタイムで出力部２２に出力させる。すなわ
ち、出力制御部２６Ｂは、場所ＡＲ２の映像情報を、リアルタイムで表示部２２Ａに表示
させ、場所ＡＲ２の音声情報を、リアルタイムでスピーカ２２Ｂに音声として出力させる
。このように、出力部２２は、離れた場所ＡＲ２の映像情報及び音声情報を、場所ＡＲ１
においてリアルタイムで出力する。ただし、出力部２２は、場所ＡＲ２において映像及び
音声が取得されたタイミングから若干遅れて、映像情報及び音声情報を出力してもよい。

次に、情報処理装置１４について説明する。図１に示すように、情報処理装置１４は、
ネットワークＮを介して表示装置１８及び検出装置１９に接続されており、情報取得装置
１０にも接続されているコンピュータ、ここではサーバである。情報処理装置１４は、情
報取得装置１０から取得した場所ＡＲ１の映像情報及び音声情報である配信情報を、リア
ルタイムで表示装置１８に出力する。また、情報処理装置１４は、場所ＡＲ１の映像情報
及び音声情報に基づき生成した補助情報を、表示装置１８に出力する。

図３は、本実施形態に係る情報処理装置のブロック図である。図３に示すように、情報
処理装置１４は、入力部３０と、通信部３１と、記憶部３２と、制御部３４とを有する。
入力部３０は、ユーザＨ１の操作（入力）を受け付ける。通信部３１は、通信インターフ
ェイスであり、制御部３４の制御により、他の装置、例えば情報取得装置１０、表示装置
１８及び検出装置１９と通信することで、データの送受信をするよう構成される。記憶部
３２は、制御部３４の演算内容やプログラムの情報などを記憶するメモリであり、例えば
、ＲＡＭと、ＲＯＭと、ＨＤＤなどの外部記憶装置とのうち、少なくとも１つ含む。記憶
部３２は、例えば外部記憶装置に、映像音声情報データベース４０と、停止時間データベ
ース４２と、優先話者データベース４４と、分類情報データベース４６と、テキストデー
タベース４８とを有する。

制御部３４は、情報処理装置１４の全体を制御する演算装置、すなわちＣＰＵである。
制御部３４は、情報取得部５０と、停止時間取得部５２と、優先話者設定部５４と、分類
情報生成部５６と、テキストデータ生成部５８と、補助情報生成部６０と、出力制御部６
２とを有する。出力制御部６２は、配信情報出力部６４と、補助情報出力部６６とを有す
る。情報取得部５０と、停止時間取得部５２と、優先話者設定部５４と、分類情報生成部
５６と、テキストデータ生成部５８と、補助情報生成部６０と、出力制御部６２とは、制
御部３４が記憶部３２に記憶されたソフトウェア（プログラム）を読み出すことで実現さ
れて、後述する処理を実行する。

情報取得部５０は、通信部３１を介して、情報取得装置１０から、場所ＡＲ１の映像情
報及び音声情報を取得する。情報取得部５０は、場所ＡＲ１の映像情報及び音声情報を、
随時、すなわちリアルタイムで取得する。情報取得部５０は、リアルタイムで取得した場
所ＡＲ１の映像情報及び音声情報を、随時、映像音声情報データベース４０に記憶させる
。

停止時間取得部５２は、通信部３１を介して、検出装置１９から、停止信号及び再開信
号を取得する。上述のように、検出装置１９は、所定のタイミングにおいて、本実施形態
では接近者を検出したタイミングにおいて、停止信号を生成して情報処理装置１４に送信
する。停止時間取得部５２は、この所定のタイミングで送信された停止信号を取得するた
め、接近者を検出したタイミングとほぼ同じタイミングで、停止信号を取得する。停止時
間取得部５２は、停止信号を取得した時刻を、停止信号取得時刻として、停止時間データ
ベース４２に記憶させる。また、検出装置１９は、停止信号を生成した後の所定のタイミ
ングにおいて、本実施形態では接近者がいなくなったタイミングにおいて、再開信号を生
成して情報処理装置１４に送信する。停止時間取得部５２は、この所定のタイミングで送
信された再開信号を取得するため、接近者がいなくなったタイミングとほぼ同じタイミン
グで、再開信号を取得する。停止時間取得部５２は、再開信号を取得した時刻を、再開信
号取得時刻として、停止時間データベース４２に記憶させる。すなわち、停止時間取得部
５２は、停止時刻を取得した時刻と再開信号を取得した時刻とを、タイムスタンプ情報と
して停止時間データベース４２に記憶させる。

ここで、配信情報出力部６４は、映像音声情報データベース４０に記憶された場所ＡＲ
１の映像情報及び音声情報を読み出す。配信情報出力部６４は、読み出した場所ＡＲ１の
映像情報及び音声情報を、配信情報として、通信部３１を介して、随時、表示装置１８に
出力する。言い換えれば、配信情報出力部６４は、場所ＡＲ１の映像情報及び音声情報で
ある配信情報を、リアルタイムで表示装置１８に配信する。一方、配信情報出力部６４は
、停止時間取得部５２が停止信号を取得すると、配信情報の出力を停止する。すなわち、
配信情報出力部６４は、停止信号取得時刻において、停止信号の出力を停止する。配信情
報出力部６４は、停止信号を取得してから再開信号を取得するまでの間、配信情報の出力
の停止を続ける。配信情報出力部６４は、停止時間取得部５２が再開信号を取得すると、
配信情報の出力を再開する。すなわち、配信情報出力部６４は、再開信号取得時刻におい
て、配信情報の出力を再開する。配信情報出力部６４は、配信情報の出力を再開する際に
は、停止信号取得時刻から再開信号取得時刻までの、出力を停止した期間における配信情
報を出力することなく、再開信号取得時刻以降の配信情報をリアルタイムで出力する。配
信情報出力部６４は、次に停止信号が取得されるまで、配信情報の出力を続ける。

このように、配信情報出力部６４は、表示装置１８にリアルタイムで配信情報を出力し
つつ、停止信号取得時刻から再開信号取得時刻までの間の時間である停止時間において、
配信情報の出力を停止する。

停止時間取得部５２の説明に戻る。図４は、停止時間データベースの一例を示す表であ
る。停止時間取得部５２は、停止信号取得時刻と、その直後の再開信号取得時刻とを紐付
けて、１つのレコードＲとして、停止時間データベース４２に記憶させる。停止時間取得
部５２は、停止信号及び再開信号が複数回取得された場合は、すなわち配信情報の出力が
複数回停止された場合は、停止信号取得時刻及び再開信号取得時刻毎に、レコードＲを記
憶させる。図４の例では、レコードＲ１、Ｒ２、Ｒ３、Ｒ４が記憶されている。レコード
Ｒ１は、停止信号取得時刻がＴＳ１１であり、再開信号取得時刻がＴＳ１２である。レコ
ードＲ１は、停止信号取得時刻ＴＳ１１から再開信号取得時刻ＴＳ１２までの間が、配信
情報の配信が停止された停止時間であることを示している。レコードＲ２は、停止信号取
得時刻が、再開信号取得時刻ＴＳ１２より後のＴＳ２１であり、再開信号取得時刻がＴＳ
２２である。レコードＲ２は、停止信号取得時刻ＴＳ２１から再開信号取得時刻ＴＳ２２
までの間が、配信情報の配信が停止された停止時間であることを示している。レコードＲ
３は、停止信号取得時刻が、再開信号取得時刻ＴＳ２２より後のＴＳ３１であり、再開信
号取得時刻がＴＳ３２である。レコードＲ３は、停止信号取得時刻ＴＳ３１から再開信号
取得時刻ＴＳ３２までの間が、配信情報の配信が停止された停止時間であることを示して
いる。レコードＲ４は、停止信号取得時刻が、再開信号取得時刻ＴＳ３２より後のＴＳ４
１であり、再開信号取得時刻がＴＳ４２である。レコードＲ４は、停止信号取得時刻ＴＳ
４１から再開信号取得時刻ＴＳ４２までの間が、配信情報の配信が停止された停止時間で
あることを示している。なお、図４における「状態」は、停止時間における映像情報又は
音声情報が、後述の補助情報として送信済みか、送信中か、又は未送信であるかを、レコ
ードＲ毎に示す情報である。

図３に戻り、優先話者設定部５４は、会議に参加している場所ＡＲ１の複数のユーザＨ
１から、優先話者を設定し、設定した優先話者の情報を、優先話者データベース４４に記
憶させる。優先話者として設定されたユーザＨ１の音声情報は、全てのユーザＨ１の音声
情報の中から、後述する補助情報として優先して抽出される。優先話者設定部５４は、任
意の方法で優先話者を設定してよいが、本実施形態では、例えば場所ＡＲ１に集合するユ
ーザＨ１の情報に基づき、優先話者を設定する。例えば、優先話者設定部５４は、場所Ａ
Ｒ１に集合するユーザＨ１の情報（例えばＩＤや名前）を取得しておき、取得したユーザ
Ｈ１の情報に基づき、優先話者とするユーザＨ１を選択し、選択したユーザＨ１の情報を
優先話者データベース４４に記憶させる。この場合、優先話者設定部５４は、例えばユー
ザＨ１の情報に基づき、役職が高かったり、この会議で重要であったりするユーザＨ１（
例えば会議の招集者）を選択して、優先話者に設定してもよい。また、例えば、優先話者
設定部５４は、音声情報又は映像情報に基づき、優先話者を設定してよい。例えば、優先
話者設定部５４は、音声情報又は映像情報から、ユーザＨ１毎に音声を発した時間を算出
し、音声を発した時間が長いユーザＨ１を、優先話者に設定してもよい。また、優先話者
設定部５４は、ユーザによる入力部３０の入力により、優先話者を設定してもよい。もし
くは、ネットワークＮを介して、入力部２０、または入力部７０の入力により、優先話者
を設定してもよい。なお、優先話者設定部５４が設定する優先話者の人数は、任意であり
、１人でもよいし２人以上であってもよい。すなわち、優先話者は、全てのユーザＨ１の
うち一部のユーザＨ１であればよい。また、優先話者設定部５４は、優先話者を複数設定
する場合、複数の優先話者に、更に優先順位を付けることが好ましい。

分類情報生成部５６は、映像音声情報データベース４０から、場所ＡＲ１の音声情報を
読み出す。分類情報生成部５６は、読み出した場所ＡＲ１の音声情報を解析して、音声情
報を、音声を発したユーザＨ１毎に分割、すなわち分類する。分類情報生成部５６は、分
類したユーザＨ１毎の音声情報を、分類情報として、分類情報データベース４６に記憶す
る。分類情報は、音声情報を分割して抽出されているため、音声情報の一部の情報である
といえる。すなわち、映像音声情報データベース４０に記憶されている音声情報は、複数
のユーザＨ１の音声が含まれて録音開始時から現在までの音声情報であるのに対し、分類
情報データベース４６に記憶される分類情報は、ユーザＨ１毎に分類された音声情報であ
り、そのユーザＨ１が音声を発した時間の音声情報となる。例えば、時刻Ｔ１から時刻Ｔ
２までユーザＨ１Ａが音声を発し、時刻Ｔ２から時刻Ｔ３までユーザＨ１Ｂが音声を発し
、時刻Ｔ３から時刻Ｔ４までユーザＨ１Ａが再度音声を発していた場合、分類情報生成部
５６は、時刻Ｔ１から時刻Ｔ２の音声情報と時刻Ｔ３から時刻Ｔ４の音声情報とを、ユー
ザＨ１Ａの音声情報として抽出し、時刻Ｔ２から時刻Ｔ３の音声情報を、ユーザＨ１Ｂの
音声情報として抽出する。なお、分類情報生成部５６は、音声情報に加えて、音声情報と
同じ時間における映像情報も、分類情報に加えてもよい。

分類情報生成部５６は、例えば、音声情報に含まれる音声波形（時間毎の振幅や波長な
ど）を解析することで、音声情報をユーザＨ１毎に分類する。分類情報生成部５６は、例
えば、音声波形の特徴を、ユーザＨ１の情報（ＩＤなど）毎に予め記憶させる。そして、
分類情報生成部５６は、場所ＡＲ１の音声情報の音声波形を検出して、予め記憶させた音
声波形の特徴と一致又は類似する音声波形の音声情報を、そのユーザＨ１の分類情報とし
て抽出する。また、分類情報生成部５６は、映像情報に基づき、分類情報を抽出してもよ
い。この場合、例えば、分類情報生成部５６は、予めユーザＨ１の情報（ＩＤなど）とユ
ーザＨ１の顔とを関連付けて記憶させる。分類情報生成部５６は、映像情報からどのユー
ザＨ１が音声を発しているかを特定して、そのユーザＨ１が音声を発していると特定した
時間における音声情報を、そのユーザＨ１の分類情報として抽出する。分類情報生成部５
６は、ユーザＨ１が音声を発しているかを特定するために、例えば、映像情報から口が動
いているユーザＨ１を検出して、そのユーザＨ１の口が動いている時間の音声情報を抽出
する。そして、分類情報生成部５６は、そのユーザＨ１の顔に関連付けられているユーザ
Ｈ１の情報を、抽出した音声情報に紐付けることで、ユーザＨ１毎の分類情報を抽出する
。ただし、ユーザＨ１毎の分類情報の抽出方法は任意であり、これらの方法に限られない
。

なお、分類情報生成部５６は、例えば同じ時間に複数のユーザＨ１が音声を発していた
場合、その時間の音声情報を、音声を発していた全てのユーザＨ１の分類情報に割り当て
てよい。また例えば、あるユーザＨ１の音声が終了してから所定時間が経過する前にその
ユーザＨ１の音声が再度発せられた場合、分類情報生成部５６は、ユーザＨ１の音声が終
了してから再開するまでの時間の音声情報も、そのユーザＨ１の分類情報に割り当てても
よい。このようにすると、そのユーザＨ１が他のユーザＨ１と対話している際に、対話の
音声の全体が分類情報に含まれることになり、内容の理解がし易くなる。また、分類情報
生成部５６は、映像音声情報データベース４０に記憶されている全ての時間における音声
情報から分類情報を生成することに限られず、少なくとも、配信情報が配信されない停止
時間における音声情報から分類情報を生成すればよい。

テキストデータ生成部５８は、映像音声情報データベース４０から、場所ＡＲ１の音声
情報を読み出す。分類情報生成部５６は、読み出した音声情報から、その音声情報のテキ
ストデータを生成する。テキストデータは、その音声情報に含まれる音声として発せられ
た文を含む文字データである。テキストデータ生成部５８は、生成した音声情報のテキス
トデータを、テキストデータベース４８に記憶させる。また、テキストデータ生成部５８
は、分類情報データベース４６から、分類情報を読み出す。テキストデータ生成部５８は
、読み出した分類情報のテキストデータを生成して、特定テキストデータとしてテキスト
データベース４８に記憶させる。テキストデータは、音声情報の文字データであるため、
音声を発した全てのユーザＨ１の音声の文字データを含む。一方、特定テキストデータは
、分類情報の文字データであるため、一人のユーザＨ１の音声の文字データを含むもので
ある。なお、テキストデータ生成部５８は、全てのユーザＨ１の分類情報についての特定
テキストデータを生成してもよいし、優先話者として設定されたユーザＨ１の分類情報の
特定テキストデータのみを生成してもよい。

テキストデータ生成部５８は、例えば、音声情報から、時間毎の振幅や波長などによる
音声波形を検出する。そして、テキストデータ生成部５８は、音声波形と、文字との関係
を記憶したテーブルに基づき、時間毎の音声波形をそれぞれ文字に置き換えることで、音
声情報をテキストデータに変換する。ただし、テキストデータ生成部５８は、音声情報を
テキストデータに変換できるものであれば、変換の方法は任意である。

補助情報生成部６０は、配信情報の出力が停止されている停止時間における、場所ＡＲ
１の映像情報及び音声情報の少なくとも一方に基づき、補助情報を生成する。補助情報生
成部６０は、停止時間の長さに応じて内容が異なるように、補助情報を生成する。

本実施形態においては、補助情報生成部６０は、停止時間が、より詳しくは後述の総停
止時間が、第１時間範囲よりも短い場合に、映像音声情報データベース４０から、停止時
間における場所ＡＲ１の映像情報を読み出し、テキストデータベース４８から、停止時間
におけるテキストデータを読み出す。そして、補助情報生成部６０は、停止時間における
映像情報と、停止時間におけるテキストデータとを、補助情報とする。以下、この停止時
間における映像情報とテキストデータとを含む補助情報を、適宜、第１補助情報と記載す
る。テキストデータは、音声情報から生成されるため、映像情報とテキストデータとを含
む第１補助情報は、場所ＡＲ１の映像情報及び音声情報に基づく情報であるといえる。な
お、補助情報生成部６０は、停止時間における映像情報及びテキストデータの代わりに、
停止時間における映像情報及び音声情報を、第１補助情報としてもよい。なお、第１時間
範囲の長さは任意に設定される。

また、補助情報生成部６０は、停止時間、より詳しくは後述の総停止時間が、第１時間
範囲よりも長く（又は第１時間範囲以上であり）、かつ、第２時間範囲よりも短い場合に
、テキストデータベース４８から、停止時間におけるテキストデータを読み出し、停止時
間におけるテキストデータを、補助情報とする。第２時間範囲は、第１時間範囲より長い
時間である。以下、停止時間におけるテキストデータを含むこの補助情報を、適宜、第２
補助情報と記載する。このように、補助情報生成部６０は、停止時間が第２時間範囲より
短い場合には、映像情報を含まずテキストデータを含む情報を、第２補助情報とする。言
い換えれば、補助情報生成部６０は、停止時間が第１閾値以下である場合は、停止時間に
おける映像情報及びテキストデータを補助情報（第１補助情報）とし、停止時間が第１閾
値より長い場合は、停止時間におけるテキストデータを補助情報（第２補助情報）とする
。

また、補助情報生成部６０は、停止時間、より詳しくは後述の総停止時間が、第２時間
範囲より長い場合（又は第２時間範囲以上である場合）、ここでは第３時間範囲内である
場合に、テキストデータベース４８から、停止時間における優先話者の特定テキストデー
タを読み出し、停止時間における優先話者の特定テキストデータを、補助情報とする。第
３時間範囲は、第２時間範囲より長い時間である。以下、停止時間における優先話者の特
定テキストデータを含むこの補助情報を、適宜、第３補助情報と記載する。このように、
補助情報生成部６０は、停止時間が第３時間範囲内である場合には、映像情報及びテキス
トデータを含まず、優先話者の特定テキストデータを含む情報を、第３補助情報とする。
言い換えれば、補助情報生成部６０は、停止時間が第１閾値より長く第２閾値以下である
場合は、停止時間におけるテキストデータを補助情報（第２補助情報）とし、停止時間が
第２閾値より長い場合は、停止時間における優先話者の特定テキストデータを、補助情報
（第３補助情報）とする。

補助情報生成部６０は、このように停止時間の長さに応じて補助情報を生成する。言い
換えれば、補助情報生成部６０は、停止時間における映像情報と音声情報のテキストデー
タとのうち、少なくとも一部を含むように、停止時間の長さに応じて、情報量、言い換え
ればデータ量が異なる補助情報を生成しているといえる。さらに言えば、補助情報生成部
６０は、停止時間が長いほど、補助情報の情報量を少なくしているともいえる。ただし、
補助情報は、上述のように第１補助情報から第３補助情報のいずれかとして生成されるこ
とに限られない。例えば、第１補助情報から第３補助情報以外の方法で補助情報が作成さ
れてもよい。また例えば、補助情報生成部６０は、第１補助情報から第３補助情報のうち
、いずれか２つを作成するものであってもよい。すなわち、補助情報生成部６０は、第１
補助情報と第２補助情報とのいずれかを生成してよいし、第２補助情報と第３補助情報と
のいずれかを生成してよいし、第１補助情報と第３補助情報のいずれかを生成してよい。

なお、補助情報生成部６０は、配信情報の出力が複数回停止されることにより、停止時
間が複数設定される場合には、停止時間毎に補助情報を生成する。すなわち、補助情報生
成部６０は、図４に示すレコードＲが複数設定されている場合には、レコードＲ毎に、補
助情報を生成する。

補助情報出力部６６は、補助情報生成部６０が生成した補助情報を、通信部３１を介し
て表示装置１８に出力する。本実施形態では、補助情報出力部６６は、補助情報生成部６
０が第１補助情報を生成した場合、第１補助情報を出力し、補助情報生成部６０が第２補
助情報を生成した場合、第２補助情報を出力し、補助情報生成部６０が第３補助情報を生
成した場合、第３補助情報を出力する。

図５は、配信情報と補助情報の出力タイミングを示す図である。補助情報出力部６６は
、再開信号を取得した後に、すなわち停止時間が経過した後に、補助情報を出力する。さ
らに言えば、補助情報出力部６６は、停止時間が経過した後に、配信情報出力部６４によ
る配信情報の出力中に、配信情報と同じ出力先である表示装置１８に、補助情報を出力す
る。図５は、時刻ＴＳ１において、停止信号が取得され、時刻ＴＳ２において、再開信号
が取得された例を示している。この場合、配信情報出力部６４は、時刻ＴＳ１までは、時
刻ＴＳ１までの配信情報を、リアルタイムで表示装置１８に出力する。そして、配信情報
出力部６４は、時刻ＴＳ１から時刻ＴＳ２までの停止時間においては、配信情報の出力を
停止している。そして、配信情報出力部６４は、時刻ＴＳ２からは、時刻ＴＳ２からの配
信情報を、リアルタイムで表示装置１８に出力する。すなわち、配信情報出力部６４は、
時刻ＴＳ１から時刻ＴＳ２までの停止時間の配信情報を、表示装置１８に出力しない。

一方、補助情報出力部６６は、時刻ＴＳ２の経過後に、時刻ＴＳ１から時刻ＴＳ２まで
の停止時間における補助情報を、表示装置１８に出力する。すなわち、時刻ＴＳ２以降で
は、配信情報出力部６４が時刻ＴＳ２からの配信情報をリアルタイムで出力しつつ、補助
情報出力部６６が、時刻ＴＳ１から時刻ＴＳ２までの過去の情報である補助情報を、時刻
ＴＳ２からの配信情報の出力と同時に、表示装置１８に出力する。

図５の例では、補助情報出力部６６は、時刻ＴＳ２から、すなわち再開信号を取得した
時刻から、補助情報を出力する。すなわち、補助情報出力部６６は、再開信号の取得をト
リガとして、補助情報を出力する。ただし、補助情報出力部６６は、再開信号の取得をト
リガとして補助情報を出力することに限られない。例えば、再開信号を取得してから所定
時間経過したことをトリガとしてもよいし、ユーザの要求、すなわちユーザＨ２による表
示装置１８への入力などをトリガとしてもよい。ただし、補助情報出力部６６は、停止時
間中に補助情報を配信することはない。

次に、場所ＡＲ２の表示装置１８について説明する。図６は、本実施形態に係る表示装
置の模式的なブロック図である。表示装置１８は、ネットワークＮを介して、場所ＡＲ１
の情報処理装置１４に接続されており、情報処理装置１４から、場所ＡＲ１の配信情報及
び補助情報を取得する。表示装置１８は、取得した場所ＡＲ１の配信情報及び補助情報を
、場所ＡＲ２で出力する。図６に示すように、表示装置１８は、入力部７０と、出力部７
２と、記憶部７４と、制御部７６とを有する。入力部７０は、ユーザＨ２の操作（入力）
を受け付ける。出力部７２は、場所ＡＲ１の配信情報及び補助情報を出力する。すなわち
、出力部７２は、映像情報及び補助情報を表示するディスプレイである表示部７２Ａと、
音声情報を音声として出力するスピーカ７２Ｂとを有する。記憶部７４は、制御部７６の
演算内容、プログラムの情報、及び、取得した配信情報及び補助情報などを記憶するメモ
リである。記憶部７４は、例えば、ＲＡＭと、ＲＯＭと、ＨＤＤなどの外部記憶装置との
うち、少なくとも１つ含む。

制御部７６は、表示装置１８の全体を制御する演算装置、すなわちＣＰＵである。制御
部７６は、配信情報取得部７６Ａと、補助情報取得部７６Ｂと、出力制御部７６Ｃとを有
する。配信情報取得部７６Ａと、補助情報取得部７６Ｂと、出力制御部７６Ｃとは、制御
部７６が記憶部７４に記憶されたソフトウェア（プログラム）を読み出すことで実現され
て、後述する処理を実行する。

配信情報取得部７６Ａは、場所ＡＲ１の配信情報を、情報処理装置１４から取得する。
配信情報取得部７６Ａは、場所ＡＲ１の配信情報を、随時、すなわちリアルタイムで取得
する。補助情報取得部７６Ｂは、場所ＡＲ１の補助情報を、情報処理装置１４から取得す
る。

出力制御部７６Ｃは、配信情報取得部７６Ａが取得した配信情報を、リアルタイムで出
力部７２に出力させる。すなわち、出力制御部７６Ｃは、配信情報に含まれる場所ＡＲ１
の映像情報を、リアルタイムで表示部７２Ａに表示させ、配信情報に含まれる場所ＡＲ１
の音声情報を、リアルタイムでスピーカ７２Ｂに音声として出力させる。配信情報取得部
７６Ａは、停止時間中には配信情報を取得しない。従って、出力制御部７６Ｃは、停止時
間の間には、出力部７２に配信情報の出力を停止させる。

また、出力制御部７６Ｃは、補助情報取得部７６Ｂが取得した補助情報を、停止時間の
経過後に、出力部７２に出力させる。すなわち、出力制御部７６Ｃは、補助情報に含まれ
る映像情報、テキストデータ、又は特定テキストデータを、表示部７２Ａに表示させる。
また、補助情報に音声情報が含まれる場合、出力制御部７６Ｃは、配信情報に含まれる音
声情報を、リアルタイムでスピーカ７２Ｂに音声として出力させる。

出力制御部７６Ｃは、補助情報取得部７６Ｂから補助情報を取得したタイミングで、補
助情報を出力させる。すなわち、出力制御部７６Ｃは、図５に示す配信情報及び補助情報
の出力と同様のタイミングで、配信情報と補助情報とを出力させる。例えば、出力制御部
７６Ｃは、時刻ＴＳ１までは、時刻ＴＳ１までの配信情報を、リアルタイムで出力部７２
に出力させ、時刻ＴＳ１から時刻ＴＳ２までの間は、配信情報の出力を停止させる。そし
て、出力制御部７６Ｃは、時刻ＴＳ２からは、時刻ＴＳ２からの配信情報を、リアルタイ
ムで出力部７２に出力させる。すなわち、出力制御部７６Ｃは、時刻ＴＳ１から時刻ＴＳ
２までの停止時間の配信情報を出力させない。このように、出力制御部７６Ｃは、配信情
報をライブ配信するといえる。ただし、情報の送受信のタイムラグなどにより、若干出力
が遅れてもよい。

また、出力制御部７６Ｃは、時刻ＴＳ２の経過後に、時刻ＴＳ１から時刻ＴＳ２までの
停止時間における補助情報を、出力部７２に出力させる。すなわち、出力制御部７６Ｃは
、時刻ＴＳ２以降では、時刻ＴＳ２からの配信情報をリアルタイムで出力しつつ、時刻Ｔ
Ｓ１から時刻ＴＳ２までの過去の情報である補助情報を、時刻ＴＳ２からの配信情報の出
力と同時に出力する。

ただし、出力制御部７６Ｃは、補助情報取得部７６Ｂから補助情報を取得したタイミン
グで、補助情報を出力させなくてよく、任意のタイミングで補助情報を出力させてよい。
例えば、出力制御部７６Ｃは、補助情報を取得してから所定時間経過後に補助情報を出力
させてよいし、ユーザＨ２の入力部７０への入力を検出したことをトリガとして、補助情
報を出力させてよい。

（補助情報の出力フロー）
情報処理システム１は、以上のような構成となっている。次に、情報処理装置１４によ
る補助情報の出力フローを、フローチャートに基づき説明する。情報処理装置１４は、停
止時間の合計値である総停止時間に基づき、補助情報を生成するため、最初に総停止時間
の設定方法について説明する。

図７は、総停止時間を設定するフローを説明するフローチャートである。図７に示すよ
うに、補助情報生成部６０は、総停止時間を初期化し（ステップＳ１０）、停止時間デー
タベース４２に、状態が未確認のレコードＲがあるか確認する（ステップＳ１２）。レコ
ードＲの状態とは、そのレコードＲに紐づいた停止時間における音声情報及び映像情報が
、補助情報として表示装置１８に送信されているかを示す情報である。停止時間取得部５
２は、補助情報を送信していないレコードＲの状態を送信済みに設定し、補助情報を送信
中のレコードＲの状態を送信中に設定し、補助情報を送信済みのレコードＲの状態を送信
済みに設定する。図４の例では、レコードＲ１が、補助情報として送信済みであり、レコ
ードＲ２が、補助情報として送信中（送信の最中）であり、レコードＲ３、Ｒ４が、補助
情報として未送信となっている。

補助情報生成部６０は、ステップＳ１２において、状態が未確認のレコードＲがあるか
、すなわち、状態が未送信であるか送信中であるか送信済みであるかを確認していないレ
コードＲがあるかを、確認する。状態が未確認のレコードＲがない場合（ステップＳ１２
；Ｎｏ）、補助情報生成部６０は、全てのレコードＲの状態が確認済みであり総停止時間
のアップデートが不要であると判断して、本処理を終了する。一方、状態が未確認のレコ
ードＲがある場合（ステップＳ１２；Ｙｅｓ）、補助情報生成部６０は、状態が未確認の
レコードＲのうちで最も古い（最も過去）レコードＲの状態が、送信中又は未送信である
かを確認する（ステップＳ１４）。すなわち、補助情報生成部６０は、状態が未確認のレ
コードＲが、補助情報として表示装置１８に送信が完了していないものであるかを確認す
る。補助情報生成部６０は、このステップＳ１４で状態を確認したレコードＲを、状態が
未確認であるものから状態が確認済みのものに変更する。状態が未確認だった最も古いレ
コードＲの状態が送信中又は未送信でない場合(ステップＳ１４；Ｎｏ)、すなわち送信済
みである場合、補助情報生成部６０は、ステップＳ１２に戻り処理を繰り返す。

状態が未確認だった最も古いレコードＲの状態が、送信中又は未送信である場合(ステ
ップＳ１４；Ｙｅｓ)、補助情報生成部６０は、そのレコードＲの停止時間を算出する（
ステップＳ１６）。補助情報生成部６０は、そのレコードＲに紐づいた再開信号取得時刻
と停止信号取得時刻との差分を、そのレコードＲの停止時間として算出する。停止時間を
算出したら、補助情報生成部６０は、算出した停止時間を合計して、総停止時間を算出す
る（ステップＳ１８）。すなわち、補助情報生成部６０は、状態が未送信または送信中の
レコードＲの停止時間の合計値を、総停止時間として算出する。総停止時間を算出したら
、補助情報生成部６０は、状態が未確認のレコードＲが残っていないか確認し（ステップ
Ｓ２０）、残っていない場合（ステップＳ２０；Ｙｅｓ）、本処理を終了して総停止時間
の算出を終了する。状態が未確認のレコードが残っている場合（ステップＳ２０；Ｎｏ）
、ステップＳ１４に戻って処理を繰り返し、総停止時間の算出を続ける。

このように、補助情報生成部６０は、状態が未送信または送信中のレコードＲの停止時
間の合計値を、総停止時間として算出する。すなわち、補助情報生成部６０は、停止時間
における音声情報及び映像情報が補助情報として出力済みである場合、その停止時間を総
停止時間に含めず、音声情報及び映像情報が補助情報として出力済みでない停止時間の合
計値を、総停止時間とする。なお、本実施形態に係る補助情報生成部６０は、図７に示す
手順で総停止時間を算出したが、総停止時間の算出手順はこれに限られない。

図８は、補助情報の出力フローを説明するフローチャートである。図８に示すように、
情報処理装置１４は、補助情報生成部６０により、優先話者データベース４４から、優先
話者を設定し（ステップＳ３０）、図７のように算出した総停止時間を取得する（ステッ
プＳ３２）。そして、情報処理装置１４は、補助情報生成部６０により、総停止時間が第
１時間範囲より短いかを確認し（ステップＳ３４）、第１時間範囲よりも短い場合（ステ
ップＳ３４；Ｙｅｓ）、未送信のテキストデータ及び映像情報を、補助情報（第１補助情
報）として生成する（ステップＳ３６）。未送信のテキストデータ及び映像情報とは、補
助情報として表示装置１８に出力済みでない停止時間のテキストデータ及び映像情報を指
し、言い換えれば、状態が未送信のレコードＲに紐づいた停止時間のテキストデータ及び
映像情報である。

総停止時間が第１時間範囲より短くない場合、ここでは総停止時間が第１時間範囲より
も長い場合（ステップＳ３４；Ｎｏ）、情報処理装置１４は、補助情報生成部６０により
、総停止時間が第２時間範囲より短いかを確認し（ステップＳ３８）、第２時間範囲より
短い場合（ステップＳ３８；Ｙｅｓ）、未送信のテキストデータを、補助情報（第２補助
情報）として生成する（ステップＳ４０）。すなわち、補助情報生成部６０は、総停止時
間が第２時間範囲より短い場合、補助情報として出力済みでない停止時間のテキストデー
タ（状態が未送信のレコードＲに紐づいた停止時間のテキストデータ）を、第２補助情報
として生成する。

総停止時間が第２時間範囲より短くない場合、ここでは総停止時間が第２時間範囲より
も長い場合（ステップＳ３８；Ｎｏ）、補助情報生成部６０は、総停止時間が第３時間範
囲内であると判断して、未送信の優先話者の特定テキストデータを、補助情報（第３補助
情報）として生成する（ステップＳ４２）。すなわち、補助情報生成部６０は、総停止時
間が第３時間範囲内である場合、テキストデータベース４８に記憶されているユーザＨ１
毎の特定テキストデータに、優先話者の特定テキストデータがあるかを確認する。補助情
報生成部６０は、優先話者の特定テキストデータがある場合、その優先話者の特定テキス
トデータのうち、補助情報として出力済みでない停止時間の特定テキストデータ（状態が
未送信のレコードＲに紐づいた停止時間の特定テキストデータ）を、第３補助情報として
生成する。なお、優先順位を付けて優先話者を複数設定している場合、補助情報生成部６
０は、最も優先順位の高い優先話者の特定テキストデータがあるか確認して、最も優先順
位の高い優先話者の特定テキストデータがある場合は、その優先話者の未送信の特定テキ
ストデータを、第３補助情報とする。最も優先順位の高い優先話者の特定テキストデータ
が無い場合、補助情報生成部６０は、次に優先順位の高い優先話者の特定テキストデータ
があるかを確認し、同様の処理を続けて、優先話者の特定テキストデータを抽出する。ま
た、補助情報生成部６０は、優先話者を複数設定している場合、複数の優先話者の特定テ
キストデータを、第３補助情報としてもよい。

情報処理装置１４は、ステップＳ３６、Ｓ４０、Ｓ４２のいずれかで生成した補助情報
を、補助情報出力部６６によって、表示装置１８に出力させて（ステップＳ４４）、本処
理を終了する。

なお、補助情報出力部６６は、未送信のレコードＲが複数ある場合、言い換えれば未送
信の補助情報が複数ある場合、未送信の補助情報のうち、最も古い（過去の）補助情報か
ら順に出力する。すなわち、補助情報出力部６６は、時系列に沿って補助情報を出力する
。ただし、補助情報の出力の順番は、これに限られず、設定した所定の順所であればよい
。例えば、補助情報出力部６６は、最も新しい（直近の）補助情報から、時系列を遡る順
番で出力してもよい。また、補助情報出力部６６は、停止時間が長い補助情報から順に出
力してもよい。すなわち、補助情報出力部６６は、停止時間が長い補助情報ほど、先に出
力してもよい。また、補助情報出力部６６は、配信情報に基づき、出力する補助情報を選
択し、選択した補助情報を優先して出力してもよい。例えば、補助情報出力部６６は、現
在出力されている配信情報において発言しているユーザＨ１を検出して、そのユーザＨ１
が発言している補助情報を選択して、優先して出力する。また、補助情報出力部６６は、
ユーザＨ２の要求、すなわちユーザＨ２による表示装置１８への入力に基づき、出力する
補助情報を設定してもよい。すなわち、補助情報出力部６６は、ユーザＨ２がどの時間帯
の補助情報を求めているかの情報を、表示装置１８から取得して、その情報における時間
帯の補助情報を、表示装置１８に出力する。また、補助情報出力部６６は、重要な情報を
含む補助情報を選択して、選択した補助情報を優先して出力してもよい。この場合、例え
ば、補助情報出力部６６が、停止時間における音声情報及び映像情報に基づき、重要な情
報を含む補助情報を選択する。重要な情報を含む補助情報とは、例えば、優先話者が発言
している際の補助情報や、ユーザＨ１がホワイトボードに書き込みを行っている際の補助
情報など、任意に設定可能である。

また、本実施形態では、特定のユーザＨ１のテキストデータ（特定テキストデータ）を
第３補助情報として提供するために、優先話者設定部５４が、集合するユーザＨ１の情報
を予め取得することで優先話者を設定していた。ただし、情報処理装置１４は、第３補助
情報を提供する際に、優先話者の設定を行わなくてもよい。この場合、分類情報生成部５
６は、場所ＡＲ１の音声情報を、異なるユーザＨ１毎に分類して分類情報を生成するが、
その分類情報がどのユーザＨ１のものであるかを同定しなくてよい。例えば、音声波形の
特徴はユーザＨ１毎に異なるため、分類情報生成部５６は、音声情報の音声波形を解析す
ることで、音声情報を、異なるユーザＨ１毎に分類することが可能である。そして、テキ
ストデータ生成部５８は、このように分類された分類情報毎に、特定テキストデータを生
成する。補助情報出力部６６は、それぞれの分類情報に基づき生成された特定テキストデ
ータのうちから、任意の特定テキストデータを読み出して、補助情報として出力する。ユ
ーザＨ２は、例えば、出力された特定テキストデータを表示装置１８から確認して、別の
ユーザＨ１の特定テキストデータが見たいと判断すれば、表示装置１８の入力部７０など
を介して、特定テキストデータを切り替えることを要求する。補助情報出力部６６は、こ
の要求を受けると、別の特定テキストデータを出力する。これにより、補助情報出力部６
６は、優先話者を予め設定しない場合にも、ユーザＨ２が必要とする特定のユーザＨ１の
テキストデータを、補助情報として送信することができる。

（配信情報及び補助情報の表示）
次に、表示装置１８による配信情報と補助情報との表示例を説明する。図９から図１２
は、表示装置による配信情報と補助情報との表示例を示す図である。図９は、映像情報と
テキストデータとを含む第１補助情報を表示している場合の例である。表示装置１８は、
表示部７２Ａに、配信情報に含まれる映像情報と第１補助情報とを同時に表示しつつ、図
示しないスピーカ７２Ｂに、配信情報に含まれる音声情報を出力させる。図９の例では、
表示装置１８は、ウィンドウＷ１に配信情報を表示し、ウィンドウＷ１より狭いウィンド
ウＷ２Ａに、第１補助情報を表示している。ウィンドウＷ２Ａには、映像情報Ｐ１と、テ
キストデータＰ２とが表示されている。テキストデータＰ２は、映像情報Ｐ１と連動して
いるため、映像情報Ｐ１が表示されている時刻のものが表示され、時間経過に応じて切り
替わる。また、第１補助情報として、映像情報と音声情報とが含まれる場合、表示装置１
８は、配信情報に含まれる音声情報と、第１補助情報に含まれる音声情報とを、例えばユ
ーザＨ２の入力によって切り替え可能にスピーカ７２Ｂに出力させてよい。

図１０は、テキストデータを含む第２補助情報を表示している場合の例である。表示装
置１８は、第２補助情報を表示する場合でも、配信情報については、第１補助情報を表示
する場合と同様に出力している。図１０の例では、表示装置１８は、ウィンドウＷ２Ｂに
、テキストデータＰ３を表示する。図９のテキストデータＰ２は、映像情報Ｐ１と連動し
たものであり、時間経過に応じて内容が切り替わっていた。それに対し、図１０のテキス
トデータＰ３は、映像情報Ｐ１と連動しない。従って、テキストデータＰ３は、時間経過
に応じて内容が切り替わらず、停止時間全体のテキストデータを含むものであってよい。

図１１は、優先話者の特定テキストデータを含む第３補助情報を表示している場合の例
である。表示装置１８は、第３補助情報を表示する場合でも、配信情報については、第１
補助情報を表示する場合と同様に出力している。図１１の例では、表示装置１８は、ウィ
ンドウＷ２Ｃに、特定テキストデータＰ４を表示する。特定テキストデータＰ４は、図１
０の例では「Ａさんのコメント」と記載があるように、どのユーザＨ１の発言であるかを
示す情報を表示させてもよい。また、特定テキストデータＰ４も、時間経過に応じて内容
が切り替わらず、停止時間全体の特定テキストデータを含むものであってよい。

図１２は、ユーザＨ２が表示する補助情報を切り替え可能である場合の例である。この
場合、図１２に示すように、表示装置１８は、ウィンドウＷ３に、補助情報のリストを表
示する。補助情報のリストは、補助情報毎に割り当てられた番号や記号など、補助情報毎
を識別可能な情報と、その補助情報がどの時間の情報であるかを示す情報と、が含まれる
。ユーザＨ２は、入力部７０に入力することで、補助情報のリストから、必要な補助情報
を選択する。表示装置１８は、ユーザＨ２に選択された補助情報を、ウィンドウＷ２Ａに
表示する。なお、図１２では、補助情報として第１補助情報が表示された例を説明してい
るが、第１補助情報に限られず、第２補助情報や第３補助情報が表示されていてもよい。

以上説明したように、本実施形態に係る情報処理装置１４は、情報取得部５０と、配信
情報出力部６４と、補助情報生成部６０と、補助情報出力部６６とを有する。情報取得部
５０は、所定の場所ＡＲ１の映像情報と音声情報とを取得する。配信情報出力部６４は、
映像情報及び音声情報を配信情報としてリアルタイムで出力しつつ、配信情報の出力を停
止する旨の停止信号が取得されてから、配信情報の出力を再開する旨の再開信号が取得さ
れるまでの停止時間の間には、配信情報の出力を停止する。補助情報生成部６０は、停止
時間における映像情報及び音声情報の少なくとも一方に基づき、停止時間の長さに応じて
情報量が異なる補助情報を生成する。補助情報出力部６６は、再開信号を取得した後に、
補助情報を出力する。

情報処理装置１４は、場所ＡＲ１にいるユーザＨ１の映像や音声を、配信情報としてリ
アルタイムで出力している。従って、場所ＡＲ２にいるユーザＨ２は、場所ＡＲ２で配信
情報を視聴することで、ユーザＨ１同士の会議内容など、ユーザＨ１が提供する情報を、
リアルタイムで確認することができる。しかし、例えば場所ＡＲ２に部外者が接近するな
ど、配信情報を場所ＡＲ２で表示しない方が適切な場合がある。この場合、情報処理装置
１４は、停止信号を取得することで、配信情報の配信を停止する。これにより、配信情報
を場所ＡＲ２で表示しない方が適切な場合に、好適に配信情報の配信を停止できる。ただ
し、配信情報の配信が停止されている時間帯にも、場所ＡＲ１にいるユーザＨ１同士の会
議が進行するなど、ユーザＨ１の情報が蓄積されるケースが考えられる。このようなケー
スが生じると、例え配信情報の配信が再開されたとしても、ユーザＨ２は、配信が停止さ
れていた時間帯の情報を得ることが出来ず、ユーザＨ１の会議進行についていけず、会議
の内容を適切に理解できなくなるおそれがある。

それに対し、本実施形態に係る情報処理装置１４は、配信が停止していた停止時間にお
ける映像情報及び音声情報の少なくとも一方に基づき生成した補助情報を、配信が再開し
てから送信する。従って、ユーザＨ２は、この補助情報を確認することで、配信が停止さ
れていた時間帯の情報を好適に得ることが可能となり、会議の内容をキャッチアップして
、会議の内容を、すなわちユーザＨ１の情報を、適切に確認することができる。また、情
報処理装置１４は、配信が停止されていた停止時間の長さに応じて、補助情報の内容を変
化させる。これにより、情報処理装置１４は、停止時間の長さに応じて、補助情報の情報
量を調整することが可能となるため、ユーザＨ２に、配信情報と補助情報との両方を好適
に確認可能とすることができる。

また、補助情報出力部６６は、配信情報出力部６４による配信情報の出力中に、配信情
報と同じ出力先に、補助情報を出力する。情報処理装置１４は、配信情報と同時に補助情
報を出力するため、ユーザＨ２は、配信情報と補助情報とを同時に確認することが可能と
なり、配信情報で現在の会議などの進行を確認しつつ、補助情報で配信が停止していた時
間の内容を確認することができる。従って、この情報処理装置１４によると、ユーザＨ２
は、ユーザＨ１の情報を好適に確認することができる。

また、補助情報生成部６０は、停止時間が長いほど、補助情報の情報量を少なくする。
停止時間が長い場合、表示装置１８に補助情報を表示する時間も長くなり、結果として補
助情報の情報量が増える。この場合、ユーザＨ２は、補助情報の確認が長引き、配信情報
をフォローできなくなるおそれがある。それに対し、情報処理装置１４は、停止時間が長
いほど、補助情報の情報量を少なくする。従って、ユーザＨ２は、配信情報と補助情報と
の両方を、好適に確認することができる。

また、補助情報生成部６０は、停止時間が第１時間範囲より短い場合、停止時間におけ
る映像情報を含む情報を補助情報（第１補助情報）として生成する。そして、補助情報生
成部６０は、停止時間が第１時間範囲より長く、かつ第２時間範囲より短い場合、停止時
間における音声情報のテキストデータを取得して、映像情報を含まずテキストデータを含
む情報を、補助情報（第２補助情報）として生成する。この情報処理装置１４は、停止時
間が短い場合には、情報量の多い映像情報を提供し、停止時間がある程度長い場合には、
情報量が比較的少ないテキストデータを提供する。従って、ユーザＨ２は、停止時間の長
さに応じて、配信情報と補助情報との両方を、好適に確認することができる。

また、補助情報生成部６０は、停止時間が第２時間範囲より長い場合、停止時間におい
て音声を発しているユーザＨ１のうち特定のユーザＨ１の音声情報のテキストデータであ
る特定テキストデータを取得する。補助情報生成部６０は、映像情報を含まず特定テキス
トデータを含む情報を、補助情報（第３補助情報）として生成する。この情報処理装置１
４は、停止時間がさらに長い場合には、情報量がさらに少ない特定テキストデータを提供
する。従って、ユーザＨ２は、停止時間の長さに応じて、配信情報と補助情報との両方を
、好適に確認することができる。

また、補助情報生成部６０は、配信情報の出力が複数回停止されることにより停止時間
が複数設定される場合に、停止時間毎に、すなわちレコードＲ毎に、補助情報を生成する
。補助情報出力部６６は、複数の補助情報を、設定した所定の順序で出力する。この情報
処理装置１４は、配信情報の出力が複数回停止されても、このように補助情報を生成する
ため、停止時間の長さに応じて、配信情報と補助情報との両方を、好適に確認させること
ができる。

また、情報処理システム１は、情報処理装置１４と、配信情報及び補助情報を表示する
表示装置１８とを有する。この情報処理システム１は、情報処理装置１４と表示装置１８
とを有するため、配信情報と補助情報との両方を、好適に確認させることができる。なお
、本実施形態においては、情報処理装置１４は、場所ＡＲ１の配信情報及び補助情報を、
場所ＡＲ２の表示装置１８に提供していた。ただし、情報処理装置１４は、場所ＡＲ２の
配信情報及び補助情報を場所ＡＲ１の表示装置１２に提供することも行ってよい。

また、情報処理システム１は、表示装置１８への接近者を検出する検出部１９Ａを更に
有する。情報処理装置１４は、検出部１９Ａが接近者を検出した場合に停止信号を取得し
、接近者の検出が解除された場合に再開信号を取得する。この情報処理システム１による
と、接近者がいると情報提供が停止されるため、部外者への情報漏えいが抑制される。

また、本実施形態に係る表示装置１８は、離れた場所ＡＲ１の映像情報及び音声情報を
配信情報としてリアルタイムで表示しつつ、所定の停止時間の間には、配信情報の表示を
停止する配信情報表示部（表示部７２Ａ）を有する。また、表示装置１８は、停止時間に
おける映像情報及び音声情報の少なくとも一方に基づく情報であって、停止時間の長さに
応じて内容が異なる情報である補助情報を、停止時間の経過後に配信情報と同時に表示す
る補助情報表示部（表示部７２Ａ）を有する。この表示装置１８は、配信情報及び補助情
報を表示するため、ユーザＨ２が、ユーザＨ１の情報を、適切に確認することができる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定さ
れるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質
的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適
宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で
構成要素の種々の省略、置換又は変更を行うことができる。

１ 情報処理システム
１０、１６ 情報取得装置
１２、１８ 表示装置
１４ 情報処理装置
１９ 検出装置
５０ 情報取得部
５２ 停止時間取得部
５４ 優先話者設定部
５６ 分類情報生成部
５８ テキストデータ生成部
６０ 補助情報生成部
６４ 配信情報出力部
６６ 補助情報出力部
７２Ａ 表示部（配信情報表示部、補助情報表示部）
ＡＲ１、ＡＲ２ 場所
Ｈ１、Ｈ２ ユーザ

Claims (3)

1. 接近者がいると検出した際に生成する第１の信号が取得されてから、接近者がいないと検出した際に生成する第２の信号が取得されるまでの時間における映像情報及び音声情報の少なくとも一方に基づき、前記時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成部と、
   前記補助情報を出力する補助情報出力部と、
   を備える、情報処理装置。
2. 接近者がいると検出した際に生成する第１の信号が取得されてから、接近者がいないと検出した際に生成する第２の信号が取得されるまでの時間における映像情報及び音声情報の少なくとも一方に基づき、前記時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成ステップと、
   前記補助情報を出力する補助情報出力ステップと、
   を有する、情報処理方法。
3. 接近者がいると検出した際に生成する第１の信号が取得されてから、接近者がいないと検出した際に生成する第２の信号が取得されるまでの時間における映像情報及び音声情報の少なくとも一方に基づき、前記時間の長さに応じて情報量が異なる補助情報を生成する補助情報生成ステップと、
   前記補助情報を出力する補助情報出力ステップと、
   をコンピュータに実行させる、プログラム。
   

Images