JP5626426B2 - コミュニケーションプレイバックシステム用端末装置、サーバ、プログラム - Google Patents

Description

本発明は、音声、静止画及び動画などをコミュニケーションのメディアとして使用するマルチメディアコミュニケーションに関し、特に、コミュニケーションのメディアとなる音声、静止画及び動画などを記録及び再生する、コミュニケーションプレイバックシステム用端末装置、サーバ、プログラムに関する。

音声及び動画などを記録・再生する記録装置や、それら情報が記録された記録媒体を再生する再生装置は、記録された情報をより少ない時間で再生するために、「早送り」など通常の再生速度よりも数倍速度を上げる再生機能を有している。しかし、再生時間を短縮するために再生速度を上げてしまうと、視聴するユーザは記録された情報を理解することが難しくなる。これは、音声、静止画及び動画などをコミュニケーションのメディアとして使用するマルチメディアコミュニケーションにおいても同様である。つまり、マルチメディアコミュニケーションで、ユーザ同士のコミュニケーションに用いられる音声、静止画及び動画などの複数のメディア（マルチメディアコンテンツ）をデータとして記録した場合、記録されたデータを短時間で理解するために、再生速度を上げるだけではコミュニケーションの内容を理解することは難しい。

特許文献１には、マルチメディアコンテンツの閲覧に関連する技術が開示されている。特許文献１に記載の技術は、サーバに保管されている文字データ、音声データ、文字データに対応する音声データ（文字データをそのまま音読する音声データ）の３種類のデータを、クライアント側で選択的にダウンロードすることができるというものである。

特開２００６−２９４０４７号公報

ユーザ同士がマルチメディアコミュニケーションを行う方法として、静止画及び動画などを共有するソフトウェア（コンテンツ共有ツール）を実行でき、且つ、ＶｏＩＰ（Ｖｏｉｃｅ Ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）などの音声通話が行える端末装置をユーザ同士で互いに使用する方法がある。例えば、ユーザは、コンテンツ共有ツールと音声通話とを利用できる端末装置を用いて、遠隔地に居る他のユーザの発言を聞きながら、そのユーザと同じオフィス文書の表示画面を閲覧することができる。マルチメディアコミュニケーションにおいて、ユーザ同士が共有する音声、静止画及び動画など複数のメディアは、データとして記録装置に記録でき、そして、各ユーザはそれらデータを再生してコミュニケーションの内容を確認することができる。そのような中、マルチメディアコミュニケーションにおけるコミュニケーションの内容を短時間で確認できるシステムが求められている。

本発明の目的は、マルチメディアコミュニケーションにおいて、ユーザ同士のコミュニケーションに使用される音声、静止画及び動画などの複数のメディアをデータとして記録し、短時間でユーザが理解しやすいように再生するコミュニケーションプレイバックシステム用端末装置、サーバ、プログラムを提供することにある。

本発明のマルチメディアコミュニケーションシステムは、複数のユーザ各々の入力に基づく複数の第１音声データと、複数の第１音声データ各々の開始時刻及び終了時刻と、複数のユーザ各々が実行した操作を表す複数の第１操作データと、複数の第１操作データ各々の開始時刻及び終了時刻とを格納するコミュニケーション情報部と、複数の第１音声データと複数の第１操作データとの中から、再生するデータを指定する複数の再生条件を格納する設定情報ＤＢ部と、複数のユーザのうちの第１ユーザが入力する、複数の第１音声データと複数の第１操作データとの再生を完了させたい時間の要求値を取得するプレイバック要求部と、複数の第１音声データと複数の第１操作データとの中から、複数の再生条件の各々に該当する第２音声データ及び第２操作データを抽出し、抽出した複数の再生条件毎の第２音声データ及び第２操作データを再生するために必要な第１再生時間を、複数の第１音声データ各々の開始時刻及び終了時刻及び複数の第１操作データ各々の開始時刻及び終了時刻に基づいて算出し、算出した複数の第１再生時間の中で、要求値の範囲内に収まる第２再生時間で再生可能な、複数の第２音声データ及び複数の第２操作データのうちの第３音声データ及び第３操作データを抽出する再生データ抽出部と、抽出された第３音声データ及び第３操作データを再生するコミュニケーション再生部とを具備する。

本発明の端末装置は、前記コミュニケーションプレイバックシステムにおけるプレイバック要求部と、コミュニケーション再生部とから構成され、第１ユーザが操作するものである。また、本発明のサーバは、前記コミュニケーションプレイバックシステムにおけるコミュニケーション情報部と、設定情報ＤＢ部と、再生データ抽出部とから構成され、端末装置とネットワークを介して接続するものである。

本発明の端末装置及びサーバを用いることによって、マルチメディアコミュニケーションにおいて、ユーザ同士のコミュニケーションに使用される音声、静止画及び動画などの複数のメディアをデータとして記録し、短時間でユーザが理解しやすいように再生することができる。

図１は、本発明の第１の実施の形態によるコミュニケーションプレイバックシステム１の構成例を示したブロック図である。 図２は、ユーザＡが使用する端末装置１０ａの構成例を示したブロック図である。 図３は、設定ファイルの構成例を示した図である。 図４は、端末装置１０ａのユーザＡと端末装置１０ｂのユーザＢとが、コンテンツ共有ツールと音声通話とを用いてマルチメディアコミュニケーションを行った場合における、各コミュニケーションデータの再生区間を時間軸に基づいて示した図である。 図５は、端末装置１０ａの実施の形態における、ハードウェア構成例を示すブロック図である。 図６は、本発明のコミュニティシステム１の第１の実施の形態による処理動作を示したフローチャートである。 図７は、本発明の第２の実施の形態によるコミュニケーションシステム１の構成例を示したブロック図である。 図８は、ユーザＡが使用する端末装置１１ａと、サーバ３０との構成例を示したブロック図である。 図９は、携帯情報端末の構成を示したブロック図である。 図１０は、設定情報ＤＢ５１４が格納する設定ファイルの構成例を示した図である。 図１１は、図１０の設定ファイルに基づいて、再生データ抽出プログラム５１１が再生レベル「３」の再生条件となる再生時間を算出する方法を示した図である。 図１２は、図１０の設定ファイルに基づいて、再生データ抽出プログラム５１１が再生レベル「２」の再生条件となる再生時間を算出する方法を示した図である。 図１３は、図１０の設定ファイルに基づいて、再生データ抽出プログラム５１１が再生レベル「１」の再生条件となる再生時間を算出する方法を示した図である。 図１４は、図１０の設定ファイルに基づいて、再生データ抽出プログラム５１１が再生レベル「０」の再生条件となる再生時間を算出する方法を示した図である。 図１５は、サーバ・クライアント型で動作するコミュニケーションプレイバックシステム１のブロック図である。

以下、添付図面を参照して本発明の実施の形態によるコミュニケーションプレイバックシステム用端末装置、サーバ、プログラムを説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態によるコミュニケーションプレイバックシステム１の構成例を示したブロック図である。図１を参照すると、コミュニケーションプレイバックシステム１は、複数の端末装置１０ａ〜１０ｅを備える。複数の端末装置１０ａ〜１０ｅの各々は、異なるユーザによって操作され、静止画及び動画などを共有するソフトウェア（コンテンツ共有ツール）と、音声通話を行うソフトウェアとを同時に実行することができる。複数の端末装置１０ａ〜１０ｅの各々は、コンテンツ共有ツール及び音声通話のソフトウェアによって、ユーザ同士がコミュニケーションに利用する音声、静止画及び動画などの複数のメディアを、それぞれデータ（以降、コミュニケーションデータと称する）として送受信し、それら複数のコミュニケーションデータを共有する。尚、コミュニケーションプレイバックシステム１は、接続する複数の端末装置の数を限定するものではなく、また、ネットワーク２０を介して複数の端末装置１０ａ〜１０ｅの各々を接続しているが、ネットワーク２０を介さなくてもよい。

図２は、ユーザＡが使用する端末装置１０ａの構成例を示したブロック図である。尚、各端末装置１０ｂ〜１０ｅは、端末装置１０ａと同様の構成であるため説明を省略する。図２を参照すると、端末装置１０ａは、データ共有部１００と、コミュニケーション情報部１１０と、再生データ選択部１２０と、コミュニケーション再生部１３０と、省略データ検索部１４０とを備える。

データ共有部１００は、ユーザＡの入力に基づいて複数のコミュニケーションデータを生成し、他のユーザが使用する各端末装置１０ｂ〜１０ｅへ複数のコミュニケーションデータを送信する。また、データ共有部１００は、他のユーザ入力に基づく複数のコミュニケーションデータを他のユーザが使用する各端末装置１０ｂ〜１０ｅから受信する。つまり、データ共有部１００は、他のユーザが使用する各端末装置１０ｂ〜１０ｅと複数のコミュニケーションデータを共有する。データ共有部１００は、コンテンツ共有ツール及び音声通話のソフトウェアと、後述する端末装置１０のハードウェアとによって実現可能である。ユーザＡは、端末装置１０ａを使用することで、通信相手となる各端末装置１０ｂ〜１０ｅのユーザと音声通話を行うと同時に、複数のコミュニケーションデータのうちで表示されるデータを共有することができ、コミュニケーションを効率良く行うことができる。データ共有部１００は、音声入力部１０１と、操作部１０２と、データ格納部１０３と、出力部１０４と、通信部１０５とを含む。

音声入力部１０１は、マイクを含み、ユーザＡの入力に基づいた声や周囲の音を取得し、音声データとしてデータ格納部１０３へ提供する。操作部１０２は、マウスやキーボードなどを含み、ユーザＡの入力を取得し、操作データとしてデータ格納部１０３へ提供する。尚、音声データと操作データとは、それぞれコミュニケーションデータである。操作データは、共有操作データと、表示操作データとを含む。共有操作データは、ユーザＡが視覚で認識出来るように、出力部１０４の所定の画面内に表示されるデータであり、ホワイトボードのペン入力が例示される。表示操作データは、表示形式を変更するデータであり、共有操作データと重ね合わされる背景データ（ページ）を選択するスイッチの押下が例示される。

データ格納部１０３は、複数のコミュニケーションデータを格納する。詳細には、データ格納部１０３は、ユーザＡの入力に基づく複数の音声データと、ユーザＡの入力に基づく複数の操作データとを格納する。また、データ格納部１０３は、通信部１０５を介して取得する、他のユーザ入力に基づく複数の音声データと、他のユーザ入力に基づく複数の操作データとを格納する。

出力部１０４は、データ格納部１０３に格納されたデータ、特にコミュニケーションデータを出力する。出力部１０４は、スピーカを含み、音声データをユーザＡが認識できる音として出力する。また、出力部１０４は、ディスプレイを含み、操作データを画面上に静止画や動画として出力する。通信部１０５は、各端末装置１０ｂ〜１０ｅと複数のコミュニケーションデータを共有するために、複数の音声データ及び複数の操作データの送受信を行う。

コミュニケーション情報部１１０は、端末装置１０ａと接続する全ての端末装置１０ｂ〜１０ｅとの間でやり取りされた複数のコミュニケーションデータ、即ち複数の音声データ及び複数の操作データ（共有操作データ及び表示操作データ）を抽出し、格納する。コミュニケーション情報部１１０は、コミュニケーション情報生成部１１１と、コミュニケーション情報ＤＢ１１２とを含む。

コミュニケーション情報生成部１１１は、データ格納部１０３を参照し、ユーザＡを含む全てのユーザの間でやり取りされたデータ、即ち端末装置１０ａと接続する全ての端末装置１０ｂ〜１０ｅとの間で送受信し共有している複数のコミュニケーションデータの複数の音声データ及び複数の操作データを抽出する。このとき、コミュニケーション情報生成部１１１は、コミュニケーションデータが、音声データと操作データとのどちらであるかを判定し、更に、操作データが共有操作データであるか表示操作データであるかを判定する。そして、コミュニケーション情報生成部１１１は、各「コミュニケーションデータ」に、各コミュニケーションデータを識別するユニークな「データ識別子」と、音声データと共有操作データと表示操作データとを識別する「データ種別」と、データの発生開始を示す「開始時刻」と、データの発生終了を示す「終了時刻」とを関連付ける。データ識別子は、シーケンス番号などが例示される。以降、コミュニケーションデータ及び関連付けされた各データを、コミュニケーション情報と称する。尚、コミュニケーション情報には、コミュニケーションデータを送信した各端末装置１０ａ〜１０ｅを識別する情報が含まれていてもよい。コミュニケーション情報生成部１１１は、複数のコミュニケーション情報をコミュニケーション情報ＤＢ１１２に提供する。コミュニケーション情報ＤＢ１１２は、複数のコミュニケーション情報を格納する。

再生データ選択部１２０は、コミュニケーション情報ＤＢ１１２に格納されている複数のコミュニケーション情報のうちから、再生する複数のコミュニケーションデータを選択する。再生データ選択部１２０は、プレイバック要求部１２１と、設定情報ＤＢ１２２と、再生データ抽出部１２３とを含む。

プレイバック要求部１２１は、ユーザＡの入力に基づいて、複数のコミュニケーションデータの再生を完了させたい時間（要求値）を取得し、その要求値を再生データ抽出部１２３へ提供する。また、プレイバック要求部１２１は、本発明のコミュニケーションプレイバックシステム１に係わる端末装置１０ａの処理動作を終了する場合、ユーザＡの入力に基づく終了指示を取得し、処理動作を終了させる。

設定情報ＤＢ１２２は、予めユーザＡによって設定された、設定ファイルを格納する。図３は、設定ファイルの構成例を示した図である。図３を参照すると、設定ファイルは、再生するデータを指定する複数の再生条件と、再生条件を識別する再生レベルとを含む。再生条件には、再生する複数のコミュニケーションデータと再生速度との条件が含まれる。詳細には、再生レベル「３」では、共有操作データと、そのときの音声データ（共有操作データと同時に発せられた音声データ）とを通常速度で再生すること、及び、表示操作データをショートカットで実行することが設定されている。再生レベル「２」では、再生レベル「３」のデータ（共通操作データ、音声データ）に加え、共通操作データ及び表示操作データを伴わない音声データを通常速度で再生することが設定されている。再生レベル「１」では、再生レベル「２」のデータに加え、表示操作データと、そのときの音声データ（表示操作データと同時に発せられた音声データ）を通常速度で再生することが設定されている。尚、端末装置１０ａは、後述する再生データ抽出部１２３が再生レベルを決定し、決定した再生レベルに含まれる複数のコミュニケーションデータをユーザＡが認識できるように再生する。再生レベル「１」〜「３」を比較すると、再生レベル「３」が最も再生するコミュニケーションデータが少なく、他の再生レベルよりも短い時間で複数のコミュニケーションデータを再生できる。つまり、設定情報ＤＢ１２２は、ユーザ同士のコミュニケーションに用いられた複数のコミュニケーションデータの内で、視認性のある共有操作データの再生を、再生時間が短い場合でも特に優先するように設定している。このように設定することで、コミュニケーションデータが最も再生時間の短い再生レベル「３」で再生されても、共有操作データとその共有操作データに関連する音声データとに基づいて、ユーザはコミュニケーションの内容を容易に理解することができる。

再生データ抽出部１２３は、プレイバック要求部１２１から要求値を受け取ると、設定情報ＤＢ１２２の設定ファイルと、コミュニケーション情報ＤＢ１１２とを参照し、ユーザＡの要求値の範囲内で再生可能な再生レベルを決定する。そして、再生データ抽出部１２３は、決定した再生レベルに含まれる複数のコミュニケーション情報を抽出し、コミュニケーション再生部１３０へ提供する。詳細には、再生データ抽出部１２３は、プレイバック要求部１２１から要求値を受け取ると、設定情報ＤＢ１２２の設定ファイルを参照して、複数の再生条件を取得する。再生データ抽出部１２３は、コミュニケーション情報ＤＢ１１２を参照し、取得した複数の再生条件の各々に該当するコミュニケーションデータが含まれるコミュニケーション情報を全て抽出する。そして、再生データ抽出部１２３は、抽出した各コミュニケーションデータの開始時刻から終了時刻までの経過時間である再生区間を、全て合計した再生時間を算出する。つまり、再生データ抽出部１２３は、再生条件毎のコミュニケーションデータの全てを再生するために必要な再生時間を、複数のコミュニケーション情報に基づいて算出する。再生データ抽出部１２３は、算出した再生時間が、要求値の範囲内であるか否かを判定する。再生データ抽出部１２３は、要求値の範囲内に収まる再生時間を有する、最も再生時間の長い再生レベルに決定する。そして、再生データ抽出部１２３は、決定した再生レベルに含まれる複数のコミュニケーションデータを複数のコミュニケーション情報として抽出し、コミュニケーション再生部１３０へ提供する。

ここで、再生データ抽出部１２３が再生レベル「３」の再生時間を算出する方法の詳細を説明する。図４は、端末装置１０ａのユーザＡと端末装置１０ｂのユーザＢとが、コンテンツ共有ツールと音声通話とを用いてマルチメディアコミュニケーションを行った場合における、各コミュニケーションデータの再生区間を時間軸に基づいて示した図である。再生区間は、各データの開始時刻から終了時刻までの経過時間を表している。図４を参照すると、まず、ユーザＡは、「音声データ１」となる言葉を発声中に、「共有操作データ１」となる操作を実行する。次に、ユーザＢは、「共有操作データ２」となる操作を実行する。その後、ユーザＡは「音声データ２」となる言葉を発声する。更にその後、ユーザＢは「表示操作データ１」となる操作を実行する。最後に、ユーザＡは「共有操作データ３」となる操作を実行し、直後に「音声データ３」となる言葉を発声する。

再生レベル「３」の再生条件は、「共有操作データと、そのときの音声データ（共有操作データと同時に発せられた音声データ）とを通常速度で再生すること、及び、表示操作データをショートカットで実行すること」である。再生データ抽出部１２３は、共有操作データと音声データとが同時に発生したデータとみなすための所定の時間を有し、共有操作データと音声データとが所定の時間内にある場合、同時に発生したデータとして扱う。再生データ抽出部１２３は、図４に示した音声データ、共有操作データ、表示操作データのうち、再生レベル「３」に該当するものとして、「音声データ１」、「共有操作データ１」、「共有操作データ２」、「共有操作データ３」及び「音声データ３」を抽出する。特に、再生データ抽出部１２３は、「共有操作データ３」と「音声データ３」とのように、共有操作データと音声データとが所定の時間内（例えば、数秒以内）にある場合、同時に発生したデータとして扱い、再生レベル「３」に含めることができる。これは、例えば共有操作データになる操作を実行した本人による音声データがある場合、その音声データを共有操作データに関連して扱うことができることを意味する。また、再生データ抽出部１２３は、図４に示すとおり、「共有操作データ３」と「音声データ３」とが再生区間内に同時に再生するように、「共有操作データ３」を実行する時間を調整する。つまり、再生データ抽出部１２３は、同時に発生した共有操作データと音声データとのうちで、再生区間の長い方の再生区間に基づいて、それらを合計した再生時間を算出する。図４では、再生データ抽出部１２３は、「共有操作データ１」より再生区間が長い「音声データ１」と、「共有操作データ２」と、「共有操作データ３」より再生区間が長い「音声データ３」との再生区間の合計値を、再生レベル「３」の再生時間として算出する。

尚、再生レベル「３」や再生レベル「２」では、表示操作データを全く実行しないと、コミュニケーション再生部１３０が再生するコミュニケーションデータの表示内容に誤差が生じる可能性がある。そこで、再生データ抽出部１２３は、再生レベル「３」や再生レベル「２」でも表示操作データを実行した結果を表示内容に反映させるため、表示操作データを実行するショートカットコマンドをコミュニケーション再生部１３０へ提供する。例えば、共有する複数のコミュニケーションデータが複数のページから成る場合、１ページ目から３ページ目へ遷移した後に、ユーザＡが共有操作データとなる操作を実行したとすれば、共有操作データが実行されるページは３ページ目である。表示操作データであるページ遷移という操作を省略してしまうと、１ページ目に共有操作データとなる操作を実行することになるため、誤差が生じる。従って、再生データ抽出部１２３は、「表示操作データ１」となる操作を実行して得られる表示内容を再現するためのショートカットコマンドを生成する。再生レベル「３」や再生レベル「２」では、表示操作データはショートカットで瞬時に実行されるため、再生時間に含める必要はない。

この様にして、再生データ抽出部１２３は、ユーザの要求値の範囲に収まる再生時間を有する再生レベルを決定し、決定した再生レベルに含まれる複数のコミュニケーション情報を抽出する。尚、再生データ抽出部１２３は、音声データと操作データとが同時に発生したと判断される場合は、再生時間が長い一方のデータの再生時間内で再生するように、「開始時刻」及び「終了時刻」を調整する。再生データ抽出部１２３は、コミュニケーションデータと、データ識別子及び調整済みの開始時刻を含むコミュニケーション情報を、ミュニケーション再生部１３０へ提供する。本発明のコミュニケーションプレイバックシステム１の端末装置１０は、音声データ及び操作データが存在しない時間を、すべて自動的に省略して、再生する効果を奏している。

省略データ検索部１４０は、再生されない省略された複数のコミュニケーションデータを検索する。省略データ検索部１４０は、省略情報生成部１４１と、省略データ要求部１４２と、省略データ抽出部１４３とを含む。

省略情報生成部１４１は、再生データ抽出部１２３が抽出せず、コミュニケーション再生部１３０で再生しないと判断された複数のコミュニケーションデータ（以降、省略データと称する）をコミュニケーション情報ＤＢ１１２から取得する。省略情報生成部１４１は、省略データと、データ識別子と、開始時刻とを関連付けた省略情報を生成する。省略情報生成部１４１は、複数の省略情報をコミュニケーション再生部１３０へ提供する。各省略情報は、コミュニケーション再生部１３０にて複数のコミュニケーションデータを再生する際に、再生中に省略したデータが存在する時点で、省略データがあることをユーザＡに明示するために使用される。つまり、後述するコミュニケーションデータ再生部１３０は、複数のコミュニケーションデータを再生している最中に、省略情報に基づいて、省略データの開始時刻に相当する時点で省略データが存在することをユーザＡが認識できるように表示する。

省略データ要求部１４２は、コミュニケーション再生部１３０から出力された省略情報を見たユーザＡの入力に基づいて、省略データの再生要求を取得する。省略データ要求部１４２は、省略データの再生要求を取得すると、省略されたデータを抽出する指示として省略情報に含まれるデータ識別子を、省略データ抽出部１４３へ提供する。

省略データ抽出部１４３は、省略データ要求部１４２からデータ識別子を取得すると、データ識別子に関連付けられたコミュニケーションデータを、コミュニケーション情報ＤＢ１１２から抽出する。そして、省略データ抽出部１４３は、省略データであるコミュニケーションデータを含むコミュニケーション情報を、コミュニケーション再生部１３０へ提供する。

コミュニケーション再生部１３０は、再生データ抽出部１２３と、省略データ抽出部１４３とからそれぞれ複数のコミュニケーション情報を受けとる。コミュニケーション再生部１３０は、受け取った複数のコミュニケーションデータを、ユーザＡが認識できるようにプレイバック画面（不図示）にて再生する。プレイバック画面と、出力部１０４とは画面を共有していてもよい。特に、コミュニケーション再生部１３０は、複数のコミュニケーションデータを再生している最中に、省略データの開始時刻に相当する時点で、省略データを再生することができる。尚、コミュニケーション再生部１３０は、再生データ抽出部１２３又は省略データ抽出部１４３からデータ識別子のみ受け取り、コミュニケーション情報ＤＢ１１２から直接コミュニケーション情報を読み出してもよい。また、コミュニケーション再生部１３０は、省略情報生成部１４１から複数の省略情報を受け取り、各省略情報に基づいて、省略データがあることを表示する。特に、コミュニケーションデータ再生部１３０は、複数のコミュニケーションデータを再生している最中に、省略情報に基づいて、省略データの開始時刻に相当する時点で省略データが存在することをユーザＡが認識できるように表示することができる。コミュニケーション再生部１３０は、省略データがあることのみ表示するだけでもよいが、省略情報にデータの操作種別や、操作者の情報を含めれば、どんなデータが省略されたのか、誰が操作・発言したのかを、ユーザＡに明示することも可能である。操作種別とは、データ種別をさらに詳細化し、コンテンツ共有ツールが具備する操作の種類（たとえば、描画、指示マーク表示、ページ遷移など）も含んだ区別を意味する。

尚、コミュニケーション情報ＤＢ１１２や設定情報ＤＢ１２２は、ネットワーク２０に接続したサーバが含んでいてもよい。端末装置１０ａは、サーバから関連するデータを取得して、再生するように動作してもよい。

本発明の実施の形態によるコミュニケーションシステム１が備える端末装置１０ａは、コンピュータを用いて実現可能である。図５は、端末装置１０ａの実施の形態における、ハードウェア構成例を示すブロック図である。図５を参照すると、本発明の端末装置１０ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５１と、記憶装置１５２と、入力装置１５３と、出力装置１５４と、各装置を接続するバス１５５とを備えるコンピュータシステムで構成される。

ＣＰＵ１５１は、記憶装置１５２に格納されている本発明のコミュニケーションシステム１に係る演算処理及び制御処理を行う。記憶装置１５２は、ハードディスクやメモリなど、情報の記録を行う装置である。記憶装置１５２は、ＣＤ−ＲＯＭやＤＶＤ等のコンピュータ読み取り可能な記憶媒体から読み取られたプログラム、入力装置１５３から入力された信号やプログラム、及びＣＰＵ１５１の処理結果を格納する。入力装置１５３は、マウス、キーボード、マイクロフォンなど、ユーザがコマンド及び信号を入力することが出来る装置である。出力装置１５４は、ディスプレイ、スピーカなど、ユーザに出力結果を認識させる装置である。尚、本発明はハードウェア構成例と示したものに限定されず、各部はハードウェアとソフトウェアとを単独又は組み合わせて実現することが出来る。

図６は、本発明のコミュニティシステム１の第１の実施の形態による処理動作を示したフローチャートである。図６を参照して、本発明の第１の実施の形態による処理動作を説明する。

プレイバック要求部１２１は、ユーザＡの入力に基づいて、複数のコミュニケーションデータの再生を完了させたい時間である要求値、例えば「１０分」などを取得する。プレイバック要求部１２１は要求値を取得した場合、プレイバック要求があるとして、要求値を再生データ抽出部１２３へ提供する。プレイバック要求部１２１は、ユーザＡの入力に基づく終了指示を取得した場合、プレイバック要求がないため処理動作を終了させる（ステップＳ０１）。

再生データ抽出部１２３は、プレイバック要求部１２１から要求値を受け取ると、設定情報ＤＢ１２２の設定ファイルを参照して、複数の再生条件を取得する。再生データ抽出部１２３は、コミュニケーション情報ＤＢ１１２を参照し、取得した複数の再生条件の各々に該当するコミュニケーションデータが含まれるコミュニケーション情報を全て抽出する。そして、再生データ抽出部１２３は、抽出した各コミュニケーションデータの開始時刻から終了時刻までの経過時間である再生区間を、全て合計した再生時間を算出する。つまり、再生データ抽出部１２３は、再生条件毎のコミュニケーションデータの全てを再生するために必要な再生時間を、複数のコミュニケーション情報に基づいて算出する。再生データ抽出部１２３は、算出した再生時間が、要求値の範囲内であるか否かを判定する。再生データ抽出部１２３は、要求値の範囲内に収まる再生時間を有する、最も再生時間の長い再生レベルに決定する。そして、再生データ抽出部１２３は、決定した再生レベルに含まれる複数のコミュニケーションデータを複数のコミュニケーション情報として抽出し、コミュニケーション再生部１３０へ提供する。また、省略情報生成部１４１は、再生データ抽出部１２３が抽出せず、再生しないと判断された複数のコミュニケーションデータである省略データを、コミュニケーション情報ＤＢ１１２から取得する。省略情報生成部１４１は、省略データと、データ識別子と、開始時刻とを関連付けた省略情報を生成する。省略情報生成部１４１は、複数の省略情報をコミュニケーション再生部１３０へ提供する（ステップＳ０２）。

コミュニケーション再生部１３０は、複数のコミュニケーション情報を受けとる。コミュニケーション再生部１３０は、受け取った複数のコミュニケーションデータを、ユーザＡが認識できるようにプレイバック画面にて再生する（ステップＳ０３）。尚、コミュニケーション再生部１３０は、省略データを再生する場合、複数のコミュニケーションデータを再生している最中に、省略データの開始時刻に相当する時点で省略データを再生する。

コミュニケーション再生部１３０は、省略データがある場合、省略データを再生するステップへ進み、省略データがない場合、複数のコミュニケーションデータの再生を継続する（ステップＳ０４）。

コミュニケーション再生部１３０は、省略情報生成部１４１から複数の省略情報を受け取った場合、省略したデータが存在する時点において、省略データが存在していることを表示する。省略データ要求部１４２は、コミュニケーション再生部１３０から出力された省略情報を見たユーザＡの入力に基づいて、省略データの再生要求を取得する。省略データ要求部１４２は、省略データの再生要求を取得すると、省略されたデータを抽出する指示として省略情報に含まれるデータ識別子を、省略データ抽出部１４３へ提供する。省略データ要求部１４２は、省略データの再生要求を取得しない場合、複数のコミュニケーションデータを再生するステップＳ０３へ戻る（ステップＳ０５）。

省略データ抽出部１４３は、省略データ要求部１４２からデータ識別子を取得すると、データ識別子に関連付けられたコミュニケーションデータを、コミュニケーション情報ＤＢ１１２から抽出する。そして、省略データ抽出部１４３は、省略データであるコミュニケーションデータを含むコミュニケーション情報を、コミュニケーション再生部１３０へ提供する（ステップＳ０６）。

ステップＳ０４において、複数のコミュニケーションデータを再生しているコミュニケーション再生部１３０は、ユーザＡによる再生を終了させる指示がない限り、再生を継続し、最後のコミュニケーションデータを再生し終わったら、動作を終了する。また、ユーザＡによるプレイバックの終了指示があれば、その時点で再生を中止する（ステップＳ０７）。

本発明の第１の実施の形態によるコミュニケーションシステム１は、マルチメディアコミュニケーションにおいて、ユーザ同士のコミュニケーション中にやり取りされた複数のコミュニケーションデータの中から不要なコミュニケーションデータを省略し、通常速度で再生する複数のコミュニケーションデータを限定して抽出することにより、過去のコミュニケーションを短時間で再生することができる。言い換えると、本発明は、コミュニケーション中にユーザが実施した操作をダイジェストで再生し、それ以外の区間は再生を省略することができる。特に、本発明は、共有操作データを優先して再生し、音声データを伴う場合はその再生区間とあわせて再生することができるため、再生時点のコミュニケーションに必要な情報が欠落することなく、短時間で視認性のあるコミュニケーションデータの再生ができる効果を奏する。しかも、早送りではなく、通常速度で再生するため、情報が劣化せずに正確性をも保つことができる。また、本発明は、省略情報生成部１４１と、省略データ要求部１４２と、省略データ抽出部１４２とにより、一度省略したデータを、後から再生できるため、ユーザの要求に柔軟に対応することができる。更に、本発明の第１の実施の形態は、複数のコミュニケーションデータを、端末装置１０ａ〜１０ｅの各々に格納するため、外部のサーバに格納されたコミュニケーションデータを利用する形態に比べて、サーバや通信路のトラフィックの影響を受けることなく、スムーズにコミュニケーションデータを再生できる効果を奏する。

（第２の実施の形態）
本発明の第２の実施の形態を説明する。図７は、本発明の第２の実施の形態によるコミュニケーションシステム１の構成例を示したブロック図である。図７を参照すると、コミュニケーションシステム１は、複数の端末装置１１ａ〜１１ｅと、サーバ３０とを備える。そして、各端末装置１１ａ〜１１ｅは、ネットワーク２０を介して接続されている。第１の実施の形態と同様に、複数の端末装置１１ａ〜１１ｅの各々は、異なるユーザによって操作され、静止画及び動画などを共有するソフトウェア（コンテンツ共有ツール）と、音声通話を行うソフトウェアとを同時に実行することができる。複数の端末装置１１ａ〜１１ｅの各々は、コンテンツ共有ツール及び音声通話のソフトウェアによって、ユーザ同士がコミュニケーションに利用する音声、静止画及び動画などの複数のメディアを、それぞれコミュニケーションデータとしてサーバ３０へ送信し、それら複数のコミュニケーションデータをサーバ３０から受信して共有する。尚、コミュニケーションプレイバックシステム１は、接続する複数の端末装置の数を限定するものではない。

図８は、ユーザＡが使用する端末装置１１ａと、サーバ３０との構成例を示したブロック図である。尚、各端末装置１１ｂ〜１１ｅは、端末装置１１ａと同様の構成であるため説明を省略する。図８を参照すると、端末装置１１ａは、データ共有部２００と、プレイバック要求部２１０と、省略データ要求部２２０と、データ受信部２３０と、コミュニケーション再生部２４０とを備える。

データ共有部２００は、第１の実施の形態のデータ共有部１００と同様である。プレイバック要求部２１０は、ユーザＡの入力に基づいて、複数のコミュニケーションデータの再生を完了させたい時間（要求値）を取得し、その要求値をサーバ３０へ送信する。また、プレイバック要求部２１０は、本発明のコミュニケーションプレイバックシステム１に係わる端末装置１１ａの処理動作を終了する場合、ユーザＡの入力に基づく終了指示を取得し、処理動作を終了させる。

省略データ要求部２２０は、コミュニケーション再生部２４０から出力された省略情報を見たユーザＡの入力に基づいて、省略データの再生要求を取得する。省略データ要求部２２０は、省略データの再生要求を取得すると、省略されたデータを抽出する指示として省略情報に含まれるデータ識別子を、サーバ３０へ送信する。

データ受信部２３０は、サーバ３０から複数のコミュニケーション情報を受信する。コミュニケーション再生部２４０は、サーバ３０から受信した複数のコミュニケーション情報を受けとる。コミュニケーション再生部２４０は、受け取った複数のコミュニケーションデータを、ユーザＡが認識できるようにプレイバック画面にて再生する。また、コミュニケーション再生部２４０は、省略情報生成部３３１で生成された複数の省略情報を受け取り、各省略情報に基づいて省略データがあることを表示する。コミュニケーション再生部２４０は、省略データがあることのみ表示するだけでもよいが、省略情報にデータの操作種別や、操作者の情報を含めれば、どんなデータが省略されたのか、誰が操作・発言したのかを、ユーザＡに明示することも可能である。操作種別とは、データ種別をさらに詳細化し、コンテンツ共有ツールが具備する操作の種類（たとえば、描画、指示マーク表示、ページ遷移など）も含んだ区別を意味する。

サーバ３０は、データ共有部３００と、コミュニケーション情報部３１０と、再生データ選択部３２０と、省略データ検索部３３０と、データ送信部３４０とを備える。

データ共有部３００は、ネットワーク２０に接続する複数の端末装置１１ａ〜１１ｅから複数のコミュニケーションデータを受信し、各端末装置１１ａ〜１１ｅが複数のコミュニケーションデータを共有できるように、複数のコミュニケーションデータを送信する。データ共有部３００は、通信部３０１と、データ格納部３０２とを含む。

通信部３０１は、複数の端末装置１１ａ〜１１ｅから複数のコミュニケーションデータを受信し、データ格納部３０２へ提供する。また、通信部３０１は、データ格納部３０２に格納されている複数のコミュニケーションデータを、複数の端末装置１１ａ〜１１ｅが共有できるように送信する。

コミュニケーション情報部３１０は、第１の実施の形態のコミュニケーション情報部１１０と同様であるため説明を省略する。

再生データ選択部３２０は、第１の実施の形態の再生データ選択部１２０と同様に、コミュニケーション情報ＤＢ３２１に格納されている複数のコミュニケーション情報のうちから、再生する複数のコミュニケーションデータを選択する。再生データ選択部３２０は、設定情報ＤＢ３２１と、再生データ抽出部３２２とを含む。

設定情報ＤＢ３２１は、第１の実施の形態の設定情報ＤＢ１２２と同様に設定ファイルを格納する。設定ファイルは、サーバ３０の管理者によって設定することができる。設定情報ＤＢ３２１は、端末装置１１ａから送信される設定ファイルを格納してもよい。また、再生するコミュニケーションごとに、設定ファイルをカスタマイズしてもよい。もしくは、操作データや音声データごとに、再生レベルを変更するなどの、カスタマイズも可能である。この場合、コミュニケーションごとに、設定ファイルの差分に相当するカスタマイズファイルを生成し、サーバ３０にて管理する。

再生データ抽出部３２２は、端末装置１１ａから要求値を受信すると、設定情報ＤＢ３２１の設定ファイルと、コミュニケーション情報ＤＢ３１２とを参照し、ユーザＡの要求値の範囲内で再生可能な再生レベルを決定する。そして、再生データ抽出部３２２は、決定した再生レベルに含まれる複数のコミュニケーション情報を抽出し、データ送信部３４０へ提供する。再生データ抽出部３２２は、要求値を端末装置１１ａから受信する以外は、第１の実施の形態の再生データ抽出部１２３同様である。

省略データ検索部３３０は、第１の実施の形態の省略データ検索部１４０と同様に、再生されない省略された複数のコミュニケーションデータを検索する。省略データ検索部３３０は、省略情報生成部３３１と、省略データ抽出部３３２とを含む。

省略情報生成部３３１は、第１の実施の形態の省略情報生成部１４１と同様であるため、説明を省略する。省略データ抽出部３３２は、端末装置１１ａの省略データ要求部１４２からデータ識別子を受信し、データ識別子に関連付けられたコミュニケーションデータを、コミュニケーション情報ＤＢ３１２から抽出する。そして、省略データ抽出部３３２は、省略データであるコミュニケーションデータを含むコミュニケーション情報を、データ送信部３４０へ提供する。

データ送信部３４０は、再生データ抽出部３２２と、省略データ抽出部３３２とからそれぞれ複数のコミュニケーション情報を受け取り、端末装置１１ａへ送信する。

本発明のコミュニティシステム１の第２の実施の形態による処理動作は、第１の実施の処理動作と同様であるため、図６のフローチャートを参照して処理動作を説明する。

プレイバック要求部２１０は、ユーザＡの入力に基づいて、複数のコミュニケーションデータの再生を完了させたい時間である要求値、例えば「１０分」などを取得する。プレイバック要求部１２１は要求値を取得した場合、プレイバック要求があるとして、要求値をサーバ３０へ送信する。プレイバック要求部２１０は、ユーザＡの入力に基づく終了指示を取得した場合、プレイバック要求がないため処理動作を終了させる（ステップＳ０１）。

サーバ３０の再生データ抽出部３２２は、端末装置１１ａのプレイバック要求部２１０から要求値を受け取ると、設定情報ＤＢ３２１の設定ファイルと、コミュニケーション情報ＤＢ３１２とを参照し、ユーザＡの要求値の範囲内で再生可能な再生レベルを決定する。そして、再生データ抽出部３２２は、決定した再生レベルに含まれる複数のコミュニケーション情報を抽出し、データ送信部３４０へ提供する。また、省略情報生成部３３１は、再生データ抽出部３２２が抽出せず、再生しないと判断された複数のコミュニケーションデータである省略データをコミュニケーション情報ＤＢ３１２から取得する。省略情報生成部３３１は、省略データと、データ識別子と、開始時刻とを関連付けた省略情報を生成する。省略情報生成部３３１は、複数の省略情報をデータ送信部３４０へ提供する。データ送信部３４０は、複数のコミュニケーション情報と、複数の省略情報とを端末装置１１ａへ送信する（ステップＳ０２）。

端末装置１１ａのデータ受信部２３０は、複数のコミュニケーション情報と、複数の省略情報とをサーバ３０から受信し、コミュニケーション再生部２４０へ提供する。コミュニケーション再生部２４０は、受け取った複数のコミュニケーションデータを、ユーザＡが認識できるようにプレイバック画面にて再生する（ステップＳ０３）。

コミュニケーション再生部２４０は、省略データがある場合、省略データを再生するステップへ進み、省略データがない場合、複数のコミュニケーションデータの再生を継続する（ステップＳ０４）。

コミュニケーション再生部２４０は、省略情報生成部３３１で生成した複数の省略情報を受け取っている場合、省略したデータが存在する時点において、省略データが存在することを表示する。省略データ要求部２２０は、コミュニケーション再生部２４０から出力された省略情報を見たユーザＡの入力に基づいて、省略データの再生要求を取得する。省略データ要求部２２０は、省略データの再生要求を取得すると、省略されたデータを抽出する指示として省略情報に含まれるデータ識別子を、サーバ３０へ送信する。省略データ要求部２２０は、省略データの再生要求を取得しない場合、複数のコミュニケーションデータを再生するステップＳ０３へ戻る（ステップＳ０５）。

サーバ３０の省略データ抽出部３３２は、端末装置１１ａの省略データ要求部２２０からデータ識別子を取得すると、データ識別子に関連付けられたコミュニケーションデータを、コミュニケーション情報ＤＢ３１２から抽出する。そして、省略データ抽出部３３２は、省略データであるコミュニケーションデータを含むコミュニケーション情報を、データ送信部３４０へ提供する。データ送信部３４０は、コミュニケーション情報を端末装置１１ａへ送信する（ステップＳ０６）。

ステップＳ０４において、複数のコミュニケーションデータを再生しているコミュニケーション再生部２４０は、ユーザＡによる再生を終了させる指示がない限り、再生を継続し、最後のコミュニケーションデータを再生し終わったら、処理動作を終了する。また、ユーザによる再生終了の指示があれば、その時点で再生を中止する（ステップＳ０７）。

本発明の第２の実施の形態の処理動作は、前述した第１の実施形態と同様であり、コミュニケーション情報部３１０と、再生データ選択部３２０と、省略データ検索部３３０とがサーバ３０に含まれるため、コミュニケーション情報及び省略情報の受け渡しを、装置間で送受信する点が異なっている。

尚、ユーザＡが複数のコミュニケーションデータの再生を要求する際、再生の要求を受信したサーバ３０が再生レベルごとの再生時間を算出して、その結果を端末装置１１ａに送信してもよい。その場合、端末装置１１ａは、再生レベル毎の再生時間のリストを表示して、ユーザＡがそのリスト中から要求値を選択するように動作することができる。具体的には、端末装置１１ａにおいて、プレイバック要求画面（不図示）を起動する際に、プレイバックの実行要求があることをサーバ３０に送信する。サーバ３０は、コミュニケーション情報ＤＢ３１２を参照して、再生レベル「３」〜「１」のそれぞれの再生時間を算出し、端末装置１１ａに通知する。このようにして、再生の要求値を指定した場合は、再生データ抽出部３２２は該当する再生レベルのコミュニケーション情報を抽出するのみでよい。

本発明の第２の実施の形態によるコミュニケーションプレイバックシステム１は、第１の実施の形態の効果に加え、サーバ３０にてコミュニケーション情報を一括管理するため、各端末装置１１ａ〜１１ｅで複数のコミュニケーション情報や設定ファイルを生成・管理する必要がない。また、サーバ３０に格納された複数のコミュニケーションデータを利用して再生するため、端末装置１１ａを使用するユーザＡが介在しなかった他人の過去のコミュニケーションデータを取得して再生することもできる。更に、本発明の第２の実施の形態は、再生時に省略したコミュニケーションデータは送信せず、最小限の省略情報のみを送信し、省略データの再生要求があった時点で、省略したコミュニケーションデータを送信するように動作する。従って、本発明は、特許文献１のようにミュートする音声データを受信するシステムよりも、不必要なデータの送受信による通信トラフィックを低減することができる。

（実施例１）
次に、具体的な実施例に即して説明する。本発明の実施例１は、第１の実施の形態に基づいた携帯情報端末で動作する、コミュニケーションプレイバックシステム１である。ＡさんとＢさんが、コミュニケーションシステムのＶｏＩＰツールとホワイトボードとを共有するツールを使用して対話している途中、回線切断によってコミュニケーションが一時的に中断したときに、コミュニケーションの再開に備えてＡさんがそれまでのやり取りを振り返ることを想定する。

図９は、携帯情報端末の構成を示したブロック図である。図９を参照すると、Ａさんが使用する携帯情報端末は、処理装置５００と、タッチパネル式ディスプレイ６００とを備える。処理装置５００は、ＶｏＩＰツールなどを含むコミュニケーションシステム（アプリケーション）を搭載する。更に、処理装置５００は、プレイバック要求プログラム５１０と、再生データ抽出プログラム５１１と、コミュニケーション再生プログラム５１２と、コミュニケーション情報ＤＢ（データベース）５１３と、設定情報ＤＢ５１４と、省略情報生成プログラム５１５と、省略データ要求プログラム５１６と、省略データ抽出プログラム５１７と、コミュニケーション情報生成プログラム５１８とを備える。各プログラム及びデータベースは、物理的には、処理装置５００が備えるハードディスク（不図示）に格納されており、必要に応じて処理装置５００が備えるＣＰＵ（不図示）から、メモリ
（不図示）上に転送され、実行されることを想定している。また、タッチパネル式ディスプレイ６００は、データの表示機能と入力機能を備えており、処理装置５００とタッチパネル式ディスプレイ６００との間でデータの送受信が行われる。

図１０は、設定情報ＤＢ５１４が格納する設定ファイルの構成例を示した図である。図１０の設定ファイルについて詳しく説明する。設定ファイルは、再生レベル「０」〜「３」の４段階に対し、それぞれの再生条件が定義されている。「共有操作データ」と「表示操作データ」の判別は、実施の形態で前述したとおりであり、本実施例１では、「共有操作データ」にはホワイトボード上の描画イベントが含まれ、「表示操作データ」にはホワイトボード画面のページ切り替えイベントが含まれる。

再生レベル「３」は、共有操作データおよび、共有操作データと同時に発せられた音声データを通常速度で再生する。このとき、共有操作データを実施した結果、削除されて最終的に表示されていない共有操作データは除く。更に、再生レベル「３」は、表示操作データをショートカットで実行する。再生レベル「２」は、再生レベル「３」のデータに加え、共有操作データを実施した結果、削除されて最終的に表示されていない共有操作データも含める。再生レベル「１」は、再生レベル「２」のデータに加え、操作データを伴わない音声データを通常速度で再生する。再生レベル「０」は、再生レベル「１」のデータに加え、表示操作データと、表示操作データと同時に発せられた音声データとを通常速度で再生する。

このような再生条件にしたのは、視認性のある共有操作の再生を優先し、コミュニケーションが不要な独立した動作である表示操作の優先度を低くすることにより、効率的な再生が可能になるためである。また、コミュニケーションを実施した結果、削除されて最終的に表示されない共有操作データの優先度を低くしたのは、コミュニケーション中のメモであり、最終的にホワイトボードに残す必要がないデータであると判断できるためである。コミュニケーションシステムの利用中に作成された音声データや操作データは、コミュニケーション情報生成プログラム５１８によって、コミュニケーション情報ＤＢ５１３に格納される。このとき、コミュニケーション情報生成プログラム５１８は、各「コミュニケーションデータ」と対にして、各データを識別するためのユニークな「データ識別子」と、音声データなのか、共有操作データなのか、表示操作データなのかを識別する「データ種別」と、描画や削除などの「操作コマンドの種類」と、「開始時刻」と、「終了時刻」とを、コミュニケーション情報としてコミュニケーション情報ＤＢ５１３へ格納する。

次に、再生の手順を説明する。Ａさんは直前のコミュニケーションを再生するため、本システムを起動し、タッチパネル式ディスプレイ６００に表示されたプレイバックシステムの初期画面に、プレイバック希望時間を「１０分」と入力して、プレイバック開始ボタンを押下する。

プレイバック要求プログラム５１０はこの要求を受け付け、再生データ抽出プログラム５１１に、「１０分」という要求値を渡して、再生データの抽出を指示する。次に、再生データ抽出プログラム５１１は、設定情報ＤＢ５１４と、コミュニケーション情報ＤＢ５１３とを参照して、再生レベルの数字が高い順に、再生条件にあてはまるコミュニケーションデータの再生区間の合計値（再生時間）を算出し、要求値の範囲内で再生可能な再生レベルを決定する。再生時間の算出方法について、図１１〜図１４を用いてさらに詳しく説明する。

図１１〜図１４は、ＡさんとＢさんの二者間における、ＶｏＩＰツールとホワイトボード共有ツールを使用した各コミュニケーションデータの再生区間を、時間軸上に並べたものである。まず、Ａさんが、「音声データ１」となる発声中に、「共有操作データ１」となる操作を実行する。次に、Ｂさんが、「共有操作データ２」となる操作を実行する。更にしばらくして、Ｂさんは、「音声データ２」となる発声中に、「共有操作データ２」として表示される結果を削除する「共有操作データ３」となる操作を実行する。更に、Ｂさんは、「表示操作データ１」となる操作を実行する。次に、Ａさんが、「共有操作データ４」となる操作を実行した直後に、「音声データ４」となる発声をする。

図１１は、図１０の設定ファイルに基づいて、再生データ抽出プログラム５１１が再生レベル「３」の再生条件となる再生時間を算出する方法を示した図である。再生レベル「３」に該当するコミュニケーションデータは、「音声データ１」、「共有操作データ１」、「共有操作データ４」、及び「音声データ４」である。「共有操作データ２」は、「共有操作データ３」によって削除されているため、「共有操作データ３」と同時に発せられた「音声データ２」も含めて再生レベル「３」の対象外となる。携帯情報端末は、「共有操作データ４」及び「音声データ４」のように、数秒以内に共有操作データとなる操作を実行した本人による音声データが存在する場合は、共有操作データに関連する音声データとみなして共有操作データと並行して再生する。従って、図１１に示すとおり、再生データ抽出プログラム５１１は、「共有操作データ４」を「音声データ４」の再生区間内に同時に再生するように、開始時刻を調整する。そして、再生データ抽出プログラム５１１は、「音声データ１」（「共有操作データ１」より再生区間が長いため、「音声データ１」の再生区間を採用）と、「音声データ４」（「共有操作データ４」より再生区間が長いため、「音声データ４」の再生区間を採用）との再生区間の合計値を、再生レベル「３」の再生時間として算出する。

尚、表示操作データを全く実行しないと共有画面の表示内容に誤差が生じる可能性があるため、携帯情報端末は表示操作データを実行した結果を共有画面に反映させる。再生データ抽出プログラム５１１は、「表示操作データ１」を実行した結果として得られる表示内容を再現するショートカットコマンドを生成する。再生レベル「３」、再生レベル「２」及び再生レベル「１」では、表示操作データはショートカットで瞬時に実行されるため、再生時間に含めず許容範囲となる。

図１２は、図１０の設定ファイルに基づいて、再生データ抽出プログラム５１１が再生レベル「２」の再生条件となる再生時間を算出する方法を示した図である。再生レベル「２」に該当するコミュニケーションデータは、「音声データ１」、「共有操作データ１」、「共有操作データ２」、「音声データ２」、「共有操作データ３」、「共有操作データ４」及び「音声データ４」である。そして、再生データ抽出プログラム５１１は、「音声データ１」と、「共有操作データ２」と、「音声データ２」（「共有操作３」より再生区間が長いため、「音声２」の再生区間を採用）と、「音声データ４」との再生区間の合計値を、再生レベル「２」の再生時間として算出する。

図１３は、図１０の設定ファイルに基づいて、再生データ抽出プログラム５１１が再生レベル「１」の再生条件となる再生時間を算出する方法を示した図である。再生レベル「１」に該当するコミュニケーションデータは、「音声データ１」、「共有操作データ１」、「共有操作データ２」、「音声データ２」、「共有操作データ３」、「音声データ３」、「共有操作データ４」及び「音声データ４」である。そして、再生データ抽出プログラム５１１は、「音声データ１」と、「共有操作データ２」と、「音声データ２」と、「音声データ３」と、「音声データ４」との再生区間の合計値を、再生レベル「１」の再生時間として算出する。

図１４は、図１０の設定ファイルに基づいて、再生データ抽出プログラム５１１が再生レベル「０」の再生条件となる再生時間を算出する方法を示した図である。再生レベル「０」に該当するコミュニケーションデータは、「音声データ１」、「共有操作データ１」、「共有操作データ２」、「音声データ２」、「共有操作データ３」、「音声データ３」、「表示操作データ１」、「共有操作データ４」及び「音声データ４」である。「表示操作データ１」は、ショートカットではなく通常速度で再現される。そして、再生データ抽出プログラム５１１は、「音声データ１」と、「共有操作データ２」と、「音声データ２」と、「音声データ３」と、「表示操作データ１」と、「音声データ４」との再生区間の合計値を、再生レベル「０」の再生時間として算出する。再生レベル「０」では、音声データも操作データも実行されなかった区間のみ再生時間が省略されるかたちとなる。この様にして得られた再生時間が、再生レベル「３」では８分、再生レベル「２」では１０分、再生レベル「１」では１８分、再生レベル「０」では２０分だったとする。要求値は「１０分」なので、再生データ抽出プログラム５１１は、１０分以内に再生可能な再生レベル「２」を選択する。再生データ抽出プログラム５１１は、再生するデータをコミュニケーション情報ＤＢ５１３から読み出して、コミュニケーション再生プログラム５１２に、読み出したデータを渡しデータの再生を指示する。

更に、省略情報生成プログラム５１５は、再生データ抽出プログラム５１１において再生しないと判断された「音声データ３」及び「表示操作データ１」について、データ識別子とその開始時刻を含む省略情報を生成する。

コミュニケーション再生プログラム５１２は、タッチパネル式ディスプレイ６００にプレイバック画面を表示し、再生データ抽出プログラム５１１で抽出した再生レベル「２」に相当するデータを再生しながら、省略情報生成プログラム５１５で生成した省略情報を随時提示する。具体的には、携帯情報端末は、「音声データ１」と「共有操作データ１」とを同時再生した後、「共有操作データ２」を再生し、「音声データ２」と「共有操作データ３」とを同時再生した後、「音声データ３」が省略されていることを提示する。その後、携帯情報端末は、「表示操作データ１」が省略されていることを提示し、「音声データ４」と「共有操作データ４」を同時再生する。

Ａさんが、省略されている「表示操作データ１」の再生を希望して、プレイバック画面に提示されている「表示操作データ１」の省略情報のエリアを押下すると、省略データ要求プログラム５１６は省略データの再生要求を受け付ける。

省略データ要求プログラム５１６は、「表示操作データ１」のデータ識別子を、省略データ抽出プログラム５１７に渡して、「表示操作データ１」を検索するように指示する。省略データ抽出プログラム５１７は、「表示操作データ１」のデータ識別子と対に管理されている、操作データをコミュニケーション情報ＤＢ５１３から検索し、コミュニケーション再生プログラム５１２に読み出したコミュニケーション情報を渡す。コミュニケーション再生プログラム５１２は、タッチパネル式ディスプレイ６００に表示中の、プレイバック画面にて「表示操作データ１」を再現する。

以上に述べたように、Ａさんは、携帯情報端末に格納された複数のコミュニケーションデータを活用して、それまでのやり取りを確認することができるため、スムーズにコミュニケーションを再開できるようになる。即ち、携帯情報端末は、再生データ抽出プログラム５１１が、コミュニケーション中の音声データと操作データに基づいて再生区間を決定するように動作し、コミュニケーション再生プログラム５１２が不要な区間は省略しながら、コミュニケーションを再生するため、短時間で効率的にコミュニケーションを再生することができる。また、携帯情報端末は、プレイバック要求プログラム５１０にて、再生希望時間を指定でき、省略データ要求プログラム５１６にて、省略情報を選択するだけで該当するデータを再生するように動作するため、ユーザによる再生操作を、簡便化しユーザの要求に柔軟に対応することができる。

（実施例２）
本発明の実施例２は、第２の実施の形態に基づいた、サーバ・クライアント型で動作するコミュニケーションプレイバックシステム１である。実施例２のコミュニケーションプレイバックシステム１は、少なくとも一つ以上のプレイバックサーバと、複数のクライアント端末から構成され、それぞれがネットワークを介して接続される。ＡさんとＢさんが、電子会議システムを使用してすでに遠隔会議を行っているとする。その会議にＣさんが途中参加し、参加前のコミュニケーション内容を追っかけ再生することを想定する。

図１５は、サーバ・クライアント型で動作するコミュニケーションプレイバックシステム１のブロック図である。図１５を参照すると、コミュニケーションデータを管理するプレイバックサーバ７００と、Ｃさんが使用するクライアント端末８００とが、ネットワーク９００を介して接続されている。プレイバックサーバ７００は処理装置７０１を備える。処理装置７０１は、再生データ抽出プログラム７１０と、再生データ送信プログラム７１１と、設定情報ＤＢ７１２と、コミュニケーション情報ＤＢ７１３と、省略情報生成プログラム７１４と、省略データ抽出プログラム７１５と、コミュニケーション情報生成プログラム７１６とを備える。

クライアント端末８００は、処理装置８０１とタッチパネル式ディスプレイ８０２とを備える。処理装置８０１は、予め電子会議システムのアプリケーションを搭載する。更に、処理装置８０１は、プレイバック要求プログラム８１０と、コミュニケーション再生プログラム８１１と、再生データ受信プログラム８１２と、省略データ要求プログラム８１３とを備える。

タッチパネル式ディスプレイ８０２は、データの表示機能と入力機能を備えており、処理装置８０１とタッチパネル式ディスプレイ８０２との間で、データの送受信が行われる。各プログラムおよびデータベースは、物理的には処理装置７０１および処理装置８０１が備えるハードディスク（不図示）に格納されており、必要に応じて処理装置７０１および処理装置８０１が備えるＣＰＵ（不図示）からメモリ（不図示）上に転送され、実行されることを想定している。プレイバックサーバ７００は、図１０に示す設定ファイルが付加されており、設定情報ＤＢ７１２に格納する。

電子会議システムの利用中に作成された、音声データや操作データは、コミュニケーション情報生成手段７１６によって、コミュニケーション情報ＤＢ７１３に記録される。このとき、各「コミュニケーションデータ」と対にして、各データを識別するためのユニークな「データ識別子」と、音声データなのか、共有操作データなのか、表示操作データなのかを識別する「データ種別」と、描画や削除などの「操作コマンドの種類」と、「開始時刻」と、「終了時刻」とを、コミュニケーション情報として、コミュニケーション情報ＤＢ７１３に記録する。

次に、プレイバックの手順を説明する。Ｃさんが、クライアント端末８００において、本システムを起動し、タッチパネル式ディスプレイ８０２に表示された、本システムの初期画面に、プレイバック希望時間に「１０分」と入力して、プレイバック開始ボタンを押下する。ここでは、Ｃさんが、ＡさんとＢさんが参加している会議に途中参加した後、本システムを起動することにより、本システムは、プレイバック対象のコミュニケーションが、ＡさんとＢさんが参加している会議であると判断する。もし、Ｃさんが途中参加した会議以外の、コミュニケーションをプレイバックする場合は、本システムの初期画面を表示する前に、プレイバックの実行要求を、プレイバックサーバ７００に送信し、プレイバックサーバ７００にて、Ｃさんが再生可能なコミュニケーションのリスト（再生リスト）選出し、その結果をクライアント端末８００に提供し、本システムの初期画面にて再生リストを表示する。そして、Ｃさんがそのリスト中から、プレイバックしたいコミュニケーションを選択するように動作してもよい。

次に、プレイバック要求プログラム８１０は、ネットワーク９００を介して、再生データ抽出プログラム７１０に、「１０分」という要求値を渡して、再生データの抽出を指示する。再生データ抽出プログラム７１０は、設定情報ＤＢ７１２およびコミュニケーション情報ＤＢ７１３中のデータを参照して、再生レベルの数字が高い順に、選定条件にあてはまるデータの再生区間の合計値（再生時間）を算出していき、要求値の範囲内で再生可能な再生レベルを決定する。

再生時間の算出方法については、本発明の実施例１で述べたとおりである。このようにして得られた再生時間が、再生レベル「３」では８分、再生レベル「２」では１０分、再生レベル「１」では１８分、再生レベル「０」では２０分だったとする。要求値は「１０分」なので、再生データ抽出プログラム７１０は１０分以内に再生可能な再生レベル「２」を選択する。

更に、省略情報生成プログラム７１４は、再生データ抽出プログラム７１０において、再生しないと判別された、「音声データ３」及び「表示操作データ１」（図１２参照）について、データ識別子と開始時刻を含む省略情報を生成する。

再生データ抽出プログラム７１０は、再生するデータをコミュニケーション情報ＤＢ７１３から読み出して、再生データ送信プログラム７１１に読み出したデータおよび省略情報を渡す。再生データ送信プログラム７１１は、再生データ抽出プログラム７１０または省略情報生成プログラム７１４から渡されたデータを、ネットワーク９００を介して再生データ受信プログラム８１２に送信する。

再生データ受信プログラム８１２は、受信したデータを、コミュニケーション再生プログラム８１１に渡して、データの再生を指示する。次に、コミュニケーション再生プログラム８１１は、タッチパネル式ディスプレイ８０２にプレイバック画面を表示し、再生データ抽出プログラム７１０で抽出した再生レベル「２」に相当するデータを再生しながら、省略情報生成プログラム７１４で生成した省略情報を随時提示する。

Ｃさんが、省略されている「表示操作データ１」の再生を希望する場合に、プレイバック画面に提示されている、「表示操作データ１」の省略情報のエリアを押下すると、省略データ要求プログラム８１３が、省略データの再生要求を受け付ける。省略データ要求プログラム８１３は、「表示操作データ１」のデータ識別子を、ネットワーク９００を介して省略データ抽出プログラム７１５に渡し、「表示操作データ１」のデータを検索するように指示する。

省略データ抽出プログラム７１５は、「表示操作データ１」のデータ識別子と対に管理されている操作データを、コミュニケーション情報ＤＢ７１３から検索し、再生データ送信プログラム７１１に読み出したデータを渡す。

再生データ送信プログラム７１１は、省略データ抽出プログラム７１５から渡されたデータを、ネットワーク９００を介して再生データ受信プログラム８１２に送信する。再生データ受信プログラム８１２は、受信したデータをコミュニケーション再生プログラム８１１に渡して、省略データの再生を指示する。コミュニケーション再生プログラム５１２は、タッチパネル式ディスプレイ６００に表示中のプレイバック画面にて、「表示操作データ１」を再現する。

以上に述べたように、Ｃさんは、会議に参加しながらも、ＡさんとＢさんによる会議のコミュニケーションデータを、プレイバックサーバ７００から取得することにより、過去の二人のやり取りを追っかけ再生できる。即ち、再生データ抽出プログラム７１０が、コミュニケーション中の音声データと操作データに基づいて、再生区間を決定するように動作し、コミュニケーション再生プログラム８１１において、不要な区間は省略しながら、コミュニケーションを再生することにより、短時間で効率的にコミュニケーションをプレイバックできる。また、プレイバック要求プログラム８１０にて、再生希望時間を指定でき、省略データ要求プログラム８１３にて、省略情報を選択するだけで、該当するデータを再生するように動作するためユーザによる再生操作を簡便化し、ユーザの要求に柔軟に対応したプレイバックシステムとなっている。

尚、これらは矛盾のない範囲で組み合わせることが可能である。

１ コミュニケーションプレイバックシステム
１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ 端末装置
１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ 端末装置
２０ ネットワーク
３０ サーバ
１００ データ共有部
１０１ 音声入力部
１０２ 操作部
１０３ データ格納部
１０４ 出力部
１０５ 通信部
１１０ コミュニケーション情報部
１１１ コミュニケーション情報生成部
１１２ コミュニケーション情報ＤＢ
１２０ 再生データ選択部
１２１ プレイバック要求部
１２２ 設定情報ＤＢ
１２３ 再生データ抽出部
１３０ コミュニケーション再生部
１４０ 省略データ検索部
１４１ 省略情報生成部
１４２ 省略データ要求部
１４３ 省略データ抽出部
１５１ ＣＰＵ
１５２ 記憶装置
１５３ 入力装置
１５４ 出力装置
１５５ バス
２００ データ共有部
２０１ 音声入力部
２０２ 操作部
２０３ データ格納部
２０４ 出力部
２０５ 通信部
２１０ プレイバック要求部
２２０ 省略データ要求部
２３０ データ受信部
２４０ コミュニケーション再生部
３００ データ共有部
３０１ 通信部
３０２ データ格納部
３１０ コミュニケーション情報部
３１１ コミュニケーション情報生成部
３１２ コミュニケーション情報ＤＢ
３２０ 再生データ選択部
３２１ 設定情報ＤＢ
３２２ 再生データ抽出部
３３０ 省略データ検索部
３３１ 省略情報生成部
３３２ 省略データ抽出部
３４０ データ送信部
５００ 処理装置
５１０ プレイバック要求プログラム
５１１ 再生データ抽出部プログラム
５１２ コミュニケーション再生プログラム
５１３ コミュニケーション情報ＤＢ
５１４ 設定情報ＤＢ
５１５ 省略情報生成プログラム
５１６ 省略データ要求プログラム
５１７ 省略データ抽出プログラム
５１８ コミュニケーション情報生成プログラム
６００ タッチパネル式ディスプレイ
７００ プレイバックサーバ
７０１ 処理装置
７１０ 再生データ選択プログラム
７１１ 再生データ送信プログラム
７１２ 設定情報ＤＢ
７１３ コミュニケーション情報ＤＢ
７１４ 省略情報生成プログラム
７１５ 省略データ抽出プログラム
７１６ コミュニケーション情報生成プログラム
８００ クライアント端末
８０１ 処理装置
８０２ タッチパネル式ディスプレイ
８１０ プレイバック要求プログラム
８１１ コミュニケーション再生プログラム
８１２ 再生データ受信プログラム
８１３ 省略データ要求プログラム
９００ ネットワーク

Claims (10)

1. 複数のユーザ各々の入力に基づく複数の第１音声データと、前記複数の第１音声データ各々の開始時刻及び終了時刻と、前記複数のユーザ各々が実行した操作を表す複数の第１操作データと、前記複数の第１操作データ各々の開始時刻及び終了時刻とを格納するコミュニケーション情報部と、
   前記複数の第１音声データと前記複数の第１操作データとの中から、再生するデータを指定する複数の再生条件を格納する設定情報ＤＢ部と、
   前記複数のユーザのうちの第１ユーザが入力する、前記複数の第１音声データと前記複数の第１操作データとの再生を完了させたい時間の要求値を取得するプレイバック要求部と、
   前記複数の第１音声データと前記複数の第１操作データとの中から、前記複数の再生条件の各々に該当する第２音声データ及び第２操作データを抽出し、抽出した前記複数の再生条件毎の前記第２音声データ及び前記第２操作データを再生するために必要な第１再生時間を、前記複数の第１音声データ各々の開始時刻及び終了時刻及び前記複数の第１操作データ各々の開始時刻及び終了時刻に基づいて算出し、算出した複数の前記第１再生時間の中で、前記要求値の範囲内に収まる第２再生時間で再生可能な、複数の前記第２音声データ及び複数の前記第２操作データのうちの第３音声データ及び第３操作データを抽出する再生データ抽出部と、
   抽出された前記第３音声データ及び前記第３操作データを再生するコミュニケーション再生部と
   を具備するコミュニケーションプレイバックシステムにおいて用いられる端末装置であって、前記プレイバック要求部と前記コミュニケーション再生部とを含む端末装置であり、
   前記コミュニケーション情報部と前記設定情報ＤＢ部と前記再生データ抽出部とを含むサーバに対して、ネットワークを介して接続される端末装置。
2. 前記複数の操作データは、
   前記複数のユーザの各々が、視覚で認識出来るように表示される共有操作データと、
   前記共有操作データの表示形式を変更する表示操作データとを含み、
   前記複数の再生条件は、
   前記共有操作データと、前記共有操作データと同時に発生する前記複数の第１音声データのうちの第４音声データとを再生する第１再生条件を含む
   請求項１に記載の端末装置。
3. 前記サーバは、前記複数の第１音声データと前記複数の第１操作データとのうちで、前記第３音声データ及び前記第３操作データに含まれない省略データを抽出し、前記省略データと前記省略データの開始時刻とを関連づけた省略情報を生成する省略情報生成部を更に具備し、
   前記コミュニケーション再生部は、前記第３音声データ及び前記第３操作データを再生している最中に、前記省略情報に基づいて、前記省略データの開始時刻に相当する時点で前記省略データが存在していることを表示する
   請求項１又は２に記載の端末装置。
4. 前記端末装置は、前記第１ユーザの入力に基づく前記省略データの再生要求を取得する省略データ要求部を更に具備し、
   前記サーバは、前記再生要求で指定される前記省略データを、前記複数の第１音声データと前記複数の第１操作データとの中から抽出する省略データ抽出部を更に具備し、
   前記コミュニケーション再生部は、前記第３音声データ及び前記第３操作データを再生している最中に、前記省略データの開始時刻に相当する時点で、前記省略データを再生する請求項３に記載の端末装置。
5. 請求項１に記載の前記プレイバック要求部と、前記コミュニケーション再生部とにおける機能を、請求項１に記載の前記端末装置に実現させるコミュニケーションプレイバックプログラム。
6. 複数のユーザ各々の入力に基づく複数の第１音声データと、前記複数の第１音声データ各々の開始時刻及び終了時刻と、前記複数のユーザ各々が実行した操作を表す複数の第１操作データと、前記複数の第１操作データ各々の開始時刻及び終了時刻とを格納するコミュニケーション情報部と、
   前記複数の第１音声データと前記複数の第１操作データとの中から、再生するデータを指定する複数の再生条件を格納する設定情報ＤＢ部と、
   前記複数のユーザのうちの第１ユーザが入力する、前記複数の第１音声データと前記複数の第１操作データとの再生を完了させたい時間の要求値を取得するプレイバック要求部と、
   前記複数の第１音声データと前記複数の第１操作データとの中から、前記複数の再生条件の各々に該当する第２音声データ及び第２操作データを抽出し、抽出した前記複数の再生条件毎の前記第２音声データ及び前記第２操作データを再生するために必要な第１再生時間を、前記複数の第１音声データ各々の開始時刻及び終了時刻及び前記複数の第１操作データ各々の開始時刻及び終了時刻に基づいて算出し、算出した複数の前記第１再生時間の中で、前記要求値の範囲内に収まる第２再生時間で再生可能な、複数の前記第２音声データ及び複数の前記第２操作データのうちの第３音声データ及び第３操作データを抽出する再生データ抽出部と、
   抽出された前記第３音声データ及び前記第３操作データを再生するコミュニケーション再生部と
   を具備するコミュニケーションプレイバックシステムにおいて用いられるサーバであって、前記コミュニケーション情報部と前記設定情報ＤＢ部と前記再生データ抽出部とを含むサーバであり、
   前記プレイバック要求部と前記コミュニケーション再生部とを含む端末装置に対して、ネットワークを介して接続するサーバ。
7. 前記複数の操作データは、
   前記複数のユーザの各々が、視覚で認識出来るように表示される共有操作データと、
   前記共有操作データの表示形式を変更する表示操作データとを含み、
   前記複数の再生条件は、
   前記共有操作データと、前記共有操作データと同時に発生する前記複数の第１音声データのうちの第４音声データとを再生する第１再生条件を含む
   請求項６に記載のサーバ。
8. 前記サーバは、前記複数の第１音声データと前記複数の第１操作データとのうちで、前記第３音声データ及び前記第３操作データに含まれない省略データを抽出し、前記省略データと前記省略データの開始時刻とを関連づけた省略情報を生成する省略情報生成部を更に具備し、
   前記コミュニケーション再生部は、前記第３音声データ及び前記第３操作データを再生している最中に、前記省略情報に基づいて、前記省略データの開始時刻に相当する時点で前記省略データが存在していることを表示する
   請求項６又は７に記載のサーバ。
9. 前記端末装置は、前記第１ユーザの入力に基づく前記省略データの再生要求を取得する省略データ要求部を更に具備し、
   前記サーバは、前記再生要求で指定される前記省略データを、前記複数の第１音声データと前記複数の第１操作データとの中から抽出する省略データ抽出部を更に具備し、
   前記コミュニケーション再生部は、前記第３音声データ及び前記第３操作データを再生している最中に、前記省略データの開始時刻に相当する時点で、前記省略データを再生する請求項８に記載のサーバ。
10. 請求項６に記載の前記コミュニケーション情報部と、前記設定情報ＤＢ部と、前記再生データ抽出部とにおける機能を、請求項６に記載の前記サーバに実現させるコミュニケーションプレイバックプログラム。

Images