JP6507786B2 - 会議再生方法、メディアストリーム取得方法及びプログラム - Google Patents

Description

開示の技術は、会議再生方法、メディアストリーム取得方法及びプログラムに関する。

会議は、共同作業の重要な部分を占めるが、会議のスケジュールを調整することは困難であり、特に、共同作業者が複数の場所及びタイムゾーンに亘っている場合、特に会議のスケジュールを調整することは困難である。さらに、会議のコンテンツはしばしば重複する。これは、会議に困難さをもたらし得る。以前の会議において話し合われたことに基づく会議は、以前の会議に参加しなかった人にとっては障壁を含み、同様のトピックを再度話し合う会議は以前の会議に参加した人にはしばしば非生産的に感じられる。

非同期の参加者を含む会議が所望されるが、当該会議は、現在、適切にサポートされていない。システムは、オリジナルの会議を独立した一連の議論として扱う、即ち、当該議論の相互接続を喪失するか、もしくは、参加者の話し合いを検出し、当該話し合いに応答する義務を含む全てを記録する。

バークスデールら（Barksdale et al.）、「ビデオスレッド：時間分散チームのための非同期ビデオ共有（Video threads: asynchronous video sharing for temporally distributed teams）、コンピュータ支援共同作業に関するＡＣＭ２０１２年会議抄録（Proc. ACM 2012 Conf. on Computer Supported Cooperative Work）,ニューヨーク、ＡＣＭ、頁１１０１〜１１０４ シップマンら（Shipman et al.）、「ハイパービデオの製作、視聴、及び生成：ハイパーヒッチコック概要（Authoring viewing, and generating hypervideo: An overview of Hyper-Hitchcock）」、マルチメディア、コンピュータ及び通信に関するＡＣＭ会報（ACM Trans. Multimedia Comput. Commun.）、２００８年１１月 タンら（Tang et al.）、「タイムトラベルプロキシ：非同期、インタラクティブ会議を生成するための軽量ビデオ記録（Time travel proxy: using lightweight video recordings to create asynchronous, interactive meetings）」、ＣＨＩ’１２ＡＣＭ会議抄録（Proc. CHI '12 Conf. ACM）、米国、頁３１１１−３１２０

開示の技術のシステム及び方法は、会議コンテンツの固有の関係に基づいて、複数の場所及びタイムゾーンに亘る会議を可能とし、会議へのアクセスを提供する。

第１の態様は、会議再生方法であって、計算処理システムのプロセッサが、表示デバイス上に第１会議を表示する第１ユーザインターフェイス部分を生成し、前記表示デバイス上に第２会議を表示する第２ユーザインターフェイス部分を生成し、前記第１会議は前記第２会議の前に実施され、前記第１会議及び第２会議は少なくとも１つのリンクを用いてリンクされており、前記第２ユーザインターフェイス部分において、前記第２会議の再生を実行し、前記第２会議の再生の間、前記少なくとも１つのリンクを用いて、前記第１会議の少なくとも部分の再生を実行する。

第２の態様は、第１の態様の会議再生方法であって、前記第１会議及び第２会議は、各々、複数の音響映像ストリームを含み、前記第１会議もしくは第２会議の再生を実行することは、前記複数の音響映像ストリームの対応する音響映像ストリームを実行することを含む。

第３の態様は、第１又は第２の態様の会議再生方法であって、前記第１ユーザインターフェイス部分で前記第１会議の再生を実行することをさらに含み、前記第１会議の再生の間、前記少なくとも１つのリンクを用いて、前記第２会議の少なくとも部分の再生を実行する。

第４の態様は、第１〜第３の何れかの態様の会議再生方法であって、前記第２会議の再生の間、前記少なくとも１つのリンクを用いて、前記第１会議の少なくとも部分の再生を実行する際に、前記少なくとも１つのリンクが自動的にフォローされる。

第５の態様は、第１〜第４の何れかの態様の会議再生方法であって、前記第１ユーザインターフェイス部分は、第１タイムラインを含み、前記第２ユーザインターフェイス部分は、第２タイムラインを含み、前記少なくとも１つのリンクは前記第１タイムライン及び第２タイムライン上に示される。

第６の態様は、第１〜第４の何れかの態様の会議再生方法であって、前記第１ユーザインターフェイス部分は第１タイムラインを含み、前記第１会議に関連する少なくとも一人の話者の識別が前記第１タイムライン上に示される。

第７の態様は、第１〜第４の何れかの態様の会議再生方法であって、前記第２ユーザインターフェイス部分は第２タイムラインを含み、前記第２会議に関連する少なくとも一人の話者の識別が前記第２タイムライン上に示される。

第８の態様は、第１〜第４の何れかの態様の会議再生方法であって、前記第１ユーザインターフェイス部分は第１タイムラインを含み、前記第１会議に関連する少なくとも１つのトピックが前記第１タイムライン上に示される。

第９の態様は、第１〜第８の何れかの態様の会議再生方法であって、前記表示デバイス上に第３ユーザインターフェイス部分を生成することをさらに含み、前記第３ユーザインターフェイス部分は前記第１会議に関連する少なくとも１つのトピックを表示する。

第１０の態様は、第１〜第９の何れかの態様の会議再生方法であって、前記第２会議の再生に関連するコマンドを受信し、前記計算処理システム及び第２計算処理システム上の前記第２会議の再生が同期するように、前記第２会議の再生を実行する前記第２計算処理システムに受信される前記コマンドを伝播する。

第１１の態様は、第１０の態様の会議再生方法であって、受信される前記コマンドは再生一時停止コマンドである。

第１２の態様は、第１〜第１１の何れかの態様の会議再生方法であって、前記少なくとも１つのリンクは開始時間、終了時間及びリンクラベルを含む。

第１３の態様は、第１〜第１２の何れかの態様の会議再生方法であって、コマンドを受信すると、前記第２会議及び第１会議の間の第２リンクを自動的に生成する。

第１４の態様は、第１３の態様の会議再生方法であって、前記コマンドは再生一時停止コマンドである。

第１５の態様は、メディアストリーム取得方法であって、計算処理システムのプロセッサが、少なくとも一人の第１参加者を含む第１会議に対応する少なくとも１つの第１メディアストリームを取得し、少なくとも一人の第２参加者を含む第２会議に対応する少なくとも１つの第２メディアストリームを取得し、前記第２メディアストリームの取得の間、前記第１メディアストリームの少なくとも部分の再生を実行する。

第１６の態様は、第１５の態様のメディアストリーム取得方法であって、コマンドを受信すると、前記第２会議及び第１会議の間のリンクを自動的に生成する。

第１７の態様は、第１６の態様のメディアストリーム取得方法であって、前記コマンドは再生一時停止コマンドである、請求項１６に記載のメディアストリーム取得方法。

第１８の態様は、第１５〜第１７の何れかの態様のメディアストリーム取得方法であって、取得した前記第１メディアストリーム及び第２メディアストリームの話者分割を実行することをさらに含む。

第１９の態様は、第１５〜第１８の何れかの態様のメディアストリーム取得方法であって、取得した前記第１メディアストリームの複数の部分に複数のトピックを割り当てることをさらに含む。

第２０の態様は、第１９の態様のメディアストリーム取得方法であって、割り当てられた前記複数のトピックスにインデックスを付加することをさらに含む。

第２１の態様は、第１５〜第１８の何れかの態様のメディアストリーム取得方法であって、取得した前記第１メディアストリーム及び第２メディアストリーム内のトピック割り当てを実行することをさらに含む。

第２２の態様は、第１５〜第２１の何れかの態様のメディアストリーム取得方法であって、前記第１メディアストリーム及び第２メディアストリームの少なくとも部分の再生を含む第３会議に対応する少なくとも１つの第３メディアストリームを取得することをさらに含む。

第２３の態様は、プログラムであって、表示デバイス上に第１会議を表示する第１ユーザインターフェイス部分を生成し、前記表示デバイス上に第２会議を表示する第２ユーザインターフェイス部分を生成し、前記第１会議は前記第２会議の前に実施され、前記第１会議及び第２会議は少なくとも一つのリンクを用いてリンクされており、前記第２ユーザインターフェイス部分で前記第２会議の再生を実行し、前記第２会議の再生の間、前記第１会議の少なくとも部分の再生を実行する、ことをプロセッサに実行させる。

開示の技術のシステム及び方法によれば、会議コンテンツの固有の関係に基づいて、複数の場所及びタイムゾーンに亘る会議を可能とし、会議へのアクセスを提供できる。

一つもしくは複数の実施例によって扱われる会議の構造例を示す。 ハイパーミーティングを示すデータ構造を例示する。 ハイパーミーティングを示すテーブルを例示する。 会議に関連するコンテンツの記録、インデックス付加及びリンク付加のプロセスの動作シーケンスを例示する。 以前記録されたコンテンツの同期再生を含む、記録された会議の再生のプロセスの動作シーケンスを例示する。 ハイパーミーティングの自動生成及び消費のためのシステムのグラフィカルユーザインターフェイスの実施例を示す。 続く３つの会議部分を含む例示的な状況における会議の記録及び再生のためのグラフィカルユーザインターフェイスの実施例を示す。 ハイパーミーティングの自動生成及び消費のための計算処理システムの実施例を示す。

ここで記述される実施例は、従来の会議自動化技術に関連する１つもしくは複数の上記及び他の問題を解決する方法及びシステムに関する。

開示の技術に関する他の態様は、以下で部分的に記載され、以下で部分的に明らかにされ、また、開示の技術の実行によって学習されてもよい。開示の技術は、様々な要素、様々な要素の組み合わせ及び以下で詳細に示される態様によって実現される。

開示の技術の記述は例示を目的としており、限定を意図していない。

添付の図面は、開示の技術の実施例を部分的に示し、開示の技術の原理を説明し、例示するために用いられる。

以下の詳細な説明において、添付の図を参照する。図において、同様の機能を有する要素には同様の参照符号が付されている。添付の図は例示のためのものであり、限定のためのものではない。特定の実施例及び実装は開示の技術の原理と矛盾しない。これらの実装は、当業者が実施可能である程度に十分詳細に記述されている。他の実装が利用可能であり、構造の変更及び／もしくは様々な要素の置換は開示の技術の範囲及び思想から逸脱せずに実施し得る。それゆえ、以下の詳細な記載は、限定的な意味で解釈されるべきではない。さらに、記述されるように発明の様々な実施形態は汎用目的コンピュータで稼動するソフトウェアの形態で実装されてもよいし、特定用途ハードウェアの形態で実装されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実装されてもよい。

関連技術に関係する上記及び他の問題に対処するために、ここで記述する一つもしくは複数の実施例は、会議の自動生成及び消費へのアプローチを実装する。ここで記述されるアプローチ（ハイパーミーティング（hypermeeting）とも呼ばれる）は、会議のオリジナルの時間的な構造を維持しながら、会議の非同期要素の間のナビゲーションもサポートする。会議の記録構造の組み合わせ及び当該構造を利用するインターフェイスは関連を識別し、記録の間を移動する際の困難さを低減する。

図１は、ここで記述される一つもしくは複数の実施例によって扱われている状況例１００を示す。しかしながら、多くの他のコンテキストが記述された実施例に関連して適用可能である。定例プロジェクト会議１０１が、分散チームを含むプロジェクトのために生じたケースについて検討する。アンドレアス１０６及びリン１０７はパロアルト研究所に存在し、フランク１０８は大学に存在する。遠隔会議ソフトウェアが要求される。しかしながら、チームのメンバは他のプロジェクト／責務も有しているので、予定されている全ての会議に常に出席することは可能ではない。両方のサイトで、チームの追加メンバが、定期的に会議に含められ、プロジェクトに関する対面で行われる会議が他のサイトと連携をとることなく一方のサイトで生じる場合もある。

図１に示されるように、キックオフ会議（図１において参照符号１０２で示される会議１）はアンドレアス１０６、リン１０７及びフランク１０８によって生じている。各々は各々のビデオに記録されている。（しかしながら、アンドレアス１０６及びリン１０７は対面会議を有することが可能であったかもしれない。）翌週、リン１０７は通常の会議時間には出席が可能ではないが、アンドレアス１０６及びフランク１０８は進捗について話し合うために会議を実施し（図１の参照符号１０３で示される会議２Ａ）、設計事項のいくつかについてリンの意見を確認するために、以前の週に実施された会議の記録を見返す。会議参加者は以前の記録を再生し、以前の記録にコメントする。したがって、オリジナルの会議及びその後の会議の間のリンクは自動的に生成される。アンドレアス１０６及びフランク１０８は議論のトピックを示すリンクにラベルを付加する場合がある。その後、プロジェクトについてさらに話し合うために、リン１０７はＪＤ１０９と会議を実施する（図１の参照符号１０４で示される会議２Ｂ）。当該会議の開始部分は、会議２Ａに対する応答セットである。当該応答セットにおいて、リン１０７及びＪＤ１０９は会議２Ａにおいて生成されたリンクを利用する。また、当該応答において新しいハイパーリンクを生成する。しかしながら、他のトピックに移動してもよい。第３週に、定期的に予定されている分散会議（図１の参照符号１０５で示される会議３）が会議１、２Ａ及び２Ｂの記録及びリンクを用いて実施される。疑問が発生し、将来のプロジェクト会議で複数の会議に亘るトピックの議論を追跡することが可能なリンクがさらに生成される。

この例から明らかであるように、会議出席者及び欠席者の双方をサポートする重要な態様は、新しい会議のコンテンツが記録されるので、会議の間の関係が示されることである。これにより、ここで記述される一つもしくは複数の実施例は、例えば、図２Ａ及び図２Ｂに示されるように、記録されたコンテンツ及び複数のデータ構造及びテーブルでコンテンツを記述するメタデータを示す（これは、図１で記述された会議のためのデータ構造ではないことに留意されたい。）。詳細には、図２Ａ及び図２Ｂは、ハイパーミーティングを示すためのデータ構造及びテーブルの実施例を示す。様々な実施例において、図２Ａ及び図２Ｂに示される例示的なデータ構造は、よく知られているリレーショナルデータベースなどのデータベース、もしくは、任意の他のデータ構造などの任意な他の適した形態で、コンピュータ可読媒体上に記録されていてもよい。ここで記述された概念は、会議情報を記録するために使用される任意の特定のデータ構造に限定されるものではない。ここで示される構造の例は、限定的な意味で解釈されるべきではない。

図２Ａで、一連の会議２０１は繰り返される会議もしくは相互に関係する一連の会議を示す。一連の会議２０１の会議２０２は会議部分２０４を含み、会議２０３は会議部分２０５、会議部分２０６、及び会議部分２０７を含む。これらは、論理的な会議を形成する同期されたアクティビティである。会議部分２０４は、さらに、同期されたビデオストリーム２０８、２０９、及び２１０及び関連する他のデータを含み、会議部分２０６は、さらに、同期されたビデオストリーム２１１、２１２、及び２１３及び関連する他のデータを含む。会議部分２０５、２０７も、さらに、同期されたビデオストリーム及び関連する他のデータを含む。様々な実施例において、会議部分２０４〜２０７は、（個人が参加しなかった、以前記録された会議部分への応答を記録している場合などでは、）単一のビデオストリームを含んでもよい。

様々な実施例において、一連の会議の要素に関連するメタデータは、会議部分２０４、２０５、２０６及び２０７の各々に参加する参加者のリスト、対応する会議部分のセグメントに割り当てられているトピック、及び異なる会議部分の中の、及び異なる会議部分の間のリンクを含んでいてもよい。様々な実施例において、会議部分は、話者の識別及び／もしくは話し合われているトピックに基づいて分割されてもよい。分割（セグメンテーション）の技術は、当業者にはよく知られている。様々な実施例において、話者の識別及び話し合われているトピックに基づく会議部分への分割は、会議記録へのより細かなアクセスを提供するために使用される。様々な実施例において、セグメンテーション、インデックス付加及びリンク付加の自動、半自動及び手動技術が、会議部分に関連して使用されてもよい。

図２Ｂで、ハイパーミーティングの自動生成及び消費のための記述されたシステムの実施例は、参加者テーブル２２０を用いてもよい。参加者テーブル２２０は、会議の各々の参加者に関する情報を記録する。この情報は、例えば、以下に詳細に記述されるように話者分割に用いられてもよい。さらに、トピックテーブル２２１が提供されてもよい。このテーブルはトピックのリストを含んでもよい。トピックのリストは、会議のコンテンツにインデックスを付加するために用いられてもよい。最後に、様々な実施形態において、リンクテーブル２２２が提供されてもよい。リンクテーブル２２２は会議コンテンツの間のリンクのリストを含む。様々な実施形態で、リンクレコードの各々はリンクアンカー（開始時間及び終了時間）及びリンクラベルに関する情報を含む。テーブル２２０〜テーブル２２２は、当業者にはよく知られているリレーショナルデータベースなどのデータベースに記録されていてもよい。

「プロセスを記録する会議の例」
図３は、会議と関連するコンテンツの記録、インデックス付加及びリンク付加のプロセスである一連の動作３００の実施例を示す。ステップ３０１で、一つもしくは複数の同期された音響映像ストリームを含む会議が記録される。様々な実施例において、会議は、会議室のカメラ及びマイクロフォンを用いて音声及びビデオを取得することによって記録されてもよいし、タブレットもしくはスマートフォンなどのユーザの個人デバイスのカメラ及びマイクロフォンを用いて音声及びビデオを取得することによって記録されてもよい。記録されたコンテンツは、ステップ３０２で、話者セグメンテーションを実行する既知の方法を用いて分析される。ステップ３０３で、コンテンツは識別された話者に基づいてインデックスを付加されてもよい。詳細には開始時間及び終了時間のインデックスが、会議の話者の各々に対して生成されてもよい。

同期されたビデオコンテンツが話者に基づいて分割されると（また、必要に応じてインデックスを付加されると）、ステップ３０４で、重複することが示されているセグメントに任意の割り当てられたトピックが付加される。さらに、割り当てられたトピックに基づくコンテンツへのインデックス付加が、ステップ３０５で、実行されてもよい。結果として取得される分割されたビデオストリーム及び付加されたメタデータ（例えば、セグメントに付加されたトピック）は、再生（図４に例示する）の際に用いられる。これにより、ステップ３０６で、以前記録されたコンテンツにリンクされているフォローコンテンツが生成される。

「会議再生プロセスの例」
図４は、記録された会議の再生のためのプロセスの一連の動作４００の例を示す。当該プロセスは、（図４に例示されるプロセスによって生成される結果を用いた）以前記録されたコンテンツの同期された再生を含む。記録されたコンテンツの複数の視聴者が地理的に分散しており、同時に同じコンテンツを視聴する（再生が同期されている）ことが必要とされているので、記述されたシステムの実施例は記録を見る視聴者の間で再生を変更する任意のイベントを取得し、一斉送信する。図４に示されるように、同期された再生４０１の間、記述されたシステムの実施例は、イベント４０２〜イベント４０５を取得する。同期された再生４０１は、再生速度を変える（速度を落とす、もしくは、速度を上げる）イベント４０２、リンクを選択するイベント４０３、トピックを選択するイベント４０４、ビデオ記録の同一のもしくは異なるセットの新しい位置に、全ての視聴者の再生を同期して切り替える、タイムラインの位置を選択するイベント４０５を含む。さらに、同期された再生４０１の間、図４のステップ４０７で、視聴者の一人は、図３に例示されるプロセス３００を介して、現在の参加者の間のアクティビティ／話し合いの記録を開始するアクション４０６を開始してもよい。

一つもしくは複数の実施例において、ハイパーミーティングの自動生成及び消費のための記述されたシステムは、ユーザの振る舞いを見て記録する通常の会議に基づいて相互に関連する会議記録のセグメントの間の持続性を有するリンクの自動生成及び提示を実施する。これらの生成された持続性を有するリンクは将来の利用のために記憶される。例示的なユーザインターフェイスが記述され、次に、環境の特定の機能が扱われる。

「会議記録及び再生のための例示的なユーザインターフェイス」
図５は、ハイパーミーティングの自動生成及び消費のための記述されたシステムのグラフィカルユーザインターフェイス５００の例を示す。詳細には、図５に示されるグラフィカルユーザインターフェイス５００は、主会議取得及び検討インターフェイスである。インターフェイス５００の右上部分５０１は、過去のいつかに行われた、記録された会議の再生と関連するビデオストリームを、ユーザが見て、ナビゲートすることを可能とする。現在の会議のビデオストリームは、記録された過去の会議のビデオストリームの下、右下部分５０２に表示される。過去の会議のビデオ再生は、全ての参加者のために会議参加者の中の誰かが記録されたビデオストリームを一時停止する、もしくはスキップすることを可能とするような、共同アクティビティである。グラフィカルユーザインターフェイス５００の左部分５０３は、取得された会議に関連するトピックのリスト５０４を表示する。

一つもしくは複数の実施例において、タイムライン５０５は話者の遷移を、例えば、カラーコード５０８によって示す。一つもしくは複数の実施例において、トピックタグ５０６がタイムライン５０５の下に提示されてもよい。一つもしくは複数の実施例において、タイムライン５０５の代替的な外観が使用される。例えば、当該代替的な外観は、トピックのためのカラーコード５０８及び話者遷移の画像指標を含んでもよい。ユーザは再生コントロール５０７を用いて会議ストリームの再生を制御することが可能である。

一つもしくは複数の実施例において、トピックは、会議参加者によって初期記録の間に、割り当てられる。同一のもしくは異なる実施例において、トピックは将来ビデオを見るユーザによって割り当てられてもよい。さらに、もしくは代替的に、トピックは、コンテンツ処理に基づいて所定の議題の要素に適合する自動機構によって割り当てられてもよい。当初、一連の会議はトピックの拡張可能なセットを有していてもよい。グラフィカルユーザインターフェイスは、最近定義され用いられたトピックへの容易なアクセスを提供する。さらに、会議参加者を、グラフィカルユーザインターフェイスによって、トピックの初期セットに追加することが可能である。トピックの初期セットは、図２Ｂに示されるテーブル２２１のように、対応する会議に関連するデータ構造に記憶される。

記述された技術の実施例を例示する設定の一つは、異なる時間の異なる参加者を含み、以前記録された会議部分を視聴する、将来の会議部分を含む。参加者が以前の会議を見ながら、参加者は以前の会議のビデオストリームを一時停止し、同じ及び関連するトピックについて話し合いを開始する。一つもしくは複数の実施例において、一時停止の命令を受信すると、システムの実施例は、一時停止されたビデオと記録されている新しい話し合いとの間に一つもしくは複数のリンクを自動的に生成する。一つもしくは複数の実施例において、生成されたリンクは、タイムラインの開始として示される。

図６は、３つの引き続く会議部分を含む例示的な状況における会議の記録及び再生のためのグラフィカルユーザインターフェイス６００の実施例を例示する。グラフィカルユーザインターフェイス６００の下部６０１に示される最近の会議部分は、上部６０２及び中央部分６０３に示される以前の２つの会議部分を検討する一人の参加者を示す。示される実施例において、リンク１１（図６の要素６０４）は、会議の第３部分６０１に最近生成された。より古いリンク１〜１０（要素６０５）は、会議の第１部分〜第２部分を示す。一つもしくは複数の実施例において、システムは、ユーザが、現在の部分への会議のより古い部分のリンクを生成することを可能にする。リンクを示す円の垂直位置（図６の要素６０４及び６０５を参照）は、より新しい会議部分に降りるか、もしくは、より古い会議部分へ上るかを示す。例えば、図６に例示されるように、タイムライン５０５のリンク１〜１０及びタイムライン６０８のリンク１１は、より新しい会議部分へ降り、タイムライン６０８のリンク１〜１０及びタイムライン６０９のリンク１１はより古い会議部分へ上る。

「会議内をフォローするリンク例」
一つもしくは複数の実施例において、会議の複数部分の連続再生は、リンクに出会うと、オリジナルビデオ及び追加ビデオの間を行ったり来たりする。自動的にリンクをフォローする一つの手法は、会議のより古い部分の再生を開始する。より新しい会議部分へのリンクに出会うと、再生は新しい会議の当該部分へ自動的に切り替わる。リンクされたビデオの最後に到達すると、再生はより古い会議部分のリンクポイントに戻るように切り替わる。リンクされたビデオがより新しい会議部分へのリンクを含む場合、当該リンクは同じ手法でフォローされる。

一つもしくは複数の実施例において、リンクは双方の方向に手動でフォローされてもよい。オリジナルの会議が見られている間リンクがフォローされる場合、より後に追加されたコメントのビデオが現れる。ユーザがコメントを見ていてリンクをクリックすると、オリジナルの会議のビデオが提示される。一つもしくは複数の実施例において、より後の会議部分のリンクをユーザがフォローする場合、オリジナルの会議の再生の開始点を決定するための複数の手法がある。自明な解は、リンクが生成されたオリジナルの会議のポイントで開始することである。これはステートメントの途中である可能性が高い。したがって、よりよいオプションは、当該話者のターンの初めで再生を開始することである。当該ターンの間にリンクが生成される。

「トピック、参加者、リンク、及びリンクラベルを示すタイムライン例」
一つもしくは複数の実施例において、タイムライン５０５は、トピック、話者、作成されたもしくは自動的に生成された記録の間の、もしくは当該記録内のナビゲーションリンクに基づいて、参加者への様々な視覚効果（例えば、図６の円６０５などのアイコン）を提供するように設計される。例えば、話し合われたトピック５０６が、図６に例示される手法で、タイムライン５０５の下に示されてもよい。さらに、図６に示されるように、話者はタイムライン５０５上にカラーコード６０７を用いて示されてもよい。

最後に、リンクは、タイムライン５０５の円６０５によって示される。数字は、リンクの行き先に関する情報をユーザに提供する。図６に示されるように、タイムライン５０５の円６０５で示されるリンクは、タイムライン６０８の同じ数字を有するリンクに対応する。一つもしくは複数の実施例において、対応するアイコン上にマウスカーソルが残っている場合、リンクに関する追加の情報が現れる。

「複数のマイクロフォンによる話者分割」
一つもしくは複数の実施例において、ユーザインターフェイスに、参加者の各々が話しているときを示すタイムラインを表示することは有用である。これにより、視聴者は、特定の人によって付されたコメントをスキップすることが可能となる。実施例の一つにおいて、話者の各々がマイクロフォンスピーカーセットアップを有し、したがって、会議の再生からの音声もしくは同席している話者の音声は当該マイクロフォンによって収集されないことが保証されるものと仮定する。これは、接話指向マイクロフォンを用い、マイクロフォンの範囲外に他の話者が存在することにより、もしくはイヤホンを用いることにより、達成され得る。したがって、話者に基づく音声の分割タスクは、話者の各々が黙っているときと反対のときとして、話者の各々が話しているときを決定することを低減する。他の実施例において、話者分割は、よく知られた技術を用いて、訓練された、もしくは訓練されていない話者モデルに基づいて自動的に実行されてもよい。一つもしくは複数の実施例において、単純な信号エネルギー閾値が、短い人工雑音を除去するために遅延と共に用いられてもよい。

「トピック分割」
様々な実施例において、トピック分割は、例えば、図６の参照符号５０６によって示されるように、タイムライン５０５に反映されてもよい。様々な実施例において、トピック分割は、当業者に知られている適切な技術を用いて、手動で、もしくは自動で実行されてもよい。

「コンピュータプラットフォーム例」
図７は、ハイパーミーティングの自動生成及び消費のための計算処理システムの実施例を示す。一つもしくは複数の実施例において、計算処理システム７００は、当業者にはよく知られているデスクトップコンピュータのフォームファクタ内で実装され得る。代替的な実施例において、計算処理システム７００は、ラップトップもしくはノートブックコンピュータ、もしくは、スマートフォンもしくはタブレットコンピュータなどの任意の他のモバイル計算処理デバイスであってよい。

計算処理システム７００は、計算処理システム７００の様々なハードウェア構成要素を亘って、もしくは様々なハードウェア構成要素の間で、情報の通信を実施するためのデータバス７０４もしくは他の相互接続もしくは通信機構、情報を処理し、他の計算及び制御タスクを実行するためのデータバス７０４に電気的に接続されている中央処理装置（ＣＰＵもしくは単にプロセッサとも呼ぶ）７０１を含み得る。計算処理システム７００は、データバス７０４に接続されており、様々な情報及びプロセッサ７０１によって実行される命令を記憶するためのランダムアクセスメモリ（ＲＡＭ）もしくは他の動的記憶デバイスなどのメモリ７１２を含む。メモリ７１２は、磁気ディスク、光ディスク、ソリッドステートフラッシュメモリデバイス、もしくは他の不揮発性ソリッドステートストレージデバイスなどの持続性を有するストレージデバイスを含み得る。

一つもしくは複数の実施例において、メモリ７１２は、プロセッサ７０１による命令の実行の間、一時的な変数もしくは他の中間情報を記憶するために使用されてもよい。必須ではないが、計算処理システム７００は、さらに、データバス７０４に接続されており、計算処理システム７００の動作に必要なファームウェア、基本入出力システム（ＢＩＯＳ）、計算処理システム７００の様々な構成パラメータなどの静的情報及びプロセッサ７０１への命令を記憶するリードオンリーメモリ（ＲＯＭもしくはＥＰＲＯＭ）７０２もしくは他の静的ストレージデバイスを含んでいてもよい。

一つもしくは複数の実施例において、計算処理システム７００は、データバス７０４に電気的に接続されており、ここで記述された会議部分を示すユーザインターフェイスなどの、計算処理システム７００のユーザに様々な情報を表示する、表示デバイス７１１を含んでいてもよい。代替的な実施例において、表示デバイス７１１はグラフィックコントローラ及び／もしくはグラフィックプロセッサと関連付けられていてもよい。表示デバイス７１１は、例えば、薄膜トランジスタ（ＴＦＴ）技術もしくは有機発光ダイオード（ＯＬＥＤ）技術を用いて製造された液晶ディスプレイ（ＬＣＤ）であってよい。薄膜トランジスタ（ＴＦＴ）技術、有機発光ダイオード（ＯＬＥＤ）技術は双方とも当業者にはよく知られている。様々な実施例において、表示デバイス７１１は、計算処理システム７００の残りの構成要素と共に一般的な筐体に含められていてもよい。代替的な実施例において、表示デバイス７１１は、テーブルもしくはデスクの上など、当該筐体の外部に配置されていてもよい。一つもしくは複数の実施例において、計算処理システム７００は、さらに、会議の音声部分を取得し、メモリ７１２に録音された音声情報を記憶するように構成されているマイクロフォンなどの音声記録デバイス７０３を含んでいてもよい。

一つもしくは複数の実施例において、計算処理システム７００は、さらに、データバス７０４に電気的に接続されており、当業者によく知られているように、会議を録音した音声部分であるＭＰＥＧ−３ファイルなどの様々な音声ファイル、ＭＰＥＧ−４ファイルなどの様々なビデオファイルの音声トラックを再生するように構成されている音声再生デバイス７２５を含んでいてもよい。したがって、計算処理システム７００は、さらに、音声波形もしくはサウンドプロセッサ、あるいは同様のデバイスを含んでいてもよい。

一つもしくは複数の実施例において、計算処理システム７００は、方向情報及びコマンド選択のプロセッサ７０１への通信を実施し、表示デバイス７１１のカーソルの動きを制御するマウス、トラックボール、タッチパッド、もしくはカーソル方向キーなどのマウス／ポインティングデバイス７１０などの一つもしくは複数の入力デバイスを含んでいてもよい。この入力デバイスは、一般的に、第１軸（例えば、ｘ）及び第２軸（例えば、ｙ）の２軸の自由度を有し、これにより、平面上の位置を特定することが可能となる。

計算処理システム７００は、さらに、データバス７０４に接続されており、画像、ビデオ、ユーザコマンド（ジェスチャを含む）情報のプロセッサ７０１への通信を実施する（画像、ビデオ、ユーザコマンド（ジェスチャを含む）情報のプロセッサ７０１への通信の実施には限定されない、）会議のビデオを含む様々なオブジェクトの静止画像及びビデオを取得するカメラ７２６及びキーボード７０６を含んでいてもよい。

一つもしくは複数の実施例において、計算処理システム７００は、さらに、データバス７０４に接続されているネットワークインターフェイス７０５などの通信インターフェイスを含んでいてもよい。ネットワークインターフェイス７０５は、ＷｉＦｉアダプタ７０７、携帯電話ネットワーク（ＧＳＭ（登録商標）もしくはＣＤＭＡ）アダプタ７０８及び／もしくはローカルエリアネットワーク（ＬＡＮ）アダプタ７０９の少なくとも１つを用いて、計算処理システム７００及びインターネット７２４の間の接続を確立するように構成されていてもよい。ネットワークインターフェイス７０５は、計算処理システム７００及びインターネット７２４の間の双方向データ通信を可能とするように構成されていてもよい。ＷｉＦｉアダプタ７０７は、当業者にはよく知られている８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ及び／もしくは８０２．１１ｎプロトコル及びブルートゥースプロトコルに準じて動作してもよい。計算処理システム７００のＬＡＮアダプタ７０９は、例えば、インターネット７２４とのインターフェイスとしてインターネットサービスプロバイダのハードウェアを用いる、対応するタイプの電話線へのデータ通信接続を提供するＩＳＤＮ（integrated services digital network）カードもしくはモデムを用いて実装されてもよい。他の実施例として、ＬＡＮアダプタ７０９は、互換性を有するＬＡＮ及びインターネット７２４とのデータ通信接続を提供するローカルエリアネットワークインターフェイスカード（ＬＡＮ ＮＩＣ）であってよい。例示的な実施例において、ＷｉＦｉアダプタ７０７、携帯電話ネットワーク（ＧＳＭ（登録商標）もしくはＣＤＭＡ）アダプタ７０８及び／もしくはＬＡＮアダプタ７０９は、様々なタイプの情報を示すデジタルデータストリームを搬送する電気もしくは電磁信号を送受信する。

一つもしくは複数の実施例において、インターネット７２４は、一般的に、一つもしくは複数のサブネットワークを介した他のネットワークリソースへのデータ通信を提供する。したがって、計算処理システム７００は、リモートメディアサーバ、ウェブサーバ、他のコンテンツサーバ、他のネットワークデータストレージリソースなどのインターネット７２４のどこかに配置されている様々なネットワークリソースにアクセスすることが可能である。一つもしくは複数の実施例において、計算処理システム７００は、メッセージ、メディア及びアプリケーションプログラムコードなどの他のデータを、ネットワークインターフェイス７０５によってインターネット７２４を含む様々なネットワークを介して、送受信するように構成されている。インターネットの例において、計算処理システム７００がネットワーククライアントとして動作する場合、インターネットは、計算処理システム７００上で実行されるアプリケーションのためのコードもしくはデータを要求するかもしれない。同様に、インターネットは、他のネットワークリソースに様々なデータもしくはコンピュータコードを送信するかもしれない。

一つもしくは複数の実施例において、ここで記述された機能は、メモリ７１２に含まれる一つもしくは複数の命令の一つもしくは複数のシーケンスを実行するプロセッサ７０１に応じて、計算処理システム７００によって実装されてもよい。このような命令は、他のコンピュータ可読媒体からメモリ７１２に読み込まれてもよい。メモリ７１２に含まれる命令シーケンスの実行は、ここで記述された様々なプロセスステップをプロセッサ７０１に実行させる。代替的な実施例において、実施例を実装するために、ハードワイヤード回路がソフトウェア命令と共に、あるいは、ソフトウェア命令の代わりに用いられてもよい。したがって、記述した実施例は、ハードウェア回路及び／もしくはソフトウェアの何れか特定の組み合わせに限定されるものではない。

ここで用いられる用語「コンピュータ可読媒体」は、実行のために、プロセッサ７０１に命令を提供する際に関係する任意の媒体を参照する。コンピュータ可読媒体は、ここで記述された方法及び／もしくは技術の何れかを実装するための命令を搬送することが可能な機械可読媒体の単なる一例である。媒体は、不揮発性媒体、揮発性媒体を含む多くの形態をとることが可能であるが、不揮発性媒体、揮発性媒体に限定されるものではない。

非一時的コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光媒体、パンチカード、紙テープ、穴パターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、任意の他のメモリチップもしくはカートリッジ、もしくはコンピュータが読み取り可能な任意の他の媒体を含む。コンピュータ可読媒体の様々な形態は、実行のための、プロセッサ７０１への一つもしくは複数の命令の一つもしくは複数のシーケンスの搬送に関連してもよい。例えば、命令は、まず、リモートコンピュータから磁気ディスクに搬送されてもよい。代替的に、リモートコンピュータは、動的メモリに命令をロードして、インターネット７２４を介して命令を送信してもよい。詳細には、コンピュータ命令は、当該技術分野でよく知られている様々なネットワークデータ通信プロトコルを用いて、インターネット７２４を介して、リモートコンピュータから計算処理システム７００のメモリ７１２にダウンロードされてもよい。

一つもしくは複数の実施例において、計算処理システム７００のメモリ７１２は、以下のソフトウェアプログラム、アプリケーション、もしくはモジュールの何れかを記憶していてもよい。
１．オペレーティングシステム（ＯＳ）７１３。オペレーティングシステム（ＯＳ）７１３は、基本システムサービスを実装し、計算処理システム７００の様々なハードウェア構成要素を管理する。オペレーティングシステム７１３の実施例は、当業者にはよく知られており、現在知られているもしくは今後開発されるモバイルオペレーティングシステムを含んでもよい。

２．アプリケーション７１４。アプリケーション７１４は、例えば、計算処理システム７００のプロセッサ７０１によって実行されるソフトウェアアプリケーションのセットを含んでいてもよい。これにより、計算処理システムは、表示デバイス７１１上のグラフィックユーザインターフェイスを表示する、もしくは、カメラ７２６を用いて会議のビデオを記録するなど所定の機能を実行する。一つもしくは複数の実施例において、アプリケーション７１４は、以下で詳細に記述されるハイパーミーティングの自動生成及び消費のためのアプリケーション７１５を含んでいてもよい。

３．データストレージ７２１。データストレージ７２１は、例えば、図２Ａ及び図２Ｂに例示したように、ハイパーミーティングに関連する様々な情報を記憶するデータ構造及びテーブル７２２を記憶していてもよい。さらに、データストレージ７２１は、ここで記述されるように、会議に対応する実際に記録されたメディアストリームのメディアファイル７２３を含んでいてもよい。

一つもしくは複数の実施例において、ハイパーミーティングの自動生成及び消費のための会議アプリケーション７１５は、例えば、図５及び図６に例示される一つもしくは複数のユーザインターフェイスを生成するように構成されているユーザインターフェイス生成モジュール７１６を含む。さらに、音声記録デバイス７０３及びカメラ７２６を用いて、会議のビデオ及び音声ストリームを取得する会議取得モジュール７１７が提供されてもよい。さらに、上述したように会議部分間のリンクを自動的に生成し、データストレージ７２１に生成したリンクを記憶するリンク生成モジュール７１８が提供されてもよい。さらに、図３のステップ３０３及び３０５に例示されるように、話者及びトピック情報にインデックスを付加するためにインデックス付加モジュール７１９が提供されてもよい。再生モジュール７２０は、例えば、図４に例示されるように、以前の会議の再生を同期させるために提供されてもよい。

最後に、ここで記述されたプロセス及び技術は任意の特定の装置に固有ではなく、構成要素の適切な任意の組み合わせによって実装されてもよい。さらに、様々なタイプの汎用目的デバイスが、ここで記述された技術にしたがって用いられてもよい。ここで記述された方法のステップを実行するために特殊用途装置を構築してもよい。開示の技術は、限定ではなく例示を意図した特定の例に関連して記述されている。ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組み合わせが、開示の技術を実施するために、適している。例えば、記述されているソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、オブジェクティブ−Ｃ、Ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などの様々なプログラミング言語及びスクリプト言語、並びに、現在知られている、もしくは今後開発されるプログラミング言語もしくはスクリプト言語で、実装されてもよい。

さらに、開示の技術の他の実装が可能であることは、ここで開示されている技術の仕様及び実施の検討から明らかである。記述された実施例の様々な態様及び／もしくは構成要素は、ハイパーミーティングの自動生成及び消費のためのシステム及び方法において、単一で、もしくは任意の組み合わせで用いられてもよい。

７００ 計算処理システム
７０１ プロセッサ
７０３ 音声記録デバイス
７０５ ネットワークインターフェイス
７１１ 表示デバイス
７１２ メモリ
７２５ 音声再生デバイス
７２６ カメラ

Claims (24)

1. 計算処理システムのプロセッサが、
   第１会議を表示する表示デバイス上に第１会議を表示する第１ユーザインターフェイス部分を生成し、
   第２会議を表示する前記表示デバイス上に第２会議を表示する第２ユーザインターフェイス部分を生成し、
   前記第１会議は前記第２会議の前に実施され、前記第１会議及び第２会議は少なくとも１つのリンクを用いてリンクされており、
   前記少なくとも１つのリンクを用いて、前記第１ユーザインターフェイス部分における前記第１会議の再生と、前記第２ユーザインターフェイス部分における前記第２会議の再生とを、時間的に重複することなく交互に実行する、
   会議再生方法。
2. 前記第１会議及び第２会議は、各々、複数の音響映像ストリームを含み、
   前記第１会議もしくは第２会議の再生を実行することは、前記複数の音響映像ストリームの対応する音響映像ストリームを実行することを含む、
   請求項１に記載の会議再生方法。
3. 前記第２会議の再生の間、前記少なくとも１つのリンクを用いて、前記第１会議の少なくとも部分の再生を実行する際に、前記少なくとも１つのリンクがフォローされる、
   請求項１又は請求項２に記載の会議再生方法。
4. 前記第１ユーザインターフェイス部分は、第１タイムラインを含み、
   前記第２ユーザインターフェイス部分は、第２タイムラインを含み、
   前記少なくとも１つのリンクは前記第１タイムライン及び第２タイムライン上に示される、
   請求項１〜３の何れか１項に記載の会議再生方法。
5. 前記第１ユーザインターフェイス部分は第１タイムラインを含み、
   前記第１会議に関連する少なくとも一人の話者の識別が前記第１タイムライン上に示される、
   請求項１〜請求項３の何れか１項に記載の会議再生方法。
6. 前記第２ユーザインターフェイス部分は第２タイムラインを含み、
   前記第２会議に関連する少なくとも一人の話者の識別が前記第２タイムライン上に示される、
   請求項１〜請求項３の何れか１項に記載の会議再生方法。
7. 前記第１ユーザインターフェイス部分は第１タイムラインを含み、
   前記第１会議に関連する少なくとも１つのトピックが前記第１タイムライン上に示される、
   請求項１〜請求項３の何れか１項に記載の会議再生方法。
8. 前記表示デバイス上に第３ユーザインターフェイス部分を生成することをさらに含み、
   前記第３ユーザインターフェイス部分は前記第１会議に関連する少なくとも１つのトピックを表示する、
   請求項１〜請求項７の何れか１項に記載の会議再生方法。
9. 前記第２会議の再生に関連するコマンドを受信し、前記計算処理システム及び第２計算処理システム上の前記第２会議の再生が同期するように、前記第２会議の再生を実行する前記第２計算処理システムに受信される前記コマンドを伝播する、
   請求項１〜請求項８の何れか１項に記載の会議再生方法。
10. 受信される前記コマンドは再生一時停止コマンドである、請求項９に記載の会議再生方法。
11. 前記少なくとも１つのリンクは開始時間、終了時間及びリンクラベルを含む、請求項１〜請求項１０の何れか１項に記載の会議再生方法。
12. コマンドを受信すると、前記第２会議及び第１会議の間の第２リンクを生成する、請求項１〜請求項１１の何れか１項に記載の会議再生方法。
13. 前記コマンドは再生一時停止コマンドである、請求項１２に記載の会議再生方法。
14. 前記少なくとも１つのリンクを用いて、前記第１ユーザインターフェイス部分における前記第１会議の再生と、前記第２ユーザインターフェイス部分における前記第２会議の再生とを、時間的に重複することなく交互に実行する場合に、前記再生の開始点を、話者の発言の開始点に合わせる請求項１〜請求項１３の何れか１項に記載の会議再生方法。
15. 計算処理システムのプロセッサが、
    音声記録デバイスおよびカメラを用いて、少なくとも一人の第１参加者を含む第１会議に対応する少なくとも１つの第１メディアストリームを取得し、
    音声記録デバイスおよびカメラを用いて、少なくとも一人の第２参加者を含む第２会議に対応する少なくとも１つの第２メディアストリームを取得し、
    前記第１会議及び第２会議は少なくとも１つのリンクを用いてリンクされており、
    前記少なくとも１つのリンクを用いて、前記第１メディアストリームの再生と前記第２メディアストリームの再生とを、時間的に重複することなく交互に実行する、
    メディアストリーム取得方法。
16. コマンドを受信すると、前記リンクを生成する、請求項１５に記載のメディアストリーム取得方法。
17. 前記コマンドは再生一時停止コマンドである、請求項１６に記載のメディアストリーム取得方法。
18. 取得した前記第１メディアストリーム及び第２メディアストリームの話者分割を実行することをさらに含む、請求項１５〜請求項１７の何れか１項に記載のメディアストリーム取得方法。
19. 取得した前記第１メディアストリームの複数の部分に複数のトピックを割り当てることをさらに含む、請求項１５〜請求項１８の何れか１項に記載のメディアストリーム取得方法。
20. 割り当てられた前記複数のトピックにインデックスを付加することをさらに含む、請求項１９に記載のメディアストリーム取得方法。
21. 取得した前記第１メディアストリーム及び第２メディアストリーム内のトピック割り当てを実行することをさらに含む、請求項１５〜請求項１８の何れか１項に記載のメディアストリーム取得方法。
22. 前記音声記録デバイスおよび前記カメラを用いて、前記第１メディアストリーム及び第２メディアストリームの少なくとも部分の再生を含む第３会議に対応する少なくとも１つの第３メディアストリームを取得することをさらに含む、請求項１５〜請求項２１の何れか１項に記載のメディアストリーム取得方法。
23. 前記少なくとも１つのリンクを用いて、前記第１メディアストリームの再生と前記第２メディアストリームの再生とを、時間的に重複することなく交互に実行する場合に、前記再生の開始点を、話者の発言の開始点に合わせる請求項１５〜請求項２２の何れか１項に記載のメディアストリーム取得方法。
24. 表示デバイス上に第１会議を表示する第１ユーザインターフェイス部分を生成し、
    前記表示デバイス上に第２会議を表示する第２ユーザインターフェイス部分を生成し、
    前記第１会議は前記第２会議の前に実施され、
    前記第１会議及び第２会議は少なくとも一つのリンクを用いてリンクされており、
    前記少なくとも１つのリンクを用いて、前記第１ユーザインターフェイス部分における前記第１会議の再生と、前記第２ユーザインターフェイス部分における前記第２会議の再生とを、時間的に重複することなく交互に実行する、
    ことをプロセッサに実行させるためのプログラム。