JP4449361B2 - マルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして、見るための方法、システム、及び実行させるためのプログラム - Google Patents

Description

本発明は、一つ以上のマルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして、見るためのシステム及び方法に関する。

ミーティング、セミナー、及び授業のディジタルマルチメディア記録が、より広く活用できるようになってきている。様々な種類のマルチメディア記録に際して、ラップトップ、ペンベースノートブックコンピュータ、パーソナルディジタルアシスタント等を用いてノートを取るためのシステム及び方法が開発されてきた。このようなシステム及び方法の例として、（株）富士ゼロックス製のＮＯＴＥＬＯＯＫ（ノートルック）及びＬＩＴＥＭＩＮＵＴＥＳ（ライトミニッツ）があげられる。また、上記したデバイスからキータグ又はワイヤレステレフォンに至るまでのいずれかを用いてミーティングや他のビデオストリームでの関心が持たれる点に注釈を付けるための様々な方法が考案されつつある。これらの注釈は、一般に、ビデオストリームを介してブラウジングするため、及び／又はビデオストリームの特定部分をリトリーブするため、ビデオストリームにタイムスタンプされたり及び／又は対応付けされたりする。

上記された技術を用いることによって、注釈は、いろいろな人間により、いろいろなデバイスを用いて、及び、時には分散型設定において、作成され得る。これらの注釈を統合することによって、ビデオストリームを後から見たり、このビデオストリームを別のユーザが見たりするための貴重なツールを作成することができる。

ヒー（Ｈｅ）他は、非特許文献１に記載されているように、オーディオ−ビデオプレゼンテーションを見る方法を開発した。ヒー（Ｈｅ）他によれば、プレゼンテーションをまとめるために、ユーザのオーディオ−ビジュアルプレゼンテーションへのアクセスパターンを使用し、オーディオ−ビジュアルプレゼンテーションの特別なセグメントの重要度は、例えば、所与の時間又は所与の周期でのある時点又はあるセグメントでプレゼンテーションを停止又は開始したビューア（見る人）の数に基づいて決定されるか、或いは、単に、プレゼンテーションのそのセグメントを見たビューアの数に基づいて決定され得る。

リー（Ｌｉ）他は、ビデオプレゼンテーションを見る方法の別の例を開発した。非特許文献２に記載されているように、Ｌｉ他によれば、学生が教室での授業のプレゼンテーションの主要ポイントをまとめるように要求された時、学生には時間的制約が課されるため、ビデオ全体を見ることができない。そこで、リー（Ｌｉ）は、授業のプレゼンテーション中にスライド交換によって演算されるコンテンツの表を用いたユーザがプレゼンテーションの大部分を見ることができることを発見したが、Ｌｉによって提供されたビューイングの方法はプレゼンテーションの本来の特徴に依存している（スライド交換）。

コレイア（Ｃｏｒｒｅｉａ）他は、ビデオプレゼンテーションに関して様々なユーザによって提供されるコンテンツを統合する可能性を示唆する。非特許文献３に記載されているように、コレイア（Ｃｏｒｒｅｉａ）によれば、単一オーディオ又はビジュアルプレゼンテーションに対して、複数のユーザによって提供されたコンテンツを適切なツールを用いて組み合わせることによって、参加者によるコミュニティを作成することが可能となることを述べている。従って、特別なテレビ番組やオーディオプレゼンテーションのビューアが、その意見、考え、及びコメントをもたらした媒体を用いることによって、その意見、考え、及びコメントをシェアすることができる。

人気の高さに基づいてドキュメントの重み付けをする様々なシステム及び方法が知られている。例えば、グーグル（ＧＯＯＧＬＥ登録商標）などのサーチエンジンは、特別なドキュメントにアクセスするか又は特別なドキュメントを使用するユーザの数に基づいて、テクスチャルドキュメント（ウェブページ）の重み付けをする。同様に、アマゾンドットコム（ＡＭＡＺＯＮ．ＣＯＭ登録商標）などのオンライン小売業者は、本を購入するｅ−コンシューマ（消費者）の人数に基づいて様々な本を紹介する。非特許文献４に記載されているように、レズニック（Ｒｅｓｎｉｃｋ）他は、ユーズネットニュース（Ｕｓｅｎｅｔ Ｎｅｗｓ）に適用されるように、人気の高いドキュメントを推奨するためのフィルタリングのコンセプトを開発した。非特許文献５に記載されているように、ゴールドバーグ（Ｇｏｌｄｂｅｒｇ）他は、より大規模な集合体から人気の高いｅメールメッセージだけを強調する共同フィルタリングの使用を提供した。非特許文献６に記載されているように、バラバノヴィック（Ｂａｌａｂａｎｏｖｉｃ）他は、人気の高いウェブページの推奨部分を提供する方法を提案した。非特許文献７に記載されているように、ヒル（Ｈｉｌｌ）他は、アイテムの人気の高さに基づいて、特別な映画や音楽を推奨する方法を開発した。これらのシステムにおいて、ユーザは、しばしば、明示レーティング（格付け）やランキング得点を介して、アイテム又はドキュメント全体について、即ち、コンパクトディスクやＤＶＤや本についての趣向を述べる。ユーザアクティビティの様々な形態を暗黙の趣向ステートメントとして考慮した方法もいくつかある。

人気の高さに基づいてドキュメントの特定の部分を重み付けするためのシステム及び方法も知られている。非特許文献１に記載されているように、ヒー（Ｈｅ）は、ビデオプレゼンテーションの特定の部分を重み付けするための方法を提案した。ヒー（Ｈｅ）によれば、ビデオの特定のセグメントを選択するためにコンテンツの表へのエントリが使用される回数に基づいて、ビデオの一部がより「貴重」であると考えられる。ヒー（Ｈｅ）の方法においては、ビデオの最も人気のあるセグメントが最も有効な情報を含むと仮定される。

また、注釈をつけられたドキュメントを見るための様々なシステム及び方法が知られている。例えば、その全体が本明細書中に組み込まれる米国特許出願０９／９５１，７３３号は、注釈付けされたドキュメントにおいて、特別な注釈部分を強調するためのシステム及び方法を開発した。注釈を強調する機能は、作成された注釈の頻度及びタイプ、並びにコメントが含まれているか又は注釈に対応付けされているかを考慮することによって、実行される。上記のシステム及び方法は、ユーザが、注釈がつけられたドキュメントを見て、強調に値すると決定された部分を容易に見ることを可能にする。

複数のグラフィックオブジェクトを動的にグループ化する方法が、以下のように、特許文献１に記載されている。たとえば画像入力表示装置に表示された、複数のグラフィックオブジェクトを動的にグループ化する場合には、複数のグラフィックオブジェクトに対して１つのクラスタツリーが形成される。クラスタツリーは、複数の異なる種類の距離測定に基づく。これらは、時間的距離及び空間的距離を含む。これらの距離は、結合され、一対のグラフィックオブジェクト間の距離を示す距離測定基準を形成する。クラスタツリーの各レベルは、グラフィックオブジェクトの新しいクラスタを定義する。グラフィックオブジェクトの少なくとも一つが選択される。選択されたグラフィックオブジェクトを含む、クラスタツリーの異なるクラスタレベルが表示可能である。グラフィックオブジェクトの表示されたクラスタは、選択されたグラフィックオブジェクトを含むクラスタのクラスタレベルを増加又は減少させるために、修正可能である。
米国特許第５，８８９，５２３号（１９９９年３月） ヒー（Ｈｅ）他著、「オーディオ−ビデオプレゼンテーションの自動要約（Ａｕｔｏ−Ｓｕｍｍａｒｉｚａｔｉｏｎ ｏｆ Ａｕｄｉｏ−Ｖｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎｓ）」ＡＣＭマルチメディア予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＭｕｌｔｉＭｅｄｉａ）、１９９９年 リー（Ｌｉ）他著、「ブラウジングディジタルビデオ（Ｂｒｏｗｓｉｎｇ Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）」ＣＨＩ予稿集２０００（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＨＩ２０００）、２０００年 コレイア（Ｃｏｒｒｅｉａ）他著、「注釈を用いたアクティブなビデオウォッチング（Ａｃｔｉｖｅ Ｖｉｄｅｏ Ｗａｔｃｈｉｎｇ Ｕｓｉｎｇ Ａｎｎｏｔａｔｉｏｎ）」ＡＣＭマルチメディア（ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ）、１９９９年 レズニック（Ｒｅｓｎｉｃｋ）他著、「ネットニュースの共同フィルタリングのためのオープンアーキテクチャ（Ａｎ Ｏｐｅｎ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｆｉｌｔｅｒｉｎｇ ｏｆ Ｎｅｔｎｅｗｓ）」ＣＳＣＷ予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＳＣＷ）、１９９４年 ゴールドバーグ（Ｇｏｌｄｂｅｒｇ）他著、「情報タペストリを織るための共同フィルタリングの使用（Ｕｓｉｎｇ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｆｉｌｔｅｒｉｎｇ ｔｏ Ｗｅａｖｅ ａｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔａｐｅｓｔｒｙ）」ＣＡＣＭ、第３５巻、第１２章、ｐ．５１−６０、１９９２年１２月 バラバノヴィック（Ｂａｌａｂａｎｏｖｉｃ）他著、「コンテンツベース共同リコメンデーション（Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ，Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ） ＣＡＣＭ、第４０巻、第３章、ｐ．６６−７２、１９９７年 ヒル（Ｈｉｌｌ）他著、「役に立つ仮想コミュニティにおける選択の推奨及び評価（Ｒｅｃｏｍｍｅｎｄｉｎｇ ａｎｄ Ｅｖａｌｕａｔｉｎｇ Ｃｈｏｉｃｅｓ ｉｎ ａ Ｖｉｒｔｕａｌ Ｃｏｍｍｕｎｉｔｙ ｏｆ Ｕｓｅ）」ＣＨＩ予稿集、１９９５年

ドキュメントやドキュメントの部分を見たり及び／又は強調したりする上述のシステム及び方法は有用であるが、使い易さとより正確な推奨を提供する、媒体をフィルタリングして見るより改良されたシステム及び方法を提供することが重要である。本発明は、他の特徴の中でも、マルチメディア又はビデオストリームの注釈の共同インデックスの優れた解析と、注釈付けされたマルチメディア又はビデオストリームの有効なリトリーバル及びブラウジングを支援する優れた視覚化技術と、を含む、マルチメディア又はビデオストリームをフィルタリングして見るシステム及び方法に関する。

様々な形態のマルチメディア又はビデオストリームとの遠隔対話が知られている。遠距離の学習又は遠距離のビデオ会議に関連するテクノロジーによって、多数のユーザは、遠隔地からリアルタイムでマルチメディア又はビデオプレゼンテーションを見たり、又は、非同期的にマルチメディア又はビデオストリームの重要部分のノートを取ったり、マーキングしたりすることができる。マルチメディア又はビデオストリームに対応付けされるこれらのマーク又はノートは注釈として言及される。注釈は、タイムスタンプに限定されてもよいし、或いは、マルチメディア又はビデオストリームのフレームへのテキストや実際のマーキングなどのコンテンツを含んでいてもよい。
本発明によるシステム及び方法は、ユーザによって行われる自然な動作、例えば、注釈を利用して、マルチメディア又はビデオコンテンツのセグメントを識別し、これに続いて、識別されたセグメントを推奨する。マルチメディア又はビデオプレゼンテーションと共に用いられる対話のパターン、例えば、注釈のパターンは、どの事象が質問に結びつくかを理解して、これにより、願わくは、これ以降のユーザがよりよく理解できるように、マルチメディア又はビデオストリームの作成者がこのプレゼンテーションを洗練させて提供できるようにするために有用である。これらのパターンは、プレゼンテーションを非同期的に見たいとする新しいユーザにとっても有利である。これらの新しいユーザは、マルチメディア又はビデオストリームの重要なセグメントに速やかにアクセスするために、以前のビューアによって付された注釈を利用することもできる。注釈とこれらの注釈に対応付けされたマルチメディア又はビデオストリームが十分に視覚化されている場合は特に、以前のユーザによって付された注釈を併合して、集団がマルチメディア又はビデオストリームの周辺で共同作業を行うことを可能にすることは有用である。

これ以降のユーザにとっては、多数の異なるヒューリスティックに基づいて、低減された又は増加した価値が注釈に割当てられる。ヒューリスティックは、役に立つと考えられた注釈の任意の特別な特性を含んでいてもよい。注釈のこのような解析は、注釈を行ったユーザの数人又は全員を考慮に入れて行う。或いは、特別なユーザにとっては、注釈への高い価値又は低い価値の割当ては、どのユーザが特別な注釈を作成したかによって、左右される。例えば、信頼できるユーザ又は同様の関心を持つユーザによって作成された注釈はもっと重要であるとみなされる。注釈する行為に基づいて同様の又は信頼できるユーザを識別することができるシステム及び方法も従って重要とされる。高い価値のユーザの推奨は、特別なユーザがまだ見てなかった、或いは、注釈を行わなかった他のビデオストリームに関して推奨を行うために有用となり得る。
本発明は、マルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして見る（ｖｉｅｗ）システム及び方法をそれぞれ提供する。
本発明は、マルチメディア又はビデオストリームの高価値注釈を決定するシステム及び方法をそれぞれ提供する。
本発明は、一つ以上のヒューテリスティックに基づいて、マルチメディア又はビデオストリームの高価値注釈を決定するシステム及び方法をそれぞれ提供する。
本発明は、注釈者のアイデンティティと、この注釈者とインスタントユーザとの関連性と、に基づいて、マルチメディア又はビデオストリームの高価値注釈を決定するシステム及び方法をそれぞれ提供する。
様々な実施の形態において、本発明のシステム及び方法は、マルチメディア又はビデオストリームを得るステップと、このマルチメディア又はビデオストリームの注釈のユーザインデックスを得るステップと、これらのインデックスを併合するステップと、このマルチメディア又はビデオストリームの部分と注釈とを対応付けするステップと、特定の時間又はそれに近い時間において行われた注釈を評価するために、特定の時間又はそれに近い時間において行われた注釈に対して重み付けをし、より重く重み付けされた注釈を高価値注釈として決定する高価値注釈決定ステップ、及びこの高価値注釈を表示するステップと、を有する。
様々な実施の形態において、本発明のシステム及び方法は、注釈のインデックスと高価値注釈との有用な視覚化を提供することを含む。
本発明の第１の態様は、マルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして、見る方法であって、少なくとも一つのマルチメディア又はビデオストリームを得るステップと、マルチメディア又はビデオストリームの注釈から少なくとも一つのインデックスを得るステップと、注釈をマルチメディア又はビデオストリームの一部と対応付けするステップと、注釈に対して重み付けをし、より重く重み付けされた注釈を高価値注釈として決定する高価値注釈決定ステップと、高価値注釈を表示するステップと、を有する、方法である。
本発明の第２の態様は、上記第１の態様において、少なくとも一つのマルチメディア又はビデオストリームを得るステップが、少なくとも二つのマルチメディア又はビデオストリームを得るステップを有することを特徴とする。
本発明の第３の態様は、上記第２の態様において、少なくとも二つのインデックスを併合して、注釈から得られた少なくとも一つのインデックスとして、共同インデックスを作成するステップを更に有することを特徴とする。
本発明の第４の態様は、上記第１の態様において、少なくとも一つのマルチメディア又はビデオストリームを得るステップが、オーディオビジュアル記録デバイスを用いて事象を記録するステップを有することを特徴とする。
本発明の第５の態様は、上記第１の態様において、少なくとも一つのマルチメディア又はビデオストリームを得るステップが、予め記録された事象のオーディオビジュアルストリームを得るステップを有することを特徴とする。
本発明の第６の態様は、上記第１の態様において、マルチメディア又はビデオストリームの複数の注釈から少なくとも一つのインデックスを得るステップが、少なくとも一つの記録デバイスを用いて、マルチメディア又はビデオストリームに関連する注釈を得るステップを有することを特徴とする。
本発明の第７の態様は、上記第６の態様において、少なくとも一つの記録デバイスが、ラップトップコンピュータ、ペンベースノートブックコンピュータ、パーソナルディジタルアシスタント、キータグ、及びワイヤレステレフォンの少なくとも一つを含むことを特徴とする。
本発明の第８の態様は、上記第１の態様において、マルチメディア又はビデオストリームの注釈から少なくとも一つのインデックスを得るステップと、少なくとも一つのマルチメディア又はビデオストリームを得るステップと、が同時に発生することを特徴とする。
本発明の第９の態様は、上記第１の態様において、マルチメディア又はビデオストリームの注釈から少なくとも一つのインデックスを得るステップと、少なくとも一つのマルチメディア又はビデオストリームを得るステップと、が非同期的に発生することを特徴とする。
本発明の第１０の態様は、上記第１の態様において、高価値注釈決定ステップが、注釈の各々の特定の時間への接近度に基づいて、注釈に値を付けるステップを有することを特徴とする。
本発明の第１１の態様は、上記第１の態様において、高価値注釈決定ステップが、注釈の各々のコンテンツに基づいて、注釈に値を付けるステップを有することを特徴とする。
本発明の第１２の態様は、上記第１の態様において、高価値注釈決定ステップが、注釈を行ったユーザに対して予め割り当てられている重みに基づいて、注釈に値を付けるステップを有することを特徴とする。
本発明の第１３の態様は、上記第１２の態様において、注釈に値を付けるステップが、ユーザによって付けられた注釈と少なくとも一人の他のユーザによって付けられた注釈の類似度を求めるステップを有することを特徴とする。
本発明の第１４の態様は、上記第１の態様において、高価値注釈を表示するステップが、高価値注釈を見るために使用可能なユーザインタフェースを提供するステップを有することを特徴とする。
本発明の第１５の態様は、マルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして、見るシステムであって、入力デバイスと、表示デバイスと、ビデオ又はマルチメディア及び／又は注釈インデックスの対応付け回路又はルーチンと、インデックス併合回路又はルーチンと、特定の時間又はそれに近い時間において行われた注釈を評価するために、特定の時間又はそれに近い時間において行われた注釈に対して重み付けをし、より重く重み付けされた注釈を高価値注釈として決定する高価値注釈決定回路又はルーチンと、表示回路又はルーチンと、を備える、システムである。
本発明の第１６の態様は、上記第１５の態様において、入力デバイスがメモリへ少なくとも一つのマルチメディア又はビデオストリームを提供するために使用され得ることを特徴とする。
本発明の第１７の態様は、上記第１５の態様において、入力デバイスがメモリへ注釈から少なくとも一つのインデックスを提出するために使用され得ることを特徴とする。
本発明の第１８の態様は、上記第１５の態様において、入力デバイスが、ラップトップコンピュータ、ペンベースノートブックコンピュータ、パーソナルディジタルアシスタント、キータグ、及びワイヤレステレフォンの少なくとも一つを有することを特徴とする。
本発明の第１９の態様は、上記第１５の態様において、インデックス併合回路又はルーチンが、注釈の少なくとも二つのインデックスを共同インデックスへコンパイルするために使用可能であることを特徴とする。
本発明の第２０の態様は、上記第１５の態様において、ビデオ又はマルチメディア及び／又は注釈インデックスとの対応付け回路又はルーチンが、少なくとも一つのマルチメディア又はビデオストリームに注釈の少なくとも一つのインデックスを対応付けすることを特徴とする。
本発明の第２１の態様は、上記第１５の態様において、高価値注釈決定回路又はルーチンが、注釈の各々の特定の時間への接近度に基づいて、注釈を重み付けすることを特徴とする。
本発明の第２２の態様は、上記第１５の態様において、高価値注釈決定回路又はルーチンが、注釈の各コンテンツに基づいて、注釈に重み付けすることを特徴とする。
本発明の第２３の態様は、上記第１５の態様において、高価値注釈決定回路又はルーチンが、注釈を行ったユーザに対して予め割り当てられている重みに基づいて、複数の注釈に重み付けをすることを特徴とする。
本発明の第２４の態様は、上記第１５の態様において、ユーザによって行われた注釈と、少なくとも一人の他のユーザによって行われた注釈と、の類似度を求めることによって、注釈の重み付けをすることを特徴とする。
本発明の第２５の態様は、上記第１５の態様において、表示回路又はルーチンが、表示デバイスに高価値注釈を表示するために使用可能なユーザインタフェースを作成するか又は変更することを特徴とする。
本発明の第２６の態様は、少なくとも一つのマルチメディア又はビデオストリームを得る手順と、マルチメディア又はビデオストリームの注釈から少なくとも一つのインデックスを得る手順と、注釈をマルチメディア又はビデオストリームの一部と対応付けする手順と、特定の時間又はそれに近い時間において行われた前記注釈を評価するために、前記特定の時間又はそれに近い時間において行われた注釈に対して重み付けをし、より重く重み付けされた注釈を高価値注釈として決定する高価値注釈を決定する手順と、高価値注釈を表示する手順と、を含む、マルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして、見る方法をコンピュータに実行させるためのプログラムである。
本発明の様々な特徴及び利点は、本発明の様々な実施の形態によるシステム及び方法について、以下に詳細に説明されることによって、より明確となるであろう。

図１は、本発明の一つの実施の形態によるマルチメディア又はビデオストリームの共同インデックスをフィルタリングして、見るための方法を概略的に示すフローチャートである。図１に示されるように、ステップ１００から始めて、オペレーションは、ステップ２００へ進み、マルチメディア又はビデオストリームが得られる。このマルチメディア又はビデオストリームは、任意の知られている又は今後開発される、マルチメディア又はビデオストリームを記憶又は記録する方法によって、得ることができる。

次に、ステップ３００において、ビデオストリームのユーザ注釈の一つ以上のインデックスが得られる。これらの注釈は、任意の知られている又は今後開発される、マルチメディア又はビデオストリームにブックマークしたり（しおりを挟んだり）、注釈を付けたりするための技術によって、得られる。注釈は、タイムスタンプに限定されるブックマーク、又は注釈自体がコンテンツを含むより長い注釈を含むことができる。ラップトップ、ペンベースノートブックコンピュータ、及びパーソナルディジタルアシスタント上でノートを取るための技術が開発されてきた。ミーティングにおいて関心が持たれる点にブックマークをしたり、ビデオストリームに注釈を付けたりすることによる様々な方法は、キータグからワイヤレステレフォンに至るまでの何かを用いることによって、改良されてきた。これらの注釈は、マルチメディア又はビデオストリームの流れと注釈とを相互に関連させるためにタイムスタンプされ得る。これらの注釈は、注釈が付けられる度に、記憶され得る。或いは、ユーザ注釈のインデックスは、インデックスの作成に引き続いて記憶されてもよい。リアルタイムのユーザは、限定はされないが、全て（株）富士ゼロックス製の、ＬＩＴＥＭＩＭＵＴＥＳ（ライトミニッツ）、ＮＯＴＥＬＯＯＫ（ノートルック）、ＤＹＮＯＭＩＴＥ（ダイノマイト）、又はＮＯＴＥＰＡＬＳ（ノートパルズ）を含むシステム又は方法を用いて、リアルタイムでビデオストリームに注釈を付けることができる。非同期的ユーザは、限定はされないが、マイクロソフト社（Ｍｉｃｒｏｓｏｆｔ, Ｉｎｃ．）製のＭＲＡＳを含むシステム及び方法を用いて、ビデオストリームの作成に引き続いてビデオストリームに注釈を付けることができる。
次に、ステップ４００において、ステップ３００で得られた注釈のインデックスは、注釈の共同インデックスを形成するために併合される。これらのインデックスは、インデックスと注釈自体とが相対的に評価され得るように併合される。インデックスは、これらの得られたインデックスの同時解析を可能とする、任意の知られている又は今後開発される方法を用いて、併合され得る。様々な実施の形態において、インデックスを併合することによって、併合されたインデックスを表示することを含むことができ、これによって、ユーザが、全てのユーザによって付された注釈を見て、（注釈が）利用可能な場合は、マルチメディア又はビデオストリームの対応付けされた部分をブラウズすることが可能となる。
ステップ５００において、マルチメディア又はビデオストリームの部分が、得られた注釈に対応付けされる。これらの注釈は、マルチメディア又はビデオストリームの一部と対応付けされることによって、注釈が表示される時、注釈を選択することによって、ユーザが、この注釈に対応付けされるマルチメディア又はビデオストリームの一部を見たり、そうでない場合は、この注釈に対応付けされるマルチメディア又はビデオストリームの一部を体験することが可能となる。マルチメディア又はビデオストリームの部分は、例えば、注釈が付された時間と相互に関連するように対応付けされてもよい。マルチメディア又はビデオストリームの部分は、この方法の適用に好適である、任意の継続時間であってもよいし、又は、任意のフォーマットで示されてもよい。マルチメディア又はビデオストリームの部分が、マルチメディア又はビデオストリームと注釈とを得たあとに引き続く任意の時間で、及び、高価値注釈を表示することに先立って、注釈に対応付けされてもよいことを理解されたい。
次に、ステップ６００において、高価値注釈が決定される。高価値注釈は、選択された基準に基づいた特別なユーザに役立つように決定される注釈である。どの注釈が高価値注釈であるかを決定するとき、マルチメディア又はビデオストリームの継続時間のどの辺りで注釈が付されたかに基づいてどのブックマークが役立つかを決定するために、注釈の併合されたインデックス全体又は注釈の併合されたインデックス全体の部分が見られ得る。或いは、最初のユーザに類似している特別なユーザが識別され、その特別なユーザによって生成されるブックマークの各々が、高価値を有するものとして識別され得る。
ステップ７００において、高価値注釈が表示される。高価値注釈が決定された後に、ユーザが注釈を見て高価値注釈と対応付けされたマルチメディア又はビデオストリームの部分をブラウズすることが可能となるように、これらの注釈が表示される。これらの注釈は、任意の知られている又は今後開発されるユーザインタフェースを用いて、表示されてもよい。高価値注釈を表示する様々な例示的な方法は、本発明によるシステムを説明する下記において説明されている。
次にステップ８００において、新たな注釈を得るべきかが決定される。新たな注釈を得るべきであると決定された場合、オペレーションはステップ４００へもどる。そうでない場合、オペレーションはステップ９００へ進む。ステップ９００において、任意の更なるマルチメディア又はビデオストリームを得て解析すべきかが決定される。任意の更なるマルチメディア又はビデオストリームを得て解析すべきであると決定された場合、オペレーションはステップ２００へ戻る。そうでない場合、オペレーションは、ステップ１０００へ進み、オペレーションは終了される。
様々な実施の形態において、ステップ６００において、注釈の併合されたインデックスは、マルチメディア又はビデオストリームの時間継続の任意の特別な時間ｔにおいて付された注釈の信頼度値を求めるために評価される。時間ｔで行われるブックマークの信頼度値は、

（１）




式（１）において、Ｃ（ｔ）は時間ｔで行われる注釈の信頼度の値、ｉはユーザ、ｎはｎ番目のユーザ、ｓは特別な注釈が行われた時間、ｔは評価される時間、ｗ（ｔ−ｓ）は、時間ｓで行われるブックマークに対して重み付けをするハミング関数、そして、ｍ_i（ｓ）は、時間ｓで行われる注釈の有無を示す関数である。
式（１）において、関数ｗ（ｔ）は、例えば、共通のハミング関数などのタイムウィンドウ（時間窓）に対して定義付けされる。図２は、ハミング関数を示す。ハミング関数は、ウィンドウ（ｔ）の中心より離れた注釈に対してよりも、ウィンドウ（ｔ）の中心により近い注釈に対して、より重く、重み付けをする。ハミング関数において、時間ｔにおいて、関数ｗ（ｔ−ｓ）は１に等しいが、ある時間ｔ−Δｔ及びある時点ｔ＋Δｔに向かって正負両方の方向に移動すると、関数ｗ（ｔ−ｓ）は０に近づく。しかしながら、ハミング関数は使用されなくてもよい。様々な実施の形態においては、注釈の他の特徴をより重く重み付けするような、変更されたハミング関数又は他の関数が使用されてもよい。例えば、このような変更されたハミング関数が、図３に示されている。図３に示された関数ｗ（ｔ−ｓ）において、時間ｔ後に行われた注釈が、時間ｔ前に行われた注釈より、より重く、重み付けされている。ハミング関数又は他の適切な関数に対して、様々な変更を行うことが可能であることが当業者にとって明確であることが理解されよう。
関数ｍ_i（ｓ）は、特別なユーザｉが時間ｓにおいて注釈を行ったかどうかを示す。ｉ番目のユーザが時間ｓで注釈を行った場合、関数の値は１に等しく、ｉ番目のユーザが時間ｓで注釈を行わなかった場合、関数の値は０に等しい。このように、式（１）は、任意の時間ｔで行われる注釈に対する信頼度スコアを提供して、他のユーザによって行われる注釈の全てに対する、時間ｔで行われる特別な注釈の近接度を表示する。
関数Ｃ（ｔ）は、いくつかの注釈に対して、他の注釈に対してよりも、多くの重みを付与するように変更され得る。式（２）は、ブックマークが重み付けされる特別な方法を考慮に入れて、関数を等式（１）に加算したものである。

（２）



式（２）において、Ｗ_i（ｓ）は重み付け関数である。

重み付け関数Ｗ_i（ｓ）は、任意の特別なヒューリスティックを考慮にいれることができる。例えば、様々な実施の形態において、注釈のコンテンツに基づいて注釈が重み付けされてもよい。コメントの長さや注釈の種類を評価することによって、注釈同士が互いに重み付けされてもよい。例えば、マルチメディア又はビデオストリームからの枠に描かれる赤のマークやマージンバーのような自由形式の注釈が高い価値を有する傾向がある。しかしながら、特別なユーザが同じタイプの注釈を常に使用する場合は、そのユーザにとって、この特別なタイプの注釈の値はそれに相応しい価値を示さない。例えば、ユーザが各ブックマークに対して長いコメントを書く傾向があるとき、これらのブックマークはユーザがめったに長いコメントを書かない場合よりその価値が低下する。重み付け関数Ｗ_i（ｓ）は、これらの関係を考慮に入れることができる。これらの注釈は、マルチメディア又はビデオストリームの中でのこれら注釈の使用頻度に基づいて、重み付けされ得る。
様々な実施の形態においては、例えば、本発明によるシステム又は方法において、以前に行われた反復によって生成された共同インデックスにおいて、注釈が何回レビューされたかを求めるなどの注釈の用途に基づいて、注釈は、評価され得る。ユーザが注釈に直接ジャンプする時、この注釈はより高い価値を割当てられる。注釈がクラスタされる時、このクラスタの各注釈の価値が大きくなる。このようなヒューリスティックが使用される場合、より多くのユーザが共同インデックスへアクセスし特定の注釈へジャンプするので、各注釈の価値は経時的に進化し得る。
注釈は、特別なユーザの好みによって重み付けされてもよい。或いは、注釈は、他のユーザ（複数のユーザ）の誰が注釈を行ったかに基づいて、重み付けされてもよい。例えば、特別なユーザは、この特別なユーザが信頼している一人以上の他のユーザによって作成又はアクセスされたブックマークのみを選択することができる。これらの重みは、ユーザによって手動的に割り当てられてもよい。
式（３）において、別のレベルの注釈が関数式（２）に加算される。

（３）



式（３）において、Ｓｉｍ（ｔ, ｓ）は、時間ｔで行われる注釈と時間ｓで行われる注釈との間の類似度を表す関数である。
重み付け関数Ｗ_i（ｓ）のように、比較関数Ｓｉｍ（ｔ，ｓ）は、時間ｔで行われる注釈と時間ｓで行われる注釈とを比較する際に、任意の特別なヒューリスティックを考慮することができる。例えば、注釈は、時間に応じて、比較され得る。様々な実施の形態において、任意の所望される測定基準に基づいて、注釈間の距離を計算することによって、注釈が評価されてもよい。いくつかのこのような実施の形態において、注釈の作成時間ｔと作成時間ｓが接近していればいるほど、これらの注釈間がますます類似してくる。様々な実施の形態において、時間差などの線形関数を使用する代わりに、非線型関数、例えば、時間ｔへの近接度に基づいてブックマークを異なるように重み付けする上述されたハミング関数、が用いられてもよい。

様々な実施の形態において、注釈は、テキスト上の類似度に基づいて、他の注釈と比較され得る。注釈が、マルチメディア又はビデオストリームに関してユーザが取ったノートなどのテキストを含むところでは、二つ以上の注釈間の類似度を決定するために、注釈のテキストストリング間の比較が、実行され得る。
様々な実施の形態において、注釈は、マルチメディア又はビデオストリームの一つ以上の枠に直接作成されたノートやマークを含むことができる。これらのマークは、他のユーザによって作成されるマークと比較され得る。ユーザがマルチメディア又はビデオストリームの枠の上に描画したり書き込んだりすることができるとき、枠上でその外観や位置が類似しているマークが識別され得る。
様々な実施の形態において、注釈は、これらの注釈が対応付けされる枠に相対して、比較され得る。例えば、マルチメディア又はビデオストリームの中の枠に対して行われる注釈は、これらの注釈が行われた枠の類似度に関して比較され得る。同一のクラスタに対応付けされる注釈は、異なるクラスタに対応付けされる注釈よりも類似度が高い。
様々な実施の形態において、高価値注釈は、二人のユーザのインデックスを比較することによって決定される。例えば、マルチメディア又はビデオストリームの集合に関して作成される注釈の集合に基づいたプロフィールが形成されてもよい。上記された個別の注釈の比較に関しては、二人以上のユーザの注釈のインデックス間の類似度は、時間的類似度、テキスト類似度、マーク類似度、及びビデオ特性、又は、重要と考えられる注釈の他の属性、を考慮に入れて演算されてもよい。
様々な実施の形態において、二人のユーザ間の類似度は、これらのユーザが似たようなマークを生成するときに高くなり得る。式（４）では、単一のマルチメディア又はビデオストリームの注釈に基づいて、二つのユーザ間の類似度をアセスするための関数が提供されている。第１のユーザＢ１と第２のユーザＢ２との間の類似度は、以下のようになる。

（４）



式（４）において、Ｓｉｍ（Ｂ１，Ｂ２）は第１のユーザＢ１と第２のユーザＢ２との間の類似度を表し、ｓは特別な注釈がなされた時間であり、ｔは評価される時間であり、ｗ（ｔ−ｓ）はｓで行われた注釈に対する重み付けであり、ｓｉｍ（ｔ，ｓ）は、時間ｔで行われた注釈と時間ｓで行われた注釈との類似度であり、ｂ１（ｔ）はユーザＢ１によって行われる注釈の有無を記述する関数であり、ｂ２（ｔ）はユーザＢ２によって行われる注釈の有無を記述する関数である。

様々な実施の形態において、式（４）に記述された関数は、式（２）及び式（３）に関して記述されるような一つ以上の重み付け及び／又は比較関数を加算することによって変更され得ることが理解されよう。いくつかのこのような実施の形態において、注釈の有無は、異なる含意を有する。例えば、第２のユーザがマークを付ける時に又はマークを付ける場所に、第１のユーザがマークを付けない時、これら二人のユーザ間の類似度に逆効果を与えないように関数は定義付けられ得る。逆に、ユーザ間の違いを強調することが望まれるアプリケーションにおいては、第２のユーザがマークを付ける時やマークを付ける場所に、第１のユーザがマークを付けない時、関数は、これらの二人のユーザ間の類似度に逆効果を与えるように定義付けられ得る。このような強調を発揮させる方法の一つとしては、特別な時間ｔで注釈が存在する場合は関数が１になるように、時間ｔで注釈が存在しない場合は関数が０になるように、ｂ１（ｔ）とｂ２（ｔ）を、定義付けることである。
様々な実施の形態において、ユーザの対応する注釈に直接基づいて、ユーザ間を比較するのではなく、ユーザ注釈がクラスタされた注釈のグループに基づいて、ユーザ間が比較されてもよい。
グループは、任意の知られている又は今後開発される方法によって、作成され得る。例えば、階層型アグロメラティブクラスタリングアルゴリズム（Ｈｉｅｒａｒｃｈｉｃａｌ Ａｇｇｌｏｍｅｒａｔｉｖｅ Ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ）のような従来のクラスタリングアルゴリズムを適用することによって、作成され得る。このようにグループを作成する方法は、例えば、ウィルコックス（Ｗｉｌｃｏｘ）他に与えられ、本明細書にその全体を参照することによって組み込まれる、米国特許第５，８８９，５２３号に記載されている。図４は、四人の異なるユーザによって付された注釈のインデックスを示す。これらの注釈は、クラスタアルゴリズムによって作成され得る仮説グループに組み込まれる。様々な実施の形態において、グループは、二つの最も類似した注釈を識別することによって作成される。図４に示す例においては、類似した注釈を識別するために使用される類似関数は、単に、二つの注釈を分ける時間の関数であると仮定される。しかしながら、これらの注釈が、限定はされないが、上述されたヒューリスティックを含む任意の特別なヒューリスティックのための関数を用いて、比較され得ることが理解されよう。図４において、注釈｛２１，３２｝と注釈｛３３，４２｝のペアがまず作成される。二つの最も近い注釈のグループを再帰的にみつけるために、様々な技術が用いられる。図４に示される例においては、そのような方法を用いると、以下のようなグループ分けとなる。即ち、｛２１，３２,４１｝、｛３３，４２，１３｝、及び｛１１，３１｝
図４に示される例において、注釈「３２」が、注釈「２１」と注釈「４１」とにより類似していることがわかったので、注釈「３１」は、グループ又はクラスタ｛３２，２１，４１｝に入らない。特に、そして、図４に示されるグループ分けを作成するために使用される例示的な技術においては、同一ユーザによって作成される注釈はグループ分けされない。従って、注釈「３１」は、注釈「１１」のグループに入る。予め定義付けられた閾値が注釈の二つのグループ間の類似度に達した時、グループ分けを停止する様々なアルゴリズムが用いられ得る。例えば、グループの中にある注釈の数が多いほど、そのグループの価値が高くなるというような、グループ分けに基づいて想定がなされる。次に、各ユーザは、ユーザが属するグループによって表され得る。ユーザ同士は、これらのユーザが属するグループに基づいて互いに比較され得る。

様々な実施の形態において、グループを決定し、恐らく、特別なグループの注釈をユーザへ薦めた後、各ユーザの注釈が属するグループに基づいて、ユーザ同士が比較される。個々のユーザが属するグループを識別するマトリックスが作成され得る。図４に示された例に関しては、図５は、図４のユーザ各自のグループメンバシップを示す。図６において、ユーザが属する共通のグループに基づいてユーザの類似度を説明するために、グループメンバシップに関連するデータが、再構成される。グループメンバシップに基づいたユーザの類似度は、式（５）によって与えられる。

（５）


式（５）において、
類似度（ユーザｉ，ユーザｊ）は、グループメンバシップの関数としてのユーザｉとユーザｊとの類似度であり、グループ分け（ユーザｉ，ｎ）は、ユーザｉがグループｎのメンバであるか否かを示す関数であり、この関数はこのユーザがグループｎに入るか否かによって１又は０を付与し、Ｎはユーザの数を示す。
直接、ユーザのブックマークから、又はユーザが属するブックマークのグループから、のいずれかから、ユーザ同士が比較されると、類似性のあるユーザが検出され、推薦が行われ得る。様々な実施の形態において、第１のマルチメディア又はビデオストリームに対する第１のユーザと第２のユーザとの類似度が記憶され、第１のマルチメディア又はビデオストリームに対して行われた注釈の類似度に基づいて、第２のマルチメディア又はビデオストリームに対して、注釈の推薦が行われる。

式（１）乃至（４）に記載される関数は、図示目的のためにのみ、時間の関数として、記載されていることを理解されたい。高価値注釈は、注釈の任意の定量化可能なヒューリスティックの関数として、決定されてもよいし、このような変数が、本発明によるシステム及び方法によって、特別にコンテンプレートされる。同様に、高価値注釈を決定するために、重み付け又は比較関数の任意の組合せが、使用されてもよく、複数の重み付け関数及び／又は比較関数が、式（１）乃至（４）のいずれかに加算されたり、これらの式のいずれかから、除去されたりされ得る。

図７は、上述されるように、マルチメディア又はビデオストリームの共同インデックスをフィルタリングして、ユーザが、マルチメディア又はビデオストリームの高価値部分を識別、選択、及び見ることができるように、表示デバイス１１６を介して、ユーザインタフェースを制御可能に表示するために使用される、本発明の一つの実施の形態によるフィルタリング及びビューイングシステム１００の機能ブロック図である。図７に示されるように、フィルタリング及びビューイングシステム１００は、一つ以上のデータ／コントロールバス、アプリケーションプログラミングインタフェース、その他、１４５によって相互接続される、Ｉ／Ｏ（入出力）インタフェース１１０、コントローラ１２０、メモリ１３０、インデックス併合回路又はルーチン１４０、マルチメディア又はビデオストリーム／注釈対応付け回路又はルーチン１５０、高価値注釈決定回路又はルーチン１６０、及び表示回路又はルーチン１７０を有する。一つ以上の入力デバイス１１２と一つ以上の表示デバイス１１６は、一つ以上のリンク１１４と一つ以上のリンク１１８によって、それぞれ、Ｉ／Ｏインタフェース１１０に接続される。

図７に示されるメモリ１３０は、変更できるメモリ又は変更できないメモリのいずれか又はその両方を用いて、実現され得る。メモリ１３０の変更できる部分は、様々な実施の形態において、スタティック又はダイナミックＲＡＭを用いて実現される。しかしながら、メモリ１３０の変更できる部分は、フロッピー（登録商標）ディスク及びディスクドライブ、書き込み可能光ディスク及びディスクドライブ、ハードドライブ、フラッシュメモリ等を用いて実現されてもよい。メモリ１３０の変更できない部分は、様々な実施の形態において、ＲＯＭを用いて実行される。しかしながら、変更できない部分は、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの不揮発性メモリ、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭ等の光学ＲＯＭディスク、ディスクドライブ、又は他の変更できないメモリ等を用いて実現されてもよい。

一般に、一つ以上の入力デバイス１１２は、フィルタリング及びビューイングシステム１００へコントロール及び／又はデータ信号を提供するために使用される、キーボード、キーパッド、マウス、トラックボール、トラックパッド、タッチスクリーン、マイクロフォン及び対応付けされた音声認識システムソフトウェア、ジョイスティック、ペンベースシステム、又は、任意の他の知られている又は今後開発されるシステムのうちのいずれか一つ以上を有する。一つ以上の入力デバイス１１２は、ユーザや他のシステムによって使用可能な、フィルタリング及びビューイングシステム１００へデータや他の刺激を提供する任意の手動又は自動のデバイスを更に含むことができる。例えば、一つ以上の入力デバイス１１２は、マルチメディア又はビデオストリームのノートを取ったり、これらに注釈を付けたりするために適切な、遠隔ラップトップコンピュータ、ペンベースノートブックコンピュータ又はパーソナルディジタルアシスタント等の任意の知られている又は今後開発されるデバイス又は技術を有することができる。一つ以上の入力デバイス１１２は、マルチメディア又はビデオストリームにブックマークを付けたり注釈を付けたりする、キータグ又は携帯電話等の他のデバイスを更に有することができる。

リンク１１４は、一つ以上の入力デバイス１１２をフィルタリング及びビューイングシステム１００に接続するための任意の知られている又は今後開発されるデバイス又はシステムであってよく、直接ケーブル接続、ワイドエリアネットワーク又はローカルエリアネットワークを介した接続、イントラネットを介した接続、インターネットを介した接続、又は任意の他の知られている又は今後開発される分散型プロセッシングネットワーク又はシステムを有する。一般に、リンク１１４は、一つ以上の入力デバイス１１２をフィルタリング及びビューイングシステム１００に接続するために使用可能な任意の知られている又は今後開発される接続システム又はストラクチャであってもよい。リンク１１４は、さらに、遠隔デバイスをワイヤレスに接続するために、任意の知られている又は今後開発されるデバイスを更に含むことができる。
オペレーションにおいて、ユーザは、フィルタリング及びビューイングシステム１００をオペレートし、高価値注釈を表示デバイス１１６に表示し、この高価値注釈が選択されたときに特別な高価値注釈と対応付けされたマルチメディア又はビデオストリームの部分を更に表示する。最初に、一つ以上のマルチメディア又はビデオストリームがフィルタリング及びビューイングシステム１００へ提出される。一つ以上のマルチメディア又はビデオストリームは、高価値注釈を表示するためにユーザがフィルタリング及びビューイングシステム１００をオペレートすることで得られなくてもよい。一つ以上のマルチメディア又はビデオストリームは、インスタントユーザによる使用に先立って、他のユーザによって作成されたり記録されたりしていたものであってもよい。マルチメディア又はビデオストリームは、マルチメディア又はビデオストリームの主題の発生と同時にマルチメディア又はビデオストリームを提出するために好適である一つ以上の入力デバイス１１２の一つ以上を用いて、フィルタリング及びビューイングシステム１００へ提出されてもよい。或いは、一つ以上の入力デバイス１１２は、前もって記録されたマルチメディア又はビデオストリームを、フィルタリング及びビューイングシステム１００へ、転送又は伝送するために使用可能であるデバイス（又は複数のデバイス）を含んでいてもよい。

上記に示したように、一つ以上の入力デバイス１１２の一つ以上は、フィルタリング及びビューイングシステム１００へ、注釈の一つ以上のインデックスを、提出するためにも使用される。マルチメディア又はビデオストリームを得る場合と同様に、注釈の一つ以上のインデックスは、高価値注釈を表示するためにユーザがフィルタリング及びビューイングシステム１００をオペレートすることで得られなくてもよい。注釈の一つ以上のインデックスは、インスタントユーザによる使用に先立って作成されていたものであってもよい。注釈は、限定はされないが、タイムスタンプ、特別なマルチメディア又はビデオストリーム上にノートなどのコンテンツを含む注釈、又はマルチメディア又はビデオストリームの様々な枠に直接付けられたマーク、を含むことができる。注釈の一つ以上のインデックスは、作成されるときにフィルタリング及びビューイングシステム１００へ提出されてもよいし、注釈の一つのインデックスが注釈作成に引き続いてフィルタリング及びビューイングシステム１００へ提出されてもよい。次に、マルチメディア又はビデオストリーム及び一つ以上の入力デバイスから得られる注釈の様々なインデックスが、コントローラ１２０によってメモリ１３０の中に記憶される。
次に、コントローラ１２０は、メモリ１３０に記憶された注釈の一つ以上のインデックスの一つ以上をインデックス併合回路又はルーチン１４０へ提供する。インデックス併合回路又はルーチン１４０は、コントローラ１２０の制御下で、メモリ１３０に記憶された注釈の一つ以上のインデックスを併合して、注釈の今後の解析のために共同インデックスを作成する。インデックス併合回路又はルーチン１４０によるインデックス併合オペレーションの完了後、コントローラ１２０は、併合されたインデックスをメモリ１３０に記憶する。
次に、コントローラ１２０は、メモリ１３０に記憶された注釈の併合されたインデックスから、注釈の少なくとも幾つかを、マルチメディア又はビデオストリーム及び／又は注釈対応付け回路又はルーチン１５０へ、提供する。マルチメディア又はビデオストリーム及び／又は注釈対応付け回路又はルーチン１５０は、コントローラ１２０の制御下で、メモリ１３０からリトリーブされた注釈の一つ以上に、マルチメディア又はビデオストリームの一部を、対応付けする。マルチメディア又はビデオストリーム及び／又は注釈対応付け回路又はルーチン１５０によるマルチメディア又はビデオストリーム及び／又は注釈対応付けオペレーションの完了後、コントローラ１２０は、マルチメディア又はビデオストリームの対応付けされた部分を有する注釈を、メモリ１３０に、記憶させる。マルチメディア又はビデオストリームの一部を注釈に対応付けることには、マルチメディア又はビデオストリームの一部を対応付けすること、即ち、フィルタリング及びビューイングシステム１００がユーザが注釈を選択するときにマルチメディア又はビデオストリームの一部を表示することを可能にするキューを単に対応付けすることを含む。
次に、コントローラ１２０は、注釈の少なくともいくつかに、そして、様々な実施の形態において、メモリ１３０に記憶された選択されたヒューリスティックに、アクセスして、アクセスされた注釈及び／又はヒューリスティックを、高価値注釈決定回路又はルーチン１６０へ、送る。高価値注釈決定回路又はルーチン１６０は、コントローラ１２０の制御下で、表示用の高価値注釈を選択する。高価値注釈の選択は、上記された注釈を評価する方法の一つ以上を遂行することによって実行されてもよい。高価値注釈決定回路又はルーチン１６０によって実行される高価値注釈決定オペレーションの完了後、コントローラ１２０は、高価値注釈決定回路又はルーチン１６０によって選択された高価値注釈をメモリ１３０に記憶する。
コントローラ１２０は、次に、メモリ１３０に記憶されたマルチメディア又はビデオストリームの対応付けされた部分を有する高価値注釈のうちの少なくともいくつかにアクセスし、アクセスされたデータを、表示回路又はルーチン１７０へ、送る。表示回路又はルーチン１７０は、コントローラ１２０の制御下で、マルチメディア又はビデオストリームの対応付けされた部分を有する高価値注釈を表示するためにユーザインタフェースを作成するか又は変更する。表示回路又はルーチン１７０による表示オペレーションの完了後、コントローラ１２０は、表示回路又はルーチン１７０によって生成されたユーザインタフェースを、メモリ１３０に、記憶する。
コントローラ１２０は、次に、メモリ１３０から、表示回路又はルーチン１７０によって生成又は変更されたユーザインタフェースにアクセスし、ユーザインタフェースを、表示デバイス１１６に、表示する。表示デバイス１１６に表示されたユーザインタフェースの中の高価値注釈から一つをユーザが選択するとき、コントローラ１２０は、マルチメディア又はビデオストリームの対応付けされた部分を提供して、表示デバイス１１６に表示する。ユーザは、引き続いて、新しい注釈を提供したり、解析用に新しいマルチメディア又はビデオストリームを識別したり、一つ以上の新しいヒューリスティックを選択したりして、フィルタリング及びビューイングシステム１００のオペレーションを反復してもよい。
図８は、本発明の第１の実施の形態によるマルチメディア又はビデオストリームの注釈の共同インデックスを見るために使用可能なユーザインタフェース２００を示す。ユーザインタフェース２００は、注釈アイコン２２０が表示される一つ以上の注釈表示ボックス２１５を有する。各注釈表示ボックス２１５は、これらの注釈を作成したユーザを識別するユーザ識別タグ２５０を有する。ユーザインタフェース２００は、注釈が作成された時間及び各注釈を作成したユーザのアイデンティティを表示する、タイムスタンプテキストボックス２５５も有する。
オペレーションにおいて、ユーザは、ユーザインタフェース２００上の注釈アイコン２２０をポイントして、注釈アイコン２２０を選択することによって、注釈表示ボックス２１５に表示された、注釈アイコン２２０を選択する。
レスポンスにおいて、データは、タイムスタンプテキストボックス２５５及び注釈テキストボックス２６０に表示される。タイムスタンプテキストボックス２５５及び注釈テキストボックス２６０に表示されたデータは、選択された注釈アイコン２２０に対応付けされた注釈のタイムスタンプシグネチャである。様々な実施の形態において、注釈アイコン２２０を選択することによって、選択された注釈に対応付けされたマルチメディア又はビデオストリームの一部が表示される。表示は、任意の知られている又は今後開発されるメディアプレーヤを用いて、遂行され得る。

図９は、本発明の第２の実施の形態による、マルチメディア又はビデオストリームの高価値注釈の共同インデックスを見るために使用可能なユーザインタフェース３００を示す。ユーザインタフェース３００は、注釈アイコン３２０が表示される注釈表示ボックス３１５を有する。各注釈アイコン３２０は、そのユーザに応じて、注釈アイコン３２０のカラーや形状などの表示の特徴を変更することによって、注釈を作成したユーザを識別する。ユーザインタフェース３００は、ビデオ表示ボックス３１０も有する。ビデオ表示ボックス３１０には、ＶＣＲボタン３５５、状態ボックス３６３、及び時相インジケータボックス３６５が対応付けされている。時相インジケータボックス３６５は、時相スライダバー３６７を有する。ユーザインタフェース３００は、閾値セレクタボックス３３５の中に位置する閾値スライダバー３４０も有する。ユーザインタフェース３００は、注釈スキャニングボタン３０３及び３０７と、特徴リストドロップボックス３７５と、を更に有する。

オペレーションにおいて、ユーザは、ユーザが見たいとする、注釈の信頼度のレベルを選択するために、閾値スライダバー３４０を使用する。レスポンスにおいて、閾値信頼度値に整合する注釈に対しての注釈アイコン３２０が、注釈表示ボックス３１５に表示される。ユーザは、所望のアイコンを選択することによって、表示された注釈アイコン３２０のいずれかを選択することができる。これによって、そのアイコンに対応付けされるマルチメディア又はビデオストリームの一部が、ビデオ表示ボックス３１０に表示される。ユーザは、特別な注釈に対応付けされたマルチメディア又はビデオストリームが見られる方法を、特徴リストドロップボックス３７５から特徴を選択することによって、選択することができる。これらの特徴には、マルチメディア又はビデオストリーム或いはマルチメディア又はビデオストリームの部分を示す任意の知られている又は今後開発される方法が含まれる。ユーザは、表示された注釈アイコン３２０の各々に対応付けされたマルチメディア又はビデオストリームの部分を介して、キューするために、注釈スキャニングボタン３０３及び３０７をオペレートすることができる。
マルチメディア又はビデオストリームに対して行われた注釈を強調するように、マルチメディア又はビデオストリームを見ることに加えて、ユーザインタフェース３００は、ユーザが、従来、マルチメディア又はビデオストリームを見てきたであろうが如くに、マルチメディア又はビデオストリームを見ることを可能とする特徴を有する。このような特徴は、ＶＣＲボタン３５５、状態ボックス３６３、及び時相インジケータボックス３６５を有する。ＶＣＲボタン３５５は、ユーザがＶＩＲ（即ち、再生、停止、休止等）をオペレートするようなオペレーションを可能とする。状態ボックス３６３は、マルチメディア又はビデオストリームの現在状態（即ち、再生中又は休止中など）を識別する。時相インジケータボックス３６５は、現在、ビデオ表示ボックス３１０の中にある、マルチメディア又はビデオストリームの開始点及び終了点に相対して、マルチメディア又はビデオストリームの一部の視覚的な識別を提供する。ユーザは、時相インジケータボックス３６５内のロケーションに、時相スライダバー３６７を置くことができ、このロケーションに対応付けされたマルチメディア又はビデオストリームの部分がビデオ表示ボックス３１０に現れる。
図１０は、本発明の第３の実施の形態によるマルチメディア又はビデオストリームの注釈の共同インデックスを見るために使用可能なユーザインタフェース４００を示す。ユーザインタフェース４００は、注釈アイコン４２０が表示される一つ以上の注釈表示ボックス４１５を有する。各注釈表示ボックス４１５は、対応する注釈を作成したユーザを識別するユーザ識別タグ４５０を有する。ユーザインタフェース４００は、ビデオ表示ボックス４１０とグルーピングブラウザ４７５も有する。ユーザインタフェース４００は、注釈チェックボックス４６５、注釈テキストボックス４６０、及びユーザリストドロップボックス４７０を更に有する。注釈チェックボックス４６５は、グルーピングブラウザ４７５によってハイライト（強調）された注釈表示ボックス４１５の部分に注釈が付けられたかを表示する。ユーザリストドロップボックス４７０は、グルーピングブラウザ４７５によってハイライトされた注釈表示ボックス４１５の部分に注釈を行ったユーザ又は複数のユーザのアイデンティティを表示して、ユーザインタフェース４００のユーザが、これらのユーザ間で選択するのを可能とする。注釈テキストボックス４６０は、あるとすれば、ユーザリストドロップボックス４７０において識別されるユーザによって行われる一つ以上の注釈に対応付けされるテキストも有する。

オペレーションにおいて、ユーザは、グルーピングブラウザ４７５を、関心がもたれる注釈表示ボックス４１５の一部に対応付けする。レスポンスにおいて、注釈表示ボックス４１５の選択された部分に現れる注釈アイコン４２０に対応付けされるマルチメディア又はビデオストリームの一部がビデオ表示ボックス４１０に表示される。また、レスポンスにおいて、注釈アイコン４２０が注釈表示ボックス４１５の選択された部分に現れた場合、注釈チェックボックス４６５がハイライトされる。さらに、レスポンスにおいて、対応付けされたテキストを有する注釈アイコン４２０が注釈表示ボックス４１５の選択された部分に現れた場合、及びユーザドロップボックス４７０において識別されたユーザがこのようなテキスト注釈を行った場合、注釈アイコン４２０に対応付けされるテキストが、注釈テキストボックス４６０に表示される。

図１１は、本発明の第４の実施の形態による、マルチメディア又はビデオストリームの注釈の共同インデックスを見るために使用可能なユーザインタフェース５００を示す。ユーザインタフェース５００は、注釈アイコン５２０が表示される一つ以上の注釈表示ボックス５１５を有する。ユーザインタフェース５００は、信頼度表示ボックス５８５も有する。信頼度表示ボックス５８５においては、信頼度アイコン５９０が表示され、マルチメディア又はビデオストリームにおける任意の所与の瞬間に作成される注釈の信頼度スコアの視覚的表示が提供される。ユーザインタフェース５００は、ビデオ表示ボックス５１０及びグルーピングブラウザ５８０を有する。ユーザインタフェース５００は、注釈チェックボックス５６５、注釈テキストボックス５６０、及びユーザリストドロップボックス５７０を更に有する。注釈チェックボックス５６５は、注釈がグルーピングブラウザ５８０によってハイライトされた注釈表示ボックス５１５の部分に注釈が付けられたかを示す。ユーザリストドロップボックス５７０は、グルーピングブラウザ５８０によってハイライトされた注釈表示ボックス５１５の部分に注釈を行ったユーザ又は複数のユーザのアイデンティティを表示して、ユーザインタフェース５００のユーザが、これらのユーザ間で選択することを可能とする。注釈テキストボックス５６０は、あるとすれば、ユーザリストドロップボックス５７０において識別されたユーザによって行われた、一つ以上の注釈に対応付けされたテキストも有する。
オペレーションにおいて、ユーザは、グルーピングブラウザ５８０を、関心の持たれる注釈表示ボックス５１０の一部と対応付けする。レスポンスにおいて、注釈表示ボックス５１５の選択された部分内に現れる注釈アイコン５２０に対応付けされた、マルチメディア又はビデオストリームの一部が、ビデオ表示ボックス５１０に表示される。また、レスポンスにおいて、注釈アイコン５２０が注釈表示ボックス５１５の選択された部分に現れる場合に、注釈チェックボックス５６５はハイライトされる。更に、レスポンスにおいて、対応付けされたテキストを有する注釈アイコン５２０が注釈表示ボックス５１５の選択された部分に現れる場合、及びユーザリストドロップボックス５７０において識別されたユーザが、このようなテキスト注釈を作成した場合、注釈アイコンに対応付けされたテキストは、注釈テキストボックス５６０に表示される。

図１２、図１３、及び図１４は、本発明の第５の実施の形態による、マルチメディア又はビデオストリームの高価値注釈の共同インデックスを見るために使用可能なユーザインタフェース６００を示す。 ユーザインタフェース６００は、信頼度表示ボックス６８５を有しており、信頼度表示ボックス６８５において、信頼度アイコン６９０が表示されて、マルチメディア又はビデオストリームにおける任意の所与の瞬間に作成された注釈の信頼度スコアの視覚的な表示を提供する。信頼度表示ボックス６８５は、注釈を作成したユーザの人数又はアイデンティティを識別するユーザサマリータグ６０５を有する。ユーザインタフェース６００は、ビデオ表示ボックス６１０も有する。図１３に示されているように、ユーザインタフェース６００は、複数の表示ボックス６３０を有するマルチ注釈表示ボックス６２５も有する。図１４は、マルチ注釈表示ボックス６２５内の特別な表示ボックス６３０が選択された時を示すハイライトインジケータ６３５を図示する。
オペレーションにおいて、ユーザは、信頼度表示ボックス６８５内の特別な位置を選択する。信頼度表示ボックス６８５内の各ロケーションは、マルチメディア又はビデオストリームにおける特別な瞬間を表す。ユーザの選択の結果として、ユーザによって選択された瞬間に対応付けされたマルチメディア又はビデオストリームの一部が、ビデオ表示ボックス６１０に表示される。一人以上のユーザが、選択された瞬間の所定時間内に任意の注釈を行った場合、マルチ注釈表示ボックスが開き、これらの注釈に対応付けされたマルチメディア又はビデオストリームの部分が、マルチ注釈表示ボックス６２５の一つ以上の表示ボックス６３０に表示される。次に、ユーザは、マルチ注釈表示ボックス６２５内の表示ボックス６３０の一つを選択することができる。これによって、選択された表示ボックス６３０は、ハイライトインジケータ６３５によってハイライトされる。様々な実施の形態において、表示ボックス６３０をハイライトすることによって、結果的に、マルチメディア又はビデオストリームの対応付けされた部分がビデオ表示ボックス６１０に表示される。様々な他の実施の形態において、表示ボックス６３０をハイライトすることによって、結果的に、対応付けされたデバイス又はプログラムによってマルチメディア又はビデオストリームの対応付けされた部分が表示される。
以上の説明によって、各グラフィカルユーザインタフェース「スクリーン」がＨＴＭＬ、ＸＭＬ、又は任意の他の知られている又は今後開発されるウェブページ著作言語で書き込まれた識別ウェブページであるところの、スタンダードウィンドウグラフィカルユーザインタフェース及びウェブベース実現を用いたグラフィカルユーザインタフェースに一般的に等価に向けられていることを理解されたい。これによって、様々な実施の形態において、以上の説明の選択可能なアイコンは、関連するウェブページ又は現在のウェブページの個別（ｄｉｓｔｉｎｃｔ）領域へのハイパーリンクとして、実現される。しかしながら、上述されたグラフィカルユーザインタフェーススクリーン及び／又はグラフィカルユーザインタフェースエレメントを実現するために、任意の知られている又は今後開発されるグラフィカルユーザインタフェース実現技術が使用されてもよいことが理解されよう。
従って、本発明によるグラフィカルユーザインタフェースは、ウェブベースシステムとしてよりも、寧ろ、ウィンドウ（Ｗｉｎｄｏｗｓ（登録商標））ベースシステムとして実現され得ることも理解されよう。この場合、グラフィカルユーザインタフェーススクリーンは、特別な選択可能なアイコン又は他のインタラクティブなエレメント又はウィジェット（ｗｉｄｇｅｔｓ）と対応付けされる特定なＷｉｎｄｏｗｓ（登録商標）事象によってアクセスされる、グラフィカルユーザインタフェースの個別部分である。これによって、これらのグラフィカルユーザインタフェーススクリーンの選択可能なアイコン及び他のインタラクティブなエレメントは、Ｗｉｎｄｏｗｓ（登録商標）ウィジェットその他として実現され得る。本発明によるグラフィカルユーザインタフェース及びスクリーンについての以上の説明において、選択可能なアイコン又は他のインタラクティブなエレメントを選択することは、例えば、ドロップダウンリストボックス、ダイアログボックス、選択ボタン等を使うことによって、新しいスクリーンを生成したり、ユーザがデータを入力することを可能とする、グラフィカルユーザインタフェースの任意の特徴を起動させることが含み得ることが更に理解されよう。グラフィカルユーザインタフェースの特徴を選択するために使用可能なオンスクリーン・インジケータは、例えば、マウス、タッチパッド、タッチスクリーン、ライトペン、ジョイスティック、トラックボール又は任意の他の知られている又は今後開発されるオンスクリーン位置入力デバイスと共に使用される、マウスポインタ、カーソル、或いは、任意の他の知られている又は今後開発されるオンスクリーンインジケータであってもよい。

図７に示されるフィルタリング及びビューイングシステム１００は、表示デバイス１１６のオペレーションをコントロールするために使用されるプログラミングされた汎用コンピュータの部分として実現されてもよいことが理解されよう。或いは、フィルタリング及びビューイングシステム１００は、ＡＳＩＣ、ディジタル信号プロセッサ（ＤＳＰ）、ＦＰＧＡ、ＰＬＤ、ＰＬＡ、又は、ＰＡＬを用いて、或いは、個別論理素子又は個別回路素子などの物理的な個別ハードウェア回路を用いて、実現され得る。図７に示される、コントローラ１２０がとり得る特別な形態は、設計上の選択であり、当業者にとって明確であり予測可能なものである。或いは、フィルタリング及びビューイングシステム１００は、演算デバイスの全体的なコントロールシステムを形成するために使用可能なソフトウェアプログラムの一部として実現されてもよい。この場合、コントローラ１２０と種々の回路又はルーチン１４０乃至１７０の各々は、ソフトウェアルーチン、オブジェクト及び／又はアプリケーションプログラミングインタフェース、その他として実現され得る。

本発明は、上記の特定の実施の形態に関して、説明されてきたが、多くの代替、組合せ、変更、及び変形が可能であることは当業者に明らかである。従って、以上に説明された本発明の好ましい実施の形態は、図示目的のみのために行われたものであり、これらに限定されるものではない。本発明の精神及び範囲を逸脱しない限りにおいて、種々の変更が可能である。

本発明の様々な実施の形態は、同様の参照番号が同様のエレメントを示す以下の図面によってより詳細に説明される。

本発明によるマルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングするとともに見るための方法の一つの実施の形態を概略的に示したフローチャートである。 一般的なハミング関数を示すグラフである。 変更されたハミング関数を示すグラフである。 単一ビデオストリームの四人のユーザによって付けられた注釈をグラフィカル・レンダリングで示した図である。 図４の仮想ユーザに割当てられ得るグルーピングをグラフィカル・レンダリングで示した図である。 図４の仮想ユーザのグループメンバシップを他のグラフィカル・レンダリングで示した図である。 本発明によるマルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングするとともに見るためのシステムの一つの実施の形態を示す機能ブロック図である。 マルチメディア又はビデオストリームの注釈の共同インデックスを見るために使用可能な本発明の第１の実施の形態によるユーザインタフェースを示す図である。 マルチメディア又はビデオストリームの注釈の共同インデックスを見るために使用可能な本発明の第２の実施の形態によるユーザインタフェースを示す図である。 ビデオストリームの高価値注釈の共同インデックスを見るために使用可能な本発明の第３の実施の形態によるユーザインタフェースを示す図である。 マルチメディア又はビデオストリームの高価値注釈の共同インデックスを見る、本発明の第４の実施の形態によるユーザインタフェースを示す図である。 マルチメディア又はビデオストリームの高価値注釈の共同インデックスを見る、本発明の第５の実施の形態によるユーザインタフェースを示す図である。 マルチメディア又はビデオストリームの高価値注釈の共同インデックスを見る、本発明の第５の実施の形態によるユーザインタフェースを示す図である。 マルチメディア又はビデオストリームの高価値注釈の共同インデックスを見る、本発明の第５の実施の形態によるユーザインタフェースを示す図である。

Claims (26)

1. マルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして、見る方法であって、
   少なくとも一つのマルチメディア又はビデオストリームを得るステップと、
   前記マルチメディア又はビデオストリームの注釈から少なくとも一つのインデックスを得るステップと、
   前記注釈を前記マルチメディア又はビデオストリームの一部と対応付けするステップと、
   特定の時間又はそれに近い時間において行われた前記注釈を評価するために、特定の時間又はそれに近い時間において行われた前記注釈に対して重み付けをし、より重く重み付けされた注釈を高価値注釈として決定する高価値注釈決定ステップと、
   前記高価値注釈を表示するステップと、
   を有する、方法。
2. 前記少なくとも一つのマルチメディア又はビデオストリームを得るステップが、少なくとも二つのマルチメディア又はビデオストリームを得るステップを有する、請求項１に記載の方法。
3. 前記少なくとも二つのインデックスを併合して、注釈から得られた前記少なくとも一つのインデックスとして、共同インデックスを作成するステップを更に有する、請求項２に記載の方法。
4. 前記少なくとも一つのマルチメディア又はビデオストリームを得るステップが、オーディオビジュアル記録デバイスを用いて事象を記録するステップを有する、請求項１に記載の方法。
5. 前記少なくとも一つのマルチメディア又はビデオストリームを得るステップが、予め記録された事象のオーディオビジュアルストリームを得るステップを有する、請求項１に記載の方法。
6. 前記マルチメディア又はビデオストリームの複数の注釈から前記少なくとも一つのインデックスを得るステップが、少なくとも一つの記録デバイスを用いて、マルチメディア又はビデオストリームに関連する注釈を得るステップを有する、請求項１に記載の方法。
7. 前記少なくとも一つの記録デバイスが、ラップトップコンピュータ、ペンベースノートブックコンピュータ、パーソナルディジタルアシスタント、キータグ、及びワイヤレステレフォンの少なくとも一つを含む、請求項６に記載の方法。
8. 前記マルチメディア又はビデオストリームの注釈から前記少なくとも一つのインデックスを得るステップと、前記少なくとも一つのマルチメディア又はビデオストリームを得るステップと、が同時に発生する、請求項１に記載の方法。
9. 前記マルチメディア又はビデオストリームの注釈から前記少なくとも一つのインデックスを得るステップと、前記少なくとも一つのマルチメディア又はビデオストリームを得るステップと、が非同期的に発生する、請求項１に記載の方法。
10. 前記高価値注釈決定ステップが、前記注釈の各々の前記特定の時間への接近度に基づいて、前記注釈に値を付けるステップを有する、請求項１に記載の方法。
11. 前記高価値注釈決定ステップが、前記注釈の各々のコンテンツに基づいて、前記注釈に値を付けるステップを有する、請求項１に記載の方法。
12. 前記高価値注釈決定ステップが、前記注釈を行ったユーザに対して予め割り当てられている重みに基づいて、前記注釈に値を付けるステップを有する、請求項１に記載の方法。
13. 前記注釈に値を付けるステップが、前記ユーザによって付けられた注釈と少なくとも一人の他のユーザによってつけられた注釈の類似度を求めるステップを有する、請求項１２に記載の方法。
14. 前記高価値注釈を表示するステップが、前記高価値注釈を見るために使用可能なユーザインタフェースを提供するステップを有する、請求項１に記載の方法。
15. マルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして、見るシステムであって、
    入力デバイスと、
    表示デバイスと、
    ビデオ又はマルチメディア及び／又は注釈インデックスの対応付け回路又はルーチンと、
    インデックス併合回路又はルーチンと、
    特定の時間又はそれに近い時間において行われた前記注釈を評価するために、前記特定の時間又はそれに近い時間において行われた前記注釈に対して重み付けをし、より重く重み付けされた注釈を高価値注釈として決定する高価値注釈決定回路又はルーチンと、
    表示回路又はルーチンと、
    を備える、
    システム。
16. 前記入力デバイスがメモリへ少なくとも一つのマルチメディア又はビデオストリームを提供するために使用され得る、請求項１５に記載のシステム。
17. 前記入力デバイスがメモリへ注釈から少なくとも一つのインデックスを提出するために使用され得る、請求項１５に記載のシステム。
18. 前記入力デバイスが、ラップトップコンピュータ、ペンベースノートブックコンピュータ、パーソナルディジタルアシスタント、キータグ、及びワイヤレステレフォンの少なくとも一つを有する、請求項１５に記載のシステム。
19. 前記インデックス併合回路又はルーチンが、注釈の少なくとも二つのインデックスを共同インデックスへコンパイルするために使用可能である、請求項１５に記載のシステム。
20. 前記ビデオ又はマルチメディア及び／又は注釈インデックスとの対応付け回路又はルーチンが、少なくとも一つのマルチメディア又はビデオストリームに注釈の少なくとも一つのインデックスを対応付けする、請求項１５に記載のシステム。
21. 前記高価値注釈決定回路又はルーチンが、前記注釈の各々の特定の時間への接近度に基づいて、前記注釈を重み付けする、請求項１５に記載のシステム。
22. 前記高価値注釈決定回路又はルーチンが、前記注釈の各コンテンツに基づいて、前記注釈に重み付けする、請求項１５に記載のシステム。
23. 前記高価値注釈決定回路又はルーチンが、前記注釈を行ったユーザに対して予め割り当てられている重みに基づいて、前記複数の注釈に重み付けをする、請求項１５に記載のシステム。
24. 前記ユーザによって行われた注釈と、少なくとも一人の他のユーザによって行われた注釈と、の類似度を求めることによって、前記注釈の重み付けをする、請求項１５に記載のシステム。
25. 前記表示回路又はルーチンが、前記表示デバイスに前記高価値注釈を表示するために使用可能なユーザインタフェースを作成するか又は変更する、請求項１５に記載のシステム。
26. 少なくとも一つのマルチメディア又はビデオストリームを得る手順と、
    前記マルチメディア又はビデオストリームの注釈から少なくとも一つのインデックスを得る手順と、
    前記注釈を前記マルチメディア又はビデオストリームの一部と対応付けする手順と、
    特定の時間又はそれに近い時間において行われた前記注釈を評価するために、前記特定の時間又はそれに近い時間において行われた前記注釈に対して重み付けをし、より重く重み付けされた注釈を高価値注釈として決定する高価値注釈を決定する手順と、
    前記高価値注釈を表示する手順と、
    を含む、
    マルチメディア又はビデオストリームの注釈の共同インデックスをフィルタリングして、見る方法をコンピュータに実行させるためのプログラム。