JP4446728B2 - 複数のマルチメディア文書に格納された情報の表示法 - Google Patents

複数のマルチメディア文書に格納された情報の表示法 Download PDF

Info

Publication number
JP4446728B2
JP4446728B2 JP2003420231A JP2003420231A JP4446728B2 JP 4446728 B2 JP4446728 B2 JP 4446728B2 JP 2003420231 A JP2003420231 A JP 2003420231A JP 2003420231 A JP2003420231 A JP 2003420231A JP 4446728 B2 JP4446728 B2 JP 4446728B2
Authority
JP
Japan
Prior art keywords
information
display area
displayed
range
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003420231A
Other languages
English (en)
Other versions
JP2004199696A5 (ja
JP2004199696A (ja
Inventor
グラハム ジャメイ
ジェー ハル ジョナサン
ウォルフ グレッグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/465,022 external-priority patent/US8635531B2/en
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2004199696A publication Critical patent/JP2004199696A/ja
Publication of JP2004199696A5 publication Critical patent/JP2004199696A5/ja
Application granted granted Critical
Publication of JP4446728B2 publication Critical patent/JP4446728B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報を表示するユーザ・インターフェースに係り、特に、１以上のマルチメディア文書（ｍｕｌｔｉｍｅｄｉａ ｄｏｃｕｍｅｎｔ）に記憶されているマルチメディア情報を検索し、表示するユーザ・インターフェースに関する。
コンピュータ技術の急速な進歩により、益々多くの情報量が電子（又はディジタル）文書の形で記憶されている。このような電子文書とは、例えば、マルチメディア情報を記憶したマルチメディア文書である。「マルチメディア情報」という単語は、一体化された複数の異なる種類の情報から構成された情報を指すのに用いられる。このマルチメディア情報に含まれる異なる種類の情報とは、例えば、テキスト情報、グラフィック情報、アニメーション情報、サウンド（オーディオ）情報、ビデオ情報、スライド情報、ホワイトボード情報、及び、他の種類の情報、の組み合わせである。また、マルチメディア情報は、異なる種類の情報を含んだ１以上のオブジェクトから構成された情報を指すのにも用いられる。例えば、マルチメディア情報に含まれるマルチメディア・オブジェクトは、テキスト情報、グラフィック情報、アニメーション情報、サウンド（オーディオ）情報、ビデオ情報、スライド情報、ホワイトボード情報、及び、他の種類の情報、を含む。マルチメディア文書は、マルチメディア文書は、ビデオ、オーディオ、クローズド・キャプション（字幕）・テキスト、キーフレーム、プレゼンテーション・スライド、ホワイトボード取込情報、及び、他のマルチメディア・タイプのオブジェクト、から構成された複合オブジェクトであると考え得る。マルチメディア文書の例は、例えば、双方向ウェブ・ページ、テレビ放送、ビデオ、プレゼンテーション、などを記憶した文書である。
従来入手可能な複数のツール及びアプリケーションにより、ユーザは、マルチメディア文書に記憶されたマルチメディア情報を再生、記憶、インデックス作成、編集、又は、操作することができる。このようなツール及び／又はアプリケーションの例は、例えば、メーカ独自の又はカスタマイズされたマルチメディア・プレイヤ（例えば、ＲｅａｌＮｅｔｗｏｒｋｓ社のＲｅａｌＰｌａｙｅｒ（登録商標）や、Ｍｉｃｒｏｓｏｆｔ社のＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｐｌａｙｅｒ、Ａｐｐｌｅ社のＱｕｉｃｋＴｉｍｅ（登録商標）、Ｓｈｏｃｋｗａｖｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ、など）、ビデオ・プレイヤ、テレビ、パーソナル・ディジタル・アシスタント（ＰＤＡ）、などである。例えば、カリフォルニア州サンマテオのＶｉｒａｇｅ社（ｗｗｗ．ｖｉｒａｇｅ．ｃｏｍ）は、ビデオ・コンテンツを視聴・操作するツールや、ビデオ・データベースを作成するツールなどの様々なツールを供給している。また、Ｖｉｒａｇｅ社は、顔検出ツール及びビデオ情報からのオンスクリーン・テキスト認識ツールも供給している。
膨大な数の電子文書を考えると、電子文書の読者は、益々、膨大な量の情報を短時間で理解することを求められている。彼らに置かれている要求を満たすために、読者は、電子文書を「垂直に」ではなく、「水平に」読まなければならないことが、すなわち、彼らは、１つの文書を先頭から終わりまで読んで分析する代わりに、１以上の電子文書の関心ある部分を走査し、拾い読みし、ザッと目を通すことが、必要であると分かっている。ユーザがテキスト／画像情報を含む電子文書を「水平に」読む又はザッと目を通すことを可能にするツール（例えば、特許文献１に記載された読書ツール）は存在するが、従来のツールは、オーディオ情報、ビデオ情報、及び、他の種類の情報を含み得るマルチメディア文書を「水平に」読む又はザッと目を通すのに用いることができない。上記特許文献に記載されたマルチメディア・ツールにより、ユーザは、マルチメディア文書を「水平に」読む又はザッと目を通すことはできない。
米国非仮特許出願第０８／９９５，６１６号明細書
上記の点から、ユーザにマルチメディア文書を「水平に」ザッと目を通す又は読むことを可能にする手法に対する必要性が存在する。ユーザにマルチメディア文書に記憶されたマルチメディア情報の視聴、分析、及び、検索を可能にする手法が望ましい。
本発明の実施形態は、１以上の種類の情報を含み得る格納された情報の表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を表示するグラフィカル・ユーザ・インターフェース（ＧＵＩ）を提供する。この表示される表現は、上記１以上の種類の情報の表現を含み得る。このＧＵＩにより、ユーザは、この格納された情報をナビゲートし及びザッと目を通し、そのコンテンツを分析することができる。この格納された情報は、同じタイムラインに沿って取り込まれた情報を含んでもよく、異なるタイムラインに沿って取り込まれた情報を含んでもよい。
本発明の一実施形態によれば、第一の格納された情報の第一の表現が表示される。第一の格納された情報は、第一の種類の情報と、第二の種類の情報とを有する。第一の表現は、第一の格納された情報に含まれる第一の種類の情報の表現と、第一の格納された情報に含まれる第二の種類の情報の表現とを含む。第一の表現の１以上の部分が強調（ｈｉｇｈｌｉｇｈｔ）される。この強調された第一の表現の１以上の部分は、第一の表現のうち第一の基準を含む部分に対応する。
本発明の別の実施形態によれば、第一の格納された情報の第一の表現の表示に加えて、第二の格納された情報の第二の表現が表示される。第二の格納された情報は、第一の種類の情報と、第二の種類の情報とを有する。第二の表現は、第二の格納された情報に含まれる第一の種類の情報の表現と、第二の格納された情報に含まれる第二の種類の情報の表現とを含む。第二の表現の１以上の部分が強調される。この強調された第二の表現の１以上の部分は、第二の表現のうち第一の基準を含む部分に対応する。
本発明の別の実施形態によれば、マルチメディア情報を表示する手法が提供される。第一の記録された情報に含まれる第一の種類の情報の表現を含む第一のサムネール（ｔｈｕｍｂｎａｉｌ）が表示される。第一の記録された情報に含まれる第二の種類の情報の表現を含む第二のサムネールが表示される。第二の記録された情報に含まれる第一の種類の情報の表現を含む第三のサムネールが表示される。第二の記録された情報に含まれる第二の種類の情報の表現を含む第四のサムネールが表示される。一実施形態によれば、第一及び第三のサムネールのうち（又は、第二及び第四のサムネールのうち）単語群の中の少なくとも一単語（又は、関心ある話題）を含む１以上の部分が強調される。
本発明の更に別の実施形態によれば、オーディオ情報及びビデオ情報を含む第一の記録された情報とオーディオ情報及びビデオ情報を含む第二の記録された情報とに含まれる情報を表示する手法が提供される。第一の記録された情報に含まれる情報の第一の表現が表示される。第一の表現は、第一のサムネールと第二のサムネールとを有する。第一のサムネールは、第一の記録された情報に含まれるオーディオ情報から得られたテキスト情報を含み、第二のサムネールは、第一の記録された情報に含まれるビデオ情報から抽出された１以上のキーフレームを含む。第二の記録された情報に含まれる情報の第二の表現が表示される。第二の表現は、第三のサムネールと第四のサムネールとを有する。第三のサムネールは、第二の記録された情報に含まれるオーディオ情報から得られたテキスト情報を含み、第四のサムネールは、第二の記録された情報に含まれるビデオ情報から抽出された１以上のキーフレームを含む。一実施形態によれば、第一の表現及び第二の表現のうちユーザ基準を含む１以上の部分が強調される。ここで、第一の表現の強調される部分は第一のサムネール及び第二のサムネールの一部を覆い、第二の表現の強調される部分は第三のサムネール及び第四のサムネールの一部を覆う。
本発明の別の実施形態によれば、情報を表示する手法が提供される。格納された情報の表現が表示される。格納された情報のうち出力済の１以上の部分を表す情報が受信される。格納された情報の表現のうち、格納された情報の出力済の１以上の部分に対応する１以上の部分が強調される。
本発明の一実施形態によれば、情報を表示する手法が提供される。格納された情報の表現が表示される。格納された情報のうちいまだ出力されていない１以上の部分を表す情報が受信される。格納された情報の表現のうち、格納された情報のいまだ出力されていない１以上の部分に対応する１以上の部分が強調される。
本発明の上記及び他の特徴、実施形態、及び利点は、以下の明細書、請求項、及び添付図面を参照することによって、より明らかとなる。
本発明の実施形態は、マルチメディア情報を検索・表示する手法を提供する。本発明の一実施形態によれば、マルチメディア文書に格納され得るマルチメディア情報を表示するグラフィカル・ユーザ・インターフェース（ＧＵＩ）が提供される。本発明の手法によれば、このＧＵＩにより、ユーザは、マルチメディア文書に格納されたマルチメディア情報を検索することができる。このＧＵＩは、マルチメディア文書のコンテンツの一部に着目した表示及び全体の文脈を見せる表示の両方を提供する。このように、このＧＵＩによって、ユーザは、マルチメディア文書を「水平に」読む又はザッと目を通すことが可能となる。
上述のように、「マルチメディア情報」という単語は、複数の異なる種類の情報を含む情報を指すものとする。このマルチメディア情報に含まれる異なる種類の情報とは、例えば、テキスト情報、グラフィック情報、アニメーション情報、音（オーディオ）情報、ビデオ情報、スライド情報、ホワイトボード画像情報、及び、他の種類の情報、の組み合わせなどである。例えば、テレビ放送のビデオ録画は、ビデオ情報及びオーディオ情報を含み得る。特定の瞬間には、ビデオ録画は、ビデオ情報に関連したマテリアル（多くの場合、そのビデオ録画のオーディオ部分に含まれるスピーチをそのまま表したクローズド・キャプション（ＣＣ）テキスト情報）も含み得る。マルチメディア情報は、異なる種類の情報を含んだ１以上のオブジェクトを含む情報を指すのにも用いられる。例えば、マルチメディア情報に含まれるマルチメディア・オブジェクトは、テキスト情報、グラフィック情報、アニメーション情報、音（オーディオ）情報、ビデオ情報、スライド情報、ホワイトボード画像情報、及び、他の種類の情報、などを含む。
本願において用いられる「マルチメディア文書」という単語は、マルチメディア情報を格納するあらゆる電子的ストレージ・ユニット（例えば、ファイル、ディレクトリ、など）を指すものとする。マルチメディア情報を格納するのには様々な異なる形式が用いられ得る。これら形式は、様々なＭＰＥＧフォーマット（例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−７、など）、ＭＰ３フォーマット、ＳＭＩＬフォーマット、ＨＴＭＬ＋ＴＩＭＥフォーマット、ＷＭＦ（ウィンドウズ（登録商標）・メディア・フォーマット）、ＲＭ（Ｒｅａｌ Ｍｅｄｉａ）フォーマット、Ｑｕｉｃｋｔｉｍｅフォーマット、Ｓｈｏｃｋｗａｖｅフォーマット、様々なストリーミング・メディア・フォーマット、エンジニアリング・コミュニティによって開発されたフォーマット、メーカ独自の慣習上のフォーマット、などである。マルチメディア文書の例は、例えば、録画ビデオ、ＭＰＥＧファイル、ニュース放送録画、プレゼンテーション記録、会議録画、授業の録画、テレビ放送番組、などである。
ズ１は、本発明の一実施形態を組み込み得る分散型ネットワーク１００の簡略化されたブロック図である。図１に示すように、分散型ネットワーク１００は、１以上のクライアント・システム１０２と、サーバ・システム１０４と、複数の通信リンク１１０を通じて通信ネットワーク１０８に接続されたマルチメディア情報源（ＭＩＳ）１０６と、を含む複数のコンピュータ・システムを有する。図１に示す分散型ネットワーク１００は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない。当業者は、他の変形例、修正例、及び、代替例を認識し得る。例えば、本発明は、スタンドアロン・システムにおいても具現化し得る。スタンドアロン環境では、図１に示した様々なコンピュータ・システムによって実行される機能が１台のコンピュータ・システムによって実行される。
通信ネットワーク１０８は、図１に示す様々なコンピュータ・システムが情報を通信し、互いに交換することを可能にするメカニズムを提供する。通信ネットワーク１０８は、それ自体が多くの相互接続されたコンピュータ・システム及び通信リンクから構成されてもよい。一実施形態において、通信ネットワーク１０８はインターネットであるが、他の実施形態では、通信ネットワーク１０８は、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、無線ネットワーク、イントラネット、プライベート・ネットワーク、公衆網、交換網、などのあらゆる適切な通信ネットワークでよい。
図１に示す様々なシステムを接続するのに用いられる通信リンク１１０は、有線リンク、光リンク、衛星又は他の無線通信リンク、波動リンク、或いは、情報通信用のあらゆる他のメカニズム、などの様々な種類のものでよい。通信リンクを通じた情報伝達を容易にするために様々な通信プロトコルが用いられ得る。これら通信プロトコルは、例えば、ＴＣＰ／ＩＰ、ＨＴＴＰプロトコル、エクステンシブル・マークアップ・ランゲージ（ＸＭＬ）、ワイヤレス・アプリケーション・プロトコル（ＷＡＰ）、業界標準化機関によって開発中のプロトコル、ベンダ固有のプロトコル、カスタマイズされたプロトコル、などである。
通信ネットワーク１０８に接続されたコンピュータ・システムは、情報及び／又はサービスをリクエストするか又は情報及び／又はサービスを提供するかという点でいずれの役割を演じるかに応じて「クライアント」と「サーバ」に分類できる。ユーザによって情報又はサービスをリクエストするのに用いられるコンピュータ・システムは「クライアント」コンピュータ（又は、「クライアント」）に分類される。情報を格納し、該情報をクライアント・コンピュータ又はユーザがリクエストしたサービスを提供するための処理を実行するコンピュータ・システムから受信したユーザ・リクエストに応じて提供するコンピュータ・システムは、「サーバ」コンピュータ（又は、「サーバ」）と呼ばれる。ただし、特定のコンピュータ・システムがクライアント及びサーバの双方として機能し得ることは明らかである。
したがって、本発明の一実施形態によれば、サーバ・システム１０４は、本発明の教えに従ってマルチメディア情報を表示するＧＵＩの生成を容易にするための処理を実行するように構成される。サーバ・システム１０４によって生成されたＧＵＩは、サーバ・システム１０４に接続された出力装置又はクライアント・システム１０２を通じてユーザ（例えば、マルチメディア文書の読み手）に対して出力され得る。サーバ１０４によって生成されたＧＵＩにより、ユーザは、マルチメディア文書に格納され得るマルチメディア情報を検索・閲覧することができる。このＧＵＩは、マルチメディア文書のコンテンツの一部に着目した表示及び全体の文脈を見せる表示の両方を提供するため、このＧＵＩによって、ユーザは、マルチメディア文書をザッと目を通す又は「水平に」読むことが可能となる。
ＧＵＩを生成し、本発明の教えに係る様々な特徴を提供するためにサーバ・システム１０４によって実行される処理は、サーバ・システム１０４上で実行されるソフトウェア・モジュールによって実施されてもよく、サーバ・システム１０４に接続されたハードウェア・モジュールによって実施されてもよく、或いは、それらの組み合わせによって実施されてもよい。本発明の代替的実施形態として、この処理も、図１に示す様々なコンピュータ・システム間に分散されてもよい。
このＧＵＩに表示されるマルチメディア情報は、サーバ・システム１０４がアクセス可能なマルチメディア文書に格納され得る。例えば、このマルチメディア文書は、サーバ・システム１０４のストレージ・サブシステムに格納され得る。また、このマルチメディア文書は、サーバ１０４がアクセス可能なＭＩＳ１０６などの他のシステムによっても格納され得る。別の方法として、このマルチメディア文書は、サーバ・システム１０４がアクセス可能なメモリ・ロケーションに格納されてもよい。
代替的実施形態として、マルチメディア文書にアクセスする代わりに、サーバ・システム１０４がマルチメディア文書のストリーム（例えば、ストリーミング・メディア信号、ケーブル信号、など）をＭＩＳ１０６などのマルチメディア情報源から受信してもよい。本発明の一実施形態によれば、サーバ・システム１０４はマルチメディア情報信号をマルチメディア文書に格納し、このマルチメディア情報を表示するＧＵＩを生成する。ＭＩＳ１０６の例は、テレビ放送受信機、ケーブル受信機、ディジタル・ビデオ録画機（例えば、ＴＩＶＯ ｂｏｘ）、などである。例えば、マルチメディア情報源１０６は、マルチメディア放送信号を受信し、該信号をサーバ・システム１０４へ送信するように構成されたテレビとして実現され得る。代替的実施形態として、サーバ１０４は、ＭＩＳ１０６によって受信されたマルチメディア情報信号をインターセプトするように構成されてもよい。サーバ・システム１０４は、このマルチメディア情報をＭＩＳ１０６から直接受信してもよく、或いは、別の方法として、通信ネットワーク１０８などの通信ネットワークを通じて該情報を受信してもよい。
上述のように、図１に示すＭＩＳ１０６は、マルチメディア情報の発信源を表す。本発明の一実施形態によれば、ＭＩＳ１０６は、サーバ・システム１０４によってアクセスされるマルチメディア文書を格納し得る。例えば、ＭＩＳ１０６は、サーバ・システム１０４がアクセス可能なマルチメディア文書を格納するストレージ装置又はサーバである。代替的実施形態として、ＭＩＳ１０６は、マルチメディア情報ストリームをサーバ・システム１０４に提供してもよい。例えば、ＭＩＳ１０６は、サーバ・システム１０４にライブ・テレビ供給情報を提供するテレビ受信機／アンテナでもよい。ＭＩＳ１０６は、例えば、記録されたビデオ及び／又はオーディオ・ストリームをサーバ・システム１０４へ提供するビデオ録画機／プレイヤ、ＤＶＤプレイヤ、ＣＤプレイヤ、などの装置である。代替的実施形態として、ＭＩＳ１０６は、取り込まれたプレゼンテーション又は会議情報のストリームをサーバ・システム１０４へ提供し得るプレゼンテーション又は会議記録装置でもよい。また、ＭＩＳ１０６は、外部ソースからマルチメディア情報を取り込む又は（例えば、無線リンクを通じて）受信し、その取り込まれたマルチメディア情報を更なる処理のためにサーバ・システム１０４へ提供するように構成された受信機（例えば、衛星受信アンテナ、又は、ケーブル受信機）でもよい。
ユーザは、クライアント・システム１０２を用いて、サーバ・システム１０４によって生成されたＧＵＩを見ることができる。また、ユーザは、クライアント・システム１０２を用いて、特性のマルチメディア文書を選択し、その特定のマルチメディア文書によって格納されているマルチメディア情報を表示するＧＵＩを生成するようにサーバ・システム１０４にリクエストすることもできる。また、ユーザは、クライアント・システム１０２に接続された入力装置を用いて、サーバ・システム１０４によって生成されたＧＵＩとやりとりすることもできる。代替的実施形態として、クライアント・システム１０２は、本発明の教えに従ってＧＵＩの生成を容易にするための処理も実行してもよい。クライアント・システム１０２は、パーソナル・コンピュータ、ポータブル・コンピュータ、ワークステーション、コンピュータ端末、ネットワーク・コンピュータ、メインフレーム、キオスク（ｋｉｏｓｋ）、パーソナル・ディジタル・アシスタント（ＰＤＡ）、携帯電話などの通信装置、又は、他のデータ処理システム、などの様々な種類のものでよい。
本発明の一実施形態によれば、１台のコンピュータ・システムがサーバ・システム１０４及びクライアント・システム１０２の双方として機能してもよい。サーバ・システム１０４、クライアント・システム１０２、及び、ＭＩＳ１０６の他の様々な構成が考えられる。
図２は、本発明の一実施形態に係るコンピュータ・システム２００の簡略化されたブロック図である。コンピュータ・システム２００は、図１に示すコンピュータ・システムのいずれとしても用いることができる。図２に示するように、コンピュータ・システム２００は、少なくとも１つのプロセッサ２０２を有する。プロセッサ２０２は、バス・サブシステム２０４を通じて、複数の周辺装置と通信する。これら周辺装置は、例えば、メモリ・サブシステム２０８及びファイル・ストレージ・サブシステム２１０を含むストレージ・サブシステム２０６、ユーザ・インターフェース入力装置２１２、ユーザ・インターフェース出力装置２１４、及び、ネットワーク・インターフェース・サブシステム２１６、などである。これら入出力装置により、ユーザは、コンピュータ・システム２００とのやりとりが可能となる。ユーザとは、人間のユーザ、装置、プロセス、別のコンピュータ、などである。ネットワーク・インターフェース・サブシステム２１６は、他のコンピュータ・システム及び通信ネットワークへのインターフェースを提供する。
バス・サブシステム２０４は、コンピュータ・システム２００の様々な構成要素及びサブシステムに目的通りに互いに通信させるメカニズムを提供する。これらコンピュータ・システム２００の様々なサブシステム及び構成要素は、物理的に同じ場所にある必要はなく、ネットワーク１００の様々な場所に分散していてもよい。バス・サブシステム２０４は１本のバスとして概略的に図示されているが、このバス・サブシステムの代替的実施形態として、複数のバスが用いられてもよい。
ユーザ・インターフェース入力装置２１２は、キーボード、ポインティング装置、マウス、トラックボール、タッチパッド、グラフィック・タブレット、スキャナ、バーコード・スキャナ、ディスプレイに内蔵されたタッチスクリーン、音声認識システムなどの音声入力装置、マイク、及び、他の種類の入力装置、などである。一般的に、「入力装置」という単語が用いられると、コンピュータ・システム２００を用いて情報を入力する考え得るすべての種類の装置及び方法を含むことが意図されている。
ユーザ・インターフェース出力装置２１４は、ディスプレイ・サブシステム、プリンタ、ファックス機、又は、音声出力装置などの視覚的でないディスプレイ、などである。このディスプレイ・サブシステムは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などのフラット・パネル装置、プロジェクション装置、などである。また、このディスプレイ・サブシステムは、音声出力装置などを通じた非視覚的ディスプレイも提供する。一般的に、「出力装置」という単語が用いられると、コンピュータ・システム２００から情報を出力する考え得るすべての種類の装置及び方法を含むことが意図されている。本発明の一実施形態によれば、本発明の教えに従って生成されたＧＵＩは、出力装置２１４を通じて、ユーザに提示され得る。
ストレージ・サブシステム２０６は、コンピュータ・システム及び本発明の機能性を提供する基本プログラム及びデータ構造を格納するように構成され得る。例えば、本発明の一実施形態によれば、本発明の機能性を実行するソフトウェア・モジュールは、サーバ・システム１０４のストレージ・サブシステム２０６に格納することができる。これらソフトウェア・モジュールは、サーバ・システム１０４の１以上のプロセッサ２０２によって実行することができる。分散型の環境において、これらソフトウェア・モジュールは、複数のコンピュータ・システム上に格納され、それら複数のコンピュータ・システムのプロセッサによって実行され得る。また、ストレージ・サブシステム２０６は、本発明によって用いられ得る様々なデータベースを格納する貯蔵室も提供する。ストレージ・サブシステム２０６は、メモリ・サブシステム２０８及びファイル・ストレージ・サブシステム２１０を有し得る。
メモリ・サブシステム２０８は、プログラム実行中に命令及びデータを保存する主ランダム・アクセス・メモリ（ＲＡＭ）２１８、固定命令が格納されたリード・オンリ・メモリ（ＲＯＭ）２２０などの複数のメモリを含み得る。ファイル・ストレージ・サブシステム２１０は、プログラム及びデータ・ファイル用の永久（不揮発性）ストレージを提供し、例えば、ハードディスク・ドライブ、関連する着脱可能媒体を伴うフロッピー（登録商標）・ディスク・ドライブ、コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ−ＲＯＭ）・ドライブ、光ドライブ、着脱可能媒体カートリッジ、及び、他の類似のストレージ媒体、などである。これらドライブの１以上が他の接続されたコンピュータ上の遠隔地に配置されてもよい。
コンピュータ・システム２００は、パーソナル・コンピュータ、ポータブル・コンピュータ、ワークステーション、コンピュータ端末、ネットワーク・コンピュータ、メインフレーム、キオスク（ｋｉｏｓｋ）、パーソナル・ディジタル・アシスタント（ＰＤＡ）、携帯電話などの通信装置、又は、他のデータ処理システム、などの様々な種類のものでよい。サーバ・コンピュータは、一般的に、クライアント・システムよりもより多くのストレージ及び処理能力を有する。コンピュータ及びネットワークは絶え間なく変わる性質を持つため、図２に示したコンピュータ・システム２００の説明は、コンピュータ・システムの好ましい実施形態を説明することを目的とした単なる一具体例であることが意図されている。図２に示したコンピュータ・システムより多くの又は少ない構成要素を有する他の多くのコンピュータ・システムの構成が考えられる。
図３は、本発明の一実施形態に従って生成された、マルチメディア情報を見るための簡略化されたユーザ・インターフェース３００を示す。図３に示すＧＵＩ３００は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではないことは明らかである。当業者は、他の変形例、修正例、及び、代替例を認識し得る。
ＧＵＩ３００は、マルチメディア文書に格納されたマルチメディア情報を表示する。このマルチメディア文書によって格納され、ＧＵＩ３００によって表示されるマルチメディア情報は、複数の異なる種類の情報を含み得る。図３に示すように、ＧＵＩ３００は、ビデオ情報、オーディオ情報、及び、場合によってクローズド・キャプション（ＣＣ）・テキスト情報を含むテレビ放送に対応したマルチメディア情報を表示する。テレビ放送は、サーバ・システム１０４がアクセス可能なメモリ・ロケーションにテレビ放送録画として格納され得る。しかし、本発明は、テレビ録画を表示することだけに限定されないことは明らかである。他の種類の情報から成るマルチメディア情報も本発明の教えに従って表示することができる。
テレビ放送は、様々な異なる手法を用いて格納され得る。一手法によれば、テレビ放送は、サーバ・システム１０４のＰＣ−ＴＶビデオカードに接続された衛星受信機を用いて、記録・格納される。次いで、サーバ・システム１０４上で実行されるアプリケーションが、この記録されたテレビ放送を処理し、ＧＵＩ３００の生成を容易にする。例えば、テレビ放送に含まれるビデオ情報は、その放送用の時間的情報及び用意されていればクローズド・オプションを含む別のメタファイル（例えば、ＸＭＬ形式の）を作成するＭＰＥＧキャプチャ・アプリケーションを用いて、取り込まれ得る。次いで、このメタファイルに格納された情報を用いて、図３に示すＧＵＩ３００が生成される。
図３に示すように、ＧＵＩ３００は、第一の表示エリア３０２、第二の表示エリア３０４、第三の表示エリア３０６、第四の表示エリア３０８、及び、第五の表示エリア３１０などの複数の表示エリアを有する。代替的実施形態として、本発明は、図３に示した例より多くの又は少ない表示エリアを有し得ることは明らかである。さらに、本発明の代替的実施形態では、１以上の表示エリアが１つの表示エリアに合成されていてもよく、或いは、特性の表示エリアが複数の表示エリアに分かれていてもよい。したがって、図３に示し、以下に説明する表示エリアは、請求項に記載された本発明の範囲を制限するものではない。
本発明の一実施形態によれば、第一の表示エリア３０２は、ＧＵＩ３００を見ているユーザが選択できる１以上のコマンドを表示する。メニュ・バー、ドロップ・ダウン・メニュ、カスケード・メニュ、ボタン、選択バー、ボタンなどの様々なユーザ・インターフェース機能がこのユーザ選択可能コマンドを表示するのに用いられ得る。本発明の一実施形態によれば、第一の表示エリア３０２において提供されるコマンドは、ユーザがＧＵＩに表示されるマルチメディア情報を有するマルチメディア文書を選ぶことができるようにするコマンドを含む。また、このコマンドは、ユーザが選択したマルチメディア文書に格納されたマルチメディア情報がＧＵＩ３００に表示される方法をユーザが設定及び／又はカスタマイズできるようにする１以上のコマンドも含み得る。また、様々な他のコマンドも第一の表示エリア３０２において提供され得る。
本発明の一実施形態によれば、第二の表示エリア３０４は、マルチメディア文書によって格納されたマルチメディア情報の縮小表現を表示する。ユーザは、第二の表示エリア３０４において情報を表示するのに用いられる倍率を選択し得る。本発明の特定の実施形態によれば、マルチメディア文書全体（すなわち、そのマルチメディア文書に関連する開始時刻から終了時刻までのマルチメディア情報）の表現は、第二の表示エリア３０４に表示される。この実施形態において、第二の表示エリア３０４の一端はそのマルチメディア文書の開始時刻を表し、第二の表示エリア３０４の他端はそのマルチメディア文書の終了時刻を表す。
図３に示すように、本発明の一実施形態によれば、第二の表示エリア３０４は、１以上のサムネール画像３１２を有する。各サムネール画像は、マルチメディア文書によって格納されたマルチメディア情報に含まれる特定の種類の情報の表現を表示する。例えば、図３に示されたＧＵＩ３００の第二の表示エリア３０４には、２つのサムネール画像３１２−１及び３１２−２が表示されている。サムネール画像３１２−１は、ＧＵＩ３００によって表示されているマルチメディア文書によって格納されたマルチメディア情報に含まれる情報に対応したテキスト情報を表示する。サムネール画像３１２−１に表示されるテキストは、例えば、ＧＵＩ３００によって表示されるマルチメディア情報に含まれるＣＣテキストの表示可能な表現を表す。あるいは、サムネール画像３１２−１に表示されるテキストは、ＧＵＩ３００によってコンテンツが表示されたマルチメディア文書によって格納されたマルチメディア情報に含まれるオーディオ情報の録音（ｔｒａｎｓｃｒｉｐｔ）の表示可能な描写を表してもよい。オーディオ情報用の録音を生成するのには様々なオーディオ／テキスト録音手法が用いることができる。また、サムネール画像に表示されるテキストは、マルチメディア情報に含まれる他の種類の情報の表現であってもよい。例えば、テキスト情報は、マルチメディア情報がマルチメディア情報に付け加えられた注釈などが記録又は表示されたものであるとき作られたコメントの表現でもよい。
サムネール３１２−２は、ＧＵＩ３００によって表示されるマルチメディア情報に含まれるビデオ情報の表現を表示する。図３に示す実施形態において、ビデオ情報は、マルチメディア文書によって格納されたマルチメディア情報に含まれるビデオ情報から抽出されたビデオ・キーフレームを用いて、表示される。このビデオ・キーフレームは、指定されたサンプリング・レートを用いて、様々な時点において、マルチメディア文書のビデオ情報から抽出することができる。ユーザ設定可能であってもよい特殊なレイアウト・スタイルが、フレームの読み易さを向上させるためにサムネール３１２−２に抽出されたキーフレームを表示するのに用いられる。
表示されているマルチメディア情報に含まれる情報の種類に応じて、１以上のサムネール画像が第二の表示エリア３０４に表示されてもよい。第二の表示エリア３０４に表示される各サムネール画像３１２は、マルチメディア文書によって格納されたマルチメディア情報に含まれる特定の種類の情報の表現を表示する。本発明の一実施形態によれば、第二の表示エリア３０４に表示さえるサムネール数及び各サムネールによって表示される情報種類は、ユーザ設定可能である。
本発明の一実施形態によれば、第二の表示エリア３０４に表示される様々なサムネール画像は、時間的に同期されるか、あるいは、時系列に沿って互いに揃えられる。これは、マルチメディア情報に含まれ、略同時に生じた様々な種類の情報が次々に表示されることを意味する。例えば、サムネール画像３１２−１及び３１２−２は、サムネール画像３１２０１に表示されたテキスト情報（ＣＣテキスト情報、オーディオ情報の録音、又は、マルチメディア情報に含まれる他のいくつかの種類の情報のテキスト表現、を表し得る）、及び、特定の時点でマルチメディア情報に生じたサムネール３１２−２に表示されるビデオ・キーフレームは、互いに接近して（例えば、同じ水平軸に沿って）表示される。したがって、特定のタイムスタンプを持つ情報は、略同じタイムスタンプを持つ情報に隣接して表示される。これにより、ユーザは、単に第二の表示エリア３０４を水平方向にスキャンすることによって、ＧＵＩ３００によって表示されているマルチメディア情報に略同時に生じた様々な情報種類を判断することができる。
本発明の教えるところによれば、表示レンズ又は窓３１４（以下、「サムネール表示エリア・レンズ３１４」と称す）が第二の表示エリア３０４に表示される。サムネール表示エリア・レンズ３１４は、第二の表示エリア３０４の一部を覆う又は強調する。本発明の教えるところによれば、第二の表示エリア３０４のうちサムネール表示エリア・レンズ３１４によって覆われたエリアに対応するマルチメディア情報は、第三の表示エリア３０６に表示される。
図３に示す実施形態において、サムネール表示エリア・レンズ３１４は、第二の表示エリア３０４の上部の位置し、マルチメディア文書の上部（スタート部分）を強調している。ユーザは、レンズ３１４を第二の表示エリア３０４に沿ってスライド又は移動させることによって、サムネール表示エリア・レンズ３１４の位置を変えることができる。例えば、図３において、サムネール表示エリア・レンズ３１４は、第二の表示エリア３０４に沿って縦に動かすことができる。
サムネール表示エリア・レンズ３１４の位置を第二の表示エリア３０４に沿って第二の表示エリア３０４の第一の位置から第二の位置へ変更すると、第三の表示エリア３０６に表示されたマルチメディア情報は、第三の表示エリア３０６に表示されたマルチメディア情報が第二の表示エリア３０４のうちのサムネール表示エリア・レンズ３１４によって強調されているエリアと対応し続けるように、自動的に更新される。したがって、ユーザは、サムネール表示エリア・レンズ３１４を用いて、ＧＵＩ３００によって表示されたマルチメディア文書のコンテンツをナビゲート及びスクロールすることができる。このように、サムネール表示エリア・レンズ３１４は、コンテキストを提供すると共に、第三の表示エリア３０６に表示されているマルチメディア情報のマルチメディア文書全体の中での位置を示す。
図４は、本発明の一実施形態に係るサムネール表示エリア・レンズ３１４の簡略化された拡大図である。図４に示すように、サムネール表示エリア・レンズ３１４は、第一の辺３１８と第二の辺３２０によって区切られている。サムネール表示エリア・レンズ３１４は、第二の表示エリア３０４のうち辺３１８と辺３２０の間のエリアを強調する。サムネール表示エリア・レンズ３１４の第二の表示エリア３０４上での位置に基づいて、辺３１８はマルチメディア文書における特定の時刻ｔ１に対応し、辺３２０はマルチメディア文書における特定の時刻ｔ２（ｔ２＞ｔ１）に対応する。例えば、サムネール表示エリア・レンズ３１４が（図３に示すように）第二の表示エリア３０４の先頭に位置するとき、ｔ１は表示されているマルチメディア文書の開始時刻に対応し、サムネール表示エリア・レンズ３１４が第二の表示エリア３０４の終端に位置するとき、ｔ２はそのマルチメディア文書の終了時刻に対応する。したがって、サムネール表示エリア・レンズ３１４は、第二の表示エリア３０４のうち時刻ｔ１と時刻ｔ２の間の部分を強調する。本発明の一実施形態によれば、（サムネール表示エリア・レンズ３１４によって強調された又は覆われた）時間区間ｔ２〜ｔ１に対応するマルチメディア情報は、第三の表示エリア３０６に表示される。したがって、サムネール表示エリア・レンズ３１４の位置がユーザ入力に応じて第二の表示エリア３０４に沿って変更されると、第三の表示エリア３０６に表示された情報は、第三の表示エリア３０６に表示されるマルチメディア情報が第二の表示エリア３０４のうちサムネール表示エリア・レンズ３１４によって強調されるエリアに対応し続けるように、更新される。
図３及び４に示すように、サムネール表示エリア・レンズ３１４は、第二の表示エリア３０４のうちサムネール表示エリア・レンズ３１４によって強調される部分の一部を更に強調するサブレンズ３１６を有する。本発明の一実施形態によれば、第二の表示エリア３０４のうちサブレンズ３１６によって強調される又は覆われる部分は、第三の表示エリア３０６のうちレンズ３２２によって強調される又は覆われる部分に対応する。サブレンズ３１６は、サムネール表示エリア・レンズ３１４の辺３１８と辺３２０の間で、第二の表示エリア３０４に沿って、動かすことができる。サブレンズ３１６がサムネール表示エリア・レンズ３１４の範囲内の第一の位置から第二の位置へ動かされると、第三の表示エリア３０６におけるレンズ３２２の位置も、サブレンズ３１６の位置変更に対応して、自動的に変更される。さらに、レンズ３２２の位置が第三の表示エリア３０６上で第一の位置から第二の位置へ変更されると、サブレンズ３１６の位置も、レンズ３２２の位置変更に対応して、自動的に変更される。レンズ３２２に関する更なる詳細を以下に説明する。
上述のように、第二の表示エリア３０４のうちサムネール表示エリア・レンズ３１４によって強調された部分に対応したマルチメディア情報は、第三の表示エリア３０６に表示される。したがって、時刻ｔ１と時刻ｔ２の間に生じた（マルチメディア文書のうちサムネール表示エリア・レンズ３１４によって強調された時間区間に対応する）マルチメディア情報の表現が、第三の表示エリア３０６に表示される。このように、第三の表示エリア３０６は、マルチメディア文書のうちサムネール表示エリア・レンズ３１４によって強調された部分に対応するマルチメディア文書によって格納されたマルチメディア情報の拡大表現を表示する。
図３に示すように、第三の表示エリア３０６は、１以上のパネル３２４を有する。各パネルは、サムネール表示エリア・レンズ３１４によって強調された時間区間中に生じたマルチメディア情報に含まれる特定の種類の情報の表現を表示する。例えば、図３に示したＧＵＩ３００においては、第三の表示エリア３０６に２つのパネル３２４−１及び３２４−２が表示されている。本発明の一実施形態によれば、第三の表示エリア３０６の各パネル３２４は、第二の表示エリア３０４に表示されたサムネール画像３１２に対応し、そのサムネール画像のうちサムネール表示エリア・レンズ３１４によって覆われた部分に対応する情報を表示する。
サムネール画像３１２と同様に、パネル３２４も互いに時間的に揃えられる又は同期される。したがって、マルチメディア情報に含まれ、略同時に生じた様々な種類の情報が第三の表示エリア３０６に次々に表示される。例えば、図３に示したパネル３２４−１及び３２４−２は、パネル３２４−１に表示されたテキスト情報（ＣＣテキスト情報、オーディオ情報の録音、又は、マルチメディア情報に含まれる他のいくつかの種類の情報のテキスト表現、を表し得る）、及び、略同じ時点でマルチメディア情報に生じたパネル３２４−２に表示されるビデオ・キーフレームは、互いに接近して（例えば、同じ水平軸に沿って）表示される。したがって、特定のタイムスタンプを持つ情報は、略同じタイムスタンプを持つ他の種類の情報に隣接して表示される。これにより、ユーザは、単に第三の表示エリア３０６を水平方向にスキャンすることによって、マルチメディア情報に略同時に生じた様々な情報種類を判断することができる。
ＧＵＩ３００に示されたパネル３２４−１は、サムネール画像３１２−１に対応し、サムネール画像３１２−１のうちサムネール表示エリア・レンズ３１４によって強調された又は覆われたエリアに対応するテキスト情報を表示する。パネル３２４−１によって表示されるテキスト情報は、マルチメディア情報に含まれるＣＣ情報から抽出されたテキストに対応してもよく、或いは、マルチメディア情報に含まれるオーディオ情報の録音又はマルチメディア情報に含まれる他のいくつかの種類の情報のテキスト表現を表してもよい。本発明の一実施形態によれば、本発明は、ストーリ自動セグメント化及びニュース放送からクローズド・キャプション（ＣＣ）テキストとしてしばしば提供される他の特徴を利用する。放送の一部としてＣＣテキストを提供するニュース局のほとんどは、ＣＣテキストに特殊な構文を用いる（例えば、「＞＞＞」デリミタは、話の筋又はテーマの変化を示し、「＞＞」デリミタは話し手の変更を示す、など）。この種の情報がマルチメディア情報に含まれるＣＣテキスト情報に存在するものとすると、本発明は、パネル３２４−１に表示されたテキストにこれら特徴を組み込む。例えば、「＞＞＞」デリミタが話の筋又はテーマの変化を示すために表示されてもよく、「＞＞」デリミタが話し手の変更を示すために表示されてもよく、異なる話を明確に区別するために、異なる話の筋に関連するテキスト部分間に追加的スペースが表示されてもよい。これにより、パネル３２４−１に表示されたテキスト情報の読み易さが向上する。
ＧＵＩ３００に表示されたパネル３２４−２は、サムネール画像３１２−２に対応し、サムネール画像３１２−２のうちサムネール表示エリア・レンズ３１４によって強調された又は覆われたエリアに対応するビデオ情報の表現を表示する。したがって、パネル３２４−２は、マルチメディア文書によって格納されたマルチメディア情報に含まれ、サムネール表示エリア・レンズ３１４に関する時刻ｔ１と時刻ｔ２の間に生じたビデオ情報の表現を表示する。図３に示す実施形態では、マルチメディア情報に含まれたビデオ情報から抽出されたビデオ・キーフレームがパネル３２４−２に表示される。フレームの読み易さを向上させるために、抽出されたキーフレームを表示するのにユーザ設定可能な特殊なレイアウト・スタイルが用いられる。
ビデオ・キーフレームをパネル３２４−２に表示するのには様々な異なる手法を用いることができる。本発明の一実施形態によれば、時刻ｔ１と時刻ｔ２の間の時間区間が所定期間のサブ区間に分割される。各サブ区間は、そのサブ区間に関する開始時刻及び終了時刻によって特徴付けられる。本発明の一実施形態によれば、最初のサブ区間の開始時刻は時刻ｔ１に対応し、最後のサブ区間の終了時刻は時刻ｔ２に対応する。次いで、サーバ１０４は、各サブ区間について、そのサブ区間に関連した開始時刻と終了時刻の間に生じたマルチメディア文書によって格納されたビデオ情報から１以上のビデオ・キーフレームを抽出する。例えば、本発明の一実施形態によれば、各サブ区間について、サーバ１０４は、そのサブ区間に関連した開始時刻と終了時刻の間に１秒間隔でビデオ・キーフレームを抽出する。
次いで、サーバ１０４は、各サブ区間に対して、そのサブ区間について抽出されたビデオ・キーフレームからパネル３２４−２に表示される１以上のキーフレームを選択する。各サブ区間についてパネル３２４−２に表示されるものとして選択されるキーフレーム数は、ユーザが設定可能である。各サブ区間について、抽出されたビデオ・キーフレームから表示されるビデオ・キーフレームを選択する手法には様々な異なる方法が用いることができる。例えば、一サブ区間について抽出されたビデオ・キーフレーム数が２４で、（図３に示すように）各サブ区間について６つのビデオ・キーフレームが表示されるものとした場合、サーバ１０４は、サブ区間について抽出されたビデオ・キーフレームから最初の２つのビデオ・キーフレームと、真ん中の２つのビデオ・キーフレームと、最後の２つのビデオ・キーフレームとを選択する。
別の実施形態において、一サブ区間について表示されるビデオ・キーフレームは、サブ区間について抽出されたキーフレーム群におけるそれらキーフレームの位置順序に基づいて選択される。例えば、あるサブ区間について抽出されたビデオ・キーフレーム数が２４で、各サブ区間について６つのビデオ・キーフレームが表示されるものとした場合に、１番目、５番目、９番目、１３番目、１７番目、及び、２１番目、のキーフレームが選択されてもよい。この実施形態では、固定数のキーフレームがスキップされる。
更に別の実施形態において、一サブ区間について表示されるビデオ・キーフレームは、サブ区間について抽出されたキーフレーム群においてそれらキーフレームに関連する時刻値に基づいて選択される。例えば、一サブ区間について抽出されたビデオ・キーフレーム群が１秒のサンプリング・レートで抽出された２４のキーフレームを有し、各サブ区間について６つのビデオ・キーフレームが表示されるものとした場合、最初のキーフレームが選択され、次に、前に選択されたキーフレームから４秒後に生じたキーフレームが選択される。
本発明の代替的実施形態として、サーバ１０４は、キーフレームのコンテンツの差に基づいて、キーフレーム群からキーフレームを選択してもよい。各サブ区間について、サーバ１０４は、そのサブ区間について抽出されたキーフレームのコンテンツにおける差を判断するために特殊な画像処理手法を用いることができる。各サブ区間について６つのビデオ・キーフレームが表示されるものとした場合、サーバ１０４は、この画像処理手法の結果に基づいて、抽出されたキーフレーム群から６つのキーフレームを選択する。例えば、６つの最も異なるキーフレームがパネル３２４−２に表示されるものとして選択されてもよい。当業者には既知の様々な他の手法もビデオ・キーフレームの選択を実行するのに用いることができるのは明らかである。
選択されたキーフレームは、次いで、パネル３２４−２に表示される。選択されたキーフレームをパネル３２４−２に表示させるのに様々な異なる形式を用いることができる。例えば、図３に示すように、各サブ区間について、選択されたキーフレームは、左から右へ、上から下へ、置かれる。
本発明の代替的実施形態では、マルチメディア文書全体が所定期間のサブ区間に分割される。各サブ区間は、そのサブ区間に関する開始時刻及び終了時刻によって特徴付けられる。本発明の一実施形態によれば、最初のサブ区間の開始時刻はそのマルチメディア文書の開始時刻に対応し、最後のサブ区間の終了時刻はそのマルチメディア文書の終了時刻に対応する。上述のように、サーバ１０４は、各サブ区間について、そのサブ区間に関連した開始時刻及び終了時刻に基づいて、マルチメディア文書によって格納されたビデオ情報から１以上のビデオ・キーフレームを抽出する。サーバ１０４は、次いで、各サブ区間について表示する１以上のキーフレームを選択する。次いで、サムネール表示エリア・レンズ３１４の位置に応じて、表示するものとして選択され、サムネール表示エリア・レンズ３１４に関連する時刻ｔ１と時刻ｔ２の間に生じたキーフレームがパネル３２４−２に表示される。
本発明の代替的実施形態として、パネル３２４−２にビデオ情報を表示するのに様々な他の手法も用いることができることは明らかである。本発明の一実施形態によれば、ユーザは、第三の表示エリア３０６にビデオ情報を表示するのに用いられる手法を設定することができる。
図３に示されたＧＵＩ３００において、各サブ区間は８秒長であり、複数のサブ区間に対応するビデオ・キーフレームがパネル３２４−２に表示される。各サブ区間から６つのビデオ・キーフレームが表示される。各サブ区間について、表示されるキーフレームは、左から右、上から下、へ置かれる。
本発明の代替的実施形態として、第三の表示エリア３０６に表示されるパネル数は、第二の表示エリア３０４に表示されるサムネール画像数より多くても少なくてもよいことは明らかである。本発明の一実施形態によれば、第三の表示エリア３０６に表示されるパネル数は、ユーザが設定可能である。
本発明の教えるところによれば、概要領域３０６の一部を覆う又は強調する表示レンズ又は窓３２２（以下、「パネル表示エリア・レンズ３２２」と呼ぶ）が表示される。本発明の教えるところによれば、第三の表示エリア３０６のうちパネル表示エリア・レンズ３２２によって強調されるエリアに対応するマルチメディア情報は、第四の表示エリア３０８に表示される。ユーザは、レンズ３２２を第三の表示エリア３０６に沿ってスライド又は移動させることによって、パネル表示エリア・レンズ３２２の位置を変えることができる。パネル表示エリア・レンズ３２２の位置を第三の表示エリア３０６の第一の位置から第二の位置へ変更すると、第四の表示エリア３０８に表示されたマルチメディア情報は、第四の表示エリア３０８に表示されたマルチメディア情報が第三の表示エリア３０６のうちのパネル表示エリア・レンズ３２２によって強調されているエリアと対応し続けるように、自動的に更新される。したがって、ユーザは、パネル表示エリア・レンズ３２２を用いて、第四の表示エリア３０８に表示されるマルチメディア情報を変えることができる。
上述のように、パネル表示エリア・レンズ３２２の位置が変更されると、第二の表示エリア３０４のうちサブレンズ３１６によって強調されたエリアが、第三の表示エリア３０６のうちパネル表示エリア・レンズ３２２によって強調されたエリアに対応し続けるように、サブレンズ３１６の位置も変更される。同様に、上述のように、サブレンズ３１６の位置が変更されると、第三の表示エリア３０６のうちパネル表示エリア・レンズ３２２によって強調されたエリアが、サブレンズ３１６の変更後の位置に対応し続けるように、第三の表示エリア３０６上でのパネル表示エリア・レンズ３２２の位置も変更される。
図５Ａは、本発明の一実施形態に係るパネル表示エリア・レンズ３２２の簡略化された拡大図である。図５Ａに示すように、パネル表示エリア・レンズ３２２は、第一の辺３２６と第二の辺３２８によって区切られている。パネル表示エリア・レンズ３２２は、第三の表示エリア３０６のうち辺３２６と辺３２８の間のエリアを強調する。パネル表示エリア・レンズ３２２の第三の表示エリア３０６上での位置に基づいて、辺３２６はマルチメディア文書における特定の時刻ｔ３に対応し、辺３２８はマルチメディア文書における特定の時刻ｔ４（ｔ１≦ｔ３＜ｔ４≦ｔ２）に対応する。例えば、パネル表示エリア・レンズ３２２が第三の表示エリア３０６の先頭に位置するとき、ｔ３はｔ１と等しく、パネル表示エリア・レンズ３２２が第三の表示エリア３０６の終端に位置するとき、ｔ２はｔ４と等しい。したがって、パネル表示エリア・レンズ３２２は、第三の表示エリア３０６のうち時刻ｔ３と時刻ｔ４の間の部分を強調する。本発明の一実施形態によれば、（パネル表示エリア・レンズ３２２によって強調された又は覆われた）時間区間ｔ３〜ｔ４に対応するマルチメディア情報は、第四の表示エリア３０８に表示される。パネル表示エリア・レンズ３２２の位置がユーザ入力に応じて第三の表示エリア３０６に沿って変更されると、第四の表示エリア３０８に表示された情報は、第四の表示エリア３０８に表示されるマルチメディア情報が第三の表示エリア３０６のうちパネル表示エリア・レンズ３２２によって強調されるエリアに対応し続けるように、更新される。このように、パネル表示エリア・レンズ３２２は、コンテキストを提供すると共に、第四の表示エリア３０８に表示されているマルチメディア情報のマルチメディア文書全体の中での位置を示す。
本発明の一実施形態によれば、パネル表示エリア・レンズ３２２によって強調されたテキストの特定の行（又はテキスト最終行の中の１以上の単語）がレンズ３２２の一部に表示される。例えば、図５Ａ及び３に示すように、パネル３２４−１においてパネル表示エリア・レンズ３２２によって強調されたテキスト最終行３３０：「Ｅｎｖｉｒｏｎｍｅｎｔ ｉｓ ａ ｎａｔｉｏｎａｌ」は、パネル表示エリア・レンズ３２２上に太字で表示される。
本発明の一実施形態によれば、パネル表示エリア・レンズ３２２には、マルチメディア文書のブラウジング及びナビゲーションを容易にするために、特殊な特徴を取り付けることができる。図５Ａに示すように、本発明の一実施形態によれば、「再生／一時停止ボタン」３３２及び「ロック／解除ボタン」３３４がパネル表示エリア・レンズ３２２上に設けられる。再生／一時停止ボタンにより、ユーザは、パネル表示エリア・レンズ３２２からのビデオ情報の再生を制御することができる。ロック／解除ボタン３３４により、ユーザは、ビデオ再生の位置を第四の表示エリア３０８のエリア３４０−１からパネル表示エリア・レンズ３２２上部の縮小ウィンドウに切り替えることができる。
図５Ｂは、ロック／解除ボタン３３４が起動された又は「ロックされた」（すなわち、ビデオ再生がパネル表示エリア・レンズ３２２上にロックされた）本発明の一実施形態に係るパネル表示エリア・レンズ３２２の簡略化された一例である。図５Ｂに示すように、ロック・モードでは、ビデオ情報がレンズ３２２上のウィンドウ３３６で再生される。図５ｂに示す実施形態において、パネル表示エリア・レンズ３２２のうちパネル３４２−２と重なる部分のサイズは、ウィンドウ３３６を収容するために時刻ｔ３〜ｔ４を越えて拡大される。本発明の一実施形態によれば、ウィンドウ３３６に表示されるビデオ・コンテンツは、第四の表示エリア３０８のエリア３４０−１に表示されるコンテンツに対応する。
本発明の一実施形態によれば、ウィンドウ３３６は、第三の表示エリア３０６のうちその下にある部分が見えるように、透明な境界線を有する。これは、ユーザが第三の表示エリア３０６を見ている間焦点位置を維持するのに役立つ。ユーザは、再生／一時停止ボタン３３２を用いて、ウィンドウ３３６に表示されたビデオを開始及び停止できる。ユーザは、ビデオをウィンドウ３３６で再生させたまま、パネル表示エリア・レンズ３２２の位置を変えることができる。パネル表示エリア・レンズ３２２の位置が変わると、パネル表示エリア・レンズ３２２の新しい位置に応じてウィンドウ３３６でのビデオ再生も変化する。ウィンドウ３３６におけるビデオ再生は、パネル表示エリア・レンズ３２２に関する新しい時刻の値ｔ３及びｔ４に対応する。
図５Ｃは、代表ビデオ・キーフレームがパネル表示エリア・レンズ３２２上に表示された、本発明の一実施形態に係るパネル表示エリア・レンズ３２２の簡略化された一例である。この実施形態において、サーバ１０４は、パネル表示エリア・レンズ３２２によって強調された又は覆われたパネル３２４−２のビデオ・キーフレームを分析し、パネル表示エリア・レンズ３２２によって強調されたキーフレームを最も代表する特定のキーフレーム３３８を決定する。この特定のキーフレームは、次いで、パネル表示エリア・レンズ３２２のうちパネル３２４−２を覆う部分に表示される。図５Ｃに示した実施形態において、パネル表示エリア・レンズ３２２のうちパネル３２４−２を覆う部分のサイズは、キーフレーム３３８の表現を収容するために時刻ｔ３及びｔ４を越えて拡大されている。
上述のように、第三の表示エリア３０６のうちパネル表示エリア・レンズ３２２によって覆われた部分に対応するマルチメディア情報（すなわち、時間区間ｔ３〜ｔ４に生じたマルチメディア情報）が第四の表示エリア３０８に表示される。図３に示すように、第四の表示エリア３０８は、例えば、１以上のサブ表示エリア３４０（例えば、３４０−１、３４０−２、及び、３４０−３）を有する。本発明の一実施形態によれば、サブ領域３４０の１以上が、第三の表示エリア３０６のうちパネル表示エリア・レンズ３２２によって強調された部分に対応するマルチメディア情報に含まれる特定種類の情報を表示する。
例えば、図３に示すように、第三の表示エリア３０６においてパネル表示エリア・レンズ３２２によって強調されたビデオ情報に対応する（又は該ビデオ情報から始まる）ビデオ情報は、サブ表示エリア３４０−１に表示される。本発明の一実施形態によれば、時刻ｔ３（パネル表示エリア・レンズ３２２の上端に対応する時刻）から始まるビデオ情報は、サブ表示エリア３４０−１において再生される。代替的実施形態として、エリア３４０−１で再生されるビデオ情報は、時刻ｔ４から始まってもよく、或いは、ｔ３とｔ４の間のユーザが設定可能な他の時刻から始まってもよい。サブ表示エリア３４０−１におけるビデオの再生は、コントロール・バー３４２を用いて、制御することができる。コントロール・バー３４２は、サブ表示エリア３４０−１において再生されているビデオを再生させる制御、一時停止させる制御、停止させる制御、巻き戻しさせる制御、早送りさせる制御、などの複数の制御を提供する。エリア３４０−１には現在時刻及び再生残り時間３４４も表示される。ビデオの名前を識別する情報３４６、ビデオが録画された日付３４８、及び、ビデオの種類３５０も表示される。
本発明の代替的実施形態では、ビデオ情報を再生する代わりに、パネル３２４−２においてパネル表示エリア・レンズ３２２によって強調されたビデオ・キーフレームからのビデオ・キーフレームがサブ表示エリア３４０−１に表示される。本発明の一実施形態によれば、エリア３４０−１に表示されるキーフレームは、パネル表示エリア・レンズ３２２によって強調されたキーフレームを最も代表するキーフレームを表す。
本発明の一実施形態によれば、第三の表示エリア３０６においてパネル表示エリア・レンズ３２２によって強調されたテキスト情報（例えば、ＣＣテキスト、オーディオ情報の録音、マルチメディア情報に含まれる他の種類の情報のテキスト表現、など）がサブ表示エリア３４０−２に表示される。本発明の一実施形態によれば、サブ表示エリア３４０−２は、パネル３２４−１に表示され、パネル表示エリア・レンズ３２２によって強調されるテキスト情報を表示する。上述のように、サブ表示エリア３４０−３には様々な種類の情報を表示させることができる。
マルチメディア文書によって格納されたマルチメディア情報に関する追加的情報は、ＧＵＩ３００の第五の表示エリア３１０に表示することができる。例えば、図３に示すように、ＧＵＩ３００によって表示されたマルチメディア情報に含まれるテキスト情報に現れた単語が、第五の表示エリア３１０のエリア３５２に表示される。マルチメディア文書における各単語の頻度も各単語の横に表示される。例えば、「質問」という単語は、マルチメディア情報ＣＣテキストにおいて７回登場する。マルチメディア情報に関する様々な他の種類の情報も第五の表示エリア３１０に表示することができる。
本発明の一実施形態によれば、ＧＵＩ３００は、ユーザがマルチメディア情報から抽出したテキスト情報（例えば、ＣＣテキスト、オーディオ情報の録音、マルチメディア情報に含まれる他の種類の情報のテキスト表現、など）に登場する１以上の単語を検索することができるようにする機能を提供する。例えば、ユーザは、入力フィールド３５４に１以上の検索単語（ｑｕｅｒｙ ｗｏｒｄ）を入力することができ、「検索」ボタン３５６を選択すると、サーバ１０４はマルチメディア文書によって格納されたマルチメディア情報から抽出されたテキスト情報を分析し、フィールド３５４に入力された１以上の検索単語のすべての存在を特定する。このマルチメディア文書における１以上の単語の存在は、次いで、第二の表示エリア３０４、第三の表示エリア３０６、及び、第四の表示エリア３０８に表示されるときに、強調される。例えば、本発明の一実施形態によれば、検索単語のすべての存在が、サムネール画像３１２−１、パネル３２４−１、及び、サブ表示エリア３４０−２において、強調される。本発明の代替的実施形態として、１以上の検索単語の存在は、第二の表示エリア３０４、第三の表示エリア３０６に表示されたパネル、及び、第四の表示エリア３０８に表示されたサブ表示エリア、においても強調されてもよい。
また、ユーザは、ＧＵＩ３００に表示されたマルチメディア情報において強調される１以上の単語を指定することもできる。例えば、ユーザは、エリア３５２から１以上の強調する単語を選択することができる。すると、エリア３５２においてユーザによって選択されたキーフレームのすべての存在は、第二の表示エリア３０４、第三の表示エリア３０６、および、第四の表示エリア３０８において、強調される。例えば、図６に示すように、ユーザがエリア３５２において「Ｎａｔｉｏｎａｌ」という単語を選択したものとすると、それに応じて、本発明の一実施形態によれば、第二の表示エリア３０４、第三の表示エリア３０６、及び、第四の表示エリア３０８において、「Ｎａｔｉｏｎａｌ」という単語のすべての存在が強調される。
本発明の一実施形態によれば、ユーザが選択した１以上の単語（又はフィールド３５４に入力された検索単語）を含むテキスト行３６０が第四の表示エリア３０８のサブ表示エリア３４０−３に表示される。各テキスト行について、その行がマルチメディア文書に生じた時刻３６２（又は、そのテキスト行に関連するタイムスタンプ）も表示される。テキスト行に関連するタイムスタンプは、一般的に、その行の最初の単語に関連するタイムスタンプに対応する。
各テキスト行について、選択された単語又は検索単語を囲む１以上の単語が表示される。本発明の一実施形態によれば、エリア３４０−３に表示された選択された単語を囲む単語の数はユーザが選択可能である。例えば、図６に示したＧＵＩ３００において、ユーザは、コントロール３６４を用いて、エリア３４０−３に表示される周辺単語数を指定することができる。ユーザによって指定された数は、選択された単語の前に登場した単語数及び表示された選択単語の後に登場した単語数を示す。図６に示す実施形態において、コントロール３６４は、最小値「３」と最大値「１０」の間で調節可能なスライダ・バーである。ユーザは、スライダ・バー３６４を調節することによって、表示される周辺単語数を指定することができる。例えば、スライダ・バーが「３」にセットされると、選択された単語の前に登場した３つの単語と、選択された単語の後に登場した３つの単語がエリア３４０−３に表示される。これら最小値及び最大値は、ユーザが設定可能である。
さらに、図６に示すＧＵＩ３００は、検索単語又はユーザによって指定された他の単語の登場場所を示すサムネール画像３１２−１と３１２−２の間に挟まれたエリア３５８を有する。例えば、エリア３５８は、サムネール画像３１２−１に「Ｎａｔｉｏｎａｌ」という単語の場所を示すマーカを有する。すると、ユーザは、サムネール表示エリア・レンズ３１４又はパネル表示エリア・レンズ３２２を用いて、マルチメディア文書内で所望の場所へスクロールすることができる。図７は、本発明の一実施形態に係るエリア３５８を示す第二の表示エリア３０４の簡略化された拡大図を示す。図７に示すように、エリア３５８（又は、チャネル３５８）は、サムネール画像３１２−１において「Ｎａｔｉｏｎａｌ」という単語の存在を有する場所を示すマーカ３６０を有する。本発明の代替的実施形態として、チャネル３５８におけるマーカは、第二の表示エリア３０４に表示される他のサムネール画像におけるユーザ指定単語又はフレーズの場所も指定してもよい。代替的実施形態として、検索単語又はユーザによって指定された他の単語の存在場所は、（図２０Ａに示すように）サムネール画像３１２上に表示されてもよい。
図６に示すように、サムネール表示エリア・レンズ３１４の位置は図３に関して変えられている。サムネール表示エリア・レンズ３１４の位置が変えられると、第三の表示エリア３０６に表示されるマルチメディア情報は、第二の表示エリア３０４のうちのサムネール表示エリア・レンズ３１４によって強調された部分に対応するように、変化する。第四の表示エリア３０８に表示されるマルチメディア情報も、パネル表示エリア・レンズ３２２の新しい位置に応じて変化する。
本発明の一実施形態によれば、ＧＵＩ３００に表示されたユーザ指定の関心ある話題（ｔｏｐｉｃｓ ｏｆ ｉｎｔｅｒｅｓｔ）に関連するマルチメディア情報は強調されるか注釈が付けられる。注釈又は強調は、ユーザに関連する又はユーザが関心ある情報を視覚的に示す。このように、ＧＵＩ３００は、ユーザがマルチメディア文書のうち該ユーザに関連する部分を容易に見つけることを可能にする便利なツールを提供する。
本発明の一実施形態によれば、ユーザが関心ある又はユーザに関連する話題を指定する情報がユーザ・プロファイルに格納される。１以上の単語又はフレーズを関心ある各話題に関連付けることができる。特定のユーザ指定の関心ある話題に関連付けられた１以上の単語又はフレーズの存在は、該特定の話題に関する情報が存在することを示す。例えば、ユーザは、２つの関心ある話題：「Ｇｅｏｒｇｅ Ｗ．Ｂｕｓｈ（ジョージ・Ｗ・ブッシュ）」及び「Ｅｎｅｒｇｙ Ｃｒｉｓｉｓ（エネルギ危機）」を指定することができる。話題「Ｇｅｏｒｇｅ Ｂｕｓｈ」に関連付けられる単語又はフレーズは、例えば、「Ｐｒｅｓｉｄｅｎｔ Ｂｕｓｈ（ブッシュ大統領）」、「ｔｈｅ Ｐｒｅｓｉｄｅｎｔ（大統領）」、「Ｍｒ．Ｂｕｓｈ（ブッシュ氏）」などの単語及びフレーズを含む。話題「Ｅｎｅｒｇｙ Ｃｒｉｓｉｓ」に関連付けられる単語又はフレーズは、例えば、「ｉｎｄｕｓｔｒｉａｌ ｐｏｌｌｕｔｉｏｎ（産業公害）」、「ｎａｔｕｒａｌ ｐｏｌｌｕｔｉｏｎ（自然汚染）」、「ｃｌｅａｎ ｕｐ ｔｈｅ ｓｏｕｒｃｅｓ（水源浄化）」、「ａｍｏｕｎｔ ｏｆ ｐｏｌｌｕｔｉｏｎ（汚染量）」、「ａｉｒ ｐｏｌｌｕｔｉｏｎ（大気汚染）」、「ｅｌｅｃｔｒｉｃｉｔｙ（電気）」、「ｐｏｗｅｒ−ｇｅｎｅｒａｔｉｎｇ ｐｌａｎｔ（発電所）」、などを含む。単語又はフレーズの存在から考えられた関心ある話題の尤度を示す確率値が単語又はフレーズの各々に関連付けられてもよい。ユーザが関心ある話題を設定できるようにするツール、話題に関連付けられるキーワード及びフレーズを指定するツール、及び、キーワード又はフレーズに関連付けられる確率値を指定するツールなど様々なツールを設けることができる。
ユーザにとって関心ある話題をモデル化するのに当業者には既知の様々な他の手法も用いることができることは明らかである。これら手法とは、例えば、Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋｓやｒｅｌｅｖａｎｃｅ ｇｒａｐｈｓなどを用いることである。ユーザ指定の話題に関連する部分を決定する手法、関心ある話題を定義する手法、及び、キーワード及び／又はキーフレーズと確率値を関連付ける手法は、ここにその全体が参考文献としてここに組み込まれる、米国特許出願第０８／９９５，６１６号（出願日：１９９７年１２月２２日）に記載されている。
本発明の一実施形態によれば、マルチメディア文書においてユーザ指定の関心ある話題に関連する場所を特定するために、サーバ１０４は、マルチメディア文書を検索し、そのマルチメディア文書内でその関心ある話題に関連付けられた単語又はフレーズに関する場所を特定する。上述のように、特定のユーザ指定の関心ある話題に関連付けられた単語又はフレーズがマルチメディア文書に存在することは、そのユーザに関連する特定の話題が存在することを示す。マルチメディア文書に登場し、ユーザ指定の関心ある話題に関連付けられた単語及びフレーズは、ＧＵＩ３００によって表示されるとき、注釈が付けられる又は強調される。
図８は、ユーザが関心ある１以上の話題に関連するマルチメディア情報がＧＵＩ３００に表示されるときに強調された（又は、注釈が付けられた）、本発明の一実施形態に係る簡略化されたＧＵＩ８００の一例を示す。図８に示されたＧＵＩ８００は、本発明の一実施形態の単なる例示であり、請求項記載の本発明の範囲を限定するものではない。当業者には、他の変形例、修正例、及び、代替例も明らかであろう。
図８に示す実施形態において、ユーザは、関心ある話題８０２を４つ指定している。ラベル８０３は各話題を識別する。ＧＵＩ８００で指定された話題は、「Ｅｎｅｒｇｙ Ｃｒｉｓｉｓ（エネルギ危機）」、「Ａｓｓｉｓｔｉｖｅ Ｔｅｃｈ（補助技術）」、「Ｇｅｏｒｇｅ Ｗ．Ｂｕｓｈ（ジョージ・Ｗ・ブッシュ）」、及び、「Ｎｅｐａｌ（ネパール）」を含む。本発明の教えるところによれば、指定された話題に関連するキーワード及びキーフレーズは、第二の表示エリア３０４、第三の表示エリア３０６、及び、第四の表示エリア３０８において、強調される。関心ある話題に関連するキーワード及び／又はキーフレーズを強調させる又はそれらに注釈を付けるのには様々な異なる手法を用いることができる。本発明の一実施形態によれば、ユーザ指定の話題に関する単語及びフレーズを強調させるのに異なる色及びスタイル（例えば、太字、下線、異なるフォントサイズ、など）を用いることができる。例えば、各話題に特定の色を割り当て、特定の話題に関連するコンテンツはその特定の話題に割り当てられた特定の色を用いて強調されてもよい。例えば、図８に示すように、関心ある話題：「Ｅｎｅｒｇｙ Ｃｒｉｓｉｓ」に関連する単語及びフレーズを強調させるのに第一の色が用いられ、関心ある話題：「Ａｓｓｉｓｔｉｖｅ Ｔｅｃｈ」に関連する単語及びフレーズを強調させるのに第二の色が用いられ、関心ある話題：「Ｇｅｏｒｇｅ Ｗ．Ｂｕｓｈ」に関連する単語及びフレーズを強調させるのに第三の色が用いられ、関心ある話題：「Ｎｅｐａｌ」に関連する単語及びフレーズを強調させるのに第四の色が用いられる。
本発明の一実施形態によれば、サーバ１０４はマルチメディア情報から抽出されたテキスト情報（例えば、ＣＣテキスト情報、オーディオ情報の録音、又は、マルチメディア情報に含まれる他のいくつかの種類の情報のテキスト表現、など）を検索し、ユーザ話題に関連する単語又はフレーズの場所を探す。サーバ１０４が関心ある話題に関連付けられた単語又はフレーズをテキスト情報内に見つけると、その単語又はフレーズは、ＧＵＩ８００に表示されるとき、注釈が付けられる又は強調される。上述のように、この単語又はフレーズに注釈を付ける又は強調するのには複数の異なる手法を用いることができる。例えば、この単語又はフレーズは、例えば、強調されてもよく、太字にされてもよく、下線が引かれてもよく、サイドバー又はバルーンを用いて境界線が引かれてもよく、フォントが変えられてもよい。
ＧＵＩによって表示され、ユーザ指定の関心ある話題に関連するキーフレーム（マルチメディア文書のビデオ情報を代表する）も強調されてもよい。本発明の一実施形態によれば、サーバ・システム１０４は、ＯＣＲ技術を用いて、マルチメディア情報に含まれるビデオ情報から抽出されたキーフレームからテキストを抽出する。ＯＣＲ技術によるテキスト出力は、次いで、１以上のユーザ指定の関心ある話題に関連付けられた単語又はフレーズと比較される。一致するものがあれば、一致した単語又はフレーズを含むキーフレーム（すなわち、ＯＣＲ技術によって一致した単語又はフレームが抽出されたキーフレーム）は、そのキーフレームがＧＵＩ８００においてＧＵＩ８００の第二の表示エリア３０４、第三の表示エリア３０６、又は、第四の表示エリア３０８に表示されるとき、注釈が付けられる又は強調される。このキーフレームに注釈を付ける又は強調させるのには複数の異なる手法を用いることができる。例えば、特定の関心ある話題に関連するキーフレームの周囲に特殊な枠線が引かれてもよい。この枠線の色がその特定の関心ある話題に関連付けられた色に対応してもよい。また、キーフレームにおける合致テキストは、強調されてもよく、下線が引かれてもよく、あるいは、反転映像で表示されてもよい。上述のように、第二の表示エリア３０４に表示された注釈が付けられた又は強調されたキーフレーム（例えば、図３にサムネール画像３１２−２として表示されたキーフレーム）は、チャネル・エリア３５８に表示されるマーカによって識別できる。代替的実施形態として、このキーフレームは、サムネール画像３１２−２において、注釈が付けられてもよく、又は強調されてもよい。
本発明の一実施形態によれば、図８に示すように、各ユーザ話題について、関連度インジケータ８０４も表示される。特定の話題について、その話題に関する関連度インジケータは、そのマルチメディア文書の該特定の話題に対する関連性の度合（又は、関連性のスコア）を示す。例えば、図８に示すように、特定の話題に関連付けられた関連性インジケータに表示されたバーの数は、そのマルチメディア文書の該特定の話題に対する関連性の度合を示す。したがって、ＧＵＩ８００に表示されたマルチメディア文書は、ユーザ話題「Ｅｎｅｒｇｙ Ｃｒｉｓｉｓ」に対して最も関連性を有し（４つのバーで示されている）、ユーザ話題「Ｎｅｐａｌ」に対して最も関連性を有しない（１つのバーで示されている）。各話題のマルチメディア文書に対する関連性の度合を示す様々な他の手法（例えば、関連性スコア、棒グラフ、異なる色、など）も用いることができる。
本発明の一実施形態によれば、特定の話題についての関連性スコアは、その特定の話題に関連付けられた単語及びフレーズがマルチメディア情報に登場する頻度に基づいて計算される。また、その特定の話題についての関連性スコアを計算するのにその特定の話題に関連付けられた単語又はフレーズに関する確率値を用いることもできる。また、ある話題に関連付けられた単語及びフレーズがマルチメディア文書に登場する頻度及びその単語又はフレーズに関連付けられた確率値に基づいてユーザ指定の関心ある話題に関する関連性スコアを決定するのには当業者には既知の様々な手法も用いることができる。また、マルチメディア文書のその関心ある話題に対する関連性の度合を計算するのには当業者には既知の様々な他の手法も用いることができる。
既述のように、関連性インジケータは、そのユーザに対する関連性の度合又は関連性スコアを表示するのに用いられる。関連性インジケータに表示された情報に基づいて、ユーザは、マルチメディア文書によって格納されたマルチメディア情報の該ユーザが指定し得る話題に対する関連性を容易に判断することができる。
図９は、本発明の一実施形態に関する関心ある話題を定義する簡略化されたユーザ・インターフェース９００を示す。ユーザ・インターフェース９００は、第一の表示エリア３０２から適切なコマンドを選択することによって呼び出すことができる。図９に示すＧＵＩ９００は、本発明の一実施形態の単なる一例であり、請求項記載の本発明の範囲を制限するものではない。当業者には他の変形例、修正例、及び、代替例も明らかであろう。
ユーザは、フィールド９０２において関心ある話題を指定できる。この関心ある話題を識別するラベルをフィールド９１０において指定することができる。フィールド９１０において指定されたラベルは、その関心ある話題を識別するために、本発明の教えるところに従って生成されたＧＵＩに表示される。フィールド９０２において指定された話題に関連付けられた単語及び／又はフレーズのリストがエリア９０８に表示される。ユーザは、このリストに新しいキーワードを追加したり、リスト中の１以上のキーワードを修正したり、この関心ある話題に関連付けられたキーワード・リストから１以上のキーワードを削除したり、することができる。ユーザは、フィールド９０４において、関心ある話題に関連付けられる新しいキーワード又はフレーズを指定することができる。「追加」ボタン９０６を選択すると、フィールド９０４において指定されたキーワード又はフレーズが前にある話題に関連付けられたキーワード・リストに追加される。ユーザは、エリア９１２において色を選択することによって、関心ある話題に関連する情報に注釈を付ける又は強調するのに用いられる色を指定することができる。例えば，図９に示す実施形態において、マルチメディア文書において「Ａｓｓｉｓｔｉｖｅ Ｔｅｃｈｎｏｌｏｇｙ」に関連する位置は、青色で注釈が付けられる又は強調される。
本発明の教えるところによれば、サーバ１０４によって生成されたＧＵＩは、マルチメディア情報に含まれる様々な異なる種類の情報を表示できる。図１０は、本発明の一実施形態に係る会議録画によって格納されたマルチメディア情報を表示する簡略化されたユーザ・インターフェース１０００を示す。図１０に示すＧＵＩ１０００は本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではないことは明らかである。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
会議録画によって格納されたマルチメディア情報は、ビデオ情報及びオーディオ情報を有すると共に、おそらく、ＣＣテキスト情報、スライド情報、及び、他の種類の情報も有する。スライド情報は、会議中に提示されたスライド（例えば、ＰｏｗｅｒＰｏｉｎｔプレゼンテーション・スライド）に関連する情報を含み得る。例えば、スライド情報は、会議において提示されたスライド画像を含む。図１０に示すように、第二の表示エリア３０４は、３つのサムネール画像３１２−１、３１２−２、及び、３１２−３を有する。会議録画マルチメディア情報から抽出されたテキスト情報（例えば、ＣＣテキスト情報、会議録画に含まれるオーディオ情報の録音、又は、会議録画に含まれる他の種類の情報のテキスト表現）がサムネール画像３１２−１に表示される。会議録画マルチメディア情報に含まれるビデオ情報から抽出されたビデオ・キーフレームは、サムネール画像３１２−２に表示される。マルチメディア情報に含まれるスライド情報から抽出されたスライドは、サムネール画像３１２−３に表示される。このサムネール画像は、互いに時系列に並べられる。サムネール画像３１２−４に表示される情報は、ユーザが会議録画中の様々な時点で提示されたプレゼンテーション・スライドを見ることができるという点で、ビデオ及びテキスト情報に対する追加的コンテキストを提供する。
第三の表示エリア３０６は、３つのパネル３２４−１、３２４−２、及び３２４−３を有する。パネル３２４−１は、サムネール画像３１２−１のうちサムネール表示エリア・レンズ３１４によって強調された又は覆われた部分に対応するテキスト情報を表示する。パネル３２４−２は、サムネール画像３１２−２のうちサムネール表示エリア・レンズ３１４によって強調された又は覆われた部分に対応するビデオ・キーフレームを表示する。パネル３２４−３は、サムネール画像３１２−３のうちサムネール表示エリア・レンズ３１４によって強調された又は覆われた部分に対応する１以上のスライドを表示する。これらパネルは、互いに時系列に並べられる。
第四の表示エリア３０８は、３つのサブ表示エリア３４０−１、３４０−２、及び３４０−３を有する。サブ表示エリア３４０−１は、パネル３２４−２のうちパネル表示エリア・レンズ３２２によって覆われた部分に対応するビデオ情報を表示する。上述のように、サブ表示エリア３４０−１は、パネル３２４−２の強調された部分に対応するキーフレームを表示し得る。別の方法として、パネル表示エリア・レンズ３２２の部分に基づくビデオがエリア３４０−１において再生されてもよい。本発明の一実施形態によれば、レンズ３２２に関連する時刻ｔ３は、第四の表示エリア３０８のエリア３４０−１においてそのビデオの再生を開始する時間として用いられる。例えば３６０度カメラを用いて記録された会議室のパノラマ・ショットも第四の表示エリア３０８のエリア３４０−１に表示される。パネル３２４−１においてパネル表示エリア・レンズ３２２によって強調されたテキスト情報は、第四の表示エリア３０８のエリア３４０−２に表示される。パネル３２４−３においてパネル表示エリア・レンズ３２２によって強調された１以上のスライドが第四の表示エリア３０８のエリア３４０−３に表示される。本発明の一実施形態によれば、ユーザは、特定のスライドをクリックすることによって、パネル３２４−３からそのスライドを選択することもできる。選択されたスライドは、次いで、第四の表示エリア３０８のエリア３４０−３に表示される。
本発明の一実施形態によれば、ユーザは、マルチメディア文書に含まれる情報のうちＧＵＩに表示される情報の種類を指定することができる。例えば、ユーザは、「スライド」ボタン１００４を選択状態にする又は非選択状態にすることによって、ＧＵＩに表示されるスライド関連情報（すなわち、サムネール画像３１２−３、パネル３２４−３、及び、第四の表示エリア３０８のエリア３４０―３に表示される情報）をオン／オフすることができる。ユーザがスライド情報を非選択状態とした場合、ＧＵＩ１０００はサムネール３１２−３及びパネル３２４−３を表示しない。ユーザがボタン１００４を選択状態とした場合、ＧＵＩ１０００はサムネール３１２−３及びパネル３２４−３を表示する。このように、ボタン１００４は、スライド情報の表示／非表示を切り替えるスイッチとして機能する。同様に、ユーザは、本発明の教えに従って生成されるＧＵＩによって表示される他の種類の情報も制御することができる。例えば、ＧＵＩ１０００が表示するビデオ情報、テキスト情報、及び、他の種類の情報をオン／オフする機能を設けることができる。
図１１は、本発明の一実施形態に係り、マルチメディア文書によって格納されたマルチメディア情報を表示する簡略化されたユーザ・インターフェース１１００を示す。図１１に示すＧＵＩ１１００は、本発明を組み込む一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではないことは明らかである。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
含まれるコンテンツがＧＵＩ１１００に表示されたマルチメディア文書は、ビデオ情報、オーディオ情報、又は、ＣＣテキスト情報、スライド情報、及び、ホワイトボード情報を有する。ホワイトボード情報は、ホワイトボード上に書かれたテキスト及び図の画像を含み得る。図１１に示すように、第二の表示エリア３０４は、４つのサムネール画像３１２−１、３１２−２、３１２−３、及び３１２−４を有する。マルチメディア文書から抽出されたテキスト情報（例えば、ＣＣテキスト情報、又は、会議録画に含まれたオーディオ情報の録音、又は、マルチメディア情報に含まれる他の種類のテキスト表現）がサムネール画像３１２−１に表示される。マルチメディア文書に含まれるビデオ情報から抽出されたビデオ・キーフレームはサムネール画像３１２−２に表示される。マルチメディア情報に含まれるスライド情報から抽出されたスライドはサムネール画像３１２−３に表示される。マルチメディア文書に含まれるホワイトボード情報から抽出されたホワイトボード画像はサムネール画像３１２−４に表示される。これらサムネール画像は、互いに時系列に並べられる。
第三の表示エリア３０６は、４つのパネル３２４−１、３２４−２、３２４−３、及び３２４−４を有する。パネル３２４−１は、サムネール画像３１２−１のうちサムネール表示エリア・レンズ３１４によって強調された又は覆われた部分に対応するテキスト情報を表示する。パネル３２４−２は、サムネール画像３１２−２のうちサムネール表示エリア・レンズ３１４によって強調された又は覆われた部分に対応するビデオ・キーフレームを表示する。パネル３２４−３は、サムネール画像３１２−３のうちサムネール表示エリア・レンズ３１４によって強調された又は覆われた部分に対応する１以上のスライドを表示する。パネル３２４−４は、サムネール画像３１２−４のうちサムネール表示エリア・レンズ３１４によって強調された又は覆われた部分に対応する１以上のホワイトボード画像を表示する。これらパネルは互いに時系列に並べられる。
第四の表示エリア３０８は、３つのサブ表示エリア３４０−１、３４０−２、及び３４０−３を有する。エリア３４０−１は、パネル３２４−２のうちパネル表示エリア・レンズ３２２によって覆われた部分に対応するビデオ情報を表示する。上述のように、サブ表示エリア３４０−１は、パネル３２４−２の強調された部分に対応するキーフレームを表示してもよく、対応するビデオを再生してもよい。本発明の一実施形態によれば、レンズ３２２に関連する（上述の）時刻ｔ３は、第四の表示エリア３０８のエリア３４０−１におけるそのビデオの再生の開始時刻として用いられる。マルチメディア文書が記録された場所の（例えば、３６０度カメラを用いて記録された）パノラマ・ショット１１０２も第四の表示エリア３０８のエリア３４０−１に表示される。パネル３２４−１においてパネル表示エリア・レンズ３２２によって強調されたテキスト情報は、第四の表示エリア３０８のエリア３４０−２に表示される。パネル３２４−３においてパネル表示エリア・レンズ３２２によって強調されたスライド、又は、パネル３２４−４においてパネル表示エリア・レンズ３２２によって強調されたホワイトボード画像が第四の表示エリア３０８のエリア３４０−３に表示されてもよい。図１１に示す実施形態において、パネル３２４−４のうちパネル表示エリア・レンズ３２２によって覆われた部分に対応するホワイトボード画像は、エリア３４０−３に表示される。本発明の一実施形態によれば、ユーザは、パネル３２４−３の特定のスライド又はパネル３２４−４の特定のホワイトボード画像をクリックすることによって、そのスライド又はホワイトボード画像を選択することができる。選択されたスライド又はホワイトボード画像は、次いで、第四の表示エリア３０８のエリア３４０−３に表示される。
上述のように、本発明の一実施形態によれば、ユーザは、マルチメディア文書からの情報のうちＧＵＩに表示される情報の種類を指定することができる。例えば、ユーザは、ＧＵＩによって表示される特定の種類の情報をオン／オフさせることができる。ユーザは、「ＷＢ」ボタン１１０４を用いて、ＧＵＩ１０００によって表示されるホワイトボード関連情報（すなわち、サムネール画像３１２−４、パネル３２４−４、及び、第四の表示エリア３０８のエリア３４０−３）をオン／オフさせることができる。
図１２は、本発明の一実施形態に係るマルチメディア文書のコンテンツを表示する簡略化されたユーザ・インターフェース１２００を示す。図１２に示すＧＵＩ１２００は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではないことは明らかである。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図１２に示すように、第三の表示エリア３０６の上部及び下部にはプレビュー・エリア１２０２及び１２０４が設けられる。本実施形態において、パネル表示エリア・レンズ３２２は、第三の表示エリア３０６に沿って、プレビュー・エリア１２０２の端１２０６とプレビュー・エリア１２０４の端１２０８との間で動かすことができる。プレビュー・エリア１２０２及び１２０４により、ユーザは、パネル表示エリア・レンズ３２２を用いてマルチメディア文書をスクロールさせているとき、第三の表示エリア３０６に表示されたコンテンツをプレビューすることができる。例えば、ユーザがパネル表示エリア・レンズ３２２を用いてマルチメディア文書をスクロール・ダウンさせているとき、ユーザはプレビュー１２０４において次に来るコンテンツを見ることができ、第三の表示エリア３０６を去っていくコンテンツをプレビュー１２０２において見ることができる。ユーザがパネル表示エリア・レンズ３２２を用いてマルチメディア文書をスクロール・アップさせているとき、ユーザはプレビュー１２０２において次に来るコンテンツを見ることができ、第三の表示エリア３０６を去っていくコンテンツをプレビュー１２０４において見ることができる。本発明の一実施形態によれば、ユーザは、各プレビュー領域のサイズ（又は長さ）を変更及びカスタマイズすることができる。例えば、図１２に示すＧＵＩ１２００において、ユーザがプレビュー領域１２０４のサイズを変更するのに用いるハンドル１２１０が設けられる。本発明の一実施形態によれば、プレビュー・エリアもまた第二の表示エリア３０４に設けられてもよい。
図１３は、本発明の一実施形態に係り、マルチメディア文書のコンテンツを表示する簡略化されたユーザ・インターフェース１３００を示す。図１３に示すＧＵＩ１３００は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではないことは明らかである。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図１３に示すように、第三の表示エリア３０６のパネル３２４−１に、テキスト情報が圧縮された形式で、すなわち行間の余白が削除されて、表示される。これにより、テキスト情報の読み易さが向上する。パネル３２４−１に表示されたテキスト行は、次いで、パネル３２４−２に表示されるビデオ・フレームを決定するのに用いられる。本発明の一実施形態によれば、パネル３２４−１に表示されるテキストの各行にタイムスタンプが関連付けられる。一テキスト行に関連付けられるタイムスタンプは、そのテキストがＧＵＩ１３００によって表示されているマルチメディア文書に登場した時刻を表す。一実施形態において、一テキスト行に関連付けられたタイムスタンプは、そのテキスト行の最初の単語に関連付けられたタイムスタンプと一致する。次いで、パネル３２４−１に表示されたテキスト行は、各グループが所定の行数を有するように、グループ分けされる。
次いで、行グループの各々について、そのグループの行に関連付けられたタイムスタンプに応じて、マルチメディア文書によって格納されたビデオ情報からビデオ・キーフレームが抽出される。本発明の一実施形態によれば、サーバ１０４は、行グループの各々に関連付けられる開始時刻及び終了時刻を決定する。あるグループについての開始時刻は、そのグループの最初の（最も古い）行に関連付けられた時刻と一致し、あるグループについての終了時刻は、そのグループの最後の（最も新しい）行に関連付けられた時刻と一致する。特定のテキスト行グループに対応するパネル３２４−２に表示されるキーフレームを決定するために、サーバ１０４は、ビデオ情報のうちその特定のグループに関連付けられた開始時刻と終了時刻との間に登場した部分から１以上のビデオ・キーフレームを抽出する。次いで、抽出されたビデオ・キーフレームからその特定のグループについてパネル３２４−２に表示される１以上のキーフレームが選択される。この１以上の選択されたキーフレームは、次いで、そのキーフレームが抽出されたパネル３２４−１に表示された行グループに隣接して、パネル３２４−１に表示される。
例えば、図１３において、パネル３２４−１に表示される行は、各グループが４テキスト行を有するように、グループに分割される。各グループについて、そのグループの１番目の行に関連付けられたタイムスタンプがそのグループについての開始時刻と一致し、そのグループの４番目の行に関連付けられたタイムスタンプがその行グループについての終了時刻と一致する。図１３に示す実施形態では、パネル３２４−１に表示される４テキスト行から成る各グループの各々について、３つのビデオ・キーフレームがパネル３２４−２に表示される。本発明の一実施形態によれば、特定の行グループに対応するこれら３つのビデオ・キーフレームは、その特定のグループの開始時刻と終了時刻の間のビデオ情報から抽出されたキーフレーム群のうちの最初、真ん中、及び最後のキーフレームに対応する。上述のように、パネル３２４−２に表示されるビデオ・キーフレームを選択するのには様々な他の手法も用いることができる。パネル３２４−１に表示される行グループの各々について、その行グループに対応するキーフレームは、それらキーフレームが時間的に行グループと揃うように、表示される。図１３に示す実施形態において、ある行グループについてのキーフレームの高さは、その行グループの垂直高さとほぼ等しい。
一グループに含まれるテキスト行の行数は、ユーザが設定可能である。同様に、特定の行グループについて抽出されるビデオ・キーフレーム数もユーザが設定可能である。さらに、各行グループについてパネル３２４−２に表示されるビデオ・キーフレームも本発明のユーザが設定することができる。
抽出されたキーフレームがパネル３２４−２にどのように表示されるかもユーザが設定可能である。特定の行グループとその特定の行グループについて表示されるビデオ・キーフレームとの間の関係を示すのに様々な手法を用いることができる。例えば、本発明の一実施形態によれば、パネル３２４−１に表示される特定の行グループ及びパネル３２４−２に表示される対応するビデオ・キーフレームは、その関係を示すために、同じ色で色分け又は表示されてもよい。この関係を示すのには当業者には既知の様々な他の手法も用いることができる。
（本発明の一実施形態に係るＧＵＩ生成手法）
以下、本発明の一実施形態に係るＧＵＩ（例えば、図３に示したＧＵＩ３００）生成手法について説明する。便宜上、ＧＵＩに表示されるマルチメディア情報は、ビデオ情報、オーディオ情報、及び、ＣＣテキスト情報を有するものとする。ＧＵＩ３００を生成するタスクを分解すると、（ａ）マルチメディア情報から抽出されたテキスト情報を表示するサムネール３１２−１を第二の表示エリア３０４に表示するタスク、（ｂ）マルチメディア情報に含まれるビデオ情報から抽出されたビデオ・キーフレームを表示するサムネール３１２−２を表示するタスク、（ｃ）第二の表示エリア３０４の一部を強調し、この第二の表示エリア３０４の強調された部分に対応する情報を第三の表示エリア３０６に表示するサムネール表示エリア・レンズ３１４、及び、第三の表示エリア３０６の一部を強調し、この第三の表示エリア３０６の強調された部分に対応する情報を第四の表示エリア３０８に表示するパネル表示エリア・レンズ３２２、を表示するタスク、及び、（ｄ）第五の表示エリア３１０に情報を表示するタスク、に分けることができる。
図１４は、本発明の一実施形態に係るサムネール３１２−１を第二の表示エリア３０４に表示する方法を示す簡略化された高レベル・フローチャート１４００である。図１４に示す方法は、サーバ１０４によって実行されてもよく、クライアント１０２によって実行されてもよく、或いは、サーバ１０４及びクライアント１０２によって共同して実行されてもよい。例えば、本方法は、サーバ１０４又はクライアント１０２上で実行するソフトウェア・モジュールによって実行されてもよく、サーバ１０４又はクライアント１０２に接続されたハードウェア・モジュールによって実行されてもよく、或いは、これらの組み合わせでもよい。以下に説明する実施形態では、本方法はサーバ１０４によって実行される。図１４に示す方法は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図１４に示すように、本方法は、サーバ１０４がＧＵＩに表示されたマルチメディア情報にアクセスしたときに開始される（ステップ１４０２）。既述のように、マルチメディア情報は、サーバ１０４がアクセス可能なマルチメディア文書に格納され得る。ステップ１４０２の一部として、サーバ１０４はマルチメディア文書を識別する情報（例えば、そのマルチメディア文書のファイル名）及びそのマルチメディア文書の場所（例えば、ディレクトリ・パス）を受信してもよい。本発明のユーザがマルチメディア文書識別情報を提供してもよい。その場合、サーバ１０４は、提供された情報に基づいてマルチメディア文書にアクセスすることができる。別の方法として、サーバ１０４は、ＧＵＩに表示されるマルチメディア情報をマルチメディア情報源からストリーミング媒体信号、ケーブル信号、などの形で受信してもよい。その場合、サーバ・システム１０４は、マルチメディア情報信号をマルチメディア文書として格納し、その後、格納された文書を用いて本発明の教えるところに従ったＧＵＩを生成する。
次いで、サーバ１０４は、ステップ１４０２でアクセスしたマルチメディア情報からテキスト情報を抽出する（ステップ１４０４）。ステップ１４０２でアクセスしたマルチメディア情報がＣＣテキスト情報を含む場合、このテキスト情報は、マルチメディア情報から抽出されたＣＣテキスト情報に対応する。ステップ１４０２でアクセスしたマルチメディア情報がＣＣテキスト情報を含まない場合、ステップ１４０４において、ステップ１４０２にアクセスされたマルチメディア情報に含まれるオーディオ情報が録音され、そのオーディオ情報のテキスト録音が生成される。このテキスト録音は、ステップ１４０４で抽出されたテキスト情報を表す。また、ステップ１４０４で抽出されたテキスト情報は、マルチメディア情報に含まれる他の種類の情報のテキスト表現であってもよい。
ステップ１４０４で決定されたテキスト情報は、各行が１以上の単語を有する行の集合を含む。各単語には、その単語がマルチメディア情報に登場した時刻を示すタイムスタンプが関連付けられる。各単語についてのタイムスタンプ情報は、ＣＣテキスト情報に含まれる。別の方法として、そのテキストがオーディオ情報の録音を表す場合、この各単語についてのタイムスタンプ情報は、オーディオ録音処理中に決定されてもよい。別の方法として、そのテキスト情報がマルチメディア情報に含まれる他の種類の情報のテキスト表現を表す場合、その他の種類の情報に関連付けられるタイムスタンプが決定されてもよい。
ステップ１４０４の一部として、各行に、その行に含まれる単語に基づいて、開始時刻及び終了時刻が割り当てられる。ある行の開始時刻は、その行に登場する最初の単語に関連付けられたタイムスタンプに一致し、ある行の終了時刻は、その行に登場する最後の単語に関連付けられたタイムスタンプに一致する。
タイミング情報などのステップ１４０４で決定されたテキスト情報は、次いで、サーバ１０４がアクセスできるメモリ・ロケーションに格納される（ステップ１４０６）。一実施形態において、テキスト情報を格納するのに行オブジェクトの連結リストを含むデータ構造（又は、メモリ構造）が用いられる。各行オブジェクトは、その行に含まれる単語の連結リストを有する。また、単語及び行に関連付けられたテキスト情報も、このデータ構造に格納される。このデータ構造に格納された情報は、次いで、ＧＵＩ３００を生成するのに用いられる。
次いで、サーバ１０４は、そのテキスト情報を描画するパネル（以下、「テキスト・キャンバス」と呼ぶ）の長さ又は高さをピクセル単位で決定する（ステップ１４０８）。テキスト・キャンバスの長さを決定するために、マルチメディア情報の（又は、マルチメディア文書を格納するマルチメディア文書の）持続時間（「ｄｕｒａｔｉｏｎ」）が秒単位で決定される。また、１秒あたりのピクセル（「ｐｐｓ」）値も定義される。この「ｐｐｓ」は、テキスト・キャンバスに描画されるテキストの行間の距離を決定する。このように、ｐｐｓの値は、ユーザがテキスト行が表示されるとき互いにどのくらい接近していて欲しいかとそのテキストを表示するのに用いられるフォントのサイズとに依存する。本発明の一実施形態によれば、６ポイントのフォントを用いると、ｐｐｓ値＝５が指定される。テキスト・キャンバスのピクセル単位での全高（「ｔｅｘｔＣａｎｖａｓＨｅｉｇｈｔ」）は以下のように決定される。
ｔｅｘｔＣａｎｖａｓＨｅｉｇｈｔ＝ｄｕｒａｔｉｏｎ＊ｐｐｓ
例えば、マルチメディア情報の持続時間（ｄｕｒａｔｉｏｎ）が１時間（すなわち、３，６００秒）で、ｐｐｓ値が５の場合、テキスト・キャンバス（ｔｅｘｔＣａｎｖａｓＨｅｉｇｈｔ）の高さは１８，０００ピクセル（＝３，６００＊５）となる。
次いで、テキスト・キャンバスにおけるピクセル位置を秒に変換し、秒をテキスト・キャンバスのピクセル位置に変換する乗数が計算される（ステップ１４１０）。所定の時間値（秒単位）をテキスト・キャンバスの特定のピクセル位置に変換する乗数「ｐｉｘ＿ｍ」が計算される。乗数ｐｉｘ＿ｍは、特定の時間値に対応するテキスト・キャンバスのピクセル位置を決定するのに用いることができる。ｐｉｘ＿ｍの値は、以下のように決定される。
ｐｉｘ＿ｍ＝ｔｅｘｔＣａｎｖａｓＨｅｉｇｈｔ／ｄｕｒａｔｉｏｎ
例えば、ｄｕｒａｔｉｏｎ＝３，６００秒、且つ、ｔｅｘｔＣａｎｖａｓＨｅｉｇｈｔ＝１８，０００ピクセルの場合、ｐｉｘ＿ｍ＝１８，０００／３，６００＝５となる。
テキスト・キャンバスの特定のピクセル位置を対応する時間値に変換する乗数ｓｅｃ＿ｍが計算される。乗数ｓｅｃ＿ｍは、テキスト・キャンバスのピクセル位置に対応する時間値を決定するのに用いることができる。ｓｅｃ＿ｍの値は、以下のように決定される。
ｓｅｃ＿ｍ＝ｄｕｒａｔｉｏｎ／ｔｅｘｔＣａｎｖａｓＨｅｉｇｈｔ
例えば、ｄｕｒａｔｉｏｎ＝３，６００秒、且つ、ｔｅｘｔＣａｎｖａｓＨｅｉｇｈｔ＝１８，０００ピクセルの場合、ｓｅｃ＿ｍ＝３，６００／１８，０００＝０．２となる。
ステップ１４１０において計算された乗数は、次いで、ピクセルを秒に、秒をピクセルに、変換するのに用いることができる。例えば、マルチメディア情報において時刻ｔ＝１，２５６秒に発生したあるイベントのテキスト・キャンバスにおけるピクセル位置は、テキスト・キャンバスの上から１，２５６＊ｐｉｘ＿ｍ＝１，２５６＊５＝６，２８０ピクセルのところである。テキスト・キャンバスにおいてピクセル位置ｐ＝２３１に対応する秒数は、２３１＊ｓｅｃ＿ｍ＝２３１＊０．２＝４６．２秒である。
ステップ１４０８において決定されたテキスト・キャンバスの高さと、ステップ１４１０において生成された乗数とに基づいて、ステップ１４０４で抽出されたテキスト情報の単語について位置座標（水平座標Ｘ及び垂直座標Ｙ）が計算される（ステップ１４１２）。既述のように、単語及び行に関連する情報、及び、それらに関連付けられたタイムスタンプは、サーバ１０４がアクセス可能なデータ構造に格納され得る。各単語について計算された位置座標値もこのデータ構造に格納されてもよい。
ある単語についてのＹ（垂直）座標（Ｗｙ）は、その単語に関連付けられた秒単位のタイムスタンプ（Ｗｔ）にステップ１４１０で決定された乗数ｐｉｘ＿ｍを掛けることによって計算される。したがって、
Ｗｙ（ピクセル単位）＝Ｗｔ＊ｐｉｘ＿ｍ
となる。例えば、特定の単語がＷｔ＝５３９秒を有する（すなわち、その単語はマルチメディア情報に入って５３９秒後に登場した）場合、テキスト・キャンバスの上からＷｙ＝５３９＊５＝２，６９５ピクセルである。
ある単語についてのＸ（水平）座標（Ｗｘ）は、その単語の行内位置及びその行での前の単語の幅に基づいて計算される。例えば、ある特定の行（Ｌ）が４つの単語を有する場合、すなわち、Ｌ：Ｗ１Ｗ２Ｗ３Ｗ４の場合、
Ｗ１のＷｘ＝０
Ｗ２のＷｘ＝（Ｗ１のＷｘ）＋（Ｗ１の幅）＋（単語の間隔）
Ｗ３のＷｘ＝（Ｗ２のＷｘ）＋（Ｗ２の幅）＋（単語の間隔）
Ｗ４のＷｘ＝（Ｗ３のＷｘ）＋（Ｗ３の幅）＋（単語の間隔）
次いで、テキスト情報の単語がステップ１４１２で単語について計算されたＸ及びＹ座標によって決定されたテキスト・キャンバス上の位置に描画される（ステップ１４１４）。
次いで、サーバ１０４は、ＧＵＩ３００の第二の表示エリア３０４にテキスト情報を表示するサムネール３１２−１の高さを決定する（ステップ１４１６）。サムネール３１２−１の高さ（ＴｈｍｂｎａｉｌＨｅｉｇｈｔ）は、マルチメディア情報を表示するのに用いられるＧＵＩウィンドウの高さと、このＧＵＩウィンドウ内の第二の表示エリア３０４の高さとに依存する。ＴｈｕｍｂｎａｉｌＨｅｉｇｈｔの値は、サムネール３１２−１が第二の表示エリア３０４のＧＵＩにフィットするように、セットされる。
次いで、サムネール３１２−１の高さがＴｈｕｍｂｎａｉｌＨｅｉｇｈｔに等しくなり、サムネールが第二の表示エリア３０４のサイズ制約内に完全にフィットするように、テキスト・キャンバスを縮小することによって、サムネール３１２−１が生成される（ステップ１４１８）。次いで、テキスト・キャンバスの縮小版を表すサムネール３１２−１は、ＧＵＩ３００の第二の表示エリア３０４に表示される（ステップ１４２０）。
次いで、サムネール３１２−１におけるピクセル位置を秒に変換し、秒をサムネール３１２−１におけるピクセル位置に変換する乗数が計算される（ステップ１４２２）。所定の時間値（秒単位）をサムネール３１２−１における特定のピクセル位置に変換する乗数「ｔｐｉｘ＿ｍ」が計算される。乗数ｔｐｉｘ＿ｍは、特定の時間値に対応するサムネールにおけるピクセル位置を決定するのに用いることができる。ｔｐｉｘ＿ｍの値は、以下のように決定される。
ｔｐｉｘ＿ｍ＝ＴｈｕｍｂｎａｉｌＨｅｉｇｈｔ／ｄｕｒａｔｉｏｎ
例えば、ｄｕｒａｔｉｏｎ＝３，６００秒、且つ、ＴｈｕｍｂｎａｉｌＨｅｉｇｈｔ＝９００の場合、ｔｐｉｘ＿ｍ＝９００／３，６００＝０．２５となる。
サムネール３１２−１における特定のピクセル位置を対応する時間値に変換する乗数「ｔｓｅｃ＿ｍ」が計算される。乗数ｔｓｅｃ＿ｍは、サムネール３１２−１における特定のピクセル位置についての時間値を決定するのに用いることができる。ｔｓｅｃ＿ｍの値は、以下のように決定される。
ｔｓｅｃ＿ｍ＝ｄｕｒａｔｉｏｎ／ＴｈｕｍｂｎａｉｌＨｅｉｇｈｔ
例えば、ｄｕｒａｔｉｏｎ＝３，６００秒、且つ、ＴｈｕｍｂｎａｉｌＨｅｉｇｈｔ＝９００の場合、ｔｓｅｃ＿ｍ＝３，６００／９００＝４となる。
乗数ｔｐｉｘ＿ｍ及びｔｓｅｃ＿ｍは、次いで、ピクセルを秒に、秒をサムネール３１２−１におけるピクセルに、変換するのに用いることができる。例えば、マルチメディア情報において時刻ｔ＝１，２５６秒に発生した単語のサムネール３１２−１におけるピクセル位置は、サムネール３１２−１の上から１，２５６＊ｔｐｉｘ＿ｍ＝１，２５６＊０．２５＝３１４ピクセルのところである。サムネール３１２−１においてピクセル位置ｐ＝２３１によって表される秒数は、２３１＊ｔｓｅｃ＿ｍ＝２３１＊４＝９２４秒である。
図１５は、本発明の一実施形態に係るＧＵＩ３００の第二の表示エリア３０４に、ビデオ情報から抽出されたビデオ・キーフレームを示すサムネール３１２−２を表示する方法を示す簡略化された高レベル・フローチャート１５００である。図１５に示す方法は、サーバ１０４によって実行されてもよく、クライアント１０２によって実行されてもよく、或いは、サーバ１０４及びクライアント１０２によって共同して実行されてもよい。例えば、本方法は、サーバ１０４又はクライアント１０２上で実行するソフトウェア・モジュールによって実行されてもよく、サーバ１０４又はクライアント１０２に接続されたハードウェア・モジュールによって実行されてもよく、或いは、これらの組み合わせでもよい。以下に説明する実施形態では、本方法はサーバ１０４によって実行される。図１５に示す方法は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
便宜上、テキスト情報を表示するサムネール３１２−１は図１４に示したフローチャートに従って既に表示されているものとする。図１５に示すように、サーバ１０４は、マルチメディア情報に含まれるビデオ情報からキーフレーム群を抽出する（ステップ１５０２）。これらビデオ・キーフレームは、特定のサンプリング・レートでビデオ情報をサンプリングすることによって、ビデオ情報から抽出することができる。本発明の一実施形態によれば、キーフレームは、毎秒１フレームのサンプリング・レートで、ビデオ情報から抽出される。したがって、マルチメディア情報の持続時間が１時間（３，６００秒）の場合、ステップ１５０２において、ビデオ情報から３，６００のビデオ・キーフレームが抽出される。ステップ１５０２で抽出された各キーフレームには、マルチメディア情報においてそのキーフレームが登場する時刻を示すタイムスタンプが関連付けられる。
ステップ１５０２で抽出されたビデオ・キーフレーム及びそれらに関連付けられたタイムスタンプ情報は、サーバ１０４がアクセス可能なデータ構造（又は、メモリ構造）に格納される（ステップ１５０４）。このデータ構造に格納された情報は、次いで、サムネール３１２−２を生成するのに用いられる。
次いで、ステップ１５０４で抽出されたビデオ・キーフレームは、グループ分けされる（ステップ１５０６）。キーフレームをグループ分けするのにはユーザが設定可能な時間期間（「ｇｒｏｕｐＴｉｍｅ」）が用いられる。本発明の一実施形態によれば、ｇｒｏｕｐＴｉｍｅは８秒にセットされる。この実施形態において、各グループは、８秒間の時間期間窓内で抽出されたビデオ・キーフレームを有する。例えば、マルチメディア情報の持続時間が１時間（３，６００秒）であり、毎秒１フレームのサンプリング・レートを用いてビデオ情報から３，６００のビデオ・キーフレームが抽出される場合、ｇｒｏｕｐＴｉｍｅが８秒にセットされていれば、３，６００のキーフレームが４５０グループに分割され、各グループが８つのビデオ・キーフレームを有することになる。
各フレーム・グループについて、開始時刻及び終了時刻が計算される（ステップ１５０８）。ある特定のフレーム・グループについて、その特定のグループの開始時刻はそのグループの最初のビデオ・キーフレーム（すなわち、そのグループの中で最も古いタイムスタンプを持つキーフレーム）に関連付けられたタイムスタンプであり、その特定のグループの終了時刻はそのグループの最後のビデオ・キーフレーム（すなわち、そのグループの中で最も新しいタイムスタンプを持つキーフレーム）に関連付けられたタイムスタンプである。
キーフレーム・グループの各々について、サーバ１０４は、そのキーフレーム・グループのうちの１以上のキーフレームを描画するキーフレーム・キャンバス上のピクセル・セグメントを決定する（ステップ１５１０）。テキスト・キャンバスと同様に、キーフレーム・キャンバスは、ビデオ情報から抽出されたキーフレームが描画されるパネルである。キーフレーム・キャンバスの高さ（「ｋｅｙｆｒａｍｅＣａｎｖａｓＨｅｉｇｈｔ」）は、上述のテキスト・キャンバスの高さ（「ｔｅｘｔＣａｎｖａｓＨｅｉｇｈｔ」）と同じである（すなわち、ｋｅｙｆｒａｍｅＣａｎｖａｓＨｅｉｇｈｔ＝ｔｅｘｔＣａｎｖａｓＨｅｉｇｈｔ）。結果として、（上述の）乗数ｐｉｘ＿ｍ及びｓｅｃ＿ｍを用いて、時間値をキーフレーム・キャンバスにおけるピクセル位置に変換し、キーフレーム・キャンバスにおける特定のピクセル位置を時間値に変換することができる。
キーフレーム・キャンバス上においてある特定のグループからのキーフレームを描画するピクセル・セグメントは、その特定のグループに関連付けられた開始時刻及び終了時刻に基づいて計算される。キーフレーム・キャンバスにおけるある特定のキーフレーム・グループ用のピクセル・セグメントの開始垂直（Ｙ）ピクセル座標（「ｓｅｇｍｅｎｔＳｔａｒｔ」）及び終了垂直（Ｙ）座標（「ｓｅｇｍｅｎｔＥｎｄ」）は、以下のように計算される。
ｓｅｇｍｅｎｔＳｔａｒｔ＝（グループの開始時刻）＊ｐｉｘ＿ｍ
ｓｅｇｍｅｎｔＥｎｄ＝（グループの終了時刻）＊ｐｉｘ＿ｍ
したがって、テキスト・キャンバスの各セグメントのピクセル単位での高さ（「ｓｅｇｍｅｎｔＨｅｉｇｈｔ」）は、
ｓｅｇｍｅｎｔＨｅｉｇｈｔ＝ｓｅｇｍｅｎｔＥｎｄ−ｓｅｇｍｅｎｔＳｔａｒｔ
となる。
次いで、テキスト・キャンバス上の各ピクセル・セグメントに描画される各フレーム・グループからのキーフレーム数が決定される（ステップ１５１２）。ある特定のグループについてキーフレーム・キャンバス上に描画されるキーフレーム数は、その特定のグループに対応するセグメントの高さ（「ｓｅｇｍｅｎｔＨｅｉｇｈｔ」）に依存する。ｓｅｇｍｅｎｔＨｅｉｇｈｔの値が小さい場合、ＧＵＩに表示されたときに描画されたキーフレームがユーザにとって理解しやすいように、少数のキーフレームのみをそのセグメントに描画してもよい。ｓｅｇｍｅｎｔＨｅｉｇｈｔの値は、ｐｐｓの値に依存する。ｐｐｓが小さい場合、ｓｅｇｍｅｎｔＨｅｉｇｈｔも小さくなる。したがって、セグメントあたりに描画されるキーフレームが多くなるほど、大きなｐｐｓの値が選択される。
本発明の一実施形態によれば、ｓｅｇｍｅｎｔＨｅｉｇｈｔが４０ピクセルに等しく、各キーフレーム・グループが８つのキーフレームを含む場合、それら８つのキーフレームのうちの６つがテキスト・キャンバス上の各セグメントに描画される。一セグメントに描画されるキーフレーム数は、一般的に、すべてのキーフレーム・グループについて同じである。例えば、図３に示す実施形態では、テキスト・キャンバス上の各セグメントに６つのキーフレームが描画される。
テキスト・キャンバスの各セグメントに描画されるキーフレーム数が決定されると、各キーフレーム・グループについて、サーバ１０４は、キーフレーム・グループのキーフレームからキーフレーム・キャンバス上に描画される１以上のキーフレームを特定する（ステップ１５１４）。ある特定のフレーム・グループについて一セグメントに表示されるビデオ・キーフレームを選択するのには様々な異なる手法を用いることができる。一手法によれば、各ビデオ・キーフレーム・グループが８つのキーフレームを有し、キーフレーム・キャンバス上の各セグメントに６つのビデオ・キーフレームが表示される場合、サーバ１０４は、各ビデオ・キーフレーム・グループから最初の２つのビデオ・キーフレーム、真ん中の２つのビデオ・キーフレーム、及び、最後の２つのビデオ・キーフレームをキーフレーム・キャンバス上に描画されるものとして選択する。上述のように、キーフレーム・グループから表示される１以上のキーフレームを選択するのに様々な他の手法も用いることができる。例えば、キーフレームは、キーフレーム・グループにおけるキーフレームのシーケンシャル位置に基づいて選択されてもよく、キーフレームに関連付けられた時間値に基づいて選択されてもよく、或いは、他の基準に基づいて選択されてもよい。
別の手法によれば、サーバ１０４は、特殊な画像処理技術を用いて、各キーフレーム・グループにおけるキーフレーム間の類似性又は非類似性を判断してもよい。各グループから６つのビデオ・キーフレームが表示される場合、サーバ１０４は、画像処理技術の結果に基づいて、各キーフレーム・グループから６つのキーフレームを選択する。本発明の一実施形態によれば、各グループの最も類似していない６つのキーフレームがキーフレーム・キャンバス上に描画されるものとして選択される。ビデオ・キーフレームの選択を実行するのには当業者には既知の様々な他の手法も用いることができることは明らかである。
ステップ１５１４においてキーフレーム・グループから特定されたキーフレームは、キーフレーム・キャンバス上でそれらの対応するセグメントに描画される（ステップ１５１６）。ある特定のセグメントに選択されたキーフレームを描画するのに様々な異なる形式を用いることができる。例えば、図３に示すように、各セグメントについて、選択されたキーフレームは、３フレームを一行として、左から右、上から下へ、並べられる。キーフレーム・キャンバス上にキーフレームを描画する当業者には既知の様々な他の手法も用いることができる。キーフレーム・キャンバス上に描画される各個々のキーフレームのサイズは、そのキーフレームが描画されるセグメントの高さ（ｓｅｇｍｅｎｔＨｅｉｇｈｔ）及びそのセグメントに描画されるキーフレーム数に依存する。既述のように、一セグメントの高さは、ｐｐｓの値に依存する。したがって、キーフレーム・キャンバス上に描画される各個々のキーフレームのサイズもｐｐｓの値に依存する。
サーバ１０４は、次いで、ＧＵＩ３００にビデオ・キーフレームを表示するサムネール３１２−２の高さ（又は長さ）を決定する（ステップ１５１８）。本発明の教えるところによれば、サムネール３１２−２の高さは、テキスト情報を表示するサムネール３１２−１の高さと同じにセットされる（すなわち、サムネール３１２−２の高さは、ＴｈｕｍｂｎａｉｌＨｅｉｇｈｔにセットされる）。
次いで、サムネール３１２−２の高さがＴｈｕｍｂｎａｉｌＨｅｉｇｈｔに等しくなり、サムネール３１２−２が第二の表示エリア３０４のサイズ制約内に完全にフィットするように、キーフレーム・キャンバスを縮小することによって、サムネール３１２−２が生成される（ステップ１５２０）。キーフレーム・キャンバスの縮小版を表すサムネール３１２−２は、次いで、ＧＵＩ３００の第二の表示エリア３０４に表示される（ステップ１５２２）。サムネール３１２−２は、ＧＵＩ３００において、サムネール画像３１２−１の隣りに表示され、時系列に並べられるか、又は、（図３に示すように）サムネール３１２−１と同期される。したがって、サムネール３１２−２の上端は、サムネール３１２−１の上端と揃えられる。
サムネール３１２−２におけるピクセル位置を秒に変換し、秒をサムネール３１２−２におけるピクセル位置に変換するサムネール３１２−２用の乗数が計算される（ステップ１５２４）。サムネール３１２−２は、サムネール３１２−１と同じ長さであり、サムネール３１２−１と揃えられているため、サムネール３１２−１について計算された乗数「ｔｐｉｘ＿ｍ」及び「ｔｓｅｃ＿ｍ」は、サムネール３１２−２にも用いることができる。すると、これら乗数を用いて、ピクセルを秒に、秒をサムネール３１２−２におけるピクセルに、変換することができる。
図１５に表示された方法によれば、サムネール３１２−２に表示される各個々のビデオ・キーフレームのサイズは、他の基準に加えて、サムネール３１２−２の長さ及びビデオ情報の長さにも依存する。サムネール３１２−２の長さが固定されているものとすると、サムネール３１２−２に表示される各個々のビデオ・キーフレームの高さは、ビデオ情報の長さに逆比例する。したがって、ビデオ情報の長さを増えるほど、サムネール３１２−２に表示される各キーフレームのサイズは減少する。結果として、マルチメディア文書が長くなるほど、各キーフレームのサイズは、サムネール３１２−２に表示されるビデオ・キーフレームがもはやユーザにとって認識できないほど小さいなり得る。これを回避するために、サムネール３１２−２をユーザにとってより読み易く、認識できるように、サムネール３１２−２にビデオ・キーフレームを表示する様々な手法を用いることができる。
図１６は、本発明の一実施形態に係り、サムネール３１２−２を表示する別の方法を示す簡略化された高レベル・フローチャート１６００である。図１６に示す方法は、キーフレーム・キャンバスに描画され、サムネール３１２−２に表示されるビデオ・キーフレームの数を減らすことによって、サムネール３１２−２に表示される情報の理解しやすさ及び使いやすさを維持する。図１６に示す方法は、サーバ１０４によって実行されてもよく、クライアント１０２によって実行されてもよく、或いは、サーバ１０４及びクライアント１０２によって共同して実行されてもよい。例えば、本方法は、サーバ１０４又はクライアント１０２上で実行するソフトウェア・モジュールによって実行されてもよく、サーバ１０４又はクライアント１０２に接続されたハードウェア・モジュールによって実行されてもよく、或いは、これらの組み合わせでもよい。以下に説明する実施形態では、本方法はサーバ１０４によって実行される。図１６に示す方法は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図１６に示すように、ステップ１６０２、１６０４、１６０６、及び１６０８は、図１５に示した上述のステップ１５０２、１５０４、１５０６、及び１５０８と同じである。ステップ１６０８の後、キーフレーム・キャンバスにそのビデオ・キーフレームが描画される１以上のグループがステップ１６０６で決定されたグループから選択される（ステップ１６０９）。ステップ１６０９においてグループを選択するのには様々な異なる手法を用いることができる。一手法によれば、ステップ１６０６で決定されたグループは、ユーザが設定可能な「ＳｋｉｐＣｏｕｎｔ」値に基づいて、選択される。例えば、ＳｋｉｐＣｏｕｎｔが４にセットされた場合、ステップ１６０９において４グループおきに選択される（すなわち、４グループがスキップされる）。ＳｋｉｐＣｏｕｎｔの値は、マルチメディア情報の長さに基づいて調節可能である。本発明の一実施形態によれば、ＳｋｉｐＣｏｕｎｔの値はマルチメディア情報の長さに直接比例する。すなわち、ＳｋｉｐＣｏｕｎｔはマルチメディア文書が長いほど高い値にセットされる。
ステップ１６０９において選択された各グループについて、サーバ１０４は、そのグループからキーフレーム・キャンバス上に描画される１以上のキーフレームを特定する（ステップ１６１０）。上述のように、キーフレーム・キャンバス上に描画されるキーフレームを選択するのには様々な手法を用いることができる。
次いで、キーフレーム・キャンバスは、複数の等しいサイズの行部分に分割される。行部分の数は、ステップ１６０９で選択されたグループ数に等しい（ステップ１６１２）。本発明の一実施形態によれば、各行部分の高さは、ステップ１６０９で選択されたグループ数で除算されたキーフレーム・キャンバスの高さ（「ｋｅｙｆｒａｍｅＣａｎｖａｓＨｅｉｇｈｔ」）に略等しい。
次いで、ステップ１６０９で選択された各グループについて、そのグループからの１以上のビデオ・キーフレームを描画するキーフレーム・キャンバスの行部分が特定される（ステップ１６１４）。本発明の一実施形態によれば、行部分は、年代順に、グループに関連付けられる。例えば、最初の行は、最も古い開始時刻を持つグループに関連付けられ、２番目の行は、２番目に古い開始時刻を持つグループに関連付けられる、等々。
次いで、ステップ１６０９で選択された各グループについて、そのグループからの１以上のキーフレーム（ステップ１６１０で特定された）が、ステップ１６１４でそのグループ用の決定されたキーフレーム・キャンバス上の行部分に描画される（ステップ１６１６）。各グループについて選択されたキーフレームのサイズは、キーフレーム・キャンバスの行部分にフィットするように縮小される。本発明の一実施形態によれば、各行部分の高さは選択されたキーフレームの高さより大きく、選択されたキーフレームの高さは行部分にフィットするように増加される。これにより、選択されたキーフレームのサイズが増加し、それらはキーフレーム・キャンバス上に描画されたときにより見易くなる。このように、ステップ１６０９で選択されたグループからのキーフレームはキーフレーム・キャンバス上に描画される。
次いで、キーフレーム・キャンバスは、ステップ１６１８、１６２０、及び１６２２に従って縮小され、第二の表示エリア３０４に表示されるサムネール３１２−２を形成する。キーフレーム・キャンバス上に描画されるキーフレームの高さは本発明の一実施形態によれば増加されるため、上述のように、キーフレームもサムネール３１２−２に表示されたときにより認識しやすくなる。次いで、ステップ１６２４に従って、乗数が計算される。ステップ１６１８、１６２０、１６２２、及び１６２４は、図１５に示した上述のステップ１５１８、１５２０、１５２２、及び１５２４に類似している。上述のように、グループの一部を選択することによって、キーフレーム・キャンバス上に描画され、サムネール３１２−２に表示されるキーフレームの数が減らされる。これにより、サムネール３１２−２に表示される各個々のビデオ・キーフレームの高さが増加するため、それらが表示されたときにより認識しやすくなる。
図１７は、本発明の一実施形態に従って、サムネール表示エリア・レンズ３１４を表示し、サムネール表示エリア・レンズ３１４によって強調された情報を第三の表示エリア３０６に表示し、パネル表示エリア・レンズ３２２を表示し、パネル表示エリア・レンズ３２２によって強調された情報を第四の表示エリア３０８に表示し、情報を第五の表示エリア３１０に表示する方法を示す簡略化された高レベル・フローチャート１７００である。図１７に示す方法は、サーバ１０４によって実行されてもよく、クライアント１０２によって実行されてもよく、或いは、サーバ１０４及びクライアント１０２によって共同して実行されてもよい。例えば、本方法は、サーバ１０４又はクライアント１０２上で実行するソフトウェア・モジュールによって実行されてもよく、サーバ１０４又はクライアント１０２に接続されたハードウェア・モジュールによって実行されてもよく、或いは、これらの組み合わせでもよい。以下に説明する実施形態では、本方法はサーバ１０４によって実行される。図１７に示す方法は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図１７に示すように、サーバ１０４は、まず、ＧＵＩ３００の第三の表示エリア３０６に表示される各パネルのピクセル単位での高さ（「ＰａｎｅｌＨｅｉｇｈｔ」）を決定する（ステップ１７０２）。ＰａｎｅｌＨｅｉｇｈｔの値は、第三の表示エリア３０６の高さ（又は長さ）に依存する。パネルは互いに揃えられるため、各パネルの高さはＰａｎｅｌＨｅｉｇｈｔにセットされる。本発明の一実施形態によれば、ＰａｎｅｌＨｅｉｇｈｔはＴｈｕｍｂｎａｉｌＨｅｉｇｈｔと同じ値にセットされる。しかし、本発明の代替的実施形態として、ＰａｎｅｌＨｅｉｇｈｔの値はＴｈｕｍｂｎａｉｌＨｅｉｇｈｔの値と異なってもよい。
次いで、（図１４に示すフローチャートで生成された）テキスト・キャンバスのうちＰａｎｅｌＨｅｉｇｈｔと等しい一セクションが特定される（ステップ１７０４）。このステップ１７０４で特定されたテキスト・キャンバスのセクションは、そのセクションの開始ピクセル位置をマーキングする垂直ピクセル座標（Ｐｓｔａｒｔ）と、そのセクションの終了ピクセル位置をマーキングする垂直ピクセル座標（Ｐｅｎｄ）とによって特徴付けられる。
次いで、ステップ１７０４で特定されたテキスト・キャンバスのセクションの（ピクセル位置Ｐｓｔａｒｔ及びＰｅｎｄによってマーキングされた）境界線に対応する時間値が決定される（ステップ１７０６）。この対応する時間値を計算するのに乗数ｓｅｃ＿ｍが用いられる。ピクセル位置Ｐｓｔａｒｔに対応する時刻ｔ１（秒）は以下のように計算される。
ｔ１＝Ｐｓｔａｒｔ＊ｓｅｃ＿ｍ
ピクセル位置Ｐｅｎｄに対応する時刻ｔ２（秒）は以下のように計算される。
ｔ２＝Ｐｅｎｄ＊ｓｅｃ＿ｍ
次いで、キーフレーム・キャンバスのうち、テキスト・キャンバスのうち上記選択されたセクションに対応する一セクションが特定される（ステップ１７０８）。キーフレーム・キャンバスの高さはキーフレーム・キャンバスの高さと同じであるため、キーフレーム・キャンバスの選択されたセクションも、時刻ｔ１及び時刻ｔ２に対応するキーフレーム・キャンバスにおけるピクセル位置ＰｓｔａｒｔとＰｅｎｄの間に位置する。
テキスト・キャンバスのうちステップ１７０４で特定された部分が、第三の表示エリア３０６のパネル３２４−１に表示される（ステップ１７１０）。キーフレーム・キャンバスのうちステップ１７０８で特定された部分は、第三の表示エリア３０６のパネル３２４−２に表示される（ステップ１７１２）。
第三の表示エリア３０６の一部を覆うパネル表示エリア・レンズ３２２が表示される（ステップ１７１４）。パネル表示エリア・レンズ３２２は、時刻ｔ３とｔ４（ｔ１≦ｔ３＜ｔ４≦ｔ２）の間に第三の表示エリア３０６に表示されたパネル３２４−１及び３２４−２の一部を強調するように又は覆うように、表示される。パネル表示エリア・レンズ３２２の上端は時刻ｔ３に対応し、パネル表示エリア・レンズ３２２の下端は時刻ｔ４に対応する。パネル表示エリア・レンズ３２２の（ピクセルで表された）高さは、（テキスト・キャンバスにおいてｔ４に対応する垂直ピクセル位置）−（テキスト・キャンバスにおいてｔ３に対応する垂直ピクセル位置）、に等しい。パネル表示エリア・レンズ３２２の幅は、（図３に示すように）第三の表示エリア３０６の幅に略等しい。
次いで、サムネール３１２−１のうちパネル３２４−１に表示されたテキスト・キャンバスの一部に対応する部分と、サムネール３１２−２のうちパネル３２４−２に表示されたキーフレーム・キャンバスの一部に対応する部分とが決定される（ステップ１７１６）。サムネール３１２−１のうちパネル３２４−１に表示されたテキスト・キャンバスの一部に対応する部分は、そのサムネールの一部の開始ピクセル位置をマーキングする垂直ピクセル座標（ＴＮｓｔａｒｔ）と、そのサムネールの一部の終了ピクセル位置をマーキングする垂直ピクセル位置（ＴＮｅｎｄ）とによって特徴付けられる。ピクセル位置ＴＮｓｔａｒｔ及びＴＮｅｎｄを決定するのには乗数ｔｐｉｘ＿ｍが用いられる。
ＴＮｓｔａｒｔ＝ｔ１＊ｔｐｉｘ＿ｍ
ＴＮｅｎｄ＝ｔ２＊ｔｐｉｘ＿ｍ
サムネール３１２−１及び３１２−２は、同じ長さで、互いに時系列に並べられているため、サムネール３１２−２のうちパネル３２４−２に表示されるキーフレーム・キャンバスの一部に対応する部分もサムネール３１２−２上のピクセル位置ＴＮｓｔａｒｔとＴＮｅｎｄの間に位置する。
次いで、サムネール３１２−１及び３１２−２のうち、パネル３２４−１に表示されるテキスト・キャンバスの一部に対応する部分、及び、パネル３２４−２に表示されるキーフレーム・キャンバスの一部に対応する部分、を覆うサムネール表示エリア・レンズ３１４が表示される（ステップ１７１８）。サムネール３１２−１及び３１２−２のうちこれらサムネールのピクセル位置ＴＮｓｔａｒｔとＴＮｅｎｄの間の部分を覆うサムネール表示エリア・レンズ３１４が表示される。サムネール表示エリア・レンズ３１４のピクセル単位での高さは、（ＴＮｅｎｄ−ＴＮｓｔａｒｔ）に等しい。サムネール表示エリア・レンズ３１４の幅は、（図３に示すように）第二の表示エリア３０６の幅に略等しい。
次いで、第二の表示エリア３０４のうちパネル表示エリア・レンズ３２２によって強調された第三の表示エリア３０６の一部に対応する部分が決定される（ステップ１７２０）。ステップ１７２０において、サーバ１０４は、ｔ３とｔ４の間の時間期間に対応するサムネール３１２０１の一部及びサムネール３１２−２の一部を決定する。サムネール３１２−１のうちｔ３とｔ４の間の時間窓に対応する部分は、時刻ｔ３に対応し、そのサムネールの一部の開始垂直ピクセル位置をマーキングする垂直ピクセル座標（ＴＮＳｕｂｓｔａｒｔ）と、時刻ｔ４に対応し、そのサムネールの一部の終了ピクセル位置をマーキングする垂直ピクセル位置（ＴＮＳｕｂｅｎｄ）とによって特徴付けられる。ピクセル位置ＴＮＳｕｂｓｔａｒｔ及びＴＮＳｕｂｅｎｄを決定するのには乗数ｔｐｉｘ＿ｍが用いられる。
ＴＮＳｕｂｓｔａｒｔ＝ｔ３＊ｔｐｉｘ＿ｍ
ＴＮＳｕｂｅｎｄ＝ｔ４＊ｔｐｉｘ＿ｍ
サムネール３１２−１及び３１２−２は、同じ長さで、互いに時系列に並べられているため、サムネール３１２−２のうちｔ３とｔ４の間の時間期間に対応する部分もサムネール３１２−２上のピクセル位置ＴＮＳｕｂｓｔａｒｔとＴＮＳｕｂｅｎｄの間に位置する。
次いで、サムネール３１２−１及び３１２−２のうちｔ３とｔ４の間の時間窓に対応する（すなわち、第三の表示エリア３０６のうちパネル表示エリア・レンズ３２２によって強調された部分に対応する）部分を覆うサブレンズ３１６が表示される（ステップ１７２２）。サブレンズ３１６は、サムネール３１２−１及び３１２−２のうちピクセル位置ＴＮＳｕｂｓｔａｒｔとＴＮＳｕｂｅｎｄの間の部分を覆うように表示される。サブレンズ３１６のピクセル単位での高さは、（ＴＮＳｕｂｅｎｄ−ＴＮＳｕｂｓｔａｒｔ）に等しい。サブレンズ３１６の幅は、（図３に示すように）第二の表示エリア３０４の幅と略等しい。
第三の表示エリア３０６のうちパネル表示エリア・レンズ３２２によって強調された部分に対応するマルチメディア情報が、第四の表示エリア３０８に表示される（ステップ１７２４）。例えば、時刻ｔ３に始まるビデオ情報がＧＵＩ３００の第四の表示エリア３０８のエリア３４０−１において再生される。代替的実施形態として、このビデオ再生の開始時刻は、ｔ３とｔ４を含むｔ３とｔ４の間の任意の時刻にセットされてもよい。ｔ３とｔ４の間の時間窓に対応するテキスト銃砲が第四の表示エリア３０８のエリア３４０−２に表示される。
次いで、このマルチメディア情報が分析され、この分析の結果が第五の表示エリア３１０に表示される（ステップ１７２６）。例えば、マルチメディア情報から抽出されたテキスト情報が分析され、そのテキスト情報に往生する単語と個々の単語の頻度を識別する。これら単語及びそれらの頻度は、第五の表示エリア３１０にプリントされてもよい（例えば、図３に示すように、第五の表示エリア３１０のエリア３５２にプリントされた情報）。上述のように、マルチメディア情報から抽出された情報は、サーバ１０４がアクセス可能なデータ構造に格納することができる。例えば、マルチメディア情報から抽出されたテキスト情報及びビデオ・キーフレーム情報がサーバ１０４がアクセス可能なデータ構造に１以上のデータ構造に格納されてもよい。サーバ１０４はこれらデータ構造に格納された情報を用いて、マルチメディア情報を分析することができる。
（マルチメディア情報ナビゲーション）
上述のように、本発明のユーザは、マルチメディア文書によって格納され、サムネール表示エリア・レンズ３１４及びパネル表示エリア・レンズ３２２を用いてＧＵＩ３００に表示されたマルチメディア情報をナビゲート及びスクロールすることができる。例えば、ユーザは、サムネール表示エリア・レンズ３１４を第二の表示エリア３０４の長さに沿って動かすことによって、サムネール表示エリア・レンズ３１４の位置を変えることができる。サムネール表示エリア・レンズ３１４の位置を第二の表示エリア３０４に沿って第二の表示エリア３０４の第一の位置から第二の位置へ変更すると、第三の表示エリア３０６に表示されたマルチメディア情報は、第三の表示エリア３０６に表示されたマルチメディア情報が第二の表示エリア３０４のうちの第二の位置におけるサムネール表示エリア・レンズ３１４によって強調されているエリアと対応し続けるように、自動的に更新される。同様に、ユーザは、パネル表示エリア・レンズ３２２を第三の表示エリア３０６の長さに沿って動かすことによって、パネル表示エリア・レンズ３２２の位置を変えることができる。パネル表示エリア・レンズ３２２の位置を変更すると、サブレンズ３１６の位置とおそらくはサムネール表示エリア・レンズ３１４の位置も、パネル表示エリア・レンズ３２２の新しい位置に対応し続けるように、更新される。第四の表示エリア３０８に表示される情報も、パネル表示エリア・レンズ３２２の新しい位置に対応するように、更新される。
図１８は、本発明の一実施形態に従って、サムネール表示エリア・レンズ３１４の位置の変更に応じて、第三の表示エリア３０６に表示される情報を自動的に更新する方法を示す簡略化された高レベル・フローチャート１８００である。図１８に示す方法は、サーバ１０４によって実行されてもよく、クライアント１０２によって実行されてもよく、或いは、サーバ１０４及びクライアント１０２によって共同して実行されてもよい。例えば、本方法は、サーバ１０４又はクライアント１０２上で実行するソフトウェア・モジュールによって実行されてもよく、サーバ１０４又はクライアント１０２に接続されたハードウェア・モジュールによって実行されてもよく、或いは、これらの組み合わせでもよい。以下に説明する実施形態では、本方法はサーバ１０４によって実行される。図１８に示す方法は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図１８に示すように、本方法は、サーバ１０４が、サムネール表示エリア・レンズ３１４の第二の表示エリア３０４上での第一の位置から第二の位置への位置の変更を検知したとき、開始される（ステップ１８０２）。次いで、サーバ１０４は、第二の表示エリア３０４のうち第二の位置におけるサムネール表示エリア・レンズ３１４によって強調された部分を決定する（ステップ１８０４）。ステップ１８０４の一部として、サーバ１０４は、サムネール３１２−１において、第二の位置におけるサムネール表示エリア・レンズ３１４の端に対応するピクセル位置（ＴＮｓｔａｒｔ及びＴＮｅｎｄ）を決定する。ＴＮｓｔａｒｔは、サムネール３１２−１における開始垂直ピクセル位置をマーキングし、ＴＮｅｎｄは、サムネール３１２−１における終了垂直ピクセル位置をマーキングする。サムネール３１２−１及び３１２−２は、同じ長さで、互いに時系列に並べられているため、サムネール３１２−２のうちサムネール表示エリア・レンズ３１４の第二の位置に対応する部分もピクセル位置ＴＮｓｔａｒｔとＴＮｅｎｄの間に位置する。
次いで、サーバ１０４は、サムネール表示エリア・レンズ３１４の第二の位置に対応する時間値を決定する（ステップ１８０６）。ピクセル位置ＴＮｓｔａｒｔに対応する時間値ｔ１が決定され、ピクセル位置ＴＮｅｎｄに対応する時間値ｔ２が決定される。これら時間値を決定するのには乗数ｔｓｅｃ＿ｍが用いられる。
ｔ１＝ＴＮｓｔａｒｔ＊ｔｓｅｃ＿ｍ
ｔ２＝ＴＮｅｎｄ＊ｔｓｅｃ＿ｍ
次いで、サーバ１０４は、テキスト・キャンバス及びキーフレーム・キャンバスにおけるステップ１８０６で決定された時間値に対応するピクセル位置を決定する（ステップ１８０８）。テキスト・キャンバスにおけるピクセル位置Ｐｓｔａｒｔは時刻ｔ１に基づいて決定され、キーフレーム・キャンバスにおけるピクセル位置ＴＮｅｎｄは時刻ｔ２に基づいて決定される。これらピクセル位置を決定するのには乗数ｐｉｘ＿ｍが用いられる。
Ｐｓｔａｒｔ＝ｔ１＊ｔｐｉｘ＿ｍ
Ｐｅｎｄ＝ｔ２＊ｔｐｉｘ＿ｍ
テキスト・キャンバス及びキーフレーム・キャンバスは同じ長さであるため、時刻値ｔ１及びｔ２はキーフレームにおけるピクセル位置Ｐｓｔａｒｔ及びＰｅｎｄに対応する。
テキスト・キャンバスのうちピクセル位置ＰｓｔａｒｔとＰｅｎｄの間のセクションがパネル３２４−１に表示される（ステップ１８１０）。このテキスト・キャンバスのうちパネル３２４−１に表示されたセクションは、サムネール３１２−１のうち第二の位置におけるサムネール表示エリア・レンズ３１４によって強調された部分に対応する。
キーフレーム・キャンバスのうちピクセル位置ＰｓｔａｒｔとＰｅｎｄの間のセクションがパネル３２４−２に表示される（ステップ１８１２）。このキーフレーム・キャンバスのうちパネル３２４−２に表示されたセクションは、サムネール３１２−２のうち第二の位置におけるサムネール表示エリア・レンズ３１４によって強調された部分に対応する。
サムネール表示エリア・レンズ３１４が第一の位置から第二の位置へ動かされると、サブレンズ３１６もサムネール表示エリア・レンズ３１４に沿って動く。その際、サーバ１０４は、第二の表示エリア３０４のうち第二の位置におけるサブレンズ３１６によって強調された部分を決定する（ステップ１８１４）。ステップ１８１４の一部として、サーバ１０４は、サムネール３１２−１のうち、第二の位置におけるサブレンズ３１６の端に対応するピクセル位置（ＴＮＳｕｂｓｔａｒｔ及びＴＮＳｕｂｅｎｄ）を決定する。ＴＮＳｕｂｓｔａｒｔはサムネール３１２−１における開始垂直ピクセル位置をマーキングし、ＴＮＳｕｂｅｎｄはサムネール３１２−１における終了垂直ピクセル位置をマーキングする。サムネール３１２−１及び３１２−２は、同じ長さであり、互いに時系列に並べられるため、サムネール３１２−１のうちサブレンズ３１６の第二の位置に対応する部分もピクセル位置ＴＮＳｕｂｓｔａｒｔとＴＮＳｕｂｅｎｄの間に位置する。
次いで、サーバ１０４は、サブレンズ３１６の第二の位置に対応する時間値を決定する（ステップ１８１６）。ピクセル位置ＴＮＳｕｂｓｔａｒｔに対応する時間値ｔ３が決定され、ピクセル位置ＴＮＳｕｂｅｎｄに対応する時間値ｔ４が決定される。これら時間値を決定するのには乗数ｔｓｅｃ＿ｍが用いられる。
ｔ３＝ＴＮＳｕｂｓｔａｒｔ＊ｔｓｅｃ＿ｍ
ｔ４＝ＴＮＳｕｂｅｎｄ＊ｔｓｅｃ＿ｍ
次いで、サーバ１０４は、テキスト・キャンバス及びキーフレーム・キャンバスにおいてステップ１８１６で決定された時間値にそれぞれ対応するピクセル位置を決定する（ステップ１８１８）。テキスト・キャンバスにおけるピクセル位置ＰＳｕｂｓｔａｒｔは、時刻ｔ３に基づいて計算され、キーフレーム・キャンバスにおけるピクセル位置ＰＳｕｂｅｎｄは、時刻ｔ４に基づいて計算される。これらの位置を決定するのには乗数ｐｉｘ＿ｍが以下のように用いられる。
ＰＳｕｂｓｔａｒｔ＝ｔ３＊ｔｐｉｘ＿ｍ
ＰＳｕｂｅｎｄ＝ｔ４＊ｔｐｉｘ＿ｍ
テキスト・キャンバス及びキーフレーム・キャンバスは同じ長さであるため、時刻値ｔ１及びｔ２はキーフレーム・キャンバスにおけるピクセル位置ＰＳｕｂｓｔａｒｔ及びＰＳｕｂｅｎｄに対応する。
第三の表示エリア３０６のうちピクセル位置ＰＳｕｂｓｔａｒｔとＰＳｕｂｅｎｄの間の部分を覆うパネル表示エリア・レンズ３２２が第三の表示エリア３０６上に描画される（ステップ１８２０）。次いで、第四の表示エリア３０８に表示されたマルチメディア情報は、パネル表示エリア・レンズ３２２の新しい位置に対応するように、更新される（ステップ１８２２）。
図１９は、本発明の一実施形態に従って、パネル表示エリア・レンズ３２２の位置の変更に応じて、第四の表示エリア３０８に表示される情報及びサムネール表示エリア・レンズ３１４及びサブレンズ３１６の位置を自動的に更新する方法を示す簡略化された高レベル・フローチャート１９００である。図１９に示す方法は、サーバ１０４によって実行されてもよく、クライアント１０２によって実行されてもよく、或いは、サーバ１０４及びクライアント１０２によって共同して実行されてもよい。例えば、本方法は、サーバ１０４又はクライアント１０２上で実行するソフトウェア・モジュールによって実行されてもよく、サーバ１０４又はクライアント１０２に接続されたハードウェア・モジュールによって実行されてもよく、或いは、これらの組み合わせでもよい。以下に説明する実施形態では、本方法はサーバ１０４によって実行される。図１９に示す方法は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図１９に示すように、本方法は、サーバ１０４が、パネル表示エリア・レンズ３２２の第三の表示エリア３０６上での第一の位置から第二の位置への位置の変更を検知したとき、開始される（ステップ１９０２）。次いで、サーバ１０４は、第二の位置におけるパネル表示エリア・レンズ３２２に対応する時間値を決定する（ステップ１９０４）。ステップ１９０４において、サーバ１０４は、第二の位置におけるパネル表示エリア・レンズ３２２の上端及び下端のピクセル位置を決定する。次いで、乗数ｓｅｃ＿ｍを用いて、これらピクセル位置を時間値に変換する。第二の位置におけるパネル表示エリア・レンズ３２２の上端に対応する時間値ｔ３が決定され、パネル表示エリア・レンズ３２２の下端に対応する時間値ｔ４が決定される。
ｔ３＝（パネル表示エリア・レンズ３２２の上端のピクセル位置）＊ｓｅｃ＿ｍ
ｔ４＝（パネル表示エリア・レンズ３２２の下端のピクセル位置）＊ｓｅｃ＿ｍ
次いで、サーバ１０４は、第二の表示エリア３０４において、ステップ１９０４で決定された時間値に対応するピクセル位置を決定する（ステップ１９０６）。第二の表示エリア３０４のサムネール（３１２−１又は３１２−２のいずれか；なぜならそれらは同じ長さで揃えられているため）のピクセル位置ＴＮＳｕｂｓｔａｒｔは時刻ｔ３に基づいて決定され、サムネールのピクセル位置ＴＮＳｕｂｅｎｄは時刻ｔ４に基づいて決定される。乗数ｔｐｉｘ＿ｍを用いて、これらピクセル位置は以下のように決定される。
ＴＮＳｕｂｓｔａｒｔ＝ｔ３＊ｔｐｉｘ＿ｍ
ＴＮＳｕｂｅｎｄ＝ｔ４＊ｔｐｉｘ＿ｍ
次いで、サブレンズ３１６が、第二の表示エリア３０４のサムネール３１２のうちステップ１９０６で決定されたピクセル位置の間の部分を強調するように、更新される（ステップ１９０８）。ステップ１９０８の一部として、ピクセル位置ＴＮＳｕｂｓｔａｒｔ及びＴＮＳｕｂｅｎｄがパネル表示エリア・レンズ３２２が第一の位置にあったときのサムネール表示エリア・レンズ３１４の境界の外に位置する場合、サムネール表示エリア・レンズ３１４の位置も更新されてもよい。例えば、ユーザがパネル表示エリア・レンズ３２２を用いて第三の表示エリア３０６をＰａｎｅｌＨｅｉｇｈｔを越えてスクロールした場合、それに応じてサムネール表示エリア・レンズ３１４の位置が更新される。パネル表示エリア・レンズ３２２の第二の位置がＰａｎｅｌＨｅｉｇｈｔ内に位置する場合、サブレンズ３１６のみがパネル表示エリア・レンズ３２２の第二の位置に対応するように動かされ、サムネール表示エリア・レンズ３１４は動かされない。
上述のように、パネル表示エリア・レンズ３２２を用いて、第三の表示エリア３０６に表示された情報をスクロールすることができる。例えば、ユーザは、パネル表示エリア・レンズ３２２を第三の表示エリア３０６の下端まで動かし、第三の表示エリア３０６のコンテンツが自動的に上方にスクロールされるようにすることができる。同様に、ユーザは、パネル表示エリア・レンズ３２２を第三の表示エリア３０６の上端まで動かし、第三の表示エリア３０６のコンテンツが自動的に下方にスクロールされるようにすることができる。サムネール表示エリア・レンズ３１４及びサブレンズ３１６の位置は、スクロールの発生に応じて、更新される。
次いで、パネル表示エリア・レンズ３２２の第二の位置に対応するマルチメディア情報が第四の表示エリア３０８に表示される（ステップ１９１０）。例えば、パネル表示エリア・レンズ３２２の第二の位置に対応するビデオ情報が第四の表示エリア３０８のエリア３４０−１に表示され、パネル表示エリア・レンズ３２２の第二の位置に対応するテキスト情報が第三の表示エリア３０６のエリア３４０−２に表示される。
本発明の一実施形態によれば、ステップ１９１０において、サーバ１０４は、ｔ３又はｔ４と等しい値或いはｔ３とｔ４の間の値を持つ時刻「ｔ」を選択する。時刻「ｔ」は、「ロケーション・タイム」と呼ぶことができる。このロケーション・タイムは、ユーザが設定可能としてもよい。本発明の一実施形態によれば、ロケーション・タイムはｔ４にセットされる。次いで、このロケーション・タイムは、第四の表示エリア３０８のエリア３４０−１におけるビデオ情報再生の開始時刻として用いられる。
本発明の一実施形態によれば、ＧＵＩ３００は、２つのモード：「完全更新」モード及び「部分更新」モードで作動できる。ＧＵＩのユーザは、ＧＵＩの作動モードを選択することができる。
ＧＵＩ３００が「完全更新」モードで作動しているとき、サムネール表示エリア・レンズ３１４及びパネル表示エリア・レンズ３２２の位置は、第四の表示エリア３０８のエリア３４０−１におけるビデオ再生の位置を反映するように、自動的に更新される。したがって、「完全更新」モードにおいて、サムネール表示エリア・レンズ３１４及びパネル表示エリア・レンズ３２２は、第四の表示エリア３０８で再生されたビデオの位置を保持又は反映する。このビデオは、第四の表示エリア３０８のエリア３４２に示されたコントロールを用いて、再生又は逆再生することができ、サムネール表示エリア・レンズ３１４及びパネル表示エリア・レンズ３２２の位置もそれに応じて変化する。また、第三の表示エリア３０６のパネル３２４に表示されたマルチメディア情報も、サムネール表示エリア・レンズ３１４の位置に対応し、ビデオの現在位置を反映するように、自動的に更新される（上方へシフトされる）。
ＧＵＩ３００が「部分更新」モードで作動しているとき、サムネール表示エリア・レンズ３１４及びパネル表示エリア・レンズ３２２の位置は、第四の表示エリア３０８のエリア３４０−１におけるビデオ再生の位置を反映するように更新されない。このモードでは、サムネール表示エリア・レンズ３１４及びパネル表示エリア・レンズ３２２の位置は、第四の表示エリア３０８のエリア３４０−１でビデオが再生されているとき、静止したままである。サムネール表示エリア・レンズ３１４の位置が変化しないため、第三の表示エリア３０６に表示されたマルチメディア情報も更新されない。このモードでは、第四の表示エリア３０８のエリア３４０−１でのビデオ再生の現在位置を反映するための「ロケーション・ポインタ」が第二の表示エリア３０４及び第三の表示エリア３０６に表示されてもよい。ロケーション・ポインタの位置は、ビデオの位置を反映するように、継続的に更新される。
（レンジ）
本発明の一実施形態によれば、本発明は、マルチメディア情報のうちＧＵＩに表示される部分を選択又は指定する手法を提供する。各部分を「レンジ（ｒａｎｇｅ）」と呼ぶ。レンジは、本発明のユーザによって手動で指定されてもよく、或いは、代替的に、本発明のユーザによって提供されたレンジ基準に基づいて本発明によって自動的に選択されてもよい。
レンジは、マルチメディア情報のうち開始時刻（ＲＳ）と終了時刻（ＲＥ）の間の部分を指す。したがって、各レンジは、そのレンジの時間的境界を定義するＲＳ及びＲＥによって特徴付けられる。レンジは、マルチメディア情報のうち、そのレンジに関連付けられた時刻ＲＳ及びＲＥの間に発生した部分を含む又は識別する。
図２０Ａは、本発明の一実施形態に係るレンジを表示する簡略化されたユーザ・インターフェース２０００を示す。図２０Ａに示すＧＵＩ２０００は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない、ことは明らかである。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図２０Ａに示すように、ＧＵＩ２０００は、ユーザが１以上のレンジを手動で指定するか又はＧＵＩ２０００が自動的にレンジを生成するように設定するかを可能にする様々な機能（ボタン、タブ、など）を提供する。図２０Ａに示す実施形態において、ユーザは、「Ｎｅｗ」ボタン２００２を選択することによって、レンジを手動で指定することができる。ボタン２００２を選択した後、ユーザは、サムネールのうち第二の表示エリア２００４に表示された部分を選択することによって、レンジを指定することができる。サムネールの様々な部分を選択することによって、１以上のレンジを指定することができる。例えば、図２０Ａには、６つのレンジ２００６−１、２００６−２、２００６−３、２００６−４、２００６−５、及び、２００６−６が表示されている。ユーザは、サムネール２００８−２の一部分を選択又はマーキングすることによって、これらレンジの１以上を手動で指定することができる。
代替的実施形態として、サムネールの一部分を選択する代わりに、ユーザは、サムネール内のある位置をクリックすることによって、レンジを指定することもできる。次いで、現在クリックされた位置の前後に所定のバッファ時間を加えることによって、レンジが自動的に生成される。このように、レンジは、１回のクリックで指定することができる。この手法を用いて、複数のレンジを指定することができる。
図２０Ａにおいて、各指定されたレンジは、サムネール２００８−２上に表示されたバーによって示される。また、レンジをユニークに識別する識別子又はラベルが各レンジに関連付けられてもよい。図２０Ａにおいて、各レンジは、レンジの左上に表示されたレンジに関連付けられた番号によって識別される。これら番号は、レンジに対するラベルとして機能する。したがって、あるレンジについて格納された情報は、そのレンジの開始時刻（ＲＳ）と、そのレンジの終了時刻（ＲＥ）と、そのレンジを識別するラベル又は識別子とを含み得る。また、レンジに対応する情報を格納したマルチメディア文書を識別する情報もレンジについて格納されてもよい。
サムネール２００８−２の一部分を選択して指定された各レンジは、上端（Ｒｔｏｐ）及び下端（Ｒｂｏｔｔｏｍ）を境界とする。あるレンジについてのＲＳ及びＲＥ時刻は、Ｒｔｏｐ及びＲｂｏｔｔｏｍのピクセル位置から以下のように決定されてもよい。
ＲＳ＝Ｒｔｏｐ＊ｔｓｅｃ＿ｍ
ＲＥ＝Ｒｂｏｔｔｏｍ＊ｔｓｅｃ＿ｍ
レンジを指定するのに他の手法も用いることができることは明らかである。例えば、本発明の代替的実施形態として、ユーザは、レンジの開始時刻（ＲＳ）及び終了時刻（ＲＥ）を提供することによって、レンジを指定してもよい。
図２０Ａに示すＧＵＩ２０００において、ＧＵＩに表示されたレンジに関連する情報は、エリア２０１０に表示される。エリア２０１０において各レンジについて表示された情報は、そのレンジを識別するラベル又は識別子２０１２、そのレンジの開始時刻（ＲＳ）、そのレンジの終了時刻（ＲＥ）、そのレンジのタイム・スパン２０１８、及び、マルチメディア情報のうちそのレンジに関連付けられた部分から抽出されたビデオ・キーフレーム群２０１９、を含む。あるレンジについてのタイム・スパンは、そのレンジに関連付けられた終了時刻ＲＥと開始時刻ＲＳの差を求めることによって計算される（すなわち、あるレンジについてのタイム・スパン＝ＲＥ−ＲＳである）。図２０Ａに示す実施形態において、各レンジに対応するマルチメディア情報から抽出された最初、最後、及び真ん中のキーフレームが表示される。あるレンジについて表示されるキーフレームを選択するのには様々な他の手法も用いることができる。図２０Ａに示した情報は、本発明の範囲を制限することを意図したものではない。本発明の代替的実施形態として、レンジについて様々な他の種類の情報も表示することができる。
本発明の教えるところによれば、ＧＵＩ２０００に表示されたレンジについて、様々なオペレーションを実行することができる。ユーザは、レンジに関連付けられたＲＳ及びＲＥ時刻を変更することによって、レンジを編集することができる。レンジの編集は、そのレンジのタイム・スパン（すなわち、（ＲＥ−ＲＳ）の値）を変更し得る。図２０Ａに示すＧＵＩ２０００において、ユーザは、「Ｅｄｉｔ（編集）」ボタン２０２０を選択することによって、表示されたレンジを修正又は編集することができる。「Ｅｄｉｔ」ボタン２０２０を選択した後、ユーザは、特定のレンジを表すバーの上端及び／又は下端をドラッグすることによって、そのレンジを編集することができる。上端位置を変更すると、そのレンジの開始時刻（ＲＳ）が修正され、下端位置が変更されると、そのレンジの終了時刻（ＲＥ）が修正される。
また、ユーザは、エリア２０１０においてレンジを選択し、それから「Ｅｄｉｔ」ボタン２０２０を選択することによって、そのレンジを編集することもできる。このシナリオの場合、「Ｅｄｉｔ」ボタン２０２０を選択することによって、ユーザにダイアログ・ボックス（例えば、図２０Ｂに示すダイアログ・ボックス２０５０）が表示される。次いで、ユーザは、選択されたレンジに関連付けられたＲＳ及びＲＥ値をフィールド２０５２及び２０５４にそれぞれ値を入力することによって変更することができる。選択されたレンジのタイム・スパンは、ダイアログ・ボックスのエリア２０５６に表示される。
また、ユーザは、表示されたレンジの位置をサムネール２００８−２に沿って変えることによって、その表示されたレンジの位置を動かすことができる。レンジの移動により、そのレンジに関連付けられたＲＳ及びＲＥは変更されるが、そのレンジのタイム・スパンは維持される。ＧＵＩ２０００において、ユーザは、まず「Ｍｏｖｅ（移動）」ボタン２０２２を選択し、それからレンジを選択・移動することによって、レンジを動かすことができる。上述のように、レンジについてのタイム・スパンは、「Ｅｄｉｔ」ボタンを選択し、それからそのレンジを表すバーの端をドラッグすることによって、編集することができる。
ユーザは、以前指定したレンジを削除又は消去することができる。図２０Ａに示すＧＵＩ２０００において、ユーザは、「Ｒｅｍｏｖｅ（削除）」ボタン２０２４を選択し、それから消去すべきレンジを選択することによって、表示されたレンジを消去することができる。「Ｃｌｅａｒ（クリア）」ボタン２０２６を選択すると、ＧＵＩ２０００に表示されたマルチメディア情報について指定されているすべてのレンジが消去される。
上述のように、各レンジは、マルチメディア情報のうち、そのレンジに関連付けられた時刻ＲＳとＲＥの間に発生した部分を指す。あるレンジに対応するマルチメディア情報は、「Ｐｌａｙ（再生）」ボタン２０２８を選択することによって、ユーザに出力される。「Ｐｌａｙ」ボタン２０２８を選択した後、ユーザは、ＧＵＩ２０００に表示され、該ユーザに対して出力されるべきマルチメディア情報を持つ特定のレンジを選択する。すると、マルチメディア情報のうち選択されたレンジに対応する部分がユーザに出力される。マルチメディア情報をユーザに出力するのには当業者には既知の様々な異なる手法を用いることができる。本発明の一実施形態によれば、選択されたレンジに関連付けられたマルチメディア情報に対応するビデオ情報がエリア２０３０においてユーザに対して再生される。選択されたレンジに対応するテキスト情報が、エリア２０３２に表示されてもよい。サムネール表示エリア・レンズ３１４及びパネル表示エリア・レンズ３２２の位置及び第三の表示エリア３０６に表示された情報は、エリア２０３０でユーザに対して出力された情報を持つ選択されたレンジに対応するように、自動的に更新される。
また、ユーザは、エリア２０１０においてレンジを選択し、それから「Ｐａｌｙ」ボタン２０２０を選択することによって、選択されたレンジに対応した情報を再生させることができる。すると、選択されたレンジに対応するマルチメディア情報がエリア２０３０に表示される。
また、ユーザは、「Ｐｒｅｖｉｅｗ（プレビュー）」ボタン２０３４を選択することによって、ＧＵＩ２０００によって表示されているマルチメディア情報について指定されているすべてのレンジに関連付けられた情報を順に出力するようにＧＵＩ２０００に命令することもできる。「Ｐｒｅｖｉｅｗ」ボタン２０３４を選択すると、表示されているレンジに対応したマルチメディア情報が、順に、ユーザに対して出力される。例えば、図２０Ａに示すように６つのレンジが表示されている場合、ラベル「１」で識別されたレンジに対応したマルチメディア情報が最初に出力され、次に、ラベル「２」で識別されたレンジに対応したマルチメディア情報が続き、これが、６つのレンジすべてに対応するマルチメディア情報がユーザに出力されるまで、続く。レンジがユーザに出力される順序は、ユーザが設定可能としてもよい。
また、あるレンジに関連付けられたマルチメディア情報は、メモリに保存することもできる。例えば、図２０Ａに示した実施形態において、ユーザは、「Ｓａｖｅ（保存）」ボタン２０３６を選択し、それから保存すべき１以上のレンジを選択することができる。すると、ユーザによって保存するものとして選択されたレンジに対応するマルチメディア情報は、メモリ（例えば、ハードディスク、ストレージ・ユニット、フロッピー（登録商標）ディスク、など）に保存される。
また、レンジについて様々な他のオペレーションも実行することができる。例えば、本発明の一実施形態によれば、１以上のレンジに対応するマルチメディア情報を紙媒体上に印刷することができる。マルチメディア情報を紙媒体上に印刷する手法を記載した詳細は、２００１年１１月１９日に出願され、そのコンテンツ全体がここに参考文献として組み込まれる米国特許出願第１０／００１，８９５号（弁護士整理番号：１５３５８−００６５００ＵＳ）に記載されている。
また、あるレンジに関連付けられたマルチメディア情報をユーザ指定の受取人に伝達することもできる。例えば、ユーザは、特定のレンジを選択し、そのレンジに対応するマルチメディア情報をユーザ指定の受取人へ伝達することを要求することができる。すると、そのレンジに対応するマルチメディア情報は、その受取人に伝達される。このレンジ情報を受取人へ伝達するのには当業者には既知の様々な通信技術（例えば、ファクシミリ、電子メール、無線通信、などの通信技術）を用いることができる。
また、あるレンジに対応するマルチメディア情報は、検索プログラム、ブラウザ、グラフィック・アプリケーション、ＭＩＤＩアプリケーション、などの別のアプリケーション・プログラムへの入力として提供されてもよい。ユーザは、特定のレンジを選択し、それから情報の提供先となるアプリケーションを特定することができる。ユーザの選択に応答して、次いで、そのレンジに対応するマルチメディア情報がそのアプリケーションへの入力として提供される。
上述のように、レンジは、ユーザによって手動で指定されてもよく、本発明によって自動的に選択されてもよい。このレンジの自動選択は、サーバ１０４上で実行するソフトウェア・モジュールによって実行されてもよく、サーバ１０４に接続されたハードウェア・モジュールによって実行されてもよく、或いは、これらの組み合わせでもよい。図２１は、本発明の一実施形態に従って、レンジを自動的に作成する方法を示す簡略化された高レベル・フローチャート２１００である。図２１に示す方法は、サーバ１０４によって実行されてもよく、クライアント１０２によって実行されてもよく、或いは、サーバ１０４及びクライアント１０２によって共同して実行されてもよい。例えば、本方法は、サーバ１０４又はクライアント１０２上で実行するソフトウェア・モジュールによって実行されてもよく、サーバ１０４又はクライアント１０２に接続されたハードウェア・モジュールによって実行されてもよく、或いは、これらの組み合わせでもよい。以下に説明する実施形態では、本方法はサーバ１０４によって実行される。図２１に示す方法は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図２１に示すように、本方法は、サーバ１０４がレンジを作成するための基準を受信したときに開始される（ステップ２１０２）。本発明のユーザは、ＧＵＩ２０００を通じて、基準を指定することができる。例えば、図２０Ａに示すＧＵＩ２０００において、エリア２０４０は、レンジ自動作成用の基準を指定するのに選択することができる様々なオプションを表示する。図２０Ａに示すＧＵＩ２０００において、ユーザは、レンジ基準として、「話題」又は「単語」を選択することができる。ユーザが「話題」を選択した場合、ユーザが関心ある話題に関連する情報（エリア２０４２に表示される）は、レンジ作成基準として識別される。ユーザが「単語」を選択した場合、ＧＵＩ２０００のエリア２０４４においてユーザによって選択された１以上の単語が自動的にレンジを作成するための基準として用いられる。代替的実施形態として、レンジを自動的に作成するための基準は、サーバ１０４がアクセス可能なメモリ・ロケーションに格納されてもよい。例えば、基準情報は、サーバ１０４がアクセス可能なファイルに格納されてもよい。また、本発明の教えるところに従った様々な他の種類の基準も指定することができる
次いで、マルチメディア文書に格納されたマルチメディア情報が分析され、マルチメディア情報内でステップ２１０２で受信された基準を満たす位置（「ヒット」と呼ぶ）を特定する（ステップ２１０４）。例えば、ユーザがエリア２０４４においてユーザによって選択された１以上の単語がレンジ作成基準として用いられるように指定した場合、選択された単語の位置がマルチメディア情報において特定される。同様に、ユーザが関心ある話題をレンジ作成基準として指定した場合、サーバ１０４は、マルチメディア情報を分析し、マルチメディア情報においてユーザによって指定された関心ある話題に関連する位置を特定する。上述のように、サーバ１０４は、マルチメディア情報を分析し、ユーザによって指定された関心ある話題に関連付けられた単語又はフレーズの位置を特定することができる。関心ある話題に関連する情報は、サーバ１０４がアクセス可能なユーザ・プロファイル・ファイルに格納することができる。マルチメディア情報においてステップ２１０２で受信されたレンジ基準を満たす位置を特定するのには当業者には既知の様々な他の手法も用いることができる。
次いで、ステップ２１０４で特定されたヒット位置に基づいて、１以上のレンジが作成される（ステップ２１０６）。ヒット位置に基づいてレンジを形成するのには様々な異なる手法も用いることができる。一手法によれば、ヒットに関連付けられた時刻に基づいて１以上のレンジが作成される。ヒットは、お互いの近接さに基づいて、レンジにグループ分けすることができる。ヒット位置に基づいて作成された１以上のレンジは、より大きなレンジを形成するために合成することができる。
次いで、ステップ２１０６で作成されたレンジは、ＧＵＩ２０００を用いて、ユーザに対して表示される（ステップ２１０８）。レンジをユーザに対して表示するのには様々なＫとなる手法を用いることができる。図２０Ａにおいて、各レンジは、サムネール２００８−２上に表示されたバーによって示されている。
図２２は、本発明の一実施形態に従って、マルチメディア情報におけるヒット位置に基づいてレンジを自動的に作成する方法を示す簡略化された高レベル・フローチャート２２００である。図２２に示す処理は、図２１に示したステップ２１０６において実行される。図２２に示す方法は、サーバ１０４によって実行されてもよく、クライアント１０２によって実行されてもよく、或いは、サーバ１０４及びクライアント１０２によって共同して実行されてもよい。例えば、本方法は、サーバ１０４又はクライアント１０２上で実行するソフトウェア・モジュールによって実行されてもよく、サーバ１０４又はクライアント１０２に接続されたハードウェア・モジュールによって実行されてもよく、或いは、これらの組み合わせでもよい。以下に説明する実施形態では、本方法はサーバ１０４によって実行される。図２２に示す方法は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図２２に示すように、本方法は、マルチメディア情報における最初のヒットに関連付けられた時刻を決定することによって開始される（ステップ２２０２）。このマルチメディア情報における最初のヒットは、関連付けられた時刻が最も古いヒット（すなわち、マルチメディア情報において他のヒットの前に発生したヒット）に対応する。次いで、新しいレンジについてのＲＳが最初のヒットの発生時刻にセットされ、新しいレンジについてのＲＥが最初のヒットの発生時刻後のある時刻値にセットされるように、最初のヒットを含んだ新しいレンジが作成される（ステップ２２０４）。本発明の一実施形態によれば、ＲＥは、最初のヒットの発生時刻の５秒後にセットされる。
次いで、サーバ１０４は、マルチメディア情報に更なるヒットは存在しないか判断する（ステップ２２０６）。マルチメディア情報に更なるヒットが存在しない場合、処理は終了する。その場合、そのマルチメディア情報について作成されたレンジが図２１に示したステップ２１０８に従ってユーザに表示される。ステップ２２０６においてそのマルチメディア情報に更なるヒットが存在すると判断された場合、次のヒットに関連付けられた時刻が決定される（ステップ２２０８）。
次いで、サーバ１０４は、前のヒットを含むレンジの終了時刻とステップ２２０８で決定された時刻との時間差が閾値を超えているか否かを判断する（ステップ２２１０）。したがって、ステップ２２１０において、サーバ１０４は、
（ステップ２２０８で決定された時刻）−（前のヒットを含むレンジのＲＥ）＞ＧａｐＢｅｔｗｅｅｎＨｉｔｓ
が成り立つか否かを判断する。ここで、ＧａｐＢｅｔｗｅｅｎＨｉｔｓは、上記閾時間値を表す。この閾値は、ユーザが設定可能である。本発明の一実施形態によれば、ＧａｐＢｅｔｗｅｅｎＨｉｔｓは６０秒である。
ステップ２２１０において前のヒットを含むレンジの終了時刻とステップ２２０８で決定された時刻との時間差が閾値を超えていると判断された場合、新しいレンジについてのＲＳがステップ２２０８で決定された時刻にセットされ、新しいレンジについてのＲＥがステップ２２０８で決定された時刻後のある時刻値にセットされるように、次のヒットを含んだ新しいレンジが作成される（ステップ２２１２）。本発明の一実施形態によれば、ＲＥは、ヒット発生時刻の５秒後にセットされる。その後、処理はステップ２２０６へ進む。
ステップ２２１０において前のヒットを含むレンジの終了時刻とステップ２２０８で決定された時刻との時間差が閾値を超えていないと判断された場合、前のヒットを含むレンジの終了時刻ＲＥをステップ２２０８で決定された時刻に変えることによって、該レンジが延長される（ステップ２２１４）。その後、処理はステップ２２０６へ進む。
図２２に示した方法によれば、前のレンジから閾値（「ＧａｐＢｅｔｗｅｅｎＨｉｔｓ」）内に発生したマルチメディア情報内のヒットについて１つのレンジが作成される。図２２に示す方法の終わりにおいて、レンジ基準に基づいて、１以上のレンジが自動的に作成される。
本発明の一実施形態によれば、ヒットに関連付けられた時刻に基づいて（例えば、図２２に示すフローチャート２２００に従って）１以上のレンジを形成した後、ヒット位置に基づいて作成された１以上のレンジが、より大きいレンジを形成するために、他のレンジと合成される。本発明の一実施形態によれば、小さいレンジが識別され、その小さいレンジと隣接するレンジとの時間差がユーザが設定可能な時間期間閾値内であれば、その小さいレンジはその隣接するレンジと合成される。時間期間閾値内に２つの隣接する時間レンジが存在する場合、小さいレンジに最も近い隣接レンジが小さいレンジと合成される。隣接レンジは、小さいレンジである必要はない。より小さいレンジを合成してより大きいレンジを形成することは、複数の小さいレンジよりもより大きいレンジの方がユーザにとってより有用である、という前提に基づいている。
図２３は、本発明の一実施形態に従って、１以上のレンジを、それらレンジのサイズと、それらレンジの隣接するレンジへの近接さとに基づいて、合成する方法を示す簡略化された高レベル・フローチャート２３００である。図２３に示す処理は、図２１に示したステップ２１０６において、図２２に示したフローチャート２２００に従った処理の後に実行される。図２３に示す方法は、サーバ１０４によって実行されてもよく、クライアント１０２によって実行されてもよく、或いは、サーバ１０４及びクライアント１０２によって共同して実行されてもよい。例えば、本方法は、サーバ１０４又はクライアント１０２上で実行するソフトウェア・モジュールによって実行されてもよく、サーバ１０４又はクライアント１０２に接続されたハードウェア・モジュールによって実行されてもよく、或いは、これらの組み合わせでもよい。以下に説明する実施形態では、本方法はサーバ１０４によって実行される。図２３に示す方法は、本発明を組み込んだ一実施形態の単なる例示であり、請求項記載の本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図２３で実行される処理を説明するために、ＧＵＩによって表示されているマルチメディア情報についてＮ個のレンジ（Ｎ≧１）が作成されたものとする。これらレンジは、例えば、図２２のフローチャート２２００に示された処理に従って作成される。「Ｎ」個のレンジにおける各レンジＲｉ（１≦ｉ≦Ｎ）は、それに関連付けられた開始時刻ＲＳ及び終了時刻ＲＥを有する。レンジＲｉについて、そのレンジの隣接レンジをレンジＲ（ｉ−１）及びレンジＲ（ｉ＋１）とする。レンジＲ（ｉ−１）のＲＥはレンジＲｉのＲＳより前に発生し、レンジＲｉのＲＥはレンジＲ（ｉ＋１）のＲＳより前に発生する。レンジＲ（ｉ−１）をレンジＲｉ前に発生するレンジと呼ぶ。レンジＲ（ｉ＋１）をレンジＲｉ後に発生するレンジと呼ぶ。
図２３に示すように、本方法は、変数「ｉ」を１に初期化することによって開始される（ステップ２３０３）。次いで、レンジＲｉが選択される（ステップ２３０４）。最初にフローチャート２３００を通るとき、「Ｎ」個のレンジの中の最初のレンジが選択される。後続の処理では、後続のレンジが選択される。
次いで、サーバ１０４は、ステップ２３０４で選択されたレンジＲｉが小さいレンジとしてふさわしいか否かを判断する。本発明の一実施形態によれば、閾値「ＳｍａｌｌＲａｎｇｅＳｉｚｅ」が定義され、レンジのタイム・スパンが閾値ＳｍａｌｌＲａｎｇｅＳｉｚｅ以下の場合に、そのレンジは小さいレンジと考えられる。したがって、レンジＲｉが小さいレンジとしてふさわしいか否かを判断するために、ステップ２３０４で選択されたレンジＲｉのタイム・スパンが時間閾値「ＳｍａｌｌＲａｎｇｅＳｉｚｅ」と比較される（ステップ２３０６）。ＳｍａｌｌＲａｎｇｅＳｉｚｅの値は、ユーザが設定可能とすることができる。本発明の一実施形態によれば、ＳｍａｌｌＲａｎｇｅＳｉｚｅは８秒にセットされる。
ステップ２３０４において、ステップ２３０４で選択されたレンジＲｉが小さいレンジにふさわしくない（すなわち、レンジＲｉのタイム・スパン（ＲＥ−ＲＳ）が閾値ＳｍａｌｌＲａｎｇｅＳｉｚｅより大きい）と判断された場合、そのレンジは、別のレンジと合成されるレンジの候補とはならない。次いで、変数「ｉ」の値が１つインクリメントされ、「Ｎ」個のレンジの中から次のレンジを選択するのに容易にする。したがって、図２３に示す本発明の教えるところによれば、小さいレンジにふさわしいレンジのみが他の隣接するレンジとの合成される資格を持つ。
ステップ２３０８の後、サーバ１０４は、「Ｎ」個のレンジのすべてが処理されたか否かを判断する。これは、「ｉ」の値が「Ｎ」の値より大きいか否かを判断することによって行われる（ステップ２３１０）。「ｉ」の値が「Ｎ」より大きい場合、それは、そのマルチメディア情報についてのすべてのレンジが処理され、フローチャート２３００の処理が終了することを示している。ステップ２３１０において「ｉ」が「Ｎ」以下と判断された場合、それは、「Ｎ」個のレンジの中にフローチャート２３００に従って処理されていないレンジが少なくとも１つ存在することを示している。その場合、処理はステップ２３０４へ進み、次のレンジＲｉが選択される。
ステップ２３０６において、ステップ２３０４で選択されたレンジＲｉが小さいレンジにふさわしい（すなわち、レンジＲｉのタイム・スパン（ＲＥ−ＲＳ）が閾値ＳｍａｌｌＲａｎｇｅＳｉｚｅより以下である）と判断された場合、本発明は、レンジＲｉを合成することが可能なレンジＲｉに隣接するレンジ（すなわち、ステップ２３０４で選択されたレンジＲｉの直前又は直後に発生するレンジ）を識別する処理を実行する。このようなレンジを識別するために、サーバ１０４は変数を初期化し、ステップ２３０４で選択されたレンジＲｉに隣接するレンジの選択を容易にする（ステップ２３１２）。変数「ｊ」は値（ｉ＋１）にセットされ、変数「ｋ」は値（ｉ−１）にセットされる。変数「ｊ」は、レンジＲｉに隣接し、レンジＲｉの後に発生するレンジを指すのに用いられ、変数「ｋ」は、レンジＲｉに隣接し、レンジＲｉの前に発生するレンジを指すのに用いられる。図２４は、レンジＲｉ、Ｒｊ、及びＲｋの間の関係を示す簡略図を示す。図２４に示すように、レンジＲｉは、レンジＲｋの後に発生し（すなわち、ＲｉのＲＳはＲｋのＲＥより前に発生し）、レンジＲｊの前に発生する（すなわち、ＲｉのＲＥはＲｊのＲＳの前に発生する）。
次いで、サーバ１０４は、そのマルチメディア情報について作成された「Ｎ」個のレンジにステップ２３０４で選択されたレンジＲｉの隣接レンジであってレンジＲｉより前に発生するレンジ及びレンジＲｉの隣接レンジであってレンジＲｉより後に発生するレンジを含まれるか否かについて判断する。これは、変数「ｊ」及び「ｋ」の値を判断することによって行われる。「ｊ」の値が「Ｎ」より大きい場合、それは、ステップ２３０４で選択されたレンジＲｉがそのマルチメディア情報について作成された「Ｎ」個のレンジの中で最後のレンジであり、レンジＲｉの後に発生するレンジは存在しない、ことを示している。「ｋ」の値が０の場合、それは、ステップ２３０４で選択されたレンジＲｉがそのマルチメディア情報について作成された「Ｎ」個のレンジの中の最初のレンジであり、レンジＲｉの前に発生したレンジは存在しない、ことを示している。
したがって、サーバ１０４は、レンジＲｉがＲｉの前に発生した隣接レンジ及びＲｉの後に発生した隣接レンジを有するか否かを判断する。これは、「ｊ」の値が「Ｎ」未満で且つ「ｋ」の値が０でないか否かを判断することによって行われる（ステップ２３１４）。ステップ２３１４における条件が満たされた場合、それは、「Ｎ」個のレンジの中にステップ２３０４で選択されたレンジＲｉに隣接し、レンジＲｉより前に発生するレンジと、レンジＲｉに隣接し、レンジＲｉより後に発生するレンジとが存在することを示している。この場合、処理はステップ２３１６へ進む。ステップ２３１４における条件が満たされない場合、それは、ステップ２３０４で選択されたレンジＲｉが「Ｎ」個のレンジの中の最初のレンジであり、レンジＲｉの前に発生したレンジは存在しないこと、及び／又は、ステップ２３０４で選択されたレンジＲｉが「Ｎ」個のレンジの中で最後のレンジであり、レンジＲｉの後に発生するレンジは存在しないこと、のいずれかを示している。この場合、処理はステップ２３３０へ進む。
ステップ２３１４における条件が真であると判断された場合、サーバ１０４は、レンジＲｉとＲｋの間及びレンジＲｉとＲｊの間の時間差を決定する（ステップ２３１６）。
レンジＲｉとＲｋの間の時間差（Ｇｉｋで示す）は、レンジＲｉのＲＳとＲｋのＲＥの間の時間を決定することによって計算される（図２４参照）。すなわち、
Ｇｉｋ＝（ＲｉのＲＳ）−（ＲｋのＲＥ）
である。レンジＲｉとＲｊの間の時間差（Ｇｉｊで示す）は、レンジＲｉのＲＥとＲｊのＲＳの間の時間を決定することによって計算される（図２４参照）。すなわち、
Ｇｉｊ＝（ＲｊのＲＳ）−（ＲｉのＲＥ）
である。
本発明の教えるところによれば、小さいレンジと隣接レンジの間の差が差閾値以下の場合のみ、小さいレンジは隣接レンジと合成される。この差閾値は、ユーザが設定可能である。したがって、サーバ１０４は、次いで、レンジＲｉをその隣接レンジの一と合成できるか否かを判断するための時間差のサイズを決定する。
サーバ１０４は、次いで、時間差Ｇｉｋと時間差Ｇｉｊの値を比較することによって、いずれの時間差がより大きいかを判断する（ステップ２３１８）。ステップ２３１８において、ＧｉｋがＧｉｊより大きいと判断された場合、それは、ステップ２３０４で選択されたレンジＲｉはレンジＲｋへよりもレンジＲｊの方に近いことを示しており、処理はステップ２３２２へ進む。他方、ステップ２３１８において、ＧｉｋがＧｉｊより大きくないと判断された場合、それは、ステップ２３０４で選択されたレンジＲｉとレンジＲｋの間の時間差がレンジＲｉとレンジＲｊの間の時間差以下であることを示しており、処理はステップ２３２０へ進む。
ステップ２３１８において、ＧｉｋがＧｉｊより大きくないと判断された場合、サーバ１０４は、レンジＲｉとレンジＲｋの間の時間差（Ｇｉｋ）が差閾値「ＧａｐＴｈｒｅｓｈｏｌｄ」以下であるか否かを判断する（ステップ２３２０）。ＧａｐＴｈｒｅｓｈｏｌｄの値は、ユーザが設定可能である。本発明の一実施形態によれば、ＧａｐＴｈｒｅｓｈｏｌｄは９０秒にセットされる。ＧａｐＴｈｒｅｓｈｏｌｄには様々な他の値も用いることができることは明らかである。
ステップ２３２０において、レンジＲｉとレンジＲｋの間の時間差（Ｇｉｋ）が差閾値ＧａｐＴｈｒｅｓｈｏｌｄ以下である（すなわち、Ｇｉｋ≦ＧａｐＴｈｒｅｓｈｏｌｄ）と判断された場合、レンジＲｉとＲｋは合成され、１つのレンジが形成される（ステップ２３２４）。レンジＲｉとＲｋの合成処理は、レンジＲｋの終了時刻をレンジＲｉの終了時刻に変更し（すなわち、ＲｋのＲＥをＲｉのＲＥにセットし）、レンジＲｉを消去することを含む。その後、処理はステップ２３０８に進み、変数「ｉ」の値が１つインクリメントされる。
ステップ２３２０において、時間差ＧｉｋがＧａｐＴｈｒｅｓｈｏｌｄより大きい（すなわち、Ｇｉｋ＞ＧａｐＴｈｒｅｓｈｏｌｄ）と判断された場合、それは、レンジＲｊ及びＲｋの双方が差閾値の外にあることを示しており、結果として、レンジＲｉはレンジＲｊ及びＲｋのいずれとも合成できない。このシナリオの場合、処理はステップ２３０８に進み、変数「ｉ」の値が１つインクリメントされる。
ステップ２３１８に戻り、ＧｉｋがＧｉｊより大きいと判断された場合、サーバ１０４は、レンジＲｉとレンジＲｊの間の時間差（Ｇｉｊ）が差閾値「ＧａｐＴｈｒｅｓｈｏｌｄ」以下であるか否かを判断する（ステップ２３２２）。上述のように、ＧａｐＴｈｒｅｓｈｏｌｄの値は、ユーザが設定可能である。本発明の一実施形態によれば、ＧａｐＴｈｒｅｓｈｏｌｄは９０秒にセットされる。ＧａｐＴｈｒｅｓｈｏｌｄには様々な他の値も用いることができることは明らかである。
ステップ２３２２において、レンジＲｉとＲｊの間の時間差（Ｇｉｊ）が差閾値ＧａｐＴｈｒｅｓｈｏｌｄ以下である（すなわち、Ｇｉｊ≦ＧａｐＴｈｒｅｓｈｏｌｄ）と判断された場合、レンジＲｉとＲｊは合成され、１つのレンジが形成される（ステップ２３２６）。レンジＲｉとＲｊの合成処理は、レンジＲｊの開始時刻をレンジＲｉの開始時刻に変更し（すなわち、ＲｊのＲＳをＲｉのＲＳにセットし）、レンジＲｉを消去することを含む。その後、処理はステップ２３０８に進み、変数「ｉ」の値が１つインクリメントされる。
ステップ２３２２において、差ＧｉｊがＧａｐＴｈｒｅｓｈｏｌｄより大きい（すなわち、Ｇｉｊ＞ＧａｐＴｈｒｅｓｈｏｌｄ）と判断された場合、それは、レンジＲｊ及びＲｋの双方が差閾値の外にあることを示しており、結果として、レンジＲｉはレンジＲｊ及びＲｋのいずれとも合成できない。このシナリオの場合、処理はステップ２３０８に進み、変数「ｉ」の値が１つインクリメントされる。
サーバ１０４が、ステップ２３１４における条件が満たされないと判断した場合、サーバ１０４は、「ｋ」の値が０であるか否かを判断する（ステップ２３３０）。「ｋ」の値が０であれば、それは、ステップ２３０４で選択されたレンジＲｉがそのマルチメディア情報について作成された「Ｎ」個のレンジの中の最初のレンジであり、レンジＲｉの前に発生したレンジは存在しない、ことを示している。このシナリオにおいて、サーバ１０４は、変数「ｊ」の値が「Ｎ」より大きいか否かを判断する（ステップ２３３２）。「ｊ」の値も「Ｎ」より大きい場合、それは、ステップ２３０４で選択されたレンジＲｉがそのマルチメディア情報について作成された「Ｎ」個のレンジの中の最初のレンジであるだけでなく最後のレンジでもあり、レンジＲｉの後に発生するレンジは存在しない、ことを示している。ステップ２３３０において「ｋ」が０であると判断され、ステップ２３３２において「ｊ」＞Ｎと判断された場合、それは、そのマルチメディア情報についてのレンジ群は１つのレンジしか含まない（すなわち、Ｎ＝１）、ことを示している。次いで、フローチャート２３００に示した処理は、合成できるレンジがないため、終了する。
ステップ２３３０において「ｋ」は０に等しいと判断され、ステップ２３３２において「ｊ」は「Ｎ」より大きくないと判断された場合、それは、ステップ２３０４で選択されたレンジＲｉがそのマルチメディア情報について作成された「Ｎ」個のレンジにおける最初のレンジを表し、それらレンジ群はレンジＲｉに隣接し、レンジＲｉより後に発生するレンジＲｊを少なくとも１つ含む、ことを示している。この場合、レンジＲｉとレンジＲｊの間の時間差Ｇｉｊが決定される（ステップ２３３４）。上述のように、Ｇｉｊは、レンジＲｉのＲＥとＲｊのＲＳの間の時間を決定することによって計算される。すなわち、
Ｇｉｊ＝（ＲｊのＲＳ）−（ＲｉのＲＥ）
である。次いで、処理は上述のステップ２３２２へ進む。
ステップ２３３０において「ｋ」は０に等しくないと判断された場合、それは、ステップ２３０４で選択されたレンジＲｉがそのマルチメディア情報について作成された「Ｎ」個のレンジにおける最後のレンジを表し、それらレンジ群はレンジＲｉに隣接し、レンジＲｉより前に発生するレンジＲｋを少なくとも１つ含む、ことを示している。この場合、レンジＲｉとレンジＲｋの間の時間差Ｇｉｋが決定される（ステップ２３３６）。上述のように、Ｇｉｋは、レンジＲｉのＲＳとＲｋのＲＥの間の時間を決定することによって計算される。すなわち、
Ｇｉｋ＝（ＲｉのＲＳ）−（ＲｋのＲＥ）
である。次いで、処理は上述のステップ２３２０へ進む。
図２５Ａは、本発明の一実施形態に従って、図２４に示したレンジＲｉ及びＲｋを合成することによって作成された一レンジを示す簡略図を示す。図２５Ｂは、本発明の一実施形態に従って、図２４に示したレンジＲｉ及びＲｊを合成することによって作成された一レンジを示す簡略図を示す。
上述のように、図２３に示す処理は、図２２に示すフローチャート２２００に従って、ヒットに関連付けられた時刻に基づいて１以上のレンジが作成された後に実行することができる。本発明の一実施形態によれば、図２３に示すフローチャート２３００に従ってレンジが合成された後、それらレンジは、図２１のステップ２１０８に従ってＧＵＩ２０００においてユーザに対して表示される。
本発明の代替的実施形態によれば、図２３に示すフローチャートに従ってレンジを合成した後、各レンジの開始時刻及び終了時刻にバッファ時間が加えられる。ユーザは、各レンジの開始時刻に加えられる時間量（ＢｕｆｆｅｒＳｔａｒｔ）及び各レンジの終了時刻に加えられる時間量（ＢｕｆｆｅｒＥｎｄ）を設定することができる。バッファ時間は、レンジがそのレンジの最初のヒットからすぐに始まらないように、及び、そのレンジの最後のヒットですぐに終わらないように、レンジに対して加えられる。バッファ時間は、レンジに含まれている情報に対してリードイン（ｌｅａｄ−ｉｎ）及びトレーリングオフ（ｔｒａｉｌｉｎｇ−ｏｆｆ）を提供するため、そのレンジに対してより良いコンテキストを提供する。
バッファは、レンジのＲＳ時刻を以下のように変えることによって、レンジの開始時に提供される。
レンジのＲＳ＝（バッファを加える前のレンジのＲＳ）―ＢｕｆｆｅｒＳｔａｒｔ
バッファは、レンジのＲＥ時刻を以下のように変えることによって、レンジの終了時に提供される。
レンジのＲＥ＝（バッファを加える前のレンジのＲＥ）―ＢｕｆｆｅｒＥｎｄ
図２６は、本発明の一実施形態に従って自動的に作成されたレンジを示すＧＵＩ２０００の拡大版を示す。ユーザによって提供された基準を満たす複数のヒット２６０２がテキスト情報を表示するサムネール２００８−１においてマーキングされている。本発明の一実施形態によれば、これらヒットは、ユーザが指定した関心ある話題に関連する単語及び／又はフレーズを表す。図２６に示すように、これらヒットの位置に基づいて、２つのレンジ２００６−２及び２００６−３が自動的に作成されている。レンジ２００６−２は、本発明の教えるところ（例えば、図２３に示したフローチャート２３００）に従って、複数の小さいレンジを合併させることによって作成されている。
（複数のマルチメディア文書からのマルチメディア情報の表示）
本発明の上記実施形態は、記録された（又は取り込まれた）情報の表現を共通のタイムラインに沿って表示する。これら記録された情報には、オーディオ情報、ビデオ情報、クローズド・キャプション（ＣＣ）テキスト情報、スライド情報、ホワイトボード情報、などの様々な種類の情報が含まれ得る。これら様々な種類の情報は、１以上の取込装置によって取り込まれたものであってもよい。
上述のように、マルチメディア文書は、記録された又は取り込まれた情報を格納する所蔵所を備えることができる。マルチメディア文書は、複数の種類の情報を含む記録された情報を格納したファイルであってもよい。マルチメディア文書は、記録された情報を格納した１以上の他のファイルへの参照を含んだファイルであってもよい。これら参照されたファイルは、１以上の種類の情報を格納していてもよい。また、マルチメディア文書は、１種類以上の記録された情報が格納されたロケーションであってもよい。例えば、マルチメディア文書は、共通のタイムライン中に取り込まれた又は記録された情報を含むファイルを格納したディレクトリであってもよい。本発明の一実施形態によれば、ディレクトリの各ファイルは、特定の種類の情報を格納する。すなわち、各ファイルは、特定の情報ストリームを格納する。したがって、複数種類（例えば、第一の種類、第二の種類、など）の情報を含む記録された情報について、様々な種類の情報が１つのファイルに格納されてもよく、各種類の情報が別々のファイルに格納されてもよい。
様々な種類の情報が共通のタイムラインに沿って取り込まれているため、情報の表現はＧＵＩによって表示された時にその表示が互いに時間的に揃っているように表示することができる。例えば、図３に示したインターフェース３００は、テレビ放送記録マルチメディア文書によって格納されたマルチメディア情報を表示する。放送記録に格納された様々な種類の情報は、例えば、ビデオ情報、オーディオ情報、及び、場合によってはクローズド・キャプション（ＣＣ）テキスト情報などである。ビデオ情報、オーディオ情報、及び、ＣＣテキスト情報は、すべて、おそらく異なる取込装置によって、同じ（又は、共通の）タイムラインに沿って、取り込まれる。例えば、オーディオ情報は、オーディオ情報取込装置（例えば、マイク）を用いて取り込まれ、ビデオ情報は、ビデオ情報取込装置（例えば、ビデオカメラ）を用いて取り込まれる。また、オーディオ情報及びビデオ情報は、１つの情報取込装置によって取り込まれてもよい。
上述のように、インターフェース３００は、放送記録に含まれるオーディオ情報又はＣＣテキスト情報の表現（又は、マルチメディア情報に含まれた他の種類の情報のテキスト表現）であるテキスト情報を表示する。また、インターフェース２００は、放送記録に含まれるビデオ情報から抽出されたビデオ・キーフレームを表示する。表示されたビデオ・キーフレームは、マルチメディア文書に格納されたビデオ情報の表現である。オーディオ情報及びビデオ情報は同じタイムラインに沿って取り込まれるため、それら情報の表現をそれらが時間的に揃えられるように又は互いに同期するように表示することができる。例えば、上述のように、サムネール画像３１２−１及び３１２−２は、サムネール画像３１２−１におけるテキスト情報（例えば、オーディオ情報又はＣＣテキスト情報の録音、又は、マルチメディア情報に含まれる他の種類の情報のテキスト表現を表す）と、サムネール３１２０２に表示された特定の時点で発生したビデオ・キーフレームとは、同じ水平軸に沿って互いに略近接して表示される。これにより、ユーザは、単にサムネール画像を水平軸に走査することによって略同時に発生したテレビ放送記録における様々な種類の情報を判断することができる。同様に、パネル３２４−１及び３２４−２は、テレビ放送記録において略同時に発生した様々な種類の情報の表現が互いに略近接して表示されるように、時間的に揃えられる又は互いに同期される。
また、本発明の実施形態は、複数のマルチメディア文書に格納された記録済マルチメディア情報を表示することもできる。複数のマルチメディア文書にあるマルチメディア情報は、異なるタイムラインに沿って取り込まれたものであってもよい。例えば、本発明の実施形態は、第一のタイムライン中に取り込まれた又は記録されたテレビ・ニュース放送（例えば、朝のニュース放送）からのマルチメディア情報の表現と、第一のタイムラインとは異なる第二のタイムライン中に取り込まれた別のテレビ・ニュース放送（例えば、夕方のニュース放送）からのマルチメディア情報の表現とを表示することができる。したがって、本発明の実施形態は、異なるタイムラインに沿って取り込まれたマルチメディア情報を格納し得る１以上のマルチメディア文書に格納されたマルチメディア情報を表示することができる。各マルチメディア文書は、オーディオ情報、ビデオ情報、ＣＣテキスト情報、ホワイトボード情報、スライド情報、などの様々な種類の情報を含み得る。
また、表示されている情報を持つ複数のマルチメディア文書は、同じタイムラインに沿って取り込まれた情報を格納した文書を含み得る。例えば、複数のマルチメディア文書は、第一のタイムライン中に取り込まれた第一のチャンネルからの第一のテレビ番組録画と、第一のテレビ番組録画と同じタイムライン（すなわち、第一のタイムライン）中に取り込まれた第二のチャンネルからの第二のテレビ番組記録とを含むことができる。したがって、本発明の実施形態は、同じ又は異なるタイムラインに沿って取り込まれた情報を格納する複数のマルチメディア文書からの情報の表現を表示することができる。
図２７は、本発明の一実施形態に従って１以上のマルチメディア文書に格納され得る情報を表示することができる簡略化されたスタートアップ・ユーザ・インターフェース２７００を示す。インターフェース２７００は、本発明の実施形態の単なる例示であり、本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図２７に示すように、インターフェース２７００は、ユーザが選択可能な複数のボタンを含むツールバー２７０２を有する。これらボタンは、例えば、マルチメディア文書を表示するためにロードするためのボタン２７０４、前にロードされた１以上のマルチメディア文書を削除するためのボタン２７０６、ロードされた１以上のマルチメディア文書からのマルチメディア情報を紙媒体上に印刷するためのボタン２７０８、ユーザ・プリファレンスを設定するためのボタン２７１０、ユーザがアクションを実行したり、１以上のマルチメディア文書からの情報の表示方法を設定、カスタマイズ、又は、制御したりすることを可能にする他のボタン、などを含む。インターフェース２７００の追加的機能は、以下により詳細に説明する。
表示する１以上のマルチメディア文書をロードするために、ユーザはロード・ボタン２７０４を選択する。図２８は、本発明の一実施形態において、ユーザがロード・ボタン２７０４を選択したときに表示される簡略化されたウィンドウ２８００を示す。ウィンドウ２８００は、本発明の教えるところに従ってロードされ表示される１以上のマルチメディア文書の選択を容易にする。図２８に示すように、ロード可能な１以上のマルチメディア文書を識別する情報がウィンドウ２８００のボックス２８０２に表示される。各マルチメディア文書は、識別子（例えば、ファイル名、ディレクトリ名などのロケーション識別子、など）によって識別することができる。図２８に示す実施形態では、各マルチメディア文書は、５桁のコード識別子によって識別される。ユーザは、ボックス２８０２においてマルチメディア文書に対応する識別子を強調し、それから「Ａｄｄ（追加）」ボタン２８０４を選択することによって、ロードされる１以上のマルチメディア文書を選択することができる。次いで、そのマルチメディア文書について強調された識別子がボックス２８０２から移動し、ロードするものとして選択されたマルチメディア文書を表示するボックス２８０６に表示される。ボックス２８０６においてマルチメディア文書に対する識別子を強調し、それから「Ｒｅｍｏｖｅ（削除）」ボタン２８０８を選択することによって、以前に選択されたマルチメディア文書を選択解除することができる。
（ボックス２８０２又は２８０６で）強調された識別子に対応するマルチメディア文書に関連する情報は、情報エリア２８１０に表示される。図２８に示す実施形態では、表示される情報には、マルチメディア文書の持続時間を示す情報２８１２、マルチメディア文書の情報が取り込まれた又は記録された日付を示す情報２８１４、記録された時刻を示す情報２８１６、情報が記録されたテレビ・チャンネルを識別する情報２８１８、及び、記録の種類を示す情報２８２０、が含まれる。マルチメディア文書について入手可能な他の記述的情報（例えば、テレビ番組名）が説明エリア２８２１に表示されてもよい。
ユーザは、「Ｌｏａｄ（ロード）」ボタン２８２２を選択して、ボックス２８０６に表示された識別子によって識別されたマルチメディア文書のコンテンツをロードし、表示させることができる。図２８に示すように、３つのマルチメディア文書が選択されており、これら３つのマルチメディア文書は、「Ｌｏａｄ」ボタン２８２２が選択されると、ロードされる。これら選択されたマルチメディア文書は、同じタイムラインに沿って取り込まれたマルチメディア情報を格納してもよく、異なるタイムラインに沿って取り込まれたマルチメディア情報を格納してもよい。選択されたマルチメディア文書の各々は、１以上の種類の情報（例えば、オーディオ情報、ビデオ情報、ＣＣテキスト情報、ホワイトボード情報、スライド情報、など）を有し得る。１つのマルチメディア文書によって格納される情報種類は、別の選択されたマルチメディア文書によって格納された情報種類と異なってもよい。ユーザは、「Ｃａｎｃｅｌ（キャンセル）」ボタン２８２４を選択することによって、ロード・オペレーションをキャンセルすることができる。
マルチメディア文書を選択しロードするのには他の手法も用いることができる。例えば、一手法によれば、ユーザは、特定の識別子（例えば、バーコード）を走査することができる。走査されたバーコードに対応するマルチメディア文書（又は、マルチメディア文書によって格納された情報の一部）が、選択され、ロードされる。
図２９Ａは、本発明の一実施形態において、１以上のマルチメディア文書がロードされ、表示された後のユーザ・インターフェース２９００を示す。インターフェース２９００は、本発明の実施形態の単なる例示であり、本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図２９Ａに示すように、３つのマルチメディア文書のコンテンツがロードされ、表示されている。各マルチメディア文書について、そのマルチメディア文書によって格納された様々な種類の情報の表現がそのマルチメディア文書に対応するサムバー（ｔｈｕｍｂａｒ）に表示される。また、各マルチメディア文書について、ビデオ・ウィンドウも表示される。各マルチメディア文書についてのサムバーは、そのマルチメディア文書に含まれる様々な種類の情報の表現を表示する１以上のサムネール画像を含む。
例えば、図２９Ａにおいて、サムバー２９０２は、第一のマルチメディア文書によって格納された情報の表現を表示し、サムバー２９０６は、第二のマルチメディア文書によって格納された情報の表現を表示し、サムバー２９１０は、第三のマルチメディア文書によって格納された情報の表現を表示する。ビデオ・ウィンドウ２９０４は、第一のマルチメディア文書用に表示され、ビデオ・ウィンドウ２９０８は、第二のマルチメディア文書用に表示され、ビデオ・ウィンドウ２９１２は、第三のマルチメディア文書用に表示される。図２９Ａに示す実施形態において、第一、第二、及び第三のマルチメディア文書は、テレビ番組の録画であり、それぞれがオーディオ情報、ビデオ情報、及び、場合によってはＣＣテキスト情報を含む。しかし、これは本発明の範囲を制限することを意図するものではない。本発明の教えるところに従って表示されたマルチメディア文書は、様々な種類の情報を含むことができる。
図２９Ａに表示された各サムバーは、１以上のサムネール画像を含む。各サムネール画像は、そのマルチメディア文書に格納された一情報種類の表現を表示する。インターフェース２９００にロードされた３つのマルチメディア文書は、オーディオ情報、ビデオ情報、及び、場合によってはＣＣテキスト情報を有し、サムバー２９０２、２９０６、及び２９１０は、それぞれ、対応するマルチメディア文書からのオーディオ情報又はＣＣテキスト情報の表現であるテキスト情報（又は、マルチメディア文書に含まれる他の種類の情報のテキスト表現）を表示するサムネール画像と、対応するマルチメディア文書においてビデオ情報を表すビデオ・キーフレームを表示するサムネール画像とを含む。例えば、サムバー２９０２は、第一のマルチメディア文書からのオーディオ情報（又は、ＣＣテキスト情報）を表すテキスト情報を表示するサムネール画像２９１４と、第一のマルチメディア文書のビデオ情報から抽出されたビデオ・キーフレームを表示するサムネール画像２９１６とを含む。サムバー２９０６は、第二のマルチメディア文書からのオーディオ情報（又は、ＣＣテキスト情報）を表すテキスト情報（又は、マルチメディア情報に含まれる他の種類の情報のテキスト表現）を表示するサムネール画像２９１８と、第二のマルチメディア文書のビデオ情報から抽出されたビデオ・キーフレームを表示するサムネール画像２９２０とを含む。サムバー２９１０は、第三のマルチメディア文書からのオーディオ情報（又は、ＣＣテキスト情報）を表すテキスト情報（又は、マルチメディア情報に含まれる他の種類の情報のテキスト表現）を表示するサムネール画像２９２２と、第三のマルチメディア文書のビデオ情報から抽出されたビデオ・キーフレームを表示するサムネール画像２９２４とを含む。サムネール画像を生成・表示する手法については既に説明した。各サムバーは、図３に示した第二の表示エリアと似ている。
サムバーにおけるサムネール画像は、マルチメディア文書において時間的に同時に発生した情報の表現が同じ水平軸に沿って互いに略近接して表示されるように、揃えられる。各サムバーは、共通のタイムラインに従って取り込まれた情報を表す。しかし、１つのサムバーに対応するタイムラインは、別のサムバーに対応するタイムラインと異なってもよい。
各サムバーについて、そのサムバーの一部分を覆う又は強調するレンズ（「サムネール表示エリア・レンズ」）が表示される。図２９Ａに示すように、サムネール表示エリア・レンズ２９２６は、サムバー２９０２の一部エリアを覆い、サムネール表示エリア・レンズ２９２８は、サムバー２９０６の一部エリアを覆い、サムネール表示エリア・レンズ２９３０は、サムバー２９１０の一部エリアを覆う。サムネール表示エリア・レンズは、当初、図２９Ａに示すように、サムバーの上端（すなわち、マルチメディア文書の先頭）に位置する。図３に関して既に説明したように、各サムネール表示レンズは、対応するサムバーに沿って動かすことができ、サムバーに表示されたマルチメディア文書のコンテンツをナビゲート及びスクロールするのに用いることができる。サムネール表示エリア・レンズを表示する手法、及び、サムネール表示エリア・レンズを用いて各マルチメディア文書のコンテンツをナビゲート及びスクロールする手法、については既に説明した。各サムネール表示エリア・レンズは、図３に示すサブレンズ３１６などのサブレンズを有してもよく、有さなくてもよい。
また、各マルチメディア文書に関連する記述的情報も、そのマルチメディア文書に対応するサムバーに表示することができる。この情報は、マルチメディア文書の持続時間を示す情報、マルチメディア文書の情報が取り込まれた又は記録された日付を示す情報、記録された時刻を示す情報、情報が記録されたテレビ・チャンネル又はテレビ番組を識別する情報、記録の種類を示す情報、などの情報が含まれ得る。図２９Ａに示すように、各マルチメディア文書についての記述的情報２９３２は、対応するサムバーの一側面に沿って表示される。
各マルチメディア文書について、そのマルチメディア文書に対応するビデオ・ウィンドウでビデオ情報が再生されてもよい。また、そのビデオ情報を付随するオーディオ情報もオーディオ出力装置を通じて出力されてもよい。例えば、第一のマルチメディア文書からのビデオ情報はビデオ・ウィンドウ２９０４で再生され、第二のマルチメディア文書からのビデオ情報はビデオ・ウィンドウ２９０８で再生され、第三のマルチメディア文書からのビデオ情報はビデオ・ウィンドウ２９１２で再生される。各ビデオ・ウィンドウには、そのビデオ・ウィンドウにおけるビデオ情報の再生を制御するコントロール・バーが設けられる。例えば、ビデオ・ウィンドウ２９０４におけるビデオ情報の再生は、コントロール・バー２９３４によって提供される制御によって制御され、ビデオ・ウィンドウ２９０８におけるビデオ情報の再生は、コントロール・バー２９３６によって提供される制御によって制御され、ビデオ・ウィンドウ２９１２におけるビデオ情報の再生は、コントロール・バー２９３８によって提供される制御によって制御される。
また、あるマルチメディア文書についてビデオ・ウィンドウに表示されるビデオ情報のコンテンツは、そのマルチメディア文書に対応するサムバー上でのサムネール表示エリア・レンズの位置に依存する。例えば、ビデオ・ウィンドウ２９０４に表示されるビデオ情報のコンテンツは、サムバー２９０２上でのサムネール表示エリア・レンズの位置に依存する。上述のように、各サムネール表示エリア・レンズは、時刻ｔ１に対応する上端と、時刻ｔ２に対応する下端とによって特徴付けられる。ビデオ・ウィンドウにおけるビデオ情報の再生は、時刻ｔ１又はｔ２或いは時刻ｔ１とｔ２の間の任意の時刻、に開始される。サムネール表示エリア・レンズのサムバー上での位置が変更されると、対応するビデオ・ウィンドウにおけるビデオ再生も、サムネール表示エリア・レンズのサムバー上での現在位置に対応した時刻ｔ１又はｔ２或いは時刻ｔ１とｔ２の間の任意の時刻から再生を開始するように、変更され得る。異なるサムバーの一部分を覆う各サムネール表示エリア・レンズは、互いに独立して、サムバーに沿って再配置できることに注意。
また、各ビデオ・ウィンドウは、そのビデオ・ウィンドウにビデオ情報コンテンツが表示されているマルチメディア文書に関連する情報も表示できる。この情報は、例えば、その録画についてテレビ番組を識別する情報、現在再生されているコンテンツに対応したマルチメディア文書における時刻を識別する情報、などである。
本発明の一実施形態によれば、すべてのロードされたマルチメディア文書で発見される単語（すなわち共通な単語）リスト２９４０もインターフェース２９００の一エリアに表示される。この単語リスト２９４０は、ロードされたマルチメディア文書によって含まれる１以上の種類の情報において発見される単語を含む。例えば、図２９Ａに表示された単語リストは、第一のマルチメディア文書、第二のマルチメディア文書、及び、第三のマルチメディア文書において発見された単語を含む。本発明の一実施形態によれば、ロードされたマルチメディア文書によって含まれた情報のテキスト表現は、共通な単語を見つけるために検索される。このテキスト情報は、ＣＣテキスト情報、オーディオ情報の録音、又は、マルチメディア文書に格納された他の種類の情報のテキスト表現、を表すことができる。本発明の別の実施形態によれば、単語リストは、マルチメディア文書によって含まれたビデオ情報から判断された単語を含む。例えば、ビデオ情報から抽出されたビデオ・キーフレームが共通な単語を見つけるために検索される。キーフレームは、それら単語について検索される。また、マルチメディア文書において単語が登場した回数が示される。
図２９Ｂは、サムネール表示エリア・レンズの位置が本発明の一実施形態に従ってそれらの初期位置から変更されたときのインターフェース２９００を示す。図示するように、サムネール表示エリア・レンズ２９２６、２９２８、及び２９３０は、図２９Ａに示したそれらの位置から変更されている。サムネール表示エリア・レンズの位置は対応するビデオ・ウィンドウで再生されるビデオ情報に影響を与えるため、ビデオ・ウィンドウ２９０４、２９０８、及び２９１２におけるコンテンツも変化している。ユーザがサムバー上でサムネール表示エリア・レンズを動かすと、ウィンドウ２９４２などのウィンドウがレンズ上に表示される。サムネール表示エリア・レンズの時刻ｔ１とｔ２の間のマルチメディア文書のビデオ情報から抽出された複数のビデオ・キーフレームから選択された一ビデオ・キーフレームが、図２９Ｂに示すように、ウィンドウ２９４２に表示される。ウィンドウ２９４２は、ユーザがサムネール表示エリア・レンズをリリースすると、消える。
本発明の一実施形態によれば、ユーザは、基準を指定することができ、ユーザ・インターフェースにロード・表示されたマルチメディア文書のコンテンツは、ユーザが指定した基準を満たすロケーションをマルチメディア文書内で見つけるために検索される。ユーザ指定基準を満たすマルチメディア文書内のセクション又はロケーションは強調されてインターフェース２９００に表示される。本発明の一実施形態によれば、ユーザ指定基準とは、例えば、ユーザが指定した単語又はフレーズ、１以上の単語を含む検索クエリー（ｓｅａｒｃｈ ｑｕｅｒｙ）、関心ある話題、などである。
図２９Ｃに示したインターフェース２９００において、ユーザは、入力エリア２９４４に単語又はフレーズを入力し、「Ｆｉｎｄ（検索）」ボタン２９４６を選択することによって、ユーザが指定した単語又はフレーズについてマルチメディア文書のコンテンツを検索することをリクエストすることができる。また、検索される単語又はフレーズは、共通単語リスト２９４０から選択されてもよい。図２９Ｃにおいて、ユーザは、「Ｓｔｅｗａｒｔ」という単語を指定している。
次いで、マルチメディア文書のコンテンツが検索され、ユーザが指定した単語又はフレーズのロケーション及び存在を特定する。本発明の一実施形態によれば、マルチメディア文書によって格納された情報のテキスト表現は、ユーザが指定した単語又はフレーズのロケーションを見つけるために、検索される。また、ビデオ・キーフレームもその単語又はフレーズについて検索されてもよい。様々なサムバー（すなわち、サムバーにおけるサムネール画像）におけるユーザが指定した単語又はフレーズのすべての存在（「ヒット」）２９５０が、図２９Ｃに示すように、強調される。マルチメディア文書においてヒットを強調するのには様々な異なる手法を用いることができる。例えば、個々のヒットが強調されてもよい。また、（上述の）ヒットに基づいてレンジを決定し、このレンジが強調されてもよい。また、ヒットのおよその位置をマーキングするのにマーク（下記図２９Ｄ参照）などの他の手法を用いることもできる。本発明の一実施形態によれば、図２９Ｃに示すように、検索単語又はフレーズを含む行を強調するために、サムネール画像において、その行の周囲に色の付いた長方形が描画される。また、検索単語又はフレーズを含むサムバーに表示されたビデオ・キーフレームも、そのビデオ・キーフレームの周囲に色の付いたボックスを描画することによって強調される。また、様々な他の種類の手法も用いることができる。例えば、マルチメディア文書がスライド情報を含む場合、検索単語又はフレーズを含むサムバーに表示されたスライドが強調される。また、様々なマルチメディア文書における単語又はフレーズの存在総数２９５２も表示される。例えば、図２９Ｃにおいて、「Ｓｔｅｗａｒｔ」という単語は、３つのマルチメディア文書において、３１回登場する。
また、ユーザは、複数の単語（例えば、複数の単語及び／又はフレーズ）を含む検索クエリーを形成することもできる。図２９Ｄに示すように、検索クエリーに含まれる単語又はフレーズがエリア２９５４に表示される。ユーザは、入力エリア２９４４に単語又はフレーズをタイピングし（又は、共通単語リスト２９４０から単語を選択し）、「Ａｄｄ（追加）」ボタン２９５６を選択することによって、検索クエリーに単語又はフレーズを加えることができる。すると、その単語又はフレーズが検索クエリーに追加され、エリア２９５４に表示される。図２９Ｄにおいては、「Ｓｔｅｗａｒｔ」という単語が検索クエリーに追加された。ユーザは、エリア２９５４において単語又はフレーズを選択し、「Ｄｅｌ（消去）」ボタン２９６０を選択することによって、検索クエリーから単語又はフレーズを消去又は削除することができる。ユーザは、「Ｒｅｓｅｔ（リセット）」ボタン２９６２を用いて、検索クエリーをリセット又はクリアすることができる。
また、ユーザは、検索クエリーにおいて単語と単語を接続するブール（Ｂｏｏｌｅａｎ）・コネクタを指定することもできる。例えば、図２９Ｄに示す実施形態において、検索クエリーの単語又はフレーズは、ラジオ・ボタン２９５８の選択に基づいて、ＡＮＤ接続されてもよく、ＯＲ接続されてもよい。単語がＯＲ接続された場合、検索クエリーの単語又はフレーズの様々なマルチメディア文書におけるすべての位置が検索され、強調される。単語がＡＮＤ接続された場合、マルチメディア文書のうち、検索クエリーのすべての単語又はフレーズを近接した範囲内に含む部分のみが関連性を有するものとして強調される。この近接度の単位は、ユーザが設定可能とすることができる。本発明の一実施形態によれば、この近接度の単位は、単語数に一致する。例えば、マルチメディア文書における検索クエリー単語又はフレーズの位置は、それらが互いに所定の単語数内で発生した場合に、強調される。また、近接度は、時間に基づくこともできる。この実施形態においては、マルチメディア文書における検索クエリー単語又はフレーズの位置は、それらが所定の時間長内で発生した場合に、強調される。
図２９Ｄにおいて、ヒット位置は、サムバーに表示されたマーク２９６４によって示される。各マーク２９６４は、検索クエリー単語を含むサムネールに印刷されたテキスト情報において、一行を識別する。
図２９Ｄに示す実施形態においては、ヒット位置に基づいて、レンジが形成される。ヒット位置に基づいてレンジを形成する手法については既に述べた（図２０Ａ、２０Ｂ、２１、２２、２３、２４、２５Ａ、２５Ｂ、及び、２６、並びに、関連する記載、参照）。レンジの位置は、色の付いた長方形２９６６を用いて、表示される。各長方形は、一レンジを識別する。このように、レンジを表す長方形のボックスは、マルチメディア文書のうち、該マルチメディア文書を検索するのに用いられるユーザが指定した基準（例えば、単語、フレーズ、関心ある話題、など）を満たす又は関連する部分を識別する。
１つのマルチメディア文書のコンテンツのみが表示される場合（例えば図３）である本発明の実施形態において、レンジは、上述のように、そのレンジの境界を定義する開始時刻（ＲＳ）及び終了時刻（ＲＥ）によって識別される。複数のマルチメディア文書からの情報が表示される場合である本発明の実施形態において、レンジは、開始時刻（ＲＳ）と、終了時刻（ＲＥ）と、そのレンジが存在するマルチメディア文書を識別する識別子とによって定義される。さらに、上述のように、各レンジを識別するのに識別子（例えば、テキスト・コード、番号、など）を用いることができる。あるレンジについてのレンジ識別子は、そのレンジに対応する長方形ボックスに表示されてもよく、ユーザ・インターフェース上の他の位置に表示されてもよい。
また、図２９Ｄにおける各サムバーは、そのサムバーにコンテンツが表示されているマルチメディア文書のユーザが指定した検索基準（例えば、ユーザが指定した単語又はフレーズ、検索クエリー、関心ある話題、など）に対する関連性の度合を示す関連性インジケータ２９６８も含む。この関連性スコア又は関連性の度合を決定する手法については既に述べた。本発明の一実施形態によれば、あるサムバーについての関連性の度合は、そのサムバーにコンテンツが表示されたマルチメディア文書におけるヒット頻度に基づく。図２０Ｄに示した関連性インジケータにおいて、あるマルチメディア文書のユーザが指定した基準に対する関連性の度合は、関連性インジケータに表示されたバーの数によって示される。したがって、サムバー２９０２及び２９１０にコンテンツが表示された第一及び第三のマルチメディア文書（それぞれの関連性インジケータに４つのバーが示されている）は、サムバー２９０６に表示された第二のマルチメディア文書（関連性インジケータに１つのバーしか示されていない）よりも、ユーザが指定した現在の基準（すなわち、「Ｓｔｅｗａｒｔ」という単語などの検索クエリー）に対してより関連性を有する。また、マルチメディア文書の関連性の度合を示すのには様々な他の手法（例えば、関連性スコア、棒グラフ、異なる色、など）も用いることができる。
既述のように、レンジについては様々なオペレーションを実行することができる。レンジについて実行されるオペレーションは、例えば、レンジのコンテンツの表現を紙文書上に印刷すること、レンジのコンテンツを保存すること、レンジのコンテンツを伝達すること、などである。また、レンジは、注釈を付けたり、強調したり、レンジ群にグループ分けしたりすることもできる。また、レンジ群内のレンジは、ユーザが設定可能とし得る何らかの基準に従って、ランク付けしたり、並び替えたりすることができる。例えば、レンジは、各レンジのユーザが指定した検索基準に対する関連性に基づいて、ランク付けすることができる。本発明の一実施形態によれば、高いヒット数を持つレンジほど高くランク付けされ、少ないヒット数を持つほど低くランク付けされる。また、レンジをランク付けする及び／又は並び替えるのに他の手法も用いることができる。
また、ユーザは、ユーザ・インターフェースによって表示された１以上のレンジを選択し、その選択されたレンジについてオペレーションを実行することもできる。本発明の一実施形態によれば、ユーザは、マウスなどの入力装置を用いて、レンジを表す長方形をクリックすることによって、レンジを選択することができる。図２９Ｅにおいて、レンジ２９７０がユーザによって選択されている。レンジ２９７０を表す長方形は、それが選択されたことを示すために強調される（例えば、他のレンジを表す長方形とは異なる色で）。図２９Ｅに示す実施形態においては、ユーザが選択したレンジについてウェブ・ページ２９７１が生成され、ユーザ・インターフェース２９００のウィンドウ２９６９に表示される。ウェブ・ページ２９７１は、選択されたレンジについてのオーディオ情報又はＣＣテキスト情報（又は、マルチメディア情報に含まれる他の種類の情報のテキスト表現）を表すテキスト情報（すなわち、選択されたレンジの時刻ＲＳとＲＥの間で発生したオーディオ情報、ＣＣテキスト情報、又は、他の情報を表すテキスト情報）２９７２と、選択されたレンジに対応するビデオ情報から抽出された１以上のビデオ・キーフレーム又は画像（すなわち、選択されたレンジの時刻ＲＳとＲＥの間で発生したビデオ情報から抽出されたビデオ・キーフレーム）２９７３とを含む。本発明の一実施形態によれば、ウェブ・ページ２９７１の各画像２９７３はハイパーテキスト・リンクであり、選択されると、その画像に関連付けられた時刻からビデオ情報の再生を開始する。
図２９Ｅに示すように、各画像にバーコード２９７７が印刷されてもよい。このバーコードは、画像に関連付けられた時刻を表し、バーコード・リーダ又はスキャナを用いてこのバーコードを走査すると、その画像に関連付けられ、バーコードによって表された時刻からビデオ情報が再生される。この再生は、選択されたレンジに対応するマルチメディア文書のビデオ・ウィンドウに表示することができる。また、レンジが選択されたマルチメディア文書を識別する情報２９７４もウェブ・ページ２９７１上に表示することができる。また、各バーコード２９７７は、レンジに関する開始時刻及び終了時刻も識別することができる。このようなバーコードをバーコード・リーダ又はスキャナを用いて走査することによって、そのレンジに対応した情報を再生させることができる。また、バーコード２９７７は、レンジを識別するラベル又は識別子も表すことができる。このようなパーコードを走査すると、走査されたバーコードによって表されたレンジ識別子を用いて、そのレンジの開始時刻及び終了時刻を決定することができ、そして、そのレンジに対応する情報を再生することができる。
ユーザがマルチメディア文書を検索するためのユーザ指定基準（例えば、単語又はフレーズ、関心ある話題、検索クエリー、など）を識別すると、ウェブ・ページ２９７１におけるユーザ指定基準の存在が強調される。例えば、図２９Ｅにおいては、ユーザが、「Ｓｔｅｗａｒｔ」という単語を含む検索クエリーを指定したために、ウェブ・ページ２９７１における「Ｓｔｅｗａｒｔ」という単語の存在２９７５が強調されている（例えば、太字にされている）。
また、「Ｃｏｍｐｌｅｔｅ Ｓｅｔ（一式）」と名付けられたハイパーテキスト・リンク２９７６もウェブ・ページ２９７１に含まれる。「Ｃｏｍｐｌｅｔｅ Ｓｅｔ」リンク２９７１を選択すると、インターフェース２９００に表示されるすべてのマルチメディア文書にわたるサムバー上に示された様々なレンジのコンテンツに基づいたウェブ・ページが生成・表示される。
代替的実施形態として、レンジに対してウェブ・ページ以外の種類の文書が生成・表示されてもよい。本発明の一実施形態によれば、選択された１以上のレンジの印刷可能表現（ｐｒｉｎｔａｂｌｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）が生成され、表示される。このようなマルチメディア情報の印刷可能表現の生成・表示に関連する更なる詳細は、２００１年１１月１９日に出願され、その全内容がここに参考文献として組み込まれる、米国特許出願第１０／００１，８９５号に記載されている。
図２９Ｆは、検索クエリーがＯＲブール演算子で接続された複数の単語（すなわち、「Ｓｔｅｗａｒｔ」、「Ｉｍｃｌｏｎｅ」、及び「Ｗａｋｓａｌ」）を含むインターフェース２９００を示す。検索クエリーの単語のすべての存在２９８０がウェブ・ページ２９７１で強調される（例えば、太字にされる）。また、サムバーにおける単語のすべての存在又はヒットもマーカ２９６４を用いてマーキングされる。ヒット位置に基づいて、レンジが形成され、表示されている。
既述のように、マルチメディア文書を検索するためのユーザ指定基準は、関心ある話題も含み得る。したがって、本発明の一実施形態によれば、１以上のマルチメディア文書のコンテンツが検索され、そのマルチメディア文書のうちユーザによって指定され得る関心ある話題に関連する部分を識別する。
図２９Ｇは、マルチメディア文書のうちユーザが指定した関心ある話題に関連する部分が強調された簡略化されたユーザ・インターフェース２９００を示す。図２９Ｇに示すように、３つの関心ある話題２９８１、すなわち、「Ａｉｒｌｉｎｅｓ（航空会社）」、「ｍｓｔｅｗａｒｔ」、及び、「ｂａｓｅｂａｌｌ（野球）」、が定義されている。マルチメディア文書のうち、これら関心ある話題に関連し、それらマルチメディア文書に対応するサムバーに表示されたセクションが、マーカ２９８３を用いて強調されている。ヒット位置に基づいて、レンジが形成され、表示されている。したがって、レンジは、これらマルチメディア文書のうち、それら関心ある話題に関連すると判断された部分を識別する。ウェブ・ページ２９７１のうち、これら関心ある話題に関連する部分も強調される。関心ある話題を指定する手法及びマルチメディア文書のうち１以上の関心ある話題に関連する部分を決定する手法は、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９５号及び１９９７年１２月２２日に出願された米国特許出願第０８／９９５，６１６号にも記載されている。これら特許文献の全内容はここに参考文献として組み込まれる。様々なマルチメディア文書の関心ある話題への関連性を示す関連性インジケータ２９８２も各関心ある話題について表示される。
本発明の一実施形態によれば、各関心ある話題に特定のスタイル又は色を関連付けることができる。例えば、関心ある話題「Ａｉｒｌｉｎｅｓ」に第一の色を関連付け、関心ある話題「ｍｓｔｅｗａｒｔ」に第二の色を関連付け、関心ある話題「ｂａｓｅｂａｌｌ」に第三の色を関連付けることができる。マルチメディア文書のうち特定の関心ある話題に関連すると判断された部分は、その特定の関心ある話題に関連付けられたスタイル又は色を用いて強調することができる。これにより、ユーザは、マルチメディア文書のうち特定の関心ある話題に関連する部分を容易に判断することができる。
図２９Ｈは、本発明の一実施形態に従ってサムバーのうちユーザ指定基準（例えば、単語、フレーズ、検索クエリー、関心ある話題、など）に関連する又は満たす又は一致する部分を表示する別の方法を示す。図２９Ｈに示すように、マルチメディア文書のうち関心ある話題２９８１に関連する部分を識別するために、サムバーのサムネール画像上に長方形のボックスが描画される。サムバーの一部分を覆う各長方形ボックスについて、そのサムバーの一部分を選ばせた単語又はフレーズ又は画像が長方形ボックス上に表示される。これにより、ユーザは、マルチメディア文書のうちいずれの部分が関心ある話題（又は、他の任意のユーザ指定基準）に関連するのかが容易に分かるだけでなく、その部分の選択をもたらした単語又はフレーズ又は画像を容易に判断することができる。
図２９Ｉにおいては、特定のマルチメディア文書についてのビデオ情報の再生がそのマルチメディア文書に対応するビデオ・ウィンドウからより大きなビデオ・ウィンドウへ移動されている。図２９Ｉに示すように、第三のマルチメディア文書のビデオ再生がビデオ・ウィンドウ２９１２からより大きいビデオ・ウィンドウ２９８４へ移動されている。より大きなビデオ・ウィンドウ２９８４を表示するモードは、「Ｖｉｄｅｏ（ビデオ）」タブ２９８６を選択することによって、起動する。ビデオ・ウィンドウ２９１２からウィンドウ２９８４への表示の切り替えは、コントロール・バー２９３８によって提供されるコントロール２９３８ａを選択することによって実行することができる。また、ウィンドウ２９８４におけるビデオ情報の再生を制御するコントロールを含むコントロール・バー２９８４もより大きなビデオ・ウィンドウ２９８４の下に表示される。ビデオ情報の再生を小ビデオ・ウィンドウ２９１２（又は２９０４又は２９０８）から大ビデオ・ウィンドウ２９８４へ移動させると、ユーザがそのビデオ情報再生を見易くなる。このビデオ再生は、コントロール・バー２９３８からコントロール２９３８ａを選択することによって、又は、コントロール・バー２９８５からコントロール２９８５ａを選択することによって、ウィンドウ２９８４から小さいウィンドウ２９１２へ戻すことができる。
また、ビデオ再生に対応するテキスト情報２９８７（例えば、ＣＣテキスト情報、オーディオ情報の録音、又は、マルチメディア情報に含まれる他の種類の情報のテキスト表現）も大ビデオ・ウィンドウ２９８４の下に表示される。テキスト情報２９８７は、ビデオ再生と共にスクロールする。テキスト情報２９８７における各単語は、ユーザがある単語をクリックすると、選択された単語がそのマルチメディア文書のコンテンツにおいて登場する回数及びその単語が登場する位置が分かるように、検索可能である。小ビデオ・ウィンドウにおけるビデオ再生の場合と同様に、大ビデオ・ウィンドウ２９８４におけるビデオ再生のコンテンツは、大ビデオ・ウィンドウ２９８４にビデオ情報が再生されたマルチメディア文書のコンテンツの表現を表示するサムバーのサムネール表示エリア・レンズの位置によって影響を受ける。
既述のように、ユーザは、１以上のマルチメディア文書について手動でレンジを定義することができる。マルチメディア文書についてレンジを手動で定義する手法については既に説明した。図２９Ｉに示した実施形態において、選択されるとユーザが手動でレンジを定義できるオペレーション・モードを開始するボタン２９８８が設けられる。本発明の一実施形態によれば、ボタン２９８８を選択すると、図２０Ｂに示したウィンドウ２０５０のようなウィンドウが呼び出される。図２０Ｂに示した情報に加えて、このウィンドウは、ユーザ・インターフェースによってロードされた複数のマルチメディア文書からレンジが定義されるマルチメディア文書を識別する情報をユーザが入力できる入力フィールドも含む。また、ユーザは、レンジの開始時刻及び終了時刻を指定することもできる。代替的実施形態として、ボタン２９８８を選択すると、ユーザがマウスなどの入力装置を用いてインターフェース２９００に示されたサムバーの１つの一部分をクリックすることによってレンジを手動で指定できるモードを開始する。サムバーの一部分をクリックすると、レンジを表す長方形ボックスが表示される。ユーザは、長方形ボックスの上端及び下端を操作して、レンジの開始時刻（ＲＳ）及び終了時刻（ＲＥ）を設定することができる。長方形ボックス自体もサムバーに沿って動かすことができる。
本発明の一実施形態によれば、自動的に生成されたレンジ（例えば、ユーザ指定基準についてのヒットに基づいて生成されたレンジ）を表す長方形ボックス及びユーザによって指定された手動レンジを表す長方形ボックスは、インターフェース２９００によって同時に表示することができる。手動で生成されたレンジと自動的に生成されたレンジとを区別するために、自動レンジを表す長方形ボックスと手動レンジを表す長方形ボックスを表示するのに異なる色又はスタイルを用いることができる。
図２９Ｋは、本発明の一実施形態に従ってマルチメディア文書のうちユーザが見た又は再生した部分が強調されたユーザ・インターフェース２９００を示す。代替的実施形態として、マルチメディア文書のうちユーザが見ていない又は再生していない部分が強調されてもよい。図２９Ｋに示すように、ユーザ・インターフェース２９００に表示されたマルチメディア文書のうちユーザが見た又は再生した部分を識別するサムバーの一部分上に長方形ボックス２９９０が描画される。この部分は、小ビデオ・ウィンドウ２９０４、２９０８、又は２９１２で再生された又は視聴されたものでもよく、或いは、大ビデオ・ウィンドウ２９８４で再生された又は視聴されたものでもよく、或いは、何らかの出力装置を用いて再生された又は視聴されたものでもよい。この実施形態において、格納されたマルチメディア情報のうちユーザに対して出力済みの部分を識別する情報（或いは、格納されたマルチメディア情報のうちユーザに対して出力していない部分を識別する情報）が格納される。本発明のこの機能により、ユーザは、マルチメディア文書のうち、いずれのセクションを既に見たか、及び、ユーザがまだ見ていないのはいずれの部分か、が容易に分かる。既に見た部分を表すボックスは、レンジを表すボックスなどインターフェース２９００に表示される他のボックスからそれらを区別するために、特定の色で表示される。
図３０Ａは、本発明の一実施形態に係る１以上のマルチメディア文書のコンテンツを表示する別の簡略化されたユーザ・インターフェース３０００を示す。図３０Ａに示すように、３つのマルチメディア文書のコンテンツが表示され、３つのサムバー３００２、３００４、及び３００６、及び、３つの小さいビデオ・ウィンドウ３００８、３０１０、及び３０１２が表示される。これらマルチメディア文書のコンテンツは、単語「Ｓｔｅｗａｒｔ」、「Ｉｍｃｌｏｎｅ」、及び「Ｆａｋｓａｌ」を含む検索クエリーについて検索された。サムバーのうち検索クエリーに関連するコンテンツを含む部分がマーカ３０１４によって識別される。これらヒットに基づいてレンジが形成されており、これらレンジを表す長方形ボックス３０１６が表示されている。これらの機能については既に説明した。
加えて、ユーザ・インターフェース３０００は、サムバー上に表示された様々なレンジについて長方形ボックスによって生成された複数のウェブ・ページ３０２０−１、３０２０−２、３０２０−３、などを含む。本発明の一実施形態によれば、サムバーに表示された各レンジについて、一ウェブ・ページが生成される。図３０Ａに示すウェブ・ページ（以下、「パレット」ビューと呼ぶ）は、「Ｐａｌｅｔｔｅ（パレット）」ボタン３０２２を選択することによって生成・表示される。したがって、ウェブ・ページのパレットは、様々なレンジについて生成されたウェブ・ページを含む。ウェブ・ページのパレットは、図３０Ａに示すようなスクロール可能なリストとして表示することができる。ユーザは、パレットに注釈を加えたり、パレットのウェブ・ページへ情報を加えたり、マルチメディア文書の一部に捕捉情報を加えたり、することができる。また、レンジ自体にも注釈を加えることができる。例えば、レンジについての情報を表示するウェブ・ページにコメントを加えることによって、レンジに注釈を加えることができる。
図３０Ａに示した実施形態において、特定のレンジについての各ウェブ・ページ３０２０は、オーディオ情報、ＣＣテキスト情報、又は、その特定のレンジについて含まれる他の情報種類のテキスト表現を表すテキスト情報（すなわち、その特定のレンジの時刻ＲＳとＲＥの間に登場した録音されたオーディオ情報又はＣＣテキスト情報を表すテキスト情報）を有する。また、このウェブ・ページは、その特定のレンジに対応するビデオ情報から抽出された１以上のビデオ・キーフレーム又は画像も含む。これら画像及びテキスト情報は、時間的に同期される又は揃えられる。このウェブ・ページの画像をハイパーテキスト・リンクとし、選択されると、選択された画像に関連付けられた時刻からビデオ情報の再生を開始するようにすることができる。
バーコードは、印刷可能で、ウェブ・ページに印刷された各画像に関連付けることができる。バーコードは、その画像に関連付けられた時刻を表し、バーコード・リーダ又はスキャナを用いてバーコードを走査すると、その画像に関連付けられ、そのバーコードによって表された時刻からビデオ情報が再生される。
各レンジについて、そのレンジを識別する情報及びそのレンジが選択されたマルチメディア情報を識別する情報もそのレンジに対応するウェブ・ページ上に表示することができる。例えば、図３０Ａに示した実施形態において、各レンジの開始時刻及び終了時刻３０１８がウェブ・ページ上に表示される。また、レンジを識別する識別子３０２１も表示される。図３０Ａのマルチメディア文書がテレビ映像録画に対応するため、一レンジに対応する各ウェブ・ページもそのレンジについての情報をブロードキャストするＴＶネットワークに関連付けられたアイコン３０２３を表示する。
各ウェブ・ページにおいて、ユーザ指定基準の存在が強調される。例えば、図３０Ａに示す実施形態においては、検索クエリーが、単語「Ｓｔｅｗａｒｔ」、「Ｉｍｃｌｏｎｅ」、及び「Ｆａｋｓａｌ」を含み、ウェブ・ページでのこれら単語の存在が強調される。太字にする、色を用いる、スタイルを変える、バルーンを用いる、囲む、などの単語を強調する様々な異なる手法も用いることができる。既述のように、検索クエリー単語もサムバーに表示された表現において強調されてもよい。
ウェブ・ページのうち現在選択されているレンジに対応したエリアを強調する又は覆うレンズ３０２４が表示される。例えば、図３０Ａに示す実施形態において、サムバー３００６においてレンジが選択されたために、ウェブ・ページ３０２０−４のうちこの選択されたレンジに対応する部分を覆うレンズ３０２４が表示されている。ウェブ・ページ３０２０−４のうちレンズ３０２４によって覆われた部分は、大ウィンドウ３０２６に表示される。ユーザは、レンズ３０２４の位置をウェブ・ページ３０２０−４の長さに沿って変更することができる。ウェブ・ページのうちウィンドウ３０２６に表示された部分は、それがウェブ・ページ３０２０−４のうちレンズ３０２４によって覆われた部分に対応し続けるように、変更される。このように、ユーザは、レンズ３０２４を用いて、選択されたウェブ・ページのコンテンツをナビゲートすることができる。また、ユーザは、ウィンドウ３０２６によって提供されたスクロールバーを用いて、ウィンドウ３０２６に表示されたウェブ・ページをスクロールすることができる。レンズ３０２４のウェブ・ページ３０２０−４上での位置は、それがウェブ・ページのうちウィンドウ３０２６に表示された部分に対応し続けるように、変更される。
ユーザは、マウスなどの入力装置を用いてサムバーにおいて別のレンジをクリックすることによって（すなわち、そのレンジを表す長方形をクリックすることによって）、そのレンジを選ぶことができる。応答として、レンズ３０２４の位置が変更され、レンズ３０２４は新たに選択されたレンジに対応するパレット・ビューにおいてウェブ・ページ上に表示される。次いで、パレット・ビューにおいてウェブ・ページのうちレンズ３０２４によって覆われた部分が、ウィンドウ３０２６に表示される。例えば、図３０Ｂに示すように、別のレンジ３０３０がユーザによって選択されている。ユーザは、サムバー３００２においてこのレンジに対応する長方形ボックスをクリックすることによってこのレンジを選択することができる。応答として、ウェブ・ページ３０２０−１のうちレンジ３０３０に対応する部分を覆うレンズ３０２４が描画される。ウェブ・ページ３０２０−１のうちレンズ３０２４によって覆われた又は強調された部分は、ウィンドウ３０１６に表示される。
本発明の一実施形態によれば、ユーザは、ウェブ・ページのパレットからあるレンジに対応するウェブ・ページを選択することによって、そのレンジを選択することもできる。ユーザは、マウスなどの入力装置を用いて、そのウェブ・ページをクリックすることによって、ウェブ・ページを選択することができる。応答として、レンズ３０２４が選択されたウェブ・ページ上に表示される。このパレット・ビューにおけるウェブ・ページのうちレンズ３０２４によって覆われた部分がウィンドウ３０２６に表示される。また、この新たに選択されたウェブ・ページに対応するレンジを表す長方形ボックスも、そのレンジが選択されたことを示すために、強調される。
上述のように、本発明の実施形態は、同じタイムライン中に記録された１以上のマルチメディア文書によって格納された情報の表現も、異なるタイムライン中に記録された１以上のマルチメディア文書によって格納された情報の表現も、表示することができる。ユーザは、単語、フレーズ、複数の単語を含む検索クエリー、関心ある話題、などの基準を指定することができ、マルチメディア文書のうちこのユーザ指定基準に関連する又は含む部分がマーカ、レンジを表すボックス、などを用いて強調される。したがって、本発明の実施形態を用いて、複数のマルチメディア文書のコンテンツを比較することができる。
例えば、「Ｃｌｏｓｉｎｇ Ｂｅｌｌ」、「６０ Ｍｉｎｕｔｅ ＩＩ」、及び、「Ｂｕｓｉｎｅｓｓ Ｃｅｎｔｅｒ」などの３つの異なるテレビ番組の録画を図２９Ａに示すように表示し、ユーザ指定基準（例えば、単語、フレーズ、複数の単語を含む検索クエリー、関心ある話題、など）について検索することができる。これら３つの番組の中でユーザ指定基準に関連する又は一致する部分が強調される。このような複数のマルチメディア文書にわたって検索する能力は従来のツールでは提供されていない。さらに、インターフェースによって表示された検索結果に基づいて、ユーザはテレビ番組のユーザ基準に対する関連性を容易に判断することができる。このように、本発明の実施形態を用いて、複数のマルチメディア文書のコンテンツを互いに分析することができる。これら検索結果の視覚化は、これら複数のマルチメディア文書のコンテンツに対する理解を得るために、しばしば有用である。
別の例として、ユーザが「Ｉｍｃｌｏｎｅ／Ｍａｒｔｈａ Ｓｔｅｗａｒｔ ｓｃａｎｄａｌ」に関心を持っている場合、ユーザは、「Ｓｔｅｗａｒｔ」、「Ｉｍｃｌｏｎｅ」、及び、「Ｗａｋｓａｌ」という単語（又は、このスキャンダルに関する他の単語）を含む検索クエリーを形成することができ、マルチメディア文書の表現の中でユーザ・インターフェースによって表示され、検索クエリー単語を含む部分がマーカ、色などを用いて強調される。また、レンジも、検索ヒットに基づいて形成され、関連するセクションを強調するために、色の付いたボックスを用いてインターフェース上に示される。マルチメディア文書のうちインターフェースにおいて強調された部分を見ることによって、ユーザは、そのスキャンダルに関する情報がそのマルチメディア文書にどのくらい含まれているか及びその関連情報のマルチメディア文書における位置を容易に判断することができる。また、ユーザは、その関連情報のマルチメディア文書における分散も判断することができる。また、複数のマルチメディア文書を検索クエリーについて互いに比較することができる。このように、本発明の実施形態は、複数のマルチメディア文書を分析したいと欲するユーザにとって価値のあるツールを提供する。
インターフェースに表示された（自動的に生成された又は手動で指定された）レンジに対応するウェブ・ページを生成・表示することによって、複数のマルチメディア文書の分析及びレビューは更に容易になる。これらレンジについて生成されたウェブ・ページにより、ユーザは、複数のマルチメディア文書中の関連する部分を抽出し、編成し、凝縮させることができる。
また、本発明の実施形態により、ユーザは、マルチメディア文書の集合を同時に見ることができる。例えば、ユーザは、複数のビデオ録画又はビデオ・クリップのコンテンツを見ることができる。マルチメディア情報の再生を制御するための様々なコントロールが設けられる。マルチメディア文書のうちユーザによって再生された部分を強調することができる。したがって、ユーザは、マルチメディア文書の中で該ユーザが既に見た部分とまだ見ていない部分とを容易に判断することができる。
上述のように、レンジを用いて、複数のオペレーションを実行することができる。これらオペレーションは、例えば、レンジのコンテンツの表現を紙文書上に印刷すること、レンジのコンテンツを保存すること、レンジのコンテンツを伝達すること、レンジに注釈を付けること、などである。また、レンジを（例えばレンジ群に）グループ分けし、それらグループについてオペレーションを実行することもできる。例えば、あるレンジ群のレンジについて、ユーザが設定可能としてもよい何らかの基準に基づいて、ランク付け又は並び替えすることができる。例えば、各レンジのユーザ指定検索基準への関連性に基づいて、レンジがランク付けされてもよい。本発明の一実施形態によれば、ヒット数が多いレンジほど高くランク付けされ、ヒット数が少ないレンジほど低くランク付けされる。レンジをランク付けする及び／又は並び替える他の手法も用いることができる。
（マルチメディア情報の印刷）
上述のように、上記ユーザ・インターフェースによって表示された１以上のマルチメディア文書からのマルチメディア情報を紙媒体上に印刷し、マルチメディア紙文書を作ることができる。したがって、１以上のマルチメディア文書について、マルチメディア紙文書を生成することができる。「紙」又は「紙媒体」という単語は、情報を印刷、筆記、描画、押印、型押などできるあらゆる有形媒体を指すことができる。
本発明の一実施形態によれば、各マルチメディア文書について、そのマルチメディア文書によって格納された記録済情報についての印刷可能表現が生成される。この記録済情報は、オーディオ情報、ビデオ情報、クローズド・キャプション（ＣＣ）テキスト情報、スライド情報、ホワイトボード情報、などの様々な種類の情報を格納することができるため、本発明の一実施形態によれば、記録済情報の印刷可能表現は、１以上の情報種類の印刷可能表現を含み得る。記録済情報を構成する１以上の情報種類についての印刷可能表現を含み得る記録済情報について印刷可能表現を紙媒体上に印刷して、マルチメディア紙文書を生成することができる。マルチメディア情報について印刷可能表現を生成するのには様々な異なる手法を用いることができる。印刷可能表現を生成し、この印刷可能表現を紙媒体上に印刷してマルチメディア紙文書を作る例は、２００１年１１月１９日に出願され、その全内容がここに参考文献として組み込まれる、米国特許出願第１０／００１，８９５号に記載されている。
次いで、印刷可能表現は、紙媒体上に印刷することができる。「印刷」という単語は、印刷、筆記、描画、押印、型押、などを含む。本発明の一実施形態によれば、印刷可能表現は、印刷可能バージョンを紙媒体上に印刷して紙文書を生成するように設定された紙文書出力装置（プリンタ、コピー機、など）に伝達される。印刷可能表現を紙媒体上に印刷するのには様々な異なる手法を用いることができる。本発明の一実施形態によれば、２００１年１１月１９日に出願され、その全内容がここに参考文献として組み込まれる、米国特許出願第１０／００１，８９５号に記載された教えに従って、印刷が実行される。
本発明の他の実施形態においては、マルチメディア文書のコンテンツ全体についてマルチメディア紙文書を生成する代わりに、グラフィカル・ユーザ・インターフェースに表示されたレンジについてのみマルチメディア紙文書が生成される。この実施形態において、レンジに対応したマルチメディア情報について印刷可能表現が生成され、次いで、その印刷可能表現が紙媒体上に印刷される。レンジに対応するマルチメディア情報は１以上の種類の情報を含み得るため、レンジに対応するマルチメディア情報の印刷可能表現は、１以上の種類の印刷可能表現を含み得る。レンジに対応したマルチメディア情報について印刷可能表現を生成するのには様々な異なる手法を用いることができる。例えば、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９５号に記載されたものを用いることができる。
図３１は、本発明の一実施形態に従って１以上のマルチメディア文書のコンテンツ又はレンジに対応するコンテンツを印刷するのに用いることが可能な簡略化されたユーザ・インターフェース３１００を示す。図３１に示すインターフェース３１００は、本発明の一実施形態の単なる例示であり、本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。グラフィカル・ユーザ・インターフェース３１００は、上記インターフェースによって提供されるコマンド又はボタンを選択することによって呼び出すことができる。
図３１に示すように、ユーザは、チェックボックス３１０１を洗濯することによって、レンジに対応する情報のみが印刷されるように指定することができる。チェックボックス３１０１が選択されない場合、それは、ロードされている１以上のマルチメディア文書のすべてのコンテンツが印刷されることを意味する。ユーザは、チェックボックス３１０２を選択することによって、表示されているレンジすべてに対応する情報が印刷されるべきであることを指示することができる。あるいは、ユーザは、入力ボックス３１０４にレンジ識別子を入力することによって、印刷されるべきレンジを具体的に特定することができる。例えば、レンジに割り当てられた番号によってレンジが識別される場合、ユーザは印刷されるべきレンジに対応する番号をボックス３１０４に入力すればよい。レンジ識別子が連続番号であれば、レンジ・リストを指定することができる。
「Ｐｒｉｎｔ（印刷）」ボタン３１０６を選択すると、レンジのコンテンツ又はロードされたマルチメディア文書のコンテンツの印刷が開始される。ユーザ・インターフェース３１００は、「Ｃａｎｃｅｌ（キャンセル）」ボタン３１０８を選択することによってキャンセルすることができる。
レンジに対応する情報又はロードされたマルチメディア文書からの情報の印刷方法を制御する複数のオプションが設けられる。例えば、情報を紙媒体上に印刷する際のフォーマット・スタイルを選択することができる。図３１に示す実施形態において、ユーザは、スタイルに対応するチェックボックスを選択することによって、３つの異なるスタイル３１１０の中の１つを選択することができる。図３２Ａ、３２Ｂ、及び３２Ｃは、本発明の一実施形態に係る図３１に示されたインターフェース３１から選択可能な３つのスタイルに従って印刷されたページを示す。図３２Ａは、「Ｓｔｙｌｅ １（スタイル１）」に従って印刷されたページを示す。図３２Ｂは、「Ｓｔｙｌｅ ２（スタイル２）」に従って印刷されたページを示す。図３２Ｃは、「Ｓｔｙｌｅ ３（スタイル３）」に従って印刷されたページを示す。本発明の代替的実施形態として、様々な他のスタイルも用いることができる。
また、ユーザは、ビデオ情報から抽出されたキーフレームを印刷するのに異なるスタイル３１１２を選択することができる。例えば、図３１に示す実施形態において、ユーザは、各バーコードにつき１つのキーフレームが印刷される（或いは、各印刷されたキーフレームにつき１つのバーコードが印刷される）スタイルか、又は、各バーコードにつき複数の（例えば４つの）キーフレームが印刷されるスタイルかを選択することができる。図３３Ａ及び３３Ｂは、図３１に示すインターフェース３１から選択可能な２つのキーフレーム・スタイルに従って印刷されたページを示す。図３３Ａは、バーコードごとに１つのキーフレームが印刷されたページを示す。図３３Ｂは、バーコードごとに４つのキーフレームが印刷されたページを示す。本発明の他の実施形態として、他のスタイルも用いることができる。
プリンタ（又は、コピー機やファクシミリ機などのマルチメディア情報の印刷表現を生成可能なあらゆる他の紙文書出力装置）のリスト３１１６が表示される。ユーザは、リスト３１１６から１以上のプリンタを選択することによって、マルチメディア情報を紙媒体上に印刷することができる。ユーザは、「Ｓｅｎｄ ｔｏ Ｃｏｐｉｅｒ（コピー機へ送信）」チェックボックス３１１３を選択し、使用されるコピー機をボックス３１１４で特定することによって、印刷（又はコピー）を実行する具体的なコピー機を選択することができる。
本発明の一実施形態によれば、選択されたレンジ又はマルチメディア文書に対応するマルチメディア情報の印刷可能表現は、メモリに格納することができる。例えば、印刷可能表現は、ＰＤＦファイルとして、格納することができる。入力ボックス３１１８でファイル名を指定することができる。
図３１に示した本発明の一実施形態によれば、ユーザは、印刷可能表現が紙媒体上に印刷される際、印刷可能表現のうちユーザ指定基準を満たす又は一致する単語又はフレーズを含むセクションを強調させるか否かを指示するオプションを有する。ユーザは、チェックボックス３１２０を選択することによって、このオプションを起動させることができる。このオプションが選択されると、マルチメディア文書又は関心ある話題に関連する又はユーザによって指定された単語又はフレーズ或いは検索クエリー単語に一致する選択されたレンジに対応するマルチメディア情報の単語又はフレーズが、紙に印刷される際、強調される。紙上で単語又はフレーズを強調するのには様々な異なる手法を用いることができる。
チェックボックス３１２２を選択することによって、バーコードを印刷されたテキスト情報に関連付けるテキスト・マーカを印刷することができる。
上述のように、ユーザは、チェックボックス３１０１を選択することによって、レンジに対応する情報のみが印刷されるべきであることを指定できる。所望であれば、各レンジについて、ユーザは、入力ボックス３１２６において、そのレンジの先頭及び終端に加えられるバッファ時間期間を指定することができる。例えば、バッファ時間期間が５秒に指定された場合、各レンジについて、レンジの先頭の前に５秒に対応する情報が、レンジの終端の後に５秒に対応する情報が、レンジに対応した情報と共に印刷される。
また、本発明の実施形態は、（レンジに対応する情報についての、又は、マルチメディア文書コンテンツに対応する情報についての）印刷された情報に対するカバーシートを印刷することもできる。ユーザは、チェックボックス３１２８を選択することによって、レンジ又はマルチメディア文書のコンテンツを印刷することに加えて、カバーシートが診察されるべきであることを指定することができる。このカバーシートは、マルチメディア文書又はレンジの印刷されたコンテンツの概要又は要約を提供することができる。
カバーシートを印刷するのには様々な異なる手法を用いることができる。カバーシート用には様々なスタイル３１３０を選択することができる。図３４Ａ、３４Ｂ、及び３４Ｃは、本発明の一実施形態に従って印刷することができるカバーシートの例を示す。カバーシートを生成・印刷する手法の例は、２００１年１１月１９日に出願され、その全内容がここに参考文献として組み込まれる、米国特許出願第１０／００１，８９５号に記載されている。また、様々なカバーシートの例も、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９５号に記載されている。
カバーシートは複数の異なる目的のために用いることができる。既述のように、カバーシートは、マルチメディア文書又はレンジの印刷されたコンテンツの概要又は要約を提供する。また、カバーシートは、ストレージ装置上に格納された情報の要約も提供することができる。例えば、ＣＤ上に格納されたマルチメディア情報について、そのＣＤのコンテンツに基づいて、そのＣＤのコンテンツがどんなものであるかを要約したカバーシートを生成することができる。例えば、図３４Ｃに示すように、カバーシートは、ＣＤを格納し得る宝石箱用のカバーとして生成・使用される。図３４Ｃに示す実施形態において、ＣＤ上に印刷されたバーコードを用いて、そのＣＤに格納されたマルチメディア情報へアクセスしたり、インデックスを付けたりすることができる。カバーシート上に印刷されたバーコードを用いてマルチメディア情報へアクセスする手法は、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９５号に記載されている。また、カバーシートの様々な他の使用法も本発明の範囲内である。
また、ユーザは、図３１のチェックボックス３１３２を選択することによって、レンジ又はマルチメディア文書のコンテンツを印刷せず、カバーシートのみを印刷することを選択することができる。これは、例えば、カバーシートが、ストレージ装置上に格納された情報へのインデックスを提供するために生成されたときに、有用である。
図３４Ａ、３４Ｂ、及び３４Ｃに示したカバーシートは、それぞれ、カバーシートが生成されたマルチメディア情報からサンプリングされた（例えば、Ｎ秒ごとに均一にサンプリングされた）限定された数のキーフレームを表示する。サンプリング間隔はユーザが指定することができる。例えば、図３１に示す実施形態において、ユーザは、入力ボックス３１３４にサンプリング間隔を入力することができる。
また、ユーザは、印刷画質を制御することもできる。図３１に示した実施形態において、ユーザは、３つのオプション３１３６の中から１つを選択することができる。
図３５Ａ、３５Ｂ、３５Ｃ、３５Ｄ、及び３５Ｅは、本発明の一実施形態に係るレンジについて印刷された紙文書を示す。上述のように、レンジは、自動的に生成されたものであってもよく、或いは、ユーザによって手動で指定されたものであってもよい。レンジに対応する情報は、１以上のマルチメディア文書に格納することができる。図２５Ａ、３５Ｂ、３５Ｃ、３５Ｄ、及び３５Ｅに示したページは、本発明の一実施形態の単なる例示であり、本発明の範囲を制限するものではない。当業者には、他の変形例、修正例、及び代替例が明らかであろう。
図３５Ａ、３５Ｂ、３５Ｃ、３５Ｄ、及び３５Ｅに示す文書は、３つのマルチメディア文書から選択されたレンジについて印刷される。これら３つのマルチメディア文書は、テレビ番組の録画であり、すなわち、ＣＮＮ／ｆｎチャンネル（チャンネル３５８）から取り込まれた番組「Ｍｏｎｅｙ ａｎｄ Ｍａｒｋｅｔｓ」、ＣＮＢＣチャンネル（チャンネル３５５）から取り込まれた番組「Ｃｌｏｓｉｎｇ Ｂｅｌｌ」、及び、ＣＮＮ／ｆｎチャンネル（チャンネル３５８）から取り込まれた番組「Ｓｔｒｅｅｔ Ｓｗｅｅｐ」、である。
図３５Ａ〜Ｅに示すように、３つの録画された番組のそのレンジに関するコンテンツは、連続して印刷される。「Ｍｏｎｅｙ ａｎｄ Ｍａｒｋｅｔｓ」番組録画マルチメディア文書からのレンジのコンテンツは、図３５Ａ及び３５Ｂに示すページ上に印刷され、「Ｃｌｏｓｉｎｇ Ｂｅｌｌ」番組録画マルチメディア文書からのレンジのコンテンツは、図３５Ｃ及び３５Ｄに示すページ上に印刷され、「Ｓｔｒｅｅｔ Ｓｗｅｅｐ」番組録画マルチメディア文書からのレンジのコンテンツは、図３５Ｅに示すページ上に印刷される。
レンジが選択されたマルチメディア文書を識別する情報３５００は、図３５Ａ、３５Ｃ、及び３５Ｅに示すように、印刷される。図３５Ａ〜Ｅに示す実施形態において、各マルチメディア文書を識別する情報は、テレビ番組の名前、その番組が録画されたチャンネルを識別する情報、録画の長さ、及び、録画日時、などを含む。また、マルチメディア文書に関連する他の種類の情報も印刷されてもよい。
各レンジの先頭は、バー３５０２によって示される。したがって、２つのレンジのコンテンツが「Ｍｏｎｅｙ ａｎｄ Ｍａｒｋｅｔｓ」マルチメディア文書から印刷されており、「Ｃｌｏｓｉｎｇ Ｂｅｌｌ」マルチメディア文書から４つのレンジのコンテンツが印刷されており、「Ｓｔｒｅｅｔ Ｓｗｅｅｐ」マルチメディア文書から３つのレンジのコンテンツが印刷されている。また、各バー３５０２には、レンジに関連した情報３５０４も印刷される。図３５Ａ〜Ｅに示す実施形態において、レンジに関連する情報は、そのレンジについての識別子、そのレンジについての開始時刻（ＲＳ）及び終了時刻（ＲＥ）、及び、そのレンジのスパン、などを含む。各レンジに関連付けられた他の種類の情報も印刷されてもよい。
各レンジについて印刷される情報には、テキスト情報３５０６と、１以上の画像３５０８とが含まれる。テキスト情報は、レンジに対応するオーディオ情報（或いは、ＣＣテキスト、又は、そのマルチメディア情報に含まれる他の種類の情報のテキスト表現）の印刷可能表現である。印刷されたテキスト情報に登場し、関心ある話題に関連する単語又はフレーズ、或いは、ユーザが指定した単語又はフレーズ又は検索クエリーに一致する単語又はフレーズ、の存在が強調される。例えば、図３５Ａ〜Ｅに示す実施形態について、ユーザは、「Ｓｔｅｗａｒｔ」、「Ｉｍｃｌｏｎｅ」、及び、「Ｗａｋｓａｌ」という単語を含む検索クエリーを定義している。したがって、これら検索クエリー単語のすべての存在が、様々なレンジについての印刷されたテキスト・セクションにおいて、（下線を用いて）強調される。テキストを太字にする、フォント又はサイズを変更する、テキストをイタリックにする、などの単語を強調するための様々な異なる手法も用いることができる。
各レンジについて印刷された画像３５０８は、そのレンジについてビデオ情報から抽出された画像を表す。レンジのビデオ情報からビデオ・キーフレームを抽出し、印刷するキーフレームを識別するのには複数の様々な手法を用いることができる。これら手法の例は、既に述べたと共に、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９５号にも記載されている。情報を印刷するのには様々な異なるスタイルを用いることができる。例えば、ユーザは、図３１に示すスタイル３１１０及び３１１２から選ぶことができる。
また、バーコード３５１０も各レンジについて印刷される。図３５Ａ〜Ｅに示した実施形態において、バーコード３５１０が各画像３５０８について印刷され、画像の下に置かれる。バーコードを印刷するのには様々な異なるスタイルを用いることができる。例えば、図３１に示す実施形態では、バーコードを印刷するのに２つの異なるスタイル３１１２が用意され、第一のスタイルは、（図３５Ａ〜Ｅに示すように）キーフレームごとに１つのバーコードが印刷されるものであり、第二のスタイルは、４キーフレームごとに１つのバーコードが印刷されるものである。
図３５Ａ〜Ｅに示す本発明の一実施形態によれば、画像の下に印刷される各バーコードは、その画像に関連付けられた時刻を表す。バーコード３５１０は、その紙文書の読者に、その紙文書を用いてマルチメディア情報へアクセスするメカニズムを提供する。本発明の一実施形態によれば、スキャナ、バーコード・リーダなどの装置を用いたバーコードの走査により、そのバーコードに対応するマルチメディア文書からのマルチメディア情報の再生がそのバーコードによって表された時刻から開始される。この再生は、任意の出力装置上で行うことができる。例えば、情報は、コンピュータ画面上に表示された上述のＧＵＩの一ウィンドウで再生されてもよい。
また、各バーコード３５１０は、レンジについての開始時刻及び終了時刻を識別することもできる。バーコード・リーダ又はスキャナを用いてこのようなバーコードを走査することによって、そのレンジに対応する情報が再生される。また、各バーコード３５１０は、レンジを識別するラベル又は識別子も表すことができる。この実施形態において、このようなバーコードを走査すると、走査されたバーコードによって表されたレンジ識別子を用いて、そのレンジの開始時刻及び終了時刻を決定することができ、次いで、そのレンジに対応する情報を再生することができる。
このように、図３５Ａ〜Ｅに示した文書は、格納されたマルチメディア情報にアクセスする紙インターフェースを提供する。マルチメディア情報にアクセスするのに紙インターフェースを用いることに関連する更なる情報は、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９５号に記載されている。また、本発明の代替的実施形態として、透かし、象形文字（ｇｌｙｐｈ）、テキスト識別子、などの他のユーザが選択可能な識別子もパーコードの代わりに用いることができる。ユーザが選択可能な識別子は、紙文書の全体的な読み易さを低減させないように又は影響を与えないように印刷されるかもしれない。
また、図３５Ａ〜Ｅに示す紙文書の各紙ページの下端にバーコード群３５１２が印刷される。バーコード群３５１２により、ユーザは、紙文書を用いて、マルチメディア情報の再生を開始・制御することができる。本発明の一実施形態によれば、各バーコードはマルチメディア情報の再生を制御するコマンドに対応している。図３５Ａ〜Ｅに図示した実施形態においては、５つのコントロール・バーコード３５１２が印刷される。コントロール・バーコード３５１２−１により、ユーザは、再生させたり、再生を一時停止したりすることができる。例えば、ユーザは、バーコード３５１０を走査し、それからバーコード３５１２−１を走査することによって、操作されたバーコード３５１０によって表される時刻から情報の再生を開始させることができる。ユーザは、バーコード３５１２−１を再走査することによって、再生を一時停止させることができる。ユーザは、ボーコード３５１２−３を選択することによって、巻き戻し操作を実行することができる。バーコード３５１２−４を選択することによって、再生をエンハンスト・モードで実行することができる。エンハンスト・モードは、追加的視聴コントロール及び情報（例えば、専門のタイムラインが表示される、ＰＤＡ上のオンスクリーン・ボタンを用いて再生中の情報をナビゲートできるようにコントロールが提供される、など）を提供する代替的ＧＵＩである。エンハンスト・モード表示に関する更なる詳細は、２００２年６月１７日に出願され、その全内容がここに参考文献として組み込まれる、米国特許出願第１０／１７４，５２２号に記載されている。バーコード３５１２−５を選択することによって、具体的なオペレーション・モードを入力することができる。本発明の代替的実施形態として、様々な他のオペレーション用のバーコードも設けることができる。情報の再生を制御するバーコードに関する情報は、２００１年１１月１９日に出願された米国特許出願第１０／００１，８９５号に記載されている。
本発明の具体的な実施形態について説明したが、様々な修正例、代替例、代替的構成、及び、等価物も本発明の範囲内に含まれる。説明してきた本発明は、特定の具体的なデータ処理環境内での作動に限定されるものではなく、複数のデータ処理環境内で自由に作動できる。加えて、本発明は特定の一連のやりとり及び工程を用いて説明したが、当業者には明らかなように、本発明の範囲は記載した一連のやりとり及び工程に限定されない。例えば、本発明の教えるところに従ってＧＵＩを生成する処理は、サーバ１０４によって実行されてもよく、クライアント１０２によって実行されてもよく、別のコンピュータによって実行されてもよく、或いは、接続された様々なコンピュータ・システムによって実行されてもよい。
さらに、本発明はハードウェアとソフトウェアの特定の組み合わせを用いて説明したが、ハードウェアとソフトウェアの他の組み合わせも本発明の範囲内であることは明らかである。本発明は、ハードウェアのみで実施されてもよく、ソフトウェアのみで実施されてもよく、或いは、それらの組み合わせを用いて実施されてもよい。
したがって、本明細書及び図面は、限定的な意味ではなく、例示と考えられるべきである。しかし、請求項記載の本発明のより広義な意図及び範囲を逸脱することなく、追加、置換、削除、及び、他の修理及び変更を行うことが可能であることは明らかである。
本発明の一実施形態を組み込み得る分散ネットワークの簡略化されたブロック図である。 本発明の一実施形態に係るコンピュータ・システムの簡略化されたブロック図である。 マルチメディア情報を視聴するための本発明の一実施形態に係る簡略化されたユーザ・インターフェース３００を示す図である。 本発明の一実施形態に係るサムネール表示エリア・レンズの拡大簡略図である。 本発明の一実施形態に係るパネル表示エリア・レンズの簡略図である。 本発明の一実施形態に係るパネル表示エリア・レンズの簡略図である。 本発明の一実施形態に係るパネル表示エリア・レンズの簡略図である。 ユーザが選択した単語が注釈が付けられた又は強調された本発明の一実施形態に係る簡略化されたユーザ・インターフェースを示す図である。 本発明の一実施形態に係るＧＵＩの第二の表示エリアの拡大簡略図である。 ユーザが関心ある１以上のトピックスに関連するマルチメディア情報が注釈が付けられた又は強調された本発明の一実施形態に係る簡略化されたＧＵＩを示す図である。 対象トピックスを定義する本発明の一実施形態に係る簡略化されたユーザ・インターフェースを示す図である。 本発明の一実施形態に係る会議録画によって記憶されたマルチメディア情報を表示する簡略化されたユーザ・インターフェースを示す図である。 本発明の一実施形態に係るマルチメディア文書によって記憶されたマルチメディア情報を表示する簡略化されたユーザ・インターフェースを示す図である。 本発明の一実施形態に係るマルチメディア文書によって記憶されたマルチメディア情報を表示する簡略化されたユーザ・インターフェースを示す図である。 本発明の一実施形態に係るＧＵＩの第二の表示エリアにサムネール表示テキスト情報を表示させる方法を示す簡略化された高レベル・フローチャートである。 本発明の一実施形態に係るＧＵＩの第二の表示エリアにサムネール表示テキスト情報を表示させる方法を示す簡略化された高レベル・フローチャートである。 本発明の一実施形態に係るＧＵＩの第二の表示エリアにビデオ情報から抽出されたビデオ・キーフレームを示すサムネールを表示させる方法を示す簡略化された高レベル・フローチャートである。 本発明の一実施形態に係るサムネール３１２−２を表示させる別の方法を示す簡略化された高レベル・フローチャートである。 サムネール表示エリア・レンズ３１４を表示し、第三の表示エリア３０６にサムネール表示エリア・レンズ３１４によって強調された情報を表示し、パネル表示エリア・レンズ３２２を表示し、第四の表示エリア３０８にパネル表示エリア・レンズ３２２によって強調された情報を表示し、第五の表示エリア３１０に情報を表示する、本発明の一実施形態に係る方法を示す簡略化された高レベル・フローチャートである。 サムネール表示エリア・レンズ３１４の位置変更に応じて第三の表示エリア３０６に表示された情報を自動的に更新する本発明の一実施形態に係る方法を示す簡略化された高レベル・フローチャートである。 パネル表示エリア・レンズ３２２の位置変更に応じて第四の表示エリア３０８に表示された情報及びサムネール表示エリア・レンズ３１４及びサブレンズ３１６の位置を自動的に更新する方法を示す簡略化された高レベル・フローチャートである。 本発明の一実施形態に係るレンジを表示する簡略化されたユーザ・インターフェースを示す図である。 本発明の一実施形態に係るレンジを編集する簡略化されたダイアログ・ボックスを示す図である。 本発明の一実施形態に係るレンジを自動的に作成する方法を示す簡略化された高レベル・フローチャートである。 マルチメディア情報のヒット位置に基づいてレンジを自動的に作成する本発明の一実施形態に係る方法を示す簡略化された高レベル・フローチャートである。 レンジのサイズ及びレンジと隣接レンジとの近さに基づいて１以上のレンジを合成する本発明の一実施形態に係る方法を示す簡略化された高レベル・フローチャートである。 本発明の一実施形態に係る隣接レンジ間の関係を示す簡略図である。 本発明の一実施形態に係る図２４に示したレンジＲｉ及びＲｋを合成することによって作成されたレンジを示す簡略図である。 本発明の一実施形態に係る図２４に示したレンジＲｉ及びＲｊを合成することによって作成されたレンジを示す簡略図である。 本発明の一実施形態に従って自動的に作成されたレンジを示すＧＵＩの拡大版を示す図である。 本発明の一実施形態に係る１以上のマルチメディア文書に格納され得る情報を表示する簡略化されたスタートアップ・ユーザ・インターフェースを示す図である。 ユーザがロード・ボタンを選択したときに表示される、本発明の一実施形態に係る簡略化されたウィンドウを示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る格納された情報を表示するユーザ・インターフェースの一例を示す図である。 本発明の一実施形態に係る１以上のマルチメディア文書のコンテンツを表示する簡略化されたユーザ・インターフェースを示す図である。 本発明の一実施形態に係る１以上のマルチメディア文書のコンテンツを表示する簡略化されたユーザ・インターフェースを示す図である。 本発明の一実施形態に係る１以上のマルチメディア文書のコンテンツ又はレンジに対応したコンテンツを印刷するのに用いられ得る簡略化されたユーザ・インターフェースを示す図である。 本発明の一実施形態に係る図３１に示したインターフェースから選択可能なスタイルに従って印刷されたページを示す図である。 本発明の一実施形態に係る図３１に示したインターフェースから選択可能なスタイルに従って印刷されたページを示す図である。 本発明の一実施形態に係る図３１に示したインターフェースから選択可能なスタイルに従って印刷されたページを示す図である。 本発明の一実施形態に係る図３１に示したインターフェース３１から選択可能なキーフレーム・スタイルを用いて印刷されたページを示す図である。 本発明の一実施形態に係る図３１に示したインターフェース３１から選択可能なキーフレーム・スタイルを用いて印刷されたページを示す図である。 本発明の一実施形態に従って印刷され得るカバーシートの一例を示す図である。 本発明の一実施形態に従って印刷され得るカバーシートの一例を示す図である。 本発明の一実施形態に従って印刷され得るカバーシートの一例を示す図である。 本発明の一実施形態に係るレンジについて印刷されたペーパ文書を示す図である。 本発明の一実施形態に係るレンジについて印刷されたペーパ文書を示す図である。 本発明の一実施形態に係るレンジについて印刷されたペーパ文書を示す図である。 本発明の一実施形態に係るレンジについて印刷されたペーパ文書を示す図である。 本発明の一実施形態に係るレンジについて印刷されたペーパ文書を示す図である。
符号の説明
１００ 分散型ネットワーク
１０２ クライアント・システム
１０４ サーバ・システム
１０６ マルチメディア情報源
１０８ 通信ネットワーク
１１０ 通信リンク
２００ コンピュータ・システム
２０２ プロセッサ
２０４ バス・サブシステム
２０６ ストレージ・サブシステム
２０８ メモリ・サブシステム
２１０ ファイル・ストレージ・サブシステム
２１２ ユーザ・インターフェース入力装置
２１４ ユーザ・インターフェース出力装置
２１６ ネットワーク・インターフェース・サブシステム
２１８ ランダム・アクセス・メモリ（ＲＡＭ）
２２０ リード・オンリ・メモリ（ＲＯＭ）

Claims (6)

  1. プロセッサと、メモリと、ディスプレイとを有するコンピュータシステムにおいて、
    前記プロセッサが、前記メモリに記憶された、時間情報が関連づけられたテキスト情報に基づき、前記テキスト情報を描画するテキストキャンバスの大きさと前記テキストキャンバスにおける前記テキスト情報に含まれる語の位置とを決定し、前記テキスト情報を前記テキストキャンバスに描画する段階と、
    前記プロセッサが、前記ディスプレイの第１の表示領域における前記時間情報に基づき決定した位置に表示できるように、描画したテキストキャンバスを縮小してサムネールを生成し、生成したサムネールを前記第１の表示領域に表示する段階と、
    前記プロセッサが、前記メモリに記憶された、時間情報が関連づけられたビデオ情報からキーフレームを抽出して、抽出したキーフレームから前記テキストキャンバスに対応して表示できるキーフレームを選択し、選択したキーフレームをキーフレームキャンバスに描画する段階と、
    前記プロセッサが、前記第１の表示領域に隣接する前記ディスプレイの第２の表示領域における前記時間情報に基づき決定した位置に表示できるように、描画したキーフレームキャンバスを縮小してサムネールを生成し、生成したサムネールを前記第２の表示領域に表示する段階とを含む方法。
  2. サーバと、ネットワークを介して前記サーバと接続されたクライアントとを有するネットワークシステムにおいて、
    前記サーバが、時間情報が関連づけられたテキスト情報に基づき、前記テキスト情報を描画するテキストキャンバスの大きさと前記テキストキャンバスにおける前記テキスト情報に含まれる語の位置とを決定し、前記テキスト情報を前記テキストキャンバスに描画する段階と、
    前記サーバが、前記クライアントのディスプレイの第１の表示領域における前記時間情報に基づき決定した位置に表示できるように、描画したテキストキャンバスを縮小してサムネールを生成し、生成したサムネールを前記第１の表示領域に表示させる段階と、
    前記サーバが、時間情報が関連づけられたビデオ情報からキーフレームを抽出して、抽出したキーフレームから前記テキストキャンバスに対応して表示できるキーフレームを選択し、選択したキーフレームをキーフレームキャンバスに描画する段階と、
    前記サーバが、前記第１の表示領域に隣接する前記クライアントのディスプレイの第２の表示領域における前記時間情報に基づき決定した位置に表示できるように、描画したキーフレームキャンバスを縮小してサムネールを生成し、生成したサムネールを前記第２の表示領域に表示させる段階とを含む方法。
  3. 移動可能な領域特定手段により特定された前記第１と第２の表示領域の一部に対応するテキスト情報とビデオ情報のキーフレームとを、それぞれ他の表示領域に表示する段階をさらに含む、請求項１または２に記載の方法。
  4. 前記領域特定手段において移動可能な領域拡大手段により特定された前記第１と第２の表示領域の一部に対応するテキスト情報とビデオ情報のキーフレームの前記他の表示領域における表示を拡大して表示する段階をさらに含む、請求項３に記載の方法。
  5. テキスト情報のサムネールとビデオ情報のサムネールとを表示する装置であって、
    時間情報が関連づけられたテキスト情報に基づき、前記テキスト情報を描画するテキストキャンバスの大きさと前記テキストキャンバスにおける前記テキスト情報に含まれる語の位置とを決定し、前記テキスト情報を前記テキストキャンバスに描画する手段と、
    表示手段の第１の表示領域における前記時間情報に基づき決定した位置に表示できるように、描画したテキストキャンバスを縮小してサムネールを生成し、生成したサムネールを表示する手段と、
    時間情報が関連づけられたビデオ情報からキーフレームを抽出して、抽出したキーフレームから前記テキストキャンバスに対応して表示できるキーフレームを選択し、選択したキーフレームをキーフレームキャンバスに描画する手段と、
    前記第１の表示領域に隣接する前記表示手段の第２の表示領域における前記時間情報に基づき決定した位置に表示できるように、描画したキーフレームキャンバスを縮小してサムネールを生成し、生成したサムネールを表示する手段とを有する装置。
  6. コンピュータに、テキスト情報のサムネールとビデオ情報のサムネールとを表示させるコンピュータプログラムであって、
    時間情報が関連づけられたテキスト情報に基づき、前記テキスト情報を描画するテキストキャンバスの大きさと前記テキストキャンバスにおける前記テキスト情報に含まれる語の位置とを決定し、前記テキスト情報を前記テキストキャンバスに描画する段階と、
    表示手段の第１の表示領域における前記時間情報に基づき決定した位置に表示できるように、描画したテキストキャンバスを縮小してサムネールを生成し、生成したサムネールを前記第１の表示領域に表示する段階と、
    時間情報が関連づけられたビデオ情報からキーフレームを抽出して、抽出したキーフレームから前記テキストキャンバスに対応して表示できるキーフレームを選択し、選択したキーフレームをキーフレームキャンバスに描画する段階と、
    前記第１の表示領域に隣接する前記表示手段の第２の表示領域における前記時間情報に基づき決定した位置に表示できるように、描画したキーフレームキャンバスを縮小してサムネールを生成し、生成したサムネールを前記第２の表示領域に表示する段階とを実行させる、コンピュータプログラム。
JP2003420231A 2002-12-17 2003-12-17 複数のマルチメディア文書に格納された情報の表示法 Expired - Fee Related JP4446728B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43431402P 2002-12-17 2002-12-17
US10/465,022 US8635531B2 (en) 2002-02-21 2003-06-18 Techniques for displaying information stored in multiple multimedia documents

Publications (3)

Publication Number Publication Date
JP2004199696A JP2004199696A (ja) 2004-07-15
JP2004199696A5 JP2004199696A5 (ja) 2007-02-08
JP4446728B2 true JP4446728B2 (ja) 2010-04-07

Family

ID=32775939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003420231A Expired - Fee Related JP4446728B2 (ja) 2002-12-17 2003-12-17 複数のマルチメディア文書に格納された情報の表示法

Country Status (1)

Country Link
JP (1) JP4446728B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596755B2 (en) 1997-12-22 2009-09-29 Ricoh Company, Ltd. Multimedia visualization and integration environment
US7954056B2 (en) 1997-12-22 2011-05-31 Ricoh Company, Ltd. Television-based visualization and navigation interface
US8635531B2 (en) 2002-02-21 2014-01-21 Ricoh Company, Ltd. Techniques for displaying information stored in multiple multimedia documents
US7890889B2 (en) 2004-09-27 2011-02-15 Nokia Corporation User-interface application for media file management
US9071870B2 (en) * 2004-12-08 2015-06-30 Nokia Technologies Oy System and method for viewing digital visual content on a device
US7716194B2 (en) * 2005-01-12 2010-05-11 Microsoft Corporation File management system employing time line based representation of data
US20070234238A1 (en) * 2005-03-10 2007-10-04 Kabushiki Kaisha Toshiba Document searching apparatus
JP2007058605A (ja) 2005-08-24 2007-03-08 Ricoh Co Ltd 文書管理システム
US8842074B2 (en) 2006-09-06 2014-09-23 Apple Inc. Portable electronic device performing similar operations for different gestures
US7956849B2 (en) 2006-09-06 2011-06-07 Apple Inc. Video manager for portable multifunction device
US7864163B2 (en) 2006-09-06 2011-01-04 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
JP5359693B2 (ja) 2009-08-28 2013-12-04 コニカミノルタ株式会社 画像形成装置および画像形成方法
JP5134639B2 (ja) * 2010-03-17 2013-01-30 ヤフー株式会社 クライアント装置、表示方法、プログラム、情報処理装置、及び情報処理システム
US8963847B2 (en) * 2010-12-06 2015-02-24 Netflix, Inc. User interface for a remote control device
JP6179177B2 (ja) * 2013-05-07 2017-08-16 株式会社リコー 情報処理プログラムおよび情報処理装置、ならびに、表示制御プログラム
US10445355B2 (en) * 2016-04-07 2019-10-15 RELX Inc. Systems and methods for providing a visualizable results list
WO2019099549A1 (en) * 2017-11-18 2019-05-23 Cogi, Inc. Interactive representation of content for relevance detection and review
CN112040142B (zh) * 2020-07-08 2023-05-02 智者四海（北京）技术有限公司 用于移动终端上的视频创作的方法
CN112101353A (zh) * 2020-09-23 2020-12-18 广州虎牙科技有限公司 文本信息提取方法、装置、电子设备及存储介质
CN115866314B (zh) * 2022-11-29 2024-09-24 维沃移动通信有限公司 视频播放方法及其装置

Also Published As

Publication number Publication date
JP2004199696A (ja) 2004-07-15

Similar Documents

Publication Publication Date Title
US7495795B2 (en) Interface for printing multimedia information
US8635531B2 (en) Techniques for displaying information stored in multiple multimedia documents
US7596755B2 (en) Multimedia visualization and integration environment
JP4446728B2 (ja) 複数のマルチメディア文書に格納された情報の表示法
US6571054B1 (en) Method for creating and utilizing electronic image book and recording medium having recorded therein a program for implementing the method
US7954056B2 (en) Television-based visualization and navigation interface
US7979786B1 (en) Techniques for retrieving multimedia information using a paper-based interface
US7215436B2 (en) Device for generating a multimedia paper document
US7263659B2 (en) Paper-based interface for multimedia information
US7979879B2 (en) Video contents display system, video contents display method, and program for the same
US7266782B2 (en) Techniques for generating a coversheet for a paper-based interface for multimedia information
US20050216851A1 (en) Techniques for annotating multimedia information
US7616840B2 (en) Techniques for using an image for the retrieval of television program information
US8539344B2 (en) Paper-based interface for multimedia information stored by multiple multimedia documents
US7743347B2 (en) Paper-based interface for specifying ranges
US20030074671A1 (en) Method for information retrieval based on network
US20050044091A1 (en) Contents retrieval system
JP2009157460A (ja) 情報提示装置及び方法
US20070136348A1 (en) Screen-wise presentation of search results
JP2001306599A (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
JP2002108892A (ja) データ管理システム、データ管理方法、及び、記録媒体
JP3096280B2 (ja) 電子映像文書作成利用方法及びプログラム格納媒体
JP2004112379A (ja) 画像検索システム
JP3815371B2 (ja) 映像関連情報生成方法及び装置及び映像関連情報生成プログラム及び映像関連情報生成プログラムを格納した記憶媒体
Kim et al. Design and Implementation of a Summary Note System for Educational Video Contents

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130129

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4446728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140129

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees