JP4269980B2 - コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、複数のシーンが時間軸上に配列して構成される動画像データの中から所望のシーンを検索する作業を支援するコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムに係り、特に、会議室で開催される会議を録画した動画像データの中から所望のシーンを検索する作業を支援するコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、複数のビデオ・カメラを用いて会合の様子を撮影した集合データの中から所望のシーンを検索する作業を支援するコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムに係り、特に、同じ時間軸を共有する複数本のビデオ・ストリームからビデオ・インデキシングにより所望のシーンを検索する作業を支援するコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムに関する。

昨今のコンピューティング技術の発展に伴い、コンピュータがオフィスや一般家庭内に深く浸透してきている。これと相俟って、さまざまな適用業務はコンピュータの支援を受けることができるようになってきている。

例えば、企業における産業活動やその他のさまざまに日常生活において、会議やセミナー・講演会、説明会、プレゼンテーションなどが頻繁に行なわれているが、会議室にコンピュータを取り込むことで、これらさまざまな形態の会合の運用を支援することができる。

会議支援システムの一例として、遠隔会議システムを取り上げることができる。遠隔会議システムによれば、遠隔に位置する複数の会議室において、カメラやマイクなどの画像・音声入力装置や、モニタやスピーカなどの画像・音声出力装置を設置し、通信回線を利用して、各会議室において行なわれる発言や質疑応答などのイベントを共有し、遠隔地間で議事を同期して進行させることができる。

例えば、複数のユーザが端末装置のネットワーク接続によって対話を可能とした会議システムとしての対話システム制御方式がある（例えば、特許文献１を参照のこと）。この方式によれば、各端末装置において対話への参加、参加者の離脱を処理することによって、自由な参加や離脱を可能にして会議に相当する対話をすることができる。

また、会議の進行上、会議の参加者を撮影した映像や、参加者の初全内容などの音声だけでなく、会議で使用されるホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまな資料を会議室間で共有し、保管することができる。

例えば、会議に用いられる共有の資料などの用意や保管を容易に行なうことができる会議システムについて提案がなされている（例えば、特許文献２を参照のこと）。この場合、インターネット上の会議支援ウェブサイトを運営する情報提供装置によりＴＶ電話会議のサービスを提供する第１の工程と、会議参加者（ユーザ）が通信端末を用いるとともに、この情報提供装置を通し、共有資料を用いてリアルタイムで会議を行う第２の工程とを備え、会議に用いられる共有の資料等の用意や保管を容易に行うことができ、その場で資料等に書込みを行うこともでき、さらにはアプリケーションソフトの違いやバージョンの違いによる不具合も解消することができる。

また、プレゼンテーションは、プレゼンテータ又はその助手がオペレータとなって多くの資料画像を切り換えて、これら資料画像を聴衆に対して提示しながら進められる。オペレータの手元に置かれるコンピュータの画面に使用する資料画像のタイトル一覧や縮小画像一覧が表示され、オペレータがこれら一覧から所望のものを選択して資料画像をスクリーンに表示するなどして聴衆に提示する。これら資料画像データはあらかじめ用いようとする順序で一覧表示するのが一般的であり、オペレータはプレゼンテーションの進行に従って一覧中から順次資料画像を選択して表示切換を行なう。

しかしながら、プレゼンテーションは予定通りの段取りで進行しない場合もあり、このような場合には、使用する資料画像の順序も予定外となってしまう。また、一通りのプレゼンテーションが終了して、聴衆との質疑応答を行なう場合には、必要な資料画像を遡って表示する必要も生ずる。すなわち、用意された複数の資料画像がプレゼンテーションにおいて何時どのような順序で使用されるかは、実際にプレゼンテーションを実施してみて初めて決定される。

プレゼンテーションを収録したビデオ・データとともに、当該プレゼンテーションで使用された資料画像データを含んだコンテンツを作成して、当該コンテンツを閲覧するユーザにプレゼンテーションを再現して提示する場合、ビデオ・データと資料画像データとを実際の使用状態を反映して対応付けることが重要である。

プレゼンテーションを収録したビデオ・データと、その場で使用された資料画像データとを実際のプレゼンテーション行為を反映させて対応付け、これによってプレゼンテーションを収録したコンテンツの品質を高めることができる（例えば、非特許文献１を参照のこと）。

この場合、カメラ収録されたビデオ・データを入力し、プレゼンテーションで使用される資料画像データ、並びにプレゼンテーションにおいてプレゼンテータが行った資料画像の切換指示をそれぞれ入力し、ビデオ・データを基準とした時間軸に対して切換指示の入力タイミングを当該切り換えられる資料画像データの表示開始タイミングとして設定する処理を行ない、複数の資料画像を切換え表示しながら行うプレゼンテーションを収録したビデオ・データに対して使用された資料画像のデータを対応付ける。これによって、ビデオ・データの再生時には、ビデオ・データと資料画像データとを実際の使用状態を反映して対応付けることができ、プレゼンテーションを忠実に再現することができるコンテンツを作成することが可能となる。

会議は、ほぼ毎日、複数の会議において時間毎に開催される。このため、会議毎に捕捉され、蓄積された会議データは膨大であり、その数は日々増加していく。ここで、会議での決定事項を見返すなど、会議データを再利用したいときに、所望の会議記録の中から所望の箇所を探し出す手間が煩わしくなる、あるいは探し出すことが困難若しくは不可能である、という問題が浮上する。

従来、会議などでの決定事項などは、後に発行される議事録を見返すことにより振り返ることができる。しかし、決定事項に至った詳細な経緯などは記録されないため、振り返ることができない。また、本題から外れた内容であるが当人にとっては重要であると思える発話の内容や資料の内容など、議事録に載らないような事柄でも後で思い出したいと思う場合がある。

このような振り返りを支援する技術として動画像を利用する方法がある。会議をビデオ撮影し、後で思い出したいシーンを再生することにより想起を支援する方法である。そのためには、見たいシーンをすばやく検索する技術が不可欠となる。

例えば、１本のビデオ・ストリームからビデオ・インデキシング結果を基にからコンテンツの内容を把握することができる（例えば、特許文献３を参照のこと）。

ここで、映像や音声など会議の進行上で発生するさまざまなデータを記録する会議システムにおいて、１台のビデオ・カメラのみで会合の様子を記録する場合、カメラの視野角や設置場所などの制約から、実際に見たい参加者や発言内容が撮影されず、コンテンツの再生時には十分な臨場感が得られないという問題がある。

これに対し、複数台のビデオ・カメラを用意し、会議室内に分散して配置することで、会議で起きたさまざまなイベントを捕捉することができる。ところが、各ビデオ・カメラは、本来それぞれ独立した機器であり、得られた複数のビデオ・ストリームを集合データとして取り扱う場合、コンテンツの内容の把握方法やシーン検索の処理が問題となる。

すなわち、異なるビデオ・カメラから得られたビデオ・ストリーム毎に視点が相違するため、従来のビデオ・インデキシング技術をそのまま適用することはできない。また、特定のビデオ・ストリームのビデオ・インデキシング結果を基に複数のビデオ・ストリームをまとめて取り扱おうとすると、視点の相違に起因する情報の欠落が発生したり、ユーザの求める視点との相違が発生したりするため、良好なシーン検索を行なえない可能性がある。一方、複数のビデオ・ストリームを同時に取り扱おうとすると、帯域や処理不可の問題が浮上する。

特開平３−１９２８４５号公報 特開２００２−４１４２９号公報 特開２０００−９０１２１号公報 特願２００３−２０１６７３号

本発明の目的は、複数のシーンが時間軸上に配列して構成される動画像データの中から所望のシーンを検索する作業を好適に支援することができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、複数のビデオ・カメラを用いて会合の様子を撮影した集合データの中から所望のシーンを検索する作業を好適に支援することができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、同じ時間軸を共有する複数本のビデオ・ストリームからビデオ・インデキシングにより所望のシーンを検索する作業を好適に支援することができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、同じ時間軸を共有する複数のビデオ・データを提供するための処理を行なうコンテンツ処理システムであって、前記の各ビデオ・データをそれぞれインデキシング処理し、ビデオ・データ毎の代表画像を作成し、それぞれ時間軸上に配列して管理する代表画像管理手段と、ビデオ・データの再生要求を受容するビデオ要求入力手段と、ビデオ・データの要求に応じて、選択された１以上のビデオ・データの再生画面を提供するビデオ再生画面提供手段と、前記ビデオ再生画面に提供されているビデオ・データの再生位置に対応する前記の各ビデオ・データの代表画像を提供する代表画像提供手段とを具備することを特徴とするコンテンツ処理システムである。

ここで、前記ビデオ要求入力手段は、前記代表画像提供手段により提供されている代表画像の選択操作に応じて、対応するビデオ・データの再生要求を受容する。また、前記ビデオ再生画面提供手段は、ビデオ・データの再生中に代表画像の選択操作が行なわれたことに応答して、選択されたビデオ・データの再生画面に切り替える。そして、前記ビデオ再生画面提供手段は、ビデオ・データの再生中で代表画像の選択操作が行なわれた時点における再生位置から、選択されたビデオ・データの再生を開始する。

また、前記代表画像提供手段は、前記ビデオ再生画面提供手段により提供されるビデオ・データの再生位置の進行に同期して、各ビデオ・データの代表画像の表示を順次切り替えていく。

本発明によれば、同じ時間軸を共有する複数のビデオ・ストリームのうちユーザが選択したビデオ・ストリームをアクティブ・ストリームとして再生する際に、これに並行して、各ビデオ・ストリームをそれぞれインデキシングして作成した代表画像を表示することができる。ビデオの進行に同期して再生時刻に対応した代表画像に順次切り替えていく。そして、ユーザが代表画像を選択することにより、アクティブ・ストリームを切り替えることができる。

したがって、本発明によれば、ユーザは、ビデオ・ストリームの本数に相当する代表画像の数だけ異なる視点でビデオ・ストリームの閲覧が可能となる。ビデオの表示と同期して複数の代表画像が切り替わることにより、ユーザにとって取得情報が増大するので、アクティブ・ストリーム選択の動機付けとなる。この結果、ビデオ・インデキシングに伴う情報の欠落を補うことができるとともに、ユーザは好みの視点でビデオを視聴することができるので、コンテンツ再生時の臨場感が向上する。

また、ユーザは、代表画像が提示される複数のビデオ・ストリームの中からアクティブ・ストリームを選択することにより、１本分のビデオ・ストリームに限定して受信することができ、通信帯域や通信負荷を低減することができる。

勿論、閲覧クライアントにおいて同時に複数のビデオ・ストリームを受信する場合には、そのビデオ・ディスプレイ部が受信するビデオ・ストリームの数だけ表示することが可能である。

また、本発明の第２の側面は、同じ時間軸を共有する複数のビデオ・データを提供するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記の各ビデオ・データをそれぞれインデキシング処理し、ビデオ・データ毎の代表画像を作成し、それぞれ時間軸上に配列する代表画像生成ステップと、ビデオ・データの再生要求を受容するビデオ要求入力ステップと、ビデオ・データの要求に応じて、選択された１以上のビデオ・データの再生画面を提供するビデオ再生画面提供ステップと、前記ビデオ再生画面に提供されているビデオ・データの再生位置に対応する前記の各ビデオ・データの代表画像を提供する代表画像提供ステップとを具備することを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係るコンテンツ処理システムと同様の作用効果を得ることができる。

本発明によれば、複数のシーンが時間軸上に配列して構成される動画像データの中から所望のシーンを検索する作業を好適に支援することができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、複数のビデオ・カメラを用いて会合の様子を撮影した集合データの中から所望のシーンを検索する作業を好適に支援することができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、同じ時間軸を共有する複数本のビデオ・ストリームからビデオ・インデキシングにより所望のシーンを検索する作業を好適に支援することができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

以下、図面を参照しながら本発明の実施形態について詳解する。但し、ビデオ・データと資料画像データやその他の付加画像データを含むコンテンツをユーザに配信するシステムについてまず説明し、続いて、このような配信コンテンツを作成するためのシステム、コンテンツを再生するためにシステムについて説明する。

Ａ．コンテンツ配信システムの構成
図１には、コンテンツ配信システムの構成を模式的に示している。図示のコンテンツ配信システムは、インターネットＮを介して接続される配信サーバ１、閲覧クライアント２、登録クライアント３を備えて構成される。

配信サーバ１、閲覧クライアント２、並びに登録クライアント３は、パーソナル・コンピュータ（ＰＣ）などの一般的な計算機システムに、それぞれの機能を実現するためのサーバ・アプリケーション、クライアント・アプリケーションをインストールすることによって構成されている。また、閲覧クライアント２は、配信サーバ１より配信されるコンテンツを閲覧するためのブラウザ機能をインストールしている。

図１では簡素化のため、配信サーバ１、閲覧クライアント２、登録クライアント３を各１台ずつしか描いていないが、インターネットＮ上にはこれらサーバ、クライアント、あるいはその他の無数のホスト装置が接続されていてもよい。例えば、閲覧クライアント２はコンテンツを閲覧するユーザが使用する端末であるので多数接続される。一方、配信サーバ１や登録クライント３は集中管理を行なうように１台としてもよい。なお、後述するように配置先セットの集合でコンテンツ・データの記憶領域を構成するので、配信サーバ１は複数のサーバ装置で機能やデータを分担する構成とするのが好ましい。

本実施形態では、配信サーバ１は、ビデオ・データと、ビデオ・データ毎に対応付けたスライド画像データ、資料画像データ、検索用の音声インデックス・データ、コンテンツ・タイトルなどのコンテンツ・レコード（メタデータ）をコンテンツ毎のデータとして記憶保持しており、閲覧クライアント２からの要求に応じて該当するコンテンツ・データを配信提供する。

図２には、配信サーバ１に登録されている配信用コンテンツの構造を模式的に示している。図２（ａ）にはビデオ・データ５とスライド画像データ６との対応付け関係を示している。また、図２（ｂ）にはビデオ・データ５と資料画像データ７との対応付け関係を示してある。

ビデオ・データ５は、配信用のストリーム形式に変換された動画像データであり、スライド画像データ６（Ａ〜Ｋ）は配置登録前の前処理によってビデオ・データ５中から自動処理又はオペレータ操作によって抽出された静止画像データである。これらスライド画像データは、例えばビデオ中のある時間幅を持った場面を代表的に表すシーンの画像であり、ビデオ・データ５の該当する場面に対応付けられている。スライド画像データは、主に閲覧ユーザが所望のコンテンツを探したり又はコンテンツビデオ中の所望の場面を探したりする検索用として用いられる。

また、資料画像データ７（ａ〜ｎ）は、配置登録前の前処理によってオペレータがビデオを見ながら設定操作してビデオ・データ５に対応付けた静止画像データであり、例えばプレゼンテーションや講義などを写したビデオ・データ５に対し、当該プレゼンテーションにおいて使用された資料を写した画像データである。資料画像データ７は、資料が用いられたビデオ中の或る時間幅を持った場面に対応付けられ、閲覧ユーザに対してビデオ画像に同期して該当する資料画像を提供する。

なお、これらスライド画像データ６と資料画像データ７とはいずれか一方だけをビデオ・データ５に付随させるようにしてもよく、本明細書の説明では、特に指摘する場合を除いて、スライド画像データ６と資料画像データ７との両方又はいずれか一方を画像データと記述するものとする。

このようなコンテンツ・データは、ブラウザを使用する閲覧クライアント２からの要求に応答して、配信クライアント１から配信処理され、要求元の閲覧クライアント２に提供されてその表示装置に画面表示される。

図３には、配信サーバ１から配信されたコンテンツ・データが閲覧クライアント２側で表示されるコンテンツ閲覧画面の構成例を示している。

このコンテンツ閲覧画面は、画像を表示するビデオ画面１３３及び再生や停止などの操作ボタンが配置されたビデオ操作部１３４を有したビデオ・プレイヤ１３５と、コマ送り操作ボタンが配置された操作部１３６を有した画像表示部１３７と、コンテンツ・データに関するプログラム記述などを表示するノート表示画面部１３８を含んでいる。したがって、閲覧するユーザがポインティング入力で操作することにより、ビデオ画面１３３にビデオ画像を再生させ、画像表示部１３７にスライド画像や資料画像を表示させることができる。

後述するように、本実施形態では、配信サーバ１は、同じ時間軸を共有する複数のビデオ・ストリームを１つの集合データとして取り扱う。ビデオ・プレイヤ１３５側では、複数のビデオ・ストリームのうちユーザが選択したビデオ・ストリームがアクティブ・ストリームとしてビデオ画面１３３上で再生される。

また、配信サーバ１側では、各ビデオ・ストリームをそれぞれインデキシングして代表画像を作成しており、アクティブ・ストリームとして選択されたビデオ・ストリームをストリーミング配信する一方、その他のビデオ・ストリームの代表画像を配信する。

ビデオ・プレイヤ１３５では、ビデオ画面１３３上でのビデオ（アクティブ・ストリーム）の進行に同期して再生時刻に対応した代表画像に切り替える。そして、ユーザは、代表画像を選択することにより、アクティブ・ストリームを切り替えることができる。

また、配信サーバ１にアクセスし、資料画像などの所望のコンテンツの画像データが閲覧クライアント２へ配信される。図４並びに図５には、この配信された画像データが閲覧クライアント２で表示される詳細表示画面の構成例を示している。

図４では、スライド画像データ６の一覧表示を行なった状態を示しており、レコード・データ表示部１４０には当該コンテンツのメタデータの諸項目が表示され、スライド画像表示部１４１には当該コンテンツに対応付けられたすべてのスライド画像１０６が時系列に表示されている。

各スライド画像１０６は、該当する場面の時間長さに応じて大きくなるようにスライド画像表示部１４１に表示される。例えば、図２（ａ）に示すように、他に較べて場面の長さが短いＣやＤのスライド画像１０６は、スライド画像表示部１４１において他のスライド画像より小さいサイズで表示される。このようなサイズ変換は、例えば、各スライド画像に場面長さに応じた情報を付加しておくことにより、詳細表示の要求に応じて配信サーバ１において行なうことができる。なお、このような画像サイズに差を持たせて表示する態様は、場面の内容が変化する大きさに応じたり、作者の意図に応じたりといったように、場面の重要度に応じてサイズを設定するようにしてもよい。

また、図５には、資料画像データ７の一覧表示を行なった状態を示している。図示の通り、レコード・データ表示部１４２には、当該コンテンツのメタデータの諸項目が表示される。資料画像表示部１４３には、当該コンテンツに対応付けられたすべての資料画像１０７が時系列に表示されるとともに、各資料画像１０７から抽出された内容の記述文字列１０７ａが画像表示される。この文字列７ａは資料画像データ６から必要に応じて文字認識処理などで抽出され、資料画像をキーワード検索する際に照合される。

Ｂ．コンテンツ・データの登録
次に、コンテンツ・データを配信サーバ１に配置登録することについて説明する。

図６には、配信サーバ１に各コンテンツのレコードを記憶管理するための機能構成を示している。同図に示すように、配信サーバ１は、配置登録した各コンテンツのレコードを記憶管理するデータベース１５０と、各コンテンツ・データの実体を格納する複数の配置先セット１５１を備えている。

データベース１５０は、各コンテンツ・データのメタデータ、配置先ファイル・パス、配置先ＵＲＬなどを含むコンテンツ用レコード１５２とともに、当該コンテンツ・データが配置登録されている配置先セットを特定する番号１５３を記憶管理している。したがって、データベース１５０を参照することにより、配信可能に各コンテンツ・データを配置登録し、また、閲覧クライアント２から要求された該当するコンテンツ・データを配信することができる。

コンテンツ用レコード１５２内には、会議を撮影して得られたビデオ・データなどのコンテンツに関するレコードの他に、スライドなどのプレゼンテーション用の資料画像データや、プレゼンテーションの際に行なわれたアノテーション情報などの各画像データに関するレコードが格納される。

本実施形態では、これら画像データを、会議すなわちビデオ・データの時間軸と対応付けて管理するために、これら画像データ毎のレコードは、データを識別するＩＤ、保管場所を示す配置先ＵＲＬと、ビデオ・データの時間軸上の配置場所を示す時刻情報を組み合わせて構成される。この時刻情報は、ライブのプレゼンテーションにおいてスライドが提示された時刻、スライドに対しアノテーションが入力された時刻、あるいはプレゼンテーションの再生時においてアノテーションが入力された時刻を表す。

また、本実施形態では、複数のカメラを用いて、プレゼンテーションの様子を同時に収録する。このようにして得られた同じ時間軸を共有する複数のビデオ・データは、コンテンツ用レコード１５２内では、１つの集合データとしてビデオ時間関連情報とともに記録・管理される。時間関連情報は、ビデオ素材を指定する情報と、開始時刻を含むデータの集合であり、カメラの収録動作の制御情報からビデオ時間関連情報を抽出することができる。また、ビデオに関連する情報は、資料画像データ及び矢印などの付加画像データ、アノテーション情報（後述）、及びビデオ時間と同期するタイミングのデータである。

配置先セット１５１は、それぞれが１又は複数のコンテンツ・データを格納する記憶領域であり、これら配置先セット１５１の集合として配置サーバ１のコンテンツ・データ記憶領域が構成されている。図示の例では、各配置先セット１５１には、ビデオ・データを格納するビデオ・データ・フォルダ１５４、画像データを格納するための画像データ・フォルダ１５５、音声インデックス・データを格納するための音声インデックス・フォルダ１５６が設けられている。スライドなどのプレゼンテーション用の資料画像データや、プレゼンテーションの際に行なわれたアノテーション情報などの画像データは、画像データ・フォルダ１５５内に格納される（但し、資料画像データとアノテーション情報とを別のデータ・フォルダに分けて記録・管理するようにしてもよい）。同じコンテンツのデータは同じ配置先セット１５１となるように、これらフォルダ１５４〜１５６内に各コンテンツの対応するデータが登録格納される。配置先セット１５１に登録されたコンテンツ・データの配信は、閲覧クライアント２からの要求に応じてデータベース１５０を参照することにより行なわれる。

コンテンツ作成ツール１６０は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの形式のビデオ・データを配信用のストリーム形式のビデオ・データに変換する処理や、ビデオ・データにスライド画像データを対応付けて登録する処理、ビデオ・データに資料画像データを対応付けする処理、ビデオ・データに音声インデックス・データを対応付けする処理などを行なう。

このようにして、配信サーバ１に登録配置されたコンテンツ・データは、閲覧クライアント２からの要求に応じてデータベース１５０を参照することにより配信サーバ１から提供される。すなわち、閲覧クライアント２が配信サーバ１に対してコンテンツを指定する情報を含む要求を送信すると、配信サーバ１はコンテンツ・レコード１５２を参照して当該コンテンツ・データを配置した配置先セット番号を割り出し、該当するコンテンツを閲覧クライアント２へ提供する処理を行なう。

本実施形態では、複数のビデオ・データとビデオに関連する画像などの各メディア・コンテンツを、１つの集合データとしてシステムに蓄積し、時間的な共有のデータも蓄積することにより、閲覧者が同一の時間帯でのビデオ及び資料画面を見比べながら閲覧できるようにすることができる。

ここで、配置先セット１５１は物理的又は論理的な記憶領域であり、各配置先セット１５１を異なるデータ・サーバ装置に設けたり、あるいは単一又は複数のデータ・サーバ装置を論理的に横断した形で配置先セットを構成したりすることができる。例えば、図７に示すように、コンテンツ・レコードを管理するデータベース１５０をデータベース・サーバ１５０とし、各配置先セット１５１を複数のデータ・サーバ装置１５７〜１５９にそれぞれ分散し、これらサーバ装置によって配信サーバ１を構成することもできる。

図７に示したように複数のデータ・サーバ装置１５７〜１５９により配置先セット１５１を構成することにより、データ・サーバ装置１５７〜１５９を追加するとともにコンテンツ用レコード１５２を追加するだけで、コンテンツ・データの記憶領域を増設することができ、システム構成を柔軟なものとすることができる。なお、論理的な構成としても、各配置先セットの容量などを容易に変更することができ、同様にシステム構成を柔軟なものとすることができる。ビデオ・データの配信を行なうシステムではデータが大きいことから、システム構成を変更する必要性が頻繁に生ずるばかりではなく、コンテンツ・データへのアクセス負荷を分散するためにも各コンテンツの配置先を分散させる必要性が生ずる。

なお、配信サーバ１では、配信用に形式変換されたコンテンツ・データ（ビデオ・データ、画像データ、音声インデックス・データ）と、さらにコンテンツ検索用のメタデータとをまとめた配信検索用コンテンツの形式にしてから、配置登録が行なわれる。配信検索用コンテンツは、検索用のデータがコンテンツ本体に紐付けされた「アーカイブ・ファイル」であり、持ち運びが可能である。

アーカイブ・ファイルは、ビデオ・データなどのソース・コンテンツを、アーカイブ・ツールで加工することによって作成される。図８には、アーカイブ・ファイルの構成を模式的に示している。アーカイブ・ファイル１６５は、コンテンツ・データを構成するストリーム形式のビデオ・データ１６７、スライド画像又は資料画像の画像データ１６８、音声インデックス・データ１６９、メタデータで構成され、さらにメタデータを更新するアプレット用データ１７０が含まれている。

このように複数種類のデータ１６７〜１７０を含むコンテンツ・データを１つのアーカイブ・ファイル１６５にしておくことにより、配信サーバ１への登録配置処理に要する時間を短縮化することができ、また、このアーカイブ・ファイル１６５の持ち運び性が向上し、同一のコンテンツを登録する他のシステムへの再利用やバックアップ・データとしての利用に供することができる。

Ｃ．コンテンツ作成システム
次に、このような配信コンテンツを作成するためのシステムについて説明する。

本実施形態に係るコンテンツ作成システムは、複数のビデオ・カメラを用いてプレゼンテーションにおける進行状況を映像や音響などのビデオ・データとして捕捉し、これら複数のビデオ・データを１つの集合データとして扱うとともに、スライドなどのプレゼンテーション用の資料画像データや、プレゼンテーションの際（又はプレゼンテーションの再生の際）に行なわれたアノテーションなどの画像データをビデオ・データの時間軸と対応付けて記録・管理する。これら画像データが持つ時刻情報は、ライブのプレゼンテーションにおいてスライドが提示された時刻、スライドに対しアノテーションが入力された時刻、あるいはプレゼンテーションの再生時においてアノテーションが入力された時刻を表す。

なお、本明細書中では、会議、講演、授業、説明会などといったように、資料を聴衆に提示しながら発表を行なう行為を総称してプレゼンテーションと呼ぶことにする。

図９には、本実施形態に係るコンテンツ作成システムの機能構成を模式的に示している。

アーカーブ・ファイル２５に収められて配信サーバ１に登録されるコンテンツは、プレゼンテータＰがプロジェクタＪでスクリーンＳに資料画像３０を切換表示しながら行なったプレゼンテーションをビデオ・カメラＶで収録したビデオ・データ３１と、これら資料画像３０のデータ、さらにはプレゼンテーションの際に行なわれたアノテーション情報を含んでいる。なお、コンテンツには、資料画像３０に対して付加して表示する矢印やアニメーションなどの付加画像データ、並びにアノテーション情報を含めることもできる。また、プレゼンテータＰの操作用としてプレゼンテーション支援装置４０が当該プレゼンテータＰの手元に設置されている。

本実施形態では、複数のカメラ5１、Ｖ２…を用いて、プレゼンテーションの様子を同時に収録する。各ビデオ・カメラ5１、Ｖ２…から得られたビデオ・データは、後述するように所定の時間軸に対応付けられ、ビデオ時間関連情報とともに記録・管理される。後述するように、複数のビデオ・データとビデオに関連する画像などの各メディア・コンテンツを、１つの集合データとしてシステムに蓄積し、時間的な共有のデータも蓄積することにより、閲覧者が同一の時間帯でのビデオ及び資料画面を見比べながら閲覧できるようにすることができる。

また、プレゼンテーションで使用される複数の資料画像データ３０は、あらかじめファイル作成装置５０によって１つの資料ファイル６１にまとめられてファイル保持装置６０に保持されている。そして、プレゼンテータＰがプレゼンテーション支援装置４０から入力する切換指示に応じて、資料ファイル６１に収められている資料画像データ３０を予め設定された順序に従って読み出され、ビューア７０による表示制御処理を経てプロジェクタＪからスクリーンＳに投影表示される。

また、発言者が視聴者や聴衆に対し発言内容の理解を促すために、線描画などで構成されるアノテーションの入力が行なわれる。アノテーションの入力は、スクリーン上に投影されたスライドやその他の資料画像、会議室内に設置されているホワイトボード（図示しない）、発言者が取り扱っているＰＣのモニタ画面などに向かって行なうことができる。

収録されたビデオ・データ３１、当該プレゼンテーションで使用される資料画像データ３０（すなわち、資料ファイル６１）、当該プレゼンテーションでプレゼンテーション支援装置４０から出力される切換指示信号、並びに、発言者がアノテーション入力部１１０に対して入力したアノテーション入力信号は、対応付け装置８０に逐一入力され、実際のプレゼンテーションにおける使用タイミングで資料画像データ３０がビデオ・データ３１の時間軸に対応付けされる。

この対応付けされた資料ファイル６２、アノテーション情報は、各ビデオ・カメラ5１、Ｖ２…から得られた複数のビデオ・データ３１とともに、配信サーバ１に登録するコンテンツ素材としてデータ保持装置９０に保持され、これらコンテンツ素材が編集装置１００によって必要な編集を施されて、配信登録用のアーカイブ・ファイル２５にまとめられる。

本実施形態では、会議室内にアノテーション入力装置１０が設置されている。アノテーションの入力は、スクリーン上に投影されたスライドやその他の資料画像、会議室内に設置されているホワイトボード（図示しない）、発言者が取り扱っているＰＣのモニタ画面などに向かって行なうことができる。アノテーション入力装置１０は、発言者が視聴者や聴衆に対し発言内容の理解を促すために行なう線描画に関する情報を操作面から直接読み取ることができるＧＵＩ画面やデジタイザ、あるいは間接的に読み取ることができる任意の装置として構成することができる。

本実施形態では、アノテーションは、点を結ぶ線の集合として取り扱い、各点の座標（ｐｏｉｎｔ）、線の太さ、線の色などの属性情報（ａｔｔｒｉｂｕｔｅ）を、描画を完了した時刻ともに記録する。点の総数の制限、各点の距離を一定以上に制限したり、さらに矩形や楕円などは対角する２点の座標のみを記録したりし、点の数が増えることによって記録情報が増大することを防ぐことができる。

図１０には、資料画像ファイル６１の作成及び資料画像３０の表示に係るファイル作成装置５０、ファイル保持装置６０、ビューア７０の構成を示している。

ファイル作成装置５０は、資料画像データを入力する入力装置５１と、入力される際にオペレータにより指定された順序情報を各資料画像データに付加する順序付け装置５２、入力された資料画像データを資料ファイル６１にまとめるファイル化装置５３、資料ファイル６１をファイル保持装置６０に出力する出力装置５４を備えている。すなわち、ファイル作成装置５０は、入力装置５１が資料画像データを入力し、ファイル化装置５３が入力された複数の資料画像データを資料ファイル６１にまとめる処理を、下記のビューア７０による処理に先立って行なう。

資料画像データには、静止画像や動画像、さらにはデータ形式の制限は特になく、これら種別に関わりなく複数の資料画像データをファイル作成装置５０に入力して資料ファイル６１とすることができる。

図１１には、資料ファイルのデータ構造を模式的に示している。同図に示すように、資料ファイル６１に収められる各資料画像データ３０は、資料画像を成す実データに加えて、資料ＩＤ、種別情報、オペレータにより指定された順序情報（デフォルト）、オペレータにより付加されたタイトルや重要語などのキーワードなどのデータを含んでいる。

ここで、各資料画像に重ね表示する矢印などの付加画像データ３３も資料画像データ３０とともにファイル作成装置５０に入力されて、資料ファイルの一部又は付属とされる。付加画像データ３３とビデオ・データ３０とは、あらかじめ対応付けがなされており、この対応付けに基づいて、資料画像３０の表示に伴って付加画像３３が同期表示される。

ビューア７０は、ファイル保持装置６０から資料ファイル６１を入力する入力手段７１、プレゼンテーション支援装置４０からの表示資料画像の切換指示を入力する指示入力装置７２、切換指示に応じて資料ファイル６１から順次読み出す資料画像データ３０のデータ種別をその種別情報から判定する種別判定装置７３、資料画像データをプロジェクタＪが表示出力可能な統一的な形式に変換する各種のプレイヤ・モジュールを保持したプレイヤ・ファイル７４、資料ファイル６１から読み出した資料画像データ３０をそのデータ種別に対応したプレイヤ・モジュールを起動してプロジェクタＪが表示出力可能な形式に変換する出力制御装置７５、投影用に形式変換された資料画像データ３０をプロジェクタＪに出力する出力装置７６を備えている。

このビューア７０は、指示入力装置７２が表示資料を切り換えるオペレータ指示を受け付け、種別判定装置７３が切換指示に応じて複数種類の資料画像データ３０を収めた資料ファイル６１から次に読み出して表示する資料画像データの種別を判定し、出力制御装置７５がデータ種別に応じて用意されたプレイヤ・ファイル７４から判定された種別に対応するプレイヤを選択起動して資料画像データ３０をプロジェクタＪに出力する処理を行なう。

上記の切換指示に応じた資料ファイル６１からの資料画像データ３０の読み出し（すなわち、スクリーンＳへの資料の表示）は、各資料画像データ３０に初期的に設定されている順序情報（デフォルト）に従ってなされる。したがって、プレゼンテータが切換指示をするタイミングで、順序情報（デフォルト）に従った順序で資料ファイル６１内に収められた資料画像が順次切り換えられてスクリーンＳに表示される。そして、このような資料画像データ３０は、そのデータ形式に関わりなく資料ファイル６１に収めれば、プレゼンテーション資料として使用することができ、資料の準備作業を極めて容易に行なうことができる。

なお、ファイル作成装置５０、ファイル保持装置６０、ビューア７０はそれぞれ別個の装置として構成しても、これら装置機能を一体化した単一の装置として構成してもよく、いずれの装置構成においても、例えば、コンピュータに上記機能を実現するプログラムを実行させることにより構成することができる。

図１２には、プレゼンテータＰが操作するプレゼンテーション支援装置４０の構成を示している。

プレゼンテーション支援装置４０は、ファイル保持装置６０に保持された資料ファイル６１をビューア７０を介して入力する資料ファイル入力装置４１、資料ファイル６１中の各資料画像データ３０を縮小してサムネイル画像化するサムネイル化装置４２、資料ファイル６１中のスクリーンＳで聴衆に対して表示出力される資料画像を表示する領域４４と残余の資料画像をサムネイル一覧で表示する領域４５とを画面上に有する表示装置４３、プレゼンテータＰからの操作入力を受け付ける操作入力装置４６、プレゼンテータＰから入力された検索条件に合致する資料画像をサムネイル一覧４５から検索する検索装置４７を備えている。

ビューア７０は、資料ファイル６１に収められているすべての資料画像データをプロジェクタ表示可能に変換してプレゼンテーション支援装置４０に提供する。

図１３には、プレゼンテーション支援装置４０がプレゼンテータＰに提示する画面構成例を示している。表示装置４３は、順序情報（デフォルト）に従ってスクリーン表示される最初の資料画像を画面４３の領域４４に表示してプレゼンテータＰに提示し、残余の資料画像をサムネイル画像として領域４５に一覧表示する。

そして、画面４３上にはスクリーン表示する資料画像を前へ戻すための「戻る」ボタン４８ａとスクリーン表示する資料画像を次の順序のものに切り換えるための「進む」ボタン４８ｂとが設けられており、プレゼンテータＰが操作入力手段４６からこれらボタンを押下することにより、スクリーン表示する資料画像を順次切り換えることができる。

なお、領域４５に一覧表示される資料画像はサムネイル形式であるので、これらサムネイル画像をプレゼンテータＰが操作入力装置４６から選択押下することにより切換信号を発して、選択した資料画像をスクリーン表示させることもできる。

このようなプレゼンテータＰによる操作により、上記の資料画像の切換指示信号がビューア７０に入力されてスクリーン表示が切り換えられ、また、対応付け装置８０に入力され、ビデオ・データ３１と各資料画像データとの時間位置関係の対応付け、及び各資料画像データの順序情報の更新がなされる。

また、画面４３上には検索条件を入力するための欄４９ａと検索処理を実行指示するための「検索」ボタン４９ｂとが設けられており、プレゼンテータＰが操作入力手段４６から欄４９ａに検索条件を入力しボタン４９ｂを押下することにより、検索装置４７がサムネイル一覧４５の中から条件に合致する資料画像を検索し、当該資料画像のサムネイルをハイライト表示するあるいは当該資料画像を領域４４に表示することができる。

この検索条件には、各資料画像データに設定されている順序情報、データ種別、キーワードなどを用いることができ、例えば、何番目に用いた資料画像、動画の資料画像、あるタイトルの資料画像といったように、検索装置４７により資料ファイル６１内から条件に合致する資料画像を検索することができる。

プレゼンテーション支援装置４０は、例えば、一般的なコンピュータ・システムに所定のプレゼンテーション支援用アプリケーション・プログラムを実行させるという形態で構成することができる。プレゼンテーション支援装置４０によると、プレゼンテータＰは必要に応じて切換指示を入力するだけでスクリーン表示する資料画像を任意に切り換えることができるとともに、事後における聴衆からの質問等に応じて必要な資料画像を探す際でも、検索処理によって迅速に所望の資料画像を探し出すことができる。

図１４には、アノテーション入力装置１０の構成例を示している。アノテーションは、発言者が視聴者や聴衆に対し発言内容の理解を促すために行なう線描画などで構成される。アノテーションの入力形態として幾つか考えられ、例えば、スクリーン上に投影されたスライドやその他の資料画像、会議室内に設置されているホワイトボード、発言者が取り扱っているＰＣのモニタ画面などに向かって行なう。したがって、アノテーション入力装置１０は、このような線描画に関する情報を操作面から直接読み取ることができるＧＵＩ画面やデジタイザ、あるいは間接的に読み取ることができる任意の装置として構成することができる。

図１４に示す例では、アノテーション入力装置１０は、プレゼンテーションの映像を記録するとともに、ドキュメントを閲覧することができるＰＣのブラウザ画面を利用して構成されている。すなわち、アノテーション入力装置１０は、アノテーション記録・再生用コントローラ１１と、スライドなどの資料画像データやプレゼンテーション用ドキュメントを表示するドキュメント表示部１２と、プレゼンテーションの様子やＰＣ上で管理されている一般的な情報資源を閲覧するブラウザ１３で構成されている。

アノテーションの記録時には、例えば、プレゼンテーションの進行に合わせて、表示されるドキュメント上でマウス操作を行なうことにより、アノテーションを描画する。この描画動作は、点の結ぶ線の集合としてサンプリングされ、各点の座標と、点毎の入力時刻、点同士を結ぶ線の太さや色などの属性情報がアノテーション情報として、ブラウザを経由して対応付け装置８０へ送信される。そして、対応付け装置８０では、ライブのプレゼンテーションにおいて利用されるスライドなどの資料画像データの切り替わり情報とともに、アノテーション情報がプレゼンテーションを記録するビデオ・データの時間軸に対応付けてデータ保持装置９０（データ・サーバ）上で記録・管理される。

入力されたアノテーション情報は、ライブのプレゼンテーションにおいて利用されるスライドなどの資料画像データなどと同様に、プレゼンテーションを記録するビデオ・データの時間軸に対応付けて、データ・サーバ上で記録・管理される。

一方、記録されたアノテーション情報を再生するときには、まず、配信サーバ１に対し、プレゼンテーションを記録するビデオ・データへのアクセス要求が行なわれる。配信サーバ１は、アクセス要求に応答して、動画像やスライドなどの資料画像データ・ドキュメントを同期配信するとともに、アノテーション情報も配信する。配信サーバ１上では、プレゼンテーションを記録するビデオ・データへのアクセス要求がなされたときに、その時間軸に対応付けてアノテーション情報が配信される。すなわち、配信サーバ１にアクセスした視聴者は、プレゼンテーションを再生する動画像や、スライドなどのドキュメントとともに、ドキュメント上に再現されるアノテーションを見ることができる。

ビデオ・データはブラウザ１３上で表示される。また、スライドなどの資料画像データ、プレゼンテーション用ドキュメントは、ドキュメント表示部１２で表示される。そして、アノテーション情報は、ブラウザ１３から、アノテーション記録・再生用コントローラ１１に渡される。そして、アノテーション記録・再生用コントローラ１１では、アノテーション情報に含まれる点同士を属性情報に従って結線処理して描画し、アノテーションを再現する。

なお、アノテーションの再生時において、アノテーションを記録する時刻が、アノテーションの描画が終了した時刻であることを操作者が認識できるようにするため、アノテーションの描画中（マウスのドラッグ中など）は線を半透明で描画し、描画の完了（マウスのボタンを離す）時に線を不透明な色で再描画する。

図１５には、複数のビデオ・カメラＶ１、Ｖ２…で収録されたプレゼンテーションのビデオ・データ３１−１、３１−２…と、そこで使用された資料画像データ３０と、プレゼンテーションの進行に合わせて入力されたアノテーション情報とを対応付ける対応付け装置８０の機能構成を示している。

対応付け装置８０は、収録されたビデオ・データを入力するビデオ入力手段８１、プレゼンテーションで使用される資料画像データ（資料ファイル６１）を入力する資料ファイル入力手段８２、プレゼンテーションにおいてプレゼンテータＰが行なった資料画像の切換指示を入力する切換指示入力手段８３、ビデオ・データを基準とした時間軸に対して資料画像データやアノテーション情報の対応付けを行なう対応付け手段８５、対応付け処理により更新した資料ファイル、アノテーション情報、並びに、ビデオ・データを、データを保持するデータ・サーバに出力する出力手段８６を備えている。

対応付け装置８５は、ビデオ・カメラＶ１による撮影時間を基準とした時間軸に対して、各ビデオ・カメラ５１、Ｖ２…から得られたビデオ・データを管理するためのビデオ時間データ・テーブル（後述）を作成する。ビデオ時間データ・テーブルは、ビデオ・データを識別するビデオ・データ識別ＩＤと、撮影開始時間を含んでいる。

また、対応付け装置８５は、ビデオ・カメラＶ１による撮影時間を基準とした時間軸に対して、切換指示の入力タイミングを当該切り換えられる資料画像データの表示開始タイミングとして設定する。

また、対応付け装置８５は、ビデオ・データを基準とした時間軸に対して、マウス操作などによりアノテーションを記録する時刻を、アノテーションの描画開始タイミングとして設定する。

図１６には、対応付け装置８５によってビデオ・データを基準とした時間軸に対し、資料画像データの表示開始タイミングやアノテーションの描画開始タイミングが設定すなわち対応付けられている様子を示している。

図示の例では、ビデオ・カメラから入力されるビデオ・データ、ファイル保持装置６０から入力される資料画像データ、並びにアノテーション入力装置１０から入力されるアノテーション情報は、それぞれデータを識別するビデオＩＤ、資料画像ＩＤ（スライドＩＤ）、並びにアノテーションＩＤが既に割り振られた状態で対応付け手段８５に入力されるものとする。勿論、対応付け装置８５において、これらのデータに固有のＩＤを割り振るようにしてもよい。

ビデオ・カメラから入力されるビデオ・データは、データ・エンティティとともに、撮影開始時刻とデータ・サイズが付加されている。データ・サイズから撮影時間が算出されることから、撮影終了時刻を特定することができ、これが対応付けの基準となるビデオ・データの時間軸を構成する。

本実施形態では、会議室内には複数のビデオ・カメラＶ１、Ｖ２…が設置されており、それぞれから得られたビデオ・データは、撮影時刻などで表わされる同じ時間軸上で対応付けられ、図１６では１本のコンテンツとして描かれているビデオ・データは実際には複数のビデオ・データをまとめた１つの集合データとして構成されている。各ビデオ・カメラ5１、Ｖ２…による撮影開始時刻や撮影終了時刻は区々であり、例えばビデオ・カメラＶ１による撮影時間を基準の時間軸とする。

対応付け装置８５は、各ビデオ・カメラ5１、Ｖ２…から得られたビデオ・データに対し、ビデオ時間データ・テーブルを作成する。図１７には、ビデオ時間データ・テーブルの構成例を示している。ビデオ時間データ・テーブルは、ビデオ・データを識別するビデオ・データ識別ＩＤと、撮影開始時間を含んでいる。撮影終了時刻若しくはビデオ再生時間は、ビデオ・データのデータ・サイズから算出することができる。

これら複数のビデオ・データは、単一の時間軸上で、１つの集合データとして表される。図１８には、複数のビデオ・データを１つの集合データとして構成した様子を模式的に示している。図１６では１本のコンテンツとして描かれているビデオ・データは、実際には図１８に示すように複数のビデオ・データで構成されることを十分理解されたい。各ビデオ・カメラ5１、Ｖ２…による撮影開始時刻や撮影終了時刻は区々であるが、図示のように集合データとして構成することにより、単一のビデオ・データとして取り扱うことを可能にしている。

ビデオ・プレイヤ１３５側では、複数のビデオ・ストリームのうちユーザが選択したビデオ・ストリームがアクティブ・ストリームとしてビデオ画面１３３上で再生される。例えば、ビデオ・データ１〜４がビデオ時間データ・テーブルに登録されていた場合、コンテンツ再生時には、再生時間ｔでビデオ・データ１に切り替えた場合は、ビデオ・データ１の開始時間からｔ１の位置の再生画面が表示される。その後、ビデオ・データ２に切り替えた場合は、ビデオ・データ２の開始時間からｔ２の位置の再生画面が表示される。また、ビデオ・プレイヤ１３５では、ビデオ画面１３３上でのビデオ（アクティブ・ストリーム）の進行に同期して再生時刻に対応した代表画像に切り替える。そして、ユーザは、代表画像を選択することにより、アクティブ・ストリームを切り替えることができる。

スライドやドキュメントなどの各資料画像データの表示順序や表示開始タイミングは、プレゼンテーションの前にあらかじめ取り決めておいたものでもよいが、本実施形態では、ライブのプレゼンテーションにおいて各資料画像データを表示する際に入力された切換指示の入力タイミングを基に、資料画像データの表示開始タイミングが与えられる。配信サーバのデータベースでは、各資料画像データのコンテンツ用レコードは、資料画像データを識別するＩＤと、ビデオ・データの時間軸上の配置場所すなわち表示開始タイミングと、資料画像の実データの保管場所を表すＵＲＬの組を記載している。

プレゼンテーションで使用する複数の資料画像データはあらかじめ使用する順序情報（デフォルト）が付与されて、原則的には、当該順序情報に従った順でスクリーン表示されて使用されるが、実際のプレゼンテーションでは、プレゼンテータの操作によってスクリーン表示する資料画像の順序が変更されたり、ある資料画像を繰り返しスクリーン表示したりすることがなされるため、これをコンテンツ・データで再現できるようにするために、対応付け装置８５は、入力された切換指示に応じて実際に使用された順序に従って各資料画像データの順序情報（デフォルト）を順序情報（リアル）更新する。プレゼンテーション支援装置４０から入力される切換指示には資料ＩＤが含まれており、対応付け装置８５はどの資料画像データが何時（タイミング）切り換えられたかを把握して対応付け処理を行なう。

プレゼンテーションで実際に使用される前の各資料画像データは図１１に示すようにビデオ・データ３１との時間タイミングの対応付けがなされていないが、対応付け装置８５は、切換指示の入力タイミングに基づいて、各画像データに対してその使用を開始タイミング（ビデオ・データの時間軸における時刻）を付加する時間位置の対応付けを行なう。

アノテーション情報は、アノテーション入力装置１０上でアノテーションの入力が開始された時刻を基に、その描画開始タイミングが与えられる。配信サーバ１のデータベースでは、各アノテーション情報のコンテンツ用レコードは、アノテーション情報を識別するＩＤと、ビデオ・データの時間軸上の配置場所すなわち描画開始タイミングと、アノテーション情報の実データの保管場所を示すＵＲＬの組を記載している。アノテーション情報の実データは、描画内容をそのまま捕捉した画像データでもよいが、本実施形態では、各点の座標、点毎の入力時刻、点同士を結ぶ線の太さや線の色などの属性情報で構成されている。

図１９には、ビデオ・データの時間軸の対応付けを行なった後の資料ファイルのデータ構成例を示している。スクリーンＳにいずれかの資料画像が常時表示されるというプレゼンテーションの形態では、各資料画像の開始タイミングを規定するだけで、ビデオ・データ３１に対する各資料画像データの時間位置が特定される。勿論、開始タイミングと終了タイミングとの組、あるいは、開始タイミングと使用時間幅との組みといったような形式で時間位置対応を付けるようにしてもよい。

対応付け装置８０によると、ビデオ入力装置８１が収録したビデオ・データ３１を入力し、資料ファイル入力装置８２がプレゼンテーションで使用される資料画像データ３０を入力し、切換指示入力装置８３がプレゼンテーションにおいてプレゼンテータＰが行なった資料画像の切換指示を入力し、対応付け装置８５が、これら入力に基づいて、ビデオ・データ３１を基準とした時間軸に対して、切換指示の入力タイミングを当該切り換えられる資料画像データの表示開始タイミングとして設定する対応付け処理を行ない、さらには、入力された切換指示に応じて実際に使用された順序に従って各資料画像データの順序情報を更新する処理を行なう。

また、対応付け装置８０によると、アノテーション入力に基づいて、ビデオ・データ３１を基準とした時間軸に対して、アノテーション情報の描画開始タイミングを設定する対応付け処理を行なう。そして、この対応付け及び更新処理を施した資料ファイル、アノテーション情報、及びビデオ・データ３１をデータ保持装置９０に出力する処理がなされる。

このような対応付け装置８０による処理によって、プレゼンテーションを収録したビデオ・データ３１と、ライブのプレゼンテーションで使用された資料画像データ、並びに資料画像データやその他の対象物に対して印加されたアノテーションが、実際のプレゼンテーションを再現する対応関係で関連付けられ、これらがアーカイブ・ファイル２５にまとめられて配信サーバ１に登録されることとなる。したがって、配信サーバ１から配信されたコンテンツを閲覧する閲覧クライアント２では、その画面上にプレゼンテーションの光景とそこで使用された資料とが、実際のプレゼンテーションを再現した状態で表示出力される。

なお、対応付け装置８０と、データを保持するデータ・サーバと、データを編集する編集装置１００はそれぞれ別個の装置として構成しても、これら装置機能を一体化した単一の装置として構成してもよい。これらのうちいずれの装置構成においても、例えば、コンピュータに必要な処理機能を実現するプログラムを実行させることにより構成することができる。また、一体構成する場合は、更にプレゼンテーション支援装置４０、ファイル作成装置５０、ファイル保持装置６０、ビューア７０をも含めた構成とすることもできる。

図２０には、上記のようにしてコンテンツとしてアーカイブ・ファイル２５にまとめられるビデオ・データ３１、資料画像データ３０、付加画像データ３３、アノテーション情報３４のデータ構造を模式的に示している。

ビデオ・データ３１は、図２０（ａ）に示すように、ビデオ映像を成す実データの他に、自己のビデオＩＤ、ビデオの総時間情報（データ・サイズ）を含んでいる。

但し、図９に示したように複数のビデオ・カメラＶ１、Ｖ２…を設置したようなシステムにおいては、ビデオ・データ３１は、各ビデオ・カメラから得られた複数のビデオ・データとして構成され、同じ時間軸上で対応付けて１つの集合データとして構成される。この場合、ビデオ・データ３１は、図２０（ａ）に代えて、図１７に示したビデオ時間情報データ・テーブルを用いて管理され、実データは複数のビデオ・データが時間軸上に並列的に配置されて構成される。

資料画像データ３０は、図２０（ｂ）に示すように、資料画像を成す実データの他に、自己の資料ＩＤ、対応付けられたビデオ・データのビデオＩＤ、自己の表示開始タイミング、自己のデータ形式種別、実際の使用順序である順序情報（リアル）、検索に用いられるキーワードなどを含んでいる。

付加画像データ３３は、図２０（ｃ）に示すように、矢印画像やアニメーション画像等の付加画像を成す実データの他に、自己の付加画像ＩＤ、対応付けられた資料画像データの資料ＩＤ、自己の表示開始タイミングなどを含んでいる。

アノテーション情報データ３４は、図２０（ｄ）に示すように、アノテーションを成す実データの他に、自己のアノテーションＩＤ、対応付けられたビデオ・データのビデオＩＤ、自己の表示開始タイミングなどを含んでいる。アノテーションの実データは、描画内容をそのまま捕捉した画像データでもよいが、本実施形態では、各点の座標、点毎の入力時刻、点同士を結ぶ線の太さや線の色などの属性情報で構成されている。

これら、ビデオ・データ３１、資料画像データ３０、付加画像データ３３、アノテーション情報３４などの会議を記録する情報コンテンツはデータ・サーバ上の各配置先セット１５１…に格納される。また、これらコンテンツを管理するための管理用レコードは、ビデオＩＤ、資料ＩＤ、付加画像ＩＤ、アノテーションＩＤなどの識別情報と、データ・サーバ上の配置場所（ＵＲＬなどで記述される）との組み合わせで構成され、データベース１５０内のコンテンツ用レコードに保管される。資料画像データ３０、付加画像データ３３、アノテーション情報３４は、ビデオ・データの時間軸と対応付けて管理するため、これらのコンテンツ用レコードは、対応するビデオ・データのビデオＩＤ並びにその時間軸上での表示開始タイミングなどの時刻情報を含んでいる。

図２１には、資料画像データ３０、付加画像データ３３、並びにアノテーション情報データ３４が、ビデオ・データ３１が持つ時間軸上に関連付けられている一例を示している。

ビデオ・データ３１は時間幅Ｔの連続した動画像データである。但し、図９に示したように複数のビデオ・カメラＶ１、Ｖ２…を設置したようなシステムにおいては、ビデオ・データ３１は、複数のビデオ・データが時間軸上に並列的に配置されて構成されている（図１８を参照のこと）。

このようなビデオ・データ３１の時間軸に対して、時刻ＴＡを開始タイミングとした資料画像Ａ、時刻ＴＢを開始タイミングとした資料画像Ｂ、時刻ＴＣを開始タイミングとした資料画像Ｃ、時刻ＴＤを開始タイミングとした資料画像Ｄが対応付けられている。

また、各資料画像３０に対応して、時刻Ｔａを開始タイミングとした矢印画像ａ、時刻Ｔｂを開始タイミングとしたアニメーション画像ｂ、時刻Ｔｃを開始タイミングとした矢印画像ｃ、時刻Ｔｄを開始タイミングとした矢印画像ｄが対応付けられている。

また、このビデオ・データ３１の時間軸に対して、時刻ＴＩを開始タイミングとしたアノテーション情報Ｉ、時刻ＴＪを開始タイミングとしたアノテーション情報Ｊ、時刻ＴＫを開始タイミングとしたアノテーション情報ＴＫが対応付けられている。

資料画像３０は開始タイミングから次の資料画像の開始タイミングまでスクリーン表示されているため、同図では資料画像データ３０をある時間幅を持ったデータのように表現されているが、これら表示間隔を示しているだけで、動画像でない静止画像の資料画像データはそれ自体で時間幅を有している訳ではない。

また、付加画像３３についても同様であり、同図では表示間隔を示しているだけで、動画像でない静止画像の付加画像データはそれ自体で時間幅を有している訳ではない。

これに対し、アノテーション情報３４は、各点の座標と、点同士を結ぶ線の太さや色などの属性情報が点毎の入力時刻とともに記録されているので、１つのアノテーション情報を構成する線分毎に時間の幅を有することができる。したがって、再生時（若しくはコンテンツの配信時）には、ビデオ・データ３１の時間軸に対応付けて、各線分の情報を再生若しくは配信することで、プレゼンテーションを再生する動画像や、スライドなどのドキュメントとともに、ドキュメント上に再現されるアノテーションを見ることができる。

Ｄ．コンテンツの再生
上述したように、配信サーバ上に登録配置されたコンテンツ・データは、閲覧クライアント２からの要求に応じてデータベース１５０を参照することにより配信サーバ１から提供される。

すなわち、閲覧クライアント２が配信サーバ１に対してコンテンツを指定する情報を含む要求を送信すると、配信サーバ１はコンテンツ・レコード５２を参照して当該コンテンツ・データを配置した配置先セット番号を割り出し、当該配置先セット番号からセット・レコード６２を参照して該当するビデオ・データやその画像データのＵＲＬを割り出し、閲覧クライアント２へ提供する。閲覧クライアント２では配信サーバ１から提供されたＵＲＬに基づいてコンテンツ・データ・ファイルにアクセスし、該当するビデオ・データや画像データ、並びにアノテーション情報を取得して画面に表示出力する。

次に、上記したように閲覧クライアント２がビデオ・データの再生に同期して、配信サーバ１から該当する静止画像データ（資料画像データ）、並びにアノテーション情報を取得して同期再生する処理を詳しく説明する。

この同期再生処理は、図２２に示すように配信サーバ１と閲覧クライアント２とが協働的に動作して、図２３に示す手順で実行される。

まず、上記のように閲覧クライアント２が配信サーバ１に接続し、所望のコンテンツを要求すると（ステップＴ１）、配信サーバ１が該当するビデオ・データとともに、当該ビデオ・データに同期して対応付けられた資料画像データ並びにアノテーション情報を配信サーバ１から取得するためのプログラムを閲覧クライアント２に提供する（ステップＴ２）。

閲覧クライアント２では、提供されたビデオ・データをビデオ・プレイヤ１３５により再生して画面表示し、これとともに提供されたプログラムを実行する画像同期機能３９が起動し、再生されているビデオ・データの再生時間位置を取得して表示すべき静止画像データを特定する（ステップＴ３）。

そして、閲覧クライアント２が配信サーバ１に対して必要な静止画像データを要求し（ステップＴ４）、配信サーバ１が要求された画像データを閲覧クライアント２へ提供する（ステップＴ６）。この提供された画像データは即座に再生されて画像表示部１３７に表示出力される。このステップＴ３〜Ｔ６の処理はビデオ・データの再生中は繰り返し行なわれ、再生されているビデオ・データの再生時間位置に対応した資料画像データ並びにアノテーション情報が図３に示したように同一画面上で同期して切換え表示される。

ここで、ビデオ・データ３１は、複数のビデオ・データが時間軸上に並列的に配置されて構成される場合（図１８を参照のこと）、閲覧クライアントは、ビデオ・データの切り替えを要求することができる（ステップＴ７）。配信サーバ側では、ビデオ・データの切替要求に応答して、該当するビデオ・データをデータベースから取り出し（ステップＴ８）、これを要求元の閲覧クライアントへ返送する（ステップＴ９）。例えば、再生時間ｔでビデオ・データ１に切り替えた場合は、閲覧クライアントでは、ビデオ・データ１の開始時間からｔ１の位置の再生画面が表示される。その後、ビデオ・データ２に切り替えた場合は、ビデオ・データ２の開始時間からｔ２の位置の再生画面が表示される。

より具体的には、図２４に閲覧クライアント２のＷｅｂブラウザで画面表示されるＷｅｂページを示すように、このＷｅｂページには図３に示したようにビデオ・プレイヤ１３５が埋め込まれているが、配信サーバ１から提供された上記プログラムも埋め込まれる。このプログラムはプログラム・コード７０と複数の同期コマンド・データ７１を含んでいる。

プログラム・コード７０は、再生しているビデオ・データの再生時間位置情報を取得する動画再生位置取得プログラム、同期コマンド・データ７１をチェックする同期コマンド・データ・チェック・プログラム、同期コマンド・データ７１に対応するコマンドを実行する同期コマンド実行プログラムを含んでいる。

同期コマンド・データ７１は、コマンド実行時刻としてのビデオ・データ再生時間情報と、実行するコマンド情報を含んでいる。すなわち、同期コマンド・データ７１は、ビデオ・データに対応付けられている複数の資料画像データ並びにアノテーション情報のそれぞれについて同期コマンド・データ７１が存在し、当該静止画像データのビデオ・データに対する対応付け位置を示す再生時間位置情報と、当該再生時間位置で所定の代表画像データ、資料画像データ、アノテーション情報を配信サーバ１に要求するコマンドを含んでいる。

したがって、ビデオ・プレイヤ１３５によるビデオ・データの再生と同期してプログラム・コード７０が実行され、動画再生位置取得プログラムが再生されているビデオ・データの再生時間位置を取得し、同期コマンド・データ・チェック・プログラムが同期コマンド・データ７１に取得した再生時間位置に該当するものが存在するかを判定し、存在する場合にはコマンド実行プログラムが当該同期コマンド・データのコマンドを実行して、該当する代表画像データ、資料画像データ並びにアノテーション情報を配信サーバ１に要求するという処理が、ビデオ・データの再生を実行している間に繰り返し行なわれる。

上述したように、配信サーバ１は、同じ時間軸を共有する複数のビデオ・ストリームを１つの集合データとして取り扱う。また、配信サーバ１側では、各ビデオ・ストリームをそれぞれインデキシングして代表画像を作成しており、アクティブ・ストリームとして選択されたビデオ・ストリームをストリーミング配信する一方、その他のビデオ・ストリームの代表画像を配信する。

これに対し、閲覧クライアント側では、複数のビデオ・ストリームのうちユーザが選択したビデオ・ストリームがアクティブ・ストリームとしてビデオ・プレイヤ１３５のビデオ画面１３３上で再生される。また、閲覧クライアント側では、ビデオ画面１３３上でのビデオ（アクティブ・ストリーム）の進行に同期して再生時刻に対応した代表画像に切り替わる。そして、ユーザは、代表画像を選択することにより、アクティブ・ストリームを切り替えることができる。

図２５には、配信サーバ１から閲覧クライアント２へビデオ・ストリームを配信している様子を模式的に示している。

図示の例では、配信サーバ１は、同じ時間軸を共有する４本のビデオ・ストリームＡ〜Ｄを１つの集合データとするコンテンツを提供している。これらのビデオ・ストリームＡ〜Ｄは、例えば図９に示したように同じ会議室内に設置された４台のビデオ・カメラを用い、同じプレゼンテーションを撮影することにより得られたものである。そして、配信サーバ１は、これら複数のビデオ・ストリームＡ〜Ｄのうち、ユーザが選択したビデオ・ストリームをアクティブ・ストリームとして配信する。図示の例では、ビデオ・ストリームＣがアクティブ・ストリームとして選択されている。

また、配信サーバ１は、各ビデオ・ストリームＡ〜Ｄをそれぞれインデキシングして代表画像を作成し、アクティブ・ストリーム以外のビデオ・ストリームについてはビデオの再生位置に同期してそれぞれの代表画像を表現することができる。図示の例では、アクティブ・ストリーム以外のビデオ・ストリームＡ、Ｂ、Ｄについては代表画像が表示される。

閲覧クライアント２側では、ビデオ・プレイヤ１３５が、アクティブ・ストリームをビデオ画面１３３で表示するとともに、その再生位置に対応する各ビデオ・ストリームＡ〜Ｂの代表画像を並行して表示する（図２６を参照のこと）。また、各ビデオ・ストリームＡ〜Ｂの代表画像は、ビデオ画面１３３上でのビデオの進行に同期して再生時刻に対応した代表画像に切り替わっていく。そして、ユーザは、代表画像を選択することにより、アクティブ・ストリームを切り替えることができる。

このように、同じ時間軸を共有する複数のビデオ・ストリームからなる集合データを要求する際、実際にはアクティブ・ストリームを選択できることにより、閲覧クライアント２は１本のビデオ・ストリームとして受信することができるので、通信帯域や通信負荷を低減することができる。また、ビデオと同期して複数の代表画像が切り替わるので、ユーザの取得情報が増大し、アクティブ・ストリーム選択のよい動機付けとなる。また、ユーザは、各ビデオ・ストリームの代表画像を同期して閲覧することができるので、アクティブ・ストリームに限定して受信することに伴う情報の欠落を補うことができるとともに、代表画像を基に好みの視点を確認しながらビデオを視聴することができるので、ビデオ再生時の臨場感が向上する。

図２７には、各ビデオ・ストリームＡ〜Ｄをそれぞれインデキシングして得られた代表画像の表示時間を示している。図示の例では、ビデオ・ストリームＡからは代表画像ａ１〜ａ５が抽出され、ビデオ記録・再生の時間軸上において各代表画像ａ_iは後続の代表画像ａ_i+1が出現するまでの時間帯において当該ビデオ・ストリームＡの代表画像を表現する。また、ビデオ・ストリームＢからは代表画像ｂ１〜ｂ４が抽出され、ビデオ記録・再生の時間軸上において各代表画像ｂ_iは後続の代表画像ｂ_i+1が出現するまでの時間帯において当該ビデオ・ストリームＢの代表画像を表現する。また、ビデオ・ストリームＣからは代表画像ｃ１〜ｃ４が抽出され、ビデオ記録・再生の時間軸上において各代表画像ｃ_iは後続の代表画像ｃ_i+1が出現するまでの時間帯において当該ビデオ・ストリームＣの代表画像を表現する。また、ビデオ・ストリームＤからは代表画像ｄ１〜ｄ５が抽出され、ビデオ記録・再生の時間軸上において各代表画像ｄ_iは後続の代表画像ｄ_i+1が出現するまでの時間帯において当該ビデオ・ストリームＤの代表画像を表現する。

例えば、ビデオ・ストリームＡ〜Ｄの共通の時間軸上で、時刻ｔ１では、同期する代表画像ａ２、ｂ２、ｃ２、ｄ１がビデオ・プレイヤ１３５上に表示され、ユーザはさまざまな視点からの代表画像を見て、好ましいビデオ・ストリームが何であるかを判断することができる。そして、ユーザは、代表画像を選択することにより、アクティブ・ストリームを切り替えることができる。同様に、時刻ｔ２では、同期する代表画像ａ４、ｂ３、ｃ３、ｄ４がビデオ・プレイヤ１３５上に表示される。

図２８には、代表画像の操作によりアクティブ・ストリームを選択する動作手順を図解している。同図に示す例では、同じ時間軸を共有する４本のビデオ・ストリームＡ〜Ｄが存在している。そして、代表画像は各々のビデオ・ストリームをインデキシングして作成された各ビデオ中の代表画像を表現している。

このような場合、時間軸上をマウスで操作することにより、該当する時刻に対応する代表画像が代表画像表示部にそれぞれ表示される。図示の例では、時刻１８：１０に対応する各ビデオ・ストリームの代表画像が表示されている。そして、各代表画像を選択することにより、選択されたビデオ・ストリームを該当する時間から受信することができる。このように、同一時間軸上に複数の代表画像表示部を配置することにより、コンテンツの内容を短時間で多角的に評価することが可能となる。

図２９には、配信サーバから閲覧クライアントへアクティブ・ストリームを配信するとともに、アクティブ・ストリームの進行に同期して再生時刻に対応した代表画像を配信するための動作手順を示している。

但し、図示の例では、説明の便宜上、配信サーバはビデオ・ストリームを配信するストリーム配信サーバと各ビデオ・ストリームについての代表画像を配信するイメージ配信サーバに分離して恒例されるが、勿論これらを１台のサーバ装置として構成することは可能である。

以下、同じ時間軸を持つ４本のビデオ・ストリームＡ〜Ｄから構成されるコンテンツをビデオ・ストリームＡ→ビデオ・ストリームＢ→ビデオ・ストリームＣの順に切り替えながら視聴する場合を例にとって説明する。

閲覧クライアント（ブラウザ）側からビデオ・ストリームＡの配信を要求すると、ストリーム配信サーバからビデオ・ストリームＡがストリーム配信される。要求元ブラウザ側では、ビデオ・プレイヤ１３５のビデオ表示画面１３３上で、受信されたビデオ・ストリームＡが表示される。

そして、ブラウザは、ビデオ・ストリームＡの再生時間軸上での現在の時刻すなわち再生位置を取得すると、当該時刻に対応する各ビデオ・ストリームＡ〜Ｄの代表画像をイメージ配信サーバに要求し、イメージ配信サーバは各ビデオ・ストリームＡ〜Ｄの該当する代表画像を返信する。そして、要求元ブラウザ側では、ビデオ・プレイヤ１３５上でこれら各代表画像が並列表示される。代表画像の取得処理は、ビデオ・ストリームの表示中は定期的に繰り返され、この結果、ビデオ・ストリームの再生位置と同期して代表画像の表示が更新されていく。ユーザは、ビデオ・ストリームＡの現在の再生位置における各視点における代表画像を同期して確認することができる。

そして、ユーザは、所望の代表画像を選択することで、ビデオ・ストリームの切り替えを要求することができる。ここでは、ビデオ・ストリームＢの代表画像が選択されたとする。これに応答して、閲覧クライアント（ブラウザ）側からビデオ・ストリームＢの配信を要求すると、ストリーム配信サーバからビデオ・ストリームＢがストリーム配信される。要求元ブラウザ側では、ビデオ・プレイヤ１３５のビデオ表示画面１３３上で、受信されたビデオ・ストリームＢが表示される。

そして、ブラウザは、ビデオ・ストリームＢの再生時間軸上での現在の時刻すなわち再生位置を取得すると、当該時刻に対応する各ビデオ・ストリームＡ〜Ｄの代表画像をイメージ配信サーバに要求し、イメージ配信サーバは各ビデオ・ストリームＡ〜Ｄの該当する代表画像を返信する。そして、要求元ブラウザ側では、ビデオ・プレイヤ１３５上でこれら各代表画像が並列表示される。代表画像の取得処理は、ビデオ・ストリームの表示中は定期的に繰り返され、この結果、ビデオ・ストリームの再生位置と同期して代表画像の表示が更新されていく。

次いで、ユーザがビデオ・ストリームＣの代表画像を選択したとする。これに応答して、閲覧クライアント（ブラウザ）側からビデオ・ストリームＣの配信を要求すると、ストリーム配信サーバからビデオ・ストリームＢがストリーム配信される。要求元ブラウザ側では、ビデオ・プレイヤ１３５のビデオ表示画面１３３上で、受信されたビデオ・ストリームＣが表示される。

そして、ブラウザは、ビデオ・ストリームＣの再生時間軸上での現在の時刻すなわち再生位置を取得すると、当該時刻に対応する各ビデオ・ストリームＡ〜Ｄの代表画像をイメージ配信サーバに要求し、イメージ配信サーバは各ビデオ・ストリームＡ〜Ｄの該当する代表画像を返信する。そして、要求元ブラウザ側では、ビデオ・プレイヤ１３５上でこれら各代表画像が並列表示される。代表画像の取得処理は、ビデオ・ストリームの表示中は定期的に繰り返され、この結果、ビデオ・ストリームの再生位置と同期して代表画像の表示が更新されていく。

図３０には、閲覧クライアントにおいてアクティブ・ストリーム並びに各ビデオ・ストリームの代表画像を動機的に表示するための処理手順をフローチャートの形式で示している。但し、図示の例では、同じ時間軸を持つ４本のビデオ・ストリームＡ〜Ｄから構成されるコンテンツの代表画像が図２７に示したように作成され、ユーザが時刻ｔ１をマウスで設定し、ビデオ・ストリームＡの代表画像をクリックしてビデオ・ストリームＡのビデオを再生する場合を例にとっている。

ユーザは、時間軸上でマウス・カーソルを時刻ｔ１に設定する（ステップＳ１）。

ここで、ビデオ・ストリームＡの時刻ｔ１に該当する代表画像が存在しなければ（ステップＳ２）、ビデオ・ストリームの代表画像を表示しないが（ステップＳ１２）、存在すれば、これを表示する（ステップＳ３）。

また、ビデオ・ストリームＢの時刻ｔ１に該当する代表画像が存在しなければ（ステップＳ４）、ビデオ・ストリームの代表画像を表示しないが（ステップＳ１３）、存在すれば、これを表示する（ステップＳ５）。

また、ビデオ・ストリームＣの時刻ｔ１に該当する代表画像が存在しなければ（ステップＳ６）、ビデオ・ストリームの代表画像を表示しないが（ステップＳ１４）、存在すれば、これを表示する（ステップＳ７）。

また、ビデオ・ストリームＤの時刻ｔ１に該当する代表画像が存在しなければ（ステップＳ８）、ビデオ・ストリームの代表画像を表示しないが（ステップＳ１５）、存在すれば、これを表示する（ステップＳ９）。

ここで、ユーザがビデオ・ストリームＡの代表画像をクリックすると（ステップＳ１０）、ビデオ・ストリームＡの当該代表画像に該当する時刻からビデオが再生される（ステップＳ１１）。

なお、閲覧クライアント２が配信サーバ１からデータの配信を受けて再生するシステムを例にとって説明したが、本発明は、例えば、ビデオ・データとこれに対応付けられた資料画像データ並びにアノテーション情報を保持したスタンドアローン型のシステム構成としてもよく、このような構成とする場合には、該当する静止画像データを自らのシステム内で取得してビデオ・データと同期再生することができる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

図１は、コンテンツ配信システムの構成を模式的に示した図である。 図２は、配信サーバ１に登録されている配信用コンテンツの構造を模式的に示した図である。 図３は、配信サーバ１から配信されたコンテンツ・データが閲覧クライアント２側で表示されるコンテンツ閲覧画面の構成例を示した図である。 図４は、スライド画像データ６の一覧表示を行なった状態の詳細表示画面の構成例を示した図である。 図５は、資料画像データ７の一覧表示を行なった状態の詳細表示画面の構成例を示した図である。 図６は、配信サーバ１に各コンテンツのレコードを記憶管理するための機能構成を示した図である。 図７は、コンテンツ・レコードを管理するデータベース１５０をデータベース・サーバ５０とし、各配置先セット１５１を複数のデータ・サーバ装置５７〜５９にそれぞれ分散したシステム構成例を示した図である。 図８は、アーカイブ・ファイルの構成を模式的に示した図である。 図９は、コンテンツ作成システムの機能構成を模式的に示した図である。 図１０は、資料画像ファイル６１の作成及び資料画像３０の表示に係るファイル作成装置５０、ファイル保持装置６０、ビューア７０の構成を示した図である。 図１１は、資料ファイルのデータ構造を模式的に示した図である。 図１２は、プレゼンテータＰが操作するプレゼンテーション支援装置４０の構成を示した図である。 図１３は、プレゼンテーション支援装置４０がプレゼンテータＰに提示する画面構成例を示した図である。 図１４は、アノテーション入力装置１０の構成例を示した図である。 図１５は、対応付け装置８０の機能構成を示した図である。 図１６は、対応付け手段８５によってビデオ・データを基準とした時間軸に対し、資料画像データの表示開始タイミングやアノテーションの描画開始タイミングが設定すなわち対応付けられている様子を示した図である。 図１７は、ビデオ時間情報データ・テーブルの構成例を示した図である。 図１８は、複数のビデオ・データを１つの集合データとして構成した様子を模式的に示した図である。 図１９は、ビデオ・データの時間軸の対応付けを行なった後の資料ファイルのデータ構成例を示した図である。 図２０は、アーカイブ・ファイル２５にまとめられるビデオ・データ３１、資料画像データ３０、付加画像データ３３、アノテーション情報３４のデータ構造を模式的に示した図である。 図２１は、資料画像データ３０、付加画像データ３３、並びにアノテーション情報データ３４が、ビデオ・データ３１が持つ時間軸上に関連付けられている一例を示した図である。 図２２は、同期再生処理の閲覧クライアントと配信サーバとの関係を説明するための図である。 図２３は、同期再生処理の手順を説明するための図である。 図２４は、閲覧クライアントのＷｅｂ機能を説明する図である。 図２５は、配信サーバ１から閲覧クライアント２へビデオ・ストリームを配信している様子を模式的に示した図である。 図２６は、ビデオ・プレイヤ１３５が、アクティブ・ストリームをビデオ画面１３３で表示するとともに、その再生位置に対応する各ビデオ・ストリームＡ〜Ｄの代表画像を並行して表示する様子を示した図である。 図２７は、各ビデオ・ストリームＡ〜Ｄをそれぞれインデキシングして得られた代表画像の表示時間を示した図である。 図２８は、代表画像の操作によりアクティブ・ストリームを選択する動作手順を説明するための図である。 図２９は、配信サーバから閲覧クライアントへアクティブ・ストリームを配信するとともに、アクティブ・ストリームの進行に同期して再生時刻に対応した代表画像を配信するための動作手順を示したシーケンス図である。 図３０は、閲覧クライアントにおいてアクティブ・ストリーム並びに各ビデオ・ストリームの代表画像を動機的に表示するための処理手順を示したフローチャートである。

符号の説明

１…配信サーバ
２…閲覧クライアント
３…登録クライアント
５…ビデオ・データ
６…資料画像データ
２５…アーカイブ・ファイル
３０…資料画像データ
３１…ビデオ・データ
３３…付加画像データ
３４…アノテーション情報
４０…プレゼンテーション支援装置
５０…ファイル作成装置
６０…ファイル保持装置
６１…資料ファイル（デフォルト）
６２…資料ファイル（リアル）
７０…ビューア
８０…対応付け装置
９０…データ保持装置
１００…編集装置
Ｊ…プロジェクタ
Ｐ…プレゼンテータ
Ｓ…スクリーン
Ｖ…ビデオ・カメラ

Claims (11)

1. 同じ時間軸を共有する複数のビデオ・データを提供するコンテンツ処理システムであって、
   前記の各ビデオ・データをそれぞれインデキシング処理してビデオ・データ毎の代表画像を作成し、それぞれ時間軸上に配列して管理する代表画像管理手段と、
   ビデオ・データの再生要求を受容するビデオ要求入力手段と、
   ビデオ・データの要求に応じて、選択された１以上のビデオ・データの再生画面を提供するビデオ再生画面提供手段と、
   前記ビデオ再生画面に提供されているビデオ・データの再生位置に対応する前記の各ビデオ・データの代表画像を提供する代表画像提供手段と、
   を具備することを特徴とするコンテンツ処理システム。
2. 前記ビデオ要求入力手段は、前記代表画像提供手段により提供されている代表画像の選択操作に応じて、対応するビデオ・データの再生要求を受容する、
   ことを特徴とする請求項１に記載のコンテンツ処理システム。
3. 前記ビデオ再生画面提供手段は、ビデオ・データの再生中に代表画像の選択操作が行なわれたことに応答して、選択されたビデオ・データの再生画面に切り替える、
   ことを特徴とする請求項２に記載のコンテンツ処理システム。
4. 前記ビデオ再生画面提供手段は、ビデオ・データの再生中に代表画像の選択操作が行なわれた時点における再生位置から、選択されたビデオ・データの再生を開始する、
   ことを特徴とする請求項３に記載のコンテンツ処理システム。
5. 前記代表画像提供手段は、前記ビデオ再生画面提供手段により提供されるビデオ・データの再生位置の進行に同期して、各ビデオ・データの代表画像を切り替えていく、
   ことを特徴とする請求項１に記載のコンテンツ処理システム。
6. 同じ時間軸を共有する複数のビデオ・データを提供するコンテンツ処理方法であって、
   前記の各ビデオ・データをそれぞれインデキシング処理し、ビデオ・データ毎の代表画像を作成し、それぞれ時間軸上に配列する代表画像生成ステップと、
   ビデオ・データの再生要求を受容するビデオ要求入力ステップと、
   ビデオ・データの要求に応じて、選択された１以上のビデオ・データの再生画面を提供するビデオ再生画面提供ステップと、
   前記ビデオ再生画面に提供されているビデオ・データの再生位置に対応する前記の各ビデオ・データの代表画像を提供する代表画像提供ステップと、
   を具備することを特徴とするコンテンツ処理方法。
7. 前記ビデオ要求入力ステップでは、前記代表画像提供ステップにおいて提供されている代表画像の選択操作に応じて、対応するビデオ・データの再生要求を受容する、
   ことを特徴とする請求項６に記載のコンテンツ処理方法。
8. 前記ビデオ再生画面提供ステップでは、ビデオ・データの再生中に代表画像の選択操作が行なわれたことに応答して、選択されたビデオ・データの再生画面に切り替える、
   ことを特徴とする請求項７に記載のコンテンツ処理方法。
9. 前記ビデオ再生画面提供ステップでは、ビデオ・データの再生中に代表画像の選択操作が行なわれた時点における再生位置から、選択されたビデオ・データの再生を開始する、
   ことを特徴とする請求項７に記載のコンテンツ処理方法。
10. 前記代表画像提供ステップでは、前記ビデオ再生画面提供ステップにおいて提供されるビデオ・データの再生位置の進行に同期して、各ビデオ・データの代表画像を切り替えていく、
    ことを特徴とする請求項６に記載のコンテンツ処理方法。
11. 同じ時間軸を共有する複数のビデオ・データを提供するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
    前記の各ビデオ・データをそれぞれインデキシング処理し、ビデオ・データ毎の代表画像を作成し、それぞれ時間軸上に配列する代表画像生成ステップと、
    ビデオ・データの再生要求を受容するビデオ要求入力ステップと、
    ビデオ・データの要求に応じて、選択された１以上のビデオ・データの再生画面を提供するビデオ再生画面提供ステップと、
    前記ビデオ再生画面に提供されているビデオ・データの再生位置に対応する前記の各ビデオ・データの代表画像を提供する代表画像提供ステップと、
    を具備することを特徴とするコンピュータ・プログラム。

Images