JP4686990B2 - コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、複数のメディア・データを統合して記録・管理するコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムに係り、特に、動画像コンテンツ並びに時間軸上に同期・並行する他のメディア・データの記録・管理を行なうコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、会議やセミナー・講演会、説明会、プレゼンテーションなどさまざまな形態で行なわれる会合の様子などを撮影した動画像や会合で使用された資料やその他のメディア・データの記録・管理を行なうコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムに係り、特に、会合の様子を撮影した動画像と資料やその他のメディア・データを時間軸上で同期をとりながら記録・管理するコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムに関する。

昨今のコンピューティング技術の発展に伴い、コンピュータがオフィスや一般家庭内に深く浸透してきている。これと相俟って、さまざまな適用業務はコンピュータの支援を受けることができるようになってきている。

例えば、企業における産業活動やその他のさまざまに日常生活において、会議やセミナー・講演会、説明会、プレゼンテーションなどが頻繁に行なわれているが、会議室にコンピュータを取り込むことで、これらさまざまな形態の会合の運用を支援することができる。

会議支援システムの一例として、遠隔会議システムを取り上げることができる。遠隔会議システムによれば、遠隔に位置する複数の会議室において、カメラやマイクなどの画像・音声入力装置や、モニタやスピーカなどの画像・音声出力装置を設置し、通信回線を利用して、各会議室において行なわれる発言や質疑応答などのイベントを共有し、遠隔地間で議事を同期して進行させることができる。

例えば、複数のユーザが端末装置のネットワーク接続によって対話を可能とした会議システムとしての対話システム制御方式がある（例えば、特許文献１を参照のこと）。この方式によれば、各端末装置において対話への参加、参加者の離脱を処理することによって、自由な参加や離脱を可能にして会議に相当する対話をすることができる。

会議に用いられる共有の資料などの用意や保管を容易に行なうことができる会議システムについて提案がなされている（例えば、特許文献２を参照のこと）。この場合、インターネット上の会議支援ウェブサイトを運営する情報提供装置によりＴＶ電話会議のサービスを提供する第１の工程と、会議参加者（ユーザ）が通信端末を用いるとともに、この情報提供装置を通し、共有資料を用いてリアルタイムで会議を行う第２の工程とを備え、会議に用いられる共有の資料等の用意や保管を容易に行うことができ、その場で資料等に書込みを行うこともでき、さらにはアプリケーションソフトの違いやバージョンの違いによる不具合も解消することができる。

さらに、会議システムでは、映像や音声などの会議の進行上で発生するさまざまなデータをデジタル化して保存し、さらに、スライドその他のプレゼンテーション資料など、会議に関連するさまざまなメディア・データを、映像や音声すなわち会議の進行と同期させて保管することができる。このように会議に関連するデータを保存しておくことにより、これらを次回の会議において再利用するなど、知識を資産化することが可能となる。

プレゼンテーションは、プレゼンテータ又はその助手がオペレータとなって多くの資料画像を切り換えて、これら資料画像を聴衆に対して提示しながら進められる。オペレータの手元に置かれるコンピュータの画面に使用する資料画像のタイトル一覧や縮小画像一覧が表示され、オペレータがこれら一覧から所望のものを選択して資料画像をスクリーンに表示するなどして聴衆に提示する。これら資料画像データはあらかじめ用いようとする順序で一覧表示するのが一般的であり、オペレータはプレゼンテーションの進行に従って一覧中から順次資料画像を選択して表示切換を行なう。

しかしながら、プレゼンテーションは予定通りの段取りで進行しない場合もあり、このような場合には、使用する資料画像の順序も予定外となってしまう。また、一通りのプレゼンテーションが終了して、聴衆との質疑応答を行なう場合には、必要な資料画像を遡って表示する必要も生ずる。すなわち、用意された複数の資料画像がプレゼンテーションにおいて何時どのような順序で使用されるかは、実際にプレゼンテーションを実施してみて初めて決定される。

プレゼンテーションを収録したビデオ・データとともに、当該プレゼンテーションで使用された資料画像データを含んだコンテンツを作成して、当該コンテンツを閲覧するユーザにプレゼンテーションを再現して提示する場合、ビデオ・データと資料画像データとを実際の使用状態を反映して対応付けることが重要である。

プレゼンテーションを収録したビデオ・データと、その場で使用された資料画像データとを実際のプレゼンテーション行為を反映させて対応付け、これによってプレゼンテーションを収録したコンテンツの品質を高めることができる（例えば、非特許文献１を参照のこと）。

この場合、カメラ収録されたビデオ・データを入力し、プレゼンテーションで使用される資料画像データ、並びにプレゼンテーションにおいてプレゼンテータが行った資料画像の切換指示をそれぞれ入力し、ビデオ・データを基準とした時間軸に対して切換指示の入力タイミングを当該切り換えられる資料画像データの表示開始タイミングとして設定する処理を行ない、複数の資料画像を切換え表示しながら行うプレゼンテーションを収録したビデオ・データに対して使用された資料画像のデータを対応付ける。これによって、ビデオ・データの再生時には、ビデオ・データと資料画像データとを実際の使用状態を反映して対応付けることができ、プレゼンテーションを忠実に再現することができるコンテンツを作成することが可能となる。

ところで、プレゼンテーションの資料として提示されているドキュメントの１ページに多くの情報が記載されていると、話の内容がドキュメントのどの部分かが分かりにくい。このような場合、ライブのプレゼンテーション、あるいは記録されているプレゼンテーションの再生時に、その進行に合わせて、ドキュメント上に箇所や範囲を示すアノテーション（線描画）を入力し、視聴者や聴衆の理解を容易にする、といったことがよく行なわれる。

勿論、ドキュメント自体に問題がない場合であっても、プレゼンテーション資料や、ホワイトボード、各参加者のＰＣモニタ上で用意されている共有ＧＵＩ画面などに向かって、アノテーションを行なうことはよくある。

しかしながら、映像や音声など会議の進行上で発生するさまざまなデータを記録する会議システムにおいて、このようなアノテーション情報を取り扱うものは存在しない。このため、記録したコンテンツを再生する際には、会議の様子やプレゼンテーション資料と同期させてアノテーションを再生することができない。この結果、実際に見たい発言内容を完全に再現することができない、あるいは十分な臨場感が得られない、といった問題がある。

特開平３−１９２８４５号公報 特開２００２−４１４２９号公報 特願２００３−２０１６７３号

本発明の目的は、動画像コンテンツ並びに時間軸上に同期・並行する他のメディア・データの記録・管理を好適に行なうことができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、会議やセミナー・講演会、説明会、プレゼンテーションなどさまざまな形態で行なわれる会合の様子などを撮影した動画像や会合で使用された資料やその他のメディア・データの記録・管理を好適に行なうことができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、会合の様子を撮影した動画像と資料やその他のメディア・データを時間軸上で同期をとりながら記録・管理することができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、司会者や発言者が会議の進行上で行なうアノテーションに関する情報を、会議を記録する映像データや音声データと時間軸上で同期させて好適に記録・管理することができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、プレゼンテーションに関連する複数のメディア・データを記録管理するコンテンツ処理システムであって、プレゼンテーションを収録したビデオ・データを入力するビデオ入力手段と、ライブのプレゼンテーション又は記録されているプレゼンテーションの再生時に、その進行に合わせて行なわれるアノテーションを入力するアノテーション情報入力手段と、前記ビデオ入力手段に入力されるビデオ・データの記録又は再生を基準とした時間軸に対応付けてアノテーション情報を保持するデータ保持手段とを具備することを特徴とするコンテンツ処理システムである。

本発明によれば、会議におけるプレゼンテーションを記録するビデオ・データに加え、プレゼンテーションにおいて使用されるドキュメント上で行なわれる箇所や範囲を示すアノテーション情報を、ビデオ・データの時間軸上で対応付けることで実際の使用状態を反映して記録するようにしたので、プレゼンテーションを忠実に再現することができる。例えばプレゼンテーションの進行に合わせて、ドキュメント上に箇所や範囲を示すアノテーションを表示（記録・再生）することにより、視聴者や聴衆者の理解を容易にすることができる。

前記アノテーション情報入力手段は、入力されたアノテーションを、点を結ぶ線の集合として、各点の座標、点毎の入力時刻、点同士を結ぶ線の太さや線の色などの属性情報として処理する。ここで、点の総数の制限、各点の距離を一定以上に制限したり、さらに矩形や楕円などは対角する２点の座標のみを記録したりするなどして、点の数が増えることによって記録情報が増大することを防ぐことができる。

前記アノテーション情報入力手段は、例えば、アノテーション情報の入力及び再生を行なうアノテーション記録・再生用コントローラと、資料画像データ又はプレゼンテーション用ドキュメントを表示するドキュメント表示部と、プレゼンテーションの様子又はその他の情報資源を閲覧するブラウザとで構成される。

前記アノテーション記録・再生用コントローラは、アノテーション情報に含まれる点同士を属性情報に従って結線処理して描画し、アノテーションを再現することができる。

また、前記アノテーション記録・再生用コントローラは、アノテーションの再生時において、アノテーションを記録する時刻が、アノテーションの描画が終了した時刻であることを操作者が認識できるようにするため、アノテーションの描画中は線を半透明で描画し、描画の完了時に線を不透明な色で再描画するようにしてもよい。

また、本発明に係るコンテンツ処理システムは、プレゼンテーションで使用される資料画像データを入力する資料画像入力手段と、プレゼンテーションにおいてプレゼンテータが行なった資料画像の切換指示を入力する切換指示入力手段とをさらに備えていてもよい。このような場合、前記対応付け手段は、ビデオ・データを基準とした時刻に対し、切換指示の入力タイミングを当該切り替えられる資料画像データの表示開始タイミングとして対応付け、前記データ保持手段は、対応付けられた資料画像データをさらに保持する。

また、本発明に係るコンテンツ処理システムは、コンテンツ要求に応答して、要求されたビデオ・データを提供するとともに、ビデオ・データを基準とする時間軸に対応付けられた各アノテーション情報をビデオ・データの該当する再生位置に同期して提供するコンテンツ提供手段をさらに備えていてもよい。

また、本発明の第２の側面は、プレゼンテーションに関連する複数のメディア・データを記録管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、プレゼンテーションを収録したビデオ・データを入力するビデオ入力ステップと、ライブのプレゼンテーション又は記録されているプレゼンテーションの再生時に、その進行に合わせて行なわれるアノテーションを入力するアノテーション情報入力ステップと、前記ビデオ入力ステップにおいて入力されたビデオ・データの記録又は再生を基準とした時間軸に対応付ける対応付けステップと、前記ビデオ入力ステップにおいて入力されたビデオ・データ及び対応付けられたアノテーション情報を保持するデータ保持ステップとを具備することを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係るコンテンツ処理システムと同様の作用効果を得ることができる。

本発明によれば、会議やセミナー・講演会、説明会、プレゼンテーションなどさまざまな形態で行なわれる会合の様子などを撮影した動画像や会合で使用された資料やその他のメディア・データの記録・管理を好適に行なうことができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、会合の様子を撮影した動画像と資料やその他のメディア・データを時間軸上で同期をとりながら記録・管理することができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、司会者や発言者が会議の進行上で行なうアノテーションに関する情報を、会議を記録する映像データや音声データと時間軸上で同期させて好適に記録・管理することができる、優れたコンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することができる。

本発明によれば、会議におけるプレゼンテーションを記録するビデオ・データと、使用された資料画像データ、アノテーション情報やその他の関連するメディア・データとを、ビデオ・データの時間軸上で対応付けることで実際の使用状態を反映して記録するようにしたので、プレゼンテーションを忠実に再現することができる。例えばプレゼンテーションの進行に合わせて、ドキュメント上に箇所や範囲を示すアノテーションを表示（記録・再生）することにより、視聴者や聴衆者の理解を容易にすることができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。但し、ビデオ・データと資料画像データやその他の付加画像データを含むコンテンツをユーザに配信するシステムについてまず説明し、続いて、このような配信コンテンツを作成するためのシステムについて説明する。

Ａ．コンテンツ配信システムの構成
図１には、コンテンツ配信システムの構成を模式的に示している。図示のコンテンツ配信システムは、インターネットＮを介して接続される配信サーバ１、閲覧クライアント２、登録クライアント３を備えて構成される。

配信サーバ１、閲覧クライアント２、並びに登録クライアント３は、パーソナル・コンピュータ（ＰＣ）などの一般的な計算機システムに、それぞれの機能を実現するためのサーバ・アプリケーション、クライアント・アプリケーションをインストールすることによって構成されている。また、閲覧クライアント２は、配信サーバ１より配信されるコンテンツを閲覧するためのブラウザ機能をインストールしている。

図１では簡素化のため、配信サーバ１、閲覧クライアント２、登録クライアント３を各１台ずつしか描いていないが、インターネットＮ上にはこれらサーバ、クライアント、あるいはその他の無数のホスト装置が接続されていてもよい。例えば、閲覧クライアント２はコンテンツを閲覧するユーザが使用する端末であるので多数接続される。一方、配信サーバ１や登録クライント３は集中管理を行なうように1台としてもよい。なお、後述するように配置先セットの集合でコンテンツ・データの記憶領域を構成するので、配信サーバ１は複数のサーバ装置で機能やデータを分担する構成とするのが好ましい。

本実施形態では、配信サーバ１は、ビデオ・データと、ビデオ・データ毎に対応付けたスライド画像データ、資料画像データ、検索用の音声インデックス・データ、コンテンツ・タイトルなどのコンテンツ・レコード（メタデータ）をコンテンツ毎のデータとして記憶保持しており、閲覧クライアント２からの要求に応じて該当するコンテンツ・データを配信提供する。

図２には、配信サーバ１に登録されている配信用コンテンツの構造を模式的に示している。図２（ａ）にはビデオ・データ５とスライド画像データ６との対応付け関係を示している。また、図２（ｂ）にはビデオ・データ５と資料画像データ７との対応付け関係を示してある。

ビデオ・データ５は、配信用のストリーム形式に変換された動画像データであり、スライド画像データ６（Ａ〜Ｋ）は配置登録前の前処理によってビデオ・データ５中から自動処理又はオペレータ操作によって抽出された静止画像データである。これらスライド画像データは、例えばビデオ中のある時間幅を持った場面を代表的に表すシーンの画像であり、ビデオ・データ５の該当する場面に対応付けられている。スライド画像データは、主に閲覧ユーザが所望のコンテンツを探したり又はコンテンツ・データ中の所望の場面を探したりする検索用として用いられる。

また、資料画像データ７（ａ〜ｎ）は、配置登録前の前処理によってオペレータがビデオを見ながら設定操作してビデオ・データ５に対応付けた静止画像データであり、例えばプレゼンテーションや講義などを写したビデオ・データ５に対し、当該プレゼンテーションにおいて使用された資料を写した画像データである。資料画像データ７は、資料が用いられたビデオ中の或る時間幅を持った場面に対応付けられ、閲覧ユーザに対してビデオ画像に同期して該当する資料画像を提供する。

なお、これらスライド画像データ６と資料画像データ７とはいずれか一方だけをビデオ・データ５に付随させるようにしてもよく、本明細書の説明では、特に指摘する場合を除いて、スライド画像データ６と資料画像データ７との両方又はいずれか一方を画像データと記述するものとする。

このようなコンテンツ・データは、ブラウザを使用する閲覧クライアント２からの要求に応答して、配信クライアント１から配信処理され、要求元の閲覧クライアント２に提供されてその表示装置に画面表示される。

図３には、配信サーバ１から配信されたコンテンツ・データが閲覧クライアント２側で表示されるコンテンツ閲覧画面の構成例を示している。このコンテンツ閲覧画面は、画像を表示するビデオ画面１３３及び再生や停止などの操作ボタンが配置されたビデオ操作部１３４を有したビデオ・プレイヤ１３５と、コマ送り操作ボタンが配置された操作部１３６を有した画像表示部１３７と、コンテンツ・データに関するプログラム記述などを表示するノート表示画面部１３８を含んでいる。したがって、閲覧するユーザがポインティング入力で操作することにより、ビデオ画面１３３にビデオ画像を再生させ、画像表示部１３７にスライド画像や資料画像を表示させることができる。

また、配信サーバ１にアクセスし、所望のコンテンツの画像データが閲覧クライアント２へ配信される。図４並びに図５には、この配信された画像データが閲覧クライアント２で表示される詳細表示画面の構成例を示している。

図４では、スライド画像データ６の一覧表示を行なった状態を示しており、レコード・データ表示部１４０には当該コンテンツのメタデータの諸項目が表示され、スライド画像表示部１４１には当該コンテンツに対応付けられたすべてのスライド画像１０６が時系列に表示されている。

各スライド画像１０６は、該当する場面の時間長さに応じて大きくなるようにスライド画像表示部１４１に表示される。例えば、図２（ａ）に示すように、他に較べて場面の長さが短いＣやＤのスライド画像１０６は、スライド画像表示部１４１において他のスライド画像より小さいサイズで表示される。このようなサイズ変換は、例えば、各スライド画像に場面長さに応じた情報を付加しておくことにより、詳細表示の要求に応じて配信サーバ１において行なうことができる。なお、このような画像サイズに差を持たせて表示する態様は、場面の内容が変化する大きさに応じたり、作者の意図に応じたりといったように、場面の重要度に応じてサイズを設定するようにしてもよい。

また、図５には、資料画像データ７の一覧表示を行なった状態を示している。図示の通り、レコード・データ表示部１４２には、当該コンテンツのメタデータの諸項目が表示される。資料画像表示部１４３には、当該コンテンツに対応付けられたすべての資料画像１０７が時系列に表示されるとともに、各資料画像１０７から抽出された内容の記述文字列１０７ａが画像表示される。この文字列７ａは資料画像データ６から必要に応じて文字認識処理などで抽出され、資料画像をキーワード検索する際に照合される。

Ｂ．コンテンツ・データの登録
次に、コンテンツ・データを配信サーバ１に配置登録する処理について説明する。

図６には、配信サーバ１に各コンテンツのレコードを記憶管理するための機能構成を示している。同図に示すように、配信サーバ１は、配置登録した各コンテンツのレコードを記憶管理するデータベース１５０と、各コンテンツ・データの実体を格納する複数の配置先セット１５１を備えている。

データベース１５０は、各コンテンツ・データのメタデータ、配置先ファイル・パス、配置先ＵＲＬなどを含むコンテンツ用レコード１５２とともに、当該コンテンツ・データが配置登録されている配置先セットを特定する番号１５３を記憶管理している。したがって、データベース１５０を参照することにより、配信可能に各コンテンツ・データを配置登録し、また、閲覧クライアント２から要求された該当するコンテンツ・データを配信することができる。

コンテンツ用レコード１５２内には、会議を撮影して得られたビデオ・データなどのコンテンツに関するレコードの他に、スライドなどのプレゼンテーション用の資料画像データや、プレゼンテーションの際に行なわれたアノテーション情報などの各画像データに関するレコードが格納される。本実施形態では、これら画像データを、会議すなわちビデオ・データの時間軸と対応付けて管理するために、これら画像データ毎のレコードは、データを識別するＩＤ、保管場所を示す配置先ＵＲＬと、ビデオ・データの時間軸上の配置場所を示す時刻情報を組み合わせて構成される。この時刻情報は、ライブのプレゼンテーションにおいてスライドが提示された時刻、スライドに対しアノテーションが入力された時刻、あるいはプレゼンテーションの再生時においてアノテーションが入力された時刻を表す。

配置先セット１５１は、それぞれが１又は複数のコンテンツ・データを格納する記憶領域であり、これら配置先セット１５１の集合として配置サーバ１のコンテンツ・データ記憶領域が構成されている。図示の例では、各配置先セット１５１には、ビデオ・データを格納するビデオ・データ・フォルダ１５４、画像データを格納するための画像データ・フォルダ１５５、音声インデックス・データを格納するための音声インデックス・フォルダ１５６が設けられている。スライドなどのプレゼンテーション用の資料画像データや、プレゼンテーションの際に行なわれたアノテーション情報などの画像データは、画像データ・フォルダ１５５内に格納される（但し、資料画像データとアノテーション情報とを別のデータ・フォルダに分けて記録・管理するようにしてもよい）。同じコンテンツのデータは同じ配置先セット１５１となるように、これらフォルダ１５４〜１５６内に各コンテンツの対応するデータが登録し格納される。配置先セット１５１に登録されたコンテンツ・データの配信は、閲覧クライアント２からの要求に応じてデータベース１５０を参照することにより行なわれる。

コンテンツ作成ツール１６０は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの形式のビデオ・データを配信用のストリーム形式のビデオ・データに変換する処理や、ビデオ・データにスライド画像データを対応付けて登録する処理、ビデオ・データに資料画像データを対応付けする処理、ビデオ・データに音声インデックス・データを対応付けする処理などを行なう。

このようにして、配信サーバ１に登録配置されたコンテンツ・データは、閲覧クライアント２からの要求に応じてデータベース１５０を参照することにより配信サーバ１から提供される。すなわち、閲覧クライアント２が配信サーバ１に対してコンテンツを指定する情報を含む要求を送信すると、配信サーバ１はコンテンツ・レコード１５２を参照して当該コンテンツ・データを配置した配置先セット番号を割り出し、該当するコンテンツを閲覧クライアント２へ提供する処理を行なう。

ここで、配置先セット１５１は物理的又は論理的な記憶領域であり、各配置先セット１５１を異なるデータ・サーバ装置に設けたり、あるいは単一又は複数のデータ・サーバ装置を論理的に横断した形で配置先セットを構成したりすることができる。例えば、図７に示すように、コンテンツ・レコードを管理するデータベース１５０をデータベース・サーバ１５０とし、各配置先セット１５１を複数のデータ・サーバ装置１５７〜１５９にそれぞれ分散し、これら複数台のサーバ装置を統合して機能的には単一の配信サーバ１を構成することもできる。

図７に示したように複数のデータ・サーバ装置１５７〜１５９により配置先セット１５１を構成することにより、データ・サーバ装置１５７〜１５９を追加するとともにコンテンツ用レコード１５２を追加するだけで、コンテンツ・データの記憶領域を増設することができ、システム構成を柔軟なものとすることができる。なお、論理的な構成としても、各配置先セットの容量などを容易に変更することができ、同様にシステム構成を柔軟なものとすることができる。ビデオ・データの配信を行なうシステムではデータが大きいことから、システム構成を変更する必要性が頻繁に生ずるばかりではなく、コンテンツ・データへのアクセス負荷を分散するためにも各コンテンツの配置先を分散させる必要性が生ずる。

なお、配信サーバ１では、配信用に形式変換されたコンテンツ・データ（ビデオ・データ、画像データ、音声インデックス・データ）と、さらにコンテンツ検索用のメタデータとをまとめた配信検索用コンテンツの形式にしてから、配置登録が行なわれる。このような形式の配信検索用コンテンツは、検索用のデータがコンテンツ本体に紐付けされた「アーカイブ・ファイル」であり、持ち運びが可能である。

アーカイブ・ファイルは、ビデオ・データなどのソース・コンテンツを、アーカイブ・ツールで加工することによって作成される。図８には、アーカイブ・ファイルの構成を模式的に示している。アーカイブ・ファイル１６５は、コンテンツ・データを構成するストリーム形式のビデオ・データ１６７、スライド画像又は資料画像の画像データ１６８、音声インデックス・データ１６９、メタデータで構成され、さらにメタデータを更新するアプレット用データ１７０が含まれている。

このように複数種類のデータ１６７〜１７０を含むコンテンツ・データを１つのアーカイブ・ファイル１６５にしておくことにより、配信サーバ１への登録配置処理に要する時間を短縮化することができ、また、このアーカイブ・ファイル１６５の持ち運び性が向上し、同一のコンテンツを登録する他のシステムへの再利用やバックアップ・データとしての利用に供することができる。

Ｃ．コンテンツ作成システム
次に、このような配信コンテンツを作成するためのシステムについて説明する。

本実施形態に係るコンテンツ作成システムは、プレゼンテーションにおける進行状況を映像や音響などのビデオ・データとして捕捉するとともに、スライドなどのプレゼンテーション用の資料画像データや、プレゼンテーションの際（又はプレゼンテーションの再生の際）に行なわれたアノテーションなどの画像データをビデオ・データの時間軸と対応付けて記録・管理する。これら画像データが持つ時刻情報は、ライブのプレゼンテーションにおいてスライドが提示された時刻、スライドに対しアノテーションが入力された時刻、あるいはプレゼンテーションの再生時においてアノテーションが入力された時刻を表す。

なお、本明細書中では、会議、講演、授業、説明会などといったように、資料を聴衆に提示しながら発表を行なう行為を総称してプレゼンテーションと呼ぶことにする。

図９には、本実施形態に係るコンテンツ作成システムの機能構成を模式的に示している。

アーカーブ・ファイル２５に収められて配信サーバ１に登録されるコンテンツは、プレゼンテータＰがプロジェクタＪでスクリーンＳに資料画像３０を切換表示しながら行なったプレゼンテーションをビデオ・カメラＶで収録したビデオ・データ３１と、これら資料画像３０のデータ、さらにはプレゼンテーションの際に行なわれたアノテーション情報を含んでいる。なお、コンテンツには、資料画像３０に対して付加して表示する矢印やアニメーションなどの付加画像データ、並びにアノテーション情報を含めることもできる。また、プレゼンテータＰの操作用としてプレゼンテーション支援装置４０が当該プレゼンテータＰの手元に設置されている。

プレゼンテーションで使用される複数の資料画像データ３０は、あらかじめファイル作成装置５０によって１つの資料ファイル６１に纏められてファイル保持装置６０に保持されている。そして、プレゼンテータＰがプレゼンテーション支援装置４０から入力する切換指示に応じて、資料ファイル６１に収められている資料画像データ３０を予め設定された順序に従って読み出され、ビューア７０による表示制御処理を経てプロジェクタＪからスクリーンＳに投影表示される。

また、発言者が視聴者や聴衆に対し発言内容の理解を促すために、線描画などで構成されるアノテーションの入力が行なわれる。アノテーションの入力は、スクリーン上に投影されたスライドやその他の資料画像、会議室内に設置されているホワイトボード（図示しない）、発言者が取り扱っているＰＣのモニタ画面などに向かって行なうことができる。

収録されたビデオ・データ３１、当該プレゼンテーションで使用される資料画像データ３０（すなわち、資料ファイル６１）、当該プレゼンテーションでプレゼンテーション支援装置４０から出力される切換指示信号、並びに、発言者がアノテーション入力部１０に対して入力したアノテーション入力信号は、対応付け装置８０に逐一入力され、実際のプレゼンテーションにおける使用タイミングで資料画像データ３０がビデオ・データ３１の時間軸に対応付けされる。

この対応付けされた資料ファイル６２とアノテーション情報は、ビデオ・カメラＶから得られたビデオ・データ３１とともに、配信サーバ１に登録するコンテンツ素材としてデータ保持装置９０に保持され、これらコンテンツ素材が編集装置１００によって必要な編集を施されて、配信登録用のアーカイブ・ファイル２５に纏められる。

本実施形態では、会議室内にアノテーション入力装置１０が設置されている。アノテーションの入力は、スクリーン上に投影されたスライドやその他の資料画像、会議室内に設置されているホワイトボード（図示しない）、発言者が取り扱っているＰＣのモニタ画面などに向かって行なうことができる。アノテーション入力装置１０は、発言者が視聴者や聴衆に対し発言内容の理解を促すために行なう線描画に関する情報を操作面から直接読み取ることができるＧＵＩ画面やデジタイザ、あるいは間接的に読み取ることができる任意の装置として構成することができる。

本実施形態では、アノテーションは、点を結ぶ線の集合として取り扱い、各点の座標（ｐｏｉｎｔ）、線の太さ、線の色などの属性情報（ａｔｔｒｉｂｕｔｅ）を、描画を完了した時刻ともに記録する。点の総数の制限、各点の距離を一定以上に制限したり、さらに矩形や楕円などは対角する２点の座標のみを記録したりし、点の数が増えることによって記録情報が増大することを防ぐことができる。

図１０には、資料画像ファイル６１の作成及び資料画像３０の表示に係るファイル作成装置５０、ファイル保持装置６０、ビューア７０の構成を示している。

ファイル作成装置５０は、資料画像データを入力する入力手段５１と、入力される際にオペレータにより指定された順序情報を各資料画像データに付加する順序付け手段５２、入力された資料画像データを資料ファイル６１にまとめるファイル化手段５３、資料ファイル６１をファイル保持装置６０に出力する出力装置５４を備えている。すなわち、ファイル作成装置５０は、入力手段５１が資料画像データを入力し、ファイル化手段５３が入力された複数の資料画像データを資料ファイル６１にまとめる処理を、下記のビューア７０による処理に先立って行なう。

資料画像データには、静止画像や動画像、さらにはデータ形式の制限は特になく、これら種別に関わりなく複数の資料画像データをファイル作成装置５０に入力して資料ファイル６１とすることができる。

図１１には、資料ファイルのデータ構造を模式的に示している。同図に示すように、資料ファイル６１に収められる各資料画像データ３０は、資料画像を成す実データに加えて、資料ＩＤ、種別情報、オペレータにより指定された順序情報（デフォルト）、オペレータにより付加されたタイトルや重要語などのキーワードなどのデータを含んでいる。

ここで、各資料画像に重ねて表示する矢印などの付加画像データ３３も資料画像データ３０とともにファイル作成装置５０に入力され、資料ファイルの一部又は付属とされる。付加画像データ３３とビデオ・データ３０とは、あらかじめ対応付けがなされており、この対応付けに基づいて、資料画像３０の表示に伴って付加画像３３が同期的に表示される。

ビューア７０は、ファイル保持装置６０から資料ファイル６１を入力する入力手段７１、プレゼンテーション支援装置４０からの表示資料画像の切換指示を入力する指示入力装置７２、切換指示に応じて資料ファイル６１から順次読み出す資料画像データ３０のデータ種別をその種別情報から判定する種別判定装置７３、資料画像データをプロジェクタＪが表示出力可能な統一的な形式に変換する各種のプレイヤ・モジュールを保持したプレイヤ・ファイル７４、資料ファイル６１から読み出した資料画像データ３０をそのデータ種別に対応したプレイヤ・モジュールを起動してプロジェクタＪが表示出力可能な形式に変換する出力制御装置７５、投影用に形式変換された資料画像データ３０をプロジェクタＪに出力する出力手段７６を備えている。

このビューア７０は、指示入力装置７２が表示資料を切り換えるオペレータ指示を受け付け、種別判定装置７３が切換指示に応じて複数種類の資料画像データ３０を収めた資料ファイル６１から次に読み出して表示する資料画像データの種別を判定し、出力制御手段７５がデータ種別に応じて用意されたプレイヤ・ファイル７４から判定された種別に対応するプレイヤを選択的に起動して資料画像データ３０をプロジェクタＪに出力する処理を行なう。

上記の切換指示に応じた資料ファイル６１からの資料画像データ３０の読み出し（すなわち、スクリーンＳへの資料の表示）は、各資料画像データ３０に初期的に設定されている順序情報（デフォルト）に従ってなされる。したがって、プレゼンテータが切換指示をするタイミングで、順序情報（デフォルト）に従った順序で資料ファイル６１内に収められた資料画像が順次切り換えられてスクリーンＳに表示される。そして、このような資料画像データ３０は、そのデータ形式に関わりなく資料ファイル６１に収めれば、プレゼンテーション資料として使用することができ、資料の準備作業を極めて容易に行なうことができる。

なお、ファイル作成装置５０、ファイル保持装置６０、ビューア７０はそれぞれ別個の装置として構成しても、これら装置機能を一体化した単一の装置として構成してもよく、いずれの装置構成においても、例えば、コンピュータに上記機能を実現するプログラムを実行させることにより構成することができる。

図１２には、プレゼンテータＰが操作するプレゼンテーション支援装置４０の構成を示している。

プレゼンテーション支援装置４０は、ファイル保持装置６０に保持された資料ファイル６１をビューア７０を介して入力する資料ファイル入力装置４１、資料ファイル６１中の各資料画像データ３０を縮小してサムネイル画像化するサムネイル化装置４２、資料ファイル６１中のスクリーンＳで聴衆に対して表示出力される資料画像を表示する領域４４と残余の資料画像をサムネイル一覧で表示する領域４５とを画面上に有する表示装置４３、プレゼンテータＰからの操作入力を受け付ける操作入力装置４６、プレゼンテータＰから入力された検索条件に合致する資料画像をサムネイル一覧４５から検索する検索装置４７を備えている。

ビューア７０は、資料ファイル６１に収められているすべての資料画像データをプロジェクタ表示可能に変換してプレゼンテーション支援装置４０に提供する。

図１３には、プレゼンテーション支援装置４０がプレゼンテータＰに提示する画面構成例を示している。表示手段４３は、順序情報（デフォルト）に従ってスクリーン表示される最初の資料画像を画面４３の領域４４に表示してプレゼンテータＰに提示し、残余の資料画像をサムネイル画像として領域４５に一覧表示する。

そして、画面４３上にはスクリーン表示する資料画像を前へ戻すための「戻る」ボタン４８ａとスクリーン表示する資料画像を次の順序のものに切り換えるための「進む」ボタン４８ｂとが設けられており、プレゼンテータＰが操作入力手段４６からこれらボタンを押下することにより、スクリーン表示する資料画像を順次切り換えることができる。

なお、領域４５に一覧表示される資料画像はサムネイル形式であるので、これらサムネイル画像をプレゼンテータＰが操作入力手段４６から選択押下することにより切換信号を発して、選択した資料画像をスクリーン表示させることもできる。

このようなプレゼンテータＰによる操作により、上記の資料画像の切換指示信号がビューア７０に入力されてスクリーン表示が切り換えられ、また、対応付け装置８０に入力されてビデオ・データ３１と各資料画像データとの時間位置関係の対応付け、並びに各資料画像データの順序情報の更新がなされる。

また、画面４３上には検索条件を入力するための欄４９ａと検索処理を実行指示するための「検索」ボタン４９ｂとが設けられており、プレゼンテータＰが操作入力手段４６から欄４９ａに検索条件を入力しボタン４９ｂを押下することにより、検索手段４７がサムネイル一覧４５の中から条件に合致する資料画像を検索し、当該資料画像のサムネイルをハイライト表示する或いは当該資料画像を領域４４に表示することができる。

この検索条件には、各資料画像データに設定されている順序情報、データ種別、キーワードなどを用いることができ、例えば、何番目に用いた資料画像、動画の資料画像、或るタイトルの資料画像といったように、検索手段４７により資料ファイル６１内から条件に合致する資料画像を検索することができる。

プレゼンテーション支援装置４０は、例えば、一般的なコンピュータ・システムに所定のプレゼンテーション支援用アプリケーション・プログラムを実行させるという形態で構成することができる。プレゼンテーション支援装置４０によると、プレゼンテータＰは必要に応じて切換指示を入力するだけでスクリーン表示する資料画像を任意に切り換えることができるとともに、事後における聴衆からの質問などに応じて必要な資料画像を探す際でも、検索処理によって迅速に所望の資料画像を探し出すことができる。

図１４には、アノテーション入力装置１０の構成例を示している。アノテーションは、発言者が視聴者や聴衆に対し発言内容の理解を促すために行なう線描画などで構成される。アノテーションの入力形態として幾つか考えられ、例えば、スクリーン上に投影されたスライドやその他の資料画像、会議室内に設置されているホワイトボード、発言者が取り扱っているＰＣのモニタ画面などに向かって行なう。したがって、アノテーション入力装置１０は、このような線描画に関する情報を操作面から直接読み取ることができるＧＵＩ画面やデジタイザ、あるいは間接的に読み取ることができる任意の装置として構成することができる。

図１４に示す例では、アノテーション入力装置１０は、プレゼンテーションの映像を記録するとともに、ドキュメントを閲覧することができるＰＣのブラウザ画面を利用して構成されている。すなわち、アノテーション入力装置１０は、アノテーション記録・再生用コントローラ１１と、スライドなどの資料画像データやプレゼンテーション用ドキュメントを表示するドキュメント表示部１２と、プレゼンテーションの様子やＰＣ上で管理されている一般的な情報資源を閲覧するブラウザ１３で構成されている。

アノテーションの記録時においては、アノテーションの入力者は、マウス・カーソルやその他のポインティング・デバイスを介してＰＣを操作することによりドキュメントの切り替え、ドキュメント上へのアノテーションを行なうことができる。入力されたアノテーションは、点を結ぶ線の集合として取り扱われ、各点の座標（ｐｏｉｎｔ）、点毎の入力時刻（ｔｉｍｅ）、点同士を結ぶ線の太さや線の色などの属性情報（ａｔｔｒｉｂｕｔｅ）を伴う。ここで、点の総数の制限、各点の距離を一定以上に制限したり、さらに矩形や楕円などは対角する２点の座標のみを記録したりするなどして、点の数が増えることによって記録情報が増大することを防ぐことができる。

アノテーションの記録時には、例えば、プレゼンテーションの進行に合わせて、表示されるドキュメント上でマウス操作を行なうことにより、アノテーションを描画する。この描画動作は、点の結ぶ線の集合としてサンプリングされ、各点の座標と、点毎の入力時刻、点同士を結ぶ線の太さや色などの属性情報がアノテーション情報として、ブラウザを経由して対応付け装置８０へ送信される。そして、対応付け装置８０では、ライブのプレゼンテーションにおいて利用されるスライドなどの資料画像データの切り替わり情報とともに、アノテーション情報がプレゼンテーションを記録するビデオ・データの時間軸に対応付けてデータ保持装置９０（データ・サーバ）上で記録・管理される。

入力されたアノテーション情報は、ライブのプレゼンテーションにおいて利用されるスライドなどの資料画像データなどと同様に、プレゼンテーションを記録するビデオ・データの時間軸に対応付けて、データ・サーバ上で記録・管理される。

一方、記録されたアノテーション情報を再生するときには、まず、配信サーバに対し、プレゼンテーションを記録するビデオ・データへのアクセス要求が行なわれる。配信サーバ１は、アクセス要求に応答して、動画像やスライドなどの資料画像データ・ドキュメントを同期配信するとともに、アノテーション情報も配信する。

また、配信サーバ１上では、プレゼンテーションを記録するビデオ・データへのアクセス要求がなされたときに、その時間軸に対応付けてアノテーション情報が配信される。すなわち、配信サーバ１にアクセスした視聴者は、プレゼンテーションを再生する動画像や、スライドなどのドキュメントとともに、ドキュメント上に再現されるアノテーションを見ることができる。

ビデオ・データはブラウザ１３上で表示される。また、スライドなどの資料画像データ、プレゼンテーション用ドキュメントは、ドキュメント表示部１２で表示される。そして、アノテーション情報は、ブラウザ１３から、アノテーション記録・再生用コントローラ１１に渡される。そして、アノテーション記録・再生用コントローラ１１では、アノテーション情報に含まれる点同士を属性情報に従って結線処理して描画し、アノテーションを再現する。

なお、アノテーションの再生時において、アノテーションを記録する時刻が、アノテーションの描画が終了した時刻であることを操作者が認識できるようにするため、アノテーションの描画中（マウスのドラッグ中など）は線を半透明で描画し、描画の完了（マウスのボタンを離す）時に線を不透明な色で再描画する。

図１５には、ビデオ・カメラＶで収録されたプレゼンテーションのビデオ・データ３１と、そこで使用された資料画像データ３０と、プレゼンテーションの進行に合わせて入力されたアノテーション情報とを対応付ける対応付け装置８０の機能構成を示している。

対応付け装置８０は、収録されたビデオ・データを入力するビデオ入力手段８１、プレゼンテーションで使用される資料画像データ（資料ファイル６１）を入力する資料ファイル入力手段８２、プレゼンテーションにおいてプレゼンテータＰが行なった資料画像の切換指示を入力する切換指示入力装置８３、プレゼンテーションにおいてプレゼンテータＰが行なったアノテーションを入力するアノテーション入力装置８４、ビデオ・データを基準とした時間軸に対して資料画像データやアノテーション情報の対応付けを行なう対応付け装置８５、対応付け処理により更新した資料ファイル、アノテーション情報、並びに、ビデオ・データを、データを保持するデータ・サーバに出力する出力装置８６を備えている。

対応付け装置８５は、ビデオ・データを基準とした時間軸に対して、切換指示の入力タイミングを当該切り換えられる資料画像データの表示開始タイミングとして設定する。また、対応付け装置８５は、ビデオ・データを基準とした時間軸に対して、マウス操作などによりアノテーションを記録する時刻を、アノテーションの描画開始タイミングとして設定する。

図１６には、対応付け装置８５によってビデオ・データを基準とした時間軸に対し、資料画像データの表示開始タイミングやアノテーションの描画開始タイミングが設定すなわち対応付けられている様子を示している。

図示の例では、ビデオ・カメラから入力されるビデオ・データ、ファイル保持手段６０から入力される資料画像データ、並びにアノテーション入力装置１０から入力されるアノテーション情報は、それぞれデータを識別するビデオＩＤ、資料画像ＩＤ（スライドＩＤ）、並びにアノテーションＩＤが既に割り振られた状態で対応付け装置８５に入力されるものとする。勿論、対応付け装置８５において、これらのデータに固有のＩＤを割り振るようにしてもよい。

ビデオ・カメラから入力されるビデオ・データは、データ・エンティティとともに、撮影開始時刻とデータ・サイズが付加されている。データ・サイズから撮影時間が算出されることから、撮影終了時刻を特定することができ、これが対応付けの基準となるビデオ・データの時間軸を構成する。

アノテーション情報は、アノテーション入力装置１０上でアノテーションの入力が開始された時刻を基に、その描画開始タイミングが与えられる、配信サーバのデータベースでは、各アノテーション情報のコンテンツ用レコードは、アノテーション情報を識別するＩＤと、ビデオ・データの時間軸上の配置場所すなわち描画開始タイミングと、アノテーション情報の実データの保管場所を示すＵＲＬの組を記載している。アノテーション情報の実データは、描画内容をそのまま捕捉した画像データでもよいが、本実施形態では、各点の座標（ｐｏｉｎｔ）、点毎の入力時刻（ｔｉｍｅ）、点同士を結ぶ線の太さや線の色などの属性情報（ａｔｔｒｉｂｕｔｅ）で構成されている。

また、スライドやドキュメントなどの各資料画像データの表示順序や表示開始タイミングは、プレゼンテーションの前にあらかじめ取り決めておいたものでもよいが、本実施形態では、ライブのプレゼンテーションにおいて各資料画像データを表示する際に入力された切換指示の入力タイミングを基に、資料画像データの表示開始タイミングが与えられる。配信サーバのデータベースでは、各資料画像データのコンテンツ用レコードは、資料画像データを識別するＩＤと、ビデオ・データの時間軸上の配置場所すなわち表示開始タイミングと、資料画像の実データの保管場所を表すＵＲＬの組を記載している。

プレゼンテーションで使用する複数の資料画像データはあらかじめ使用する順序情報（デフォルト）が付与されて、原則的には、当該順序情報に従った順でスクリーン表示されて使用されるが、実際のプレゼンテーションでは、プレゼンテータの操作によってスクリーン表示する資料画像の順序が変更されたり、ある資料画像を繰り返しスクリーン表示したりすることがなされる。このため、これをコンテンツ・データで再現できるように、対応付け装置８５は、入力された切換指示に応じて実際に使用された順序に従って各資料画像データの順序情報（デフォルト）を順序情報（リアル）更新する。プレゼンテーション支援装置４０から入力される切換指示には資料ＩＤが含まれており、対応付け装置８５はどの資料画像データが何時（タイミング）切り換えられたかを把握して対応付け処理を行なう。

また、プレゼンテーションで実際に使用される前の各資料画像データは図１１に示すようにビデオ・データ３１との時間タイミングの対応付けがなされていないが、対応付け装置８５は、切換指示の入力タイミングに基づいて、各画像データに対してその使用を開始タイミング（ビデオ・データの時間軸における時刻）を付加する時間位置の対応付けを行なう。

図１７には、ビデオ・データの時間軸の対応付けを行なった後の資料ファイルのデータ構成例を示している。スクリーンＳにいずれかの資料画像が常時表示されるというプレゼンテーションの形態では、各資料画像の開始タイミングを規定するだけで、ビデオ・データ３１に対する各資料画像データの時間位置が特定される。勿論、開始タイミングと終了タイミングとの組、あるいは、開始タイミングと使用時間幅との組みといったような形式で時間位置対応を付けるようにしてもよい。

対応付け装置８０によると、ビデオ入力装置８１が収録したビデオ・データ３１を入力し、資料ファイル入力装置８２がプレゼンテーションで使用される資料画像データ３０を入力し、切換指示入力装置８３がプレゼンテーションにおいてプレゼンテータＰが行なった資料画像の切換指示を入力し、対応付け装置８５が、これら入力に基づいて、ビデオ・データ３１を基準とした時間軸に対して、切換指示の入力タイミングを当該切り換えられる資料画像データの表示開始タイミングとして設定する対応付け処理を行ない、さらには、入力された切換指示に応じて実際に使用された順序に従って各資料画像データの順序情報を更新する処理を行なう。

また、対応付け装置８０によると、アノテーション入力に基づいて、ビデオ・データ３１を基準とした時間軸に対して、アノテーション情報の描画開始タイミングを設定する対応付け処理を行なう。そして、この対応付け及び更新処理を施した資料ファイル、アノテーション情報、及びビデオ・データ３１をデータ保持装置９０に出力する処理がなされる。

このような対応付け装置８０による処理によって、プレゼンテーションを収録したビデオ・データ３１と、ライブのプレゼンテーションで使用された資料画像データ、並びに資料画像データやその他の対象物に対して印加されたアノテーションが、実際のプレゼンテーションを再現する対応関係で関連付けられ、これらがアーカイブ・ファイル２５にまとめられて配信サーバ１に登録されることとなる。したがって、配信サーバ１から配信されたコンテンツを閲覧する閲覧クライアント２では、その画面上にプレゼンテーションの光景とそこで使用された資料とが、実際のプレゼンテーションを再現した状態で表示出力される。

なお、対応付け装置８０と、データを保持するデータ・サーバと、データを編集する編集装置１００はそれぞれ別個の装置として構成しても、これら装置機能を一体化した単一の装置として構成してもよい。これらのうちいずれの装置構成においても、例えば、コンピュータに必要な処理機能を実現するプログラムを実行させることにより構成することができる。また、一体構成する場合は、更にプレゼンテーション支援装置４０、ファイル作成装置５０、ファイル保持装置６０、ビューア７０をも含めた構成とすることもできる。

図１８には、上記のようにしてコンテンツとしてアーカイブ・ファイル２５に纏められるビデオ・データ３１、資料画像データ３０、付加画像データ３３、アノテーション情報３４のデータ構造を模式的に示している。

ビデオ・データ３１は、図１８（ａ）に示すように、ビデオ映像を成す実データの他に、自己のビデオＩＤ、ビデオの総時間情報（データ・サイズ）を含んでいる。

資料画像データ３０は、図１８（ｂ）に示すように、資料画像を成す実データの他に、自己の資料ＩＤ、対応付けられたビデオ・データのビデオＩＤ、自己の表示開始タイミング、自己のデータ形式種別、実際の使用順序である順序情報（リアル）、検索に用いられるキーワードなどを含んでいる。

付加画像データ３３は、図１８（ｃ）に示すように、矢印画像やアニメーション画像等の付加画像を成す実データの他に、自己の付加画像ＩＤ、対応付けられた資料画像データの資料ＩＤ、自己の表示開始タイミングなどを含んでいる。

アノテーション情報データ３４は、図１８（ｄ）に示すように、アノテーションを成す実データの他に、自己のアノテーションＩＤ、対応付けられたビデオ・データのビデオＩＤ、自己の表示開始タイミングなどを含んでいる。アノテーションの実データは、描画内容をそのまま捕捉した画像データでもよいが、本実施形態では、各点の座標（ｐｏｉｎｔ）、点毎の入力時刻（ｔｉｍｅ）、点同士を結ぶ線の太さや線の色などの属性情報（ａｔｔｒｉｂｕｔｅ）で構成されている。

これら、ビデオ・データ３１、資料画像データ３０、付加画像データ３３、アノテーション情報３４などの会議を記録する情報コンテンツはデータ・サーバ上の各配置先セット１５１…に格納される。また、これらコンテンツを管理するための管理用レコードは、ビデオＩＤ、資料ＩＤ、付加画像ＩＤ、アノテーションＩＤなどの識別情報と、データ・サーバ上の配置場所（ＵＲＬなどで記述される）との組み合わせで構成され、データベース１５０内のコンテンツ用レコードに保管される。資料画像データ３０、付加画像データ３３、アノテーション情報３４は、ビデオ・データの時間軸と対応付けて管理するため、これらのコンテンツ用レコードは、対応するビデオ・データのビデオＩＤ並びにその時間軸上での表示開始タイミングなどの時刻情報を含んでいる。

図１９には、資料画像データ３０、付加画像データ３３、並びにアノテーション情報データ３４が、ビデオ・データ３１が持つ時間軸上に関連付けられている一例を示している。

ビデオ・データ３１は時間幅Ｔの連続した動画像データであり、このビデオ・データ３１の時間軸に対して、時刻ＴＡを開始タイミングとした資料画像Ａ、時刻ＴＢを開始タイミングとした資料画像Ｂ、時刻ＴＣを開始タイミングとした資料画像Ｃ、時刻ＴＤを開始タイミングとした資料画像Ｄが対応付けられている。

また、各資料画像３０に対応して、時刻Ｔａを開始タイミングとした矢印画像ａ、時刻Ｔｂを開始タイミングとしたアニメーション画像ｂ、時刻Ｔｃを開始タイミングとした矢印画像ｃ、時刻Ｔｄを開始タイミングとした矢印画像ｄが対応付けられている。

また、このビデオ・データ３１の時間軸に対して、時刻ＴＪを開始タイミングとしたアノテーション情報Ｊ、時刻ＴＫを開始タイミングとしたアノテーション情報Ｋ、時刻ＴＬを開始タイミングとしたアノテーション情報Ｌが対応付けられている。

資料画像３０は開始タイミングから次の資料画像の開始タイミングまでスクリーン表示されているため、同図では資料画像データ３０をある時間幅を持ったデータのように表現されているが、これら表示間隔を示しているだけで、動画像でない静止画像の資料画像データはそれ自体で時間幅を有している訳ではない。

また、付加画像３３についても同様であり、同図では表示間隔を示しているだけで、動画像でない静止画像の付加画像データはそれ自体で時間幅を有している訳ではない。

これに対し、アノテーション情報３４は、各点の座標と、点同士を結ぶ線の太さや色などの属性情報が点毎の入力時刻とともに記録されているので、１つのアノテーション情報を構成する線分毎に時間の幅を有することができる。したがって、再生時（若しくはコンテンツの配信時）には、ビデオ・データ３１の時間軸に対応付けて、各線分の情報を再生若しくは配信することで、プレゼンテーションを再生する動画像や、スライドなどのドキュメントとともに、ドキュメント上に再現されるアノテーションをよりリアルに見せることができる。

Ｄ．コンテンツの再生
上述したように、配信サーバ上に登録配置されたコンテンツ・データは、閲覧クライアント２からの要求に応じてデータベース１５０を参照することにより配信サーバ１から提供される。

すなわち、閲覧クライアント２が配信サーバ１に対してコンテンツを指定する情報を含む要求を送信すると、配信サーバ１はコンテンツ・レコード５２を参照して当該コンテンツ・データを配置した配置先セット番号を割り出し、当該配置先セット番号からセット・レコード６２を参照して該当するビデオ・データやその画像データのＵＲＬを割り出し、閲覧クライアント２へ提供する。閲覧クライアント２では配信サーバ１から提供されたＵＲＬに基づいてコンテンツ・データ・ファイルにアクセスし、該当するビデオ・データや画像データ、並びにアノテーション情報を取得して画面に表示出力する。

次に、上記したように閲覧クライアント２がビデオ・データの再生に同期して、配信サーバ１から該当する静止画像データ（資料画像データ）、並びにアノテーション情報を取得して同期再生する処理を詳しく説明する。

この同期再生処理は、図２０に示すように配信サーバ１と閲覧クライアント２とが協働的に動作して、図２１に示す手順で実行される。

まず、上記のように閲覧クライアント２が配信サーバ１に接続し、所望のコンテンツを要求すると（ステップＳ１）、配信サーバ１が該当するビデオ・データとともに、当該ビデオ・データに同期して対応付けられた資料画像データ並びにアノテーション情報を配信サーバ１から取得するためのプログラムを閲覧クライアント２に提供する（ステップＳ２）。

閲覧クライアント２では、提供されたビデオ・データをビデオ・プレイヤ１３５により再生して画面表示し、これとともに提供されたプログラムを実行する画像同期機能３９が起動し、再生されているビデオ・データの再生時間位置を取得して表示すべき静止画像データを特定する（ステップＳ３）。

そして、閲覧クライアント２が配信サーバ１に対して必要な静止画像データを要求し（ステップＳ４）、配信サーバ１が要求された画像データを閲覧クライアント２へ提供する（ステップＳ６）。この提供された画像データは即座に再生されて画像表示部１３７に表示出力される。このステップＳ３〜Ｓ６の処理はビデオ・データの再生中は繰り返し行なわれ、再生されているビデオ・データの再生時間位置に対応した資料画像データ並びにアノテーション情報が図３に示したように同一画面上で同期して切換え表示される。

より具体的には、図２２に閲覧クライアント２のＷｅｂブラウザで画面表示されるＷｅｂページを示すように、このＷｅｂページには図３に示したようにビデオ・プレイヤ３５が埋め込まれているが、配信サーバ１から提供された上記プログラムも埋め込まれる。このプログラムはプログラム・コード７０と複数の同期コマンド・データ７１を含んでいる。

プログラム・コード７０は、再生しているビデオ・データの再生時間位置情報を取得する動画再生位置取得プログラム、同期コマンド・データ７１をチェックする同期コマンド・データ・チェック・プログラム、同期コマンド・データ７１に対応するコマンドを実行する同期コマンド実行プログラムを含んでいる。

同期コマンド・データ７１は、コマンド実行時刻としてのビデオ・データ再生時間情報と、実行するコマンド情報を含んでいる。すなわち、同期コマンド・データ７１は、ビデオ・データに対応付けられている複数の資料画像データ並びにアノテーション情報のそれぞれについて同期コマンド・データ７１が存在し、当該静止画像データのビデオ・データに対する対応付け位置を示す再生時間位置情報と、当該再生時間位置で所定の静止画像データを配信サーバ１に要求するコマンドを含んでいる。

したがって、ビデオ・プレイヤによるビデオ・データの再生と同期してプログラム・コード７０が実行され、動画再生位置取得プログラムが再生されているビデオ・データの再生時間位置を取得し、同期コマンド・データ・チェック・プログラムが同期コマンド・データ７１に取得した再生時間位置に該当するものが存在するかを判定し、存在する場合にはコマンド実行プログラムが当該同期コマンド・データのコマンドを実行して、該当する資料画像データ並びにアノテーション情報を配信サーバ１に要求するという処理が、ビデオ・データの再生を実行している間に繰り返し行なわれる。

なお、閲覧クライアント２が配信サーバ１からデータの配信を受けて再生するシステムを例にとって説明したが、本発明は、例えば、ビデオ・データとこれに対応付けられた資料画像データ並びにアノテーション情報を保持したスタンドアローン型のシステム構成としてもよく、このような構成とする場合には、該当する静止画像データを自らのシステム内で取得してビデオ・データと同期再生することができる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

図１は、コンテンツ配信システムの構成を模式的に示した図である。 図２は、配信サーバ１に登録されている配信用コンテンツの構造を模式的に示した図である。 図３は、配信サーバ１から配信されたコンテンツ・データが閲覧クライアント２側で表示されるコンテンツ閲覧画面の構成例を示した図である。 図４は、スライド画像データ６の一覧表示を行なった状態の詳細表示画面の構成例を示した図である。 図５は、資料画像データ７の一覧表示を行なった状態の詳細表示画面の構成例を示した図である。 図６は、配信サーバ１に各コンテンツのレコードを記憶管理するための機能構成を示した図である。 図７は、コンテンツ・レコードを管理するデータベース１５０をデータベース・サーバ５０とし、各配置先セット１５１を複数のデータ・サーバ装置５７〜５９にそれぞれ分散したシステム構成例を示した図である。 図８は、アーカイブ・ファイルの構成を模式的に示した図である。 図９は、コンテンツ作成システムの機能構成を模式的に示した図である。 図１０は、資料画像ファイル６１の作成及び資料画像３０の表示に係るファイル作成装置５０、ファイル保持装置６０、ビューア７０の構成を示した図である。 図１１は、資料ファイルのデータ構造を模式的に示した図である。 図１２は、プレゼンテータＰが操作するプレゼンテーション支援装置４０の構成を示した図である。 図１３は、プレゼンテーション支援装置４０がプレゼンテータＰに提示する画面構成例を示した図である。 図１４は、アノテーション入力装置１０の構成例を示した図である。 図１５は、対応付け装置８０の機能構成を示した図である。 図１６は、対応付け手段８５によってビデオ・データを基準とした時間軸に対し、資料画像データの表示開始タイミングやアノテーションの描画開始タイミングが設定すなわち対応付けられている様子を示した図である。 図１７は、ビデオ・データの時間軸の対応付けを行なった後の資料ファイルのデータ構成例を示した図である。 図１８は、アーカイブ・ファイル２５に纏められるビデオ・データ３１、資料画像データ３０、付加画像データ３３、アノテーション情報３４のデータ構造を模式的に示した図である。 図１９は、資料画像データ３０、付加画像データ３３、並びにアノテーション情報データ３４が、ビデオ・データ３１が持つ時間軸上に関連付けられている一例を示した図である。 図２０は、同期再生処理の閲覧クライアントと配信サーバとの関係を説明するための図である。 図２１は、同期再生処理の手順を説明するための図である。 図２２は、閲覧クライアントのＷｅｂ機能を説明する図である。

符号の説明

１…配信サーバ
２…閲覧クライアント
３…登録クライアント
５…ビデオ・データ
６…資料画像データ
２５…アーカイブ・ファイル
３０…資料画像データ
３１…ビデオ・データ
３３…付加画像データ
３４…アノテーション情報
４０…プレゼンテーション支援装置
５０…ファイル作成装置
６０…ファイル保持装置
６１…資料ファイル（デフォルト）
６２…資料ファイル（リアル）
７０…ビューア
８０…対応付け装置
９０…データ保持装置
１００…編集装置
Ｊ…プロジェクタ
Ｐ…プレゼンテータ
Ｓ…スクリーン
Ｖ…ビデオ・カメラ

Claims (7)

1. プレゼンテーションに関連する複数のメディア・データを記録管理するコンテンツ処理システムであって、
   プレゼンテーションを収録したビデオ・データを入力するビデオ入力手段と、
   ライブのプレゼンテーション又は記録されているプレゼンテーションの再生時に、プレゼンテーションにおいて使用されるドキュメント上で行なわれる箇所や範囲を示す操作からなるアノテーション情報を入力し、入力されたアノテーション情報を、点を結ぶ線の集合として、各点の座標と点毎の入力時刻を含む属性情報を処理するとともに、アノテーション情報の入力及び再生を行なうアノテーション記録・再生用制御部を備えるアノテーション情報入力手段と、
   前記の入力されたアノテーション情報を前記ビデオ入力手段に入力されるビデオ・データの記録又は再生を基準とした時間軸に対応付ける対応付け手段と、
   前記ビデオ入力手段に入力されるビデオ・データ及び対応付けられたアノテーション情報を保持するデータ保持手段と、
   を具備し、
   前記アノテーション記録・再生用制御部は、アノテーションの再生時において、アノテーション情報に含まれる点同士を属性情報に従って結線処理して描画し、アノテーションを再現し、アノテーションの描画中は前記線を半透明で描画し、描画の完了時に前記線を不透明な色で再描画し、アノテーションの描画処理の経過を操作者が認識できるようにする、
   ことを特徴とするコンテンツ処理システム。
2. 前記アノテーション情報入力手段は、点の総数の制限、各点の距離を一定以上に制限し、さらに矩形や楕円は対角する２点の座標として扱う、
   ことを特徴とする請求項１に記載のコンテンツ処理システム。
3. 前記アノテーション情報入力手段は、資料画像データ又はプレゼンテーション用ドキュメントを表示するドキュメント表示部と、プレゼンテーションの様子又はその他の情報資源を閲覧するブラウザとをさらに備える、
   ことを特徴とする請求項１に記載のコンテンツ処理システム。
4. プレゼンテーションで使用される資料画像データを入力する資料画像入力手段と、
   プレゼンテーションにおいてプレゼンテータが行なった資料画像の切換指示を入力する切換指示入力手段と、
   をさらに備え、
   前記対応付け手段は、ビデオ・データを基準とした時刻に対し、切換指示の入力タイミングを当該切り替えられる資料画像データの表示開始タイミングとして対応付け、
   前記データ保持手段は、対応付けられた資料画像データをさらに保持する、
   ことを特徴とする請求項１に記載のコンテンツ処理システム。
5. コンテンツ要求に応答して、要求されたビデオ・データを提供するとともに、ビデオ・データを基準とする時間軸に対応付けられた各アノテーション情報をビデオ・データの該当する再生位置に同期して提供するコンテンツ提供手段をさらに備える、
   ことを特徴とする請求項１に記載のコンテンツ処理システム。
6. 前記アノテーション記録・再生用制御部は、アノテーションの再生時において、ビデオ・データの時間軸に対応付けて前記線を再生する、
   ことを特徴とする請求項１に記載のコンテンツ処理システム。
7. プレゼンテーションに関連する複数のメディア・データを記録管理するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
   プレゼンテーションを収録したビデオ・データを入力するビデオ入力手段、
   ライブのプレゼンテーション又は記録されているプレゼンテーションの再生時に、プレゼンテーションにおいて使用されるドキュメント上で行なわれる箇所や範囲を示す操作からなるアノテーション情報を入力し、入力されたアノテーション情報を、点を結ぶ線の集合として、各点の座標と点毎の入力時刻を含む属性情報を処理するとともに、アノテーション情報の入力及び再生を行なうアノテーション記録・再生用制御部を備えるアノテーション情報入力手段、
   前記の入力されたアノテーション情報を前記ビデオ入力手段に入力されるビデオ・データの記録又は再生を基準とした時間軸に対応付ける対応付け手段、
   前記ビデオ入力手段に入力されるビデオ・データ及び対応付けられたアノテーション情報を保持するデータ保持手段、
   として機能させ、
   前記アノテーション記録・再生用制御部は、アノテーションの再生時において、アノテーション情報に含まれる点同士を属性情報に従って結線処理して描画し、アノテーションを再現し、アノテーションの描画中は前記線を半透明で描画し、描画の完了時に前記線を不透明な色で再描画し、アノテーションの描画処理の経過を操作者が認識できるようにする、
   ことを特徴とするコンピュータ・プログラム。
   

Images