WO2003088665A1 - Dispositif d'edition de metadonnees, dispositif de reproduction de metadonnees, dispositif de distribution de metadonnees, dispositif de recherche de metadonnees, dispositif d'etablissement de conditions de reproduction de metadonnees, et procede de distribution de metadonnees - Google Patents

Description

明 細 書 メタデータ編集装置、 メタデータ再生装置、 メタデータ配信装置、 メタデータ 検索装置、 メタデータ再生成条件設定装置、 及びメタデータ配信方法

技術分野

この発明は、 動画像や音声を含むマルチメディアコンテンツを複数のシーンに 分割し、 分割したシーン毎にメタデータを生成等するメタデータ編集装置、 メタ データ再生装置、 メタデータ配信装置、 メタデータ検索装置、 メタデータ再生成 条件設定装置、 コンテンツ配信装置、 及びメタデータ配信方法に関するものであ る。 背景技術

従来の動画像管理装置では、 映像を複数のシーンに分割してから、 各シーンの 再生に必要な区間情報とシーン番号とシーンを代表する画像の集まりであるイン デックスを編集し、 1つ以上のインデックスを作成する手段と、 各インデックス には検索目的を示したタイ トルを付与する手段と、 検索時には、 タイ トルでイン デックスを検索し、 シーン番号の順番に従つてインデックスのシーンを次々に再 生する手段とから構成することで、 必要なシーンが並ぶようにインデックスを編 集することで、 必要なシーンだけを再生することができる （例えば、 特開 2 0 0 1 - 0 2 8 7 2 2号公報 （第 1頁、 図 1 ) 参照） 。 し力 しながら、 上述した従来の動画像管理装置では、 シーンの再生に必要な区 間情報と、 シーン番号と、 シーンを代表する画像とによりメタデータを作成する に過ぎないため、 ビデオデータがもっている階層性など、 ビデオデータの構造ま で管理することができないという問題点があった。 また、 登録した画像を検索する際には、 インデックスに付与されているタイ ト ルを用いて行うため、 適切な検索結果を得るためには、 適切なタイトルを入力し なければならないという問題点もあった。 この発明は、 前述した問題点を解決するためになされたもので、 シーンの区間 情報やタイ トルのほかに、 ビデオデータ等のコンテンツのもつ構造等のインデッ タス情報であるメタデータを生成することができるメタデータ編集装置を得るこ とを目的とする。 また、 メタデータ編集装置により生成されたメタデータを用いて、 ユーザが見 たいシーンだけを集めて再生したり、 メタデータに記述されている特徴量等を用 いて、 見たいシーンを検索することができるメタデータ再生装置、 メタデータ配 信装置、 メタデータ検索装置、 メタデータ再生成条件設定装置、 コンテンツ配信 装置、 及びメタデータ配信方法を得ることを目的とする。 発明の開示

この発明に係るメタデータ編集装置は、 動画像、 音声の少なくとも一つを含む マルチメディアコンテンツを複数のシーンに分割し、 分割したシーン毎にシーン の開始位置と終了位置とを示すシーンの区間情報メタデータを生成するシーン分 割部と、 前記シーン分割部からのシーンの区間情報メタデータに基づいて、 前記 マルチメディアコンテンツの各シーンの階層的な編集を行ない、 前記マルチメデ ィァコンテンツの階層的な構造を記述するシーン構造情報メタデータを生成する シーン記述編集部と、 前記シーンの区間情報メタデータ、 及び前記シーン構造情 報メタデータを統合し、 所定のフォーマツトに従って前記マルチメディァコンテ ンッの内容及び構造を記述したメタデータを生成するメタデータ記述部とを設け たものである。 また、 この発明に係るメタデータ配信装置は、 メタデータに含まれる記述子の 種類と内容を記述するメタデータ最適化ヒント情報を解析するヒント情報解析部 と、 前記解析されたメタデータ最適化ヒント情報、 及びメタデータ再生成に関す る条件に基づいて、 動画像、 音声の少なくとも一つを含むマルチメディアコンテ ンッの内容及び構造を記述したメタデータを解析して第 2のメタデータを再生成 するメタデータ解析 ·再生成部と、 前記メタデータ解析 ·再生成部により再生成 された第 2のメタデータをクライアント端末に配信するメタデータ配信部とを設 けたものである。 さらに、 この発明に係るメタデータ配信方法は、 メタデータに含まれる記述子 の種類を記述するメタデータ最適化ヒント情報を解析するステップと、 前記解析 されたメタデータ最適化ヒント情報、 及びメタデータ再生成に関する条件に基づ いて、 動画像、 音声の少なくとも一つを含むマルチメディアコンテンツの内容及 び構造を記述したメタデータを解析して第 2のメタデータを再生成するステツプ と、 前記再生成された第 2のメタデータをクライアント端末に配信するステップ とを含むものである。 図面の簡単な説明

図 1はこの発明の実施例 1に係るメタデータ編集装置の構成を示すプロック図 図 2はこの発明の実施例 1に係るメタデータ編集装置の編集対象の一例である ニュース映像を示す図、

図 3はこの発明の実施の形態 1に係るメタデータ編集装置のシーン分割部のシ ーンの区間情報メタデータの一例を示す図、

図 4はこの発明の実施の形態 1に係るメタデータ編集装置のシーン記述編集部 のシーン構造情報メタデータの一例を示す図、

図 5はこの発明の実施例 1に係るメタデータ編集装置のコンテンツ再生 ·表示 部、 ユーザ入力部の画面ィメ一ジ例を示す図、

図 6はこの発明の実施例 2に係るメタデータ編集装置の構成を示すブロック図 図 7はこの発明の実施例 2に係るメタデータ編集装置の動作を説明するための 図、 図 8はこの発明の実施例 3に係るメタデータ再生装置の構成を示すプロック図 図 9はこの発明の実施例 3に係るメタデータ再生装置の動作を説明するための 図、

図 1 0はこの発明の実施例 4に係るコンテンッ配信システムの構成を示すプロ ック図、

図 1 1はこの発明の実施例 4に係るメタデータ配信サーバのメタデータ解析部 から出力されるコンテンツ （ニュース映像の例） の構造情報を示す図、

図 1 2はこの発明の実施例 4に係るコンテンツ配信システムのメタデータ再生 成部による再構成後のコンテンッの構造例を示す図、

図 1 3はこの発明の実施例 5に係るメタデータ配信サーバの構成を示すプロッ ク図、

図 1 4はこの発明の実施例 5に係るメタデータ配信サーバによる、 メタデータ 最適化ヒント情報について説明するためのビデオコンテンツの一例を示す図、 図 1 5はこの発明の実施例 5に係るメタデータ配信サーバによる、 M P E G— 7を用いた場合のメタデータの記述例を示す図、

図 1 6はこの発明の実施例 5に係るメタデータ配信サーバが用いるメタデータ 最適化ヒント情報のフォーマツト例を示す図、

図 1 7はこの発明の実施例 5に係るメタデータ配信サーバが用いるメタデータ 最適化ヒント情報を示す図、

図 1 8はこの発明の実施例 5に係るメタデータ配信サーバのメタデータ解析 - 再生成部の動作を示すフローチャート、

図 1 9はこの発明の実施例 5に係るメタデータ配信サーバのメタデータ解析■ 再生成部の動作を示すフローチャート、

図 2 0はこの発明の実施例 6に係るメタデータ検索サーバの構成を示すプロッ ク図、

図 2 1はこの発明の実施例 6に係るメタデータ検索サーバのメタデータ解析部 の動作を示すフローチャート、

図 2 2はこの発明の実施例 7に係るクライアント端末の構成を示すブロック図 図 2 3はこの発明の実施例 8に係るコンテンツ配信サーバの構成を示すプロッ ク図である。 発明を実施するための最良の形態

以下、 この発明の実施例 1及び 2に係るメタデータ編集装置、

実施例 3に係るメタデータ再生装置、

実施例 4に係るコンテンッ配信システム、

実施例 5に係るメタデータ配信サーバ、

実施例 6に係るメタデータ検索サーバ、

実施例 7に係るクライアント端末、 並びに

実施例 8に係るコンテンツ配信サーバについて、 図面に基づき説明する。 実施例 この実施例 1では、 動画像や音声を含むマルチメディアコンテンツを複数のシ ーンに分割し、 シーンの階層的な構造記述や、 各シーンの特徴量を含むメタデー タ （インデックス情報） を作成するメタデータ編集装置について説明する。 この発明の実施例 1に係るメタデータ編集装置について図面を参照しながら説 明する。 図 1は、 この発明の実施例 1に係るメタデータ編集装置の構成を示すブ ロック図である。 なお、 各図中、 同一符号は同一又は相当部分を示す。 図 1において、 メタデータ編集装置 1 0 0は、 コンテンツ再生 '表示部 2と、 シーン分割部 3と、 サムネィル画像生成部 4と、 シーン記述編集部 5と、 テキス ト情報付与部 6と、 特徴抽出部 7と、 ユーザ入力部 8と、 メタデータ記述部 9と 備 る。 コンテンツ再生，表示部 ₂は、 映像データや音声データ等からなる編集対象の マルチメディアコンテンツ 1 0を再生■表示する。 シーン分割部 3は、 コンテン ッを複数のシーンに分割する。 サムネイル画像生成部 4は、 シーンの代表フレー ムをサムネィル画像として抽出する。 シーン記述編集部 5は、 シーン分割部 3に より分割されたシーンのグループ化、 シーンの結合、 シーンの削除、 シーンの関 係情報の生成などによりシーンを階層的に編集する。 テキスト情報付与部 6は、 各シーンに対して各種のテキス ト情報を付加する。 特徴抽出部 7は、 シーンの特 徴を抽出する。 また、 ユーザ入力部 8は、 コンテンツ再生 ·表示部 2、 シーン分割部 3、 サム ネイル画像生成部 4、 シーン記述編集部 5およびテキスト情報付与部 6に対して、 ユーザからの指示情報をユーザ入力情報 1 1として出力する。 さらに、 メタデータ記述部 9は、 シーン分割部 3、 サムネイル画像生成部 4、 シーン記述編集部 5、 テキスト情報付与部 6および特徴抽出部 7より出力される シーンの区間情 メタデータ 1 2、 シーンのサムネイル画像情報メタデータ 1 3、 シーン構造情報メタデータ 1 4、 テキスト情報メタデータ 1 5、 及び特徴記述メ タデータ 1 6を統合し、 規定のフォーマツトに従ってマルチメディァコンテンッ の内容及び構造を記述したメタデータ 1 7を生成する。 つぎに、 この実施例 1に係るメタデータ編集装置の動作について図面を参照し ながら説明する。 図 2は、 この実施例 1に係るメタデータ編集装置の編集対象の 一例であるニュース映像の構成を示す図である。 図 2に示す構成のニュース映像を編集する場合を例に説明する。 まず、 メタデータ編集装置 1 0 0のコンテンツ再生 '表示部 2は、 コンテンツ 記憶部 （図示せず） に記憶されている映像コンテンツ等のマルチメディアコンテ ンッ 1 0がネットワーク等を介し入力されと、 編集用に再生■表示する。 メタデータ編集装置 1 0 0のユーザがその再生映像を見ながら、 シーンとして 切り出す位置、 すなわちシーンの開始位置と、 終了位置とをユーザ入力部 8より 入力すると、 シーン分割部 3は、 ユーザから入力されたシーンの開始位置と終了 位置とを示すシーンの区間情報メタデータ 1 2を生成する。 図 3は、 本実施の形態 1に係るメタデータ編集装置のシーン分割部のシーンの 区間情報メタデータの一例を示す図である。 この図 3に示す区間情報メタデータ 1 2は、 図 2に示すニュース映像から生成 した例を示す。 図 3に示すように、 シーン分割部 3によって、 ニュース映像コン テンッから切り出された "ニュースダイジェスト" 、 "国内ニュース" や、 "国 際ニュース" 等の各シーンに対して、 シーンの開始位置と、 終了位置の区間情報 を示すシーンの区間情報メタデータ 1 2が生成される。 シーン記述編集部 5では、 ユーザからユーザ入力部 8を介しシーン編集の指示 があると、 シーン分割部 3からのシーンの区間情報メタデータ 1 2に基づき、 シ ーン分割部 3で連続的に切り出されたシーンの階層的な編集を行ない、 シーン構 造情報メタデータ 1 4を出力する。 シーンの階層的編集とは、 例えば、 シーンの グループ化、 シーンの再分割、 シーンの結合、 シーンの削除がある。 シーンのグ ループィヒとは、 例えば、 図 2に示すニュース映像から、 例えば図 4に示すように 「国内ニュース」 、 「国際ニュース」 、 「経済ニュース」 等のある特定の特徴で 関連あるシーンをひとつの 「ニュース J グループにまとめることをいう。 また、 シーンの再分割とは、 1つのシーンを複数のシーンに分割することである。 シー ンの結合とは、 複数のシーンをまとめて 1つのシーンとすることである。 図 4は、 本実施の形態 1に係るメタデータ編集装置のシーン記述編集部のシー ン構造情報メタデータの一例を示す図である。 この図 4に示すシーン構造情報メタデータ 1 4は、 シーン記述編集部 5での編 集の結果、 生成された映像コンテンツの階層的な構造を記述する。 図 4では、 シ ーン記述編集部 5で、 シーンのグループ化や、 シーンの再分割、 シーンの結合等 のシーンの編集により、 "ニュース" というシーンが、 "ニュースダイジェス ト " 、 "ニュース" 、 "特集" 、 "スポーツ" 等に編集され、 さらにその "ニュー ス" 力 S "国内ニュース" 、 "国際ニュース" 、 "経済ニュース" の階層的に編集 されたことを示している。 そして、 シーン記述編集部 5で生成された例えば図 4に示すメタデータ 1 4は 、 メタデータ記述部 9へ出力される。 一方、 サムネイル画像生成部 4では、 シーン分割部 3からのシーンの区間情報 メタデータ 1 2に基づき、 シーン分割部 3で切り出された各シーンの中から代表 フレームをサムネィル画像として生成し、 生成したサムネィル情報をサムネイル 画像情報メタデータ 1 3としてメタデータ記述部 9へ出力し、 メタデータ記述部 9に登録する。 ここで、 ユーザはユーザ入力部 8より、 サムネイルの選択を行う こともできるが、 自動的に、 先頭フレームや固定時間間隔の複数フレームを代表 フレームとしたり、 シーンチェンジ点を自動検出し、 それらのフレームを代表フ レームとしたりすることもできる。 サムネイル画像情報メタデータ 1 3は、 映像 コンテンツの中のサムネイルの位置情報 （フレーム番号または時間） 、 または、 サムネイル画像の U R Lなどのロケーション情報になる。 また、 特徴抽出部 7では、 シーン分割部 3からのシーンの区間情報メタデータ 1 2に基づき、 各シーンの中から、 動き、 色、 あるいはシーン内に含まれるォプ ジェタ トの形状など、 シーンがもつ視覚的特徴量を抽出する。 抽出された特徴量 は、 特徴記述メタデータ 1 6として、 メタデータ記述部 9へ出力され、 登録され る。 また、 テキスト情報付与部 6では、 シーン分割部 3からのシーンの区間情報メ タデータ 1 2に基づき、 各シーンに対して、 ユーザがタイ トル、 アブストラク ト 、 キーワード、 コメント、 シーンの重要度などの各種のテキスト情報を付与する

。 テキスト情報の付与は、 ユーザ入力部 8よりユーザが入力する場合と、 コンテ ンッに含まれる音声情報やキヤプションを解析することにより、 自動的に付与す る場合がある。 テキスト情報は、 テキスト情報メタデータ 1 5として、 メタデー タ記述部 9へ出力し、 メタデータ記述部 9に登録する。 図 5は、 この実施例 1に係るメタデータ編集装置のコンテンツ再生 ·表示部や 、 ユーザ入力部 8の画面イメージ例を示す。 図 5において、 ビデオ再生画面 G 1 は、 コンテンツ再生 '表示部 2における画面イメージ例に相当し、 このビデオ再 生画面 G 1では、 編集用のコンテンツを再生 '表示する。 図 5には、 明示してい ないが、 「再生」 、 「停止」 、 「卷き戻し」 、 「早送り」 、 「コマ送り」 再生用 の指示ボタンなど、 通常のビデオ再生装置に備えられているユーザインタフエ一 スを備えているものとする。 そして、 このビデオ再生画面 G 1の下方にはシーン 分割指示画面 G 2が表示されている。 このシーン分割指示画面 G 2は、 例えば、 スライダー形式になっており、 ビデオ再生画面 G 1に表示される映像を見ながら 、 ユーザがビデオ再生画面 G 1に表示される映像シーンの開始位置と終了位置と を指示することができる。 また、 シーン分割指示画面 G 2は、 同時に、 シーンの 開始位置と終了位置との間で、 サムネイルの位置を指示することができる。 ここ で、 シーン分割指示画面 G 2によりサムネイルの位置が指定されると、 映像コン テンッの指定された位置のフレームからサムネィル画像生成部 4がサムネィル画 像を生成することになる。 また、 シーン分割指示画面 G 2により位置が指定されたサムネイル画像は、 シ ーンの分割情報として、 シーン分割情報表示画面 G 3に表示される。 このシーン 分割情報表示画面 G 3では、 サムネイル画像のほか、 図 3に示すようにシーンご とにシーンの開始位置と終了位置とを示す情報を表示することもできる。 次に、 ツリー構造生成指示 '表示画面 G 4では、 シーンの編集をユーザに対し 指示する。 ユーザは、 シーン分割情報表示画面 G 3に表示されているサムネイル 画像等のシーン分割情報を見ながら、 映像コンテンツのもつ階層構造を表すッリ 一を生成する。 操作方法としては、 例えば、 シーンのグループ化を行う場合には、 ツリー上に 新しいノードを追加し、 そのノードにグループ化したいシーンを追加していく。 シーンの追加の操作は、 追加したいシーンをシーン分割情報表示画面 G 3上で選 択し、 ドラッグ 'アンド ' ドロップにより、 ノードにシーンを追加するなどの方 法が考えられる。 シーン分割情報表示画面 G 3、 ッリ一構造生成指示 ·表示画面 G 4では、 シーンを選択することにより、 そのシーンに対してテキスト情報付与 部 6を介してテキスト情報を付与するためのユーザインタフェースとしてユーザ 入力部 8が提供され、 シーンに対するテキスト情報を入力することができる。 メタデータ記述部 9は、 シーン分割部 3、 サムネイル画像生成部 4、 シーン記 述編集部 5、 テキスト情報付与部 6および特徴抽出部 7より出力される各種メタ データを統合し、 規定の記述フォーマツトに従って記述したメタデータファイル を生成する。 メタデータの規定の記述フォーマットは、 独自に定めたフォーマツ トで記述することもできるが、 本実施例 1では、 I S Oで標準化されている M P E G— 7を使うことにする。 この M P E G— 7は、 コンテンツの構造や特徴を記 述するフォーマツトを規定するものであり、 XM Lフアイノレフォーマツトとバイ ナリフォーマツトがある。 従って、 本実施例 1のメタデータ編集装置 1 0 0によれば、 シーンを階層的に 編集するシーン記述編集部 5や、 シーンから特徴を抽出する特徴抽出部 7を設け るようにしたので、 ビデオデータ等のコンテンツのもつ階層的な構造や各シーン の特徴量を記述したメタデータを生成することができる。 なお、 コンテンツ再生 ·表示部 2に入力されるマルチメディアコンテンツ 1 0 は、 ネッ トワーク上にあるコンテンツサーバ （図示せず） から取得する場合や、 メタデータ編集装置 1 0 0内にあるコンテンツ記憶部 （図示せず） より取得する 場合、 C Dや D V D等の蓄積媒体 （図示せず） より取得する場合など様々な場合 が想定される。 同様に、 メタデータ記述部 9より出力されるメタデータは、 ネッ トワーク上にあるメタデータサーバ （図示せず） に蓄積される場合や、 メタデー タ編集装置内にあるメタデータ蓄積部 （図示せず） に蓄積される場合、 C D D V D等の蓄積媒体 （図示せず） にコンテンツとともに蓄積される場合などが想定 さ^^る。 また、 本実施例 1では、 シーン記述編集部 5と、 特徴抽出部 7との両者を設け て説明したが、 これに限らず、 シーン記述編集部 5のみを設けたり、 特徴抽出部 •7のみを設けるようにしても勿論良い。 実施例 2 . 上記の実施例 1では、 シーンの分割をすベて手動で行っていたが、 この実施例 2では、 シーンチヱンジ点を自動検出するシーンチェンジ検出部を備えたことを 特徴とするデータ編集装置について説明する。 この発明の実施例 2に係るメタデータ編集装置について図面を参照しながら説 明する。 図 6は、 この発明の実施例 2に係るメタデータ編集装置の構成を示すブ 口ック図である。 図 6において、 メタデータ編集装置 1 0 O Aは、 コンテンツ再生 '表示部 2と、 シ一ン分割部 3と、 サムネィル画像生成部 4と、 シ一ン記述編集部 5と、 テキス ト情報付与部 6と、 特徴抽出部 7と、 ユーザ入力部 8と、 メタデータ記述部 9と、 シーンチェンジ検出部 3 9とを備える。 なお、 符号 4 0は、 自動検出されたシー ン開始位置情報である。 つぎに、 この実施例 2に係るメタデータ編集装置の動作について図面を参照し ながら説明する。 図 7は、 この発明の実施例 2に係るメタデータ編集装置の動作を説明するため の図である。 シーンチュンジ検出部 39と、 シーン分割部 3以外の動作は、 上記実施例 1と 同じである。 実施例 2特有の動作を説明する。 シーンチェンジ検出部 39は、 自動的にシーンチェンジ、 カット点検出を行う。 シーンチェンジ検出は、 例えば、 フレーム間画素差分や、 フレーム間の色や、 輝 度のヒストグラム差分などに基づいて行う。 シーン分割部 3は、 シーンチェンジ 検出部 39で検出されたシーンチェンジ点に基づき、 シーンの開始位置と終了位 置を決定する。 ここで、 シーンチェンジ検出部 39とシーン分割部 3の処理について、 編集対 象のコンテンツがニュース映像の場合を例に詳述する。 シーンチェンジ検出のための特徴量として、 色のヒストグラムを用いる場合を 例に説明する。 シーンチェンジ検出部 39では、 1フレームごとに色のヒストグラムを算出す る。 表色系としては、 HSV、 RGB, YCb C rなどがあるが、 ここでは、 H SV色空間を用いる。 この HSV色空間は、 色相 （H) 、 彩度 （S) 、 明度 (V) の 3要素から構成される。 各要素のヒストグラムを算出する。 次に、 求め られたヒストグラムから、 例えば下記の （式 1) に基づき、 フレーム間のヒスト グラム差分を算出する。 シーンの開始フレームから、 Nフレーム （例えば N = 3) は、 同一シーン、 すなわち、 シーンチェンジ点がないものと仮定する。 なお、 シーンの初期特徴量として、 下記の （式 2) に基づき、 最初の Nフレーム間のヒ ストグラム差分の平均 （me a n) と標準偏差 （s d) を求める。 bin H

sum, = ∑|H,. ( ) - ∑|S,. ( ) - ( ) | +∑\ν^) -ν^) sum,：フレーム/とフレーム/— 1のヒストグラム間差分和

Hi < )：色相のヒストグラム， bin一 H：ヒストグラムの要素数 (式 1 )

S_; (/?)：彩度のヒストグラム， ろ /" ：ヒストグラムの要素数

V^h ：明度のヒストグラム， bin一 V：ヒストグラムの要素数

mean = >

N-i r

mean：フレーム間のヒストグラム差分の平均 （式 2 )

sd：フレーム間のヒストダラム差分の標準偏差 そして、 N + 1フレーム以降は、 ヒス トグラムのフレーム間差分が m e a 11 + λ · s dより大きくなったフレームをシーンチェンジ点とし、 新しいシーンの開 始位置候補とする。 シーンの開始位置候補が複数得られたら、 次に、 ニュース映像のように、 ニュ ースの切り替わりなどで決まったパターンの画像が挿入される場合を考える。 ニュース映像は、 ニュースの切り替わりで、 例えば、 アナウンサーと背景のス タジォセット、 説明の文字 （キャプション） により構成された画像など、 決まつ たパターンの画像が揷入されることが多い。 従って、 これらの決まったパターン の画像 （テンプレート画像と称する） 、 またはテンプレート画像の特徴量を記述 したメタデータを予め登録しておく。 テンプレート画像の特徴量とはテンプレー ト画像の色のヒストグラム、 あるいは、 動きのパターン （ニュースの切り替わり で、 アナウンサーが写る部分は動きが少ないなど） などが挙げられる。 一ト画像が予め登録されている場合には、 例えば図 7に示すように、 シーンチェンジ点に対応する画像と、 テンプレート画像とのマッチングをとり、 類似度が高い場合には、 そのシーンチェンジ点をシーンの開始位置として登録す る。 類似度のマッチングとしては、 フレーム間差分やフレーム間の色のヒストグ ラム差分などがある。 また、 テンプレート画像の特徴量が予め登録されている場合には、 シーンチェ ンジ点に対応する画像から特徴量を抽出し、 テンプレート画像の特徴量とのマツ チングをとり、 類似度が高い場合には、 そのシーンチェンジ点をシーンの開始位 置として登録する。 シーン開始位置の情報はシーン分割部 3へ出力される。 シーン分割部 3では、 シーンチ ンジ検出部 3 9で自動検出されたシーン開始 位置情報に基づき、 シーンの開始位置および終了位置を決定する。 なお、 本実施 例 2のシーン分割部 3では、 上記実施例 1と同様に、 ユーザからの指示に基づき、 シーンの開始位置および終了位置を決定することもできる。 シーン分割部 3では、 シーンの開始位置および終了位置を記述したシーンの区 間情報メタデータ 1 2をシーンチェンジ検出部 3 9へ出力し、 このシーンチェン ジ検出部 3 9で、 そのシーンに含まれるシーンチェンジ点を検出することもでき る。 シーン記述編集部 5では、 シーン分割部 3からのシーンの区間情報メタデータ 1 2に基づき、 シーンチェンジ検出部 3 9で自動検出されたシーンを再分割ゃ統 合することができる。 なお、 シーン記述編集部 5の詳細は、 上記実施例 1と同様 である。 従って、 本実施例 2に係るメタデータ編集装置 1 0 0 Aによれば、 上記実施例

1と同様に、 ビデオデータ等のコンテンツのもつ階層的な構造や各シーンの特徴 量を記述したメタデータを生成することができると共に、 シーンチェンジ検出部

3 9を設けたことにより、 コンテンツのシーンチェンジ点を自動検出することが 可能となる。 実施例 3 . この実施例 3では、 上記実施例 1及び 2のメタデータ編集装置により生成され たメタデータを利用して、 画像の要約再生や、 検索などを行うメタデータ再生装 置について説明する。 この発明の実施例 3に係るメタデータ再生装置につレ、て図面を参照しながら説 明する。 図 8は、 この発明の実施例 3に係るメタデータ再生装置の構成を示すプ 口ック図である。 図 8において、 メタデータ再生装置 2 0 0は、 メタデータ解析部 1 9と、 構造 表示部 2 0と、 サムネイル画像表示部 2 1と、 ユーザ入力部 2 2と、 検索部 2 3 と、 検索結果表示部 2 4と、 要約作成部 2 5と、 要約構造表示部 2 6と、 コンテ ンッ再生部 2 7とを備える。 メタデータ解析部 1 9は、 コンテンツのもつ階層的なシーン構造や各シーンの サムネイルに関する情報、 各シーンの特徴量などが記述されたメタデータ 2 8の 解析を行う。 構造表示部 2 0は、 メタデータ解析結果から取得されるシーン構造

2 9、 つまりコンテンツの階層的な構造を表示する。 サムネイル画像表示部 2 1 は、 メタデータ解析結果から取得されるサムネイル画像情報 3 0を表示する。 ユーザ入力部 2 2は、 検索や再生等の指示を行う。 検索部 2 3は、 ユーザから の検索指示 （検索条件 3 1 ) と、 メタデータから取得されるシーンの特徴量ゃテ キス ト情報 3 2とに基づき検索を行う。 検索結果表示部 2 4は、 検索結果 3 3を 表示する。 要約作成部 2 5は、 ユーザからの要約作成指示 （要約作成条件 3 4 ) に基づき要約作成を行う。 要約構造表示部 2 6は、 要約されたコンテンツの構造

3 8を表示する。 コンテンツ再生部 2 7は、 要約情報 3 5、 コンテンツ再生指示 3 6、 再生するコンテンツ 3 7に基づきコンテンツを再生■表示する。 つぎに、 この実施例 3に係るメタデータ再生装置の動作について図面を参照し ながら説明する。 まず、 メタデータ解析部 1 9は、 コンテンツのもつ階層的なシーン構造や、 各 シーンのサムネイルに関する情報、 各シーンの特徴量などが記述されたメタデー タ 2 8を入力とし、 メタデータの解析を行う。 本実施例 3では、 このメタデータ 2 8は、 上記実施例 1、 2のメタデータ記述 部 9が生成した M P E G - 7規定のフォーマットで記述されているため、 メタデ ータは XM Lで記述されたテキストファイルでもよいし、 バイナリフォーマツト で符号化されたバイナリファイルであってもよレ、。 このため、 メタデータ解析部 1 9は、 メタデータ 2 8が XM Lで記述されてい るならば、 XM Lフアイルの解析を行う XM Lパーザの機能をもつ。 また、 メタ データ 2 8がバイナリフォーマツトで符号化されているならば、 メタデータ 2 8 の復号を行うデコーダの機能を有する。 構造表示部 2 0は、 メタデータ解析部 1 9の解析結果を入力して、 コ の階層的なシーン構造 2 9を表示する。 コンテンツのシーン構造は、 例えば、 図 4に示すように、 各シーンのタイトルとともにツリー表示される。 サムネイル画像表示部 2 1は、 メタデータ解析部 1 9の解析結果 （サムネイル 画像情報 3 0 ) を入力して、 コンテンツのサムネイル画像一覧を表示する。 検索部 2 3は、 ユーザ入力部 2 2を介したユーザからの検索指示により、 コン テンッに含まれるシ一ンの検索を行う。 その際、 ュ一ザ入力部 2 2では、 キーヮ ードゃサンプル画像の提示等により、 検索条件を入力する。 検索部 2 3では、 メ タデータに記述されているシーンの特徴量や、 シーンのタイ トルなどのテキスト 情報 3 2に基づき、 ユーザから提示された検索条件 （キーワードやサンプル画像 の特徴） 3 1に合致するシーンの検索を行う。 検索部 2 3による検索が終了すると、 検索結果表示部 2 4は、 検索部 2 3の検 索結果 3 3を入力とし、 検索結果の表示を行う。 検索結果の表示方法としては、 例えば、 検索条件に合致したシーンのサムネイル画像を表示する。 また、 要約作成部 2 5は、 ユーザ入力部 2 2を介したユーザからの要約作成指 示に基づき、 コンテンツの要約を作成する。 その際、 ユーザ入力部 2 2では、 要 約されたコンテンツの再生時間や、 ユーザ嗜好などの情報を入力する。 例えば、 コンテンツがニュース映像の場合には、 ニュースの中のスポーツを中心に見たい、 あるいは、 1時間のニュースを 2 0分に要約してみたいなどのユーザの嗜好情報 を入力する。 また、 要約作成部 2 5では、 メタデータに記述されているシーンの 再生時間や、 シーンのタイ トルなどのテキスト情報 3 2に基づき、 要約条件に合 致した要約情報 3 5を作成する。 この要約情報 3 5とは、 例えば、 要約されたコ ンテンッに含まれるシーンの再生リストであり、 コンテンツの U R Lなどのロケ ーション情報と、 そのコンテンツの中の再生したいシーンの開始位置と終了位置 を列記したリストである。 また、 コンテンツ再生 '表示部 2 7では、 要約情報 3 5に含まれるコンテンツ のロケーション情報に基づき、 対象コンテンツを特定し、 要約情報に含まれるシ ーンリス トに基づき、 再生するシーンの取得 .再生 .表示を行う。 また、 別の例 として、 要約情報が要約されたシーンの構造を階層的に記述したものである場合 も考えられる。 図 9は、 要約されたシーン構造を階層的に記述したものの一例を示す図である。 同図 （a ) は、 オリジナルコンテンツのシーン構造の例を示す。 各シーンに対し て、 重要度が 0 . 0〜 1 . 0の範囲で付加されている。 1 . 0は重要度が最も高 く、 o . 0は重要度が最も低いことを意味する。 重要度は、 例えば、 ユーザ嗜好 に基づいて計算されたものであるとする。 例えば、 チーム Aのサッカーの試合に 関するシーン、 特に、 試合結果と得点シーンは必ず見たいというユーザ嗜好を予 め登録しておくと、 各シーンにはユーザ嗜好を反映した重要度が付加される。 そして、 図 9 ( a ) において、 重要度が最も高いシーンのみで要約を生成する と、 要約されたシーン構造は同図 （b ) に示すようになる。 なお、 各シーンは、 そのシーンを含むコンテンツの U R Lなどのロケーション情報と、 そのシーンの コンテンツ内での位置情報 （開始位置と終了位置） などのメタデータをもつ。 要 約されたシーン構造 3 8に関する情報は、 要約構造表示部 2 6へ渡され、 この要 約構造表示部 2 6は、 要約されたシ一ン構造を例えば、 図 9 ( b ) に示すような ツリー形式で表示する。 また、 ユーザ入力部 2 2を介しユーザが構造表示部 2 0または要約構造表示部 2 6に表示されているシーン構造や、 サムネイル画像表示部 2 1や検索結果表示 部 2 4に表示されている各シーンのサムネイルの中から再生したい 1つ以上のシ ーンを選択すると、 コンテンツ再生■表示部 2 7ではコンテンツに含まれるシー ンを再生■表示することができる。 従って、 本実施例 3に係るメタデータ再生装置 2 0 0によれば、 上記実施例 1、 2で説明したメタデータ編集装置により生成されたメタデータを用いて、 ユーザ が見たいシーンだけを集めて再生したり、 メタデータに記述されている特徴量を 用いて、 見たいシーンを検索することができる。 また、 本実施例 3では、 コンテンツ再生 '表示部 2 7が、 メタデータ再生装置

2 0 0内にあつたが、 コンテンツ再生 .表示部が別の装置内にあってもよい。 こ れは、 例えば、 シーンの構造やサムネイル画像の表示等、 メタデータ再生に関わ る操作や表示は、 携帯電話や携帯情報端末等で行い、 マルチメディアコンテンツ の再生に関わる処理や表示は、 携帯電話や、 携帯情報端末等にネッ トワークを介 して接続した端末 (例えば、 P C等) で行う場合が考えられる。 実施例 4 . この実施例 4では、 コンテンツのメタデータをクライアント端末に対して配信 するメタデータ配信サーバ （メタデータ配信装置） と、 そのコンテンツをクライ アント端末の端末能力に応じてスケーラブルに構成して配信するコンテンツ配信 サーバと、 について説明する。 この発明の実施例 4に係るコンテンッ配信システムについて図面を参照しなが ら説明する。 図 1 0は、 この発明の実施例 4に係るコンテンツ配信システムの構 成を示すプロック図である。 図 1 0において、 コンテンツ配信システム 3 0 0は、 メタデータ配信サーバ 4 〇 0と、 各種のクライアント端末 4 8 1〜4 8 nと、 コンテンツ配信サーバ 5 0 0とを備える。 メタデータ配信サーバ 4 0 0は、 メタデータ蓄積部 4 1と、 メタデータ解析部 4 2と、 端末能力判定部 4 3と、 メタデータ再生成部 4 4と、 メタデータ配信部 4 5とから構成されている。 メタデータ蓄積部 4 1には、 例えば上記実施例 1、 2のメタデータ編集装置が 生成したメタデータが蓄積されている。 メタデータ解析部 4 2は、 コンテンツの 構造や特徴を記述したメタデータ 4 9の解析を行う。 端末能力判定部 4 3は、 ク ライアント端末の性能に関する情報 5 1に基づいて、 クライアント端末の端末能 力を判定する。 メタデータ再生成部 4 4は、 メタデータ解析結果 5 0に基づき、 クライアント端末の端末能力に応じてコンテンッを再構成し、 その内容を記述し たメタデータ 5 2を再生成する。 メタデータ配信部 4 5は、 メタデータ再生成部

4 4で再生成されたメタデータ 5 3を各種クライアント端末 4 8 1〜4 8 nに配 信する。 なお、 メタデータ蓄積部 4 1は、 本実施例 4のメタデータ配信サーバ 4 0 0外 に設けても良い。 その場合には、 メタデータ配信サーバ 4 0 0は、 ネットワーク (図示せず） 等を介しメタデータ蓄積部 4 1からメタデータ 4 9を入力する。 また、 コンテンツ配信サーバ 5 0 0は、 コンテンツ蓄積部 4 6と、 コンテンツ 配信部 4 7とから構成されている。 コンテンツ蓄積部 4 6は、 コンテンツ 5 5を蓄積する。 コンテンツ配信部 4 7 は、 クライアント端末 4 8 1〜4 8 11からのコンテンツ配信要求 5 4に応じてコ

5 6を配信する。 上述したメタデータ配信サーバ 4 0 0の場合と同様に、 コンテンツ蓄積部 4 6 はコンテンツ配信サーバ 5 0 0外に設けてもよい。 その場合、 コンテンツ配信サ ーバ 5 0 0は、 ネットワーク (図示せず) を介してコンテンツデータ 5 5を入力 する。 つぎに、 この実施例 4に係るコンテンツ配信システムの動作について図面を参 照しながら説明する。 まず、 メタデータ配信サーバ 4 0 0側では、 メタデータ解析部 4 2がメタデー タ蓄積部 4 1に蓄積されているメタデータの解析を行う。 メタデータ解析部 4 2 の動作は、 上記実施例 3のメタデータ再生装置 2 0 0のメタデータ解析部 1 9と 同様である。 メタデータ解析部 4 2は、 メタデータを解析することにより、 各コ 構造や特徴に関する情報を取得する。 図 1 1は、 この実施例 4に係るメタデータ配信サーバのメタデータ解析部から 出力されるコンテンツ （ニュース映像の例） の構造情報を示す図である。 図 1 1 では、 コンテンツの階層的なシーン構造を、 ツリーを用いて表示している。 ッリ 一の各ノードは、 各々のシーンに対応し、 各ノードには各種のシーン情報が対応 付けられている。 シーン情報とは、 シーンのタイトル、 ァブストラク ト、 シーン の開始位置と終了位置の時間情報、 シーンのサムネイル、 代表フレーム、 サムネ ィルショット、 代表ショット、 色や動きなど視覚的な特徴量等であるシーンの特 徴である。 なお、 図 1 1には、 各種のシーン情報のうち、 シーンのタイ トルのみ を図示している。 ここで、 クライアント端末は、 端末能力の異なる各種の情報家電機器を想定す る。 端末能力とは、 通信速度、 処理速度や、 再生 '表示可能な画像フォーマット、 画像解像度、 ユーザ入力機能、 などである。 例えば、 クライアント端末 ⁴ 8 1は、 通信速度、 処理速度、 表示性能、 ユーザ入力機能において、 十分な性能を有する P C (パソコン） を想定する。 また、 クライアント端末 4 8 2は携帯電話を想定 し、 その他のクライアント端末は P D A等を想定する。 各クライアント端末 4 8 1 〜 4 8 nからは、 それぞれの端末性能に関する情報が送信される。 端末能力判定部 4 3は、 各クライアント端末 4 8 1 - 4 8 nから送信される端 末性能に関する情報 5 1を解析して、 配信可能な画像フォーマット、 最大画像解 像度、 コンテンツの長さ等を決定し、 メタデータ再生成部 4 4へ出力する。 例え ば、 オリジナルのコンテンツが M P E G— 2で符号化された解像度の大きなビデ ォコンテンツの場合、 十分な性能を有するクライアント端末 4 8 1では、 オリジ ナルのコンテンツを再生できる。 また、 このクライアント端末 4 8 1は、 上記実 施例 3で説明した画像の要約再生や検索が可能な機能を有するものとする。 一方、 クライアント端末 4 8 2では、 M P E G— 4で符号化された短いビデオシヨット のみ再生可能で、 かつ、 表示可能な最大解像度も小さいものとする。 メタデータ再生成部 4 4では、 端末能力判定部 4 3からの各クライアント端末

4 8 1 〜 4 8 nの端末性能に応じてコンテンツを再構成し、 その構造や内容を記 述したメタデータ 5 2を再生成し、 メタデータ配信部 4 5へ出力する。 例えば、 クライアント端末 4 8 1に対しては、 オリジナルのメタデータをそのまま配信す るため、 コンテンツの再構成は行わない。 一方、 クライアント端末 4 8 2に対し ては、 短いビデオショ ッ トの再生機能のみを有するため、 すべてのシーンを再生 することはできない。 従って、 重要なシーンの短いビデオショットでコンテンツ を再構成する。 図 1 2は、 実施例 4に係るコンテンッ配信システムのメタデータ再生成部によ る再構成後のコンテンツの構造例を示す図である。 図 1 2に示すように、 各ニュ ースのシーンの中から、 重要なシーンを抽出し、 そのシーンの代表ショ ッ トまた は、 代表フレームのみで構成されるようにする。 また、 クライアント端末 4 8 2 は、 上記実施例 3で説明した検索機能を有しないため、 シーンの各種情報のうち、 検索に使用するシーンの特徴量をメタデータに記述する必要はない。 そこで、 メ タデータ再生成部 4 4は、 再構成されたシーン構造と、 そのシーンの代表ショッ トまたは代表フレームの位置情報のみを記述したメタデータを再生成し、 メタデ ータ配信部 4 5へ出力する。 このメタデータ配信部 4 5は、 メタデータ再生成部 4 4で生成されたメタデー タ 5 3をクライアント端末 4 8 1 ~ 4 8 nに配信する。 各クライアント端末 4 8 1〜4 8 nは、 メタデータ配信部 4 5より配信された メタデータ 5 3を解析し、 コンテンツのシーン構造情報を取得する。 各クライア ント端末 4 8 l〜4 8 nのユーザは、 再生したいシーンを選択すると、 選択され たシーンの位置情報が各クライアント端末 4 8 1〜 4 8 ηからコンテンッ配信サ ーバ 5 0 0のコンテンツ配信部 4 7へ送信される。 コンテンツ配信サーバ 5 0 0のコンテンツ配信部 4 7では、 各クライアント端 末 4 8 1〜4 8 ηより送信されるシーンの位置情報を取得し、 コンテンツ蓄積部

4 6より対応するコンテンツ 5 5を取得し、 クライアント端末 4 8 1〜4 8 ηへ 配信する。 クライアント端末 4 8 1の場合には、 シーンの開始位置と終了位置を 送信し、 オリジナルのコンテンツの対応するシーンを配信する。 また、 クライア ント端末 4 8 2の場合は、 シーンの代表ショットの所在情報 （U R Iなど） を送 信する。 なお、 代表ショットが、 クライアント端末 4 8 2で再生 '表示不可能な 画像フォーマットや、 画像解像度、 画像ファイルサイズ等の場合には、 コンテン ッ配信部 4 7で、 フォーマット変換や解像度変換、 フアイルサイズを小さくする ためのコンテンツの要約等を行い、 送信する。 従って、 本実施例 4のメタデータ配信サーバ 4 0 0によれば、 各クライアント 端末 4 8 1〜4 8 nの能力に応じてメタデータを再生成して各クライアント端末 に配信することが可能となる。 なお、 図 1 0では、 メタデータ配信サーバ 4 0 0とコンテンツ配信サーバ 5 0 0とを別々に構成して示しているが、 本発明では、 これに限らず、 メタデータ配 信サーバの中にコンテンツ配信サーバを設けたり、 あるいはコンテンツ配信サー バの中にメタデータ配信サーバを設けたりしてもよい。 また、 メタデータ配信サ ーバとコンテンッ配信サーバとを同一サーバ内に設けても勿論良い。 このように すれば、 コンテンツ配信部 4 7は、 端末能力判定部 4 3から各クライアント端末 4 8 1〜4 8 nの能力を簡単に知ることができるので、 各クライアント端末 4 8 1〜4 8 nの能力に応じてフォーマツト変換などコンテンツを再構成して各クラ イアント端末 4 8 1〜4 8 nに配信することが可能となる。 また、 この実施例 4では、 メタデータ蓄積部 4 1に蓄積されているメタデータ は、 例えば上記実施例 1、 2のメタデータ編集装置が生成したものであると説明 したが、 これに限らず、 上記実施例 1、 2のメタデータ編集装置以外が生成した メタデータを蓄積したものでも勿論良い。 実施例 5 . この実施例 5では、 上記実施例 4で説明したメタデータ配信サーバの別の例を 説明する。 上記実施例 4のメタデータ配信サーバでは、 クライアント端末から送 信される端末情報に基づいて、 メタデータの再生成を行っていた。 この実施例 5 では、 より適切なメタデータの再生成を行うために、 メタデータ再生成のための ヒント情報であるメタデータ最適化ヒント情報を用いて、 メタデータの再生成を 行うメタデータ解析■再生成部を備えたことを特徴とするメタデータ配信サーバ (メタデータ配信装置） について説明する。 この発明の実施例 5に係るメタデータ配信サーバについて図面を参照しながら 説明する。 図 1 3は、 この発明の実施例 5に係るメタデータ配信サーバの構成を 示すブロック図である。 図 1 3において、 メタデータ配信サーバ 4 0 O Aは、 ヒント情報解析部 6 1と、 メタデータ解析■再生成部 6 3と、 メタデータ配信部 4 5とを備える。 ヒント情報解析部 6 1は、 メタデータ最適化ヒント情報 6 0を解析しその結果 を出力する。 メタデータ解析 ·再生成部 6 3は、 解析されたメタデータ最適化ヒ ント情報 6 2と、 クライアント端末の性能に関する情報、 あるいは、 ユーザ嗜好 等のメタデータ再生成に関する条件 6 5とに基づいて、 コンテンツの構造や特徴 を記述したメタデータ 4 9を解析して再構成したメタデータ 6 4を出力する。 メ タデータ配信部 4 5は、 メタデータ 5 3をクライアント端末に配信する。 メタデータ蓄積部 4 1 (図 1 0参照） には、 コンテンツの構造や特徴を記述し たメタデータ 4 9と、 そのメタデータ 4 9を再生成するためのヒント情報のメタ データ最適化ヒント情報 6 0が蓄積されている。 メタデータ 4 9を再生成するた めのメタデータ最適化ヒント情報 6 0とは、 そのメタデータ 4 9に、 どのような 種類の情報が、 どのくらい含まれているか、 メタデータ 4 9の概要や複雑度を記 したものである。 つぎに、 この実施例 5に係るメタデータ配信サーバの動作について図面を参照 しながら説明する。 図 14に示す構造をもったビデオコンテンツを例に、 メタデータ最適化ヒント 情報 60について詳述する。 ビアォコンテンッ (Ro o t (S o c c e r g ame r o g r m) は、 大きく 2つのシーン （S c e n e l, S c e n e 2) の前半戦と後半戦から 構成され、 前半戦のシーンは、 さらに複数のシーン （S e e n e l— 1， S e e n e 1 - 2 S e e n e l— n) (ゴーノレシーン、 コーナーキックシー ンなど） から構成されている。 図 14では、 シーン間の時間的な階層構造をッリ 一構造により示している。 対応するメタデータ 49には、 このようなコンテンツの時間的な階層構造、 す なわち、 シーン間の時間的関係や各シーンの開始時間と長さが記述されている。 また、 各シーンに対しては、 階層のレベルに応じてそのシーンがもつ特徴 (例え ば、 色のヒストグラムや動きの複雑性） のほか、 タイ トル、 アブストラク ト、 ジ ヤンル、 注釈等のテキスト情報、 重要度、 などが記述されている。 なお、 本実施 例 5では、 メタデータの記述フォーマッ トとして、 I SOで標準化されている M P EG- 7を用いるものとする。 図 1 5は、 MP EG— 7を用いた場合のメタデータの記述例を示す。 MPEG 一 7では、 各シーンは 「ビデオセグメント」 と呼ばれる単位で記述される。 各ビ デォセグメントには、 時間情報 （シーンの開始点と長さ） 、 タイトル、 概要、 ジ ヤンル、 などが記述される。 なお、 ビデオセグメントの階層に応じてビデオセグ メント内で記述される情報が異なる場合がある。 図 1 5の例では、 レべノレ 2とレ ベル 3のビデオセグメントには、 重要度が記述されているが、 レベル 4では重要 度は記述されない。 また、 色や動きの特徴量はレベル 4のビデオセグメント内で のみ記述されている。 シーン間の時間的な階層関係は、 ビデオセグメントを再帰的に記述することに より表現することができる。 図 15の記述例では、 「時間分割」 という記述によ り、 1つのビデオセグメントが時間的に分割された複数のビデオセグメントから 構成されていることを記述している。 MPEG— 7では、 コンテンツのもつ空間 的な階層構造も同様に記述することができる。 この場合には、 「時間分割」 とい う記述の替わりに、 1つのセグメントが空間的に分割された複数のセグメントか ら構成されていることを示す 「空間分割」 という記述を用いる。 メタデータ 49の再生成のためのメタデータ最適化ヒント情報 60は、 そのメ タデータ 49に含まれる情報 （記述子） の種類や内容を記述したものである。 従 つて、 メタデータ最適化ヒント情報 60には、 図 1 5のメタデータに対しては、 コンテンツのもつ時間的な階層構造を表現する記述子 （ 「時間分割」 ） と、 色の ヒス トグラムや動きの複雑性を表現する記述子、 タイ トル、 アブストラク ト、 ジ ヤンル、 重要度を表現する記述子が含まれている。 また、 記述の内容や複雑性を 表す指標として、 ビデオセグメントの階層構造の深さは最大で 4 (レベル 1〜レ ベル 4) である。 重要度は、 5つの離散的な値 （ {0. 0, 0. 25, 0. 5, 0. 75， 1. 0} ) をとる。 この重要度の視点として、 " T e amA "の視点 で観たときの重要度と、 " T e a m B "の視点で観たときの重要度が記述されて いる。 また、 重要度が記述されている階層位置 (ビデオセグメントのどのレべノレ に記述されているか） も含まれている。 図 16は、 メタデータ最適化ヒント情報 60のフォーマット例を示す。 図 16 に示すメタデータ最適化ヒント情報 60には、 メタデータファイル情報と、 メタ データ構成要素情報とが含まれる。 メタデータファイル情報は、 メタデータファイルの所在、 メタデータファイル サイズ、 メタデータファイルフォーマッ ト （XMLフォーマッ ト、 バイナリフォ 一マットなどファイルフォーマッ トを示す） 、 シンタックスファイル情報 (メタ データの文法を規定するシンタックスファイルの所在） 、 メタデータに含まれる (出現する） 要素の数を示す出現要素数など、 メタデータを処理するために必要 なリソース （メタデータの蓄積■解析を行うために必要とするメモリサイズゃメ タデータを解析するために必要な処理系 （S /W) など） を予測するための情報 を記述する。 なお、 メタデータファイルのフォーマットを規定したシンタックス ファイルとは、 例えば、 メタデータが XM Lで記述されている場合には、 その記 述フォーマット （文法） を規定する D T Dファイルや s c h e m aファイルなど がそれに相当し、 シンタックスファイル情報とは、 D T Dファイルや s c h e m aファイルなどのシンタックスフアイルの所在を記述する。 メタデータ構成要素情報とは、 メタデータを構成する記述子の種類とその内容 を記述する情報である。 このメタデータ構成要素情報には、 メタデータに含まれ ている記述子の名称、 その記述子がメタデータ内に出現する頻度 （回数） 、 その 記述子が文法的に含む可能性のあるすベての記述子を含んでいるかどうかの記述 (完全記述性） 、 またその記述子が再帰的に記述される場合には、 その記述子が もつ時間または空間における階層性 （深さの最大値） が含まれる。 例えば、 図 1 5に示すメタデータ記述例では、 「ビデオセグメント」 が再帰的に記述される記 述子であり、 最大で 4階層の構造をもっているため、 「ビデオセグメント」 記述 子がもつ階層の深さは最大 4になる。 さらに、 再帰的に記述される記述子内に含まれる記述子については、 その記述 子が出現する出現位置 （階層） もヒント情報である。 例えば、 「重要度」 は 「ビ デォセグメント」 内に含まれる記述子であるが、 レベル 3以上の 「ビデオセグメ ント」 に含まれる、 すなわち、 レベル 4のビデオセグメントには含まれないとき に、 「重要度」 が出現する位置は、 最大で 3までになる。 なお、 このように、 出 現位置を階層レベルで指定することもできるが、 「重要度」 を含む 「ビデオセグ メント」 、 あるいは 「ビデオセグメント」 自体に I Dが振られている場合には、 出現位置を I Dのリストとして記述することも可能である。 また、 値をもつ記述 子の場合には記述子の型や記述子がとり得る値の範囲もヒント情報の一つである。 例えば、 重要度が " T e a mA " , " T e a m B "のそれぞれの視点から、 5つ の離散的な値 （ {0. 0， 0. 25, 0. 5， 0. 75， 1. 0} ) で表現され ている場合には、 「重要度」 のとり得る値は、 浮動小数点の型をもつリスト {0. 0， 0. 25, 0. 5, 0. 75, 1. 0} である。 以上の記述をメタデータの 構成要素である記述子毎に操り返す。 図 1 7は、 図 16のフォーマツトに従って記述されたメタデータ最適化ヒント 情報の一例を示す。 図 1 7に示すメタデータ最適化ヒント情報 60の一例には、 メタデータファイル情報と、 "ビデオセグメント" と "タイ トル" というメタデ- ータ構成要素情報とが含まれていることがわかる。 次に、 メタデータ最適化ヒント情報 60を使って、 メタデータの再生成を行う 手法について図 13を用いて説明する。 ヒント情報解析部 6 1では、 規定のフォーマットで記述されたメタデータ最適 化ヒント情報 60の解析を行う。 メタデータ解析 '再生成部 6 3では、 ヒント情 報解析部 61より出力される解析されたメタデータ最適化ヒント情報 62を使つ て、 メタデータ 49の解析を行い、 メタデータ再生成に関わる条件 65に基づい て再生成したメタデータ 64を出力する。 図 18は、 解析されたメタデータ最適化ヒント情報 62を使ったメタデータ解 析 ·再生成部 63によるメタデータの解析方法の一例を示す。 この例では、 もと のメタデータ 49から重要度が 0. 5以上の特徴をもつビデオセグメントのみを 抽出し、 抽出したビデオセグメントに関する記述のみで構成されたメタデータを 再生成するものとする。 まず、 メタデータ解析■再生成部 63は、 メタデータ再生成のための条件 65 より、 再生成に必要なメタデータを特定する （ステップ S 1) 。 ここでは、 重要 度が 0. 5以上の特徴をもつビデオセグメントのみを抽出するため、 「重要度」 や 「ビデオセグメント」 が再生成に必要な記述子である。 次に、 解析されたメタデータ最適化ヒント情報 6 2より、 メタデータ 4 9にス テツプ S 1で特定した記述子 （以下、 記述子 「重要度」 を例に説明する） が含ま れるかどうかを判定する （ステップ S 2 ) 。 メタデータに 「重要度」 の記逑子が含まれている場合には、 メタデータの解析 を行い （ステップ S 3 ) 、 「重要度」 の記述子が含まれていない場合には、 メタ データの解析処理を終了する （ステップ S 4 ) 。 また、 解析されたメタデータ最適化ヒント情報 6 2に、 「重要度」 の出現位置 が階層構造のレベル 3までと指定されている場合.には、 レベル 3までのビデオセ グメントの解析を終了した時点で （ステップ S 5 ) 、 レベル 4以下の階層につい ての解析を行わずに解析処理を終了する （ステップ S 6 ) 。 なお、 必要に応じて別のメタデータ 4 9の解析を行うため、 ステップ S 1以降 の処理を繰り返す。 また、 メタデータ最適化ヒント情報 6 2に 「重要度」 記述子 の出現回数が 2 0と指定されている場合には、 2 0個の 「重要度」 記述子を解析 し終えた時点で (ステップ S 5 ) 、 メタデータの解析を終了する (ステップ S 6 ) 。 さらに、 ステップ S 4またはステップ S 6でメタデータの解析処理を終了後 、 必要に応じて別のメタデータの解析を行うため、 ステップ S 1以降の処理を繰 り返す。 図 1 9は、 解析されたメタデータ最適化ヒント情報 6 2を使ったメタデータの 解析方法の別の例を示す。 この例では、 「タイ トル」 記述子を含むビデオセグメ ントのみを抽出してメタデータを再生成するものとする。 メタデータに 「タイ ト ル」 記述子を含むかどうかの判定は、 図 1 8の例と同じである。 メタデータ解析 ·再生成部 6 3は、 メタデータに 「タイ トル」 記述子を含む場 合には、 メタデータ最適化ヒント情報 6 2に記述されている出現位置の I Dに一 致するビデオセグメントかどうかを判定する (ステップ S 1 3 ) 。

I Dに一致しない場合には、 「タイトル」 記述子を含まないビデオセグメント のため、 そのビデオセグメントの記述の解析をスキップする (ステップ S 1 6 ) 。

I Dに一致する場合には、 「タイ トル」 記述子を取得するため、 そのビデオセ グメントの記述の解析を行う ( S 1 5 ) 。 次に、 出現位置の I Dに一致するすべてのビデオセグメントを解析し終えた場 合 (ステップ S 1 7 ) には、 これ以上、 「タイ トル」 記述子を含むビデオセグメ ントはメタデータ内に存在しないため、 解析処理を終了する （ステップ S 1 8 ) 。 なお、 必要に応じて別のメタデータの解析を行うため、 ステップ S 1 1以降の 処理を繰り返す。 以上の解析処理を通して抽出された記述子で再構成したメタデ ータ 6 4を出力する。 メタデータ配信部 4 5では、 再構成されたメタデータ 6 4を各種クライアント 端末へ配信する。 なお、 図示はしていないが、 メタデータ再生成後にはメタデータフアイルの所 在やメタデータファイルサイズ、 メタデータに出現する要素数、 メタデータ構成 要素に関する情報も変わるため、 再生成後のメタデータに対応するメタデータ最 適化ヒント情報を再生成してもよい。 以上のように、 従来はメタデータ再生成のためにメタデータに含まれるすべて の記述子を解析しなければならなかったが、 本実施例 5においては、 メタデータ 4 9に含まれる記述子のリストゃ記述子の出現位置、 出現回数等が記述されたメ タデータ最適化ヒント情報 6 0を使ってメタデータ 4 9の記述子を解析を行うよ うにしたため、 メタデータ再生成のためのメタデータ 4 9自体の解析を省くこと ができ、 また出現位置や出現回数により、 再生成条件に合致しない記述子の解析 を省くことができるため、 メタデータの解析及び再生成に伴う処理コスト （処理 量やメモリ使用量等） を低減することができる。 実施例 6 . 上記の実施例 5では、 メタデータ再生成のためのメタデータ最適化ヒント情報 を用いて、 メタデータの解析および再生成に伴う処理コストを低減するメタデー タ配信サーバについて説明したが、 この実施例 6では、 メタデータ最適化ヒント 情報を用いて、 メタデータの検索に伴う処理を軽減するメタデータ検索サーバ

(メタデータ検索装置） について説明する。 この発明の実施例 6に係るメタデータ検索サーバについて図面を参照しながら 説明する。 図 2 0は、 この発明の実施例 6に係るメタデータ検索サーバの構成を 示すブロック図である。 図 2 0において、 メタデータ検索サーバ 6 0 0は、 ヒント情報解析部 6 1と、 メタデータ解析部 7 1と、 検索部 7 3とを備えている。 ヒント情報解析部 6 1は、 上記実施例 5と同じであるので、 説明を省略する。 メタデータ解析部 7 1は、 解析されたメタデータ最適化ヒント情報 6 2と検索条 件 7 0を用いて、 コンテンツの構造や特徴を記述した膨大なメタデータ 4 9の解 析を少ない処理コス トで効率的に行う。 検索部 7 3は、 メタデータの解析結果 7 2を利用して、 検索条件に適合するコンテンッを検索する。 つぎに、 この実施例 6に係るメタデータ検索サーバの動作について図面を参照 しながら説明する。 図 2 1は、 この実施例 6に係るメタデータ検索サーバのメタデータ解析部の動 作を示すフローチヤ一トである。 メタデータ解析部 7 1は、 1つ以上のメタデータの解析を各メタデータに対応 するメタデータ最適化ヒント情報 6 2を用いて行う。 メタデータの解析とは、 こ こでは、 メタデータから検索に必要な特徴記述の抽出を行うことである。 例えば、 検索条件としてビデオセグメントの色の特徴量が与えられ、 そのビデオセグメン トに近い特徴をもつビデオセグメントを検索する場合には、 色に関する特徴記述 をもつビデオセグメントを抽出する必要がある。 図 1 5に示すメタデータ例では、 レベル 4のビデオセグメン卜に対し、 色の特徴記述 ( 「色のヒストグラム」 ) が 付加されているため、 レベル 4のビデオセグメントに関する記述を抽出する。 メタデータ解析部 7 1は、 検索条件 7 0を解析し、 検索に有効な記述子の特定 を行う （ステップ S 2 1 ) 。 検索条件として、 M P E G— 7に規定された記述に 従った特徴量が与えられる場合と、 画像やキーヮードが与えられる場合などがあ る。 検索条件が M P E G— 7の記述に従った特徴量 （例えば色配置情報） として 与えられる場合には、 その記述子 （色配置情報） が検索に有効な記述子となる。 また、 キーワードとして検索条件が与えられる場合には、 テキスト形式の記述子 (タイ トル、 アブストラク ト、 注釈など） 力 検索に有効な記述子となる。 次に、 メタデータ最適化ヒント情報 6 2を参照して、 選択された記述子がメタ データ 4 9に含まれるかどうかの判定を行う （ステップ S 2 2 ) 。 検索に用いる 記述子がメタデータ 4 9に含まれない場合には、 そのメタデータ 4 9の解析処理 を終了 （ステップ S 2 4 ) し、 必要に応じて別のメタデータ 4 9の解析を行う。 選択された記述子がメタデータ 4 9に含まれる場合には、 メタデータの解析を 行う （ステップ S 2 3 ) 。 メタデータの解析方法については上記実施例 5の場合 と同様にメタデータ最適化ヒント情報 6 2を用いて図 1 8や図 1 9に示すメタデ ータ解析処理を効率的に行う （ステップ S 2 5〜S 2 6 ) 。 以上の処理を通して、 メタデータ解析部 7 1より検索に必要な特徴記述が抽出される。 検索部 7 3では、 メタデータ解析部 7 1より出力されるメタデータの解析結果 (検索に必要な特徴記述） 7 2を利用して、 検索条件に適合するコンテンツを検 索する。 上述した例では、 色の特徴記述 （ 「色のヒス トグラム」 ） をもったビデ 才セグメントに関する記述がメタデータ解析部 7 1より出力されるので、 検索条 件として与えられた色の特徴量 （ヒス トグラム） との適合性を判定し、 適合した ビデオセグメントの情報 （例えば 「時間情報 J ) を検索結果 7 4として出力する。 以上のように、 本実施例 6では、 メタデータ最適化ヒント情報 6 0を使ってメ タデータ 4 9の解析を行うため、 メタデータ再生成のためのメタデータ 4 9自体 の解析を省くことができる。 また、 出現位置や出現回数により、 検索に必要では ない記述子の解析を省くことができるため、 メタデータの検索に伴う処理コスト (処理量やメモリ使用量等） を低減することができる。 実施例 7 . 上記の実施例 5または実施例 6では、 メタデータ最適化ヒント情報を利用する サーバ側について説明したが、 この実施例 7では、 メタデータ最適化ヒント情報 を利用するクライアント端末 （メタデータ再生成条件設定装置） について説明す る。 . この発明の実施例 7に係るクライアント端末について図面を参照しながら説明 する。 図 2 2は、 この発明の実施例 7に係るクライアント端末の構成を示すプロ ック図である。 図 2 2において、 クライアント端末 4 8 Aは、 ヒント情報解析部 8 0と、 メタ データ再生成条件設定部 8 2とを備えている。 なお、 図 2 2には、 クライアント端末 4 8 Aに備わる機能のうち、 メタデータ 最適化ヒント情報 6 0を利用してメタデータ再生成のための条件を設定する手段 に関わる部分のみを示している。 つぎに、 この実施例 7に係るクライアント端末の動作について図面を参照しな がら説明する。 ヒント情報解析部 8 0は、 規定のフォーマットで記述されたメタデータ最適化 ヒント情報 6 0の解析を行う。 このヒント情報角军析部 8 0は、 上記実施例 5と同 じであるので、 詳細な説明を省略する。 メタデータ再生成条件設定部 8 2は、 ヒント情報解析部 8 0より出力される解 析結果 8 1をもとに、 メタデータ再生成の条件設定 8 3を行う。 条件設定とは、 例えば、 メタデータ最適化ヒント情報 6 0に含まれる記述子の種類の中からクラ イアント端末 4 8 Aに不必要な記述子の選択がある。 クライアント端末 4 8 Aが 特徴量を用いた検索機能を備えない場合には、 色のヒストグラムや動きの複雑性 などの特徴量を表現する記述子は不要である。 条件設定の別の例として、 コンテンツのシーン関係を記述する階層構造が深く なるほどメタデータの複雑度が増すときに、 メタデータ最適化ヒント情報 6 0に 記述されている階層構造の深さの最大値をもとに、 クライアント端末で処理可能 な階層構造の深さを設定する。 また、 別の例では、 メタデータ最適化ヒント情報 6 0に記述されている重要度がとり得る値の情報をもとに、 ユーザが着目する視 点と、 選択するシーンの重要度の閾値を設定する。 上述したように、 重要度が " T e a mA "、 " T e a m B "のそれぞれの視点 から、 5つの離散的な値 （ { 0 . 0， 0 . 2 5， 0 . 5， 0 . 7 5 , 1 . 0 } ) をとる場合には、 " T e a mA "の視点で 0 . 5以上の重要度をもつシーンのみ を選択するなどの設定を行うことができる。 メタデータ再生成条件設定部 8 2で設定されたメタデータ再生成のための条件 8 3は、 メタデータ配信サーバに送信される。 メタデータ配信サーバ側では、 メ タデータ再生成のための条件と、 クライアント端末の端末性能とに基づいてメタ データを再構成する。 例えば、 もとのメタデータの階層構造の深さの最大値が 4 で、 メタデータ再生成条件に、 クライアント端末で処理可能な階層構造の深さが 2と設定されている場合には、 階層構造の深さの最大値が 2となるように、 メタ データの構造を再構成する。 また、 メタデータ再生成条件に、 " T e a mA "の視点で重要度が 0 . 5以上 のシーンのみを選択すると設定されている場合には、 同条件に合致するシーンの みで構成されたメタデータを再生成する。 メタデータ再生成は、 上記実施例 5と 同様にメタデータ最適化ヒント情報を用いて効率的に行うことができる。 以上のように、 本実施例 7では、 メタデータ最適化ヒント情報 6 0を使ってメ タデータ再生成のための条件を設定することができるため、 クライアント端末や アプリケーションに応じて適切なメタデータを生成することができる。 実施例 8 . 上記の実施例 5または実施例 6では、 メタデータ最適化ヒント情報を用いてメ タデータを再生成し、 再生成したメタデータを配信するサーバについて説明した が、 この実施例 8では、 メタデータ最適化ヒント情報を用いてメタデータを解析 し、 解析結果を利用してクライアント端末やユーザ嗜好に適したコンテンツを再 生成して配信するコンテンツ配信サーバ （コンテンツ配信装置） について説明す る。 この発明の実施例 8に係るコンテンツ配信サーバについて図面を参照しながら 説明する。 図 2 3は、 この発明の実施例 8に係るコンテンツ配信サーバの構成を 示すブロック図である。 図 2 3において、 コンテンッ配信サーバ 5 0 0 Aは、 ヒント情報解析部 6 1と、 メタデータ解析部 8 6と、 コンテンツ再構成 ·配信部 8 8とを備える。 つぎに、 この実施例 8に係るコンテンツ配信サーバの動作について図面を参照 しながら説明する。 ヒント情報解析部 6 1の動作は、 上記実施例 5と同様であるので、 説明を省略 する。 メタデータ解析部 8 6は、 ヒント情報解析部 6 1より出力される解析されたメ タデータ最適化ヒント情報 6 2を使って、 メタデータ 4 9の解析を行い、 クライ アント端末に関する情報、 あるいは、 ユーザ嗜好等のコンテンツ再構成に関する 条件 8 5に合致する記述を抽出する。 ヒント情報を使った解析方法は、 上記実施 例 5と同様であるが、 実施例 5と異なる点は、 抽出した記述を使ってメタデータ を再生成するのではなく、 コンテンツを再構成する点である。 このメタデータ解 析部 8 6で抽出された記述、 すなわち解析されたメタデータ 8 7は、 コンテンツ 再構成■配信部 8 8へ出力される。 コンテンッ再構成■配信部 8 8は、 メタデータ解析部 8 6で抽出された記述を 元に、 コンテンツ 8 9の再構成を行う。 ここでは、 上記実施例 5で述べた例を用 いて説明する。 実施例 5の例では、 メタデータ 4 9から重要度が 0 . 5以上の特 徴をもつビデオセグメントのみを抽出し、 抽出したビデオセグメントに関する記 述のみで構成されたメタデータを再生成した。

この実施例 8では、 メタデータ 4 9から重要度が 0 . 5以上の特徴をもつビデ ォセグメントのみを抽出し、 抽出したビデオセグメントに対応するシーンのみで 構成されたコンテンツ 9 0を再構成して配信する。 抽出したビデオセグメントに 関する記述には、 対応するコンテンツの所在とそのビデオセグメントのコンテン ッ内での位置 （時間情報） が記述されているので、 コンテンツから対応するシー ンを切り出し、 一つのコンテンツ 9 0に再構成した上で配信することもできるが、 コンテンツから対応するシーンを切り出し、 切り出したシーンを順次配信するこ ともできる。 以上のように、 本実施例 8に係るコンテンツ配信サーバ 5 0 O Aでは、 メタデ ータ 4 9に含まれる記述子のリストゃ記述子の出現位置、 出現回数等が記述され たメタデータ最適化ヒント情報 6 0を使ってメタデータの解析を行うため、 メタ データ再生成のためのメタデータ 4 9自体の解析を省くことができる。 また、 出 現位置や出現回数により、 再生成条件に合致しない記述子の解析を省くことがで きるため、 クライアント端末やユーザ嗜好に適したコンテンツを再生成して配信 する際のメタデータの解析及びコンテンツの再構成に伴う処理コスト （処理量や メモリ使用量等） を低減することができる。 産業上の利用の可能性

この発明は、 以上説明したとおり、 動画像や音声を含むマルチメディアコンテ ンッを複数のシーンに分割し、 複数に分割したシーンを編集してマルチメディア コンテンッの階層的な構造を記述するシーン構造情報メタデータを生成するよう にしたので、 ビデオデータ等を含むマルチメディアコンテンツのもつ階層的な構 造を記述したメタデータを生成することができる。

Claims

請 求 の 範 囲

1 . 動画像、 音声の少なくとも一つを含むマルチメディアコンテンツを複数の シーンに分割し、 分割したシーン毎にシーンの開始位置と終了位置とを示すシー ンの区間情報メタデータを生成するシーン分割部と、

前記シーン分割部からのシーンの区間情報メタデータに基づいて、 前記マルチ メディアコンテンッの各シーンの階層的な編集を行ない、 前記マルチメディァコ ンテンッの階層的な構造を記述するシーン構造情報メタデータを生成するシーン 記述編集部と、

前記シーンの区間情報メタデータ、 及び前記シーン構造情報メタデータを統合 し、 所定のフォーマツトに従つて前記マルチメディアコンテンツの内容及び構造 を記述したメタデータを生成するメタデータ記述部と ,

を備えるメタデータ編集装置。

2 . 前記シーン分割部からのシーンの区間情報メタデータに基づいて、 前記マ ルチメディアコンテンツの各シーンの視覚的特徴量を抽出して特徴記述メタデー タを生成する特徴抽出部をさらに備え、

前記メタデータ記述部は、 前記シーンの区間情報メタデータ、 前記シーン構造 情報メタデータ、 及び前記特徴記述メタデータを統合し、 所定のフォーマットに 従つて前記マルチメディアコンテンツの内容及び構造を記述したメタデータを生 成する

請求項 1のメタデータ編集装置。

3 . フレーム間差分に基づいて前記マルチメディ了コンテンッのシーンチェン ジ点を検出するシーンチェンジ検出部をさらに備え、

前記シーン分割部は、 前記シーンチェンジ点に基づいて前記マルチメディァコ ンテンッを複数のシーンに分割する

請求項 1又は 2のメタデータ編集装置。

4 . 動画像、 音声の少なくとも一つを含むマルチメディアコンテンツの内容及 び構造を記述したメタデータを解析するメタデータ解析部と、

前記メタデータ解析部の解析結果により取得された前記メタデータに記述され ているシーンの視覚的特徴量に基づいて、 前記メタデータから所定の検索条件に 合致するシーンを検索する検索部と、

前記メタデータ解析部の解析結果により取得された前記メタデータに記述され ている所定の情報に基づいて、 所定の要約作成条件に合致する前記マルチメディ ァコンテンツの要約情報を作成する要約作成部と

を備えるメタデータ再生装置。

5 . 動画像、 音声の少なくとも一つを含むマルチメディアコンテンツの内容及 び構造を記述したメタデータを解析するメタデータ解析部と、

クライアント端末の性能に関する情報に基づいて前記クライアント端末の能力 を判定する端末能力判定部と、

前記メタデータ解析部のメタデータ解析結果に基づいて、 前記判定されたクラ イアント端末の能力に応じて前記マルチメディアコンテンツを再構成し、 その内 容を記述した第 2のメタデータを再生成するメタデータ再生成部と、

前記メタデータ再生成部により再生成された第 2のメタデータを前記クライァ ント端末に配信するメタデータ配信部と

を備えるメタデータ配信装置。

6 . メタデータに含まれる記述子の種類を記述するメタデータ最適化ヒント情 報を解析するヒント情報解析部と、

前記解析されたメタデータ最適化ヒント情報、 及びメタデータ再生成に関する 条件に基づいて、 動画像、 音声の少なくとも一つを含むマルチメディアコンテン ッの内容及ぴ構造を記述したメタデータを解析して第 2のメタデータを再生成す るメタデータ解析 ·再生成部と、

前記メタデ一タ解析 ·再生成部により再生成された第 2のメタデータをクライ アント端末に配信するメタデータ配信部と を備えるメタデータ配信装置。

7 . メタデータに含まれる記述子の種類と内容を記述するメタデータ最適化ヒ ント情報を解析するヒント情報解析部と、

前記解析されたメタデータ最適化ヒント情報、 及び検索条件に基づいて、 動画 像、 音声の少なく とも一つを含むマルチメディアコンテンツの内容及び構造を記 述したメタデータを解析するメタデータ解析部と、

前記メタデータの解析結果を利用して、 前記検索条件に適合するコンテンツを 検索する検索部と

を備えるメタデータ検索装置。

8 . メタデータに含まれる記述子の種類と内容を記述するメタデータ最適化ヒ ント情報を解析するヒント情報解析部と、

前記解析されたメタデータ最適化ヒント情報に基づいて、 動画像、 音声の少な くとも一つを含むマルチメディアコンテンツの内容及び構造を記述したメタデー タを再生成するための条件を設定するメタデータ再生成条件設定部と

を備えるメタデータ再生成条件設定装置。

9 . メタデータに含まれる記述子の種類と内容を記述するメタデータ最適化ヒ ント情報を解析するヒント情報解析部と、

前記解析されたメタデータ最適化ヒント情報、 及ぴコンテンッ再構成に関する 条件に基づいて、 動画像、 音声の少なくとも一つを含むマルチメディアコンテン ッの内容及び構造を記述したメタデータから前記コンテンツ再構成に関する条件 に合致する記述を抽出するメタデータ解析部と、

前記抽出された記述に基づいて、 コンテンツを再構成してクライアント端末に 配信するコンテンッ再構成 ·配信部と

を備えるコンテンツ配信装置。

1 0 . メタデータに含まれる記述子の種類を記述するメタデータ最適化ヒント 情報を解析するステップと、

前記解析されたメタデータ最適化ヒント情報、 及ぴメタデータ再生成に関する 条件に基づいて、 動画像、 音声の少なくとも一つを含むマルチメディアコンテン ッの内容及び構造を記述したメタデータを解析して第 2のメタデータを再生成す 前記再生成された第 2のメタデータをクライアント端末に配信するステップと を含むメタデータ配信方法。

1 1 . 前記メタデータ最適化ヒント情報は、 メタデータファイル情報として、 メタデータファイルの所在、 メタデータに含まれる要素の数を示す出現要素数が 記述されている

請求項 1 0のメタデータ配信方法。

1 2 . 前記メタデータ最適化ヒント情報は、 メタデータファイル情報として、 メタデータフアイ/レのサイズ、 メタデータファイルのフォーマット、 シンタック スフアイル情報が記述されている

請求項 1 0のメタデータ配信方法。

1 3 . 前記メタデータ最適化ヒント情報は、 メタデータ構成要素情報の一つと して、 メタデータに含まれる記述子の名称が記述されている

請求項 1 0のメタデータ配信方法。

1 4 . 前記メタデータ最適化ヒント情報は、 メタデータ構成要素情報の一つと して、 メタデータに含まれる記述子の出現する頻度が記述されている

請求項 1 0のメタデータ配信方法。

1 5 . 前記メタデータ最適化ヒント情報は、 メタデータ構成要素情報の一つと して、 メタデータに含まれる記述子の完全記述性が記述されている

請求項 1 0のメタデータ配信方法。

1 6 . 前記メタデータ最適化ヒント情報は、 メタデータ構成要素情報の一つと して、 メタデータに含まれる記述子がもつ時間における階層性が記述されている 請求項 1 0のメタデータ配信方法。

1 7 . 前記メタデータ最適化ヒント情報は、 メタデータ構成要素情報の一つと して、 メタデータに含まれる記述子がもつ空間における階層性が記述されている 請求項 1 0のメタデータ配信方法。

1 8 . 前記メタデータ最適化ヒント情報は、 メタデータ構成要素情報の一つと して、 メタデータに含まれる記述子が出現する出現位置が記述されている 請求項 1 0のメタデータ配信方法。

1 9 . 前記メタデータ最適化ヒント情報は、 メタデータ構成要素情報の一つと して、 メタデータに含まれる記述子の型が記述されている

請求項 1 0のメタデータ配信方法。

2 0 . 前記メタデータ最適化ヒント情報は、 メタデータ構成要素情報の一つと して、 メタデータに含まれる記述子のとり得る範囲が記述されている

請求項 1 0のメタデータ配信方法。