JP3826043B2 - 情報処理装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、メタデータを利用する情報処理装置及び方法に関する。
【０００２】
【従来の技術】
小型の計算機システムの能力向上や低価格化によって、家庭電化製品の中にはその制御や情報処理のために、計算機を内蔵するものが一般的となっている。また、デジタルデータで供給されるビデオや音楽などをはじめ、映像と音声などの高品位のコンテンツが供給されるようになるとともに、それらが混在したマルチメディアコンテンツが流布されるようになってきた。さらに、ここ数年の地球規模のコンピュータネットワークであるインターネットの普及や、移動体通信の低価格化の実現によって、これらのコンテンツが簡単に入手でき、また楽しめる時代になってきた。
【０００３】
家庭用のビデオ機器も、アナログで放送を記録したり、メディアで供給される映像や音楽を楽しむという状態から、高品位で劣化しないデジタルデータとして動画や音声を記録・再生する機器へと遷移している。例えば、デジタルデータを扱える小型で安価なデジタルビデオ記録装置や、普通の家庭でも購入できるデジタルビデオカメラ等が出現し、家庭内でデジタルビデオ撮影を行い、これを見て楽しむことが可能となっている。
【０００４】
これにより、放送系の企業などが行っていたビデオ撮影と編集を、家庭においても行うという機会は増大してきている。放送系の企業などは、撮影や編集を行うための高度な機器や、内容をわかりやすくするための編集や構成を行うための高度な技術を持つ技術者などを擁しているのに対し、各家庭でこれらを用意することはまずあり得ない。従って、家庭向けビデオカメラで撮影した内容の編集は、高価な機器や高度な編集技術の必要性から、あまり行われていないのが現状である。しかし、家庭内で撮影された動画はもちろんのこと、各種メディアやインターネットなどの通信手段によって、家庭に向け配信される情報とコンテンツは増大し、それが動画や音声などのマルチメディアな情報やコンテンツへと変化してきており、このようなコンテンツに対する情報検索の機能は非常に重要になってきている。
【０００５】
また、インターネットをはじめ、情報の流通や発信を行うためのインフラの拡大により、個人でも情報発信を行える時代になってきており、動画や音声を中心とした情報の発信が始まりつつある。従って、今後、インターネット上において、このようなマルチメディア情報やコンテンツの情報の検索機能等は、ますます必要性が高まっていくことが予想される。また、その検索機能は素人でも容易に扱えるものである必要がある。
【０００６】
さらに、インターネットの常時接続や移動体通信によって、リアルタイムに最新の情報やコンテンツを配信することが容易になってきたために、放送系の企業などでも、最新の映像などを効率良く入手し、編集、加筆などを行うことは非常に重要である。このような状況下では、既存の情報やコンテンツをすばやく検索し、新しい情報やコンテンツに反映していくような機能や、それらのコンテンツの編集・加工が容易に行えるような機能が求められることになる。
【０００７】
特に、情報量が多く時間経過によって変化する内容をとらえた動画などの情報は、蓄積しておくにも非常にかさばる上に、その内容について簡単に検索を行うことは非常に難しい。同じデジタルデータでも、文書データなどであれば、文字や単語を指示すれば、それを含む部分を探すことは、計算機にとっては難しいことではない。しかしながら、動画や音声などの場合、完全に一致する情報を提示し、それを検索させるような状況はほとんどなく、なんらかの意味で類似している部分を検索するような状況が一般的である。また、その映像や音声などで表現されている内容を計算機が理解することは、現在の技術では非常に難しいので、コンテンツの内容についての検索を行うことも、同様に非常に困難となるという問題がある。
【０００８】
以上のように、ビデオコンテンツなどをはじめとして、扱われるコンテンツは肥大化しており、それらコンテンツの検索や編集・加工などを容易に行えるようにすることが強く要求されている。
【０００９】
このような環境にあって、その巨大なコンテンツの中身を解釈するのではなく、コンテンツの特徴や特性などをメタデータとして、コンテンツの内部または外部に保持し、その情報を利用して検索などの機能を実現する機器が出現してきた。
【００１０】
例えば、動画、静止画、音声などのコンテンツや情報に対して、その内容や特徴を表すキーワードや説明文などの言語的な記述や、計算機が処理しやすい形式で画像や音声の特徴を記述した非言語的な情報をメタデータとして付与しておくことで、それらの検索や利用を容易にするという方式が提案されている。
【００１１】
また、メタデータ自身に関しても、ＭＰＥＧ−７など、共通フォーマット化の動きが始まっている。しかし、そのようなメタデータも膨大かつ多種多様であり、すべての機器が、その膨大かつ多種多様なすべてのメタデータを扱えるわけではない。そのため、このようなメタデータを利用する機器は、常に、未知のメタデータに遭遇する可能性があるが、これを無視する機能程度しか保有していない状況にある。
【００１２】
【発明が解決しようとする課題】
さまざまなメタデータが付与されるようになって、各社が独自にメタデータを格納するようなシステムを作成するような状況や、また、そのようなシステムが世代を重ねていく状況が生じると、どうしても、他社や過去のシステムから見ると、未知のメタデータや機器の仕様から対応できないメタデータが存在する状況が生まれることになる。しかし、そのようなメタデータについても、ある種の基本的な操作ができ、最低でもコピーするような機能がないと、そのメタデータをコンテンツに付与させておくことすら難しくなってしまう。
【００１３】
また、メタデータの記述に影響を及ぼす編集操作がコンテンツに対してなされた場合、そのメタデータが利用できなくなる場合がある。一例を示せば、コンテンツのある区間についてセピア色への変更を行なった場合、当該区間に対して代表色を記述したメタデータは、そのままでは意味を持たなくなる。ここで、そのような編集操作を行なった装置がそのメタデータに対応していなければ、無効なメタデータが付与されたままとなり、正しくメタデータを利用することができなくなる。
【００１４】
このような課題に対し、特開平０８−０７７１１６のようなシステムが提案されている。このシステムでは、オブジェクト指向のデータの管理方式を用いている場合に、負荷分散を行うため、オブジェクト（データ）と属性（メタデータ）を用いて、その属性や各種状態に応じて処理の分散方式を判断する中心的な処理装置があり、この処理装置によって適切な処理を適切な処理部分に実行させるべく指示できる。しかしながら、上記のシステムでは、中心的な処理装置を別途用意する必要が生じ、システムの設計や使用における自由度を著しく低下させていた。また、処理を分散させているだけで、新しい処理方式の必要なオブジェクト（データ）を追加した場合には、常に、この中心的な処理装置の判断方式も変更する必要があった。
【００１５】
本発明は、上記の課題に鑑みてなされたものであり、各メタデータの有効性を確実に判定可能とすることを目的とする。
【００１６】
【課題を解決するための手段】
上記の目的を達成するための本発明による情報処理装置は、
メタデータの有効性に影響を及ぼす編集内容を示すための第１の記述データを含むメタデータが付与されたコンテンツデータを保持する保持手段と、
ユーザからの指示入力に応じて前記コンテンツデータを編集する編集手段と、
前記編集手段によって前記コンテンツデータに対してなされた編集内容を示す第２の記述データを発生し、該第２の記述データを前記メタデータに加えることにより該メタデータを更新する更新手段とを備える。
【００１７】
また、上記の目的を達成するための本発明による情報処理方法は、
メタデータの有効性に影響を及ぼす編集内容を示すための第１の記述を含むメタデータが付与されたコンテンツデータを保持手段に保持させる保持工程と、
ユーザからの指示入力に応じて前記コンテンツデータを編集する編集工程と、
前記編集工程によって前記コンテンツデータに対してなされた編集内容を示す第２の記述データを発生し、該第２の記述データを前記メタデータに加えることにより該メタデータを更新する更新工程とを備える。
【００１８】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を詳細に説明する。
【００１９】
図１は、本実施形態によるメタデータ利用処理を実現する情報処理装置の構成の一例を示す図である。
【００２０】
図示の構成において、ＣＰＵはマイクロプロセッサであり、各種処理のための演算、論理判断等を行ない、アドレスバス（ＡＢ）、コントロールバス（ＣＢ）、データバス（ＤＢ）を介して、それらのバスに接続された各構成要素を制御する。その作業内容は、後述するＲＯＭやＲＡＭ上の計算機プログラムをによって指示される。また、ＣＰＵ自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることができる。
【００２１】
アドレスバス（ＡＢ）はマイクロプロセッサ（ＣＰＵ）の制御の対象とする構成要素を指示するアドレス信号を転送する。コントロールバス（ＣＢ）はマイクロプロセッサ（ＣＰＵ）の制御の対象とする各構成要素のコントロール信号を転送して印加する。データバス（ＤＢ）は各構成機器相互間のデータ転送を行なう。
【００２２】
ＲＯＭは、読出し専用の固定メモリである。ＲＯＭには、後述するマイクロプロセッサ（ＣＰＵ）による制御の手順を記憶させた計算機プログラムエリアやデータエリアが格納されている。
【００２３】
また、ＲＡＭは、書込み可能なランダムアクセスメモリであって、後述するマイクロプロセッサ（ＣＰＵ）による制御の手順を記憶させた計算機プログラムエリアやデータエリアとしても用いられるし、マイクロプロセッサ（ＣＰＵ）以外の各構成要素からの各種計算機プログラムや各種データの一時記憶エリアとしても用いられる。
【００２４】
これらＲＯＭやＲＡＭなどの記憶媒体には、各種計算器プログラムやデータなどが格納される。これらの記録媒体に格納されたプログラムコードを、そのシステムあるいは装置のコンピュータが、読み出して実行することによって種々の機能が実現されることになる。なお、プログラムコードを格納する記憶媒体としては、ＲＯＭやＲＡＭに限らず、いかなる記憶媒体を用いてもよい。
【００２５】
また、本発明に係わるプログラムやデータを格納した記録媒体をシステムあるいは装置に供給して、ＲＡＭなどの書き換え可能な記憶媒体上に、上記の記憶媒体から、そのプログラムがコピーされる場合もある。その場合の記憶媒体としては、ＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−ＲＯＭ、ハードディスク、メモリカード、光磁気ディスクなどを用いることができる。
【００２６】
ＲＡＭに実際に置かれる計算機プログラムやデータとしては、様々なものがあるが、そのなかに本実施形態のメタデータに関する処理を実現する計算機プログラムが含まれる。これは本実施形態そのものであり、これについては、詳しく後述するものとする。
【００２７】
また、図２に示すように、この計算機プログラムを格納した媒体から、本実施形態の計算機プログラムを読みこむことが当然可能であり、この計算機プログラムを格納した記憶媒体も本実施形態として含まれるものである。なお図２において、２−ａは図１で示される情報処理装置、２−ｂは記憶媒体を読み出すドライブ装置、２−ｃは上述の計算機プログラムを格納した媒体である。
【００２８】
図１に戻って、ＤＩＳＫはハードディスクであり、さまざまなデータ等を記憶するための外部メモリとして機能する。ハードディスク（ＤＩＳＫ）は、多量の情報を比較的高速に読み書きができる記憶媒体を内蔵しており、そこに各種データ等を必要に応じて保管し取り出すことができる。また、保管された計算機プログラムやデータはキーボードの指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ上に完全もしくは部分的に呼び出される。
【００２９】
MemCardはメモリカードであり、着脱型の記憶媒体である。このメモリカード（MemCard）に情報を格納し、他の機器へ接続することで、記憶させておいた情報を参照・転写することが可能になる。
【００３０】
ＫＢはキーボードであって、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、及び、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。
【００３１】
ＣＲはカーソルレジスタである。マイクロプロセッサ（ＣＰＵ）により、カーソルレジスタ（ＣＲ）の内容が読み書きされる。後述するＣＲＴコントローラ（ＣＲＴＣ）は、ここに蓄えられたアドレスに対する表示装置（ＣＲＴ）上の位置にカーソルを表示する。ＤＢＵＦは表示用バッファメモリで、表示すべきデータのパターンを蓄える。
【００３２】
ＣＲＴＣは表示コントローラであり、カーソルレジスタ（ＣＲ）及び表示用バッファメモリ（ＤＢＵＦ）に蓄えられた内容を表示器ＣＲＴに表示する役割を担う。
【００３３】
また、ＣＲＴは陰極線管や液晶等を用いた表示装置であり、その表示装置（ＣＲＴ）におけるドット構成の表示パターンおよびカーソルの表示をＣＲＴコントローラ（ＣＲＴＣ）で制御する。さらに、ＣＧはキャラクタジェネレータであって、表示装置（ＣＲＴ）に表示する文字、記号のパターンを記憶するものである。
【００３４】
ＮＣＵは、本実施形態の装置もしくは手段が、他の装置もしくは手段と通信を行うためのもので、これを利用することで、本実施形態のプログラムやデータを、他の装置もしくは手段と共有することが可能になる。図中では、個人向け計算機（ＰＣ）、テレビ放送や自分で撮った映像などの受信・蓄積・表示装置（ＴＶ／ＶＲ）、家庭用の遊戯用計算機（ＧＣ）などと、計算機ネットワーク（ＬＡＮ）で接続されており、ＮＣＵを介して本実施形態の装置は、これらと自由に情報の交換ができるようになっている。
【００３５】
いうまでもないことだが、本発明の装置とネットワークで接続されている機器は、何でもかまわない。また、そのネットワークの種類などは何でもかまわないし、ネットワークは図のような閉じたネットワークではなく、外部のネットワークと接続されているようなものでもかまわない。
【００３６】
ＤＴＵは人工衛星などを利用した同報型通信の受信機能を実現する部分であり、人工衛星を経由して放送される電波などを、パラボラアンテナ（ＡＮＴ）で受信して、放送されている内容である情報を取り出す機能を有する。同報型通信の形態にはいろいろなものがあり、地上波の電波で放送されるものや、同軸ケーブルや光ケーブルなどで放送されるもの、上記ＬＡＮや大規模ネットワークなどで配信されるものなどいろいろな形態が考えられるが、同報型通信のものであれば、なんでもかまわない。
【００３７】
さて、上記の構成を備えた本実施形態の情報処理装置において、動画や静止画などのマルチメディアコンテンツに対し、編集・加工を行うとともに、そのメタデータについても操作を行う機能を有する、コンテンツ利用装置が実現される。コンテンツとそのメタデータは通常、図１のハードディスク（ＤＩＳＫ）やメモリカード（MemCard）などの記憶装置や、図１のＮＣＵやＤＴＵを介して接続可能な外部の記憶装置にあるものとする。コンテンツは、動画や静止画など何であっても良く、そのコンテンツの記録形式はいかなる形式であっても構わない。メタデータも同様であり、本実施形態の情報を保有しておれば、いかなる記述形式、記録形式であっても構わない。なお、以下の説明では、ビデオコンテンツにＸＭＬ形式で記述されたメタデータが付与される形態を例に挙げて説明する。
【００３８】
図３は、第１の実施形態によるビデオコンテンツに対するメタデータの、ＸＭＬ形式による記述例を示した図である。この詳細について、以下に述べる。
【００３９】
3-aはメタデータが3-a以降続くことを記述したもので、このようなＸＭＬ形式でデータを記述した場合、メタデータ以外の情報も記述される場合もあるので、その区別のために記述されているものである。そして、3-yは当該メタデータの記述の終了を記述したものであり、3-bから3-xがメタデータであることがわかるようになっている。
【００４０】
メタデータの中身としては、まず、3-bに当該メタデータが付与されるコンテンツの範囲、すなわち付与範囲が指定されている。3-bでは、ビデオコンテンツ中の０時２分１２秒から０時４分３４秒までがこのメタデータの付与範囲であることが記述されている。そして、その行以降から、その付与範囲に対して付与されたメタデータの内容が、記述されていくことになる。3-xはこの付与範囲に適用されるメタデータの記述の終了を示すもので、これにより、3-wまでが、この付与範囲に対応するメタデータとなることがわかる。このメタデータには、3-d〜3-j、3-k〜3-q、3-r〜3-xの３つのメタデータアイテムが含まれている。
【００４１】
3-cから3-jは、上記付与範囲のビデオコンテンツの動画部分の内容の代表色がメタデータとして付与されたものを記述した部分である。3-cはそのメタデータの開始を記述しており、3-jがその記述の終了を記述している。3-iはその代表色をＲＧＢの値で記述している。この代表色は、ビデオコンテンツ内の検索などに使用されるもので、メタデータの一種である。
【００４２】
3-dから3-hは、当該メタデータが利用可能か否かを判断するためのデータであり、メタデータのメタデータ的なものである。以下、この種のデータをメタメタデータと称する。3-dはそのメタメタデータの記述の開始を記述し、3-hはその記述の終了を示している。3-eはメタメタデータの中身であり、このメタデータの付与範囲内で色変更（ColorChange）の操作が行われると、この代表色のメタデータが利用できなくなることを示している（色変更操作が無効化操作（DisableOperation）であることを示している）。同様に、3-fは、ビデオ編集での切り貼り（VideoEdit）がこのメタデータの付与範囲内で行われると、この代表色のメタデータが利用できないことを示している。これに対し、3-gは、この付与範囲のビデオコンテンツ部分に関して、色変更操作が実際に行なわれたことを示している。
【００４３】
3-kから3-qは、上記付与範囲内の台詞に関するメタデータである。記述の構造は、上記代表色の場合と同様である。即ち、3-pは、台詞が「こんにちは」という内容のメタデータである。3-mは、メタメタデータであり、ビデオコンテンツの上記付与範囲内で音声情報の変更（AudioChange）が行われると、このメタデータが利用できなくなることを示している。また、3-nでは、この付与範囲のビデオコンテンツ部分に関して、色変更操作が行なわれたことを示している。
【００４４】
3-rから3-wは、上記付与範囲における撮影対象に関するメタデータである。記述の構造は、上記代表色や台詞の場合と同様である。すなわち、3-tは、撮影対象のメタデータとして、この対象区間内の動画中に人間が撮影されており、それが「鈴木一郎」という名前であることを示している。また、3-s〜3-uは、メタメタデータであり、この場合、当該付与範囲のビデオコンテンツ部分に対してどのような操作が行われても、このメタデータが有効であることを意味している（3-t、無効化操作(DisableOperation)が無い(Nothing)）。
【００４５】
なお、3-s〜3-uのメタメタデータには、上記２つのメタメタデータと異なり、色変更の操作記録が記述されていない。これは、色変更操作後に3-r〜3-wで示されるアイテムが追加されたためである。このようなアイテムの追加が発生するケースとしては、ビデオ編集において異なる区間のものを接続したことによりそれぞれの区間が有していたメタデータが結合された場合等が挙げられる。このように、さまざまな編集を繰り返すことにより、メタメタデータは、同一ビデオコンテンツ上であっても、いろいろな値が設定されている状態が容易に生じることになる。
【００４６】
付与範囲毎に以上のようなメタデータの記述がなされる。図７は上記メタデータによるビデオコンテンツへの付与状態を説明する模式図である。７０１はビデオコンテンツであり、図７では４つの付与範囲にメタデータが付与されている。７０２はメタデータの一つのデータ構成を示しており、上記図３に準じたデータ構成が示されている。メタデータ７０２は当該メタデータのビデオコンテンツにおける付与範囲を示す付与範囲情報７０３、代表色等のメタデータを表すメタデータアイテム７０４〜７０６（メタデータアイテムの数はいくつでもよい）を含む。更に、メタデータアイテム７０４〜７０６のそれぞれは、当該メタデータの有効性を判定するためのメタメタデータ７０７〜７０９を含んでいる。
【００４７】
以上のように、本実施形態のメタデータは、動画などのコンテンツにメタデータを付与するとともに、そのメタデータの各アイテムの有効性を判定するための判断用情報をメタメタデータとして付与し、その両方をいっしょに各機器などで利用可能とする。これにより、各コンテンツは、そのメタメタデータという冗長な部分を有することになるが、そのメタメタデータの情報を利用することで、コンテンツの編集・加工が行われた場合に、そのメタデータの各アイテムが利用可能かどうかを、各機器で判定することができる。また、そのメタデータのアイテムを知らない機器でも、その有効性の判定が可能になる。また、その判定の処理は各機器内で行われるために、その処理作業を分散させることが可能となる。つまり、分散化された処理装置の中で、メタデータへの処理を、そのメタデータに対するメタデータ（メタメタデータ）から決定するのである。かくして、特願平０８−０７７１１６号公報に記載の技術とは異なり、中心的に処理を指示する部分を保有しないが、処理の分散化が可能で、かつ、個々の機器にとって未知のメタデータに対しても行えるという特徴ある構成、作用が得られる。
【００４８】
図４は、実際に、ビデオコンテンツに対して、そのビデオデータの編集・加工を行っている画面を示している。これは、ウィンドウシステムを利用した場合の画面の例であり、図１の表示コントローラＣＲＴＣやキャラクタジェネレータＣＧを介して、表示装置ＣＲＴに表示されているものである。
【００４９】
４−１はタイトルバーと呼ばれるもので、このウィンドウ全体の操作、例えば移動や大きさの変更などを行う部分である。４−２はツールバーと呼ばれる部分で、このウィンドウ内の主な機能を簡単に呼び出せるようにするものである。
【００５０】
４−３は、現在、編集・加工をしようとしている対象の動画のシーンや静止画を選択する部分である。図４では、デジタルビデオで録画した「山田君の結婚式.mpg」という動画ファイル内のシーンについて作業を行っているところが示されている。ここでつまみ上のスライダを図１のＫＢなどの入力装置を用いて操作することで、この動画内の任意の区間を指定してシーンを選択することが可能である。
【００５１】
図４の４−３において、太枠の中にある絵の部分が現在選択されているシーンの先頭の１ショット（１フレーム）であり、その前後などのシーンについても、同様のものが見れるようになっている。これにより、利用者は、自分が編集・加工したいビデオコンテンツ内の区間を１つのシーンとしてを選ぶことができる。本実施形態は、主にマルチメディアデータの編集や加工や再生などを行うときのためのものであるが、本発明は、マルチメディアデータの検索をはじめとするさまざま利用方式の装置や手段の一部の機能として利用でき、本発明の特徴である部分以外のの機能を不要にしたり、さらにいろいろな機能部分を付加することでもっと高度な機能を持たせるような場合も考えられるが、いずれの場合でも本発明に含まれるものである。
【００５２】
４−４は、４−３で選択したシーンを再生して見るための部分であり、スライダと呼ばれるつまみなどを操作することで、このシーン内の任意のショットやフレームを自由に移動でき、見ることができる。また、このシーンが撮影された時間などの情報があれば、この中に表示するようにしてもよい。この部分を利用して利用者は、自分が選択したシーンの内容を把握できる。
【００５３】
４−５は、４−３、４−４で切り出した区間に対して、編集・加工・効果などを指示する部分である。ここで、任意の編集・加工・効果を選択して、追加ボタンを押下すると、指定された編集・加工・効果が行われて、４−６２に追加登録される。この際に、本実施形態のメタメタデータを利用したメタデータの処理が行われることになる。この処理の内容については、後述する。
【００５４】
４−６は、編集・加工されたビデオデータを、整列してビデオデータとして出力し、本機器で利用可能なビデオコンテンツとしてメタデータとメタメタデータが付与された状態で格納される機能を提供する部分である。４−６１は出力形式を指定する部分である。４−６２は、４−３、４−４、４−５で抽出され、必要に応じて編集されたビデオデータを並べておくところである。ここで順番を交換することで、最終的なビデオコンテンツでの順番を指定・変更することができる。
【００５５】
４−７は、４−６に並べてあるビデオデータを、１つのビデオコンテンツとして出力することを指示する部分である。
【００５６】
図５は、ビデオデータの区間が指定され、当該区間に対して編集・加工などが行われた場合のメタデータに対する処理の手順の概略を図示したフローチャートである。図５の処理は、この処理を実現する場合の一例として、計算機プログラムとして実現される場合のものであり、これらが実行される際に、この処理の部分的または全体的に、また、同一もしくは複数の装置で動作する場合もあるし、これらが同時に並列に動作する場合もあるが、いずれも本発明の目的は達成される。
【００５７】
以下、図５で示される処理内容と手順について説明する。ビデオデータの区間が指定されて、編集・加工などが指示されると、ステップＳ５−１から処理が開始される。
【００５８】
ステップＳ５−２では、本処理で処理対象となるメタデータ及びそのメタメタデータと、指示された編集加工の内容についての情報を利用できるように、あらかじめ準備しておく。ここではいろいろな方法が考えられるが、例えば、各情報を、図１の記憶媒体であるDISKやMemCardから読み出し、利用しやすいように図１RAM上に、形式を変換して配置する処理が行われる。
【００５９】
ステップＳ５−３では、編集・加工の対象になっている区間の中にその全てもしくは一部が含まれる区間に対応したメタデータを検索する。例えば、図７において７２１の部分が編集・加工対象として抽出された場合には、ビデオコンテンツのＢ、Ｃ、Ｄの部分を付与範囲とするメタデータが抽出されることになる。Ａの部分を付与範囲とするメタデータはこの場合は選択されない。
【００６０】
ステップＳ５−４では、ステップＳ５−３による検索の結果、今回の処理対象になるメタデータでメタメタデータの利用が必要となるメタデータがあったかどうかを調べる。この結果、対象となるメタデータが存在しない場合にはそのまま本処理を終了する。対象となるメタデータが存在する場合は、ステップＳ５−５へ移動する。
【００６１】
ステップＳ５−５において、個々のメタデータに対して、そのメタメタデータの記述領域（図７の７０７〜７０９）に、今回行われた編集・加工の処理内容を編集操作履歴のメタメタデータとして追加しておく。なお、メタメタデータとしての編集操作履歴の追加は、各メタデータアイテム毎になされる。
【００６２】
ステップＳ５−６では、編集・加工の際に指定されたコンテンツの区間を抽出するか否かを判定する。即ち、図４の領域４−６２に抽出区間を並べるか否かを判定する。区間抽出をしない場合は、そのまま処理を終了する。この結果、上記編集されたメタデータが当該ビデオコンテンツのメタデータとして保持されることになる。
【００６３】
区間抽出を行なうと判定された場合は、ステップＳ５−７へ進み、当該抽出区間にその一部もしくは全体が含まれる区間に対応したメタデータ（ステップＳ５−３で検索されたメタデータ）をメモリの作業領域にコピーする。そして、ステップＳ５−８で必要な編集を施す。例えば、図７において、区間Ｂと区間Ｄに対応するメタデータは、それぞれ区間の一部が捨てられてしまうので、ビデオ編集がなされた旨（VideoEdit）がメタメタデータとして追加記述される。また、区間Ｂ、Ｃ、Ｄに対応していたメタデータの各々の付与範囲を、編集後の位置に応じて変更する。
【００６４】
その後、ステップＳ５−９において、編集済みとなったメタデータを当該抽出されたコンテンツとともに出力する。ステップＳ５−１０は、本処理の終了を示す。
【００６５】
以上の処理を繰り返し、最終的に出力ボタン４−７がクリックされると、領域４−６１に並べられた抽出区間のコンテンツが、その並べられた順番で結合され、一つの動画ファイルとして出力される。このとき、ステップＳ５−８で編集されためたデータが、この新たなコンテンツに付与されることになる。
【００６６】
次に図６で示される、メタデータの検索手順について説明する。これはキーワードを利用したビデオコンテンツ（或はその区間）の検索に対応する。
【００６７】
ビデオデータとして区間指定して、検索などの指示が行われた場合に、このステップＳ６−１から処理が開始される。ここでは検索を例にあげるが、メタデータを参照したコンテンツへのいかなる操作、ひいてはメタデータに関するいかなる操作であっても本発明に適用可能である。
【００６８】
ステップＳ６−２では、本処理で処理対象となるメタデータ及びそのメタメタデータの検索ができるように、あらかじめ準備しておく。ここではいろいろな方法が考えられるが、例えば、各情報を、図１の記憶媒体であるDISKやMemCardから読み出し、利用しやすいように図１RAM上に、形式を変換して配置する処理が行われる。ステップＳ６−３では、検索条件で指示された区間やメタデータの種類などに従い、該当するメタデータを検索する。
【００６９】
ステップＳ６−４では、今回の検索結果となる候補のメタデータがあったかどうかを調べ、この結果、候補となるメタデータが存在する場合にはステップＳ６−５へ、存在しない場合には、ステップＳ６−６へ移動する。ステップＳ６−５は、今回の検索結果となる候補のメタデータがあった場合の処理である。ステップＳ６−５では、その個々のメタデータに対して、そのメタメタデータを調べて、そのメタデータが利用可能かどうかを調べ、利用できない場合には、検索結果の候補から除外する。
【００７０】
例えば、図３のようなメタデータとメタメタデータがあった場合には、代表色のメタデータは、そのメタメタデータとして、3-eで色変更の操作が行われると利用できないことになっており、3-gでその色変更の操作が行われたことが記録されている。したがって、これら２つの記述から、この代表色のメタデータは利用不可能と判断される。同様に、台詞のメタデータでは、3-mで利用不可能になる操作として音声情報の変更があるが、3-nでは色変更の操作しか行われていないため、これは利用可能と判断される。また、撮影対象に関するメタデータには、編集操作履歴のメタメタデータがないので、これは利用可能と判断される。
【００７１】
たとえば、色変更の操作として、古い写真のようにひなびた色調に変化させるセピア処理を行った場合、セピア処理は、色調を変更するために、代表色メタデータの値を再計算する必要があり、そのままでは使用できなくなる。一方、音声や写っている物や構図などの情報は変更されない。よって、上記の判断のようになる。なお、仮に、音声情報を書き直すアフレコ処理を行った場合には、動画部分は変更されないので色情報のメタデータは利用可能な状態を維持するが、台詞が変更されてしまうかなくなる可能性があるので、台詞のメタデータは利用不可となる。すなわち、台詞のメタデータは使用できなくなるが、それ以外のメタデータは利用可能な状態を維持できる。
【００７２】
このように、編集・加工処理の内容によって、利用可能なメタデータとそうでないメタデータがあり、本実施形態では、そのような観点からの判断を行なうための判断用情報をメタメタデータとしてメタデータ中に記述するのである。このように、メタデータに付与されたメタメタデータを使って、そのメタデータが利用可能かどうか判断できるようにすることで、このメタデータについて対応していない機器であったも、判断できるようになっている。また、この処理を分散して行うことが可能となる。
【００７３】
以上の構成により、マルチメディアコンテンツに対して、様々なメタデータが付与されている場合に、そのマルチメディアコンテンツに対して編集・加工などが行われても不正確なメタデータが付与された状態にならないようになる。また、メタデータを利用したコンテンツ操作を行う際に、容易で正確に行えるようになるため、利用者は、容易に、かつ効果的に、マルチメディアコンテンツの機能を利用できる。
【００７４】
以上のように、動画、静止画、音声などのさまざまなマルチメディアコンテンツに対して編集・加工を行った場合には、そのメタデータの特性や状態も変更すべき場合や、利用できなくなるメタデータが出現する場合がある。これに対して、本実施形態では、コンテンツに対して編集や加工を行なった機器が、そのメタデータを処理できるかどうかにかかわらず、メタメタデータとして編集操作履歴を記述することにより、メタデータの状態を変化させることができる。なお、このメタデータはマルチメディアコンテンツの検索、編集、加工に際して利用されるものである。
【００７５】
即ち、本実施形態によれば、このような動画や静止画などのマルチメディアコンテンツに対し、編集・加工などの操作を行った場合に、機器にとって既知のメタデータはもとより、未知のメタデータに対しても、少なくともそのメタデータが、編集・加工後も利用可能かどうかを判別する手段（メタメタデータ）を提供することができ、メタデータの正確な利用が可能となる。
【００７６】
従って、メタデータに対応していない機器においてマルチメディアコンテンツの編集・加工が行われた場合でも、メタデータに対応した機器においてそのメタデータが利用可能かどうかの判定が可能となる。
【００７７】
以上のようにして、マルチメディアコンテンツに対して、様々なメタデータが付与されている場合に、そのマルチメディアコンテンツに対して編集・加工などが行われた場合でも、各メタデータの有効性が適確に判断できる。このため、メタデータを利用する機器は、このメタデータを利用した検索などの利用・操作を容易で正確に行えるようになる。よって、利用者は、容易に、かつ効果的に、マルチメディアコンテンツを利用できるようになる。
【００７８】
＜第２実施形態＞
上記実施形態では、各メタデータアイテムに記述されるメタメタデータには、図３に示すように、当該メタデータアイテムを無効とする編集操作が、“DisableOperation”として記述されている。第２の実施形態では、無効となる条件（編集操作）を取得するための参照先を記述する。
【００７９】
図８は、第２の実施形態によるビデオコンテンツに対するメタデータの、ＸＭＬ形式による記述例を示した図である。この詳細について、以下に述べる。
【００８０】
8-aはメタデータが8-a以降続くことを記述したもので、このようなＸＭＬ形式でデータを記述した場合、メタデータ以外の情報も記述される場合もあるので、その区別のために記述されているものである。そして、8-xは当該メタデータの記述の終了を記述したものであり、8-bから8-wがメタデータであることがわかるようになっている。
【００８１】
メタデータの中身としては、8-b〜8-d、8-f〜8-k、8-m〜8-r、8-t〜8-wは、図３の3-b〜3-d、3-g〜3-l、3-n〜3-s、3-u〜3-xと同じ記述であり、その意味するところも同じである。図８と図３とでは、メタデータが無効となる処理の記述が異なっており、図３における3-e,f、3-m、3-tの記述に変えて、8-e、8-l、8-sのように記述されている。以下、これらの部分を説明する。
【００８２】
8-eはメタメタデータの中身であり、このメタデータの付与範囲内でどのような操作が行なわれると、このメタデータが利用できなくなるかという判断用情報を取得するために必要な情報が格納されている。本実施形態では、その情報をネットワークで入手する際のアクセス情報となるＵＲＬで記述している。なお、ＵＲＬを用いるのは一例であり、判断用情報の入手を確実に行なえる情報であればなんでもかまわない。8-l、8-sも同様である。
【００８３】
【他の実施形態】
上記実施形態において、ビデオコンテンツ内の区間を抽出しているが、このような操作だけでも、メタデータが利用可能かどうかが変わってしまうメタデータもある。実施形態の代表色メタデータや台詞メタデータは付与区間の一部だけでもビデオコンテンツの編集・加工を行う区間として指定された場合には、これらのメタデータは利用できなくなるが、撮影対象に関するメタデータは利用可能であるので、このようにメタメタデータを記録することになる。このため、上記ステップＳ５−８においては、編集操作履歴にVideoEditを追加している。
【００８４】
また、メタデータによっては、この区間抽出によって、メタデータが対応する区間の前方が切り取られるか後方が切り取られるかといった切り取り方式によっても、利用可能性が変化する場合がある。従って、そのような切り取りの状態を表す編集操作履歴の記述と、そのような操作に対してメタデータが利用可能になるか不可能になるかの記述をメタメタデータとして記録しておけば、メタデータが利用可能かどうかが正確に判定できるようになる。
【００８５】
以上のようにして、マルチメディアコンテンツに対して、様々なメタデータが付与されている場合に、そのマルチメディアコンテンツに対して編集・加工などが行われた場合でも、不正確なメタデータが付与された状態にならないようになり、メタデータを利用する機器が、このメタデータを利用した検索などの利用・操作を行う際に、容易で正確に行えるようになるため、利用者は、容易に、かつ効果的に、マルチメディアコンテンツの利用機能を利用できるようになる。
【００８６】
また、上記実施形態のステップＳ５−８では、抽出されたメタデータについて切り出しに伴う区間変更や各アイテムへの編集操作履歴の追加を行なうが、編集後のコンテンツに適応するようにメタデータを自動的に更新するようにしてもよい。
【００８７】
その更新処理としては、例えば、以下のような処理が考えられる。
（１）無効化操作の記述と編集履歴の記述を比較し、無効であると判定されたメタデータアイテムについて、編集後のコンテンツに従って変更を行なう。例えば、代表色の場合、当該メタデータの区間中のコンテンツから代表色を算出してこれを新たなメタデータとする。この場合、旧メタデータアイテムに置き換えて更新してもよいし、更新後のデータを新たなメタデータアイテムとして追加するようにしてもよい（更新前のメタデータアイテムはそのまま残す）。
（２）無効化操作の記述と編集操作履歴の記述を比較し、無効であると判定されたメタデータアイテムについて、当該メタデータから削除する。
（３）無効化操作の記述と編集操作履歴の記述を比較し、無効であると判定されたメタデータアイテムについて、当該装置において修正が可能であればそれを変更し、修正が不可能であればそれを削除する。
【００８８】
図９は、メタデータの自動編集処理例を説明するフローチャートである。ステップＳ９−１においてメタメタデータ中の記述に基づいて当該メタデータアイテムの有効性を判定する。例えば、図３の3-e、3-fに記述された無効化操作と、3-gに記述された編集履歴を比較して、当該メタデータアイテムが有効か否かを判定する。
【００８９】
メタデータアイテムが無効な場合は、ステップＳ９−２からステップＳ９−３に進み、そのメタデータアイテムを修正可能か否かを判定する。例えば、3-e〜3-fに記述されたメタメタデータによって有効性が判定されたメタデータアイテムは、代表色（DominantColor）であるので、代表色を算出するための機能が自分自身に備わっているか否かを判定することになる。修正が可能である場合（その修正のための機能を有する場合）は、ステップＳ９−４へ進み、コンテンツ中の当該メタデータの付与範囲のデータに基づいてメタデータを取得（この場合、代表色を算出）し、メタデータアイテムを修正する。このとき、当該メタデータアイテムのメタメタデータの編集操作履歴はリセットされる。
【００９０】
なお、上記（２）の削除処理を実行する場合は、ステップＳ９−３とＳ９−４を削除処理に置き換えればよい。また、上記（３）の処理を実行する場合は、ステップＳ９−３で修正不可能と判定された場合に、当該アイテムを削除する処理を追加すればよい。
【００９１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００９２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００９４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９６】
【発明の効果】
以上説明したように、本発明によれば、各メタデータの有効性を確実に判定可能となる。
【図面の簡単な説明】
【図１】本実施形態の装置の全体構成の例を示すブロック図である。
【図２】本実施形態の装置を実現する計算機プログラムなどを格納した媒体から、計算機プログラムなどやデータなどを読みこむ実現形態を示す図である。
【図３】本実施形態の装置で利用されるメタデータとメタメタデータの１つの例としてあげているＸＭＬ記述のデータの図である。
【図４】本実施形態の装置において、ビデオコンテンツの編集・加工を行っている時の画面の図である。
【図５】本実施形態の装置において、ビデオコンテンツの区間を指定して、それに対して編集・加工を行われた場合の、メタデータに対する処理の内容と手順の概略を示したフローチャートである。
【図６】本実施形態の装置において、ビデオコンテンツの区間を指定して、それに対して検索を行った場合の、処理の内容と手順の概略を示したフローチャートである。
【図７】ビデオコンテンツへのメタデータの付与状態を説明する図である。
【図８】第２実施形態によるメタデータとメタメタデータの記述例を示す図である。
【図９】メタデータの自動編集処理を説明するフローチャートである。

Claims (24)

1. メタデータの有効性に影響を及ぼす編集内容を示すための第１の記述データを含むメタデータが付与されたコンテンツデータを保持する保持手段と、
   ユーザからの指示入力に応じて前記コンテンツデータを編集する編集手段と、
   前記編集手段によって前記コンテンツデータに対してなされた編集内容を示す第２の記述データを発生し、該第２の記述データを前記メタデータに加えることにより該メタデータを更新する更新手段とを備えることを特徴とする情報処理装置。
2. 前記メタデータは１つ又は複数のアイテムを含み、アイテム毎に前記第１の記述データを有し、
   前記更新手段は、前記第２の記述データを前記アイテム毎に加えることを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の記述データは、アイテムを無効化する編集内容を表すことを特徴とする請求項２に記載の情報処理装置。
4. 前記第１の記述データと前記第２の記述データとに基づいてアイテム毎の有効性を判定する判定手段を更に備えることを特徴とする請求項２に記載の情報処理装置。
5. 前記第１の記述データは対応するアイテムを無効化する編集内容を示しており、
   前記判定手段は前記第１の記述データと前記第２の記述データによって示された編集内容に基づいてアイテム毎の有効性を判定することを特徴とする請求項４に記載の情報処理装置。
6. 前記第１の記述データは、アイテムを無効化する編集内容を示す情報を取得するためのアクセス先を記述しており、
   前記判定手段は、前記アクセス先より取得した情報によって示される編集内容と前記第２の記述データによって示された編集内容とに基づいてアイテムの有効性を判定することを特徴とする請求項５に記載の情報処理装置。
7. 前記メタデータを参照して前記コンテンツデータを操作する操作手段を更に備え、
   前記操作手段は、前記判定手段により無効と判定されたアイテムを参照対象から除外することを特徴とする請求項４に記載の情報処理装置。
8. 前記操作手段におけるコンテンツデータへの操作は、コンテンツデータの検索であることを特徴とする請求項７に記載の情報処理装置。
9. 前記判定手段によって無効と判定されたアイテムの内容を対応するコンテンツデータに基づいて更新することにより該アイテムを有効化する有効化手段を更に備えることを特徴とする請求項４に記載の情報処理装置。
10. 前記有効化手段は、前記アイテムの更新後の内容を前記メタデータに追加登録することを特徴とする請求項９に記載の情報処理装置。
11. 前記判定手段によって無効と判定されたアイテムを削除する削除手段を更に備えることを特徴とする請求項４に記載の情報処理装置。
12. メタデータの有効性に影響を及ぼす編集内容を示すための第１の記述を含むメタデータが付与されたコンテンツデータを保持手段に保持させる保持工程と、
    ユーザからの指示入力に応じて前記コンテンツデータを編集する編集工程と、
    前記編集工程によって前記コンテンツデータに対してなされた編集内容を示す第２の記述データを発生し、該第２の記述データを前記メタデータに加えることにより該メタデータを更新する更新工程とを備えることを特徴とする情報処理方法。
13. 前記メタデータは１つ又は複数のアイテムを含み、アイテム毎に前記第１の記述データを有し、
    前記更新工程は、前記第２の記述データを前記アイテム毎に加えることを特徴とする請求項１２に記載の情報処理方法。
14. 前記第１の記述データは、アイテムを無効化する編集内容を表すことを特徴とする請求項１３に記載の情報処理方法。
15. 前記第１の記述データと前記第２の記述データとに基づいてアイテム毎の有効性を判定する判定工程を更に備えることを特徴とする請求項１３に記載の情報処理方法。
16. 前記第１の記述データは対応するアイテムを無効化する編集内容を示しており、
    前記判定工程は前記第１の記述データと前記第２の記述データによって示された編集内容に基づいてアイテム毎の有効性を判定することを特徴とする請求項１５に記載の情報処理方法。
17. 前記第１の記述データは、アイテムを無効化する編集内容を示す情報を取得するためのアクセス先を記述しており、
    前記判定工程は、前記アクセス先より取得した情報によって示される編集内容と前記第２の記述データによって示された編集内容とに基づいてアイテムの有効性を判定することを特徴とする請求項１６に記載の情報処理方法。
18. 前記メタデータを参照して前記コンテンツデータを操作する操作工程を更に備え、
    前記操作工程は、前記判定工程により無効と判定されたアイテムを参照対象から除外することを特徴とする請求項１５に記載の情報処理方法。
19. 前記操作工程におけるコンテンツデータへの操作は、コンテンツデータの検索であることを特徴とする請求項１８に記載の情報処理方法。
20. 前記判定工程によって無効と判定されたアイテムの内容を対応するコンテンツデータに基づいて更新することにより該アイテムを有効化する有効化工程を更に備えることを特徴とする請求項１５に記載の情報処理方法。
21. 前記有効化工程は、前記アイテムの更新後の内容を前記メタデータに追加登録することを特徴とする請求項２０に記載の情報処理方法。
22. 前記判定工程によって無効と判定されたアイテムを削除する削除工程を更に備えることを特徴とする請求項１５に記載の情報処理方法。
23. 請求項１２乃至２２のいずれかに記載の情報処理方法をコンピュータに実行させるための制御プログラム。
24. 請求項１２乃至２２のいずれかに記載の情報処理方法をコンピュータに実行させるための制御プログラムを格納する記憶媒体。

Images