JP5190051B2 - メタデータのアクセスを単純化するための方法および装置 - Google Patents

Description

本発明は、一般にメタデータのアクセスを単純化するための方法および装置に関する。メタデータは、マルチメディア・データから成るファイルまたはそのファイルの一部に関連し、特にマルチメディア・データの内容を記載し、かつ／あるいはマルチメディア・データから成るファイルまたは複数のファイルの一部を検索するためのものである。メタデータは、元来上記マルチメディアのデータにマルチプレックス（多重化）される。

個人用ビデオ録画のための入手可能な記憶媒体容量が絶え間なく増大している。増大の速度は、２年ごとにおよそ二倍である。現在、一枚の100ギガバイト（GByte）ハードディスク上に約20編の全長映画を記憶することが可能である。2005年において、一枚の400GByteハードディスク上に約80編の映画を記憶することが可能になるであろう。同様な計算が、光記録法にあてはまる：
現在、約5GByteが一層片面DVDディスク上に記憶できる。しかし、今日のDVDレコーダの後継者としてのDVRレコーダは対応するディスク上に最高35GBytesの記憶を可能にする。さらに、２層以上の層を片面に使うことができ、そして、これらはディスクの両側に適用することができる。最後に、特別なマガジンの中に数枚のディスクを組み合わせることが可能である。

この莫大なデータ量のために、記録を組織化し、内容を検索し、かつ特定の記録にアクセスするための新規な方法が必要とされる。その理由は、もはやビデオカセット/ディスクやそのカバー上の表記を見ることによって、ユーザーの本棚で記録を探すことが不可能だからである。このための1つの可能な解決案は、記録された内容のための、データについてのデータとして定義される、いわゆるメタデータを使用することである。

メタデータは、マルチメディア・コンテンツ自体の中に埋め込むことができる。例えば、ISO/IEC13818-1において特定されたMPEG-2システム規格は、音声およびビデオストリームに多重化されるプログラム特定情報（PSI）を規定する。同様に、ディジタルテレビジョン信号の伝送のために使用されるDVB規格は、DVB対応MPEG-2トランスポート・ストリーム・マルチプレックスに含まれるサービス情報（DVB-SI）を特定する。

Cecarelli等による論文：”「個人用ビデオ・ライブラリ上の家庭のマルチメディアのシステム：」MULTIMEDIA COMPUTING AND SYSTEMS、1999、IEEE INTERNATIONAL CONFERENCE IN FLORENCE、ITALY、7-11 JUNE 1999、LOS ALAMITOS、CA、USA、IEEE COMPUT. SOC、US、1999年6月7日、1082-1085ページ、XP010342599、ISBN：0-7695-0253-9”は、以下のようなシステムを記載している。すなわち、マルチメディア・コンテンツからメタデータが抽出されて、マルチメディア・コンテンツから分離されてマルチメディア・データベース・マネジメント・システム（Multimedia Database Management System（MM-DBMS））内に記憶される。記載されたシステムは、マルチメディア・コンテンツをテープ上に記憶し、MM-DBMSのデータベースをハードディスク上に記憶する。
この方法は、ハードディスクを基礎としたアーカイブ・システムを目標としており、抽出されたMetadataは常にデバイス内部に留まり、光記録で要求されるような着脱可能なメディア手段によってメタデータ交換することを目的としない。

本発明は、以下の事実の認識に基づくものである。マルチメディア・コンテンツ自体に多重化されたメタデータが入手可能であると仮定すると、MPEG-2トランスポート・ストリームから直接にDVB-SI情報にアクセスするように、ビットストリームから直接にメタデータにアクセスすることが可能である。しかしながら、受信の後にディスク上に記録される放送されたDVBテレビジョン信号などの記録データの場合に、これらのメタデータに基づく検索は、そのメタデータを集めるために記憶されたマルチメディア・コンテンツの全ての完全検索を必要とする。この方法は、能率が悪くて時間がかかる。

したがって、本発明が解決しようとする課題は、マルチメディア・コンテンツ自体に多重化されるメタデータ情報をより容易に自動的または電子的にアクセスできるようにすることである。特に、メタデータ・ベースの検索、ブラウジングまたは表現エンジンのためにより容易に利用できるようにすることである。

本課題は、請求項１に記載される方法によって解決される。本方法を利用する装置は、請求項8において記載されている。

本発明によれば、メタデータがマルチメディア・コンテンツ・マルチプレックスから抽出される。抽出されたメタデータは集められて、メタデータ実体(entity)を形成するために分析される。そして、メタデータ実体は、コンテンツを参照することによって補正される。記述子ストリームは、結果としてのメタデータ実体およびコンテンツに対する参照の対から形成され、マルチメディア・コンテンツから成るファイルとは別に記憶される。

このようにして、マルチメディア・コンテンツに接続されるメタデータによって、効率的で速い自動コンテンツ参照、コンテンツ位置確認および自動的または電子的アクセスを可能にする。

本発明は、記憶媒体に記録されたファイルまたはファイルの一部をアドレス指定するメタデータにアクセスするために用いることができる。この場合、メタデータの処理は、マルチメディア・コンテンツから成るファイルの記録プロセスの間に実行される。特に、記録されたMPEG-2トランスポート・ストリームのデータの場合には、全てのストリームを再解析する必要なくメタデータアクセスすることができる。

メタデータの処理は、ファイルまたはファイル部分の記録プロセスの間に実行することができる。このことにより、メタデータは、メタデータに基づく検索に直ちに利用できるという効果がある。

しかしながら、記録プロセスの後にオフライン・パスでメタデータの処理を実行できることは効果的である。例えば、エレメンタリストリームの多重分離（demultiplexing）なしでMPEGトランスポート・ストリームをそのまま記録する場合に効果的である。

さらに、例えばインターネットを経たサービスプロバイダにより伝送されるメタデータなどの、他のソースから読み出されるメタデータによって、マルチメディア・コンテンツ・マルチプレックスから抽出されるメタデータを完了することが有利である。

また、マルチメディア・コンテンツ・マルチプレックスから抽出されたメタデータは、例えばキーボードなどの、ユーザーからの入力によって補充することができる。このことにより、ユーザーが個人用注釈を作ることができる。

メタデータから成る別々の記述子ストリームの処理を示す。本発明の特徴を示すブロック図である。

本発明の例示的な実施形態につき、図面を参照しながら、以下に説明する。

MPEG-2トランスポート・ストリームの処理に焦点を当てて説明するが、大部分の実施形態は、メタデータから成る多重化された任意の種類のビットストリームに使用するために容易に一般化することができる。

図１において、マルチメディア・データおよびDVB-SIデータを含んでいるDVB対応MPEG-2トランスポート・ストリームDVBTSが、マルチメディア・コンテンツ・マルチプレックスを表す。マルチメディアのデータは、任意のデータから成ることができるが、特にビデオおよび音声データを含む。DVB-SIデータは、SIセクションおよびSIテーブルにカプセル化され、多重MPEG-2トランスポート・パケットにわたり伸びることができるメタデータ保持記述子から成る。多重MPEG-2トランスポート・パケットは、トランスポート・ストリームマルチプレックス内部で必ずしも連続的であるというわけではない。更なる詳細のためには、MPEG-2システム規格ISO/IEC 13818-1を参照されたい。

記録エンジンREは、MPEG-2トランスポート・パケットから、所定のDVB-SI記述子に帰属する全てのデータバイトを集め、そして、MPEG-2トランスポート・ストリーム内部でDVB-SI記述子が有効になった位置参照を記憶する。記述子および開始位置参照の両方が記憶される。同じMPEG-2トランスポート・ストリーム内ですでに見出された記述子の置換（更新）としての意義を有する新たな記述子が、時々集められる。このことは、従前の記述子が無効になることを意味する。記録エンジンは次に、従前のDVB-SI記述子のすでに記録された開始位置参照と一緒に、終了位置参照を記録する。

MPEG-2トランスポート・ストリーム終了時に、記録エンジンは、全ての記憶されたDVB-SI記述子を点検して、これまで無効にされなかったあらゆる記述子に、終了位置を記憶する。記憶されたMPEG-2トランスポート・ストリーム自体に対する参照と同様に開始位置参照および終了位置参照は、いわゆるコンテンツ参照（Content Reference）またはコンテンツ位置確認（Content Locator）を形成する。記述子およびコンテンツ参照の全ての対は記述子ストリーム（Description Stream) DSを形成するために配置される。そして、記述子ストリームDSは、MPEG-2トランスポート・ストリームDVBTSから分離されて記憶システムSSによって記憶される。この目的のために、任意の記憶システム（例えば光学的記憶装置またはハードディスクドライブ）を使うことができる。通常、記述子ストリームDSおよびMPEG-2トランスポート・ストリームDVBTSは、同じ記憶媒体上の別々のファイルDSF、DVBTSF内に記憶される。しかしながら、ある応用例のために、異なる記憶媒体上にそれらを記憶することも有用である。

記述子ストリームは、いかなる種類の記述子およびコンテンツ参照対によっても、後で修正又は補正することができる。MPEG-2トランスポート・ストリームDVBTS以外の他のソースOMSを、メタデータを取り出すために使うことができる。特に、メタデータは自動特徴抽出（図中、破線によって示される）によって生成することもできる。あるいは、メタデータはインターネットからダウンロードすることもできる。同様にユーザーインターフェースUIを使用してユーザー注釈UAを加えることができる。そして、UIは、以下の手段を含むことができる。グラフィックディスプレイ手段、およびリモートコントロール、キーボードまたは音声入力手段などの、マニュアル入力手段である。ユーザーインターフェースUIはまた、メタデータ問合せMQを発するために使うことができる。例えば、記憶されたDVBトランスポート・ストリームファイルに含まれる特定のマルチメディアのファイルまたはシーンにアクセスすることである。メタデータ問合せの結果QR（すなわち対応する記述子およびコンテンツ参照対）は、ユーザーインターフェースUIへ与えられる。特に、問合せが複数のヒット結果となる場合。ユーザーに問合せの結果について情報提供する際に、例えば、発見したファイルのテーブルまたは音声出力を用いることができる。ユーザーがいくつかの発見されたファイルから１のファイルを選択したあと、その選択されたファイルのコンテンツ参照が、コンテンツ参照CRにより記述された要求ファイルから成るDVBトランスポート・ストリームの再生のために、プレイバック（再生）・エンジンPEに供給される。

しかしながら、問合せに対するレスポンスとして１つのファイルしか見つからない場合には、ユーザー選択のプロセスをスキップして、発見されたファイルから成るコンテンツ参照CRおよびそれぞれのDVBトランスポート・ストリームを直接プレイバック・エンジンPEに供給することができる。

完全な記述子およびコンテンツ参照対を補正する代わりに、記述子かコンテンツ参照のいずれかをアップデートするか、修正するかまたは交換することが可能である。

記述子ストリームはまた、上記の記録エンジンから完全に独立しているプロセスによって生成することができる。マルチメディア・コンテンツが埋め込まれたメタデータを持っていない場合、記述子ストリームを同じフォーマットに記憶することが可能であろう。しかし、記述子およびコンテンツ参照の対は、帯域外（out-of-band）データ（例えばユーザー注釈、インターネット・ダウンロード、特徴抽出）から生成される。

記述子ストリーム内の記述子はまた、異なる符号化において記憶することができる。たとえば、DVB-SI記述子を2進コード化からXML符号化へと符号化変換することが有益である。他のトランスポートまたは記憶エンコーディングも、存在できる。

あるDVB-SI記述子（例えばEPGデータ）にとって、それらがどのテーブルまたはコンテクストから抽出されたかを知ることが重要である。そのような場合、その記述子とコンテンツ参照対と共にそのコンテクスト情報を記憶することは、有益である。

本発明は、以下の効果を含む：
記述子ストリームが別個に記憶されるので、メタデータ基礎検索、ブラウジングまたはプレゼンテーションエンジンにより、メタデータ情報への簡単で速いアクセスを可能にする。

別個の記述子ストリームは、マルチメディアマルチプレックスと同じディスクに記憶することができる。ディスクが交換できるメディア（たとえば、光ディスクなど）である場合、記述子ストリームにおいて記憶された抽出されたメタデータは、記憶されたマルチメディア・コンテンツと共に交換できるようになる。そのことは、抽出されたメタデータおよびマルチメディア・コンテンツが交換できるバンドルを形成することを意味する。

同じディスク上の記憶に加えて、あるいは、その代わりに、別個の記述子ストリームを、異なるディスクまたは複数の異なるディスク上に記憶することができ、抽出されたメタデータの交換を可能にする。このことは、アーカイブ機能性のために、そして、他の種類のメタデータ処理のために有益である。

Cecarelli等の論文に記載されているようなMultimedia Database Management System（MM-DBMS）に基づくシステムと比較して、記録中に記述子ストリームを直接に記憶する本発明の提案は以下の効果をもたらす。典型的にMM-DBMS挿入操作に関係する挿入および索引付けオーバーヘッドと比較して、本発明は、リアルタイム制約からみて、性能を浪費することが少ない。もしMM-DBMSのデータベースを交換可能なメディアに記憶することを必要とする場合には、ディスク挿入中のデータベース・インポート操作およびディスク・イジェクト中のデータベース・エクスポート操作が禁止される。換言すれば、公知のこの種のMM-DBMSは、交換可能なメディアには適していない。

DVB-SI記述子は、伝送されるとすぐに、マルチメディアマルチプレックスの範囲内で有効になる。DVB-SI記述子は、異なる値を伴う同じタイプの記述子の伝送または記述子の伝送の終了のいずれかにより、無効にされる。記述子ストリームを有することによって、有効性情報（開始、終了）の加算が使用により便利になる。

異なるオリジン（origin）からの記述子は、異なる符号化工程に入る。別個の記述子ストリームの記憶は、記述子（例えばXML）のための統一された符号化を有する方法を提供する。

記述子は、オフライン・プロセスによって生成することができるかあるいはバンド・データから伝送されることができた。別個の記述子ストリームは、一緒に全てのこれらの記述子を記憶するという可能性を提供する。

本発明は、各種の電子的マルチメディア・コンテンツ参照およびコンテンツ位置確認に適用できる、たとえばDVR標準、メタデータ、コンテンツ参照、コンテンツ位置確認、個人用ビデオレコーダ、個人用デジタルレコーダ、光学記憶、ハードディスク記憶、ホームサーバおよびウェブエネイブルド記憶（Web Enabled Storage）などと関連して、適用可能である。

DVBTS DVB対応MPEG-2トランスポート・ストリーム
RE 記録エンジン
DS 記述子ストリーム
SS 記憶システム
DSF 記述子ストリームファイル
DVBTSF DVB対応トランスポート・ストリームファイル
OMS 他のソース
UI ユーザーインターフェース
UA ユーザー注釈
MQ メタデータ問合せ
CR コンテンツ参照
PE プレイバック・エンジン

Claims (8)

1. 取り外し可能な光学記録媒体のためのマルチメディア再生装置であり、
   取り外し可能な光学記録媒体から、マルチメディア・データを含むトランスポート・ストリーム・データを取り込む手段と、
   メタデータ問合せを発するユーザーインターフェース手段と、
   前記取り外し可能な光学記録媒体から、各々記述子・参照対を含む記述子ストリームを取り込む手段であり、該記述子・参照対はマルチメディア・コンテンツに関連し、記述子・参照対のうちの参照は記録されたマルチメディア・トランスポート・ストリーム内の対応する記述子が有効になる開始位置アドレスを含み、記述子ストリームはトランスポート・ストリームから別個に取り込まれる、手段と、
   前記記述子ストリームから、記述子・参照対をもたらす手段であり、該記述子はメタデータ問合せに対応する、手段と、
   前記参照に従った開始位置において、トランスポート・ストリーム内に含まれるマルチメディア・シーンにアクセスする手段と、
   を含むマルチメディア再生装置。
2. 請求項１に記載のマルチメディア再生装置であり、さらに、
   取り外し可能な光学記録媒体に、マルチメディア・データを含むマルチメディア・トランスポート・ストリームを記録する手段と、
   トランスポート・ストリームから、メタデータ記述子を取り込む手段と、
   各々記述子・参照対を含む記述子ストリームを生成する手段であり、記述子はトランスポート・ストリームから取り込んだ前記メタデータ記述子であり、前記参照は対応する記述子が有効になるマルチメディア・トランスポート・ストリーム内開始位置をアドレス指定する、手段と、
   前記トランスポート・ストリームとは別個に、取り外し可能な光学記録媒体に、生成された記述子ストリームを記録する手段と、
   を含むマルチメディア再生装置。
3. 請求項２に記載のマルチメディア再生装置であり、さらに、
   対応する記述子が有効になるマルチメディア・トランスポート・ストリーム内終了位置をアドレス指定する、終了位置参照を追加する手段
   を含むマルチメディア再生装置。
4. 請求項１乃至３のいずれかの１の請求項に記載のマルチメディア再生装置であり、さらに、
   前記マルチメディア・トランスポート・ストリームではない他のソースから取り込んだデータによって、記述子ストリーム内の取り込まれた記述子または参照を更新あるいは補足する手段
   を含むマルチメディア再生装置。
5. 請求項１乃至３のいずれかの１の請求項に記載のマルチメディア再生装置であり、さらに、
   アーカイブ機能またはメタデータ処理のために、記述子ストリームを記憶するローカル記憶手段
   を含むマルチメディア再生装置。
6. マルチメディア再生装置における、取り外し可能な光学記録媒体に記録されたマルチメディア・データを再生するための再生方法であり、
   取り外し可能な光学記録媒体から、マルチメディア・データを含むトランスポート・ストリーム・データを取り込むステップと、
   メタデータ問合せを発するステップと、
   前記取り外し可能な光学記録媒体から、各々記述子・参照対から成る記述子ストリームを取り込むステップであり、記述子・参照対はマルチメディア・コンテンツに関連し、記述子・参照対のうちの参照は記録されたマルチメディア・トランスポート・ストリーム内の対応する記述子が有効になる開始位置アドレスを含み、記述子ストリームはトランスポート・ストリームとは別個に取り込まれる、ステップと、
   記述子ストリームから、記述子・参照対をもたらすステップであり、記述子はメタデータ問合せに対応する、ステップと、
   前記参照に従った開始位置において、トランスポート・ストリーム内に含まれるマルチメディア・シーンにアクセスするステップと、
   を含む再生方法。
7. 請求項６に記載の再生方法であり、さらに、
   前記マルチメディア・トランスポート・ストリームではない他のソースから取り込んだデータによって、記述子ストリーム内の取り込まれた記述子または参照を更新あるいは補足するステップ
   を含む再生方法。
8. 請求項６に記載の再生方法であり、さらに、
   アーカイブ機能またはメタデータ処理のために、記述子ストリームがローカル記憶手段に記録される再生方法。

Images