本発明は、動画像データと、そのサイド情報を含むテーブルデータをパケット多重化して記録したパッケージメディア(情報記録媒体)並びにその多重化装置および復号化装置に関するものである。
従来の技術である、MPEG(Moving Picture Experts Group、エムペグ)のトランスポートストリーム(以下、「TS」とも記す。)について説明する。
(TSのデータ構造)
図1は、TSのデータ構造を示す図である。
TSは188バイトのTSパケットが連続するシーケンスである。なお、ビデオテープやハードディスク、ブルーレイディスクなどの蓄積メディアに記録する場合においては、各TSパケットに先立って4バイトのヘッダを追加して記録するのが一般的である。
TSパケットは、TSヘッダ(以下、「TSH」とも記す。)と、TSペイロード(以下、「PLD」とも記す。)とから構成される。TSHには、パケットの先頭であることを示す同期語(SYN)や、パケットの種別を示すパケット識別子(PID)などが含まれる。PLDには、符号化された動画像や、音声などの符号化データや、プログラムマップテーブルと呼ばれるテーブルデータなどの実体が格納される。TSパケットが動画像、音声、テーブル、またはその他のいずれのデータを格納しているかは、PIDで識別される。動画像と音声データのPID値は、テーブルデータに示される。
(プログラムマップテーブルのデータ構造)
図2は、プログラムマップテーブルの構文の一部分を示す図である。
図2中に示されるstream_typeは、動画像や音声データの符号化方式を特定するためのフィールドである。本フィールドより、動画像、音声データのいずれであるか、また動画像であればどのような規格に基づく符号化方式であるかを判別することができる。
reservedは、将来の拡張用としてMPEGにより予約されているフィールドである。
elementary_PIDは、stream_typeで示されたデータを格納するTSパケットのPID値を示すフィールドである。
ES_info_lengthフィールドは、続くforループ内の記述子の総バイト数を示す。forループ内にはN個の記述子が格納される。
(記述子のデータ構造)
図3は、記述子のデータ構造を示す図である。
記述子は、記述子の種別を示すタグと、記述子のデータの総バイト数を示す記述子長と、記述子長のデータとからなる。
タグは、8ビットであるため、最大255個の記述子が定義可能である。
また記述子長は8ビットであるため、最大255バイトまでのデータを格納可能である。
記述子のデータには、stream_typeで示された動画像あるいは音声符号化データの内容や、多重化時の設定に関するデータ等に関する情報が格納される。
記述子の具体的な内容や、どのような記述子を使用するかは、MPEGや、SMPTE(シンプティ、Society of Motion Picture and Television Engineers、米国の動画像と音声の方式を定める団体)、ATSC(Advanced Television Systems Committee、米国のデジタルテレビ放送方式を定める委員会)、BDF(Blue−ray Disc Foundation、ブルーレイディスクの規格を定める団体)などで定められる標準規格またはサービス運用規格で決定される。
(多重化装置)
図4は、符号化された動画像と音声データから、以上説明したようなデータ構造であるTSを生成する従来の多重化装置の構成例を示すブロック図である。
図4に示されるように、従来の多重化装置900は、記述子を生成する記述子生成部901と、記述子を多重化したプログラムマップテーブルを生成するテーブルデータ生成部902と、符号化動画像データ、符号化された動画像データ、音声データ、生成したテーブルデータを入力してTSパケットを生成し、多重化して出力するパケット生成多重化部903とから構成される。
(情報記録媒体)
符号化された動画像、音声データ、テーブルデータをパケット多重化したTSは、ハードディスクやブルーレイディスク等の情報記録媒体に記録することが可能である。
読み、書きが可能なブルーレイディスク(BD−RE)におけるTSの記録方法に関しては、特許文献1に公開されている。
特開2001−169247号公報
ところで、背景技術において説明したように、テーブルデータに格納可能な記述子は、最大255である。MPEGや、ATSCなどの各種規格において、多くのタグが既に定義済みであり、今後も新たな符号化方式が採用され、機能が拡張していくことを考慮すると、将来的にはタグが枯渇するおそれがある。つまり、テーブルデータに記述子を1つだけしか格納できないとした場合、新たな符号化方式や、拡張された機能にタグを新たに割り当てることができなくなるおそれがある。
したがって、このような事態を避けるため、図5に示されるように、記述子の階層化、つまり1つの記述子の中に、複数の副記述子を格納する仕組みを採用することが望まれる。なお、副記述子においては、図5に示されるように、副記述子長を省略するようなデータ構造を採用することで、複数の副記述子を格納しつつ、データサイズを抑制することができる。
しかしながら、副記述子長を省略するようなデータ構造を採用した場合、副記述子のデータサイズを示す情報がないため、記述子を解析する(例えば)復号装置において、データ構造が不明の副記述子以降の副記述子は、例え既知の副記述子であっても解析できない。
例えば、記述子のタグ値1、2である副記述子1、副記述子2についてのデータ構造が既知であり、タグ値3である副記述子3についてのデータ構造が不明である場合を例として考える。
記述子中に副記述子1、副記述子2、副記述子3の順で格納されているならば、データ構造が既知である副記述子1、副記述子2を解析することができる。
しかしながら、記述子中に副記述子1、副記述子3、副記述子2の順で格納されている場合は副記述子1を解析できるが、副記述子3のデータ構造が不明のため、この次に格納された副記述子2を解析できない。
規格は、一旦決定された後も、陳腐化しないよう必要に応じて拡張される場合があり、副記述子が追加される、あるいは既存の副記述子のデータ構造が変更されることが予想される。ある規格に基づいた多重化装置は、それより後に拡張された規格に基づき追加あるいは変更された副記述子を解析できないばかりではなく、データ長が未知のためそれ以降の副記述子は、本来解析可能である副記述子であったとしても解析できなくなり、正常な復号動作が行えなくなるという課題がある。
ここで、さらに詳細かつ具体的に説明する。
例えば、ある新しいビデオ符号化をサポートするために拡張したトランスポートストリーム規格(以下、「T規格」とも呼ぶ。)の1.0版では、図6に示されるように、副記述子の規定内容が、タグ値0のプロファイルに関するものと、タグ値1のデコーダのバッファ容量に関するものと、タグ値2のパケット化に関するものが規定されたとする。そして、T規格の2.0版において、図7に示されるように、新たにプロファイルの追加規制に関する記述子をタグ値3として規定したとする。なお、T規格においては、副記述子の規定内容を前詰めで規定し、前から順番にタグ値を1ずつ大きくするようにしている。
従来の1.0版に基づく多重化装置では、その規定に従い、副記述子をタグ値0,1,2の順で格納している。
一方、2.0版に基づく多重化装置では、図8に示されるように、プロファイルに関する副記述子(タグ値0)の直後に、追加されたプロファイルに関する追加制約に関する副記述子(タグ値3)を格納し、その後、タグ値1,2の副記述子を格納する可能性が高いと考えられる。何故なら、同じ内容に関する情報(ここではプロファイル)は、続けて格納することが、自然であるからである。
なお、プロファイルに関する情報としては、MPEG規格(例えばISO/IEC14496−10)では圧縮符号化に使用されるツールに関する制限を示すものであり、ベースライン、メイン、エクステンデッドなどのプロファイルが規定されているが、これと同様の内容が考えられる。また、プロファイルの追加制約に関する情報としては、同じくISO/IEC14496−10におけるconstraint_set0_flag,constraint_set1_flagのような、各プロファイルで使用可能なツールをさらに制約するような情報が考えられる。ISO/IEC14496−10の圧縮ビデオデータをMPEG2 Transprt Streamに格納する際に使用される(オプション)AVCビデオ記述子では、これらの情報は、図9に示されるような構造で規定されている。この規定は13818−1:2003にて規格化されている。
ここで、プロファイルに関する情報はprofile_idcに相当し、プロファイルの追加制約に関する情報はconstraint_set0_flag等に相当する。
このように、プロファイルの追加制約に関する副記述子(タグ値3)が2.0版で規定されたとすれば、以上のようなISO/IEC14496−10のような事例から類推しても、タグ値0の副記述子に続いてタグ値3の副記述子が格納され、その後タグ値1,2に関する副記述子が格納されるような事例は十分に可能性がある。
このように、プロファイルに関する副記述子(タグ値0)の直後に、第2版で追加されたプロファイルに関する追加制約に関する副記述子(タグ値3)を格納し、その後、タグ値1,2の副記述子を格納する場合、1.0版に基づく復号化装置では、タグ値0のプロファイルに関するものを解釈することができるが、その次のタグ値3のプロファイルの追加規制に関する記述子を解釈することができない。それに加えて、タグ値3のプロファイルの追加規制に関する記述子のサイズがわからないので、タグ値1のデコーダのバッファ容量に関するものと、タグ値2のパケット化に関するものとについても解釈することもできなくなってしまう。
つまり、動画像あるいは音声データを復号する復号装置において、拡張された規格に対応していない復号装置は、自己が本来識別可能なサイド情報が含まれているにもかかわらず、これを解析できなくなるという問題が生じる。
そこで、本発明は、上述の技術的課題を解決し、自己(復号装置)が本来識別可能なサイド情報を確実に解析することが可能な多重化装置、情報記録媒体および復号装置を提供することを目的とする。
即ち、後方互換性を確保することができる多重化装置、情報記録媒体および復号装置を提供することを目的とする。
上記目的を達成するために、本発明に係る多重化装置においては、動画像および音声の少なくとも一方の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを生成する多重化装置であって、前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される副記述子を複数生成する副記述子生成手段と、前記副記述子生成手段によって生成された複数の副記述子と、当該複数の副記述子の集まりを示す主タグ値とを含む主記述子を生成する主記述子生成手段と、前記主記述子生成手段によって生成された主記述子を前記符号化データのパケット識別子に関連付けて、前記テーブルデータを生成するテーブル生成手段とを備え、前記副記述生成手段は、前記複数の副記述子を、予め定められた格納規則に基づく並びの順に出力することを特徴とする。
これにより、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る多重化装置においては、前記格納規則は、小さい自然数の値のタグ値を持つ副記述子から昇順に格納することを規則とすることを特徴とすることができる。
これにより、規格拡張される際にはより値の大きいタグ値を新規サイド情報に割り当てることで、復号装置は自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る多重化装置においては、前記格納規則は、前記副記述子を規格化された時期でグループに分類し、前記時期が古いグループに属する副記述子を、前記時期の新しいグループに属する副記述子より前方に格納することを規則とすることを特徴とすることができる。
これにより、規格拡張される際には時期の新しいグループに属する副記述子により値の大きいタグ値を新規サイド情報に割り当てることでグループ分けが可能となり、復号装置は自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る多重化装置においては、前記副記述生成手段は、生成した副記述子を複数格納可能な内部メモリを有し、前記内部メモリに格納した複数の副記述子の並びが前記格納規則に合致しない場合、当該格納規則に合致するように並び替えてから出力することを特徴とすることもできる。
これにより、副記述子の並びを格納規則に合致するように修正でき、復号装置は自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る多重化装置においては、前記多重化装置は、さらに前記多重化手段により多重化されたデータの管理情報に前記サイド情報の格納規則を特定するためのフラグ情報を多重化する管理情報生成手段と、前記パケット多重化したデータと前記管理情報を結合する結合手段とを備えることを特徴とすることもできる。
これにより、復号装置において、自己が識別可能なサイド情報を解析可能であることを予め保証することができるという効果が得られる。
また、本発明に係る情報記録媒体においては、動画像および音声の少なくとも一方の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを記録した情報記録媒体であって、前記テーブルデータ内に、前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される複数の副記述子と、前記複数の副記述子の集まりを示す主タグ値を含む主記述子とを含み、前記複数の副記述子は、予め定められた格納規則に基づく並びの順に並べられて格納されていることを特徴とする。
これにより、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る情報記録媒体においては、前記情報記録媒体には、さらに前記パケット多重化したデータに結合された管理情報が記録されており、前記管理情報には、前記副記述子の格納規則を示すフラグ情報が多重化されていることを特徴とする。
これにより、復号装置において、自己が識別可能なサイド情報を解析可能であることを予め保証することができるという効果が得られる。
また、本発明に係る復号装置においては、動画像および音声の少なくとも一方の符号化データと、テーブルデータを異なるパケット識別子を付与してパケット多重化されたデータを受信する復号装置であって、前記パケット多重化されデータから、前記符号化データと、テーブルデータとを、前記パケット識別を参照して分離する分離手段と、分離された前記テーブルデータに格納された主タグ値で識別される副記述子を解析し、解析できたサイド情報を抽出する情報解析手段と、前記抽出されたサイド情報に基づいて、前記符号化データを復号するデータ復号手段とを備えることを特徴とする。
これにより、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る復号装置においては、前記情報解析手段は、前記副記述子を解析できなくなった時点で、情報解析処理を終了することを特徴とすることができる。
これにより、後方互換性を維持しつつ、情報解析処理を素早く終えることができる。
また、本発明に係る復号装置においては、前記情報解析手段は、テーブルデータ内にタグ値が同じ副記述子を複数個検出した場合、より後方に配置されている副記述子を有効として選択することを特徴とすることもできる。
これにより、規格拡張によって副記述子内のサイド情報のデータ構造が変化した場合でも、副記述子に含まれるサイド情報を確実に抽出できるという効果が得られる。
なお、本発明は、このような多重化装置や、復号装置として実現することができるだけでなく、このような多重化装置や、復号装置が備える特徴的な手段をステップとする多重化方法、復号方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
また、上記実施の形態では、動画像および音声の両方の符号化データを扱う場合について説明したが、動画像および音声の一方の符号化データを扱う場合に本願発明を適用できるのは言うまでもない。
以上の説明から明らかなように、本発明に係る復号化装置、情報記録媒体、復号装置によれば、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析することが可能になるという効果が奏される。
よって、本発明により、後方互換性が確保され、既存の復号化装置が既に広く普及している今日における本願発明の実用的価値は極めて高い。
図1は、トランスポートストリームのデータ構造を示す図である。
図2は、プログラムマップテーブルのデータ構造を示す図である。
図3は、記述子のデータ構造を示す図である。
図4は、従来例の多重化装置の一例を示すブロック図である。
図5は、副記述子のデータ構造を示す図である。
図6は、T規格の1.0版で規定される副記述子の規定内容を示す図である。
図7は、T規格の2.0版で規定される副記述子の規定内容を示す図である。
図8は、ある多重化装置で作成された副記述子(記述子を含む)の内容を示す図である。
図9は、MPEG規格(例えばISO/IEC14496−10)におけるプロファイルに関する情報を示す図である。
図10は、本発明における第1の実施の形態である多重化装置の構成を示すブロック図である。
図11は、副記述子生成部14の動作の一例を示すフローチャートである。
図12(a)および図12(b)は、副記述子の格納規則の例を示す説明図である。
図13は、本願発明に係る多重化装置で作成された副記述子(記述子を含む)の内容を示す図である。
図14は、本発明の第2の実施の形態における多重化装置の構成を示すブロック図である。
図15は、ブルーレイディスクのデータ階層を示す図である。
図16は、ブルーレイディスクの論理空間構成を示す図である。
図17は、本発明の第3の実施の形態における復号装置の構成を示すブロック図である。
図18は、情報解析部22の動作の一例を示すフローチャートである。
図19(a)、図19(b)および図19(c)は、実施の形態1から実施の形態3の情報記録媒体、多重化装置、復号装置を実現するためのプログラムを格納した記録媒体を示す図である。
符号の説明
10a,10b 多重化装置
11 記述子生成部
12 テーブルデータ生成部
13 パケット生成多重化部
14 副記述子生成部
15 管理情報生成部
16 結合部
20 復号装置
21 分離部
22 情報解析部
23 データ復号部
101 BD再生プログラム
102 BD管理データ
103 動画像や音声の符号化されたデータ
104 BD
140,220 テーブル
TSH TSパケットのヘッダ部
PLD TSパケットのペイロード部
SYN 同期バイト
PID パケット識別子
Se セクタ
Tr トラック
FD フレキシブルディスク
F フレキシブルディスクの外装
FDD FDドライブ
Cs コンピュータシステム
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図10は、本発明の実施の形態1における多重化装置の構成を示すブロック図である。
図10に示されるように、多重化装置10aは、動画像の符号化データと、音声の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを生成するものであり、副記述子生成部14と、記述子生成部11と、テーブルデータ生成部12と、パケット生成多重化部13とを備える。
副記述子生成部14は、副記述子を生成する。より詳しくは、副記述子生成部14は、符号化データを復号するためのパラメータを表すサイド情報の種類を示すタグ値と、サイド情報とから構成される副記述子を複数生成する。なお、サイド情報には、動画像の符号化データや、音声の符号化データの主情報以外の、動き補償ベクトル値や、符号化方法(符号化モード)等を表す情報が含まれる。
記述子生成部11は、副記述子を多重化して記述子を生成する。より詳しくは、記述子生成部11は、副記述子生成部14によって生成された複数の副記述子と、当該複数の副記述子の集まりを示すタグ値(主タグ値)とを含む記述子(主記述子)を生成する。
テーブルデータ生成部12は、記述子を多重化したプログラムマップテーブルを生成する。より詳しくは、テーブルデータ生成部12は、記述子生成部11によって生成された記述子を符号化データのパケット識別子に関連付けて、テーブルデータを生成する。
パケット生成多重化部13は、少なくとも符号化された動画像データ、音声データ、およびプログラムマップテーブルを入力してTSパケットを生成し、多重化してTSを出力する。
動画像や音声の符号化データの符号化方式としては、MPEGやITU−T、SMPTEなどで標準化された方式(例えば、ISO/IEC 13818、ISO/IEC 14496等)や、DVDやBD等の運用規格で定められた方式が使用可能である。また、多重化装置10aが出力するTSの形式は、188バイト長のTSパケットシーケンスの他、各TSパケットの先頭に4バイトの追加ヘッダを付加して192バイト長としたパケットシーケンスも可能である。
4バイトの追加ヘッダには、通常、多重化装置内のクロック情報から生成されるクロック値をサンプリングしたPCR(プログラムクロックリファレンス)が記録される。
また、記述子の例は、MPEGなどの規格や、サービス運用規格で定められている。特に、副記述子を格納した記述子としては、MPEGで規格化されているレジストレーションディスクリプタ、コンディショナルアクセス・ディスクリプタ、コピーライトディスクリプタなどが可能である。
記述子のデータ構造は、図5に示されるように記述子の種別を識別するための記述子タグ、続くデータのバイト数を示す記述子長、および記述子データ部で構成される。記述子データ部の一部を構成する副記述子は、副記述子の種別を識別する副記述子タグおよび副記述子データ(サイド情報)で構成される。
サイド情報としては、動画像や音声の符号化方式に関する情報であるプロファイルや、レベルの情報の他、復号に必要とされるバッファサイズの情報、またパケット化や、多重化に関する情報である符号化データのパケット化単位の情報などが可能である。
図10に示される多重化装置10aにおいて、副記述子生成部14は、最新の副記述子規定内容(例えば、図7に示される副記述子規定内容)を格納したテーブル140を保持し、サイド情報およびサイド情報の格納順を指示する格納規則を入力し、サイド情報より副記述子を生成し、必要があれば、格納規則に従って副記述子を並び替えて出力する。
副記述子生成部14の具体的な動作を説明する。
図11は、副記述子生成部14が実行する副記述子生成処理の動作を示すフローチャートである。
副記述子生成部14は、まず、サイド情報を一つ入力し(S11)、サイド情報に応じたタグ値を付与して副記述子を生成し(S12)、生成した副記述子を内部メモリに保持する(S13)。次に、副記述子生成部14は、次のサイド情報があるかどうかを判定する(S14)。次のサイド情報がある場合(S14でYes)にはステップS11に戻り、副記述子生成部14は、次のサイド情報がなくなるまで、ステップS11〜S13を繰り返し実行する。次のサイド情報がない、即ち、全てのサイド情報を副記述子として生成完了した場合(S14でNo)、副記述子生成部14は、格納規則情報を入力し、内部メモリに保持している複数の副記述子の並びが格納規則情報に合致しているか否か判断する(S15)。
合致している場合(S15でYes)、副記述子生成部14は、複数の記述子を格納規則に合致した並びで出力し、副記述子生成処理を終了する。これに対して、合致していない場合(S15でNo)、副記述子生成部14は、内部メモリに保持している複数の副記述子を、格納規則情報に従って並び替え、並び替えた結果の副記述子列を出力し、副記述子生成処理を終了する。
記述子生成部11は、副記述子生成部14で生成された副記述子を入力して多重化し、図3に示されるようなデータ構造の記述子を生成して出力する。
テーブルデータ生成部12は、記述子生成部11で生成された記述子を多重化し、図2に示されるようなテーブルデータを生成して出力する。
パケット生成多重化部13は、動画像の符号化データ、音声の符号化データ、およびテーブルデータを入力し、各データをTSパケットとしてパケット化して多重化し、出力する。
ここで、格納規則の2つの望ましい例について、説明する。
図12は、格納規則の2つの望ましい例について、説明するための図であり、特に図12(a)は、副記述子のタグ値が1以上の自然数で昇順となるように格納することを格納規則とするものであり、図12(b)は、規格化された時期に従って副記述子をグループに分類し、規格化された時期が古いグループに属する副記述子は、時期の新しいグループに属する副記述子に属する副記述子より前方に格納することを格納規則とするものである。
第1例は、図12(a)に示されるように、副記述子のタグ値が1以上の自然数で昇順となるように格納することを格納規則とする。これは、一般的に規格では最初に規格化したものはタグ値が小さいものを割り当て、規格を拡張して副記述子を新たに定義した場合、より大きいタグ値を新たに定義した副記述子に割り当てることが多いことに着目した規則である。
今、ステップS13において副記述子1(タグ値1)、副記述子2(タグ値3)、副記述子3(タグ値2)の順で内部メモリに保持されているとする。この場合、ステップS16において、副記述子1(タグ値1)、副記述子3(タグ値2)、副記述子2(タグ値3)の順になるように並び替えて出力する。なお、ここで副記述子のタグ値が1以上の自然数で昇順となることとしたが、タグ値が0以上の自然数で昇順となることとしても良い。
例えば、内部メモリに図8に示される並びの順に副記述子を格納している場合、副記述子生成部14は、図13に示されるように、複数の副記述子をタグ値0、タグ値1、タグ値2、タグ値3の昇順に並べ替えて出力する。
第2例は、図12(a)に示されるように、副記述子が規格化された時期でグループに分類し、規格化された時期が古いグループに属する副記述子は、前記時期の新しいグループに属する副記述子に属する副記述子より前方に格納することを格納規則とする。規格化時期t1、t2(t1<t2)の2つの時期において副記述子が定義されたものと仮定する。
今、S13において副記述子1(タグ値5、規格化時期t1)、副記述子2(タグ値1、規格化時期t2)、副記述子3(タグ値2、規格化時期t1)の順で内部メモリに保持されているとする。この場合、S16において、副記述子1、副記述子3、副記述子2の順になるように並び替えるか、または副記述子3、副記述子1、副記述子2の順になるように並び替えて出力する。副記述子1と3は、規格化時期は同じt1で同じグループに属するため、グループ内での順序は問わない。格納規則情報として各副記述子のタグ値と規格化時期を関連付ける参照テーブルが入力されるか、あるいは副記述子生成部14がこの参照テーブルを予め内部に保持する。
したがって、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られ、後方互換性が確保される。
なお、本多重化装置が出力するTSデータは、放送波や無線などを媒介して伝送したり、DVDやブルーレイディスク、ハードディスク等の蓄積メディアに保存したりすることが可能である。
さらに、本実施の形態1においてはハードウェアで構成された多重化装置について説明したが、これに限るものではない。例えば、上記多重化装置はCPU(中央演算処理装置)やDSP(デジタル信号処理装置)上で動作するソフトウェアプログラムとして実現することができる。また、上記多重化装置はLSI(大規模集積回路)で実現されても良い。
(実施の形態2)
次いで、本発明の第2の実施の形態における多重化装置について説明する。
図14は、本発明の第2の実施の形態における多重化装置の構成を示すブロック図である。
図14に示されるように、多重化装置10bは、多重化装置10aが備える副記述子生成部14、記述子生成部11、テーブルデータ生成部12およびパケット生成多重化部13の他、管理情報データを生成する管理情報生成部15と、少なくとも動画像データ、音声データおよびプログラムマップテーブルを多重化したTSと、管理情報データを結合する結合部16とをさらに備える。
ここで、副記述子生成部14、記述子生成部11、テーブルデータ生成部12、パケット生成多重化部13は、それぞれ第1の実施の形態における多重化装置の説明の際に使用した図10の、副記述子生成部14、記述子生成部11、テーブルデータ生成部12、パケット生成多重化部13と同等の動作になるため説明は省略し、管理情報生成部15、および結合部16について説明する。
管理情報生成部15が生成する管理情報データは、AVデータの各種の属性情報や、N倍速再生(特再)用の情報を格納しており、ハードディスクやDVD、ブルーレイディスク(BD)などの蓄積メディア中に、動画像や音声データと同時に記録されるものである。以下の説明では一例として読み出し専用のBD−ROMについて、図15と、図16を用いて説明する。
図15は、BD−ROMの概略構成を示す図である。
BD−ROMは、ディスク媒体であるBDディスク104と、ディスクに記録されているデータ101,102,103で構成される。BDディスク104に記録されるデータは、動画像や音声の符号化データ103と、これに関する管理情報102と、ユーザによるメニュー操作などのインタラクティブ性を実現するBD再生プログラム101とを含む。
図16は、BDに記録されている論理データのディレクトリ・ファイル構成を示す図である。
BDディスクは、他の光ディスク、例えばDVDやCDなどと同様にその内周から外周に向けてらせん状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。論理アドレス空間には、ファイルシステム情報(ボリューム)を先頭に動画像や音声の符号化データ、テーブルデータ等がアプリケーションデータとして記録される。映画などを記録した一般的なアプリケーションの場合、ルートディレクトリ(ROOT)直下にBDVIDEOディレクトリが置かれている。このディレクトリには、アプリケーションデータや管理情報などのデータ(図15の101,102,103)が格納されている。BDVIDEOディレクトリの下には、通常少なくとも以下の6種類のファイルが記録されている。
1 BD.INFO: BD管理情報の一つであり、BD全体に関する情報を記録したファイルである。
2 BD.PROG: BD再生プログラムの一つであり、BDディスク全体に関わる再生制御情報を記録したファイルである。
3 XXX.PL(「XXX」は可変): BD管理情報の一つであり、シナリオ(再生シーケンス)であるプレイリスト情報を記録したファイルである。プレイリスト毎に1つのファイルを持っている。
4 XXX.PROG(「XXX」は可変): BD再生プログラムの一つであり、XXX.PLに関わる再生制御情報を記録したファイルである。
5 YYY.VOB(「YYY」は可変): 符号化された映像や音声、テーブルデータを多重化したTSの一つである。
6 YYY.VOBI(「YYY」は可変): BD管理情報の一つであり、YYY.VOBに関わるストリーム管理情報を記録したファイルである。
管理情報生成部15は、上述したような管理情報を生成するように動作するものである。さらに、実施の形態2においては、副記述子生成部14で使用した副記述子の格納規則を示す情報を管理情報に多重化する。管理情報はいくつかのファイルに分かれているが、BD.INFO、BD.PROG、XXX.PLのいずれかに格納する。また、これらの管理情報データの既存データフィールドに副記述子の格納規則を関連付けることも可能である。
例えば、プレイリスト情報を記録するXXX.PLの既存データフィールドに結合規則を関連付ける場合、次のようにすれば良い。
XXX.PLには少なくとも1つ以上のPlayItem()が含まれている。各PlayItem()は、STN_table()と呼ばれるテーブルが記録されており、さらにSTN_table()には、動画像や音声などの符号化データ毎のstream_attributes()が記録されている。stream_attributes()中に、符号化方式を示すstream_coding_typeフィールドがある。ここで、stream_coding_typeフィールドがある特定の値である時、副記述子に関する結合規則が示されていることとすることができる。
結合部16は、パケット多重化されたTS(各TSパケットに先立って4バイトのヘッダを付与するようにされたもの)と上述した管理情報データを結合して、出力する。さらに、結合されたデータはBD17に記録される。
以上、本発明の第2の実施の形態である多重化装置について説明した。
したがって、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られ、後方互換性が確保される。
また、管理情報にサイド情報の格納規則を特定するためのフラグ情報が多重化されているので、復号装置において、自己が識別可能なサイド情報を解析可能であることを予め保証することができるという効果も得られる。
なお、本実施の形態2においては、結合されたデータはBDに記録されるものとしたが、これに限るものではなく、ハードディスクやDVDなどの蓄積メディアに記録しても良い。
また、本実施の形態2においてはハードウェアで構成された多重化装置について説明したが、これに限るものではない。例えば、上記多重化装置はCPU(中央演算処理装置)や、DSP(デジタル信号処理装置)上で動作するソフトウェアプログラムとして実現することができる。また、上記多重化装置はLSI(大規模集積回路)で実現されても良い。
(実施の形態3)
本発明の第3の実施の形態における復号装置について説明する。
図17は、本発明の第3実施の形態における復号装置の構成を示すブロック図である。
復号装置20は、動画像や音声の符号化データと、テーブルデータを多重化したTSを入力し、これらを分離する分離部21と、前記テーブルデータに格納された、タグ値で分類される副記述子を解析する情報解析部22と、前記解析した副記述子に含まれるサイド情報を参照しながら動画像あるいは音声の符号化データを復号するデータ復号部23とを備える。
より詳しくは、復号装置20は、動画像および音声の少なくとも一方の符号化データと、テーブルデータを異なるパケット識別子を付与してパケット多重化されたデータを受信するものであり、パケット多重化されデータから、符号化データと、テーブルデータとを、パケット識別を参照して分離する分離部21と、分離されたテーブルデータに格納されたタグ値(主タグ値)で識別される副記述子を解析し、解析できたサイド情報を抽出する情報解析部22と、抽出されたサイド情報に基づいて、符号化データを復号するデータ復号部23とを備える。
ここで、情報解析部22は、副記述子規定内容(例えば、図6に示される副記述子規定内容)を格納したテーブル220を保持し、テーブルデータ内にタグ値が同じである副記述子を複数回検出時は、より後方に配置されている副記述子を正式なものとして使用する。テーブルデータは、MPEGで規格化されるプログラムマップテーブルである。
次いで、情報解析部22の具体的な動作を説明する。
図18は、情報解析部22が実行する情報解析処理の動作を示すフローチャートである。
情報解析部22は、まず、プログラムマップテーブルの動画像や音声データに関連付けられた記述子中に副記述子が格納されているかどうか、つまり副記述子のある記述子かどうかを判別する(S21)。これは記述子のタグ値によりデータ構造が規定されているため、これを手がかりに副記述子が格納されているかどうかを判別するためである。
副記述子が格納されている記述子の場合(S21でYes)、情報解析部22は、全ての副記述子を解析したかどうかを判別する(S22)。
未解析の副記述子がある場合(S22でNo)、情報解析部22は、副記述子のタグを調べ、タグ値におけるデータ構造が既知であるか不明なものであるか、つまり副記述子のタグ値は既知であるか否かを判別する(S23)。
データ構造が既知の場合(S23でYes)、情報解析部22は、タグに引き続く副記述子のデータフィールドに格納されたサイド情報を読み込んで解析する(S24)。
一方、データ構造が不明の場合や、未処理の副記述子がある場合であっても(S21でNo、S22でYes、S23でNo)、情報解析部22は、それ以降の解析処理はキャンセルして終了する。
つまり、情報解析部22は、副記述子を全て解析できた場合に限らず、副記述子を解析できなくなった時点で、情報解析処理を終了する。
したがって、後方互換性を維持しつつ、情報解析処理を素早く終えることができる。
なお、タグ値が同じある副記述子が、S23において複数回検出された場合、後から検出した副記述子を有効とし、それ以前の副記述子に格納されたサイド情報は破棄する。即ち、破棄した副記述子に含まれるサイド情報はデータ復号部23の復号処理時に参照されない。
したがって、規格拡張によって副記述子内のサイド情報のデータ構造が変化した場合でも、副記述子に含まれるサイド情報を確実に抽出できるという効果が得られる。
以上、本実施の形態3においてはハードウェアで構成された復号装置について説明したが、これに限るものではない。例えば、上記復号装置は、CPU(中央演算処理装置)やDSP(デジタル信号処理装置)上で動作するソフトウェアプログラムとして実現することもできる。また、上記復号装置は、LSI(大規模集積回路)で実現されても良い。
(実施の形態4)
さらに、上記各実施の形態で示した情報記録媒体、多重化装置、復号装置を、CPUやDSP上で実行するためのソフトウェアプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図19は、上記各実施の形態の再生方法および記録方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図19(b)は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図19(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。したがって、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。
また、図19(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。再生方法および記録方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより再生方法および記録方法を実現する再生方法および記録方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。
本発明に係る情報記録媒体、多重化装置、復号装置は、動画像あるいは音声データに関するサイド情報を、効率的かつ確実に解析できるようにテーブルデータ内に格納することができるため、動画像や音声などの符号化データを記録するパッケージメディアや、放送局の装置、ホームサーバや、CD、DVD、BD、HDに記録したり再生したりするAV機器において特に有効である。
本発明は、動画像データと、そのサイド情報を含むテーブルデータをパケット多重化して記録したパッケージメディア(情報記録媒体)並びにその多重化装置および復号化装置に関するものである。
従来の技術である、MPEG(Moving Picture Experts Group、エムペグ)のトランスポートストリーム(以下、「TS」とも記す。)について説明する。
(TSのデータ構造)
図1は、TSのデータ構造を示す図である。
TSは188バイトのTSパケットが連続するシーケンスである。なお、ビデオテープやハードディスク、ブルーレイディスクなどの蓄積メディアに記録する場合においては、各TSパケットに先立って4バイトのヘッダを追加して記録するのが一般的である。
TSパケットは、TSヘッダ(以下、「TSH」とも記す。)と、TSペイロード(以下、「PLD」とも記す。)とから構成される。TSHには、パケットの先頭であることを示す同期語(SYN)や、パケットの種別を示すパケット識別子(PID)などが含まれる。PLDには、符号化された動画像や、音声などの符号化データや、プログラムマップテーブルと呼ばれるテーブルデータなどの実体が格納される。TSパケットが動画像、音声、テーブル、またはその他のいずれのデータを格納しているかは、PIDで識別される。動画像と音声データのPID値は、テーブルデータに示される。
(プログラムマップテーブルのデータ構造)
図2は、プログラムマップテーブルの構文の一部分を示す図である。
図2中に示されるstream_typeは、動画像や音声データの符号化方式を特定するためのフィールドである。本フィールドより、動画像、音声データのいずれであるか、また動画像であればどのような規格に基づく符号化方式であるかを判別することができる。
reservedは、将来の拡張用としてMPEGにより予約されているフィールドである。
elementary_PIDは、stream_typeで示されたデータを格納するTSパケットのPID値を示すフィールドである。
ES_info_lengthフィールドは、続くforループ内の記述子の総バイト数を示す。forループ内にはN個の記述子が格納される。
(記述子のデータ構造)
図3は、記述子のデータ構造を示す図である。
記述子は、記述子の種別を示すタグと、記述子のデータの総バイト数を示す記述子長と、記述子長のデータとからなる。
タグは、8ビットであるため、最大255個の記述子が定義可能である。
また記述子長は8ビットであるため、最大255バイトまでのデータを格納可能である。
記述子のデータには、stream_typeで示された動画像あるいは音声符号化データの内容や、多重化時の設定に関するデータ等に関する情報が格納される。
記述子の具体的な内容や、どのような記述子を使用するかは、MPEGや、SMPTE(シンプティ、Society of Motion Picture and Television Engineers、米国の動画像と音声の方式を定める団体)、ATSC(Advanced Television Systems Committee、米国のデジタルテレビ放送方式を定める委員会)、BDF(Blue−ray Disc Foundation、ブルーレイディスクの規格を定める団体)などで定められる標準規格またはサービス運用規格で決定される。
(多重化装置)
図4は、符号化された動画像と音声データから、以上説明したようなデータ構造であるTSを生成する従来の多重化装置の構成例を示すブロック図である。
図4に示されるように、従来の多重化装置900は、記述子を生成する記述子生成部901と、記述子を多重化したプログラムマップテーブルを生成するテーブルデータ生成部902と、符号化動画像データ、符号化された動画像データ、音声データ、生成したテーブルデータを入力してTSパケットを生成し、多重化して出力するパケット生成多重化部903とから構成される。
(情報記録媒体)
符号化された動画像、音声データ、テーブルデータをパケット多重化したTSは、ハードディスクやブルーレイディスク等の情報記録媒体に記録することが可能である。
読み、書きが可能なブルーレイディスク(BD−RE)におけるTSの記録方法に関しては、特許文献1に公開されている。
特開2001−169247号公報
ところで、背景技術において説明したように、テーブルデータに格納可能な記述子は、最大255である。MPEGや、ATSCなどの各種規格において、多くのタグが既に定義済みであり、今後も新たな符号化方式が採用され、機能が拡張していくことを考慮すると、将来的にはタグが枯渇するおそれがある。つまり、テーブルデータに記述子を1つだけしか格納できないとした場合、新たな符号化方式や、拡張された機能にタグを新たに割り当てることができなくなるおそれがある。
したがって、このような事態を避けるため、図5に示されるように、記述子の階層化、つまり1つの記述子の中に、複数の副記述子を格納する仕組みを採用することが望まれる。なお、副記述子においては、図5に示されるように、副記述子長を省略するようなデータ構造を採用することで、複数の副記述子を格納しつつ、データサイズを抑制することができる。
しかしながら、副記述子長を省略するようなデータ構造を採用した場合、副記述子のデータサイズを示す情報がないため、記述子を解析する(例えば)復号装置において、データ構造が不明の副記述子以降の副記述子は、例え既知の副記述子であっても解析できない。
例えば、記述子のタグ値1、2である副記述子1、副記述子2についてのデータ構造が既知であり、タグ値3である副記述子3についてのデータ構造が不明である場合を例として考える。
記述子中に副記述子1、副記述子2、副記述子3の順で格納されているならば、データ構造が既知である副記述子1、副記述子2を解析することができる。
しかしながら、記述子中に副記述子1、副記述子3、副記述子2の順で格納されている場合は副記述子1を解析できるが、副記述子3のデータ構造が不明のため、この次に格納された副記述子2を解析できない。
規格は、一旦決定された後も、陳腐化しないよう必要に応じて拡張される場合があり、副記述子が追加される、あるいは既存の副記述子のデータ構造が変更されることが予想される。ある規格に基づいた多重化装置は、それより後に拡張された規格に基づき追加あるいは変更された副記述子を解析できないばかりではなく、データ長が未知のためそれ以降の副記述子は、本来解析可能である副記述子であったとしても解析できなくなり、正常な復号動作が行えなくなるという課題がある。
ここで、さらに詳細かつ具体的に説明する。
例えば、ある新しいビデオ符号化をサポートするために拡張したトランスポートストリーム規格(以下、「T規格」とも呼ぶ。)の1.0版では、図6に示されるように、副記述子の規定内容が、タグ値0のプロファイルに関するものと、タグ値1のデコーダのバッファ容量に関するものと、タグ値2のパケット化に関するものが規定されたとする。そして、T規格の2.0版において、図7に示されるように、新たにプロファイルの追加規制に関する記述子をタグ値3として規定したとする。なお、T規格においては、副記述子の規定内容を前詰めで規定し、前から順番にタグ値を1ずつ大きくするようにしている。
従来の1.0版に基づく多重化装置では、その規定に従い、副記述子をタグ値0,1,2の順で格納している。
一方、2.0版に基づく多重化装置では、図8に示されるように、プロファイルに関する副記述子(タグ値0)の直後に、追加されたプロファイルに関する追加制約に関する副記述子(タグ値3)を格納し、その後、タグ値1,2の副記述子を格納する可能性が高いと考えられる。何故なら、同じ内容に関する情報(ここではプロファイル)は、続けて格納することが、自然であるからである。
なお、プロファイルに関する情報としては、MPEG規格(例えばISO/IEC14496−10)では圧縮符号化に使用されるツールに関する制限を示すものであり、ベースライン、メイン、エクステンデッドなどのプロファイルが規定されているが、これと同様の内容が考えられる。また、プロファイルの追加制約に関する情報としては、同じくISO/IEC14496−10におけるconstraint_set0_flag,constraint_set1_flagのような、各プロファイルで使用可能なツールをさらに制約するような情報が考えられる。ISO/IEC14496−10の圧縮ビデオデータをMPEG2 Transprt Streamに格納する際に使用される(オプション)AVCビデオ記述子では、これらの情報は、図9に示されるような構造で規定されている。この規定は13818−1:2003にて規格化されている。
ここで、プロファイルに関する情報はprofile_idcに相当し、プロファイルの追加制約に関する情報はconstraint_set0_flag等に相当する。
このように、プロファイルの追加制約に関する副記述子(タグ値3)が2.0版で規定されたとすれば、以上のようなISO/IEC14496−10のような事例から類推しても、タグ値0の副記述子に続いてタグ値3の副記述子が格納され、その後タグ値1,2に関する副記述子が格納されるような事例は十分に可能性がある。
このように、プロファイルに関する副記述子(タグ値0)の直後に、第2版で追加されたプロファイルに関する追加制約に関する副記述子(タグ値3)を格納し、その後、タグ値1,2の副記述子を格納する場合、1.0版に基づく復号化装置では、タグ値0のプロファイルに関するものを解釈することができるが、その次のタグ値3のプロファイルの追加規制に関する記述子を解釈することができない。それに加えて、タグ値3のプロファイルの追加規制に関する記述子のサイズがわからないので、タグ値1のデコーダのバッファ容量に関するものと、タグ値2のパケット化に関するものとについても解釈することもできなくなってしまう。
つまり、動画像あるいは音声データを復号する復号装置において、拡張された規格に対応していない復号装置は、自己が本来識別可能なサイド情報が含まれているにもかかわらず、これを解析できなくなるという問題が生じる。
そこで、本発明は、上述の技術的課題を解決し、自己(復号装置)が本来識別可能なサイド情報を確実に解析することが可能な多重化装置、情報記録媒体および復号装置を提供することを目的とする。
即ち、後方互換性を確保することができる多重化装置、情報記録媒体および復号装置を提供することを目的とする。
上記目的を達成するために、本発明に係る多重化装置においては、動画像および音声の少なくとも一方の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを生成する多重化装置であって、前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される副記述子を複数生成する副記述子生成手段と、前記副記述子生成手段によって生成された複数の副記述子と、当該複数の副記述子の集まりを示す主タグ値とを含む主記述子を生成する主記述子生成手段と、前記主記述子生成手段によって生成された主記述子を前記符号化データのパケット識別子に関連付けて、前記テーブルデータを生成するテーブル生成手段とを備え、前記副記述生成手段は、前記複数の副記述子を、予め定められた格納規則に基づく並びの順に出力することを特徴とする。
これにより、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る多重化装置においては、前記格納規則は、小さい自然数の値のタグ値を持つ副記述子から昇順に格納することを規則とすることを特徴とすることができる。
これにより、規格拡張される際にはより値の大きいタグ値を新規サイド情報に割り当てることで、復号装置は自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る多重化装置においては、前記格納規則は、前記副記述子を規格化された時期でグループに分類し、前記時期が古いグループに属する副記述子を、前記時期の新しいグループに属する副記述子より前方に格納することを規則とすることを特徴とすることができる。
これにより、規格拡張される際には時期の新しいグループに属する副記述子により値の大きいタグ値を新規サイド情報に割り当てることでグループ分けが可能となり、復号装置は自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る多重化装置においては、前記副記述生成手段は、生成した副記述子を複数格納可能な内部メモリを有し、前記内部メモリに格納した複数の副記述子の並びが前記格納規則に合致しない場合、当該格納規則に合致するように並び替えてから出力することを特徴とすることもできる。
これにより、副記述子の並びを格納規則に合致するように修正でき、復号装置は自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る多重化装置においては、前記多重化装置は、さらに前記多重化手段により多重化されたデータの管理情報に前記サイド情報の格納規則を特定するためのフラグ情報を多重化する管理情報生成手段と、前記パケット多重化したデータと前記管理情報を結合する結合手段とを備えることを特徴とすることもできる。
これにより、復号装置において、自己が識別可能なサイド情報を解析可能であることを予め保証することができるという効果が得られる。
また、本発明に係る情報記録媒体においては、動画像および音声の少なくとも一方の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを記録した情報記録媒体であって、前記テーブルデータ内に、前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される複数の副記述子と、前記複数の副記述子の集まりを示す主タグ値を含む主記述子とを含み、前記複数の副記述子は、予め定められた格納規則に基づく並びの順に並べられて格納されていることを特徴とする。
これにより、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る情報記録媒体においては、前記情報記録媒体には、さらに前記パケット多重化したデータに結合された管理情報が記録されており、前記管理情報には、前記副記述子の格納規則を示すフラグ情報が多重化されていることを特徴とする。
これにより、復号装置において、自己が識別可能なサイド情報を解析可能であることを予め保証することができるという効果が得られる。
また、本発明に係る復号装置においては、動画像および音声の少なくとも一方の符号化データと、テーブルデータを異なるパケット識別子を付与してパケット多重化されたデータを受信する復号装置であって、前記パケット多重化されデータから、前記符号化データと、テーブルデータとを、前記パケット識別を参照して分離する分離手段と、分離された前記テーブルデータに格納された主タグ値で識別される副記述子を解析し、解析できたサイド情報を抽出する情報解析手段と、前記抽出されたサイド情報に基づいて、前記符号化データを復号するデータ復号手段とを備えることを特徴とする。
これにより、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られる。
また、本発明に係る復号装置においては、前記情報解析手段は、前記副記述子を解析できなくなった時点で、情報解析処理を終了することを特徴とすることができる。
これにより、後方互換性を維持しつつ、情報解析処理を素早く終えることができる。
また、本発明に係る復号装置においては、前記情報解析手段は、テーブルデータ内にタグ値が同じ副記述子を複数個検出した場合、より後方に配置されている副記述子を有効として選択することを特徴とすることもできる。
これにより、規格拡張によって副記述子内のサイド情報のデータ構造が変化した場合でも、副記述子に含まれるサイド情報を確実に抽出できるという効果が得られる。
なお、本発明は、このような多重化装置や、復号装置として実現することができるだけでなく、このような多重化装置や、復号装置が備える特徴的な手段をステップとする多重化方法、復号方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
また、上記実施の形態では、動画像および音声の両方の符号化データを扱う場合について説明したが、動画像および音声の一方の符号化データを扱う場合に本願発明を適用できるのは言うまでもない。
以上の説明から明らかなように、本発明に係る復号化装置、情報記録媒体、復号装置によれば、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析することが可能になるという効果が奏される。
よって、本発明により、後方互換性が確保され、既存の復号化装置が既に広く普及している今日における本願発明の実用的価値は極めて高い。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図10は、本発明の実施の形態1における多重化装置の構成を示すブロック図である。
図10に示されるように、多重化装置10aは、動画像の符号化データと、音声の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを生成するものであり、副記述子生成部14と、記述子生成部11と、テーブルデータ生成部12と、パケット生成多重化部13とを備える。
副記述子生成部14は、副記述子を生成する。より詳しくは、副記述子生成部14は、符号化データを復号するためのパラメータを表すサイド情報の種類を示すタグ値と、サイド情報とから構成される副記述子を複数生成する。なお、サイド情報には、動画像の符号化データや、音声の符号化データの主情報以外の、動き補償ベクトル値や、符号化方法(符号化モード)等を表す情報が含まれる。
記述子生成部11は、副記述子を多重化して記述子を生成する。より詳しくは、記述子生成部11は、副記述子生成部14によって生成された複数の副記述子と、当該複数の副記述子の集まりを示すタグ値(主タグ値)とを含む記述子(主記述子)を生成する。
テーブルデータ生成部12は、記述子を多重化したプログラムマップテーブルを生成する。より詳しくは、テーブルデータ生成部12は、記述子生成部11によって生成された記述子を符号化データのパケット識別子に関連付けて、テーブルデータを生成する。
パケット生成多重化部13は、少なくとも符号化された動画像データ、音声データ、およびプログラムマップテーブルを入力してTSパケットを生成し、多重化してTSを出力する。
動画像や音声の符号化データの符号化方式としては、MPEGやITU−T、SMPTEなどで標準化された方式(例えば、ISO/IEC 13818、ISO/IEC 14496等)や、DVDやBD等の運用規格で定められた方式が使用可能である。また、多重化装置10aが出力するTSの形式は、188バイト長のTSパケットシーケンスの他、各TSパケットの先頭に4バイトの追加ヘッダを付加して192バイト長としたパケットシーケンスも可能である。
4バイトの追加ヘッダには、通常、多重化装置内のクロック情報から生成されるクロック値をサンプリングしたPCR(プログラムクロックリファレンス)が記録される。
また、記述子の例は、MPEGなどの規格や、サービス運用規格で定められている。特に、副記述子を格納した記述子としては、MPEGで規格化されているレジストレーションディスクリプタ、コンディショナルアクセス・ディスクリプタ、コピーライトディスクリプタなどが可能である。
記述子のデータ構造は、図5に示されるように記述子の種別を識別するための記述子タグ、続くデータのバイト数を示す記述子長、および記述子データ部で構成される。記述子データ部の一部を構成する副記述子は、副記述子の種別を識別する副記述子タグおよび副記述子データ(サイド情報)で構成される。
サイド情報としては、動画像や音声の符号化方式に関する情報であるプロファイルや、レベルの情報の他、復号に必要とされるバッファサイズの情報、またパケット化や、多重化に関する情報である符号化データのパケット化単位の情報などが可能である。
図10に示される多重化装置10aにおいて、副記述子生成部14は、最新の副記述子規定内容(例えば、図7に示される副記述子規定内容)を格納したテーブル140を保持し、サイド情報およびサイド情報の格納順を指示する格納規則を入力し、サイド情報より副記述子を生成し、必要があれば、格納規則に従って副記述子を並び替えて出力する。
副記述子生成部14の具体的な動作を説明する。
図11は、副記述子生成部14が実行する副記述子生成処理の動作を示すフローチャートである。
副記述子生成部14は、まず、サイド情報を一つ入力し(S11)、サイド情報に応じたタグ値を付与して副記述子を生成し(S12)、生成した副記述子を内部メモリに保持する(S13)。次に、副記述子生成部14は、次のサイド情報があるかどうかを判定する(S14)。次のサイド情報がある場合(S14でYes)にはステップS11に戻り、副記述子生成部14は、次のサイド情報がなくなるまで、ステップS11〜S13を繰り返し実行する。次のサイド情報がない、即ち、全てのサイド情報を副記述子として生成完了した場合(S14でNo)、副記述子生成部14は、格納規則情報を入力し、内部メモリに保持している複数の副記述子の並びが格納規則情報に合致しているか否か判断する(S15)。
合致している場合(S15でYes)、副記述子生成部14は、複数の記述子を格納規則に合致した並びで出力し、副記述子生成処理を終了する。これに対して、合致していない場合(S15でNo)、副記述子生成部14は、内部メモリに保持している複数の副記述子を、格納規則情報に従って並び替え、並び替えた結果の副記述子列を出力し、副記述子生成処理を終了する。
記述子生成部11は、副記述子生成部14で生成された副記述子を入力して多重化し、図3に示されるようなデータ構造の記述子を生成して出力する。
テーブルデータ生成部12は、記述子生成部11で生成された記述子を多重化し、図2に示されるようなテーブルデータを生成して出力する。
パケット生成多重化部13は、動画像の符号化データ、音声の符号化データ、およびテーブルデータを入力し、各データをTSパケットとしてパケット化して多重化し、出力する。
ここで、格納規則の2つの望ましい例について、説明する。
図12は、格納規則の2つの望ましい例について、説明するための図であり、特に図12(a)は、副記述子のタグ値が1以上の自然数で昇順となるように格納することを格納規則とするものであり、図12(b)は、規格化された時期に従って副記述子をグループに分類し、規格化された時期が古いグループに属する副記述子は、時期の新しいグループに属する副記述子に属する副記述子より前方に格納することを格納規則とするものである。
第1例は、図12(a)に示されるように、副記述子のタグ値が1以上の自然数で昇順となるように格納することを格納規則とする。これは、一般的に規格では最初に規格化したものはタグ値が小さいものを割り当て、規格を拡張して副記述子を新たに定義した場合、より大きいタグ値を新たに定義した副記述子に割り当てることが多いことに着目した規則である。
今、ステップS13において副記述子1(タグ値1)、副記述子2(タグ値3)、副記述子3(タグ値2)の順で内部メモリに保持されているとする。この場合、ステップS16において、副記述子1(タグ値1)、副記述子3(タグ値2)、副記述子2(タグ値3)の順になるように並び替えて出力する。なお、ここで副記述子のタグ値が1以上の自然数で昇順となることとしたが、タグ値が0以上の自然数で昇順となることとしても良い。
例えば、内部メモリに図8に示される並びの順に副記述子を格納している場合、副記述子生成部14は、図13に示されるように、複数の副記述子をタグ値0、タグ値1、タグ値2、タグ値3の昇順に並べ替えて出力する。
第2例は、図12(a)に示されるように、副記述子が規格化された時期でグループに分類し、規格化された時期が古いグループに属する副記述子は、前記時期の新しいグループに属する副記述子に属する副記述子より前方に格納することを格納規則とする。規格化時期t1、t2(t1<t2)の2つの時期において副記述子が定義されたものと仮定する。
今、S13において副記述子1(タグ値5、規格化時期t1)、副記述子2(タグ値1、規格化時期t2)、副記述子3(タグ値2、規格化時期t1)の順で内部メモリに保持されているとする。この場合、S16において、副記述子1、副記述子3、副記述子2の順になるように並び替えるか、または副記述子3、副記述子1、副記述子2の順になるように並び替えて出力する。副記述子1と3は、規格化時期は同じt1で同じグループに属するため、グループ内での順序は問わない。格納規則情報として各副記述子のタグ値と規格化時期を関連付ける参照テーブルが入力されるか、あるいは副記述子生成部14がこの参照テーブルを予め内部に保持する。
したがって、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られ、後方互換性が確保される。
なお、本多重化装置が出力するTSデータは、放送波や無線などを媒介して伝送したり、DVDやブルーレイディスク、ハードディスク等の蓄積メディアに保存したりすることが可能である。
さらに、本実施の形態1においてはハードウェアで構成された多重化装置について説明したが、これに限るものではない。例えば、上記多重化装置はCPU(中央演算処理装置)やDSP(デジタル信号処理装置)上で動作するソフトウェアプログラムとして実現することができる。また、上記多重化装置はLSI(大規模集積回路)で実現されても良い。
(実施の形態2)
次いで、本発明の第2の実施の形態における多重化装置について説明する。
図14は、本発明の第2の実施の形態における多重化装置の構成を示すブロック図である。
図14に示されるように、多重化装置10bは、多重化装置10aが備える副記述子生成部14、記述子生成部11、テーブルデータ生成部12およびパケット生成多重化部13の他、管理情報データを生成する管理情報生成部15と、少なくとも動画像データ、音声データおよびプログラムマップテーブルを多重化したTSと、管理情報データを結合する結合部16とをさらに備える。
ここで、副記述子生成部14、記述子生成部11、テーブルデータ生成部12、パケット生成多重化部13は、それぞれ第1の実施の形態における多重化装置の説明の際に使用した図10の、副記述子生成部14、記述子生成部11、テーブルデータ生成部12、パケット生成多重化部13と同等の動作になるため説明は省略し、管理情報生成部15、および結合部16について説明する。
管理情報生成部15が生成する管理情報データは、AVデータの各種の属性情報や、N倍速再生(特再)用の情報を格納しており、ハードディスクやDVD、ブルーレイディスク(BD)などの蓄積メディア中に、動画像や音声データと同時に記録されるものである。以下の説明では一例として読み出し専用のBD−ROMについて、図15と、図16を用いて説明する。
図15は、BD−ROMの概略構成を示す図である。
BD−ROMは、ディスク媒体であるBDディスク104と、ディスクに記録されているデータ101,102,103で構成される。BDディスク104に記録されるデータは、動画像や音声の符号化データ103と、これに関する管理情報102と、ユーザによるメニュー操作などのインタラクティブ性を実現するBD再生プログラム101とを含む。
図16は、BDに記録されている論理データのディレクトリ・ファイル構成を示す図である。
BDディスクは、他の光ディスク、例えばDVDやCDなどと同様にその内周から外周に向けてらせん状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。論理アドレス空間には、ファイルシステム情報(ボリューム)を先頭に動画像や音声の符号化データ、テーブルデータ等がアプリケーションデータとして記録される。映画などを記録した一般的なアプリケーションの場合、ルートディレクトリ(ROOT)直下にBDVIDEOディレクトリが置かれている。このディレクトリには、アプリケーションデータや管理情報などのデータ(図15の101,102,103)が格納されている。BDVIDEOディレクトリの下には、通常少なくとも以下の6種類のファイルが記録されている。
1 BD.INFO: BD管理情報の一つであり、BD全体に関する情報を記録したファイルである。
2 BD.PROG: BD再生プログラムの一つであり、BDディスク全体に関わる再生制御情報を記録したファイルである。
3 XXX.PL(「XXX」は可変): BD管理情報の一つであり、シナリオ(再生シーケンス)であるプレイリスト情報を記録したファイルである。プレイリスト毎に1つのファイルを持っている。
4 XXX.PROG(「XXX」は可変): BD再生プログラムの一つであり、XXX.PLに関わる再生制御情報を記録したファイルである。
5 YYY.VOB(「YYY」は可変): 符号化された映像や音声、テーブルデータを多重化したTSの一つである。
6 YYY.VOBI(「YYY」は可変): BD管理情報の一つであり、YYY.VOBに関わるストリーム管理情報を記録したファイルである。
管理情報生成部15は、上述したような管理情報を生成するように動作するものである。さらに、実施の形態2においては、副記述子生成部14で使用した副記述子の格納規則を示す情報を管理情報に多重化する。管理情報はいくつかのファイルに分かれているが、BD.INFO、BD.PROG、XXX.PLのいずれかに格納する。また、これらの管理情報データの既存データフィールドに副記述子の格納規則を関連付けることも可能である。
例えば、プレイリスト情報を記録するXXX.PLの既存データフィールドに結合規則を関連付ける場合、次のようにすれば良い。
XXX.PLには少なくとも1つ以上のPlayItem()が含まれている。各PlayItem()は、STN_table()と呼ばれるテーブルが記録されており、さらにSTN_table()には、動画像や音声などの符号化データ毎のstream_attributes()が記録されている。stream_attributes()中に、符号化方式を示すstream_coding_typeフィールドがある。ここで、stream_coding_typeフィールドがある特定の値である時、副記述子に関する結合規則が示されていることとすることができる。
結合部16は、パケット多重化されたTS(各TSパケットに先立って4バイトのヘッダを付与するようにされたもの)と上述した管理情報データを結合して、出力する。さらに、結合されたデータはBD17に記録される。
以上、本発明の第2の実施の形態である多重化装置について説明した。
したがって、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られ、後方互換性が確保される。
また、管理情報にサイド情報の格納規則を特定するためのフラグ情報が多重化されているので、復号装置において、自己が識別可能なサイド情報を解析可能であることを予め保証することができるという効果も得られる。
なお、本実施の形態2においては、結合されたデータはBDに記録されるものとしたが、これに限るものではなく、ハードディスクやDVDなどの蓄積メディアに記録しても良い。
また、本実施の形態2においてはハードウェアで構成された多重化装置について説明したが、これに限るものではない。例えば、上記多重化装置はCPU(中央演算処理装置)や、DSP(デジタル信号処理装置)上で動作するソフトウェアプログラムとして実現することができる。また、上記多重化装置はLSI(大規模集積回路)で実現されても良い。
(実施の形態3)
本発明の第3の実施の形態における復号装置について説明する。
図17は、本発明の第3実施の形態における復号装置の構成を示すブロック図である。
復号装置20は、動画像や音声の符号化データと、テーブルデータを多重化したTSを入力し、これらを分離する分離部21と、前記テーブルデータに格納された、タグ値で分類される副記述子を解析する情報解析部22と、前記解析した副記述子に含まれるサイド情報を参照しながら動画像あるいは音声の符号化データを復号するデータ復号部23とを備える。
より詳しくは、復号装置20は、動画像および音声の少なくとも一方の符号化データと、テーブルデータを異なるパケット識別子を付与してパケット多重化されたデータを受信するものであり、パケット多重化されデータから、符号化データと、テーブルデータとを、パケット識別を参照して分離する分離部21と、分離されたテーブルデータに格納されたタグ値(主タグ値)で識別される副記述子を解析し、解析できたサイド情報を抽出する情報解析部22と、抽出されたサイド情報に基づいて、符号化データを復号するデータ復号部23とを備える。
ここで、情報解析部22は、副記述子規定内容(例えば、図6に示される副記述子規定内容)を格納したテーブル220を保持し、テーブルデータ内にタグ値が同じである副記述子を複数回検出時は、より後方に配置されている副記述子を正式なものとして使用する。テーブルデータは、MPEGで規格化されるプログラムマップテーブルである。
次いで、情報解析部22の具体的な動作を説明する。
図18は、情報解析部22が実行する情報解析処理の動作を示すフローチャートである。
情報解析部22は、まず、プログラムマップテーブルの動画像や音声データに関連付けられた記述子中に副記述子が格納されているかどうか、つまり副記述子のある記述子かどうかを判別する(S21)。これは記述子のタグ値によりデータ構造が規定されているため、これを手がかりに副記述子が格納されているかどうかを判別するためである。
副記述子が格納されている記述子の場合(S21でYes)、情報解析部22は、全ての副記述子を解析したかどうかを判別する(S22)。
未解析の副記述子がある場合(S22でNo)、情報解析部22は、副記述子のタグを調べ、タグ値におけるデータ構造が既知であるか不明なものであるか、つまり副記述子のタグ値は既知であるか否かを判別する(S23)。
データ構造が既知の場合(S23でYes)、情報解析部22は、タグに引き続く副記述子のデータフィールドに格納されたサイド情報を読み込んで解析する(S24)。
一方、データ構造が不明の場合や、未処理の副記述子がある場合であっても(S21でNo、S22でYes、S23でNo)、情報解析部22は、それ以降の解析処理はキャンセルして終了する。
つまり、情報解析部22は、副記述子を全て解析できた場合に限らず、副記述子を解析できなくなった時点で、情報解析処理を終了する。
したがって、後方互換性を維持しつつ、情報解析処理を素早く終えることができる。
なお、タグ値が同じある副記述子が、S23において複数回検出された場合、後から検出した副記述子を有効とし、それ以前の副記述子に格納されたサイド情報は破棄する。即ち、破棄した副記述子に含まれるサイド情報はデータ復号部23の復号処理時に参照されない。
したがって、規格拡張によって副記述子内のサイド情報のデータ構造が変化した場合でも、副記述子に含まれるサイド情報を確実に抽出できるという効果が得られる。
以上、本実施の形態3においてはハードウェアで構成された復号装置について説明したが、これに限るものではない。例えば、上記復号装置は、CPU(中央演算処理装置)やDSP(デジタル信号処理装置)上で動作するソフトウェアプログラムとして実現することもできる。また、上記復号装置は、LSI(大規模集積回路)で実現されても良い。
(実施の形態4)
さらに、上記各実施の形態で示した情報記録媒体、多重化装置、復号装置を、CPUやDSP上で実行するためのソフトウェアプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図19は、上記各実施の形態の再生方法および記録方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図19(b)は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図19(a)は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。したがって、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。
また、図19(c)は、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。再生方法および記録方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより再生方法および記録方法を実現する再生方法および記録方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。
本発明に係る情報記録媒体、多重化装置、復号装置は、動画像あるいは音声データに関するサイド情報を、効率的かつ確実に解析できるようにテーブルデータ内に格納することができるため、動画像や音声などの符号化データを記録するパッケージメディアや、放送局の装置、ホームサーバや、CD、DVD、BD、HDに記録したり再生したりするAV機器において特に有効である。
図1は、トランスポートストリームのデータ構造を示す図である。
図2は、プログラムマップテーブルのデータ構造を示す図である。
図3は、記述子のデータ構造を示す図である。
図4は、従来例の多重化装置の一例を示すブロック図である。
図5は、副記述子のデータ構造を示す図である。
図6は、T規格の1.0版で規定される副記述子の規定内容を示す図である。
図7は、T規格の2.0版で規定される副記述子の規定内容を示す図である。
図8は、ある多重化装置で作成された副記述子(記述子を含む)の内容を示す図である。
図9は、MPEG規格(例えばISO/IEC14496−10)におけるプロファイルに関する情報を示す図である。
図10は、本発明における第1の実施の形態である多重化装置の構成を示すブロック図である。
図11は、副記述子生成部14の動作の一例を示すフローチャートである。
図12(a)および図12(b)は、副記述子の格納規則の例を示す説明図である。
図13は、本願発明に係る多重化装置で作成された副記述子(記述子を含む)の内容を示す図である。
図14は、本発明の第2の実施の形態における多重化装置の構成を示すブロック図である。
図15は、ブルーレイディスクのデータ階層を示す図である。
図16は、ブルーレイディスクの論理空間構成を示す図である。
図17は、本発明の第3の実施の形態における復号装置の構成を示すブロック図である。
図18は、情報解析部22の動作の一例を示すフローチャートである。
図19(a)、図19(b)および図19(c)は、実施の形態1から実施の形態3の情報記録媒体、多重化装置、復号装置を実現するためのプログラムを格納した記録媒体を示す図である。
符号の説明
10a,10b 多重化装置
11 記述子生成部
12 テーブルデータ生成部
13 パケット生成多重化部
14 副記述子生成部
15 管理情報生成部
16 結合部
20 復号装置
21 分離部
22 情報解析部
23 データ復号部
101 BD再生プログラム
102 BD管理データ
103 動画像や音声の符号化されたデータ
104 BD
140,220 テーブル
TSH TSパケットのヘッダ部
PLD TSパケットのペイロード部
SYN 同期バイト
PID パケット識別子
Se セクタ
Tr トラック
FD フレキシブルディスク
F フレキシブルディスクの外装
FDD FDドライブ
Cs コンピュータシステム