JP4823911B2 - 多重化装置、情報記録媒体、復号装置、多重化方法、復号方法、およびプログラム - Google Patents

Description

本発明は、動画像データと、そのサイド情報を含むテーブルデータをパケット多重化して記録したパッケージメディア（情報記録媒体）並びにその多重化装置および復号化装置に関するものである。

従来の技術である、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、エムペグ）のトランスポートストリーム（以下、「ＴＳ」とも記す。）について説明する。

（ＴＳのデータ構造）
図１は、ＴＳのデータ構造を示す図である。

ＴＳは１８８バイトのＴＳパケットが連続するシーケンスである。なお、ビデオテープやハードディスク、ブルーレイディスクなどの蓄積メディアに記録する場合においては、各ＴＳパケットに先立って４バイトのヘッダを追加して記録するのが一般的である。

ＴＳパケットは、ＴＳヘッダ（以下、「ＴＳＨ」とも記す。）と、ＴＳペイロード（以下、「ＰＬＤ」とも記す。）とから構成される。ＴＳＨには、パケットの先頭であることを示す同期語（ＳＹＮ）や、パケットの種別を示すパケット識別子（ＰＩＤ）などが含まれる。ＰＬＤには、符号化された動画像や、音声などの符号化データや、プログラムマップテーブルと呼ばれるテーブルデータなどの実体が格納される。ＴＳパケットが動画像、音声、テーブル、またはその他のいずれのデータを格納しているかは、ＰＩＤで識別される。動画像と音声データのＰＩＤ値は、テーブルデータに示される。

（プログラムマップテーブルのデータ構造）
図２は、プログラムマップテーブルの構文の一部分を示す図である。

図２中に示されるｓｔｒｅａｍ＿ｔｙｐｅは、動画像や音声データの符号化方式を特定するためのフィールドである。本フィールドより、動画像、音声データのいずれであるか、また動画像であればどのような規格に基づく符号化方式であるかを判別することができる。

ｒｅｓｅｒｖｅｄは、将来の拡張用としてＭＰＥＧにより予約されているフィールドである。

ｅｌｅｍｅｎｔａｒｙ＿ＰＩＤは、ｓｔｒｅａｍ＿ｔｙｐｅで示されたデータを格納するＴＳパケットのＰＩＤ値を示すフィールドである。

ＥＳ＿ｉｎｆｏ＿ｌｅｎｇｔｈフィールドは、続くｆｏｒループ内の記述子の総バイト数を示す。ｆｏｒループ内にはＮ個の記述子が格納される。

（記述子のデータ構造）
図３は、記述子のデータ構造を示す図である。

記述子は、記述子の種別を示すタグと、記述子のデータの総バイト数を示す記述子長と、記述子長のデータとからなる。

タグは、８ビットであるため、最大２５５個の記述子が定義可能である。

また記述子長は８ビットであるため、最大２５５バイトまでのデータを格納可能である。

記述子のデータには、ｓｔｒｅａｍ＿ｔｙｐｅで示された動画像あるいは音声符号化データの内容や、多重化時の設定に関するデータ等に関する情報が格納される。

記述子の具体的な内容や、どのような記述子を使用するかは、ＭＰＥＧや、ＳＭＰＴＥ（シンプティ、Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ、米国の動画像と音声の方式を定める団体）、ＡＴＳＣ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｔｅｅ、米国のデジタルテレビ放送方式を定める委員会）、ＢＤＦ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｃ Ｆｏｕｎｄａｔｉｏｎ、ブルーレイディスクの規格を定める団体）などで定められる標準規格またはサービス運用規格で決定される。

（多重化装置）
図４は、符号化された動画像と音声データから、以上説明したようなデータ構造であるＴＳを生成する従来の多重化装置の構成例を示すブロック図である。

図４に示されるように、従来の多重化装置９００は、記述子を生成する記述子生成部９０１と、記述子を多重化したプログラムマップテーブルを生成するテーブルデータ生成部９０２と、符号化動画像データ、符号化された動画像データ、音声データ、生成したテーブルデータを入力してＴＳパケットを生成し、多重化して出力するパケット生成多重化部９０３とから構成される。

（情報記録媒体）
符号化された動画像、音声データ、テーブルデータをパケット多重化したＴＳは、ハードディスクやブルーレイディスク等の情報記録媒体に記録することが可能である。

読み、書きが可能なブルーレイディスク（ＢＤ−ＲＥ）におけるＴＳの記録方法に関しては、特許文献１に公開されている。
特開２００１−１６９２４７号公報

ところで、背景技術において説明したように、テーブルデータに格納可能な記述子は、最大２５５である。ＭＰＥＧや、ＡＴＳＣなどの各種規格において、多くのタグが既に定義済みであり、今後も新たな符号化方式が採用され、機能が拡張していくことを考慮すると、将来的にはタグが枯渇するおそれがある。つまり、テーブルデータに記述子を１つだけしか格納できないとした場合、新たな符号化方式や、拡張された機能にタグを新たに割り当てることができなくなるおそれがある。

したがって、このような事態を避けるため、図５に示されるように、記述子の階層化、つまり１つの記述子の中に、複数の副記述子を格納する仕組みを採用することが望まれる。なお、副記述子においては、図５に示されるように、副記述子長を省略するようなデータ構造を採用することで、複数の副記述子を格納しつつ、データサイズを抑制することができる。

しかしながら、副記述子長を省略するようなデータ構造を採用した場合、副記述子のデータサイズを示す情報がないため、記述子を解析する（例えば）復号装置において、データ構造が不明の副記述子以降の副記述子は、例え既知の副記述子であっても解析できない。

例えば、記述子のタグ値１、２である副記述子１、副記述子２についてのデータ構造が既知であり、タグ値３である副記述子３についてのデータ構造が不明である場合を例として考える。

記述子中に副記述子１、副記述子２、副記述子３の順で格納されているならば、データ構造が既知である副記述子１、副記述子２を解析することができる。

しかしながら、記述子中に副記述子１、副記述子３、副記述子２の順で格納されている場合は副記述子１を解析できるが、副記述子３のデータ構造が不明のため、この次に格納された副記述子２を解析できない。

規格は、一旦決定された後も、陳腐化しないよう必要に応じて拡張される場合があり、副記述子が追加される、あるいは既存の副記述子のデータ構造が変更されることが予想される。ある規格に基づいた多重化装置は、それより後に拡張された規格に基づき追加あるいは変更された副記述子を解析できないばかりではなく、データ長が未知のためそれ以降の副記述子は、本来解析可能である副記述子であったとしても解析できなくなり、正常な復号動作が行えなくなるという課題がある。

ここで、さらに詳細かつ具体的に説明する。

例えば、ある新しいビデオ符号化をサポートするために拡張したトランスポートストリーム規格（以下、「Ｔ規格」とも呼ぶ。）の１．０版では、図６に示されるように、副記述子の規定内容が、タグ値０のプロファイルに関するものと、タグ値１のデコーダのバッファ容量に関するものと、タグ値２のパケット化に関するものが規定されたとする。そして、Ｔ規格の２．０版において、図７に示されるように、新たにプロファイルの追加規制に関する記述子をタグ値３として規定したとする。なお、Ｔ規格においては、副記述子の規定内容を前詰めで規定し、前から順番にタグ値を１ずつ大きくするようにしている。

従来の１．０版に基づく多重化装置では、その規定に従い、副記述子をタグ値０，１，２の順で格納している。

一方、２．０版に基づく多重化装置では、図８に示されるように、プロファイルに関する副記述子（タグ値０）の直後に、追加されたプロファイルに関する追加制約に関する副記述子（タグ値３）を格納し、その後、タグ値１，２の副記述子を格納する可能性が高いと考えられる。何故なら、同じ内容に関する情報（ここではプロファイル）は、続けて格納することが、自然であるからである。

なお、プロファイルに関する情報としては、ＭＰＥＧ規格（例えばＩＳＯ／ＩＥＣ１４４９６−１０）では圧縮符号化に使用されるツールに関する制限を示すものであり、ベースライン、メイン、エクステンデッドなどのプロファイルが規定されているが、これと同様の内容が考えられる。また、プロファイルの追加制約に関する情報としては、同じくＩＳＯ／ＩＥＣ１４４９６−１０におけるｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ０＿ｆｌａｇ，ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ１＿ｆｌａｇのような、各プロファイルで使用可能なツールをさらに制約するような情報が考えられる。ＩＳＯ／ＩＥＣ１４４９６−１０の圧縮ビデオデータをＭＰＥＧ２ Ｔｒａｎｓｐｒｔ Ｓｔｒｅａｍに格納する際に使用される（オプション）ＡＶＣビデオ記述子では、これらの情報は、図９に示されるような構造で規定されている。この規定は１３８１８−１：２００３にて規格化されている。

ここで、プロファイルに関する情報はｐｒｏｆｉｌｅ＿ｉｄｃに相当し、プロファイルの追加制約に関する情報はｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ０＿ｆｌａｇ等に相当する。

このように、プロファイルの追加制約に関する副記述子（タグ値３）が２．０版で規定されたとすれば、以上のようなＩＳＯ／ＩＥＣ１４４９６−１０のような事例から類推しても、タグ値０の副記述子に続いてタグ値３の副記述子が格納され、その後タグ値１，２に関する副記述子が格納されるような事例は十分に可能性がある。

このように、プロファイルに関する副記述子（タグ値０）の直後に、第２版で追加されたプロファイルに関する追加制約に関する副記述子（タグ値３）を格納し、その後、タグ値１，２の副記述子を格納する場合、１．０版に基づく復号化装置では、タグ値０のプロファイルに関するものを解釈することができるが、その次のタグ値３のプロファイルの追加規制に関する記述子を解釈することができない。それに加えて、タグ値３のプロファイルの追加規制に関する記述子のサイズがわからないので、タグ値１のデコーダのバッファ容量に関するものと、タグ値２のパケット化に関するものとについても解釈することもできなくなってしまう。

つまり、動画像あるいは音声データを復号する復号装置において、拡張された規格に対応していない復号装置は、自己が本来識別可能なサイド情報が含まれているにもかかわらず、これを解析できなくなるという問題が生じる。

そこで、本発明は、上述の技術的課題を解決し、自己（復号装置）が本来識別可能なサイド情報を確実に解析することが可能な多重化装置、情報記録媒体および復号装置を提供することを目的とする。

即ち、後方互換性を確保することができる多重化装置、情報記録媒体および復号装置を提供することを目的とする。

上記目的を達成するために、本発明に係る多重化装置においては、動画像および音声の少なくとも一方の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを生成する多重化装置であって、前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される副記述子を複数生成する副記述子生成手段と、前記副記述子生成手段によって生成された複数の副記述子と、当該複数の副記述子の集まりを示す主タグ値とを含む主記述子を生成する主記述子生成手段と、前記主記述子生成手段によって生成された主記述子を前記符号化データのパケット識別子に関連付けて、前記テーブルデータを生成するテーブル生成手段とを備え、前記副記述生成手段は、前記複数の副記述子を、予め定められた格納規則に基づく並びの順に出力することを特徴とする。

これにより、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られる。

また、本発明に係る多重化装置においては、前記格納規則は、小さい自然数の値のタグ値を持つ副記述子から昇順に格納することを規則とすることを特徴とすることができる。

これにより、規格拡張される際にはより値の大きいタグ値を新規サイド情報に割り当てることで、復号装置は自己が識別可能なサイド情報を確実に解析できるという効果が得られる。

また、本発明に係る多重化装置においては、前記格納規則は、前記副記述子を規格化された時期でグループに分類し、前記時期が古いグループに属する副記述子を、前記時期の新しいグループに属する副記述子より前方に格納することを規則とすることを特徴とすることができる。

これにより、規格拡張される際には時期の新しいグループに属する副記述子により値の大きいタグ値を新規サイド情報に割り当てることでグループ分けが可能となり、復号装置は自己が識別可能なサイド情報を確実に解析できるという効果が得られる。

また、本発明に係る多重化装置においては、前記副記述生成手段は、生成した副記述子を複数格納可能な内部メモリを有し、前記内部メモリに格納した複数の副記述子の並びが前記格納規則に合致しない場合、当該格納規則に合致するように並び替えてから出力することを特徴とすることもできる。

これにより、副記述子の並びを格納規則に合致するように修正でき、復号装置は自己が識別可能なサイド情報を確実に解析できるという効果が得られる。

また、本発明に係る多重化装置においては、前記多重化装置は、さらに前記多重化手段により多重化されたデータの管理情報に前記サイド情報の格納規則を特定するためのフラグ情報を多重化する管理情報生成手段と、前記パケット多重化したデータと前記管理情報を結合する結合手段とを備えることを特徴とすることもできる。

これにより、復号装置において、自己が識別可能なサイド情報を解析可能であることを予め保証することができるという効果が得られる。

また、本発明に係る情報記録媒体においては、動画像および音声の少なくとも一方の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを記録した情報記録媒体であって、前記テーブルデータ内に、前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される複数の副記述子と、前記複数の副記述子の集まりを示す主タグ値を含む主記述子とを含み、前記複数の副記述子は、予め定められた格納規則に基づく並びの順に並べられて格納されていることを特徴とする。

これにより、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られる。

また、本発明に係る情報記録媒体においては、前記情報記録媒体には、さらに前記パケット多重化したデータに結合された管理情報が記録されており、前記管理情報には、前記副記述子の格納規則を示すフラグ情報が多重化されていることを特徴とする。

これにより、復号装置において、自己が識別可能なサイド情報を解析可能であることを予め保証することができるという効果が得られる。

また、本発明に係る復号装置においては、動画像および音声の少なくとも一方の符号化データと、テーブルデータを異なるパケット識別子を付与してパケット多重化されたデータを受信する復号装置であって、前記パケット多重化されデータから、前記符号化データと、テーブルデータとを、前記パケット識別を参照して分離する分離手段と、分離された前記テーブルデータに格納された主タグ値で識別される副記述子を解析し、解析できたサイド情報を抽出する情報解析手段と、前記抽出されたサイド情報に基づいて、前記符号化データを復号するデータ復号手段とを備えることを特徴とする。

これにより、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られる。

また、本発明に係る復号装置においては、前記情報解析手段は、前記副記述子を解析できなくなった時点で、情報解析処理を終了することを特徴とすることができる。

これにより、後方互換性を維持しつつ、情報解析処理を素早く終えることができる。

また、本発明に係る復号装置においては、前記情報解析手段は、テーブルデータ内にタグ値が同じ副記述子を複数個検出した場合、より後方に配置されている副記述子を有効として選択することを特徴とすることもできる。

これにより、規格拡張によって副記述子内のサイド情報のデータ構造が変化した場合でも、副記述子に含まれるサイド情報を確実に抽出できるという効果が得られる。

なお、本発明は、このような多重化装置や、復号装置として実現することができるだけでなく、このような多重化装置や、復号装置が備える特徴的な手段をステップとする多重化方法、復号方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

また、上記実施の形態では、動画像および音声の両方の符号化データを扱う場合について説明したが、動画像および音声の一方の符号化データを扱う場合に本願発明を適用できるのは言うまでもない。

以上の説明から明らかなように、本発明に係る復号化装置、情報記録媒体、復号装置によれば、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析することが可能になるという効果が奏される。

よって、本発明により、後方互換性が確保され、既存の復号化装置が既に広く普及している今日における本願発明の実用的価値は極めて高い。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１０は、本発明の実施の形態１における多重化装置の構成を示すブロック図である。

図１０に示されるように、多重化装置１０ａは、動画像の符号化データと、音声の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを生成するものであり、副記述子生成部１４と、記述子生成部１１と、テーブルデータ生成部１２と、パケット生成多重化部１３とを備える。

副記述子生成部１４は、副記述子を生成する。より詳しくは、副記述子生成部１４は、符号化データを復号するためのパラメータを表すサイド情報の種類を示すタグ値と、サイド情報とから構成される副記述子を複数生成する。なお、サイド情報には、動画像の符号化データや、音声の符号化データの主情報以外の、動き補償ベクトル値や、符号化方法（符号化モード）等を表す情報が含まれる。

記述子生成部１１は、副記述子を多重化して記述子を生成する。より詳しくは、記述子生成部１１は、副記述子生成部１４によって生成された複数の副記述子と、当該複数の副記述子の集まりを示すタグ値（主タグ値）とを含む記述子（主記述子）を生成する。

テーブルデータ生成部１２は、記述子を多重化したプログラムマップテーブルを生成する。より詳しくは、テーブルデータ生成部１２は、記述子生成部１１によって生成された記述子を符号化データのパケット識別子に関連付けて、テーブルデータを生成する。

パケット生成多重化部１３は、少なくとも符号化された動画像データ、音声データ、およびプログラムマップテーブルを入力してＴＳパケットを生成し、多重化してＴＳを出力する。

動画像や音声の符号化データの符号化方式としては、ＭＰＥＧやＩＴＵ−Ｔ、ＳＭＰＴＥなどで標準化された方式（例えば、ＩＳＯ／ＩＥＣ １３８１８、ＩＳＯ／ＩＥＣ １４４９６等）や、ＤＶＤやＢＤ等の運用規格で定められた方式が使用可能である。また、多重化装置１０ａが出力するＴＳの形式は、１８８バイト長のＴＳパケットシーケンスの他、各ＴＳパケットの先頭に４バイトの追加ヘッダを付加して１９２バイト長としたパケットシーケンスも可能である。

４バイトの追加ヘッダには、通常、多重化装置内のクロック情報から生成されるクロック値をサンプリングしたＰＣＲ（プログラムクロックリファレンス）が記録される。

また、記述子の例は、ＭＰＥＧなどの規格や、サービス運用規格で定められている。特に、副記述子を格納した記述子としては、ＭＰＥＧで規格化されているレジストレーションディスクリプタ、コンディショナルアクセス・ディスクリプタ、コピーライトディスクリプタなどが可能である。

記述子のデータ構造は、図５に示されるように記述子の種別を識別するための記述子タグ、続くデータのバイト数を示す記述子長、および記述子データ部で構成される。記述子データ部の一部を構成する副記述子は、副記述子の種別を識別する副記述子タグおよび副記述子データ（サイド情報）で構成される。

サイド情報としては、動画像や音声の符号化方式に関する情報であるプロファイルや、レベルの情報の他、復号に必要とされるバッファサイズの情報、またパケット化や、多重化に関する情報である符号化データのパケット化単位の情報などが可能である。

図１０に示される多重化装置１０ａにおいて、副記述子生成部１４は、最新の副記述子規定内容（例えば、図７に示される副記述子規定内容）を格納したテーブル１４０を保持し、サイド情報およびサイド情報の格納順を指示する格納規則を入力し、サイド情報より副記述子を生成し、必要があれば、格納規則に従って副記述子を並び替えて出力する。

副記述子生成部１４の具体的な動作を説明する。

図１１は、副記述子生成部１４が実行する副記述子生成処理の動作を示すフローチャートである。

副記述子生成部１４は、まず、サイド情報を一つ入力し（Ｓ１１）、サイド情報に応じたタグ値を付与して副記述子を生成し（Ｓ１２）、生成した副記述子を内部メモリに保持する（Ｓ１３）。次に、副記述子生成部１４は、次のサイド情報があるかどうかを判定する（Ｓ１４）。次のサイド情報がある場合（Ｓ１４でＹｅｓ）にはステップＳ１１に戻り、副記述子生成部１４は、次のサイド情報がなくなるまで、ステップＳ１１〜Ｓ１３を繰り返し実行する。次のサイド情報がない、即ち、全てのサイド情報を副記述子として生成完了した場合（Ｓ１４でＮｏ）、副記述子生成部１４は、格納規則情報を入力し、内部メモリに保持している複数の副記述子の並びが格納規則情報に合致しているか否か判断する（Ｓ１５）。

合致している場合（Ｓ１５でＹｅｓ）、副記述子生成部１４は、複数の記述子を格納規則に合致した並びで出力し、副記述子生成処理を終了する。これに対して、合致していない場合（Ｓ１５でＮｏ）、副記述子生成部１４は、内部メモリに保持している複数の副記述子を、格納規則情報に従って並び替え、並び替えた結果の副記述子列を出力し、副記述子生成処理を終了する。

記述子生成部１１は、副記述子生成部１４で生成された副記述子を入力して多重化し、図３に示されるようなデータ構造の記述子を生成して出力する。

テーブルデータ生成部１２は、記述子生成部１１で生成された記述子を多重化し、図２に示されるようなテーブルデータを生成して出力する。

パケット生成多重化部１３は、動画像の符号化データ、音声の符号化データ、およびテーブルデータを入力し、各データをＴＳパケットとしてパケット化して多重化し、出力する。

ここで、格納規則の２つの望ましい例について、説明する。

図１２は、格納規則の２つの望ましい例について、説明するための図であり、特に図１２（ａ）は、副記述子のタグ値が１以上の自然数で昇順となるように格納することを格納規則とするものであり、図１２（ｂ）は、規格化された時期に従って副記述子をグループに分類し、規格化された時期が古いグループに属する副記述子は、時期の新しいグループに属する副記述子に属する副記述子より前方に格納することを格納規則とするものである。

第１例は、図１２（ａ）に示されるように、副記述子のタグ値が１以上の自然数で昇順となるように格納することを格納規則とする。これは、一般的に規格では最初に規格化したものはタグ値が小さいものを割り当て、規格を拡張して副記述子を新たに定義した場合、より大きいタグ値を新たに定義した副記述子に割り当てることが多いことに着目した規則である。

今、ステップＳ１３において副記述子１（タグ値１）、副記述子２（タグ値３）、副記述子３（タグ値２）の順で内部メモリに保持されているとする。この場合、ステップＳ１６において、副記述子１（タグ値１）、副記述子３（タグ値２）、副記述子２（タグ値３）の順になるように並び替えて出力する。なお、ここで副記述子のタグ値が１以上の自然数で昇順となることとしたが、タグ値が０以上の自然数で昇順となることとしても良い。

例えば、内部メモリに図８に示される並びの順に副記述子を格納している場合、副記述子生成部１４は、図１３に示されるように、複数の副記述子をタグ値０、タグ値１、タグ値２、タグ値３の昇順に並べ替えて出力する。

第２例は、図１２（ａ）に示されるように、副記述子が規格化された時期でグループに分類し、規格化された時期が古いグループに属する副記述子は、前記時期の新しいグループに属する副記述子に属する副記述子より前方に格納することを格納規則とする。規格化時期ｔ１、ｔ２（ｔ１＜ｔ２）の２つの時期において副記述子が定義されたものと仮定する。

今、Ｓ１３において副記述子１（タグ値５、規格化時期ｔ１）、副記述子２（タグ値１、規格化時期ｔ２）、副記述子３（タグ値２、規格化時期ｔ１）の順で内部メモリに保持されているとする。この場合、Ｓ１６において、副記述子１、副記述子３、副記述子２の順になるように並び替えるか、または副記述子３、副記述子１、副記述子２の順になるように並び替えて出力する。副記述子１と３は、規格化時期は同じｔ１で同じグループに属するため、グループ内での順序は問わない。格納規則情報として各副記述子のタグ値と規格化時期を関連付ける参照テーブルが入力されるか、あるいは副記述子生成部１４がこの参照テーブルを予め内部に保持する。

したがって、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られ、後方互換性が確保される。

なお、本多重化装置が出力するＴＳデータは、放送波や無線などを媒介して伝送したり、ＤＶＤやブルーレイディスク、ハードディスク等の蓄積メディアに保存したりすることが可能である。

さらに、本実施の形態１においてはハードウェアで構成された多重化装置について説明したが、これに限るものではない。例えば、上記多重化装置はＣＰＵ（中央演算処理装置）やＤＳＰ（デジタル信号処理装置）上で動作するソフトウェアプログラムとして実現することができる。また、上記多重化装置はＬＳＩ（大規模集積回路）で実現されても良い。

（実施の形態２）
次いで、本発明の第２の実施の形態における多重化装置について説明する。

図１４は、本発明の第２の実施の形態における多重化装置の構成を示すブロック図である。

図１４に示されるように、多重化装置１０ｂは、多重化装置１０ａが備える副記述子生成部１４、記述子生成部１１、テーブルデータ生成部１２およびパケット生成多重化部１３の他、管理情報データを生成する管理情報生成部１５と、少なくとも動画像データ、音声データおよびプログラムマップテーブルを多重化したＴＳと、管理情報データを結合する結合部１６とをさらに備える。

ここで、副記述子生成部１４、記述子生成部１１、テーブルデータ生成部１２、パケット生成多重化部１３は、それぞれ第１の実施の形態における多重化装置の説明の際に使用した図１０の、副記述子生成部１４、記述子生成部１１、テーブルデータ生成部１２、パケット生成多重化部１３と同等の動作になるため説明は省略し、管理情報生成部１５、および結合部１６について説明する。

管理情報生成部１５が生成する管理情報データは、ＡＶデータの各種の属性情報や、Ｎ倍速再生（特再）用の情報を格納しており、ハードディスクやＤＶＤ、ブルーレイディスク（ＢＤ）などの蓄積メディア中に、動画像や音声データと同時に記録されるものである。以下の説明では一例として読み出し専用のＢＤ−ＲＯＭについて、図１５と、図１６を用いて説明する。

図１５は、ＢＤ−ＲＯＭの概略構成を示す図である。

ＢＤ−ＲＯＭは、ディスク媒体であるＢＤディスク１０４と、ディスクに記録されているデータ１０１，１０２，１０３で構成される。ＢＤディスク１０４に記録されるデータは、動画像や音声の符号化データ１０３と、これに関する管理情報１０２と、ユーザによるメニュー操作などのインタラクティブ性を実現するＢＤ再生プログラム１０１とを含む。

図１６は、ＢＤに記録されている論理データのディレクトリ・ファイル構成を示す図である。

ＢＤディスクは、他の光ディスク、例えばＤＶＤやＣＤなどと同様にその内周から外周に向けてらせん状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。論理アドレス空間には、ファイルシステム情報（ボリューム）を先頭に動画像や音声の符号化データ、テーブルデータ等がアプリケーションデータとして記録される。映画などを記録した一般的なアプリケーションの場合、ルートディレクトリ（ＲＯＯＴ）直下にＢＤＶＩＤＥＯディレクトリが置かれている。このディレクトリには、アプリケーションデータや管理情報などのデータ（図１５の１０１，１０２，１０３）が格納されている。ＢＤＶＩＤＥＯディレクトリの下には、通常少なくとも以下の６種類のファイルが記録されている。

１ ＢＤ．ＩＮＦＯ： ＢＤ管理情報の一つであり、ＢＤ全体に関する情報を記録したファイルである。

２ ＢＤ．ＰＲＯＧ： ＢＤ再生プログラムの一つであり、ＢＤディスク全体に関わる再生制御情報を記録したファイルである。

３ ＸＸＸ．ＰＬ（「ＸＸＸ」は可変）： ＢＤ管理情報の一つであり、シナリオ（再生シーケンス）であるプレイリスト情報を記録したファイルである。プレイリスト毎に１つのファイルを持っている。

４ ＸＸＸ．ＰＲＯＧ（「ＸＸＸ」は可変）： ＢＤ再生プログラムの一つであり、ＸＸＸ．ＰＬに関わる再生制御情報を記録したファイルである。

５ ＹＹＹ．ＶＯＢ（「ＹＹＹ」は可変）： 符号化された映像や音声、テーブルデータを多重化したＴＳの一つである。

６ ＹＹＹ．ＶＯＢＩ（「ＹＹＹ」は可変）： ＢＤ管理情報の一つであり、ＹＹＹ．ＶＯＢに関わるストリーム管理情報を記録したファイルである。

管理情報生成部１５は、上述したような管理情報を生成するように動作するものである。さらに、実施の形態２においては、副記述子生成部１４で使用した副記述子の格納規則を示す情報を管理情報に多重化する。管理情報はいくつかのファイルに分かれているが、ＢＤ．ＩＮＦＯ、ＢＤ．ＰＲＯＧ、ＸＸＸ．ＰＬのいずれかに格納する。また、これらの管理情報データの既存データフィールドに副記述子の格納規則を関連付けることも可能である。

例えば、プレイリスト情報を記録するＸＸＸ．ＰＬの既存データフィールドに結合規則を関連付ける場合、次のようにすれば良い。

ＸＸＸ．ＰＬには少なくとも１つ以上のＰｌａｙＩｔｅｍ（）が含まれている。各ＰｌａｙＩｔｅｍ（）は、ＳＴＮ＿ｔａｂｌｅ（）と呼ばれるテーブルが記録されており、さらにＳＴＮ＿ｔａｂｌｅ（）には、動画像や音声などの符号化データ毎のｓｔｒｅａｍ＿ａｔｔｒｉｂｕｔｅｓ（）が記録されている。ｓｔｒｅａｍ＿ａｔｔｒｉｂｕｔｅｓ（）中に、符号化方式を示すｓｔｒｅａｍ＿ｃｏｄｉｎｇ＿ｔｙｐｅフィールドがある。ここで、ｓｔｒｅａｍ＿ｃｏｄｉｎｇ＿ｔｙｐｅフィールドがある特定の値である時、副記述子に関する結合規則が示されていることとすることができる。

結合部１６は、パケット多重化されたＴＳ（各ＴＳパケットに先立って４バイトのヘッダを付与するようにされたもの）と上述した管理情報データを結合して、出力する。さらに、結合されたデータはＢＤ１７に記録される。

以上、本発明の第２の実施の形態である多重化装置について説明した。

したがって、動画像あるいは音声データを復号する復号装置において、復号装置は、自己が識別可能なサイド情報を確実に解析できるという効果が得られ、後方互換性が確保される。

また、管理情報にサイド情報の格納規則を特定するためのフラグ情報が多重化されているので、復号装置において、自己が識別可能なサイド情報を解析可能であることを予め保証することができるという効果も得られる。

なお、本実施の形態２においては、結合されたデータはＢＤに記録されるものとしたが、これに限るものではなく、ハードディスクやＤＶＤなどの蓄積メディアに記録しても良い。

また、本実施の形態２においてはハードウェアで構成された多重化装置について説明したが、これに限るものではない。例えば、上記多重化装置はＣＰＵ（中央演算処理装置）や、ＤＳＰ（デジタル信号処理装置）上で動作するソフトウェアプログラムとして実現することができる。また、上記多重化装置はＬＳＩ（大規模集積回路）で実現されても良い。

（実施の形態３）
本発明の第３の実施の形態における復号装置について説明する。

図１７は、本発明の第３実施の形態における復号装置の構成を示すブロック図である。

復号装置２０は、動画像や音声の符号化データと、テーブルデータを多重化したＴＳを入力し、これらを分離する分離部２１と、前記テーブルデータに格納された、タグ値で分類される副記述子を解析する情報解析部２２と、前記解析した副記述子に含まれるサイド情報を参照しながら動画像あるいは音声の符号化データを復号するデータ復号部２３とを備える。

より詳しくは、復号装置２０は、動画像および音声の少なくとも一方の符号化データと、テーブルデータを異なるパケット識別子を付与してパケット多重化されたデータを受信するものであり、パケット多重化されデータから、符号化データと、テーブルデータとを、パケット識別を参照して分離する分離部２１と、分離されたテーブルデータに格納されたタグ値（主タグ値）で識別される副記述子を解析し、解析できたサイド情報を抽出する情報解析部２２と、抽出されたサイド情報に基づいて、符号化データを復号するデータ復号部２３とを備える。

ここで、情報解析部２２は、副記述子規定内容（例えば、図６に示される副記述子規定内容）を格納したテーブル２２０を保持し、テーブルデータ内にタグ値が同じである副記述子を複数回検出時は、より後方に配置されている副記述子を正式なものとして使用する。テーブルデータは、ＭＰＥＧで規格化されるプログラムマップテーブルである。

次いで、情報解析部２２の具体的な動作を説明する。

図１８は、情報解析部２２が実行する情報解析処理の動作を示すフローチャートである。

情報解析部２２は、まず、プログラムマップテーブルの動画像や音声データに関連付けられた記述子中に副記述子が格納されているかどうか、つまり副記述子のある記述子かどうかを判別する（Ｓ２１）。これは記述子のタグ値によりデータ構造が規定されているため、これを手がかりに副記述子が格納されているかどうかを判別するためである。

副記述子が格納されている記述子の場合（Ｓ２１でＹｅｓ）、情報解析部２２は、全ての副記述子を解析したかどうかを判別する（Ｓ２２）。

未解析の副記述子がある場合（Ｓ２２でＮｏ）、情報解析部２２は、副記述子のタグを調べ、タグ値におけるデータ構造が既知であるか不明なものであるか、つまり副記述子のタグ値は既知であるか否かを判別する（Ｓ２３）。

データ構造が既知の場合（Ｓ２３でＹｅｓ）、情報解析部２２は、タグに引き続く副記述子のデータフィールドに格納されたサイド情報を読み込んで解析する（Ｓ２４）。

一方、データ構造が不明の場合や、未処理の副記述子がある場合であっても（Ｓ２１でＮｏ、Ｓ２２でＹｅｓ、Ｓ２３でＮｏ）、情報解析部２２は、それ以降の解析処理はキャンセルして終了する。

つまり、情報解析部２２は、副記述子を全て解析できた場合に限らず、副記述子を解析できなくなった時点で、情報解析処理を終了する。

したがって、後方互換性を維持しつつ、情報解析処理を素早く終えることができる。

なお、タグ値が同じある副記述子が、Ｓ２３において複数回検出された場合、後から検出した副記述子を有効とし、それ以前の副記述子に格納されたサイド情報は破棄する。即ち、破棄した副記述子に含まれるサイド情報はデータ復号部２３の復号処理時に参照されない。

したがって、規格拡張によって副記述子内のサイド情報のデータ構造が変化した場合でも、副記述子に含まれるサイド情報を確実に抽出できるという効果が得られる。

以上、本実施の形態３においてはハードウェアで構成された復号装置について説明したが、これに限るものではない。例えば、上記復号装置は、ＣＰＵ（中央演算処理装置）やＤＳＰ（デジタル信号処理装置）上で動作するソフトウェアプログラムとして実現することもできる。また、上記復号装置は、ＬＳＩ（大規模集積回路）で実現されても良い。

（実施の形態４）
さらに、上記各実施の形態で示した情報記録媒体、多重化装置、復号装置を、ＣＰＵやＤＳＰ上で実行するためのソフトウェアプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１９は、上記各実施の形態の再生方法および記録方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図１９（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図１９（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。したがって、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１９（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。再生方法および記録方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより再生方法および記録方法を実現する再生方法および記録方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

本発明に係る情報記録媒体、多重化装置、復号装置は、動画像あるいは音声データに関するサイド情報を、効率的かつ確実に解析できるようにテーブルデータ内に格納することができるため、動画像や音声などの符号化データを記録するパッケージメディアや、放送局の装置、ホームサーバや、ＣＤ、ＤＶＤ、ＢＤ、ＨＤに記録したり再生したりするＡＶ機器において特に有効である。

図１は、トランスポートストリームのデータ構造を示す図である。 図２は、プログラムマップテーブルのデータ構造を示す図である。 図３は、記述子のデータ構造を示す図である。 図４は、従来例の多重化装置の一例を示すブロック図である。 図５は、副記述子のデータ構造を示す図である。 図６は、Ｔ規格の１．０版で規定される副記述子の規定内容を示す図である。 図７は、Ｔ規格の２．０版で規定される副記述子の規定内容を示す図である。 図８は、ある多重化装置で作成された副記述子（記述子を含む）の内容を示す図である。 図９は、ＭＰＥＧ規格（例えばＩＳＯ／ＩＥＣ１４４９６−１０）におけるプロファイルに関する情報を示す図である。 図１０は、本発明における第１の実施の形態である多重化装置の構成を示すブロック図である。 図１１は、副記述子生成部１４の動作の一例を示すフローチャートである。 図１２(ａ)および図１２(ｂ)は、副記述子の格納規則の例を示す説明図である。 図１３は、本願発明に係る多重化装置で作成された副記述子（記述子を含む）の内容を示す図である。 図１４は、本発明の第２の実施の形態における多重化装置の構成を示すブロック図である。 図１５は、ブルーレイディスクのデータ階層を示す図である。 図１６は、ブルーレイディスクの論理空間構成を示す図である。 図１７は、本発明の第３の実施の形態における復号装置の構成を示すブロック図である。 図１８は、情報解析部２２の動作の一例を示すフローチャートである。 図１９（ａ）、図１９（ｂ）および図１９（ｃ）は、実施の形態１から実施の形態３の情報記録媒体、多重化装置、復号装置を実現するためのプログラムを格納した記録媒体を示す図である。

符号の説明

１０ａ，１０ｂ 多重化装置
１１ 記述子生成部
１２ テーブルデータ生成部
１３ パケット生成多重化部
１４ 副記述子生成部
１５ 管理情報生成部
１６ 結合部
２０ 復号装置
２１ 分離部
２２ 情報解析部
２３ データ復号部
１０１ ＢＤ再生プログラム
１０２ ＢＤ管理データ
１０３ 動画像や音声の符号化されたデータ
１０４ ＢＤ
１４０，２２０ テーブル
ＴＳＨ ＴＳパケットのヘッダ部
ＰＬＤ ＴＳパケットのペイロード部
ＳＹＮ 同期バイト
ＰＩＤ パケット識別子
Ｓｅ セクタ
Ｔｒ トラック
ＦＤ フレキシブルディスク
Ｆ フレキシブルディスクの外装
ＦＤＤ ＦＤドライブ
Ｃｓ コンピュータシステム

Claims (14)

1. 動画像および音声の少なくとも一方の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを生成する多重化装置であって、
   前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される副記述子を複数生成する副記述子生成手段と、
   前記副記述子生成手段によって生成された複数の副記述子と、当該複数の副記述子の集まりを示す主タグ値とを含む主記述子を生成する主記述子生成手段と、
   前記主記述子生成手段によって生成された主記述子を前記符号化データのパケット識別子に関連付けて、前記テーブルデータを生成するテーブル生成手段とを備え、
   前記副記述子生成手段は、前記複数の副記述子を、予め定められた格納規則に基づく並びの順に出力する
   ことを特徴とする多重化装置。
2. 前記格納規則は、小さい自然数の値の副タグ値を持つ副記述子から昇順に格納することを規則とする
   ことを特徴とする請求項１記載の多重化装置。
3. 前記格納規則は、前記副記述子を規格化された時期でグループに分類し、前記時期が古いグループに属する副記述子を、前記時期の新しいグループに属する副記述子より前方に格納することを規則とする
   ことを特徴とする請求項１記載の多重化装置。
4. 前記副記述子生成手段は、生成した副記述子を複数格納可能な内部メモリを有し、
   前記内部メモリに格納した複数の副記述子の並びが前記格納規則に合致しない場合、当該格納規則に合致するように並び替えてから出力する
   ことを特徴とする請求項１記載の多重化装置。
5. 前記多重化装置は、さらに
   前記多重化手段により多重化されたデータの管理情報に前記副記述子の格納規則を特定するためのフラグ情報を多重化する管理情報生成手段と、
   前記パケット多重化したデータと前記管理情報を結合する結合手段と
   を備えることを特徴とする請求項１記載の多重化装置。
6. 動画像および音声の少なくとも一方の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを記録した情報記録媒体であって、
   前記テーブルデータ内に、前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される複数の副記述子と、前記複数の副記述子の集まりを示す主タグ値を含む主記述子とを含み、
   前記複数の副記述子は、予め定められた格納規則に基づく並びの順に並べられて格納されている
   ことを特徴とする情報記録媒体。
7. 前記情報記録媒体には、さらに前記パケット多重化したデータに結合された管理情報が記録されており、
   前記管理情報には、前記副記述子の格納規則を示すフラグ情報が多重化されている
   ことを特徴とする請求項６記載の情報記録媒体。
8. 動画像および音声の少なくとも一方の符号化データと、テーブルデータとを異なるパケット識別子を付与してパケット多重化されたデータを受信する復号装置であって、
   前記テーブルデータは、前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される複数の副記述子と、前記複数の副記述子の集まりを示す主タグ値を含む主記述子とを含み、
   前記パケット多重化されたデータから、前記符号化データと、テーブルデータとを、前記パケット識別子を参照して分離する分離手段と、
   分離された前記テーブルデータに含まれる主タグ値で識別される副記述子を構成する副タグ値が既知である場合に、当該副タグ値に対応するサイド情報を抽出する情報解析手段と、
   前記抽出されたサイド情報に基づいて、前記符号化データを復号するデータ復号手段と
   を備えることを特徴とする復号装置。
9. 前記情報解析手段は、分離された前記テーブルデータに含まれる主タグ値で識別される副記述子を構成する副タグ値が未知である場合に、情報解析処理を終了する
   ことを特徴とする請求項８記載の復号装置。
10. 前記情報解析手段は、テーブルデータ内に副タグ値が同じ副記述子を複数個検出した場合、より後方に配置されている副記述子を有効として選択する
    ことを特徴とする請求項８記載の復号装置。
11. 動画像および音声の少なくとも一方の符号化データと、当該符号化データに関するテーブルデータとを、異なるパケット識別子を付与してパケット多重化したデータを生成する多重化方法であって、
    前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される副記述子を複数生成する副記述子生成ステップと、
    前記副記述子生成ステップによって生成された複数の副記述子と、当該複数の副記述子の集まりを示す主タグ値とを含む主記述子を生成する主記述子生成ステップと、
    前記主記述子生成ステップによって生成された主記述子を前記符号化データのパケット識別子に関連付けて、前記テーブルデータを生成するテーブル生成ステップとを含み、
    前記副記述子生成ステップは、前記複数の副記述子を、予め定められた格納規則に基づく並びの順に出力する
    ことを特徴とする多重化方法。
12. 請求項１１に記載の多重化方法に含まれるステップをコンピュータに実行させるためのプログラム。
13. 動画像および音声の少なくとも一方の符号化データと、テーブルデータとを異なるパケット識別子を付与してパケット多重化されたデータを受信する復号方法であって、
    前記テーブルデータは、前記符号化データを復号するためのパラメータを表すサイド情報の種類を示す副タグ値と、当該サイド情報とから構成される複数の副記述子と、前記複数の副記述子の集まりを示す主タグ値を含む主記述子とを含み、
    前記パケット多重化されたデータから、前記符号化データと、テーブルデータとを、前記パケット識別子を参照して分離する分離ステップと、
    分離された前記テーブルデータに含まれる主タグ値で識別される副記述子を構成する副タグ値が既知である場合に、当該副タグ値に対応するサイド情報を抽出する情報解析ステップと、
    前記抽出されたサイド情報に基づいて、前記符号化データを復号するデータ復号ステップと
    を含むことを特徴とする復号方法。
14. 請求項１３に記載の復号方法に含まれるステップをコンピュータに実行させるためのプログラム。

Images