JP4071811B2 - 動画像ストリーム生成装置、動画像ストリーム生成方法、動画像復号化装置、動画像復号化方法、記録方法および動画像復号化システム - Google Patents

Description

本発明は、動画像を符号化したストリームを生成する装置等に関し、特に、飛び込み再生、可変速あるいは逆再生等の特殊再生が可能なストリームを生成する装置等に関する。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔｓ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ：Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ−１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ−２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。さらに現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１）によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された。ＭＰＥＧ−４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。その後、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同でより高圧縮率の次世代画像符号化方式として、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が標準化され、次世代の光ディスク関連機器、あるいは携帯端末向けの放送などで使用される見込みである。

一般に、動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

ＰピクチャまたはＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録または伝送される。

動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。

図１は、従来のＭＰＥＧ−２のストリームの構成図である。図１に示すようにＭＰＥＧ−２のストリームは以下のような階層構造を有している。ストリーム（Ｓｔｒｅａｍ）は複数のグループ・オブ・ピクチャ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）から構成されており、これを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。ＧＯＰは、複数のピクチャから構成され、各ピクチャは、Ｉピクチャ、ＰピクチャまたはＢピクチャがある。ストリーム、ＧＯＰおよびピクチャはさらにそれぞれの単位の区切りを示す同期信号（ｓｙｎｃ）と当該単位に共通のデータであるヘッダ（ｈｅａｄｅｒ）から構成されている。

図２は、ＭＰＥＧ−２で使用されているピクチャ間の予測構造例である。同図で斜線をつけたピクチャは他のピクチャから参照されるピクチャである。図２（ａ）に示すように、ＭＰＥＧ−２ではＰピクチャ（Ｐ０、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５）は表示時刻が直前１枚のＩピクチャもしくはＰピクチャのみ参照した予測符号化が可能である。また、Ｂピクチャ（Ｂ１、Ｂ２、Ｂ４、Ｂ５、Ｂ７、Ｂ８、Ｂ１０、Ｂ１１、Ｂ１３、Ｂ１４、Ｂ１６、Ｂ１７、Ｂ１９、Ｂ２０）は表示時刻が直前１枚と直後１枚のＩピクチャもしくはＰピクチャを参照した予測符号化が可能である。更に、ストリームに配置される順序も決まっており、ＩピクチャおよびＰピクチャは表示時刻の順序、Ｂピクチャは直後に表示されるＩピクチャもしくはＰピクチャの直後に配置される。ＧＯＰ構造としては、例えば、図２（ｂ）に示すように、Ｉ３からＢ１４までのピクチャをまとめて１つのＧＯＰとすることができる。

図３は、ＭＰＥＧ４ ＡＶＣのストリームの構成図である。ＭＰＥＧ４ ＡＶＣでは、ＧＯＰに相当する概念は無いが他のピクチャに依存せずに復号化できる特別なピクチャ単位でデータを分割すればＧＯＰに相当するランダムアクセス可能な単位が構成できるので、これをランダムアクセス単位ＲＡＵ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｕｎｉｔ）と呼ぶことにする。つまり、ランダムアクセス単位ＲＡＵは、他のピクチャに依存せずに復号化できる画面内符号化されたピクチャが先頭に配置されたピクチャの集まりである。

次に、ストリームを扱う際の基本単位であるアクセス単位（以下、単に「ＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ）」と呼ぶ。）について説明する。ＡＵとは、１ピクチャ分の符号化データを格納する単位であり、パラメータセットＰＳや、スライスデータなどを含む。パラメータセットＰＳは各ピクチャのヘッダに相当するデータであるピクチャパラメータセットＰＰＳ（以下、単に「ＰＰＳ」と呼ぶ。）とＭＰＥＧ−２のＧＯＰ以上の単位のヘッダに相当するシーケンスパラメータセットＳＰＳ（以下、単に「ＳＰＳ」と呼ぶ。）がある。ＳＰＳには、最大参照可能ピクチャ数、画像サイズ等が含まれており、ＰＰＳには、可変長符号化の方式、量子化ステップの初期値、参照ピクチャ数等が含まれている。各ピクチャには前記ＰＰＳおよびＳＰＳの何れを参照するかを示す識別子が付与される。また、スライスデータには、ピクチャを識別するための識別番号であるフレーム番号ＦＮが含まれる。なお、シーケンスは、以下に説明するように、復号するために必要な全ての状態がリセットされる特別なピクチャを先頭とし、復号順で直後となる前記特別なピクチャの直前ピクチャまでのピクチャから構成される。

ＭＰＥＧ−４ ＡＶＣにおけるＩピクチャには、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャと、ＩＤＲピクチャではないＩピクチャの２種類がある。ＩＤＲピクチャとは、復号化順でＩＤＲピクチャより後の全ピクチャを、復号化順でＩＤＲピクチャより前のピクチャを参照することなしに復号化することのできる、つまり、復号に必要な状態がリセットされるＩピクチャであり、ＭＰＥＧ−２のｃｌｏｓｅｄ ＧＯＰの先頭Ｉピクチャに相当する。ＭＰＥＧ−４ ＡＶＣのシーケンスはＩＤＲピクチャから開始する。ＩＤＲではないＩピクチャにおいては、復号化順でＩピクチャより後のピクチャが、復号化順で当該Ｉピクチャより前のピクチャを参照してもよい。ここで、ＩＤＲピクチャとＩピクチャは、Ｉスライスのみから構成されるピクチャ、ＰピクチャはＰスライスあるいはＩスライスから構成されるピクチャ、ＢピクチャはＢスライス、Ｐスライス、あるいはＩスライスから構成されるピクチャを指すものとする。なお、ＩＤＲピクチャのスライスと、非ＩＤＲピクチャのスライスとは異なるタイプのＮＡＬユニットに格納される。

ＭＰＥＧ−４ ＡＶＣにおけるＡＵには、ピクチャの復号化に必須のデータに加えて、スライスデータの復号化に必須でないＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる補助情報や、ＡＵの境界情報なども含めることができる。パラメータセットＰＳ、スライスデータ、ＳＥＩなどのデータは、全てＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットＮＡＬＵに格納される。ＮＡＬユニットは、ヘッダとペイロードから構成され、ヘッダには、ペイロードに格納されるデータのタイプ（以降、ＮＡＬユニットタイプと呼ぶ）を示すフィールドなどが含まれる。ＮＡＬユニットタイプは、スライスやＳＥＩなどデータの種類別に値が定義されており、ＮＡＬユニットタイプを参照することにより、ＮＡＬユニットに格納されるデータの種類を特定できる。ＮＡＬユニットのヘッダには、ｎａｌ＿ｒｅｆ＿ｉｄｃと呼ばれるフィールドも含まれる。ｎａｌ＿ｒｅｆ＿ｉｄｃフィールドとは、ＮＡＬユニットのタイプ毎に０あるいは１以上の値をとることが定められた２ビットのフィールドであり、例えばＳＰＳやＰＰＳのＮＡＬユニットでは１以上の値をとる。また、スライスのＮＡＬユニットでは、他のスライスから参照されるスライスでは１以上の値をとり、参照されないスライスでは０となる。ＳＥＩのＮＡＬユニットでは常に０となる。

ＳＥＩのＮＡＬユニットには、１以上のＳＥＩメッセージを格納することができる。ＳＥＩメッセージもヘッダとペイロードから構成され、ペイロードに格納される情報の種類は、ヘッダにおいて示されるＳＥＩメッセージのタイプにより識別される。以降で、ＡＵを復号化するとは、ＡＵにおけるスライスデータを復号化することを示し、ＡＵを表示するとは、ＡＵにおけるスライスデータの復号化結果を表示することを示すものとする。

ここで、ＮＡＬユニットにはＮＡＬユニット境界を識別するための情報が存在しないため、ＡＵとして格納する際には、各ＮＡＬユニットの先頭に境界情報を付加できる。ＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）やＰＳ（Ｐｒｏｇｒａｍ Ｓｔｒｅａｍ）においてＭＰＥＧ−４ ＡＶＣのストリームを扱う際には、ＮＡＬユニットの先頭に、０ｘ０００００１の３バイトで示されるスタートコードプレフィックスが付加される。また、ＭＰＥＧ−２ ＴＳおよびＰＳにおいては、ＡＵの先頭にＡｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒと呼ばれる、ＡＵ境界を示すＮＡＬユニットを必ず挿入することが規定されている。

従来、このような動画像の符号化に関連した様々な技術が提案されている（例えば、特許文献１等参照）。

図４は、従来の動画像符号化装置のブロック図である。
動画像符号化装置１は、入力される画像信号Ｖｉｎを圧縮符号化して可変長符号化等のビットストリームに変換した画像符号化信号Ｓｔｒを出力する装置であり、予測構造決定部ＰＴＹＰＥ、動き検出部ＭＥ、動き補償部ＭＣ、減算部Ｓｕｂ、直交変換部Ｔ、量子化部Ｑ、逆量子化部ＩＱ、逆直交変換部ＩＴ、加算部Ａｄｄ、ピクチャメモリＰｉｃＭｅｍ、スイッチＳＷおよび可変長符号化部ＶＬＣを備えている。

画像信号Ｖｉｎは、減算部Ｓｕｂおよび動き検出部ＭＥに入力される。減算部Ｓｕｂは、入力された画像信号Ｖｉｎと予測画像の差分値を計算し、直交変換部Ｔに出力する。直交変換部Ｔは、差分値を周波数係数に変換し、量子化部Ｑに出力する。量子化部Ｑは、入力された周波数係数を量子化し、量子化値Ｑｃｏｅｆを可変長符号化部に出力する。

逆量子化部ＩＱは、量子化値Ｑｃｏｅｆを逆量子化して周波数係数に復元し、逆直交変換部ＩＴに出力する。逆直交変換部ＩＴは、周波数係数から画素差分値に逆周波数変換し、加算部Ａｄｄに出力する。加算部Ａｄｄは、画素差分値と動き補償部ＭＣから出力される予測画像とを加算して復号化画像とする。スイッチＳＷは、当該復号化画像の保存が指示された場合にＯＮになり、復号化画像はピクチャメモリＰｉｃＭｅｍに保存される。

一方、画像信号Ｖｉｎがマクロブロック単位で入力された動き検出部ＭＥは、ピクチャメモリＰｉｃＭｅｍに格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルＭＶを決定する。動きベクトル検出はマクロブロックをさらに分割したブロック単位で行われる。このとき、複数のピクチャを参照ピクチャとして使用することができるため、参照するピクチャを指定するための識別番号（相対インデックスＩｎｄｅｘ）がブロックごとに必要となる。相対インデックスＩｎｄｅｘによって、ピクチャメモリＰｉｃＭｅｍ中の各ピクチャが有するピクチャ番号との対応を取ることにより参照ピクチャを指定することが可能となる。

動き補償部ＭＣでは、上記処理によって検出された動きベクトルおよび相対インデックスＩｎｄｅｘを用いて、ピクチャメモリＰｉｃＭｅｍに格納されている復号化画像から予測画像に最適な画像領域を取り出す。

ピクチャ予測構造決定部ＰＴＹＰＥはランダムアクセス単位開始ピクチャＲＡＵｉｎによって対象ピクチャがランダムアクセス単位ＲＡＵの開始位置であれば、対象ピクチャをランダムアクセスが可能な特別なピクチャとして符号化（画面内符号化）するように、ピクチャタイプＰｔｙｐｅで動き検出部ＭＥおよび動き補償部ＭＣに指示し、更にそのピクチャタイプＰｔｙｐｅを可変長符号化部ＶＬＣで符号化する。

可変長符号化部ＶＬＣは量子化値Ｑｃｏｅｆ、相対インデックスＩｎｄｅｘ、ピクチャタイプＰｔｙｐｅおよび動きベクトルＭＶを可変長符号化して符号化ストリームＳｔｒとする。

図５は、従来の動画像復号化装置２のブロック図である。この動画像復号化装置２は、可変長復号化部ＶＬＤ、ピクチャメモリＰｉｃＭｅｍ、動き補償部ＭＣ、加算部Ａｄｄ、逆直交変換部ＩＴおよび逆量子化部ＩＱを備える。なお、同図において、図４に示される従来の動画像符号化装置のブロック図と同じ動作をする処理部は同じ記号を付し、説明を省略する。

可変長復号化部ＶＬＤは符号化ストリームＳｔｒを復号化し、量子化値Ｑｃｏｅｆ、相対インデックスＩｎｄｅｘ、ピクチャタイプＰｔｙｐｅおよび動きベクトルＭＶを出力する。量子化値Ｑｃｏｅｆ、相対インデックスＩｎｄｅｘおよび動きベクトルＭＶは、ピクチャメモリＰｉｃＭｅｍ、動き補償部ＭＣおよび逆量子化部ＩＱに入力され復号化処理が行われるが、その動作は図４の従来の動画像符号化装置のブロック図で説明済みである。
特開２００３−１８５４９号公報

ランダムアクセス単位ＲＡＵは、その先頭ＡＵから復号化が可能であることを示す。しかしながら、従来のＭＰＥＧ−４ ＡＶＣのストリームでは、予測構造が非常に柔軟であるため、光ディスクやハードディスクを有する蓄積装置において、可変速再生や逆再生時に復号、あるいは表示するＡＵを決定するための情報を取得することができない。

図６は、ＡＵの予測構造の例である。ここで、１枚のピクチャは、それぞれ１つのＡＵに格納される。図６（ａ）はＭＰＥＧ−２で使用されているＡＵ間の予測構造である。同図で斜線をつけたピクチャは他のＡＵから参照されるピクチャである。ＭＰＥＧ−２ではＰピクチャのＡＵ（Ｐ４、Ｐ７）は表示時刻が直前１枚のＩピクチャもしくはＰピクチャのＡＵのみ参照した予測符号化が可能である。また、ＢピクチャのＡＵ（Ｂ１、Ｂ２、Ｂ３、Ｂ５、Ｂ６）は表示時刻が直前１枚と直後１枚のＩピクチャもしくはＰピクチャのＡＵを参照した予測符号化が可能である。更に、ストリームに配置される順序も決まっており、ＩピクチャおよびＰピクチャのＡＵは表示時刻の順序、ＢピクチャのＡＵは直後に表示されるＩピクチャもしくはＰピクチャのＡＵの直後に配置される。従って、（１）全てのピクチャを復号化、（２）ＩピクチャとＰピクチャのＡＵのみ復号化してＩピクチャとＰピクチャのＡＵのみ表示、（３）ＩピクチャのＡＵのみ復号化して表示、の３通りで復号化できるため、（１）の通常の再生から（２）の中速再生、（３）の高速再生の３通りが容易に実現できる。

ＭＰＥＧ−４ ＡＶＣではＢピクチャのＡＵからＢピクチャのＡＵを参照した予測も可能である。図６（ｂ）はＭＰＥＧ−４ ＡＶＣの予測構造の例であり、ＢピクチャのＡＵ（Ｂ１、Ｂ３）はＢピクチャのＡＵ（Ｂ２）を参照している。この例では、（１）全てのピクチャを復号化、（２）Ｉピクチャ、Ｐピクチャ、Ｂピクチャの参照されるＡＵのみ復号化して表示、（３）ＩピクチャとＰピクチャのＡＵのみ復号化してＩピクチャとＰピクチャのＡＵのみ表示、（４）ＩピクチャのＡＵのみ復号化して表示、の４通りが実現できる。

しかしながら、ＭＰＥＧ−４ ＡＶＣでは更にＰピクチャのＡＵからＢピクチャのＡＵを参照することも可能になっており、図７に示すように、ＰピクチャのＡＵ（Ｐ７）がＢピクチャのＡＵ（Ｂ２）を参照することもできる。この場合は、ＰピクチャのＡＵ（Ｐ７）はＢピクチャのＡＵ（Ｂ２）が復号化できていなければ復号化ができないため、（１）全てのピクチャを復号化、（２）Ｉピクチャ、Ｐピクチャ、Ｂピクチャの参照されるＡＵのみ復号化して表示、（３）ＩピクチャのＡＵのみ復号化して表示、の３通りが実現できる。

このようにＭＰＥＧ−４ ＡＶＣでは非常に柔軟な予測構造が許容されるため、スライスデータを解析して予測構造を判別しなければＡＵ間の参照関係が不明である。このため、飛び込み再生や可変速再生、逆再生を行う際に、ＭＰＥＧ−２のように、再生速度に応じて予め規定されたルールに基づいて復号、あるいは表示するＡＵを決定できないという課題がある。

そこで、本発明は、ＭＰＥＧ−４ ＡＶＣのような柔軟な予測構造が許容される符号化方式であっても、飛び込み再生や可変速再生、逆再生等の特殊再生をすることが可能な動画像ストリームを生成する動画像ストリーム生成装置、および、そのような動画像ストリームを復号化する動画像復号化装置等を提供することを目的とする。

上記目的を達成するために、本発明に係る動画像ストリーム生成装置は、少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを含むストリームを生成する動画像ストリーム生成装置であって、ランダムアクセスポイントとなる第１のIピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のIピクチャの直前のピクチャまでに属する複数のピクチャで構成されるランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べた第１の補助情報を符号化する第１の符号化手段と、前記ランダムアクセス単位に含まれる、各ピクチャのピクチャ構造情報をピクチャの復号順に並べた第２の補助情報を符号化する第２の符号化手段と、前記符号化された第１および第２の補助情報を、前記第１のＩピクチャの補助情報格納単位に格納することで動画像ストリームを生成する生成手段とを備え、前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、符号化の基本単位であるブロック毎に１枚のピクチャを参照して画面間符号化されるＰピクチャ、符号化の基本単位であるブロック毎に２枚のピクチャを参照して画面間符号化されるＢピクチャであって他のピクチャが参照することのできるＢピクチャ、および、他のピクチャが参照することのできないＢピクチャが含まれ、前記各ピクチャのピクチャ構造情報には、ピクチャ構造が、フィールド構造であるか、３−２プルダウン使用時に、２枚の表示フィールドでピクチャを表示する第１のフレーム構造であるか、３−２プルダウン使用時に、第１の表示フィールドを繰り返し表示することで３枚の表示フィールドによりピクチャを表示する第２のフレーム構造であるかを示す情報が含まれることを特徴とする。
つまり、本発明に係る動画像ストリーム生成装置は、動画像を構成するピクチャを含むストリームを生成する動画像ストリーム生成装置であって、１以上のピクチャを含むランダムアクセス単位毎に、当該ランダムアクセス単位の再生時に参照される補助情報を作成する補助情報作成手段と、作成された前記補助情報を、対応するランダムアクセス単位毎に付加することによって、前記補助情報と前記ピクチャとを含むストリームを生成するストリーム生成手段とを備え、前記ランダムアクセス単位には、他のピクチャに依存せずに復号化できる画面内符号化されたピクチャが先頭に配置され、前記補助情報は、前記ランダムアクセス単位に含まれるピクチャを特殊再生する場合に復号化するピクチャを特定する情報を含むことを特徴とする。これによって、ランダムアクセス単位ＲＡＵ毎に、当該ランダムアクセス単位に含まれるピクチャを特殊再生する場合に復号化するピクチャを特定する情報が含まれるので、再生時においては、複雑な予測構造を解析することなく、補助情報を参照するだけで、特殊再生に必要なピクチャを即座に決定することができ、ＭＰＥＧ−４ ＡＶＣのような柔軟な予測構造が許容される符号化方式であっても、可変速再生や逆再生等の特殊再生が可能となる。

ここで、前記特殊再生には、飛び込み再生、可変速再生、および、逆再生の少なくとも１つが含まれる。また、前記各ピクチャは、１以上のサブピクチャ単位、例えば、ＮＡＬユニットから構成され、前記ストリーム生成手段は、具体的には、ピクチャの画素値を格納するサブピクチャ単位とは異なるサブピクチャ単位に、前記補助情報を格納する。このとき、前記ランダムアクセス単位は、ピクチャの並びからなり、前記ストリーム生成手段は、前記ランダムアクセス単位に含まれる先頭ピクチャに、前記補助情報を格納するのが好ましい。

なお、前記補助情報は、前記ランダムアクセス単位を特定の速度（例えば、２倍速）で再生する際に復号化するピクチャを特定する情報を含んでもよいし、前記ランダムアクセス単位の再生におけるピクチャの優先度を示す情報を含んでもよいし、前記ランダムアクセス単位に含まれる全てのピクチャについて、ピクチャの復号順に、各ピクチャのタイプを示す情報が並べられたものを含んでもよい。ここで、前記ピクチャのタイプには、少なくとも、画面内符号化されるＩピクチャ、符号化の基本単位であるブロック毎に１枚のピクチャを参照して画面間符号化されるＰピクチャ、符号化の基本単位であるブロック毎に２枚のピクチャを参照して画面間符号化されるＢピクチャであって符号化のために他のピクチャから参照されるＢピクチャ、および、他のピクチャから参照されないＢピクチャが含まれる。

また、前記補助情報は、前記ランダムアクセス単位に含まれる全てのピクチャについて、ピクチャの復号順に、各ピクチャの構造を示す情報が並べられたものを含んでもよい。このとき、前記ピクチャの構造には、少なくとも、フィールド構造、および、フレーム構造が含まれる。あるいは、前記ピクチャの構造には、ピクチャがフレーム構造をもつ際に、２枚分の表示フィールドを有するか、３枚分の表示フィールドを有するかを示す情報が含まれてもよい。

また、前記動画像ストリーム生成装置は、ピクチャの並びからなるシーケンスに関するパラメータの集まりであるシーケンスパラメータセットを、前記ランダムアクセス単位毎に付加するシーケンスパラメータセット付加手段を備えてもよい。より詳細には、前記ランダムアクセス単位は、ピクチャの並びからなり、前記シーケンスパラメータセット付加手段は、前記ランダムアクセス単位に含まれる先頭ピクチャに、前記シーケンスパラメータセットを格納してもよい。これによって、シーケンスパラメータセットは、シーケンスの情報を示すだけでなく、ランダムアクセス単位の境界情報としても利用され得る。ここで、シーケンスは、復号するために必要な全ての状態がリセットされる特別なピクチャを先頭とし、復号順で直後となる前記特別なピクチャの直前ピクチャまでのピクチャから構成される。

なお、本発明は、以上のような動画像ストリーム生成装置として実現することができるだけでなく、それらの構成要素に加えて符号化手段を備える動画像符号化装置として実現したり、符号化ストリームをパケット化して補助情報とともに多重化する動画像多重化装置として実現したり、そのような符号化ストリームを復号化して特殊再生をする動画像復号化装置として実現することもできる。さらに、本発明は、それら各装置が備える処理手段をステップとする方法として実現したり、コンピュータで実行されるプログラム、あるいは、動画像ストリーム生成装置によって生成されたデータストリームとして実現したり、プログラム、あるいは、データストリームが記録されたコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体、さらに、ＬＳＩ等の半導体ＩＣとして実現することもできる。

以上のように、本発明によれば、ランダムアクセス単位ＲＡＵの先頭ＡＵにおける特定のＮＡＬユニットを参照することにより、可変速再生や逆再生などの特殊再生時に復号化するＡＵを決定できるため、特殊再生機能に優れた動画像復号化装置を容易に実現することができ、その実用的価値が高い。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（ＡＶＣストリームの構造）
まず、本発明に係る動画像ストリーム生成装置、動画像符号化装置および動画像多重化装置が生成するＡＶＣストリーム、言い換えると、本発明に係る動画像復号化装置に入力されるＡＶＣストリームの構造について説明する。

図８は、本発明に係るＡＶＣストリームの構造を示す。なお、図中ではＮＡＬユニットの先頭に付加される境界情報は省略している。従来のＡＶＣストリームとの違いは、飛び込み再生、可変速再生あるいは逆再生などの特殊再生時に復号化するＡＵを示す特再情報を付加したことである。特再情報は、特再情報を格納するためのＮＡＬユニットに格納される（図８（ａ））。ＭＰＥＧ−４ ＡＶＣでは、特定のＮＡＬユニットタイプについては、格納する情報とＮＡＬユニットタイプの関係をアプリケーションによって設定できる。具体的には、０、および、２４から３１までの値が使用可能であり、これらのＮＡＬユニットタイプをユーザ設定可能なＮＡＬユニットタイプと呼ぶことにする。従って、特再情報は、ユーザ設定可能なＮＡＬユニットタイプをもつＮＡＬユニットに格納される。ここで、特再情報以外の情報を格納するために特定のＮＡＬユニットタイプが予約されている場合には、当該ＮＡＬユニットタイプと異なるＮＡＬユニットタイプを特再情報に割り当てる。特再情報のＮＡＬユニットは、ランダムアクセス単位ＲＡＵの先頭ＡＵに格納される。ＡＵ内での配置順については、ＰＰＳ ＮＡＬユニットが存在すれば、その直後に配置するものとするが、ＭＰＥＧ−４ ＡＶＣ、あるいは他の運用規格で定められた配置順を満たせば、他の位置に配置してもよい。また、特再情報のＮＡＬユニットを解釈できない場合には、後続ＮＡＬユニットの開始位置までスキップすることにより当該ＮＡＬユニットのデータを読み飛ばすことができるため、特再情報のＮＡＬユニットを解釈できない端末においても、破綻なく復号化処理を行うことができる。

なお、特再情報のＮＡＬユニットを、ランダムアクセス単位ＲＡＵの先頭ＡＵではなく、最終ＡＵなど他のＡＵに含めてもよい。あるいは、ランダムアクセス単位ＲＡＵを構成する各ＡＵに特再情報のＮＡＬユニットを含めてもよい。

図９から図１１は、可変速再生時に復号化するＡＵの例を示す。図９（ａ）は、表示順でのＡＵの並びを示す。ここで、斜線をつけたＡＵは他のＡＵから参照されるＡＵであり、矢印は予測構造を示す。Ｉ０より前に表示されるＡＵにはマイナスの符号を、Ｂ１５より後に表示されるＡＵについてはプラスの符号が振られている。図９（ｂ）は、図９（ａ）に示す各ＡＵの復号化順を示し、Ｉ０からＢ１１までをランダムアクセス単位ＲＡＵとしている。このとき、２倍速で再生するにはＩ０、−Ｂ１４、Ｐ４、Ｂ２、Ｐ８、Ｐ６、Ｐ１２、Ｂ１０が復号化され（図９（ｃ））、４倍速で再生するにはＩ０、Ｐ４、Ｐ８、Ｐ１２が復号化される（図９（ｄ））。図９（ｃ）、および図９（ｄ）は、"＊"でマークされたＡＵが、２倍速、４倍速再生時に復号化されることを示すものであり、これらの情報が特再情報のＮＡＬユニットに格納される。図１０の例では、復号化順でＩ０からＢ１１までのＡＵがランダムアクセス単位ＲＡＵとされる。１．５倍速で再生するにはＩ０、−Ｂ１３、Ｐ３、Ｂ１、Ｐ６、Ｂ４、Ｐ９、Ｂ７、Ｐ１２、Ｂ１０が復号化され、３倍速で再生するにはＩ０、Ｐ３、Ｐ６、Ｐ９、Ｐ１２が復号される。図１１の例では、３倍速で再生するにはＩ０、Ｐ３、Ｐ６、Ｐ９、Ｐ１２が復号化される。

ここで、上記の再生速度は、厳密な再生速度を示すものではなく、再生速度の目安としてもよい。例えば、図１１（ｃ）の例では、３倍速再生時に復号化することが示されるＡＵを全て復号化すると、１６／５＝３．２倍速となり、厳密には３倍速とはならない。また、Ｍ倍速で再生する際に、特再情報として示される再生速度のうちＭ以上で最小の値がＮであれば、Ｎ倍速再生時に復号化が必要なＡＵについては復号化し、それ以外のＡＵをどのように復号化するかについては復号化装置の実装依存としてもよい。また、再生速度が大きい場合に復号化が必要なＡＵほど優先度が高いとみなし、優先度に基づいて復号化するＡＵを決定してもよい。

なお、可変速再生時に復号されるＡＵにおいて、表示されないＡＵがあってもよい。例えば、２倍速再生時にはＮ番目のＡＵを表示するが、Ｍ番目のＡＵは表示しないとする。このとき、Ｎ番目のＡＵを復号化するためにＭ番目のＡＵを復号化する必要があれば、Ｍ番目のＡＵは、２倍速再生時に復号化されるが表示はされないことになる。

次に、可変速再生時に復号化するＡＵを特定する方法について、図１２を参照して説明する。図１２は、図９と同一のランダムアクセス単位ＲＡＵにおいて、複号化するＡＵを特定する際の例を示す。図１２（ｄ）に示すように、２倍速再生時にはＩ０、−Ｂ１４、Ｐ４、Ｂ２、Ｐ８、Ｐ６、Ｐ１２、Ｂ１０が復号化される。これらのＡＵは、ランダムアクセス単位ＲＡＵの先頭から数えると、それぞれ１、２、５、６、９、１０、１３、１４番目のＡＵに相当する。このように、ランダムアクセス単位ＲＡＵにおいて何番目のＡＵであるかを示すことにより、可変速再生時に復号化するＡＵを一意に指定することができる。ＡＶＣストリームをＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）により多重化する際には、ＡＵの先頭には必ずＡｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒが配置される。可変速再生時に復号化するＡＵデータを取得する際には、Ａｃｃｅｓｓ Ｕｎｉｔ ＤｅｌｉｍｉｔｅｒをサーチしてＡＵ境界を順に検索すればよく、スライスデータなど、ＮＡＬユニットのペイロードを解析する必要がないため、処理が容易である。

なお、可変速再生時には、Ｉピクチャ、あるいはＰピクチャのＡＵといった、他のＡＵから参照されるＡＵ（以降、参照ＡＵと呼ぶ。）を復号化することにして、ランダムアクセス単位ＲＡＵにおいて何番目の参照ＡＵであるかにより、復号化するＡＵを特定してもよい。図１２（ｂ）のランダムアクセス単位ＲＡＵでは、図１２（ｃ）に示すように、Ｉ０、−Ｂ１４、Ｐ４、Ｂ２、Ｐ８、Ｐ６、Ｐ１２、Ｂ１０が参照ＡＵとなる。２倍速再生時には、Ｉ０、−Ｂ１４、Ｐ４、Ｂ２、Ｐ８、Ｐ６、Ｐ１２、Ｂ１０が復号化されるが、これらのＡＵを参照ＡＵの順で表すと、図１２（ｆ）に示すように、それぞれ１、２、３、４、５、６、７、８番目の参照ＡＵに相当する。ＡＵが参照ＡＵであるかどうかは、スライスのＮＡＬユニットのヘッダにおける特定のフィールドを参照することにより判別できる。具体的には、ｎａｌ＿ｒｅｆ＿ｉｄｃフィールドの値が０でなければ参照ＡＵとなる。なお、フレーム番号からも参照ＡＵを識別することができるため、フレーム番号により、復号化する参照ＡＵを特定してもよい。

さらに、ランダムアクセス単位ＲＡＵの先頭ＡＵの開始位置から、復号化するＡＵの開始位置までのバイト長のオフセット値を指定することにより、復号化するＡＵを特定してもよい。例えば、図１２で、Ｉ０がストリーム先頭から１００００バイトの位置から開始し、Ｐ４が２００００バイトの位置から開始する場合には、Ｐ４に対するオフセット値は、２００００−１００００＝１００００バイトとなる。ＭＰＥＧ−２ ＴＳなどで多重化されたストリームを扱う際には、ＴＳパケット、あるいはＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットのヘッダのオーバーヘッドを含めたオフセット値を指定してもよいし、アプリケーションによりデータのパディング処理などを行う際には、それらを含めたオフセット値を指定してもよい。また、フレーム番号ＦＮによりＡＵを特定することにしてもよい。

なお、ＭＰＥＧ−２ ＴＳで多重化されたストリームを扱う際には、復号化するＡＵの先頭データを含むＴＳパケットを識別するためのインデックス番号、アドレス情報、あるいは、ランダムアクセス単位ＲＡＵの先頭データを格納するＴＳパケットから当該ＴＳパケットまでのＴＳパケットの個数によりＡＵを特定してもよい。また、ＭＰＥＧ−２ ＴＳあるいはＰＳにおいては、ＰＥＳパケットについてのインデックス番号などを使用してもよい。ここで、ＴＳパケットの代わりに、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）の記録フォーマットにおいて使用されるＳｏｕｒｃｅ Ｐａｃｋｅｔについての情報を用いても良い。Ｓｏｕｒｃｅ Ｐａｃｋｅｔとは、ＴＳパケットに、ＴＳパケットについての時刻情報やコピー制御情報などを含む４バイトのヘッダを付加したパケットである。

図１３（ａ）は、可変速再生用の情報を示すテーブルのシンタックス例である。ｎｕｍ＿ｐｉｃ＿ｉｎ＿ＲＡＵはランダムアクセス単位ＲＡＵを構成するＡＵの総数、ｎｕｍ＿ｓｐｅｅｄは復号化されるＡＵが示される再生速度の数、ｐｌａｙ＿ｓｐｅｅｄは再生速度、ｎｕｍ＿ｄｅｃ＿ｐｉｃはｐｌａｙ＿ｓｐｅｅｄに示される再生速度で再生する際に復号化するＡＵの総数、ｄｅｃ＿ｐｉｃは復号化するＡＵがランダムアクセス単位ＲＡＵの先頭から何番目に相当するかを示す番号、をそれぞれ示す。図１３（ｂ）は、図９に示すランダムアクセス単位ＲＡＵにおいて２倍速、４倍速再生時に復号化するＡＵの情報を格納した場合の例である。なお、ｎｕｍ＿ｐｉｃ＿ｉｎ＿ＲＡＵは、復号化するＡＵの個数と、ランダムアクセス単位ＲＡＵ内のＡＵの総数とから正確な再生速度を算出する、あるいはランダムアクセス単位ＲＡＵ毎にスキップする際に使用できるが、ランダムアクセス単位ＲＡＵの先頭をサーチすることにより同様の情報が得られるため、省略してもよい。また、テーブルのサイズを示すフィールドをテーブル内に追加してもよい。なお、図１３（ａ）のシンタックス例では、復号化するＡＵがランダムアクセス単位ＲＡＵの先頭から何番目であるかを直接示したが、各ＡＵを復号する必要があるかどうかを、各ＡＵに対応するビットのオン、オフにより示してもよい。例えば、図９の例では、ランダムアクセス単位ＲＡＵは１６個のＡＵから構成されるため、１ビットを１ＡＵに割り当てると、１６ビット必要になる。４倍速再生時には、０ｂ１０００１０００１０００１０００（０ｂは２進数表現を示す）となる１６ビット情報を与えることにより、１、５、９、１３番目のＡＵを復号化することが示される。ここで、先頭ビット、最終ビットはそれぞれランダムアクセス単位ＲＡＵの先頭ＡＵと最終ＡＵに対応するものとする。

なお、図１３のシンタックス例ではテーブルのサイズは可変であるが、ランダムアクセス単位ＲＡＵを構成するＡＵの個数の最大値、およびｎｕｍ＿ｓｐｅｅｄの最大値が規定されていれば、テーブルサイズの最大値が決まるため、テーブルのサイズは前記決定された最大値に固定し、可変速再生用の情報のサイズが最大値に満たない場合にはパディングすることとしてもよい。このように、テーブルのサイズを固定とすることにより、可変速再生情報を取得する際には常に固定サイズのデータを取得すればよく、情報の取得処理が高速化できる。なお、テーブルサイズ、あるいはテーブルを格納するＮＡＬユニットのサイズを管理情報として示してもよい。また、特再情報を格納するＮＡＬユニットのサイズを予め定めておき、可変速再生用の情報が１ＮＡＬユニットに格納できない際には、複数のＮＡＬユニットに分割して格納してもよい。このとき、最終ＮＡＬユニットのペイロードは、ＮＡＬユニットのサイズが予め定められたサイズになるようにパディングする。また、テーブルサイズの値としていくつかの規定値を定めておき、テーブルのサイズを示す規定値へのインデックス番号をテーブル内、あるいはアプリケーションの管理情報により示してもよい。

また、再生速度毎に復号化するＡＵを全て列挙するのではなく、差分情報を示すことにしてもよい。Ｍ（＜Ｎ）倍速再生時の情報としては、Ｎ倍速再生時に復号するＡＵに加えて復号化する必要のあるＡＵのみを示す。図１３（ｂ）の例では、２倍速再生時には、４倍速再生時に復号化するＡＵに加えて、２、６、１０、１４番目のＡＵを復号化するため、２倍速再生用の情報としては、２、６、１０、１４番目のＡＵについてのみ示せばよい。

なお、上記の説明では、可変速再生時に復号化が必要なＡＵを示すこととしたが、さらに、復号化が必要なＡＵの表示順を示す情報を示してもよい。例えば、図９の例では、２倍速と４倍速再生時の情報が示されるが、このランダムアクセス単位ＲＡＵを３倍速で再生するとする。４倍速再生時に表示するＡＵに加えて、２倍速再生時に表示するＡＵの一部を表示することにより３倍速再生が実現できる。ここで、４倍速再生時に表示するＩ０とＰ４の間に、さらに１つのＡＵを表示するケースを考えると、２倍速再生用の情報から、−Ｂ１４、Ｂ２、Ｂ６、Ｂ１０が候補となるが、ＭＰＥＧ−４ ＡＶＣでは、これら４つのＡＵの表示順はスライスのヘッダ情報を解析しなければ得ることができない。ここで、表示順の情報を与えれば、−Ｂ１４のみがＩ０とＰ４の間に表示されることが分かるため、−Ｂ１４を復号化すると決定できる。図１４は、表示順の情報を示すシンタックスの例であり、図１３のシンタックスに表示順の情報を追加したものである。ｐｔｓ＿ｄｔｓ＿ｆｌａｇは、当該再生速度において復号化されるＡＵの復号化順と表示順が一致するかどうかを示し、一致しない場合にのみ、表示順の情報をｄｉｓｐｌａｙ＿ｏｒｄｅｒフィールドにより示すものとする。

なお、可変速再生の情報に示されない再生速度で再生する際には、端末において予め定められたルールに基づいて復号化、表示するＡＵを決定してもよい。例えば、図９の例において３倍速で再生する際には、４倍速再生時に表示するＡＵに加えて、２倍速再生時に表示するＡＵの一部を表示するとはせずに、Ｉ０、Ｂ３、Ｂ６、Ｂ９、Ｐ１２を表示してもよい。ここで、Ｂピクチャについては、参照ＡＵにおけるＢピクチャを優先的に復号化、あるいは表示してもよい。

また、ＩピクチャのＡＵのみ、あるいは、ＩおよびＰピクチャのＡＵのみを再生することにより可変速再生などの特殊再生を実現することがある。このため、ＩピクチャとＰピクチャの一覧を特再情報として格納してもよい。図１５に一例を示す。ここでは、図１５（ｂ）に示すようにＩ０からＢ１４までがランダムアクセス単位ＲＡＵに含まれ、このうち、ＩおよびＰピクチャのＡＵは、図１５（ｃ）に示すようにＩ０、Ｐ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５である。従って、Ｉ０、Ｐ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５を特定するための情報を特再情報に格納する。このとき、ＩピクチャのＡＵとＰピクチャのＡＵとを識別するための情報を付加してもよい。あるいは、Ｉピクチャ、Ｐピクチャ、参照されるＢピクチャ、参照されないＢピクチャを識別するための情報を示してもよい。

さらに、ＡＵ毎の優先度情報を特再情報として格納して、可変速再生時には優先度の高いＡＵから順に復号あるいは表示されることにしてもよい。優先度情報としては、ピクチャのタイプを使用することができる。例えば、Ｉピクチャ、Ｐピクチャ、参照されるＢピクチャ、参照されないＢピクチャの順に、ＡＵの優先度を割り当てることができる。また、ＡＵを復号化してから表示するまで、あるいは他のＡＵから参照されなくなるまでの時間（以降、バッファ滞留時間と呼ぶ。）が長いほど優先度が高いとして、優先度情報を設定してもよい。図１６は、バッファ滞留時間に応じて優先度を設定する例を示す。図１６（ａ）はＡＵの予測構造を示し、Ｐ３は、Ｂ７およびＰ９からも参照される。このとき、ランダムアクセス単位ＲＡＵは、Ｉ０からＢ１１までのＡＵから構成されるとすると（図１６（ｂ））、各ＡＵのバッファ滞留時間は図１６（ｃ）に示すようになる。ここで、バッファ滞留時間はフレーム数を基準に示しており、例えばＰ３はＰ９が復号化されるまで必要なので、バッファ滞留時間は６枚分となる。従って、バッファ滞留時間が３以上のＡＵを復号化すれば、全てのＩおよびＰピクチャが復号化されることになり、３倍速再生が実現される。ここでは、Ｐ３のバッファ滞留時間がＩ０よりも大きくなっているが、ＩピクチャのＡＵの優先度を高く設定するために、ＩピクチャのＡＵにオフセット値を加えてもよい。また、高速で再生する際に復号化することが必要なＡＵほど優先度が高いとみなし、Ｎ倍速再生時に復号化が必要なＡＵにおけるＮを優先度情報として使用してもよい。なお、復号化された後、あるいは表示後も他のＡＵから参照される際には、どのＡＵからも参照されなくなるまでの時間を示してもよい。

なお、特再情報は、ＳＥＩメッセージに格納してもよい（図８（ｂ））。この場合は、特再情報用にＳＥＩメッセージのタイプを定義して、前記定義したタイプのＳＥＩメッセージに特再情報を格納する。特再情報用のＳＥＩメッセージは、他のＳＥＩメッセージと一緒に、あるいは単独でＳＥＩ ＮＡＬユニットに格納される。なお、ユーザが独自定義した情報を格納するためのＳＥＩメッセージであるｕｓｅｒ＿ｄａｔａ＿ｒｅｇｉｓｔｅｒｅｄ＿ｉｔｕ＿ｔ＿ｔ３５ ＳＥＩメッセージやｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｅｄ ＳＥＩメッセージに、特再情報を格納してもよい。これらのＳＥＩを使用する際には、ＳＥＩのペイロード部分において、格納される情報の識別情報を付加することで、特再情報が格納されること、あるいは特再情報の種類を示すことができる。

なお、ランダムアクセス単位ＲＡＵの先頭以外のＡＵに特再情報を格納してもよい。また、特定の再生速度で再生する際に復号化が必要となるＡＵを識別するための値を予め定めておき、ＡＵ毎に前記定められた値を付加してもよい。例えば、Ｎ倍速以下の再生速度において復号するＡＵについては、再生速度情報としてＮを与える。また、ＡＵ内のピクチャがフレーム、フィールドのどちらであるか、さらに、フィールドである際にはトップフィールド、ボトムフィールドのどちらであるかであるかを、スライスのＮＡＬユニットのｎａｌ＿ｒｅｆ＿ｉｄｃなどにより示してもよい。例えば、インタレースで表示する際には、トップフィールド、ボトムフィールドを交互に表示する必要があるため、高速再生時などフィールドをスキップしながら復号する際には、次に復号するフィールドがトップフィールドであるかボトムフィールドであるかを容易に判別できることが望ましい。ＮＡＬユニットのヘッダから判別することができれば、スライスヘッダを解析する必要がないため、判別に係る処理量を削減することができる。

なお、ランダムアクセス単位ＲＡＵを構成する各ＡＵがフィールド、あるいはフレームであるかを示す情報を、ランダムアクセス単位ＲＡＵの先頭ＡＵに格納してもよい。ランダムアクセス単位の先頭ＡＵに格納することにより、フィールド構造とフレーム構造のＡＵが混在する際にも、特殊再生時に復号するＡＵを容易に決定することができる。図１７（ａ）と（ｂ）は、ランダムアクセス単位ＲＡＵ内において、フレーム構造とフィールド構造のＡＵが混在する際の例であり、それぞれ表示順、復号化順のＡＵの並びを示す。Ｂ２とＢ３、Ｉ４とＰ５、Ｂ９とＢ１０、Ｂ１１とＢ１２、Ｐ１３とＰ１４、Ｂ１５とＢ１６、Ｂ１７とＢ１８、およびＰ１９とＰ２０は、フィールド・ペアとして符号化されており、その他のＡＵはフレームとして符号化されているものとする。このとき、ＩピクチャとＰピクチャのＡＵのみを再生する際には、Ｉ４とＰ５のフィールド・ペア、Ｐ８のフレーム、Ｐ１３とＰ１４のフィールド・ペア、Ｐ１９とＰ２０のフィールド・ペアを順に復号して再生することができるが、復号するＡＵを予め決定する際には、各ＡＵがフィールド・ペアの一方のフィールドであるのか、フレームであるのかを判定する必要があり、これらを示す情報を付加することは有効である。

図１７（ｃ）は、ランダムアクセス単位ＲＡＵ内のＡＵがフレーム、フィールドのどちらであるのかを示す第１のマップ（ＲＡＵ＿ｍａｐ１）のシンタックス例である。ｎｕｍ＿ＡＵ＿ｉｎ＿ＲＡＵは、ランダムアクセス単位を構成するＡＵの個数を示し、続くループにおいては、各ＡＵについての情報が復号順で示される。ｆｒａｍｅ＿ｆｉｅｌｄ＿ｆｌａｇは、ＡＵに格納されるピクチャがフレームであるかフィールドであるかを示し、ｐｉｃ＿ｔｙｐｅはピクチャの符号化タイプについての情報を示す。符号化タイプとしては、ＩあるいはＩＤＲピクチャ、Ｐピクチャ、参照されるＢピクチャ、および参照されないＢピクチャなどを示すことができる。従って、本マップを参照することにより、特殊再生時に復号するピクチャを決定することができる。なお、ＩおよびＰピクチャについても、参照されるかどうかに基づいて区別してもよい。さらに、予測構造に所定の制約が適用されているかどうかを判別するための情報を示してもよい。

図１７（ｄ）は、図１７（ｂ）のランダムアクセス単位ＲＡＵについてのＲＡＵ＿ｍａｐ１を示す。ここでは、Ｉ、Ｐ、参照されるＢピクチャ、参照されないＢピクチャのｐｉｃ＿ｔｙｐｅを、それぞれ０、１、２、３としている。ここで、特殊再生時には、フレーム、あるいはフィールド・ペア単位で再生されるため、これらの単位でピクチャの符号化タイプを示す情報を格納してもよい。

図１７（ｆ）は、フレーム、あるいはフィールド・ペア単位ピクチャの符号化タイプを示す第２のマップ（ＲＡＵ＿ｍａｐ２）のシンタックス例である。ｎｕｍ＿ｆｒａｍｅ＿ｉｎ＿ＲＡＵは、ランダムアクセス単位ＲＡＵを構成するフレーム、およびフィールド・ペアの個数を示す。ｆｒａｍｅ＿ｆｌａｇは、ピクチャがフレームであるかどうかを示し、フレームである際に１にセットされる。ｆｒａｍｅ＿ｆｌａｇが１にセットされる際には、ｆｒａｍｅ＿ｔｙｐｅにおいてフレームの符号化タイプについての情報が示される。ｆｒａｍｅ＿ｆｌａｇが０である場合、すなわち、フィールド・ペアである際には、ｆｉｅｌｄ＿ｐａｉｒ＿ｔｙｐｅにおいて、フィールド・ペアを構成する各フィールドの符号化タイプを示す。

図１７（ｅ）は、図１７（ｂ）のランダムアクセス単位ＲＡＵについてのＲＡＵ＿ｍａｐ２を示す。図１７（ｅ）において、ｆｒａｍｅ＿ｔｙｐｅとしては、Ｉ、Ｐ、参照されるＢピクチャ、参照されないＢピクチャの値を、それぞれ０、１、２、３としている。また、ｆｉｅｌｄ＿ｐａｉｒ＿ｔｙｐｅとしては、復号順での各フィールドのタイプを示す。フィールドのタイプは、Ｉ、Ｐ、参照されるＢピクチャ、参照されないＢピクチャをそれぞれ、Ｉ、Ｐ、Ｂｒ、Ｂｎとする。例えば、第１フィールドがＩピクチャであり、第２フィールドがＰピクチャである際にはＩＰと示し、第１、第２フィールドが共に参照されないＢピクチャである際にはＢｎＢｎと示す。ここで、ＩＰ、ＰＰ、ＰＩ、ＢｒＢｒ、ＢｎＢｎなどの組み合わせを示す値を設定しておく。なお、フィールド・ペアの符号化タイプを示す情報としては、フィールド・ペアが、
・ＩあるいはＰピクチャを含むかどうか
・参照されるＢピクチャを含むかどうか
・参照されないＢピクチャを含むかどうか
を用いてもよい。さらに、ＩおよびＰピクチャについても、参照されるかどうかに基づいて区別してもよい。

例えば、図１８（ａ）に示されるシンタックスのようなランダムアクセス単位ＲＡＵのマップを特殊再生情報としてもよい。このマップには、そのランダムアクセス単位ＲＡＵに含まれる全ピクチャについて、ピクチャごとに、ピクチャの構造を示すｐｉｃｔｕｒｅ＿ｓｔｒｕｃｔｕｒｅと、ピクチャのタイプを示すｐｉｃｔｕｒｅ＿ｔｙｐｅとが含まれる。ｐｉｃｔｕｒｅ＿ｓｔｒｕｃｔｕｒｅは、図１８（ｂ）に示されるように、そのピクチャがフィールド構造であるか、フレーム構造であるか、などを示し、ｐｉｃｔｕｒｅ＿ｔｙｐｅは、図１８（ｃ）に示されるように、そのピクチャがＩピクチャであるか、参照されるＢピクチャであるか、参照されないＢピクチャであるか、Ｐピクチャであるか、などを示す。これによって、このマップを受信した動画像復号化装置は、このマップを参照することによって、特殊再生すべきＡＵを容易に特定することができる。一例として、IピクチャとPピクチャのみ、あるいは、IピクチャとPピクチャに加えて参照されるBピクチャを復号、再生するなどの高速再生が可能である。

なお、ランダムアクセス単位ＲＡＵを構成するＡＵに３−２プルダウンなどのピクチャ構造を示す情報が含まれる際には、上記第１あるいは第２のマップにピクチャ構造を示す情報を含めてもよい。例えば、各ピクチャが３枚分の表示フィールドをもつのか、２枚分の表示フィールドをもつのかを示すことができる。さらに、３枚分の表示フィールドをもつ場合には、第１フィールドを繰り返し表示するのかどうか、あるいは、第１フィールドがトップフィールドであるかどうかを示す情報を示してもよい。また、２枚分の表示フィールドをもつ場合にも、第１フィールドがトップフィールドであるかどうかを示してもよい。ここで、ＭＰＥＧ−４ ＡＶＣでは、３−２プルダウンなどのピクチャ構造をもつかどうかは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）のｐｉｃ＿ｓｔｒｕｃｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、あるいは、ＭＰＥＧ−２システム規格において規定されたＡＶＣ ｔｉｍｉｎｇ ａｎｄ ＨＲＤ ｄｅｓｃｒｉｐｔｏｒにおけるｐｉｃｔｕｒｅ＿ｔｏ＿ｄｉｓｐｌａｙ＿ｃｏｎｖｅｒｓｉｏｎ＿ｆｌａｇなどにより示すことができ、さらに、各ピクチャのピクチャ構造は、Ｐｉｃｔｕｒｅ Ｔｉｍｉｎｇ ＳＥＩのｐｉｃ＿ｓｔｒｕｃｔフィールドにより示される。従って、ｐｉｃ＿ｓｔｒｕｃｔフィールドが特定の値をもつ、例えば、ピクチャが３枚分のディスプレイフィールドをもつ場合にのみフラグをセットすることにより、ピクチャ構造を示してもよい。つまり、各ピクチャについて下記３種類の情報を示すことができれば、ランダムアクセス単位ＲＡＵの途中に飛び込む場合や、可変速再生時においても、特定の時刻において表示されるフィールド、あるいはフィールドが格納されるフレームを決定する際に有効である。
・フィールド
・フレーム （３−２プルダウン非使用、あるいは、３−２プルダウン使用時には２枚分の表示フィールドをもつ）
・３−２プルダウン使用時に３枚分の表示フィールドを持つフレーム
なお、これらの情報は、図１８（ａ）に示すＲＡＵマップのｐｉｃｔｕｒｅ＿ｓｔｒｕｃｔｕｒｅにおいても示すことができる。

このように、ＲＡＵを構成する各ピクチャのピクチャタイプの一覧情報を示すことにより、可変速再生、飛び込み再生、あるいは逆再生などの特殊再生時に復号、あるいは表示すべきピクチャを容易に決定できる。特に、
・ IピクチャとPピクチャのみを再生
・ Iピクチャ、Pピクチャ、および参照されるBピクチャを再生
するような高速再生、
あるいは、
・ 予測構造が特別に制約されたピクチャをピクチャタイプにより識別し、特殊再生時に復号が必要なピクチャを選択して特殊再生
するようなケースにおいて有効である。

さらに、特再情報のデフォルト値をアプリケーションレベルの管理情報などＡＶＣストリームとは別の領域に格納しておき、デフォルト値と異なる場合にのみ特再情報をランダムアクセス単位ＲＡＵに含めてもよい。

上記では、可変速再生についての特再情報について述べたが、同様の情報を逆再生時の補助情報として使用することもできる。逆再生時には、表示するピクチャを全てメモリに保持できれば、復号化動作が一度で済むため、復号化に係る処理が軽減できる。図９の例においてＰ１２、Ｐ８、Ｐ４、Ｉ０の順に逆再生するケースを考えると、これら４つのＡＵの復号結果を全て保持しておくことができれば、Ｉ０、Ｐ４、Ｐ８、Ｐ１２の順に一度復号化すれば逆再生が可能となる。従って、Ｎ倍速再生時に復号化、あるいは表示するＡＵの個数から、当該ＡＵの復号化済みデータを全てメモリに保持できるかどうか判定し、判定結果に基づいて逆再生時に表示するＡＵを決定してもよい。

同様に、特再情報を飛び込み再生時の補助情報として使用することもできる。ここで、飛び込み再生とは、動画像を早送り再生等をしながら、ランダムに決定した箇所から動画像を通常再生することである。このような飛び込み再生時においても、補助情報を用いて早送り再生の対象となるピクチャを決定することで、早送り再生をしたり、飛び込み再生の開始ピクチャを決定したりすることができる。

なお、特再情報において、ランダムアクセス単位を構成する各ＡＵの参照先ＡＵを直接示してもよい。参照先のＡＵが複数存在する際には、それらを全て示す。ここで、参照先のＡＵが参照元のＡＵと異なるランダムアクセス単位に属する場合には、Ｎ個前あるいは後のランダムアクセス単位に属するＭ番目のＡＵと具体的に示してもよいし、Ｎ個前あるいは後のランダムアクセス単位に属することのみを示してもよい。なお、参照先のＡＵが、復号化順で何番目前あるいは後のＡＵであるかを示してもよい。このとき、ＡＵは参照ＡＵ、全てのＡＵ毎、あるいはＩ、Ｐ、Ｂなど特定タイプのピクチャのＡＵ毎にカウントする。また、各ＡＵは、復号化順で前後最大Ｎ個までのＡＵのみ参照できることを示してもよい。なお、前後Ｎ個よりも前あるいは後のＡＵを参照する場合には、その旨を示す情報を付加してもよい。

なお、ＭＰ４など、ＮＡＬユニットの境界情報としてスタートコードプレフィックスではなく、ＮＡＬユニットのサイズを使用する多重化方式においても、上記特再情報を同様に扱うことができる。

なお、ＭＰＥＧ−２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケットやＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｐｒｏｔｏｃｏｌ）パケットなどによりパケット化された符号化ストリームを受信して記録する際には、パケットロスが発生する。このように、パケットロスの発生する環境で受信したデータを記録する際には、パケットロスによりストリーム内のデータが欠落していることを示す情報を補助情報として符号化ストリーム、あるいは管理情報として格納してもよい。パケットロスによるデータの欠落は、ストリームのデータが欠落しているかどうかを示すフラグ情報、あるいは欠落部分を通知するための特別なエラー通知コードを挿入することにより示すことができる。なお、データが欠落している場合にエラー隠匿処理を行う際には、隠匿処理の有無、あるいは隠匿処理の方法を示す識別情報などを格納してもよい。

以上では、特殊再生時に復号、あるいは表示するＡＵを決定するための特再情報について説明した。ここで、ランダムアクセス単位ＲＡＵの境界が検出できるようにするためのデータ構造について、図１９を参照しながら、示す。

ランダムアクセス単位ＲＡＵの先頭ＡＵには、ランダムアクセス単位ＲＡＵを構成するＡＵから参照されるＳＰＳのＮＡＬユニットが必ず格納される。一方、ＭＰＥＧ−４ ＡＶＣの規格では、復号順がＮ番目のＡＵから参照されるＳＰＳのＮＡＬユニットを、復号順がＮ番目、あるいはN番目よりも若い任意のＡＵに格納することができる。これは、通信や放送などでストリームを伝送する際にパケットロスによりＳＰＳのＮＡＬユニットが欠落してしまう場合などに備えて、ＳＰＳのＮＡＬユニットを繰り返し伝送できるようにするためである。しかしながら、蓄積用途などではストリームデータが確実に取得できるため、ランダムアクセス単位ＲＡＵの先頭ＡＵにおいて、当該ランダムアクセスユニとＲＡＵの全てのＡＵから参照されるＳＰＳのＮＡＬユニットを１つのみ格納し、ランダムアクセス単位ＲＡＵ内の後続ＡＵにはＳＰＳのＮＡＬユニットを格納しないとしてもよい。こうすることで、ＳＰＳのＮＡＬユニットを含むＡＵがランダムアクセス単位ＲＡＵの先頭ＡＵであることが保証でき、ストリーム内でＳＰＳのＮＡＬユニットを検出した際には、当該ＡＵからランダムアクセス単位ＲＡＵが開始すると判定できる。タイムマップなどストリームの管理情報は、全てのランダムアクセス単位ＲＡＵについてのアクセス情報の提供を保証しておらず、アクセス情報が提供されないランダムアクセス単位ＲＡＵの途中のピクチャへ飛び込む場合などには、ストリーム内でＳＰＳのＮＡＬユニットを検索してランダムアクセス単位ＲＡＵの開始位置を取得することが特に有効である。

ここで、ランダムアクセス単位ＲＡＵの先頭ＡＵがＩＤＲピクチャのＡＵである際には、ランダムアクセス単位ＲＡＵ内のＡＵは、復号順で前のランダムアクセス単位ＲＡＵ内のＡＵを参照しない。このタイプのランダムアクセス単位ＲＡＵをクローズド型のランダムアクセス単位ＲＡＵと呼ぶことにする。一方、ランダムアクセス単位ＲＡＵの先頭ＡＵがＩＤＲでないＩピクチャのＡＵである際には、ランダムアクセス単位ＲＡＵ内のＡＵは、復号順で前のランダムアクセス単位ＲＡＵ内のＡＵを参照できる。このタイプのランダムアクセス単位ＲＡＵをオープン型のランダムアクセス単位ＲＡＵと呼ぶことにする。ここで、光ディスク機器などにおいて、再生中にアングルを切替える際などには、クローズド型のランダムアクセス単位ＲＡＵから切替えを行うため、ランダムアクセス単位ＲＡＵの先頭部分でオープン型かクローズ型の判定ができると有効である。例えば、ＳＰＳのＮＡＬユニットのｎａｌ＿ｒｅｆ＿ｉｄｃフィールドにより、オープン型かクローズ型かを判別するためのフラグ情報を示すことができる。ＳＰＳのＮＡＬユニットではｎａｌ＿ｒｅｆ＿ｉｄｃの値は１以上と規定されているため、上位１ビットを常に１として、下位１ビットでフラグ情報を示す。なお、先頭ＡＵがＩＤＲでないＩピクチャのＡＵであっても、ランダムアクセス単位ＲＡＵ内のＡＵが、復号順で前のランダムアクセス単位ＲＡＵ内のＡＵを参照しないことがある。このようなランダムアクセス単位ＲＡＵは、クローズ型とみなしてもよい。なお、ｎａｌ＿ｒｅｆ＿ｉｄｃ以外のフィールドを用いてフラグ情報を示してもよい。

なお、ランダムアクセス単位ＲＡＵの先頭ＡＵにのみ格納されるＳＰＳ以外のＮＡＬユニットに基づいて、ランダムアクセス単位ＲＡＵの開始位置を特定してもよいし、それらのＮＡＬユニットのｎａｌ＿ｒｅｆ＿ｉｄｃフィールドによりオープン型かクローズ型のどちらであるかを示してもよい。

最後に、ランダムアクセス単位ＲＡＵを構成するＡＵの予測構造例を図２０に示す。図２０（ａ）は表示順、図２０（ｂ）は復号順でＡＵの配置を示したものである。図中に示すように、ランダムアクセス単位ＲＡＵの先頭ＡＵであるＩ３よりも前に表示されるＢ１とＢ２は、Ｉ３よりも後に表示されるＡＵを参照することができる。図中では、Ｂ１がＰ６を参照している。ここで、表示順がＩ３およびＩ３以降のＡＵが正しく復号できることを保証するために、表示順がＩ３よりも後のＡＵが、表示順でＩ３よりも前のＡＵを参照することは禁止する。

（動画像符号化装置）
図２１は、本発明の動画像符号化方法を実現する動画像符号化装置１００のブロック図である。この動画像符号化装置１００は、図８〜図２０に示された符号化ストリーム、つまり、飛び込み再生、可変速再生、および、逆再生等の特殊再生可能な動画像の符号化ストリームを生成する装置であり、図４に示された従来の動画像符号化装置１の構成に加えて、特再情報作成部ＴｒｉｃｋＰｌａｙを備える。なお、同図において、図４に示される従来の動画像符号化装置のブロック図の各処理部と同じ動作をする処理部は同じ番号を付し、説明を省略する。

特再情報作成部ＴｒｉｃｋＰｌａｙは、１以上のピクチャを含むランダムアクセス単位毎に、当該ランダムアクセス単位の再生時に参照される補助情報を作成する手段の一例であり、ピクチャタイプＰｔｙｐｅに基づいて特再情報を作成し、可変長符号化部ＶＬＣに通知する。

可変長符号化部ＶＬＣは、作成された補助情報を、対応するランダムアクセス単位毎に付加することによって、補助情報とピクチャとを含むストリームを生成するストリーム生成手段の一例であり、ランダムアクセス単位ＲＡＵの先頭ＡＵ内に特再情報を格納するＮＡＬユニットを符号化して配置する。

図２２は、図２１に示された動画像符号化装置１００（主に、特再情報作成部ＴｒｉｃｋＰｌａｙ）による特再情報を含む符号化ストリームの作成手順、つまり、本発明の動画像符号化方法のフローチャートである。

まず、ステップＳ１０において、符号化対象のＡＵがランダムアクセス単位ＲＡＵの先頭ＡＵであるかどうかを判定し、先頭ＡＵであればステップＳ１１に進み、そうでなければステップＳ１２に進む。ステップＳ１１では、当該ランダムアクセス単位ＲＡＵの特再情報を作成するための初期化処理を行うとともに、特再情報を格納するための領域をランダムアクセス単位ＲＡＵの先頭ＡＵ内に確保する。ステップＳ１２ではＡＵデータを符号化し、ステップＳ１３に進む。ステップＳ１３では、ＡＵがＩピクチャ、Ｐピクチャ、参照されるＢピクチャ、あるいは参照されないＢピクチャのいずれであるか、あるいは、Ｎ倍速再生時に当該ＡＵを復号化する必要があるかどうかなど、特再情報を作成する際に必要な情報を取得し、ステップＳ１４に進む。ステップＳ１４では、ＡＵがランダムアクセス単位ＲＡＵの最終ＡＵであるかどうかを判定し、最終ＡＵであると判定された際にはステップＳ１５に進み、そうでなければステップＳ１６に進む。ステップＳ１５では、特際情報を確定して、特再情報を格納するためのＮＡＬユニットを作成し、ステップＳ１１において確保しておいた領域に前記作成したＮＡＬユニットを格納する。ステップＳ１５の処理終了後は、ステップＳ１６に進む。ステップＳ１６では、続いて符号化すべきＡＵがあるかどうかを判定し、符号化すべきＡＵがあればステップＳ１０以降を繰り返し、なければ処理を終了する。ここで、ステップＳ１６において符号化すべきＡＵがないと判定された際には、最終ランダムアクセス単位ＲＡＵについての特再情報を格納してから処理を終了する。

例えば、図１８（ａ）に示す特殊再生情報を作成する際には、ステップＳ１３において、ピクチャのタイプ、ピクチャがフィールド構造であるかフレーム構造であるか、また、および符号化ストリーム内に３−２プルダウンの情報が含まれる際には、当該ピクチャについての表示フィールドが２枚分であるか３枚分であるかを取得する。ステップＳ１５では、ランダムアクセス単位ＲＡＵ内の全ピクチャについて、復号順にｐｉｃｔｕｒｅ＿ｓｔｒｕｃｔｕｒｅとｐｉｃｔｕｒｅ＿ｔｙｐｅを設定する。

なお、ランダムアクセス単位ＲＡＵの先頭ＡＵの符号化開始時点で特再情報を格納するＮＡＬユニットのサイズが既知でない場合などには、ステップＳ１１において特再情報を格納するための領域を確保する処理を省略してもよい。このとき、ステップＳ１５において、作成した特再情報格納用のＮＡＬユニットを先頭ＡＵ内に挿入する。

また、特再情報を格納するかどうかを符号化ストリーム単位で切替えてもよい。特に、ランダムアクセス単位を構成するＡＵ間の予測構造についてアプリケーションで規定される場合などには、特再情報を格納しないことにしてもよい。例えば、ＭＰＥＧ−２と同一の予測構造をもつ場合には、特再情報がなくても特殊再生時に復号化が必要なＡＵを決定できるため、特再情報を格納しなくてもよい。なお、切替えは、ランダムアクセス単位ＲＡＵ毎に行ってもよい。

（動画像多重化装置）
図２３は、本発明の動画像多重化装置１０８の構成を示すブロック図である。この動画像多重化装置１０８は、映像データを入力してＭＰＥＧ−４ ＡＶＣのストリームに符号化し、ストリームを構成するＡＵへのアクセス情報、および特殊再生時の動作を決定するための補助情報を含む管理情報を、ストリームと共に多重化して記録する動画像多重化装置であり、ストリーム属性決定部１０１、符号化部１０２、管理情報作成部１０３、多重化部１０６、および記録部１０７から構成される。ここで、符号化部１０２は、図２１に示された動画像符号化装置１００における特再情報の付加機能を有する。

ストリーム属性決定部１０１は、ＭＰＥＧ−４ ＡＶＣを符号化する際の特殊再生に関連した制約事項を決定し、これらを属性情報ＴＹＰＥとして符号化部１０２と再生支援情報作成部１０５に出力する。ここで、特殊再生に関連した制約事項とは、ＭＰＥＧ−４ ＡＶＣのストリームにおいてランダムアクセス単位を構成するための制約を適用するかどうか、可変速再生や逆再生時に復号化、あるいは表示するＡＵを示す情報をストリームに含めるかどうか、あるいは、ＡＵ間の予測構造を制約するかどうかを示す情報を含む。ストリーム属性決定部１０１は、さらに、圧縮方式や解像度など管理情報の作成に必要な情報である一般管理情報を一般管理情報作成部１０４に出力する。符号化部１０２は、属性情報ＴＹＰＥに基づいて、入力された映像データをＭＰＥＧ−４ ＡＶＣのストリームに符号化し、符号化データを多重化部１０６に出力するとともに、ストリームにおけるアクセス情報を一般管理情報作成部１０４に出力する。ここで、可変速再生や逆再生時に復号化、あるいは表示するＡＵを示す情報をストリームに含めないことが属性情報ＴＹＰＥにより示される際には、符号化ストリームに特再情報を含めない。なお、アクセス情報は、ストリームにアクセスする際の基本単位であるアクセス単位の情報を指し、アクセス単位の先頭ＡＵの開始アドレスやサイズ、および表示時刻などを含む。一般管理情報作成部１０４は、アクセス情報と一般管理情報とから、ストリームにアクセスする際に参照されるテーブルデータ、および圧縮方式などの属性情報を格納したテーブルデータを作成し、管理情報ＩＮＦＯとして多重化部１０６に出力する。再生支援情報作成部１０５は、前記入力された属性情報ＴＹＰＥに基づいて、ランダムアクセス構造をもつかどうかなどを示す支援情報ＨＬＰを作成し、多重化部１０６に出力する。多重化部１０６は、符号化部１０２から入力された符号化データ、管理情報ＩＮＦＯ、および支援情報ＨＬＰを多重化して多重化データを作成し、記録部１０７に出力する。記録部１０７は、多重化部１０６から入力された多重化データを光ディスク、ハードディスク、あるいはメモリなどの記録媒体に記録する。なお、符号化部１０２においては、ＭＰＥＧ−４ ＡＶＣのストリームをＭＰＥＧ−２ ＴＳ（トランスポートストリーム）や、ＰＳ（プログラムストリーム）などにパケット化してから出力してもよい。あるいはまた、ＢＤなどのアプリケーションにより規定された方式でパケット化してもよい。

なお、管理情報の内容は、特再情報を符号化ストリーム内に格納するかどうかに依存しなくてもよい。このとき、支援情報ＨＬＰは不要としてもよく、動画像多重化装置１０８は、再生支援情報作成部１０５を省いた構成としてもよい。

図２４は、支援情報ＨＬＰにより示される情報の例を示す。支援情報ＨＬＰは、図２４（ａ）のようにストリームについての情報を直接示す方法と、図２４（ｂ）のようにストリームが特定のアプリケーション規格により規定された制約を満たすかどうかを示す方法とがある。

図２４（ａ）では、ストリームの情報として、以下を示す。
・ストリームがランダムアクセス構造をもつかどうか
・ＡＵに格納されるピクチャ間の予測構造に制約があるかどうか
・特殊再生時に復号化するＡＵ、あるいは表示するＡＵを示す情報があるかどうか

ここで、特殊再生時に復号化、あるいは表示するＡＵの情報は、復号化あるいは表示するＡＵを直接示すものであってもよいし、復号化あるいは表示する際の優先度を示すものでもよい。例えば、ランダムアクセス単位毎に復号化、あるいは表示するＡＵを示す情報が、アプリケーションにより規定された特別なタイプをもつＮＡＬユニット、あるいはＳＥＩメッセージなどにに格納されると示すことができる。なお、ランダムアクセス単位を構成するＡＵ間の予測構造を示す情報があるかどうかを示してもよい。また、特殊再生時に復号化、あるいは表示するＡＵの情報は、１つ以上のランダムアクセス単位毎にまとめて付加されるものであってもよいし、ランダムアクセス単位を構成するＡＵ毎に付加されるものであってもよい。

さらに、復号化あるいは表示するＡＵを示す情報が特別なタイプをもつＮＡＬユニットに格納される際には、当該ＮＡＬユニットのＮＡＬユニットタイプを示してもよい。図２５の例では、支援情報ＨＬＰにおいて、ＮＡＬユニットタイプが０であるＮＡＬユニットに特殊再生時に復号化あるいは表示するＡＵについての情報が含まれる。このとき、ストリームのＡＵデータからＮＡＬユニットタイプが０であるＮＡＬユニットを分離することにより、特殊再生に関する情報を取得できる。ＳＥＩメッセージにより特殊再生に関する情報を格納する場合にも、当該ＳＥＩメッセージを識別するための情報を示すことができる。

また、予測構造の制約としては、予め定められた１以上の制約事項を満たすかどうかを示してもよいし、以下のような個別の制約を満たすかどうかをそれぞれ示してもよい。
・ＩピクチャとＰピクチャのＡＵについては、復号順と表示順が一致する。
・ＰピクチャのＡＵはＢピクチャのＡＵを参照しない。
・表示順がランダムアクセス単位の先頭ＡＵよりも後のＡＵは、当該ランダムアクセス単位に含まれるＡＵのみを参照する。
・各ＡＵは、復号化順で前後最大Ｎ個のＡＵしか参照できない。このとき、ＡＵは参照ＡＵ、あるいは全てのＡＵ毎にカウントするものとし、Ｎの値を支援情報ＨＬＰにおいて示してもよい。

なお、ＭＰＥＧ−４ ＡＶＣでは、画質向上のために、参照用のピクチャとしては復号化後にブロック歪みを除去するためのフィルタ処理（デブロック処理）を施した画像を使用し、表示用としてはデブロック処理を施す前の画像を使用することができる。このとき、動画像復号化装置ではデブロック処理を施す前後の画像データを保持しておく必要がある。そこで、デブロック処理を施す前の画像を表示用として保持しておく必要があるかどうかを示す情報を支援情報ＨＬＰに格納してもよい。ＭＰＥＧ−４ ＡＶＣ規格では、参照用、あるいは表示待ちピクチャの復号結果を保存するために必要なバッファのサイズ（ＤＰＢ：Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）上限値が定められている。従って、ＤＰＢのサイズ上限値、あるいはアプリケーションで別途定められたサイズ上限値のバッファを持てば、参照用ピクチャの表示用画像を保存しても破綻なく復号処理が行えるかどうかを示す情報を示してもよい。なお、参照用ピクチャのデブロック処理前の画像を保持するために、ＤＰＢとして必要なサイズに加えて確保する必要のあるバッファのサイズを、バイト数あるいはフレーム数などで示してもよい。ここで、各ピクチャにデブロック処理を行うかどうかはストリーム、あるいは管理情報などストリーム外の情報から取得できるものとする。ストリームから取得する際には、例えば、ＳＥＩから取得することができる。さらに、ＭＰＥＧ−４ ＡＶＣのストリーム復号時には、復号手段において使用可能なバッファサイズと、上記の情報とから、参照用ピクチャについてデブロック処理前の画像を表示に使用できるかどうかを判定し、表示方法を決定してもよい。

なお、支援情報ＨＬＰとしては、上記の情報を全て含めてもよいし、一部を含むことにしてもよい。また、予測構造の制約がない場合にのみ特殊再生情報の有無についての情報を含めるなど、予め定めた条件に基づいて、必要な情報を含めてもよい。また、上記以外の情報を支援情報ＨＬＰに含めてもよい。

図２４（ｂ）では、ストリームの構造に関する情報を直接示すのではなく、ストリームがＢＤ−ＲＯＭ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）規格や、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）の高精細な画像をＤＶＤに格納するための規格であるＨＤ ＤＶＤ規格により定めされたストリーム構造に関する制約を満たすかどうかを示すものである。また、ＢＤ−ＲＯＭなどのアプリケーション規格において、ストリームの構造の制約について複数のモードが規定されている際には、どのモードが適用されているかを示す情報を格納してもよい。例えば、モード１は全く制約なし、モード２はランダムアクセス構造をもち、特殊再生時に復号化するＡＵを特定するための情報がストリームに含まれる、などの使い方ができる。なお、ダウンロードやストリーミングなどの通信サービス、あるいは放送規格において定められた制約を満たすかどうか示してもよい。

なお、図２４（ａ）と図２４（ｂ）に示される情報を両方とも示すこととしてもよい。また、ストリームが特定のアプリケーション規格における制約を満たすことが既知である際に、アプリケーション規格を満たすかどうかを示すのではなく、アプリケーション規格における制約を、図２４（ａ）のようにストリーム構造を直接記述する方式に変換して格納してもよい。

なお、特殊再生時に復号化あるいは表示するＡＵを示す情報は管理情報として格納されていてもよい。また、支援情報ＨＬＰの内容がストリーム内で切り替わる際には、区間毎に支援情報ＨＬＰを示してもよい。

図２６は、動画像多重化装置１０８の動作を示すフローチャートである。ステップＳ５１では、ストリーム属性決定部１０１は、ユーザ設定、あるいは予め定められた条件に基づいて属性情報ＴＹＰＥを決定する。ステップＳ５２では、符号化部１０２は、属性情報ＴＹＰＥに基づいてストリームを符号化し、ステップＳ５３では、再生支援情報作成部１０５は、属性情報ＴＹＰＥに基づいて支援情報ＨＬＰを作成する。続いて、ステップＳ５４では、符号化部１０２は、前記符号化されたストリームのアクセス単位毎にアクセス情報を作成し、一般管理情報作成部１０４は、そのアクセス情報と他の必要な情報（一般管理情報）とを合わせて管理情報ＩＮＦＯを作成する。ステップＳ５５では、多重化部１０６は、ストリーム、支援情報ＨＬＰ、および管理情報ＩＮＦＯを多重化し、ステップＳ５６において、記録部１０７は、前記多重化された多重化データを記録する。なお、ステップＳ５３はステップＳ５２の前に行ってもよいし、ステップＳ５４の後に行ってもよい。

なお、上記支援情報ＨＬＰに示される情報を符号化部１０２によりストリーム内に格納してもよい。このとき、特再情報を格納するＮＡＬユニットに、支援情報ＨＬＰに示される情報を格納する。例えば、ＰピクチャがＢピクチャを参照しない場合には、可変速再生時にＩピクチャとＰピクチャのみを復号化することができる。従って、ＩピクチャとＰピクチャのみを復号化して表示できるかどうかを示すフラグ情報を格納する。また、可変速再生時に復号化するＡＵからは、当該ＡＵが参照するＳＰＳやＰＰＳを取得できないことがある。ＩピクチャとＰピクチャのみを復号化する際に、Ｐピクチャが参照するＰＰＳがＢピクチャのＡＵにのみ格納されるようなケースである。この際には、Ｐピクチャの復号化に必要なＰＰＳをＢピクチャのＡＵから取得する必要がある。従って、可変速再生時に復号化するＡＵから参照されるＳＰＳあるいはＰＰＳが、可変速再生時に復号化するＡＵから必ず取得できるかどうかを示すフラグ情報を含めてもよい。こうすることで、フラグがセットされていない場合にのみ、可変速再生時に復号化しないピクチャのＡＵからもＳＰＳあるいはＰＰＳを検出するなどの動作が可能となる。また、ＩピクチャとＰピクチャのみを復号化して表示できることが示される際に、Ｂピクチャ、特に他のピクチャから参照されるＢピクチャも復号することにより、再生速度を調節してもよい。

また、特再情報を格納するＮＡＬユニットを使用せずに、ＳＰＳ、ＰＰＳ、あるいはスライスなど他のＮＡＬユニットのヘッダ内に上記フラグ情報を格納してもよい。例えば、ランダムアクセス単位ＲＡＵを構成するＡＵが参照するＳＰＳが、ランダムアクセス単位ＲＡＵの先頭ＡＵに格納される際には、ＳＰＳのＮＡＬユニットのｎａｌ＿ｒｅｆ＿ｉｄｃフィールドによりフラグ情報を示すことができる。ＳＰＳのＮＡＬユニットではｎａｌ＿ｒｅｆ＿ｉｄｃの値は１以上と規定されているため、上位１ビットを常に１として、下位１ビットでフラグ情報を示すことができる。

なお、支援情報ＨＬＰの内容は、ストリームあるいは管理情報のいずれか一方にのみ格納してもよいし、両方に格納してもよい。例えば、ストリーム内において支援情報ＨＬＰの内容が固定である際には管理情報において示し、可変である際にはストリーム内で示すことができる。また、管理情報内に、支援情報ＨＬＰが固定であるかどうかを示すフラグ情報を格納してもよい。さらに、支援情報ＨＬＰの内容が固定であるかどうかが不明であることを示すフラグ情報を格納してもよい。また、ＢＤ ＲＯＭやＲＡＭなどのアプリケーション規格において支援情報ＨＬＰが予め定められている際、あるいは、通信や放送により支援情報ＨＬＰが別途提供される際には、支援情報ＨＬＰを格納しないことにしてもよい。

（動画像復号化装置）
図２７は、本発明の動画像復号化方法を実現する動画像復号化装置２００のブロック図である。この動画像復号化装置２００は、図８〜図２０に示された符号化ストリームを再生する装置であり、符号化ストリームを通常再生するだけでなく、飛び込み再生、可変速再生、および、逆再生等の特殊再生をすることが可能な装置であり、図５に示された従来の動画像復号化装置２の構成に加えて、ストリーム抽出部ＥＸＴおよび復号化ＡＵ選択部ＡＵＳｅｌを備える。なお、同図において、図５に示される従来の動画像復号化装置２のブロック図の各処理部と同じ動作をする処理部には同じ番号を付し、説明を省略する。

復号化ＡＵ選択部ＡＵＳｅｌは外部から入力される特殊再生の指示に従って、復号化が必要なＡＵを、可変長復号化部ＶＬＤで復号化された特再情報ＧｒｐＩｎｆに基づいて決定する。さらに、決定した復号化が必要なＡＵを示す情報であるＤｅｃＡＵをストリーム抽出部ＥＸＴに通知する。ストリーム抽出部ＥＸＴは復号化対象ＡＵ選択部ＡＵＳｅｌで復号化が必要と判断されたＡＵに対応するストリームのみを抽出して可変長復号化部ＶＬＤに伝送する。

図２８は、図２７に示された動画像復号化装置２００（主に、復号化ＡＵ選択部ＡＵＳｅｌ）による特再情報を含むストリームにおいて特殊再生を行う際の復号化手順、つまり、本発明の動画像復号化方法のフローチャートである。

まず、ステップＳ２０において、復号化ＡＵ選択部ＡＵＳｅｌは、ストリーム中のＳＰＳ等を検出することで、当該ＡＵがランダムアクセス単位ＲＡＵの先頭ＡＵであるかどうか判定し、先頭ＡＵであればステップＳ２１に進み、そうでなければステップＳ２２に進む。ここで、タイムマップなど管理情報からランダムアクセス単位ＲＡＵの開始位置を取得してもよい。特に、飛び込み再生における再生開始位置の決定や、ランダムアクセス単位ＲＡＵの先頭ピクチャのみを選択して高速再生するケースでは、タイムマップを参照してランダムアクセス単位ＲＡＵの開始位置を決定できる。ステップＳ２１では、復号化ＡＵ選択部ＡＵＳｅｌは、ＡＵデータから特再情報を取得して解析し、復号化するＡＵを決定した後にステップＳ２２に進む。ステップＳ２２では、当該ＡＵが、ステップＳ２１において復号化すると決定されたＡＵであるかどうか判定し、復号化すると決定されたＡＵであれば、ステップＳ２３において、動画像復号化装置２００は、そのＡＵを復号化し、そうでなければステップＳ２４に進む。ステップＳ２４では、動画像復号化装置２００は、復号化するＡＵが残っているかどうか判定し、残っていればステップＳ２０以降の処理を繰り返し、残っていなければ処理を終了する。なお、全てのＡＵを順に復号化して表示する通常再生時には、ステップＳ２１およびステップＳ２２の処理を省略する、あるいはステップＳ２１において決定処理を省略し、全てのＡＵを復号する旨の情報を出力することにしてもよい。

図２９は、ステップＳ２１における処理（復号化ＡＵ選択部ＡＵＳｅｌによる処理）を示すフローチャートである。まず、ステップＳ３０においてＡＵデータの先頭バイトから順にスタートコードプレフィックスをサーチすることにより、ＡＵを構成するＮＡＬユニットの開始位置を検出し、ステップＳ３１に進む。なお、ＡＵデータの先頭バイトからでなく、例えば、Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒの終了位置など、他の位置からサーチしてもよい。ステップＳ３１では、ＮＡＬユニットのＮＡＬユニットタイプを取得し、ステップＳ３２に進む。ステップＳ３２では、ステップＳ３１において取得したＮＡＬユニットタイプが、特再情報を格納するNALユニットであるかどうか判定し、特再情報が格納されている場合にはステップＳ３３に進み、特再情報が格納されていなければステップＳ３０以降の処理を繰り返す。ここで、特再情報がＳＥＩメッセージに格納される際には、ＳＥＩのＮＡＬユニットをまず取得し、さらに、ＮＡＬユニット内に特再情報格納用のＳＥＩメッセージが含まれるかどうか判定する。次に、ステップＳ３３では特再情報を取得し、ステップＳ３４に進む。ステップＳ３４では、指示された特殊再生動作を行う際に復号が必要なピクチャを決定する。例えば、２倍速再生が指示されたとする。Iピクチャ、Pピクチャ、および参照されるBピクチャのみを復号、再生することにより２倍速再生が実現できることが特再情報から示される場合には、これら３種類のピクチャを復号し、再生すると決定する。なお、ステップＳ３０からステップＳ３２までの処理において、ランダムアクセス単位ＲＡＵの先頭ピクチャに特再情報が検出されなければ、所定の方法において、指示された特殊再生動作を行うために復号が必要なピクチャを決定する。一例として、Ａｃｃｅｓｓ Ｕｎｉｔ Ｄｅｌｉｍｉｔｅｒ内のピクチャのタイプを示すフィールドを参照する、あるいは、ＮＡＬユニットのヘッダのｎａｌ＿ｒｅｆ＿ｉｄｃを調べることによりピクチャが参照ピクチャであるかどうかを判定することが可能である。例えば、両者を参照すれば、参照されるBピクチャと参照されないBピクチャとを区別できる。

図３０は、復号化する全てのＡＵを表示するとは限らない場合の処理（復号化ＡＵ選択部ＡＵＳｅｌによる処理）を示すフローチャートである。図２８におけるフローチャートと同様の処理を行うステップについては、同一の符号を付し、説明を省略する。ステップＳ４１では、特再情報を取得して解析し、指示された特殊再生動作において復号化するＡＵと表示するＡＵを決定し、ステップＳ４２に進む。ステップＳ４２では、復号化するＡＵと表示するＡＵが完全に一致するかどうか判定し、一致する場合にはステップＳ２２に進み、一致しない場合にはステップＳ４３に進む。ステップＳ４３では、表示するＡＵの一覧情報を出力し、ステップＳ２２に進む。前記出力されたＡＵの一覧情報は、復号化されたＡＵの中から表示するＡＵを決定するステップ（図示しない）において使用される。

なお、ＭＰＥＧ−４ ＡＶＣでは、画質向上のために、参照用のピクチャとしては復号化後にブロック歪みを除去するためのフィルタ処理（デブロック処理）を施した画像を使用し、表示用としてはデブロック処理を施す前の画像を使用することができる。このとき、動画像復号化装置２００ではデブロック処理を施す前後の画像データを保持しておく必要がある。ここで、動画像復号化装置２００は復号化後の画像データを４枚分保持できるメモリを備えるとすると、デブロック処理を施す前後の画像データをメモリに保持した場合、参照ピクチャのデブロック処理前の画像を保持しておくために画像２枚分のメモリが必要となる。しかしながら、逆再生時には、上述したように、なるべく多くのピクチャを同時にメモリに保持できることが望ましい。表示用にもデブロック処理を施した後の画像を使用するとすれば、デブロック処理後の画像のみを保持すればよいため、４枚分のピクチャをメモリに保持できる。したがって、通常の順方向再生時には高画質化を図るためにデブロック処理を施す前の画像を表示し、逆再生時にはデブロック処理後の画像を表示することにすれば、より多くのピクチャをメモリに保持でき、逆再生時の処理量を軽減できる。例えば、特再情報としてＩピクチャとＰピクチャのＡＵの一覧が示される図１５の例では、Ｉ０、Ｐ３、Ｐ６、Ｐ９のうち順方向再生時に同時にメモリに保持できるのは（Ｉ０、Ｐ３）、（Ｐ３、Ｐ６）、（Ｐ６、Ｐ９）の各２枚であるが、逆再生時には４枚のデータを全てメモリに保持できる。

（特再情報の光ディスクでの記録フォーマット例）
特殊再生機能は、パッケージメディアを再生する光ディスク機器においては特に重要である。ここで、次世代の光ディスクであるＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）において、上述した特再情報を記録する例について述べる。

まず、ＢＤ−ＲＯＭの記録フォーマットについて説明する。
図３１は、ＢＤ−ＲＯＭの構成、特にディスク媒体であるＢＤディスク１１４と、ディスクに記録されているデータ１１１、１１２および１１３の構成を示す図である。ＢＤディスク１１４に記録されるデータは、ＡＶデータ１１３と、ＡＶデータに関する管理情報およびＡＶ再生シーケンスなどのＢＤ管理情報１１２と、インタラクティブを実現するＢＤ再生プログラム１１１である。ここでは、説明の都合上、映画のＡＶコンテンツを再生するためのＡＶアプリケーションを主眼においてのＢＤディスクの説明を行うが、他の用途として用いても勿論同様である。

図３２は、上述したＢＤディスクに記録されている論理データのディレクトリ・ファイル構成を示した図である。ＢＤディスクは、他の光ディスク、例えばＤＶＤやＣＤなどと同様にその内周から外周に向けてらせん状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。また、リード・インの内側にはＢＣＡ（Ｂｕｒｓｔ Ｃｕｔｔｉｎｇ Ａｒｅａ）と呼ばれるドライブでしか読み出せない特別な領域がある。この領域はアプリケーションから読み出せないため、例えば著作権保護技術などに利用されることがある。

論理アドレス空間には、ファイルシステム情報（ボリューム）を先頭に映像データなどのアプリケーションデータが記録されている。ファイルシステムとは従来技術で説明した通り、ＵＤＦやＩＳＯ９６６０などのことであり、通常のＰＣと同じように記録されている論理データをディレクトリ、ファイル構造を使って読み出しする事が可能になっている。

本実施の形態では、ＢＤディスク上のディレクトリ、ファイル構造は、ルートディレクトリ（ＲＯＯＴ）直下にＢＤＶＩＤＥＯディレクトリが置かれている。このディレクトリはＢＤで扱うＡＶコンテンツや管理情報などのデータ（図３２で説明した１０１、１０２、１０３）が格納されているディレクトリである。

ＢＤＶＩＤＥＯディレクトリの下には、次の７種類のファイルが記録されている。
・ＢＤ．ＩＮＦＯ（ファイル名固定）
「ＢＤ管理情報」の一つであり、ＢＤディスク全体に関する情報を記録したファイルである。ＢＤプレーヤは最初にこのファイルを読み出す。
・ＢＤ．ＰＲＯＧ（ファイル名固定）
「ＢＤ再生プログラム」の一つであり、ＢＤディスク全体に関わる再生制御情報を記録したファイルである。
・ＸＸＸ．ＰＬ（「ＸＸＸ」は可変、拡張子「ＰＬ」は固定）
「ＢＤ管理情報」の一つであり、シナリオ（再生シーケンス）であるプレイリスト情報を記録したファイルである。プレイリスト毎に１つのファイルを持っている。
・ＸＸＸ．ＰＲＯＧ（「ＸＸＸ」は可変、拡張子「ＰＲＯＧ」は固定）
「ＢＤ再生プログラム」の一つであり、前述したプレイリスト毎の再生制御情報を記録したファイルである。プレイリストとの対応はファイルボディ名（「ＸＸＸ」が一致する）によって識別される。
・ＹＹＹ．ＶＯＢ（「ＹＹＹ」は可変、拡張子「ＶＯＢ」は固定）
「ＡＶデータ」の一つであり、ＶＯＢ（従来例で説明したＶＯＢと同じ）を記録したファイルである。ＶＯＢ毎に１つのファイルを持っている。
・ＹＹＹ．ＶＯＢＩ（「ＹＹＹ」は可変、拡張子「ＶＯＢＩ」は固定）
「ＢＤ管理情報」の一つであり、ＡＶデータであるＶＯＢに関わるストリーム管理情報を記録したファイルである。ＶＯＢとの対応はファイルボディ名（「ＹＹＹ」が一致する）によって識別される。
・ＺＺＺ．ＰＮＧ（「ＺＺＺ」は可変、拡張子「ＰＮＧ」は固定）
「ＡＶデータ」の一つであり、字幕およびメニューを構成するためのイメージデータＰＮＧ（Ｗ３Ｃによって標準化された画像フォーマットであり「ピング」と読む）を記録したファイルである。１つのＰＮＧイメージ毎に１つのファイルを持つ。

図３３から図３８を用いて、ＢＤのナビゲーションデータ（ＢＤ管理情報）構造について説明をする。

図３３は、ＶＯＢ管理情報ファイル（"ＹＹＹ．ＶＯＢＩ"）の内部構造を示した図である。ＶＯＢ管理情報は、当該ＶＯＢのストリーム属性情報（Ａｔｔｒｉｂｕｔｅ）とタイムマップ（ＴＭＡＰ）を有している。ストリーム属性は、ビデオ属性（Ｖｉｄｅｏ）、オーディオ属性（Ａｕｄｉｏ＃０〜Ａｕｄｉｏ＃ｍ）個々に持つ構成となっている。特にオーディオストリームの場合は、ＶＯＢが複数本のオーディオストリームを同時に持つことができることから、オーディオストリーム数（Ｎｕｍｂｅｒ）によって、データフィールドの有無を示している。

下記はビデオ属性（Ｖｉｄｅｏ）の持つフィールドと夫々が持ち得る値である。
・圧縮方式（Ｃｏｄｉｎｇ）：
ＭＰＥＧ１
ＭＰＥＧ２
ＭＰＥＧ４
ＭＰＥＧ４−ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）
・解像度（Ｒｅｓｏｌｕｔｉｏｎ）：
１９２０ｘ１０８０
１４４０ｘ１０８０
１２８０ｘ７２０
７２０ｘ４８０
７２０ｘ５６５
・アスペクト比（Ａｓｐｅｃｔ）：
４：３
１６：９
・フレームレート（Ｆｒａｍｅｒａｔｅ）：
６０
５９．９４（６０／１．００１）
５０
３０
２９．９７（３０／１．００１）
２５
２４
２３．９７６（２４／１．００１）

下記はオーディオ属性（Ａｕｄｉｏ）の持つフィールドと夫々が持ち得る値である。
・圧縮方式（Ｃｏｄｉｎｇ）：
ＡＣ３
ＭＰＥＧ１
ＭＰＥＧ２
ＬＰＣＭ
・チャンネル数（Ｃｈ）：
１〜８
・言語属性（Ｌａｎｇｕａｇｅ）：

タイムマップ（ＴＭＡＰ）はＶＯＢＵ毎の情報を持つテーブルであって、当該ＶＯＢが有するＶＯＢＵ数（Ｎｕｍｂｅｒ）と各ＶＯＢＵ情報（ＶＯＢＵ＃１〜ＶＯＢＵ＃ｎ）を持つ。個々のＶＯＢＵ情報は、ＶＯＢＵ先頭ＴＳパケット（Ｉピクチャ開始）のアドレスＩ＿ｓｔａｒｔと、そのＩピクチャの終了アドレスまでのオフセットアドレス（Ｉ＿ｅｎｄ）、およびそのＩピクチャの再生開始時刻（ＰＴＳ）から構成される。

図３４はＶＯＢＵ情報の詳細を説明する図である。広く知られているように、ＭＰＥＧビデオストリームは高画質記録するために可変ビットレート圧縮されることがあり、その再生時間とデータサイズ間に単純な相関はない。逆に、音声の圧縮規格であるＡＣ３は固定ビットレートでの圧縮を行っているため、時間とアドレスとの関係は１次式によって求めることができる。しかしながら、ＭＰＥＧビデオデータの場合は、個々のフレームは固定の表示時間、例えばＮＴＳＣの場合は１フレームは１／２９．９７秒の表示時間を持つが、個々のフレームの圧縮後のデータサイズは絵の特性や圧縮に使ったピクチャタイプ、いわゆるＩ／Ｐ／Ｂピクチャによってデータサイズは大きく変わってくる。従って、ＭＰＥＧビデオの場合は、時間とアドレスの関係は一次式の形で表現することは不可能である。

当然の事として、ＭＰＥＧビデオデータを多重化しているＭＰＥＧシステムストリーム、即ちＶＯＢも時間とデータサイズとを一次式の形で表現することは不可能である。このため、ＶＯＢ内での時間とアドレスとの関係を結びつけるのがタイムマップ（ＴＭＡＰ）である。

このようにして、ある時刻情報が与えられた場合、先ずは当該時刻がどのＶＯＢＵに属するのかを検索（ＶＯＢＵ毎のＰＴＳを追っていく）して、当該時刻の直前のＰＴＳをＴＭＡＰに持つＶＯＢＵに飛びこみ（Ｉ＿ｓｔａｒｔで指定されたアドレス）、ＶＯＢＵ先頭のＩピクチャから復号を開始し、当該時刻のピクチャから表示を開始する。

次に図３５を使って、プレイリスト情報（"ＸＸＸ．ＰＬ"）の内部構造を説明する。プレイリスト情報は、セルリスト（ＣｅｌｌＬｉｓｔ）とイベントリスト（ＥｖｅｎｔＬｉｓｔ）から構成されている。

セルリスト（ＣｅｌｌＬｉｓｔ）は、プレイリスト内の再生セルシーケンスであり、本リストの記述順でセルが再生される事になる。セルリスト（ＣｅｌｌＬｉｓｔ）の中身は、セルの数（Ｎｕｍｂｅｒ）と各セル情報（Ｃｅｌｌ＃１〜Ｃｅｌｌ＃ｎ）である。

セル情報（Ｃｅｌｌ＃）は、ＶＯＢファイル名（ＶＯＢＮａｍｅ）、当該ＶＯＢ内での開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）と、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）を持っている。開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）は、夫々当該ＶＯＢ内でのフレーム番号で表現され、前述したタイムマップ（ＴＭＡＰ）を使うことによって再生に必要なＶＯＢデータのアドレスを得る事ができる。

字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）は、当該ＶＯＢと同期再生される字幕情報を持つテーブルである。字幕は音声同様に複数の言語を持つことができ、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）最初の情報も言語数（Ｎｕｍｂｅｒ）とそれに続く個々の言語ごとのテーブル（Ｌａｎｇｕａｇｅ＃１〜Ｌａｎｇｕａｇｅ＃ｋ）から構成されている。

各言語のテーブル（Ｌａｎｇｕａｇｅ＃）は、言語情報（Ｌａｎｇ）と、個々に表示される字幕の字幕情報数（Ｎｕｍｂｅｒ）と、個々に表示される字幕の字幕情報（Ｓｐｅｅｃｈ＃１〜Ｓｐｅｅｃｈ＃ｊ）から構成され、字幕情報（Ｓｐｅｅｃｈ＃）は対応するイメージデータファイル名（Ｎａｍｅ）、字幕表示開始時刻（Ｉｎ）および字幕表示終了時刻（Ｏｕｔ）と、字幕の表示位置（Ｐｏｓｉｔｉｏｎ）から構成されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、当該プレイリスト内で発生するイベントを定義したテーブルである。イベントリストは、イベント数（Ｎｕｍｂｅｒ）に続いて個々のイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）から構成され、個々のイベント（Ｅｖｅｎｔ＃）は、イベントの種類（Ｔｙｐｅ）、イベントのＩＤ（ＩＤ）、イベント発生時刻（Ｔｉｍｅ）と有効期間（Ｄｕｒａｔｉｏｎ）から構成されている。

図３６は、個々のプレイリスト毎のイベントハンドラ（時間イベントと、メニュー選択用のユーザイベント）を持つイベントハンドラテーブル（"ＸＸＸ．ＰＲＯＧ"）である。イベントハンドラテーブルは、定義されているイベントハンドラ／プログラム数（Ｎｕｍｂｅｒ）と個々のイベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃１〜Ｐｒｏｇｒａｍ＃ｎ）を有している。各イベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃）内の記述は、イベントハンドラ開始の定義（＜ｅｖｅｎｔ＿ｈａｎｄｌｅｒ＞タグ）と前述したイベントのＩＤと対になるイベントハンドラのＩＤ（ＩＤ）を持ち、その後に当該プログラムもＦｕｎｃｔｉｏｎに続く括弧"｛"と"｝"の間に記述する。前述の"ＸＸＸ．ＰＬ"のイベントリスト（ＥｖｅｎｔＬｉｓｔ）に格納されたイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）は"ＸＸＸ．ＰＲＯＧ"のイベントハンドラのＩＤ（ＩＤ）を用いて特定される。

次に図３７を用いてＢＤディスク全体に関する情報（"ＢＤ．ＩＮＦＯ"）の内部構造を説明する。ＢＤディスク全体情報は、タイトルリスト（ＴｉｔｌｅＬｉｓｔ）とグローバルイベント用のイベントテーブル（ＥｖｅｎｔＬｉｓｔ）から構成されている。

タイトルリスト（ＴｉｔｌｅＬｉｓｔ）は、ディスク内のタイトル数（Ｎｕｍｂｅｒ）と、これに続く各タイトル情報（Ｔｉｔｌｅ＃１〜Ｔｉｔｌｅ＃ｎ）から構成されている。個々のタイトル情報（Ｔｉｔｌｅ＃）は、タイトルに含まれるプレイリストのテーブル（ＰＬＴａｂｌｅ）とタイトル内のチャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）を含んでいる。プレイリストのテーブル（ＰＬＴａｂｌｅ）はタイトル内のプレイリストの数（Ｎｕｍｂｅｒ）と、プレイリスト名（Ｎａｍｅ）即ちプレイリストのファイル名を有している。

チャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）は、当該タイトルに含まれるチャプタ数（Ｎｕｍｂｅｒ）と個々のチャプタ情報（Ｃｈａｐｔｅｒ＃１〜Ｃｈａｐｔｅｒ＃ｎ）から構成され、個々のチャプタ情報（Ｃｈａｐｔｅｒ＃）は当該チャプタが含むセルのテーブル（ＣｅｌｌＴａｂｌｅ）を持ち、セルのテーブル（ＣｅｌｌＴａｂｌｅ）はセル数（Ｎｕｍｂｅｒ）と個々のセルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃１〜ＣｅｌｌＥｎｔｒｙ＃ｋ）から構成されている。セルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃）は当該セルを含むプレイリスト名と、プレイリスト内でのセル番号によって記述されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、グローバルイベントの数（Ｎｕｍｂｅｒ）と個々のグローバルイベントの情報を持っている。ここで注意すべきは、最初に定義されるグローバルイベントは、ファーストイベント（ＦｉｒｓｔＥｖｅｎｔ）と呼ばれ、ＢＤディスクがプレーヤに挿入された時、最初に呼ばれるイベントである。グローバルイベント用イベント情報はイベントタイプ（Ｔｙｐｅ）とイベントのＩＤ（ＩＤ）だけを持っている。

図３８は、グローバルイベントハンドラのプログラムのテーブル（"ＢＤ．ＰＲＯＧ"）である。本テーブルは、図３６で説明したイベントハンドラテーブルと同一内容である。

以上のようなＢＤ−ＲＯＭフォーマットにおいて、上述した特再情報を格納する際には、ＶＯＢＵが１以上のランダムアクセス単位ＲＡＵから構成されるとみなし、ＶＯＢＵの先頭ＡＵに特再情報を格納する。なお、ＭＰＥＧ−４ ＡＶＣでは、特再情報を格納したＮＡＬユニットを含める。

なお、特再情報をＢＤ管理情報内に格納してもよい。例えば、ＶＯＢ管理情報のタイムマップを拡張して、ＶＯＢＵ毎の特再情報を格納できる。あるいは、特再情報を格納するためのマップを新規に定義してもよい。

また、特再情報は、ＶＯＢＵ内、あるいはＢＤ管理情報内のどちらか一方にのみ格納することとしてもよい。

また、特再情報のデフォルト値のみＢＤ管理情報内に格納し、ＶＯＢＵについての特再情報がデフォルト値と異なる場合にのみ、ＶＯＢＵ内に特再情報を格納してもよい。

また、１つ以上の特再情報のセットをストリームに共通の情報としてＢＤ管理情報内に格納し、ＶＯＢＵからはＢＤ管理情報内に格納された特再情報のうちいずれか１つを参照することにしてもよい。このとき、ＶＯＢＵが参照する特再情報のインデックス情報は、ＶＯＢＵ単位の管理情報、あるいはＶＯＢＵ内に格納される。

（光ディスク再生プレーヤ）
図３９は、図３１等で示されたＢＤディスクを再生するプレーヤの大まかな機能構成を示すブロック図である。ＢＤディスク２０１上のデータは、光ピックアップ２０２を通して読み出される。読み出されたデータは夫々のデータの種類に応じて専用のメモリに転送される。ＢＤ再生プログラム（「ＢＤ．ＰＲＯＧ」または「ＸＸＸ．ＰＲＯＧ」ファイルの中身）はプログラム記録メモリ２０３に、ＢＤ管理情報（「ＢＤ．ＩＮＦＯ」、「ＸＸＸ．ＰＬ」または「ＹＹＹ．ＶＯＢＩ」）は管理情報記録メモリ２０４に、ＡＶデータ（「ＹＹＹ．ＶＯＢ」または「ＺＺＺ．ＰＮＧ」）はＡＶ記録メモリ２０５に夫々転送される。

プログラム記録メモリ２０３に記録されたＢＤ再生プログラムは、プログラム処理部２０６によって、管理情報記録メモリ２０４に記録されたＢＤ管理情報は管理情報処理部２０７によって、また、ＡＶ記録メモリ２０５に記録されたＡＶデータはプレゼンテーション処理部２０８によって夫々処理される。

プログラム処理部２０６は、管理情報処理部２０７より再生するプレイリストの情報やプログラムの実行タイミングなどのイベント情報を受け取りプログラムの処理を行う。また、プログラムでは再生するプレイリストを動的に変える事が可能であり、この場合は管理情報処理部２０７に対してプレイリストの再生命令を送ることで実現する。プログラム処理部２０６は、ユーザからのイベント、即ちリモコンキーからのリクエストを受け、ユーザイベントに対応するプログラムがある場合は、それを実行する。

管理情報処理部２０７は、プログラム処理部２０６の指示を受け、対応するプレイリストおよびプレイリストに対応したＶＯＢの管理情報を解析し、プレゼンテーション処理部２０８に対象となるＡＶデータの再生を指示する。また、管理情報処理部２０７は、プレゼンテーション処理部２０８より基準時刻情報を受け取り、時刻情報に基づいてプレゼンテーション処理部２０８にＡＶデータ再生の停止指示を行い、また、プログラム処理部２０６に対してプログラム実行タイミングを示すイベントを生成する。

プレゼンテーション処理部２０８は、映像、音声、字幕／イメージ（静止画）の夫々に対応するデコーダを持ち、管理情報処理部２０７からの指示に従い、ＡＶデータのデコードおよび出力を行う。映像データ、字幕／イメージの場合は、デコード後に夫々の専用プレーン、ビデオプレーン２１０およびイメージプレーン２０９に描画され、合成処理部２１１によって映像の合成処理が行われＴＶなどの表示デバイスへ出力される。

飛び込み再生、可変速再生、あるいは逆再生などの特殊再生時には、ユーザから要求された特殊再生動作をプレゼンテーション処理部２０８が解釈し、再生速度などの情報を管理情報処理部２０７に通知する。管理情報処理部２０７は、ＶＯＢＵの先頭ＡＵに格納された特再情報を解析することにより、ユーザが指定した特殊再生動作を満足するように、復号化、および表示するＡＵを決定する。なお、管理情報処理部２０７は特再情報を取得してプレゼンテーション処理部２０８に出力し、プレゼンテーション処理部２０８において復号化、および表示するＡＵを決定してもよい。

なお、本実施の形態で示した動画像符号化方法および動画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、本実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図４０は、本実施の形態の動画像符号化方法および動画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図４０（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図４０（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図４０（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法および動画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化方法および動画像復号化方法を実現する上記動画像符号化方法および動画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

以上、本発明に係る動画像ストリーム生成装置、動画像符号化装置、動画像多重化装置および動画像復号化装置について、実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。

例えば、本実施の形態における動画像ストリーム生成装置、動画像符号化装置および動画像多重化装置のいずれかを備える光ディスク記録装置、動画像送信装置、デジタルテレビ放送送出装置、Ｗｅｂサーバ、通信装置、携帯情報端末等や、本実施の形態における動画像復号化装置を備える動画像受信装置、デジタルテレビ放送受信装置、通信装置、携帯情報端末等も、本発明に含まれるのは言うまでもない。

なお、図２１、図２３、図２７及び図３９に示されるブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えば、メモリ以外の機能ブロックが１チップ化されていても良い。また、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。そして、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。

本発明は、特殊再生可能な動画像ストリームを生成する動画像ストリーム生成装置、特殊再生可能な動画像ストリームを符号化して生成する動画像符号化装置、特殊再生可能な動画像ストリームをパケット多重化して生成する動画像多重化装置、および、それらの動画像ストリームを特殊再生する動画像復号化装置として、特に、ＭＰＥＧ−４ ＡＶＣのストリームを再生するとともに、可変速再生や逆再生などの特殊再生モードで再生するシステムを構成する機器として、例えば、特殊再生機能が重視される光ディスク関連機器として有用である。

図１は、従来技術におけるＭＰＥＧ２のストリーム構造を示す図である。 図２は、従来技術におけるＭＰＥＧ２のＧＯＰ構造を示す図である。 図３は、従来技術におけるＭＰＥＧ４ ＡＶＣのストリーム構造を示す図である。 図４は、従来の符号化装置の構成を示すブロック図である。 図５は、従来の復号化装置の構成を示すブロック図である。 図６は、従来技術におけるＭＰＥＧ４ ＡＶＣにおける予測構造の例１を示す図である。 図７は、従来技術におけるＭＰＥＧ４ ＡＶＣにおける予測構造の例２を示す図である。 図８は、本発明に係るＭＰＥＧ−４ ＡＶＣのストリーム構造を示す図である。 図９は、ランダムアクセス単位ＲＡＵにおいて復号化するＡＵを示す第１の例を示す図である。 図１０は、ランダムアクセス単位ＲＡＵにおいて復号化するＡＵを示す第２の例を示す図である。 図１１は、ランダムアクセス単位ＲＡＵにおいて復号化するＡＵを示す第３の例を示す図である。 図１２は、ランダムアクセス単位ＲＡＵにおいて復号化するＡＵを特定する方法を示す例を示す図である。 図１３は、可変速再生情報のテーブルのシンタックス例を示す図である。 図１４は、可変速再生情報のテーブルの拡張例を示す図である。 図１５は、可変速再生情報として、ランダムアクセス単位ＲＡＵ内のＩピクチャ、およびＰピクチャのＡＵを示す例を示す図である。 図１６は、可変速再生情報として、ＡＵの優先度を用いる際に、バッファ滞留時間を優先度の指標として用いる例を示す図である。 図１７は、（ａ）と（ｂ）は、ＲＡＵ内において、フレーム構造とフィールド構造のＡＵが混在する際の例を示す図である。（ｃ）は、ＲＡＵ内のＡＵがフレーム、フィールドのどちらであるのかを示す第１のマップ（ＲＡＵ＿ｍａｐ１）のシンタックス例を示す図である。（ｄ）は、図１７（ｂ）のＲＡＵについてのＲＡＵ＿ｍａｐ１を示す図である。 図１８は、特再情報としてのマップの別の例を示す図である。 図１９は、ランダムアクセス単位ＲＡＵにおいて境界情報を示す方法を説明する図である。 図２０は、ランダムアクセス単位ＲＡＵにおけるピクチャの予測構造例を示す図である。 図２１は、本発明に係る動画像符号化装置の構成を示すブロック図である。 図２２は、動画像符号化方法のフローチャートである。 図２３は、本発明に係る動画像多重化装置の構成を示すブロック図である。 図２４は、支援情報ＨＬＰの内容例を示す図である。 図２５は、支援情報ＨＬＰにおいて、特再情報が格納されるＮＡＬユニットを示す例を示す図である。 図２６は、動画像多重化装置の動作を示すフローチャートである。 図２７は、本発明に係る動画像復号化装置の構成を示すブロック図である。 図２８は、動画像復号化方法のフローチャートである。 図２９は、本発明の動画像復号化方法において、復号化するＡＵを決定する際のフローチャートである。 図３０は、本発明の動画像復号化方法において、復号化するＡＵと表示するＡＵが異なる場合の処理を示すフローチャートである。 図３１は、ＨＤ−ＤＶＤのデータ階層図である。 図３２は、ＨＤ−ＤＶＤ上の論理空間の構成図である。 図３３は、ＶＯＢ情報ファイル構成図である。 図３４は、タイムマップの説明図である。 図３５は、プレイリストファイルの構成図である。 図３６は、プレイリストに対応するプログラムファイルの構成図である。 図３７は、ＢＤディスク全体管理情報ファイルの構成図である。 図３８は、グローバルイベントハンドラを記録するファイルの構成図である。 図３９は、ＨＤ−ＤＶＤプレーヤの概要ブロック図である。 図４０は、本発明の動画像符号化方法および動画像復号化方法を実現するためのプログラムを記録した記録媒体を示す図である。

符号の説明

１００ 動画像符号化装置
ＰＴＹＰＥ 予測構造決定部
ＭＥ 動き検出部
ＭＣ 動き補償部
Ｓｕｂ 減算部
Ｔ 直交変換部
Ｑ 量子化部
ＩＱ 逆量子化部
ＩＴ 逆直交変換部
ａｄｄ 加算部
ＰｉｃＭｅｍ ピクチャメモリ
ＳＷ スイッチ
ＶＬＣ 可変長符号化部
ＴｒｉｃＰｌａｙ 特再情報作成部
１０１ ストリーム属性決定部
１０２ 符号化部
１０３ 管理情報作成部
１０４ 一般管理情報作成部
１０５ 再生支援情報作成部
１０６ 多重化部
１０７ 記録部
１０８ 動画像多重化装置
２００ 動画像復号化装置
ＥＸＴ ストリーム抽出部
ＡＵＳｅｌ 復号化ＡＵ選択部
ＶＬＤ 可変長復号化部
２０１ ＢＤディスク
２０２ 光ピックアップ
２０３ プログラム記録メモリ
２０４ 管理情報記録メモリ
２０５ ＡＶ記録メモリ
２０６ プログラム処理部
２０７ 管理情報処理部
２０８ プレゼンテーション処理部
２０９ イメージプレーン
２１０ ビデオプレーン
２１１ 合成処理部

Claims (6)

1. 少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを含むストリームを生成する動画像ストリーム生成装置であって、
   ランダムアクセスポイントとなる第１のIピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のIピクチャの直前のピクチャまでに属する複数のピクチャで構成されるランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べた第１の補助情報を符号化する第１の符号化手段と、
   前記ランダムアクセス単位に含まれる、各ピクチャのピクチャ構造情報をピクチャの復号順に並べた第２の補助情報を符号化する第２の符号化手段と、
   前記符号化された第１および第２の補助情報を、前記第１のＩピクチャの補助情報格納単位に格納することで動画像ストリームを生成する生成手段とを備え、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、符号化の基本単位であるブロック毎に１枚のピクチャを参照して画面間符号化されるＰピクチャ、符号化の基本単位であるブロック毎に２枚のピクチャを参照して画面間符号化されるＢピクチャであって他のピクチャが参照することのできるＢピクチャ、および、他のピクチャが参照することのできないＢピクチャが含まれ、
   前記各ピクチャのピクチャ構造情報には、ピクチャ構造が、フィールド構造であるか、３−２プルダウン使用時に、２枚の表示フィールドでピクチャを表示する第１のフレーム構造であるか、３−２プルダウン使用時に、第１の表示フィールドを繰り返し表示することで３枚の表示フィールドによりピクチャを表示する第２のフレーム構造であるかを示す情報が含まれる
   ことを特徴とする動画像ストリーム生成装置。
2. 少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを含むストリームを生成する動画像ストリーム生成方法であって、
   ランダムアクセスポイントとなる第１のIピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のIピクチャの直前のピクチャまでに属する複数のピクチャで構成されるランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べた第１の補助情報を符号化する第１の符号化ステップと、
   前記ランダムアクセス単位に含まれる、各ピクチャのピクチャ構造情報をピクチャの復号順に並べた第２の補助情報を符号化する第２の符号化ステップと、
   前記符号化された第１および第２の補助情報を、前記第１のＩピクチャの補助情報格納単位に格納することで動画像ストリームを生成する生成ステップとを有し、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、符号化の基本単位であるブロック毎に１枚のピクチャを参照して画面間符号化されるＰピクチャ、符号化の基本単位であるブロック毎に２枚のピクチャを参照して画面間符号化されるＢピクチャであって他のピクチャが参照することのできるＢピクチャ、および、他のピクチャが参照することのできないＢピクチャが含まれ、
   前記各ピクチャのピクチャ構造情報には、ピクチャ構造が、フィールド構造であるか、３−２プルダウン使用時に、２枚の表示フィールドでピクチャを表示する第１のフレーム構造であるか、３−２プルダウン使用時に、第１の表示フィールドを繰り返し表示することで３枚の表示フィールドによりピクチャを表示する第２のフレーム構造であるかを示す情報が含まれる
   ことを特徴とする動画像ストリーム生成方法。
3. 少なくとも、画素データを格納するための画素データ格納単位と、前記画 素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを含むストリームを復号化して再生する動画像復号化装置であって、
   特殊再生をする旨の指示を取得する指示取得手段と、
   ランダムアクセスポイントとなる第１のIピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のIピクチャの直前のピクチャまでに属する複数のピクチャで構成されるランダムアクセス単位毎に、前記ランダムアクセス単位に含まれる各ピクチャのピクチャタイプ情報を復号順に並べた第１の補助情報と、前記ランダムアクセス単位に含まれる各ピクチャのピクチャ構造情報を復号順に並べた第２の補助情報とを、前記第１のＩピクチャの前記補助情報格納単位から分離して解析する解析手段と、
   前記解析手段による解析結果に基づいて、前記ランダムアクセス単位に含まれるピクチャのうち、前記特殊再生に必要なピクチャを特定する再生ピクチャ特定手段と、
   前記再生ピクチャ特定手段で特定されたピクチャを復号化して再生する復号化手段とを備え、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、符号化の基本単位であるブロック毎に１枚のピクチャを参照して画面間符号化されるＰピクチャ、符号化の基本単位であるブロック毎に２枚のピクチャを参照して画面間符号化されるＢピクチャであって他のピクチャが参照することのできるＢピクチャ、および、他のピクチャが参照することのできないＢピクチャが含まれ、
   前記各ピクチャのピクチャ構造情報には、ピクチャ構造が、フィールド構造であるか、３−２プルダウン使用時に、２枚の表示フィールドでピクチャを表示する第１のフレーム構造であるか、３−２プルダウン使用時に、第１の表示フィールドを繰り返し表示することで３枚の表示フィールドによりピクチャを表示する第２のフレーム構造であるかを示す情報が含まれる
   ことを特徴とする動画像復号化装置。
4. 少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを含むストリームを復号化して再生する動画像復号化方法であって、
   特殊再生をする旨の指示を取得する指示取得ステップと、
   ランダムアクセスポイントとなる第１のIピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のIピクチャの直前のピクチャまでに属する複数のピクチャで構成されるランダムアクセス単位毎に、前記ランダムアクセス単位に含まれる各ピクチャのピクチャタイプ情報を復号順に並べた第１の補助情報と、前記ランダムアクセス単位に含まれる各ピクチャのピクチャ構造情報を復号順に並べた第２の補助情報とを、前記第１のＩピクチャの前記補助情報格納単位から分離して解析する解析ステップと、
   前記解析ステップによる解析結果に基づいて、前記ランダムアクセス単位に含まれるピクチャのうち、前記指示取得ステップで取得した指示が示す特殊再生に必要なピクチャを特定する再生ピクチャ特定ステップと、
   前記再生ピクチャ特定ステップで特定されたピクチャを復号化して再生する復号化ステップとを有し、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、符号化の基本単位であるブロック毎に１枚のピクチャを参照して画面間符号化されるＰピクチャ、符号化の基本単位であるブロック毎に２枚のピクチャを参照して画面間符号化されるＢピクチャであって他のピクチャが参照することのできるＢピクチャ、および、他のピクチャが参照することのできないＢピクチャが含まれ、
   前記各ピクチャのピクチャ構造情報には、ピクチャ構造が、フィールド構造であるか、３−２プルダウン使用時に、２枚の表示フィールドでピクチャを表示する第１のフレーム 構造であるか、３−２プルダウン使用時に、第１の表示フィールドを繰り返し表示することで３枚の表示フィールドによりピクチャを表示する第２のフレーム構造であるかを示す情報が含まれる
   ことを特徴とする動画像復号化方法。
5. 少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを含むストリームをコンピュータ読み取り可能な記録媒体に記録する記録方法であって、
   ランダムアクセスポイントとなる第１のIピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２のIピクチャの直前のピクチャまでに属する複数のピクチャで構成されるランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べた第１の補助情報を符号化する第１の符号化ステップと、
   前記ランダムアクセス単位に含まれる、各ピクチャのピクチャ構造情報をピクチャの復号順に並べた第２の補助情報を符号化する第２の符号化ステップと、
   前記符号化された第１および第２の補助情報を、前記第１のＩピクチャの補助情報格納単位に格納することで動画像ストリームを生成するストリーム生成ステップと、
   前記動画像ストリームを記録媒体へ記録する記録ステップとを有し、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、符号化の基本単位であるブロック毎に１枚のピクチャを参照して画面間符号化されるＰピクチャ、符号化の基本単位であるブロック毎に２枚のピクチャを参照して画面間符号化されるＢピクチャであって他のピクチャが参照することのできるＢピクチャ、および、他のピクチャが参照することのできないＢピクチャが含まれ、
   前記各ピクチャのピクチャ構造情報には、ピクチャ構造が、フィールド構造であるか、３−２プルダウン使用時に、２枚の表示フィールドでピクチャを表示する第１のフレーム構造であるか、３−２プルダウン使用時に、第１の表示フィールドを繰り返し表示することで３枚の表示フィールドによりピクチャを表示する第２のフレーム構造であるかを示す情報が含まれる
   ことを特徴とする記録媒体への記録方法。
6. 少なくとも、画素データを格納するための画素データ格納単位と、前記画素データを格納する格納単位の前に位置し、補助情報を格納するための補助情報格納単位とから構成されるピクチャを含むストリームを記録したコンピュータ読み取り可能な記録媒体と、前記記録媒体から、前記ストリームを読み出して復号化を行う動画像復号化装置から構成される動画像復号化システムであって、
   前記記録媒体に記録されたストリームは、
   ランダムアクセスポイントとなる第１の I ピクチャから、前記ランダムアクセスポイントとは別のランダムアクセスポイントとなる第２の I ピクチャの直前のピクチャまでに属する複数のピクチャで構成されるランダムアクセス単位に含まれる、各ピクチャのピクチャタイプ情報をピクチャの復号順に並べた第１の補助情報と、前記各ピクチャのピクチャ構造情報をピクチャの復号順に並べた第２の補助情報とが、前記第１のＩピクチャの補助情報格納単位に格納されており、
   前記各ピクチャのピクチャタイプ情報には、少なくとも、画面内符号化されるＩピクチャ、符号化の基本単位であるブロック毎に１枚のピクチャを参照して画面間符号化されるＰピクチャ、符号化の基本単位であるブロック毎に２枚のピクチャを参照して画面間符号化されるＢピクチャであって他のピクチャが参照することのできるＢピクチャ、および、他のピクチャが参照することのできないＢピクチャが含まれ、
   前記各ピクチャのピクチャ構造情報には、ピクチャ構造が、フィールド構造であるか、３−２プルダウン使用時に、２枚の表示フィールドでピクチャを表示する第１のフレーム構造であるか、３−２プルダウン使用時に、第１の表示フィールドを繰り返し表示することで３枚の表示フィールドによりピクチャを表示する第２のフレーム構造であるかを示す 情報が含まれる構造を有し、
   前記記録媒体からストリームを読み出して復号化を行う動画像復号化装置は、
   特殊再生をする旨の指示を取得する指示取得手段と、
   前記ランダムアクセス単位毎に、前記第１、第２の補助情報を、前記第１のＩピクチャの補助情報格納単位から分離して解析する解析手段と、
   前記解析手段による解析結果に基づいて、前記ランダムアクセス単位に含まれるピクチャのうち、前記特殊再生に必要なピクチャを特定する再生ピクチャ特定手段と、
   前記再生ピクチャ特定手段で特定されたピクチャを復号化して再生する復号化手段とを備える
   ことを特徴とする動画像復号化システム。

Images