JP5336010B2 - 動画像符号化装置 - Google Patents

Description

本発明は、プログレッシブ形式の動画像信号およびインターレース形式の動画像信号を符号化する動画像符号化装置に関する。

近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つ。そのため、蓄積及び伝送するには、画像の情報圧縮技術が不可欠になる。

一方、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と呼ばれる次世代画像符号化方式の標準化活動が進んでいる。

このような動画像の符号化では、符号化対象ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減する。これによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像の生成を行い、得られた予測画像と符号化対象ブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。

また復号化では、前記符号化処理によって生成された符号列を解析して予測情報および残差係数情報を取得する。さらに、予測情報を用いて画面間予測復号化および画面内予測復号化を行って予測画像を生成する。そして、残差係数情報に対して逆量子化および逆直交変換を行って差分画像を生成し、得られた予測画像と差分画像を加算することで最終的な出力画像を復元する。

このとき符号化および復号化の対象となる動画像の形式として、プログレッシブ形式とインターレース形式との２種類の形式がある。

プログレッシブ形式は、１画面全ての画素を同時に撮像し１枚のフレームとする形式である。一方、インターレース形式は、１画面の画素のうち偶数列目の画素のみを撮像したトップフィールドと奇数列目の画素のみを撮像したボトムフィールドとの２枚のフィールドで１枚のフレームを構成する形式である。

図２０および図２１は、Ｈ．２６４において、プログレッシブ形式およびインターレース形式の動画像を符号化する方法を示している。プログレッシブ形式の動画像に対しては、図２０にあるように１枚のフレームを１枚のピクチャとして符号化する。例えばＦｒｍ３はＰ＿Ｆｒｍ１として符号化されている。また、このとき各ピクチャにはＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）と呼ばれる表示順を指定する情報が割り当てられる。例えばＰ＿Ｆｒｍ１は表示順ではＦｒｍ３の位置で表示されるためＰＯＣとして３が割り当てられている。

一方、インターレース形式の動画像に対しては、図２１にあるように、１枚のフィールドを１枚のピクチャとして符号化する方法と、２枚のフィールドを１枚のピクチャとして符号化する方法とがある。例えばＦｌｄＴ６とＦｌｄＢ７はそれぞれＰ＿ＦｌｄＴ１とＰ＿ＦｌｄＢ２のように個別のフィールド構造のピクチャとして符号化されているが、ＦｌｄＴ１２とＦｌｄＢ１３はＰ＿Ｆｒｍ７のように１枚のフレーム構造のピクチャとして符号化されている。また、ＰＯＣについては、フィールド構造として符号化するときは１つの値が１枚のピクチャに割り当てられるが、フレーム構造として符号化するときは２つの値が１枚のピクチャに割り当てられる。例えばＰ＿Ｆｒｍ７は表示順ではＦｌｄＴ１２とＦｌｄＢ１３の位置に分割して表示されるためＰＯＣとして１２と１３が割り当てられている（非特許文献１）。

一方、ＨＥＶＣは、プログレッシブ形式の動画像に対してのみ符号化可能な符号化方式であり、図２０にあるように１枚のフレームを１枚のピクチャとして符号化する方法のみが定義されている（非特許文献２）。

ITU-T H.264 : Advanced video coding for generic audiovisual services (03/2010) JCT-VC WD2 : Working Draft 2 of High-Efficiency Video Coding (03/2011)

今後、動画像の形式の主流はインターレース形式からプログレッシブ形式へと移っていくことが予想されている。しかし現存する映像コンテンツの中にはインターレース形式で作成されたものが多く存在し、今後もそれらのコンテンツを有効に活用していくことが必要と考えられる。

しかし、前述のとおり、現在標準化が行われているＨＥＶＣではプログレッシブ形式に対してのみの符号化方法が定義されており、インターレース形式のコンテンツを符号化することができない。

本発明は上記課題を解決するものであり、ＨＥＶＣを用いた動画像の符号化および復号化において、インターレース形式への対応を容易に実現することを目的とする。

本発明における動画像符号化装置は、入力される動画像信号をピクチャ単位で符号化する。この動画像符号化装置は、
動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報を取得する動画像形式情報取得部と、
符号化後の動画像信号が示す動画像を動画像形式情報が示す動画像形式の動画像として表示する際に利用する表示制御情報を、動画像形式情報に基づいて生成する表示制御情報生成部と、
動画像形式情報がプログレッシブ形式を示す場合、動画像信号における１枚のフレームをピクチャとして設定しかつ符号化順に並び替え、動画像形式情報がインターレース形式を示す場合、動画像信号における１枚のフィールドをピクチャとして設定しかつ符号化順に並び替えるピクチャ設定部と、
設定したピクチャに含まれる画素データを、動画像形式に依存しない共通の信号処理方式および共通のシンタックス構造を用いて符号化することで、第１符号列を出力するピクチャデータ符号化部と、
表示制御情報を符号化して拡張情報領域符号列を生成する拡張情報領域符号化部と、
第１符号列および拡張情報領域符号列を対応づけた第２符号列を出力する第２符号列生成部と、を備え、
表示制御情報は、符号化対象とするシーケンスに属する全てのピクチャの表示処理において共通して使用されるシーケンス単位表示制御情報と、符号化対象とするピクチャの表示処理において個別に使用されるピクチャ単位表示制御情報とから構成され、
拡張情報領域符号化部は、拡張情報領域符号列を、ピクチャ単位で生成する拡張情報領域に格納し、
さらに表示制御情報生成部は、符号化対象の動画像信号がインターレース形式である場合、符号化対象とするピクチャの表示処理において、少なくとも（１）インターレース形式の動画像信号に属するトップフィールドとして表示するか、（２）インターレース形式の動画像信号に属するボトムフィールドとして表示するかを指定する識別子を含むピクチャ単位表示制御情報を生成し、
ピクチャデータ符号化部は、表示順を指定する情報であるＰＯＣを、動画像形式に依存されることなく、１枚のピクチャに対して１つのＰＯＣを割り当てる。

なお、本発明は、このような動画像符号化装置として実現することができるだけでなく、このような動画像符号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。

本発明における動画像符号化装置は、プログレッシブ形式の動画像を入力とした場合も、インターレース形式の動画像を入力とした場合も、処理量を増加させることなく共通の制御でピクチャデータの符号化処理を行うことが可能となる。そのため、符号化装置の実装を容易に行うことができる。

一般に動画像復号化装置においては、符号化された符号列を復号化して復号化画像を生成する復号化処理と、生成された復号化画像を対応する表示装置に合わせて表示させる表示処理とを別の階層として制御される。例えば前者をハードウェアで構成し、後者をソフトウェアで構成するといった方法が取られる。これにより、例えばテレビとパソコンのように表示方法が異なる装置の開発において、復号化処理を行うハードウェアは共通のものを使用し、表示処理を行うソフトウェアのみを装置毎に作成することで開発工数を削減することが可能となる。

本発明では、符号化処理には不要な情報（表示制御情報等）のみを記述した拡張情報領域と、復号化処理に必要な情報を記述したそれ以外の領域とが完全に分離されている。これにより、上記のような用途において、復号化処理を行う階層と表示処理を行う階層とに、それぞれの階層で必要とされる符号列のみを送ることが容易となり、階層毎の独立性が高くなる。つまり、プログレッシブに対応した復号化装置もインターレースに対応した復号化装置も、復号化処理を行う階層（ハードウェア）を完全に共通のものを使用して装置を構成することが可能となる。

実施形態１に係る動画像符号化装置の構成を示すブロック図である。 実施形態１に係る符号化処理のフローチャートである。 実施形態１によるプログレッシブ形式の入力画像を符号化順に並び替える方法の一例を説明するための概念図である。 実施形態１によるインターレース形式の入力画像を符号化順に並び替える方法の一例を説明するための概念図である。 実施形態１によるインターレース形式の入力画像を符号化順に並び替える方法の別の一例を説明するための概念図である。 実施形態によって生成される符号列の構成を説明するための概念図である。 実施形態によって生成されるシーケンスヘッダのシンタックスの一例を説明するための概念図である。 実施形態によって生成される拡張情報のシンタックスの一例を説明するための概念図である。 実施形態２に係る動画像復号化装置の構成を示すブロック図である。 実施形態２に係る復号化処理のフローチャートである。 実施形態２によるプログレッシブ形式の復号化画像を表示順に並び替える方法の一例を説明するための概念図である。 実施形態２によるインターレース形式の復号化画像を表示順に並び替える方法の一例を説明するための概念図である。 実施形態２によるインターレース形式の復号化画像を表示順に並び替える方法の別の一例を説明するための概念図である。 実施形態３に係る動画像符号化装置の構成を示すブロック図である。 実施形態３に係る符号化処理のフローチャートである。 実施形態３によって生成される符号列の構成を説明するための概念図である。 実施形態３によって生成される拡張情報のシンタックスの一例を説明するための概念図である。 実施形態４に係る動画像復号化装置の構成を示すブロック図である。 実施形態４に係る復号化処理のフローチャートである。 従来のプログレッシブ形式の動画像の符号化方法を説明するための概念図である。 従来のインターレース形式の動画像の符号化方法を説明するための概念図である。

（本実施形態に至った経緯）
本発明が解決しようとする課題の欄において説明したように、現在標準化が行われているＨＥＶＣではプログレッシブ形式に対してのみの符号化方法が定義されており、インターレース形式のコンテンツを符号化することができない。

インターレース形式に対応するためには、図２１を用いて説明したようなＨ．２６４と同様の符号化制御を導入する方法が考えられる。

しかし、この方法を導入すると、符号化対象ピクチャがＰ＿Ｆｒｍ７のようにフレーム構造のものなのか、Ｐ＿ＦｌｄＴ１のようにトップフィールド構造のものなのか、Ｐ＿ＦｌｄＢ２のようにボトムフィールド構造のものなのかを区別して符号化および復号化処理を行わなくてはならない。

また、ＨＥＶＣでは過去に符号化したピクチャの符号化情報を参照して符号化対象のピクチャの符号化処理を行う。そのため、例えば符号化対象がＰ＿Ｆｒｍ７で符号化情報を参照するピクチャがＰ＿ＦｌｄＴ１とＰ＿ＦｌｄＢ２であった場合、フィールド構造の２枚のピクチャの符号化情報をフレーム構造の１枚のピクチャの符号化情報に加工して参照しなくてはならない。したがって、処理が非常に複雑になってしまう。

そこで、本実施形態の動画像符号化装置では、動画像形式情報がプログレッシブ形式を示す場合、動画像信号における１枚のフレームをピクチャとして設定し、動画像形式情報がインターレース形式を示す場合、動画像信号における１枚のフィールドをピクチャとして設定する。そして、設定したピクチャに含まれる画素データを、動画像形式に依存しない共通の信号処理方式および共通のシンタックス構造を用いて符号化する。

また、本実施形態の動画像復号化装置では、動画像形式に依存しない共通のシンタックス解析および共通の信号処理方式を用いて第１符号列を復号化し、ピクチャを取得する。そして、表示制御情報がプログレッシブ形式を示す場合、取得したピクチャを１枚のフレームと設定してフレームを表示順に１枚ずつ出力し、表示制御情報がインターレース形式を示す場合、取得したピクチャを１枚のフィールドと設定して対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力する。

以下、本実施形態の動画像符号化装置及び動画像復号化装置について詳しく説明する。

（実施の形態１）（符号化処理）
実施形態１について、図面を参照しながら説明する。

１．動画像符号化装置の構成
図１は、本実施形態に係る動画像符号化装置のブロック図である。

この動画像符号化装置１００は、ピクチャ設定部１０１と、動画像形式指定部１０２と、表示制御情報生成部１０３と、第２符号列生成部１０４と、ピクチャデータ符号化部１１０とを備えている。また、ピクチャデータ符号化部１１０は、ピクチャメモリ１１１と、予測残差符号化部１１２と、予測残差復号化部１１３と、ローカルバッファ１１４と、予測符号化部１１５と、量子化値決定部１１６と、第１符号列生成部１１７とを含む。

ピクチャ設定部１０１は、表示を行う順にピクチャ単位で入力される入力画像信号１５１を、動画像形式指定部１０２から入力される動画像形式信号１５２に従って、符号化を行う順にピクチャの並び替えを行ってピクチャデータ符号化部１１０に出力する。このとき、ピクチャの動画像形式がプログレッシブ形式であれば入力画像信号１５１の１枚のフレームを１枚のピクチャとして設定し、動画像形式がインターレース形式であれば入力画像信号１５１の１枚のフィールドを１枚のピクチャとして設定する。

ピクチャデータ符号化部１１０は、ピクチャ設定部１０１から入力された各ピクチャをブロックに分割し、ブロック単位で符号化処理を行ってピクチャデータの符号列を生成する。このとき、動画像形式がプログレッシブ形式であるかインターレース形式であるかに依存することなく、ピクチャ単位で共通の符号化処理が適用され、その結果生成されるピクチャデータの符号列も共通のシンタックスを持つ。

動画像形式指定部１０２は外部からの指定もしくは入力された画像信号の情報を基に、符号化対象の動画像がプログレッシブ形式であるかインターレース形式であるかを決定する。そして、動画像形式指定部１０２は、動画像形式信号１５２を表示制御情報生成部１０３およびピクチャ設定部１０１に出力する。

表示制御情報生成部１０３は、動画像形式指定部１０２から入力された動画像形式信号１５２に従って、表示制御情報信号１５３を生成し、第２符号列生成部１０４に出力する。

ここで、表示制御情報信号１５３は、当該動画像符号化装置１００に対応する動画像復号化装置において復号化画像を表示する際に使用する制御情報信号である。

第２符号列生成部１０４は、表示制御情報生成部１０３が出力する表示制御情報信号１５３と、シーケンス単位およびピクチャ単位の符号化制御に関する情報をヘッダ情報として符号化し、ピクチャ上位層符号列を生成する。さらに、第２符号列生成部１０４は、生成したピクチャ上位層符号列と、ピクチャデータ符号化部１１０が生成するピクチャデータの符号列とを対応づけ、最終的な出力である符号列信号１５４を生成する。

次に、ピクチャデータ符号化部１１０の処理について説明する。

ピクチャメモリ１１１は、ピクチャ設定部１０１から出力されたピクチャ単位の入力画像に対して、複数の画素から構成されるブロックへの分割を行う。ブロックは、符号化処理単位である。分割されたブロック単位で、差分演算部１１８、予測符号化部１１５、量子化値決定部１１６からの読出し命令に応じて対応する画像信号をそれぞれ出力する。このブロックは、例えば水平６４×垂直６４画素、水平３２×垂直３２画素、水平１６×垂直１６画素から成る。つまり、このブロックのサイズは、以降の処理が可能なサイズであればどのようなサイズでも構わない。

予測残差符号化部１１２は、差分演算部１１８から出力される差分画像信号１６１に対して直交変換を行う。さらに、予測残差符号化部１１２は、得られた各周波数成分の直交変換係数を量子化し、残差符号化信号１６２を生成する。そして、予測残差符号化部１１２は、生成した残差符号化信号１６２を、予測残差復号化部１１３および第１符号列生成部１１７に出力する。このとき予測残差符号化部１１２は、量子化値決定部１１６において決定された量子化値を用いて直交変換係数を量子化する。

予測残差復号化部１１３は、予測残差符号化部１１２から出力される残差符号化信号１６２に対して、逆量子化および逆直交変換を行うことで差分画像情報の復元を行う。そして、予測残差復号化部１１３は、生成した残差復号化信号１６３を加算演算部１１９に出力する。

ローカルバッファ１１４は、加算演算部１１９から出力される再構成画像信号１６４を格納する。この再構成画像信号１６４は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理において参照用の画素データとして使用される。ローカルバッファ１１４は、予測符号化部１１５からの読出し命令に応じて、格納している再構成画像信号１６４を画素データとして予測符号化部１１５へ出力する。

予測符号化部１１５は、ピクチャメモリ１１１から出力される画像信号を基に、画面内予測、または画面間予測を用いて予測画像信号１６５を生成する。そして、予測符号化部１１５は、生成した予測画像信号１６５を差分演算部１１８よび加算演算部１１９に出力する。なお、予測符号化部１１５は、画面間予測を用いる際は、ローカルバッファ１１４に蓄積される既に符号化済みの過去のピクチャの再構成画像信号１６４を用いる。また、画面内予測を用いる際は、符号化対象ブロックに隣接する既に符号化済みブロックの現在のピクチャの再構成画像信号１６４を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定は、どちらの予測方法がより残差信号の情報量（残差符号化信号１６２、符号列信号１５４等の情報量）を少なくできるかを推定して行われる。

量子化値決定部１１６は、ピクチャメモリ１１１に格納されるピクチャに基づいて、予測残差符号化部１１２で差分画像信号１６１を量子化する際の量子化値を決定する。なお、量子化値決定部１１６における量子化値の決定方法として、符号列信号１５４のビットレートが、目標とするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の決定方法を用いてもよい。

第１符号列生成部１１７は、予測残差符号化部１１２が出力する残差符号化信号１６２と、予測符号化部１１５が出力する予測情報信号１６６と、量子化値決定部１１６が出力する量子化値と、その他の符号化制御に関する情報を可変長符号化することでピクチャデータの符号列を生成する。

差分演算部１１８は、ピクチャメモリ１１１から読み出された画像信号と予測符号化部１１５から出力される予測画像信号１６５との差分値である差分画像信号１６１を生成する。そして、差分演算部１１８は、生成した差分画像信号１６１を予測残差符号化部１１２に出力する。

加算演算部１１９は、予測残差復号化部１１３から出力される残差復号化信号１６３と予測符号化部１１５から出力される予測画像信号１６５とを加算することにより再構成画像信号１６４を生成する。そして、加算演算部１１９は、生成した再構成画像信号１６４をローカルバッファ１１４に出力する。

２．表示制御情報の生成方法
動画像形式指定部１０２から動画像形式信号１５２を受けて、表示制御情報生成部１０３で表示制御情報信号１５３を生成して第２符号列生成部１０４において符号列に記述する方法、および、ピクチャ設定部１０１において入力画像を符号化順に並び替える方法について、図２の符号化処理全体のフローチャートを用いて具体的に説明する。

まず、第２符号列生成部１０４はシーケンス単位でのヘッダ領域の符号列生成を行う（Ｓ５０１）。具体的には、第２符号列生成部１０４は、表示制御情報生成部１０３によって生成されたシーケンス単位の表示制御情報を、符号列におけるシーケンス単位でのヘッダ領域に記述する。なお、表示制御情報生成部１０３は、動画像形式指定部１０２によって指定された動画像形式に応じて、シーケンス単位の表示制御情報を生成する。

次に、第２符号列生成部１０４はピクチャ単位でのヘッダ領域の符号列生成を行う（Ｓ５０２）。具体的には、第２符号列生成部１０４は、表示制御情報生成部１０３によって生成されたピクチャ単位の表示制御情報を、符号列におけるピクチャ単位での拡張情報領域に記述する。なお、表示制御情報生成部１０３は、動画像形式指定部１０２によって指定された動画像形式に応じてピクチャ単位の表示制御情報を生成する。

次に、ピクチャ設定部１０１は、表示順で入力される入力画像を符号化順に並び替え、符号化対象とするピクチャを選択する（Ｓ５０３）。具体的には、ピクチャ設定部１０１は、動画像形式指定部１０２によって指定された動画像形式に応じて入力画像の並び替えを行う。

次に、ピクチャデータ符号化部１１０は、図１を用いて説明した一連の符号化処理を行い、ピクチャデータの符号列を生成する（Ｓ５０４）。なお、ステップＳ５０４では、動画像形式がプログレッシブ形式であってもインターレース形式であっても全く区別することなく共通の符号化処理が適用される。

次に、現在処理中の符号化対象ピクチャの処理が完了すると、ステップＳ５０２に戻って次のピクチャの符号化処理に移り、シーケンス内の全てのピクチャの符号化処理が完了するまでステップＳ５０２からステップＳ５０４の処理を繰り返す（Ｓ５０５）。

３．ピクチャの並び替え
ステップＳ５０３におけるピクチャの並び替え処理について、図３、図４、図５を用いて詳しく説明する。

動画像形式がプログレッシブ形式であった場合のピクチャの並び替え方法の一例として図３に示すような方法がある。この並び替え方法は図２０を用いて説明した従来のプログレッシブ形式の処理と全く同様である。入力された１枚のフレームは１枚のピクチャとして並び替えて符号化される。画面間予測では符号化順で先に符号化が完了しているピクチャのみを参照することができる。つまり、図３のような並び替えを行なった場合、Ｐ＿１はＩ＿０のみが参照可能となり、Ｂ＿２はＩ＿０とＰ＿１が参照可能となる。これを表示順に置き換えて考えると、Ｐ＿１はＦｒｍ３に相当するので前方向にあるＦｒｍ０のみを参照可能となり、Ｂ＿２はＦｒｍ１に相当するので前方向にあるＦｒｍ０と後方向にあるＦｒｍ３とが参照可能となる。このようにピクチャの符号化順の並び替えを行うことにより、画面間予測における参照ピクチャの参照方法を制御することが可能となり、より効果的な予測を行うことができる。なお、Ｉ＿０は他のピクチャを参照することなく画面内予測のみを行うピクチャである。

一方、動画像形式がインターレース形式であった場合のピクチャの並び替え方法の一例として図４および図５に示すような方法がある。これは図２１を用いて説明した従来のインターレース形式の処理とは異なり、入力された１枚のフィールドを常に１枚のピクチャとして並び替えて符号化する。また、表示順を指定する情報であるＰＯＣも常に１枚のピクチャに対して１つずつ割り当てられる。並び替えた各ピクチャはトップフィールドであるかボトムフィールドであるかを区別することなく、プログレッシブ形式を入力とした場合と全く同じ方法でピクチャ毎に符号化処理が行われる。

なお、図４の例では、１つのフレームに属するトップフィールドとボトムフィールドが常にペアになって並び替えが行われる。例えばＦｌｄＴ６とＦｌｄＢ７はＰ＿２とＰ＿３として並び替えられ、符号化順が常に連続するようになっている。他のピクチャに関しても全て同様である。このような並び替えを行うことにより、入力されたトップフィールドとボトムフィールドとを連続して符号化処理に回すことが可能となり、ピクチャ設定部１０１におけるメモリ管理処理を単純化することができる。

それに対して、図５では、トップフィールドとボトムフィールドがどのフレームに属するかとは無関係に並び替えが行われる。符号化構造だけを見ると図３で説明したプログレッシブ形式の場合と全く同様の構造となっているが、例えばＦｌｄＴ６とＦｌｄＢ７はＰ＿４とＢ＿８として並び替えられ、符号化順が４ピクチャ分、離れてしまっている。他のピクチャに関しても同様に１ピクチャから４ピクチャ分離れた符号化順となる。このような並び替えを行うことにより、プログレッシブ形式とインターレース形式とで全く同様の符号化順で処理を行うことが可能となる。しかし、入力されたトップフィールドとボトムフィールドとを最大４ピクチャ分ずらして符号化処理に回すことが必要であり、ピクチャ設定部１０１におけるメモリ管理処理が複雑になる。

４．符号列構成およびシンタックス
次に、本実施の形態によって生成される符号列の構成を図６を用いて説明する。

第２符号列生成部１０４が出力する符号列信号１５４が示す符号列は、シーケンス単位の符号化制御情報を記述したシーケンスヘッダ領域、ピクチャ単位の符号化制御情報を記述したピクチャヘッダ領域、ピクチャ単位の補助情報を記述した拡張情報領域、およびピクチャデータで構成される。このとき、図２のステップＳ５０１で説明したシーケンス単位の表示制御情報は、シーケンスヘッダ領域に記述される。さらに、図２のステップＳ５０２で説明したピクチャ単位の表示制御情報は、拡張情報領域に記述される。なお、表示制御情報以外の各情報は、動画像形式がプログレッシブ形式であってもインターレース形式であっても全く区別することなく共通のシンタックスで符号列に記述される。

ここで、シーケンス単位の表示制御情報が記述されるシーケンスヘッダ領域のシンタックスについて図７を用いて詳しく説明する。なお、図７では本実施形態に関連するシンタックス以外は省略して記載している。

シーケンスヘッダは、ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｄａｔａ（）にあるシンタックス構成で符号化される。シーケンス単位の表示制御情報としては、ｉｎｔｅｒｌａｃｅ＿ｆｌａｇ、ｃｏｎｔｉｎｕａｌ＿ｆｌａｇ、ｍａｘ＿ｄｉｓｔａｎｃｅ＿ｎｕｍの３つのパラメータがある。これらのパラメータは、シーケンスヘッダ内にある映像情報を集めたｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）の領域に記述される。

ｉｎｔｅｒｌａｃｅ＿ｆｌａｇは、対象シーケンスの動画像形式がプログレッシブ形式であるかインターレース形式であるかを指定する。具体的にｉｎｔｅｒｌａｃｅ＿ｆｌａｇは、対象シーケンスの動画像形式がプログレッシブ形式であれば０の値を、インターレース形式であれば１の値を持つ。なお、上記の構成に限定されるものではなく、ｉｎｔｅｒｌａｃｅ＿ｆｌａｇは、プログレッシブ形式であれば１の値を、インターレース形式であれば０の値を持ってもよい。

ｃｏｎｔｉｎｕａｌ＿ｆｌａｇは、対象シーケンスの動画像形式がインターレース形式であった場合、同じフレームに属するトップフィールドとボトムフィールドとが符号化順で常に連続した位置関係にあるかどうかを指定する。具体的に、ｃｏｎｔｉｎｕａｌ＿ｆｌａｇは、同じフレームに属するトップフィールドとボトムフィールドとが符号化順で常に連続した位置関係になければ０の値を、常に連続した位置関係にあれば１の値を持つ。つまり、ｃｏｎｔｉｎｕａｌ＿ｆｌａｇは、図４で説明したような並び替えを行う場合は１の値、図５で説明したような並び替えを行う場合は０の値となる。このパラメータを用いることにより、対応する復号化装置において、常に連続する２枚のピクチャをペアとして復号化および表示制御を行うことが可能であるかどうかが分かる。これにより、復号化可否判断を容易に行うことが可能となる。なお、上記の構成に限定されるものではなく、ｃｏｎｔｉｎｕａｌ＿ｆｌａｇは、同じフレームに属するトップフィールドとボトムフィールドとが符号化順で常に連続した位置関係になければ１の値を、常に連続した位置関係にあれば０の値を持ってもよい。

ｍａｘ＿ｄｉｓｔａｎｃｅ＿ｎｕｍは、ｃｏｎｔｉｎｕａｌ＿ｆｌａｇが０の値であった場合、同じフレームに属するトップフィールドとボトムフィールドとが符号化順で離れている最大のピクチャ枚数を指定する。例えば、図５で説明したような並び替えを行う場合は、Ｐ＿４とＢ＿８とが最も離れている組み合わせであり前記最大枚数は４となる。このパラメータを用いることにより、本動画像符号化装置１００と対応する復号化装置において、同じフレームに属するトップフィールドとボトムフィールドとが揃うまでに待つ必要のあるピクチャ枚数を特定することが可能となる。これにより、復号化可否判断および必要なピクチャメモリ容量の特定を容易に行うことが可能となる。

なお、ここで説明したパラメータ名およびパラメータ値は一例であり、これ以外のパラメータ名およびパラメータ値を用いて同様の機能を実現してもよい。また、ここで説明した全てのパラメータを使用せずに１部のパラメータのみを使用してもよい。また、ここではｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）の領域に上記各パラメータを記述する例を説明したが、シーケンス単位の制御情報が記述できる領域であればこれ以外の領域に記述してもよい。

次に、ピクチャ単位の表示制御情報が記述される拡張情報領域のシンタックスについて図８を用いて詳しく説明する。なお、図８では本実施形態に関連するシンタックス以外は省略して記載している。

拡張情報領域は、複数のＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれるパラメータ群から構成されている。図８のｐｉｃ＿ｔｉｍｉｎｇ＿ＳＥＩ（）は、前記ＳＥＩの１つであり、符号化対象ピクチャの復号化タイミングおよび表示タイミングを指定する役割を持っている。ピクチャ単位の表示制御情報としては、ｐｉｃ＿ｓｔｒｕｃｔ、ｆｉｅｌｄ＿ｐａｉｒ＿ＰＯＣの２つのパラメータがある。これらのパラメータは、ｐｉｃ＿ｔｉｍｉｎｇ＿ＳＥＩ（）の領域に記述される。

ｐｉｃ＿ｓｔｒｕｃｔは、符号化対象ピクチャの表示方式を指定するパラメータである。プログレッシブ形式におけるフレームとして表示する場合は０の値を、インターレース形式のトップフィールドとして表示する場合は１の値を、インターレース形式のボトムフィールドとして表示する場合は２の値を、それ以外の方式で表示する場合はそれに応じた値を持つ。なお、上記の構成に限定されるものではなく、例えば、ｐｉｃ＿ｓｔｒｕｃｔは、プログレッシブ形式におけるフレームとして表示する場合は１の値を、インターレース形式のトップフィールドとして表示する場合は０の値を、インターレース形式のボトムフィールドとして表示する場合は２の値を、それ以外の方式で表示する場合はそれに応じた値を持ってもよい。つまり、ｐｉｃ＿ｓｔｒｕｃｔは、少なくとも、プログレッシブ形式におけるフレームとして表示する場合、インターレース形式のトップフィールドとして表示する場合、インターレース形式のボトムフィールドとして表示する場合を識別できる情報であればどのような値でも構わない。

ｆｉｅｌｄ＿ｐａｉｒ＿ＰＯＣは、ｐｉｃ＿ｓｔｒｕｃｔによって符号化対象ピクチャがインターレース形式のトップフィールドもしくはボトムフィールドとして表示することが指定された場合、同じフレームに属する対となるフィールドのＰＯＣを示す情報である。例えば、図４において、符号化対象ピクチャがＰ＿２であった場合、対となるピクチャはＰ＿３なので、ｆｉｅｌｄ＿ｐａｉｒ＿ＰＯＣは７となる。また同様に、図５において、符号化対象ピクチャがＢ＿８であった場合、対となるピクチャはＰ＿４なので、ｆｉｅｌｄ＿ｐａｉｒ＿ＰＯＣは６となる。このパラメータを用いることにより、対応する復号化装置において、同じフレームに属するトップフィールドとボトムフィールドとがどのピクチャであるかを判定することが可能となり、インターレース形式に対応した表示制御を行うことが可能となる。

なお、ｆｉｅｌｄ＿ｐａｉｒ＿ＰＯＣは、ＰＯＣ値をそのまま指定する代わりに、ＰＯＣの差分値で指定してもよい。例えば、図４において、符号化対象ピクチャがＰ＿２であった場合、対となるピクチャはＰ＿３なので、ｆｉｅｌｄ＿ｐａｉｒ＿ＰＯＣは７−６＝１となる。また同様に、図５において、符号化対象ピクチャがＢ＿８であった場合、対となるピクチャはＰ＿４なので、ｆｉｅｌｄ＿ｐａｉｒ＿ＰＯＣは６−７＝−１となる。このように差分値を用いることにより、より少ない符号量で対となるピクチャを指定することが可能となる。

なお、図７で説明したｃｏｎｔｉｎｕａｌ＿ｆｌａｇが１の値であった場合は、同じフレームに属するトップフィールドとボトムフィールドとが符号化順で常に連続した位置関係にあることが保証される。したがって、対となるピクチャを容易に特定することができるため、ｆｉｅｌｄ＿ｐａｉｒ＿ＰＯＣを記述しなくてもよい。

なお、ピクチャ単位の表示制御情報である、ｐｉｃ＿ｓｔｒｕｃｔ、ｆｉｅｌｄ＿ｐａｉｒ＿ＰＯＣは、対象シーケンスの動画像形式がインターレース形式であった場合のみ記述してもよい。その場合、ｐｉｃ＿ｓｔｒｕｃｔは、符号化対象ピクチャをトップフィールドとして表示する場合とボトムフィールドとして表示する場合を識別できる情報であればよい。

なお、ここで説明したパラメータ名およびパラメータ値は一例であり、これ以外のパラメータ名およびパラメータ値を用いて同様の機能を実現してもよい。また、ここで説明した全てのパラメータを使用せずに１部のパラメータのみを使用してもよい。また、ここではｐｉｃ＿ｔｉｍｉｎｇ＿ＳＥＩ（）の領域に上記各パラメータを記述する例を説明したが、ピクチャ単位の制御情報が記述できる領域であればこれ以外の領域に記述してもよい。

５．まとめ
５−１．構成
本実施形態の動画像符号化装置１００は、入力される動画像信号をピクチャ単位で符号化する。動画像符号化装置１００は、
動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報を取得する動画像形式指定部１０２（動画像形式情報取得部）と、
符号化後の動画像信号が示す動画像を動画像形式情報が示す動画像形式の動画像として表示する際に利用する表示制御情報を、動画像形式情報に基づいて生成する表示制御情報生成部１０３と、
動画像形式情報がプログレッシブ形式を示す場合、動画像信号における１枚のフレームをピクチャとして設定しかつ符号化順に並び替え、動画像形式情報がインターレース形式を示す場合、動画像信号における１枚のフィールドをピクチャとして設定しかつ符号化順に並び替えるピクチャ設定部１０１と、
設定したピクチャに含まれる画素データを符号化処理単位であるブロック毎に、動画像形式に依存しない共通の信号処理方式および共通のシンタックス構造を用いて符号化することでブロック層符号列を生成し、さらに画素データを符号化する際にスライス単位で適用した符号化制御情報を、動画像形式に依存しない共通の信号処理方式および共通のシンタックス構造を用いて符号化することでスライス層符号列を生成し、ブロック層符号列とスライス層符号列を対応づけた第１符号列を出力するピクチャデータ符号化部１１０と、
画素データを符号化する際にピクチャ単位で適用した符号化制御情報、シーケンス単位で適用した符号化制御情報および表示制御情報を符号化してピクチャ上位層符号列を生成する第２符号列生成部１０４（ピクチャ上位層符号化部）と、
第１符号列およびピクチャ上位層符号列を対応づけた第２符号列を出力する第２符号列生成部１０４と、を備える。

また好ましくは、表示制御情報生成部１０３は、符号化対象とするシーケンスに属する全てのピクチャの表示処理において共通して使用されるシーケンス単位表示制御情報と、符号化対象とするピクチャの表示処理において個別に使用されるピクチャ単位表示制御情報とから構成される表示制御情報を生成する。

また好ましくは、第２符号列生成部１０４（ピクチャ上位層符号化部）は、ピクチャ上位層符号列のうちシーケンス単位で生成するシーケンスヘッダに含まれる映像情報領域に対して、シーケンス単位表示制御情報を格納する。

また好ましくは、第２符号列生成部１０４（ピクチャ上位層符号化部）は、ピクチャ上位層符号列のうち同じシーケンスに属する各ピクチャの各拡張情報領域に対して、全て同じ値のシーケンス単位表示制御情報を格納する。

また好ましくは、第２符号列生成部１０４（ピクチャ上位層符号化部）は、ピクチャ上位層符号列のうちピクチャ単位で生成する拡張情報領域に対して、ピクチャ単位表示制御情報を格納する。

また好ましくは、表示制御情報生成部１０３は、符号化対象の動画像信号がプログレッシブ形式であるかインターレース形式であるかを識別する第１の識別子を含むシーケンス単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、符号化対象の動画像信号がインターレース形式である場合、同じフレームに属する２つのフィールドが当該シーケンスにおいて常に符号化順で互いに連続しているか否かを識別する第２の識別子を含むシーケンス単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、符号化対象の動画像信号がインターレース形式である場合、同じフレームに属する１つ目のフィールドと２つ目のフィールドの符号化順における間隔の当該シーケンスにおける最大値を示す情報を含むシーケンス単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、符号化対象とするピクチャの表示処理において、（１）プログレッシブ形式の動画像信号に属する１つのフレームとして表示するか、（２）インターレース形式の動画像信号に属するトップフィールドとして表示するか、（３）インターレース形式の動画像信号に属するボトムフィールドとして表示するか、（４）その他の方式で表示するかを指定する第３の識別子を含むピクチャ単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、符号化対象の動画像信号がインターレース形式である場合にのみ、符号化対象とするピクチャの表示処理において、（１）インターレース形式の動画像信号に属するトップフィールドとして表示するか、（２）インターレース形式の動画像信号に属するボトムフィールドとして表示するかを指定する第３の識別子を含むピクチャ単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、符号化対象ピクチャを復号化して表示する際に、インターレース形式の動画像信号に属するトップフィールドもしくはボトムフィールドとして表示する場合、符号化対象ピクチャと同じフレームに属する対となるピクチャを指定する指定情報を含むピクチャ単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、指定情報として、符号化対象ピクチャと同じフレームに属する対となるピクチャに割り当てられている表示順情報を記述する。

また好ましくは、表示制御情報生成部１０３は、指定情報として、符号化対象ピクチャに割り当てられている表示順情報と、符号化対象ピクチャと同じフレームに属する対となるピクチャに割り当てられている表示順情報との差分値を記述する。

本実施形態の動画像符号化方法は、入力される動画像信号をピクチャ単位で符号化する。この動画像符号化方法は、
動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報を取得し、
符号化後の動画像信号を動画像形式情報が示す動画像形式の動画像信号として表示する際に利用する表示制御情報を、動画像形式情報に基づいて生成し、
動画像形式情報がプログレッシブ形式を示す場合、動画像信号における１枚のフレームをピクチャとして符号化順に並び替えて設定し、一方動画像形式情報がインターレース形式を示す場合、動画像信号における１枚のフィールドをピクチャとして符号化順に並び替えて設定し、
設定したピクチャに含まれる画素データを符号化処理単位であるブロック毎に、動画像形式に依存しない共通の信号処理方式および共通のシンタックス構造を用いて符号化することでブロック層符号列を生成し、さらに画素データを符号化する際にスライス単位で適用した符号化制御情報を、動画像形式に依存しない共通の信号処理方式および共通のシンタックス構造を用いて符号化することでスライス層符号列を生成し、ブロック層符号列とスライス層符号列を対応づけた第１符号列を出力し、
画素データを符号化する際にピクチャ単位で適用した符号化制御情報、シーケンス単位で適用した符号化制御情報および表示制御情報を符号化してピクチャ上位層符号列を生成し、
第１符号列およびピクチャ上位層符号列を対応づけた第２符号列を出力する。

５−２．効果等
本実施の形態による動画像符号化装置１００を用いることにより、プログレッシブ形式の動画像を入力とした場合も、インターレース形式の動画像を入力とした場合も、処理量を増加させることなく共通の制御でピクチャデータの符号化処理を行うことが可能となり、符号化装置の実装を容易に行うことができる。

（実施の形態２）（復号化処理）
実施形態２について、図面を参照しながら説明する。

１．動画像復号化装置の構成
図９は、本実施形態に係る動画像復号化装置のブロック図である。

この動画像復号化装置２００は、第２符号列解析部２０１と、表示制御情報解析部２０２と、ピクチャデータ復号化部２１０と、出力ピクチャ設定部２０３を備えている。また、ピクチャデータ復号化部２１０は、第１符号列解析部２１１と、予測残差復号化部２１２と、ピクチャメモリ２１３と、予測復号化部２１４と、量子化値決定部２１５とを含む。

第２符号列解析部２０１は、入力された符号列信号２５１に含まれるヘッダ情報の符号列から、表示制御情報および、シーケンス単位およびピクチャ単位の復号化制御に関する情報を抽出する。そして、第２符号列解析部２０１は、抽出した情報を表示制御情報信号２５２として表示制御情報解析部２０２へ出力する。

ピクチャデータ復号化部２１０は、入力された符号列信号２５１に含まれるピクチャデータの符号列に対して、ブロック単位で復号化処理を行って対象ピクチャの復号化画像を生成する。このとき、動画像形式がプログレッシブ形式であるかインターレース形式であるかに依存することなく、ピクチャとして共通の復号化処理が適用され、また復号化の対象となるピクチャデータの符号列も共通のシンタックスを持つ。

表示制御情報解析部２０２は、第２符号列解析部２０１から出力される表示制御情報信号２５２を解析して、復号化対象の動画像がプログレッシブ形式であるかインターレース形式であるかを決定する。そして、表示制御情報解析部２０２は、決定結果に基づく表示制御信号２５３を出力ピクチャ設定部２０３に出力する。

出力ピクチャ設定部２０３は、表示制御情報解析部２０２から出力された表示制御信号２５３に従って、ピクチャデータ復号化部２１０が生成した復号化済みのピクチャを、出力を行う順に並び替える。そして、出力ピクチャ設定部２０３は、並び替えた後のピクチャを出力画像信号２５４として外部に出力する。出力画像信号２５４はプログレッシブ形式とインターレース形式との双方があり、プログレッシブ形式の場合は１枚のピクチャを１枚のフレームとして、インターレース形式の場合は１枚のピクチャを１枚のフィールドとして表示制御が行われる。

次に、ピクチャデータ復号化部２１０の処理について説明する。

第１符号列解析部２１１は、入力された符号列信号２５１のピクチャデータの符号列に対して可変長復号化を施すことにより復号化制御情報の解析およびブロック単位のピクチャデータの解析を行う。第１符号列解析部２１１は、解析して得られる残差符号化信号２６１を予測残差復号化部２１２へ出力する。さらに、第１符号列解析部２１１は、解析して得られる予測情報信号２６５を予測復号化部２１４へ出力する。さらに、第１符号列解析部２１１は、解析して得られる量子化値情報を量子化値決定部２１５へ出力する。

予測残差復号化部２１２は、第１符号列解析部２１１から出力される残差符号化信号２６１に対して、逆量子化および逆直交変換を行うことで残差復号化信号２６２を生成し、加算演算部２１６に出力する。このとき予測残差復号化部２１２は、量子化値決定部２１５において決定された量子化値を用いて残差符号化信号２６１を逆量子化する。

ピクチャメモリ２１３は、加算演算部２１６から出力される再構成画像信号２６３を格納する。この再構成画像信号２６３は、現在復号化対象となっているピクチャ以降のピクチャの復号化における予測符号化処理において参照用の画素データとして使用される。ピクチャメモリ２１３は、予測復号化部２１４からの読出し命令に応じて、格納している再構成画像信号２６３を画素データとして予測復号化部２１４へ出力する。また同時に、この再構成画像信号２６３は最終的な出力画像として出力ピクチャ設定部２０３へも出力される。

予測復号化部２１４は、第１符号列解析部２１１から出力される予測情報信号２６５を基に、画面内予測、または画面間予測を用いて予測画像信号２６４を生成し、加算演算部２１６に出力する。なお、予測復号化部２１４は、画面間予測を用いる際は、ピクチャメモリ２１３に蓄積される既に復号化済みの過去のピクチャの再構成画像信号２６３を用いる。また、画面内予測を用いる際は、復号化対象ブロックに隣接する既に復号化済みのブロックの現在のピクチャの再構成画像信号２６３を用いる。画面内予測を用いるか画面間予測を用いるかの判定は、入力される予測情報信号２６５に従って行われる。

加算演算部２１６は、予測残差復号化部２１２から出力される残差復号化信号２６２と予測復号化部２１４から出力される予測画像信号２６４を加算することによって再構成画像信号２６３を生成し、ピクチャメモリ２１３に出力する。

２．表示制御方法
表示制御情報解析部２０２で表示制御情報を解析し、出力ピクチャ設定部２０３において復号化済みのピクチャを出力順に並び替えて出力画像とする方法について、図１０の復号化処理全体のフローチャートを用いて具体的に説明する。

まず、第２符号列解析部２０１はシーケンス単位のヘッダ領域の符号列解析を行う（Ｓ１４０１）。このとき、表示制御情報解析部２０２はシーケンス単位の表示制御情報を取得する。

次に、第２符号列解析部２０１はピクチャ単位のヘッダ領域の符号列解析を行う（Ｓ１４０２）。このとき、表示制御情報解析部２０２はピクチャ単位の表示制御情報を取得する。

次に、ピクチャデータ復号化部２１０は、図９を用いて説明した一連の復号化処理を行い対象ピクチャの復号化画像を生成する（Ｓ１４０３）。なお、ステップＳ１４０３では、動画像形式がプログレッシブ形式であってもインターレース形式であっても全く区別することなく共通の復号化処理が行われる。

次に、出力ピクチャ設定部２０３は、復号化順に蓄積されている復号化画像を表示順に並び替え、表示対象とするピクチャを選択する処理を行う（Ｓ１４０４）。このとき、出力ピクチャ設定部２０３は、表示制御情報解析部２０２によって解析された表示制御方法に従ってピクチャの並び替えを行う。

次に、現在処理中の復号化対象ピクチャの処理が完了すると、ステップＳ１４０２に戻って次のピクチャの復号化処理に移り、シーケンス内の全てのピクチャの復号化処理が完了するまでステップＳ１４０２からステップＳ１４０４の処理を繰り返す（Ｓ１４０５）。

３．ピクチャの並び替え
ステップＳ１４０４におけるピクチャの並び替え処理について、図１１、図１２、図１３を用いて詳しく説明する。

動画像形式がプログレッシブ形式であった場合のピクチャの並び替え方法の一例として図１１に示すような方法がある。この並び替えは、図３を用いて説明した符号化装置におけるプログレッシブ形式の並び替え処理を逆にしたものであり、復号化された１枚のピクチャを１枚のフレームとして並び替えて表示する。

一方、動画像形式がインターレース形式であった場合のピクチャの並び替え方法の一例として図１２および図１３に示すような方法がある。この並び替えは図４および図５を用いて説明した符号化装置におけるインターレース形式の並び替え処理を逆にしたものであり、復号化された１枚のピクチャは常に１枚のフィールドとして並び替えて表示される。

なお、図１２では、１つのフレームに属するトップフィールドとボトムフィールドが常にペアで並び替えが行われている。例えばＰ＿２とＰ＿３はＦｌｄＴ６とＦｌｄＢ７として並び替えられ、表示順が常に連続するようになっている。他のピクチャに関しても全て同様である。このような並び替えを行うことにより、復号化されたトップフィールドとボトムフィールドとを連続して表示処理に回すことが可能となり、出力ピクチャ設定部２０３におけるメモリ管理処理を単純化することができる。

それに対して、図１３では、トップフィールドとボトムフィールドがどのフレームに属するかとは無関係に並び替えが行われている。符号化構造だけを見ると図１１で説明したプログレッシブ形式の場合と全く同様の構造となっているが、例えばＰ＿４とＢ＿８はＦｌｄＴ６とＦｌｄＢ７として並び替えられ、復号化順が４ピクチャ分離れてしまっている２枚のフィールドをペアとなるように並び替えなくてはならない。他のピクチャに関しても同様に復号化順で１ピクチャから４ピクチャ分、離れた２枚のフィールドをペアとなるように並び替えられている。このような並び替えを行うことにより、プログレッシブ形式とインターレース形式とで全く同様の復号化順で処理が可能となる。しかし、復号化されたトップフィールドとボトムフィールドとを最大４ピクチャ分ずらして両方が揃ってから表示処理に回すことが必要であり、出力ピクチャ設定部２０３におけるメモリ管理処理が複雑になる。

なお、ピクチャメモリ２１３は、メモリ容量を制限するために、蓄積されているピクチャの中から不要となったピクチャをメモリから削除することで、次に蓄積するピクチャのための領域を確保する処理が行われる。このとき、（１）予測符号化処理において参照用の画素データとして使用されることが無くなったピクチャである、（２）既に表示処理に回されたピクチャである、の２つの条件を満たしたピクチャが削除可能となる。つまり、動画像形式がインターレース形式であった場合は、１つのフレームに属するトップフィールドとボトムフィールドとの両方のピクチャの復号化処理が完了して、両方のピクチャの表示処理が完了した後に、ピクチャメモリ２１３から削除可能となる。

４．符号列構成およびシンタックス
本実施の形態で復号化対象とする符号列の構成およびシンタックスは、実施の形態１で図６から図８を用いて説明したものと全く同様であるので、ここでは説明を省略する。

５．まとめ
５−１．構成
本実施形態の動画像復号化装置２００は、インターレース形式またはプログレッシブ形式の動画像形式を有する動画像信号をピクチャ単位で符号化して得られる符号列を、ピクチャ単位で復号化する。この動画像復号化装置２００は、
符号列を解析し、ピクチャ上位層符号列および第１符号列を取得する第２符号列解析部２０１と、
ピクチャ上位層符号列から、動画像信号を符号化する際に利用した符号化制御情報および復号化したピクチャを表示する際に利用する表示制御情報を取得する第２符号列解析部２０１（ピクチャ上位層復号化部）と、
動画像形式に依存しない共通のシンタックス解析および共通の信号処理方式および、符号化制御情報のうち動画像形式に関係なく符号化時に共通して利用された情報を用い、第１符号列を復号化処理単位であるブロック毎に復号化し、ピクチャを取得するピクチャデータ復号化部２１０と、
表示制御情報がプログレッシブ形式を示す場合、取得したピクチャを１枚のフレームと設定しフレームを表示順に１枚ずつ出力し、一方表示制御情報がインターレース形式を示す場合、取得したピクチャを１枚のフィールドと設定し、対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力する出力ピクチャ設定部２０３と、を備える。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、復号化対象とするシーケンスに属する全てのピクチャの表示処理において共通して使用されるシーケンス単位表示制御情報と、復号化対象とするピクチャの表示処理において個別に使用されるピクチャ単位表示制御情報とから構成される。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、ピクチャ上位層符号列のうちシーケンス単位で解析されるシーケンスヘッダに含まれる映像情報領域からシーケンス単位表示制御情報を取得する。

また好ましくは、同じシーケンスに属する各ピクチャ単位の各拡張情報領域には、全て同じ値のシーケンス単位表示制御情報が格納されている。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、ピクチャ上位層符号列のうちピクチャ単位で解析される拡張情報領域から、ピクチャ単位表示制御情報を取得する。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、復号化対象の動画像信号がプログレッシブ形式であるかインターレース形式であるかを識別する第１の識別子を含むシーケンス単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、取得した第１の識別子に基づいて、ピクチャの出力方法を変更する。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、復号化対象の動画像信号がインターレース形式である場合、同じフレームに属する２つのフィールドが当該シーケンスにおいて常に復号化順で互いに連続しているか否かを識別する第２の識別子を含むシーケンス単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、取得した第２の識別子に基づいて、ピクチャの出力方法を変更する。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、復号化対象の動画像信号がインターレース形式である場合、同じフレームに属する１つ目のフィールドと２つ目のフィールドの復号化順における間隔の当該シーケンスにおける最大値を示す情報を含むシーケンス単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、取得した最大値を示す情報に基づいて、ピクチャの出力方法を変更する。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、復号化対象とするピクチャの表示処理において、（１）プログレッシブ形式の動画像信号に属する１つのフレームとして表示するか、（２）インターレース形式の動画像信号に属するトップフィールドとして表示するか、（３）インターレース形式の動画像信号に属するボトムフィールドとして表示するか、（４）その他の方式で表示するかを指定する第３の識別子を含むピクチャ単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、取得した第３の識別子に基づいて、ピクチャの出力方法を変更する。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、復号化対象の動画像信号がインターレース形式である場合にのみ、復号化対象とするピクチャの表示処理において、（１）インターレース形式の動画像信号に属するトップフィールドとして表示するか、（２）インターレース形式の動画像信号に属するボトムフィールドとして表示するかを指定する第３の識別子を含むピクチャ単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、取得した第３の識別子に基づいて、ピクチャの出力方法を変更する。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、復号化対象ピクチャを表示する際に、インターレース形式の動画像信号に属するトップフィールドもしくはボトムフィールドとして表示する場合、復号化対象ピクチャと同じフレームに属する対となるピクチャを指定する指定情報を含むピクチャ単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、復号化対象ピクチャを出力する際に、指定情報が指定するピクチャと対となるように出力する。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、指定情報として、復号化対象ピクチャと同じフレームに属する対となるピクチャに割り当てられている表示順情報を取得する。

また好ましくは、第２符号列解析部２０１（ピクチャ上位層復号化部）は、指定情報として、復号化対象ピクチャに割り当てられている表示順情報と、復号化対象ピクチャと同じフレームに属する対となるピクチャに割り当てられている表示順情報との差分値を取得する。

本実施形態の動画像復号化方法は、インターレース形式またはプログレッシブ形式の動画像形式を有する動画像信号をピクチャ単位で符号化して得られる符号列を、ピクチャ単位で復号化する。この動画像復号化方法は、
符号列を解析し、ピクチャ上位層符号列および第１符号列を取得し、
ピクチャ上位層符号列から、動画像信号を符号化する際に利用した符号化制御情報および復号化したピクチャを表示する際に利用する表示制御情報を取得し、
動画像形式に依存しない共通のシンタックス解析および共通の信号処理方式および、符号化制御情報のうち動画像形式に関係なく符号化時に共通して利用された情報を用い、第１符号列を復号化処理単位であるブロック毎に復号化し、ピクチャを取得し、
表示制御情報がプログレッシブ形式を示す場合、取得したピクチャを１枚のフレームと設定しフレームを表示順に１枚ずつ出力し、一方表示制御情報がインターレース形式を示す場合、取得したピクチャを１枚のフィールドと設定し、対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力する。

５−２．効果等
本実施の形態による動画像復号化装置２００を用いることにより、プログレッシブ形式の動画像を符号化した符号列に対しても、インターレース形式の動画像を符号化した符号列に対しても、処理量を増加させることなく共通の制御でのピクチャデータの復号化処理および表示制御を行うことが可能となる。これにより、復号化装置の実装を容易に行うことができる。

（実施の形態３）（符号化処理の他の例）
実施形態３について、図面を参照しながら説明する。

１．動画像符号化装置の構成
図１４は、本実施形態に係る動画像符号化装置のブロック図である。

この動画像符号化装置１００−１は、実施形態１の動画像符号化装置１００のピクチャデータ符号化部１１０、第２符号列生成部１０４の代わりに、ピクチャデータ符号化部１１０−１、第２符号列生成部１０４−１を備えている。ピクチャデータ符号化部１１０−１は、第１符号列生成部１１７の代わりに、第１符号列生成部１１７−１を含む。

以下、説明の便宜上、実施形態１と同様の構成については詳細な説明を省略する。さらに、図１４では、図１と同様の機能を有するブロックについては同じ番号を付す。

ピクチャデータ符号化部１１０−１は、ピクチャ設定部１０１から入力された各ピクチャをブロックに分割し、ブロック単位で符号化処理を行ってピクチャデータの符号列を生成する。このとき、動画像形式がプログレッシブ形式であるかインターレース形式であるかに依存することなく、ピクチャ単位で共通の符号化処理が適用され、その結果生成されるピクチャデータの符号列も共通のシンタックスを持つ。また、本実施形態では、ピクチャデータ符号化部１１０−１は、シーケンスヘッダの符号列及びピクチャヘッダの符号列を生成する。

第１符号列生成部１１７−１は、予測残差符号化部１１２が出力する残差符号化信号１６２と、予測符号化部１１５が出力する予測情報信号１６６と、量子化値決定部１１６が出力する量子化値と、その他の符号化制御に関する情報を可変長符号化することでピクチャデータの符号列を生成する。また、本実施形態では、第１符号列生成部１１７−１は、シーケンス単位およびピクチャ単位の符号化制御に関する情報をヘッダ情報として符号化し、シーケンスヘッダの符号列及びピクチャヘッダの符号列を生成する。

第２符号列生成部１０４−１は、表示制御情報生成部１０３が出力する表示制御情報信号１５３を符号化し、拡張情報領域符号列を生成する。表示制御情報信号１５３は、シーケンス単位およびピクチャ単位の表示制御情報を含む。さらに、第２符号列生成部１０４−１は、生成した拡張情報領域符号列と、ピクチャデータ符号化部１１０が生成するシーケンスヘッダ、ピクチャヘッダ及びピクチャデータの符号列とを対応づけ、最終的な出力である符号列信号１５４を生成する。

２．表示制御情報の生成方法
動画像形式指定部１０２から動画像形式信号１５２を受けて、表示制御情報生成部１０３で表示制御情報信号１５３を生成して第２符号列生成部１０４−１において符号列に記述する方法、および、ピクチャ設定部１０１において入力画像を符号化順に並び替える方法について、図１５の符号化処理全体のフローチャートを用いて具体的に説明する。

まず、第１符号列生成部１１７−１はシーケンス単位でのヘッダ領域の符号列生成を行う（Ｓ１８０１）。

次に、第１符号列生成部１１７−１はピクチャ単位でのヘッダ領域の符号列生成を行う（Ｓ１８０２）。

次に、表示制御情報生成部１０３は、動画像形式指定部１０２によって指定された動画像形式に応じてシーケンス単位の表示制御情報及びピクチャ単位の表示制御情報を生成する（Ｓ１８０３）。第２符号列生成部１０４−１は、これらの表示制御情報を符号化し、符号列における拡張情報領域に記述する。

次に、ピクチャ設定部１０１は、表示順で入力される入力画像を符号化順に並び替え、符号化対象とするピクチャを選択する（Ｓ１８０４）。このとき、ピクチャ設定部１０１は、動画像形式指定部１０２によって指定された動画像形式に応じてピクチャの並び替えを行う。

次に、ピクチャデータ符号化部１１０−１は、前述の一連の符号化処理を行いピクチャデータの符号列を生成する（Ｓ１８０５）。なお、ステップＳ１８０５では、動画像形式がプログレッシブ形式であってもインターレース形式であっても全く区別することなく共通の符号化処理が行われる。

次に、現在処理中の符号化対象ピクチャの処理が完了すると、ステップＳ１８０２に戻って次のピクチャの符号化処理に移り、シーケンス内の全てのピクチャの符号化処理が完了するまでステップＳ１８０２からステップＳ１８０５の処理を繰り返す（Ｓ１８０６）。

３．ピクチャの並び替え
ステップＳ１８０４におけるピクチャの並び替え処理については、実施形態１で図３、図４、図５を用いて説明した処理と同様の処理が行われる。そのため、説明を省略する。

４．符号列構成およびシンタックス
次に、本実施の形態によって生成される符号列の構成を図１６を用いて説明する。

生成される符号列は、シーケンス単位の符号化制御情報を記述したシーケンスヘッダ領域、ピクチャ単位の符号化制御情報を記述したピクチャヘッダ領域、ピクチャ単位の補助情報を記述した拡張情報領域、およびピクチャデータで構成されている。このとき、シーケンス単位の表示制御情報、およびピクチャ単位の表示制御情報は、両方とも拡張情報領域に記述される。なお、表示制御情報以外の各情報は入力画像形式がプログレッシブ形式であってインターレース形式であっても全く区別することなく共通のシンタックスで符号列に記述される。

ここで、シーケンス単位の表示制御情報およびピクチャ単位の表示制御情報が記述される拡張情報領域のシンタックスについて図１７を用いて詳しく説明する。なお、図１７では本実施形態に関連するシンタックス以外は省略して記載している。

図１７では、ｉｎｔｅｒｌａｃｅ＿ｆｌａｇ、ｃｏｎｔｉｎｕａｌ＿ｆｌａｇ、ｍａｘ＿ｄｉｓｔａｎｃｅ＿ｆｌａｇ、ｐｉｃ＿ｓｔｒｕｃｔ、ｆｉｅｌｄ＿ｐａｉｒ＿ＰＯＣが全てｐｉｃ＿ｔｉｍｉｎｇ＿ＳＥＩ（）に記述されている。各パラメータの詳細な説明については図７および図８で説明した内容と全く同様なのでここでは省略する。

拡張情報領域は各々のピクチャ毎に符号化されるため、シーケンス単位の表示制御情報のｉｎｔｅｒｌａｃｅ＿ｆｌａｇ、ｃｏｎｔｉｎｕａｌ＿ｆｌａｇ、ｍａｘ＿ｄｉｓｔａｎｃｅ＿ｆｌａｇは、冗長ではあるがシーケンス内で常に同じ値がピクチャ毎に繰り返して記述されることになる。しかし、図１７のように全ての表示制御情報を拡張情報領域にまとめて記述することで、拡張情報領域以外の全てのシンタックス領域は、動画像形式がプログレッシブ形式であってインターレース形式であっても全く区別することなく共通のシンタックスとすることができる。したがって、符号化処理のさらなる簡略化を図ることができる。

なお、ここで説明したパラメータ名およびパラメータ値については一例であり、これ以外のパラメータ名およびパラメータ値を用いて同様の機能を実現してもよい。また、ここで説明した全てのパラメータを使用せずに１部のパラメータのみを使用してもよい。また、ここではｐｉｃ＿ｔｉｍｉｎｇ＿ＳＥＩ（）の領域に記述する例を説明したが、ピクチャ単位の制御情報が記述できる領域であればこれ以外の領域に記述してもよい。

５．まとめ
５−１．構成
本実施形態の動画像符号化装置１００−１は、入力される動画像信号をピクチャ単位で符号化する。この動画像符号化装置１００−１は、
動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報を取得する動画像形式指定部１０２（動画像形式情報取得部）と、
符号化後の動画像信号が示す動画像を動画像形式情報が示す動画像形式の動画像として表示する際に利用する表示制御情報を、動画像形式情報に基づいて生成する表示制御情報生成部１０３と、
動画像形式情報がプログレッシブ形式を示す場合、動画像信号における１枚のフレームをピクチャとして設定しかつ符号化順に並び替え、動画像形式情報がインターレース形式を示す場合、動画像信号における１枚のフィールドをピクチャとして設定しかつ符号化順に並び替えるピクチャ設定部１０１と、
設定したピクチャに含まれる画素データを、動画像形式に依存しない共通の信号処理方式および共通のシンタックス構造を用いて符号化することで、第１符号列を出力するピクチャデータ符号化部１１０−１と、
表示制御情報を符号化して拡張情報領域符号列を生成する第２符号列生成部１０４−１（拡張情報領域符号化部）と、
第１符号列および拡張情報領域符号列を対応づけた第２符号列を出力する第２符号列生成部１０４−１と、を備え、
表示制御情報は、符号化対象とするシーケンスに属する全てのピクチャの表示処理において共通して使用されるシーケンス単位表示制御情報と、符号化対象とするピクチャの表示処理において個別に使用されるピクチャ単位表示制御情報とから構成され、
第２符号列生成部１０４−１（拡張情報領域符号化部）は、拡張情報領域符号列を、ピクチャ単位で生成する拡張情報領域に格納する。

また好ましくは、第２符号列生成部１０４−１（拡張情報領域符号化部）は、同じシーケンスに属する各ピクチャの各拡張情報領域に、全て同じ値のシーケンス単位表示制御情報を格納する。

また好ましくは、表示制御情報生成部１０３は、符号化対象の動画像信号がプログレッシブ形式であるかインターレース形式であるかを識別する第１の識別子を含むシーケンス単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、符号化対象の動画像信号がインターレース形式である場合、同じフレームに属する２つのフィールドが当該シーケンスにおいて常に符号化順で互いに連続しているか否かを識別する第２の識別子を含むシーケンス単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、符号化対象の動画像信号がインターレース形式である場合、同じフレームに属する１つ目のフィールドと２つ目のフィールドの符号化順における間隔の当該シーケンスにおける最大値を示す情報を含むシーケンス単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、符号化対象とするピクチャの表示処理において、（１）プログレッシブ形式の動画像信号に属する１つのフレームとして表示するか、（２）インターレース形式の動画像信号に属するトップフィールドとして表示するか、（３）インターレース形式の動画像信号に属するボトムフィールドとして表示するか、（４）その他の方式で表示するかを指定する第３の識別子を含むピクチャ単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、符号化対象の動画像信号がインターレース形式である場合にのみ、符号化対象とするピクチャの表示処理において、（１）インターレース形式の動画像信号に属するトップフィールドとして表示するか、（２）インターレース形式の動画像信号に属するボトムフィールドとして表示するかを指定する第３の識別子を含むピクチャ単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、符号化対象ピクチャを復号化して表示する際に、インターレース形式の動画像信号に属するトップフィールドもしくはボトムフィールドとして表示する場合、符号化対象ピクチャと同じフレームに属する対となるピクチャを指定する指定情報を含むピクチャ単位表示制御情報を生成する。

また好ましくは、表示制御情報生成部１０３は、指定情報として、符号化対象ピクチャと同じフレームに属する対となるピクチャに割り当てられている表示順情報を記述する。

また好ましくは、表示制御情報生成部１０３は、指定情報として、符号化対象ピクチャに割り当てられている表示順情報と、符号化対象ピクチャと同じフレームに属する対となるピクチャに割り当てられている表示順情報との差分値を記述する。

本実施形態の動画像符号化方法は、入力される動画像信号をピクチャ単位で符号化する。この動画像符号化方法は、
動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報を取得し、
符号化後の動画像信号が示す動画像を動画像形式情報が示す動画像形式の動画像として表示する際に利用する表示制御情報を、動画像形式情報に基づいて生成し、
動画像形式情報がプログレッシブ形式を示す場合、動画像信号含まれる複数のフレームを符号化順に並び替え、かつ複数のフレームのそれぞれをピクチャとして設定し、動画像形式情報がインターレース形式を示す場合、動画像信号に含まれる複数のフィールドを符号化順に並び替え、かつ複数のフィールドのそれぞれをピクチャとして符号化順に並び替えて設定し、
設定したピクチャに含まれる画素データを、動画像形式に依存しない共通の信号処理方式および共通のシンタックス構造を用いて符号化することで、第１符号列を出力し、
表示制御情報を符号化して拡張情報領域符号列を生成し、
第１符号列および拡張情報領域符号列を対応づけた第２符号列を出力し、
表示制御情報は、符号化対象とするシーケンスに属する全てのピクチャの表示処理において共通して使用されるシーケンス単位表示制御情報と、符号化対象とするピクチャの表示処理において個別に使用されるピクチャ単位表示制御情報とから構成され、
各表示制御情報を、ピクチャ単位で生成する拡張情報領域に格納する。

５−２．効果等
本実施の形態による動画像符号化装置１００−１を用いることにより、プログレッシブ形式の動画像を入力とした場合も、インターレース形式の動画像を入力とした場合も、処理量を増加させることなく共通の制御でピクチャデータの符号化処理を行うことが可能となり、符号化装置の実装を容易に行うことができる。

一般に動画像復号化装置においては、符号化された符号列を復号化して復号化画像を生成する復号化処理と、生成された復号化画像を対応する表示装置に合わせて表示させる表示処理とを別の階層として制御される。例えば前者をハードウェアで構成し、後者をソフトウェアで構成するといった方法が取られる。これにより、例えばテレビとパソコンのように表示方法が異なる装置の開発において、復号化処理を行うハードウェアは共通のものを使用し、表示処理を行うソフトウェアのみを装置毎に作成することで開発工数を削減することが可能となる。

本実施形態では、図１６で説明した符号列のように、符号化処理には不要な情報（表示制御情報等）のみを記述した拡張情報領域と、復号化処理に必要な情報を記述したそれ以外の領域とが完全に分離されている。これにより、上記のような用途において、復号化処理を行う階層と表示処理を行う階層とに、それぞれの階層で必要とされる符号列のみを送ることが容易となり、階層毎の独立性が高くなる。つまり、プログレッシブに対応した復号化装置もインターレースに対応した復号化装置も、復号化処理を行う階層（ハードウェア）を完全に共通のものを使用して装置を構成することが可能となる。

（実施の形態４）（復号化処理の他の例）
実施形態４について、図面を参照しながら説明する。

１．動画像復号化装置の構成
図１８は、本実施形態に係る動画像復号化装置のブロック図である。

この動画像復号化装置２００−１は、実施形態２の動画像復号化装置２００のピクチャデータ復号化部２１０、第２符号列解析部２０１の代わりに、ピクチャデータ復号化部２１０−１、第２符号列解析部２０１−１を備えている。ピクチャデータ復号化部２１０−１は、第１符号列解析部２１１の代わりに、第１符号列解析部２１１−１を含む。

以下、説明の便宜上、実施形態２と同様の構成については詳細な説明を省略する。さらに、図１８では、図１と同様の機能を有するブロックについては同じ番号を付す。

第２符号列解析部２０１は、入力された符号列信号２５１に含まれるヘッダ情報の符号列の拡張情報領域から、少なくとも表示制御情報を抽出する。そして、第２符号列解析部２０１は、抽出した情報を表示制御情報信号２５２として表示制御情報解析部２０２へ出力する。

ピクチャデータ復号化部２１０は、入力された符号列信号２５１に含まれるピクチャデータの符号列に対して、ブロック単位で復号化処理を行って対象ピクチャの復号化画像を生成する。このとき、動画像形式がプログレッシブ形式であるかインターレース形式であるかに依存することなく、ピクチャとして共通の復号化処理が適用され、また復号化の対象となるピクチャデータの符号列も共通のシンタックスを持つ。

第１符号列解析部２１１は、入力された符号列信号２５１のピクチャデータの符号列に対して可変長復号化を施すことにより復号化制御情報の解析およびブロック単位のピクチャデータの解析を行う。この復号化制御情報には、シーケンス単位およびピクチャ単位の復号化制御に関する情報が含まれる。第１符号列解析部２１１は、解析して得られる残差符号化信号２６１を予測残差復号化部２１２へ出力する。さらに、第１符号列解析部２１１は、解析して得られる予測情報信号２６５を予測復号化部２１４へ出力する。さらに、第１符号列解析部２１１は、解析して得られる量子化値情報を量子化値決定部２１５へ出力する。

２．表示制御方法
表示制御情報解析部２０２で表示制御情報を解析し、出力ピクチャ設定部２０３において復号化済みのピクチャを出力順に並び替えて出力画像とする方法について、図１９の復号化処理全体のフローチャートを用いて具体的に説明する。

まず、第１符号列解析部２１１−１は、シーケンス単位のヘッダ領域の符号列解析を行う（Ｓ１９０１）。

次に、第１符号列解析部２１１−１は、ピクチャ単位のヘッダ領域の符号列解析を行う（Ｓ１９０２）。

次に、第２符号列解析部２０１−１は、拡張情報領域の符号列解析を行う（Ｓ１９０３）。このとき、表示制御情報解析部２０２は、シーケンス単位の表示制御情報及びピクチャ単位の表示制御情報を取得する。

次に、ピクチャデータ復号化部２１０−１は、一連の復号化処理を行い対象ピクチャの復号化画像を生成する（Ｓ１９０４）。なお、ステップＳ１９０４では、動画像形式がプログレッシブ形式であってインターレース形式であっても全く区別することなく共通の復号化処理が行われる。

次に、出力ピクチャ設定部２０３は、復号化順に蓄積されている復号化画像を表示順に並び替え、表示対象とするピクチャを選択する（Ｓ１９０５）。このとき、出力ピクチャ設定部２０３は、表示制御情報解析部２０２によって解析された表示制御方法に従ってピクチャの並び替えを行う。

次に、現在処理中の復号化対象ピクチャの処理が完了すると、ステップＳ１９０２に戻って次のピクチャの復号化処理に移り、シーケンス内の全てのピクチャの復号化処理が完了するまでステップＳ１９０２からステップＳ１９０４の処理を繰り返す（Ｓ１９０５）。

３．ピクチャの並び替え
ステップＳ１９０５におけるピクチャの並び替え処理については、実施形態２で図１１、図１２、図１３を用いて説明した処理と同様の処理が行われる。したがって、説明は省略する。

４．符号列構成およびシンタックス
本実施の形態で復号化対象とする符号列の構成およびシンタックスは、実施の形態１で図６から図８を用いて説明したものと全く同様であるので、ここでは説明を省略する。

５．まとめ
５−１．構成
本実施形態の動画像復号化装置２００−１は、インターレース形式またはプログレッシブ形式の動画像形式を有する動画像信号をピクチャ単位で符号化して得られる符号列を、ピクチャ単位で復号化する。この動画像復号化装置２００−１は、
符号列を解析し、拡張情報領域符号列および第１符号列を取得する第２符号列解析部２０１−１と、
拡張情報領域符号列から、復号化したピクチャを表示する際に利用する表示制御情報を取得する第２符号列解析部２０１−１（拡張情報領域復号化部）と、
動画像形式に依存しない共通のシンタックス解析および共通の信号処理方式を用いて第１符号列を復号化し、ピクチャを取得するピクチャデータ復号化部２１０−１と、
表示制御情報がプログレッシブ形式を示す場合、取得したピクチャを１枚のフレームと設定しフレームを表示順に１枚ずつ出力し、表示制御情報がインターレース形式を示す場合、取得したピクチャを１枚のフィールドと設定し、対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力する出力ピクチャ設定部２０３と、を備え、
表示制御情報は、復号化対象とするシーケンスに属する全てのピクチャの表示処理において共通して使用されるシーケンス単位表示制御情報と、復号化対象とするピクチャの表示処理において個別に使用されるピクチャ単位表示制御情報とから構成され、
拡張情報領域復号化部２０１−１は、ピクチャ単位の拡張情報領域から、各表示制御情報を取得する。

また好ましくは、同じシーケンスに属する各ピクチャ単位の各拡張情報領域には、全て同じ値のシーケンス単位表示制御情報が格納されている。

また好ましくは、第２符号列解析部２０１−１（拡張情報領域復号化部）は、復号化対象の動画像信号がプログレッシブ形式であるかインターレース形式であるかを識別する第１の識別子を含むシーケンス単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、取得した第１の識別子に基づいて、ピクチャの出力方法を変更する。

また好ましくは、第２符号列解析部２０１−１（拡張情報領域復号化部）は、復号化対象の動画像信号がインターレース形式である場合、同じフレームに属する２つのフィールドが当該シーケンスにおいて常に復号化順で互いに連続しているか否かを識別する第２の識別子を含むシーケンス単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、取得した第２の識別子に基づいて、ピクチャの出力方法を変更する。

また好ましくは、第２符号列解析部２０１−１（拡張情報領域復号化部）は、復号化対象の動画像信号がインターレース形式である場合、同じフレームに属する１つ目のフィールドと２つ目のフィールドの復号化順における間隔の当該シーケンスにおける最大値を示す情報を含むシーケンス単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、取得した最大値を示す情報に基づいて、ピクチャの出力方法を変更する。

また好ましくは、第２符号列解析部２０１−１（拡張情報領域復号化部）は、復号化対象とするピクチャの表示処理において、（１）プログレッシブ形式の動画像信号に属する１つのフレームとして表示するか、（２）インターレース形式の動画像信号に属するトップフィールドとして表示するか、（３）インターレース形式の動画像信号に属するボトムフィールドとして表示するか、（４）その他の方式で表示するかを指定する第３の識別子を含むピクチャ単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、取得した第３の識別子に基づいて、ピクチャの出力方法を変更する。

また好ましくは、第２符号列解析部２０１−１（拡張情報領域復号化部）は、復号化対象の動画像信号がインターレース形式である場合にのみ、復号化対象とするピクチャの表示処理において、（１）インターレース形式の動画像信号に属するトップフィールドとして表示するか、（２）インターレース形式の動画像信号に属するボトムフィールドとして表示するかを指定する第３の識別子を含むピクチャ単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、取得した第３の識別子に基づいて、ピクチャの出力方法を変更する。

また好ましくは、第２符号列解析部２０１−１（拡張情報領域復号化部）は、復号化対象ピクチャを表示する際に、インターレース形式の動画像信号に属するトップフィールドもしくはボトムフィールドとして表示する場合、復号化対象ピクチャと同じフレームに属する対となるピクチャを指定する指定情報を含むピクチャ単位表示制御情報を取得し、
出力ピクチャ設定部２０３は、復号化対象ピクチャを出力する際に、指定情報が指定するピクチャと対となるように出力する。

また好ましくは、第２符号列解析部２０１−１（拡張情報領域復号化部）は、指定情報として、復号化対象ピクチャと同じフレームに属する対となるピクチャに割り当てられている表示順情報を取得する。

また好ましくは、第２符号列解析部２０１−１（拡張情報領域復号化部）は、指定情報として、復号化対象ピクチャに割り当てられている表示順情報と、復号化対象ピクチャと同じフレームに属する対となるピクチャに割り当てられている表示順情報との差分値を取得する。

本実施形態の動画像復号化方法は、インターレース形式またはプログレッシブ形式の動画像形式を有する動画像信号をピクチャ単位で符号化して得られる符号列を、ピクチャ単位で復号化する。この動画像復号化方法は、
符号列を解析し、拡張情報領域符号列および第１符号列を取得し、
拡張情報領域符号列から、復号化したピクチャを表示する際に利用する表示制御情報を取得し、
動画像形式に依存しない共通のシンタックス解析および共通の信号処理方式を用いて第１符号列復号化し、ピクチャを取得し、
表示制御情報がプログレッシブ形式を示す場合、取得したピクチャを１枚のフレームと設定しフレームを表示順に１枚ずつ出力し、表示制御情報がインターレース形式を示す場合、取得したピクチャを１枚のフィールドと設定し、対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力し、
表示制御情報は、復号化対象とするシーケンスに属する全てのピクチャの表示処理において共通して使用されるシーケンス単位表示制御情報と、復号化対象とするピクチャの表示処理において個別に使用されるピクチャ単位表示制御情報とから構成され、
ピクチャ単位の拡張情報領域から、各表示制御情報を取得する。

５−２．効果等
本実施の形態による動画像復号化装置２００−１を用いることにより、プログレッシブ形式の動画像を符号化した符号列に対しても、インターレース形式の動画像を符号化した符号列に対しても、処理量を増加させることなく共通の制御でのピクチャデータの復号化処理および表示制御を行うことが可能となる。これにより、復号化装置の実装を容易に行うことができる。

また、実施形態３において説明したように、本実施形態では、符号化処理には不要な情報（表示制御情報等）のみを記述した拡張情報領域と、復号化処理に必要な情報を記述したそれ以外の領域とが完全に分離されている。これにより、上記のような用途において、復号化処理を行う階層と表示処理を行う階層とに、それぞれの階層で必要とされる符号列のみを送ることが容易となり、階層毎の独立性が高くなる。つまり、プログレッシブに対応した復号化装置もインターレースに対応した復号化装置も、復号化処理を行う階層（ハードウェア）を完全に共通のものを使用して装置を構成することが可能となる。

（その他の実施形態）
上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録してもよい。これにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体はフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば何でもよい。

また、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。ＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

また、本発明は、上述した動画像符号化装置および動画像復号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。

また、上記実施の形態に係る、動画像符号化装置および動画像復号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。

本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置や、動画像符号化データを復号化して復号化画像を生成する動画像復号化装置として有用である。

１００，１００−１ 動画像符号化装置
１０１ ピクチャ設定部
１０２ 動画像形式指定部
１０３ 表示制御情報生成部
１０４，１０４−１ 第２符号列生成部
１１０ １１０−１ ピクチャデータ符号化部
１１１ ピクチャメモリ
１１２ 予測残差符号化部
１１３ 予測残差復号化部
１１４ ローカルバッファ
１１５ 予測符号化部
１１６ 量子化値決定部
１１７，１１７−１ 第１符号列生成部
１１８ 差分演算部
１１９ 加算演算部
１５１ 入力画像信号
１５２ 動画像形式信号
１５３ 表示制御情報信号
１５４ 符号列信号
１６１ 差分画像信号
１６２ 残差符号化信号
１６３ 残差復号化信号
１６４ 再構成画像信号
１６５ 予測画像信号
１６６ 予測情報信号
２００，２００−１ 動画像復号化装置
２０１，２０１−１ 第２符号列解析部
２０２ 表示制御情報解析部
２０３ 出力ピクチャ設定部
２１０，２１０−１ ピクチャデータ復号化部
２１１，２１１−１ 第１符号列解析部
２１２ 予測残差復号化部
２１３ ピクチャメモリ
２１４ 予測復号化部
２１５ 量子化値決定部
２１６ 加算演算部
２５１ 符号列信号
２５２ 表示制御情報信号
２５３ 表示制御信号
２５４ 出力画像信号
２６１ 残差符号化信号
２６２ 残差復号化信号
２６３ 再構成画像信号
２６４ 予測画像信号
２６５ 予測情報信号

Claims (1)

1. 入力される動画像信号をピクチャ単位で符号化する動画像符号化装置であって、
   前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報を取得する動画像形式情報取得部と、
   符号化後の前記動画像信号が示す動画像を前記動画像形式情報が示す動画像形式の動画像として表示する際に利用する表示制御情報を、前記動画像形式情報に基づいて生成する表示制御情報生成部と、
   前記動画像形式情報がプログレッシブ形式を示す場合、前記動画像信号における１枚のフレームを前記ピクチャとして設定しかつ符号化順に並び替え、前記動画像形式情報がインターレース形式を示す場合、前記動画像信号における１枚のフィールドを前記ピクチャとして設定しかつ符号化順に並び替えるピクチャ設定部と、
   前記設定したピクチャに含まれる画素データを、前記動画像形式に依存しない共通の信号処理方式および共通のシンタックス構造を用いて符号化することで、第１符号列を出力するピクチャデータ符号化部と、
   前記表示制御情報を符号化して拡張情報領域符号列を生成する拡張情報領域符号化部と、
   前記第１符号列および前記拡張情報領域符号列を対応づけた第２符号列を出力する第２符号列生成部と、を備え、
   前記表示制御情報は、符号化対象とするシーケンスに属する全てのピクチャの表示処理において共通して使用されるシーケンス単位表示制御情報と、符号化対象とするピクチャの表示処理において個別に使用されるピクチャ単位表示制御情報とから構成され、
   前記拡張情報領域符号化部は、前記各表示制御情報を、前記ピクチャ単位で生成する拡張情報領域に格納し、
   さらに前記表示制御情報生成部は、符号化対象の動画像信号がインターレース形式である場合、符号化対象とするピクチャの表示処理において、少なくとも（１）インターレース形式の動画像信号に属するトップフィールドとして表示するか、（２）インターレース形式の動画像信号に属するボトムフィールドとして表示するかを指定する識別子を含む前記ピクチャ単位表示制御情報を生成し、
   前記ピクチャデータ符号化部は、表示順を指定する情報であるＰＯＣを、前記動画像形式に依存されることなく、１枚のピクチャに対して１つのＰＯＣを割り当てる、
   動画像符号化装置。

Images