JP5151984B2 - 動画像符号化装置 - Google Patents

Description

本発明は、動画像を符号化する装置に係わり、特に、動き補償を利用する動画像符号化においてピクチャを間引く技術に係わる。

動画像情報を伝送する際、伝送データのビットレートが伝送システムの能力を超える場合には、ピクチャ（または、フレーム）を間引く必要が生じる。すなわち、コマ落としを行う必要が生じる。また、リアルタイム符号化の処理量が符号化装置の能力を超える場合も同様である。

他方、動画像情報と共に文字情報などの付加情報が伝送されることがある。例えば、テレビ放送中に臨時ニュースのための文字情報が伝送されることがある。そして、付加情報は、基本的に、対応するピクチャに付随して伝送される。図１に示す例では、連続するピクチャＰ１、Ｐ２、Ｐ３、Ｐ４にそれぞれ付加情報Ａが付加されている。

このように、動画像情報と共に付加情報が伝送される場合は、付加情報は対応するピクチャに付随して伝送されるので、付加情報が付随するピクチャを間引くことは好ましくない。このため、付加情報が付随するピクチャを間引く必要が生じた場合には、そのピクチャの代わりにダミーピクチャを挿入する必要がある。図１に示す例では、ピクチャＰ３が間引かれる場合において、そのピクチャＰ３の代わりにダミーピクチャＰｄが挿入されている。そして、付加情報Ａは、ピクチャＰ１、Ｐ２、Ｐｄ、Ｐ４にそれぞれ付加されて伝送される。なお、ダミーピクチャの情報量は、可能な限り少ないことが好ましい。また、ダミーピクチャを生成するために要する符号化装置の処理量も、可能な限り少ないことが好ましい。

ところで、近年の動画像符号化装置は、一般に、各ピクチャデータを符号化する際に他のピクチャを参照することによって情報量を圧縮する機能を備えている。この機能は、符号化対象ピクチャと参照ピクチャとの間の動き情報および誤差に基づいて符号化データを生成する処理を含んでいる。このため、対象ピクチャを符号化する際にその対象ピクチャが他のピクチャを参照する場合には、その符号化データの中に参照ピクチャを識別する情報が含まれる。したがって、対象ピクチャをダミーピクチャに置き換える際に、その対象ピクチャが他のピクチャを参照する場合には、ダミーピクチャの符号化データもその参照ピクチャを識別する情報を含んでいる必要がある。

ここで、ＭＰＥＧ２などの従来の動画像符号化方式においては、参照ピクチャの自由度が低く（すなわち、参照可能なピクチャの数が少ない）、符号化対象ピクチャと参照ピクチャとの間の対応関係が単純である。よって、ピクチャ間引きのためにダミーピクチャを予め用意しておく構成において、必要なダミーピクチャの数は少なかった。

しかし、ＭＰＥＧ２よりもさらに高い符号化効率を提供するＨ．２６４では、参照ピクチャの自由度が高い（すなわち、参照可能なピクチャの数が多い）。また、Ｈ．２６４では、ピクチャを構成する各ブロックがそれぞれ１または複数の異なるピクチャを参照することができる。このため、ピクチャ間引きのためにダミーピクチャを予め用意しておく構成においては、必要なダミーピクチャの数が多くなる。具体的には、参照可能なピクチャの数と同数の互いに異なるダミーデータを用意する必要がある。したがって、ダミーピクチャを予め作成して記憶領域に格納する構成を考えると、その記憶領域が大きくなってしまう。図２に示す例では、記憶領域にダミーピクチャｄ１、ｄ２、ｄ３、．．．が格納されており、その中からダミーピクチャｄ２が読み出されて使用されている。

関連する技術として、特許文献１には、映像内容に応じてフレーム間引きを行う画像符号化データ作成装置が記載されている。この装置は、フレーム内の符号化データを映像領域の符号化データと字幕領域の符号化データとに分離し、映像領域の符号化データを間引きした後に字幕領域の符号化データとマージする機能を備える。

関連する他の技術として、特許文献２には、符号化すべき情報を有していない領域を検出し、全体として符号化すべき情報量を削減する技術が記載されている。
特開２０００−３２４４８号公報 特開２００２−２８１５０８号公報

本発明の課題は、動き補償を利用して動画像を符号化する動画像符号化装置において、符号化データの情報量を押さえながら、間引きされるピクチャの代わりに挿入されるダミーピクチャが所望のピクチャを参照できるようにすることである。

本発明の動画像符号化装置は、動き補償を利用して動画像を符号化する動画像符号化装置であって、各ブロックが同じピクチャを参照するダミーピクチャの符号化データを格納する格納手段と、符号化対象ピクチャが参照すべきピクチャを選択する選択手段と、前記ダミーピクチャが参照するピクチャと前記選択手段により選択されたピクチャの対応関係を表す情報を含むヘッダを生成するヘッダ生成手段と、前記符号化対象ピクチャを間引く際に、前記ダミーピクチャの符号化データに前記ヘッダ生成手段により生成されたヘッダを付与して出力する出力手段、を有する。

上記発明によれば、ダミーピクチャの符号化データにおいてある１つの参照ピクチャが指定されるが、そのピクチャに付与されるヘッダにおいて、ダミーピクチャの参照ピクチャと選択手段により選択されたピクチャの対応関係を表す情報が設定されるので、ダミーピクチャは任意のピクチャを参照することができる。すなわち、上記対応関係の設定に応じて、復号装置において所望のピクチャを参照するピクチャを得ることができる。

ダミーピクチャの各ブロックの予測誤差は、それぞれゼロとしてもよい。また、ダミーピクチャの各ブロックの動きベクトルは、それぞれゼロとしてもよい。この場合、ダミーピクチャのデータ量が小さくなる。

本発明によれば、間引かれたピクチャの代わりに挿入されるダミーピクチャが所望のピクチャを参照できるので、ピクチャが間引かれた場合の画像の劣化を抑えることができる。また、ダミーピクチャを予め作成して記憶しておく構成においては、記憶領域を小さくできる。

ピクチャの間引きとダミーピクチャについて説明する図である。 従来技術においてダミーピクチャを挿入する方法を示す図である。 本発明の実施形態の動画像符号化装置の構成を示す図である。 符号化回路の構成を示す図である。 ＰピクチャおよびＢピクチャについて説明する図である。 Ｐピクチャの参照ピクチャを説明する図である。 Ｂピクチャの参照ピクチャを説明する図である。 符号化回路により生成される符号化データの構造を示す図である。 各マクロブロックのデータ構造を示す図である。 Ｐピクチャのダミーピクチャの実施例である。 Ｂピクチャのダミーピクチャの実施例である。 ヘッダ生成部の動作を示すフローチャートである。 参照ピクチャとインデックスの関係を示す図である。 実施形態の動画像符号化装置の全体動作を示す図である。 他の実施形態の構成を示す図である。 他の実施形態のＰピクチャのダミーピクチャの実施例である。 他の実施形態のＢピクチャのダミーピクチャの実施例である。 参照ピクチャのリスト状態を示す図である。 符号化データストリームをネットワークへ配信する措置の構成を示す図である。

図３は、本発明の実施形態の動画像符号化装置の構成を示す図である。ここでは、符号化方式は、Ｈ．２６４であるものとする。また、この動画像符号化装置は、図１に示すダミーピクチャを生成する機能を備えている。

図３において、符号化回路１は、入力される動画像をＨ．２６４に従って符号化し、符号化データを出力する。符号化回路１は、公知の技術により実現されるものであり、その構成例を図４に示す。

符号化制御部１１は、フレーム単位あるいはブロック単位で符号化モードを決定し、符号化回路１を構成する各回路要素に必要な指示を与える。フレーム内予測部１２は、１つのフレーム内のブロック間の差分に基づいて予測誤差データを生成する。変換部１３は、フレーム内予測部１２により得られる予測誤差データまたは後述するフレーム間予測により得られる予測誤差データに対して離散コサイン変換（ＤＣＴ）を実行し、画素領域データを周波数領域データに変換する。これにより、予測誤差についてのＤＣＴ係数データが得られる。なお、変換部１３は、他の変換方式（例えば、Integer Transform）を採用してもよい。また、変換部１３は、量子化機能も備えているものとする。

逆変換部１４は、変換部１３により得られるＤＣＴ係数データを逆変換する。これにより、変換部１３による変換前の画素領域データが得られる。なお、逆変換部１４は、逆量子化機能も備えている。フィルタ１５は、デブロッキングフィルタであり、ブロックノイズを低減する。なお、ＰピクチャまたはＢピクチャの再構成時には、重み付き予測部１９の出力データもフィルタ１５に入力される。フレームメモリ１６は、フレームデータを格納する。

動き予測部１７は、フレームメモリ１６に格納されているフレームと新たに入力されるフレームとを対比することにより、ブロック毎に動きベクトルを計算する。動き補償部１８は、フレームメモリ１６に格納されているフレームデータおよび動き予測部１７により得られた動きベクトルに基づいて予測画像を生成する。重み付き予測部１９は、動き補償部１８により得られる予測画像に対して適応的に重み係数をかけて画像の明るさ等を調整する。そして、入力画像と重み付き予測部１９から出力される予測画像との差分情報がフレーム間予測による予測誤差データとして変換部１３に送られる。

エントロピー符号化部２０は、変換部１３により得られるＤＣＴ係数データおよび動き予測部１７により得られる動きベクトルデータの情報量をエントロピー符号により削減する。エントロピー符号は、ＣＡＶＬＣ（Context-Adaptive Variable Length Coding）またはＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）を採用してもよい。

上記構成の符号化回路１において、Ｉピクチャ（Intra Picture）を生成する際には、フレーム内予測部１２によって得られる予測誤差データが選択される。一方、Ｐピクチャ（Predictive Picture）またはＢピクチャ（Bi-directional Predictive Picture）を生成する場合には、フレーム間予測により得られる予測誤差データが選択される。

図５は、ＰピクチャおよびＢピクチャについて説明する図である。ここでは、連続する５枚のピクチャＰ１〜Ｐ５が描かれている。Ｐピクチャを生成する際には、過去の任意の１枚のピクチャを参照する。図５に示す例では、ピクチャＰ３を符号化する際にピクチャＰ２が参照されている。この場合、ピクチャＰ２およびＰ３に基づいて動きベクトルが算出される。そして、この動きベクトルを利用してピクチャＰ３についての予測画像（すなわち、Ｐピクチャ）が生成される。なお、復号装置においては、基本的に、ピクチャＰ２および動きベクトルを利用してピクチャＰ３を再生することができる。

Ｂピクチャは、１枚または２枚のピクチャを参照して生成される。図５に示す例では、ピクチャＰ３を符号化する際に、ピクチャＰ２、Ｐ４が参照されている。すなわち、過去のピクチャおよび未来のピクチャがそれぞれ１枚ずつ参照されている。この場合、ピクチャＰ２、Ｐ３から動きベクトルが算出されると共に、ピクチャＰ３、Ｐ４から動きベクトルが算出される。図５に示す他の例では、ピクチャＰ３を符号化する際に、ピクチャＰ１、Ｐ２が参照されている。すなわち、過去の２枚のピクチャが参照されている。なお、特に図示しないが、未来の２枚のピクチャを参照してＢピクチャを生成することもできる。そして、いずれの場合も、算出される動きベクトルを利用してピクチャＰ３についての予測画像（すなわち、Ｂピクチャ）が生成される。

ＰピクチャまたはＢピクチャを生成する際に参照することができるピクチャは、予め決められている。Ｐピクチャを生成する際には、過去のピクチャを参照することができる。図６Ａに示す例では、ピクチャＰ６を符号化する際に、ピクチャＰ１〜Ｐ５を参照することが可能である。一方、Ｂピクチャを生成する際には、過去のピクチャおよび未来のピクチャを参照することができる。図６Ｂに示す例では、ピクチャＰ４を符号化する際に、ピクチャＰ１〜Ｐ３、Ｐ５、Ｐ６を参照することが可能である。なお、参照可能ピクチャの枚数は、予め決められているものとする。図６Ａおよび図６Ｂでは、参照可能ピクチャはそれぞれ５枚である。

参照可能ピクチャは、「リスト」により管理される。このリスト上では、各参照可能ピクチャは「参照ピクチャインデックス（ref_idx）」により識別される。ここで、参照ピクチャインデックスの割り当て方法は、図６Ａおよび図６Ｂに示すように、予め決められている。なお、この参照ピクチャインデックスを利用して符号化データを生成する方法については、後で説明する。

Ｂピクチャは、上述したように、１枚の参照ピクチャまたは２枚の参照ピクチャを利用して生成される。よって、Ｂピクチャに対しては、２つのリスト（Ｌ０、Ｌ１）が存在し得る。そして、Ｂピクチャは、基本的には、Ｌ０予測、Ｌ１予測、または双予測により生成される。ここで、Ｌ０予測は、Ｌ０の動き情報のみを利用する片方向予測（主に、前方向予測）であり、Ｌ１予測は、Ｌ１の動き情報のみを利用する片方向予測（主に、後方向予測）である。さらに、双予測は、Ｌ０およびＬ１の動き情報を利用する。

図７は、図４に示す符号化回路により生成される符号化データの構造を示す図である。符号化データは、シーケンスヘッダＳＨおよびＧＯＰ（Group of Pictures）から構成される。ＧＯＰは、複数のピクチャ（例えば、１５枚）から構成される。各ピクチャは、それぞれ１または複数のスライスから構成される。スライスは、符号化の基本単位である。そして、各スライスは、それぞれスライスヘッダおよび複数のマクロブロックＭＢから構成される。なお、Ｈ．２６４においては、各マクロブロックはそれぞれさらに小さなブロックに分割され得るが、ここでは省略する。また、以下の説明では、マクロブロックＭＢのことを単にブロックと呼ぶことがある。

図８は、各マクロブロックのデータ構造を示す図である。図８において、マクロブロックタイプ（mb_type）は、動き補償のブロックサイズおよび符号化モードを識別する。ブロックサイズとしては「１６×１６」「８×１６」「１６×８」「８×８」が用意されている。また、符号化モードとしては「フレーム内符号」「Ｌ０予測」「Ｌ１予測」「双予測」「ダイレクトモード」が提供される。参照ピクチャインデックス（ref_idx）は、参照ピクチャを識別する。ここで、Ｐピクチャの場合は１つの参照ピクチャインデックスが設定され、Ｂピクチャの場合は１または２つの参照ピクチャインデックスが設定される。また、参照ピクチャは、図６Ａまたは図６Ｂに示す参照ピクチャインデックスにより表される。例えば、図６Ｂに示す例おいて、Ｌ０予測でピクチャＰ３を参照するものとすると、参照ピクチャインデックスとして「ref_idx_0＝０」が設定される。あるいは、双予測でＬ０においてピクチャＰ２を参照し、且つＬ１においてピクチャＰ３を参照する場合には、参照ピクチャインデックスとして「ref_idx_0＝１」および「ref_idx_1＝２」が設定される。

動きベクトル（mv）は、それぞれ参照ピクチャに対応する動きベクトルを表す。ＣＢＰ（Coded Block Pattern）は、有効なＤＣＴ係数が存在するか否かを表す。ＤＣＴ係数は、変換部１３により得られるＤＣＴ係数データである。なお、ＤＣＴ係数は、予測誤差の符号化データである。また、スキップフラグは、後述するスキップトマクロブロックを実施するか否かを識別する。

このように、各ブロックの符号化データは、基本的に、参照ピクチャインデックスデータ、動きベクトルデータ、ＤＣＴ係数データを含んで構成される。なお、Ｈ．２６４においては、一般に、ブロック毎に異なるピクチャを参照することができる。すなわち、参照ピクチャインデックスとしては、ブロック毎にそれぞれ対応する値が書き込まれる。

図３に戻る。間引き判定部２は、ピクチャを間引く必要があるか否かを判定する。ここで、符号化データのビットレートが伝送システムの能力を超えている場合、或いはリアルタイム符号化の処理量が符号化装置の能力を超える場合には、ピクチャを間引く必要があると判定される。選択部3は、間引き判定部２による判定結果に従って制御される。すなわち、選択部３は、ピクチャを間引かないときは、符号化回路１により得られる符号化データを選択し、ピクチャを間引くきは、後述するダミーデータを選択する。そして、選択されたデータ（符号化データまたはダミーデータ）は、必要に応じて付加情報が付加されて出力される。なお、付加情報は、例えば、文字情報である。

ダミーピクチャ記憶装置４には、ＰピクチャのダミーピクチャおよびＢピクチャのダミーピクチャがそれぞれ１つずつ格納されている。これらのダミーピクチャは、例えば、予め作成してダミーピクチャ記憶装置４に保存される。なお、ダミーピクチャは、画素データではなく、ＰピクチャまたはＢピクチャのダミーピクチャの符号化データである。

図９Ａは、Ｐピクチャのダミーピクチャの実施例である。ここでは、１スライス分のデータが描かれている。また、スライスデータは、ｋ個のマクロブロックから構成されているものとする。さらに、スキップフラグは省略されている。

ダミーピクチャは、ＭＢタイプデータ、参照ピクチャインデックスデータ、動きベクトルデータ、ＣＢＰデータから構成される。ＭＢタイプデータは、すべてのブロックにおいて「０」である。Ｐピクチャにおいて、「ＭＢタイプ＝０（P_L0_16×16）」は、ブロックタイプが１６×１６であり、且つ、符号化モードがＬ０予測であることを意味する。参照ピクチャインデックスは、すべてのブロックにおいて「０」である。「参照ピクチャインデックス＝０」は、符号化対象ピクチャの直前のピクチャを参照することを意味する。すなわち、すべてのブロックが同一のピクチャを参照する。動きベクトルデータは、すべてのブロックにおいて「０」である。「動きベクトル＝０」は、参照ピクチャ内の対応するブロックを移動することなくそのままコピーすることを意味する。ＣＢＰデータは、すべてのブロックにおいて「００００」である。「ＣＢＰ＝００００」は、ＤＣＴ係数がゼロであることを意味する。よって、すべてのブロックにおいてＤＣＴ係数データは付与されていない。

図９Ｂは、Ｂピクチャのダミーピクチャの実施例である。Ｂピクチャのダミーピクチャは、基本的に、Ｐピクチャのダミーピクチャと同じである。ただし、Ｂピクチャのダミーピクチャにおいては、ＭＢタイプデータは、すべてのブロックにおいて「１」である。Ｂピクチャにおいて、「ＭＢタイプ＝１（B_L0_16×16）」は、ブロックタイプが１６×１６であり、且つ、符号化モードがＬ０予測であることを表す。

このように、ダミーピクチャは、すべてのブロックが同じピクチャを参照する。このとき、参照ピクチャは、「参照ピクチャインデックス＝０」により識別されるピクチャである。また、すべてのブロックにおいて動きベクトルがゼロである。さらに、すべてのブロックにおいて予測誤差のＤＣＴ係数がゼロである。よって、このダミーピクチャは、実質的に、「参照ピクチャインデックス＝０」により識別されるピクチャと同じピクチャを再生することを指示する情報に相当する。すなわち、復号装置においてこのダミーピクチャを再生すると、「参照ピクチャインデックス＝０」により識別されるピクチャと同じピクチャが得られることになる。

なお、参照ピクチャインデックスが「０」であることを表す２値列のデータ長は、参照ピクチャインデックスが他の値であるときと比べて短くなる。また、動きベクトルがゼロである場合の２値列のデータ長は、動きベクトルがゼロでない場合と比べて短くなる。さらに、ダミーピクチャはＤＣＴ係数データを有していない。したがって、ダミーピクチャの情報量は、通常のＰピクチャまたはＢピクチャと比較して少なくなる。

図３に戻る。参照ピクチャ選択部５は、複数の参照可能ピクチャの中から参照ピクチャを選択する。このとき、参照ピクチャとしては、例えば、符号化対象ピクチャおよび各参照可能ピクチャに基づいて、復号時に視覚的に最もスムーズな動画像が得られるようなピクチャが選択される。なお、参照ピクチャ選択部５は、図４に示す符号化制御部１１の機能を利用して実現されてもよい。

リスト生成部６は、参照ピクチャ選択部５により選択された参照ピクチャと、ダミーピクチャ記憶装置４に格納されているダミーピクチャの参照ピクチャの対応関係を表すリスト情報を生成する。ここで、ダミーピクチャ記憶装置４に格納されているダミーピクチャの参照ピクチャは、「参照ピクチャインデックス＝０」により指定される。したがって、例えば、参照ピクチャ選択部５により選択された参照ピクチャの参照ピクチャインデックスが「０」であれば、リスト情報「０／０」を生成する。あるいは、参照ピクチャ選択部５により選択された参照ピクチャの参照ピクチャインデックスが「１」であれば、リスト情報「０／１」を生成する。

ヘッダ生成部７は、ダミーピクチャに付与すべきヘッダを生成する。「ヘッダ」とは、ここでは、符号化データを復号するために必要な制御情報を意味する。ただし、実施形態の動画像符号化装置の動作に直接的に係わる情報は、主にスライスヘッダである。

図１０は、ヘッダ生成部７の動作を示すフローチャートである。このフローチャートの処理は、例えば、間引き判定部２によりピクチャを間引く必要があると判定されたときに実行される。あるいは、符号化回路１が各ピクチャを符号化するごとに実行するようにしてもよい。

ステップＳ１では、デフォルトヘッダを作成する。デフォルトヘッダは、予め決められた最も標準的な値を設定したスライスヘッダを意味する。なお、デフォルトヘッダは、既存の符号化回路においても作成されている。すなわち、デフォルトヘッダは、図３に示す例では、符号化回路１において作成することもできる。よって、この場合、ヘッダ作成部７は、符号化回路１からデフォルトヘッダを取得するようにしてもよい。下記にスライスヘッダが備えるコードを示す。
first_mb_in_slice
slice_type
pic_parameter_set_id
frame_num
field_pic_flag
bottom_field_flag
idr_pic_id
pic_order_cnt_lsd
delta_pic_order_cntZ_bottom
delta_pic_order_cnt
redundant_pic_cnt
direct_spatial_mv_pred_flag
num_ref_idx_active_override_flag
num_ref_idx_l0_active_minus1
num_ref_idx_l1_active_minus1
ref_pic_list_reordering()
pred_weight_table()
dec_ref_marking()
cabac_init_idc
slice_qp_delta
sp_for_switch_flag
slice_qs_delta
disable_deblocking_filter_idc
slice_alpha_c0_offset_div2
slice_beta_offset_div2
slice_group_change_cycle
ステップＳ２では、最大参照インデックス値を設定することにより、参照可能ピクチャの数を指定する。即ち、「num_ref_idx_active_override_flag」に「１」を書き込む。そうすると、「num_ref_idx_l0_active_minus1」「num_ref_idx_l1_active_minus1」の更新が可能となる。そして、「num_ref_idx_l0_active_minus1」に「０」を書き込む。同様に、「num_ref_idx_l1_active_minus1」にも「０」を書き込む。これにより、リストＬ０およびリストＬ１における参照可能ピクチャは、それぞれ１枚に制限される。

ステップＳ３では、リスト生成部６からリスト情報を受け取る。ステップＳ４では、参照ピクチャ選択部５により選択された参照ピクチャの参照ピクチャインデックスが「０」であるか否かをチェックする。そして、そのインデックスが「０」であったときは、ダミーピクチャが参照するピクチャと、参照ピクチャ選択部５により選択されたピクチャが一致するので、ステップＳ５の処理をスキップする。一方、そのインデックスが「０」でなかったときは、ダミーピクチャが参照するピクチャと、参照ピクチャ選択部５により選択されたピクチャとを一致させるためにステップＳ５の処理を実行する。

ステップＳ５では、「ref_pic_list_reordering()」を利用して参照ピクチャリストのインデックスを並べ替える。インデックスの並べ替えの実施例について図１１を参照しながら説明する。

ここでは、図１１に示すように、連続するピクチャＰ１〜Ｐ５においてピクチャＰ３を符号化するものとする。符号化モードとしては、ダミーピクチャのＭＢタイプデータにおいて、Ｌ０予測が設定されている。よって、この場合、参照ピクチャインデックスは、ピクチャＰ１、Ｐ２、Ｐ４、Ｐ５に対してそれぞれ「１」「０」「３」「４」が割り当てられている。

上記状況において、参照ピクチャ選択部５は、符号化対象ピクチャが参照すべきピクチャを選択する。図１１に示す例では、ピクチャＰ３が参照すべきピクチャとしてピクチャＰ１が選択されている。ここで、このピクチャＰ１には、参照ピクチャインデックスとして「１」が割り当てられている。一方、ダミーピクチャに設定されている参照ピクチャインデックスは「０」である。このため、スライスヘッダが更新されていない状態でダミーピクチャを復号すると、ピクチャＰ２が得られることになる。

そこで、ヘッダ生成部７は、図１１に示すように、ダミーピクチャに設定されている参照ピクチャインデックスに対して、選択されたピクチャＰ１を割り当てる。すなわち、スライスヘッダの「ref_pic_list_reordering()」を利用して参照ピクチャリストのインデックスを並べ替える。具体的には、参照ピクチャインデックス「０」に対してピクチャＰ１が割り当てられる。

ステップＳ６において、生成したスライスヘッダを出力する。このスライスヘッダは、図１２に示すように、ダミーピクチャ記憶装置４から抽出されるダミーピクチャに付与される。このとき、Ｐピクチャが間引かれた場合は、Ｐピクチャ用のダミーピクチャが抽出され、Ｂピクチャが間引かれた場合は、Ｂピクチャ用のダミーピクチャが抽出される。そして、このダミーピクチャにさらに付加情報Ａが付与され、動画像の符号化データとして出力される。上記符号化データを受信した動画像復号装置は、付加情報Ａを分離すると共に、ヘッダ情報を利用してピクチャを再生する。

このように、実施形態の動画像符号化装置においては、任意のピクチャを間引いたときに、ダミーピクチャが出力される。ここで、このダミーピクチャは、予め決められた参照ピクチャインデックス（実施例では、「０」）で指定されるピクチャを参照する。ところが、上述したように、このダミーピクチャに付与されるヘッダにおいて、参照ピクチャインデックスの参照関係を変更することができる。すなわち、ダミーピクチャは、所望のピクチャを参照することができる。よって、ダミーピクチャは、復号時に視覚的に最もスムーズな動画像が得られるようなピクチャを参照することができる。この結果、復号時において、ダミーピクチャの代わりに視覚的に最もスムーズな動画像が得られるようなピクチャが出力されることになるので、好適な動画像が再生される。

また、実施形態の動画像符号化装置は、ダミーピクチャが所望のピクチャを参照できるが構成であるにもかかわらず、ダミーピクチャ記憶装置４に予め保持してあるダミーピクチャは、図１２に示すように、ＰピクチャおよびＢピクチャのためにそれぞれ１枚だけである。よって、ダミーピクチャを保持するための記憶領域を小さくすることができる。

＜他の実施形態１＞
図３に示す実施形態では、ダミーピクチャは、予め作成されて記憶装置に格納されている。これに対して、図１３に示す実施形態では、ダミーピクチャ生成部１１を備え、ピクチャが間引かれたときにダミーピクチャを生成して出力する。このとき、ダミーピクチャ生成部１１が生成するダミーピクチャは、図３に示す実施形態においてダミーピクチャ記憶装置４に格納されているダミーピクチャと同じである。この構成によれば、動画像符号化装置の記憶領域を削減できる。

＜他の実施形態２＞
図１４Ａおよび図１４Ｂは、他の実施形態のダミーピクチャの実施例である。図１４ＡがＰピクチャのダミーピクチャの実施例であり、図１４ＢがＢピクチャのダミーピクチャの実施例である。

この実施形態のダミーピクチャの先頭ブロックは、基本的に、図９Ａおよび図９Ｂに示すダミーピクチャと同じである。すなわち、参照ピクチャインデックスとして「０」が設定され、動きベクトルとして「０」が設定される。また、ＤＣＴ係数データは存在しない。ただし、Ｂピクチャのダミーピクチャにおいては、ダイレクトモードを指定するために、図１４Ｂに示すように「ＭＢタイプ＝０（B_Direct_16×16）」が設定される。

ダイレクトモードとは、符号化対象ブロックの動き情報を符号化ずみの他のブロックの動き情報から予測して生成する符号化モードであり、Ｈ．２６４では、時間ダイレクトおよび空間ダイレクトが用意されている。そして、この実施形態では、後述するが、スライスヘッダにおいて空間ダイレクトが指定される。

２番目以降のブロックについては、スキップフラグが設定される。すなわち、２番目以降のブロックにおいては、スキップトマクロブロック（skip_MB）が指定される。スキップトマクロブロックとは、当該ブロックの情報を全く送らずに、復号装置は、参照ブロックの対応する位置のブロックの情報をそのまま利用するモードである。この場合、２番目以降のブロックは、先頭ブロックと同じピクチャを参照し、その参照ピクチャの対応する位置のブロックの情報をそのままコピーすることになる。

なお、Ｈ．２６４のデフォルト設定では、スキップマクロブロックが指定されたブロックには双方向予測が適用され、直前のピクチャと直後のピクチャの平均により予測ピクチャが得られる。しかし、実施形態の動画像符号化においては、ダミーピクチャの参照ピクチャを１枚に制限している。すなわち、すべてのブロックにおいて同じ１枚のピクチャを参照するように制限されている。よって、上述したように、先頭ブロックにおいて参照ピクチャインデックスを１つ（実施例では、Ｌ０）だけ指定する。そうすると、スキップマクロブロックが設定されている以降のブロックにおいては、先頭ブロックと同じピクチャを参照するので、すべてのブロックが同一の１枚のピクチャのみを参照することが可能になる。

また、Ｈ．２６４では、ダイレクトモードとして時間ダイレクトを選択すると、スキップマクロブロックが指定されているブロックの動きベクトルがＬ１（後ろ方向の参照リスト）の参照ピクチャのベクトルに依存する。この場合、符号化対象ブロックの動きベクトルがゼロでなくなる可能性がある。そこで、実施形態の動画像符号化においては、ダイレクトモードとして空間ダイレクトを選択する。空間ダイレクトにおいては、各ブロックの動きベクトルは、同一ピクチャ内の隣接ブロックの動きベクトルから算出される。したがって、先頭ブロックの動きベクトルをゼロとすると、スキップマクロブロックが設定されている以降のブロックの動きベクトルは、先頭ブロックと同じになるので、すべてのブロックの動きベクトルがゼロになる。なお、ダイレクトモードとして空間ダイレクトを選択するためには、スライスヘッダの「direct_spatial_mv_pred_flag」に「１」を設定すればよい。

このように、この実施形態では、スキップマクロブロックおよび空間ダイレクトを利用することで、ダミーピクチャの符号化データの情報量が大幅に削減される。よって、ダミーピクチャを格納する記憶領域を小さくできる。

＜他の実施形態３＞
図３に示す動画像符号化装置において、参照ピクチャ選択部５は、間引かれるピクチャに時間的に最も近いピクチャを選択する。図１５を参照しながら一例を示す。なお、図１５に示す例では、各フレームがそれぞれトップピクチャおよびボトムピクチャから構成されている。例えば、ピクチャＰ３（Top）およびピクチャＰ３（Btm）は、１枚のフレームを構成する１組のピクチャである。なお、トップピクチャは、インターレース画像のトップフィールドから構成されるピクチャであり、ボトムピクチャは、ボトムフィールドから構成されるピクチャである。

図１５においてピクチャＰ３（Btm）が間引かれるものとする。ここで、ピクチャＰ３（Btm）に時間的に最も近いピクチャは、ピクチャＰ３（Top）である。よって、この場合、参照ピクチャ選択部５は、ピクチャＰ３（Btm）のダミーピクチャの参照ピクチャとして、ピクチャＰ３（Top）を選択する。

ピクチャＰ３（Btm）が間引かれる際に、ピクチャＰ３（Top）が参照可能ピクチャでなかったものとすると、ピクチャＰ３（Btm）に時間的に最も近いピクチャが２枚（すなわち、Ｐ２（Top）、Ｐ２（Btm））存在する。この場合、参照ピクチャ選択部５は、間引かれるピクチャと同じ属性（トップ／ボトム）を持つピクチャを選択する。すなわち、ピクチャＰ３（Btm）のダミーピクチャの参照ピクチャとしてピクチャＰ２（Btm）が選択される。

なお、実施形態の動画像符号化装置では、ダミーデータが予め用意されており、参照ピクチャインデックスとして「０」が指定されている。よって、上述のようにして選択されたピクチャの参照ピクチャインデックスがダミーピクチャの参照ピクチャインデックスと異なっている場合には、スライスヘッダの「ref_pic_list_reordering()」を利用してその対応関係を定義する必要がある。

＜他の実施形態４＞
図１６は、符号化データストリームをネットワークへ配信する措置の構成を示す図である。符号化データストリームは、動画像をＨ．２６４で符号化することにより得られるＨ２６４ストリームであるものとする。また、ダミーピクチャ記憶装置４、参照ピクチャ選択部５、リスト生成部６、ヘッダ生成部７の構成または動作は、図３を参照しがなら説明した通りである。そして、この配信装置では、符号化データストリームのビットレートがネットワークの伝送レートを超えると、ピクチャが間引かれるものとする。

ヘッダ解析部２１は、Ｈ２６４ストリームのＮＡＬ（Network Abstraction Layer）ヘッダを解析する。ＮＡＬヘッダは、各ピクチャが参照ピクチャであるか非参照ピクチャであるかを表す情報（nal_ref_idc）を含んでいる。そして、ヘッダ解析部２１は、ピクチャを間引く必要があると判断され、且つ、そのピクチャが非参照ピクチャである場合に、ピクチャ間引き処理の実行を指示する。ピクチャ間引き処理は、図３に示す動画像符号化装置の動作として説明した通りである。

また、ヘッダ解析部２１は、符号化データストリームからスライスヘッダ（および、スライスデータ）を抽出して解析する機能を備える。この機能により、間引かれるピクチャの参照可能ピクチャが検出される。そして、参照ピクチャ選択部５は、検出された参照可能ピクチャの中から参照ピクチャを選択する。また、ヘッダ生成部７は、ヘッダ解析部２１により抽出されたスライスヘッダに基づいて、或いは、ヘッダ解析部２１により抽出されたスライスヘッダを更新することにより、ダミーピクチャに付与すべきスライスヘッダを生成する。

このように、この配信装置では、ピクチャを間引く必要が生じたときに、ダミーピクチャに置きかえられるピクチャは非参照ピクチャである。よって、配信される符号化データが復号されたときに、画質の劣化が抑えられる。

ダミーピクチャは、条件１〜４のもとで下記の通り作成される。
条件１：SliceQPy＝５１
条件２：num_refl0_active_idx_minus1＝０
条件３：num_refl1_active_idx_minus1＝０
条件４：cabac_init_idc＝０
各ブロックの動きベクトルは、Ｘ成分およびＹ成分ともにゼロ
各ブロックの参照ピクチャリストは、Ｌ０のみ
各ブロックの参照ピクチャインデックス（refidx）は、「０」
各ブロックのＤＣＴ係数は、ゼロ
上記ダミーピクチャに付与されるスライスヘッダは、以下の通りである。
SliceQPy＝５１
Direct_mv_spatial_flag＝１
num_refl0_active_idx_minus1＝０
num_refl1_active_idx_minus1＝０
cabac_init_idc＝０
「ref_pic_list_reordering()」を利用して、リストＬ０の「refidx0」に対して、間引かれるピクチャに時間的に最も近いピクチャを割り当てる

Claims (11)

1. 動き補償を利用して動画像を符号化する動画像符号化装置であって、
   各ブロックが同じ参照ピクチャインデックスを有するダミーピクチャの符号化データを格納する格納手段と、
   符号化対象ピクチャの符号化データとしてダミーピクチャが出力される場合に、前記符号化対象ピクチャが参照可能な複数の参照可能ピクチャの中から前記符号化対象ピクチャが参照すべきピクチャを選択する選択手段と、
   前記ダミーピクチャが参照するピクチャと前記選択手段により選択されたピクチャの対応関係を表す情報を含むヘッダを生成するヘッダ生成手段と、
   前記符号化対象ピクチャを間引く際に、前記ダミーピクチャの符号化データに前記ヘッダ生成手段により生成されたヘッダを付与して出力する出力手段、
   を有する動画像符号化装置。
2. 請求項１に記載の動画像符号化装置であって、
   前記ダミーピクチャの各ブロックの予測誤差は、それぞれゼロである
   ことを特徴とする動画像符号化装置。
3. 請求項１に記載の動画像符号化装置であって、
   前記ダミーピクチャの各ブロックの動きベクトルは、それぞれゼロである
   ことを特徴とする動画像符号化装置。
4. 請求項１に記載の動画像符号化装置であって、
   前記ダミーピクチャの先頭ブロックを含む所定数のブロックにおいて参照ピクチャが指定されており、
   前記ダミーピクチャの他のブロックには、前記所定数のブロックの情報を引き継ぐことを指示する情報が設定されている
   ことを特徴とする動画像符号化装置。
5. 請求項４に記載の動画像符号化装置であって、
   当該動画像符号化装置の符号化方式がＨ．２６４であり、
   前記ヘッダ生成手段は、符号化モードとして空間ダイレクトを指定する情報を前記ヘッダに設定する
   ことを特徴とする動画像符号化装置。
6. 請求項１に記載の動画像符号化装置であって、
   当該動画像符号化装置の符号化方式がＨ．２６４であり、
   前記ダミーピクチャの各ブロックにおいて参照ピクチャを指示する参照ピクチャインデックスとして「０」が設定されている
   ことを特徴とする動画像符号化装置。
7. 請求項１に記載の動画像符号化装置であって、
   前記選択手段は、符号化対象ピクチャが参照すべきピクチャとして、その符号化対象ピクチャに時間的に最も近いピクチャを選択する
   ことを特徴とする動画像符号化装置。
8. 請求項７に記載の動画像符号化装置であって、
   当該動画像符号化装置は、動画像を構成する各フレームから得られる複数のピクチャをそれぞれ符号化する構成であり、
   前記選択手段は、符号化対象ピクチャに時間的に最も近いピクチャが２枚以上存在する場合には、その符号化対象ピクチャと同じ属性のピクチャを選択する
   ことを特徴とする動画像符号化装置。
9. 動き補償を利用して動画像を符号化する動画像符号化装置であって、
   各ブロックが同じ参照ピクチャインデックスを有するダミーピクチャの符号化データを生成するダミーピクチャ生成手段と、
   符号化対象ピクチャの符号化データとしてダミーピクチャが出力される場合に、前記符号化対象ピクチャが参照可能な複数の参照可能ピクチャの中から前記符号化対象ピクチャが参照すべきピクチャを選択する選択手段と、
   前記ダミーピクチャが参照するピクチャと前記選択手段により選択されたピクチャの対応関係を表す情報を含むヘッダを生成するヘッダ生成手段と、
   前記符号化対象ピクチャを間引く際に、前記ダミーピクチャの符号化データに前記ヘッダ生成手段により生成されたヘッダを付与して出力する出力手段、
   を有する動画像符号化装置。
10. 動き補償を利用して動画像を符号化することにより得られる符号化データストリームを配信する配信装置であって、
    各ブロックが同じ参照ピクチャインデックスを有するダミーピクチャの符号化データを格納する格納手段と、
    符号化対象ピクチャの符号化データとしてダミーピクチャが出力される場合に、前記符号化データストリーム内の符号化対象ピクチャが参照可能な複数の参照可能ピクチャの中から前記対象ピクチャが参照すべきピクチャを選択する選択手段と、
    前記ダミーピクチャが参照するピクチャと前記選択手段により選択されたピクチャの対応関係を表す情報を含むヘッダを生成するヘッダ生成手段と、
    前記符号化対象ピクチャを間引く際に、前記ダミーピクチャの符号化データに前記ヘッダ手段により生成されたヘッダを付与して出力する出力手段、
    を有する配信装置。
11. 動き補償を利用して動画像を符号化する動画像符号化方法であって、
    各ブロックが同じ参照ピクチャインデックスを有するダミーピクチャの符号化データを用意し、
    符号化対象ピクチャの符号化データとしてダミーピクチャが出力される場合に、前記符号化対象ピクチャが参照可能な複数の参照可能ピクチャの中から前記符号化対象ピクチャが参照すべきピクチャを選択し、
    前記ダミーピクチャが参照するピクチャと前記選択されたピクチャの対応関係を表す情報を含むヘッダを生成し、
    前記符号化対象ピクチャを間引く際に、前記ダミーピクチャの符号化データに生成されたヘッダを付与して出力する、
    ことを特徴とする動画像符号化方法。

Images