JP6154753B2 - 動画像復号装置、動画像復号方法、およびプログラム - Google Patents

Description

本発明は、動画像復号装置、動画像復号方法、およびプログラムに関する。

イントラ予測（フレーム内予測）およびインター予測（フレーム間予測）と、残差変換と、を用いた動画像符号化方式が提案されている（例えば、非特許文献１参照）。

以下に、上述の動画像符号化方式に対応する従来例に係る動画像符号化装置について説明する。従来例に係る動画像符号化装置は、まず、入力画像を符号化ブロックに分割する。次に、符号化ブロックよりも小さなサイズである予測ブロック単位で、入力画像と、イントラ予測画像またはインター予測画像と、の誤差（残差）信号を変換・量子化して量子化係数レベルを生成する。次に、生成した量子化係数レベルをサイド情報とともにエントロピー符号化して、ビットストリームを生成する。

さらに、上述の動画像符号化装置は、量子化係数レベルを逆量子化および逆変換して誤差（残差）信号を生成し、イントラ予測画像またはインター予測画像と合算してフィルタ前ローカル復号画像を生成する。フィルタ前ローカル復号画像は、イントラ予測に利用される。また、フィルタ前ローカル復号画像にインループフィルタ（例えばデブロックフィルタなど）を適用してフィルタ後ローカル復号画像を生成し、フレームバッファに蓄積しておく。フィルタ後ローカル復号画像は、適宜、インター予測に利用される。

上述の動画像符号化方式に対応する従来例に係る動画像復号装置は、上述の従来例に係る動画像符号化装置で行われる手順と逆の手順により、ビットストリームから出力画像を得る。

HEVC Version １では、ＹＵＶ４：２：０色形式が対象となっており、HEVC Version ２では、ＹＵＶ４：２：２色形式、ＹＵＶ４：４：４色形式、ＲＧＢ４：４：４色形式などに色形式の対象を拡張したRange Extensionsが検討されている。また、４：４：４色形式では、Ｕ／ＶやＢ／Ｒのように、色差成分の画素数が４：２：０色形式の場合と比べて４倍になるので、符号化効率を改善するための手法が検討されている。この手法のひとつとして、非特許文献２には、イントラ予測残差信号およびインター予測残差信号を対象として、色成分間の相関を用いて符号化効率を改善する成分間残差信号予測手法が示されている。

上述の成分間残差信号予測手法では、動画像符号化装置は、輝度信号の予測残差信号に、サイド情報として動画像復号装置に送る係数を乗算して、色差信号の予測残差信号を予測する。色差信号は、イントラ予測値またはインター予測値と成分間残差信号予測値とを原信号から引いた残差信号を、HEVC Version １のフレームワークを用いて符号化される。このため、変換および量子化される色差残差信号ｒ_ｃは、以下の数式（１）により導出される。

なお、数式（１）において、Ｏｒｇ_ｃは、色差の原信号を示し、Ｐｒｅｄ_ｃは、イントラ予測信号またはインター予測信号を示す。また、αは、動画像符号化装置で導出された予測係数を示し、｛−８、−４、−２、−１、０、１、２、４、８｝の値を取る。また、ｒ’_Ｌは、輝度の再構成した残差信号を示す。

動画像復号装置は、再構成された色差信号Ｒｅｃ_ｃを、復号した色差残差信号ｒ’_ｃ（ｘ、ｙ）を用いて以下の数式（２）により導出する。

以上のように、変換空間で色成分間の相関の復元が行われる。

ITU-T Recommendation H.265, "High Efficiency Video Coding" W. Pu, et.al, "RCE1: Descriptions and Results for Experiments 1, 2, 3, and 4", JCTVC-O0202, Oct. 2013.

しかし、上述の成分間残差信号予測手法に対応した従来例に係る動画像復号装置は、上述の数式（２）に示したように、色差の残差信号の復号を行うために、輝度の残差信号の復号結果を用いる。このため、色差の残差信号の復号が完了するまで、輝度の残差信号の復号結果を記憶しておかなければならず、必要とする記憶容量が大きくなってしまうという課題があった。また、逆変換後の信号に対して色成分間の相関を復元するため、変換ブロック内の全ての信号に対して上述の数式（２）の計算を行わなければならず、処理負荷の軽減が求められていた。

そこで、本発明は、上述の課題を鑑みてなされたものであり、変換空間で色成分間の相関を用いた動画像の復号において、必要とする記憶容量の削減と、処理負荷の軽減と、を実現することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置（例えば、図１の動画像復号装置１に相当）であって、符号化された信号（例えば、図１のビットストリームＳＩＧ１に相当）から、予測係数（例えば、図１の予測係数ＳＩＧ４に相当）を復号する予測係数復号手段（例えば、図１の予測係数復号部１３に相当）と、前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分（例えば、後述の輝度成分に相当）について、予測残差信号の変換係数レベル（例えば、図１の輝度成分の予測残差信号の変換係数レベルＳＩＧ３に相当）を復号する基準変換係数レベル復号手段（例えば、図１の輝度変換係数レベル復号部１２に相当）と、前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分（例えば、後述の色差成分に相当）について、予測残差信号の変換係数レベル（例えば、図１の色差成分の予測残差信号の変換係数レベルＳＩＧ５に相当）を復号する対象変換係数レベル復号手段（例えば、図１の色差変換係数レベル復号部１４に相当）と、前記符号化された信号から、前記基準となる色成分の量子化係数（例えば、図１の輝度量子化係数ＳＩＧ２に相当）を導出する基準量子化係数導出手段（例えば、図１の輝度量子化係数復号部１１に相当）と、前記符号化された信号から、前記予測対象となる色成分の量子化係数（例えば、図１の色差量子化係数ＳＩＧ６に相当）を導出する予測対象量子化係数導出手段（例えば、図１の色差量子化係数復号部１５に相当）と、前記予測係数復号手段により復号された予測係数と、前記基準量子化係数導出手段により導出された量子化係数と、前記予測対象量子化係数導出手段により導出された量子化係数と、に基づいて、実予測係数（例えば、図１の実予測係数ＳＩＧ７に相当）を導出する実予測係数導出手段（例えば、図１の実係数導出部１６に相当）と、前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記対象変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記実予測係数導出手段により導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベル（例えば、図１の色差変換係数実レベルＳＩＧ８に相当）を導出する対象変換係数実レベル導出手段（例えば、図１の色差変換係数実レベル導出部１７に相当）と、前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号（例えば、図１の輝度成分の残差信号ＳＩＧ９に相当）を導出する基準逆変換手段（例えば、図１の輝度逆量子化・逆変換部１８に相当）と、前記対象変換係数実レベル導出手段により導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号（例えば、図１の色差成分の残差信号ＳＩＧ１０に相当）を導出する予測対象逆変換手段（例えば、図１の色差逆量子化・逆変換部１９に相当）と、を備えることを特徴とする動画像復号装置を提案している。

この発明によれば、実予測係数導出手段により、予測係数と、基準となる色成分の量子化係数と、予測対象となる色成分の量子化係数と、に基づいて、実予測係数を導出することとした。また、対象変換係数実レベル導出手段により、基準となる色成分の予測残差信号の変換係数レベルと、予測対象となる色成分の予測残差信号の変換係数レベルと、実予測係数導出手段により導出された実予測係数と、に基づいて、予測対象となる色成分の変換係数実レベルを導出することとした。このため、基準となる色成分の予測残差信号の復号結果を用いることなく、予測対象となる色成分の予測残差信号の復号を行うことができる。したがって、予測対象となる色成分の予測残差信号の復号が完了するまで、基準となる色成分の予測残差信号の復号結果を記憶しておく必要がないため、必要とする記憶容量を削減することができる。また、逆変換後の信号に対して色成分間の相関を復元するわけではないので、変換ブロック内の全ての信号に対して上述の数式（２）の計算を行うわけではなく、処理負荷を軽減することができる。

（２） 本発明は、（１）の動画像復号装置について、前記実予測係数導出手段は、前記予測係数復号手段により復号された予測係数と、前記基準量子化係数導出手段により導出された量子化係数と、を乗算して第１の乗算結果を求め、前記第１の乗算結果を、前記予測対象量子化係数導出手段により導出された量子化係数で除算して、前記実予測係数を導出することを特徴とする動画像復号装置を提案している。

この発明によれば、（１）の動画像復号装置において、予測係数と、基準となる色成分の量子化係数と、を乗算し、この乗算結果を予測対象となる色成分の量子化係数で除算して、実予測係数を導出することができる。

（３） 本発明は、（２）の動画像復号装置について、前記実予測係数導出手段は、前記基準量子化係数導出手段により導出された量子化係数と、前記予測対象量子化係数導出手段により導出された量子化係数と、の組み合せごとの、前記基準量子化係数導出手段により導出された量子化係数を前記予測対象量子化係数導出手段により導出された量子化係数で除算した結果が定められているテーブルを備えることを特徴とする動画像復号装置を提案している。

この発明によれば、（２）の動画像復号装置において、基準となる色成分の量子化係数を、予測対象となる色成分の量子化係数で除算した結果を、テーブルとして用意しておくこととした。このため、（２）の動画像復号装置において必要であった除算を行うことなく、実予測係数を導出することができる。したがって、除算による桁落ちを考慮する必要がなくなるため、処理負荷をさらに軽減することができる。

（４） 本発明は、（１）から（３）のいずれかの動画像復号装置について、対象変換係数実レベル導出手段は、前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記実予測係数導出手段により導出された実予測係数と、を乗算して第２の乗算結果を求め、前記第２の乗算結果に、前記対象変換係数レベル復号手段により復号された予測残差信号の変換係数レベルを加算して、前記予測対象となる色成分の変換係数実レベルを導出することを特徴とする動画像復号装置を提案している。

この発明によれば、（１）から（３）のいずれかの動画像復号装置において、基準となる色成分の予測残差信号の変換係数レベルと、実予測係数導出手段により導出された実予測係数と、を乗算し、この乗算結果に、予測対象となる色成分の予測残差信号の変換係数レベルを加算して、予測対象となる色成分の変換係数実レベルを導出することができる。

（５） 本発明は、（１）から（４）のいずれかの動画像復号装置について、前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が１：１の色形式の画像（例えば、後述のＲＧＢ４：４：４色形式の画像に相当）を符号化して得られたものであることを特徴とする動画像復号装置を提案している。

この発明によれば、（１）から（４）のいずれかの動画像復号装置において、基準となる色成分と、予測対象となる色成分と、の画素数比が１：１の色形式の画像を符号化して得られた信号の復号において、上述の効果を奏することができる。

（６） 本発明は、（１）から（４）のいずれかの動画像復号装置について、前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が、水平方向に１：１で、垂直方向に２：１である色形式の画像（例えば、後述のＹＵＶ４：２：２色形式の画像に相当）を符号化して得られたものであることを特徴とする動画像復号装置を提案している。

この発明によれば、（１）から（４）のいずれかの動画像復号装置において、基準となる色成分と、予測対象となる色成分と、の画素数比が、水平方向に１：１で、垂直方向に２：１である色形式の画像を符号化して得られた信号の復号において、上述の効果を奏することができる。

（７） 本発明は、（１）から（４）のいずれかの動画像復号装置について、前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が、水平方向に２：１で、垂直方向に２：１である色形式の画像（例えば、後述のＹＵＶ４：２：０色形式の画像に相当）を符号化して得られたものであることを特徴とする動画像復号装置を提案している。

この発明によれば、（１）から（４）のいずれかの動画像復号装置において、基準となる色成分と、予測対象となる色成分と、の画素数比が、水平方向に２：１で、垂直方向に２：１である色形式の画像を符号化して得られた信号の復号において、上述の効果を奏することができる。

（８） 本発明は、（１）から（７）のいずれかの動画像復号装置について、前記符号化された信号に基づいて、変換ブロック内における前記基準となる色成分と前記予測対象となる色成分との変換基底を比較する基底比較手段（例えば、後述の基底比較部に相当）を備え、前記予測係数復号手段は、前記基底比較手段により変換基底が異なると判定された場合には、前記予測係数をゼロとすることを特徴とする動画像復号装置を提案している。

この発明によれば、（１）から（７）のいずれかの動画像復号装置において、変換ブロック内における基準となる色成分と予測対象となる色成分との変換基底が異なる場合、予測係数をゼロにすることとした。このため、変換ブロック内における基準となる色成分と予測対象となる色成分との変換基底が異なる場合に、予測係数復号手段による処理負荷を軽減することができる。

（９） 本発明は、（１）から（７）のいずれかの動画像復号装置について、変換ブロックのサイズごとに変換基底が定められている場合に、前記符号化された信号に基づいて、変換ブロック内における前記基準となる色成分と前記予測対象となる色成分との変換基底を比較する基底比較手段を備え、前記予測係数復号手段は、前記基底比較手段により変換基底が異なると判定された場合には、前記予測係数をゼロとすることを特徴とする動画像復号装置を提案している。

この発明によれば、（１）から（７）のいずれかの動画像復号装置において、変換ブロックのサイズごとに変換基底が定められており、変換ブロック内における基準となる色成分と予測対象となる色成分との変換基底が異なる場合、予測係数をゼロにすることとした。このため、変換ブロックのサイズごとに変換基底が定められており、変換ブロック内における基準となる色成分と予測対象となる色成分との変換基底が異なる場合に、予測係数復号手段による処理負荷を軽減することができる。

（１０） 本発明は、予測係数復号手段（例えば、図１の予測係数復号部１３に相当）、基準変換係数レベル復号手段（例えば、図１の輝度変換係数レベル復号部１２に相当）、対象変換係数レベル復号手段（例えば、図１の色差変換係数レベル復号部１４に相当）、基準量子化係数導出手段（例えば、図１の輝度量子化係数復号部１１に相当）、予測対象量子化係数導出手段（例えば、図１の色差量子化係数復号部１５に相当）、実予測係数導出手段（例えば、図１の実係数導出部１６に相当）、対象変換係数実レベル導出手段（例えば、図１の色差変換係数実レベル導出部１７に相当）、基準逆変換手段（例えば、図１の輝度逆量子化・逆変換部１８に相当）、および予測対象逆変換手段（例えば、図１の色差逆量子化・逆変換部１９に相当）を備え、複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置（例えば、図１の動画像復号装置１に相当）における動画像復号方法であって、前記予測係数復号手段が、符号化された信号（例えば、図１のビットストリームＳＩＧ１に相当）から、予測係数（例えば、図１の予測係数ＳＩＧ４に相当）を復号する第１のステップと、前記基準変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分（例えば、後述の輝度成分に相当）について、予測残差信号の変換係数レベル（例えば、図１の輝度成分の予測残差信号の変換係数レベルＳＩＧ３に相当）を復号する第２のステップと、前記対象変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分（例えば、後述の色差成分に相当）について、予測残差信号の変換係数レベル（例えば、図１の色差成分の予測残差信号の変換係数レベルＳＩＧ５に相当）を復号する第３のステップと、前記基準量子化係数導出手段が、前記符号化された信号から、前記基準となる色成分の量子化係数（例えば、図１の輝度量子化係数ＳＩＧ２に相当）を導出する第４のステップと、前記予測対象量子化係数導出手段が、前記符号化された信号から、前記予測対象となる色成分の量子化係数（例えば、図１の色差量子化係数ＳＩＧ６に相当）を導出する第５のステップと、前記実予測係数導出手段が、前記第１のステップにおいて復号された予測係数と、前記第４のステップにおいて導出された量子化係数と、前記第５のステップにおいて導出された量子化係数と、に基づいて、実予測係数（例えば、図１の実予測係数ＳＩＧ７に相当）を導出する第６のステップと、前記対象変換係数実レベル導出手段が、前記第２のステップにおいて復号された予測残差信号の変換係数レベルと、前記第３のステップにおいて復号された予測残差信号の変換係数レベルと、前記第６のステップにおいて導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベル（例えば、図１の色差変換係数実レベルＳＩＧ８に相当）を導出する第７のステップと、前記基準逆変換手段が、前記第２のステップにおいて復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号（例えば、図１の輝度成分の残差信号ＳＩＧ９に相当）を導出する第８のステップと、前記予測対象逆変換手段が、前記第７のステップにおいて導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号（例えば、図１の色差成分の残差信号ＳＩＧ１０に相当）を導出する第９のステップと、を備えることを特徴とする動画像復号方法を提案している。

この発明によれば、予測係数と、基準となる色成分の量子化係数と、予測対象となる色成分の量子化係数と、に基づいて、実予測係数を導出することとした。また、基準となる色成分の予測残差信号の変換係数レベルと、予測対象となる色成分の予測残差信号の変換係数レベルと、実予測係数と、に基づいて、予測対象となる色成分の変換係数実レベルを導出することとした。このため、上述した効果と同様の効果を奏することができる。

（１１） 本発明は、予測係数復号手段（例えば、図１の予測係数復号部１３に相当）、基準変換係数レベル復号手段（例えば、図１の輝度変換係数レベル復号部１２に相当）、対象変換係数レベル復号手段（例えば、図１の色差変換係数レベル復号部１４に相当）、基準量子化係数導出手段（例えば、図１の輝度量子化係数復号部１１に相当）、予測対象量子化係数導出手段（例えば、図１の色差量子化係数復号部１５に相当）、実予測係数導出手段（例えば、図１の実係数導出部１６に相当）、対象変換係数実レベル導出手段（例えば、図１の色差変換係数実レベル導出部１７に相当）、基準逆変換手段（例えば、図１の輝度逆量子化・逆変換部１８に相当）、および予測対象逆変換手段（例えば、図１の色差逆量子化・逆変換部１９に相当）を備え、複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置（例えば、図１の動画像復号装置１に相当）における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記予測係数復号手段が、符号化された信号（例えば、図１のビットストリームＳＩＧ１に相当）から、予測係数（例えば、図１の予測係数ＳＩＧ４に相当）を復号する第１のステップと、前記基準変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分（例えば、後述の輝度成分に相当）について、予測残差信号の変換係数レベル（例えば、図１の輝度成分の予測残差信号の変換係数レベルＳＩＧ３に相当）を復号する第２のステップと、前記対象変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分（例えば、後述の色差成分に相当）について、予測残差信号の変換係数レベル（例えば、図１の色差成分の予測残差信号の変換係数レベルＳＩＧ５に相当）を復号する第３のステップと、前記基準量子化係数導出手段が、前記符号化された信号から、前記基準となる色成分の量子化係数（例えば、図１の輝度量子化係数ＳＩＧ２に相当）を導出する第４のステップと、前記予測対象量子化係数導出手段が、前記符号化された信号から、前記予測対象となる色成分の量子化係数（例えば、図１の色差量子化係数ＳＩＧ６に相当）を導出する第５のステップと、前記実予測係数導出手段が、前記第１のステップにおいて復号された予測係数と、前記第４のステップにおいて導出された量子化係数と、前記第５のステップにおいて導出された量子化係数と、に基づいて、実予測係数（例えば、図１の実予測係数ＳＩＧ７に相当）を導出する第６のステップと、前記対象変換係数実レベル導出手段が、前記第２のステップにおいて復号された予測残差信号の変換係数レベルと、前記第３のステップにおいて復号された予測残差信号の変換係数レベルと、前記第６のステップにおいて導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベル（例えば、図１の色差変換係数実レベルＳＩＧ８に相当）を導出する第７のステップと、前記基準逆変換手段が、前記第２のステップにおいて復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号（例えば、図１の輝度成分の残差信号ＳＩＧ９に相当）を導出する第８のステップと、前記予測対象逆変換手段が、前記第７のステップにおいて導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号（例えば、図１の色差成分の残差信号ＳＩＧ１０に相当）を導出する第９のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、予測係数と、基準となる色成分の量子化係数と、予測対象となる色成分の量子化係数と、に基づいて、実予測係数を導出することとした。また、基準となる色成分の予測残差信号の変換係数レベルと、予測対象となる色成分の予測残差信号の変換係数レベルと、実予測係数と、に基づいて、予測対象となる色成分の変換係数実レベルを導出することとした。このため、上述した効果と同様の効果を奏することができる。

本発明によれば、変換空間で色成分間の相関を用いた動画像の復号において、必要とする記憶容量の削減と、処理負荷の軽減と、を実現することができる。

本発明の第１実施形態に係る動画像復号装置のブロック図である。 本発明の第２実施形態に係る動画像復号装置のブロック図である。 本発明の第３実施形態に係る動画像復号装置のブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
［動画像復号装置１の構成および動作］
図１は、本発明の第１実施形態に係る動画像復号装置１のブロック図である。動画像復号装置１は、ＹＵＶ４：４：４色形式の画像を予め符号化して生成されたビットストリームＳＩＧ１について、輝度成分を基準となる色成分とし、色差成分を予測対象となる色成分として、変換空間で色成分間相関を用いて復号して出力画像ＳＩＧ１４を得る。この動画像復号装置１は、輝度量子化係数復号部１１、輝度変換係数レベル復号部１２、予測係数復号部１３、色差変換係数レベル復号部１４、色差量子化係数復号部１５、実係数導出部１６、色差変換係数実レベル導出部１７、輝度逆量子化・逆変換部１８、色差逆量子化・逆変換部１９、フレームバッファ２０、およびイントラ・インター予測部２１を備える。

輝度量子化係数復号部１１は、ビットストリームＳＩＧ１を入力とする。この輝度量子化係数復号部１１は、ビットストリームＳＩＧ１から、輝度量子化係数ＳＩＧ２を導出して出力する。

輝度変換係数レベル復号部１２は、ビットストリームＳＩＧ１を入力とする。この輝度変換係数レベル復号部１２は、ビットストリームＳＩＧ１から、輝度成分の予測残差信号の変換係数レベルＳＩＧ３を復号して出力する。

予測係数復号部１３は、ビットストリームＳＩＧ１を入力とする。この予測係数復号部１３は、ビットストリームＳＩＧ１から、上述の数式（２）のαを予測係数ＳＩＧ４として復号して出力する。

色差変換係数レベル復号部１４は、ビットストリームＳＩＧ１を入力とする。この色差変換係数レベル復号部１４は、ビットストリームＳＩＧ１から、色差成分の予測残差信号の変換係数レベルＳＩＧ５を復号して出力する。

色差量子化係数復号部１５は、ビットストリームＳＩＧ１を入力とする。この色差量子化係数復号部１５は、ビットストリームＳＩＧ１から、色差量子化係数ＳＩＧ６を導出して出力する。

実係数導出部１６は、輝度量子化係数ＳＩＧ２と、予測係数ＳＩＧ４と、色差量子化係数ＳＩＧ６と、を入力とする。この実係数導出部１６は、これら入力された信号に基づいて、実予測係数ＳＩＧ７を導出して出力する。実予測係数ＳＩＧ７の導出は、例えば、輝度量子化係数ＳＩＧ２と予測係数ＳＩＧ４とを乗算し、この乗算結果を色差量子化係数ＳＩＧ６で除算することによって、実現できる。なお、輝度量子化係数ＳＩＧ２および色差量子化係数ＳＩＧ６の組み合せごとの、輝度量子化係数ＳＩＧ２を色差量子化係数ＳＩＧ６で除算した結果が定められているテーブルを、予め用意しておいてもよい。このテーブルを用意しておくことで、上述の除算が不要になり、除算による桁落ちを考慮する必要がなくなるため、処理負荷をさらに軽減することができる。

色差変換係数実レベル導出部１７は、輝度成分の予測残差信号の変換係数レベルＳＩＧ３と、色差成分の予測残差信号の変換係数レベルＳＩＧ５と、実予測係数ＳＩＧ７と、を入力とする。この色差変換係数実レベル導出部１７は、これら入力された信号に基づいて、色差変換係数実レベルＳＩＧ８を導出して出力する。色差変換係数実レベルＳＩＧ８の導出は、例えば、輝度成分の予測残差信号の変換係数レベルＳＩＧ３と実予測係数ＳＩＧ７とを乗算し、この乗算結果に色差成分の予測残差信号の変換係数レベルＳＩＧ５を加算することによって、実現できる。

輝度逆量子化・逆変換部１８は、輝度成分の予測残差信号の変換係数レベルＳＩＧ３を入力とする。この輝度逆量子化・逆変換部１８は、輝度成分の予測残差信号の変換係数レベルＳＩＧ３を逆量子化および逆変換して、輝度成分の残差信号ＳＩＧ９を導出して出力する。

色差逆量子化・逆変換部１９は、色差変換係数実レベルＳＩＧ８を入力とする。この色差逆量子化・逆変換部１９は、色差変換係数実レベルＳＩＧ８を逆量子化および逆変換して、色差成分の残差信号ＳＩＧ１０を導出して出力する。

フレームバッファ２０は、輝度成分の残差信号ＳＩＧ９と、色差成分の残差信号ＳＩＧ１０と、予測画像ＳＩＧ１３と、を加算して生成されるローカル復号画像ＳＩＧ１１を入力とする。このフレームバッファ２０は、入力されたローカル復号画像ＳＩＧ１１を蓄積し、適宜、ローカル復号画像ＳＩＧ１２としてイントラ・インター予測部２１に供給するとともに、蓄積したローカル復号画像ＳＩＧ１１を表示順に並び替えて出力画像ＳＩＧ１４として出力する。

イントラ・インター予測部２１は、ローカル復号画像ＳＩＧ１２を入力とする。このイントラ・インター予測部２１は、ローカル復号画像ＳＩＧ１２を用いて、適宜、イントラ予測またはインター予測を行って、イントラ予測画像またはインター予測画像を生成し、予測画像ＳＩＧ１３として出力する。

以上の動画像復号装置１によれば、以下の効果を奏することができる。

動画像復号装置１は、実係数導出部１６により、輝度量子化係数ＳＩＧ２と、予測係数ＳＩＧ４と、色差量子化係数ＳＩＧ６と、に基づいて、実予測係数ＳＩＧ７を導出する。また、色差変換係数実レベル導出部１７により、輝度成分の予測残差信号の変換係数レベルＳＩＧ３と、色差成分の予測残差信号の変換係数レベルＳＩＧ５と、実予測係数ＳＩＧ７と、に基づいて、色差変換係数実レベルＳＩＧ８を導出する。このため、輝度成分の予測残差信号の復号結果を用いることなく、色差成分の予測残差信号の復号を行うことができる。したがって、色差成分の予測残差信号の復号が完了するまで、輝度成分の予測残差信号の復号結果を記憶しておく必要がないため、必要とする記憶容量を削減することができる。また、逆変換後の信号に対して色成分間の相関を復元するわけではないので、変換ブロック内の全ての信号に対して上述の数式（２）の計算を行うわけではなく、処理負荷を軽減することができる。

＜第２実施形態＞
［動画像復号装置２の構成および動作］
図２は、本発明の第２実施形態に係る動画像復号装置２のブロック図である。動画像復号装置２は、図１に示した本発明の第１実施形態に係る動画像復号装置１とは、実係数導出部１６および色差変換係数実レベル導出部１７の代わりに色差変換係数実レベル導出部１７Ａを備える点が異なる。なお、動画像復号装置２において、動画像復号装置１と同一構成要件については、同一符号を付し、その説明を省略する。

色差変換係数実レベル導出部１７Ａは、輝度量子化係数ＳＩＧ２と、輝度成分の予測残差信号の変換係数レベルＳＩＧ３と、予測係数ＳＩＧ４と、色差成分の予測残差信号の変換係数レベルＳＩＧ５と、色差量子化係数ＳＩＧ６と、を入力とする。この色差変換係数実レベル導出部１７Ａは、これら入力された信号に基づいて、色差変換係数実レベルＳＩＧ８を導出して出力する。色差変換係数実レベルＳＩＧ８の導出は、例えば、輝度量子化係数ＳＩＧ２と輝度成分の予測残差信号の変換係数レベルＳＩＧ３と予測係数ＳＩＧ４とを乗算するとともに、色差成分の予測残差信号の変換係数レベルＳＩＧ５と色差量子化係数ＳＩＧ６とを乗算し、これら２種類の乗算結果を加算することによって実現できる。

以上の動画像復号装置２によれば、動画像復号装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

動画像復号装置２は、動画像復号装置１に設けられた実係数導出部１６および色差変換係数実レベル導出部１７の代わりに色差変換係数実レベル導出部１７Ａを備えており、色差変換係数実レベル導出部１７Ａは、輝度量子化係数ＳＩＧ２と輝度成分の予測残差信号の変換係数レベルＳＩＧ３と予測係数ＳＩＧ４とを乗算するとともに、色差成分の予測残差信号の変換係数レベルＳＩＧ５と色差量子化係数ＳＩＧ６とを乗算し、これら２種類の乗算結果を加算することによって、色差変換係数実レベルＳＩＧ８を導出することができる。このため、実係数導出部１６において行われていた除算が不要になり、除算による桁落ちを考慮する必要がなくなるため、処理負荷をさらに軽減することができる。

＜第３実施形態＞
［動画像復号装置３の構成および動作］
図３は、本発明の第３実施形態に係る動画像復号装置３のブロック図である。動画像復号装置３は、図１に示した本発明の第１実施形態に係る動画像復号装置１とは、輝度量子化係数復号部１１、色差量子化係数復号部１５、実係数導出部１６、および色差変換係数実レベル導出部１７の代わりに、色差変換係数実レベル導出部１７Ｂを備える点が異なる。なお、動画像復号装置３において、動画像復号装置１と同一構成要件については、同一符号を付し、その説明を省略する。

動画像復号装置３は、輝度成分の量子化係数と、色差成分の量子化係数と、が同一である場合に用いられる動画像復号装置である。このため、図１に示した実予測係数ＳＩＧ７の導出を行わず、色差変換係数実レベル導出部１７Ｂにより、予測係数ＳＩＧ４をそのまま用いて色差変換係数実レベルＳＩＧ８を導出する。

具体的には、色差変換係数実レベル導出部１７Ｂは、輝度成分の予測残差信号の変換係数レベルＳＩＧ３と、予測係数ＳＩＧ４と、色差成分の予測残差信号の変換係数レベルＳＩＧ５と、を入力とする。この色差変換係数実レベル導出部１７Ｂは、これら入力された信号に基づいて、色差変換係数実レベルＳＩＧ８を導出して出力する。色差変換係数実レベルＳＩＧ８の導出は、例えば、輝度成分の予測残差信号の変換係数レベルＳＩＧ３と予測係数ＳＩＧ４とを乗算し、この乗算結果に色差成分の予測残差信号の変換係数レベルＳＩＧ５を加算することによって、実現できる。

以上の動画像復号装置３によれば、動画像復号装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

動画像復号装置３は、実予測係数ＳＩＧ７の導出を行うことなく、色差変換係数実レベルＳＩＧ８を導出することができる。このため、処理負荷をさらに軽減できる。

なお、本発明の動画像復号装置１、２、３の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像復号装置１、２、３に読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像復号装置１、２、３に設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像復号装置１、２、３から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像復号装置１、２、３にすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の各実施形態では、ビットストリームＳＩＧ１は、ＹＵＶ４：４：４色形式の画像を符号化して得られたものとしたが、これに限らない。例えば、基準色成分（例えば上述の輝度）と予測対象色成分（例えば上述の色差）との画素比が１：１の色形式の画像、例えばＲＧＢ４：４：４色形式の画像を符号化して得られたものであってもよい。また、基準色成分と予測対象色成分との画素数比が、水平方向に１：１で、垂直方向が２：１である色形式の画像を符号化して得られたもの、例えばＹＵＶ４：２：２色形式の画像を符号化して得られたものであってもよい。また、基準色成分と予測対象色成分との画素数比が、水平方向に２：１で、垂直方向が２：１である色形式の画像を符号化して得られたもの、例えばＹＵＶ４：２：０色形式の画像を符号化して得られたものであってもよい。

また、上述の各実施形態において、基準色成分（例えば上述の輝度成分）と予測対象色成分（例えば上述の色差成分）とで基底が異なる場合には、予測係数ＳＩＧ４をゼロとみなすこととしてもよい。この場合、基底が異なるか否かを求めるために、基底比較部を設ける必要がある。基底比較部は、ビットストリームＳＩＧ１を入力とし、変換ブロック内における基準色成分と予測対象色成分との変換基底を比較し、比較結果を予測係数復号部１３に出力する。予測係数復号部１３は、比較結果に基づいて、基底が異なる場合には、予測係数ＳＩＧ４をゼロとし、基底が一致する場合には、上述の各実施形態における方法により予測係数ＳＩＧ４を求める。

また、上述の各実施形態において、変換ブロックのサイズごとに基底が定められており、基準信号について定められている基底と、予測対象信号について定められている基底と、が異なる場合に、予測係数ＳＩＧ４をゼロとみなすこととしてもよい。この場合、基底が異なるか否かを求めるために、変換基底決定部を設ける必要がある。変換基底決定部は、ビットストリームＳＩＧ１を入力とし、色成分ごとに、利用する変換ブロックサイズを求め、求めた変換ブロックサイズに応じた基底を求める。そして、色成分ごとに求めた変換基底を比較し、比較結果を予測係数復号部１３に出力する。予測係数復号部１３は、比較結果に基づいて、基底が異なる場合には、予測係数ＳＩＧ４をゼロとし、基底が一致する場合には、上述の各実施形態における方法により予測係数ＳＩＧ４を求める。

１、２、３・・・動画像復号装置
１１・・・輝度量子化係数復号部
１２・・・輝度変換係数レベル復号部
１３・・・予測係数復号部
１４・・・色差変換係数レベル復号部
１５・・・色差量子化係数復号部
１６・・・実係数導出部
１７、１７Ａ、１７Ｂ・・・色差変換係数実レベル導出部
１８・・・輝度逆量子化・逆変換部
１９・・・色差逆量子化・逆変換部
２０・・・フレームバッファ
２１・・・イントラ・インター予測部

Claims (11)

1. 複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置であって、
   符号化された信号から、予測係数を復号する予測係数復号手段と、
   前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分について、予測残差信号の変換係数レベルを復号する基準変換係数レベル復号手段と、
   前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分について、予測残差信号の変換係数レベルを復号する対象変換係数レベル復号手段と、
   前記符号化された信号から、前記基準となる色成分の量子化係数を導出する基準量子化係数導出手段と、
   前記符号化された信号から、前記予測対象となる色成分の量子化係数を導出する予測対象量子化係数導出手段と、
   前記予測係数復号手段により復号された予測係数と、前記基準量子化係数導出手段により導出された量子化係数と、前記予測対象量子化係数導出手段により導出された量子化係数と、に基づいて、実予測係数を導出する実予測係数導出手段と、
   前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記対象変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記実予測係数導出手段により導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベルを導出する対象変換係数実レベル導出手段と、
   前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号を導出する基準逆変換手段と、
   前記対象変換係数実レベル導出手段により導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号を導出する予測対象逆変換手段と、を備えることを特徴とする動画像復号装置。
2. 前記実予測係数導出手段は、
   前記予測係数復号手段により復号された予測係数と、前記基準量子化係数導出手段により導出された量子化係数と、を乗算して第１の乗算結果を求め、
   前記第１の乗算結果を、前記予測対象量子化係数導出手段により導出された量子化係数で除算して、前記実予測係数を導出することを特徴とする請求項１に記載の動画像復号装置。
3. 前記実予測係数導出手段は、
   前記基準量子化係数導出手段により導出された量子化係数と、前記予測対象量子化係数導出手段により導出された量子化係数と、の組み合せごとの、前記基準量子化係数導出手段により導出された量子化係数を前記予測対象量子化係数導出手段により導出された量子化係数で除算した結果が定められているテーブルを備えることを特徴とする請求項２に記載の動画像復号装置。
4. 対象変換係数実レベル導出手段は、
   前記基準変換係数レベル復号手段により復号された予測残差信号の変換係数レベルと、前記実予測係数導出手段により導出された実予測係数と、を乗算して第２の乗算結果を求め、
   前記第２の乗算結果に、前記対象変換係数レベル復号手段により復号された予測残差信号の変換係数レベルを加算して、前記予測対象となる色成分の変換係数実レベルを導出することを特徴とする請求項１から３のいずれかに記載の動画像復号装置。
5. 前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が１：１の色形式の画像を符号化して得られたものであることを特徴とする請求項１から４のいずれかに記載の動画像復号装置。
6. 前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が、水平方向に１：１で、垂直方向に２：１である色形式の画像を符号化して得られたものであることを特徴とする請求項１から４のいずれかに記載の動画像復号装置。
7. 前記符号化された信号は、前記基準となる色成分と、前記予測対象となる色成分と、の画素数比が、水平方向に２：１で、垂直方向に２：１である色形式の画像を符号化して得られたものであることを特徴とする請求項１から４のいずれかに記載の動画像復号装置。
8. 前記符号化された信号に基づいて、変換ブロック内における前記基準となる色成分と前記予測対象となる色成分との変換基底を比較する基底比較手段を備え、
   前記予測係数復号手段は、前記基底比較手段により変換基底が異なると判定された場合には、前記予測係数をゼロとすることを特徴とする請求項１から７のいずれかに記載の動画像復号装置。
9. 変換ブロックのサイズごとに変換基底が定められている場合に、前記符号化された信号に基づいて、変換ブロック内における前記基準となる色成分と前記予測対象となる色成分との変換基底を比較する基底比較手段を備え、
   前記予測係数復号手段は、前記基底比較手段により変換基底が異なると判定された場合には、前記予測係数をゼロとすることを特徴とする請求項１から７のいずれかに記載の動画像復号装置。
10. 予測係数復号手段、基準変換係数レベル復号手段、対象変換係数レベル復号手段、基準量子化係数導出手段、予測対象量子化係数導出手段、実予測係数導出手段、対象変換係数実レベル導出手段、基準逆変換手段、および予測対象逆変換手段を備え、複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置における動画像復号方法であって、
    前記予測係数復号手段が、符号化された信号から、予測係数を復号する第１のステップと、
    前記基準変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分について、予測残差信号の変換係数レベルを復号する第２のステップと、
    前記対象変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分について、予測残差信号の変換係数レベルを復号する第３のステップと、
    前記基準量子化係数導出手段が、前記符号化された信号から、前記基準となる色成分の量子化係数を導出する第４のステップと、
    前記予測対象量子化係数導出手段が、前記符号化された信号から、前記予測対象となる色成分の量子化係数を導出する第５のステップと、
    前記実予測係数導出手段が、前記第１のステップにおいて復号された予測係数と、前記第４のステップにおいて導出された量子化係数と、前記第５のステップにおいて導出された量子化係数と、に基づいて、実予測係数を導出する第６のステップと、
    前記対象変換係数実レベル導出手段が、前記第２のステップにおいて復号された予測残差信号の変換係数レベルと、前記第３のステップにおいて復号された予測残差信号の変換係数レベルと、前記第６のステップにおいて導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベルを導出する第７のステップと、
    前記基準逆変換手段が、前記第２のステップにおいて復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号を導出する第８のステップと、
    前記予測対象逆変換手段が、前記第７のステップにおいて導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号を導出する第９のステップと、を備えることを特徴とする動画像復号方法。
11. 予測係数復号手段、基準変換係数レベル復号手段、対象変換係数レベル復号手段、基準量子化係数導出手段、予測対象量子化係数導出手段、実予測係数導出手段、対象変換係数実レベル導出手段、基準逆変換手段、および予測対象逆変換手段を備え、複数の色成分を有する動画像について、変換空間で色成分間の相関を用いて復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
    前記予測係数復号手段が、符号化された信号から、予測係数を復号する第１のステップと、
    前記基準変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた基準となる色成分について、予測残差信号の変換係数レベルを復号する第２のステップと、
    前記対象変換係数レベル復号手段が、前記符号化された信号から、前記複数の色成分のうち予め定められた予測対象となる色成分について、予測残差信号の変換係数レベルを復号する第３のステップと、
    前記基準量子化係数導出手段が、前記符号化された信号から、前記基準となる色成分の量子化係数を導出する第４のステップと、
    前記予測対象量子化係数導出手段が、前記符号化された信号から、前記予測対象となる色成分の量子化係数を導出する第５のステップと、
    前記実予測係数導出手段が、前記第１のステップにおいて復号された予測係数と、前記第４のステップにおいて導出された量子化係数と、前記第５のステップにおいて導出された量子化係数と、に基づいて、実予測係数を導出する第６のステップと、
    前記対象変換係数実レベル導出手段が、前記第２のステップにおいて復号された予測残差信号の変換係数レベルと、前記第３のステップにおいて復号された予測残差信号の変換係数レベルと、前記第６のステップにおいて導出された実予測係数と、に基づいて、前記予測対象となる色成分の変換係数実レベルを導出する第７のステップと、
    前記基準逆変換手段が、前記第２のステップにおいて復号された予測残差信号の変換係数レベルを逆量子化および逆変換して、前記基準となる色成分の予測残差信号を導出する第８のステップと、
    前記予測対象逆変換手段が、前記第７のステップにおいて導出された変換係数実レベルを逆量子化および逆変換して、前記予測対象となる色成分の予測残差信号を導出する第９のステップと、をコンピュータに実行させるためのプログラム。

Images