JP7526552B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

従来、一次変換後の係数に対して二次変換を行うＲＳＴ（Ｒｅｄｕｃｅｄ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）（非特許文献２参照）及びＬＦＮＳＴ（Ｌｏｗ-Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）（非特許文献1参照）という技術が知られている。

Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ５）、ＪＶＥＴ-Ｎ１００１ ＣＥ６：Ｒｅｄｕｃｅｄ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ（ＲＳＴ）（ＣＥ６-３.１）、ＪＶＥＴ-Ｎ０１９３ Ａｌｇｏｒｉｔｈｍ ｄｅｓｃｒｉｐｔｉｏｎ ｆｏｒ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ａｎｄ Ｔｅｓｔ Ｍｏｄｅｌ ５ （ＶＴＭ ５）， ＪＶＥＴ－Ｎ１００２

しかしながら、上述の従来技術では、係数の復号時に、非ゼロ係数の個数をカウントするカウンタを複数種類備え、カウンタの値を元に二次変換の適用有無を判定する。よって、二次変換の適用有無を判断するためだけに、係数のカウント処理を追加する必要がある。係数の復号処理は、高いスループットが必要とされる処理であるが、そこに追加の処理を行うことで処理負荷が増大してしまうという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、二次変換の適用有無を判定するための追加処理を省略でき、処理の高速化が期待できる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、画像復号装置であって、逆変換により予測残差信号を生成するように構成されている逆変換部を備え、前記逆変換部は、対象ブロックに対する二次変換の適用有無について判定し、前記判定結果に応じて変換係数の復号方法を制御するように構成されていることを要旨とする。

本発明の第２の特徴は、画像復号装置であって、逆変換により予測残差信号を生成するように構成されている逆変換部を備え、前記逆変換部は、対象ブロックのサイズにより、前記対象ブロックの二次変換インデックスの復号方法を制御するように構成されていることを要旨とする。

本発明の第３の特徴は、画像復号装置であって、逆変換により予測残差信号を生成するように構成されている逆変換部を備え、前記逆変換部は、対象ブロックの非ゼロ係数の発生位置を示す情報により、前記対象ブロックの二次変換インデックスの復号方法を制御するように構成されていることを要旨とする。

本発明の第３の特徴において、前記対象ブロックの前記非ゼロ係数の発生位置を示す情報が、前記対象ブロックに前記二次変換が適用されている場合に前記非ゼロ係数が発生し得ない係数位置を指している場合、前記逆変換部は、前記対象ブロックの前記二次変換インデックスを復号しないように構成されていてもよい。

本発明の第３の特徴において、前記対象ブロックの前記非ゼロ係数の発生位置を示す情報が、前記対象ブロックの直流成分の係数位置を指している場合、前記逆変換部は、前記対象ブロックの前記二次変換インデックスを復号しないように構成されていてもよい。

本発明の第４の特徴は、画像復号装置であって、逆変換により予測残差信号を生成するように構成されている逆変換部を備え、前記逆変換部は、対象ブロック内の非ゼロ係数の発生の有無を示すフラグにより、前記対象ブロックの二次変換インデックスの復号方法を制御するように構成されていることを要旨とする。

本発明の第５の特徴は、画像復号装置であって、逆変換により予測残差信号を生成するように構成されている逆変換部を備え、前記逆変換部は、対象ブロック内のサブブロック内の非ゼロ係数の発生の有無を示すフラグにより、前記対象ブロックの二次変換インデックスの復号方法を制御するように構成されていることを要旨とする。

本発明の第５の特徴において、前記サブブロック内の前記非ゼロ係数の発生の有無を示すフラグが、前記対象ブロックに前記二次変換が適用されている場合に前記非ゼロ係数が発生し得ないサブブロックにおいて前記非ゼロ係数が発生していることを示している場合、前記逆変換部は、前記対象ブロックの前記二次変換インデックスを復号しないように構成されていてもよい。

本発明の第６の特徴は、画像復号方法であって、逆変換により予測残差信号を生成する工程を有し、前記工程において、対象ブロックに対する二次変換の適用有無について判定し、前記判定結果に応じて変換係数の復号方法を制御することを要旨とする。

本発明の第７の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、逆変換により予測残差信号を生成するように構成されている逆変換部を備え、前記逆変換部は、対象ブロックに対する二次変換の適用有無について判定し、前記判定結果に応じて変換係数の復号方法を制御するように構成されていることを要旨とする。

本発明によれば、二次変換の適用有無を判定するための追加処理を省略でき、処理の高速化が期待できる画像復号装置、画像復号方法及びプログラムを提供することができる。

一実施形態に係る画像処理システム１の構成の一例を示す図である。 一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置１００の変換・量子化部１３１の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００の逆変換・逆量子化部２２０の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００の逆変換・逆量子化部２２０の機能の一例を説明するための図である。 一実施形態に係る画像復号装置２００の逆変換・逆量子化部２２０の機能の一例を説明するための図である。 第１実施形態に係る画像復号装置２００における二次変換適用有無判定方法及び係数の復号方法の一例について示すフローチャートである。 第１実施形態に係る画像復号装置２００における二次変換適用有無判定方法及び係数の復号方法の一例について示すフローチャートである。 第１実施形態の変更例１に係る画像復号装置２００における二次変換適用有無判定方法及び係数の復号方法の一例について示すフローチャートである。 第２実施形態について説明するための図である。 第３実施形態に係る画像復号装置２００における二次変換適用有無判定方法及び係数の復号方法の一例について示すフローチャートである。 第３実施形態に係る画像復号装置２００における二次変換適用有無判定方法及び係数の復号方法の一例について示すフローチャートである。

＜第１実施形態＞
以下、図１～図９を参照して、本発明の第１実施形態に係る画像処理システム１０について説明する。図１は、本実施形態に係る画像処理システム１０について示す図である。

図１に示すように、本実施形態に係る画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。

画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。

符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

（画像符号化装置１００）
以下、図２を参照して、本実施形態に係る画像符号化装置１００について説明する。図２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する予測動きベクトルを決定するように構成されている。

また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて予測ブロックに含まれる予測信号を予測ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。

ここで、参照ブロックは、予測対象のブロック（以下、対象ブロック）について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。

ここで、変換・量子化部１３１は、係数レベル値の量子化を行う場合は、量子化インデックスを出力するように構成されている。以降では、変換・量子化部１３１の出力を、量子化の適用の有無に関わらず、係数レベル値として記述する。

ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。

なお、変換処理は、量子化が行われる前に複数回実施されてもよい。一例として、２回目の変換処理を行う二次変換について後述する。

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。

ここで、例えば、符号化は、対象ブロック（符号化ブロック又は変換ブロック）の係数をカウントし、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。係数のカウント方法については後述する。

また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。

ここで、制御データは、符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）サイズ、予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）サイズ、変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズ等のサイズデータを含んでもよい。

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

（変換・量子化部１３１）
以下、図３を参照して、本実施形態に係る画像符号化装置１１０の変換・量子化部１３１について説明する。図３は、本実施形態に係る画像符号化装置１１０の変換・量子化部１３１の機能ブロックの一例について示す図である。

図１３に示すように、変換・量子化部１３１は、一次変換部１３１Ａと、二次変換部１３１Ｂ、量子化部１３１Ｃとを有する。

変換・量子化部１３１は、変換・量子化によって予測残差信号から係数レベル値を生成するように構成されている変換・量子化部の一例である。

一次変換部１３１Ａは、予測残差信号を入力として、対象ブロックの一次変換係数を生成するように構成されている。

ここで、一次変換処理に用いられる基底パターン（変換行列）は、複数の基底パターンから選択されてもよい。例えば、非特許文献１では、ＤＣＴ２、ＤＣＴ８、ＤＳＴ７に対応する基底パターンがそれぞれ用いられている。また、基底パターンの選択方法は、例えば、最も符号化コストが小さいものが画像符号化装置１００で選択され、選択された基底パターンがサイド情報として画像復号装置２００に伝送される方法がある。

二次変換部１３１Ｂは、一次変換部１３１Ａからの一次変換係数を入力として、対象ブロックに対する二次変換の適用有無について判定するように構成されている。

ここで、二次変換部１３１Ｂは、二次変換を適用すると判定した場合には、一次変換係数に変換処理を施すことによって二次変換係数を生成し、かかる二次変換係数を量子化部１３１Ｃに出力するように構成されている。

一方、二次変換部１３１Ｂは、二次変換を適用しないと判定した場合には、一次変換係数を量子化部１３１Ｃにそのまま出力するように構成されている。

また、二次変換部１３１Ｂは、二次変換の適用有無に関する情報（以下、二次変換インデックス）を符号化部１４０に出力するように構成されている。

量子化部１３１Ｃは、変換係数（一次変換係数又は二次変換係数）を入力として、対象ブロックの変換係数に対する量子化の適用有無を判定するように構成されている。

ここで、量子化部１３１Ｃは、量子化を適用すると判定した場合には、量子化インデックスを生成するように構成されている。なお、量子化の適用有無の判定方法や量子化インデックスの生成方法は、公知の方法を用いることができるため、詳細は省略する。

（符号化部１４０）
符号化部１４０は、二次変換が適用される場合、二次変換の適用確率に最適化したコンテキストを用いて係数レベル値を符号化するように構成されていてもよい。

（逆変換・逆量子化部１３２）
逆変換・逆量子化部１３２は、後述する画像復号装置２００における逆変換・逆量子化部２２０と同じ動作をするため、詳細は、逆変換・逆量子化部２２０の説明で後述し、以降は、逆変換・逆量子化部２２０と同一に扱うものとする。

（画像復号装置２００）
以下、図４を参照して、本実施形態に係る画像復号装置２００について説明する。図４は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

図４に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。

ここで、復号は、例えば、係数の発生確率に基づく、異なる長さの符号を割り当てるエントロピー符号化されたデータの復号である。
復号は、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

また、復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。

なお、上述したように、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のサイズデータを含んでもよい。

逆変換・逆量子化部２２０は、復号部２１０から出力される量子化インデックスの逆量子化及び復号部２１０から出力される係数レベル値の逆変換処理を行うことによって、予測残差信号を生成するように構成されている。

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部２４２及びインループフィルタ処理部２５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号とに基づいて予測信号を予測ブロック毎に生成するように構成されている。インター予測部２４１は、予測信号を加算器２３０に出力するように構成されている。

イントラ予測部２４２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、予測信号を加算器２３０に出力するように構成されている。

インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック、変換ブロック、あるいはそれらを分割したサブブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

（逆変換・逆量子化部２２０）
以下、図５を参照して、本実施形態に係る画像復号装置２００の逆変換・逆量子化部２２０について説明する。図５は、本実施形態に係る画像復号装置２００の逆変換・逆量子化部２２０の機能ブロックの一例について示す図である。

図５に示すように、逆変換・逆量子化部２２０は、逆量子化部２４２Ａと、逆二次変換部２４２Ｂと、逆一次変換部２４２Ｃとを有する。

逆量子化部２２０Ａでは、量子化インデックスを入力信号として、対象ブロックの変換係数を生成するように構成されている。量子化インデックスから係数レベル値を生成する方法としては、公知の方法を用いることができるため、詳細は省略する。

逆二次変換部２２０Ｂは、係数レベル値を入力として、対象ブロックの逆二次変換の適用有無を判定するように構成されている。

ここで、逆二次変換部２２０Ｂは、逆二次変換を適用すると判定した場合には、入力された係数レベル値に対して逆変換処理を施すことによって一次変換係数を生成し、かかる一次変換係数を一次変換係数部２２０Ｃに出力するように構成されている。

一方、逆二次変換部２２０Ｂは、二次変換を適用しないと判定した場合には、入力された係数レベル値を一次変換係数として一次変換係数部２２０Ｃにそのまま出力するように構成されている。

以降では、記述を簡素化するため、二次変換及び逆二次変換を総じて二次変換と呼称し、逆二次変換部における二次変換は、逆二次変換と適宜読み替えることとする。

なお、逆二次変換部２２０Ｂによって二次変換を適用するか否かについての判定方法については、後述する。

逆一次変換部２２０Ｃは、一次変換係数を入力として、対象ブロックの予測残差信号を生成するように構成されている。

ここで、逆一次変換処理に用いる基底パターン（変換行列）は、画像符号化装置１００の場合と同様に、複数の規定パターンから選択されてもよい。基底パターンの選択は、例えば、画像符号化装置１００から伝送されるサイド情報（画像符号化装置１００で選択された基底パターン情報）を用いて行われてもよい。

（二次変換の説明）
以下、図６を参照して、本実施形態に係る画像符号化装置１００及び画像復号装置２００によって行われる二次変換の一例について説明する。

二次変換とは、上述の通り、量子化前に、再度、対象ブロックの一次変換係数を変換する技術である。量子化前に、再度、一次変換係数を変換することで、係数レベル値が非ゼロの係数（以降、非ゼロ係数）が低周波領域により密集しやすくなり、後述する係数スキャン処理において、係数レベル値がゼロの係数（以降、ゼロ係数）が連続するようになるため、エントロピー符号化による更なる符号化向上効果が期待できる。

ここで、二次変換は、一次変換と同様に、複数の基底パターン（変換行列）が用いてもよい。例えば、非特許文献２のように、対象ブロックサイズ、イントラ予測モード、および二次変換インデックスによって、予め使用可能な基底パターンを設定してもよい。二次変換インデックスの値が０である場合は、二次変換が無効であることを示す。一方で、値が１以上である場合は、二次変換が有効であることを示す。また、かかる二次変換インデックスによって、例えば非特許文献２のように、２種類の基底パターンを適応的に選択してもよい。

また、二次変換の適用範囲は、対象ブロックのブロックサイズに応じて、適応的に設定されてもよい。例えば、図６は、非特許文献２における二次変換の適用範囲の一例を示す。

図６（ａ）に示すように、対象ブロックのブロックサイズが８×８画素である場合、二次変換の適用範囲Ｒ１は、６４個の一次変換係数の全てが対象となり、さらに、二次変換後の非ゼロ係数の発生領域Ｒ２は、二次変換係数の低周波領域（４×２画素）に限定され、その他の領域は、全てゼロ係数とされている（以下、ゼロイング）。

一方、図６（ｂ）に示すように、対象ブロックのブロックサイズがＭ×Ｎ（但し、Ｍ＞８、Ｎ＞８）画素である場合、二次変換の適用範囲Ｒ１は、４８個の低周波領域の一次変換係数となっている。すなわち、４８個の低周波領域以外の一次変換係数には、二次変換は適用されず、一次変換係数がそのまま扱われる。また、二次変換後の非ゼロ係数の発生領域は、二次変換係数の低周波領域（４×４画素）に限定され、その他の領域は、ゼロイングされる。

（係数の符号化方法）
以下、図７を参照して、係数レベル値の符号化方法について説明する。図７は、対象ブロックの係数レベル値のスキャン方法について示す図である。

係数のスキャン方法としては、例えば、非特許文献１にあるように、対象ブロックの最高周波成分の係数Ｃ１から最低周波成分の係数Ｃｘへと、左上方向へスキャンする方法（以降、斜めスキャン）が用いられてもよい（図７参照）。

自然画像においては、高周波領域で非ゼロ係数が発生しにくい。そのため、高周波成分から低周波成分へと斜めスキャンすることで、ゼロ係数を連続的に並べることができ、エントロピー符号化による符号化性能向上効果が期待できるようになる。

また、斜めスキャンの実行単位を、非特許文献１のように、対象ブロックを４×４画素に分割したサブブロック単位で行ってもよい。また、画像符号化装置１００は、サブブロック単位の非ゼロ係数の発生個数に応じて、非ゼロ係数の存在の有無を示すフラグ（ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇ）をから画像復号装置２００に伝送してもよい。

ここで、かかるフラグ（ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇ）を用いる理由は、例えば、１ビットのフラグ（ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇ）を用いて、非ゼロ係数が皆無のサブブロックを符号化及び復号できる点にある。

また、画像符号化装置１００は、かかるフラグ（ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇ）の符号化前に、スキャン順で、最初に非ゼロ係数が発生するサブブロックから、非ゼロ係数の発生の有無についての判定処理を行ってもよい。

ここで、画像符号化装置１００は、最初に非ゼロ係数が発生する位置情報（ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ）を画像復号装置２００に伝送してもよい。これにより、最初の非ゼロ係数の発生前のサブブロックは、非ゼロ係数が皆無であることは確定であるため、上述のフラグ（ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇ）の伝送が不要となり、符号量を節約できる。

なお、画像符号化装置１００は、例えば、非特許文献１のように、対象ブロックで最初に非ゼロ係数が発生する位置情報のｘ座標値及びｙ座標値を、プレフィックス部とサフィックス部とに分けて、符号化してもよい。

（二次変換適用有無判定方法と係数の復号方法）
図８及び図９は、画像復号装置２００における二次変換適用有無判定方法及び係数の復号方法の一例について示すフローチャートである。以下、図８を参照して、二次変換適用有無判定方法の一例について説明し、図９を参照して、係数の復号方法の一例について説明する。

図８に示すように、ステップＳ６１において、画像復号装置２００は、対象ブロックの非ゼロ係数の存在の有無を示すフラグ（ｃｂｆ）を復号する。ここで、ｃｂｆの値は、０、１のいずれかである。

ステップＳ６２において、画像復号装置２００は、ｃｂｆに基づいて、非ゼロ係数が存在するか否かについて判定する。

非ゼロ係数が存在しない（非ゼロ係数が０個である）と判定された場合（すなわち、ｃｂｆ＝０であると判定された場合）は、本処理は、終了する。

一方、非ゼロ係数が存在する（非ゼロ係数が１個以上である）と判定された場合（すなわち、ｃｂｆ＝１であると判定された場合）は、本処理は、ステップＳ６３に進む。

ここで、ｃｂｆは、輝度信号（Ｙ信号）及び色差信号（Ｃｂ信号及びＣｒ信号）それぞれについて別のフラグとして復号されてもよい。この場合、画像復号装置２００は、対象ブロックの輝度信号及び色差信号のブロック分割ツリー構造が異なる場合（Ｄｕａｌ Ｔｒｅｅ）と両者が同じ場合（Ｓｉｎｇｌｅ Ｔｒｅｅ）とで、以下のように判定してもよい。

画像復号装置２００は、Ｄｕａｌ Ｔｒｅｅ時のＹ信号では、Ｙ信号のｃｂｆ＝１の場合に、ステップＳ６３へ進み、そうでないときは、本処理を終了すると判定してもよい。

画像復号装置２００は、Ｄｕａｌ Ｔｒｅｅ時のＣｂ/Ｃｒ信号で且つＣｂ/Ｃｒ信号の少なくともいずれか一つのｃｂｆが１である場合は、ステップＳ６３へ進み、そうでないときは、本処理を終了すると判定してもよい。

画像復号装置２００は、Ｓｉｎｇｌｅ Ｔｒｅｅ時のＹ信号、Ｃｂ信号及びＣｒ信号の少なくともいずれか一つのｃｂｆが１である場合は、ステップＳ６３へ進み、そうでないときは、本処理を終了すると判定してもよい。

ステップＳ６３において、画像復号装置２００は、二次変換インデックス（ｌｆｎｓｔ#ｉｄｘ）を復号する。

ステップＳ６４において、画像復号装置２００は、スキャン順で、対象ブロックにおける最初の非ゼロ係数の発生位置を示す情報（ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ）を復号する。

ステップＳ６５において、画像復号装置２００は、係数の復号処理を行う（図９参照）。なお、画像復号装置２００は、上述の対象ブロックを分割したサブブロック単位で、かかる係数の復号処理を行う。

図９に示すように、ステップＳ６４１において、画像復号装置２００は、最初に非ゼロ係数が発生したサブブロックが、対象ブロックの中のスキャン順で最初又は最後のサブブロックであるか否かについて判定する。

最初又は最後のサブブロックの何れかであると判定された場合、かかるサブブロックには非ゼロ係数が存在することは自明であるため、本処理は、ステップＳ６４５に進む。

最初又は最後のサブブロックの何れでもないと判定された場合、ステップＳ６４２において、画像復号装置２００は、二次変換インデックス（ｓｔ#ｉｄｘ）に基づいて、かかるサブブロックにおいて二次変換が適用されているか否について判定する。

かかるサブブロックにおいて二次変換が適用されている（二次変換が有効である）と判定された場合で、且つ、かかるサブブロックにおいて二次変換に伴い全係数がゼロであることが自明である（ゼロイングされている）場合、ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇの復号が不要であるため、本処理は、ステップＳ６４６に進む。

一方、かかるサブブロックにおいて二次変換が適用されていない（二次変換が有効でない）と判定された場合、或いは、かかるサブブロックにおいて二次変換が適用されている場合でも非ゼロ係数が発生する可能性が残っている場合、本処理は、ステップＳ６４３に進む。

なお、ステップＳ６４１及びステップＳ６４２の順番は入れ替えられてもよい。

ステップＳ６４３において、画像復号装置２００は、非ゼロ係数の存在の有無を示すフラグ（ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇ）を復号する。

ステップＳ６４４において、画像復号装置２００は、ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇに基づいて、かかるサブブロック内の非ゼロ係数の存在有無について判定する。

画像復号装置２００は、ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇの値が０である場合には、非ゼロ係数が存在しないと判定し、本処理は、ステップＳ６４６に進む。

一方、画像復号装置２００は、ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇの値が１である場合には、非ゼロ係数が存在すると判定し、本処理は、ステップＳ６４５に進む。

ステップＳ６４５において、画像復号装置２００は、サブブロック内の各係数のレベル値を復号する。

ステップＳ６４６において、画像復号装置２００は、本処理対象のサブブロックが、最終ブロックであるか否かについて判定する。

最終ブロックでないと判定された場合は、本処理は、ステップＳ６４１に進み、スキャン順で次のサブブロックに移って本処理を再開し、最終ブロックであると判定された場合は、本処理は、終了する。

上述の逆二次変換適用有無判定方法及び係数の復号方法を用いることで、以下２つの効果が期待できる。

１つ目の効果は、二次変換インデックスを対象ブロックの係数の復号処理前に実施することで、従来技術で二次変換の適用有無判定に必要であった係数の復号処理を省略することができるということである。

具体的には、従来技術では、二次変換の適用有無判定に、２つのカウンタ（対象ブロックで発生した非ゼロ係数の個数測定カウンタおよび二次変換が有効時にゼロ係数の発生が自明な領域に対して発生した非ゼロ係数の発生カウンタ）を用いる必要があったが、本実施形態に係る技術を導入することで、いずれも省略することができる。

２つ目の効果は、二次変換が有効な場合、従来技術では、二次変換対象ブロックで全係数ゼロが自明なサブブロックに対して、ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇを冗長に復号又は符号化する必要があった。これに対して、本実施形態に係る技術を用いれば、かかる処理を省略することができるため、符号化性能の向上が期待できるということである。

＜変更例１＞
以下、図１０を参照して、上述の第１実施形態の変更例１について、上述の第１実施形態との相違点に着目して説明する。

図１０に示すフローチャートでは、図８に示すフローチャートに存在していなかったステップＳ６６が、ステップＳ６３の前に追加されている。

ここで、二次変換が明らかに有効ではない場合、二次変換インデックスの伝送が冗長になるため、図１０では、かかるステップＳ６６が追加されている。

例えば、二次変換の適用対象がイントラピクチャ或いはイントラブロックに限定される場合、所定条件に対象ブロックがイントラピクチャ或いはイントラブロックであるか否かについての判定を追加してもよい。

また、１つの符号化ブロックが、複数の予測ブロック又は変換ブロックに分割される場合は、二次変換の適用対象となる変換ブロックが増えるため、符号化性能の改善が期待できる一方で、符号化処理及び復号処理の遅延の増大が考えられる。

そのため、所定条件に、例えば、非特許文献１に記載の符号化ブロックを複数に分割してのイントラ予測（イントラ細分割予測）が有効時には、二次変換を無効として扱うことで、意図しない処理遅延の増大を抑制することができる。したがって、所定条件に、対象ブロックに対してイントラ細分割予測が適用されるか否かについての判定を追加してもよい。

＜変更例２＞
以下、上述の第１実施形態の変更例２について、上述の第１実施形態及び変更例１との相違点に着目して説明する。

上述の第１実施形態では、図８に示すように、二次変換インデックスの復号を符号化ブロック単位で行う例について説明した。

本変更例２では、符号化ブロックが複数の変換ブロックに分割される場合は、変換ブロック単位で二次変換インデックスの復号を行うように構成されていてもよい。

かかる構成によれば、二次変換インデックスを異なる変換ブロック単位で復号できることによって、二次変換の適用ブロック数が増大し、符号化性能の向上が期待できる。

＜第２実施形態＞
以下、図１１を参照して、本発明の第２実施形態について、上述の第１実施形態との相違点に着目して説明する。

本実施形態では、図１１に示すように、二次変換の適用有無に応じた対象ブロックの最初に非ゼロ係数が発生する位置情報（ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ）の復号方法を制御するように構成されている。

本実施形態は、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓの復号方法に関して上述の第１実施形態１と異なる（図８参照）。本実施形態は、それ以外の部分については上述の第１実施形態と同様の構成を有しているため、説明を省略する。

例えば、非特許文献２では、二次変換が有効なブロックで、対象ブロックサイズが４ｘ４又は８ｘ８である場合、二次変換の対象領域に対する非ゼロ係数の発生位置及び個数をそれぞれ最左上のサブブロック且つ８個と限定した。

このとき、非ゼロ係数の発生位置は、サブブロックのスキャン順を考慮すれば、図１１のように特定できる。

言い換えれば、二次変換が有効な場合、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓが、図１１に記載のスキャン順８～１５を示すことはあり得ない。

そのため、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓは、通常、ｘ座標値及びｙ座標値のプレフィックス及びサフィックスにより復号されるが、二次変換が有効な場合で且つ対象ブロックの非ゼロ係数発生位置及び個数が限定される場合は、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓの復号方法を、以下のように修正してもよい。

例えば、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓを係数のスキャン順で、非ゼロ係数が発生する可能性のある０～７を範囲として、３ビットのインデックスで伝送できる。

従来技術では、ｘ座標値及びｙ座標値が、サブブロックに対してそれぞれ２ビットで表現されていたため、その分、符号量が節約でき、結果的に、符号化性能の向上効果が期待できる。

＜第３実施形態＞
以下、図１２及び図１３を参照して、本発明の第３実施形態について、上述の第１実施形態及び第２実施形態との相違点に着目して説明する。

本実施形態は、二次変換適用有無判定方法と係数の復号方法に関して第１実施形態１と異なる（図８参照）。本実施形態は、それ以外の部分については上述の第１実施形態と同様の構成を有しているため、説明を省略する。

図１２及び図１３は、本実施形態に係る画像復号装置２００における二次変換適用有無判定方法及び係数の復号方法の一例を示すフローチャートである。以下、かかるフローチャートを用いて、本実施形態に係る画像復号装置２００の動作の一例について説明する。

図１２に示すように、ステップＳ６１において、画像復号装置２００は、図８に示すステップＳ６１と同様に、対象ブロックの非ゼロ係数の存在有無を示すフラグ（ｃｂｆ）を復号する。

ステップＳ６２において、画像復号装置２００は、図８に示すステップＳ６２と同様に、ｃｂｆに基づいて、非ゼロ係数が存在するか否かについて判定する。

非ゼロ係数が存在しない（非ゼロ係数が０個である）と判定された場合（すなわち、ｃｂｆ＝０であると判定された場合）は、本処理は、ステップＳ９１に進む。

一方、非ゼロ係数が存在する（非ゼロ係数が１個以上である）と判定された場合（すなわち、ｃｂｆ＝１であると判定された場合）は、本処理は、ステップＳ６４に進む。

ステップＳ６４において、画像復号装置２００は、図８に示すステップＳ６４と同様に、スキャン順で、対象ブロックにおける最初の非ゼロ係数の発生位置を示す情報（ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ）を復号する。

ステップＳ９３において、画像復号装置２００は、図１３に示す係数の復号処理を行う。図１３に示す係数の復号処理は、図９に示すステップＳ６４２を含まない点を除いて、図９に示す係数の復号処理と同様である。

ステップＳ９１において、画像復号装置２００は、後述する所定条件が満たされているか否かについて判定する。かかる所定条件が満たされていると判定された場合、本動作は、ステップＳ９２に進み、かかる所定条件が満たされていないと判定された場合、本動作は、終了する。

ここで、所定条件は、対象ブロックサイズによる二次変換インデックスの復号の有無という条件であってもよい。

例えば、画像復号装置２００は、ステップＳ９１において、対象の符号化ブロックの幅又は高さの少なくともいずれかが６４より大きいと判定したとき、ステップＳ９２において、二次変換インデックスを復号しないと判定してもよい。かかる判定による効果は、以下の通りである。

非特許文献３では、仮想パイプラインデータユニット（ＶＰＤＵ：Ｖｉｒｔｕａｌ Ｐｉｐｅｌｉｎｅ Ｄａｔａ Ｕｎｉｔｓ）と呼ばれるデコーダのパイプライン処理単位を維持するためのツールが採用されている。ここで、非特許文献３では、ＶＰＤＵサイズは、６４ｘ６４画素と設定されており、変換ブロックの幅及び高さの最大値は、６４画素と設定されている。

そのため、仮に、対象の符号化ブロックの幅又は高さのいずれかが６４画素よりも大きい場合は、変換ブロックの幅及び高さが６４画素以下になるように分割される。

例えば、符号化ブロックサイズが１２８×１２８画素である場合は、当該符号化ブロック内に６４ｘ６４画素の変換ブロックが４つ含まれることになる。変換ブロックの最大サイズ及びＶＰＤＵのサイズが同じ大きさに規定されているため、変換ブロック毎に処理を行うことで、ＶＰＤＵで規定するパイプライン処理を維持することができる。

符号化ブロック内に複数の変換ブロックが含まれる場合、画像復号装置２００は、全ての変換ブロックについて、図１２に示すステップＳ６１、Ｓ６２、Ｓ６４及びＳ９３のそれぞれが実施した後、ステップＳ９１を実施する。

したがって、符号化ブロックの幅又は高さの少なくともいずれかが６４画素より大きいとき、二次変換インデックスの復号制御を行うために、対象ブロックを構成する全てのＶＰＤＵの処理が完了するのを待たなければならず、デコーダのパイプライン処理が遅延してしまう。

そこで、上述のように、二次変換インデックスの復号を制限しておけば、この処理遅延を回避できる効果が期待できる。

また、所定条件は、非ゼロ係数の発生位置情報（ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ）又は対象サブブロックの非ゼロ係数の発生有無を示すフラグ（ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇ）を用いて判定される二次変換インデックスの復号の有無という条件であってもよい。

例えば、所定条件は、非特許文献２に示す対象ブロックが４×４画素や８×８画素である場合のように、二次変換適用時の非ゼロ係数の発生領域が限定される場合、非ゼロ係数が発生し得ない領域に対して、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ又はｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇが非ゼロ係数の存在を示していないことという条件を含んでもよい。

例えば、所定条件は、対象ブロックのｃｂｆがゼロでないこと或いは対象ブロックのｌａｓｔ#ｃｏｅｆｆ#ｐｏｓがＤＣ成分（直流成分）を指していないことという条件を含んでもよい。

なお、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ及びｃｂｆによる判定は、対象ブロックの輝度信号（Ｙ信号）及び色差信号（Ｃｂ信号及びＣｒ信号）のブロック分割ツリー構造が異なる場合（Ｄｕａｌ Ｔｒｅｅ）と両者が同じ場合（Ｓｉｎｇｌｅ Ｔｒｅｅ）とで、以下のように判定してもよい。

Ｄｕａｌ Ｔｒｅｅ時のＹ信号で且つｌａｓｔ#ｃｏｅｆｆ#ｐｏｓがＤＣ成分又はｃｂｆが０である場合、画像復号装置２００は、二次変換インデックスについて復号しない。

Ｄｕａｌ Ｔｒｅｅ時のＣｂ/Ｃｒ信号で且つＣｂ/Ｃｒ信号の両方についてｌａｓｔ#ｃｏｅｆｆ#ｐｏｓがＤＣ成分又はｃｂｆが０である場合、画像復号装置２００は、二次変換インデックスについて復号しない。

Ｓｉｎｇｌｅ Ｔｒｅｅ時のＹ信号、Ｃｂ信号及びＣｒ信号の全てについてｌａｓｔ#ｃｏｅｆｆ#ｐｏｓがＤＣ成分又はｃｂｆが０である場合、画像復号装置２００は、二次変換インデックスについて復号しない。

或いは、Ｓｉｎｇｌｅ Ｔｒｅｅ時は、Ｙ信号のｌａｓｔ#ｃｏｅｆｆ#ｐｏｓがＤＣ成分又はｃｂｆが０である場合、画像復号装置２００は、二次変換インデックスについて復号しないとしてもよい。

かかる構成によれば、Ｃｂ信号及びＣｒ信号のｃｂｆ及びｌａｓｔ#ｃｏｅｆｆ#ｐｏｓの値に依存せずに二次変換インデックスの復号の有無について判定することができる。

以上の判定において、二次変換インデックスが復号されない場合は、暗黙的に二次変換インデックスが０であるとして扱われる（すなわち、二次変換を適用しないと判定される）。

上述のように、二次変換が適用される時の非ゼロ係数の発生領域が限定される場合、非ゼロ係数が発生し得ない領域に対して、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ又はｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇが非ゼロ係数の存在を示す場合、対象ブロックに対して二次変換が適用されないことは明らかである。

そのため、例えば、所定条件の判定において、対象ブロックが４×４画素又は８×８画素である場合で、非ゼロ係数が発生し得ない領域に対して、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ又はｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇが非ゼロ係数の存在を示す場合は、二次変換インデックスを復号しないとすることで、二次変換インデックスの伝送にかかる符号量を節約でき、結果的に符号化性能の向上効果を期待することができる。

また、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓが、対象ブロックのＤＣ成分を指す場合、対象ブロック内の非ゼロ係数は、ＤＣ成分のみである。一方で、二次変換が効果を発揮するのは、二次変換が非ゼロの一次変換係数を密集させるという性質上、非ゼロの一次変換が高周波成分にも存在する場合であるため、非ゼロの一次変換係数がＤＣ成分のみである場合には、二次変換を適用しなくてもよい。

そのため、例えば、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓが、対象ブロック内のＤＣ成分を指す場合、二次変換インデックスを復号しないと判定することで、二次変換インデックスの伝送にかかる符号量を節約でき、結果的に符号化性能の向上効果を期待することができる。

次に、対象ブロックのｃｂｆが０である場合、上述の通り、対象ブロック内の非ゼロ係数は、皆無であることから、対象ブロックには、二次変換が適用されないことが自明であるため、二次変換インデックスを復号しないと判定することで、二次変換インデックスの伝送にかかる符号量を節約でき、結果的に符号化性能の向上効果を期待することができる。

ステップＳ９２において、画像復号装置２００は、二次変換インデックスを復号して、本動作を終了する。

＜変更例３＞
以下、変更例３について、上述の第３実施形態との相違点に着目して説明する。変更例３では、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ及びｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇを用いて二次変換インデックス復号の有無について判定するように構成されている。

上述の第３実施形態では、対象ブロックの二次変換インデックスの復号の有無について、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓ及びｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇが、二次変換が適用される時に非ゼロ係数の発生が制限される領域に対して非ゼロ係数の存在を示す場合に、二次変換インデックスについて復号しないと判定していた。

一方、変更例３では、例えば、二次変換が適用される場合に、処理簡素化のために、対象ブロックの高周波成分が全てゼロになる（ゼロイングされる）場合は、ｃｏｄｅｄ#ｓｕｂ#ｂｌｏｃｋ#ｆｌａｇによる判定は、明らかに不要であるため、ｌａｓｔ#ｃｏｅｆｆ#ｐｏｓのみから二次変換の復号の有無について判定してもよい。

＜変更例４＞
以下、変更例４について、上述の第３実施形態との相違点に着目して説明する。

上述の実施例３では、二次変換インデックスの復号判定を符号化ブロック単位で行う例について説明した。

一方、変更例４では、符号化ブロックが複数の変換ブロックに分割される場合は、変換ブロック単位で、かかる判定を行ってもよい。かかる構成によれば、二次変換インデックスの復号を、変換ブロック単位で判定することによって、二次変換適用の可能性がある対象ブロック数が増大し、結果的に符号化性能の向上を期待することができる。

なお、上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、上述の実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、かかる例に限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化/復号システムにも同様に適用できる。

本発明によれば、従来方式では、係数の復号時に二次変換の適用有無を判定するために非ゼロ係数の個数をカウントする追加処理が必要であったが、本発明のような構成とすることで追加処理が不要となり、処理の高速化又は負荷低減が期待できる。

さらに、本発明によれば、二次変換が適用されていない又は効果が低いと判断できるブロックについて、二次変換インデックスの復号を省略できるため、符号化性能の向上が期待できる。

１０…画像処理システム
１００…画像符号化装置
１１１、２４１…インター予測部
１１２、２４２…イントラ予測部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３１Ａ…一次変換部
１３１Ｂ…二次変換部
１３１Ｃ…量子化部
１３２、２２０…逆変換・逆量子化部
２２０Ａ…逆量子化部
２２０Ｂ…逆二次変換部
２２０Ｃ…逆一次変換部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部

Claims (3)

1. 画像復号装置であって、
   逆変換により予測残差信号を生成するように構成されている逆変換部を備え、
   前記逆変換部は、変換ブロック内の非ゼロ係数の発生の有無を示すフラグと符号化ブロックがイントラブロックであるか否かとにより、前記符号化ブロックの二次変換インデックスを復号するか否かについて判定するように構成されており、
   前記二次変換インデックスは、前記符号化ブロックに対して二次変換が有効であるか否かについて示すと共に、使用可能な変換行列を設定することを特徴とする画像復号装置。
2. 逆変換により予測残差信号を生成する工程を有し、
   前記工程において、変換ブロック内の非ゼロ係数の発生の有無を示すフラグと符号化ブロックがイントラブロックであるか否かとにより、前記符号化ブロックの二次変換インデックスを復号するか否かについて判定し、
   前記二次変換インデックスは、前記符号化ブロックに対して二次変換が有効であるか否かについて示すと共に、使用可能な変換行列を設定することを特徴とする画像復号方法。
3. コンピュータを、画像復号装置として機能させるプログラムであって、
   前記画像復号装置は、逆変換により予測残差信号を生成するように構成されている逆変換部を備え、
   前記逆変換部は、変換ブロック内の非ゼロ係数の発生の有無を示すフラグと符号化ブロックがイントラブロックであるか否かとにより、前記符号化ブロックの二次変換インデックスを復号するか否かについて判定するように構成されており、
   前記二次変換インデックスは、前記符号化ブロックに対して二次変換が有効であるか否かについて示すと共に、使用可能な変換行列を設定することを特徴とするプログラム。