JP7360984B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

非特許文献１には、二次変換（ＬＦＮＳＴ：Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ-Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）、変換スキップ（Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ）、シングルツリー及びデュアルツリーと呼ばれる技術が開示されている。

Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ８）、ＪＶＥＴ-Ｑ２００１

しかしながら、非特許文献１に開示されている技術では、シングルツリーの色差ブロックに二次変換の適用が禁止されているにも関わらず、シングルツリー時に二次変換が適用されているか否かについて特定するインデックス（ｌｆｎｓｔ_ｉｄｘ）の復号要否の判定に係る変換スキップ無効フラグ及び非零係数発生位置情報の値が、輝度ブロックだけでなく色差ブロックにも基づいて更新される可能性があるという問題点があった。

また、非特許文献１に開示されている技術では、シングルツリーのフレームにおいて、局所的に現れるデュアルツリーの色差ブロックに対して二次変換が適用される可能性があるという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、シングルツリーの輝度ブロックに対するｌｆｎｓｔ_ｉｄｘの復号要否の判定条件に係る不要な制約を緩和することができ、符号化性能を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

また、本発明は、シングルツリーの色差ブロックに対して一貫して二次変換の適用を禁止することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、画像復号装置であって、二次変換が適用されているか否かについて特定する二次変換インデックスを復号するように構成されている復号部を備え、前記復号部は、対象ブロックのツリータイプ及びコンポーネントインデックスに基づいて、前記対象ブロックのブロック分割ツリー構造種別及びコンポーネント種別を特定するように構成されており、前記対象ブロックの非零係数の発生位置情報及び変換スキップフラグにより導出される所定のフラグに基づいて、前記二次変換インデックスの復号要否について判定するように構成されていることを要旨とする。

本発明の第２の特徴は、画像復号方法であって、二次変換が適用されているか否かについて特定する二次変換インデックスを復号する工程を有し、前記工程において、対象ブロックのツリータイプ及びコンポーネントインデックスに基づいて、前記対象ブロックのブロック分割ツリー構造種別及びコンポーネント種別を特定し、前記対象ブロックの非零係数の発生位置情報及び変換スキップフラグにより導出される所定のフラグに基づいて、前記二次変換インデックスの復号要否について判定することを要旨とする。

本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、二次変換が適用されているか否かについて特定する二次変換インデックスを復号するように構成されている復号部を備え、前記復号部は、対象ブロックのツリータイプ及びコンポーネントインデックスに基づいて、前記対象ブロックのブロック分割ツリー構造種別及びコンポーネント種別を特定するように構成されており、前記対象ブロックの非零係数の発生位置情報及び変換スキップフラグにより導出される所定のフラグに基づいて、前記二次変換インデックスの復号要否について判定するように構成されていることを要旨とする。

本発明によれば、シングルツリーの輝度ブロックに対するｌｆｎｓｔ_ｉｄｘの復号要否の判定条件に係る不要な制約を緩和することができ、符号化性能を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することができる。

また、本発明によれば、シングルツリーの色差ブロックに対して一貫して二次変換の適用を禁止することができる画像復号装置、画像復号方法及びプログラムを提供することができる。

一実施形態に係る画像処理システム１の構成の一例を示す図である。 一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置１００の変換・量子化部１３１の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００の逆変換・逆量子化部２２０の機能ブロックの一例を示す図である。 一実施形態に係る実施形態に係るｌｆｎｓｔ_ｉｄｘの復号順序について説明するための図である。 一本実施形態に係る二次変換の適用対象ブロック種別及びｌｆｎｓｔ_ｉｄｘの復号判定単位について説明するための図である。 一実施形態に係るｌｆｎｓｔ_ｉｄｘの復号条件について説明するための図である。 一実施形態に係るｌｆｎｓｔ_ｉｄｘの復号条件について説明するための図である。 一実施形態に係るＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新判定条件について説明するための図である。 一実施形態に係るＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新判定条件について説明するための図である。 一実施形態に係るＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件について説明するための図である。 一実施形態に係るＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件について説明するための図である。 一実施形態に係るＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件について説明するための図である。 一実施形態に係るシングルツリーで発生する局所的デュアルツリーの色差ブロックに対する二次変換の適用禁止に関する変更例について説明するための図である。 一実施形態に係るシングルツリーで発生する局所的デュアルツリーの色差ブロックに対する二次変換の適用禁止に関する変更例について説明するための図である。 一実施形態に係るシングルツリーで発生する局所的デュアルツリーの色差ブロックに対する二次変換の適用禁止に関する変更例について説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
以下、図１～図１４を参照して、本発明の第１実施形態に係る画像処理システム１０について説明する。図１は、本実施形態に係る画像処理システム１０について示す図である。

図１に示すように、本実施形態に係る画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。

画像符号化装置１００は、入力画像信号（ピクチャ）を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。

符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

（ブロック種別及びブロック分割ツリー構造）
画像符号化装置１００及び画像復号装置２００が扱う画像信号（フレーム）は、ＲＧＢ信号又はＹ、Ｃｂ及びＣｒ信号（輝度信号及び色差信号成分）で構成される。

かかる画像信号（フレーム）の最小分割単位及び符号化の基本単位は、符号化ツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）及び符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれる。

かかるＣＴＵは、再帰的な四分木ブロック分割、二分木ブロック分割又は三分木ブロック分割により、可変サイズのＣＵに分割される。

これらのブロック分割ツリー構造の処理内容については、非特許文献１に記載の公知の処理を用いることができるため、具体的な説明は省略する。

また、非特許文献１では、符号化対象のフレーム（以下、対象フレーム）、符号化対象のＣＴＵ（以下、対象ＣＴＵ）又は符号化対象のＣＵ（以下、対象ブロック又は対象ＣＵ）の輝度信号成分を有するブロック（以下、輝度ブロック）及び色差信号成分を有するブロック（以下、色差ブロック）が、同じブロック分割ツリー構造（以下、シングルツリー）又は異なるブロック分割ツリー構造（以下、デュアルツリー）になる処理内容が開示されている。

対象フレーム、対象ＣＴＵ及び対象ＣＵがシングルツリーであるかデュアルツリーであるかについては、画像復号装置２００によって復号処理に用いられる制御データに基づいて特定することができる。詳細は後述する。

（画像符号化装置１００）
以下、図２を参照して、本実施形態に係る画像符号化装置１００について説明する。図２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部１１１は、対象フレームとフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトル（ｍｖ）を決定するように構成されている。

また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて対象ブロックに含まれる予測信号を対象ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を対象ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。

ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

また、前記インター予測１１１及びイントラ予測１１２の処理単位として、対象ブロックと同じサイズを用いてもよいし、対象ブロックを細分割したサイズの予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）を用いてもよい。

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。

ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理としては、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、以下、ＤＣＴと記す）に対応する基底パタン（変換行列）が用いられてもよく、離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、以下、ＤＳＴと記す）に対応する基底パタン（変換行列）が用いられてもよい。

また、前記変換・逆量子化部１３１の処理単位として、対象ブロックと同じサイズが用いられてもよいし、対象ブロックを細分割したサイズの変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）が用いられてもよい。

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。

ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、対象ブロック（又は、ＰＵ、ＴＵ）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

（画像復号装置２００）
以下、図３を参照して、本実施形態に係る画像復号装置２００について説明する。図３は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

図３に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。

ここで、復号は、例えば、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

また、復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部２４２及びインループフィルタ処理部２５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部２４１は、符号化データから復号した動きベクトル及び参照フレームに含まれる参照信号に基づいて予測信号を生成するように構成されている。インター予測部２４１は、予測信号を加算器２３０に出力するように構成されている。

イントラ予測部２４２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、予測信号を加算器２３０に出力するように構成されている。

インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、対象ブロック（又は、ＰＵ、ＴＵ）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

（変換・量子化部）
以下、図４を参照して、本実施形態に係る画像符号化装置１００の変換・量子化部１３１について説明する。図４は、本実施形態に係る画像符号化装置１００の変換・量子化部１３１の機能ブロックの一例について示す図である。

図４に示すように、変換・逆量子化部１３１は、一次変換部１３１Ａと、二次変換部１３１Ｂと、量子化部１３１Ｃとを有する。

一次変換部１３１Ａは、一次変換処理を行うブロックであり、公知の処理を用いることができるため、具体的な処理内容の説明は省略する。

同様に、量子化部１３１Ｃは、量子化処理を行うブロックであり、公知の処理を用いることができるため、具体的な処理内容の説明は省略する。

以下、二次変換部１３１Ｂの処理内容の一例について説明する。

二次変換部１３１Ｂは、所定条件に基づいて、一次変換部１３１Ａから入力される対象ブロックの変換係数に対して二次変換（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ-Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）を適用するか否かを判定するように構成されている。

二次変換部１３１Ｂは、判定した二次変換が適用されているか否かについての判定結果及び二次変換適用時の基底パタン（変換行列）の種別を符号化部１４０に通知するように構成されている。

ここで、所定条件については、図８及び図９を参照して後述するが、非特許文献１で記載されている公知の条件に準ずることができるため、具体的な説明は省略する。

ここで、二次変換の基底パタンは、公知の技術を用いることができるため、具体的な技術内容の説明は省略する。

二次変換部１３１Ｂは、二次変換を適用すると判定する場合は、一次変換部１３１Ａから出力された変換係数に対して二次変換処理を行うことによって得られた二次変換係数を量子化部１３１Cに出力するように構成されている。

二次変換部１３１Ｂは、二次変換を適用しないと判定する場合は、一次変換部１３１Ａから出力された変換係数をそのまま量子化部１３１Cに出力するように構成されている。

（符号化部）
符号化部１４０は、二次変換部１３１Ｂから通知される二次変換が適用されているか否かについての判定結果、基底パタン（変換行列）の種別、図２には図示していない対象ブロックの符号化コスト算出部から通知される符号化コストに基づいて、二次変換が適用されているか否かについての判定結果及び基底パタンを特定可能なインデックス（以下、ｌｆｎｓｔ_ｉｄｘ）の値及び符号化（画像復号装置２００への伝送又はシグナリング）を行うか否かを決定するように構成されている。

符号化１４０でｌｆｎｓｔ_ｉｄｘを符号化すると判定される場合は、画像符号化装置２００の復号部２１０にｌｆｎｓｔ_ｉｄｘが伝送（シグナリング）される。

（逆変換・逆量子化部）
以下、図５を参照して、本実施形態に係る逆変換・逆量子化部２２０について説明する。図５は、本実施形態に係る画像復号装置２００の逆変換・量子化部２２０の機能ブロックの一例について示す図である。

なお、画像符号化装置１００の逆変換・逆量子化部１３２は、画像復号装置２００の逆変換・逆量子化部２２０と同じ構成となるため、以下では、画像復号装置２００の逆変換・逆量子化部２２０を代表して記載する。

図５に示すように、逆変換・逆量子化部２２０は、逆量子化部２２０Ａと、逆二次変換部２２０Ｂと、逆一次変換部２２０Ｃとを有する。

逆量子化部２２０Ａは、逆量子化処理を行うブロックであり、公知の処理を用いることができるため、具体的な処理内容の説明は省略する。

同様に、逆一次変換部２２０Ｃは、逆一次変換処理を行うブロックであり、公知の処理を用いることができるため、具体的な処理内容の説明は省略する。

以下、逆二次変換部２２０Ｂの処理内容の一例について説明する。

逆二次変換部２２０Ｂは、復号部２１０から通知されたｌｆｎｓｔ_ｉｄｘの値に基づいて、逆二次変換処理が適用されているか否か及び基底パタン（変換行列）を特定するように構成されている。

ここで、ｌｆｎｓｔ_ｉｄｘは、上述した制御データの一種である。詳細は後述する。

逆二次変換部２２０Ｂは、逆二次変換を適用すると特定する場合は、逆二次変換処理を行い、逆二次変換することによって得られた変換係数を逆一次変換部２２０Ｃに出力するように構成されている。

逆二次変換部２２０Ｂは、逆二次変換を適用しないと特定する場合は、逆二次変換処理は行わず、逆量子化部２２０Ａから出力された変換係数を逆一次変換部２２０Ｃにそのまま出力するように構成されている。

（復号部）
復号部２１０は、所定条件に基づいて、ｌｆｎｓｔ_ｉｄｘの復号要否について判定するように構成されている。ここで、「復号要否について判定する」とは、「復号するべきか否かについて判定する」という意味である。

ここで、所定条件については、図８及び図９を参照して後述するが、非特許文献１で記載されている公知の条件に準ずることができるため、具体的な説明は省略する。

上述の所定条件が満たされる場合、復号部２１０は、ｌｆｎｓｔ_ｉｄｘを復号して、ｌｆｎｓｔ_ｉｄｘの値を特定するように構成されている。

それ以外の場合は、復号部２１０は、ｌｆｎｓｔ_ｉｄｘを復号しないように構成されている。この場合、ｌｆｎｓｔ_ｉｄｘの値は、暗黙的に「０」と推定される。

復号部２１０は、特定或いは推定したｌｆｎｓｔ_ｉｄｘの値を逆変換・逆量子化部２２０に通知するように構成されている。

（ｌｆｎｓｔ_ｉｄｘ）
以下、本実施形態に係るｌｆｎｓｔ_ｉｄｘについて説明する。

ｌｆｎｓｔ_ｉｄｘは、上述の通り、二次変換（以下、逆二次変換も含めて二次変換と記す）が適用されているか否か及び基底パタンの種別を示す制御データ（非特許文献１では、Ｓｙｎｔａｘと呼称する）の一種である。

ｌｆｎｓｔ_ｉｄｘの値、二次変換が適用されているか否か及び基底パタンの種別の対応関係は、非特許文献１に記載の公知の対応関係に準ずることができるため、具体的な説明は省略するが、概要は以下の通りである。

ｌｆｎｓｔ_ｉｄｘの値が「０」の場合、二次変換は適用されず、ｌｆｎｓｔ_ｉｄｘの値が「１」以上の場合は、二次変換が適用される。１以上のｌｆｎｓｔ_ｉｄｘの値と基底パタンの種別とが一意に対応する。

（ｌｆｎｓｔ_ｉｄｘの復号順序）
以下、図６を参照して、本実施形態に係るｌｆｎｓｔ_ｉｄｘの復号順序について説明する。図６は、本実施形態に係る復号部２２０における制御データ（Ｓｙｎｔａｘ、すなわち、ｌｆｎｓｔ_ｉｄｘ）の復号（ｐａｒｓｅ）順序の一例について示す図である。

上述の通り、対象フレームの最小符号化単位は、ＣＴＵであるため、図６では、ＣＴＵを起点として制御データが復号される順序を示している。

ステップＳ６００において、復号部２１０は、対象ＣＴＵが属するスライス（以下、対象スライス）のｓｌｉｃｅ_ｔｙｐｅ及びｑｔｂｔｔ_ｄｕａｌ_ｔｒｅｅ_ｉｎｔｒａ_ｆｌａｇに基づいて、対象ＣＴＵがデュアルツリーであるか否かについて判定する。

ここで、ｓｌｉｃｅ_ｔｙｐｅは、対象スライスのスライス種別を示す制御データの一種である。ｓｌｉｃｅ_ｔｙｐｅの値と対象スライスのスライス種別（Ｉスライス、Ｂスライス又はＰスライス）との対応関係は、非特許文献１に記載の公知の対応関係に準ずることができるため、具体的な説明は省略する。

また、ｑｔｂｔｔ_ｄｕａｌ_ｔｒｅｅ_ｉｎｔｒａ_ｆｌａｇは、制御データの一種であるシーケンスパラメータセット（ＳＰＳ）に含まれるフラグの１つである。

ｑｔｂｔｔ_ｄｕａｌ_ｔｒｅｅ_ｉｎｔｒａ_ｆｌａｇの値が「１」の場合は、Ｉスライスにおいて、対象ＣＴＵがデュアルツリー構造でＣＵに分割されることを意味する。ｑｔｂｔｔ_ｄｕａｌ_ｔｒｅｅ_ｉｎｔｒａ_ｆｌａｇの値が「０」の場合は、Ｉスライスにおいて、対象ＣＴＵがシングルツリー構造で分割されることを意味する。ｑｔｂｔｔ_ｄｕａｌ_ｔｒｅｅ_ｉｎｔｒａ_ｆｌａｇが復号されない場合は、ｑｔｂｔｔ_ｄｕａｌ_ｔｒｅｅ_ｉｎｔｒａ_ｆｌａｇの値が「０」であると推定される。

ステップＳ６００において、ｓｌｉｃｅ_ｔｙｐｅがＩスライスを示し、且つ、ｑｔｂｔｔ_ｄｕａｌ_ｔｒｅｅ_ｉｎｔｒａ_ｆｌａｇの値が「１」である場合、本処理は、ステップＳ６１０に進み、それ以外の場合は、本処理は、ステップＳ６０１に進む。

ステップＳ６１０において、対象ＣＴＵが輝度ブロックであるか否かによって、処理が分岐する。

具体的には、対象ＣＴＵが輝度ブロックである場合は、本処理は、ステップＳ６２１に進み、対象ＣＴＵが輝度ブロックでない場合は、本処理は、ステップＳ６１１に進む。ここで、対象ＣＴＵが輝度ブロックであるか否かの判定処理は、公知の判定処理に準ずることができるため、具体的な説明は省略する。

図６に示されるステップＳ６０１、ステップＳ６１１及びステップＳ６２１は、全て同じ処理（ｃｏｄｉｎｇ_ｔｒｅｅ関数）である。かかる処理において、復号部２１０は、対象ＣＴＵのブロック分割種別（ＱＴＢＴＴ）を特定して再帰的に分割した後に、後述する対象ＣＵに関する処理（ｃｏｄｉｎｇ_ｕｎｉｔ関数）を呼び出す。本処理の内容は、公知の技術を用いるため、具体的な説明は省略する。

図６に示されるステップＳ６０２、ステップＳ６１２及びステップＳ６２２は、全て同じ処理（ｃｏｄｉｎｇ_ｕｎｉｔ関数）である。かかる処理において、復号部２１０は、対象ＣＴＵから分割された対象ＣＵに関して、予測モードの種別、動き情報及びサブブロック変換（ＳＢＴ：Ｓｕｂ Ｂｌｏｃｋ Ｔｒａｎｓｆｏｒｍ）が適用されているか否かを特定した後に、後述する所定条件に関わる内部パラメータであるＬｆｎｓｔＤｃＯｎｌｙ、ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ、ＬｆｎｓｔＮｏｔＴｓＦｌａｇを初期化し、後述する対象ＴＵの分割に関する処理（ｔｒａｎｓｆｏｒｍ_ｔｒｅｅ関数）を呼び出す。

ここで、ＬｆｎｓｔＤｃＯｎｌｙ、ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇは、非零係数の発生位置情報に基づいて導出され、ＬｆｎｓｔＮｏｔＴｓＦｌａｇは、変換スキップフラグにより導出されている。なお、ＬｆｎｓｔＤｃＯｎｌｙ、ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆＦｌａｇ及びＬｆｎｓｔＮｏｔＴｓＦｌａｇは、所定フラグを構成する。

その後、復号部２１０は、後述する所定条件に基づいて、ｌｆｎｓｔ_ｉｄｘの復号要否について判定する。詳細は後述する。

図６に示されるステップＳ６０３、ステップＳ６１３及びステップＳ６２３は、全て同じ処理（ｔｒａｎｓｆｏｒｍ_ｔｒｅｅ関数）である。かかる処理において、復号部２１０は、後述する対象ＴＵに関する処理（ｔｒａｎｓｆｏｒｍ_ｕｎｉｔ関数）を呼び出す。本処理の内容は、公知の技術を用いるため、具体的な説明は省略する。

図６に示されるステップＳ６０４、ステップＳ６１４及びステップＳ６２４は、全て同じ処理（ｔｒａｎｓｆｏｒｍ_ｕｎｉｔ関数）である。かかる処理において、復号部２１０は、対象ＴＵに対して変換スキップが適用されているか否かについて特定可能なｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇの値を特定或いは推定し、このｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇの値に基づいて変換スキップが適用されていないと特定される場合は、後述する残差信号符号化に関する処理（ｒｅｓｉｄｕａｌ_ｃｏｄｉｎｇ関数）を呼び出す。詳細は後述する。なお、変換スキップが適用されると特定される場合は、本文中には記載していないｒｅｓｉｄｕａｌ_ｔｓ_ｃｏｄｉｎｇ関数を呼び出すが、本処理内容は、公知の技術を用いるため、具体的な説明は省略する。

図６に示されるステップＳ６０５、ステップＳ６１５及びステップＳ６２５は、全て同じ処理（ｒｅｓｉｄｕａｌ_ｃｏｄｉｎｇ関数）である。かかる処理において、復号部２１０は、対象ＴＵの変換係数をスキャンして、変換係数の復号方法を特定する。詳細は後述する。

（二次変換の適用対象）
以下、図７を参照して、本実施形態に係る二次変換が適用対象となるブロック分割ツリー構造種別、ブロック種別及びｌｆｎｓｔ_ｉｄｘの復号判定単位について説明する。図７は、本実施形態に係る二次変換の適用対象ブロック及びｌｆｎｓｔ_ｉｄｘの復号判定単位について示す図である。

図７に示すように、二次変換が適用可能なブロックは、シングルツリーの輝度ブロック、デュアルツリーの輝度ブロック及びデュアルツリーの色差ブロックである。ここで、これらのブロックに対して二次変換が適用されるか否かは、上述の通り、最終的には、ｌｆｎｓｔ_ｉｄｘに基づいて判定される。

図７に示すように、二次変換が適用不可なブロックは、シングルツリーの色差ブロックである。ここで、当該ブロックに対しては、上述のｌｆｎｓｔ_ｉｄｘの値によらず、二次変換は適用されない。

図７に示すように、ｌｆｎｓｔ_ｉｄｘの復号判定単位としては、シングルツリーにおいては輝度ブロック及び色差ブロックが一括して復号判定され、デュアルツリーにおいては輝度ブロックと色差ブロックとが独立して復号判定される。これは、シングルツリーにおいては輝度ブロック及び色差ブロックで共通のｌｆｎｓｔ_ｉｄｘに基づいて二次変換が適用されているか否かについて判定されることを意味し、一方で、デュアルツリーにおいては輝度ブロックと色差ブロックとで異なるｌｆｎｓｔ_ｉｄｘに基づいて独立して二次変換が適用されているか否かについて判定されることを意味する。

（ｌｆｎｓｔ_ｉｄｘの復号条件）
以下、図８と図９を参照して、本実施形態に係るｌｆｎｓｔ_ｉｄｘの復号条件について説明する。図８及び図９は、ｃｏｄｉｎｇ_ｔｒｅｅ関数における一部処理を抜粋した図であり、図８は、非特許文献１に記載の公知のｌｆｎｓｔ_ｉｄｘの復号条件について示す図であるのに対して、図９は、本実施形態に係るｌｆｎｓｔ_ｉｄｘの復号条件について示す図である。

図８及び図９に示すように、ｌｆｎｓｔ_ｉｄｘは、ｃｏｄｉｎｇ_ｕｎｉｔ関数内で処理される。すなわち、上述のとおり、ｌｆｎｓｔ_ｉｄｘは、対象ブロック（対象ＣＵ）単位で復号若しくは符号化（シグナリング）される。

図９では、図８に示される対象ブロックのＬｆｎｓｔＮｏｔＴｓＦｌａｇについて、初期化処理（初期値ＬｆｎｓｔＮｏｔＴｓＦｌａｇ＝１）をｔｒａｎｓｆｏｒｍ_ｔｒｅｅ関数処理の前に設け、また、ｔｒａｎｓｆｏｒｍ_ｔｒｅｅ関数処理の後のＬｆｎｓｔＮｏｔＴｓＦｌａｇの代入条件式を削除している。

ここで、ｔｒｅｅＴｙｐｅは、対象ブロックのブロック分割ツリー構造の種別を特定可能な内部パラメータであり、図８及び図９に示すように、ｃｏｄｉｎｇ_ｕｎｉｔ関数に引数として入力される。ｔｒｅｅＴｙｐｅが表すブロック分割ツリー構造種別は、シングルツリー（ＳＩＮＧＬＥ_ＴＲＥＥ）、デュアルツリーの輝度（ＤＵＡＬ_ＴＲＥＥ_ＬＵＭＡ）及びデュアルツリーの色差（ＤＵＡＬ_ＴＲＥＥ_ＣＨＲＯＭＡ）の３つである。

また、ＬｆｎｓｔＮｏｔＴｓＦｌａｇは、対象ブロックにおけるｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇとｔｒｅｅＴｙｐｅとの組み合わせで、その値が「０」若しくは「１」のいずれであるかについて決定される内部パラメータである。図８のＬｆｎｓｔＮｏｔＴｓＦｌａｇの代入条件式が意味するところは、以下の通りである。

第１に、対象ブロックがシングルツリーの場合は、対象ブロックを構成する輝度ブロック及び色差ブロックのいずれか１つにおいてｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇが有効である場合（ｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇの値が「１」である場合）、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値は「０」となり、対象ブロックを構成する輝度ブロック及び色差ブロックの全てにおいてｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇが無効である場合（ｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇの値が「０」である場合）、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値は「１」となる。

第２に、対象ブロックがデュアルツリーの場合は、対象ブロックを構成する輝度ブロック及び色差ブロックに対してｌｆｎｓｔ_ｉｄｘが独立に判定されるため、ＬｆｎｓｔＮｏｔＴｓＦｌａｇも独立に判定される。

対象ブロックを構成する輝度ブロックにおいてｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇが有効である場合、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値は「０」となり、それ以外の場合は、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値は「１」となる。

対象ブロックを構成する色差ブロックにおいて、Ｃｂ成分及びＣｒ成分のいずれか１つにおいてｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇが有効である場合、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値は「０」となり、Ｃｂ成分及びＣｒ成分のいずれにおいてもｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇが無効である場合、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値は「１」となる。

本実施形態において、上述のＬｆｎｓｔＮｏｔＴｓＦｌａｇの代入条件式を削除した理由は、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの代入条件式に含まれるｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇの値がｔｒａｍｓｆｏｒｍ_ｔｒｅｅ関数内で対象ＴＵごとに特定されるためである。

本実施形態においては、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの初期化処理をｔｒａｍｓｆｏｒｍ_ｔｒｅｅ関数の呼び出し前に設け、ｔｒａｍｓｆｏｒｍ_ｔｒｅｅ関数内で逐次ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値の更新判定を行う（詳細は後述する）ことで、より正確なＳｙｎｔａｘの復号処理順序を構成している。

（ＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新判定条件）
以下、図１０及び図１１を参照して、本実施形態に係るＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新判定条件について説明する。図１０及び図１１は、ｔｒａｎｓｆｏｒｍ_ｕｎｉｔ関数における一部処理を抜粋した図であり、図１０は、非特許文献１に記載の公知のＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新判定条件について示す図であるのに対して、図１１は、本実施形態に係るＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新判定条件について示す図である。

図１１では、対象ブロックを構成する輝度ブロック及び色差ブロックのｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇの復号後に、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新判定条件式及びＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新処理が追加されており、さらに呼び出されるｒｅｓｉｄｕａｌ_ｃｏｄｉｎｇ関数内の引数にｔｒｅｅＴｙｐｅが追加されている。具体的には、以下の通りである。

ここで、ｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇが復号されない場合は、ｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇの値は、暗黙的に「０」と推定される。

第１に、輝度ブロックの場合、当該輝度ブロックに対するｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇ（ｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇ［ｘ０］［ｙ０］［０］）が有効な場合、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値を「０」に更新する。それ以外の場合は、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値を「０」に更新しない。

第２に、Ｃｂ成分の色差ブロックの場合、当該色差ブロックに対するｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇ（ｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇ［ｘ０］［ｙ０］［１］）が有効であり且つｔｒｅｅＴｙｐｅがＤＵＡＬ_ＴＲＥＥ_ＣＨＲＯＭＡである場合、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値を「０」に更新する。それ以外の場合は、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値を「０」に更新しない。

第３に、Ｃｒ成分の色差ブロックの場合、当該色差ブロックに対するｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇ（ｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇ［ｘ０］［ｙ０］［２］）が有効であり且つｔｒｅｅＴｙｐｅがＤＵＡＬ_ＴＲＥＥ_ＣＨＲＯＭＡである場合、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値を「０」に更新する。それ以外の場合は、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値を「０」に更新しない。

ｒｅｓｉｄｕａｌ_ｃｏｄｉｎｇ関数の引数にｔｒｅｅＴｙｐｅを追加した理由は後述する。

上述のＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新条件の追加によれば、以下のような効果が期待される。

従来技術では、上述の通り、シングルツリーの対象ブロックを構成する輝度ブロック及び色差ブロックのいずれか１つにおいてｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇが有効である場合に、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの値が「０」となるように設計されていた。これは、二次変換が適用不可なシングルツリーの色差ブロックに対して変換スキップが適用されているか否かについても考慮して、ｌｆｎｓｔ_ｉｄｘの復号要否について判定することを意味する。

しかし、シングルツリーの色差ブロックに対しては、ｌｆｎｓｔ_ｉｄｘの値によらずに二次変換は適用不可であるため、シングルツリーの色差ブロックブロックに対して変換スキップが適用されているか否かについて考慮することは、不要にシングルツリーの輝度ブロックに対する二次変換の適用率を減少させ、符号化性能の向上を低下させる可能性がある。

そのため、本実施形態では、上述のように、対象ブロックのｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇ及びｔｒｅｅＴｙｐｅによるＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新判定条件を追加することで、ＬｆｎｓｔＮｏｔＴｓＦｌａｇの更新対象をシングルツリーの輝度ブロック、デュアルツリーの輝度ブロック及びデュアルツリーの色差ブロックに限定する。これにより、シングルツリーの輝度ブロックに対する二次変換の適用率の増加、ひいては符号化性能の向上効果が期待される。

（ＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件）
以下、図８、図９及び図１２～図１４を参照して、本実施形態に係るＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件について説明する。

図１２及び図１３は、ｒｅｓｉｄｕａｌ_ｃｏｄｉｎｇ関数における一部処理を抜粋した図であり、図８及び図１２は、非特許文献１に記載の公知のＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの初期化処理及び更新判定条件についてそれぞれ示す図であるのに対して、図９及び図１３は、本実施形態に係るＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの初期化処理及び更新判定条件についてそれぞれ示す図である。

図８及び図９に示すように、ＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆは、ｌｆｎｓｔ_ｉｄｘの復号要否についての判定条件に含まれる内部パラメータである。それぞれの意味については、後述する。

図８及び図９に示すように、ＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの初期化処理は、ｃｏｄｉｎｇ_ｕｎｉｔ関数内のｔｒａｎｓｆｏｒｍ_ｔｒｅｅ関数の直前に設けられる。図８及び図９に示すように、それぞれの初期値は、ＬｆｎｓｔＤｃＯｎｌｙ＝１、ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆ＝１である。なお、図８と図９に示すように、両者の初期化処理は、同じである。

図１２及び図１３に示すように、ＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆは、ｒｅｓｉｄｕａｌ_ｃｏｄｉｎｇ関数内で更新判定が行われる。

本実施形態に係るＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件では、図１３に示すように、残差符号化を行う対象ブロックのカラーコンポーネント（Ｙ、Ｃｂ及びＣｒのいずれか）を特定するカラーコンポーネントインデックス（ｃＩｄｘ）及びｔｒｅｅＴｙｐｅによる条件式が追加されている。

また、かかる条件式において、従来技術では、ｒｅｓｉｄｕａｌ_ｃｏｄｉｎｇ関数内で使用されていなかったｔｒｅｅＴｙｐｅを使用するために、ｒｅｓｉｄｕａｌ_ｃｏｄｉｎｇ関数の引数にｔｒｅｅＴｙｐｅが追加されている。

ここで、図１４を参照して、本実施形態に係るＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆについて説明する。

図１４は、３種類のブロックサイズにおける変換係数のスキャン順を示している。図１４（ａ）は、高さ及び横幅が４×４画素のブロックに対する変換係数のスキャン順序を示し、図１４（ｂ）は、高さ及び横幅が８×８画素のブロックに対する変換係数のスキャン順序を示し、図１４（ｃ）は、高さ及び横幅がそれぞれ４画素以上であり且つ図１４（ａ）及び図１４（ｂ）で示すブロック以外のブロック（ただし、高さ及び横幅は、制御データで規定される変換ブロックサイズの最大値以下であるブロック）に対する変換係数のスキャン順序を示している。

変換係数のスキャン順序は、公知の処理内容を用いるため、具体的な説明は省略するが、概要は以下の通りである。

変換ブロックを高周波成分からＤＣ成分方向に向けて、４×４画素のサブブロック単位で斜め方向にスキャンする。ここで、降順方向が、高周波成分を示す。つまり、ＤＣ成分のスキャン順序は、図１４に示す通り、「０」ある。

図８及び図９に示すｌｆｎｓｔ_ｉｄｘの復号条件から見て分かるように、ＬｆｎｓｔＤｃＯｎｌｙの値が「０」である場合で（対象ブロックがイントラ細分割モードである場合を除く）、且つ、ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの値が「１」である場合、対象ブロックに対してｌｆｎｓｔ_ｉｄｘが復号される。

ＬｆｎｓｔＤｃＯｎｌｙは、変換ブロックにおいて、非零係数（有意係数）がＤＣ成分のみに発生する場合、すなわち、非零係数終端位置（ｌａｓｔＳｃａｎＰｏｓ）がＤＣ成分のスキャン順序にある場合を特定する内部パラメータである。

具体的には、非零係数がＤＣ成分のみにある変換ブロックに対して二次変換は適用されない。換言すると、ｌａｓｔＳｃａｎＰｏｓの値が「０」より大きい場合、すなわち、非零係数終端位置がＡＣ成分にある場合は、ＬｆｎｓｔＤｃＯｎｌｙの値を「０」に更新する。

なお、本判定が含まれる図１２及び図１３に示す条件式において、その他に含まれる判定、すなわち、１つ以上の非零係数を有する最終サブブロック位置（ｌａｓｔＳｃａｎＢｌｏｃｋ）、変換ブロックサイズ及びｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇについては、公知の判定に準ずることができるため、具体的な説明は省略する。

ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆは、変換ブロックにおいて非零係数（有意係数）が二次変換の適用時に発生し得ない領域に発生するかどうかを特定する内部パラメータである。

具体的には、対象ブロックに対して二次変換が適用される場合、図１４の灰色以外で示した領域（白抜きされた領域）においては非零係数が発生し得ない。すなわち、かかる領域に非零係数が１つ以上発生する場合は、対象ブロックに対して二次変換が適用されないことが自明となるため、ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの値を「０」に更新する。

ここで、非零係数が発生し得ない領域は、図１４に示すように、変換ブロックサイズによって可変するが、具体的な範囲については、非特許文献１と同じ範囲に準ずることができるため、説明は省略する。

なお、本判定が含まれる図１２及び図１３に示す条件式において、その他に含まれる判定、すなわち、１つ以上の非零係数を有する最終サブブロック位置（ｌａｓｔＳｃａｎＢｌｏｃｋ）及び変換ブロックサイズについては、公知の判定に準ずることができるため、具体的な説明は省略する。

以下で、従来技術におけるＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件と本実施形態におけるＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件との差分について説明する。

本実施形態においては、図１３に示すように、ＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件に入る前で、対象ブロックのｃＩｄｘ及びｔｒｅｅＴｙｐｅに基づいて、そもそもこれらの更新判定条件に入るか否かについての判定を追加した。

具体的には、ｃＩｄｘの値が「０」である場合又はｔｒｅｅＴｙｐｅがＤＵＡＬ_ＴＲＥＥ_ＣＨＲＯＭＡを示す場合、ＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件に入る。それ以外の場合は、ＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定条件に入らない。

これは、ＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆの更新判定処理を、シングルツリーの輝度ブロック、デュアルツリーの輝度ブロック及びデュアルツリーの色差ブロックに限定することを意味する。

従来技術では、上述のｔｒａｎｓｆｏｒｍ_ｓｋｉｐ_ｆｌａｇと同様に、ｌｆｎｓｔ_ｉｄｘによらずに、二次変換が適用されないシングルツリーの色差ブロックにおいてもＬｆｎｓｔＤｃＯｎｌｙ及びＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆが考慮されていたが、かかる追加の判定により、シングルツリーの輝度ブロックに対する二次変換の適用率の増加、ひいては、符号化性能の向上効果が期待される。

＜変更例＞
以下、図１５～図１７を参照して、本実施形態に係るシングルツリーで発生する局所的デュアルツリー（ローカルデュアルツリー）の色差ブロックに対する二次変換の適用禁止に関する変更例について説明する。

図１５及び図１６は、非特許文献１に記載の公知のｃｏｄｉｎｇ_ｔｒｅｅ_ｕｎｉｔ関数及びｃｏｄｉｎｇ_ｔｒｅｅ関数における一部処理を抜粋した図である。

図１５に示されるように、対象ＣＴＵにおいて一旦シングルツリーで分割すると判定された場合、ｃｏｄｉｎｇ_ｔｒｅｅ_ｕｎｉｔ関数内からｃｏｄｉｎｇ_ｔｒｅｅ関数が呼び出される際に、ブロック分割ツリー構造種別（ｔｒｅｅＴｙｐｅＣｕｒｒ）は、シングルツリー（ＳＩＮＧＬＥ_ＴＲＥＥ_ＭＯＤＥ_ＴＹＰＥ_ＡＬＬ）であると指定される。

一方、図１６に示されるように、ＣＵの再帰的な分割処理が進む過程において、イントラモードの対象ブロックにおいて、輝度では分割可能であるが、色差では分割不可能なブロックサイズとなった場合（例えば、８×１６画素のブロックにおいて、輝度成分はＴＴ分割できるが、色差成分はＴＴ割できない場合）、局所的に当該ブロックはデュアルツリー構造になる。

このとき、図１６に示されるように、対象ブロックのブロック分割ツリー構造種別は、ｃｏｄｉｎｇ_ｔｒｅｅ関数内の引数であるｔｒｅｅＴｙｐｅをデュアルツリー（ＤＵＡＬ_ＴＲＥＥ_ＣＨＲＯＭＡ）に上書きした上で再帰的に呼び出される。

しかしながら、シングルツリーである対象フレーム又は対象ＣＴＵにおいて、このように局所的に発生するデュアルツリー（ローカルデュアルツリー）の色差ブロックに対して二次変換が適用される場合、図７で示したブロック分割ツリー構造種別、ブロック種別及び二次変換の適用可不可の対応関係の一貫性がなくなってしまう。

そのため、本実施形態では、図１７に示すように、ｌｆｎｓｔ_ｉｄｘの復号判定条件に、対象ＣＴＵがシングルツリーである場合に局所的に発生するデュアルツリーの色差ブロックに対して、ｌｆｎｓｔ_ｉｄｘを復号しないという制約を追加する。

具体的には、図１７に示すように、内部パラメータであるＬｆｎｓｔＮｏｔＬｏｃａｌＤｕａｌＴｒｅｅＣｈｒｏｍａＦｌａｇの代入条件式及び当該内部パラメータをＬｆｎｓｔ_ｉｄｘの復号条件に追加する。ここで、ＬｆｎｓｔＮｏｔＬｏｃａｌＤｕａｌＴｒｅｅＣｈｒｏｍａＦｌａｇは、ｔｒｅｅＴｙｐｅ、ｓｌｉｃｅ_ｔｙｐｅ及びｑｔｂｔｔ_ｄｕａｌ_ｔｒｅｅ_ｉｎｔｒａ_ｆｌａｇを用いて導出され、対象ブロック（対象ＣＵ）のブロック分割ツリー構造種別（ｔｒｅｅＴｙｐｅ）がローカルデュアルツリーの色差ブロックであるかを特定可能である。

かかる内部パラメータが「０」である場合は、対象ブロック（対象ＣＵ）がローカルデュアルツリーの色差ブロックであると特定されるため、ｌｆｎｓｔ_ｉｄｘは復号しないと判定する。これにより、上述のローカルデュアルツリーの色差ブロックに対する二次変換の適用を制限することができる。

本実施形態によれば、対象ブロックのツリータイプ（ｔｒｅｅＴｙｐｅ）とコンポーネントインデックス（ｃＩｄｘ）を用いて、輝度ブロック又はデュアルツリーの色差ブロックに対してのみ、ｌｆｎｓｔ_ｉｄｘの復号要否についての判定に係る対象ブロックの変換スキップ適用有無を集約するフラグ（ＬｆｎｓｔＮｏｔＴｓＦｌａｇ）及び対象ブロックの非零係数発生位置情報に基づく２つのフラグ（ＬｆｎｓｔＤｃＯｎｌｙ、ＬｆｎｓｔＺｅｒｏＯｕｔＳｉｇＣｏｅｆｆ）の値が更新されているか否かについて判定することで、以下の効果が期待できる。

- シングルツリーの輝度ブロックに対して、ｌｆｎｓｔ_ｉｄｘの復号要否の判定条件に係る不要な制約を緩和することが期待できる。

- シングルツリーの輝度ブロックに対する二次変換の適用率を増加させられるため、符号化性能の向上効果が期待できる。

また、本実施形態によれば、対象ブロックのツリータイプ（ｔｒｅｅＴｙｐｅ）、スライスタイプ（ｓｌｉｃｅ_ｔｙｐｅ）及び対象フレームまたは対象ＣＴＵのツリータイプ（ｑｔｂｔｔ_ｄｕａｌ_ｔｒｅｅ_ｉｎｔｒａ_ｆｌａｇ）を用いて、シングルツリーにおいて局所的に現れるデュアルツリーの色差ブロックに対して、二次変換の適用を禁止することにより、シングルツリーのフレームに存在する色差ブロックに対して一貫して二次変換の適用を禁止することができる。

上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、上述の各実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化システム及び画像復号システムにも同様に適用できる。

１０…画像処理システム
１００…画像符号化装置
１１１、２４１…インター予測部
１１２、２４２…イントラ予測部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３１Ａ…一次変換部
１３１Ｂ…二次変換部
１３１Ｃ…量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部
２２０Ａ…逆量子化部
２２０Ｂ…逆二次変換部
２２０Ｃ…逆一次変換部

Claims (4)

1. 画像復号装置であって、
   二次変換が適用されているか否かについて特定する二次変換インデックスを復号するように構成されている復号部を備え、
   前記復号部は、
   対象ブロックのツリータイプ及びコンポーネントインデックスに基づいて、前記対象ブロックのブロック分割ツリー構造種別及びコンポーネント種別を特定するように構成されており、
   前記対象ブロックの非零係数の発生位置情報及び変換スキップフラグにより導出される所定のフラグに基づいて、前記二次変換インデックスの復号要否について判定するように構成されており、
   ＬｆｎｓｔＤｃＯｎｌｙ、ＬｆｎｓｔＺｅｒｏＳｉｇＯｕｔＣｏｅｆｆＦｌａｇの更新判定条件において、前記対象ブロックのツリータイプ及びコンポーネントインデックスを追加することで、前記対象ブロックがシングルツリーであり且つ輝度ブロックである場合、前記対象ブロックがデュアルツリーであり且つ輝度ブロックである場合、又は、前記対象ブロックがデュアルツリーであり且つ色差ブロックである場合に、前記所定のフラグを更新するように構成されていることを特徴とする画像復号装置。
2. 画像復号装置であって、
   二次変換が適用されているか否かについて特定する二次変換インデックスを復号するように構成されている復号部を備え、
   前記復号部は、
   対象ブロックのツリータイプ及びコンポーネントインデックスに基づいて、前記対象ブロックのブロック分割ツリー構造種別及びコンポーネント種別を特定するように構成されており、
   前記対象ブロックの非零係数の発生位置情報及び変換スキップフラグにより導出される所定のフラグに基づいて、前記二次変換インデックスの復号要否について判定するように構成されており、
   前記対象ブロックのツリータイプ、前記対象ブロックのスライスタイプ及び前記対象ブロックが属する対象フレームのツリータイプに基づいて、前記対象ブロックが局所的デュアルツリーであり且つ色差ブロックであるか否かを判定し、前記対象ブロックが前記局所的デュアルツリーであり且つ色差ブロックである場合は、前記二次変換インデックスを復号しないように構成されていることを特徴とする画像復号装置。
3. 画像復号方法であって、
   二次変換が適用されているか否かについて特定する二次変換インデックスを復号する工程を有し、
   前記工程において、
   対象ブロックのツリータイプ及びコンポーネントインデックスに基づいて、前記対象ブロックのブロック分割ツリー構造種別及びコンポーネント種別を特定し、
   前記対象ブロックのブロックサイズ、非零係数の発生位置情報及び変換スキップフラグより導出される所定のフラグに基づいて、前記二次変換インデックスの復号要否について判定し、
   ＬｆｎｓｔＤｃＯｎｌｙ、ＬｆｎｓｔＺｅｒｏＳｉｇＯｕｔＣｏｅｆｆＦｌａｇの更新判定条件において、前記対象ブロックのツリータイプ及びコンポーネントインデックスを追加することで、前記対象ブロックがシングルツリーであり且つ輝度ブロックである場合、前記対象ブロックがデュアルツリーであり且つ輝度ブロックである場合、又は、前記対象ブロックがデュアルツリーであり且つ色差ブロックである場合に、前記所定のフラグを更新することを特徴とする画像復号方法。
4. コンピュータを、画像復号装置として機能させるプログラムであって、
   前記画像復号装置は、二次変換が適用されているか否かについて特定する二次変換インデックスを復号するように構成されている復号部を備え、
   前記復号部は、
   対象ブロックのツリータイプ及びコンポーネントインデックスに基づいて、前記対象ブロックのブロック分割ツリー構造種別及びコンポーネント種別を特定するように構成されており、
   前記対象ブロックのブロックサイズ、非零係数の発生位置情報及び変換スキップフラグより導出される所定のフラグに基づいて、前記二次変換インデックスの復号要否について判定するように構成されており、
   ＬｆｎｓｔＤｃＯｎｌｙ、ＬｆｎｓｔＺｅｒｏＳｉｇＯｕｔＣｏｅｆｆＦｌａｇの更新判定条件において、前記対象ブロックのツリータイプ及びコンポーネントインデックスを追加することで、前記対象ブロックがシングルツリーであり且つ輝度ブロックである場合、前記対象ブロックがデュアルツリーであり且つ輝度ブロックである場合、又は、前記対象ブロックがデュアルツリーであり且つ色差ブロックである場合に、前記所定のフラグを更新するように構成されていることを特徴とするプログラム。

Images