JP6625680B2 - 映像符号化方法及び装置、並びに復号化方法及び装置 - Google Patents

Description

本発明は、符号化対象ブロックの量子化媒介変数を設定して符号化及び復号化する映像符号化及び復号化技術に関する。

最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)映像及びＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)映像のような高解像度、高品質の映像に対する需要が多様な応用分野で増加している。映像データが高解像度、高品質になるほど既存の映像データに比べて相対的にデータ量が増加するため、既存の有無線広帯域回線のような媒体を用いて映像データを送信したり、既存の格納媒体を用いて格納する場合、送信費用と格納費用が増加するようになる。映像データの高解像度、高品質化につれて発生するこのような問題を解決するためには高効率の映像圧縮技術が活用されることができる。映像圧縮技術として、現在ピクチャの以前又は以後ピクチャから現在ピクチャに含まれている画素値を予測する画面間予測技術、現在ピクチャ内の画素情報を用いて現在ピクチャに含まれている画素値を予測する画面内予測技術、出現頻度が高い値に短い符号を割り当て、出現頻度が低い値に長い符号を割り当てるエントロピ符号化技術など、多様な技術が存在し、このような映像圧縮技術を用いて映像データを効果的に圧縮して送信又は格納することができる。

本発明は、符号化対象ブロックのブロック情報又は復号化対象ブロックのブロック情報によって、適応的に量子化媒介変数を設定し、量子化、デブロッキングフィルタリング、エントロピ符号化/復号化、動き予測、レート制御、レート制御最適化などを効率的に実行する映像符号化方法及び装置、並びに映像復号化方法及び装置を提供する。

前述した本発明の第１の目的を達成するための本発明の一側面に係る映像復号化方法は、復号化対象ブロックのブロック情報の提供を受けるステップ及び前記復号化対象ブロックのブロック情報に基づいて量子化媒介変数を算出するステップを含む。前記ブロック情報は、前記復号化対象ブロックの大きさ情報及び深さ情報のうち少なくとも一つである。
前記復号化対象ブロックのブロック情報に基づいて量子化媒介変数を算出するステップは、前記ブロック情報から前記復号化対象ブロックの大きさ情報及び深さ情報のうち少なくとも一つの情報の提供を受け、前記復号化対象ブロックの大きさが所定の大きさより小さい所定の復号化対象ブロックの量子化媒介変数を同じに設定する。前記復号化対象ブロックのブロック情報に基づいて量子化媒介変数を算出するステップは、前記復号化対象ブロックのブロック情報に基づいて誘導された式又は誘導された値を用いて復号化対象ブロックの量子化媒介変数を算出する。前記復号化対象ブロックのブロック情報に基づいて量子化媒介変数を算出するステップは、復号化対象ブロックの量子化媒介変数の変更可能情報を用いて量子化媒介変数を算出する。前記復号化対象ブロックのブロック情報に基づいて量子化媒介変数を算出するステップは、前記復号化対象ブロック内に含まれている復号化する残余信号の存在有無に基づいて復号化対象ブロックの量子化媒介変数を復号化する。
前記復号化対象ブロックは、符号化ユニットである。

また、前述した本発明の第２の目的を達成するための本発明の一側面に係る映像復号化方法は、復号化対象ブロックの残余量子化媒介変数を復号化するステップ及び前記復号化対象ブロックのブロック情報に基づいて量子化媒介変数を予測するステップを含む。前記復号化対象ブロックの残余量子化媒介変数を復号化するステップは、前記残余量子化媒介変数が復号化されるブロックの特定大きさより小さい場合、前記復号化対象ブロックの残余量子化媒介変数を復号化するステップが省略される。前記復号化対象ブロックの量子化媒介変数を予測するステップは、所定の復号化対象ブロックより大きい復号化対象ブロックの量子化媒介変数を用いて前記所定の復号化対象ブロックの量子化媒介変数を予測する。前記復号化対象ブロックの量子化媒介変数を予測するステップは、前記復号化対象ブロック以前に復号化されたブロックの量子化媒介変数と復号化対象ブロックを基準に左側に存在し、既に復号化されたブロックの量子化媒介変数のうち少なくとも一つを用いて復号化対象ブロックの量子化媒介変数を予測する。前記復号化対象ブロックの量子化媒介変数を予測するステップは、ＳＰＳ(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、ＰＰＳ(Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)、又はスライスヘッダに定義された復号化対象ユニットの量子化媒介変数を用いて前記復号化対象ブロックの量子化媒介変数を予測する。前記復号化対象ブロックの量子化媒介変数を予測するステップは、前記復号化対象ブロックと前記復号化対象ブロック以前に既に復号化されたブロックの復号化パラメータ類似度に基づいて前記復号化対象ブロックの量子化媒介変数を予測する。前記復号化対象ブロックは、符号化ユニットである。前記復号化対象ブロックの量子化媒介変数を予測するステップは、前記復号化対象ブロックが前記復号化対象ユニット基準に上段ブロックの復元された画素を用いて画面内復号化された場合、前記上段ブロックの量子化媒介変数を用いて前記復号化対象ブロックの量子化媒介変数を予測し、前記復号化対象ブロックが前記復号化対象ブロックを基準に左側ブロックの復元された画素を用いて画面内復号化された場合、前記左側ブロックの量子化媒介変数を用いて前記復号化対象ブロックの量子化媒介変数を予測する。前記復号化対象ブロックの量子化媒介変数を予測するステップは、前記復号化対象ブロックの予測モードと同じ予測モードに復号化された前記復号化対象ブロックの周辺ブロックの量子化媒介変数を用いて前記復号化対象ブロックの量子化媒介変数を予測する。前記復号化対象ブロックの量子化媒介変数を予測するステップは、前記復号化対象ブロックが画面間復号化された場合、前記復号化対象ブロックの動き情報を用い、前記動き情報が示す参照映像内ブロックの量子化媒介変数に基づいて前記復号化対象ブロックの量子化媒介変数を予測する。前記復号化対象ブロックの量子化媒介変数を予測するステップは、既に復号化されたスライス又はピクチャのうち少なくとも一つで前記復号化対象ブロックと同じ空間的位置を有するブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測する。前記復号化対象ブロックの量子化媒介変数を予測するステップは、前記復号化対象ブロックの周辺ブロックの量子化媒介変数の集合を前記復号化対象ブロックの量子化媒介変数であると予測する。前記復号化対象ブロックの周辺ブロックの量子化媒介変数の集合を前記復号化対象ブロックの量子化媒介変数であると予測することは、前記周辺ブロックの量子化媒介変数の集合に含まれている量子化媒介変数のうち、予測に使われる量子化媒介変数を判断する識別情報を与え、前記識別情報に基づいて前記復号化対象ブロックの量子化媒介変数を予測したり、前記前記周辺ブロックの量子化媒介変数の集合に含まれている量子化媒介変数のうち、中間値を有する量子化媒介変数を前記復号化対象ブロックの量子化媒介変数であると予測する。

本発明によると、符号化対象ブロックのブロック情報又は復号化対象ブロックのブロック情報によって、適応的に量子化媒介変数を設定することによって、量子化/逆量子化、デブロッキングフィルタリング、エントロピ符号化/復号化、動き予測、レート制御、レート制御最適化などを効率的に実行して符号化及び復号化性を向上させることができる。

本発明の一実施例に係る映像符号化方法を説明するために提供されるフローチャートである。 本発明の一実施例により残余量子化媒介変数に基づいて映像を符号化する方法を説明するために提供されるフローチャートである。 本発明の一実施例に係る映像符号化装置の構成を示すブロック図である。 本発明の一実施例に係る残余量子化媒介変数を決定する映像符号化装置の構成を示すブロック図である。 本発明の一実施例に係る映像復号化方法を説明するために提供されるフローチャートである。 本発明の一実施例により残余量子化媒介変数に基づいて映像を復号化する方法を説明するために提供されるフローチャートである。 本発明の一実施例に係る映像復号化装置の構成を示すブロック図である。 本発明の一実施例に係る残余量子化媒介変数に基づく映像復号化装置の構成を示すブロック図である。 本発明の一実施例に係る量子化媒介変数の予測方法を示す。

以下、添付図面を参照して本発明に係る実施例を詳細に説明する。しかし、本発明が実施例により制限されたり限定されるものではない。また、各図面に提示された同じ参照符号は、同じ部材を示す。

以下で説明するブロック情報は、符号化ユニット(Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ)、予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ；ＰＵ)、変換ユニット(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ；ＴＵ)などのブロックのタイプ、ブロックの大きさ、ブロックの深さ、ブロックの符号化/復号化順序のうち、少なくとも一つを含むことができる。この時、ブロックは、多様な大きさと形態を有する符号化及び復号化対象ブロックを意味し、ブロックの形態は、長方形、正方形、台形、三角形、五角形などの２次元に表現することができる幾何学的図形を含むことができる。

この時、前述されたブロックは、映像符号化及び復号化の単位を意味し、映像符号化及び復号化時、符号化又は復号化単位とは、一つの映像を細分化されたブロックに分割して符号化又は復号化する時その分割された単位を意味するため、ブロック(Ｂｌｏｃｋ)、マクロブロック、符号化ユニット、予測ユニット、又は変換ユニットなどと呼ばれることもある。一つのブロックは、大きさがより小さい下位ブロックにさらに分割されることができる。本明細書で使われる用語は、本発明の好ましい実施例を適切に表現するために使われた用語であり、これはユーザ、運用者の意図又は本発明の属する分野の慣例などによって変わることができる。従って、本用語に対する定義は、本明細書全般にわたった内容に基づいて下されるべきである。

この時、予測ブロックは、画面内予測又は画面間予測など、予測プロセスの基本符号化/復号化単位を意味し、変換ブロックは、変換、逆変換、量子化、逆量子化、残余信号のエントロピ符号化、残余信号のエントロピ復号化を実行するプロセスの基本符号化/復号化単位を意味する。この時、エントロピ符号化は、算術符号化(Ａｒｉｔｈｍｅｔｉｃ Ｅｎｃｏｄｉｎｇ)又は可変長さ符号化(Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｅｎｃｏｄｉｎｇ)のような方法を用いてシンボル値を符号化してビットストリームに生成することを意味し、エントロピ復号化は、算術復号化(Ａｒｉｔｈｍｅｔｉｃ Ｄｅｃｏｄｉｎｇ)又は可変長さ復号化(Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｅｃｏｄｉｎｇ)のような方法を用いてビットストリームからシンボル値を復号化することを意味する。

図１は、本発明の一実施例に係る映像符号化方法を説明するために提供されるフローチャートである。

まず、１１０ステップで、映像符号化装置は、符号化対象ブロックのブロック情報を符号化することができる。

一例として、映像符号化装置は、符号化対象ブロックのブロック情報をエントロピ符号化してビットストリームを生成することができる。

他の例として、映像符号化装置は、符号化対象ブロックのブロック情報をビットストリーム構成のうちシーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ)、ピクチャパラメータセット(Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＰＰＳ)、及びスライスヘッダ(Ｓｌｉｃｅ Ｈｅａｄｅｒ)のうちいずれか一つにエントロピ符号化することができる。

詳しくは、映像符号化装置は、符号化ユニット大きさの最大幅を示すｍａｘ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｗｉｄｔｈ、符号化ユニット大きさの最大高さを示すｍａｘ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｅｉｇｈｔ、符号化ユニットの最も深い階層深さを示すｍａｘ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ、符号化ユニットの最も小さい大きさを示すｌｏｇ２＿ｍｉｎ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｓｉｚｅ＿ｍｉｎｕｓ３、変換ユニットの最も小さい大きさを示すｌｏｇ２＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｓｉｚｅ＿ｍｉｎｕｓ２、変換ユニットの最も深い階層深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ、符号化ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ、変換ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｂｌｏｃｋ＿ｓｉｚｅ、画面間符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｅｒ、画面内符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａなどのブロック情報をビットストリーム構成のうちシーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ)、ピクチャパラメータセット(Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＰＰＳ)、及びスライスヘッダ(Ｓｌｉｃｅ Ｈｅａｄｅｒ)のうちいずれか一つにエントロピ符号化することができる。

次に、１２０ステップで、映像符号化装置は、符号化対象ブロックのブロック情報に基づいて符号化対象ブロックの量子化媒介変数を決定することができる。ここで、量子化媒介変数(Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ；ＱＰ)は、量子化及び逆量子化のステップサイズ(ｓｔｅｐ ｓｉｚｅ)を決定する媒介変数値を意味する。

一例として、映像符号化装置は、次の方法によって符号化対象ブロックの量子化媒介変数を決定することができる。

１)映像符号化装置は、シーケンス単位、ピクチャ単位、及びスライス単位の各々で同じ量子化媒介変数を用いるように決定することができる。

２)また、映像符号化装置は、ＬＣＴＢ(Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ)又はＬＣＵ(Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ)毎に一つの量子化媒介変数を決定することができる。

３)また、映像符号化装置は、ＳＣＴＢ(Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ)又はＳＣＵ(Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ)毎に一つの量子化媒介変数を決定することができる。

４)また、映像符号化装置は、予測ユニットの大きさ又は深さに関係なしに予測ユニット毎に一つの量子化媒介変数を決定することができる。

５)また、映像符号化装置は、変換ユニットの大きさ又は深さに関係なしに変換ユニット毎に一つの量子化媒介変数を決定することができる。

６)また、映像符号化装置は、予測ユニットの特定深さ又は特定大きさに一つの量子化媒介変数を決定することができる。

７)また、映像符号化装置は、変換ユニットの特定深さ又は特定大きさに一つの量子化媒介変数を決定することができる。ここで、符号化ユニットの特定深さ又は特定大きさ、予測ユニットの特定深さ又は特定大きさ、変換ユニットの特定深さ又は特定大きさに基づいて量子化媒介変数を決定する構成は、以下の表１、表２、表３、表４、表６、表７、表８、表９、表１０、表１１、表１２、表１３及び表１４を介して後述する。

８)また、映像符号化装置は、シーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ)、又はピクチャパラメータセット(Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＰＰＳ)、又はスライスヘッダ(Ｓｌｉｃｅ Ｈｅａｄｅｒ)に定義されたブロック情報に基づいて符号化対象ブロックの量子化媒介変数を決定することができる。

９)また、映像符号化装置は、符号化対象ブロック内に残余信号の存在有無に基づいて量子化媒介変数を決定することができる。一例として、符号化対象ブロック内に残余信号が存在しない場合、映像符号化装置は、量子化媒介変数を決定しない。この時、映像符号化装置は、符号化ブロックパターン(ｃｏｄｅｄ ｂｌｏｃｋ ｐａｔｔｅｒｎ)、符号化ブロックフラッグ(ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ)などを用いて残余信号の存在有無を判断することができる。

１０)また、映像符号化装置は、符号化対象ブロックのブロック情報を用いて誘導された式又は誘導された値に基づいて符号化対象ブロックの量子化媒介変数を決定することができる。

１１)また、映像符号化装置は、ＳＰＳ、ＰＰＳ又はスライスヘッダで定義している変換ユニットの大きさ(ｌｏｇ２＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｓｉｚｅ＿ｍｉｎｕｓ２)、変換ユニットの深さ(ｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ)、符号化ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ、変換ユニット(変換ブロック)の最小大きさを示すｌｏｇ２＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｍｉｎｕｓ２、変換ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｂｌｏｃｋ＿ｓｉｚｅ、画面間符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｅｒ、画面内符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａのうちいずれか一つを用いて一つの量子化媒介変数を決定することができる。

１２)また、映像符号化装置は、ＳＰＳ、ＰＰＳ又はスライスヘッダで定義している符号化ユニットの大きさ(ｌｏｇ２＿ｍｉｎ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｓｉｚｅ＿ｍｉｎｕｓ３)、符号化ユニットの深さ(ｍａｘ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ)、符号化ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ、変換ユニット(変換ブロック)の最小大きさを示すｌｏｇ２＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｍｉｎｕｓ２、変換ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｂｌｏｃｋ＿ｓｉｚｅ、画面間符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｅｒ、画面内符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａのうちいずれか一つを用いて一つの量子化媒介変数を決定することができる。

１３)また、映像符号化装置は、シーケンス内、ピクチャ内、スライス内、ＬＣＴＢ内等で符号化対象ブロックの量子化媒介変数を決定することができる。この時、映像符号化装置は、変更する単位を示す量子化媒介変数の変更可能情報を用いて該当単位内でのみ量子化媒介変数を決定及び変更することができる。一例として、映像符号化装置は、量子化媒介変数の変更可能情報と関連した構文要素であるｑｐ＿ｃｈａｎｇｅ＿ａｌｌｏｗｅｄ＿ｆｌａｇをＰＰＳに追加することができる。この時、該当構文要素の論理値が１である場合、映像符号化装置は、ピクチャ下位単位(スライス、符号化ユニット(ＣＵ)、予測ユニット(ＰＵ)、変換ユニット(ＴＵ)等)で量子化媒介変数を変更し、変更された値によって符号化対象ブロックの量子化媒介変数を決定することができる。また、該当構文要素の論理値が０である場合、映像符号化装置は、ピクチャ下位単位で量子化媒介変数を変更しない。

１４)また、映像符号化装置は、前述した１)乃至１２)方法によって符号化対象ブロックの量子化媒介変数を決定する場合、ブロックの大きさ又は深さと連動して量子化媒介変数の情報を示す構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)をＰＰＳ、ＳＰＳ又はスライスヘッダで符号化することができる。また、映像符号化装置は、符号化対象ブロックのブロック情報に基づいて量子化媒介変数を符号化ユニット、予測ユニット、変換ユニットの各々の深さ又は大きさによってブロックの特定深さ又はブロックの特定大きさまでのみ設定することができる。この時、量子化媒介変数が設定されるブロックの特定深さより深いブロックが存在する場合、映像符号化装置は、より深いブロックの量子化媒介変数を特定深さで設定された量子化媒介変数と同じに設定することができる。また、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ又はｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅは、符号化ユニット、予測ユニット、変換ユニットの各々に個別的に適用されることができる。ここで、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈは、量子化媒介変数が設定されるブロックの特定深さを示す構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)であり、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅは、量子化媒介変数が設定されるブロックの特定大きさを示す構文要素である。より詳細な構成は、以下の表１、表２、表３、表４、表６、表７、表８、表９、表１０、表１１、表１２、表１３及び表１４を介して後述する。

前記符号化対象ブロックの量子化媒介変数を決定する方法のうち、最小一つ以上又は一つ以上の方法の組合せにより符号化対象ブロックの量子化媒介変数を決定することができる。

前記符号化対象ブロックの量子化媒介変数を決定する時、量子化媒介変数が決定されるブロックの特定深さより深いブロックが存在する場合、映像符号化装置は、より深いブロックの量子化媒介変数を特定深さで決定された量子化媒介変数と同じに決定することができる。また、量子化媒介変数が決定されるブロックの特定大きさより小さいブロックが存在する場合、映像符号化装置は、より小さいブロックの量子化媒介変数を特定大きさで決定された量子化媒介変数と同じに決定することができる。

また、１３０ステップで、映像符号化装置は、決定された量子化媒介変数を符号化することができる。

一例として、映像符号化装置は、符号化対象ブロックの量子化媒介変数をエントロピ符号化してビットストリームを生成することができる。

他の例として、映像符号化装置は、１２０ステップで説明したように、符号化対象ブロックの量子化媒介変数を決定する１)乃至１４)のうちいずれか一つによって符号化対象ブロックの量子化媒介変数を符号化することができる。例えば、１)又は２)を用いる場合、映像符号化装置は、ＬＣＴＢ又はＳＣＴＢ毎に一つの量子化媒介変数を符号化することができる。３)乃至１４)のうちいずれか一つを用いて符号化対象ブロックの量子化媒介変数を符号化する過程は、１２０ステップで量子化媒介変数を決定する過程と類似するため、重複する説明は省略する。

前記符号化対象ブロックの量子化媒介変数を符号化する時、量子化媒介変数が符号化されるブロックの特定深さより深いブロックが存在する場合、映像符号化装置は、より深いブロックの量子化媒介変数の符号化を省略することができる。また、量子化媒介変数が符号化されるブロックの特定大きさより小さいブロックが存在する場合、映像符号化装置は、より小さいブロックの量子化媒介変数の符号化を省略することができる。

一方、映像符号化装置及び映像復号化装置で、符号化対象ブロックのブロック情報を既に知っていたり、又は既にビットストリームが存在する場合、図１において、１１０ステップは省略されることができる。即ち、映像符号化装置は、符号化対象ブロックのブロック情報を既に知っているため、符号化対象ブロックのブロック情報をエントロピ符号化してビットストリームに生成する動作を省略することができる。

同様に、映像符号化装置及び映像復号化装置で、符号化対象ブロックの量子化媒介変数を既に知っている場合、図１において、１３０ステップは省略されることができる。即ち、映像符号化装置は、符号化対象ブロックの量子化媒介変数を既に知っているため、符号化対象ブロックの量子化媒介変数をエントロピ符号化してビットストリームに生成する動作を省略することができる。

図２は、本発明の一実施例により残余量子化媒介変数に基づいて映像を符号化する方法を説明するために提供されるフローチャートである。

まず、２１０ステップで、映像符号化装置は、符号化対象ブロックのブロック情報を符号化することができる。この時、映像符号化装置及び映像復号化装置で、符号化対象ブロックのブロック情報を既に知っていたり、又は既にビットストリームが存在する場合、図２において、２１０ステップは省略されることができる。

次に、２２０ステップで、映像符号化装置は、符号化対象ブロックのブロック情報に基づいて符号化対象ブロックの量子化媒介変数を決定することができる。

ここで、ブロック情報を符号化する過程及び量子化媒介変数を決定する過程は、図１の１１０及び１２０ステップの説明と同様であるため、重複する説明は省略する。

また、２３０ステップで、映像符号化装置は、符号化対象ブロックの量子化媒介変数を予測することができる。

一例として、映像符号化装置は、符号化順序上、符号化対象ブロック以前に既に符号化された量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、符号化順序上、符号化対象ブロック以前に既に符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、符号化順序上、符号化対象ブロック以前に既に符号化された量子化媒介変数の集合を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、符号化順序上、符号化対象ブロック以前に既に符号化されたブロックの量子化媒介変数の集合を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、符号化対象ブロック周辺に既に符号化された量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、符号化対象ブロック周辺に既に符号化された量子化媒介変数の集合を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、既に符号化された周辺ブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。ここで、周辺ブロックは、符号化対象ブロックと空間的に隣接して位置するブロックを意味する。

他の例として、映像符号化装置は、周辺ブロックの量子化媒介変数の集合を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、既に符号化されたブロックのうち、符号化対象ブロックの深さより浅いブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、既に符号化されたブロックのうち、符号化対象ブロックの大きさより大きいブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、ＳＰＳ又はＰＰＳ又はスライスヘッダに定義された量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、以前に符号化されたスライス又は以前に符号化されたピクチャで、符号化対象ブロックと空間的に同じ位置を有するブロックを決定し、決定されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、図９のように、Ｚスキャン順序上、符号化対象ブロック以前に符号化されたブロックの量子化媒介変数、符号化対象ブロックを基準に左側に存在し、既に符号化されたブロックの量子化媒介変数のうち最小一つを用いて符号化対象ブロックの量子化媒介変数を予測することができる。

この時、ＬＣＵ(ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ)間量子化媒介変数を予測する場合、符号化順序又はラスタスキャン(Ｒａｓｔｅｒ Ｓｃａｎ)順序上、符号化対象ブロック以前に符号化されたＬＣＵ内に存在するブロックの量子化媒介変数、又は符号化対象ブロックの左側或いは上段に存在するＬＣＵ内に存在するブロックの量子化媒介変数から符号化対象ブロックの量子化媒介変数を予測することができる。

この時、ＬＣＵ内量子化媒介変数を予測する場合、Ｚスキャン順序上、符号化対象ブロック以前に符号化されたブロックの量子化媒介変数又は符号化対象ブロックを基準に隣接したブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

この時、ＬＣＵがスライス又はピクチャ内で最も左側に存在する場合、スライスの量子化媒介変数、ピクチャの量子化媒介変数、符号化順序又はラスタスキャン順序上、符号化対象ブロック以前に符号化されたＬＣＵ内に存在するブロックの量子化媒介変数、Ｚスキャン順序上、以前に存在するブロックの既に符号化された量子化媒介変数のうち一つを用いて符号化対象ブロックの量子化媒介変数を予測することができる。

図９のブロック内の数字は、量子化媒介変数を予測する順序を示し、ＬＣＵ内では、Ｚスキャン順序上、符号化対象ブロック以前に符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができ、ＬＣＵ間では、符号化順序又はラスタスキャン順序上、符号化対象ブロック以前に符号化されたＬＣＵ内に存在するブロックの量子化媒介変数から符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像符号化装置は、符号化パラメータ類似度によって、既に符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。この時、符号化パラメータは、ブロックの大きさ、変換の深さ、動き併合(ｍｏｔｉｏｎ ｍｅｒｇｅ)、動きベクトル予測器(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ)、画面内予測方向(ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｄｉｒｅｃｔｉｏｎ)、予測モード(ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ)、動きベクトル(ｍｏｔｉｏｎ ｖｅｃｔｏｒ)、参照映像索引(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ)、参照映像リスト(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ)、符号化ブロックパターン(ｃｏｄｅｄ ｂｌｏｃｋ ｐａｔｔｅｒｎ)又は符号化ブロックフラッグ(ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ)などである。符号化対象ブロックの大きさがＮ×Ｍである場合、符号化対象ブロックに隣接したブロックのうちブロック大きさがＮ×Ｍであるブロックを用いて量子化媒介変数を予測することができる。符号化対象ブロックの変換の深さがＮである場合、符号化対象ブロックに隣接したブロックのうち変換の深さがＮであるブロックを用いて量子化媒介変数を予測することができる。符号化対象ブロックが動き併合された場合、動き併合の対象になるブロックを用いて量子化媒介変数を予測することができる。符号化対象ブロックが動きベクトル予測器を用いる場合、該当動きベクトル予測器が示すブロックを用いて量子化媒介変数を予測することができる。符号化対象ブロックが画面内符号化された場合、該当画面内予測方向と同じ、或いは類似の画面内予測方向に符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。
符号化対象ブロックが符号化対象ブロックを基準に上段ブロックの復元された画素を用いて画面内符号化された場合、上段ブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができ、符号化対象ブロックが符号化対象ブロックを基準に左側ブロックの復元された画素を用いて画面内符号化された場合、左側ブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。符号化対象ブロックが画面内符号化された場合、符号化対象ブロックの画面内予測モード(方向)を符号化するために使われた符号化対象ブロックの周辺に符号化されたブロックを用いて量子化媒介変数を予測することができる。例えば、符号化対象ブロックの画面内予測モードを符号化するとき、符号化対象ブロックを基準に左側ブロックと上段ブロックのうちいずれか一つのブロックの画面内予測モードが使われた場合、使われた予測ユニットの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。符号化対象ブロックの予測モードと同じ予測モードに符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。例えば、符号化対象ブロックが画面間符号化された場合、符号化対象ブロックの周辺ブロックのうち画面間予測モードに符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができ、符号化対象ブロックが画面内符号化された場合、符号化対象ブロックの周辺ブロックのうち画面内予測モードに符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。この時、符号化対象ブロックの予測モードと同じ予測モードに符号化されたブロックが複数存在する場合、該当複数ブロックの量子化媒介変数が符号化対象ブロックの量子化媒介変数の予測に使われることができる。符号化対象ブロックが画面間符号化された場合、符号化対象ブロックの動き情報である動きベクトル、参照映像索引、参照映像リストを用い、該当動き情報が示す参照映像内ブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。この時、符号化対象ブロックが２個以上の動き情報を有する場合、参照映像内ブロックの量子化媒介変数は２個以上になることができる。既に符号化されたブロックで残余信号が存在しなくて、符号化ブロックパターン又は符号化ブロックフラッグが０である場合、該当ブロックの量子化媒介変数を符号化対象ブロックの量子化媒介変数の予測時に用いない。この時、符号化ブロックパターン又は符号化ブロックフラッグが０であるということは、輝度成分と色差成分の残余信号が符号化されない、或いは輝度成分の残余信号が符号化されないことを意味する。

前記符号化対象ブロックの量子化媒介変数を予測する方法のうち、最小一つ以上又は一つ以上の方法の組合せを用いて符号化対象ブロックの量子化媒介変数を予測することができる。

次に、２４０ステップで、映像符号化装置は、符号化対象ブロックの残余量子化媒介変数を決定することができる。

この時、予測された符号化対象ブロックの量子化媒介変数が複数個である場合、映像符号化装置は、予測された符号化対象ブロックの量子化媒介変数の平均を計算し、符号化対象ブロックの量子化媒介変数で計算された平均を減算し、符号化対象ブロックの残余量子化媒介変数を決定することができる。

また、映像符号化装置は、符号化対象ブロックの量子化媒介変数と、予測された符号化対象ブロックの量子化媒介変数と、の差分を介して符号化対象ブロックの残余量子化媒介変数を決定することができる。

一例として、予測された量子化媒介変数として、符号化順序上、既に符号化されたブロックの量子化媒介変数が用いられる場合、映像符号化装置は、符号化対象ブロックの量子化媒介変数(ｑｐ＿ｃｕｒｒ＿ｕｎｉｔ)から、符号化順序上、既に符号化されたブロックの量子化媒介変数(ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ)を減算して符号化対象ブロックの残余量子化媒介変数(ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａ)を決定することができる。

他の例として、予測された量子化媒介変数として、符号化順序上、既に符号化されたブロックの量子化媒介変数の集合が用いられる場合、映像符号化装置は、符号化順序上、既に符号化されたブロックの量子化媒介変数の集合(ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿１、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿２、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿３)を構成する量子化媒介変数のうちいずれか一つと符号化対象ブロックの量子化媒介変数(ｑｐ＿ｃｕｒｒ＿ｕｎｉｔ)を減算して符号化対象ブロックの残余量子化媒介変数(ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａ)を決定することができる。ここで、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿１は、符号化対象ブロックより符号化順序上、一個のブロック以前の符号化ブロックの量子化媒介変数であり、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿２は、符号化対象ブロックより符号化順序上、二個のブロック以前の符号化ブロックの量子化媒介変数であり、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿３は、符号化対象ブロックより符号化順序上、三個のブロック以前の符号化ブロックの量子化媒介変数である。この時、映像符号化装置は、量子化媒介変数の集合を構成する量子化媒介変数のうちいずれの量子化媒介変数(即ち、予測された量子化媒介変数)を用いて残余量子化媒介変数を決定したかを示す量子化媒介変数の識別情報を映像復号化装置に送信することができる。

他の例として、予測された量子化媒介変数として符号化対象ブロックの上段の既に符号化されたブロックの量子化媒介変数を用いる場合、映像符号化装置は、符号化ブロックの量子化媒介変数(ｑｐ＿ｃｕｒｒ＿ｕｎｉｔ)から符号化対象ブロックの上段の既に符号化されたブロックの量子化媒介変数(ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ)を減算して符号化対象ブロックの残余量子化媒介変数(ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａ)を決定することができる。

他の例として、既に符号化された周辺ブロックの量子化媒介変数の集合を用いる場合、映像符号化装置は、符号化対象ブロックの量子化媒介変数(ｑｐ＿ｃｕｒｒ＿ｕｎｉｔ)から既に符号化された周辺ブロックの量子化媒介変数の集合(ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿１、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿２、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿３)のうち一つの量子化媒介変数を減算して符号化対象ブロックの残余量子化媒介変数(ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａ)を決定することができる。ここで、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿１は符号化対象ブロックの左側符号化ブロックの量子化媒介変数であり、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿２は符号化対象ブロックの上段符号化ブロックの量子化媒介変数であり、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿３は符号化対象ブロックの左上段符号化ブロックの量子化媒介変数である。この時、映像符号化装置は、量子化媒介変数の集合を構成する量子化媒介変数のうちいずれの量子化媒介変数(即ち、予測された量子化媒介変数)を用いて残余量子化媒介変数を決定したかを示す量子化媒介変数の識別情報を映像復号化装置に送信することができる。

他の例として、既に符号化された周辺ブロックの量子化媒介変数の集合を用いる場合、映像符号化装置は、符号化対象ブロックの量子化媒介変数(ｑｐ＿ｃｕｒｒ＿ｕｎｉｔ)から既に符号化された周辺ブロックの量子化媒介変数の集合(ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿１、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿２、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿３)のうち一つの量子化媒介変数を減算して符号化対象ブロックの残余量子化媒介変数(ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａ)を決定することができる。この時、量子化媒介変数の集合から一つの量子化媒介変数を選択する時、量子化媒介変数の集合内で中間値(ｍｅｄｉａｎ ｖａｌｕｅ)を有する量子化媒介変数を選択することができる。ここで、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿１は符号化対象ブロックの左側符号化ブロックの量子化媒介変数であり、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿２は符号化対象ブロックの上段符号化ブロックの量子化媒介変数であり、ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ＿３は符号化対象ブロックの右上段符号化ブロックの量子化媒介変数である。

他の例として、映像符号化装置は、予測された符号化対象ブロックの量子化媒介変数のうち、符号化対象ブロックより浅く、既に符号化されたブロックを用いる場合、映像符号化装置は、符号化対象ブロックの量子化媒介変数(ｑｐ＿ｃｕｒｒ＿ｕｎｉｔ)から符号化対象ブロックより浅く、既に符号化されたブロックの量子化媒介変数(ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ)を減算して符号化対象ブロックの残余量子化媒介変数(ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａ)を決定することができる。

他の例として、映像符号化装置は、予測された符号化対象ブロックの量子化媒介変数のうち、符号化対象ブロックより大きく、既に符号化されたブロックを用いる場合、映像符号化装置は、符号化対象ブロックの量子化媒介変数(ｑｐ＿ｃｕｒｒ＿ｕｎｉｔ)から符号化対象ブロックより大きく、既に符号化されたブロックの量子化媒介変数ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ)を減算して符号化対象ブロックの残余量子化媒介変数(ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａ)を決定することができる。

他の例として、映像符号化装置は、符号化対象ブロックの量子化媒介変数(ｑｐ＿ｃｕｒｒ＿ｕｎｉｔ)からスライスヘッダに定義された量子化媒介変数(ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａ)を減算して符号化対象ブロックの残余量子化媒介変数(ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａ)を決定することができる。

他の例として、映像符号化装置は、符号化対象ブロックの左側に存在するブロックの量子化媒介変数(ｑｐ＿ｌｅｆｔ＿ｕｎｉｔ)が存在する場合、符号化対象ブロックの量子化媒介変数(ｑｐ＿ｃｕｒｒ＿ｕｎｉｔ)から左側に存在するブロックの量子化媒介変数(ｑｐ＿ｌｅｆｔ＿ｕｎｉｔ)を減算して符号化対象ブロックの残余量子化媒介変数(ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａ)を決定することができる。この時、符号化対象ブロックの左側にブロックが存在しない場合、或いは左側に存在するブロックの量子化媒介変数(ｑｐ＿ｌｅｆｔ＿ｕｎｉｔ)が存在しない場合、符号化対象ブロックの量子化媒介変数(ｑｐ＿ｃｕｒｒ＿ｕｎｉｔ)から、符号化順序上、既に符号化されたブロックの量子化媒介変数(ｑｐ＿ｐｒｅｖ＿ｕｎｉｔ)を減算して符号化対象ブロックの残余量子化媒介変数(ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａ)を決定することができる。

前記符号化対象ブロックの残余量子化媒介変数を決定する方法のうち、最小一つ以上又は一つ以上の方法の組合せを用いて符号化対象ブロックの残余量子化媒介変数を決定することができる。

また、２５０ステップで、映像符号化装置は、決定された符号化対象ブロックの残余量子化媒介変数を符号化することができる。

一例として、映像符号化装置は、符号化対象ブロックの残余量子化媒介変数をエントロピ符号化してビットストリームを生成することができる。この時、映像符号化装置及び映像復号化装置で、符号化対象ブロックの残余量子化媒介変数を既に知っている場合、図２において、２５０ステップは省略されることができる。

他の例として、映像符号化装置は、図１の１３０ステップで、符号化対象ブロックの量子化媒介変数を符号化する多様な方法によって符号化対象ブロックの残余量子化媒介変数を符号化することができる。即ち、前述した１)乃至１４)のうちいずれか一つによって符号化対象ブロックの残余量子化媒介変数を符号化することができる。例えば、１)又は２)を用いる場合、映像符号化装置は、ＬＣＴＢ又はＳＣＴＢ毎に一つの残余量子化媒介変数を符号化することができる。３)乃至１４)のうちいずれか一つを用いて符号化対象ブロックの残余量子化媒介変数を符号化する過程は、１３０ステップで量子化媒介変数を決定する過程と重複するため、詳細な説明は省略する。また、符号化対象ブロックの残余量子化媒介変数を符号化する方法のうち一つ以上の方法の組合せにより符号化対象ブロックの残余量子化媒介変数を符号化することができる。

前記符号化対象ブロックの残余量子化媒介変数を符号化する時、残余量子化媒介変数が符号化されるブロックの特定深さより深いブロックが存在する場合、映像符号化装置は、より深いブロックの残余量子化媒介変数の符号化を省略することができる。また、残余量子化媒介変数が符号化されるブロックの特定大きさより小さいブロックが存在する場合、映像符号化装置は、より小さいブロックの残余量子化媒介変数の符号化を省略することができる。

図３は、本発明の一実施例に係る映像符号化装置の構成を示すブロック図である。

図３によると、映像符号化装置３００は、量子化媒介変数決定部３１０及び符号化部３２０を含むことができる。

量子化媒介変数決定部３１０は、符号化対象ブロックのブロック情報に基づいて符号化対象ブロックの量子化媒介変数を決定することができる。ここで、ブロック情報は、予測ユニット、変換ユニットなどのブロックのタイプ、ブロックの大きさ、ブロックの深さ、ブロックの符号化/復号化順序のうち少なくとも一つを含むことができる。この時、ブロック情報によって、符号化対象ブロックの量子化媒介変数を決定する過程は、図１の１１０及び１２０ステップで詳細に説明したため、重複する説明は省略する。

符号化部３２０は、符号化対象ブロックのブロック情報及び決定された符号化対象ブロックの量子化媒介変数のうち少なくとも一つをエントロピ符号化してビットストリームを生成することができる。

一例として、符号化部３２０は、符号化対象ブロックのブロック情報をビットストリーム構成のうちシーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ)、ピクチャパラメータセット(Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＰＰＳ)、及びスライスヘッダ(Ｓｌｉｃｅ Ｈｅａｄｅｒ)のうちいずれか一つにエントロピ符号化することができる。また、符号化部３２０は、図１で説明した１)乃至１４)のうちいずれか一つによって符号化対象ブロックの量子化媒介変数を符号化することができる。また、符号化対象ブロックの量子化媒介変数を符号化する方法のうち一つ以上の方法の組合せにより符号化対象ブロックの量子化媒介変数を符号化することができる。ここで、符号化対象ブロックの量子化媒介変数を符号化する動作は、図１の１３０ステップで詳細に説明したため、重複する説明は省略する。

符号化対象ブロックの量子化媒介変数を符号化する時、量子化媒介変数が符号化されるブロックの特定深さより深いブロックが存在する場合、映像符号化装置は、より深いブロックの量子化媒介変数の符号化を省略することができる。また、量子化媒介変数が符号化されるブロックの特定大きさより小さいブロックが存在する場合、映像符号化装置は、より小さいブロックの量子化媒介変数の符号化を省略することができる。

この時、映像符号化装置及び映像復号化装置で、符号化対象ブロックのブロック情報を既に知っている場合、符号化部３２０は、符号化対象ブロックのブロック情報をエントロピ符号化する過程を省略することができる。同様に、映像符号化装置及び映像復号化装置で、符号化対象ブロックの量子化媒介変数を既に知っている場合、符号化部３２０は符号化対象ブロックの量子化媒介変数をエントロピ符号化してビットストリームに生成する動作を省略することができる。

図４は、本発明の一実施例に係る残余量子化媒介変数を決定する映像符号化装置の構成を示すブロック図である。

図４によると、映像符号化装置４００は、量子化媒介変数決定部４１０、予測部４２０、残余量子化媒介変数決定部４３０、及び符号化部４４０を含むことができる。図４で、量子化媒介変数決定部４１０、及び符号化部４４０の動作は、図３の量子化媒介変数決定部３１０、及び符号化部３２０の動作と同様であるため、重複する説明は省略する。

予測部４２０は、符号化対象ブロックの量子化媒介変数を予測することができる。

一例として、予測部４２０は、符号化順序上、符号化対象ブロック以前に既に符号化された量子化媒介変数、符号化順序上、符号化対象ブロック以前に既に符号化されたブロックの量子化媒介変数、符号化順序上、符号化対象ブロック以前に既に符号化された量子化媒介変数の集合、符号化順序上、符号化対象ブロック以前に既に符号化されたブロックの量子化媒介変数の集合、符号化対象ブロック周辺に既に符号化された量子化媒介変数、符号化対象ブロック周辺に既に符号化された量子化媒介変数の集合及び周辺ブロックの量子化媒介変数の集合のうちいずれか一つを用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、予測部４２０は、既に符号化されたブロックのうち、符号化対象ブロックの深さより浅いブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、予測部４２０は、既に符号化されたブロックのうち、符号化対象ブロックの大きさより大きいブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、予測部４２０は、ＳＰＳ又はＰＰＳ又はスライスヘッダに定義された量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、予測部４２０は、以前に符号化されたスライス又は以前に符号化されたピクチャで、符号化対象ブロックと空間的に同じ位置を有するブロックを決定し、決定されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、予測部４２０は、図９のように、Ｚスキャン順序上、符号化対象ブロック以前に符号化されたブロックの量子化媒介変数、符号化対象ブロックを基準に左側に存在し、既に符号化されたブロックの量子化媒介変数のうち最小一つを用いて符号化対象ブロックの量子化媒介変数を予測することができる。

この時、ＬＣＵ(ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ)間量子化媒介変数を予測する場合、符号化順序又はラスタスキャン順序上、符号化対象ブロック以前に符号化されたＬＣＵ内に存在するブロックの量子化媒介変数、又は符号化対象ブロックの左側或いは上段に存在するＬＣＵ内に存在するブロックの量子化媒介変数から符号化対象ブロックの量子化媒介変数を予測することができる。

この時、ＬＣＵ内量子化媒介変数を予測する場合、Ｚスキャン順序上、符号化対象ブロック以前に符号化されたブロックの量子化媒介変数又は符号化対象ブロックを基準に隣接したブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。

この時、ＬＣＵがスライス又はピクチャ内で最も左側に存在する場合、スライスの量子化媒介変数、ピクチャの量子化媒介変数、符号化順序又はラスタスキャン順序上、符号化対象ブロック以前に符号化されたＬＣＵ内に存在するブロックの量子化媒介変数、Ｚスキャン順序上、以前に存在するブロックの既に符号化された量子化媒介変数のうち一つを用いて符号化対象ブロックの量子化媒介変数を予測することができる。

図９のブロック内の数字は、量子化媒介変数を予測する順序を示し、ＬＣＵ内では、Ｚスキャン順序上、符号化対象ブロック以前に符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができ、ＬＣＵ間では、符号化順序又はラスタスキャン順序上、符号化対象ブロック以前に符号化されたＬＣＵ内に存在するブロックの量子化媒介変数から符号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、予測部４２０は、符号化パラメータ類似度によって、既に符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。この時、符号化パラメータは、ブロックの大きさ、変換の深さ、動き併合(ｍｏｔｉｏｎｍｅｒｇｅ)、動きベクトル予測器(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ)、画面内予測方向(ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｄｉｒｅｃｔｉｏｎ)、予測モード(ｐｒｅｄｉｃｔｉｏｎｍｏｄｅ)、動きベクトル(ｍｏｔｉｏｎ ｖｅｃｔｏｒ)、参照映像索引(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ)、参照映像リスト(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ)、符号化ブロックパターン(ｃｏｄｅｄ ｂｌｏｃｋ ｐａｔｔｅｒｎ)又は符号化ブロックフラッグ(ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ)などである。符号化対象ブロックの大きさがＮ×Ｍである場合、符号化対象ブロックに隣接したブロックのうちブロック大きさがＮ×Ｍであるブロックを用いて量子化媒介変数を予測することができる。符号化対象ブロックの変換の深さがＮである場合、符号化対象ブロックに隣接したブロックのうち変換の深さがＮであるブロックを用いて量子化媒介変数を予測することができる。符号化対象ブロックが動き併合された場合、動き併合の対象になるブロックを用いて量子化媒介変数を予測することができる。符号化対象ブロックが動きベクトル予測器を用いる場合、該当動きベクトル予測器が示すブロックを用いて量子化媒介変数を予測することができる。符号化対象ブロックが画面内符号化された場合、該当画面内予測方向と同じ、或いは類似の画面内予測方向に符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。符号化対象ブロックが符号化対象ブロックを基準に上段ブロックの復元された画素を用いて画面内符号化された場合、上段ブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができ、符号化対象ブロックが符号化対象ブロックを基準に左側ブロックの復元された画素を用いて画面内符号化された場合、左側ブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。符号化対象ブロックが画面内符号化された場合、符号化対象ブロックの画面内予測モード(方向)を符号化するために使われた符号化対象ブロックの周辺に符号化されたブロックを用いて量子化媒介変数を予測することができる。例えば、符号化対象ブロックの画面内予測モードを符号化するとき、符号化対象ブロックを基準に左側ブロックと上段ブロックのうちいずれか一つのブロックの画面内予測モードが使われた場合、使われた予測ブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。符号化対象ブロックの予測モードと同じ予測モードに符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。例えば、符号化対象ブロックが画面間符号化された場合、符号化対象ブロックの周辺ブロックのうち画面間予測モードに符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができ、符号化対象ブロックが画面内符号化された場合、符号化対象ブロックの周辺ブロックのうち画面内予測モードに符号化されたブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。この時、符号化対象ブロックの予測モードと同じ予測モードに符号化されたブロックが複数存在する場合、該当複数ブロックの量子化媒介変数が符号化対象ブロックの量子化媒介変数の予測に使われることができる。符号化対象ブロックが画面間符号化された場合、符号化対象ブロックの動き情報である動きベクトル、参照映像索引、参照映像リストを用い、該当動き情報が示す参照映像内ブロックの量子化媒介変数を用いて符号化対象ブロックの量子化媒介変数を予測することができる。この時、符号化対象ブロックが２個以上の動き情報を有する場合、参照映像内ブロックの量子化媒介変数は２個以上になることができる。
既に符号化されたブロックで残余信号が存在しなくて、符号化ブロックパターン又は符号化ブロックフラッグが０である場合、該当ブロックの量子化媒介変数を符号化対象ブロックの量子化媒介変数の予測時に用いない。この時、符号化ブロックパターン又は符号化ブロックフラッグが０であるということは、輝度成分と色差成分の残余信号が符号化されない、或いは輝度成分の残余信号が符号化されないことを意味する。

前記符号化対象ブロックの量子化媒介変数を予測する方法のうち、最小一つ以上又は一つ以上の方法の組合せを用いて符号化対象ブロックの量子化媒介変数を予測することができる。

残余量子化媒介変数決定部４３０は、符号化対象ブロックの量子化媒介変数と、予測された符号化対象ブロックの量子化媒介変数を用いて符号化対象ブロックの残余量子化媒介変数を決定することができる。

一例として、残余量子化媒介変数決定部４３０は、符号化対象ブロックの量子化媒介変数で予測された符号化対象ブロックの量子化媒介変数を減算して符号化対象ブロックの残余量子化媒介変数を決定することができる。

他の例として、残余量子化媒介変数決定部４３０は、予測された符号化対象ブロックの量子化媒介変数の平均を計算することができる。また、残余量子化媒介変数決定部４３０は、符号化対象ブロックの量子化媒介変数で予測された符号化対象ブロックの量子化媒介変数の平均を減算して符号化対象ブロックの残余量子化媒介変数を決定することができる。

前記符号化対象ブロックの残余量子化媒介変数を決定する方法のうち、最小一つ以上又は一つ以上の方法の組合せを用いて符号化対象ブロックの残余量子化媒介変数を決定することができる。

符号化部４４０は、符号化対象ブロックの残余量子化媒介変数及び符号化対象ブロックのブロック情報のうち少なくとも一つを符号化することができる。

一例として、符号化部４４０は、符号化対象ブロックの残余量子化媒介変数と符号化対象ブロックのブロック情報をエントロピ符号化してビットストリームを生成することができる。この時、映像符号化装置及び映像復号化装置で、符号化対象ブロックのブロック情報を既に知っている場合、符号化部４４０は、符号化対象ブロックの残余量子化媒介変数のみをエントロピ符号化してビットストリームを生成することができる。

一例として、符号化部４４０は、符号化対象ブロックのブロック情報をビットストリーム構成のうちシーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ)、ピクチャパラメータセット(Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＰＰＳ)、及びスライスヘッダ(Ｓｌｉｃｅ Ｈｅａｄｅｒ)のうちいずれか一つにエントロピ符号化することができる。また、符号化部４４０は、図１で説明した１)乃至１４)のうちいずれか一つによって符号化対象ブロックの残余量子化媒介変数を符号化することができる。また、符号化対象ブロックの残余量子化媒介変数を符号化する方法のうち一つ以上の方法の組合せにより符号化対象ブロックの残余量子化媒介変数を符号化することができる。

符号化対象ブロックの残余量子化媒介変数を符号化する時、残余量子化媒介変数が符号化されるブロックの特定深さより深いブロックが存在する場合、映像符号化装置は、より深いブロックの残余量子化媒介変数の符号化を省略することができる。また、残余量子化媒介変数が符号化されるブロックの特定大きさより小さいブロックが存在する場合、映像符号化装置は、より小さいブロックの残余量子化媒介変数の符号化を省略することができる。

図５は、本発明の一実施例に係る映像復号化方法を説明するために提供されるフローチャートである。

まず、５１０ステップで、映像復号化装置は、復号化対象ブロックのブロック情報を復号化することができる。

一例として、映像復号化装置は、映像符号化装置から受信されたビットストリームを逆多重化して符号化された復号化対象ブロックのブロック情報を抽出することができる。また、映像復号化装置は、符号化された復号化対象ブロックのブロック情報をエントロピ復号化することができる。ここで、ビットストリームに含まれている符号化された復号化対象ブロックのブロック情報は、映像符号化装置で符号化された符号化対象ブロックのブロック情報と同じである。

他の例として、映像復号化装置は、ビットストリーム構成のうち、シーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ)、ピクチャパラメータセット(Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＰＰＳ)、及びスライスヘッダ(Ｓｌｉｃｅ Ｈｅａｄｅｒ)のうちいずれか一つに含まれている復号化対象ブロックのブロック情報をエントロピ復号化することができる。

詳しくは、映像復号化装置は、ＳＰＳ、ＰＰＳ又はスライスヘッダで符号化されたブロック情報である符号化ユニット大きさの最大幅を示すｍａｘ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｗｉｄｔｈ、符号化ユニット大きさの最大高さを示すｍａｘ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｅｉｇｈｔ、符号化ユニットの最も深い階層深さを示すｍａｘ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ、符号化ユニットの最も小さい大きさを示すｌｏｇ２＿ｍｉｎ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｓｉｚｅ＿ｍｉｎｕｓ３、変換ユニットの最も小さい大きさを示すｌｏｇ２＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｓｉｚｅ＿ｍｉｎｕｓ２、変換ユニットの最も深い階層深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ、符号化ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ、変換ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｂｌｏｃｋ＿ｓｉｚｅ、画面間符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｅｒ、画面内符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａなどをエントロピ復号化することができる。

他の例として、映像復号化装置で復号化対象ブロックのブロック情報を既に知っている場合、映像復号化装置は、ビットストリームから復号化対象ブロックのブロック情報をエントロピ復号化する過程を省略することができる。即ち、映像復号化装置で復号化対象ブロックのブロック情報を既に知っている場合、図５において、５１０ステップは省略されることができる。例えば、映像復号化装置で、符号化ユニット、予測ユニット、変換ユニットの高さと広さなどのように、ブロックの大きさと関連した情報を予め知っている場合、映像復号化装置は、復号化対象ブロックのブロック情報をビットストリームからエントロピ復号化しない。

前記復号化対象ブロックのブロック情報を復号化する方法のうち、最小一つ以上又は一つ以上の方法の組合せにより復号化対象ブロックのブロック情報を復号化することができる。

次に、５２０ステップで、映像復号化装置は、復号化対象ブロックのブロック情報に基づいてビットストリームから復号化対象ブロックの量子化媒介変数を復号化することができる。

一例として、映像復号化装置で復号化対象ブロックの量子化媒介変数を予め知っていない場合、映像復号化装置は、ビットストリームから復号化対象ブロックの量子化媒介変数をエントロピ復号化することができる。この時、映像復号化装置で復号化対象ブロックの量子化媒介変数を予め知っている場合、映像復号化装置は、復号化対象ブロックの量子化媒介変数をエントロピ復号化する動作を省略することができる。

以下、復号化対象ブロックのブロック情報に基づいて復号化対象ブロックの量子化媒介変数を復号化する過程を例示してさらに詳細に説明する。

まず、１)映像復号化装置は、ＬＣＴＢ、ＬＣＵ又はＳＣＴＢ、ＳＣＵ毎に一つの量子化媒介変数を復号化することができる。

また、２)映像復号化装置は、予測ユニットの大きさ又は予測ユニットの深さに関係なしに予測ユニット毎に一つの量子化媒介変数を復号化することができる。

また、３)映像復号化装置は、変換ユニットの大きさ又は変換ユニットの深さに関係なしに変換ユニット毎に一つの量子化媒介変数を復号化することができる。

また、４)映像復号化装置は、符号化ユニットの特定深さ又は特定大きさ、予測ユニットの特定深さ又は予測ユニットの特定大きさ、又は変換ユニットの特定深さ又は変換ユニットの特定大きさに一つの量子化媒介変数を復号化することができる。より詳細な構成は、以下の表１、表２、表３、表４、表６、表７、表８、表９、表１０、表１１、表１２、表１３及び表１４を介して後述する。

また、５)映像復号化装置は、ＰＰＳ、又はＳＰＳ、又はスライスヘッダに定義された復号化対象ブロックのブロック情報に基づいて量子化媒介変数を復号化することができる。

また、６)映像復号化装置は、復号化対象ブロック内に含まれている復号化する残余信号の存在有無に基づいて復号化対象ブロックの量子化媒介変数を復号化することができる。

また、７)映像復号化装置は、復号化対象ブロックのブロック情報に基づいて誘導された式又は誘導された値を用いて復号化対象ブロックの量子化媒介変数を復号化することができる。

また、８)映像復号化装置は、ＳＰＳ、ＰＰＳ又はスライスヘッダで定義している変換ユニットの大きさ(ｌｏｇ２＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｓｉｚｅ＿ｍｉｎｕｓ２)、変換ユニットの深さ(ｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ)、符号化ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ、変換ユニット(変換ブロック)の最小大きさを示すｌｏｇ２＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｍｉｎｕｓ２、変換ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｂｌｏｃｋ＿ｓｉｚｅ、画面間符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｅｒ、画面内符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａのうちいずれか一つを用いて一つの量子化媒介変数を復号化することができる。

また、９)映像復号化装置は、ＳＰＳ、ＰＰＳ又はスライスヘッダで定義している符号化ユニットの大きさ(ｌｏｇ２＿ｍｉｎ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｓｉｚｅ＿ｍｉｎｕｓ３)、符号化ユニットの深さ(ｍａｘ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ)、符号化ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ、変換ユニット(変換ブロック)の最小大きさを示すｌｏｇ２＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｂｌｏｃｋ＿ｓｉｚｅ＿ｍｉｎｕｓ２、変換ユニットの最小大きさと最大大きさとの差を示すｌｏｇ２＿ｄｉｆｆ＿ｍａｘ＿ｍｉｎ＿ｔｒａｎｓｆｏｒｍ＿ｂｌｏｃｋ＿ｓｉｚｅ、画面間符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｅｒ、画面内符号化された変換ユニットの最大深さを示すｍａｘ＿ｔｒａｎｓｆｏｒｍ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａのうちいずれか一つを用いて一つの量子化媒介変数を復号化することができる。

また、１０)映像復号化装置は、シーケンス内、ピクチャ内、スライス内、ＬＣＴＢ内等で復号化対象ブロックの量子化媒介変数を復号化することができる。この時、映像復号化装置は、変更する単位を示す量子化媒介変数の変更可能情報を用いて該当単位内でのみ量子化媒介変数を決定及び変更することができる。一例として、映像復号化装置は、量子化媒介変数の変更可能情報と関連した構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)を復号化することができる。また、復号された構文要素の論理値が１である場合、映像復号化装置は、ピクチャ下位単位(スライス、符号化ユニット(ＣＵ)、予測ユニット(ＰＵ)、変換ユニット(ＴＵ)等)で量子化媒介変数を変更し、変更された値によって復号化対象ブロックに量子化媒介変数を設定することができる。また、復号された構文要素の論理値が０である場合、映像復号化装置は、ピクチャ下位単位で量子化媒介変数を変更しない。

また、１１)映像復号化装置は、前述した１)乃至１０)方法によって復号化対象ブロックの量子化媒介変数を決定する場合、ブロックの大きさ又は深さと連動して量子化媒介変数の情報を示す構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)をＰＰＳ、ＳＰＳ又はスライスヘッダで復号化することができる。ブロック情報に基づいて誘導された式、又は誘導された値、又は変換ユニットの大きさ又は変換ユニットの深さ、又は予測ユニットの大きさ又は予測ユニットの深さを用いて復号化対象ブロックの量子化媒介変数を復号化する場合、映像符号化装置は、ブロックの大きさ又は深さと連動して量子化媒介変数の情報を示す構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)をＰＰＳ、ＳＰＳ又はスライスヘッダで復号化することができる。また、映像復号化装置は、復号化対象ブロックのブロック情報に基づいて量子化媒介変数を符号化ユニット、予測ユニット、変換ユニットの各々の深さ又は大きさによってブロックの特定深さ又はブロックの特定大きさまでのみ復号化することができる。この時、量子化媒介変数が復号化されるブロックの特定深さより深いブロックが存在する場合、映像復号化装置は、より深いブロックの量子化媒介変数を特定深さで設定された量子化媒介変数と同じに設定することができる。また、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ又はｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅは、符号化ユニット、予測ユニット、変換ユニットの各々に個別的に適用されることができる。ここで、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈは、量子化媒介変数が設定されるブロックの特定深さを示す構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)であり、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅは、量子化媒介変数が設定されるブロックの特定大きさを示す構文要素である。より詳細な構成は、以下の表１、表２、表３、表４、表６、表７、表８、表９、表１０、表１１、表１２、表１３及び表１４を介して後述する。

前記復号化対象ブロックの量子化媒介変数を復号化する方法のうち、最小一つ以上又は一つ以上の方法の組合せにより復号化対象ブロックの量子化媒介変数を復号化することができる。

前記復号化対象ブロックの量子化媒介変数を復号化する時、量子化媒介変数が復号化されるブロックの特定深さより深いブロックが存在する場合、映像復号化装置は、より深いブロックの量子化媒介変数の復号化を省略することができる。また、量子化媒介変数が復号化されるブロックの特定大きさより小さいブロックが存在する場合、映像復号化装置は、より小さいブロックの量子化媒介変数の復号化を省略することができる。

また、５３０ステップで、映像復号化装置は、復号化対象ブロックの量子化媒介変数が復号化されることによって復号化対象ブロックに量子化媒介変数を設定することができる。

この時、映像復号化装置は、５２０ステップで説明した１)乃至１１)の方法によって復号化対象ブロックに量子化媒介変数を設定することができる。一例として、１)又は２)を用いる場合、映像復号化装置は、ＬＣＴＢ又はＳＣＴＢ毎に一つの量子化媒介変数を設定することができる。同様な方法で、映像復号化装置は、３)乃至１１)のうちいずれか一つを用いて復号化対象ブロックに量子化媒介変数を設定することができる。また、復号化対象ブロックに量子化媒介変数を設定する方法のうち一つ以上の方法の組合せにより復号化対象ブロックに量子化媒介変数を設定することができる。

前記復号化対象ブロックの量子化媒介変数を設定する時、量子化媒介変数が設定されるブロックの特定深さより深いブロックが存在する場合、映像復号化装置は、より深いブロックの量子化媒介変数を特定深さで設定された量子化媒介変数と同じに設定することができる。また、量子化媒介変数が設定されるブロックの特定大きさより小さいブロックが存在する場合、映像復号化装置は、より小さいブロックの量子化媒介変数を特定大きさで設定された量子化媒介変数と同じに設定することができる。

図６は、本発明の一実施例により残余量子化媒介変数に基づいて映像を復号化する方法を説明するために提供されるフローチャートである。

まず、６１０ステップで、映像復号化装置は、復号化対象ブロックのブロック情報を復号化することができる。ここで、６１０ステップの動作は、前述した図５の５１０ステップの動作と同様であるため、重複する説明は省略する。

次に、６２０ステップで、映像復号化装置は、ビットストリームから復号化対象ブロックの残余量子化媒介変数を復号化することができる。

一例として、映像復号化装置は、ビットストリームを逆多重化して符号化された復号化対象ブロックの残余量子化媒介変数を抽出することができる。また、映像復号化装置は、符号化された復号化対象ブロックの残余量子化媒介変数をエントロピ復号化することができる。この時、復号化対象ブロックの量子化媒介変数を映像復号化装置で既に知っている場合、映像復号化装置は、符号化された復号化対象ブロックの残余量子化媒介変数をエントロピ復号化する過程を省略することができる。

他の例として、映像復号化装置は、図５の５２０ステップで説明した１)乃至１１)方法のうちいずれか一つによって残余量子化媒介変数を復号化することができる。この時、６)方法を用いる場合、映像復号化装置は、復号化対象ブロック内に復号化する残余信号が存在しないことによって復号化対象ブロックの残余量子化媒介変数を復号化しない。また、復号化対象ブロックの残余量子化媒介変数を復号化する方法のうち一つ以上の方法の組合せにより復号化対象ブロックの残余量子化媒介変数を復号化することができる。

前記復号化対象ブロックの残余量子化媒介変数を復号化する時、残余量子化媒介変数が復号化されるブロックの特定深さより深いブロックが存在する場合、映像復号化装置は、より深いブロックの残余量子化媒介変数の復号化を省略することができる。また、残余量子化媒介変数が復号化されるブロックの特定大きさより小さいブロックが存在する場合、映像復号化装置は、より小さいブロックの残余量子化媒介変数の復号化を省略することができる。

また、６３０ステップで、映像復号化装置は、復号化対象ブロックの量子化媒介変数を予測することができる。

一例として、映像復号化装置は、復号化順序上、復号化対象ブロック以前に既に復号化された量子化媒介変数、復号化順序上、復号化対象ブロック以前に既に復号化されたブロックの量子化媒介変数、復号化順序上、復号化対象ブロック以前に既に復号化された量子化媒介変数の集合、及び復号化順序上、復号化対象ブロック以前に既に復号化されたブロックの量子化媒介変数のうちいずれか一つを用いて復号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像復号化装置は、復号化対象ブロック周辺に既に復号化された量子化媒介変数、復号化対象ブロック周辺に既に復号化された量子化媒介変数の集合、既に復号化された周辺ブロックの量子化媒介変数、及び既に復号化された周辺ブロックの量子化媒介変数の集合のうちいずれか一つを用いて復号化対象ブロックの量子化媒介変数を予測することができる。ここで、既に復号化された周辺ブロックは、復号化対象ブロックと空間的に隣接して位置するブロックのうち既に復号化されたブロックを意味する。

他の例として、映像復号化装置は、既に復号化されたブロックのうち復号化対象ブロックより浅いブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。ここで、復号化順序上、復号化対象ブロック以前に復号化されたブロック、及び深さ上、復号化対象ブロックより浅いブロックのうち少なくとも一つを含むことができる。この時、復号化対象ブロックより浅いブロックは、復号化対象ブロックより以前に既に復号化されることができる。

他の例として、映像復号化装置は、既に復号化されたブロックのうち復号化対象ブロックより大きいブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。ここで、復号化順序上、復号化対象ブロック以前に復号化されたブロック、及び大きさ上、復号化対象ブロックより大きいブロックのうち少なくとも一つを含むことができる。この時、復号化対象ブロックより大きいブロックは、復号化対象ブロックより以前に既に復号化されることができる。

他の例として、映像復号化装置は、ＳＰＳ、ＰＰＳ又はスライスヘッダに定義された復号化対象ブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像復号化装置は、既に復号化されたスライス又はピクチャで、復号化対象ブロックと同じ空間的位置を有するブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像復号化装置は、図９のように、Ｚスキャン順序上、復号化対象ブロック以前に復号化されたブロックの量子化媒介変数、復号化対象ブロックを基準に左側に存在し、既に復号化されたブロックの量子化媒介変数のうち最小一つを用いて復号化対象ブロックの量子化媒介変数を予測することができる。

この時、ＬＣＵ(ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ)間量子化媒介変数を予測する場合、復号化順序又はラスタスキャン順序上、復号化対象ブロック以前に復号化されたＬＣＵ内に存在するブロックの量子化媒介変数、又は復号化対象ブロックの左側或いは上段に存在するＬＣＵ内に存在するブロックの量子化媒介変数から復号化対象ブロックの量子化媒介変数を予測することができる。

この時、ＬＣＵ内量子化媒介変数を予測する場合、Ｚスキャン順序上、復号化対象ブロック以前に復号化されたブロックの量子化媒介変数又は復号化対象ブロックを基準に隣接したブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。

この時、ＬＣＵがスライス又はピクチャ内で最も左側に存在する場合、スライスの量子化媒介変数、ピクチャの量子化媒介変数、復号化順序又はラスタスキャン順序上、復号化対象ブロック以前に復号化されたＬＣＵ内に存在するブロックの量子化媒介変数、Ｚスキャン順序上、以前に存在するブロックの既に復号化された量子化媒介変数のうち一つを用いて復号化対象ブロックの量子化媒介変数を予測することができる。

図９のブロック内の数字は、量子化媒介変数を予測する順序を示し、ＬＣＵ内では、Ｚスキャン順序上、復号化対象ブロック以前に復号化されたブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができ、ＬＣＵ間では、復号化順序又はラスタスキャン順序上、復号化対象ブロック以前に復号化されたＬＣＵ内に存在するブロックの量子化媒介変数から復号化対象ブロックの量子化媒介変数を予測することができる。

他の例として、映像復号化装置は、復号化パラメータ類似度によって、既に復号化されたブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。この時、復号化パラメータは、ブロックの大きさ、変換の深さ、動き併合(ｍｏｔｉｏｎｍｅｒｇｅ)、動きベクトル予測器(ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ)、画面内予測方向(ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｄｉｒｅｃｔｉｏｎ)、予測モード(ｐｒｅｄｉｃｔｉｏｎｍｏｄｅ)、動きベクトル(ｍｏｔｉｏｎ ｖｅｃｔｏｒ)、参照映像索引(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｉｎｄｅｘ)、参照映像リスト(ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ)、符号化ブロックパターン(ｃｏｄｅｄ ｂｌｏｃｋ ｐａｔｔｅｒｎ)又は符号化ブロックフラッグ(ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ)などである。復号化対象ブロックの大きさがＮ×Ｍである場合、復号化対象ブロックに隣接したブロックのうちブロック大きさがＮ×Ｍであるブロックを用いて量子化媒介変数を予測することができる。復号化対象ブロックの変換の深さがＮである場合、復号化対象ブロックに隣接したブロックのうち変換の深さがＮであるブロックを用いて量子化媒介変数を予測することができる。復号化対象ブロックが動き併合された場合、動き併合の対象になるブロックを用いて量子化媒介変数を予測することができる。復号化対象ブロックが動きベクトル予測器を用いる場合、該当動きベクトル予測器が示すブロックを用いて量子化媒介変数を予測することができる。復号化対象ブロックが画面内復号化された場合、該当画面内予測方向と同じ、或いは類似の画面内予測方向に復号化されたブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。復号化対象ブロックが復号化対象ブロックを基準に上段ブロックの復元された画素を用いて画面内復号化された場合、上段ブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができ、復号化対象ブロックが復号化対象ブロックを基準に左側ブロックの復元された画素を用いて画面内復号化された場合、左側ブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。復号化対象ブロックが画面内符号化された場合、復号化対象ブロックの画面内予測モード(方向)を復号化するために使われた復号化対象ブロックの周辺に復号化されたブロックを用いて量子化媒介変数を予測することができる。例えば、復号化対象ブロックの画面内予測モードを復号化するとき、復号化対象ブロックを基準に左側ブロックと上段ブロックのうちいずれか一つのブロックの画面内予測モードが使われた場合、使われた予測ブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。復号化対象ブロックの予測モードと同じ予測モードに復号化されたブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。例えば、復号化対象ブロックが画面間復号化された場合、復号化対象ブロックの周辺ブロックのうち画面間予測モードに復号化されたブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができ、復号化対象ブロックが画面内復号化された場合、復号化対象ブロックの周辺ブロックのうち画面内予測モードに復号化されたブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。この時、復号化対象ブロックの予測モードと同じ予測モードに復号化されたブロックが複数存在する場合、該当複数ブロックの量子化媒介変数が復号化対象ブロックの量子化媒介変数の予測に使われることができる。復号化対象ブロックが画面間復号化された場合、復号化対象ブロックの動き情報である動きベクトル、参照映像索引、参照映像リストを用い、該当動き情報が示す参照映像内ブロックの量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を予測することができる。この時、復号化対象ブロックが２個以上の動き情報を有する場合、参照映像内ブロックの量子化媒介変数は２個以上になることができる。
既に復号化されたブロックで残余信号が存在しなくて、符号化ブロックパターン又は符号化ブロックフラッグが０である場合、該当ブロックの量子化媒介変数を復号化対象ブロックの量子化媒介変数の予測時に用いない。この時、符号化ブロックパターン又は符号化ブロックフラッグが０であるということは、輝度成分と色差成分の残余信号が復号化されない、或いは輝度成分の残余信号が復号化されないことを意味する。

前記復号化対象ブロックの量子化媒介変数を予測する方法のうち、最小一つ以上又は一つ以上の方法の組合せを用いて復号化対象ブロックの量子化媒介変数を予測することができる。

次に、６４０ステップで、映像復号化装置は、予測された復号化対象ブロックの量子化媒介変数及び復号化対象ブロックの残余量子化媒介変数を用いて復号化対象ブロックの量子化媒介変数を決定することができる。

この時、映像復号化装置は、予測された復号化対象ブロックの量子化媒介変数の平均を計算し、計算された平均と復号化対象ブロックの残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。

また、映像復号化装置は、予測された量子化媒介変数と残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することもできる。

一例として、予測された量子化媒介変数として、復号化順序上、既に復号化されたブロックの量子化媒介変数を用いる場合、映像復号化装置は、復号化順序上、既に復号化されたブロックの量子化媒介変数と残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。

他の例として、予測された量子化媒介変数として、復号化順序上、既に復号化されたブロックの量子化媒介変数の集合を用いる場合、映像復号化装置は、復号化順序上、既に復号化されたブロックの量子化媒介変数の集合を構成する量子化媒介変数のうちいずれか一つと残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。この時、映像符号化装置から量子化媒介変数の識別情報が受信された場合、映像復号化装置は、復号化順序上、既に復号化されたブロックの量子化媒介変数の集合を構成する量子化媒介変数のうち量子化媒介変数の識別情報に該当する量子化媒介変数を選択することができる。また、映像復号化装置は、選択された量子化媒介変数と残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。

他の例として、予測された量子化媒介変数として復号化対象ブロックの上段の既に復号化されたブロックの量子化媒介変数を用いる場合、映像復号化装置は、復号化対象ブロックの上段の既に復号化されたブロックの量子化媒介変数と残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。

他の例として、予測された量子化媒介変数として周辺ブロックの量子化媒介変数の集合を用いる場合、映像復号化装置は、周辺ブロックの量子化媒介変数の集合を構成する量子化媒介変数のうちいずれか一つと残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。この時、映像符号化装置から量子化媒介変数の識別情報が受信された場合、映像復号化装置は、周辺ブロックの量子化媒介変数の集合を構成する量子化媒介変数のうち量子化媒介変数の識別情報に該当する量子化媒介変数を選択することができる。また、映像復号化装置は、選択された量子化媒介変数と残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。

他の例として、予測された量子化媒介変数として周辺ブロックの量子化媒介変数の集合を用いる場合、映像復号化装置は、周辺ブロックの量子化媒介変数の集合を構成する量子化媒介変数のうちいずれか一つと残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。この時、いずれか一つの量子化媒介変数を用いる時、量子化媒介変数の集合から中間値(ｍｅｄｉａｎ ｖａｌｕｅ)を有する量子化媒介変数が選択されることができる。

他の例として、予測された量子化媒介変数として深さを用いる場合、映像復号化装置は、既に復号化されたブロックのうち復号化対象ブロックより浅いブロックの量子化媒介変数と残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。ここで、復号化順序上、復号化対象ブロック以前に復号化されたブロック、深さ上、復号化対象ブロックより浅いブロックのうち少なくとも一つを含むことができる。

他の例として、予測された量子化媒介変数として大きさを用いる場合、映像復号化装置は、既に復号化されたブロックのうち復号化対象ブロックより大きいブロックの量子化媒介変数と残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。ここで、復号化順序上、復号化対象ブロック以前に復号化されたブロック、大きさ上、復号化対象ブロックより大きいブロックのうち少なくとも一つを含むことができる。

他の例として、予測された量子化媒介変数としてスライスヘッダに定義された量子化媒介変数を用いる場合、映像復号化装置は、スライスヘッダで定義された量子化媒介変数と残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。

他の例として、映像復号化装置は、復号化対象ブロックの左側に存在するブロックの量子化媒介変数が存在する場合、残余量子化媒介変数と左側に存在するブロックの量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。この時、復号化対象ブロックの左側にブロックが存在しない場合、或いは左側に存在するブロックの量子化媒介変数が存在しない場合、残余量子化媒介変数で、復号化順序上、既に復号化されたブロックの量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。

前記復号化対象ブロックの量子化媒介変数を決定する方法のうち、最小一つ以上又は一つ以上の方法の組合せにより復号化対象ブロックの量子化媒介変数を決定することができる。

また、６５０ステップで、映像復号化装置は、決定された復号化対象ブロックの量子化媒介変数に基づいて復号化対象ブロックの量子化媒介変数を復号化対象ブロックに設定することができる。ここで、６５０ステップの動作は、図５の５３０ステップの動作と同様であるため、重複する説明は省略する。

図７は、本発明の一実施例に係る映像復号化装置の構成を示すブロック図である。

図７によると、映像復号化装置７００は、復号化部７１０、及び量子化媒介変数設定部７２０を含むことができる。

復号化部７１０は、復号化対象ブロックのブロック情報及び符号化された復号化対象ブロックの量子化媒介変数のうち少なくとも一つを復号化することができる。

一例として、復号化部７１０は、逆多重化してビットストリームから抽出された符号化された復号化対象ブロックのブロック情報をエントロピ復号化することができる。また、復号化部７１０は、復号されたブロック情報に基づいて符号化された復号化対象ブロックの量子化媒介変数をエントロピ復号化することができる。

一例として、復号化部７１０は、復号化対象ブロックのブロック情報をビットストリーム構成のうちシーケンスパラメータセット(Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ)、ピクチャパラメータセット(Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＰＰＳ)、及びスライスヘッダ(Ｓｌｉｃｅ Ｈｅａｄｅｒ)のうちいずれか一つでエントロピ復号化することができる。また、復号化部７１０は、図５の５１０及び５２０ステップで説明した方法によって、復号化対象ブロックのブロック情報及び復号化対象ブロックの量子化媒介変数を復号化することができる。復号化対象ブロックのブロック情報及び復号化対象ブロックの量子化媒介変数を復号化する過程は、図５の５１０及び５２０ステップの説明と同様であるため、重複する説明は省略する。

この時、復号化対象ブロックのブロック情報を映像復号化装置で既に知っている場合、復号化部７１０は、ビットストリームから復号化対象ブロックのブロック情報をエントロピ復号化する動作を省略することができる。同様に、映像復号化装置で復号化対象ブロックの量子化媒介変数を既に知っている場合、復号化部７１０は、符号化された復号化対象ブロックの量子化媒介変数をエントロピ復号化する動作を省略することができる。

量子化媒介変数設定部７２０は、復号された復号化対象ブロックの量子化媒介変数に基づいて復号化対象ブロックに量子化媒介変数を設定することができる。ここで、復号化対象ブロックに量子化媒介変数を設定する動作は、図５の５３０ステップで詳細に説明したため、重複する説明は省略する。

図８は、本発明の一実施例に係る残余量子化媒介変数に基づく映像復号化装置の構成を示すブロック図である。

図８によると、映像復号化装置８００は、復号化部８１０、予測部８２０、量子化媒介変数決定部８３０、及び量子化媒介変数設定部８４０を含むことができる。

復号化部８１０は、復号化対象ブロックのブロック情報及び符号化された復号化対象ブロックの残余量子化媒介変数のうち少なくとも一つを復号化することができる。

一例として、復号化部８１０は、逆多重化してビットストリームから抽出された符号化された復号化対象ブロックのブロック情報をエントロピ復号化することができる。また、復号化部８１０は、復号されたブロック情報に基づいて符号化された復号化対象ブロックの残余量子化媒介変数をエントロピ復号化することができる。

この時、復号化対象ブロックのブロック情報を映像復号化装置で既に知っている場合、復号化部８１０は、ビットストリームから復号化対象ブロックのブロック情報をエントロピ復号化する動作を省略することができる。同様に、映像復号化装置で復号化対象ブロックの量子化媒介変数を既に知っている場合、復号化部８１０は、符号化された復号化対象ブロックの残余量子化媒介変数をエントロピ復号化する動作を省略することができる。

復号化部８１０は、図５の５１０及び５２０ステップで説明した方法によって、復号化対象ブロックのブロック情報及び復号化対象ブロックの残余量子化媒介変数を復号化することができる。復号化対象ブロックのブロック情報及び復号化対象ブロックの残余量子化媒介変数を復号化する過程は、図５の５１０及び５２０ステップの説明と同様であるため、重複する説明は省略する。

予測部８２０は、復号化対象ブロックの量子化媒介変数を予測することができる。ここで、量子化媒介変数を予測する動作は、図６の６３０ステップで詳細に説明したため、重複する説明は省略する。

量子化媒介変数決定部８３０は、予測された復号化対象ブロックの量子化媒介変数と復号化対象ブロックの残余量子化媒介変数に基づいて復号化対象ブロックの量子化媒介変数を決定することができる。

一例として、量子化媒介変数決定部８３０は、予測された量子化媒介変数と残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。この時、予測された量子化媒介変数によって、復号化対象ブロックの量子化媒介変数を決定する多様な動作は、図６の６４０ステップで詳細に説明したため、重複する説明は省略する。

他の例として、量子化媒介変数決定部８３０は、予測された量子化媒介変数の平均を計算し、計算された平均と残余量子化媒介変数を加算して復号化対象ブロックの量子化媒介変数を決定することができる。

量子化媒介変数設定部８４０は、決定された復号化対象ブロックの量子化媒介変数に基づいて復号化対象ブロックに量子化媒介変数を設定することができる。この時、復号化対象ブロックに量子化媒介変数を設定する動作は、図６の６５０ステップで詳細に説明したため、重複する説明は省略する。

もし、特定ブロックに残余信号が存在しない、或いは該当特定ブロックがＰＣＭ(Ｐｕｌｓｅ Ｃｏｄｅｄ Ｍｏｄｕｌａｔｉｏｎ)により符号化された場合、該当ブロックの量子化媒介変数は０であると見なすことができる。即ち、量子化媒介変数が存在しないブロックであると判断することができる。

以上の図１乃至図７で説明したシーケンスパラメータセット(ＳＰＳ)は、以下の表１乃至表３のような構成を有することができる。以下で量子化媒介変数を量子化媒介変数だけでなく、残余量子化媒介変数を通称する表現である。

表１は、ブロックの深さ又は大きさに基づいて量子化媒介変数情報を示す構文要素を含むシーケンスパラメータセット(ＳＰＳ)の一例である。

表１で、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定深さを示す構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)であり、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示す構文要素である。この時、ＳＰＳは、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ及びｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅのうちいずれか一つの構文要素のみを含むことができる。

例えば、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈが１である場合、シーケンス内で変換ユニットの深さが１以下である０、１の深さを有する変換ユニットに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの深さ１より深いブロックが存在する場合、より深いブロックの量子化媒介変数を深さ１で設定された量子化媒介変数と同じに設定することができる。

例えば、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅが３である場合、シーケンス内でブロックの大きさが８×８以上であるブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの大きさ８×８より小さいブロックが存在する場合、より小さいブロックの量子化媒介変数を大きさ８×８で設定された量子化媒介変数と同じに設定することができる。

表２は、画面間スライス又は画面内スライスでブロックの深さに基づいて量子化媒介変数情報を示す構文要素を含むシーケンスパラメータセット(ＳＰＳ)の一例である。

表２で、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｅｒは、画面間スライスで量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定深さを示す構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)であり、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａは、画面内スライスで量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定深さを示す構文要素である。この時、ＳＰＳは、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｅｒ及びｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａのうちいずれか一つの構文要素のみを含むことができる。

例えば、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｅｒが１である場合、シーケンス内の画面間スライスで変換ブロックの深さが１以下である０、１の深さを有する変換ユニットに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの深さ１より深いブロックが存在する場合、より深いブロックの量子化媒介変数を深さ１で設定された量子化媒介変数と同じに設定することができる。

例えば、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ＿ｉｎｔｒａが２である場合、シーケンス内の画面内スライスで変換ユニットの深さが２以下である０、１、２の深さを有する変換ユニットに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの深さ２より深いブロックが存在する場合、より深いブロックの量子化媒介変数を深さ２で設定された量子化媒介変数と同じに設定することができる。

表３は、画面間スライス又は画面内スライスでブロックの大きさに基づいて量子化媒介変数情報を示す構文要素を含むシーケンスパラメータセット(ＳＰＳ)の一例である。

表３で、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅ＿ｉｎｔｅｒは、画面間スライスで量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示す構文要素(ｓｙｎｔａｘ ｅｌｅｍｅｎｔ)であり、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅ＿ｉｎｔｒａは、画面内スライスで量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示す構文要素である。この時、ＳＰＳは、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅ＿ｉｎｔｅｒ及びｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅ＿ｉｎｔｒａのうちいずれか一つの構文要素のみを含むことができる。

例えば、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅ＿ｉｎｔｅｒが３である場合、シーケンス内の画面間スライスでブロックの大きさが８×８以上であるブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの大きさ８×８より小さいブロックが存在する場合、より小さいブロックの量子化媒介変数を大きさ８×８で設定された量子化媒介変数と同じに設定することができる。

例えば、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅ＿ｉｎｔｒａが４である場合、シーケンス内の画面内スライスでブロックの大きさが１６×１６以上であるブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの大きさ１６×１６より小さいブロックが存在する場合、より小さいブロックの量子化媒介変数を大きさ１６×１６で設定された量子化媒介変数と同じに設定することができる。

以上の図１乃至図７で説明したピクチャパラメータセット(ＰＰＳ)は、以下の表４及び表５のような構成を有することができる。以下で量子化媒介変数を量子化媒介変数だけでなく、残余量子化媒介変数を通称する表現である。

表４は、量子化媒介変数が設定されるブロックの特定深さ又は特定大きさを示す構文要素を含むピクチャパラメータセット(ＰＰＳ)の一例である。

表４で、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定深さを示す構文要素であり、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示す構文要素である。この時、ＰＰＳは、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ及びｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅのうちいずれか一つの構文要素のみを含むことができる。

例えば、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈが１である場合、ピクチャ内で変換ユニットの深さが１以下である０、１の深さを有する変換ユニットに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの深さ１より深いブロックが存在する場合、より深いブロックの量子化媒介変数を深さ１で設定された量子化媒介変数と同じに設定することができる。

例えば、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅが３である場合、ピクチャ内でブロックの大きさが８×８以上であるブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの大きさ８×８より小さいブロックが存在する場合、より小さいブロックの量子化媒介変数を大きさ８×８で設定された量子化媒介変数と同じに設定することができる。

表５は、量子化媒介変数の変更可能情報と関連した構文要素を含むピクチャパラメータセット(ＰＰＳ)の一例である。

表５で、ｑｐ＿ｃｈａｎｇｅ＿ａｌｌｏｗｅｄ＿ｆｌａｇは、量子化媒介変数の変更可能情報と関連した構文要素である。映像復号化装置は、ＰＰＳでｑｐ＿ｃｈａｎｇｅ＿ａｌｌｏｗｅｄ＿ｆｌａｇを復号化し、ｑｐ＿ｃｈａｎｇｅ＿ａｌｌｏｗｅｄ＿ｆｌａｇの論理値が１である場合、ピクチャ下位単位で量子化媒介変数を復号化して量子化媒介変数を変更し、変更された値によって量子化媒介変数を設定することができる。また、ｑｐ＿ｃｈａｎｇｅ＿ａｌｌｏｗｅｄ＿ｆｌａｇの論理値が０である場合、映像復号化装置は、ピクチャ下位単位で量子化媒介変数を復号化せず、量子化媒介変数を変更することもできない。

以上の図１乃至図７で説明したスライスヘッダ(Ｓｌｉｃｅ Ｈｅａｄｅｒ)は、以下の表６及び表７のような構成を有することができる。以下で量子化媒介変数を量子化媒介変数だけでなく、残余量子化媒介変数を通称する表現である。

表６は、量子化媒介変数が設定されるブロックの特定深さ又は特定大きさを示す構文要素を含むスライスヘッダの一例である。

表６で、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定深さを示す構文要素であり、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示す構文要素である。この時、スライスヘッダは、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ及びｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅのうちいずれか一つの構文要素のみを含むことができる。

例えば、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈが３である場合、スライス内で変換ユニットの深さが３以下である０、１、２の深さを有する変換ユニットに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの深さ３より深いブロックが存在する場合、より深いブロックの量子化媒介変数を深さ３で設定された量子化媒介変数と同じに設定することができる。

例えば、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅが４である場合、スライス内でブロックの大きさが１６×１６以上であるブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの大きさ１６×１６より小さいブロックが存在する場合、より小さいブロックの量子化媒介変数を大きさ１６×１６で設定された量子化媒介変数と同じに設定することができる。

表７は、特定スライスタイプで量子化媒介変数が設定されるブロックの特定深さ又は特定大きさを示す構文要素を含むスライスヘッダの一例である。

表７で、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈは、特定スライスタイプにのみ量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定深さを示す構文要素であり、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅは、特定スライスタイプにのみ量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示す構文要素である。この時、スライスヘッダは、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈ及びｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅのうちいずれか一つの構文要素のみを含むことができる。

例えば、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈが３である場合、Ｐスライス内で変換ユニットの深さが３以下である０、１、２の深さを有する変換ユニットに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの深さ３より深いブロックが存在する場合、より深いブロックの量子化媒介変数を深さ３で設定された量子化媒介変数と同じに設定することができる。

例えば、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅが４である場合、Ｂスライス内でブロックの大きさが１６×１６以上であるブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。量子化媒介変数が設定されるブロックの大きさ１６×１６より小さいブロックが存在する場合、より小さいブロックの量子化媒介変数を大きさ１６×１６で設定された量子化媒介変数と同じに設定することができる。

表８は、量子化媒介変数が設定、符号化、或いは復号化されるブロックの大きさを示す構文要素によって、量子化媒介変数を設定、符号化、或いは復号化する符号化ブロックの一例である。

表８で、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示す構文要素であり、ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａは、符号化ユニット単位で残余量子化媒介変数、ｌｏｇ２ＣＵＳｉｚｅは、符号化又は復号化対象符号化ユニットの大きさである。この時、符号化ユニットは、残余量子化媒介変数を符号化ユニットの大きさによって、ブロックの特定大きさまでのみ含むことができる。また、量子化媒介変数が設定されるブロックの特定大きさより小さいブロックが存在する場合、特定大きさで設定された量子化媒介変数と同じに設定し、該当ブロックの量子化媒介変数を符号化及び復号化する過程を省略することができる。また、映像符号化装置は、特定ブロック大きさ以上の全ての符号化ユニット毎に量子化媒介変数を設定して送信することができる。

例えば、ｌｏｇ２ＣＵＳｉｚｅが４であり、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅが３である場合、符号化及び復号化対象符号化ブロックの大きさは１６×１６であり、量子化媒介変数が設定、符号化、或いは復号化される符号化ユニットの大きさが８×８であるため、符号化ユニット単位の残余量子化媒介変数であるｃｏｄｉｎｇ＿ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａは、該当符号化ユニットに設定、符号化、或いは復号化されることができる。

表９は、量子化媒介変数が設定、符号化、或いは復号化されるブロックの深さを示す構文要素を含む符号化ブロックの一例である。

表９で、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈは、量子化媒介変数が設定されるブロックの特定深さ、ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａは、変換ユニット単位で残余量子化媒介変数であり、ｔｒａｆｏＤｅｐｔｈは、符号化及び復号化対象変換ユニットの深さであり、ｒｅｓｉｄｕａｌＤａｔａＰｒｅｓｅｎｔＦｌａｇは、符号化及び復号化する残余信号の有無を示す。この時、映像符号化及び復号化装置は、符号化対象ブロック及び復号化対象ブロックの残余量子化媒介変数を変換ユニットの深さによってブロックの特定深さまでのみ含むことができる。

また、量子化媒介変数が復号化されるブロックの特定深さより深いブロックが存在する場合、特定深さより深いブロックの量子化媒介変数を特定深さで設定された量子化媒介変数と同じに設定し、該当ブロックの量子化媒介変数符号化及び復号化を省略することができる。

また、符号化する残余信号があり、変換ユニットの深さがｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈより小さい場合にのみ、映像符号化装置は、変換ユニットで量子化媒介変数を設定して送信することができ、映像復号化装置は、変換ユニットで量子化を受信して設定することができる。

例えば、ｒｅｓｉｄｕａｌＤａｔａＰｒｅｓｅｎｔＦｌａｇが１であり、ｔｒａｆｏＤｅｐｔｈが２であり、ｑｐ＿ｈｉｅｒａｒｃｈｙ＿ｄｅｐｔｈが３である場合、符号化及び復号化対象変換ユニットに残余信号が存在し、符号化及び復号化対象変換ユニットの深さは２であり、量子化媒介変数が設定、符号化、或いは復号化されるブロックの深さが３であるため、変換ユニット単位の残余量子化媒介変数であるｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａは、該当変換ユニットに設定、符号化、或いは復号化されることができる。

表１０は、量子化媒介変数が設定される変換ユニットの特定深さが１に固定された場合の変換ユニットの一例である。即ち、量子化媒介変数が設定、符号化、或いは復号化されるブロックの深さを示す構文要素を含まない一例である。

表１０で、ｔｒａｆｏＤｅｐｔｈは、符号化及び復号化対象変換ユニットの深さを示し、ｒｅｓｉｄｕａｌＤａｔａＰｒｅｓｅｎｔＦｌａｇは、符号化及び復号化対象変換ユニットの残余信号の有無を示す。この時、ｔｒａｆｏＤｅｐｔｈが０である場合、映像符号化装置は、符号化ユニットと同じ大きさの変換を実行することができる。また、残余信号が存在する場合にのみ、ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａは送信されることができる。この時、ｔｒａｆｏＤｅｐｔｈが１より小さいため、符号化及び復号化対象変換ユニット単位に最も浅い深さでのみ量子化媒介変数が設定され、ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａが符号化及び復号化されることができる。即ち、符号化ユニットと同じ大きさを有する変換ユニット単位に量子化媒介変数が設定され、ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａが符号化及び復号化されることができる。また、変換ユニットの深さが１と同じ、或いは深い深さでは最も浅い深さで設定された量子化媒介変数を設定し、符号化及び復号化を省略する。即ち、符号化ユニットと同じ大きさを有する変換ユニット内に符号化する残余信号がある場合にのみ、量子化媒介変数が設定され、残余量子化媒介変数が符号化及び復号化される。

表１１は、量子化媒介変数が設定されるブロックの大きさ及び深さを示す構文要素を含む変換ユニットの一例である。

表１１で、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅは、量子化媒介変数が設定、符号化、或いは復号化されるユニットの特定大きさを示し、ｕｎｉｔ＿ｑｐ＿ｄｅｌｔａは、変換ユニットの残余量子化媒介変数を示し、ｔｒａｆｏＤｅｐｔｈは、符号化又は復号化対象変換ユニットの深さであり、ｒｅｓｉｄｕａｌＤａｔａＰｒｅｓｅｎｔＦｌａｇは、符号化又は復号化する残余信号の有無を示す。この時、変換ユニットは、残余量子化媒介変数を符号化ユニットの大きさによってブロックの特定大きさまでのみ含むことができる。また、量子化媒介変数が設定されるブロックの特定大きさより小さいブロックが存在する場合、特定大きさで設定された量子化媒介変数と同じに設定して該当ブロックの残余量子化媒介変数を符号化及び復号化する過程を省略することができる。また、映像符号化及び復号化装置は、特定ブロック大きさ以上の全ての符号化ユニット毎に量子化媒介変数を設定し、符号化及び復号化することができる。また、変換ユニットの深さが０であるため、映像符号化及び復号化装置は、符号化ユニットと同じ大きさの変換及び逆変換を実行することができる。

例えば、ｌｏｇ２ＣＵＳｉｚｅが３であり、ｌｏｇ２＿ｑｐ＿ｕｎｉｔ＿ｓｉｚｅが２であり、ｔｒａｆｏＤｅｐｔｈが０であり、ｒｅｓｉｄｕａｌＤａｔａＰｒｅｓｅｎｔＦｌａｇが１である場合、符号化及び復号化対象符号化ユニットの大きさは８×８であり、量子化媒介変数が設定、符号化、或いは復号化される符号化ユニットの大きさが４×４であり、変換ユニットの深さは０であり、残余信号が存在するため、変換ユニット単位の残余量子化媒介変数であるｕｎｉｔ＿ｑｐ＿ｄｅｌｔａは、該当符号化ユニットに設定、符号化、或いは復号化されることができる。

表１２は、量子化媒介変数の変更可能情報と関連した構文要素を含むピクチャパラメータセット(ＰＰＳ)の一例である。

表１２で、ｍｉｎＣＵＤＱＰｓｉｚｅは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示す構文要素である。

例えば、ｍｉｎＣＵＤＱＰｓｉｚｅが０である場合、ピクチャ内でブロックの大きさがＬＣＵと同じ大きさを有するブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。もし、ｍｉｎＣＵＤＱＰｓｉｚｅが１である場合、ＬＣＵ大きさと比較し、横と縦の大きさが半であるブロックと同じ、或いはＬＣＵ大きさと比較し、横と縦の大きさが半であるブロックより大きいブロックに量子化媒介変数が設定、符号化、或いは復号化されることができる。即ち、ＬＣＵが６４×６４であり、ｍｉｎＣＵＤＱＰｓｉｚｅが１である場合、ブロックの大きさが３２×３２と同じ、或いは大きいブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。
即ち、ｍｉｎＣＵＤＱＰｓｉｚｅがＮである場合、ｍｉｎＣＵＤＱＰｓｉｚｅがＮ−１である場合と比較し、横と縦の大きさが半であるブロックと同じ、或いは大きいブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。ここで、Ｎは正の整数である。もし、量子化媒介変数が設定されるブロックの特定大きさより小さいブロックが存在する場合、より小さいブロックの量子化媒介変数を特定大きさで設定された量子化媒介変数と同じに設定することができる。

また、ｍｉｎＣＵＤＱＰｓｉｚｅは、Ｍ ｂｉｔの固定長さ(ｆｉｘｅｄ ｌｅｎｇｔｈ)に符号化されることができ、可変長さ(ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ)に符号化されることができる。ここで、Ｍは正の整数である。以上の表１２ではＭが４である例である。

また、ｍｉｎＣＵＤＱＰｓｉｚｅがＰＰＳやスライスヘッダで送信されず、固定されたブロック大きさが符号化器及び復号化器で予め定義され、該当固定されたブロック大きさと同じ、或いは大きいブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。ここで、Ｎは正の整数である。

表１３は、量子化媒介変数の変更可能情報と関連した構文要素を含むスライスヘッダの一例である。

表１３で、ｍｉｎＣＵＤＱＰｓｉｚｅは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示す構文要素である。

例えば、ｍｉｎＣＵＤＱＰｓｉｚｅが０である場合、スライス内でブロックの大きさがＬＣＵと同じ大きさを有するブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。もし、ｍｉｎＣＵＤＱＰｓｉｚｅが１である場合、ＬＣＵ大きさと比較し、横と縦の大きさが半であるブロックと同じ、或いはＬＣＵ大きさと比較し、横と縦の大きさが半であるブロックより大きいブロックに量子化媒介変数が設定、符号化、或いは復号化されることができる。即ち、ＬＣＵが６４×６４であり、ｍｉｎＣＵＤＱＰｓｉｚｅが１である場合、ブロックの大きさが３２×３２と同じ、或いは大きいブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。
即ち、ｍｉｎＣＵＤＱＰｓｉｚｅがＮである場合、ｍｉｎＣＵＤＱＰｓｉｚｅがＮ−１である場合と比較し、横と縦の大きさが半であるブロックと同じ、或いは大きいブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。ここで、Ｎは正の整数である。もし、量子化媒介変数が設定されるブロックの特定大きさより小さいブロックが存在する場合、より小さいブロックの量子化媒介変数を特定大きさで設定された量子化媒介変数と同じに設定することができる。

また、ｍｉｎＣＵＤＱＰｓｉｚｅは、Ｍ ｂｉｔの固定長さに符号化されることができ、可変長さに符号化されることができる。ここで、Ｍは正の整数である。

表１４は、量子化媒介変数の変更可能情報と関連した構文要素を含むＬＣＵシンタックス(ｃｏｄｉｎｇ ｔｒｅｅ ｓｙｎｔａｘ)の一例である。

表１４で、ｌｃｕ＿ｑｐ＿ｌｅｖｅｌは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示す構文要素である。量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさは、以下のように計算することができる。

ＱＰ＿ｂｌｏｃｋ＿ｓｉｚｅ＝ＬＣＵ＿ｓｉｚｅ>>ｌｃｕ＿ｑｐ＿ｌｅｖｅｌ

ここで、ＱＰ＿ｂｌｏｃｋ＿ｓｉｚｅは、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示し、ＬＣＵ＿ｓｉｚｅは、ＬＣＵの大きさを示す。

また、ｌｃｕ＿ｑｐ＿ｌｅｖｅｌは、該当ＬＣＵ又はブロックが分割された場合にのみ送信され、ＱＰ＿ｂｌｏｃｋ＿ｓｉｚｅによって量子化媒介変数が設定、符号化、或いは復号化されることができる。例えば、表１４で、ｓｐｌｉｔ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｆｌａｇ[ ｘ０ ][ ｙ０ ]が１である場合、該当ブロックは分割されたことを知ることができ、０である場合、該当ブロックは分割されなかったことを知ることができ、ｓｐｌｉｔ＿ｃｏｄｉｎｇ＿ｕｎｉｔ＿ｆｌａｇ[ ｘ０ ][ ｙ０ ]が１であり、該当ブロックの大きさがＬＣＵと同じである場合にのみＱＰ＿ｂｌｏｃｋ＿ｓｉｚｅと同じ、或いは大きいブロックに量子化媒介変数が設定、符号化、或いは復号化されることができる。

また、ｌｃｕ＿ｑｐ＿ｌｅｖｅｌは、該当ＬＣＵ又はブロックに残余信号が存在する場合にのみ送信され、計算されたＱＰ＿ｂｌｏｃｋ＿ｓｉｚｅによって量子化媒介変数が設定、符号化、或いは復号化されることができる。

例えば、ｌｃｕ＿ｑｐ＿ｄｅｐｔｈが０である場合、ブロックの大きさがＬＣＵと同じ大きさを有するブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。もし、ｌｃｕ＿ｑｐ＿ｄｅｐｔｈが１である場合、ＬＣＵ大きさと比較し、横と縦の大きさが半であるブロックと同じ、或いはＬＣＵ大きさと比較し、横と縦の大きさが半であるブロックより大きいブロックに量子化媒介変数が設定、符号化、或いは復号化されることができる。即ち、ＬＣＵが６４×６４であり、ｌｃｕ＿ｑｐ＿ｄｅｐｔｈが１である場合、ブロックの大きさが３２×３２と同じ、或いは大きいブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。即ち、ｌｃｕ＿ｑｐ＿ｄｅｐｔｈがＮである場合、ｌｃｕ＿ｑｐ＿ｄｅｐｔｈがＮ−１である場合と比較し、横と縦の大きさが半であるブロックと同じ、或いは大きいブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。ここで、Ｎは正の整数である。

また、ｌｃｕ＿ｑｐ＿ｄｅｐｔｈは、Ｍ ｂｉｔの固定長さに符号化されることができ、可変長さに符号化されることができる。ここで、Ｍは正の整数である。

表１５は、表５のｑｐ＿ｃｈａｎｇｅ＿ａｌｌｏｗｅｄ＿ｆｌａｇと表１２のｍｉｎＣＵＤＱＰｓｉｚｅを一つに統合した量子化媒介変数の変更可能情報と関連した構文要素を含むピクチャパラメータセット(ＰＰＳ)の一例である。

表１５で、ｃｕ＿ｄｑｐ＿ｉｄｃは、量子化媒介変数の変更可能情報と関連した構文要素である。映像復号化装置は、ＰＰＳで、ｃｕ＿ｄｑｐ＿ｉｄｃを復号化し、ｃｕ＿ｄｑｐ＿ｉｄｃ値が０である場合、ピクチャ下位単位で量子化媒介変数を復号化せず、ピクチャ下位単位で量子化媒介変数を変更することができない。ｃｕ＿ｄｑｐ＿ｉｄｃ値が０以上の正数である場合、ピクチャ下位単位で量子化媒介変数を変更することができ、ｃｕ＿ｄｑｐ＿ｉｄｃ値は、量子化媒介変数が設定、符号化、或いは復号化されるブロックの特定大きさを示すことができる。

例えば、ｃｕ＿ｄｑｐ＿ｉｄｃが１である場合、ピクチャ内でブロックの大きさがＬＣＵと同じ大きさを有するブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。もし、ｃｕ＿ｄｑｐ＿ｉｄｃが２である場合、ＬＣＵ大きさと比較し、横と縦の大きさが半であるブロックと同じ、或いはＬＣＵ大きさと比較し、横と縦の大きさが半であるブロックより大きいブロックに量子化媒介変数が設定、符号化、或いは復号化されることができる。例えば、ＬＣＵが６４×６４であり、ｃｕ＿ｄｑｐ＿ｉｄｃが２である場合、ブロックの大きさが３２×３２と同じ、或いは大きいブロックに対してのみ量子化媒介変数が設定、符号化、或いは復号化されることができる。もし、量子化媒介変数が設定されるブロックの特定大きさより小さいブロックが存在する場合、より小さいブロックの量子化媒介変数を特定大きさで設定された量子化媒介変数と同じに設定することができる。

一方、図１、図２、図５及び図６で説明した各ステップの順序は、互いに変わることができる。

以上のように、本発明は、限定された実施例と図面により説明されたが、前記実施例に限定されるものではなく、本発明が属する分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。

従って、本発明の範囲は、説明された実施例に限定されて決まってはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものにより決まらなければならない。

Claims (8)

1. 映像復号化方法であって、
   基準ブロックの大きさに関する大きさ情報を取得するステップと、
   復号化対象ユニットの残余量子化媒介変数を取得するステップと、
   前記残余量子化媒介変数及び予測量子化媒介変数に基づいて、前記復号化対象ユニットの量子化媒介変数を決定するステップであって、前記予測量子化媒介変数は、既に復号化された量子化媒介変数の平均値に基づいて決定される、ステップと、
   前記量子化媒介変数に基づいて前記復号化対象ユニットを復号化するステップと、
   を備え、
   前記復号化対象ユニットの大きさが、前記基準ブロックの前記大きさより小さい場合、前記復号化対象ユニットの前記量子化媒介変数が、前記復号化対象ユニットとともに前記基準ブロック内に含まれている他のユニットと同一であり、
   前記基準ブロックの前記大きさに関する前記大きさ情報は、ピクチャパラメータセット(ＰＰＳ)から取得され、
   前記基準ブロックの前記大きさに関する前記大きさ情報は、可変長さにおいて取得されることを特徴とする映像復号化方法。
2. 前記既に復号化された量子化媒介変数は、前記復号化対象ユニットに隣接する隣接ブロックの量子化媒介変数を備え、
   前記隣接ブロックは、前記復号化対象ユニットの上段に位置するブロックと、前記復号化対象ユニットの左側に位置するブロックとを備えることを特徴とする請求項１に記載の映像復号化方法。
3. 前記残余量子化媒介変数は、変換ユニットに対して取得されることを特徴とする請求項１に記載の映像復号化方法。
4. 前記基準ブロック内の復号化ユニットは、同じ残余量子化媒介変数を有することを特徴とする請求項１に記載の映像復号化方法。
5. 映像符号化方法であって、
   量子化媒介変数に基づいて符号化対象ユニットを符号化するステップと、
   基準ブロックの大きさに関する大きさ情報を決定するステップと、
   前記量子化媒介変数及び予測量子化媒介変数に基づいて、前記符号化対象ユニットの残余量子化媒介変数を取得するステップであって、前記予測量子化媒介変数は、既に符号化された量子化媒介変数の平均値に基づいて決定される、ステップと、
   前記基準ブロックの前記大きさ及び前記残余量子化媒介変数に関する前記大きさ情報を符号化するステップと、
   を備え、
   前記符号化対象ユニットの大きさが、前記基準ブロックの前記大きさより小さい場合、前記符号化対象ユニットの前記量子化媒介変数が、前記符号化対象ユニットとともに前記基準ブロック内に含まれている他のユニットと同一であり、
   前記基準ブロックの前記大きさに関する前記大きさ情報は、ピクチャパラメータセット(ＰＰＳ)に符号化され、
   前記基準ブロックの前記大きさに関する前記大きさ情報は、可変長さにおいて取得されることを特徴とする映像符号化方法。
6. 前記既に符号化された量子化媒介変数は、前記符号化対象ユニットに隣接する隣接ブロックの量子化媒介変数を備え、
   前記隣接ブロックは、前記符号化対象ユニットの上段に位置するブロックと、前記符号化対象ユニットの左側に位置するブロックとを備えることを特徴とする請求項５に記載の映像符号化方法。
7. 前記残余量子化媒介変数は、変換ユニットに対して符号化されることを特徴とする請求項５に記載の映像符号化方法。
8. 前記基準ブロック内の符号化ユニットは、同じ残余量子化媒介変数を有することを特徴とする請求項５に記載の映像符号化方法。