JP7434545B2 - 色空間変換を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 - Google Patents

色空間変換を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 Download PDF

Info

Publication number
JP7434545B2
JP7434545B2 JP2022525280A JP2022525280A JP7434545B2 JP 7434545 B2 JP7434545 B2 JP 7434545B2 JP 2022525280 A JP2022525280 A JP 2022525280A JP 2022525280 A JP2022525280 A JP 2022525280A JP 7434545 B2 JP7434545 B2 JP 7434545B2
Authority
JP
Japan
Prior art keywords
value
act
offset
current block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022525280A
Other languages
English (en)
Other versions
JP2023500644A (ja
Inventor
ザオ，ジェ
キム，スンファン
ヘンドリー，ヘンドリー
パルリ，シーサル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2023500644A publication Critical patent/JP2023500644A/ja
Priority to JP2024016864A priority Critical patent/JP2024050835A/ja
Application granted granted Critical
Publication of JP7434545B2 publication Critical patent/JP7434545B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、色空間変換を用いる画像符号化／復号化方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。
また、本開示は、選択的色空間変換を行うことにより、符号化／復号化効率の向上を図る画像符号化／復号化方法及び装置を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
本開示の一態様による画像復号化装置によって行われる画像復号化方法は、現在ブロックのレジデュアルサンプルに色空間（ｃｏｌｏｒ ｓｐａｃｅ）の変換が適用されるか否かに基づいて前記現在ブロックの量子化パラメータを決定するステップと、前記量子化パラメータに基づいて前記現在ブロックの変換係数を決定するステップと、前記変換係数を用いて前記現在ブロックのレジデュアルサンプルを決定するステップと、前記色空間の変換が適用されるか否かに基づいて前記レジデュアルサンプルの値を再設定するステップと、を含むことができる。ここで、前記量子化パラメータを決定するステップは、前記量子化パラメータの値が所定の上限値以下の値を有し、所定の下限値以上の値を有するように前記量子化パラメータにクリッピングを行うことにより行われ得る。
また、本開示の一態様による画像復号化装置は、メモリ及び少なくとも一つのプロセッサを含む画像復号化装置であって、前記少なくとも一つのプロセッサは、現在ブロックのレジデュアルサンプルに色空間（ｃｏｌｏｒ ｓｐａｃｅ）の変換が適用されるか否かに基づいて前記現在ブロックの量子化パラメータを決定し、前記量子化パラメータに基づいて前記現在ブロックの変換係数を決定し、前記変換係数を用いて前記現在ブロックのレジデュアルサンプルを決定し、前記色空間の変換が適用されるか否かに基づいて前記レジデュアルサンプルの値を再設定することができる。ここで、前記プロセッサは、前記量子化パラメータの値が所定の上限値以下の値を有し、所定の下限値以上の値を有するように前記量子化パラメータにクリッピングを行うことができる。
また、本開示の一態様による画像符号化装置によって行われる画像符号化方法は、色空間の変換が適用されたか否かに基づいてレジデュアルサンプルを再設定するステップと、前記再設定されたレジデュアルサンプルを用いて変換係数を決定するステップと、前記色空間の変換が適用されるか否かに基づいて量子化パラメータを決定するステップと、前記量子化パラメータに基づいて前記変換係数を符号化するステップと、を含むことができる。ここで、前記量子化パラメータを決定するステップは、前記量子化パラメータの値が所定の上限値以下の値を有し、所定の下限値以上の値を有するように前記量子化パラメータにクリッピングを行うことにより行われ得る。
また、本開示の一態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。
また、本開示の一態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。
また、本開示によれば、選択的色空間変換を行うことにより、符号化／復号化効率の向上を図ることができる画像符号化／復号化方法及び装置が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 一実施例による画像の分割構造を示す図である。 マルチタイプツリー構造によるブロックの分割タイプの一実施例を示す図である。 本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造におけるブロック分割情報のシグナリングメカニズムを例示する図である。 ＣＴＵが多重ＣＵに分割される一実施例を示す図である。 一つのシンタックス要素を符号化するための一実施例によるＣＡＢＡＣを示すブロック図である。 一実施例によるエントロピー符号化と復号化を説明する図である。 一実施例によるピクチャ復号化及び符号化手順の一例を示す図である。 一実施例によるコーディングされた画像に対する階層構造を示す図である。 一実施例による周辺参照サンプルを示す図である。 一実施例によるイントラ予測を説明する図である。 ＡＣＴを適用した復号化過程の一実施例を示す図である。 ＡＣＴに関連するシンタックス要素がシグナリングされるシーケンスパラメータセットシンタックステーブルの一実施例を示す図である。 ＡＣＴに関連するシンタックス要素がシグナリングされる符号化単位のシンタックステーブルの一実施例を連続的に示す図である。 一実施例による符号化ツリーシンタックス（ｃｏｄｉｎｇ ｔｒｅｅ ｓｙｎｔａｘ）を示す図である。 一実施例によってＢＤＰＣＭのレジデュアルサンプルを符号化する方法を説明するための図である。 一実施例によってＢＤＰＣＭを行って生成された、修正された量子化レジデュアルブロックを示す。 一実施例による画像符号化装置においてＢＤＰＣＭを適用して現在ブロックを符号化する手順を示すフローチャートである。 一実施例による画像復号化装置においてＢＤＰＣＭを適用して現在ブロックを復元する手順を示すフローチャートである。 ＢＤＰＣＭに関する情報をシグナリングするためのシンタックスを概略的に示す図である。 本開示による個別実施例によってＡＣＴシンタックス要素をシグナリングするためのシンタックステーブルを示す図である。 一実施例による画像復号化方法を説明する図である。 一実施例による画像符号化方法を説明する図である。 本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素は、他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を、他の実施例で第１構成要素と呼んでもよい。
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
本開示において、「ビデオ（ｖｉｄｅｏ）」は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味することができる。「ピクチャ（ｐｉｃｔｕｒｅ」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、符号化においてピクチャの一部を構成する符号化単位である。一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャは一つ以上のスライス／タイルで構成できる。一つのピクチャは一つ以上のタイルグループで構成できる。一つのタイルグループは一つ以上のタイルを含むことができる。ブリックは、ピクチャ内のタイル内のＣＴＵ行の四角領域を示すことができる。一つのタイルは一つ以上のブリック（Ｂｒｉｃｋ）を含むことができる。ブリックはタイル内のＣＴＵ行の四角領域を示すことができる。一つのタイルは、複数のブリックに分割されることができ、それぞれのブリックは、タイルに属する一つ以上のＣＴＵ行を含むことができる。複数のブリックに分割されないタイルもブリックとして取り扱われることができる。
本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ（例えば、Ｃｂ、Ｃｒ）ブロックを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、「現在ブロックのルマブロック」を意味することができる。「現在ブロックのクロマブロック」は、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。
本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。
本開示において、「又は」は、「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。
ビデオコーディングシステムの概要
図１は本開示によるビデオコーディングシステムを示す図である。
一実施例によるビデオコーディングシステムは、ソースデバイス１０及び受信デバイス２０を含むことができる。ソースデバイス１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して受信デバイス２０へ伝達することができる。
一実施例によるソースデバイス１０は、ビデオソース生成部１１、符号化装置１２及び伝送部１３を含むことができる。一実施例による受信デバイス２０は、受信部２１、復号化装置２２及びレンダリング部２３を含むことができる。前記符号化装置１２は、ビデオ／画像符号化装置と呼ばれることができ、前記復号化装置２２は、ビデオ／画像復号化装置と呼ばれることができる。伝送部１３は、符号化装置１２に含まれることができる。受信部２１は、復号化装置２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して、仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
符号化装置１２は、入力ビデオ／画像を符号化することができる。符号化装置１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化装置１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。
伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して受信デバイス２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標：以下同じ）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化装置２２に伝達することができる。
復号化装置２２は、符号化装置１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。
レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。
画像符号化装置の概要
図２は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。
画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。
画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。
予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びＰｌａｎａｒモードを含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいて、インター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に、現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点において、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。
変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックにも適用されることもできる。
量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓの値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。
量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。
加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルター（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルター（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。
画像復号化装置の概要
図３は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。
画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。
ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図１の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。
画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。
一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。
逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。
予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。
イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。
インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。
加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルター（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルター（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。
本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。
画像分割の概要
本開示によるビデオ／画像コーディング方法は、次の画像分割構造に基づいて行われることができる。具体的には、後述する予測、レジデュアル処理（（逆）変換、（逆）量子化など）、シンタックス要素コーティング、フィルタリングなどの手順は、前記画像分割構造に基づいて導出されたＣＴＵ、ＣＵ（及び／又はＴＵ、ＰＵ）に基づいて行われることができる。画像はブロック単位で分割されることができ、ブロック分割手順は上述した符号化装置の画像分割部１１０で行われることができる。分割関連情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で復号化装置に伝達できる。復号化装置のエントロピー復号化部２１０は、前記ビットストリームから取得した前記分割関連情報に基づいて、現在ピクチャのブロック分割構造を導出し、これに基づいて画像復号化のための一連の手順（例えば、予測、レジデュアル処理、ブロック／ピクチャ復元、インループフィルタリングなど）を行うことができる。
ピクチャは、コーティングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔｓ、ＣＴＵｓ）のシーケンスに分割されることができる。図４はピクチャがＣＴＵに分割される例を示す。ＣＴＵはコーティングツリーブロック（ＣＴＢ）に対応することができる。或いは、ＣＴＵはルマサンプルのコーティングツリーブロックと、対応するクロマサンプルの二つのコーティングツリーブロックを含むことができる。例えば、三つのサンプルアレイを含むピクチャに対して、ＣＴＵは、ルマサンプルのＮ×Ｎブロックとクロマサンプルの二つの対応ブロックを含むことができる。
ＣＴＵ分割の概要
前述したように、コーディングユニットは、コーディングツリーユニット（ＣＴＵ）又は最大コーディングユニット（ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に分割することにより取得できる。例えば、ＣＴＵは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。
四分木による分割は、現在ＣＵ（又はＣＴＵ）を４等分する分割を意味する。四分木による分割によって、現在ＣＵは、同じ幅と同じ高さを有する４つのＣＵに分割されることができる。現在ＣＵがそれ以上四分木構造に分割されない場合、現在ＣＵは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するＣＵは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するＣＵは、マルチタイプツリー構造によってさらに分割されることができる。
図５はマルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による２つの分割と三分木構造による２つの分割を含むことができる。
二分木構造による２つの分割は、垂直バイナリ分割（ｖｅｒｔｉｃａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）と水平バイナリ分割（ｈｏｒｉｚｏｎｔａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）を含むことができる。垂直バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に二等分する分割を意味する。図４に示されているように、垂直バイナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有する２つのＣＵが生成されることができる。水平バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）は、現在ＣＵを水平方向に二等分する分割を意味する。図５に示されているように、水平バイナリ分割によって、現在ＣＵの高さの半分の高さをもって現在ＣＵの幅と同じ幅を有する２つのＣＵが生成されることができる。
三分木構造による２つの分割は、垂直ターナリ分割（ｖｅｒｔｉｃａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）と水平ターナリ分割（ｈｏｒｉｚｏｎｔａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）を含むことができる。垂直ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に１：２：１の割合で分割する。図５に示されているように、垂直ターナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の１／４の幅を有する２つのＣＵと、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有するＣＵが生成されることができる。水平ターナリ分割ＳＰＬＩＴ＿ＴＴ＿ＨＯＲは、現在ＣＵを水平方向に１：２：１の割合で分割する。図４に示されているように、水平ターナリ分割によって、現在ＣＵの高さの１／４の高さ及び現在ＣＵの幅と同じ幅を有する２つのＣＵと、現在ＣＵの高さの半分の高さ及び現在ＣＵの幅と同じ幅を有する一つのＣＵが生成されることができる。
図６は本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造でのブロック分割情報のシグナリングメカニズムを例示する図である。
ここで、ＣＴＵは四分木のルート（ｒｏｏｔ）ノードとして扱われ、ＣＴＵは四分木構造に初めて分割される。現在ＣＵ（ＣＴＵ又は四分木のノード（ＱＴ＿ｎｏｄｅ））に対して四分木分割を行うか否かを指示する情報（例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ）がシグナリングされることができる。例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第１値（例えば、「１」）であれば、現在ＣＵは四分木に分割されることができる。また、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第２値（例えば、「０」）であれば、現在ＣＵは、四分木に分割されず、四分木のリーフノード（ＱＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらに分割されることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード（ＭＴＴ＿ｎｏｄｅ）になることができる。マルチタイプツリー構造で、現在ノードがさらに分割されるかを指示するために、第１フラグ（ａ ｆｉｒｓｔ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）がシグナリングされることができる。もし当該ノードがさらに分割される場合（例えば、第１フラグが１である場合）には、分割方向（ｓｐｌｉｔｔｉｎｇ ｄｉｒｅｃｔｉｏｎ）を指示するために、第２フラグ（ａ ｓｅｃｏｎｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃｌａ＿ｆｌａｇ）がシグナリングされることができる。例えば、第２フラグが１である場合には、分割方向は垂直方向であり、第２フラグが０である場合には、分割方向は水平方向であることができる。その後、分割タイプがバイナリ分割タイプであるかターナリ分割タイプであるかを指示するために、第３フラグ（ａ ｔｈｉｒｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ）がシグナリングされることができる。例えば、第３フラグが１である場合には、分割タイプはバイナリ分割タイプであり、第３フラグが０である場合には、分割タイプはターナリ分割タイプであることができる。バイナリ分割又はターナリ分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることができる。しかし、マルチタイプツリーのノードは四分木構造にパーティショニングされることはできない。前記第１フラグが０である場合、マルチタイプツリーの該当ノードは、それ以上分割されず、マルチタイプツリーのリーフノード（ＭＴＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。マルチタイプツリーのリーフノードに該当するＣＵは、前述した最終コーディングユニットとして使用できる。
前述したｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ及びｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇに基づいて、ＣＵのマルチタイプツリー分割モード（ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ ｓｐｌｉｔｔｉｎｇ ｍｏｄｅ、ＭｔｔＳｐｌｉｔＭｏｄｅ）が表１のとおりに導出されることができる。以下の説明において、マルチツリー分割モードは、マルチツリー分割タイプ又は分割タイプと略称することができる。
図７は四分木の適用後にマルチタイプツリーが適用されることによりＣＴＵが多重ＣＵに分割される例を示す。図７において、太いブロックエッジ（ｂｏｌｄ ｂｌｏｃｋ ｅｄｇｅ）７１０は四分木分割を示し、残りのエッジ７２０はマルチタイプツリー分割を示す。ＣＵはコーディングブロックＣＢに対応することができる。一実施例において、ＣＵは、ルマサンプルのコーディングブロックと、ルマサンプルに対応するクロマサンプルの二つのコーディングブロックと、を含むことができる。クロマ成分（サンプル）ＣＢ又はＴＢサイズは、ピクチャ／画像のカラーフォーマット（クロマフォーマット、例えば、４：４：４、４：２：２、４：２：０など）による成分比に従ってルマ成分（サンプル）ＣＢ又はＴＢサイズに基づいて導出されることができる。カラーフォーマットが４：４：４である場合、クロマ成分ＣＢ／ＴＢサイズは、ルマ成分ＣＢ／ＴＢサイズと同一に設定されることができる。カラーフォーマットが４：２：２である場合、クロマ成分ＣＢ／ＴＢの幅はルマ成分ＣＢ／ＴＢの幅の半分に設定されることができ、クロマ成分ＣＢ／ＴＢの高さはルマ成分ＣＢ／ＴＢの高さに設定されることができる。カラーフォーマットが４：２：０である場合、クロマ成分ＣＢ／ＴＢの幅はルマ成分ＣＢ／ＴＢの幅の半分に設定されることができ、クロマ成分ＣＢ／ＴＢの高さはルマ成分ＣＢ／ＴＢの高さの半分に設定されることができる。
一実施例において、ルマサンプル単位を基準にＣＴＵのサイズが１２８であるとき、ＣＵのサイズは、ＣＴＵと同じサイズである１２８×１２８から４×４までのサイズを有することができる。一実施例において、４：２：０カラーフォーマット（又はクロマフォーマット）である場合、クロマＣＢサイズは６４×６４から２×２までのサイズを持つことができる。
一方、一実施例において、ＣＵサイズとＴＵサイズとが同じであることができる。又は、ＣＵ領域内に複数のＴＵが存在することもできる。ＴＵサイズとは、一般的に、ルマ成分（サンプル）ＴＢ（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）サイズを示すことができる。
前記ＴＵサイズは、予め設定された値である最大許容ＴＢサイズ（ｍａｘＴｂＳｉｚｅ）に基づいて導出されることができる。例えば、前記ＣＵサイズが前記ｍａｘＴｂＳｉｚｅよりも大きい場合、前記ＣＵから、前記ｍａｘＴｂＳｉｚｅを持つ複数のＴＵ（ＴＢ）が導出され、前記ＴＵ（ＴＢ）単位で変換／逆変換が行われることができる。例えば、最大許容ルマＴＢサイズは６４×６４であり、最大許容クロマＴＢサイズは３２×３２であることができる。もし前記ツリー構造によって分割されたＣＢの幅又は高さが最大変換幅又は高さよりも大きい場合、当該ＣＢは、自動的に（又は暗黙的に）水平及び垂直方向のＴＢサイズの制限を満足するまで分割されることができる。
また、例えばイントラ予測が適用される場合、イントラ予測モード／タイプは、前記ＣＵ（又はＣＢ）単位で導出され、周辺参照サンプル導出及び予測サンプル生成手順は、ＴＵ（又はＴＢ）単位で行われることができる。この場合、一つのＣＵ（又はＣＢ）領域内に一つ又は複数のＴＵ（又はＴＢ）が存在することができ、この場合、前記複数のＴＵ（又はＴＢ）は同じイントラ予測モード／タイプを共有することができる。
一方、マルチタイプツリーを伴った四分木コーディングツリースキームのために、次のパラメータがＳＰＳシンタックス要素として符号化装置から復号化装置にシグナリングされることができる。例えば、四分木のルートノードのサイズを示すパラメータであるＣＴＵｓｉｚｅ、四分木のリーフノードの最小許容サイズを示すパラメータであるＭｉｎＱＴＳｉｚｅ、二分木のルートノードの最大許容サイズを示すパラメータであるＭａｘＢＴＳｉｚｅ、三分木のルートノードの最大許容サイズを示すパラメータであるＭａｘＴＴＳｉｚｅ、四分木のリーフノードから分割されるマルチタイプツリーの最大許容階層深さ（ｍａｘｉｍｕｍ ａｌｌｏｗｅｄ ｈｉｅｒａｒｃｈｙ ｄｅｐｔｈ）を示すパラメータであるＭａｘＭｔｔＤｅｐｔｈ、二分木の最小許容リーフノードサイズを示すパラメータであるＭｉｎＢｔＳｉｚｅ、及び三分木の最小許容リーフノードサイズを示すパラメータであるＭｉｎＴｔＳｉｚｅのうちの少なくとも一つがシグナリングされることができる。
４：２：０クロマフォーマットを用いる一実施例において、ＣＴＵサイズは１２８×１２８ルマブロック及びルマブロックに対応する二つの６４×６４クロマブロックに設定されることができる。この場合、ＭｉｎＱＴＳｉｚｅは１６×１６に設定され、ＭａｘＢｔＳｉｚｅは１２８×１２８に設定され、ＭａｘＴｔＳｚｉｅは６４×６４に設定され、ＭｉｎＢｔＳｉｚｅ及びＭｉｎＴｔＳｉｚｅは４×４に設定され、ＭａｘＭｔｔＤｅｐｔｈは４に設定されことができる。四分木分割は、ＣＴＵに適用されて四分木のリーフノードを生成することができる。四分木のリーフノードはリーフＱＴノードと呼ばれることができる。四分木のリーフノードは１６×１６サイズ（例えば、ｔｈｅ ＭｉｎＱＴＳｉｚｅ）から１２８×１２８サイズ（例えば、ｔｈｅ ＣＴＵ ｓｉｚｅ）を持つことができる。もしリーフＱＴノードが１２８×１２８である場合、さらに二分木／三分木に分割されないことができる。これは、この場合に分割されてもＭａｘＢｔｓｉｚｅ及びＭａｘＴｔｓｚｉｅ（例えば、６４×６４）を超過するためである。これ以外の場合、リーフＱＴノードは、マルチタイプツリーにさらに分割されることができる。よって、リーフＱＴノードは、マルチタイプツリーに対するルートノード（ｒｏｏｔ ｎｏｄｅ）であり、リーフＱＴノードは、マルチタイプツリーデプス（ｍｔｔＤｅｐｔｈ）０値を持つことができる。もし、マルチタイプツリーデプスがＭａｘＭｔｔｄｅｐｔｈ（例えば、４）に到達した場合、それ以上の追加分割は考慮されないことができる。もし、マルチタイプツリーノードの幅がＭｉｎＢｔＳｉｚｅと同じであり、２ｘＭｉｎＴｔＳｉｚｅと同じかそれより小さい場合、それ以上の追加的な水平分割は考慮されないことができる。もし、マルチタイプツリーノードの高さがＭｉｎＢｔＳｉｚｅと同じであり、２ｘＭｉｎＴｔＳｉｚｅと同じかそれより小さい場合、それ以上の追加的な垂直分割は考慮されないことができる。このように分割が考慮されない場合、符号化装置は、分割情報のシグナリングを省略することができる。このような場合、復号化装置は、所定の値に分割情報を誘導することができる。
一方、一つのＣＴＵは、ルマサンプルのコーディングブロック（以下、「ルマブロック」という）と、これに対応するクロマサンプルの二つのコーディングブロック（以下、「クロマブロック」という）と、を含むことができる。前述したコーディングツリースキームは、現在ＣＵのルマブロック及びクロマブロックに対して同様に適用されることもでき、個別的に（ｓｅｐａｒａｔｅ）適用されることもできる。具体的には、一つのＣＴＵ内のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）と表すことができる。又は、一つのＣＴＵ内のルマブロック及びクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）と表すことができる。つまり、ＣＴＵがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ（ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ）と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ（ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）と呼ばれることができる。Ｐ及びＢスライス／タイルグループに対して、一つのＣＴＵ内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかし、Ｉスライス／タイルグループに対して、ルマブロック及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別ブロックツリー構造が適用される場合、ルマＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）は、特定のコーディングツリー構造に基づいてＣＵに分割され、クロマＣＴＢは、他のコーディングツリー構造に基づいてクロマＣＵに分割されることができる。すなわち、個別ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵは、ルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックで構成され、Ｐ又はＢスライス／タイルグループのＣＵは、三つの色成分（ルマ成分及び二つのクロマ成分）のブロックで構成され得ることを意味することができる。
上記において、マルチタイプツリーを伴った四分木コーディングツリー構造について説明したが、ＣＵが分割される構造はこれに限定されない。例えば、ＢＴ構造及びＴＴ構造は、多数の分割ツリー（Ｍｕｌｔｉｐｌｅ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｔｒｅｅ、ＭＰＴ）構造に含まれる概念と解釈されることができ、ＣＵはＱＴ構造及びＭＰＴ構造によって分割されると解釈することができる。ＱＴ構造及びＭＰＴ構造によってＣＵが分割される一例において、ＱＴ構造のリーフノードが幾つかのブロックに分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｔｙｐｅ）及びＱＴ構造のリーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｍｏｄｅ）が、シグナリングされることにより、分割構造が決定されることができる。
別の例において、ＣＵは、ＱＴ構造、ＢＴ構造又はＴＴ構造とは異なる方法で分割されることができる。つまり、ＱＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４サイズに分割されるか、或いはＢＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／２サイズに分割されるか、或いはＴＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４又は１／２サイズに分割されるのとは異なり、下位デプスのＣＵは、場合によって、上位デプスのＣＵの１／５、１／３、３／８、３／５、２／３又は５／８のサイズに分割されることができ、ＣＵが分割される方法は、これに限定されない。
このように、前記マルチタイプツリーを伴った四分木コーディングブロック構造は、非常に柔軟なブロック分割構造を提供することができる。一方、マルチタイプツリーに支援される分割タイプのために、場合によって、異なる分割パターンが潜在的に同一のコーディングブロック構造の結果を導出することができる。符号化装置と復号化装置は、このような冗長（ｒｅｄｕｎｄａｎｔ）分割パターンの発生を制限することにより、分割情報のデータ量を減らすことができる。
また、本明細書によるビデオ／画像の符号化及び復号化において、画像処理単位は階層的構造を持つことができる。一つのピクチャは、一つ以上のタイル、ブリック、スライス、及び／又はタイルグループに区分できる。一つのスライスは一つ以上のブリックを含むことができる。一つのブリックは、タイル内の一つ以上のＣＴＵ行（ｒｏｗ）を含むことができる。スライスはピクチャの整数個のブリックを含むことができる。一つのタイルグループは一つ以上のタイルを含むことができる。一つのタイルは一つ以上のＣＴＵを含むことができる。前記ＣＴＵは一つ以上のＣＵに分割されることができる。タイルは、ピクチャ内で複数のＣＴＵからなる特定のタイル行及び特定のタイル列で構成される四角領域であり得る。タイルグループは、ピクチャ内のタイルラスタースキャンによる整数個のタイルを含むことができる。スライスヘッダーは、該当スライス（スライス内のブロック）に適用できる情報／パラメータを運ぶことができる。符号化装置又は復号化装置がマルチコアプロセッサを有する場合、前記タイル、スライス、ブリック及び／又はタイルグループに対する符号化／復号化手順は並列処理できる。
本開示において、スライス又はタイルグループの呼称又は概念は混用できる。すなわち、タイルグループヘッダーは、スライスヘッダーと呼ばれることができる。ここで、スライスは、ｉｎｔｒａ（Ｉ）ｓｌｉｃｅ、ｐｒｅｄｉｃｔｉｖｅ（Ｐ）ｓｌｉｃｅ、及びｂｉ－ｐｒｅｄｉｃｔｉｖｅ（Ｂ）ｓｌｉｃｅを含むスライスタイプのうちの一つのタイプを有することができる。Ｉスライス内のブロックに対しては、予測のためにインター予測は使用されず、イントラ予測のみ使用されることができる。もちろん、この場合にも、予測なしに原本サンプル値をコーディングしてシグナリングすることもできる。Ｐスライス内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合には、単（ｕｎｉ）予測のみ使用できる。一方、Ｂスライス内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合には、最大双（ｂｉ）予測まで使用できる。
符号化装置は、ビデオ画像の特性（例えば、解像度）に応じて、或いはコーディングの効率又は並列処理を考慮して、タイル／タイルグループ、ブリック、スライス、最大及び最小コーディングユニットサイズを決定することができる。そして、これに関する情報又はこれを誘導し得る情報がビットストリームに含まれることができる。
復号化装置は、現在ピクチャのタイル／タイルグループ、ブリック、スライス、タイル内のＣＴＵが多数のコーディングユニットに分割されたかなどを示す情報を取得することができる。符号化装置及び復号化装置は、このような情報を特定の条件下でのみシグナリングすることにより、符号化効率を高めることもできる。
前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のピクチャに共通に適用可能な情報／パラメータを含むことができる。ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤーに共通に適用可能な情報／パラメータを含むことができる。ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通に適用可能な情報／パラメータを含むことができる。ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の結合に関連する情報／パラメータを含むことができる。
また、例えば、前記タイル／タイルグループ／ブリック／スライスの分割及び構成などに関する情報は、前記上位レベルシンタックスを介して符号化段階において構成されてビットストリーム形式で復号化装置へ伝達できる。
量子化／逆量子化
上述したように、符号化装置の量子化部は、変換係数に量子化を適用して、量子化された変換係数を導出することができ、符号化装置の逆量子化部又は復号化装置の逆量子化部は、量子化された変換係数に逆量子化を適用して変換係数を導出することができる。
動画像／静止画像の符号化及び復号化では、量子化率を変化させることができ、変化した量子化率を用いて圧縮率を調節することができる。実現の観点では、複雑度を考慮して量子化率を直接使用する代わりに、量子化パラメータ（ＱＰ、ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）を使用することができる。例えば、０から６３までの整数値の量子化パラメータを使用することができ、各量子化パラメータ値は、実際の量子化率に対応することができる。また、ルマ成分（ルマサンプル）に対する量子化パラメータＱＰYと、クロマ成分（クロマサンプル）に対する量子化パラメータＱＰCとは異なるように設定されることができる。
量子化過程は、変換係数Ｃを入力とし、量子化率（Ｑｓｔｅｐ）で除算して、これに基づいて、量子化された変換係数Ｃ｀を得ることができる。この場合、計算複雑度を考慮して量子化率にスケールを乗じて整数形態にし、スケール値に対応する値だけシフト演算を行うことができる。量子化率とスケール値との積に基づいて量子化スケール（ｑｕａｎｔｉｚａｔｉｏｎ ｓｃａｌｅ）が導出できる。すなわち、ＱＰに応じて、前記量子化スケールが導出できる。前記変換係数Ｃに前記量子化スケールを適用して、これに基づいて、量子化された変換係数Ｃ’を導出することもできる。
逆量子化過程は、量子化過程の逆過程であり、量子化された変換係数Ｃ’に量子化率Ｑｓｔｅｐを乗じて、これに基づいて、復元された変換係数Ｃ’’を得ることができる。この場合、前記量子化パラメータに応じてレベルスケール（ｌｅｖｅｌ ｓｃａｌｅ）が導出でき、前記量子化された変換係数Ｃ’に前記レベルスケールを適用して、これに基づいて、復元された変換係数Ｃ’を導出すことができる。復元された変換係数Ｃ’’は、変換及び／又は量子化過程における損失（ｌｏｓｓ）により最初変換係数Ｃとは多少差異がありうる。したがって、符号化装置においても、復号化装置と同様に逆量子化を行うことができる。
一方、周波数に応じて量子化強度を調節する適応的周波数別重み付け量子化（ａｄａｐｔｉｖｅ ｆｒｅｑｕｅｎｃｙ ｗｅｉｇｈｔｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ）技術が適用できる。前記適応的周波数別重み付け量子化技術は、周波数別に量子化強度を異なるように適用する方法である。前記適応的周波数別重み付け量子化は、予め定義された量子化スケーリングマトリクスを用いて各周波数別量子化強度を異なるように適用することができる。つまり、上述した量子化／逆量子化過程は、前記量子化スケーリングマトリクスをより基にして行われることができる。例えば、現在ブロックのサイズ及び／又は前記現在ブロックのレジデュアル信号を生成するために、前記現在ブロックに適用された予測モードがインター予測であるか、又はイントラ予測であるかによって異なる量子化スケーリングマトリクスが使用できる。前記量子化スケーリングマトリクスは、量子化マトリクス又はスケーリングマトリクスと呼ばれることができる。前記量子化スケーリングマトリクスは、予め定義されることができる。また、周波数適応的スケーリングのために、前記量子化スケーリングマトリクスに対する周波数別量子化スケール情報が符号化装置で構成／符号化されて復号化装置へシグナリングされることができる。前記周波数別量子化スケール情報は量子化スケーリング情報と呼ばれることができる。前記周波数別量子化スケール情報は、スケーリングリストデータ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ）を含むことができる。前記スケーリングリストデータに基づいて、（修正された）前記量子化スケーリングマトリクスが導出されることができる。また、前記周波数別量子化スケール情報は、前記スケーリングリストデータの存否を指し示す存否フラグ（ｐｒｅｓｅｎｔ ｆｌａｇ）情報を含むことができる。又は、前記スケーリングリストデータが上位レベル（例えば、ＳＰＳ）でシグナリングされた場合、より下位レベル（例えば、ＰＰＳ ｏｒ ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒなど）で前記スケーリングリストデータが修正されるか否かを指し示す情報などがさらに含まれることができる。
変換／逆変換
前述したように、符号化装置は、イントラ／インター／ＩＢＣ予測などを介して予測されたブロック（予測サンプル）に基づいてレジデュアルブロック（レジデュアルサンプル）を導出することができ、導出されたレジデュアルサンプルに変換及び量子化を適用して、量子化された変換係数を導出することができる。量子化された変換係数に対する情報（レジデュアル情報）は、レジデュアルコーディングシンタックスに含まれて符号化された後、ビットストリーム形式で出力されることができる。復号化装置は、前記ビットストリームから前記量子化された変換係数に対する情報（レジデュアル情報）を取得し、復号化して量子化された変換係数を導出することができる。復号化装置は、量子化された変換係数に基づいて逆量子化／逆変換を経てレジデュアルサンプルを導出することができる。上述したように、前記量子化／逆量子化及び／又は変換／逆変換のうちの少なくとも一つは省略可能である。前記変換／逆変換が省略される場合、前記変換係数は係数又はレジデュアル係数と呼ばれることもでき、或いは表現の統一性のために変換係数と依然として呼ばれることもできる。前記変換／逆変換の省略如何は、変換スキップフラグ（例えば、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ）に基づいてシグナリングされることができる。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇの第１値（例えば、０）は、変換省略如何が他のシンタックス要素によって決定されることを示すことができる。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇの第２値（例えば、１）は、変換省略（例えば、スキップ）を示すことができる。
前記変換／逆変換は、変換カーネルに基づいて行われることができる。例えば、変換／逆変換を行うためのＭＴＳ（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ）スキーム（ｓｃｈｅｍｅ）が適用できる。この場合、多数の変換カーネルセットのうちの一部が選択されて現在ブロックに適用できる。変換カーネルは、変換マトリクスや変換タイプなど、さまざまな用語で呼ばれることができる。例えば、変換カーネルセットは、垂直方向変換カーネル（垂直変換カーネル）及び水平方向変換カーネル（水平変換カーネル）の組み合わせを示すことができる。
前記変換／逆変換は、ＣＵ又はＴＵ単位で行われることができる。すなわち、前記変換／逆変換は、ＣＵ内のレジデュアルサンプル又はＴＵ内のレジデュアルサンプルに対して適用できる。ＣＵサイズとＴＵサイズとが同じでもよく、或いはＣＵ領域内に複数のＴＵが存在してもよい。一方、ＣＵサイズとは、一般にルマ成分（サンプル）ＣＢサイズを示すことができる。ＴＵサイズとは、一般にルマ成分（サンプル）ＴＢサイズを示すことができる。クロマ成分（サンプル）ＣＢ又はＴＢサイズは、カラーフォーマット（クロマフォーマット、例えば、４：４：４、４：２：２、４：２：０など）による成分比に応じて、ルマ成分（サンプル）ＣＢ又はＴＢサイズに基づいて導出されることができる。前記ＴＵサイズは、ｍａｘＴｂＳｉｚｅに基づいて導出されることができる。例えば、前記ＣＵサイズが前記ｍａｘＴｂＳｉｚｅより大きい場合、前記ＣＵから前記ｍａｘＴｂＳｉｚｅの複数のＴＵ（ＴＢ）が導出され、前記ＴＵ（ＴＢ）単位で変換／逆変換が行われることができる。前記ｍａｘＴｂＳｉｚｅは、ＩＳＰなどの様々なイントラ予測タイプの適用如何判断などに考慮できる。前記ｍａｘＴｂＳｉｚｅに対する情報は、予め決定されてもよく、或いは符号化装置で生成及び符号化されて符号化装置へシグナリングされてもよい。
エントロピーコーディング
先立って図２を参照して説明したように、ビデオ／画像情報の一部又は全部は、エントロピー符号化部１９０によってエントロピー符号化でき、図３を参照して説明したビデオ／画像情報の一部又は全部は、エントロピー復号化部３１０によってエントロピー復号化できる。この場合、前記ビデオ／画像情報は、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）単位で符号化／復号化できる。本明細書において、情報が符号化／復号化されるとは、本段落で説明される方法によって符号化／復号化されることを含むことができる。
図８は一つのシンタックス要素を符号化するためのＣＡＢＡＣのブロック図を示す。ＣＡＢＡＣの符号化過程は、まず、入力信号が２進値ではなく、シンタックス要素である場合に２値化（ｂｉｎａｒｉｚａｔｉｏｎ）を介して入力信号を２進値に変換することができる。入力信号が既に２進値である場合には、２値化を経ることなくバイパスできる。ここで、２進値を構成するそれぞれの２進数０又は１をビン（ｂｉｎ）と呼ぶことができる。例えば、二値化後の２進ストリング（ビンストリング）が１１０である場合、１、１、０のそれぞれを一つのビンと呼ぶことができる。一つのシンタックス要素に対する前記ビンは、当該シンタックス要素の値を示すことができる。
２値化されたビンは、正規（ｒｅｇｕｌａｒ）コーディングエンジン又はバイパス（ｂｙｐａｓｓ）コーディングエンジンに入力されることができる。正規コーディングエンジンは、当該ビンに対して確率値を反映するコンテキスト（ｃｏｎｔｅｘｔ）モデルを割り当て、割り当てられたコンテキストモデルに基づいて当該ビンを符号化することができる。正規コーディングエンジンでは、各ビンに対するコーディングを行った後、当該ビンに対する確率モデルを更新することができる。このようにコーディングされるビンを、コンテキストコーディングされたビン（ｃｏｎｔｅｘｔ－ｃｏｄｅｄ ｂｉｎ）と呼ぶことができる。バイパスコーディングエンジンは、入力されたビンに対して確率を推定する手順と、コーディング後に当該ビンに適用した確率モデルを更新する手順を省略することができる。バイパスコーディングエンジンの場合、コンテキストを割り当てる代わりに均一な確率分布（例えば、５０：５０）を適用して入力されるビンをコーディングすることにより、コーディング速度を向上させることができる。このようにコーディングされるビンをバイパスビン（ｂｙｐａｓｓ ｂｉｎ）と呼ぶことができる。コンテキストモデルは、コンテキストコーディング（正規コーディング）されるビン別に割当及び更新されることができ、コンテキストモデルは、ｃｔｘｉｄｘ又はｃｔｘＩｎｃに基づいて指示されることができる。ｃｔｘｉｄｘはｃｔｘＩｎｃに基づいて導出されることができる。具体的には、例えば、前記正規コーディングされるビンのそれぞれに対するコンテキストモデルを指すコンテキストインデックス（ｃｔｘｉｄｘ）は、ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔ（ｃｔｘＩｎｃ）及びｃｏｎｔｅｘｔ ｉｎｄｅｘ ｏｆｆｓｅｔ（ｃｔｘＩｄｘＯｆｆｓｅｔ）の和として導出されることができる。ここで、前記ｃｔｘＩｎｃは、各ビン別に異なるように導出されることができる。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、前記ｃｔｘＩｄｘの最小値（ｔｈｅ ｌｏｗｅｓｔ ｖａｌｕｅ）で表されることができる。前記ｃｔｘＩｄｘの最小値は、前記ｃｔｘＩｄｘの初期値（ｉｎｉｔＶａｌｕｅ）と呼ばれることができる。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、一般に、他のシンタックス要素に対するコンテキストモデルとの区分のために用いられる値であり、一つのシンタックス要素に対するコンテキストモデルは、ｃｔｘｉｎｃに基づいて区分／導出されることができる。
エントロピー符号化手順で正規コーディングエンジンを介して符号化を行うのか、バイパスコーディングエンジンを介して符号化を行うのかを決定し、コーディング経路をスイッチングすることができる。エントロピー復号化は、エントロピー符号化と同様の過程を逆順に行うことができる。
上述したエントロピーコーディングは、例えば、図９及び図１０のように行われることができる。図９及び図１０を参照すると、符号化装置（エントロピー符号化部）は、画像／ビデオ情報に関するエントロピーコーディング手順を行うことができる。前記画像／ビデオ情報は、パーティショニング関連情報、予測関連情報（例えば、インター／イントラ予測区分情報、イントラ予測モード情報、インター予測モード情報など）、レジデュアル情報、インループフィルタリング関連情報などを含むことができ、或いは、それに関する様々なシンタックス要素を含むことができる。前記エントロピーコーディングは、シンタックス要素単位で行われることができる。図９のステップＳ９１０～Ｓ９２０は、上述した図２の符号化装置のエントロピー符号化部１９０によって行われることができる。
符号化装置は、対象シンタックス要素に対する２値化を行うことができる（Ｓ９１０）。ここで、前記２値化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ、Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなどの多様な２値化方法に基づくことができ、対象シンタックス要素に対する２値化方法は、予め定義されることができる。前記２値化手順は、エントロピー符号化部１９０内の２値化部１９１によって行われることができる。
符号化装置は、前記対象シンタックス要素に対するエントロピー符号化を行うことができる（Ｓ９２０）。符号化装置は、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）又はＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）などのエントロピーコーディング技法に基づいて、対象シンタックス要素のビンストリングに対して、正規コーディングベース（コンテキストベース）又はバイパスコーディングベースの符号化を行うことができ、その出力は、ビットストリームに含まれることができる。前記エントロピー符号化手順は、エントロピー符号化部１９０内のエントロピー符号化処理部１９２によって行われることができる。前述したように、前記ビットストリームは、（デジタル）記憶媒体又はネットワークを介して復号化装置へ伝達できる。
図１１及び図１２を参照すると、復号化装置（エントロピー復号化部）は、符号化された画像／ビデオ情報を復号化することができる。前記画像／ビデオ情報は、パーティショニング関連情報、予測関連情報（例えば、インター／イントラ予測区分情報、イントラ予測モード情報、インター予測モード情報など）、レジデュアル情報、インループフィルタリング関連情報などを含むことができ、或いは、それに関する様々なシンタックス要素を含むことができる。前記エントロピーコーディングは、シンタックス要素単位で行われることができる。Ｓ１１１０～Ｓ１１２０は、上述した図３の復号化装置のエントロピー復号化部２１０によって行われることができる。
復号化装置は、対象シンタックス要素に対する２値化を行うことができる（Ｓ１１１０）。ここで、前記２値化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ、Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなどの多様な２値化方法に基づくことができ、対象シンタックス要素に対する２値化方法は、予め定義されることができる。復号化装置は、前記２値化手順を介して、対象シンタックス要素の利用可能値に対する利用可能ビンストリング（ビンストリング候補）を導出することができる。前記２値化手順は、エントロピー復号化部２１０内の２値化部２１１によって行われることができる。
復号化装置は、前記対象シンタックス要素に対するエントロピー復号化を行うことができる（Ｓ１１２０）。復号化装置は、ビットストリーム内の入力ビットから前記対象シンタックス要素に対する各ビンを順次復号化及びパーシングしながら、導出されたビンストリングを当該シンタックス要素に対する利用可能ビンストリングと比較することができる。もし、導出されたビンストリングが前記利用可能ビンストリングのうちの一つと同じであれば、当該ビンストリングに対応する値が当該シンタックス要素の値として導出されることができる。もし、そうでなければ、前記ビットストリーム内の次のビットをさらにパーシングした後、上述した手順を再び行うことができる。このような過程によってビットストリーム内に特定の情報（特定のシンタックス要素）に対する開始ビット又は終了ビットを使用しなくても、可変長ビットを用いて当該情報をシグナリングすることができる。これにより、低い値に対しては相対的にさらに少ないビットを割り当てることができ、全般的なコーディング効率を高めることができる。
復号化装置は、ＣＡＢＡＣ又はＣＡＶＬＣなどのエントロピーコーディング技法に基づいてビットストリームから前記ビンストリング内の各ビンに対してコンテキストベース又はバイパスベースの復号化を行うことができる。前記エントロピー復号化手順は、エントロピー復号化部２１０内のエントロピー復号化処理部２１２によって行われることができる。前記ビットストリームは、上述したように画像／ビデオ復号化のための様々な情報を含むことができる。上述したように、前記ビットストリームは、（デジタル）記憶媒体又はネットワークを介して復号化装置へ伝達されることができる。
本明細書において、符号化装置から復号化装置への情報のシグナリングを示すために、シンタックス要素を含むテーブル（シンタックステーブル）が使用できる。本明細書で使用される前記シンタックス要素を含むテーブルのシンタックス要素の順序は、ビットストリームからシンタックス要素のパーシング順序（ｐａｒｓｉｎｇ ｏｒｄｅｒ）を示すことができる。符号化装置は、前記シンタックス要素がパーシング順序に従って復号化装置でパーシングできるようにシンタックステーブルを構成及び符号化することができ、復号化装置は、ビットストリームから当該シンタックステーブルのシンタックス要素をパーシング順序に従ってパーシング及び復号化してシンタックス要素の値を取得することができる。
一般的な画像／ビデオコーディング手順
画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号化順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）に従って符号化／復号化されることができる。復号化されたピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）に該当するピクチャ順序（ｐｉｃｔｕｒｅ ｏｒｄｅｒ）は、前記復号化順序とは異なるように設定されることができる。これに基づいて、インター予測の際に、順方向予測だけでなく逆方向予測も行うことができる。
図１３は本明細書の実施例が適用可能な概略的なピクチャ復号化手順の例を示す。図１３において、Ｓ１３１０は、図３で上述した復号化装置のエントロピー復号化部２１０で行われることができ、Ｓ１３２０は、イントラ予測部２６５及びインター予測部２６０を含む予測部で行われることができ、Ｓ１３３０は、逆量子化部２２０及び逆変換部２３０を含むレジデュアル処理部で行われることができ、Ｓ１３４０は、加算部２３５で行われることができ、Ｓ１３５０は、フィルタリング部２４０で行われることができる。Ｓ１３１０は、本明細書で説明された情報復号化手順を含むことができ、Ｓ１３２０は、本明細書で説明されたインター／イントラ予測手順を含むことができ、Ｓ１３３０は、本明細書で説明されたレジデュアル処理手順を含むことができ、Ｓ１３４０は、本明細書で説明されたブロック／ピクチャ復元手順を含むことができ、Ｓ１３５０は、本明細書で説明されたインループフィルタリング手順を含むことができる。
図１３を参照すると、ピクチャ復号化手順は、図３についての説明で示されているように、概略的に、ビットストリームから（復号化による）画像／ビデオ情報取得手順（Ｓ１３１０）、ピクチャ復元手順（Ｓ１３２０～Ｓ１３４０）、及び復元されたピクチャに対するインループフィルタリング手順（Ｓ１３５０）を含むことができる。前記ピクチャ復元手順は、本明細書で説明されたインター／イントラ予測（Ｓ１３２０）及びレジデュアル処理（Ｓ１３３０、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正（ｍｏｄｉｆｉｅｄ）された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後ピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後ピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順（Ｓ１３５０）は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及び／又はバイラテラルフィルター（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルター（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの一つ又は一部が順次適用されることができ、或いはすべてが順次適用されることもできる。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。または、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。
図１４は本明細書の実施例が適用できる概略的なピクチャ符号化手順の例を示す。図１４において、Ｓ１４１０は、図２で上述した符号化装置のイントラ予測部１８５又はインター予測部１８０を含む予測部で行われることができ、Ｓ１４２０は、変換部１２０及び／又は量子化部１３０を含むレジデュアル処理部で行われることができ、Ｓ１４３０は、エントロピー符号化部１９０で行われることができ、Ｓ１４１０は、本明細書で説明されたインター／イントラ予測手順を含むことができ、Ｓ１４２０は、本明細書で説明されたレジデュアル処理手順を含むことができ、Ｓ１４３０は、本明細書で説明された情報符号化手順を含むことができる。
図１４を参照すると、ピクチャ符号化手順は、図２についての説明で示されているように、概略的にピクチャ復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（ｏｐｔｉｏｎａｌ）を含むことができる。符号化装置は、逆量子化部１４０及び逆変換部１５０を介して、量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、Ｓ１４１０の出力である予測サンプルと前記（修正された）レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリ１７０に保存されることができ、復号化装置での場合と同様に、以後ピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。
このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画像コーディング時に発生するノイズを低減することができ、主観的／客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。
上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス／タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャの色成分は、ルマ成分及びクロマ成分を含むことができ、本明細書で明示的に制限しなければ、本明細書で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用できる。
コーディング階層及び構造の例
本明細書によるコーディングされたビデオ／画像は、例えば、後述するコーディング階層及び構造に従って処理できる。
図１５はコーディングされた画像に対する階層構造を示す図である。コーディングされた画像は、画像の復号化処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を伝送し保存する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されることができる。
ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。
ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダーには、該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。
図示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号化するために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。
上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。
上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。
例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むか否かによって、大きくＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。
以下に、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセットの種類などによって特定されたＮＡＬユニットタイプの一例を羅列する。
－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ
－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＤＰＳを含むＮＡＬユニットに対するタイプ
－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬユニット：ＶＰＳを含むＮＡＬユニットに対するタイプ
－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ
－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＡＬユニット：ＰＰＳを含むＮＡＬユニットに対するタイプ
上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであることができ、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値で特定できる。
前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライス又はピクチャに共通に適用可能な情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤーに共通に適用可能な情報／パラメータを含むことができる。前記ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通に適用可能な情報／パラメータを含むことができる。前記ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）に関する情報／パラメータを含むことができる。本明細書において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。
本明細書において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーに含まれた情報、前記ＡＰＳに含まれた情報、前記ＰＰＳに含まれた情報、ＳＰＳに含まれた情報、及び／又はＶＰＳに含まれた情報を含むことができる。
イントラ予測の概要
以下、上述した符号化装置及び復号化装置が行うイントラ予測についてより詳細に説明する。イントラ予測は、現在ブロックの属するピクチャ（以下、現在ピクチャ）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。
図１６を参照して説明する。現在ブロック１６０１にイントラ予測が適用される場合、現在ブロック１６０１のイントラ予測に使用する周辺参照サンプルが導出されることができる。前記現在ブロックの周辺参照サンプルは、ｎＷ×ｎＨサイズの現在ブロックの左側（ｌｅｆｔ）境界に隣接するサンプル１６１１及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接するサンプル１６１２を含む合計２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接するサンプル１６２１及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接するサンプル１６２２を含む合計２×ｎＷ個のサンプル、並びに現在ブロックの左上側（ｔｏｐ－ｌｉｇｈｔ）に隣接する一つのサンプル１６３１を含むことができる。又は、前記現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むこともできる。
また、前記現在ブロックの周辺基準サンプルは、ｎＷ×ｎＨサイズの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接する合計ｎＨ個のサンプル１６４１、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接する合計ｎＷ個のサンプル１６５１、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接する一つのサンプル１６４２を含むこともできる。
ただし、現在ブロックの周辺参照サンプルのうちの一部は、まだ復号化されていないか、或いは利用可能でない可能性がある。この場合、復号化装置は、利用可能でないサンプルを利用可能なサンプルで置き換える（ｓｕｂｓｔｉｔｕｔｉｏｎ）ことにより、予測に使用する周辺参照サンプルを構成することができる。又は、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して、予測に使用する周辺参照サンプルを構成することができる。
周辺参照サンプルが導出された場合、（ｉ）現在ブロックの周辺（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）或いはインターポーレーション（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの周辺参照サンプルのうちの予測サンプルに対して特定（予測）の方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は非方向性モード又は非角度モード、（ｉｉ）の場合は方向性（ｄｉｒｅｃｔｉｏｎａｌ）モード又は角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。また、前記周辺参照サンプルのうち、前記現在ブロックの予測サンプルを基準に、前記現在ブロックのイントラ予測モードの予測方向の反対方向に位置する前記第２周辺サンプルと前記第１周辺サンプルとの補間を介して、前記予測サンプルが生成されることもできる。上述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ぶことができる。また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を用いてルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭモードと呼ばれることができる。また、フィルタリングされた周辺参照サンプルに基づいて前記現在ブロックの臨時予測サンプルを導出し、前記既存の周辺参照サンプル、すなわちフィルタリングされていない周辺参照サンプルのうちの前記イントラ予測モードに従って導出された少なくとも一つの参照サンプルと前記臨時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して前記現在ブロックの予測サンプルを導出することもできる。上述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、現在ブロックの周辺多重参照サンプルラインの中から、最も予測精度の高い参照サンプルラインを選択して、当該ラインにおいて予測方向に位置する参照サンプルを用いて予測サンプルを導出し、このとき、使用された参照サンプルラインを復号化装置に指示（シグナリング）する方法でイントラ予測符号化を行うことができる。上述した場合は、ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ（ＭＲＬ）ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ又はＭＲＬベースのイントラ予測と呼ばれることができる。また、現在ブロックを垂直又は水平のサブパーティションに分けて同一のイントラ予測モードに基づいてイントラ予測を行うが、前記サブパーティション単位で周辺参照サンプルを導出して用いることができる。すなわち、この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同一に適用されるが、前記サブパーティション単位で周辺参照サンプルを導出して用いることにより、場合によってイントラ予測性能を高めることができる。このような予測方法は、ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）又はＩＳＰベースのイントラ予測と呼ばれることができる。このようなイントラ予測方法は、イントラ予測モード（例えば、ＤＣモード、Ｐｌａｎａｒモード及び方向性モード）と区分してイントラ予測タイプと呼ばれることができる。前記イントラ予測タイプは、イントラ予測技法又は付加イントラ予測モードなどの様々な用語で呼ばれることができる。例えば、前記イントラ予測タイプ（又は付加イントラ予測モードなど）は、上述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうちの少なくとも一つを含むことができる。前記ＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定のイントラ予測タイプを除いた一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、上述した特定のイントラ予測タイプが適用されない場合を指すことができ、上述したイントラ予測モードに基づいて予測が行われることができる。一方、必要に応じて、導出された予測サンプルに対する後処理フィルタリングが行われることもできる。
具体的には、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、周辺参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。さらに、必要に応じて、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが行われることもできる。
一方、上述したイントラ予測タイプの他にも、ＡＬＷＩＰ（ａｆｆｉｎｅ ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が使用されることができる。前記ＡＬＷＩＰは、ＬＷＩＰ（ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）又はＭＩＰ（ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ又はｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることもできる。前記ＭＩＰが現在ブロックに対して適用される場合、ｉ）平均化（ａｖｅｒａｇｉｎｇ）手順が行われた周辺参照サンプルを用いてｉｉ）マトリクスベクトルマルチプリケーション（ｍａｔｒｉｘ－ｖｅｃｔｏｒ－ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）手順を行い、ｉｉｉ）必要に応じて水平／垂直補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順をさらに行うことにより、前記現在ブロックに対する予測サンプルを導出することができる。前記ＭＩＰのために使用されるイントラ予測モードは、上述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰイントラ予測、又はノーマルイントラ予測で使用されるイントラ予測モードとは異なるように構成できる。前記ＭＩＰのためのイントラ予測モードは、ＭＩＰイントラ予測モード、ＭＩＰ予測モード又はＭＩＰモードと呼ばれることができる。例えば、前記ＭＩＰのためのイントラ予測モードに応じて、前記マトリクスベクトルマルチプリケーションで使用されるマトリクス及びオフセットが異なるように設定されることができる。ここで、前記マトリクスは（ＭＩＰ）重みマトリクスと呼ばれることができ、前記オフセットは（ＭＩＰ）オフセットベクトル又は（ＭＩＰ）バイアス（ｂｉａｓ）ベクトルと呼ばれることができる。具体的なＭＩＰ方法については後述する。
イントラ予測に基づくブロック復元手順及び符号化装置内のイントラ予測部は、概略的に例を挙げて以下を含むことができる。Ｓ１７１０は、符号化装置のイントラ予測部１８５によって行われることができ、Ｓ１７２０は、符号化装置の減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０のうちの少なくとも一つを含むレジデュアル処理部によって行われることができる。具体的には、Ｓ１７２０は、符号化装置の減算部１１５によって行われることができる。Ｓ１７３０で、予測情報は、イントラ予測部１８５によって導出され、エントロピー符号化部１９０によって符号化されることができる。Ｓ１７３０で、レジデュアル情報は、レジデュアル処理部によって導出され、エントロピー符号化部１９０によって符号化されることができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。上述したように、前記レジデュアルサンプルは、符号化装置の変換部１２０を介して変換係数に導出され、前記変換係数は、量子化部１３０を介して量子化された変換係数として導出されることができる。前記量子化された変換係数に関する情報が、レジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。
符号化装置は、現在ブロックに対するイントラ予測を行うことができる（Ｓ１７１０）。符号化装置は、現在ブロックに対するイントラ予測モード／タイプを導出し、現在ブロックの周辺参照サンプルを導出することができ、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成する。ここで、イントラ予測モード／タイプの決定、周辺参照サンプルの導出、及び予測サンプルの生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。例えば、図示されてはいないが、符号化装置のイントラ予測部１８５は、イントラ予測モード／タイプ決定部、参照サンプル導出部、予測サンプル導出部を含むことができ、イントラ予測モード／タイプ決定部で前記現在ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部で前記現在ブロックの周辺参照サンプルを導出し、予測サンプル導出部で前記現在ブロックの予測サンプルを導出することができる。一方、後述する予測サンプルフィルタリング手順が行われる場合、イントラ予測部１８５は、予測サンプルフィルター部をさらに含むこともできる。符号化装置は、複数のイントラ予測モード／タイプのうち、前記現在ブロックに対して適用されるモード／タイプを決定することができる。符号化装置は、前記イントラ予測モード／タイプに対するＲＤコストを比較し、前記現在ブロックに対する最適なイントラ予測モード／タイプを決定することができる。
一方、符号化装置は、予測サンプルフィルタリング手順を行うこともできる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリングされることができる。場合によっては、前記予測サンプルフィルタリング手順は省略可能である。
符号化装置は、（フィルタリングされた）予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ１７２０）。符号化装置は、現在ブロックの原本サンプルにおける前記予測サンプルを位相に基づいて比較し、前記レジデュアルサンプルを導出することができる。
符号化装置は、前記イントラ予測に関する情報（予測情報）、及び前記レジデュアルサンプルに関するレジデュアル情報を含む画像情報を符号化することができる（Ｓ１７３０）。前記予測情報は、前記イントラ予測モード情報、前記イントラ予測タイプ情報を含むことができる。符号化装置は、符号化された画像情報がビットストリーム形式で出力されることができる。出力されたビットストリームは、記憶媒体又はネットワークを介して復号化装置へ伝達されることができる。
前記レジデュアル情報は、後述するレジデュアルコーディングシンタックスを含むことができる。符号化装置は、前記レジデュアルサンプルを変換／量子化して、量子化された変換係数を導出することができる。前記レジデュアル情報は、前記量子化された変換係数に対する情報を含むことができる。
一方、上述したように、符号化装置は、復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成することができる。このために、符号化装置は、前記量子化された変換係数を再び逆量子化／逆変換処理して（修正された）レジデュアルサンプルを導出することができる。このようにレジデュアルサンプルを変換／量子化した後、再び逆量子化／逆変換を行う理由は、上述したように復号化装置で導出されるレジデュアルサンプルと同一のレジデュアルサンプルを導出するためである。符号化装置は、前記予測サンプルと（修正された）レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを含む復元ブロックを生成することができる。前記復元ブロックに基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述したとおりである。
イントラ予測に基づくビデオ／画像復号化手順及び復号化装置内のイントラ予測部は、概略的に例を挙げて以下を含むことができる。復号化装置は、前記符号化装置で行われた動作と対応する動作を行うことができる。
Ｓ１８１０～Ｓ１８３０は、復号化装置のイントラ予測部２６５によって行われることができ、Ｓ１８１０の予測情報及びＳ１８４０のレジデュアル情報は、復号化装置のエントロピー復号化部２１０によってビットストリームから取得できる。復号化装置の逆量子化部２２０及び逆変換部２３０のうちの少なくとも一つを含むレジデュアル処理部は、前記レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを導出することができる。具体的には、前記レジデュアル処理部の逆量子化部２２０は、前記レジデュアル情報に基づいて導出された量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部２３０は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。Ｓ１８５０は、復号化装置の加算部２３５又は復元部によって行われることができる。
具体的には、復号化装置は、受信した予測情報（イントラ予測モード／タイプ情報）に基づいて、現在ブロックに対するイントラ予測モード／タイプを導出することができる（Ｓ１８１０）。復号化装置は、前記現在ブロックの周辺参照サンプルを導出することができる（Ｓ１８２０）。復号化装置は、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる（Ｓ１８３０）。この場合、復号化装置は予測サンプルフィルタリング手順を行うことができる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリングされることができる。場合によっては、予測サンプルフィルタリング手順は省略可能である。
復号化装置は、受信したレジデュアル情報に基づいて前記現在ブロックに対するレジデュアルサンプルを生成することができる。復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、前記復元サンプルを含む復元ブロックを導出することができる（Ｓ１８４０）。前記復元ブロックに基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述したとおりである。
ここで、復号化装置のイントラ予測部２６５は、たとえ図示されてはいないが、イントラ予測モード／タイプ決定部、参照サンプル導出部、予測サンプル導出部を含むことができ、イントラ予測モード／タイプ決定部は、エントロピー復号化部２１０で取得されたイントラ予測モード／タイプ情報に基づいて前記現在ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部は、前記現在ブロックの周辺参照サンプルを導出し、予測サンプル導出部は、前記現在ブロックの予測サンプルを導出することができる。一方、上述した予測サンプルフィルタリング手順が行われる場合、イントラ予測部２６５は、予測サンプルフィルター部をさらに含むこともできる。
前記イントラ予測モード情報は、例えば、ＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）が前記現在ブロックに適用されるのか、それともリメイニングモード（ｒｅｍａｉｎｉｎｇ ｍｏｄｅ）が適用されるのかを示すフラグ情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）を含むことができ、前記ＭＰＭが前記現在ブロックに適用される場合、前記予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）のうちのいずれか一つを指すインデックス情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）をさらに含むことができる。前記イントラ予測モード候補（ＭＰＭ候補）は、ＭＰＭ候補リスト又はＭＰＭリストから構成されることができる。また、前記ＭＰＭが前記現在ブロックに適用されない場合、前記イントラ予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）を除いた残りのイントラ予測モードのうちのいずれか一つを指すリメイニングモード情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をさらに含むことができる。復号化装置は、前記イントラ予測モード情報に基づいて前記現在ブロックのイントラ予測モードを決定することができる。上述したＭＩＰのために、別途のＭＰＭリストが構成されることができる。
さらに、前記イントラ予測タイプ情報は、様々な形態で実現できる。一例として、前記イントラ予測タイプ情報は、前記イントラ予測タイプのうちのいずれか一つを指示するイントラ予測タイプインデックス情報を含むことができる。他の例として、前記イントラ予測タイプ情報は、前記ＭＲＬが前記現在ブロックに適用されるか、及び適用される場合には幾番目の参照サンプルラインが用いられるかを示す参照サンプルライン情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、前記ＩＳＰが前記現在ブロックに適用されるかを示すＩＳＰフラグ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、前記ＩＳＰが適用される場合にサブパーティションが分割タイプを指示するＩＳＰタイプ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＣＰの適用如何を示すフラグ情報、又はＬＩＰの適用如何を示すフラグ情報のうちの少なくとも一つを含むことができる。また、前記イントラ予測タイプ情報は、前記現在ブロックにＭＩＰが適用されるか否かを示すＭＩＰフラグを含むことができる。
前記イントラ予測モード情報及び／又は前記イントラ予測タイプ情報は、本明細書で説明したコーディング方法を介して符号化／復号化されることができる。例えば、前記イントラ予測モード情報及び／又は前記イントラ予測タイプ情報は、ｔｒｕｎｃａｔｅｄ（ｒｉｃｅ）ｂｉｎａｒｙ ｃｏｄｅに基づいてエントロピーコーディング（例えば、ＣＡＢＡＣ、ＣＡＶＬＣ）コーディングを介して符号化／復号化されることができる。
ＡＣＴ（Ａｄａｐｔｉｖｅ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍ）の概要
ＡＣＴ（Ａｄａｐｔｉｖｅ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍ）は、カラーコンポーネント間の不要な重複を除去するための色空間（ｃｏｌｏｒ ｓｐａｃｅ）変換（ｃｏｎｖｅｒｓｉｏｎ）技術であって、ＨＥＶＣスクリーンコンテンツ拡張バージョンで活用されたことがある。これはまた、ＶＶＣも適用できる。
ＨＥＶＣ ＳＣＣ拡張（ＨＥＶＣ ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｅｘｔｅｎｓｉｏｎ）において、予測レジデュアルを既存の色空間からＹＣｇＣｏ色空間へ適応的に変換するためにＡＣＴが使用されたことがある。それぞれの変換単位に対して一つのＡＣＴフラグをシグナリングすることにより、２つの色空間のうちの一つの色空間が選択的に選択されることができる。
例えば、フラグの第１値（例えば１）は、変換単位のレジデュアルがオリジナル色空間で符号化されていることを示すことができる。フラグの第２値（例えば１）は、変換単位のレジデュアルがＹＣｇＣｏ色空間で符号化されていることを示すことができる。
図１９はＡＣＴを適用した復号化過程の一実施例を示す図である。図１９の実施例において、動き補償予測（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ）は、本開示におけるインター予測に対応することができる。
図１９に示すように、復元ピクチャ（又は復元ブロック、復元サンプル配列、復元サンプル、復元されたシグナル）は、予測出力値及びレジデュアル出力値に基づいて生成されることができる。ここで、レジデュアル出力値は逆変換出力値であり得る。ここで、逆変換は正規逆変換であり得る。ここで、正規逆変換はＭＴＳベースの逆変換又は逆ＬＦＮＳＴ（ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐｅｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）であり得る。
ここで、予測出力値は、予測ブロック、予測サンプル配列、予測サンプル又は予測信号であることができ、レジデュアル出力値は、レジデュアルブロック、レジデュアルサンプル配列、レジデュアルサンプル又はレジデュアル信号であることができる。
例えば、符号化装置の側面で、ＡＣＴプロセスは、予測サンプルに基づいて誘導されたレジデュアルサンプルに対して行われることができる。そして、ＡＣＴプロセスの出力値は正規変換プロセスの入力として提供されることができる。ここで、正規変換プロセスは、ＭＴＳベースの変換又はＬＦＮＳＴであり得る。
（逆）ＡＣＴに関する情報（パラメータ）は、符号化装置によって生成され、符号化されることができる。そして、ビットストリーム形式で復号化装置へ伝送されることができる。
復号化装置は、（逆）ＡＣＴ関連情報（パラメータ）を取得し、パーシングし、復号化することができ、（逆）ＡＣＴに関連する情報（パラメータ）に基づいて逆ＡＣＴを行うことができる。
逆ＡＣＴに基づいて、（修正された）レジデュアルサンプル（又はレジデュアルブロック）が誘導されることができる。例えば、量子化された（変換）係数に逆量子化を適用することにより、（変換）係数が誘導されることができる。そして、（変換）係数に逆変換を行うことにより、レジデュアルサンプルが誘導されることができる。そして、レジデュアルサンプルに逆ＡＣＴを適用することにより、（修正された）レジデュアルサンプルが取得されることができる。（逆）ＡＣＴに関する情報（パラメータ）については詳細に後述する。
一実施例において、ＨＥＶＣで使用されるコア変換関数が色空間変換のためのコア変換関数（変換カーネル）として使用できる。例えば、下記数式のような順方向変換及び逆方向変換のための行列が使用できる。
ここで、Ｃ０、Ｃ１及びＣ２はＧ、Ｂ、Ｒに対応することができる。ここで、Ｇは緑（ｇｒｅｅｎ）色成分、Ｂは青（ｂｌｕｅ）色成分、Ｒは赤（ｒｅｄ）色成分である。そして、Ｃ０’、Ｃ１’及びＣ２’はＹ、Ｃｇ、Ｃｏに対応することができる。ここで、Ｙは輝度、Ｃｇは緑色色差、Ｃｏはオレンジ色色差成分である。
さらに、色変換以前及び以後のレジデュアルの動的範囲変化を補償するために、変換レジデュアルに（－５、－５、－３）だけのＱＰ調整が適用できる。ＱＰ調整の詳細な事項は後述する。
一方、一実施例による符号化及び復号過程において、ＡＣＴが適用できる場合、以下の制限が適用できる。
－デュアルツリー符号化／復号化の場合、ＡＣＴが不活性化される。例えば、ＡＣＴはシングルツリー符号化／復号化に対してのみ適用できる。
－ＩＳＰの符号化及び復号化が適用される場合、ＡＣＴは不活性化できる。
－ＢＤＰＣＭが適用されたクロマブロックに対して、ＡＣＴは不活性化できる。ＢＤＰＣＭが適用されたルマブロックに対してのみ、ＡＣＴが活性化できる。
－ＡＣＴの適用が可能な場合、ＣＣＬＭは不活性化できる。
図２０はＡＣＴに関連するシンタックス要素がシグナリングされるシーケンスパラメータセットシンタックステーブルの一実施例を示す図である。
図２１～図２７はＡＣＴに関連するシンタックス要素がシグナリングされる符号化単位のシンタックステーブルの一実施例を連続的に示す図である。
図２０に示すように、復号化過程でＡＣＴが活性化されるか否かを示すＡＣＴ活性化フラグとして、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ（２０１０）が使用できる。
ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの第１値（例えば０）は、ＡＣＴが使用されず、符号化単位でＡＣＴの適用如何を示すフラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ（２１１０、２７１０）が符号化単位に対するシンタックスで提供されないことを示すことができる。
ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの第２値（例えば１）は、ＡＣＴが使用でき、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが符号化単位に対するシンタックスで提供できることを示すことができる。
ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇがビットストリームで取得されない場合、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は第１値（例えば０）に誘導されることができる。
また、図２１に示すように、現在符号化単位のレジデュアルがＹＣｇＣｏ色空間で符号化されたかを示すＡＣＴフラグとして、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ（２１１０、２７１０）が使用できる。
ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの第１値（例えば０）は、現在符号化単位のレジデュアルがオリジナル色空間で符号化されたことを示すことができる。ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの第２値（例えば１）は、現在符号化単位のレジデュアルがＹＣｇＣｏ色空間で符号化されたことを示すことができる。
ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇがビットストリームで提供されない場合、これは第１値（例えば０）に誘導されることができる。ここで、オリジナル色空間はＲＧＢ色空間であり得る。
ＡＣＴ ＱＰオフセットを用いた変換単位のＱＰ誘導方法
一実施例において、変換係数に対するスケーリングプロセスにおける量子化パラメータの誘導プロセスとＱｐ更新プロセスが、次のように行われることができる。例えば、量子化パラメータ誘導プロセスが、次のパラメータを用いて行われることができる。
－現在ピクチャの左上側ルマサンプルに対する現在符号化ブロックの左上側ルマサンプルの相対座標を示すルマ座標（ｘＣｂ，ｙＣｂ）、
－現在符号化ブロックの幅をルマサンプル単位で表す変数ｃｂＷｉｄｔｈ、
－現在符号化ブロックの高さをルマサンプル単位で表す変数ｃｂＨｅｉｇｈｔ
－現在符号化ツリーノードを分割するためにシングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）又はデュアルツリーが使用されたか否かを表し、デュアルツリーが使用される場合、ルマ成分デュアルツリー（ＤＡＵＬ＿ＴＲＥＥ＿ＬＵＭＡ）なのか或いはクロマ成分デュアルツリー（ＤＡＵＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）なのかを表す変数ｔｒｅｅＴｙｐｅ
本プロセスにおいて、ルマ量子化パラメータＱｐ’Ｙ並びにクロマ量子化パラメータＱｐ’Ｃｂ、Ｑｐ’Ｃｒ及びＱｐ’ＣｂＣｒが誘導されることができる。
変数ルマ位置（ｘＱｇ，ｙＱｇ）は、現在ピクチャの左上側サンプルに対応する現在量子化グループの左上側ルマサンプルの位置を示すことができる。ここで、水平（ｈｏｒｉｚｏｎｔａｌ）位置ｘＱｇ及び垂直（ｖｅｒｔｉｃａｌ）位置ｙＱｇは、それぞれ変数ＣｕＱｇＴｏｐＬｅｆｔＸ及び変数ＣｕＱｇＴｏｐＬｅｆｔＹの値と同一に設定されることができる。ＣｕＱｇＴｏｐＬｅｆｔＸ及びＣｕＱｇＴｏｐＬｅｆｔＹは、図２８のような符号化ツリーシンタックス（Ｃｏｄｉｎｇ ｔｒｅｅ ｓｙｎｔａｘ）において所定の値として定義されることができる。
ここで、現在量子化グループは、符号化ツリーブロック内の四角領域であることができ、同一のｑＰY_PRED値を共有することができる。その幅及び高さは、左上側ルマサンプル位置がＣｕＱｇＴｏｐＬｅｆｔＸ及びＣｕＱｇＴｏｐＬｅｆｔＹにそれぞれ割り当てられる符号化ツリーノードの幅及び高さと同じであり得る。
ｔｒｅｅＴｙｐｅがＳＩＮＧＬＥ＿ＴＲＥＥ又はＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡである場合、ルマ量子化パラメータ予測値ｑＰY_PREDは、次のステップのように誘導できる。
１．変数ｑＰY_PREDは、次のように誘導される。
（条件１）以下の条件のいずれか一つが真である場合、ｑＰY_PREDの値はＳｌｉｃｅＱｐYと同じ値に設定されることができる（ここで、ＳｌｉｃｅＱｐYは、ピクチャ内のすべてのスライスに対する量子化パラメータＱｐYの初期値を示し、これはビットストリームから取得できる）。そうでなければ、ｑＰY_PREDの値は、復号化順序による直前の量子化グループの最終ルマ符号化単位のルマ量子化パラメータＱｐYの値に設定されることができる。
－（条件１－１）現在量子化グループがスライスにおける最初の量子化グループである場合
－（条件１－２）現在量子化グループがタイルにおける最初の量子化グループである場合
－（条件１－３）現在量子化グループがタイルにおけるＣＴＢ行での最初の量子化グループであり、所定の同期化が発生する場合（例えば、ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合）
２．変数ｑＰY_Aの値は、次のように誘導できる。
（条件２）以下の条件の少なくとも一つが真である場合、ｑＰY_Aの値は、ｑＰY_PREDの値に設定されることができる。そうでなければ、ｑＰY_Aの値は、ルマサンプル位置（ｘＱｇ－１，ｙＱｇ）をカバーするルマ符号化ブロックを含む符号化単位のルマ量子化パラメータＱｐYの値に設定されることができる。
－（条件２－１）サンプル位置（ｘＣｂ，ｙＣｂ）で識別されるブロックに対して、サンプル位置（ｘＱｇ－１，ｙＱｇ）で識別されるブロックが利用可能隣接ブロックでない場合、
－（条件２－２）ルマサンプル位置（ｘＱｇ－１，ｙＱｇ）をカバーするルマ符号化ブロックを含むＣＴＢが、ルマサンプル位置（ｘＣｂ，ｙＣｂ）における現在ルマ符号化ブロックを含むＣＴＢと同一でない場合、例えば、以下のすべての条件が真である場合、
－（条件２－２－１）（ｘＱｇ－１）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹの値が（ｘＣｂ）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹと異なる
－（条件２－２－２）（ｙＱｇ）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹの値が（ｙＣｂ）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹと異なる
３．変数ｑＰY_Bの値は、次のように誘導できる。
（条件３）以下の条件の少なくとも一つが真である場合、ｑＰY_Bの値は、ｑＰY_PREDの値に設定されることができる。そうでなければ、ｑＰY_Bの値は、ルマサンプル位置（ｘＱｇ，ｙＱｇ－１）をカバーするルマ符号化ブロックを含む符号化単位のルマ量子化パラメータＱｐYの値に設定されることができる。
－（条件３－１）サンプル位置（ｘＣｂ，ｙＣｂ）で識別されるブロックに対して、サンプル位置（ｘＱｇ，ｙＱｇ－１）で識別されるブロックが利用可能隣接ブロックでない場合、
－（条件３－２）ルマサンプル位置（ｘＱｇ，ｙＱｇ－１）をカバーするルマ符号化ブロックを含むＣＴＢが、ルマサンプル位置（ｘＣｂ，ｙＣｂ）における現在ルマ符号化ブロックを含むＣＴＢと同一でない場合、例えば、以下のすべての条件が真である場合、
－（条件３－２－１）（ｘＱｇ）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹの値が（ｘＣｂ）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹと異なる
－（条件３－２－２）（ｙＱｇ－１）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹの値が（ｙＣｂ）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹと異なる
４．ルマ量子化パラメータ予測値ｑＰY_PREDは、次のように誘導できる。
以下の条件がすべて真である場合、ｑＰY_PREDは、ルマサンプル位置（ｘＱｇ，ｙＱｇ－１）をカバーするルマ符号化ブロックを含む符号化単位のルマ量子化パラメータＱｐYに設定されることができる。
－（条件３－１）サンプル位置（ｘＣｂ，ｙＣｂ）で識別されるブロックに対して、サンプル位置（ｘＱｇ，ｙＱｇ－１）で識別されるブロックが利用可能隣接ブロックである場合
－現在量子化グループがタイル内のＣＴＢ行における最初の量子化グループである場合
一方、上記条件が全て真でない場合、ｑＰY_PREDは、下記数式のように誘導できる。
［数式３］
ｑＰY_PRED＝（ｑＰY_A＋ｑＰY_B＋１）＞＞１
変数ＱｐYは、下記数式に従って誘導できる。
［数式４］
ＱｐY＝（（ｑＰY_PRED＋ＣｕＱｐＤｅｌｔａＶａｌ＋６４＋２＊ＱｐＢｄＯｆｆｓｅｔ）％（６４＋ＱｐＢｄＯｆｆｓｅｔ））－ＱｐＢｄＯｆｆｓｅｔ
ここで、ＣｕＱｐＤｅｌｔａＶａｌは、符号化単位に対するルマ量子化パラメータとその予測値との差分を表す。この値はビットストリームから取得できる。ＱｐＢｄＯｆｆｓｅｔは、ルマ及びクロマ量子化パラメータ範囲オフセットを表す。ＱｐＢｄＯｆｆｓｅｔは、所定の定数に予め設定されるか、或いはビットストリームから取得され得る。例えば、ＱｐＢｄＯｆｆｓｅｔは、ルマ又はクロマサンプルのビットデプスを示すシンタックス要素の値に所定の定数を掛けることにより計算できる。ルマ量子化パラメータＱｐ’Yは、下記数式に従って誘導できる。
［数式５］
Ｑｐ′Y＝ＱｐY＋ＱｐＢｄＯｆｆｓｅｔ
クロマ配列のタイプを表す変数ＣｈｒｏｍａＡｒｒａｙＴｙｐｅの値が第１値（例えば０）ではなく、ｔｒｅｅＴｙｐｅがＳＩＮＧＬＥ＿ＴＲＥＥ又はＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡである場合、以下の処理が行われることができる。
－ｔｒｅｅＴｙｐｅの値がＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡである場合、変数ＱｐYの値は、ルマサンプル位置（ｘＣｂ＋ｃｂＷｉｄｔｈ／２、ｙＣｂ＋ｃｂＨｅｉｇｈｔ／２）をカバーするルマ符号化単位のルマ量子化パラメータＱｐYと同じ値に設定されることができる。
－変数ｑＰCb、ｑＰCr及びｑＰCbCrは、下記数式のように誘導できる。
［数式６］
ｑＰChroma＝Ｃｌｉｐ３（－ＱｐＢｄＯｆｆｓｅｔ，６３，ＱｐY）
ｑＰCb＝ＣｈｒｏｍａＱｐＴａｂｌｅ［０］［ｑＰChroma］
ｑＰCr＝ＣｈｒｏｍａＱｐＴａｂｌｅ［１］［ｑＰChroma］
ｑＰCbCr＝ＣｈｒｏｍａＱｐＴａｂｌｅ［２］［ｑＰChroma］
Ｃｂ及びＣｒ成分のためのクロマ量子化パラメータＱｐ′Cb及びＱｐ′CrとＣｂ－Ｃｒ共同符号化（ｊｏｉｎｔ Ｃｂ－Ｃｒ ｃｏｄｉｎｇ）のためのクロマ量子化パラメータＱｐ′CbCrは、下記数式のように誘導できる。
［数式７］
Ｑｐ′Cb＝Ｃｌｉｐ３（－ＱｐＢｄＯｆｆｓｅｔ，６３，ｑＰCb＋ｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＋ｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＋ＣｕＱｐＯｆｆｓｅｔCb）＋ＱｐＢｄＯｆｆｓｅｔ
Ｑｐ′Cr＝Ｃｌｉｐ３（－ＱｐＢｄＯｆｆｓｅｔ，６３，ｑＰCr＋ｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＋ｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＋ＣｕＱｐＯｆｆｓｅｔCr）＋ＱｐＢｄＯｆｆｓｅｔ
Ｑｐ′CbCr＝Ｃｌｉｐ３（－ＱｐＢｄＯｆｆｓｅｔ，６３，ｑＰCbCr＋ｐｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＋ｓｌｉｃｅ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＋ＣｕＱｐＯｆｆｓｅｔCbCr）＋ＱｐＢｄＯｆｆｓｅｔ
上記数式において、ｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔは、Ｑｐ’Cb及びＱｐ’Crを誘導するために使用されるオフセットであり、ピクチャパラメータセットに対するビットストリームから取得されることができる。ｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ及びｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔは、Ｑｐ’CbとＱｐ’Crを誘導するために使用されるオフセットであり、スライスヘッダーに対するビットストリームから取得されることができる。ＣｕＱｐＯｆｆｓｅｔCb及びＣｕＱｐＯｆｆｓｅｔCrは、Ｑｐ’Cb及びＱｐ’Crを誘導するために使用されるオフセットであり、変換単位に対するビットストリームから取得されることができる。
また、例えば、変換係数に対する逆量子化プロセスが、以下のパラメータを用いて行われることができる。
－現在ピクチャの左上側ルマサンプルに対する現在ルマ変換ブロックの左上側サンプルの相対座標を表すルマ座標（ｘＴｂＹ，ｙＴｂＹ）
－変換ブロックの幅を表す変数ｎＴｂＷ
－変換ブロックの高さを表す変数ｎＴｂＨ
－現在ブロックの色成分を表す変数ｃＩｄｘ
本プロセスの出力は、スケールされた変換係数の配列ｄであり得る。ここで、配列ｄの大きさは（ｎＴｂＷ）×（ｎＴｂＨ）であり得る。これを構成する個別要素は、ｄ［ｘ］［ｙ］で識別されることができる。
このために、量子化パラメータｑＰは、次のように誘導できる。ｃＩｄｘの値が０である場合、ｑＰは下記数式のように誘導できる。
［数式８］
ｑＰ＝Ｑｐ′Y
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、下記数式のように誘導できる。
［数式９］
ｑＰ＝Ｑｐ′CbCr
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰは下記数式のように誘導できる。
［数式１０］
ｑＰ＝Ｑｐ′Cb
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰは下記数式のように誘導できる。
［数式１１］
ｑＰ＝Ｑｐ′Cr
その後、量子化パラメータｑＰを、次のように更新できる。そして、変数ｒｅｃｔＮｏｎＴｓＦｌａｇ及びｂｄＳｈｉｆｔは、次のように誘導できる。例えば、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合（例えば、現在変換ブロックに対して変換がスキップされない場合）、下記数式のように誘導できる。
［数式１２］
ｑＰ＝ｑＰ－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］５：０）
ｒｅｃｔＮｏｎＴｓＦｌａｇ＝０
ｂｄＳｈｉｆｔ＝１０
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合（例えば、現在変換ブロックに対して変換がスキップされる場合）、下記数式のように誘導できる。
［数式１３］
ｑＰ＝Ｍａｘ（ＱｐＰｒｉｍｅＴｓＭｉｎ，ｑＰ）－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？５：０）
ｒｅｃｔＮｏｎＴｓＦｌａｇ＝（（（（Ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＆１）＝＝１
ｂｄＳｈｉｆｔ＝ＢｉｔＤｅｐｔｈ＋（ｒｅｃｔＮｏｎＴｓＦｌａｇ？１：０）＋（（Ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））／２）－＋ｐｉｃ＿ｄｅｐ＿ｑｕａｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ
ここで、ＱｐＰｒｉｍｅＴｓＭｉｎは、変換スキップモードが適用される場合に許容される最小量子化パラメータ値を表すことができる。これは、所定の定数に決定されるか、或いはこれに関するビットストリームのシンタックス要素から誘導されることができる。
ここで、サフィックスＹ、Ｃｂ、Ｃｒは、ＲＧＢ色モデルにおけるＧ、Ｂ、Ｒ色成分を表すか、或いはＹＣｇＣｏ色モデルにおけるＹ、Ｃｇ、Ｃｏ色成分を表すことができる。
ＢＤＰＣＭ（Ｂｌｏｃｋ Ｄｉｆｆｅｒｅｎｃｅ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）の概要
一実施例による画像符号化装置と画像復号化装置は、レジデュアル信号の差分符号化を行うことができる。例えば、画像符号化装置は、現在ブロックのレジデュアル信号に対して予測信号を減算することにより、レジデュアル信号を符号化することができ、画像復号化装置は、現在ブロックのレジデュアル信号に予測信号を加算することにより、レジデュアル信号を復号化することができる。一実施例による画像符号化装置と画像復号化装置は、後述するＢＤＰＣＭを適用することにより、レジデュアル信号の差分符号化を行うことができる。
本開示によるＢＤＰＣＭは、量子化されたレジデュアルドメイン（ｑｕａｎｔｉｚｅｄ ｒｅｄｉｓｕａｌ ｄｏｍａｉｎ）で行われることができる。量子化されたレジデュアルドメインは、量子化されたレジデュアル信号（又は量子化されたレジデュアル係数）を含むことができ、ＢＤＰＣＭを適用する場合、量子化されたレジデュアル信号に対する変換はスキップされることができる。例えば、ＢＤＰＣＭを適用する場合、レジデュアル信号に対して変換がスキップされ、量子化が適用されることができる。或いは、量子化されたレジデュアルドメインは、量子化された変換係数を含むことができる。
ＢＤＰＣＭが適用される一実施例において、画像符号化装置は、イントラ予測モードで予測された現在ブロックのレジデュアルブロックを誘導し、レジデュアルブロックを量子化してレジデュアルブロックを誘導することができる。画像符号化装置は、現在ブロックに対してレジデュアル信号の差分符号化モードが行われる場合、レジデュアルブロックに対して差分符号化を行うことにより、修正されたレジデュアルブロックを誘導することができる。そして、画像符号化装置は、レジデュアル信号の差分符号化モードを示す差分符号化モード情報と、前記修正されたレジデュアルブロックとを符号化してビットストリームを生成することができる。
より具体的には、現在ブロックにＢＤＰＣＭが適用される場合、現在ブロックの予測されたサンプルを含む予測されたブロック（予測ブロック）は、イントラ予測によって生成されることができる。このとき、イントラ予測を行うためのイントラ予測モードは、ビットストリームを介してシグナリングされることもでき、後述するＢＤＰＣＭの予測方向に基づいて誘導されることもできる。また、このとき、イントラ予測モードは、垂直予測方向モード又は水平予測方向モードのうちのいずれか一つに決定されることができる。例えば、ＢＤＰＣＭの予測方向が水平方向である場合、イントラ予測モードは、水平予測方向モードと決定され、現在ブロックの予測ブロックは、水平方向のイントラ予測によって生成されることができる。或いは、ＢＤＰＣＭの予測方向が垂直方向である場合、イントラ予測モードは垂直予測方向モードと決定され、現在ブロックの予測ブロックは垂直方向のイントラ予測によって生成されることができる。水平方向のイントラ予測が適用される場合、現在ブロックの左側に隣接するピクセルの値が現在ブロックの当該行（ｒｏｗ）に含まれたサンプルの予測されたサンプル値と決定されることができる。垂直方向のイントラ予測が適用される場合、現在ブロックの上側に隣接するピクセルの値が、現在ブロックの当該列（ｃｏｌｕｍｎ）に含まれたサンプルの予測サンプル値と決定されることができる。現在ブロックにＢＤＰＣＭが適用される場合、現在ブロックの予測ブロックを生成する方法は、画像符号化装置及び画像復号化装置で同様に行われることができる。
現在ブロックにＢＤＰＣＭが適用される場合、画像符号化装置は、現在ブロックから前記予測ブロックを減算することにより、現在ブロックのレジデュアルサンプルを含むレジデュアルブロックを生成することができる。画像符号化装置は、前記レジデュアルブロックを量子化した後、量子化レジデュアルサンプルと当該量子化レジデュアルサンプルの予測子（ｐｒｅｄｉｃｔｏｒ）との差分値（ｄｉｆｒｅｎｃｅ又はｄｅｌｔａ）を符号化することができる。画像復号化装置は、ビットストリームから復元された差異値と予測子に基づいて現在ブロックの量子化レジデュアルサンプルを取得することにより、現在ブロックの量子化レジデュアルブロックを生成することができる。その後、画像復号化装置は、量子化レジデュアルブロックを逆量子化した後、前記予測ブロックに加算することにより、現在ブロックを復元することができる。
図２９は本開示によってＢＤＰＣＭのレジデュアルサンプルを符号化する方法を説明するための図である。図２９のレジデュアルブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）は、画像符号化装置が現在ブロックから予測ブロックを減算することにより生成できる。図２９の量子化レジデュアルブロック（ｑｕａｎｔｉｚｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）は、画像符号化装置が前記レジデュアルブロックを量子化することにより生成できる。図２９において、ｒi,jは現在ブロック内の（ｉ，ｊ）座標のレジデュアルサンプルの値を示す。現在ブロックのサイズがＭ×Ｎであるとき、ｉ値は０以上Ｍ－１以下であり得る。また、ｊ値は０以上Ｎ－１以下であり得る。例えば、レジデュアルは、原本ブロックと予測ブロックとの差分を示すことができる。例えば、ｒi,jは、現在ブロック内の（ｉ，ｊ）座標の原本サンプルの値から予測サンプルの値を差し引くことにより導出できる。例えば、ｒi,jは、上側又は左側境界サンプルからのフィルタリングされていないサンプルを用いた、左側隣接ピクセルの値を、予測ブロックを横切るラインに沿ってコピーする水平イントラ予測、又は上側隣接ラインを予測ブロックの個別ラインにコピーする垂直イントラ予測を行った後の予測レジデュアルであり得る。
図２９において、Ｑ（ｒi,j）は、現在ブロック内の（ｉ，ｊ）座標の量子化レジデュアルサンプルの値を示す。例えば、Ｑ（ｒi,j）はｒi,jの量子化された値を示すことができる。
ＢＤＰＣＭの予測は、図２９の量子化レジデュアルサンプルに対して行われ、修正された量子化レジデュアルサンプル（ｍｏｄｉｆｉｅｄ ｑｕａｎｔｉｚｅｄ ｒｅｓｉｄｕａｌ ｓａｍｐｌｅｓ）ｒ’を含むＭ×Ｎサイズの修正された量子化レジデュアルブロック（ｍｏｄｉｆｉｅｄ ｑｕａｎｔｉｚｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）Ｒ’が生成されることができる。
ＢＤＰＣＭの予測方向が水平方向であるとき、現在ブロック内の（ｉ，ｊ）座標の修正された量子化レジデュアルサンプルの値（ｒ’i,j）は、下記数式のように計算できる。
前記数式１４のように、ＢＤＰＣＭの予測方向が水平方向であるとき、（０，ｊ）座標のｒ’0,j値は、量子化レジデュアルサンプルの値Ｑ（ｒ0,j）がそのまま割り当てられる。その他の（ｉ，ｊ）座標のｒ’i,j値は、（ｉ，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j）と（ｉ－１，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi-1,j）との差異値として誘導される。つまり、（ｉ，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j）を符号化する代わりに、（ｉ－１，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi-1,j）を予測値として用いて計算された差異値を、修正された量子化レジデュアルサンプル値（ｒ’i,j）として誘導した後、ｒ’i,j値を符号化する。
ＢＤＰＣＭの予測方向が垂直方向であるとき、現在ブロック内の（ｉ，ｊ）座標の修正された量子化レジデュアルサンプルの値（ｒ’i,j）は、下記数式のように計算できる。
前記数式１５のように、ＢＤＰＣＭの予測方向が垂直方向であるとき、（ｉ，０）座標のｒ’i,0値は、量子化レジデュアルサンプルの値Ｑ（ｒi,0）がそのまま割り当てられる。その他の（ｉ，ｊ）座標のｒ’i,j値は、（ｉ，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j）と（ｉ，ｊ－１）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j-1）との差異値として誘導される。つまり、（ｉ，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j）を符号化する代わりに、（ｉ，ｊ－１）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j-1）を予測値として用いて計算された差異値を、修正された量子化レジデュアルサンプル値（ｒ’i,j）として誘導した後、ｒ’i,j値を符号化する。
前述したように、隣接する量子化レジデュアルサンプル値を予測値として用いて、現在量子化レジデュアルサンプル値を修正する過程を、ＢＤＰＣＭ予測と呼ぶことができる。
最後に、画像符号化装置は、修正された量子化レジデュアルサンプルを含む修正された量子化レジデュアルブロックを符号化して画像復号化装置に伝送することができる。このとき、上述したように、修正された量子化レジデュアルブロックに対する変換は行われない。
図３０は、本開示のＢＤＰＣＭを行って生成された、修正された量子化レジデュアルブロックを示す。
図３０において、Ｈｏｒｉｚｏｎｔａｌ ＢＤＰＣＭは、ＢＤＰＣＭの予測方向が水平方向であるとき、前記数式１４に従って生成された、修正された量子化レジデュアルブロックを示す。また、Ｖｅｒｔｉｃａｌ ＢＤＰＣＭは、ＢＤＰＣＭの予測方向が垂直方向であるとき、前記数式１５に従って生成された、修正された量子化レジデュアルブロックを示す。
図３１は、画像符号化装置においてＢＤＰＣＭを適用して現在ブロックを符号化する手順を示すフローチャートである。
まず、符号化対象ブロックである現在ブロックが入力されると（Ｓ３１１０）、現在ブロックに対して予測を行って予測ブロックを生成することができる（Ｓ３１２０）。ステップＳ３１２０の予測ブロックは、イントラ予測ブロックであり、イントラ予測モードは、上述したように決定できる。ステップＳ３１２０で生成された予測ブロックに基づいて現在ブロックのレジデュアルブロックを生成することができる（Ｓ３１３０）。例えば、画像符号化装置は、現在ブロック（原本サンプルの値）から予測ブロック（予測されたサンプルの値）を差し引くことにより、レジデュアルブロック（レジデュアルサンプルの値）を生成することができる。例えば、ステップＳ３１３０の実行によって、図２９のレジデュアルブロックが生成されることができる。ステップＳ３１３０で生成されたレジデュアルブロックに対して量子化を行い（Ｓ３１４０）、量子化レジデュアルブロックが生成され、量子化レジデュアルブロックに対してＢＤＰＣＭ予測が行われることができる（Ｓ３１５０）。ステップＳ３１４０の実行結果として生成された量子化レジデュアルブロックは、図２９の量子化レジデュアルブロックであり、ステップＳ３１５０のＢＤＰＣＭ予測結果、予測方向に応じて図３０の修正された量子化レジデュアルブロックが生成されることができる。ステップＳ３１５０のＢＤＰＣＭ予測は、図２９及び図３０を参照して説明したので、具体的な説明は省略する。その後、画像符号化装置は、修正された量子化レジデュアルブロックを符号化して（Ｓ３１６０）ビットストリームを生成することができる。このとき、修正された量子化レジデュアルブロックに対する変換はスキップされることができる。
図２９乃至図３１を参照して説明された画像符号化装置におけるＢＤＰＣＭ動作は、画像復号化装置で逆に行われることができる。
図３２は、画像復号化装置においてＢＤＰＣＭを適用して現在ブロックを復元する手順を示すフローチャートである。
画像復号化装置は、ビットストリームから現在ブロックの復元に必要な情報（画像情報）を取得することができる（Ｓ３２１０）。現在ブロックの復元に必要な情報は、現在ブロックの予測に関する情報（予測情報）、現在ブロックのレジデュアルに関する情報（レジデュアル情報）などを含むことができる。画像復号化装置は、現在ブロックに対する情報に基づいて現在ブロックに対して予測を行い、予測ブロックを生成することができる（Ｓ３２２０）。現在ブロックに対する予測はイントラ予測であり、具体的な説明は図３１を参照して説明したのと同様である。図３２において、現在ブロックに対する予測ブロックを生成するステップ（Ｓ３２２０）は、現在ブロックのレジデュアルブロックを生成するステップＳ３２３０乃至Ｓ３２５０に先行して行われるものと図示された。しかし、これに限定されず、現在ブロックのレジデュアルブロックが生成された後に現在ブロックの予測ブロックが生成されることもできる。或いは、現在ブロックのレジデュアルブロックと現在ブロックの予測ブロックは同時に生成されることもできる。
画像復号化装置は、ビットストリームから現在ブロックのレジデュアル情報をパーシングすることにより、現在ブロックのレジデュアルブロックを生成することができる（Ｓ３２３０）。ステップＳ３２３０で生成されたレジデュアルブロックは、図３０に示された、修正された量子化レジデュアルブロックであり得る。
画像復号化装置は、図３０の修正された量子化レジデュアルブロックに対してＢＤＰＣＭ予測を行い（Ｓ３２４０）、図２９の量子化レジデュアルブロックを生成することができる。ステップＳ３２４０のＢＤＰＣＭ予測は、図３０の修正された量子化レジデュアルブロックから図２９の量子化レジデュアルブロックを生成する手順であるので、画像符号化装置で行われるステップＳ３１５０の逆過程に対応することができる。例えば、画像復号化装置は、ビットストリームから取得された差分符号化モード情報（例えば、ｂｄｐｃｍ＿ｆｌａｇ）が、ＢＤＰＣＭが適用されることによりレジデュアル係数の差分符号化が行われる差分符号化モードを示せば、レジデュアルブロックに対して差分符号化を行うことにより、修正されたレジデュアルブロックを誘導することができる。画像復号化装置は、修正対象レジデュアル係数と予測レジデュアル係数を用いて、レジデュアルブロック内のレジデュアル係数のうちの少なくとも一つの修正対象レジデュアル係数を修正することができる。前記予測レジデュアル係数は、前記ビットストリームから取得された差分符号化方向情報（例えば、ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇ）が示す予測方向に基づいて決定されることができる。差分符号化方向情報は、垂直方向及び水平方向のうちのいずれか一方向を示すことができる。画像復号化装置は、前記修正対象レジデュアル係数と前記予測レジデュアル係数とを加えた値を、前記修正対象レジデュアル係数の位置に割り当てることができる。ここで、予測レジデュアル係数は、前記予測方向による順序上、前記修正対象レジデュアル係数の直前に隣接する係数であり得る。
以下、画像復号化装置で行われるステップＳ３２４０のＢＤＰＣＭ予測について、より詳細に説明する。復号化装置は、先立って符号化装置が行った計算を逆に行うことにより、量子化レジデュアルサンプルＱ（ｒi,j）を計算することができる。例えば、ＢＤＰＣＭの予測方向が水平方向であるとき、画像復号化装置は、数式１６を用いて、修正された量子化レジデュアルブロックから量子化レジデュアルブロックを生成することができる。
数式１６に規定されているように、（ｉ，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j）は、（０，ｊ）座標から（ｉ，ｊ）座標までの修正された量子化レジデュアルサンプルの値を合算することにより計算できる。
或いは、前記数式１６の代わりに数式１７を用いて（ｉ，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j）を計算することができる。
前記数式１７は、数式１４に対応する逆過程である。前記数式１７によれば、（０，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒ0,j）は、（０，ｊ）座標の修正された量子化レジデュアルサンプルの値ｒ’0,jとして誘導される。その他の（ｉ，ｊ）座標のＱ（ｒi,j）は、（ｉ，ｊ）座標の修正された量子化レジデュアルサンプルの値ｒ’i,jと（ｉ－１，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi-1,j）との和として誘導される。すなわち、（ｉ－１，ｊ）座標の量子化レジデュアルサンプル値Ｑ（ｒi-1,j）を予測値として用いて差異値ｒ’i,jを合算することにより、量子化レジデュアルサンプル値Ｑ（ｒi,j）が誘導されることができる。
ＢＤＰＣＭの予測方向が垂直方向であるとき、画像復号化装置は、数式１８を用いて、修正された量子化レジデュアルブロックから量子化レジデュアルブロックを生成することができる。
数式１８に規定されているように、（ｉ，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j）は、（ｉ，０）座標から（ｉ，ｊ）座標までの修正された量子化レジデュアルサンプルの値を合算することにより計算できる。
或いは、前記数式１８の代わりに数式１９を用いて（ｉ，ｊ）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j）を計算することができる。
前記数式１９は、数式１５に対応する逆過程である。前記数式１９によれば、（ｉ，０）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,0）は、（ｉ，０）座標の修正された量子化レジデュアルサンプルの値ｒ’i,0として誘導される。その他の（ｉ，ｊ）座標のＱ（ｒi,j）は、（ｉ，ｊ）座標の修正された量子化レジデュアルサンプルの値ｒ’i,j、と（ｉ，ｊ－１）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j-1）との和として誘導される。すなわち、（ｉ，ｊ－１）座標の量子化レジデュアルサンプルの値Ｑ（ｒi,j-1）を予測値として用いて差異値ｒ’i,jを合算することにより、量子化レジデュアルサンプル値Ｑ（ｒi,j）が誘導されることができる。
上述した方法によってステップＳ３２４０を行い、量子化レジデュアルサンプルで構成された量子化レジデュアルブロックが生成されると、画像復号化装置は、量子化レジデュアルブロックに対して逆量子化を行うことにより（Ｓ３２５０）、現在ブロックのレジデュアルブロックを生成することができる。ＢＤＰＣＭが適用される場合、前述したように現在ブロックに対する変換はスキップされるので、逆量子化レジデュアルブロックに対する逆変換はスキップされることができる。
その後、画像復号化装置は、ステップＳ３２２０で生成された予測ブロックと、ステップＳ３２５０で生成されたレジデュアルブロックとに基づいて現在ブロックを復元することができる（Ｓ３２６０）。例えば、画像復号化装置は、予測ブロック（予測されたサンプルの値）とレジデュアルブロック（レジデュアルサンプルの値）とを加算することにより、現在ブロック（復元サンプルの値）を復元することができる。例えば、イントラブロック予測値に、逆量子化された量子化サンプルＱ-1（Ｑ（ｒi,j））が加算されることにより、復元されたサンプル値を生成することができる。現在ブロックにＢＤＰＣＭが適用されるか否かを指示する差分符号化モード情報がビットストリームを介してグナリングされることができる。また、現在ブロックにＢＤＰＣＭが適用される場合、ＢＤＰＣＭの予測方向を指示する差分符号化方向情報がビットストリームを介してシグナリングされることができる。現在ブロックにＢＤＰＣＭが適用されない場合、前記差分符号化方向情報はシグナリングされない可能性がある。
図３３乃至図３５はＢＤＰＣＭに関する情報をシグナリングするためのシンタックスを概略的に示す図である。
図３３はＢＤＰＣＭ情報をシグナリングするための一実施例によるシーケンスパラメータセットのシンタックスを示す図である。一実施例において、時間的ＩＤ（ＴｅｍｐｏｒａｌＩｄ）として０を有する少なくとも一つのアクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ、ＡＵ）に含まれるか、或いは外部手段を介して提供された、すべてのＳＰＳ ＲＢＳＰは、復号化過程でそれが参照される以前に使用できるように設定できる。そして、ＳＰＳ ＲＢＳＰを含むＳＰＳ ＮＡＬユニットは、これを参照するＰＰＳ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄと同一のｎｕｈ＿ｌａｙｅｒ＿ｉｄを持つように設定されることができる。ＣＶＳにおいて、特定のｓｐｓ＿ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ値を持つすべてのＳＰＳ ＮＡＬユニットは、同一のコンテンツを持つように設定できる。図３３のｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）シンタックスには、上述したｓｐｓ＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｅｎａｂｌｅ＿ｆｌａｇと、後述するｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇが開示されている。
シンタックス要素ｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、イントラコーディングユニットに対してｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇがＣＵシンタックスで提供されるか否かを示すことができる。例えば、ｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇの第１値（例えば０）は、イントラコーディングユニットに対してｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇがＣＵシンタックスで提供されないことを示すことができる。ｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇの第２値（例えば１）は、イントラコーディングユニットに対して、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇがＣＵシンタックスで提供できることを示すことができる。一方、ｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇが提供されない場合、ｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は第１値（例えば０）に設定されることができる。
図３４はＢＤＰＣＭに対する制限が適用されるか否かをシグナリングするシンタックスの一実施例を示す図である。一実施例において、符号化／復号化過程における所定の制限条件が、ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）シンタックスを用いてシグナリングされることができる。図３４のシンタックスを用いて、上述したｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０に設定されるべきであるかを示すシンタックス要素ｎｏ＿ｂｄｐｃｍ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇがシグナリングされることができる。例えば、ｎｏ＿ｂｄｐｃｍ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇの第１値（例えば０）は、このような制限が適用されないことを示すことができる。ｎｏ＿ｂｄｐｃｍ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇの値が第２値（例えば１）である場合、ｓｐｓ＿ｂｄｐｃｍ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値は第１値（例えば０）に強制できる。
図３５は符号化ユニットに対してＢＤＰＣＭに関する情報をシグナリングするｃｏｄｉｎｇ ｕｎｉｔ（）シンタックスの一実施例を示す図である。図３５に示すように、ｃｏｄｉｎｇ＿ｕｎｉｔ（）シンタックスを用いて、シンタックス要素ｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇとｉｎｔｒａ＿ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇがシグナリングされることができる。シンタックス要素はｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇは、（ｘ０，ｙ０）に位置する現在ルマ符号化ブロックにＢＤＰＣＭが適用されるか否かを示すことができる。
例えば、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇの第１値（例えば０）は、現在ルマ符号化ブロックにＢＤＰＣＭが適用されないことを示すことができる。ｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇの第２値（例えば１）は、現在ルマ符号化ブロックにＢＤＰＣＭが適用されることを示すことができる。ｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇは、ＢＤＰＣＭが適用されることを示すことにより、変換がスキップされるかと共に、イントラルマ予測モードが後述のｉｎｔｒａ＿ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇによって行われるか否かを示すことができる。
一方、上述した変数ＢｄｐｃｍＦｌａｇ［ｘ］［ｙ］の値は、ｘ＝ｘ０．．ｘ０＋ｃｂＷｉｄｔｈ－１及びｙ＝ｙ０．．ｙ０＋ｃｂＨｅｉｇｈｔ－１に対して、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｆｌａｇの値に設定されることができる。
シンタックス要素ｉｎｔｒａ＿ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇは、ＢＤＰＣＭの予測方向を示すことができる。例えば、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇの第１値（例えば０）は、ＢＤＰＣＭ予測方向が水平方向であることを示すことができる。ｉｎｔｒａ＿ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇの第２値（例えば１）は、ＢＤＰＣＭ予測方向が垂直方向であることを示すことができる。
一方、変数ＢｄｐｃｍＤｉｒ［ｘ］［ｙ］の値は、ｘ＝ｘ０．．ｘ０＋ｃｂＷｉｄｔｈ－１及びｙ＝ｙ０．．ｙ０＋ｃｂＨｅｉｇｈｔ－１に対して、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｄｉｒ＿ｆｌａｇの値に設定されることができる。
クロマブロックに対するイントラ予測
現在ブロックにイントラ予測が行われる場合、現在ブロックのルマ成分ブロック（ルマブロック）に対する予測、及びクロマ成分ロック（クロマブロック）に対する予測が行われることができ、この場合、クロマブロックに対するイントラ予測モードは、ルマブロックに対するイントラ予測モードとは別個に設定されることができる。
例えば、クロマブロックに対するイントラ予測モードは、イントラクロマ予測モード情報に基づいて指示されることができ、前記イントラクロマ予測モード情報は、ｉｎｔｒａ＿ｃｈｒｏｍａ＿ｐｒｅｄ＿ｍｏｄｅシンタックス要素の形態でシグナリングされることができる。一例として、前記イントラクロマ予測モード情報は、Ｐｌａｎａｒモード、ＤＣモード、垂直（ｖｅｒｔｉｃａｌ）モード、水平（ｈｏｒｉｚｏｎｔａｌ）モード、ＤＭ（Ｄｅｒｉｖｅｄ Ｍｏｄｅ）、ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードのうちのいずれか一つを指すことができる。ここで、Ｐｌａｎａｒモードは０番イントラ予測モード、前記ＤＣモードは１番イントラ予測モード、前記垂直モードは２６番イントラ予測モード、前記水平モードは１０番イントラ予測モードをそれぞれ示すことができる。ＤＭはｄｉｒｅｃｔ ｍｏｄｅとも呼ばれることができる。ＣＣＬＭはＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）とも呼ばれることができる。ＣＣＬＭはＬ＿ＣＣＬＭ、Ｔ＿ＣＣＬＭ、ＬＴ＿ＣＣＬＭのうちのいずれか一つを含むことができる。
一方、ＤＭとＣＣＬＭは、ルマブロックの情報を用いてクロマブロックを予測する従属的なイントラ予測モードである。前記ＤＭは、前記ルマ成分に対するイントラ予測モードと同一のイントラ予測モードが前記クロマ成分に対するイントラ予測モードとして適用されるモードを示すことができる。また、前記ＣＣＬＭは、クロマブロックに対する予測ブロックを生成する過程でルマブロックの復元されたサンプルをサブサンプリングした後、サブサンプリングされたサンプルにＣＣＬＭパラメータα及びβを適用して導出されたサンプルを前記クロマブロックの予測サンプルとして使用するイントラ予測モードを示すことができる。
ＣＣＬＭ（Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードの概要
前述したように、クロマブロックにはＣＣＬＭモードを適用できる。ＣＣＬＭモードは、ルマブロックと、前記ルマブロックに対応するクロマブロックとの相関性（ｃｏｒｒｅｌａｔｉｏｎ）を用いたイントラ予測モードであり、ルマブロックの周辺サンプル及びクロマブロックの周辺サンプルに基づいて線形モデルを導出して行われる。そして、導出された線形モデル及び前記ルマブロックの復元サンプルに基づいて、前記クロマブロックの予測サンプルが導出されることができる。
具体的には、現在クロマブロックにＣＣＬＭモードが適用される場合、現在クロマブロックのイントラ予測に使用される周辺サンプル及び現在ルマブロックのイントラ予測に使用される周辺サンプルに基づいて線形モデルに対するパラメータが導出されることができる。例えば、ＣＣＬＭのための線形モデルは、下記数式に基づいて表すことができる。
ここで、ｐｒｅｄc（ｉ，ｊ）は、現在ＣＵ内の前記現在クロマブロックの（ｉ，ｊ）座標の予測サンプルを示すことができる。ｒｅｃL’（ｉ，ｊ）は、前記ＣＵ内の前記現在ルマブロックの（ｉ，ｊ）座標の復元サンプルを示すことができる。例えば、前記ｒｅｃL’（ｉ，ｊ）は、前記現在ルマブロックのダウンサンプリング（ｄｏｗｎ－ｓａｎｍｐｌｅｄ）された復元サンプルを示すができる。線形モデル係数α及びβは、シグナリングされることもできるが、周辺サンプルから誘導されることもできる。
レジデュアルの共同符号化（ジョイントＣｂＣｒ）
一実施例による符号化／復号化過程で、クロマレジデュアルは共に符号化／復号化されることができる。これをレジデュアルの共同符号化と呼ぶことができ、ジョイントＣｂＣｒ（Ｊｏｉｎｔ ＣｂＣｒ）と呼ぶこともできる。ＣｂＣｒの共同符号化モードの適用（活性化）如何は、変換単位レベルでシグナリングされる共同符号化モードシグナリングフラグであるｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇによってシグナリングされることができる。そして、選択された符号化モードは、クロマＣＢＦによって誘導されることができる。フラグｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇは、変換単位に対する少なくとも一つのクロマＣＢＦの値が１である場合に存在することができる。正規クロマレジデュアル符号化モードに対してシグナリングされる通常のクロマＱＰオフセット値とＣｂＣｒ共同符号化モードのためのクロマＱＰオフセット値との差分を示すためのクロマＱＰオフセット値が、ＰＰＳ又はスライスヘッダーを介してシグナリングされることができる。このようなＱＰオフセット値は、共同クロマレジデュアル符号化モードを用いるブロックに対するクロマＱＰ値を誘導するために使用できる。
対応する共同クロマ符号化モードで、下記表におけるモード２が変換単位に対して活性化されている場合、当該変換単位の量子化及び復号化を行う途中でそのクロマＱＰオフセットが対象ルマ誘導クロマＱＰ（ａｐｐｌｉｅｄ ｌｕｍａ－ｄｅｒｉｖｅｄ ｃｈｒｏｍａ ＱＰ）に加えられることができる。
下記表におけるモード１及び３のような他のモードに対して、クロマＱＰは、通常のＣｂ又はＣｒブロックに対して取得される方式で誘導されることができる。このような変換ブロックからのクロマレジデュアル（ｒｅｓＣｂ及びｒｅｓＣｒ）の復元プロセスは、下記表によって選択できる。このモードが活性化される場合、一つの単独共同クロマレジデュアルブロック（下記表におけるｒｅｓＪｏｉｎｔＣ［ｘ］［ｙ］）がシグナリングされ、ＣｂのためのレジデュアルブロックｒｅｓＣｂ及びＣｒのためのレジデュアルブロックｒｅｓＣｒがｔｕ＿ｃｂｆ＿ｃｂ、ｔｕ＿ｃｂｆ＿ｃｒ、及びスライスヘッダーに記載された符号値であるＣＳｉｇｎのような情報を考慮して誘導されることができる。
符号化装置において、共同クロマ成分は次のように誘導できる。共同符号化モードに応じて、ｒｅｓＪｏｉｎｔＣ｛１，２｝を次の順序に従って生成できる。モードが２である場合（ｓｉｎｇｌｅ ｒｅｓｉｄｕａｌ ｗｉｔｈ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｃｂ＝Ｃ、Ｃｒ＝ＣＳｉｇｎ＊Ｃ）、共同レジデュアルは下記数式に従って決定できる。
［数式２１］
ｒｅｓＪｏｉｎｔＣ［ｘ］［ｙ］＝（ｒｅｓＣｂ［ｘ］［ｙ］＋ＣＳｉｇｎ＊ｒｅｓＣｒ［ｘ］［ｙ］）／２。
そうではなく、モードが１である場合（ｓｉｎｇｌｅ ｒｅｓｉｄｕａｌ ｗｉｔｈ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｃｂ＝Ｃ、Ｃｒ＝（ＣＳｉｇｎ＊Ｃ）／２）、共同レジデュアルは、下記数式に従って決定できる。
［数式２２］
ｒｅｓＪｏｉｎｔＣ［ｘ］［ｙ］＝（４＊ｒｅｓＣｂ［ｘ］［ｙ］＋２＊ＣＳｉｇｎ＊ｒｅｓＣｒ［ｘ］［ｙ］）／５。
そうではなく、モードが３である場合（ｓｉｎｇｌｅ ｒｅｓｉｄｕａｌ ｗｉｔｈ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｃｒ＝Ｃ、Ｃｂ＝（ＣＳｉｇｎ＊Ｃ）／２）、共同レジデュアルは、下記数式に従って決定できる。
［数式２３］
ｒｅｓＪｏｉｎｔＣ［ｘ］［ｙ］＝（４＊ｒｅｓＣｒ［ｘ］［ｙ］＋２＊ＣＳｉｇｎ＊ｒｅｓＣｂ［ｘ］［ｙ］）／５。
上記表は、クロマレジデュアルの復元を示す。ＣＳｉｇｎは、スライスヘッダーで指定された符号値＋１又は－１を示す。ｒｅｓＪｏｉｎｔＣ［］［］は、伝送されたレジデュアルを示す。上記表におけるモードは、後述するＴｕＣＲｅｓＭｏｄｅを示す。上記表における３つの共同クロマ符号化モードは、Ｉスライスに対してのみ支援できる。Ｐ及びＢスライスに対して、モード２のみ支援できる。したがって、Ｐ及びＢスライスに対して、シンタックス要素ｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇは、２つのクロマｃｂｆ（例えば、ｔｕ＿ｃｂｆ＿ｃｂ及びｔｕ＿ｃｂｆ＿ｃｒ）の値がいずれも１である場合にのみ提供できる。一方、ｔｕ＿ｃｂｆ＿ｌｕｍａ及びｔｕ＿ｃｂｆ＿ｃｂのコンテキストモデリングにおいて変換デプスが除去できる。
実施例１：ＡＣＴ Ｑｐ＿ｏｆｆｓｅｔを用いたＱＰ更新方案
前述したように、ＡＣＴを適用するためのＱＰの更新が行われることができる。前述したＱＰの更新は、様々な問題点を持っている。例えば、前述した方式を使用する場合、個別色成分ごとに異なるＡＣＴ Ｑｐオフセットを設定することができない。さらに、誘導されたｑＰ値は負の値を有することもできる。これにより、以下の実施例では、色成分値のＡＣＴ ＱＰオフセットの値に基づいて誘導されたＱｐ値にクリッピングを適用する方法を説明する。
一実施例において、量子化パラメータｑＰは、次のように誘導できる。
まず、ｃＩｄｘの値が０である場合、ｑＰ及びＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式２４］
ｑＰ＝Ｑｐ’Ｙ
ＡｃｔＱｐＯｆｆｓｅｔ＝５
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式２５］
ｑＰ＝Ｑｐ’CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝５
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式２６］
ｑＰ＝Ｑｐ’Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝３
量子化パラメータｑＰは、次のように更新できる。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、ｑＰは下記数式のように誘導できる。
［数式２７］
ｑＰ＝Ｍａｘ（０，ｑＰ－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］ＡｃｔＱｐＯｆｆｓｅｔ：０））
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは下記数式のように誘導できる。
［数式２８］
ｑＰ＝Ｍａｘ（０，Ｍａｘ（ＱｐＰｒｉｍｅＴｓＭｉｎ，ｑＰ）－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
他の実施例において、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは下記数式のように０の代わりにＱｐＰｒｉｍｅＴｓＭｉｎの値を用いてクリッピングされることができる。
［数式２９］
ｑＰ＝Ｍａｘ（ＱｐＰｒｉｍｅＴｓＭｉｎ，ｑＰ－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０）
一方、他の一実施例において、量子化パラメータｑＰは、次のように誘導できる。
まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式３０］
ｑＰ＝Ｑｐ’Y
ＡｃｔＱｐＯｆｆｓｅｔ＝５
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式３１］
ｑＰ＝Ｑｐ’CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝５
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式３２］
ｑＰ＝Ｑｐ’Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝５
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式３３］
ｑＰ＝Ｑｐ’Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝３
量子化パラメータｑＰは、次のように更新できる。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、ｑＰは下記数式のように誘導できる。
［数式３４］
ｑＰ＝Ｍａｘ（０，ｑＰ－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］ＡｃｔＱｐＯｆｆｓｅｔ：０））
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは下記数式のように誘導できる。
［数式３５］
ｑＰ＝Ｍａｘ（０，Ｍａｘ（ＱｐＰｒｉｍｅＴｓＭｉｎ，ｑＰ）－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
他の実施例において、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは、下記数式のように、０の代わりにＱｐＰｒｉｍｅＴｓＭｉｎの値を用いてクリッピングできる。
［数式３６］
ｑＰ＝Ｍａｘ（ＱｐＰｒｉｍｅＴｓＭｉｎ，ｑＰ－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
一方、別の一実施例において、量子化パラメータｑＰは、次のように誘導できる。
まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式３７］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝－５
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式３８］
ｑＰ＝Ｑｐ′CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝－５
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式３９］
ｑＰ＝Ｑｐ′Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝－５
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式４０］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝－３
量子化パラメータｑＰは、次のように更新できる。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、ｑＰは下記数式のように誘導できる。
［数式４１］
ｑＰ＝Ｍａｘ（０，ｑＰ＋（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは下記数式のように誘導できる。
［数式４２］
ｑＰ＝Ｍａｘ（０，Ｍａｘ（ＱｐＰｒｉｍｅＴｓＭｉｎ，ｑＰ）＋（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
一方、他の実施例において、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは、下記数式のように、０の代わりにＱｐＰｒｉｍｅＴｓＭｉｎの値を用いてクリッピングできる。
［数式４３］
ｑＰ＝Ｍａｘ（ＱｐＰｒｉｍｅＴｓＭｉｎ，ｑＰ＋（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
前述した説明において、Ｙ、Ｃｂ、Ｃｒは３つの色成分を示すことができる。例えば、ＡＣＴ変換において、ＹはＣ０に対応することができる。ＣｂはＣ１又はＣｇに対応することができる。そして、ＣｒはＣ２又はＣｏに対応することができる。
また、前記３つの色成分に対するＡＣＴＱｐＯｆｆｓｅｔの値－５、－５、－３は、他の値又は他の変数で置き換えられてもよい。
実施例２：ＡＣＴに対するＱＰオフセット調整分のシグナリング
前述した実施例において、ＡＣＴ ＱＰオフセット調整は、Ｙ、Ｃｇ、Ｃｏ成分に対して－５、－５及び－３に固定されている。本実施例において、ＡＣＴ ＱＰ調整オフセットにさらに多くの柔軟性を提供するために、ＡＣＴ ＱＰオフセットをシグナリングする方法について説明する。ＡＣＴ ＱＰオフセットは、ＰＰＳ内のパラメータとしてシグナリングされることができる。
一実施例において、ｑｐ＿ｏｆｆｓｅｔは、図３６のシンタックステーブルに従ってシグナリングできる。これに対するシンタックス要素は、次の通りである。
シンタックス要素ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＡＣＴ ＱＰオフセットに関するシンタックス要素がＰＰＳ内に存在するか否かを示すことができる。例えば、ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、後述するシンタックス要素ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ及びｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔがＰＰＳとしてシグナリングされるか否かを示すことができる。
例えば、ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第１値（例えば０）は、ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ及びｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔがＰＰＳシンタックステーブルを介してシグナリングされないことを示すことができる。
ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第２値（例えば１）は、ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ及びｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔがＰＰＳシンタックステーブルを介してシグナリングされることを示すことができる。
ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがビットストリームから提供されない場合、ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは第１値（例えば０）に誘導されることができる。例えば、ＡＣＴが適用できることを示すフラグ（例えば、ＳＰＳでシグナリングされるｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が、ＡＣＴが適用されないことを示す第１値（例えば０）を有する場合、ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは第１値（例えば０）を有するように強制できる。
シンタックス要素ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５及びｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ３は、シンタックス要素ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が現在符号化単位に対してＡＣＴが適用されることを示す第２値（例えば１）である場合、ルマ、Ｃｂ、Ｃｒ成分のそれぞれに対する量子化パラメータ値ｑＰに適用されるオフセットを決定するために使用できる。ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５及びｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ３の値がビットストリームに存在しない場合、各値は０に設定できる。
前記シンタックス要素によって、変数ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹの値はｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５－５と決定されることができる。変数ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂの値は、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ５－５と決定されることができる。そして、変数ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒの値は、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓ３－３と決定されることができる。
ここで、ＡＣＴが直交変換（ｏｒｔｈｏｎｏｒｍａｌ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）ではないため、上記減算される定数オフセット値として５、５及び３が適用できる。一実施例において、ビットストリーム整合性のために、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、及びＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒの値は、－１２から１２までの値を有することができる。そして、実施例によって、Ｑｐオフセット値は、５、５、３以外の他の定数値で置き換えられて使用できる。
他の一実施例において、より柔軟なＡＣＴ＿ＱＰオフセットを用いてＱＰが調整できる。以下の実施例では、ＡＣＴ ＱＰオフセットがビットストリームを介してシグナリングされる例を説明する。これにより、ＡＣＴ ＱＰオフセットはより広いオフセット範囲を持つことができる。よって、ＡＣＴ ＱＰオフセットを用いて更新されたＱＰは、利用可能範囲から外れる可能性がさらに高いため、更新されたＱＰに対して上限及び下限に対するクリッピングを行う必要がある（より詳細な実施例は、後述する実施例６及び７に開示されている。）。
ＡＣＴ ＱＰオフセットを示す変数ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ、及びＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒは、ビットストリームを介してシグナリングされるＡＣＴ ＱＰオフセットを用いて誘導される値、或いは予め設定された定数であり得る。ビットストリーム適合性のために、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ、及びＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒは、－１２から＋１２までの値を有することができる。
固定された値を使用せずにＱＰオフセットの値がシグナリングされる場合、そしてその値が－１２から１２までの値を有する場合、負の値を持つＱＰを回避するために誘導されたＱＰの値の下限値をクリッピングすることに加えて、誘導されたＱＰ値の上限値をクリッピングする必要もある。
ｑＰの値が負の値を持たないようにするために、ｑＰの最小値は０に強制されることができる。或いは、ｑＰの最小値は、シグナリングされるシンタックス要素によって定められる値に設定できる。例えば、変換スキップモードが適用される場合にｑＰの最小値をシグナリングするために、変換スキップモードが適用される場合に適用されるｑＰの値を示すシンタックス要素ＱｐＰｒｉｍｅＴｓＭｉｎが使用できる。ｑＰの最大値は、ｑＰの利用可能最大値（例えば６３）又はシグナリングされるシンタックス要素によって決定される最大利用可能ｑＰ値に制限できる。
上記による一実施例において、量子化パラメータｑＰは、次のように誘導できる。まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式４４］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式４５］
ｑＰ＝Ｑｐ′CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒ
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式４６］
ｑＰ＝Ｑｐ′Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式４７］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ
一実施例において、量子化パラメータｑＰは次のように更新できる。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、ｑＰは下記数式のように誘導できる。
［数式４８］
ｑＰ＝Ｃｌｉｐ３（０，６３，ｑＰ－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは下記数式のように誘導できる。
［数式４９］
ｑＰ＝Ｃｌｉｐ３（０，６３，Ｍａｘ（ＱｐＰｒｉｍｅＴｓＭｉｎ，ｑＰ）－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０）
他の実施例において、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰの最小値は、下記数式のように、０の代わりにＱｐＰｒｉｍｅＴｓＭｉｎの値を用いてクリッピングできる。
［数式５０］
量子化パラメータｑＰは、次のように更新できる。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、ｑＰは下記数式のように誘導できる。
ｑＰ＝Ｃｌｉｐ３（０，６３，ｑＰ－（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは下記数式のように誘導できる。
ｑＰ＝Ｃｌｉｐ３（ＱｐＰｒｉｍｅＴｓＭｉｎ，６３，ｑＰ－ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０）
他の一実施例において、量子化パラメータｑＰは次のように更新できる。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、ｑＰは下記数式のように誘導できる。
［数式５１］
ｑＰ＝Ｃｌｉｐ３（０，６３＋ＱｐＢｄＯｆｆｓｅｔ，ｑＰ＋（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは下記数式のように誘導できる。
［数式５２］
ｑＰ＝Ｃｌｉｐ３（０，６３＋ＱｐＢｄＯｆｆｓｅｔ，Ｍａｘ（ＱｐＰｒｉｍｅＴｓＭｉｎ，ｑＰ）＋（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０）
他の実施例において、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰの最小値は、下記数式のように、０の代わりにＱｐＰｒｉｍｅＴｓＭｉｎの値を用いてクリッピングできる。
［数式５３］
量子化パラメータｑＰは、次のように更新できる。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、ｑＰは下記数式のように誘導できる。
ｑＰ＝Ｃｌｉｐ３（０，６３＋ＱｐＢｄＯｆｆｓｅｔ，ｑＰ＋（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは下記数式のように誘導できる。
ｑＰ＝Ｃｌｉｐ３（ＱｐＰｒｉｍｅＴｓＭｉｎ，６３＋ＱｐＢｄＯｆｆｓｅｔ，ｑＰ＋ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０）
実施例３：クロマＢＤＰＣＭが行われる場合にＡＣＴを許容する方案
一実施例において、ＢＤＰＣＭがルマ成分ブロックに対して適用される場合、ＡＣＴは、当該ブロックを符号化／復号化するために適用できる。しかし、ＢＤＰＣＭがクロマ成分ブロックに対して適用される場合、ＡＣＴは、当該ブロックを符号化／復号化するために適用されないように制限できる。
一方、クロマ成分ブロックに対してＢＤＰＣＭが適用される場合でも、当該ブロックにＡＣＴを適用することにより、符号化性能を向上させることができる。図３７は、クロマ成分ブロックに対してＢＤＰＣＭを適用する場合にもＡＣＴを適用するためのシンタックス構成の一実施例を示す。図３７に示すように、現在符号化単位にＡＣＴが適用されるか否かを示すｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値に応じて、クロマ成分に対するＢＤＰＣＭシンタックス要素を取得する条件を除去することにより、クロマ成分ブロックにＡＣＴが適用されるかに関係なく、それに対するＢＤＰＣＭシンタックス要素を取得することができ、これによりＢＤＣＰＭ符号化を行うことができる。
実施例４：ＣＣＬＭで符号化／復号化される場合にもＡＣＴを適用する方案
ＣＣＬＭとＡＣＴはいずれも、成分間の不要な重複を除去することを目的とする。ＣＣＬＭとＡＣＴの間に一部重複適用される部分があるが、これをすべて適用した後にも、成分間の重複は完全には除去されない。よって、ＣＣＬＭとＡＣＴを一緒に適用することにより、成分間の重複をもっと除去することができる。
以下の実施例は、ＣＣＬＭとＡＣＴを一緒に適用する実施例について説明する。復号化装置は、復号化を行う際にＣＣＬＭを先に適用し、次にＡＣＴを適用することができる。クロマ成分に対するＢＤＰＣＭとＣＣＬＭの両方にＡＣＴを適用する場合、これをシグナリングするためのシンタックステーブルは、図３８のように修正できる。これにより、図３８のシンタックステーブルに示すように、ｉｎｔｒａ＿ｂｄｐｃｍ＿ｃｈｒｏｍａ及びｃｃｌｍに関連するシンタックス要素をシグナリングするための制限のうち、ＡＣＴが適用されていないかどうかに応じてシンタックス要素をシグナリングするためのｉｆ（！ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）がシンタックステーブルから除去できる。
実施例５：ジョイントＣｂＣｒを含む柔軟なＡＣＴ Ｑｐの適用方案
ＡＣＴモードが適用される場合、予測レジデュアルは、一つの色空間から（例えば、ＧＢＲ又はＹＣｂＣｒ）ＹＣｇＣｏ色空間に変換できる。そして、変換単位のレジデュアルは、ＹＣｇＣｏ色空間で符号化できる。色空間変換のために使用されるＡＣＴコア変換（変換カーネル）の一実施例として、前述した下記変換カーネルが使用できる。
上記の数式に記載されているように、Ｃ０’、Ｃ１’及びＣ２’（ここで、Ｃ０’＝Ｙ、Ｃ１’＝Ｃｇ、Ｃ２’＝Ｃｏ）変換は正規化されない。例えば、Ｌ２ノルム（Ｌ２ｎｏｒｍ）は１の値を有しない。例えば、個別成分に対する変換のＬ２ノルムは、Ｃ０’とＣ１’に対して約０．６の値を有し、Ｃ２’に対して約０．７の値を有する。ここで、Ｌ２ノルムは、各係数の二乗を全て加算した値の平方根として得られる値である。例えば、Ｃ０’＝２／４＊Ｃ０＋１／４＊Ｃ１＋１／４＊Ｃ２と計算できる。したがって、Ｃ０’のノルムは、（２／４＊２／４＋１／４＊１／４＋１／４＊１／４）の平方根として計算できる。よって、これは６／１６の平方根として計算でき、約０．６の値を有するものと計算できる。
正規化された変換が適用されない場合、個別成分の動的範囲は不規則になる。そして、これは通常のビデオ圧縮システムにおける符号化性能の低下をもたらす。
レジデュアル信号の動的範囲を補償するために、個別変換成分に対する動的範囲変化を補償するためのＱＰオフセット値を伝送することにより、ＱＰ調整が行われ得る。例えば、このような実施例は、ＡＣＴ変換のための一般的なＱＰ調整制御方法だけでなく、ジョイントＣｂＣｒに対しても適用できる。
個別色成分が独立して符号化されるのではなく、一緒に符号化されるので、先立ってジョイントＣｂＣｒに対する実施例３で説明されたような方法は、個別色成分間の動的範囲変化をもたらす。
一実施例による符号化及び復号化方法において、ＡＣＴ ＱＰオフセット調整は－５に固定でき、これはＹ、Ｃｇ、Ｃｏに対して同様に適用できる。
一実施例において、個別成分とジョイントＣｂＣｒに対する柔軟なＱｐ制御を提供するために、Ｙ、Ｃｂ、Ｃｒ及び／又はジョイントＣｂＣｒに対する互いに異なるＡＣＴ Ｑｐオフセットを使用することが許容できる。ＡＣＴ Ｑｐオフセット値は、成分インデックス及び／又はジョイントＣｂＣｒであるか、及び／又はジョイントＣｂＣｒモードであるかに基づいて決定できる。
ＡＣＴ Ｑｐオフセットを表記するために、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒを使用することができる。そして、Ｃｂ成分及びＣｒ成分の両方が０以外の値を持つＣＢＦを有するジョイントＣｂＣｒモード２のＡＣＴ ＱＰオフセットのために、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒが使用できる。これらの値（例えば、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒ）は、予め所定の値に決定されているか、或いはビットストリームを介してシグナリングされることができる。ジョイントＣｂＣｒモードのＡＣＴ ＱＰオフセットは、他の方式又は他の値に設定されてもよい。
一実施例において、Ｙ、Ｃｂ、Ｃｒに対してＡＣＴ Ｑｐオフセットは－５、－５、－３が使用でき、ジョイントＣｂＣｒのために－４が使用できる。
他の一実施例において、Ｙ、Ｃｂ、Ｃｒに対してＡＣＴ Ｑｐオフセットは－５、－４、－３が使用でき、ｔｕ＿ｃｂｆ＿ｃｂの値が０ではないジョイントＣｂＣｒモードのために－３が使用できる。
別の一実施例において、ジョイントＣｂＣｒモード２のＡＣＴ ＱＰオフセットは、それに対する自己オフセット値を有することができる。他のジョイントＣｂＣｒモードの場合、ＡＣＴ ＱＰオフセットは当該成分のオフセットを使用することができる。例えば、下記のように量子化パラメータｑＰが決定できる。まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式５６］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＹ
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式５７］
ｑＰ＝Ｑｐ′CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒ
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式５８］
ｑＰ＝Ｑｐ′Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式５９］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ
一実施例において、量子化パラメータｑＰは次のように更新できる。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、ｑＰは下記数式のように誘導できる。
［数式６０］
ｑＰ＝Ｃｌｉｐ３（０，６３＋ＱｐＢｄＯｆｆｓｅｔ，ｑＰ＋（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは下記数式のように誘導できる。
［数式６１］
ｑＰ＝Ｃｌｉｐ３（ＱｐＰｒｉｍｅＴｓＭｉｎ，６３＋ＱｐＢｄＯｆｆｓｅｔ，ｑＰ＋ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０）
他の一実施例において、ｔｕ＿ｃｂｆ＿ｃｂ！＝０のジョイントＣｂＣｒモードに対して（例えば、モード１及び２に該当する場合）、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂを用いてジョイントＣｂＣｒのためのオフセットを決定することができる。或いは、ｔｕ＿ｃｂｆ＿ｃｂ＝＝０のジョイントＣｂＣｒモードに対して（例えば、モード３に該当する場合）、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒを用いてジョイントＣｂＣｒのためのオフセットを決定することができる。例えば、前述した実施例は、次のように修正されて適用できる。
量子化パラメータｑＰは、次のように更新できる。まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式６２］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＹ
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰは下記数式のように誘導できる。
［数式６３］
ｑＰ＝Ｑｐ′CbCr
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式６４］
ｑＰ＝Ｑｐ′Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式６５］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ
ジョイントＣｂＣｒモードに対するＡＣＴ Ｑｐオフセットは、ｃＩｄｘの値が０ではなく、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が０でなければ、下記の擬似コードに従って決定できる。
［数式６６］
ｉｆ（ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］ ｉｓ ｅｕｑａｌ ｔｏ １ ｏｒ ２）
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ；
ｅｌｓｅ
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ；
一実施例において、量子化パラメータｑＰは次のように更新できる。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、ｑＰは下記数式のように誘導できる。
［数式６７］
ｑＰ＝Ｃｌｉｐ３（０，６３＋ＱｐＢｄＯｆｆｓｅｔ，ｑＰ＋（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは下記数式のように誘導できる。
［数式６８］
ｑＰ＝Ｃｌｉｐ３（ＱｐＰｒｉｍｅＴｓＭｉｎ，６３＋ＱｐＢｄＯｆｆｓｅｔ，ｑＰ＋ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０）
他の一実施例において、ジョイントＣｂＣｒモードに関係なく、成分インデックスがＹである場合には、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＹを使用し、成分インデックスがＣｂである場合には、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂを使用し、成分インデックスがＣｒである場合には、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒを用いてｑＰが誘導できる。例えば、量子化パラメータｑＰは、次のように誘導できる。
まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式６９］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＹ
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式７０］
ｑＰ＝Ｑｐ′CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝（ｃＩｄｘ＝＝１）？ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ：ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式７１］
ｑＰ＝Ｑｐ′Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式７２］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ
量子化パラメータｑＰは、次のように更新できる。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、ｑＰは下記数式のように誘導できる。
［数式７３］
ｑＰ＝Ｃｌｉｐ３（０，６３＋ＱｐＢｄＯｆｆｓｅｔ，ｑＰ＋（ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：０））
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合、ｑＰは、下記数式のように誘導できる。
［数式７４］
ｑＰ＝Ｃｌｉｐ３（ＱｐＰｒｉｍｅＴｓＭｉｎ，６３＋ＱｐＢｄＯｆｆｓｅｔ，ｑＰ＋ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］？ＡｃｔＱｐＯｆｆｓｅｔ：
実施例６：ジョイントＣｂＣｒを含むＡＣＴ Ｑｐオフセットをシグナリングする方案
以下、より柔軟性を提供するためにＡＣＴ ＱＰオフセットがビットストリームを介してシグナリングされる例を説明する。ＡＣＴ ＱＰオフセットは、ＳＰＳ、ＰＰＳ、ピクチャヘッダー、スライスヘッダー、又はその他の類型にヘッダーセットを介してシグナリングされることができる。ジョイントＣｂＣｒのＡＣＴ Ｑｐオフセットは、別途シグナリングされてもよく、Ｙ、Ｃｂ、Ｃｒに対するＡＣＴ ＱＰオフセットから誘導されてもよい。
一般性を失わずに（Ｗｉｔｈｏｕｔ ｌｏｓｓ ｏｆ ｇｅｎｅｒａｌｉｔｙ）、ＰＰＳでＡＣＴ Ｑｐオフセットをシグナリングするシンタックステーブルの例示が図３９に示されている。図３９の実施例のように、ジョイントＣｂＣｒのために一つのＡＣＴ Ｑｐオフセットがシグナリングされることができる。図３９のシンタックステーブルに表記されたシンタックス要素について説明する。
シンタックス要素ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＡＣＴ ＱＰオフセットに関するシンタックス要素がＰＰＳ内に存在するか否かを示すことができる。例えば、ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、後述するシンタックス要素ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ１、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ２、ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ３、及びｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ４がＰＰＳとしてシグナリングされるか否かを示すことができる。
例えば、ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第１値（例えば０）は、ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ１、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ２、ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ３、及びｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ４がＰＰＳシンタックステーブルを介してシグナリングされないことを示すことができる。
ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第２値（例えば１）は、ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ１、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ２、ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ３、及びｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ４がＰＰＳシンタックステーブルを介してシグナリングされることを示すことができる。
ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがビットストリームから提供されない場合、ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、第１値（例えば０）に誘導されることができる。例えば、ＡＣＴが適用できることを示すフラグ（例えば、ＳＰＳでシグナリングされるｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が、ＡＣＴが適用されないことを示す第１値（例えば０）を有する場合、ｐｐｓ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは第１値（例えば０）を有するように強制できる。
シンタックス要素ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ１、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ２、ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ３、及びｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ４は、シンタックス要素ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が、現在符号化単位に対してＡＣＴが適用されることを示す第２値（例えば１）である場合、ルマ、Ｃｂ、Ｃｒ成分及びジョイントＣｂＣｒ成分のそれぞれに対する量子化パラメータ値ｑＰに適用されるオフセットを決定するために使用できる。ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ１、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ２、ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ３、及びｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ４の値がビットストリームに存在しない場合、各値は０に設定できる。
前記シンタックス要素に応じて、下記数式のように変数ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ、及びＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒの値が決定できる。
［数式７５］
ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ＝ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ１－Ｘ１
ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ＝ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ２－Ｘ２
ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ＝ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ３－Ｘ３
ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒ＝ｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ４－Ｘ４
ここで、Ｘ１、Ｘ２、Ｘ３、及びＸ４は、所定の定数値を表すことができる。これは、互いに同じ値でも異なる値でもよく、一部のみが互いに同じ値を有してもよい。
一実施例において、ビットストリーム整合性のために、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ及びＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒの値は、－１２から１２までの値を有するように制限できる。
前記変数の決定に応じて、量子化パラメータｑＰは、以下のように決定できる。まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式７６］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式７７］
ｑＰ＝Ｑｐ′CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒ
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式７８］
ｑＰ＝Ｑｐ′Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式７９］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ
ＡＣＴ Ｑｐオフセットをシグナリングする他の一実施例において、ｍｏｄｅＡ及びｍｏｄｅＢとして識別される互いに異なるジョイントＣｂＣｒモードのために複数のＡＣＴ ＱＰオフセットがシグナリングされることができる。
ジョイントＣｂＣｒモードＡは、前述した表２のモード１及びモード２のような、０以外の値を持つｔｕ＿ｃｂｆ＿ｃｂを有するジョイントＣｂＣｒモードを示すことができる。そして、ジョイントＣｂＣｒモードＢは、前述した表２のモード３のような、０の値を持つｔｕ＿ｃｂｆ＿ｃｂを有するジョイントＣｂＣｒモードを示すことができる。これにより、変更されたシンタックステーブルが図４０に示されている。図４０のシンタックステーブルに表記されたシンタックス要素について説明する。
シンタックス要素ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ１、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ２、ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ３、ｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｏｄｅＡ＿ｐｌｕｓＸ４、及びｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｏｄｅＢ＿ｐｌｕｓＸ５は、シンタックス要素ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が、現在符号化単位に対してＡＣＴが適用されることを示す第２値（例えば１）である場合、ルマ、Ｃｂ、Ｃｒ成分及びジョイントＣｂＣｒ成分のそれぞれに対する量子化パラメータ値ｑＰに適用されるオフセットを決定するために使用できる。ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ１、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ２、ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ３、ｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｏｄｅＡ＿ｐｌｕｓＸ４及びｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ５の値がビットストリームに存在しない場合、各値は０に設定できる。
前記シンタックス要素に応じて、下記数式のように変数ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＡ及びＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＢの値が決定できる。
［数式８０］
ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ＝ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ１－Ｘ１
ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ＝ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ２－Ｘ２
ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ＝ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｐｌｕｓＸ３－Ｘ３
ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＡ＝ｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｏｄｅＡ＿ｐｌｕｓＸ４－Ｘ４
ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＢ＝ｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｍｏｄｅＢ＿ｐｌｕｓＸ５－Ｘ５
ここで、Ｘ１、Ｘ２、Ｘ３、Ｘ４及びＸ５は、所定の定数値を表すことができる。これは、互いに同じ値でも異なる値でもよく、一部のみが互いに同じ値を有してもよい。一実施例において、ビットストリーム整合性のために、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＡ及びＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＢの値は、－１２から１２までの値を持つように制限できる。
前記変数の決定に応じて、量子化パラメータｑＰは、以下のように決定できる。まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式８１］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰは下記数式のように誘導できる。
［数式８２］
ｑＰ＝Ｑｐ′CbCr
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式８３］
ｑＰ＝Ｑｐ′Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式８４］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ
そして、ｃＩｄｘの値が０ではなく、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が０でない場合、ＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式８５］
ＡｃｔＱｐＯｆｆｓｅｔ＝（ｔｕ＿ｃｂｆ＿ｃｂ［ｘＴｂＹ］［ｙＴｂＹ］）？ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＡ：ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＢ
一方、他の実施例において、ＡｃｔＱｐＯｆｆｓｅｔは、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、下記数式のように誘導されてもよい。
［数式８６］
ＡｃｔＱｐＯｆｆｓｅｔ＝（ｔｕ＿ｃｂｆ＿ｃｂ［ｘＴｂＹ］［ｙＴｂＹ］）？（ＰＰｓＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＡ＋ｓｌｉｃｅ＿ａｃｔ＿ＣｂＣｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ＭｏｄｅＡ）：（ＰＰｓＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＢ＋ｓｌｉｃｅ＿ａｃｔ＿ＣｂＣｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ＭｏｄｅＢ）
ＡＣＴ Ｑｐオフセットをシグナリングする他の一実施例において、Ｙ、Ｃｂ、ＣｒのためのＡＣＴ ＱＰオフセットのみが、図４１のシンタックステーブルのようにシグナリングされることができる。ジョイントＣｂＣｒのためのＡＣＴ ＱＰオフセットは、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ及び／又はＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒから誘導できる。
一実施例において、ＣｂＣｒのためのＡＣＴ Ｑｐオフセットは、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂの値に設定されることができる。他の実施例において、ＣｂＣｒのためのＡＣＴ Ｑｐオフセットは、ｔｕ＿ｃｂｆ＿ｃｂの値が０でないジョイントＣｂＣｒモードの場合には、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂと同じ値に設定でき、ｔｕ＿ｃｂｆ＿ｃｂの値が０であるジョイントＣｂＣｒモードの場合には、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒと同じ値に設定できる。或いは、その逆に設定されることも可能である。
図４１はＰＰＳでＡＣＴ Ｑｐオフセットをシグナリングするシンタックステーブルの別の実施例を示す図である。図４１のシンタックス要素の決定に応じて、量子化パラメータｑＰは次のように決定できる。まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式８７］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式８８］
ｑＰ＝Ｑｐ′CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝（ｃＩｄｘ＝＝１）？ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ：ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ
一方、他の実施例において、ＡｃｔＱｐＯｆｆｓｅｔの値は、以下のように決定されることもできる。
［数式８９］
ＡｃｔＱｐＯｆｆｓｅｔ＝（ｔｕ＿ｃｂｆ＿ｃｂ［ｘＴｂＹ］［ｙＴｂＹ］）？ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ：ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式９０］
ｑＰ＝Ｑｐ′Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式９１］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ
実施例７：多重レベルにおけるＡＣＴ Ｑｐオフセットのシグナリング
一実施例において、ＡＣＴ ＱＰオフセットは、複数のレベルでシグナリングされることができる。前の実施例６のように、ＰＰＳのような一つのレベルでＡＣＴ ＱＰオフセットをシグナリングすることに加えて、ＡＣＴ ＱＰオフセットは、より下位レベルでも（例えば、スライスヘッダー、ピクチャヘッダー又はＱｐコントロールを行うのに適切な他の類型のヘッダー）シグナリングされることができる。
以下、２つの実施例を説明する。図４２及び図４３は、スライスヘッダーとピクチャヘッダーを介してＡＣＴ ＱＰオフセットがシグナリングされる例を示す。このような方式で、多数のレベルでＡＣＴ ＱＰオフセットをシグナリングされることができる。
以下、図４２及び図４３に示されているシンタックス要素について説明する。シンタックス要素ｐｐｓ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、後述するシンタックス要素ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔがスライスヘッダーに存在するか否かを示すことができる。
例えば、ｐｐｓ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第１値（例えば０）は、ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔがスライスヘッダーに存在しないことを示すことができる。
例えば、ｐｐｓ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第２値（例えば１）は、ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔがスライスヘッダーに存在することを示すことができる。
シンタックス要素ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔは、ルマ、Ｃｂ、Ｃｒ成分、及びジョイントＣｂＣｒ成分のそれぞれに対する量子化パラメータ値ｑＰに対するオフセットを示すことができる。ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔの値は、－１２から１２までの値を持つように制限できる。ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔの値がビットストリームに存在しない場合、各値は０に設定できる。ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ＋ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ＋ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ＋ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ及びＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒ＋ｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔの値も、－１２から１２までの値を持つように制限できる。
ＰＰＳレベルでジョイントＣｂＣｒのためのＡＣＴ ＱＰオフセットをシグナリングする様々な変更実施例が適用できる。例えば、ジョイントＣｂＣｒに対して一つのＱＰオフセットをシグナリングするか、互いに異なるモードのジョイントＣｂＣｒに対して複数のＡＣＴ Ｑｐオフセットをシグナリングするか、或いはジョイントＣｂＣｒに対するＡＣＴ Ｑｐオフセットをシグナリングせずに、Ｙ、Ｃｂ、Ｃｒに対するＡＣＴＱｐＯｆｆｓｅｔ及び／又はジョイントＣｂＣｒのモードを用いてこれを誘導する方案が、スライスヘッダーを介してシグナリングするときに適用できる。
２つの変更実施例が図４４及び図４５に示されている。図４４は、スライスヘッダー内でのＡＣＴ Ｑｐオフセットをシグナリングする一実施例を示す。図４５は、スライスヘッダーにおいてＡＣＴ Ｑｐオフセットをシグナリングする他の一実施例を示す。図４５において、Ｙ、Ｃｂ、Ｃｒに対するＡＣＴ Ｑｐオフセットのみがシグナリングされることができ、ジョイントＣｂＣｒに対するスライスレベルのＡＣＴ ＱＰオフセットは、ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、及び／又はｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔから誘導できる。これは、ジョイントＣｂＣｒのモードタイプに基づいて決定できる。一実施例において、ＣｂＣｒのためのスライスレベルＡＣＴ Ｑｐオフセットは、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔと同じ値に設定されることができる。他の実施例において、０以外の値を持つｔｕ＿ｃｂｆ＿ｃｂを有するジョイントＣｂＣｒモードの場合、ジョイントＣｂＣｒのためのスライスレベルのＡＣＴ Ｑｐオフセットは、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔと同じ値に設定されることができる。そして、０値を持つｔｕ＿ｃｂｆ＿ｃｂを有するジョイントＣｂＣｒモードの場合、ジョイントＣｂＣｒのためのスライスレベルのＡＣＴ Ｑｐオフセットは、ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔと同じ値に設定されることができる。
一方、他の実施例において、シンタックス要素はスライスヘッダー又はピクチャヘッダーでシグナリングされることができる。これを実現するために、以下のように符号化／復号化が行われることができる。
－ＡＣＴ Ｑｐオフセットがピクチャヘッダーに存在するのか、或いはスライスヘッダーに存在するのかを示すフラグｐｐｓ＿ｐｉｃｔｕｒｅ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをＰＰＳでシグナリングすることができる。
－ＡＣＴが適用可能であり、ｐｐｓ＿ｐｉｃｔｕｒｅ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第２値（例えば１）である場合、ＡＣＴ Ｑｐオフセットがピクチャヘッダーに存在するか否かを示すフラグｐｉｃ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをピクチャヘッダーでシグナリングすることができる。ここで、ｐｉｃ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第２値（例えば１）は、当該ピクチャヘッダーに対応するピクチャのすべてのスライスに対するＡＣＴ Ｑｐオフセットは、ピクチャヘッダーで提供されることを示すことができる。
－ｐｉｃ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第１値（例えば０）は、当該ピクチャヘッダーに対応するピクチャのすべてのスライスに対するＡＣＴ Ｑｐオフセットがピクチャヘッダーで提供されないことを示すことができる。例えば、ＡＣＴが適用可能であり、ｐｐｓ＿ｐｉｃｔｕｒｅ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第２値（例えば１）であり、ｐｉｃ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第１値（例えば０）である場合、スライスのためのＡＣＴ Ｑｐオフセットはスライスヘッダーで提供できる。
図４６は、ｐｐｓ＿ｐｉｃ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがシグナリングされるＰＰＳのシンタックステーブルを示す図である。シンタックス要素ｐｐｓ＿ｐｉｃ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＡＣＴ Ｑｐオフセットがピクチャヘッダー及び／又はスライスヘッダーで提供されるか否かを示すことができる。例えば、ｐｐｓ＿ｐｉｃ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第１値（例えば０）は、ＡＣＴ Ｑｐオフセットがピクチャヘッダー及びスライスヘッダーで提供されないことを示すことができる。ｐｐｓ＿ｐｉｃ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第２値（例えば１）は、ＡＣＴ Ｑｐオフセットがピクチャヘッダー又はスライスヘッダーで提供できることを示すことができる。ｐｐｓ＿ｐｉｃ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがビットストリームで提供されない場合、ｐｐｓ＿ｐｉｃ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は第１値（例えば０）と決定されることができる。
図４７はＡＣＴ Ｑｐオフセットをシグナリングするためのピクチャヘッダーのシンタックステーブルを示す図である。シンタックス要素ｐｉｃ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＡＣＴ Ｑｐオフセットがピクチャヘッダーで提供されるか否かを示すことができる。ｐｉｃ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第１値（例えば０）は、ＡＣＴ Ｑｐオフセットがピクチャヘッダーで提供されず、スライスヘッダーで提供できることを示すことができる。ｐｉｃ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第２値（例えば１）は、ＡＣＴ Ｑｐオフセットがピクチャヘッダーで提供されることを示すことができる。ｐｉｃ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値がビットストリームで提供されない場合、その値は０と決定されることができる。
図４８はＡＣＴ Ｑｐオフセットをシグナリングするためのスライスヘッダーのシンタックステーブルを示す図である。図４８のシンタックステーブルにおいて、シンタックス要素ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔは、ルマ、Ｃｂ及びＣｒ成分に対する量子化パラメータ値ｑＰに対するオフセットを示すことができる。ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔの値は、－１２から１２までの値を持つことができる。さらに、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＹ＋ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ＋ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、及びＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ＋ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔは、－１２から１２までの値の範囲を持つように制限できる。
一方、ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔの値がビットストリームで提供されない場合、ｐｐｓ＿ｐｉｃ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第１値（例えば０）であれば、ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔの値は０と決定できる。そうではなく、ｐｐｓ＿ｐｉｃ＿ｓｌｉｃｅ＿ａｃｔ＿ｑｐ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第２値（例えば１）であれば、ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、及びｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔの値は、それぞれｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、及びｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔと同じ値に決定できる。
一方、ＡＣＴ Ｑｐオフセットがスライスヘッダー又はピクチャヘッダーの両方に存在する場合、ｑＰ値を誘導するために使用される最終オフセット値は、ＰＰＳでシグナリングされるオフセットの値と、スライスヘッダー又はピクチャヘッダーでシグナリングされるオフセットの値とを加算した値に決定できる。
より詳細には、一実施例において、量子化パラメータｑＰは以下のように決定できる。まず、ｃＩｄｘの値が０である場合、ｑＰ及びＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式９２］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰＰｓＱｐＯｆｆｓｅｔＹ＋ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式９３］
ｑＰ＝Ｑｐ′CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰＰｓＱｐＯｆｆｓｅｔＣｂＣｒ＋ｓｌｉｃｅ＿ａｃｔ＿ＣｂＣｒ＿ｑｐ＿ｏｆｆｓｅｔ
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式９４］
ｑＰ＝Ｑｐ′Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ＋ｓｌｉｃｅ＿ａｃｔ＿Ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式９５］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ＋ｓｌｉｃｅ＿ａｃｔ＿Ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ
他の一実施例において、ジョイントＣｂＣｒに対する多数のＡＣＴ Ｑｐオフセットがシグナリングされる場合、ジョイントＣｂＣｒに対するＡｃｔＱｐＯｆｆｓｅｔは、以下のように決定できる。
まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式９６］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰＰｓＱｐＯｆｆｓｅｔＹ＋ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰは下記数式のように誘導できる。
［数式９７］
ｑＰ＝Ｑｐ′CbCr
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式９８］
ｑＰ＝Ｑｐ′Cb
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ＋ｓｌｉｃｅ＿ａｃｔ＿Ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式９９］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝ＰｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ＋ｓｌｉｃｅ＿ａｃｔ＿Ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ
そして、ｃＩｄｘの値が０ではなく、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が０ではない場合、ＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式１００］
ＡｃｔＱｐＯｆｆｓｅｔ＝（ｔｕ＿ｃｂｆ＿ｃｂ［ｘＴｂＹ］［ｙＴｂＹ］）？（ＰＰｓＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＡ＋ｓｌｉｃｅ＿ａｃｔ＿ＣｂＣｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ＭｏｄｅＡ）：（ＰＰｓＱｐＯｆｆｓｅｔＣｂＣｒＭｏｄｅＢ＋ｓｌｉｃｅ＿ａｃｔ＿ＣｂＣｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ＭｏｄｅＢ）
別の一実施例において、ジョイントＣｂＣｒに対するＡＣＴ Ｑｐオフセットが提供されない場合、Ｙ、Ｃｂ及び／又はＣｒ成分に対するｑＰとＡｃｔＱｐＯｆｆｓｅｔが決定され、ジョイントＣｂＣｒに対するＡｃｔＱｐＯｆｆｓｅｔは、次のようにＹ、Ｃｂ及び／又はＣｒ成分のＡＣＴ Ｑｐオフセットを用いて決定され得る。例えば、前述した実施例において、数式９７に関連するＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰの計算ステップは、次のように変更されて実施できる。
「そうでない場合、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式１０１］
ｑＰ＝Ｑｐ′CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝（ｃＩｄｘ＝＝１］）？（ＰＰｓＱｐＯｆｆｓｅｔＣｂ＋ｓｌｉｃｅ＿ａｃｔ＿Ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ）：（ＰＰｓＱｐＯｆｆｓｅｔＣｒ＋ｓｌｉｃｅ＿ａｃｔ＿Ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ）」
一方、他の実施例において、ＡｃｔＱｐＯｆｆｓｅｔの値は下記数式のように決定できる。
［数式１０２］
ＡｃｔＱｐＯｆｆｓｅｔ＝（ｔｕ＿ｃｂｆ＿ｃｂ［ｘＴｂＹ］［ｙＴｂＹ］）？（ＰＰｓＱｐＯｆｆｓｅｔＣｂ＋ｓｌｉｃｅ＿ａｃｔ＿Ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ）：（ＰＰｓＱｐＯｆｆｓｅｔＣｒ＋ｓｌｉｃｅ＿ａｃｔ＿Ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ）
実施例８：多数のＡＣＴ Ｑｐオフセットのセットをシグナリングする方案
本実施例では、ＡＣＴ Ｑｐオフセットのリストを用いる方案について説明する。このために、以下の処理が行われ得る。
ａ）パラメータセット（例えば、ＳＰＳ又はＰＰＳ）内で、リストの形態で多数のＡＣＴ Ｑｐオフセットのセットがシグナリングできる。リスト内のそれぞれのセットは、Ｙ、Ｃｂ、Ｃｒ、及びジョイントＣｂＣｒ成分に対するＡＣＴ Ｑｐオフセットを含むことができる。単純化のために、ＡＣＴ Ｑｐオフセットのリストは、クロマＱｐオフセットのリストをシグナリングするパラメータセットと同じパラメータセットでシグナリングされることができる。
ｂ）リスト内のＡＣＴ Ｑｐオフセットのセットの数は、ＰＰＳでシグナリングされるクロマＱｐオフセットのセットの数と同じであり得る。
ｃ）それぞれの符号化単位に対するｑＰを誘導するために使用されるＡＣＴ Ｑｐオフセットとして、符号化単位に対するクロマＱｐオフセットに対するインデックス（例えば、ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｉｄｘ）を有するリスト内に属するＡＣＴ Ｑｐオフセットが使用できる。
ｄ）前記ｂ）及びｃ）の代替実施例として、以下が行われることができる。
－リスト内のＡＣＴ Ｑｐオフセットのセットの数がシグナリングされることができる。リスト内のＡＣＴ Ｑｐオフセットのセットの数は、クロマＱｐオフセットのセットの数と異なり得る。
－ＡＣＴが適用できる場合、符号化単位に対して使用されるＡＣＴ Ｑｐオフセットのインデックスを示すインデックスがシグナリングできる。
上記のコンセプトから外れない、ＡＣＴ Ｑｐオフセットのリストをシグナリングするシンタックスが図４９のように使用できる。例えば、ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔが、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、ルマ、Ｃｂ及びＣｒ成分とジョイントＣｂＣｒのための量子化パラメータ値ｑＰに適用されるためのオフセットを決定するために使用できる。
ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ、ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ、ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ、及びｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔの値が存在しない場合、各値は０に誘導できる。
ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が第２値（例えば１）であり、ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｆｌａｇの値が第２値（例えば１）であるとき、ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｉ］、ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｉ］、ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｉ］、及びａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｉ］がルマ、Ｃｂ及びＣｒ成分とジョイントＣｂＣｒ成分のそれぞれに対して量子化パラメータ値ｑＰに適用されるオフセットを決定するために使用できる。ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｉ］、ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｉ］、ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｉ］、及びａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｉ］の値が存在しない場合、各値は０に誘導できる。
本実施例において、量子化パラメータｑＰは以下のように決定できる。まず、ｃＩｄｘの値が０である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式１０３］
ｑＰ＝Ｑｐ′Y
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＋（ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｆｌａｇ）？ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｉｄｘ］：０＋ｓｌｉｃｅ＿ａｃｔ＿ｙ＿ｑｐ＿ｏｆｆｓｅｔ
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式１０４］
ｑＰ＝Ｑｐ′CbCr
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＋（ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｆｌａｇ）？ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｉｄｘ］：０＋ｓｌｉｃｅ＿ａｃｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰとＡＣＴ Ｑｐオフセットは、下記数式のように誘導できる。
［数式１０５］
ｑＰ＝Ｑｐ′Cb
［ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＋（ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｆｌａｇ）？ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｉｄｘ］：０＋ｓｌｉｃｅ＿ａｃｔ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰとＡＣＴ Ｑｐオフセットは下記数式のように誘導できる。
［数式１０６］
ｑＰ＝Ｑｐ′Cr
ＡｃｔＱｐＯｆｆｓｅｔ＝ｐｐｓ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＋（ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｆｌａｇ）？ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＿ｌｉｓｔ［ｃｕ＿ｃｈｒｏｍａ＿ｑｐ＿ｏｆｆｓｅｔ＿ｉｄｘ］：０＋ｓｌｉｃｅ＿ａｃｔ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ
実施例９：無損失符号化と損失符号化の両方に適用するためのＡＣＴ色空間変換方案
前述した順方向変換及び逆方向変換のための行列ベース色空間間の変換は、次のようにまとめられる。
上記の変換は、ＣｏとＣｇの処理において一部の値の損失が発生するため、元の状態への復元が不可能である。例えば、ＲＧＢ色空間のサンプル値をＹＣｇＣｏ色空間に変換してから再びＲＧＢ色空間に逆変換する場合、原サンプルの値が完全には復元されなくなる。よって、前記表３による変換は、無損失符号化のために使用できない。無損失符号化が適用される場合にも、色空間変換後にサンプル値の損失が発生しないように色空間変換アルゴリズムを改善する必要がある。実施例９及び１０は、無損失符号化だけでなく、損失符号化においても適用可能な色空間変換アルゴリズムを開示する。
以下の実施例で、損失符号化だけでなく、無損失符号化にも適用できる元の状態に復元可能な（ｒｅｖｅｒｓｉｂｌｅ）色空間変換を用いてＡＣＴを行う方案について説明する。このように復元可能な色空間変換は、前述した符号化及び復号化方法に適用できる。ＡＣＴ Ｑｐオフセットも、以下の色空間変換のために調整できる。一実施例による色空間変換は、下記数式のように実行できる。例えば、ＧＢＲ色空間からＹＣｇＣｏ色空間への順方向変換は、下記数式によって行われ得る。
［数式１０７］
Ｃｏ＝Ｒ－Ｂ；
ｔ＝Ｂ＋（Ｃｏ＞＞１）；
Ｃｇ＝Ｇ－ｔ；
Ｙ＝ｔ＋（Ｃｇ＞＞１）；
また、ＹＣｇＣｏ色空間からＧＢＲ色空間への逆方向変換は、下記数式によって行われ得る。
［数式１０８］
ｔ＝Ｙ－（Ｃｇ＞＞１）
Ｇ＝Ｃｇ＋ｔ
Ｂ＝ｔ－（Ｃｏ＞＞１）
Ｒ＝Ｃｏ＋Ｂ
上記の数式によるＹＣｇＣｏ色空間とＲＧＢ色空間間の変換は、元の状態に復元可能である。すなわち、上記の数式による色空間変換は完全な復元を支援し、例えば、順方向変換後に逆方向変換を行っても、サンプル値は同一に維持される。これにより、前記数式による色空間変換は、復元可能なＹＣｇＣｏ－Ｒ色変換と呼ぶことができる。ここで、Ｒは、元の状態に復元可能であることを意味するｒｅｖｅｒｓｉｂｌｅの略語であり得る。ＹＣｇＣｏ－Ｒ変換は、Ｃｇ及びＣｏのビットデプスを既存の変換よりも１増加させることにより備えられ得る。このような条件を備える場合、他の形態の復元可能な変換も上記の変換のように使用できる。
上記数式のような変換は、前述した変換とは異なるノルム（ｎｏｒｍ）値を有するので、Ｙ、Ｃｇ、Ｃｏに対するＡＣＴ Ｑｐオフセットは、色空間変換による動的範囲変化を補償するために調整できる。
前述した変換が適用される場合、一実施例による ＡＣＴ Ｑｐオフセットは、Ｙ、Ｃｇ、Ｃｏに対して（－５、－５、－５）の値を有することができることが説明されたことがある。しかし、本実施例における復元可能な変換が適用される場合、一実施例による ＡＣＴ Ｑｐオフセットとして、（－５、－５、－５）以外の値が指定できる。例えば、一実施例による ＡＣＴ Ｑｐオフセットとして、Ｙ、Ｃｇ、Ｃｏに対して（－５、１、３）の値が使用できる。
他の実施例において、ＡＣＴ ＱＰオフセットは、前述の実施例６又は７のようにビットストリームを介してシグナリングされることができる。
例えば、前述したＹＣｇＣｏ－Ｒ変換がＡＣＴ ＱＰオフセット（－５、１、３）と一緒に使用される場合、下記図のように、損失符号化環境（例えば、ＱＰ ２２、２７、３２、３７）に対して符号化損失が存在しないことが観測された。さらに、ＡＣＴを適用する場合、無損失符号化を実現するにあたり、５％の符号化性能をさらに得ることができることが観測された。
統合されたＡＣＴマトリクスを含むためのＶＶＣ仕様は、下記表のように記載できる。
例えば、（ｎＴｂＷ）×（ｎＴｂＨ）サイズのレジデュアルサンプル配列ｒY、ｒCb及びｒCrは、次のように更新できる。
［数式１０９］
ｔｍｐ＝ｒY［ｘ］［ｙ］－（ｒCb［ｘ］［ｙ］＞＞１）
ｒY［ｘ］［ｙ］＝ｔｍｐ＋ｒCb［ｘ］［ｙ］
ｒCb［ｘ］［ｙ］＝ｔｍｐ－（ｒCr［ｘ］［ｙ］＞＞１）
ｒCr［ｘ］［ｙ］＝ｒCb［ｘ］［ｙ］＋ｒCr［ｘ］［ｙ］
実施例１０：明示的なシグナリングに基づく多数の色変換を行うＡＣＴ実行方案
本実施例において、少なくとも一つの色変換がＡＣＴによって行われ得る。どの色変換が行われるかが、ビットストリームを介してシグナリングされるフラグによって決定できる。このようなフラグは、ＳＰＳ、ＰＰＳ、ピクチャヘッダー及びスライスなどの多数のレベル又は識別可能な構成部分（ｇｒａｎｕｌａｒｉｅｓ）でシグナリングできる。
一実施例において、どのＡＣＴが適用されるかを示すために、所定のフラグがシグナリングできる。例えば、当該フラグの値が１であれば、復元可能な色変換に基づくＡＣＴが適用できる。当該フラグの値が０であれば、復元不可能な色変換に基づくＡＣＴが適用できる。
他の実施例において、ＡＣＴに対する所定のフラグが、どの色変換が使用されるかを示すためにシグナリングできる。ＳＰＳでシグナリングされるシンタックスの例示が図５０に記載されている。図５０のシンタックス要素について説明する。シンタックス要素ｓｐｓ＿ａｃｔ＿ｒｅｖｅｒｓｉｂｌｅ＿ｃｏｎｖｅｒｓｉｏｎは、元の状態に復元されない変換数式を用いるか否かを示すことができる。ｓｐｓ＿ａｃｔ＿ｒｅｖｅｒｓｉｂｌｅ＿ｃｏｎｖｅｒｓｉｏｎの第１値（例えば０）は、ＡＣＴが元の状態に復元されない変換数式を用いることを示すことができる。ｓｐｓ＿ａｃｔ＿ｒｅｖｅｒｓｉｂｌｅ＿ｃｏｎｖｅｒｓｉｏｎの第２値（例えば１）は、ＡＣＴが元の状態に復元可能な変換数式を使用することを示すことができる。
これにより、損失符号化が行われるか否かを示す変数ｌｏｓｓｙＣｏｄｉｎｇは、下記数式のように設定できる。
［数式１１０］
ｌｏｓｓｙＣｏｄｉｎｇ＝（！ｓｐｓ＿ａｃｔ＿ｒｅｖｅｒｓｉｂｌｅ＿ｃｏｎｖｅｒｓｉｏｎ）
ｌｏｓｓｙＣｏｄｉｎｇフラグを用いて、復号化過程で復号化装置がＹＣｇＣｏからＧＢＲへの逆方向変換を行うための擬似コードは、以下のように表現できる。
［数式１１１］
Ｉｆ（ｓｐｓ＿ａｃｔ＿ｒｅｖｅｒｓｉｂｌｅ＿ｃｏｎｖｅｒｓｉｏｎ＝＝１）
｛
／／ＹＣｇＣｏ－Ｒ ｒｅｖｅｒｓｉｂｌｅ ｃｏｎｖｅｒｓｉｏｎ
ｔ＝Ｙ－（Ｃｇ＞＞１）
Ｇ＝Ｃｇ＋ｔ
Ｂ＝ｔ－（Ｃｏ＞＞１）
Ｒ＝Ｃｏ＋Ｂ
｝
ｅｌｓｅ｛
ｔ＝Ｙ－Ｃｇ
Ｇ＝Ｙ＋Ｃｇ
Ｂ＝ｔ－Ｃｏ
Ｒ＝ｔ＋Ｃｏ
｝
これにより、実施例９の表５に示されているＶＶＣ仕様は、下記表のように修正できる。
上記の表によって、色空間変換を用いるレジデュアル更新プロセスは、本プロセスに対する入力として次のパラメータを用いることができる。
－ブロックの幅を表す変数ｎＴｂＷ
－ブロックの高さを表す変数ｎＴｂＨ
－要素ｒY［ｘ］［ｙ］で構成された、ルマレジデュアルサンプルに対する（ｎＴｂＷ）×（ｎＴｂＨ）サイズの配列ｒY、
－要素ｒCb［ｘ］［ｙ］で構成された、クロマレジデュアルサンプルに対する（ｎＴｂＷ）×（ｎＴｂＨ）サイズの配列ｒCb、
－要素ｒCr［ｘ］［ｙ］で構成された、クロマレジデュアルサンプルに対する（ｎＴｂＷ）×（ｎＴｂＨ）サイズの配列ｒCr、
本プロセスに対する出力は、次のとおりである。
－ルマレジデュアルサンプルに対する（ｎＴｂＷ）×（ｎＴｂＨ）サイズの更新された配列ｒY、
－クロマレジデュアルサンプルに対する（ｎＴｂＷ）×（ｎＴｂＨ）サイズの更新された配列ｒCb、
－クロマレジデュアルサンプルに対する（ｎＴｂＷ）×（ｎＴｂＨ）サイズの更新された配列ｒCr、
本プロセスの実行によって、（ｎＴｂＷ）×（ｎＴｂＨ）サイズのレジデュアルサンプル配列ｒY、ｒCb及びｒCrは、次のように更新できる。
まず、ｓｐｓ＿ａｃｔ＿ｒｅｖｅｒｓｉｂｌｅ＿ｃｏｎｖｅｒｓｉｏｎの値が第２値（例えば１）である場合、（ｎＴｂＷ）×（ｎＴｂＨ）サイズのレジデュアルサンプル配列ｒY、ｒCb及びｒCrは、下記数式のように更新できる。
［数式１１２］
ｔｍｐ＝ｒY［ｘ］［ｙ］－（ｒCb［ｘ］［ｙ］＞＞１））
ｒY［ｘ］［ｙ］＝ｔｍｐ＋ｒCb［ｘ］［ｙ］）
ｒCb［ｘ］［ｙ］＝ｔｍｐ－（ｒCr［ｘ］［ｙ］＞＞１））
ｒCr［ｘ］［ｙ］＝ｒCb［ｘ］［ｙ］＋ｒCr［ｘ］［ｙ］
そうでなければ（例えば、ｓｐｓ＿ａｃｔ＿ｒｅｖｅｒｓｉｂｌｅ＿ｃｏｎｖｅｒｓｉｏｎの値が第１値（例えば０）であれば）、（ｎＴｂＷ）×（ｎＴｂＨ）サイズのレジデュアルサンプル配列ｒY、ｒCb及びｒCrは、下記数式のように更新できる。
［数式１１３］
ｔｍｐ＝ｒY［ｘ］［ｙ］－ｒCb［ｘ］［ｙ］
ｒY［ｘ］［ｙ］＝ｒY［ｘ］［ｙ］＋ｒCb［ｘ］［ｙ］
ｒCb［ｘ］［ｙ］＝ｔｍｐ－ｒCr［ｘ］［ｙ］
ｒCr［ｘ］［ｙ］＝ｔｍｐ＋ｒCr［ｘ］［ｙ］
ＹＣｇＣｏ逆方向変換及びＹＣｇＣｏ－Ｒ逆方向変換は、一部の類似点を有する。元の状態に復元可能な変換において、Ｃｇ及びＣｏがＣｇ’＝Ｃｇ＜＜１及びＣｏ’＝Ｃｏ＜＜１で置き換えられる場合、これは、損失逆方向変換で動作することができる。下記数式はこれに対する実施例を示す。
［数式１１４］
ｔ＝Ｙ－（Ｃｇ’＞＞１）＝Ｙ－Ｃｇ
Ｇ＝Ｃｇ’＋ｔ＝Ｙ＋Ｃｇ
Ｂ＝ｔ－（Ｃｏ’＞＞１）＝ｔ－Ｃｏ＝Ｙ－Ｃｇ－Ｃｏ
Ｒ＝Ｃｏ’＋Ｂ＝ｔ＋Ｃｏ＝Ｙ－Ｃｇ＋Ｃｏ
したがって、代替的な実施例において、２つの色変換を維持する代わりに、元の状態に復元可能な変換のみを使用することができる。損失符号化事例において、Ｃｇ、Ｃｏ成分は、符号化装置の動作において１／２倍スケールされ、復号化装置の動作において２倍スケールされ得る。これにより、損失及び無損失ケースを支援する場合でも、一つの統合された変換を使用することができるようになる。さらに、損失符号化が行われる場合にも、ビットデップスが変わらない可能性があるという更なる利点も有することができる。
一実施例において、どのＡＣＴ変換が用いられるかを示すフラグ（例えば、ａｃｔＳｈｉｆｔＦｌａｇ）が図５１のシンタックスに従って使用できる。図５１のシンタックステーブルにおいて、シンタックス要素ｓｐｓ＿ａｃｔ＿ｓｈｉｆｔ＿ｆｌａｇは、ＡＣＴが適用される間に色成分のシフトを行うステップが適用されるか否かを示すことができる。例えば、ｓｐｓ＿ａｃｔ＿ｓｈｉｆｔ＿ｆｌａｇの第１値（例えば０）は、ＡＣＴが適用される間に色成分のシフトを行うステップが適用されないことを示すことができる。ｓｐｓ＿ａｃｔ＿ｓｈｉｆｔ＿ｆｌａｇの第２値（例えば１）は、ＡＣＴが適用される間に色成分のシフトを行うステップが適用されることを示すことができる。変数ａｃｔＳｈｉｆｔＦｌａｇは、ｓｐｓ＿ａｃｔ＿ｓｈｉｆｔ＿ｆｌａｇの値に設定されることができる。復号化装置におけるＹＣｇＣｏからＧＢＲへの逆方向変換を実現するための擬似コードがａｃｔＳｈｉｆｔＦｌｇａを用いて次のように作成できる。
実施例１１：変換タイプの誘導を用いた多数の色変換を行うＡＣＴ実行方案
一実施例において、ＡＣＴを行う際に少なくとも一つの色変換が用いられ得る。そして、どの色変換タイプが用いられるかがビットストリームの他の情報に基づいて誘導できる。
一実施例において、元の状態に復元可能なＡＣＴ変換、及び元の状態に復元不可能なＡＣＴ変換を含む２つのＡＣＴ変換タイプが利用可能である。ＡＣＴ変換タイプは、変換タイプによって誘導できる。例えば、変数ｔｕＩｓＴｒａｎｓｆｏｒｍＳｋｉｐによって識別されるように変換タイプが変換スキップであれば、元の状態に復元可能なＡＣＴ変換が用いられ得る。そうでなければ（例えば、変換タイプが変換スキップでなければ）、元の状態に復元不可能なＡＣＴ変換が用いられ得る。２つのタイプの擬似コードが使用できる。
他の実施例において、ＡＣＴ変換タイプはＱＰ値に基づいて決定できる。Ｑｐ値が所定の閾値（例えば、ＱｐＰｒｉｍｅＴｓＭｉｎ）以下の値である場合、元の状態に復元可能なＡＣＴ変換が用いられ得る。そうでない場合（例えば、Ｑｐ値が所定の閾値を超える場合）、復元不可能なＡＣＴ変換が用いられ得る。
実施例１２：ＡＣＴ ＱＰオフセットを用いたＱＰ誘導方案
本実施例は、前述の実施例１及び２に関する。前述の実施例１及び２において、既に誘導されたＱｐ’Y、Ｑｐ’CbCr、Ｑｐ’Cb、Ｑｐ’CrをＱＰとして含むものと説明された。実施例１及び２に記載されている方法は、誘導されたＱｐ値をＡＣＴ ＱＰオフセットを用いて修正し、変換係数スケーリングのための修正されたＱＰ値が有効範囲を外れないように必須的なクリッピング技法を適用する。
本実施例は、Ｑｐ’Y、Ｑｐ’CbCr、Ｑｐ’Cb、Ｑｐ’Crを誘導するＱＰ誘導プロセスにＡＣＴ ＱＰオフセットを含ませる方案を説明する。誘導されたＱＰ値が有効範囲から外れないように、ＱＰ誘導プロセスが所定のクリッピングステップを既に含んでいるので、ＡＣＴ ＱＰオフセットをＱＰ誘導プロセスに含めさせることは、追加のクリッピングステップを回避しながら、変換係数スケーリングプロセスのための全体的なＱＰ誘導ステップを単純化しながらも、最終的なＱＰが有効範囲から外れないように保障することができる。
以前の実施例で説明したように、ＡＣＴ ＱＰオフセットは、定数に予め指定されてもよく、ビットストリームを介してシグナリングされてもよい。一貫性から外れることなく、Ｙ、Ｃｂ、Ｃｒ及びＣｂＣｒのためのＡＣＴ ＱＰオフセットは、後述する説明においてｐｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒと記載されることができる。ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＹ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒは、－ＭからＮまでの値を有する定数又は変数であり得る。ここで、ＭとＮは、一実施例において、損失符号化ケースではそれぞれ１２と設定されてもよく、無損失符号化ケースではそれぞれ０と設定されてもよい。さらに、少なくとも一つのＡＣＴ ＱＰオフセットは、他のＡＣＴ ＱＰオフセット値から誘導できる。例えば、ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒは、ジョイントＣｂＣｒモードに基づいてｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ又はｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒと同じ値に設定され得る。
ＡＣＴ ＱＰオフセットを用いたＱＰ誘導に対する復号化処理は、以下の説明のように行われ得る。まず、量子化パラメータ誘導プロセスの場合、本プロセスのために以下のパラメータが活用できる。
－現在ピクチャの左上側ルマサンプルに対する現在符号化ブロックの左上側ルマサンプルの相対座標を示すルマ座標（ｘＣｂ，ｙＣｂ）、
－現在符号化ブロックの幅をルマサンプル単位で表す変数ｃｂＷｉｄｔｈ、
－現在符号化ブロックの高さをルマサンプル単位で表す変数ｃｂＨｅｉｇｈｔ
－現在符号化ツリーノードを分割するためにシングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）又はデュアルツリーが使用されたか否かを示し、デュアルツリーが使用される場合、ルマ成分デュアルツリー（ＤＡＵＬ＿ＴＲＥＥ＿ＬＵＭＡ）であるか或いはクロマ成分デュアルツリー（ＤＡＵＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）であるかを示す変数ｔｒｅｅＴｙｐｅ
本量子化パラメータ誘導プロセスにおいて、ルマ量子化パラメータＱｐ’Y及びクロマ量子化パラメータＱｐ’Cb、Ｑｐ’Cr及びＱｐ’CbCrが誘導できる。
その後、変数ＱｐYは、下記数式によって誘導できる。
［数式１１５］
ＱｐY＝（（ｑＰY_PRED＋ＣｕＱｐＤｅｌｔａＶａｌ＋６４＋２＊ＱｐＢｄＯｆｆｓｅｔ）％（６４＋ＱｐＢｄＯｆｆｓｅｔ））－ＱｐＢｄＯｆｆｓｅｔ
ルマ量子化パラメータＱｐ’Yは、下記数式によって誘導できる。
［数式１１６］
ａｃｔＱｐＯｆｆｓｅｔＹ＝ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］？ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＹ：０
Ｑｐ′Y＝ＱｐY＋ＱｐＢｄＯｆｆｓｅｔ＋ａｃｔＱｐＯｆｆｓｅｔＹ
Ｑｐ′Y＝Ｃｌｉｐ３（０，６３＋ＱｐＢｄＯｆｆｓｅｔ，Ｑｐ′Y）
クロマ配列のタイプを表す変数ＣｈｒｏｍａＡｒｒａｙＴｙｐｅの値が第１値（例えば０）ではなく、ｔｒｅｅＴｙｐｅがＳＩＮＧＬＥ＿ＴＲＥＥ又はＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡである場合、以下の処理が行われ得る。
－ｔｒｅｅＴｙｐｅの値がＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡである場合、変数ＱｐYの値は、ルマサンプル位置（ｘＣｂ＋ｃｂＷｉｄｔｈ／２、ｙＣｂ＋ｃｂＨｅｉｇｈｔ／２）をカバーするルマ符号化単位のルマ量子化パラメータＱｐYと同じ値に設定され得る。
－変数ｑＰCb、ｑＰCr及びｑＰCbCrが下記数式のように誘導できる。
［数式１１７］
ｑＰChroma＝Ｃｌｉｐ３（－ＱｐＢｄＯｆｆｓｅｔ，６３，ＱｐY）
ｑＰCb＝ＣｈｒｏｍａＱｐＴａｂｌｅ［０］［ｑＰChroma］
ｑＰCr＝ＣｈｒｏｍａＱｐＴａｂｌｅ［１］［ｑＰChroma］
ｑＰCbCr＝ＣｈｒｏｍａＱｐＴａｂｌｅ［２］［ｑＰChroma］
－Ｃｂ及びＣｒ成分のためのクロマ量子化パラメータＱｐ′Cb及びＱｐ′CrとＣb－Ｃｒ共同符号化（ｊｏｉｎｔ Ｃｂ－Ｃｒ ｃｏｄｉｎｇ）のためのクロマ量子化パラメータＱｐ′CbCrは、下記数式のように誘導できる。
［数式１１８］
ａｃｔＱｐＯｆｆｓｅｔＣｂ＝ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］？ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂ：０
ａｃｔＱｐＯｆｆｓｅｔＣｒ＝ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］？ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｒ：０
ａｃｔＱｐＯｆｆｓｅｔＣｂＣｒ＝ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＣｂ］［ｙＣｂ］？ｐｐｓＡｃｔＱｐＯｆｆｓｅｔＣｂＣｒ：０
Ｑｐ′Cb＝Ｃｌｉｐ３（－ＱｐＢｄＯｆｆｓｅｔ，６３，ｑＰCb＋ｐｐｓ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＋ｓｌｉｃｅ＿ｃｂ＿ｑｐ＿ｏｆｆｓｅｔ＋ＣｕＱｐＯｆｆｓｅｔCb＋ａｃｔＱｐＯｆｆｓｅｔＣｂ）＋ＱｐＢｄＯｆｆｓｅｔ
Ｑｐ′Cr＝Ｃｌｉｐ３（－ＱｐＢｄＯｆｆｓｅｔ，６３，ｑＰCr＋ｐｐｓ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＋ｓｌｉｃｅ＿ｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＋ＣｕＱｐＯｆｆｓｅｔCr＋ａｃｔＱｐＯｆｆｓｅｔＣｒ）＋ＱｐＢｄＯｆｆｓｅｔ
Ｑｐ′CbCr＝Ｃｌｉｐ３（－ＱｐＢｄＯｆｆｓｅｔ，６３，ｑＰCbCr＋ｐｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＋
ｓｌｉｃｅ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｑｐ＿ｏｆｆｓｅｔ＋ＣｕＱｐＯｆｆｓｅｔCbCr＋ａｃｔＱｐＯｆｆｓｅｔＣｂＣｒ）＋ＱｐＢｄＯｆｆｓｅｔ
次に、変換係数に対する逆量子化プロセスが行われ、本プロセスのために以下の情報が入力として活用され得る。
－現在ピクチャの左上側ルマサンプルに対する現在ルマ変換ブロックの左上側サンプルの相対座標を表すルマ座標（ｘＴｂＹ，ｙＴｂＹ）、
－変換ブロックの幅を表す変数ｎＴｂＷ、
－変換ブロックの高さを表す変数ｎＴｂＨ、
－符号化単位の予測モードを表す変数ｐｒｅｄＭｏｄｅ、
－現在ブロックの色成分を表す変数ｃＩｄｘ
本変換係数に対する逆量子化プロセスの出力は、スケールされた変換係数の配列ｄであり得る。ここで、配列ｄの大きさは（ｎＴｂＷ）×（ｎＴｂＨ）であり得る。これを構成する個別要素はｄ［ｘ］［ｙ］として識別できる。
本プロセスの実行において、量子化パラメータｑＰは、次のように誘導できる。ｃＩｄｘの値が０である場合、ｑＰは下記数式のように誘導できる。
［数式１１９］
ｑＰ＝Ｑｐ′Y
そうでなければ、ＴｕＣＲｅｓＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］の値が２である場合、下記数式のように誘導できる。
［数式１２０］
ｑＰ＝Ｑｐ′CbCr
そうでなければ、ｃＩｄｘの値が１である場合、ｑＰは下記数式のように誘導できる。
［数式１２１］
ｑＰ＝Ｑｐ′Cb
そうでなければ、ｃＩｄｘの値が２である場合、ｑＰは下記数式のように誘導できる。
［数式１２２］
ｑＰ＝Ｑｐ′Cr
量子化パラメータｑＰは、次のように更新できる。そして、変数ｒｅｃｔＮｏｎＴｓＦｌａｇ及びｂｄＳｈｉｆｔは、次のように誘導できる。
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が０である場合、下記数式のように誘導できる。
［数式１２３］
ｒｅｃｔＮｏｎＴｓＦｌａｇ＝（（（Ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＆１）＝＝１）？１：０
ｂｄＳｈｉｆｔ＝ＢｉｔＤｅｐｔｈ＋ｒｅｃｔＮｏｎＴｓＦｌａｇ＋（（Ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））／２）－５＋ｐｉｃ＿ｄｅｐ＿ｑｕａｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ
そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］の値が１である場合（例えば、現在変換ブロックに対して変換がスキップされる場合）、下記数式のように誘導できる。
［数式１２４］
ｑＰ＝ Ｍａｘ（ＱｐＰｒｉｍｅＴｓＭｉｎ，ｑＰ）
ｒｅｃｔＮｏｎＴｓＦｌａｇ＝０
ｂｄＳｈｉｆｔ＝１０
符号化及び復号化方法
以下、図５２及び図５３を参照して、画像符号化装置及び画像復号化装置によって行われる画像符号化方法及び復号化方法について説明する。
まず、復号化装置の動作について説明する。一実施例による画像復号化装置は、メモリとプロセッサを含み、復号化装置は、プロセッサの動作によって復号化を行うことができる。例えば、図５２に示すように、復号化装置は、現在ブロックのレジデュアルサンプルに色空間（ｃｏｌｏｒ ｓｐａｃｅ）の変換が適用されるか否かに基づいて現在ブロックの量子化パラメータを決定することができる（Ｓ５２１０）。ここで、色空間の変換は前述したＡＣＴであり得る。ここで、量子化パラメータを決定するステップは、量子化パラメータの値が所定の上限値以下の値を有し、所定の下限値以上の値を有するように、量子化パラメータにクリッピングを行うことにより行われることができる。ここで、量子化パラメータの所定の下限値は０であり得る。そして、量子化パラメータの所定の上限値は、サンプルのビットデプスを表すシンタックス要素に基づいて決定されることができる。
量子化パラメータを決定するステップは、現在ブロックの色成分に基づいて量子化パラメータを決定するステップと、現在ブロックの色成分に基づいて量子化パラメータオフセットを決定するステップと、量子化パラメータオフセットを用いて量子化パラメータを再設定するステップと、を含んで行われ得る。
量子化パラメータオフセットを用いて量子化パラメータを再設定するステップは、量子化パラメータに量子化パラメータオフセットを加えることにより行われ得る。ここで、現在ブロックのレジデュアルサンプルに色空間（ｃｏｌｏｒ ｓｐａｃｅ）の変換が適用され、現在ブロックの色成分がルマ成分である場合、量子化パラメータオフセットの値は－５と決定できる。
そして、現在ブロックのレジデュアルサンプルに色空間の変換が適用され、現在ブロックの色成分がクロマＣｂ成分である場合、量子化パラメータオフセットの値は１と決定できる。現在ブロックのレジデュアルサンプルに色空間の変換が適用され、現在ブロックの色成分がクロマＣｒ成分である場合、量子化パラメータオフセットの値は３と決定できる。
次に、復号化装置は、量子化パラメータに基づいて現在ブロックの変換係数を決定することができる（Ｓ５２２０）。その後、復号化装置は、変換係数を用いて現在ブロックのレジデュアルサンプルを決定することができる（Ｓ５２３０）。次に、復号化装置は、色空間の変換が適用されるか否かに基づいてレジデュアルサンプルの値を再設定することができる（Ｓ５２４０）。
ここで、レジデュアルサンプルの値を再設定するステップは、ルマ成分レジデュアルサンプル値とクロマレジデュアルサンプル値の半値に基づいて行われ得る。例えば、クロマレジデュアルサンプル値にシフト演算を行うことにより、クロマレジデュアルサンプル値の半値が得られる。また、ルマ成分レジデュアルサンプル値にクロマＣｂ成分レジデュアルサンプル値の半値を加算することにより、ルマ成分レジデュアルサンプル値が再設定できる。また、ルマ成分レジデュアルサンプル値にクロマＣｂ成分レジデュアルサンプル値の半値とクロマＣｒ成分レジデュアルサンプル値の半値を減算することにより、クロマＣｂ成分レジデュアルサンプル値が再設定できる。
次に、符号化装置の動作について説明する。一実施例による画像符号化装置は、メモリとプロセッサとを含み、符号化装置は、プロセッサの動作によって、前記復号化装置の復号化に対応する方式で符号化を行うことができる。例えば、図５３に示すように、符号化装置は、色空間（ｃｏｌｏｒ ｓｐａｃｅ）の変換が適用されるか否かに基づいてレジデュアルサンプルを再設定することができる（Ｓ５３１０）。ここで、色空間の変換は、前述したＡＣＴであり得る。
さらに、レジデュアルサンプルの値を再設定するステップは、ルマ成分レジデュアルサンプル値とクロマレジデュアルサンプル値の半値に基づいて行われることができる。例えば、クロマレジデュアルサンプル値にシフト演算を行うことにより、クロマレジデュアルサンプル値の半値が得られる。また、上述した復号化装置における再設定演算を逆に行うことにより、符号化装置は、ルマ成分レジデュアルサンプル値、クロマＣｂ成分レジデュアルサンプル値及びクロマＣｒ成分レジデュアルサンプル値を再設定することができる。
次に、符号化装置は、再設定されたレジデュアルサンプルを用いて変換係数を決定することができる（Ｓ５３２０）。その後、符号化装置は、色空間の変換が適用されるか否かに基づいて量子化パラメータを決定することができる（Ｓ５３３０）。ここで、量子化パラメータを決定するステップは、量子化パラメータの値が所定の上限値以下の値を有し、所定の下限値以上の値を有するように量子化パラメータにクリッピングを行うことにより行われ得る。ここで、量子化パラメータの所定の下限値は０であってもよい。そして、量子化パラメータの所定の上限値は、サンプルのビットデプスを表すシンタックス要素に基づいて決定できる。
量子化パラメータを決定するステップは、現在ブロックの色成分に基づいて量子化パラメータを決定するステップと、現在ブロックの色成分に基づいて量子化パラメータオフセットを決定するステップと、量子化パラメータオフセットを用いて量子化パラメータを再設定するステップと、を含んで行われ得る。
量子化パラメータオフセットを用いて量子化パラメータを再設定するステップは、量子化パラメータに量子化パラメータオフセットを加えることにより行われ得る。ここで、現在ブロックのレジデュアルサンプルに色空間の変換が適用され、現在ブロックの色成分がルマ成分である場合、量子化パラメータオフセットの値は－５と決定できる。
そして、現在ブロックのレジデュアルサンプルに色空間の変換が適用され、現在ブロックの色成分がクロマＣｂ成分である場合、量子化パラメータオフセットの値は１と決定できる。現在ブロックのレジデュアルサンプルに色空間の変換が適用され、現在ブロックの色成分がクロマＣｒ成分である場合、量子化パラメータオフセットの値は３と決定できる。
次に、符号化装置は、量子化パラメータに基づいて変換係数を符号化することができる（Ｓ５３４０）。
応用実施例
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。
本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。
また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、一つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
図５４は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
図５４に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。
前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。
本開示による実施例は、画像を符号化／復号化するために利用可能である。

Claims (14)

  1. 画像復号化装置によって行われる画像復号化方法であって、
    現在ブロックのレジデュアル（ｒｅｓｉｄｕａｌ）サンプルの為の色空間変換（ｃｏｌｏｒ ｓｐａｃｅ ｔｒａｎｓｆｏｒｍ）に基づいて、前記現在ブロックの量子化パラメータを誘導するステップと、
    前記量子化パラメータに基づいて、前記現在ブロックの変換係数を誘導するステップと、
    前記変換係数に基づいて、前記現在ブロックのレジデュアルサンプルを誘導するステップと、
    前記色空間変換が適用されることに基づいて、前記レジデュアルサンプルの値を修正するステップと、を含んでなり、
    前記現在ブロックの変換スキップフラグ（ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｓｋｉｐ ｆｌａｇ）の値に基づいて、前記量子化パラメータがクリッピング動作により誘導され、
    前記クリッピング動作は、所定の下限値から所定の上限値への範囲となるように前記量子化パラメータの値を調整することを含み、
    量子化パラメータ範囲オフセット及び所定の定数値に基づいて、前記所定の上限値が誘導される、画像復号化方法。
  2. 前記所定の定数値は６３である、請求項１に記載の画像復号化方法。
  3. 前記現在ブロックの色成分に基づいて誘導される初期量子化パラメータに基づいて、前記量子化パラメータが誘導される、請求項１に記載の画像復号化方法。
  4. 前記現在ブロックの色成分に基づいて誘導される量子化パラメータオフセットに基づいて前記量子化パラメータが誘導され、
    前記量子化パラメータオフセットは、前記量子化パラメータを修正するオフセットである、請求項１に記載の画像復号化方法。
  5. 前記現在ブロックの前記色成分がルマ成分であること、及び、前記色空間変換が適用されること、に基づいて、前記量子化パラメータオフセットのサイズが５として誘導される、請求項４に記載の画像復号化方法。
  6. 前記現在ブロックの前記色成分がクロマＣｒ成分であること、及び、前記色空間変換が適用されること、に基づいて、前記量子化パラメータオフセットのサイズが３として誘導される、請求項４に記載の画像復号化方法。
  7. 前記量子化パラメータオフセットの第１値のサイズ及び前記量子化パラメータオフセットの第２値のサイズが２であり、
    前記色空間変換が適用されることに基づいて、
    前記現在ブロックの前記色成分の前記量子化パラメータオフセットがクロマＣｒ成分であることに基づいて、前記第１値が誘導され、
    前記現在ブロックの前記色成分の前記量子化パラメータオフセットがクロマＣｂ成分であることに基づいて、前記第２値が誘導される、請求項４に記載の画像復号化方法。
  8. 前記現在ブロックの前記変換スキップフラグに基づいて、前記所定の下限値が誘導される、請求項１に記載の画像復号化方法。
  9. 前記変換スキップフラグが前記現在ブロックの変換係数を適用しないことを指示することに基づいて、前記所定の下限値が変換スキップモードの為の許容される最小量子化パラメータとして誘導される、請求項１に記載の画像復号化方法。
  10. 前記現在ブロックの変換係数を適用することが、他のシンタックス要素により決定されることを指示する前記変換スキップフラグに基づいて、前記所定の下限値が０として誘導される、請求項１に記載の画像復号化方法。
  11. 前記現在ブロックのビットデプスの為のシンタックス要素に基づいて、前記量子化パラメータ範囲オフセットの値が誘導される、請求項１に記載の画像復号化方法。
  12. 画像符号化装置によって行われる画像符号化方法であって、
    色空間変換（ｃｏｌｏｒ ｓｐａｃｅ ｔｒａｎｓｆｏｒｍ）が適用されることに基づいて、現在ブロックのレジデュアル（ｒｅｓｉｄｕａｌ）サンプルの値を誘導するステップと、
    前記現在ブロックの前記レジデュアルサンプルに基づいて、前記現在ブロックの変換係数を誘導するステップと、
    前記色空間変換が適用されることに基づいて、前記現在ブロックの量子化パラメータを決定するステップと、
    前記量子化パラメータに基づいて、前記変換係数を符号化するステップと、を含んでなり、
    前記現在ブロックの変換スキップフラグ（ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｓｋｉｐ ｆｌａｇ）の値に基づいて、前記量子化パラメータがクリッピング動作により誘導され、
    前記クリッピング動作は、所定の下限値から所定の上限値への範囲とするように、前記量子化パラメータの値を調整することを含み、
    量子化パラメータ範囲オフセット及び所定の定数値に基づいて、前記所定の上限値が誘導される、画像符号化方法。
  13. 前記所定の定数値は６３である、請求項１２に記載の画像符号化方法。
  14. ビットストリームを伝送する方法であって、
    前記ビットストリームは、請求項１２に記載の画像符号化方法によって生成されたものである、伝送方法。
JP2022525280A 2019-10-28 2020-10-28 色空間変換を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 Active JP7434545B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024016864A JP2024050835A (ja) 2019-10-28 2024-02-07 色空間変換を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201962927111P 2019-10-28 2019-10-28
US62/927,111 2019-10-28
US201962931785P 2019-11-06 2019-11-06
US62/931,785 2019-11-06
US201962939532P 2019-11-22 2019-11-22
US62/939,532 2019-11-22
US202062957127P 2020-01-04 2020-01-04
US62/957,127 2020-01-04
PCT/KR2020/014844 WO2021086020A1 (ko) 2019-10-28 2020-10-28 색공간 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024016864A Division JP2024050835A (ja) 2019-10-28 2024-02-07 色空間変換を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

Publications (2)

Publication Number Publication Date
JP2023500644A JP2023500644A (ja) 2023-01-10
JP7434545B2 true JP7434545B2 (ja) 2024-02-20

Family

ID=75715417

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022525280A Active JP7434545B2 (ja) 2019-10-28 2020-10-28 色空間変換を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP2024016864A Pending JP2024050835A (ja) 2019-10-28 2024-02-07 色空間変換を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024016864A Pending JP2024050835A (ja) 2019-10-28 2024-02-07 色空間変換を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

Country Status (7)

Country Link
US (3) US11606558B2 (ja)
EP (1) EP4054189A4 (ja)
JP (2) JP7434545B2 (ja)
KR (1) KR20220070012A (ja)
CN (1) CN114902669A (ja)
MX (1) MX2022005099A (ja)
WO (1) WO2021086020A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121419A1 (en) 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Interaction between adaptive color transform and quantization parameters
WO2021136555A1 (en) 2020-01-05 2021-07-08 Beijing Bytedance Network Technology Co., Ltd. Use of offsets with adaptive colour transform coding tool
CN115176470A (zh) 2020-01-18 2022-10-11 抖音视界有限公司 图像/视频编解码中的自适应颜色变换
US20210400257A1 (en) * 2020-06-18 2021-12-23 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling high level information for tool control based on colour representation format, and computer-readable recording medium strong bitstream

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160100168A1 (en) 2014-10-07 2016-04-07 Qualcomm Incorporated Qp derivation and offset for adaptive color transform in video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948933B2 (en) * 2014-03-14 2018-04-17 Qualcomm Incorporated Block adaptive color-space conversion coding
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
MX2017004088A (es) * 2014-10-03 2017-07-07 Nec Corp Dispositivo de codificacion de video, dispositivo de descodificacion de video, metodo de codificacion de video, metodo de descodificacion de video y programa.
US10097842B2 (en) * 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
US20170280139A1 (en) * 2016-03-22 2017-09-28 Qualcomm Incorporated Apparatus and methods for adaptive calculation of quantization parameters in display stream compression
JP7016660B2 (ja) * 2017-10-05 2022-02-07 キヤノン株式会社 符号化装置、その制御方法、および制御プログラム、並びに撮像装置
CN117729331A (zh) * 2019-06-28 2024-03-19 字节跳动有限公司 在变换跳过模式中修改量化参数的技术

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160100168A1 (en) 2014-10-07 2016-04-07 Qualcomm Incorporated Qp derivation and offset for adaptive color transform in video coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, Jianle Chen, Shan Liu, and Ye-Kui Wang，Versatile Video Coding (Draft 7)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P2001 (version 10)，16th Meeting: Geneva, CH，2019年10月25日，pp.297-299
Jie Zhao, et al.，On ACT QP clipping，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET- Q0511，17th Meeting: Brussels, BE，2020年01月，pp.1-5
Rickard Sjoberg, Martin Pettersson, Mitra Damghanian, and Davood Saffar，AHG15: QP offsets for adaptive colour transform，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-Q0425-v2，17th Meeting: Brussels, BE，2020年01月，pp.1-4
Xiaoyu Xiu, et al.，Support of adaptive color transform for 444 video coding in VVC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0517_r1，16th Meeting: Geneva, CH，2019年10月，pp.1-4

Also Published As

Publication number Publication date
KR20220070012A (ko) 2022-05-27
JP2024050835A (ja) 2024-04-10
EP4054189A4 (en) 2023-11-22
US11876967B2 (en) 2024-01-16
US20230171404A1 (en) 2023-06-01
CN114902669A (zh) 2022-08-12
US20240121391A1 (en) 2024-04-11
MX2022005099A (es) 2022-08-15
EP4054189A1 (en) 2022-09-07
US20220337836A1 (en) 2022-10-20
US11606558B2 (en) 2023-03-14
WO2021086020A1 (ko) 2021-05-06
JP2023500644A (ja) 2023-01-10

Similar Documents

Publication Publication Date Title
JP7434545B2 (ja) 色空間変換を用いる画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
US11575919B2 (en) Image encoding/decoding method and device using lossless color transform, and method for transmitting bitstream
US11689732B2 (en) Image encoding/decoding method and device using palette mode, and method for transmitting bitstream
US11997274B2 (en) Image encoding/decoding method and device using adaptive color transform, and method for transmitting bitstream
US20240015294A1 (en) Image encoding/decoding method and apparatus using adaptive transform, and method for transmitting bitstream
KR20220035154A (ko) 팔레트 모드의 적용 여부에 따라 크로마 성분 예측 정보를 시그널링 하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220047824A (ko) 참조 샘플 필터링을 이용하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220145407A (ko) 직사각형 슬라이스의 크기 정보를 선택적으로 부호화 하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US20220312014A1 (en) Image encoding/decoding method and apparatus for performing residual processing using adaptive transformation, and method of transmitting bitstream
JP7493612B2 (ja) レジデュアルコーディングに対する映像デコーディング方法及びその装置
US11695929B2 (en) Image encoding/decoding method and apparatus performing residual processing by using adaptive color space transformation, and method for transmitting bitstream
RU2811759C2 (ru) Способ и устройство кодирования/декодирования изображений с использованием адаптивного преобразования цветов и способ для передачи потока битов
US11638024B2 (en) Image encoding/decoding method and apparatus for signaling residual coding method used for encoding block to which BDPCM is applied, and method for transmitting bitstream
US11949917B2 (en) Method and device for signaling information relating to slice type in picture header in image/video coding system
RU2795812C1 (ru) Способ и устройство кодирования/декодирования изображений с использованием адаптивного преобразования цветов и способ для передачи потока битов
KR20220071268A (ko) 팔레트 코딩 또는 변환 유닛을 위한 양자화 파라미터 정보 기반 영상 또는 비디오 코딩

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240207

R150 Certificate of patent or registration of utility model

Ref document number: 7434545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150