JP2024050835A - 色空間変換を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法 - Google Patents

色空間変換を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法 Download PDF

Info

Publication number
JP2024050835A
JP2024050835A JP2024016864A JP2024016864A JP2024050835A JP 2024050835 A JP2024050835 A JP 2024050835A JP 2024016864 A JP2024016864 A JP 2024016864A JP 2024016864 A JP2024016864 A JP 2024016864A JP 2024050835 A JP2024050835 A JP 2024050835A
Authority
JP
Japan
Prior art keywords
value
act
offset
quantization parameter
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024016864A
Other languages
English (en)
Inventor
ザオ,ジェ
キム,スンファン
ヘンドリー,ヘンドリー
パルリ,シーサル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2024050835A publication Critical patent/JP2024050835A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】符号化/復号化効率が向上した、色空間変換を用いる画像符号化/復号化方法及び装置を提供する。【解決手段】画像復号化装置によって行われる画像復号化方法は、現在ブロックのレジデュアルサンプルに色空間(color space)の変換が適用されるか否かに基づいて現在ブロックの量子化パラメータを決定するステップと、量子化パラメータに基づいて現在ブロックの変換係数を決定するステップと、変換係数を用いて現在ブロックのレジデュアルサンプルを決定するステップと、色空間の変換が適用されるか否かに基づいて前記レジデュアルサンプルの値を再設定するステップと、を含む。【選択図】図52

Description

本開示は、画像符号化/復号化方法及び装置に係り、より詳細には、色空間変換を用い
る画像符号化/復号化方法、装置、及び本開示の画像符号化方法/装置によって生成され
たビットストリームを伝送する方法に関する。
最近、高解像度、高品質の画像、例えばHD(High Definition)画像
及びUHD(Ultra High Definition)画像への需要が多様な分野
で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて
、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の
増加は、伝送費用と保存費用の増加をもたらす。
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための
高効率の画像圧縮技術が求められる。
本開示は、符号化/復号化効率が向上した画像符号化/復号化方法及び装置を提供する
ことを目的とする。
また、本開示は、選択的色空間変換を行うことにより、符号化/復号化効率の向上を図
る画像符号化/復号化方法及び装置を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットスト
リームを伝送する方法を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットスト
リームを保存した記録媒体を提供することを目的とする。
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の
復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述してい
ない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有す
る者に明確に理解できるであろう。
本開示の一態様による画像復号化装置によって行われる画像復号化方法は、現在ブロッ
クのレジデュアルサンプルに色空間(color space)の変換が適用されるか否
かに基づいて前記現在ブロックの量子化パラメータを決定するステップと、前記量子化パ
ラメータに基づいて前記現在ブロックの変換係数を決定するステップと、前記変換係数を
用いて前記現在ブロックのレジデュアルサンプルを決定するステップと、前記色空間の変
換が適用されるか否かに基づいて前記レジデュアルサンプルの値を再設定するステップと
、を含むことができる。ここで、前記量子化パラメータを決定するステップは、前記量子
化パラメータの値が所定の上限値以下の値を有し、所定の下限値以上の値を有するように
前記量子化パラメータにクリッピングを行うことにより行われ得る。
また、本開示の一態様による画像復号化装置は、メモリ及び少なくとも一つのプロセッ
サを含む画像復号化装置であって、前記少なくとも一つのプロセッサは、現在ブロックの
レジデュアルサンプルに色空間(color space)の変換が適用されるか否かに
基づいて前記現在ブロックの量子化パラメータを決定し、前記量子化パラメータに基づい
て前記現在ブロックの変換係数を決定し、前記変換係数を用いて前記現在ブロックのレジ
デュアルサンプルを決定し、前記色空間の変換が適用されるか否かに基づいて前記レジデ
ュアルサンプルの値を再設定することができる。ここで、前記プロセッサは、前記量子化
パラメータの値が所定の上限値以下の値を有し、所定の下限値以上の値を有するように前
記量子化パラメータにクリッピングを行うことができる。
また、本開示の一態様による画像符号化装置によって行われる画像符号化方法は、色空
間の変換が適用されたか否かに基づいてレジデュアルサンプルを再設定するステップと、
前記再設定されたレジデュアルサンプルを用いて変換係数を決定するステップと、前記色
空間の変換が適用されるか否かに基づいて量子化パラメータを決定するステップと、前記
量子化パラメータに基づいて前記変換係数を符号化するステップと、を含むことができる
。ここで、前記量子化パラメータを決定するステップは、前記量子化パラメータの値が所
定の上限値以下の値を有し、所定の下限値以上の値を有するように前記量子化パラメータ
にクリッピングを行うことにより行われ得る。
また、本開示の一態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法
によって生成されたビットストリームを伝送することができる。
また、本開示の一態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又
は画像符号化装置によって生成されたビットストリームを保存することができる。
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的
な態様に過ぎず、本開示の範囲を制限するものではない。
本開示によれば、符号化/復号化効率が向上した画像符号化/復号化方法及び装置が提
供されることができる。
また、本開示によれば、選択的色空間変換を行うことにより、符号化/復号化効率の向
上を図ることができる画像符号化/復号化方法及び装置が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビッ
トストリームを伝送する方法が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビッ
トストリームを保存した記録媒体が提供されることができる。
また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて
画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以
降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解でき
るだろう。
本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 一実施例による画像の分割構造を示す図である。 マルチタイプツリー構造によるブロックの分割タイプの一実施例を示す図である。 本開示によるマルチタイプツリーを伴う四分木(quadtree with nested multi-type tree)構造におけるブロック分割情報のシグナリングメカニズムを例示する図である。 CTUが多重CUに分割される一実施例を示す図である。 一つのシンタックス要素を符号化するための一実施例によるCABACを示すブロック図である。 一実施例によるエントロピー符号化と復号化を説明する図である。 一実施例によるピクチャ復号化及び符号化手順の一例を示す図である。 一実施例によるコーディングされた画像に対する階層構造を示す図である。 一実施例による周辺参照サンプルを示す図である。 一実施例によるイントラ予測を説明する図である。 ACTを適用した復号化過程の一実施例を示す図である。 ACTに関連するシンタックス要素がシグナリングされるシーケンスパラメータセットシンタックステーブルの一実施例を示す図である。 ACTに関連するシンタックス要素がシグナリングされる符号化単位のシンタックステーブルの一実施例を連続的に示す図である。 一実施例による符号化ツリーシンタックス(coding tree syntax)を示す図である。 一実施例によってBDPCMのレジデュアルサンプルを符号化する方法を説明するための図である。 一実施例によってBDPCMを行って生成された、修正された量子化レジデュアルブロックを示す。 一実施例による画像符号化装置においてBDPCMを適用して現在ブロックを符号化する手順を示すフローチャートである。 一実施例による画像復号化装置においてBDPCMを適用して現在ブロックを復元する手順を示すフローチャートである。 BDPCMに関する情報をシグナリングするためのシンタックスを概略的に示す図である。 本開示による個別実施例によってACTシンタックス要素をシグナリングするためのシンタックステーブルを示す図である。 一実施例による画像復号化方法を説明する図である。 一実施例による画像符号化方法を説明する図である。 本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野におけ
る通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、
様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本
開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説
明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、
同様の部分には同様の図面符号を付した。
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」され
ているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が
存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「
含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要
素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第1」、「第2」などの用語は、一つの構成要素を他の構成要素か
ら区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度な
どを限定しない。したがって、本開示の範囲内において、一実施例の第1構成要素は、他
の実施例で第2構成要素と呼んでもよく、これと同様に、一実施例の第2構成要素を、他
の実施例で第1構成要素と呼んでもよい。
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するため
のものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複
数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく
、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されても
よい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開
示の範囲に含まれる。
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を
意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説
明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な
実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれ
る。
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は
、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つ
ことができる。
本開示において、「ビデオ(video)」は、時間の流れによる一連の画像(ima
ge)の集合を意味することができる。「ピクチャ(picture」は、一般的に、特
定の時間帯のいずれか一つの画像を示す単位を意味し、スライス(slice)/タイル
(tile)は、符号化においてピクチャの一部を構成する符号化単位である。一つのピ
クチャは、一つ以上のスライス/タイルで構成できる。また、スライス/タイルは一つ以
上のCTU(coding tree unit)を含むことができる。一つのピクチャ
は一つ以上のスライス/タイルで構成できる。一つのピクチャは一つ以上のタイルグルー
プで構成できる。一つのタイルグループは一つ以上のタイルを含むことができる。ブリッ
クは、ピクチャ内のタイル内のCTU行の四角領域を示すことができる。一つのタイルは
一つ以上のブリック(Brick)を含むことができる。ブリックはタイル内のCTU行
の四角領域を示すことができる。一つのタイルは、複数のブリックに分割されることがで
き、それぞれのブリックは、タイルに属する一つ以上のCTU行を含むことができる。複
数のブリックに分割されないタイルもブリックとして取り扱われることができる。
本開示において、「ピクセル(pixel)」又は「ペル(pel)」は、一つのピク
チャ(又は画像)を構成する最小の単位を意味することができる。また、ピクセルに対応
する用語として「サンプル(sample)」が使用できる。サンプルは、一般的に、ピ
クセル又はピクセルの値を示すことができ、ルマ(luma)成分のピクセル/ピクセル
値のみを示すこともでき、クロマ(chroma)成分のピクセル/ピクセル値のみを示
すこともできる。
本開示において、「ユニット(unit)」は、画像処理の基本単位を示すことができ
る。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも
一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ(例
えば、Cb、Cr)ブロックを含むことができる。ユニットは、場合に応じて、「サンプ
ルアレイ」、「ブロック(block)」又は「領域(area)」などの用語と混用し
て使用できる。一般な場合、M×Nブロックは、M個の列とN個の行からなるサンプル(
又はサンプルアレイ)又は変換係数(transform coefficient)の
セット(又はアレイ)を含むことができる。
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーデ
ィングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブ
ロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブ
ロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。
変換(逆変換)/量子化(逆量子化)が行われる場合、「現在ブロック」は「現在変換ブ
ロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる
場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がな
い限り、「現在ブロックのルマブロック」を意味することができる。「現在ブロックのク
ロマブロック」は、明示的に「クロマブロック」又は「現在クロマブロック」のようにク
ロマブロックという明示的な記載を含んで表現できる。
本開示において、「/」と「、」は「及び/又は」と解釈されることができる。例えば
、「A/B」と「A、B」は「A及び/又はB」と解釈されることができる。また、「A
/B/C」と「A、B、C」は、「A、B及び/又はCのうちの少なくとも一つ」を意味
することができる。
本開示において、「又は」は、「及び/又は」と解釈されることができる。例えば、「
A又はB」は、1)「A」のみを意味するか、2)「B」のみを意味するか、3)「A及
びB」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代
替的に(additionally or alternatively)」を意味する
ことができる。
ビデオコーディングシステムの概要
図1は本開示によるビデオコーディングシステムを示す図である。
一実施例によるビデオコーディングシステムは、ソースデバイス10及び受信デバイス
20を含むことができる。ソースデバイス10は、符号化されたビデオ(video)及
び/又は画像(image)情報又はデータをファイル又はストリーミング形式でデジタ
ル記憶媒体又はネットワークを介して受信デバイス20へ伝達することができる。
一実施例によるソースデバイス10は、ビデオソース生成部11、符号化装置12及び
伝送部13を含むことができる。一実施例による受信デバイス20は、受信部21、復号
化装置22及びレンダリング部23を含むことができる。前記符号化装置12は、ビデオ
/画像符号化装置と呼ばれることができ、前記復号化装置22は、ビデオ/画像復号化装
置と呼ばれることができる。伝送部13は、符号化装置12に含まれることができる。受
信部21は、復号化装置22に含まれることができる。レンダリング部23は、ディスプ
レイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントと
して構成されることもできる。
ビデオソース生成部11は、ビデオ/画像のキャプチャ、合成又は生成過程などを介し
てビデオ/画像を取得することができる。ビデオソース生成部11は、ビデオ/画像キャ
プチャデバイス及び/又はビデオ/画像生成デバイスを含むことができる。ビデオ/画像
キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ/画
像を含むビデオ/画像アーカイブなどを含むことができる。ビデオ/画像生成デバイスは
、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、(電子
的に)ビデオ/画像を生成することができる。例えば、コンピュータなどを介して、仮想
のビデオ/画像が生成されることができ、この場合、ビデオ/画像キャプチャ過程は、関
連データが生成される過程に置き換えられることができる。
符号化装置12は、入力ビデオ/画像を符号化することができる。符号化装置12は、
圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる
。符号化装置12は、符号化されたデータ(符号化されたビデオ/画像情報)をビットス
トリーム(bitstream)形式で出力することができる。
伝送部13は、ビットストリーム形式で出力された、符号化されたビデオ/画像情報又
はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介
して受信デバイス20の受信部21に伝達することができる。デジタル記憶媒体は、US
B、SD、CD、DVD、Blu-ray(登録商標:以下同じ)、HDD、SSDなど
のさまざまな記憶媒体を含むことができる。伝送部13は、予め決められたファイルフォ
ーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送
/通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部21
は、前記記憶媒体又はネットワークから前記ビットストリームを抽出/受信して復号化装
置22に伝達することができる。
復号化装置22は、符号化装置12の動作に対応する逆量子化、逆変換、予測などの一
連の手順を行ってビデオ/画像を復号化することができる。
レンダリング部23は、復号化されたビデオ/画像をレンダリングすることができる。
レンダリングされたビデオ/画像は、ディスプレイ部を介して表示されることができる。
画像符号化装置の概要
図2は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
図2に示されているように、画像符号化装置100は、画像分割部110、減算部11
5、変換部120、量子化部130、逆量子化部140、逆変換部150、加算部155
、フィルタリング部160、メモリ170、インター予測部180、イントラ予測部18
5及びエントロピー符号化部190を含むことができる。インター予測部180及びイン
トラ予測部185は、合わせて「予測部」と呼ばれることができる。変換部120、量子
化部130、逆量子化部140及び逆変換部150は、レジデュアル(residual
)処理部に含まれることができる。レジデュアル処理部は減算部115をさらに含むこと
もできる。
画像符号化装置100を構成する複数の構成部の全部又は少なくとも一部は、実施例に
よって一つのハードウェアコンポーネント(例えば、エンコーダ又はプロセッサ)で実現
されることができる。また、メモリ170は、DPB(decoded picture
buffer)を含むことができ、デジタル記憶媒体によって実現できる。
画像分割部110は、画像符号化装置100に入力された入力画像(又は、ピクチャ、
フレーム)を一つ以上の処理ユニット(processing unit)に分割するこ
とができる。一例として、前記処理ユニットは、コーディングユニット(coding
unit、CU)と呼ばれることができる。コーディングユニットは、コーディングツリ
ーユニット(coding tree unit、CTU)又は最大コーディングユニッ
ト(largest coding unit、LCU)をQT/BT/TT(Quad
-tree/binary-tree/ternary-tree)構造によって再帰的
に(recursively)分割することにより取得されることができる。例えば、一
つのコーディングニットは、四分木構造、二分木構造及び/又は三分木構造に基づいて、
下位(deeper)デプスの複数のコーディングユニットに分割されることができる。
コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び/又
は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユ
ニットを基に、本開示によるコーディング手順が行われることができる。最大コーディン
グユニットが最終コーディングユニットとして使用されることができ、最大コーディング
ユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニ
ットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変
換及び/又は復元などの手順を含むことができる。他の例として、前記コーディング手順
の処理ユニットは、予測ユニット(PU:Prediction Unit)又は変換ユ
ニット(TU:Transform Unit)であることができる。前記予測ユニット
及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティ
ショニングされることができる。前記予測ユニットは、サンプル予測の単位であることが
でき、前記変換ユニットは、変換係数を誘導する単位、及び/又は変換係数からレジデュ
アル信号(residual signal)を誘導する単位であることができる。
予測部(インター予測部180又はイントラ予測部185)は、処理対象ブロック(現
在ブロック)に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測さ
れたブロック(predicted block)を生成することができる。予測部は、
現在ブロック又はCU単位でイントラ予測が適用されるか、或いはインター予測が適用さ
れるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報
を生成してエントロピー符号化部190に伝達することができる。予測に関する情報は、
エントロピー符号化部190で符号化されてビットストリーム形式で出力されることがで
きる。
イントラ予測部185は、現在ピクチャ内のサンプルを参照して現在ブロックを予測す
ることができる。参照される前記サンプルは、イントラ予測モード及び/又はイントラ予
測技法に従って、前記現在ブロックの周辺(neighbor)に位置することもでき、
或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複
数の方向性モードを含むことができる。非方向性モードは、例えば、DCモード及びPl
anarモードを含むことができる。方向性モードは、予測方向の細かい程度に応じて、
例えば33個の方向性予測モード又は65個の方向性予測モードを含むことができる。た
だし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モ
ードが使用できる。イントラ予測部185は、周辺ブロックに適用された予測モードを用
いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部180は、参照ピクチャ上で動きベクトルによって特定される参照ブロ
ック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘
導することができる。この時、インター予測モードで伝送される動き情報の量を減らすた
めに、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック
、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクト
ル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方
向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測
の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial
neighboring block)と、参照ピクチャに存在する時間周辺ブロック
(temporal neighboring block)を含むことができる。前記
参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同
一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック
(collocated reference block)、コロケートCU(col
CU)などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは
、コロケートピクチャ(collocated picture、colPic)と呼ば
れることができる。例えば、インター予測部180は、周辺ブロックに基づいて動き情報
候補リストを構成し、前記現在ブロックの動きベクトル及び/又は参照ピクチャインデッ
クスを導出するために、どの候補が使用されるかを指示する情報を生成することができる
。様々な予測モードに基づいて、インター予測が行われることができ、例えばスキップモ
ードとマージモードの場合に、インター予測部180は、周辺ブロックの動き情報を現在
ブロックの動き情報として用いることができる。スキップモードの場合、マージモードと
は異なり、レジデュアル信号が伝送されないことができる。動き情報予測(motion
vector prediction、MVP)モードの場合、周辺ブロックの動きベ
クトルを動きベクトル予測子(motion vector predictor)とし
て用い、動きベクトル差分(motion vector difference)及び
動きベクトル予測子に対するインジケータ(indicator)を符号化することによ
り、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は
、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
予測部は、後述する様々な予測方法及び/又は予測技法に基づいて予測信号を生成する
ことができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はイン
ター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用
することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適
用する予測方法は、CIIP(combined inter and intra p
rediction)と呼ばれることができる。また、予測部は、現在ブロックの予測の
ためにイントラブロックコピー(intra block copy、IBC)を行うこ
ともできる。イントラブロックコピーは、例えば、SCC(screen conten
t coding)などのようにゲームなどのコンテンツ画像/動画コーディングのため
に使用できる。IBCは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内
の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。IBCが適
用される場合、現在ピクチャ内の参照ブロックの位置は前記所定の距離に該当するベクト
ル(ブロックベクトル)として符号化されることができる。IBCは、基本的に、現在ピ
クチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点において、
インター予測と同様に行われることができる。すなわち、IBCは、本開示で説明される
インター予測技法のうちの少なくとも一つを用いることができる。
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或い
はレジデュアル信号を生成するために用いられることができる。減算部115は、入力画
像信号(原本ブロック、原本サンプルアレイ)から、予測部から出力された予測信号(予
測されたブロック、予測サンプルアレイ)を減算して、レジデュアル信号(residu
al signal、残余ブロック、残余サンプルアレイ)を生成することができる。生
成されたレジデュアル信号は、変換部120に伝送されることができる。
変換部120は、レジデュアル信号に変換技法を適用して変換係数(transfor
m coefficients)を生成することができる。例えば、変換技法は、DCT
(Discrete Cosine Transform)、DST(Discrete
Sine Transform)、KLT(Karhunen-Loeve Tran
sform)、GBT(Graph-Based Transform)、又はCNT(
Conditionally Non-linear Transform)のうちの少
なくとも一つを含むことができる。ここで、GBTは、ピクセル間の関係情報をグラフで
表現するとするとき、このグラフから得られた変換を意味する。CNTは、以前に復元さ
れたすべてのピクセル(all previously reconstructed
pixel)を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変
換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方
形ではない、可変サイズのブロックにも適用されることもできる。
量子化部130は、変換係数を量子化してエントロピー符号化部190に伝送すること
ができる。エントロピー符号化部190は、量子化された信号(量子化された変換係数に
関する情報)を符号化してビットストリーム形式で出力することができる。前記量子化さ
れた変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部13
0は、係数スキャン順序(scan order)に基づいて、ブロック形式の量子化さ
れた変換係数を1次元ベクトル形式で再整列することができ、前記1次元ベクトル形式の
量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成するこ
ともできる。
エントロピー符号化部190は、例えば、指数ゴロム(exponential Go
lomb)、CAVLC(context-adaptive variable le
ngth coding)、CABAC(context-adaptive bina
ry arithmetic coding)などの様々な符号化方法を行うことができ
る。エントロピー符号化部190は、量子化された変換係数の他に、ビデオ/画像復元に
必要な情報(例えば、シンタックス要素(syntax elementsの値など)を
一緒に又は別々に符号化することもできる。符号化された情報(例えば、符号化されたビ
デオ/画像情報)は、ビットストリーム形式でNAL(network abstrac
tion layer)ユニット単位で伝送又は保存されることができる。前記ビデオ/
画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、
シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様
々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像
情報は、一般制限情報(general constraint informatio
n)をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報
及び/又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットス
トリームに含まれることができる。
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル
記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び/又は通信網
などを含むことができ、デジタル記憶媒体は、USB、SD、CD、DVD、Blu-r
ay、HDD、SSDなどのさまざまな記憶媒体を含むことができる。エントロピー符号
化部190から出力された信号を伝送する伝送部(図示せず)及び/又は保存する保存部
(図示せず)が画像符号化装置100の内/外部要素として備えられることができ、又は
伝送部はエントロピー符号化部190の構成要素として備えられることもできる。
量子化部130から出力された、量子化された変換係数は、レジデュアル信号を生成す
るために用いられることができる。例えば、量子化された変換係数に逆量子化部140及
び逆変換部150を介して逆量子化及び逆変換を適用することにより、レジデュアル信号
(レジデュアルブロック又はレジデュアルサンプル)を復元することができる。
加算部155は、復元されたレジデュアル信号をインター予測部180又はイントラ予
測部185から出力された予測信号に加えることにより、復元(reconstruct
ed)信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができ
る。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルが
ない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部1
55は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は
、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ
、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用される
こともできる。
フィルタリング部160は、復元信号にフィルタリングを適用して主観的/客観的画質
を向上させることができる。例えば、フィルタリング部160は、復元ピクチャに様々な
フィルタリング方法を適用して、修正された(modified)復元ピクチャを生成す
ることができ、前記修正された復元ピクチャをメモリ170、具体的にはメモリ170の
DPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキ
ングフィルタリング、サンプル適応的オフセット(sample adaptive o
ffset)、適応的ループフィルター(adaptive loop filter)
、双方向フィルター(bilateral filter)などを含むことができる。フ
ィルタリング部160は、各フィルタリング方法についての説明で後述するようにフィル
タリングに関する様々な情報を生成してエントロピー符号化部190に伝達することがで
きる。フィルタリングに関する情報は、エントロピー符号化部190で符号化されてビッ
トストリーム形式で出力されることができる。
メモリ170に伝送された、修正された復元ピクチャは、インター予測部180で参照
ピクチャとして使用されることができる。画像符号化装置100は、これを介してインタ
ー予測が適用される場合、画像符号化装置100と画像復号化装置での予測ミスマッチを
回避することができ、符号化効率も向上させることができる。
メモリ170内のDPBは、インター予測部180での参照ピクチャとして使用するた
めに、修正された復元ピクチャを保存することができる。メモリ170は、現在ピクチャ
内の動き情報が導出された(又は符号化された)ブロックの動き情報及び/又は既に復元
されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報
は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために
、インター予測部180に伝達されることができる。メモリ170は、現在ピクチャ内の
復元されたブロックの復元サンプルを保存することができ、イントラ予測部185に伝達
することができる。
画像復号化装置の概要
図3は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
図3に示されているように、画像復号化装置200は、エントロピー復号化部210、
逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ2
50、インター予測部260及びイントラ予測部265を含んで構成できる。インター予
測部260及びイントラ予測部265を合わせて「予測部」と呼ばれることができる。逆
量子化部220、逆変換部230はレジデュアル処理部に含まれることができる。
画像復号化装置200を構成する複数の構成部の全部又は少なくとも一部は、実施例に
よって一つのハードウェアコンポーネント(例えば、デコーダ又はプロセッサ)で実現さ
れることができる。また、メモリ170は、DPBを含むことができ、デジタル記憶媒体
によって実現できる。
ビデオ/画像情報を含むビットストリームを受信した画像復号化装置200は、図1の
画像符号化装置100で行われたプロセスに対応するプロセスを実行して画像を復元する
ことができる。例えば、画像復号化装置200は、画像符号化装置で適用された処理ユニ
ットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えば
コーディングユニットであることができる。コーディングユニットは、コーディングツリ
ーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装
置200を介して復号化及び出力された復元画像信号は、再生装置(図示せず)を介して
再生できる。
画像復号化装置200は、図2の画像符号化装置から出力された信号をビットストリー
ム形式で受信することができる。受信された信号は、エントロピー復号化部210を介し
て復号化できる。例えば、エントロピー復号化部210は、前記ビットストリームをパー
シングして画像復元(又はピクチャ復元)に必要な情報(例えば、ビデオ/画像情報)を
導出することができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピ
クチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオ
パラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むこ
とができる。また、前記ビデオ/画像情報は、一般制限情報(general cons
traint information)をさらに含むことができる。画像復号化装置は
、画像を復号化するために、前記パラメータセットに関する情報及び/又は前記一般制限
情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情
報及び/又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前
記ビットストリームから取得されることができる。例えば、エントロピー復号化部210
は、指数ゴロム符号化、CAVLC又はCABACなどのコーディング方法に基づいてビ
ットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュ
アルに関する変換係数の量子化された値を出力することができる。より詳細には、CAB
ACエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビ
ン(bin)を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象
ブロックの復号化情報、或いは以前ステップで復号化されたシンボル/ビンの情報を用い
てコンテキスト(context)モデルを決定し、決定されたコンテキストモデルに基
づいてビン(bin)の発生確率を予測してビンの算術復号化(arithmetic
decoding)を行うことにより、各シンタックス要素の値に該当するシンボルを生
成することができる。この時、CABACエントロピー復号化方法は、コンテキストモデ
ルの決定後、次のシンボル/ビンのコンテキストモデルのために、復号化されたシンボル
/ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化
部210で復号化された情報のうち、予測に関する情報は、予測部(インター予測部26
0及びイントラ予測部265)に提供され、エントロピー復号化部210でエントロピー
復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情
報は、逆量子化部220に入力されることができる。また、エントロピー復号化部210
で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部240に
提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部(
図示せず)が画像復号化装置200の内/外部要素としてさらに備えられることができ、
又は受信部はエントロピー復号化部210の構成要素として備えられることもできる。
一方、本開示による画像復号化装置は、ビデオ/画像/ピクチャ復号化装置と呼ばれる
ことができる。前記画像復号化装置は、情報デコーダ(ビデオ/画像/ピクチャ情報デコ
ーダ)及び/又はサンプルデコーダ(ビデオ/画像/ピクチャサンプルデコーダ)を含む
こともできる。前記情報デコーダは、エントロピー復号化部210を含むことができ、前
記サンプルデコーダは、逆量子化部220、逆変換部230、加算部235、フィルタリ
ング部240、メモリ250、インター予測部260及びイントラ予測部265のうちの
少なくとも一つを含むことができる。
逆量子化部220では、量子化された変換係数を逆量子化して変換係数を出力すること
ができる。逆量子化部220は、量子化された変換係数を2次元のブロック形式で再整列
することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順
序に基づいて行われることができる。逆量子化部220は、量子化パラメータ(例えば、
量子化ステップサイズ情報)を用いて、量子化された変換係数に対する逆量子化を行い、
変換係数(transform coefficient)を取得することができる。
逆変換部230では、変換係数を逆変換してレジデュアル信号(レジデュアルブロック
、レジデュアルサンプルアレイ)を取得することができる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプル
を含む予測されたブロック(predicted block)を生成することができる
。予測部は、エントロピー復号化部210から出力された前記予測に関する情報に基づい
て、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるか
を決定することができ、具体的なイントラ/インター予測モード(予測技法)を決定する
ことができる。
予測部が後述の様々な予測方法(技法)に基づいて予測信号を生成することができるの
は、画像符号化装置100の予測部についての説明で述べたのと同様である。
イントラ予測部265は、現在ピクチャ内のサンプルを参照して現在ブロックを予測す
ることができる。イントラ予測部185についての説明は、イントラ予測部265に対し
ても同様に適用されることができる。
インター予測部260は、参照ピクチャ上で動きベクトルによって特定される参照ブロ
ック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘
導することができる。この時、インター予測モードで伝送される動き情報の量を減らすた
めに、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック
、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクト
ル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方
向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測
の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatia
l neighboring block)と参照ピクチャに存在する時間周辺ブロック
(temporal neighboring block)を含むことができる。例え
ば、インター予測部260は、周辺ブロックに基づいて動き情報候補リストを構成し、受
信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び/又は参照ピクチャ
インデックスを導出することができる。様々な予測モード(技法)に基づいてインター予
測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター
予測のモード(技法)を指示する情報を含むことができる。
加算部235は、取得されたレジデュアル信号を予測部(インター予測部260及び/
又はイントラ予測部265を含む)から出力された予測信号(予測されたブロック、予測
サンプルアレイ)に加えることにより、復元信号(復元ピクチャ、復元ブロック、復元サ
ンプルアレイ)を生成することができる。スキップモードが適用された場合のように処理
対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとし
て使用されることができる。加算部155についての説明は、加算部235に対しても同
様に適用されることができる。加算部235は、復元部又は復元ブロック生成部と呼ばれ
ることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイン
トラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピク
チャのインター予測のために使用されることもできる。
フィルタリング部240は、復元信号にフィルタリングを適用して主観的/客観的画質
を向上させることができる。例えば、フィルタリング部240は、復元ピクチャに様々な
フィルタリング方法を適用して、修正された(modified)復元ピクチャを生成す
ることができ、前記修正された復元ピクチャをメモリ250、具体的にはメモリ250の
DPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキ
ングフィルタリング、サンプル適応的オフセット(sample adaptive o
ffset)、適応的ループフィルター(adaptive loop filter)
、双方向フィルター(bilateral filter)などを含むことができる。
メモリ250のDPBに保存された(修正された)復元ピクチャは、インター予測部2
60で参照ピクチャとして使用されることができる。メモリ250は、現在ピクチャ内の
動き情報が導出された(又は復号化された)ブロックの動き情報及び/又は既に復元され
たピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は
、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、
インター予測部260に伝達することができる。メモリ250は、現在ピクチャ内の復元
されたブロックの復元サンプルを保存することができ、イントラ予測部265に伝達する
ことができる。
本明細書において、画像符号化装置100のフィルタリング部160、インター予測部
180及びイントラ予測部185で説明された実施例は、それぞれ画像復号化装置200
のフィルタリング部240、インター予測部260及びイントラ予測部265にも、同様
に又は対応するように適用されることができる。
画像分割の概要
本開示によるビデオ/画像コーディング方法は、次の画像分割構造に基づいて行われる
ことができる。具体的には、後述する予測、レジデュアル処理((逆)変換、(逆)量子
化など)、シンタックス要素コーティング、フィルタリングなどの手順は、前記画像分割
構造に基づいて導出されたCTU、CU(及び/又はTU、PU)に基づいて行われるこ
とができる。画像はブロック単位で分割されることができ、ブロック分割手順は上述した
符号化装置の画像分割部110で行われることができる。分割関連情報は、エントロピー
符号化部190で符号化されてビットストリーム形式で復号化装置に伝達できる。復号化
装置のエントロピー復号化部210は、前記ビットストリームから取得した前記分割関連
情報に基づいて、現在ピクチャのブロック分割構造を導出し、これに基づいて画像復号化
のための一連の手順(例えば、予測、レジデュアル処理、ブロック/ピクチャ復元、イン
ループフィルタリングなど)を行うことができる。
ピクチャは、コーティングツリーユニット(coding tree units、C
TUs)のシーケンスに分割されることができる。図4はピクチャがCTUに分割される
例を示す。CTUはコーティングツリーブロック(CTB)に対応することができる。或
いは、CTUはルマサンプルのコーティングツリーブロックと、対応するクロマサンプル
の二つのコーティングツリーブロックを含むことができる。例えば、三つのサンプルアレ
イを含むピクチャに対して、CTUは、ルマサンプルのN×Nブロックとクロマサンプル
の二つの対応ブロックを含むことができる。
CTU分割の概要
前述したように、コーディングユニットは、コーディングツリーユニット(CTU)又
は最大コーディングユニット(LCU)をQT/BT/TT(Quad-tree/bi
nary-tree/ternary-tree)構造によって再帰的に分割することに
より取得できる。例えば、CTUは、まず、四分木構造に分割されることができる。その
後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されるこ
とができる。
四分木による分割は、現在CU(又はCTU)を4等分する分割を意味する。四分木に
よる分割によって、現在CUは、同じ幅と同じ高さを有する4つのCUに分割されること
ができる。現在CUがそれ以上四分木構造に分割されない場合、現在CUは、四分木構造
のリーフノードに該当する。四分木構造のリーフノードに該当するCUは、それ以上分割
されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリー
フノードに該当するCUは、マルチタイプツリー構造によってさらに分割されることがで
きる。
図5はマルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタ
イプツリー構造による分割は、二分木構造による2つの分割と三分木構造による2つの分
割を含むことができる。
二分木構造による2つの分割は、垂直バイナリ分割(vertical binary
splitting、SPLIT_BT_VER)と水平バイナリ分割(horizo
ntal binary splitting、SPLIT_BT_HOR)を含むこと
ができる。垂直バイナリ分割(SPLIT_BT_VER)は、現在CUを垂直方向に二
等分する分割を意味する。図4に示されているように、垂直バイナリ分割によって、現在
CUの高さと同じ高さ及び現在CUの幅の半分の幅を有する2つのCUが生成されること
ができる。水平バイナリ分割(SPLIT_BT_HOR)は、現在CUを水平方向に二
等分する分割を意味する。図5に示されているように、水平バイナリ分割によって、現在
CUの高さの半分の高さをもって現在CUの幅と同じ幅を有する2つのCUが生成される
ことができる。
三分木構造による2つの分割は、垂直ターナリ分割(vertical ternar
y splitting、SPLIT_TT_VER)と水平ターナリ分割(horiz
ontal ternary splitting、SPLIT_TT_HOR)を含む
ことができる。垂直ターナリ分割(SPLIT_TT_VER)は、現在CUを垂直方向
に1:2:1の割合で分割する。図5に示されているように、垂直ターナリ分割によって
、現在CUの高さと同じ高さ及び現在CUの幅の1/4の幅を有する2つのCUと、現在
CUの高さと同じ高さ及び現在CUの幅の半分の幅を有するCUが生成されることができ
る。水平ターナリ分割SPLIT_TT_HORは、現在CUを水平方向に1:2:1の
割合で分割する。図4に示されているように、水平ターナリ分割によって、現在CUの高
さの1/4の高さ及び現在CUの幅と同じ幅を有する2つのCUと、現在CUの高さの半
分の高さ及び現在CUの幅と同じ幅を有する一つのCUが生成されることができる。
図6は本開示によるマルチタイプツリーを伴う四分木(quadtree with
nested multi-type tree)構造でのブロック分割情報のシグナリ
ングメカニズムを例示する図である。
ここで、CTUは四分木のルート(root)ノードとして扱われ、CTUは四分木構
造に初めて分割される。現在CU(CTU又は四分木のノード(QT_node))に対
して四分木分割を行うか否かを指示する情報(例えば、qt_split_flag)が
シグナリングされることができる。例えば、qt_split_flagが第1値(例え
ば、「1」)であれば、現在CUは四分木に分割されることができる。また、qt_sp
lit_flagが第2値(例えば、「0」)であれば、現在CUは、四分木に分割され
ず、四分木のリーフノード(QT_leaf_node)になる。各四分木のリーフノー
ドは、以後、マルチタイプツリー構造にさらに分割されることができる。つまり、四分木
のリーフノードは、マルチタイプツリーのノード(MTT_node)になることができ
る。マルチタイプツリー構造で、現在ノードがさらに分割されるかを指示するために、第
1フラグ(a first flag、例えば、mtt_split_cu_flag)
がシグナリングされることができる。もし当該ノードがさらに分割される場合(例えば、
第1フラグが1である場合)には、分割方向(splitting direction
)を指示するために、第2フラグ(a second flag、例えば、mtt_sp
lit_cu_verticla_flag)がシグナリングされることができる。例え
ば、第2フラグが1である場合には、分割方向は垂直方向であり、第2フラグが0である
場合には、分割方向は水平方向であることができる。その後、分割タイプがバイナリ分割
タイプであるかターナリ分割タイプであるかを指示するために、第3フラグ(a thi
rd flag、例えば、mtt_split_cu_binary_flag)がシグ
ナリングされることができる。例えば、第3フラグが1である場合には、分割タイプはバ
イナリ分割タイプであり、第3フラグが0である場合には、分割タイプはターナリ分割タ
イプであることができる。バイナリ分割又はターナリ分割によって取得されたマルチタイ
プツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることが
できる。しかし、マルチタイプツリーのノードは四分木構造にパーティショニングされる
ことはできない。前記第1フラグが0である場合、マルチタイプツリーの該当ノードは、
それ以上分割されず、マルチタイプツリーのリーフノード(MTT_leaf_node
)になる。マルチタイプツリーのリーフノードに該当するCUは、前述した最終コーディ
ングユニットとして使用できる。
前述したmtt_split_cu_vertical_flag及びmtt_spl
it_cu_binary_flagに基づいて、CUのマルチタイプツリー分割モード
(multi-type tree splitting mode、MttSplit
Mode)が表1のとおりに導出されることができる。以下の説明において、マルチツリ
ー分割モードは、マルチツリー分割タイプ又は分割タイプと略称することができる。
図7は四分木の適用後にマルチタイプツリーが適用されることによりCTUが多重CU
に分割される例を示す。図7において、太いブロックエッジ(bold block e
dge)710は四分木分割を示し、残りのエッジ720はマルチタイプツリー分割を示
す。CUはコーディングブロックCBに対応することができる。一実施例において、CU
は、ルマサンプルのコーディングブロックと、ルマサンプルに対応するクロマサンプルの
二つのコーディングブロックと、を含むことができる。クロマ成分(サンプル)CB又は
TBサイズは、ピクチャ/画像のカラーフォーマット(クロマフォーマット、例えば、4
:4:4、4:2:2、4:2:0など)による成分比に従ってルマ成分(サンプル)C
B又はTBサイズに基づいて導出されることができる。カラーフォーマットが4:4:4
である場合、クロマ成分CB/TBサイズは、ルマ成分CB/TBサイズと同一に設定さ
れることができる。カラーフォーマットが4:2:2である場合、クロマ成分CB/TB
の幅はルマ成分CB/TBの幅の半分に設定されることができ、クロマ成分CB/TBの
高さはルマ成分CB/TBの高さに設定されることができる。カラーフォーマットが4:
2:0である場合、クロマ成分CB/TBの幅はルマ成分CB/TBの幅の半分に設定さ
れることができ、クロマ成分CB/TBの高さはルマ成分CB/TBの高さの半分に設定
されることができる。
一実施例において、ルマサンプル単位を基準にCTUのサイズが128であるとき、C
Uのサイズは、CTUと同じサイズである128×128から4×4までのサイズを有す
ることができる。一実施例において、4:2:0カラーフォーマット(又はクロマフォー
マット)である場合、クロマCBサイズは64×64から2×2までのサイズを持つこと
ができる。
一方、一実施例において、CUサイズとTUサイズとが同じであることができる。又は
、CU領域内に複数のTUが存在することもできる。TUサイズとは、一般的に、ルマ成
分(サンプル)TB(Transform Block)サイズを示すことができる。
前記TUサイズは、予め設定された値である最大許容TBサイズ(maxTbSize
)に基づいて導出されることができる。例えば、前記CUサイズが前記maxTbSiz
eよりも大きい場合、前記CUから、前記maxTbSizeを持つ複数のTU(TB)
が導出され、前記TU(TB)単位で変換/逆変換が行われることができる。例えば、最
大許容ルマTBサイズは64×64であり、最大許容クロマTBサイズは32×32であ
ることができる。もし前記ツリー構造によって分割されたCBの幅又は高さが最大変換幅
又は高さよりも大きい場合、当該CBは、自動的に(又は暗黙的に)水平及び垂直方向の
TBサイズの制限を満足するまで分割されることができる。
また、例えばイントラ予測が適用される場合、イントラ予測モード/タイプは、前記C
U(又はCB)単位で導出され、周辺参照サンプル導出及び予測サンプル生成手順は、T
U(又はTB)単位で行われることができる。この場合、一つのCU(又はCB)領域内
に一つ又は複数のTU(又はTB)が存在することができ、この場合、前記複数のTU(
又はTB)は同じイントラ予測モード/タイプを共有することができる。
一方、マルチタイプツリーを伴った四分木コーディングツリースキームのために、次の
パラメータがSPSシンタックス要素として符号化装置から復号化装置にシグナリングさ
れることができる。例えば、四分木のルートノードのサイズを示すパラメータであるCT
Usize、四分木のリーフノードの最小許容サイズを示すパラメータであるMinQT
Size、二分木のルートノードの最大許容サイズを示すパラメータであるMaxBTS
ize、三分木のルートノードの最大許容サイズを示すパラメータであるMaxTTSi
ze、四分木のリーフノードから分割されるマルチタイプツリーの最大許容階層深さ(m
aximum allowed hierarchy depth)を示すパラメータで
あるMaxMttDepth、二分木の最小許容リーフノードサイズを示すパラメータで
あるMinBtSize、及び三分木の最小許容リーフノードサイズを示すパラメータで
あるMinTtSizeのうちの少なくとも一つがシグナリングされることができる。
4:2:0クロマフォーマットを用いる一実施例において、CTUサイズは128×1
28ルマブロック及びルマブロックに対応する二つの64×64クロマブロックに設定さ
れることができる。この場合、MinQTSizeは16×16に設定され、MaxBt
Sizeは128×128に設定され、MaxTtSzieは64×64に設定され、M
inBtSize及びMinTtSizeは4×4に設定され、MaxMttDepth
は4に設定されことができる。四分木分割は、CTUに適用されて四分木のリーフノード
を生成することができる。四分木のリーフノードはリーフQTノードと呼ばれることがで
きる。四分木のリーフノードは16×16サイズ(例えば、the MinQTSize
)から128×128サイズ(例えば、the CTU size)を持つことができる
。もしリーフQTノードが128×128である場合、さらに二分木/三分木に分割され
ないことができる。これは、この場合に分割されてもMaxBtsize及びMaxTt
szie(例えば、64×64)を超過するためである。これ以外の場合、リーフQTノ
ードは、マルチタイプツリーにさらに分割されることができる。よって、リーフQTノー
ドは、マルチタイプツリーに対するルートノード(root node)であり、リーフ
QTノードは、マルチタイプツリーデプス(mttDepth)0値を持つことができる
。もし、マルチタイプツリーデプスがMaxMttdepth(例えば、4)に到達した
場合、それ以上の追加分割は考慮されないことができる。もし、マルチタイプツリーノー
ドの幅がMinBtSizeと同じであり、2xMinTtSizeと同じかそれより小
さい場合、それ以上の追加的な水平分割は考慮されないことができる。もし、マルチタイ
プツリーノードの高さがMinBtSizeと同じであり、2xMinTtSizeと同
じかそれより小さい場合、それ以上の追加的な垂直分割は考慮されないことができる。こ
のように分割が考慮されない場合、符号化装置は、分割情報のシグナリングを省略するこ
とができる。このような場合、復号化装置は、所定の値に分割情報を誘導することができ
る。
一方、一つのCTUは、ルマサンプルのコーディングブロック(以下、「ルマブロック
」という)と、これに対応するクロマサンプルの二つのコーディングブロック(以下、「
クロマブロック」という)と、を含むことができる。前述したコーディングツリースキー
ムは、現在CUのルマブロック及びクロマブロックに対して同様に適用されることもでき
、個別的に(separate)適用されることもできる。具体的には、一つのCTU内
のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、
この場合のツリー構造は、シングルツリー(SINGLE_TREE)と表すことができ
る。又は、一つのCTU内のルマブロック及びクロマブロックは、個別ブロックツリー構
造に分割されることができ、この場合のツリー構造は、デュアルツリー(DUAL_TR
EE)と表すことができる。つまり、CTUがデュアルツリーに分割される場合、ルマブ
ロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個
に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュ
アルツリールマ(DUAL_TREE_LUMA)と呼ばれることができ、クロマブロッ
クに対するブロックツリー構造は、デュアルツリークロマ(DUAL_TREE_CHR
OMA)と呼ばれることができる。P及びBスライス/タイルグループに対して、一つの
CTU内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つよう
に制限されることができる。しかし、Iスライス/タイルグループに対して、ルマブロッ
ク及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別
ブロックツリー構造が適用される場合、ルマCTB(Coding Tree Bloc
k)は、特定のコーディングツリー構造に基づいてCUに分割され、クロマCTBは、他
のコーディングツリー構造に基づいてクロマCUに分割されることができる。すなわち、
個別ブロックツリー構造が適用されるIスライス/タイルグループ内のCUは、ルマ成分
のコーディングブロック又は2つのクロマ成分のコーディングブロックで構成され、P又
はBスライス/タイルグループのCUは、三つの色成分(ルマ成分及び二つのクロマ成分
)のブロックで構成され得ることを意味することができる。
上記において、マルチタイプツリーを伴った四分木コーディングツリー構造について説
明したが、CUが分割される構造はこれに限定されない。例えば、BT構造及びTT構造
は、多数の分割ツリー(Multiple Partitioning Tree、MP
T)構造に含まれる概念と解釈されることができ、CUはQT構造及びMPT構造によっ
て分割されると解釈することができる。QT構造及びMPT構造によってCUが分割され
る一例において、QT構造のリーフノードが幾つかのブロックに分割されるかに関する情
報を含むシンタックス要素(例えば、MPT_split_type)及びQT構造のリ
ーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタッ
クス要素(例えば、MPT_split_mode)が、シグナリングされることにより
、分割構造が決定されることができる。
別の例において、CUは、QT構造、BT構造又はTT構造とは異なる方法で分割され
ることができる。つまり、QT構造によって下位デプスのCUが上位デプスのCUの1/
4サイズに分割されるか、或いはBT構造によって下位デプスのCUが上位デプスのCU
の1/2サイズに分割されるか、或いはTT構造によって下位デプスのCUが上位デプス
のCUの1/4又は1/2サイズに分割されるのとは異なり、下位デプスのCUは、場合
によって、上位デプスのCUの1/5、1/3、3/8、3/5、2/3又は5/8のサ
イズに分割されることができ、CUが分割される方法は、これに限定されない。
このように、前記マルチタイプツリーを伴った四分木コーディングブロック構造は、非
常に柔軟なブロック分割構造を提供することができる。一方、マルチタイプツリーに支援
される分割タイプのために、場合によって、異なる分割パターンが潜在的に同一のコーデ
ィングブロック構造の結果を導出することができる。符号化装置と復号化装置は、このよ
うな冗長(redundant)分割パターンの発生を制限することにより、分割情報の
データ量を減らすことができる。
また、本明細書によるビデオ/画像の符号化及び復号化において、画像処理単位は階層
的構造を持つことができる。一つのピクチャは、一つ以上のタイル、ブリック、スライス
、及び/又はタイルグループに区分できる。一つのスライスは一つ以上のブリックを含む
ことができる。一つのブリックは、タイル内の一つ以上のCTU行(row)を含むこと
ができる。スライスはピクチャの整数個のブリックを含むことができる。一つのタイルグ
ループは一つ以上のタイルを含むことができる。一つのタイルは一つ以上のCTUを含む
ことができる。前記CTUは一つ以上のCUに分割されることができる。タイルは、ピク
チャ内で複数のCTUからなる特定のタイル行及び特定のタイル列で構成される四角領域
であり得る。タイルグループは、ピクチャ内のタイルラスタースキャンによる整数個のタ
イルを含むことができる。スライスヘッダーは、該当スライス(スライス内のブロック)
に適用できる情報/パラメータを運ぶことができる。符号化装置又は復号化装置がマルチ
コアプロセッサを有する場合、前記タイル、スライス、ブリック及び/又はタイルグルー
プに対する符号化/復号化手順は並列処理できる。
本開示において、スライス又はタイルグループの呼称又は概念は混用できる。すなわち
、タイルグループヘッダーは、スライスヘッダーと呼ばれることができる。ここで、スラ
イスは、intra(I)slice、predictive(P)slice、及びb
i-predictive(B)sliceを含むスライスタイプのうちの一つのタイプ
を有することができる。Iスライス内のブロックに対しては、予測のためにインター予測
は使用されず、イントラ予測のみ使用されることができる。もちろん、この場合にも、予
測なしに原本サンプル値をコーディングしてシグナリングすることもできる。Pスライス
内のブロックに対しては、イントラ予測又はインター予測が使用でき、インター予測が使
用される場合には、単(uni)予測のみ使用できる。一方、Bスライス内のブロックに
対しては、イントラ予測又はインター予測が使用でき、インター予測が使用される場合に
は、最大双(bi)予測まで使用できる。
符号化装置は、ビデオ画像の特性(例えば、解像度)に応じて、或いはコーディングの
効率又は並列処理を考慮して、タイル/タイルグループ、ブリック、スライス、最大及び
最小コーディングユニットサイズを決定することができる。そして、これに関する情報又
はこれを誘導し得る情報がビットストリームに含まれることができる。
復号化装置は、現在ピクチャのタイル/タイルグループ、ブリック、スライス、タイル
内のCTUが多数のコーディングユニットに分割されたかなどを示す情報を取得すること
ができる。符号化装置及び復号化装置は、このような情報を特定の条件下でのみシグナリ
ングすることにより、符号化効率を高めることもできる。
前記スライスヘッダー(スライスヘッダーシンタックス)は、前記スライスに共通に適
用可能な情報/パラメータを含むことができる。APS(APSシンタックス)又はPP
S(PPSシンタックス)は、一つ以上のピクチャに共通に適用可能な情報/パラメータ
を含むことができる。SPS(SPSシンタックス)は、一つ以上のシーケンスに共通に
適用可能な情報/パラメータを含むことができる。VPS(VPSシンタックス)は、多
重レイヤーに共通に適用可能な情報/パラメータを含むことができる。DPS(DPSシ
ンタックス)は、ビデオ全般に共通に適用可能な情報/パラメータを含むことができる。
DPSは、CVS(coded video sequence)の結合に関連する情報
/パラメータを含むことができる。
また、例えば、前記タイル/タイルグループ/ブリック/スライスの分割及び構成など
に関する情報は、前記上位レベルシンタックスを介して符号化段階において構成されてビ
ットストリーム形式で復号化装置へ伝達できる。
量子化/逆量子化
上述したように、符号化装置の量子化部は、変換係数に量子化を適用して、量子化され
た変換係数を導出することができ、符号化装置の逆量子化部又は復号化装置の逆量子化部
は、量子化された変換係数に逆量子化を適用して変換係数を導出することができる。
動画像/静止画像の符号化及び復号化では、量子化率を変化させることができ、変化し
た量子化率を用いて圧縮率を調節することができる。実現の観点では、複雑度を考慮して
量子化率を直接使用する代わりに、量子化パラメータ(QP、quantization
parameter)を使用することができる。例えば、0から63までの整数値の量
子化パラメータを使用することができ、各量子化パラメータ値は、実際の量子化率に対応
することができる。また、ルマ成分(ルマサンプル)に対する量子化パラメータQPY
、クロマ成分(クロマサンプル)に対する量子化パラメータQPCとは異なるように設定
されることができる。
量子化過程は、変換係数Cを入力とし、量子化率(Qstep)で除算して、これに基
づいて、量子化された変換係数C`を得ることができる。この場合、計算複雑度を考慮し
て量子化率にスケールを乗じて整数形態にし、スケール値に対応する値だけシフト演算を
行うことができる。量子化率とスケール値との積に基づいて量子化スケール(quant
ization scale)が導出できる。すなわち、QPに応じて、前記量子化スケ
ールが導出できる。前記変換係数Cに前記量子化スケールを適用して、これに基づいて、
量子化された変換係数C’を導出することもできる。
逆量子化過程は、量子化過程の逆過程であり、量子化された変換係数C’に量子化率Q
stepを乗じて、これに基づいて、復元された変換係数C’’を得ることができる。こ
の場合、前記量子化パラメータに応じてレベルスケール(level scale)が導
出でき、前記量子化された変換係数C’に前記レベルスケールを適用して、これに基づい
て、復元された変換係数C’を導出すことができる。復元された変換係数C’’は、変換
及び/又は量子化過程における損失(loss)により最初変換係数Cとは多少差異があ
りうる。したがって、符号化装置においても、復号化装置と同様に逆量子化を行うことが
できる。
一方、周波数に応じて量子化強度を調節する適応的周波数別重み付け量子化(adap
tive frequency weighting quantization)技術
が適用できる。前記適応的周波数別重み付け量子化技術は、周波数別に量子化強度を異な
るように適用する方法である。前記適応的周波数別重み付け量子化は、予め定義された量
子化スケーリングマトリクスを用いて各周波数別量子化強度を異なるように適用すること
ができる。つまり、上述した量子化/逆量子化過程は、前記量子化スケーリングマトリク
スをより基にして行われることができる。例えば、現在ブロックのサイズ及び/又は前記
現在ブロックのレジデュアル信号を生成するために、前記現在ブロックに適用された予測
モードがインター予測であるか、又はイントラ予測であるかによって異なる量子化スケー
リングマトリクスが使用できる。前記量子化スケーリングマトリクスは、量子化マトリク
ス又はスケーリングマトリクスと呼ばれることができる。前記量子化スケーリングマトリ
クスは、予め定義されることができる。また、周波数適応的スケーリングのために、前記
量子化スケーリングマトリクスに対する周波数別量子化スケール情報が符号化装置で構成
/符号化されて復号化装置へシグナリングされることができる。前記周波数別量子化スケ
ール情報は量子化スケーリング情報と呼ばれることができる。前記周波数別量子化スケー
ル情報は、スケーリングリストデータ(scaling_list_data)を含むこ
とができる。前記スケーリングリストデータに基づいて、(修正された)前記量子化スケ
ーリングマトリクスが導出されることができる。また、前記周波数別量子化スケール情報
は、前記スケーリングリストデータの存否を指し示す存否フラグ(present fl
ag)情報を含むことができる。又は、前記スケーリングリストデータが上位レベル(例
えば、SPS)でシグナリングされた場合、より下位レベル(例えば、PPS or t
ile group headerなど)で前記スケーリングリストデータが修正される
か否かを指し示す情報などがさらに含まれることができる。
変換/逆変換
前述したように、符号化装置は、イントラ/インター/IBC予測などを介して予測さ
れたブロック(予測サンプル)に基づいてレジデュアルブロック(レジデュアルサンプル
)を導出することができ、導出されたレジデュアルサンプルに変換及び量子化を適用して
、量子化された変換係数を導出することができる。量子化された変換係数に対する情報(
レジデュアル情報)は、レジデュアルコーディングシンタックスに含まれて符号化された
後、ビットストリーム形式で出力されることができる。復号化装置は、前記ビットストリ
ームから前記量子化された変換係数に対する情報(レジデュアル情報)を取得し、復号化
して量子化された変換係数を導出することができる。復号化装置は、量子化された変換係
数に基づいて逆量子化/逆変換を経てレジデュアルサンプルを導出することができる。上
述したように、前記量子化/逆量子化及び/又は変換/逆変換のうちの少なくとも一つは
省略可能である。前記変換/逆変換が省略される場合、前記変換係数は係数又はレジデュ
アル係数と呼ばれることもでき、或いは表現の統一性のために変換係数と依然として呼ば
れることもできる。前記変換/逆変換の省略如何は、変換スキップフラグ(例えば、tr
ansform_skip_flag)に基づいてシグナリングされることができる。t
ransform_skip_flagの第1値(例えば、0)は、変換省略如何が他の
シンタックス要素によって決定されることを示すことができる。transform_s
kip_flagの第2値(例えば、1)は、変換省略(例えば、スキップ)を示すこと
ができる。
前記変換/逆変換は、変換カーネルに基づいて行われることができる。例えば、変換/
逆変換を行うためのMTS(multiple transform selectio
n)スキーム(scheme)が適用できる。この場合、多数の変換カーネルセットのう
ちの一部が選択されて現在ブロックに適用できる。変換カーネルは、変換マトリクスや変
換タイプなど、さまざまな用語で呼ばれることができる。例えば、変換カーネルセットは
、垂直方向変換カーネル(垂直変換カーネル)及び水平方向変換カーネル(水平変換カー
ネル)の組み合わせを示すことができる。
前記変換/逆変換は、CU又はTU単位で行われることができる。すなわち、前記変換
/逆変換は、CU内のレジデュアルサンプル又はTU内のレジデュアルサンプルに対して
適用できる。CUサイズとTUサイズとが同じでもよく、或いはCU領域内に複数のTU
が存在してもよい。一方、CUサイズとは、一般にルマ成分(サンプル)CBサイズを示
すことができる。TUサイズとは、一般にルマ成分(サンプル)TBサイズを示すことが
できる。クロマ成分(サンプル)CB又はTBサイズは、カラーフォーマット(クロマフ
ォーマット、例えば、4:4:4、4:2:2、4:2:0など)による成分比に応じて
、ルマ成分(サンプル)CB又はTBサイズに基づいて導出されることができる。前記T
Uサイズは、maxTbSizeに基づいて導出されることができる。例えば、前記CU
サイズが前記maxTbSizeより大きい場合、前記CUから前記maxTbSize
の複数のTU(TB)が導出され、前記TU(TB)単位で変換/逆変換が行われること
ができる。前記maxTbSizeは、ISPなどの様々なイントラ予測タイプの適用如
何判断などに考慮できる。前記maxTbSizeに対する情報は、予め決定されてもよ
く、或いは符号化装置で生成及び符号化されて符号化装置へシグナリングされてもよい。
エントロピーコーディング
先立って図2を参照して説明したように、ビデオ/画像情報の一部又は全部は、エント
ロピー符号化部190によってエントロピー符号化でき、図3を参照して説明したビデオ
/画像情報の一部又は全部は、エントロピー復号化部310によってエントロピー復号化
できる。この場合、前記ビデオ/画像情報は、シンタックス要素(syntax ele
ment)単位で符号化/復号化できる。本明細書において、情報が符号化/復号化され
るとは、本段落で説明される方法によって符号化/復号化されることを含むことができる
図8は一つのシンタックス要素を符号化するためのCABACのブロック図を示す。C
ABACの符号化過程は、まず、入力信号が2進値ではなく、シンタックス要素である場
合に2値化(binarization)を介して入力信号を2進値に変換することがで
きる。入力信号が既に2進値である場合には、2値化を経ることなくバイパスできる。こ
こで、2進値を構成するそれぞれの2進数0又は1をビン(bin)と呼ぶことができる
。例えば、二値化後の2進ストリング(ビンストリング)が110である場合、1、1、
0のそれぞれを一つのビンと呼ぶことができる。一つのシンタックス要素に対する前記ビ
ンは、当該シンタックス要素の値を示すことができる。
2値化されたビンは、正規(regular)コーディングエンジン又はバイパス(b
ypass)コーディングエンジンに入力されることができる。正規コーディングエンジ
ンは、当該ビンに対して確率値を反映するコンテキスト(context)モデルを割り
当て、割り当てられたコンテキストモデルに基づいて当該ビンを符号化することができる
。正規コーディングエンジンでは、各ビンに対するコーディングを行った後、当該ビンに
対する確率モデルを更新することができる。このようにコーディングされるビンを、コン
テキストコーディングされたビン(context-coded bin)と呼ぶことが
できる。バイパスコーディングエンジンは、入力されたビンに対して確率を推定する手順
と、コーディング後に当該ビンに適用した確率モデルを更新する手順を省略することがで
きる。バイパスコーディングエンジンの場合、コンテキストを割り当てる代わりに均一な
確率分布(例えば、50:50)を適用して入力されるビンをコーディングすることによ
り、コーディング速度を向上させることができる。このようにコーディングされるビンを
バイパスビン(bypass bin)と呼ぶことができる。コンテキストモデルは、コ
ンテキストコーディング(正規コーディング)されるビン別に割当及び更新されることが
でき、コンテキストモデルは、ctxidx又はctxIncに基づいて指示されること
ができる。ctxidxはctxIncに基づいて導出されることができる。具体的には
、例えば、前記正規コーディングされるビンのそれぞれに対するコンテキストモデルを指
すコンテキストインデックス(ctxidx)は、context index inc
rement(ctxInc)及びcontext index offset(ctx
IdxOffset)の和として導出されることができる。ここで、前記ctxIncは
、各ビン別に異なるように導出されることができる。前記ctxIdxOffsetは、
前記ctxIdxの最小値(the lowest value)で表されることができ
る。前記ctxIdxの最小値は、前記ctxIdxの初期値(initValue)と
呼ばれることができる。前記ctxIdxOffsetは、一般に、他のシンタックス要
素に対するコンテキストモデルとの区分のために用いられる値であり、一つのシンタック
ス要素に対するコンテキストモデルは、ctxincに基づいて区分/導出されることが
できる。
エントロピー符号化手順で正規コーディングエンジンを介して符号化を行うのか、バイ
パスコーディングエンジンを介して符号化を行うのかを決定し、コーディング経路をスイ
ッチングすることができる。エントロピー復号化は、エントロピー符号化と同様の過程を
逆順に行うことができる。
上述したエントロピーコーディングは、例えば、図9及び図10のように行われること
ができる。図9及び図10を参照すると、符号化装置(エントロピー符号化部)は、画像
/ビデオ情報に関するエントロピーコーディング手順を行うことができる。前記画像/ビ
デオ情報は、パーティショニング関連情報、予測関連情報(例えば、インター/イントラ
予測区分情報、イントラ予測モード情報、インター予測モード情報など)、レジデュアル
情報、インループフィルタリング関連情報などを含むことができ、或いは、それに関する
様々なシンタックス要素を含むことができる。前記エントロピーコーディングは、シンタ
ックス要素単位で行われることができる。図9のステップS910~S920は、上述し
た図2の符号化装置のエントロピー符号化部190によって行われることができる。
符号化装置は、対象シンタックス要素に対する2値化を行うことができる(S910)
。ここで、前記2値化は、Truncated Rice binarization
process、Fixed-length binarization proces
sなどの多様な2値化方法に基づくことができ、対象シンタックス要素に対する2値化方
法は、予め定義されることができる。前記2値化手順は、エントロピー符号化部190内
の2値化部191によって行われることができる。
符号化装置は、前記対象シンタックス要素に対するエントロピー符号化を行うことがで
きる(S920)。符号化装置は、CABAC(context-adaptive a
rithmetic coding)又はCAVLC(context-adaptiv
e variable length coding)などのエントロピーコーディング
技法に基づいて、対象シンタックス要素のビンストリングに対して、正規コーディングベ
ース(コンテキストベース)又はバイパスコーディングベースの符号化を行うことができ
、その出力は、ビットストリームに含まれることができる。前記エントロピー符号化手順
は、エントロピー符号化部190内のエントロピー符号化処理部192によって行われる
ことができる。前述したように、前記ビットストリームは、(デジタル)記憶媒体又はネ
ットワークを介して復号化装置へ伝達できる。
図11及び図12を参照すると、復号化装置(エントロピー復号化部)は、符号化され
た画像/ビデオ情報を復号化することができる。前記画像/ビデオ情報は、パーティショ
ニング関連情報、予測関連情報(例えば、インター/イントラ予測区分情報、イントラ予
測モード情報、インター予測モード情報など)、レジデュアル情報、インループフィルタ
リング関連情報などを含むことができ、或いは、それに関する様々なシンタックス要素を
含むことができる。前記エントロピーコーディングは、シンタックス要素単位で行われる
ことができる。S1110~S1120は、上述した図3の復号化装置のエントロピー復
号化部210によって行われることができる。
復号化装置は、対象シンタックス要素に対する2値化を行うことができる(S1110
)。ここで、前記2値化は、Truncated Rice binarization
process、Fixed-length binarization proce
ssなどの多様な2値化方法に基づくことができ、対象シンタックス要素に対する2値化
方法は、予め定義されることができる。復号化装置は、前記2値化手順を介して、対象シ
ンタックス要素の利用可能値に対する利用可能ビンストリング(ビンストリング候補)を
導出することができる。前記2値化手順は、エントロピー復号化部210内の2値化部2
11によって行われることができる。
復号化装置は、前記対象シンタックス要素に対するエントロピー復号化を行うことがで
きる(S1120)。復号化装置は、ビットストリーム内の入力ビットから前記対象シン
タックス要素に対する各ビンを順次復号化及びパーシングしながら、導出されたビンスト
リングを当該シンタックス要素に対する利用可能ビンストリングと比較することができる
。もし、導出されたビンストリングが前記利用可能ビンストリングのうちの一つと同じで
あれば、当該ビンストリングに対応する値が当該シンタックス要素の値として導出される
ことができる。もし、そうでなければ、前記ビットストリーム内の次のビットをさらにパ
ーシングした後、上述した手順を再び行うことができる。このような過程によってビット
ストリーム内に特定の情報(特定のシンタックス要素)に対する開始ビット又は終了ビッ
トを使用しなくても、可変長ビットを用いて当該情報をシグナリングすることができる。
これにより、低い値に対しては相対的にさらに少ないビットを割り当てることができ、全
般的なコーディング効率を高めることができる。
復号化装置は、CABAC又はCAVLCなどのエントロピーコーディング技法に基づ
いてビットストリームから前記ビンストリング内の各ビンに対してコンテキストベース又
はバイパスベースの復号化を行うことができる。前記エントロピー復号化手順は、エント
ロピー復号化部210内のエントロピー復号化処理部212によって行われることができ
る。前記ビットストリームは、上述したように画像/ビデオ復号化のための様々な情報を
含むことができる。上述したように、前記ビットストリームは、(デジタル)記憶媒体又
はネットワークを介して復号化装置へ伝達されることができる。
本明細書において、符号化装置から復号化装置への情報のシグナリングを示すために、
シンタックス要素を含むテーブル(シンタックステーブル)が使用できる。本明細書で使
用される前記シンタックス要素を含むテーブルのシンタックス要素の順序は、ビットスト
リームからシンタックス要素のパーシング順序(parsing order)を示すこ
とができる。符号化装置は、前記シンタックス要素がパーシング順序に従って復号化装置
でパーシングできるようにシンタックステーブルを構成及び符号化することができ、復号
化装置は、ビットストリームから当該シンタックステーブルのシンタックス要素をパーシ
ング順序に従ってパーシング及び復号化してシンタックス要素の値を取得することができ
る。
一般的な画像/ビデオコーディング手順
画像/ビデオコーディングにおいて、画像/ビデオを構成するピクチャは、一連の復号
化順序(decoding order)に従って符号化/復号化されることができる。
復号化されたピクチャの出力順序(output order)に該当するピクチャ順序
(picture order)は、前記復号化順序とは異なるように設定されることが
できる。これに基づいて、インター予測の際に、順方向予測だけでなく逆方向予測も行う
ことができる。
図13は本明細書の実施例が適用可能な概略的なピクチャ復号化手順の例を示す。図1
3において、S1310は、図3で上述した復号化装置のエントロピー復号化部210で
行われることができ、S1320は、イントラ予測部265及びインター予測部260を
含む予測部で行われることができ、S1330は、逆量子化部220及び逆変換部230
を含むレジデュアル処理部で行われることができ、S1340は、加算部235で行われ
ることができ、S1350は、フィルタリング部240で行われることができる。S13
10は、本明細書で説明された情報復号化手順を含むことができ、S1320は、本明細
書で説明されたインター/イントラ予測手順を含むことができ、S1330は、本明細書
で説明されたレジデュアル処理手順を含むことができ、S1340は、本明細書で説明さ
れたブロック/ピクチャ復元手順を含むことができ、S1350は、本明細書で説明され
たインループフィルタリング手順を含むことができる。
図13を参照すると、ピクチャ復号化手順は、図3についての説明で示されているよう
に、概略的に、ビットストリームから(復号化による)画像/ビデオ情報取得手順(S1
310)、ピクチャ復元手順(S1320~S1340)、及び復元されたピクチャに対
するインループフィルタリング手順(S1350)を含むことができる。前記ピクチャ復
元手順は、本明細書で説明されたインター/イントラ予測(S1320)及びレジデュア
ル処理(S1330、量子化された変換係数に対する逆量子化、逆変換)過程を経て取得
した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピク
チャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を
介して、修正(modified)された復元ピクチャが生成されることができ、前記修
正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復
号化装置の復号ピクチャバッファ又はメモリ250に保存されて以後ピクチャの復号化時
にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前
記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号
化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッフ
ァ又はメモリ250に保存されて以後ピクチャの復号化時にインター予測手順で参照ピク
チャとして使用されることができる。前記インループフィルタリング手順(S1350)
は、上述したように、デブロッキングフィルタリング手順、SAO(sample ad
aptive offset)手順、ALF(adaptive loop filte
r)手順、及び/又はバイラテラルフィルター(bi-lateral filter)
手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキ
ングフィルタリング手順、SAO(sample adaptive offset)手
順、ALF(adaptive loop filter)手順、及びバイラテラルフィ
ルター(bi-lateral filter)手順のうちの一つ又は一部が順次適用さ
れることができ、或いはすべてが順次適用されることもできる。例えば、復元ピクチャに
対してデブロッキングフィルタリング手順が適用された後、SAO手順が行われることが
できる。または、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適
用された後、ALF手順が行われることができる。これは、符号化装置においても同様に
行われることができる。
図14は本明細書の実施例が適用できる概略的なピクチャ符号化手順の例を示す。図1
4において、S1410は、図2で上述した符号化装置のイントラ予測部185又はイン
ター予測部180を含む予測部で行われることができ、S1420は、変換部120及び
/又は量子化部130を含むレジデュアル処理部で行われることができ、S1430は、
エントロピー符号化部190で行われることができ、S1410は、本明細書で説明され
たインター/イントラ予測手順を含むことができ、S1420は、本明細書で説明された
レジデュアル処理手順を含むことができ、S1430は、本明細書で説明された情報符号
化手順を含むことができる。
図14を参照すると、ピクチャ符号化手順は、図2についての説明で示されているよう
に、概略的にピクチャ復元のための情報(例えば、予測情報、レジデュアル情報、パーテ
ィショニング情報など)を符号化してビットストリーム形式で出力する手順だけでなく、
現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィ
ルタリングを適用する手順(optional)を含むことができる。符号化装置は、逆
量子化部140及び逆変換部150を介して、量子化された変換係数から(修正された)
レジデュアルサンプルを導出することができ、S1410の出力である予測サンプルと前
記(修正された)レジデュアルサンプルに基づいて復元ピクチャを生成することができる
。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと
同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修
正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモ
リ170に保存されることができ、復号化装置での場合と同様に、以後ピクチャの符号化
時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、
場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。
前記インループフィルタリング手順が行われる場合、(インループ)フィルタリング関連
情報(パラメータ)がエントロピー符号化部190で符号化されてビットストリーム形式
で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化
装置と同様の方法でインループフィルタリング手順を行うことができる。
このようなインループフィルタリング手順を介して、ブロッキングアーチファクト(a
rtifact)及びリンギング(ringing)アーチファクトなど、画像/動画像
コーディング時に発生するノイズを低減することができ、主観的/客観的ビジュアルクオ
リティを高めることができる。また、符号化装置と復号化装置の両方でインループフィル
タリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出する
ことができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送
されるべきデータ量を減らすことができる。
上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行
われることができる。各ブロック単位でイントラ予測/インター予測に基づいて復元ブロ
ックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができ
る。現在ピクチャ/スライス/タイルグループがIピクチャ/スライス/タイルグループ
である場合、前記現在ピクチャ/スライス/タイルグループに含まれるブロックは、イン
トラ予測のみに基づいて復元されることができる。一方、現在ピクチャ/スライス/タイ
ルグループがP又はBピクチャ/スライス/タイルグループである場合、前記現在ピクチ
ャ/スライス/タイルグループに含まれるブロックは、イントラ予測又はインター予測に
基づいて復元されることができる。この場合、現在ピクチャ/スライス/タイルグループ
内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対して
はイントラ予測が適用されることもできる。ピクチャの色成分は、ルマ成分及びクロマ成
分を含むことができ、本明細書で明示的に制限しなければ、本明細書で提案される方法及
び実施例は、ルマ成分及びクロマ成分に適用できる。
コーディング階層及び構造の例
本明細書によるコーディングされたビデオ/画像は、例えば、後述するコーディング階
層及び構造に従って処理できる。
図15はコーディングされた画像に対する階層構造を示す図である。コーディングされ
た画像は、画像の復号化処理及びそれ自体を扱うVCL(video coding l
ayer、ビデオコーディング階層)、符号化された情報を伝送し保存する下位システム
、そしてVCLと下位システムとの間に存在し、ネットワーク適応機能を担当するNAL
(network abstraction layer、ネットワーク抽象階層)に区
分されることができる。
VCLでは、圧縮された画像データ(スライスデータ)を含むVCLデータを生成する
か、或いはピクチャパラメータセット(Picture Parameter Set:
PPS)、シーケンスパラメータセット(Sequence Parameter Se
t:SPS)、ビデオパラメータセット(Video Parameter Set:V
PS)などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なSEI
(Supplemental Enhancement Information)メッ
セージを生成することができる。
NALでは、VCLで生成されたRBSP(Raw Byte Sequence P
ayload)にヘッダー情報(NALユニットヘッダー)を付加してNALユニットを
生成することができる。このとき、RBSPは、VCLで生成されたスライスデータ、パ
ラメータセット、SEIメッセージなどをいう。NALユニットヘッダーには、該当NA
Lユニットに含まれるRBSPデータによって特定されるNALユニットタイプ情報を含
むことができる。
図示されているように、NALユニットは、VCLで生成されたRBSPによってVC
L NALユニットとNon-VCL NALユニットに区分されることができる。VC
L NALユニットは、画像に対する情報(スライスデータ)を含んでいるNALユニッ
トを意味することができ、Non-VCL NALユニットは、画像を復号化するために
必要な情報(パラメータセット又はSEIメッセージ)を含んでいるNALユニットを意
味することができる。
上述したVCL NALユニット、Non-VCL NALユニットは、下位システム
のデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができ
る。例えば、NALユニットは、H.266/VVCファイルフォーマット、RTP(R
eal-time Transport Protocol)、TS(Transpor
t Stream)などの所定の規格のデータ形式に変形して様々なネットワークを介し
て伝送されることができる。
上述したように、NALユニットは、当該NALユニットに含まれるRBSPデータ構
造(structure)に応じてNALユニットタイプが特定されることができ、この
ようなNALユニットタイプに対する情報は、NALユニットヘッダーに保存されてシグ
ナリングされることができる。
例えば、NALユニットが画像に対する情報(スライスデータ)を含むか否かによって
、大きくVCL NALユニットタイプとNon-VCL NALユニットタイプに分類
されることができる。VCL NALユニットタイプは、VCL NALユニットが含む
ピクチャの性質及び種類などによって分類されることができ、Non-VCL NALユ
ニットタイプは、パラメータセットの種類などによって分類されることができる。
以下に、Non-VCL NALユニットタイプが含むパラメータセットの種類などに
よって特定されたNALユニットタイプの一例を羅列する。
-APS(Adaptation Parameter Set) NAL unit
:APSを含むNALユニットに対するタイプ
-DPS(Decoding Parameter Set) NAL unit:D
PSを含むNALユニットに対するタイプ
-VPS(Video Parameter Set) NALユニット:VPSを含
むNALユニットに対するタイプ
-SPS(Sequence Parameter Set) NAL unit:S
PSを含むNALユニットに対するタイプ
-PPS(Picture Parameter Set) NALユニット:PPS
を含むNALユニットに対するタイプ
上述したNALユニットタイプは、NALユニットタイプのためのシンタックス情報を
有し、前記シンタックス情報は、NALユニットヘッダーに保存されてシグナリングされ
ることができる。例えば、前記シンタックス情報はnal_unit_typeであるこ
とができ、NALユニットタイプはnal_unit_typeの値で特定できる。
前記スライスヘッダー(スライスヘッダーシンタックス)は、前記スライスに共通に適
用可能な情報/パラメータを含むことができる。前記APS(APSシンタックス)又は
PPS(PPSシンタックス)は、一つ以上のスライス又はピクチャに共通に適用可能な
情報/パラメータを含むことができる。前記SPS(SPSシンタックス)は、一つ以上
のシーケンスに共通に適用可能な情報/パラメータを含むことができる。前記VPS(V
PSシンタックス)は、多重レイヤーに共通に適用可能な情報/パラメータを含むことが
できる。前記DPS(DPSシンタックス)は、ビデオ全般に共通に適用可能な情報/パ
ラメータを含むことができる。前記DPSは、CVS(coded video seq
uence)の連結(concatenation)に関する情報/パラメータを含むこ
とができる。本明細書において、上位レベルシンタックス(High level sy
ntax、HLS)とは、前記APSシンタックス、PPSシンタックス、SPSシンタ
ックス、VPSシンタックス、DPSシンタックス、及びスライスヘッダーシンタックス
のうちの少なくとも一つを含むことができる。
本明細書において、符号化装置から復号化装置へ符号化されてビットストリーム形式で
シグナリングされる画像/ビデオ情報は、ピクチャ内のパーティショニング関連情報、イ
ントラ/インター予測情報、レジデュアル情報、インループフィルタリング情報などを含
むだけでなく、前記スライスヘッダーに含まれた情報、前記APSに含まれた情報、前記
PPSに含まれた情報、SPSに含まれた情報、及び/又はVPSに含まれた情報を含む
ことができる。
イントラ予測の概要
以下、上述した符号化装置及び復号化装置が行うイントラ予測についてより詳細に説明
する。イントラ予測は、現在ブロックの属するピクチャ(以下、現在ピクチャ)内の参照
サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができ
る。
図16を参照して説明する。現在ブロック1601にイントラ予測が適用される場合、
現在ブロック1601のイントラ予測に使用する周辺参照サンプルが導出されることがで
きる。前記現在ブロックの周辺参照サンプルは、nW×nHサイズの現在ブロックの左側
(left)境界に隣接するサンプル1611及び左下側(bottom-left)に
隣接するサンプル1612を含む合計2×nH個のサンプル、現在ブロックの上側(to
p)境界に隣接するサンプル1621及び右上側(top-right)に隣接するサン
プル1622を含む合計2×nW個のサンプル、並びに現在ブロックの左上側(top-
light)に隣接する一つのサンプル1631を含むことができる。又は、前記現在ブ
ロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプル
を含むこともできる。
また、前記現在ブロックの周辺基準サンプルは、nW×nHサイズの現在ブロックの右
側(right)境界に隣接する合計nH個のサンプル1641、現在ブロックの下側(
bottom)境界に隣接する合計nW個のサンプル1651、及び現在ブロックの右下
側(bottom-right)に隣接する一つのサンプル1642を含むこともできる
ただし、現在ブロックの周辺参照サンプルのうちの一部は、まだ復号化されていないか
、或いは利用可能でない可能性がある。この場合、復号化装置は、利用可能でないサンプ
ルを利用可能なサンプルで置き換える(substitution)ことにより、予測に
使用する周辺参照サンプルを構成することができる。又は、利用可能なサンプルの補間(
interpolation)を介して、予測に使用する周辺参照サンプルを構成するこ
とができる。
周辺参照サンプルが導出された場合、(i)現在ブロックの周辺(neighbori
ng)参照サンプルの平均(average)或いはインターポーレーション(inte
rpolation)に基づいて予測サンプルを誘導することができ、(ii)現在ブロ
ックの周辺参照サンプルのうちの予測サンプルに対して特定(予測)の方向に存在する参
照サンプルに基づいて前記予測サンプルを誘導することもできる。(i)の場合は非方向
性モード又は非角度モード、(ii)の場合は方向性(directional)モード
又は角度(angular)モードと呼ばれることができる。また、前記周辺参照サンプ
ルのうち、前記現在ブロックの予測サンプルを基準に、前記現在ブロックのイントラ予測
モードの予測方向の反対方向に位置する前記第2周辺サンプルと前記第1周辺サンプルと
の補間を介して、前記予測サンプルが生成されることもできる。上述した場合は、線形補
間イントラ予測(Linear interpolation intra predi
ction、LIP)と呼ぶことができる。また、線形モデル(linear mode
l)を用いてルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。こ
の場合は、LMモードと呼ばれることができる。また、フィルタリングされた周辺参照サ
ンプルに基づいて前記現在ブロックの臨時予測サンプルを導出し、前記既存の周辺参照サ
ンプル、すなわちフィルタリングされていない周辺参照サンプルのうちの前記イントラ予
測モードに従って導出された少なくとも一つの参照サンプルと前記臨時予測サンプルとを
加重和(weighted sum)して前記現在ブロックの予測サンプルを導出するこ
ともできる。上述した場合は、PDPC(Position dependent in
tra prediction)と呼ばれることができる。また、現在ブロックの周辺多
重参照サンプルラインの中から、最も予測精度の高い参照サンプルラインを選択して、当
該ラインにおいて予測方向に位置する参照サンプルを用いて予測サンプルを導出し、この
とき、使用された参照サンプルラインを復号化装置に指示(シグナリング)する方法でイ
ントラ予測符号化を行うことができる。上述した場合は、multi-referenc
e line(MRL)intra prediction又はMRLベースのイントラ
予測と呼ばれることができる。また、現在ブロックを垂直又は水平のサブパーティション
に分けて同一のイントラ予測モードに基づいてイントラ予測を行うが、前記サブパーティ
ション単位で周辺参照サンプルを導出して用いることができる。すなわち、この場合、現
在ブロックに対するイントラ予測モードが前記サブパーティションに同一に適用されるが
、前記サブパーティション単位で周辺参照サンプルを導出して用いることにより、場合に
よってイントラ予測性能を高めることができる。このような予測方法は、intra s
ub-partitions(ISP)又はISPベースのイントラ予測と呼ばれること
ができる。このようなイントラ予測方法は、イントラ予測モード(例えば、DCモード、
Planarモード及び方向性モード)と区分してイントラ予測タイプと呼ばれることが
できる。前記イントラ予測タイプは、イントラ予測技法又は付加イントラ予測モードなど
の様々な用語で呼ばれることができる。例えば、前記イントラ予測タイプ(又は付加イン
トラ予測モードなど)は、上述したLIP、PDPC、MRL、ISPのうちの少なくと
も一つを含むことができる。前記LIP、PDPC、MRL、ISPなどの特定のイント
ラ予測タイプを除いた一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれる
ことができる。ノーマルイントラ予測タイプは、上述した特定のイントラ予測タイプが適
用されない場合を指すことができ、上述したイントラ予測モードに基づいて予測が行われ
ることができる。一方、必要に応じて、導出された予測サンプルに対する後処理フィルタ
リングが行われることもできる。
具体的には、イントラ予測手順は、イントラ予測モード/タイプ決定ステップ、周辺参
照サンプル導出ステップ、イントラ予測モード/タイプベースの予測サンプル導出ステッ
プを含むことができる。さらに、必要に応じて、導出された予測サンプルに対する後処理
フィルタリング(post-filtering)ステップが行われることもできる。
一方、上述したイントラ予測タイプの他にも、ALWIP(affine linea
r weighted intra prediction)が使用されることができる
。前記ALWIPは、LWIP(linear weighted intra pre
diction)又はMIP(matrix weighted intra pred
iction又はmatrix based intra prediction)と呼
ばれることもできる。前記MIPが現在ブロックに対して適用される場合、i)平均化(
averaging)手順が行われた周辺参照サンプルを用いてii)マトリクスベクト
ルマルチプリケーション(matrix-vector-multiplication
)手順を行い、iii)必要に応じて水平/垂直補間(interpolation)手
順をさらに行うことにより、前記現在ブロックに対する予測サンプルを導出することがで
きる。前記MIPのために使用されるイントラ予測モードは、上述したLIP、PDPC
、MRL、ISPイントラ予測、又はノーマルイントラ予測で使用されるイントラ予測モ
ードとは異なるように構成できる。前記MIPのためのイントラ予測モードは、MIPイ
ントラ予測モード、MIP予測モード又はMIPモードと呼ばれることができる。例えば
、前記MIPのためのイントラ予測モードに応じて、前記マトリクスベクトルマルチプリ
ケーションで使用されるマトリクス及びオフセットが異なるように設定されることができ
る。ここで、前記マトリクスは(MIP)重みマトリクスと呼ばれることができ、前記オ
フセットは(MIP)オフセットベクトル又は(MIP)バイアス(bias)ベクトル
と呼ばれることができる。具体的なMIP方法については後述する。
イントラ予測に基づくブロック復元手順及び符号化装置内のイントラ予測部は、概略的
に例を挙げて以下を含むことができる。S1710は、符号化装置のイントラ予測部18
5によって行われることができ、S1720は、符号化装置の減算部115、変換部12
0、量子化部130、逆量子化部140及び逆変換部150のうちの少なくとも一つを含
むレジデュアル処理部によって行われることができる。具体的には、S1720は、符号
化装置の減算部115によって行われることができる。S1730で、予測情報は、イン
トラ予測部185によって導出され、エントロピー符号化部190によって符号化される
ことができる。S1730で、レジデュアル情報は、レジデュアル処理部によって導出さ
れ、エントロピー符号化部190によって符号化されることができる。前記レジデュアル
情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記
レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。
上述したように、前記レジデュアルサンプルは、符号化装置の変換部120を介して変換
係数に導出され、前記変換係数は、量子化部130を介して量子化された変換係数として
導出されることができる。前記量子化された変換係数に関する情報が、レジデュアルコー
ディング手順を介してエントロピー符号化部190で符号化されることができる。
符号化装置は、現在ブロックに対するイントラ予測を行うことができる(S1710)
。符号化装置は、現在ブロックに対するイントラ予測モード/タイプを導出し、現在ブロ
ックの周辺参照サンプルを導出することができ、前記イントラ予測モード/タイプ及び前
記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成する。ここで、
イントラ予測モード/タイプの決定、周辺参照サンプルの導出、及び予測サンプルの生成
手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよ
い。例えば、図示されてはいないが、符号化装置のイントラ予測部185は、イントラ予
測モード/タイプ決定部、参照サンプル導出部、予測サンプル導出部を含むことができ、
イントラ予測モード/タイプ決定部で前記現在ブロックに対するイントラ予測モード/タ
イプを決定し、参照サンプル導出部で前記現在ブロックの周辺参照サンプルを導出し、予
測サンプル導出部で前記現在ブロックの予測サンプルを導出することができる。一方、後
述する予測サンプルフィルタリング手順が行われる場合、イントラ予測部185は、予測
サンプルフィルター部をさらに含むこともできる。符号化装置は、複数のイントラ予測モ
ード/タイプのうち、前記現在ブロックに対して適用されるモード/タイプを決定するこ
とができる。符号化装置は、前記イントラ予測モード/タイプに対するRDコストを比較
し、前記現在ブロックに対する最適なイントラ予測モード/タイプを決定することができ
る。
一方、符号化装置は、予測サンプルフィルタリング手順を行うこともできる。予測サン
プルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予測サンプ
ルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリン
グされることができる。場合によっては、前記予測サンプルフィルタリング手順は省略可
能である。
符号化装置は、(フィルタリングされた)予測サンプルに基づいて前記現在ブロックに
対するレジデュアルサンプルを生成することができる(S1720)。符号化装置は、現
在ブロックの原本サンプルにおける前記予測サンプルを位相に基づいて比較し、前記レジ
デュアルサンプルを導出することができる。
符号化装置は、前記イントラ予測に関する情報(予測情報)、及び前記レジデュアルサ
ンプルに関するレジデュアル情報を含む画像情報を符号化することができる(S1730
)。前記予測情報は、前記イントラ予測モード情報、前記イントラ予測タイプ情報を含む
ことができる。符号化装置は、符号化された画像情報がビットストリーム形式で出力され
ることができる。出力されたビットストリームは、記憶媒体又はネットワークを介して復
号化装置へ伝達されることができる。
前記レジデュアル情報は、後述するレジデュアルコーディングシンタックスを含むこと
ができる。符号化装置は、前記レジデュアルサンプルを変換/量子化して、量子化された
変換係数を導出することができる。前記レジデュアル情報は、前記量子化された変換係数
に対する情報を含むことができる。
一方、上述したように、符号化装置は、復元ピクチャ(復元サンプル及び復元ブロック
を含む)を生成することができる。このために、符号化装置は、前記量子化された変換係
数を再び逆量子化/逆変換処理して(修正された)レジデュアルサンプルを導出すること
ができる。このようにレジデュアルサンプルを変換/量子化した後、再び逆量子化/逆変
換を行う理由は、上述したように復号化装置で導出されるレジデュアルサンプルと同一の
レジデュアルサンプルを導出するためである。符号化装置は、前記予測サンプルと(修正
された)レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを含む
復元ブロックを生成することができる。前記復元ブロックに基づいて前記現在ピクチャに
対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタ
リング手順などがさらに適用できるのは、上述したとおりである。
イントラ予測に基づくビデオ/画像復号化手順及び復号化装置内のイントラ予測部は、
概略的に例を挙げて以下を含むことができる。復号化装置は、前記符号化装置で行われた
動作と対応する動作を行うことができる。
S1810~S1830は、復号化装置のイントラ予測部265によって行われること
ができ、S1810の予測情報及びS1840のレジデュアル情報は、復号化装置のエン
トロピー復号化部210によってビットストリームから取得できる。復号化装置の逆量子
化部220及び逆変換部230のうちの少なくとも一つを含むレジデュアル処理部は、前
記レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを導出するこ
とができる。具体的には、前記レジデュアル処理部の逆量子化部220は、前記レジデュ
アル情報に基づいて導出された量子化された変換係数に基づいて、逆量子化を行って変換
係数を導出し、前記レジデュアル処理部の逆変換部230は、前記変換係数に対する逆変
換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。S
1850は、復号化装置の加算部235又は復元部によって行われることができる。
具体的には、復号化装置は、受信した予測情報(イントラ予測モード/タイプ情報)に
基づいて、現在ブロックに対するイントラ予測モード/タイプを導出することができる(
S1810)。復号化装置は、前記現在ブロックの周辺参照サンプルを導出することがで
きる(S1820)。復号化装置は、前記イントラ予測モード/タイプ及び前記周辺参照
サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる(S18
30)。この場合、復号化装置は予測サンプルフィルタリング手順を行うことができる。
予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予
測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィ
ルタリングされることができる。場合によっては、予測サンプルフィルタリング手順は省
略可能である。
復号化装置は、受信したレジデュアル情報に基づいて前記現在ブロックに対するレジデ
ュアルサンプルを生成することができる。復号化装置は、前記予測サンプル及び前記レジ
デュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、前記復元
サンプルを含む復元ブロックを導出することができる(S1840)。前記復元ブロック
に基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元
ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述したとおり
である。
ここで、復号化装置のイントラ予測部265は、たとえ図示されてはいないが、イント
ラ予測モード/タイプ決定部、参照サンプル導出部、予測サンプル導出部を含むことがで
き、イントラ予測モード/タイプ決定部は、エントロピー復号化部210で取得されたイ
ントラ予測モード/タイプ情報に基づいて前記現在ブロックに対するイントラ予測モード
/タイプを決定し、参照サンプル導出部は、前記現在ブロックの周辺参照サンプルを導出
し、予測サンプル導出部は、前記現在ブロックの予測サンプルを導出することができる。
一方、上述した予測サンプルフィルタリング手順が行われる場合、イントラ予測部265
は、予測サンプルフィルター部をさらに含むこともできる。
前記イントラ予測モード情報は、例えば、MPM(most probable mo
de)が前記現在ブロックに適用されるのか、それともリメイニングモード(remai
ning mode)が適用されるのかを示すフラグ情報(例えば、intra_lum
a_mpm_flag)を含むことができ、前記MPMが前記現在ブロックに適用される
場合、前記予測モード情報は、前記イントラ予測モード候補(MPM候補)のうちのいず
れか一つを指すインデックス情報(例えば、intra_luma_mpm_idx)を
さらに含むことができる。前記イントラ予測モード候補(MPM候補)は、MPM候補リ
スト又はMPMリストから構成されることができる。また、前記MPMが前記現在ブロッ
クに適用されない場合、前記イントラ予測モード情報は、前記イントラ予測モード候補(
MPM候補)を除いた残りのイントラ予測モードのうちのいずれか一つを指すリメイニン
グモード情報(例えば、intra_luma_mpm_remainder)をさらに
含むことができる。復号化装置は、前記イントラ予測モード情報に基づいて前記現在ブロ
ックのイントラ予測モードを決定することができる。上述したMIPのために、別途のM
PMリストが構成されることができる。
さらに、前記イントラ予測タイプ情報は、様々な形態で実現できる。一例として、前記
イントラ予測タイプ情報は、前記イントラ予測タイプのうちのいずれか一つを指示するイ
ントラ予測タイプインデックス情報を含むことができる。他の例として、前記イントラ予
測タイプ情報は、前記MRLが前記現在ブロックに適用されるか、及び適用される場合に
は幾番目の参照サンプルラインが用いられるかを示す参照サンプルライン情報(例えば、
intra_luma_ref_idx)、前記ISPが前記現在ブロックに適用される
かを示すISPフラグ情報(例えば、intra_subpartitions_mod
e_flag)、前記ISPが適用される場合にサブパーティションが分割タイプを指示
するISPタイプ情報(例えば、intra_subpartitions_split
_flag)、PDCPの適用如何を示すフラグ情報、又はLIPの適用如何を示すフラ
グ情報のうちの少なくとも一つを含むことができる。また、前記イントラ予測タイプ情報
は、前記現在ブロックにMIPが適用されるか否かを示すMIPフラグを含むことができ
る。
前記イントラ予測モード情報及び/又は前記イントラ予測タイプ情報は、本明細書で説
明したコーディング方法を介して符号化/復号化されることができる。例えば、前記イン
トラ予測モード情報及び/又は前記イントラ予測タイプ情報は、truncated(r
ice)binary codeに基づいてエントロピーコーディング(例えば、CAB
AC、CAVLC)コーディングを介して符号化/復号化されることができる。
ACT(Adaptive Color Transform)の概要
ACT(Adaptive Color Transform)は、カラーコンポーネ
ント間の不要な重複を除去するための色空間(color space)変換(conv
ersion)技術であって、HEVCスクリーンコンテンツ拡張バージョンで活用され
たことがある。これはまた、VVCも適用できる。
HEVC SCC拡張(HEVC screen content extensio
n)において、予測レジデュアルを既存の色空間からYCgCo色空間へ適応的に変換す
るためにACTが使用されたことがある。それぞれの変換単位に対して一つのACTフラ
グをシグナリングすることにより、2つの色空間のうちの一つの色空間が選択的に選択さ
れることができる。
例えば、フラグの第1値(例えば1)は、変換単位のレジデュアルがオリジナル色空間
で符号化されていることを示すことができる。フラグの第2値(例えば1)は、変換単位
のレジデュアルがYCgCo色空間で符号化されていることを示すことができる。
図19はACTを適用した復号化過程の一実施例を示す図である。図19の実施例にお
いて、動き補償予測(motion compensated prediction)
は、本開示におけるインター予測に対応することができる。
図19に示すように、復元ピクチャ(又は復元ブロック、復元サンプル配列、復元サン
プル、復元されたシグナル)は、予測出力値及びレジデュアル出力値に基づいて生成され
ることができる。ここで、レジデュアル出力値は逆変換出力値であり得る。ここで、逆変
換は正規逆変換であり得る。ここで、正規逆変換はMTSベースの逆変換又は逆LFNS
T(low frequency non-seperable transform)
であり得る。
ここで、予測出力値は、予測ブロック、予測サンプル配列、予測サンプル又は予測信号
であることができ、レジデュアル出力値は、レジデュアルブロック、レジデュアルサンプ
ル配列、レジデュアルサンプル又はレジデュアル信号であることができる。
例えば、符号化装置の側面で、ACTプロセスは、予測サンプルに基づいて誘導された
レジデュアルサンプルに対して行われることができる。そして、ACTプロセスの出力値
は正規変換プロセスの入力として提供されることができる。ここで、正規変換プロセスは
、MTSベースの変換又はLFNSTであり得る。
(逆)ACTに関する情報(パラメータ)は、符号化装置によって生成され、符号化さ
れることができる。そして、ビットストリーム形式で復号化装置へ伝送されることができ
る。
復号化装置は、(逆)ACT関連情報(パラメータ)を取得し、パーシングし、復号化
することができ、(逆)ACTに関連する情報(パラメータ)に基づいて逆ACTを行う
ことができる。
逆ACTに基づいて、(修正された)レジデュアルサンプル(又はレジデュアルブロッ
ク)が誘導されることができる。例えば、量子化された(変換)係数に逆量子化を適用す
ることにより、(変換)係数が誘導されることができる。そして、(変換)係数に逆変換
を行うことにより、レジデュアルサンプルが誘導されることができる。そして、レジデュ
アルサンプルに逆ACTを適用することにより、(修正された)レジデュアルサンプルが
取得されることができる。(逆)ACTに関する情報(パラメータ)については詳細に後
述する。
一実施例において、HEVCで使用されるコア変換関数が色空間変換のためのコア変換
関数(変換カーネル)として使用できる。例えば、下記数式のような順方向変換及び逆方
向変換のための行列が使用できる。
ここで、C0、C1及びC2はG、B、Rに対応することができる。ここで、Gは緑(
green)色成分、Bは青(blue)色成分、Rは赤(red)色成分である。そし
て、C0’、C1’及びC2’はY、Cg、Coに対応することができる。ここで、Yは
輝度、Cgは緑色色差、Coはオレンジ色色差成分である。
さらに、色変換以前及び以後のレジデュアルの動的範囲変化を補償するために、変換レ
ジデュアルに(-5、-5、-3)だけのQP調整が適用できる。QP調整の詳細な事項
は後述する。
一方、一実施例による符号化及び復号過程において、ACTが適用できる場合、以下の
制限が適用できる。
-デュアルツリー符号化/復号化の場合、ACTが不活性化される。例えば、ACTは
シングルツリー符号化/復号化に対してのみ適用できる。
-ISPの符号化及び復号化が適用される場合、ACTは不活性化できる。
-BDPCMが適用されたクロマブロックに対して、ACTは不活性化できる。BDP
CMが適用されたルマブロックに対してのみ、ACTが活性化できる。
-ACTの適用が可能な場合、CCLMは不活性化できる。
図20はACTに関連するシンタックス要素がシグナリングされるシーケンスパラメー
タセットシンタックステーブルの一実施例を示す図である。
図21~図27はACTに関連するシンタックス要素がシグナリングされる符号化単位
のシンタックステーブルの一実施例を連続的に示す図である。
図20に示すように、復号化過程でACTが活性化されるか否かを示すACT活性化フ
ラグとして、sps_act_enabled_flag(2010)が使用できる。
sps_act_enabled_flagの第1値(例えば0)は、ACTが使用さ
れず、符号化単位でACTの適用如何を示すフラグcu_act_enabled_fl
ag(2110、2710)が符号化単位に対するシンタックスで提供されないことを示
すことができる。
sps_act_enabled_flagの第2値(例えば1)は、ACTが使用で
き、cu_act_enabled_flagが符号化単位に対するシンタックスで提供
できることを示すことができる。
sps_act_enabled_flagがビットストリームで取得されない場合、
sps_act_enabled_flagの値は第1値(例えば0)に誘導されること
ができる。
また、図21に示すように、現在符号化単位のレジデュアルがYCgCo色空間で符号
化されたかを示すACTフラグとして、cu_act_enabled_flag(21
10、2710)が使用できる。
cu_act_enabled_flagの第1値(例えば0)は、現在符号化単位の
レジデュアルがオリジナル色空間で符号化されたことを示すことができる。cu_act
_enabled_flagの第2値(例えば1)は、現在符号化単位のレジデュアルが
YCgCo色空間で符号化されたことを示すことができる。
cu_act_enabled_flagがビットストリームで提供されない場合、こ
れは第1値(例えば0)に誘導されることができる。ここで、オリジナル色空間はRGB
色空間であり得る。
ACT QPオフセットを用いた変換単位のQP誘導方法
一実施例において、変換係数に対するスケーリングプロセスにおける量子化パラメータ
の誘導プロセスとQp更新プロセスが、次のように行われることができる。例えば、量子
化パラメータ誘導プロセスが、次のパラメータを用いて行われることができる。
-現在ピクチャの左上側ルマサンプルに対する現在符号化ブロックの左上側ルマサンプ
ルの相対座標を示すルマ座標(xCb,yCb)、
-現在符号化ブロックの幅をルマサンプル単位で表す変数cbWidth、
-現在符号化ブロックの高さをルマサンプル単位で表す変数cbHeight
-現在符号化ツリーノードを分割するためにシングルツリー(SINGLE_TREE
)又はデュアルツリーが使用されたか否かを表し、デュアルツリーが使用される場合、ル
マ成分デュアルツリー(DAUL_TREE_LUMA)なのか或いはクロマ成分デュア
ルツリー(DAUL_TREE_CHROMA)なのかを表す変数treeType
本プロセスにおいて、ルマ量子化パラメータQp’Y並びにクロマ量子化パラメータQ
p’Cb、Qp’Cr及びQp’CbCrが誘導されることができる。
変数ルマ位置(xQg,yQg)は、現在ピクチャの左上側サンプルに対応する現在量
子化グループの左上側ルマサンプルの位置を示すことができる。ここで、水平(hori
zontal)位置xQg及び垂直(vertical)位置yQgは、それぞれ変数C
uQgTopLeftX及び変数CuQgTopLeftYの値と同一に設定されること
ができる。CuQgTopLeftX及びCuQgTopLeftYは、図28のような
符号化ツリーシンタックス(Coding tree syntax)において所定の値
として定義されることができる。
ここで、現在量子化グループは、符号化ツリーブロック内の四角領域であることができ
、同一のqPY_PRED値を共有することができる。その幅及び高さは、左上側ルマサンプル
位置がCuQgTopLeftX及びCuQgTopLeftYにそれぞれ割り当てられ
る符号化ツリーノードの幅及び高さと同じであり得る。
treeTypeがSINGLE_TREE又はDUAL_TREE_LUMAである
場合、ルマ量子化パラメータ予測値qPY_PREDは、次のステップのように誘導できる。
1.変数qPY_PREDは、次のように誘導される。
(条件1)以下の条件のいずれか一つが真である場合、qPY_PREDの値はSliceQ
Yと同じ値に設定されることができる(ここで、SliceQpYは、ピクチャ内のすべ
てのスライスに対する量子化パラメータQpYの初期値を示し、これはビットストリーム
から取得できる)。そうでなければ、qPY_PREDの値は、復号化順序による直前の量子化
グループの最終ルマ符号化単位のルマ量子化パラメータQpYの値に設定されることがで
きる。
-(条件1-1)現在量子化グループがスライスにおける最初の量子化グループである
場合
-(条件1-2)現在量子化グループがタイルにおける最初の量子化グループである場
-(条件1-3)現在量子化グループがタイルにおけるCTB行での最初の量子化グル
ープであり、所定の同期化が発生する場合(例えば、entropy_coding_s
ync_enabled_flagの値が1である場合)
2.変数qPY_Aの値は、次のように誘導できる。
(条件2)以下の条件の少なくとも一つが真である場合、qPY_Aの値は、qPY_PRED
の値に設定されることができる。そうでなければ、qPY_Aの値は、ルマサンプル位置(
xQg-1,yQg)をカバーするルマ符号化ブロックを含む符号化単位のルマ量子化パ
ラメータQpYの値に設定されることができる。
-(条件2-1)サンプル位置(xCb,yCb)で識別されるブロックに対して、サ
ンプル位置(xQg-1,yQg)で識別されるブロックが利用可能隣接ブロックでない
場合、
-(条件2-2)ルマサンプル位置(xQg-1,yQg)をカバーするルマ符号化ブ
ロックを含むCTBが、ルマサンプル位置(xCb,yCb)における現在ルマ符号化ブ
ロックを含むCTBと同一でない場合、例えば、以下のすべての条件が真である場合、
-(条件2-2-1)(xQg-1)>>CtbLog2SizeYの値が(xCb)
>>CtbLog2SizeYと異なる
-(条件2-2-2)(yQg)>>CtbLog2SizeYの値が(yCb)>>
CtbLog2SizeYと異なる
3.変数qPY_Bの値は、次のように誘導できる。
(条件3)以下の条件の少なくとも一つが真である場合、qPY_Bの値は、qPY_PRED
の値に設定されることができる。そうでなければ、qPY_Bの値は、ルマサンプル位置(
xQg,yQg-1)をカバーするルマ符号化ブロックを含む符号化単位のルマ量子化パ
ラメータQpYの値に設定されることができる。
-(条件3-1)サンプル位置(xCb,yCb)で識別されるブロックに対して、サ
ンプル位置(xQg,yQg-1)で識別されるブロックが利用可能隣接ブロックでない
場合、
-(条件3-2)ルマサンプル位置(xQg,yQg-1)をカバーするルマ符号化ブ
ロックを含むCTBが、ルマサンプル位置(xCb,yCb)における現在ルマ符号化ブ
ロックを含むCTBと同一でない場合、例えば、以下のすべての条件が真である場合、
-(条件3-2-1)(xQg)>>CtbLog2SizeYの値が(xCb)>>
CtbLog2SizeYと異なる
-(条件3-2-2)(yQg-1)>>CtbLog2SizeYの値が(yCb)
>>CtbLog2SizeYと異なる
4.ルマ量子化パラメータ予測値qPY_PREDは、次のように誘導できる。
以下の条件がすべて真である場合、qPY_PREDは、ルマサンプル位置(xQg,yQg
-1)をカバーするルマ符号化ブロックを含む符号化単位のルマ量子化パラメータQpY
に設定されることができる。
-(条件3-1)サンプル位置(xCb,yCb)で識別されるブロックに対して、サ
ンプル位置(xQg,yQg-1)で識別されるブロックが利用可能隣接ブロックである
場合
-現在量子化グループがタイル内のCTB行における最初の量子化グループである場合
一方、上記条件が全て真でない場合、qPY_PREDは、下記数式のように誘導できる。
[数式3]
qPY_PRED=(qPY_A+qPY_B+1)>>1
変数QpYは、下記数式に従って誘導できる。
[数式4]
QpY=((qPY_PRED+CuQpDeltaVal+64+2*QpBdOffse
t)%(64+QpBdOffset))-QpBdOffset
ここで、CuQpDeltaValは、符号化単位に対するルマ量子化パラメータとそ
の予測値との差分を表す。この値はビットストリームから取得できる。QpBdOffs
etは、ルマ及びクロマ量子化パラメータ範囲オフセットを表す。QpBdOffset
は、所定の定数に予め設定されるか、或いはビットストリームから取得され得る。例えば
、QpBdOffsetは、ルマ又はクロマサンプルのビットデプスを示すシンタックス
要素の値に所定の定数を掛けることにより計算できる。ルマ量子化パラメータQp’Y
、下記数式に従って誘導できる。
[数式5]
Qp′Y=QpY+QpBdOffset
クロマ配列のタイプを表す変数ChromaArrayTypeの値が第1値(例えば
0)ではなく、treeTypeがSINGLE_TREE又はDUAL_TREE_C
HROMAである場合、以下の処理が行われることができる。
-treeTypeの値がDUAL_TREE_CHROMAである場合、変数QpY
の値は、ルマサンプル位置(xCb+cbWidth/2、yCb+cbHeight/
2)をカバーするルマ符号化単位のルマ量子化パラメータQpYと同じ値に設定されるこ
とができる。
-変数qPCb、qPCr及びqPCbCrは、下記数式のように誘導できる。
[数式6]
qPChroma=Clip3(-QpBdOffset,63,QpY
qPCb=ChromaQpTable[0][qPChroma
qPCr=ChromaQpTable[1][qPChroma
qPCbCr=ChromaQpTable[2][qPChroma
Cb及びCr成分のためのクロマ量子化パラメータQp′Cb及びQp′CrとCb-Cr
共同符号化(joint Cb-Cr coding)のためのクロマ量子化パラメータ
Qp′CbCrは、下記数式のように誘導できる。
[数式7]
Qp′Cb=Clip3(-QpBdOffset,63,qPCb+pps_cb_qp
_offset+slice_cb_qp_offset+CuQpOffsetCb)+
QpBdOffset
Qp′Cr=Clip3(-QpBdOffset,63,qPCr+pps_cr_qp
_offset+slice_cr_qp_offset+CuQpOffsetCr)+
QpBdOffset
Qp′CbCr=Clip3(-QpBdOffset,63,qPCbCr+pps_joi
nt_cbcr_qp_offset+slice_joint_cbcr_qp_of
fset+CuQpOffsetCbCr)+QpBdOffset
上記数式において、pps_cb_qp_offset、pps_cr_qp_off
setは、Qp’Cb及びQp’Crを誘導するために使用されるオフセットであり、ピクチ
ャパラメータセットに対するビットストリームから取得されることができる。slice
_cb_qp_offset及びslice_cr_qp_offsetは、Qp’Cb
Qp’Crを誘導するために使用されるオフセットであり、スライスヘッダーに対するビッ
トストリームから取得されることができる。CuQpOffsetCb及びCuQpOff
setCrは、Qp’Cb及びQp’Crを誘導するために使用されるオフセットであり、変換
単位に対するビットストリームから取得されることができる。
また、例えば、変換係数に対する逆量子化プロセスが、以下のパラメータを用いて行わ
れることができる。
-現在ピクチャの左上側ルマサンプルに対する現在ルマ変換ブロックの左上側サンプル
の相対座標を表すルマ座標(xTbY,yTbY)
-変換ブロックの幅を表す変数nTbW
-変換ブロックの高さを表す変数nTbH
-現在ブロックの色成分を表す変数cIdx
本プロセスの出力は、スケールされた変換係数の配列dであり得る。ここで、配列dの
大きさは(nTbW)×(nTbH)であり得る。これを構成する個別要素は、d[x]
[y]で識別されることができる。
このために、量子化パラメータqPは、次のように誘導できる。cIdxの値が0であ
る場合、qPは下記数式のように誘導できる。
[数式8]
qP=Qp′Y
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、下記数式のように誘導できる。
[数式9]
qP=Qp′CbCr
そうでなければ、cIdxの値が1である場合、qPは下記数式のように誘導できる。
[数式10]
qP=Qp′Cb
そうでなければ、cIdxの値が2である場合、qPは下記数式のように誘導できる。
[数式11]
qP=Qp′Cr
その後、量子化パラメータqPを、次のように更新できる。そして、変数rectNo
nTsFlag及びbdShiftは、次のように誘導できる。例えば、transfo
rm_skip_flag[xTbY][yTbY][cIdx]の値が0である場合(
例えば、現在変換ブロックに対して変換がスキップされない場合)、下記数式のように誘
導できる。
[数式12]
qP=qP-(cu_act_enabled_flag[xTbY][yTbY]5
:0)
rectNonTsFlag=0
bdShift=10
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合(例えば、現在変換ブロックに対して変換がスキップされ
る場合)、下記数式のように誘導できる。
[数式13]
qP=Max(QpPrimeTsMin,qP)-(cu_act_enabled
_flag[xTbY][yTbY]?5:0)
rectNonTsFlag=((((Log2(nTbW)+Log2(nTbH)
)&1)==1
bdShift=BitDepth+(rectNonTsFlag?1:0)+((
Log2(nTbW)+Log2(nTbH))/2)-+pic_dep_quant
_enabled_flag
ここで、QpPrimeTsMinは、変換スキップモードが適用される場合に許容さ
れる最小量子化パラメータ値を表すことができる。これは、所定の定数に決定されるか、
或いはこれに関するビットストリームのシンタックス要素から誘導されることができる。
ここで、サフィックスY、Cb、Crは、RGB色モデルにおけるG、B、R色成分を
表すか、或いはYCgCo色モデルにおけるY、Cg、Co色成分を表すことができる。
BDPCM(Block Difference Pulse Code Modul
ation)の概要
一実施例による画像符号化装置と画像復号化装置は、レジデュアル信号の差分符号化を
行うことができる。例えば、画像符号化装置は、現在ブロックのレジデュアル信号に対し
て予測信号を減算することにより、レジデュアル信号を符号化することができ、画像復号
化装置は、現在ブロックのレジデュアル信号に予測信号を加算することにより、レジデュ
アル信号を復号化することができる。一実施例による画像符号化装置と画像復号化装置は
、後述するBDPCMを適用することにより、レジデュアル信号の差分符号化を行うこと
ができる。
本開示によるBDPCMは、量子化されたレジデュアルドメイン(quantized
redisual domain)で行われることができる。量子化されたレジデュア
ルドメインは、量子化されたレジデュアル信号(又は量子化されたレジデュアル係数)を
含むことができ、BDPCMを適用する場合、量子化されたレジデュアル信号に対する変
換はスキップされることができる。例えば、BDPCMを適用する場合、レジデュアル信
号に対して変換がスキップされ、量子化が適用されることができる。或いは、量子化され
たレジデュアルドメインは、量子化された変換係数を含むことができる。
BDPCMが適用される一実施例において、画像符号化装置は、イントラ予測モードで
予測された現在ブロックのレジデュアルブロックを誘導し、レジデュアルブロックを量子
化してレジデュアルブロックを誘導することができる。画像符号化装置は、現在ブロック
に対してレジデュアル信号の差分符号化モードが行われる場合、レジデュアルブロックに
対して差分符号化を行うことにより、修正されたレジデュアルブロックを誘導することが
できる。そして、画像符号化装置は、レジデュアル信号の差分符号化モードを示す差分符
号化モード情報と、前記修正されたレジデュアルブロックとを符号化してビットストリー
ムを生成することができる。
より具体的には、現在ブロックにBDPCMが適用される場合、現在ブロックの予測さ
れたサンプルを含む予測されたブロック(予測ブロック)は、イントラ予測によって生成
されることができる。このとき、イントラ予測を行うためのイントラ予測モードは、ビッ
トストリームを介してシグナリングされることもでき、後述するBDPCMの予測方向に
基づいて誘導されることもできる。また、このとき、イントラ予測モードは、垂直予測方
向モード又は水平予測方向モードのうちのいずれか一つに決定されることができる。例え
ば、BDPCMの予測方向が水平方向である場合、イントラ予測モードは、水平予測方向
モードと決定され、現在ブロックの予測ブロックは、水平方向のイントラ予測によって生
成されることができる。或いは、BDPCMの予測方向が垂直方向である場合、イントラ
予測モードは垂直予測方向モードと決定され、現在ブロックの予測ブロックは垂直方向の
イントラ予測によって生成されることができる。水平方向のイントラ予測が適用される場
合、現在ブロックの左側に隣接するピクセルの値が現在ブロックの当該行(row)に含
まれたサンプルの予測されたサンプル値と決定されることができる。垂直方向のイントラ
予測が適用される場合、現在ブロックの上側に隣接するピクセルの値が、現在ブロックの
当該列(column)に含まれたサンプルの予測サンプル値と決定されることができる
。現在ブロックにBDPCMが適用される場合、現在ブロックの予測ブロックを生成する
方法は、画像符号化装置及び画像復号化装置で同様に行われることができる。
現在ブロックにBDPCMが適用される場合、画像符号化装置は、現在ブロックから前
記予測ブロックを減算することにより、現在ブロックのレジデュアルサンプルを含むレジ
デュアルブロックを生成することができる。画像符号化装置は、前記レジデュアルブロッ
クを量子化した後、量子化レジデュアルサンプルと当該量子化レジデュアルサンプルの予
測子(predictor)との差分値(difrence又はdelta)を符号化す
ることができる。画像復号化装置は、ビットストリームから復元された差異値と予測子に
基づいて現在ブロックの量子化レジデュアルサンプルを取得することにより、現在ブロッ
クの量子化レジデュアルブロックを生成することができる。その後、画像復号化装置は、
量子化レジデュアルブロックを逆量子化した後、前記予測ブロックに加算することにより
、現在ブロックを復元することができる。
図29は本開示によってBDPCMのレジデュアルサンプルを符号化する方法を説明す
るための図である。図29のレジデュアルブロック(residual block)は
、画像符号化装置が現在ブロックから予測ブロックを減算することにより生成できる。図
29の量子化レジデュアルブロック(quantized residual bloc
k)は、画像符号化装置が前記レジデュアルブロックを量子化することにより生成できる
。図29において、ri,jは現在ブロック内の(i,j)座標のレジデュアルサンプルの
値を示す。現在ブロックのサイズがM×Nであるとき、i値は0以上M-1以下であり得
る。また、j値は0以上N-1以下であり得る。例えば、レジデュアルは、原本ブロック
と予測ブロックとの差分を示すことができる。例えば、ri,jは、現在ブロック内の(i
,j)座標の原本サンプルの値から予測サンプルの値を差し引くことにより導出できる。
例えば、ri,jは、上側又は左側境界サンプルからのフィルタリングされていないサンプ
ルを用いた、左側隣接ピクセルの値を、予測ブロックを横切るラインに沿ってコピーする
水平イントラ予測、又は上側隣接ラインを予測ブロックの個別ラインにコピーする垂直イ
ントラ予測を行った後の予測レジデュアルであり得る。
図29において、Q(ri,j)は、現在ブロック内の(i,j)座標の量子化レジデュ
アルサンプルの値を示す。例えば、Q(ri,j)はri,jの量子化された値を示すことがで
きる。
BDPCMの予測は、図29の量子化レジデュアルサンプルに対して行われ、修正され
た量子化レジデュアルサンプル(modified quantized residu
al samples)r’を含むM×Nサイズの修正された量子化レジデュアルブロッ
ク(modified quantized residual block)R’が生
成されることができる。
BDPCMの予測方向が水平方向であるとき、現在ブロック内の(i,j)座標の修正
された量子化レジデュアルサンプルの値(r’i,j)は、下記数式のように計算できる。
前記数式14のように、BDPCMの予測方向が水平方向であるとき、(0,j)座標
のr’0,j値は、量子化レジデュアルサンプルの値Q(r0,j)がそのまま割り当てられる
。その他の(i,j)座標のr’i,j値は、(i,j)座標の量子化レジデュアルサンプ
ルの値Q(ri,j)と(i-1,j)座標の量子化レジデュアルサンプルの値Q(ri-1,j
)との差異値として誘導される。つまり、(i,j)座標の量子化レジデュアルサンプル
の値Q(ri,j)を符号化する代わりに、(i-1,j)座標の量子化レジデュアルサン
プルの値Q(ri-1,j)を予測値として用いて計算された差異値を、修正された量子化レ
ジデュアルサンプル値(r’i,j)として誘導した後、r’i,j値を符号化する。
BDPCMの予測方向が垂直方向であるとき、現在ブロック内の(i,j)座標の修正
された量子化レジデュアルサンプルの値(r’i,j)は、下記数式のように計算できる。
前記数式15のように、BDPCMの予測方向が垂直方向であるとき、(i,0)座標
のr’i,0値は、量子化レジデュアルサンプルの値Q(ri,0)がそのまま割り当てられる
。その他の(i,j)座標のr’i,j値は、(i,j)座標の量子化レジデュアルサンプ
ルの値Q(ri,j)と(i,j-1)座標の量子化レジデュアルサンプルの値Q(ri,j-1
)との差異値として誘導される。つまり、(i,j)座標の量子化レジデュアルサンプル
の値Q(ri,j)を符号化する代わりに、(i,j-1)座標の量子化レジデュアルサン
プルの値Q(ri,j-1)を予測値として用いて計算された差異値を、修正された量子化レ
ジデュアルサンプル値(r’i,j)として誘導した後、r’i,j値を符号化する。
前述したように、隣接する量子化レジデュアルサンプル値を予測値として用いて、現在
量子化レジデュアルサンプル値を修正する過程を、BDPCM予測と呼ぶことができる。
最後に、画像符号化装置は、修正された量子化レジデュアルサンプルを含む修正された
量子化レジデュアルブロックを符号化して画像復号化装置に伝送することができる。この
とき、上述したように、修正された量子化レジデュアルブロックに対する変換は行われな
い。
図30は、本開示のBDPCMを行って生成された、修正された量子化レジデュアルブ
ロックを示す。
図30において、Horizontal BDPCMは、BDPCMの予測方向が水平
方向であるとき、前記数式14に従って生成された、修正された量子化レジデュアルブロ
ックを示す。また、Vertical BDPCMは、BDPCMの予測方向が垂直方向
であるとき、前記数式15に従って生成された、修正された量子化レジデュアルブロック
を示す。
図31は、画像符号化装置においてBDPCMを適用して現在ブロックを符号化する手
順を示すフローチャートである。
まず、符号化対象ブロックである現在ブロックが入力されると(S3110)、現在ブ
ロックに対して予測を行って予測ブロックを生成することができる(S3120)。ステ
ップS3120の予測ブロックは、イントラ予測ブロックであり、イントラ予測モードは
、上述したように決定できる。ステップS3120で生成された予測ブロックに基づいて
現在ブロックのレジデュアルブロックを生成することができる(S3130)。例えば、
画像符号化装置は、現在ブロック(原本サンプルの値)から予測ブロック(予測されたサ
ンプルの値)を差し引くことにより、レジデュアルブロック(レジデュアルサンプルの値
)を生成することができる。例えば、ステップS3130の実行によって、図29のレジ
デュアルブロックが生成されることができる。ステップS3130で生成されたレジデュ
アルブロックに対して量子化を行い(S3140)、量子化レジデュアルブロックが生成
され、量子化レジデュアルブロックに対してBDPCM予測が行われることができる(S
3150)。ステップS3140の実行結果として生成された量子化レジデュアルブロッ
クは、図29の量子化レジデュアルブロックであり、ステップS3150のBDPCM予
測結果、予測方向に応じて図30の修正された量子化レジデュアルブロックが生成される
ことができる。ステップS3150のBDPCM予測は、図29及び図30を参照して説
明したので、具体的な説明は省略する。その後、画像符号化装置は、修正された量子化レ
ジデュアルブロックを符号化して(S3160)ビットストリームを生成することができ
る。このとき、修正された量子化レジデュアルブロックに対する変換はスキップされるこ
とができる。
図29乃至図31を参照して説明された画像符号化装置におけるBDPCM動作は、画
像復号化装置で逆に行われることができる。
図32は、画像復号化装置においてBDPCMを適用して現在ブロックを復元する手順
を示すフローチャートである。
画像復号化装置は、ビットストリームから現在ブロックの復元に必要な情報(画像情報
)を取得することができる(S3210)。現在ブロックの復元に必要な情報は、現在ブ
ロックの予測に関する情報(予測情報)、現在ブロックのレジデュアルに関する情報(レ
ジデュアル情報)などを含むことができる。画像復号化装置は、現在ブロックに対する情
報に基づいて現在ブロックに対して予測を行い、予測ブロックを生成することができる(
S3220)。現在ブロックに対する予測はイントラ予測であり、具体的な説明は図31
を参照して説明したのと同様である。図32において、現在ブロックに対する予測ブロッ
クを生成するステップ(S3220)は、現在ブロックのレジデュアルブロックを生成す
るステップS3230乃至S3250に先行して行われるものと図示された。しかし、こ
れに限定されず、現在ブロックのレジデュアルブロックが生成された後に現在ブロックの
予測ブロックが生成されることもできる。或いは、現在ブロックのレジデュアルブロック
と現在ブロックの予測ブロックは同時に生成されることもできる。
画像復号化装置は、ビットストリームから現在ブロックのレジデュアル情報をパーシン
グすることにより、現在ブロックのレジデュアルブロックを生成することができる(S3
230)。ステップS3230で生成されたレジデュアルブロックは、図30に示された
、修正された量子化レジデュアルブロックであり得る。
画像復号化装置は、図30の修正された量子化レジデュアルブロックに対してBDPC
M予測を行い(S3240)、図29の量子化レジデュアルブロックを生成することがで
きる。ステップS3240のBDPCM予測は、図30の修正された量子化レジデュアル
ブロックから図29の量子化レジデュアルブロックを生成する手順であるので、画像符号
化装置で行われるステップS3150の逆過程に対応することができる。例えば、画像復
号化装置は、ビットストリームから取得された差分符号化モード情報(例えば、bdpc
m_flag)が、BDPCMが適用されることによりレジデュアル係数の差分符号化が
行われる差分符号化モードを示せば、レジデュアルブロックに対して差分符号化を行うこ
とにより、修正されたレジデュアルブロックを誘導することができる。画像復号化装置は
、修正対象レジデュアル係数と予測レジデュアル係数を用いて、レジデュアルブロック内
のレジデュアル係数のうちの少なくとも一つの修正対象レジデュアル係数を修正すること
ができる。前記予測レジデュアル係数は、前記ビットストリームから取得された差分符号
化方向情報(例えば、bdpcm_dir_flag)が示す予測方向に基づいて決定さ
れることができる。差分符号化方向情報は、垂直方向及び水平方向のうちのいずれか一方
向を示すことができる。画像復号化装置は、前記修正対象レジデュアル係数と前記予測レ
ジデュアル係数とを加えた値を、前記修正対象レジデュアル係数の位置に割り当てること
ができる。ここで、予測レジデュアル係数は、前記予測方向による順序上、前記修正対象
レジデュアル係数の直前に隣接する係数であり得る。
以下、画像復号化装置で行われるステップS3240のBDPCM予測について、より
詳細に説明する。復号化装置は、先立って符号化装置が行った計算を逆に行うことにより
、量子化レジデュアルサンプルQ(ri,j)を計算することができる。例えば、BDPC
Mの予測方向が水平方向であるとき、画像復号化装置は、数式16を用いて、修正された
量子化レジデュアルブロックから量子化レジデュアルブロックを生成することができる。
数式16に規定されているように、(i,j)座標の量子化レジデュアルサンプルの値
Q(ri,j)は、(0,j)座標から(i,j)座標までの修正された量子化レジデュア
ルサンプルの値を合算することにより計算できる。
或いは、前記数式16の代わりに数式17を用いて(i,j)座標の量子化レジデュア
ルサンプルの値Q(ri,j)を計算することができる。
前記数式17は、数式14に対応する逆過程である。前記数式17によれば、(0,j
)座標の量子化レジデュアルサンプルの値Q(r0,j)は、(0,j)座標の修正された
量子化レジデュアルサンプルの値r’0,jとして誘導される。その他の(i,j)座標の
Q(ri,j)は、(i,j)座標の修正された量子化レジデュアルサンプルの値r’i,j
(i-1,j)座標の量子化レジデュアルサンプルの値Q(ri-1,j)との和として誘導
される。すなわち、(i-1,j)座標の量子化レジデュアルサンプル値Q(ri-1,j
を予測値として用いて差異値r’i,jを合算することにより、量子化レジデュアルサンプ
ル値Q(ri,j)が誘導されることができる。
BDPCMの予測方向が垂直方向であるとき、画像復号化装置は、数式18を用いて、
修正された量子化レジデュアルブロックから量子化レジデュアルブロックを生成すること
ができる。
数式18に規定されているように、(i,j)座標の量子化レジデュアルサンプルの値
Q(ri,j)は、(i,0)座標から(i,j)座標までの修正された量子化レジデュア
ルサンプルの値を合算することにより計算できる。
或いは、前記数式18の代わりに数式19を用いて(i,j)座標の量子化レジデュア
ルサンプルの値Q(ri,j)を計算することができる。
前記数式19は、数式15に対応する逆過程である。前記数式19によれば、(i,0
)座標の量子化レジデュアルサンプルの値Q(ri,0)は、(i,0)座標の修正された
量子化レジデュアルサンプルの値r’i,0として誘導される。その他の(i,j)座標の
Q(ri,j)は、(i,j)座標の修正された量子化レジデュアルサンプルの値r’i,j
と(i,j-1)座標の量子化レジデュアルサンプルの値Q(ri,j-1)との和として誘
導される。すなわち、(i,j-1)座標の量子化レジデュアルサンプルの値Q(ri,j-
1)を予測値として用いて差異値r’i,jを合算することにより、量子化レジデュアルサン
プル値Q(ri,j)が誘導されることができる。
上述した方法によってステップS3240を行い、量子化レジデュアルサンプルで構成
された量子化レジデュアルブロックが生成されると、画像復号化装置は、量子化レジデュ
アルブロックに対して逆量子化を行うことにより(S3250)、現在ブロックのレジデ
ュアルブロックを生成することができる。BDPCMが適用される場合、前述したように
現在ブロックに対する変換はスキップされるので、逆量子化レジデュアルブロックに対す
る逆変換はスキップされることができる。
その後、画像復号化装置は、ステップS3220で生成された予測ブロックと、ステッ
プS3250で生成されたレジデュアルブロックとに基づいて現在ブロックを復元するこ
とができる(S3260)。例えば、画像復号化装置は、予測ブロック(予測されたサン
プルの値)とレジデュアルブロック(レジデュアルサンプルの値)とを加算することによ
り、現在ブロック(復元サンプルの値)を復元することができる。例えば、イントラブロ
ック予測値に、逆量子化された量子化サンプルQ-1(Q(ri,j))が加算されることに
より、復元されたサンプル値を生成することができる。現在ブロックにBDPCMが適用
されるか否かを指示する差分符号化モード情報がビットストリームを介してグナリングさ
れることができる。また、現在ブロックにBDPCMが適用される場合、BDPCMの予
測方向を指示する差分符号化方向情報がビットストリームを介してシグナリングされるこ
とができる。現在ブロックにBDPCMが適用されない場合、前記差分符号化方向情報は
シグナリングされない可能性がある。
図33乃至図35はBDPCMに関する情報をシグナリングするためのシンタックスを
概略的に示す図である。
図33はBDPCM情報をシグナリングするための一実施例によるシーケンスパラメー
タセットのシンタックスを示す図である。一実施例において、時間的ID(Tempor
alId)として0を有する少なくとも一つのアクセスユニット(access uni
t、AU)に含まれるか、或いは外部手段を介して提供された、すべてのSPS RBS
Pは、復号化過程でそれが参照される以前に使用できるように設定できる。そして、SP
S RBSPを含むSPS NALユニットは、これを参照するPPS NALユニット
のnuh_layer_idと同一のnuh_layer_idを持つように設定される
ことができる。CVSにおいて、特定のsps_seq_parameter_set_
id値を持つすべてのSPS NALユニットは、同一のコンテンツを持つように設定で
きる。図33のseq_parameter_set_rbsp()シンタックスには、
上述したsps_transform_skip_enable_flagと、後述する
sps_bdpcm_enabled_flagが開示されている。
シンタックス要素sps_bdpcm_enabled_flagは、イントラコーデ
ィングユニットに対してintra_bdpcm_flagがCUシンタックスで提供さ
れるか否かを示すことができる。例えば、sps_bdpcm_enabled_fla
gの第1値(例えば0)は、イントラコーディングユニットに対してintra_bdp
cm_flagがCUシンタックスで提供されないことを示すことができる。sps_b
dpcm_enabled_flagの第2値(例えば1)は、イントラコーディングユ
ニットに対して、intra_bdpcm_flagがCUシンタックスで提供できるこ
とを示すことができる。一方、sps_bdpcm_enabled_flagが提供さ
れない場合、sps_bdpcm_enabled_flagの値は第1値(例えば0)
に設定されることができる。
図34はBDPCMに対する制限が適用されるか否かをシグナリングするシンタックス
の一実施例を示す図である。一実施例において、符号化/復号化過程における所定の制限
条件が、general_constraint_info()シンタックスを用いてシ
グナリングされることができる。図34のシンタックスを用いて、上述したsps_bd
pcm_enabled_flagの値が0に設定されるべきであるかを示すシンタック
ス要素no_bdpcm_constraint_flagがシグナリングされることが
できる。例えば、no_bdpcm_constraint_flagの第1値(例えば
0)は、このような制限が適用されないことを示すことができる。no_bdpcm_c
onstraint_flagの値が第2値(例えば1)である場合、sps_bdpc
m_enabled_flagの値は第1値(例えば0)に強制できる。
図35は符号化ユニットに対してBDPCMに関する情報をシグナリングするcodi
ng unit()シンタックスの一実施例を示す図である。図35に示すように、co
ding_unit()シンタックスを用いて、シンタックス要素intra_bdpc
m_flagとintra_bdpcm_dir_flagがシグナリングされることが
できる。シンタックス要素はintra_bdpcm_flagは、(x0,y0)に位
置する現在ルマ符号化ブロックにBDPCMが適用されるか否かを示すことができる。
例えば、intra_bdpcm_flagの第1値(例えば0)は、現在ルマ符号化
ブロックにBDPCMが適用されないことを示すことができる。intra_bdpcm
_flagの第2値(例えば1)は、現在ルマ符号化ブロックにBDPCMが適用される
ことを示すことができる。intra_bdpcm_flagは、BDPCMが適用され
ることを示すことにより、変換がスキップされるかと共に、イントラルマ予測モードが後
述のintra_bdpcm_dir_flagによって行われるか否かを示すことがで
きる。
一方、上述した変数BdpcmFlag[x][y]の値は、x=x0..x0+cb
Width-1及びy=y0..y0+cbHeight-1に対して、intra_b
dpcm_flagの値に設定されることができる。
シンタックス要素intra_bdpcm_dir_flagは、BDPCMの予測方
向を示すことができる。例えば、intra_bdpcm_dir_flagの第1値(
例えば0)は、BDPCM予測方向が水平方向であることを示すことができる。intr
a_bdpcm_dir_flagの第2値(例えば1)は、BDPCM予測方向が垂直
方向であることを示すことができる。
一方、変数BdpcmDir[x][y]の値は、x=x0..x0+cbWidth
-1及びy=y0..y0+cbHeight-1に対して、intra_bdpcm_
dir_flagの値に設定されることができる。
クロマブロックに対するイントラ予測
現在ブロックにイントラ予測が行われる場合、現在ブロックのルマ成分ブロック(ルマ
ブロック)に対する予測、及びクロマ成分ロック(クロマブロック)に対する予測が行わ
れることができ、この場合、クロマブロックに対するイントラ予測モードは、ルマブロッ
クに対するイントラ予測モードとは別個に設定されることができる。
例えば、クロマブロックに対するイントラ予測モードは、イントラクロマ予測モード情
報に基づいて指示されることができ、前記イントラクロマ予測モード情報は、intra
_chroma_pred_modeシンタックス要素の形態でシグナリングされること
ができる。一例として、前記イントラクロマ予測モード情報は、Planarモード、D
Cモード、垂直(vertical)モード、水平(horizontal)モード、D
M(Derived Mode)、CCLM(Cross-component lin
ear model)モードのうちのいずれか一つを指すことができる。ここで、Pla
narモードは0番イントラ予測モード、前記DCモードは1番イントラ予測モード、前
記垂直モードは26番イントラ予測モード、前記水平モードは10番イントラ予測モード
をそれぞれ示すことができる。DMはdirect modeとも呼ばれることができる
。CCLMはLM(linear model)とも呼ばれることができる。CCLMは
L_CCLM、T_CCLM、LT_CCLMのうちのいずれか一つを含むことができる
一方、DMとCCLMは、ルマブロックの情報を用いてクロマブロックを予測する従属
的なイントラ予測モードである。前記DMは、前記ルマ成分に対するイントラ予測モード
と同一のイントラ予測モードが前記クロマ成分に対するイントラ予測モードとして適用さ
れるモードを示すことができる。また、前記CCLMは、クロマブロックに対する予測ブ
ロックを生成する過程でルマブロックの復元されたサンプルをサブサンプリングした後、
サブサンプリングされたサンプルにCCLMパラメータα及びβを適用して導出されたサ
ンプルを前記クロマブロックの予測サンプルとして使用するイントラ予測モードを示すこ
とができる。
CCLM(Cross-component linear model)モードの概
前述したように、クロマブロックにはCCLMモードを適用できる。CCLMモードは
、ルマブロックと、前記ルマブロックに対応するクロマブロックとの相関性(corre
lation)を用いたイントラ予測モードであり、ルマブロックの周辺サンプル及びク
ロマブロックの周辺サンプルに基づいて線形モデルを導出して行われる。そして、導出さ
れた線形モデル及び前記ルマブロックの復元サンプルに基づいて、前記クロマブロックの
予測サンプルが導出されることができる。
具体的には、現在クロマブロックにCCLMモードが適用される場合、現在クロマブロ
ックのイントラ予測に使用される周辺サンプル及び現在ルマブロックのイントラ予測に使
用される周辺サンプルに基づいて線形モデルに対するパラメータが導出されることができ
る。例えば、CCLMのための線形モデルは、下記数式に基づいて表すことができる。
ここで、predc(i,j)は、現在CU内の前記現在クロマブロックの(i,j)
座標の予測サンプルを示すことができる。recL’(i,j)は、前記CU内の前記現
在ルマブロックの(i,j)座標の復元サンプルを示すことができる。例えば、前記re
L’(i,j)は、前記現在ルマブロックのダウンサンプリング(down-sanm
pled)された復元サンプルを示すができる。線形モデル係数α及びβは、シグナリン
グされることもできるが、周辺サンプルから誘導されることもできる。
レジデュアルの共同符号化(ジョイントCbCr)
一実施例による符号化/復号化過程で、クロマレジデュアルは共に符号化/復号化され
ることができる。これをレジデュアルの共同符号化と呼ぶことができ、ジョイントCbC
r(Joint CbCr)と呼ぶこともできる。CbCrの共同符号化モードの適用(
活性化)如何は、変換単位レベルでシグナリングされる共同符号化モードシグナリングフ
ラグであるtu_joint_cbcr_residual_flagによってシグナリ
ングされることができる。そして、選択された符号化モードは、クロマCBFによって誘
導されることができる。フラグtu_joint_cbcr_residual_fla
gは、変換単位に対する少なくとも一つのクロマCBFの値が1である場合に存在するこ
とができる。正規クロマレジデュアル符号化モードに対してシグナリングされる通常のク
ロマQPオフセット値とCbCr共同符号化モードのためのクロマQPオフセット値との
差分を示すためのクロマQPオフセット値が、PPS又はスライスヘッダーを介してシグ
ナリングされることができる。このようなQPオフセット値は、共同クロマレジデュアル
符号化モードを用いるブロックに対するクロマQP値を誘導するために使用できる。
対応する共同クロマ符号化モードで、下記表におけるモード2が変換単位に対して活性
化されている場合、当該変換単位の量子化及び復号化を行う途中でそのクロマQPオフセ
ットが対象ルマ誘導クロマQP(applied luma-derived chro
ma QP)に加えられることができる。
下記表におけるモード1及び3のような他のモードに対して、クロマQPは、通常のC
b又はCrブロックに対して取得される方式で誘導されることができる。このような変換
ブロックからのクロマレジデュアル(resCb及びresCr)の復元プロセスは、下
記表によって選択できる。このモードが活性化される場合、一つの単独共同クロマレジデ
ュアルブロック(下記表におけるresJointC[x][y])がシグナリングされ
、CbのためのレジデュアルブロックresCb及びCrのためのレジデュアルブロック
resCrがtu_cbf_cb、tu_cbf_cr、及びスライスヘッダーに記載さ
れた符号値であるCSignのような情報を考慮して誘導されることができる。
符号化装置において、共同クロマ成分は次のように誘導できる。共同符号化モードに応
じて、resJointC{1,2}を次の順序に従って生成できる。モードが2である
場合(single residual with reconstruction C
b=C、Cr=CSign*C)、共同レジデュアルは下記数式に従って決定できる。
[数式21]
resJointC[x][y]=(resCb[x][y]+CSign*resC
r[x][y])/2。
そうではなく、モードが1である場合(single residual with
reconstruction Cb=C、Cr=(CSign*C)/2)、共同レジ
デュアルは、下記数式に従って決定できる。
[数式22]
resJointC[x][y]=(4*resCb[x][y]+2*CSign*
resCr[x][y])/5。
そうではなく、モードが3である場合(single residual with
reconstruction Cr=C、Cb=(CSign*C)/2)、共同レジ
デュアルは、下記数式に従って決定できる。
[数式23]
resJointC[x][y]=(4*resCr[x][y]+2*CSign*
resCb[x][y])/5。
上記表は、クロマレジデュアルの復元を示す。CSignは、スライスヘッダーで指定
された符号値+1又は-1を示す。resJointC[][]は、伝送されたレジデュ
アルを示す。上記表におけるモードは、後述するTuCResModeを示す。上記表に
おける3つの共同クロマ符号化モードは、Iスライスに対してのみ支援できる。P及びB
スライスに対して、モード2のみ支援できる。したがって、P及びBスライスに対して、
シンタックス要素tu_joint_cbcr_residual_flagは、2つの
クロマcbf(例えば、tu_cbf_cb及びtu_cbf_cr)の値がいずれも1
である場合にのみ提供できる。一方、tu_cbf_luma及びtu_cbf_cbの
コンテキストモデリングにおいて変換デプスが除去できる。
実施例1:ACT Qp_offsetを用いたQP更新方案
前述したように、ACTを適用するためのQPの更新が行われることができる。前述し
たQPの更新は、様々な問題点を持っている。例えば、前述した方式を使用する場合、個
別色成分ごとに異なるACT Qpオフセットを設定することができない。さらに、誘導
されたqP値は負の値を有することもできる。これにより、以下の実施例では、色成分値
のACT QPオフセットの値に基づいて誘導されたQp値にクリッピングを適用する方
法を説明する。
一実施例において、量子化パラメータqPは、次のように誘導できる。
まず、cIdxの値が0である場合、qP及びACT Qpオフセットは、下記数式の
ように誘導できる。
[数式24]
qP=Qp’Y
ActQpOffset=5
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式25]
qP=Qp’CbCr
ActQpOffset=5
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式26]
qP=Qp’Cb
ActQpOffset=3
量子化パラメータqPは、次のように更新できる。
transform_skip_flag[xTbY][yTbY][cIdx]の値
が0である場合、qPは下記数式のように誘導できる。
[数式27]
qP=Max(0,qP-(cu_act_enabled_flag[xTbY][
yTbY]ActQpOffset:0))
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合、qPは下記数式のように誘導できる。
[数式28]
qP=Max(0,Max(QpPrimeTsMin,qP)-(cu_act_e
nabled_flag[xTbY][yTbY]?ActQpOffset:0))
他の実施例において、transform_skip_flag[xTbY][yTb
Y][cIdx]の値が1である場合、qPは下記数式のように0の代わりにQpPri
meTsMinの値を用いてクリッピングされることができる。
[数式29]
qP=Max(QpPrimeTsMin,qP-(cu_act_enabled_
flag[xTbY][yTbY]?ActQpOffset:0)
一方、他の一実施例において、量子化パラメータqPは、次のように誘導できる。
まず、cIdxの値が0である場合、qPとACT Qpオフセットは、下記数式のよ
うに誘導できる。
[数式30]
qP=Qp’Y
ActQpOffset=5
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式31]
qP=Qp’CbCr
ActQpOffset=5
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式32]
qP=Qp’Cb
ActQpOffset=5
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式33]
qP=Qp’Cr
ActQpOffset=3
量子化パラメータqPは、次のように更新できる。
transform_skip_flag[xTbY][yTbY][cIdx]の値
が0である場合、qPは下記数式のように誘導できる。
[数式34]
qP=Max(0,qP-(cu_act_enabled_flag[xTbY][
yTbY]ActQpOffset:0))
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合、qPは下記数式のように誘導できる。
[数式35]
qP=Max(0,Max(QpPrimeTsMin,qP)-(cu_act_e
nabled_flag[xTbY][yTbY]?ActQpOffset:0))
他の実施例において、transform_skip_flag[xTbY][yTb
Y][cIdx]の値が1である場合、qPは、下記数式のように、0の代わりにQpP
rimeTsMinの値を用いてクリッピングできる。
[数式36]
qP=Max(QpPrimeTsMin,qP-(cu_act_enabled_
flag[xTbY][yTbY]?ActQpOffset:0))
一方、別の一実施例において、量子化パラメータqPは、次のように誘導できる。
まず、cIdxの値が0である場合、qPとACT Qpオフセットは、下記数式のよ
うに誘導できる。
[数式37]
qP=Qp′Y
ActQpOffset=-5
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式38]
qP=Qp′CbCr
ActQpOffset=-5
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式39]
qP=Qp′Cb
ActQpOffset=-5
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式40]
qP=Qp′Cr
ActQpOffset=-3
量子化パラメータqPは、次のように更新できる。
transform_skip_flag[xTbY][yTbY][cIdx]の値
が0である場合、qPは下記数式のように誘導できる。
[数式41]
qP=Max(0,qP+(cu_act_enabled_flag[xTbY][
yTbY]?ActQpOffset:0))
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合、qPは下記数式のように誘導できる。
[数式42]
qP=Max(0,Max(QpPrimeTsMin,qP)+(cu_act_e
nabled_flag[xTbY][yTbY]?ActQpOffset:0))
一方、他の実施例において、transform_skip_flag[xTbY][
yTbY][cIdx]の値が1である場合、qPは、下記数式のように、0の代わりに
QpPrimeTsMinの値を用いてクリッピングできる。
[数式43]
qP=Max(QpPrimeTsMin,qP+(cu_act_enabled_
flag[xTbY][yTbY]?ActQpOffset:0))
前述した説明において、Y、Cb、Crは3つの色成分を示すことができる。例えば、
ACT変換において、YはC0に対応することができる。CbはC1又はCgに対応する
ことができる。そして、CrはC2又はCoに対応することができる。
また、前記3つの色成分に対するACTQpOffsetの値-5、-5、-3は、他
の値又は他の変数で置き換えられてもよい。
実施例2:ACTに対するQPオフセット調整分のシグナリング
前述した実施例において、ACT QPオフセット調整は、Y、Cg、Co成分に対し
て-5、-5及び-3に固定されている。本実施例において、ACT QP調整オフセッ
トにさらに多くの柔軟性を提供するために、ACT QPオフセットをシグナリングする
方法について説明する。ACT QPオフセットは、PPS内のパラメータとしてシグナ
リングされることができる。
一実施例において、qp_offsetは、図36のシンタックステーブルに従ってシ
グナリングできる。これに対するシンタックス要素は、次の通りである。
シンタックス要素pps_act_qp_offsets_present_flag
は、ACT QPオフセットに関するシンタックス要素がPPS内に存在するか否かを示
すことができる。例えば、pps_act_qp_offsets_present_f
lagは、後述するシンタックス要素pps_act_y_qp_offset、pps
_act_cb_qp_offset及びpps_act_cr_qp_offsetが
PPSとしてシグナリングされるか否かを示すことができる。
例えば、pps_act_qp_offsets_present_flagの第1値
(例えば0)は、pps_act_y_qp_offset、pps_act_cb_q
p_offset及びpps_act_cr_qp_offsetがPPSシンタックス
テーブルを介してシグナリングされないことを示すことができる。
pps_act_qp_offsets_present_flagの第2値(例えば
1)は、pps_act_y_qp_offset、pps_act_cb_qp_of
fset及びpps_act_cr_qp_offsetがPPSシンタックステーブル
を介してシグナリングされることを示すことができる。
pps_act_qp_offsets_present_flagがビットストリー
ムから提供されない場合、pps_act_qp_offsets_present_f
lagは第1値(例えば0)に誘導されることができる。例えば、ACTが適用できるこ
とを示すフラグ(例えば、SPSでシグナリングされるsps_act_enabled
_flag)が、ACTが適用されないことを示す第1値(例えば0)を有する場合、p
ps_act_qp_offsets_present_flagは第1値(例えば0)
を有するように強制できる。
シンタックス要素pps_act_y_qp_offset_plus5、pps_a
ct_cb_qp_offset_plus5及びpps_act_cr_qp_off
set_plus3は、シンタックス要素cu_act_enabled_flagの値
が現在符号化単位に対してACTが適用されることを示す第2値(例えば1)である場合
、ルマ、Cb、Cr成分のそれぞれに対する量子化パラメータ値qPに適用されるオフセ
ットを決定するために使用できる。pps_act_y_qp_offset_plus
5、pps_act_cb_qp_offset_plus5及びpps_act_cr
_qp_offset_plus3の値がビットストリームに存在しない場合、各値は0
に設定できる。
前記シンタックス要素によって、変数PpsActQpOffsetYの値はpps_
act_y_qp_offset_plus5-5と決定されることができる。変数Pp
sActQpOffsetCbの値は、pps_act_cb_qp_offset_p
lus5-5と決定されることができる。そして、変数PpsActQpOffsetC
rの値は、pps_act_cb_qp_offset_plus3-3と決定されるこ
とができる。
ここで、ACTが直交変換(orthonormal transformation
)ではないため、上記減算される定数オフセット値として5、5及び3が適用できる。一
実施例において、ビットストリーム整合性のために、PpsActQpOffsetY、
PpsActQpOffsetCb、及びPpsActQpOffsetCrの値は、-
12から12までの値を有することができる。そして、実施例によって、Qpオフセット
値は、5、5、3以外の他の定数値で置き換えられて使用できる。
他の一実施例において、より柔軟なACT_QPオフセットを用いてQPが調整できる
。以下の実施例では、ACT QPオフセットがビットストリームを介してシグナリング
される例を説明する。これにより、ACT QPオフセットはより広いオフセット範囲を
持つことができる。よって、ACT QPオフセットを用いて更新されたQPは、利用可
能範囲から外れる可能性がさらに高いため、更新されたQPに対して上限及び下限に対す
るクリッピングを行う必要がある(より詳細な実施例は、後述する実施例6及び7に開示
されている。)。
ACT QPオフセットを示す変数PpsActQpOffsetY、PpsActQ
pOffsetCb、PpsActQpOffsetCr、及びPpsActQpOff
setCbCrは、ビットストリームを介してシグナリングされるACT QPオフセッ
トを用いて誘導される値、或いは予め設定された定数であり得る。ビットストリーム適合
性のために、PpsActQpOffsetY、PpsActQpOffsetCb、P
psActQpOffsetCr、及びPpsActQpOffsetCbCrは、-1
2から+12までの値を有することができる。
固定された値を使用せずにQPオフセットの値がシグナリングされる場合、そしてその
値が-12から12までの値を有する場合、負の値を持つQPを回避するために誘導され
たQPの値の下限値をクリッピングすることに加えて、誘導されたQP値の上限値をクリ
ッピングする必要もある。
qPの値が負の値を持たないようにするために、qPの最小値は0に強制されることが
できる。或いは、qPの最小値は、シグナリングされるシンタックス要素によって定めら
れる値に設定できる。例えば、変換スキップモードが適用される場合にqPの最小値をシ
グナリングするために、変換スキップモードが適用される場合に適用されるqPの値を示
すシンタックス要素QpPrimeTsMinが使用できる。qPの最大値は、qPの利
用可能最大値(例えば63)又はシグナリングされるシンタックス要素によって決定され
る最大利用可能qP値に制限できる。
上記による一実施例において、量子化パラメータqPは、次のように誘導できる。まず
、cIdxの値が0である場合、qPとACT Qpオフセットは、下記数式のように誘
導できる。
[数式44]
qP=Qp′Y
ActQpOffset=PpsActQpOffsetY
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式45]
qP=Qp′CbCr
ActQpOffset=PpsActQpOffsetCbCr
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式46]
qP=Qp′Cb
ActQpOffset=PpsActQpOffsetCb
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式47]
qP=Qp′Cr
ActQpOffset=PpsActQpOffsetCr
一実施例において、量子化パラメータqPは次のように更新できる。
transform_skip_flag[xTbY][yTbY][cIdx]の値
が0である場合、qPは下記数式のように誘導できる。
[数式48]
qP=Clip3(0,63,qP-(cu_act_enabled_flag[x
TbY][yTbY]?ActQpOffset:0))
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合、qPは下記数式のように誘導できる。
[数式49]
qP=Clip3(0,63,Max(QpPrimeTsMin,qP)-(cu_
act_enabled_flag[xTbY][yTbY]?ActQpOffset
:0)
他の実施例において、transform_skip_flag[xTbY][yTb
Y][cIdx]の値が1である場合、qPの最小値は、下記数式のように、0の代わり
にQpPrimeTsMinの値を用いてクリッピングできる。
[数式50]
量子化パラメータqPは、次のように更新できる。
transform_skip_flag[xTbY][yTbY][cIdx]の値
が0である場合、qPは下記数式のように誘導できる。
qP=Clip3(0,63,qP-(cu_act_enabled_flag[x
TbY][yTbY]?ActQpOffset:0))
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合、qPは下記数式のように誘導できる。
qP=Clip3(QpPrimeTsMin,63,qP-cu_act_enab
led_flag[xTbY][yTbY]?ActQpOffset:0)
他の一実施例において、量子化パラメータqPは次のように更新できる。
transform_skip_flag[xTbY][yTbY][cIdx]の値
が0である場合、qPは下記数式のように誘導できる。
[数式51]
qP=Clip3(0,63+QpBdOffset,qP+(cu_act_ena
bled_flag[xTbY][yTbY]?ActQpOffset:0))
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合、qPは下記数式のように誘導できる。
[数式52]
qP=Clip3(0,63+QpBdOffset,Max(QpPrimeTsM
in,qP)+(cu_act_enabled_flag[xTbY][yTbY]?
ActQpOffset:0)
他の実施例において、transform_skip_flag[xTbY][yTb
Y][cIdx]の値が1である場合、qPの最小値は、下記数式のように、0の代わり
にQpPrimeTsMinの値を用いてクリッピングできる。
[数式53]
量子化パラメータqPは、次のように更新できる。
transform_skip_flag[xTbY][yTbY][cIdx]の値
が0である場合、qPは下記数式のように誘導できる。
qP=Clip3(0,63+QpBdOffset,qP+(cu_act_ena
bled_flag[xTbY][yTbY]?ActQpOffset:0))
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合、qPは下記数式のように誘導できる。
qP=Clip3(QpPrimeTsMin,63+QpBdOffset,qP+
cu_act_enabled_flag[xTbY][yTbY]?ActQpOff
set:0)
実施例3:クロマBDPCMが行われる場合にACTを許容する方案
一実施例において、BDPCMがルマ成分ブロックに対して適用される場合、ACTは
、当該ブロックを符号化/復号化するために適用できる。しかし、BDPCMがクロマ成
分ブロックに対して適用される場合、ACTは、当該ブロックを符号化/復号化するため
に適用されないように制限できる。
一方、クロマ成分ブロックに対してBDPCMが適用される場合でも、当該ブロックに
ACTを適用することにより、符号化性能を向上させることができる。図37は、クロマ
成分ブロックに対してBDPCMを適用する場合にもACTを適用するためのシンタック
ス構成の一実施例を示す。図37に示すように、現在符号化単位にACTが適用されるか
否かを示すcu_act_enabled_flagの値に応じて、クロマ成分に対する
BDPCMシンタックス要素を取得する条件を除去することにより、クロマ成分ブロック
にACTが適用されるかに関係なく、それに対するBDPCMシンタックス要素を取得す
ることができ、これによりBDCPM符号化を行うことができる。
実施例4:CCLMで符号化/復号化される場合にもACTを適用する方案
CCLMとACTはいずれも、成分間の不要な重複を除去することを目的とする。CC
LMとACTの間に一部重複適用される部分があるが、これをすべて適用した後にも、成
分間の重複は完全には除去されない。よって、CCLMとACTを一緒に適用することに
より、成分間の重複をもっと除去することができる。
以下の実施例は、CCLMとACTを一緒に適用する実施例について説明する。復号化
装置は、復号化を行う際にCCLMを先に適用し、次にACTを適用することができる。
クロマ成分に対するBDPCMとCCLMの両方にACTを適用する場合、これをシグナ
リングするためのシンタックステーブルは、図38のように修正できる。これにより、図
38のシンタックステーブルに示すように、intra_bdpcm_chroma及び
cclmに関連するシンタックス要素をシグナリングするための制限のうち、ACTが適
用されていないかどうかに応じてシンタックス要素をシグナリングするためのif(!c
u_act_enabled_flag)がシンタックステーブルから除去できる。
実施例5:ジョイントCbCrを含む柔軟なACT Qpの適用方案
ACTモードが適用される場合、予測レジデュアルは、一つの色空間から(例えば、G
BR又はYCbCr)YCgCo色空間に変換できる。そして、変換単位のレジデュアル
は、YCgCo色空間で符号化できる。色空間変換のために使用されるACTコア変換(
変換カーネル)の一実施例として、前述した下記変換カーネルが使用できる。
上記の数式に記載されているように、C0’、C1’及びC2’(ここで、C0’=Y
、C1’=Cg、C2’=Co)変換は正規化されない。例えば、L2ノルム(L2no
rm)は1の値を有しない。例えば、個別成分に対する変換のL2ノルムは、C0’とC
1’に対して約0.6の値を有し、C2’に対して約0.7の値を有する。ここで、L2
ノルムは、各係数の二乗を全て加算した値の平方根として得られる値である。例えば、C
0’=2/4*C0+1/4*C1+1/4*C2と計算できる。したがって、C0’の
ノルムは、(2/4*2/4+1/4*1/4+1/4*1/4)の平方根として計算で
きる。よって、これは6/16の平方根として計算でき、約0.6の値を有するものと計
算できる。
正規化された変換が適用されない場合、個別成分の動的範囲は不規則になる。そして、
これは通常のビデオ圧縮システムにおける符号化性能の低下をもたらす。
レジデュアル信号の動的範囲を補償するために、個別変換成分に対する動的範囲変化を
補償するためのQPオフセット値を伝送することにより、QP調整が行われ得る。例えば
、このような実施例は、ACT変換のための一般的なQP調整制御方法だけでなく、ジョ
イントCbCrに対しても適用できる。
個別色成分が独立して符号化されるのではなく、一緒に符号化されるので、先立ってジ
ョイントCbCrに対する実施例3で説明されたような方法は、個別色成分間の動的範囲
変化をもたらす。
一実施例による符号化及び復号化方法において、ACT QPオフセット調整は-5に
固定でき、これはY、Cg、Coに対して同様に適用できる。
一実施例において、個別成分とジョイントCbCrに対する柔軟なQp制御を提供する
ために、Y、Cb、Cr及び/又はジョイントCbCrに対する互いに異なるACT Q
pオフセットを使用することが許容できる。ACT Qpオフセット値は、成分インデッ
クス及び/又はジョイントCbCrであるか、及び/又はジョイントCbCrモードであ
るかに基づいて決定できる。
ACT Qpオフセットを表記するために、ppsActQpOffsetY、pps
ActQpOffsetCb、ppsActQpOffsetCrを使用することができ
る。そして、Cb成分及びCr成分の両方が0以外の値を持つCBFを有するジョイント
CbCrモード2のACT QPオフセットのために、ppsActQpOffsetC
bCrが使用できる。これらの値(例えば、ppsActQpOffsetY、ppsA
ctQpOffsetCb、ppsActQpOffsetCr、ppsActQpOf
fsetCbCr)は、予め所定の値に決定されているか、或いはビットストリームを介
してシグナリングされることができる。ジョイントCbCrモードのACT QPオフセ
ットは、他の方式又は他の値に設定されてもよい。
一実施例において、Y、Cb、Crに対してACT Qpオフセットは-5、-5、-
3が使用でき、ジョイントCbCrのために-4が使用できる。
他の一実施例において、Y、Cb、Crに対してACT Qpオフセットは-5、-4
、-3が使用でき、tu_cbf_cbの値が0ではないジョイントCbCrモードのた
めに-3が使用できる。
別の一実施例において、ジョイントCbCrモード2のACT QPオフセットは、そ
れに対する自己オフセット値を有することができる。他のジョイントCbCrモードの場
合、ACT QPオフセットは当該成分のオフセットを使用することができる。例えば、
下記のように量子化パラメータqPが決定できる。まず、cIdxの値が0である場合、
qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式56]
qP=Qp′Y
ActQpOffset=ppsActQpOffsetY
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式57]
qP=Qp′CbCr
ActQpOffset=ppsActQpOffsetCbCr
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは下記
数式のように誘導できる。
[数式58]
qP=Qp′Cb
ActQpOffset=ppsActQpOffsetCb
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは下記
数式のように誘導できる。
[数式59]
qP=Qp′Cr
ActQpOffset=ppsActQpOffsetCr
一実施例において、量子化パラメータqPは次のように更新できる。
transform_skip_flag[xTbY][yTbY][cIdx]の値
が0である場合、qPは下記数式のように誘導できる。
[数式60]
qP=Clip3(0,63+QpBdOffset,qP+(cu_act_ena
bled_flag[xTbY][yTbY]?ActQpOffset:0))
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合、qPは下記数式のように誘導できる。
[数式61]
qP=Clip3(QpPrimeTsMin,63+QpBdOffset,qP+
cu_act_enabled_flag[xTbY][yTbY]?ActQpOff
set:0)
他の一実施例において、tu_cbf_cb!=0のジョイントCbCrモードに対し
て(例えば、モード1及び2に該当する場合)、ppsActQpOffsetCbを用
いてジョイントCbCrのためのオフセットを決定することができる。或いは、tu_c
bf_cb==0のジョイントCbCrモードに対して(例えば、モード3に該当する場
合)、ppsActQpOffsetCrを用いてジョイントCbCrのためのオフセッ
トを決定することができる。例えば、前述した実施例は、次のように修正されて適用でき
る。
量子化パラメータqPは、次のように更新できる。まず、cIdxの値が0である場合
、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式62]
qP=Qp′Y
ActQpOffset=ppsActQpOffsetY
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPは下記数式のように誘導できる。
[数式63]
qP=Qp′CbCr
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式64]
qP=Qp′Cb
ActQpOffset=ppsActQpOffsetCb
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式65]
qP=Qp′Cr
ActQpOffset=ppsActQpOffsetCr
ジョイントCbCrモードに対するACT Qpオフセットは、cIdxの値が0では
なく、TuCResMode[xTbY][yTbY]の値が0でなければ、下記の擬似
コードに従って決定できる。
[数式66]
if(TuCResMode[xTbY][yTbY] is euqal to 1
or 2)
ActQpOffset=ppsActQpOffsetCb;
else
ActQpOffset=ppsActQpOffsetCr;
一実施例において、量子化パラメータqPは次のように更新できる。transfor
m_skip_flag[xTbY][yTbY][cIdx]の値が0である場合、q
Pは下記数式のように誘導できる。
[数式67]
qP=Clip3(0,63+QpBdOffset,qP+(cu_act_ena
bled_flag[xTbY][yTbY]?ActQpOffset:0))
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合、qPは下記数式のように誘導できる。
[数式68]
qP=Clip3(QpPrimeTsMin,63+QpBdOffset,qP+
cu_act_enabled_flag[xTbY][yTbY]?ActQpOff
set:0)
他の一実施例において、ジョイントCbCrモードに関係なく、成分インデックスがY
である場合には、ppsActQpOffsetYを使用し、成分インデックスがCbで
ある場合には、ppsActQpOffsetCbを使用し、成分インデックスがCrで
ある場合には、ppsActQpOffsetCrを用いてqPが誘導できる。例えば、
量子化パラメータqPは、次のように誘導できる。
まず、cIdxの値が0である場合、qPとACT Qpオフセットは、下記数式のよ
うに誘導できる。
[数式69]
qP=Qp′Y
ActQpOffset=ppsActQpOffsetY
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式70]
qP=Qp′CbCr
ActQpOffset=(cIdx==1)?ppsActQpOffsetCb:
ppsActQpOffsetCr
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式71]
qP=Qp′Cb
ActQpOffset=ppsActQpOffsetCb
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式72]
qP=Qp′Cr
ActQpOffset=ppsActQpOffsetCr
量子化パラメータqPは、次のように更新できる。
transform_skip_flag[xTbY][yTbY][cIdx]の値
が0である場合、qPは下記数式のように誘導できる。
[数式73]
qP=Clip3(0,63+QpBdOffset,qP+(cu_act_ena
bled_flag[xTbY][yTbY]?ActQpOffset:0))
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合、qPは、下記数式のように誘導できる。
[数式74]
qP=Clip3(QpPrimeTsMin,63+QpBdOffset,qP+
cu_act_enabled_flag[xTbY][yTbY]?ActQpOff
set:
実施例6:ジョイントCbCrを含むACT Qpオフセットをシグナリングする方案
以下、より柔軟性を提供するためにACT QPオフセットがビットストリームを介し
てシグナリングされる例を説明する。ACT QPオフセットは、SPS、PPS、ピク
チャヘッダー、スライスヘッダー、又はその他の類型にヘッダーセットを介してシグナリ
ングされることができる。ジョイントCbCrのACT Qpオフセットは、別途シグナ
リングされてもよく、Y、Cb、Crに対するACT QPオフセットから誘導されても
よい。
一般性を失わずに(Without loss of generality)、PP
SでACT Qpオフセットをシグナリングするシンタックステーブルの例示が図39に
示されている。図39の実施例のように、ジョイントCbCrのために一つのACT Q
pオフセットがシグナリングされることができる。図39のシンタックステーブルに表記
されたシンタックス要素について説明する。
シンタックス要素pps_act_qp_offsets_present_flag
は、ACT QPオフセットに関するシンタックス要素がPPS内に存在するか否かを示
すことができる。例えば、pps_act_qp_offsets_present_f
lagは、後述するシンタックス要素pps_act_y_qp_offset_plu
sX1、pps_act_cb_qp_offset_plusX2、pps_act_
cr_qp_offset_plusX3、及びpps_act_cbcr_qp_of
fset_plusX4がPPSとしてシグナリングされるか否かを示すことができる。
例えば、pps_act_qp_offsets_present_flagの第1値
(例えば0)は、pps_act_y_qp_offset_plusX1、pps_a
ct_cb_qp_offset_plusX2、pps_act_cr_qp_off
set_plusX3、及びpps_act_cbcr_qp_offset_plus
X4がPPSシンタックステーブルを介してシグナリングされないことを示すことができ
る。
pps_act_qp_offsets_present_flagの第2値(例えば
1)は、pps_act_y_qp_offset_plusX1、pps_act_c
b_qp_offset_plusX2、pps_act_cr_qp_offset_
plusX3、及びpps_act_cbcr_qp_offset_plusX4がP
PSシンタックステーブルを介してシグナリングされることを示すことができる。
pps_act_qp_offsets_present_flagがビットストリー
ムから提供されない場合、pps_act_qp_offsets_present_f
lagは、第1値(例えば0)に誘導されることができる。例えば、ACTが適用できる
ことを示すフラグ(例えば、SPSでシグナリングされるsps_act_enable
d_flag)が、ACTが適用されないことを示す第1値(例えば0)を有する場合、
pps_act_qp_offsets_present_flagは第1値(例えば0
)を有するように強制できる。
シンタックス要素pps_act_y_qp_offset_plusX1、pps_
act_cb_qp_offset_plusX2、pps_act_cr_qp_of
fset_plusX3、及びpps_act_cbcr_qp_offset_plu
sX4は、シンタックス要素cu_act_enabled_flagの値が、現在符号
化単位に対してACTが適用されることを示す第2値(例えば1)である場合、ルマ、C
b、Cr成分及びジョイントCbCr成分のそれぞれに対する量子化パラメータ値qPに
適用されるオフセットを決定するために使用できる。pps_act_y_qp_off
set_plusX1、pps_act_cb_qp_offset_plusX2、p
ps_act_cr_qp_offset_plusX3、及びpps_act_cbc
r_qp_offset_plusX4の値がビットストリームに存在しない場合、各値
は0に設定できる。
前記シンタックス要素に応じて、下記数式のように変数PpsActQpOffset
Y、PpsActQpOffsetCb、PpsActQpOffsetCr、及びPp
sActQpOffsetCbCrの値が決定できる。
[数式75]
PpsActQpOffsetY=pps_act_y_qp_offset_plu
sX1-X1
PpsActQpOffsetCb=pps_act_cb_qp_offset_p
lusX2-X2
PpsActQpOffsetCr=pps_act_cr_qp_offset_p
lusX3-X3
PpsActQpOffsetCbCr=pps_act_cbcr_qp_offs
et_plusX4-X4
ここで、X1、X2、X3、及びX4は、所定の定数値を表すことができる。これは、
互いに同じ値でも異なる値でもよく、一部のみが互いに同じ値を有してもよい。
一実施例において、ビットストリーム整合性のために、PpsActQpOffset
Y、PpsActQpOffsetCb、PpsActQpOffsetCr及びPps
ActQpOffsetCbCrの値は、-12から12までの値を有するように制限で
きる。
前記変数の決定に応じて、量子化パラメータqPは、以下のように決定できる。まず、
cIdxの値が0である場合、qPとACT Qpオフセットは、下記数式のように誘導
できる。
[数式76]
qP=Qp′Y
ActQpOffset=PpsActQpOffsetY
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式77]
qP=Qp′CbCr
ActQpOffset=PpsActQpOffsetCbCr
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式78]
qP=Qp′Cb
ActQpOffset=PpsActQpOffsetCb
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式79]
qP=Qp′Cr
ActQpOffset=PpsActQpOffsetCr
ACT Qpオフセットをシグナリングする他の一実施例において、modeA及びm
odeBとして識別される互いに異なるジョイントCbCrモードのために複数のACT
QPオフセットがシグナリングされることができる。
ジョイントCbCrモードAは、前述した表2のモード1及びモード2のような、0以
外の値を持つtu_cbf_cbを有するジョイントCbCrモードを示すことができる
。そして、ジョイントCbCrモードBは、前述した表2のモード3のような、0の値を
持つtu_cbf_cbを有するジョイントCbCrモードを示すことができる。これに
より、変更されたシンタックステーブルが図40に示されている。図40のシンタックス
テーブルに表記されたシンタックス要素について説明する。
シンタックス要素pps_act_y_qp_offset_plusX1、pps_
act_cb_qp_offset_plusX2、pps_act_cr_qp_of
fset_plusX3、pps_act_cbcr_qp_offset_modeA
_plusX4、及びpps_act_cbcr_qp_offset_modeB_p
lusX5は、シンタックス要素cu_act_enabled_flagの値が、現在
符号化単位に対してACTが適用されることを示す第2値(例えば1)である場合、ルマ
、Cb、Cr成分及びジョイントCbCr成分のそれぞれに対する量子化パラメータ値q
Pに適用されるオフセットを決定するために使用できる。pps_act_y_qp_o
ffset_plusX1、pps_act_cb_qp_offset_plusX2
、pps_act_cr_qp_offset_plusX3、pps_act_cbc
r_qp_offset_modeA_plusX4及びpps_act_cbcr_q
p_offset_plusX5の値がビットストリームに存在しない場合、各値は0に
設定できる。
前記シンタックス要素に応じて、下記数式のように変数PpsActQpOffset
Y、PpsActQpOffsetCb、PpsActQpOffsetCr、PpsA
ctQpOffsetCbCrModeA及びPpsActQpOffsetCbCrM
odeBの値が決定できる。
[数式80]
PpsActQpOffsetY=pps_act_y_qp_offset_plu
sX1-X1
PpsActQpOffsetCb=pps_act_cb_qp_offset_p
lusX2-X2
PpsActQpOffsetCr=pps_act_cr_qp_offset_p
lusX3-X3
PpsActQpOffsetCbCrModeA=pps_act_cbcr_qp
_offset_modeA_plusX4-X4
PpsActQpOffsetCbCrModeB=pps_act_cbcr_qp
_offset_modeB_plusX5-X5
ここで、X1、X2、X3、X4及びX5は、所定の定数値を表すことができる。これ
は、互いに同じ値でも異なる値でもよく、一部のみが互いに同じ値を有してもよい。一実
施例において、ビットストリーム整合性のために、PpsActQpOffsetY、P
psActQpOffsetCb、PpsActQpOffsetCr、PpsActQ
pOffsetCbCrModeA及びPpsActQpOffsetCbCrMode
Bの値は、-12から12までの値を持つように制限できる。
前記変数の決定に応じて、量子化パラメータqPは、以下のように決定できる。まず、
cIdxの値が0である場合、qPとACT Qpオフセットは、下記数式のように誘導
できる。
[数式81]
qP=Qp′Y
ActQpOffset=PpsActQpOffsetY
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPは下記数式のように誘導できる。
[数式82]
qP=Qp′CbCr
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは下記
数式のように誘導できる。
[数式83]
qP=Qp′Cb
ActQpOffset=PpsActQpOffsetCb
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは下記
数式のように誘導できる。
[数式84]
qP=Qp′Cr
ActQpOffset=PpsActQpOffsetCr
そして、cIdxの値が0ではなく、TuCResMode[xTbY][yTbY]
の値が0でない場合、ACT Qpオフセットは下記数式のように誘導できる。
[数式85]
ActQpOffset=(tu_cbf_cb[xTbY][yTbY])?Pps
ActQpOffsetCbCrModeA:PpsActQpOffsetCbCrM
odeB
一方、他の実施例において、ActQpOffsetは、TuCResMode[xT
bY][yTbY]の値が2である場合、下記数式のように誘導されてもよい。
[数式86]
ActQpOffset=(tu_cbf_cb[xTbY][yTbY])?(PP
sQpOffsetCbCrModeA+slice_act_CbCr_qp_off
set_ModeA):(PPsQpOffsetCbCrModeB+slice_a
ct_CbCr_qp_offset_ModeB)
ACT Qpオフセットをシグナリングする他の一実施例において、Y、Cb、Crの
ためのACT QPオフセットのみが、図41のシンタックステーブルのようにシグナリ
ングされることができる。ジョイントCbCrのためのACT QPオフセットは、Pp
sActQpOffsetY、PpsActQpOffsetCb及び/又はPpsAc
tQpOffsetCrから誘導できる。
一実施例において、CbCrのためのACT Qpオフセットは、PpsActQpO
ffsetCbの値に設定されることができる。他の実施例において、CbCrのための
ACT Qpオフセットは、tu_cbf_cbの値が0でないジョイントCbCrモー
ドの場合には、PpsActQpOffsetCbと同じ値に設定でき、tu_cbf_
cbの値が0であるジョイントCbCrモードの場合には、PpsActQpOffse
tCrと同じ値に設定できる。或いは、その逆に設定されることも可能である。
図41はPPSでACT Qpオフセットをシグナリングするシンタックステーブルの
別の実施例を示す図である。図41のシンタックス要素の決定に応じて、量子化パラメー
タqPは次のように決定できる。まず、cIdxの値が0である場合、qPとACT Q
pオフセットは、下記数式のように誘導できる。
[数式87]
qP=Qp′Y
ActQpOffset=PpsActQpOffsetY
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式88]
qP=Qp′CbCr
ActQpOffset=(cIdx==1)?PpsActQpOffsetCb:
PpsActQpOffsetCr
一方、他の実施例において、ActQpOffsetの値は、以下のように決定される
こともできる。
[数式89]
ActQpOffset=(tu_cbf_cb[xTbY][yTbY])?Pps
ActQpOffsetCb:PpsActQpOffsetCr
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式90]
qP=Qp′Cb
ActQpOffset=PpsActQpOffsetCb
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式91]
qP=Qp′Cr
ActQpOffset=PpsActQpOffsetCr
実施例7:多重レベルにおけるACT Qpオフセットのシグナリング
一実施例において、ACT QPオフセットは、複数のレベルでシグナリングされるこ
とができる。前の実施例6のように、PPSのような一つのレベルでACT QPオフセ
ットをシグナリングすることに加えて、ACT QPオフセットは、より下位レベルでも
(例えば、スライスヘッダー、ピクチャヘッダー又はQpコントロールを行うのに適切な
他の類型のヘッダー)シグナリングされることができる。
以下、2つの実施例を説明する。図42及び図43は、スライスヘッダーとピクチャヘ
ッダーを介してACT QPオフセットがシグナリングされる例を示す。このような方式
で、多数のレベルでACT QPオフセットをシグナリングされることができる。
以下、図42及び図43に示されているシンタックス要素について説明する。シンタッ
クス要素pps_slice_act_qp_offsets_present_fla
gは、後述するシンタックス要素slice_act_y_qp_offset、sli
ce_act_cb_qp_offset、slice_act_cr_qp_offs
et、及びslice_act_cbcr_qp_offsetがスライスヘッダーに存
在するか否かを示すことができる。
例えば、pps_slice_act_qp_offsets_present_fl
agの第1値(例えば0)は、slice_act_y_qp_offset、slic
e_act_cb_qp_offset、slice_act_cr_qp_offse
t、及びslice_act_cbcr_qp_offsetがスライスヘッダーに存在
しないことを示すことができる。
例えば、pps_slice_act_qp_offsets_present_fl
agの第2値(例えば1)は、slice_act_y_qp_offset、slic
e_act_cb_qp_offset、slice_act_cr_qp_offse
t、及びslice_act_cbcr_qp_offsetがスライスヘッダーに存在
することを示すことができる。
シンタックス要素slice_act_y_qp_offset、slice_act
_cb_qp_offset、slice_act_cr_qp_offset、及びs
lice_act_cbcr_qp_offsetは、ルマ、Cb、Cr成分、及びジョ
イントCbCr成分のそれぞれに対する量子化パラメータ値qPに対するオフセットを示
すことができる。slice_act_y_qp_offset、slice_act_
cb_qp_offset、slice_act_cr_qp_offset、及びsl
ice_act_cbcr_qp_offsetの値は、-12から12までの値を持つ
ように制限できる。slice_act_y_qp_offset、slice_act
_cb_qp_offset、slice_act_cr_qp_offset、及びs
lice_act_cbcr_qp_offsetの値がビットストリームに存在しない
場合、各値は0に設定できる。PpsActQpOffsetY+slice_act_
y_qp_offset、PpsActQpOffsetCb+slice_act_c
b_qp_offset、PpsActQpOffsetCr+slice_act_c
r_qp_offset及びPpsActQpOffsetCbCr+slice_ac
t_cbcr_qp_offsetの値も、-12から12までの値を持つように制限で
きる。
PPSレベルでジョイントCbCrのためのACT QPオフセットをシグナリングす
る様々な変更実施例が適用できる。例えば、ジョイントCbCrに対して一つのQPオフ
セットをシグナリングするか、互いに異なるモードのジョイントCbCrに対して複数の
ACT Qpオフセットをシグナリングするか、或いはジョイントCbCrに対するAC
T Qpオフセットをシグナリングせずに、Y、Cb、Crに対するACTQpOffs
et及び/又はジョイントCbCrのモードを用いてこれを誘導する方案が、スライスヘ
ッダーを介してシグナリングするときに適用できる。
2つの変更実施例が図44及び図45に示されている。図44は、スライスヘッダー内
でのACT Qpオフセットをシグナリングする一実施例を示す。図45は、スライスヘ
ッダーにおいてACT Qpオフセットをシグナリングする他の一実施例を示す。図45
において、Y、Cb、Crに対するACT Qpオフセットのみがシグナリングされるこ
とができ、ジョイントCbCrに対するスライスレベルのACT QPオフセットは、s
lice_act_y_qp_offset、slice_act_cb_qp_off
set、及び/又はslice_act_cr_qp_offsetから誘導できる。こ
れは、ジョイントCbCrのモードタイプに基づいて決定できる。一実施例において、C
bCrのためのスライスレベルACT Qpオフセットは、slice_act_cb_
qp_offsetと同じ値に設定されることができる。他の実施例において、0以外の
値を持つtu_cbf_cbを有するジョイントCbCrモードの場合、ジョイントCb
CrのためのスライスレベルのACT Qpオフセットは、slice_act_cb_
qp_offsetと同じ値に設定されることができる。そして、0値を持つtu_cb
f_cbを有するジョイントCbCrモードの場合、ジョイントCbCrのためのスライ
スレベルのACT Qpオフセットは、slice_act_cr_qp_offset
と同じ値に設定されることができる。
一方、他の実施例において、シンタックス要素はスライスヘッダー又はピクチャヘッダ
ーでシグナリングされることができる。これを実現するために、以下のように符号化/復
号化が行われることができる。
-ACT Qpオフセットがピクチャヘッダーに存在するのか、或いはスライスヘッダ
ーに存在するのかを示すフラグpps_picture_slice_act_qp_o
ffsets_present_flagをPPSでシグナリングすることができる。
-ACTが適用可能であり、pps_picture_slice_act_qp_o
ffsets_present_flagの値が第2値(例えば1)である場合、ACT
Qpオフセットがピクチャヘッダーに存在するか否かを示すフラグpic_act_q
p_offsets_present_flagをピクチャヘッダーでシグナリングする
ことができる。ここで、pic_act_qp_offsets_present_fl
agの第2値(例えば1)は、当該ピクチャヘッダーに対応するピクチャのすべてのスラ
イスに対するACT Qpオフセットは、ピクチャヘッダーで提供されることを示すこと
ができる。
-pic_act_qp_offsets_present_flagの第1値(例え
ば0)は、当該ピクチャヘッダーに対応するピクチャのすべてのスライスに対するACT
Qpオフセットがピクチャヘッダーで提供されないことを示すことができる。例えば、
ACTが適用可能であり、pps_picture_slice_act_qp_off
sets_present_flagの値が第2値(例えば1)であり、pic_act
_qp_offsets_present_flagの値が第1値(例えば0)である場
合、スライスのためのACT Qpオフセットはスライスヘッダーで提供できる。
図46は、pps_pic_slice_act_qp_offsets_prese
nt_flagがシグナリングされるPPSのシンタックステーブルを示す図である。シ
ンタックス要素pps_pic_slice_act_qp_offsets_pres
ent_flagは、ACT Qpオフセットがピクチャヘッダー及び/又はスライスヘ
ッダーで提供されるか否かを示すことができる。例えば、pps_pic_slice_
act_qp_offsets_present_flagの第1値(例えば0)は、A
CT Qpオフセットがピクチャヘッダー及びスライスヘッダーで提供されないことを示
すことができる。pps_pic_slice_act_qp_offsets_pre
sent_flagの第2値(例えば1)は、ACT Qpオフセットがピクチャヘッダ
ー又はスライスヘッダーで提供できることを示すことができる。pps_pic_sli
ce_act_qp_offsets_present_flagがビットストリームで
提供されない場合、pps_pic_slice_act_qp_offsets_pr
esent_flagの値は第1値(例えば0)と決定されることができる。
図47はACT Qpオフセットをシグナリングするためのピクチャヘッダーのシンタ
ックステーブルを示す図である。シンタックス要素pic_act_qp_offset
s_present_flagは、ACT Qpオフセットがピクチャヘッダーで提供さ
れるか否かを示すことができる。pic_act_qp_offsets_presen
t_flagの第1値(例えば0)は、ACT Qpオフセットがピクチャヘッダーで提
供されず、スライスヘッダーで提供できることを示すことができる。pic_act_q
p_offsets_present_flagの第2値(例えば1)は、ACT Qp
オフセットがピクチャヘッダーで提供されることを示すことができる。pic_act_
qp_offsets_present_flagの値がビットストリームで提供されな
い場合、その値は0と決定されることができる。
図48はACT Qpオフセットをシグナリングするためのスライスヘッダーのシンタ
ックステーブルを示す図である。図48のシンタックステーブルにおいて、シンタックス
要素slice_act_y_qp_offset、slice_act_cb_qp_
offset、slice_act_cr_qp_offset、及びslice_ac
t_cbcr_qp_offsetは、ルマ、Cb及びCr成分に対する量子化パラメー
タ値qPに対するオフセットを示すことができる。slice_act_y_qp_of
fset、slice_act_cb_qp_offset、slice_act_cr
_qp_offset、及びslice_act_cbcr_qp_offsetの値は
、-12から12までの値を持つことができる。さらに、PpsActQpOffset
Y+slice_act_y_qp_offset、PpsActQpOffsetCb
+slice_act_cb_qp_offset、及びPpsActQpOffset
Cr+slice_act_cr_qp_offsetは、-12から12までの値の範
囲を持つように制限できる。
一方、slice_act_y_qp_offset、slice_act_cb_q
p_offset、slice_act_cr_qp_offset、及びslice_
act_cbcr_qp_offsetの値がビットストリームで提供されない場合、p
ps_pic_slice_act_qp_offsets_present_flag
の値が第1値(例えば0)であれば、slice_act_y_qp_offset、s
lice_act_cb_qp_offset、及びslice_act_cr_qp_
offsetの値は0と決定できる。そうではなく、pps_pic_slice_ac
t_qp_offsets_present_flagの値が第2値(例えば1)であれ
ば、slice_act_y_qp_offset、slice_act_cb_qp_
offset、及びslice_act_cr_qp_offsetの値は、それぞれp
ps_act_y_qp_offset、pps_act_cb_qp_offset、
及びpps_act_cr_qp_offsetと同じ値に決定できる。
一方、ACT Qpオフセットがスライスヘッダー又はピクチャヘッダーの両方に存在
する場合、qP値を誘導するために使用される最終オフセット値は、PPSでシグナリン
グされるオフセットの値と、スライスヘッダー又はピクチャヘッダーでシグナリングされ
るオフセットの値とを加算した値に決定できる。
より詳細には、一実施例において、量子化パラメータqPは以下のように決定できる。
まず、cIdxの値が0である場合、qP及びACT Qpオフセットは下記数式のよう
に誘導できる。
[数式92]
qP=Qp′Y
ActQpOffset=PPsQpOffsetY+slice_act_y_qp
_offset
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPとACT Qpオフセットは下記数式のように誘導できる。
[数式93]
qP=Qp′CbCr
ActQpOffset=PPsQpOffsetCbCr+slice_act_C
bCr_qp_offset
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは下記
数式のように誘導できる。
[数式94]
qP=Qp′Cb
ActQpOffset=PpsActQpOffsetCb+slice_act_
Cb_qp_offset
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは下記
数式のように誘導できる。
[数式95]
qP=Qp′Cr
ActQpOffset=PpsActQpOffsetCr+slice_act_
Cr_qp_offset
他の一実施例において、ジョイントCbCrに対する多数のACT Qpオフセットが
シグナリングされる場合、ジョイントCbCrに対するActQpOffsetは、以下
のように決定できる。
まず、cIdxの値が0である場合、qPとACT Qpオフセットは下記数式のよう
に誘導できる。
[数式96]
qP=Qp′Y
ActQpOffset=PPsQpOffsetY+slice_act_y_qp
_offset
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPは下記数式のように誘導できる。
[数式97]
qP=Qp′CbCr
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは下記
数式のように誘導できる。
[数式98]
qP=Qp′Cb
ActQpOffset=PpsActQpOffsetCb+slice_act_
Cb_qp_offset
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは下記
数式のように誘導できる。
[数式99]
qP=Qp′Cr
ActQpOffset=PpsActQpOffsetCr+slice_act_
Cr_qp_offset
そして、cIdxの値が0ではなく、TuCResMode[xTbY][yTbY]
の値が0ではない場合、ACT Qpオフセットは下記数式のように誘導できる。
[数式100]
ActQpOffset=(tu_cbf_cb[xTbY][yTbY])?(PP
sQpOffsetCbCrModeA+slice_act_CbCr_qp_off
set_ModeA):(PPsQpOffsetCbCrModeB+slice_a
ct_CbCr_qp_offset_ModeB)
別の一実施例において、ジョイントCbCrに対するACT Qpオフセットが提供さ
れない場合、Y、Cb及び/又はCr成分に対するqPとActQpOffsetが決定
され、ジョイントCbCrに対するActQpOffsetは、次のようにY、Cb及び
/又はCr成分のACT Qpオフセットを用いて決定され得る。例えば、前述した実施
例において、数式97に関連するTuCResMode[xTbY][yTbY]の値が
2である場合、qPの計算ステップは、次のように変更されて実施できる。
「そうでない場合、TuCResMode[xTbY][yTbY]の値が2である場
合、qPとACT Qpオフセットは下記数式のように誘導できる。
[数式101]
qP=Qp′CbCr
ActQpOffset=(cIdx==1])?(PPsQpOffsetCb+s
lice_act_Cb_qp_offset):(PPsQpOffsetCr+sl
ice_act_Cr_qp_offset)」
一方、他の実施例において、ActQpOffsetの値は下記数式のように決定でき
る。
[数式102]
ActQpOffset=(tu_cbf_cb[xTbY][yTbY])?(PP
sQpOffsetCb+slice_act_Cb_qp_offset):(PPs
QpOffsetCr+slice_act_Cr_qp_offset)
実施例8:多数のACT Qpオフセットのセットをシグナリングする方案
本実施例では、ACT Qpオフセットのリストを用いる方案について説明する。この
ために、以下の処理が行われ得る。
a)パラメータセット(例えば、SPS又はPPS)内で、リストの形態で多数のAC
T Qpオフセットのセットがシグナリングできる。リスト内のそれぞれのセットは、Y
、Cb、Cr、及びジョイントCbCr成分に対するACT Qpオフセットを含むこと
ができる。単純化のために、ACT Qpオフセットのリストは、クロマQpオフセット
のリストをシグナリングするパラメータセットと同じパラメータセットでシグナリングさ
れることができる。
b)リスト内のACT Qpオフセットのセットの数は、PPSでシグナリングされる
クロマQpオフセットのセットの数と同じであり得る。
c)それぞれの符号化単位に対するqPを誘導するために使用されるACT Qpオフ
セットとして、符号化単位に対するクロマQpオフセットに対するインデックス(例えば
、cu_chroma_qp_offset_idx)を有するリスト内に属するACT
Qpオフセットが使用できる。
d)前記b)及びc)の代替実施例として、以下が行われることができる。
-リスト内のACT Qpオフセットのセットの数がシグナリングされることができる
。リスト内のACT Qpオフセットのセットの数は、クロマQpオフセットのセットの
数と異なり得る。
-ACTが適用できる場合、符号化単位に対して使用されるACT Qpオフセットの
インデックスを示すインデックスがシグナリングできる。
上記のコンセプトから外れない、ACT Qpオフセットのリストをシグナリングする
シンタックスが図49のように使用できる。例えば、pps_act_y_qp_off
set、pps_act_cb_qp_offset、pps_act_cr_qp_o
ffset、及びpps_act_cbcr_qp_offsetが、cu_act_e
nabled_flagの値が1である場合、ルマ、Cb及びCr成分とジョイントCb
Crのための量子化パラメータ値qPに適用されるためのオフセットを決定するために使
用できる。
pps_act_y_qp_offset、pps_act_cb_qp_offse
t、pps_act_cr_qp_offset、及びpps_act_cbcr_qp
_offsetの値が存在しない場合、各値は0に誘導できる。
cu_act_enabled_flagの値が第2値(例えば1)であり、cu_c
hroma_qp_offset_flagの値が第2値(例えば1)であるとき、ac
t_y_qp_offset_list[i]、act_cb_qp_offset_l
ist[i]、act_cr_qp_offset_list[i]、及びact_cb
cr_qp_offset_list[i]がルマ、Cb及びCr成分とジョイントCb
Cr成分のそれぞれに対して量子化パラメータ値qPに適用されるオフセットを決定する
ために使用できる。act_y_qp_offset_list[i]、act_cb_
qp_offset_list[i]、act_cr_qp_offset_list[
i]、及びact_cbcr_qp_offset_list[i]の値が存在しない場
合、各値は0に誘導できる。
本実施例において、量子化パラメータqPは以下のように決定できる。まず、cIdx
の値が0である場合、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式103]
qP=Qp′Y
ActQpOffset=pps_act_y_qp_offset+(cu_chr
oma_qp_offset_flag)?act_y_qp_offset_list
[cu_chroma_qp_offset_idx]:0+slice_act_y_
qp_offset
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、qPとACT Qpオフセットは、下記数式のように誘導できる。
[数式104]
qP=Qp′CbCr
ActQpOffset=pps_act_cbcr_qp_offset+(cu_
chroma_qp_offset_flag)?act_cbcr_qp_offse
t_list[cu_chroma_qp_offset_idx]:0+slice_
act_cbcr_qp_offset
そうでなければ、cIdxの値が1である場合、qPとACT Qpオフセットは、下
記数式のように誘導できる。
[数式105]
qP=Qp′Cb
[ActQpOffset=pps_act_cb_qp_offset+(cu_c
hroma_qp_offset_flag)?act_cb_qp_offset_l
ist[cu_chroma_qp_offset_idx]:0+slice_act
_cb_qp_offset
そうでなければ、cIdxの値が2である場合、qPとACT Qpオフセットは下記
数式のように誘導できる。
[数式106]
qP=Qp′Cr
ActQpOffset=pps_act_cr_qp_offset+(cu_ch
roma_qp_offset_flag)?act_cr_qp_offset_li
st[cu_chroma_qp_offset_idx]:0+slice_act_
cr_qp_offset
実施例9:無損失符号化と損失符号化の両方に適用するためのACT色空間変換方案
前述した順方向変換及び逆方向変換のための行列ベース色空間間の変換は、次のように
まとめられる。
上記の変換は、CoとCgの処理において一部の値の損失が発生するため、元の状態へ
の復元が不可能である。例えば、RGB色空間のサンプル値をYCgCo色空間に変換し
てから再びRGB色空間に逆変換する場合、原サンプルの値が完全には復元されなくなる
。よって、前記表3による変換は、無損失符号化のために使用できない。無損失符号化が
適用される場合にも、色空間変換後にサンプル値の損失が発生しないように色空間変換ア
ルゴリズムを改善する必要がある。実施例9及び10は、無損失符号化だけでなく、損失
符号化においても適用可能な色空間変換アルゴリズムを開示する。
以下の実施例で、損失符号化だけでなく、無損失符号化にも適用できる元の状態に復元
可能な(reversible)色空間変換を用いてACTを行う方案について説明する
。このように復元可能な色空間変換は、前述した符号化及び復号化方法に適用できる。A
CT Qpオフセットも、以下の色空間変換のために調整できる。一実施例による色空間
変換は、下記数式のように実行できる。例えば、GBR色空間からYCgCo色空間への
順方向変換は、下記数式によって行われ得る。
[数式107]
Co=R-B;
t=B+(Co>>1);
Cg=G-t;
Y=t+(Cg>>1);
また、YCgCo色空間からGBR色空間への逆方向変換は、下記数式によって行われ
得る。
[数式108]
t=Y-(Cg>>1)
G=Cg+t
B=t-(Co>>1)
R=Co+B
上記の数式によるYCgCo色空間とRGB色空間間の変換は、元の状態に復元可能で
ある。すなわち、上記の数式による色空間変換は完全な復元を支援し、例えば、順方向変
換後に逆方向変換を行っても、サンプル値は同一に維持される。これにより、前記数式に
よる色空間変換は、復元可能なYCgCo-R色変換と呼ぶことができる。ここで、Rは
、元の状態に復元可能であることを意味するreversibleの略語であり得る。Y
CgCo-R変換は、Cg及びCoのビットデプスを既存の変換よりも1増加させること
により備えられ得る。このような条件を備える場合、他の形態の復元可能な変換も上記の
変換のように使用できる。
上記数式のような変換は、前述した変換とは異なるノルム(norm)値を有するので
、Y、Cg、Coに対するACT Qpオフセットは、色空間変換による動的範囲変化を
補償するために調整できる。
前述した変換が適用される場合、一実施例による ACT Qpオフセットは、Y、C
g、Coに対して(-5、-5、-5)の値を有することができることが説明されたこと
がある。しかし、本実施例における復元可能な変換が適用される場合、一実施例による
ACT Qpオフセットとして、(-5、-5、-5)以外の値が指定できる。例えば、
一実施例による ACT Qpオフセットとして、Y、Cg、Coに対して(-5、1、
3)の値が使用できる。
他の実施例において、ACT QPオフセットは、前述の実施例6又は7のようにビッ
トストリームを介してシグナリングされることができる。
例えば、前述したYCgCo-R変換がACT QPオフセット(-5、1、3)と一
緒に使用される場合、下記図のように、損失符号化環境(例えば、QP 22、27、3
2、37)に対して符号化損失が存在しないことが観測された。さらに、ACTを適用す
る場合、無損失符号化を実現するにあたり、5%の符号化性能をさらに得ることができる
ことが観測された。
統合されたACTマトリクスを含むためのVVC仕様は、下記表のように記載できる。
例えば、(nTbW)×(nTbH)サイズのレジデュアルサンプル配列rY、rCb
びrCrは、次のように更新できる。
[数式109]
tmp=rY[x][y]-(rCb[x][y]>>1)
Y[x][y]=tmp+rCb[x][y]
Cb[x][y]=tmp-(rCr[x][y]>>1)
Cr[x][y]=rCb[x][y]+rCr[x][y]
実施例10:明示的なシグナリングに基づく多数の色変換を行うACT実行方案
本実施例において、少なくとも一つの色変換がACTによって行われ得る。どの色変換
が行われるかが、ビットストリームを介してシグナリングされるフラグによって決定でき
る。このようなフラグは、SPS、PPS、ピクチャヘッダー及びスライスなどの多数の
レベル又は識別可能な構成部分(granularies)でシグナリングできる。
一実施例において、どのACTが適用されるかを示すために、所定のフラグがシグナリ
ングできる。例えば、当該フラグの値が1であれば、復元可能な色変換に基づくACTが
適用できる。当該フラグの値が0であれば、復元不可能な色変換に基づくACTが適用で
きる。
他の実施例において、ACTに対する所定のフラグが、どの色変換が使用されるかを示
すためにシグナリングできる。SPSでシグナリングされるシンタックスの例示が図50
に記載されている。図50のシンタックス要素について説明する。シンタックス要素sp
s_act_reversible_conversionは、元の状態に復元されない
変換数式を用いるか否かを示すことができる。sps_act_reversible_
conversionの第1値(例えば0)は、ACTが元の状態に復元されない変換数
式を用いることを示すことができる。sps_act_reversible_conv
ersionの第2値(例えば1)は、ACTが元の状態に復元可能な変換数式を使用す
ることを示すことができる。
これにより、損失符号化が行われるか否かを示す変数lossyCodingは、下記
数式のように設定できる。
[数式110]
lossyCoding=(!sps_act_reversible_conver
sion)
lossyCodingフラグを用いて、復号化過程で復号化装置がYCgCoからG
BRへの逆方向変換を行うための擬似コードは、以下のように表現できる。
[数式111]
If(sps_act_reversible_conversion==1)

//YCgCo-R reversible conversion
t=Y-(Cg>>1)
G=Cg+t
B=t-(Co>>1)
R=Co+B

else{
t=Y-Cg
G=Y+Cg
B=t-Co
R=t+Co
これにより、実施例9の表5に示されているVVC仕様は、下記表のように修正できる
上記の表によって、色空間変換を用いるレジデュアル更新プロセスは、本プロセスに対
する入力として次のパラメータを用いることができる。
-ブロックの幅を表す変数nTbW
-ブロックの高さを表す変数nTbH
-要素rY[x][y]で構成された、ルマレジデュアルサンプルに対する(nTbW
)×(nTbH)サイズの配列rY
-要素rCb[x][y]で構成された、クロマレジデュアルサンプルに対する(nTb
W)×(nTbH)サイズの配列rCb
-要素rCr[x][y]で構成された、クロマレジデュアルサンプルに対する(nTb
W)×(nTbH)サイズの配列rCr
本プロセスに対する出力は、次のとおりである。
-ルマレジデュアルサンプルに対する(nTbW)×(nTbH)サイズの更新された
配列rY
-クロマレジデュアルサンプルに対する(nTbW)×(nTbH)サイズの更新され
た配列rCb
-クロマレジデュアルサンプルに対する(nTbW)×(nTbH)サイズの更新され
た配列rCr
本プロセスの実行によって、(nTbW)×(nTbH)サイズのレジデュアルサンプ
ル配列rY、rCb及びrCrは、次のように更新できる。
まず、sps_act_reversible_conversionの値が第2値(
例えば1)である場合、(nTbW)×(nTbH)サイズのレジデュアルサンプル配列
Y、rCb及びrCrは、下記数式のように更新できる。
[数式112]
tmp=rY[x][y]-(rCb[x][y]>>1))
Y[x][y]=tmp+rCb[x][y])
Cb[x][y]=tmp-(rCr[x][y]>>1))
Cr[x][y]=rCb[x][y]+rCr[x][y]
そうでなければ(例えば、sps_act_reversible_conversi
onの値が第1値(例えば0)であれば)、(nTbW)×(nTbH)サイズのレジデ
ュアルサンプル配列rY、rCb及びrCrは、下記数式のように更新できる。
[数式113]
tmp=rY[x][y]-rCb[x][y]
Y[x][y]=rY[x][y]+rCb[x][y]
Cb[x][y]=tmp-rCr[x][y]
Cr[x][y]=tmp+rCr[x][y]
YCgCo逆方向変換及びYCgCo-R逆方向変換は、一部の類似点を有する。元の
状態に復元可能な変換において、Cg及びCoがCg’=Cg<<1及びCo’=Co<
<1で置き換えられる場合、これは、損失逆方向変換で動作することができる。下記数式
はこれに対する実施例を示す。
[数式114]
t=Y-(Cg’>>1)=Y-Cg
G=Cg’+t=Y+Cg
B=t-(Co’>>1)=t-Co=Y-Cg-Co
R=Co’+B=t+Co=Y-Cg+Co
したがって、代替的な実施例において、2つの色変換を維持する代わりに、元の状態に
復元可能な変換のみを使用することができる。損失符号化事例において、Cg、Co成分
は、符号化装置の動作において1/2倍スケールされ、復号化装置の動作において2倍ス
ケールされ得る。これにより、損失及び無損失ケースを支援する場合でも、一つの統合さ
れた変換を使用することができるようになる。さらに、損失符号化が行われる場合にも、
ビットデップスが変わらない可能性があるという更なる利点も有することができる。
一実施例において、どのACT変換が用いられるかを示すフラグ(例えば、actSh
iftFlag)が図51のシンタックスに従って使用できる。図51のシンタックステ
ーブルにおいて、シンタックス要素sps_act_shift_flagは、ACTが
適用される間に色成分のシフトを行うステップが適用されるか否かを示すことができる。
例えば、sps_act_shift_flagの第1値(例えば0)は、ACTが適用
される間に色成分のシフトを行うステップが適用されないことを示すことができる。sp
s_act_shift_flagの第2値(例えば1)は、ACTが適用される間に色
成分のシフトを行うステップが適用されることを示すことができる。変数actShif
tFlagは、sps_act_shift_flagの値に設定されることができる。
復号化装置におけるYCgCoからGBRへの逆方向変換を実現するための擬似コードが
actShiftFlgaを用いて次のように作成できる。
実施例11:変換タイプの誘導を用いた多数の色変換を行うACT実行方案
一実施例において、ACTを行う際に少なくとも一つの色変換が用いられ得る。そして
、どの色変換タイプが用いられるかがビットストリームの他の情報に基づいて誘導できる
一実施例において、元の状態に復元可能なACT変換、及び元の状態に復元不可能なA
CT変換を含む2つのACT変換タイプが利用可能である。ACT変換タイプは、変換タ
イプによって誘導できる。例えば、変数tuIsTransformSkipによって識
別されるように変換タイプが変換スキップであれば、元の状態に復元可能なACT変換が
用いられ得る。そうでなければ(例えば、変換タイプが変換スキップでなければ)、元の
状態に復元不可能なACT変換が用いられ得る。2つのタイプの擬似コードが使用できる
他の実施例において、ACT変換タイプはQP値に基づいて決定できる。Qp値が所定
の閾値(例えば、QpPrimeTsMin)以下の値である場合、元の状態に復元可能
なACT変換が用いられ得る。そうでない場合(例えば、Qp値が所定の閾値を超える場
合)、復元不可能なACT変換が用いられ得る。
実施例12:ACT QPオフセットを用いたQP誘導方案
本実施例は、前述の実施例1及び2に関する。前述の実施例1及び2において、既に誘
導されたQp’Y、Qp’CbCr、Qp’Cb、Qp’CrをQPとして含むものと説明された
。実施例1及び2に記載されている方法は、誘導されたQp値をACT QPオフセット
を用いて修正し、変換係数スケーリングのための修正されたQP値が有効範囲を外れない
ように必須的なクリッピング技法を適用する。
本実施例は、Qp’Y、Qp’CbCr、Qp’Cb、Qp’Crを誘導するQP誘導プロセス
にACT QPオフセットを含ませる方案を説明する。誘導されたQP値が有効範囲から
外れないように、QP誘導プロセスが所定のクリッピングステップを既に含んでいるので
、ACT QPオフセットをQP誘導プロセスに含めさせることは、追加のクリッピング
ステップを回避しながら、変換係数スケーリングプロセスのための全体的なQP誘導ステ
ップを単純化しながらも、最終的なQPが有効範囲から外れないように保障することがで
きる。
以前の実施例で説明したように、ACT QPオフセットは、定数に予め指定されても
よく、ビットストリームを介してシグナリングされてもよい。一貫性から外れることなく
、Y、Cb、Cr及びCbCrのためのACT QPオフセットは、後述する説明におい
てppsActQpOffsetY、ppsActQpOffsetCb、ppsAct
QpOffsetCr、ppsActQpOffsetCbCrと記載されることができ
る。ppsActQpOffsetY、ppsActQpOffsetCb、ppsAc
tQpOffsetCr、ppsActQpOffsetCbCrは、-MからNまでの
値を有する定数又は変数であり得る。ここで、MとNは、一実施例において、損失符号化
ケースではそれぞれ12と設定されてもよく、無損失符号化ケースではそれぞれ0と設定
されてもよい。さらに、少なくとも一つのACT QPオフセットは、他のACT QP
オフセット値から誘導できる。例えば、ppsActQpOffsetCbCrは、ジョ
イントCbCrモードに基づいてppsActQpOffsetCb又はppsActQ
pOffsetCrと同じ値に設定され得る。
ACT QPオフセットを用いたQP誘導に対する復号化処理は、以下の説明のように
行われ得る。まず、量子化パラメータ誘導プロセスの場合、本プロセスのために以下のパ
ラメータが活用できる。
-現在ピクチャの左上側ルマサンプルに対する現在符号化ブロックの左上側ルマサンプ
ルの相対座標を示すルマ座標(xCb,yCb)、
-現在符号化ブロックの幅をルマサンプル単位で表す変数cbWidth、
-現在符号化ブロックの高さをルマサンプル単位で表す変数cbHeight
-現在符号化ツリーノードを分割するためにシングルツリー(SINGLE_TREE
)又はデュアルツリーが使用されたか否かを示し、デュアルツリーが使用される場合、ル
マ成分デュアルツリー(DAUL_TREE_LUMA)であるか或いはクロマ成分デュ
アルツリー(DAUL_TREE_CHROMA)であるかを示す変数treeType
本量子化パラメータ誘導プロセスにおいて、ルマ量子化パラメータQp’Y及びクロマ
量子化パラメータQp’Cb、Qp’Cr及びQp’CbCrが誘導できる。
その後、変数QpYは、下記数式によって誘導できる。
[数式115]
QpY=((qPY_PRED+CuQpDeltaVal+64+2*QpBdOffse
t)%(64+QpBdOffset))-QpBdOffset
ルマ量子化パラメータQp’Yは、下記数式によって誘導できる。
[数式116]
actQpOffsetY=cu_act_enabled_flag[xCb][y
Cb]?ppsActQpOffsetY:0
Qp′Y=QpY+QpBdOffset+actQpOffsetY
Qp′Y=Clip3(0,63+QpBdOffset,Qp′Y
クロマ配列のタイプを表す変数ChromaArrayTypeの値が第1値(例えば
0)ではなく、treeTypeがSINGLE_TREE又はDUAL_TREE_C
HROMAである場合、以下の処理が行われ得る。
-treeTypeの値がDUAL_TREE_CHROMAである場合、変数QpY
の値は、ルマサンプル位置(xCb+cbWidth/2、yCb+cbHeight/
2)をカバーするルマ符号化単位のルマ量子化パラメータQpYと同じ値に設定され得る
-変数qPCb、qPCr及びqPCbCrが下記数式のように誘導できる。
[数式117]
qPChroma=Clip3(-QpBdOffset,63,QpY
qPCb=ChromaQpTable[0][qPChroma
qPCr=ChromaQpTable[1][qPChroma
qPCbCr=ChromaQpTable[2][qPChroma
-Cb及びCr成分のためのクロマ量子化パラメータQp′Cb及びQp′CrとCb-C
r共同符号化(joint Cb-Cr coding)のためのクロマ量子化パラメー
タQp′CbCrは、下記数式のように誘導できる。
[数式118]
actQpOffsetCb=cu_act_enabled_flag[xCb][
yCb]?ppsActQpOffsetCb:0
actQpOffsetCr=cu_act_enabled_flag[xCb][
yCb]?ppsActQpOffsetCr:0
actQpOffsetCbCr=cu_act_enabled_flag[xCb
][yCb]?ppsActQpOffsetCbCr:0
Qp′Cb=Clip3(-QpBdOffset,63,qPCb+pps_cb_qp
_offset+slice_cb_qp_offset+CuQpOffsetCb+a
ctQpOffsetCb)+QpBdOffset
Qp′Cr=Clip3(-QpBdOffset,63,qPCr+pps_cr_qp
_offset+slice_cr_qp_offset+CuQpOffsetCr+a
ctQpOffsetCr)+QpBdOffset
Qp′CbCr=Clip3(-QpBdOffset,63,qPCbCr+pps_joi
nt_cbcr_qp_offset+
slice_joint_cbcr_qp_offset+CuQpOffsetCbCr
+actQpOffsetCbCr)+QpBdOffset
次に、変換係数に対する逆量子化プロセスが行われ、本プロセスのために以下の情報が
入力として活用され得る。
-現在ピクチャの左上側ルマサンプルに対する現在ルマ変換ブロックの左上側サンプル
の相対座標を表すルマ座標(xTbY,yTbY)、
-変換ブロックの幅を表す変数nTbW、
-変換ブロックの高さを表す変数nTbH、
-符号化単位の予測モードを表す変数predMode、
-現在ブロックの色成分を表す変数cIdx
本変換係数に対する逆量子化プロセスの出力は、スケールされた変換係数の配列dであ
り得る。ここで、配列dの大きさは(nTbW)×(nTbH)であり得る。これを構成
する個別要素はd[x][y]として識別できる。
本プロセスの実行において、量子化パラメータqPは、次のように誘導できる。cId
xの値が0である場合、qPは下記数式のように誘導できる。
[数式119]
qP=Qp′Y
そうでなければ、TuCResMode[xTbY][yTbY]の値が2である場合
、下記数式のように誘導できる。
[数式120]
qP=Qp′CbCr
そうでなければ、cIdxの値が1である場合、qPは下記数式のように誘導できる。
[数式121]
qP=Qp′Cb
そうでなければ、cIdxの値が2である場合、qPは下記数式のように誘導できる。
[数式122]
qP=Qp′Cr
量子化パラメータqPは、次のように更新できる。そして、変数rectNonTsF
lag及びbdShiftは、次のように誘導できる。
transform_skip_flag[xTbY][yTbY][cIdx]の値
が0である場合、下記数式のように誘導できる。
[数式123]
rectNonTsFlag=(((Log2(nTbW)+Log2(nTbH))
&1)==1)?1:0
bdShift=BitDepth+rectNonTsFlag+((Log2(n
TbW)+Log2(nTbH))/2)-5+pic_dep_quant_enab
led_flag
そうではなく、transform_skip_flag[xTbY][yTbY][
cIdx]の値が1である場合(例えば、現在変換ブロックに対して変換がスキップされ
る場合)、下記数式のように誘導できる。
[数式124]
qP= Max(QpPrimeTsMin,qP)
rectNonTsFlag=0
bdShift=10
符号化及び復号化方法
以下、図52及び図53を参照して、画像符号化装置及び画像復号化装置によって行わ
れる画像符号化方法及び復号化方法について説明する。
まず、復号化装置の動作について説明する。一実施例による画像復号化装置は、メモリ
とプロセッサを含み、復号化装置は、プロセッサの動作によって復号化を行うことができ
る。例えば、図52に示すように、復号化装置は、現在ブロックのレジデュアルサンプル
に色空間(color space)の変換が適用されるか否かに基づいて現在ブロック
の量子化パラメータを決定することができる(S5210)。ここで、色空間の変換は前
述したACTであり得る。ここで、量子化パラメータを決定するステップは、量子化パラ
メータの値が所定の上限値以下の値を有し、所定の下限値以上の値を有するように、量子
化パラメータにクリッピングを行うことにより行われることができる。ここで、量子化パ
ラメータの所定の下限値は0であり得る。そして、量子化パラメータの所定の上限値は、
サンプルのビットデプスを表すシンタックス要素に基づいて決定されることができる。
量子化パラメータを決定するステップは、現在ブロックの色成分に基づいて量子化パラ
メータを決定するステップと、現在ブロックの色成分に基づいて量子化パラメータオフセ
ットを決定するステップと、量子化パラメータオフセットを用いて量子化パラメータを再
設定するステップと、を含んで行われ得る。
量子化パラメータオフセットを用いて量子化パラメータを再設定するステップは、量子
化パラメータに量子化パラメータオフセットを加えることにより行われ得る。ここで、現
在ブロックのレジデュアルサンプルに色空間(color space)の変換が適用さ
れ、現在ブロックの色成分がルマ成分である場合、量子化パラメータオフセットの値は-
5と決定できる。
そして、現在ブロックのレジデュアルサンプルに色空間の変換が適用され、現在ブロッ
クの色成分がクロマCb成分である場合、量子化パラメータオフセットの値は1と決定で
きる。現在ブロックのレジデュアルサンプルに色空間の変換が適用され、現在ブロックの
色成分がクロマCr成分である場合、量子化パラメータオフセットの値は3と決定できる
次に、復号化装置は、量子化パラメータに基づいて現在ブロックの変換係数を決定する
ことができる(S5220)。その後、復号化装置は、変換係数を用いて現在ブロックの
レジデュアルサンプルを決定することができる(S5230)。次に、復号化装置は、色
空間の変換が適用されるか否かに基づいてレジデュアルサンプルの値を再設定することが
できる(S5240)。
ここで、レジデュアルサンプルの値を再設定するステップは、ルマ成分レジデュアルサ
ンプル値とクロマレジデュアルサンプル値の半値に基づいて行われ得る。例えば、クロマ
レジデュアルサンプル値にシフト演算を行うことにより、クロマレジデュアルサンプル値
の半値が得られる。また、ルマ成分レジデュアルサンプル値にクロマCb成分レジデュア
ルサンプル値の半値を加算することにより、ルマ成分レジデュアルサンプル値が再設定で
きる。また、ルマ成分レジデュアルサンプル値にクロマCb成分レジデュアルサンプル値
の半値とクロマCr成分レジデュアルサンプル値の半値を減算することにより、クロマC
b成分レジデュアルサンプル値が再設定できる。
次に、符号化装置の動作について説明する。一実施例による画像符号化装置は、メモリ
とプロセッサとを含み、符号化装置は、プロセッサの動作によって、前記復号化装置の復
号化に対応する方式で符号化を行うことができる。例えば、図53に示すように、符号化
装置は、色空間(color space)の変換が適用されるか否かに基づいてレジデ
ュアルサンプルを再設定することができる(S5310)。ここで、色空間の変換は、前
述したACTであり得る。
さらに、レジデュアルサンプルの値を再設定するステップは、ルマ成分レジデュアルサ
ンプル値とクロマレジデュアルサンプル値の半値に基づいて行われることができる。例え
ば、クロマレジデュアルサンプル値にシフト演算を行うことにより、クロマレジデュアル
サンプル値の半値が得られる。また、上述した復号化装置における再設定演算を逆に行う
ことにより、符号化装置は、ルマ成分レジデュアルサンプル値、クロマCb成分レジデュ
アルサンプル値及びクロマCr成分レジデュアルサンプル値を再設定することができる。
次に、符号化装置は、再設定されたレジデュアルサンプルを用いて変換係数を決定する
ことができる(S5320)。その後、符号化装置は、色空間の変換が適用されるか否か
に基づいて量子化パラメータを決定することができる(S5330)。ここで、量子化パ
ラメータを決定するステップは、量子化パラメータの値が所定の上限値以下の値を有し、
所定の下限値以上の値を有するように量子化パラメータにクリッピングを行うことにより
行われ得る。ここで、量子化パラメータの所定の下限値は0であってもよい。そして、量
子化パラメータの所定の上限値は、サンプルのビットデプスを表すシンタックス要素に基
づいて決定できる。
量子化パラメータを決定するステップは、現在ブロックの色成分に基づいて量子化パラ
メータを決定するステップと、現在ブロックの色成分に基づいて量子化パラメータオフセ
ットを決定するステップと、量子化パラメータオフセットを用いて量子化パラメータを再
設定するステップと、を含んで行われ得る。
量子化パラメータオフセットを用いて量子化パラメータを再設定するステップは、量子
化パラメータに量子化パラメータオフセットを加えることにより行われ得る。ここで、現
在ブロックのレジデュアルサンプルに色空間の変換が適用され、現在ブロックの色成分が
ルマ成分である場合、量子化パラメータオフセットの値は-5と決定できる。
そして、現在ブロックのレジデュアルサンプルに色空間の変換が適用され、現在ブロッ
クの色成分がクロマCb成分である場合、量子化パラメータオフセットの値は1と決定で
きる。現在ブロックのレジデュアルサンプルに色空間の変換が適用され、現在ブロックの
色成分がクロマCr成分である場合、量子化パラメータオフセットの値は3と決定できる
次に、符号化装置は、量子化パラメータに基づいて変換係数を符号化することができる
(S5340)。
応用実施例
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、
これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それ
ぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実
現するために、例示するステップにさらに他のステップを含むか、一部のステップを除い
て残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこと
もできる。
本開示において、所定の動作(ステップ)を行う画像符号化装置又は画像復号化装置は
、当該動作(ステップ)の実行条件や状況を確認する動作(ステップ)を行うことができ
る。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符
号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行
った後、前記所定の動作を行うことができる。
本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示
の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して
適用されてもよく、2つ以上の組み合わせで適用されてもよい。
また、本開示の様々な実施例は、ハードウェア、ファームウェア(firmware)
、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる
実現の場合、一つ又はそれ以上のASICs(Application Specifi
c Integrated Circuits)、DSPs(Digital Sign
al Processors)、DSPDs(Digital Signal Proc
essing Devices)、PLDs(Programmable Logic
Devices)、FPGAs(Field Programmable Gate A
rrays)、汎用プロセッサ(general processor)、コントローラ
、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメデ
ィア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデ
オ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバ
イルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ(VoD)サービス提供
装置、OTTビデオ(Over the top video)装置、インターネットス
トリーミングサービス提供装置、3次元(3D)ビデオ装置、画像電話ビデオ装置、及び
医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するため
に使用できる。例えば、OTTビデオ(Over the top video)装置と
しては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続TV、ホームシ
アターシステム、スマートフォン、タブレットPC、DVR(Digital Vide
o Recoder)などを含むことができる。
図54は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図
である。
図54に示されているように、本開示の実施例が適用されたコンテンツストリーミング
システムは、大きく、符号化サーバ、ストリーミングサーバ、Webサーバ、メディアス
トレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力
装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、
これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォ
ン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成
する場合、前記符号化サーバは省略できる。
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び/又は画像
符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝
送又は受信する過程で一時的に前記ビットストリームを保存することができる。
前記ストリーミングサーバは、Webサーバを介してユーザの要求に基づいてマルチメ
ディアデータをユーザ装置に伝送し、前記Webサーバは、ユーザにどんなサービスがあ
るかを知らせる媒介体の役割を果たすことができる。ユーザが前記Webサーバに所望の
サービスを要求すると、前記Webサーバは、これをストリーミングサーバに伝達し、前
記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。こ
の時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、
この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命
令/応答を制御する役割を果たすことができる。
前記ストリーミングサーバは、メディアストレージ及び/又は符号化サーバからコンテ
ンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合
、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミ
ングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを
一定時間の間保存することができる。
前記ユーザ装置の例としては、携帯電話、スマートフォン(smart phone)
、ノートパソコン(laptop computer)、デジタル放送用端末、PDA(
personal digital assistants)、PMP(portabl
e multimedia player)、ナビゲーション、スレートPC(slat
e PC)、タブレットPC(tablet PC)、ウルトラブック(ultrabo
ok)、ウェアラブルデバイス(wearable device)、例えば、スマート
ウォッチ(smartwatch)、スマートグラス(smart glass)、HM
D(head mounted display)、デジタルTV、デスクトップコンピ
ュータ、デジタルサイネージなどがあり得る。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営される
ことができ、この場合、各サーバから受信するデータは、分散処理されることができる。
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行され
るようにするソフトウェア又はマシン-実行可能なコマンド(例えば、オペレーティング
システム、アプリケーション、ファームウェア(firmware)、プログラムなど)
、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で
実行できる非一時的なコンピュータ可読媒体(non-transitory comp
uter-readable medium)を含む。
本開示による実施例は、画像を符号化/復号化するために利用可能である。

Claims (15)

  1. 画像復号化装置によって行われる画像復号化方法であって、
    現在ブロックのレジデュアルサンプルに色空間(color space)の変換が適
    用されるか否かに基づいて前記現在ブロックの量子化パラメータを決定するステップと、
    前記量子化パラメータに基づいて前記現在ブロックの変換係数を決定するステップと、
    前記変換係数を用いて前記現在ブロックのレジデュアルサンプルを決定するステップと

    前記色空間の変換が適用されるか否かに基づいて前記レジデュアルサンプルの値を再設
    定するステップと、を含んでなり、
    前記量子化パラメータを決定するステップは、前記量子化パラメータの値が所定の上限
    値以下の値を有し、所定の下限値以上の値を有するように前記量子化パラメータにクリッ
    ピングをすることにより行われる、画像復号化方法。
  2. 前記量子化パラメータの所定の下限値は0である、請求項1に記載の画像復号化方法。
  3. 前記量子化パラメータの所定の上限値は、サンプルのビットデプスを表すシンタックス
    要素に基づいて決定される、請求項1に記載の画像復号化方法。
  4. 前記量子化パラメータを決定するステップは、
    前記現在ブロックの色成分に基づいて量子化パラメータを決定するステップと、
    前記現在ブロックの色成分に基づいて量子化パラメータオフセットを決定するステップ
    と、
    前記量子化パラメータオフセットを用いて前記量子化パラメータを再設定するステップ
    と、を含む、請求項1に記載の画像復号化方法。
  5. 前記量子化パラメータオフセットを用いて前記量子化パラメータを再設定するステップ
    は、前記量子化パラメータに前記量子化パラメータオフセットを加えることにより行われ
    る、請求項4に記載の画像復号化方法。
  6. 前記現在ブロックのレジデュアルサンプルに色空間の変換が適用され、前記現在ブロッ
    クの色成分がルマ成分である場合、前記量子化パラメータオフセットの値は-5と決定さ
    れる、請求項5に記載の画像復号化方法。
  7. 前記現在ブロックのレジデュアルサンプルに色空間の変換が適用され、前記現在ブロッ
    クの色成分がクロマCb成分である場合、前記量子化パラメータオフセットの値は1と決
    定される、請求項5に記載の画像復号化方法。
  8. 前記現在ブロックのレジデュアルサンプルに色空間の転換が適用され、前記現在ブロッ
    クの色成分がクロマCr成分である場合、前記量子化パラメータオフセットの値は3と決
    定される、請求項5に記載の画像復号化方法。
  9. 前記レジデュアルサンプルの値を再設定するステップは、ルマ成分レジデュアルサンプ
    ル値とクロマレジデュアルサンプル値の半値に基づいて行われる、請求項1に記載の画像
    復号化方法。
  10. 前記クロマレジデュアルサンプル値の半値は、前記クロマレジデュアルサンプル値にシ
    フト演算を行うことによって得られる、請求項9に記載の画像復号化方法。
  11. 前記ルマ成分レジデュアルサンプル値にクロマCb成分レジデュアルサンプル値の半値
    を加算することにより、前記ルマ成分レジデュアルサンプル値が再設定される、請求項9
    に記載の画像復号化方法。
  12. 前記ルマ成分レジデュアルサンプル値にクロマCb成分レジデュアルサンプル値の半値
    とクロマCr成分レジデュアルサンプル値の半値を減算することにより、前記クロマCb
    成分レジデュアルサンプル値が再設定される、請求項9に記載の画像復号化方法。
  13. 画像復号化装置であって、
    メモリと、及び
    少なくとも一つのプロセッサと、を備えてなり、
    前記少なくとも一つのプロセッサは、
    現在ブロックのレジデュアルサンプルに色空間(color space)の変換が適
    用されるか否かに基づいて前記現在ブロックの量子化パラメータを決定し、
    前記量子化パラメータに基づいて前記現在ブロックの変換係数を決定し、
    前記変換係数を用いて前記現在ブロックのレジデュアルサンプルを決定し、
    前記色空間の変換が適用されるか否かに基づいて前記レジデュアルサンプルの値を再設
    定し、
    前記プロセッサは、前記量子化パラメータの値が所定の上限値以下の値を有し、所定の
    下限値以上の値を有するように前記量子化パラメータにクリッピングをすることにより行
    う、画像復号化装置。
  14. 画像符号化装置によって行われる画像符号化方法であって、
    色空間(color space)の変換が適用されたか否かに基づいてレジデュアル
    サンプルを再設定するステップと、
    前記再設定されたレジデュアルサンプルを用いて変換係数を決定するステップと、
    前記色空間の変換が適用されるか否かに基づいて量子化パラメータを決定するステップ
    と、
    前記量子化パラメータに基づいて前記変換係数を符号化するステップと、を含み、
    前記量子化パラメータを決定するステップは、前記量子化パラメータの値が所定の上限
    値以下の値を有し、所定の下限値以上の値を有するように前記量子化パラメータにクリッ
    ピングをすることにより行われる、画像符号化方法。
  15. 請求項14に記載の画像符号化方法によって生成されたビットストリームを伝送する方
    法。
JP2024016864A 2019-10-28 2024-02-07 色空間変換を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法 Pending JP2024050835A (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201962927111P 2019-10-28 2019-10-28
US62/927,111 2019-10-28
US201962931785P 2019-11-06 2019-11-06
US62/931,785 2019-11-06
US201962939532P 2019-11-22 2019-11-22
US62/939,532 2019-11-22
US202062957127P 2020-01-04 2020-01-04
US62/957,127 2020-01-04
PCT/KR2020/014844 WO2021086020A1 (ko) 2019-10-28 2020-10-28 색공간 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
JP2022525280A JP7434545B2 (ja) 2019-10-28 2020-10-28 色空間変換を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022525280A Division JP7434545B2 (ja) 2019-10-28 2020-10-28 色空間変換を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Publications (1)

Publication Number Publication Date
JP2024050835A true JP2024050835A (ja) 2024-04-10

Family

ID=75715417

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022525280A Active JP7434545B2 (ja) 2019-10-28 2020-10-28 色空間変換を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP2024016864A Pending JP2024050835A (ja) 2019-10-28 2024-02-07 色空間変換を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022525280A Active JP7434545B2 (ja) 2019-10-28 2020-10-28 色空間変換を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Country Status (7)

Country Link
US (3) US11606558B2 (ja)
EP (1) EP4054189A4 (ja)
JP (2) JP7434545B2 (ja)
KR (1) KR20220070012A (ja)
CN (1) CN114902669A (ja)
MX (1) MX2022005099A (ja)
WO (1) WO2021086020A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121418A1 (en) 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Joint use of adaptive colour transform and differential coding of video
JP7436680B2 (ja) 2020-01-05 2024-02-22 北京字節跳動網絡技術有限公司 映像コーディングのための一般制約情報
CN115176470A (zh) 2020-01-18 2022-10-11 抖音视界有限公司 图像/视频编解码中的自适应颜色变换
US20210400257A1 (en) * 2020-06-18 2021-12-23 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling high level information for tool control based on colour representation format, and computer-readable recording medium strong bitstream

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11070810B2 (en) * 2014-03-14 2021-07-20 Qualcomm Incorporated Modifying bit depths in color-space transform coding
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
WO2016051643A1 (ja) * 2014-10-03 2016-04-07 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US10057578B2 (en) * 2014-10-07 2018-08-21 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
US10097842B2 (en) * 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
US20170280139A1 (en) * 2016-03-22 2017-09-28 Qualcomm Incorporated Apparatus and methods for adaptive calculation of quantization parameters in display stream compression
JP7016660B2 (ja) * 2017-10-05 2022-02-07 キヤノン株式会社 符号化装置、その制御方法、および制御プログラム、並びに撮像装置
CN114026859A (zh) * 2019-06-28 2022-02-08 字节跳动有限公司 在变换跳过模式中修改量化参数的技术

Also Published As

Publication number Publication date
MX2022005099A (es) 2022-08-15
JP2023500644A (ja) 2023-01-10
US11606558B2 (en) 2023-03-14
CN114902669A (zh) 2022-08-12
US11876967B2 (en) 2024-01-16
JP7434545B2 (ja) 2024-02-20
WO2021086020A1 (ko) 2021-05-06
EP4054189A4 (en) 2023-11-22
KR20220070012A (ko) 2022-05-27
EP4054189A1 (en) 2022-09-07
US20240121391A1 (en) 2024-04-11
US20220337836A1 (en) 2022-10-20
US20230171404A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
JP7434545B2 (ja) 色空間変換を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
EP3985971A1 (en) Image encoding/decoding method and device for utilizing simplified mpm list generation method, and method for transmitting bitstream
US11575919B2 (en) Image encoding/decoding method and device using lossless color transform, and method for transmitting bitstream
US20240015294A1 (en) Image encoding/decoding method and apparatus using adaptive transform, and method for transmitting bitstream
KR20220047824A (ko) 참조 샘플 필터링을 이용하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
JP2024023972A (ja) サインデータハイディング関連映像デコーディング方法及びその装置
US11997274B2 (en) Image encoding/decoding method and device using adaptive color transform, and method for transmitting bitstream
US20220312014A1 (en) Image encoding/decoding method and apparatus for performing residual processing using adaptive transformation, and method of transmitting bitstream
CN114402599A (zh) 用于视频编解码的高级语法中的子图片的信令号
US11695929B2 (en) Image encoding/decoding method and apparatus performing residual processing by using adaptive color space transformation, and method for transmitting bitstream
JP7493612B2 (ja) レジデュアルコーディングに対する映像デコーディング方法及びその装置
US11638024B2 (en) Image encoding/decoding method and apparatus for signaling residual coding method used for encoding block to which BDPCM is applied, and method for transmitting bitstream
JP2023519978A (ja) レジデュアルコーディングに対する映像デコーディング方法及びその装置
KR20220049554A (ko) 가중 예측을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN116235495A (zh) 用于视频译码中的跨分量线性模型(cclm)模式的固定比特深度处理

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240209