JP6798015B2 - 画像コーディングシステムにおけるブロック分割及びイントラ予測方法並びに装置 - Google Patents

画像コーディングシステムにおけるブロック分割及びイントラ予測方法並びに装置 Download PDF

Info

Publication number
JP6798015B2
JP6798015B2 JP2019517310A JP2019517310A JP6798015B2 JP 6798015 B2 JP6798015 B2 JP 6798015B2 JP 2019517310 A JP2019517310 A JP 2019517310A JP 2019517310 A JP2019517310 A JP 2019517310A JP 6798015 B2 JP6798015 B2 JP 6798015B2
Authority
JP
Japan
Prior art keywords
chroma
subblock
block
luma
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019517310A
Other languages
English (en)
Other versions
JP2019530366A (ja
Inventor
ヒョンムン チャン
ヒョンムン チャン
チョンハク ナム
チョンハク ナム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2019530366A publication Critical patent/JP2019530366A/ja
Application granted granted Critical
Publication of JP6798015B2 publication Critical patent/JP6798015B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像コーディング技術に関し、より詳細には、画像コーディングシステムにおけるブロック分割及びイントラ予測方法並びに装置に関する。
最近、HD(High Definition)画像及びUHD(Ultra High Definition)画像のような高解像度、高品質の画像に対する需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、既存の画像データに比べて相対的に送信される情報量又はビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、又は既存の格納媒体を利用して画像データを格納する場合、送信費用と格納費用が増加する。
これによって、高解像度、高品質画像の情報を効果的に送信又は格納し、再生するために高効率の画像圧縮技術が要求される。
本発明の技術的課題は、画像コーディングの効率を高める方法及び装置を提供することにある。
本発明の別の技術的課題は、ブロック分割及びイントラ予測の効率を高める方法及び装置を提供することにある。
本発明のまた別の技術的課題は、ルマ成分のブロック構造に基づいてクロマ成分のブロック構造を導出する方法及び装置を提供することにある。
本発明のまた別の技術的課題は、ルマ成分に対するイントラ予測モードを用いて、クロマ成分に対するイントラ予測性能を高める方法及び装置を提供することにある。
本発明のまた別の技術的課題は、付加情報のデータ量を減らしながら、イントラ予測を効率的に行う方法を提供することにある。
本発明の一実施例に係ると、エンコーディング装置によって行われるイントラ予測方法が提供される。前記方法は、ルマブロックの分割構造を導出する段階と、前記ルマブロックに対応するクロマブロックのイントラ予測モードを誘導するためのイントラクロマ予測モード情報を導出する段階と、前記イントラクロマ予測モード情報がDM(derived mode)又はLM(linear mode)を示す場合、前記ルマブロックの分割構造に基づいて前記クロマブロックを分割し、複数のクロマサブブロックを導出する段階と、前記複数のクロマサブブロックに対する予測サンプルを生成する段階と、分割情報及び予測情報をエンコーディングして出力する段階とを含むことを特徴とする。
本発明の別の一実施例に係ると、イントラ予測のためのエンコーディング装置が提供される。前記エンコーディング装置は、ルマブロックの分割構造を導出するピクチャー分割部、前記ルマブロックに対応するクロマブロックのイントラ予測モードを誘導するためのイントラクロマ予測モード情報を導出し、前記イントラクロマ予測モード情報がDM(derived mode)又はLM(linear mode)を示す場合、前記ルマブロックの分割構造に基づいて前記クロマブロックを分割して複数のクロマサブブロックを導出し、前記複数のクロマサブブロックに対する予測サンプルを生成する予測部と、分割情報及び予測情報をエンコーディングして出力する段階のエントロピーエンコーディング部とを含むことを特徴とする。
本発明のまた別の一実施例に係ると、デコーディング装置によって行われるイントラ予測方法が提供される。前記方法は、ルマブロックの分割構造を導出する段階と、前記ルマブロックに対応するクロマブロックのイントラ予測モードを誘導するためのイントラクロマ予測モード情報を導出する段階と、前記イントラクロマ予測モード情報がDM(derived mode)又はLM(linear mode)を示す場合、前記ルマブロックの分割構造に基づいて前記クロマブロックを分割し、複数のクロマサブブロックを導出する段階と、前記複数のクロマサブブロックに対する予測サンプルを生成する段階とを含むことを特徴とする。
本発明のまた別の一実施例に係ると、イントラ予測のためのデコーディング装置が提供される。前記デコーディング装置は、分割情報を受信する受信部と、前記分割情報に基づいてルマブロックの分割構造を導出し、前記ルマブロックに対応するクロマブロックのイントラ予測モードを誘導するためのイントラクロマ予測モード情報を導出し、前記イントラクロマ予測モード情報がDM(derived mode)又はLM(linear mode)を示す場合、前記ルマブロックの分割構造に基づいて前記クロマブロックを分割して複数のクロマサブブロックを導出し、前記複数のクロマサブブロックに対する予測サンプルを生成する予測部とを含むことを特徴とする。
本発明に係ると、ルマブロックの分割構造に基づいて、クロマブロックに対する分割及びイントラ予測を効率的に行うことができる。
本発明に係ると、ルマ成分のブロック構造に基づいて、クロマ成分のブロック構造を効率的に導出することができる。
本発明に係ると、ルマ成分に対するイントラ予測モードを用いて、クロマ成分に対するイントラ予測の性能を高めることができる。
本発明に係ると、付加データの量を減らしながら、イントラ予測を効率的に行うことができる。
本発明が適用されることができるビデオエンコーディング装置の構成を概略的に説明する図である。 本発明が適用されることができるビデオデコーディング装置の構成を概略的に説明する図である。 QTBT(Quad Tree Binary Tree)構造を通じて分割されたCU、及び前記QTBT構造のシグナリング方法を例示的に示す。 ルマブロックとクロマブロックの従属的/独立的分割構造を例示的に示す。 イントラ予測モードを例示的に示す。 イントラ予測モードを例示的に示す。 クロマブロックにDMが適用される場合の例を示す。 クロマブロックにLMが適用される場合の例を示す。 LMパラメータの導出のためにテンプレート(template)に用いられる周辺の参照サンプルを例示的に示す。 独立的分割構造が適用されるクロマブロックにDMが適用される場合の例を示す。 独立的分割構造が適用されるクロマブロックにDMが適用される場合の例を示す。 独立的分割構造が適用されるクロマブロックにDMが適用される場合の別の例を示す。 独立的分割構造が適用されるクロマブロックにDMが適用される場合の別の例を示す。 独立的分割構造が適用されるクロマブロックにLMが適用される場合の例を示す。 クロマブロックの全体に一つのLMパラメータを誘導する場合の例を示す。 クロマサブブロックの単位のLMパラメータの導出のために用いられるテンプレートを例示的に示す。 クロマサブブロックの単位のLMパラメータの導出のために用いられるテンプレートを例示的に示す。 クロマサブブロックの単位のLMパラメータの導出のために用いられるテンプレートを例示的に示す。 クロマサブブロックの単位のLMパラメータの導出のために用いられるテンプレートを例示的に示す。 独立的分割構造が適用されるクロマブロックにLMが適用される場合の別の例を示す。 独立的分割構造が適用されるクロマブロックにLMが適用される場合の別の例を示す。 本発明に係る画像エンコーディングにおけるイントラ予測方法の一例を概略的に示す。 本発明に係る画像デコーディングにおけるイントラ予測方法の一例を概略的に示す。
本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施例に限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定しようとする意図に使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はそれらを組合せたものが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はそれらを組合せたものの存在又は付加の可能性を予め排除しないと理解しなければならない。
一方、本発明で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立して図示されたものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成が合わせて一つの構成をなすこともあり、一つの構成が複数の構成に分けられることもある。各構成が統合及び/又は分離された実施例も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
以下、添付図面を参照し、本発明の好ましい実施例をより詳細に説明する。以下、図面上の同一の構成要素については同一の参照符号を使用し、同一の構成要素について重複説明は省略する。
本明細書で、ピクチャー(picture)は、一般的に特定時間帯の一つの画像を示す単位を意味し、スライス(slice)は、コーディングにおいてピクチャーの一部を構成する単位である。一つのピクチャーは複数のスライスで構成されてもよく、必要に応じて、ピクチャー及びスライスは互いに混用して用いられてもよい。
ピクセル(pixel)又はペル(pel)は、一つのピクチャー(又は画像)を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル(sample)」が使用されることができる。サンプルは、一般的にピクセル又はピクセルの値を示し、輝度(ルマ)成分のピクセル/ピクセルの値のみを示してもよく、彩度(クロマ)成分のピクセル/ピクセルの値のみを示してもよい。
ユニット(unit)は、画像処理の基本単位を示す。ユニットは、ピクチャーの特定領域及び該当領域に関する情報のうち少なくとも一つを含むことができる。ユニットは、場合によってブロック(block)又は領域(area)などの用語と混用して用いられてもよい。一般的な場合、MxNのブロックは、M個の列とN個の行からなるサンプル又は変換係数(transform coefficient)の集合を示すことができる。
図1は、本発明が適用されることができるビデオエンコーディング装置の構成を概略的に説明する図である。
図1を参照すると、ビデオエンコーディング装置100は、ピクチャー分割部105、予測部110、残差(residual)処理部120、加算部140、フィルタ部150、及びメモリ160を含むことができる。残差処理部120は、減算部121、変換部122、量子化部123、再整列部124、逆量子化部125、及び逆変換部126を含むことができる。
ピクチャー分割部105は、入力されたピクチャーを少なくとも一つの処理ユニット(processing unit)に分割することができる。
一例として、処理ユニットはコーディングユニット(coding unit、CU)とも呼ばれ得る。この場合、コーディングユニットは、最大のコーディングユニット(largest coding unit、LCU)からQTBT(Quad−tree binary−tree)の構造によって、帰納的(recursively)に分割されることができる。例えば、一つのコーディングユニットは、クワッドツリー構造及び/又はバイナリツリー構造に基づき、下位(deeper)デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クワッドツリー構造が先に適用され、バイナリツリー構造が後に適用されることができる。或いは、バイナリツリー構造が先に適用されることもできる。これ以上分割されない最終のコーディングユニットに基づき、本発明に係るコーディング手続が行われることができる。この場合、画像特性によるコーディングの効率等に基づき、最大のコーディングユニットが直ぐ最終のコーディングユニットとして用いられてもよく、又は必要に応じて、コーディングユニットは帰納的に(recursively)、より下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終のコーディングユニットとして用いられてもよい。ここで、コーディング手続とは、後述する予測、変換、及び復元等の手続を含み得る。
他の例として、処理ユニットは、コーディングユニット(coding unit、CU)、予測ユニット(prediction unit、PU)又は変換ユニット(transform unit、TU)を含むこともできる。コーディングユニットは、最大のコーディングユニット(largest coding unit、LCU)からクワッドツリー構造に沿って、下位(deeper)デプスのコーディングユニットに分割(split)されることができる。この場合、画像の特性によるコーディングの効率等に基づき、最大のコーディングユニットが直ぐ最終のコーディングユニットとして用いられてもよく、又は必要に応じて、コーディングユニットは帰納的に(recursively)、より下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終のコーディングユニットとして用いられてもよい。最小のコーディングユニット(smallest coding unit、SCU)が設定された場合、コーディングユニットは、最小のコーディングユニットよりもさらに小さいコーディングユニットに分割されることができない。ここで、最終のコーディングユニットとは、予測ユニット又は変換ユニットにパーティショニング又は分割されるベースとなるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング (partitioning)されるユニットであって、サンプル予測のユニットであり得る。このとき、予測ユニットはサブブロック(sub block)に分けられてもよい。変換ユニットは、コーディングユニットからクワッドツリー構造に沿って分割されることができ、変換係数を誘導するユニット及び/又は変換係数から残差信号(residual signal)を誘導するユニットであり得る。以下、コーディングユニットはコーディングブロック(coding block、CB)、予測ユニットは予測ブロック(prediction block、PB)、変換ユニットは変換ブロック(transform block、TB)と呼ばれ得る。予測ブロック又は予測ユニットは、ピクチャー内でブロック形態の特定領域を意味してもよく、予測サンプルのアレイ(array)を含んでもよい。また、変換ブロック又は変換ユニットは、ピクチャー内でブロック形態の特定領域を意味してもよく、変換係数又は残差サンプルのアレイを含んでもよい。
予測部110は、処理対象のブロック(以下、現在ブロックという)に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部110で行われる予測の単位は、コーディングブロックであってもよく、変換ブロックであってもよく、予測ブロックであってもよい。
予測部110は、現在ブロックにイントラ予測が適用されるか、インター予測が適用されるかを決定することができる。一例として、予測部110は、CU単位でイントラ予測又はインター予測が適用されるかを決定することができる。
イントラ予測の場合、予測部110は、現在ブロックが属するピクチャー(以下、現在のピクチャー)内の現在ブロックの外部の参照サンプルに基づいて、現在ブロックに対する予測サンプルを誘導することができる。このとき、予測部110は、(i)現在ブロックの周辺(neighboring)参照サンプルの平均(average)或いは補間(interpolation)に基づいて予測サンプルを誘導してもよく、(ii)現在ブロックの周辺の参照サンプルのうち、予測サンプルに対して特定(予測)方向に存在する参照サンプルに基づいて前記予測サンプルを誘導してもよい。(i)の場合は非方向性モード又は非角度モード、(ii)の場合は方向性(directional)モード又は角度(angular)モードであると呼ばれ得る。イントラ予測における予測モードは、例えば、33個の方向性予測モードと、少なくとも2個以上の非方向性モードを有することができる。非方向性モードは、DC予測モード及びプラナーモード(Planarモード)を含むことができる。予測部110は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測の場合、予測部110は、参照ピクチャー上で動きベクトルによって特定されるサンプルに基づき、現在ブロックに対する予測サンプルを誘導することができる。予測部110は、スキップ(skip)モード、マージ(merge)モード、及びMVP(motion vector prediction)モードの何れかを適用し、現在ブロックに対する予測サンプルを誘導することができる。スキップモードとマージモードの場合、予測部110は周辺ブロックの動き情報を現在ブロックの動き情報に用いることができる。スキップモードの場合、マージモードと異なり、予測サンプルと原本サンプルとの間の差(残差)が転送されない。MVPモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(Motion Vector Predictor)として用いて、現在ブロックの動きベクトル予測子として用いて、現在ブロックの動きベクトルを誘導することができる。
インター予測の場合、周辺ブロックは現在のピクチャー内に存在する空間的周辺ブロック(spatial neighboring block)と参照ピクチャー(reference picture)に存在する時間的周辺ブロック(temporal neighboring block)を含むことができる。前記時間的周辺ブロックを含む参照ピクチャーは、同じ位置のピクチャー(collocated picture、colPic)とも呼ばれ得る。動き情報(motion information)は、動きベクトルと参照ピクチャーインデックスを含むことができる。予測モード情報と動き情報等の情報は、(エントロピー)エンコーディングされてビットストリームの形態で出力されることができる。
スキップモードとマージモードで時間的周辺ブロックの動き情報が用いられる場合、参照ピクチャーリスト(reference picture list)上の最上位のピクチャーが参照ピクチャーとして用いられることもある。参照ピクチャーリスト( reference picture list )に含まれる参照ピクチャーは、現在ピクチャーと該当参照ピクチャーとの間のPOC(Picture order count)の差異に基づいて整列されることができる。POCは、ピクチャーのディスプレイの順序に対応し、コーディングの順序と区分されることができる。
減算部121は、原本サンプルと予測サンプルとの間の差異である残差サンプルを生成する。スキップモードが適用される場合には、前述した通り、残差サンプルを生成しないことがある。
変換部122は変換ブロックの単位で残差サンプルを変換して、変換係数(transform coefficient)を生成する。変換部122は、該当変換ブロックのサイズと、該当変換ブロックと空間的に重なるコーディングブロック又は予測ブロックに適用された予測モードによって変換を行うことができる。例えば、前記変換ブロックと重なる前記コーディングブロック又は前記予測ブロックにイントラ予測が適用され、前記変換ブロックが4×4の残差アレイ(array)であれば、残差サンプルはDST(Discrete Sine Transform)変換カーネルを用いて変換され、それ以外の場合であれば、残差サンプルはDCT(Discrete Cosine Transform)変換カーネルを用いて変換できる。
量子化部123は変換係数を量子化し、量子化された変換係数を生成することができる。
再整列部124は、量子化された変換係数を再整列する。再整列部124は係数のスキャニング(scanning)方法を通じてブロック形態の量子化された変換係数を1次元のベクトル形態で再整列することができる。ここで、再整列部124は別途の構成で説明したが、再整列部124は量子化部123の一部であってもよい。
エントロピーエンコーディング部130は、量子化された変換係数に対するエントロピーエンコーディングを行うことができる。エントロピーエンコーディングは、例えば、指数ゴロム(exponential Golomb)、CAVLC(context−adaptive variable length coding)、CABAC(context−adaptive binary arithmetic coding)等のようなエンコーディング方法を含むことができる。エントロピーエンコーディング部130は、量子化された変換係数以外にビデオの復元に必要な情報(例えば、シンタックス要素(syntax element)の値等)を一緒に又は別にエンコーディングすることもできる。エントロピーエンコーディングされた情報は、ビットストリームの形態でNAL(network abstraction layer)ユニットの単位で転送又は格納されることができる。
逆量子化部125は、量子化部123で量子化された値(量子化された変換係数)を逆量子化し、逆変換部126は、逆量子化部125で逆量子化された値を逆変換して残差サンプルを生成する。
加算部140は、残差サンプルと予測サンプルとを合わせてピクチャーを復元する。残差サンプルと予測サンプルはブロックの単位で加わって復元ブロックが生成されることができる。ここで、加算部140は別途の構成で説明したが、加算部140は予測部110の一部であってもよい。一方、加算部140は復元部又は復元ブロック生成部とも呼ばれ得る。
復元されたピクチャー(reconstructed picture)に対して、フィルタ部150はデブロッキングフィルタ及び/又はサンプル適応オフセット(sample adaptive offset)を適用することができる。デブロッキングフィルタリング及び/又はサンプル適応オフセットを通じて、復元ピクチャー内のブロックの境界のアーチファクトや量子化過程での歪みが補正されることができる。サンプル適応オフセットはサンプルの単位で適用されることができ、デブロッキングフィルタリングの過程が完了した後に適用されることができる。フィルタ部150は、ALF(Adaptive Loop Filter)を復元されたピクチャーに適用することもできる。ALFはデブロッキングフィルタ及び/又はサンプル適応オフセットが適用された後の復元されたピクチャーに対して適用されることができる。
メモリ160は、復元ピクチャー(デコーディングされたピクチャー)又はエンコーディング/デコーディングに必要な情報を格納することができる。ここで、復元ピクチャーは、前記フィルタ部150によってフィルタリング手続が完了した復元ピクチャーであってもよい。前記格納された復元ピクチャーは、他のピクチャーの(インター)予測のための参照ピクチャーとして活用されることができる。例えば、メモリ160は、インター予測に用いられる(参照)ピクチャーを格納することができる。このとき、インター予測に用いられるピクチャーは、参照ピクチャーセット(reference picture set)或いは参照ピクチャーリスト(reference picture list)によって指定されることができる。
図2は、本発明が適用されることができるビデオデコーディング装置の構成を概略的に説明する図である。
図2を参照すると、ビデオデコーディング装置200は、エントロピーデコーディング部210、残差処理部220、予測部230、加算部240、フィルタ部250、及びメモリ260を含むことができる。ここで、残差処理部220は、再整列部221、逆量子化部222、逆変換部223を含むことができる。また、図示されてはいないが、ビデオデコーディング装置200は、ビデオ情報を含むビットストリームを受信する受信部を含むことができる。前記受信部は、別途のモジュールで構成されてもよく、又はエントロピーデコーディング部210に含まれてもよい。
ビデオ情報を含むビットストリームが入力されると、ビデオデコーディング装置200は、ビデオデコーディング装置でビデオ情報が処理されたプロセスに対応し、ビデオを復元することができる。
例えば、ビデオデコーディング装置200は、ビデオエンコーディング装置で適用された処理ユニットを用いて、ビデオデコーディングを行うことができる。従って、ビデオデコーディングの処理ユニットブロックは、一例として、コーディングユニットであってもよく、他の例として、コーディングユニット、予測ユニット又は変換ユニットであってもよい。コーディングユニットは最大のコーディングユニットからクワッドツリー構造及び/又はバイナリツリー構造に沿って分割されることができる。
予測ユニットおよび変換ユニットが場合によってさらに用いられることができ、この場合、予測ブロックはコーディングユニットから導出又はパーティショニングされるブロックであって、サンプル予測のユニットであり得る。このとき、予測ユニットはサブブロックに分けられることもある。変換ユニットはコーディングユニットからクワッドツリー構造に沿って分割されることができ、変換係数を誘導するユニット又は変換係数から残差信号を誘導するユニットであり得る。
エントロピーデコーディング部210は、ビットストリームをパーシングし、ビデオの復元又はピクチャーの復元に必要な情報を出力することができる。例えば、エントロピーデコーディング部210は、指数ゴロム符号化、CAVLC又はCABAC等のコーディング方法に基づいてビットストリーム内の情報をデコーディングし、ビデオの復元に必要なシンタックス要素の値、残差に関する変換係数の量子化された値を出力することができる。
より詳細に、CABACエントロピーデコーディングの方法は、ビットストリームで各構文要素に該当するビンを受信し、デコーディング対象の構文要素情報と周辺及びデコーディング対象ブロックのデコーディング情報或いは以前の段階でデコーディングされたシンボル/ビンの情報を用いて文脈(context)モデルを決定し、決定された文脈モデルによってビン(bin)の発生確率を予測し、ビンの算術デコーディング(arithmetic decoding)を行い、各構文要素の値に該当するシンボルを生成することができる。このとき、CABACエントロピーデコーディングの方法は、文脈モデルの決定後、次のシンボル/ビンの文脈モデルのためにデコーディングされたシンボル/ビンの情報を用いて文脈モデルをアップデートすることができる。
エントロピーデコーディング部210でデコーディングされた情報のうち予測に関する情報は予測部230に提供され、エントロピーデコーディング部210でエントロピーデコーディングが行われた残差値、即ち、量子化された変換係数は再整列部221に入力されることができる。
再整列部221は、量子化されている変換係数を2次元のブロック形態で再整列し得る。再整列部221は、エンコーディング装置で行われた係数のスキャニングに対応し、再整列を行うことができる。ここで、再整列部221は別途の構成で説明したが、再整列部221は逆量子化部222の一部であってもよい。
逆量子化部222は、量子化されている変換係数を(逆)量子化パラメータに基づいて逆量子化して変換係数を出力することができる。この時、量子化パラメータを誘導するための情報は、エンコーディング装置からシグナリングされることができる。
逆変換部223は、変換係数を逆変換して残差サンプルを誘導することができる。
予測部230は現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部230で行われる予測の単位は、コーディングブロックであってもよく、変換ブロックであってもよく、予測ブロックであってもよい。
予測部230は、前記予測に関する情報に基づいて、イントラ予測を適用するか、インター予測を適用するかを決定することができる。このとき、イントラ予測とインター予測の何れを適用するかを決定する単位と予測サンプルを生成する単位は異なり得る。また、インター予測とイントラ予測において、予測サンプルを生成する単位もまた異なり得る。例えば、インター予測とイントラ予測の何れを適用するかはCU単位で決定することができる。さらに、例えば、インター予測においてPU単位で予測モードを決定し、予測サンプルを生成してもよく、イントラ予測においてPU単位で予測モードを決定し、TU単位で予測サンプルを生成してもよい。
イントラ予測の場合、予測部230は、現在ピクチャー内の周辺参照サンプルに基づいて、現在ブロックに対する予測サンプルを誘導することができる。予測部230は、現在ブロックの周辺参照サンプルに基づいて、方向性モード又は非方向性モードを適用し、現在ブロックに対する予測サンプルを誘導することができる。このとき、周辺ブロックのイントラ予測モードを用いて、現在ブロックに適用する予測モードが決定されることもできる。
インター予測の場合、予測部230は、参照ピクチャー上で動きベクトルによって参照ピクチャー上で特定されるサンプルに基づいて、現在ブロックに対する予測サンプルを誘導することができる。予測部230は、スキップ(skip)モード、マージ(merge)モード及びMVPモードの何れか一つを適用し、現在ブロックに対する予測サンプルを誘導することができる。このとき、ビデオエンコーディング装置で提供された現在ブロックのインター予測に必要な動き情報、例えば、動きベクトル、参照ピクチャーインデックス等に関する情報は、前記予測に関する情報に基づいて獲得又は誘導されることができる。
スキップモードとマージモッドの場合、周辺ブロックの動き情報が現在ブロックの動き情報に用いられることができる。このとき、周辺ブロックは空間的周辺ブロックと時間的周辺ブロックを含むことができる。
予測部230は、可用な周辺ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上で指示する情報を現在ブロックの動きベクトルとして用いることができる。マージインデックスはエンコーディング装置からシグナリングされることができる。動き情報は、動きベクトルと参照ピクチャーを含むことができる。スキップモードとマージモードで時間的周辺ブロックの動き情報が用いられる場合、参照ピクチャーリスト上の最上位のピクチャーが参照ピクチャーとして用いられることができる。
スキップモードの場合、マージモードと異なり、予測サンプルと原本サンプルとの間の差(残差)が転送されない。
MVPモードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(motion vector predictor)として用いて、現在ブロックの動きベクトルが誘導されることができる。このとき、周辺ブロックは、空間的周辺ブロックと時間的周辺ブロックを含むことができる。
一例として、マージモードが適用される場合、復元された空間的周辺ブロックの動きベクトル及び/又は時間的周辺ブロックであるColブロックに対応する動きベクトルを用いて、マージ候補リストが生成されることができる。マージモードでは、マージ候補リストから選択された候補ブロックの動きベクトルが現在ブロックの動きベクトルとして用いられる。前記予測に関する情報は、前記マージ候補リストに含まれた候補ブロックのうちから選択された最適の動きベクトルを有する候補ブロックを指示するマージインデックスを含むことができる。このとき、予測部230は、前記マージインデックスを用いて、現在ブロックの動きベクトルを導出することができる。
他の例として、MVP(Motion Vector Prediction)モードが適用される場合、復元された空間的周辺ブロックの動きベクトル及び/又は時間的周辺ブロックであるColブロックに対応する動きベクトルを用いて、動きベクトル予測子候補リストが生成されることができる。即ち、復元された空間的周辺ブロックの動きベクトル及び/又は時間的周辺ブロックであるColブロックに対応する動きベクトルは、動きベクトルの候補として用いられることができる。前記予測に関する情報は、前記リストに含まれた動きベクトルの候補のうちから選択された最適の動きベクトルを指示する予測動きベクトルインデックスを含むことができる。このとき、予測部230は、前記動きベクトルインデックスを用いて、動きベクトルの候補リストに含まれた動きベクトルの候補のうちから、現在ブロックの予測動きベクトルを選択することができる。エンコーディング装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子との間の動きベクトルの差分(MVD)を求めることができ、これをエンコーディングし、ビットストリームの形態で出力することができる。即ち、MVDは、現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値で求められることができる。このとき、予測部230は、前記予測に関する情報に含まれた動きベクトルの差分を獲得し、前記動きベクトルの差分と前記動きベクトル予測子の加算を通じて、現在ブロックの前記動きベクトルを導出することができる。予測部はまた、参照ピクチャーを指示する参照ピクチャーインデックス等を前記予測に関する情報から獲得又は誘導することができる。
加算部240は、残差サンプルと予測サンプルを加えて、現在ブロック或いは現在ピクチャーを復元することができる。加算部240は、残差サンプルと予測サンプルをブロックの単位で加えて、現在ピクチャーを復元することもできる。スキップモードが適用された場合には、残差が転送されないので、予測サンプルが復元サンプルになり得る。ここでは、加算部240を別途の構成で説明したが、加算部240は、予測部240の一部であってもよい。一方、加算部240は、復元部又は復元ブロック生成部とも呼ばれ得る。
フィルタ部250は、復元されたピクチャーにデブロッキングフィルタリングサンプル適応オフセット、及び/又はALF等を適用することができる。このとき、サンプル適応オフセットはサンプルの単位で適用されることができ、デブロッキングフィルタリングの後に適用されることもできる。ALFはデブロッキングフィルタリング及び/又はサンプル適応オフセットの後に適用されることもできる。
メモリ260は、復元ピクチャー(デコーディングされたピクチャー)又はデコーディングに必要な情報を格納することができる。ここで、復元ピクチャーは、前記フィルタ部250によってフィルタリング手続が完了した復元ピクチャーであり得る。例えば、メモリ260は、インター予測に用いられるピクチャーを格納することができる。このとき、インター予測に用いられるピクチャーは、参照ピクチャーセット或いは参照ピクチャーリストによって指定されることもできる。復元されたピクチャーは、他のピクチャーに対する参照ピクチャーとして用いられることができる。また、メモリ260は、復元されたピクチャーを出力順序によって出力することもできる。
入力されたピクチャーに対するコーディングが行われる場合、一つの処理ユニットに基づいて前記コーディングが行われることができる。前記処理ユニットは、コーディングユニット(coding unit、CU)で示すことができる。一方、前記ピクチャー内の類似する情報を含む領域単位でコーディングが行われるほど、変換効率が向上し得、これを通じて、全般的なコーディングの効率が向上し得る。また、前記ピクチャー内の類似する情報を含む領域単位でコーディングが行われるほど、予測の正確度が向上し得、これを通じて、全般的なコーディングの効率が向上することができる。しかし、クワッドツリー(quad tree、QT)構造のみが適用され、前記ピクチャーが正方形のCUのみに分割される場合、前記CUが正確に類似する情報のみを含むように分割することは限界があり得る。このような場合、前記ピクチャーを前記特定の客体を示す情報を含む非正方形のCUに分割されるようにすることが、コーディングの効率をより向上し得る。
図3は、QTBT(Quad Tree Binary Tree)構造を通じて分割されたCU及び前記QTBT構造のシグナリング方法を例示的に示す。
前記QTBT構造は、CU(又はCTU)がQT構造を通じて分割され、バイナリツリー(binary tree、BT)構造を通じて分割される構造を示すことができる。即ち、前記QTBTは、前記QT構造と前記BT構造とが結合された形態で構成された分割構造を示すことができ、ピクチャーがCTU単位でコーディングされる場合、CTUは前記QT構造を通じて分割されることができ、前記QT構造の葉ノード(leaf node)は、さらにBT構造を通じて分割されることができる。ここで、前記葉ノードは、前記QT構造でこれ以上分割されないCUを示すことができ、前記葉ノードは末端ノードとも呼ばれ得る。また、前記QT構造は2Nx2NサイズのCU(又はCTU)が4個のNxNサイズのサブCUに分割される構造を示すことができ、前記BT構造は、2Nx2NサイズのCUが2個のNx2N(又はnLx2N、nRx2N)サイズのサブCU、又は2個の2NxN(又は2NxnU、2NxnD)サイズのサブCUに分割される構造を示すことができる。図3の(a)を参照すると、CUはQT構造を通じて下位デプス(depth)の正方形のCUに分割されてもよく、さらに前記正方形のCUのうち、特定のCUはBT構造を通じて下位デプスの非正方形のCUに分割されてもよい。
図3の(b)は、前記QTBT構造のシンタックスシグナリングの一例を示すことができる。図3の(b)に図示された実線はQT構造を示すことができ、点線はBT構造を示すことができる。また、上から下に行くほど上位デプス(depth)から下位(deeper)デプスのCUに対するシンテックスを示すことができる。さらに、左から右への方向に左上側、右上側、左下側、右下側のCUに対するシンテックスを示すことができる。具体的に、最も上の数字はnデプスのCUに対するシンテックスを示すことができ、上から二番目の位置の数字はn+1デプスのCU、上から三番目の位置の数字は、n+2デプスのCU、上から四番目の位置の数字は、n+3デプスのCUに対するシンテックスを示すことができる。また、太字で示された数字は、QT構造に対するシンテックスの値を示すことができ、太字で示されていない数字は、BT構造に対するシンテックスの値を示すことができる。
図3の(b)を参照すると、CUが前記QT構造を通じて分割されるか否かを示すQT分割フラグが転送されることができる。即ち、前記2Nx2NサイズのCUが4個のNxNサイズのサブCUに分割されるか否かを示すフラグが転送されることができる。例えば、前記CUに対する前記QT分割フラグの値が1である場合、前記CUは4個のサブCUに分割されることができ、前記CUに対する前記QT分割フラグの値が0である場合、前記CUは分割されないことがある。また、入力画像に対する前記QT構造を調節するために、前記QT構造での最大のCUサイズ、最小のCUサイズ、最大のデプス等に関する情報が転送されることができる。前述したQT構造に関する情報は、スライスタイプの各々に対して転送されてもよく、又は画像成分(輝度成分、彩度成分等)の各々に対して転送されてもよい。一方、BT構造に関する情報は、QT構造でこれ以上分割されない末端ノードに対して転送されてもよい。即ち、前記QT構造で末端ノードに該当するCUに対する前記BT構造に関する情報が転送されてもよい。ここで、前記BT構造に関する情報を含む情報は、追加分割情報とも呼ばれ得る。例えば、前記CUの前記BT構造を通じた分割可否、即ち、前記CUに対する前記BT構造の適用可否を示すBT分割フラグが転送されることができる。具体的に、前記BT分割フラグに関する値が1である場合、前記CUは2個のサブCUに分割されることができ、前記BT分割フラグに対する値が0である場合、前記CUは分割されないことがある。また、入力画像に対する前記BT構造を調節するために、BT構造での最大のCUサイズ、最小のCUサイズ、最大のデプス等に関する情報が転送されることができる。前述したBT構造に関する情報は、スライスタイプの各々に対して転送されてもよく、又は画像成分の各々に対して転送されてもよい。前記CUが前記BT構造を通じて分割される場合、前記CUは横又は縦方向に分割されることができる。前記CUがどの方向に分割されるか、即ち、前記CUの分割タイプを示すBT分割モードインデックスがさらに転送されてもよい。
一方、本発明に係ると、ルマ成分のブロック(以下、ルマブロック)の分割構造は、クロマ成分のブロック(以下、クロマブロック)の分割構造と同様に設定されてもよく、又は異なって設定されてもよい。クロマブロックの分割構造がルマブロックの分割構造に従属的なのか、独立的なのかは、スライスタイプに基づいて決定されることができる。例えば、スライスタイプは、I(intra)スライス、P(predictive)スライス、B(bi−predictive)スライスのうち何れか一つであってもよい。前記Iスライスは、イントラ予測のみを用いてデコーディングされるスライスを示す。前記Pスライスは、イントラ予測又はインター予測を用いてデコーディングされることができるスライスを示すが、前記インター予測は、各ブロックのサンプル値を予測するために、最大の一つの動きベクトル及び参照ピクチャーインデックスが用いられる予測を示す。前記Bスライスは、イントラ予測又はインター予測を用いてデコーディングされることができるスライスを示すが、前記インター予測は、各ブロックのサンプル値を予測するために最大の二つの動きベクトル及び参照ピクチャーインデックスが用いられる予測を示す。
現在のスライスのスライスタイプが前記Iスライスである場合、前記Iスライス内のルマブロックとクロマブロックは、互いに異なる(独立した)分割構造を有することができる。即ち、この場合、前述した分割フラグはクロマブロックに対してルマブロックに対するものと別途にシグナリングされることができる。
一方、現在のスライスのスライスタイプが前記Pスライス又はBスライスである場合、該当スライス内のルマブロックとクロマブロックは、互いに同一の分割構造を有することができる。
図4は、ルマブロックとクロマブロックの従属的/独立的分割構造を例示的に示す。
図4の(a)はルマブロックの分割構造を示し、(b)はクロマブロックの従属的分割構造、(c)はクロマブロックの独立的分割構造を示す。カラーフォーマット(4:2:2のフォーマット、4:2:0のフォーマット等)によって同じ領域に対してルマサンプルとクロマサンプルとの比率が異なって設定され得、よって、ピクチャー上の同じ領域に対してルマブロックのサイズよりもクロマブロックのサイズはより小さく設定され得る。
(b)では、クロマブロックの分割構造はルマブロックの分割構造を従属的に用いており、これは、現在のスライスがPスライス又はBスライスである場合に適用されることができる。一方、(c)では、クロマブロックの分割構造はルマブロックの分割構造と異なって独立して設定され、これは、現在のスライスがIスライスである場合に適用されることができる。
一方、現在ブロックにイントラ予測が適用される場合、現在ブロックを基準にイントラ予測モードによって少なくとも一つの周辺サンプルを用いて予測サンプルを導出する。この場合、イントラ予測モードは、例えば、次のように33個の方向性(又はアンギュラー)予測モード及び2個の非方向性(又は非アンギュラー)予測モードを含むことができる。
Figure 0006798015
ここで、0番のイントラ予測モードはイントラプラナーモードを示し、1番のイントラ予測モードはイントラDCモードを示す。2乃至34番のイントラ予測モードは各々イントラアンギュラー2モード...イントラアンギュラー34モードを示す。
ここで、前記イントラプラナーモード及びイントラDCモードは非方向性予測モードであり、前記イントラアンギュラー2乃至イントラアンギュラー34モードは方向性予測モードである。
図5a及び5bは、イントラ予測モードを例示的に示す。
図5a及び5bを参照すると、左上対角予測方向を有する18番のイントラ予測モードを中心に水平方向性(horizontal directionality)を有するイントラ予測モードと、垂直方向性(vertical directionality)を有するイントラ予測モードとを区分することができる。図5aの−32〜32の数字は、サンプルグリッドポジション(sample grid position)上で1/32単位の垂直又は水平の変位を示す。2番乃至17番のイントラ予測モードは水平方向性、18番乃至34番のイントラ予測モードは垂直方向性を有する。10番のイントラ予測モードと26番のイントラ予測モードは、各々水平イントラ予測モード(horizontal intra prediction mode)、垂直イントラ予測モード(vertical intra prediction mode)を示し、これを基準に方向性イントラモード(angular intra mode)の予測方向を角度で表現することができる。言い換えると、10番のイントラ予測モードに対応する水平基準角度0°を基準として各イントラ予測モードに対応する相対的角度を表現することができ、26番のイントラ予測モードに対応する垂直基準角度0°を基準として各イントラ予測モードに対応する相対的角度を表現することができる。
0番及び1番のイントラ予測モードは方向性を有さず、周辺サンプルの両方向の補間、又は周辺サンプルの平均値に基づいて予測サンプルが導出されることができる。一方、2番乃至34番のイントラ予測モードは、図5bに図示されたような方向性を有し、予測サンプルの位置を基準に該当予測方向に位置する周辺参照サンプルを用いて前記予測サンプルが導出されることができる。この場合、もし前記該当予測方向の位置に整数サンプル(integer sample)単位の周辺サンプルが存在しない場合、前記該当方向位置に隣接する二つの整数サンプルの補間を通じて分数サンプル(fractional sample)を生成し、前記分数サンプルに基づいて前記予測サンプルが導出されることもできる。
前述した内容のように、現在ブロックにイントラ予測が行われる場合、現在ブロックのルマ成分ブロック(ルマブロック)に対する予測及びクロマ成分ブロック(クロマブロック)に対する予測が行われることができ、この場合、クロマ成分(クロマブロック)に対するイントラ予測モードはルマ成分(ルマブロック)に対するイントラ予測モードと個別的に設定されることができる。例えば、ルマ成分に対するイントラ予測モードの場合、デコーディング装置は現在ブロックの左側ブロックのイントラ予測モード及び上側ブロックのイントラ予測モードに基づいて導出されたmpm(most probable mode)候補のうちの一つをmpmインデックスに基づいて選択してもよく、又は前記mpm候補に含まれない残りのイントラ予測モードのうちの一つをリメイニングイントラ予測モード情報に基づいて選択してもよい。前記mpmインデックスはmpm_idxシンテックス要素の形態でシグナリングされてもよく、前記リメイニングイントラ予測モード情報は、rem_intra_luma_pred_modeシンテックス要素の形態でシグナリングされてもよい。前記リメイニングイントラ予測モード情報は、全体のイントラ予測モードのうち前記mpm候補に含まれない残りのイントラ予測モードを予測モードの番号順にインデキシングし、そのうち一つを示すことができる。
一方、クロマ成分に対するイントラ予測モードはイントラクロマ予測モード情報に基づいて指示されることができ、前記イントラクロマ予測モード情報は、intra_chroma_pred_modeシンテックス要素の形態でシグナリングされることができる。前記イントラクロマ予測モード情報は、プラナー(Planar)モード、DCモード、垂直(vertical)モード、水平(horizontal)モード、DM(Derived Mode)、LM(Linear Mode)のうちの一つを示すことができる。ここで、前記プラナーモードは0番のイントラ予測モード、前記DCモードは1番のイントラ予測モード、前記垂直モードは26番のイントラ予測モード、前記水平モードは10番のイントラ予測モードを示すことができる。一方、DMとLMはルマブロックの情報を用いてクロマブロックを予測する従属的な予測モードである。
まず、DMは前記ルマ成分に対するイントラ予測モードと同一のイントラ予測モードが前記クロマ成分に対するイントラ予測モードに適用されるモードを示す。
図6は、クロマブロックにDMが適用される場合の例を示す。
図6を参照すると、イントラクロマ予測モード情報がDMを示す場合、クロマ成分のイントラ予測モードは、対応するルマ成分のイントラ予測モードをそのまま用いることができる。例えば、前記ルマ成分のイントラ予測モードが33番のイントラ予測モードを示し、前記イントラクロマ予測モード情報がDMを示す場合、前記クロマ成分のイントラ予測モードは33番のイントラ予測モードであり得る。
一方、LMはクロマブロックに対する予測ブロックを生成する過程でルマブロックの復元されたサンプルをサブサンプリングした後、サブサンプリングされたサンプルにLMパラメータであるα及びβを適用して導出されたサンプルを前記クロマブロックの予測サンプルとして用いる方法である。
図7は、クロマブロックにLMが適用される場合の例を示す。図8は、LMパラメータの導出のためにテンプレート(template)に用いられる周辺参照サンプルを例示的に示す。
図7を参照すると、(b)の式の予測子(predictor)は予測サンプル、compIDはカラー成分に対するID又はインデックスを示すことができ、例えば、値0はルマ成分(Y)、値1はクロマ成分のうちCb、値2はクロマ成分のうちCrを示すことができる。ReconLumaは、ルマ成分の復元サンプルを示す。(b)の式で見るように、クロマブロックの予測ブロックは、サブサンプリングされたルマ成分の復元ブロックサンプルにαを掛けてβを足して導出されたクロマ予測サンプルを含むことができる。この場合、サブサンプリングされたルマ成分の復元ブロックサンプルに対する位相(phase)に基づいて、αを掛けてβを足して対応する位相のクロマ予測サンプルを導出することができる。もし、カラーフォーマットが4:2:0である場合、クロマブロックに対応するルマブロックのサイズは4倍であるので、(a)のようにサブサンプリングされることができる。このとき、前記LMパラメータである前記α及びβは、次の図8のように現在(ルマ/クロマ)ブロックの周辺参照サンプルをテンプレートに用いて、クロマブロックのテンプレートがルマブロックのテンプレートと最も類似になる値を最小自乗法を利用して計算する。この場合、前記ルマブロックの周辺参照サンプルはサブサンプリングされ、テンプレートに用いられることができる。
LMパラメータは線形モデルに基づいて導出されることができ、例えば、α及びβは次のような数式に基づいて導出されることができる。
Figure 0006798015
ここで、LMパラメータであるα及びβは、各々スケーリングファクター及びオフセットを示し、x及びyは、各々LMパラメータを導出するために用いられるルマブロックの(サブサンプリングされた)周辺参照サンプル値及びクロマブロックの周辺参照サンプル値を示す。前記LMパラメータの導出過程では、前記数式1の両辺の差異をエラー(E)と見ることができ、前記エラーを最小化させる条件を満たすLMパラメータのα及びβを求めて、前記サブサンプリングされたルマブロックのサンプルに適用できる。即ち、LMパラメータが導出された後は、前記サブサンプリングされたルマブロックのサンプルにサンプルの単位でスケーリングファクター及びオフセットを適用し、クロマブロックの予測サンプルを導出することができる。
前記数式1で求めようとするLMパラメータのα及びβは、結局のところ、両辺のエラーを最小化する値であるので、LMパラメータを求めるための数式は、次のように示されることができる。
Figure 0006798015
ここで、E(α、β)はエラーを最小化するα及びβ値を示し、ここでiは各サンプルのインデキシング、λ(ラムダ)は制御パラメータ(control parameter)を示す。前記λは予め定められ得、又は例えば、xに基づいて導出されることができる。一例として、
Figure 0006798015
のように導出されることができ、他の例としてλが0に設定され、前記数式2の後段は省略されることもある。これは、後述する数式でも同様である。
前記数式2を整理すると次のように示すことができる。
Figure 0006798015
前記数式3に基づいて前記LMパラメータのα及びβは次のように導出されることができる。
Figure 0006798015
Figure 0006798015
前記数式4において、Nは正規化パラメータ(normalization parameter)を示す。ここで、Nは前記数式3の
Figure 0006798015
部分から導出されることができる。例えば、Nはクロマブロックのサイズに基づいて決定されることができる。
本発明に係ると、クロマ成分のコーディング過程で予測を行う時、ルマ成分の情報を用いる場合、ルマブロックの分割構造と同一の形態でクロマブロックを分割し、各分割されたブロックの単位でエンコーディング及びデコーディングを行うことができる。ルマブロックの分割構造とクロマブロックの分割構造が独立して設定される場合に、DM及びLM等のような従属的な予測モードを用いる場合、ルマブロックの分割構造とクロマブロックの分割構造が異なるため、問題になり得る。即ち、DM又はLMではクロマブロックのためにルマブロックのイントラ予測モード又はルマブロックの復元サンプル情報を用いて、クロマブロックの分割構造が対応するルマブロックの分割構造と同一である場合は問題がないが、もし対応するルマブロックの追加的に分割されたり他の構造に分割された場合、対応する位置に多数個のイントラ予測モードが存在するか、又は対応する位置のテキスチャーにエッジがあることを類推することができる。このような理由で、本発明ではDM及びLMのような従属的な予測モードがクロマブロックに適用される場合、対応するルマブロックの分割構造を考慮し、現在のクロマブロックに対する別途の付加情報のシグナリングなく、前記ルマブロックの分割構造と同一の分割構造を前記クロマブロックに適用することができ、各分割されたブロックの単位で予測を行うことができる。
一例として、クロマブロックにDMが適用される場合、前記クロマブロックに対するコーディング及び予測の過程で対応するルマブロックの分割構造と同じように前記クロマブロックを分割し、分割された(サブ)ブロックの単位で対応するルマ成分のイントラ予測モードを用いて、該当(サブ)ブロックに対するイントラ予測を行うことができる。この場合、前記で説明したように、ルマブロックとクロマブロックが互いに異なるブロック分割構造を有することができる条件で、クロマブロックにDMが適用される場合、現在のクロマブロックを対応するルマブロックのブロック分割の形状を参照し、別途の付加情報(分割シンテックス)なく、前記現在のクロマブロックを分割し、各分割された(サブ)ブロックの単位で対応する位置のルマ成分に対する予測モードからクロマ成分に対する予測モードを誘導し、イントラ予測及びデコーディングを行うことができる。
図9及び10は、独立的分割構造が適用されるクロマブロックにDMが適用される場合の例を示す。前述したように、例えば、現在のスライスがIスライスである場合、前記クロマブロックに対してルマブロックの分割構造と独立的な分割構造が適用されることができる。
図9を参照すると、クロマブロック900にDMが適用される場合、前記クロマブロックに対するイントラ予測モードは、対応するルマブロック950のイントラ予測モードを用いることができる。しかし、図示されたように、クロマブロック900の分割構造と対応するルマブロック950の分割構造が異なり得る。この場合、一例として、クロマブロック900に対してはルマブロック950の特定の位置を含むブロックのイントラ予測モードが前記クロマブロック900のイントラ予測モードとして用いられることができる。ここで、前記特定の位置は、例えば、ルマブロック950の左上端のサンプルポジション又はセンターの右下端のポジション等を含むことができる。
又は、他の例として、図10に図示されたように、クロマブロック1000を対応するルマブロック1050の分割構造に基づいて分割し、各クロマサブブロックの位置に対応するルマサブブロックのイントラ予測モードを該当クロマサブブロックのイントラ予測モードとして用いることができる。
一方、次のように現在支援しない大きさの変換及び量子化ブロックに分割されなければならない場合が発生すれば、該当クロマブロックを分割しない。
図11及び図12は、独立的分割構造が適用されるクロマブロックにDMが適用される場合の別の例を示す。
図11のように、クロマブロックに対応するルマブロックが現在支援しない大きさの変換及び量子化ブロックに分割されなければならない場合が発生すれば、該当クロマブロックを分割しない。また、図12のように、クロマブロックに対応する領域がルマブロックの一部に重なっている場合、前記クロマブロックに対応するルマブロックを特定することができず、よって、ルマブロックの分割構造に基づいて前記クロマブロックを分割することができない。
他の例として、クロマブロックにLMが適用される場合、前記クロマブロックに対するコーディング及び予測過程で対応するルマブロックの分割構造と同じように前記クロマブロックを分割し、分割されたクロマ(サブ)ブロックの単位でLMパラメータを導出し、前記LMパラメータ及び対応するルマ(サブ)ブロックの復元サンプルに基づき、該当クロマ(サブ)ブロックに対する予測サンプルを導出することができる。前述したように、LMが適用される場合、クロマブロックのテンプレート(周辺参照サンプル)と対応するルマブロックのテンプレート(サブサンプリングされた周辺参照サンプル)に基づき、LMパラメータを導出し、前記LMパラメータを前記ルマブロックのサブサンプリングされた復元サンプルに線形適用し、クロマブロックの予測サンプルを導出することができる。このとき、クロマブロックに対応する領域のルマブロックが分割された場合、現在ブロックのテキスチャー内にエッジが含まれ、エッジの周囲にサンプル値間の差異が大きいことを類推することができる。この場合、該当クロマブロックの全体に対して、LMパラメータを計算して線形適用すれば、予測性能が劣り得る。従って、前記のようにクロマブロックに対応する位置のルマブロックが分割された場合、別途の追加情報(分割シンテックス)なく、該当クロマブロックを分割し、前記ルマブロックの分割構造に基づいて分割し、各クロマサブブロックの単位でLMパラメータ(α及びβ)を誘導し、該当クロマサブブロックをイントラ予測及びデコーディングすることができる。
図13は、独立的分割構造が適用されるクロマブロックにLMが適用される場合の例を示す。前述したように、例えば、現在のスライスがIスライスである場合、前記クロマブロックに対して、ルマブロックの分割構造と独立的な分割構造が適用されることができる。
図13を参照すると、クロマブロック1300にLMが適用される場合、クロマブロック1300に対するLMパラメータを誘導し、対応するルマブロック1350のサブサンプリングされた復元サンプルに前記LMパラメータを適用してクロマブロック1300の予測サンプルを導出することができる。しかし、図示されたように、クロマブロック1300の分割構造と対応するルマブロック1350の分割構造とが異なり得る。即ち、この場合、クロマブロック内にはイメージエッジがあるか、サンプル値の差異が大きいオブジェクトがある確率が高い。この場合、図14に図示されたように、クロマブロック1400の全体に対して一つのLMパラメータを誘導する場合、クロマブロック1400の左側/上側の周辺参照サンプル及びルマブロック1450のサブサンプリングされた左側/上側の周辺参照サンプルがテンプレートに用いられてLMパラメータが誘導されるので、この場合、ブロック内部のテキスチャーの分割やオブジェクトによるサンプル値の差異によって不正確な値が誘導され、前記LMパラメータを線形適用する際に、クロマブロック1400に対する予測ブロックの正確度が劣る確率が高い。
従って、クロマブロックの全体に対して、一つのLMパラメータを誘導するよりは、前記クロマブロックに対応するルマブロックの分割構造に基づいて前記クロマブロックを分割し、クロマサブブロックの単位でLMパラメータを導出し、LMパラメータの正確度を高めることができる。
図15乃至18は、クロマサブブロックの単位のLMパラメータの導出のために用いられるテンプレートを例示的に示す。
前述したように、LMが適用されるクロマブロックの分割構造がルマブロックの分割構造と異なる場合、図15乃至18に図示されたように、クロマブロックをルマブロックの分割構造に基づいて分割し、各サブブロックの単位のテンプレートを用いて、該当クロマサブブロックに対するLMパラメータを導出することができる。
一方、次のように現在支援しない大きさの変換及び量子化ブロックに分割されなければならない場合が発生すれば、該当クロマブロックを分割しない。
図19及び図20は、独立的分割構造が適用されるクロマブロックにLMが適用される場合の別の例を示す。
図19のように、クロマブロックに対応するルマブロックが、現在支援しない大きさの変換及び量子化ブロックに分割されなければならない場合が発生すれば、該当クロマブロックを分割しない。また、図20のようにクロマブロックに対応する領域がルマブロックの一部に重なっている場合、前記クロマブロックに対応するルマブロックを特定することができず、よって、ルマブロックの分割構造に基づいて前記クロマブロックを分割しない。
図21は、本発明に係る画像エンコーディングでのイントラ予測方法の一例を概略的に示す。図21に開示の方法は、図1に開示のエンコーディング装置によって行われることができる。具体的に、例えば、図21のS2100は、前記エンコーディング装置のピクチャー分割部、S2110乃至S2130は前記エンコーディング装置の予測部、S2140は前記エンコーディング装置のエントロピーエンコーディング部によって行われることができる。
図21を参照すると、エンコーディング装置はルマブロックの分割構造を導出する(S2100)。エンコーディング装置は多様なコーディング技法を適用し、最適のRD(rate−distortion)コストを有するブロック分割構造を導出することができ、前記導出されたブロック分割構造を図3で前述したような分割情報を用いてシグナリングできる。前記分割情報はルマQT分割フラグ、ルマBT分割フラグ等を含むことができる。
前記ルマブロックは、前記分割構造に基づいて第1のルマサブブロック及び第2のルマサブブロックを含むことができ、この場合、前記第1のルマサブブロックのイントラ予測モードは第2のルマサブブロックのイントラ予測モードと異なり得る。
前記ルマブロック及び前記クロマブロックは現在のスライス内に位置し、前記現在のスライスはI(intra)スライスであり、前記現在のスライスが前記Iスライスである場合、前記現在のスライス内のブロックに対するルマ分割情報とクロマ分割情報が個別的にデコーディング装置にシグナリングされることができる。
エンコーディング装置は、前記ルマブロックに対応するクロマブロックのイントラ予測モードを誘導するためのイントラクロマ予測モード情報を導出する(S2110)。エンコーディング装置は、前記クロマブロックに対するイントラ予測を行うことにおいて、最適のRDコストを有するイントラ予測モードを導出することができる。この場合、前記クロマブロックのイントラ予測モードを効率的に示すためのイントラクロマ予測モード情報を生成することができる。前記イントラクロマ予測モード情報はDM又はLMを示すことができる。
例えば、前記イントラクロマ予測モード情報は、プラナー(Planar)モード、DCモード、垂直(vertical)モード、水平(horizontal)モード、DM、LMを含む予測モードのうち一つを指示することができる。DMはルマ成分に対するイントラ予測モードと同一のイントラ予測モードがクロマ成分に対するイントラ予測モードに適用されるモードを示す。LMは、クロマ成分に対する予測ブロックを生成する過程でルマ成分の復元されたサンプルをサブサンプリングした後、サブサンプリングされたサンプルにLMパラメータであるα及びβを適用して導出されたサンプルを前記クロマ成分の予測サンプルとして用いるモードを示す。DMとLMはルマブロックの情報を用いて、クロマブロックを予測する従属的な予測モードである。
エンコーディング装置は、前記イントラクロマ予測モード情報が前記DM又は前記LMを示す場合、前記ルマブロックの分割構造に基づいて前記クロマブロックを分割する(S2120)。エンコーディング装置は、前記ルマブロックの分割構造に基づいて前記クロマブロックを複数のクロマサブブロックに分割することができる。
エンコーディング装置は、前記複数のクロマサブブロックの各々に対するイントラ予測を通じて、前記複数のサブブロックに対する予測サンプルを生成する (S2130)。
一例として、前記クロマブロックに対する前記イントラクロマ予測モード情報が前記DMを示す場合、前記複数のクロマサブブロックのうち、第1のクロマサブブロックのイントラ予測モードは、前記第1のクロマサブブロックに対応する前記第1のルマサブブロックのイントラ予測モードが用いられ、第2のクロマサブブロックのイントラ予測モードは、前記第2のクロマサブブロックに対応する前記第2のルマサブブロックのイントラ予測モードが用いられることができる。エンコーディング装置は、前記第1のクロマサブブロックに対しては前記第1のルマサブブロックのイントラ予測モードを用いてイントラ予測を行い、前記第2のクロマサブブロックに対しては前記第2のルマサブブロックのイントラ予測モードを用いてイントラ予測を行うことができる。
他の例として、前記クロマブロックに対する前記イントラクロマ予測モード情報が前記LMを示す場合、エンコーディング装置は、前記複数のクロマサブブロックのうち前記第1のクロマサブブロックに対する第1のLMパラメータ及び前記第2のクロマサブブロックに対する第2のLMパラメータを導出することができる。この場合、前記第1のLMパラメータは、前記第1のクロマサブブロックの周辺参照サンプル及び前記第1のルマサブブロックのサブサンプリングされた周辺参照サンプルに基づいて導出され、前記第2のLMパラメータは、前記第2のクロマサブブロックの周辺参照サンプル及び前記第2のルマサブブロックのサブサンプリングされた周辺参照サンプルに基づいて導出されることができる。前記第1のクロマサブブロックの周辺参照サンプルは、前記第1のクロマサブブロックの左側境界に隣接する第1の左側周辺参照サンプル及び前記第1のクロマサブブロックの上側境界に隣接する第1の上側周辺参照サンプルを含み、前記第1のクロマサブブロックの周辺参照サンプルは、前記第2のクロマサブブロックの左側境界に隣接する第2の左側周辺参照サンプル及び前記第2のクロマサブブロックの上側境界に隣接する第1の上側周辺参照サンプルを含むことができる。前記第1のクロマサブブロックの周辺参照サンプルの数は、前記第1のルマサブブロックのサブサンプリングされた周辺参照サンプルの数と同一であり、前記第2のクロマサブブロックの周辺参照サンプルの数は、前記第12のルマサブブロックのサブサンプリングされた周辺参照サンプルの数と同一であり得る。前記第1のLMパラメータは、第1のスケーリングファクター及び第1のオフセットを含み、エンコーディング装置は、前記第1のルマサブブロックのサブサンプリングされた復元サンプルに前記第1のスケーリングファクター及び前記第1のオフセットを適用して前記第1のクロマサブブロックの予測サンプルを導出し、前記第2のLMパラメータは、第2のスケーリングファクター及び第2のオフセットを含み、エンコーディング装置は、前記第2のルマサブブロックのサブサンプリングされた復元サンプルに前記第2のスケーリングファクター及び前記第2のオフセットを適用して前記第2のクロマサブブロックの予測サンプルを導出することができる。
エンコーディング装置は、分割情報及び予測情報をエンコーディング及び出力する(S2140)。エンコーディング装置は、前記情報をエンコーディングし、ビットストリームの形態で出力できる。前記ビットストリームは、ネットワーク又は格納媒体を通じてデコーディング装置に転送されることができる。
前記分割情報は、前述した前記ルマブロックに対する前記ルマQT分割フラグ、前記ルマBT分割フラグ等を含むことができる。前記予測情報は、前記クロマブロックに対するイントラクロマ予測モード情報を含むことができる。また、前記予測情報は、前記ルマブロックのイントラ予測モードに関する情報を含むことができる。さらに、エンコーディング装置は、残差情報をさらにエンコーディング及び出力することができる。前記残差情報は、残差サンプルに関する変換係数を含むことができる。
図22は、本発明に係る画像デコーディングでのイントラ予測方法の一例を概略的に示す。図22で開示された方法は、図2で開示されたデコーディング装置によって行われることができる。具体的に、例えば、図22のS2200乃至S2230は、前記デコーディング装置の予測部によって行われることができる。
図22を参照すると、デコーディング装置はルマブロックの分割構造を導出する(S2200)。デコーディング装置は、エンコーディング装置からビットストリームから獲得した分割情報に基づき、前記ルマブロックの分割構造を導出することができる。
前記ルマブロックは、前記分割構造に基づいて第1のルマサブブロック及び第2のルマサブブロックを含むことができ、この場合、前記第1のルマサブブロックのイントラ予測モードは、第2のルマサブブロックのイントラ予測モードと異なり得る。
前記ルマブロック及び前記クロマブロックは、現在のスライス内に位置し、前記現在のスライスはI(intra)スライスであり、前記現在のスライスが前記Iスライスである場合、前記現在のスライス内のブロックに対するルマ分割情報とクロマ分割情報が個別的にシグナリングされることができる。
デコーディング装置は、前記ルマブロックに対応するクロマブロックのイントラ予測モードを誘導するためのイントラクロマ予測モード情報を導出する(S2210)。前記イントラクロマ予測モード情報は、前記ビットストリームから獲得することができる。前記イントラクロマ予測モード情報は、DM又はLMを示すことができる。例えば、前記イントラクロマ予測モード情報は、プラナー(Planar)モード、DCモード、垂直(vertical)モード、水平(horizontal)モード、DM、LMを含む予測モードのうち一つを指示することができる。DMは、ルマ成分に対するイントラ予測モードと同一のイントラ予測モードがクロマ成分に対するイントラ予測モードに適用されるモードを示す。LMは、クロマ成分に対する予測ブロックを生成する過程でルマ成分の復元されたサンプルをサブサンプリングした後、サブサンプリングされたサンプルにLMパラメータであるα及びβを適用して導出されたサンプルを前記クロマ成分の予測サンプルとして用いるモードを示す。DMとLMは、ルマブロックの情報を用いてクロマブロックを予測する従属的な予測モードである。
デコーディング装置は、前記イントラクロマ予測モード情報が前記DM又は前記LMを示す場合、前記ルマブロックの分割構造に基づいて前記クロマブロックを分割する(S2220)。デコーディング装置は、前記ルマブロックの分割構造に基づいて、前記クロマブロックを複数のクロマサブブロックに分割することができる。
デコーディング装置は、前記複数のクロマサブブロックの各々に対するイントラ予測を通じて、前記複数のサブブロックに対する予測サンプルを生成する(S2230)。
一例として、前記クロマブロックに対する前記イントラクロマ予測モード情報が前記DMを示す場合、前記複数のクロマサブブロックのうち、第1のクロマサブブロックのイントラ予測モードは、前記第1のクロマサブブロックに対応する前記第1のルマサブブロックのイントラ予測モードが用いられ、第2のクロマサブブロックのイントラ予測モードは、前記第2のクロマサブブロックに対応する前記第2のルマサブブロックのイントラ予測モードが用いられることができる。デコーディング装置は、前記第1のクロマサブブロックに対しては、前記第1のルマサブブロックのイントラ予測モードを用いてイントラ予測を行い、前記第2のクロマサブブロックに対しては、前記第2のルマサブブロックのイントラ予測モードを用いてイントラ予測を行うことができる。
他の例として、前記クロマブロックに対する前記イントラクロマ予測モード情報が前記LMを示す場合、デコーディング装置は、前記複数のクロマサブブロックのうち、前記第1のクロマサブブロックに対する第1のLMパラメータ及び前記第2のクロマサブブロックに対する第2のLMパラメータを導出することができる。この場合、前記第1のLMパラメータは、前記第1のクロマサブブロックの周辺参照サンプル及び前記第1のルマサブブロックのサブサンプリングされた周辺参照サンプルに基づいて導出され、前記第2のLMパラメータは、前記第2のクロマサブブロックの周辺参照サンプル及び前記第2のルマサブブロックのサブサンプリングされた周辺参照サンプルに基づいて導出されることができる。前記第1のクロマサブブロックの周辺参照サンプルは、前記第1のクロマサブブロックの左側境界に隣接する第1の左側周辺参照サンプル及び前記第1のクロマサブブロックの上側境界に隣接する第1の上側周辺参照サンプルを含み、前記第1のクロマサブブロックの周辺参照サンプルは、前記第2のクロマサブブロックの左側境界に隣接する第2の左側周辺参照サンプル及び前記第2のクロマサブブロックの上側境界に隣接する第1の上側周辺参照サンプルを含むことができる。前記第1のクロマサブブロックの周辺参照サンプルの数は、前記第1のルマサブブロックのサブサンプリングされた周辺参照サンプルの数と同一であり、前記第2のクロマサブブロックの周辺参照サンプルの数は、前記第12のルマサブブロックのサブサンプリングされた周辺参照サンプルの数と同一であり得る。前記第1のLMパラメータは、第1のスケーリングファクター及び第1のオフセットを含み、デコーディング装置は、前記第1のルマサブブロックのサブサンプリングされた復元サンプルに前記第1のスケーリングファクター及び前記第1のオフセットを適用し、前記第1のクロマサブブロックの予測サンプルを導出し、前記第2のLMパラメータは、第2のスケーリングファクター及び第2のオフセットを含み、デコーディング装置は、前記第2のルマサブブロックのサブサンプリングされた復元サンプルに前記第2のスケーリングファクター及び前記第2のオフセットを適用し、前記第2のクロマサブブロックの予測サンプルを導出することができる。
一方、図示されてはいないが、デコーディング装置は、前記ビットストリームから残差サンプルに関する残差情報を受信することができる。前記残差情報は、残差サンプルに関する変換係数を含むことができる。
デコーディング装置は、前記残差情報に基づいて、対象ブロックに対する前記残差サンプル(又は残差サンプルアレイ)を導出することができる。デコーディング装置は、前記予測サンプルと前記残差サンプルに基づいて復元サンプルを生成することができ、前記復元サンプルに基づいて復元ブロック又は復元ピクチャーを導出することができる。以降のデコーディング装置は、必要に応じて主観的/客観的画質を向上させるために、デブロッキングフィルタリング及び/又はSAO手続のようなインループフィルタリング手続を前記復元ピクチャーに適用することができることは前述した通りである。
前述した本発明に係る方法は、ソフトウェアの形態で具現でき、本発明に係るエンコーディング装置及び/又はデコーディング装置は、例えば、TV、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の画像処理を行う装置に含まれることができる。
本発明で実施例がソフトウェアで具現されるとき、前述した方法は前述した機能を行うモジュール(過程、機能等)で具現できる。モジュールはメモリに格納され、プロセッサによって実行されることができる。メモリはプロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ASIC(appICation−specific integrated circuit)、他のチップセット、論理回路及び/又はデータ処理装置を含むことができる。メモリは、ROM(read−only memory)、RAM(random access memory)、フラッシュメモリ、メモリカード、格納媒体及び/又は他の格納装置を含むことができる。

Claims (13)

  1. デコーディング装置によって行われるイントラ予測方法において、
    ルマブロックの分割構造を導出する段階と、
    前記ルマブロックに対応するクロマブロックのイントラ予測モードを誘導するためのイントラクロマ予測モード情報を導出する段階と、
    前記イントラクロマ予測モード情報がDM(derived mode)又はLM(linear mode)を示す場合、前記ルマブロックの分割構造と同一の形態で前記クロマブロックを分割し、複数のクロマサブブロックを導出する段階と、
    前記複数のクロマサブブロックに対する予測サンプルを生成する段階と、
    前記クロマブロックに対する前記イントラクロマ予測モード情報が前記LMを示す場合、前記複数のクロマサブブロックのうち、第1のクロマサブブロックに対する第1のLMパラメータ及び第2のクロマサブブロックに対する第2のLMパラメータを導出する段階と、
    を含み、
    前記ルマブロックは、第1のルマサブブロック及び第2のルマサブブロックを含み、
    前記第1のLMパラメータは、前記第1のクロマサブブロックの周辺参照サンプル及び前記第1のルマサブブロックのサブサンプリングされた周辺参照サンプルに基づいて導出され、
    前記第2のLMパラメータは、前記第2のクロマサブブロックの周辺参照サンプル及び前記第2のルマサブブロックのサブサンプリングされた周辺参照サンプルに基づいて導出される、イントラ予測方法。
  2. 前記ルマブロック及び前記クロマブロックは現在のスライス内に位置し、
    前記現在のスライスはI(intra)スライスであり、
    前記現在のスライスが前記Iスライスである場合、前記現在のスライス内のブロックに対するルマ分割情報とクロマ分割情報が個別にシグナリングされる、請求項1に記載のイントラ予測方法。
  3. 前記イントラクロマ予測モード情報は、プラナーモード、DCモード、垂直モード、水平モード、DM、LMのうちの一つを示す、請求項1に記載のイントラ予測方法。
  4. 前記ルマブロック内の第1のルマサブブロックのイントラ予測モードが、第2のルマサブブロックのイントラ予測モードと異なり、前記クロマブロックに対する前記イントラクロマ予測モード情報が前記DMを示す場合、前記複数のクロマサブブロックのうち、第1のクロマサブブロックのイントラ予測モードとして、前記第1のクロマサブブロックに対応する前記第1のルマサブブロックのイントラ予測モードが用いられ、第2のクロマサブブロックのイントラ予測モードとして、前記第2のクロマサブブロックに対応する前記第2のルマサブブロックのイントラ予測モードが用いられる、請求項1に記載のイントラ予測方法。
  5. 前記第1のクロマサブブロックの周辺参照サンプルは、前記第1のクロマサブブロックの左側境界に隣接する第1の左側周辺参照サンプル及び前記第1のクロマサブブロックの上側境界に隣接する第1の上側周辺参照サンプルを含み、
    前記第2のクロマサブブロックの周辺参照サンプルは、前記第2のクロマサブブロックの左側境界に隣接する第2の左側周辺参照サンプル及び前記第2のクロマサブブロックの上側境界に隣接する第2の上側周辺参照サンプルを含む、請求項に記載のイントラ予測方法。
  6. 前記第1のクロマサブブロックの周辺参照サンプルの数は、前記第1のルマサブブロックのサブサンプリングされた周辺参照サンプルの数と同一であり、
    前記第2のクロマサブブロックの周辺参照サンプルの数は、前記第2のルマサブブロックのサブサンプリングされた周辺参照サンプルの数と同一である、請求項に記載のイントラ予測方法。
  7. 前記第1のLMパラメータは、第1のスケーリングファクター及び第1のオフセットを含み、前記第1のルマサブブロックのサブサンプリングされた復元サンプルに前記第1のスケーリングファクター及び前記第1のオフセットを適用して前記第1のクロマサブブロックの予測サンプルを導出し、
    前記第2のLMパラメータは、第2のスケーリングファクター及び第2のオフセットを含み、前記第2のルマサブブロックのサブサンプリングされた復元サンプルに前記第2のスケーリングファクター及び前記第2のオフセットを適用して前記第2のクロマサブブロックの予測サンプルを導出する、請求項に記載のイントラ予測方法。
  8. イントラ予測のためのデコーディング装置において、
    分割情報を受信する受信部と、
    前記分割情報に基づいてルマブロックの分割構造を導出し、前記ルマブロックに対応するクロマブロックのイントラ予測モードを誘導するためのイントラクロマ予測モード情報を導出し、前記イントラクロマ予測モード情報がDM(derived mode)又はLM(linear mode)を示す場合、前記ルマブロックの分割構造と同一の形態で前記クロマブロックを分割し、複数のクロマサブブロックを導出し、前記複数のクロマサブブロックに対する予測サンプルを生成する予測部と、を含
    前記予測部は、前記クロマブロックに対する前記イントラクロマ予測モード情報が前記LMを示す場合、前記複数のクロマサブブロックのうち、第1のクロマサブブロックに対する第1のLMパラメータ及び第2のクロマサブブロックに対する第2のLMパラメータを導出し、
    前記ルマブロックは、第1のルマサブブロック及び第2のルマサブブロックを含み、
    前記第1のLMパラメータは、前記第1のクロマサブブロックの周辺参照サンプル及び前記第1のルマサブブロックのサブサンプリングされた周辺参照サンプルに基づいて導出され、
    前記第2のLMパラメータは、前記第2のクロマサブブロックの周辺参照サンプル及び前記第2のルマサブブロックのサブサンプリングされた周辺参照サンプルに基づいて導出される、デコーディング装置。
  9. 前記ルマブロック及び前記クロマブロックは現在のスライス内に位置し、
    前記現在のスライスはI(intra)スライスである、請求項に記載のデコーディング装置。
  10. 前記ルマブロック内の第1のルマサブブロックのイントラ予測モードが、第2のルマサブブロックのイントラ予測モードと異なり、前記クロマブロックに対する前記イントラクロマ予測モード情報が前記DMを示す場合、前記複数のクロマサブブロックのうち、第1のクロマサブブロックのイントラ予測モードとして、前記第1のクロマサブブロックに対応する前記第1のルマサブブロックのイントラ予測モードが用いられ、第2のクロマサブブロックのイントラ予測モードとして、前記第2のクロマサブブロックに対応する前記第2のルマサブブロックのイントラ予測モードが用いられる、請求項に記載のデコーディング装置。
  11. 前記第1のクロマサブブロックの周辺参照サンプルは、前記第1のクロマサブブロックの左側境界に隣接する第1の左側周辺参照サンプル及び前記第1のクロマサブブロックの上側境界に隣接する第1の上側周辺参照サンプルを含み、
    前記第2のクロマサブブロックの周辺参照サンプルは、前記第2のクロマサブブロックの左側境界に隣接する第2の左側周辺参照サンプル及び前記第2のクロマサブブロックの上側境界に隣接する第2の上側周辺参照サンプルを含む、請求項に記載のデコーディング装置。
  12. 前記第1のクロマサブブロックの周辺参照サンプルの数は、前記第1のルマサブブロックのサブサンプリングされた周辺参照サンプルの数と同一であり、
    前記第2のクロマサブブロックの周辺参照サンプルの数は、前記第2のルマサブブロックのサブサンプリングされた周辺参照サンプルの数と同一である、請求項に記載のデコーディング装置。
  13. 前記第1のLMパラメータは、第1のスケーリングファクター及び第1のオフセットを含み、前記予測部は、前記第1のルマサブブロックのサブサンプリングされた復元サンプルに前記第1のスケーリングファクター及び前記第1のオフセットを適用して前記第1のクロマサブブロックの予測サンプルを導出し、
    前記第2のLMパラメータは、第2のスケーリングファクター及び第2のオフセットを含み、前記予測部は、前記第2のルマサブブロックのサブサンプリングされた復元サンプルに前記第2のスケーリングファクター及び前記第2のオフセットを適用して前記第2のクロマサブブロックの予測サンプルを導出する、請求項に記載のデコーディング装置。
JP2019517310A 2016-09-30 2017-09-28 画像コーディングシステムにおけるブロック分割及びイントラ予測方法並びに装置 Active JP6798015B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662401912P 2016-09-30 2016-09-30
US62/401,912 2016-09-30
PCT/KR2017/010888 WO2018062921A1 (ko) 2016-09-30 2017-09-28 영상 코딩 시스템에서 블록 분할 및 인트라 예측 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2019530366A JP2019530366A (ja) 2019-10-17
JP6798015B2 true JP6798015B2 (ja) 2020-12-09

Family

ID=61760880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019517310A Active JP6798015B2 (ja) 2016-09-30 2017-09-28 画像コーディングシステムにおけるブロック分割及びイントラ予測方法並びに装置

Country Status (6)

Country Link
US (1) US20200036985A1 (ja)
EP (1) EP3509298A4 (ja)
JP (1) JP6798015B2 (ja)
KR (1) KR20190042090A (ja)
CN (1) CN109804628A (ja)
WO (1) WO2018062921A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116647682A (zh) * 2016-10-28 2023-08-25 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质
EP3662664A4 (en) * 2017-08-03 2020-11-25 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR DIVIDING VIDEO BLOCKS INTO AN INTERPREDICTION SLICE OF VIDEO DATA
CN111919442B (zh) * 2018-03-31 2023-04-04 华为技术有限公司 一种图像块的帧内模式预测方法及装置
CN116567234A (zh) * 2018-04-01 2023-08-08 Oppo广东移动通信有限公司 使用帧内预测的图像编码/解码方法和装置
WO2019209038A1 (ko) * 2018-04-25 2019-10-31 엘지전자 주식회사 영상 코딩 시스템에서 크로마 성분의 블록 분할에 따른 영상 디코딩 방법 및 그 장치
WO2019210857A1 (en) 2018-04-30 2019-11-07 Mediatek Inc. Method and apparatus of syntax interleaving for separate coding tree in video coding
US11140390B2 (en) 2018-05-10 2021-10-05 Samsung Electronics Co., Ltd. Image segmentation method and apparatus for image encoding and decoding
CN112385219B (zh) * 2018-05-10 2024-04-19 三星电子株式会社 用于图像编码的方法和装置以及用于图像解码的方法和装置
FR3081657A1 (fr) * 2018-06-27 2019-11-29 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
KR20210071032A (ko) * 2018-10-09 2021-06-15 미디어텍 인크. 미리 정의된 기준에 의해 결정된 참조 샘플을 사용한 인코딩 또는 디코딩 방법 및 장치
KR20210073597A (ko) * 2018-12-21 2021-06-18 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
JP7139531B2 (ja) * 2018-12-21 2022-09-20 ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッド 彩度成分のアフィン動きベクトルを導出するためのビデオ符号化復号化の方法および装置
CN116456082A (zh) * 2018-12-25 2023-07-18 Oppo广东移动通信有限公司 编码预测方法、装置及计算机存储介质
KR20210104133A (ko) * 2018-12-30 2021-08-24 미디어텍 인크. 제약이 있는 루마-크로마 분리 코딩 트리 코딩의 방법 및 장치
MX2021008911A (es) 2019-02-01 2021-08-24 Beijing Bytedance Network Tech Co Ltd Se?alizacion de informacion de reformacion en bucle utilizando conjuntos de parametros.
WO2020156528A1 (en) 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Filtering processes based on in-loop reshaping
CN109862371A (zh) * 2019-03-12 2019-06-07 北京大学深圳研究生院 一种基于帧内预测的编解码方法、装置及滤波器
CN113574889B (zh) 2019-03-14 2024-01-12 北京字节跳动网络技术有限公司 环路整形信息的信令和语法
JP7410168B2 (ja) * 2019-03-14 2024-01-09 エルジー エレクトロニクス インコーポレイティド イントラ予測を行う画像符号化/復号方法、装置、およびビットストリームを伝送する方法
CN113632469B (zh) 2019-03-23 2022-12-13 北京字节跳动网络技术有限公司 默认的环内整形参数
WO2020262913A1 (ko) * 2019-06-28 2020-12-30 엘지전자 주식회사 크로마 양자화 파라미터 데이터에 대한 영상 디코딩 방법 및 그 장치
EP4005213A4 (en) * 2019-07-26 2023-05-31 HFI Innovation Inc. METHOD AND APPARATUS FOR ADAPTIVE INTER-COMPONENT LOOP FILTERING FOR VIDEO CODING
CN115767087A (zh) * 2019-08-14 2023-03-07 Lg电子株式会社 图像编解码方法、发送比特流的方法和记录介质
CN110446044B (zh) * 2019-08-21 2022-08-09 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置
CN114586351B (zh) * 2019-08-29 2024-04-16 Lg电子株式会社 基于自适应环路滤波的图像编译装置和方法
US20220368951A1 (en) * 2019-09-24 2022-11-17 Hfi Innovation Inc. Method and Apparatus of Separated Coding Tree Coding with Constraints on Minimum CU Size
CN114930850A (zh) 2019-10-29 2022-08-19 Lg电子株式会社 基于变换的图像编码方法及其设备
CN114902678A (zh) * 2019-10-29 2022-08-12 Lg电子株式会社 基于变换的图像编码方法及其设备
CN115004709A (zh) * 2019-11-27 2022-09-02 Lg电子株式会社 用于发信号通知切片相关信息的方法和装置
US11197001B2 (en) 2020-02-05 2021-12-07 Tencent America LLC Method and apparatus for interactions between decoder-side intra mode derivation and adaptive intra prediction modes
WO2022031018A1 (ko) * 2020-08-04 2022-02-10 현대자동차주식회사 임의 블록 분할을 이용한 비디오 부호화 및 복호화
WO2022103240A1 (ko) * 2020-11-16 2022-05-19 현대자동차주식회사 크로마 인트라 방향성 예측모드를 적응적으로 결정하는 영상 부호화 및 복호화 방법
US20240007645A1 (en) * 2020-11-23 2024-01-04 Hyundai Motor Company Video encoding and decoding method using adaptive reference pixel selection
WO2022108419A1 (ko) * 2020-11-23 2022-05-27 현대자동차주식회사 선택적 서브블록 분할정보 전송을 이용하는 영상 부호화 및 복호화 방법과 장치
WO2023016439A1 (en) * 2021-08-11 2023-02-16 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2013007314A (es) * 2010-12-23 2013-10-25 Samsung Electronics Co Ltd Metodo y aparato de codificacion de modo de intra-prediccion para unidad de prediccion de imagen, metodo y aparato de decodificacion de modo de intra-prediccion para unidad de prediccion de imagen.
KR20130058524A (ko) * 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
CN107509078B (zh) * 2012-04-16 2021-07-20 韩国电子通信研究院 用于解码视频信号的方法
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9264710B2 (en) * 2012-07-06 2016-02-16 Texas Instruments Incorporated Method and system for video picture intra-prediction estimation
KR20150105348A (ko) * 2012-11-29 2015-09-16 인텔렉추얼디스커버리 주식회사 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
CN103491380A (zh) * 2013-07-29 2014-01-01 朱洪波 高灵活变尺寸块帧内预测编码
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction

Also Published As

Publication number Publication date
CN109804628A (zh) 2019-05-24
EP3509298A1 (en) 2019-07-10
KR20190042090A (ko) 2019-04-23
EP3509298A4 (en) 2020-07-22
JP2019530366A (ja) 2019-10-17
US20200036985A1 (en) 2020-01-30
WO2018062921A1 (ko) 2018-04-05

Similar Documents

Publication Publication Date Title
JP6798015B2 (ja) 画像コーディングシステムにおけるブロック分割及びイントラ予測方法並びに装置
JP6781340B2 (ja) 映像コーディングシステムにおける照度補償基盤インター予測方法及び装置
US11570431B2 (en) Method and device for performing image decoding on basis of intra prediction in image coding system
US20220109837A1 (en) Image decoding method and apparatus according to block division structure in image coding system
KR102160667B1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
US10721479B2 (en) Intra prediction method and apparatus in image coding system
US10750190B2 (en) Video decoding method and device in video coding system
KR101552635B1 (ko) 예측 단위의 파티션 모드에 기초한 계수 스캔 방법 및 장치
US10951908B2 (en) Method and device for decoding image according to intra prediction in image coding system
KR20170132682A (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
US11838546B2 (en) Image decoding method and apparatus relying on intra prediction in image coding system
US20200374516A1 (en) Image decoding method and apparatus based on efficient transformation of chroma component in image coding system
US10812796B2 (en) Image decoding method and apparatus in image coding system
KR20190029748A (ko) 영상 코딩 시스템에서 인터 예측 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201118

R150 Certificate of patent or registration of utility model

Ref document number: 6798015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150