JP7444998B2 - リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法 - Google Patents

リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法 Download PDF

Info

Publication number
JP7444998B2
JP7444998B2 JP2022540750A JP2022540750A JP7444998B2 JP 7444998 B2 JP7444998 B2 JP 7444998B2 JP 2022540750 A JP2022540750 A JP 2022540750A JP 2022540750 A JP2022540750 A JP 2022540750A JP 7444998 B2 JP7444998 B2 JP 7444998B2
Authority
JP
Japan
Prior art keywords
current block
type
mode
prediction mode
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022540750A
Other languages
English (en)
Other versions
JP2023509053A (ja
Inventor
ヒョン ムン チャン
チョン ハク ナム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2023509053A publication Critical patent/JP2023509053A/ja
Priority to JP2024025563A priority Critical patent/JP2024045744A/ja
Application granted granted Critical
Publication of JP7444998B2 publication Critical patent/JP7444998B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

本開示は、画像符号化/復号化方法、装置、及びビットストリームを伝送する方法に係り、より詳細には、リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及び本開示の画像符号化方法/装置によって生成されたビットストリームを伝送する方法に関する。
最近、高解像度、高品質の画像、例えばHD(High Definition)画像及びUHD(Ultra High Definition)画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
本開示は、符号化/復号化効率が向上した画像符号化/復号化方法及び装置を提供することを目的とする。
また、本開示は、現在ブロックのスライスタイプ及びサイズのうちの少なくとも一つに基づいて予測モードタイプを再設定する画像符号化/復号化方法及び装置を提供することを目的とする。
また、本開示は、現在ブロックの再設定された予測モードタイプに基づいて予測モード情報を符号化/復号化する画像符号化/復号化方法及び装置を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
本開示の一態様による画像復号化方法は、所定の予測モードタイプに基づいて、分割ツリー構造のリーフノード(leaf node)に該当する現在ブロックを取得するステップと、前記現在ブロックの予測モードタイプを再設定するステップと、前記再設定された予測モードタイプに基づいて、前記現在ブロックの予測モード情報を取得するステップと、前記予測モード情報に基づいて、前記現在ブロックの予測ブロックを生成するステップと、を含み、前記現在ブロックの予測モードタイプを再設定するステップは、前記現在ブロックのスライスタイプ及びサイズのうちの少なくとも一つに基づいて行われることができる。
本開示の他の態様による画像復号化装置は、メモリ及び少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、所定の予測モードタイプに基づいて、分割ツリー構造のリーフノード(leaf node)に該当する現在ブロックを取得し、前記現在ブロックの予測モードタイプを再設定し、前記再設定された予測モードタイプに基づいて、前記現在ブロックの予測モード情報を取得し、前記予測モード情報に基づいて、前記現在ブロックの予測ブロックを生成し、前記現在ブロックの予測モードタイプは、前記現在ブロックのスライスタイプ及びサイズのうちの少なくとも一つに基づいて再設定されることができる。
本開示の別の態様による画像符号化方法は、所定の予測モードタイプに基づいて分割ツリー構造のリーフノード(leaf node)に該当する現在ブロックを取得するステップと、前記現在ブロックの予測モードタイプを再設定するステップと、前記再設定された予測モードタイプに基づいて前記現ブロックの予測モード情報を符号化するステップと、を含み、前記現在ブロックの予測モードタイプを再設定するステップは、前記現在ブロックのスライスタイプ及びサイズのうちの少なくとも一つに基づいて行われることができる。
本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。
本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
本開示によれば、符号化/復号化効率が向上した画像符号化/復号化方法及び装置が提供されることができる。
また、本開示によれば、現在ブロックのスライスタイプ及びサイズのうちの少なくとも一つに基づいて予測モードタイプを再設定する画像符号化/復号化方法及び装置が提供されることができる。
また、本開示によれば、現在ブロックの再設定された予測モードタイプに基づいて予測モード情報を符号化/復号化する画像符号化/復号化方法及び装置が提供されることができる。
また、本開示によれば、現在ブロックの再設定された予測モードタイプがイントラタイプである場合、スキップモードに関する予測モード情報のシグナリングを制限する画像符号化/復号化方法及び装置が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 一実施例による画像の分割構造を示す図である。 マルチタイプツリー構造によるブロックの分割タイプを示す図である。 本開示によるマルチタイプツリーを伴う四分木(quadtree with nested multi-type tree)構造におけるブロック分割情報のシグナリングメカニズムを例示的に示す図である。 CTUが、四分木の適用後にマルチタイプツリーが適用されることにより多重CUに分割される例を示す図である。 二分木分割及び三分木分割の際に発生しうるリダンダント分割パターンを例示的に示す図である。 本開示の一実施例によるイントラ予測方向を示す図である。 本開示の他の実施例によるイントラ予測方向を示す図である。 インター予測ベースのビデオ/画像符号化方法を示すフローチャートである。 本開示によるインター予測部180の構成を例示的に示す図である。 インター予測ベースのビデオ/画像復号化方法を示すフローチャートである。 本開示によるインター予測部260の構成を例示的に示す図である。 予測モード情報を含むcoding_unitシンタックスの一例を示す図である。 現在ブロックのスライスタイプ及びサイズに応じて現在ブロックに適用可能な予測モードを例示的に示す図である。 本開示の実施例によるcoding_unitシンタックスを示す図である。 本開示の実施例によるcoding_unitシンタックスを示す図である。 本開示の実施例によるcoding_unitシンタックスを示す図である。 本開示の実施例によるcoding_unitシンタックスを示す図である。 本開示の一実施例による画像符号化方法を示すフローチャートである。 本開示の一実施例による画像復号化方法を示すフローチャートである。 本開示による実施例が適用できるコンテンツストリーミングシステムを例示的に示す図である。
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係のない部分は省略し、同様の部分には同様の図面符号を付した。
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するものではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第1」、「第2」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内で、一実施例における第1構成要素を一実施例で第2構成要素と呼んでもよく、これと同様に、一実施例における第2構成要素を一実施例で第1構成要素と呼んでもよい。
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
本開示において、様々な実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
本開示において、「ピクチャ(picture)」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス(slice)/タイル(tile)は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス/タイルで構成できる。また、スライス/タイルは、一つ以上のCTU(coding tree unit)を含むことができる。
本開示において、「ピクセル(pixel)」又は「ペル(pel)」は、一つのピクチャ(又は画像)を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル(sample)」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ(luma)成分のピクセル/ピクセル値のみを示すこともでき、クロマ(chroma)成分のピクセル/ピクセル値のみを示すこともできる。
本開示において、「ユニット(unit)」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック(block)」又は「領域(area)」などの用語と混用して使用できる。一般な場合、M×Nブロックは、M個の列とN個の行からなるサンプル(又はサンプルアレイ)又は変換係数(transform coefficient)のセット(又はアレイ)を含むことができる。
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換(逆変換)/量子化(逆量子化)が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック、又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのルマ成分ブロックは、明示的に「ルマブロック」又は「現在ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。
本開示において、「/」と「、」は「及び/又は」と解釈されることができる。例えば、「A/B」と「A、B」は「A及び/又はB」と解釈されることができる。また、「A/B/C」と「A、B、C」は、「A、B及び/又はCのうちの少なくとも一つ」を意味することができる。
本開示において、「又は」は、「及び/又は」と解釈されることができる。例えば、「A又はB」は、1)「A」のみを意味するか、2)「B」のみを意味するか、3)「A及びB」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に(additionally or alternatively)」を意味することができる。
ビデオコーディングシステムの概要
図1は本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。
一実施例によるビデオコーディングシステムは、符号化装置10及び復号化装置20を含むことができる。符号化装置10は、符号化されたビデオ(video)及び/又は画像(image)情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置20へ伝達することができる。
一実施例よる符号化装置10は、ビデオソース生成部11、符号化部12及び伝送部13を含むことができる。一実施例による復号化装置20は、受信部21、復号化部22及びレンダリング部23を含むことができる。前記符号化部12は、ビデオ/画像符号化部と呼ばれることができ、前記復号化部22は、ビデオ/画像復号化部と呼ばれることができる。伝送部13は、符号化部12に含まれることができる。受信部21は、復号化部22に含まれることができる。レンダリング部23は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
ビデオソース生成部11は、ビデオ/画像のキャプチャ、合成又は生成過程などを介してビデオ/画像を取得することができる。ビデオソース生成部11は、ビデオ/画像キャプチャデバイス及び/又はビデオ/画像生成デバイスを含むことができる。ビデオ/画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ/画像を含むビデオ/画像アーカイブなどを含むことができる。ビデオ/画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、(電子的に)ビデオ/画像を生成することができる。例えば、コンピュータなどを介して、仮想のビデオ/画像が生成されることができ、この場合、ビデオ/画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
符号化部12は、入力ビデオ/画像を符号化することができる。符号化部12は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部12は、符号化されたデータ(符号化されたビデオ/画像情報)をビットストリーム(bitstream)形式で出力することができる。
伝送部13は、ビットストリーム形式で出力された、符号化されたビデオ/画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置20の受信部21に伝達することができる。デジタル記憶媒体は、USB、SD、CD、DVD、Blu-ray(登録商標)、HDD、SSDなどの様々な記憶媒体を含むことができる。伝送部13は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送/通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部21は、前記記憶媒体又はネットワークから前記ビットストリームを抽出/受信して復号化部22へ伝達することができる。
復号化部22は、符号化部12の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ/画像を復号化することができる。
レンダリング部23は、復号化されたビデオ/画像をレンダリングすることができる。レンダリングされたビデオ/画像は、ディスプレイ部を介して表示されることができる。
画像符号化装置の概要
図2は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
図2に示されているように、画像符号化装置100は、画像分割部110、減算部115、変換部120、量子化部130、逆量子化部140、逆変換部150、加算部155、フィルタリング部160、メモリ170、インター予測部180、イントラ予測部185及びエントロピー符号化部190を含むことができる。インター予測部180及びイントラ予測部185は、合わせて「予測部」と呼ばれることができる。変換部120、量子化部130、逆量子化部140及び逆変換部150は、レジデュアル(residual)処理部に含まれることができる。レジデュアル処理部は減算部115をさらに含むこともできる。
画像符号化装置100を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント(例えば、エンコーダ又はプロセッサ)で実現されることができる。また、メモリ170は、DPB(decoded picture buffer)を含むことができ、デジタル記憶媒体によって実現できる。
画像分割部110は、画像符号化装置100に入力された入力画像(又は、ピクチャ、フレーム)を一つ以上の処理ユニット(processing unit)に分割することができる。一例として、前記処理ユニットは、コーディングユニット(coding unit、CU)と呼ばれることができる。コーディングユニットは、コーディングツリーユニット(coding tree unit、CTU)又は最大コーディングユニット(largest coding unit、LCU)をQT/BT/TT(Quad-tree/binary-tree/ternary-tree)構造によって再帰的に(recursively)分割することにより取得されることができる。例えば、一つのコーディングユニットは、四分木構造、二分木構造及び/又は三分木構造に基づいて、下位(deeper)デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び/又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び/又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット(PU:Prediction Unit)又は変換ユニット(TU:Transform Unit)であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び/又は変換係数からレジデュアル信号(residual signal)を誘導する単位であることができる。
予測部(インター予測部180又はイントラ予測部185)は、処理対象ブロック(現在ブロック)に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部は、現在ブロック又はCU単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関する様々な情報を生成してエントロピー符号化部190へ伝達することができる。予測に関する情報は、エントロピー符号化部190で符号化されてビットストリーム形式で出力されることができる。
イントラ予測部185は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照される前記サンプルは、イントラ予測モード及び/又はイントラ予測技法に従って、前記現在ブロックの周辺(neighbor)に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、DCモード及びPlanarモードを含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば33個の方向性予測モード又は65個の方向性予測モードを含むことができる。但し、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部185は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部180は、参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と、参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、同一位置参照ブロック(collocated reference block)、同一位置CU(colCU)などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、同一位置ピクチャ(collocated picture、colPic)と呼ばれることができる。例えば、インター予測部180は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいて、インター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部180は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測(motion vector prediction、MVP)モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(motion vector predictor)として用い、動きベクトル差分(motion vector difference)及び動きベクトル予測子に対するインジケータ(indicator)を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
予測部は、後述する様々な予測方法及び/又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、CIIP(combined inter and intra prediction)と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー(intra block copy、IBC)を行うこともできる。イントラブロックコピーは、例えば、SCC(screen content coding)などのようにゲームなどのコンテンツ画像/動画コーディングのために使用できる。IBCは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。IBCが適用される場合、現在ピクチャ内の参照ブロックの位置は前記所定の距離に該当するベクトル(ブロックベクトル)として符号化されることができる。IBCは、基本的に、現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点において、インター予測と同様に行われることができる。すなわち、IBCは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部115は、入力画像信号(原本ブロック、原本サンプルアレイ)から、予測部から出力された予測信号(予測されたブロック、予測サンプルアレイ)を減算して、レジデュアル信号(residual signal、残余ブロック、残余サンプルアレイ)を生成することができる。生成されたレジデュアル信号は、変換部120に伝送されることができる。
変換部120は、レジデュアル信号に変換技法を適用して変換係数(transform coefficients)を生成することができる。例えば、変換技法は、DCT(Discrete Cosine Transform)、DST(Discrete Sine Transform)、KLT(Karhunen-Loeve Transform)、GBT(Graph-Based Transform)、又はCNT(Conditionally Non-linear Transform)のうちの少なくとも一つを含むことができる。ここで、GBTは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。CNTは、以前に復元されたすべてのピクセル(all previously reconstructed pixel)を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックにも適用されることもできる。
量子化部130は、変換係数を量子化してエントロピー符号化部190に伝送することができる。エントロピー符号化部190は、量子化された信号(量子化された変換係数に関する情報)を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部130は、係数スキャン順序(scan order)に基づいて、ブロック形式の量子化された変換係数を1次元ベクトル形式で再整列することができ、前記1次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
エントロピー符号化部190は、例えば、指数ゴロム(exponential Golomb)、CAVLC(context-adaptive variable length coding)、CABAC(context-adaptive binary arithmetic coding)などの様々な符号化方法を行うことができる。エントロピー符号化部190は、量子化された変換係数の他に、ビデオ/画像復元に必要な情報(例えば、シンタックス要素(syntax elementsの値など)を一緒に又は別々に符号化することもできる。符号化された情報(例えば、符号化されたビデオ/画像情報)は、ビットストリーム形式でNAL(network abstraction layer)ユニット単位で伝送又は保存されることができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像情報は、一般制限情報(general constraint information)をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び/又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び/又は通信網などを含むことができ、デジタル記憶媒体は、USB、SD、CD、DVD、Blu-ray、HDD、SSDなどの様々な記憶媒体を含むことができる。エントロピー符号化部190から出力された信号を伝送する伝送部(図示せず)及び/又は保存する保存部(図示せず)が画像符号化装置100の内/外部要素として備えられることができ、又は伝送部はエントロピー符号化部190の構成要素として備えられることもできる。
量子化部130から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部140及び逆変換部150を介して逆量子化及び逆変換を適用することにより、レジデュアル信号(レジデュアルブロック又はレジデュアルサンプル)を復元することができる。
加算部155は、復元されたレジデュアル信号をインター予測部180又はイントラ予測部185から出力された予測信号に加えることにより、復元(reconstructed)信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部155は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
フィルタリング部160は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部160は、復元ピクチャに様々なフィルタリング方法を適用して、修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ170、具体的にはメモリ170のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、双方向フィルタ(bilateral filter)などを含むことができる。フィルタリング部160は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部190に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部190で符号化されてビットストリーム形式で出力されることができる。
メモリ170に伝送された、修正された復元ピクチャは、インター予測部180で参照ピクチャとして使用されることができる。画像符号化装置100は、これを介してインター予測が適用される場合、画像符号化装置100と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
メモリ170内のDPBは、インター予測部180での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ170は、現在ピクチャ内の動き情報が導出された(又は符号化された)ブロックの動き情報及び/又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部180に伝達されることができる。メモリ170は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部185に伝達することができる。
画像復号化装置の概要
図3は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
図3に示されているように、画像復号化装置200は、エントロピー復号化部210、逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ250、インター予測部260及びイントラ予測部265を含んで構成できる。インター予測部260及びイントラ予測部265を合わせて「予測部」と呼ばれることができる。逆量子化部220、逆変換部230はレジデュアル処理部に含まれることができる。
画像復号化装置200を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント(例えば、デコーダ又はプロセッサ)で実現されることができる。また、メモリ170は、DPBを含むことができ、デジタル記憶媒体によって実現できる。
ビデオ/画像情報を含むビットストリームを受信した画像復号化装置200は、図2の画像符号化装置100で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置200は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置200を介して復号化及び出力された復元画像信号は、再生装置(図示せず)を介して再生できる。
画像復号化装置200は、図2の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部210を介して復号化できる。例えば、エントロピー復号化部210は、前記ビットストリームをパーシングして画像復元(又はピクチャ復元)に必要な情報(例えば、ビデオ/画像情報)を導出することができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像情報は、一般制限情報(general constraint information)をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び/又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び/又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部210は、指数ゴロム符号化、CAVLC又はCABACなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、CABACエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン(bin)を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル/ビンの情報を用いてコンテキスト(context)モデルを決定し、決定されたコンテキストモデルに基づいてビン(bin)の発生確率を予測してビンの算術復号化(arithmetic decoding)を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、CABACエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル/ビンのコンテキストモデルのために、復号化されたシンボル/ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部210で復号化された情報のうち、予測に関する情報は、予測部(インター予測部260及びイントラ予測部265)に提供され、エントロピー復号化部210でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部220に入力されることができる。また、エントロピー復号化部210で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部240に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部(図示せず)が画像復号化装置200の内/外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部210の構成要素として備えられることもできる。
一方、本開示による画像復号化装置は、ビデオ/画像/ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ(ビデオ/画像/ピクチャ情報デコーダ)及び/又はサンプルデコーダ(ビデオ/画像/ピクチャサンプルデコーダ)を含むこともできる。前記情報デコーダは、エントロピー復号化部210を含むことができ、前記サンプルデコーダは、逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ250、インター予測部260及びイントラ予測部265のうちの少なくとも一つを含むことができる。
逆量子化部220では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部220は、量子化された変換係数を2次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部220は、量子化パラメータ(例えば、量子化ステップサイズ情報)を用いて、量子化された変換係数に対する逆量子化を行い、変換係数(transform coefficient)を取得することができる。
逆変換部230では、変換係数を逆変換してレジデュアル信号(レジデュアルブロック、レジデュアルサンプルアレイ)を取得することができる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部は、エントロピー復号化部210から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ/インター予測モード(予測技法)を決定することができる。
予測部が後述の様々な予測方法(技法)に基づいて予測信号を生成することができるのは、画像符号化装置100の予測部についての説明で述べたのと同様である。
イントラ予測部265は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部185についての説明は、イントラ予測部265に対しても同様に適用されることができる。
インター予測部260は、参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。例えば、インター予測部260は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出することができる。様々な予測モード(技法)に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード(技法)を指示する情報を含むことができる。
加算部235は、取得されたレジデュアル信号を予測部(インター予測部260及び/又はイントラ予測部265を含む)から出力された予測信号(予測されたブロック、予測サンプルアレイ)に加えることにより、復元信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部155についての説明は、加算部235に対しても同様に適用されることができる。加算部235は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
フィルタリング部240は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部240は、復元ピクチャに様々なフィルタリング方法を適用して、修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ250、具体的にはメモリ250のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、双方向フィルタ(bilateral filter)などを含むことができる。
メモリ250のDPBに保存された(修正された)復元ピクチャは、インター予測部260で参照ピクチャとして使用されることができる。メモリ250は、現在ピクチャ内の動き情報が導出された(又は復号化された)ブロックの動き情報及び/又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部260に伝達することができる。メモリ250は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部265に伝達することができる。
本明細書において、画像符号化装置100のフィルタリング部160、インター予測部180及びイントラ予測部185で説明された実施例は、それぞれ画像復号化装置200のフィルタリング部240、インター予測部260及びイントラ予測部265にも、同様に又は対応するように適用されることができる。
画像分割の概要
本開示によるビデオ/画像コーディング方法は、次の画像分割構造に基づいて行われることができる。具体的には、後述する予測、レジデュアル処理((逆)変換、(逆)量子化など)、シンタックス要素コーディング、フィルタリングなどの手順は、前記画像の分割構造に基づいて導出されたCTU、CU(及び/又はTU、PU)に基づいて行われることができる。画像はブロック単位で分割されることができ、ブロック分割手順は上述した符号化装置の画像分割部110で行われることができる。分割関連情報は、エントロピー符号化部190で符号化されてビットストリーム形式で復号化装置へ伝達できる。復号化装置のエントロピー復号化部210は、前記ビットストリームから取得した前記分割関連情報に基づいて、現在ピクチャのブロック分割構造を導出し、これに基づいて画像復号化のための一連の手順(例えば、予測、レジデュアル処理、ブロック/ピクチャ復元、インループフィルタリングなど)を行うことができる。CUサイズとTUサイズは同じでもよく、又はCU領域内に複数のTUが存在してもよい。一方、CUサイズとは、一般にルマ成分(サンプル)CBサイズを示すことができる。TUサイズとは、一般にルマ成分(サンプル)TBサイズを示すことができる。クロマ成分(サンプル)CB又はTBサイズは、ピクチャ/画像のクロマフォーマット(カラーフォーマット、例えば、4:4:4、4:2:2、4:2:0など)による成分比に応じて、ルマ成分(サンプル)CB又はTBサイズに基づいて導出されることができる。前記TUサイズは、利用可能な最大TBサイズを示すmaxTbSizeに基づいて導出されることができる。例えば、前記CUサイズがmaxTbSizeよりも大きい場合、前記CUからmaxTbSizeの複数のTU(TB)が導出され、前記TU(TB)単位で変換/逆変換が行われることができる。また、例えば、イントラ予測が適用される場合、イントラ予測モード/タイプは、前記CU(又はCB)単位で導出され、周辺参照サンプルの導出及び予測サンプルの生成手順は、TU(又はTB)単位で行われることができる。この場合、1つのCU(又はCB)領域内に1つ又は複数のTU(又はTB)が存在してもよく、この場合、前記複数のTU(又はTB)は同一のイントラ予測モード/タイプを共有することができる。
また、本開示による画像の符号化及び復号化において、画像処理単位は階層構造を有することができる。例えば、1つのピクチャは1つ以上のタイル又はタイルグループに区分されることができる。1つのタイルグループは1つ以上のタイルを含むことができる。1つのタイルは1つ以上のCTUを含むことができる。前記CTUは、前述したように1つ以上のCUに分割されることができる。タイルは、ピクチャ内で特定の行及び特定の列に集合されるCTUを含む四角領域で構成されることができる。タイルグループは、ピクチャ内のタイルラスタースキャンによる整数個のタイルを含むことができる。タイルグループヘッダーは、当該タイルグループに適用できる情報/パラメータをシグナリングすることができる。符号化/復号化装置がマルチコアプロセッサを有する場合、前記タイル又はタイルグループに対する符号化/復号化手順は並列処理できる。ここで、タイルグループは、イントラタイルグループ(intra(I) tile group)、一方向予測タイルグループ(predictive(P) tile group)、及び双方向予測タイルグループ(bi-predictive(B) tile group)を含むタイルグループタイプのうちのいずれか一つのタイプを有することができる。Iタイルグループ内のブロックに対しては、予測のためにインター予測は使用されず、イントラ予測のみ使用されることができる。もちろん、この場合にも、予測なしに原本サンプル値をコーディングしてシグナリングすることもできる。Pタイルグループ内のブロックに対しては、イントラ予測又はインター予測が使用されることができ、インター予測が使用される場合には、単(uni)予測のみ使用されることができる。一方、Bタイルグループ内のブロックに対しては、イントラ予測又はインター予測が使用されることができ、インター予測が使用される場合には、最大双(bi)予測まで使用されることができる。
符号化装置では、画像の特性(例えば、解像度)に応じて、或いはコーディングの効率又は並列処理を考慮してタイル/タイルグループ、スライス、最大及び最小コーディングユニットサイズを決定し、これに関する情報又はこれを誘導することができる情報がビットストリームに含まれることができる。
復号化装置では、現在ピクチャのスライス、タイル/タイルグループ、タイル内のCTUが多数のコーディングユニットに分割されたかなどを示す情報を取得することができる。このような情報は、特定の条件下でのみ取得される(伝送される)ようにすると、効率を高めることができる。
前記スライスヘッダー又はタイルグループヘッダー(タイルグループヘッダーシンタックス)は、前記スライス又はタイルグループに共通に適用可能な情報/パラメータを含むことができる。APS(APSシンタックス)又はPPS(PPSシンタックス)は、1つ以上のピクチャに共通に適用可能な情報/パラメータを含むことができる。前記SPS(SPSシンタックス)は、1つ以上のシーケンスに共通に適用可能な情報/パラメータを含むことができる。前記VPS(VPSシンタックス)は、前記ビデオ全般に共通に適用可能な情報/パラメータを含むことができる。本明細書において、上位レベルのンタックスとは、前記APSシンタックス、PPSシンタックス、SPSシンタックス、VPSシンタックスのうちの少なくとも一つを含むことができる。
また、例えば、前記タイル/タイルグループの分割及び構成などに関する情報は、前記上位レベルのシンタックスを介して符号化段で構成されてビットストリーム形式で復号化装置へ伝達されることができる。
パーティショニング構造
ピクチャは、コーディングツリーユニット(coding tree units、CTUs)のシーケンスに分割されることができる。CTUはコーディングツリーブロック(CTB)に対応することができる。或いは、CTUはルマサンプルのコーディングツリーブロックと、対応するクロマサンプルの二つのコーディングツリーブロックを含むことができる。例えば、三つのサンプルアレイを含むピクチャに対して、CTUは、ルマサンプルのN×Nブロックとクロマサンプルの二つの対応ブロックを含むことができる。図4は一つのピクチャが複数のCTUに分割される例を示す。
コーディング及び予測などのためのCTUの最大許容サイズは、変換のためのCTUの最大許容サイズと異なってもよい。例えば、変換のためのCTU内のルマブロックの最大サイズが64×64である場合でも、コーディング及び予測などのためのCTU内のルマブロックの最大サイズは128×128であり得る。
また、ピクチャは、1つ以上のタイル行と1つ以上のタイル列に分割されることができる。タイルは、ピクチャ内の四角領域をカバーするCTUのシーケンスであり得る。
タイルは、1つ以上のブリック(bricks)に分割され、それぞれのブリックは、タイル内の複数のCTU行で構成できる。本開示において、複数のブリックにパーティショニングされないタイルをブリックと呼ぶことができる。
スライスは、ピクチャ内の複数のタイル又はタイル内の複数のブリックを含むことができる。スライスの2つのモードが支援できる。一つはラスタースキャンスライスモードであり、もう一つは四角スライスモードであり得る。
ラスタースキャンスライスモードで、スライスは、1つのピクチャ内でラスタースキャン順序に従って連続した複数のタイルを含むことができる。本開示において、ラスタースキャンスライスモードによるスライスをラスタースキャンスライスと呼ぶことができる。
四角スライスモードで、スライスは、1つのピクチャ内で四角形領域を構成する複数のブリックを含むことができる。本開示において、四角スライスモードによるスライスを四角スライスと呼ぶことができる。四角スライスに含まれる複数のブリックは、スライスのブリックラスタースキャン順序に従って存在することができる。
CTU分割の概要
前述したように、CUは、CTU又はLCU(largest coding unit)をQT/BT/TT(Quad-tree/binary-tree/ternary-tree)構造によって再帰的に分割することにより取得できる。例えば、CTUは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。
四分木による分割は、現在CU(又はCTU)を4等分する分割を意味する。四分木による分割によって、現在CUは、同じ幅と同じ高さを有する4つのCUに分割されることができる。現在CUがそれ以上四分木構造に分割されない場合、現在CUは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するCUは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するCUは、マルチタイプツリー構造によってさらに分割されることができる。
図5はマルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による2つの分割と三分木構造による2つの分割を含むことができる。
二分木構造による2つの分割は、垂直バイナリ分割(vertical binary splitting、SPLIT_BT_VER)と水平バイナリ分割(horizontal binary splitting、SPLIT_BT_HOR)を含むことができる。垂直バイナリ分割(SPLIT_BT_VER)は、現在CUを垂直方向に二等分する分割を意味する。図5に示されているように、垂直バイナリ分割によって、現在CUの高さと同じ高さ及び現在CUの幅の半分の幅を有する2つのCUが生成されることができる。水平バイナリ分割(SPLIT_BT_HOR)は、現在CUを水平方向に二等分する分割を意味する。図5に示されているように、水平バイナリ分割によって、現在CUの高さの半分の高さをもって現在CUの幅と同じ幅を有する2つのCUが生成されることができる。
三分木構造による2つの分割は、垂直ターナリ分割(vertical ternary splitting、SPLIT_TT_VER)と水平ターナリ分割(horizontal ternary splitting、SPLIT_TT_HOR)を含むことができる。垂直ターナリ分割(SPLIT_TT_VER)は、現在CUを垂直方向に1:2:1の割合で分割する。図5に示されているように、垂直ターナリ分割によって、現在CUの高さと同じ高さ及び現在CUの幅の1/4の幅を有する2つのCUと、現在CUの高さと同じ高さ及び現在CUの幅の半分の幅を有するCUが生成されることができる。水平ターナリ分割(SPLIT_TT_HOR)は、現在CUを水平方向に1:2:1の割合で分割する。図5に示されているように、水平ターナリ分割によって、現在CUの高さの1/4の高さ及び現在CUの幅と同じ幅を有する2つのCUと、現在CUの高さの半分の高さ及び現在CUの幅と同じ幅を有する1つのCUが生成されることができる。
図6は本開示によるマルチタイプツリーを伴う四分木(quadtree with nested multi-type tree)構造でのブロック分割情報のシグナリングメカニズムを例示的に示す図である。
ここで、CTUは四分木のルート(root)ノードとして扱われ、CTUは四分木構造に初めて分割される。現在CU(CTU又は四分木のノード(QT_node))に対して四分木分割を行うか否かを指示する情報(例えば、qt_split_flag)がシグナリングされることができる。例えば、qt_split_flagが第1値(例えば、「1」)であれば、現在CUは四分木に分割されることができる。また、qt_split_flagが第2値(例えば、「0」)であれば、現在CUは、四分木に分割されず、四分木のリーフノード(QT_leaf_node)になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらに分割されることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード(MTT_node)になることができる。マルチタイプツリー構造で、現在ノードがさらに分割されるかを指示するために、第1フラグ(a first flag、例えば、mtt_split_cu_flag)がシグナリングされることができる。もし当該ノードがさらに分割される場合(例えば、第1フラグが1である場合)には、分割方向(splitting direction)を指示するために、第2フラグ(a second flag、例えば、mtt_split_cu_verticla_flag)がシグナリングされることができる。例えば、第2フラグが1である場合には、分割方向は垂直方向であり、第2フラグが0である場合には、分割方向は水平方向であることができる。その後、分割タイプがバイナリ分割タイプであるかターナリ分割タイプであるかを指示するために、第3フラグ(a third flag、例えば、mtt_split_cu_binary_flag)がシグナリングされることができる。例えば、第3フラグが1である場合には、分割タイプはバイナリ分割タイプであり、第3フラグが0である場合には、分割タイプはターナリ分割タイプであることができる。バイナリ分割又はターナリ分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることができる。しかし、マルチタイプツリーのノードは四分木構造にパーティショニングされることはできない。前記第1フラグが0である場合、マルチタイプツリーの該当ノードは、それ以上分割されず、マルチタイプツリーのリーフノード(MTT_leaf_node)になる。マルチタイプツリーのリーフノードに該当するCUは、前述した最終コーディングユニットとして使用できる。
前述したmtt_split_cu_vertical_flag及びmtt_split_cu_binary_flagに基づいて、CUのマルチタイプツリー分割モード(multi-type tree splitting mode、MttSplitMode)が表1の通りに導出されることができる。以下の説明において、マルチツリー分割モードは、マルチツリー分割タイプ又は分割タイプと略称されることがある。
Figure 0007444998000001
図7は四分木の適用後にマルチタイプツリーが適用されることによりCTUが多重CUに分割される例を示す。図7において、太いブロックエッジ(bold block edge)710は四分木分割を示し、残りのエッジ720はマルチタイプツリー分割を示す。CUはコーディングブロックCBに対応することができる。一実施例において、CUは、ルマサンプルのコーディングブロックと、ルマサンプルに対応するクロマサンプルの二つのコーディングブロックと、を含むことができる。
クロマ成分(サンプル)CB又はTBサイズは、ピクチャ/画像のカラーフォーマット(クロマフォーマット、例えば、4:4:4、4:2:2、4:2:0など)による成分比に従ってルマ成分(サンプル)CB又はTBサイズに基づいて導出されることができる。カラーフォーマットが4:4:4である場合、クロマ成分CB/TBサイズは、ルマ成分CB/TBサイズと同一に設定されることができる。カラーフォーマットが4:2:2である場合、クロマ成分CB/TBの幅はルマ成分CB/TBの幅の半分に設定され、クロマ成分CB/TBの高さはルマ成分CB/TBの高さに設定されることができる。カラーフォーマットが4:2:0である場合、クロマ成分CB/TBの幅はルマ成分CB/TBの幅の半分に設定され、クロマ成分CB/TBの高さはルマ成分CB/TBの高さの半分に設定されることができる。
一実施例において、ルマサンプル単位を基準にCTUのサイズが128であるとき、CUのサイズは、CTUと同じサイズである128×128から4×4までのサイズを有することができる。一実施例において、4:2:0カラーフォーマット(又はクロマフォーマット)である場合、クロマCBサイズは64×64から2×2までのサイズを有することができる。
一方、一実施例において、CUサイズとTUサイズとが同じであることができる。又は、CU領域内に複数のTUが存在することもできる。TUサイズとは、一般的に、ルマ成分(サンプル)TB(Transform Block)サイズを示すことができる。
前記TUサイズは、予め設定された値である最大許容TBサイズ(maxTbSize)に基づいて導出されることができる。例えば、前記CUサイズが前記maxTbSizeよりも大きい場合、前記CUから、前記maxTbSizeを持つ複数のTU(TB)が導出され、前記TU(TB)単位で変換/逆変換が行われることができる。例えば、最大許容ルマTBサイズは64×64であり、最大許容クロマTBサイズは32×32であることができる。もし前記ツリー構造によって分割されたCBの幅又は高さが最大変換幅又は高さよりも大きい場合、当該CBは、自動的に(又は黙示的に)水平及び垂直方向のTBサイズの制限を満足するまで分割されることができる。
また、例えばイントラ予測が適用される場合、イントラ予測モード/タイプは、前記CU(又はCB)単位で導出され、周辺参照サンプル導出及び予測サンプル生成手順は、TU(又はTB)単位で行われることができる。この場合、一つのCU(又はCB)領域内に一つ又は複数のTU(又はTB)が存在することができ、この場合、前記複数のTU(又はTB)は同じイントラ予測モード/タイプを共有することができる。
一方、マルチタイプツリーを伴った四分木コーディングツリースキームのために、次のパラメータがSPSシンタックス要素として符号化装置から復号化装置にシグナリングされることができる。例えば、四分木のルートノードのサイズを示すパラメータであるCTUsize、四分木のリーフノードの最小許容サイズを示すパラメータであるMinQTSize、二分木のルートノードの最大許容サイズを示すパラメータであるMaxBTSize、三分木のルートノードの最大許容サイズを示すパラメータであるMaxTTSize、四分木のリーフノードから分割されるマルチタイプツリーの最大許容階層深さ(maximum allowed hierarchy depth)を示すパラメータであるMaxMttDepth、二分木の最小許容リーフノードサイズを示すパラメータであるMinBtSize、及び三分木の最小許容リーフノードサイズを示すパラメータであるMinTtSizeのうちの少なくとも一つがシグナリングされることができる。
4:2:0のクロマフォーマットを用いる一実施例において、CTUサイズは128×128ルマブロック、及びルマブロックに対応する二つの64×64クロマブロックに設定されることができる。この場合、MinQTSizeは16×16に設定され、MaxBtSizeは128×128に設定され、MaxTtSzieは64×64に設定され、MinBtSize及びMinTtSizeは4×4に設定され、MaxMttDepthは4に設定されことができる。四分木分割は、CTUに適用されて四分木のリーフノードを生成することができる。四分木のリーフノードはリーフQTノードと呼ばれることができる。四分木のリーフノードは16×16サイズ(例えば、the MinQTSize)から128×128サイズ(例えば、the CTU size)を有することができる。もしリーフQTノードが128×128である場合、さらに二分木/三分木に分割されないことができる。これは、この場合に分割されてもMaxBtsize及びMaxTtsize(例えば、64×64)を超過するためである。これ以外の場合、リーフQTノードは、マルチタイプツリーにさらに分割されることができる。よって、リーフQTノードは、マルチタイプツリーに対するルートノード(root node)であり、リーフQTノードは、マルチタイプツリーデプス(mttDepth)0値を有することができる。もし、マルチタイプツリーデプスがMaxMttdepth(例えば、4)に到達した場合、それ以上の追加分割は考慮されないことができる。もし、マルチタイプツリーノードの幅がMinBtSizeと同じであり、2xMinTtSizeと同じかそれより小さい場合、それ以上の追加的な水平分割は考慮されないことができる。もし、マルチタイプツリーノードの高さがMinBtSizeと同じであり、2xMinTtSizeと同じかそれより小さい場合、それ以上の追加的な垂直分割は考慮されないことができる。このように分割が考慮されない場合、符号化装置は、分割情報のシグナリングを省略することができる。このような場合、復号化装置は、分割情報を所定の値に誘導することができる。
一方、一つのCTUは、ルマサンプルのコーディングブロック(以下、「ルマブロック」という)と、これに対応するクロマサンプルの二つのコーディングブロック(以下、「クロマブロック」という)と、を含むことができる。前述したコーディングツリースキームは、現在CUのルマブロック及びクロマブロックに対して同様に適用されることもでき、個別的に(separate)適用されることもできる。具体的には、一つのCTU内のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー(SINGLE_TREE)と表すことができる。又は、一つのCTU内のルマブロック及びクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー(DUAL_TREE)と表すことができる。つまり、CTUがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ(DUAL_TREE_LUMA)と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ(DUAL_TREE_CHROMA)と呼ばれることができる。P及びBスライス/タイルグループに対して、一つのCTU内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかし、Iスライス/タイルグループに対して、ルマブロック及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別ブロックツリー構造が適用される場合、ルマCTB(Coding Tree Block)は、特定のコーディングツリー構造に基づいてCUに分割され、クロマCTBは、他のコーディングツリー構造に基づいてクロマCUに分割されることができる。すなわち、個別ブロックツリー構造が適用されるIスライス/タイルグループ内のCUは、ルマ成分のコーディングブロック又は2つのクロマ成分のコーディングブロックで構成され、P又はBスライス/タイルグループのCUは、三つのカラー成分(ルマ成分及び二つのクロマ成分)のブロックで構成され得ることを意味することができる。
上記において、マルチタイプツリーを伴った四分木コーディングツリー構造について説明したが、CUが分割される構造はこれに限定されない。例えば、BT構造及びTT構造は、多数の分割ツリー(Multiple Partitioning Tree、MPT)構造に含まれる概念と解釈されることができ、CUはQT構造及びMPT構造によって分割されると解釈することができる。QT構造及びMPT構造によってCUが分割される一例において、QT構造のリーフノードが幾つかのブロックに分割されるかに関する情報を含むシンタックス要素(例えば、MPT_split_type)及びQT構造のリーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素(例えば、MPT_split_mode)が、シグナリングされることにより、分割構造が決定されることができる。
別の例において、CUは、QT構造、BT構造又はTT構造とは異なる方法で分割されることができる。つまり、QT構造によって下位デプスのCUが上位デプスのCUの1/4サイズに分割されるか、或いはBT構造によって下位デプスのCUが上位デプスのCUの1/2サイズに分割されるか、或いはTT構造によって下位デプスのCUが上位デプスのCUの1/4又は1/2サイズに分割されるのとは異なり、下位デプスのCUは、場合によって、上位デプスのCUの1/5、1/3、3/8、3/5、2/3又は5/8のサイズに分割されることができ、CUが分割される方法は、これに限定されない。
このように、マルチタイプツリーを伴った四分木コーディングブロック構造は、非常に柔軟なブロック分割構造を提供することができる。一方、マルチタイプツリーに支援される分割タイプのために、場合によって、異なる分割パターンが潜在的に同一のコーディングブロック構造の結果を導出することができる。符号化装置と復号化装置は、このような冗長(redundant)分割パターンの発生を制限することにより、分割情報のデータ量を減らすことができる。
例えば、図8は二分木分割及び三分木分割で発生しうる冗長分割パターンを例示的に示す。図8に示されているように、2ステップレベルの一方向に対する連続バイナリ分割810と820は、ターナリ分割後のセンターパーティションに対するバイナリ分割と同じコーディングブロック構造を持つ。このような場合、三分木分割のセンターブロック830、840に対する二分木分割は禁止できる。このような禁止は、すべてのピクチャのCUに対して適用できる。このような特定の分割が禁止される場合、対応するシンタックス要素のシグナリングは、このように禁止される場合を反映して修正でき、これにより、分割のためにシグナリングされるビット数を減らすことができる。例えば、図9に示されている例のように、CUのセンターブロックに対する二分木分割が禁止される場合、分割がバイナリ分割であるかターナリ分割であるかを示すmtt_split_cu_binary_flagシンタックス要素はシグナリングされず、その値は復号化装置によって0に誘導されることができる。
イントラ予測の概要
以下、本開示によるイントラ予測について説明する。
イントラ予測は、現在ブロックの属するピクチャ(以下、現在ピクチャ)内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する周辺参照サンプルが導出されることができる。前記現在ブロックの周辺参照サンプルは、サイズnW×nHの現在ブロックの左側(left)境界に隣接するサンプル及び左下側(bottom-left)に隣接する合計2×nH個のサンプル、現在ブロックの上側(top)境界に隣接するサンプル及び右上側(top-right)に隣接する合計2×nW個のサンプル、及び現在ブロックの左上側(top-left)に隣接する1つのサンプルを含むことができる。又は、前記現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むこともできる。また、前記現在ブロックの周辺参照サンプルは、サイズnW×nHの現在ブロックの右側(right)境界に隣接する合計nH個のサンプル、現在ブロックの下側(bottom)境界に隣接する合計nW個のサンプル、及び現在ブロックの右下側(bottom-right)に隣接する1つのサンプルを含むこともできる。
但し、現在ブロックの周辺参照サンプル中の一部は、未だ復号化されていないか或いは利用可能でないことがある。この場合、デコーダは、利用可能でないサンプルを利用可能なサンプルに置き換える(substitution)ことにより、予測に使用する周辺参照サンプルを構成することができる。又は、利用可能なサンプルの補間(interpolation)を介して、予測に使用する周辺参照サンプルを構成することができる。
周辺参照サンプルが導出された場合、(i)現在ブロックの周辺(neighboring)参照サンプルの平均(average)又は補間(interpolation)に基づいて予測サンプルを誘導することができ、(ii)現在ブロックの周辺参照サンプルのうちの予測サンプルに対して、特定の(予測)方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。(i)の場合は非方向性モード又は非角度モード、(ii)の場合は方向性(directional)モード又は角度(angular)モードと呼ばれることができる。
また、前記周辺参照サンプルのうち、前記現在ブロックの予測対象サンプルを基準に、前記現在ブロックのイントラ予測モードの予測方向に位置する第1周辺サンプルとその反対方向に位置する第2周辺サンプルとの補間を介して前記予測サンプルが生成されることもできる。上述した場合は、線形補間イントラ予測(Linear interpolation intra prediction、LIP)と呼ばれることができる。
また、線形モデル(linear model)を用いてルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、LM(Linear Model)モードと呼ばれることができる。
また、フィルタリングされた周辺参照サンプルに基づいて前記現在ブロックの一時予測サンプルを導出し、前記既存の周辺参照サンプル、すなわち、フィルタリングされていない周辺参照サンプルのうち、前記イントラ予測モードに応じて導出された少なくとも一つの参照サンプルと前記一時予測サンプルを加重和(weighted sum)して、前記現在ブロックの予測サンプルを導出することもできる。この場合は、PDPC(Position dependent intra prediction)と呼ばれることができる。
また、現在ブロックの周辺多重参照サンプルラインのうち、最も予測精度が高い参照サンプルラインを選択して、当該ラインから予測方向に位置する参照サンプルを用いて予測サンプルを導出することができる。このとき、使用された参照サンプルラインに関する情報(例えば、intra_luma_ref_idx)は、ビットストリームに符号化されてシグナリングされることができる。この場合は、MRL(multi-reference line intra prediction)又はMRLベースのイントラ予測と呼ばれることができる。
また、現在ブロックを垂直又は水平のサブパーティションに分割し、各サブパーティションに対して同一のイントラ予測モードに基づいてイントラ予測を行うことができる。このとき、イントラ予測の周辺参照サンプルは、各サブパーティション単位で導出されることができる。すなわち、符号化/復号化の順序上、以前のサブパーティションの復元されたサンプルが現在サブパーティションの周辺参照サンプルとして用いられることができる。この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同一に適用されるが、前記サブパーティション単位で周辺参照サンプルを導出して用いることにより、場合によってはイントラ予測性能を向上させることができる。このような予測方法は、ISP(intra sub-partitions)又はISPベースのイントラ予測と呼ばれることができる。
前述したイントラ予測技法は、方向性又は非方向性のイントラ予測モードと区分してイントラ予測タイプ又は付加イントラ予測モードなどの様々な用語で呼ばれることができる。例えば、前記イントラ予測技法(イントラ予測タイプ又は付加イントラ予測モードなど)は、上述したLIP、LM、PDPC、MRL、ISPのうちの少なくとも一つを含むことができる。
イントラ予測手順は、イントラ予測モード/タイプ決定ステップ、周辺参照サンプル導出ステップ、イントラ予測モード/タイプベースの予測サンプル導出ステップを含むことができる。また、必要に応じて、導出された予測サンプルに対する後処理フィルタリング(post-filtering)ステップがさらに行われることもできる。
図9aは本開示の一実施例に係るイントラ予測方向を示す図である。
イントラ予測モードは、一例として、2つの非方向性イントラ予測モードと、33個の方向性イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードはPlanarモード及びDCモードを含むことができ、前記方向性イントラ予測モードは2番~4番のイントラ予測モードを含むことができる。前記Planarイントラ予測モードは、Planarモードと呼ばれることができ、前記DCイントラ予測モードはDCモードと呼ばれることができる。
又は、自然画像(natural video)で提示された任意のエッジ方向(edge direction)をキャプチャするために、図9aに示すように、イントラ予測モードは、2つの非方向性イントラ予測モードと、65個の拡張された方向性イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードは、Planarモード及びDCモードを含むことができ、前記拡張された方向性イントラ予測モードは、2番~66番のイントラ予測モードを含むことができる。前記イントラ予測モードは、すべてのサイズのブロックに適用されることができ、ルマ成分(ルマブロック)及びクロマ成分(クロマブロック)の両方ともに適用されることができる。
又は、前記イントラ予測モードは、2つの非方向性イントラ予測モードと129個の方向性イントラ予測モードを含むことができる。前記非方向性イントラ予測モードはPlanarモード及びDCモードを含むことができ、前記方向性イントラ予測モードは2番~30番のイントラ予測モードを含むことができる。
一方、前記イントラ予測モードは、前述したイントラ予測モードの他にも、クロマサンプルのためのCCLM(cross-component linear model)モードをさらに含むことができる。CCLMモードは、LMパラメータの導出のために、左側サンプルを考慮するか、上側サンプルを考慮するか、両方を考慮するかによってL_CCLM、T_CCLM、LT_CCLMに分けられることができ、クロマ成分に対してのみ適用されることができる。
イントラ予測モードは、例えば、下記表2の通りにインデックス化できる。
Figure 0007444998000002
表2を参照すると、非方向性イントラ予測モードとして、Planarモードのモード番号は0であり、DCモードのモード番号は1であり得る。また、複数の方向性イントラ予測モードのモード番号は2~66であり得る。また、付加イントラ予測モードとして、LT_CCLMモード、L_CCLMモード及びT_CCLMモードのモード番号は81~83であり得る。
図9bは本開示の他の実施例に係るイントラ予測方向を示す図である。図9bにおいて、破線方向は、正方形ではないブロックのみに適用される広角(wide angle)モードを示す。
自然画像(natural video)で提示された任意のエッジ方向(edge direction)をキャプチャするために、図9bに示すように、イントラ予測モードは、2つの非方向性イントラ予測モードと共に93個の方向性イントラ予測モードを含むことができる。前記非方向性イントラ予測モードは、Planarモード及びDCモードを含むことができる。前記方向性イントラ予測モードは、図9bの矢印で示すように、2番乃至80番と-1番乃至-14番で構成されるイントラ予測モードを含むことができる。前記PlanarモードはINTRA_PLANAR、DCモードはINTRA_DCとそれぞれ表記されることができる。そして、方向性イントラ予測モードは、INTRA_ANGULAR-14乃至INTRA_ANGULAR-1、及びINTRA_ANGULAR2乃至INTRA_ANGULAR80と表記されることができる。
画像符号化装置は、現在ブロックに適用されたイントラ予測モードを示すイントラ予測モード/タイプ情報を符号化してビットストリームを介してシグナリングすることができる。一例において、前記イントラ予測モード/タイプ情報は、前記現在ブロックに対してMPM(most probable mode)が適用されるか、それともリメイニングモード(remaining mode)が適用されるかを示すフラグ情報(例えば、intra_luma_mpm_flag及び/又はintra_chroma_mpm_flag)を含むことができる。前記現在ブロックに対して前記MPMが適用される場合、前記イントラ予測モード/タイプ情報は、イントラ予測モード候補(MPM候補)のうちのいずれか一つを指し示すインデックス情報(例えば、intra_luma_mpm_idx及び/又はintra_chroma_mpm_idx)をさらに含むことができる。これとは異なり、前記現在ブロックに対して前記MPMが適用されない場合、前記イントラ予測モード/タイプ情報は、前記イントラ予測モード候補(MPM候補)を除いた残りのイントラ予測モードのうちのいずれか一つを指し示すリメイニングモード情報(例えば、intra_luma_mpm_remainder及び/又はintra_chroma_mpm_remainder)をさらに含むことができる。画像復号化装置は、前記ビットストリームを介して受信されたイントラ予測モード/タイプ情報に基づいて現在ブロックのイントラ予測モードを決定することができる。
前記イントラ予測モード/タイプ情報は、本開示で説明された多様なコーディング方法を介して符号化/復号化されることができる。例えば、前記イントラ予測モードタイプ/情報は、truncated(rice)binary codeに基づくエントロピーコーディング(例えば、CABAC、CAVLC)を介して符号化/復号化できる。
インター予測の概要
以下、本開示によるインター予測について説明する。
本開示による画像符号化装置/画像復号化装置の予測部は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャのデータ要素(例えば、サンプル値、又は動き情報など)に依存的な方法で導出される予測を示すことができる。現在ブロックにインター予測が適用される場合、参照ピクチャインデックスが指す参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)を基に、現在ブロックに対する予測されたブロック(予測ブロック又は予測サンプルアレイ)を誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて現在ブロックの動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測タイプ(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測が適用される場合、前記周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と、参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、異なってもよい。前記時間周辺ブロックは、同一位置参照ブロック(collocated reference block)、同一位置CU(colCU)、colブロック(colBlock)などの名前で呼ばれることができ、前記時間周辺ブロックを含む参照ピクチャは、同一位置ピクチャ(collocated picture、colPic)、colピクチャ(col Picture)などの名前で呼ばれることができる。例えば、現在ブロックの周辺ブロックを基に動き情報候補リストが構成でき、前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出するために、どの候補が選択(使用)されるかを指すフラグ又はインデックス情報がシグナリングされることができる。
インター予測は、様々な予測モードに基づいて行われることができる。例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は、選択された周辺ブロックの動き情報と同一であってもよい。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測(motion vector prediction、MVP)モードの場合、選択された周辺ブロックの動きベクトルを動きベクトル予測子(motion vector predictor)として用い、動きベクトル差分(motion vector difference)はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を用いて前記現在ブロックの動きベクトルを導出することができる。本開示において、MVPモードは、AMVP(Advanced Motion Vector Prediction)と同じ意味で使用されることができる。
前記動き情報は、インター予測タイプ(L0予測、L1予測、Bi予測など)に基づいてL0動き情報及び/又はL1動き情報を含むことができる。L0方向の動きベクトルは、L0動きベクトル又はMVL0と呼ばれることができ、L1方向の動きベクトルは、L1動きベクトル又はMVL1と呼ばれることができる。L0動きベクトルに基づいた予測はL0予測と呼ばれることができ、L1動きベクトルに基づいた予測はL1予測と呼ばれることができ、前記L0動きベクトル及び前記L1動きベクトルの両方ともに基づいた予測は双(Bi)予測と呼ばれることができる。ここで、L0動きベクトルは、参照ピクチャリストL0(L0)に関連した動きベクトルを示すことができ、L1動きベクトルは、参照ピクチャリストL1(L1)に関連した動きベクトルを示すことができる。参照ピクチャリストL0は、前記現在ピクチャよりも出力順序において以前のピクチャを参照ピクチャとして含むことができ、参照ピクチャリストL1は、前記現在ピクチャよりも出力順序において以後のピクチャを含むことができる。前記以前のピクチャは、順方向(参照)ピクチャと呼ばれることができ、前記以後のピクチャは、逆方向(参照ピクチャ)と呼ばれることができる。前記参照ピクチャリストL0は、前記現在ピクチャよりも出力順序において以後のピクチャを参照ピクチャとしてさらに含むことができる。この場合、前記参照ピクチャリストL0内で前記以前のピクチャが先にインデックス化され、前記以後のピクチャは、その次にインデックス化されることができる。前記参照ピクチャリストL1は、前記現在ピクチャよりも出力順序において以前のピクチャを参照ピクチャとしてさらに含むことができる。この場合、前記参照ピクチャリストL1内で前記以後のピクチャが先にインデックス化され、前記以前のピクチャはその次にインデックス化されることができる。ここで、出力順序は、POC(picture order count)順序(order)に対応することができる。
図10はインター予測ベースのビデオ/画像符号化方法を示すフローチャートである。
図11は本開示によるインター予測部180の構成を例示的に示す図である。
図10の符号化方法は、図2の画像符号化装置によって行われることができる。具体的には、ステップS1010は、インター予測部180によって行われることができ、ステップS1020は、レジデュアル処理部によって行われることができる。具体的には、ステップS1020は、減算部115によって行われることができる。ステップS1030は、エントロピー符号化部190によって行われることができる。ステップS1030の予測情報はインター予測部180によって導出され、ステップS1030のレジデュアル情報はレジデュアル処理部によって導出されることができる。前記レジデュアル情報は前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、前記レジデュアルサンプルは、画像符号化装置の変換部120を介して変換係数として導出され、前記変換係数は、量子化部130を介して量子化された変換係数として導出されることができる。前記量子化された変換係数に関する情報がレジデュアルコーディング手順を介してエントロピー符号化部190で符号化されることができる。
図10及び図11を一緒に参照すると、画像符号化装置は、現在ブロックに対するインター予測を行うことができる(S1010)。画像符号化装置は、現在ブロックのインター予測モード及び動き情報を導出し、前記現在ブロックの予測サンプルを生成することができる。ここで、インター予測モード決定、動き情報導出及び予測サンプル生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。例えば、図11に示されているように、画像符号化装置のインター予測部180は、予測モード決定部181、動き情報導出部182、及び予測サンプル導出部183を含むことができる。予測モード決定部181で前記現在ブロックに対する予測モードを決定し、動き情報導出部182で前記現在ブロックの動き情報を導出し、予測サンプル導出部183で前記現在ブロックの予測サンプルを導出することができる。例えば、画像符号化装置のインター予測部180は、動き推定(motion estimation)を介して参照ピクチャの一定の領域(探索領域)内で前記現在ブロックと類似のブロックを探索し、前記現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。これに基づいて、前記参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、前記参照ブロックと前記現在ブロックとの位置差に基づいて動きベクトルを導出することができる。画像符号化装置は、様々な予測モードのうち、前記現在ブロックに対して適用されるモードを決定することができる。画像符号化装置は、前記様々な予測モードに対するレート歪みコスト(Rate-Distortion(RD) cost)を比較し、前記現在ブロックに対する最適の予測モードを決定することができる。しかし、画像符号化装置が現在ブロックに対する予測モードを決定する方法は、上記の例に限定されず、様々な方法が利用できる。
例えば、現在ブロックにスキップモード又はマージモードが適用される場合、画像符号化装置は、前記現在ブロックの周辺ブロックからマージ候補を誘導し、誘導されたマージ候補を用いてマージ候補リストを構成することができる。また、画像符号化装置は、前記マージ候補リストに含まれているマージ候補が指す参照ブロックのうち、現在ブロックとの差が最小又は一定の基準以下である参照ブロックを導出することができる。この場合、前記導出された参照ブロックに関連するマージ候補が選択され、前記選択されたマージ候補を示すマージインデックス情報が生成されて画像復号化装置にシグナリングされることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。
他の例として、前記現在ブロックにMVPモードが適用される場合、画像符号化装置は、前記現在ブロックの周辺ブロックからmvp(motion vector predictor)候補を誘導し、誘導されたmvp候補を用いてmvp候補リストを構成することができる。また、画像符号化装置は、前記mvp候補リストに含まれているmvp候補のうち、選択されたmvp候補の動きベクトルを前記現在ブロックのmvpとして用いることができる。この場合、例えば、前述した動き推定によって導出された参照ブロックを指す動きベクトルが前記現在ブロックの動きベクトルとして用いられることができ、前記mvp候補のうち、前記現在ブロックの動きベクトルとの差が最も小さい動きベクトルを持つmvp候補が、前記選択されたmvp候補になることができる。前記現在ブロックの動きベクトルから前記mvpを差し引いた差分であるMVD(motion vector difference)が導出されることができる。この場合、前記選択されたmvp候補を示すインデックス情報、及び前記MVDに関する情報が画像復号化装置にシグナリングされることができる。また、MVPモードが適用される場合、前記参照ピクチャインデックスの値は、参照ピクチャインデックス情報で構成されて別途に前記画像復号化装置にシグナリングされることができる。
画像符号化装置は、前記予測サンプルに基づいてレジデュアルサンプルを導出することができる(S1020)。画像符号化装置は、前記現在ブロックの原本サンプルと前記予測サンプルとの比較によって前記レジデュアルサンプルを導出することができる。例えば、前記レジデュアルサンプルは、原本サンプルから対応する予測サンプルを減算することにより導出されることができる。
画像符号化装置は、予測情報及びレジデュアル情報を含む画像情報を符号化することができる(S1030)。画像符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。前記予測情報は、前記予測手順に関連した情報であって、予測モード情報(例えば、skip flag、merge flag又はmode indexなど)及び動き情報に関する情報を含むことができる。前記予測モード情報のうち、skip flagは、現在ブロックに対してスキップモードが適用されるか否かを示す情報であり、merge flagは、現在ブロックに対してマージモードが適用されるか否かを示す情報である。又は、予測モード情報は、mode indexのように、複数の予測モードのうちのいずれか一つを指示する情報であってもよい。前記skip flagとmerge flagがそれぞれ0である場合、現在ブロックに対してMVPモードが適用されると決定されることができる。前記動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報(例えば、merge index、mvp flag又はmvp index)を含むことができる。前記候補選択情報のうち、merge indexは、現在ブロックに対してマージモードが適用される場合にシグナリングされることができ、マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択するための情報であることができる。前記候補選択情報のうち、mvp flag又はmvp indexは、現在ブロックに対してMVPモードが適用される場合にシグナリングされることができ、mvp候補リストに含まれているmvp候補のうちのいずれか一つを選択するための情報であることができる。また、前記動き情報に関する情報は、上述したMVDに関する情報及び/又は参照ピクチャインデックス情報を含むことができる。また、前記動き情報に関する情報は、L0予測、L1予測、又は双(Bi)予測が適用されるか否かを示す情報を含むことができる。前記レジデュアル情報は、前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。
出力されたビットストリームは、(デジタル)記憶媒体に保存されて画像復号化装置に伝達されることができ、又はネットワークを介して画像復号化装置に伝達されることもできる。
一方、前述したように、画像符号化装置は、前記参照サンプル及び前記レジデュアルサンプルに基づいて復元ピクチャ(復元サンプル及び復元ブロックを含むピクチャ)を生成することができる。これは、画像復号化装置で行われるのと同じ予測結果を画像符号化装置で導出するためであり、これによりコーディング効率を高めることができるためである。したがって、画像符号化装置は、復元ピクチャ(又は復元サンプル、復元ブロック)をメモリに保存し、インター予測のためのピクチャとして活用することができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、上述した通りである。
図12はインター予測ベースのビデオ/画像復号化方法を示すフローチャートであり、図13は本開示によるインター予測部260の構成を例示的に示す図である。
画像復号化装置は、前記画像符号化装置で行われた動作と対応する動作を行うことができる。画像復号化装置は、受信された予測情報に基づいて現在ブロックに対する予測を行い、予測サンプルを導出することができる。
図12の復号化方法は、図3の画像復号化装置によって行われることができる。具体的に、ステップS1210乃至S1230は、インター予測部260によって行われることができ、ステップS1210の予測情報及びステップS1240のレジデュアル情報は、エントロピー復号化部210によってビットストリームから取得されることができる。画像復号化装置のレジデュアル処理部は、前記レジデュアル情報に基づいて、現在ブロックに対するレジデュアルサンプルを導出することができる。例えば、前記レジデュアル処理部の逆量子化部220は、前記レジデュアル情報に基づいて導出された、量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部230は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。また、ステップS1250は、加算部235又は復元部によって行われることができる。
図12及び図13を一緒に参照すると、画像復号化装置は、受信された予測情報に基づいて、前記現在ブロックに対する予測モードを決定することができる(S1210)。画像復号化装置は、前記予測情報内の予測モード情報に基づいて、前記現在ブロックにどのインター予測モードが適用されるかを決定することができる。
例えば、前記skip flagに基づいて、前記現在ブロックに前記スキップモードが適用されるか否かを決定することができる。また、前記merge flagに基づいて、前記現在ブロックに前記マージモードが適用されるか或いはMVPモードが決定されるかを決定することができる。又は、前記mode indexに基づいて、多様なインター予測モード候補のうちのいずれか一つを選択することができる。前記インター予測モード候補は、スキップモード、マージモード及び/又はMVPモードを含むことができ、或いは後述する様々なインター予測モードを含むことができる。
画像復号化装置は、前記決定されたインター予測モードに基づいて前記現在ブロックの動き情報を導出することができる(S1220)。例えば、画像復号化装置は、前記現在ブロックにスキップモード又はマージモードが適用される場合、後述するマージ候補リストを構成し、前記マージ候補リストに含まれているマージ候補のうちのいずれか一つを選択することができる。前記選択は、前述した候補選択情報(merge index)に基づいて行われることができる。前記選択されたマージ候補の動き情報を用いて前記現在ブロックの動き情報を導出することができる。例えば、前記選択されたマージ候補の動き情報が前記現在ブロックの動き情報として用いられることができる。
他の例として、画像復号化装置は、前記現在ブロックにMVPモードが適用される場合、mvp候補リストを構成し、前記mvp候補リストに含まれているmvp候補の中から選ばれたmvp候補の動きベクトルを前記現在ブロックのmvpとして用いることができる。前記選択は、前述した候補選択情報(mvp flag又はmvp index)に基づいて行われることができる。この場合、前記MVDに関する情報に基づいて、前記現在ブロックのMVDを導出することができ、前記現在ブロックのmvpと前記MVDに基づいて前記現在ブロックの動きベクトルを導出することができる。また、前記参照ピクチャインデックス情報に基づいて前記現在ブロックの参照ピクチャインデックスを導出することができる。前記現在ブロックに関する関連参照ピクチャリスト内で前記参照ピクチャインデックスが指すピクチャが、前記現在ブロックのインター予測のために参照される参照ピクチャとして導出されることができる。
画像復号化装置は、前記現在ブロックの動き情報に基づいて、前記現在ブロックに対する予測サンプルを生成することができる(S1230)。この場合、前記現在ブロックの参照ピクチャインデックスに基づいて前記参照ピクチャを導出し、前記現在ブロックの動きベクトルが前記参照ピクチャ上で指す参照ブロックのサンプルを用いて前記現在ブロックの予測サンプルを導出することができる。場合に応じて、前記現在ブロックの予測サンプルのうち、全部又は一部に対する予測サンプルフィルタリング手順がさらに行われることができる。
例えば、図13に示されているように、画像復号化装置のインター予測部260は、予測モード決定部261、動き情報導出部262及び予測サンプル導出部263を含むことができる。画像復号化装置のインター予測部260は、予測モード決定部261から受信された予測モード情報に基づいて、前記現在ブロックに対する予測モードを決定し、動き情報導出部262から受信された動き情報に関する情報に基づいて前記現在ブロックの動き情報(動きベクトル及び/又は参照ピクチャインデックスなど)を導出し、予測サンプル導出部263で前記現在ブロックの予測サンプルを導出することができる。
画像復号化装置は、受信されたレジデュアル情報に基づいて、前記現在ブロックに対するレジデュアルサンプルを生成することができる(S1240)。画像復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成することができる(S1250)。以後、前記復元ピクチャにインループフィルタ手順などがさらに適用できるのは、前述した通りである。
前述したように、インター予測手順は、インター予測モード決定ステップ、決定された予測モードによる動き情報導出ステップ、導出された動き情報に基づく予測実行(予測サンプルの生成)ステップを含むことができる。前記インター予測手順は、前述したように画像符号化装置及び画像復号化装置で行われることができる。
IBC(Intra Block Copy)予測の概要
以下、本開示によるIBC予測について説明する。
IBC予測は、画像符号化装置/画像復号化装置の予測部で行われることができる。IBC予測は、簡単に「IBC」と呼ばれることができる。前記IBCは、例えばSCC(screen content coding)などのようにゲームなどのコンテンツ画像/動画コーディングのために使用できる。前記IBCは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。つまり、IBCは、本開示で説明されたインター予測技法のうちの少なくとも一つを用いることができる。例えば、IBCでは、前述した動き情報(動きベクトル)導出方法のうちの少なくとも一つを用いることができる。前記インター予測技法のうちの少なくとも一つは、前記IBC予測を考慮して一部修正されて用いられることもできる。前記IBCは、現在ピクチャを参照することができる。よって、CPR(current picture referencing)と呼ばれることもある。
IBCのために、画像符号化装置は、ブロックマッチングBMを行って現在ブロック(又は、現在CU)に対する最適のブロックベクトル(又は動きベクトル)を導出することができる。前記導出されたブロックベクトルは、前述したインター予測での動き情報(動きベクトル)のシグナリングと同様の方法を用いて、ビットストリームを介して画像復号化装置にシグナリングされることができる。画像復号化装置は、前記シグナリングされたブロックベクトルを介して、現在ピクチャ内で前記現在ブロックに対する参照ブロックを導出することができ、これにより前記現在ブロックに対する予測信号(予測されたブロック又は予測サンプル)を導出することができる。ここで、前記ブロックベクトルは、現在ブロックから現在ピクチャ内の既に復元された領域に位置する参照ブロックまでの変位(displacement)を示すことができる。よって、前記ブロックベクトルは、変位ベクトルと呼ばれることもできる。以下、IBCにおける動きベクトルは、前記ブロックベクトル又は前記変位ベクトルに対応することができる。現在ブロックの動きベクトルは、ルマ成分に対する動きベクトル(ルマ動きベクトル)又はクロマ成分に対する動きベクトル(クロマ動きベクトル)を含むことができる。例えば、IBCコーディングされたCUに対するルマ動きベクトルも、整数サンプル単位(すなわち、integer precision)であることができる。クロマ動きベクトルも、整数サンプル単位でクリッピング(clipped)できる。前述したように、IBCは、インター予測技法のうちの少なくとも一つを用いることができ、例えば、ルマ動きベクトルは、前述したマージモード又はMVPモードを用いて符号化/復号化されることができる。
ルマIBCブロックに対してマージモードが適用される場合、ルマIBCブロックに対するマージ候補リストは、インター予測モードでのマージ候補リストと同様に構成されることができる。但し、ルマIBCブロックに対するマージ候補リストは、インター予測モードにおけるマージ候補リストとは異なり、時間候補ブロック(temporal candidate block)を含まないことができる。
ルマIBCブロックに対してMVPモードが適用される場合、ルマIBCブロックに対するmvp候補リストは、インターモードでのmvp候補リストと同様に構成されることができる。但し、ルマIBCブロックに対するマージ候補リストは、インター予測モードでのmvp候補リストとは異なり、時間候補ブロックを含まないことができる。
IBCは、現在ピクチャ内の既に復元された領域から参照ブロックを導出することができる。このとき、メモリの消費と画像復号化装置の複雑度を減少させるために、現在ピクチャ内の既に復元された領域のうち、既に定義された領域(predefined area)のみ参照できる。前記既に定義された領域は、現在ブロックが含まれている現在CTUを含むことができる。このように、参照可能な復元領域を既に定義された領域に制限することにより、IBCモードは、ローカルオンチップメモリ(local on-chip memory)を用いてハードウェア的に実現できる。
IBCを行う画像符号化装置は、前記既に定義された領域を探索して、最も小さいRDコストを持つ参照ブロックを決定し、前記決定された参照ブロックと現在ブロックの位置に基づいて動きベクトル(ブロックベクトル)を導出することができる。
IBCに関する予測モード情報は、CUレベルでシグナリングされることができる。例えば、現在ブロックに対してIBCスキップ/マージモードが適用されるか否かを示すフラグ情報及び/又は現在ブロックに対してIBC AMVPモードが適用されるか否かを示すフラグ情報がcoding_unitシンタックスを介してシグナリングされることができる。
IBCスキップ/マージモードの場合、マージ候補インデックスがシグナリングされてマージ候補リストに含まれているブロックベクトルのうち、現在ルマブロックの予測に使用されるブロックベクトルを指示するために使用できる。このとき、マージ候補リストは、IBCで符号化された周辺ブロックを含むことができる。前述したように、マージ候補リストは、空間マージ候補(spatial merge candidate)を含むことができるが、時間マージ候補(temporal merge cnadidate)は含まないことができる。また、マージ候補リストは、さらにHMVP(Histrory-based motion vector predictor)候補及び/又はペアワイズ(pairwise)候補を含むことができる。
IBC MVPモードの場合、ブロックベクトル差分値(block vector difference)がインター予測モードの動きベクトル差分値(motion vector difference)と同様の方法で符号化されることができる。IBC MVPモードにおいて、ブロックベクトル予測方法は、MVPモードと同様に、2つの候補を予測子として含むmvp候補リストに基づいて行われることができる。前記2つの候補のうちのいずれか一つは、現在ブロックの左側周辺ブロックから誘導され、残りの一つは、現在ブロックの上側周辺ブロックから誘導されることができる。このとき、前記左側周辺ブロック又は前記上側周辺ブロックがIBCで符号化された場合にのみ、当該周辺ブロックから候補を誘導することができる。前記左側周辺ブロック又は前記上側周辺ブロックが利用可能でない場合(例えば、IBCで符号化されていない場合)、所定のデフォルトブロックベクトルが予測子としてmvp候補リストに含まれることができる。また、IBC MVPモードの場合、2つのブロックベクトル予測子のうちのいずれか一つを指示するための情報(例えば、フラグ)が候補選択情報としてシグナリングされ、画像復号化に利用されるという点において、MVPモードと同様のブロックベクトル予測が行われることができる。前記mvp候補リストは、デフォルトブロックベクトルとしてHMVP候補及び/又はゼロ動きベクトルを含むことができる。
前記HMVP候補は、ヒストリベースのMVP候補と呼ばれることもあり、現在ブロックの符号化/復号化の以前に使用されたMVP候補、マージ候補又はブロックベクトル候補は、HMVP候補としてHMVPリストに保存されることができる。以後、現在ブロックのマージ候補リスト又はmvp候補リストが最大個数の候補を含まない場合、HMVPリストに保存された候補がHMVP候補として現在ブロックのマージ候補リスト又はmvp候補リストに追加されることができる。
前記ペアワイズ(pairwise)候補は、現在ブロックのマージ候補リストに既に含まれている候補の中から、予め決められた順序に従って選択される2つの候補を平均することにより誘導される候補を意味することができる。
現在ブロックに対してIBCが適用されるか否かに関する予測モード情報(例えば、pred_mode_ibc_flag)は、CUレベルでシグナリングされることができる。例えば、pred_mode_ibc_flagは、coding_unitシンタックスを介してシグナリングされることができる。この場合、第1値(例えば、0)を有するpred_mode_ibc_flagは、現在ブロックにIBCが適用されないことを示すことができる。これとは異なり、第2値(例えば、1)を有するpred_mode_ibc_flagは、現在ブロックに対してIBCが適用されることを示すことができる。
一方、一例において、IBCは、マージモード及びスキップモードを支援しないことができる。また、IBCは、最大ブロックサイズに関する制限はなく、サンプルの個数が16未満であるクロマブロックに対しては適用されないことができる。
前述したように、現在ブロックの予測ブロックを生成するために、イントラ予測モード、インター予測モード、或いはIBCなどの様々な予測モードが用いられることができる。画像符号化装置は、現在ブロックに対する予測モードを指示するために、所定の予測モード情報を符号化してビットストリームを介してシグナリングすることができる。また、画像復号化装置は、ビットストリームから取得される所定の予測モード情報に基づいて現在ブロックに対する予測モードを決定することができる。以下、予測モード情報を符号化/復号化する方法について詳細に説明する。
図14は予測モード情報を含むcoding_unitシンタックスの一例を示す図、図15は現在ブロックのスライスタイプ及びサイズに応じて現在ブロックに適用可能な予測モードを例示的に示す図である。
まず、図14を参照すると、coding_unitシンタックスは、予測モード情報としてcu_skip_flag、pred_mode_flag、pred_mode_ibc_flag及びpred_mode_plt_flagを含むことができる。
具体的には、cu_skip_flagは、現在ブロックに対してスキップモードが適用されるか否かを示すことができる。例えば、第1値(例えば、0)を有するcu_skip_flagは、現在ブロックに対してスキップモードが適用されないことを示すことができる。これとは異なり、第2値(例えば、1)を有するcu_skip_flagは、現在ブロックに対してスキップモードが適用されることを示すことができる。cu_skip_flagが第2値(例えば、1)を有する場合、現在スライスがP又はBスライスであれば、cu_skip_flagをパーシングした後に、pred_mode_ibc_flag及びmerge_dataシンタックス構造を除いたいずれのシンタックス要素もパーシングされないことができる。これとは異なり、cu_skip_flagが第2値(例えば、1)を有する場合、現在スライスがIスライスであれば、cu_skip_flagをパーシングした以後にmerge_idxを除いたいずれのシンタックス要素もパーシングされないことができる。cu_skip_flagが存在しない場合、cu_skip_flagは第1値(例えば、0)と推論できる。
pred_mode_flagは、現在ブロックに対してインター予測モード及びイントラ予測モードのうちのどの予測モードが適用されるかを示すことができる。例えば、第1値(例えば、0)を有するpred_mode_flagは、現在ブロックに対してインター予測モードが適用されることを示すことができる。これとは異なり、第2値(例えば、1)を有するpred_mode_flagは、現在ブロックに対してイントラ予測モードが適用されることを示すことができる。pred_mode_flagが存在しない場合、pred_mode_flagは、次の通りに推論できる。
-第1推論条件:現在ブロックの幅(cbWidth)及び高さ(cbHeight)の両方とも4であれば、pred_mode_flagは第2値(例えば、1)と推論される。
-第2推論条件:前記第1条件が満たされない場合、現在ブロックの予測モードタイプ(modeType)が、イントラ予測モード、IBC及びパレットモードのみ利用可能であることを示すMODE_TYPE_INTRAであれば、pred_mode_flagは第2値(例えば、1)と推論される。
-第3推論条件:前記第1及び第2条件の両方とも満たされない場合、現在ブロックの予測モードタイプ(modeType)が、インター予測モードのみ利用可能であることを示すMODE_TYPE_INTERであれば、pred_mode_flagは第1値(例えば、0)と推論される。
-第4推論条件:前記第1乃至第3条件のすべてが満たされない場合、現在ブロックのスライスタイプ(slice_type)がIスライスであれば、pred_mode_flagは、第2値(例えば、1)と推論され、現在ブロックのスライスタイプ(slice_type)がP又はBスライスであれば、pred_mode_flagは第1値(例えば、0)と推論される。
pred_mode_ibc_flagは、現在ブロックに対してIBCが適用されるか否かを示すことができる。例えば、第1値(例えば、0)を有するpred_mode_ibc_flagは、現在ブロックに対してIBCが適用されないことを示すことができる。これとは異なり、第2値(例えば、1)を有するpred_mode_ibc_flagは、現在ブロックに対してIBCが適用されることを示すことができる。pred_mode_ibc_flagが存在しない場合、pred_mode_ibc_flagは次の通りに推論できる。
-第5推論条件:cu_skip_flagが第2値(例えば、1)を有し、現在ブロックの幅(cbWidth)及び高さ(cbHeight)の両方とも4であれば、pred_mode_ibc_flagは第2値(例えば、1)と推論できる。
-第6推論条件:前記第5条件が満たされない場合、cu_skip_flagが第2値(例えば、1)を有し、現在ブロックの予測モードタイプ(modeType)がMODE_TYPE_INTRAであれば、pred_mode_ibc_flagは第2値(例えば、1)と推論できる。
-第7推論条件:前記第5及び第6条件が全て満たされない場合、現在ブロックの幅(cbWidth)又は高さ(cbHeight)が128であれば、pred_mode_ibc_flagは第1値(例えば、0)と推論される。
-第8推論条件:前記第5~第7条件が全て満たされない場合、現在ブロックの予測モードタイプ(modeType)が上述のMODE_TYPE_INTERであれば、pred_mode_ibc_flagは第1値(例えば、0)と推論される。
-第9推論条件:前記第5~第8条件が全て満たされない場合、現在ブロックの分割構造(treeType)がデュアルツリークロマ(DUAL_TREE_CHROMA)であれば、pred_mode_ibc_flagは第1値(例えば、0)と推論される。
-第10推論条件:前記第5~第9条件が全て満たされない場合、現在ブロックのスライスタイプ(slice_type)がIスライスであれば、pred_mode_ibc_flagはSPS(sequence parameter set)を介して取得されるsps_ibc_enabled_flagと同じ値に推論され、現在ブロックのスライスタイプ(slice_type)がP又はBスライスであれば、pred_mode_ibc_flagは第1値(例えば、0)と推論される。ここで、sps_ibc_enabled_flagは、シーケンスレベルでIBCが利用可能であるか否かを示す。例えば、第1値(例えば、0)を有するsps_ibc_enabled_flagはIBCが利用可能でないことを示し、第2値(例えば、1)を有するsps_ibc_enabled_flagはIBCが利用可能であることを示す。
pred_mode_plt_flagは、現在ブロックに対してパレットモードが適用されるか否かを示すことができる。例えば、第1値(例えば、0)を有するpred_mode_plt_flagは、現在ブロックに対してパレットモードが適用されないことを示すことができる。これとは異なり、第2値(例えば、1)を有するpred_mode_plt_flagは、現在ブロックに対してパレットモードが適用されることを示すことができる。pred_mode_plt_flagが存在しない場合、pred_mode_plt_flagは第1値(例えば、0)と推論できる。
一方、上述した予測モード情報は、現在ブロックのサイズ(cbWidth×cbHeight)に基づいてシグナリングされることができる。例えば、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagのそれぞれのシグナリング条件(1420、1430、1440)は、現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否かに対する詳細条件を含むことができる。また、cu_skip_flag、pred_mode_ibc_flag及びpred_mode_plt_flagのそれぞれのシグナリング条件(1420、1440、1450)は、現在ブロックのサイズ(cbWidth×cbHeight)が64×64と同じかそれより小さいかに関する詳細条件を含むことができる。
また、上述した予測モード情報は、現在ブロックの予測モードタイプ(modeType)に基づいてシグナリングされることができる。例えば、cu_skip_flag及びpred_mode_ibc_flagのそれぞれのシグナリング条件(1420、1440)は、現在ブロックの予測モードタイプ(modeType)がMODE_TYPE_INTRAであるか否かに関する詳細条件を含むことができる。また、pred_mode_flagのシグナリング条件(1450)は、現在ブロックの予測モードタイプ(modeType)が、全ての予測モードが利用可能であることを示すMODE_TYPE_ALLであるか否かに関する詳細条件を含むことができる。また、pred_mode_plt_flagのシグナリング条件(1450)は、現在ブロックの予測モードタイプ(modeType)が、インター予測のみ利用可能であることを示すMODE_TYPE_INTERであるか否かに関する詳細条件を含むことができる。
しかし、サイズ4×4の現在ブロックに対しては、インター予測モードが適用できず、イントラ予測モード及びパレットモードのみ適用できる。これは、サイズ4×4の現在ブロックの予測モードタイプ(modeType)はMODE_TYPE_INTRAと定義されるしかないことを意味する。したがって、現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否か、及び現在ブロックの予測モードタイプ(modeType)がMODE_TYPE_INTRAであるか否かを個別に(separatively)判別して予測モード情報をシグナリングする場合、シグナリング条件が複雑になり、実質的に同一の条件を重複して判別するという問題が発生しうる。
一方、現在ブロックに対してインター予測モード及びIBCは、制限的に適用できる。例えば、図15を参照すると、シーケンスレベルでIBCが利用可能であり(1510の「yes」)、現在ブロックのスライスタイプ(slice_type)がIスライスでない場合(1520の「yes」)であって、現在ブロックのサイズ(CU size)が64×64よりも大きければ(1540の「no」)、現在ブロックに対してIBCは適用できない(1561)。また、シーケンスレベルでIBCが利用可能であり(1510の「yes」)、現在ブロックのスライスタイプ(slice_type)がIスライスである場合(1520の「no」)であって、現在ブロックのサイズ(CU size)が64×64と同じかそれより小さければ(1550の「yes」)、現在ブロックに対してインター予測モードは適用できない(1571)。これとは異なり、現在ブロックのサイズ(CU size)が64×64より大きければ(1550の「no」)、現在ブロックに対してインター予測モード及びIBCが全て適用できない(1572)。一方、シーケンスレベルでIBCが利用可能でない場合(1510の「no」)であって、現在ブロックに対してIBCは適用できない(1581、1582)。また、シーケンスレベルでIBCが利用可能でない場合(1510の「no」)であって、現在ブロックのスライスタイプ(slice_type)がIスライスであれば(1530の「no」)、現在ブロックに対してインター予測モードは適用できない(1582)。このように、現在ブロックのスライスタイプ(slice_type)がIスライスではなく(1520の「no」)、現在ブロックのサイズ(CU size)が64×64と同じかそれより小さい場合(1540の「yes」)にのみ、現在ブロックに対してインター予測モード及びIBCが全て適用できる。
しかし、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagの共通シグナリング条件(1410)であってシーケンスレベルでIBCが利用可能な場合(sps_ibc_enabled_flag==1)、現在ブロックのスライスタイプ(slice_type)がIスライスであるか、或いは現在ブロックのサイズ(cbWidth×cbHeight)が64×64より大きくても、個別シグナリング条件(1420)に従ってcu_skip_flagがシグナリングされることができる。例えば、現在ブロックのサイズ(cbWidth×cbHeight)が4×4ではなく、現在ブロックの予測モードタイプ(modeType)がMODE_TYPE_INTRAでなければ、cu_skip_flagがシグナリングされることができる。このように、cu_skip_flagのシグナリング条件(1420)によれば、インター予測モード及び/又はIBCが適用できない現在ブロックに対しても、cu_skip_flagがシグナリングされることができるので、伝送ビットが無駄に浪費されるおそれがある。また、インター予測モード及び/又はIBCが適用できない現在ブロックに対して、スキップモードが適用されることを示す第2値(例えば、1)を有するcu_skip_flagがシグナリングされる場合、現在ブロックの復号化自体が不可能になるという問題が発生するおそれがある。
上述した問題を解決するために、本開示の実施例によれば、現在ブロックの予測モードタイプ(modeType)は、現在ブロックのスライスタイプ及び現在ブロックのサイズのうちの少なくとも一つに基づいてMODE_TYPE_INTRAに再設定されることができる。そして、前記再設定された予測モードタイプ(modeType)に基づいて、現在ブロックの予測モード情報がシグナリングされることができる。
以下、添付図面を参照して本開示の実施例を詳細に説明する。
実施例1
図16は本開示の一実施例によるcoding_unitシンタックスを示す図である。前記coding_unitシンタックスに含まれる予測モード情報(cu_skip_flag、pred_mode_flag、pred_mode_ibc_flag及びpred_mode_plt_flag)は、図14を参照して上述した通りであり、これについての重複説明は省略する。
図16を参照すると、現在ブロックの予測モードタイプ(modeType)は、coding_unitシンタックスの呼び出し入力値に設定できる。ここで、現在ブロックは、再帰的に呼び出されたcoding_unitシンタックスの適用対象であって、分割ツリー構造のリーフノード(leaf node)に該当することができる。そして、現在ブロックの予測モードタイプ(modeType)は、現在ブロックのサイズ(cbWidth×cbHeight)に基づいて再設定されることができる(1610)。例えば、現在ブロックの予測モードタイプ(modeType)は、現在ブロックのサイズ(cbWidth×cbHeight)を所定の基準値と比較した結果に基づいて再設定されることができる。
前記基準値は、図16に示すように、イントラ予測モード及びパレットモードのみ利用可能なブロックサイズである4×4に決定されることができる。この場合、現在ブロックの予測モードタイプ(modeType)は、現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否かに基づいて、MODE_TYPE_INTRAに再設定されることができる。例えば、現在ブロックの幅(cbWidth)及び高さ(cbHeight)の両方が4である場合、現在ブロックの予測モードタイプ(modeType)は、MODE_TYPE_INTRAに再設定されることができる。これとは異なり、現在ブロックの幅(cbWidth)及び高さ(cbHeight)のうちの少なくとも一つが4でない場合、現在ブロックの予測モードタイプ(modeType)は、coding_unitシンタックスの呼び出し入力値に再設定(すなわち、元の値が維持)されることができる。
現在ブロックのサイズ(cbWidth×cbHeightが4×4であるか否かが予測モードタイプ(modeType)に反映されることにより、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagのそれぞれのシグナリング条件(1620、1630、1640)で、現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否かに関する詳細条件が除去されることができる。つまり、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagの場合、現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否かを別途判別せず、予測モードタイプ(modeType)に基づいてシグナリングされることができる。例えば、現在ブロックの予測モードタイプ(modeType)がMODE_TYPE_INTRAである場合、cu_skip_flag及びpred_mode_flagはシグナリングされず、pred_mode_ibc_flagは他の詳細条件に従ってシグナリングされることができる。
他の例において、前記基準値は、IBCが利用可能な最大ブロックサイズである64×64に決定されることもできる。この場合、現在ブロックの予測モードタイプ(modeType)は、現在ブロックのサイズ(cbWidth×cbHeight)が64×64より大きいか否かに基づいてMODE_TYPE_INTRAに再設定されることができる。例えば、現在ブロックの幅(cbWidth)及び高さ(cbHeight)のうちの少なくとも一つが64より大きい場合、現在ブロックの予測モードタイプ(modeType)はMODE_TYPE_INTRAに再設定されることができる。これとは異なり、現在ブロックの幅(cbWidth)及び高さ(cbHeight)の両方とも64と同じかそれより小さい場合、現在ブロックの予測モードタイプ(modeType)は、coding_unitシンタックスの呼び出し入力値に再設定(すなわち、元の値が維持)されることができる。
現在ブロックのサイズ(cbWidth×cbHeight)が64×64よりも大きいか否かが予測モードタイプ(modeType)に反映されることにより、64×64より大きい現在ブロックに対するcu_skip_flagのシグナリングは、予測モードタイプ(modeType)に基づいて制限されることができる(1620)。この場合、cu_skip_flagは第1値(例えば、0)と推論できる。
以上、本開示の実施例1によれば、現在ブロックに対する予測モード情報をシグナリングするために、現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否かを別途判別する必要がなくなるので、予測モード情報のシグナリング条件が簡素化されることができる(すなわち、coding_unitシンタックスのクリーンアップ)。また、4×4であるか或いは64×64よりも大きい現在ブロックの予測モードタイプ(modeType)をMODE_TYPE_INTRAに再設定することにより、インター予測モード及び/又はIBCが適用できない現在ブロックに対して、cu_skip_flagのシグナリングを制限することができる。
実施例2
図17は本開示の他の実施例によるcoding_unitシンタックスを示す図である。前記coding_unitシンタックスに含まれる予測モード情報(cu_skip_flag、pred_mode_flag、pred_mode_ibc_flag及びpred_mode_plt_flag)は、図14を参照して上述した通りであり、これについての重複説明は省略する。
図17を参照すると、現在ブロックの予測モードタイプ(modeType)は、coding_unitシンタックスの呼び出し入力値に設定できる。ここで、現在ブロックは、再帰的に呼び出されたcoding_unitシンタックスの適用対象であって、分割ツリー構造のリーフノード(leaf node)に該当することができる。そして、現在ブロックの予測モードタイプ(modeType)は、現在ブロックのスライスタイプ(slice_type)及び現在ブロックのサイズ(cbWidth×cbHeight)に基づいて再設定されることができる(1710)。たとえば、現在ブロックの予測モードタイプ(modeType)は、現在ブロックのスライスタイプ(slice_type)がIスライスであるか否か(第1再設定条件)、及び現在ブロックのサイズ(cbWidth×cbHeight)を所定の基準値と比較した結果(第2再設定条件)に基づいて再設定できる。
前記所定の基準値は、図17に示すように、イントラ予測モード及びパレットモードのみ利用可能なブロックサイズである4×4に決定されることができる。この場合、現在ブロックの幅(cbWidth)及び高さ(cbHeight)の両方とも4であれば、前記第2再設定条件は真(true)であり得る。これとは異なり、現在ブロックの幅(cbWidth)及び高さ(cbHeight)のうちの少なくとも一つが4でなければ、前記第2再設定条件は偽(flase)であり得る。
他の例において、前記所定の基準値は、IBCが利用可能な最大ブロックサイズである64×64に決定されることもできる。この場合、現在ブロックの幅(cbWidth)及び高さ(cbHeight)の両方とも64と同じかそれより小さい場合、前記第2再設定条件は真(true)であり得る。これとは異なり、現在ブロックの幅(cbWidth)及び高さ(cbHeight)のうちの少なくとも一つが64より大きい場合、前記第2再設定条件は偽(flase)であり得る。
前記第1再設定条件及び前記第2再設定条件は、図16に示すように、論理和条件(OR条件)を構成することができる。例えば、前記第1再設定条件及び前記第2再設定条件のうちの少なくとも一つが真(true)である場合、現在ブロックの予測モードタイプ(modeType)は、MODE_TYPE_INTRAに再設定できる。これとは異なり、前記第1再設定条件及び前記第2再設定条件の両方が偽(false)である場合、現在ブロックの予測モードタイプ(modeType)は、coding_unitシンタックスの呼び出し入力値に再設定できる。つまり、この場合、現在ブロックの予測モードタイプ(modeType)は元の値に維持されることができる。
他の例において、前記第1再設定条件及び前記第2再設定条件は、論理積条件(AND条件)を構成することもできる。例えば、前記第1再設定条件及び前記第2再設定条件の両方が真(true)である場合、現在ブロックの予測モードタイプ(modeType)はMODE_TYPE_INTRAに再設定できる。これとは異なり、前記1再設定条件及び前記第2再設定条件のうちの少なくとも一つが偽(false)である場合、現在ブロックの予測モードタイプ(modeType)は、coding_unitシンタックスの呼び出し入力値に再設定できる。つまり、この場合、現在ブロックの予測モードタイプ(modeType)は元の値に維持されることができる。
現在ブロックのスライスタイプ(slice_type)及び現在ブロックのサイズ(cbWidth×cbHeight)が予測モードタイプ(modeType)に反映されることにより、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagのそれぞれのシグナリング条件(1720、1730、1740)で、現在ブロックのスライスタイプ(slice_type)がIスライスであるか否かに関する第1詳細条件、及び現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否かに関する第2詳細条件が除去できる。つまり、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagの場合、前記第1詳細条件及び前記第2詳細条件を別途判別せず、現在ブロックの予測モードタイプ(modeType)に基づいてシグナリングされることができる。例えば、現在ブロックの予測モードタイプ(modeType)がMODE_TYPE_INTRAである場合、cu_skip_flag及びpred_mode_flagはシグナリングされず、pred_mode_ibc_flagは他の詳細条件に従ってシグナリングされることができる。また、インター予測モード及び/又はIBCが適用できない現在ブロックに対して、cu_skip_flag及びpred_mode_ibc_flagのシグナリングが制限されることができる(1720、1740)。この場合、cu_skip_flag及びpred_mode_ibc_flagはそれぞれ第1値(例えば、0)に推論できる。
一方、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagのそれぞれのシグナリング条件(1720、1730、1740)が簡素化されることにより、図14を参照して前述したpred_mode_flag及びpred_mode_ibc_flagのそれぞれのセマンティクスも一部変更できる。
一例において、図14を参照して前述したpred_mode_flagの第1~第4推論条件のうち、現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否かに関する第1推論条件は、除去できる。また、図14を参照して前述したpred_mode_ibc_flagの第5~第10推論条件は、次の条件に置き換えられることができる。
-第11推論条件:i)シーケンスレベルでIBCが利用可能であり(sps_ibc_enabled_flag==1)、ii)現在ブロックのサイズ(cbWidth×cbHeight)が128×128よりも小さく、iii)cu_skip_flagが第1値(例えば、0)を有し、iv)現在ブロックの予測モードタイプ(modeType)がMODE_TYPE_INTRAであり、v)現在ブロックの分割構造(treeType)がDUAL_TREE_CHROMAでない場合、pred_mode_ibc_flagは第2値(例えば、1)に推論される。
-第12推論条件:前記第11推論条件を満たさない場合、pred_mode_ibc_flagは第1値(例えば、0)に推論される。
他の例において、図14を参照して前述したpred_mode_flagの第1~第4推論条件のうち、現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否かに関する第1推論条件は、除去でき、第4推論条件は、現在ブロックのスライスタイプ(slice_type)に関係なくpred_mode_flagが第1値(例えば、0)に推論されることに変更できる。
また、図14を参照して前述したpred_mode_ibc_flagの第5~第10推論条件のうち、現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否かに関する第5推論条件は、除去でき、第10推論条件は、現在ブロックのスライスタイプ(slice_type)に関係なくpred_mode_ibc_flagが第1値(例えば、0)に推論されることに変更できる。
一方、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagのそれぞれのシグナリング条件(1720、1730、1740)が簡素化されることにより、pred_mode_plt_flagのシグナリング条件(1750)で、cu_skip_flagが第1値(例えば、0)を有するか否かに関する第3詳細条件、及び現在ブロックの予測モードタイプ(modeType)がMODE_TYPE_INTERであるか否かに関する第4詳細条件が除去できる。つまり、pred_mode_plt_flagの場合、前記第3詳細条件及び前記第4詳細条件を別途判別せず、pred_mode_flagに基づいて決定される変数CuPredModeの値に基づいてシグナリングされることができる。ここで、CuPredModeは、現在ブロックの予測モードを示し、pred_mode_flagに基づいてMODE_INTER又はMODE_INTRAに決定できる。例えば、pred_mode_flagが第1値(例えば、0)を有する場合、CuPredModeは、現在ブロックの予測モードがインター予測モードであることを示すMODE_INTERに決定できる。これとは異なり、pred_mode_flagが第2値(例えば、1)を有する場合、CuPredModeは、現在ブロックの予測モードがイントラ予測モードであることを示すMODE_INTRAに決定できる。
以上、本開示の実施例2によれば、現在ブロックに対する予測モード情報をシグナリングするために現在ブロックのスライスタイプ(slice_type)がIスライスであるか否か、及び現在ブロックのサイズ(cbWidth×cbHeight)が4×4であるか否かを別途判別する必要がなくなるので、予測モード情報のシグナリング条件が簡素化されることができる(すなわち、coding_unitシンタックスのクリーンアップ(clean-up))。また、Iスライスに属しながら、4×4であるか或いは64×64よりも大きい現在ブロックの予測モードタイプ(modeType)をMODE_TYPE_INTRAに再設定することにより、インター予測モード及び/又はIBCが適用できない現在ブロックに対して、cu_skip_flagのシグナリングを制限することができる。
実施例3
図18は本開示の別の実施例によるcoding_unitシンタックスを示す図である。前記coding_unitシンタックスに含まれる予測モード情報(cu_skip_flag、pred_mode_flag、pred_mode_ibc_flag及びpred_mode_plt_flag)は、図14を参照して前述した通りであり、これについての重複説明は省略する。
図18を参照すると、現在ブロックの予測モードタイプ(modeType)は、coding_unitシンタックスの呼び出し入力値に設定できる。ここで、現在ブロックは、再帰的に呼び出されたcoding_unitシンタックスの適用対象であって、分割ツリー構造のリーフノード(leaf node)に該当することができる。そして、現在ブロックの予測モードタイプ(modeType)は、現在ブロックのスライスタイプ(slice_type)に基づいて再設定されることができる(1810)。例えば、現在ブロックのスライスタイプ(slice_type)がIスライスである場合、現在ブロックの予測モードタイプ(modeType)は、MODE_TYPE_INTRAに再設定できる。これとは異なり、現在ブロックのスライスタイプ(slice_type)がIスライスではない場合(例えば、P又はBスライス)、現在ブロックの予測モードタイプ(modeType)は、coding_unitシンタックスの呼び出し入力値に再設定できる。つまり、この場合、現在ブロックの予測モードタイプ(modeType)は元の値に維持されることができる。
これにより、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagの共通シグナリング条件(1820)であってシーケンスレベルでIBCが利用可能な場合(sps_ibc_enabled_flag==1)にも、現在ブロックのスライスタイプ(slice_type)がIスライスであれば、予測モードタイプ(modeType)がMODE_TYPE_INTRAになるので、個別シグナリング条件(1830)に従ってcu_skip_flagのシグナリングは制限できる。
一方、一例において、予測モードタイプ(modeType)の再設定条件(1810)は、現在ブロックのサイズ(cbWidth×cbHeight)に関する条件をさらに含むことができる。例えば、現在ブロックの予測モードタイプ(modeType)は、現在ブロックのスライスタイプ(slice_type)がIスライスであるか否か、及び現在ブロックのサイズ(cbWidth×cbHeight)を所定の基準値と比較した結果に基づいて、MODE_TYPE_INTRAに再設定されることができる。ここで、前記所定の基準値は、イントラ予測モード及びパレットモードのみ利用可能なブロックサイズである4×4に決定されることもでき、或いはIBCが利用可能な最大ブロックサイズである64×64に決定されることもできる。また、前記現在ブロックのスライスタイプ(slice_type)に関する条件及び前記現在ブロックのサイズ(cbWidth×cbHeight)に関する条件は、論理和条件(OR条件)を構成することもでき、或いは、論理積条件(AND条件)を構成することもできる。例えば、現在ブロックのスライスタイプ(slice_type)がIスライスであるか、或いは現在ブロックの幅(cbWidth)及び高さ(cbHeight)のうちの少なくとも一つが64を超える場合、現在ブロックの予測モードタイプ(modeType)はMODE_TYPE_INTRAに再設定できる。又は、現在ブロックのスライスタイプ(slice_type)がIスライスであり、現在ブロックの幅(cbWidth)及び高さ(cbHeight)のうちの少なくとも一つが64を超える場合にのみ、現在ブロックの予測モードタイプ(modeType)はMODE_TYPE_INTRAに再設定できる。
以上、本開示の実施例3によれば、Iスライスに属する現在ブロックの予測モードタイプ(modeType)をMODE_TYPE_INTRAに再設定することにより、インター予測モードが適用できない現在ブロックに対して、cu_skip_flagのシグナリングを制限することができる。また、4×4の現在ブロック又は64×64より大きい現在ブロックの予測モードタイプ(modeType)をMODE_TYPE_INTRAに再設定することにより、インター予測モード及び/又はIBCが適用できない現在ブロックに対して、cu_skip_flagのシグナリングを制限することができる。
実施例4
図19は本開示の別の実施例によるcoding_unitシンタックスを示す図である。前記coding_unitシンタックスに含まれる予測モード情報(cu_skip_flag、pred_mode_flag、pred_mode_ibc_flag及びpred_mode_plt_flag)は、図14を参照して前述した通りであり、これについての重複説明は省略する。
図19を参照すると、現在ブロックの予測モードタイプ(modeType)は、coding_unitシンタックスの呼び出し入力値に設定できる。ここで、現在ブロックは、再帰的に呼び出されたcoding_unitシンタックスの適用対象であって、分割ツリー構造のリーフノード(leaf node)に該当することができる。上述した本開示の実施例1~3とは異なり、予測モードタイプ(modeType)の再設定過程はスキップできる。
cu_skip_flagのシグナリング条件(1920)は、現在ブロックのスライスタイプ(slice_type)がIスライスであるか否かに関する詳細条件を含むことができる。例えば、現在ブロックのスライスタイプ(slice_type)がIスライスである場合、cu_skip_flagはシグナリングされないことができる。これとは異なり、現在ブロックのスライスタイプ(slice_type)がIスライスではない場合(例えば、P又はBスライス)、cu_skip_flagは、他の詳細条件に従ってシグナリングされることができる。すなわち、cu_skip_flagは、P又はBスライスに属する現在ブロックに対してのみ明示的にシグナリングされることができる。
これにより、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagの共通シグナリング条件(1910)であってシーケンスレベルでIBCが利用可能な場合(sps_ibc_enabled_flag==1)にも、現在ブロックのスライスタイプ(slice_type)がIスライスである場合、個別シグナリング条件(1920)に従ってcu_skip_flagのシグナリングは制限できる。
以上、本開示の実施例4によれば、Iスライスに属する現在ブロックに対してcu_skip_flagのシグナリングを制限することができる。
画像符号化方法
以下、前述した実施例に基づいて、画像符号化装置が画像を符号化する方法について詳細に説明する。前記画像符号化装置は、メモリ及び少なくとも一つのプロセッサを含み、前記画像符号化方法は、前記少なくとも一つのプロセッサによって行われることができる。
図20は本開示の一実施例による画像符号化方法を示すフローチャートである。
図20を参照すると、画像符号化装置は、所定の予測モードタイプ(例えば、modeType)に基づいて、分割ツリー構造のリーフノード(leaf node)に該当する現在ブロックを取得することができる(S2010)。ここで、所定の予測モードタイプは、現在ブロックの予測モードタイプであって、上位ブロックの予測モード特性情報(例えば、modeTypeCondition)に基づいて決定されることができる。例えば、上位ブロックの予測モード特性情報が第1値(例えば、0)を有する場合、前記所定の予測モードタイプは、上位ブロックの予測モードタイプと決定されることができる。これとは異なり、上位ブロックの予測モード特性情報が第2値(例えば、1)を有する場合、前記所定の予測モードタイプはMODE_TYPE_INTRAと決定されることができる。これとは異なり、上位ブロックの予測モード特性情報が第3値(例えば、2)を有する場合、前記所定の予測モードタイプは、MODE_TYPE_INTRA又はMODE_TYPE_INTERと決定されることができる。
一方、上位ブロックの予測モード特性情報は、所定の条件に基づいて第1~第3値(例えば、0、1、2)のいずれか一つを有することができる。
具体的には、下記の条件1-1~条件1-4のうちの少なくとも一つが満たされる場合、上位ブロックの予測モード特性情報は、第1値(例えば、0)に決定できる。
-条件1-1:上位ブロックがIスライスに含まれ、当該スライスに含まれるそれぞれのCTUが64×64のルマサンプルCUに暗黙的四分木分割(implicit quadtree split)され、前記64×64のルマサンプルCUはデュアルツリーのルートノード(root node)となる場合。
-条件1-2:上位ブロックの予測モードタイプ(例えば、modeTypeCurr)がMODE_TYPE_ALLでない場合。
-条件1-3:上位ブロックのカラーフォーマットがモノクロマフォーマットである場合(例えば、sps_chroma_format_idc==0)。
-条件1-4:上位ブロックのカラーフォーマットが4:4:4フォーマットである場合(例えば、sps_chroma_format_idc==3)。
上述した条件がすべて満たされず、以下の条件2-1~条件2-3のうちの少なくとも一つが満たされる場合、上位ブロックの予測モード特性情報は、第2値(例えば、1)に決定できる。
-条件2-1:上位ブロックの幅と高さとの積が64であり、上位ブロックの分割モードが四分木分割モードである場合。
-条件2-2:上位ブロックの幅と高さとの積が64であり、上位ブロックの分割モードが水平ターナリ分割モード又は垂直ターナリ分割モードである場合。
-条件2-3:上位ブロックの幅と高さとの積が32であり、上位ブロックの分割モードが水平バイナリ分割モード又は垂直バイナリ分割モードである場合。
上述した条件がすべて満たされず、下記の条件3-1~条件3-4のうちの少なくとも一つが満たされる場合、Iスライスに属する上位ブロックの予測モード特性情報は第2値(例えば、1)と決定され、Iスライスに属さない上位ブロックの予測モード特性情報は第3値(例えば、2)と決定されることができる。
-条件3-1:上位ブロックの幅と高さとの積が64であり、上位ブロックの分割モードが水平バイナリ分割モード又は垂直バイナリ分割モードである場合。
-条件3-2:上位ブロックの幅と高さとの積が128であり、上位ブロックの分割モードが水平ターナリ分割モード又は垂直ターナリ分割モードである場合。
-条件3-3:上位ブロックの幅が8であり、上位ブロックの分割モードが垂直バイナリ分割モードである場合。
-条件3-4:上位ブロックの幅が16であり、上位ブロックに対する四分木分割が許容されず(例えば、split_qt_flag==0)、上位ブロックの分割モードが垂直ターナリ分割モードである場合。
一方、これらの条件がすべて満たされない場合、上位ブロックの予測モード特性情報は第1値(例えば、0)と決定されることができる。
画像符号化装置は、上述した条件によよって決定される上位ブロックの予測モード特性情報に基づいて、現在ブロックの予測モードタイプを決定することができる。そして、画像符号化装置は、前記決定された予測モードタイプに基づいて上位ブロックを分割することにより、現在ブロックを取得することができる。例えば、現在ブロックの予測モードタイプがMODE_TYPE_INTRAである場合、画像符号化装置は、上位ブロックをデュアルツリー構造に分割することにより、現在ブロックを取得することができる。これとは異なり、現在ブロックの予測モードタイプがMODE_TYPE_INTRAでない場合(例えば、MODE_TYPE ALL又はMODE_TYPE_INTER)、画像符号化装置は、上位ブロックの分割構造に従って上位ブロックを分割することにより、現在ブロックを取得することができる。
画像符号化装置は、現在ブロックの予測モードタイプを再設定することができる(S2020)。
一例において、現在ブロックの予測モードタイプは、現在ブロックのサイズに基づいてイントラタイプ(例えば、MODE_TYPE_INTRA)に再設定できる。
例えば、現在ブロックの幅及び高さのうちの少なくとも一つが64より大きい場合、現在ブロックの予測モードタイプはMODE_TYPE_INTRAに再設定できる。これとは異なり、現在ブロックの幅及び高さの両方とも64より小さい場合、現在ブロックの予測モードタイプは、coding_unitシンタックスの呼び出し入力値(すなわち、S2010の予測モードタイプ)に再設定できる。このように、現在ブロックのサイズが64×64より大きいか否かが予測モードタイプに反映されることにより、64×64よりも大きい現在ブロックに対して、cu_skip_flagのシグナリングは予測モードタイプに基づいて制限できる。
又は、現在ブロックの幅と高さの両方とも4である場合、現在ブロックの予測モードタイプはMODE_TYPE_INTRAに再設定できる。これとは異なり、現在ブロックの幅及び高さのうちの少なくとも一つが4でない場合、現在ブロックの予測モードタイプは、前述したcoding_unitシンタックスの呼び出し入力値(すなわち、S2010の予測モードタイプ)に再設定されることができる。このように、現在ブロックのサイズが4×4であるか否かが予測モードタイプに反映されることにより、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagの場合、現在ブロックのサイズが4×4であるか否かを別途判別せず、予測モードタイプに基づいてシグナリングされることができる。
他の例において、現在ブロックの予測モードタイプは、現在ブロックのスライスタイプに基づいてイントラタイプ(例えば、MODE_TYPE_INTRA)に再設定されることができる。例えば、現在ブロックのスライスタイプがIスライスである場合、現在ブロックの予測モードタイプはMODE_TYPE_INTRAに再設定されることができる。これとは異なり、現在ブロックのスライスタイプがIスライスではない場合(例えば、P又はBスライス)、現在ブロックの予測モードタイプは、前述したcoding_unitシンタックスの呼び出し入力値(すなわち、S2010の予測モードタイプ)に再設定されることができる。このように、現在ブロックのスライスタイプがIスライスであるか否かが予測モードタイプに反映されることにより、Iスライスに属する現在ブロックに対するcu_skip_flagのシグナリングは制限できる。例えば、図18を参照して前述したように、シーケンスレベルでIBCが利用可能である(sps_ibc_enabled_flag==1)ことにより、cu_skip_flag、pred_mode_flag及びpred_mode_ibc_flagの共通シグナリング条件(1820)が真(true)となる場合でも、現在ブロックの予測モードタイプ(modeType)がMODE_TYPE_INTRAである場合、個別シグナリング条件(1830)に従ってcu_skip_flagのシグナリングは制限できる。
別の例において、現在ブロックの予測モードタイプは、現在ブロックのスライスタイプ及び現在ブロックのサイズに基づいてイントラタイプ(例えば、MODE_TYPE_INTRA)に再設定されることができる。例えば、現在ブロックのスライスタイプがIスライスであり、現在ブロックの幅及び高さのうちの少なくとも一つが64より大きい場合、現在ブロックの予測モードタイプはMODE_TYPE_INTRAに再設定されることができる。これとは異なり、現在ブロックのスライスタイプがIスライスではないか(例えば、P又はBスライス)、或いは、現在ブロックの幅及び高さの両方が64と同じかそれより小さい場合、現在ブロックの予測モードタイプは、前述したcoding_unitシンタックスの呼び出し入力値(すなわち、S2010の予測モードタイプ)に再設定されることができる。このように、現在ブロックのスライスタイプがIスライスであるか否か、及び現在ブロックのサイズが64×64を超えるか否かが予測モードタイプに反映されることにより、インター予測モード及び/又はIBCが適用できない現在ブロックに対して、cu_skip_flagのシグナリングは制限できる。
画像符号化装置は、上述した方法に従って再設定された予測モードタイプに基づいて、現在ブロックの予測モード情報を符号化することができる(S2030)。ここで、現在ブロックの予測モード情報は、スキップモードの適用如何を示すcu_skip_flag、イントラ予測モード又はインター予測モードの適用如何を示すpred_mode_flag、IBCの適用如何を示すpred_mode_ibc_flag、及びパレットモードの適用如何を示すpred_mode_plt_flagを含むことができる。上述した予測モード情報の具体的な内容は、図14~図19を参照して前述した通りである。
以上、本発明の一実施例による画像符号化方法によれば、現在ブロックの予測モードタイプは、現在ブロックのスライスタイプ及びサイズのうちの少なくとも一つに基づいて、所定の予測モードタイプ(例えば、MODE_TYPE_INTRA)に再設定されることができる。そして、現在ブロックの予測モード情報は、前記再設定された予測モードタイプに基づいて符号化されることができる。これにより、予測モード情報のシグナリング条件が簡素化されることができ、インター予測モード及び/又はIBCが適用できない現在ブロックに対して、cu_skip_flagのシグナリングが制限されることができる。
画像復号化方法
以下、上述した実施例に基づいて、画像復号化装置が画像を復号化する方法について詳細に説明する。前記画像復号化装置は、メモリ及び少なくとも一つのプロセッサを含み、前記画像復号化方法は、前記少なくとも一つのプロセッサによって行われることができる。
図21は本開示の一実施例による画像復号化方法を示すフローチャートである。
図21を参照すると、画像復号化装置は、所定の予測モードタイプ(例えば、modeType)に基づいて、分割ツリー構造のリーフノード(leaf node)に該当する現在ブロックを取得することができる(S2110)。ここで、所定の予測モードタイプは、現在ブロックの予測モードタイプであって、上位ブロックの予測モード特性情報(例えば、modeTypeCondition)に基づいて決定されることができる。例えば、上位ブロックの予測モード特性情報が第1値(例えば、0)を有する場合、前記所定の予測モードタイプは、上位ブロックの予測モードタイプと決定できる。これとは異なり、上位ブロックの予測モード特性情報が第2値(例えば、1)を有する場合、前記所定の予測モードタイプはMODE_TYPE_INTRAと決定できる。これとは異なり、上位ブロックの予測モード特性情報が第3値(例えば、2)を有する場合、前記所定の予測モードタイプはMODE_TYPE_INTRA又はMODE_TYPE_INTERと決定できる。一方、上位ブロックの予測モード特性情報は、所定の条件に基づいて第1~第3値(例えば、0、1、2)のいずれか一つの値を有することができ、前記所定の条件は、図20を参照して前述した通りである。
このように、画像符号化装置は、上位ブロックの予測モード特性情報に基づいて現在ブロックの予測モードタイプを決定することができる。そして、画像符号化装置は、前記決定された予測モードタイプに基づいて上位ブロックを分割することにより、現在ブロックを取得することができる。例えば、現在ブロックの予測モードタイプがMODE_TYPE_INTRAである場合、画像符号化装置は、上位ブロックをデュアルツリー構造に分割することにより現在ブロックを取得することができる。これとは異なり、現在ブロックの予測モードタイプがMODE_TYPE_INTRAでない場合(例えば、MODE_TYPE ALL又はMODE_TYPE_INTER)、画像符号化装置は、上位ブロックの分割構造に従って上位ブロックを分割することにより、現在ブロックを取得することができる。
画像復号化装置は、現在ブロックの予測モードタイプを再設定することができる(S2120)。
一例において、現在ブロックの予測モードタイプは、現在ブロックのサイズに基づいてイントラタイプ(例えば、MODE_TYPE_INTRA)に再設定できる。
例えば、現在ブロックの幅及び高さのうちの少なくとも一つが64より大きい場合、現在ブロックの予測モードタイプはMODE_TYPE_INTRAに再設定できる。これとは異なり、現在ブロックの幅及び高さの両方とも64より小さい場合、現在ブロックの予測モードタイプはcoding_unitシンタックスの呼び出し入力値(すなわち、S2110の予測モードタイプ)に再設定できる。或いは、現在ブロックの幅及び高さの両方とも4である場合、現在ブロックの予測モードタイプはMODE_TYPE_INTRAに再設定できる。これとは異なり、現在ブロックの幅及び高さの少なくとも一つが4でない場合、現在ブロックの予測モードタイプはcoding_unitシンタックスの呼び出し入力値(すなわち、S2110の予測モードタイプ)に再設定できる。
他の例において、現在ブロックの予測モードタイプは、現在ブロックのスライスタイプに基づいて所定の予測モードタイプ(例えば、MODE_TYPE_INTRA)に再設定されることができる。例えば、現在ブロックのスライスタイプがIスライスである場合、現在ブロックの予測モードタイプはMODE_TYPE_INTRAに再設定されることができる。これとは異なり、現在ブロックのスライスタイプがIスライスではない場合(例えば、P又はBスライス)、現在ブロックの予測モードタイプは、coding_unitシンタックスの呼び出し入力値(すなわち、S2110の予測モードタイプ)に再設定できる。
別の例において、現在ブロックの予測モードタイプは、現在ブロックのスライスタイプ及び現在ブロックのサイズに基づいて所定の予測モードタイプ(例えば、MODE_TYPE_INTRA)に再設定されることができる。例えば、現在ブロックのスライスタイプがIスライスであり、現在ブロックの幅及び高さのうちの少なくとも一つが64より大きい場合、現在ブロックの予測モードタイプはMODE_TYPE_INTRAに再設定されることができる。これとは異なり、現在ブロックのスライスタイプがIスライスではないか(例えば、P又はBスライス)、又は現在ブロックの幅及び高さの両方とも64と同じかそれより小さい場合、現在ブロックの予測モードタイプはcoding_unitシンタックスの呼び出し入力値(すなわち、S2110の予測モードタイプ)に再設定できる。
画像復号化装置は、上述した方法に従って再設定された予測モードタイプに基づいて、現在ブロックの予測モード情報を取得することができる(S2130)。例えば、画像復号化装置は、再設定された予測モードタイプに基づいて、ビットストリームに含まれているcoding_unitシンタックスをパーシングすることにより、現在ブロックの予測モード情報を取得することができる。ここで、現在ブロックの予測モード情報は、スキップモードの適用如何を示すcu_skip_flag、イントラ予測モード又はインター予測モードの適用如何を示すpred_mode_flag、IBCの適用如何を示すpred_mode_ibc_flag、及びパレットモードの適用如何を示すpred_mode_plt_flagを含むことができる。上述した予測モード情報の具体的な内容は、図14~図19を参照して前述した通りである。
画像復号化装置は、現在ブロックの予測モード情報に基づいて現在ブロックの予測ブロックを生成することができる(S2140)。具体的には、画像復号化装置は、現在ブロックの予測モード情報に基づいて現在ブロックの予測モードを決定することができる。そして、画像復号化装置は、前記決定された予測モードに基づいて予測を行うことにより、現在ブロックの予測ブロックを生成することができる。
以上、本発明の一実施例による画像復号化方法によれば、現在ブロックの予測モードタイプは、現在ブロックのスライスタイプ及びサイズのうちの少なくとも一つに基づいて、所定の予測モードタイプ(例えば、MODE_TYPE_INTRA)に再設定できる。そして、前記再設定された予測モードタイプに基づいて現在ブロックの予測モード情報が取得されることができる。これにより、予測モード情報のパーシング条件が簡素化されることができ、インター予測モード及び/又はIBCが適用できない現在ブロックに対して、cu_skip_flagは復号化されず、第1値(例えば、0)と推論できる。
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。
本開示において、所定の動作(ステップ)を行う画像符号化装置又は画像復号化装置は、当該動作(ステップ)の実行条件や状況を確認する動作(ステップ)を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、2つ以上の組み合わせで適用されてもよい。
また、本開示の様々な実施例は、ハードウェア、ファームウェア(firmware)、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、1つ又はそれ以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、汎用プロセッサ(general processor)、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ(VoD)サービス提供装置、OTTビデオ(Over the top video)装置、インターネットストリーミングサービス提供装置、3次元(3D)ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、OTTビデオ(Over the top video)装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続TV、ホームシアターシステム、スマートフォン、タブレットPC、DVR(Digital Video Recoder)などを含むことができる。
図22は本開示による実施例が適用できるコンテンツストリーミングシステムを例示的に示す図である。
図22に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Webサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び/又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
前記ストリーミングサーバは、Webサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Webサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Webサーバに所望のサービスを要求すると、前記Webサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令/応答を制御する役割を果たすことができる。
前記ストリーミングサーバは、メディアストレージ及び/又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
前記ユーザ装置の例としては、携帯電話、スマートフォン(smart phone)、ノートパソコン(laptop computer)、デジタル放送用端末、PDA(personal digital assistants)、PMP(portable multimedia player)、ナビゲーション、スレートPC(slate PC)、タブレットPC(tablet PC)、ウルトラブック(ultrabook)、ウェアラブルデバイス(wearable device)、例えば、スマートウォッチ(smartwatch)、スマートグラス(smart glass)、HMD(head mounted display)、デジタルTV、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン-実行可能なコマンド(例えば、オペレーティングシステム、アプリケーション、ファームウェア(firmware)、プログラムなど)、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体(non-transitory computer-readable medium)を含む。
本開示による実施例は、画像の符号化/復号化に利用可能である。

Claims (13)

  1. 画像復号化装置によって行われる画像復号化方法であって、前記画像復号化方法は、
    所定の予測モードタイプに基づいて決定された分割構造に基づいてブロックを分割することにより現在ブロックを取得するステップと、
    前記現在ブロックの予測モードタイプを再設定するステップと、
    前記再設定された予測モードタイプに基づいて、前記現在ブロックの予測モード情報を取得するステップと、
    前記予測モード情報に基づいて、前記現在ブロックの予測ブロックを生成するステップと、を含み、
    前記現在ブロックの予測モードタイプを再設定するステップは、前記現在ブロックのスライスタイプ又はサイズのうちの少なくとも一つに基づいて行われる、画像復号化方法。
  2. 前記現在ブロックのスライスタイプがIスライスであり、前記現在ブロックの幅又は高さのうちの少なくとも一つが64より大きいことに基づいて、前記現在ブロックの予測モードタイプはイントラタイプ(MODE_TYPE_INTRA)に再設定される、請求項1に記載の画像復号化方法。
  3. 前記現在ブロックのスライスタイプがP又はBスライスであることに基づいて、前記現在ブロックの予測モードタイプは前記所定の予測モードタイプに再設定される、請求項1に記載の画像復号化方法。
  4. 前記現在ブロックの幅及び高さが64と同じかそれより小さいことに基づいて、前記現在ブロックの予測モードタイプは前記所定の予測モードタイプに再設定される、請求項1に記載の画像復号化方法。
  5. 前記再設定された予測モードタイプがイントラタイプ(MODE_TYPE_INTRA)であることに基づいて、前記予測モード情報は、スキップ(SKIP)モードに関する情報を含まない、請求項1に記載の画像復号化方法。
  6. 前記スキップモードに関する情報は、前記現在ブロックに対して前記スキップモードが適用されないことを示す第1値と推論される、請求項5に記載の画像復号化方法。
  7. 前記所定の予測モードタイプは、前記現在ブロックを含む前記ブロックの予測モード特性情報に基づいて決定される、請求項1に記載の画像復号化方法。
  8. 前記所定の予測モードタイプがイントラタイプ(MODE_TYPE_INTRA)であることに基づいて、前記分割構造はデュアルツリー構造に決定される、請求項に記載の画像復号化方法。
  9. 前記所定の予測モードタイプがイントラタイプ(MODE_TYPE_INTRA)でないことに基づいて、前記分割構造は、前記現在ブロックを含む前記ブロックの分割構造と同じ構造に決定される、請求項に記載の画像復号化方法。
  10. 画像符号化装置によって行われる画像符号化方法であって、前記画像符号化方法は、
    所定の予測モードタイプに基づいて決定された分割構造に基づいてブロックを分割することにより現在ブロックを取得するステップと、
    前記現在ブロックの予測モードタイプを再設定するステップと、
    前記再設定された予測モードタイプに基づいて、前記現在ブロックの予測モード情報を符号化するステップと、を含み、
    前記現在ブロックの予測モードタイプを再設定するステップは、前記現在ブロックのスライスタイプ又はサイズのうちの少なくとも一つに基づいて行われる、画像符号化方法。
  11. 前記現在ブロックのスライスタイプがIスライスであり、前記現在ブロックの幅又は高さのうちの少なくとも一つが64より大きいことに基づいて、前記現在ブロックの予測モードタイプは、イントラタイプ(MODE_TYPE_INTRA)に再設定される、請求項10に記載の画像符号化方法。
  12. 前記再設定された予測モードタイプがイントラタイプ(MODE_TYPE_INTRA)であることに基づいて、前記予測モード情報は、スキップ(SKIP)モードに関する情報を含まない、請求項10に記載の画像符号化方法。
  13. 画像符号化方法によって生成されたビットストリームを伝送する方法であって、前記画像符号化方法は、
    所定の予測モードタイプに基づいて決定された分割構造に基づいてブロックを分割することにより現在ブロックを取得するステップと、
    前記現在ブロックの予測モードタイプを再設定するステップと、
    前記再設定された予測モードタイプに基づいて、前記現在ブロックの予測モード情報を符号化するステップと、を含み、
    前記現在ブロックの予測モードタイプを再設定するステップは、前記現在ブロックのスライスタイプ又はサイズのうちの少なくとも一つに基づいて行われる、ビットストリーム伝送方法。
JP2022540750A 2019-12-31 2020-12-31 リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法 Active JP7444998B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024025563A JP2024045744A (ja) 2019-12-31 2024-02-22 リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962956093P 2019-12-31 2019-12-31
US62/956,093 2019-12-31
US202062959943P 2020-01-11 2020-01-11
US62/959,943 2020-01-11
US202062980442P 2020-02-24 2020-02-24
US62/980,442 2020-02-24
PCT/KR2020/019287 WO2021137577A1 (ko) 2019-12-31 2020-12-31 리프 노드의 재설정된 예측 모드 타입에 기반하여 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024025563A Division JP2024045744A (ja) 2019-12-31 2024-02-22 リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Publications (2)

Publication Number Publication Date
JP2023509053A JP2023509053A (ja) 2023-03-06
JP7444998B2 true JP7444998B2 (ja) 2024-03-06

Family

ID=76686671

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022540750A Active JP7444998B2 (ja) 2019-12-31 2020-12-31 リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP2024025563A Pending JP2024045744A (ja) 2019-12-31 2024-02-22 リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024025563A Pending JP2024045744A (ja) 2019-12-31 2024-02-22 リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Country Status (10)

Country Link
US (1) US20230049298A1 (ja)
EP (1) EP4087244A4 (ja)
JP (2) JP7444998B2 (ja)
KR (1) KR20220115971A (ja)
CN (1) CN115176465A (ja)
AU (2) AU2020416341B2 (ja)
BR (1) BR112022013083A2 (ja)
CA (1) CA3166540A1 (ja)
MX (1) MX2022008084A (ja)
WO (1) WO2021137577A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014501090A (ja) 2010-11-25 2014-01-16 エルジー エレクトロニクス インコーポレイティド 映像情報のシグナリング方法及び映像情報のシグナリング方法を用いた映像情報の復号化方法
WO2019098464A1 (ko) 2017-11-14 2019-05-23 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US20190238841A1 (en) 2016-10-28 2019-08-01 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus, and recording medium in which bit stream is stored
US20190281290A1 (en) 2018-03-12 2019-09-12 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra-prediction mode

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190107581A (ko) * 2018-03-12 2019-09-20 한국전자통신연구원 인트라 예측 모드의 유도를 위한 방법 및 장치
EP3703376A4 (en) * 2019-01-15 2020-09-02 LG Electronics Inc. -1- METHOD AND DEVICE FOR IMAGE ENCODING USING A TRANSFORM SKIP FLAG
WO2021018166A1 (en) * 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Scanning order improvements for palette mode coding
BR112022003732A2 (pt) * 2019-09-02 2022-10-11 Beijing Bytedance Network Tech Co Ltd Método e aparelho para processamento de dados de vídeo, e, meios de armazenamento e de gravação legíveis por computador não transitórios
JP2022532444A (ja) * 2019-09-07 2022-07-14 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド ビデオデータを復号化する方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、デコーダ可読記憶媒体、およびコンピュータプログラム製品
US20210092405A1 (en) * 2019-09-19 2021-03-25 Qualcomm Incorporated Matrix combination for matrix-weighted intra prediction in video coding
CN114424565A (zh) * 2019-09-21 2022-04-29 北京字节跳动网络技术有限公司 基于色度帧内模式的尺寸限制

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014501090A (ja) 2010-11-25 2014-01-16 エルジー エレクトロニクス インコーポレイティド 映像情報のシグナリング方法及び映像情報のシグナリング方法を用いた映像情報の復号化方法
US20190238841A1 (en) 2016-10-28 2019-08-01 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus, and recording medium in which bit stream is stored
WO2019098464A1 (ko) 2017-11-14 2019-05-23 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US20190281290A1 (en) 2018-03-12 2019-09-12 Electronics And Telecommunications Research Institute Method and apparatus for deriving intra-prediction mode

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross et al.,Versatile Video Coding (Draft 7) [online],JVET-P2001-vE,インターネット <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P2001-v14.zip>,2019年11月14日,pp.25-28,65-71,145-154,170-172,209-213,288-289
Hyeongmun Jang et al.,[AHG2] Fix cu_skip_flag signaling for IBC [online],JVET-R0311_r1,インターネット <URL: https://jvet-experts.org/doc_end_user/documents/18_Alpbach/wg11/JVET-R0311-v2.zip>,2020年04月14日

Also Published As

Publication number Publication date
KR20220115971A (ko) 2022-08-19
AU2020416341A1 (en) 2022-08-25
JP2023509053A (ja) 2023-03-06
EP4087244A1 (en) 2022-11-09
WO2021137577A1 (ko) 2021-07-08
AU2020416341B2 (en) 2024-03-21
AU2024201463A1 (en) 2024-03-28
CN115176465A (zh) 2022-10-11
JP2024045744A (ja) 2024-04-02
EP4087244A4 (en) 2024-01-03
BR112022013083A2 (pt) 2022-09-06
US20230049298A1 (en) 2023-02-16
MX2022008084A (es) 2022-09-19
CA3166540A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
JP7422917B2 (ja) Mip及びlfnstを行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP7362786B2 (ja) 単純化されたmpmリスト生成方法を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
US11546583B2 (en) Image encoding/decoding method and device for determining division mode on basis of color format, and method for transmitting bitstream
JP7358622B2 (ja) ルマサンプル位置を参照してクロマブロックの予測モードを決定する画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP7362910B2 (ja) パレットモードを用いた画像符号化/復号化方法、装置、及びビットストリームの伝送方法
JP7410168B2 (ja) イントラ予測を行う画像符号化/復号方法、装置、およびビットストリームを伝送する方法
JP2024023441A (ja) クロマブロックの分割条件を制限する画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP2023130427A (ja) クロマ変換ブロックの最大サイズ制限を用いた画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP2023126900A (ja) クロマ成分符号化ブロックの最大変換サイズ制限を用いた画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
US20220182623A1 (en) Video encoding/decoding method and device using segmentation limitation for chroma block, and method for transmitting bitstream
JP2023513788A (ja) フィルタ利用可能情報を選択的にシグナリングする画像符号化/復号化方法及び装置、並びにビットストリームを伝送する方法
JP7444998B2 (ja) リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP2022530286A (ja) クロマブロックの適応的サイズ制限を用いた画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP7309928B2 (ja) クロマブロックの最大変換サイズ設定を用いた画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
US20220345694A1 (en) Image encoding/decoding method and apparatus using quantization matrix, and method for transmitting bitstream
JP2023508178A (ja) Pdpcを行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240222

R150 Certificate of patent or registration of utility model

Ref document number: 7444998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150