JP7482345B2 - Bdpcmに基づく映像コーディング方法、及びその装置 - Google Patents

Bdpcmに基づく映像コーディング方法、及びその装置 Download PDF

Info

Publication number
JP7482345B2
JP7482345B2 JP2023062018A JP2023062018A JP7482345B2 JP 7482345 B2 JP7482345 B2 JP 7482345B2 JP 2023062018 A JP2023062018 A JP 2023062018A JP 2023062018 A JP2023062018 A JP 2023062018A JP 7482345 B2 JP7482345 B2 JP 7482345B2
Authority
JP
Japan
Prior art keywords
transform
bdpcm
block
current block
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023062018A
Other languages
English (en)
Other versions
JP2023076672A (ja
Inventor
ムンモ ク
チェヒョン イム
チョンハク ナム
スンファン キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2023076672A publication Critical patent/JP2023076672A/ja
Priority to JP2024048161A priority Critical patent/JP2024069684A/ja
Application granted granted Critical
Publication of JP7482345B2 publication Critical patent/JP7482345B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本文書は、映像コーディング技術に関し、より詳細には、映像コーディングシステムにおいて、BDPCM(block differential pulse coded modulation)に基づく映像コーディング方法、及びその装置に関する。
近年、4Kまたは8K以上のUHD(Ultra High Definition)映像/ビデオのような高解像度、高品質の映像/ビデオに対する需要が様々な分野で増加している。映像/ビデオデータが高解像度、高品質になるほど、既存の映像/ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して映像データを送信するか、既存の保存媒体を利用して映像/ビデオデータを保存する場合、送信費用と保存費用が増加する。
また、近年、VR(Virtual Reality)、AR(Artificial Realtiy)コンテンツやホログラムなどの実感メディア(Immersive Media)に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像/ビデオに対する放送が増加している。
これに伴って、前記のような様々な特性を有する高解像度・高品質の映像/ビデオの情報を効果的に圧縮して送信するか、保存し、再生するために高効率の映像/ビデオ圧縮技術が求められる。
本文書の技術的課題は、映像のコーディング効率を高める方法及び装置を提供することにある。
本文書の別の技術的課題は、BDPCMに基づく映像コーディングにおいて変換インデックスのコーディング効率を高める方法及び装置を提供することにある。
本文書の別の技術的課題は、BDPCMに基づく映像コーディングにおいて変換スキップフラグのコーディング効率を高める方法及び装置を提供することにある。
本文書のまた別の技術的課題は、ルマ成分又はクロマ成分別にBDPCMコーディングを実行することができる方法及び装置を提供することにある。
本文書の一実施例に係ると、デコーディング装置によって実行される映像デコーディング方法を提供する。前記方法は、BDPCMに基づいて現在ブロックに対する量子化された変換係数を導出するステップと、前記量子化された変換係数に逆量子化を実行して変換係数を導出するステップと、前記変換係数に基づいてレジデュアルサンプルを導出するステップと、を含み、前記BDPCMが前記現在ブロックに適用されると、前記変換係数に逆非分離変換は適用されないことがある。
前記BDPCMが前記現在ブロックに適用されると、前記現在ブロックに適用されることができる前記逆非分離変換に対する変換インデックスの値は0とみなされ得る。
前記BDPCMが前記現在ブロックに適用されると、前記現在ブロックに変換がスキップされるか否かを指示する変換スキップフラグの値は、0とみなされ得る。
前記現在ブロックのルマブロックまたは前記現在ブロックのクロマブロックに前記BDPCMが個別的に適用され、前記ルマブロックに前記BDPCMが適用されると、前記ルマブロックに対する前記変換インデックスは受信されず、前記クロマブロックに前記BDPCMが適用されると、前記クロマブロックに対する前記変換インデックスは受信されないことがある。
前記現在ブロックの幅が第1臨界値以下であり、前記現在ブロックの高さが第2臨界値以下であると、前記BDPCMが前記現在ブロックに適用され得る。
前記BDPCMが実行される方向に対する方向情報に基づいて、量子化された変換係数が導出され得る。
前記BDPCMが実行される方向に基づいて、前記現在ブロックに対するイントラ予測を実行するステップをさらに含み得る。
前記方向情報は、水平方向又は垂直方向を指示し得る。
本文書の一実施例に係ると、エンコーディング装置によって実行される映像エンコーディング方法を提供する。前記方法は、BDPCMに基づいて現在ブロックに対する予測サンプルを導出するステップと、前記予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出するステップと、前記レジデュアルサンプルに量子化を実行するステップと、前記BDPCMに基づいて量子化されたレジデュアル情報を導出するステップと、前記量子化されたレジデュアル情報及び前記現在ブロックに対するコーディング情報をエンコーディングするステップと、を含み、前記BDPCMが前記現在ブロックに適用されると、前記現在ブロックに非分離変換は適用されないことがある。
本文書のまた別の一実施例に係ると、エンコーディング装置によって実行された映像エンコーディング方法により生成されたエンコーディングされた映像情報及びビットストリームが含まれた映像データが保存されたデジタル保存媒体が提供できる。
本文書のまた別の一実施例に係ると、デコーディング装置によって前記映像デコーディング方法を実行するように引き起こすエンコーディングされた映像情報及びビットストリームが含まれた映像データが保存されたデジタル保存媒体が提供できる。
本文書にかかると、全般的な映像/ビデオの圧縮効率を高めることができる。
本開示にかかると、 変換インデックスのコーディングで、全般的な映像/ビデオの圧縮効率を高めることができる。
本開示にかかると、BDPCMに基づく映像コーディングにおいて変換インデックスコーディングの効率を高めることができる。
本開示にかかると、BDPCMに基づく映像コーディングにおいて変換スキップフラグのコーディング効率を高めることができる。
本文書のまた別の技術的課題は、ルマ成分またはクロマ成分別にBDPCMコーディングを実行することができる方法及び装置を提供する。
本明細書の具体的な一例を通じて得られる効果は、以上で挙げられた効果に制限されない。例えば、関連した技術分野の通常の知識を有する者(a person having ordinary skill in the related art)が本明細書から理解または誘導できる多様な技術的効果が存在し得る。これによって、本明細書の具体的な効果は、本明細書に明示的に記載されているものに制限されず、本明細書の技術的特徴から理解または誘導できる多様な効果を含み得る。
本文書が適用できるビデオ/映像コーディングシステムの例を概略的に示す。 本文書が適用できるビデオ/映像エンコーディング装置の構成を概略的に説明する図である。 本文書が適用できるビデオ/映像デコーディング装置の構成を概略的に説明する図である。 本文書の一実施例にかかる多重変換技法を概略的に示す。 65個の予測方向のイントラ方向性モードを例示的に示す。 本文書の一実施例にかかるRSTを説明するための図である。 本文書の一実施例にかかるビデオデコーディング装置の動作を示すフローチャートである。 本文書の一実施例にかかる映像デコーディング方法を説明するための制御フローチャートである。 本文書の一実施例にかかるビデオエンコーディング装置の動作を示すフローチャートである。 本文書の一実施例にかかる映像エンコーディング方法を説明するための制御フローチャートである。 本文書が適用されるコンテンツストリーミングシステムの構造度を例示的に示す。
本文書は、様々な変更を加えることができ、様々な実施例を有することができるが、特定の実施例を図面に例示し、詳細に説明しようとする。しかし、これは、本文書を特定の実施例に限定しようとするわけではない。本明細書で常用する用語は、単に特定の実施例を説明するために使用されたものであって、本文書における技術的思想を限定しようとする意図に使用されるものではない。単数の表現は、文脈上明らかに異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであり、1つ又はそれ以上の異なる特徴や、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものの存在又は付加の可能性を予め排除しないものと理解されるべきである。
一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立して示すものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するのではない。例えば、各構成のうち、2つ以上の構成を合わせて1つの構成をなすこともあり、1つの構成が複数の構成に分けられることもある。各構成が統合及び/又は分離された実施例も、本文書の本質から外れない限り、本文書の権利範囲に含まれる。
以下、添付図を参照として、本文書の好ましい実施例をより詳細に説明しようとする。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。
本文書は、ビデオ/映像コーディングに関する。例えば、本文書で開示された方法/実施例は、VVC(Versatile Video Coding)標準(ITU-T Rec. H.266)、VVC以降の次世代ビデオ/イメージのコーディング標準、又はそれ以外のビデオコーディング関連の標準(例えば、HEVC(High Efficiency Video Coding)標準(ITU-T Rec. H.265)、EVC(essential video coding)標準、AVS2標準等)と関連し得る。
本文書では、ビデオ/映像コーディングに関する多様な実施例を提示し、別の言及がない限り、前記実施例は互いに組み合わせて実行することもある。
本文書で、ビデオ(video)は、時間の流れによる一連の映像(image)の集合を意味することができる。ピクチャ(picture)は、一般的に特定の時間帯の1つの映像を示す単位を意味し、スライス(slice)/タイル(tile)は、コーディングにおいてピクチャの一部を構成する単位である。スライス/タイルは、1つ以上のCTU(coding tree unit)を含むことができる。1つのピクチャは、1つ以上のスライス/タイルで構成されることができる。1つのピクチャは、1つ以上のタイルグループで構成されることができる。1つのタイルグループは、1つ以上のタイルを含むことができる。
ピクセル(pixel)またはペル(pel)は、1つのピクチャ(または、映像)を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として、「サンプル(sample)」が使用され得る。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ(luma)成分のピクセル/ピクセル値のみを示すことができ、クロマ(chroma)成分のピクセル/ピクセル値のみを示すこともできる。又は、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。
ユニット(unit)は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報の少なくとも1つを含むことができる。1つのユニットは、1つのルマブロック及び2つのクロマ(例えば、cb、cr)ブロックを含むことができる。ユニットは、場合に応じて、ブロック(block)または領域(area)などの用語と混用して使用されることができる。一般的な場合、M×Nブロックは、M個の列とN個の行とからなるサンプル(または、サンプルアレイ)または変換係数(transform coefficient)の集合(または、アレイ)を含むことができる。
本文書において、「/」及び「、」は、「及び/又は」と解釈される。例えば、「A/B」は、「A及び/又はB」と解釈され、「A、B」は、「A及び/又はB」と解釈される。さらに、「A/B/C」は、「A、B及び/又はCの少なくとも1つ」を意味する。また、「A、B、C」も、「A、B及び/又はCの少なくとも1つ」を意味する。(In this document,the term “/” and “,” should be interpreted to indicate “and/or.” For instance,the expression “A/B” may mean “A and/or B.” Further,“A, B” may mean “A and/or B.” Further, “A/B/C” may mean “at least one of A,B, and/or C.” Also,“A/B/C” may mean “at least one of A,B,and/or C.”)
さらに、本文書において、「又は」は、「及び/又は」と解釈される。例えば、「A又はB」は、1)「A」のみを意味し、2)「B」のみを意味するか、3)「A及びB」を意味し得る。言い換えると、本文書の「又は」は、「さらに又は代案として(additionally or alternatively)」を意味し得る。(Further,in the document,the term “or” should be interpreted to indicate “and/or.” For instance,the expression “A or B” may comprise 1)only A,2)only B,and/or 3)both A and B. In other words,the term “or” in this document should be interpreted to indicate “additionally or alternatively.”)
本明細書において、「少なくとも1つのA及びB(at least one of A and B)」は、「ただA」、「ただB」又は「A及びB両方」を意味し得る。また、本明細書において、「少なくとも1つのA又はB(at least one of A or B)」や「少なくとも1つのA及び/又はB(at least one of A and/or B)」という表現は、「少なくとも1つのA及びB(at least one of A and B)」と同様に解釈され得る。
また、本明細書において、「少なくとも1つのA、B及びC(at least one of A, B and C)」は、「ただA」、「ただB」、「ただC」、又は「A、B及びCの任意の全ての組み合わせ(any combination of A, B and C)」を意味し得る。また、「少なくとも1つのA、B又はC(at least one of A, B or C)」や「少なくとも1つのA、B及び/又はC(at least one of A, B and/or C)」は、「少なくとも1つのA、B及びC(at least one of A, B and C)」を意味し得る。
また、本明細書で使用される括弧は、「例えば(for example)」を意味し得る。具体的に、「予測(イントラ予測)」で表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えると、本明細書の「予測」は、「イントラ予測」に制限(limit)されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測(すなわち、イントラ予測)」で表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。
本明細書において一つの図面内で個別的に説明される技術的特徴は、個別的に具現されてもよく、同時に具現されてもよい。
図1は、本文書が適用できるビデオ/映像コーディングシステムの例を概略的に示す。
図1を参照すると、ビデオ/映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコーディングされたビデオ(video)/映像(image)情報またはデータをファイルまたはストリーミングの形態でデジタル保存媒体またはネットワークを介して受信デバイスに伝達することができる。
前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ/映像エンコーディング装置と呼ばれ得、前記デコーディング装置は、ビデオ/映像デコーディング装置と呼ばれ得る。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
ビデオソースは、ビデオ/映像のキャプチャ、合成、または生成過程などを介してビデオ/映像を獲得できる。ビデオソースは、ビデオ/映像のキャプチャデバイス及び/又はビデオ/映像の生成デバイスを含むことができる。ビデオ/映像のキャプチャデバイスは、例えば、1つ以上のカメラ、以前にキャプチャされたビデオ/映像を含むビデオ/映像アーカイブなどを含むことができる。ビデオ/映像の生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、(電子的に)ビデオ/映像を生成できる。例えば、コンピュータなどを介して仮想のビデオ/映像が生成され得るし、この場合、関連データが生成される過程にビデオ/映像キャプチャ過程が代替されることができる。
エンコーディング装置は、入力ビデオ/映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコーディングされたデータ(エンコーディングされたビデオ/映像情報)は、ビットストリーム(bitstream)の形態で出力されることができる。
送信部は、ビットストリームの形態で出力されたエンコーディングされたビデオ/映像情報またはデータをファイルまたはストリーミングの形態でデジタル保存媒体またはネットワークを介して受信デバイスの受信部に伝達することができる。デジタル保存媒体は、USB、SD、CD、DVD、ブルーレイ、HDD、SSDなど、様々な保存媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送/通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信/抽出してデコーディング装置に伝達することができる。
デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ/映像をデコーディングすることができる。
レンダラは、デコーディングされたビデオ/映像をレンダリングすることができる。レンダリングされたビデオ/映像は、ディスプレイ部を介してディスプレイされることができる。
図2は、本文書が適用できるビデオ/映像エンコーディング装置の構成を概略的に説明する図面である。以下、ビデオエンコーディング装置というのは、映像エンコーディング装置を含むことができる。
図2を参照すると、エンコーディング装置200は、映像分割部(image partitioner)210、予測部(predictor)220、レジデュアル処理部(residual processor)230、エントロピーエンコーディング部(entropy encoder)240、加算部(adder)250、フィルタリング部(filter)260、及びメモリ(memory)270を含めて構成されることができる。予測部220は、インター予測部221及びイントラ予測部222を含むことができる。レジデュアル処理部230は、変換部(transformer)232、量子化部(quantizer)233、逆量子化部(dequantizer)234、逆変換部(inverse transformer)235を含むことができる。レジデュアル処理部230は、減算部(subtractor)231をさらに含むことができる。加算部250は、復元部(reconstructor)または復元ブロック生成部(recontructged block generator)と呼ばれ得る。前述した映像分割部210、予測部220、レジデュアル処理部230、エントロピーエンコーディング部240、加算部250、及びフィルタリング部260は、実施例によって1つ以上のハードウェアコンポーネント(例えば、エンコーダチップセットまたはプロセッサ)によって構成されることができる。また、メモリ270は、DPB(decoded picture buffer)を含むことができ、デジタル保存媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ270を内/外部コンポーネントとしてさらに含むこともできる。
映像分割部210は、エンコーディング装置200に入力された入力映像(または、ピクチャ、フレーム)を1つ以上の処理ユニット(processing unit)に分割することができる。一例として、前記処理ユニットは、コーディングユニット(coding unit、CU)と呼ばれ得る。この場合、コーディングユニットは、コーディングツリーユニット(coding tree unit、CTU)または最大コーディングユニット(largest coding unit、LCU)からQTBTTT(Quad-tree binary-tree ternary-tree)構造によって再帰的に(recursively)分割されることができる。例えば、1つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び/又はターナリ構造に基づいて下位(deeper)デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び/又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて、本文書に係るコーディング手順が行われ得る。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットがすぐに最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に(recursively)もっと下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット(PU:Prediction Unit)または変換ユニット(TU:Transform Unit)をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々上述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であってもよく、前記変換ユニットは、変換係数を導く単位及び/又は変換係数からレジデュアル信号(residual signal)を導く単位であってもよい。
ユニットは、場合に応じて、ブロック(block)または領域(area)などの用語と混用して使用されることができる。一般的な場合、M×Nブロックは、M個の列とN個の行とからなるサンプルまたは変換係数(transform coefficient)の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度(luma)成分のピクセル/ピクセル値のみを示すこともでき、彩度(chroma)成分のピクセル/ピクセル値のみを示すこともできる。サンプルは、1つのピクチャ(または、映像)をピクセル(pixel)またはペル(pel)に対応する用語として使用できる。
減算部231は、入力映像信号(原本ブロック、原本サンプル又は原本サンプルアレイ)で予測部220から出力された予測信号(予測されたブロック、予測サンプル又は予測サンプルアレイ)を減算してレジデュアル信号(レジデュアルブロック、レジデュアルサンプル又はレジデュアルサンプルアレイ)を生成でき、生成されたレジデュアル信号は、変換部232に送信される。予測部220は、処理対象ブロック(以下、現在ブロックという)に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成できる。予測部220は、現在ブロックまたはCU単位でイントラ予測が適用されるか、またはインター予測が適用されるか決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコーディング部240に伝達することができる。予測に関する情報は、エントロピーエンコーディング部240でエンコーディングされてビットストリームの形態で出力されることができる。
イントラ予測部222は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺(neighbor)に位置してもよく、または、離れて位置してもよい。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、DCモード及びプラナーモード(Planarモード)を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、33個の方向性予測モードまたは65個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部222は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部221は、参照ピクチャ上で動きベクトルにより特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測等)情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック(spatial neighboring block)と参照ピクチャに存在する時間的周辺ブロック(temporal neighboring block)とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的周辺ブロックを含む参照ピクチャとは同じであってもよく、異なってもよい。前記時間的周辺ブロックは、同一位置参照ブロック(collocated reference block)、同一位置CU(col CU)などの名前で呼ばれ得、前記時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ(collocated picture、colPic)とも呼ばれ得る。例えば、インター予測部221は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成できる。様々な予測モードに基づいてインター予測が行われ得、例えば、スキップモードとマージモードの場合に、インター予測部221は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測(motion vector prediction、MVP)モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(motion vector predictor)として用い、動きベクトル差分(motion vector difference)をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。
予測部220は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、1つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、combined inter and intra prediction(CIIP)と呼ばれ得る。また、予測部は、ブロックに対する予測のために、イントラブロックコピー(intra block copy、IBC)を実行することもできる。前記イントラブロックコピーは、例えば、SCC(screen content coding)などのように、ゲームなどのコンテンツ映像/動画のコーディングのために使用されることができる。IBCは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われ得る。すなわち、IBCは、本文書において説明されるインター予測技法の少なくとも1つを用いることができる。
インター予測部221及び/又はイントラ予測部222を介して生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられることができる。変換部232は、レジデュアル信号に変換技法を適用して、変換係数(transform coefficients)を生成することができる。例えば、変換技法は、DCT(Discrete Cosine Transform)、DST(Discrete Sine Transform)、GBT(Graph-Based Transform)、又はCNT(Conditionally Non-linear Transform)等を含むことができる。ここで、GBTは、ピクセル間の関係情報をグラフで表現するという際に、このグラフから得られた変換を意味する。CNTは、以前に復元された全てのピクセル(all previously reconstructed pixel)を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換過程は正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
量子化部233は、変換係数を量子化してエントロピーエンコーディング部240に送信され、エントロピーエンコーディング部240は、量子化された信号(量子化された変換係数に関する情報)をエンコーディングしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれ得る。量子化部233は、係数のスキャン順序(scan order)に基づいて、ブロック形態の量子化された変換係数を1次元ベクトルの形態で再整列することができ、前記1次元ベクトルの形態の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部240は、例えば、指数ゴロム(exponential Golomb)、CAVLC(context-adaptive variable length coding)、CABAC(context-adaptive binary arithmetic coding)などのような様々なエンコーディング方法を行うことができる。エントロピーエンコーディング部240は、量子化された変換係数の他に、ビデオ/イメージの復元に必要な情報(例えば、シンタックス要素(syntax elements)の値等)を共にまたは別にエンコーディングすることもできる。エンコーディングされた情報(例えば、エンコーディングされたビデオ/映像情報)は、ビットストリームの形態でNAL(network abstraction layer)ユニット単位で送信または保存されることができる。前記ビデオ/映像情報は、アダプテーションパラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)、またはビデオパラメータセット(VPS)等、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/映像情報は、一般制限情報(general constraint information)をさらに含むことができる。本文書において、後述されるシグナリング/送信される情報及び/又はシンタックス要素は、前述したエンコーディング手順を介してエンコーディングされて、前記ビットストリームに含まれ得る。前記ビットストリームは、ネットワークを介して送信され得、またはデジタル保存媒体に保存され得る。ここで、ネットワークは、放送網及び/又は通信網などを含み得、デジタル保存媒体は、USB、SD、CD、DVD、ブルーレイ、HDD、SSDなど、様々な保存媒体を含み得る。エントロピーエンコーディング部240から出力された信号は、送信する送信部(図示せず)及び/又は保存する保存部(図示せず)がエンコーディング装置200の内/外部エレメントとして構成されてもよく、または送信部は、エントロピーエンコーディング部240に含まれてもよい。
量子化部233から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部234及び逆変換部235を介して逆量子化及び逆変換を適用することにより、レジデュアル信号(レジデュアルブロックまたはレジデュアルサンプル)を復元できる。加算部155は、復元されたレジデュアル信号を予測部220から出力された予測信号に加えることにより、復元(reconstructed)信号(復元ピクチャ、復元ブロック、復元サンプル又は復元サンプルアレイ)が生成できる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部250は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャエンコーディング及び/又は復元過程でLMCS(luma mapping with chroma scaling)が適用されることもできる。
フィルタリング部260は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部260は、復元ピクチャに様々なフィルタリング方法を適用して修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ270、具体的に、メモリ270のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset、SAO)、適応的ループフィルタ(adaptive loop filter)、両方向フィルタ(bilateral filter)などを含むことができる。フィルタリング部260は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコーディング部290に伝達することができる。フィルタリング関する情報は、エントロピーエンコーディング部290でエンコーディングされてビットストリームの形態で出力されることができる。
メモリ270に送信された修正された復元ピクチャは、インター予測部221で参照ピクチャとして使用されることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置200とデコーディング装置における予測のミスマッチを避けることができ、符号化効率も向上させることができる。
メモリ270のDPBは、修正された復元ピクチャをインター予測部221における参照ピクチャとして使用するために保存することができる。メモリ270は、現在ピクチャ内の動き情報が導出された(または、エンコーディングされた)ブロックの動き情報及び/又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するために、インター予測部221に伝達することができる。メモリ270は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部222に伝達することができる。
図3は、本文書が適用できるビデオ/映像デコーディング装置の構成を概略的に説明する図面である。
図3を参照すると、デコーディング装置300は、エントロピーデコーディング部(entropy decoder)310、レジデュアル処理部(residual processor)320、予測部(predictor)330、加算部(adder)340、フィルタリング部(filter)350、及びメモリ(memoery)360を含めて構成されることができる。予測部330は、インター予測部331及びイントラ予測部332を含むことができる。レジデュアル処理部320は、逆量子化部(dequantizer)321及び逆変換部(inverse transformer)321を含むことができる。前述したエントロピーデコーディング部310、レジデュアル処理部320、予測部330、加算部340、及びフィルタリング部350は、実施例によって1つのハードウェアコンポーネント(例えば、デコーダチップセットまたはプロセッサ)により構成されることができる。また、メモリ360は、DPB(decoded picture buffer)を含むことができ、デジタル保存媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ360を内/外部コンポーネントとしてさらに含むこともできる。
ビデオ/映像情報を含むビットストリームが入力されると、デコーディング装置300は、図2のエンコーディング装置でビデオ/映像情報が処理されたプロセスに対応して映像を復元できる。例えば、デコーディング装置300は、前記ビットストリームから獲得したブロック分割に関する情報に基づいてユニット/ブロックを導出できる。デコーディング装置300は、エンコーディング装置で適用された処理ユニットを用いてデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであってもよく、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び/又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから1つ以上の変換ユニットが導出できる。そして、デコーディング装置300を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。
デコーディング装置300は、図2のエンコーディング装置から出力された信号をビットストリームの形態で受信することができ、受信された信号は、エントロピーデコーディング部310を介してデコーディングされることができる。例えば、エントロピーデコーディング部310は、前記ビットストリームをパーシングして映像復元(または、ピクチャ復元)に必要な情報(例えば、ビデオ/映像情報)を導出できる。前記ビデオ/映像情報は、アダプテーションパラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)、またはビデオパラメータセット(VPS)など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/映像情報は、一般制限情報(general constraint information)をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び/又は前記一般制限情報に基づいてさらにピクチャをデコーディングすることができる。本文書において後述されるシグナリング/受信される情報及び/又はシンタックス要素は、前記デコーディング手順を介してデコーディングされて、前記ビットストリームから獲得されることができる。例えば、エントロピーデコーディング部310は、指数ゴロム符号化、CAVLC、またはCABACなどのコーディング方法を基にビットストリーム内の情報をデコーディングし、映像の復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。より具体的に、CABACエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコーディング対象のシンタックス要素情報、周辺及びデコーディング対象ブロックのデコーディング情報、あるいは以前ステップでデコーディングされたシンボル/ビンの情報を利用して文脈(context)モデルを決定し、決定された文脈モデルによってビン(bin)の発生確率を予測してビンの算術デコーディング(arithmetic decoding)を実行し、各シンタックス要素の値に該当するシンボルを生成できる。このとき、CABACエントロピーデコーディング方法は、文脈モデルの決定後、次のシンボル/ビンの文脈モデルのためにデコーディングされたシンボル/ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコーディング部310でデコーディングされた情報のうち、予測に関する情報は、予測部330に提供され、エントロピーデコーディング部310でエントロピーデコーディングが実行されたレジデュアルに関する情報、すなわち、量子化された変換係数及び関連のパラメータ情報は、逆量子化部321に入力されることができる。また、エントロピーデコーディング310でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部350に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部(図示せず)がデコーディング装置300の内/外部エレメントとしてさらに構成され得、または受信部は、エントロピーデコーディング部310の構成要素であり得る。一方、本文書に係るデコーディング装置は、ビデオ/映像/ピクチャデコーディング装置と呼ばれ得、前記デコーディング装置は、情報デコーダ(ビデオ/映像/ピクチャ情報デコーダ)及びサンプルデコーダ(ビデオ/映像/ピクチャサンプルデコーダ)に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部310を含むことができ、前記サンプルデコーダは、前記逆量子化部321、逆変換部322、予測部330、加算部340、フィルタリング部350、及びメモリ360の少なくとも1つを含むことができる。
逆量子化部321では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部321は、量子化された変換係数を2次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコーディング装置で行われた係数のスキャン順序に基づいて再整列を行うことができる。逆量子化部321は、量子化パラメータ(例えば、量子化ステップサイズ情報)を用いて量子化された変換係数に対する逆量子化を実行し、変換係数(transform coefficient)を獲得できる。
逆変換部322では、変換係数を逆変換してレジデュアル信号(レジデュアルブロック、レジデュアルサンプルアレイ)を獲得することになる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成できる。予測部は、エントロピーデコーディング部310から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるか決定することができ、具体的なイントラ/インター予測モードを決定できる。
予測部320は、後述する様々な予測方法に基づいて予測信号を生成できる。例えば、予測部は、1つのブロックに対する予測のために、イントラ予測またはインター予測を適用できるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、combined inter and intra prediction(CIIP)と呼ばれ得る。また、予測部は、ブロックに対する予測のために、イントラブロックコピー(intra block copy、IBC)を行うこともある。前記イントラブロックコピーは、例えば、SCC(screen content coding)などのように、ゲームなどのコンテンツ映像/動画コーディングのために使用されることができる。IBCは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われ得る。すなわち、IBCは、本文書において説明されるインター予測技法の少なくとも1つを利用することができる。
イントラ予測部332は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺(neighbor)に位置してもよく、または離れて位置してもよい。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部332は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部331は、参照ピクチャ上で動きベクトルにより特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測等)情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間的周辺ブロック(spatial neighboring block)と参照ピクチャに存在する時間的周辺ブロック(temporal neighboring block)とを含むことができる。例えば、インター予測部331は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が行われ得、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含み得る。
加算部340は、獲得されたレジデュアル信号を予測部330から出力された予測信号(予測されたブロック、予測サンプルアレイ)に加えることにより、復元信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成できる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。
加算部340は、復元部または復元ブロック生成部と呼ばれ得る。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されてもよく、または次のピクチャのインター予測のために使用されてもよい。
一方、ピクチャデコーディング過程でLMCS(luma mapping with chroma scaling)が適用されることもできる。
フィルタリング部350は、復元信号にフィルタリングを適用して、主観的/客観的画質を向上させることができる。例えば、フィルタリング部350は、復元ピクチャに様々なフィルタリング方法を適用して修正された(modified)復元ピクチャを生成でき、前記修正された復元ピクチャをメモリ360、具体的に、メモリ360のDPBに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、両方向フィルタ(bilateral filter)などを含むことができる。
メモリ360のDPBに保存された(修正された)復元ピクチャは、インター予測部332で参照ピクチャとして使用されることができる。メモリ360は、現在ピクチャ内の動き情報が導出された(または、デコーディングされた)ブロックの動き情報及び/又は既に復元されたピクチャ内のブロックの動き情報を保存できる。前記保存された動き情報は、空間的周辺ブロックの動き情報または時間的周辺ブロックの動き情報として活用するために、インター予測部331に伝達することができる。メモリ360は、現在ピクチャ内の復元されたブロックの復元サンプルを保存でき、イントラ予測部332に伝達することができる。
本明細書において、デコーディング装置300の予測部330、逆量子化部321、逆変換部322、及びフィルタリング部350等で説明された実施例は、各々デコーディング装置200の予測部220、逆量子化部234、逆変換部235及びフィルタリング部260等にも同一または対応するように適用されることができる。
前述したように、ビデオコーディングを実行するにあたって、圧縮効率を高めるために予測を行う。これを通じて、コーディングの対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン(又はピクセルドメイン)での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同様に導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値そのものではなく、前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報(レジデュアル情報)をデコーディング装置にシグナリングすることによって映像コーディングの効率を高めることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて、復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
前記レジデュアル情報は、変換及び量子化手順を通じて生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれたレジデュアルサンプル(レジデュアルサンプルアレイ)に変換手順を行って変換係数を導出し、前記変換係数に量子化手順を行って量子化された変換係数を導出し、関連したレジデュアル情報を(ビットストリームを介して)デコーディング装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータ等の情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化/逆変換手順を行い、レジデュアルサンプル(又はレジデュアルブロック)を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックとに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以降のピクチャのインター予測のための参照のために量子化された変換係数を逆量子化/逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
図4は、本文書にかかる多重変換技法を概略的に示す。
図4は参照すると、変換部は、前述した図2のエンコーディング装置内の変換部に対応し得、逆変換部は、前述した図2のエンコーディング装置内の逆変換部又は図3のデコーディング装置内の逆変換部に対応し得る。
変換部は、レジデュアルブロック内のレジデュアルサンプル(レジデュアルサンプルアレイ)に基づいて1次変換を行って、(1次)変換係数を導出することができる(S410)。このような1次変換(primary transform)は、核心変換(core transform)と指称され得る。ここで、前記1次変換は、多重変換選択(Multiple Transform Selection、MTS)に基づき得、1次変換として多重変換が適用される場合、多重核心変換と指称され得る。
多重核心変換は、DCT(Discrete Cosine Transform)タイプ2、DST(Discrete Sine Transform)タイプ7、DCTタイプ8、及び/又はDSTタイプ1をさらに使用して変換する方式を示すことができる。すなわち、前記多重核心変換は、前記DCTタイプ2、前記DSTタイプ7、前記DCTタイプ8、及び前記DSTタイプ1のうち選択された複数の変換カーネルに基づいて、空間ドメインのレジデュアル信号(又はレジデュアルブロック)を周波数ドメインの変換係数(又は1次変換係数)に変換する変換方法を示すことができる。ここで、前記1次変換係数は、変換部の立場で仮の変換係数と呼ばれ得る。
言い換えると、既存の変換方法が適用される場合、DCTタイプ2に基づいて、レジデュアル信号(又はレジデュアルブロック)に対する空間ドメインから周波数ドメインへの変換が適用されて、変換係数が生成できる。これと異なり、前記多重核心変換が適用される場合、DCTタイプ2、DSTタイプ7、DCTタイプ8、及び/又はDSTタイプ1等に基づいて、レジデュアル信号(又はレジデュアルブロック)に対する空間ドメインから周波数ドメインへの変換が適用されて、変換係数(又は1次変換係数)が生成できる。ここで、DCTタイプ2、DSTタイプ7、DCTタイプ8、及びDSTタイプ1等は、変換タイプ、変換カーネル(kernel)又は変換コア(core)と呼ばれ得る。このようなDCT/DST変換タイプは、基底関数に基づいて定義されることができる。
前記多重核心変換が行われる場合、前記変換カーネルのうち、対象ブロックに対する垂直変換カーネル及び水平変換カーネルが選択でき、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が行われ、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が行われ得る。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル/水平変換カーネルは、レジデュアルブロックを含む対象ブロック(CU又はサブブロック)の予測モード及び/又は変換インデックスに基づいて、適応的に決定されることができる。
また、一例にかかると、MTSを適用して1次変換を行う場合、特定の基底関数を所定の値に設定し、垂直変換又は水平変換であるとき、どの基底関数が適用されるか否かを組み合わせて、変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向の変換カーネルをtrTypeHorで示し、垂直方向の変換カーネルをtrTypeVerで示す場合、trTypeHor又はtrTypeVerの値0はDCT2に設定され、trTypeHor又はtrTypeVerの値1はDST7に設定され、trTypeHor又はtrTypeVerの値2はDCT8に設定されることができる。
この場合、多数の変換カーネルセットのいずれかを指示するために、MTSのインデックス情報がエンコーディングされ、デコーディング装置にシグナリングされることができる。例えば、MTSのインデックスが0であると、trTypeHor及びtrTypeVerの値がすべて0であることを指示し、MTSのインデックスが1であると、trTypeHor及びtrTypeVerの値がすべて1であることを指示し、MTSのインデックスが2であると、trTypeHorの値は2であり、trTypeVerの値は1であることを指示し、MTSのインデックスが3であると、trTypeHorの値は1であり、trTypeVerの値は2であることを指示し、MTSのインデックスが4であると、trTypeHor及びtrTypeVerの値がすべて2であることを指示することができる。
一例にかかり、MTSのインデックス情報による変換カーネルセットを表で示すと、次の通りである。
変換部は、前記(1次)変換係数に基づいて2次変換を行って、修正された(2次)変換係数を導出することができる(S420)。前記1次変換は、空間ドメインから周波数ドメインへの変換であり、前記2次変換は、(1次)変換係数の間に存在する相関関係(correlation)を用いて、より圧縮的な表現で変換することを意味する。前記2次変換は、非分離変換(non-separable transform)を含むことができる。この場合、前記2次変換は、非分離2次変換(non-separable secondary transform、NSST)又はMDNSST(mode-dependent non-separable secondary transform)と呼ばれ得る。前記非分離2次変換は、前記1次変換を介して導出された(1次)変換係数を非分離変換マトリックス(non-separable transform matrix)に基づいて2次変換し、レジデュアル信号に対する修正された変換係数(又は2次変換数)を生成する変換を示すことができる。ここで、前記非分離変換マトリックスに基づいて、前記(1次)変換係数に対して、垂直変換及び水平変換を分離して(又は水平垂直変換を独立して)適用せずに、一度に変換を適用することができる。言い換えると、前記非分離2次変換は、前記(1次)変換係数の垂直成分及び水平成分分離せず、例えば、2次元信号(変換係数)を特定の決められた方向(例えば、行優先(row-first)方向又は列優先(column-first)方向)を通じて、1次元信号に再整列した後、前記非分離変換マトリックスに基づいて修正された変換係数(又は2次変換係数)を生成する変換方法を示すことができる。例えば、行優先の順序は、MxNブロックに対して、1番目の行、2番目の行、...、N番目の行の順序で一列に配置することであり、列優先の順序は、MxNブロックに対して、1番目の列、2番目の列、...、M番目の列の順序で一列に配置することである。前記非分離2次変換は、(1次)変換係数で構成されたブロック(以下、変換係数ブロックと呼ばれ得る)の左上側(top-left)領域に対して適用されることができる。例えば、前記変換係数ブロックの幅(W)及び高さ(H)が両方とも8以上である場合、8×8の非分離2次変換が前記変換係数ブロックの左上側の8×8領域に対して適用されることができる。また、前記変換係数ブロックの幅(W)及び高さ(H)が両方とも4以上でありながら、前記変換係数ブロックの幅(W)又は高さ(H)が8よりも小さい場合、4×4の非分離2次変換が前記変換係数ブロックの左上側のmin(8,W)×min(8,H)領域に対して適用されることができる。但し、実施例はこれに限定されず、例えば、前記変換係数ブロックの幅(W)又は高さ(H)がすべて4以上の条件のみ満たしても、4×4の非分離2次変換が前記変換係数ブロックの左上側のmin(8,W)×min(8,H)領域に対して適用されることもできる。
具体的に、例えば、4×4の入力ブロックが使用される場合、非分離2次変換は次のように実行されることができる。
前記4×4の入力ブロックXは、次のように示され得る。
前記Xをベクトルの形態で示す場合、ベクトル
は、次のように示され得る。
数式2のように、ベクトル
は、行優先(row-first)の順序によって、数式1におけるXの2次元ブロックを1次元ベクトルに再配列する。
この場合、前記2次非分離変換は、次のように計算されることができる。
ここで、
は、変換係数ベクトルを示し、Tは、16×16の(非分離)変換マトリックスを示す。
前記数式3を介して、16×1の変換係数ベクトル
が導出でき、前記
は、スキャン順序(水平、垂直、対角(diagonal)等)を介して、4×4ブロックで再構成(re-organized)できる。但し、前述した計算は例示であって、非分離2次変換の計算の複雑度を減らすために、HyGT(Hypercube-Givens Transform)等が非分離2次変換の計算のために使用されることもできる。
一方、前記非分離2次変換は、モードベース(mode dependent)として変換カーネル(又は変換コア、変換タイプ)が選択できる。ここで、モードは、イントラ予測モード及び/又はインター予測モードを含むことができる。
前述したように、前記非分離2次変換は、前記変換係数ブロックの幅(W)及び高さ(H)に基づいて決定された8×8変換又は4×4変換に基づいて実行されることができる。8x8変換は、WとHがすべて8よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた8x8領域に適用されることができる変換を指し、該当8x8領域は、該当変換係数ブロックの内部の左上側の8x8領域であり得る。同様に、4x4変換は、WとHがすべて4よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた4x4領域に適用されることができる変換を指し、該当4x4領域は、該当変換係数ブロックの内部の左上側の4x4領域であり得る。例えば、8x8変換カーネルマトリックスは、64x64/16x64行列、4x4変換カーネルマトリックスは、16x16/8x16行列になり得る。
このとき、モードベースの変換カーネルの選択のために、8×8変換及び4×4変換の両方に対して、非分離2次変換のための変換セット当たり2個ずつの非分離2次変換カーネルが構成され得、変換セットは4個であり得る。すなわち、8×8変換に対して4個の変換セットが構成され、4×4変換に対して4個の変換セットが構成され得る。この場合、8×8変換に対する4個の変換セットには、それぞれ2個ずつの8×8変換カーネルが含まれ得、この場合、4×4変換に対する4個の変換セットには、それぞれ2個ずつの4×4変換カーネルが含まれ得る。
但し、前記変換のサイズ、前記セットの数、及びセット内の変換カーネルの数は例示であって、8×8又は4×4以外のサイズが使用されることがあり、又はn個のセットが構成され、各セット内にk個の変換カーネルが含まれることもある。
前記変換セットは、NSSTセットと呼ばれ得、前記NSSTセット内の変換カーネルは、NSSTカーネルと呼ばれ得る。前記変換セットのうち、特定セットの選択は、例えば、対象ブロック(CU又はサブブロック)のイントラ予測モードに基づいて行われ得る。
参考までに、例えば、イントラ予測モードは、2個の非方向性(non-directinoal、又は非角度性(non-angular))イントラ予測モードと65個の方向性(directional、又は角度性(angular))イントラ予測モードとを含むことができる。前記非方向性イントラ予測モードは、0番であるプラナー(planar)イントラ予測モード及び1番であるDCイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、2番乃至66番の65個のイントラ予測モードを含むことができる。但し、これは例示であって、本文書は、イントラ予測モードの数が異なる場合にも適用できる。一方、場合に応じて、67番のイントラ予測モードがさらに使用でき、前記67番のイントラ予測モードは、LM(linear model)モードを示すことができる。
図5は、65個の予測方向のイントラ方向性モードを例示的に示す。
図5を参照すると、左上側対角の予測方向を有する34番のイントラ予測モードを中心に水平方向性(horizontal directionality)を有するイントラ予測モードと、垂直方向性(vertical directionality)を有するイントラ予測モードとを区分することができる。図5のHとVは、それぞれ水平方向性と垂直方向性を意味し、-32~32の数字は、サンプルグリッドポジション(sample grid position)上で1/32単位の変位を示す。これは、モードインデックス値に対するオフセットを示すことができる。 2番乃至33番のイントラ予測モードは水平方向性、34番乃至66番のイントラ予測モードは垂直方向性を有する。一方、34番のイントラ予測モードは、厳密に言えば、水平方向性でも垂直方向性でもないと見ることができるが、2次変換の変換セットを決定する観点から、水平方向性に属すると分類できる。これは、34番のイントラ予測モードを中心に対称となる垂直方向モードに対しては、入力データをトランスポーズ(transpose)して使用し、34番のイントラ予測モードに対しては、水平方向モードに対する入力データの整列方式を使用するためである。入力データをトランスポーズすることは、2次元ブロックのデータMxNに対して、行が列となり、列が行となり、NxMのデータを構成することを意味する。18番のイントラ予測モードと50番のイントラ予測モードとは、それぞれ水平イントラ予測モード(horizontal intra prediction mode)、垂直イントラ予測モード(vertical intra prediction mode)を示し、2番のイントラ予測モードは、左側の参照ピクセルをもって右上側方向と予測するので、右上側対角のイントラ予測モードと呼ばれ得、同じ脈絡で34番のイントラ予測モードは、右下側対角のイントラ予測モード、66番のイントラ予測モードは、左下側対角のイントラ予測モードと呼ばれ得る。
一例にかかり、イントラ予測モードによって、4個の変換セットがマッピング(mapping)は、例えば、次の表のように示され得る。
表2のように、イントラ予測モードによって4個の変換セットのいずれか、すなわち、stTrSetIdxが0から3、すなわち、4個のいずれかにマッピングされることができる。
一方、非分離変換に特定セットが使用されると決定されると、非分離2次変換インデックスを介して、前記特定セット内のk個の変換カーネルの一つが選択できる。エンコーディング装置は、RD(rate-distortion)チェックに基づいて特定の変換カーネルを指す非分離2次変換インデックスを導出することができ、前記非分離2次変換インデックスをデコーディング装置にシグナリングできる。デコーディング装置は、前記非分離2次変換インデックスに基づいて、特定セット内のk個の変換カーネルの一つを選択することができる。例えば、NSSTのインデックス値0は、1番目の非分離2次変換カーネルを示すことができ、NSSTのインデックス値1は、2番目の非分離2次変換カーネルを示すことができ、NSSTのインデックス値2は、3番目の非分離2次変換カーネルを示すことができる。或いは、NSSTのインデックス値0は、対象ブロックに対して、1番目の非分離2次変換が適用されないことを示すことができ、NSSTのインデックス値1乃至3は、前記3個の変換カーネルを示すことができる。
変換部は、選択された変換カーネルに基づいて前記非分離2次変換を実行し、修正された(2次)変換係数を獲得することができる。前記修正された変換係数は、前述したように量子化部を介して量子化された変換係数で導出されることができ、エンコーディングされて、デコーディング装置にシグナリング及びエンコーディング装置内の逆量子化/逆変換部に伝達されることができる。
一方、前述したように2次変換が省略される場合、前記1次(分離)変換の出力である(1次)変換係数が、前述したように量子化部を介して量子化された変換係数で導出されることができ、エンコーディングされて、デコーディング装置にシグナリング及びエンコーディング装置内の逆量子化/逆変換部に伝達されることができる。
逆変換部は、前述した変換部で行われた手順の逆順で一連の手順を行うことができる。逆変換部は、(逆量子化された)変換係数を受信し、2次(逆)変換を行って(1次)変換係数を導出し(S450)、前記(1次)変換係数に対して1次(逆)変換を行って、レジデュアルブロック(レジデュアルサンプル)を獲得することができる(S460)。ここで、前記1次変換係数は、逆変換部の立場で、修正された(modified)変換係数と呼ばれ得る。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックとに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成できることは前述した通りである。
一方、デコーディング装置は、2次逆変換適用可否決定部(又は2次逆変換の適用可否を決定する要素)と、2次逆変換決定部(又は2次逆変換を決定する要素)をさらに含むことができる。2次逆変換適用可否決定部は、2次逆変換の適用可否を決定することができる。例えば、2次逆変換は、NSST又はRSTであり得、2次逆変換適用可否決定部は、ビットストリームからパーシングした2次変換フラグに基づいて、2次逆変換の適用可否を決定することができる。別の一例として、2次逆変換適用可否決定部は、レジデュアルブロックの変換係数に基づいて、2次逆変換の適用可否を決定することもできる。
2次逆変換決定部は、2次逆変換を決定することができる。このとき、2次逆変換決定部は、イントラ予測モードによって指定されたNSST(又はRST)変換セットに基づいて、現在ブロックに適用される2次逆変換を決定することができる。また、一実施例として、1次変換決定方法に依存的に(depend on)2次変換決定方法が決定できる。イントラ予測モードによって1次変換と2次変換の多様な組み合わせが決定できる。また、一例として、2次逆変換決定部は、現在ブロックの大きさに基づいて、2次逆変換が適用される領域を決定することもできる。
一方、前述したように、2次(逆)変換が省略される場合、(逆量子化された)変換係数を受信し、前記1次(分離)逆変換を行ってレジデュアルブロック(レジデュアルサンプル)を獲得することができる。エンコーディング装置及びデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成し、これに基づいて復元ピクチャを生成できることは前述した通りである。
一方、本文書においては、非分離2次変換に伴われる計算量とメモリ要求量の低減のために、NSSTの概念で変換マトリックス(カーネル)の大きさが減少したRST(reduced secondary transform)を適用することができる。
一方、本文書で説明された変換カーネル、変換マトリックス、変換カーネルマトリックスを構成する係数、すなわち、カーネル係数又はマトリックス係数は、8ビットで表現され得る。これは、デコーディング装置及びエンコーディング装置で具現するための一つの条件であり得、既存の9ビット又は10ビットと比較し、合理的に受け入れられる性能低下を伴いながら、変換カーネルを保存するためのメモリ要求量を減らすことができる。また、カーネルマトリックスを8ビットで表現することによって、小さい乗算器を使用でき、最適のソフトウェアの具現のために使用されるSIMD(Single Instruction Multiple Data)命令により好適であり得る。
本明細書において、RSTは簡素化ファクター(factor)によってサイズが減少した変換マトリックス(transform matrix)に基づいて、対象ブロックに対するレジデュアルサンプルに対して行われる変換を意味することができる。簡素化変換を行う場合、変換マトリックスのサイズの減少により、変換時に要求される演算量が減少し得る。すなわち、RSTは、サイズが大きいブロックの変換又は非分離変換時に発生する演算の複雑度(complexity)のイシューを解消するために利用できる。
RSTは、減少した変換、減少変換、reduced transform、reduced secondary transform、reduction transform、simplified transform、simple transform等の多様な用語で指称され得、RSTが指称され得る名称は、挙げられた例示に限定されない。或いは、RSTは、主に変換ブロックで0ではない係数を含む低周波領域で行われるので、LFNST(Low-Frequency Non-Separable Transform)と指称されることもある。前記変換インデックスは、LFNSTインデックスと名付けられ得る。
一方、2次逆変換がRSTに基づいて行われる場合、エンコーディング装置200の逆変換部235とデコーディング装置300の逆変換部322とは、変換係数に対する逆RSTに基づいて修正された変換係数を導出する逆RST部と、修正された変換係数に対する逆1次変換に基づいて、前記対象ブロックに対するレジデュアルサンプルを導出する逆1次変換部とを含むことができる。逆1次変換は、レジデュアルに適用された1次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。
図6は、本文書の一実施例にかかるRSTを説明するための図である。
本明細書において、「対象ブロック」は、コーディングが実行される現在ブロック又はレジデュアルブロック又は変換ブロックを意味することができる。
一実施例にかかるRSTで、N次元ベクトル(N dimensional vector)が異なる空間に位置したR次元ベクトル(R dimensional vector)にマッピングされ、減少した変換マトリックスが決定でき、ここで、RはNよりも小さい。Nは、変換が適用されるブロックの一辺の長さ(length)の二乗、又は変換が適用されるブロックと対応する変換係数の総個数を意味することができ、簡素化ファクターは、R/N値を意味することができる。簡素化ファクターは、減少したファクター、減少ファクター、reduced factor、reduction factor、simplified factor、simple factor等の多様な用語で指称され得る。一方、Rは、簡素化係数(reduced coefficient)と指称され得るが、場合に応じては、簡素化ファクターがRを意味することもある。また、場合に応じて、簡素化ファクターは、N/R値を意味することもある。
一実施例において、簡素化ファクター又は簡素化係数は、ビットストリームを介してシグナリングできるが、実施例がこれに限定されるわけではない。例えば、簡素化ファクター又は簡素化係数に対する既に定義された値が各エンコーディング装置200及びデコーディング装置300に保存されていることがあり、この場合、簡素化ファクター又は簡素化係数は、別にシグナリングされないことがある。
一実施例にかかる簡素化変換マトリックスのサイズは、通常の変換マトリックスのサイズNxNよりも小さいRxNであり、下記の数式4のように定義されることができる。
図6の(a)に示すReduced Transformブロック内のマトリックスTは、数式4のマトリックスTRxNを意味することができる。図6の(a)のように、対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリックスTRxNが掛けられる場合、対象ブロックに対する変換係数が導出できる。
一実施例において、変換が適用されるブロックのサイズが8x8であり、R=16(すなわち、R/N=16/64=1/4である)である場合、図6の(a)によるRSTは、下記の数式5のような行列演算で表現され得る。この場合、メモリと乗算演算が簡素化ファクターにより略1/4と減少し得る。
本文書において行列演算とは、行列を列ベクトルの左側に置いて、行列と列ベクトルを掛けて列ベクトルを得る演算で理解され得る。
数式5において、r乃至r64は、対象ブロックに対するレジデュアルサンプルを示すことができ、より具体的に、1次変換を適用して生成された変換係数であり得る。数式5の演算結果、対象ブロックに対する変換係数cが導出でき、cの導出過程は数式6の通りである。
数式6の演算結果、対象ブロックに対する変換係数c乃至cが導出できる。すなわち、R=16である場合、対象ブロックに対する変換係数c乃至c16が導出できる。もし、RSTではなく、通常の(regular)変換が適用されて、サイズが64x64(NxN)である変換マトリックスが、サイズが64x1(Nx1)であるレジデュアルサンプルに掛けられたら、対象ブロックに対する変換係数が64個(N個)が導出されるかもしれないが、RSTが適用されたため、対象ブロックに対する変換係数が16個(R個)のみ導出される。対象ブロックに対する変換係数の総個数がN個からR個に減少し、エンコーディング装置200がデコーディング装置300に送信するデータの量が減少するので、エンコーディング装置200-デコーディング装置300の間の送信効率が増加し得る。
変換マトリックスのサイズの観点から検討すると、通常の変換マトリックスのサイズは64x64(NxN)であるが、簡素化変換マトリックスのサイズは16x64(RxN)と減少するので、通常の変換を行う時と比較すると、RSTを行う際にメモリの使用をR/Nの割合で減少させることができる。また、通常の変換マトリックスを用いる際の乗算演算の数NxNと比較すると、簡素化変換マトリックスを用いると、乗算演算の数をR/Nの割合で減少(RxN)させることができる。
一実施例において、エンコーディング装置200の変換部232は、対象ブロックに対するレジデュアルサンプルを1次変換及びRSTベースの2次変換を行うことによって、対象ブロックに対する変換係数を導出することができる。このような変換係数は、デコーディング装置300の逆変換部に伝達されることができ、デコーディング装置300の逆変換部322は、変換係数に対する逆RST(reduced secondary transform)に基づいて修正された変換係数を導出し、修正された変換係数に対する逆1次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる。
一実施例にかかる逆RSTマトリックスTNxRのサイズは、通常の逆変換マトリックスのサイズNxNよりも小さいNxRであり、数式4に示された簡素化変換マトリックスTRxNとトランスポーズ(transpose)の関係にある。
図6の(b)に示されたReduced Inv. Transformブロック内のマトリックスTは、逆RSTマトリックスTRxN を意味することができる(上付き文字Tはトランスポーズを意味する)。図6の(b)のように、対象ブロックに対する変換係数に対して逆RSTマトリックスTRxN が掛けられる場合、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルが導出できる。逆RSTマトリックスTRxN は、(TRxN NxRと表現することもある。
より具体的に、2次逆変換で逆RSTが適用される場合には、対象ブロックに対する変換係数に対して逆RSTマトリックスTRxN が掛けられると、対象ブロックに対する修正された変換係数が導出できる。一方、逆1次変換で逆RSTが適用でき、この場合、対象ブロックに対する変換係数に対して逆RSTマトリックスTRxN が掛けられると、対象ブロックに対するレジデュアルサンプルが導出できる。
一実施例において、逆変換が適用されるブロックのサイズが8x8であり、R=16(すなわち、R/N=16/64=1/4である場合)である場合、図6の(b)によるRSTは、下記の数式7のような行列演算で表現され得る。
数式7において、c乃至c16は、対象ブロックに対する変換係数を示すことができる。数式7の演算結果、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルを示すrが導出でき、rの導出過程は、数式8の通りである。
数式8の演算結果、対象ブロックに対する修正された変換係数又は対象ブロックに対するレジデュアルサンプルを示すr乃至rが導出できる。逆変換マトリックスのサイズの観点から検討すると、通常の逆変換マトリックスのサイズは64x64(NxN)であるが、簡素化逆変換マトリックスのサイズは、64x16(NxR)と減少するので、通常の逆変換を行う時と比較すると、逆RSTを行う際にメモリの使用をR/Nの割合で減少させることができる。また、通常の逆変換マトリックスを用いる際の乗算演算の数NxNと比較すると、簡素化逆変換マトリックスを用いると、乗算演算の数をR/Nの割合で減少(NxR)させることができる。
一方、8x8のRSTに対しても、表2のような変換セットの構成を適用することができる。すなわち、表2での変換セットによって該当8x8のRSTが適用できる。一つの変換セットは、画面内の予測モードによって2個又は3個の変換(カーネル)で構成されているので、2次変換を適用しない場合まで含めて、最大4個の変換のうち一つを選択するように構成されることができる。2次変換を適用しないときの変換は、恒等行列が適用されているとみなされ得る。4個の変換に対してそれぞれ0、1、2、3のインデックスを付与するとしたとき(例えば、0番のインデックスを恒等行列、すなわち、2次変換を適用しない場合に割り当てることができる)、NSSTインデックスというシンタックス要素(syntax element)を変換係数ブロック毎にシグナリングして、適用される変換を指定することができる。すなわち、NSSTインデックスを介して8x8の左上側ブロックに対して、8x8のNSSTを指定することができ、RSTの構成では8x8のRSTを指定することができる。8x8のNSST及び8x8のRSTは、変換の対象になる対象ブロックのWとHがすべて8よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた8x8の領域に適用されることができる変換を示す、該当8x8の領域は、該当変換係数ブロックの内部の左上側8x8の領域であり得る。同様に、4x4のNSST及び4x4のRSTは、対象ブロックのWとHがすべて4よりも等しいか大きいとき、該当変換係数ブロックの内部に含まれた4x4の領域に適用されることができる変換を示し、該当4x4の領域は、該当変換係数ブロックの内部の左上側4x4の領域であり得る。
一方、本文書の一実施例にかかり、エンコーディング過程の変換で、8x8の領域を構成する64個のデータに対して、16x64の変換カーネルマトリックスではなく、48個のデータのみを選択し、最大16x48の変換カーネルマトリックスを適用することができる。ここで、「最大」とは、m個の係数を生成することができるmx48の変換カーネルマトリックスに対して、mの最大値が16ということを意味する。すなわち、8x8の領域にmx48の変換カーネルマトリックス(m≦16)を適用してRSTを行う場合、48個のデータが入力されて、m個の係数を生成できる。mが16である場合、48個のデータが入力されて、16個の係数を生成する。すなわち、48個のデータが48x1ベクトルをなすとしたとき、16x48行列と48x1ベクトルを順序通りに掛けて、16x1ベクトルが生成できる。このとき、8x8領域をなす48個のデータを適切に配列し、48x1ベクトルを構成することができる。このとき、最大16x48の変換カーネルマトリックスを適用して行列演算を行うと、16個の修正された変換係数が生成されるが、16個の修正された変換係数は、スキャニング順序に従って左上側4x4の領域に配置され得、右上側4x4の領域と左下側4x4の領域は0で満たされ得る。
デコーディング過程の逆変換には、前記叙述された変換カーネルマトリックスのトランスポーズされたマトリックスが使用できる。すなわち、デコーディング装置で行われる逆変換過程で逆RST又はLFNSTが行われる場合、逆RSTを適用する入力係数データは、所定の配列順序に従って1次元ベクトルで構成され、1次元ベクトルに該当逆RSTの行列を左側で掛けて得られた修正された係数ベクトルを所定の配列順序に従って2次元ブロックに配列され得る。
整理すると、変換過程で、8x8の領域にRST又はLFNSTが適用される場合、8x8領域の変換係数のうち、8x8領域の右下側領域を除いた左上側、右上側、左下側領域の48個の変換係数と、16x48の変換カーネルマトリックスとの行列演算が行われる。行列演算のために、48個の変換係数は1次元の配列に入力される。このような行列演算が行われると、16個の修正された変換係数が導出され、修正された変換係数は、8x8領域の左上側領域に配列され得る。
逆に、逆変換過程で、8x8領域に逆RST又はLFNSTが適用される場合、8x8領域の変換係数のうち、8x8領域の左上側に対応する16個の変換係数は、スキャニング順序に従って、1次元の配列形態で入力されて、48x16の変換カーネルマトリックスと行列演算されることができる。すなわち、このような場合の行列演算は、(48x16行列)*(16x1変換係数ベクトル)=(48x1修正された変換係数ベクトル)で示すことができる。ここで、nx1ベクトルは、nx1行列のような意味で解釈され得るので、nx1列ベクトルで表記されることもある。また、*は、行列の乗算演算を意味する。このような行列演算が行われると、48個の修正された変換係数が導出でき、48個の修正された変換係数は、8x8領域の右下側領域を除いた左上側、右上側、左下側領域に配列され得る。
一方、2次逆変換がRSTに基づいて行われる場合、エンコーディング装置200の逆変換部235とデコーディング装置300の逆変換部322は、変換係数に対する逆RSTに基づいて修正された変換係数を導出する逆RST部と、修正された変換係数に対する逆1次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆1次変換部とを含むことができる。逆1次変換は、レジデュアルに適用された1次変換の逆変換を意味する。本文書において変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。
一方、一実施例にかかり、BDPCM(block differential pulse coded modulation又はBlock-based Delta Pulse Code Modulation)技法が使用できる。BDPCMは、RDPCM(quantized Residual block-based Delta Pulse Code Modulation)とも名付けられ得る。
BDPCMを適用してブロックを予測する場合、ブロックの行又は列をラインバイラインで予測するために復元されたサンプルを活用する。このとき、使用された参照ピクセルは、フィルタリングされないサンプルであり得る。BDPCMの方向は、垂直方向又は水平方向の予測が使用されているか否かを示すことができる。予測誤謬(prediction error)は、空間的ドメインで量子化され、ピクセルは予測に逆量子化された予測誤謬を加えることによって復元される。このようなBDPCMの代案として、量子化されたレジデュアルドメインBDPCMが提案され得、予測方向やシグナリングは、空間的ドメインに適用されたBDPCMと同一であり得る。すなわち、量子化されたレジデュアルドメインBDPCMを介して量子化係数そのものをDPCM(Delta Pulse Code Modulation)のように重ねた後、逆量子化を介してレジデュアルを復元することができる。従って、量子化されたレジデュアルドメインBDPCMは、レジデュアルコーディング端でDPCMを適用するという意味で使用できる。以下で使用される量子化されたレジデュアルドメインは、予測に基づいて導出されたレジデュアルが変換なく量子化されたものであって、量子化されたレジデュアルサンプルに対するドメインを意味する。
M(行)XN(列)サイズのブロックに対して、左側又は上側の境界サンプルのうち、フィルタリングされていないサンプルを用いて、水平方向にイントラ予測(左側周辺ピクセルラインをラインバイラインで予測ブロックにコピーする)又は垂直方向にイントラ予測(上側周辺ラインをラインバイラインで予測ブロックにコピーする)を行った予測レジデュアルをr(i,j)(0≦i≦M-1,0≦j≦N-1)と仮定する。そして、レジデュアルr(i,j)の量子化されたバージョンをQ(r(i,j))(0≦i≦M-1,0≦j≦N-1)と仮定する。ここで、レジデュアルは、原本ブロックと予測ブロック値の差異値を意味する。
その後、BDPCMを量子化されたレジデュアルサンプルに適用すると、
を構成とするM×Nの変形されたアレイ
が導出される。
垂直BDPCMがシグナリングされると、
は次の数式の通りである。
水平予測に対して同様に適用すると、量子化されたレジデュアルサンプル(the residual quantized samples)は、次の数式の通りである。
量子化されたレジデュアルサンプル
は、デコーディング装置に送信される。
デコーディング装置では、Q(r(i,j))(0≦i≦M-1,0≦j≦N-1.)を導出するために、前記演算が逆に行われる。
垂直予測については、次の数式が適用できる。
また、水平予測については、次の数式が適用できる。
逆量子化された量子化されたレジデュアル
は、復元されたサンプル値を導出するために、イントラブロック予測値と合わせられる。
このような技法の主要利点は、係数のパーシングの間に、即刻的に係数のパーシング時又はパーシング後も、簡単に予測子を加えることによって、逆BDPCMが行われ得る。
前記のように、BDPCMは量子化されたレジデュアルドメインに適用されることができ、量子化されたレジデュアルドメインは、量子化されたレジデュアル(又は量子化されたレジデュアル係数)を含むことができ、このとき、レジデュアルに対しては変換スキップが適用できる。すなわち、レジデュアルサンプルに対して、変換はスキップされ、量子化は適用されることができる。或いは、量子化されたレジデュアルドメインは、量子化された変換係数を含むこともできる。BDPCMの適用可否に対するフラグは、シーケンスレベル(SPS)でシグナリングされることができ、このようなフラグは、SPSで変換スキップモードが可能であるとシグナリングされる場合にのみシグナリングされることができる。
BDPCMの適用時、量子化されたレジデュアルドメインに対するイントラ予測は、イントラ予測方向と類似する予測方向(例えば、垂直予測又は水平予測)によるサンプルコピー(sample copy)によって全体ブロックに行われる。レジデュアルは量子化され、量子化されたレジデュアルと水平又は垂直方向に対する予測子(すなわち、水平又は垂直方向の量子化されたレジデュアル)との間のデルタ値、すなわち、差分値
がコーディングされる。
BDPCMが適用可能であると、CUサイズがルマサンプルに対するMaxTsSize(最大の変換スキップサイズ)よりも小さいか等しく、CUがイントラ予測でコーティングされたとき、フラグ情報はCUレベルで送信されることができる。ここで、MaxTsSizeは、変換スキップモードが許容されるための最大のブロックサイズを意味する。このようなフラグ情報は、通常のイントラコーディングが適用されるか、又はBDPCMが適用されるか否かを指示する。BDPCMが適用されると、予測方向が水平方向であるか、垂直方向であるか否かを指示するBDPCMの予測方向フラグが送信できる。そうすると、ブロックはフィルタリングされていない参照サンプルを用いた通常の水平又は垂直イントラ予測過程を介して予測される。レジデュアルは量子化され、各量子化されたレジデュアルとその予測子、例えば、BDPCMの予測方向によって水平又は垂直方向にある周辺位置の既に量子化されたレジデュアル、との間の差異値がコーディングされる。
前述した内容に対するシンタックスエレメント及びそれに対するセマンティックスを表で示すと次の通りである。
表3は、SPS(Sequence parameter set)でシグナリングされる「sps_bdpcm_enabled_flag」を示しており、シンタックスエレメント「sps_bdpcm_enabled_flag」が1であると、イントラ予測が行われるコーディングユニットにBDPCMが適用されるか否かを示すフラグ情報、すなわち、「intra_bdpcm_luma_flag」及び「intra_bdpcm_chroma_flag」がコーディングユニットに存在することを示す。
前記シンタックスエレメント「sps_bdpcm_enabled_flag」が存在しないと、その値は0とみなされる。
表4のシンタックスエレメント「intra_bdpcm_luma_flag」及び「intra_bdpcm_chroma_flag」は、表3で説明されたように、現在ルマコーディングブロック又は現在クロマコーディングブロックにBDPCMが適用されるか否かを示す。「intra_bdpcm_luma_flag」又は「intra_bdpcm_chroma_flag」の値が1であると、該当コーディングブロックに対する変換はスキップされ、コーディングブロックに対する予測モードは、予測方向を示す「intra_bdpcm_luma_dir_flag」又は「intra_bdpcm_chroma_dir_flag」により、水平又は垂直方向に設定されることができる。「intra_bdpcm_luma_flag」又は「intra_bdpcm_chroma_flag」が存在しないと、この値は0とみなされる。
予測方向を示す「intra_bdpcm_luma_dir_flag」又は「intra_bdpcm_chroma_dir_flag」が0であると、BDPCMの予測方向が水平方向であることを示し、その値が1であると、BDPCMの予測方向が垂直方向であることを示す。
前記フラグ情報に基づいたイントラ予測の過程を表で示すと、次の通りである。
表5は、イントラ予測モードを導出する過程を示しており、イントラ予測モード(IntraPredModeY[xCb][yCb])は、intra_luma_not_planar_flag[xCb][yCb]が0であると、「Table 19」によるINTRA_PLANARに設定され、intra_luma_not_planar_flag[xCb][yCb]が1であると、変数BdpcmDir[xCb][yCb][0]によって垂直モード(INTRA_ANGULAR50)又は水平モード(INTRA_ANGULAR18)に設定されることができる。
変数BdpcmDir[xCb][yCb][0]は、表4に示すように、intra_bdpcm_luma_dir_flag又はintra_bdpcm_chroma_dir_flagの値と同じように設定される。従って、イントラ予測モードは、変数BdpcmDir[xCb][yCb][0]が0であると、水平モード、1であると、垂直モードに設定されることができる。
また、BDPCMの適用時、逆量子化の過程は、表6のように示すことができる。
表6は、変換係数の逆量子化過程(8.4.3 Scaling process for transform coefficients)を示すものであって、BdpcmFlag[xTbY][yYbY][cIdx]の値が1であると、逆量子化されたレジデュアル値(d[x][y])は、中間変数dz[x][y]に基づいて導出できる。BdpcmDir[xTbY][yYbY][cIdx]が0であると、すなわち、水平モードによりイントラ予測が行われると、変数dz[x][y]は、「dz[x-1][y]+dz[x][y]」に基づいて導出される。また、BdpcmDir[xTbY][yYbY][cIdx]が1であると、すなわち、垂直モードによりイントラ予測が行われると、変数dz[x][y]は「dz[x][y-1]+dz[x][y]」に基づいて導出される。すなわち、特定位置のレジデュアルは、水平方向又は垂直方向に以前の位置にあるレジデュアルと特定位置のレジデュアル情報として受信された値の和に基づいて導出できる。BDPCMの適用時、特定位置(x, y)(xは、横方向の座標として左側から右側に増加し、yは、縦方向の座標として上側から下側に増加し、2次元ブロック内の位置を(x,y)と表記する。また、該当変換ブロックの左上側の位置を(0,0)に置いたときの(x,y)の位置を示す)のレジデュアルサンプル値と水平方向又は垂直方向に以前の位置((x-1,y)又は(x, y-1))にあるレジデュアルサンプル値との差分値がレジデュアル情報としてシグナリングされるためである。
一方、一例にかかり、BDPCMが適用されるときは、非分離変換である逆2次変換、例えば、LFNSTを適用しないことがある。従って、BDPCMが適用される場合、LFNSTのインデックス(変換インデックス)の送信を省略し得る。前述したように、LFNSTのインデックスを介してLFNSTの適用可否及びLFNSTのためのどんな変換カーネルマトリックスを適用するか等を指示することができる。例えば、LFNSTのインデックス値が0であると、LFNSTを適用しないことを示し、LFNSTのインデックス値が1又は2であると、イントラ予測モードに基づいて選択されたLFNSTの変換セットを構成する2個の変換カーネルマトリックスの一つを指定することができる。次のように、BDPCMとLFNSTに関連したより具体的な実施例が適用できる。
[第1実施例]
BDPCMをルマ成分又はクロマ成分のいずれかにのみ適用できる。ルマ成分に対するCTU分割ツリーとクロマ成分に対するCTU分割ツリーとを別にコーディングする場合(例えば、VVC標準でのデュアルツリー構造)、BDPCMをルマ成分にのみ適用すると仮定すれば、ルマ成分に対しては、BDPCMが適用されない場合に限ってLFNSTのインデックスを送信することができ、クロマ成分に対しては、LFNSTが適用できる全てのブロックに対して、LFNSTのインデックスを送信することができる。逆に、デュアルツリー構造で、BDPCMをクロマ成分にのみ適用すると仮定すれば、クロマ成分に対しては、BDPCMが適用されない場合に限ってLFNSTのインデックスを送信することができ、ルマ成分に対しては、LFNSTが適用できる全てのブロックに対して、LFNSTのインデックスを送信することができる。
[第2実施例]
ルマ成分とクロマ成分とが同じCTU分割ツリーでコーディングされる場合、すなわち、分割の形態を共有する場合(例えば、VVC標準でのシングルツリー構造)、BDPCMが適用されるブロックでは、ルマ成分とクロマ成分の全てに対してLFNSTを適用しないことがある。或いは、BDPCMが適用されるブロックに対して、一方の成分に対してのみ(例えば、ルマ成分又はクロマ成分)LFNSTを適用するように構成することができ、この場合には、該当成分に対するLFNSTのインデックスのみがコーディングされてシグナリングされることができる。
[第3実施例]
BDPCMが特定タイプの映像又は部分映像(例えば、イントラ予測映像、イントラスライス等)にのみ適用される場合、該当タイプの映像又は部分映像に対してのみBDPCMを適用するように構成することができる。BDPCMが適用されるタイプの映像又は部分映像に対しては、BDPCMが適用されないブロック毎にLFNSTのインデックスを送信することができ、BDPCMが適用されないタイプの映像又は部分映像に対しては、LFNSTが適用できる全てのブロックに対してLFNSTのインデックスを送信することができる。ここで、ブロックは、コーディングブロック又は変換ブロックであり得る。
[第4実施例]
BDPCMは、特定のサイズ以下のブロックにのみ適用されることができる。例えば、あるブロックの幅がW以下であり、高さがH以下の場合に対してのみBDPCMを適用するように構成できる。ここで、WとHはそれぞれ32に設定されることができる。もし、あるブロックの幅がW以下であり、高さがH以下であって、BDPCMが適用できる場合、BDPCMの適用可否を指示するフラグが0でコーディングされる場合(BDPCMを適用しない場合)に対してのみLFNSTのインデックスを送信することができる。
反面、あるブロックの幅がWよりも大きいか、高さがHよりも大きい場合、BDPCMが適用されないため、BDPCMの適用可否を指示するフラグのシグナリングは不要であり、LFNSTが適用できる全てのブロックに対してLFNSTのインデックスを送信することができる。
[第5実施例]
前記第1実施例乃至第4実施例の組み合わせが適用できる。例えば、1)BDPCMをルマ成分にのみ適用、2)BDPCMをイントラスライスにのみ適用、3)BDPCMを幅と高さがすべて32以下であるときのみ適用するように構成し、BDPCMが適用されるブロックに対してはLFNSTのインデックスをコーディング及びシグナリングできる。
以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号/メッセージ/フィールドの名称は例示的に提示されたものであるため、本明細書の技術的特徴が、以下の図面に使用された具体的な名称に制限されない。
図7は、本文書の一実施例にかかるビデオデコーディング装置の動作を示すフローチャートである。
図7に開示された各ステップは、図3に開示されたデコーディング装置300によって実行されることができる。より具体的に、S710は、図3に開示されたエントロピーデコーディング部310によって実行されることができ、S720は、図3に開示された逆量子化部321によって実行されることができ、S730及びS740は、図3に開示された逆変換部322によって実行されることができ、S750は、図3に開示された加算部340によって実行されることができる。また、S710乃至S750による動作は、図4乃至図6で前述した内容のうちの一部に基づいたものである。従って、図3乃至図6で前述した内容と重複する具体的な内容は、説明を省略するか、簡単にすることとする。
一実施例にかかるデコーディング装置300は、ビットストリームから対象ブロックに対する量子化された変換係数を導出することができる(S710)。より具体的に、デコーディング装置300は、ビットストリームから対象ブロックに対する量子化された変換係数に関する情報をデコーディングすることができ、対象ブロックに対する量子化された変換係数に関する情報に基づいて対象ブロックに対する量子化された変換係数を導出することができる。対象ブロックに対する量子化された変換係数に関する情報は、SPS(Sequence Parameter Set)又はスライスヘッダ(slice header)に含まれることができ、簡素化変換(RST)が適用されるか否かに対する情報、簡素化ファクターに関する情報、簡素化変換を適用する最小の変換サイズに対する情報、簡素化変換を適用する最大の変換サイズに対する情報、簡素化逆変換サイズ、変換セットに含まれた変換カーネルマトリックスのいずれかを指示する変換インデックスに対する情報の少なくとも一つを含むことができる。
一実施例にかかるデコーディング装置300は、対象ブロックに対する量子化された変換係数に対して逆量子化を実行して変換係数を導出することができる(S720)。
一実施例にかかるデコーディング装置300は、変換係数に対する逆非分離変換又は逆RST(reduced secondary transform)に基づいて修正された変換係数を導出することができる(S730)。
一例示において、逆非分離変換又は逆RSTは、逆RSTマトリックスに基づいて実行されることができ、逆RSTマトリックスは、列の個数が行の個数よりも少ない非正方形のマトリックスであり得る。
一実施例において、S730は、変換インデックスをデコーディングするステップと、変換インデックスに基づいて逆RSTを適用する条件に該当するか否かを判断するステップと、変換カーネルマトリックスを選択するステップと、逆RSTを適用する条件に該当する場合、選択された変換カーネルマトリックス及び/又は簡素化ファクターに基づいて変換係数に対して逆RSTを適用するステップと、を含むことができる。このとき、簡素化逆変換マトリックスのサイズは、簡素化ファクターに基づいて決定されることができる。
一実施例にかかるデコーディング装置300は、修正された変換係数に対する逆変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる(S740)。
デコーディング装置300は、対象ブロックに対する修正された変換係数に対して逆1次変換を実行することができ、このとき、逆1次変換は、簡素化逆変換が適用されることもでき、通常の分離変換が使用されることもできる。
一実施例にかかるデコーディング装置300は、対象ブロックに対するレジデュアルサンプル及び対象ブロックに対する予測サンプルに基づいて復元サンプルを生成することができる(S750)。
S730を参照すると、対象ブロックに対する変換係数に対する逆RSTに基づいて対象ブロックに対するレジデュアルサンプルが導出されることを確認することができる。逆変換マトリックスのサイズの観点から検討すると、通常の逆変換マトリックスのサイズはNxNであるが、逆RSTマトリックスのサイズはNxRと減少するので、通常の変換を行う時と比較すると、逆RSTを行う際にメモリの使用をR/Nの割合で減少させることができる。また、通常の逆変換マトリックスを用いる際の乗算演算の数NxNと比較すると、逆RSTのマトリックスを用いると、乗算演算の数をR/Nの割合で減少(NxR)させることができる。また、逆RSTを適用するとき、R個の変換係数のみをデコーディングすればよいので、通常の逆変換が適用されるとき、N個の変換係数をデコーディングしなければならないことと比較するとき、対象ブロックに対する変換係数の総個数がN個からR個と減少し、デコーディングの効率が増加し得る。整理すると、S730によると、逆RSTを介してデコーディング装置300の(逆)変換効率及びデコーディング効率が増加し得る。
図8は、本文書の一実施例にかかる映像デコーディング方法を説明するための制御フローチャートである。
デコーディング装置300は、ビットストリームからBDPCM情報のようなコーディング情報を受信する(S810)。また、デコーディング装置300は、現在ブロックが変換スキップが適用されるか否かを指示する変換スキップフラグ情報、逆2次変換、すなわち、逆非分離変換に対する変換インデックス情報、すなわち、LFNSTのインデックス又は逆1次変換の変換カーネルを指示するMTSのインデックス情報をさらに受信することができる。
BDPCM情報は、現在ブロックにBDPCMが適用されるか否かを指示するBDPCMフラグ情報と、BDPCMが実行される方向に対する方向情報とを含むことができる。
現在ブロックにBDPCMが適用されると、BDPCMのフラグ値は1であり、現在ブロックにBDPCMが適用されないと、BDPCMのフラグ値は0であり得る。
もし、現在ブロックにBDPCMが適用されると、変換スキップのフラグ値は1とみなされ得、変換スキップのフラグ値が1であると、LFNSTのインデックス値は0とみなされるか、受信されないことがある。すなわち、現在ブロックにBDPCMが適用されると、現在ブロックに変換が適用されないことがある。
一方、現在ブロックのツリータイプは、ルマブロックと対応するクロマブロックが個別的な分割構造を有するか否かによってシングルツリー(SINGLE_TREE)又はデュアルツリー(DUAL_TREE)に区分できる。クロマブロックがルマブロックと同じ分割構造を有するとシングルツリー、クロマ成分ブロックがルマ成分ブロックと異なる分割構造を有するとデュアルツリーで示すことができる。一例にかかり、現在ブロックのルマブロック又はクロマブロックにBDPCMが個別的に適用されることができる。もし、ルマブロックにBDPCMが適用されると、ルマブロックに対する変換インデックスは受信されず、クロマブロックにBDPCMが適用されると、クロマブロックに対する変換インデックスは受信されないことがある。
現在ブロックのツリー構造がデュアルツリーである場合、いずれかの成分ブロックにのみBDPCMが適用でき、現在ブロックがシングルツリー構造である場合にも、いずれかの成分ブロックにのみBDPCMが適用できる。この場合、BDPCMが適用されない成分ブロックに対してのみLFNSTのインデックスが受信できる。
或いは、一例にかかり、現在ブロックの幅が第1臨界値以下であり、現在ブロックの高さが第2臨界値以下である場合に限ってBDPCMが適用できる。第1臨界値及び第2臨界値は32であり得、変換が実行される変換ブロックの最大の高さ又は最大の幅に設定されることができる。
一方、BDPCMに対する方向情報は、水平方向又は垂直方向を指示することができ、方向情報によって量子化情報が導出され、予測サンプルが導出できる。
デコーディング装置300は、BDPCMに基づいて現在ブロックに対する量子化された変換係数を導出することができる(S820)。ここで、変換係数は、変換されないレジデュアルサンプル値であり得る。
現在ブロックにBDPCMが適用される場合、デコーディング装置300に受信されるレジデュアル情報は、量子化されたレジデュアルの差分値であり得る。BDPCMの方向に応じて、以前の垂直又は水平方向のラインと特定ラインの量子化されたレジデュアルの差分値が受信でき、デコーディング装置300は、受信される量子化されたレジデュアルの差分値に以前の垂直又は水平方向のラインの量子化されたレジデュアル値を加えて、特定ラインの量子化されたレジデュアルを導出することができる。量子化されたレジデュアルは、数式11又は数式12に基づいて導出されることができる。
デコーディング装置300は、量子化された変換係数に逆量子化を実行して変換係数を導出し(S830)、変換係数に基づいてレジデュアルサンプルを導出することができる(S840)。
前述したように、現在ブロックにBDPCMが適用されると、逆量子化された変換係数は変換過程を経ずにレジデュアルサンプルとして導出されることができる。
イントラ予測部331は、BDPCMが行われる方向に基づいて前記現在ブロックに対するイントラ予測を実行することができる(S850)。

現在ブロックにBDPCMが適用されると、これを用いたイントラ予測が実行でき、これは、BDPCMはイントラモードで予測されたイントラスライス又はイントラコーディングブロックにのみ適用されることができるということを意味することができる。
イントラ予測は、前記BDPCMに対する方向情報に基づいて行われ、現在ブロックのイントラ予測モードは、水平方向モード又は垂直方向モードのいずれかであり得る。
デコーディング装置300は、図7のS750のように導出されたレジデュアルサンプルと予測サンプルとに基づいて復元ピクチャを生成することができる(S860)。
以下の図面は、本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号/メッセージ/フィールドの名称は、例示的に提示されたものであるため、本明細書の技術的特徴が以下の図面に使用された具体的な名称に制限されない。
図9は、本文書の一実施例にかかるビデオエンコーディング装置の動作を示すフローチャートである。
図9に開示された各ステップは、図2に開示されたエンコーディング装置200によって実行されることができる。より具体的に、S910は、図2に開示された予測部220によって実行されることができ、S920は、図2に開示された減算部231によって実行されることができ、S930及びS940は、図2に開示された変換部232によって実行されることができ、S950は、図2に開示された量子化部233及びエントロピーエンコーディング部240によって実行されることができる。また、S910乃至S950による動作は、図4乃至図6で前述した内容のうちの一部に基づいたものである。従って、図2及び図4乃至図6で前述した内容と重複する具体的な内容は、説明を省略するか簡単にすることとする。
一実施例にかかるエンコーディング装置200は、対象ブロックに適用されるイントラ予測モードに基づいて予測サンプルを導出することができる(S910)。
一実施例にかかるエンコーディング装置200は、対象ブロックに対するレジデュアルサンプルを導出することができる(S920)。
一実施例にかかるエンコーディング装置200は、レジデュアルサンプルに対する1次変換に基づいて前記対象ブロックに対する変換係数を導出することができる(S930)。1次変換は、複数の変換カーネルを介して実行されることができ、この場合、イントラ予測モードに基づいて変換カーネルが選択できる。
デコーディング装置300は、対象ブロックに対する変換係数に対して2次変換、又は非分離変換、具体的にNSSTを実行することができ、このとき、NSSTは簡素化変換(RST)に基づいて実行されるか、RSTに基づかずに実行されることができる。NSSTがRSTに基づいて実行されると、S940による動作と対応し得る。
一実施例にかかるエンコーディング装置200は、変換係数に対するRSTに基づいて対象ブロックに対する修正された変換係数を導出することができる(S940)。一例示において、RSTは簡素化変換マトリックス又は変換カーネルマトリックスに基づいて実行されることができ、簡素化変換マトリックスは、行の個数が列の個数よりも少ない非正方形のマトリックスであり得る。
一実施例において、S940はRSTを適用する条件に該当するか否かを判断するステップと、前記判断に基づいて変換インデックスを生成及びエンコーディングするステップと、変換カーネルマトリックスを選択するステップと、RSTを適用する条件に該当する場合、選択された変換カーネルマトリックス及び/又は簡素化ファクターに基づいてレジデュアルサンプルに対してRSTを適用するステップと、を含むことができる。このとき、簡素化変換カーネルマトリックスのサイズは、簡素化ファクターに基づいて決定されることができる。
一実施例にかかるエンコーディング装置200は、対象ブロックに対する修正された変換係数に基づいて量子化を実行して量子化された変換係数を導出し、量子化された変換係数に関する情報をエンコーディングすることができる(S950)。
より具体的に、エンコーディング装置200は、量子化された変換係数に関する情報を生成し、生成された量子化された変換係数に関する情報をエンコーディングすることができる。
一例示において、量子化された変換係数に関する情報は、RSTが適用されるか否かに対する情報、簡素化ファクターに関する情報、RSTを適用する最小の変換サイズに対する情報及びRSTを適用する最大の変換サイズに対する情報の少なくとも1つを含むことができる。
S940を参照すると、レジデュアルサンプルに対するRSTに基づいて対象ブロックに対する変換係数が導出されることを確認することができる。変換カーネルマトリックスのサイズの観点から検討すると、通常の変換カーネルマトリックスのサイズはNxNであるが、簡素化変換マトリックスのサイズはRxNと減少するので、通常の変換を行う時と比較すると、RSTを行う際にメモリの使用をR/Nの割合で減少させることができる。また、通常の変換カーネルマトリックスを用いるときの乗算演算の数NxNと比較すると、簡素化変換カーネルマトリックスを用いると、乗算演算の数をR/Nの割合で減少(RxN)させることができる。また、RSTが適用されると、R個の変換係数のみが導出されるので、通常の変換が適用されるとき、N個の変換係数が導出されることと比較するとき、対象ブロックに対する変換係数の総個数がN個からR個と減少し、エンコーディング装置200がデコーディング装置300に送信するデータの量が減少し得る。整理すると、S940にかかると、RSTを介してエンコーディング装置200の変換効率及びコーディング効率が増加し得る。
図10は、本文書の一実施例にかかる映像エンコーディング方法を説明するための制御フローチャートである。
エンコーディング装置200は、BDPCMに基づいて現在ブロックに対する予測サンプルを導出することができる(S1010)。
エンコーディング装置200は、BDPCMが実行される特定の方向に基づいて、現在ブロックに対するイントラ予測サンプルを導出することができる。特定の方向は、垂直方向又は水平方向であり得、これによるイントラ予測モードによって現在ブロックに対する予測サンプルが生成できる。
一方、現在ブロックのツリータイプは、ルマブロックと対応するクロマブロックが個別的な分割構造を有するか否かによってシングルツリー(SINGLE_TREE)又はデュアルツリー(DUAL_TREE)に区分できる。クロマブロックがルマブロックと同じ分割構造を有するとシングルツリー、クロマ成分ブロックがルマ成分ブロックと異なる分割構造を有するとデュアルツリーで示すことができる。一例にかかり、現在ブロックのルマブロック又はクロマブロックにBDPCMが個別的に適用されることができる。
現在ブロックのツリー構造がデュアルツリーである場合、いずれかの成分ブロックにのみBDPCMが適用でき、現在ブロックがシングルツリー構造である場合にも、いずれかの成分ブロックにのみBDPCMが適用できる。
或いは、一例にかかり、現在ブロックの幅が第1臨界値以下であり、現在ブロックの高さが第2臨界値以下である場合に限って、BDPCMが適用できる。第1臨界値及び第2臨界値は32であり得、変換が実行される変換ブロックの最大の高さ又は最大の幅に設定されることができる。
エンコーディング装置200は、予測サンプルに基づいて現在ブロックに対するレジデュアルサンプルを導出し(S1020)、レジデュアルサンプルに量子化を実行することができる(S1030)。
その後、エンコーディング装置200は、BDPCMに基づいて量子化されたレジデュアル情報を導出することができる(S1040)。
エンコーディング装置200は、特定ラインの量子化されたレジデュアルサンプルと以前の垂直又は水平方向のラインと特定ラインの量子化されたレジデュアルサンプルとの差分値を量子化されたレジデュアル情報として導出することができる。すなわち、通常のレジデュアルではなく、量子化されたレジデュアルの差分値がレジデュアル情報で生成され、数式9又は数式10に基づいて導出されることができる。
エンコーディング装置200は、量子化されたレジデュアル情報及び現在ブロックに対するコーディング情報をエンコーディングすることができる(S1050)。
エンコーディング装置200は、BDPCM情報、現在ブロックが変換スキップが適用されるか否かを指示する変換スキップのフラグ情報、逆2次変換、すなわち、逆非分離変換に対する変換インデックス情報、すなわち、LFNSTのインデックス又は逆1次変換の変換カーネルを指示するMTSのインデックス情報をエンコーディングすることができる。
BDPCM情報は、現在ブロックにBDPCMが適用されるか否かを指示するBDPCMのフラグ情報とBDPCMが実行される方向に対する方向情報を含むことができる。
現在ブロックにBDPCMが適用されると、BDPCMのフラグ値は1でエンコーディングされ、現在ブロックにBDPCMが適用されないと、BDPCMのフラグ値は、0でエンコーディングされることができる。
もし、現在ブロックにBDPCMが適用されると、変換スキップのフラグ値は1とみなされるか、1でエンコーディングされることができる。また、変換スキップのフラグ値が1であると、LFNSTのインデックス値は0とみなされるか、エンコーディングされないことがある。すなわち、現在ブロックにBDPCMが適用されると、現在ブロックに変換が適用されないことがある。
また、前述したように、現在ブロックのツリー構造がデュアルツリーである場合、いずれかの成分ブロックにのみBDPCMが適用でき、現在ブロックがシングルツリー構造である場合にも、いずれかの成分ブロックにのみBDPCMが適用できる。この場合、BDPCMが適用されない成分ブロックに対してのみLFNSTのインデックスがエンコーディングできる。
BDPCMに対する方向情報は、水平方向又は垂直方向を指示することができる。
本文書において、量子化/逆量子化及び/又は変換/逆変換の少なくとも1つは省略され得る。前記量子化/逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれ得る。前記変換/逆変換が省略される場合、前記変換係数は、係数又はレジデュアル係数と呼ばれることもあり、又は表現の統一性のために変換係数と依然として呼ばれることもある。
また、本文書において、量子化された変換係数及び変換係数は、それぞれ変換係数及びスケーリングされた(scaled)変換係数と指称され得る。この場合、レジデュアル情報は、変換係数に関する情報を含むことができ、前記変換係数に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報(又は前記変換係数に関する情報)に基づいて変換係数が導出でき、前記変換係数に対する逆変換(スケーリング)を介してスケーリングされた変換係数が導出できる。前記スケーリングされた変換係数に対する逆変換(変換)に基づいて、レジデュアルサンプルが導出できる。これは、本文書の別の部分でも同様に適用/表現できる。
前述した実施例において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本文書は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、異なるステップが含まれるか、フローチャートの一つ又はそれ以上のステップが本文書の範囲に影響を与えずに削除され得ることを理解することができる。
前述した本文書に係る方法は、ソフトウェアの形態で具現されることができ、本文書に係るエンコーディング装置及び/又はデコーディング装置は、例えば、TV、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を行う装置に含まれ得る。
本文書において、実施例がソフトウェアで具現されるとき、前述した方法は、前述した機能を行うモジュール(過程、機能等)で具現されることができる。モジュールはメモリに保存され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ASIC(application-specific integrated circuit)、他のチップセット、論理回路及び/又はデータ処理装置を含むことができる。メモリは、ROM(read-only memory)、RAM(random access memory)、フラッシュメモリ、メモリカード、保存媒体及び/又は他の保存装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。
また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、保存媒体、カムコーダ、オーダーメイド型ビデオ(VoD)サービス提供装置、OTTビデオ(Over the top video)装置、インターネットストリーミングサービス提供装置、3次元(3D)ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、OTTビデオ(Over the top video)装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスTV、ホームシアターシステム、スマートフォン、タブレットPC、DVR(Digital Video Recoder)等を含み得る。
また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に保存されることができる。本文書に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に保存されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取ることができるデータが保存される全ての種類の保存装置及び分散保存装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク(BD)、汎用直列バス(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁気テープ、フロッピディスク、及び光学的データ保存装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波(例えば、インターネットを介した送信)の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取ることができる記録媒体に保存されるか、有無線通信ネットワークを介して送信されることができる。また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に保存されることができる。
図11は、本文書が適用されるコンテンツストリーミングシステムの構造度を例示的に示す。
また、本文書が適用されるコンテンツストリーミングシステムは、大きくエンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。
前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略され得る。前記ビットストリームは、本文書が適用されるエンコーディング方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを保存することができる。
前記ストリーミングサーバは、ウェブサーバを介したユーザの要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体の役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すれば、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令/応答を制御する役割をする。
前記ストリーミングサーバは、メディアストレージ及び/又はエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信することになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間に保存することができる。
前記ユーザ装置の例としては、携帯電話、スマートフォン(smart phone)、ラップトップコンピュータ(laptop computer)、デジタル放送用端末機、PDA(personal digital assistants)、PMP(portable multimedia player)、ナビゲーション、スレートPC(slate PC)、タブレットPC(tablet PC)、ウルトラブック(ultrabook)、ウェアラブルデバイス(wearable device、例えば、ウォッチ型端末機(smartwatch)、グラス型端末機(smart glass)、HMD(head mounted display))、デジタルTV、デスクトップコンピュータ、デジタルサイニジなどがあり得る。前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法として具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として具現されることができる。

Claims (10)

  1. デコーディング装置によって実行される映像デコーディング方法において、
    BDPCM(Block-based Delta Pulse Code Modulation)情報に基づいて現在ブロックに対する量子化された変換係数を導出するステップであって、前記BDPCM情報は、BDPCMが前記現在ブロックに適用されるか否かを示すBDPCMフラグ情報、及び前記BDPCMが実行される方向に関する方向情報を含む、ステップと、
    前記量子化された変換係数に逆量子化を実行して変換係数を導出するステップと、
    前記変換係数に基づいてレジデュアルサンプルを導出するステップと、を含み、
    前記BDPCMが前記現在ブロックに適用されることに基づいて、前記変換係数に逆非分離変換は適用されず、
    前記BDPCMが前記現在ブロックに適用されることに基づいて、前記現在ブロックに適用される前記逆非分離変換に対する変換インデックスの値は0とみなされ、
    前記現在ブロックのルマブロック又は前記現在ブロックのクロマブロックに前記BDPCMが個別に適用され、
    前記ルマブロックに前記BDPCMが適用されることに基づいて、前記ルマブロックに対する変換インデックスは受信されず、
    前記クロマブロックに前記BDPCMが適用されることに基づいて、前記クロマブロックに対する変換インデックスは受信されない、映像デコーディング方法。
  2. 前記BDPCMが前記現在ブロックに適用されると、前記現在ブロックで変換がスキップされるか否かを指示する変換スキップフラグの値は1とみなされる、請求項1に記載の映像デコーディング方法。
  3. 前記現在ブロックの幅が第1臨界値以下であり、前記現在ブロックの高さが第2臨界値以下であると、前記BDPCMが前記現在ブロックに適用される、請求項1に記載の映像デコーディング方法。
  4. 前記BDPCMが実行される前記方向に関する前記方向情報に基づいて、前記現在ブロックに対するイントラ予測を実行するステップをさらに含む、請求項3に記載の映像デコーディング方法。
  5. 前記方向情報は、水平方向又は垂直方向を指示する、請求項に記載の映像デコーディング方法。
  6. 映像エンコーディング装置によって実行される映像エンコーディング方法において、
    BDPCM(Block-based Delta Pulse Code Modulation)に基づいて現在ブロックに対する予測サンプルを導出するステップと、
    前記予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
    前記レジデュアルサンプルに量子化を実行するステップと、
    前記BDPCMに基づいて量子化されたレジデュアル情報を導出するステップと、
    前記量子化されたレジデュアル情報及び前記現在ブロックに対するコーディング情報をエンコーディングするステップと、を含み、
    前記BDPCMが前記現在ブロックに適用されることに基づいて、前記現在ブロックに非分離変換は適用されず、
    前記コーディング情報は、前記BDPCMが前記現在ブロックに適用されるか否かを示すBDPCMフラグ情報、及び前記BDPCMが実行される方向に関する方向情報を含み、
    前記BDPCMが前記現在ブロックに適用されることに基づいて、前記非分離変換に対する変換インデックスはエンコーディングされず、
    前記現在ブロックのルマブロック又は前記現在ブロックのクロマブロックに前記BDPCMが個別に適用され、
    前記ルマブロックに前記BDPCMが適用されることに基づいて、前記ルマブロックに対する変換インデックスはエンコーディングされず、
    前記クロマブロックに前記BDPCMが適用されることに基づいて、前記クロマブロックに対する変換インデックスはエンコーディングされない、映像エンコーディング方法。
  7. 前記現在ブロックの幅が第1臨界値以下であり、前記現在ブロックの高さが第2臨界値以下であると、前記BDPCMが前記現在ブロックに適用される、請求項に記載の映像エンコーディング方法。
  8. 前記BDPCMが実行される前記方向に基づいて、前記現在ブロックに対するイントラ予測サンプルが導出され、
    前記BDPCMが実行される前記方向に基づいて、前記量子化されたレジデュアル情報が導出される、請求項に記載の映像エンコーディング方法。
  9. 前記方向は、水平方向又は垂直方向を指示する、請求項に記載の映像エンコーディング方法。
  10. ビットストリームを取得するステップであって、前記ビットストリームは、BDPCM(Block-based Delta Pulse Code Modulation)に基づいて現在ブロックに対する予測サンプルを導出し、前記予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを導出し、前記レジデュアルサンプルに量子化を実行し、前記BDPCMに基づいて量子化されたレジデュアル情報を導出し、前記量子化されたレジデュアル情報及び前記現在ブロックに対するコーディング情報をエンコーディングすることにより生成される、ステップと、
    前記ビットストリームを送信するステップと、を含み、
    前記BDPCMが前記現在ブロックに適用されることに基づいて、前記現在ブロックに非分離変換は適用されず、
    前記コーディング情報は、前記BDPCMが前記現在ブロックに適用されるか否かを示すBDPCMフラグ情報、及び前記BDPCMが実行される方向に関する方向情報を含み、
    前記BDPCMが前記現在ブロックに適用されることに基づいて、前記非分離変換に対する変換インデックスはエンコーディングされず、
    前記現在ブロックのルマブロック又は前記現在ブロックのクロマブロックに前記BDPCMが個別に適用され、
    前記ルマブロックに前記BDPCMが適用されることに基づいて、前記ルマブロックに対する変換インデックスはエンコーディングされず、
    前記クロマブロックに前記BDPCMが適用されることに基づいて、前記クロマブロックに対する変換インデックスはエンコーディングされない、送信方法。
JP2023062018A 2019-04-20 2023-04-06 Bdpcmに基づく映像コーディング方法、及びその装置 Active JP7482345B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024048161A JP2024069684A (ja) 2019-04-20 2024-03-25 Bdpcmに基づく映像コーディング方法、及びその装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962836656P 2019-04-20 2019-04-20
US62/836,656 2019-04-20
PCT/KR2020/005216 WO2020218793A1 (ko) 2019-04-20 2020-04-20 Bdpcm에 기반한 영상 코딩 방법 및 그 장치
JP2021562368A JP7260665B2 (ja) 2019-04-20 2020-04-20 Bdpcmに基づく映像コーディング方法、及びその装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021562368A Division JP7260665B2 (ja) 2019-04-20 2020-04-20 Bdpcmに基づく映像コーディング方法、及びその装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024048161A Division JP2024069684A (ja) 2019-04-20 2024-03-25 Bdpcmに基づく映像コーディング方法、及びその装置

Publications (2)

Publication Number Publication Date
JP2023076672A JP2023076672A (ja) 2023-06-01
JP7482345B2 true JP7482345B2 (ja) 2024-05-14

Family

ID=72940725

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021562368A Active JP7260665B2 (ja) 2019-04-20 2020-04-20 Bdpcmに基づく映像コーディング方法、及びその装置
JP2023062018A Active JP7482345B2 (ja) 2019-04-20 2023-04-06 Bdpcmに基づく映像コーディング方法、及びその装置
JP2024048161A Pending JP2024069684A (ja) 2019-04-20 2024-03-25 Bdpcmに基づく映像コーディング方法、及びその装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021562368A Active JP7260665B2 (ja) 2019-04-20 2020-04-20 Bdpcmに基づく映像コーディング方法、及びその装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024048161A Pending JP2024069684A (ja) 2019-04-20 2024-03-25 Bdpcmに基づく映像コーディング方法、及びその装置

Country Status (4)

Country Link
US (3) US11470320B2 (ja)
JP (3) JP7260665B2 (ja)
KR (1) KR20210133299A (ja)
WO (1) WO2020218793A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207498A1 (en) * 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Chroma coding mode determination based on matrix-based intra prediction
JP7403555B2 (ja) 2019-04-16 2023-12-22 北京字節跳動網絡技術有限公司 イントラコーディングモードにおけるマトリクスの導出
WO2020221373A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using filtering
WO2020221372A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
JP2022533190A (ja) 2019-05-22 2022-07-21 北京字節跳動網絡技術有限公司 アップサンプリングを使用した行列ベースのイントラ予測
CN114051735A (zh) 2019-05-31 2022-02-15 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的一步下采样过程
KR20220016833A (ko) 2019-06-05 2022-02-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반의 인트라 예측을 위한 컨텍스트 결정
CN113966610A (zh) * 2019-06-11 2022-01-21 韦勒斯标准与技术协会公司 使用块dpcm预测方法的视频信号处理方法和设备
CN114641997A (zh) 2019-10-28 2022-06-17 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
EP4068783A4 (en) * 2019-11-26 2023-12-13 Electronics and Telecommunications Research Institute METHOD AND DEVICE FOR CODING/DECODING IMAGES AND RECORDING MEDIUM WITH RECORDED BIT STREAM

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2013000093A (es) * 2011-02-22 2013-02-27 Panasonic Corp Metodo de filtro, dispositivo de codificacion de imagen dinamica, dispositivo de decodificacion de imagen dinamica y dispositivo de codificacion y decodificacion de imagen dinamica.
US20140286413A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated Disabling sign data hiding in video coding
US11323747B2 (en) * 2013-06-05 2022-05-03 Qualcomm Incorporated Residual differential pulse code modulation (DPCM) extensions and harmonization with transform skip, rotation, and scans
JP6315911B2 (ja) * 2013-07-09 2018-04-25 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
MX368101B (es) * 2014-01-22 2019-09-19 Nabriva Therapeutics Ag 12-epi-pleuromutilinas.
US11070810B2 (en) * 2014-03-14 2021-07-20 Qualcomm Incorporated Modifying bit depths in color-space transform coding
US9877035B2 (en) * 2014-03-17 2018-01-23 Qualcomm Incorporated Quantization processes for residue differential pulse code modulation
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US20170374369A1 (en) * 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation
KR101845622B1 (ko) * 2016-08-31 2018-04-05 이화여자대학교 산학협력단 영상에 대한 적응적 rdpcm 방법, 적응적 rdpcm에 기반한 인코딩 방법 및 적응적 rdpcm에 기반한 디코딩 방법
BR122021012448B1 (pt) * 2019-01-15 2022-03-22 Lg Electronics Inc Método de decodificação de uma imagem realizado por um aparelho de decodificação, método de codificação de uma imagem realizado por um aparelho de codificação, aparelho de decodificação para decodificação de imagem, aparelho de codificação para codificação de imagem e mídia de armazenamento digital legível por computador não transitória
KR20200109276A (ko) * 2019-03-12 2020-09-22 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11451826B2 (en) * 2019-04-15 2022-09-20 Tencent America LLC Lossless coding mode and switchable residual coding
US20210297685A1 (en) * 2020-03-20 2021-09-23 Qualcomm Incorporated Coefficient coding of transform skip blocks in video coding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
B. Bross, et al.,Non-CE8: Unified Transform Type Signalling and Residual Coding for Transform Skip,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0464-v4,13th Meeting: Marrakech, MA,2019年01月,pp.1-13
G. Clare, et al.,CE8: BDPCM with harmonized residual coding and CCB limitation (CE8-3.1a, CE8-3.1b, CE8-5.1a, CE8-5.1,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0214,14th Meeting: Geneva, CH,2019年03月,pp.1-12
Gordon Clare, and Felix Henry,CE8-related: BDPCM for chroma,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0166,15th Meeting: Gothenburg, SE,2019年06月,pp.1-4
M. Karczewicz,and M. Coban,CE8-related: Quantized residual BDPCM,JVET-N0413_drafttext_v4.docx,JVET-N0413 (version 5),2019年03月26日,pp.43-46,87-92,110-111,223-225,https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0413-v5.zip
Marta Karczewicz, and Muhammed Coban,CE8-related: Quantized residual BDPCM,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0413,14th Meeting: Geneva, CH,pp.1-5

Also Published As

Publication number Publication date
US20220400265A1 (en) 2022-12-15
US20220038698A1 (en) 2022-02-03
WO2020218793A1 (ko) 2020-10-29
JP2022529999A (ja) 2022-06-27
US11470320B2 (en) 2022-10-11
JP2023076672A (ja) 2023-06-01
JP7260665B2 (ja) 2023-04-18
JP2024069684A (ja) 2024-05-21
US11812022B2 (en) 2023-11-07
KR20210133299A (ko) 2021-11-05
US20240007632A1 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
JP7482345B2 (ja) Bdpcmに基づく映像コーディング方法、及びその装置
KR20210019108A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
KR20210133301A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
JP7375151B2 (ja) 映像コーディングにおけるマトリクスベースのイントラ予測のための変換
JP7490037B2 (ja) 二次変換に基づく映像コーディング方法、及びその装置
JP7476401B2 (ja) 画像コーディングにおいて変換カーネルセットを表す情報のシグナリング
JP7455177B2 (ja) 2次変換に基づく映像コーディング方法及びその装置
KR20210129226A (ko) 변환 인덱스를 이용하는 영상 코딩
JP7488399B2 (ja) 変換カーネルセットに関する情報に対するコーディング
KR102408742B1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
US20220150503A1 (en) Method and apparatus for image coding based on transform
JP7476402B2 (ja) 画像コーディングシステムにおいて変換カーネルセットに関する情報に対するコンテキストコーディング
KR20210079379A (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
KR20210095138A (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
KR20210080557A (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
KR20210093891A (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
JP7451722B2 (ja) 変換に基づく画像コーディング方法及びその装置
JP7458489B2 (ja) 変換に基づく画像コーディング方法及びその装置
US11483589B2 (en) Image coding method based on quadratic transform, and apparatus therefor
RU2783336C1 (ru) Способ кодирования изображений на основе bdpcm и устройство для этого
RU2806813C2 (ru) Способ кодирования изображений на основе bdpcm и устройство для этого
KR20230012534A (ko) 영상 코딩 방법 및 그 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240326

R150 Certificate of patent or registration of utility model

Ref document number: 7482345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150