JP2023510441A - 画像符号化方法、画像復号化方法、並びに関連装置及びシステム - Google Patents

画像符号化方法、画像復号化方法、並びに関連装置及びシステム Download PDF

Info

Publication number
JP2023510441A
JP2023510441A JP2022516441A JP2022516441A JP2023510441A JP 2023510441 A JP2023510441 A JP 2023510441A JP 2022516441 A JP2022516441 A JP 2022516441A JP 2022516441 A JP2022516441 A JP 2022516441A JP 2023510441 A JP2023510441 A JP 2023510441A
Authority
JP
Japan
Prior art keywords
mip
prediction
unit
samples
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022516441A
Other languages
English (en)
Inventor
フオ、チュンイェン
ワン、シューアイ
マー、イェンチュオ
ワン、ハイシン
ヤン、フーチョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2023510441A publication Critical patent/JP2023510441A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は画像を符号化するための方法に関する。いくつかの実施形態において、当該方法は以下の内容を含む。(i)画像における符号化ブロックの幅及び高さを確定し、(ii)上記幅及び高さがNに等しい場合、行列に基づいたイントラ予測(MIP)サイズ識別子を確定し、MIPサイズ識別子はMIP予測サイズがNに等しいことを指示し、Nは2の正の整数乗であり、(iii)符号化ブロックの参照サンプルのグループを導き出し、(iv)上記参照サンプルのグループとMIPサイズ識別子に対応するMIP行列とに基づいて、符号化ブロックのMIP予測値を導き出す。

Description

本発明は、電気通信技術分野に関し、特に画像(ピクチャやビデオなど)符号化方法、画像復号化方法に関する。
多用途ビデオ符号化(Versatile Video Coding、VVC)は、高効率ビデオ符号化(H.265/high efficiency video coding、HEVC)標準などのような現行の標準を代替する次世代のビデオ圧縮標準(video compression standard)である。現行の標準と比べて、VVC符号化標準はより高い符号化品質を提供する。この目標を達成するために、様々なイントラ予測とインター予測モードが検討されている。これらの予測モードを利用すると、ビデオが圧縮されることができ、これで、ビットストリーム(2進数形式)で伝送されるデータを減らすことができる。行列に基づいたイントラ予測(Matrix-based Intra Prediction、MIP)は上記モードの1つである。MIPはイントラ予測モードである。MIPモードのもとで実装する場合、符号器(又はコーダ)又は復号器は、現在のブロック(例えば、ユニットとして伝送され且つ一緒に符号化及び/又は復号され得るビット又は数のグループ)に基づいてイントラ予測ブロックを導き出すことができる。しかしながら、そのような予測ブロックを導き出すことには、大量の計算リソース及び追加の記憶スペースが必要となる。従って、この課題を解決するための改善方法は望ましく且つ必要である。
現在のMIPモードのもとでは、現在のブロックの予測ブロックを生成するために、予測ブロックのサイズは現在のブロックのサイズより小さい。例えば、「8×8」の現在のブロックは、「4×4」の予測ブロックを有することができる。現在のMIPモードのもとでは、サイズが現在のブロックより小さいMIP予測ブロックは、行列計算を実行することで導き出される。その行列計算は、より大きなブロックを利用して行列計算を実行することと比べて、より少ない計算リソースを消費する。行列計算の後、MIP予測ブロックに対してアップサンプリングプロセス(upsampling process)を行うことによって、現在のブロックと同じサイズを有するイントラ予測ブロックを導き出す。例えば、内挿及び/又は外挿のアップサンプリングプロセスを呼び出すことにより、「4×4」のMIP予測ブロックから「8×8」のイントラ予測ブロックを導き出すことができる。本発明は、アップサンプリングプロセスを行わずにMIPモードを実現する方法を提供し、それによって、計算の複雑さを大幅に低減し、全体的な効率を向上させる。より具体的には、MIPモードを実現するとき、本方法は、MIP予測ブロックのサイズ(例えば、「8×8」)が現在のブロックのサイズ(「8×8」)と同じであるように、適切なサイズ識別子(又はMIPサイズ識別子)を確定する。これで、アップサンプリングプロセスを行う必要がなくなる。
本発明の実施形態において、画像符号化方法が提供される。当該方法はさらに、画像のシーケンスを含むビデオを符号化することに適用されることができる。当該方法は、以下の内容を含む。例えば、(i)画像における符号化ブロック(例えば、符号化ブロック)の幅及び高さを確定し、(ii)上記幅及び高さがN(Nは2の正の整数乗であり)に等しい場合、行列に基づいたイントラ予測(MIP)サイズ識別子を確定し、MIPサイズ識別子はMIP予測サイズがNに等しいことを指示し、(iii)符号化ブロックの参照サンプルのグループを導き出し(例えば、当該符号化ブロックの隣接サンプルを利用することによって導き出し)、(iv)上記参照サンプルのグループとMIPサイズ識別子に従ったMIP重み付け行列とを利用して、符号化ブロックのMIP予測値を導き出し、(v)符号化ブロックの予測値を符号化ブロックのMIP予測値に等しく設定する。いくつかの実施形態において、当該方法はさらに、符号化ブロックの予測値に基づいてビットストリームを生成すること含む。
本発明の別の様態において、画像復号化方法が提供される。当該方法は、以下の内容を含むことができる。例えば、(a)ビットストリームを解析することによって復号化ブロック(例えば、復号化ブロック)の幅、高さ及び予測モード(例えば、ビットストリームはMIPモードが利用されたことを指示するか否か)を確定し、(b)上記幅と高さがNに等しく且つMIPモードが利用された場合、MIPサイズ識別子を確定し、当該識別子はMIP予測サイズがN(Nは2の正の整数乗である)に等しいことを指示し、(c)復号化ブロックの参照サンプルのグループを導き出し(例えば、当該復号化ブロックの隣接サンプルを利用することによって導き出し)、(d)当該参照サンプルのグループとMIPサイズ識別子に従ったMIP行列とに基づいて、復号化ブロックのMIP予測値を導き出し、(e)復号化ブロックの予測値を復号化ブロックの前記MIP予測値に等しく設定する。
いくつかの実施形態において、MIP予測値は、「N×N」予測サンプルの値(例えば、「8×8」)を含むことができる。いくつかの実施形態において、MIP行列は、予め定義されたMIP行列のグループから選択され得る。
本発明の別の様態において、画像とビデオを符号化/復号化するためのシステムが含まれる。当該システムは、符号化サブシステム(又は、符号器)と復号化サブシステム(又は、復号器)を含む。符号化サブシステムは、分割ユニット、第一予測ユニット及びエントロピー符号化ユニットを含む。分割ユニットは入力ビデオを受信して、入力ビデオを一つ又は複数の符号化ユニット(coding unit、CU)に分割するように構成されている。第一イントラ予測ユニットは、各CUに対応する予測ブロックと入力ビデオへの符号化から導き出されたMIPサイズ識別子とを生成するように構成されている。エントロピー符号化ユニットは、予測値をビットストリームに書き込むためにパラメータを変換するように構成されている。復号化サブシステムは、解析ユニットと第二イントラ予測ユニットを含む。解析ユニットは、ビットストリームを解析することによって数値(例えば、1つ又は複数のCUと関連する値)を取得するように構成されている。第二イントラ予測ユニットは、MIPサイズ識別子に少なくとも部分的に基づいて上記数値を出力ビデオに変換するように構成されている。
CUの幅と高さはNに等しくてもよく、Nは2の正の整数乗である。MIPサイズ識別子は、MIP予測ブロックを生成するために第一イントラ予測ユニットによって利用されるMIP予測サイズがNであることを指示する。MIPサイズ識別子が「2」に等しいことは、MIP予測サイズが「8×8」であることを指示する。
本発明の実施形態の技術的解決策をより明確にするために、以下、実施形態の説明に用いられる図面を簡単に紹介する。明らかに、以下に説明される図面は本発明の説明のみに用いられ、本発明を制限するものではない。当業者にとって、創造的な努力なしに、これらの図面によって他の図面を得ることができる。
図1は、本発明の実施形態に係るシステムを示す概略図である。 図2は、本発明の実施形態に係る符号化システムを示す概略図である。 図3は、本発明の実施形態に係るMIPモードを利用するイントラ予測ブロックの導き出しを示す概略図である。 図4は、本発明の実施形態に係る復号化システムを示す概略図である。 図5は、本発明の実施形態に係る装置(例えば、符号器)を示す概略図である。 図6は、本発明の実施形態に係る装置(例えば、復号器)を示す概略図である。 図7は、本発明の実施形態に係る通信システムを示す概略図である。
本発明への理解を容易にするために、以下、添付図面を参照しながら本発明をより詳しく説明する。
図1は、本発明の実施形態に係るシステム100を示す概略図である。システム100は画像を符号化し、送信し、復号化することができる。また、システム100は、画像のシーケンスを含むビデオを符号化し、送信し、復号化することに適用されることができる。より具体的に、システム100は、入力画像を受信し、入力画像を処理し、出力画像を生成することができる。システム100は符号化装置100a及び復号化装置100bを含む。符号化装置100aは、分割ユニット101と、第一イントラ予測ユニット103と、エントロピー符号化ユニット105とを含む。復号化装置100bは、解析ユニット107と、第二イントラ予測ユニット109とを含む。
分割ユニット101は、入力ビデオ10を受信し、次に入力ビデオ10を1つ又は複数の符号化ツリーユニット(coding tree unit、CTU)又は符号化ユニット(coding unit、CU)12に分割するように構成されている。CU12は第一イントラ予測ユニット103に伝送される。第一イントラ予測ユニット103は、MIPプロセスを行うことにより、各CU12の予測ブロックを導き出すように構成されている。CU12のサイズに基づいて、MIPプロセスは、異なるサイズのCU12を処理するために異なるアプローチを有する。CU12の種類ごとに、指定されたMIPサイズ識別子(例えば、0、1、2など)を有する。MIPサイズ識別子は、MIP予測ブロックのサイズ(即ち、変数「predSize」)、CUの上側境界又は左側境界からの参照サンプルの数(即ち、変数「boundarySize」)を導き出し、複数の予め定義されたMIP行列からMIP行列を選択するために用いられる。例えば、MIPサイズ識別子が「0」である場合、MIP予測ブロックのサイズは「4×4」(例えば、「predSize」は4に等しく設定される)であり、「boundarySize」は2に等しく設定される。MIPサイズ識別子が「1」である場合、「predSize」は4に、「boundarySize」は2に等しく設定される。MIPサイズ識別子が「2」である場合、「predSize」は8に、「boundarySize」は4に等しく設定される。
第一イントラ予測ユニット103はまず、CU12の幅と高さとを確定する。例えば、第一イントラ予測ユニット103は、CU12の高さが「8」であり、幅が「8」であると確定することができる。この例では、幅と高さが「8」である。相応に、第一イントラ予測ユニット103は、CU12のMIPサイズ識別子が「2」であると確定し、それはMIP予測のサイズが「8×8」であることを指示する。第一イントラ予測ユニット103はさらに、(例えば、図3に示された詳しい説明のように、CU12の隣接サンプル(例えば、上隣接サンプル(above-neighboring sample)又は左隣接サンプル(left-neighboring sample)を利用することによって)CU12の参照サンプルのグループを導き出す。次に、第一イントラ予測ユニット103は、当該参照サンプルのグループと対応のMIP行列とに基づいて、CU12のMIP予測値を導き出す。第一イントラ予測ユニット103は、MIP予測値をCU12のイントラ予測値14として利用することができる。イントラ予測値14とイントラ予測値14を導き出すためのパラメータは、さらなる処理のためにエントロピー符号化ユニット105に送信される。
エントロピー符号化ユニット105は、イントラ予測値14を導き出すためのパラメータを2進数形式に変換するように構成されている。相応に、エントロピー符号化ユニット105は、イントラ予測値14に基づいてビットストリーム16を生成する。いくつかの実施形態において、ビットストリーム16は、通信ネットワークを介して送信されることができるか、又はディスクもしくはサーバーに格納されることができる。
復号化装置100bは、ビットストリーム16を入力ビットストリーム17として受信する。解析ユニット107は、入力ビットストリーム17(2進数形式)を解析し、数値18に変換する。数値18は、入力ビデオ10の特性(色、明るさ、深さなど)を指示するものである。数値18は、第二イントラ予測ユニット109に送信される。そして、第二イントラ予測ユニット109は、これらの数値18を出力ビデオ19に変換することができる(例えば、第一イントラ予測ユニット103が行う処理と類似の処理に基づく。関連実施形態は図4を参照しながら詳しく説明される)。その後、出力ビデオ19は、外部装置(例えば、ストレージ、送信機など)によって記憶、送信、及び/又はレンダリングされることができる。記憶されたビデオはさらにディスプレイによって表示されることができる。
図2は、本発明の実施形態に係る符号化システム200を示す概略図である。符号化システム200は、入力画像20を符号化し、圧縮し、及び/又は処理し、2進数形式の出力ビットストリーム21を生成するように構成されている。符号化システム200は、入力画像20を1つ又は複数の符号化ツリーユニット(CTU)22に分割するように構成された分割ユニット201を含む。いくつかの実施形態において、分割ユニット201は、画像をスライス(slice)、タイル(tile)、及び/又はブリック(brick)に分割することができる。各ブリックは、1つ又は複数の全体の及び/又は部分的なCTU22を含むことができる。いくつかの実施形態において、分割ユニット201は、1つ又は複数のサブ画像を形成することもでき、各サブ画像は、1つ又は複数のスライス、タイル、又はブリックを含むことができる。分割ユニット201は、さらなる処理のためにCTU22を予測ユニット202に送信する。
予測ユニット202は、各CTU22の予測ブロック23を生成するように構成されている。予測ブロック23は、様々な内挿及び/又は外挿のスキームを利用することによって、1つ又は複数のインター又はイントラ予測方法に基づいて生成されることができる。図2に示されたように、予測ユニット202は、ブロック分割ユニット203、動き推定(motion estimation、ME)ユニット204、動き補償(motion compensation、MC)ユニット205、及びイントラ予測ユニット206をさらに含むことができる。ブロック分割ユニット203は、CTU22をより小さな符号化ユニット(CU)又は符号化ブロック(coding block、CB)に分割するように構成されている。いくつかの実施形態において、CUは、4分木分割、2分木分割、及び3分木分割などの様々な方法を介してCTU22から生成されることができる。MEユニット204は、入力画像20に示されたオブジェクトの動き又は入力画像20を生成する画像キャプチャデバイスの動きによって生じる変化を推定するように構成されている。MCユニット205は、上記動きによって生じる変化を調整し補償するように構成されている。MEユニット204とMCユニット205はいずれも、CUのインター(例えば、異なる時点において)予測ブロックを導き出すように構成されている。いくつかの実施形態において、MEユニット204及びMCユニット205は、インター予測ブロックを導き出すために、レート歪み最適化(rate-distortion optimized)動き推定法を利用することができる。
イントラ予測ユニット206は、MIPモードを含む様々なイントラ予測モードを利用して、CU(又はCUの一部)のイントラ(例えば、同じ時点)予測ブロックを導き出すように構成されている。MIPモードを利用するイントラ予測ブロックの導き出し(以下、「MIPプロセス」と呼ぶ)のディテールについては、図3を参照しながら説明する。MIPプロセス中に、イントラ予測ユニット206はまず、例えば、隣接サンプルを参照サンプルとして直接に利用すること、隣接サンプルをダウンサンプリングすること、又は隣接サンプルから直接に抽出することにより、CUの隣接サンプルから1つ又は複数の参照サンプルを導き出す(例えば、図3のステップ301)。
次に、イントラ予測ユニット206は、参照サンプル、MIP行列、及びシフトパラメータ(shifting parameter)を利用して、CU内の複数のサンプル位置における予測サンプルを導き出す。サンプル位置は、CU内の予め設定されたサンプル位置であることができる。例えば、サンプル位置は、CU内の水平及び垂直座標値が奇数である位置であることができる(例えば、x=1、3、5など、y=1、3、5など)。シフトパラメータは、シフトオフセットパラメータ(shifting offset parameter)とシフトナンバーパラメータ(shifting number parameter)を含み、予測サンプルを生成する際のシフト操作に用いられることができる。このような配置により、イントラ予測ユニット206は、CUにおける予測サンプルを生成することができる(即ち、「MIP予測」又は「MIP予測ブロック」は、そのような予測サンプルの集合を指す)(例えば、図3のステップ302)。いくつかの実施形態において、サンプル位置は、CU内の水平及び垂直座標値が偶数である位置であることができる。
第三に、イントラ予測ユニット206は、CUの残りの位置(例えば、それらはサンプル位置ではない)における予測サンプルを導き出すことができる(例えば、図3のステップ303)。いくつかの実施形態において、イントラ予測ユニット206は、内挿フィルタを利用することによって、残りの位置における予測サンプル導き出すことができる。上記処理により、イントラ予測ユニット206は、CTU22におけるCUの予測ブロック23を生成することができる。
図2を参照すると、予測ユニット202は予測ブロック23を加算器207に出力する。加算器207は、分割ユニット201の出力(例えば、CTU22におけるCU)と予測ユニット202の出力(即ち、CUの予測ブロック23)の差(例えば、残差R)を計算する。変換ユニット208は残差Rを読み出し、さらなる用途のために、係数24を取得するように予測ブロック23に対して1つ又は複数の変換操作を行う。量子化ユニット209は、係数24を量子化し、量子化係数25(例えば、レベル)を逆量子化ユニット210に出力することができる。逆量子化ユニット210は、再構成係数26を逆変換ユニット211に出力するために、量子化係数25に対して逆量子化操作を行う。逆変換ユニット211は、変換ユニット208における変換に対応する1つ又は複数の逆変換を行って、再構成残差27を出力する。
次に、加算器212は、再構成残差27と予測ユニット202からのCUの予測ブロック23とを加算することにより、再構成されたCUを計算する。加算器212はまた、その出力28がイントラ予測参照として利用されるように、出力28を予測ユニット202に転送する。CTU22における全てのCUが再構成された後、フィルタリングユニット213は、再構成された画像29に対してインループフィルタリング(in-loop filtering)を実行することができる。フィルタリングユニット213は、符号化歪み(coding distortion)を抑制し又は画像の符号化品質を高めるための1つ又は複数のフィルタを含み、フィルタの例としては、デブロッキングフィルタ(deblocking filter)、サンプル適応オフセット(sample adaptive offset、SAO)フィルタ、適応ループフィルタ(adaptive loop filter、ALF)、クロマスケーリング付きルーママッピング(luma mapping with chroma scaling、LMCS)フィルタ、ニューラルネットワークベースのフィルタ(neural-network-based filter)、及び他の適切なフィルタが挙げられる。
次に、フィルタリングユニット213は、復号化画像30(又はサブ画像)を復号化画像バッファ(decoded picture buffer、DPB)214に送信することができる。DPB214は、制御情報に基づいて復号化画像31を出力する。また、DPB214に格納された画像31は、予測ユニット202がインター予測又はイントラ予測を行うように、参照画像として用いられることができる。
エントロピー符号化ユニット215は、画像31、符号化システム200におけるユニットからのパラメータ、及び補足情報(例えば、システム200を制御する又はシステム200と通信するための情報)を2進数形式に変換するように構成されている。エントロピー符号化ユニット215は、それに応じて出力ビットストリーム21を生成することができる。
いくつかの実施形態において、符号化システム200は、プロセッサと、1つ又は複数の符号化プログラムを有する記憶媒体とを備えたコンピューティングデバイスであることができる。プロセッサが符号化プログラムを読み出して実行すると、符号化システム200は入力画像20を受信し、それに応じて出力ビットストリーム21を生成することができる。いくつかの実施形態において、符号化システム200は、1つ又は複数のチップを備えたコンピューティングデバイスであることができる。符号化システム200のユニット又は要素は、チップ上の集積回路として実装されることができる。
図3は、本発明の実施形態に係るMIPプロセスを示す概略図である。MIPプロセスは、イントラ予測ユニット(例えば、イントラ予測ユニット206)によって実現され得る。図3に示されたように、イントラ予測ユニットは、予測モジュール301及びフィルタリングモジュール302を含むことができる。図3に示されたように、MIPプロセスは、301、302及び303という3つのステップを含む。MIPプロセスは、現在のブロック又は符号化ブロック300(CU又はCUの部分など)に基づいて、予測ブロックを生成することができる。
ステップ301
ステップ301において、イントラ予測ユニットは、符号化ブロック300の隣接サンプル31、33を利用して、参照サンプル32、34を生成することができる。示された実施形態において、隣接サンプル31は上隣接サンプルであり、隣接サンプル33は左隣接サンプルである。イントラ予測ユニット206は、2つの隣接サンプル31ごとの値の平均値と、2つの隣接サンプル33ごとの値の平均値とを計算し、それらの平均値をそれぞれ参照サンプル32、34の値に設定することができる。いくつかの実施形態において、イントラ予測ユニット206は、2つの隣接サンプル31から1つの値を又は2つの隣接サンプル33から1つの値を、参照サンプル32又は34の値として選択することができる。示された実施形態において、イントラ予測ユニット206は、符号化ブロック300の8つの上隣接サンプル31から4つの参照サンプル32を導き出し、符号化ブロック300の8つの左隣接サンプル33から別の4つの参照サンプル34を導き出す。
ステップ301において、イントラ予測ユニットは、符号化ブロック300の幅及び高さを確定し、それらをそれぞれ変数「cbWidth」及び「cbHeight」と表記する。いくつかの実施形態において、イントラ予測ユニット206は、イントラ予測モード(例えば、MIPモードが利用されるかどうか)を確定するために、レート歪み最適化モード決定プロセスを利用することができる。そのような実施形態において、符号化ブロック300は1つ又は複数の変換ブロックに分割されることができ、それらの変換ブロックの幅及び高さはそれぞれ変数「nTbW」及び「nTbH」と表記される。MIPモードがイントラ予測モードとして利用される場合、イントラ予測ユニットは、以下の条件A~Cに基づいて、MIPサイズ識別子(変数「mipSizeId」と表記される)を確定する。
[条件A]「nTbW」と「nTbH」がいずれも4である場合、「mipSizeId」は0に設定される。
[条件B]それ以外の場合、且つ「cbWidth」又は「cbHeight」のいずれかが4である場合、「mipSizeId」は1に設定される。
[条件C]それ以外の場合、「mipSizeId」は2に設定される。
一例として、符号化ブロック300のサイズが「8×8」(即ち、「cbWidth」と「cbHeight」がいずれも8)である場合、「mipSizeId」は2に設定される。別の例として、符号化ブロック300の変換ブロックのサイズが「4×4」(即ち、「nTbW」と「nTbH」がいずれも4)である場合、「mipSizeId」は0に設定される。さらに別の例として、符号化ブロック300のサイズが「4×8」である場合、「mipSizeId」は1に設定される。
示された実施形態において、「mipSizeId」には「0」、「1」、「2」という3種類がある。MIPサイズ識別子(即ち、変数「mipSizeId」)の各種類は、MIPプロセスを実行する特定の方法(例えば、異なるMIP行列を利用する)に対応する。他の実施形態において、MIPサイズ識別子の種類は3つより多くてもよい。
MIPサイズ識別子に基づいて、イントラ予測ユニットは、以下の条件D~Fに基づいて、変数「boundarySize」及び「predSize」を確定することができる。
[条件D]「mipSizeId」が0である場合、「boundarySize」は2に設定され、「predSize」は4に設定される。
[条件E]「mipSizeId」が1である場合、「boundarySize」は4に設定され、「predSize」は4に設定される。
[条件F]「mipSizeId」が2である場合、「boundarySize」は4に設定され、「predSize」は8に設定される。
示された実施形態において、「boundarySize」は、符号化ブロック300の上隣接サンプル31及び左隣接サンプル33の各々から導き出される参照サンプル32、34の数を表している。変数「predSize」は、後の計算(即ち、以下の式(C))のために用いられる。
いくつかの実施形態において、イントラ予測ユニットは、テムポラルアレイ(temporal array)に格納された参照サンプル32、34の順序を指示するために変数「isTransposed」を導き出すことができる。例えば、「isTransposed」が0であることは、イントラ予測ユニットが、符号化ブロック300の上隣接サンプル31から導き出された参照サンプル32を、左隣接サンプル33から導き出された参照サンプル34の前に提示することを指示する。選択的に、「isTransposed」が1であることは、イントラ予測ユニットが、符号化ブロック300の左隣接サンプル33から導き出された参照サンプル34を、上隣接サンプル31から導き出された参照サンプル32の前に提示することを指示する。符号化システム200の実装では、「isTransposed」の値は、符号化されてビットストリーム(例えば、出力ビットストリーム21)に書き込まれるMIPプロセスのパラメータの1つとして、エントロピー符号化ユニット(例えば、エントロピー符号化ユニット215)に送信される。これに対応して、本発明の図4に示された復号化システム400の実装では、「isTransposed」の値は、入力ビットストリーム(それは出力ビットストリーム21であることができる)を解析することによって解析ユニット(例えば、解析ユニット401)から受信されることができる。
イントラ予測ユニットは、MIP予測値を導き出すために用いられる参照サンプル32、34の数を指示するために変数「inSize」をさらに確定することができる。「inSize」の値は、以下の式(A)によって確定される。本発明において、式における全ての演算子の意味及び演算は、ITU-T H.265標準に定義された対応の演算子と同じである。
inSize = ( 2 * boundarySize) - (mipSizeId = = 2) ? 1:0; (A)
例えば、「= =」は関係演算子「等しい」である。例えば、「mipSizeId」が2である場合、「inSize」は7((2*4)-1で計算)である。「mipSizeId」が1である場合、「inSize」は8((2*4)-0で計算)である。
イントラ予測ユニットは、アレイp[x](「x」は「0」から「inSize-1」まで)に格納された参照サンプル32、34のグループを導き出すために、以下のプロセスを呼び出すことができる。イントラ予測ユニットは、符号化ブロック300の上隣接サンプル31から「nTbW」個のサンプルを導き出し(そして、それらをアレイ「refT」に格納し)、符号化ブロック300の左隣接サンプル33から「nTbH」個のサンプルを導き出す(そして、それらをアレイ「refL」に格納する)ことができる。
イントラ予測ユニットは、「boundarySize」サンプルを得るために「refT」に対してダウンサンプリング処理を開始し、また、「boundarySize」サンプルを「refT」に格納することができる。同様に、イントラ予測ユニット206は、「boundarySize」サンプルを得るために「refL」に対してダウンサンプリング処理を開始し、また、「boundarySize」サンプルを「refL」に格納することができる。
いくつかの実施形態において、イントラ予測ユニットは、変数「isTransposed」によって指示された順序に基づいて、アレイ「refT」と「refL」を単一のアレイ「pTemp」に合わせることができる。イントラ予測ユニットは、テムポラルアレイ「pTemp」に格納された参照サンプルの順序を指示するために「isTransposed」を導き出すことができる。例えば、「isTransposed」が0(又はFALSE)であることは、イントラ予測ユニットが、符号化ブロック300の上隣接サンプル31から導き出された参照サンプル32を、左隣接サンプル33から導き出された参照サンプル34の前に提示することを指示する。他の場合、「isTransposed」が1(又はTRUE)であることは、イントラ予測ユニットが、符号化ブロック300の左隣接サンプル33から導き出された参照サンプル34を、上隣接サンプル31から導き出された参照サンプル32の前に提示することを指示する。いくつかの実施形態において、符号化システム200の実装では、イントラ予測ユニットは、レート歪み最適化法で「isTransposed」の値を確定することができる。いくつかの実施形態において、符号化システム200の実装では、イントラ予測ユニットは、隣接サンプル32、34と符号化ブロック300との間の比較及び/又は相互関係に基づいて、「isTransposed」の値を確定することができる。符号化システム200の実装において、「isTransposed」の値は、ビットストリーム(例えば、出力ビットストリーム21)に書き込まれるMIPプロセスのパラメータの1つとして、エントロピー符号化ユニット(例えば、エントロピー符号化ユニット215)に転送されることができる。これに対応して、本発明の図4に示された復号化システム400の実装では、「isTransposed」の値は、入力ビットストリーム(それは出力ビットストリーム21であることができる)を解析することによって解析ユニット(例えば、解析ユニット401)から受信されることができる。
イントラ予測ユニットは、以下の条件G及びHに基づいて、アレイp[x](xは「0」から「inSize-1」まで)を確定することができる。
[条件G]「mipSizeId」が2である場合、p[x] = pTemp[x+1] - pTemp[0]。
[条件H]それ以外の場合(例えば、「mipSizeId」が2より小さい場合)、p[0]=pTemp[0]-(1<<( BitDepth-1))且つp[x]=pTemp[x]-pTemp[0](xは1~「inSize-1」まで)。
上記条件Hにおいて、「BitDepth」は、符号化ブロック300におけるサンプルのカラーコンポーネント(例えば、Yコンポーネント)のビットデプスである。また、記号「<<」は、ITU-T H.265標準に用いられているビットシフト(bit shifting)の記号である。
選択的に、イントラ予測ユニットは、以下の条件I及びJに基づいてアレイp[x](xは0から「inSize-1」まで)を導き出すことができる。
[条件I]「mipSizeId」が2である場合、p[x]=pTemp[x+1]-pTemp[0]。
[条件J]それ以外の場合(例えば、「mipSizeId」が2より小さい場合)、p[0]=(1<<(BitDepth-1))-pTemp[0]且つp[x]=pTemp[x]-pTemp[0](xは1~「inSize-1」まで)。
いくつかの実施形態において、イントラ予測ユニットは、「mipSizeId」の値を判断せず、統一された計算方法でアレイp[x]の値を確定することができる。例えば、イントラ予測ユニットは、「(1<<(BitDepth-1))」を追加要素として「pTemp」に追加し、p[x]を「pTemp[x]- pTemp[0]」として計算することができる。
ステップ302
ステップ302において、イントラ予測ユニット(又は予測モジュール301)は、参照サンプル32、34のグループとMIP行列とを利用することで、符号化ブロック300のMIP予測値を導き出す。MIP行列は、対応するMIPモード識別子(即ち、変数「mipModeId」)とMIPサイズ識別子(即ち、変数「mipSizeId」)とに基づいて、予め定義されたMIP行列のグループから選択される。
イントラ予測ユニットによって導き出されたMIP予測値は、符号化ブロック300における全ての又は一部のサンプル位置の部分予測サンプル35を含む。MIP予測は、「predMip[x][y]」と表記される。
図3に示された実施形態において、部分予測サンプル35は、現在のブロック300における灰色の四角形としてマークされたサンプルである。ステップ301で導き出されたアレイp[x]の参照サンプル32、34は、予測モジュール301への入力として用いられる。予測モジュール301は、MIP行列とシフトパラメータとを利用することで部分予測サンプル35を計算する。シフトパラメータは、シフトオフセットパラメータ及びシフトナンバーパラメータを含む。いくつかの実施形態において、予測モジュール301は、以下の式(B)及び(C)に基づいて、座標が(x、y)である部分予測サンプル35を導き出す。
Figure 2023510441000002
Figure 2023510441000003
上記式(B)において、パラメータ「fO」は、パラメータ「oW」を確定するために用いられるシフトオフセットパラメータである。パラメータ「sW」は、シフトナンバーパラメータである。「p[i]」は参照サンプルである。記号「>>」は、H.265標準に定義された2進右シフト演算子(binary right shifting operator)である。
上記式(C)において、「mWeight[i][j]」は、行列要素が符号化及び復号化の両方に対して固定した定数であるMIP重み付け行列である。選択的に、いくつかの実施形態において、符号化システム200の実装は、適応MIP行列(adaptive MIP matrix)を利用する。例えば、MIP重み付け行列は、1つ又は複数の符号化画像を入力として利用し、又は外部手段によって符号化システム200に提供される画像を利用するなどのような様々なトレーニング方法を介して更新されることができる。イントラ予測ユニットは、MIPモードが確定された場合、「mWeight[i][j]」をエントロピー符号化ユニット(例えば、エントロピー符号化ユニット215)へ転送することができる。その後、エントロピー符号化ユニットは、「mWeight[i][j]」をビットストリームに書き込むことができ、例えば、MIPデータを含むビットストリームにおける1つ又は複数のスペシャルデータユニットに書き込む。それに対応して、いくつかの実施形態において、適応MIP行列を利用する復号化システム400の実装は、例えば、トレーニング方法でMIP行列を更新することができ、そのトレーニング方法の出力は1つ又は複数の符号化画像又はブロックであり、又は、外部の手段によって復号器200に提供された他のビットストリームからの画像であり、又は、MIP行列データを含む入力ビストリームにおけるスペシャルデータユニットを解析することで解析ユニット401から取得された画像である。
予測ユニット301は、現在のブロック300のサイズ及び現在のブロック300に利用されるMIPモードに基づいて、「sW」及び「fO」の値を確定することができる。いくつかの実施形態において、予測ユニット301は、ルックアップテーブル(look-up table)を利用することで「sW」及び「fO」の値を取得することができる。例えば、以下の表1は、「sW」を確定するために用いられることができる。
Figure 2023510441000004
選択的に、以下の表2も「sW」を確定するために用いられることができる。
Figure 2023510441000005
いくつかの実施形態において、予測モジュールは、「sW」を定数に設定することができる。例えば、異なるMIPモードを利用する様々なサイズのブロックに対して、予測モジュールは「sW」を「5」に設定することができる。別の例として、異なるMIPモードを利用する様々なサイズのブロックに対して、予測モジュール301は「sW」を「6」に設定することができる。さらに別の例として、異なるMIPモードを利用する様々なサイズのブロックに対して、予測モジュールは「sW」を「7」に設定することができる。
いくつかの実施形態において、予測ユニット301は、以下の表3又は表4で「fO」を確定することができる。
Figure 2023510441000006
Figure 2023510441000007
いくつかの実施形態において、予測モジュール301は、「fO」を定数(例えば、0から100までの値)に直接に設定することができる。例えば、異なるMIPモードを利用する様々なサイズのブロックに対して、予測モジュール301は「fO」を「46」に設定することができる。別の例として、予測モジュール301は「fO」を「56」に設定することができる。さらに別の例として、予測モジュール301は、「fO」を「66」に設定することができる。
いくつかの実施形態において、イントラ予測ユニットは、アレイ「predMip」に格納されたMIP予測サンプルの値に対して「クリッピング(clipping)」動作を実行することができる。「isTransposed」が1(又はTRUE)である場合、「predSize x preSize」のアレイ「predMip[x][y](xは0から「predSize-1」まで、yは0から「predSize-1」まで)は「predTemp[y][x] = predMip[x][y]」に転置され、次に「predMip = predTemp」となる。
より具体的には、符号化ブロック303のサイズが「8×8」(即ち、「cbWidth」と「cbHeight」がいずれも8)である場合、イントラ予測ユニットは、「8×8」の「predMip」アレイを導き出すことができる。
ステップ303
図3のステップ303において、イントラ予測ユニットは、符号化ブロック300における部分サンプル35以外の残りのサンプルの予測サンプル37を導き出す。図3に示されたように、イントラ予測ユニットは、フィルタリングモジュール302を利用して、符号化ブロック300における部分サンプル35以外の残りのサンプルの予測サンプル37を導き出すことができる。フィルタリングモジュール302への入力は、ステップ302における部分サンプル35であることができる。フィルタリングモジュール302は、1つ又は複数の内挿フィルタを利用して、符号化ブロック300における部分サンプル35以外の残りのサンプルの予測サンプル37を導き出すことができる。イントラ予測ユニット(又はフィルタリングモジュール302)は、以下の条件K及びLに基づいて、符号化ブロック300の予測ブロック(複数の予測サンプル37を含む)を生成し、予測サンプル37をアレイ「predSamples[x][y]」(xは0から「nTbW-1」まで、yは0から「nTbH-1」まで)に格納することができる。
[条件K]イントラ予測ユニットは「nTbW」が「predSize」より大きく、又は「nTbH」が「predSize」より大きいと確定する場合、イントラ予測ユニットは「predMip」に基づいて「predSamples」を導き出すようにアップサンプリングプロセスを開始する。
[条件L]それ以外の場合、イントラ予測ユニットは、符号化ブロック300の予測値を符号化ブロックのMIP予測値に設定する。
言い換えれば、イントラ予測ユニットは、「predSamples[x][y]」(xは0から「nTbW-1」まで、yは0から「nTbH-1」まで)を「predMip[x][y]」に等しく設定することができる。例えば、イントラ予測ユニットは、サイズが「8×8」に等しい(即ち、「cbWidth」と「cbHeight」がいずれも8である)符号化ブロックの「predSamples」をその「predMip[x][y]」に設定することができる。
ステップ301~303を介して、イントラ予測ユニットは、現在のブロック300の予測値を生成することができる。生成された予測値は、さらなる処理(例えば、図2を参照した上記予測ブロック23)のために用いられることができる。
図4は、本発明の実施形態に係る復号化システム400を示す概略図である。復号化システム400は、入力ビットストリーム40を受信し、処理し、出力ビデオ41に変換するように構成されている。入力ビットストリーム40は、圧縮された/符号化された画像/ビデオを表すビットストリームであることができる。いくつかの実施形態において、入力ビットストリーム40は、符号化システム(符号化システム200など)によって生成された出力ビットストリーム(例えば、出力ビットストリーム21)からきたものであることができる。
復号化システム400は、入力ビットストリーム40からシンタックス要素の値を取得するために、入力ビットストリーム40を解析するように構成された解析ユニット401を含む。解析ユニット401はさらに、シンタックス要素の2進表現を数値(即ち、復号化ブロック42)に変換し、上記数値を予測ユニット402に転送する(例えば、復号化のために)。いくつかの実施形態において、解析ユニット401は、上記数値を復号化するための1つ又は複数の変数及び/又はパラメータを予測ユニット402に転送することもできる。
予測ユニット402は、復号化ブロック42の予測ブロック43(例えば、変換ブロックなどのようなCU又はCUの一部)を確定するように構成されている。インター復号化モードが復号化ブロック42を復号化するために用いられることが指示される場合、予測ユニット402の動き補償(MC)ユニット403は、解析ユニット401から関連パラメータを受信し、それに応じてインター復号化モードのもとで復号化することができる。イントラ予測モード(例えば、MIPモード)が復号化ブロック42を復号化するために用いられることが指示される場合、予測ユニット402のイントラ予測ユニット404は、解析ユニット401から関連パラメータを受信し、それに応じて指示されたイントラ復号化モードのもとで復号化することができる。いくつかの実施形態において、イントラ予測モード(例えば、MIPモード)は、入力ビットストリーム40に埋め込まれた特定のフラグ(例えば、MIPフラグ)によって識別されることができる。
例えば、MIPモードが識別された場合、イントラ予測ユニット404は、以下の方法(図3で説明されたステップ301~303と類似)に基づいて予測ブロック43(複数の予測サンプルを含む)を確定することができる。
まず、イントラ予測ユニット404は、復号化ブロック42の隣接サンプルから1つ又は複数の参照サンプルを導き出す(図3におけるステップ301と類似)。例えば、イントラ予測ユニット404は、隣接サンプルをダウンサンプリングすることによって、又は隣接サンプルから一部を直接に抽出することによって参照サンプルを生成することができる。
次に、イントラ予測ユニット404は、参照サンプル、MIP行列及びシフトパラメータを利用して、復号化ブロック42における部分予測サンプルを導き出すことができる(図3におけるステップ302と類似)。いくつかの実施形態において、部分予測サンプルの位置は、復号化クロック42に予め設定されることができる。例えば、部分予測サンプルの位置は、復号化ブロック内の水平及び垂直座標値が奇数である位置であることができる。シフトパラメータは、シフトオフセットパラメータ及びシフトナンバーパラメータを含むことができ、これらは部分予測サンプルを生成する際のシフティング動作に用いられることができる。
最後に、復号化ブロック42の部分予測サンプルが導き出された場合、イントラ予測ユニット404は、復号化ブロック42における部分予測サンプル以外の残りのサンプルの予測サンプルを導き出す(図3のステップ303と類似)。例えば、イントラ予測ユニット404は、内挿フィルタを利用して予測サンプルを導き出すことができる。部分予測サンプルと隣接サンプルを内挿フィルタの入力として利用する。
復号化システム400は、符号化システム200の逆量子化ユニット210と類似の機能を有するスケーリングユニット405を含む。スケーリングユニット405は、再構成係数45を生成するために、解析ユニット401からの量子化係数44(例えば、レベル)に対してスケーリング操作を実行する。
変換ユニット406は、符号化システム200における逆変換ユニット211と類似の機能を有する。変換ユニット406は、再構成残差46を得るために、1つ又は複数の変換操作(例えば、逆変換ユニット211による1つ又は複数の変換操作の逆操作)を実行する。
加算器407は、復号化ブロック42の再構成ブロック47を得るために、予測ユニット402からの予測ブロック43と、変換ユニット406からの再構成残差46とを加算する。再構成ブロック47はまた、参照として(例えば、イントラ予測モードのもとで符号化された他のブロックのために)用いられるために、予測ユニット402に送信される。
画像又はサブ画像における全ての復号化ブロック42が再構成された(即ち、再構成ブロック48が形成された)後、フィルタリングユニット408は、再構成ブロック49に対してインループフィルタリングを実行することができる。フィルタリングユニット408は、1つ又は複数のフィルタを含み、フィルタの例としては、デブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、適応ループフィルタ(ALF)、クロマスケーリング付きルーママッピング(LMCS)フィルタ、ニューラルネットワークベースのフィルタなどが挙げられる。いくつかの実施形態において、フィルタリングユニット408は、再構成ブロック48における1つ又は複数の目標画素のみに対して、インループフィルタリングを実行することができる。
次に、フィルタリングユニット408は、復号化画像49(又は画像)又はサブ画像を復号化画像バッファ(DPB)409に送信する。DPB409は、タイミングと制御情報に基づいて、復号化画像を出力ビデオ41として出力する。DPB409に格納された復号化画像49は、予測ユニット402がインター予測又はイントラ予測を行う際に参照画像として採用されることもできる。
いくつかの実施形態において、復号化システム400はプロセッサと、1つ又は複数の復号化プログラムを記録する記憶媒体とを備えたコンピューティングデバイスであることができる。プロセッサが復号化プログラムを読み出して実行すると、復号化システム400は入力ビデオビットストリームを受信し、対応する復号化ビデオを生成することができる。
いくつかの実施形態において、復号化システム400は、1つ又は複数のチップを備えたコンピューティングデバイスであることができる。復号化システム400のユニット又は要素は、チップ上の集積回路として実装されることができる。
図5は、本発明の実施形態に係る装置500を示す概略図である。装置500は、「送信」装置であることができる。より具体的には、装置500は1つ又は複数の画像を取得し、符号化し、記憶/送信するように構成されている。装置500は、取得ユニット501、符号器502及び記憶/送信ユニット503を含む。
取得ユニット501は、画像を取得又は受信し、その画像を符号器502に転送するように構成されている。また、取得ユニット501は、画像のシーケンスを含むビデオを取得又は受信し、そのビデオを符号器502に転送するように構成され得る。いくつかの実施形態において、取得ユニット501は、1つ又は複数のカメラ(例えば、画像ーカメラ、深度カメラなど)を含むデバイスであることができる。いくつかの実施形態において、取得ユニット501は、画像又はビデオを生成するためにビデオビットストリームを部分的又は完全に復号化できるデバイスであることができる。取得ユニット501は、音声信号をキャプチャするために1つ又は複数の要素も含むことができる。
符号器502は、取得ユニット501からの画像を符号化し且つビデオビットストリームを生成するように構成されている。また、符号器502は、取得ユニット501からのビデオを符号化し且つビットストリームを生成するように構成されている。いくつかの実施形態において、符号器502は、図2で説明された符号化システム200として実装されることができる。いくつかの実施形態において、符号器502は、音声信号を符号化して音声ビットストリームを生成するために1つ又は複数の音声符号器を含むことができる。
記憶/送信ユニット503は、符号器502からビデオ及び/又は音声ビットストリームを受信するように構成されている。記憶/送信ユニット503は、メディアファイル(例えば、ISOベースのメディアファイル)又は伝送ストリーム(transport stream)を形成するために、ビデオビットストリームを音声ビットストリームと共にカプセル化することができる。いくつかの実施形態において、記憶/送信ユニット503は、メディアファイル又は伝送ストリームを記憶ユニットに書き込む又は記憶することができ、記憶ユニットの例としては、ハードドライブ、ディスク、DVD、クラウドストレージ、携帯型メモリデバイスなどが挙げられる。いくつかの実施形態において、記憶/送信ユニット503は、伝送ネットワーク(例えば、インターネット、有線ネットワーク、セルラーネットワーク、無線ローカルエリアネットワークなど)を介して、ビデオ/音声ビットストリームを外部デバイスに送信することができる。
図6は、本発明の実施形態に係る装置600を示す概略図である。装置600は、「目標」装置であることができる。より具体的には、装置600は、画像又はビデオを受信し、復号化し、レンダリングするように構成されている。装置600は、受信ユニット601、復号器602及びレンダリングユニット603を含む。
受信ユニット601は、例えば、ネットワーク又は記憶デバイスからメディアファイル又は伝送ストリームを受信するように構成されている。メディアファイル又は伝送ストリームは、ビデオビットストリーム及び/又は音声ビットストリームを含む。受信ユニット601は、ビデオビットストリームと音声ビットストリームを分離することができる。いくつかの実施形態において、受信ユニット601は、ビデオ/音声ビットストリームを抽出することによって、新たなビデオ/音声ビットストリームを生成することができる。
復号器602は、上記復号化システム400のような1つ又は複数のビデオ復号器を含む。また、復号器602は1つ又は複数のオーディオ復号器を含むことができる。復号器602は、(1つ又は複数のチャネルに対応する)1つ又は複数の復号化されたオーディオファイル及び/又は復号化されたビデオファイルを取得するために、受信ユニット601からの音声ビットストリーム及び/又はビデオビットストリームを復号化する。
レンダリングユニット603は、表示/再生に用いられる適切なビデオ/音声信号を得るために、復号化されたビデオ/オーディオファイルを受信し、ビデオ/オーディオファイルを処理する。これらの調整/再構成操作は、ノイズ除去、合成、色空間の変換、アップサンプリング、ダウンサンプリングなどのうちの1つ又は複数を含むことができる。レンダリングユニット603は、復号されたビデオ/オーディオファイルの品質を向上させることができる。
図7は、本発明の実施形態に係る通信システム700を示す概略図である。通信システム700は、ソースデバイス701と、記憶媒体又は伝送ネットワーク702と、目標デバイス703とを含む。いくつかの実施形態において、ソースデバイス701は、図5を参照した上記装置500であることができる。ソースデバイス701は、メディアファイルを記憶又は伝送するように、それを記憶媒体又は伝送ネットワーク702に送信する。目標デバイス703は、図6を参照した上記装置600であることができる。通信システム700は、メディアファイルを符号化し、符号化されたメディアファイルを伝送又は記憶し、その後、符号化されたメディアファイルを復号化するように構成されている。いくつかの実施形態において、ソースデバイス701は第一スマートフォンであることができ、記憶媒体702はクラウドストレージであることができ、目標デバイスは第二スマートフォンであることができる。
上記実施形態は、本発明のいくつかの実施形態を例示したに過ぎず、その説明は具体的且つ詳細である。上記の実施形態は、本発明を限定するものと解釈されることはできない。本発明の主旨及び範囲から逸脱しない限り、当業者による多くの変形及び修正ができることに留意すべきである。従って、本発明の範囲は、添付の特許請求の範囲に従うべきである。
本発明の別の様態において、画像とビデオを符号化/復号化するためのシステムが含まれる。当該システムは、符号化サブシステム(又は、符号器)と復号化サブシステム(又は、復号器)を含む。符号化サブシステムは、分割ユニット、第一イントラ予測ユニット及びエントロピー符号化ユニットを含む。分割ユニットは入力ビデオを受信して、入力ビデオを一つ又は複数の符号化ユニット(coding unit、CU)に分割するように構成されている。第一イントラ予測ユニットは、各CUに対応する予測ブロックと入力ビデオへの符号化から導き出されたMIPサイズ識別子とを生成するように構成されている。エントロピー符号化ユニットは、予測値をビットストリームに書き込むためにパラメータを変換するように構成されている。復号化サブシステムは、解析ユニットと第二イントラ予測ユニットを含む。解析ユニットは、ビットストリームを解析することによって数値(例えば、1つ又は複数のCUと関連する値)を取得するように構成されている。第二イントラ予測ユニットは、MIPサイズ識別子に少なくとも部分的に基づいて上記数値を出力ビデオに変換するように構成されている。
図3のステップ303において、イントラ予測ユニットは、符号化ブロック300における部分予測サンプル35以外の残りのサンプルの予測サンプル37を導き出す。図3に示されたように、イントラ予測ユニットは、フィルタリングモジュール302を利用して、符号化ブロック300における部分予測サンプル35以外の残りのサンプルの予測サンプル37を導き出すことができる。フィルタリングモジュール302への入力は、ステップ302における部分予測サンプル35であることができる。フィルタリングモジュール302は、1つ又は複数の内挿フィルタを利用して、符号化ブロック300における部分予測サンプル35以外の残りのサンプルの予測サンプル37を導き出すことができる。イントラ予測ユニット(又はフィルタリングモジュール302)は、以下の条件K及びLに基づいて、符号化ブロック300の予測ブロック(複数の予測サンプル37を含む)を生成し、予測サンプル37をアレイ「predSamples[x][y]」(xは0から「nTbW-1」まで、yは0から「nTbH-1」まで)に格納することができる。
画像又はサブ画像における全ての復号化ブロック42が再構成された(即ち、再構成ブロック48が形成された)後、フィルタリングユニット408は、再構成ブロック48に対してインループフィルタリングを実行することができる。フィルタリングユニット408は、1つ又は複数のフィルタを含み、フィルタの例としては、デブロッキングフィルタ、サンプル適応オフセット(SAO)フィルタ、適応ループフィルタ(ALF)、クロマスケーリング付きルーママッピング(LMCS)フィルタ、ニューラルネットワークベースのフィルタなどが挙げられる。いくつかの実施形態において、フィルタリングユニット408は、再構成ブロック48における1つ又は複数の目標画素のみに対して、インループフィルタリングを実行することができる。

Claims (34)

  1. 画像符号化方法であって、
    前記画像における符号化ブロックの幅と高さを確定することと、
    前記幅と前記高さがNに等しい場合、行列に基づいたイントラ予測(MIP)サイズ識別子を確定することと、
    前記符号化ブロックの参照サンプルのグループを導き出すことと、
    前記参照サンプルのグループと前記MIPサイズ識別子に従ったMIP行列とに基づいて、前記符号化ブロックのMIP予測値を導き出すこととを含み、
    前記MIPサイズ識別子はMIP予測サイズがNに等しいことを指示し、Nは2の正の整数乗である、
    ことを特徴とする画像符号化方法。
  2. 前記符号化ブロックは、サイズが「8×8」である符号化ブロックを含む、
    ことを特徴とする請求項1に記載の方法。
  3. 隣接サンプルに基づいて前記符号化ブロックの前記参照サンプルのグループを導き出すことをさらに含む、
    ことを特徴とする請求項1に記載の方法。
  4. 前記隣接サンプルは上隣接サンプルを含む、
    ことを特徴とする請求項3に記載の方法。
  5. 前記隣接サンプルは左隣接サンプルを含む、
    ことを特徴とする請求項3に記載の方法。
  6. 前記符号化ブロックの予測値を前記符号化ブロックの前記MIP予測値に等しく設定することをさらに含む、
    ことを特徴とする請求項1に記載の方法。
  7. 前記MIP予測値はN×Nの予測サンプルの値を含む、
    ことを特徴とする請求項1に記載の方法。
  8. 画像復号化方法であって、
    ビットストリームを解析することによって復号化ブロックの幅、高さ及び予測モードを確定することと、
    前記予測モードは行列に基づいたイントラ予測(MIP)モードが復号化ブロックを復号化するために用いられることを指示するとき、前記幅と前記高さがNに等しい場合、MIPサイズ識別子を確定することと、
    前記復号化ブロックの参照サンプルのグループを導き出すことと、
    前記参照サンプルのグループと前記MIPサイズ識別子に対応するMIP行列とに基づいて、前記復号化ブロックのMIP予測値を導き出すこととを含み、
    前記MIPサイズ識別子はMIP予測サイズがNに等しいことを指示し、Nは2の正の整数乗である、
    ことを特徴とする画像復号化方法。
  9. 前記復号化ブロックは、サイズが「8×8」である復号化ブロックを含む、
    ことを特徴とする請求項8に記載の方法。
  10. 隣接サンプルに基づいて前記復号化ブロックの前記参照サンプルのグループを導き出すことをさらに含む、
    ことを特徴とする請求項8に記載の方法。
  11. 前記隣接サンプルは上隣接サンプルを含む、
    ことを特徴とする請求項10に記載の方法。
  12. 前記隣接サンプルは左隣接サンプルを含む、
    ことを特徴とする請求項10に記載の方法。
  13. 前記復号化ブロックの予測値を前記復号化ブロックの前記MIP予測値に等しく設定することをさらに含む、
    ことを特徴とする請求項8に記載の方法。
  14. 前記MIP予測値はN×Nの予測サンプルの値を含む、
    ことを特徴とする請求項8に記載の方法。
  15. 画像符号化装置であって、
    分割ユニット、予測ユニット及びエントロピー符号化ユニットを含み、
    前記分割ユニットは、入力画像を受信して、前記入力画像を一つ又は複数の符号化ブロックに分割するように構成されており、
    前記予測ユニットは、前記符号化ブロックの幅と高さを確定するように構成されており、前記幅と前記高さがNに等しい場合、前記予測ユニットは行列に基づいたイントラ予測(MIP)サイズ識別子を確定するように構成されており、前記MIPサイズ識別子はMIP予測サイズがNに等しいことを指示し、Nは2の正の整数乗であり、前記予測ユニットは前記符号化ブロックの参照サンプルのグループを導き出すように構成されており、前記予測ユニットは、前記参照サンプルのグループと前記MIPサイズ識別子に従ったMIP行列とに基づいて、前記符号化ブロックのMIP予測値を導き出すように構成されており、
    前記エントロピー符号化ユニットは、前記MIP予測値をビットストリームに書き込むためにパラメータを変換するように構成されている、
    ことを特徴とする画像符号化装置。
  16. 前記符号化ブロックは、サイズが「8×8」である符号化ブロックを含む、
    ことを特徴とする請求項15に記載の装置。
  17. 前記符号化ブロックの前記参照サンプルのグループは、隣接サンプルに基づいて導き出される、
    ことを特徴とする請求項15に記載の装置。
  18. 前記隣接サンプルは上隣接サンプルを含む、
    ことを特徴とする請求項17に記載の装置。
  19. 前記隣接サンプルは左隣接サンプルを含む、
    ことを特徴とする請求項17に記載の装置。
  20. 前記符号化ブロックの予測値は、前記符号化ブロックの前記MIP予測値に等しく設定される、
    ことを特徴とする請求項15に記載の装置。
  21. 前記MIP予測値はN×Nの予測サンプルの値を含む、
    ことを特徴とする請求項15に記載の装置。
  22. 画像復号化装置であって、
    解析ユニットとイントラ予測ユニットを含み、
    前記解析ユニットは、ビットストリームを解析することによって復号化ブロックの幅、高さ及び予測モードを確定するように構成されており、
    前記予測モードは行列に基づいたイントラ予測(MIP)モードが復号化ブロックを復号化するために用いられることを指示するとき、前記幅と前記高さがNに等しい場合、前記イントラ予測ユニットは、MIPサイズ識別子を確定するように構成されており、前記MIPサイズ識別子はMIP予測サイズがNに等しいことを指示し、Nは2の正の整数乗であり、前記イントラ予測ユニットは前記復号化ブロックの参照サンプルのグループを導き出すように構成されており、前記イントラ予測ユニットは、前記参照サンプルのグループと前記MIPサイズ識別子に対応するMIP行列とに基づいて、前記復号化ブロックのMIP予測値を導き出すように構成されている、
    ことを特徴とする画像復号化装置。
  23. 前記復号化ブロックは、サイズが「8×8」である復号化ブロックを含む、
    ことを特徴とする請求項22に記載の装置。
  24. 前記復号化ブロックの前記参照サンプルのグループは、隣接サンプルに基づいて導き出される、
    ことを特徴とする請求項22に記載の装置。
  25. 前記隣接サンプルは上隣接サンプルを含む、
    ことを特徴とする請求項24に記載の装置。
  26. 前記隣接サンプルは左隣接サンプルを含む、
    ことを特徴とする請求項24に記載の装置。
  27. 前記復号化ブロックの予測値は、前記復号化ブロックの前記MIP予測値に等しく設定される、
    ことを特徴とする請求項22に記載の装置。
  28. 前記MIP予測値はN×Nの予測サンプルの値を含む、
    ことを特徴とする請求項22に記載の装置。
  29. 画像処理システムであって、
    前記システムは符号化サブシステムと復号化サブシステムを含み、
    前記符号化サブシステムは、分割ユニット、第一予測ユニット及びエントロピー符号化ユニットを含み、前記分割ユニットは入力画像を受信して、前記入力画像を一つ又は複数の符号化ユニットに分割するように構成されており、第一予測ユニットは、符号化ユニットの予測値と前記入力画像から導き出されたMIPサイズ識別子とを生成するように構成されており、前記エントロピー符号化ユニットは、前記予測値をビットストリームに書き込むためにパラメータを変換するように構成されており、
    前記復号化サブシステムは、解析ユニットと第二イントラ予測ユニットを含み、前記解析ユニットは、ビットストリームを解析することによって数値を形成するように構成されており、前記第二イントラ予測ユニットは、前記MIPサイズ識別子に少なくとも部分的に基づいて前記数値を出力画像に変換するように構成されており、
    前記符号化ユニットの幅と高さはNに等しく、Nは2の正の整数乗であり、前記MIPサイズ識別子は、予測画像を生成するために第一予測ユニットによって利用されるMIPサイズがNであることを指示する、
    ことを特徴とする画像処理システム。
  30. 前記一つ又は複数の符号化ユニットの各々は、サイズが「8×8」である、
    ことを特徴とする請求項29に記載のシステム。
  31. 前記予測値は、前記MIPサイズ識別子に基づいた前記符号化ブロックのMIP予測値である、
    ことを特徴とする請求項29に記載のシステム。
  32. 前記MIP予測値はN×Nの予測サンプルの値を含む、
    ことを特徴とする請求項29に記載のシステム。
  33. 前記符号化サブシステムは、前記一つ又は複数の符号化ユニットの各々に対してインター予測プロセスを実行するように構成された動き推定(ME)ユニットをさらに含む、
    ことを特徴とする請求項29に記載のシステム。
  34. 前記符号化サブシステムは、前記一つ又は複数の符号化ユニットの各々に対してインター予測プロセスを実行するように構成されている動き補償(MC)ユニットをさらに含む、
    ことを特徴とする請求項29に記載のシステム。
JP2022516441A 2019-12-10 2019-12-10 画像符号化方法、画像復号化方法、並びに関連装置及びシステム Pending JP2023510441A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/124365 WO2021114102A1 (en) 2019-12-10 2019-12-10 Methods for encoding and decoding pictures and associated apparatus and systems

Publications (1)

Publication Number Publication Date
JP2023510441A true JP2023510441A (ja) 2023-03-14

Family

ID=76329174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022516441A Pending JP2023510441A (ja) 2019-12-10 2019-12-10 画像符号化方法、画像復号化方法、並びに関連装置及びシステム

Country Status (6)

Country Link
US (2) US11503280B2 (ja)
EP (1) EP4074045A4 (ja)
JP (1) JP2023510441A (ja)
KR (1) KR20220106109A (ja)
CN (2) CN114598890A (ja)
WO (1) WO2021114102A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114009044A (zh) 2019-06-14 2022-02-01 瑞典爱立信有限公司 用于基于矩阵的帧内预测的简化下采样
BR112021025153A2 (pt) * 2019-06-14 2022-01-25 Ericsson Telefon Ab L M Métodos de intraprevisão associado com um bloco atual, de codificação e de decodificação, aparelho de intraprevisão, codificador, decodificador, produto de programa de computador, e, mídia legível por computador
ES2950980T3 (es) * 2019-06-25 2023-10-17 Guangdong Oppo Mobile Telecommunications Corp Ltd Método de codificación de imágenes, método de decodificación de imágenes, codificador, decodificador y medio de almacenamiento
EP4074045A4 (en) * 2019-12-10 2022-10-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHODS OF ENCODING AND DECODING IMAGES AND RELATED DEVICE AND SYSTEMS
JPWO2021125317A1 (ja) * 2019-12-20 2021-06-24
WO2023070505A1 (zh) * 2021-10-29 2023-05-04 Oppo广东移动通信有限公司 帧内预测方法、解码器、编码器及编解码系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210135623A (ko) * 2019-06-03 2021-11-15 엘지전자 주식회사 매트릭스 기반 인트라 예측 장치 및 방법
WO2021040941A1 (en) * 2019-08-30 2021-03-04 Alibaba Group Holding Limited Matrix weighted intra prediction of video signals
US20210092405A1 (en) * 2019-09-19 2021-03-25 Qualcomm Incorporated Matrix combination for matrix-weighted intra prediction in video coding
EP4074045A4 (en) * 2019-12-10 2022-10-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHODS OF ENCODING AND DECODING IMAGES AND RELATED DEVICE AND SYSTEMS

Also Published As

Publication number Publication date
WO2021114102A1 (en) 2021-06-17
US11997259B2 (en) 2024-05-28
US20230038121A1 (en) 2023-02-09
US20230053024A1 (en) 2023-02-16
CN114598890A (zh) 2022-06-07
EP4074045A1 (en) 2022-10-19
KR20220106109A (ko) 2022-07-28
US20220141453A1 (en) 2022-05-05
CN114073082A (zh) 2022-02-18
US11503280B2 (en) 2022-11-15
EP4074045A4 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
CN108028940B (zh) 调色板模式视频译码中转义像素信号值的限制
JP2023510441A (ja) 画像符号化方法、画像復号化方法、並びに関連装置及びシステム
CN114731398A (zh) 视频译码中的跨分量自适应环路滤波器
JP7343669B2 (ja) Vvcにおける色変換のための方法及び機器
WO2013067435A1 (en) Differential pulse code modulation intra prediction for high efficiency video coding
KR20230078653A (ko) 비디오 코딩을 위한 필터링 프로세스
JP2022521809A (ja) ビデオコーディングにおける係数領域ブロック差分パルスコード変調
KR20210134386A (ko) 비디오 코딩을 위한 컬러 변환
WO2020163535A1 (en) Video coding using intra sub-partition coding mode
US11785221B2 (en) Encoding and decoding method, apparatus and communication system
CN112335251B (zh) 以分组的旁路位元的系数编码
KR20220127937A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
US12003704B2 (en) Methods for encoding and decoding pictures and associated apparatus
KR20230079049A (ko) 비디오 코딩에서의 크로스-컴포넌트 리니어 모델 (cclm) 모드에 대한 고정된 비트 심도 프로세싱
WO2023081322A1 (en) Intra prediction modes signaling
KR20230128270A (ko) 비디오 코딩시 다중 컬러 컴포넌트들에 대한 부호 예측
WO2023154359A1 (en) Methods and devices for multi-hypothesis-based prediction
WO2023034629A1 (en) Intra prediction modes signaling
WO2023049292A1 (en) Methods and devices for decoder-side intra mode derivation
WO2023114155A1 (en) Methods and devices for decoder-side intra mode derivation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240403