JP7160948B2 - 適応変換タイプを有する空間的に変化する変換 - Google Patents

適応変換タイプを有する空間的に変化する変換 Download PDF

Info

Publication number
JP7160948B2
JP7160948B2 JP2020566562A JP2020566562A JP7160948B2 JP 7160948 B2 JP7160948 B2 JP 7160948B2 JP 2020566562 A JP2020566562 A JP 2020566562A JP 2020566562 A JP2020566562 A JP 2020566562A JP 7160948 B2 JP7160948 B2 JP 7160948B2
Authority
JP
Japan
Prior art keywords
transform
block
svt
type
residual block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020566562A
Other languages
English (en)
Other versions
JP2021525484A (ja
Inventor
ジャオ,イン
ヤン,ハイタオ
チェン,ジャンレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2021525484A publication Critical patent/JP2021525484A/ja
Priority to JP2022164888A priority Critical patent/JP2022189870A/ja
Application granted granted Critical
Publication of JP7160948B2 publication Critical patent/JP7160948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、ビデオ復号化技術に、具体的に、適応変換タイプを有する空間的に変化する変換を採用するビデオ復号化方法及び関連する装置に関係がある。
H.265のようなビデオコーディングは、予測及び変換のフレームワークに基づく。エンコーダで、画像ブロック(複数のピクセルを含む)は、予測ブロック及び残差ブロックに分解され得、予測情報(例えば、予測モード及び動きベクトル情報)及び残差情報(例えば、変換モード、変換係数及び量子化パラメータ)はビットストリームにコーディングされる。デコーダで、予測情報及び残差情報はパースされる。予測情報に従って、イントラ又はインター予測は、予測サンプルを生成するよう行われる。残差情報に従って、逆量子化及び逆変換は、残差サンプルを生成するよう順次行われる。予測サンプル及び残差サンプルは、再構成されたサンプルを得るよう足し合わされる。
空間的に変化する変換(SVT)は、ビデオコーディング効率を改善するために開発された。幅w及び高さh(すなわち、w×h)の矩形残差ブロックについて、残差ブロックよりも小さい変換ブロックは、残差ブロックの一部を変換するために使用され、残差ブロックの残りの部分はコーディングされない。SVTの裏側にある論理的根拠は、残差が残差ブロックにおいて等しく分布していないことがあることである。適応的な位置を有しているより小さい変換ブロックを使用することは、残差ブロックにおける主要な残差を捕捉することができ、よって、残差ブロックにおける全ての残差を変換することよりも良いコーディング効率を達成し得る。
SVTがサイズw×hの残差ブロックのために適用される場合に、変換ブロックのサイズ及び位置情報はビデオビットストリームにコーディングされ、よって、デコーダは、変換ブロックを再構成し、それを、残差ブロックに関連する予測ブロックの適所に構成することができる。
一例において、SVTブロックの3つのタイプが、図1に表されるように、残差ブロックのために使用され得る。
1)SVT-I:w_t=w/2、h_t=h/2、このとき、w_t及びh_tは、夫々、変換ブロックの幅及び高さを表し、w及びhは、残差ブロックの幅及び高さを表す。言い換えれば、変換ブロックの幅及び高さは、両方とも、残差ブロックのそれらの半分である。
2)SVT-II:w_t=w/4、h_t=h。
3)SVT-III:w_t=w、h_t=h/4。
SVTブロックのタイプ情報は、ビットストリームにコーディングされる。
変換ブロックの位置は、残差ブロックの左上角への位置オフセット(x,y)によって表され、このとき、xは、ピクセルの単位での変換ブロックの左上角と残差ブロックのそれとの間の水平距離を示し、yは、ピクセルの単位での変換ブロックの左上角と残差ブロックのそれとの間の垂直距離を示す。変換ブロックを残差ブロック内にあるようにする各位置は、候補位置である。残差ブロックについて、候補位置の数は、SVTのタイプについて(w-w_t+1)×(h-h_t+1)である。より具体的には、16×16の残差ブロックについて、SVT-Iが使用される場合に、81個の候補位置が存在し、SVT-II又はSVT-IIIが使用される場合に、13個の候補位置が存在する。x及びyの値は、ビットストリームにコーディングされる。SVT-Iの複雑さを減らすよう、32個の位置のサブセットが、SVT-Iのための許可された候補位置として、81個の候補位置から選択される。
SVTスキームの1つの欠点は、位置情報の重いシグナリングオーバーヘッドである。その上、エンコーダ複雑性は、レート歪み最適化(RDO)で試験される位置の数とともに大いに増大し得る。候補位置の数が残差ブロックのサイズとともに増えるので、オーバーヘッドは、32×32又は64×128のような、より大きい残差ブロックについて、より一層大きくなり得る。
SVTスキームのもう1つの欠点は、変換ブロックのサイズが残差ブロックの1/4であることである。変換ブロックは、高い確実性で、残差ブロックにおける主要な残差をカバーするほど十分に大きくない。
従って、簡単なSVTが開発されており、図2に示されるように、SVT-H及びSVT-Vと表されるSVTブロックの2つのタイプが、残差コーディングのために使用される。
1)SVT-V:w_t=w/2及びh_t=t。
2)SVT-H:w_t=w及びh_t=h/2。
SVT-Vは、SVT-IIに類似し、SVT-Hは、SVT-IIIに類似する。SVT-II及びSVT-IIIと比較して、SVT-V及びSVT-Hにおける変換ブロックは、残差ブロックの半分に広げられて、残差ブロックにおける更なる残差をカバーすることができる。
候補位置は、候補位置ステップサイズ(CPSS)によって決定される。従って、候補位置は、CPSSによって指定された等間隔で離されている。候補位置の数は、5以下に減らされて、最良の変換ブロック位置を決定するためのエンコーダ複雑性に加えて位置情報のオーバーヘッドを軽減する。
本開示は、復号化品質を改善するよう、適応変換タイプを有する空間的に変化する変換を採用するビデオ復号化方法及び関連する装置を開示する。
上記及び他の目的は、独立請求項の主題によって達成される。更なる実施形態は、従属請求項、明細書及び図面から明らかである。
第1の態様に従って、本開示は、ビデオ復号化方法に関係がある。方法は、ビデオ復号化装置によって実行される。方法は、残差ブロックのための空間的に変化する変換(SVT)の使用を決定することと、SVTが残差ブロックのために使用される場合に残差ブロックのためのSVTタイプを決定することであり、残差ブロックのためのSVTタイプは、SVT-V又はSVT-Hのどちらか一方である、ことと、残差ブロックの変換ブロックの変換ブロック位置を決定することであり、変換ブロックの変換タイプを決定することであり、変換タイプは、変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はDST-7である、ことと、変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて前記残差ブロックを再構成することとを含む。
第1の態様に従う方法の可能な実施形態で、残差ブロックのためのSVTタイプがSVT-Vであり、変換ブロックの変換ブロック位置が残差ブロックの左上角をカバーする位置であるとき、水平変換はDCT-8であり、垂直変換はDST-7である。
第1の態様に従う方法の可能な実施形態で、残差ブロックのためのSVTタイプがSVT-Vであり、変換ブロックの変換ブロック位置が残差ブロックの右下角をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDST-7である。
第1の態様に従う方法の可能な実施形態で、残差ブロックのためのSVTタイプがSVT-Hであり、変換ブロックの変換ブロック位置が残差ブロックの左上角をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDCT-8である。
第1の態様に従う方法の可能な実施形態で、残差ブロックのためのSVTタイプがSVT-Hであり、変換ブロックの変換ブロック位置が残差ブロックの右下角をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDST-7である。
第2の態様に従って、本開示は、残差ブロックのための空間的に変化する変換(SVT)の使用を決定するよう構成されるユニットと、SVTが残差ブロックのために使用される場合に残差ブロックのためのSVTタイプを決定するよう構成され、残差ブロックのためのSVTタイプは、SVT-V又はSVT-Hのどちらか一方である、ユニットと、残差ブロックの変換ブロックの変換ブロック位置を決定するよう構成されるユニットと、変換ブロックの変換タイプを決定するよう構成され、変換タイプは、変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はDST-7である、ユニットと、変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて残差ブロックを再構成するよう構成されるユニットとを有するビデオ復号化装置に関係がある。
第2の態様に従う装置の可能な実施形態で、残差ブロックのためのSVTタイプがSVT-Vであり、変換ブロックの変換ブロック位置が残差ブロックの左上角をカバーする位置であるとき、水平変換はDCT-8であり、垂直変換はDST-7である。
第2の態様に従う装置の可能な実施形態で、残差ブロックのためのSVTタイプがSVT-Vであり、変換ブロックの変換ブロック位置が残差ブロックの右下角をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDST-7である。
第2の態様に従う装置の可能な実施形態で、残差ブロックのためのSVTタイプがSVT-Hであり、変換ブロックの変換ブロック位置が残差ブロックの左上角をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDCT-8である。
第2の態様に従う装置の可能な実施形態で、残差ブロックのためのSVTタイプがSVT-Hであり、変換ブロックの変換ブロック位置が残差ブロックの右下角をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDST-7である。
第3の態様に従って、本開示は、1つ以上のプロセッサと、プロセッサへ結合され、プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ可読記憶媒体とを有し、プログラミングが、プロセッサによって実行される場合に、第1の態様に従う方法を実行するようビデオ復号化装置を構成する、ビデオ復号化装置に関係がある。
第4の態様に従って、本開示は、1つ以上のプロセッサによって実行される場合に、1つ以上のプロセッサに、第1の態様に従う方法のステップを実行させるコンピュータ命令を記憶している不揮発性のコンピュータ可読記憶媒体に関係がある。
本開示は、SVTタイプ及び位置情報に基づいて変換ブロックの複数の変換タイプを適応的に使用し、従って、復号化品質及び復号化効率を改善することができ、更には、変換アルゴリズムの数は、いくつかの実施形態で制限され、従って、復号化装置の実現を簡単にすることができる、ことが分かる。
SVT-I、SVT-II及びSVT-IIIの説明図である。 SVT-V及びSVT-Hの説明図である。 SVT-V及びSVT-Hブロックの候補位置の説明図である。 3つの候補位置を有するSVT-V及びSVT-Hの説明図である。 本開示の実施形態に従うビデオ復号化方法のフローチャートである。 本開示の実施形態に従うビデオ復号化装置の略構造図である。
本開示は、改善されたSVTスキームを紹介する。改善は、SVTブロックの水平変換のタイプ及び垂直変換のタイプがSVTタイプ及びSVTブロック位置に基づいて決定されることである。水平変換は垂直変換とは異なり得る。
第1の実施形態は、残差ブロックを復号するプロセスについて記載する。ビデオデータの少なくとも1つのピクチャを含むビットストリームが復号される。ピクチャは、複数の矩形画像領域に分割され、各領域は、コーディング・ツリー・ユニット(CTU)に対応する。CTUは、ビットストリームに含まれるブロックパーティション情報に従って、HEVCにおけるコーディングユニットのような複数のブロックにパーティショニングされる。ブロックのコーディング情報は、ビットストリームからパースされ、ブロックのピクセルは、コーディング情報に基づいて再構成される。
一実施形態で、SVTは、インター予測されたブロックのために使用されることに制限される。他の実施形態では、SVTは、イントラ予測されたブロックのためにも使用されてよい。
一例において、SVTは、特定のインター予測方法(例えば、平行移動モデルに基づく動き補償)を使用するブロックについて許可されるが、他の何らかのインター予測方法(例えば、アフィンモデルに基づく動き補償)を使用するブロックについては許可されないことがある。他の例では、SVTは、1/4画素動きベクトル差精度を有するマージモード又はAMVP(advanced motion vector prediction)モードを使用する予測ブロックについて許可されるが、1画素又は4画素動きベクトル差精度を有するアフィンマージモード、アフィンインターモード又はAMVPモードを使用する予測ブロックについては許可されないことがある。他の例では、SVTは、2よりも小さいマージインデックスを有するマージモードを使用する予測ブロックについて許可されるが、2よりも小さくないマージインデックスを有するマージモードを使用する予測ブロックについては許可されないことがある。マージモード及びAMVPモードは、H.265/HEVC標準において参照され得る。アフィンマージモード及びアフィンインターモードは、JVET(Joint Video Exploration Team)からのJEM(Joint Exploration Model)コーデックにおいて参照され得る。
一例において、ブロックは、コーディングユニットを指してよく、このとき、コーディングユニットは、1つの予測ブロック及び1つの残差ブロックを含んでよい。予測ブロックは、コーディングユニットの全ての予測サンプルを含んでよく、残差ブロックは、コーディングユニットの全ての残差サンプルを含んでよく、予測ブロックは、残差ブロックと同じサイズを有する。他の例では、ブロックは、コーディングユニットを指してよく、コーディングユニットは、2つの予測ブロック及び1つの残差ブロックを含んでよく、各予測ブロックは、コーディングユニットの予測サンプルの一部を含んでよく、残差ブロックは、コーディングユニットの全ての残差サンプルを含んでよい。他の例では、ブロックは、コーディングユニットを指してよく、コーディングユニットは、2つの予測ブロック及び4つの残差ブロックを含んでよい。HEVCにおける残差四分木(RQT)のような、コーディングユニットにおける残差ブロックのパーティションパターンは、ビットストリームにおいて伝えられてよい。
ブロックは、画像サンプル(又はピクセル)のY成分(ルーマ)しか含まなくてもよく、あるいは、それは、画像サンプルのY、U(クロミナンス)及びV(クロミナンス)成分を含んでよい。
サイズw×hの残差ブロックRは、次のステップによって再構成され得る。
ステップ1.残差ブロックRの変換ブロックサイズを決定する。
ステップ1.1.シンタックス要素に従ってSVTの使用を決定する。SVTを使用することを許可されている残差ブロックについて、残差ブロックがY成分の非ゼロ変換係数を有している(あるいは、それが、任意の色成分の非ゼロ変換係数を有している)場合に、フラグ(すなわち、svt_flag)がビットストリームからパースされる。フラグは、残差ブロックが残差ブロックと同じサイズの変換ブロックを用いてコーディングされているか(例えば、svt_flag=0)、あるいは、残差ブロックが残差ブロックのサイズよりも小さいサイズの変換ブロックによりコーディングされているか(例えば、svt_flag=1)どうかを示す。ブロックが色成分の非ゼロ変換係数を有しているかどうかは、HEVCで使用されるような、色成分のコーディングされたブロックフラグ(cbf)によって示されてよい。ブロックが任意の色成分の非ゼロ変換係数を有しているかどうかは、HEVCで使用されるような、ルートコーディングされたブロックフラグ(root cbf)によって示されてよい。
一例において、ブロックは、次の条件が満足される場合に、SVTを使用することを許可される。
1)ブロックは、インター予測を用いて予測される。
2)ブロック幅又はブロック高さのどちらか一方は、所定の範囲[a1,a2]、例えば、a1=16及びa2=64、又はa1=8及びa2=64、又はa1=16及びa2=128、に入る。a1及びa2の値は、固定値であることができる。値はまた、シーケンス・パラメータ・セット(SPS)又はスライスヘッダからも導出され得る。
他の例では、ブロックは、次の条件が満足される場合に、SVTを使用することを許可される。
1)ブロックは、閾値(例えば、1又は2又は3)よりも小さいマージインデックスを有するマージモードを用いて、あるいは、1/4画素動きベクトル差精度を有するAMVPモードを用いて予測される。
2)ブロックの1つの次元は、所定の範囲[a1,a2]に入り、ブロックの他の次元は、閾値a3よりも大きくなく、例えば、a1=8、a2=32、及びa3=32である。パラメータa1は、最小変換サイズの2倍としてセットされてよく、a2及びa3は、両方とも、最大変換サイズとしてセットされてよい。a1、a2、及びa3の値は、固定値であることができる。値はまた、シーケンス・パラメータ・セット(SPS)又はスライスヘッダからも導出され得る。
ブロックがSVTを使用しない場合に、変換ブロックサイズはw×hにセットされる。そうでなければ、ステップ1.2が、変換サイズを決定するために適用される。
ステップ1.2.シンタックス要素に従ってSVTのタイプを決定し、SVTタイプに従って変換ブロックサイズを導出する。残差ブロックのための許可されたSVTタイプは、残差ブロックの幅及び高さに基づいて決定される。SVT-Vは、wが範囲[a1,a2]内にあり、hがa3よりも大きくない場合に許可され、SVT-Hは、hが範囲[a1,a2]内にあり、wがa3よりも大きくない場合に許可される。SVTは、Y成分のためにのみ使用されてよく、あるいは、それは、3つ全ての成分、すなわち、Y成分、U成分及びV成分のために使用されてよい。SVTがY成分のためにのみ使用される場合に、Y成分残差はSVTによって変換され、U及びV成分は残差ブロックのサイズに従って変換される。
SVT-V及びSVT-Hの両方が許可される場合に、1つのフラグ(すなわち、svt_type_flag)がビットストリームからパースされ、それは、残差ブロックのためにSVT-Vが使用されるか(例えば、svt_type_flag=0)、あるいは、SVT-Hが使用されるか(例えば、svt_type_flag=1)どうかを示し、変換ブロックサイズは、信号により伝えられたSVTタイプに従ってセットされる(すなわち、SVT-Vについて、W_t=w/2及びh_t=h、かつ、SVT-Hについて、w_t=w及びh_t=h/2)。SVT-Vしか許可されないか、あるいは、SVT-Hしか許可されない場合に、svt_type_flagはビットストリームからパースされず、変換ブロックサイズは、許可されたSVTタイプに従ってセットされる。
ステップ2.シンタックス要素に従って変換ブロック位置を決定し、SVTのタイプ及び変換ブロック位置情報に基づいて変換ブロックの変換タイプを決定する。
ステップ2.1:シンタックス要素に従って変換ブロック位置を決定する。
位置インデックスPは、ビットストリームからパースされ、残差ブロック左上角に対する変換ブロックの左上角の位置オフセットZは、Z=s×Pとして決定され、このとき、sは、候補位置ステップサイズ(CPSS)である。Pの値は、SVT-Vが使用される場合に、0,1,・・・,(w-w_t)/sの中の1つであり、あるいは、Pの値は、SVT-Hが使用される場合に、0,1,・・・,(h-h_t)/sの中の1つである。より具体的には、(0,0)が残差ブロックの左上角の座標を表すとすれば、変換ブロックの左上角の座標は、SVT-Vについて(Z,0)又はSVT-Hについて(0,Z)である。
一例において、CPSSは、SVT-Vについてs=w/M1、又はSVT-Hについてs=h/M2と計算され、このとき、w及びhは、夫々、残差ブロックの幅及び高さであり、M1及びM2は、2から8の範囲にある所定の整数である。より多くの候補位置は、より大きいM1又はM2の値とともに許可される。この例で、M1及びM2は両方とも8としてセットされる。従って、Pの値は0から4の中の1つである。候補位置は、図3で表される。
他の例では、CPSSは、SVT-Vについてs=max(w/M1,Th1)、又はSVT-Hについてs=max(h/M2,Th2)と計算され、このとき、Th1及びTh2は、最小ステップサイズを指定する予め定義された整数である。Th1及びTh2は、2以上の整数である。この例では、Th1及びTh2は4としてセットされ、M1及びM2は8としてセットされる。この例で、異なるブロックサイズは、異なる数の候補位置を有してよい。例えば、w=8の場合に、2つの候補位置(図(a)及び図(e)によって表される)が、選択するために利用可能であり、w=16の場合に、3つの候補位置(図(a)、図(c)、及び図(e)によって表される)が、選択するために利用可能であり、w>16の場合に、5つの位置が、選択するために利用可能である。
他の例では、CPSSは、SVT-Vについてs=w/M1、又はSVT-Hについてs=h/M2と計算され、このとき、M1及びM2は4としてセットされる。従って、3つの候補位置が許可される。
他の例では、CPSSは、SVT-Vについてs=w/M1、又はSVT-Hについてs=h/M2と計算され、このとき、M1及びM2は2としてセットされる。従って、2つの候補位置が許可される。
他の例では、CPSSは、SVT-Vについてs=max(w/M1,Th1)、又はSVT-Hについてs=max(h/M2,Th2)と計算され、このとき、Th1及びTh2は2としてセットされ、M1は、w≧hの場合に8としてセットされ、あるいは、w<hの場合に4としてセットされ、M2は、h≧wの場合に8としてセットされ、あるいは、h<wの場合に4としてセットされる。この場合に、SVT-H又はSVT-Vのための候補位置の数は、残差ブロックのアスペクト比に更に依存し得る。
他の例では、CPSSは、SVT-Vについてs=max(w/M1,Th1)、又はSVT-Hについてs=max(h/M2,Th2)と計算され、このとき、M1、M2、Th1及びTh2の値は、ビットストリーム内のハイレベル・シンタックス構造(例えば、シーケンス・パラメータ・セット)から導出される。M1及びM2は、シンタックス要素からパースされた同じ値を共有してよく、Th1及びTh2は、他のシンタックス要素からパースされた同じ値を共有してよい。
位置インデックスPは、truncated unary符号を用いて1つ以上のビンに2値化されてよい。例えば、P値が0から4の範囲内にある場合に、P値0、4、2、3及び1は、0、01、001、0001及び0000と夫々2値化され、P値が0から1の範囲内にある場合に、P値0及び1は、0及び1と夫々2値化される。
位置インデックスPは、1つの最もありそうな位置及びいくつかの残りの位置を用いて1つ以上のビンに2値化されてよい。左及び上隣が利用可能である場合に、最もありそうな位置は、残差ブロックの右下角をカバーする位置としてセットされてよい。一例において、P値が0から4の範囲内にあり、位置4が最もありそうな位置としてセットされる場合に、P値4、0、1、2及び3は、1、000、001、010及び011と夫々2値化され、P値が0から2の範囲内にあり、位置2が最もありそうな位置としてセットされる場合に、P値2、0及び1は、1、01及び00と夫々2値化される。
ステップ2.2:SVTのタイプ及び変換ブロック位置情報に基づいて変換ブロックの変換タイプを決定する。変換タイプは、2次元可分変換の水平変換及び垂直変換を含む。
図4に示されるように、例えば、3つの候補位置が許可される場合を考える。位置0は左上角をカバーし、位置2は右下角をカバーする。位置1は、残差ブロックの真ん中にある。図4に示されるように、SVT-V及びSVT-Hの両方について3つの位置が存在する。
他の例では、2つの候補位置が許可される。位置0は左上角をカバーし、位置1は右上角をカバーする(図4の位置2と同じ)。すなわち、SVT-V及びSVT-Hの両方について2つの位置が存在する。
2次元変換は、1次元の水平変換及び垂直変換に分離可能であり得る。残差を変換係数に変える前方2D変換は、JEMコーデックで実施されるように、最初に、ブロックTAを生成するよう残差ブロックに水平変換を適用し、次いで、変換係数ブロックを生成するようブロックTAに垂直変換を適用することによって実現され得る。従って、変換係数を残差に戻す逆2D変換は、JEMコーデックで実施されるように、最初に、ブロックTBを生成するよう変換係数ブロックに逆垂直変換を適用し、次いで、残差ブロックを生成するようブロックTBに逆水平変換を適用することによって実現され得る。
一例において、表Iにリストアップされるように、SVT-V位置0のための水平及び垂直変換は、DCT-8及びDST-7であり、SVT-V位置1のための水平及び垂直変換は、DST-1及びDST-7であり、SVT-V位置2のための水平及び垂直変換は、DST-7及びDST-7であり、SVT-H位置0のための水平及び垂直変換は、DST-7及びDCT-8であり、SVT-H位置1のための水平及び垂直変換は、DST-7及びDST-1であり、SVT-H位置2のための水平及び垂直変換は、DST-7及びDST7である。この例で、SVT-Vのための垂直変換及びSVT-Hのための水平変換は、DST-7としてセットされ、他の変換は、SVT位置に基づく。
Figure 0007160948000001
他の例では、異なるSVTタイプ及び位置についての水平変換及び垂直変換は、表IIにリストアップされる。この例で、SVT-Vのための垂直変換及びSVT-Hのための水平変換は、DCT-2としてセットされ、他の変換は、SVT位置に基づく。
Figure 0007160948000002
他の例では、異なるSVTタイプ及び位置についての水平変換及び垂直変換は、表IIIにリストアップされる。この例で、水平変換及び垂直変換は、SVT位置によってのみ決定される。
Figure 0007160948000003
他の例では、異なるSVTタイプ及び位置についての水平変換及び垂直変換は、表IVにリストアップされる。
Figure 0007160948000004
他の例では、異なるSVTタイプ及び位置についての水平変換及び垂直変換は、表Vにリストアップされる。
Figure 0007160948000005
他の例では、異なるSVTタイプ及び位置についての水平変換及び垂直変換は、表VIにリストアップされる。
Figure 0007160948000006
位置依存の複数の変換は、ルーマ変換ブロックにのみ適用されてよく、対応するクロマ変換ブロックは、逆変換プロセスにおいて逆DCT-2を常に使用する。
ステップ3.変換ブロックサイズに基づいて変換ブロックの変換係数をパースする。
これは、HEVC又はH.264/AVCにおける変換係数パージングのような、ビデオ復号化内の一般的に使用されているプロセスである。変換係数は、ランレングスコーディングを用いてコーディングされるか、あるいは、変換係数グループ(CG)の組としてより洗練されてコーディングされてよい。
ステップ3は、ステップ2の前に行われてもよい。
ステップ4.変換係数及び変換ブロック位置及び逆変換のタイプに基づいて残差ブロックRを再構成する。
サイズw_t×h_tの逆量子化及び逆変換が、残差サンプルを回復するよう変換係数に適用される。残差サンプルのサイズは、w_t×h_tであり、変換ブロックサイズと同じである。逆変換は2次元可分変換である。逆量子化された変換係数ブロックは、最初に、ブロックTCを生成するよう逆垂直変換によって変換され、次いで、ブロックTCは、逆水平変換によって変換され、ここで、逆水平変換及び逆垂直変換は、変換ブロック位置に基づいて、又は変換ブロック位置及び変換ブロックのSVTタイプの両方に基づいて、ステップ2.2で決定されている。
残差サンプルは変換ブロック位置に従って残差ブロックR内の対応する領域に割り当てられ、残差ブロック内の残りのサンプルは、ゼロにセットされる。例えば、SVT-Vが使用され、候補位置の数が5であり、位置インデックスが4である場合に、再構成された残差サンプルは、図3(e)の領域Aに割り当てられ、領域Aの左側のサイズ(w/2)×hの領域はゼロ残差を有する。
ステップ1からステップ4を行った後、再構成された残差ブロックは、コーディングユニットにおける再構成されたサンプルを生成するよう予測ブロックにより構成されてよい。HEVCにおけるデブロッキングフィルタ及びサンプル適応オフセット(SAO)処理のような、フィルタリングプロセスが、再構成されたサンプルに対して後で適用されてもよい。
既存の解決法とは違って、本開示は、SVTタイプ及び位置情報に基づいて変換ブロックの複数の変換タイプを適応的に使用する。
図5は、適応変換タイプを有する空間的に変化する変換を採用するビデオ復号化の例示的な方法のフローチャートである。方法は、デコーダでビットストリームを受信すると開始されてよい。方法は、予測ブロック及び変換された残差ブロックを決定するためにビットストリームを用いる。方法はまた、残差ブロックを決定するために用いられる変換ブロックを決定してもよい。残差ブロック及び予測ブロックは、次いで、画像ブロックを再構成するために用いられる。方法は、デコーダの視点から記載されるが、同様の方法は、SVTを用いることによってビデオを符号化するために(例えば、逆に)用いられてよいことが留意されるべきである。ここで、方法は、以下を含む。
ステップ501,残差ブロックのためのSVTの使用を決定する。決定の具体的なプロセスは、ステップ1.1と同様である。
ステップ502,SVTが残差ブロックのために使用される場合に残差ブロックのためのSVTタイプを決定し、このとき、残差ブロックのためのSVTタイプは、SVT-Vタイプ又はSVT-Hタイプのどちらか一方であり、SVT-Vタイプは、残差ブロックの変換ブロックの幅が残差ブロックの幅の半分のサイズであり、変換ブロックの高さが残差ブロックの高さの同じサイズであることを示し(図4に示される)、SVT-Hタイプは、変換ブロックの幅が残差ブロックの幅の同じサイズであり、変換ブロックの高さが残差ブロックの高さの半分のサイズであることを示す(図4に示される)。決定の具体的なプロセスは、ステップ1.2と同様である。
ステップ503,SVTタイプに従って変換ブロックの変換ブロックサイズを導出する。導出の具体的なプロセスは、ステップ1.2と同様である。
ステップ504,変換ブロックの変換ブロック位置を決定する。決定の具体的なプロセスは、ステップ2.1と同様であり得る。
代替的に、SVTタイプの候補位置が2である場合に、1ビットフラグが、残差ブロックの変換ブロックの変換ブロック位置を示すために用いられてよい。例えば、図4の位置0及び2のみがSVT-Vのために用いられる場合に、1ビットフラグは、変換ブロック位置が位置0又は位置2であるかどうかを示すのに十分である。図4の位置0及び位置2のみがSVT-Hのために用いられる場合に、1ビットフラグは、変換ブロック位置が位置0又は位置2であるかどうかを示すのに十分である。
ステップ505,SVTタイプ及び変換ブロックの変換ブロック位置に従って変換ブロックの変換タイプを決定し、このとき、変換タイプは、変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はDST-7である。決定の具体的なプロセスは、ステップ2.2と同様であり得る。
具体的な変換タイプは、上述された表I、IV及びVのうちのいずれか1つのいずれかの変換タイプであることができ、あるいは、上述された表II、III及びVIのうちのいずれか1つのDST-7を含むいずれかの変換タイプであってよい。
例えば、残差ブロックのためのSVTタイプがSVT-Vタイプであり、変換ブロックの変換ブロック位置が残差ブロックの左上角(すなわち、図4の位置0)をカバーする位置であるとき、水平変換はDCT-8であり、垂直変換はDST-7である。
例えば、残差ブロックのためのSVTタイプがSVT-Vタイプであり、変換ブロックの変換ブロック位置が残差ブロックの右下角(すなわち、図4の位置2)をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDST-7である。
例えば、残差ブロックのためのSVTタイプがSVT-Hタイプであり、変換ブロックの変換ブロック位置が残差ブロックの左上角(すなわち、図4の位置0)をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDCT-8である。
例えば、残差ブロックのためのSVTタイプがSVT-Hタイプであり、変換ブロックの変換ブロック位置が残差ブロックの右下角(すなわち、図4の位置2)をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDST-7である。
ステップ506,変換ブロックサイズに従って変換ブロックの変換係数をパースする。パージングの具体的なプロセスは、ステップ3と同様であり得る。
ステップ507,変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて残差ブロックを再構成する。再構成の具体的なプロセスは、ステップ4と同様であり得る。
本開示は、SVTタイプ及び位置情報に基づいて変換ブロックの複数の変換タイプを適応的に使用し、従って、復号化品質及び復号化効率を改善することができ、更には、変換アルゴリズムの数は、いくつかの実施形態で制限され、従って、復号化装置の実現を簡単にすることができる、ことが分かる。
本開示は、本願の技術を実施するよう構成されるビデオ復号化装置であって:
残差ブロックのための空間的に変化する変換(SVT)の使用を決定するよう構成されるユニット。決定の具体的なプロセスは、ステップ1.1と同様である。
SVTが残差ブロックのために使用される場合に残差ブロックのためのSVTタイプを決定するよう構成されるユニットであって、残差ブロックのためのSVTタイプは、SVT-Vタイプ又はSVT-Hタイプのどちらか一方であり、SVT-Vタイプは、残差ブロックの変換ブロックの幅が残差ブロックの幅の半分のサイズであり、変換ブロックの高さが残差ブロックの高さの同じサイズであることを示し、SVT-Hタイプは、変換ブロックの幅が残差ブロックの幅の同じサイズであり、変換ブロックの高さが残差ブロックの高さの半分のサイズであることを示す、ユニット。決定の具体的なプロセスは、ステップ1.2と同様である。
SVTタイプに従って変換ブロックの変換ブロックサイズを導出するよう構成されるユニット。導出の具体的なプロセスは、ステップ1.2と同様である。
変換ブロックの変換ブロック位置を決定するよう構成されるユニット。決定の具体的なプロセスは、ステップ2.1と同様であり得る。代替的に、SVTタイプの候補位置が2である場合に、1ビットフラグが、残差ブロックの変換ブロックの変換ブロック位置を示すために用いられてよい。例えば、図4の位置0及び2のみがSVT-Vのために用いられる場合に、1ビットフラグは、変換ブロック位置が位置0又は位置2であるかどうかを示すのに十分である。図4の位置0及び位置2のみがSVT-Hのために用いられる場合に、1ビットフラグは、変換ブロック位置が位置0又は位置2であるかどうかを示すのに十分である。
SVTタイプ及び変換ブロックの変換ブロック位置に従って変換ブロックの変換タイプを決定するよう構成されるユニットであって、変換タイプは、変換ブロックの水平変換及び垂直変換を示し、水平変換及び垂直変換のうちの少なくとも一方はDST-7である。決定の具体的なプロセスは、ステップ2.2と同様であり得る。
変換ブロックサイズに従って変換ブロックの変換係数をパースするよう構成されるユニット。パージングの具体的なプロセスは、ステップ3と同様であり得る。
変換タイプ、変換ブロック位置及び変換ブロックの変換係数に基づいて残差ブロックを再構成するよう構成されるユニット。再構成の具体的なプロセスは、ステップ4と同様であり得る。
を含むビデオ復号化装置を開示する。
具体的な変換タイプは、上述された表I、IV及びVのうちのいずれか1つのいずれかの変換タイプであることができ、あるいは、上述された表II、III及びVIのうちのいずれか1つのDST-7を含むいずれかの変換タイプであってよい。
例えば、残差ブロックのためのSVTタイプがSVT-Vタイプであり、変換ブロックの変換ブロック位置が残差ブロックの左上角(すなわち、図4の位置0)をカバーする位置であるとき、水平変換はDCT-8であり、垂直変換はDST-7である。
例えば、残差ブロックのためのSVTタイプがSVT-Vタイプであり、変換ブロックの変換ブロック位置が残差ブロックの右下角(すなわち、図4の位置2)をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDST-7である。
例えば、残差ブロックのためのSVTタイプがSVT-Hタイプであり、変換ブロックの変換ブロック位置が残差ブロックの左上角(すなわち、図4の位置0)をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDCT-8である。
例えば、残差ブロックのためのSVTタイプがSVT-Hタイプであり、変換ブロックの変換ブロック位置が残差ブロックの右下角(すなわち、図4の位置2)をカバーする位置であるとき、水平変換はDST-7であり、垂直変換はDST-7である。
本開示は、本願の技術を実施するよう構成される他のビデオ復号化装置であって、1つ以上のプロセッサと、プロセッサへ結合され、プロセッサによる実行のためのプログラミングを記憶している不揮発性のコンピュータ可読記憶媒体とを有し、プログラミングが、プロセッサによって実行される場合に、上記の方法のいずれかを処理するようビデオ復号化装置を構成する、ビデオ復号化装置を開示する。
本開示は、1つ以上のプロセッサによって実行される場合に、1つ以上のプロセッサに、上記の方法のいずれかのステップを実行させるコンピュータ命令を記憶している不揮発性のコンピュータ可読記憶媒体を開示する。
図6は、本開示の実施形態に従うコーディングデバイス900の概略図である。コーディングデバイス900は、ここで記載されるような開示実施形態を実施するのに適している。コーディングデバイス900は、データを受けるための入口ポート910及び受信器ユニット(Rx)920と、データを処理するプロセッサ、ロジックユニット、又は中央演算処理装置(CPU)930と、データを送信するための送信器ユニット(Tx)940及び出口ポート950と、データを記憶するためのメモリ960とを有する。コーディングデバイス900はまた、光又は電気信号の出入りのために入口ポート910、受信器ユニット920、送信器ユニット940、及び出口ポート950へ結合された光-電気(OE)コンポーネント及び電気-光(EO)コンポーネントを有してもよい。
プロセッサ930は、ハードウェア及びソフトウェアによって実施される。プロセッサ930は、1つ以上のCPUチップ、コア(例えば、マルチコアプロセッサとして)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途向け集積回路(ASIC)、及びデジタル信号プロセッサ(DSP)として実施されてよい。プロセッサ930は、入口ポート910、受信器ユニット920、送信器ユニット940、出口ポート950、及びメモリ960と通信する。プロセッサ930は、コーディングモジュール970を有する。コーディングモジュール970は、上述された開示実施形態を実施する。例えば、コーディングモジュール970は、様々なグラフィクス処理及び計算を実施、処理、パース、準備又は提供する。従って、コーディングモジュール970の包含は、デバイス900の機能に対する実質的な改善をもたらし、異なる状態へのデバイス900の転換をもたらす。代替的に、コーディングモジュール970は、メモリ960に記憶されておりプロセッサ930によって実行される命令として実施される。
メモリ960は、1つ以上のディスク、テープドライブ、及びソリッドステートドライブを有し、プログラムが実行のために選択される場合にそのようなプログラムを記憶するために、かつ、プログラム実行中に読み出される命令及びデータを記憶するために、オーバーフローデータ記憶デバイスとして使用されてよい。メモリ960は、揮発性及び/又は不揮発性であってよく、リード・オンリー・メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、三値連想メモリ(TCAM)、及び/又は静的ランダム・アクセス・メモリ(SRAM)であってよい。
以下の参考文献は、それらの全文があたかも再現されるかのように参照により本願に援用される。
いくつかの実施形態が本開示で提供されてきたが、開示されているシステム及び方法は、本開示の精神又は範囲から逸脱せずに、多くの他の具体的な形態で具現化され得る、と理解されるべきである。本例は、限定としてではなく実例として解釈されるべきであり、ここで与えられている詳細に制限する意図はない。例えば、様々な要素又はコンポーネントは、他のシステムでは結合又は一体化されてよく、あるいは、特定の特徴は、省略されても、又は実施されなくてもよい。
その上、様々な実施形態で個別的又は別々に記載及び例示されている技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱せずに、他のシステム、モジュール、技術、又は方法と結合又は一体化されてよい。互いと結合若しくは直接結合されるか又は通信するものとして図示又は議論されている他のアイテムは、電気的若しくは機械的であろうと、又は別な方法であろうと、何らかのインターフェース、デバイス、又は中間コンポーネントを通じて間接的に結合され又は通信してよい。変更、置換、及び修正の他の例は、当業者によって確かめられ、ここで開示されている精神及び範囲から逸脱せずに行われ得る。
本願は、2018年5月31日付けで出願された米国特許仮出願第62/678738号の優先権を主張する。なお、先の米国出願は、その全文を参照により援用される。

Claims (13)

  1. ビデオ復号化方法であって、
    残差ブロックのための空間的に変化する変換(SVT)の使用を決定することと、
    SVTが前記残差ブロックのために使用される場合に前記残差ブロックのためのSVTタイプを決定することであり、前記残差ブロックのための前記SVTタイプは、SVT-Vタイプ又はSVT-Hタイプのどちらか一方であり、前記SVT-Vタイプは、前記残差ブロックの変換ブロックの幅が前記残差ブロックの幅の半分のサイズであり、前記変換ブロックの高さが前記残差ブロックの高さの同じサイズであることを示し、前記SVT-Hタイプは、前記変換ブロックの幅が前記残差ブロックの幅の同じサイズであり、前記変換ブロックの高さが前記残差ブロックの高さの半分のサイズであることを示す、ことと、
    前記SVTタイプに従って前記変換ブロックの変換ブロックサイズを導出することと、
    前記変換ブロックの変換ブロック位置を決定することと、
    前記SVTタイプ及び前記変換ブロックの前記変換ブロック位置に従って前記変換ブロックの変換タイプを決定することであり、前記変換タイプは、前記変換ブロックの水平変換及び垂直変換を示し、前記水平変換及び前記垂直変換のうちの少なくとも一方はDST-7に基づく、ことと、
    前記変換ブロックサイズに従って前記変換ブロックの変換係数をパースすることと、
    前記変換タイプ、前記変換ブロックサイズ、前記変換ブロック位置及び前記変換ブロックの変換係数に基づいて前記残差ブロックを再構成することと
    を有する方法。
  2. 前記残差ブロックのための前記SVTタイプが前記SVT-Vタイプであり、前記変換ブロックの前記変換ブロック位置が前記残差ブロックの左上角をカバーする位置であるとき、前記水平変換はDCT-8に基づき、前記垂直変換はDST-7に基づく
    請求項1に記載の方法。
  3. 前記残差ブロックのための前記SVTタイプが前記SVT-Vタイプであり、前記変換ブロックの前記変換ブロック位置が前記残差ブロックの右下角をカバーする位置であるとき、前記水平変換はDST-7に基づき、前記垂直変換はDST-7に基づく
    請求項1に記載の方法。
  4. 前記残差ブロックのための前記SVTタイプが前記SVT-Hタイプであり、前記変換ブロックの前記変換ブロック位置が前記残差ブロックの左上角をカバーする位置であるとき、前記水平変換はDST-7に基づき、前記垂直変換はDCT-8に基づく
    請求項1に記載の方法。
  5. 前記残差ブロックのための前記SVTタイプが前記SVT-Hタイプであり、前記変換ブロックの前記変換ブロック位置が前記残差ブロックの右下角をカバーする位置であるとき、前記水平変換はDST-7に基づき、前記垂直変換はDST-7に基づく
    請求項1に記載の方法。
  6. ビデオ復号化装置であって、
    残差ブロックのための空間的に変化する変換(SVT)の使用を決定するよう構成されるユニットと、
    SVTが前記残差ブロックのために使用される場合に前記残差ブロックのためのSVTタイプを決定するよう構成されるユニットであって、前記残差ブロックのための前記SVTタイプは、SVT-Vタイプ又はSVT-Hタイプのどちらか一方であり、前記SVT-Vタイプは、前記残差ブロックの変換ブロックの幅が前記残差ブロックの幅の半分のサイズであり、前記変換ブロックの高さが前記残差ブロックの高さの同じサイズであることを示し、前記SVT-Hタイプは、前記変換ブロックの幅が前記残差ブロックの幅の同じサイズであり、前記変換ブロックの高さが前記残差ブロックの高さの半分のサイズであることを示す、ユニットと、
    前記SVTタイプに従って前記変換ブロックの変換ブロックサイズを導出するよう構成されるユニットと、
    前記変換ブロックの変換ブロック位置を決定するよう構成されるユニットと、
    前記SVTタイプ及び前記変換ブロックの前記変換ブロック位置に従って前記変換ブロックの変換タイプを決定するよう構成されるユニットであって、前記変換タイプは、前記変換ブロックの水平変換及び垂直変換を示し、前記水平変換及び前記垂直変換のうちの少なくとも一方はDST-7に基づく、ユニットと、
    前記変換ブロックサイズに従って前記変換ブロックの変換係数をパースするよう構成されるユニットと、
    前記変換タイプ、前記変換ブロック位置及び前記変換ブロックの変換係数に基づいて前記残差ブロックを再構成するよう構成されるユニットと
    を有する装置。
  7. 前記残差ブロックのための前記SVTタイプが前記SVT-Vタイプであり、前記変換ブロックの前記変換ブロック位置が前記残差ブロックの左上角をカバーする位置であるとき、前記水平変換はDCT-8に基づき、前記垂直変換はDST-7に基づく
    請求項6に記載の装置。
  8. 前記残差ブロックのための前記SVTタイプが前記SVT-Vタイプであり、前記変換ブロックの前記変換ブロック位置が前記残差ブロックの右下角をカバーする位置であるとき、前記水平変換はDST-7に基づき、前記垂直変換はDST-7に基づく
    請求項6に記載の装置。
  9. 前記残差ブロックのための前記SVTタイプが前記SVT-Hタイプであり、前記変換ブロックの前記変換ブロック位置が前記残差ブロックの左上角をカバーする位置であるとき、前記水平変換はDST-7に基づき、前記垂直変換はDCT-8に基づく
    請求項6に記載の装置。
  10. 前記残差ブロックのための前記SVTタイプが前記SVT-Hタイプであり、前記変換ブロックの前記変換ブロック位置が前記残差ブロックの右下角をカバーする位置であるとき、前記水平変換はDST-7に基づき、前記垂直変換はDST-7に基づく
    請求項6に記載の装置。
  11. ビデオ復号化装置であって、
    1つ以上のプロセッサと、
    前記プロセッサへ結合され、前記プロセッサによる実行のためのプログラミングを記憶している非一時的なコンピュータ可読記憶媒体と
    を有し、
    前記プログラミングは、前記プロセッサによって実行される場合に、前記ビデオ復号化装置を、請求項1乃至5のうちいずれか一項に記載の方法を実行するよう構成する、装置。
  12. 1つ以上のプロセッサによって実行される場合に、該1つ以上のプロセッサに、請求項1乃至5のうちいずれか一項に記載の方法を実行させるコンピュータ命令を記憶している不揮発性のコンピュータ可読記憶媒体。
  13. コンピュータに請求項1乃至5のうちいずれか一項に記載の方法を実行させるよう構成されるコンピュータプログラム。
JP2020566562A 2018-05-31 2019-05-28 適応変換タイプを有する空間的に変化する変換 Active JP7160948B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022164888A JP2022189870A (ja) 2018-05-31 2022-10-13 適応変換タイプを有する空間的に変化する変換

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862678738P 2018-05-31 2018-05-31
US62/678,738 2018-05-31
PCT/CN2019/088751 WO2019228332A1 (en) 2018-05-31 2019-05-28 Spatially varying transform with adaptive transform type

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022164888A Division JP2022189870A (ja) 2018-05-31 2022-10-13 適応変換タイプを有する空間的に変化する変換

Publications (2)

Publication Number Publication Date
JP2021525484A JP2021525484A (ja) 2021-09-24
JP7160948B2 true JP7160948B2 (ja) 2022-10-25

Family

ID=68697832

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020566562A Active JP7160948B2 (ja) 2018-05-31 2019-05-28 適応変換タイプを有する空間的に変化する変換
JP2022164888A Pending JP2022189870A (ja) 2018-05-31 2022-10-13 適応変換タイプを有する空間的に変化する変換

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022164888A Pending JP2022189870A (ja) 2018-05-31 2022-10-13 適応変換タイプを有する空間的に変化する変換

Country Status (19)

Country Link
US (4) US11252426B2 (ja)
EP (2) EP3782361B1 (ja)
JP (2) JP7160948B2 (ja)
KR (3) KR102532021B1 (ja)
CN (1) CN111989913A (ja)
AU (1) AU2019277966B9 (ja)
BR (1) BR112020024218B1 (ja)
CA (1) CA3099323A1 (ja)
CL (1) CL2020003084A1 (ja)
DK (1) DK3782361T3 (ja)
ES (1) ES2962364T3 (ja)
HU (1) HUE063475T2 (ja)
IL (1) IL279095B1 (ja)
NZ (1) NZ769880A (ja)
PL (1) PL3782361T3 (ja)
PT (1) PT3782361T (ja)
UA (1) UA127899C2 (ja)
WO (1) WO2019228332A1 (ja)
ZA (1) ZA202006882B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111758255A (zh) * 2018-02-23 2020-10-09 华为技术有限公司 用于视频编解码的位置相关空间变化变换
WO2020003268A2 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Definition of zero unit
WO2020046091A1 (ko) * 2018-09-02 2020-03-05 엘지전자 주식회사 다중 변환 선택에 기반한 영상 코딩 방법 및 그 장치
CN113853791B (zh) * 2019-05-19 2023-11-14 字节跳动有限公司 数字视频中的变换旁路编解码残差块
CN112969067B (zh) * 2021-05-18 2021-08-03 浙江华创视讯科技有限公司 一种视频编码方法、装置、设备和可读存储介质
KR20240000457U (ko) 2022-08-31 2024-03-07 김재동 착용감과 내구성이 향상된 덧신 양말
KR20240000458U (ko) 2022-08-31 2024-03-07 김재동 착용감과 내구성이 향상된 덧신 양말

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
WO2003053066A1 (en) 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
KR101403338B1 (ko) 2007-03-23 2014-06-09 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US20120128074A1 (en) * 2008-08-12 2012-05-24 Nokia Corporation Video coding using spatially varying transform
GB0906058D0 (en) 2009-04-07 2009-05-20 Nokia Corp An apparatus
CN102484701A (zh) * 2009-07-06 2012-05-30 汤姆逊许可证公司 用于空间变化残差编码的方法和设备
CN101668205B (zh) * 2009-09-25 2011-04-20 南京邮电大学 基于残差宏块自适应下采样立体视频压缩编码方法
KR101457894B1 (ko) 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
US8885714B2 (en) 2010-01-14 2014-11-11 Texas Instruments Incorporated Method and system for intracoding in video encoding
KR101487687B1 (ko) 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR101791078B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
US9172968B2 (en) 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
US8885701B2 (en) 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
KR101756442B1 (ko) * 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
EP3668095B1 (en) 2011-01-13 2021-07-07 Canon Kabushiki Kaisha Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
CN103597827B (zh) 2011-06-10 2018-08-07 寰发股份有限公司 可伸缩视频编码方法及其装置
KR101943049B1 (ko) 2011-06-30 2019-01-29 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
JP5711098B2 (ja) 2011-11-07 2015-04-30 日本電信電話株式会社 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム
KR20130050404A (ko) 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
US9549182B2 (en) 2012-07-11 2017-01-17 Qualcomm Incorporated Repositioning of prediction residual blocks in video coding
CN103581676B (zh) 2012-08-10 2016-12-28 联发科技股份有限公司 视频编码变换系数的解码方法及装置
US20140056347A1 (en) 2012-08-23 2014-02-27 Microsoft Corporation Non-Transform Coding
CN103716623B (zh) * 2013-12-17 2017-02-15 北京大学深圳研究生院 基于加权量化的视频压缩编解码方法及编解码器
CN104935927A (zh) 2014-03-17 2015-09-23 上海京知信息科技有限公司 一种基于流水线的hevc视频序列编解码加速方法
CN103997650B (zh) 2014-05-30 2017-07-14 华为技术有限公司 一种视频解码的方法和视频解码器
CN104125466B (zh) 2014-07-10 2017-10-10 中山大学 一种基于gpu的hevc并行解码方法
CN105530518B (zh) 2014-09-30 2019-04-26 联想(北京)有限公司 一种视频编码、解码方法及装置
MY190919A (en) 2014-11-28 2022-05-19 Mediatek Inc Method and apparatus of alternative transform for video coding
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
CN106254870B (zh) 2015-06-08 2020-08-18 财团法人工业技术研究院 采用自适性色彩转换的视频编码方法、系统和计算机可读取记录介质
US10681379B2 (en) 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
CN108605129A (zh) 2016-01-28 2018-09-28 日本放送协会 编码装置、解码装置以及程序
US10904526B2 (en) 2016-03-28 2021-01-26 Kt Corporation Method and apparatus for processing video signal
EP4447452A2 (en) 2016-10-04 2024-10-16 B1 Institute of Image Technology, Inc. Image data encoding/decoding method and apparatus
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jicheng An, et al.,Non-CE7: Boundary-Dependent Transform for Inter-Predicted Residue,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-G281,2011年11月08日,pp.1-4
Sri Nitchith Akula et al.,Description of SDR, HDR and 360° video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-J0024_v2 ,2018年04月14日,pp.19-20, 39-40

Also Published As

Publication number Publication date
IL279095A (en) 2021-01-31
BR112020024218A8 (pt) 2023-02-07
IL279095B1 (en) 2024-08-01
CN111989913A (zh) 2020-11-24
KR20230069262A (ko) 2023-05-18
US11601663B2 (en) 2023-03-07
EP4250730A3 (en) 2024-01-10
AU2019277966B2 (en) 2024-09-19
AU2019277966B9 (en) 2024-10-03
EP3782361A4 (en) 2021-06-02
KR102656221B1 (ko) 2024-04-08
CL2020003084A1 (es) 2021-04-23
KR20210002630A (ko) 2021-01-08
PT3782361T (pt) 2023-11-17
KR102532021B1 (ko) 2023-05-12
PL3782361T3 (pl) 2023-12-27
US20220116638A1 (en) 2022-04-14
JP2022189870A (ja) 2022-12-22
JP2021525484A (ja) 2021-09-24
EP3782361A1 (en) 2021-02-24
WO2019228332A1 (en) 2019-12-05
HUE063475T2 (hu) 2024-01-28
DK3782361T3 (da) 2023-10-16
NZ769880A (en) 2022-04-29
UA127899C2 (uk) 2024-02-07
EP3782361B1 (en) 2023-09-20
AU2019277966A1 (en) 2020-11-26
ZA202006882B (en) 2022-07-27
BR112020024218B1 (pt) 2023-10-31
US20230188739A1 (en) 2023-06-15
BR112020024218A2 (pt) 2021-02-17
ES2962364T3 (es) 2024-03-18
US20240305807A1 (en) 2024-09-12
US11252426B2 (en) 2022-02-15
CA3099323A1 (en) 2019-12-05
US12022100B2 (en) 2024-06-25
EP4250730A2 (en) 2023-09-27
US20210084319A1 (en) 2021-03-18
KR20240051294A (ko) 2024-04-19

Similar Documents

Publication Publication Date Title
JP7160948B2 (ja) 適応変換タイプを有する空間的に変化する変換
CN114339221B (zh) 用于视频编解码的基于卷积神经网络的滤波器
WO2021032145A1 (en) Residual coding for transform skipped blocks
KR20210149182A (ko) 비디오 코딩 시스템에서 신택스 시그널링 및 참조 제약의 방법 및 장치
WO2021032158A1 (en) Position-based coefficients scaling
WO2020223467A1 (en) Intra coded video using quantized residual differential pulse code modulation coding
WO2020182113A1 (en) Combined screen content coding mode
RU2781213C2 (ru) Пространственно изменяющееся преобразование с типом адаптивного преобразования
RU2819359C2 (ru) Пространственно изменяющееся преобразование с типом адаптивного преобразования
RU2799905C2 (ru) Пространственно изменяющееся преобразование с типом адаптивного преобразования
WO2022218280A1 (en) Transforms and sign prediction
WO2022174801A1 (en) On boundary padding size in image/video coding
US20230179803A1 (en) Virtual boundary signaling
KR20180009358A (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221013

R150 Certificate of patent or registration of utility model

Ref document number: 7160948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150