JP2024505322A - 幾何学的パーティションを伴うイントラ予測 - Google Patents

幾何学的パーティションを伴うイントラ予測 Download PDF

Info

Publication number
JP2024505322A
JP2024505322A JP2023523592A JP2023523592A JP2024505322A JP 2024505322 A JP2024505322 A JP 2024505322A JP 2023523592 A JP2023523592 A JP 2023523592A JP 2023523592 A JP2023523592 A JP 2023523592A JP 2024505322 A JP2024505322 A JP 2024505322A
Authority
JP
Japan
Prior art keywords
intra
partition
prediction mode
mode
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023523592A
Other languages
English (en)
Inventor
チェン、ヤー
ビハリ ラト、ガガン
ナセル、カラム
ロバート、アントワーヌ
Original Assignee
インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ filed Critical インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Publication of JP2024505322A publication Critical patent/JP2024505322A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Prostheses (AREA)

Abstract

一実装形態では、イントラ予測モードでブロックをコーディングするとき、ブロックは、幾何学的に配置された直線によって2つのサブパーティションに分割され得る。CU内のそれぞれの幾何学的パーティションは、それ自体のイントラモードをその利用可能な基準サンプルと共に使用してイントラ予測される。1つのサブパーティションは、親ブロックからイントラ予測モードをコピーして使用し、別のサブパーティションは、別の暗黙的又は明示的にシグナリングされたイントラ予測モードを使用する。幾何学的パーティションを予測した後、分割境界に沿ったサンプル値は、適応重みを用いた混合プロセスを使用して調整される。幾何学的パーティションベースのイントラ予測は、1つの角度イントラ予測モードに対して、又は1つの負方向イントラ予測モードのみに対して、又は1つの特定のイントラ予測モード(例えば、モード34)のみに対して適用され得る。変換選択又は他のイントラコーディングツール(すなわち、イントラサブパーティション)は、幾何学的パーティションベースのイントラ予測に適応され得る。【選択図】図14

Description

本実施形態は、概して、ビデオの符号化又は復号化における幾何学的パーティションを伴うイントラ予測のための方法及び装置に関する。
高い圧縮効率を実現するために、画像及びビデオのコーディング方式は、通常、ビデオコンテンツ内の空間冗長性及び時間冗長性を活用するために予測及び変換を採用している。概して、イントラピクチャ又はインターピクチャ相関を利用するために、イントラ予測又はインター予測が使用され、次いで、予測誤差又は予測残差と呼ばれることが多い、原ブロックと予測ブロックとの間の差が、変換、量子化、及びエントロピコード化される。ビデオを再構成するには、エントロピコーディング、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号化する。
一実施形態によれば、ビデオの符号化又は復号化の方法が提供され、この方法は、ピクチャのブロックを直線によって少なくとも2つのパーティションに分割にすることと、該少なくとも2つのパーティションのうちの第1のパーティションの予測サンプルを取得するために、該第1のパーティションに対して第1のイントラ予測モードを用いてイントラ予測を実行することと、該少なくとも2つのパーティションのうちの第2のパーティションの予測サンプルを取得するために、該第2のパーティションに対して第2のイントラ予測モードを用いてイントラ予測を実行することと、適応重みを用いた混合プロセスを使用して、該直線に沿って予測サンプル値を調整することと、を含む。
別の実施形態によれば、1つ以上のプロセッサを備える、ビデオ符号化又は復号化のための装置が提示され、該1つ以上のプロセッサは、ピクチャのブロックを直線によって少なくとも2つのパーティションに分割し、該少なくとも2つのパーティションのうちの第1のパーティションの予測サンプルを取得ために、該第1のパーティションに対して第1のイントラ予測モードを用いてイントラ予測を実行し、該少なくとも2つのパーティションのうちの第2のパーティションの予測サンプルを取得するために、該第2のパーティションに対して第2のイントラ予測モードを用いてイントラ予測を実行し、適応重みを用いた混合プロセスを使用して、該直線に沿って予測サンプル値を調整するように構成されている。
別の実施形態によれば、ビデオの符号化又は復号化の装置が提示され、この装置は、ピクチャのブロックを直線によって少なくとも2つのパーティションに分割するための手段と、該少なくとも2つのパーティションのうちの第1のパーティションの予測サンプルを取得するために、該第1のパーティションに対して第1のイントラ予測モードを用いてイントラ予測を実行するための手段と、該少なくとも2つのパーティションのうちの第2のパーティションの予測サンプルを取得するために、該第2のパーティションに対して第2のイントラ予測モードを用いてイントラ予測を実行するための手段と、適応重みを用いた混合プロセスを使用して、該直線に沿って予測サンプル値を調整するための手段と、を備える。
1つ以上の実施形態によりまた、1つ以上のプロセッサによって実行されるとき、1つ以上のプロセッサに、これまで述べた実施形態のいずれかによる符号化方法又は復号化方法を行わせる命令を含む、コンピュータプログラムを提供する。本実施形態のうちの1つ以上はまた、上で説明された方法に従って、ビデオデータを符号化するか、又は復号化するための命令を記憶したコンピュータ可読記憶媒体を提供する。
1つ以上の実施形態はまた、これまで述べた方法により起こされたビットストリームを格納しているコンピュータ可読記憶媒体を提供する。1つ以上の実施形態によりまた、上で説明された方法に従って生成されたビットストリームを送信又は受信するための方法及び装置を提供する。
本実施形態の態様が実装され得るシステムのブロック図を示す。 ビデオエンコーダの一実施形態のブロック図を示す。 ビデオデコーダの一実施形態のブロック図を示す。 圧縮VVCピクチャを表すためのコーディングツリーユニット(Coding Tree Unit、CTU)及びコーディングユニット(Coding Unit、CU)の概念を示す。 VVCにおけるイントラ予測のための基準サンプルを示す。 正方形のターゲットブロックに対するVVCにおけるイントラ予測方向を示す。 VVCにおけるインター予測のための幾何学的モードにおける32個の角度を示す。 幾何学的分割記述を示す。 角度12及び距離0~3を有する幾何学的パーティションを示す。 ピクチャの一部分に対する非矩形パーティショニングの例を示す。 区分的平滑画像モデルの例を示す。 対角パーティションベースのイントラ予測を示す。 一実施形態による、エンコーダにおける対角パーティションベースのイントラ予測の方法を示す。 一実施形態による、対角パーティションベースのイントラ予測ブロックの生成プロセスを示す。 一実施形態による、デコーダにおける提案される対角パーティションベースのイントラ予測プロセスを示す。 一実施形態による、親イントラCUの負方向イントラ予測モードに従ってパーティション0をどのように決定するかを示す。 パーティション1が対称三角形状のパーティションである例を示す。 パーティション1が非対称三角形状のパーティションである例を示す。 パーティション1が非対称三角形状のパーティションである場合、cu_sbp_modeが水平/垂直モードとして暗黙的である例を示す。 Left及びAboveの両モードが利用可能である例を示す。 図21(a)は、Left隣接モードのみが利用可能である例を示し、図21(b)は、Above隣接モードのみが利用可能である例を示し、図21(c)は、Leftモード及びAboveモードが同一である例を示す。 一実施形態による、イントラ対角パーティションのための混合マスクの例を示す。 一実施形態による、イントラ対角パーティションのための混合マスクの別の例を示す。 一実施形態による、イントラ対角パーティションのための混合係数の別の例を示す。 一実施形態による、分割境界がイントラ幾何学的パーティションのイントラ予測モードに平行である例を示す。 一実施形態による、イントラ幾何学的パーティションの分割境界がcu_sbp_boundaryによって示されている例を示す。 一実施形態による、幾何学的パーティションベースのイントラ予測のための3つの予め定義された分割開始位置を示す。 一実施形態による、幾何学的パーティションベースのイントラ予測のための任意の分割開始位置を示す。 一実施形態による、これらの2つの子パーティションの面積に従ってパーティション0を決定する例を示す。 一実施形態による、正方向イントラ予測モードについての幾何学的パーティションの例を示す。 一実施形態による、正方向イントラ予測モードについて分割境界がcu_sbp_boundaryで示されている例を示す。 一実施形態による、エンコーダにおけるイントラ予測モード探索プロセスを示す。
図1は、様々な態様及び実施形態が実装され得るシステムの一例のブロック図を示す。システム100は、以下に記載の様々なコンポーネントを含むデバイスとして具現化され得、本明細書に記載の態様のうちの1つ以上を実行するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、コネクテッド家電、及びサーバなどの様々な電子デバイスが挙げられる。システム100の要素は、単独で、又は組み合わせて、単一の集積回路、複数のIC、及び/又は個別のコンポーネントで具現化され得る。例えば、少なくとも1つの実施形態では、システム100の処理要素及びエンコーダ要素/デコーダ要素は、複数のIC及び/又は個別のコンポーネントにわたって分散している。様々な実施形態では、システム100は、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通じて、他のシステム、又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム100は、本出願に記載された態様のうちの1つ以上を実装するように構成される。
システム100は、例えば、本出願に記載された様々な態様を実装するために、内部にロードされた命令を実行するように構成された、少なくとも1つのプロセッサ110を含む。プロセッサ110は、埋め込み型メモリ、入力出力インターフェース、及び当該技術分野で既知であるように様々な他の回路を含み得る。システム100は、少なくとも1つのメモリ120(例えば、揮発性メモリデバイス及び/又は不揮発性メモリデバイス)を含む。システム100は、記憶デバイス140を含み、この記憶デバイスは、限定されるものではないが、EEPROM、ROM、PROM、RAM、DRAM、SRAM、フラッシュ、磁気ディスクドライブ、及び/若しくは光ディスクドライブを含む、不揮発性メモリ並びに/又は揮発性メモリを含み得る。記憶デバイス140は、非限定的な例として、内部記憶デバイス、取り付け型記憶デバイス、及び/又はネットワークアクセス可能な記憶デバイスを含み得る。
システム100は、例えば、データを処理して、符号化ビデオ又は復号化ビデオを提供するように構成されたエンコーダ/デコーダモジュール130を含み、そのエンコーダ/デコーダモジュール130は、それ自体のプロセッサ及びメモリを含み得る。エンコーダ/デコーダモジュール130は、符号化機能及び/又は復号化機能を実行するためにデバイス内に含まれ得るモジュールを表す。既知であるように、デバイスは、符号化及び復号化モジュールのうちの一方又は両方を含み得る。加えて、エンコーダ/デコーダモジュール130は、システム100の個別の要素として実装され得るか、又は当業者に知られているように、ハードウェアとソフトウェアの組み合わせとしてプロセッサ110内に組み込まれ得る。
本出願に記載の様々な態様を実行するためにプロセッサ110又はエンコーダ/デコーダ130上にロードされるプログラムコードは、記憶デバイス140内に記憶され、その後、プロセッサ110による実行のためにメモリ120上にロードされ得る。様々な実施形態によれば、プロセッサ110、メモリ120、記憶デバイス140、及びエンコーダ/デコーダモジュール130のうちの1つ以上は、本出願に記載されるプロセスの実行中に、様々な項目のうちの1つ以上を記憶し得る。かかる記憶された項目は、限定されるものではないが、入力ビデオ、復号化ビデオ、又は復号化ビデオの一部分、ビットストリーム、行列、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含み得る。
いくつかの実施形態では、プロセッサ110及び/又はエンコーダ/デコーダモジュール130の内部のメモリは、命令を記憶するため、及び符号化又は復号化中に必要とされる処理のためのワーキングメモリを提供するために使用される。しかしながら、他の実施形態では、処理デバイス(例えば、処理デバイスは、プロセッサ110又はエンコーダ/デコーダモジュール130のいずれかであり得る)の外部のメモリが、これらの機能のうちの1つ以上のために使用される。外部メモリは、メモリ120及び/又は記憶デバイス140、例えば、ダイナミック揮発性メモリ及び/又は不揮発性フラッシュメモリであり得る。いくつかの実施形態では、外部不揮発性フラッシュメモリが、テレビのオペレーティングシステムを格納するために使用される。少なくとも一実施形態では、RAMなどの高速外部ダイナミック揮発性メモリが、MPEG-2、HEVC、又はVVCなどのビデオコーディング動作及び復号化動作のためのワーキングメモリとして使用される。
システム100の要素への入力は、ブロック105に示されるように、様々な入力デバイスを通して提供され得る。このような入力デバイスとしては、(i)例えば、放送局によって無線で送信されるRF信号を受信するRF部、(ii)コンポジット入力端子、(iii)USB入力端子、及び/又は(iv)HDMI入力端子が挙げられるが、これらに限定されない。
様々な実施形態では、ブロック105の入力デバイスは、当技術分野で知られているように、関連するそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択することと(また信号を選択する、又は信号を周波数帯域に帯域制限するとも称される)、(ii)選択された信号をダウンコンバートすることと、(iii)特定の実施形態で、(例えば)チャネルとして称され得る信号周波数帯域を選択するために、再度より狭い周波数帯域に帯域制限することと、(iv)ダウンコンバート及び帯域制限された信号を復調することと、(v)誤り訂正を実行することと、(vi)データパケットの所望のストリームを選択するために多重分離することと、に対して好適な要素に関連付けられ得る。様々な実施形態のRF部分は、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、これらの様々な機能を実行するチューナを含み得、例えば、受信した信号をより低い周波数(例えば、中間周波数、若しくは近接ベースバンド周波数)に、又はベースバンドにダウンコンバートすることが含まれる。セットトップボックスの一実施形態では、RF部とその関連する入力処理要素は、有線(例えば、ケーブル)媒体上で送信されたRF信号を受信し、フィルタ処理し、ダウンコンバートし、また所望の周波数帯域に再びフィルタ処理することによって、周波数選択を行う。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、既存の要素の間に要素を挿入すること、例えば、増幅器及びアナログ-デジタル変換器を挿入することを含み得る。様々な実施形態において、RF部分は、アンテナを含む。
加えて、USB及び/又はHDMI端末は、USB及び/又はHDMI接続全体にわたって、システム100を他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤り訂正は、例えば、必要に応じて、個別の入力処理IC内又はプロセッサ110内に実装され得ることを理解されたい。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて、個別のインターフェースIC内又はプロセッサ110内に実装され得る。復調され、エラー訂正され、逆多重化されたストリームは、例えば、プロセッサ110と、出力デバイス上に提示するために必要に応じてデータストリームを処理するためにメモリ及び記憶要素と組み合わせて動作するエンコーダ/デコーダ130とを含む、様々な処理要素に提供される。
システム100の様々な要素は、統合されたハウジング内に提供され得、統合されたハウジング内では、様々な要素は、好適な接続構成115、例えば、I2Cバス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信し得る。
システム100は、通信チャネル190を介して他のデバイスとの通信を可能にする通信インターフェース150を含む。通信インターフェース150は、限定されるものではないが、通信チャネル190を介してデータを送信及び受信するように構成された送受信機を含み得る。通信インターフェース150は、限定されるものではないが、モデム又はネットワークカードを含み得、通信チャネル190は、例えば、有線及び/又は無線媒体内に実装され得る。
データは、様々な実施形態において、IEEE802.11などのWi-Fiネットワークを使用して、システム100にストリーミングされる。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適合されている通信チャネル190及び通信インターフェース150上で受信される。これらの実施形態の通信チャネル190は、一般的には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック105のHDMI接続を介してデータを配信するセットトップボックスを使用して、システム100にストリーミングデータを提供する。更に他の実施形態では、入力ブロック105のRF接続を使用して、システム100にストリーミングデータを提供する。
システム100は、出力信号を、ディスプレイ165、スピーカ175、及び他の周辺デバイス185を含む、様々な出力デバイスに提供し得る。他の周辺デバイス185は、実施形態の様々な例において、スタンドアロンDVR、ディスクプレーヤ、ステレオシステム、照明システム、及びシステム100の出力に基づいて機能を提供する他のデバイス、のうちの1つ以上を含む。様々な実施形態では、制御信号は、AV.Link、CEC、又はユーザ介入あり若しくはユーザ介入なしでデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム100とディスプレイ165、スピーカ175、又は他の周辺デバイス185との間で通信される。出力デバイスは、それぞれのインターフェース160、170、及び180を通じた専用接続を介してシステム100に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース150を介し、通信チャネル190を使用して、システム100に接続され得る。ディスプレイ165及びスピーカ175は、例えば、テレビなどの電子デバイスにおいて、システム100の他のコンポーネントと共に単一ユニットに統合され得る。様々な実施形態では、ディスプレイインターフェース160は、ディスプレイドライバ、例えば、タイミングコントローラ(TCon)チップを含む。
ディスプレイ165及びスピーカ175は、代替的に、例えば、入力105のRF部分が個別のセットトップボックスの一部である場合、他のコンポーネントのうちの1つ以上から分離され得る。ディスプレイ165及びスピーカ175が外部コンポーネントである様々な実施形態では、出力信号は、例えば、HDMIポート、USBポート、又はCOMP出力を含む、専用の出力接続を介して提供され得る。
図2は、VVC(Versatile Video Coding、多用途ビデオコーディング)エンコーダなどのビデオエンコーダ200の一例を示す。図2はまた、VVC規格に対して改良が行われたエンコーダ、又はVVCと同様の技術を採用するエンコーダを示し得る。
本出願では、「再構成された(reconstructed)」及び「復号化された(decoded)」という用語は、交換可能に使用され得、「符号化(encoded)された」及び「コード化(coded)された」という用語は、交換可能に使用され得、「画像(image)」、「ピクチャ(picture)」、及び「フレーム(frame)」という用語は、交換可能に使用され得る。通常、必ずしもそうではないが、「再構成された」という用語は、エンコーダ側で使用され、一方、「復号化された」という用語は、デコーダ側で使用される。
符号化される前に、ビデオシーケンスは、符号化前処理(201)、例えば、カラー変換を入力カラーピクチャに適用すること(例えば、RGB4:4:4からYCbCr4:2:0への変換)、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを実行する(例えば、色成分のうちの1つのヒストグラム等化を使用して)ことを経ることがある。メタデータは、前処理に関連付けられ、ビットストリームに添付され得る。
エンコーダ200では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、例えば、CUという単位に分けられ(202)、処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、そのユニットは、イントラ予測(260)を実行する。インターモードでは、動き推定(275)及び動き補償(270)が実行される。エンコーダは、ユニットを符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し(205)、例えば、予測モードフラグによってイントラ/インターの決定を示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算することによって(210)計算される。
その予測残差は、次いで、変換され(225)、量子化される(230)。量子化された変換係数、並びに動きベクトル及び他のシンタックス要素は、ビットストリームを出力するためにエントロピコード化される(245)。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接コード化される。
エンコーダは、符号化されたブロックを復号化して、更なる予測のための参照を提供する。量子化された変換係数は、予測残差を復号化するために逆量子化され(240)、逆変換される(250)。復号化された予測残差と予測されたブロックとを組み合わせて(255)、画像ブロックが再構成される。ループ内フィルタ(265)は、例えば、符号化アーチファクトを低減するための非ブロック化/サンプル適応オフセット(Sample Adaptive Offset、SAO)フィルタリングを実行するために、再構成されたピクチャに適用される。フィルタリングされた画像は、参照ピクチャバッファ(280)に記憶される。
図3は、例示的なビデオデコーダ300のブロック図を示す。デコーダ300では、以下に説明する通り、ビットストリームが、デコーダ要素によって復号化される。ビデオデコーダ300は、図2に記載するように、一般に、符号化パスとは逆の復号化パスを実行する。エンコーダ200もまた、概して、ビデオデータを符号化することの一部としてビデオ復号化を実行する。
特に、デコーダの入力は、ビデオビットストリームを含み、これは、ビデオエンコーダ200によって生成され得る。ビットストリームは、まず、変換係数、動きベクトル、及び他のコード化情報を取得するために、エントロピ復号化される(330)。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。デコーダは、したがって、復号化されたピクチャ分割情報に従ってピクチャを分割し得る(335)。変換係数は、予測残差を復号化するために、逆量子化され(340)、逆変換される(350)。復号化された予測残差と予測されたブロックとを組み合わせて(355)、画像ブロックが再構成される。イントラ予測(360)又は動き補償予測(すなわち、インター予測)(375)から、予測ブロックを得ることができる(370)。ループ内フィルタ(365)は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(380)に記憶される。
復号化されたピクチャは、復号化後処理(385)、例えば、逆カラー変換(例えば、YCbCr4:2:0からRGB4:4:4への変換)、又は符号化前処理(201)において実行された再マッピングプロセスの逆を実行する逆再マッピングを更に経ることができる。復号化後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。
上述したように、VVCビデオ圧縮では、ピクチャは、いわゆるコーディングツリーユニット(CTU)に分割され、それぞれのCTUは、図4に示されるように、圧縮領域において1つ以上のコーディングユニット(CU)によって表される。次いで、それぞれのCUは、いくつかのイントラ又はインター予測パラメータ(予測情報)を与えられる。
イントラ予測では、CUは、因果的隣接CU、すなわち、現在のCUの上側及び左側の復号化CUから空間的に予測される。その目的のために、VVCは、予測モードと呼ばれる単純な空間モデルを使用する。参照ピクセルと呼ばれる、上及び左のCU中の復号化されたピクセル値に基づいて、エンコーダは、ターゲットブロックの異なる予測を構築し、最良のRD性能をもたらす予測を選択する。95個の予め定義されたモードのうち、1つは平面モード(モード0としてインデックス付けされる)であり、1つはDCモード(モード1としてインデックス付けされる)であり、残りの93個(モード-14...-1、2...80としてインデックス付けされる)は角度モードである。角度モードは、フレーム内のオブジェクトの方向構造をモデル化することを目的とする。したがって、上及び左のCU中の復号化されたピクセル値は、ターゲットCUを埋めるために、予め定義された方向に沿って単純に繰り返される。
角度予測モードは、異なる方向性を有するオブジェクト構造を含む画像領域を記述し得る。平面モード及びDCモードは、特定の方向性なしに一定の領域及び徐々に変化する領域を記述する。しかし、フレーム内には、オブジェクト及び背景の一部、又は異なる方向性を有する同じ若しくは複数のオブジェクトの一部を含むブロックが存在する場合がある。そのようなブロックは、通常、単一の角度モード又は非角度モード(すなわち、平面モード及びDCモード)によって不十分に記述されることはできない。以下では、VVCにおけるイントラ予測及び幾何学的パーティションを簡単に提示する。参照を容易にするために、本文全体を通して「CU」及び「ブロック」という用語を交換可能に使用する。
VVCにおけるイントラ予測
VVCにおけるイントラ予測プロセスは、3つの工程、すなわち、(1)基準サンプル生成、(2)イントラサンプル予測、及び(3)予測サンプルの後処理からなる。基準サンプル生成プロセスを図5に示す。座標(x,y)の基準ピクセル値は、図においてR(x,y)で示される。WとHがそれぞれ幅と高さを示すWxHのサイズのCUに対して、以前に再構成された上側及び右上のピクセルから現在のCUまで、上部に2Wの復号化サンプルの行が形成される。同様に、左側の2Hサンプルの列が、再構成された左側及び左下のピクセルから形成される。左上位置の角部のピクセルはまた、上の行基準と左の列基準との間のギャップを埋めるために使用される。
次の工程、すなわち、イントラサンプル予測は、基準サンプルに基づいてターゲットCUのピクセルを予測することからなる。前述したように、異なる種類のコンテンツを効率的に予測するために、VVCは、様々な予測モードをサポートする。平面予測モード及びDC予測モードは、平滑領域及び徐々に変化する領域を予測するために使用され、角度予測モードは、異なる方向構造をキャプチャするために使用される。VVCは、-14~-1及び2~80にインデックス付けされた95個の方向予測モードをサポートする。正方形CUの場合、予測モード2~66のみが使用される。これらの予測モードは、図6に示されるように、時計方向に45度~-135度の異なる予測方向に対応する。数字は、対応する方向に関連付けられた予測モードインデックスを示す。モード2~33は水平予測を示し、モード34~66は垂直予測を示す。
モードは、表1に示されるように、水平/垂直方向の(0、0)位置に対する予測子のオフセットであるintraPredAngle(A)によって定義される。intraPredAngle(A)が0に等しいとき、予測モードは、厳密に水平モード(モード18)又は垂直モード(モード50)であり得る。intraPredAngle(A)の値が負であるとき、予測モードは負方向、すなわち、範囲19~49のモードであり、intraPredAngle(A)の値が正であるとき、予測モードは正方向、すなわち、残りの角度モードのいずれかである。
第2の工程の後、いくつかの予測モードは、上及び左の基準境界に沿って不連続性をもたらす可能性があり、したがって、それらの予測モードは、それらの境界付近の予測ピクセル値を平滑化することを目的とする、位置依存イントラ予測組み合わせ(position dependent intra prediction combination、PDPC)として知られる後続の後処理を含む。
VVCにおける幾何学的パーティション
インター予測境界とオブジェクトとのより良好な整合のために、JVET-P0068(Han Gao,et al.,「CE4:CE4-1.1,CE4-1.2 and CE4-1.14:Geometric Merge Mode(GEO)」,Document JVET-P0068,16th Meeting:Geneva,CH,1-11 October 2019を参照)では、VVCのインター予測において32個の角度及び5個の距離を有する幾何学的マージモードが提案されている。幾何学的マージモードが使用されるとき、CUは2つのパーティションに分割される。CU内のそれぞれのパーティションは、それ自体の動きパラメータを使用して相互予測され、パーティションごとに片予測のみが許容される。すなわち、それぞれのパーティションは、1つの動きベクトル及び1つの基準インデックスを有する。パーティションのそれぞれを予測した後、分割エッジに沿ったサンプル値は、適応重みを用いた混合プロセスを使用して調整される。
分割境界は、角度φ及び距離オフセットρによって記述され得る。角度φは、11.25度に等しいステップで0度~360度に量子化される。図7に示されるように、合計32個の角度が提案される。角度φ及び距離ρの幾何学的分割の記述を図8に示す。距離ρは、ブロックの中心からの距離を示す固定ステップを用いた最大可能距離ρmaxから量子化される。距離ρ=0について、このケースでは分割が対称であるので、角度の最初の半分のみが利用可能である。角度12及び距離0~3を使用した幾何学的パーティショニングの結果を図9に示す。
図10に示されるように、インター予測における非矩形パーティショニングのいくつかの例、例えば、対角パーティショニング(1010)及び一般的な幾何学的パーティショニング(1020)は、背景又は他のオブジェクトからオブジェクトの複雑な形状の輪郭を描くのに非常に有用である。VVCでは、矩形(正方形を含む)パーティショニングのみがイントラフレームに適用されるので、非常に異なる特徴を有するオブジェクトは、1つのイントラ符号化ブロック内に含まれ得る。任意のブロックが特定の方向に沿った変化領域と一定の変化領域とを同時に有する場合、又は任意のブロックが異なる方向に沿った2つ以上の変化領域を有する場合、それらは通常、単一の対応する角度モード、又は平面若しくはDCモードのいずれかによって不十分に記述されることはできない。
例えば、異なる平滑特性を有する2つの異なる平滑領域がエッジ(1110)によって分離される、図11に示されるような区分的平滑画像モデルを考慮する場合、単一のイントラ予測モデルで両方の領域を予測することはあまり正確ではない。近端領域では、それらは、より小さい正方形/長方形ブロックに連続的にパーティショニングされ、より小さいブロックとして別々にコード化され得る。しかしながら、同様のデータを有するこれらのより小さい予測ブロックは、不必要なオーバーヘッドをもたらす可能性がある。
そのようなブロックをより良好にモデル化するために、本発明者らは、使用されるべきイントラ幾何学的パーティションを提案する。特に、自然画像の複雑な特徴に適応するために、幾何学的/対角パーティションベースのイントラ予測を提案する。以下の1つ以上を含み得る異なる実施形態が提供される。
1.(対角分割を含む)幾何学的に配置された直線によってイントラ予測されたCUを2つ以上のサブパーティションに分割する。
2.CU内のそれぞれの幾何学的パーティションは、それぞれ、それ自体のイントラモードをその利用可能な基準サンプルと共に使用してイントラ予測される。1つのサブパーティションは、親CUからイントラ予測モードをコピーして使用し、別のサブパーティションは、別の暗黙的又は明示的にシグナリングされたイントラ予測モードを使用する。
3.それぞれの幾何学的パーティションを予測した後、分割境界に沿ったサンプル値は、適応重みを用いた混合プロセスを使用して調整される。
4.幾何学的パーティションベースのイントラ予測は、1つの角度イントラ予測モードに対して、又は1つの負方向イントラ予測モードのみに対して、又は1つの特定のイントラ予測モード(例えば、モード34)のみに対して適用され得る。
5.幾何学的パーティションベースのイントラ予測のレート歪み(Rate-Distortion、RD)コストは、最適なイントラ予測モードが選択された後又は前にチェックされ得る。
6.幾何学的パーティションベースのイントラ予測のために変換選択又は他のイントラコーディングツール(すなわち、イントラサブパーティション)を適応させる。
以下で、イントラ幾何学的パーティションに関するいくつかの実施形態を詳細に説明する。
負方向モードのための対角パーティションベースのイントラ予測
この実施形態では、1つの負方向イントラ予測モードが、最良のRD性能をもたらすターゲットCUのためにこれらの定義されたモードから選択された後、このターゲットCUは、図12に示されるように、左上位置からの対角分割を使用して、2つの三角形状パーティションに分割され得る。具体的には、イントラCUに対してサブパーティションフラグcu_sbp_flagがシグナリングされ、cu_sbp_flagが1に等しい場合、対角パーティションがこのイントラCUに更に適用される。
図13は、一実施形態による、エンコーダにおける画像ブロックに対する対角パーティションベースのイントラ予測の方法(1300)を示す。方法1300は、工程1305で開始する。工程1310において、最確モード(most probable mode、MPM)候補リストが生成される。工程1320及び1330において、エンコーダは、予測ブロックP(n)を生成し、潜在的なイントラ予測モードnごとにRDコストCOST(n)を計算することによって、全ての潜在的なイントラ予測モードをチェックする。最適なイントラ予測モードm(例えば、最小RDコストを有するもの)が、現在のブロックを符号化する(1340)ために使用される。負方向イントラ予測モードがこれらの予め定義されたモードから選択される場合(1350)、対角パーティションがチェックされる。工程1360において、ブロックが2つのサブパーティションに対角的に分割されるか否かを示すサブパーティションフラグcu_sbp_flagが0に初期化される。工程1370において、ブロックは対角的に分割され、分割に関連するRDコストが計算される。分割あり及び分割なしのRDコストが比較される(1380)。提案された対角パーティションベースのイントラ予測がより小さいRDコストを有する場合、対角パーティションがイントラブロックに対して適用され、サブパーティションフラグcu_sbp_flagは1として符号化される(1390)。方法1300は、工程1399で終了する。
図14は、一実施形態による、対角パーティションベースのイントラ予測ブロックの生成プロセス1400を示す。方法1400は、イントラ対角パーティションを適用するために工程1370において使用され得る。この対角パーティションが使用されるとき、イントラCUは、2つの三角形状の子パーティション、すなわち、パーティション0及びパーティション1に分割される(1410)。パーティション0は、親CUの負方向イントラ予測モードを使用すると推測される。別の子パーティション1は、次いで、別のデフォルト又はシグナリングされたイントラ予測モードを使用してイントラ予測される。異なる平滑度特性を有する2つの領域を有するイントラブロックに対して2つの異なるイントラ予測モードを可能にすることによって、より正確な予測が期待され得る。
どの子パーティションがパーティション0であるかを示すために、パーティション位置フラグcu_sbp_posがシグナリングされる(1420)。図12(a)及び図12(b)にそれぞれ示されるように、cu_sbp_posが0に等しいとき、パーティション0は左境界の近くに位置する領域である。対照的に、cu_sbp_posが1に等しいとき、パーティション0は上境界の近くに位置する領域である。コーディング効率を更に改善し、コーディングプロセスを簡略化するために、パーティション位置フラグcu_sbp_posはまた、以下で説明されるようないくつかの条件下で暗黙的であり得、シグナリングはスキップされ得る。
パーティション0のイントラ予測モードは、現在のCUから直接コピーされる(1430)。異なる設計原理に応じて、パーティション1のイントラ予測モードは、明示的にシグナリングされるか、又はデフォルトイントラ予測モードとして暗黙的にシグナリングされるかのいずれかであり得る(1440)。
各子パーティションは、それぞれ、そのイントラ予測モード及びその利用可能な基準サンプルを用いてイントラ予測される。三角形パーティションのそれぞれを予測した後、対角エッジ/境界に沿ったサンプル値が、適応重み付けマスク又は係数を用いた混合プロセスを使用して調整される(1450)。工程1420、1440及び1450の更なる詳細を以下に説明する。
図15は、一実施形態による、デコーダにおいて対角パーティションベースのイントラ予測を実行するための方法(1500)を示す。方法1500は、工程1505で開始する。工程1510において、CUに対するイントラ予測モードmが復号化される。このイントラ予測モードが負方向イントラ予測モードである場合(1520)、サブパーティションフラグcu_sbp_flagが復号化されて、ブロックが2つのサブパーティションに対角的に分割されるか否かが示される(1530)。イントラ予測モードmが負方向でない場合、又はcu_sbp_flagが0に等しい場合、このCUは、そのイントラモードmでイントラ予測される(1570)。CUが対角分割である場合(1535)、どの子パーティションがパーティション0であるかを示すために、パーティション位置フラグcu_sbp_posが明示的又は暗黙的に復号化される(1540)。パーティション1の場合、追加のイントラ予測モードcu_sbp_modeが明示的又は暗黙的に復号化され(1550)、それがパーティション1のイントラ予測に使用され(1565)、パーティション0の場合、それは、その親CUから直接コピーされるイントラ予測モードmを用いてイントラ予測される(1560)。予測されたパーティション0及びパーティション1を得た後、それらは、最終予測CUを得るために混合される(1580)。方法1500は、工程1599で終了する。
負方向イントラ予測モードに対してのみ更なる対角パーティションを適用する1つの理由は、両方の三角形状パーティションを予測するために利用可能な基準サンプルがあることを確実にするためである。この実施形態の変形形態によれば、提案された対角イントラパーティションは、イントラ予測モード34が選択された場合にのみ有効化される。
パーティション位置フラグcu_sbp_posを用いたパーティション0及びパーティション1の決定(1420)
図14及び図15で説明したように、親イントラCUのどの領域が、親CU(パーティション0)からコピーされたイントラ予測モードを使用してイントラ予測されるかを示すために、パーティション位置フラグcu_sbp_posがシグナリングされる。残りの領域(パーティション1)は、別のデフォルトモード又はシグナリングされたモードを使用してイントラ予測される。
図12に示されるように、cu_sbp_posが0に等しいとき、パーティション0は左境界の近くに位置する領域である。対照的に、cu_sbp_posが1に等しいとき、パーティション0は上境界の近くに位置する領域である。
パーティション位置フラグcu_sbp_posをシグナリングするのではなく、推論されたモードでイントラ予測されたパーティションの位置(パーティション0)は、コーディング効率を更に改善し、コーディングプロセスを簡略化するために、いくつかの条件下で暗黙的であり得る。
一例では、パーティション0は、図16に示されるように、親イントラCUの負方向イントラ予測モードに従って暗黙的であり得る。親イントラCUのイントラ予測モードが水平負方向(例えば、図6に示されるモード19~33)に属する場合、パーティション0は左境界の近くに位置する領域であり、そうでなく、垂直負方向(例えば、図6に示されるようなモード34~49)の場合、パーティション0は上境界の近くに位置する領域である。この暗黙的なシグナリングの1つの理由は、対角パーティションがイントラCUに更に適用される場合、このCUのイントラ予測モードが水平方向に属するとき、左境界の近くの領域に対して左基準アレイを使用して水平イントラ予測を実行する可能性が高く、異なる変化特性を有する残りの領域は、別のデフォルトモード又はシグナリングされたモードを使用してより良好にイントラ予測され得るからである。
この暗黙的なシグナリング方法に定義された水平負方向及び垂直負方向の範囲は、更に縮小又は拡大され得る。例えば、図6に示されるモード19~26のみが、P0/P1パーティションの暗黙的シグナリングが適用される水平負方向に分類され得、図6に示されるモード42~49は、P0/P1パーティションの暗黙的シグナリングが適用される垂直負方向に含まれる。
パーティション1のイントラ予測モードcu_sbp_mode(1440)
図14及び図15で説明したように、ターゲットイントラCUの子パーティションであるパーティション0は、その親CUからのイントラ予測モードを用いてイントラ予測され、ターゲットイントラCUの残りの子パーティションであるパーティション1は、1)デフォルトイントラ予測モード(すなわち、DC/水平/垂直モード)、2)又は残りの予め定義されたイントラ予測モードのうちのシグナリングされたイントラ予測モードのいずれかを使用してイントラ予測される。
簡単にするために、パーティション1は、DCモードを使用して自動的にイントラ予測され得る。このケースでは、cu_sbp_modeは1(DCモード)に設定される。現在のパーティション1のサンプル値は、左隣接部又は/及び上隣接部からの基準サンプルの平均を計算することによって予測され、DCモードが適用される場合、左上隅の基準サンプルはその予測には使用されない。この実装形態は、ブロックが特定の方向に沿った変化領域と一定の変化領域とを同時に有するケースに対処し得る。
ターゲットイントラCUが正方形ブロックである場合、パーティション1は、図17に示されているような対称三角形状パーティションである(パーティション1のために使用される基準サンプルは、濃い灰色でマークされている)。長さLに沿った左隣接部及び上隣接部の両方からの基準サンプルは、両方とも、次式に従って平均を計算するために使用される。
ここで、長さLは、正方形ブロックの幅/高さに等しいL=W又はH。パーティション1の予測に使用される基準サンプルは、この例では濃い灰色でマークされている。
ターゲットイントラCUが長方形ブロックである場合、DC予測を生成するための除算演算を回避するために、図18に示されているように、左隣接部及び上隣接部に沿ったより長い側のみが、非対称三角形状パーティションの平均を計算するために使用される。
パーティション1の水平側がより長い場合、イントラ予測p(x,y)は、次式に従って長さLに沿った上隣接部からの基準サンプルを平均化することによって導出される。
同様に、パーティション1の垂直側がより長い場合、イントラ予測p(x,y)は、次式に従って長さLに沿った左隣接部からの基準サンプルを平均化することによって導出される。
非対称三角形状パーティションの変形形態によれば、DCモードを使用するのではなく、パーティション1のサンプル値は、水平モード(cu_sbp_mode=18)又は垂直モード(cu_sbp_mode=50)を使用することによって予測され得る。
左隣接部及び上隣接部に沿ったパーティション1の垂直側がより長い場合、水平モード(モード18)は、パーティション1のイントラ予測モードとして暗黙的である。イントラ予測p(x,y)は、図19に示されるように、基準サンプルを水平方向にコピーすることによって導出される。同様に、垂直モード(モード50)は、左隣接部及び上隣接部に沿ったパーティション1の水平側がより長い場合に適用され、イントラ予測p(x,y)は、基準サンプルを垂直方向にコピーすることによって導出される。
別の変形形態によれば、非対称三角形状パーティションについて、現在のパーティション1のサンプル値は、DCモード及び水平/垂直モードから選択された1つのモードを使用することによって予測され得る。このケースでは、cu_sbp_modeは、1つの追加ビットを用いてビットストリームにシグナリングされる。
別の変形形態によれば、パーティション1をより正確かつ柔軟に予測するために、パーティション1は、最適なRDコストに基づいて、残りの予め定義されたモードのうちのシグナリングされたイントラ予測モードcu_sbp_modeを使用してイントラ予測され得る。このケースでは、パーティション1のモードcu_sbp_modeがDCモード又は水平/垂直モードに属する場合、左上隅の基準サンプルは予測に使用されず、モードcu_sbp_modeが他のイントラモードのうちの1つである場合、左上隅の基準サンプルが使用され得る。
エンコーダにおけるモード選択プロセスを高速化するために、イントラ予測モードの候補数が制限され得、又は別の最確モード(MPM)リストがパーティション1のイントラ予測モードcu_sbp_modeに使用され得る。例えば、パーティション1の左隣接ブロック及び上隣接ブロックのイントラモードを考慮することによって、3つのMPMを有するリストが生成される。左ブロックのモードをLeftと表し、上ブロックのモードをAboveと表すとする。
Left及びAboveの両モードが利用可能であり、それらが図20に示されるように異なる場合、MPMリストは以下のように構築される。
-Left及びAboveの両モードが非角度モードである場合:
-MPMリスト→{DC,V,H}
-モードLeft及びAboveの一方が角度モードであり、他方が非角度モードである場合:
-モードMaxをLeft及びAboveのより大きいモードとして設定する。
-MPMリスト→{Max,DC,Max-1}
-Left及びAboveの両モードが角度モードである場合:
-パーティション1が対称三角形状パーティションである場合
-MPMリスト→{DC,Left,Above}
-パーティション1が非対称三角形状パーティションであり、パーティション1の左隣接部及び上隣接部に沿った水平側がより長い場合
-MPMリスト→{Left,H,Above}
-そうでない場合
-MPMリスト→{Above,V,Left}
モードLeft及びAboveのうちの1つのみが利用可能である場合、又はモードLeft及びAboveの両方が角度であり、それらが等しい場合、パーティション1は、図21に示されるように、イントラ予測のために、この利用可能なモードLeft又はAboveを単に推測することができる。
適応重みを用いた混合プロセス(1450)。
パーティションのそれぞれを予測した後、分割エッジ上のサンプル値は、次式を使用する、P0に対する予測predP0(x,y)及びP1に対する予測predP1(x,y)に適応係数Wを用いた混合プロセスを使用して調整される。
predboundary(x,y)=WpredP0(x,y)+(1-W)predp1(x,y)
ここで、重み付け係数は、図22に示されるように、1/2若しくは3/4、又は他の値であり得る。
三角形パーティショニングモード(Triangle Partitioning mode、TPM)と同様に、2つのパーティションP0及びP1に沿った境界効果を更に低減するために、提案された対角パーティションベースのイントラ予測は、2つのイントラ予測モードm及びcu_sbp_modeを使用して動作し、次式にあるようにCUのための2つの予測pred(x,y)及びpred(x,y)に混合マスクW及びWを使用して最終予測ブロックpredfinal(x,y)を生成し得る。
predfinal(x,y)=W pred(x,y)+W pred(x,y)
提案されたイントラ対角パーティションの混合マスクW及びWは、図23に示されるように、サンプル位置と分割境界との間の距離から導出される。この例では、重み{7/8、6/8、5/8、4/8、3/8、2/8、1/8}が混合プロセスで使用される。
一変形形態によれば、イントラ対角パーティションの混合マスクW及びWはまた、図24に示されるように、対角エッジを中心にして非対称であってもよい。パーティションのイントラ予測モードがブロックのイントラモードから推測される予測pred(x,y)は、混合のためにより大きい重みを使用し得る。この例では、重み{3/4、2/4、1/4}が混合プロセスで使用される。
別の変形形態によれば、混合は、次式を使用して重み付け係数Wを用いて対角エッジにおいてのみ処理され得る。
predfinal(x,y)=Wpred(x,y)+(1-W)pred(x,y)
重み付け係数は、1/2又は3/4、又は他の値であってもよい。
負方向イントラ予測モードの幾何学的パーティション
上記では、CUは対角線によって2つの部分に分割される。より一般的には、2つの領域のエッジ/境界をより良好に整合するために、幾何学的に配置された直線によってイントラ予測されたCUを2つの部分に分割することを提案する。分割線は、イントラ予測モードに平行であってもよく、又はいくつかの特定のパーティションから選択されてもよく、分割線は、左上位置(0、0)から開始してもよく、又はオフセットを伴ってもよい。
対角パーティションベースのイントラ予測と同様に、提案される幾何学的パーティションベースのイントラ予測は、イントラ予測されたCUを2つのパーティションに更に分割し得る。次いで、CU内のそれぞれの幾何学的パーティション、パーティション0及びパーティション1は、それぞれ、その利用可能な基準サンプルを使用してそれ自体のイントラモードでイントラ予測される。それぞれの幾何学的パーティションを予測した後、分割境界に沿ったサンプル値は、適応重みを用いた混合プロセスを使用して調整される。重み係数は、サンプル位置と分割境界との距離から導出され得る。
幾何学的パーティションベースのイントラ予測のための分割境界導出
前述のように、幾何学的パーティションは、ターゲットCUのイントラ予測モードに関連付けられた方向に平行な分割線によってこのCUを2つの部分に分割し得る。
図25(a)の例に示されるように、イントラ予測モードがモード19である場合、分割境界(2510)は、水平負方向に平行である。又は、図25(b)に示されるように、イントラ予測モードがモード49である場合、分割境界(2520)は、垂直負方向に平行である。図25(c)に示されるように、ターゲットイントラCUのイントラ予測方向がモード34である場合、正方形ブロックには、前述のように対角分割(2530)が適用され、長方形ブロックには、モード34に平行な45度分割が適用される。
提案されたイントラ幾何学的パーティションの分割柔軟性を更に高めるために、分割境界は、図26に示されるようにいくつかの予め定義されたパーティションから選択され得る。この例では、7つの予め定義された分割境界があり、そのそれぞれは、11.25度のステップで0~-90度の角度を表す。この例では、どの分割境界が適用されるかを示すために、シンタックス要素cu_sbp_boundaryがシグナリングされる。
別の変形形態によれば、予め定義された分割境界の数は、7以外の任意の値であってもよく、また、イントラ予測モードに適応する異なる値であってもよい。例えば、イントラ予測モードが水平負方向(図6に示されるモード19~33)に属する場合、図26の上の部分に近い分割境界の半分のみが適用される。
幾何学的パーティションの分割線開始位置cu_sbp_start
上述のように、ターゲットCUの幾何学的パーティションの分割線は、左上位置(0,0)から開始し得るか、又は分割開始位置は、2つの子パーティションの幾何学的エッジ/境界とより良好に整合するように、オフセットを用いてシフトされ得る。
このケースでは、分割開始位置がどこに位置するかを示すためにシンタックス要素cu_sbp_startがシグナリングされる。図27に示されるように、モード34を例にとると、3つの予め定義された分割開始位置がある。cu_sbp_start=0のとき、45度分割線は左上位置p(0,0)から始まる。cu_sbp_startが1に等しい場合、45度分割線は左境界の中央
から始まる。同様に、cu_sbp_startが2に等しい場合、45度分割線は上境界の中央
から始まる。より多くの分割開始位置が、同様の規則で予め定義され得る。例えば、分割開始位置は、左境界又は上境界の4分の1
に位置し得る。
別の変形形態によれば、ターゲットCUの45度分割は、図28に示されるように、その座標情報がビットストリーム中にシグナリングされる左境界又は上境界における任意の位置から始まり得る。この変形形態では、分割開始位置が左境界に位置するか否かを示すためにシンタックスフラグcu_sbp_start_leftがシグナリングされ、次いで、分割開始位置と左上位置との間の距離を示すために別のシンタックス要素cu_sbp_start_offsetが続いてシグナリングされる。cu_sbp_start_leftが1に等しい場合、幾何学的パーティションは左境界の任意の位置p(0,y)から始まり、距離yがcu_sbp_start_offsetとしてビットストリームにシグナリングされる。同様に、cu_sbp_start_leftが0に等しい場合、幾何学的パーティションは上境界における任意の位置p(x,0)から始まり、距離xがcu_sbp_start_offsetとしてシグナリングされる。この変形形態は、幾何学的エッジ/境界と整合するためにより柔軟であるが、cu_sbp_start_offsetのシグナリングはかなりコストがかかる可能性がある。
面積に基づくパーティション0及びパーティション1の決定
幾何学的パーティションはターゲットCUを2つの非対称部分に分割することができるので、パーティション0は、図29に示されるように、ターゲットイントラCUのこれらの2つの子パーティションの面積に従って暗黙的であり得る。この変形形態の概念は、これら2つの子パーティションの中でより面積が大きい領域をパーティション0として自動的に設定することである。
この提案された変形形態の理由は、ターゲットイントラCUのほとんどの面積が、このCUのイントラモードで予測される可能性が高いことにあり、異なる変化特性を有する残りのより小さい面積のみが、別のモードを使用してイントラ記述される必要があり得る。そうでない場合、このターゲットCUには、別のイントラ予測モードが割り当てられるはずである。
角度モードに対する幾何学的パーティションベースのイントラ予測
上述のように負方向イントラ予測モードが選択された後に幾何学的パーティションをチェックするだけではなく、第3の実施形態では、1つの角度イントラ予測モードが選択され、2つの領域の基準隣接サンプルが利用可能になった後に、幾何学的に配置された直線によってイントラ予測されたCUを2つの部分に分割することを提案する。
負方向イントラ予測モードが選択された後の幾何学的パーティションベースのイントラ予測に対する補足として、幾何学的パーティションベースのイントラ予測は、正方向イントラ予測モードが選択された後に、イントラ予測されたCUを、オフセットを有する右上位置から、又はオフセットを有する左下位置から、2つのパーティションに更に分割し得ることが提案される。更なる詳細を以下に説明する。
幾何学的パーティションベースの正方向イントラ予測のための分割境界及び分割開始位置
上述したように、負方向イントラ予測モードが選択された後、幾何学的パーティションは、ターゲットCUを、このCUのイントラ予測モードに平行な分割線によって2つの部分に分割し得る。
正方向イントラ予測モードの補足として、幾何学的パーティションベースのイントラ予測は、イントラ予測されたCUを、このCUのイントラ予測モードに平行な分割線によって2つのパーティションに更に分割し得る。分割開始位置は、オフセットを有する右上位置から、又はオフセットを有する左下位置からのいずれかであり得る。
図30に示される例のように、分割線は、ターゲットCUの正方向イントラ予測モードに平行であり得る。イントラ予測モードが、水平正方向に属するモード8である場合、分割線は水平正方向に平行である。又は、イントラ予測モードが、垂直正方向モードのうちの1つであるモード60である場合、分割線は垂直正方向に平行である。ターゲットイントラCUのイントラ予測方向がモード2又はモード66である場合、135度分割が適用される。
正方向イントラ予測モードの分割線はまた、分割の柔軟性を更に高めるために、図31の例に示されているように、いくつかの予め定義されたパーティションから選択され得る。水平/垂直正方向モードに対して、それぞれ4つの予め定義された分割境界が存在する。図31(a)中の4つの予め定義された分割境界は、水平正方向モードに使用され、そのそれぞれは、11.25度のステップで0~45度の角度を表す。図31(b)中の別の4つの予め定義された分割境界は、垂直正方向モードに使用され、11.25度のステップで-45~-90度の角度を表す。この変形形態では、どの分割境界が適用されるかを示すために、シンタックス要素cu_sbp_boundaryがシグナリングされる。
最適なイントラ予測モードが選択される前の角度イントラ予測モードについての幾何学的パーティション又は対角パーティションベースのイントラ予測チェック
上記において、提案された実施形態は全て、再帰的RDO探索を介して角度イントラ予測モードが選択された後にのみ適用される。1つの利点は、イントラモード選択のための探索の複雑さを制限することである。
角度イントラ予測モードが選択された後にのみ、CUを2つの部分に分割するか否かをチェックするのではなく、第4の実施形態では、最良のイントラ予測モードが選択される前に、再帰的RDO探索中に角度イントラ予測モード候補について幾何学的/対角イントラパーティションがチェックされ得ることを提案する。すなわち、幾何学的/対角イントラパーティションを使用するか又は使用しない、いくつか又は全ての角度イントラ予測モードのRDコストが両方とも計算され得、残りのイントラ予測モードは、分割せずにRDコストを計算するだけである。最終的なイントラ予測モードは、これら全ての可能な状況から選択され、最良のRD性能をもたらし得る。
分割の有無をチェックするために必要とされるモードに属する角度イントラ予測モードを有するイントラ予測されたCUについて、サブパーティションフラグcu_sbp_flagがシグナリングされる。提案された幾何学的/対角イントラパーティションは、cu_sbp_flagが1に等しい場合、このイントラCUに更に適用される。
図32は、一実施形態による、エンコーダにおいてイントラ予測モード探索を実行するための方法(3200)を示す。方法3200は、工程3205で開始する。工程3210において、最確モード(MPM)候補リストが生成される。工程3220において、エンコーダは、予測ブロックP(m)を生成し、RDコストCOST(m)を計算することによって、潜在的なイントラ予測モードmをチェックする。幾何学的イントラパーティションをチェックする候補のうちの1つであるイントラモードについては(3230)、ブロックが2つのサブパーティションに対角的に分割されるか否かを示すサブパーティションフラグcu_sbp_flagは0に初期化され(3240)、ブロックは2つのサブパーティションに分割されて、RDコストCOST(m_sbp)が計算される(3250)。幾何学的パーティションベースのイントラ予測がより小さいRDコストを有する場合(3260)、幾何学的パーティションはイントラブロックに適用され、サブパーティションフラグcu_sbp_flagは1として符号化され、最適コストがCOST(m_sbp)に更新される(3270)。工程3280において、エンコーダは、全てのモードがチェックされたか否かをチェックする。全てのモードがチェックされていない場合、制御は工程3220に戻る。そうでない場合、エンコーダは、最適なイントラ予測モードを使用して現在のブロックを符号化する(3290)。方法3200は、工程3299で終了する。
方法1300と比較して、この実施形態(3200)は、探索の複雑さ及びcu_sbp_flagのシグナリングコストを増加させる一方、最良のイントラ予測モード探索を最適化する。複雑さとコーディング効率とのバランスをとるために、いくつかの探索高速化方式が以下の変形形態において説明される。
この実施形態の変形形態によれば、1つの特定のイントラ予測モード(例えば、モード34)がチェックされるときのみ、提案された幾何学的/対角イントラパーティションがチェックされることが可能になり得る。
この実施形態の別の変形形態によれば、1つの負方向イントラ予測モードがチェックされるときのみ、提案された幾何学的/対角イントラパーティションがチェックされることが可能になり得る。
この実施形態の別の変形形態によれば、幾何学的/対角イントラパーティションは、その左隣接ブロック又は上隣接ブロックのうちの1つが幾何学的/対角イントラパーティションを適用するときにのみ、チェックされることが可能になり得る。
この実施形態の別の変形形態によれば、幾何学的/対角イントラパーティションは、その左隣接ブロック及び上隣接ブロックの両方が幾何学的/対角イントラパーティションを適用するときにのみ、チェックされることが可能になり得る。
提案されたイントラ幾何学的/対角線分割のための変換選択
上述のプロセスによってCU全体の最終予測シグナルが得られた後、他のイントラ予測モードと同様に、変換及び量子化プロセスがCU全体に適用される。変換選択は、この実施形態では、イントラ幾何学的パーティションに適応され得る。
VVCでは、DCT2に加えて、多重変換選択(Multiple Transform Selection、MTS)方式が、イントラコード化ブロック及びインターコード化ブロックの両方における残差コーディングのために使用される。MTS方式は、DCT8/DST7から選択された複数の変換を使用する。変換及びシグナリングマッピングテーブルを表2に示す。MTSの導入は、VVCにおける変換の効率を改善するが、最適な変換候補の徹底的なRDO探索は、VVCエンコーダに大きな計算負荷をもたらす。
VVCでは、MTSが適用されるか否かを示すために、CUレベルフラグがシグナリングされる。第5の実施形態では、提案されたイントラ幾何学的/対角パーティションが適用されるときに、MTS CUレベルフラグがシグナリングされずに推測されることを提案する。
2つの分割パーティション(パーティション0及びパーティション1)のイントラ予測モード間の差が予め定義された閾値よりも小さい場合、又はパーティション1がDCモードを使用してイントラ予測される場合、MTS CUレベルフラグは0として推測され、DCT2が両方向に適用される。コンテンツが通常非常に複雑なテクスチャを有する残りのケースについては、1つの単一変換(DCT2)だけでは、異なる統計的変動をモデル化するのに効率的ではないため、MTSが適用される可能性が高い。MTS CUレベルフラグは1として推測され、次いで、2つのフラグが、それぞれ、表3に示されるように水平方向及び垂直方向についての変換タイプを示すために直接シグナリングされる。
この実施形態の変形形態によれば、イントラ幾何学的分割を使用するイントラCUのための変換タイプは、ターゲットイントラCUのイントラ予測モードから暗黙的に導出され得る。異なるコーディングパラメータを使用することによって、同じ論理が実際には異なって実装され得る。
前述した実施形態の変形形態によれば、提案された幾何学的/対角イントラパーティションが有効化され得る方向性イントラ予測モードの範囲が更に狭められ得る。例えば、モード26~42から1つのイントラ予測モードが選択された後にのみ、提案された幾何学的/対角イントラパーティションが有効化され得る。
前述した実施形態の別の変形形態によれば、ターゲットCUは、3つ以上の部分に分割され得る。
前述の実施形態の別の変形形態によれば、提案された幾何学的/対角イントラパーティションが現在のCUに適用されるとき、イントラサブパーティション(ISP)は許可されない。
様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための1つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び/又はアクションの順序及び/又は使用は、修正又は組み合わされ得る。加えて、「第1の(first)」、「第2の(second)」などの用語は、様々な実施形態において、要素、コンポーネント、ステップ、動作など、例えば、「第1の復号化(first decoding)」及び「第2の復号化(second decoding)」を修正するために使用され得る。かかる用語の使用は、具体的に必要とされない限り、修正された動作に対する順序付けを意味するものではない。そのため、この実施例では、第1の復号化は、第2の復号化の前に実行される必要はなく、例えば、第2の復号化の前、第2の復号化の間、又は第2の復号化と重複する時間中に発生し得る。
本出願に説明されている様々な方法及び他の態様は、図2及び図3に示されるような、ビデオエンコーダ200及びデコーダ300のモジュール、例えば、イントラ予測モジュール(260、360)を修正するために使用され得る。更に、本態様は、VVC又はHEVCに限定されず、例えば、他の規格及び勧告、並びに任意のそのような規格及び勧告の拡張に適用することができる。特に断りのない限り、又は技術上除外されない限り、本出願に記載の態様は、個々に、又は組み合わせて使用することができる。
本出願において、様々な数値が使用されている。具体的な値は、例示目的のためであり、記載の態様は、これらの具体的な値に限定されない。
様々な実装形態は、復号化することを含む。本出願で使用される場合、「復号化」は、例えば、ディスプレイに好適な最終出力を生成するために受信された符号化シーケンス上で実行されるプロセスの全て又は一部分を包含し得る。様々な実施形態において、このようなプロセスには、例えば、エントロピ復号化、逆量子化、逆変換、及び差動復号化など、通常、デコーダによって行われるプロセスのうちの1つ以上が含まれる。「符号化プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
様々な実装形態は、符号化を伴う。「復号化(decoding)」に関する上記の考察と同様に、本出願で使用される「符号化(encoding)」は、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部分を包含し得る。
本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。
本明細書に記載の実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装され得る。たとえ単一の形式の実装形態の文脈でのみ考察されている場合でも(例えば、方法としてのみ考察されている)、考察された特徴の実装形態は、他の形式(例えば、装置又はプログラム)でも実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実装され得る。本方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラマブル論理デバイスを含む、一般に処理デバイスを指すプロセッサなどの装置において実装され得る。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型/パーソナルデジタルアシスタント(personal digital assistant、「PDA」)及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、またそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも1つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、また他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの1つ以上が含み得る。
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることには、例えば、情報を受信すること、情報を(例えば、メモリから)取り出すこと、情報を記憶すること、情報を移動させること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの1つ以上が含まれ得る。
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は情報を(例えば、メモリから)取り出すことのうちの1つ以上を含み得る。更に、「受信すること」は、典型的には、動作、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することの間に、何らかの形で関与する。
例えば、「A/B」、「A及び/又はB(A and/or B)」及び「A及びBのうちの少なくとも1つ(at least one of A and B)」の場合、次の「/」、「及び/又は(and/or)」、及び「のうちの少なくとも1つ(at least one of)」のいずれかの使用は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「A、B、及び/又はC(A, B, and/or C)」及び「A、B、及びCのうちの少なくとも1つ(at least one of A, B, and C)」の場合、かかる表現は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は第3のリストされた選択肢(C)のみの選択、又は第1及び第2のリストされた選択肢(A及びB)のみの選択、又は第1及び第3のリストされた選択肢(A及びC)のみの選択、又は第2及び第3のリストされた選択肢のみの選択(B及びC)のみ、又は3つ全ての選択肢の選択(A及びB及びC)を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、脱量子化のための量子化行列をシグナリングする。このように、ある実施形態では、同じパラメータが、エンコーダ側でもデコーダ側でも使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる(明確なシグナリング)。これに対し、デコーダがすでにその特定のパラメータとともに他のパラメータも有する場合は、単にデコーダがその特定のパラメータを知ること、及びそれを選択することを可能にするように、送信を行わないシグナリング(暗黙的なシグナリング)を使用することができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることが理解されよう。例えば、1つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。
当業者には明らかであるように、実装形態は、例えば、記憶又は送信され得る情報を搬送するようにフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実行するための命令又は記載された実装形態のうちの1つによって生成されたデータを含み得る。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされ得る。かかる信号は、例えば、(例えば、スペクトルの無線周波数部分を使用して)電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えば、データストリームを符号化し、符号化されたデータストリームで搬送波を変調することを含み得る。信号が搬送する信号は、例えば、アナログ情報又はデジタル情報であり得る。信号は、知られているように、様々な異なる有線又は無線リンクによって送信され得る。信号は、プロセッサ可読媒体に記憶され得る。

Claims (31)

  1. ビデオ符号化又は復号化のための方法であって、
    ピクチャのブロックを直線によって少なくとも2つのパーティションに分割することと、
    前記少なくとも2つのパーティションのうちの第1のパーティションの予測サンプルを取得するために、前記第1のパーティションに対して第1のイントラ予測モードを用いてイントラ予測を実行することと、
    前記少なくとも2つのパーティションのうちの第2のパーティションの予測サンプルを取得するために、前記第2のパーティションに対して第2のイントラ予測モードを用いてイントラ予測を実行することと、
    適応重みを用いた混合プロセスを使用して、前記直線に沿って予測サンプル値を調整することと、を含む、方法。
  2. 前記第1のパーティションは、前記ブロックのイントラ予測モードから前記第1のイントラ予測モードをコピーする、請求項1に記載の方法。
  3. 前記少なくとも2つのパーティションのうちのどちらが前記第1のパーティションであるかを示すためにシンタックスがシグナリングされる、請求項2に記載の方法。
  4. 前記ブロックの前記イントラ予測モードに基づいて、前記少なくとも2つのパーティションのうちの1つが前記第1のパーティションであると決定すること、
    を更に含む、請求項2に記載の方法。
  5. 前記少なくとも2つのパーティションのサイズに基づいて、前記少なくとも2つのパーティションのうちの1つが前記第1のパーティションであると決定すること、
    を更に含む、請求項2に記載の方法。
  6. 前記第2のイントラ予測モードが明示的にシグナリングされる、請求項1~5のいずれか一項に記載の方法。
  7. 前記第2のイントラ予測モードが暗黙的にシグナリングされる、請求項1~5のいずれか一項に記載の方法。
  8. 前記第1のパーティションの前記第1のイントラ予測モードを復号化することを更に含み、前記分割すること、前記実行すること、及び前記調整することは、前記第1のイントラ予測モードが角度予測モードであるときにのみ適用される、
    請求項1~7のいずれか一項に記載の方法。
  9. 前記分割すること、前記実行すること、及び前記調整することは、前記第1のイントラ予測モードが負方向の角度予測モードであるときにのみ適用される、請求項8に記載の方法。
  10. 前記分割すること、前記実行すること、及び前記調整することは、前記第1のイントラ予測モードが予め定義された角度予測モードであるときにのみ適用される、請求項8に記載の方法。
  11. 前記ブロックに最適なイントラ予測モードを選択することを更に含み、前記分割すること、前記実行すること、及び前記調整することは、前記最適なイントラ予測モードが角度予測モードであるときにのみ適用される、
    請求項1~7のいずれか一項に記載の方法。
  12. 前記分割すること、前記実行すること、及び前記調整することは、前記最適なイントラ予測モードが負方向の角度予測モードであるときにのみ適用される、請求項11に記載の方法。
  13. 前記分割すること、前記実行すること、及び前記調整することは、前記最適なイントラ予測モードが予め定義された角度予測モードであるときにのみ適用される、請求項11に記載の方法。
  14. 前記分割すること、前記実行すること、及び前記調整することは、前記第1のパーティション及び前記第2のパーティションの基準サンプルが利用可能であるときにのみ適用される、請求項1~13のいずれか一項に記載の方法。
  15. 前記第2のイントラ予測モードはDCモードである、請求項12又は13に記載の方法。
  16. 前記第2のパーティションの前記予測サンプルは、非対称形状パーティションに対して左隣接部及び上隣接部のより長い側のみを使用することによって取得される、請求項15に記載の方法。
  17. 前記第2のイントラ予測モードは水平モード又は垂直モードである、請求項12又は13に記載の方法。
  18. 前記第2のイントラ予測モードは、DCモード、水平モード、又は垂直モードからのみ選択される、請求項12又は13に記載の方法。
  19. 前記適応重みは0~1である、請求項1~18のいずれか一項に記載の方法。
  20. 前記適応重みは、前記直線を中心にして非対称である、請求項19に記載の方法。
  21. 前記直線は対角線である、請求項1~20のいずれか一項に記載の方法。
  22. 前記直線は、前記ブロックのイントラ予測モードに関連付けられた方向に平行である、請求項1~20のいずれか一項に記載の方法。
  23. 前記第1のイントラ予測モード及び前記第2のイントラ予測モードのうちの少なくとも1つに基づいて、前記ブロックのための1つ以上の変換を選択することを更に含む、請求項1~22のいずれか一項に記載の方法。
  24. 前記変換の選択は、前記第1のイントラ予測モードと前記第2のイントラ予測モードとの差に基づく、請求項23に記載の方法。
  25. 前記差が閾値よりも小さいことに応答して、DCT2が前記ブロックに適用される、請求項24に記載の方法。
  26. 前記第2のイントラ予測モードがDCモードであることに応答して、DCT2が前記ブロックに適用される、請求項24に記載の方法。
  27. 複数の変換選択が使用されるか否かは、明示的にシグナリングされない、請求項23~26のいずれか一項に記載の方法。
  28. イントラサブパーティションが無効化される、請求項1~27のいずれか一項に記載の方法。
  29. 1つ以上のプロセッサを備え、前記1つ以上のプロセッサは、請求項1~28のいずれか一項に記載の方法を実行するように構成されている、装置。
  30. 請求項1~28のいずれか一項に記載の方法を実行することによって形成される、ビットストリームを含む、信号。
  31. 請求項1~28のいずれか一項に記載の方法に従って、ビデオを符号化する又は復号化するための命令を記憶した、コンピュータ可読記憶媒体。
JP2023523592A 2020-11-18 2021-11-10 幾何学的パーティションを伴うイントラ予測 Pending JP2024505322A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20306397 2020-11-18
EP20306397.9 2020-11-18
PCT/EP2021/081266 WO2022106281A1 (en) 2020-11-18 2021-11-10 Intra prediction with geometric partition

Publications (1)

Publication Number Publication Date
JP2024505322A true JP2024505322A (ja) 2024-02-06

Family

ID=73654732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023523592A Pending JP2024505322A (ja) 2020-11-18 2021-11-10 幾何学的パーティションを伴うイントラ予測

Country Status (8)

Country Link
US (1) US20240031560A1 (ja)
EP (1) EP4248650A1 (ja)
JP (1) JP2024505322A (ja)
KR (1) KR20230104895A (ja)
CN (1) CN116458154A (ja)
AU (1) AU2021381550A1 (ja)
MX (1) MX2023005592A (ja)
WO (1) WO2022106281A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239347A1 (en) * 2022-06-06 2023-12-14 Google Llc Enhanced multi-stage intra prediction
WO2024080849A1 (ko) * 2022-10-14 2024-04-18 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2024099334A1 (en) * 2022-11-08 2024-05-16 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101415121B (zh) * 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
CN103748877B (zh) * 2011-08-17 2017-05-10 联发科技(新加坡)私人有限公司 帧内预测方法和装置
WO2016145162A2 (en) * 2015-03-12 2016-09-15 NGCodec Inc. Intra-picture prediction processor with progressive block size computations and dual stage computations

Also Published As

Publication number Publication date
MX2023005592A (es) 2023-07-27
EP4248650A1 (en) 2023-09-27
KR20230104895A (ko) 2023-07-11
US20240031560A1 (en) 2024-01-25
WO2022106281A1 (en) 2022-05-27
CN116458154A (zh) 2023-07-18
AU2021381550A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
US11722694B2 (en) Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples
US20220159277A1 (en) Method and apparatus for video encoding and decoding with subblock based local illumination compensation
CN113545056A (zh) 用于图片编码和解码的方法及设备
US20220078405A1 (en) Simplifications of coding modes based on neighboring samples dependent parametric models
JP2024505322A (ja) 幾何学的パーティションを伴うイントラ予測
CN113170146A (zh) 用于图片编码和解码的方法和设备
US11985306B2 (en) Method and apparatus for video encoding and decoding with matrix based intra-prediction
EP3723368A1 (en) Wide angle intra prediction with sub-partitions
AU2021381550A9 (en) Intra prediction with geometric partition
US20240179318A1 (en) Method and device for picture encoding and decoding using illumination compensation
CN113170135A (zh) 用于图片编码和解码的方法及设备
US20220124337A1 (en) Harmonization of intra transform coding and wide angle intra prediction
US20210297668A1 (en) Wide angle intra prediction and position dependent intra prediction combination
CN112335240A (zh) 使用可变权重的多参考帧内预测
JP2024505900A (ja) 空間局所照明補償
US20220256161A1 (en) Method and apparatus for video encoding and decoding with matrix based intra-prediction
CN114930819A (zh) 三角形合并模式中的子块合并候选
RU2815092C2 (ru) Широкоугольное внутрикадровое предсказание с подразделами
WO2024083500A1 (en) Methods and apparatuses for padding reference samples
JP2022537173A (ja) 位置依存イントラ予測コンビネーションを用いたピクチャ符号化及び復号の方法及びデバイス
CN113170153A (zh) 基于二元树初始化当前图片参考块矢量
WO2020072397A1 (en) Block size based motion vector coding in affine mode

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230628

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20231020

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20231121