JP2024513873A - 切り替え可能な補間フィルタを用いる幾何学的分割 - Google Patents

切り替え可能な補間フィルタを用いる幾何学的分割 Download PDF

Info

Publication number
JP2024513873A
JP2024513873A JP2023561133A JP2023561133A JP2024513873A JP 2024513873 A JP2024513873 A JP 2024513873A JP 2023561133 A JP2023561133 A JP 2023561133A JP 2023561133 A JP2023561133 A JP 2023561133A JP 2024513873 A JP2024513873 A JP 2024513873A
Authority
JP
Japan
Prior art keywords
sif
flag
coding unit
predictor
geo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023561133A
Other languages
English (en)
Inventor
ロベール、アントワン
ボルド、フィリップ
リアネック、ファブリース ル
ナセル、カラム
Original Assignee
インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ filed Critical インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Publication of JP2024513873A publication Critical patent/JP2024513873A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

切り替え可能な補間フィルタ(switchable interpolation filter、SIF)のための情報は、多用途ビデオ符号化などの幾何学的マージモードにおいて、別個の区画のために独立して使用される。SIF情報は、予測段階で使用され、幾何学的分割モードフィールドに格納され得る。さらに、SIF情報は、幾何学的分割の符号化された符号化単位の適応動きベクトル解像度の精度を定義するために使用され得る。一実施形態では、候補リストからの予測子は、SIFフラグから又は他の候補から継承される。【選択図】図6

Description

本実施形態のうちの少なくとも1つは、概して、ビデオの符号化又は復号、圧縮又は解凍のための方法又は装置に関する。
高い圧縮効率を実現するために、画像及びビデオの符号化スキームは、通常、動きベクトル予測を含む予測、並びにビデオコンテンツの空間的冗長性及び時間的冗長性を活用するための変換を採用している。一般に、フレーム内又はフレーム間の相関を活かすためにイントラ予測又はインター予測が使用され、それにより、しばしば予測誤差又は予測残差を意味する原画像と予測画像との差分が、変換され、量子化され、エントロピ符号化される。ビデオを再構成するには、エントロピ符号化、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号する。
本実施形態のうちの少なくとも1つは、概して、ビデオの符号化又は復号のための方法又は装置に関し、より具体的には、例えばVVC(Versatile Video Coding、多用途ビデオ符号化又はH.266)規格のような符号化規格において、切り替え可能な補間フィルタ(switchable interpolation filter、SIF)を用いる幾何学的分割(geometric partitions、GEO)を使用するための方法又は装置に関する。
第1の態様によれば、方法が提供される。この方法は、予測子のマージリストからSIFフラグを継承して、GEO符号化単位の各単予測子に対する別個のSIFフラグとして使用するステップと;SIFフラグを動きフィールドに格納するステップと;GEO符号化単位のAMVRインデックスを、使用される参照ピクチャリストに基づく2つの単予測子SIFフラグに基づく値に設定するステップと;GEOモードを使用して符号化単位を符号化するステップと、を含む。
第2の態様によれば、別の方法が提供される。この方法は、予測子のマージリストからSIFフラグを継承して、GEO符号化単位の各単予測子に対する別個のSIFフラグとして使用するステップと;SIFフラグを動きフィールドに格納するステップと;GEO符号化単位のAMVRインデックスを、使用される参照ピクチャリストに基づく2つの単予測子SIFフラグに基づく値に設定するステップと;GEOモードを使用して符号化単位を復号するステップと、を含む。
別の一態様によれば、装置が提供される。装置は、プロセッサを備える。プロセッサは、前述した方法のいずれかを実行することによって、ビデオのブロックを符号化する、又はビットストリームを復号するように構成することができる。
少なくとも1つの実施形態の別の一般的態様によれば、復号する実施形態のいずれかによる装置と、(i)信号を受信するように構成されたアンテナであって、信号がビデオブロックを含む、アンテナ、(ii)受信された信号を、ビデオブロックを含む周波数帯域に制限するように構成されたバンドリミッタ、又は(iii)ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも1つと、を備えるデバイスが提供される。
少なくとも1つの実施形態の別の一般的態様によれば、説明された符号化する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含む非一時的コンピュータ可読媒体が提供される。
少なくとも1つの実施形態の別の一般的態様によれば、説明された符号化実施形態又は変形形態のいずれかに従って生成されたビデオデータを含む信号が提供される。
少なくとも1つの実施形態の別の一般的態様によれば、説明された符号化する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含むようにビットストリームをフォーマットする。
少なくとも1つの実施形態の別の一般的態様によれば、命令を含むコンピュータプログラム製品であって、命令は、プログラムがコンピュータによって実行されるとき、記載される復号する実施形態又は変形形態のうちのいずれかをコンピュータに行わせる、コンピュータプログラム製品が提供される。
一般的態様の上記及び他の態様、特徴、及び利点は、例示的な実施形態の以下の詳細な説明を添付の図面を参照しながら読み進めることによって明らかになるであろう。
圧縮HEVCピクチャを表すための、符号化ツリー単位(Coding Tree Unit、CTU)及び符号化ツリー(Coding Tree、CT)の概念を示す図である。 符号化ツリー単位の符号化単位、予測単位、及び変換単位への分割を示す図である。 幾何学的分割の説明を示す図である。 角度12と0~3間の距離とを用いる幾何学的分割の一例を示す図である。 GEOモードに対して提案された角度を、それらの対応する幅対高さの比と共に示す図である。 GEO分割モードのための単予測動きベクトル(motion vector、MV)の選択を示す図である。 標準的で、一般的なビデオ圧縮スキームを示す図である。 標準的で、一般的なビデオ解凍スキームを示す図である。 説明された一般的な態様下で符号化/復号するためのプロセッサベースのシステムを示す図である。 説明された態様の下の方法の一実施形態を示す図である。 説明された態様の下の方法の第2の実施形態を示す図である。 説明された態様の下の装置の一実施形態を示す図である。
本明細書で説明する実施形態は、ビデオ圧縮の分野におけるものであり、一般的には、ビデオ圧縮、並びにビデオ符号化及び復号に関し、より具体的には、既存のビデオ符号化システムに比べて圧縮効率を改善することを目的とする。
高い圧縮効率を実現するために、画像及びビデオの符号化スキームは、通常、動きベクトル予測を含む予測、並びにビデオコンテンツ内の空間的冗長性及び時間的冗長性を活用するための変換を採用している。一般に、フレーム内又はフレーム間の相関を活かすためにイントラ予測又はインター予測が使用され、それにより、しばしば予測誤差又は予測残差を意味する原画像と予測画像との差分が、変換され、量子化され、エントロピ符号化される。ビデオを再構成するには、エントロピ符号化、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号する。
HEVC(High Efficiency Video Coding、高効率ビデオ符号化)のビデオ圧縮規格では、ビデオの連続するピクチャ間に存在する冗長性を利用するために、動き補償時間予測が採用される。
これを行うために、動きベクトルが各予測単位(PU)に関連付けられるが、ここで紹介されるのはこれである。各CTU(符号化ツリー単位)は、圧縮ドメイン内の符号化ツリーによって表現される。これは、CTUの四分木分割であり、各リーフが符号化単位(CU)と呼ばれるものである。これについては図1を参照のこと。
次いで、それぞれのCUは、何らかのイントラ又はインター予測パラメータ(予測情報)を与えられる。そうするために、それは1つ以上の予測単位(preditiction unit、PU)に空間的に分割されており、各PUには、何らかの予測情報が割り当てられている。イントラ又はインター符号化モードは、CUレベルに割り当てられる。これについては、図2を参照のこと。
HEVCでは、正確に1つの動きベクトルが、各PUに割り当てられる。この動きベクトルは、対象のPUの動き補償時間予測のために使用される。
JVET(Joint Video Exploration Team)グループによって開発された多用途ビデオコーデック(Versatile Video Codec、VVC)では、CUはもはやPU又はTUに分割されず、何らかの動きデータが各CUに直接割り当てられる。この新しいコーデック設計では、CUはサブCUに分割され得るが、動きベクトルが各サブCUについて計算される。
幾何学的マージモード
VVCにおいて、幾何学的マージモード(GEO)は、32個の角度及び5個の距離でサポートされる。角度
は、11.25度に等しいステップで0度~360度の間で量子化される。合計32個の角度が、図3に示されている。角度
及び距離
の幾何学的分割の説明を図3に示す。
距離
は、ブロックの中心からの距離を示す固定ステップを用いた最大可能距離
から量子化される。距離
の場合、このケースではスプリットが対称であるので、角度の最初の半分のみが利用可能である。角度12と、0~3間の距離とを使用した幾何学的分割の結果を図4に示す。
距離について
の場合、対称角度16~31は、0~15と同じスプリットに対応するので、除去される。角度0及び8も、CUのバイナリスプリットと同様であるため除外され、距離が0の場合には、14個の角度のみを残すこととなる。したがって、最大142個(14+32×4=142)のスプリットモードが幾何学的分割によって使用され得る。
GEO分割プロセスを簡略化するために、GEOにおける角度は、正接として2の累乗を有する角度で置き換えられる。提案された角度の正接は2の累乗数であるので、ほとんどの乗算はビットシフトによって置き換えることができる。提案された角度では、図5に示されるように、ブロックサイズごと及び分割モードごとに格納するために、1つの行又は列が必要とされる。
GEOのための単予測候補リスト構築
GEO単予測候補リストは、拡張マージ予測プロセスに従って構築されたマージ候補リストから直接導出される。符号nを、GEO単予測候補リスト中の、単予測動きのインデックスとする。n番目の拡張マージ候補のLX動きベクトルは、Xがnのパリティに等しい場合、GEO分割モードのためのn番目の単予測動きベクトルとして使用される。これらの動きベクトルは、図6において「x」でマーキングされている。n番目の拡張マージ候補の対応するLX動きベクトルが存在しない場合、代わりに、同じ候補のL(1-X)動きベクトルが、GEO分割モードのための単予測動きベクトルとして使用される。
最大5つの単予測候補が存在し、エンコーダは、スプリット方向及びオフセットを有する候補(各分割について1つ)のすべての組合せをテストしなければならない。
幾何学的分割エッジに沿った混合
それ自体の動きを使用して幾何学的分割の各部分を予測した後、2つの予測信号に混合が適用されて、幾何学的分割エッジの周りのサンプルを導出する。CUの各位置についての混合重みは、図3に示されている角度
及び距離
に依存する個々の位置と分割エッジとの間の距離に基づいて導出される。
幾何学的分割モードのための動きフィールド格納
幾何学的分割の第1の部分からのMv1、幾何学的分割の第2の部分からのMv2、及びMv1とMv2との複合Mvが、幾何学的分割モード符号化CUの、動きフィールドに格納される。
動きフィールドが区画0(図3の白い部分)又は区画1(図3の黒い部分)の一部である場合、Mv1又はMv2が対応する動きフィールドに格納され、あるいは、動きフィールドが混合部分(図3の灰色部分)に属する場合、Mv1及びMv2による複合Mvが格納される。複合Mvは、以下のプロセスを使用して生成される:
1)Mv1及びMv2が異なる参照ピクチャリストからのものである場合(一方はL0からのものであり、他方はL1からのものである)、Mv1及びMv2は単純に組み合わされて双予測動きベクトルを形成する。
2)あるいは、Mv1及びMv2が同じリストからのものである場合、単予測動きMv2のみが格納される。
適応補間フィルタ(SIF)
VVCのAMVR(Adaptive Motion Vector Resolution、適応動きベクトル解像度)符号化ツールは、動きベクトル正確度(又は精度、又は解像度)レベルを調整することを可能にする。さらに、SIF情報は、ハーフペル精度が使用されるかどうかを示し、その場合、通常の8タップフィルタの代わりに6タップ補間フィルタが使用される。
CUレベル情報(AMVRインデックス)は、CUのMv情報の解像度を示し、動きフィールドレベル情報(SIFフラグ)は、ハーフペル精度が使用されるかどうかを示す。
説明される実施形態は、その効率を改善するために、幾何学的マージモードにおける各区画のSIF情報を考慮することを目的とする。現在、SIF情報は、幾何学的マージモードにおいては考慮されていない。
説明される実施形態は、幾何学的マージモードにおいて各区画のSIF情報を独立して考慮することを目的とする。このことは、以下を含むことができる:
-予測段階においてSIF情報を使用することと;
-SIF情報をGEO動きフィールドに格納することと;
-幾何学的分割(GEO)の符号化単位(CU)のAMVR精度を定義すること。
影響を受けるコーデックモジュールは、図7の符号化モジュール170及び図8の符号化モジュール275である。
通常のマージモードでは、候補リストからの予測子は、SIFフラグから(空間的近傍から、又はHMVP(履歴ベース動きベクトル予測)候補から)継承する。予測子のSIFフラグが真であるとき、現在のCUのAMVRインデックスはハーフペルに設定され、動き補償プロセスが、通常の8タップ補間フィルタの代わりに6タップ補間フィルタを使用することができるようになる。このSIFフラグは、次の継承目的のために、このCUの動きフィールドに格納される。
GEOマージモードで考慮されるSIF
GEOマージモードでは、単予測候補リストは、幾何学的分割モードのための動きフィールド格納に関するセクション及び図6で説明されるように、通常マージリストに基づいて構築される。SIFフラグはまた、動きベクトル及び参照インデックスに加えて通常のマージ候補から継承され得るが、それによって、幾何学的分割(GEO)の符号化単位(CU)の各単予測子が、それ自体のSIFフラグを有することができるようになる。
幾何学的分割(GEO)の符号化単位(CU)の動き補償プロセスは、以下の3つのステップで実行される:
1)CUが、第1の分割予測子の動き情報を用いて動き補償される;
2)次いで、CUが、第2の分割予測子の動き情報を用いて動き補償される;
3)最後に、セクション適応補間フィルタ(SIF)の混合プロセスが適用される。
第1の分割予測子のSIFフラグが真であるとき、CUのAMVRインデックスは、ハーフペルに一時的に設定され、対応する動き補償が6タップ補間フィルタを使用することができるようにし、次いで、CUのAMVRインデックスは、デフォルト値にリセットされる。同じプロセスが、第2の分割予測子に適用される。混合プロセスの間、補償された値は、GEO予測されたCUを構成するために、これらの動き補償された2つの独立したCUから選ばれる。
このようにして、幾何学的分割(GEO)の符号化単位(CU)の各区画は、異なるSIFフラグを保持することができる。
SIFフラグ格納
通常のマージモードにおけるのと同様に、SIFフラグは、幾何学的分割(GEO)の符号化単位(CU)の動きフィールドに格納される。
幾何学的分割モードのための動きフィールド格納に関するセクションで説明したように、各予測子の動き情報又は組合せのいずれかが動きフィールドに格納される。動きフィールドが区画0(図3の白い部分)又は区画1(図3の黒い部分)の一部である場合、Mv1及び関連するSIF1フラグ又はMv2及び関連するSIF2フラグが対応する動きフィールドに格納される。そうではない場合、すなわち動きフィールドが混合部分(図3の灰色部分)に属する場合、Mv1とMv2とによる複合Mv及びSIF1フラグとSIF2フラグとによる複合SIFフラグが格納される。複合Mv及びSIFフラグは、以下のプロセスを使用して生成される:
1)Mv1及びMv2が異なる参照ピクチャリスト(一方はL0から、他方はL1から)からのものである場合、Mv1及びMv2は単純に組み合わされて双予測動きベクトルを形成し、SIFフラグは、入力されたSIF1フラグとSIF2フラグとの間に「AND」又は「OR」演算を適用することによって定義される;
2)あるいは、Mv1及びMv2が同じリストからのものである場合、単予測動きMv2及び関連するSIF2フラグのみが格納される。
CUのAMVRインデックス
CUのAMVRインデックスは、動き補償プロセス中に分割予測子SIFフラグに応じて、適応的に設定されるが、(後続の使用のために)CUに対して定義されなければならない。これは以下の通りである:
-デフォルト値のままである;
-混合部分のSIFフラグによって定義される値に設定される;
-2つの単一予測子SIFフラグどうしの間に「AND」又は「OR」演算を適用することによって定義される値に設定される(使用される参照ピクチャリストが何であれ)。
好ましい一実施形態では、SIFフラグは、GEOマージモードで考慮されるSIFのセクションで説明されるように、通常のマージリスト予測子から継承される。
SIFフラグは、SIFフラグ格納のセクションで説明したように、動きフィールドに格納され、「OR」演算が混合部分で使用される。
また、幾何学的分割(GEO)の符号化単位(CU)のAMVRインデックスは、(使用される参照ピクチャリストが何であれ)2つの単一予測子SIFフラグどうしの間に「OR」演算を適用することによって定義される値に設定される。
LICへの拡張
通常のマージ候補リストから来る、GEOマージモードで使用される予測子はまた、それら自体のLIC(Local Illumination Compensation、局所照明補償)フラグを有することができる。説明した全ての原理は、SIFフラグと同様に、LICフラグにも適用することができる。
本明細書で説明する一般的態様下での方法1000の一実施形態が図10に示されている。この方法は開始ブロック1001で始まり、制御はブロック1010に進み、予測子のマージリストからSIFフラグを継承して、GEO符号化単位の各単予測子に対する別個のSIFフラグとして使用する。制御はブロック1010からブロック1020に進み、上記のSIFフラグを動きフィールドに格納する。制御はブロック1020からブロック1030に進み、GEO符号化単位のAMVRインデックスを、使用される参照ピクチャリストに基づく2つの単予測子SIFフラグに基づく値に設定する。制御は、ブロック1030からブロック1040に進み、GEOモードを用いて、上記の符号化単位を符号化する。
本明細書で説明する一般的態様下での方法1100の一実施形態が図11に示されている。この方法は開始ブロック1101で始まり、制御はブロック1110に進み、予測子のマージリストからSIFフラグを継承して、GEO符号化単位の各単予測子に対する別個のSIFフラグとして使用する。制御はブロック1110からブロック1120に進み、SIFフラグを動きフィールドに格納する。制御はブロック1120からブロック1130に進み、GEO符号化単位のAMVRインデックスを、使用される参照ピクチャリストに基づく2つの単予測子SIFフラグに基づく値に設定する。制御は、ブロック1130からブロック1140に進み、GEOモードを用いて、上記の符号化単位を復号する。
図12は、近傍のサンプルに依存するパラメトリックモデルに基づく符号化モードの簡略化を使用してビデオデータを符号化、復号、圧縮、又は解凍するための装置1200の一実施形態を示す。この装置は、プロセッサ1210を備えており、少なくとも1つのポートを通じてメモリ1220に相互接続することができる。プロセッサ1210及びメモリ1220は両方とも、外部接続への1つ以上の追加の相互接続を有することもできる。
更にプロセッサ1210は、ビットストリームにおいて情報を挿入又は受信し、説明した態様のいずれかを使用して圧縮、符号化、又は復号するように構成されている。
本明細書で説明する実施形態は、ツール、特徴、例、モデル、手法などを含む、様々な態様を含む。これらの態様の多くは、具体的に記載され、少なくとも個々の特性を示すために、多くの場合、限定的に聞こえ得る方法で記載されている。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際には、異なる態様の全てを組み合わせ、かつ置き換えて、更なる態様を提供することができる。更に、これらの態様はまた同様に、以前の出願に記載の態様と組み合わせ、かつ置き換えすることができる。
本出願において説明され、企図される態様は、多くの異なる形態で実装することができる。図7、図8、及び図9は、いくつかの実施形態を提供するが、他の実施形態も企図されており、図7、図8、及び図9の説明は、実装形態の範囲を制限しない。態様のうちの少なくとも1つは、概して、ビデオ符号化及び復号に関し、少なくとも1つの他の態様は、概して、生成又は符号化されたビットストリームを送信することに関する。これら及び別の態様は、方法、装置、説明した方法のいずれかに従ってビデオデータを符号化又は復号するための命令を自体に格納したコンピュータ可読格納媒体、及び/又は、説明した方法のいずれかに従って生成されたビットストリームを自体に格納したコンピュータ可読格納媒体、として実装することができる。
本出願では、「再構成された(reconstructed)」及び「復号された(decoded)」という用語は、交換可能に使用され得、「ピクセル(pixel)」及び「サンプル(sample)」という用語は、交換可能に使用され得、「画像(image)」、「ピクチャ(picture)」、及び「フレーム(frame)」という用語は、交換可能に使用され得る。通常、必ずしもそうではないが、「再構成された」という用語は、エンコーダ側で使用され、一方、「復号された」という用語は、デコーダ側で使用される。
様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための1つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び/又はアクションの順序及び/又は使用は、修正又は組み合わされ得る。
本出願に説明されている様々な方法及び他の態様を使用して、図7及び図8に示されるようなビデオエンコーダ100及びビデオデコーダ200のモジュール、例えば、イントラ予測モジュール、エントロピ符号化モジュール、及び/又は復号モジュール(160、360、145、330)を修正することができる。更に、本開示の態様は、VVC又はHEVCに限定されず、例えば、既存のものであれ将来進展するものであれ、他の規格及び勧告、またこのようないかなる規格及び勧告(VVC及びHEVCを含む)の拡張にも適用することができる。特に断りのない限り、又は技術上除外されない限り、本出願に記載の態様は、個々に、又は組み合わせて使用することができる。
本出願において、様々な数値が使用されている。具体的な値は、例示目的のためであり、記載の態様は、これらの具体的な値に限定されない。
図7は、エンコーダ100を示す。このエンコーダ100の変形形態も企図されるが、以下では、分かりやすいように、予想される全ての変形形態を説明せずに、エンコーダ100について説明される。
符号化される前に、ビデオシーケンスは、符号化前処理(101)、例えば、カラー変換を入力カラーピクチャに適用すること(例えば、RGB4:4:4からYCbCr4:2:0への変換)、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを実行する(例えば、色成分のうちの1つのヒストグラム等化を使用して)ことを経ることができる。メタデータを前処理に関連付け、ビットストリームに付加することができる。
エンコーダ100では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、例えば、CUという単位に分割され(102)、処理される。各単位は、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。単位がイントラモードで符号化されるとき、その符号化は、イントラ予測(160)を実行する。インターモードでは、動き推定(175)及び動き補償(170)が実行される。エンコーダは、単位を符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し(105)、例えば、予測モードフラグによってイントラ/インターの決定を示す。予測残差は、例えば、原画像ブロックから予測されたブロックを減算することによって(110)計算される。
その予測残差は、次いで、変換され(125)、量子化される(130)。量子化された変換係数、並びに動きベクトル及び他のシンタックス要素は、エントロピコード化され(145)、ビットストリームが出力される。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接符号化される。
エンコーダは、符号化されたブロックを復号して、更なる予測のための参照を提供する。量子化された変換係数は、逆量子化され(140)、逆変換されて(150)、予測残差が復号される。復号された予測残差と予測されたブロックとを組み合わせて(155)、画像ブロックが再構成される。ループ内フィルタ(165)が、再構成されたピクチャに適用され、例えば、符号化アーチファクトを低減するための非ブロック化/サンプル適応オフセット(Sample Adaptive Offset、SAO)フィルタリングが実行される。フィルタリングされた画像は、参照ピクチャバッファ(180)に格納される。
図8は、ビデオデコーダ200のブロック図を示している。デコーダ200では、以下に説明するように、ビットストリームが、デコーダ要素によって復号される。ビデオデコーダ200は、概して、図7で説明したような符号化パスとは逆の処理となる復号パスを実行する。エンコーダ100も又、概して、ビデオデータを符号化することの一部としてビデオ復号を実行する。
特に、デコーダの入力は、ビデオビットストリームを含み、このビデオビットストリームは、ビデオエンコーダ100によって生成され得るものである。ビットストリームは、最初にエントロピ復号されて(230)、変換係数、動きベクトル、及び他の符号化情報が取得される。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがってデコーダは、復号されたピクチャ分割情報に従って、ピクチャを分割してもよい(235)。変換係数は、逆量子化され(240)、逆変換されて(250)、予測残差が復号される。復号された予測残差と予測されたブロックとを組み合わせて(255)、画像ブロックが再構成される。イントラ予測(260)又は動き補償予測(すなわち、インター予測)(275)から、予測ブロックを得ることができる(270)。ループ内フィルタ(265)は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(280)に格納される。
復号されたピクチャは、復号後処理(285)、例えば、逆カラー変換(例えば、YcbCr4:2:0からRGB4:4:4への変換)、又は符号化前処理(101)において実行された再マッピングプロセスの逆を実行する逆再マッピングを更に経ることができる。復号後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。
図9は、様々な態様及び実施形態が実装されているシステムの一例のブロック図を示す。システム1000は、以下に記載の様々な構成要素を含むデバイスとして具体化することができ、本明細書に記載の態様のうちの1つ以上を行うように構成されている。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム1000の要素を、単独で又は組み合わせて、単一の集積回路(integrated circuit、IC)、複数のIC、及び/又は別個の構成要素に具体化することができる。例えば、少なくとも1つの実施形態では、システム1000の処理要素及びエンコーダ要素/デコーダ要素は、複数のIC及び/又は別個の構成要素にわたって分散している。様々な実施形態では、システム1000は、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通じて、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム1000は、本文書に説明される態様のうちの1つ以上を実装するように構成されている。
システム1000は、例えば、本明細書に説明される様々な態様を実装するために、それ自体にロードされた命令を実行するように構成された少なくとも1つのプロセッサ1010を含む。プロセッサ1010は、埋め込みメモリ、入出力インターフェース、及び当該技術分野において知られている様々な他の回路を含むことができる。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリデバイス及び/又は不揮発性メモリデバイス)を含む。システム1000は、記憶デバイス1040を含み、これは、不揮発性メモリ及び/又は揮発性メモリを含むことができ、これらのメモリとしては、電気的消去可能なプログラマブル読み出し専用メモリ(Electrically Erasable Programmable Read-Only Memory、EEPROM)、読み出し専用メモリ(ROM)、プログラマブル読み出し専用メモリ(Programmable Read-Only Memory、PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory、SRAM)、フラッシュ、磁気ディスクドライブ、及び/又は光ディスクドライブが挙げられるが、これらに限定されない。記憶デバイス1040は、非限定的な例として、内部記憶デバイス、付属記憶デバイス(取り外し可能及び取り外し不可能な記憶デバイスを含む)、及び/又はネットワークアクセス可能な記憶デバイスを含むことができる。
システム1000は、例えば、符号化されたビデオ又は復号されたビデオを提供するためにデータを処理するように構成されたエンコーダ/デコーダモジュール1030を含み、エンコーダ/デコーダモジュール1030は、それ自体のプロセッサ及びメモリを含むことができる。エンコーダ/デコーダモジュール1030は、符号化機能及び/又は復号機能を実行するためのデバイスに含めることができるモジュール(複数可)を表す。既知であるように、デバイスは、符号化モジュール及び復号モジュールのうちの一方又は両方を含むことができる。更に、エンコーダ/デコーダモジュール1030を、システム1000の別個の要素として実装することができるが、又は当業者には既知であるように、ハードウェアとソフトウェアとの組み合わせとしてプロセッサ1010内に組み込むことができる。
本明細書に記載の様々な態様を行うためにプロセッサ1010又はエンコーダ/デコーダ1030に読み込まれるプログラムコードは、記憶デバイス1040に格納することができ、続いて、プロセッサ1010による実行のためにメモリ1020に読み込むことができる。様々な実施形態によれば、プロセッサ1010、メモリ1020、記憶デバイス1040、及びエンコーダ/デコーダモジュール1030のうちの1つ以上は、本明細書で説明されたプロセスの実行中に様々なアイテムのうちの1つ以上を格納することができる。かかる格納されたアイテムは、これらに限定されないが、入力ビデオ、復号されたビデオ、又は復号されたビデオの一部分、ビットストリーム、マトリックス、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含むことができる。
いくつかの実施形態では、プロセッサ1010及び/又はエンコーダ/デコーダモジュール1030の内部のメモリを使用して、命令を格納し、符号化又は復号中に必要とされる処理のための作業メモリを提供する。しかし、他の実施形態では、処理デバイス(例えば、処理デバイスを、プロセッサ1010か、又はエンコーダ/デコーダモジュール1030のいずれかとすることができる)の外部のメモリを、これらの機能のうちの1つ以上のために使用する。外部メモリを、メモリ1020及び/又は記憶デバイス1040、例えば、動的揮発性メモリ及び/又は不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、例えば、テレビのオペレーティングシステムを格納する。少なくとも1つの実施形態では、RAMなどの高速な外部の動的揮発性メモリは、MPEG-2(MPEGはMoving Picture Experts Groupと称され、MPEG-2はISO/IEC13818とも称され、13818-1はH.222としても既知であり、13818-2はH.262としても既知である)、HEVC(HEVCは高効率映像符号化と称され、H.265及びMPEG-H Part2としても既知である)、又はVVC(JVETによって開発中の新しい標準である多用途ビデオ符号化)などのビデオの符号化動作及び復号動作のための作業メモリとして使用される。
システム1000の要素への入力を、ブロック1130に示されるような様々な入力デバイスを通じて提供することができる。このような入力デバイスには、(i)例えば、放送事業者による放送全体にわたり送信されるRF信号を受信する無線周波数(Radio Frequency、RF)部分、(ii)コンポーネント(Component、COMP)入力端子(又はCOMP入力端子セット)、(iii)ユニバーサルシリアルバス(Universal Serial Bus、USB)入力端子、及び/又は(iv)高解像度マルチメディアインターフェース(High Definition Multimedia Interface、HDMI)入力端子が含まれるが、これらに限定されない。図9には示されていないが、他の例は、コンポジットビデオを含む。
様々な実施形態において、ブロック1130の入力デバイスは、当該技術分野において知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択すること(信号を選択すること、又は信号をある帯域の周波数に帯域制限することとも称される)と、(ii)選択された信号をダウンコンバートすることと、(iii)(例えば)特定の実施形態でチャネルと称され得る信号周波数帯域を選択するために、より狭い帯域の周波数に再び帯域制限することと、(iv)ダウンコンバートされ、帯域制限された信号を復調することと、(v)エラー訂正を実行することと、(vi)所望のデータパケットのストリームを選択するために逆多重化することと、に好適な要素と関連付けられ得る。様々な実施形態のRF部分は、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、様々なこれらの機能を実行するチューナを含むことができ、例えば、受信した信号をより低い周波数(例えば、中間周波数又は近ベースバンド周波数)に又はベースバンドにダウンコンバートすることを含む。セットトップボックスの一実施形態では、RF部分及びその関連する入力処理要素は、有線(例えば、ケーブル)媒体を介して送信されるRF信号を受信し、所望の周波数バンドにフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ-デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、RF部分は、アンテナを含む。
更に、USB端子及び/又はHDMI端子は、システム1000をUSB接続及び/又はHDMI接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リード-ソロモンエラー訂正を、例えば、必要に応じて、別個の入力処理IC内に又はプロセッサ1010内に実装することができることを理解すべきである。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて、別個のインターフェースIC内、又はプロセッサ1010内で実装することができる。例えば、プロセッサ1010、並びにメモリ及び格納要素と組み合わせて動作するエンコーダ/デコーダ1030を含む様々な処理要素に、復調され、エラー訂正され、逆多重化されたストリームを提供して、出力デバイス上に提示するために必要に応じてデータストリームを処理する。
システム1000の様々な要素は、統合されたハウジング内に提供され得、統合されたハウジング内では、様々な要素は、好適な接続配設、例えば、Inter-IC(I2C)バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信することができる。
システム1000は、通信チャネル1060を介して他のデバイスとの通信を可能にする通信インターフェース1050を含む。通信インターフェース1050は、通信チャネル1060によってデータを送信及び受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース1050は、モデム又はネットワークカードを含むことができるが、これらに限定されず、通信チャネル1060を、例えば、有線媒体及び/又は無線媒体内に実装することができる。
データは、様々な実施形態では、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、米国電気電子技術者協会(Institute of Electrical and Electronics Engineers)を指す)などの無線ネットワークを使用して、システム1000にストリーミングされるか、又は別様に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信用に適合された通信チャネル1060及び通信インターフェース1050によって受信される。これらの実施形態の通信チャネル1060は、典型的には、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック1130のHDMI接続によってデータを配信するセットトップボックスを使用して、システム1000にストリーミングされたデータを提供する。更に他の実施形態では、入力ブロック1130のRF接続を使用して、システム1000にストリーミングされたデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
システム1000は、ディスプレイ1100、スピーカ1110、及び他の周辺デバイス1120を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ1100は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(organic light-emitting diode、OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み可能なディスプレイのうちの1つ以上を含む。ディスプレイ1100は、テレビ、タブレット、ラップトップ、携帯電話(移動電話)、又は別のデバイス用とすることができる。又、ディスプレイ1100を、他の構成要素と統合することができ(例えば、スマートフォン内のように)、又は別個にする(例えば、ラップトップ用の外部モニタ)こともできる。実施形態の様々な例において、他の周辺デバイス1120には、スタンドアロンのデジタル・ビデオ・ディスク(又はデジタル多用途ディスク)(両方の用語について、DVR)、ディスクプレーヤ、ステレオシステム、及び/又は照明システム、のうちの1つ以上が含まれる。様々な実施形態は、システム1000の出力に基づいて機能を提供する1つ以上の周辺デバイス1120を使用する。例えば、ディスクプレーヤは、システム1000の出力を再生する機能を実行する。
様々な実施形態では、制御信号が、システム1000と、ディスプレイ1100、スピーカ1110、又は他の周辺デバイス1120との間で、AV.Link、家庭用電子制御(Consumer Electronics Control、CEC)、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどの信号伝送を使用して通信される。出力デバイスは、それぞれのインターフェース1070、1080、及び1090を通じた専用接続を介してシステム1000に通信可能に連結することができる。代替的に、出力デバイスを、通信インターフェース1050を介し、通信チャネル1060を使用して、システム1000に接続させることができる。ディスプレイ1100及びスピーカ1110を、例えば、テレビジョンなどの電子デバイスにおけるシステム1000の他の構成要素と単一のユニットに統合することができる。様々な実施形態において、ディスプレイインターフェース1070は、例えば、タイミングコントローラ(timing controller、T Con)チップなどのディスプレイドライバを含む。
例えば、入力1130のRF部分が別個のセットトップボックスの一部である場合、ディスプレイ1100及びスピーカ1110を、代替的に、他の構成要素のうちの1つ以上から分かれたものとすることができる。ディスプレイ1100及びスピーカ1110が外部構成要素である様々な実施形態では、例えば、HDMIポート、USBポート、又はCOMP出力を含む専用の出力接続を介して出力信号を提供することができる。
実施形態は、プロセッサ1010によって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、実装されるコンピュータソフトウェアによって行うことができる。非限定的な例として、1つ以上の集積回路によって実施形態を実装することができる。メモリ1020を、技術環境に適切な任意のタイプのものとすることができ、適切なデータ格納技術を使用して実装することができる。このデータ格納技術の非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリムーバブルメモリなどが挙げられる。プロセッサ1010は、技術環境に適切な任意のタイプのものであることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ以上を包含することができる。
様々な実装形態は、復号することを含む。本出願で使用される「復号」は、例えば、表示するのに適した最終出力を生成するために、受信した符号化シーケンスに対して実行される処理の全て又は一部を包含することができる。様々な実施形態において、このようなプロセスには、例えば、エントロピ復号、逆量子化、逆変換、及び差動復号など、通常、デコーダによって行われるプロセスのうちの1つ以上が含まれる。様々な実施形態において、このようなプロセスには、更に又は代替として、本出願に記載の様々な実装形態のデコーダによって行われるプロセスも含まれる。
更なる例として、一実施形態では、「復号」とは、エントロピ復号のみを指し、別の実施形態では、「復号」とは、差動復号のみを指し、別の実施形態では、「復号」とは、エントロピ復号と差動復号との組み合わせを指す。「復号プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な復号プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
様々な実装形態は、符号化を伴う。本出願で使用される「符号化」は、「復号」に関する上記の説明と同様に、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに対して実行される処理の全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの1つ以上を含む。様々な実施形態において、このようなプロセスには、更に又は代替的に、本出願に記載の様々な実装形態のエンコーダによって行われるプロセスが含まれる。
更なる例として、一実施形態では、「符号化」とは、エントロピ符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化とエントロピ符号化との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すこと目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。
図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法/プロセスのフローチャートも提供するものと理解されたい。
様々な実施形態が、パラメトリックモデル又はレート歪み最適化に関連し得る。特に、符号化プロセス中に、しばしば計算複雑性の制約ゆえに、レートと歪みとの間のバランス又はトレードオフが通常考慮される。レート歪み最適化(Rate Distortion Optimization、RDO)メトリックを通して、あるいは最小二乗平均(Least Mean Square、LMS)、絶対誤差平均(Mean of Absolute Errors、MAE)、又は他のかかる測定を通して、これを測定することができる。レート歪み最適化は、通常、レートと歪みとの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、異なる手法がある。例えば、これらの手法は、全ての考慮されるモード又は符号化パラメータ値を含む全ての符号化オプションの広範なテストに基づき得るが、それらの符号化コスト、並びに符号化及び復号後の再構成された信号の関連する歪みの完全な評価を伴う。符号化複雑性を抑えるために、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算とともに、より素早い手法を使用することもできる。考えられる符号化選択肢の一部のみに対して近似歪みを使用し、他の符号化選択肢に対しては完全な歪みを使用することなどによって、これらの2つの手法の混合を使用することもできる。他の手法では、考えられる符号化選択肢部分集合のみを評価する。より一般的には、多くの手法は、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしも符号化コスト及び関連する歪みの両方の完全な評価ではない。
本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも(例えば、方法としてのみ考察される)、考察された特徴の実装形態は、他の形態(例えば、装置又はプログラム)でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。方法は、例えば、プロセッサにおいて実施することができ、プロセッサとは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサはまた、例えば、コンピュータ、携帯電話、携帯型/携帯情報端末(portable/personal digital assistant、「PDA」)及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。
「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、又それらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも1つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、又他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの1つ以上を含むことができる。
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取得すること、情報を格納すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの1つ以上を含むことができる。
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は(例えば、メモリから)情報を取得することのうちの1つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を格納する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。
例えば、「A/B」、「A及び/又はB(A and/or B)」及び「A及びBのうちの少なくとも1つ(at least one of A and B)」の場合、次の「/」、「及び/又は(and/or)」、及び「のうちの少なくとも1つ(at least one of)」のいずれかの使用は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「A、B、及び/又はC(A,B,and/or C)」及び「A、B、及びCのうちの少なくとも1つ(at least one of A,B,and C)」の場合、かかる表現は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は第3のリストされた選択肢(C)のみの選択、又は第1及び第2のリストされた選択肢(A及びB)のみの選択、又は第1及び第3のリストされた選択肢(A及びC)のみの選択、又は第2及び第3のリストされた選択肢のみの選択(B及びC)のみ、又は3つ全ての選択肢の選択(A及びB及びC)を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、複数の変換、符号化モード又はフラグのうちの特定の1つをシグナリングする。このように、ある実施形態では、同じ変換、パラメータ又はモードが、エンコーダ側及びデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる(明確なシグナリング)。これに対し、デコーダがすでにその特定のパラメータと共に他のパラメータも有する場合は、単にデコーダがその特定のパラメータを知ること、及びそれを選択することを可能にするように、送信を行わないシグナリング(暗黙的なシグナリング)を使用することができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることが理解されよう。例えば、1つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。
当業者には明白であるように、実装形態は、例えば、格納され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の1つによって生成されるデータを含むことができる。例えば、記載の実施形態のビットストリームを搬送するように、信号をフォーマットすることができる。例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用して)、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報であってもよい。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に格納することができる。
前述のセクションは、様々な請求項のカテゴリ及びタイプにわたる、いくつかの実施形態を説明している。これらの実施形態の特徴は、単独で、又は任意の組み合わせで提供することができる。更に、実施形態は、様々な特許請求のカテゴリ及びタイプにわたる、以下の特徴、デバイス、又は態様のうちの1つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる:
・予測子のマージリストから、SIFフラグを継承する;
・ビデオビットストリームを解析して、予測子のマージされたリストからSIFフラグを決定する;
・動きフィールドにSIFフラグを格納する;
・GEO符号化単位のAMVRインデックスを、使用される参照ピクチャリストに基づく2つの単一予測子SIFフラグに基づく値に設定する;
・AMVRインデックスの以前の設定では、AMVRインデックス値は、使用される参照ピクチャリストが何であれ、2つの単一予測子SIFフラグ間に「OR」演算を適用することによって定義される;
・SIFフラグのAMVRインデックスの動きフィールドへの格納は、「OR」演算に基づいて行われる;
・いかなる復号演算も、上記の演算に基づいて行われる;
・ビットストリーム又は信号は、記載されるシンタックス要素、又はその変形形態のうちの1つ以上を含む;
・ビットストリーム又は信号は、記載される実施形態のうちのいずれかに従って生成される情報を運ぶシンタックスを含む;
・説明された実施形態のいずれかによって、ビットストリーム又は信号を、創出及び/若しくは送信し、かつ/又は受信及び/若しくは復号する;
・説明された実施形態のいずれかによって、方法、プロセス、装置、命令を格納する媒体、データ又は信号を格納する媒体を提供する;
・エンコーダによって使用される様態に対応する様態で、デコーダが復号情報を判定することを可能にするシンタックス要素をシグナリングに挿入する;
・記載されるシンタックス要素、又はその変形形態のうちの1つ以上を含むビットストリーム又は信号を、創出及び/若しくは送信し、かつ/又は受信及び/若しくは復号する;
・テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイスは、記載される実施形態のいずれかによる変換方法(複数可)を実行する;
・テレビ、セットトップボックス、携帯電話、タブレットなどの電子デバイスは、記載される実施形態のいずれかにより、変換方法(複数可)を決定し、結果としてもたらされた画像を表示する(例えば、モニタ、スクリーン、又はその他のタイプのディスプレイを使用して表示する);
・テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、説明される実施形態のいずれかによって、チャネルを選択し、帯域制限し、又はチューニングし(例えば、チューナを使用してチューニングし)て、符号化済み画像を含む信号を受信し、変換方法(複数可)を実行する;
・テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイスは、符号化済み画像を含む信号を放送により受信(例えばアンテナを使用して受信)し、変換方法(複数可)を実行する。

Claims (15)

  1. 方法であって、
    予測子のマージリストからSIFフラグを継承して、GEO符号化単位の各単予測子のための別個のSIFフラグとして使用することと、
    前記SIFフラグを動きフィールドに格納することと、
    GEO符号化単位のAMVRインデックスを、使用される参照ピクチャリストに基づく2つの単予測子SIFフラグに基づく値に設定することと、
    GEOモードを使用して前記符号化単位を符号化することと、
    を含む、方法。
  2. 装置であって、
    プロセッサであって、
    予測子のマージリストからSIFフラグを継承して、GEO符号化単位の各単予測子のための別個のSIFフラグとして使用することと、
    前記SIFフラグを動きフィールドに格納することと、
    GEO符号化単位のAMVRインデックスを、使用される参照ピクチャリストに基づく2つの単予測子SIFフラグに基づく値に設定することと、
    GEOモードを使用して前記符号化単位を符号化することと、
    を実行するように構成されている、プロセッサを備える、装置。
  3. 方法であって、
    予測子のマージリストからSIFフラグを継承して、GEO符号化単位の各単予測子のための別個のSIFフラグとして使用することと、
    前記SIFフラグを動きフィールドに格納することと、
    GEO符号化単位のAMVRインデックスを、使用される参照ピクチャリストに基づく2つの単予測子SIFフラグに基づく値に設定することと、
    GEOモードを使用して前記符号化単位を復号することと、
    を含む、方法。
  4. 装置であって、
    プロセッサであって、
    予測子のマージリストからSIFフラグを継承して、GEO符号化単位の各単予測子のための別個のSIFフラグとして使用することと、
    前記SIFフラグを動きフィールドに格納することと、
    GEO符号化単位のAMVRインデックスを、使用される参照ピクチャリストに基づく2つの単予測子SIFフラグに基づく値に設定することと、
    GEOモードを使用して前記符号化単位を復号することと、
    を実行するように構成されている、プロセッサを備える、装置。
  5. 組み合わせを展開するために「OR」演算が使用される、請求項1若しくは3に記載の方法、又は請求項2若しくは4に記載の装置。
  6. 前記AMVRインデックスは、2つの単一予測子SIFフラグ間に「OR」演算を適用することによって決定される、請求項1若しくは3に記載の方法、又は請求項2若しくは4に記載の装置。
  7. 動き補償も含む、請求項1若しくは3に記載の方法、又は請求項2若しくは4に記載の装置。
  8. 動き補償が、
    第1の分割予測子の動き情報を用いて、前記符号化単位に対して動き補償を実行することと、
    第2の分割予測子の動き情報を用いて、前記符号化単位に対して動き補償を実行することと、
    前記第1の分割予測子からの前記動き補償プロセスと前記第2の分割予測子からの前記動き補償プロセスとを混合することと、
    を含む、請求項7に記載の方法又は装置。
  9. 前記AMVRインデックスは、符号化単位の混合部分のSIFフラグによって定義される値に設定される、請求項1若しくは3に記載の方法、又は請求項2若しくは4に記載の装置。
  10. 前記AMVRインデックスは、2つの単一予測子SIFフラグ間に「AND」及び「OR」演算を適用することによって定義される値に設定される、請求項1若しくは3に記載の方法、又は請求項2若しくは4に記載の装置。
  11. 前記SIFフラグの代わりに局所照度補償フラグを使用する、請求項1若しくは3に記載の方法、又は請求項2若しくは4に記載の装置。
  12. デバイスであって、
    請求項4に記載の装置と、
    (i)信号を受信するように構成されたアンテナであって、前記信号が前記符号化単位を含む、アンテナ、(ii)受信された前記信号を、前記ビデオブロックを含む周波数帯域に制限するように構成されたバンドリミッタ、及び(iii)ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも1つと、を備える、デバイス。
  13. 請求項1、3、及び5~11のいずれか一項に記載の前記方法に従って生成された、又は請求項2及び5~11のいずれかに記載の前記装置によって生成された、プロセッサを使用して再生するためのデータコンテンツを含む、非一時的なコンピュータ可読媒体。
  14. プロセッサを使用して再生するための、請求項1及び5~11のいずれかに記載の前記方法に従って、又は請求項2及び5~11のいずれかに記載の前記装置によって生成されたビデオデータを含む、信号。
  15. コンピュータプログラム製品であって、前記プログラムがコンピュータによって実行される時、請求項1、3、及び5~11のいずれかに記載の前記方法を、前記コンピュータに実行させる命令を含む、コンピュータプログラム製品。
JP2023561133A 2021-04-09 2022-03-29 切り替え可能な補間フィルタを用いる幾何学的分割 Pending JP2024513873A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21305471.1 2021-04-09
EP21305471 2021-04-09
PCT/EP2022/058303 WO2022214361A1 (en) 2021-04-09 2022-03-29 Geometric partitions with switchable interpolation filter

Publications (1)

Publication Number Publication Date
JP2024513873A true JP2024513873A (ja) 2024-03-27

Family

ID=75690220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023561133A Pending JP2024513873A (ja) 2021-04-09 2022-03-29 切り替え可能な補間フィルタを用いる幾何学的分割

Country Status (5)

Country Link
US (1) US20240171731A1 (ja)
EP (1) EP4320862A1 (ja)
JP (1) JP2024513873A (ja)
CN (1) CN117280684A (ja)
WO (1) WO2022214361A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240137509A1 (en) * 2022-10-14 2024-04-25 Tencent America LLC Geometric affine mode and geometric subblock modes

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019384016B2 (en) * 2018-11-22 2023-03-02 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for inter prediction
TW202118300A (zh) * 2019-09-24 2021-05-01 法商內數位Vc控股法國公司 同質語法

Also Published As

Publication number Publication date
EP4320862A1 (en) 2024-02-14
CN117280684A (zh) 2023-12-22
US20240171731A1 (en) 2024-05-23
WO2022214361A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
CN113950834A (zh) 用于隐式多变换选择的变换选择
US20230396805A1 (en) Template matching prediction for versatile video coding
US20230254507A1 (en) Deep intra predictor generating side information
CN113574887A (zh) 基于低位移秩的深度神经网络压缩
KR20210058938A (ko) 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스
CN112806011A (zh) 改进的虚拟时间仿射候选
JP2024513873A (ja) 切り替え可能な補間フィルタを用いる幾何学的分割
EP3815373A1 (en) Virtual temporal affine candidates
US20230023837A1 (en) Subblock merge candidates in triangle merge mode
KR20230005862A (ko) Act 및 jcbcr을 위한 스케일링 목록 제어
KR20220027173A (ko) 비디오 인코딩 및 디코딩에서의 모션 벡터 예측
WO2020060757A1 (en) Translational and affine candidates in a unified list
US11979585B2 (en) Current picture referencing block vector initialization with dual tree
US20220264147A1 (en) Hmvc for affine and sbtmvp motion vector prediction modes
KR20220024643A (ko) 위치 의존적 인트라 예측 조합을 이용한 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스
KR20220052991A (ko) 스위칭가능한 보간 필터들
KR20240072180A (ko) Isp 모드를 사용한 템플릿 기반 인트라 모드 도출(timd)의 확장
JP2024513657A (ja) ビデオエンコード及びデコードのためのテンプレートマッチング予測
WO2024033116A1 (en) Geometric partition mode boundary prediction
WO2023046518A1 (en) Extension of template based intra mode derivation (timd) with isp mode
WO2020072397A1 (en) Block size based motion vector coding in affine mode
CN118140481A (zh) 利用isp模式对基于模版的帧内模式推导(timd)进行扩展
EP3891984A1 (en) Method and device for picture encoding and decoding

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20240206