JP7157246B2 - ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法 - Google Patents

ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法 Download PDF

Info

Publication number
JP7157246B2
JP7157246B2 JP2021523349A JP2021523349A JP7157246B2 JP 7157246 B2 JP7157246 B2 JP 7157246B2 JP 2021523349 A JP2021523349 A JP 2021523349A JP 2021523349 A JP2021523349 A JP 2021523349A JP 7157246 B2 JP7157246 B2 JP 7157246B2
Authority
JP
Japan
Prior art keywords
video
block
prediction
mode
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021523349A
Other languages
English (en)
Other versions
JP2022506152A (ja
Inventor
リー ジャン
カイ ジャン
ホンビン リウ
ユエ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022506152A publication Critical patent/JP2022506152A/ja
Priority to JP2022161281A priority Critical patent/JP7436597B2/ja
Application granted granted Critical
Publication of JP7157246B2 publication Critical patent/JP7157246B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability

Description

(関連出願の相互参照)
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2018年11月6日出願の国際特許出願PCT/CN2018/114099号、2018年12月30日出願の国際特許出願PCT/CN2018/125956号、2019年1月10日出願の国際特許出願PCT/CN2019/071160、および2019年1月15日出願の国際特許出願PCT/CN2019/071747号の優先権および利益を適時に主張することを目的とする。米国法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
本明細書は、映像および画像の符号化および復号化技術に関する。
デジタル映像は、インターネットおよび他のデジタル通信ネットワークにおける最大の帯域幅の使用を占める。映像の受信および表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
開示された技術は、映像または画像デコーダまたはエンコーダの実施形態によって使用されてもよく、その実施形態において、ジオメトリ分割は、映像符号化または復号化に使用してもよい。
1つの例示的な態様において、映像処理方法が開示される。この方法は、映像の映像領域の映像ブロックとこの映像の符号化表現との間での変換が、この映像ブロックを、少なくとも第1の予測分割(Partition)を含む複数の予測分割に分割するジオメトリ分割モードを使用しているとの判定を行うことと、この映像ブロックに関連付けられた1つ以上のサブブロックマージ候補を使用して、この映像ブロックの動き候補リストにN個の動き情報候補を加えることであって、Nは正の整数である、加えることと、この動き候補リストから複数の予測分割に対する動き候補を導出することと、この複数の予測分割の動き候補に基づいて変換を行うことと、を含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の映像ブロックとこの映像の符号化表現との間で変換を行うために、この映像ブロックが、少なくとも第1の予測分割を含む複数の予測分割に分割されることを判定することと、第1の動き情報候補を第1の予測分割に関連付けられた第1の候補リストに、そして、第2の動き情報候補を第2の予測分割に関連付けられた第2の候補リストに加えることであって、第1の動き情報候補および第2の動き情報候補が1つの動き候補から継承される、加えることと、第1の動き情報候補および/または第2の動き情報候補を使用して変換を行うことと、を含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の映像ブロックとこの映像の符号化表現との間での変換が、この映像ブロックが1つの予測分割を含むように分割されるサブブロックが有効なジオメトリ分割モードを使用して、この予測分割の1つのサブブロックにこの予測分割の1つのサブブロックの動き情報を割り当てるように判定することと、この判定に基づいてこの変換を行うこととを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像ブロックを複数の予測分割に分割するジオメトリ分割モードを使用して、映像の映像ブロックと映像の符号化表現との間で変換を行うために、継承規則に従って、映像ブロックのサンプル位置において、予測分割のための動き情報導出に使用される動き候補からの一般化双予測(GBi)重み係数の継承を有効にするかどうかを判定することと、この判定に基づいて、この変換を行うこととを含む。GBiは、符号化ユニットに基づく重み付け’(BCW)を用いた双予測としても知られている。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像ブロックが複数の予測分割に分割されるジオメトリ分割モードを使用して映像の映像ブロックとこの映像の符号化表現との間で変換を行うために、規則に従って、映像ブロックの少なくともサンプル位置において双予測を使用することが有効であるかどうかを判定することと、この判定に基づいてこの変換を行うことと、を含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像ブロックが少なくとも第1の予測分割および第2の予測分割に分割されるジオメトリ分割モードを使用して、映像の映像ブロックと映像の符号化表現との間で変換を行うために、第1の予測分割のサンプル位置に対して導出された第1の動き情報のセットと第2の予測分割のサンプル位置に対して導出された第2の動き情報のセットとは異なる動き情報から、第1の予測ブロックおよび第2の予測ブロックからの最終予測ブロックを判定することと、最終予測ブロックに基づいて、変換を行うこととを含み、多重仮説技法を使用して映像ブロックを符号化する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の映像領域の映像ブロックと映像のビットストリーム表現との間で変換を行うために、(1)映像ブロックを少なくとも1つの予測分割が非長方形且つ非正方形の分割になるような予測分割に分割するための分割パターンと、(2)変換に使用される分割の候補をマージするためのインデックスとの間の関係を判定することと、ビットストリーム表現の形式によって、映像領域レベルでの関係を変更することができることと、この判定に基づいて変換を行うことと、を含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、符号化表現の構文要素を定義する構文規則に従って、映像の映像ブロックと映像の符号化表現との間で変換を行うことを含み、構文規則は、映像ブロックに対してジオメトリ分割モードを使用することを示す第1のフラグと、映像ブロックに対してマージモードを使用することを示す第2のフラグの信号通知順序を規定し、ジオメトリ分割モードは、映像ブロックを、複数の予測分割、非長方形且つ非正方形の形状を有する少なくとも1つの予測分割に分割することを含み、マージモードは映像ブロックの近傍のブロックから動きベクトル情報を継承することを可能にする。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、符号化表現の構文を定義する構文規則に従って、映像の映像ブロックと映像の符号化表現との間で変換を行うことを含み、構文規則は、ジオメトリ分割モードを使用することを示すフラグの信号通知を規定し、映像ブロックの変換に別の符号化ツールが使用されるかどうかに基づいて、映像ブロックが、別の符号羽化ツールが映像ブロックの変換に使用されるかどうかにもとづいて選択的に含まれ、ジオメトリ分割モードは、映像ブロックを、複数の予測分割、非長方形且つ非正方形の形状を有する少なくとも1つの予測分割に分割することを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の映像ブロックとこの映像の符号化表現との間で変換を行うために、近傍のブロックのジオメトリ分割モードに基づく分割パターンに基づいて複数の予測分割に分割されるジオメトリ分割モードが有効であることを判定することと、この判定に基づいてこの変換を行うこととを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、近傍のブロックの分割パターンに基づく分割パターンに基づいて、映像ブロックを複数の予測分割に分割するジオメトリ分割モードに基づいて、映像の映像ブロックと映像の符号化表現の間で変換するための分割パターンを判定することと、この判定に基づいて変換を行うことを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の映像ブロックと映像の符号化表現との間で変換を行うことを含み、この映像ブロックは、第1の予測分割を含むジオメトリ分割モードの分割パターンに基づいて、複数の予測分割に分割され、この符号化表現は、1つの構文要素がこの分割パターンに対応し、他の構文要素がこの複数の予測分割のためのマージインデックスに対応する複数の構文要素を含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の映像ブロックとこの映像の符号化表現との間で変換を行うために、第1の予測分割を含む分割パターンに基づいて、この映像ブロックを複数の予測分割に分割するジオメトリ分割モードに基づくことを判定することと、この判定に基づいて変換を行うこととを含み、映像ブロックのためのこのジオメトリ分割モードを、この映像ブロックの符号化条件に依存するコンテキストに基づく符号化を使用してこの符号化表現で信号通知する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の映像ブロックとこの映像の符号化表現との間で変換を行うことを含み、この映像ブロックは、第1の予測分割を有する分割パターンに従って、幾何的予測モードを使用して複数の予測分割に分割され、候補リストの2つの候補インデックスエントリには、この符号化表現における1つのコード名が割り当てられ、この符号化表現のフォーマットは、この映像の1つのセグメントにわたってこのコード名の割り当てを変更することを可能にする。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の映像ブロックとこの映像の符号化表現との間で変換するために、この映像ブロックの特徴を使用する規則に基づいて、ジオメトリ分割モードの使用が有効であるかどうかを判定することと、この判定に基づいて、この映像ブロックを複数の予測分割に分割する変換を行うこととを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、符号化表現の構文要素のフォーマットを規定する規則に従って、映像の映像ブロックと映像の符号化表現との間で変換を行うことを含み、この規則は、第1の符号化モードの使用の表示が信号通知されるかどうか、またはこの表示を信号通知するかは映像ブロックに対する第2の符号化モード使用に基づき、第2の符号化モードはマージモードであり、このマージモードにより、映像ブロック全体の動きベクトル差なしに、マージ候補リストにおけるマージ候補からの動き情報を継承することを可能にする。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の映像ブロックとこの映像の符号化表現との間で変換を行うことを含み、符号化表現のフォーマットは、複数の符号化モードを信号通知する構文要素が符号化表現に含まれるかどうかを指定する第1の規則に準拠し、且つ/または、複数の符号化モードを信号通知する構文要素が符号化表現に含まれる順序を指定する第2の規則に準拠し、この複数の符号化モードは、ジオメトリ分割モード、インター-イントラ(MHIntra)モード、サブブロックマージモード、または動きベクトル差分法(MMVD)モードを含み、インター符号化モードにおいて、この映像ブロックの予測ブロックは、イントラ予測信号およびインター予測信号から導出され、このサブブロックマージモードにおいて、この変換は、このブロック内のサブブロックごとに導出された動き情報を使用し、MVDでは、マージと動きベクトル差分(MVD)を組み合わせた符号化モードが使用され、マージモードは、映像ブロック全体のためにMVDなしでマージ候補リストにおける動き情報を継承することを可能にする。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の現在の映像ブロックとこの映像の符号化表現との間で変換を行うために、この映像ブロックの近傍のブロックの近傍の動きベクトル精度情報が、この近傍のブロックの位置に基づいてこの現在のブロックの動きベクトル精度を判定するために利用可能であるかどうかをチェックすることと、チェックに基づいて変換を行うことと、を含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の現在の映像ブロックとこの映像の符号化表現との間で変換を行うために、この現在の映像ブロックの最大符号化ユニット(LCU)行に対するこの近傍のブロックの位置に基づいて、この符号化表現に使用されるコンテキスト符号化モードを判定することと、この判定に基づいて変換を行うことを含む。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の現在の映像ブロックと映像の符号化表現との間で変換を行うことを含む、符号化表現は、コンテキストモデリングが、現在の映像ブロックを復号化するために使用されるおよび/または位置基準を満たす近傍のブロックからの情報に制限されることを規定する規則に準拠する。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像の現在の映像ブロックと映像の符号化表現との間で変換を行うことを含み、符号化表現は、現在の映像のブロックの符号化表現を表す1つ以上の構文要素のコンテキストモデリングのために、近傍のブロックからの符号化された情報を使用することを指定する規則に準拠する。
別の例示的な態様において、映像を処理する方法が開示される。この方法は、処理装置によって、第1の映像ブロックが、非長方形且つ非正方形の第1の予測部分を含むように分割される判定を行うことと、第1の映像ブロックに関連付けられた動き候補リストに、第1の予測部分に関連付けられた第1の動きベクトル(MV)予測候補を加えることであって、第1のMV予測候補は、サブブロックに基づく動き候補から導出される、加えることと、動き候補リストを使用して第1の映像ブロックに対し、さらなる処理を行うことと、を含む。
別の例示的な態様において、映像処理方法は、第1の分割パターンに基づいて、第1の予測部分を含むように第1の映像ブロックを分割することであって、予測第1の部分は、第1のマージインデックスおよび第1の符号化値に関連付けられた、分割することと、第2の分割パターンに基づいて、第2の予測部分を含むように第2の映像ブロックを分割することであって、予測第2の部分は、第2のマージインデックスおよび第2の符号化値に関連付けられ、第1の符号化値が前記第2の符号化値と等しく、前記第2の分割パターン、前記第2のマージインデックス、前記第2の映像ブロックの1つ以上が、前記第1の映像ブロックとは異なるシーケンス、ピクチャ、タイル、スライス、符号化ツリーユニット(CTU)、またはブロック内にあることに基づいて、前記第2の映像ブロックが前記第1の映像ブロックとは異なるものである、分割することと、第1の映像ブロックおよび第2の映像ブロックの処理をさらに行うことと、を含む。
別の例示的な態様において、映像処理方法は、処理装置によって、第1の映像ブロックの特徴を識別することと、この特徴に基づいて、第1の映像ブロックに適用されるべき幾何学的予測モードの状態を判定することであって、幾何学的予測モードの状態は、第1の映像ブロックに幾何学的予測モードを適用することを有効にする状態と、第1の映像ブロックに幾何学的予測モードを適用することを無効にする状態のうちの一方である、判定することと、第1の映像ブロックに対して、幾何学的予測モードの状態に整合的に第1の映像ブロックのさらなる処理を行うことと、を含む。
別の例示的な態様において、映像処理方法は、処理装置によって、第1の映像ブロックが、第1の予測部分および第2の予測部分を含むように分割されているとの判定を行うことであって、第1の予測部分と第2の予測部分は、非長方形且つ非正方形である、判定を行うことと、第1の映像ブロックに関連付けられた動き候補リストに、第1の予測部分に関連付けられた第1のMV予測候補および第2の予測部分に関連付けられた第2のMV予測候補を加えることであって、第1のMV予測候補と第2のMV予測候補は、前述の符号化されたブロックに関連付けられた1つのMV予測候補から導出される、加えることと、動き候補リストを使用して第1の映像ブロックに対し、さらなる処理を行うことと、を含む。
別の例示的な態様において、映像処理方法は、処理装置によって、第1の映像ブロックが、非長方形且つ非正方形の第1の予測部分を含むように分割される判定を行うことと、第1の映像ブロックに関連付けられた動き候補リストに、第1の予測部分に関連付けられた第1の動きベクトル(MV)予測候補を加えることと、第1のMV予測候補を修正して、第1の映像ブロックに対する最終予測ブロックを導出するために使用するMV候補を修正することと、最終予測ブロックを使用して第1の映像ブロックに対してさらなる処理を行うことと、を含む。
別の例示的な態様において、映像処理方法は、処理装置によって、第1の映像ブロックが、非長方形且つ非正方形の第1の予測部分を含むように分割されているとの判定を行うことと、第1の映像ブロックに関連付けられた動き候補リストに、第1の予測部分に関連付けられた第1の動きベクトル(MV)予測候補を加えることであって、第1のMV予測候補が、重み係数を有する双予測MV予測候補から導出される、加えることと、重み係数を用いずに、動き候補リストを使用して、第1の映像ブロックの処理をさらに行うこととを含む。
別の例示的な態様において、映像処理方法は、処理装置によって、第1の映像ブロックが、非長方形且つ非正方形の第1の予測部分を含むように分割され、第1の映像ブロックが多重仮説と整合的に符号化されているとの判定を行うことを含む。
別の例示的な態様において、映像処理方法は、処理装置によって、第1の映像ブロックが、非長方形且つ非正方形の第1の予測部分を含むように分割され、重複ブロック動き補償(OBMC)が適用されないとの判定を行うことを含む。
別の例示的な態様において、映像を処理する方法は、処理装置によって、第1の映像ブロックが2つよりも多い予測部分を含むように分割されているとの判定を行うことを含む。一例において、第1の映像ブロックは、それぞれが非長方形且つ非正方形である第1の予測部分、第2の予測部分、第3の予測部分、および第4の予測部分に分割され、第1の予測部分、第2の予測部分、第3の予測部分、および第4の予測部分を使用して、第1の映像ブロックのさらなる処理を実行する。
別の例示的な態様において、映像処理方法が開示される。この方法は、スキップ/符号化のマージモードを第2の符号化モードとは別個に扱うことを規定する符号化規則に準拠して、映像ブロックとこの映像ブロックのビットストリーム表現との間で変換を行うことを含み、第2の符号化モードは、三角分割モードまたはMHIntra(複合インターイントラモードまたはCIIPと呼ばれることもある)モードまたはサブブロックマージリストモードである。
別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像ブロックとこの映像ブロックのビットストリーム表現との間で変換を行うこととであって、変換における複数のサブブロック符号化ツールの使用の具体的な表示の特定の順序を規定する規則に準拠して変換を行うことを含み、この具体的な順序は、(a.)動きベクトル差(MMVD)とのマージ、サブブロックマージリスト、三角形分割モードTPM、MHIntraの順、または(b.)MMVD、サブブロックマージリスト、MHIntra、TPMの順の一方である。
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、符号化規則に準拠して、映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、規則は、この映像ブロックの適応動きベクトル解像度(AMVR)符号化モードにおいて、動きベクトル予測を指定するために、近傍のブロックを選択的に使用することを規定し、この規則は、(1)異なる最大符号化ユニット(LCU)行にある近傍のブロックを除外する、または(2)固定解像度値を指定する、または(3)映像ブロックを、アフィンモードを使用して符号化する、を含み、異なるLCU行にあるアフィン符号化された近傍のブロックを利用不可能とする。
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像ブロックと符号化規則に準拠した前記現在の映像ブロックのビットストリーム表現との間で変換を行うこととを含み、規則は、前記映像ブロックの適応動きベクトル解像度(AMVR)符号化モードでの動きベクトル予測を指定するための近傍のブロックの選択的使用を規定し、規則は、近傍のブロックを、(a)近傍のブロックが異なる最大符号化ユニット(LCU)行にある場合に、近傍の映像ブロックの情報を映像ブロックのコンテキストモデリングのために使用することを無効にすること、または、(b)変換中に構文要素を符号化するために1つのコンテキストのみを使用すること、または(c)バイパス符号化を適用することは、1つの構文要素のみに適用すること、として、選択的に使用することを含む。
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、映像ブロックと符号化規則に準拠した前記現在の映像ブロックのビットストリーム表現との間で変換を行うこととを含み、符号化の規則は、映像ブロックの適応動きベクトル解像度(AMVR)符号化モードにおける動きベクトル予測を指定するために、近傍の映像ブロックを選択的に使用することを規定しており、規則は、近傍の映像ブロックに関する情報が、現在の映像ブロックを復号化するために使用される近傍の映像ブロックに基づいてコンテキストモデリングのために使用されることを含む。
さらに別の例示的な態様において、別の映像処理方法が開示される。この方法は、符号化の規則に準拠して、映像ブロックと、現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、符号化の規則は、映像ブロックの適応動きベクトル解像度(AMVR)符号化モードにおける動きベクトル予測を指定するために、近傍の映像ブロックを選択的に使用することを規定しており、規則は、近傍の映像ブロックに関する情報が、現在の映像ブロックを復号化するために使用される、近傍の映像ブロックに基づいたコンテキストモデリングのために使用され、近傍の映像ブロックは、現在のCTU行とは異なるCTU行内、または現在のCTUとは異なるCTU内の映像ブロックを除外して使用されることを含む。
別の例示的な態様において、上記方法は、処理装置を備えるビデオエンコーダによって実装されてもよい。
さらに別の例示的な態様において、これらの方法は、処理装置実行可能命令の形式で実施されてもよく、コンピュータ可読プログラム媒体に記憶されてもよい。
これらの、および他の態様は、本明細書でさらに説明される。
マージ候補リスト構築の導出処理の一例を示す図 空間的マージ候補の位置の例を示す図 空間的マージ候補の冗長性チェックに考慮される候補対の例を示す図 N×2Nおよび2N×N個の分割からなる第2のPUの位置の例を示す図 時間的マージ候補のための動きベクトルのスケーリングの例を示す図 時間的マージ候補の候補位置C0およびC1の一例を示す図 結合双予測マージ候補の例を示す図 動きベクトル予測候補の導出処理の例を示す図 空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す図 CUのためのATMVP動き予測の例を示す図 4つのサブブロック(A-D)およびその近傍のブロックを有する1つのCUの例を示す図 異なるMV精度で符号化するフローチャートの一例を示す図 1つのCUを2つの三角形予測ユニット(2つの分割タイプ)に分割する例を示す図 近傍のブロックの位置の例を示す図 第1の重み係数群を適用するCUの例を示す図 動きベクトル記憶装置の一例を示す図 TPMフラグ符号化におけるコンテキスト選択に使用される近傍のブロック(AおよびL)の例を示す図 OBMCが適用されるサブブロックの例を示す図 ICパラメータを導出するために使用される近傍のサンプルの例を示す図 簡略化したアフィン動きモデルの一例を示す図 サブブロックごとのアフィンMVFの例を示す図 4パラメータアフィンモデル(a)および6パラメータアフィンモデル(b)の例を示す図 AF_INTERのためのMVPの例を示す図 AF_MERGEの候補の例を示す図 アフィンマージモードの候補位置の一例を示す図 オプティカルフローの軌跡の一例を示す図 BIO w/oブロック拡張の一例、a)ブロックの外側のアクセス位置、b)余分なメモリアクセスおよび計算を回避するために発行されたパディングを示す図 バイラテラルテンプレートマッチングに基づくDMVRの例を示す図 1つのブロック内の複数のジオメトリ分割の例を示す図 TMPフラグのコンテキスト選択に使用される近傍のブロックの例を示す図 映像処理装置2700のブロック図の一例である図 ビデオエンコーダの例示的な実装のブロック図を示す図 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート コンテキストモデリングに使用される近傍の要素の例を示す図 pred_mode_flagのコンテキストを導出するために使用される近傍のブロックの例を示す図 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 映像処理方法の例を示すフローチャート 開示される技術が実装され得る例示的な映像処理システムのブロック図
本明細書は、伸張または復号化されたデジタル映像または画像の品質を向上させるために、画像または映像ビットストリームのデコーダによって使用され得る様々な技術を提供する。簡潔にするために、本明細書では、用語「映像」は、一連のピクチャ(従来から映像と呼ばれる)および個々の画像の両方を含んで使用する。さらに、ビデオエンコーダは、さらなる符号化に使用される復号化されたフレームを再構成するために、符号化の処理中にこれらの技術を実装してもよい。
本明細書では、理解を容易にするために章見出しを使用しているが、実施形態および技術を対応する章に限定するものではない。このように、一つの章からの実施形態は、他の章からの実施例と組み合わせることができる。
1. 概要
本特許明細書は、映像符号化技術に関する。具体的には、本発明は、映像符号化におけるジオメトリ分割における動きベクトル符号化に関する。HEVCのような既存の映像符号化規格に適用してもよいし、規格(汎用映像符号化)を確定させるために適用してもよい。本発明は、将来の映像符号化規格またはビデオコーデックにも適用可能である。
2. 詳解
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を、ISO/IECはMPEG-1とMPEG-4Visualを、両団体はH.262/MPEG-2VideoとH.264/MPEG-4高度映像符号化(AVC)とH.265/HEVC「1」規格を共同で作成した。映像符号化規格、H.262は、時間予測プラス変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同で共同映像探索チーム(Joint Video Exploration Team:JVET)を設立した。それ以来、多くの新しい方法がJVETによって採用され、共同探索モデル(JEM)と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間に共同映像探索チーム(JVET)が作られ、HEVCと比較してビットレートを50%低減することを目標としたVVC規格に取り組むことになった。
図32は、ビデオエンコーダの例示的な実装のブロック図を示す。図32は、エンコーダ実装が、ビデオエンコーダが映像復号化機能も実行する(次の映像データの符号化に使用するために映像データの圧縮表現を再構築する)フィードバック経路を組み込むことを示す。
2.1 HEVC/H.265におけるインター予測
各インター予測PUは、1つまたは2つの参照ピクチャリストのための動きパラメータを有する。動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。2つの参照ピクチャリストのうちの1つの参照ピクチャリストの使用は、inter_pred_idcを使用して信号通知されてもよい。動きベクトルは、予測子に対してデルタとして明確に符号化されてもよい。
1つのCUがスキップモードで符号化される場合、1つのPUがこのCUに関連付けられ、有意な残差係数がなく、符号化動きベクトルデルタも参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のPUのための動きパラメータを、空間的および時間的候補を含む近傍のPUから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたPUに適用することができる。マージモードの代替は、動きパラメータを明確に送信することであり、動きベクトル(より正確には、動きベクトル予測子と比較して動きベクトルの差)、各参照ピクチャリストに対応する参照ピクチャインデックス、および参照ピクチャリストの使用量が、PUごとに明確に信号通知される。このようなモードを、本開示では高度動きベクトル予測(AMVP)と呼ぶ。
2つの参照ピクチャリストのうちの1つを使用することを信号通知が示す場合、1つのサンプルのブロックからPUを生成する。これを「単一予測」と呼ぶ。PスライスおよびBスライスの両方に対して単一予測が利用可能である。
両方の参照ピクチャリストを使用することを信号通知が示す場合、2つのサンプルのブロックからPUを生成する。これを「双予測」と呼ぶ。Bスライスのみに双予測が利用可能である。
以下、HEVCに規定されるインター予測モードについて詳細に説明する。まず、マージモードについて説明する。
2.1.1. 参照ピクチャリスト
HEVCにおいて、インター予測という用語は、現在の復号化されたピクチャ以外の参照ピクチャのデータ要素(例えば、サンプル値または動きベクトル)から導出された予測を示すために使用される。H.264/AVCと同様に、複数の参照ピクチャから1つのピクチャを予測することができる。インター予測に使用される参照ピクチャは、1つ以上の参照ピクチャリストにまとめられる。参照インデックスは、リストにおけるいずれの参照ピクチャを使用して予測信号を生成するかを識別する。
1つの参照ピクチャリストList0はPスライスに用いられ、2つの参照ピクチャリストList0およびList1はBスライスに使用される。なお、List0/1に含まれる参照ピクチャは、撮影/表示順にしてみても、過去および将来のピクチャからのものであってもよい。
2.1.2 マージモード
2.1.2.1 マージモードの候補の導出
マージモードを使用してPUを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、HEVC規格で規定されており、以下のステップのシーケンスに基づいてまとめることができる。
ステップ1:初期候補導出
ステップ1.1:空間的候補導出
ステップ1.2:空間的候補の冗長性チェック
ステップ1.3:時間的候補導出
ステップ2:追加候補挿入
ステップ2.1:双予測候補の作成
ステップ2.2:動きゼロ候補の挿入
これらのステップは図1にも概略的に示されている。空間的マージ候補導出のために、5つの異なる位置にある候補の中から最大4つのマージ候補を選択する。時間的マージ候補導出のために、2つの候補の中から最大1つのマージ候補を選択する。デコーダ側ではPUごとに一定数の候補を想定しているので、ステップ1で得られた候補の数が、スライスヘッダにおいて信号通知されるマージ候補の最大数(MaxNumMergeCand)に達しない場合、追加の候補を生成する。候補の数は一定であるので、短縮された単項2値化(TU)を使用して最良マージ候補のインデックスを符号化する。CUのサイズが8に等しい場合、現在のCUのすべてのPUは、2N×2N予測ユニットのマージ候補リストと同じ1つのマージ候補リストを共有する。
以下、上述したステップに関連付けられた動作を詳しく説明する。
図1は、マージ候補リスト構築の導出処理の一例を示す。
2.1.2.2. 空間的候補導出
空間的マージ候補の導出において、図2に示す位置にある候補の中から、最大4つのマージ候補を選択する。導出の順序はA、B、B、A、Bである。位置A、B、B、AのいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはイントラ符号化された場合にのみ、位置Bが考慮される。位置Aの候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。代わりに、図3において矢印でリンクされた対のみを考慮し、冗長性チェックに使用される対応する候補が同じ動き情報を有していない場合にのみ、その候補をリストに加える。重複した動き情報の別のソースは、2N×2Nとは異なる分割に関連付けられた「第2のPU」である。一例として、図4は、それぞれN×2Nおよび2N×Nの場合の第2のPUを示す。現在のPUをN×2Nに分割する場合、リスト構築に位置Aの候補は考慮されない。実際、この候補を加えることにより、2つの予測ユニットが同じ動き情報を有するようになり、1つの符号化ユニットに1つのPUのみを有することは冗長である。同様に、現在のPUを2N×Nに分割する場合、位置B1は考慮されない。
図2に、空間的マージ候補の位置の例を示す。
図3は、空間的マージ候補の冗長性チェックに考慮される候補対の例を示す。
図4は、Nx2Nおよび2NxN分割の第2のPUの位置の例を示す。
2.1.2.3. 時間的候補導出
このステップにおいて、1つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のPOC差を有するピクチャに属する同一位置PUに基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置PUの導出に使用される参照ピクチャリストが明確に信号通知される。図5に点線で示すように、時間的マージ候補のスケーリングされた動きベクトルが得られる。これは、POC距離tbおよびtdを利用して、同一位置PUの動きベクトルからスケーリングしたものである。tbは、現在のピクチャの参照ピクチャと現在のピクチャのPOC差として規定し、tdは、同一位置PUの参照ピクチャと同一位置ピクチャのPOC差として規定する。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。このスケーリング処理の実際的な実現については、HEVC仕様に記載されている。Bスライスの場合、2つの動きベクトル、即ち、1つは参照ピクチャリスト0のためのもの、もう1つは参照ピクチャリスト1のためのものを取得し、これらを組み合わせることによって、双予測マージ候補を形成する。
図5に、時間的マージ候補のための動きベクトルのスケーリングの例を示す。
参照フレームに属する同一位置PU(Y)において、図6に示すように、候補Cと候補Cとの間で時間的候補の位置を選択する。位置C0のPUが利用可能でない場合、イントラ符号化されている場合、または現在のCTU行の外側にある場合、位置Cが使用される。そうでない場合、位置Cが時間的マージ候補の導出に使用される。
図6は、時間的マージ候補の候補位置C0およびC1の一例を示す図である。
2.1.2.4. 追加候補挿入
時空間的マージ候補の他に、2つの追加のタイプのマージ候補、すなわち、結合双予測マージ候補およびゼロマージ候補がある。空間的および時間的マージ候補を利用することで、結合双予測マージ候補を生成する。結合双予測マージ候補は、Bスライスのみに使用される。最初の候補の第1の参照ピクチャリスト動きパラメータと別の候補の第2の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双予測候補を生成する。これら2つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双予測候補を形成する。一例として、図7は、オリジナルリスト(左側)における、mvL0、refIdxL0またはmvL1、refIdxL1を有する2つの候補を使用して、最終リスト(右側)に加えられる結合双予測マージ候補を生成する場合を示す。これらの追加のマージ候補を生成するために考慮される組み合わせについては、様々な規則が存在する。
図7は、結合双予測マージ候補の例を示す。
動きゼロ候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、MaxNumMergeCand容量にヒットする。これらの候補は、空間的変位がゼロであり、新しいゼロ動き候補をリストに加える度にゼロから始まり増加する参照ピクチャインデックスを有する。これらの候補が使用する参照フレームの数は、それぞれ、一方向予測の場合は1つ、双方向予測の場合は2つである。最終的には、これらの候補に対して冗長性チェックは行われない。
2.1.2.5. 並列処理のための動き推定領域
符号化処理を高速化するために、動き推定を並列に行うことができ、それによって、所与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。1つの予測ユニットは、その関連する動き推定が完了するまで、隣接するPUから動きパラメータを導出することができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能性がある。符号化効率と処理待ち時間との間のトレードオフを緩和するために、HEVCは、動き推定領域(MER)を規定し、そのサイズは、「log2_parallel_merge_level_minus2」構文要素「1」を使用してピクチャパラメータセットにおいて信号通知される。1つのMERを規定するとき、同じ領域にあるマージ候補は利用不可能であるとしてマークされ、それゆえにリスト構築においては考慮されない。
2.1.3. AMVP
AMVPは、動きパラメータの明確な伝送に使用される、動きベクトルの近傍のPUとの時空間的相関を利用する。各参照ピクチャリストにおいて、まず、左側の時間的に近傍のPU位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構成する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用してエンコードされる。この場合に符号化されるべき最大値は2である(図8)。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。
2.1.3.1 AMVP候補の導出
図8に、動きベクトル予測候補の導出処理をまとめる。
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という2つのタイプの動きベクトル候補が考えられる。空間的動きベクトル候補を導出するために、図2に示したように、5つの異なる位置にある各PUの動きベクトルに基づいて、最終的には2つの動きベクトル候補を導出する。
時間的動きベクトル候補を導出するために、2つの異なる同一位置に配置された位置に基づいて導出された2つの候補から1つの動きベクトル候補を選択する。第1の時空間的候補リストを作成した後、リストにおける重複した動きベクトル候補を除去する。候補の数が2よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが1よりも大きい動きベクトル候補をリストから削除する。時空間的動きベクトル候補の数が2未満である場合は、追加のゼロ動きベクトル候補をリストに加える。
2.1.3.2. 空間的動きベクトル候補
空間的動きベクトル候補の導出において、図2に示したような位置にあるPUから導出された5つの潜在的な候補のうち、動きマージと同じ位置にあるものを最大2つの候補を考慮する。現在のPUの左側のための導出の順序は、A0、A1、スケーリングされたA0、スケーリングされたA1として規定される。現在のPUの上側のための導出の順序は、B0、B1、B2、スケーリングされたB0、スケーリングされたB1、スケーリングされたB2として規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合は4つ、すなわち空間的スケーリングを使用する必要がない2つの場合と、空間的スケーリングを使用する2つの場合とがある。4つの異なる場合をまとめると、以下のようになる。
空間的スケーリングなし
(1)同じ参照ピクチャリスト、および同じ参照ピクチャインデックス(同じPOC)
(2)異なる参照ピクチャリストであるが、同じ参照ピクチャ(同じPOC)
空間的スケーリング
(3)同じ参照ピクチャリストであるが、異なる参照ピクチャ(異なるPOC)
(4)異なる参照ピクチャリスト、および異なる参照ピクチャ(異なるPOC)
最初に非空間的スケーリングの場合をチェックし、次に空間的スケーリングを行う。参照ピクチャリストにかかわらず、POCが近傍のPUの参照ピクチャと現在のPUの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのPUが利用可能でないか、またはイントラ符号化されている場合、上側の動きベクトルのスケーリングは、左側および上側MV候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。
図9に、空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す。
空間的スケーリング処理において、図9に示すように、時間的スケーリングと同様にして、近傍のPUの動きベクトルをスケーリングする。主な違いは、現在のPUの参照ピクチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。
2.1.3.3. 時間的動きベクトル候補
参照ピクチャインデックスを導出する以外は、時間的マージ候補を導出するための処理は、すべて、空間的動きベクトル候補を導出するための処理と同じである(図6参照)。参照ピクチャインデックスはデコーダに信号通知される。
2.2. JEMにおける新しいインター予測方法
2.2.1. サブCUに基づく動きベクトル予測
QTBTを有するJEMにおいて、各CUは、各予測方向に対して最大1つの動きパラメータのセットを有することができる。エンコーダにおいて、ラージCUをサブCUに分割し、ラージCUのすべてのサブCUの動き情報を導出することにより、2つのサブCUレベルの動きベクトル予測方法を考慮する。サブブロック時間的動きベクトル予測(SbTMVP)代替的な時間的動きベクトル予測(ATMVP)法により、各CUが、配列された参照ピクチャにおける現在のCUよりも小さい複数のブロックから複数の動き情報のセットをフェッチすることが可能となる。時空間的動きベクトル予測(STMVP)法において、時間的動きベクトル予測子および空間的近傍動きベクトルを使用して、サブCUの動きベクトルを再帰的に導出する。
サブCU動き予測のためにより正確な動きフィールドを維持するために、参照フレームの動き圧縮は現在無効にされている。
図10は、CUのための例示的なATMVP動き予測を示す。
2.2.1.1. 代替の時間的動きベクトル予測
代替的な時間的動きベクトル予測(ATMVP)において、動きベクトル時間的動きベクトル予測(TMVP)法は、現在のCUより小さいブロックから複数の動き情報のセット(動きベクトルおよび参照インデックスを含む)を取り出すことで修正される。いくつかの実施形態において、サブCUは、N×N個のブロックの正方形である(Nは、デフォルトで4に設定される)。
ATMVPは、CU内のサブCUの動きベクトルを2つのステップで予測する。第1のことは、参照ピクチャにおける対応するブロックを、いわゆる時間的ベクトルで特定することである。この参照ピクチャをモーションソースピクチャと呼ぶ。第2のステップでは、現在のCU1000をサブCU1001に分割し、各サブCUに対応するブロックから、各サブCUの動きベクトルおよび参照インデックスを得る。
第1のステップにおいて、現在のCUの空間的に近傍のブロックの動き情報によって、参照ピクチャおよび対応するブロックを判定する。近傍のブロックの繰り返し走査処理を回避するために、現在のCUのマージ候補リストにおける第1のマージ候補を使用する。第1の利用可能な動きベクトルおよびその関連する参照インデックスを、時間的ベクトルおよびモーションソースピクチャのインデックスに設定する。このように、ATMVPでは、TMVPに比べて、対応するブロックをより正確に特定することができ、対応するブロック(配列されたブロックと呼ばれることがある)は、常に現在のCUに対して右下または中心位置にある。
第2のステップにおいて、現在のCUの座標に時間ベクトルを加えることで、モーションソースピクチャにおける時間的ベクトルによって、サブCUの対応するブロックを特定する。サブCUごとに、その対応するブロックの動き情報(中心サンプルを覆う最小の動きグリッド)を使用して、サブCUの動き情報を導出する。対応するN×Nブロックの動き情報を特定した後、HEVCのTMVPと同様に、現在のサブCUの動きベクトルおよび参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコーダは、低遅延条件(現在のピクチャのすべての参照ピクチャのPOCが現在のピクチャのPOCよりも小さい)が満たされているかどうかをチェックし、場合によっては、動きベクトルMV(参照ピクチャリストXに対応する動きベクトル)を使用して、各サブCUの動きベクトルMV(Xが0または1に等しく、Yが1-Xに等しい)を予測する。
2.2.1.2. 時空間的動きベクトル予測(STMVP)
この方法において、サブCUの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。図11は、この概念を示す。4つの4×4サブCU、A、B、C、およびDを含む8×8CUを考える。現在のフレームの近傍の4×4ブロックには、a、b、c、dというラベルが付けられている。
サブCU Aの動きの導出は、その2つの空間的近傍を特定することで始まる。第1の近傍は、サブCU Aの上のN×Nブロックである(ブロックc)。このブロックcが利用可能でないか、またはイントラ符号化されている場合、サブCU Aより上の他のN×N個のブロックをチェックする(ブロックcから始まり、左から右へ)。第2の近傍は、サブCU Aの左側のブロックである(ブロックb)。ブロックbが利用可能でないか、またはイントラ符号化されている場合、サブCU Aの左側の他のブロックをチェックする(ブロックbを中心に、上から下へ)。各リストの近傍のブロックから得られた動き情報を、所与のリストの第1の参照フレームにスケーリングする。次に、HEVCで規定されているTMVP導出と同じ手順に従って、サブブロックAの時間的動きベクトル予測子(TMVP)を導出する。ロケーションDにおける配列されたブロックの動き情報をフェッチし、それに応じてスケーリングする。最後に、動き情報を検索し、スケーリングした後、参照リストごとにすべての利用可能な動きベクトル(3まで)を別個に平均する。この平均化された動きベクトルを現在のサブCUの動きベクトルとする。
2.2.1.3. サブCU動き予測モード信号通知
サブCUモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ATMVPモードおよびSTMVPモードを表すように、各CUのマージ候補リストに2つの追加のマージ候補を加える。シーケンスパラメータセットがATMVPおよびSTMVPが有効であることを示す場合、7個までのマージ候補を使用する。追加のマージ候補の符号化ロジックは、HMにおけるマージ候補の場合と同じであり、つまり、PまたはBスライスにおける各CUについて、2つの追加のマージ候補に対して2回以上のRDチェックが必要となる。
JEMにおいて、マージインデックスのすべての2値は、CABACによってコンテキスト符号化される。一方、HEVCにおいては、第1の2値のみがコンテキスト符号化され、残りの2値はコンテキストバイパス符号化される。
2.2.2. 適応動きベクトル差解像度
HEVCにおいて、use_integer_mv_flagがスライスヘッダにおいて0であるとき、1/4輝度サンプルの単位で動きベクトルの差(MVD)(動きベクトルとPUの予測動きベクトルとの差)が信号通知される。JEMにおいて、ローカル適応動きベクトル解像度(LAMVR)が導入される。JEMにおいて、MVDは、1/4輝度サンプル、整数輝度サンプルまたは4つの輝度サンプルの単位で符号化できる。MVD分解能は符号化ユニット(CU)レベルで制御され、MVD解像度フラグは、少なくとも1つのノンゼロMVDモジュールを有する各CUに対して条件付きで信号通知される。
少なくとも1つのノンゼロMVDモジュールを有するCUの場合、1/4輝度サンプルMV精度がCUにおいて使用されるかどうかを示すために、第1のフラグが信号通知される。第1のフラグ(1に等しい)が、1/4輝度サンプルMV精度が使用されていないことを示す場合、整数輝度サンプルMV精度が使用されるかまたは4輝度サンプルMV精度が使用されるかを示すために、別のフラグが信号通知される。
CUの第1のMVD解像度フラグがゼロであるか、またはCUに対して符号化されていない(つまり、CUにおけるすべてのMVDがゼロである)場合、CUに対して1/4輝度サンプルMV解像度が使用される。CUが整数輝度サンプルMV精度または4輝度サンプルMV精度を使用する場合、CUのAMVP候補リストにおけるMVPを対応する精度に丸める。
エンコーダにおいて、CUレベルのRDチェックは、どのMVD解像度をCUに使用するかを判定するために使用される。すなわち、1つのMVD解像度ごとに3回、CUレベルのRDチェックを行う。エンコーダの速度を速めるために、JEMにおいては、以下の符号化方式が適用される。
通常の1/4輝度サンプルMVD解像度を有するCUのRDチェック中、現在のCUの動き情報(整数輝度サンプル精度)が記憶される。整数輝度サンプルおよび4輝度サンプルのMVD解像度を有する同じCUのRDチェック中に、記憶された動き情報(丸められた後)は、更なる小範囲の動きベクトル微調整の開始点として使用されるので、時間がかかる動き推定処理が3回重複することはない。
4輝度サンプルMVD解像度を有するCUのRDチェックを条件付きで呼び出す。CUの場合、整数輝度サンプルMVD解像度のRDコストが1/4輝度サンプルMVD解像度のそれよりもはるかに大きい場合、CUのための4輝度サンプルMVD解像度のRDチェックはスキップされる。
符号化処理を図12に示す。まず、1/4画素MVをテストし、RDコストを計算し、RDCost0と表し、次に、整数MVをテストし、RDコストをRDCost1と表す。RDCost1<th*RDCost0(ただし、thは正の値である)である場合、4画素MVをテストし、そうでない場合、4画素MVをスキップする。基本的に、整数または4画素MVをチェックするときには、1/4画素MVに対して動き情報およびRDコスト等が既知であり、これを再利用して整数または4画素MVの符号化処理を高速化することができる。
2.2.3. 三角形予測モード
三角形予測モード(TPM)の概念は、動き補償予測のために新しい三角形分割を導入することである。図13に示すように、CUは、対角線方向または逆対角線方向に沿って2つの三角形予測ユニットに分割される。CUにおける各三角形予測ユニットは、1つの単一予測候補リストから導出された独自の単一予測動きベクトルおよび参照フレームインデックスを使用して、インター予測される。三角形予測ユニットを予測した後、対角エッジに対して適応重み付け処理を行う。そして、CU全体に対して変換および量子化処理を行う。なお、このモードは、スキップモードおよびマージモードにのみ適用される。
2.2.3.1 TPMの単一予測候補リスト
この単一予測候補リストは、5つの単一予測動きベクトル候補からなる。これは、図14に示すように、5つの空間的に近傍のブロック(1~5)および2つの時間的に同一位置にあるブロック(6~7)を含むCUの7つの近傍のブロックから導出される。図14は、近傍のブロックの位置の例を示す。単一予測動きベクトル、双予測動きベクトルのL0動きベクトル、双予測動きベクトルのL1動きベクトル、およびタイルグループ動きベクトルのL0、L1動きベクトルの平均動きベクトルの順に、7つの近傍のブロックの動きベクトルを収集し、単一予測候補リストに入れる。候補の数が5未満である場合、動きベクトルゼロをリストに加える。
具体的には、以下のステップが含まれる。
プルーニング操作を行わずに、A1、B1、B0、A0、B2、Col、Col2(図14のブロック1-7に対応)から動き候補を取得する。
変数numCurrMergeCand=0を設定する。
A1、B1、B0、A0、B2、Col、Col2、から導出された各動き候補で、numCurrMergeCandが5未満のものに対し、動き候補が単一予測である(List0またはList1のいずれかから)場合、であり、numCurrMergeCandを1だけ増加させたマージリストに加えられる。このように追加された動き候補を「本来単予測候補」と呼ぶ。
フルプルーニングを適用する。
A1,B1,B0,B0,A0,B2,Col,Col2から導出され、numCurrMergeCandが5未満である各動き候補について、動き候補が双予測である場合には、List0からの動き情報をマージリストに追加し(つまり、List0からの単一予測となるように修正され)、numCurrMergeCandを1だけ増加させる。このように追加された動き候補を「Truncated List0-predicted candidate」と呼ぶ。
フルプルーニングを適用する。
A1,B1,B0,B0,A0,B2,Col,Col2から導出され、numCurrMergeCandが5未満である各動き候補について、動き候補が双予測である場合には、リスト1からの動き情報をマージリストに追加し(つまり、リスト1からの単一予測となるように修正され)、numCurrMergeCandを1だけ増加させる。このように追加された動き候補を「Truncated List1-predicted candidate」と呼ぶ。
フルプルーニングを適用する。
A1、B1、B0、A0、B2、Col、Col2、から導出され、numCurrMergeCandが5未満である各動き候補について、動き候補が双予測である場合、List0参照ピクチャスライスQPがList1参照ピクチャスライスQPよりも小さい場合、List1の動き情報をまずList0参照ピクチャにスケーリングし、2つのMVの平均(一方はオリジナルList0からのもので、他方はList1からのスケーリングされたMV)をマージリストに加える。それが、List0動き候補からの平均単一予測であり、numCurrMergeCandを1だけ増加させる。
そうでない場合、List0の動き情報をまずList1参照ピクチャにスケーリングし、2つのMVの平均(一方はオリジナルList1からのものであり、他方はList0からのスケーリングされたMVである)をマージリストに加える。すなわち、List1動き候補とnumCurrMergeCandとからの単一予測を平均し、1だけ増加させる。
フルプルーニングを適用する。
numCurrMergeCandが5未満である場合、ゼロ動きベクトル候補を加える。
2.2.3.2. 適応重み付け処理
各三角形予測ユニットを予測した後、2つの三角形予測ユニット間の対角エッジに適応重み付け処理を施し、CU全体の最終予測を導出する。2つの重み係数群を以下のように定義する。
第1の重み係数群は、{7/8、6/8、4/8、2/8、1/8}および{7/8、4/8、1/8}をそれぞれ輝度および色差サンプルに使用する。
第2の重み係数群は、{7/8、6/8、5/8、4/8,3/8、2/8、1/8}および{6/8、4/8、2/8}をそれぞれ輝度およびクロミナンスサンプルに使用する。
2つの三角形予測ユニットの動きベクトルの比較に基づいて、重み係数群を選択する。第2の重み係数群は、2つの三角形予測ユニットの参照ピクチャが異なる場合、またはその動きベクトルの差が16画素よりも大きい場合に使用される。そうでない場合、第1の重み係数群を使用する。一例を図15に示す。図15は、第1の重み係数群を適用するCUの例を示す。
2.2.3.3. 動きベクトル記憶装置
図16は、動きベクトル記憶装置の一例を示す。三角形予測ユニットの動きベクトル(図16のMv1、Mv2)は、4×4個のグリッドに記憶される。各4×4グリッドに対して、CUにおける4×4グリッドの位置に基づいて、単一予測または双予測動きベクトルを記憶する。図16に示すように、重み付けされていない領域に位置する(すなわち、対角エッジに位置しない)4×4グリッドに対して、Mv1またはMv2のいずれか一方の単一予測動きベクトルを記憶する。一方、重み付け領域に位置する4×4グリッドについては、双予測動きベクトルを記憶する。以下の規則に基づいて、Mv1およびMv2から双予測動きベクトルを導出する。
Mv1およびMv2が異なる方向(L0またはL1)の動きベクトルを有する場合、Mv1およびMv2を単に組み合わせることで、双予測動きベクトルが形成される。
Mv1とMv2の両方が同じL0(またはL1)方向から来ている場合、Mv2の参照ピクチャがL1(またはL0)参照ピクチャリストにおけるピクチャと同じである場合、Mv2はそのピクチャにスケーリングされる。Mv1とスケーリングされたMv2とを組み合わせ、双予測動きベクトルを形成する。
Mv1の参照ピクチャがL1(またはL0)参照ピクチャリストにおけるピクチャと同じである場合、Mv1はそのピクチャにスケーリングされる。スケーリングされたMv1およびMv2を組み合わせ、双予測動きベクトルを形成する。
そうでない場合、重み付け領域のためにMv1のみが記憶される。
2.2.3.4. 三角形予測モード(TPM)の信号伝達
TPMが使用されているかどうかを示すための1つのビットフラグが、まず信号通知されてもよい。その後、2つの分割パターンの表示の信号伝達(図13に示す)、および2つの分割の各々に対して選択されたマージインデックスをさらに信号通知する。
なお、TPMは、マージモードの特殊サブモードとして扱われる。そのため、まず、マージフラグを信号通知する。マージフラグが真である場合、ブロックがTPMを選択したかどうかをさらに信号通知することができる。
以下の表(VVCコーデックの現在のバージョンの仕様を参照)は、現在の構文を修正する例を示す(太字のエントリは変更を示す)。
7.3.4.6 符号化ユニット構文
Figure 0007157246000001
Figure 0007157246000002
Figure 0007157246000003
7.3.4.8 データ構文のマージ
Figure 0007157246000004
Figure 0007157246000005
2.2.3.4.1 TPMフラグの信号通知
1つの輝度ブロックの幅および高さを、それぞれWおよびHで表すことにする。W*H<64の場合、三角形予測モードは無効になる。
1つのブロックをアフィンモードで符号化する場合、三角形予測モードも無効にされる。
1つのブロックがマージモードで符号化されるとき、1つのビットフラグを信号通知して、このブロックに対して三角形予測モードが有効とされるか無効とされるかを示すことができる。
このフラグは、次式に基づいて、3つのコンテキストで符号化される。
Ctx index=((left block L available && L is coded with TPM?)1:0)+((Above block A available && A is coded with TPM?)1:0);
図17は、TPMフラグ符号化におけるコンテキスト選択に使用される近傍のブロック(AおよびL)の例を示す。
2.2.3.4.2. 2つの分割パターンの表示の信号通知(図13に示す)、および2つの分割の各々に対して選択されたマージインデックス
なお、分割パターンと、2つの分割のマージインデックスとは、互いに符号化される。[5]において、2つの分割が同じ参照インデックスを使用できないように制限される。そのため、2つの(分割パターン)*N(マージ候補の最大数)*(N-1)個の可能性があり、Nが5に設定される。1つの表示を符号化し、分割タイプと、2つのマージインデックスとの間のマッピングを、以下に定義されるアレイから導出する。
const uint8_t g_TriangleCombination[TRIANGLE_MAX_NUM_CANDS][3]={
{0,1,0},{1,0,1},{1,0,2},{0,0,1},{0,2,0},
{1,0,3},{1,0,4},{1,1,0},{0,3,0},{0,4,0},
{0,0,2},{0,1,2},{1,1,2},{0,0,4},{0,0,3},
{0,1,3},{0,1,4},{1,1,4},{1,1,3},{1,2,1},
{1,2,0},{0,2,1},{0,4,3},{1,3,0},{1,3,2},
{1,3,4},{1,4,0},{1,3,1},{1,2,3},{1,4,1},
{0,4,1},{0,2,3},{1,4,2},{0,3,2},{1,4,3},
{0,3,1},{0,2,4},{1,2,4},{0,4,2},{0,3,4}};
Partition type(45degree or 135degree)=g_TriangleCombination[signaled indication][0];
Merge index of candidate A=g_TriangleCombination[signaled indication][1];
Merge index of candidate B=g_TriangleCombination[signaled indication][2];
2つの動き候補A、Bを導出すると、AまたはBのいずれか一方から2つの分割の(PU1、PU2)動き情報を設定することができ、PU1がマージ候補AまたはBの動き情報を使用するかどうかは、2つの動き候補の予測方向に依存する。表6は、2つの分割を有する、2つの導出された動き候補AおよびBの間の関係を示す。
Figure 0007157246000006
2.2.3.4.3.(merge_triangle_idxで示す)表示のエントロピー符号化
merge_triangle_idxは、[0,39](それぞれを含む)の範囲内にある。K_th order Exponential Golomb(EG)コードは、merge_triangle_idxの2値化に使用される(Kは1に設定される)。
K次EG
より少ないビットでより大きな数を符号化するために(より多くのビットを使用してより小さな数を符号化することを犠牲にして)、これは、非負の整数パラメータkを使用して一般化されてもよい。非負の整数xを次数kのexp-Golombコードで符号化するには、次のようにする。
前述のorder-0 exp-Golombコードを使用して[x/2]を符号化する。次に、
x mod 2をバイナリでエンコードする。
Figure 0007157246000007
2.2.4. 重複ブロック動き補償
H.263では、以前から重複ブロック動き補償(OBMC)が使用されている。JEMにおいて、H.263とは異なり、OBMCは、CUレベルの構文を使用してオン/オフを切り替えることができる。JEMにおいてOBMCを使用する場合、OBMCは、CUの右下の境界を除くすべての動き補償(MC)ブロック境界に対して行われる。また、輝度およびクロマ成分の両方に適用される。JEMにおいて、1つのMCブロックは1つの符号化ブロックに対応する。CUがサブCUモードで符号化された(サブCUマージ、アフィン、およびFRUCモードを含む)場合、CUの各サブブロックは1つのMCブロックである。均一にCU境界を処理するために、OBMCは、すべてのMCブロック境界に対してサブブロックレベルで実行され、ここで、サブブロックサイズは、図18に示すように、4×4に等しく設定される。
OBMCが現在のサブブロックに適用される場合、現在の動きベクトルの他に、4つの接続された近傍のサブブロックの動きベクトルも、利用可能であり、現在の動きベクトルと同一でない場合には、現在のサブブロックのための予測ブロックを導出するために使用される。複数の動きベクトルに基づくこれらの複数の予測ブロックを組み合わせ、現在のサブブロックの最終予測信号を生成する。
近傍のサブブロックの動きベクトルに基づく予測ブロックをP(Nは、近傍の上、下、左、右のサブブロックのインデックス)とし、現在のサブブロックの動きベクトルに基づく予測ブロックをPとする。Pが現在のサブブロックと同じ動き情報を含む近傍のサブブロックの動き情報に基づく場合、OBMCはPから行われない。そうでない場合、PのすべてのサンプルをP内の同じサンプルに加える。すなわち、Pの4つの行/列をPに加える。Pには重み係数{1/4,1/8,1/16,1/32}を用い、Pには重み係数{3/4,7/8,15/16,31/32}を使用する。例外は、小さなMCブロック(すなわち、符号化ブロックの高さまたは幅が4に等しいか、または1つのCUがサブCUモードで符号化された場合)であり、その場合、2つの行/列のPのみがPに追加される。この場合、Pに対して重み係数{1/4,1/8}が使用され、Pに対して重み係数{3/4,7/8}が使用される。垂直(水平)方向に近傍のサブブロックの動きベクトルに基づいて生成されたPに対して、Pの同じ行(列)におけるサンプルを、同じ重み係数でPに加算する。
JEMにおいて、サイズが256輝度サンプル以下のCUの場合、現在のCUに対してOBMCが適用されているかどうかを示すように、CUレベルフラグが信号通知される。サイズが256輝度サンプルよりも大きい、またはAMVPモードで符号化されていないCUの場合、OBMCがデフォルトで適用される。エンコーダにおいて、OBMCがCUに適用される場合、その影響は動き推定ステージ中に考慮される。上側近傍のブロックおよび左側近傍のブロックの動き情報を使用してOBMCにより形成された予測信号は、現在のCUの元の信号の上側および左側の境界を補償するために用いられ、その後、通常の動き推定処理が適用される。
2.2.5. 局所照明補償
ローカル照明補償(LIC)は、倍率aおよびオフセットbを使用して、照明変化の線形モデルに基づく。そして、各インターモード符号化ユニット(CU)に対して適応的に有効または無効とされる。図19は、ICパラメータを導出するために使用される近傍のサンプルの例を示す。
ICがCUに適用される場合、最小二乗誤差法が使用され、現在のCUの近傍のサンプルおよびそれらに対応する基準サンプルを使用することによって、パラメータaおよびbを導出する。具体的には、図19に示すように、CUのサブサンプリング(2:1サブサンプリング)された近傍のサンプルと、参照ピクチャにおける対応するサンプル(現在のCUまたはサブCUの動き情報によって特定される)とを使用する。ICパラメータは、各予測方向に対して別個に導出され、適用される。
CUがマージモードで符号化される場合、ICフラグは、マージモードにおける動き情報のコピーと同様に、近傍のブロックからコピーされ、そうでない場合、LICフラグがCUに信号通知され、LICが適用されるかどうかを示す。
1つのピクチャに対してLICが有効化されるとき、1つのCUに対してLICが適用されるかどうかを判定するために、追加のCUレベルRDチェックが必要である。CUのためにLICが有効化される場合、整数画素動き探索および端数画素動き探索のために、SADおよびSATDの代わりに、それぞれ、絶対差の平均除去和(MR-SAD)および絶対アダマール変換差の平均除去和(MR-SATD)が使用される。
符号化の複雑性を低減するために、JEMにおいては、以下の符号化方式が適用される。
現在のピクチャとその参照ピクチャとの間に明瞭な照度変化がない場合、LICはピクチャ全体に対して無効にされる。この状況を識別するために、エンコーダにおいて、現在のピクチャおよび現在のピクチャのすべての参照ピクチャのヒストグラムを計算する。現在のピクチャと現在のピクチャのすべての参照ピクチャとの間のヒストグラム差が所与の閾値よりも小さい場合、現在のピクチャに対してLICを無効化し、そうでない場合、現在のピクチャに対してLICを有効化する。
2.2.6. アフィン動き補償予測
HEVCにおいて、動き補償予測(MCP)のために並進運動モデルのみが適用される。実際の世界ではあるが、動きには様々な種類があり、例えば、ズームイン/ズームアウト、回転、透視運動、および他の不規則な動きがある。JEMにおいて、簡易アフィン変換動き補償予測が適用される。図20に示すように、ブロックのアフィン動きフィールドは、2つの制御点動きベクトルで表される。
ブロックの動きベクトルフィールド(MVF)は、以下の式で表される。
Figure 0007157246000008
6パラメータアフィンの場合、
Figure 0007157246000009
ここで、(v0x,v0y)は、左上隅の制御点の動きベクトルであり、(v1x,v1y)は、右上隅の制御点の動きベクトルであり、(v2x,v2y)は、左下隅の制御点の動きベクトルであり、(x,y)は、現在のブロックにおける左上サンプルに対する代表点の座標を表す。VTMにおいて、代表点をサブブロックの中心位置とする。例えば、現在のブロックにおけるサブブロックの左上の角の左上のサンプルの座標が(xs,ys)である場合、代表点の座標を(xs+2,ys+2)とする。
動き補償予測をさらに簡単にするために、サブブロックに基づくアフィン変換予測が適用される。サブブロックのサイズM×Nは、式(2)のように導出され、MvPreは、動きベクトルの端数精度(JEMでは、1/16)であり、(v2x,v2y)は、式(1)に従って算出された、左下制御点の動きベクトルである。
Figure 0007157246000010
式(2)によって導出された後、MおよびNは、それぞれwおよびhの除数とするために、必要に応じて下方向に調整されるべきである。
各M×N個のサブブロックの動きベクトルを導出するために、図21に示すように、式(1)に基づいて、各サブブロックの中心サンプルの動きベクトルを計算し、1/16の端数精度に丸める。次に、本明細書の他の箇所で述べた動き補償補間フィルタを適用して、導出された動きベクトルを使用して各サブブロックの予測を生成する。
MCPの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ精度で保存する。
2.2.6.1. AF_INTERモード
JEMにおいて、2つのアフィン動きモード、AF_INTERモードおよびAF_MERGEモードがある。幅と高さの両方が8より大きいCUの場合、AF_INTERモードを適用することができる。AF_INTERモードが使用されるかどうかを示すために、ビットストリームにおいてCUレベルのアフィンフラグが信号通知される。本モードにおいて、近傍のブロックを使用して動きベクトル対{(v,v|v={v,v,v},v=){v,v}}を有する候補リストを構築する。図23に示すように、ブロックA、BまたはCの動きベクトルからvを選択し、近傍のブロックからの動きベクトルを、参照リストおよび近傍のブロックへの参照のPOCと、現在のCUへの参照のPOCと、現在のCUのPOCとの関係に基づいてスケーリングする。そして、近傍のブロックDおよびEからvを選択する方法は類似している。候補リストの数が2未満である場合、AMVP候補の各々を複製した動きベクトル対でリストを埋める。候補リストが2よりも大きい場合、まず、近傍の動きベクトルの整合性(対候補における2つの動きベクトルの類似性)に基づいて候補をソートし、最初の2つの候補のみを保持する。RDコストチェックを使用して、どの動きベクトル対候補を現在のCUの制御点動きベクトル予測(CPMVP)として選択するかを判定する。そして、候補リストにおけるCPMVPの位置を示すインデックスをビットストリームにおいて信号通知する。現在のアフィンCUのCPMVPを判定した後、アフィン動き推定を適用し、制御点動きベクトル(CPMV)を求める。次に、CPMVとCPMVPとの差をビットストリームにおいて信号通知する。
AF_INTERモードにおいて、4/6パラメータアフィンモードが使用される場合、2/3個の制御点が必要であり、従って、図22に示すように、これらの制御点のために2/3個のMVDを符号化することが必要である。いくつかの実施形態において、MVを以下のように導出することが提案され、即ち、mvd1およびmvd2はmvd0から予測される。
mv=m ̄v ̄+mvd
mv=m ̄v ̄+mvd+mvd
mv=m ̄v ̄+mvd+mvd
ここでm ̄vi ̄、mvd、mvは、それぞれ、図22(b)に示すように、左上の画素(i=0)、右上の画素(i=1)、左下の画素(i=2)の予測動きベクトル、動きベクトルの差分、動きベクトルである。なお、2つの動きベクトル(例えば、mvA(xA,yA)およびmvB(xB,yB))の加算は、2つの成分を別個に合計したものに等しく、即ち、newMV=mvA+mvBであり、newMVの2つのコンポーネントをそれぞれ(xA+xB)および(yA+yB)に設定する。
2.2.6.2. AF_MERGEモード
AF_MERGEモードでCUを適用する場合、CUは、有効な近傍の再構築ブロックから、アフィンモードで符号化された第1のブロックを得る。そして、候補ブロックの選択順は、図24aに示すように、左、上、右上、左下、左上から左上へとなる。図24のキャプション(b)に示すように、左下隣のブロックAをアフィンモードで符号化すると、ブロックAを含むCUの左上隅、右上隅、左下隅の動きベクトルv、v、vが導出される。そして、v、v、vに基づいて、現在のCUにおける左上隅の動きベクトルv0を算出する。次に、現在のCUの右上の動きベクトルvを算出する。
現在のCU、v,vのCPMVを導出した後、簡易アフィン動きモデル式(1)に基づいて、現在のCUのMVFを生成する。現在のCUがAF_MERGEモードで符号化されているかどうかを識別するために、アフィンモードで符号化された近傍のブロックが少なくとも1つある場合、ビットストリーム内にアフィンフラグを信号通知する。
いくつかの実施形態において、アフィンマージ候補リストは次のことを含む。
継承されたアフィン候補を挿入する。
継承されたアフィン候補は、その有効な近傍アフィン符号化ブロックのアフィン動きモデルからその候補を導出することを意味する。共通ベースにおいて、図25に示すように、候補位置の走査順序は、A1,B1、B0、A0、B2である。
候補を導出した後、フルプルーニング処理を行い、同じ候補がリストに挿入されているかを確認する。同じ候補が存在する場合、導出された候補を廃棄する。
構築されたアフィン候補を挿入する。
アフィンマージ候補リストにおける候補の数がMaxNumAffineCand未満である(この寄与において5に設定される)場合、構築されたアフィン候補を候補リストに挿入する。構築されたアフィン候補は、各制御点の近傍動き情報を組み合わせることで候補を構築することを意味する。
まず、図25に示される特定された空間的近傍および時間的近傍から、制御点の動き情報を導出する。CPk(k=1,2,3,4)は、k番目の制御点を表す。A0,A1、A2、B0、B1、B2、B3は、CPk(k=1、2、3)を予測するための空間的位置であり、Tは、CP4を予測するための時間的位置である。
CP1、CP2、CP3、CP4の座標は、それぞれ、(0、0)、(W、0)、(H、0)、(W、H)であり、W、Hは、現在のブロックの幅および高さである。
各制御点の動き情報は、以下の優先順位に従って取得される。
CP1の場合、チェックの優先順位はB2->B3->A2である。利用可能であれば、B2を使用する。そうではなく、B2が利用可能である場合、B3が使用される。B2とB3の両方が利用不可能である場合、A2が使用される。3つの候補のすべてが利用不可能である場合、CP1の動き情報を取得することができない。
CP2の場合、チェックの優先順位はB1->B0である。
CP3の場合、チェックの優先順位はA1->A0である。
CP4にはTを使用する。
次に、これらの制御点の組み合わせを使用して、アフィンマージ候補を構築する。
6パラメータアフィン候補を構築するためには、3つの制御点の動き情報が必要である。3つの制御点は、以下の4つの組み合わせ({CP1、CP2、CP4}、{CP1、CP2、CP3}、{CP2、CP3、CP4}、{CP1、CP3、CP4})のうち1つを選択することができる。{CP1、CP2、CP3}、{CP2、CP3、CP4}、{CP1、CP3、CP4}の組み合わせを、左上、右上、左下の制御点で表される6パラメータ動きモデルに変換する。
4パラメータアフィン候補を構築するためには、2つの制御点の動き情報が必要である。2つの制御点は、以下の6つの組み合わせ({CP1,CP4}、{CP2,CP3},{CP1,CP2}、{CP2,CP4},{CP1,CP3}、{CP3,CP4})のうち1つを選択することができる。{CP1,CP4}、{CP2,CP3}、{CP2,CP4}、{CP1,CP3}、{CP3,CP4}の組み合わせを、左上および右上の制御点で表される4パラメータ動きモデルに変換する。
構築されたアフィン候補の組み合わせを以下の順に候補リストに挿入する。
{CP1,CP2,CP3},{CP1,CP2,CP4},{CP1,CP3,CP4},{CP2,CP3,CP4},{CP1,CP2},{CP1,CP3},{CP2,CP3},{CP1,CP4},{CP2,CP4},{CP3,CP4}
ある組み合わせの参照リストX(Xは0または1)に対して、制御点における使用率が最も高い参照インデックスをリストXの参照インデックスとして選択し、差分参照ピクチャに対する動きベクトルのポイントをスケーリングする。
候補を導出した後、フルプルーニング処理を行い、同じ候補がリストに挿入されているかを確認する。同じ候補が存在する場合、導出された候補を廃棄する。
動きベクトルがゼロのパディング
アフィンマージ候補リストにおける候補の数が5未満である場合、リストが一杯になるまで、参照インデックスがゼロのゼロ動きベクトルを候補リストに挿入する。
2.2.7. 双方向オプティカルフロー
双方向オプティカルフロー(BIO)は、双予測のためにブロック単位の動き補償の上で実行されるサンプル単位の動きの微調整である。サンプルレベルの動きの微調整は、信号通知を使用しない。
ブロックの動き補償の後、I(k)を基準k(k=0,1)からの輝度値、そして∂I(k)/∂xと∂I(k)/∂yを、それぞれ、I(k)勾配の水平および垂直方向成分とする。オプティカルフローが有効であると仮定すると、動きベクトルフィールド(v,v)は、次式で与えられる。
Figure 0007157246000011
このオプティカルフロー方程式と各試料の動き軌跡のエルミート補間を組み合わせると、関数値I(k)と導関数∂I(k)/∂xと∂I(k)/∂yの両方に一致するユニークな3次多項式が得られる。t=0におけるこの多項式の値がBIO予測である。
Figure 0007157246000012
τおよびτは、図26に示すように、参照フレームまでの距離を示す。距離τおよびτは、Ref0およびRef1のτ=POC(current)-POC(Ref0),τ=POC(Ref1)-POC(current)のPOCに基づいて、算出される。両方の予測が同じ時間方向から来たものである場合(両方とも過去から来たものであるか、または両方とも将来から来たものである)、符号が異なっている(すなわちτ・τ<0)。BIOは、予測が同じ時間モーメントからのものではない(即ち、τ≠τ)場合にのみ適用され、両方の参照領域は、非ゼロの動き(MVx,MVy,MVx,MVy≠0)を有し、ブロックの動きベクトルは、時間的間隔(MVx/MVx=MVy/MVy=-τ/τ)に比例する。
点Aと点Bとの間(図9における動き軌跡と基準フレーム平面との交差)の差△を最小にすることで、動きベクトルフィールド(v,v)を判定する。モデルは、△に対してローカルテイラー展開の第1の線形項のみを使用する。
Figure 0007157246000013
式(5)におけるすべての値は、サンプル位置(i’,j’)に依存し、これまでの表記から省略した。動きがローカル周辺エリアにおいて一貫していると仮定すると、現在の予測点(i,j)を中心とする(2M+1)×(2M+1)個の正方形窓の内側で、△を最小限に抑える。Mは2に等しい。
Figure 0007157246000014
この最適化問題に対して、JEMは、まず垂直方向に最小化し、次に水平方向に最小化する簡単なアプローチを使用する。その結果
Figure 0007157246000015
Figure 0007157246000016
ここで
Figure 0007157246000017
ゼロで割るかまたは非常に小さな値になることを回避するために、式(7)および式(8)に正則化パラメータrおよびmを導入する。
Figure 0007157246000018
Figure 0007157246000019
dは映像サンプルのビット深さである。
BIOのメモリアクセスを通常の二重予測運動き補償と同じにするために、すべての予測値と勾配値であるI(k)、(∂I(k))/∂x、(∂I(k))/∂yは、現在のブロック内の位置について計算される。式(9)において、予測ブロックの境界上の現在の予測点を中心とする(2M+1)×(2M+1)個の正方形窓は、ブロックの外側の位置にアクセスする必要がある(図27の左側(a)に示す)。JEMでは、ブロック外のI(k)、(∂I(k))/∂x、(∂I(k))/∂yの値は、ブロック内で最も近い利用可能な値に等しくなるように設定されている。例えば、これは、図27の右側(b)に示すように、パディング(padding)として実装されてもよい。
BIOを使用することで、サンプルごとに動きフィールドを微調整することができる。計算の複雑性を低減するために、JEMではブロックに基づくBIOの設計が用いられている。4×4ブロックに基づいて動きの微調整を計算する。ブロックに基づくBIOにおいて、4×4ブロックにおけるすべてのサンプルの、式(9)におけるsの値を統合し、次いで、s inの統合した値を使用して、4×4ブロックのためのBIO動きベクトルオフセットを導出する。具体的には、ブロックに基づくBIO導出には、以下の式が使用される。
Figure 0007157246000020
は、予測ブロックのk番目の4×4のブロックに属するサンプルのセットを示す。式(7)および式(8)におけるsを((s,b)>>4)に置き換え、関連する動きベクトルオフセットを導出する。
場合によっては、BIOのMV管理は、雑音または不規則な動きのために信頼できない場合がある。従って、BIOにおいて、MVレジメンの大きさは閾値thBIOにクリップされる。閾値は、現在のピクチャの参照ピクチャがすべて一方向からのものであるかどうかに基づいて判定される。例えば、現在のピクチャの参照ピクチャが全て一方向からのものであれば、閾値は12×2(14-d)に設定され、そうでなければ12×2(13-d)に設定される。
HEVC動き補償処理(2D分離可能FIR)に整合的に演算を使用して、動き補償補間と同時にBIOの勾配を算出する。この2D分離可能FIRの入力は、ブロック動きベクトルの端数部分に基づいて、動き補償処理および端数位置(fracX,fracY)の場合と同じ参照フレームサンプルである。水平勾配∂I/∂x信号の場合、まず、デスケーリングシフトd-8によって、端数位置fracYに対応するBIOfilterSを使用して、垂直方向に補間し、次に、勾配フィルタBIOfilterGを、端数位置fracXに対応する水平方向に適用し、デスケーリングシフトを18-dだけ行う。垂直方向勾配∂I/∂yのとき、デスケーリングシフトd-8で端数位置fracYに対応するBIOfilterGを使用して垂直に第1の勾配フィルタを適用し、次に、BIOfilterSを使用して、端数位置fracXに対応する水平方向に18-dだけデスケーリングシフトさせて信号を移動させる。妥当な複雑性を維持するために、勾配計算BIOfilterGおよび信号変位BIOfilterFのための補間フィルタの長さはより短い(6タップ)。表8は、BIOにおけるブロック動きベクトルの異なる端数位置のための勾配計算に使用されるフィルタを示す。表9は、BIOにおける予測信号の生成に使用される補間フィルタを示す。
Figure 0007157246000021
Figure 0007157246000022
本JEMにおいて、2つの予測が異なる参照ピクチャからのものである場合、BIOをすべての双予測されたブロックに適用することができる。CUに対してLICが有効になっている場合、BIOは無効になる。
JEMにおいて、OBMCは、通常のMC処理の後のブロックに適用される。計算の複雑性を低減するために、OBMC処理中にBIOを適用しない。つまり、BIOは、それ自身のMVを使用する場合、1つのブロックのMC処理において適用され、OBMC処理において近傍のブロックのMVを使用する場合、MC処理においては適用されない。
2.2.8. デコーダ側動きベクトル微調整
双予測演算において、1つのブロック領域を予測するために、list0の動きベクトル(MV)およびlist1のMVをそれぞれ使用して構成される双予測ブロックを組み合わせ、1つの予測信号を形成する。デコーダ側動きベクトル微調整(DMVR)方法において、バイラテラルテンプレートマッチング処理によって、双予測の2つの動きベクトルをさらに微調整する。追加の動き情報を送信することなく微調整されたMVを得るために、デコーダにおいてバイラテラルテンプレートマッチングを適用し、バイラテラルテンプレートと参照ピクチャにおける再構成サンプルとの間でひずみに基づく検索を行う。
DMVRにおいて、図28に示すように、list0の最初のMV0とlist1のMV1とから、それぞれ双予測ブロックの重み付け結合(すなわち、平均)としてバイラテラルテンプレートを生成する。テンプレートマッチング操作は、生成されたテンプレートと参照ピクチャにおけるサンプル領域(最初の予測ブロックの付近)との間のコスト尺度を計算することからなる。2つの参照ピクチャの各々について、テンプレートコストが最小となるMVを、そのリストの更新されたMVと見なし、元のMVに置き換える。JEMにおいて、各リストに対して9つのMV候補を検索する。9つのMV候補は、元のMVと、水平または垂直方向のいずれかまたは両方向に元のMVに対してオフセットしている1つの輝度サンプルを有する8つの周囲のMVを含む。最後に、2つの新しいMV、即ち、図28に示すようなMV0’およびMV1’を使用して、最終的な双予測結果を生成する。絶対差の合計(SAD)をコスト尺度として使用する。なお、1つの周囲のMVによって生成された予測ブロックのコストを計算する場合、実際のMVの代わりに、丸められたMV(整数画素)を使用して予測ブロックを得る。
DMVRは、追加の構文要素を送信することなく、過去の参照ピクチャからの1つのMVと、将来の参照ピクチャからの1つのMVとの間の双予測のマージモードに適用される。JEMにおいて、CUに対してLIC、アフィン動き、FRUCまたはサブCUマージ候補が有効である場合、DMVRは適用されない。
2.2.9. サブブロックマージ候補リスト
なお、非サブブロックマージ候補の通常マージリストに加え、すべてのサブブロック関連動き候補を別個のマージリストに入れることが推薦される。
サブブロック関連動き候補を別個のマージリストに入れ、esub-blockマージ候補リストfとする。
一例において、サブブロックマージ候補リストは、アフィンマージ候補、ATMVP候補、および/またはサブブロックに基づくSTMVP候補を含む。
2.2.9.1 サブブロックマージ候補リストの構築
この寄与において、通常マージリストにおけるATMVPマージ候補をアフィンマージリストの第1の位置に移動させる。新しいリストにおけるすべてのマージ候補(すなわち、サブブロックに基づくマージ候補リスト)は、サブブロック符号化ツールに基づく。
2.2.10. 一般化された双予測の例
GBiを使用して、式(1)を使用して双予測Pbi-predを生成する。(1)1つの重み付けパラメータが符号化ユニットに信号通知され、ここで、P0およびP1は、それぞれ、list-0およびlist-1における参照ピクチャを使用した動き補償予測である。wは、1/8精度で表されるlist-1予測のための重みパラメータである。GBiは、符号化ユニットに基づく重み付け’(BCW)を用いた双予測としても知られている。
Figure 0007157246000023
現在のGBi設計において、低遅延ピクチャに利用可能な5つの重み{-2/8、3/8、4/8、5/8、10/8}があり、非低遅延ピクチャには3つの重み{3/8、4/8、5/8}がある。
符号化ユニットのための重み値を判定するために、以下の規則が適用される。
信号通知MVD(すなわち、通常のインター予測モード)を必要とする各双予測PUについて、その重み値は、明確に信号通知されたものに等しく設定される。
マージモードで符号化される各双予測PUについて、その重み値wは、関連するマージ候補に使用される重み値から直接推論される。
2.3 近傍の構文要素を用いたコンテキストモデリング
1つのタイプのコンテキストモデリングは、現在の構文要素の過去において符号化するために、2つまでの近傍の構文要素を有するコンテキストテンプレートを含み、この場合、近傍の種類の具体的な定義は構文要素に依存する。通常、特定のビンに対するこの種のコンテキストモデルの仕様は、図25のA2およびB3に示すように、現在の構文要素の左上の近傍の要素の関連するビン値のモデル化関数に基づく。
9.5.4.2.2 左上の構文要素を使用したctxIncの導出処理
この処理の入力は、現在のピクチャの左上のサンプルに対する現在の輝度ブロックの左上の輝度サンプル、色成分cIdx、現在の符号化4分木の深さcqDepth、並びに輝度サンプルcbWidthおよびcbHeighにおける現在の符号化ブロックの幅および高さを指定する輝度位置(x0,y0)である。
この処理の出力はctxInc.である。
位置(xNbL,yNbL)は(x0-1,y0)に等しく設定され、現在のブロックのすぐ左側に位置する符号化ブロックの可用性を指定する変数availableLは、位置(xCurr,yCurr)を(x0,y0)と等しく設定し、近傍位置(xNbY,yNbY)を(xNbL,yNbL)と等しく設定したものを入力として、副章6.4で規定されているzスキャン順のブロックの可用性導出処理を呼び出すことで導出され、出力はavailableLに割り当てる。
位置(xNbA,yNbA)は(x0,y0-1)に等しく設定され、現在のブロックの直上に位置する符号化ブロックの可用性を指定する変数availableAは、位置(xCurr,yCurr)を(x0,y0)と等しく設定し、近傍位置(xNbY,yNbY)を(xNbA,yNbA)と等しく設定したものを入力として、副章6.4で規定されているzスキャン順のブロックの可用性導出処理を呼び出すことで導出され、出力はavailableAに割り当てる。
変数sizeC、sizeTh2、sizeTh1は、以下のように導出される。
sizeTh2=(MaxBtSizeY==128)?1024:((MaxBtSizeY==64)?512:256) (9-19)
sizeTh1=(MaxBtSizeY==128)?128:64 (9-20)
sizeC=cbWidth*cbHeight (9-21)
ctxIncの割り当ては、表10で規定された構文要素alf_ctb_flag[x0][y0][cIdx]、qt_split_cu_flag[x0][y0],mtt_split_cu_flag[x0][y0],cu_skip_flag[x0][y0],amvr_mode[x0][y0],inter_affine_flag[x0][y0],merge_triangle_flag[x0][y0]およびmerge_subblock_flag[x0][y0]に対するcondL,condAで、以下のように指定される。
ctxInc=(condL && availableL)+(condA && availableA)+ctxSetIdx*3 (9-22)
Figure 0007157246000024
2.4 予測モードフラグに対する改良されたコンテキスト
VVC草案3において、予測モードフラグ、即ち、pred_mode_flagは、1つのコンテキストのみを使用して符号化される。いくつかの実施形態において、現在のブロックのpred_mode_flagを符号化するコンテキストは、近傍のブロックのpred_mode_flagの値を利用して導出される。図43に示すように、上記(A)または左(L)のブロックをイントラ予測モードで符号化する場合、コンテキスト値を1だけ増加させるので、pred_mode_flagを符号化する場合、コンテキストの数を2だけ増加させる。
VTM-3.0において、結合されたマージおよびインター予測モード、即ち、インターイントラモードも有効にされる。そのため、コンテキスト導出に近傍のブロックを使用する場合、イントラモードをイントラモードと見なすべきか、インターモードと見なすべきかが問題となる。この寄与において、異なる解を試験して結論を得る。
いくつかの実施形態において、pred_mode_flagの符号化に使用されるコンテキストを導出するために、以下に説明するように、4つの異なる方法を試験する。
Figure 0007157246000025
3. 実施形態による発明が解決しようとする課題の例
三角形分割の設計において、1つのブロックを2つの分割に分割することができる。動き補償に起因するメモリ帯域幅を節約するために、2つの分割は単一予測されるべきであることが必要である。動き補償処理中、対角エッジに対して双予測が使用され、他のすべての部分に対して単一予測が使用される。各分割に対して双予測が許可される場合、対角エッジに位置するサンプルは、4つのMVを有し、そのうちの2つは1つの分割からのものであり、2つは別の分割からのものである。このような設計には、以下のような問題がある。
TPMリストを構築するとき、サブブロックマージ候補を利用してTPM候補を導出するのではなく、空間的ブロックおよび時間的ブロックから導出された非サブブロックマージ候補のみを利用する。
三角形分割の場合、サブブロックに基づく方法は許可されない。
非対角エッジに対して単一予測のみを許可する制限は、符号化効率を低下させる可能性がある。
DMVR、三角形分割とのBIO対話
2つの分割は、異なるTPM候補インデックスを選択することができるが、2つのTPM候補が同じ正規の動き候補からのものであるかどうかを確信できなかった。例えば、1つの双方向正規の動き候補を使用して2つのTPM候補を導出し、その各々を1つの分割に割り当ててもよい。この場合、2つの分割は、同じ双予測の正規の動き候補を非TPMモードとして使用することができるが、これはあまり効率的でない可能性がある。
TPMは、ブロック幅*高さが64より小さい場合、無効にされる。しかしながら、4×16または16×4に等しいサイズおよび4:2:0カラーフォーマットを有するブロックの場合、TPMを有効にした2×8クロマブロックが得られ、これはハードウェアの複雑性を増大させる。
MMVD、サブブロックマージリスト、CIIP(組み合わせインターイントラ予測)モードとも呼ばれるMHIntra(inter-intra)モードを含む、VTM3.0における新しいツールを、特殊マージモードとして扱う。従って、5つのマージモードがある。5つのマージモードを表示する前に、マージフラグ/スキップフラグを信号通知する。そのため、元のスキップ/マージモードに到達するために、MMVD/サブブロックマージリスト/MHIntra(inter-intra)/TPMの表示を0に復号化する。
CABACのコンテキストモデリングにおいて、異なるCTU行からの近傍の要素が必要とされ得、これは、CTU行の上からの要素を記憶するために追加のラインバッファを必要とする。
いくつかの構文要素の場合、コンテキストモデリングに使用される近傍のブロックは、再構成ブロックに使用される近傍のブロックとは異なる。
4. 実施形態の例
提案された方法は、任意の非正方形/非長方形の分割、例えばジオメトリ分割に適用されてもよい。以下の説明において、非正方形/非長方形分割モード(TPM)の一例として、三角形分割モードを使用し、TPM候補リストに挿入される動きベクトル予測候補をeTPM candidatesfと呼ぶ。そして、前述の符号化されたブロックに関連付けられた動き情報を、正規の動き候補とする。なお、その他の分割であってもよい。
以下の詳細な技術は、一般的な概念を説明するための例と見なされるべきである。これらの技術は狭い意味で解釈されるべきではない。さらに、これらの技術は、任意の方法で組み合わせることができる。
TPMの拡大
1. TPMリストに、サブブロック候補から導出された1つまたは複数のTPM候補を加えることが提案される。
a. 一例において、TPM候補は、ATMVP候補から導出されてもよい。
b. 一例において、TPM候補は、アフィン候補から導出されてもよい。
c. サブブロック候補(例えば、ATMVP)の場合、それは、複数の動き情報のセットを含んでもよく、各セットは、1つのサブブロックに対応する(例えば、ATMVPの場合、8×8、アフィンの場合、4×4)。1つの代表セットを正規の動き候補として扱い、これを使用してTPM候補を導出することができる。
i. 代表セットは、動き情報のセットが関連付けられたサブブロック位置に基づいて定義されてもよい。例えば、1つのブロックの左上、右上、左下、右下のサブブロックに関連付けられた動き情報を選択してもよい。
ii. M個の代表セットを選択することができ、例えば、Mを分割の数に設定する。一例において、各分割の中心サブブロックに関連付けられた動き情報を選択してもよい。
2. 複数の分割(例えば、三角形分割設計における2つの分割)は、1つの正規の動き候補から継承可能とすることが提案される。
a. 一例において、各分割のための分割パターンおよび選択されたマージインデックスの表示の範囲は、拡大されてもよい。M個に分割された分割があり、N個の許容されるマージ候補があり、この表示の範囲は、現在の三角形設計においてM*N*(N-1)に等しいのではなく、M*N*Nとして定義されるとする。
b. 一例において、1つのフラグは、まず、1つの単一の正規の動き候補から複数の分割が予測されたかどうかを示すように信号通知されてもよい。
c. 一例において、1つの正規の動き候補から複数の分割を予測する場合、このような正規の動き候補を双予測された動き候補とすることが制限される。
i. 代替的に、2つの分割に、それぞれ正規の動き候補のList0動き情報およびList1動き情報を割り当ててもよい。
ii. 代替的に、重み付け領域に位置するサンプルについて、重み係数群は、異なる動き候補から2つの分割を予測する場合に使用される重み係数群と異なってもよい。一例において、平均値が常に使用される。
d. そのような方法は、従来のAMVPまたはマージまたはTPMに加えて、追加の符号化モードとして扱われてもよい。
3. ビットストリームから導出された各分割の動きベクトルは、1つのTPM符号化ブロックの最終予測ブロックを導出するために使用される前に、さらに微調整されてもよい。
a. 一例において、DMVR技術は、2つの分割の動き情報をブロック全体の動き情報として適用してもよい。
b. 一例において、BIOは、TPM予測の後に適用される。
c. 一例において、1つの分割がLXから単一予測され、他の分割がL(1-X)から双予測されるまたは予測される場合、リストL(1-X)における他の分割の動き情報を使用することで、DMVRまたはBIO技術を適用してもよい。
d. 一例において、微調整された動き情報を記憶してもよい。
e. 一例において、分割がLXから単一予測されたものである場合、LXにおける微調整された動き情報を記憶してもよい。
a. TPMにおける1つ以上の分割は、イントラ予測と組み合わされ得ることが提案される。例えば、TPM予測とイントラ予測とを重み付け加算することで、最終的な予測が得られる。
f. TPMに使用される1つ以上の参照ピクチャは、現在のピクチャであることが提案される。
4. 1つの分割内の各サブブロックにそれ自体の動き情報を割り当てることができるTPM符号化ブロックのために、サブブロックに基づく技術を有効にできるようにすることが提案される。
a. 一例において、サブブロックに基づくマージ候補は、TPM符号化ブロックのリストに追加してもよい。
b. 一例において、1つのブロックがTPMで符号化されている場合であっても、アフィンモードを有効にしてもよい。
c. 代替的に、重み付け領域に位置するサブブロックを除くすべてのサブブロックに対して、単一予測を利用することが制限される。
d. 代替的に、1つの分割内の異なるサブブロックのすべての参照ピクチャが同じであることが制限される。
e. 1つのATMVP候補から1つまたは複数のTPM候補を導出することができ、例えば、1つの分割内の各サブブロックは、ATMVP候補のList0動き情報の動き情報を継承することができる。
f. サブブロックTPM符号化ブロックのマージリストは、サブブロックマージ候補リスト構築処理で使用されたのと同じ空間的ブロックおよび/または時間的ブロックをチェックしてもよい。
5. 一般化された双予測が有効である場合、双予測正規の動き候補は、2つの重み係数にさらに関連付けられる。しかしながら、このような双予測の正規の動き候補を使用してTPM候補を導出する場合、重み係数を継承しないことが提案されている。
a. 一例において、1つのTPM候補は、任意の重み係数に関連付けられない。そのため、非重み付け領域に位置するサンプルの予測値を導出する場合、動き補償結果をそのまま使用する。重み付け領域に位置するサンプルについて、選択された重み係数群を利用する。
b. 代替的に、重み係数を継承する。代替的に、重み付け領域に位置するサンプルの最終予測値を生成する時に、対応する領域のTPM候補から導出された予測値に、継承された重み係数の1つを適用してもよい。
6. 1つのTPM符号化ブロックの重み付け領域に位置しないサンプルに対して、双予測を有効にすることが提案される。
a. 一例において、2つの参照ピクチャは同じであることが必要である。
b. 一例において、各分割に対して、1つの参照ピクチャを割り当てることができる(例えば、現在の設計に従い、2つの分割に対して同じであってもよいし、異なってもよい)。一方、第3参照ピクチャおよび動きベクトルをさらに割り当ててもよい。
7. TPM符号化ブロックに多重仮説を適用することができることが提案される。
a. 一例において、現在の設計を使用する1つの第1の最終予測ブロックをまず生成することができる。別の参照ピクチャおよび動きベクトルに基づいて、単一予測を使用して第2の予測ブロックも生成される。そして、第1の最終予測ブロックと第2の予測ブロックとから、1つのブロックの最終予測ブロックを導出する。
b. 代替的に、まず、現在の設計を用いた1つの第1の最終予測ブロックを生成してもよい。2つの追加の参照ピクチャおよび動きベクトルに基づいて、双予測を使用して第2の予測ブロックも生成される。そして、第1の最終予測ブロックと第2の予測ブロックとから、1つのブロックの最終予測ブロックを導出する。
c. 代替的に、各分割に対して、まず双予測または多重仮説予測を適用する。そして、重み付け領域に対して、双/多重仮説予測による予測ブロックの重み付け結果を最終予測値として使用する。
8. 1つのブロックに対してTPMが有効にされるとき、OBMCは無効にされてもよい。
a. 代替的に、OBMCは、重み付け領域に位置するサンプルについては無効にされるが、非重み付け領域に位置するサンプルについては有効にされてもよい。
9. 1つのブロックを2つより多い非正方形/非三角形の分割に分割することができる。
a. 1つのブロックを4つの非正方形/非三角形の分割に分割することができる。一例において、一例を図29に示す。
b. 2つよりも多い非正方形/非三角形の分割がある場合、それらのうちの2つのみをインター符号化できるように制限される。
c. 2つの近傍の分割のエッジ付近に位置するサンプルに対して、ブレンド(例えば、2つの予測ブロックの重み付け平均)を適用することができる。
図29は、1つのブロック内の複数のジオメトリ分割の例を示す。
TPMが必要とするサイド情報の信号通知
10. 分割パターン、2つのマージインデックス、および符号化値(例えば、_TriangleCombination)の間のマッピングは、シーケンスからシーケンスへ、ピクチャ間、タイル間、スライス間、CTU間、ブロック間で適応的に変更されてもよい。
a. 一例において、マッピングは、構築されたマージ候補リストに依存してもよい。
b. 一例において、このマッピングは、マージ候補に関連付けられた符号化モードに依存してもよい。
11. TPM使用の表示フラグは、マージフラグの前に符号化されてもよい。すなわち、TPMはまた、非マージモードのために有効にされてもよい。
a. 代替的に、ブロックがTPM符号化されている場合、マージフラグを通知しなくてもよい。
b. 代替的に、ブロックがインター符号化されている場合(例えば、ブロックがAMVPモードであるかまたはマージモードであるかを示すため)、マージフラグをさらに通知してもよい。
c. TPMは、非スキップモードに対してのみ許可されてもよい。
12. 1つのブロックがAMVPモードで符号化されている場合、TPM使用の表示フラグを符号化してもよい。
a. 代替的に、1つのブロックがマージモードで符号化されている場合、TPMフラグを通知しなくてもよい。
b. 代替的に、TPM使用フラグは、空間的または時間的に近傍のまたは非隣接ブロックから継承されてもよい。
13. 分割パターンは、空間的に近傍のブロックから継承されてもよい。
a. 代替的に、分割パターンは、時間的ブロックから継承されてもよい。
b. 一例において、分割パターンは、動き情報とともに記憶される。1つの正規の動き候補から導出された各TPM候補について、該正規の動き候補に関連付けられた分割パターンも継承される。
i. この場合、TPM符号化ブロックは、近傍のTPM符号化ブロックから動き情報(または符号化モード)および分割パターンの両方を継承してもよい。
14. ジオメトリ分割に使用される分割パターンおよびマージインデックスは、別個に信号通知されてもよいことが提案される。
a. 一例において、1つのビットフラグは、TPM分割パターンを示すように別個に符号化されてもよい。
i. ビットを符号化するコンテキストを導出するために、近傍のブロックのTPM分割パターンを使用できる。
b. 一例において、各分割のための複数のマージインデックスは、別個に符号化されてもよい。
i. 代替的に、異なる分割のマージインデックス間の予測を利用してもよい。
c. 一例において、マージインデックスの符号化は、分割パターンのための符号化された1ビットフラグに依存してもよい。
d. 代替的に、マージインデックスは、まず符号化され(結合してまたは別個に)、分割パターンのための1つのビットフラグは、マージインデックスに基づいて符号化されてもよい。
15. TPM使用の表示フラグに対してバイパス符号化を使用することが提案される。
a. 代替的に、このフラグは依然としてコンテキストで符号化されるが、このコンテキストはブロックの幅/高さに依存する。
b. 代替的に、このフラグは依然としてコンテキストで符号化されるが、コンテキストは符号化された深さ(例えば、4分木の深さ、2分木の深さ、および/または3分木の深さ)に依存する。
c. 代替的に、このフラグは依然としてコンテキストで符号化されるが、このコンテキストは、ブロックの幅/高さ、例えばブロックの形状(例えば、正方形または非正方形)および/またはブロックの幅と高さの比(例えば、1に等しい、1/4に等しい、または4に等しい、1/2または2に等しい)などに依存する。
d. 代替的に、このフラグは依然としてコンテキストで符号化されるが、このコンテキストは、1つのブロック内の左上位置の隣にあるとは限らない近傍のブロックの符号化された情報に依存する。ブロックの幅および高さをそれぞれWおよびHで表し、(0,0)は、現在のブロックにおける左上のサンプルの座標である。
i. 一例において、上側近傍のブロックは、(W/2、-1)、(W/2-1、-1)、(W-1、-1)として定義されてもよい。
ii. 一例において、左側近傍のブロックは、(-1,H/2),(-1,H/2-1),(-1,H-1)として定義してもよい。
iii. コンテキスト選択において使用され得る、上側および左側近傍のブロックのいくつかの組み合わせが、図30に示される。
iv. 一例において、上側近傍のブロックのみを選択してもよい。代替的に、このような場合は、ブロックの幅と高さの比が閾値よりも大きい(例えば、1または2)場合に有効になる。
v. 一例において、左側近傍のブロックのみを選択してもよい。代替的に、このような場合は、ブロックの高さと幅との比が閾値よりも大きい(例えば、1または2)場合に有効になる。
図30は、TPMフラグのコンテキスト選択に使用される近傍のブロックの例を示す。左上の例(a)は、(W/2、-1)、(-1、H/2)である。右上の例(b)は、(W/2-1,-1)、(-1,H/2-1)である。左下の例(c)は、(0,-1)、(-1,H/2-1)である。右下の例(d)は、(W-1,-1)、(-1,H/2-1)である。
16. TPMリストにおける2つの候補インデックス(例えば、a0、a1、b0、b1)を一緒に符号化する(またはさらに他の情報と結合する)場合、コード名は、ブロック間、CTU間、タイル間、ピクチャ間、シーケンス間で適応的に変更されてもよい。
a. 一例において、2つのインデックスに関連付けられた2つのTPM候補が同じ正規の動き候補からのものであるかどうかに基づいて、コード名を割り当ててもよい。
i. 一例において、以下が発生する場合、コード名C(a0,a1)は、C(b0,b1)よりも小さくてもよい。
1. a0に等しいインデックスを有するTPM候補およびa1に等しいインデックスを有するTPM候補は、異なる正規の動き候補から導出され、b0に等しいインデックスを有するTPM候補およびb1に等しいインデックスを有するTPM候補は、同じ正規の動き候補から導出される。
b. 一例において、2つのインデックスに関連付けられた2つのTPM候補が、同じ予測方向(または参照ピクチャリスト)からのものであるかどうかに基づいて、コード名を割り当ててもよい。
i. 一例において、以下が発生する場合、コード名C(a0,a1)は、C(b0,b1)よりも小さくてもよい。
1. a0に等しいインデックスを有するTPM候補およびa1に等しいインデックスを有するTPM候補は、2つの予測方向からのものであり、b0に等しいインデックスを有するTPM候補およびb1に等しいインデックスを有するTPM候補は、同じ予測方向からのものである。
17. TPMにおいて分割された2つの分割は、異なるモードで符号化されてもよい。
a. 一例において、一方はイントラ符号化され、他方はインター符号化される。
b. 別の例において、1つはマージ符号化され、他方はAMVP符号化される。
TPMの有効化
18. TPM使用フラグが信号通知されない色成分の場合、TPMを自動的に無効にすることができる。
a. 一例において、クロマブロックの場合、幅または高さのいずれかが閾値(例えば、2)以下であるかどうかを判断する。
19. TPMは、サイズがN×MまたはL×Nに等しい(例えば、Nが4に等しい)ブロックに対して無効にされてもよい。
a. 一例において、MおよびNは8,16に設定される。
b. 代替的に、カラーフォーマットが4:2:0である場合、無効にされる。
c. 一例において、幅または高さのいずれか一方または幅および高さの両方を有するブロックが閾値Lよりも大きい(または等しい)場合、TPMは無効にされてもよい。
vi. 一例において、Lは64である。
d. 一例において、幅または高さのいずれか一方または両方または幅および高さの両方を有するブロックが、閾値Lよりも小さい(または等しい)場合、上記方法は無効にされてもよい。
vii. 一例において、Lは4または8である。
e. 一例において、それは、幅/高さまたは高さ/幅が閾値Lよりも大きい、例えば、Lが16である場合、無効にされる。
f. 閾値Lは、予め規定されてもよく、またはSPS/PPS/ピクチャ/スライス/タイルグループ/タイルレベルで信号通知されてもよい。
g. 代替的に、閾値は、ブロックサイズ、ピクチャタイプ、時間層インデックス等の特定の符号化された情報に依存してもよい。
20. 1つのブロックに対して異なる色成分に対してTPMを有効および無効にすることができる。
a. 一例において、輝度ブロックのサイズがN×MまたはL×Nに等しい(例えば、Nが4に等しい)場合、TPMは、この輝度ブロックのために有効にされてもよいが、しかしながら、クロマブロックのために無効にされてもよく、例えば、4:2:0のカラーフォーマットのために有効にされてもよい。
b. 一例において、1つの色成分に対して無効にされた場合、1つの分割、例えば第1の分割の動き情報または予測モードに基づいて、関連する予測ブロックを導出することができる。
c. 一例において、1つの色成分に対して無効にされた場合、2つの分割の動き情報に基づいて、関連する予測ブロックを直接導出することができる。
viii. 一例において、2つの分割の動き情報は、双予測動きベクトルに形成されてもよく、例えば、第1の分割の場合、Mv1、第2の分割の場合、Mv2は、異なる方向からの動きベクトルを有する。
ix. 一例において、2つの分割の動き情報は、1つの単一予測動きベクトルに形成されてもよく、例えば、第1の分割のMv1および第2の分割のMv2は、同じ方向からの動きベクトルを有し、また、分割Aの一方の動きベクトルを分割Bの他方の参照ピクチャに対してスケーリングし、分割Bの動きベクトルと分割AのスケーリングされたMVの平均値を使用してもよい。
x. 一例において、2つの分割の動き情報を1つの双予測動きベクトルに形成することができ、例えば、第1の分割のためのMv1および第2の分割のためのMv2は、同じ方向からの動きベクトルを有し、分割Aの1つの動きベクトルを別の参照ピクチャに別の方向にスケーリングすることができ、分割Bの動きベクトルおよび分割AのスケーリングされたMVを使用してもよい。
xi. 上記例において、動き情報は、色フォーマットに基づいてさらにスケーリングされてもよい。
21. 上述した方法の場合、それらを有効にするかおよび/またはどのように有効にするかは、SPS/PPS/VPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/CTU行/CTU領域群において信号通知されてもよい。
a. 一例において、幅または高さのいずれか一方または幅および高さの両方を有するブロックが、閾値Lまたは幅*高さよりも大きい(または等しい)場合、上記方法は無効にされてもよい。
i. 一例において、Lは、64、4096である。
b. 一例において、幅若しくは高さのいずれか、または幅と高さの両方、または幅*高さの両方を有するブロックが、閾値Lよりも小さい(または等しい)場合、上記方法は無効にされてもよい。
i. 一例において、Lは、4または8、64である。
c. 閾値Lは、予め規定されてもよく、またはSPS/PPS/ピクチャ/スライス/タイルグループ/タイルレベルで信号通知されてもよい。
d. 代替的に、閾値は、ブロックサイズ、ピクチャタイプ、時間層インデックス等の特定の符号化された情報に依存してもよい。
e. 一例において、TPMを適用するかどうかは、ブロックの幅/高さ、例えば形状(例えば正方形であるかまたは非正方形である)および/またはブロックの幅と高さとの間の比率(例えば1、1/4または4、1/2または2)に依存する。
f. TPMをスキップ/マージモードとは異なるモードとして扱うことが提案される。従って、1つのブロックに対してTPMが有効にされるとき、関連するマージフラグは偽であると信号通知される。
22. TPMをスキップ/マージモードとは異なるモードとして扱うことが提案される。従って、1つのブロックに対してTPMが有効にされるとき、関連するマージフラグは偽であると信号通知される。
23. また、スキップ/マージモードとは異なるモードとして、MHIntraが提案されている。そのため、1つのブロックに対してMHIntraが有効になっている場合、対応するマージフラグが偽であることが信号通知される。
24. スキップ/マージモードとは異なるモードとして、リストをサブブロックマージすることが提案される。従って、1つのブロックに対してサブブロックマージリストが有効にされるとき、関連するマージフラグは偽であると信号通知される。
25. 黒丸(bullet)22~24の方法において、1つのブロックをマージ/スキップモードに復号化するとき、TPM/MHIntra/サブブロックマージリストの表示の信号通知をスキップし、偽であると推測する。
26. TPM/MHIntra/サブブロックマージリスト/MMVDの使用の表示の符号化順序は、以下のようとすることが提案される。
a. MMVD、サブブロックマージリスト、TPM、MHIntra
b. MMVD、サブブロックマージリスト、MHIntra、TPM
c. その他の順序
27. TPM/MHIntra/サブブロックマージリストt/MMVDの使用の表示の符号化順序は、1つの映像ユニットから別の映像ユニットへと異なってもよく、例えば、ブロック/CU/PU/CTU/LCUの行/領域/スライス/ピクチャ/シーケンスでもよい。
a. 一例において、この順番は、低遅延チェックフラグに依存してもよい。
b. 一例において、この順序は、前述の符号化された情報に依存してもよい。
c. 一例において、この順番は、1つのブロックの次元に依存してもよい。
28. ラインバッファのサイズを節約するために、現在のブロックのAMVR情報を符号化するために、近傍のブロックのAMVR情報(即ち、MV精度)を使用する場合、近傍のブロックが異なるLCU行に位置する場合、この近傍のブロックには利用不可能とマークが付けられる。
a. 一例において、関連するAMVR情報は、デフォルト値、即ち、1/4画素に設定される。
b. 代替的に、近傍のブロックは、異なるスライス/タイルに位置するブロックとして扱われる。
c. 一例において、近傍のブロックが異なる領域に位置する場合(例えば、一般的には64×64に設定される映像処理データユニット)、このようなブロックは、上述したのと同様に処理される。
29. ラインバッファのサイズを節約するために、現在のアフィン符号化ブロックのAMVR情報を符号化するために、隣接するアフィン符号化ブロックのAMVR情報(即ち、MV精度)を使用する場合、近傍のブロックが異なるLCU行に位置する場合、この隣接するアフィン符号化ブロックには、使用不可能とマークが付けられる。
a. 一例において、関連するAMVR情報は、デフォルト値、即ち、1/4画素に設定される。
b. 代替的に、近傍のアフィン符号化ブロックを、異なるスライス/タイルに位置するブロックとして扱う。
c. 一例において、近傍のアフィン符号化されたアフィン符号化ブロックが異なる領域(例えば、一般的には64×64に設定される映像処理データユニット)に位置する場合、このようなブロックは、上述したものと同様に扱われる。
30. また、近傍のブロックが異なるLCU行にある場合、コンテキストモデリングのために近傍のブロックの情報を利用することを使用不可にすることが提案される。代替的に、1つのコンテキストのみが、以下に記載される構文要素を符号化するために使用される。代替的に、バイパス符号化は、以下に述べる構文要素を符号化するために適用される。
a. 情報はalf_ctb_flagを含む。
b. 情報はqt_split_cu_flagを含む。
c. 情報はmtt_split_cu_flagを含む。
d. 情報はmtt_split_cu_flagを含む。
e. 情報はcu_skip_flagを含む。
f. 情報はamvr_modeを含む。
g. 情報はmerge_subblock_flagを含む。
h. 情報はmerge_triangle_flagを含む。
i. 情報はinter_afine_flagを含む。
j. 情報はu_skip_flag,pred_mode_flag,pcm_flag,intra_luma_ref_idx,intra_luma_mpm_flag,intra_luma_mpm_idx,intra_luma_mpm_remainder,intra_chroma_pred_mode,merge_flag,inter_pred_idc,inter_affine_flag,cu_affine_type_flag,ref_idx_l0,mvp_l0_flag,ref_idx_l1 mvp_l1_flag,amvr_flag,amvr_4pel_flag,gbi_idx,cu_cbf,mmvd_flag,mmvd_merge_flag,などを含む。
CABACコンテキストモデリングの簡単化
31. コンテキストモデリングにおいて使用される近傍の情報は、現在のブロックを復号化するために使用されるブロックのみからのものであってもよいと提案される。
a. 一例において、cu_skip_flagのために、図25においてA3およびB3で示される2つの近傍のブロックの情報を使用する代わりに、図42における2つの他のブロック(例えば、A1およびB1)を利用してもよい。
b. 代替的に、近傍のブロックが現在のCTU/CTUの行/領域/映像データ処理ユニットまたはスライス/タイル/タイルグループ/ピクチャ境界等の他の映像ユニットの外側にある場合、このような近傍のブロックからの近傍の情報は、構文解析処理での使用が許可されない。
c. 代替的に、近傍のブロックが現在のCTU/CTUの行/領域/映像データ処理ユニットまたは他の映像ユニット、例えばスライス/タイル/タイルグループ/ピクチャ境界の外側にある場合、このような近傍のブロックからの近傍の情報を利用不可能として構文解析処理で利用することができる。
d. 代替的に、近傍のブロックが現在のCTU/CTUの行/領域/映像データ処理ユニットまたは他の映像ユニット、例えば、スライス/タイル/タイルグループ/ピクチャ境界の外側にある場合、このような近傍のブロックからの近傍の情報をデフォルト値に設定し、構文解析処理において利用してもよい。
e. 代替的に、近傍のブロックが現在のCTU/CTUの行/領域/映像データ処理ユニットまたは他の映像ユニット、例えばスライス/タイル/タイルグループ/ピクチャ境界の外側にある場合、現在のCTU/CTUの行/領域/映像データ処理ユニットにある他の1つ以上の近傍のブロック、または他の映像ユニット、例えばスライス/タイル/タイルグループ/ピクチャ境界からの近傍の情報を構文解析処理において代替として利用してもよい。
32. コンテキストモデリングにおいて使用される近傍の情報(例えば、近傍のブロックの構文要素(略して、近傍の要素))は、近傍のブロックの符号化された情報に依存するすべての構文要素のために、ある予め定義された近傍位置からのものであってもよい。一例において、このような近傍の位置は、1つのブロックの再構成処理中にアクセスされてもよい。
a. 一例において、図2のA1およびB1に由来する近傍の要素は、全ての構文要素のコンテキストモデリングに使用される。
b. 一例において、図2のA0およびB0からの近傍の要素は、すべての構文要素のコンテキストモデリングに使用される。
c. 一例において、図2のA1およびB2に由来する近傍の要素は、全ての構文要素のコンテキストモデリングに使用される。
d. 一例において、図2のA0およびB1に由来する近傍の要素は、全ての構文要素のコンテキストモデリングに使用される。
e. 一例において、図2のA0およびB2に由来する近傍の要素は、すべての構文要素のコンテキストモデリングに使用される。
f. 一例において、図2のA0およびA1に由来する近傍の要素は、全ての構文要素のコンテキストモデリングに使用される。
g. 一例において、図2のA1およびB0からの近傍の要素は、すべての構文要素のコンテキストモデリングに使用される。
h. 一例において、図2のB0およびB1に由来する近傍の要素は、全ての構文要素のコンテキストモデリングに使用される。
i. 一例において、図2のB0およびB2に由来する近傍の要素は、全ての構文要素のコンテキストモデリングに使用される。
j. 一例において、図2のB1およびB2に由来する近傍の要素は、全ての構文要素のコンテキストモデリングに使用される。
k. 一例において、1つの近傍の要素のみが、すべての構文要素のためのコンテキストモデリングにおいて使用される。
33. 現在のCTU行またはCTUと異なるCTU行またはCTUにおける近傍のブロックからの近傍の要素は、コンテキストモデリングにおいて使用されなくてもよいことが提案される。
a. 代替的に、現在のCTU行またはCTUとは異なるCTU行またはCTUにおける近傍のブロックからの近傍の要素は、コンテキストモデリングにおいて使用されなくてもよい。
b. 一例において、近傍の要素が、CTU行またはCTUにおける現在のCTU行またはCTUと異なる近傍のブロックからのものである場合、該隣接要素は、利用不可能であると見なされる。
c. 一例において、近傍の要素が、現在のCTU行またはCTUとは異なるCTU行またはCTUにおける近傍のブロックからのものである場合、デフォルト値が使用される。
d. 一例において、近傍の要素が、現在のCTU行またはCTUとは異なるCTU行またはCTU内の近傍のブロックに由来するものである場合、別の隣接する素子が、現在のCTU行またはCTUとは異なるCTU行またはCTU内の別の近傍のブロックに由来するものであるとして、近傍の要素トを置き換えるべきである。
e. 一例において、近傍の要素が、現在のCTUの行またはCTUとは異なるCTUの行またはCTUにおける近傍のブロックからのものである場合、同じCTUの行またはCTU内にあるN(N>0)の代替の近傍の要素を、1つの利用可能な近傍の要素が見つかるまで、またはN個の近傍の要素すべてが利用不可能となるまで、順にさらにチェックしてもよい。例えば、Nは、1、2、3、または4に等しくてもよい。
34. 提案された方法は、alf_ctb_flag,qt_split_cu_flag,mtt_split_cu_flag,cu_skip_flag,amvr_mode,inter_affine_flag,merge_triangle_flag and merge_subblock_flag,cu_skip_flag,pred_mode_flag,pcm_flag,intra_luma_ref_idx,intra_luma_mpm_flag,intra_luma_mpm_idx,intra_luma_mpm_remainder,intra_chroma_pred_mode,merge_flag,inter_pred_idc,inter_affine_flag,cu_affine_type_flag,ref_idx_l0,mvp_l0_flag,ref_idx_l1 mvp_l1_flag,amvr_flag,amvr_4pel_flag,gbi_idx,cu_cbf,mmvd_flag,mmvd_merge_flag,pred_mode_flag等のような一部の構文要素にのみ適用されてもよい。
a. 一例において、pred_mode_flagのコンテキストモデリングは、以下の方法から導出される。
Figure 0007157246000026
b. 代替的に、pred_mode_flagのコンテキストモデリングは、A1および/またはB1の代わりに、他の近傍のブロック、例えば図25のA2/B3またはA0/B0から導出されてもよい。
c. 上記のsyntax pred_mode_flagは、その他の構文要素に置き換えられてもよい。
d. 一例において、1つの近傍のブロックが利用不可能である場合、コンテキストを導出するとき、近傍のブロックはインター符号化されたものとして扱われる。
e. 一例において、1つの近傍のブロックが利用不可能である場合、コンテキストを導出するとき、それはイントラ符号化されたものとして扱われる。
f. 一例において、1つの近傍のブロックが利用不可能である場合、コンテキストを導出するとき、近傍のブロックはインターイントラ符号化されたものとして扱われる。
g. 一例において、1つの近傍のブロックが現在のブロックと同じCTU行にない場合、コンテキストを導出するとき、それはインター符号化されたものとして扱われる。
h. 一例において、1つの近傍のブロックが現在のブロックと同じCTU行にない場合、コンテキストを導出するとき、それはイントラ符号化されたものとして扱われる。
i. 一例において、1つの近傍のブロックが現在のブロックと同じCTU行にない場合、コンテキストを導出するとき、それをインターイントラ符号化(結合されたイントラインター予測モードとしても知られる)として扱われる。
5. 追加の実施形態の例
5.1 実施形態#1
マージモードとは異なるモードとしてTPMを信号通知する例を以下に示す。新しく追加された部品は太字のイタリック体で強調表示され、削除された部品には大文字で印す。
7.3.4.6 符号化ユニット構文
Figure 0007157246000027
Figure 0007157246000028
Figure 0007157246000029
Figure 0007157246000030
7.3.4.8 データ構文のマージ
Figure 0007157246000031
Figure 0007157246000032
5.2 実施形態#2
本実施形態において、コンテキストモデリングのためにラインバッファのサイズを小さくする。この変化は、太字の斜体で以下のように強調されている。
9.5.4.2.2 左上の構文要素を使用したctxInc の導出処理
この処理の入力は、現在のピクチャの左上のサンプルに対する現在の輝度ブロックの左上の輝度サンプル、色成分cIdx、現在の符号化4分木の深さcqDepth、並びに輝度サンプルcbWidthおよびcbHeighにおける現在の符号化ブロックの幅および高さを指定する輝度位置(x0,y0)である。
この処理の出力はctxInc.である。
位置(xNbL,yNbL)は(x0-1,y0)に等しく設定され、現在のブロックのすぐ左側に位置する符号化ブロックの可用性を指定する変数availableLは、位置(xCurr,yCurr)を(x0,y0)と等しく設定し、近傍位置(xNbY,yNbY)を(xNbL,yNbL)と等しく設定したものを入力として、副章6.4で規定されているzスキャン順のブロックの可用性導出処理を呼び出すことで導出され、出力はavailableLに割り当てる。
位置(xNbA,yNbA)は(x0,y0-1)に等しく設定され、現在のブロックの直上に位置する符号化ブロックの可用性を指定する変数availableAは、位置(xCurr,yCurr)を(x0,y0)と等しく設定し、近傍位置(xNbY,yNbY)を(xNbA,yNbA)と等しく設定したものを入力として、副章6.4で規定されているzスキャン順のブロックの可用性導出処理を呼び出すことで導出され、出力はavailableAに割り当てる。
(x0,y0-1)が(x0,y0)と比較して異なるLCU行にある場合、availableAは偽にリセットされる。
変数sizeC、sizeTh2、sizeTh1は、以下のように導出される。
sizeTh2=(MaxBtSizeY==128)?1024:((MaxBtSizeY==64)?512:256) (9-19)
sizeTh1=(MaxBtSizeY==128)?128:64 (9-20)
sizeC=cbWidth*cbHeight (9-21)
ctxIncの割り当ては、表19で規定された構文要素alf_ctb_flag[x0][y0][cIdx]、qt_split_cu_flag[x0][y0],mtt_split_cu_flag[x0][y0],cu_skip_flag[x0][y0],amvr_mode[x0][y0],inter_affine_flag[x0][y0],merge_triangle_flag[x0][y0]およびmerge_subblock_flag[x0][y0]に対するcondL,condAで、以下のように指定される。
ctxInc=(condL && availableL)+(condA && availableA)+ctxSetIdx*3(9-22)
Figure 0007157246000033
図31は、映像処理装置3100のブロック図である。装置3100は、本明細書で説明される方法の1つ以上を実装するために使用してもよい。装置3100は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよい。装置3100は、1つ以上の処理装置3102と、1つ以上のメモリ3104と、映像処理ハードウェア3106と、を含んでもよい。1つ以上の処理装置3102は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)3104は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア3106は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
図33は、映像を処理する方法3300のフローチャートである。方法3300は、第1の映像ブロックが、非長方形且つ非正方形の第1の予測部分を含むように分割されるように判定を行うこと(3305)と、第1の映像ブロックに関連付けられた動き候補リストに第1の予測部分に関連付けられた第1の動きベクトル(MV)予測候補を加えること(3310)であって、第1のMV予測候補が、サブブロックに基づく動き候補から導出される、加えることと、動き候補リストを使用して第1の映像ブロックの更なる処理を行う(3315)ことと、を含む。
図34は、映像を処理する方法3400のフローチャートである。方法3400は、第1の分割パターンに基づく予測部分を含むように第1の映像ブロックを分割すること(3405)であって、予測部分は第1のマージインデックスと第1の符号化値に関連付けられている、分割することと、第2の分割パターンに基づいて、予測部分を含むように第2の映像ブロックを分割すること(3410)であって、第2の映像ブロックの予測部分は、第2のマージインデックスおよび第2の符号化値に関連付けられ、第1の符号化値が前記第2の符号化値と等しく、前記第2の分割パターン、または第2の映像ブロックの第2のマージインデックスの1つ以上が第1の映像ブロックとは異なるシーケンス、ピクチャ、タイル、スライス、符号化ツリーユニット(CTU)、またはブロック内にある第2の映像ブロックに基づいた第1の映像ブロックとは異なるものである、分割することと、第1の映像ブロックおよび第2の映像ブロックの処理をさらに行うこと(3415)と、を含む。
図35は、映像を処理する方法3500のフローチャートである。この方法3500は、映像処理方法は、第1の映像ブロックの特徴を識別すること(3505)と、この特徴に基づいて、第1の映像ブロックに適用されるべき幾何学的予測モードの状態を判定すること(3510)であって、幾何学的予測モードの状態は、第1の映像ブロックに幾何学的予測モードを適用することを有効にする状態と、第1の映像ブロックに幾何学的予測モードを適用することを無効にする状態のうちの一方である、判定することと、第1の映像ブロックに対して、幾何学的予測モードの状態に整合的に第1の映像ブロックのさらなる処理を行うこと(3515)と、を含む。
図36は、映像を処理する方法3600のフローチャートである。方法3600は、第1の映像ブロックは、第1の予測部分と第2の予測部分を含むように分割されていることの判定を行う(3605)ことであって、第1の予測部分および第2の予測部分は、非長方形且つ非正方形である、判定を行うことと、第1の予測部分に関連付けられた第1のMV予測候補と、第2の予測部分に関連付けられた第2のMV予測候補を第1の映像ブロックに関連付けられた動き候補リストに加えること(3610)であって、第1のMV予測候補と第2のMV予測候補は、前述の符号化されたブロックに関連付けられた1つのMV予測候補から導出されている、加えることと、動き候補リストを使用して第1の映像ブロックの処理をさらに行うこと(3615)と、を含む。
図37は、映像を処理する方法3700のフローチャートである。方法3700は、処理装置によって、第1の映像ブロックが、非長方形且つ非正方形の第1の予測部分を含むように分割される判定を行うことと、第1の映像ブロックに関連付けられた動き候補リストに、第1の予測部分に関連付けられた第1の動きベクトル(MV)予測候補を加えることと、第1のMV予測候補を修正して、第1の映像ブロックに対する最終予測ブロックを導出するために使用するMV候補を修正することと、最終予測ブロックを使用して第1の映像ブロックに対してさらなる処理を行うことと、を含む。
図38は、映像を処理する方法3800のフローチャートである。方法3800は、非長方形且つ非正方形の第1の予測部分を含むように第1の映像ブロックを分割していることの判定を行うこと(3805)と、第1の映像ブロックに関連付けられた動き候補リストに、第1の予測部分に関連付けられた第1の動きベクトル(MV)予測候補を加えること(3810)であって、第1のMV予測候補が、重み係数を有する双予測MV予測候補から導出される、加えることと、重み係数を用いずに、動き候補リストを使用して、第1の映像ブロックの処理をさらに行うこと(3815)とを含む。
図39は、映像を処理する方法3900のフローチャートである。方法3900は、第1の映像ブロックが、非長方形且つ非正方形の第1の予測部分を含むように分割され、第1の映像ブロックがTMPおよび多重仮説と整合的に符号化されているとの判定を行う(3905)ことと、第1の映像ブロックに関連付けられた動き候補リストに、第1の予測部分に関連付けられた第1の動きベクトル(MV)予測候補を加えること(3910)と、動き候補リストを使用して第1の映像ブロックの処理をさらに行うこと(3915)と、を含む。
図40は、映像を処理する方法4000のフローチャートである。方法4000は、第1の映像ブロックが、非長方形且つ非正方形の第1の予測部分を含むように分割され、重複ブロック動き補償(OBMC)が適用されないとの判定を行うこと(4005)と、第1の予測部分を使用して第1の映像ブロックのさらなる処理を行うこと(4010)と、を含む。
図41は、映像を処理する方法4100のフローチャートである。方法4100は、第1の映像ブロックは、2つ以上の予測部分を含むように分割されていることの判定を行うこと(4105)であって、第1の映像ブロックが第1の予測部分、第2の予測部分、第3の予測部分、および第4の予測部分に分割されていることを判定することを含み、各予測部分は非長方形且つ非正方形である、判定を行うことと、第1の予測部分、第2の予測部分、第3の予測部分、および第4の予測部分を使用して、第1の映像ブロックに対してさらなる処理を行うこと(4110)と、を含む。
方法3300、3400、3500、3600、3700、3800、3900、4000、および4100を参照すると、符号化の候補を判定することおよびその使用のいくつかの例が、本明細書の第4章に記載されている。例えば、第4章で説明したように、非正方形かつ非長方形の予測部分を使用して映像ブロックを処理することができる。
方法3300、3400、3500、3600、3700、3800、3900、4000および4100を参照すると、1つの映像ブロックは、ビット効率は、動き情報予測に関連したビットストリーム生成規則を使用することで達成されてもよい、映像ビットストリームにおいて符号化されてもよい。
この方法は、第1のMV予測候補が代替の時間的動きベクトル予測(ATMVP)候補から導出されることを含むことができる。
この方法は、第1のMV候補がアフィン候補から導出されることを含むことができる。
この方法は、動き候補リストに追加された第1のMV予測候補が、複数の動き情報のセットを含み、複数の動き情報のセットのうちの1つは、前述の符号化された映像ブロックに基づく正規の動き候補を示し、正規の動き候補は、第1のMV予測候補を導出するために使用されることを含むことができる。
この方法は、複数の動き情報のセットが、第1の映像ブロック内の第1の予測部分の位置に基づくことを含むことができる。
この方法は、第1の映像ブロックが、第1の予測部分を含むM個の予測部分を含むように分割され、複数の動き情報のセットの数がMであることを含むことができる。
この方法は、第1の映像ブロックが、非長方形且つ非正方形の第2の予測部分をも含むように分割されることと、動き候補リストを使用して第1の映像ブロックをさらに処理することは、第1のMV予測候補を使用して第1の予測部分および第2の予測部分をさらに処理することを含むことができる。
この方法は、第1の予測部分および第2の予測部分のための分割パターンの表示の範囲がM*N*Nであることと、Mは、第1の映像ブロックが分割される予測部分の数であることと、Nは、動き候補リストに追加できるマージ候補の数であることとを含むことができる。
この方法は、処理装置によって、フラグが、動き候補リストにおける1つのMV予測候補を、第1の予測部分および第2の予測部分に使用することを示していることを判定することを含むことができる。
この方法は、本明細書では、動き候補リストにおける各MV予測候補が、第1の予測部分に基づいて双予測された動き候補であり、第2の予測部分が別個のMV予測候補に基づいていることを含むことができる。
この方法は、第1の映像ブロックが、非長方形且つ非正方形の第2の予測部分をも含むように分割されていることと、第1の予測部分にList0の動き情報が割り当てられ、第2の予測部分にList1の動き情報が割り当てられることと、を含むことができる。
この方法は、重み係数群は、異なるMV予測候補からのを予測された第1の予測部分と第2の予測部分に基づいた重み付け領域に位置するサンプルごとに異なることを含むことができる。
この方法は、高度動きベクトル予測(AMVP)または、三角形分割モード(TMP)に加えた追加の符号化モードとして適用されることを含むことができる。
この方法は、第1の映像ブロックのための最終予測ブロックを導出するために使用されるMV候補を微調整するように、動き候補リストを修正することを含むことができる。
この方法は、デコーダ側動きベクトル微調整(DMVR)に、第1の予測分割の動き情報および第2の予測分割の動き情報を適用して第1の映像ブロックの動き情報を導出することを含むことができる。
この方法は、TPMの後に双方向オプティカルフロー(BIO)を適用することを含むことができる。
この方法は、微調整された動き情報を記憶することを含むことができる。
この方法は、第1の予測部分が三角形の形状であり、第1の予測部分がイントラ予測と組み合わされることを含むことができる。
この方法は、TPMに従って、第1の予測部分を分割し、TPMに使用される1つ以上の参照ピクチャが現在のピクチャであることを含むことができる。
この方法は、TPMに従って、第1の映像ブロックが第1の予測部分を含むように分割され、第1の予測部分には、第1の映像ブロックの第2の予測部分とは異なる動き情報が割り当てられることを含むことができる。
この方法は、動き候補リストがTPM符号化映像ブロックのマージ候補を含むことを含むことができる。
この方法は、TPMに従って、符号化されている第1の映像ブロックに基づいて、アフィンモードを有効にすることを含むことができる。
この方法は、第1の予測部分に対して単一予測を使用し、第1の予測部分が重み付け領域に位置しないことを含むことができる。
この方法は、第1の予測部分内の異なるサブブロックの参照ピクチャが同じであることを含むことができる。
この方法は、動き候補リストにおけるMV予測候補の各々をATMVP候補から導出することを含むことができる。
この方法は、マージ候補リスト構築処理で使用される空間的ブロックまたは時間的ブロックの一方または両方についてマージリストをチェックすることを含むことができる。
この方法は、双予測を有効にし、且つ双予測正規の動き候補に重み係数を関連付け、且つ重み係数を使用せずにTPM候補を導出することを含むことができる。
この方法は、双予測を有効にし、且つ双予測正規の動き候補に重み係数を関連付け、且つ重み係数を使用してTPM候補を導出することを含むことができる。
この方法は、第1の映像ブロックの重み付け領域に位置しないサンプルに対して、TPMに従って符号化された第1の映像ブロックを対象として、双予測を有効にすることを含むことができる。
この方法は、2つの参照ピクチャが同じであることを含むことができる。
この方法は、第1の映像ブロックの分割ごとに1つの参照ピクチャを割り当てることを含むことができる。
この方法は、第1の映像ブロックをTPMに従って符号化し、この第1の映像ブロックに多重仮説を適用することを含むことができる。
この方法は、現在の設計を使用して最終予測ブロックを生成し、一方向に従って、且つ最終予測ブロックとは異なる別の参照ピクチャおよび動きベクトルに基づいて、第2の予測ブロックを生成することを含むことができる。
この方法は、現在の設計を使用して最終予測ブロックを生成し、双方向に従って、且つ最終予測ブロックとは異なる別の参照ピクチャおよび動きベクトルに基づいて、第2の予測ブロックを生成することを含むことができる。
この方法は、第1の映像ブロックの分割ごとに、双予測または多重仮説予測を適用し、双予測または多重仮説がある場合に重み付け領域の予測ブロックの重み付け結果を最終予測値として使用することを含むことができる。
この方法は、第1の映像ブロックをTPMに従って符号化し、重複ブロック動き補償(OBMC)を適用しないことを含むことができる。
この方法は、重み付け領域に位置するサンプルに対してOBMCを適用せず、非重み付け領域に位置するサンプルに対してOBMCを適用することを含むことができる。
この方法は、第1の映像ブロックを分割することができ、また、非長方形且つ非正方形である第2の予測部分を含むことを含むことができる。
この方法は、第1の映像ブロックが、第3の予測部分および第4の予測部分をも含むように分割され、第3の予測部分および第4の予測部分は、非長方形で且つ非正方形であることを含むことができる。
この方法は、第1、第2、第3、または第4の予測部分のうちの2つがインター符号化され、他の2つがインター符号化されないことを含むことができる。
この方法は、第1の予測部分と第2の予測部分との間のエッジの付近に位置するサンプルにブレンドを適用することを含むことができる。
この方法は、構築されたマージ候補リストに基づいて、第1の分割パターン、第1のマージインデックス、および第1の符号化値に関連付けられたマッピングを行うことを含むことができる。
この方法は、第1の分割パターンと、第1のマージインデックスと、第1の符号化値と、に関連付けられたマッピングが、マージ候補に関連付けられた符号化モードに基づくことを含むことができる。
この方法は、マージフラグの前に符号化されたTPMの使用を示すフラグに基づいて、TPMが非マージモードに対して有効となるようにすることを含むことができる。
この方法は、TPMが、符号化されたTPMの使用を示すフラグに基づいて、非マージモードに対して有効にされ、TPMで符号化されていない第1の映像ブロックに基づいて、マージフラグが信号通知されないことを含むことができる。
この方法は、第1の映像ブロックがインター符号化されることに基づいて、マージフラグを信号通知することを含むことができる。
この方法は、第1の分割パターンを第1の映像ブロックの近傍のブロックから継承されることを含むことができる。
この方法は、第1の分割パターンが第1の映像ブロックの時間的ブロックから継承されることを含むことができる。
この方法は、第1の分割パターンと第1のマージインデックスとを別個に信号通知することを含むことができる。
この方法は、第1の分割パターンのためのTPMの使用を示すフラグが、バイパス符号化を使用することを含むことができる。
この方法は、第1の映像ブロックの幅または高さの一方または両方に基づくコンテキストでフラグを符号化することを含むことができる。
この方法は、フラグが、符号化された奥行きに基づくコンテキストで符号化されることを含むことができる。
この方法は、第1の映像ブロックのブロック形状または第1の映像ブロックの幅と高さの比に基づくコンテキストでフラグを符号化することを含むことができる。
この方法は、第1の映像ブロックの近傍のブロックの符号化された情報に基づくコンテキストでフラグを符号化することを含むことができる。
この方法は、第1の分割パターンがTPMに従って、第1の映像ブロックの分割が、第1の領域と第2の領域とを含み、第1の領域と第2の領域とが異なるモードで符号化されることを含むことができる。
この方法は、第1の領域または第2の領域の一方がイントラ符号化され、他方がインター符号化されることを含むことができる。
この方法は、第1の領域または第2の領域の一方がマージ符号化され、他方がAMVP符号化されることを含むことができる。
この方法は、第1の映像ブロックの特徴が色成分を含み、幾何学的予測モードの状態が無効状態であり、且つ幾何学的予測モードが無効状態にあることを示すフラグを使用せずに幾何学的予測モードが無効状態にあることを信号通知することを含むことができる。
この方法は、第1の映像ブロックの特徴が、閾値範囲未満の幅または高さを有するクロマブロックを含むことを含むことができる。
この方法は、特徴が、第1の映像ブロックのサイズがNxMまたはLxNであることを含むことができ、Nが4である。
この方法は、特徴が4:2:0のカラーフォーマットを含むことを含むことができる。
この方法は、特徴が、幅、高さ、または幅および高さの両方が閾値L以上である第1の映像ブロックを含むことを含むことができる。
この方法は、閾値Lが64であることを含むことができる。
この方法は、特徴が、幅、高さ、または幅および高さの両方が閾値L以下である第1の映像ブロックを含むことを含むことができる。
この方法は、閾値Lが4または8であることを含むことができる。
この方法は、閾値Lが、ブロックサイズ、ピクチャタイプ、または時間層インデックスのうちの1つ以上を含む符号化された情報に基づくことを含むことができる。
この方法は、特徴が第1の映像ブロックの色成分であることを含むことができる。
この方法は、映像パラメータセット(VPS)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、タイルグループヘッダ、スライスヘッダ、符号化ツリーユニット(CTU)の行群、領域、またはCTUの群において信号通知されることに基づいて、TPMを有効にする、または適用することを含むことができる。
この方法は、幾何学的予測モードがTPMであることを含むことができる。
この方法は、非長方形且つ非正方形の予測部分が三角形であることを含むことができる。
いくつかの実施形態において、映像処理方法は、スキップ/符号化のマージモードを第2の符号化モードとは別個に扱うことを規定する符号化規則に準拠して、映像ブロックと映像ブロックのビットストリーム表現との間で変換を行うことを含み、第2の符号化モードは、三角形分割モード、MHIntraモードまたはサブブロックマージリストモードである。
いくつかの実施形態において、ビットストリーム表現は次のように構成される。(1)映像ブロックに対して第2の符号化モードが有効にされる場合、ビットストリーム表現におけるマージフラグが偽値を有するように信号通知され、または(2)現在のブロックがスキップ/マージモードを使用する場合、第2の符号化モードのためのマージリストの対応する表示がビットストリーム表現において明確に信号通知されない。
別の映像符号化方法は、変換における複数のサブブロック符号化ツールの使用の表示の特定の順序を指定する規則に準拠して、映像ブロックと映像ブロックのビットストリーム表現との間で変換を行うことを含み、特定の順序は、(a)動きベクトル差(MMVD)とマージした後、サブブロックマージリスト、続いて三角形分割モードTPM、続いてMHIntra、またはMMVD、サブブロックマージリスト、MHIntra、TPMの順の一方である。
いくつかの実施形態において、この規則は、他の映像部分のために、または異なる映像条件に基づいて、異なる特定の順序を使用することをさらに規定する。
いくつかの実施形態において、他の映像部分は、他の映像スライス、または他の映像符号化ユニット、他の映像予測ユニット、または他の映像符号化ユニットの行、または他の映像ピクチャ、または映像ブロックのもの以外の映像シーケンスを含む。
いくつかの実施形態において、異なる映像状態は、異なる値の低遅延チェックフラグ、または前述の符号化された情報または他の映像ブロックの寸法の異なる値を含む。
別の映像処理方法は、映像ブロックと、符号化の規則に準拠した現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、規則は、前記映像ブロックの適応動きベクトル解像度(AMVR)符号化モードでの動きベクトル予測を指定するための近傍のブロックを選択的に使用することを規定し、規則は、(1)異なる最大符号化ユニット(LCU)行にある近傍のブロックを除外する、または(2)固定解像度値を指定する、または(3)映像ブロックを、アフィンモードを使用して符号化する、を含み、異なるLCU行にあるアフィン符号化された近傍のブロックを利用不可能とする。
別の映像処理方法は、映像ブロックと現在の映像ブロックのビットストリーム表現との間で、符号化規則に準拠した変換を行うことを含み、規則は、前記映像ブロックの適応動きベクトル解像度(AMVR)符号化モードでの動きベクトル予測を指定するための近傍のブロックの選択的使用を規定し、この規則は、(a)近傍のブロックが異なる最大符号化ユニット(LCU)の行にある場合、近傍のブロックのコンテキストモデリングのためにこの近傍の映像ブロックの情報を使用しないようにすること、または(b)変換中に構文要素を符号化するために1つのコンテキストのみを使用すること、または(c)バイパス符号化を適用することは、1つの構文要素のみに適用すること、として、選択的に使用することを含む。
いくつかの実施形態において、唯一の構文要素は、a. alf_ctb_flag、b. qt_split_cu_flag、c. mtt_split_cu_flag、d. mtt_split_cu_flag、e. cu_skip_flag、f. amvr_mode、g. merge_subblock_flag、h. merge_triangle_flag、またはi. inter_affine_flagを含む。
いくつかの実施形態において、変換は、ビットストリーム表現から映像ブロックの画素値を生成することまたは映像ブロックの画素値からビットストリーム表現を生成することを含む。
別の映像処理方法は、映像ブロックと符号化規則に準拠した前記現在の映像ブロックのビットストリーム表現との間で変換を行うこととを含み、符号化の規則は、映像ブロックの適応動きベクトル解像度(AMVR)符号化モードにおける動きベクトル予測を指定するために、近傍の映像ブロックを選択的に使用することを規定しており、規則は、近傍の映像ブロックに関する情報が、現在の映像ブロックを復号化するために使用される近傍の映像ブロックに基づいてコンテキストモデリングのために使用されることを含む。
この方法は、近傍の映像ブロックが現在の映像ブロックを含む部分の外側にあると判定することを含むことができ、この部分は、符号化ツリーユニット(CTU)、CTU行、領域、映像データ処理ユニット、スライス、タイル、タイルグループ、またはピクチャ境界であり、この規則は、(1)近傍の映像ブロックに関する情報は構文解析技法から排除される、または(2)近傍の映像ブロックに関する情報を構文解析技法で使用する、または(3)近傍の映像ブロックに関する情報を構文解析技法のデフォルト値として設定する、または(4)同じ部分にある他の近傍の映像ブロックに関する情報を構文解析技法で代替として使用する、を含む。
この方法は、近傍の映像ブロックに関する情報が、近傍の映像ブロックの符号化された情報に基づく構文要素のための予め定義された近傍の位置からのものであることを含むことができる。
別の映像処理方法は、映像ブロックと符号化規則に準拠した前記現在の映像ブロックのビットストリーム表現との間で変換を行うこととを含み、符号化の規則は、映像ブロックの適応動きベクトル解像度(AMVR)符号化モードにおける動きベクトル予測を指定するために、近傍の映像ブロックを選択的に使用することを規定しており、規則は、近傍の映像ブロックに関する情報が、現在の映像ブロックをデコードするために使用される近傍の映像ブロックに基づいてコンテキストモデリングのために使用されることを含み、近傍の映像ブロックは、現在のCTU行とは異なるCTU行内の映像ブロック、または現在のCTUとは異なるCTU内の映像ブロックを除外して使用される。
この方法は、近傍の映像ブロックからの排除された情報がコンテキストモデリングに利用不可能となるようにすることを含むことができる。
この方法は、近傍の映像ブロックの情報を除外する代わりに、デフォルト値を使用することを含むことができる。
この方法は、現在のCTU行内の代替の近傍の映像ブロックまたは現在のCTUからの情報を、排除される映像ブロックの代わりに使用することを含むことができる。
この方法は、構文要素が、alf_ctb_flag、qt_split_cu_flag、mtt_split_cu_flag、cu_skip_flag、amvr_mode、inter_affine_flag、merge_triangle_flag andmerge_subblock_flag、cu_skip_flag、pred_mode_flag、pcm_flag、intra_luma_ref_idx、intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_remainder、intra_chroma_pred_mode、merge_flag、inter_pred_idc、inter_affine_flag、cu_affine_type_flag、ref_idx_l0、mvp_l0_flag、ref_idx_l1 mvp_l1_flag、amvr_flag、amvr_4pel_flag、gbi_idx、cu_cbf、mmvd_flag、ormmvd_merge_flag.のうちの1つ以上を含むことを含むことができる。
この方法は、コンテキストモデリングがpred_mode_flagの使用を含むことを含むことができる。
この方法は、pred_mode_flagが、ctx=A1がintraであることのうちの1つ以上から導出されることを含むことができる。1:0 and ctx +=B1 is intra?1:0,ctx=(A1 is intra)| |(B1 is intra)?1:0,ctx=A1 is intra or inter-intra?1:0 and ctx +=B1 is intra or inter-intra?1:0,or ctx=(A1 is intra or inter-intra)| |(B1 is intra or inter-intra)?1:0.
この方法は、pred_mode_flagが、現在の映像ブロックの角に隣接して位置する近傍のブロックから導出されることを含むことができる。
この方法は、pred-mode_flagをその他の構文要素に置き換えることを含むことができる。
この方法は、コンテキストを導出する時に、利用不可能である近傍のブロックをインター符号化として処理することを含むことができる。
この方法は、コンテキストを導出する時に、利用不可能である近傍のブロックをイントラ符号化として処理することを含むことができる。
この方法は、コンテキストを導出する時に、利用不可能である近傍のブロックをインター符号化として処理することを含むことができる。
この方法は、近傍の映像ブロックが現在の映像ブロックと同じ符号化ツリーユニット(CTU)の行内になく、コンテキストを導出する時に、この近傍の映像ブロックをインター符号化されたものとして扱うことを含むことができる。
この方法は、近傍の映像ブロックが現在の映像ブロックと同じCTU行内になく、コンテキストを導出する時に、この近傍の映像ブロックをイントラ符号化として扱うことを含むことができる。
この方法は、近傍の映像ブロックが現在の映像ブロックと同じCTU行内になく、コンテキストを導出する時に、この近傍の映像ブロックをインターイントラ符号化として扱うことを含むことができる。
技術案の以下のリストは、好ましくは、ビデオエンコーダまたはデコーダ装置のいくつかの実施形態に組み込まれてもよい。
前章(例えば、項目1~4、17、および21)では、以下の案の追加の特徴および変形が提供される。
例示的な解決案の集合A
1.映像処理方法(例えば、図44に示す方法4400)であって、映像の映像領域の映像ブロックとこの映像の符号化表現との間での変換が、この映像ブロックを、少なくとも第1の予測分割を含む複数の予測分割に分割するジオメトリ分割モードを使用していることの判定を行うこと(4402)と、この映像ブロックに関連付けられた1つ以上のサブブロックマージ候補を使用して、この映像ブロックの動き候補リストにN個の動き情報候補を加えることであって、Nは正の整数である、加えること(4404)と、この動き候補リストから複数の予測分割に対する動き候補を導出すること(4406)と、この複数の予測分割の動き候補に基づいて変換を行うこと(4408)と、を含む方法。
2.N個のMV候補を導出するために、サブブロック時間的動きベクトル予測子候補を使用する、案1に記載の方法。
3.アフィン動き候補を使用してN個のMV候補を導出する、案1に記載の方法。
4.M個のMV候補を導出するために、1つ以上のサブブロックの1つ以上のサブブロック動き候補からのM個の代表的なMV候補を使用し、Mが正の整数である、案1に記載の方法。
5.M個の代表的なMV候補は、1つ以上のサブブロックの位置に基づいて選択される、案4に記載の方法。
6.Mが、変換のために映像ブロックを分割する分割の数に等しい、案4~5のいずれかに記載の方法。
7.M=1であり、かつ代表的なMV候補が、第1の予測部分の中心サブブロックに関連付けられた動き情報から選択される、案4~5のいずれかに記載の方法。
8.映像を処理する方法(例えば、図45に示す方法4500方法)であって、映像の映像ブロックとこの映像の符号化表現との間で変換するために、この映像ブロックが、少なくとも第1の予測分割を含む複数の予測分割に分割されることを判定すること(4502)と、第1の予測分割に関連付けられた第1の候補リストに第1の動き情報候補を、また、関連する第2の動き情報候補を第2の予測分割に関連付けられた第2の候補リストに加えること(4504)であって、第1の動き情報候補と第2の動き情報候補は、1つの動き候補から継承されたものである、加えることと、第1の動き情報候補および/または第2の動き情報候補を使用して変換を行うこと(4506)と、を含む方法。
9.第1の予測部分および第2の予測部分の分割パターンおよびMV候補インデックスの表示範囲をM*N*Nであり、ここで、Mは、第1の映像ブロックが分割される予測部分の数であり、Nは、動き候補リストに追加されるマージ候補の許容数である、案8に記載の方法。
10.ビットストリーム表現におけるフラグは、動き候補リストにおける1つのMV予測候補を第1の予測部分および第2の予測部分の両方に使用することを示す、案8または9に記載の方法。
11.動き候補リストにおける予測候補は、双予測された動き候補である、案8に記載の方法。
12.第1のMV候補にList0動き情報を割り当て、第2のMV候補にList1動き情報を割り当てる、案8に記載の方法。
13.分割パターンに基づいて、映像ブロックの重み付け領域に位置するサンプルに対して特定の重み係数群を使用し、この特定の重み係数群は、別の映像ブロックの予測部分のための候補動きベクトルを判定するために異なる動き候補を使用する別の映像ブロックに使用される別の重み係数群とは異なる、案8~12に記載の方法。
14.特定の重み係数群は、重み付け領域に位置するサンプルの平均に対応する、案13に記載の方法。
15.変換は、変換の間に使用される高度動きベクトル予測(AMVP)、マージ、または三角形分割モード(TPM)に加え、追加の符号化モードとして方法を使用する、案8に記載の方法。
16.変換を行うことは、映像ブロックのための予測ブロックのための微調整された最終的動きベクトルを導出することを含む、案1~15のいずれかに記載の方法。
17.微細化された最終的動きベクトルを導出することは、デコーダ側動きベクトル微調整(DMVR)ツールを使用して、第1の予測分割の動き情報と、第1の映像ブロックの第2の予測分割の動き情報とを結合し、該映像ブロックの動き情報を導出することを含む、案16に記載の方法。
18.変換を行うことは、三角形分割モード予測の後に、結果に双方向オプティカルフロー(BIO)ツールを適用することを含む、案16に記載の方法。
19.第1の予測部分は第1の参照リストから単一予測され、第2の予測部分は第2の参照リストを使用して双予測または単一予測され、次に、第2の参照リストにおける第2の予測部分の動き情報を使用してDMVRツールまたはBIOツールを適用する案17または案18の方法。
20.第1の予測部分が参照リストLXから単一予測される場合に、変換中の参照リストLXの動き情報を記憶することをさらに含み、Xは0または1である、案16に記載の方法。
21.変換は、ジオメトリ分割モードに基づく予測結果とイントラ予測モードに基づく予測結果との重み付け和である最終予測を使用する、案16に記載の方法。
22.ジオメトリ分割モードで使用される1つ以上の参照ピクチャは、現在のピクチャである、案16に記載の方法。
23.映像処理方法(例えば、図46に示す方法4600)であって、映像の映像ブロックとこの映像の符号化表現との間での変換が、この映像ブロックを1つの予測分割を含むように分割するサブブロックが有効なジオメトリ分割モードを使用して、この予測分割の1つのサブブロックにこの予測分割の1つのサブブロックの動き情報を割り当てるようにしていることを判定すること(4602)と、この判定に基づいてこの変換を行うこと(4604)とを含む方法。
24.サブブロック動き情報は、映像ブロックの変換に使用される候補リストにおける候補として使用される、案23に記載の方法。
25.ジオメトリ分割モードに従って符号化されている第1の映像ブロックに基づいて、アフィンモードを有効にする、案23に記載の方法。
26.変換は、映像ブロックの重み付けられた領域にないサブブロックに対して、単一予測のみを使用するように制限する、案23~25のいずれかに記載の方法。
27.変換は、映像ブロックの任意の所与の予測部分内のすべてのサブブロックに対して同じ参照ピクチャを使用することを指定する規則に基づく、案23に記載の方法。
28.変換は、サブブロックに関連付けられたサブブロックの時間的動きベクトル予測子(SbTMVP)候補から動き候補リストにおける1つ以上の動きベクトル予測候補を導出することを含む、案23~27のいずれかに記載の方法。
29.変換は、予測分割内の各サブブロックがSbTMVP候補のList0動き情報の動き情報を継承する規則をさらに使用する、案28に記載の方法。
30.変換は、さらに、予測分割のためのマージリストを、映像の変換中に使用されるサブブロックマージ候補リスト処理と同じ順にチェックする規則を使用する、案23に記載の方法。
31.ジオメトリ分割モードは、映像ブロックの予測分割を表すために異なる符号化モードを使用する、案1~30のいずれかに記載の方法。
32.第1の分割モードはイントラ符号化を使用し、第2の分割モードはインター符号化を使用する、案31に記載の方法。
33.第1の予測分割はマージ符号化を使用し、第2の予測分割はアドバンスド動きベクトル予測子を使用する、案31に記載の方法。
34.ビットストリーム表現信号における表示は、映像ブロックのためにジオメトリ分割モードを使用する、案1~33のいずれかに記載の方法。
35.表示は、シーケンスパラメータセットレベル、またはピクチャパラメータセットレベル、または映像パラメータセットレベル、またはピクチャヘッダ、スライスヘッダ、またはタイルグループヘッダ、または符号化ツリーユニットレベルである、案34に記載の方法。
36.映像ブロックがサイズ条件を満たす場合に、ジオメトリ分割モードを有効にする、案1~35のいずれかに記載の方法。
37.サイズ条件は、閾値よりも大きいサイズを有する映像ブロックがある場合に、ジオメトリ分割モードを使用することを指定する、案36に記載の方法。
38.サイズ条件は、映像ブロックのサイズが閾値未満である場合に、ジオメトリ分割モードを使用することを規定する、案36に記載の方法。
39.閾値は、シーケンスパラメータセットまたはピクチャパラメータセットまたはピクチャまたはスライスまたはタイルグループまたはタイルレベルで、符号化表現で信号通知される、案37~38に記載の方法。
40.サイズは、映像ブロックに関連付けられたピクチャタイプまたは時間層インデックスの関数である、案37~38のいずれかに記載の方法。
41.予め規定された幅対高さの比を有する映像ブロックがある場合に、ジオメトリ分割モードを変換に使用する、案1~33のいずれかに記載の方法。
以下の案の追加の特徴および変形が、前章(例えば、項目5、7、8、9、および21)に提供される。
例示的な解決案の集合B
1.映像処理方法(例えば、図47Aに示す方法4700)であって、映像ブロックを複数の予測分割に分割するジオメトリ分割モードを使用して、映像の映像ブロックと映像の符号化表現との間で変換を行うために、継承規則に従って、映像ブロックのサンプル位置において、予測分割のための動き情報導出に使用される動き候補からの一般化双予測(GBi)重み係数の継承を有効にするかどうかを判定すること(4702)と、この判定に基づいて、この変換を行うことと(4704)、を含む方法。
2.継承規則は、映像ブロックのすべての位置に対して継承を無効にすることを規定する、案1に記載の方法。
3.変換は、動き候補に関連付けられたGBi重み係数にかかわらず実行されることをさらに含む、案2に記載の方法。
4.映像ブロックのためのGBi重み係数インデックスが0に設定される、案2に記載の方法。
5.継承規則は、映像ブロックのすべての位置に対して継承を有効にすることを規定する、案1に記載の方法。
6.予測分割のために、対応するGBi重み係数を、映像ブロックの動き情報を導出するために使用される動き候補に関連付けられるGBi重み係数に等しく設定することをさらに含む、案5に記載の方法。
7.継承は、映像ブロックの重み付け領域の外側のサンプル位置に対して無効にされ、重み付け領域におけるサンプル位置において有効にされ、重み付け領域が2つの予測分割の境界を横切る、案1に記載の方法。
8.重み付け領域を除く、予測分割におけるサンプル位置に対して、対応するGBi重み係数を0に等しく設定することをさらに含む、案7に記載の方法。
9.予測分割における重み付けられた領域に対して、対応するGBi重み係数を、映像ブロックの動き情報を導出するために使用される動き候補に関連付けられたGBi重み係数に等しく設定することをさらに含む、案4に記載の方法。
10.映像処理方法(例えば、図47Bに示す方法4750)であって、映像ブロックが複数の予測分割に分割されるジオメトリ分割モードを使用した、映像の映像ブロックと映像の符号化表現との間での変換のために、規則に従って映像ブロックの少なくともサンプル位置で双予測の使用が有効であるかどうかを判定すること(4752)と、判定に基づいて、この映像ブロックとこの映像の符号化表現との間の変換を行うこと(4754)、を含む方法。
11.規則は、映像ブロックの非重み付け領域におけるサンプル位置に対して双予測を有効にすることを規定する、案10に記載の方法。
12.規則は、互いに同じ2つの参照ピクチャのみを使用することによって、映像ブロックの非重み付け領域におけるサンプル位置に対して双予測を有効にすることをさらに指定する、案11に記載の方法。
13.双予測は、第1の予測分割のために第1の参照フレームと、第2の予測分割のために第2の参照フレームと、第1の予測分割および第2の予測分割の両方のために第3の参照フレームとを使用し、映像ブロックが、第1の予測分割および第2の予測分割からなる、案11~12のいずれかに記載の方法。
14.映像処理方法(例えば、方法4800、図48に示す)、であって、映像ブロックが少なくとも第1の予測分割および第2の予測分割に分割されるジオメトリ分割モードを使用して、映像の映像ブロックと映像の符号化表現との間で変換を行うために、第1の予測ブロックからの最終予測ブロックおよび分割のサンプル位置に対して導出された第1の動き情報のセット、第2の予測分割のサンプル位置に対して導出された第2の動き情報のセットとは異なる動き情報からの第2の予測ブロックを判定すること(4802)と、最終予測ブロックに基づいた変換を行うこと(4804)であって、映像ブロックは多重仮説技法を使用して符号化されている、変換を行うことと、を含む、方法。
15.第2の予測ブロックは、第1の動き情報のセットおよび第2の動き情報のセットとは異なる動きベクトルまたは参照ピクチャを使用して単予測生成される、案14に記載の方法。
16.第2の予測ブロックは、2つの追加の参照ピクチャを使用して双予測的に生成される、案14に記載の方法。
17.第2の予測ブロックは、第1の予測分割のための第3の動き情報のセットと、第2の予測分割のための第4の動き情報のセットと、を使用して生成される、案14に記載の方法。
18.第1の予測ブロックまたは第2の予測ブロックから、重み付け領域を除いた、第1および第2の予測分割における最終予測ブロックのサンプルを生成し、重み付け領域におけるサンプルに対して、第1の予測ブロックおよび第2の予測ブロックからの重み付け予測が使用され、重み付け領域は2つの予測分割の境界を横切る、案14~17のいずれかに記載の方法。
19.変換は、映像ブロックのサンプル位置においてOBMC符号化の使用が有効であるかどうかを指定する重複ブロック動き補償(OBMC)規則にさらに基づく、上記案のいずれかに記載の方法。
20.OBMC規則は、ジオメトリ分割モードを使用して、映像ブロックがある場合にOBMC符号化が変換のために無効にされることを規定する、案19に記載の方法。
21.OBMC規則は、映像ブロックの重み付け領域におけるサンプル位置でのOBMC符号化を無効にし、残りのサンプル位置でのOBMCを有効にすることを規定する、案19に記載の方法。
22.映像ブロックは、2つ以上の分割に分割される、案1~21に記載の方法。
23.映像ブロックは、4つの三角形予測分割に分割される、案22に記載の方法。
24.映像ブロックは、少なくとも2つの分割のうちの多くても1つの分割がインター符号化されるように、非長方形且つ非正方形の分割である少なくとも2つの分割に分割される、案1~23のいずれかに記載の方法。
25.変換は、4つの分割のうちの近傍の分割のエッジにおけるサンプル位置での重み付け予測平均を使用することを含む、案22~24のいずれかに記載の方法。
26.ビットストリーム表現信号における表示は、映像ブロックのためにジオメトリ分割モードを使用する、案1~25のいずれかに記載の方法。
27.表示は、シーケンスパラメータセットレベル、またはピクチャパラメータセットレベル、または映像パラメータセットレベル、またはピクチャヘッダ、スライスヘッダ、またはタイルグループヘッダ、または符号化ツリーユニットレベルである、案26に記載の方法。
28.映像ブロックがサイズ条件を満たす場合に、ジオメトリ分割モードを有効にする、案1~25のいずれかに記載の方法。
29.サイズ条件は、閾値よりも大きいサイズを有する映像ブロックがある場合に、ジオメトリ分割モードを使用することを指定する、案26に記載の方法。
30.サイズ条件は、映像ブロックのサイズが閾値未満である場合に、ジオメトリ分割モードを使用することを指定する、案26に記載の方法。
31.閾値は、シーケンスパラメータセットまたはピクチャパラメータセットまたはピクチャまたはスライスまたはタイルグループまたはタイルレベルで、符号化表現で信号通知される、案29~30に記載の方法。
32.サイズは、映像ブロックに関連付けられたピクチャタイプまたは時間層インデックスの関数である、案29~30のいずれかに記載の方法。
33.予め規定された幅対高さの比を有する映像ブロックがある場合に、ジオメトリ分割モードを変換に使用する、案1~32のいずれかに記載の方法。
前章(例えば、項目10、11、12、13、21)において、以下の案の追加の特徴および変形が提供される。
例示的な解決案の集合C
1.映像処理方法(例えば、図49に示す方法4900)であって、映像の映像領域の映像ブロックを映像のビットストリーム表現の間で変換するために、(1)少なくとも1つの予測分割が非長方形且つ非正方形の分割になるように、映像ブロックを予測分割に分割するための分割パターンと、(2)変換に使用される分割の候補をマージするためのインデックスとの間の関係を判定することであって、ビットストリーム表現のフォーマットは、映像領域レベルにおける関係を許可する、判定すること(4902)と、判定に基づいて、変換を行うこと(4904)と、を含む、方法。
2.映像領域は、映像ピクチャ、映像タイル、または映像スライス、または映像符号化ツリーユニット、または符号化ユニットの映像シーケンスに対応する、案1に記載の方法。
3.関係が、映像ブロックの変換中に使用されるマージ候補リストの特徴に依存する、案1~2のいずれかに記載の方法。
4.関係が、マージ候補に関連する符号化モードに依存する、案1~3のいずれかに記載の方法。
5.1つの映像処理方法(例えば、図50に示す方法5000)であって、符号化表現の構文要素を定義する構文規則に従って、映像の映像ブロックと映像の符号化表現との間で変換を行うこと(5002)を含み、構文規則は、映像ブロックに対してジオメトリ分割モードを使用することを示す第1のフラグと、映像ブロックに対してマージモードを使用することを示す第2のフラグの信号通知順序を規定し、ジオメトリ分割モードは、映像ブロックを、複数の予測分割、非長方形で非正方形の形状を有する少なくとも1つの予測分割に分割することを含み、マージモードは映像ブロックの近傍のブロックから動きベクトル情報を継承することを可能にする、方法。
6.第2のフラグは、第1のフラグの後に信号通知される、案5に記載の方法。
7.構文規則は、第1のフラグの信号通知がある場合に第2のフラグの信号通知を省略することを規定する、案5に記載の方法。
8.第2のフラグは、映像ブロックの符号化モードに基づいて条件付きで信号通知される、案5に記載の方法。
9.第2のフラグは、映像ブロックがインター符号化されている場合に信号通知される、案8に記載の方法。
10.構文規則は、映像ブロックがスキップモード符号化されるために、第1のフラグが省略されることを規定する、案5に記載の方法。
11.映像処理方法(例えば、図51に示す方法5100)であって、符号化表現の構文を定義する構文規則に従って、映像の映像ブロックと映像の符号化表現との間で変換を行うこと(5102)を含み、構文規則は、ジオメトリ分割モードを使用することを示すフラグの信号通知を規定し、映像ブロックの変換に別の符号化ツールが使用されるかどうかに基づいて、映像ブロックが、別の符号羽化ツールが映像ブロックの変換に使用されるかどうかにもとづいて選択的に含まれ、ジオメトリ分割モードは、映像ブロックを、複数の予測分割、非長方形且つ非正方形の形状を有する少なくとも1つの予測分割に分割することを含む。
12.構文規則は、映像ブロックの変換に高度動きベクトル予測ツールを使用する場合、フラグを含むように規定する、案11に記載の方法。
13.構文規則は、映像ブロックがマージモードを使用して符号化されている場合、フラグの信号通知を無効にすることを規定する、案11に記載の方法。
14.映像処理方法(例えば、図52に示す方法5200)であって、近傍のブロックのジオメトリ分割モードに基づいて分割パターンに基づいて映像ブロックを複数の予測分割に分割する、映像の映像ブロックと映像の符号化表現との間で変換を行うためにジオメトリ分割モードを有効になっていることを判定すること(5202)と、判定に基づいて、変換を行うこと(5204)と、を含む、方法。
15.映像処理方法(例えば、図53に示す方法5300)において、近傍のブロックの分割パターンに基づいて分割パターンに基づいて映像ブロックを複数の予測分割に分割するジオメトリ分割モードに基づいて、映像の映像ブロックと映像の符号化表現との間で変換するための分割パターンを判定すること(5302)と、この判定に基づいて変換を行うこと(5304)と、を含む。
16.近傍のブロックは、空間的に近傍のブロックである、案14または15に記載の方法。
17.近傍のブロックは、時間的に近傍のブロックである、案14または15に記載の方法。
18.分割パターンを映像ブロックのための動き情報とともに記憶することをさらに含む、案2~4のいずれかに記載の方法。
19.変換は、正規動き候補から複数のパーティションの動き候補を導出し、導出された動き候補によって正規の動き候補に関連する分割パターンを継承することを含む、案2~5のいずれかに記載の方法。
20.映像ブロックは、近傍のブロックからの動き情報および分割パターンの両方を継承する、案14または15に記載の方法。
21.ビットストリーム表現信号における1つの表示は、映像ブロックのためにジオメトリ分割モードを使用する、案1~20のいずれかに記載の方法。
22.表示は、シーケンスパラメータセットレベル、またはピクチャパラメータセットレベル、または映像パラメータセットレベル、またはピクチャヘッダ、スライスヘッダ、またはタイルグループヘッダ、または符号化ツリーユニットレベルである、案21に記載の方法。
23.映像ブロックがサイズ条件を満たす場合に、ジオメトリ分割モードを有効にする、案1~20のいずれかに記載の方法。
24.サイズ条件は、サイズが閾値よりも大きい映像ブロックがある場合に、ジオメトリ分割モードを使用することを指定する、案21に記載の方法。
25.サイズ条件は、映像ブロックのサイズが閾値未満である場合に、ジオメトリ分割モードを使用することを指定する、案21に記載の方法。
26.閾値は、シーケンスパラメータセットまたはピクチャパラメータセットまたはピクチャ若しくはスライスまたはタイルグループまたはタイルレベルで、符号化表現で信号通知される、案24~25に記載の方法。
27.サイズは、映像ブロックに関連付けられたピクチャタイプまたは時間層インデックスの関数である、案4~5のいずれかに記載の方法。
28.予め規定された幅対高さの比を有する映像ブロックがある場合に、ジオメトリ分割モードを変換に使用する、案1~20のいずれかに記載の方法。
以下の案の追加の特徴および変形は、前章(例えば、項目14、15、16、21)に提供される。
例示的な解決案の集合D
1.映像処理方法(例えば、図54に示す方法5400)であって、映像の映像ブロックと映像の符号化表現との間で変換を行うこと(5402)を含み、この映像ブロックは、第1の予測分割を含むジオメトリ分割モードの分割パターンに基づいて、複数の予測分割に分割され、この符号化表現は、複数の構文要素を含み、この複数の構文要素のうちの1つの構文要素がこの分割パターンに対応し、他の構文要素がこの複数の予測分割のためのマージインデックスに対応する方法。
2.分割パターンは、1つのビットフラグを使用して信号通知される、案1に記載の方法。
3.1つのビットフラグのコンテキスト符号化のために、近傍の映像ブロックの近傍の分割パターンを使用する、案2に記載の方法。
4.複数のマージインデックスが、複数の予測分割の各々に対して信号通知される、案1~3のいずれかに記載の方法。
5.複数の予測分割のための複数のマージインデックスが、予測符号化を使用して信号通知される、案1~3のいずれかに記載の方法。
6.マージインデックスを信号通知するために使用される符号化方式は、分割パターンを信号通知するために使用される符号化方式に依存する。案1に記載の方法。
7.分割パターンを信号通知するために使用される符号化方式は、マージインデックスを信号通知するために使用される符号化方式に依存する、案1に記載の方法。
8.変換は、符号化表現から複数の構文要素を構文解析することを含む、案1に記載の方法。
9.映像処理方法(例えば、図55に示す方法5500)であって、映像の映像ブロックと映像の符号化表現との間での変換は、第1の予測分割を含む分割パターンに基づいて、映像ブロックを複数の予測分割に分割するジオメトリ分割モードに基づいていることを判定すること(5502)であって、映像ブロックは、第1の予測分割を含むジオメトリ分割モードの分割パターンによって、複数の予測分割に分割される、判定することと、この判定に基づいて、判定することに基づいて変換を行うこと(5504)と、を含み、映像ブロックのジオメトリ分割モードは、コンテキストが映像ブロックの符号化条件に依存するコンテキストベースの符号化を使用して符号化表現で信号通知される、方法。
10.符号化条件は、映像ブロックの高さまたは幅、または高さと幅の比に対応する、案9に記載の方法。
11.コンテキストは、分割ツリーにおける映像ブロックの符号化された深さに依存する、案9に記載の方法。
12.符号化条件は、近傍のブロックの符号化された情報に対応する、案9に記載の方法。
13.映像ブロックは、幅Wおよび高さHを有する。ここで、映像ブロックの左上のサンプル位置は、(0,0)として表され、近傍のブロックは、位置(W/2、-1)、(W/2-1、-1)、または(W-1,-1)にある上側近傍のブロックに対応する、案12に記載の方法。
14.コンテキストは、幅と高さとの間の比が閾値よりも大きい場合に、上側近傍のブロックによって完全に判定される、案13に記載の方法。
15.映像ブロックは、幅Wおよび高さHを有し、映像ブロックの左上のサンプル位置が(0,0)として表され、近傍のブロックが、位置(-1,H/2),(-1,H/2-1),(-1,H-1)における左側近傍のブロックに対応する、案13に記載の方法。
16.コンテキストは、高さと幅との間の比が閾値よりも大きい場合に、左側近傍のブロックによって完全に判定される、案15に記載の方法。
17.コンテキストは、上側近傍のブロックと左側近傍のブロックとの組み合わせに依存する、案13および15に記載の方法。
18.映像処理方法(例えば、図56に示す方法5600)であって、映像の映像ブロックとこの映像の符号化表現との間で変換を行うこと(5602)を含み、この映像ブロックは、第1の予測分割を有する分割パターンに基づいて、幾何的予測モードを使用して複数の予測分割に分割され、候補リストの2つの候補インデックスエントリには、この符号化表現における1つのコード名が割り当てられ、この符号化表現のフォーマットは、この映像の1つのセグメントにわたってこのコード名の割り当てを変更することを可能にする、方法。
19.映像のセグメントは、映像ブロック、映像符号化ツリーユニット、または映像タイル、または映像ピクチャ、または映像シーケンスに対応する、案18に記載の方法。
20.2つの候補インデックスエントリが、同じ正規の動き候補からの2つの候補に対応するかどうかに基づいて、割り当てを変更する、案18または19に記載の方法。
21.割り当ては、異なる正規の動き候補から導出された候補を表す第1の候補インデックス対に割り当てられた第1のコード名が、同じ正規の動き候補から導出された候補を表す第2の候補インデックス対に割り当てられた第2のコード名よりも小さくなるように選択される、案20に記載の方法。
22.2つの候補インデックスエントリが、同じ予測方向からの2つの候補に対応するか、または同じ参照ピクチャリストからの2つの候補に対応するかに基づいて、割り当てを変更する、案18または19に記載の方法。
23.割り当ては、異なる予測方向を有する候補を表す第1の候補インデックス対に割り当てられた第1のコード名が、同じ予測方向を有する候補を表す第2の候補インデックス対に割り当てられた第2のコード名よりも小さくなるように選択される、案20に記載の方法。
24.ビットストリーム表現信号における1つの表示は、映像ブロックのためにジオメトリ分割モードを使用する、案1~23のいずれかに記載の方法。
25.表示は、シーケンスパラメータセットレベル、またはピクチャパラメータセットレベル、または映像パラメータセットレベル、またはピクチャヘッダ、スライスヘッダ、またはタイルグループヘッダ、または符号化ツリーユニットレベルである、案24に記載の方法。
26.映像ブロックがサイズ条件を満たす場合に、ジオメトリ分割モードを有効にする、案1~25のいずれかに記載の方法。
27.サイズ条件は、閾値よりも大きいサイズを有する映像ブロックがある場合に、ジオメトリ分割モードを使用することを指定する、案26に記載の方法。
28.サイズ条件は、映像ブロックのサイズが閾値未満である場合に、ジオメトリ分割モードを使用することを指定する、案26に記載の方法。
29.閾値は、シーケンスパラメータセットまたはピクチャパラメータセットまたはピクチャ若しくはスライスまたはタイルグループまたはタイルレベルで、符号化表現で信号通知される、案27~28に記載の方法。
30.サイズは、映像ブロックに関連付けられたピクチャタイプまたは時間層インデックスの関数である、案27~28のいずれかに記載の方法。
31.予め規定された幅対高さの比を有する映像ブロックがある場合に、ジオメトリ分割モードを変換に使用する、案1~30のいずれかに記載の方法。
以下の案の追加の特徴および変形は、前章(例えば、項目18~21)に提供される。
例示的な解決案の集合E
1.映像処理方法(例えば、方法5700、図57に示す)であって、映像の映像ブロックと映像の符号化表現との間で変換を行うために、映像ブロックの特徴を使用する規則に基づいて、ジオメトリ分割モードの使用が有効であるかどうかを判定すること(5702)と、この判定によって変換を行うこと(5704)と、を含みジオメトリ分割モードは、映像ブロックを複数の予測分割に分割する、方法。
2.規則は、映像の色成分を表す映像ブロックがある場合に、ジオメトリ分割モードを無効にすることを規定する、案1に記載の方法。
3.規則は、サイズまたは幅が閾値よりも小さいクロマブロックである映像ブロックがある場合に、ジオメトリ分割モードを無効にすることを規定する、案1に記載の方法。
4.規則は、K、M、Nは互いに異なる整数である場合のサイズNxMまたはKxNを有する映像ブロックがある場合に、ジオメトリ分割モードを無効にすることを規定する、案1に記載の方法。
5.Nが4または128に等しい、案4に記載の方法。
6.規則は、幅および/または高さが閾値Lよりも大きく、Lが整数である映像ブロックがある場合に、ジオメトリ分割モードを無効にすることを規定する、案1に記載の方法。
7.Lが64に等しい、案6に記載の方法。
8.規則は、幅および/または高さが閾値Lよりも小さく、Lが整数である映像ブロックがある場合に、ジオメトリ分割モードを無効にすることを規定する、案1に記載の方法。
9.規則は、幅を高さで割った値が閾値Lよりも大きく、Lが整数である比率を有する映像ブロックがある場合に、ジオメトリ分割モードを禁止することを規定する、案1に記載の方法。
10.規則は、高さを幅で割った値が閾値Lよりも大きく、Lが整数である比を有する映像ブロックがある場合に、ジオメトリ分割モードを無効にすることを規定する、案1に記載の方法。
11.10.Lが8に等しい、8~10のいずれかの案の方法。
12.閾値L、M、N、およびKのうちの少なくとも1つが、シーケンスパラメータセットまたはピクチャパラメータセットまたはピクチャヘッダ、スライスヘッダ、またはタイルグループヘッダ、またはタイルヘッダにおける符号化表現で信号通知される、案5~10に記載の方法。
13.閾値L、M、N、およびKのうちの少なくとも1つが、映像ブロックに関連付けられたブロックサイズ、ピクチャタイプ、または時間層インデックスの関数である、案5~12のいずれかに記載の方法。
14.符号化表現は、映像ブロックのためにジオメトリ分割モードが無効にされていると判定された場合、ジオメトリ分割モードの使用の表示を含むことを省略する、案1~13のいずれかに記載の方法。
15.映像ブロックの特徴は、映像ブロックが属する映像の映像成分を含む、案1に記載の方法。
16.映像ブロックは、複数の色成分を有するサンプルを含み、規則は、1つの色成分に対するジオメトリ分割モードを無効にし、他の色成分に対するジオメトリ分割モードを有効にすることを規定する、案15に記載の方法。
17.規則は、サイズNxMまたはLxNを有する輝度ブロックに対するジオメトリ分割モードを有効にし、L、M、Nが正の整数である一方、映像が4:2:0フォーマットを有する場合、対応するクロマブロックに対するジオメトリ分割モードを無効にすることを規定する、案1に記載の方法。
18.映像ブロックに対するジオメトリ分割モードが無効にされていると判定された場合、変換は、映像ブロックの1つの予測分割の動き情報または予測モードを使用して、映像ブロックのための予測ブロックを導出することを含む、案1に記載の方法。
19.映像ブロックに対するジオメトリ分割モードが無効にされていると判定された場合、変換は、映像ブロックの2つの予測分割に関連付けられた動き情報から導出された動き情報を使用して、映像ブロックのための予測ブロックを導出することを含む、案1に記載の方法。
20.2つの異なる方向の動きベクトルを有する2つの予測分割の動き情報を使用して、映像ブロックに対する双予測動きベクトルを生成する、案19に記載の方法。
21.同じ方向の動きベクトルを有する2つの予測分割の動き情報を使用して、第2の分割の参照ピクチャに基づいて第1の分割の第1の動きベクトルをスケーリングし、スケーリングされた動きベクトルと第2の分割の第2の動きベクトルの平均を使用するスケーリング演算を使用して、映像ブロックに対する単一予測動きベクトルを生成する、案19に記載の方法。
22.2つの予測分割の動き情報が2つの方向に動きベクトルを有する方法は、第1の分割の第1の動きベクトルを第2の分割の参照ピクチャに基づいてスケーリングし、スケーリングされた動きベクトルと第2の分割の第2の動きベクトルの平均を使用するスケーリング演算を使用して、映像ブロックのための双予測動きベクトルを生成する、案16に記載の方法。
23.スケーリング演算は、映像のカラーフォーマットに依存する、案21および22に記載の方法。
24.ビットストリーム表現信号における1つの表示は、映像ブロックのためにジオメトリ分割モードを使用する、案1~23のいずれかに記載の方法。
25.表示は、シーケンスパラメータセットレベル、またはピクチャパラメータセットレベル、または映像パラメータセットレベル、またはピクチャヘッダ、スライスヘッダ、またはタイルグループヘッダ、または符号化ツリーユニットレベルである、案24に記載の方法。
26.サイズは、映像ブロックに関連付けられたピクチャタイプまたは時間層インデックスの関数である、案24~25のいずれかに記載の方法。
以下の案の追加の特徴および変形は、前章(例えば、項目22~27)に提供される。
例示的な解決策の集合F
1.映像処理方法(例えば、図58に示す方法5800)であって、符号化表現の構文要素のフォーマットを規定する規則に従って、映像の映像ブロックと映像の符号化表現との間で変換を行うこと(5802)を含み、規則は、第1の符号化モードの使用の表示が信号通知されているか、または、指示を信号通知するかどうかは映像ブロックに対する第2の符号化モードの使用に基づいているかに基づき、第2の符号化モードはマージモードであり、このマージモードにより、映像ブロック全体の動きベクトル差なしに、マージ候補リストにおけるマージ候補からの動き情報を継承することを可能にする、方法。
2.第1の符号化モードは、映像ブロックを複数の予測分割に分割するジオメトリ分割モードを含む、案1に記載の方法。
3.複数の予測分割のうちの少なくとも1つが、非長方形且つ非正方形の予測分割である、案2に記載の方法。
4.第1の符号化モードは、映像ブロックの予測ブロックがイントラ予測信号およびインター予測信号から導出されるインターイントラ符号化モードを含む、案1に記載の方法。
5.第1の符号化モードは、サブブロックマージ符号化モードを含み、サブブロックマージモードにおいて、変換は、ブロック内のサブブロックごとに導出された動き情報を使用する、案1に記載の方法。
6.規則は、映像ブロックに対して第2の符号化モードが有効にされる場合に、第1の符号化モードの使用を示す表示の値が偽に設定されることを規定する、案1~5のいずれかに記載の方法。
7.規則は、映像ブロックに対して第2の符号化モードが有効にされる場合に、第1の符号化モードの使用の表示が符号化表現から除外されることを規定する、案1~5のいずれかに記載の方法。
8.変換は、規則に従って符号化表現を構文解析することを含む、案1~7のいずれかに記載の方法。
9.映像処理方法(例えば、図59に示す方法5900)であって、であって、映像の映像ブロックと映像の符号化表現との間で変換を行うこと(5902)を含み、符号化表現のフォーマットは、複数の符号化モードを信号通知する構文要素が符号化表現に含まれるかどうかを指定する第1の規則に準拠し、且つ/または、複数の符号化モードを信号通知する構文要素が符号化表現に含まれる順序を指定する第2の規則に準拠し、この複数の符号化モードは、ジオメトリ分割モード、インター-イントラ(MHIntra)モード、サブブロックマージモード、または動きベクトル差分法(MMVD)モードを含み、インター符号化モードにおいて、この映像ブロックの予測ブロックは、イントラ予測信号およびインター予測信号から導出され、このサブブロックマージモードにおいて、この変換は、このブロック内のサブブロックごとに導出された動き情報を使用し、MVDでは、マージと動きベクトル差分(MVD)を組み合わせた符号化モードが使用され、マージモードは、映像ブロック全体のためにMVDなしでマージ候補リストにおける動き情報を継承することを可能にする、方法。
10.第2の規則は、構文要素の次の順序、すなわち、MMVDモード、サブブロックマージモード、ジオメトリ分割モード、およびMHIntraモードを規定する、案9に記載の方法。
11.第2の規則は、構文要素の次の順序、すなわち、MMVDモード、サブブロックマージモード、MHIntraモード、およびジオメトリ分割モードを規定する、案9に記載の方法。
12.第2の規則は、構文要素の順序を規定する、MMVDモードの前にサブブロックマージモードを信号通知する、案9に記載の方法。
13.第2の規則は、構文要素の順序を、サブブロックマージモード、MMVDモード、MHIntraモード、ジオメトリ分割モードに規定する、案9に記載の方法。
14.映像の符号化条件に基づいて、映像ユニットレベルでの符号化表現において順序を変更する、案9に記載の方法。
15.映像ユニットは、ブロック、符号化ユニット、予測ユニット、符号化ツリーユニット、または最大符号化ユニット行、映像スライス、ピクチャ、またはシーケンスレベルに対応する、案12に記載の方法。
16.符号化条件は、低遅延チェックフラグの値、前述の符号化された映像ブロックの符号化された情報、または映像ブロックの次元を含む、案12~15のいずれかに記載の方法。
17.映像処理方法(例えば、図60に示す方法6000)であって、映像の現在の映像ブロックと映像の符号化表現との間で変換を行うため、映像の現在の映像ブロックとこの映像の符号化表現との間の変換のために、この映像ブロックの近傍のブロックの近傍の動きベクトル精度情報が、この近傍のブロックの位置に基づいてこの現在のブロックの動きベクトル精度を判定するために利用可能であるかどうかをチェックすること(6002)と、このチェックに基づいてこの変換を行う(6004)ことと、を含む方法。
18.近傍のブロックと現在の映像ブロックとが、異なる最大符号化ユニット(LCU)の行にある、または映像の異なる領域にある場合、近傍の動きベクトル精度情報が利用不可能であると見なされる、案17に記載の方法。
19.近傍の動きベクトル精度情報が利用不可能であると判定される場合に、現在のブロックの動きベクトル精度をデフォルト値に設定する、案18に記載の方法。
20.近傍のブロックと現在の映像ブロックとが異なる最大符号化ユニット(LCU)行にある場合、現在の映像ブロックの動きベクトル精度は、近傍のブロックが異なるスライスにあるかまたは異なるタイルにあると仮定することによって判定される、案17に記載の方法。
21.現在の映像ブロックと近傍のブロックとをアフィン符号化モードを使用して符号化する、案17~20のいずれかに記載の方法。
22.映像処理方法(例えば、図61に示される方法6100)であって、映像の現在の映像ブロックとこの映像の符号化表現との間で変換を行うために、この現在の映像ブロックの最大符号化ユニット(LCU)行に対するこの近傍のブロックの位置に基づいて、この符号化表現に使用されるコンテキスト符号化モードを判定すること(6102)と、この判定に基づいてこの変換を行うこと(6104)とを含む。
23.異なるLCU行にある場合に、近傍のブロックが利用不可能であると見なされ、コンテキスト符号化モードは、1つの構文要素を符号化するために1つのコンテキストを使用する、案22に記載の方法。
24.異なるLCU行にある場合に、近傍のブロックが利用不可能であると見なされ、コンテキスト符号化モードは、1つの構文要素を符号化するために1つのコンテキストを使用する、案22に記載の方法。
25.構文要素は、alf_ctb_flag、qt_split_cu_flag、mtt_split_cu_flag、mtt_split_cu_flag、cu_skip_flag、amvr_mode、merge_subblock_flag、merge_triangle_flag、inter_affine_flag、cu_skip_flag、pred_mode_flag、pcm_flag、intra_luma_ref_idx、intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_remainder、intra_chroma_pred_mode、merge_flag、inter_pred_idc、inter_affine_flag、cu_affine_type_flag、ref_idx_l0、mvp_l0_flag、ref_idx_l1 mvp_l1_flag、amvr_flag、amvr_4pel_flag、gbi_idx、cu_cbf、mmvd_flag、または、mmvd_merge_flagのうちの1つである、案23~24のいずれかに記載の方法。
前章(例えば、項1~4、17、および21)では、以下の案の追加の特徴および変形が提供される。
例示的な解決策の集合G
1.映像処理方法(例えば、図62に示される方法6200)であって、映像の現在の映像ブロックと映像の符号化表現との間で変換を行うこと(6202)を含み、符号化表現は、コンテキストモデリングが、現在の映像ブロックを復号化するために使用されるおよび/または位置基準を満たす近傍のブロックからの情報に制限されることを規定する規則に準拠する、方法。
2.近傍のブロックは、左下ブロックまたは右上ブロックである、案1に記載の方法。
3.規則は、現在の映像ブロックを含む現在の映像ユニットの外側にある近傍のブロックの使用を禁止することを規定する、案1に記載の方法。
4.規則は、現在の映像ブロックを含む現在の映像ユニットの外側にある近傍のブロックを利用不可能なブロックとして使用することを規定する、案1に記載の方法。
5.規則は、現在の映像ブロックを、デフォルト値を有するものとして含む現在の映像ユニットの外側にある近傍のブロックを使用することを規定する、案1に記載の方法。
6.規則は、現在の映像ブロックを含む現在の映像ユニットの外側にある近傍のブロックを置換ブロックとして使用することを規定する、案1に記載の方法。
7.現在の映像ユニットは、符号化ツリーユニット、符号化ツリーユニットの行、映像領域、または映像データ処理ユニット、またはスライス、タイル、タイルグループ、またはピクチャ境界である、案3に記載の方法。
8.映像処理方法(例えば、図63に記載の方法6300)であって、映像の現在の映像ブロックと映像の符号化表現との間で変換を行うこと(6302)を含み、符号化表現は、現在の映像のブロックの符号化表現を表す1つ以上の構文要素のコンテキストモデリングのために、近傍のブロックからの符号化された情報を使用することを指定する規則に準拠する。
9.近傍のブロックからの符号化された情報は、ビットストリーム表現における近傍のブロックを表す構文要素に基づく、案8に記載の方法。
10.近傍のブロックは、符号化表現から現在の映像ブロックを再構成するためにアクセスされるブロックに対応する、案8または9に記載の方法。
11.近傍のブロックが、空間的マージ候補構築に使用される5つの位置からのちょうど2つのブロックに対応する、案8~10のいずれかに記載の方法。
12.近傍のブロックが、空間的マージ候補構築に使用される5つの位置からのちょうど1つのブロックに対応する、案8~10のいずれかの方法。
13.規則は、現在の映像ブロックの符号化ツリーユニットまたは符号化ツリーユニット行の外側にある近傍のブロックを使用することを排除することを規定する、案8に記載の方法。
14.規則は、現在の映像ブロックの符号化ツリーユニットまたは符号化ツリーユニット行の外側にある構文要素の近傍のブロックを、コンテキストモデリングに利用できないと見なすことを規定する、案8に記載の方法。
15.規則は、現在の映像ブロックの符号化ツリーユニットまたは符号化ツリーユニット行の外側にある構文要素の近傍のブロックを使用することを規定し、該近傍のブロックは、コンテキストモデリングのためのデフォルト値を有すると見なされる、案8に記載の方法。
16.規則は、コンテキストモデリングのために、現在の映像ブロックの符号化ツリーユニットまたは符号化ツリー単位の行の外側にある構文要素近傍のブロックを、外側の近傍のブロックに置き換えて使用することを規定する、案8に記載の方法。
17.規則は、符号化ツリーユニットの外側にある構文要素近傍のブロック、または現在の映像ブロックの符号化ツリーユニットの行を、符号化ツリーユニットにおけるN個の利用可能な近傍のブロックの1つに置き換えることを規定し、または符号化ツリーユニットは、コンテキストモデリングのための利用可能な符号化された情報を含み、Nは整数である、案8に記載の方法。
18.1つ以上の構文要素は、alf_ctb_flag、qt_split_cu_flag、mtt_split_cu_flag、cu_skip_flag、amvr_mode、inter_affine_flag、merge_triangle_flagandmerge_subblock_flag、cu_skip_flag、pred_mode_flag、pcm_flag、intra_luma_ref_idx、intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_remainder、intra_chroma_pred_mode、merge_flag、inter_pred_idc、inter_affine_flag、cu_affine_type_flag、ref_idx_l0、mvp_l0_flag、ref_idx_l1mvp_l1_flag、amvr_flag、amvr_4pel_flag、gbi_idx、cu_cbf、mmvd_flag、mmvd_merge_flag、または、pred_mode_flagを含む、案8~17のいずれかに記載の方法。
19.構文要素のコンテキストctxが
ctx=A1 is intra?1:0;ctx +=B1 is intra?1:0
のように導出され、A1は左下の近傍のブロックであり、B1は右上の近傍のブロックである、案18に記載の方法。
20.pred_mode_flagのコンテキストctxが、
ctx=(A1 is intra)| |(B1 is intra)?1:0
のように導出され、A1は左下の近傍のブロックであり、B1は右上の近傍のブロックである、案18に記載の方法。
21.構文要素のコンテキストctxが
ctx=A1 is intra or inter-intra?1:0;ctx +=B1 is intra or inter-intra?1:0;
のように導出され、A1は左下の近傍のブロックであり、B1は右上の近傍のブロックである、案18に記載の方法。
22.構文要素のコンテキストctxが
ctx=(A1 is intra or inter-intra)| |(B1 is intra or inter-intra)?1:0;
のように導出され、A1は左下の近傍のブロックであり、B1は右上の近傍のブロックである、案18に記載の方法。
23.空間的マージ候補構築に使用される5つの位置の近傍のブロックを使用しないで、構文要素のコンテキストctxを導出する、案18に記載の方法。
24.構文要素は、pred_mode_flagに対応する、案23に記載の方法。
25.コンテキストは、利用不可能な近傍のブロックをインター符号化されたブロックとして取り扱うことによって導出される、案18~24のいずれかに記載の方法。
26.コンテキストは、利用不可能な近傍のブロックをイントラ符号化されたブロックとして扱うことによって導出される、案18~24のいずれかに記載の方法。
27.コンテキストは、利用不可能な近傍のブロックをイントラ符号化されたブロックとして扱うことによって導出される、案18~24のいずれかに記載の方法。
28.異なる符号化ツリーユニット行にある近傍のブロックを現在の映像ブロックとしてインター符号化ブロックとして取り扱うことによって、コンテキストを導出する、案18~24のいずれかに記載の方法。
29.異なる符号化ツリーユニット行にある近傍のブロックを現在の映像ブロックとしてイントラ符号化されたブロックとして取り扱うことによって、コンテキストを導出する、案18~24のいずれかに記載の方法。
30.異なる符号化ツリーユニット行にある近傍のブロックを現在の映像ブロックとしてインターイントラ符号化されたブロックとして扱うことによって、コンテキストを導出する、案18~24のいずれかに記載の方法。
上述した解決案の集合を参照し、いくつかの実施形態において、ジオメトリ分割モード(本明細書では、ジオメトリ分割モードとも呼ばれる)は、1つの映像ブロックを複数の分割に分割することを含んでもよく、少なくとも1つの分割は、非正方形且つ非長方形の分割である。本明細書全体にわたってさらに開示されるように、予測分割と呼ばれるこれらの分割は、映像ブロックの符号化または復号化中に使用される予測ブロックを形成するために使用してもよい。
上記に列挙された解決案の集合を参照すると、いくつかの実施形態において、この変換は、映像画素値または他の表現(例えば、コード変換)から符号化表現を生成する映像を符号化することを含んでもよい。
上述した解決案の集合を参照すると、いくつかの実施形態において、一部の実施例において、この変換は、復号化ロジックが符号化表現またはビットストリームを構文解析し、映像サンプルを生成または再構成する映像復号化動作を含んでもよい。この点に関して、この変換は、本明細書に記載される様々な規則に従って構文要素を構文解析する構文解析処理を含む。
いくつかの実施形態において、開示された技術は、ビデオデコーダ装置(例えば、図31に示されるようなもの)によって実装される。いくつかの実施形態において、ビデオエンコーダは、本明細書に記載される様々な技術を実装してもよい。いくつかの実施形態において、開示された案は、処理装置を使用して上記案を実装するためのコードを記憶するコンピュータプログラム製品として実施されてもよい。
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効にするように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効にされる場合、エンコーダは、1つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効にされる場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効にされる場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを認識して、ビットストリームを処理する。すなわち、決定または判定に基づいて有効にされた映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
開示される技術の一部の実施形態は、映像処理ツールまたはモードを無効にする決定または判定を行うことを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、ビットストリームが、決定または判定に基づいて有効にされた映像処理ツールまたはモードを使用して修正されていないことを認識して、ビットストリームを処理する。
図64は、開示される技術が実装され得る例示的な映像処理システムのブロック図である。
図64は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム1900を示すブロック図である。様々な実装形態は、システム1900のモジュールの一部または全部を含んでもよい。システム1900は、映像コンテンツを受信するための入力ユニット1902を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチモジュール画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力ユニット1902は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例としては、イーサネット(登録商標)、受動光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースが挙げられる。
システム1900は、本明細書に記載される様々な符号化または符号化方法を実装することができる符号化モジュール1904を含んでもよい。符号化モジュール1904は、入力ユニット1902からの映像の平均ビットレートを符号化モジュール1904の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール1904の出力は、モジュール1906によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット1902において受信された、記憶されたまたは通信された映像のビットストリーム(または符号化)表現は、モジュール1908によって使用されて、表示インターフェースユニット1910に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作またはツールと呼ぶが、符号化ツールまたは動作は、エンコーダおよびそれに対応する、復号化の結果を逆にする復号化ツールまたは動作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
開示された技術は、圧縮されている符号化ユニットが、従来の正方形のブロックまたは半正方形の長方形のブロックとは大きく異なる形状を有する場合、圧縮効率を向上させるために、ビデオエンコーダまたはデコーダに実施されてもよいことは、理解されよう。例えば、4×32または32×4サイズのユニットのような長いまたは背の高い符号化ユニットを使用する新しい符号化ツールは、開示された技術から恩恵を受けることができる。
さらに、サブブロック符号化モードが一緒に使用されるか、または一緒に使用されることから除外されるかなど、映像処理のための様々な規則が規定されることが、理解されよう。
本明細書に記載された開示されたそして他の解決案、実施例、実施形態、モジュール、および機能操作は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実装されてもよい。開示された、そして他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の操作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、適切な受信装置に送信するための情報を符号化するように生成される、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号である。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を行うための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイスである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。処理装置およびメモリは、専用ロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題または特許請求され得るものの範囲を限定するものと解釈されるべきではなく、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許明細書において別個の実施形態のコンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブ組み合わせのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で実行されること、または示された全ての操作が実行されることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムモジュールの分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されているが、本特許明細書に記載され図示されている内容に基づいて、他の実施形態、拡張および変形が可能である。

Claims (17)

  1. 映像データを処理する方法であって、
    映像の現在のブロックと前記映像のビットストリームとの間で変換するために、前記現在のブロックは、サイズ条件に基づいてジオメトリ分割モードでコーディングされるか否かを判定することであって、前記現在のブロックが前記サイズ条件を満たす場合に前記ジオメトリ分割モードが無効にされる、判定することと、
    前記判定に基づいて前記変換を行うことと、
    を含み、
    前記現在のブロックが前記ジオメトリ分割モードでコーディングされる場合、前記ビットストリームは、複数の構文要素を含み、前記複数の構文要素のうちの1つの構文要素は、現在のブロックに対する前記ジオメトリ分割モードの分割パターンを示し、他の構文要素は、前記現在のブロックに対する複数のマージインデックスを示し、前記ジオメトリ分割モードが有効にされるかどうかを規定する表示が、前記ビットストリームにおけるシーケンスパラメータセットレベルに含まれ、
    前記複数のマージインデックス間の予測を利用する、
    方法。
  2. 前記表示は、シーケンスパラメータセットレベル、ピクチャパラメータセットレベル、映像パラメータセットレベル、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、又はコーディングツリーユニットレベルである、
    請求項に記載の方法。
  3. 前記サイズ条件は、前記現在のブロックのサイズが第1の閾値よりも大きく前記第1の閾値が64に等しいことにより、現在のブロックに対して前記ジオメトリ分割モードを使用しないことを規定する、
    請求項に記載の方法。
  4. 前記サイズ条件は、現在のブロックのサイズが第2の閾値よりも小さく、前記第2の閾値が8であることにより、前記現在のブロックに対して前記ジオメトリ分割モードを使用しないことを規定する、
    請求項に記載の方法。
  5. 前記サイズ条件は、前記現在のブロックが予め規定された幅対高さの比を有することにより、前記ジオメトリ分割モードを前記現在のブロックに使用しないことを規定する
    請求項1~のいずれか1項に記載の方法。
  6. 前記変換は、前記ビットストリームから前記複数の構文要素を構文解析することを含む、
    請求項1~のいずれか1項に記載の方法。
  7. 前記ジオメトリ分割モードを前記変換に使用するかどうかは、前記現在のブロックの高さ、前記現在のブロックの幅、又は前記高さと前記幅の比、に依存する、
    請求項1~のいずれか1項に記載の方法。
  8. 複数のマージインデックスを示す前記構文要素が、ビットストリームにおいて別個にコーディングされる、
    請求項1~のいずれか1項に記載の方法。
  9. 前記ジオメトリ分割モードは、複数の分割パターンを含み、
    少なくとも1つの分割パターンは、前記現在のブロックを2つに分割し、そのうちの少なくとも一方は、非正方形かつ非長方形である、
    請求項1~のいずれか1項に記載の方法。
  10. 複数のマージインデックスの数は、前記ジオメトリ分割モードの分割パターンに従った前記現在のブロックの分割数に等しい、
    請求項1~のいずれか1項に記載の方法。
  11. 前記ジオメトリ分割モードは、三角形分割モードを含む、
    請求項1~10のいずれか1項に記載の方法。
  12. 前記変換は、前記映像を前記ビットストリームに符号化することを含む、
    請求項1~11のいずれか1項に記載の方法。
  13. 前記変換は、前記ビットストリームを復号化して前記映像の画素値を生成することを含む、
    請求項1~11のいずれか1項に記載の方法。
  14. 前記復号化は、前記ビットストリームの前記構文要素を構文解析することを含む、
    請求項13に記載の方法。
  15. 処理装置と、命令を含む非一時的メモリと、を備え、映像データを処理する装置であって、
    前記命令は、前記処理装置によって実行されると、前記処理装置に、
    映像の現在のブロックと前記映像のビットストリームとの間で変換するために、前記現在のブロックは、サイズ条件に基づいてジオメトリ分割モードでコーディングされるか否かを判定することであって、前記現在のブロックが前記サイズ条件を満たす場合に前記ジオメトリ分割モードが無効にされる、判定することと、
    前記判定に基づいて前記変換を行うことと、
    を実施させ、
    前記現在のブロックが前記ジオメトリ分割モードでコーディングされる場合、前記ビットストリームは、複数の構文要素を含み、前記複数の構文要素のうちの1つの構文要素は、現在のブロックに対する前記ジオメトリ分割モードの分割パターンを示し、他の構文要素は、前記現在のブロックに対する複数のマージインデックスを示し、前記ジオメトリ分割モードが有効にされるかどうかを規定する表示が、前記ビットストリームにおけるシーケンスパラメータセットレベルに含まれ、
    前記複数のマージインデックス間の予測を利用する、
    装置。
  16. 令を記憶する非一時的なコンピュータ可読記憶媒体であって、
    前記命令は、処理装置に、
    映像の現在のブロックと前記映像のビットストリームとの間で変換するために、前記現在のブロックは、サイズ条件に基づいてジオメトリ分割モードでコーディングされるか否かを判定することであって、前記現在のブロックが前記サイズ条件を満たす場合に前記ジオメトリ分割モードが無効にされる、判定することと、
    前記判定に基づいて前記変換を行うことと、
    を実施させ、
    前記現在のブロックが前記ジオメトリ分割モードでコーディングされる場合、前記ビットストリームは、複数の構文要素を含み、前記複数の構文要素のうちの1つの構文要素は、現在のブロックに対する前記ジオメトリ分割モードの分割パターンを示し、他の構文要素は、前記現在のブロックに対する複数のマージインデックスを示し、前記ジオメトリ分割モードが有効にされるかどうかを規定する表示が、前記ビットストリームにおけるシーケンスパラメータセットレベルに含まれ、
    前記複数のマージインデックス間の予測を利用する、
    非一時的なコンピュータ可読記憶媒体。
  17. 映像のビットストリームを記憶する方法であって、
    映像の現在のブロックと前記映像のビットストリームとの間で変換するために、前記現在のブロックは、サイズ条件に基づいてジオメトリ分割モードでコーディングされるか否かを判定することであって、前記現在のブロックが前記サイズ条件を満たす場合に前記ジオメトリ分割モードが無効にされる、判定することと、
    前記判定に基づいて前記変換を行うことと、
    前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと、
    を含み、
    前記現在のブロックが前記ジオメトリ分割モードでコーディングされる場合、前記ビットストリームは、複数の構文要素を含み、前記複数の構文要素のうちの1つの構文要素は、現在のブロックに対する前記ジオメトリ分割モードの分割パターンを示し、他の構文要素は、前記現在のブロックに対する複数のマージインデックスを示し、前記ジオメトリ分割モードが有効にされるかどうかを規定する表示が、前記ビットストリームにおけるシーケンスパラメータセットレベルに含まれ、
    前記複数のマージインデックス間の予測を利用する、
    方法
JP2021523349A 2018-11-06 2019-11-06 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法 Active JP7157246B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022161281A JP7436597B2 (ja) 2018-11-06 2022-10-05 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CNPCT/CN2018/114099 2018-11-06
CN2018114099 2018-11-06
CNPCT/CN2018/125956 2018-12-30
CN2018125956 2018-12-30
CN2019071160 2019-01-10
CNPCT/CN2019/071160 2019-01-10
CNPCT/CN2019/071747 2019-01-15
CN2019071747 2019-01-15
PCT/CN2019/115969 WO2020094052A1 (en) 2018-11-06 2019-11-06 Side information signaling for inter prediction with geometric partitioning

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022161281A Division JP7436597B2 (ja) 2018-11-06 2022-10-05 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法

Publications (2)

Publication Number Publication Date
JP2022506152A JP2022506152A (ja) 2022-01-17
JP7157246B2 true JP7157246B2 (ja) 2022-10-19

Family

ID=70610794

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021523349A Active JP7157246B2 (ja) 2018-11-06 2019-11-06 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法
JP2022161281A Active JP7436597B2 (ja) 2018-11-06 2022-10-05 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022161281A Active JP7436597B2 (ja) 2018-11-06 2022-10-05 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法

Country Status (6)

Country Link
US (8) US11070821B2 (ja)
EP (2) EP4307678A2 (ja)
JP (2) JP7157246B2 (ja)
KR (1) KR20210087450A (ja)
CN (5) CN112970263A (ja)
WO (5) WO2020094051A1 (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116567265A (zh) 2017-08-22 2023-08-08 松下电器(美国)知识产权公司 图像编码方法、图像解码方法及非暂态计算机可读介质
KR20240005240A (ko) 2018-06-29 2024-01-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
CN110662053B (zh) 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 使用查找表的视频处理方法、装置和存储介质
TWI723445B (zh) 2018-06-29 2021-04-01 大陸商北京字節跳動網絡技術有限公司 查找表的更新:fifo、約束的fifo
EP3791589A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Which lut to be updated or no updating
CA3105330C (en) 2018-06-29 2023-12-05 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and amvp
CA3101730A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Partial/full pruning when adding a hmvp candidate to merge/amvp
BR112020025916A2 (pt) * 2018-06-30 2021-03-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Método para decodificar um sinal de vídeo
CN110677666B (zh) 2018-07-02 2022-06-14 北京字节跳动网络技术有限公司 Lamvr中取整和修剪的顺序
GB2590310B (en) 2018-09-12 2023-03-22 Beijing Bytedance Network Tech Co Ltd Conditions for starting checking HMVP candidates depend on total number minus K
CN111083484A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 基于子块的预测
CN111147855A (zh) 2018-11-02 2020-05-12 北京字节跳动网络技术有限公司 几何分割预测模式与其他工具之间的协调
WO2020094051A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of side information for inter prediction with geometric partitioning
IL282761B2 (en) * 2018-11-08 2024-04-01 Guangdong Oppo Mobile Telecommunications Corp Ltd A method for encoding/decoding an image signal and a device for it
CA3235103A1 (en) 2018-11-08 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Partitioning of a coding block to obtain a plurality of prediction blocks in encoding/decoding a video signal
WO2020098644A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN113170191B (zh) * 2018-11-16 2022-05-27 寰发股份有限公司 视频编解码的预测方法以及预测装置
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
WO2020103877A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Coding and decoding of video coding modes
CN113056920A (zh) 2018-11-22 2021-06-29 北京字节跳动网络技术有限公司 基于子块的帧间预测的协调方法
WO2020114405A1 (en) 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Indication method of maximum number of candidates
CN111294601A (zh) * 2018-12-07 2020-06-16 华为技术有限公司 视频图像解码、编码方法及装置
US11394989B2 (en) * 2018-12-10 2022-07-19 Tencent America LLC Method and apparatus for video coding
GB2580084B (en) * 2018-12-20 2022-12-28 Canon Kk Video coding and decoding
WO2020139903A1 (en) * 2018-12-25 2020-07-02 Beijing Dajia Internet Information Technology Co., Ltd. Video coding with triangular shape prediction units
US11122272B2 (en) * 2018-12-26 2021-09-14 Mediatek Inc. Triangle prediction with applied-block settings and motion storage settings
WO2020140862A1 (en) 2018-12-30 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditional application of inter prediction with geometric partitioning in video processing
KR20220113836A (ko) * 2018-12-31 2022-08-16 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서 움직임 병합 모드의 시그널링을 위한 시스템 및 방법
KR20240010576A (ko) 2019-01-10 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
BR112021017154A2 (pt) * 2019-03-05 2021-11-09 Fraunhofer Ges Forschung Aparelho que compreende um codificador ou decodificador, método para codificar ou decodificar dados de imagem ou de vídeo e produto de programa de computador
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US20220166968A1 (en) * 2019-03-22 2022-05-26 Lg Electronics Inc. Intra prediction method and apparatus based on multi-reference line in image coding system
KR20230169434A (ko) 2019-04-02 2023-12-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
EP3963889A4 (en) 2019-06-04 2023-01-25 Beijing Bytedance Network Technology Co., Ltd. CONDITIONAL IMPLEMENTATION OF A MOVEMENT CANDIDATE LIST CONSTRUCTION PROCESS
CN117354507A (zh) 2019-06-06 2024-01-05 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
US11172212B2 (en) * 2019-06-06 2021-11-09 Qualcomm Incorporated Decoder-side refinement tool on/off control
WO2021008513A1 (en) 2019-07-14 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Transform block size restriction in video coding
EP3997877A4 (en) 2019-08-13 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. MOTION ACCURACY IN SUBBLOCK-BASED INTERPREDICTION
CN114365487A (zh) * 2019-08-29 2022-04-15 日本放送协会 编码装置、解码装置及程序
WO2021054424A1 (en) * 2019-09-18 2021-03-25 Panasonic Intellectual Property Corporation Of America System and method for video coding
WO2021052507A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Sub-picture coding and decoding of video
US11412264B2 (en) * 2019-09-24 2022-08-09 Qualcomm Incorporated Parameter set signaling for video coding
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
US11533498B2 (en) * 2019-11-21 2022-12-20 Tencent America LLC Geometric partitioning mode in video coding
CN114930819A (zh) * 2019-12-18 2022-08-19 交互数字Vc控股法国公司 三角形合并模式中的子块合并候选
WO2021160165A1 (en) 2020-02-14 2021-08-19 Beijing Bytedance Network Technology Co., Ltd. Collocated picture indication in video bitstreams
CN115699736A (zh) * 2020-06-03 2023-02-03 北京达佳互联信息技术有限公司 具有运动矢量细化的几何分区模式
WO2022213988A1 (en) * 2021-04-05 2022-10-13 Beijing Bytedance Network Technology Co., Ltd. Duplicate partitioning prevention
WO2022217159A1 (en) * 2021-04-09 2022-10-13 Beijing Dajia Internet Information Technology Co., Ltd. Geometric partition mode with explicit motion signaling
CN117321995A (zh) * 2021-04-22 2023-12-29 抖音视界有限公司 用于视频处理的方法、设备和介质
EP4356607A1 (en) * 2021-06-14 2024-04-24 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for geometric partition mode with motion vector refinement
KR20240013796A (ko) * 2021-06-23 2024-01-30 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 움직임 벡터 미세조정을 이용한 기하학적 파티션 모드
CN117730535A (zh) * 2021-07-06 2024-03-19 北京达佳互联信息技术有限公司 视频编解码中用于仿射运动补偿预测的几何分割
WO2023055032A1 (ko) * 2021-09-28 2023-04-06 엘지전자 주식회사 Gpm(geometric partitioning mode) 기반 영상 코딩 방법 및 장치
WO2023055172A1 (ko) * 2021-10-01 2023-04-06 엘지전자 주식회사 Ciip 기반 예측 방법 및 장치
WO2023055126A1 (ko) * 2021-10-01 2023-04-06 엘지전자 주식회사 Gpm 기반 영상 코딩 방법 및 장치
WO2023075124A1 (ko) * 2021-10-25 2023-05-04 현대자동차주식회사 기하학적 인트라 예측모드를 이용하는 비디오 코딩방법 및 장치
WO2023143119A1 (en) * 2022-01-28 2023-08-03 Mediatek Inc. Method and apparatus for geometry partition mode mv assignment in video coding system
WO2023154574A1 (en) * 2022-02-14 2023-08-17 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for geometric partitioning mode with adaptive blending
WO2023195762A1 (ko) * 2022-04-05 2023-10-12 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
EP4258664A1 (en) * 2022-04-07 2023-10-11 Beijing Xiaomi Mobile Software Co., Ltd. Encoding/decoding video picture data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020083403A1 (zh) 2018-10-27 2020-04-30 华为技术有限公司 图像预测方法及装置
WO2020142378A1 (en) 2018-12-31 2020-07-09 Tencent America LLC Method and apparatus for video coding

Family Cites Families (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288504B2 (en) * 2007-04-12 2016-03-15 Thomson Licensing Method and apparatus for fast geometric mode desicion in a video encoder
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
BRPI0818344A2 (pt) 2007-10-12 2015-04-22 Thomson Licensing Métodos e aparelhos para codificação e decodificação de vídeo de partições de modo bi-preditivo geometricamente particionadas
BRPI0818649A2 (pt) * 2007-10-16 2015-04-07 Thomson Licensing Métodos e aparelho para codificação e decodificação de vídeo em superblocos geometricamente particionados.
WO2009050638A2 (en) * 2007-10-16 2009-04-23 Nxp B.V. Video encoding using pixel decimation pattern according to best intra mode
US9538176B2 (en) 2008-08-08 2017-01-03 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
JP5826747B2 (ja) 2009-06-26 2015-12-02 トムソン ライセンシングThomson Licensing 適応的な幾何学的な分割を使用した映像符号化及び復号化の方法及び装置
EP2449784A1 (fr) * 2009-07-03 2012-05-09 France Telecom Prédiction d'un vecteur mouvement d'une partition d'image courante de forme géometrique ou de taille différente de celle d'au moins une partition d'image de référence voisine, codage et décodage utilisant une telle prédiction
US20110075724A1 (en) * 2009-09-29 2011-03-31 Qualcomm Incorporated Encoding parameters with unit sum
JP5581688B2 (ja) * 2009-12-24 2014-09-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
TWI678916B (zh) * 2010-04-13 2019-12-01 美商Ge影像壓縮有限公司 樣本區域合倂技術
CN105704490B (zh) 2010-04-16 2018-07-31 Sk电信有限公司 视频编码设备
CN106851292A (zh) * 2010-07-02 2017-06-13 数码士有限公司 用于帧内预测的解码图像的方法
JP2012023597A (ja) * 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
US20120082225A1 (en) 2010-10-01 2012-04-05 Qualcomm Incorporated Selective indication of transform sizes
JP2012080369A (ja) * 2010-10-01 2012-04-19 Sony Corp 画像処理装置及び画像処理方法
US20120147961A1 (en) * 2010-12-09 2012-06-14 Qualcomm Incorporated Use of motion vectors in evaluating geometric partitioning modes
US9071851B2 (en) * 2011-01-10 2015-06-30 Qualcomm Incorporated Adaptively performing smoothing operations
US9532066B2 (en) * 2011-01-21 2016-12-27 Qualcomm Incorporated Motion vector prediction
CN104054338B (zh) 2011-03-10 2019-04-05 杜比实验室特许公司 位深和颜色可伸缩视频编码
CN106686378B (zh) * 2011-06-14 2019-10-08 三星电子株式会社 对图像进行解码的方法和设备
KR20140011481A (ko) * 2011-06-15 2014-01-28 미디어텍 인크. 3d 비디오 코딩을 위한 움직임 벡터 및 변이 벡터의 예측과 보상 방법 및 장치
DK3606076T3 (da) * 2011-06-27 2021-01-18 Samsung Electronics Co Ltd Indkodning og afkodning af bevægelsesinformation
EP2740263B1 (en) * 2011-09-16 2019-02-27 HFI Innovation Inc. Method and apparatus for prediction mode and partition mode syntax coding for coding units in hevc
US9736489B2 (en) * 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
US9332283B2 (en) * 2011-09-27 2016-05-03 Broadcom Corporation Signaling of prediction size unit in accordance with video coding
US9083983B2 (en) 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
AU2012325419B2 (en) * 2011-10-19 2015-11-05 Hfi Innovation Inc. Method and apparatus for derivation of motion vector predictor candidate set
US9451287B2 (en) * 2011-11-08 2016-09-20 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
US10805617B2 (en) * 2012-01-19 2020-10-13 Texas Instruments Incorporated Scalable prediction type coding
CN102547290B (zh) * 2012-01-20 2013-12-18 厦门大学 一种基于几何分割的视频图像解编码方法
US9426463B2 (en) * 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9621921B2 (en) 2012-04-16 2017-04-11 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
RS56675B1 (sr) 2012-06-11 2018-03-30 Samsung Electronics Co Ltd Postupak kodiranja video zapisa koji dele sao parametar prema komponenti boje
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
US9491459B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
US9491460B2 (en) 2013-03-29 2016-11-08 Qualcomm Incorporated Bandwidth reduction for video coding prediction
WO2014163458A1 (ko) * 2013-04-05 2014-10-09 삼성전자주식회사 인터 레이어 복호화 및 부호화 방법 및 장치를 위한 인터 예측 후보 결정 방법
US20140307780A1 (en) * 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
WO2015004606A1 (en) * 2013-07-09 2015-01-15 Nokia Corporation Method and apparatus for video coding involving syntax for signalling motion information
WO2015006922A1 (en) * 2013-07-16 2015-01-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction
CN103561276B (zh) 2013-11-07 2017-01-04 北京大学 一种图像视频编解码方法
US10327001B2 (en) 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
CN112188207B (zh) * 2014-10-31 2023-10-20 三星电子株式会社 使用高精度跳过编码的视频编码设备和视频解码设备及其方法
US10182240B2 (en) * 2014-11-18 2019-01-15 Mediatek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
SG11201703551VA (en) 2014-12-09 2017-05-30 Mediatek Inc Method of motion vector predictor or merge candidate derivation in video coding
CN104717513B (zh) * 2015-03-31 2018-02-09 北京奇艺世纪科技有限公司 一种双向帧间预测方法及装置
CN106303543B (zh) 2015-05-15 2018-10-30 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
KR20180008445A (ko) 2015-06-10 2018-01-24 삼성전자주식회사 적응적 가중치 예측을 위한 신택스 시그널링을 이용하여 영상을 부호화 또는 복호화하는 방법 및 장치
US10142627B2 (en) 2015-06-18 2018-11-27 Qualcomm Incorporated Intra prediction and intra mode coding
US10841593B2 (en) 2015-06-18 2020-11-17 Qualcomm Incorporated Intra prediction and intra mode coding
US10812822B2 (en) 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
WO2017195554A1 (ja) 2016-05-13 2017-11-16 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置。
EP4060992A1 (en) * 2016-05-13 2022-09-21 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
CN106131546B (zh) 2016-07-26 2018-12-18 王靖韬 一种提前确定hevc合并和跳过编码模式的方法
US11095922B2 (en) 2016-08-02 2021-08-17 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US11284089B2 (en) 2016-09-02 2022-03-22 Vid Scale, Inc. Method and system for signaling of 360-degree video information
US10728572B2 (en) 2016-09-11 2020-07-28 Lg Electronics Inc. Method and apparatus for processing video signal by using improved optical flow motion vector
US10979732B2 (en) 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
US10951912B2 (en) 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
WO2018067952A1 (en) 2016-10-07 2018-04-12 Vid Scale, Inc. Geometry conversion and frame packing associated with 360-degree videos
WO2018092869A1 (ja) * 2016-11-21 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JPWO2018092870A1 (ja) * 2016-11-21 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
FI20166017A (fi) * 2016-12-22 2018-06-23 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
EP3343925A1 (en) 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10701366B2 (en) 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US20180242024A1 (en) * 2017-02-21 2018-08-23 Mediatek Inc. Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10904565B2 (en) * 2017-06-23 2021-01-26 Qualcomm Incorporated Memory-bandwidth-efficient design for bi-directional optical flow (BIO)
WO2019004283A1 (ja) 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
US20200137422A1 (en) 2017-06-30 2020-04-30 Sharp Kabushiki Kaisha Systems and methods for geometry-adaptive block partitioning of a picture into video blocks for video coding
CN107147911B (zh) 2017-07-05 2019-07-26 中南大学 基于局部亮度补偿lic的快速帧间编码模式选择方法及装置
CN111886867B (zh) * 2018-01-09 2023-12-19 夏普株式会社 运动矢量推导装置、运动图像解码装置以及运动图像编码装置
WO2019151279A1 (ja) * 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN108322741B (zh) 2018-01-31 2020-08-28 北京奇艺世纪科技有限公司 一种确定编码模式的方法、装置、编码器及可读存储介质
US10721465B2 (en) * 2018-02-14 2020-07-21 Qualcomm Incorporated Motion compensation for cubemap packed frames
CN108174204B (zh) 2018-03-06 2020-01-03 中南大学 一种基于决策树的帧间快速模式选择方法
CN108632615A (zh) 2018-04-09 2018-10-09 首都师范大学 一种基于运动矢量分析的hevc提前判断skip模式的方法
CN116456080A (zh) * 2018-04-16 2023-07-18 联发科技股份有限公司 视频编解码系统中具有重叠块运动补偿的视频处理的方法及装置
CN116668677A (zh) 2018-05-10 2023-08-29 Lg电子株式会社 解码设备、编码设备和数据发送设备
WO2020009419A1 (ko) * 2018-07-02 2020-01-09 인텔렉추얼디스커버리 주식회사 병합 후보를 사용하는 비디오 코딩 방법 및 장치
US11051010B2 (en) 2018-07-18 2021-06-29 Mediatek Inc. Merge candidates with multiple hypothesis
EP3850849A1 (en) 2018-09-13 2021-07-21 InterDigital VC Holdings, Inc. Improved virtual temporal affine candidates
CN111147855A (zh) 2018-11-02 2020-05-12 北京字节跳动网络技术有限公司 几何分割预测模式与其他工具之间的协调
WO2020094051A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of side information for inter prediction with geometric partitioning
KR20210084479A (ko) 2018-11-06 2021-07-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 모션 정보의 위치 의존적 저장
CN113170112A (zh) 2018-11-22 2021-07-23 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的构建方法
US11115652B2 (en) * 2018-12-07 2021-09-07 Tencent America LLC Method and apparatus for further improved context design for prediction mode and coded block flag (CBF)
WO2020140862A1 (en) 2018-12-30 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditional application of inter prediction with geometric partitioning in video processing
EP3987795A4 (en) * 2019-08-15 2023-02-08 Alibaba Group Holding Limited BLOCK PARTITION METHODS FOR VIDEO CODING

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020083403A1 (zh) 2018-10-27 2020-04-30 华为技术有限公司 图像预测方法及装置
WO2020142378A1 (en) 2018-12-31 2020-07-09 Tencent America LLC Method and apparatus for video coding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Max Blaser, Johannes Sauer, and Mathias Wien,Description of SDR and 360° video coding technology proposal by RWTH Aachen University,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-J0023-v1,10th Meeting: San Diego, US,2018年04月,pp.i-iv,1-14
Meng Xu, Xiang Li, and Shan Liu,CE4-related: Triangle merge index signaling,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0448-v1,13th Meeting: Marrakech, MA,2019年01月03日,pp.1-3
Ru-Ling Liao and Chong Soon Lim,CE10.3.1.b: Triangular prediction unit mode,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0124-v1,12th Meeting: Macao, CN,2018年09月,pp.1-6
Ru-Ling Liao and Chong Soon Lim,CE10: Triangular prediction unit mode (CE10.3.1 and CE10.3.2),Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-K0144-v2,11th Meeting: Ljubljana, SI,2018年07月,pp.1-6
Yongjo Ahn, and Donggyu Sim,CE10-related: Diagonal motion partitions on top of MTT block structure,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-K0270,11th Meeting: Ljubljana, SI,2018年07月,pp.1-9

Also Published As

Publication number Publication date
US11611763B2 (en) 2023-03-21
WO2020094054A1 (en) 2020-05-14
US11070820B2 (en) 2021-07-20
WO2020094049A1 (en) 2020-05-14
US20230283786A1 (en) 2023-09-07
US11166031B2 (en) 2021-11-02
US20210006803A1 (en) 2021-01-07
CN112956202A (zh) 2021-06-11
JP2022506152A (ja) 2022-01-17
US20210243438A1 (en) 2021-08-05
JP7436597B2 (ja) 2024-02-21
US20210337215A1 (en) 2021-10-28
US20210029366A1 (en) 2021-01-28
US20210029372A1 (en) 2021-01-28
US20210266537A1 (en) 2021-08-26
CN112970263A (zh) 2021-06-15
WO2020094050A1 (en) 2020-05-14
WO2020094051A1 (en) 2020-05-14
CN113056917A (zh) 2021-06-29
US11570450B2 (en) 2023-01-31
CN112970255A (zh) 2021-06-15
CN113056917B (zh) 2024-02-06
CN112997489A (zh) 2021-06-18
EP4307678A2 (en) 2024-01-17
US11159808B2 (en) 2021-10-26
CN112997489B (zh) 2024-02-06
US11457226B2 (en) 2022-09-27
KR20210087450A (ko) 2021-07-12
EP3857890A4 (en) 2021-09-22
US11070821B2 (en) 2021-07-20
US20210006790A1 (en) 2021-01-07
JP2023011591A (ja) 2023-01-24
EP3857890A1 (en) 2021-08-04
WO2020094052A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
JP7157246B2 (ja) ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法
KR102608615B1 (ko) Hmvp 후보 저장을 위한 표 유지
JP2023159148A (ja) 動き情報の位置依存記憶装置
KR20210024503A (ko) 슬라이스/타일/lcu 행마다의 룩업 테이블 리셋
CN113170166B (zh) 具有几何分割的帧间预测在视频处理中有条件的应用
WO2020143742A1 (en) Simplified context modeling for context adaptive binary arithmetic coding
CN113366839B (zh) 视频编解码中的细化量化步骤
KR102662449B1 (ko) 디코더 측 정제 툴들의 크기 선택 적용
CN117979023A (zh) 具有几何分割的帧间预测的边信息信令

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221006

R150 Certificate of patent or registration of utility model

Ref document number: 7157246

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150