JP7212150B2 - 適応動きベクトル解像度によるアフィンモードへの構文の使用 - Google Patents

適応動きベクトル解像度によるアフィンモードへの構文の使用 Download PDF

Info

Publication number
JP7212150B2
JP7212150B2 JP2021513387A JP2021513387A JP7212150B2 JP 7212150 B2 JP7212150 B2 JP 7212150B2 JP 2021513387 A JP2021513387 A JP 2021513387A JP 2021513387 A JP2021513387 A JP 2021513387A JP 7212150 B2 JP7212150 B2 JP 7212150B2
Authority
JP
Japan
Prior art keywords
motion
affine
inter mode
mode
affine inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021513387A
Other languages
English (en)
Other versions
JP2022500909A (ja
Inventor
ホンビン リウ
リー ジャン
カイ ジャン
ユエ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022500909A publication Critical patent/JP2022500909A/ja
Priority to JP2023002631A priority Critical patent/JP2023052336A/ja
Application granted granted Critical
Publication of JP7212150B2 publication Critical patent/JP7212150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/523Motion estimation or motion compensation with sub-pixel accuracy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

(関連出願の相互参照)
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2018年9月19日出願の国際特許出願PCT/CN2018/106513号、2019年2月1日出願の国際特許出願PCT/CN2019/074433号の優先権および利益を適時に主張することを目的とする。米国法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
本特許明細書は、映像処理技術、デバイスおよびシステムに関する。
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像の受信および表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが期待される。
デジタル映像符号化に関し、具体的には、適応動きベクトル解像度(AMVR)を有するアフィンモードのための動きベクトル予測子の導出および信号通知に関するデバイス、システム、および方法を説明する。記載された方法は、既存の映像符号化規格(例えば、高効率映像符号化(HEVC))および将来の映像符号化規格またはビデオコーデックの両方に適用され得る。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックの符号化表現と現在のブロックとの間で変換するために、現在の映像ブロックを含む映像領域に適用可能な許容される複数のMVD精度のセットから、変換に使用される動きベクトル差(MVD)精度を判定することと、MVD精度に基づいて変換を行うことと、を含む。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、1つの映像の1つ以上の映像ブロックおよびこの映像の符号化表現を含む映像領域に対して、この映像領域におけるこの1つ以上の映像ブロックを変換するための複数の動きベクトル差(MVD)精度の使用を判定することと、この判定に基づいてこの変換を行うこととを含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の1つ以上の映像ブロックおよび映像の符号化表現を含む映像領域に対して、現在の映像ブロックと映像の符号化表現との間で変換するために、現在の映像ブロックに適応動きベクトル解像度(AMVR)処理をどの適用するか否かを判定することと、この判定に基づいてこの変換を行うことと、を含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の1つ以上の映像ブロックおよび映像の符号化表現を含む映像領域に対して、現在の映像ブロックと映像の符号化表現との間で変換するために、現在の映像ブロックに適応動きベクトル解像度(AMVR)処理をどのように適用するかを判定することと、この判定に基づいてこの変換を行うこと、とを含む。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、アフィン符号化モードを用いる現在の符号化ユニットの親符号化ユニットの符号化モードまたはアフィン符号化モードのひずみ率(RD)コストに基づいて、映像の現在のブロックの符号化表現と現在のブロックとの間で変換するために適応動きベクトル解像度(AMVR)の使用を判定することと、判定した結果に従って変換を行うことと、を含む。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックの符号化表現と、高度動きベクトル予測(AMVP)符号化モードを使用する現在のブロックとの間で変換するための適応動きベクトル解像度(AMVR)の使用量を、AMVP符号化モードのひずみ率(RD)コストに基づいて判定することと、判定の結果に従って変換を行うことと、を含む。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックの符号化表現と現在のブロックとの間で変換するために、4パラメータアフィンモデルまたは6パラメータアフィンモデルを使用してMV(動きベクトル)精度のセットを生成することと、MV精度のセットに基づいてこの変換を行うことと、を含む。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、アフィン符号化モードを使用する現在のブロックの親ブロックの符号化モードに基づいて、復号化時の動きベクトル解像度を改善するために適応動きベクトル解像度(AMVR)ツールを使用して変換を行うかどうかを判定することと、判定の結果に従って変換を行うことと、を含む。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、アフィン符号化モードを使用して前に符号化された前のブロックのMV精度の使用に基づいて、現在のブロックの符号化表現と現在のブロックとの間で変換するためにアフィン符号化モードを使用する、現在のブロックのMV精度のひずみ率(RD)計算の終了を判定することと、この判定の結果に従って、変換を行うことと、を含む。
別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で実施され、コンピュータ可読プログラム媒体に記憶される。
さらに別の代表的な態様では、上述した方法を行うように構成された、または行うように動作可能なデバイスが開示される。このデバイスは、この方法を実装するようにプログラムされた処理装置を含んでもよい。
さらに別の代表的な態様では、ビデオデコーダ装置は、本明細書で説明されるような方法を実装し得る。
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される。
マージ候補リストを構築する例を示す。 空間的候補の位置の一例を示す。 空間的マージ候補の冗長性チェックの対象となる候補対の例を示す。 現在のブロックのサイズおよび形状に基づく第2の予測ユニット(PU)の位置の例を示す。 現在のブロックのサイズおよび形状に基づく第2の予測ユニット(PU)の位置の例を示す。 時間的マージ候補のための動きベクトルのスケーリングの例を示す。 時間マージ候補の候補位置の一例を示す図である。 結合双予測マージ候補を生成する例を示す。 動きベクトル予測候補の構築例を示す。 空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す。 符号化ユニット(CU)のために代替の時間的動きベクトル予測(ATMVP)アルゴリズムを使用する動き予測の例を示す。 空間的-時間的動きベクトル予測(STMVP)アルゴリズムで使用されるサブブロックおよび近傍のブロックを有する符号化ユニット(CU)の例を示す。 異なるMV精度で符号化するための例示的なフローチャートを示す。 重複ブロック動き補償(OBMC)アルゴリズムを使用する場合のサブブロックの例示的なスナップショットを示す。 重複ブロック動き補償(OBMC)アルゴリズムを使用する場合のサブブロックの例示的なスナップショットを示す。 局所照明補償(LIC)アルゴリズムのパラメータを導出するために使用される近傍のサンプルの例を示す。 簡略化したアフィン動きモデルの一例を示す。 サブブロックごとのアフィン動きベクトルフィールド(MVF)の例を示す。 AF_INTERアフィン動きモードにおける動きベクトル予測(MVP)の例を示す。 それぞれ4パラメータおよび6パラメータアフィンモードの例を示す。 それぞれ4パラメータおよび6パラメータアフィンモードの例を示す。 AF_MERGEアフィン動きモードの候補の例を示す。 AF_MERGEアフィン動きモードの候補の例を示す。 フレームレートアップ変換(FRUC)アルゴリズムに基づく特殊なマージモードである、パターンマッチング動きベクトル導出(PMMVD)モードにおけるバイラテラルマッチングの例を示す。 FRUCアルゴリズムにおけるテンプレートマッチングの一例を示す。 FRUCアルゴリズムにおけるユニラテラル動き推定の例を示す。 双方向オプティカルフロー(BIO)アルゴリズムで使用されるオプティカルフローの軌跡の例を示す。 ブロック拡張なしの双方向オプティカルフロー(BIO)アルゴリズムを使用した例示的なスナップショットを示す。 ブロック拡張なしの双方向オプティカルフロー(BIO)アルゴリズムを使用した例示的なスナップショットを示す。 バイラテラルテンプレートマッチングに基づくデコーダ側動きベクトル改良(DMVR)アルゴリズムの一例を示す。 開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。 開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。 開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。 開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。 開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。 開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。 開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。 開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。 開示される技術のいくつかの実装形態に基づく、映像処理のための例示的な方法のフローチャートを示す。 本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。 対称モードの例を示す。 本明細書に記載される映像処理システムを実装するためのハードウェアプラットフォームの一例を示す別のブロック図である。
より高い解像度の映像の需要が増大しているため、近代技術において、映像符号化法および技術は、遍在している。ビデオコーデックは、一般的に、デジタル映像を圧縮または展開する電子回路またはソフトウェアを含み、より高い符号化効率を提供するように絶えず改良されている。ビデオコーデックは、非圧縮映像を圧縮フォーマットに変換する、またはその逆である。映像の品質、映像を表現するために使用されるデータの数(ビットレートで決まる)、符号化および復号化アルゴリズムの複雑性、データの損失およびエラーに対する敏感さ、編集のしやすさ、ランダムアクセス、およびエンドツーエンドの遅延(待ち時間)の間には複雑な関係がある。この圧縮フォーマットは、通常、標準的な映像圧縮仕様、例えば、高効率映像符号化(HEVC)規格(H.265またはMPEG-H Part2としても知られている)、完成させるべき汎用映像符号化規格、または他の現在のおよび/または将来の映像符号化基準に準拠する。
開示される技術の実施形態は、圧縮性能を向上させるために、既存の映像符号化規格(例えば、HEVC、H.265)および将来の規格に適用されてもよい。本明細書では、説明の可読性を向上させるために章の見出しを使用しており、説明または実施形態(および/または実装形態)をそれぞれの章のみに限定するものではない。
1. HEVC/H.265におけるインター予測の例
映像符号化規格は、長年にわたって大幅に改善され、現在、部分的には、高い符号化効率を実現し、より高い解像度をサポートする。HEVCおよびH.265などの最近の規格は、時間予測プラス変換符号化が利用されるハイブリッド映像符号化構造に基づく。
1.1 予測モードの例
各インター予測されたPU(予測ユニット)は、1つまたは2つの参照ピクチャリストのための動きパラメータを有する。いくつかの実施形態において、動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。他の実施形態において、2つの参照ピクチャリストのうちの1つの参照ピクチャリストの使用は、inter_pred_idcを用いて信号通知されてもよい。さらに他の実施形態において、動きベクトルは、予測子に対するデルタ(delta)として明確にコーディングされてもよい。
1つの符号化ユニット(CU)がスキップモードで符号化される場合、1つのPUがこのCUに関連付けられ、有意な残差係数がなく、コーディング動きベクトルデルタも参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のPUのための動きパラメータを、空間的および時間的候補を含む近傍のPUから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたPUに適用することができる。マージモードの代替としては、動きパラメータの明確な送信があり、PUごとに、各参照ピクチャリストおよび参照ピクチャリストの使用に対応する参照ピクチャインデックスである、動きベクトルを明確に信号通知する。
2つの参照ピクチャリストのうちの1つを使用することを信号通知が示す場合、1つのサンプルのブロックからPUを生成する。これを「単一予測」と呼ぶ。PスライスおよびBスライスの両方に対して単一予測が利用可能である。
両方の参照ピクチャリストを使用することを信号通知が示す場合、2つのサンプルのブロックからPUを生成する。これを「双予測」と呼ぶ。Bスライスのみに双予測が利用可能である。
1.1.1 マージモードの候補を構築する実施形態
マージモードを使用してPUを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、以下のステップのシーケンスに基づいてまとめることができる。
ステップ1:初期候補導出
ステップ1.1:空間的候補導出
ステップ1.2:空間的候補の冗長性チェック
ステップ1.3:時間的候補導出
ステップ2:追加候補挿入
ステップ2.1:双予測候補の作成
ステップ2.2:動きゼロ候補の挿入
図1は、上記ステップのシーケンスに基づいて、マージ候補リストを構築する例を示す。空間的マージ候補導出のために、5つの異なる位置にある候補の中から最大4つのマージ候補を選択する。時間的マージ候補導出のために、2つの候補の中から最大1つのマージ候補を選択する。デコーダ側ではPUごとに一定数の候補を想定しているので、候補数がスライスヘッダで信号通知されるマージ候補(MaxNumMergeCand)の最大数に達しない場合、追加の候補を生成する。候補の数は一定であるので、短縮された単項2値化(TU)を使用して最良マージ候補のインデックスをエンコードする。CUのサイズが8に等しい場合、現在のCUのすべてのPUは、2N×2N予測ユニットのマージ候補リストと同じ1つのマージ候補リストを共有する。
1.1.2 空間的マージ候補の構築
空間的マージ候補の導出において、図2に示す位置にある候補の中から、最大4つのマージ候補を選択する。導出の順序はA、B、B、A、Bである。位置A、B、B、AのいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはイントラコーディングされた場合にのみ、位置Bが考慮される。位置Aの候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。
計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。その代わりに、図3の矢印で結ばれたペアのみを考慮し、冗長性チェックに使用された対応する候補が同じ動き情報を持っていない場合に、候補をリストに追加するのみである。重複した動き情報の別のソースは、2N×2Nとは異なる分割に関連付けられた「第2のPU」である。一例として、図4Aおよび図4Bは、それぞれ、N×2Nおよび2N×Nの場合の第2のPUを描いている。現在のPUをN×2Nに分割する場合、リスト構築に位置Aの候補は考慮されない。いくつかの実施形態において、この候補を加えることにより、2つの予測ユニットが同じ動き情報を有するようになり、1つの符号化ユニットに1つのPUのみを有することは冗長である。同様に、現在のPUを2N×Nに分割する場合、位置Bは考慮されない。
1.1.3 時間的マージ候補の構築
このステップにおいて、1つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のピクチャオーダカウント(POC)差を有するピクチャに属する同一位置PUに基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置PUの導出に用いられる参照ピクチャリストが明確に信号通知される。
図5は、POC距離tb、tdを用いて、同一位置PUの動きベクトルからスケーリングされた、現在のピクチャの参照ピクチャと現在のピクチャとの間のPOC差をtbとし、同一位置ピクチャの参照ピクチャと同一位置ピクチャとの間のPOC差をtdとする、時間的マージ候補のためのスケーリングされた動きベクトル(点線)の導出の例を示す。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。Bスライスの場合、2つの動きベクトル、即ち、1つは参照ピクチャリスト0のためのもの、もう1つは参照ピクチャリスト1のためのものを取得し、これらを組み合わせることによって、双予測マージ候補を形成する。
参照フレームに属する同一位置PU(Y)において、図6に示すように、候補Cと候補Cとの間で時間的候補の位置を選択する。位置CのPUが利用可能でない場合、イントラコーディングされている場合、または現在のCTUの外側にある場合、位置Cが使用される。そうでない場合、位置Cが時間的マージ候補の導出に使用される。
1.1.4 追加タイプのマージ候補の構築
時空間的マージ候補の他に、2つの追加のタイプのマージ候補、すなわち、結合双予測マージ候補およびゼロマージ候補がある。時空間的マージ候補を利用して、結合双予測マージ候補を生成する。結合双予測マージ候補は、Bスライスのみに使用される。最初の候補の第1の参照ピクチャリスト動きパラメータと別の候補の第2の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双予測候補を生成する。これら2つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双予測候補を形成する。
図7は、この処理の例を示しており、mvL0、refIdxL0、またはmvL1、refIdxL1を有するオリジナルリスト(710、左側)における、2つの候補を使用して、最終リスト(720、右側)に加えられる結合双予測マージ候補を生成する。
動きゼロ候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、MaxNumMergeCand容量にヒットする。これらの候補は、空間的変位がゼロであり、新しいゼロ動き候補をリストに加える度にゼロから始まり増加する参照ピクチャインデックスを有する。これらの候補が使用する参照フレームの数は、それぞれ、一方向予測の場合は1つ、双方向予測の場合は2つである。いくつかの実施形態において、これらの候補に対して冗長性チェックは行われない。
1.1.5 並列処理のための動き推定領域の例
符号化処理を高速化するために、動き推定を並列に行うことができ、それによって、所与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。1つの予測ユニットは、その関連する動き推定が完了するまで、隣接するPUから動きパラメータを導出することができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能性がある。符号化効率と処理待ち時間との間のトレードオフを緩和するために、動き推定領域(MER)を規定することができる。「log2_parallel_merge_level_minus2」構文要素を使用して、ピクチャパラメータセット(PPS)においてMERのサイズを信号通知してもよい。1つのMERを規定するとき、同じ領域にあるマージ候補は使用不可としてマークされ、それゆえにリスト構築においては考慮されない。
1.2 高度動きベクトル予測(AMVP)の実施形態
AMVPは、動きパラメータの明確な伝送に使用される、動きベクトルの近傍のPUとの空間的-時間的相関を利用する。まず、左側、上側の時間的に近傍のPU位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構築する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用してエンコードされる。この場合に符号化対象の最大値は2である(図8参照)。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。
1.2.1 動きベクトル予測候補の構築例
図8は、動きベクトル予測候補の導出処理をまとめたものであり、refidxを入力として、各参照ピクチャリストに対して実装されてもよい。
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という2つのタイプの動きベクトル候補が考えられる。空間的動きベクトル候補を導出するために、先に図2に示したように、5つの異なる位置にある各PUの動きベクトルに基づいて、最終的には2つの動きベクトル候補を導出する。
時間的動きベクトル候補を導出するために、2つの異なる同一位置に配置された位置に基づいて導出された2つの候補から1つの動きベクトル候補を選択する。第1の時空間的候補リストを作成した後、リストにおける重複した動きベクトル候補を除去する。候補の数が2よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが1よりも大きい動きベクトル候補をリストから削除する。空間的―時間的動きベクトル候補の数が2未満である場合は、追加のゼロ動きベクトル候補をリストに加える。
1.2.2 空間的動きベクトル候補の構築
空間的動きベクトル候補の導出において、前述の図2に示したような位置にあるPUから導出された5つの候補のうち、最大2つの候補を考慮され、それらの位置は動きマージの位置と同じである。現在のPUの左側のための導出の順序は、A、A、スケーリングされたA、スケーリングされたAとして規定される。現在のPUの上側のための導出の順序は、B、B、B、スケーリングされたB、スケーリングされたB、スケーリングされたBとして規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合は4つ、すなわち空間的スケーリングを使用する必要がない2つの場合と、空間的スケーリングを使用する2つの場合とがある。4つの異なる場合をまとめると、以下のようになる。
--空間的スケーリングなし
(1)同じ参照ピクチャリスト、および同じ参照ピクチャインデックス(同じPOC)
(2)異なる参照ピクチャリストであるが、同じ参照ピクチャインデックス(同じPOC)
--空間的スケーリング
(3)同じ参照ピクチャリストであるが、異なる参照ピクチャインデックス(異なるPOC)
(4)異なる参照ピクチャリスト、および異なる参照ピクチャインデックス(異なるPOC)
まず、非空間的スケーリングの場合をチェックし、次に、空間的スケーリングを可能にする場合をチェックする。参照ピクチャリストにかかわらず、POCが近傍のPUの参照ピクチャと現在のPUの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのPUが利用可能でないか、またはイントラコーディングされている場合、上側の動きベクトルのスケーリングは、左側および上側MV候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。
図9の例に示すように、空間的スケーリングの場合は、時間的スケーリングの場合と同様に、近傍のPUの動きベクトルがスケーリングされる。1つの違いは、現在のPUの参照ピクチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。
1.2.3 時間的動きベクトル候補の構築
参照ピクチャインデックスを導出すること以外は、時間的マージ候補を導出するためのすべての処理は、空間的動きベクトル候補を導出するための処理と同じである(図6の例に示す)。いくつかの実施形態において、参照ピクチャインデックスはデコーダに信号通知される。
2. 共同探索モデル(Joint Exploration Model:JEM)におけるインター予測方法の例
いくつかの実施形態において、将来の映像符号化技術は、共同探索モデル(JEM)として知られる参照ソフトウェアを使用して探索される。JEMでは、サブブロックベースの予測は、アフィン予測、代替時間的動きベクトル予測(ATMVP)、空間的-時間的動きベクトル予測(STMVP)、双方向オプティカルフロー(BIO)、フレームレートアップ変換(FRUC)、ローカル適応動きベクトル解像度(LAMVR)、重複ブロック動き補償(OBMC)、ローカル照明補償(LIC)、デコーダ側動きベクトル改良(DMVR)などの、いくつかの符号化ツールで適用されている。
2.1 サブCUに基づく動きベクトル予測の例
4分木に2分木を加えたJEM(QTBT)において、各CUは、各予測方向に対して最大1つの動きパラメータのセットを有することができる。いくつかの実施形態において、エンコーダにおいて、ラージCUをサブCUに分割し、ラージCUのすべてのサブCUの動き情報を導出することにより、2つのサブCUレベルの動きベクトル予測方法を考慮する。代替的な時間的動きベクトル予測(ATMVP)方法により、各CUが、配列された参照ピクチャにおける現在のCUよりも小さい複数のブロックから複数の動き情報のセットをフェッチすることが可能となる。空間的-時間的動きベクトル予測(STMVP)法において、時間的動きベクトル予測子および空間的近傍動きベクトルを使用して、サブCUの動きベクトルを再帰的に導出する。いくつかの実施形態において、サブCU動き予測のためにより正確な動きフィールドを維持するために、参照フレームの動き圧縮は無効にされてもよい。
2.1.1 代替の時間的動きベクトル予測(ATMVP)の例
ATMVP法において、時間的動きベクトル予測(TMVP)法は、現在のCUより小さいブロックから複数のセットの動き情報(動きベクトルおよび参照インデックスを含む)を取り出すことで修正される。
図10は、CU1000におけるATMVP動き予測処理の一例を示す。ATMVP法は、CU1000におけるサブCU1001の動きベクトルを2つのステップで予測する。第1のステップでは、参照ピクチャ1050における対応するブロック1051を時間的ベクトルで特定する。参照ピクチャ1050は、モーションソースピクチャとも呼ばれる。第2のステップでは、現在のCU1000をサブCU1001に分割し、各サブCUに対応するブロックから、各サブCUの動きベクトルおよび参照インデックスを得る。
第1のステップにおいて、現在のCU1000の空間的に近傍のブロックの動き情報によって、参照ピクチャ1050および対応するブロックを判定する。近傍のブロックの繰り返し走査処理を回避するために、現在のCU1000のマージ候補リストにおける第1のマージ候補を用いる。第1の利用可能な動きベクトルおよびその関連する参照インデックスを、時間的ベクトルおよびモーションソースピクチャのインデックスに設定する。このように、TMVPに比べて、対応するブロックをより正確に特定することができ、対応するブロック(配列されたブロックと呼ばれることがある)は、常に現在のCUに対して右下または中心位置にある。
第2のステップにおいて、現在のCUの座標に時間的ベクトルを加えることで、モーションソースピクチャ1050における時間的ベクトルによって、サブCU1051の対応するブロックを特定する。サブCUごとに、その対応するブロックの動き情報(例えば、中心サンプルを覆う最小の動きグリッド)を使用して、サブCUの動き情報を導出する。対応するN×Nブロックの動き情報を特定した後、HEVCのTMVPと同様に、現在のサブCUの動きベクトルおよび参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコーダは、低遅延条件(例えば、現在のピクチャのすべての参照ピクチャのPOCが現在のピクチャのPOCよりも小さい)が満たされているかどうかをチェックし、場合によっては、動きベクトルMVx(例えば、参照ピクチャリストXに対応する動きベクトル)を使用して、各サブCUの動きベクトルMVy(例えば、Xが0または1に等しく、Yが1-Xに等しい)を予測する。
2.1.2 空間的-時間的動きベクトル予測(STMVP)の例
STMVP法において、サブCUの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。図11は、4つのサブブロックおよび近傍のブロックを有する1つのCUの例を示す。4つの4×4個のサブCU、A(1101)、B(1102)、C(1103)、およびD(1104)を含む8×8個のCU1100を考える。現在のフレームにおける近傍の4×4ブロックを、a(1111)、b(1112)、c(1113)、d(1114)とラベルする。
サブCU Aの動きの導出は、その2つの空間的近傍を特定することで始まる。第1の近傍は、サブCU A1101の上のN×Nブロックである(ブロックc1113)。このブロックc(1113)が利用可能でない、またはイントラ符号化されている場合、サブCU A(1101)の上の他のN×N個のブロックをチェックする(ブロックc1113から始まって左から右へ)。第2の近傍は、サブCU A1101の左側のブロックである(ブロックb1112)。ブロックb(1112)が利用可能でない、またはイントラ符号化されている場合、サブCU A1101の左側の他のブロックをチェックする(ブロックb1112から始まり、上から下へ)。各リストの近傍のブロックから得られた動き情報を、所与のリストの第1の参照フレームにスケーリングする。次に、HEVCに規定されているTMVP導出と同じ手順に従って、サブブロックA1101の時間的動きベクトル予測子(TMVP)を導出する。ブロックD1104における配列されたブロックの動き情報がフェッチされ、それに応じてスケーリングされる。最後に、動き情報を検索し、スケーリングした後、参照リストごとにすべての利用可能な動きベクトルを別々に平均する。この平均化された動きベクトルを現在のサブCUの動きベクトルとする。
2.1.3 サブCUの動き予測モード信号通知の例
いくつかの実施形態において、サブCUモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ATMVPモードおよびSTMVPモードを表すように、各CUのマージ候補リストに2つの追加のマージ候補を加える。他の実施形態において、シーケンスパラメータセットがATMVPおよびSTMVPが有効であることを示す場合、7個までのマージ候補を使用してもよい。追加のマージ候補のエンコーディングロジックは、HMにおけるマージ候補の場合と同じであり、つまり、PまたはBスライスにおける各CUについて、2つの追加のマージ候補に対して2回以上のRDチェックが必要となるかもしれない。いくつかの実施形態において、例えばJEMのように、マージインデックスのすべての2値(bin)はコンテキストベースの適応型2進算術符号化(CABAC)によりコンテキスト符号化される。他の実施形態、例えばHEVCにおいては、第1の2値のみがコンテキストコーディングされ、残りの2値はコンテキストバイパスコーディングされる。
2.2 適応動きベクトル差解像度の例
いくつかの実施形態において、use_integer_MV_flagがスライスヘッダにおいて0であるとき、4分の1輝度サンプルの単位で動きベクトルの差(MVD)(動きベクトルとPUの予測動きベクトルとの差)を信号通知される。JEMにおいて、ローカル適応動きベクトル解像度(LAMVR)が導入される。JEMにおいて、MVDは、1/4輝度サンプル、整数輝度サンプルまたは4つの輝度サンプルの単位でコーディングできる。MVD分解能は符号化ユニット(CU)レベルで制御され、MVD解像度フラグは、少なくとも1つのノンゼロMVDモジュールを有する各CUに対して条件付きで信号通知される。
少なくとも1つのノンゼロMVDモジュールを有するCUの場合、1/4輝度サンプルMV精度がCUにおいて使用されるかどうかを示すために、第1のフラグが信号通知される。第1のフラグ(1に等しい)が、1/4輝度サンプルMV精度が使用されていないことを示す場合、整数輝度サンプルMV精度が使用されるかまたは4輝度サンプルMV精度が使用されるかを示すために、別のフラグが信号通知される。
CUの第1のMVD解像度フラグがゼロであるか、またはCUに対してコーディングされていない(つまり、CUにおけるすべてのMVDがゼロである)場合、CUに対して1/4輝度サンプルMV解像度が使用される。CUが整数輝度サンプルMV精度または4輝度サンプルMV精度を使用する場合、CUのAMVP候補リストにおけるMVPを対応する精度に丸める。
エンコーダにおいて、CUレベルのRDチェックは、どのMVD解像度をCUに用いるかを判定するために用いられる。すなわち、1つのMVD解像度ごとに3回、CUレベルのRDチェックを行う。エンコーダの速度を速めるために、JEMにおいては、以下の符号化方式が適用される。
--通常の1/4輝度サンプルMVD解像度を有するCUのRDチェック中、現在のCUの動き情報(整数輝度サンプル精度)が記憶される。整数輝度サンプルおよび4輝度サンプルのMVD解像度を有する同じCUのRDチェック中に、記憶された動き情報(丸められた後)は、更なる小範囲動きベクトル改良の開始点として使用されるので、時間がかかる動き推定処理が3回重複しない。
--4輝度サンプルMVD解像度を有するCUのRDチェックを条件付きで呼び出す。CUの場合、整数輝度サンプルMVD解像度のRDコストが1/4輝度サンプルMVD解像度のそれよりもはるかに大きい場合、CUのための4輝度サンプルMVD解像度のRDチェックは省略される。
符号化処理を図12に示す。まず、1/4画素MVをテストし、RDコストを計算し、RDCost0と表し、次に、整数MVをテストし、RDコストをRDCost1と表す。RDCost1<th*RDCost0(ここで、thは正値の閾値である)である場合、4画素MVをテストし、そうでない場合、4画素MVをスキップする。基本的に、整数または4画素MVをチェックするときには、1/4画素MVに対して動き情報およびRDコスト等が既知であり、これを再利用して整数または4画素MVの符号化処理を高速化することができる。
2.3 動きベクトルの記憶精度を向上させる例
HEVCにおいて、動きベクトルの精度は、1/4画素(4:2:0映像の場合、1/4輝度サンプルおよび1/8クロマサンプル)である。JEMにおいて、内部の動きベクトルの記憶およびマージ候補の精度は、1/16画素にまで向上する。スキップ/マージモードで符号化されたCUの動き補償インター予測には、より高い動きベクトル精度(1/16画素)が用いられる。通常のAMVPモードで符号化されたCUの場合、整数画素または1/4画素の動きのいずれかが使用される。
HEVC動き補償補間フィルタと同じフィルタ長と正規化係数を有するSHVCアップサンプリング補間フィルタを、追加の分数画素位置の動き補償補間フィルタとして使用する。JEMにおいて、クロマ成分の動きベクトルの精度は1/32サンプルであり、近傍の2つの1/16画素の端数位置のフィルタの平均を用いて、1/32画素の端数位置の追加の補間フィルタを導出する。
2.4 重複ブロック動き補償(OBMC)の例
JEMにおいて、OBMCは、CUレベルの構文を使用してオン/オフを切り替えることができる。JEMにおいてOBMCを使用する場合、OBMCは、CUの右下の境界を除くすべての動き補償(MC)ブロック境界に対して実行される。また、輝度およびクロマ成分の両方に適用される。JEMにおいて、MCブロックは符号化ブロックに対応する。CUがサブCUモードで符号化された(サブCUマージ、アフィン、およびFRUCモードを含む)場合、CUの各サブブロックは1つのMCブロックである。均一にCU境界を処理するために、OBMCは、すべてのMCブロック境界に対してサブブロックレベルで実行され、ここで、サブブロックサイズは、図13A、13Bに示すように、4×4に等しく設定される。
図13Aは、CU/PU境界におけるサブブロックを示し、斜線を付けたサブブロックは、OBMCが適用される場所である。同様に、図13Bは、ATMVPモードのサブPUを示す。
OBMCが現在のサブブロックに適用される場合、現在の動きベクトルの他に、4つの接続された近傍のサブブロックの動きベクトルも、利用可能であり、現在の動きベクトルと同一でない場合には、現在のサブブロックのための予測ブロックを導出するために使用される。複数の動きベクトルに基づくこれらの複数の予測ブロックを組み合わせ、現在のサブブロックの最終予測信号を生成する。
近傍のサブブロックの動きベクトルに基づく予測ブロックをPN(Nは、近傍の上、下、左、右のサブブロックのインデックス)とし、現在のサブブロックの動きベクトルに基づく予測ブロックをPCとする。PNが現在のサブブロックと同じ動き情報を含む近傍のサブブロックの動き情報に基づく場合、OBMCはPNから行われない。そうでない場合、PNのすべてのサンプルをPC内の同じサンプルに加える。すなわち、PNの4つの行/列をPCに加える。PNには重み係数{1/4,1/8,1/16,1/32}を用い、PCには重み係数{3/4,7/8,15/16,31/32}を用いる。例外は、小さなMCブロック(すなわち、符号化ブロックの高さまたは幅が4に等しいか、または1つのCUがサブCUモードで符号化される場合)であり、その場合、2つの行/列のPNのみがPCに追加される。この場合、PNに対して重み係数{1/4,1/8}が使用され、PCに対して重み係数{3/4,7/8}が使用される。垂直(水平)方向に近傍のサブブロックの動きベクトルに基づいて生成されたPNに対して、PNの同じ行(列)におけるサンプルを、同じ重み係数でPCに加算する。
JEMにおいて、サイズが256輝度サンプル以下のCUの場合、現在のCUに対してOBMCが適用されているかどうかを示すように、CUレベルフラグが信号通知される。サイズが256輝度サンプルよりも大きい、またはAMVPモードで符号化されていないCUの場合、OBMCがデフォルトで適用される。エンコーダにおいて、OBMCがCUに適用される場合、その影響は動き推定ステージ中に考慮される。上側近傍のブロックおよび左側近傍のブロックの動き情報を用いてOBMCにより形成された予測信号は、現在のCUの元の信号の上側および左側の境界を補償するために用いられ、その後、通常の動き推定処理が適用される。
2.5 局所照明補償(LIC)の例
LICは、倍率aおよびオフセットbを用いて、照明変化の線形モデルに基づく。そして、各インターモード符号化ユニット(CU)に対して適応的に有効または無効とされる。
LICがCUに適用される場合、現在のCUの近傍のサンプルおよびそれらに対応する参照サンプルを使用することによって、パラメータaおよびbを導出するために、最小二乗誤差法が使用される。図14は、ICアルゴリズムのパラメータを導出するために使用される近傍のサンプルの例を示す。具体的には、図14に示すように、CUのサブサンプリング(2:1のサブサンプリング)された近傍サンプルと、参照ピクチャ内の対応するサンプル(現在のCUまたはサブCUの動き情報によって特定される)とが使用される。ICパラメータは、各予測方向に対して別々に導出され、適用される。
1つのCUがマージモードで符号化される場合、マージモードにおける動き情報のコピーと同様に、近傍のブロックからLICフラグをコピーし、そうでない場合、CUにLICフラグを信号通知してLICが適用されるかどうかを示す。
1つのピクチャに対してLICが有効化されるとき、1つのCUに対してLICが適用されるかどうかを判定するために、追加のCUレベルRDチェックが必要である。CUのためにLICが有効化される場合、整数画素動き探索および小数画素動き探索のために、SADおよびSATDの代わりに、それぞれ、絶対差の平均除去和(MR-SAD)および絶対アダマール変換差の平均除去和(MR-SATD)が使用される。
符号化の複雑性を低減するために、JEMにおいては、以下のエンコーディング方式が適用される。
--現在の画像とその参照ピクチャとの間に明瞭な照度変化がない場合、LICは画像全体に対して無効にされる。この状況を識別するために、エンコーダにおいて、現在のピクチャおよび現在のピクチャのすべての参照ピクチャのヒストグラムを計算する。現在のピクチャと現在のピクチャのすべての参照ピクチャとの間のヒストグラム差が所与の閾値よりも小さい場合、現在のピクチャに対してLICを無効化し、そうでない場合、現在のピクチャに対してLICを有効化する。
2.6 アフィン動き補償予測の例
HEVCにおいて、動き補償予測(MCP)のために並進運動モデルのみが適用される。しかしながら、カメラおよび対象物は、様々な種類の動き、例えば、ズームイン/ズームアウト、回転、透視運動、および/または他の不規則な動きを有してもよい。一方、JEMは、簡易アフィン変換動き補償予測を適用する。図15は、2つの制御点動きベクトルVおよびVによって記述されるブロック1400のアフィン動きフィールドの例を示す。ブロック1400の動きベクトルフィールド(MVF)は、以下の式で表すことができる。
Figure 0007212150000001
図15に示すように、(v0x,v0y)は左上隅の制御点の動きベクトルであり、(v1x,v1y)は右上隅の制御点の動きベクトルである。動き補償予測を簡単にするために、サブブロックに基づくアフィン変換予測を適用することができる。サブブロックのサイズM×Nは、以下のように導出される。
Figure 0007212150000002
ここで、MvPreは、動きベクトルの分数精度(例えば、JEMでは1/16)である。(v2x,v2y)は、式(1)に従って算出された左下制御点の動きベクトルである。必要であれば、MおよびNを下方に調整して、それぞれwおよびhの除数にすることができる。
図16は、ブロック1500のためのサブブロックごとのアフィンMVFの例を示す。各M×Nサブブロックの動きベクトルを導出するためには、各サブブロックの中心サンプルの動きベクトルを式(1)に従って算出し、動きベクトルの分数精度(例えば、JEMでは1/16)に丸めればよい。次に、動き補償補間フィルタを適用して、導出された動きベクトルを用いて各サブブロックの予測を生成することができる。MCPの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ精度で保存する。
2.6.1 AF_INTERモードの実施形態
JEMにおいて、2つのアフィン動きモード、AF_INTERモードおよびAF_MERGEモードがある。幅と高さの両方が8より大きいCUの場合、AF_INTERモードを適用することができる。AF_INTERモードが使用されるかどうかを示すために、ビットストリームにおいてCUレベルのアフィンフラグが信号通知される。AF_INTERモードにおいて、近傍のブロックを用いて動きベクトル対
Figure 0007212150000003
を有する候補リストを構築する。
図17は、AF_INTERモードにおけるブロック1600のための動きベクトル予測(MVP)の例を示す。図17に示すように、vは、サブブロックA、B、またはCの動きベクトルから選択され、近傍のブロックからの動きベクトルは、参照リストに従ってスケーリングすることができる。また、動きベクトルは、近傍のブロックの参照のピクチャオーダカウント(PIC)と、現在のCUの参照のPOCと、現在のCUのPOCとの間の関係に基づいてスケーリングされてもよい。近傍のサブブロックDおよびEからvを選択する方法は類似している。候補リストの数が2未満である場合、AMVP候補の各々を複製した動きベクトル対でリストを埋める。候補リストが2よりも大きい場合、まず、近傍の動きベクトルに基づいて(例えば、対候補における2つの動きベクトルの類似性に基づいて)候補をソートする。いくつかの実装形態において、最初の2つの候補を保持する。いくつかの実施形態において、ひずみ率(RD)コストチェックを用いて、どの動きベクトル対候補を現在のCUの制御点動きベクトル予測(CPMVP)として選択するかを判定する。ビットストリームにおいて、候補リストにおけるCPMVPの位置を示すインデックスを信号通知することができる。現在のアフィンCUのCPMVPを判定した後、アフィン動き推定を適用し、制御点動きベクトル(CPMV)を求める。次に、CPMVとCPMVPとの差をビットストリームにおいて信号通知する。
AF_INTERモードにおいて、4/6パラメータアフィンモードが使用される場合、2/3個の制御点が必要であり、従って、図18A、18Bに示すように、これらの制御点のために2/3個のMVDを符号化することが必要である。既存の実装形態において、MVは、例えば、mvd0からmvd1およびmvd2を予測することで、以下のように導出されてもよい。
Figure 0007212150000004
Figure 0007212150000005
Figure 0007212150000006
ここでm ̄v ̄、mvd、mvは、それぞれ、図18Bに示すように、左上の画素(i=0)、右上の画素(i=1)、左下の画素(i=2)の予測動きベクトル、動きベクトルの差分、動きベクトルである。いくつかの実施形態において、2つの動きベクトル(例えば、mvA(xA,yA)およびmvB(xB,yB))の加算は、2つの成分を別々に合計することに等しい。例えば、newMV=mvA+mvBは、newMVの2つの成分を、それぞれ(xA+xB)および(yA+yB)に設定することを意味する。
2.6.2 AF_INTERモードにおける高速アフィンMEアルゴリズムの例
アフィンモードのいくつかの実施形態において、2つまたは3つの制御点のMVは、一緒に判定される必要がある。複数のMVをまとめて直接検索することは、計算が複雑である。一例において、高速アフィンMEアルゴリズムが提案され、VTM/BMSに採用される。
例えば、4パラメータアフィンモデルに対して高速アフィンMEアルゴリズムを説明し、この考えを6パラメータアフィンモデルに拡張することができる。
Figure 0007212150000007
Figure 0007212150000008
(a-1)をa’に置き換えることにより、動きベクトルを以下のように書き換えることができる。
Figure 0007212150000009
2つの制御点(0,0)および(0,w)の動きベクトルが既知であると仮定すると、式(5)から、アフィンパラメータは、以下のように導出されてもよい。
Figure 0007212150000010
動きベクトルは、ベクトルの形で以下のように書き換えることができる。
Figure 0007212150000011
ここで、P=(x,y)は、画素位置である。
Figure 0007212150000012
いくつかの実施形態において、エンコーダにおいて、AF_INTERのMVDは反復して導出されることができる。MV(P)を位置Pのi番目の反復で導出されたMVとし、dMV をi番目の反復でMVCに対して更新されたデルタとして示す。次に、(i+1)番目の繰り返しにおいて、
Figure 0007212150000013
Picrefを参照ピクチャとし、Piccurを現在のピクチャとし、Q=P+MV(P)を表す。MSEをマッチング基準として用いる場合、最小化する必要がある関数は、以下のように表されてもよい。
Figure 0007212150000014
Figure 0007212150000015
が十分に小さいと仮定すると、
Figure 0007212150000016
は、1次のテイラー展開に基づく近似として、以下のように書き換えられてもよい。
Figure 0007212150000017
ここで、
Figure 0007212150000018
である。
Figure 0007212150000019
の表記を採用する場合、以下のようになる。
Figure 0007212150000020
誤差関数の導関数をゼロに設定し、次に、
Figure 0007212150000021
に基づいて、制御点(0,0)および(0,w)のデルタMVを以下のように算出することで、項
Figure 0007212150000022
を導出することができる。
Figure 0007212150000023
Figure 0007212150000024
Figure 0007212150000025
Figure 0007212150000026
いくつかの実施形態において、このMVD導出処理をn回繰り返し、次のようにして最終MVDを算出することができる。
Figure 0007212150000027
Figure 0007212150000028
Figure 0007212150000029
Figure 0007212150000030
上記実装形態において、mvdで表される制御点(0,0)のデルタMVから、mvd1で表される制御点(0,w)のデルタMVを予測することは、mvdに対して
Figure 0007212150000031
の場合のみ符号化されることになる。
2.6.3 AF_MERGEモードの実施形態
AF_MERGEモードにおいてCUを適用する場合、CUは、有効な近傍の再構築ブロックから、アフィンモードで符号化された第1のブロックを得る。図19Aは、現在のCU1800のための候補ブロックの選択順序の例を示す。図19Aに示すように、選択順序は、現在のCU1800の左(1801)、上(1802)、右(1803)、左下(1804)、左上(1805)の順とすることができる。図19Bは、AF_MERGEモードにおける現在のCU1800の候補ブロックの別の例を示す。近傍の左下ブロック1801がアフィンモードで符号化されている場合、図19Bに示すように、サブブロック1801を含むCUの左上隅、右上隅、左下隅の動きベクトルv、v、vが導出される。v2、v3、v4に基づいて、現在のCU1800における左上隅の動きベクトルvを算出する。従って、現在のCUの右上の動きベクトルv1を算出することができる。
式(1)のアフィン動きモデルに従って現在のCU v0,v1のCPMVを計算した後、現在のCUのMVFを生成することができる。現在のCUがAF_MERGEモードで符号化されているかどうかを識別するために、アフィンモードで符号化されている近傍のブロックが少なくとも1つある場合、ビットストリーム内にアフィンフラグを信号通知することができる。
2.7 パターンマッチング動きベクトル導出(PMMVD)の例
PMMVDモードは、フレームレートアップ変換(FRUC)法に基づく特殊マージモードである。このモードでは、ブロックの動き情報は信号通知されず、デコーダ側で導出される。
FRUCフラグは、そのマージフラグが真である場合、CUに信号通知され得る。FRUCフラグが偽である場合、マージインデックスを信号通知することができ、通常のマージモードが使用される。FRUCフラグが真である場合、追加のFRUCモードフラグを信号通知して、どの方法(例えば、バイラテラルマッチングまたはテンプレートマッチング)を使用してブロックの動き情報を導出するかを示すことができる。
エンコーダ側では、CUのためにFRUCマージモードを使用するかどうかの決定は、通常のマージ候補に対して行われるのと同じように、RDコストの選択に基づく。例えば、RDコスト選択を使用して、1つのCUに対して複数のマッチングモード(例えば、バイラテラルマッチングおよびテンプレートマッチング)をチェックする。最小コストに導くものが、他のCUモードと比較される。FRUCマッチングモードが最も効率的なものである場合、CUに対してFRUCフラグを真に設定し、関連するマッチングモードを使用する。
一般的に、FRUCマージモードにおける動きの導出処理では、まずCUレベルの動き探索が行われ、次にサブCUレベルの動きの改良を行うという2つのステップを有する。CUレベルでは、バイラテラルマッチングまたはテンプレートマッチングに基づいて、CU全体のための初期の動きベクトルを導出する。まず、MV候補のリストを生成し、最小マッチングコストに導く候補を、さらなるCUレベル改良の開始点として選択する。そして、開始点付近でのバイラテラルマッチングまたはテンプレートマッチングに基づく局所検索を行う。最小マッチングコストにおけるMVの結果を、CU全体のMVとする。続いて、導出されたCU動きベクトルを開始点として、サブCUレベルでの動き情報をさらに改良する。
例えば、W×H CU動き情報導出のために、以下の導出処理を行う。第1のステージにおいて、W×H CU全体のためのMVが導出される。第2のステージにおいて、CUは、M×M個のサブCUにさらに分割される。Mの値は、式(22)のように計算されるが、Dは、予め規定された分割深さであり、JEMにおいてデフォルトで3に設定される。そして、各サブCUのMVを導出する。
Figure 0007212150000032
図20は、フレームレートアップ変換(FRUC)法で使用されるバイラテラルマッチングの例を示す。このバイラテラルマッチングは、2つの異なる参照ピクチャ(1910、1911)における現在のCU(1900)の動き軌跡に沿った2つのブロック間の最も近いマッチングを見出すことで、現在のCUの動き情報を導出するために用いられる。連続した動き軌跡を仮定すると、2つの参照ブロックを指す動きベクトルMV0(1901)、MV1(1902)は、現在のピクチャと2つの参照ピクチャとの間の時間的距離に比例し、例えば、TD0(1903)、TD1(1904)である。いくつかの実施形態において、現在のピクチャ1900が2つの参照ピクチャ(1910、1911)の間にあり、現在のピクチャから2つの参照ピクチャまでの時間的距離が同じである場合、バイラテラルマッチングはミラーに基づく双方向MVとなる。
図21は、フレームレートアップ変換(FRUC)法で使用されるテンプレートマッチングの例を示す。テンプレートマッチングを使用して、現在のピクチャにおけるテンプレート(例えば、現在のCUの上側および/または左側の近傍のブロック)と参照ピクチャ2010におけるブロック(例えば、テンプレートと同じサイズ)との間の最も近いマッチングを見出すことで、現在のCU2000の動き情報を導出することができる。前述のFRUCマージモード以外に、テンプレートマッチングは、AMVPモードにも適用できる。JEMおよびHEVCの両方において、AMVPは2つの候補を有する。テンプレートマッチング法を用いることで、新しい候補を導出することができる。テンプレートマッチングによって新規に導出された候補が、第1の既存のAMVP候補と異なる場合、AMVP候補リストの最初に挿入し、次に、(例えば、第2の既存のAMVP候補を取り除くことによって)リストサイズを2に設定する。AMVPモードに適用される場合、CUレベル検索のみが適用される。
CUレベルのMV候補セットは、以下を含むことができる。(1)現在のCUがAMVPモードにある場合、元のAMVP候補、(2)すべてのマージ候補、(3)補間されたMVフィールド内の複数のMV(後述)、および左上の近傍の動きベクトル。
バイラテラルマッチングを使用する場合、マージ候補の各有効なMVを入力として使用して、バイラテラルマッチングを仮定してMV対を生成することができる。例えば、マージ候補の1つの有効なMVは、参照リストAにおいて(MVa,refa)であり、そして、その対をなすバイラテラルMVの参照ピクチャrefbが他の参照リストBにおいて見出され、refaおよびrefbは、時間的に現在のピクチャの異なる側にある。参照リストBにおいてこのようなrefbが利用可能でない場合、refbをrefaとは異なる参照として判定し、現在のピクチャとの時間的距離はリストBにおける最小値である。refbを判定した後、現在のピクチャとrefa,refbとの時間距離に基づいてMVaをスケーリングすることでMVbを導出する。
いくつかの実装形態において、補間されたMVフィールドからの4つのMVをCUレベル候補リストに追加してもよい。具体的には、現在のCUの(0,0)、(W/2,0)、(0,H/2)、(W/2,H/2)の位置の補間されたMVを加算する。AMVPモードでFRUCを適用する場合、元のAMVP候補をCUレベルMV候補セットにも加える。いくつかの実装形態において、CUレベルにおいて、AMVP CUのための15個のMVおよびマージCUに対し、13個のMVを候補リストに加えることができる。
サブCUレベルのMV候補セットは、CUレベルの検索によって判定されたMVと、(2)上側、左側、左上、右上の近傍のMVと、(3)参照ピクチャからの配列されたMVのスケーリングされたバージョンと、(4)1つ以上(例えば、4つまで)のATMVP候補と、(5)1つ以上(例えば、4つまで)のSTMVP候補とを含む。参照ピクチャからのスケーリングされたMVは、以下のように導出される。両方のリストにおける参照ピクチャをトラバースする。参照ピクチャにおけるサブCUの配列位置にあるMVは、開始CUレベルMVの参照に対してスケーリングされる。ATMVPおよびSTMVPの候補は、最初の4つの候補であってもよい。サブCUレベルにおいて、1つ以上(例えば、最大17個)のMVが候補リストに追加される。
補間されたMVフィールドの生成。
あるフレームを符号化する前に、片側MEに基づいてピクチャ全体に対して補間された動きフィールドを生成する。そして、この動きフィールドを後にCUレベルまたはサブCUレベルのMV候補として使用してもよい。
いくつかの実施形態において、両方の参照リストにおける各参照ピクチャの動きフィールドは、4×4ブロックレベルでトラバースされる。図22は、FRUC方法におけるユニラテラル動き推定(ME)2100の例を示す。各4×4ブロックにおいて、現在のピクチャの4×4ブロックを通過するブロックに関連する動きで、補間された動きがまだ割り当てられていない場合、時間的距離TD0およびTD1に基づいて(HEVCにおけるTMVPのMVスケーリングと同様に)、参照ブロックの動きを現在のピクチャにスケーリングし、スケーリングされた動きを現在のフレームのブロックに割り当てる。4×4ブロックにスケーリングされたMVが割り当てられていない場合、ブロックの動きは、補間された動きフィールドにおいて利用不可能であるとマークされる。
補間およびマッチングコスト。
1つの動きベクトルが1つの小数のサンプル位置を指す場合、動き補償補間が必要である。複雑性を低減するために、通常の8タップHEVC補間の代わりに、バイラテラルマッチングおよびテンプレートマッチングの両方に双線形補間を使用できる。
マッチングコストの計算は、異なるステップでは少し異なる。CUレベルの候補セットから候補を選択する場合、マッチングコストは、バイラテラルマッチングまたはテンプレートマッチングの絶対和差(SAD)であってもよい。開始MVを判定した後、サブCUレベル検索におけるバイラテラルマッチングのマッチングコストCを以下のように算出する。
Figure 0007212150000033
ここで、wは重み係数である。いくつかの実施形態において、wは経験的に4に設定されてもよい。MVおよびMVは、それぞれ、現在のMVおよび開始MVを示す。SADは、依然として、サブCUレベル検索におけるテンプレートマッチングのマッチングコストとして使用されてもよい。
FRUCモードにおいて、MVは、輝度サンプルのみを使用することによって導出される。導出された動きは、MCインター予測のために、輝度およびクロマの両方に使用される。MVを判定した後、輝度用の8タップ補間フィルタおよびクロマ用の4タップ補間フィルタを使用して、最終的なMCを行う。
MV改良は、バイラテラルマッチングコストまたはテンプレートマッチングコストの基準を有するパターンに基づくMV検索である。JEMでは、2つの検索パターン、即ち、無制限中心バイアス菱形検索(UCBDS)およびCUレベルおよびサブCUレベルでのMV改良のための適応クロス検索をそれぞれサポートする。CUおよびサブCUレベルのMV改善の両方のために、MVは、1/4輝度サンプルMVの精度で直接検索され、これに続いて1/8輝度サンプルMVの改良が行われる。CUおよびサブCUステップのためのMV改良の検索範囲は、8つの輝度サンプルに等しく設定される。
バイラテラルマッチングマージモードにおいては、双予測が適用される。なぜなら、2つの異なる参照ピクチャにおける現在のCUの動き軌跡に沿った2つのブロック間の最も近いマッチングに基づいて、CUの動き情報を導出するからである。テンプレートマッチングマージモードにおいて、エンコーダは、list0からの単一予測、list1からの単一予測、またはCUのための双予測のうちから選択することができる。選択は、テンプレートマッチングコストに基づいて、以下のように行うことができる。
costBi<=factor*min(cost0,cost1)の場合
双予測を用いる。
そうでない場合、cost0<=cost1であれば
list0からの単一予測を用いる。
そうでない場合、
list1からの単一予測を用いる。
ここで、cost0はlist0テンプレートマッチングのSADであり、cost1はlist1テンプレートマッチングのSADであり、costBiは双予測テンプレートマッチングのSADである。例えば、factorの値が1.25である場合、選択処理が双予測に偏っていることを意味する。このインター予測方向選択は、CUレベルのテンプレートマッチング処理に適用することができる。
2.8 双方向オプティカルフロー(BIO)の例
双方向オプティカルフロー(BIO)方法は、双予測のためにブロック単位の動き補償の上で実行されるサンプル単位の動きの改良である。いくつかの実装形態において、サンプルレベルの動きの改良は、信号通知を用いない。
(k)をブロック動き補償後の参照k(k=0,1)からの輝度をとし、I(k)勾配の水平成分と垂直成分をそれぞれ∂I(k)/∂xと∂I(k)/∂yとする。オプティカルフローが有効であると仮定すると、動きベクトルフィールド(v,v)は、式(24)で与えられる。
Figure 0007212150000034
このオプティカルフロー方程式と各試料の動き軌跡のエルミート補間を組み合わせると、関数値I(k)と導関数∂I(k)/∂xと∂I(k)/∂yの両方に一致するユニークな3次多項式が得られる。t=0におけるこの多項式の値がBIO予測である。
Figure 0007212150000035
図23は、双方向オプティカルフロー(BIO)法におけるオプティカルフローの軌跡の一例を示す。ここで、τおよびτは、参照フレームまでの距離を示す。距離τおよびτは、RefおよびRefのPOCに基づいて、τ=POC(current)-POC(Ref),τ=POC(Ref)-POC(current)のように計算される。両方の予測が同じ時系列から来たものである場合(両方とも過去から来たものであるか、または両方とも将来から来たものである)、符号が異なっている(例えばτ・τ<0)。この場合、予測が同じ時間モーメントからでない場合(例えば、τ≠τ)には、BIOが適用される。両方の参照領域は非ゼロの動き
Figure 0007212150000036
を有し、ブロック動きベクトルは時間距離
Figure 0007212150000037
に比例する。
点Aと点Bの間の値の差を最小化することで、動きベクトルフィールド(v,v)を判定する。図9A~9Bは、動き軌跡と参照フレーム平面との交差の例を示す。モデルは、△に対してローカルテイラー展開の第1の線形項のみを用いる。
Figure 0007212150000038
上記式におけるすべての値は、(i’,j’)として表されるサンプル位置に依存する。動きがローカル周辺エリアにおいて一貫していると仮定すると、△は、現在の予測点(i,j)を中心とする(2M+1)×(2M+1)の正方形窓Ωの内側で最小化することができ、ここで、Mは2に等しい。
Figure 0007212150000039
この最適化問題に対して、JEMは、まず垂直方向に最小化し、次に水平方向に最小化する簡単なアプローチを使用する。その結果、以下のようになる。
Figure 0007212150000040
Figure 0007212150000041
ここで
Figure 0007212150000042
ゼロまたは非常に小さな値での除算を回避するために、正則化パラメータrおよびmを式(28)および式(29)に導入することができる。
Figure 0007212150000043
Figure 0007212150000044
ここで、dは映像サンプルのビット深さである。
BIOのメモリアクセスを通常の二重予測動き補償と同じにするために、すべての予測値と勾配値であるI(k),∂I(k)/∂x,∂I(k)/∂yは、現在のブロック内の位置について計算される。図24Aは、ブロック2300の外側のアクセス位置の例を示す。図24Aの式(28)に示すように、(2M+1)×(2M+1)の正方形窓Ωは、現在予測されているブロックの境界上の予測点を中心としたブロック外の位置にアクセスする必要がある。JEMでは、ブロック外のI(k),∂I(k)/∂x,∂I(k)/∂yの値は、ブロック内で最も近い利用可能な値に等しくなるように設定されている。例えば、これは、図24Bに示すように、パディング領域2301として実装することができる。
BIOを用いることで、各サンプルに動きフィールドを改良することができる。計算の複雑性を低減するために、JEMではブロックに基づくBIOの設計が用いられている。動きの改良は、4×4ブロックに基づいて計算することができる。ブロックに基づくBIOにおいて、4×4ブロック内で、全てのサンプルの式(28)内のsnの値を集約することができ、次いで、集約されたsnの値を使用して、4×4ブロックのオフセットされたBIO動きベクトルを導出する。具体的には、ブロックに基づくBIO導出には、以下の式を用いることができる。
Figure 0007212150000045
ここで、bは、予測ブロックのk番目の4×4のブロックに属するサンプルのセットを示す。式(28)および式(29)におけるsを((s,b)>>4)に置き換え、関連する動きベクトルオフセットを導出する。
シナリオによってはBIOのMVレジメンがノイズや不規則な動きで信頼できない場合がある。従って、BIOにおいて、MVレジメンの大きさは閾値にクリップされる。閾値は、現在のピクチャの参照ピクチャがすべて一方向からのものであるかどうかに基づいて判定される。例えば、現在のピクチャの参照ピクチャが全て一方向からのものであれば、閾値は、12×2(14-d)に設定され、そうでなければ、12×2(13-d)に設定される。
BIOの勾配は、HEVC動き補償処理(例えば、2Dの分離可能な有限インパルス応答(FIR))に準拠した演算を使用して、動き補償補間と同時に計算されてもよい。いくつかの実施形態において、2Dの分離可能なFIRのための入力は、ブロック動きベクトルの端数部分に基づいて、動き補償処理および端数位置(fracX,fracY)のためのものと同じ参照フレームサンプルである。水平勾配∂I/∂xの場合、信号は、まず、スケーリングシフトd-8で端数位置fracYに対応するBIOfilterSを使用して垂直方向に補間される。次に、勾配フィルタBIOfilterGを、端数位置fracXに対応する水平方向に適用し、スケーリング解除を18-dだけシフトする。垂直方向の勾配∂I/∂yについては、スケーリングシフトd-8で端数位置fracYに対応するBIOfilterGを用いて垂直方向に勾配フィルタをかける。次に、BIOFilterSを使用して、端数位置fracXに対応する水平方向への信号の変位を行い、スケーリングを18-dだけシフトする。妥当な複雑性を維持するために、勾配計算BIOFilterGおよび信号変位BIOFilterFのための補間フィルタの長さを短く(例えば、6タップ)してもよい。表1は、BIOにおけるブロック動きベクトルの異なる端数位置の勾配計算に使用できる例示的なフィルタを示す。表2は、BIOにおける予測信号の生成に使用できる例示的な補間フィルタを示す。
表1:BIOにおける勾配計算のための例示的なフィルタ
Figure 0007212150000046
表2:BIOにおける予測信号生成のための例示的な補間フィルタ
Figure 0007212150000047
本JEMにおいて、2つの予測が異なる参照ピクチャからのものである場合、BIOをすべての双予測ブロックに適用することができる。CUのローカル照明補償(LIC)を有効にすると、BIOを無効にすることができる。
いくつかの実施形態において、OBMCは、通常のMC処理の後、1つのブロックに適用される。計算の複雑性を低減するために、OBMC処理中にBIOを適用しなくてもよい。つまり、BIOは、それ自身のMVを使用する場合、1つのブロックのMC処理において適用され、OBMC処理において近傍のブロックのMVを使用する場合、MC処理においては適用されない。
2.9 デコーダ側動きベクトル改良(DMVR)の例
双予測演算において、1つのブロック領域を予測するために、list0の動きベクトル(MV)およびlist1のMVをそれぞれ使用して構成される双予測ブロックを組み合わせ、1つの予測信号を形成する。デコーダ側動きベクトル改良(DMVR)方法において、バイラテラルテンプレートマッチング処理によって、双予測の2つの動きベクトルをさらに改良する。追加の動き情報を送信することなく改良されたMVを得るために、デコーダにおいてバイラテラルテンプレートマッチングを適用し、バイラテラルテンプレートと参照ピクチャにおける再構成サンプルとの間でひずみに基づく検索を行う。
DMVRにおいて、図25に示すように、list0の最初のMV0とlist1のMV1とから、それぞれ双予測ブロックの重み付け結合(すなわち、平均)としてバイラテラルテンプレートを生成する。テンプレートマッチング操作は、生成されたテンプレートと参照ピクチャにおけるサンプル領域(最初の予測ブロックの付近)との間のコスト尺度を計算することからなる。2つの参照ピクチャの各々について、テンプレートコストが最小となるMVを、そのリストの更新されたMVと見なし、元のMVに置き換える。JEMにおいて、各リストに対して9つのMV候補を検索する。9つのMV候補は、元のMVと、水平または垂直方向のいずれかまたは両方向に元のMVに対してオフセットしている1つの輝度サンプルを有する8つの周囲のMVを含む。最後に、2つの新しいMV、即ち、MV0’およびMV1’は、図25に示すように、最終的な双予測結果を生成するために使用される。絶対差の合計(SAD)をコスト尺度として使用する。
DMVRは、追加の構文要素を送信することなく、過去の参照ピクチャからの1つのMVと、将来の参照ピクチャからの1つのMVとの間の双予測のマージモードに適用される。JEMにおいて、CUに対してLIC、アフィン動き、FRUCまたはサブCUマージ候補が有効である場合、DMVRは適用されない。
2.10 対称動きベクトル差の例
より効率的にMVDを符号化するために、対称動きベクトル差(SMVD)を提案する。
まず、スライスレベルにおいて、変数BiDirPredFlag、RefIdxSyml0、RefIdxSyml1を以下のように導出する。
現在のピクチャに最も近い参照ピクチャリスト0における前方参照ピクチャを検索する。見つかった場合、RefIdxSyml0を前方ピクチャの参照インデックスに等しく設定する。
現在のピクチャに最も近い参照ピクチャリスト1における後方参照ピクチャを検索する。見つかった場合、RefIdxSyml1を後方ピクチャの参照インデックスに等しく設定する。
前方および後方ピクチャの両方が見つかった場合、BiDirPredFlagは1に等しく設定される。
そうでない場合、以下が適用される。
現在の参照ピクチャに最も近い参照ピクチャリスト0における後方参照ピクチャを検索する。見つかった場合、RefIdxSyml0を後方ピクチャの参照インデックスに等しく設定する。
現在の参照ピクチャに最も近い参照ピクチャリスト1における前方参照ピクチャを検索する。見つかった場合、RefIdxSyml1を前方ピクチャの参照インデックスに等しく設定する。
後方および前方ピクチャの両方が見つかった場合、BiDirPredFlagは1に等しく設定される。そうでない場合、BiDirPredFlagは0に等しく設定される。
第2に、CUレベルにおいて、CUの予測方向が双予測であり、BiDirPredFlagが1に等しい場合、対称モードを使用するかどうかを示す対称モードフラグを明確に信号通知する。
このフラグが真である場合、mvp_l0_flag、mvp_l1_flag、およびMVD0のみが明確に信号通知される。参照インデックスは、リスト0およびリスト1に対して、それぞれRefIdxSyml0、RefIdxSyml1に等しく設定される。MVD1は単に-MVD0に設定される。最終的動きベクトルを以下の式に示す。
Figure 0007212150000048
図28は、対称モードの例を示す。
表3及び表4に、符号化ユニットの構文の修正を示す。
表3及び表4:符号化ユニット構文の修正
Figure 0007212150000049
Figure 0007212150000050
2.10.1 アフィン双予測符号化のための対称MVD
アフィンモードのためのSMVDは、対称MVDモードの応用をアフィン双予測に拡張するために提案される。対称MVDモードをアフィン双予測符号化に適用する場合、制御点MVDは信号通知されずに導出される。list-1の左上の制御点のMVDは、線形の動きの仮定に基づいてlist-0から導出される。list-0の他方の制御点MVDはゼロに設定される。
2.11 コンテキスト適応2進算術符号化(CABAC)
2.11.1 HEVCにおけるCABAC設計
2.11.1.1 HEVCにおける文脈表現および初期化処理
HEVCにおいて、各コンテキスト変数に対して、2つの変数pStateIdxおよびvalMpsを初期化する。
8ビットテーブルエントリinitValueから、2つの4ビット変数slopeIdx,offsetIdxを以下のように導出する。
slopeIdx=initValue>>4
offsetIdx=initValue&15 (34)
コンテキスト変数の初期化に使用される変数mおよびnは、slopeIdxおよびoffsetIdxから以下のように導出される。
m=slopeIdx*5-45
n=(offsetIdx<<3)-16 (35)
初期化のためにpStateIdxおよびvalMpsに割り当てられる2つの値は、SliceQpYで表されるスライスの輝度の量子化パラメータから導出される。変数mおよびnを特定すると、初期化は以下のように特定される。
preCtxState=Clip3(1,126,((m*Clip3(0,51,SliceQpY))>>4)+n)
valMps=(preCtxState<=63)?0:1
pStateIdx=valMps?(preCtxState-64):(63-preCtxState) (36)
2.11.1.2 HEVCにおける状態遷移処理
この処理への入力は、現在のpStateIdx、ctxTableおよびctxIdxに関連付けられたコンテキスト変数の復号値binValおよびvalMpsである。
この処理の出力は、ctxIdxに関連付けられたコンテキスト変数の更新されたpStateIdxおよびvalMpsである。
復号値binValに基づいて、ctxIdxに関連付けられた2つの変数pStateIdxおよびvalMpsの更新は、以下の(37)のように導出される。
if(binVal==valMps)
pStateIdx=transIdxMps(pStateIdx)
else{
if(pStateIdx==0)valMps=1-valMps
pStateIdx=transIdxLps(pStateIdx)
} (37)
2.11.2 VVCにおけるCABAC設計
VVCにおける文脈適応型2値算術符号化器(BAC)は、VVCにおいて文脈更新処理および算術符号化器の点でHEVCと異なる改良がなされている。
最近採用された提案(JVET-M0473,CEtest5.1.13)の概要を以下に示す。
表5:VVCにおけるCABAC修正の概要
Figure 0007212150000051
2.11.2.1 VVCにおけるコンテキスト初期化処理
VVCにおいて、初期化のためにpStateIdx0およびpStateIdx1に割り当てられる2つの値は、SliceQpYから導出される。変数mおよびnを特定すると、初期化は以下のように特定される。
preCtxState=Clip3(0,127,((m*Clip3(0,51,SliceQpY))>>4)+n)
pStateIdx0=initStateIdxToState[preCtxState]>>4
pStateIdx1=initStateIdxToState[preCtxState] (38)
2.11.2.2 VVCにおける状態遷移処理
この処理への入力は、現在のpStateIdx0およびpStateIdx1、並びに復号値binValである。
この処理の出力は、ctxIdxに関連付けられたコンテキスト変数の更新されたpStateIdx0およびpStateIdx1である。
変数shift0(VVCTable4におけるCABAC修正の概要における変数に対応する)およびshift1(VVCTable4におけるCABAC修正の概要における変数bに対応する)は、ctxTableおよびctxIncに関連付けられたshiftIdx値から導出される。
shift0=(shiftIdx>>2)+2
shift1=(shiftIdx&3)+3+shift0 (39)
復号値binValに依存して、ctxIdxに関連付けられた2つの変数pStateIdx0およびpStateIdx1の更新は、以下のように導出される。
pStateIdx0=pStateIdx0-(pStateIdx0>>shift0)+(1023*binVal>>shift0)
pStateIdx1=pStateIdx1-(pStateIdx1>>shift1)+(16383*binVal>>shift1) (40)
3. 既存の実装形態の欠点
いくつかの既存の実装形態において、MV/MV差(MVD)をアフィン符号化ブロックのための1組の複数のMV/MVD精度のセットから選択することができる場合、より正確な動きベクトルをどのようにして取得することができるかは、依然として不確定である。
他の既存の実装形態において、MV/MVD精度情報は、アフィンモードに適用されるAMVRの全体的な符号化利得の判定においても重要な役割を果たすが、この目標を達成するかどうかは依然として不確定である。
4. AMVRを用いるアフィンモード用のMV予測子のための例示的な方法
本開示の技術の実施形態は、既存の実装形態の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示された技術に基づいて、適応動きベクトル解像度(AMVR)を有するアフィンモード用の動きベクトル予測子を導出し、信号通知することにより、既存のおよび将来の映像符号化規格の両方を向上させることができ、様々な実装形態に対して説明する以下の例で明らかにする。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
いくつかの実施形態において、AMVRが適用されるとき、アフィンモードまたはノーマルモードに次のような例を適用することができる。これらの例は、AF_INTERモードでMVDを符号化するため、または通常のインターモードでMVDを符号化するために、精度Prec(即ち、MVは1/(2^Prec)の精度を有する)を使用すると仮定する。動きベクトル予測子(例えば、近傍のブロックMVから継承される)およびその精度を、それぞれMVPred(MVPred,MVPred)およびPredPrecと表す。
AMVRをサポートしたアフィンモードの改善
1. 許容されるMVD精度のセットは、ピクチャごとに、スライスごとに、またはブロックごとに異なっていてもよい。
a. 一例において、許容されるMVD精度のセットは、ブロックサイズ、ブロック形状他のような符号化された情報に依存してもよい。
b. 許容されるMV精度のセットは、{1/16,1/4,1}など、予め規定されてもよい。
c. 許可されるMV精度の指示は、CTUのSPS/PPS/VPS/シーケンスヘッダ/ピクチャヘッダ/スライスヘッダ/グループ等において信号通知されてもよい。
d. 許容されるMV精度のセットから選択されたMV精度を信号通知することは、1つのブロックに対して許容されるMV精度の数にさらに依存する。
2. アフィンインターモードで使用されるMVD精度を示すために、1つの構文要素がデコーダに信号通知される。
a. 一例において、1つの単一の構文要素のみが、アフィンモードおよびAMVRモードに適用されるMVD精度を示すために使用される。
i. 一例において、同じ意味論が使用され、即ち、同じ値の構文要素が、AMVRおよびアフィンモードのために同じMVD精度にマッピングされる。
ii. 代替的に、単一の構文要素の意味論は、AMVRモードおよびアフィンモードによって異なる。すなわち、AMVRおよびアフィンモードに対して、同じ構文要素の値を異なるMVD精度にマッピングしてもよい。
b. 一例において、アフィンモードがAMVRと同じMVD精度のセットを使用する(例えば、MVD精度セットが{1,1/4,4}-画素)の場合、AMVRにおけるMVD精度構文要素は、アフィンモードで再使用され、即ち、単一の構文要素のみが使用される。
i. 代替的に、さらに、CABACエンコーダ/デコーダにおいて、この構文要素を符号化/復号化する時に、AMVRおよびアフィンモードに対して同じまたは異なるコンテキストモデルを使用してもよい。
ii. 代替的に、この構文要素は、AMVRおよびアフィンモードにおいて異なる意味論を有してもよい。例えば、AMVRにおいて、0、1、および2に等しい構文要素は、それぞれ1/4画素、1画素、および4画素のMV精度を示し、一方、アフィンモードにおいて、0、1、および2に等しい構文要素は、それぞれ1/4画素、1/16画素、および1画素のMV精度を示す。
c. 一例において、アフィンモードがAMVRと同数のMVD精度を使用するが、異なるMVD精度のセット(例えば、AMVRに設定されたMVD精度は{1,1/4,4}-画素であり、アフィンの場合、それは{1/16,1/4,1}-画素}-画素である)を使用する場合、AMVRにおけるMVD精度構文要素は、アフィンモードで再使用される、即ち、1つの構文要素のみが使用される。
i. 代替的に、さらに、CABACエンコーダ/デコーダにおいて、この構文要素を符号化/復号化する時に、AMVRおよびアフィンモードに対して同じまたは異なるコンテキストモデルを使用してもよい。
ii. 代替的に、この構文要素は、AMVRおよびアフィンモードにおいて異なる意味論を有してもよい。
d. 一例において、アフィンモードは、AMVRよりも小さいMVD精度を使用し、AMVRにおけるMVD精度構文要素は、アフィンモードで再使用される。しかしながら、構文要素値のサブセットのみがアフィンモードに有効である。
i. 代替的に、さらに、CABACエンコーダ/デコーダにおいて、この構文要素を符号化/復号化する時に、AMVRおよびアフィンモードに対して同じまたは異なるコンテキストモデルを使用してもよい。
ii. 代替的に、この構文要素は、AMVRおよびアフィンモードにおいて異なる意味論を有してもよい。
e. 一例において、アフィンモードは、AMVRよりも高いMVD精度を使用し、AMVRにおけるMVD精度構文要素は、アフィンモードで再使用される。しかしながら、このような構文要素は、アフィンモードにおいてより多くの値を許容するように拡張される。
i. 代替的に、さらに、CABACエンコーダ/デコーダにおいて、この構文要素を符号化/復号化する時に、AMVRおよびアフィンモードに対して同じまたは異なるコンテキストモデルを使用してもよい。
ii. 代替的に、この構文要素は、AMVRおよびアフィンモードにおいて異なる意味論を有してもよい。
f. 一例において、アフィンモードのMVD精度を符号化するために新しい構文要素が使用され、すなわち、AMVRのMVD精度を符号化するためとアフィンモードのために2つの異なる構文要素が使用される。
g. アフィンモードのMVD精度の指示のための構文は、以下の条件のうちの1つまたはすべてが真である下で信号通知されてもよい。
i. すべての制御点のMVDがゼロでない。
ii. 少なくとも1つの制御点のためのMVDがゼロでない。
iii. 1つの制御点(例えば、第1のCPMV)のMVDがゼロでない。
この場合、上記条件の1つまたはそれらすべてが満たされなかったときは、MVD精度を信号通知する必要がない。
h. アフィンモードまたはAMVRモードのいずれかに対するMVD精度を示すための構文要素は、コンテキストで符号化されてもよく、コンテキストは、符号化された情報に依存する。
i. 一例において、1つの構文要素しかない場合、コンテキストは、現在のブロックがアフィンモードで符号化されているかどうかに依存してもよい。
i. 一例において、コンテキストは、近傍のブロック/時間層インデックス/予測方向のブロックサイズ/ブロック形状/MVD精度等に依存してもよい。
j. アフィンモードにおいて複数のMVD精度の使用を有効にするか無効にするかは、SPS/PPS/VPS/シーケンスヘッダ/ピクチャヘッダ/スライスヘッダ/CTU群等において信号通知されてもよい。
i. 一例において、アフィンモードのために複数のMVD精度の使用を許可するかまたは禁止するかの情報を信号通知するかは、他の構文要素に依存してもよい。例えば、複数のMVおよび/またはMVPおよび/またはMVD精度のアフィンモードでの使用を有効にするまたは無効にする情報は、アフィンモードが有効にされている場合には信号通知され、アフィンモードが無効にされている場合には信号通知されず、0であると推測される。
k. 代替的に、複数の構文要素は、アフィンインターモードにおいて、使用されるMVおよび/またはMVPおよび/またはMVD精度(以下の説明において、全て「MVD精度」と呼ばれる)を示すように信号通知されてもよい。
i. 一例において、アフィンインターモードおよび通常インターモードにおいて使用されるMVD精度を示すための構文要素は、異なってもよい。
1. アフィンインターモードおよび通常インターモードにおいて使用されるMVD精度を示すための構文要素の数は、異なってもよい。
2. アフィンインターモードおよび通常インターモードにおいて使用されるMVD精度を示すための構文要素の意味論は、異なってもよい。
3. 1つの構文要素を符号化し、アフィンインターモードおよび通常インターモードで使用されるMVD精度を示すための算術符号化におけるコンテキストモデルは、異なってもよい。
4. アフィンインターモードおよび通常インターモードで使用されるMVD精度を示すように、1つの構文要素を符号化するために、算術符号化においてコンテキストモデルを導出する方法は、異なってもよい。
ii. 一例において、第1の構文要素(例えば、amvr_flag))は、アフィン符号化ブロックにおいてAMVRを適用するかどうかを示すように信号通知されてもよい。
1. 第1の構文要素は、条件付きで信号通知される。
a. 一例において、現在のブロックが特定のモード(例えば、CPR/IBCモード)で符号化される場合、第1の構文要素(amvr_flag)の信号通知はスキップされる。
b. 一例において、すべてのCPMVのMVD(水平成分および垂直成分の両方を含む)がすべてゼロである場合、第1の構文要素(amvr_flag)の信号通知はスキップされる。
c. 一例において、選択されたCPMVのMVD(水平成分および垂直成分の両方を含む)がすべてゼロである場合、第1の構文要素(amvr_flag)の信号通知はスキップされる。
i. 一例において、選択されたCPMVのMVDは、符号化/復号化される第1のCPMVのMVDである。
d. 一例において、アフィン符号化ブロックのために複数のMVD精度を有効にすることの使用が偽である場合、第1の構文要素(amvr_flag)の信号通知はスキップされる。
e. 一例において、第1の構文要素は、以下の条件下で信号通知されてもよい。
i. アフィン符号化ブロックのために複数のMVD精度を可能にすることの使用は真であり、現在のブロックはアフィンモードで符号化される。
ii. 代替的に、アフィン符号化ブロックのために複数のMVD精度を有効にすることの使用は真であり、現在のブロックは、アフィンモードで符号化され、CPMVのMVDの少なくとも1つのコンポーネントは、0に等しくない。
iii. 代替的に、アフィン符号化ブロックのために複数のMVD精度を有効にすることの使用は真であり、現在のブロックは、アフィンモードで符号化され、選択されたCPMVのMVDの少なくとも1つのコンポーネントは、0に等しくない。
1. 一例において、選択されたCPMVのMVDは、符号化/復号化される第1のCPMVのMVDである。
2. アフィン符号化ブロックにAMVRを適用しない場合、または第1の構文要素が存在しない場合、デフォルトのMVおよび/またはMVD精度が利用される。
a. 一例において、デフォルト精度は、1/4画素である。
b. 代替的に、デフォルトの精度は、アフィン符号化ブロックの動き補償に用いられる精度に設定される。
3. 例えば、amvr_flagが0である場合、アフィンモードのMVD精度は1/4画素であり、そうでない場合、アフィンモードのMVD精度は他の値であってもよい。
a. 代替的に、追加のMVD精度は、第2の構文要素を介してさらに信号通知されてもよい。
iii. 一例において、第2の構文要素(例えば、amvr_coarse_precision_flag)は、アフィンモードのMVD精度を示すように信号通知されてもよい。
1. 一例において、第2の構文要素が信号通知されるかどうかは、第1の構文要素に依存してもよい。例えば、第2の構文要素は、第1の構文要素が1であるときにのみ信号通知される。
2. 一例において、第2の構文要素が0である場合、アフィンモードのMVD精度は1画素であり、そうでない場合、アフィンモードのMVD精度は1/16画素である。
3. 一例において、第2の構文要素が0である場合、アフィンモードのMVD精度は1/16画素であり、そうでない場合、アフィンモードのMVD精度は全画素である。
iv. 一例において、アフィンインターモードにおいて使用されるMVD精度を示すために使用される構文要素は、同じ名前を有するが通常のインターモードにおいて使用されるMVD精度を示すために使用される構文要素と同じコンテキストモデルを共有する。
1. 代替的に、アフィンインターモードで使用されるMVD精度を示すのに使用される構文要素は、同じ名前を有するが通常のインターモードで使用されるMVD精度を示すのに使用される構文要素として、異なるコンテキストモデルを使用する。
3. アフィン符号化ブロックに対してAMVRを適用するかどうか、またはどのように適用するかは、現在のブロックの参照ピクチャに依存してもよい。
i.一例において、参照ピクチャが現在のピクチャである場合、即ち、現在のブロックにおいてイントラブロックコピーが適用される場合、AMVRは適用されない。
エンコーダのためのアフィンモードにおけるAVMRの高速アルゴリズム
アフィンモードとAMVPモードのRDコスト(実質RDコスト、またはSATD/SSE/SADコストにラフビットコストを加えたもの)を、IMV=iのときのaffineCosti、amvpCostiと表す。ここで、i=0,1,2である。ここで、IMV=0は1/4画素のMVを意味し、IMV=1はAMVPモードでは整数MV、アフィンモードでは1/16画素のMVを意味し、IMV=2はAMVPモードでは4画素のMV、アフィンモードでは整数MVを意味する。マージモードのRDコストをmergeCostとする。
4. 現在のCUのアフィンモードにおいて、その親CUのベストモードがAF_INTERモードでもAF_MERGEモードでもない場合、AMVRを無効にすることが提案される。
a. 代替的に、AMVRは、その親CUの最良のモードがAF_INTERモードでない場合、現在のCUのアフィンモードのために無効にされる。
5. affineCost0>th1*amvpCost0(ここで、th1は正の閾値である)の場合、AMVRはアフィンモードに対して無効にされることが提案される。
a. 代替的に、min(affineCost0,amvpCost0)>th2*mergeCost(ここで、th2は正の閾値である)である場合、AMVRはアフィンモードに対して無効にされる。
b. 代替的に、affineCost0>th3*affineCost1(ここで、th3は正の閾値であるである)場合、整数MVはアフィンモードに対して無効にされる。
6. amvpCost0>th4*affineCost0(ここで、th4は正の閾値である)の場合、AMVPモードではAMVRを無効にすることが提案される。
a. 代替的に、AMVPモードでは、min(affineCost0,amvpCost0)>th5*mergeCost(ここで、th5は正の閾値である)の場合、AMVRは無効にされる。
7. 1つのMV精度で得られた4/6パラメータアフィンモデルを、他のMV精度のための候補開始探索点として使用してもよいことが提案される。
a. 一例において、1/16MVで得られた4/6パラメータアフィンモデルを、他のMV精度のための候補開始探索点として使用してもよい。
b. 一例において、1/4MVで得られた4/6パラメータアフィンモデルを、他のMV精度のための候補開始探索点として使用してもよい。
8. エンコーダにおいて、現在のブロックの親ブロックがアフィンモードを選択していない場合、アフィンモードのAMVRはチェックされない。
9. 前述の符号化されたフレーム/スライス/タイル/CTU行におけるアフィン符号化ブロックのための異なるMV精度の使用の統計を利用して、現在のスライス/タイル/CTU行におけるアフィン符号化ブロックのためのMV精度のひずみ率計算を早期に終了させることができる。
a. 一例において、特定のMV精度を有するアフィン符号化ブロックのパーセンテージが記録される。百分率が小さ過ぎる場合、対応するMV精度のチェックはスキップされる。
b. 一例において、あるMV精度をスキップするかどうかを判定するために、同じ時間層を有する、以前符号化されたフレームが利用される。
10. 上記提案の方法は、ブロックサイズ、スライス/ピクチャ/タイルタイプ、または動き情報等の特定の条件下で適用されてもよい。
a. 一例において、ブロックサイズがM*Hサンプルより小さい、例えば、16個または32個または64個の輝度サンプルを含む場合、提案した方法は許可されない。
b. 代替的に、ブロックの幅および/または高さの最小サイズがXよりも小さいまたはX以下の場合、提案した方法は許可されない。一例において、Xは8に設定される。
c. 代替的に、ブロックの幅および/または高さの最小サイズがXよりも小さくない場合、提案される方法は許可されない。一例において、Xは8に設定される。
d. 代替的に、ブロックの幅>th1または>=th1および/またはブロックの高さ>th2または>=th2の時、提案した方法は許可されない。一例において、th1および/またはth2は、8に設定される。
e. 代替的に、ブロックの幅<th1または<=th1および/またはブロックの高さ<th2または<=th2の時、提案された方法は許可されない。一例において、th1および/またはth2は、8に設定される。
f. 代替的に、上記方法を有効または無効にするか、および/またはどの方法を適用するかは、ブロックの寸法、映像処理データユニット(VPDU)、ピクチャタイプ、低遅延チェックフラグ、現在のブロックの符号化された情報(例えば、参照ピクチャ、単または双予測)または以前符号化されたブロックに依存することができる。
11. アフィンモードのためのAMVR方法は、イントラブロックコピー(IBC、別名、現在のピクチャリファレンス(CPR))を適用するかどうかで、異なる方法で実施することができる。
a. 一例において、1つのブロックがIBCによって符号化される場合、アフィンモードのためのAMVRを使用できない。
b. 一例において、アフィンモードのためのAMVRを使用してもよいが、1つのブロックがIBCによって符号化される場合、候補MV/MVD/MVP精度は、非IBC符号化アフィン符号化ブロックのために使用されるものと異なってもよい。
12. 文書における「スライス」という用語はすべて、「タイルグループ」または「タイル」に置き換えてもよい。
13. VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダにおいて、1に等しい構文要素(例:no_amvr_constraint_flag)は、AMVRが有効かどうかを示す構文要素(例:sps_amvr_enabled_flag)と、アフィンAMVRが有効かどうかを示す構文要素(例:sps_affine_avmr_enabled_flag)の両方が0に等しいことがビットストリーム適合性の要件であることを指定している。0に等しい構文要素(例えば、no_amvr_constraint_flag)は、制約を課さない。
14. VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダまたは他の映像データユニットにおいて、構文要素(例えば、no_affine_amvr_constraint_flag)を信号通知することができる。
a. 一例において、no_affine_amvr_constraint_flagが1に等しいことは、アフィンAMVRが有効化されるかどうかを示すための構文要素(例えば、sps_affine_avmr_enabled_flag)が0に等しいことがビットストリーム適合性の要件であることを指定する。構文要素(例えば、no_affine_amvr_constraint_flag)が0に等しい場合、制約は課されない。
5. 実施形態
5.1. 実施形態1:アフィンAMVRモードの使用方法の表示
それは、SPS/PPS/VPS/APS/シーケンスヘッダ/ピクチャヘッダ/タイルグループヘッダ等で信号通知されてもよい。この章では、SPSにおける信号通知について説明する。
5.1.1. SPS構文テーブル
Figure 0007212150000052
代替のSPS構文テーブルは、以下のように与えられる。
Figure 0007212150000053
意味論:
sps_affine_amvr_enabled_flag=1は、アフィンインターモードの動きベクトル符号化に適応動きベクトル差解像度を用いることを指定する。amvr_enabled_flag equal to 0は、アフィンインターモードの動きベクトル符号化に適応動きベクトル差分解像度を用いないことを指定する。
5.2. アフィンAMVRモード情報の構文解析処理
アフィンAMVRモード情報の構文は、それをAMVRモード情報(通常のインターモードに適用される)に再利用してもよい。代替的に、異なる構文要素を利用してもよい。
アフィンAMVRモード情報は、条件付きで信号通知されてもよい。以下の異なる実施形態は、この条件のいくつかの例を示す。
5.2.1. 実施形態#1:CU構文テーブル
Figure 0007212150000054
Figure 0007212150000055
5.2.2. 実施形態2:代替CU構文テーブル設計
Figure 0007212150000056
Figure 0007212150000057
5.2.3. 実施形態3:第3CU構文テーブル設計
Figure 0007212150000058
Figure 0007212150000059
5.2.4. 実施形態4:AMVRおよびアフィンAMVRモードのための異なる構文を有する構文テーブル設計
Figure 0007212150000060
Figure 0007212150000061
・一例において、conditionsAは、以下のように定義される。
(sps_affine_amvr_enabled_flag && inter_affine_flag==1 &&
(MvdCpL0[x0][y0][0][0]!=0||
MvdCpL0[x0][y0][0][1]!=0||
MvdCpL1[x0][y0][0][0]!=0||
MvdCpL1[x0][y0][0][1]!=0||
MvdCpL0[x0][y0][1][0]!=0||
MvdCpL0[x0][y0][1][1]!=0||
MvdCpL1[x0][y0][1][0]!=0||
MvdCpL1[x0][y0][1][1]!=0||
MvdCpL0[x0][y0][2][0]!=0||
MvdCpL0[x0][y0][2][1]!=0||
MvdCpL1[x0][y0][2][0]!=0||
MvdCpL1[x0][y0][2][1]!=0))
代替的に、conditionsAは、以下のように定義される。
(sps_affine_amvr_enabled_flag && inter_affine_flag==1 &&
(MvdCpL0[x0][y0][0][0]!=0||
MvdCpL0[x0][y0][0][1]!=0||
MvdCpL1[x0][y0][0][0]!=0||
MvdCpL1[x0][y0][0][1]!=0)
代替的に、conditionsAは、以下のように定義される。
(sps_affine_amvr_enabled_flag && inter_affine_flag==1 &&
(MvdCpLX[x0][y0][0][0]!=0||
MvdCpLX[x0][y0][0][1]!=0)
ここで、Xは、0または1である。
代替的に、conditionsAは、以下のように定義される。
(sps_affine_amvr_enabled_flag && inter_affine_flag==1)
・一例において、conditionsBは、以下のように定義される。
!sps_cpr_enabled_flag||!(inter_pred_idc[x0][y0]==PRED_L0 &&
ref_idx_l0[x0][y0]==num_ref_idx_l0_active_minus1)
代替的に、conditionsBは、以下のように定義される。
!sps_cpr_enabled_flag||!(pred_mode[x0][y0]==CPR).
代替的に、conditionsBは、以下のように定義される。
!sps_ibc_enabled_flag||!(pred_mode[x0][y0]==IBC).
AMVRまたはアフィンAMVRをコードするために異なる構文要素を使用する場合、アフィンAMVRに適用される5.5の実施形態に使用されるコンテキストモデリングおよび/またはコンテキストをしかるべく適用することができる。
5.2.5. 意味論
amvr_flag[x0][y0]は、動きベクトルの差の解像度を指定する。配列インデックスx0,y0は、ピクチャの左上輝度サンプルに対する符号化ブロックの左上輝度サンプルの位置(x0,y0)を指定する。amvr_flag[x0][y0]が0に等しい場合は、動きベクトル差の解像度が輝度サンプルの1/4であることを指定し、amvr_flag[x0][y0]が1に等しい場合は、動きベクトル差の解像度がamvr_coarse_precisoin_flag[x0][y0]でさらに指定されることを指定する。
amvr_flag[x0][y0]が存在しない場合、次のように推論される。
-sps_cpr_enabled_flagが1に等しい場合、amvr_flag[x0][y0]は1に等しいと推測される。
-そうでない場合(sps_cpr_enabled_flagが0に等しい)、amvr_flag[x0][y0]は0に等しいと推論される。
amvr_coarse_precisoin_flag[x0][y0]が1に等しい場合、動きベクトル差分の解像度はinter_affine_flagが0の場合は4輝度サンプル、inter_affine_flagが1の場合は1輝度サンプルであることを指定する。配列インデックスx0,y0は、ピクチャの左上輝度サンプルに対する、考慮される符号化ブロックの左上輝度サンプルの位置(x0,y0)を指定する。
amvr_coarse_precisoin_flag[x0][y0]が存在しない場合、0に等しいと推測される。
inter_affine_flag[x0][y0]が0の場合、変数MvShiftは(amvr_flag[x0][y0]+amvr_coarse_precisoin_flag[x0][y0])<<1に設定され、変数MvdL0[x0][y0][0]、MvdL0[x0][y0][1]、MvdL1[x0][y0][0]、MvdL1[x0][y0][1]は以下のように修正される。
MvdL0[x0][y0][0]=MvdL0[x0][y0][0]<<(MvShift+2) (7-70)
MvdL0[x0][y0][1]=MvdL0[x0][y0][1]<<(MvShift+2) (7-71)
MvdL1[x0][y0][0]=MvdL1[x0][y0][0]<<(MvShift+2) (7-72)
MvdL1[x0][y0][1]=MvdL1[x0][y0][1]<<(MvShift+2) (7-73)
inter_affine_flag[x0][y0]が1の場合、変数MvShiftは、(amvr_coarse_precisoin_flag?(amvr_coarse_precisoin_flag<<1):(-(amvr_flag<<1)))に設定され、変数MvdCpL0[x0][y0][0][0]、MvdCpL0[x0][y0][0][1]、MvdCpL0[x0][y0][1][0]、MvdCpL0[x0][y0][1][1]、MvdCpL0[x0][y0][2][0]、MvdCpL0[x0][y0][2][1]は、以下のように修正される。
MvdCpL0[x0][y0][0][0]=MvdCpL0[x0][y0][0][0]<<(MvShift+2) (7-73)
MvdCpL1[x0][y0][0][1]=MvdCpL1[x0][y0][0][1]<<(MvShift+2) (7-67)
MvdCpL0[x0][y0][1][0]=MvdCpL0[x0][y0][1][0]<<(MvShift+2) (7-66)
MvdCpL1[x0][y0][1][1]=MvdCpL1[x0][y0][1][1]<<(MvShift+2) (7-67)
MvdCpL0[x0][y0][2][0]=MvdCpL0[x0][y0][2][0]<<(MvShift+2) (7-66)
MvdCpL1[x0][y0][2][1]=MvdCpL1[x0][y0][2][1]<<(MvShift+2) (7-67)
代替的に、inter_affine_flag[x0][y0]が1に等しい場合、変数MvShiftは、(affine_amvr_coarse_precisoin_flag?(affine_amvr_coarse_precisoin_flag<<1):(-(affine_amvr_flag<<1)))に等しく設定される。
5.3. 動きベクトルの丸め処理
丸め処理は、所与のrightShift値が0(1/16画素の精度で発生する)である場合、丸めオフセットを(1<<(rightShift-1))ではなく、0に設定するように修正される。
例えば、MVのための丸め処理の従属節は、以下のように修正される。
この処理への入力は以下の通りである。
-動きベクトルmvX、
-丸めるときの右シフトパラメータrightShift、
-解像度を上げるための、左シフトパラメータleftShift。
この処理の出力が丸められた動きベクトルmvXである。
mvXを丸める場合、以下が適用される。
offset=(rightShift==0)?0:(1<<(rightShift-1)) (8-371)
mvX[0]=(mvX[0]>=0?(mvX[0]+offset)>>rightShift:
-((-mvX[0]+offset)>>rightShift))<<leftShift (8-372)
mvX[1]=(mvX[1]>=0?(mvX[1]+offset)>>rightShift:
-((-mvX[1]+offset)>>rightShift))<<leftShift (8-373)
5.4. 復号化処理
アフィン動きベクトル導出処理において呼び出される丸め処理は、2に固定される代わりに、(MvShift+2)の入力を用いて行われる。
輝度アフィン制御点動きベクトル予測子の導出処理
この処理への入力は以下の通りである。
-現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルの輝度位置(xCb、yCb)
-現在の輝度符号化ブロックの幅および高さを指定する2つの変数cbWidthおよびcbHeigh
-現在の符号化ユニットrefIdxLXの参照インデックスであり、Xは0または1である。
-制御点動きベクトルnumCpMvの数
この処理の出力は、Xが0または1として、cpIdx=0...numCpMv-1の輝度アフィン制御点動きベクトル予測子mvpCpLX[cpIdx]である。
Xが0または1として、cpMvpListLXである制御点動きベクトル予測子候補リストを導出するために、以下の順序付けられたステップが適用される。
リストnumCpMvpCandLXにおける制御点動きベクトル予測子の候補の数は、0に等しく設定される。
変数availableFlagAおよびavailableFlagBは、いずれもFALSEに等しく設定される。

8.4.2.14節で規定された動きベクトルの丸め処理は、cpMvpLX[cpIdxに等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、cpIdx=0...numCpMv-1で丸められたcpMvpLX[cpIdx]を出力として用いて呼び出される。

変数availableFlagAはTRUEに等しく設定される。
8.4.4.5節で規定された近傍のブロックからの輝度アフィン制御点動きベクトルの導出処理は、輝度符号化ブロック位置(xCb,yCb)、輝度符号化ブロック幅と高さ(cbWidth,cbHeight)、近傍の輝度符号化ブロック位置(xNb,yNb)、近傍の輝度符号化ブロック幅と高さ(nbW,nbH)、制御点動きベクトル数numCpMvを入力とし、制御点動きベクトル予測子候補cpMvpLY[cpIdx](cpIdx=0...numCpMv-1)を出力として用いて呼び出される。
8.4.2.14節で規定された動きベクトルの丸め処理は、cpMvpLY[cpIdx]と等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、cpIdx=0...numCpMv-1で丸められたcpMvpLY[cpIdx]を出力として用いて呼び出される。

8.4.4.5節で規定された近傍のブロックからの輝度アフィン制御点動きベクトルの導出処理は、輝度符号化ブロック位置(xCb,yCb)、輝度符号化ブロック幅および高さ(cbWidth,cbHeight)、近傍の輝度符号化ブロック位置(xNb,yNb)、および制御点動きベクトル数numCpMvを入力とし、制御点動きベクトル予測子候補cpMvpLX[cpIdx](cpIdx=0...numCpMv-1)を出力として用いて呼び出される。
8.4.2.14節で規定された動きベクトルの丸め処理は、cpMvpLX[cpIdx]に等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、cpIdx=0...numCpMv-1で丸められたcpMvpLX[cpIdx]を出力として用いて呼び出される。
以下の割り当てを行う。
cpMvpListLX[numCpMvpCandLX][0]=cpMvpLX[0] (8-618)
cpMvpListLX[numCpMvpCandLX][1]=cpMvpLX[1] (8-619)
cpMvpListLX[numCpMvpCandLX][2]=cpMvpLX[2] (8-620)
numCpMvpCandLX=numCpMvpCandLX+1 (8-621)
あるいは、PredFlagLY[xNbBk][yNbBk](withY=!X)が1に等しく、DiffPicORDerCnt(RefPicListY[RefIdxLY[xNbBk][yNbBk]],RefPicListX[refIdxLX])が0に等しい場合、以下が適用される。
変数availableFlagBはTRUEに設定される。
8.4.4.5節で規定された近傍のブロックからの輝度アフィン制御点動きベクトルの導出処理は、輝度符号化ブロック位置(xCb,yCb)、輝度符号化ブロック幅と高さ(cbWidth,cbHeight)、近傍の輝度符号化ブロック位置(xNb,yNb)、近傍の輝度符号化ブロック幅と高さ(nbW,nbH)、制御点動きベクトル数numCpMvを入力とし、制御点動きベクトル予測子候補cpMvpLY[cpIdx](cpIdx=0...numCpMv-1)を出力として用いて呼び出される。
8.4.2.14節で規定された動きベクトルの丸め処理は、cpMvpLY[cpIdx]と等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、cpIdx=0...numCpMv-1で丸められたcpMvpLY[cpIdx]を出力として用いて呼び出される。
以下の割り当てを行う。
cpMvpListLX[numCpMvpCandLX][0]=cpMvpLY[0] (8-622)
cpMvpListLX[numCpMvpCandLX][1]=cpMvpLY[1] (8-623)
cpMvpListLX[numCpMvpCandLX][2]=cpMvpLY[2] (8-624)
numCpMvpCandLX=numCpMvpCandLX+1 (8-625)
numCpMvpCandLXが2未満である場合、以下が適用される。
8.4.4.8節で規定するアフィン制御点動きベクトル予測候補の導出処理は、輝度符号化ブロック位置(xCb,yCb)、輝度符号化ブロック幅cbWidth、輝度符号化ブロック高さcbHeight、現在の符号化ユニットrefIdxLXの参照インデックスを入力とし、可用性フラグavailableConsFlagLX、可用性フラグavailableFlagLX[cpIdx]およびcpMvpLX[cpIdx](cpIdx=0..numCpMv-1)を出力として用いて呼び出される。
availableConsFlagLXが1に等しく、numCpMvpCandLXが0に等しい場合、以下の割り当てが行われる。
cpMvpListLX[numCpMvpCandLX][0]=cpMvpLX[0] (8-626)
cpMvpListLX[numCpMvpCandLX][1]=cpMvpLX[1] (8-627)
cpMvpListLX[numCpMvpCandLX][2]=cpMvpLX[2] (8-628)
numCpMvpCandLX=numCpMvpCandLX+1 (8-629)
cpIdx=0..numCpMv-1に適用される。
numCpMvpCandLXが2未満であり、かつavailableFlagLX[cpIdx]が1に等しい場合、以下の割り当てが行われる。
cpMvpListLX[numCpMvpCandLX][0]=cpMvpLX[cpIdx] (8-630)
cpMvpListLX[numCpMvpCandLX][1]=cpMvpLX[cpIdx] (8-631)
cpMvpListLX[numCpMvpCandLX][2]=cpMvpLX[cpIdx] (8-632)
numCpMvpCandLX=numCpMvpCandLX+1 (8-633)
numCpMvpCandLXが2未満である場合、以下が適用される。
8.4.2.11節に記載の時間的輝度動きベクトル予測の導出処理は、輝度符号化ブロック位置(xCb,yCb)、輝度符号化ブロックの幅cbWidth、輝度符号化ブロックの高さcbHeight、refIdxLXを入力とし、可用性フラグavailabilityFlagLXCol、および時間的動きベクトル予測子mvLXColを出力として使用して呼び出される。
availableFlagLXColが1に等しい場合、以下が適用される。
8.4.2.14節に記載の動きベクトルの丸め処理は、mvLXColと等しく設定されたmvX、(MvShift+2)と等しいrightShift set、(MvShift+2)と等しく設定されたleftShiftを入力とし、丸めたmvLXColを出力として使用して呼び出される。
以下の割り当てを行う。
cpMvpListLX[numCpMvpCandLX][0]=mvLXCol (8-634)
cpMvpListLX[numCpMvpCandLX][1]=mvLXCol (8-635)
cpMvpListLX[numCpMvpCandLX][2]=mvLXCol (8-636)
numCpMvpCandLX=numCpMvpCandLX+1 (8-637)
numCpMvpCandLXが2未満である場合、numCpMvpCandLXが2に等しくなり、mvZero[0]およびmvZero[1]の両方が0に等しくなるまで、以下を繰り返す。
cpMvpListLX[numCpMvpCandLX][0]=mvZero (8-638)
cpMvpListLX[numCpMvpCandLX][1]=mvZero (8-639)
cpMvpListLX[numCpMvpCandLX][2]=mvZero (8-640)
numCpMvpCandLX=numCpMvpCandLX+1 (8-641)
Xが0または1であるアフィン制御点動きベクトル予測子cpMvpLXは、以下のように導出される。
cpMvpLX=cpMvpListLX[mvp_lX_flag[xCb][yCb]] (8-642)
構築されたアフィン制御点動きベクトル予測候補の導出処理
この処理への入力は以下の通りである。
-現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルを指定する輝度位置(xCb,yCb)
-現在の輝度符号化ブロックの幅および高さを指定する2つの変数cbWidthおよびcbHeigh
-現在の予測ユニットの分割refIdxLX(Xが0または1)の参照インデックス。
この処理の出力は以下の通りである。
-構築されたアフィン制御点動きベクトル予測候補の可用性フラグavailableConsFlagLX(Xは0または1)
-availability flags availabilityLX[cpIdx](cpIdx=0..2で、Xは0または1)
-構築されたアフィン制御点動きベクトル予測候補cpMvLX[cpIdx](cpIdx=0..numCpMv-1、Xは0または1)
第1の(左上)制御点動きベクトルcpMvLX[0]および可用性フラグavailabilityFlagLX[0]は、以下の順序ステップで導出される。
サンプル位置(xNbB2,yNbB2),(xNbB3,yNbB3)および(xNbA2,yNbA2)は、それぞれ、(xCb-1,yCb-1),(xCb,yCb-1)and(xCb-1,yCb)に等しく設定される。
可用性フラグavailabilityFlagLX[0]は0に等しく設定され、cpMvLX[0]の両方のコンポーネントは0に等しく設定される。
以下は、(xNbTL,yNbTL)をB2,B3,A2に置き換えた場合に適用される。
節に記載の符号化ブロックの可用性導出処理は、輝度符号化ブロック位置(xCb,yCb)、輝度符号化ブロックの幅cbWidth、輝度符号化ブロックの高さcbHeight、(xNbTL,yNbTL)に等しく設定された輝度位置(xNbY,yNbY)を入力として呼び出され、出力は符号化ブロック可用性フラグavailabilityTRに割り当てられる。
availableTLがTRUEに等しく、かつavailableFlagLX[0]が0に等しい場合、以下が適用される。
PredFlagLX[xNbTL][yNbTL]が1に等しく、DiffPicORDerCnt(RefPicListX[RefIdxLX[xNbTL][yNbTL]],RefPicListX[refIdxLX])が0に等しく、RefIdxLX[xNbTL][yNbTL]に対応する参照ピクチャが現在のピクチャでない場合、availableFlagLX[0]は、1に等しく設定され、下記のような割り当てを行う。
cpMvLX[0]=MvLX[xNbTL][yNbTL] (8-643)
そうでない場合、PredFlagLY[xNbTL][yNbTL](Y=!X)が1に等しく、DiffPicORDerCnt(RefPicListY[RefIdxLY[xNbTL][yNbTL]],RefPicListX[refIdxLX])が0に等しく、RefIdxLY[xNbTL][yNbTL]に対応する参照ピクチャが現在の画像でない場合、availableFlagLX[0]を1に等しく設定して下記のような割り当てを行う。
cpMvLX[0]=MvLY[xNbTL][yNbTL] (8-644)
availableFlagLX[0]が1の場合、8.4.2.14節で指定された動きベクトルの丸め処理は、cpMvLX[0]に等しく設定されたmvX、(MvShift+2)に等しく設定されたrightShift、(MvShift+2)に等しく設定されたleftShiftを入力とし、丸められたcpMvLX[0]を出力として呼び出される。
第2の(右上)制御点動きベクトルcpMvLX[1]および可用性フラグavailabilityFlagLX[1]は、以下の順序ステップで導出される。
サンプル位置(xNbB1,yNbB1)と(xNbB0,yNbB0)は、それぞれ、(xCb+cbWidth-1,yCb-1)および(xCb+cbWidth,yCb-1)と等しく設定される。
可用性フラグavailabilityFlagLX[1]は0に設定され、cpMvLX[1]の両方のコンポーネントは0に設定される。
以下は、(xNbTR,yNbTR)をB1およびB0に置き換えた場合に適用される。
6.4.X節に指定されたように、符号化ブロックの可用性導出処理は、輝度符号化ブロック位置(xCb,yCb)、輝度符号化ブロックの幅cbWidth、輝度符号化ブロックの高さcbHeight、(xNbTR,yNbTR)と等しく設定された輝度位置(xNbY,yNbY)を入力として呼び出され、出力は符号化ブロック可用性フラグavailabilityTRに割り当てられる。
availableTRがTRUEに等しく、かつavailableFlagLX[1]が0に等しい場合、以下が適用される。
PredFlagLX[xNbTR][yNbTLR]が1に等しく、DiffPicOrderCnt(RefPicListX[RefIdxLX[xNbTR][yNbTR]],RefPicListX[refIdxLX])が0に等しく、RefIdxLX[xNbTR][yNbTR]に対応する参照ピクチャが現在のピクチャでない場合、availableFlagLX[1]は、1に等しく設定して下記のような割り当てを行う。
cpMvLX[1]=MvLX[xNbTR][yNbTR] (8-645)
そうでない場合、PredFlagLY[xNbTR][yNbTR](Y=!X)が1に等しく、DiffPicORDerCnt(RefPicListY[RefIdxLY[xNbTR][yNbTR]],RefPicListX[refIdxLX])が0に等しく、RefIdxLY[xNbTR][yNbTR]に対応する参照ピクチャが現在の画像でない場合、availableFlagLX[1]を1に等しく設定して下記のような割り当てを行う。
cpMvLX[1]=MvLY[xNbTR][yNbTR] (8-646)
availableFlagLX[1]が1に等しい場合、8.4.2.14節で指定された動きベクトルの丸め処理は、cpMvLX[1]に等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、丸められたcpMvLX[1]を出力として呼び出される。
第3の(左下)制御点動きベクトルcpMvLX[2]および可用性フラグavailabilityFlagLX[2]は、以下の順序ステップで導出される。
サンプル位置(xNbA1,yNbA1)および(xNbA0,yNbA0)は、それぞれ、(xCb-1,yCb+cbHeight-1)および(xCb-1,yCb+cbHeight)に等しく設定される。
可用性フラグavailabilityFlagLX[2]は0に等しく設定され、cpMvLX[2]の両方のコンポーネントは0に等しく設定される。
以下は、(xNbBL,yNbBL)に適用され、BLがA1およびA0に置き換えられる。
6.4.X節に記載の符号化ブロックの可用性導出処理は、輝度符号化ブロック位置(xCb,yCb)、輝度符号化ブロックの幅cbWidth、輝度符号化ブロックの高さcbHeight、輝度位置(xNbY,yNbY)=(xNbBL,yNbBL)を入力として呼び出され、その出力は、符号化ブロック可用性フラグavailabilityBLに割り当てられる。
availableBLがTRUEに等しく、かつavailableFlagLX[2]が0に等しい場合、以下が適用される。
PredFlagLX[xNbBL][yNbBL]が1に等しく、DiffPicORDerCnt(RefPicListX[RefIdxLX[xNbBL][yNbBL]],RefPicListX[refIdxLX])が0に等しく、RefIdxLY[xNbBL][yNbBL]に対応する参照ピクチャが現在のピクチャでない場合、availableFlagLX[2]を1に設定し、以下のような割り当てを行う。
cpMvLX[2]=MvLX[xNbBL][yNbBL] (8-647)
そうでない場合、PredFlagLY[xNbBL][yNbBL](Y=!X)が1に等しく、DiffPicORDerCnt(RefPicListY[RefIdxLY[xNbBL][yNbBL]],RefPicListX[refIdxLX])が0に等しく、RefIdxLY[xNbBL][yNbBL]に対応する参照ピクチャが現在の画像でない場合、availableFlagLX[2]を1に等しく設定して下記のような割り当てを行う。
cpMvLX[2]=MvLY[xNbBL][yNbBL] (8-648)
availableFlagLX[2]が1に等しい場合、8.4.2.14節で指定された動きベクトルの丸め処理は、cpMvLX[2]に等しく設定したmvX、(MvShift+2)に等しく設定したrightShift、(MvShift+2)に等しく設定したleftShiftを入力とし、丸められたcpMvLX[2]を出力として呼び出される。
5.5. コンテキストモデリング
コンテキスト符号化された2値を使用した構文要素へのctxIncの割り当て:
Figure 0007212150000062
左上の構文要素を使用するctxIncの仕様:
一例において、コンテキストインクリメントオフセットctxInc=(condL && availableL)+(condA && availableA)+ctxSetIdx*3である。
代替的に、ctxInc=((condL && availableL)||(condA && availableA))+ctxSetIdx*3である。
ctxInc=(condL && availableL)+M*(condA && availableA)+ctxSetIdx*3.(例えば、M=2)
ctxInc=M*(condL && availableL)+(condA && availableA)+ctxSetIdx*3.(例えば、M=2)
Figure 0007212150000063
amvr_flagのctxIdxのinitValueの値:
現在のブロックがアフィンまたは非アフィンである場合、異なるコンテキストが使用される。
Figure 0007212150000064
amvr_coarse_precisoin_flagのctxIdxのinitValueの値:
現在のブロックがアフィンまたは非アフィンである場合、異なるコンテキストが使用される。
Figure 0007212150000065
上述された例は、以下に説明される方法、例えば、方法2600から2680に関連して組み込まれてもよく、これらは、ビデオデコーダまたはビデオエンコーダにおいて実装されてもよい。
図26Aは、例示的な映像処理方法のフローチャートを示す。方法2600は、ステップ2602で、映像の現在のブロックの符号化表現と現在のブロックとの間で変換するために、現在の映像ブロックを含む映像領域に適用される許容される複数のMVD精度のセットから、変換に使用される動きベクトル差(MVD)精度を判定することを含む。方法2600は、ステップ2604において、MVD精度に基づいて変換を行うことを含む。
図26Bは、例示的な映像処理方法のフローチャートを示す。図26Bに示す方法2610は、ステップ2612において、映像の1つ以上の映像ブロックを含む映像領域と映像の符号化表現のために、映像領域における1つ以上の映像ブロックの変換のために複数の動きベクトル差(MVD)精度を使用することを判定することを含む。方法2610は、ステップ2614において、判定に基づいて変換を行うことを含む。
図26Cは、例示的な映像処理方法のフローチャートを示す。図26Cに示す方法2620は、ステップ2622において、映像の1つ以上の映像ブロックおよび映像の符号化表現を含む映像領域に対して、現在の映像ブロックと映像の符号化表現との間で変換するために、現在の映像ブロックに適応動きベクトル解像度(AMVR)処理をどの適用するか否かを判定することを含む。方法2620は、ステップ2624において、判定に基づいて変換を行うことを含む。
図26Dは、例示的な映像処理方法のフローチャートを示す。図26Dに示す方法2630は、ステップ2632において、映像の1つ以上の映像ブロックおよび映像の符号化表現を含む映像領域に対して、現在の映像ブロックと映像の符号化表現との間で変換するために、どのようにして現在の映像ブロックに適応動きベクトル解像度(AMVR)処理をどの適用するかを判定することを含む。方法2630は、ステップ2634において、判定に基づいて変換を行うことを含む。
図26Eは、例示的な映像処理方法のフローチャートを示す。図26Eに示す方法2640は、ステップ2642において、アフィン符号化モードを用いる現在の符号化ユニットの親符号化ユニットの符号化モードまたはアフィン符号化モードのひずみ率(RD)コストに基づいて、映像の現在のブロックの符号化表現と現在のブロックとの間で変換するために適応動きベクトル解像度(AMVR)の使用を判定することを含む。方法2640は、ステップ2644において、判定した結果に基づいて変換を行うことを含む。
図26Fは、例示的な映像処理方法のフローチャートを示す。図26Fに示す方法2650は、ステップ2652において、映像の現在のブロックの符号化表現と、高度動きベクトル予測(AMVP)符号化モードを使用する現在のブロックとの間で変換するための適応動きベクトル解像度(AMVR)の使用法を判定することを含み、その判定は、前記AMVP符号化モードのひずみ率(RD)コストに基づいて行われる。方法2650は、ステップ2654において、判定した結果に基づいて変換を行うことを含む。
図26Gは、例示的な映像処理方法のフローチャートを示す。図26Gに示す方法2660は、ステップ2662において、映像の現在のブロックの符号化表現と現在のブロックとの間で変換するために、4パラメータアフィンモデルまたは6パラメータアフィンモデルを使用してMV(動きベクトル)精度のセットを生成することを含む。方法2660は、ステップ2664において、MV精度のセットに基づいて変換を行うことを含む。
図26Hは、例示的な映像処理方法のフローチャートを示す。図26Hに示す方法2670は、ステップ2672において、アフィン符号化モードを使用する現在のブロックの親ブロックの符号化モードに基づいて、復号化時の動きベクトル解像度を改善するために適応動きベクトル解像度(AMVR)ツールを使用して変換を行うかどうかを判定することを含む。方法2670は、ステップ2674において、判定した結果に基づいて変換を行うことを含む。
図26Iは、例示的な映像処理方法のフローチャートを示す。図26Iに示す方法2680は、ステップ2682において、アフィン符号化モードを使用して以前に符号化された前のブロックに対するMV精度の使用に基づいて、現在のブロックの符号化表現と現在のブロックとの間で変換するためにアフィン符号化モードを使用する、現在のブロックのためのMV精度のひずみ率(RD)計算の終了を判定することを含む。方法2680は、ステップ2684において、判定した結果に基づいて変換を行うことを含む。
5. 開示される技術の例示的な実装形態
図27は、映像処理装置2700のブロック図の一例である。装置2700は、本明細書で説明される方法の1つ以上を実装するために使用してもよい。装置2700は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよい。装置2700は、1つ以上の処理装置2702と、1つ以上のメモリ2704と、映像処理ハードウェア2706と、を含んでもよい。1つ以上の処理装置2702は、本明細書に記載される1つ以上の方法(方法2610および2680を含むが、これに限定されない)を実装するように構成されてもよい。メモリ(複数可)2704は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア2706は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
図29は、開示される技術が実装され得る映像処理システムのブロック図の別の例である。図29は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム2900を示すブロック図である。様々な実装形態は、システム2900のモジュールの一部または全部を含んでもよい。システム2900は、映像コンテンツを受信するための入力ユニット2902を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチモジュール画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力ユニット2902は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fiまたはセルラーインターフェース等の無線インターフェースを含む。
システム2900は、本明細書に記載される様々な符号化または符号化方法を実装することができる符号化モジュール2904を含んでもよい。符号化モジュール2904は、入力ユニット2902からの映像の平均ビットレートを符号化モジュール2904の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール2904の出力は、モジュール2906によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット2902において受信された、記憶されたまたは通信された映像のビットストリーム(または符号化)表現は、モジュール2908によって使用されて、表示インターフェースユニット2910に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作またはツールと呼ぶが、符号化ツールまたは動作は、エンコーダおよびそれに対応する、復号化の結果を逆にする復号化ツールまたは動作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
いくつかの実施形態において、映像処理方法は、図27または29を参照して説明したように、ハードウェアプラットフォームに実装される装置を用いて実施されてもよい。
様々な技術および実施形態を、以下の節に基づくフォーマットを使用して説明することができる。これらの節は、いくつかの実施形態の好適な特徴として実装されてもよい。
複数の節のうちの第1の組では、例えば、前の章の節1,2、および13~15に記載された技術のうちの一部を使用する。
1. 映像の現在のブロックの符号化表現と現在のブロックとの間で変換するために、現在の映像ブロックを含む映像領域に適用可能な許容される複数のMVD精度のセットから、変換に使用される動きベクトル差(MVD)精度を判定することと、MVD精度に基づいて変換を行うことと、を含む、映像処理の方法。
2. 前記許容される複数のMVD精度のセットは、前記映像データのピクチャ、スライス、またはブロックに依存する、第1節に記載の方法。
3. 許容される複数のMVD精度のセットは、現在のブロックの符号化された情報に依存する、第1節に記載の方法。
4. 許容される複数のMVD精度のセットは、予め規定される、第1節に記載の方法。
5. 許容される複数のMVD精度のセットは、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、映像パラメータセット(VPS)、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダ、符号化ツリーユニットの群(CTU)において信号通知される、第1節に記載の方法。
6. 現在のブロックのための許容されるMV精度の数に基づいて、許容される複数のMVD精度のセットから、判定されたMVD精度を信号通知することをさらに含む、第1節に記載の方法。
7. MVD精度を判定することは、1つ以上の構文要素に基づいており、現在のブロックは、アフィンモードを使用して符号化される、第1節に記載の方法。
8. アフィンモードおよび非アフィンモードの両方に適用される許容される複数のMVD精度のセットから設定されたMVD精度を示すために、同じ構文要素が使用される、第3または7節に記載の方法。
9. アフィンモードおよび非アフィンモードは、許容される複数のMVD精度の同じセットを使用する、第3、7または8節に記載の方法。
10. アフィン符号化ブロックは、非アフィンモードで使用されるものとは異なる、許容される複数のMVD精度のセットを使用する、第3、7、または8節に記載の方法。
11. 非アフィンモードで使用されるものと同じ数の許容される複数のMVD精度を有する異なるセットは、非アフィンモードで使用される構文要素を前記アフィンモードで再使用する、第10節に記載の方法。
12. 異なるセットは、非アフィンモードで使用されるものとは異なる、少なくとも1つのMVD精度を有する、第10節に記載の方法。
13. 非アフィンモードおよびアフィンモードで使用される構文要素の意味論が異なり、構文要素が、異なるMVD精度に解釈される同じ復号値を有する、第3、7または8節に記載の方法。
14. アフィンモードで使用される、許容される複数のMVD精度の数は、非アフィンモードで使用されるものよりも少ない、第3、7、または8節に記載の方法。
15. 前記非アフィンモードのための前記構文値の1つ以上のサブセットは、前記アフィンモードにおいて有効でない、第8節に記載の方法。
16. 非アフィンモードおよびアフィンモードで使用される構文要素の意味論が異なり、同じ値の構文要素が、異なるMVD精度に解釈される、第8または14節に記載の方法。
17. アフィンモードで使用される、許容される複数のMVD精度の数は、非アフィンモードで使用されるものよりも多い、第3または7節に記載の方法。
18. 非アフィンモードにおける1つ以上の構文要素は、前記アフィンモードのためのより多くの値を許容するように拡張される、第17節に記載の方法。
19. アフィンモードのMVD精度を処理するために、非アフィンモードのMVD精度を処理するために使用されるものとは異なる追加の構文要素を使用する、第7節に記載の方法。
20. アフィンモードのためのMVD精度の指示が、選択的に信号通知される、第7節に記載の方法。
21. すべての制御点動きベクトル(CPMV)のMVDがゼロでない場合、アフィンモードのためのMVD精度の指示が信号通知される、第20節に記載の方法。
22. 少なくとも1つのCPMVのためのMVDがゼロでない場合、アフィンモードのためのMVD精度の指示が信号通知される、第20節に記載の方法。
23. 1つの選択されたCPMVのMVDがゼロでない場合、アフィンモードのためのMVD精度の指示が信号通知される、第20節に記載の方法。
24. 第1のCPMVのMVDがゼロでない場合、アフィンモードのためのMVD精度の指示が信号通知される、第20節に記載の方法。
25. 1つ以上の所定の条件が満たされない場合、アフィンモードのためのMVD精度の指示が信号通知されない、第20節に記載の方法。
26. アフィンモードまたは非アフィンモードのいずれかに関連付けられたMVD精度表示のための構文要素が、現在のブロックの符号化された情報に依存するコンテキストで符号化される、第7節に記載の方法。
27. アフィンモードまたは非アフィンモードのいずれかに関連付けられたMVD精度表示のための前記構文要素のコンテキスト選択は、現在のブロックがアフィンモードで符号化されているかどうかに依存する、第7節に記載の方法。
28. 1つのコンテキストは、1つのアフィン符号化ブロックのためのMVD精度指示のための構文要素に使用され、別のコンテキストは、1つの非アフィン符号化ブロックのために使用される、第7節に記載の方法。
29. 近傍のブロックのサイズ、形状、またはMVD精度、時間層インデックス、または予測方向に基づいて、MVD精度指標のためのコンテキストを判定する、第7節に記載の方法。
30. アフィンモードのために許容される複数のMVD精度の使用を有効にするかまたは無効にするかは、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、映像パラメータセット(VPS)、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダ、または符号化ツリーユニット(CTU)の群において信号通知される、第7節に記載の方法。
31. アフィンモードのために許容される複数のMVD精度の使用を許可するかまたは禁止するかは、1つ以上の構文要素に依存する、第7節に記載の方法。
32. 前記許容される複数のMVD精度の使用を許可するかまたは禁止するかの情報は、前記アフィンモードが許可されると、信号通知され、前記アフィンモードが禁止されると、信号通知されない、第7節に記載の方法。
33. 前記1つ以上の構文要素は、スライスレベル、ピクチャレベル、またはシーケンスレベルで含まれる、第7~32節のいずれか1節に記載の方法。
34. 前記スライスがタイル群またはタイルに置き換えられる、第5、30、または33節に記載の方法。
35. VPS、SPS、PPS、スライスヘッダ、またはタイルグループヘッダにおいて、1に等しい構文要素は、符号化表現に準拠するための要件を指定し、複数のMVD精度の第1のセットが非アフィンモードで有効であるかどうかを示すための第1の構文要素と、複数のMVD精度の第2のセットがアフィンモードで有効であるかどうかを示すための第2の構文要素との両方がゼロであることを示すことを要求する、第1~34節のいずれか1節に記載の方法。
36. 1つの構文要素が、VPS、SPS、PPS、スライスヘッダ、タイルグループヘッダ、または他の映像データユニットにおいて信号通知される、第1~34節のいずれか1節に記載の方法。
37. 1に等しい構文要素は、符号化表現に準拠するための要件を指定し、前記要件は、アフィンモードに対して複数のMVD精度が有効にされているかどうかを示すための構文要素が0に等しいことを要求する、第36節に記載の方法。
38. アフィン符号化ブロックに対して同じMVD精度で動きベクトル予測子を利用する、第7から37節のいずれか1節に記載の方法。
39. 現在のブロックの最終的動きベクトルを、アフィン符号化ブロックに対して同じMVD精度で利用する、第7~37節のいずれか1節に記載の方法。
40. 前記変換を行うことは、現在のブロックから前記符号化表現を生成するステップを含む、第1~39節のいずれか1節に記載の方法。
41. 前記変換を行うことは、前記符号化表現から前記現在のブロックを生成することを含む、第1~39節のいずれか1節に記載の方法。
42. 処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、第1節~41節のいずれか1節に記載の方法を実施させる映像システムの装置。
43. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、第1~41節のいずれか1節に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
第2の組の節目は、例えば、前節の第3、4、12節を含む、先行する節に記載されたいくつかの技術を使用する。
1. 映像の1つ以上の映像ブロックおよびこの映像の符号化表現を含む映像領域に対して、この映像領域におけるこの1つ以上の映像ブロックの変換のために複数の動きベクトル差(MVD)精度を使用することを判定することと、この判定に基づいてこの変換を行うこととを含む、映像処理方法。
2. 1つ以上の映像ブロックの少なくとも一部の前記変換は、アフィンモード符号化に基づく、第1節に記載の方法。
3. 使用は、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、映像パラメータセット(VPS)、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダ、または符号化ツリーユニット群(CTU)を含む符号化表現で示される第1または2節に記載の方法。
4. 使用は、MVD精度を示すために使用される構文要素に依存して示される、第3節に記載の方法。
5. 映像の1つ以上の映像ブロックおよびこの映像の符号化表現を含む映像領域に対して、現在の映像ブロックとこの映像の符号化表現との間で変換するために、現在の映像ブロックに適応動きベクトル解像度(AMVR)処理を適用するかどうかを判定することと、この判定に基づいてこの変換を行うことと、を含む、映像処理方法。
6. 映像の1つ以上の映像ブロックおよびこの映像の符号化表現を含む映像領域に対して、現在の映像ブロックとこの映像の符号化表現との間で変換するために、どのようにして現在の映像ブロックに適応動きベクトル解像度(AMVR)処理を適用するかを判定することと、この判定に基づいてこの変換を行うことと、を含む、映像処理方法。
7. 現在の映像ブロックの変換は、アフィンモード符号化に基づく、第5または6節に記載の方法。
8. 判定することは、現在の映像ブロックの参照ピクチャに依存する、第7節に記載の方法。
9. 参照ピクチャが現在のピクチャである場合、判定することは、AMVR処理を適用しないと判定する、第8節に記載の方法。
10. 判定することは、現在のブロックにイントラブロックコピー(IBC)を適用するかどうかに依存する、第5または6節に記載の方法。
11. 判定することは、IBCによって符号化された現在のブロックにAMVR処理を適用することを判定する、第10節に記載の方法。
12. IBC符号化ブロックのためのMV(動きベクトル)、MVD、またはMVP(動きベクトル予測)の精度の候補は、IBC符号化ブロックにおいて、IBC符号化されていない他の映像ブロックに用いられるものと異なる、第11節に記載の方法。
13. IBC符号化ブロックのためのMV(動きベクトル)、MVD、またはMVP(動きベクトル予測)の精度の候補は、アフィンモードで符号化された別の映像ブロックに使用されるものと異なる、第11節に記載の方法。
14. 前記変換を行うことは、現在のブロックから前記符号化表現を生成するステップを含む、第1~13節のいずれか1節に記載の方法。
15. 前記変換を行うことは、前記符号化表現から前記現在のブロックを生成することを含む、第1~13節のいずれか1節に記載の方法。
16. 処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、第1節~15節のいずれか1節に記載の方法を実施させる映像システムの装置。
17. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、第1~15節のいずれか1節に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
第3の組の節目は、例えば、前節の第5~10、および13節を含む、先行する節に記載されたいくつかの技術を使用する。
1. アフィン符号化モードを使用する現在の符号化ユニットの親符号化ユニットの符号化モードまたはこのアフィン符号化モードのひずみ率(RD)コストに基づいて、映像の現在のブロックの符号化表現とこの現在のブロックとの間で変換するために適応動きベクトル解像度(AMVR)を使用することを判定することと、この判定した結果に基づいてこの変換を行うことを含む、映像処理方法。
2. 親符号化ユニットの符号化モードがAF_InterモードまたはAF_MERGEモードでない場合、判定することは、AMVRを現在の符号化ユニットに使用できないようにする、第1節に記載の方法。
3. 親符号化ユニットの符号化モードがAF_Interモードでない場合、判定することは、前記AMVRを現在の符号化ユニットに使用できないようにする、第1節に記載の方法。
4. アフィン符号化モードのRDが高度動きベクトル予測(AMVP)モードの正の閾値とRDコストとの乗算よりも大きい場合、判定することは、前記AMVRを現在の符号化ユニットに使用できないようにする、第1節に記載の方法。
5. 判定は、1/4画素のMV精度に適用される、第4節に記載の方法。
6. 最小RDコストは、正の閾値とマージモードのRDコストとの乗算よりも大きい場合、判定することは、AMVRを現在の符号化ユニットに使用することを無効にし、最小RDコストは、アフィン符号化モードのRDコストと高度動きベクトル予測(AMVP)モードのRDコストとの最小値である、第1節に記載の方法。
7. 判定は、1/4画素のMV精度に適用される、第6節に記載の方法。
8. 映像の現在のブロックの符号化表現と、高度動きベクトル予測(AMVP)符号化モードを使用する現在のブロックとの間で変換するための適応動きベクトル解像度(AMVR)の使用量を、AMVP符号化モードのひずみ率(RD)コストに基づいて判定することと、判定の結果に従って変換を行うことと、を含む、映像処理方法。
9. AMVP符号化モードのRDコストが、正の閾値とアフィンモードのRDコストとの乗算よりも大きい場合、判定することは、前記AMVRの使用を無効にする、第8節に記載の方法。
10. 判定は、1/4画素のMV精度に適用される、第8節に記載の方法。
11. 最小RDコストは、正の閾値とマージモードのRDコストとの乗算よりも大きい場合、判定することは、AMVRの使用を無効にし、最小RDコストは、アフィンモードのRDコストとAMVP符号化モードのRDコストとの最小値である、第8節に記載の方法。
12. 判定は、1/4画素のMV精度に適用される、第11節に記載の方法。
13. 映像の現在のブロックの符号化表現と現在のブロックとの間で変換するために、4パラメータアフィンモデルまたは6パラメータアフィンモデルを使用してMV(動きベクトル)精度のセットを生成することと、このMV精度のセットに基づいてこの変換を行うこととを含む、映像処理方法。
14. 単一のMV精度で得られた4パラメータアフィンモデルまたは6パラメータアフィンモデルを、他のMV精度のための候補開始探索点として用いる、第13節に記載の方法。
15. 単一MV精度は、1/16MV精度を含む、第14節に記載の方法。
16. 単一MV精度は、1/4MV精度を含む、第14節に記載の方法。
17. アフィン符号化モードを使用する現在のブロックの親ブロックの符号化モードに基づいて、適応動きベクトル解像度(AMVR)ツールを使用して変換を行うかどうかを判定し、AMVRツールを使用して復号化時の動きベクトル解像度を改善することと、この判定の結果に基づいて変換を行うこととを含む、映像処理方法。
18. 現在のブロックの親ブロックがアフィン符号化モードでない場合、判定することは、現在のブロックのためにAMVRをチェックしないようにする、第17節に記載の方法。
19. アフィン符号化モードを使用して前に符号化された前のブロックのMV精度の使用に基づいて、現在のブロックの符号化表現と現在のブロックとの間で変換するためにアフィン符号化モードを使用する、現在のブロックのMV精度ひずみ率(RD)計算の終了を判定することと、この判定の結果に基づいてこの変換を行うこととを含む、映像処理方法。
20. 現在のブロックおよび前のブロックは、それぞれ、現在の画像セグメントおよび前の画像セグメントに含まれ、現在の画像セグメントおよび前の画像セグメントは、ピクチャ、スライス、タイルまたは符号化ツリーユニット(CTU)行である。第19節に記載の方法。
21. 前記変換を行うことは、現在のブロックから前記符号化表現を生成するステップを含む、第1~20節のいずれか1節に記載の方法。
22. 前記変換を行うことは、前記符号化表現から前記現在のブロックを生成することを含む、第1~20節のいずれか1節に記載の方法。
23. 処理装置と、その処理装置に命令が記憶された非一時的メモリとを備える装置であって、命令が処理装置によって実装されることにより、処理装置に、第1節~22節のいずれか1節に記載の方法を実施させる映像システムの装置。
24. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、第1節~22節のいずれか1節に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
以上、説明の目的で本開示の技術の特定の実施形態を説明したが、本発明の範囲から逸脱することなく様々な修正が可能であることは、理解されるであろう。従って、本開示の技術は、添付の特許請求の範囲による場合を除き、限定されない。
本特許明細書に記載された主題および機能操作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、様々なシステム、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実施することができる。本明細書に記載された主題の実装形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実行されるため、またはデータ処理装置の操作を制御するために、有形で非可搬性のコンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理ユニット」または「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含んでもよい。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、それは、スタンドアロンプログラムとして、または演算環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットを含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特定用途のロジック回路として実装することができる。
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュメモリデバイス等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されても、または組み込まれてもよい。
本明細書は、図面とともに、例示のみを目的とするものであり、例示的とは例を意味することが意図される。本明細書で使用される場合、「または」の使用は、文脈からそうでないことが明確に示されていない限り、「および/または」を含むことが意図される。
本特許明細書は多くの詳細を含むが、これらは、任意の発明の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の発明の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許明細書において別の実施形態の文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、単一の例の文脈で説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切な副結合で実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、副結合または副結合のバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で実行されること、または示された全ての操作が実行されることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムモジュールの分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、本特許明細書に記載され図示されている内容に基づいて、他の実施形態、拡張および変形が可能である。

Claims (20)

  1. 現在の映像ブロックのモードがアフィンインターモードおよび非アフィンインターモードのうちの1つであることを判定することと、
    前記現在のブロックの動き情報に対して、許容される複数の動き精度のセットから動き精度を判定することであって、前記許容される複数の動き精度のセットは、前記現在のブロックが前記アフィンインターモードでコーディングされるかまたは前記非アフィンインターモードでコーディングされるかに基づいており、前記アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットは、前記非アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットと異なる、判定することと、
    前記判定したモードおよび前記動き精度を使用して前記現在のブロックをコーディングすることと、を含み、
    前記アフィンインターモードでコーディングされたブロックに対して、1つまたは複数の構文要素を使用して、前記許容された複数のMVD精度のセットにおける前記動き精度を示し、同1つまたは複数の構文要素を使用して、前記非アフィンインターモードでコーディングされたブロックに対して、前記許容された複数のMVD精度のセットにおける前記動き精度を示し、
    前記非アフィンインターモードで使用される前記構文要素のうちの少なくとも1つの意味論は、前記アフィンインターモードで使用される前記構文要素のうちの少なくとも1つの意味論と異なり、同じ値の少なくとも1つの構文要素は、前記非アフィンインターモードおよび前記アフィンインターモードのために、異なる動き精度に解釈され、
    少なくとも1つの前記構文要素の値のサブセットは、前記非アフィンインターモードにおいて有効であり、前記アフィンインターモードにおいて有効でない、
    映像データをコーディングする方法。
  2. 前記アフィンインターモードでコーディングされたブロックに対する前記許容される複数の動き精度の数は、前記非アフィンインターモードでコーディングされたブロックの数よりも少ない、
    請求項1に記載の方法。
  3. 前記アフィンインターモードおよび前記非アフィンインターモードでコーディングされたブロックに対して、同じ数の許容された複数の動き精度を有効にし、前記アフィンインターモードでコーディングされたブロックに対して許容された複数の動き精度のうちの少なくとも1つは、前記非アフィンインターモードでコーディングされたブロックに対して許容された複数の動き精度のうちの少なくとも1つとは異なる、
    請求項1に記載の方法。
  4. 許容される複数の動き精度の前記セットは、予め規定される、
    請求項1に記載の方法。
  5. 前記アフィンインターモードでコーディングされたブロックに対する前記許容される複数の動き精度のセットは、1/16輝度サンプル、1/4輝度サンプル、および1輝度サンプルを含む、
    請求項1に記載の方法。
  6. 前記動き精度を前記判定することは、1つ以上の構文要素に基づく、
    請求項1に記載の方法。
  7. 前記1つまたは複数の構文要素のコンテキストコーディング構文要素をコーディングする場合、第1のコンテキストは、前記非アフィンインターモードでコーディングされたブロックに使用され、第2のコンテキストは、前記アフィンインターモードでコーディングされたブロックに使用され、前記第1のコンテキストは、前記第2のコンテキストとは異なる、
    請求項に記載の方法。
  8. 前記アフィンインターモードの前記動き精度の表示は、ビットストリームに選択的に存在する、
    請求項1に記載の方法。
  9. 前記現在のブロックの少なくとも1つの制御点動きベクトルのための少なくとも1つの動きベクトル差が非ゼロである場合、前記アフィンインターモードのための前記動き精度の前記表示が存在する、
    請求項に記載の方法。
  10. 現在の映像ブロックのモードがアフィンインターモードおよび非アフィンインターモードのうちの1つであることを判定することと、
    前記現在のブロックの動き情報に対して、許容される複数の動き精度のセットから動き精度を判定することであって、前記許容される複数の動き精度のセットは、前記現在のブロックが前記アフィンインターモードでコーディングされるかまたは前記非アフィンインターモードでコーディングされるかに基づいており、前記アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットは、前記非アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットと異なる、判定することと、
    前記判定したモードおよび前記動き精度を使用して前記現在のブロックをコーディングすることと、を含み、
    前記アフィンインターモードにおける前記許容された複数のMVD精度の使用を有効にするか無効にするかを示す構文要素は、シーケンスパラメータセット(SPS)に存在する、
    映像データをコーディングする方法。
  11. 前記アフィンインターモードにおける前記許容された複数のMVD精度の使用を有効にするか無効にするかを示す前記構文要素は、前記アフィンインターモードを有効にする時に存在し、前記アフィンインターモードを無効にする時には存在しない、
    請求項10に記載の方法。
  12. 前記動き情報は、前記現在のブロックの動きベクトル差(MVD)、動きベクトル予測子(MVP)、および動きベクトル(MV)のうちの少なくとも1つを含む、
    請求項1に記載の方法。
  13. 前記コーディングは、前記現在のブロックを復号化することを含む、
    請求項1に記載の方法。
  14. 前記コーディングは、前記現在のブロックを符号化することを含む、
    請求項1に記載の方法。
  15. 処理装置と、その上に命令を有する非一時的メモリと、を備える映像コーディング装置であって、前記処理装置によって実行されると、前記命令は、前記処理装置に、
    現在の映像ブロックのモードがアフィンインターモードおよび非アフィンインターモードのうちの1つであることを判定することと、
    前記現在のブロックの動き情報に対して、許容される複数の動き精度のセットから動き精度を判定することであって、前記許容される複数の動き精度のセットは、前記現在のブロックが前記アフィンインターモードでコーディングされるかまたは前記非アフィンインターモードでコーディングされるかに基づいており、前記アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットは、前記非アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットと異なる、判定することと、
    前記判定したモードおよび前記動き精度を使用して前記現在のブロックをコーディングすることと、を含み、
    前記アフィンインターモードでコーディングされたブロックに対して、1つまたは複数の構文要素を使用して、前記許容された複数のMVD精度のセットにおける前記動き精度を示し、同1つまたは複数の構文要素を使用して、前記非アフィンインターモードでコーディングされたブロックに対して、前記許容された複数のMVD精度のセットにおける前記動き精度を示し、
    前記非アフィンインターモードで使用される前記構文要素のうちの少なくとも1つの意味論は、前記アフィンインターモードで使用される前記構文要素のうちの少なくとも1つの意味論と異なり、同じ値の少なくとも1つの構文要素は、前記非アフィンインターモードおよび前記アフィンインターモードのために、異なる動き精度に解釈され、
    少なくとも1つの前記構文要素の値のサブセットは、前記非アフィンインターモードにおいて有効であり、前記アフィンインターモードにおいて有効でない、
    映像コーディング装置。
  16. 前記アフィンインターモードでコーディングされたブロックに対して許容される複数の動き精度の数は、前記非アフィンインターモードでコーディングされたブロックの数よりも少ない、
    請求項15に記載の映像コーディング装置。
  17. 令を記憶する非一時的コンピュータ可読記憶媒体であって、
    前記命令は、処理装置に、
    現在の映像ブロックのモードがアフィンインターモードおよび非アフィンインターモードのうちの1つであることを判定することと、
    前記現在のブロックの動き情報に対して、許容される複数の動き精度のセットから動き精度を判定することであって、前記許容される複数の動き精度のセットは、前記現在のブロックが前記アフィンインターモードでコーディングされるかまたは前記非アフィンインターモードでコーディングされるかに基づいており、前記アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットは、前記非アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットと異なる、判定することと、
    前記判定したモードおよび前記動き精度を使用して前記現在のブロックをコーディングすることと、を実施させ
    前記アフィンインターモードでコーディングされたブロックに対して、1つまたは複数の構文要素を使用して、前記許容された複数のMVD精度のセットにおける前記動き精度を示し、同1つまたは複数の構文要素を使用して、前記非アフィンインターモードでコーディングされたブロックに対して、前記許容された複数のMVD精度のセットにおける前記動き精度を示し、
    前記非アフィンインターモードで使用される前記構文要素のうちの少なくとも1つの意味論は、前記アフィンインターモードで使用される前記構文要素のうちの少なくとも1つの意味論と異なり、同じ値の少なくとも1つの構文要素は、前記非アフィンインターモードおよび前記アフィンインターモードのために、異なる動き精度に解釈され、
    少なくとも1つの前記構文要素の値のサブセットは、前記非アフィンインターモードにおいて有効であり、前記アフィンインターモードにおいて有効でない、
    非一時的コンピュータ可読記憶媒体。
  18. 映像のビットストリームを記憶する方法であって、
    現在の映像ブロックのモードがアフィンインターモードおよび非アフィンインターモードのうちの1つであることを判定することと、
    前記現在のブロックの動き情報に対して、許容される複数の動き精度のセットから動き精度を判定することであって、前記許容される複数の動き精度のセットは、前記現在のブロックが前記アフィンインターモードでコーディングされるかまたは前記非アフィンインターモードでコーディングされるかに基づいており、前記アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットは、前記非アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットと異なる、判定することと、
    前記判定したモードおよび前記動き精度を使用して前記ビットストリームを生成することと、
    非一時的なコンピュータ可読記録媒体に前記ビットストリームを記憶することと、を含み、
    前記アフィンインターモードでコーディングされたブロックに対して、1つまたは複数の構文要素を使用して、前記許容された複数のMVD精度のセットにおける前記動き精度を示し、同1つまたは複数の構文要素を使用して、前記非アフィンインターモードでコーディングされたブロックに対して、前記許容された複数のMVD精度のセットにおける前記動き精度を示し、
    前記非アフィンインターモードで使用される前記構文要素のうちの少なくとも1つの意味論は、前記アフィンインターモードで使用される前記構文要素のうちの少なくとも1つの意味論と異なり、同じ値の少なくとも1つの構文要素は、前記非アフィンインターモードおよび前記アフィンインターモードのために、異なる動き精度に解釈され、
    少なくとも1つの前記構文要素の値のサブセットは、前記非アフィンインターモードにおいて有効であり、前記アフィンインターモードにおいて有効でない、
    方法
  19. 処理装置と、その上に命令を有する非一時的メモリと、を備える映像コーディング装置であって、前記処理装置によって実行されると、前記命令は、前記処理装置に、
    現在の映像ブロックのモードがアフィンインターモードおよび非アフィンインターモードのうちの1つであることを判定することと、
    前記現在のブロックの動き情報に対して、許容される複数の動き精度のセットから動き精度を判定することであって、前記許容される複数の動き精度のセットは、前記現在のブロックが前記アフィンインターモードでコーディングされるかまたは前記非アフィンインターモードでコーディングされるかに基づいており、前記アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットは、前記非アフィンインターモードでコーディングされたブロックに対して前記許容される複数の動き精度のセットと異なる、判定することと、
    前記判定したモードおよび前記動き精度を使用して前記現在のブロックをコーディングすることと、を実施させ、
    前記アフィンインターモードにおける前記許容された複数のMVD精度の使用を有効にするか無効にするかを示す構文要素は、シーケンスパラメータセット(SPS)に存在する、
    映像コーディング装置。
  20. 前記アフィンインターモードにおける前記許容された複数のMVD精度の使用を有効にするか無効にするかを示す前記構文要素は、前記アフィンインターモードを有効にする時に存在し、前記アフィンインターモードを無効にする時には存在しない、
    請求項19に記載の映像コーディング装置。
JP2021513387A 2018-09-19 2019-09-19 適応動きベクトル解像度によるアフィンモードへの構文の使用 Active JP7212150B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023002631A JP2023052336A (ja) 2018-09-19 2023-01-11 適応動きベクトル解像度によるアフィンモードへの構文の使用

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN2018106513 2018-09-19
CNPCT/CN2018/106513 2018-09-19
CNPCT/CN2019/074433 2019-02-01
CN2019074433 2019-02-01
PCT/IB2019/057897 WO2020058890A1 (en) 2018-09-19 2019-09-19 Syntax reuse for affine mode with adaptive motion vector resolution

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023002631A Division JP2023052336A (ja) 2018-09-19 2023-01-11 適応動きベクトル解像度によるアフィンモードへの構文の使用

Publications (2)

Publication Number Publication Date
JP2022500909A JP2022500909A (ja) 2022-01-04
JP7212150B2 true JP7212150B2 (ja) 2023-01-24

Family

ID=68051876

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021513387A Active JP7212150B2 (ja) 2018-09-19 2019-09-19 適応動きベクトル解像度によるアフィンモードへの構文の使用
JP2023002631A Pending JP2023052336A (ja) 2018-09-19 2023-01-11 適応動きベクトル解像度によるアフィンモードへの構文の使用

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023002631A Pending JP2023052336A (ja) 2018-09-19 2023-01-11 適応動きベクトル解像度によるアフィンモードへの構文の使用

Country Status (7)

Country Link
US (5) US11265573B2 (ja)
EP (2) EP4325859A3 (ja)
JP (2) JP7212150B2 (ja)
KR (2) KR20240005178A (ja)
CN (4) CN116546213A (ja)
TW (3) TWI827681B (ja)
WO (3) WO2020058886A1 (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2497256C1 (ru) * 2012-06-07 2013-10-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Новосибирский государственный технический университет" Устройство дифференциальной защиты силового трансформатора
US11089317B2 (en) * 2017-08-03 2021-08-10 Lg Electronics Inc. Method and apparatus for processing video signal using affine prediction
WO2019050385A2 (ko) 2017-09-07 2019-03-14 엘지전자 주식회사 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치
CN111869216B (zh) * 2018-02-12 2024-05-28 联发科技股份有限公司 用于视频编解码系统的语法处理的方法和装置
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ibcとatmvpとの間でのインタラクション
CN110620929B (zh) 2018-06-19 2023-04-18 北京字节跳动网络技术有限公司 没有运动矢量预测截断的选择的运动矢量差精度
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
GB2591647B (en) 2018-09-08 2023-02-01 Beijing Bytedance Network Tech Co Ltd Affine mode calculations for different video block sizes
EP4325859A3 (en) * 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
WO2020060366A1 (ko) * 2018-09-22 2020-03-26 엘지전자 주식회사 인터 예측을 기반으로 비디오 신호를 처리하기 위한 방법 및 장치
CN110944183B (zh) 2018-09-23 2023-09-05 北京字节跳动网络技术有限公司 在帧间模式下利用非子块空时运动矢量预测
TWI831837B (zh) 2018-09-23 2024-02-11 大陸商北京字節跳動網絡技術有限公司 仿射模型的多個假設
CN110944189B (zh) 2018-09-23 2023-11-28 北京字节跳动网络技术有限公司 从仿射运动预测的非仿射块
CN110944170B (zh) 2018-09-24 2023-05-02 北京字节跳动网络技术有限公司 扩展Merge预测
WO2020084470A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Storage of motion parameters with clipping for affine mode
EP3861723A4 (en) 2018-11-10 2022-04-20 Beijing Bytedance Network Technology Co., Ltd. ROUNDS IN PAIRS OF MEDIUM CANDIDATE BILLS
US11178396B2 (en) * 2018-11-14 2021-11-16 Tencent America LLC Constrained intra prediction and unified most probable mode list generation
CN113170192B (zh) 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
WO2020098812A1 (en) 2018-11-16 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Pruning method for history-based affine parameters
WO2020098810A1 (en) 2018-11-17 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Merge with motion vector difference in video processing
JP7209092B2 (ja) 2018-12-21 2023-01-19 北京字節跳動網絡技術有限公司 動きベクトル差分によるマージ(mmvd)モードにおける動きベクトル予測
WO2020143774A1 (en) 2019-01-10 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Merge with mvd based on geometry partition
CN113412623A (zh) 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
WO2020169109A1 (en) 2019-02-22 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Sub-table for history-based affine mode
CA3132160A1 (en) * 2019-03-11 2020-09-17 Interdigital Vc Holdings, Inc. Entropy coding for video encoding and decoding
US11178399B2 (en) * 2019-03-12 2021-11-16 Qualcomm Incorporated Probability initialization for video coding
CN111698515B (zh) * 2019-03-14 2023-02-14 华为技术有限公司 帧间预测的方法及相关装置
KR20230165888A (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
CN113711609B (zh) 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
CN113728630B (zh) 2019-04-19 2023-11-17 北京字节跳动网络技术有限公司 不同运动矢量细化中的基于区域的梯度计算
WO2020211866A1 (en) 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Applicability of prediction refinement with optical flow process
EP3939287A4 (en) 2019-04-25 2022-05-11 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON DIFFERENCE BETWEEN MOVEMENT VECTORS
JP7303330B2 (ja) 2019-04-28 2023-07-04 北京字節跳動網絡技術有限公司 対称動きベクトル差分符号化
US20220053206A1 (en) * 2019-05-15 2022-02-17 Wilus Institute Of Standards And Technology Inc. Video signal processing method and apparatus using adaptive motion vector resolution
WO2020233661A1 (en) 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling in sub-block merge mode
CA3145175A1 (en) * 2019-06-24 2020-12-30 Interdigital Vc Holdings, Inc. Method and apparatus for signaling decoding data using high level syntax elements
JP7436527B2 (ja) 2019-06-25 2024-02-21 北京字節跳動網絡技術有限公司 動きベクトルの差に関する制限
CN114073090A (zh) * 2019-07-01 2022-02-18 交互数字Vc控股法国公司 仿射运动补偿的双向光流细化
CN114365490B (zh) 2019-09-09 2024-06-18 北京字节跳动网络技术有限公司 高精度图像和视频编解码的系数缩放
EP4018648A4 (en) 2019-09-21 2022-11-23 Beijing Bytedance Network Technology Co., Ltd. HIGH PRECISION TRANSFORMATION AND QUANTIZATION FOR IMAGE AND VIDEO CODING
CN114631317B (zh) 2019-10-18 2024-03-15 北京字节跳动网络技术有限公司 子图片的参数集信令中的语法约束
MX2022005622A (es) * 2019-11-11 2022-06-14 Hfi Innovation Inc Metodo y aparato de se?alizacion de resolucion de diferencia de vector de movimiento adaptable en codificacion de video.
US11575926B2 (en) 2020-03-29 2023-02-07 Alibaba Group Holding Limited Enhanced decoder side motion vector refinement
WO2021200658A1 (ja) * 2020-04-02 2021-10-07 シャープ株式会社 動画像復号装置及び動画像復号方法
WO2021207055A1 (en) 2020-04-05 2021-10-14 Bytedance Inc. High level control of filtering in video coding
US20210385485A1 (en) * 2020-06-06 2021-12-09 Alibaba Group Holding Limited Angular weighted prediction for inter prediction
CN114071147B (zh) * 2020-07-29 2023-04-11 四川大学 一种基于双线性模型的vvc运动补偿方法
US11671616B2 (en) 2021-03-12 2023-06-06 Lemon Inc. Motion candidate derivation
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
WO2022214244A1 (en) * 2021-04-09 2022-10-13 Interdigital Vc Holdings France, Sas Intra block copy with template matching for video encoding and decoding
CN113242427B (zh) * 2021-04-14 2024-03-12 中南大学 一种基于vvc中自适应运动矢量精度的快速方法及装置
US11917165B2 (en) * 2021-08-16 2024-02-27 Tencent America LLC MMVD signaling improvement
US20230103405A1 (en) * 2021-10-04 2023-04-06 Tencent America LLC Method and apparatus for intra block copy prediction with sample padding
CN114157868B (zh) * 2022-02-07 2022-07-19 杭州未名信科科技有限公司 视频帧的编码模式筛选方法、装置及电子设备
US20230300364A1 (en) * 2022-03-15 2023-09-21 Tencent America LLC Temporal based subblock type motion vector predictor
US20230328225A1 (en) * 2022-04-11 2023-10-12 Tencent America LLC Bilateral matching with affine motion
WO2023207649A1 (en) * 2022-04-29 2023-11-02 Mediatek Inc. Method and apparatus for decoder-side motion derivation in video coding system
US20240137539A1 (en) * 2022-10-18 2024-04-25 Tencent America LLC Method and apparatus for affine motion refinement
CN116866638B (zh) * 2023-07-31 2023-12-15 联通沃音乐文化有限公司 一种基于影像的智能视频处理方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170332095A1 (en) 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
US20180098063A1 (en) 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US20180098089A1 (en) 2016-10-04 2018-04-05 Qualcomm Incorporated Adaptive motion vector precision for video coding
JP2018524918A (ja) 2015-07-03 2018-08-30 華為技術有限公司Huawei Technologies Co.,Ltd. 画像予測方法および画像予測装置
WO2019235896A1 (ko) 2018-06-07 2019-12-12 주식회사 윌러스표준기술연구소 적응적 모션 벡터 레졸루션을 이용하는 비디오 신호 처리 방법 및 장치

Family Cites Families (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3651941B2 (ja) 1994-11-28 2005-05-25 キヤノン株式会社 画像再生装置
KR100924850B1 (ko) 2002-01-24 2009-11-02 가부시키가이샤 히타치세이사쿠쇼 동화상 신호의 부호화 방법 및 복호화 방법
WO2007003340A2 (en) 2005-07-01 2007-01-11 Nero Ag Video encoder and video decoder
US20070025442A1 (en) * 2005-07-28 2007-02-01 Sanyo Electric Co., Ltd. Coding method for coding moving images
JP2009089332A (ja) 2007-10-03 2009-04-23 Sony Corp 動き予測方法及び動き予測装置
US8542727B2 (en) 2007-12-31 2013-09-24 Intel Corporation Systems and apparatuses for performing CABAC parallel encoding and decoding
KR101356613B1 (ko) 2009-08-21 2014-02-06 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
US9237355B2 (en) 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US8837592B2 (en) 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
JP2012060208A (ja) 2010-09-06 2012-03-22 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法,動画像符号化装置,動画像復号方法,動画像復号装置およびそれらのプログラム
KR102034004B1 (ko) 2010-10-08 2019-10-18 지이 비디오 컴프레션, 엘엘씨 블록 분할 및 블록 병합을 지원하는 픽처 코딩
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
WO2012134246A2 (ko) 2011-04-01 2012-10-04 엘지전자 주식회사 엔트로피 디코딩 방법 및 이를 이용하는 디코딩 장치
US10123053B2 (en) 2011-05-23 2018-11-06 Texas Instruments Incorporated Acceleration of bypass binary symbol processing in video coding
CN103733625B (zh) 2011-06-14 2017-04-05 三星电子株式会社 用于对运动矢量进行解码的方法
CN106851311B (zh) 2011-08-29 2019-08-13 苗太平洋控股有限公司 视频译码装置
CN102291581B (zh) 2011-09-09 2013-09-25 西安电子科技大学 支持帧场自适应运动估计的实现方法
US9736489B2 (en) 2011-09-17 2017-08-15 Qualcomm Incorporated Motion vector determination for video coding
US9088796B2 (en) 2011-11-07 2015-07-21 Sharp Kabushiki Kaisha Video decoder with enhanced CABAC decoding
US20130177084A1 (en) 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9325991B2 (en) 2012-04-11 2016-04-26 Qualcomm Incorporated Motion vector rounding
US9538172B2 (en) 2012-04-11 2017-01-03 Qualcomm Incorporated Grouping bypass coded syntax elements in video coding
PL2847996T3 (pl) 2012-05-09 2021-04-19 Sun Patent Trust Sposoby wykonywania predykcji wektora ruchu, sposoby kodowania i dekodowania oraz służące do tego urządzenia
JP6242385B2 (ja) 2012-05-29 2017-12-06 寰發股▲ふん▼有限公司HFI Innovation Inc. サンプルアダプティブオフセット情報(SampleAdaptiveOffsetInformation)の符号化の方法と装置
US9635356B2 (en) 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
US9319684B2 (en) 2012-08-21 2016-04-19 Qualcomm Incorporated Alternative transform in scalable video coding
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
US9794569B2 (en) 2013-01-30 2017-10-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US10432963B2 (en) 2013-11-05 2019-10-01 Arris Enterprises Llc Bit depth variable for high precision data in weighted prediction syntax and semantics
CN103561263B (zh) 2013-11-06 2016-08-24 北京牡丹电子集团有限责任公司数字电视技术中心 基于运动矢量约束和加权运动矢量的运动补偿预测方法
US20150189321A1 (en) 2014-01-02 2015-07-02 Mediatek Inc. Method of Binarization and Context Adaptive Binary Arithmetic Coding of Depth Coding Syntax
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US10531116B2 (en) 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
CN105874789B (zh) 2014-01-29 2019-10-29 联发科技股份有限公司 利用自适应运动向量精度的方法
WO2015192286A1 (en) 2014-06-16 2015-12-23 Qualcomm Incorporated Simplified shifting merge candidate and merge list derivation in 3d-hevc
US10327001B2 (en) 2014-06-19 2019-06-18 Qualcomm Incorporated Systems and methods for intra-block copy
CA2961681C (en) 2014-09-30 2022-08-09 Hfi Innovation Inc. Method of adaptive motion vetor resolution for video coding
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
CN104363451B (zh) * 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
KR102362242B1 (ko) 2014-10-31 2022-02-11 삼성전자주식회사 움직임 벡터 부복호화 방법 및 장치
BR112017010468B1 (pt) 2014-11-18 2024-01-02 Hfi Innovation Inc Método de decodificação de vídeo para blocos codificados no modo de interpredição e método de codificação de vídeo para blocos codificados no modo de interpredição
WO2016078599A1 (en) * 2014-11-20 2016-05-26 Mediatek Inc. Method of motion vector and block vector resolution control
CN107809642B (zh) 2015-02-16 2020-06-16 华为技术有限公司 用于视频图像编码和解码的方法、编码设备和解码设备
US10958927B2 (en) 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
US20160323600A1 (en) 2015-04-30 2016-11-03 Zhan Ma Methods and Apparatus for Use of Adaptive Prediction Resolution in Video Coding
CN109005407B (zh) * 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
US10148961B2 (en) 2015-05-29 2018-12-04 Qualcomm Incorporated Arithmetic coder with multiple window sizes
GB2539212A (en) * 2015-06-08 2016-12-14 Canon Kk Handling of non-correct block vectors generated for intra block copy coding mode
KR102390073B1 (ko) 2015-06-08 2022-04-25 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드
CN108600749B (zh) * 2015-08-29 2021-12-28 华为技术有限公司 图像预测的方法及设备
WO2017041271A1 (en) * 2015-09-10 2017-03-16 Mediatek Singapore Pte. Ltd. Efficient context modeling for coding a block of data
KR20180059443A (ko) 2015-09-24 2018-06-04 엘지전자 주식회사 영상 코딩 시스템에서 움직임 벡터 정제 기반 인터 예측 방법 및 장치
JP2018533298A (ja) * 2015-09-24 2018-11-08 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおけるamvrに基づく映像コーディング方法及び装置
US10812822B2 (en) 2015-10-02 2020-10-20 Qualcomm Incorporated Intra block copy merge mode and padding of unavailable IBC reference region
KR20180081716A (ko) 2015-11-13 2018-07-17 엘지전자 주식회사 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
CN114793279A (zh) 2016-02-03 2022-07-26 Oppo广东移动通信有限公司 运动图像解码装置、编码装置、以及预测图像生成装置
US10638152B2 (en) * 2016-03-15 2020-04-28 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
KR102480088B1 (ko) 2016-03-17 2022-12-23 삼성디스플레이 주식회사 양자점 발광 소자
JP6895645B2 (ja) 2016-03-25 2021-06-30 パナソニックIpマネジメント株式会社 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置
WO2017194773A1 (en) 2016-05-13 2017-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Motion vector difference coding and decoding
CN115150618A (zh) 2016-05-27 2022-10-04 松下电器(美国)知识产权公司 解码装置及系统
EP3264768A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with adaptive motion information refinement
WO2018047668A1 (ja) * 2016-09-12 2018-03-15 ソニー株式会社 画像処理装置および画像処理方法
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
US10462462B2 (en) 2016-09-29 2019-10-29 Qualcomm Incorporated Motion vector difference coding technique for video coding
US11356693B2 (en) 2016-09-29 2022-06-07 Qualcomm Incorporated Motion vector coding for video coding
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
EP3301918A1 (en) * 2016-10-03 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US20200045322A1 (en) * 2016-10-04 2020-02-06 Mediatek Inc. Method and apparatus for intra chroma coding in image and video coding
TWI655864B (zh) 2016-11-22 2019-04-01 聯發科技股份有限公司 視訊編碼中用於運動向量符號預測的方法及裝置
CN109997363B (zh) * 2016-11-28 2023-12-05 英迪股份有限公司 图像编码/解码方法和装置以及存储有比特流的记录介质
US10694202B2 (en) 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
CN108235007B (zh) 2016-12-12 2023-06-27 上海天荷电子信息有限公司 各模式使用不同精度同种编码参数的数据压缩方法和装置
US20200021837A1 (en) 2016-12-16 2020-01-16 Sharp Kabushiki Kaisha Video decoding apparatus and video coding apparatus
WO2018117546A1 (ko) 2016-12-22 2018-06-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10757412B2 (en) 2017-01-03 2020-08-25 Avago Technologies International Sales Pte. Limited Architecture flexible binary arithmetic coding system
US10523964B2 (en) 2017-03-13 2019-12-31 Qualcomm Incorporated Inter prediction refinement based on bi-directional optical flow (BIO)
US10595035B2 (en) 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10560723B2 (en) 2017-05-08 2020-02-11 Qualcomm Incorporated Context modeling for transform coefficient coding
US11272207B2 (en) 2017-06-12 2022-03-08 Futurewei Technologies, Inc. Selection and signaling of motion vector (MV) precisions
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
KR20200015885A (ko) 2017-07-04 2020-02-13 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CA3069635C (en) 2017-07-14 2022-06-14 Mediatek, Inc. Method and apparatus for range derivation in context adaptive binary arithmetic coding
CN109391814B (zh) * 2017-08-11 2023-06-06 华为技术有限公司 视频图像编码和解码的方法、装置及设备
US10609384B2 (en) 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
US20200288141A1 (en) 2017-10-03 2020-09-10 Nec Corporation Video coding device, video decoding device, video coding method, video decoding method, program and video system
US11172201B2 (en) 2017-12-18 2021-11-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11172229B2 (en) 2018-01-12 2021-11-09 Qualcomm Incorporated Affine motion compensation with low bandwidth
US10757417B2 (en) 2018-01-20 2020-08-25 Qualcomm Incorporated Affine motion compensation in video coding
US11012715B2 (en) 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
CN117041593A (zh) 2018-03-14 2023-11-10 Lx 半导体科技有限公司 图像编码/解码方法、存储介质和发送方法
US10873748B2 (en) * 2018-05-12 2020-12-22 Qualcomm Incorporated Storage of high precision motion vectors in video coding
US11509924B2 (en) 2018-06-01 2022-11-22 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ibcとatmvpとの間でのインタラクション
US11303923B2 (en) 2018-06-15 2022-04-12 Intel Corporation Affine motion compensation for current picture referencing
US20190387247A1 (en) 2018-06-19 2019-12-19 Qualcomm Incorporated Signaling sub-prediction unit motion vector predictor
CN110620929B (zh) 2018-06-19 2023-04-18 北京字节跳动网络技术有限公司 没有运动矢量预测截断的选择的运动矢量差精度
US20190045193A1 (en) 2018-06-29 2019-02-07 Intel Corporation Region-based motion estimation and modeling for accurate region-based motion compensation for efficient video processing or coding
WO2020009446A1 (ko) 2018-07-02 2020-01-09 엘지전자 주식회사 어파인 예측을 이용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2020031059A1 (en) 2018-08-04 2020-02-13 Beijing Bytedance Network Technology Co., Ltd. Constraints for usage of updated motion information
US11582458B2 (en) 2018-08-29 2023-02-14 Vid Scale, Inc. Adaptive motion vector precision for affine motion model based video coding
GB2591647B (en) * 2018-09-08 2023-02-01 Beijing Bytedance Network Tech Co Ltd Affine mode calculations for different video block sizes
CN111448800B (zh) 2018-09-10 2023-03-17 Lg电子株式会社 在图像编码系统中使用仿射mvp候选列表的基于仿射运动预测的图像解码方法及设备
EP4325859A3 (en) 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
EP3836545B1 (en) 2018-09-22 2023-11-15 Lg Electronics Inc. Method for processing video signals using inter prediction
CN116647697A (zh) 2018-09-23 2023-08-25 北京字节跳动网络技术有限公司 具有自适应运动矢量分辨率的运动矢量精度指示的信令通知
CN111357294B (zh) 2018-10-23 2022-12-30 北京字节跳动网络技术有限公司 基于子块的运动信息列表的简化熵编解码
CN117241017A (zh) 2018-11-05 2023-12-15 北京字节跳动网络技术有限公司 数字视频编解码的方法、设备和系统
CN113412623A (zh) 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
WO2020156517A1 (en) 2019-01-31 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Fast algorithms for symmetric motion vector difference coding mode
CN113383548A (zh) * 2019-02-03 2021-09-10 北京字节跳动网络技术有限公司 Mv精度和mv差编解码之间的相互作用
CA3132160A1 (en) * 2019-03-11 2020-09-17 Interdigital Vc Holdings, Inc. Entropy coding for video encoding and decoding
CN113711609B (zh) * 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
KR20210153725A (ko) 2019-04-25 2021-12-17 오피 솔루션즈, 엘엘씨 글로벌 모션 벡터들의 효율적인 코딩
EP4128795A4 (en) * 2020-05-01 2023-08-30 Beijing Bytedance Network Technology Co., Ltd. ENTROPY ENCODING FOR PARTITION SYNTAX

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018524918A (ja) 2015-07-03 2018-08-30 華為技術有限公司Huawei Technologies Co.,Ltd. 画像予測方法および画像予測装置
US20170332095A1 (en) 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
US20180098089A1 (en) 2016-10-04 2018-04-05 Qualcomm Incorporated Adaptive motion vector precision for video coding
US20180098063A1 (en) 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
WO2019235896A1 (ko) 2018-06-07 2019-12-12 주식회사 윌러스표준기술연구소 적응적 모션 벡터 레졸루션을 이용하는 비디오 신호 처리 방법 및 장치

Also Published As

Publication number Publication date
CN110933421B (zh) 2023-06-30
TWI815967B (zh) 2023-09-21
CN110933427A (zh) 2020-03-27
US11265573B2 (en) 2022-03-01
CN110933421A (zh) 2020-03-27
KR102635047B1 (ko) 2024-02-07
EP4325859A3 (en) 2024-05-15
JP2022500909A (ja) 2022-01-04
US20240015320A1 (en) 2024-01-11
US20200213612A1 (en) 2020-07-02
WO2020058886A1 (en) 2020-03-26
KR20240005178A (ko) 2024-01-11
CN110933420B (zh) 2023-09-01
TW202025736A (zh) 2020-07-01
EP4325859A2 (en) 2024-02-21
CN110933420A (zh) 2020-03-27
US11653020B2 (en) 2023-05-16
TW202025781A (zh) 2020-07-01
US20210211707A1 (en) 2021-07-08
CN110933427B (zh) 2023-05-12
EP3827586A1 (en) 2021-06-02
WO2020058890A1 (en) 2020-03-26
JP2023052336A (ja) 2023-04-11
US20200213594A1 (en) 2020-07-02
TW202025737A (zh) 2020-07-01
KR20210059708A (ko) 2021-05-25
WO2020058888A1 (en) 2020-03-26
CN116546213A (zh) 2023-08-04
TWI827681B (zh) 2024-01-01
US20210289225A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
JP7212150B2 (ja) 適応動きベクトル解像度によるアフィンモードへの構文の使用
JP7307154B2 (ja) 適応動きベクトル解像度による動きベクトルの変更
CN111357294B (zh) 基于子块的运动信息列表的简化熵编解码
US20210067783A1 (en) Clipping of updated mv or derived mv
JP7319386B2 (ja) 異なる動きベクトル微調整における勾配計算
JP7235877B2 (ja) アフィンモード適応型動きベクトル解像度を符号化するためのコンテキスト
WO2020156517A1 (en) Fast algorithms for symmetric motion vector difference coding mode
CN110740332B (zh) 基于更新的运动矢量的运动预测
WO2020049538A1 (en) Calculating motion vector predictors
WO2020156525A1 (en) Multiple syntax elements for adaptive motion vector resolution
CN113661709A (zh) 仿射高级运动矢量预测中的运动信息精度对齐

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230112

R150 Certificate of patent or registration of utility model

Ref document number: 7212150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150