JP7322277B2 - 参照ピクチャタイプに従ったツールの使用制限 - Google Patents

参照ピクチャタイプに従ったツールの使用制限 Download PDF

Info

Publication number
JP7322277B2
JP7322277B2 JP2022503412A JP2022503412A JP7322277B2 JP 7322277 B2 JP7322277 B2 JP 7322277B2 JP 2022503412 A JP2022503412 A JP 2022503412A JP 2022503412 A JP2022503412 A JP 2022503412A JP 7322277 B2 JP7322277 B2 JP 7322277B2
Authority
JP
Japan
Prior art keywords
picture
video
reference picture
coding tool
video block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022503412A
Other languages
English (en)
Other versions
JP2022540942A (ja
Inventor
ザン，ナー
リュウ，ホンビン
ザン，リー
ザン，カイ
ワン，ユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022540942A publication Critical patent/JP2022540942A/ja
Priority to JP2023121183A priority Critical patent/JP2023153885A/ja
Application granted granted Critical
Publication of JP7322277B2 publication Critical patent/JP7322277B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本文書は、ビデオおよび画像の符号化（coding）と復号化（decoding）技術に関する。
関連出願の相互参照
本出願は、2019年7月27日に出願された国際特許出願第PCT/CN2019/098068号の優先権および利益を主張する、2020年7月24日に出願された国際特許出願第PCT/CN2020/104087号に基づくものである。上記の特許出願の全体は、参照により、ここにおいて組み込まれている。
デジタルビデオは、インターネットおよびその他のデジタル通信ネットワークにおける最大の帯域幅使用を占めている。映像の受信および表示が可能な接続ユーザデバイスの数が増加するにつれて、デジタル映像の利用に対する帯域幅需要は増加し続けることが予想される。
開示される技術は、ビデオコーディングまたは復号化において参照ピクチャが使用されるビデオまたは画像デコーダまたはエンコーダの実施形態によって使用され得る。
一つの例示的な態様において、ビデオを処理する方法が開示される。本方法は、ビデオの現在ピクチャの現在ビデオブロックと前記ビデオのコード化表現との間の変換について、前記変換に使用される参照ピクチャのタイプに基づいて、前記現在ビデオブロックに対するコーディングツールの適用性を決定するステップと、前記決定に基づいて前記変換を実行するステップと、を含み、前記参照ピクチャのタイプは、少なくとも、１）前記参照ピクチャが短期参照ピクチャであるか、または、長期参照ピクチャであるか、２）前記参照ピクチャまたは前記現在ピクチャの解像度、もしくは、３）前記現在ピクチャに対する前記参照ピクチャのピクチャオーダカウント（POC）距離に基づいている。
別の例示的な態様において、ビデオを処理する別の方法が開示される。本方法は、ビデオの現在ビデオブロックと前記ビデオのコード化表現との間の変換について、前記変換に使用される参照ピクチャのタイプに基づいて、現在ビデオブロックに対する双方向光学フロー（BDOF）コーディングツールまたはデコーダ側の動きベクトル精緻化（DMVR）ツールの適用性を決定するステップと、前記決定に基づいて前記変換を実行するステップと、を含み、前記BDOFコーディングツールを使用して、１つ以上の初期予測がオプティカルフロー計算に基づいて精緻化され、前記DMVRコーディングツールを使用して、前記現在ビデオブロックの動き情報が前記現在ビデオブロックの予測ブロックを用いて精緻化され、かつ、前記参照ピクチャのタイプは、少なくとも、１）前記参照ピクチャが短期参照ピクチャであるか、または、長期参照ピクチャであるか、２）前記参照ピクチャまたは現在ピクチャの解像度、もしくは、３）前記現在ピクチャに対する前記参照ピクチャのピクチャオーダカウント（POC）距離に基づいている。
別の例示的な態様において、ビデオを処理する別の方法が開示される。本方法は、マージモード動きベクトル差(MMVD)コーディングを使用して、ビデオの現在ピクチャの現在ビデオブロックと前記現在ビデオブロックのコード化表現との間の変換を実行するステップであり、マージ候補が、ベースマージ候補として使用され、かつ、動きベクトル差(MVD)情報を用いて、前記MVD情報をスケール化することなく、精緻化されるように選択される、ステップを含み、前記ベースマージ候補は、双方向動きベクトルであり、かつ、一方の予測方向に係るMVDは、前記コード化表現に含まれるMVDと等しく設定され、かつ、他方の予測方向に係る別のMVDは、前記ビデオのコード化条件に基づいて、前記コード化表現に含まれるMVDと等しく、または、反対に設定される。
別の例示的な態様において、ビデオを処理する別の方法が開示される。本方法は、マージモード動きベクトル差(MMVD)コーディングを使用して、ビデオの現在ピクチャの現在ビデオブロックと前記現在ビデオブロックのコード化表現との間の変換を実行するステップであり、マージ候補が、ベースマージ候補として使用され、かつ、動きベクトル差(MVD)情報を用いて、精緻化されるように選択される、ステップを含み、前記コード化表現は、第１予測方向に対する第１MVD値が前記コード化表現に含まれることを指定する規則に適合している。
さらに別の例示的な態様において、上述の方法は、プロセッサを備えるビデオエンコーダ装置によって実装することができる。
さらに別の例示的な態様において、上述の方法は、プロセッサを備えるビデオデコーダ装置によって実装することができる。
さらに別の例示的な態様において、これらの方法は、プロセッサで実行可能な命令の形態で実施され、コンピュータで読取り可能なプログラム媒体に保管されてよい。
これらの態様、および、その他の態様が、本文書においてさらに説明される。
図1は、双方向（bilateral）マッチングの一つの例を示している。 図2は、テンプレート（template）マッチングの一つの例を示している。 図3は、フレームレートアップコンバージョン（FRUC）における単方向（unilateral）動き推定(ME)の一つの例を示している。 図4は、オプティカルフローの軌跡の一つの例を示している。 図5Aは、ブロック拡張を伴わない双方向・オプティカルフローの例を示している。 図5Bは、ブロック拡張を伴わない双方向・オプティカルフローの例を示している。 図6は、6点探索による双方向マッチングの一つの例を示している。 図7は、適応（adaptive）整数探索（integer search）パターン(左)および半サンプル探索パターン(右)の例を示している。 図8は、パラメトリック誤差表面適合（error surface fit）が実行される整数位置の例を示している。 図9は、動きベクトル差によるマージ(merge with motion vector difference、MMVD)探索点の一つの例を示している。 図10は、サブブロックMV VSBおよびピクセルΔV(i,j)(赤矢印)の一つの例を示している。 図11は、対称MVDモードの一つの例示的な説明図である。 図12は、STRPとLTRPが混合された使用について例を示している。 図13Aは、本文書に記載の技術を実装するために使用されるハードウェアプラットフォームの例に係るブロック図である。 図13Bは、本文書に記載の技術を実装するために使用されるハードウェアプラットフォームの例に係るブロック図である。 図14は、開示される技術のいくつかの実装に基づくビデオ処理に係る一つの例示的な方法のフローチャートである。 図15Aは、例えば、開示される技術のいくつかの実装に基づくビデオ処理に係る例示的な方法のフローチャートを示している。 図15Bは、例えば、開示される技術のいくつかの実装に基づくビデオ処理に係る例示的な方法のフローチャートを示している。 図15Cは、例えば、開示される技術のいくつかの実装に基づくビデオ処理に係る例示的な方法のフローチャートを示している。
本文書は、解凍（decompressed）または復号（decoded）されたデジタルビデオまたは画像の品質を改善するために、画像またはビデオビットストリームのデコーダによって使用され得る種々の技術を提供する。簡潔さのために、本明細書では、用語「ビデオ（“video”）」は、一連の画像(伝統的にビデオと呼ばれる)と個々の画像の両方を含むように使用されている。さらに、ビデオエンコーダは、さらなる符号化のために使用される復号されたフレームを再構成するために、符号化のプロセス中にこれらの技術を実装することもできる。
セクション見出し（heading）は、理解を容易にするために本文書で使用されており、実施形態および技術を、対応するセクションに限定するものではない。従って、１つのセクションからの実施形態は、他のセクションからの実施形態と組み合わせることができる。
1. 概要
本文書は、ビデオコーディング技術に関する。具体的には、ビデオコーディングにおける基調色（base color）ベースの表現を用いたパレットコーディング関連する。これは、HEVCのような既存のビデオコーディング標準、または、最終化される標準(バーサタイルビデオコーディング)に適用され得る。これは、また、将来のビデオコーディング標準またはビデオコーデックにも適用可能である。
2. 最初の考察
ビデオコーディング規格は、主に、周知のITU-TおよびISO/IEC規格の開発を通じて発展してきた。ITU-TはH.261とH.263を作成し、ISO/IECはMPEG-1とMPEG-4 Visualを作成し、そして、２つの組織はH.262/MPEG-2 VideoとH.264/MPEG-4 Advanced Video Coding(AVC)とH.265/HEVC規格を共同で作成した。H.262から、ビデオコーディング標準は、時間的予測と変換符号化（transform coding）が利用されるハイブリッドビデオコーディング構造に基づいている。HEVCを越えた将来のビデオコーディング技術を探求するため、2015年にVCEGとMPEGが共同で共同ビデオ探査チーム(Joint Video Exploration Team、JVET)を設立した。それ以来、JVETによって多くの新しい方法が採用され、共同探査モデル(JEM)と名付けられた参照ソフトウェアに入れられた。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の合同ビデオエキスパートチーム(Joint Video Expert Team、JVET)を発足させ、HEVCに対して50%のビットレート低減を目指すVVC規格に取り組んでいる。
VVC草案（draft）の最新バージョン、すなわち、バーサタイルビデオコーディング（Versatile Video Coding）(Draft 4)は、以下において見出される。
http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5755
VVCの最新の参照ソフトウェア、VTMと名付けられているもの、は、以下において見出される。
https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-5.0
2.1 パターン整合動きベクトル導出
パターン整合動きベクトル導出(Pattern matched motion vector deviation、PMMVD)モードは、フレームレートアップコンバージョン（Frame‐Rate Up Conversion、FRUC)技法に基づく特別なマージモードである。このモードでは、ブロックの動き情報は、信号化されないが、デコーダ側で導出される。
マージフラグが真（true）の場合は、CUに対してFRUCフラグが信号化される。FRUCフラグが偽（false）の場合は、マージインデックスが信号化され、そして、通常のマージモードが使用される。FRUCフラグが真の場合、追加のFRUCモードフラグは、どの方法(双方向マッチングまたはテンプレートマッチング)がブロックの動き情報を導出するために使用されるべきかを示すために、信号化される。
エンコーダ側では、CUについてFRUCマージモードを使用するか否かの決定は、通常のマージ候補の場合と同様にRDコスト選択に基づいて行われる。これは、2個のマッチングモード(双方向マッチングとテンプレートマッチング)が、両方ともRDコスト選択を使用してCUに対してチェックされることである。最小のコストにつながるものは、さらに、他のCUモードと比較される。FRUCマッチングモードが最も効率的なモードである場合、FRUCフラグはCUについて真に設定され、関連するマッチングモードが使用される。
FRUCマージモードにおける動き導出プロセスには2個のステップがある。CUレベルの動きサーチが最初に実行され、次いで、サブCUレベルの動き精緻化（refinement）が続く。CUレベルでは、双方向マッチングまたはテンプレートマッチングに基づいて、CU全体に対して初期動きベクトルが導出される。最初に、MV候補のリストが生成され、そして、最小マッチングコストを導く候補が、さらなるCUレベルの改良のための出発点として選択される。次に、開始点の周りの双方向マッチングまたはテンプレートマッチングに基づくローカル探索が実行され、そして、MVの結果、最小マッチングコストがCU全体のMVとして取られる。引き続き、導出されたCU動きベクトルを出発点として、サブCUレベルで動き情報がさらに精緻化される。
例えば、次の導出プロセスがW×H CU動き情報導出のために実行される。第１段階では、W×H CU全体のMVが導出される。第２段階では、CUはさらにM×M サブCUに分割される。(16)のようにMの値は計算され、DはJEMにおいてデフォルトで3に設定されている事前定義された分割深さ（splitting depth）である。次に、各サブCUのMVが導出される。
Figure 0007322277000001
図1に示されるように、双方向マッチングは、2個の異なる参照ピクチャにおいて、現在CUの動き軌跡に沿った2個のブロック間の最も近いマッチングを発見することによって、現在CUの動き情報を導出するために使用される。連続した動きの軌跡を仮定すると、2個の基準ブロックを指す動きベクトルMV0とMV1は、現在ピクチャと2個の参照ピクチャの間の時間的距離、すなわちTD0とTD1に比例するものとする。特別な場合として、現在ピクチャが2個の参照ピクチャ間で時間的に存在し、そして、現在ピクチャから2個の参照ピクチャまでの時間的距離が同じである場合、双方向マッチングはミラーに基づく双方向MVになる。
図2に示されるように、テンプレートマッチングは、現在ピクチャ内のテンプレート(現在CUの上及び／又は左隣接ブロック)と参照ピクチャ内のブロック(テンプレートと同じサイズ)との間の最も近いマッチングを見つけることによって、現在CUの動き情報を導出するために使用される。前述のFRUCマージモードを除き、テンプレートマッチングはAMVPモードにも適用される。JEMでは、HEVCで行われているように、AMVPには２つの候補がある。テンプレートマッチング法を用いて、新しい候補が導出される。テンプレートマッチングによって新たに導出された候補が最初の既存のAMVP候補と異なる場合、それはAMVP候補リストの最初の部分に挿入され、リストサイズは2に設定される(2番目の既存のAMVP候補を削除することを意味する)。AMVPモードに適用した場合、CUレベルサーチのみが適用される。
・ CUレベルのMV候補セット
CUレベルで設定されるMV候補は、以下から構成される。
(i)現在CUがAMVPモードの場合、オリジナルのAMVP候補
(ii)全てのマージ候補
(iii)補間されたMVフィールドにおける複数のMV
(iv)上隣接するベクトルおよび左隣接するベクトル
双方向マッチングを使用する場合、マージ候補の各有効MVを入力として使用して、双方向マッチングの仮定でMV対を生成する。例えば、マージ候補の有効なMVの１つは参照リストAの(MVa,refa)であり、そのペア化された双方向MVの参照ピクチャrefbは、refaとrefbが現在ピクチャの異なる側に一時的に存在するように、他の参照リストB内で見つかる。参照リストBにそのようなrefbが存在しない場合、refbはrefaとは異なる参照として決定され、現在ピクチャとの時間的距離は、リストBの最小のものである。refbは、現在ピクチャとrefaとの時間的距離に基づいてMVaをスケーリングすることによって導出される。
補間されたMVフィールドからの4個のMVも、また、CUレベルの候補リストに加えられる。より具体的には、現在CUの位置(0,0)、(W/2,0)、(0,H/2)、および(W/2,H/2)における補間されたMVが追加される。
AMVPモードでFRUCを適用する場合、CUレベルのMV候補セットに元のAMVP候補も、また追加される。
CUレベルでは、AMVP CUについて最大15MV、および、マージCUについて最大13MVが候補リストに追加される。
・ サブCUレベルMV候補セット
サブCUレベルで設定されるMV候補は、以下から構成される。
(i)CUレベルの検索から決定されたMV
(ii)上、左、左上、および右上の隣接MV
(iii)参照ピクチャの共配置された（collocated）MVのスケール化バージョン
(iv)最大個のATMVP候補
(v)最大4個のSTMVP候補
参照ピクチャからのスケール化されたMVは、次のように導出される。両方のリスト内の参照ピクチャが全てトラバース（traversed）される。参照ピクチャ内のサブCUの共配置された位置におけるMVは、開始CUレベルMVの参照にスケール化される。
ATMVPおよびSTMVP候補は、4個の最初の候補に限定される。
サブCUレベルでは、最大17MVが候補リストに追加される。
・補間MVフィールドの発生
フレームをコード化する前に、補間された動きフィールド（motion field）が、単方向MEに基づいて全体の画像に対して生成される。その後、動きフィールドは、後にCUレベルまたはサブCUレベルMV候補として使用され得る。
最初に、両方の参照リストの各参照ピクチャの動きフィールドが4×4ブロックレベルでトラバースされる。各4×4ブロックについて、動きが現在ピクチャの4×4ブロックを通過するブロックに関連付けられ(図3に示されるように)、そして、ブロックに補間された動きが全く割り当てられない場合、基準ブロックの動きは、時間的距離TD0とTD1に従って(HEVCにおけるTMVPのMVスケーリングと同様の方法)現在ピクチャにスケー化ルされ、そして、スケール化された動きは、現在のフレームのブロックに割り当てられる。4×4ブロックにスケール化されたMVが割り当てられない場合、補間された動きフィールドでブロックの動きが使用不可としてマークされる。
図3は、FRUCにおける単方向MEの一つ例を示している。
・補間およびマッチングコスト
動きベクトルが分数（fractional）サンプル位置を指す場合、動き補償補間が必要とされる。複雑さを減らすために、通常の8タップHEVC補間の代わりに双線形（bi-linear）補間が、双方向マッチングとテンプレートマッチングの両方に使用される。
マッチングコスト（matching cost）の計算は、異なるステップで少しずつ異なっている。CUレベルで候補セットから候補を選択すると場合、マッチングコストは、双方向マッチングまたはテンプレートマッチングの絶対和差(absolute sum difference、SAD)である。開始MVが決定された後で、サブCUレベルサーチにおける双方向マッチングのマッチングコストCは、以下のように計算される。
Figure 0007322277000002
ここで、wは経験的に4に設定された重み付け係数であり、MVおよびMVSは、それぞれに、現在のMVおよび開始MVを示している。SADは、サブCUレベルサーチにおけるテンプレートマッチングのマッチングコストとして依然として使用される。
FRUCモードでは、ルマサンプルのみを使用してMVが導出される。導出された動きは、MCインター予測のためのルマとクロマの両方に使用される。MVが決定された後、最終MCはルマについて8タップ補間フィルタ、および、クロマについて4タップ補間フィルタを使用して実行される。
・MV精緻化
MV精緻化（refinement）は、双方向マッチングコストまたはテンプレートマッチングコストの基準（criterion）を用いたパターンベースのMV探索である。JEMでは、2個の探索パターンがサポートされる。－無制限中心バイアスダイヤモンド探索(unrestricted center-based diamond search、UCBDS)、および、CUレベルとサブCUレベルで、それぞれに、MV精緻化のための適応クロス探索である。CUレベルとサブCUレベルのMV精緻化の両方について、MVは1/4ルマサンプルMV精度で直接検索され、そして、続いて1/8ルマサンプルMV精緻化が行われる。CUおよびサブCUステップのMV精緻化の検索範囲は、8ルマサンプルに等しく設定される。
・テンプレートマッチングFRUCマージモードにおける予測方向の選択
双方向マッチングマージモードでは、CUの動き情報が、2個の異なる参照ピクチャにおける現在CUの動き軌跡に沿った2個のブロック間の最も近い一致（match）に基づいて導出されるので、双予測が常に適用される。テンプレートマッチングマージモードには、こうした制限は存在しない。テンプレートマッチングマージモードにおいて、エンコーダは、list0からの単予測（uni-prediction）、list1からの単予測、または、CUに対する双予測（bi-prediction）の中から選択することができる。選択は、以下のようにテンプレートマッチングのコストに基づいて行わる。
costBi<=factor*min
(cost0,cost1)の場合、
双予測が使用される;
そうでなければ、cost0<=cost1の場合、
list0からの双予測が使用される;
そうでなければ、
list1からの単予測が使用される;
ここで、cost0はlist0テンプレートマッチングのSADであり、cost1はlist1テンプレートマッチングのSADであり、そして、costBiは双予測テンプレートマッチングのSADである。係数（factor）の値は1.25に等しく、これは、選択プロセスが双予測に偏っていることを意味する。
インター予測方向選択は、CUレベルテンプレートマッチングプロセスにのみ適用される。
2.2 ハイブリッド・イントラ予測とインター予測
JVET‐L0100では、多重仮説（multi-hypothesis）予測が提案されており、ここで、ハイブリッド・イントラ予測およびインター予測は、多重仮説を生成するための一つの方法である。
多重仮説予測がイントラモードを改善するために適用される場合、多重仮説予測は、１つのイントラ予測と１つのマージインデックス予測を組み合わせる。マージCUでは、フラグが真の場合、イントラ候補リストからイントラモードを選択するために、マージモードのために１つのフラグが信号化される。ルマ成分の場合、イントラ候補リストは、DC、平面（planar）、水平、垂直モードを含む4つのイントラ予測モードから導出され、イントラ候補リストのサイズは、ブロックの形状に応じて3または4にすることができる。CU幅がCU高さの2倍より大きい場合、水平モードはイントラモードのリストを除外し、そして、CU高さがCU幅の2倍より大きい場合、垂直モードはイントラモードのリストから削除される。イントラモードインデックスによって選択された１つのイントラ予測モードと、マージインデックスによって選択された１つのマージインデックス予測は、加重平均を用いて結合される。クロマ成分に対して、DMは常に余分な信号なしで適用される。予測を結合するための重み付けは、以下のように記述される。DCまたは平面モードを選択した場合、または、CB幅または高さが4未満の場合は、等しい重みが適用される。CBの幅と高さが4以上のCBに対して、水平／垂直モードを選択すると、最初に１つのCBが4つの等面積領域に垂直／水平へと分割される。各重み付けセットは、(w_intrai,w_interi)で示され、対応する領域に適用される。ここで、iは1から4までであり、かつ、(w_intra1,w_inter1)=(6,2)、(w_intra2,w_inter2)=(5,3)、(w_intra3,w_inter3)=(3,5)、および(w_intra4,w_inter4)=(2,6)である。(w_intra1,w_inter1)は参照サンプルに最も近い領域であり、かつ、(w_intra4,w_inter4)は参照サンプルから最も離れた領域である。次に、結合予測は、2個の重み付き予測と右シフト3ビットを合計することによって計算できる。さらに、予測子のイントラ仮説のイントラ予測モードは、次の隣接CUを参照するために保存することができる。
・ 2.3双方向オプティカルフロー
まず、動き補償を行い、現在ブロックの最初の予測(各予測方向)を生成する。第１の予測は、ブロック内の各サブブロック／ピクセルの空間勾配、時間勾配、およびオプティカルフローを導出するために使用され、次いで、第２の予測、すなわち、サブブロック／ピクセルの最終予測を生成するために使用される。詳細は、以下のとおりである。
双方向オプティカルフロー(BIO、BDOFとしても知られる)は、双方向予測のためのブロック毎の動き補償の上（top）で実行されるサンプル毎の動き精緻化である。サンプルレベルの動き精緻化では、信号化を使用しない。
図4は、オプティカルフローの軌跡の一つの例を示している。
I(k)をブロック動き補償後の基準k(k=0,1)からのルマ値とし、そして、δI(k)/δx、δI(k)/δyを、それぞれ、I(k)勾配（gradient）の水平成分と垂直成分とする。オプティカルフローが有効であると仮定すると、動きベクトルフィールド（νx,νy）は以下の方程式によって与えられる。
Figure 0007322277000003
このオプティカルフロー方程式と各サンプルの動き軌跡に対するエルミート補間（Hermite interpolation）を組み合わせると、両端での関数値I(k)と微分値δI(k)/δx、δI(k)/δyの両方に一致するユニークな三次多項式が得られる。t=0におけるこの多項式の値はBIO予測である。
Figure 0007322277000004
ここで、τ0およびτ1は、図4に示されるように、基準フレームまでの距離を示している。距離τ0およびτ1は、Ref0およびRef1についてPOCに基づいて計算される。
τ0=POC(current)-POC(Ref0)、τ1=POC(Ref1)-POC(current)
両方の予測が同じ時間の方向から出てくる場合には(両方が過去から、または、両方が将来から)、その符号は異なっている(すなわち、τ0・τ1≦0)。この場合には、BIOが、予測が同じの時間モーメントからではない場合(すなわち、τ0≠τ1)にのみ適用され、両方の参照領域（referenced region）は非ゼロ動きを有し(MVx0,MVy0,MVx1,MVx1≠0)、そして、ブロック動きベクトルは時間的距離に比例する（MVx0/MVx1=MVy0/MVy1=-τ0/τ1）。
動きベクトルフィールド（νx,νy）は、点Aと点B(図4の動き軌跡と参照フレーム平面の交点)における値の差Δを最小化することによって決定される。モデルは、Δについて局所テイラー（Taylor）展開の最初の線形項のみを使用する。
Figure 0007322277000005
式5の全ての値は、これまでの表記から省略された、サンプル位置（i',j'）に依存する。動きが局所的な周囲領域で一貫していると仮定すると、現在予測されている点（i,j）を中心とした(2M+1)×(2M+1)正方形のウィンドウΩ内のΔを最小化する。ここで、Mは2に等しい。
Figure 0007322277000006
この最適化問題に対して、JEMは、最初に垂直方向、次に水平方向に最小化する単純化したアプローチを使用する。その結果、以下を生じる。
Figure 0007322277000007
Figure 0007322277000008
ここでは、以下のとおりである。
Figure 0007322277000009
ゼロまたは非常に小さな値による除算を回避するために、正規化パラメータrおよびmが、式7および8に導入される。
Figure 0007322277000010
Figure 0007322277000011
ここで、ｄはビデオサンプルのビット深度（bit depth）を示している。
BIOのメモリアクセスを通常の双予測動き補償と同じに保つために、全ての予測値とグラデーション値、I(k)、δI(k)/δx、δI(k)/δyは、現在ブロック内の位置に対してのみ計算される。式9において、(2M+1)×(2M+1)正方形ウィンドウΩは、予測ブロックの境界における現在の予測点を中心とし、(図5Aに示されるように)ブロックの外側の位置にアクセスする必要がある。JEMでは、ブロックの外側のI(k)、δI(k)/δx、δI(k)/δy値は、ブロック内側の最も近い利用可能な値に等しく設定される。例えば、これは、図5Bに示されるように、パディングとして実装することができる。
図5A、図5Bは、ブロックなし（w/o block）のBIOの拡張例を示している。図5Aは、ブロックの外側のアクセス位置を示しており、そして、図5Bは、余分なメモリアクセスおよび計算を回避するために使用されるパディングを示している。
BIOでは、各サンプルの動きフィールドを精緻化することが可能である。計算複雑性を低減するために、BIOのブロックベース設計がJEMにおいて使用されている。動きの精緻化は4×4ブロックに基づいて計算される。ブロックベースのBIOでは、4×4ブロックの全サンプルの式9のsnの値が集計され、次いで、その集計値snを用いて4×4ブロックの動きベクトルオフセットを導出する。具体的には、ブロックベースのBIOの導出のために以下の式が使用される。
Figure 0007322277000012
ここで、bkは予測ブロックのk番目の4×4ブロックに属するサンプルのセットを示している。式7と式8のsnは((sn,bk)>>>4)で置き換えられ、関連する動きベクトルオフセットを導出する。
BIOのMV連隊（regiment）は、ノイズまたは不規則な動きのために信頼できない場合がある。従って、BIOでは、MV連隊の大きさは、BIOの閾値にクリップされる。閾値は、現在ピクチャの参照ピクチャが全て一方向からのものであるか否かに基づいて決定される。現在ピクチャの全ての参照ピクチャが一方向からのものである場合、閾値の値は12×214-dに設定され、そうでない場合は、12×213-dに設定される。
BIOのための勾配は、HEVC動き補償プロセス(2D分離可能FIR)と一致する演算を使用して、動き補償補間と同時に計算される。この2D分離可能FIRの入力は、ブロック動きベクトルの分数部に従った動き補償プロセスおよび分数位置(fracX,fracY)の場合と同じ基準フレームサンプルである。最初に水平勾配δI/δx信号が、非スケール化（de-scaling）シフトd-8を有する分数位置fracYに対応するBIOfilterSを使用して垂直に補間された場合、18-dの非スケール化シフトを有する分数位置fracXに対応する水平方向に勾配フィルタBIOfilterGが適用される。垂直勾配δI/δｙの場合、最初に勾配フィルタが、非スケール化シフトd-8を有する分数位置fracYに対応するBIOfilterGを用いて垂直に適用され、その後、非スケール化18-dを有する分数位置fracXに対応する水平方向のBIOfilterSを用いて信号変位（signal displacement）が実行される。勾配計算BIOfilterGおよび信号変位BIOfilterFの補間フィルタの長さは、妥当な複雑性を維持するように、より短く(6タップ)である。表1は、BIOにおけるブロック動きベクトルの異なる分数位置に対する勾配計算に使用されるフィルタを示している。表2は、BIOにおける予測信号生成に使用される補間フィルタを示している。
表1:BIOにおける勾配計算のためのフィルタ
Figure 0007322277000013
 表2:BIOにおける予測信号生成のための補間フィルタ
Figure 0007322277000014
JEMにおいて、BIOは、2個の予測が異なる参照ピクチャからの場合に、全ての双予測ブロックに適用される。CUに対してLICがイネーブルされると、BIOはディセーブルされる。
JEMでは、通常のMCプロセス後にOBMCをブロックに適用する。計算複雑性を低減するために、BIOはOBMCプロセス中に適用されない。つまり、BIOは、MCプロセスでは自身のMVを使用する場合にのみ適用され、OBMCプロセスで隣接ブロックのMVを使用する場合にはMCプロセスでは適用されない。
2段階早期終了法（two-stage early termination method）は、2個の予測信号間の類似性に依存してBIO動作を条件付きでディセーブルするために使用される。早期終了は、最初にCUレベルで適用され、その後、サブCUレベルで適用される。具体的に、提案した方法は、最初にCUレベルでL0とL1予測信号の間のSADを計算する。BIOがルマにのみ適用されることを考慮すると、ルマサンプルのみを考慮してSADを計算する必要がある。CUレベルのSADが事前定義された閾値以下の場合、BIOプロセスはCU全体で完全にディセーブルになる。CUレベルの閾値は、サンプル毎に2(BDepth-9)に設定される。BIOプロセスがCUレベルでディセーブルになっておらず、現在CUに複数のサブCUが含まれている場合、CU内の各サブCUのSADが計算される。次に、BIOプロセスをイネーブルまたはディセーブルするか否かの決定は、事前定義されたサブCUレベルのSAD閾値に基づいてサブCUレベルで行われ、これは、サンプル毎に3*2(BDepth-10)に設定される。
BIOは、また、BDOFとしても知られている。
・BDOF適用条件
VTM5において、BDOFは、以下のモードと特徴でコード化されたCUに適用することができる。
・sps_bdof_enabled_flagが1に等しい
・predFlagL0[0][0]およびpredFlagL1[0][0]の両方が1に等しい
・DiffPicOrderCnt(currentPic,RefPicList[0][refIdxL0])*DiffPicOrderCnt(currentPic,RefPicList[1][refIdxL1])が0未満である
・MotionModelIdc[xCb][yCb]が0に等しい
・merge_subblock_flag[xCb][yCb]が0に等しい
・sym_mvd_flag[xCb][yCb]が0に等しい
・BcwIdx[xCb][yCb]が0に等しい
・luma_weight_l0_flag[refIdxL0]とluma_weight_l1_flag[refIdxL1]の両方が0に等しい
・cbHeightが8以上である
・現在ブロックの色成分（colour component）インデックスが0に等しい
・最大BDOF処理ユニット
CUの幅及び／又は高さが16ルマサンプルより大きい場合は、16ルマサンプルに等しい幅及び／又は高さを持つサブブロックへと分割され、そして、サブブロック境界はBDOFプロセスでCU境界として扱われる。BDOF処理の最大単位サイズは16×16に制限されている。
2.4 デコーダ側動きベクトル精緻化
双予測演算では、1ブロック領域の予測のために、それぞれlist0の動きベクトル(MV)とlist1のMVを用いて形成された2個の予測ブロックを組み合わせて単一予測信号を形成する。JVET‐K0217における、デコーダ側の動きベクトル精緻化(DMVR)法は、双予測の2個の動きベクトルを、双方向マッチングプロセスによってさらに精緻化する。
提案される方法では、以下の条件が真の場合に、DMVRは、マージ（Merge）モードとスキップ（Skip）モードでのみ適用される。
(POC-POC0)*(POC-POC1)<0
ここで、POC－エンコードされるピクチャの現在のピクチャオーダカウント、POC0およびPOC1－は、現在ピクチャについて参照のピクチャオーダカウントである。
信号化マージ候補ペアは、DMVRプロセスへの入力として使用され、そして、初期動きベクトル(MV0,MV1)と示される。DMVRによって探索される探索点は、動きベクトル差ミラーリング条件（motion vector difference mirroring condition）に従う。言い換えれば、DMVRによってチェックされる点(候補動きベクトルペア(MV0'、MV1')で示される)は、次の2つの式に従う。
MV0'=MV0+MVdiff
MV1'=MV1-MVdiff
ここで、MVdiffは、検索スペース内の点を参照ピクチャのうち１つで表している。
探索空間の構築後に、通常の8タップDCTIF補間フィルタを用いて、単方向予測が構築される。双方向マッチングコスト関数は、2個の予測(図6)間の絶対差の除去平均和（mean removed sum of absolute differences、MRSAD)を使用して計算され、最小コストを生じる探索点が、改良されたMVペアとして選択される。MRSAD計算には、サンプルの16ビット精度が使用され(補間フィルタリングの出力)、そして、MRSAD計算の以前にクリッピングおよび丸め操作（rounding operation）は適用されない。丸めやクリッピングを適用しない理由は、内部バッファの必要性を減らすためである。
図6は、6点探索による双方向マッチングの例を示している。
提案する方法では、整数精度探索点が適応パターン法によって選択される。最初に、コスト、中心点(初期動きベクトルによって指し示される)に対応するもの、が計算される。他の4個のコスト(符号の形状)は、2個の予測によって計算され、中心点によって互いに反対側に置かれている。角度における最後の6点は、以前に計算されたコストの勾配によって選択される(図7は、適応整数探索パターン(左)、半サンプル探索パターン(右)を示している)。
DMVRプロセスの出力は、最小コストに対応する精緻化された動きベクトルペアである。
１回の反復の後で、最小コストが検索空間の中心点で達成される場合、すなわち、動きベクトルは変更されず、そして、改良プロセスは終了する。そうでなければ、最良のコストはさらに中心と見なされ、プロセスは継続するが、最小コストは中心点に対応せず、そして、探索範囲を超えない。
ハーフペル（half-pel）探索の適用が探索範囲を超えない場合のみ、半サンプル制度探索（half sample precision search）が適用される。この場合、MRSAD計算は、整数精度探索中に最良として選択される中心点の周りのプラス形状点に対応する4個のみが実行される。最後に、最低コストポイントに対応する精緻化された動きベクトルペアが出力される。
JVET-L0163において、いくつかの簡素化および改良が提案されている。
・参照サンプルのパディング
参照サンプルパディング（reference sample padding）は、初期動きベクトルによって指し示される参照サンプルブロックを拡張するために適用される。コード化ブロックのサイズが「w」と「h」で与えられる場合、サイズw+7およびh+7のブロックが参照ピクチャバッファから取り出されものと仮定される。次いで、取り出されるバッファは、最も近いサンプルを使用する反復的なサンプルパディングによって、各方向に2個のサンプルによって拡張される。その後、拡張された参照サンプルブロックを使用して、精緻化された動きベクトルが得られた後の最終予測を生成する(これは、各方向において初期動きベクトルの2個のサンプルから逸脱する可能性がある)。
この修正により、コード化損失なしにDMVRの外部メモリアクセス要件を完全に排除することに留意されたい。
・8タップDCTIFの代わりの双線形補間
提案によれば、DMVR探索プロセス中に双線形補間が適用され、これは、MRSAD計算で使用される予測は双線形補間を用いて生成されることを意味する。最終的に精緻化された動きベクトルが得られると、最終的な予測を生成するために、通常の8タップDCTIF補間フィルタが適用される。
・マージ候補間のMV差に基づく早期終了
MV精緻化プロセスを閉じ込める（confine）ために、DMVRに追加的な条件が課される。これにより、以下の条件が満たされると、DMVRは条件付きでディセーブルになる。
・選択したマージ候補と同じマージリスト内の以前の候補のいずれかとのMV差は、事前定義された閾値より小さい(すなわち、64ピクセル未満、256ピクセル未満、および、少なくとも256ピクセルを伴うCUについて、それぞれに、1/4、1/2、および1ピクセル幅の間隔)。
・中心探索座標におけるSADコストに基づく早期終了
現在CUの初期動きベクトルを用いた2個の予測信号(L0およびL1予測)間の絶対差(SAD)の和が計算される。SADが事前定義された閾値以下である場合、すなわち、サンプル毎に2(BDepth-9)、DMVRがスキップされる。そうでなければ、DMVRは、現在ブロックの2個の動きベクトルを精緻化するために、依然として適用される。
・2行毎を使用したMRSAD計算
MRSADコストは、ブロックの奇数の行（row）に対してのみ計算され、偶数のサンプル行は考慮されない。従って、MRSAD算出のための操作回数は半分になる。
・パラメトリック誤差表面ベースのサブピクセルオフセット推定
JVET‐K0041では、非常に最小な計算複雑性で1/16pel（1/16th-pel）精度のサブピクセルオフセットを決定するために、整数距離位置評価コスト（integer distance position evaluated costs）を用いて適合させたパラメトリック誤差表面が提案された。
この方法はVVCに採用されており、以下に要約する。
1. 整数MVDの最小マッチングコストが0に等しくなく、かつ、ゼロMVDのマッチングコストが閾値より大きい場合にのみ、パラメトリック誤差表面適合が計算される。
2. 最良の整数位置は、中心位置としてとられ、中心位置のコスト、および、中心位置に対する(-1,0)、(0,-1)、(1,0)、および(0,1)(整数ピクセルの単位で)位置のコストが、以下の形式の2-D放物面誤差面方程式に適合するように使用される。
E(x,y)=A(x-x0)2+B(y-y0)2+C
ここで、(x0,y0)は最小コストのポジションに対応し、そして、Cは最小コストの値に対応している。5個の未知数の5個の方程式を解くことによって、(x0,y0)は次のように計算される。
x0=(E(-1,0)-E(1,0)/(2(E(-1,0)+E(1,0)-2E(0,0)))
y0=(E(0,-1)-E(0,1)/(2(E(0,-1)+E(0,1)-2E(0,0)))
分割が実行される精度(すなわち、商の何ビットが計算されるか)を調整することによって、(x0,y0)は任意の必要なサブピクセル精度まで計算することができる。1/16pel（1/16th-pel）精度では、商の絶対値の4ビットだけが計算される必要があり、これは、CU毎に必要とされる2分割の高速シフト減算ベースの実装に役立つ。
3. 計算された(x0,y0)が整数距離精緻化MVに加算されて、サブピクセル精緻化デルタMVを得る。
一方、5×5のサーチ空間に対しては、図8に示されるように、中心9の位置のうちの１つが最良の整数位置である場合にのみ、パラメトリック誤差表面適合が実行される。
・DMVR適用条件
VTM5において、DMVRは、以下のモードと特徴でコード化されたCUに適用することができる。
・sps_dmvr_enabled_flagが1に等しい
・双予測MVを用いたCUレベルのマージモード
・現在ピクチャに対して、一方の参照ピクチャは過去のものであり、そして、他方の参照ピクチャは将来のものである
・両方の参照ピクチャから現在ピクチャまでの距離(つまり、POC差)が同じである
・CUには64以上のルマサンプルがある
・CUの高さとCU幅の両方が8ルマのサンプルより大きいか等しい
・BCW重み付け係数が等しい重み付けを示している
・現在ブロックに対してWPがイネーブルされていない
・現在ブロックについてMMVDモードが使用されていない
・最大DMVR処理部
CUの幅及び／又は高さが16ルマのサンプルより大きい場合は、16ルマのサンプルに等しい幅及び／又は高さを持つサブブロックへとさらに分割される。DMVR検索処理の最大単位サイズは16×16に制限されている。
2.5 MVDを伴うマージモード(MMVD)
暗黙的に派生した動き情報を現在CUの予測サンプル生成に直接的に使用するマージモードに加えて、動きベクトル差によるマージモード(merge mode with motion vector differences、MMVD)がVVCに導入される。MMVDフラグは、MMVDモードがCUに使用されるか否かを指定するために、スキップフラグとマージフラグを送信した後で信号化される。
MMVDでは、マージ候補が選択された後で、信号MVD情報によってさらに精緻化される。さらなる情報は、マージ候補フラグ、動きの大きさを指定するためのインデックス、および、動き方向の指示のためのインデックスを含む。MMVDモードでは、MVベース(または、ベースマージ候補)として、マージリストの最初の2個の候補について１つが選択される。マージ候補フラグが、どのフラグが使用されるかを指定するために信号化される。
距離インデックスは、動きの大きさの情報を指定し、そして、開始点からの事前定義されたオフセットを示している。図9に示されるように、オフセットが、開始MVの水平成分または垂直成分のいずれかに追加される。距離インデックスと事前定義されたオフセットの関係は、表3に規定されている。
表3:距離インデックスと事前定義されたオフセットの関係
Figure 0007322277000015
方向インデックスは、MVDの開始点に対する方向を表す。表4に示されるように、方向インデックスは4方向を表すことができる。MVDサイン（sign）の意味は、開始時のMVの情報によって変わる可能性があることに留意されたい。開始MVが単予測MVまたは双方向予測MVであり、両方のリストが現在ピクチャの同じ側を指している場合(すなわち、2個の参照のPOCが両方とも現在ピクチャのPOCより大きいか、または、両方とも現在ピクチャのPOCより小さい場合)、表4におけるサインは、開始MVに追加されたMVオフセットのサインを指定している。開始MVが双予測MVであり、2個のMVが現在ピクチャの異なる側を指している場合(すなわち、一方の参照のPOCが現在ピクチャのPOCより大きく、そして、他方の参照のPOCが現在ピクチャのPOCより小さい場合)、表4のサインは、開始MVのlist0 MV成分に追加されたMVオフセットのサインを指定し、そして、list1 MVのサインは反対の値を有する。
表4:方向インデックスで指定されたMVオフセットのサイン
Figure 0007322277000016
2.6 VVCにおけるMMVDの仕様
MMVDの仕様(JVET-N1001-v10)は以下の通りである。
Figure 0007322277000017
Figure 0007322277000018
2.7 JVET-O0070：アフィンモードのためにオプティカルフローによる予測精緻化(PROF)
動き補償のより細かい粒度を達成するために、この貢献は、オプティカルフローによるサブブロックベースのアフィン動き補償予測を精緻化する方法を提案する。サブブロックベースのアフィン動き補償が実行された後で、ルマ予測サンプルは、オプティカルフロー方程式によって導出された差を加えることによって精緻化される。提案されるPROFは、以下の4つのステップで記述される。
ステップ１）サブブロックベースのアフィン動き補償が実行され、サブブロック予測I(i,j)を生成する。
ステップ２）3-タップフィルタ[-1,0,1]を使用して、各サンプル位置における空間勾配およびサブブロック予測を計算する。
gx(i,j)=I(i+1,j)-I(i-1,j)
gy(i,j)=I(i,j+1)-I(i,j-1)
サブブロック予測は、勾配計算のために、両側で1ピクセルずつ拡張される。メモリ帯域幅と複雑性を低減するために、拡張境界上のピクセルは、参照ピクチャの最も近い整数ピクセル位置からコピーされる。従って、パディング領域に対する追加の補間は回避される。
ステップ３）オプティカルフロー方程式によりルマ予測精緻化が計算される。
ΔI(i,j)=gx(i,j)*Δνx(i,j)+gy(i,j)*Δνy(i,j)
ここで、Δν(i,j)は、図10に示されるように、ν(i,j)で示される、サンプル位置(i,j)について計算されたピクセルMVと、ピクセル(i,j)が属するサブブロックのサブブロックMVとの差である。
図10は、サブブロックMV VSBおよびピクセルΔv(i,j)(赤矢印)の一つの例を示している。
サブブロック中心に対するアフィンモデルパラメータおよびピクセル位置はサブブロックからサブブロックに変更されないので、最初のサブブロックについてΔν(i,j)を計算することができ、そして、同じCU内の他のサブブロックについて再利用することができる。xとyをピクセル位置からサブブロックの中心までの水平および垂直のオフセットとすると、Δν(i,j)が以下の式で求めることができる。
Figure 0007322277000019
4パラメータアフィンモデルについては、以下のとおりである。
Figure 0007322277000020
6パラメータアフィンモデルについては、以下のとおりである。
Figure 0007322277000021
ここで、(ν0x,ν0y)、(ν1x,ν1y)、(ν2x,ν2y)は、左上、右上、および左下の制御点動きベクトルであり、wとhは、CUの幅と高さである。
ステップ４） 最後に、I(i,j)サブブロック予測に対してルマ予測精緻化が付加される。最終的な予測I'は、次の方程式として生成される。
I'(i,j)=I(i,j)+ΔI(i,j)
2.8 VVCにおけるPROFの仕様
PROFの仕様(JVET-O0070-CE4.2.1a-WD-r4)は以下の通りである。
Figure 0007322277000022
Figure 0007322277000023
Figure 0007322277000024
Figure 0007322277000025
2.9 対称MVDコーディング
VTM5では、通常の単方向予測と双方向予測モードMVDシグナリングに加えて、双方向予測MVDシグナリングのための対称MVDモードが適用される。対称MVDモードでは、list-0とlist-1の両方の参照ピクチャインデックスを含む動き情報とlist-1のMVDが、信号化されないが、導出される。
対称MVDモードのデコーディング処理は以下の通りである。
1. スライスレベルにおいて、変数BiDirPredFlag、RefIdxSymL0、およびRefIdxSymL1が次のように導出される。
－ mvd_l1_zero_flagが1の場合、BiDirPredFlagは0に等しく設定される。
－ そうでなければ、list-0の最も近い参照ピクチャとlist-1の最も近い参照ピクチャが、参照ピクチャの前方と後方のペアまたは参照ピクチャの後方と前方のペアを形成する場合、BiDirPredFlagは1に設定される。それ以外の場合、BiDirPredFlagは0に設定される。
2. CUレベルにおいて、CUが双予測コード化され、そして、BiDirPredFlagが1に等しい場合、対称モードが使用されるか否かを示している対称モードフラグが明示的に信号化される。
対称モードフラグが真の場合、mvp_l0_flag、mvp_l1_flag、およびMVD0のみが明示的に信号化される。list-0とlist-1の参照インデックスは、それぞれ参照ピクチャのペアに等しく設定される。MVD1は(-MVD0)に等しく設定される。最終的な動きベクトルが以下の式に示されている。
Figure 0007322277000026
図11は、対称MVDモードの説明図である。
エンコーダでは、対称MVD動き推定が初期MV評価で始まる。初期MV候補のセットは、単予測探索から得られたMV、双予測探索から得られたMV、およびAMVPリストから得られたMVからなる。最も低いレート歪み（rate-distortion）コストを持つものを、対称MVD動き探索のための初期MVに選択される。
2.10 JVET-0414:参照ピクチャタイプを考慮した対称MVD制御
参照ピクチャタイプは、「短期参照ピクチャ(short-term reference pictures、STRP)」または「長期参照ピクチャ(long-term reference pictures、LTRP)」として決定される。STRPとLTRPの両方は現在ブロックの参照ピクチャとして使用できる。図12は、SMVDスキームにおける混合された（mixed）STRPおよびLTRPの使用例を示している。L1_MVDとしてミラー化された（mirrored）L0_MVDを使用することは、L0とL1の参照ピクチャタイプが異なるとき、不正確になる可能性がある。なぜなら、距離差(参照ピクチャ0と現在ピクチャ1との距離および現在ピクチャ1との距離)が大きくなり、各方向の動きベクトルの相関が低くなるためである。図12は、混合されたSTRPとLTRPの使用例を示している。
現在の作業草案では、sym_mvd_flagの文解析プロセスは以下の通りである。つまり、参照ピクチャの可用性がチェックされ、条件が満たされる場合、sym_mvd_flagが解析される。sym_mvd_flagが真の場合、L1のMVD(MvdL1)はミラー化されたMvdL0として導出される。
また、現在のスキームでは、X=0,1の場合のRefIdxSymLXは、以下のように導出される。RefIdxSymL0は、現在ピクチャのPOCより小さいPOCを持つ最も近い参照ピクチャであり、そして、RefIdxSymL1は、現在ピクチャのPOCより大きいPOCを持つ最も近い参照ピクチャである。
JVET‐O0414では、SMVDスキームが使用される場合にMVDの精度を向上させるための、参照ピクチャタイプを考慮した２つのスキームが提案されている。現在のSMVDスキームと２つの提案スキームとの比較が表に簡単に示されている。ここで、MVDとはList0のMVDを意味する。
表5：現在のSMVDスキームと提案スキーム
Figure 0007322277000027
提案スキームI
提案スキームIにおいて、SMVDプロセスは、現在ピクチャが混合された（mixed）参照ピクチャタイプを有する場合に制限される。
提案スキームII
提案スキームIIにおいては、長期参照ピクチャが参照ピクチャチェックプロセスで除外されるので、従って、SMVDについて短期参照ピクチャのみを考慮することができる。
3. いくつかの実施態様によって取り扱われる技術的問題の例
DMVR/BDOF/MMVD/PROFの現在の設計は、参照ピクチャタイプが考慮されておらず、有効性が影響を受ける可能性がある。
4. 実施形態の例
以下の説明は、いくつかの概念を説明するための例示として考慮されるべきである。これらの説明は狭義に解釈されるべきではない。さらに、これらの技術は、任意の方法で組み合わせることができる。
以降、DMVDは、BDOF、DMVR、テンプレートベースの動き推定、FRUC、等といったデコーダ側動きベクトル導出方法を表現するために使用される。
1.コーディングツールをイネーブルするかディセーブルするか否か、あるいは、ブロックについてコーディングツールを適用する方法は、ブロックの参照ピクチャのタイプ(例えば、長期または短期)、及び／又は参照ピクチャの解像度、及び／又は現在ピクチャの解像度に依存する。
a.一つの例において、ブロックによって使用される少なくとも2個の参照ピクチャ(例えば、双予測のための2個の参照ピクチャ)が、異なる参照ピクチャタイプと関連付けられている場合、コーディングツールは、ブロックに対してディセーブルにされる。 i.代替的に、これらの全てが長期参照ピクチャである場合、現在ピクチャに対する参照ピクチャの各々のPOC距離のチェックは省略される。すなわち、一つの例において、コーディングツールは、POC距離に関係なく使用可能であり得る。
b.一つの例において、ブロックによって使用される少なくとも2個の参照ピクチャ(例えば、双予測のための2個の参照ピクチャ)が、同じ参照ピクチャタイプと関連付けられている場合、コーディングツールは、ブロックに対してイネーブルされてよい。
i.一つの例において、同じ参照ピクチャタイプは、現在ピクチャに対する各参照ピクチャの長期または短期の参照ピクチャタイプ、または、同じ絶対POC距離である。 c.一つの例では、ブロックによって使用されるいくつか又は全ての参照ピクチャ(例えば、双予測のための2個の参照ピクチャ)が、タイプXに等しい同一の参照ピクチャタイプと関連付けられている場合、コーディングツールは、ブロックに対してイネーブルされてよい。
i.一つの例では、タイプXは、短期参照ピクチャタイプである。
ii.代替的に、タイプXに関連付けられていない場合は、コーディングツールをディセーブルにしてよい。
iii.代替的に、タイプY(Xと等しくない)に関連するものがある場合、コーディングツールをディセーブルにしてよい。
iv.一つの例では、タイプXは適応解像度ピクチャ(Adaptive Resolution Picture、ARP)でなくてよい。例えば、タイプXの参照ピクチャの解像度は、現在ピクチャの解像度と同じである。
v.一つの例では、タイプXは、現在ピクチャに対する参照ピクチャの各々の絶対POC距離が同じであってよい。
d.代替的に、ブロックによって使用される参照ピクチャの１つ又は全ての参照ピクチャが、タイプXに等しい同じ参照ピクチャタイプに関連付けられている場合、コーディングツールは、ブロックに対してディセーブルにされる。
i.一つの例では、タイプXは、長期参照ピクチャタイプである。
ii.一つの例では、タイプXは、適応解像度ピクチャ(ARP)であってよい。例えば、タイプXの参照ピクチャの解像度は、現在ピクチャの解像度とは異なる。
e.代替的に、コーディングツールは、典型的な参照ピクチャタイプXの参照ピクチャにのみ適用され得る。
i.一つの例では、タイプXは、短期参照ピクチャタイプである。
ii.一つの例では、タイプXは、適応解像度ピクチャ(ARP)でなくてよい。例えば、タイプXの参照ピクチャの解像度は、現在ピクチャの解像度と同じである。
iii.一つの例では、タイプXは、現在ピクチャに対する参照ピクチャの各々の絶対POC距離が同じであってもよい。
f.一つの例では、コーディングツールは、BDOFコーディングツールである。
g.一つの例では、コーディングツールは、DMVRコーディングツールである。
h.一つの例では、コーディングツールは、MMVDコーディングツールである。
i.一つの例では、コーディングツールは、PROFコーディングツールである。
j.一つの例では、コーディングツールは、アフィン（Affine）コーディングツールである。
k.一つの例では、コーディングツールは、結合イントラ予測ツールである。
l.一つの例では、コーディングツールは、適応動きベクトル解像度(Adaptive Motion Vector Resolution、AMVR)コーディングツールである。
m.一つの例では、コーディングツールは、三角パーティションモード(Triangle Partition Mode、TPM)コーディングツールである。
n.一つの例では、コーディングツールは、SMVDコーディングツールである。
o.一つの例において、コーディングツールは、切り替え可能（switchable）補間フィルタリングコーディングツールである。
p.一つの例では、コーディングツールは、BCW(すなわち、CUレベルの重み付けによる双予測)コーディングツールである。
q.一つの例では、コーディングツールは、DMVDといった、コード化された情報に基づいてブロックの動き情報を精緻化するコーディングツールである（例えば、時間的マッチングに基づく方法）。
r.一つの例では、コーディングツールは、コード化された情報に基づいてブロックの予測信号を精緻化するコーディングツールである(例えば、オプティカルフローによる符号化方法)。
2.BDOFの有効化／無効化は、参照ピクチャタイプに依存してよい。
a.一つの例では、全ての参照ピクチャが同じ参照ピクチャタイプである場合、BDOFがイネーブルされてよい。つまり、２つのタイプが異なる場合、BDOFがディセーブルされ得る。
i.一つの例において、BDOFは、過去の参照ピクチャ(例えば、現在ピクチャと比較してPOC値が小さい)および将来の参照ピクチャ(例えば、現在ピクチャと比較してPOC値が大きい)の両方が、現在ピクチャと比較して各参照ピクチャの長期または短期の参照ピクチャであり、または、同じ絶対POC距離である場合に、イネーブルされ得る。
b.一つの例では、全ての参照ピクチャが同じ参照ピクチャタイプXである場合、BDOFがイネーブルされてよい。
i.一つの例では、過去の参照ピクチャおよび将来の参照ピクチャの両方が短期の参照ピクチャである場合に、BDOFをイネーブルすることができる。
ii.一つの例では、タイプXは、短期参照ピクチャタイプである。
iii.一つの例では、タイプXは、適応解像度ピクチャ(ARP)でなくてよい。例えば、タイプXの参照ピクチャの解像度は、現在ピクチャの解像度と同じである。
iv.代替的に、参照ピクチャの少なくとも１つはタイプXではなく、BDOFがディセーブルにされてよい。
v.一つの例では、タイプXは、現在ピクチャに対する参照ピクチャの各々の絶対POC距離が同じであってよい。
3.DMVRの有効化／無効化は、参照ピクチャタイプに依存してよい。
a.一つの例では、全ての参照ピクチャが同じ参照ピクチャタイプである場合、DMVRがイネーブルされてよい。つまり、２つのタイプが異なる場合、DMVRがディセーブルされてよい。
i.一つの例では、DMVRは、過去の参照ピクチャ(例えば、現在ピクチャと比較してPOC値が小さい)および将来の参照ピクチャ(例えば、現在ピクチャと比較してPOC値が大きい)の両方が、現在ピクチャと比較して、参照ピクチャのそれぞれの長期または短期の参照ピクチャであり、または、同じ絶対POC距離である場合に、イネーブルされてよい。
b.一つの例では、全ての参照ピクチャが同じ参照ピクチャタイプXである場合、DMVRがイネーブルされてよい。
i.一つの例では、過去の参照ピクチャと将来の参照ピクチャの両方が短期の参照ピクチャである場合に、DMVRがイネーブルされてよい。
ii.一つの例では、タイプXは、短期参照ピクチャタイプである。
iii.一つの例では、タイプXは、適応解像度ピクチャ(ARP)でなくてよい。例えば、タイプXの参照ピクチャの解像度は、現在ピクチャの解像度と同じである。
iv.代替的に、参照ピクチャの少なくとも１つはタイプXではなく、DMVRはディセーブルにされてよい。
v.一つの例では、タイプXは、現在ピクチャに対する参照ピクチャの各々の絶対POC距離が同じであってよい。
c.一つの例では、全ての参照ピクチャが同じ参照ピクチャタイプYである場合、現在ピクチャに対する参照ピクチャの各々のPOC距離のチェックは省略される。すなわち、DMVRは、POC距離に関係なくイネーブルされてよい。
i.一つの例では、タイプYは、長期参照ピクチャタイプである。
4.MMVD/BCW/PROF/TPM/SMVD/Affineがイネーブルされているか否か、または、MMVD/BCW/PROF/TPM/SMVD/Affineの適用方法は、参照ピクチャタイプに依存してよい。
a.一つの例では、全ての参照ピクチャが同じ参照ピクチャタイプを持つ場合、MMVD/BCW/PROF/TPM/SMVD/Affineがイネーブルされ、そうでない場合、MMVD/BCW/PROF/TPM/SMVD/Affineがディセーブルされ得る。
b.一つの例では、全ての参照ピクチャが参照ピクチャタイプXである場合、MMVD/BCW/PROF/TPM/SMVD/Affineがイネーブルされてよい。
i.一つの例では、タイプXは、短期参照ピクチャタイプである。
ii.一つの例では、タイプXは、現在ピクチャに対する参照ピクチャの各々の絶対POC距離が同じであってもよい。
c.一つの例では、このような制限は、双方向予測ブロックに適用され得る。
d.一つの例では、このような制限は、単方向予測ブロックに適用され得る。
e.一つの例では、このような制限は、双方向予測ブロックおよび単方向予測ブロックの両方に適用され得る。
f.一つの例では、MMVD/BCW/TPM/SMVD/Affineがディセーブルされている場合、MMVD/BCW/TPM/SMVD/Affineが適用されているか否かの表示は、信号化されなくてよい。
i.代替的に、そのような表示は、依然として信号化される。しかしながら、適合性ビットストリームに対して、指示は常に偽である。すなわち、MMVD/BCW/TPM/SMVD/Affineはディセーブルされる。
5.本文書において開示される参照ピクチャの「参照タイプ」は、判断すること（judging）によって決定され得る。
a.参照ピクチャは、長期または短期である。
b.参照ピクチャの元の解像度は、現在ピクチャと同じか、または、そうでない。
参照ピクチャと現在ピクチャのPOC距離は、一定の範囲内にある。
c.参照ピクチャの時間層は、所定の範囲内にある。
d.所定のコーディングツールが参照ピクチャに適用されているか否か。
MMVDのためのMVD導出の簡素化
6.MMVDについて、MVDスケール化（scaling）が除去されてよい。MMVDモードで選択したMVベース(または、ベースマージ候補)が双方向MVである場合、予測方向X(X=0または1)のMVDは、信号化されたMVDに直接的に等しく設定され、そして、予測方向Y(Y=1-X)のMVDは、信号化されたMVD、または、信号化されたMVDの反対値に等しく設定されてよい。
a.一つの例では、MVベース（MV basis）によって識別される両方の参照ピクチャが、現在ピクチャよりも大きい又は小さいPOCを有する場合、予測方向YのMVDは、信号化されたMVDと等しく設定され得る。
b.一つの例では、MVベースによって識別される一方の参照ピクチャが現在ピクチャよりも大きなPOCを有し、かつ、MVベースによって識別される他方の参照ピクチャが現在ピクチャよりも小さなPOCを有する場合、予測方向YのMVDは、信号化されたMVDの反対の値に等しく設定され得る。
7.MMVDにおいて、MVDは、予測方向X(X=0または1)について常に信号化され、そして、必要に応じて(例えば、MVベースが双方向MVである場合)予測方向Y(Y=1-X)に対して導出され得る。
a.一つの例において、MVベースが単方向MVである場合、Xは、MVベースの予測方向に等しく設定され得る。
b.一つの例において、MVベースが双方向MVである場合、Xは、0または1に等しく設定され得る。
c.一つの例において、参照ピクチャリストYのMVDは、MVベースによって識別される2個の参照ピクチャの参照ピクチャタイプ(例えば、長期参照ピクチャまたは短期参照ピクチャ)に依存して導出され得る。
i.一つの例では、両方の参照ピクチャが短期の参照ピクチャである場合、予測方向YのMVDは、2個の参照ピクチャと現在ピクチャとの間のPOC距離に従って、信号化されたMVDをスケーリングすることによって導出され得る。
ii.一つの例では、2個の参照ピクチャが両方とも現在ピクチャより大きい又は小さいPOCを有する場合、予測方向YのMVDは、信号化されたMVDと等しく設定され得る。
(i)代替的に、さらに、そのような導出方法は、参照ピクチャの少なくとも１つが短期参照ピクチャでない場合にのみ適用することができる。
iii.一つの例において、一方の参照ピクチャが現在ピクチャよりも大きなPOCを有し、他方の参照ピクチャが現在ピクチャよりも小さなPOCを有する場合、予測方向YのMVDは、信号化されたMVDの反対の値に等しく設定され得る。
(i)代替的に、さらに、そのような導出方法は、参照ピクチャの少なくとも１つが短期参照ピクチャでない場合にのみ適用することができる。
5. 実施形態
削除された部分は二重括弧でマークされ([[a]]は文字「a」の削除を示す)、そして、新しく追加された部分はイタリック体と太字体で強調表示されている。
Figure 0007322277000028
Figure 0007322277000029
Figure 0007322277000030
Figure 0007322277000031
Figure 0007322277000032
Figure 0007322277000033
Figure 0007322277000034
Figure 0007322277000035
Figure 0007322277000036
Figure 0007322277000037
Figure 0007322277000038
Figure 0007322277000039
Figure 0007322277000040
Figure 0007322277000041
Figure 0007322277000042
Figure 0007322277000043
Figure 0007322277000044
Figure 0007322277000045
Figure 0007322277000046
Figure 0007322277000047
Figure 0007322277000048
図13Aは、ビデオ処理装置1300のブロック図である。装置1300は、ここにおいて記載される１つ以上の方法を実施するために使用されてよい。装置1300は、スマートフォン、タブレット、コンピュータ、モノのインターネット（Internet of Things、IoT)レシーバなどで具体化することができる。装置1300は、１つ以上のプロセッサ1302、１つ以上のメモリ1304、およびビデオ処理ハードウェア1306を含み得る。プロセッサ1302は、本文書に記載される１つ以上の方法を実装するように構成されてよい。メモリ(複数のメモリ)1304は、ここにおいて記載される方法および技術を実施するために使用されるデータおよびコードを保管するために使用されてよい。ビデオ処理ハードウェア1306は、ハードウェア回路において、本文書に記載されるいくつかの技術を実装するために使用されてよい。いくつかの実施形態において、ビデオ処理ハードウェア1306は、プロセッサ1302(例えば、グラフィックスコプロセッサ)に対して少なくとも部分的に内部であってよい。
図13Bは、開示される技術を実装することができるビデオ処理システムのブロック図の別の例である。図13Bは、ここにおいて開示される様々な技術が実装され得る例示的なビデオ処理システム1310を示しているブロック図である。様々な実装は、システム1310の構成要素の一部または全部を含み得る。システム1310は、ビデオコンテンツを受信するための入力1312を含んでよい。ビデオコンテンツは、生（raw）または非圧縮フォーマット、例えば、8または10ビットの多成分ピクセル値で受信されてよく、または、圧縮またはコード化フォーマットで受信されてよい。入力1312は、ネットワークインターフェイス、周辺バスインターフェイス、またはストレージインターフェイスを表すことができる。ネットワークインターフェイスの例は、イーサネット（登録商標）、受動光ネットワークなどの有線インターフェイス、およびWi-Fi（登録商標）またはセルラーインターフェイスなどの無線インターフェイスを含む。
システム1310は、本文書に記載される種々のコーディングまたはデコーディング方法を実装し得るコーディング構成要素1314を含み得る。コーディング構成要素1314は、ビデオのコーディング表現を生成するために、入力1312からコーディング構成要素1314の出力へのビデオの平均ビットレートを低減してよい。従って、コーディング技術は、ビデオ圧縮またはビデオトランスコーディング技術と呼ばれることがある。コーディング構成要素1314の出力は、構成要素1316によって表されるように、記憶されるか、または、接続された通信を介して送信されてもよい。入力1312で受信されたビデオの保管され、または、通信されたビットストリーム(または、コード化された)表現は、表示インターフェイス1320に送られるピクセル値または表示可能なビデオを生成するために、構成要素1318によって使用されてよい。ビットストリーム表現からユーザが見ることができるビデオを生成するプロセスは、ビデオ解凍（decompression）と呼ばれることがある。さらに、特定のビデオ処理操作は、「コード化（“coding”）」操作またはツールと称されるが、コーディングツールまたは操作は、エンコーダで使用され、コード化の結果を反転する対応する復号化ツールまたは操作は、デコーダで実行されることが理解されだろう。
ペリフェラルバスインターフェイスまたはディスプレイインターフェイスの例は、ユニバーサルシリアルバス（USB）、または高精細度マルチメディアインターフェイス（HDMI（登録商標））、またはディスプレイポート、などを含み得る。ストレージインターフェイスの例は、SATA（serial advanced technology attachment）、PCI、IDEインターフェイス、などを含み得る。ここにおいて記載される技術は、携帯電話、ラップトップ、スマートフォン、または、デジタルデータ処理及び／又はビデオ表示を実行することができる他の装置のような種々の電子装置に具体化することができる。
いくつかの実施形態において、ビデオコーディング方法は、図13Aまたは図13Bに関して説明したようにハードウェアプラットフォーム上に実装される装置を使用して実装されてよい。
図14は、ビデオを処理する方法1400のためのフローチャートである。方法1400は、複数のビデオブロックを含むビデオの現在ビデオブロックと、ビデオのコード化表現との間の変換について、および、変換に使用される参照ピクチャのタイプから、コーディングツールの現在ビデオブロックへの適用可能性を決定すること（1402）、および、決定に基づいて変換を実行すること(1402)を含む。
図15Aは、ビデオを処理する方法1510のためのフローチャートである。方法1510は、ステップ1512において、ビデオの現在ピクチャの現在ビデオブロックとビデオのコード化表現との間の変換について、変換に使用される参照ピクチャのタイプに基づいて、現在ビデオブロックに対するコーディングツールの適用性を決定することを含む。方法1510は、ステップ1514において、決定に基づいて変換を実行することを含む。いくつかの実施態様において、参照ピクチャのタイプは、少なくとも、1)参照ピクチャが短期参照ピクチャであるか長期参照ピクチャであるか、2)参照ピクチャまたは現在ピクチャの解像度、もしくは、3)現在ピクチャに対する参照ピクチャのピクチャオーダカウント（POC）距離、に基づいている。
図15Bは、ビデオを処理する方法1520のためのフローチャートである。方法1520は、ステップ1522において、ビデオの現在ビデオブロックとビデオのコード化表現との間の変換について、変換に使用される参照ピクチャのタイプに基づいて、双方向オプティカルフロー（BDOF）コーディングツールまたはデコーダ側動きベクトル精緻化（DMVR）コーディングツールの現在ビデオブロックへの適用性を決定することを含む。方法1520は、ステップ1524において、決定に基づいて変換を実行することを含む。いくつかの実装では、BDOFコーディングツールを使用して、１つ以上の初期予測が、オプティカルフロー計算に基づいて精緻化される。いくつかの実施形態では、DMVRコーディングツールを用いて、現在ビデオブロックの動き情報が、現在ビデオブロックの予測ブロックを用いて精緻化される。いくつかの実施態様において、参照ピクチャのタイプは、少なくとも、1)参照ピクチャが短期参照ピクチャであるか長期参照ピクチャであるか、2)参照ピクチャまたは現在ピクチャの解像度、もしくは、3)現在ピクチャに対する参照ピクチャのピクチャオーダカウント（POC）距離、に基づいている。
図15Cは、ビデオを処理する方法1530のためのフローチャートである。方法1530は、ステップ1532において、ビデオの現在ピクチャの現在ビデオブロックと、現在ビデオブロックのコード化表現との間の変換を、マージ候補がベースマージ候補として使用され、かつ、動きベクトル差（MVD）情報で精緻化されるように選択されたマージモード動きベクトル差（MMVD）コーディングを使用して、実行することを含む。いくつかの実装では、MMVDコーディング中に、マージ候補は、ベースマージ候補として使用されるように選択され、MVD情報をスケール化することなく、動きベクトル差(MVD)情報で精緻化される。いくつかの実施態様では、ベースマージ候補は双方向動きベクトルであり、一方の予測方向のMVDは、コード化された表現に含まれるMVDと等しく設定され、他方の予測方向のMVDは、ビデオのコード化条件に基づいて、コード化された表現に含まれるMVDと等しくまたは反対に設定される。いくつかの実施態様において、コード化表現は、コード化表現の中に第１の予測方向について最大で第１のMVD値が含まれるというルールに準じている。
開示される技術のいくつかの実施形態は、ビデオ処理ツールまたはモードを可能にする決定または決定を行うことを含む。一つの例では、ビデオ処理ツールまたはモードがイネーブルされている場合、エンコーダは、ビデオのブロックの処理においてツールまたはモードを使用または実装するが、必ずしもツールまたはモードの使用に基づいて結果として生じるビットストリームを修正しなくてよい。すなわち、ビデオのブロックからビデオのビットストリーム表現への変換は、決定または決定に基づいて可能にされたとき、ビデオ処理ツールまたはモードを使用する。別の例では、ビデオ処理ツールまたはモードがイネーブルされている場合、デコーダは、ビットストリームがビデオ処理ツールまたはモードに基づいて修正されたことを知っていれば、ビットストリームを処理する。すなわち、ビデオのビットストリーム表現からビデオのブロックへの変換は、決定または判定に基づいてイネーブルされたビデオ処理ツールまたはモードを使用して実行される。
開示される技術のいくつかの実施形態は、ビデオ処理ツールまたはモードをディセーブルする決定、または、決定することを含む。一つの例では、ビデオ処理ツールまたはモードがディセーブルされている場合、エンコーダは、ビデオのブロックをビデオのビットストリーム表現に変換する際に、ツールまたはモードを使用しない。別の例では、ビデオ処理ツールまたはモードがディセーブルされている場合、デコーダは、ビットストリームが、決定または判定に基づいてディセーブルにされたビデオ処理ツールまたはモードを使用して修正されていないことを知ることによって、ビットストリームを処理する。
本文書において、「ビデオ処理（“video processing”）」という用語は、ビデオコーディング、ビデオデコーディング、ビデオ圧縮またはビデオ解凍を指すことができる。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から対応するビットストリーム表現へ、または、その逆への変換の最中に適用されてよい。現在ビデオブロックのビットストリーム表現は、例えば、シンタックスによって定義されるように、ビットストリーム内の異なる場所に共配置（co-located）されるか、または、拡散されるビットに対応し得る。例えば、マクロブロックは、変換され、コード化されたエラー残差値の観点から、また、ビットストリーム内のヘッダおよび他のフィールド内のビットを使用して、符号化されてよい。
本文書に記載される様々なソリューションおよび実施形態は、条項（clauses）のリストを使用してさらに説明される。条項の第１セットは、前のセクションで開示された技術の所定の特徴および局面を説明している。
以前のセクションにおける項目１、４、および５で記載された実施形態に追加するものである。
1.複数のビデオブロックを含むビデオの現在ビデオブロックと、前記ビデオのコード化表現との間の変換のために、前記変換のために使用される参照ピクチャのタイプから、コーディングツールの前記現在ビデオブロックへの適用性を決定するステップと、前記決定に基づいて前記変換を実行するステップとを含む、ビデオを処理する方法。
2.前記参照ピクチャのタイプは、長期参照ピクチャタイプまたは短期参照ピクチャタイプのいずれかである、条項1に記載の方法。
3.参照ピクチャの特性が参照ピクチャの解像度を含む、条項1-2のいずれかに記載の方法。
4.前記決定するステップは、前記参照ピクチャが異なるタイプであることに起因して、特定のコーディングツールが前記現在ビデオブロックと共に使用できないことを決定するステップを含む、条項1-3のいずれかに記載の方法。
5.前記決定するステップは、前記参照ピクチャが同じタイプのものであることに起因して、特定のコーディングツールが前記現在ビデオブロックと共に使用可能であることを決定するステップを含む、条項1-3のいずれかに記載の方法。
6.前記決定するステップは、全ての参照ピクチャが所与のタイプであることに起因して、特定のコーディングツールが現在ビデオブロックと共に使用可能であることを決定するステップを含む、条項1-3のいずれかに記載の方法。
7.前記決定するステップは、全ての参照ピクチャが所与のタイプのものであることに起因して、特定のコーディングツールが現在ビデオブロックと共に使用できないことを決定するステップを含む、条項1-3のいずれかに記載の方法。
8.特定の参照ピクチャの特性が特定のタイプであることに起因して、特定の参照ピクチャと共に使用するために、特定のコーディングツールが適用される、条項1-3のいずれかに記載の方法。
9.特定の参照ピクチャの特性が特定のタイプであることに起因して、特定の参照ピクチャと共に使用するために、特定のコーディングツールがディセーブルにされる、条項1-3のいずれかに記載の方法。
10.前記コーディングツールは、双方向オプティカルフローコーディングツールに対応する、条項1-9のいずれかに記載の方法。
11.前記コーディングツールが、動きベクトル差ツールによるマージモード(MMVD)、またはコーディングユニット重み付けによる双予測(BCW)、またはオプティカルフローによる予測精緻化(PROF)、または三角分割モード(TPM)、または空間動きベクトル差(SMVD)、またはアフィンコーディングツールの１つ以上に対応する、条項1-9のいずれかに記載の方法。
12.参照ピクチャのタイプが、現在ビデオブロックの現在ピクチャとのピクチャオーダカウントの差に依存する、条項1-11のいずれかに記載の方法。
13.前記参照ピクチャのタイプが、前記参照ピクチャの時間層に依存する、条項1-12のいずれかに記載の方法。
以前のセクションにおける項目２で記載された実施形態に追加するものである。
14.複数のビデオブロックを含むビデオの現在ビデオブロックと、前記ビデオのコード化表現との間の変換のために、前記変換に使用される参照ピクチャのタイプから、双方向オプティカルフローコーディングツールの前記現在ビデオブロックへの適用性を決定するステップと、前記決定に基づいて前記変換を実行するステップとを含む、ビデオを処理する方法。
15.前記参照ピクチャのタイプは、長期参照ピクチャタイプまたは短期参照ピクチャタイプのいずれかである、条項14に記載の方法。
16.参照ピクチャの特性が参照ピクチャの解像度を含む、条項14-15のいずれかに記載の方法。
17.前記決定するステップは、前記BDOFコーディングツールが、前記参照ピクチャが異なるタイプであることに起因して、前記現在ビデオブロックと共に使用できないことを決定するステップを含む、条項14-16のいずれかに記載の方法。
18.前記決定するステップは、前記BDOFコーディングツールが、前記参照ピクチャが同じタイプであることに起因して、前記現在ビデオブロックと共に使用可能であることを決定するステップを含む、条項14-16のいずれかに記載の方法。
19.現在ビデオブロックが、全ての参照ピクチャが所与のタイプのものであることに起因する、条項14-16のいずれかに記載の方法。
20.前記決定するステップは、全ての参照ピクチャが所与のタイプであることに起因して、前記BDOFコーディングツールが前記現在ビデオブロックでの使用に対してディセーブルにされていることを決定するステップを含む、条項14-16のいずれかに記載の方法。
21.BDOFコーディングツールが、特定の参照ピクチャの特性が特定のタイプであることに起因して、特定の参照ピクチャと共に使用するために適用される、条項14-16のいずれかに記載の方法。
22.前記BDOFコーディングツールは、特定の参照ピクチャの特性が特定のタイプであることに起因して、特定の参照ピクチャと共に使用することができない、条項14-16のいずれかに記載の方法。
以前のセクションにおける項目３で記載された実施形態に追加するものである。
23.複数のビデオブロックを含むビデオの現在ビデオブロックと、前記ビデオのコード化表現との間の変換のために、前記変換のために使用されるタイプの参照ピクチャから、前記コーディングツールの前記現在ビデオブロックへの適用性を決定するステップであり、前記コーディングツールは、デコーダ側の動きベクトル精緻化ツール（DMVR）に対応する、ステップと、前記決定に基づいて前記変換を実行するステップと、を含む、ビデオを処理する方法。
24.前記参照ピクチャのタイプは、長期参照ピクチャタイプまたは短期参照ピクチャタイプのいずれかである、条項23に記載の方法。
25.参照ピクチャの特性が参照ピクチャの解像度を含む、条項23-24のいずれかに記載の方法。
26.前記決定するステップは、前記参照ピクチャが異なるタイプであることに起因して、前記現在ビデオブロックで使用するために前記DMVRコーディングツールがディセーブルされることを決定するステップを含む、条項23-25のいずれかに記載の方法。
27.前記決定するステップは、前記DMVRコーディングツールが、前記参照ピクチャが同じタイプであることに起因して、前記現在ビデオブロックと共に使用可能であることを決定するステップを含む、条項23-25のいずれかに記載の方法。
28.前記決定するステップは、前記DMVRコーディングツールが、全ての参照ピクチャが所与のタイプのものであることに起因して、現在ビデオブロックと共に使用可能であることを決定するステップを含む、条項23-25のいずれかに記載の方法。
29.前記決定するステップは、前記DMVRコーディングツールが、全ての参照ピクチャが所与のタイプのものであることに起因して、現在ビデオブロックと共に使用できないことを決定するステップを含む、条項23-25のいずれかに記載の方法。
以前のセクションにおける項目６で記載された実施形態に追加するものである。
30.ビデオの現在ビデオブロックと、マージモード動きベクトル差（MMVD）コーディングを使用して、現在ビデオブロックのコード化表現との間で変換を実行するステップを含み、前記変換は、動きベクトル差とマージモード候補との組み合わせを使用し、MVDの構成要素のスケーリングまたは予測方向のうち少なくとも１つは、前記ビデオのコーディング条件から決定される、ビデオを処理する方法。
31.前記コーディング条件は、現在ビデオブロックの現在ピクチャのピクチャオーダカウントと、閾値を有する参照ピクチャとの間のピクチャオーダカウントとの比較を含む、条項30に記載の方法。
32.前記スケーリングは、単一性（unity）スケーリングである、条項30に記載の方法。
以前のセクションにおける項目７で記載された実施形態に追加するものである。
33.単一方向の単一MVD値が信号化されたマージモード動きベクトル差（MMVD）コーディングを使用して、ビデオの現在ビデオブロックと、現在ビデオブロックのコード化表現との間の変換を実行するステップを含む、ビデオを処理する方法。
34.ルールに基づいて、第１MVD値から別の方向の第２MVD値を導出するステップをさらに含む、条項33に記載の方法。
35.前記単一方向は、前記シグナリングに使用される基底動きベクトル（basis motion vector）の予測方向に対応する、条項33に記載の方法。
36.前記導出するステップは、前記第２MVDが導出される参照ピクチャのタイプに基づいて、前記第２MVDを導出するステップを含む、条項34に記載の方法。
いくつかの実施形態によって採用されるさらなる好ましいソリューションは、以下を含む。
37.前記変換するステップは、前記現在ビデオブロックを前記コード化表現にエンコーディングするステップ、または、現在ビデオブロックを生成するために前記コード化表現をデコーディングするステップを含む、条項1-36のいずれかに記載の方法。
38.条項1-37のうち１つ以上に記載の方法を実施するように構成されたプロセッサを含む、ビデオ復号化装置。
39.条項1-37のうち１つ以上に記載の方法を実装するように構成されたプロセッサを含む、ビデオ符号化装置。
40.コンピュータコードが保管されたコンピュータプログラム製品であって、プロセッサによって実行されると、プロセッサに、条項1-37のいずれかに記載の方法を実行させる。
41.本文書に記載された方法、装置、またはシステム。
条項の第２セットは、以前のセクションで開示された技術に係る所定の特徴および態様を記載する。例えば、実施例1-7である。
1.ビデオを処理するための方法であって、ビデオの現在ピクチャの現在ビデオブロックと前記ビデオのコード化表現との間の変換について、前記変換に使用される参照ピクチャのタイプに基づいて、前記現在ビデオブロックに対するコーディングツールの適用性を決定するステップと、前記決定に基づいて前記変換を実行するステップと、を含み、前記参照ピクチャのタイプは、少なくとも、１）前記参照ピクチャが短期参照ピクチャであるか、または、長期参照ピクチャであるか、２）前記参照ピクチャまたは前記現在ピクチャの解像度、もしくは、３）前記現在ピクチャに対する前記参照ピクチャのピクチャオーダカウント（POC）距離に基づいている、方法。
2.前記決定するステップは、前記参照ピクチャのうち少なくとも２つが異なるタイプであるために、前記現在ビデオブロックとの使用について前記コーディングツールがディセーブルされることを決定するステップ、を含む、条項1に記載の方法。
3.前記決定するステップは、前記参照ピクチャのうち１つ又は全てが所与のタイプであるために、前記現在ビデオブロックとの使用について前記コーディングツールがディセーブルされることを決定するステップ、を含む、条項1に記載の方法。
4.前記所与のタイプは、参照ピクチャが長期参照ピクチャであることを示す、条項3に記載の方法。
5.前記参照ピクチャのうち１つ又は全てのそれぞれが、適応解像度ピクチャ（ARP）に対応する前記所与のタイプであり、前記参照ピクチャのうち１つ又は全てのそれぞれが、前記現在ピクチャの解像度とは異なる解像度を有する、条項3に記載の方法。
6.前記コーディングツールは、所与のタイプの１つ以上の参照ピクチャを伴う使用のためにのみ適用される、条項1に記載の方法。
7.前記コーディングツールは、所与のタイプではない１つ以上の参照ピクチャを伴う使用のためには適用されない、条項1に記載の方法。
8.前記所与のタイプは、参照ピクチャが短期参照ピクチャであることを示す、条項6または7に記載の方法。
9.前記所与のタイプを有する前記１つ以上の参照ピクチャは、適応解像度ピクチャ（ARP）に対応せず、かつ、前記所与のタイプを有する前記１つ以上の参照ピクチャは、前記現在ピクチャの解像度と同じ解像度を有する、条項6または7に記載の方法。
10.前記所与のタイプを有する前記１つ以上の参照ピクチャは、前記現在ピクチャに対して同じピクチャオーダカウント（POC）距離を有する、条項6または7に記載の方法。
11.前記決定するステップは、前記参照ピクチャの全てが長期参照ピクチャであるため、前記現在ピクチャに対する前記参照ピクチャそれぞれのピクチャオーダカウント（POC）距離をチェックすることを省略するステップ、を含む、条項1に記載の方法。
12.前記決定するステップは、前記参照ピクチャのうち少なくとも２つが同じタイプであるため、前記現在ビデオブロックと共に使用するための前記コーディングツールの有効化に関する決定を行うステップ、を含む、条項1に記載の方法。
13.前記参照ピクチャのうち少なくとも２つのそれぞれが、前記現在ピクチャに対して同じピクチャ順序カウント（POC）距離を有する、条項12に記載の方法。
14.前記決定するステップは、前記参照ピクチャの一部または全部が所与のタイプであるに起因して、前記現在ビデオブロックとの使用について前記コーディングツールをイネーブルすることに関する決定を行うステップ、を含む、条項1に記載の方法。
15.前記決定するステップは、前記参照ピクチャのいずれも所与のタイプではないことに起因して、前記現在ビデオブロックとの使用について前記コーディングツールがディセーブルされることを決定するステップ、を含む、条項1に記載の方法。
16.前記決定するステップは、前記参照ピクチャのいくつかが別の所与のタイプのものであることに起因して、前記現在ビデオブロックとの使用について前記コーディングツールがディセーブルされることを決定するステップ、を含む、条項14に記載の方法。
17.前記コーディングツールは、双方向オプティカルフローコーディングツール(BDOF)に対応しており、１つ以上の初期予測が、オプティカルフロー計算に基づいて精緻化される、条項1-16のいずれかに記載の方法。
18.前記コーディングツールは、デコーダ側の動きベクトル精緻化(DMVR)に対応しており、予測ブロックを使用することにより、前記現在ビデオブロックの動き情報が精緻化される、条項1-16のいずれかに記載の方法。
19.前記コーディングツールは、オプティカルフローによる予測精緻化(PROF)に対応しており、オプティカルフロー計算に基づいて、１つ以上の初期予測が精緻化される、条項1-16のいずれかに記載の方法。
20.前記コード化表現は、予測精緻化利用フラグ(cbProfflagLX)を含み、RprConstraintsActive[X][refIdxLX]が１に等しく、Xが０または１である場合に、偽として設定される、条項19に記載の方法。
21.前記コーディングツールは、動きベクトル差によるマージモード(MMVD)ツール、アフィンコーディングツール、結合インター－イントラ予測（CIIP）ツール、適応動きベクトル解像度(AMVR)ツール、三角形パーティションモード（TPM）ツール、空間動きベクトル差(SMVD)、切り替え可能補間フィルタリングツール、CUレベルの重み付けによる双予測（BCW)ツール、または、デコーダ側動きベクトル導出（DMVD）ツールに対応している、条項1-16のいずれかに記載の方法。
22.前記コーディングツールは、前記現在ビデオブロックのコード化情報に基づいて、前記現在ビデオブロックの動き情報または予測信号を精緻化するコーディングツールに対応している、条項1-16のいずれかに記載の方法。
23.前記決定するステップは、前記参照ピクチャのうち２つのタイプが相互に異なることに起因して、前記現在ビデオブロックとの使用について前記コーディングツールがディセーブルされることを決定するステップ、を含む、条項17-22のいずれかに記載の方法。
24.前記決定するステップは、前記参照ピクチャの全てが所与のタイプであることに起因して、前記現在ビデオブロックとの使用について前記コーディングツールをイネーブルすることに関する決定を行うステップ、を含む、条項17-22のいずれかに記載の方法。
25.双方向予測ブロック及び／又は単方向予測ブロックに対して、制限が適用される、条項23または24に記載の方法。
26.前記コーディングツールが適用されるか否かの表示は、前記コーディングツールがディセーブルされている場合に、信号化されない、条項17または18に記載の方法。
27.前記コーディングツールが適用されているか否かの表示は、前記コーディングツールがディセーブルされている場合に、偽として信号化される、条項17または18に記載の方法。
28.参照ピクチャのタイプは、さらに、参照ピクチャの時間層に依存する、条項1-27のいずれかに記載の方法。
29.参照ピクチャのタイプは、さらに、所定のコーディングツールが参照ピクチャに適用されるか否かに依存する、条項1-27のいずれかに記載の方法。
30.ビデオを処理するための方法であって、ビデオの現在ビデオブロックと前記ビデオのコード化表現との間の変換について、前記変換に使用される参照ピクチャのタイプに基づいて、現在ビデオブロックに対する双方向光学フロー（BDOF）コーディングツールまたはデコーダ側の動きベクトル精緻化（DMVR）ツールの適用性を決定するステップと、前記決定に基づいて前記変換を実行するステップと、を含み、前記BDOFコーディングツールを使用して、１つ以上の初期予測がオプティカルフロー計算に基づいて精緻化され、前記DMVRコーディングツールを使用して、前記現在ビデオブロックの動き情報が前記現在ビデオブロックの予測ブロックを用いて精緻化され、かつ、前記参照ピクチャのタイプは、少なくとも、１）前記参照ピクチャが短期参照ピクチャであるか、または、長期参照ピクチャであるか、２）前記参照ピクチャまたは現在ピクチャの解像度、もしくは、３）前記現在ピクチャに対する前記参照ピクチャのピクチャオーダカウント（POC）距離に基づいている、方法。
31.前記決定するステップは、前記参照ピクチャの全てが所与のタイプであることに起因して、前記現在ビデオブロックとの使用について前記コーディングツールをイネーブルすることに関する決定を行うステップ、を含む、条項30に記載の方法。
32.前記決定するステップは、前記参照ピクチャのうち少なくとも１つが所与のタイプでないことに起因して、前記現在ビデオブロックとの使用について前記コーディングツールがディセーブルされることを決定するステップ、を含む、条項30に記載の方法。
33.前記所与のタイプは、参照ピクチャが短期参照ピクチャであることを示す、条項31または32に記載の方法。
34.前記所与のタイプである参照ピクチャは、適応解像度ピクチャ(ARP)に対応しておらず、かつ、前記現在ビデオブロックを含む現在ピクチャの解像度と同じ解像度を有する、条項31または32に記載の方法。
35.前記所与のタイプである参照ピクチャは、前記現在ビデオブロックを含む現在ピクチャに対して同じピクチャオーダカウント（POC）距離を有する、条項31または32に記載の方法。
36.前記決定するステップは、前記参照ピクチャのうち２つのタイプが相互に異なることに起因して、前記現在ビデオブロックとの使用について前記コーディングツールがディセーブルされることを決定するステップ、を含む、条項30に記載の方法。
37.前記参照ピクチャの全てが所与のタイプを有し、かつ、前記決定するステップは、前記現在ピクチャに対する前記参照ピクチャそれぞれのピクチャオーダカウント（POC）距離のチェックを省略するステップ、を含む、条項30に記載の方法。
38.前記所与のタイプは、参照ピクチャが長期参照ピクチャであることを示す、条項37に記載の方法。
39.参照ピクチャのタイプは、さらに、参照ピクチャの時間層に依存する、条項30-38のいずれかに記載の方法。
40.前記参照ピクチャのタイプは、さらに、所定のコーディングツールが前記参照ピクチャに適用されるか否かに依存する、条項30-38のいずれかに記載の方法。
41.ビデオ処理の方法であって、マージモード動きベクトル差(MMVD)コーディングを使用して、ビデオの現在ピクチャの現在ビデオブロックと前記現在ビデオブロックのコード化表現との間の変換を実行するステップであり、マージ候補が、ベースマージ候補として使用され、かつ、動きベクトル差(MVD)情報を用いて、前記MVD情報をスケール化することなく、精緻化されるように選択される、ステップを含み、前記ベースマージ候補は、双方向動きベクトルであり、かつ、一方の予測方向に係るMVDは、前記コード化表現に含まれるMVDと等しく設定され、かつ、他方の予測方向に係る別のMVDは、前記ビデオのコード化条件に基づいて、前記コード化表現に含まれるMVDと等しく、または、反対に設定される、方法。
42.前記コード化条件は、前記ベースマージ候補によって識別される参照ピクチャのピクチャオーダカウント（POC）と、前記現在ピクチャのPOCとの間の比較を含む、条項41に記載の方法。
43.前記参照ピクチャの両方が、前記現在ピクチャよりも大きい、または、小さいPOCを有し、前記他方の予測方向に係る動きベクトル差が、前記コード化表現に含まれる前記MVDと等しく設定される、条項42に記載の方法。
44.前記参照ピクチャの一方は前記現在ピクチャよりも大きなPOCを有し、かつ、前記参照ピクチャの他方は前記現在ピクチャよりも小さなPOCを有し、他方の予測方向に係る動きベクトル差が、前記コード化表現に含まれる前記MVDとは反対に設定される、 条項42に記載の方法。
45.ビデオ処理の方法であって、マージモード動きベクトル差(MMVD)コーディングを使用して、ビデオの現在ピクチャの現在ビデオブロックと前記現在ビデオブロックのコード化表現との間の変換を実行するステップであり、マージ候補が、ベースマージ候補として使用され、かつ、動きベクトル差(MVD)情報を用いて、精緻化されるように選択される、ステップを含み、前記コード化表現は、第１予測方向に対する第１MVD値が前記コード化表現に含まれることを指定する規則に適合している、方法。
46.前記ベースマージ候補は、双方向動きベクトルであり、かつ、第２予測方向に対する第２MVD値は、前記第１MVD値から導出される、条項45に記載の方法。
47.前記ベースマージ候補は、単方向動きベクトルであり、かつ、前記第１予測方向は、前記ベースマージ候補の予測方向に等しく設定される、条項45に記載の方法。
48.前記ベースマージ候補は、双方向動きベクトルであり、かつ、前記第１予測方向は、０または１に等しいインデックスで設定される、条項45に記載の方法。
49.前記第２MVDは、前記ベースマージ候補によって識別される参照ピクチャのタイプに基づいて導出される、条項46に記載の方法。
50.前記参照ピクチャのタイプは、長期参照ピクチャに対応する第１タイプ、または、短期参照ピクチャに対応する第２タイプを含む、条項49に記載の方法。
51.両方の参照ピクチャが前記第２タイプであり、かつ、前記第２MVD値は、前記参照ピクチャと前記現在ピクチャとの間のPOC距離に基づいて前記第１MVDをスケール化することによって導出される、条項50に記載の方法。
52.両方の参照ピクチャが、現在ピクチャのPOC距離よりも大きい、または、小さいPOC距離であり、前記第２MVDは、前記第１MVDに等しく設定されている、条項49に記載の方法。
53.前記参照ピクチャの少なくとも１つは、前記第２タイプではない、条項52に記載の方法。
54.前記参照ピクチャの一方は、前記現在ピクチャのPOC距離よりも大きいPOC距離を有し、かつ、前記参照ピクチャの他方は、前記現在ピクチャのPOC距離よりも小さいPOC距離を有し、前記第２MVDは、前記第１MVDとは反対に設定されている、条項49に記載の方法。
55.前記参照ピクチャの少なくとも1つは、前記第２タイプではない、条項54に記載の方法。
56.前記変換は、前記現在ビデオブロックを前記コード化表現へエンコーディングすること、または、前記現在ビデオブロックを生成するために前記コード化表現をデコーディングすること、を含む、条項1-55のいずれかに記載の方法。
57.ビデオシステムにおける装置であって、プロセッサと、命令を有する非一時メモリと、を備え、前記プロセッサによって前記命令が実行されると、条項1-56のいずれかに記載の方法を前記プロセッサに実行させる、
装置。
58.非一時的コンピュータ読取り可能媒体に保管されたコンピュータプログラム製品であって、条項1-56のいずれかに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
ここにおいて記載され、開示されるソリューション、実施例、実施形態、モジュール、および機能動作は、デジタル電子回路、または、ここにおいて開示される構造およびそれらの構造的等価物を含むコンピュータソフトウェア、ファームウェア、またはハードウェア、または、それらの１つ以上の組み合わせで実現することができる。開示される実施形態および他の実施形態は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のため、またはデータ処理装置の動作を制御するために、コンピュータで読取り可能な媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装することができる。コンピュータで読取り可能な媒体は、機械読取り可能な記憶装置、機械読取り可能な記憶基板、メモリ装置、機械読取り可能な伝搬信号に影響を与える事項の組成、または、１つ以上のそれらの組み合わせであり得る。用語「データ処理装置（“data processing apparatus”）」は、例えば、プログラマブルプロセッサ、コンピュータ、または、複数のプロセッサまたはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、または、それらの１つ以上の組み合わせを構成するコードを含むことができる。伝搬される信号は、人工的に生成された信号、例えば、適切なレシーバ装置に送信するための情報を符号化するために生成される機械生成（machine-generated）電気信号、光学信号、または電磁信号である。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られるもの)は、コンパイルまたはインタープリートされた言語を含む、任意の形態のプログラミング言語で書くことができ、それは、スタンドアロンプログラムとして、またはコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、または他のユニットとしてを含む、任意の形態で展開することができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するものではない。プログラムは、他のプログラムまたはデータを保持するファイルの一部分(例えば、マークアップ言語文書において保管される１つ以上のスクリプト)、問題のプログラム専用の単一ファイル、または複数の協調ファイル(例えば、１つ以上のモジュール、サブプログラム、またはコードの一部分を保管するファイル)に保管することができる。コンピュータプログラムは、１つのコンピュータまたは１つのサイトに配置されるか、または、複数のサイトに分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるように展開することができる。
本文書で説明されるプロセスおよび論理フローは、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行され、入力データを操作し、出力を生成することによって機能を実行することができる。プロセスおよび論理フローは、また、フィールドプログラマブルゲートアレイ（FPGA)または特定用途向け集積回路（ASIC)のような特殊目的論理回路によって実行することができ、そして、装置も実行することができる。
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、および、任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリ、もしくは、その両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令およびデータを保管するための１つ以上のメモリデバイスである。一般的に、コンピュータは、また、データを保管するための１つ以上の大容量ストレージ装置、例えば、磁気ディスク、磁気光ディスク、または光ディスクを含み、データを受信したり、データを転送したりするために動作可能に結合される。しかし、コンピュータは、そのような装置を有する必要はない。コンピュータプログラム命令およびデータを保管するのに適したコンピュータで読取り可能な媒体は、例えば、EPROM、EEPROM、およびフラッシュメモリデバイスなどの半導体メモリデバイス、磁気ディスク、例えば、内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、並びに、CD-ROMおよびDVD-ROMディスクを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路によって補足されるか、または内蔵され得る。
この特許文書には多くの詳細が含まれているが、これらは、いずれかの技術的事項（subject matter）の範囲または特許請求され得るものを限定するものではなく、むしろ、特定の技術の特定の実施形態に特有の特徴の説明として解釈されるべきである。別々の実施形態のコンテキストにおいて、この特許文書に記載されている特定の特徴は、単一の実施形態で組み合わせて実施することもできる。逆に、単一の実施形態のコンテキストにおいて説明される種々の特徴は、複数の実施形態において別々に、または任意の適切なサブコンビネーションで実施することもできる。さらに、特徴は、特定の組み合わせにおいて作用するものとして上述され、最初にそのようにクレームされてもよいが、クレームされた組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから切り出すことができ、クレームされた組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてよい。
同様に、図面には特定の順序で動作が示されているが、これは、所望の結果を達成するために、このような動作を特定の順序で、または順番に実行すること、または、例示された全ての動作を実行することを要求するものとして理解されるべきではない。さらに、この特許文書に記載されている実施形態における種々のシステム構成要素の分離は、全ての実施形態においてこのような分離を必要とするものとして理解されるべきではない。
少数の実施形態および実施例のみが記述されているが、この特許文書に記載され、説明されている内容に基づいて、他の実施形態、拡張、およびバリエーションが行われ得る。

Claims (16)

  1. ビデオデータを処理する方法であって、
    ビデオの第１ピクチャの第１ビデオブロックと前記ビデオのビットストリームとの間の第１変換について、前記第１変換のために使用される第１参照ピクチャのタイプに基づいて、第１コーディングツールの前記第１ビデオブロックへの適用性を決定するステップであり、
    前記第１コーディングツールは、前記第１ビデオブロックの参照ブロック内のサンプルに対応する少なくとも１つの勾配値に基づいて、動きベクトルを精緻化するため、または、信号化された動きベクトルに対してオフセットを有する少なくとも１つの動きベクトルに基づいて、前記信号化された動きベクトルを精緻化するために使用され、かつ、前記第１参照ピクチャのタイプは、少なくとも、前記第１参照ピクチャが短期参照ピクチャであるか否かに基づいている、
    ステップと、
    前記決定に基づいて、前記第１変換を実行するステップと、
    前記ビデオの第２ピクチャのアフィンブロックである第２ビデオブロックと、前記ビデオの前記ビットストリームとの間の第２変換について、前記第２変換のために使用される少なくとも１つの第２参照ピクチャが適応解像度ピクチャであるか否かに基づいて、第２コーディングツールの前記第２ビデオブロックへの適用性を決定するステップと、
    前記決定に基づいて、前記第２変換を実行するステップと、を含み、
    前記第２コーディングツールは、
    前記第２ビデオブロックのサブブロックの初期予測サンプルを生成すること、および、
    予測精緻化を得ることによって、前記サブブロックについて最終的な予測サンプルを生成するように、オプティカルフロー操作を適用すること、
    を含む、
    方法。
  2. 前記第１参照ピクチャのタイプは、さらに、前記第１参照ピクチャの解像度が前記第１ピクチャの解像度と異なるか否かに基づいている、
    請求項１に記載の方法。
  3. 前記第１参照ピクチャのタイプは、さらに、前記第１ピクチャに対する前記第１参照ピクチャのピクチャオーダカウント距離に基づいている、
    請求項１または２に記載の方法。
  4. 前記第１コーディングツールの適用性を決定するステップは、
    前記第１参照ピクチャのうち少なくとも２つが異なるタイプのものであるせいで、前記第１ビデオブロックを伴う使用について前記第１コーディングツールがディセーブルされることを決定するステップ、
    を含む、請求項１乃至３いずれか一項に記載の方法。
  5. 前記第１コーディングツールの適用性を決定するステップは、
    前記第１参照ピクチャの１つ又は全てが短期参照ピクチャでない場合に、前記第１ビデオブロックを伴う使用について前記第１コーディングツールがディセーブルされることを決定するステップ、
    を含む、請求項１乃至４いずれか一項に記載の方法。
  6. 前記第１コーディングツールの適用性を決定するステップは、
    前記第１参照ピクチャの１つ又は全てが適応解像度ピクチャであり、前記第１参照ピクチャの１つ又は全てが前記第１ピクチャの解像度と異なる解像度を有する場合に、前記第１ビデオブロックを伴う使用について前記第１コーディングツールがディセーブルされることを決定するステップ、
    を含む、請求項１乃至５いずれか一項に記載の方法。
  7. 前記第１コーディングツールの適用性を決定するステップは、
    短期参照ピクチャである前記第１参照ピクチャそれぞれに基づいて、前記第１ビデオブロックを伴う使用について前記第１コーディングツールがイネーブルされることを決定するステップ、
    を含む、請求項１乃至６いずれか一項に記載の方法。
  8. 前記第１コーディングツールの適用性を決定するステップは、
    前記第１参照ピクチャのいずれもが適応解像度ピクチャではないことに基づいて、前記第１ビデオブロックを伴う使用について前記第１コーディングツールがイネーブルされることを決定するステップ、を含み、
    前記第１参照ピクチャそれぞれは、前記第１ピクチャの解像度と同じ解像度を有する、
    請求項１乃至７いずれか一項に記載の方法。
  9. 前記第１コーディングツールの適用性を決定するステップは、
    前記第１参照ピクチャが前記第１ピクチャに対して同じ絶対ピクチャオーダカウント(POC)距離を有していることに基づいて、前記第１ビデオブロックを伴う使用について前記第１コーディングツールがイネーブルされることを決定するステップ、
    を含む、請求項１乃至８いずれか一項に記載の方法。
  10. 第２コーディングツールの適用性を決定するステップは、
    前記少なくとも１つの第２参照ピクチャのうち１つ又は全てが適応解像度ピクチャ(ARP)である場合に、前記第２ビデオブロックを伴う使用について前記第２コーディングツールがディセーブルされることを決定するステップを含み、
    前記少なくとも１つの第２参照ピクチャのうち１つ又は全てが前記第２ピクチャの解像度と異なる解像度を有する、
    請求項１に記載の方法。
  11. 第２コーディングツールの適用性を決定するステップは、
    前記少なくとも１つの第２参照ピクチャのいずれもが適応解像度ピクチャ(ARP)ではないことに基づいて、前記第２ビデオブロックを伴う使用について前記第２コーディングツールがイネーブルされることを決定するステップを含み、かつ、
    前記少なくとも１つの第２参照ピクチャそれぞれは、前記第２ピクチャの解像度と同じ解像度を有する、
    請求項１に記載の方法。
  12. 前記第１変換は、前記第１ビデオブロックを前記ビットストリームへとエンコーディングすること、を含む、
    請求項１乃至１１いずれか一項に記載の方法。
  13. 前記第１変換は、前記ビットストリームから前記第１ビデオブロックをデコーディングすること、を含む、
    請求項１乃至１１いずれか一項に記載の方法。
  14. ビデオデータを処理するための装置であって、プロセッサと、命令を有する非一時メモリとを備え、前記プロセッサによって実行されると、前記命令は、前記プロセッサに、
    ビデオの第１ピクチャの第１ビデオブロックと前記ビデオのビットストリームとの間の第１変換について、前記第１変換のために使用される第１参照ピクチャのタイプに基づいて、第１コーディングツールの前記第１ビデオブロックへの適用性を決定し、
    前記第１コーディングツールは、前記第１ビデオブロックの参照ブロック内のサンプルに対応する少なくとも１つの勾配値に基づいて、動きベクトルを精緻化するため、または、信号化された動きベクトルに対してオフセットを有する少なくとも１つの動きベクトルに基づいて、前記信号化された動きベクトルを精緻化するために使用され、かつ、前記第１参照ピクチャのタイプは、少なくとも、前記第１参照ピクチャが短期参照ピクチャであるか否かに基づいており、
    前記決定に基づいて、前記第１変換を実行し、
    前記ビデオの第２ピクチャのアフィンブロックである第２ビデオブロックと、前記ビデオの前記ビットストリームとの間の第２変換について、前記第２変換のために使用される少なくとも１つの第２参照ピクチャが適応解像度ピクチャであるか否かに基づいて、第２コーディングツールの前記第２ビデオブロックへの適用性を決定し、
    前記決定に基づいて、前記第２変換を実行する、
    ようにさせ、
    前記第２コーディングツールは、
    前記第２ビデオブロックのサブブロックの初期予測サンプルを生成すること、および、
    予測精緻化を得ることによって、前記サブブロックについて最終的な予測サンプルを生成するように、オプティカルフロー操作を適用すること、
    を含む、
    装置。
  15. 命令を保管している非一時的コンピュータ読取り可能記憶媒体であって、前記命令は、プロセッサに、
    ビデオの第１ピクチャの第１ビデオブロックと前記ビデオのビットストリームとの間の第１変換について、前記第１変換のために使用される第１参照ピクチャのタイプに基づいて、第１コーディングツールの前記第１ビデオブロックへの適用性を決定し、
    前記第１コーディングツールは、前記第１ビデオブロックの参照ブロック内のサンプルに対応する少なくとも１つの勾配値に基づいて、動きベクトルを精緻化するため、または、信号化された動きベクトルに対してオフセットを有する少なくとも１つの動きベクトルに基づいて、前記信号化された動きベクトルを精緻化するために使用され、かつ、前記第１参照ピクチャのタイプは、少なくとも、前記第１参照ピクチャが短期参照ピクチャであるか否かに基づいており、
    前記決定に基づいて、前記第１変換を実行し、
    前記ビデオの第２ピクチャのアフィンブロックである第２ビデオブロックと、前記ビデオの前記ビットストリームとの間の第２変換について、前記第２変換のために使用される少なくとも１つの第２参照ピクチャが適応解像度ピクチャであるか否かに基づいて、第２コーディングツールの前記第２ビデオブロックへの適用性を決定し、
    前記決定に基づいて、前記第２変換を実行する、
    ようにさせ、
    前記第２コーディングツールは、
    前記第２ビデオブロックのサブブロックの初期予測サンプルを生成すること、および、
    予測精緻化を得ることによって、前記サブブロックについて最終的な予測サンプルを生成するように、オプティカルフロー操作を適用すること、
    を含む、
    非一時的コンピュータ読取り可能記憶媒体。
  16. ビデオのビットストリームを保管するための方法であって、
    前記方法は、
    ビデオの第１ピクチャの第１ビデオブロックについて、前記第１ビデオブロックに使用される第１参照ピクチャのタイプに基づいて、第１コーディングツールの前記第１ビデオブロックへの適用性を決定するステップであり、
    前記第１コーディングツールは、前記第１ビデオブロックの参照ブロック内のサンプルに対応する少なくとも１つの勾配値に基づいて、動きベクトルを精密化するため、または、信号化された動きベクトルに対してオフセットを有する少なくとも１つの動きベクトルに基づいて、前記信号化された動きベクトルを精密化するために使用され、かつ、前記第１参照ピクチャのタイプは、少なくとも、前記第１参照ピクチャが短期参照ピクチャであるか否かに基づいている、
    ステップと、
    前記決定に基づいて、前記ビットストリームを生成するステップと、
    前記ビデオの第２ピクチャのアフィンブロックである第２ビデオブロックと、前記ビデオの前記ビットストリームとの間の第２変換について、前記第２変換のために使用される少なくとも１つの第２参照ピクチャが適応解像度ピクチャであるか否かに基づいて、第２コーディングツールの前記第２ビデオブロックへの適用性を決定するステップと、
    前記決定に基づいて、前記第２変換を実行するステップと、を含み、
    前記第２コーディングツールは、
    前記第２ビデオブロックのサブブロックの初期予測サンプルを生成すること、および、
    予測精緻化を得ることによって、前記サブブロックについて最終的な予測サンプルを生成するように、オプティカルフロー操作を適用すること、
    を含む、
    方法。
JP2022503412A 2019-07-27 2020-07-24 参照ピクチャタイプに従ったツールの使用制限 Active JP7322277B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023121183A JP2023153885A (ja) 2019-07-27 2023-07-26 参照ピクチャタイプに従ったツールの使用制限

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019098068 2019-07-27
CNPCT/CN2019/098068 2019-07-27
PCT/CN2020/104087 WO2021018031A1 (en) 2019-07-27 2020-07-24 Restrictions of usage of tools according to reference picture types

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023121183A Division JP2023153885A (ja) 2019-07-27 2023-07-26 参照ピクチャタイプに従ったツールの使用制限

Publications (2)

Publication Number Publication Date
JP2022540942A JP2022540942A (ja) 2022-09-20
JP7322277B2 true JP7322277B2 (ja) 2023-08-07

Family

ID=74229466

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022503412A Active JP7322277B2 (ja) 2019-07-27 2020-07-24 参照ピクチャタイプに従ったツールの使用制限
JP2023121183A Pending JP2023153885A (ja) 2019-07-27 2023-07-26 参照ピクチャタイプに従ったツールの使用制限

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023121183A Pending JP2023153885A (ja) 2019-07-27 2023-07-26 参照ピクチャタイプに従ったツールの使用制限

Country Status (6)

Country Link
US (3) US11323698B2 (ja)
EP (1) EP3984227A4 (ja)
JP (2) JP7322277B2 (ja)
KR (1) KR20220038060A (ja)
CN (2) CN117560490A (ja)
WO (1) WO2021018031A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220038060A (ko) 2019-07-27 2022-03-25 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 참조 픽처 유형들에 따른 툴들의 사용의 제한들
WO2023191404A1 (ko) * 2022-03-27 2023-10-05 엘지전자 주식회사 적응적 mts에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
JP2024002460A (ja) * 2022-06-24 2024-01-11 シャープ株式会社 動画像復号装置および動画像符号化装置
WO2024086568A1 (en) * 2022-10-17 2024-04-25 Bytedance Inc. Method, apparatus, and medium for video processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018175720A1 (en) 2017-03-22 2018-09-27 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008181B2 (en) * 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US20130070855A1 (en) 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
US9525861B2 (en) 2012-03-14 2016-12-20 Qualcomm Incorporated Disparity vector prediction in video coding
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) * 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
US9479776B2 (en) * 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
US9674542B2 (en) * 2013-01-02 2017-06-06 Qualcomm Incorporated Motion vector prediction for video coding
WO2014166119A1 (en) 2013-04-12 2014-10-16 Mediatek Inc. Stereo compatibility high level syntax
WO2015006967A1 (en) 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Simplified view synthesis prediction for 3d video coding
EP3025498B1 (en) 2013-08-13 2019-01-16 HFI Innovation Inc. Method of deriving default disparity vector in 3d and multiview video coding
WO2015057124A1 (en) * 2013-10-14 2015-04-23 Telefonaktiebolaget L M Ericsson (Publ) Picture order count alignment in scalble video
US20150160390A1 (en) 2013-12-10 2015-06-11 Apple Inc. Display Having Polarizer with Unpolarized Strip
WO2015100710A1 (en) 2014-01-02 2015-07-09 Mediatek Singapore Pte. Ltd. Existence of inter-view reference picture and availability of 3dvc coding tools
US10158884B2 (en) 2014-03-19 2018-12-18 Qualcomm Incorporated Simplified merge list construction process for 3D-HEVC
EP3544298A1 (en) 2014-09-12 2019-09-25 Vid Scale, Inc. Inter-component de-correlation for video coding
US10924743B2 (en) 2015-02-06 2021-02-16 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
US10958927B2 (en) * 2015-03-27 2021-03-23 Qualcomm Incorporated Motion information derivation mode determination in video coding
CN108293131B (zh) 2015-11-20 2021-08-31 联发科技股份有限公司 基于优先级运动矢量预测子推导的方法及装置
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
US10542280B2 (en) 2017-01-09 2020-01-21 QUALCOMM Incorpated Encoding optimization with illumination compensation and integer motion vector restriction
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10491917B2 (en) * 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
US11265551B2 (en) 2018-01-18 2022-03-01 Qualcomm Incorporated Decoder-side motion vector derivation
EP3780608A4 (en) * 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
WO2019234578A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Asymmetric weighted bi-predictive merges
CN116647697A (zh) 2018-09-23 2023-08-25 北京字节跳动网络技术有限公司 具有自适应运动矢量分辨率的运动矢量精度指示的信令通知
TW202029755A (zh) 2018-09-26 2020-08-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼雙預測
WO2020084461A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
WO2020084462A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on block size
WO2020084502A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Video processing using local illumination compensation
CN117241017A (zh) 2018-11-05 2023-12-15 北京字节跳动网络技术有限公司 数字视频编解码的方法、设备和系统
JP7354241B2 (ja) 2018-11-07 2023-10-02 華為技術有限公司 ビデオエンコーダ、ビデオデコーダ、及び対応する方法
CN113170192B (zh) 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
WO2020098810A1 (en) 2018-11-17 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Merge with motion vector difference in video processing
CN117915083A (zh) 2018-11-29 2024-04-19 北京字节跳动网络技术有限公司 块内拷贝模式和帧间预测工具之间的交互
CN116915983B (zh) * 2019-02-20 2024-04-16 北京达佳互联信息技术有限公司 用于视频解码的方法、计算设备、存储介质和程序产品
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
WO2020228671A1 (en) 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Multiple secondary transform matrices for video processing
KR20220038060A (ko) 2019-07-27 2022-03-25 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 참조 픽처 유형들에 따른 툴들의 사용의 제한들
US20210092404A1 (en) * 2019-09-20 2021-03-25 Qualcomm Incorporated Reference picture constraint for decoder side motion refinement and bi-directional optical flow

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018175720A1 (en) 2017-03-22 2018-09-27 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Hongbin Liu, et al.，CE9-related: Disabling DMVR and BDOF when underlying assumptions are false，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0440_r1，14th Meeting: Geneva, CH，2019年03月，pp.1-4
Jiancong (Daniel) Luo, and Yuwen He，CE2-related: Prediction refinement with optical flow for affine mode，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0236-r1，14th Meeting: Geneva, CH，2019年03月，pp.1-7
Tsui-Shan Chang, et al.，AHG8: Support for reference picture resampling - handling of resampling, TMVP, DMVR, and BDOF，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-O0134-v2，15th Meeting: Gothernburg, SE，2019年06月，pp.1-4
Weiran Li, and Xiaozhen Zheng，CE11: Results on composite reference picture (test 11.1.1, 11.1.2, 11.1.3, 11.1.4, 11.2.1 and 11.2.2)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0156-v2，11th Meeting: Ljubljana, SI，2018年07月，pp.1-10

Also Published As

Publication number Publication date
WO2021018031A1 (en) 2021-02-04
JP2022540942A (ja) 2022-09-20
EP3984227A4 (en) 2022-08-17
CN114175655A (zh) 2022-03-11
KR20220038060A (ko) 2022-03-25
CN117560490A (zh) 2024-02-13
US20220109827A1 (en) 2022-04-07
JP2023153885A (ja) 2023-10-18
US11589039B2 (en) 2023-02-21
US20220217334A1 (en) 2022-07-07
US11323698B2 (en) 2022-05-03
EP3984227A1 (en) 2022-04-20
CN114175655B (zh) 2024-01-02
US20230239465A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
US11632566B2 (en) Inter prediction with refinement in video processing
JP7307192B2 (ja) デコーダ側の動きベクトルの導出
US11876932B2 (en) Size selective application of decoder side refining tools
WO2020187199A1 (en) Calculation of prediction refinement based on optical flow
JP7322277B2 (ja) 参照ピクチャタイプに従ったツールの使用制限
WO2020211755A1 (en) Motion vector and prediction sample refinement
WO2020224613A1 (en) Unified calculation method for inter prediction with refinement

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230726

R150 Certificate of patent or registration of utility model

Ref document number: 7322277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150