JP2025517841A - ビデオ符号化及び復号のための方法及びコンピュータプログラム - Google Patents

Abstract

本開示の態様は、ビデオ符号化／復号のための方法及び装置を提供する。装置は：コーディングされたビデオビットストリームから、現在のピクチャにおける現在のコーディングブロックの予測情報を受け取ることであって、予測情報は、現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされることを示すことと；複数の変位ベクトル（ＤＶ）オフセットを現在のコーディングブロックの固定ＤＶ予測器に適用することによって、複数のＤＶ候補を導出することと；現在のコーディングブロックのテンプレートを複数のＤＶ候補の各々と比較することであって、複数のテンプレートの各テンプレートは、複数のＤＶ候補のうちの対応する１つによって指定された位置に配置されることと；比較に基づいて、複数のＤＶ候補の各々１つに関連付けられるコスト値を計算することと；複数のＤＶ候補のＤＶオフセットインデックスを、それらの計算されたコスト値に基づいて並べ替えることのための処理回路を含む。

Description

本出願は、２０２２年５月２６日に出願された「ＳＵＢＢＬＯＣＫ ＢＡＳＥＤ ＭＯＴＩＯＮ ＶＥＣＴＯＲ ＰＲＥＤＩＣＴＯＲ ＤＩＳＰＬＡＣＥＭＥＮＴ ＶＥＣＴＯＲ ＲＥＯＲＤＥＲＩＮＧ ＵＳＩＮＧ ＴＥＭＰＬＡＴＥ ＭＡＴＣＨＩＮＧ」という名称の米国仮出願第６３／３４６，２８３号の優先権を主張する、２０２２年１１月１０日に出願された米国特許出願第１７／９８５１２７号、「ＳＵＢＢＬＯＣＫ ＢＡＳＥＤ ＭＯＴＩＯＮ ＶＥＣＴＯＲ ＰＲＥＤＩＣＴＯＲ ＤＩＳＰＬＡＣＥＭＥＮＴ ＶＥＣＴＯＲ ＲＥＯＲＤＥＲＩＮＧ ＵＳＩＮＧ ＴＥＭＰＬＡＴＥ ＭＡＴＣＨＩＮＧ」に対する優先権の利益を主張する。先の出願の開示は、その全体が参照により本明細書に組み込まれる。

本出願は、一般的にビデオコーディングに関連する態様を説明する。

本明細書で提供される背景説明は、本開示の文脈を一般的に提示するためのものである。現在名前を挙げられている発明者の研究は、その研究がこの背景技術に記載された範囲において、出願時に先行技術として通常見なされ得ない記載の態様とともに、明示的にも暗黙的にも本開示に対する先行技術として認められない。

非圧縮デジタル画像及び／又はビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば１９２０×１０８０の輝度サンプル及び関連するクロミナンスサンプルの空間寸法を有する。一連のピクチャは、例えば毎秒６０ピクチャ又は６０Ｈｚの固定又は可変ピクチャレート（非公式にフレームレートとしても知られる）を有することができる。非圧縮画像及び／又はビデオは、特定のビットレート要件を有する。例えばサンプル当たり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０×１０８０の輝度サンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。このようなビデオの１時間は、６００Ｇバイトを超える記憶領域を必要とする。

画像及び／又はビデオコーディング及び復号の１つの目的は、圧縮を通した、入力画像及び／又はビデオ信号の冗長性の低減である可能性がある。圧縮は、前述の帯域幅及び／又は記憶領域の要件を、場合によっては２桁以上低減するのを助けることができる。ここでの説明は、例示的な例としてビデオ符号化／復号を使用するが、本開示の精神から逸脱することなく、同じ技術を同様の方法で画像符号化／復号に適用することができる。可逆圧縮と非可逆圧縮の両方、並びにそれらの組合せを採用することができる。可逆圧縮は、圧縮された元の信号から元の信号の正確なコピーを再構成することができる技術を指す。非可逆圧縮を使用するとき、再構成信号は、元の信号と同一でない可能性はあるが、元の信号と再構成信号との間の歪みは、再構成信号を、意図されるアプリケーションに有用であるようにするために十分に小さい。ビデオの場合、非可逆圧縮は広く使用される。許容される歪み量はアプリケーションに依存し、例えば特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン分配アプリケーションのユーザよりも高い歪みを許容し得る。達成可能な圧縮比は、より高い許容可能な／容認可能な歪みが、より高い圧縮比をもたらすことができることを反映する可能性がある。

ビデオエンコーダ及びデコーダは、例えば動き補償、変換処理、量子化及びエントロピーコーディングを含む、いくつかの広範なカテゴリからの技術を利用することができる。

ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプル又は他のデータを参照することなく表される。いくつかのビデオコーデックでは、ピクチャはサンプルのブロックに空間的に細分される。イントラモードでサンプルのすべてのブロックがコーディングされるとき、そのピクチャはイントラピクチャとすることができる。独立デコーダリフレッシュピクチャ（independent decoder refresh pictures）のようなイントラピクチャ及びそれらの派生物を使用して、デコーダ状態をリセットすることができ、したがって、コーディングされたビデオビットストリーム及びビデオセッションにおける最初のピクチャとして、あるいは静止画像として使用することができる。イントラブロックのサンプルに、変換を受けさせることができ、変換係数を、エントロピーコーディングの前に量子化することができる。イントラ予測は、事前変換領域（pre-transform domain）におけるサンプル値を最小化する技術であり得る。場合によっては、変換後のＤＣ値がより小さく、ＡＣ係数がより小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要とされるビット数は少ない。

例えばＭＰＥＧ－２世代のコーディング技術で使用される伝統的なイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、データのブロックの符号化及び／又は復号中に取得される、周囲のサンプルデータ及び／又はメタデータに基づいて予測を実行するよう試みる技術を含む。このような技術は、以下では「イントラ予測」技術と呼ばれる。少なくともいくつかの場合には、イントラ予測は、再構成中の現在のピクチャからの参照データのみを使用し、参照ピクチャからのものは使用しないことに留意されたい。

多くの異なる形式のイントラ予測が存在し得る。所与のビデオコーディング技術において、そのような技術のうちの２つ以上を使用することができるとき、使用中の特定の技術を、該特定の技術を使用する特定のイントラ予測モードとしてコーディングすることができる。ある場合には、イントラ予測モードは、サブモード及び／又はパラメータを有することができ、ここで、サブモード及び／又はパラメータを個々にコーディングするか又はモードコードワード（mode codeword）に含めることができ、該モードコードワードは、使用されている予測モードを定義する。どのコードワードを、所与のモード／サブモード及び／又はパラメータの組合せに使用するかは、イントラ予測を通したコーディング効率ゲインに影響を与える可能性があり、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も同様であり得る。

イントラ予測の特定のモードは、Ｈ．２６４で導入され、Ｈ．２６５で精査され、ＪＥＭ（joint exploration model）、ＶＶＣ（versatile video coding）及びベンチマークセット（ＢＭＳ：benchmark set）のようなより新しいコーディング技術で更に精査された。既に利用可能なサンプルの隣接するサンプル値を使用して、予測器ブロック（predictor block）を形成することができる。隣接するサンプルのサンプル値は、方向に従って予測器ブロックにコピーされる。使用中の方向への参照は、ビットストリームでコーディングされることができるか又はそれ自体が予測され得る。

図１Ａを参照すると、右下に示されているのは、Ｈ．２６５で定義される、３３の可能な予測器方向（predictor directions）（３５のイントラモードの３３の角度モードに対応する）からわかる、９つの予測器方向のサブセットである。矢印が収束する点（１０１）は、予測されているサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば矢印（１０２）は、サンプル（１０１）が、１つのサンプル又は複数のサンプルから右上へ、水平から４５度の角度で予測されることを示す。同様に、矢印（１０３）は、サンプル（１０１）が、１つのサンプル又は複数のサンプルからサンプル（１０１）の左下へ、水平から２２．５度の角度で予測されることを示す。

引き続き図１Ａを参照すると、左上には、４×４サンプルの正方形ブロック（１０４）が示されている（破線の太線で示されている）。正方形ブロック（１０４）は、１６個のサンプルを含み、各々「Ｓ」と、Ｙ次元におけるその位置（例えば行インデックス）と、Ｘ次元におけるその位置（例えば列インデックス）とでラベリングされている。例えばサンプルＳ２１は、Ｙ次元の（上から）２番目のサンプル及びＸ次元の（左から）１番目のサンプルである。同様に、サンプルＳ４４は、Ｙ及びＸ次元の両方においてブロック（１０４）の４番目のサンプルである。ブロックのサイズが４×４サンプルであるので、Ｓ４４は右下にある。さらに、同様のナンバリングスキームに従う参照サンプルが示されている。参照サンプルは、ブロック（１０４）に対するＲ、そのＹ位置（例えば行インデックス）及びＸ位置（列インデックス）でラベリングされる。Ｈ．２６４とＨ．２６５の両方において、予測サンプルは再構成中のブロックに隣接し、したがって、負の値は使用される必要がない。

イントラピクチャ予測は、シグナリングされる予測方向によって示されるように、隣接するサンプルから参照サンプル値をコピーすることによって機能することができる。例えばコーディングされたビデオビットストリームが、このブロックに対して、矢印（１０２）と一致する予測方向を示すシグナリングを含むと仮定する、すなわち、サンプルは、予測サンプルから右上へ、水平から４５度の角度で予測される。この場合、サンプルＳ４１、Ｓ３２、Ｓ２３、Ｓ１４は、同じ参照サンプルＲ０５から予測される。次いで、サンプルＳ４４は、参照サンプルＲ０８から予測される。

ある場合には、特に方向が４５度で均一に割り切れないときは、参照サンプルを計算するために、複数の参照サンプルの値が、例えば補間（interpolation）を通して組み合わされ得る。

ビデオコーディング技術が発展するにつれて、可能な方向の数が増えている。Ｈ．２６４（２００３年）では、９つの異なる方向を表すことができる。これは、Ｈ．２６５（２０１３年）では３３に増加している。現在、ＪＥＭ／ＶＶＣ／ＢＭＳは、最大６５の方向をサポートすることができる。実験は、最も可能性がある方向を識別するために実施され、エントロピーコーディングにおける特定の技術は、それらの最も可能性がある方向を少数のビットで表すために使用され、より可能性が少ない方向に対して特定のペナルティを受け入れる。さらに、時には方向それ自体を、隣接する既に復号されたブロックにおいて使用される隣接方向から予測することができる。

図１Ｂは、ＪＥＭに従う６５のイントラ予測方向を示す概略（１１０）を示しており、経時的な予測方向の数の増加を例示す。

コーディングされたビデオビットストリーム内の、方向を表すイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なる可能性がある。そのようなマッピングは、例えば単純な直接マッピングからコードワードへ、最確モード（most probable mode）を含む複雑な適応スキームへ及び類似の技術に及ぶ可能性がある。しかしながら、ほとんどの場合において、特定の他の方向よりもビデオコンテンツ内において生じる可能性が統計的に低い、特定の方向が存在する可能性がある。ビデオ圧縮の目標は冗長性の低減であるので、それらのより可能性が低い方向は、良好に機能するビデオコーディング技術では、より可能性が高い方向よりも多くのビット数によって表される。

画像及び／又はビデオコーディング及び復号は、動き補償を伴うインターピクチャ予測を使用して実行される可能性ができる。動き補償は、非可逆圧縮技術であり得、以前に再構成されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以下、ＭＶ）によって示される方向に空間的にシフトされた後に、新たに再構成されたピクチャ又はピクチャの一部の予測に使用される技術に関連する可能性がある。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じものとすることができる。ＭＶは、２次元Ｘ及びＹ又は３次元を有することができ、３番目の次元（third）は、使用中の参照ピクチャの指示である（後者は、間接的に、時間次元である可能性がある）。

いくつかのビデオ圧縮技術では、サンプルデータのあるエリアに適用可能なＭＶを、他のＭＶから、例えば再構成中のエリアに空間的に隣接し、かつ復号順序でそのＭＶに先行するサンプルデータの別のエリアに関連するＭＶから、予測することができる。そうすることは、ＭＶをコーディングするために必要とされるデータの量を実質的に減少させることができ、それによって、冗長性を除去して、圧縮を高めることができる。ＭＶ予測は効果的に機能することができる。なぜなら、例えばカメラから導出される入力ビデオ信号（自然ビデオとして知られる）をコーディングする際に、単一のＭＶが適用可能なエリアよりも大きいエリアが、同様の方向に移動するという統計的可能性が存在し、したがって、場合によって、隣接するエリアのＭＶから導出される同様の動きベクトルを用いて予測をすることができるからである。その結果、所与のエリアについて見出されるＭＶは、周囲のＭＶから予測されるＭＶと類似又は同一であり、その後、これは、エントロピーコーディングの後、ＭＶを直接コーディングする場合に使用されるであろうものよりも、より少ない数のビットで表現することができる。場合によって、ＭＶ予測は、元の信号（すなわち、サンプルストリーム）から導出される信号（すなわち、ＭＶ）の可逆圧縮の例であり得る。他の場合には、ＭＶ予測それ自体は、例えばいくつかの周囲のＭＶから予測器を計算する際の丸め誤差のために、非可逆あり得る。

様々なＭＶ予測メカニズムが、Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、２０１６年１２月）において説明されている。Ｈ．２６５が提案する多くのＭＶ予測メカニズムのうち、図２に関連して説明されるのは「空間マージ（spatial merge）」と呼ばれる技術である。

図２を参照すると、現在のブロック（２０１）は、エンコーダによって、動き探索プロセス中に、空間的にシフトされた同じサイズの前のブロックから予測可能であることが見出されたサンプルを含む。そのＭＶを直接コーディングする代わりに、ＭＶを、１つ以上の参照ピクチャに関連付けられるメタデータから、例えば（復号順序で）最新の参照ピクチャから、Ａ０、Ａ１及びＢ０、Ｂ１、Ｂ２（それぞれ２０２から２０６）と示される５つの周囲のサンプルのいずれか１つに関連付けられるＭＶを使用して導出することができる。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用しているものと同じ参照ピクチャからの予測器を使用することができる。

本開示の態様は、ビデオ符号化及び復号のための方法及び装置を提供する。いくつかの例において、装置は処理回路を含む。処理回路は、コーディングされたビデオビットストリームから、現在のピクチャにおける現在のコーディングブロックの予測情報を受け取るように構成され、予測情報は、現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ、subblock-based temporal motion vector prediction）モードを使用してコーディングされることを示す。処理回路は、コーディングされたビデオビットストリームから、複数のＤＶオフセットを取得し、ここで、各ＤＶオフセットは変位ベクトル候補に対応し、複数のＤＶオフセットを現在のコーディングブロックの固定ＤＶ予測器（fixed DV predictor）に適用することによって、複数の変位ベクトル（ＤＶ、displacement vector）候補を導出するように更に構成される。処理回路は、現在のコーディングブロックのテンプレートを複数のテンプレートの各々と比較するように更に構成され、複数のテンプレートの各テンプレートは、複数のＤＶ候補のうちの対応する１つによって指定された位置に配置される。処理回路は、比較に基づいて、複数のＤＶ候補の各々１つに関連付けられるコスト値を計算するように更に構成される。処理回路は、複数のＤＶ候補のＤＶオフセットインデックスを、それらの計算されたコスト値に基づいて並べ替え、並べ替えられたＤＶオフセットインデックスから選択されたＤＶオフセットインデックスに少なくとも基づいて、ＳｂＴＭＶＰモードにおける現在のコーディングブロックを予測するように更に構成される。

いくつかの態様において、処理回路は、コーディングされたビデオビットストリームでシグナリングされるインデックスを受け取るように更に構成され、ここで、インデックスは、ＳｂＴＭＶＰを実行するために、並べ替えられたＤＶオフセットインデックスの中からどのＤＶオフセット候補が選択されるかを示す。

いくつかの態様において、上記並べ替えの後、処理回路は、ＳｂＴＭＶＰを実行するために、デフォルトで、最も低い計算されたテンプレートマッチングコストを有するＤＶオフセット候補を選択するように更に構成される。

いくつかの態様において、コスト値は、絶対差分和（ＳＡＤ、Sum of Absolute Differences）、絶対変換差分和（ＳＡＴＤ、Sum of Absolute Transformed Differences）、二乗誤差分和（ＳＳＥ、Sum of Squared Error）、サブサンプルＳＡＤ又は平均除去（mean-removed）ＳＡＤを実行することによって計算される。

いくつかの態様において、複数のＤＶ候補は、動きベクトル差分によるマージ（ＭＭＶＤ、Merge with Motion Vector Difference）候補を含む。

いくつかの態様において、上記の比較、上記の計算及び上記の並べ替えは、ＭＭＶＤ候補のサブセットにのみに対して実行され、ＭＭＶＤ候補のうちの１つ以上の他のＭＭＶＤ候補の相対的順序は変更されずに維持される。

いくつかの態様において、上記の比較、上記の計算及び上記の並べ替えは、ＭＭＶＤ候補のすべてに対して実行され、上記並べ替えの後、最も低いコストを有するＭＭＶＤ候補のうちのＮ個のみが使用され、数Ｎは、ＭＭＶＤ候補の総数以下である。

いくつかの態様において、どのＭＭＶＤ候補が使用されるかを示すために、［０，Ｎ－１］の範囲のインデックスがビットストリームにシグナリングされ、数Ｎは予め定義されるか、又は高レベル構文にシグナリングされる。

いくつかの態様において、ＤＶオフセットインデックスは、それらの計算されたコスト値の降順又は昇順によって並べ替えられる。

本開示の更なる態様は、ビデオ符号化及び復号のための方法及び装置を提供する。いくつかの例において、装置は処理回路を含む。処理回路は、コーディングされたビデオビットストリームから、現在のピクチャにおける現在のコーディングブロックの予測情報を受け取るように構成され、予測情報は、現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされていることを示す。処理回路は、現在のコーディングブロックのテンプレートを複数のテンプレートの各々と比較するように更に構成され、複数のテンプレートの各テンプレートは、複数の変位ベクトル（ＤＶ）予測器候補のうちの対応する１つによって指定された位置に配置される。処理回路は、比較に基づいて、複数のＤＶ予測器候補の各々１つに関連付けられるコスト値を計算するように更に構成される。処理回路は、複数のＤＶ予測器候補のリストを、それらの計算されたコスト値に基づいて並べ替え、複数のＤＶ予測器候補の並べ替えられたリストから選択されたＤＶ予測器に少なくとも基づいて、ＳｂＴＭＶＰモードにおける現在のコーディングブロックを予測／再構築するように更に構成される。

いくつかの態様において、処理回路は、コーディングされたビデオビットストリームでシグナリングされるインデックスを受け取るように更に構成され、インデックスは、ＳｂＴＭＶＰを実行するために、複数のＤＶ予測器候補の並べ替えられたリストからどのＤＶ予測器候補が選択されるかを示す。

いくつかの態様において、上記並べ替えの後、処理回路は、ＳｂＴＭＶＰを実行するために、デフォルトで、最も低い計算されたテンプレートマッチングコストを有するＤＶ予測器候補を選択するように更に構成される。

いくつかの態様において、複数のＤＶ予測器候補のリストは、空間隣接コーディングユニット（ＣＵ）から、あるいは履歴ベースの動きベクトル予測（ＨＭＶＰ、history-based motion vector prediction）候補から構築される、

いくつかの態様において、並べ替えの後、リスト上の複数のＤＶ予測器候補のうちの最初のＮ個のみがシグナリングされる。

いくつかの態様において、リスト内の複数のＤＶ予測器候補は、それらの計算されたコスト値の降順又は昇順によって並べ替えられる。

本開示の更なる態様は、ビデオ符号化及び復号のための方法及び装置を提供する。いくつかの例において、装置は処理回路を含む。処理回路は、コーディングされたビデオビットストリームから、現在のピクチャにおける現在のコーディングブロックの予測情報を受け取るように構成され、予測情報は、現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされていることを示す。処理回路は、現在のコーディングブロックの複数の変位ベクトル（ＤＶ）候補を含むＳｂＴＭＶＰ候補リストを生成するように更に構成され、ＳｂＴＭＶＰ候補リストは、いずれのＤＶオフセットも適用せずに導出された少なくとも１つのＤＶ予測器候補と、ＤＶオフセットをベースＤＶ予測器（base DV predictor）に適用することによって導出された少なくとも１つの他のＤＶ予測器候補とを含む。処理回路は、現在のコーディングブロックのテンプレートを複数のテンプレートの各々と比較するように更に構成され、複数のテンプレートの各テンプレートは、ＳｂＴＭＶＰ候補リスト内の複数のＤＶ候補のうちの対応する１つによって指定された位置に配置される。処理回路は、比較に基づいて、複数のＤＶ候補の各々１つに関連付けられるコスト値を計算するように更に構成される。処理回路は、ＳｂＴＭＶＰ候補リストの複数のＤＶ候補を、それらの計算されたコスト値に基づいて並べ替えるように更に構成される。

いくつかの態様において、処理回路は、コーディングされたビデオビットストリームでシグナリングされたインデックスを受け取るように更に構成され、インデックスは、ＳｂＴＭＶＰを実行するために、並べ替えられたＳｂＴＭＶＰ候補リストからどのＤＶ候補が選択されるかを示す。

いくつかの態様において、選択されたＤＶ候補は、いかなるＤＶオフセットも適用せずに導出されたＳｂＴＭＶＰ ＤＶ候補であるか、あるいはそれぞれのＤＶオフセットをそれぞれのベースＤＶ予測器に適用することによって導出されたＳｂＴＭＶＰ ＭＭＶＤ（Merge with Motion Vector Difference）候補である。

いくつかの態様において、選択されたＤＶ候補がＳｂＴＭＶＰ ＭＭＶＤ候補であるとき、それぞれのベースＤＶ予測器のシグナリングと、それぞれのＤＶオフセットのインデックスのシグナリングは、別々に実行される。

いくつかの態様において、ＳｂＴＭＶＰ候補リストは、候補のテンプレートマッチングベースの並べ替えが現在のフレームに対して可能にされるとき、アフィンマージ候補リストとは独立に構築され、サブブロックマージモードがシグナリングされるとき、ＳｂＴＭＶＰ候補リストを構築するか又はアフィンマージ候補リストを構築するかを示すために、追加の構文がコーディングブロックレベルでシグナリングされる。

本開示の態様はまた、上記の方法のいずれか１つを実行するために少なくとも１つのプロセッサによって実行可能なプログラムを記憶する非一時的コンピュータ読取可能記憶媒体も提供する。

開示される主題の更なる特徴、性質及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになる。

本開示の態様による、イントラ予測モードの例示的なサブセットの概略図である。

本開示の態様による、例示的なイントラ予測方向の図である。

本開示の態様による、現在のブロック及び周囲のサンプルの例の概略図である。

本開示の態様による、第１の例示的な通信システムのブロック図の概略図である。

本開示の態様による、第２の例示的な通信システムのブロック図の概略図である。

本開示の態様による、第１の例示的なデコーダのブロック図の概略図である。

本開示の態様による、第１の例示的なエンコーダのブロック図の概略図である。

本開示の態様による、第２の例示的なエンコーダのブロック図の概略図である。

本開示の態様による、第２の例示的なデコーダのブロック図の概略図である。

本開示の態様による、空間マージ候補の例示的位置の概略図である。

本開示の態様による、空間マージ候補の冗長チェックについて考慮される例示的な候補ペアの概略図である。

本開示の態様による、時間マージ候補のための例示的な動きベクトルスケーリングの概略図である。

本開示の態様による、現在のコーディングユニットの時間マージ候補の例示的な候補位置の概略図である。

本開示の態様による、例示的な動きベクトル差分とのマージ（ＭＭＶＤ）検索プロセスの概略図である。

本開示の態様による、例示的なＭＭＶＤ探索点の概略図である。

本開示の態様による、ｋ×π／８の斜め角度に沿った追加の方向を含む例示的な探索点の概略図である。

本開示の態様による、ＶＶＣ（versatile video coding）における例示的なＳｂＴＭＶＰプロセスにおいて、高度な時間動きベクトル予測（ＡＴＶＭＰ）によって使用される空間隣接ブロックの例の概略図である。

本開示の態様による、ＶＶＣにおける例示的なＳｂＴＭＶＰプロセスにおいて、空間近傍からの動きシフトを適用し、対応するコロケートサブＣＵｓからの動き情報をスケーリングすることによってサブＣＵ（サブコーディングユニット）の動きフィールドを導出する例の概略図である。

本開示の態様による、複数の変位ベクトル（ＤＶｓ）に関連付けられるテンプレートマッチングの例を示す概略図である。

本開示の態様による、第１の符号化／復号プロセスを概説するフローチャートである。

本開示の態様による、第２の符号化／復号プロセスを概説するフローチャートである。

本開示の態様による、第３の符号化／復号プロセスを概説するフローチャートである。

一態様によるコンピュータシステムの概略図である。

図３は、通信システム（３００）の例示のブロック図を示す。通信システム（３００）は、例えばネットワーク（３５０）を介して互いに通信することができる複数の端末デバイスを含む。例えば通信システム（３００）は、ネットワーク（３５０）を介して相互接続される第１の対の端末デバイス（３１０）及び（３２０）を含む。図３の例では、第１の対の端末デバイス（３１０）及び（３２０）は、データの一方向伝送を実行する。例えば端末デバイス（３１０）は、ネットワーク（３５０）を介して他の端末デバイス（３２０）に伝送するために、ビデオデータ（例えば端末デバイス（３１０）によってキャプチャされるビデオピクチャのストリーム）をコーディングし得る。符号化されたビデオデータは、１つ以上のコーディングされたビデオビットストリームの形態で伝送することができる。端末デバイス（３２０）は、ネットワーク（３５０）からコーディングされたビデオデータを受け取ることができ、コーディングされたビデオデータを復号して、ビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示す。一方向データ伝送は、メディア供給アプリケーション等において一般的であり得る。

別の例では、通信システム（３００）は、例えばビデオ会議中に、コーディングされたビデオデータの双方向伝送を実行する、第２の対の端末デバイス（３３０）及び（３４０）を含む。データの双方向伝送のために、一例では、端末デバイス（３３０）及び（３４０）の各端末デバイスは、ネットワーク（３５０）を介して端末デバイス（３３０）及び（３４０）のうちの他方の端末デバイスに伝送するために、ビデオデータ（例えばその端末デバイスによってキャプチャされるビデオピクチャのストリーム）をコーディングし得る。端末デバイス（３３０）及び（３４０）の各端末デバイスはまた、端末デバイス（３３０）及び（３４０）の他方の端末デバイスによって伝送された、コーディングされたビデオデータを受け取ることができ、コーディングされたビデオデータを復号してビデオピクチャを復元することができ、復元されたビデオデータに従って、アクセス可能なディスプレイデバイスでビデオピクチャを表示することができる。

図３の例では、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）はそれぞれ、サーバ、パーソナルコンピュータ及びスマートフォンとして例示され得るが、本開示の原理は、そのように限定され得ない。本開示の態様は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ及び／又は専用のビデオ会議装置への適用を見出す。ネットワーク（３５０）は、例えばワイヤライン（有線）及び／又は無線通信ネットワークを含め、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）の間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（３５０）は、回線スイッチ及び／又はパケットスイッチチャネルにおいてデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットを含む。本議論の目的のために、ネットワーク（３５０）のアーキテクチャ及びトポロジは、本明細書において以下に説明されない限り、本開示の動作に対して重要ではないことがある。

図４は、開示される主題の適用の例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダを示す。開示される主題は、例えばビデオ会議、デジタルＴＶやストリーミングサービス、ＣＤ、ＤＶＤ、メモリスティック等を含むデジタルメディアにおける圧縮ビデオの記憶等を含む、他のビデオ対応アプリケーションにも同様に適用可能であり得る。

ストリーミングシステムは、例えば圧縮されていないビデオピクチャのストリーム（４０２）を作成するビデオソース（４０１）、例えばデジタルカメラを含むことができる、ビデオキャプチャサブシステム（４１３）を含み得る。一例では、ビデオピクチャのストリーム（４０２）は、デジタルカメラによって撮られたサンプルを含む。ビデオピクチャのストリーム（４０２）は、符号化されたビデオデータ（４０４）（又はコーディングされたビデオビットストリーム）と比較したときの高データ量を強調するために太線として示されており、ビデオソース（４０１）に結合されるビデオエンコーダ（４０３）を含む電子デバイス（４２０）によって処理されることができる。ビデオエンコーダ（４０３）は、以下により詳細に説明されるような、開示される主題の態様を可能にするか又は実装するために、ハードウェア、ソフトウェア又はそれらの組合せを含むことができる。符号化されたビデオデータ（４０４）（又は符号化されたビデオビットストリーム）は、ビデオピクチャのストリーム（４０２）と比較したときの低データ量を強調するために細線として示されており、将来の使用のためにストリーミングサーバ（４０５）に記憶されることができる。図４のクライアントサブシステム（４０６）及び（４０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（４０５）にアクセスして、符号化されたビデオデータ（４０４）のコピー（４０７）及び（４０９）を取り出すことができる。クライアントサブシステム（４０６）は、例えば電子デバイス（４３０）内にビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は符号化されたビデオデータの入力コピー（４０７）を復号し、そして、ディスプレイ（４１２）（例えばディスプレイ画面）又は他のレンダリングデバイス（図示せず）上でレンダリングすることができる、ビデオピクチャの出力ストリーム（４１１）を作成する。いくつかのストリーミングシステムでは、符号化されたビデオデータ（４０４）、（４０７）及び（４０９）（例えばビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従って符号化されることができる。これらの規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、開発中のビデオコーディング規格は、ＶＶＣ（Versatile Video Coding）として非公式に知られている。開示される主題はＶＶＣの文脈で使用され得る。

電子デバイス（４２０）及び（４３０）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば電子デバイス（４２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（４３０）は、ビデオエンコーダ（図示せず）も含むことができる。

図５は、ビデオデコーダ（５１０）の例示的なブロック図を示す。ビデオデコーダ（５１０）は、電子デバイス（５３０）に含まれることができる。電子デバイス（５３０）は、受信機（５３１）（例えば受信回路）を含むことができる。図４の例のビデオデコーダ（４１０）の代わりに、ビデオデコーダ（５１０）を用いることができる。

受信機（５３１）は、ビデオデコーダ（５１０）によって復号されるべき１つ以上のコーディングされたビデオシーケンスを受け取り得る。一態様では、一度に１つのコーディングされたビデオシーケンスを受け取り、この場合、各コーディングされたビデオシーケンスの復号は、他のコーディングビデオシーケンスの復号とは独立である。コーディングされたビデオシーケンスはチャネル（５０１）から受け取られてよく、該チャネルは、符号化されたビデオデータを記憶するストレージデバイスへのハードウェア／ソフトウェアリンクであり得る。受信機（５３１）は、他のデータ、例えばコーディングされたオーディオデータ及び／又は補助データストリームとともに、符号化されたビデオデータを受け取ってよく、これらのデータは、それらのそれぞれの使用エンティティ（図示せず）に転送されてよい。受信機（５３１）は、コーディングされたビデオシーケンスを他のデータから分離し得る。ネットワークジッタをなくすために、バッファメモリ（５１５）が、受信機（５３１）とエントロピーデコーダ／パーサ（５２０）（以下、「パーサ（５２０）」）との間に結合され得る。特定の適用では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）の一部である。他では、バッファメモリ（５１５）は、ビデオデコーダ（５１０）（図示せず）の外部にある可能性がある。更に他では、例えば再生タイミングを処理するためにビデオデコーダ（５１０）の内部にある別のバッファメモリ（５１５）に加えて、例えばネットワークジッタをなくすためにビデオデコーダ（５１０）の外部にバッファメモリ（図示せず）が存在する可能性がある。受信機（５３１）が、十分な帯域幅及び制御可能性を有するストア／転送デバイスから又は等同期（isosynchronous）ネットワークからデータを受信しているとき、バッファメモリ（５１５）は必要でないことがあり、あるいは小さいものとすることができる。インターネットのようなベストエフォート・パケットネットワークにおける使用のために、バッファメモリ（５１５）が必要とされることがあり、そのサイズは比較的大きいものとすることができ、有利には適応サイズとすることができ、少なくとも部分的に、ビデオデコーダ（５１０）の外部のオペレーティングシステム又は類似の要素（図示せず）において実装されることがある。

ビデオデコーダ（５１０）は、コーディングされたビデオシーケンスからシンボル（５２１）を再構成するためにパーサ（５２０）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報と、潜在的に、電子デバイス（５３０）の一体部分ではないが図５に示されるように電子デバイス（５３０）に結合されることができるレンダデバイス（５１２）（例えばディスプレイ画面）のようなレンダリングデバイスを制御する情報とを含む。レンダリングデバイスの制御情報は、補足強化情報（ＳＥＩ：Supplemental Enhancement Information）メッセージ又はビデオユーザビリティ情報（ＶＵＩ：Video Usability Information）パラメータセットフラグメント（図示せず）の形式であってよい。パーサ（５２０）は、受信される、コーディングされたビデオシーケンスを構文解析／エントロピー復号し得る。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存（context sensitivity）を伴うか伴わない算術コーディング等を含む、様々な原理に従うことができる。パーサ（５２０）は、コーディングされたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つのサブグループについてのサブグループパラメータのセットを、グループに対応する少なくとも１つのパラメータに基づいて抽出することができる。サブグループは、グループオブピクチャ（ＧＯＰｓ：Groups of Pictures）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵｓ：Coding Units）、ブロック、変換ユニット（ＴＵｓ：Transform Units）、予測ユニット（ＰＵｓ：Prediction Units）等を含むことができる。パーサ（５２０）はまた、変換係数、量子化パラメータ値、動きベクトル等のようなコーディングされたビデオシーケンス情報から抽出してもよい。

パーサ（５２０）は、シンボル（５２１）を生成するように、バッファメモリ（５１５）から受け取ったビデオシーケンスに対してエントロピー復号／構文解析動作を実行し得る。

シンボル（５２１）の再構成は、コーディングされたビデオピクチャ又はその部分のタイプ（例えばインター及びイントラピクチャ、インター及びイントラブロック）及び他のファクタに応じて、複数の異なるユニットに関与することができる。どのユニットがどのように関与するかは、コーディングされたビデオシーケンスからパーサ（５２０）によって構文解析されるサブグループ制御情報によって制御されることができる。パーサ（５２０）と下記の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明確性のために図示されていない。

既に述べた機能ブロックの他に、ビデオデコーダ（５１０）は、以下で説明するように、複数の機能ユニットに概念的に細分されることができる。商業的制約の下で動作する実用的な実装では、これらのユニットの多くは互いに密接に対話し、少なくとも部分的に相互へ統合されることができる。しかしながら、開示される主題を説明する目的のために、以下では、機能ユニットへの概念的な細分化が適切である。

第１ユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）からのシンボル（５２１）として、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリング行列等を含む制御情報だけでなく、量子化された変換係数も受け取る。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力することができるサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラコーディングされたブロックに関連する可能性がある。イントラコーディングされたブロックは、以前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックである。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（５５２）は、現在のピクチャバッファ（５５８）からフェッチされる、周囲の既に再構成された情報を使用して、再構成中のブロックの同じサイズ及び形状のブロックを生成する。現在のピクチャバッファ（５５８）は、例えば部分的に再構成された現在のピクチャ及び／又は完全に再構成された現在のピクチャをバッファする。アグリゲータ（５５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に追加し得る。

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされて潜在的に動き補償されるブロックに関連する可能性がある。このような場合、動き補償予測ユニット（５５３）は、予測に使用されるサンプルをフェッチするために参照ピクチャメモリ（５５７）にアクセスすることができる。ブロックに関連するシンボル（５２１）に従って、フェッチされたサンプルを動き補償した後、これらのサンプルは、アグリゲータ（５５５）によって、出力サンプル情報を生成するために、スケーラ／逆変換ユニット（５５１）の出力（この場合、残差サンプル又は残差信号と呼ばれる）に追加されることができる。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えばＸ、Ｙと参照ピクチャ成分を有することができるシンボル（５２１）の形態で、動き補償予測ユニット（５５３）に利用可能な動きベクトルによって、制御されることができる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（５５７）からフェッチされるサンプル値の補間、動きベクトル予測メカニズム等も含むことができる。

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）内の様々なループフィルタリング技術の対象となることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、かつパーサ（５２０）からシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるが、ループ内フィルタ技術を含むことができる。ビデオ圧縮はまた、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（復号順序で）以前の部分の復号中に取得されたメタ情報に応答することもできるとともに、以前に再構成されてループフィルタリングされたサンプル値に応答することができる。

ループフィルタユニット（５５６）の出力は、レンダデバイス（５１２）に出力されることができ、かつ将来のインターピクチャ予測で使用するために参照ピクチャメモリ（５５７）内に記憶されることができる、サンプルストリームとすることができる。

ある特定のコーディングされたピクチャは、いったん完全に再構成されると、将来の予測のための参照ピクチャとして使用されることができる。例えば現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えばパーサ（５２０）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（５５８）は参照ピクチャメモリ（５５７）の一部となることができ、フレッシュな現在のピクチャバッファは、後続のコーディングされたピクチャの再構成を開始する前に再割り当てされることができる。

ビデオデコーダ（５１０）は、所定のビデオ圧縮技術又はＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５のような規格に従って復号動作を実行し得る。コーディングされたビデオシーケンスは、該コーディングされたビデオシーケンスが、ビデオ圧縮技術又は規格の構文と、ビデオ圧縮技術又は規格で文書化されるプロファイルとの両方を守るという意味において、使用されているビデオ圧縮技術又は規格によって指定された構文に準拠し得る。具体的には、プロファイルは、そのプロファイルの下での使用に使用可能な唯一のツールとして、特定のツールを選択することができる。また、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって定義される範囲内にあることが、準拠には必要であり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば毎秒メガサンプル（megasamples）で測定される）、最大参照ピクセルサイズ等を制限する。レベルによって設定される限界（limit）は、場合によっては、コーディングされたビデオシーケンスでシグナリングされる仮想リファレンスデコーダ（ＨＲＤ：Hypothetical Reference Decoder）のバッファ管理のためのＨＲＤ仕様及びメタデータを通して更に制限される可能性がある。

一態様では、受信機（５３１）は、符号化されたビデオとともに追加の（冗長な）データを受け取ることがある。追加のデータは、コーディングされたビデオシーケンスの一部として含まれてよい。追加のデータは、データを適切に復号し、かつ／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（５１０）によって使用され得る。追加のデータは、例えば時間的、空間的又は信号対ノイズ比（ＳＮＲ）強化レイヤ（enhancement layers）、冗長スライス、冗長ピクチャ、順方向誤り訂正コード等の形態とすることができる。

図６は、ビデオエンコーダ（６０３）の例示的なブロック図を示す。ビデオエンコーダ（６０３）は、電子デバイス（６２０）に含まれる。電子デバイス（６２０）は、送信機（６４０）（例えば送信回路）を含む。図４の例のビデオエンコーダ（４０３）の代わりに、ビデオエンコーダ（６０３）を使用することができる。

ビデオエンコーダ（６０３）は、ビデオサンプルを、ビデオエンコーダ（６０３）によってコーディングされるべきビデオ画像をキャプチャし得るビデオソース（６０１）（図６の例では電子デバイス（６２０）の一部ではない）から受け取り得る。別の例では、ビデオソース（６０１）は、電子デバイス（６２０）の一部である。

ビデオソース（６０１）は、ビデオエンコーダ（６０３）によってコーディングされるべきソースビデオシーケンスを、任意の適切なビット深度（例えば８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えばＢＴ．６０１ ＹＣｒＣＢ、ＲＧＢ、．．．）及び任意の適切なサンプリング構造（例えばＹＣｒＣｂ ４：２：０、ＹＣｒＣｂ ４：４：４）とすることができるデジタルビデオサンプルストリームの形態で提供し得る。メディア供給システムにおいて、ビデオソース（６０１）は、事前に準備されたビデオを記憶するストレージデバイスであってよい。ビデオ会議システムでは、ビデオソース（６０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであってもよい。ビデオデータは、シーケンスで見るときに動きを伝える複数の個々のピクチャとして提供されてもよい。ピクチャ自体は、ピクセルの空間アレイとして編成されてよく、この場合、各ピクセルは、使用中のサンプリング構造、色空間等に応じて１つ以上のサンプルを含むことができる。当業者は、ピクセルとサンプルとの関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てている。

一態様によると、ビデオエンコーダ（６０３）は、リアルタイムで又は要求される任意の他の時間制約の下で、ソースビデオシーケンスのピクチャをコーディング及び圧縮して、コーディングされたビデオシーケンス（６４３）にすることができる。適切なコーディング速度を実施することは、コントローラ（６５０）の１つの機能である。いくつかの態様において、コントローラ（６５０）は、以下で説明されるように、他の機能ユニットを制御し、該他の機能ユニットに機能的に結合される。この結合は、明確性のために図示されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、グループオブピクチャ（ＧＯＰ）のレイアウト、最大動きベクトル探索範囲等を含むことができる。コントローラ（６５０）は、特定のシステム設計のために最適化された、ビデオエンコーダ（６０３）と関係する他の適切な機能を有するように構成されることができる。

いくつかの態様では、ビデオエンコーダ（６０３）は、コーディングループで動作するように構成される。過剰に簡略化した説明として、一例では、コーディングループは、ソースコーダ（６３０）（例えばコーディングされるべき入力ピクチャ及び参照ピクチャに基づいて、シンボルストリーム等のシンボルを作成することを担当する）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（リモート）デコーダも作成するのと同様の方法で、シンボルを再構成してサンプルデータを作成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号は、デコーダ位置（ローカル又はリモート）とは独立のビット正確な結果（bit-exact results）をもたらすので、参照ピクチャメモリ（６３４）内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャのシンクロニシティ（synchronicity）のこの基本原理（及び例えばチャネルエラーのためにシンクロニシティを維持することができない場合の結果として生じるドリフト）は、いくつかの関連する技術でも同様に使用される。

「ローカル」デコーダ（６３３）の動作は、ビデオデコーダ（５１０）のような「リモート」デコーダと同じものとすることができ、これは、既に図５に関連して上述されている。しかしながら、図５も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（６４５）及びパーサ（５２０）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号は可逆であり得るので、バッファメモリ（５１５）及びパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピー復号部分は、ローカルデコーダ（６３３）では完全には実装されないことがある。

一態様では、デコーダに存在する解析／エントロピー復号を除く任意のデコーダ技術は、対応するエンコーダにおいて、同一又は実質的に同一の機能形態で存在する。したがって、開示される主題はデコーダの動作に焦点を当てる。エンコーダ技術の説明は、網羅的に説明されるデコーダ技術の反対であるので、省略される可能性がある。特定の領域において、より詳細な説明が以下で提供される。

いくつかの例において、動作中に、ソースコーダ（６３０）は、動き補償予測コーディングを実行してよく、動き補償予測コーディングは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の以前にコーディングされたピクチャに関連して予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測参照として選択され得る参照ピクチャのピクセルブロックとの間の差をコーディングする。

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号し得る。コーディングエンジン（６３２）の動作は、有利には、非可逆プロセスであり得る。コーディングされたビデオデータがビデオデコーダ（図６には図示せず）で復号され得るとき、再構成ビデオシーケンスは、典型的に、いくつかの誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダによって実行され得る復号処理を複製し、再構成参照ピクチャを参照ピクチャメモリ（６３４）に記憶させ得る。このようにして、ビデオエンコーダ（６０３）は、（伝送誤差なしに）遠端ビデオデコーダによって取得される再構成参照ピクチャとして、共通のコンテンツを有する再構成参照ピクチャのコピーを、ローカルに記憶し得る。

予測器（６３５）は、コーディングエンジン（６３２）について予測探索を実行し得る。すなわち、コーディングされるべき新しいピクチャについて、予測器（６３５）は、参照ピクチャメモリ（６３４）から、サンプルデータ（候補参照ピクセルブロックとして）又は参照ピクチャ動きベクトル、ブロック形状等のような特定のメタデータを探索してよく、これらのデータは、新しいピクチャのための適切な予測参照として機能し得る。予測器（６３５）は、適切な予測参照を見つけるために、サンプルブロックとピクセルブロックごと（sample block-by-pixel block basis）に動作し得る。場合によっては、予測器（６３５）によって取得される検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶された複数の参照ピクチャから引き出された予測参照を有してよい。

コントローラ（６５０）は、例えばビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理してもよい。

前述の機能ユニットのすべての出力は、エントロピーコーダ（６４５）におけるエントロピーコーディングの対象となり得る。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディング等のような技術に従ってシンボルに可逆圧縮を適用することによって、様々な機能ユニットによって生成されるシンボルを、コーディングされたビデオシーケンスに変換する。

送信機（６４０）は、エントロピーコーダ（６４５）によって作成されるコーディングされたビデオシーケンスをバッファして、通信チャネル（６６０）を介した伝送の準備を行ってよく、該通信チャネル（６６０）は、符号化されたビデオデータを記憶するストレージデバイスへのハードウェア／ソフトウェアリンクであってよい。送信機（６４０）は、ビデオエンコーダ（６０３）からのコーディングされたビデオデータを、伝送されるべき他のデータ、例えばコーディングされたオーディオデータ及び／又は補助データストリーム（ソースは図示せず）とマージし得る。

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理し得る。コーディングの間、コントローラ（６５０）は、各コーディングされたピクチャに、特定のコーディングピクチャタイプ（coded picture type）を割り当ててよく、該コーディングピクチャタイプは、それぞれのピクチャに適用され得るコーディングに影響を与え得る。例えばピクチャは、しばしば、次のピクチャタイプのうちの１つとして割り当てられ得る：

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内のいずれの他のピクチャも使用せずにコーディング及び復号され得るものであり得る。いくつかのビデオコーデックは、例えば独立デコーダリフレッシュ（「ＩＤＲ：Independent Decoder Refresh」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのこれらの変形並びにそれらのそれぞれの用途及び特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、最大１つの動きベクトルと参照インデックスを用いて、イントラ予測又はインター予測を使用して、コーディング及び復号され得るものであり得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、最大２つの動きベクトルと参照インデックスを用いて、イントラ予測又はインター予測を使用して、コーディング及び復号され得るものであり得る。同様に、複数予測ピクチャ（multiple-predictive pictures）は、単一のブロックの再構成のために、２つより多くの参照ピクチャ及び関連するメタデータを使用することができる。

ソースピクチャは、通常、空間的に複数のサンプルブロック（例えば各々４×４、８×８、４×８又は１６×１６サンプルのブロック）に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定されるように、他の（既にコーディングされた）ブロックに関連して予測的にコーディングされ得る。例えばＩピクチャのブロックは、非予測的にコーディングされてもよく、あるいはそれらは、同じピクチャの既にコーディングされたブロックに関連して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、以前にコーディングされた１つの参照ピクチャに関連して、空間予測を介して又は時間予測を介して予測的にコーディングされ得る。Ｂピクチャのブロックは、１つ又は２つの以前にコーディングされた参照ピクチャに関連して、空間予測を介して又は時間予測を介して予測的にコーディングされ得る。

ビデオエンコーダ（６０３）は、ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５のような所定のビデオコーディング技術又は規格に従ってコーディング動作を実行し得る。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行し得る。コーディングされたビデオデータは、したがって、使用されているビデオコーディング技術又は規格によって指定された構文に従うことができる。

一態様では、送信機（６４０）は、符号化されたビデオとともに追加データを送信してもよい。ソースコーダ（６３０）は、コーディングされたビデオシーケンスの一部としてそのようなデータを含んでよい。追加データは、時間／空間／ＳＮＲ強化レイヤ、冗長ピクチャ及びスライス、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント等のような他の形式の冗長データを含んでもよい。

ビデオは、時間シーケンスにおいて複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（しばしば、イントラ予測と略される）は、所与のピクチャにおける空間的相関を使用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を使用する。一例では、符号化／復号中の特定のピクチャは、現在のピクチャと呼ばれ、ブロックに区分化される。現在のピクチャ内のブロックが、ビデオ内の以前にコーディングされて依然としてバッファされている参照ピクチャ内の参照ブロックに類似するとき、現在のピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによってコーディングされることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されているケースでは、参照ピクチャを識別する第３次元（third dimension）を有することができる。

いくつかの態様では、インターピクチャ予測において双予測技術を使用することができる。双予測技術によると、第１参照ピクチャと第２参照ピクチャのように、両方とも、復号順序でビデオ内の現在のピクチャに先行する（ただし、表示順序では、それぞれ、過去及び将来であり得る）２つの参照ピクチャが使用される。現在のピクチャ内のブロックを、第１参照ピクチャ内の第１参照ブロックを指す第１動きベクトルと、第２参照ピクチャ内の第２参照ブロックを指す第２動きベクトルとによってコーディングすることができる。ブロックは、第１参照ブロックと第２参照ブロックの組合せによって、予測されることができる。

さらに、コーディング効率を改善するために、インターピクチャ予測においてマージモード技術を使用することができる。

本開示のいくつかの態様によると、インターピクチャ予測及びイントラピクチャ予測のような予測は、ブロック単位（unit）で実行される。例えばＨＥＶＣ規格によると、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）に区分化され、ピクチャ内のＣＴＵｓは、６４×６４ピクセル、３２×３２ピクセル又は１６×１６ピクセルのように、同じサイズを有する。一般に、ＣＴＵは、３つのコーディングツリーブロック（ＣＴＢｓ）を含み、該３つのＣＴＢは、１つのルマ（luma）ＣＴＢと２つのクロマ（chroma）ＣＴＢである。各ＣＴＵは、１つ又は複数のコーディングユニット（ＣＵｓ）に再帰的に四分木分裂（quadtree split）することができる。例えば６４×６４ピクセルのＣＴＵを、６４×６４ピクセルの１つのＣＵに又は３２×３２ピクセルの４つのＣＵに又は１６×１６ピクセルの１６個のＣＵに分裂することができる。一例では、各ＣＵを分析して、インター予測タイプ又はイントラ予測タイプのような、ＣＵの予測タイプを決定する。ＣＵは、時間的及び／又は空間的予測可能性に依存して、１つ以上の予測ユニット（ＰＵｓ）に分裂される。一般に、各ＰＵはルマ予測ブロック（ＰＢ）と２つのクロマＰＢｓを含む。一態様では、コーディング（符号化／復号）における予測動作は、予測ブロックのユニットにおいて実行される。予測ブロックの例としてルマ予測ブロックを使用すると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル等のような、ピクセルについての値（例えばルマ値）の行列を含んでよい。

図７は、ビデオエンコーダ（７０３）の例示的な図を示す。ビデオエンコーダ（７０３）は、ビデオピクチャのシーケンス内の現在のビデオピクチャ内のサンプル値の処理ブロック（例えば予測ブロック）を受け取り、処理ブロックを符号化して、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャにするように構成される。一例では、ビデオエンコーダ（７０３）は、図４の例のビデオエンコーダ（４０３）の代わりに使用される。

ＨＥＶＣの例では、ビデオエンコーダ（７０３）は、８×８サンプルの予測ブロック等のような処理ブロックのサンプル値の行列を受け取る。ビデオエンコーダ（７０３）は、処理ブロックが、例えばレート歪み最適化（rate-distortion optimization）を使用して、イントラモード、インターモード又は双予測（bi-prediction）モードを使用して最も良くコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされるべきであるとき、ビデオエンコーダ（７０３）は、イントラ予測技術を使用して、処理ブロックを符号化して、コーディングされたピクチャにしてよく、処理ブロックがインターモード又は双予測モードでコーディングされるべきであるとき、ビデオエンコーダ（７０３）は、それぞれインター予測技術又は双予測技術を使用して、処理ブロックを符号化して、コーディングされたピクチャにしてよい。特定のビデオコーディング技術では、マージモードは、予測器の外側のコーディングされた動きベクトル構成要素の利益を伴わずに、動きベクトルが１つ以上の動きベクトル予測器から導出される場合、インターピクチャ予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル構成要素が存在してもよい。一例では、ビデオエンコーダ（７０３）は、処理ブロックのモードを決定するために、モード決定モジュール（図示せず）のような他の構成要素を含む。

図７の例では、ビデオエンコーダ（７０３）は、図７に示されるように一緒に結合される、インターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算器（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、一般コントローラ（７２１）及びエントロピーエンコーダ（７２５）を含む。

インターエンコーダ（７３０）は、現在のブロック（例えば処理ブロック）のサンプルを受け取り、該ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば前のピクチャ及び後のピクチャ内のブロック）と比較し、インター予測情報（例えばインター符号化技術に従った冗長情報の記述、動きベクトル、マージモード情報）を生成し、任意の適切な技術を使用して、インター予測情報に基づいてインター予測結果（例えば予測ブロック）を計算するよう構成される。いくつかの例では、参照ピクチャは、符号化されたビデオ情報に基づいて復号される復号参照ピクチャである。

イントラエンコーダ（７２２）は、現在のブロック（例えば処理ブロック）のサンプルを受け取り、場合によっては、該ブロックを、同じピクチャ内の既にコーディングされたブロックと比較し、変換後に量子化された係数を生成し、場合によってはイントラ予測情報（例えば１つ以上のイントラ符号化技術に従ったイントラ予測方向情報）も生成するよう構成される。一例では、イントラエンコーダ（７２２）はまた、イントラ予測情報と、同じピクチャ内の参照ブロックに基づいて、イントラ予測結果（例えば予測ブロック）も計算する。

一般コントローラ（７２１）は、一般制御データを決定し、該一般制御データに基づいてビデオエンコーダ（７０３）の他の構成要素を制御するよう構成される。一例では、一般コントローラ（７２１）は、ブロックのモードを決定し、該モードに基づいて制御信号をスイッチ（７２６）に提供する。例えばモードがイントラモードであるとき、一般コントローラ（７２１）は、残差計算器（７２３）が使用するためのイントラモードの結果を選択するようにスイッチ（７２６）を制御し、イントラ予測情報を選択して該イントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御し、モードがインターモードであるとき、一般コントローラ（７２１）は、残差計算器（７２３）が使用するためのインター予測結果を選択するようにスイッチ（７２６）を制御し、インター予測情報を選択して該インター予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御する。

残差計算器（７２３）は、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択された、受け取ったブロックと予測結果との差（残差データ）を計算するよう構成される。残差エンコーダ（７２４）は、残差データに基づいて動作し、残差データを符号化して変換係数を生成するよう構成される。一例では、残差エンコーダ（７２４）は、残差データを空間領域から周波数領域に変換して、変換係数を生成するように構成される。次いで、変換係数は、量子化処理の対象となり、量子化された変換係数を取得する。様々な態様では、ビデオエンコーダ（７０３）は、残差デコーダ（７２８）も含む。残差デコーダ（７２８）は、逆変換を実行し、復号された残差データを生成するよう構成される。復号された残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって適切に使用されることができる。例えばインターエンコーダ（７３０）は、復号された残差データ及びインター予測情報に基づいて、復号されたブロックを生成することができ、イントラエンコーダ（７２２）は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックは、復号されたピクチャを生成するために適切に処理され、復号されたピクチャは、メモリ回路（図示せず）内でバッファリングされ、いくつかの例では、参照ピクチャとして使用されることができる。

エントロピーエンコーダ（７２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（７２５）は、ＨＥＶＣ規格のような適切な規格に従って、ビットストリーム内に様々な情報を含めるように構成される。一例では、エントロピーエンコーダ（７２５）は、一般制御データ、選択された予測情報（例えばイントラ予測情報又はインター予測情報）、残差情報及び他の適切な情報をビットストリーム内に含めるよう構成される。開示される主題によると、インターモード又は双予測モードのいずれかのマージサブモードでブロックをコーディングするとき、残差情報がないことに留意されたい。

図８は、ビデオデコーダ（８１０）の例示的な図を示す。ビデオデコーダ（８１０）は、コーディングされたビデオシーケンスの一部である、コーディングされたピクチャを受け取り、コーディングされたピクチャを復号して再構成ピクチャを生成するよう構成される。一例では、図４の例のビデオデコーダ（４１０）の代わりにビデオデコーダ（８１０）が使用される。

図８の例では、ビデオデコーダ（８１０）は、図８に示されるように一緒に結合される、エントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）及びイントラデコーダ（８７２）を含む。

エントロピーデコーダ（８７１）は、コーディングされたピクチャから、該コーディングされたピクチャが構成される構文要素を表す特定のシンボルを再構成するよう構成されることができる。そのようなシンボルは、例えばブロックがコーディングされるモード（例えばイントラモード、インターモード、双予測モード、後者２つのマージサブモード又は別のサブモード等）と、イントラデコーダ（８７２）又はインターデコーダ（８８０）によってそれぞれ予測のために使用される特定のサンプル又はメタデータを識別することができる予測情報（例えばイントラ予測情報又はインター予測情報等）を含むことができる。シンボルはまた、例えば量子化された変換係数の形態の残差情報等を含むことができる。一例では、予測モードがインターモード又は双予測モードであるとき、インター予測情報がインターデコーダ（８８０）に提供され、予測モードがイントラ予測モードであるとき、イントラ予測情報がイントラデコーダ（８７２）に提供される。残差情報は、逆量子化の対象となり得、残差デコーダ（８７３）に提供される。

インターデコーダ（８８０）は、インター予測情報を受け取り、該インター予測情報に基づいてインター予測結果を生成するよう構成される。

イントラデコーダ（８７２）は、イントラ予測情報を受け取り、該イントラ予測情報に基づいて予測結果を生成するよう構成される。

残差デコーダ（８７３）は、逆量子化を実行して非量子化（de-quantized）変換係数を抽出し、非量子化変換係数を処理して残差情報を周波数領域から空間領域に変換するよう構成され得る。残差デコーダ（８７３）はまた、特定の制御情報（量子化器パラメータ（ＱＰ：Quantizer Parameter）を含む）も要求することがあり、この情報は、エントロピーデコーダ（８７１）によって提供され得る（これは低量の制御情報のみであり得るので、データ経路は図示されない）。

再構成モジュール（８７４）は、空間領域において、残差デコーダ（８７３）による出力としての残差情報と、（場合によっては、インター又はイントラ予測モジュールによる出力としての）予測結果とを組み合わせて再構成ブロックを形成するよう構成され、該再構成ブロックは、再構成ビデオの一部であり得る再構成ピクチャの一部であり得る。視覚品質を改善するために、デブロッキング操作等の他の適切な操作を実行することができることに留意されたい。

ビデオエンコーダ（４０３）、（６０３）及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、任意の適切な技術を使用して実装されることができることに留意されたい。一態様では、ビデオエンコーダ（４０３）、（６０３）及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、１つ以上の集積回路を使用して実装されることができる。別の態様では、ビデオエンコーダ（４０３）、（６０３）及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実装されることができる。

ＶＶＣでは、様々なインター予測モードを使用することができる。インター予測ＣＵの場合、動きパラメータは、ＭＶと、１つ以上の参照ピクチャインデックスと、参照ピクチャリスト利用インデックスと、インター予測サンプル生成に使用される特定のコーディング特徴の追加情報を含むことができる。動きパラメータを、明示的又は暗黙的にシグナリングすることができる。ＣＵがスキップモードでコーディングされるとき、ＣＵは予測ユニット（ＰＵ）に関連付けられる可能性があり、有意な残差係数、コーディングされた動きベクトルデルタ又はＭＶ差分（例えばＭＶＤ）又は参照ピクチャインデックスを有しない可能性がある。

現在のＣＵのための動きパラメータが、空間及び／又は時間候補と、任意にＶＶＣで導入されるような追加情報とを含む、隣接ＣＵから取得される、マージモードを指定することができる。スキップモードだけでなく、マージモードを、インター予測されたＣＵにも適用することができる。一例では、マージモードに対する代替は、動きパラメータの明示的な送信であり、この場合、ＭＶ、各参照ピクチャリスト及び参照ピクチャリスト使用フラグの対応する参照ピクチャインデックス及び他の情報が、ＣＵごとに明示的にシグナリングされる。

ＶＶＣのような態様では、ＶＶＣテストモデル（ＶＴＭ）参照ソフトウェアは、拡張マージ予測、動きベクトル差分によるマージ（ＭＭＶＤ、merge with motion vector difference）モード、対称ＭＶＤシグナリングによる適応動きベクトル予測（ＡＭＶＰ、adaptive motion vector prediction）モード、アフィン動き補償予測、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ、subblock-based temporal motion vector prediction）、適応動きベクトル解像度（ＡＭＶＲ、adaptive motion vector resolution）、動きフィールドストレージ（１／１６ルマ・サンプルＭＶストレージ及び８×８動きフィールド圧縮）、ＣＵレベル重みによる双予測（ＢＣＷ、bi-prediction with CU-level weights）、双方向オプティカルフロー（ＢＤＯＦ、bi-directional optical flow）、オプティカルフローを使用する予測リファインメント（ＰＲＯＦ、prediction refinement using optical flow）、デコーダ側動きベクトルリファインメント（ＤＭＶＲ、decoder side motion vector refinement）、結合インター及びイントラ予測（ＣＩＩＰ、combined inter and intra prediction）、幾何学的分割モード（ＧＰＭ、geometric partitioning mode）等を含む、１つ以上の改良されたインター予測コーディングツールを含む。インター予測及び関連する方法は、以下で詳細に説明される。

いくつかの例では、拡張マージ予測を使用することができる。ＶＴＭ４のような例では、マージ候補リストは、次の５つのタイプの候補：すなわち、空間隣接ＣＵからの空間動きベクトル予測器（ＭＶＰ、motion vector predictor）と、コロケート（co-located）ＣＵからの時間ＭＶＰと、先入れ先出し（ＦＩＦＯ）テーブルからの履歴ベースＭＶＰと、ペアワイズ平均ＭＶＰと、ゼロＭＶを順に含めることによって構築される。

マージ候補リストのサイズを、スライスヘッダでシグナリングすることができる。一例では、マージ候補リストの最大許容サイズは、ＶＴＭ４では６である。マージモードでコーディングされた各ＣＵについて、最良のマージ候補のインデックス（例えばマージインデックス）を、切り捨て単項二値化（ＴＵ）を使用して符号化することができる。マージインデックスの第１ビンを、コンテキスト（例えばコンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ、context-adaptive binary arithmetic coding）でコーディングすることができ、バイパスコーディングを、他のビンに使用することができる。

マージ候補の各カテゴリの生成プロセスのいくつかの例が以下に提供される。一態様では、空間候補は、以下のように導出される。ＶＶＣにおける空間マージ候補の導出は、ＨＥＶＣにおけるものと同一にすることができる。一例では、図９に示される位置に配置された候補の中から最大４つのマージ候補が選択される。図９は、本発明の態様による空間マージ候補の位置を示す。図９を参照すると、導出の順序は、Ｂ１、Ａ１、Ｂ０、Ａ０、そしてＢ２である。位置Ｂ２は、位置Ａ０、Ｂ０、Ｂ１及びＡ１のいずれかのＣＵが利用可能でないとき（例えばＣＵが別のスライス又は別のタイルに属するために）、あるいはイントラコーディングされているときにのみ考慮される。位置Ａ１の候補が追加された後、残りの候補の追加は、同じ動き情報を有する候補を候補リストから除外することを保証する冗長チェックの対象となり、その結果、コーディング効率を向上させる。

計算の複雑さを低減するために、必ずしもすべての可能な候補ペアが、前述の冗長チェックにおいて考慮されるわけではない。代わりに、図１０の矢印でリンクされたペアのみが考慮され、候補は、冗長チェックに使用される対応する候補が同じ動き情報を持たない場合にのみ候補リストに追加される。図１０は、本開示の態様による空間マージ候補の冗長チェックについて考慮される候補ペアを示す。図１０を参照すると、それぞれの矢印でリンクされたペアは、Ａ１とＢ１、Ａ１とＡ０、Ａ１とＢ２、Ｂ１とＢ０、及びＢ１とＢ２を含む。したがって、位置Ｂ１、Ａ０及び／又はＢ２の候補を位置Ａ１の候補と比較することができ、位置Ｂ０及び／又はＢ２の候補を位置Ｂ１の候補と比較することができる。

一態様では、時間候補は、以下のように導出される。一例では、１つの時間マージ候補のみが候補リストに追加される。図１１は、時間マージ候補についての例示の動きベクトルスケーリングを示す。現在のピクチャ（１１０１）における現在のＣＵ（１１１１）の時間マージ候補を導出するために、スケーリングされたＭＶ（１１２１）（例えば図１１では点線で示される）を、コロケート参照ピクチャ（１１０４）に属するコロケートＣＵ（１１１２）に基づいて導出することができる。コロケートＣＵ（１１１２）を導出するために使用される参照ピクチャリストを、スライスヘッダ内で明示的にシグナリングすることができる。図１１の点線で示されるように、時間マージ候補のスケーリングされたＭＶ（１１２１）を取得することができる。スケーリングされたＭＶ（１１２１）は、ピクチャ順序カウント（ＰＯＣ、picture order count）距離ｔｂ及びｔｄを使用して、コロケートＣＵ（１１１２）のＭＶからスケーリングされることができる。ＰＯＣ距離ｔｂは、現在のピクチャ（１１０１）の現在の参照ピクチャ（１１０２）と現在のピクチャ（１１０１）との間のＰＯＣ差であるように定義されることができる。ＰＯＣ距離ｔｄは、コロケートピクチャ（１１０３）のコロケート参照ピクチャ（１１０４）と、コロケートピクチャ（１１０３）との間のＰＯＣ差であるように定義されることができる。時間マージ候補の参照ピクチャインデックスをゼロに設定することができる。

図１２は、現在のＣＵの時間マージ候補の例示的候補位置（例えばＣ０及びＣ１）を示す。時間マージ候補の位置を、候補位置Ｃ０とＣ１との間で選択することができる。候補位置Ｃ０は、現在のＣＵのコロケートＣＵ（１２１０）の右下角に位置する。候補位置Ｃ１は、現在のＣＵのコロケートＣＵ（１２１０）の中心に位置する。候補位置Ｃ０のＣＵが利用可能でないか、イントラコーディングされるか、又はＣＴＵの現在の行の外側にある場合、候補位置Ｃ１は、時間マージ候補を導出するために使用される。そうでなければ、例えば候補位置Ｃ０におけるＣＵが利用可能であり、イントラコーディングされ、ＣＴＵの現在の行にあり、候補位置Ｃ０が、時間マージ候補を導出するために使用される。

いくつかのシステムでは、動きベクトル差分によるマージ（ＭＭＶＤ、Merge with Motion Vector Difference）は、動きベクトル表現方法によるスキップモード又はマージモードに使用される。ＭＭＶＤは、ＶＶＣにおいてマージ候補を再利用する。図１３は、参照ピクチャリスト０（Ｌ０）（１３０２）と参照ピクチャリスト１（Ｌ１）（１３０６）を使用する、現在のフレーム（１３０４）の現在のブロック（１３０８）の例示のＭＭＶＤ探索プロセスを示す。いくつかの態様では、探索は、Ｌ０（１３０２）及びＬ１（１３０６）内のＭＭＶＤ探索点にわたって実行され、ここで、例示的な探索点は、図１４に示されている。マージ候補の中から候補を選択することができ、動きベクトル表現によって更に拡張する。ＭＭＶＤは、簡略化されたシグナリングで動きベクトル表現を提供する。表現方法は、開始点、動きの大きさ及び動きの方向を含む。

ＭＭＶＤ技術はＶＶＣにおけるマージ候補リストを使用するが、デフォルトマージタイプ（ＭＲＧ＿ＴＹＰＥ＿ＤＥＦＡＵＬＴ＿Ｎ）である候補のみがＭＭＶＤの拡張について考慮される。ベース候補インデックスは、開始点を定義する。ベース候補インデックスは、次のようにリスト内の候補の中で最良の候補を示し、ここで、ＭＶＰは、動きベクトル予測器（motion vector predictor）を表す。

ベース候補の数が１に等しい場合、ベース候補ＩＤＸはシグナリングされない。距離インデックスは、動き大きさ情報である。距離インデックスは、開始点情報からの事前定義された距離を示す。事前定義された距離は以下のとおりである：

方向インデックスは、開始点に対するＭＶＤの方向を表す。方向インデックスは、４つの方向のうちの１つを表すことができる。ＭＭＶＤフラグは、スキップフラグ及びマージフラグを送信した直後にシグナリングされる。スキップフラグ及びマージフラグが真の場合、ＭＭＶＤフラグが解析される。ＭＭＶＤフラグが１に等しい場合、ＭＭＶＤ構文が解析され、１でない場合、ＡＦＦＩＮＥフラグが解析される。ＡＦＦＩＮＥフラグが１に等しい場合、すなわち、ＡＦＦＩＮＥモードであるが、１でない場合、スキップ／マージインデックスがＶＴＭのスキップ／マージモードに対して解析される。

いくつかの例では、ＭＭＶＤ及びアフィンＭＭＶＤ上のテンプレートマッチングベースの候補並べ替えを使用することができる。いくつかのシステムでは、ＭＭＶＤオフセット（ＭＭＶＤモードのオフセット）は、ＭＭＶＤモード及びアフィンＭＭＶＤモードについて拡張される。ｋ×π／８の対角に沿った追加のリファインメント位置（refinement positions）が、図１５の例示的な探索点（１５００）に示されるように追加され、したがって、方向の数が４から１６に増加する。第２に、テンプレート（現在のブロックに対して１行上及び１列左）と、各リファインメント位置に対するその参照との間の絶対差分和（ＳＡＤ、sum of absolute difference）コストに基づいて、各ベース候補に対するすべての可能なＭＭＶＤリファインメント位置（１６×６）が並べ替えられる。２つのブロック間のＳＡＤは、２つのブロック間の各画素値の差の絶対値の全画素にわたる和である。最後に、最も小さいテンプレートＳＡＤコストを有する上位１／８のリファインメント位置が、結果的にＭＭＶＤインデックスコーディングのために、利用可能な位置として保持される。ＭＭＶＤインデックスは、２に等しいパラメータを有するライスコードによって二値化される。

一例では、（１，１）のベースＭＶに適用される（１，１）のオフセットは、（２，２）のＭＶをもたらす。したがって、オフセットは、ＭＶＰの上に（すなわち、ＭＶＰに加えて）適用されるＭＶＤである。

別の方法では、上述のようなＭＭＶＤ拡張の上に、アフィンＭＭＶＤ並べ替えも拡張され、ｋ×π／４対角に沿った追加のリファインメント位置が追加される。並べ替えの後、最小のテンプレートＳＡＤコストを有するリファインメント位置の半分が保持される。

コーディング効率を改善し、動きベクトル情報の伝送オーバヘッドを低減するために、サブブロックレベルの動きベクトルリファインメントを適用して、ＣＵレベルの時間動きベクトル予測（ＴＭＶＰ）を拡張する。サブブロックベースのＴＭＶＰ（ＳｂＴＭＶＰ）は、コロケート参照ピクチャからサブブロックレベルで動き情報を継承することを可能にする。大きなサイズのＣＵの各サブブロックは、ブロック分割構造又は動き情報を明示的に送信することなく、それ自体の動き情報を有することができる。ＳｂＴＭＶＰは、各サブブロックの動き情報を３つのステップで取得する。最初のステップは、現在のＣＵの変位ベクトル（ＤＶ）の導出である。次に、ＳｂＴＭＶＰ候補の利用可能性をチェックし、中心運動（central motion）を導出する。最後に、ＤＶによって、対応するサブブロックからサブブロック動き情報を導出することができる。参照フレーム内のコロケートブロックから常に時間動きベクトルを導出するＴＭＶＰ候補導出とは異なり、ＳｂＴＭＶＰは、現在のＣＵの左隣接ＣＵのＭＶから導出されるＤＶを適用して、現在のＣＵの各サブブロックについてコロケートピクチャ内の対応するサブブロックを見つける。対応するサブブロックがインターコーディングされていない場合、現在のサブブロックの動き情報は中心運動となるように設定される。

ＭＶは、様々なモードで動き補償に使用されるベクトルの共通用語であり、一方、ＤＶはＳｂＴＭＶＰモードについて特別に定義されている。ＳｂＴＭＶＰでは、ＣＵを複数のサブブロックに分裂させ、参照ピクチャ内の位置を識別して、ＳｂＴＭＶＰ予測に、対応するサブブロックを使用する。この場合、ＳｂＴＭＶＰの参照ピクチャ内の参照ブロック位置をポイントするベクトルはＤＶである。一般に、予測モードに応じて、ＭＶをブロック又はサブブロックに使用することができる。ＳｂＴＭＶＰモードでは、ＤＶは、ＳｂＴＭＶＰ予測のためにブロック全体をポイントし、一方、ＭＶは、ＳｂＴＭＶＰ予測の後にサブブロックの動き補償に使用される。

ＶＶＣはＳｂＴＭＶＰ法をサポートする。ＨＥＶＣのＴＭＶＰと同様に、ＳｂＴＭＶＰは、現在のピクチャ内のＣＵについての動きベクトル予測とマージモードを改善するために、コロケートピクチャ内の動きフィールドを使用する。ＴＭＶＰによって使用される同じコロケートピクチャが、ＳｂＴＭＶＰに使用される。ＳｂＴＭＶＰは、以下の２つの主な側面においてＴＭＶＰとは異なる。第１に、ＴＭＶＰはＣＵレベルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。第２に、ＴＭＶＰは、コロケートピクチャ内のコロケートブロックから時間動きベクトルをフェッチする（コロケートブロックは、現在のＣＵに対して右下又は中央のブロックである）のに対し、ＳｂＴＭＶＰは、コロケートピクチャから時間動き情報をフェッチする前に、動きシフトを適用し、ここで、動きシフトは、現在のＣＵの空間隣接ブロックのうちの１つからの動きベクトルから取得される。

ＳｂＴＭＶＰプロセスは、図１６及び図１７に図示される。ＳｂＴＭＶＰは、現在のピクチャ（１７００）における現在のＣＵ（１６００）内のサブＣＵの動きベクトルを２つのステップで予測する。第１のステップでは、空間近傍Ａ１（１６０２）が検査される。Ａ１（１６０２）が、その参照ピクチャとしてコロケートピクチャ（１７０２）を使用する動きベクトル（１７０４）を有する場合、この動きベクトル（１７０４）は、適用される動きシフト（又は変位ベクトル）であるように選択される。そのような動きが識別されない場合、動きシフトは（０，０）に設定される。

第２のステップでは、ステップ１で識別された動きシフトが適用され（すなわち、現在のブロックの座標に追加され）、図１７に示されるように、コロケートピクチャ（１７０２）からサブＣＵレベルの動き情報（動きベクトル及び参照インデックス）が取得される。図１７の例では、動きシフトは、ブロックＡ１の動きに対して設定されると仮定している。次に、各サブＣＵに対して、コロケートピクチャ（１７０２）内のその対応するブロックの動き情報（中心サンプルをカバーする最小の動きグリッド）を使用して、サブＣＵの動き情報を導出する。コロケートサブＣＵの動き情報が識別された後、それは、ＨＥＶＣのＴＭＶＰプロセスと同様の方法で、現在のサブＣＵの動きベクトル及び参照インデックスに変換され、ここで、時間動きスケーリングが適用されて、現在のＣＵ（１６００）の参照ピクチャに対して時間動きベクトルの参照ピクチャを位置合わせする。

ＶＶＣでは、ＳｂＴＭＶＰ候補とアフィンマージ候補の両方を含む結み合わせサブブロックベースのマージリストが、サブブロックベースのマージモードのシグナリングに使用される。ＳｂＴＭＶＰモードは、シーケンスパラメータセット（ＳＰＳ、sequence parameter set）フラグによってイネーブル／ディスエーブルされる。ＳｂＴＭＶＰモードがイネーブルされる場合、ＳｂＴＭＶＰ予測器は、サブブロックベースのマージ候補のリストの第１のエントリとして追加され、その後にアフィンマージ候補が続く。サブブロックベースのマージリストのサイズはＳＰＳでシグナリングされ、サブブロックベースのマージリストの最大許容サイズはＶＶＣでは５である。

ＶＶＣでは、ＳｂＴＭＶＰで使用されるサブＣＵサイズは８×８となるように固定され、アフィンマージモードで行われるように、ＳｂＴＭＶＰモードは、８以上の幅と高さの両方を持つＣＵにのみ適用可能である。サブブロックサイズは、ＶＶＣを超える探索に使用される拡張圧縮モデル（ＥＣＭ、enhanced compression model）ソフトウェアモデルでは、４×４のような他のサイズに構成可能であってよい。

ＶＶＣ及びＥＣＭでは、サブブロックベースのＴＭＶＰは、現在のＣＵの隣接ＣＵのＭＶからのみ導出されるＤＶを使用することによって可能にされる。しかしながら、導出されたＤＶを有するＳｂＴＭＶＰは、最良の一致ではない可能性がある。

本開示の態様は、別々に使用されてもよく、あるいは任意の順序で組み合わされてもよい。さらに、本開示の態様は、処理回路（例えば集積回路のような処理回路を含む１つ以上のプロセッサ）によって実装されてよい。一例では、１つ以上のプロセッサは、非一時的コンピュータ読取可能媒体に記憶されたプログラムを実行する。

本明細書で使用されるとき、テンプレートは、現在のブロックの予め定義された隣接する再構成エリアを指す。一例では、テンプレートは、上に隣接する再構成サンプルの上Ｎ行、及び／又は、左に隣接する再構成サンプルの左Ｍ列を含み得る。Ｍ及びＮの例示的な値は、１、２、３、４、．．．を含むが、これらに限定されない。

いくつかの態様では、単一のＤＶ予測器が存在し得るが、ＤＶオフセットは、ＳｂＴＭＶＰで使用される最終的なＤＶを導出するために、ＤＶ予測器に対する補正（ＭＭＶＤ等）として更にシグナリングされる。オフセットは、例えばオフセットのセットに関連付けられるインデックスの予め合意されたセットのセットからのインデックスをシグナリングすることによって、シグナリングされてもよい。あるいは、ＤＶオフセットのセットは、コーディングされたビットストリームでシグナリングされてもよい。いくつかの他の態様では、ＳｂＴＭＶＰで使用される最終的なＤＶを導出するための複数のＤＶ予測器（すなわち、複数のベース予測器）が存在し得る。これらの場合、選択されたＤＶ予測器に加えて、ＤＶオフセットをシグナリングすることも、シグナリングしないこともできる。

サブブロックベースのＴＭＶＰ（ＳｂＴＭＶＰ）に対して、ＤＶのオフセットをシグナリングするとき、いくつかの現在の態様は、候補ＤＶオフセットを、テンプレートマッチングを使用して、それらの関連付けられるコスト値に基づいて並べ替える。現在のコーディングブロックのテンプレートは、候補ＤＶオフセット及びＤＶ予測器（任意の空間近傍又はスケーリングを伴う任意の時間近傍のような隣接ブロックの動き情報から導出される）によって指定される異なる候補位置に位置する複数のブロックのテンプレートと比較され、コスト値Ｃは、各候補ＤＶオフセットについて計算される。

コスト値Ｃは、現在のコーディングブロックのテンプレートのサンプル値と、候補ＤＶオフセット及びＤＶ予測器によって指定された各候補位置のサンプル値との間の差を表す。すなわち、コスト値Ｃは、現在のコーディングブロックのテンプレートのサンプル値と、対応する候補位置のサンプル値との間の類似度を表す。例えばより低いＣの値は、現在のブロックのテンプレートのサンプル値と対応する候補位置のサンプル値との間の類似度が高いことを示し、より高いＣの値は、類似度が低いことを示し得る。

したがって、各候補ＤＶオフセットに対して計算されたコスト値Ｃは、現在のコーディングブロックのテンプレートのサンプル値と、ＤＶ予測器とそれぞれの候補ＤＶオフセットとの組合せによって表される候補位置のサンプル値との間の類似度を表す。コスト値に基づいて、ＤＶオフセット候補は、例えば昇順又は降順に基づいて並べ替えられる。

この例は図１８に示されており、図１８では、現在のブロック（１６００）のテンプレートはＴｃであり、テンプレートマッチングの後、Ｔ０及びＴ１は、２つの例示的な候補ＤＶｓに関連付けられるテンプレートであり、２つの例示的な候補ＤＶｓは、ＤＶ予測器に適用される異なるＤＶオフセット値によって導出される。コスト値は、各ＤＶオフセット候補に対して計算され、次いで、コストに基づいて、ＤＶオフセット候補インデックス（例えばＭＭＶＤインデックス）が並べ替えられ、並べ替えられたインデックスのうちの選択されたインデックスが、選択されたＤＶオフセットを示すために、エンコーダによってデコーダに更にシグナリングされる。選択されたＤＶオフセットは次いで、ＤＶ予測器と組み合わせて使用され、ＳｂＴＭＶＰモードにおける現在のコーディングブロックを予測／再構成し得る。

いくつかの態様では、選択されたインデックスは、追加のシグナリングなしに、デフォルトで、上記で計算された最小コストに関連付けられるインデックスとして選択されてもよい。他のいくつかの態様では、選択されたインデックスは、最小の予測コストに関連付けられてもよい。

様々な態様で用いられるテンプレートの形状は、図１８に示される形状に限定されない。例えば様々な態様において、テンプレートは、ブロックの上の１つ以上の隣接セルのみ、ブロックの左側の１つ以上の隣接セルのみ、ブロックの上の１つ以上の隣接セルとブロックの左側の１つ以上の隣接セルの任意の組合せ等を含んでよい。

様々な代替的な態様では、コスト値Ｃは、現在のブロックのテンプレートのサンプル値と候補ブロックのテンプレートのサンプル値との間の絶対差分和（ＳＡＤ、Sum of Absolute Differences）、絶対変換差分和（ＳＡＴＤ、Sum of Absolute Transformed Differences）、二乗誤差分和（ＳＳＥ、Sum of Squared Error）、サブサンプリングＳＡＤ、平均除去（mean-removed）ＳＡＤ等によって計算されることができる。コスト値Ｃの様々な計算方法は、現在のブロックのテンプレートのサンプル値と、対応する候補位置のサンプル値との間の類似度を表す。例えば現在のブロックのテンプレートのサンプルと、候補位置の１つにおけるテンプレートのサンプルとが非常に類似しているとき、コスト値Ｃは、現在のブロックのテンプレートとその候補位置におけるテンプレートとの間の高い類似度を表すように非常に低いことがある。

一態様では、リスト上の候補のうちのいくつか（ＭＭＶＤ又は他の候補を含むことがある）のみが、テンプレートマッチングによって測定され、それらの関連するインデックスが並べ替えられる。リスト上の残りの候補については、相対的な順序は変更されないままである。例えば２つの水平方向と、２つの垂直方向と、４つの４５度方向を含む８方向があると仮定すると、４つの４５度方向のうちの１つを使用する確率は、他の方向に対して相対的に低いことがある。この場合、テンプレートマッチング、コスト計算及びインデックス並べ替えは、候補リストの上部にある２つの水平方向と２つの垂直方向２方向についてのみ行われてよく、候補リストの下部にある４つの４５度方向のインデックスの順序は変更されずに維持される。これは、計算の複雑さを低減する。

一態様では、リスト上のすべての候補（ＭＭＶＤ又は他の候補を含み得る）のテンプレートマッチングコストが測定され、すべての候補が並べ替えられる。並べ替えの後、最低コストを有する上位Ｎ個の候補（Ｎは、候補の総数以下）のみに［０，Ｎ－１］の範囲のインデックスが割り当てられ、インデックスはビットストリームにシグナリングされて、どの候補が使用されるかを示す。数Ｎを事前定義することができ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダ（ＰＨ）、スライスヘッダ（ＳＨ）等の高レベル構文にシグナリングすることができる。

ＳｂＴＭＶＰでは、複数のＤＶ予測器が利用可能であり、ＤＶ予測器の選択がシグナリングされるとき、いくつかの現在の態様は、ＤＶ予測器を、テンプレートマッチングによって導出されたそれらの関連するコスト値に基づいて並べ替える。コスト値に基づいて、候補ＤＶ予測器は、昇順又は降順に基づいて並べ替えられ、並べ替えられたインデックス内の選択されたＤＶ予測器のインデックスが、ＳｂＴＭＶＰで使用されるＤＶを導出するためにどのＤＶ予測器が適用されるかを示すためにシグナリングされる。選択されたＤＶ予測器は、リスト上の最初又は最後の予測器であってよく、あるいは、最も低い予測コストを有するリスト上の別のＤＶ予測器であってもよい。

いくつかのシステムでは、ＳｂＴＭＶＰのために、導出されたＤＶｓのリスト（すなわち、ＤＶ予測器が、ＤＶオフセットを更にシグナリングすることなく直接使用されるとき）を、空間隣接ＣＵのような方法から、あるいは履歴ベースの動きベクトル予測（ＨＭＶＰ）候補から構築することができる。リスト内のすべての候補ＤＶｓにわたって、これらと現在のブロックとの間のコスト値Ｃがテンプレートマッチングによって計算される。リストは、コスト値Ｃの降順又は昇順に並べ替えられる。インデックスがビットストリームにシグナリングされ、リスト内の導出されたどのＤＶが使用されるかを示す。テンプレートマッチングベースの並べ替えは、最も有用なＤＶ候補がより短いコードワードを有し、エントロピーコーディングのための効率的なコンテキストモデルを有するという点で有益である。

一態様では、並べ替えの後、リスト上の最初のＮ個の候補ＤＶｓのみに、シグナリングのためのインデックスが割り当てられてよく、その結果、シグナリングコストはＣの値に従って低減され得る。

別の態様では、候補ＤＶｓの並べ替えの後、最小のテンプレートマッチングコストを有する第１の候補ＤＶがデフォルトで使用されてよく、その結果、候補ＤＶｓのインデックスを示すためにシグナリングは必要とされない。

別の態様では、並べ替えリスト上の候補ＤＶｓのいずれかが、ビットストリーム内のインデックスによってシグナリングされてもよい。例えば最も低い予測コストを有する候補ＤＶは、ビットストリーム内のインデックスによってシグナリングされてもよい。

いくつかの態様は、複数のＤＶ予測器候補及び／又は複数のＤＶオフセットを有するＤＶ予測器を、単一のＤＶ候補リストにまとめてもよい。次いで、すべてのＤＶ候補は、テンプレートマッチングコストに基づいて並べ替えられてもよい。並べ替えられたリストから選択された候補のインデックスは、ビットストリームでシグナリングされてもよい。

一態様では、すべてのＤＶ予測器の上にオフセットを加えることによって生成されたすべての可能なＤＶ候補は、テンプレートマッチングコストを使用することによって、昇順又は降順に並べ替えられ、テンプレートマッチングベースの候補リストを構築する。上記リスト内のどの候補が選択されたかを示すために、インデックスがビットストリームでシグナリングされる。したがって、ベースＤＶ予測器シグナリングは必要とされない。

一態様では、すべての可能なＤＶ予測器候補と、オフセットをベース予測器に加えることによって生成されたすべての可能な候補とが一緒にされ、テンプレートマッチングコストに基づいて昇順に並べ替えられて、並べ替えられた候補リストを形成する。リスト内のどの候補が選択されたかを示すために、インデックスがシグナリングされる。この示された候補は、複数のベースＤＶ候補のうちの１つを有するＳｂＴＭＶＰ候補、あるいは複数のベースＤＶ候補のうちの１つの上にオフセットを有するＳｂＴＭＶＰ ＭＭＶＤ候補であり得る。

一例では、このテンプレートマッチングベースの並べ替えＳｂＴＭＶＰ候補リストは、独立の候補リストとして構築されてよく、ＳｂＴＭＶＰ候補リストのテンプレートマッチングベースの並べ替えが現在のフレームに対して有効にされるとき、ＳｂＴＭＶＰ候補は、アフィンマージ候補リストに含まれない。サブブロックマージモードがシグナリングされるとき、このＳｂＴＭＶＰリストを構築するかアフィンマージリストを構築するかを示すために、追加の構文がコーディングブロックレベルでシグナリングされてもよい。

一態様では、テンプレートマッチングベースの候補並べ替えは、ベースＤＶ予測器が決定されるときに適用されてよく、ＤＶ予測器の上にＤＶオフセットを加えることによって生成されたすべての候補は、それらのテンプレートマッチングコストに基づいて並べ替えられてよく、その結果、ベースＤＶ予測器のシグナリングと、並べ替えられたリストの候補インデックスのシグナリングとは、別々に行われてよい。

図１９～図２１は、本開示の様々な態様による、ＳｂＴＭＶＰの符号化／復号プロセス（１９００、２０００、２１００）を概説する例示のフローチャートを示す。様々な態様では、プロセス（１９００、２０００、２１００）の各々１つは、端末デバイス（３１０）、（３２０）、（３３０）及び（３４０）内の処理回路、ビデオエンコーダ（例えば（４０３）、（６０３）、（７０３））の機能を実行する処理回路、ビデオデコーダ（例えば（４１０）、（５１０）、（８１０））の機能を実行する処理回路等のような処理回路によって実行されてもよい。いくつかの態様では、プロセス（１９００、２０００、２１００）の各々１つは、ソフトウェア命令で実装されてもよく、したがって、処理回路がソフトウェア命令を実行するとき、処理回路は、プロセス（１９００、２０００、２１００）のうちの１つを実行する。プロセス（１９００、２０００、２１００）の各々１つを、様々なシナリオに適切に適合させることができ、プロセス（１９００、２０００、２１００）の各々１つにおけるステップを、それに応じて調整することができる。プロセス（１９００、２０００、２１００）の各々１つにおけるステップのうちの１つ以上を、適合させ、省略し、繰り返し、かつ／又は組み合わせることができる。任意の適切な順序を使用して、プロセス（１９００、２０００、２１００）の各々１つを実装することができる。追加のステップを追加することができる。

まず、図１９を参照すると、プロセス（１９００）は（Ｓ１９０１）で開始して（Ｓ１９１０）に進む。

（Ｓ１９０５）において、プロセス（１９００）は、コーディングされたビデオビットストリームから、現在のピクチャにおける現在のコーディングブロックの予測情報を受け取り、該予測情報は、現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされていることを示す。

（Ｓ１９１０）において、プロセス（１９００）は、複数の変位ベクトル（ＤＶ）オフセット候補を、現在のコーディングブロックの固定ＤＶ予測器に適用することによって、複数のＤＶ候補を導出する。

（Ｓ１９２０）において、プロセス（１９００）は、現在のコーディングブロックのテンプレートを複数のテンプレートの各々と比較し、複数のテンプレートの各テンプレートは、複数のＤＶ候補のうちの対応する１つによって指定された位置に配置される。

（Ｓ１９３０）において、プロセス（１９００）は、比較に基づいて、複数のＤＶオフセット候補の各々１つに関連付けられるコスト値を計算する。

（Ｓ１９４０）において、プロセス（１９００）は、複数のＤＶオフセット候補のＤＶオフセットインデックスを、それらの計算されたコスト値に基づいて、並べ替える。

一例では、プロセス（１９００）は、コーディングされたビデオビットストリーム内でシグナリングされたインデックスを更に受け取ることがあり、ここで、インデックスは、ＳｂＴＭＶＰを実行するためにどのＤＶオフセット候補が選択されるかを示す。

一例では、並べ替えの後、プロセス（１９００）は、ＳｂＴＭＶＰを実行するために、デフォルトで最も低い計算されたテンプレートマッチングコストを有するＤＶオフセット候補を更に選択してもよい。したがって、選択されたＤＶオフセットに対してシグナリングは必要とされない。

一例では、コスト値は、絶対差分和（ＳＡＤ、Sum of Absolute Differences）、絶対変換差分和（ＳＡＴＤ、Absolute Transformed Differences）、二乗誤差分和（ＳＳＥ、Sum of Squared Error）、サブサンプルＳＡＤ又は平均除去ＳＡＤを実行することによって計算される。

一例では、複数のＤＶ候補は、動きベクトル差分によるマージＭＭＶＤ（Merge with Motion Vector Difference）候補を含む。

一例では、比較、計算及び並べ替えは、ＭＭＶＤ候補のサブセットに対してのみ実行され、ここで、ＭＭＶＤ候補のうちの１つ以上の他のＭＭＶＤ候補の相対的順序は変更されずに維持される。

一例では、比較、計算及び並べ替えは、ＭＭＶＤ候補のすべてに対して実行され、ここで、並べ替えの後、ＭＭＶＤ候補のうち最も低いコストを有するＮ個のみが使用され、ここで、数Ｎは、ＭＭＶＤ候補の総数以下である。

一例では、どのＭＭＶＤ候補が使用されるかを示すために、［０，Ｎ－１］の範囲内のインデックスがビットストリームにシグナリングされ、ここで、数Ｎは、予め定義されるか又は高レベルの構文にシグナリングされる。

一例では、ＤＶオフセットインデックスは、それらの計算されたコスト値の降順又は昇順によって並べ替えられる。

プロセス（１９００）は次いで（Ｓ１９９９）に進み、終了する。

次に、図２０を参照すると、プロセス（２０００）は（Ｓ２００１）で開始して（Ｓ２０１０）に進む。

（Ｓ２００５）において、方法（２０００）は、コーディングされたビデオビットストリームから、現在のピクチャにおける現在のコーディングブロックの予測情報を受け取り、該予測情報は、現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされていることを示す。

（Ｓ２０１０）において、プロセス（２０００）は、現在のコーディングブロックのテンプレートを複数のテンプレートの各々と比較し、複数のテンプレートの各テンプレートは、複数の変位ベクトル（ＤＶ）予測器候補のうちの対応する１つによって指定された位置に配置される。

（Ｓ２０２０）において、プロセス（２０００）は、比較に基づいて、複数のＤＶ予測器候補の各々１つに関連付けられるコスト値を計算する。

（Ｓ２０３０）において、プロセス（２０００）は、複数のＤＶ予測器候補のリストを、それらの計算されたコスト値に基づいて並べ替える。

一例では、プロセス（２０００）は、コーディングされたビデオビットストリームでシグナリングされたインデックスを更に受け取り、ここで、インデックスは、ＳｂＴＭＶＰを実行するために、複数のＤＶ予測器候補の並べ替えされたリストから、どのＤＶ予測器候補が選択されるかを示す。

一例では、並べ替えの後、プロセス（２０００）は、ＳｂＴＭＶＰを実行するために、デフォルトで計算されたテンプレートマッチングコストが最も低いＤＶ予測器候補を更に選択する。

一例では、複数のＤＶ予測器候補のリストは、空間隣接コーディングユニット（ＣＵ）から、あるいは履歴ベースの動きベクトル予測（ＨＭＶＰ）候補から構築される。

一例では、並べ替えの後、リスト上の複数のＤＶ予測器候補のうちの最初のＮ個のみがシグナリングされる。

一例では、リスト内の複数のＤＶ予測器候補は、それらの計算されたコスト値の降順又は昇順によって並べ替えられる。

プロセス（２０００）は次いで（Ｓ２０９９）に進み、終了する。

次に、図２１を参照すると、プロセス（２１００）は（Ｓ２１０１）で開始して（Ｓ２１１０）に進む。

（Ｓ２１０５）において、プロセス（２１００）は、コーディングされたビデオビットストリームから、現在のピクチャにおける現在のコーディングブロックの予測情報を受け取り、該予測情報は、現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされていることを示す。

（Ｓ２１１０）において、プロセス（２１００）は、現在のコーディングブロックの複数の変位ベクトル（ＤＶ）候補を含むＳｂＴＭＶＰ候補リストを生成し、ここで、ＳｂＴＭＶＰ候補リストは、いずれのＤＶオフセットも適用せずに導出された少なくとも１つのＤＶ予測器候補と、ＤＶオフセットをベースＤＶ予測器に適用することによって導出された少なくとも１つの他のＤＶ予測器候補とを含む。

（Ｓ２１２０）において、プロセス（２１００）は、現在のコーディングブロックのテンプレートを複数のテンプレートの各々と比較し、複数のテンプレートの各テンプレートは、ＳｂＴＭＶＰ候補リスト内の複数のＤＶ候補のうちの対応する１つによって指定された位置に配置される。

（Ｓ２１３０）において、プロセス（２１００）は、比較に基づいて、複数のＤＶ候補の各々１つに関連付けられるコスト値を計算する。

（Ｓ２１４０）において、プロセス（２１００）は、ＳｂＴＭＶＰ候補リストの複数のＤＶ候補を、それらの計算されたコスト値に基づいて並べ替える。

一例では、プロセス（２１００）は、コーディングされたビデオビットストリームでシグナリングされたインデックスを更に受け取り、ここで、インデックスは、ＳｂＴＭＶＰを実行するために、並べ替えられたＳｂＴＭＶＰ候補リストからどのＤＶ候補が選択されるかを示す。

一例では、選択されたＤＶ候補は、いかなるＤＶオフセットも適用せずに導出されたＳｂＴＭＶＰ ＤＶ候補であるか、あるいはそれぞれのＤＶオフセットをそれぞれのベースＤＶ予測器に適用することによって導出されたＳｂＴＭＶＰ ＭＭＶＤ（Merge with Motion Vector Difference）候補である。

一例では、選択されたＤＶ候補がＳｂＴＭＶＰ ＭＭＶＤ候補であるとき、それぞれのベースＤＶ予測器のシグナリングと、それぞれのＤＶオフセットのインデックスのシグナリングは、別々に実行される。

一例では、ＳｂＴＭＶＰ候補リストは、候補のテンプレートマッチングベースの並べ替えが現在のフレームに対して可能にされるとき、アフィンマージ候補リストとは独立に構築され、ここで、サブブロックマージモードがシグナリングされるとき、ＳｂＴＭＶＰ候補リストを構築するか又はアフィンマージ候補リストを構築するかを示すために、追加の構文がコーディングブロックレベルでシグナリングされる。

プロセス（２１００）は次いで（Ｓ２１９９）に進み、終了する。

本開示における態様は、別々に使用されてもよく、あるいは任意の順序で組み合わされてもよい。さらに、方法（又は態様）、エンコーダ及びデコーダの各々は、処理回路（例えば１つ以上のプロセッサ又は１つ以上の集積回路）によって実装されてもよい。一例では、１つ以上のプロセッサは、非一時的コンピュータ読取可能媒体に記憶されたプログラムを実行する。

上述の技術を、コンピュータ読取可能命令を使用してコンピュータソフトウェアとして実装し、１つ以上のコンピュータ読取可能媒体に物理的に記憶することができる。例えば図２２は、開示される主題の特定の態様を実装するのに適したコンピュータシステム（２２００）を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンキング又は類似のメカニズムの対象となり得る任意の適切な機械コード又はコンピュータ言語を使用してコーディングされ、１つ以上のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）等によって直接的に又は解釈やマイクロコード実行等を通して実行され得る命令を含む、コードを作成することができる。

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイス等を含む様々なタイプのコンピュータ又はその構成要素において実行されることができる。

コンピュータシステム（２２００）について図２２に示される構成要素は、本質的に例示であり、本開示の態様を実装するコンピュータソフトウェアの使用範囲又は機能性に関して、いかなる制限も示唆するように意図されていない。また、構成要素の構成は、コンピュータシステム（２２００）の例示的態様に示される構成要素の任意の１つ又は組合せに関するいかなる依存性又は要件も有するものとして解釈されてはならない。

コンピュータシステム（２２００）は、特定のヒューマンインタフェース入力デバイスを含み得る。そのようなヒューマンインタフェース入力デバイスは、例えば触覚入力（キーストローク、スワイプ、データグローブの動き等）、オーディオ入力（声、拍手等）、視覚入力（ジェスチャ等）、嗅覚入力（図示せず）を通して、１人以上の人間のユーザによる入力に応答し得る。また、ヒューマンインタフェース入力デバイスは、オーディオ（音声、音楽、環境音等）、画像（スキャンされた画像、静止画像カメラから得られる写真画像等）、ビデオ（２次元ビデオ、立体映像を含む３次元ビデオ等）のような、人間による意識的入力に必ずしも直接関係しているとは限らない、特定の媒体をキャプチャするためにも使用されることができる。

ヒューマンインタフェース入力デバイスは、キーボード（２２０１）、マウス（２２０２）、トラックパッド（２２０３）、タッチ画面（２２１０）、データグローブ（図示せず）、ジョイスティック（２２０５）、マイクロホン（２２０６）、スキャナ（２２０７）及びカメラ（２２０８）（各々の１つのみが図示される）のうちの１つ以上を含んでもよい。

コンピュータシステム（２２００）はまた、特定のヒューマンインタフェース出力デバイスも含み得る。そのようなヒューマンインタフェース出力デバイスは、例えば触覚出力、音響、光及び嗅覚／味覚を通して、１人以上の人間のユーザの感覚を刺激し得る。そのようなヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えばタッチ画面（２２１０）、データグローブ（図示せず）又はジョイスティック（２２０５）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスが存在する可能性もある）、オーディオ出力デバイス（スピーカ（２２０９）、ヘッドフォン（図示せず）等）、視覚出力デバイス（各々タッチ画面入力機能の有無にかかわらず、各々触覚フィードバック機能の有無にもかかわらないが、その一部は、立体画像出力や仮想現実グラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）のような手段を通して、２次元視覚出力又は３次元超の出力を出力することができる、ＣＲＴ画面、ＬＣＤ画面、プラズマ画面、ＯＬＥＤ画面を含む画面（２２１０）等）及びプリンタ（図示せず）を含んでよい。

コンピュータシステム（２２００）はまた、ＣＤ／ＤＶＤを有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（２２２０）を含む光媒体又は類似の媒体（２２２１）、サムドライブ（２２２２）、取り外し可能ハードドライブ又はソリッドステートドライブ（２２２３）、テープ及びフロッピーディスク（図示せず）のようなレガシー磁気媒体、セキュリティドングル（図示せず）のような特別なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスのような、ヒューマンアクセス可能なストレージデバイス及びそれらの関連する媒体も含むことができる。

当業者はまた、現在開示されている主題に関連して使用されるとき、「コンピュータ読取可能媒体」という用語が、伝送媒体、搬送波又は他の一時的信号を包含しないことを理解すべきである。

コンピュータシステム（２２００）はまた、１つ以上の通信ネットワーク（２２５５）へのインタフェース（２２５４）も含むことができる。ネットワークは、例えば無線、有線、光とすることができる。ネットワークは更に、ローカル、ワイドエリア、メトロポリタン、車両及び産業用、リアルタイム、遅延耐性等とすることができる。ネットワークの例は、イーサネット（登録商標）、無線ＬＡＮ等のローカルエリアネットワーク、ＧＳＭ（登録商標）、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ等を含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ及び地上放送ＴＶを含むＴＶ有線又は無線ワイドエリアデジタルネットワーク、ＣＡＮＢｕｓ等を含む車両及び産業用ネットワークを含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺バス（２２４９）に取り付けられ外部ネットワークインタフェースアダプタ（例えばコンピュータシステム（２２００）のＵＳＢポート等）を必要とし、他のものは、一般に、後述するシステムバスへの取り付けによって（例えばＰＣコンピュータシステムへのイーサネット（登録商標）インタフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）、コンピュータシステム（２２００）のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム（２２００）は、他のエンティティと通信することができる。このような通信は、例えばローカル又はワイドエリアデジタルネットワークを使用して、他のコンピュータシステムに対する、単方向の受信専用（例えば放送ＴＶ）、単方向の送信専用（例えば特定のＣＡＮｂｕｓから特定のＣＡＮｂｕｓデバイスへ）又は双方向であり得る。上述のように、特定のプロトコル及びプロトコルスタックを、これらのネットワーク及びネットワークインタフェースの各々において使用することができる。

前述のヒューマンインタフェースデバイス、ヒューマンアクセス可能なストレージデバイス及びネットワークインタフェースを、コンピュータシステム（２２００）のコア（２２４０）に取り付けることができる。

コア（２２４０）は、１つ以上の中央処理ユニット（ＣＰＵ）（２２４１）、グラフィクス処理ユニット（ＧＰＵ）（２２４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（２２４３）の形態の専用のプログラマブル処理ユニット、特定のタスク用のハードウェアアクセラレータ（２２４４）、グラフィクスアダプタ（２２５０）等を含むことができる。これらのデバイスは、読取専用メモリ（ＲＯＭ）（２２４５）、ランダムアクセスメモリ（ＲＡＭ）（２２４６）、内部非ユーザアクセス可能ハードドライブ、ＳＳＤ等の内部大容量ストレージ（２２４７）とともに、システムバス（２２４８）を通して接続され得る。いくつかのコンピュータシステムでは、システムバス（２２４８）は、追加のＣＰＵ、ＧＰＵ等による拡張を可能にするために、１つ以上の物理的プラグの形態でアクセス可能である。周辺デバイスを、コアのシステムバス（２２４８）に直接又は周辺バス（２２４９）を介して取り付けることができる。一例では、画面（２２１０）をグラフィクスアダプタ（２２５０）に接続することができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢ等を含む。

ＣＰＵ（２２４１）、ＧＰＵ（２２４２）、ＦＰＧＡ（２２４３）及びアクセラレータ（２２４４）は、組み合わされて上述のコンピュータコードを構成することができる、特定の命令を実行することができる。そのコンピュータコードを、ＲＯＭ（２２４５）又はＲＡＭ（２２４６）に記憶することができる。また、一時的なデータをＲＡＭ（２２４６）に記憶することができ、一方、永久的なデータを、例えば内部大容量ストレージ（２２４７）に記憶することができる。１つ以上のＣＰＵ（２２４１）、ＧＰＵ（２２４２）、大容量ストレージ（２２４７）、ＲＯＭ（２２４５）、ＲＡＭ（２２４６）等と密接に関連付けることができるキャッシュメモリの使用を通して、メモリデバイスのいずれかに対する高速記憶及び取り出しを可能にすることができる。

コンピュータ読取可能媒体は、様々なコンピュータ実装される動作を実行するためのコンピュータコードをその上に有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものとすることができ、あるいはそれらは、コンピュータソフトウェア技術の当業者に周知かつ利用可能な種類のものとすることができる。

限定ではなく例として、アーキテクチャ（２２００）及び特にコア（２２４０）を有するコンピュータシステムは、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ等を含む）が１つ以上の有形のコンピュータ読取可能媒体に具現化されたソフトウェアを実行する結果としての機能性を提供することができる。このようなコンピュータ読取可能媒体は、上記で紹介したようなユーザアクセス可能な大容量ストレージ、並びにコア内部大容量ストレージ（２２４７）又はＲＯＭ（２２４５）のような非一時的な性質のコア（２２４０）の特定のストレージに関連付けられる媒体とすることができる。本開示の様々な態様を実装するソフトウェアを、そのようなデバイスに記憶して、コア（２２４０）によって実行することができる。コンピュータ読取可能媒体は、特定のニーズに従って、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（２２４０）及び特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を含む）に、ＲＡＭ（２２４６）に記憶されるデータ構造を定義することと、ソフトウェアによって定義されるプロセスに従ってそのようなデータ構造を修正することとを含む、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。追加又は代替として、コンピュータシステムは、論理ハードワイヤ又は他の方法で回路（例えばアクセラレータ（２２４４））内に具現化された結果として機能性を提供することができ、この回路は、ソフトウェアの代わりに又はソフトウェアとともに動作して、本明細書で説明される特定のプロセス又は特定のプロセスの特定の部分を実行することができる。ソフトウェアへの言及はロジックを含み、また、必要に応じて、その逆も可能である。コンピュータ読取可能媒体への参照は、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）等）、実行のためのロジックを具体化する回路又は適切な場合にはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。

本明細書で使用されるいくつかの頭字語は以下を含む。

ＪＥＭ：joint exploration model

ＶＶＣ：versatile video coding

ＢＭＳ：ベンチマークセット（benchmark set）

ＭＶ：動きベクトル（Motion Vector）

ＨＥＶＣ：高効率ビデオコーディング（High Efficiency Video Coding）

ＳＥＩ：補足強化情報（Supplementary Enhancement Information）

ＶＵＩ：ビデオユーザビリティ情報（Video Usability Information）

ＧＯＰｓ：グループオブピクチャ（Groups of Pictures）

ＴＵｓ：変換ユニット（Transform Units）

ＰＵｓ：予測ユニット（Prediction Units）

ＣＴＵｓ：コーディングツリーユニット（Coding Tree Units）

ＣＴＢｓ：コーディングツリーブロック（Coding Tree Blocks）

ＰＢｓ：予測ブロック（Prediction Blocks）

ＨＲＤ：仮想リファレンスデコーダ（Hypothetical Reference Decoder）

ＳＮＲ：信号対ノイズ比（Signal Noise Ratio）

ＣＰＵｓ：中央処理ユニット（Central Processing Units）

ＧＰＵｓ：グラフィクス処理ユニット（Graphics Processing Units）

ＣＲＴ：ブラウン管（Cathode Ray Tube）

ＬＣＤ：液晶ディスプレイ（Liquid-Crystal Display）

ＯＬＥＤ：有機発光ダイオード（Organic Light-Emitting Diode）

ＣＤ：コンパクトディスク（Compact Disc）

ＤＶＤ：デジタルビデオディスク（Digital Video Disc）

ＲＯＭ：読取専用メモリ（Read-Only Memory）

ＲＡＭ：ランダムアクセスメモリ（Random Access Memory）

ＡＳＩＣ：特定用途向け集積回路（Application-Specific Integrated Circuit）

ＰＬＤ：プログラマブル論理デバイス（Programmable Logic Device）

ＬＡＮ：ローカルエリアネットワーク（Local Area Network）

ＧＳＭ：汎欧州デジタル移動電話方式（Global System for Mobile communications）

ＬＴＥ：長期進化（Long-Term Evolution）

ＣＡＮＢｕｓ：コントローラエリアネットワークバス（Controller Area Network Bus）

ＵＳＢ：ユニバーサルシリアルバス（Universal Serial Bus）

ＰＣＩ：周辺構成要素相互接続（Peripheral Component Interconnect）

ＦＰＧＡ：フィールドプログラマブルゲートアレイ（Field Programmable Gate Array）

ＳＳＤ：ソリッドステートドライブ（solid-state drive）

ＩＣ：集積回路（Integrated Circuit）

ＣＵ：コーディングユニット（Coding Unit）

Ｒ－Ｄ：レート歪み（Rate-Distortion）

ＨＤＲ：高ダイナミックレンジ（High dynamic range）

ＳＤＲ：標準ダイナミックレンジ（Standard dynamic range）

ＪＶＥＴ：Joint Video Exploration Team

ＡＭＶＲ：適応動きベクトル解像度（Adaptive Motion Vector Resolution）

ＰＯＣ：ピクチャ順序カウント（Picture Order Count）

ＳｂＴＭＶＰ：サブブロックベースの一時的動きベクトル予測器（Subblock-based Temporal Motion Vector Predictor）

ＤＶ：変位ベクトル（displacement vector）

本開示は、いくつかの例示的な態様を説明しているが、本開示の範囲内にある変更、置換及び様々な代替均等物が存在する。したがって、当業者は、本明細書に明示的に示されていないか又は説明されていないが、本開示の原理を具体化しており、よって、本開示の精神及び範囲内にある、様々システム及び方法を考案することができることが理解されよう。

Claims (21)

1. ビデオ復号のために、処理回路によって実行される方法であって、
   コーディングされたビデオビットストリームから、現在のピクチャにおける現在のコーディングブロックの予測情報を受け取るステップであって、前記予測情報は、現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされることを示す、ステップと、
   前記コーディングされたビデオビットストリームから、複数の変位ベクトル（ＤＶ）オフセットを取得するステップであって、各ＤＶオフセットは変位ベクトル候補に対応する、ステップと、
   前記複数のＤＶオフセットを前記現在のコーディングブロックの固定ＤＶ予測器に適用することによって、複数のＤＶ候補を導出するステップと、
   前記現在のコーディングブロックのテンプレートを複数のテンプレートの各々と比較するステップであって、前記複数のテンプレートの各テンプレートは、前記複数のＤＶ候補のうちの対応する１つによって指定された位置に配置される、ステップと、
   前記比較に基づいて、前記複数のＤＶ候補の各々１つに関連付けられるコスト値を計算するステップと、
   前記複数のＤＶ候補のＤＶオフセットインデックスを、それらの計算されたコスト値に基づいて並べ替えるステップと、
   前記並べ替えられたＤＶオフセットインデックスから選択されたＤＶオフセットインデックスに少なくとも基づいて、前記ＳｂＴＭＶＰモードにおける前記現在のコーディングブロックを予測するステップと、
   を含む、方法。
2. 前記コーディングされたビデオビットストリームでシグナリングされるインデックスを受け取るステップを更に含み、前記インデックスは、ＳｂＴＭＶＰを実行するために、前記並べ替えられたＤＶオフセットインデックスの中からどのＤＶオフセット候補が選択されるかを示す、
   請求項１に記載の方法。
3. 前記並べ替えの後、当該方法は、ＳｂＴＭＶＰを実行するために、デフォルトで、最も低い計算されたテンプレートマッチングコストを有するＤＶオフセット候補を選択するステップを更に含む、
   請求項１に記載の方法。
4. 前記コスト値は、絶対差分和（ＳＡＤ）、絶対変換差分和（ＳＡＴＤ）、二乗誤差分和（ＳＳＥ）、サブサンプルＳＡＤ又は平均除去ＳＡＤを実行することによって計算される、
   請求項１に記載の方法。
5. 前記複数のＤＶ候補は、動きベクトル差分によるマージ（ＭＭＶＤ）候補を含む、
   請求項１に記載の方法。
6. 前記比較するステップ、前記計算するステップ及び前記並べ替えるステップは、前記ＭＭＶＤ候補のサブセットにのみに対して実行され、前記ＭＭＶＤ候補のうちの１つ以上の他のＭＭＶＤ候補の相対的順序は変更されずに維持される、
   請求項５に記載の方法。
7. 前記比較するステップ、前記計算するステップ及び前記並べ替えるステップは、前記ＭＭＶＤ候補のすべてに対して実行され、前記並べ替えの後、最も低いコストを有する前記ＭＭＶＤ候補のうちのＮ個のみが使用され、数Ｎは、前記ＭＭＶＤ候補の総数以下である、
   請求項５に記載の方法。
8. どのＭＭＶＤ候補が使用されるかを示すために、［０，Ｎ－１］の範囲のインデックスがビットストリームにシグナリングされ、数Ｎは、予め定義されるか又は高レベル構文にシグナリングされる、
   請求項７に記載の方法。
9. 前記ＤＶオフセットインデックスは、対応するＤＶオフセット候補について計算されたコスト値の降順又は昇順によって並べ替えられる、
   請求項１に記載の方法。
10. ビデオ復号のために、処理回路によって実行される方法であって、
    コーディングされたビデオビットストリームから、現在のピクチャにおける現在のコーディングブロックの予測情報を受け取るステップであって、前記予測情報は、前記現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされていることを示す、ステップと、
    前記現在のコーディングブロックのテンプレートを複数のテンプレートの各々と比較するステップであって、前記複数のテンプレートの各テンプレートは、複数の変位ベクトル（ＤＶ）予測器候補のうちの対応する１つによって指定された位置に配置される、ステップと、
    前記比較に基づいて、前記複数のＤＶ予測器候補の各々１つに関連付けられるコスト値を計算するステップと、
    前記複数のＤＶ予測器候補のリストを、それらの計算されたコスト値に基づいて並べ替えるステップと、
    前記複数のＤＶ予測器候補の前記並べ替えられたリストから選択されたＤＶ予測器に少なくとも基づいて、前記ＳｂＴＭＶＰモードにおける前記現在のコーディングブロックを予測するステップと、
    を含む、方法。
11. 前記複数のＤＶ予測器候補の前記リストは、空間隣接コーディングユニット（ＣＵ）から、あるいは履歴ベースの動きベクトル予測（ＨＭＶＰ）候補から構築される、
    請求項１０に記載の方法。
12. 前記並べ替えの後、前記リストの前記複数のＤＶ予測器候補のうちの最初のＮ個のみがシグナリングされる、
    請求項１０に記載の方法。
13. ビデオ復号のために、処理回路によって実行される方法であって、
    コーディングされたビデオビットストリームから、現在のピクチャにおける現在のコーディングブロックの予測情報を受け取るステップであって、前記予測情報は、前記現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされていることを示す、ステップと、
    前記現在のコーディングブロックの複数の変位ベクトル（ＤＶ）候補を含むＳｂＴＭＶＰ候補リストを生成するステップであって、前記ＳｂＴＭＶＰ候補リストは、いずれのＤＶオフセットも適用せずに導出された少なくとも１つのＤＶ予測器候補と、ＤＶオフセットをベースＤＶ予測器に適用することによって導出された少なくとも１つの他のＤＶ予測器候補とを含む、ステップと、
    前記現在のコーディングブロックのテンプレートを複数のテンプレートの各々と比較するステップであって、前記複数のテンプレートの各テンプレートは、前記ＳｂＴＭＶＰ候補リスト内の前記複数のＤＶ候補のうちの対応する１つによって指定された位置に配置される、ステップと、
    前記比較に基づいて、前記複数のＤＶ候補の各々１つに関連付けられるコスト値を計算するステップと、
    前記ＳｂＴＭＶＰ候補リスト内の前記複数のＤＶ候補を、それらの計算されたコスト値に基づいて並べ替えるステップと、
    前記ＳｂＴＭＶＰ候補リスト内の前記並べ替えられたＤＶ候補から選択されたＤＶ予測器候補に基づいて、前記ＳｂＴＭＶＰモードにおける前記現在のコーディングブロックを予測するステップと、
    を含む、方法。
14. 前記コーディングされたビデオビットストリームでシグナリングされたインデックスを受け取るステップを更に含み、前記インデックスは、ＳｂＴＭＶＰを実行するために、前記ＳｂＴＭＶＰ候補リストの前記並べ替えられたＤＶ候補からどのＤＶ候補が選択されるかを示す、
    請求項１３に記載の方法。
15. 前記選択されたＤＶ候補は、いかなるＤＶオフセットも適用せずに導出されたＳｂＴＭＶＰ ＤＶ候補であるか、あるいはそれぞれのＤＶオフセットをそれぞれのベースＤＶ予測器に適用することによって導出されたＳｂＴＭＶＰ ＭＭＶＤ候補である、
    請求項１４に記載の方法。
16. 前記選択されたＤＶ候補が前記ＳｂＴＭＶＰ ＭＭＶＤ候補であるとき、前記それぞれのベースＤＶ予測器のシグナリングと、前記それぞれのＤＶオフセットのインデックスのシグナリングは、別々に実行される、
    請求項１５に記載の方法。
17. 前記ＳｂＴＭＶＰ候補リストは、候補のテンプレートマッチングベースの並べ替えが現在のフレームに対して可能にされるとき、アフィンマージ候補リストとは独立に構築され、サブブロックマージモードがシグナリングされるとき、前記ＳｂＴＭＶＰ候補リストを構築するか又は前記アフィンマージ候補リストを構築するかを示すために、追加の構文がコーディングブロックレベルでシグナリングされる、
    請求項１３に記載の方法。
18. ビデオ符号化のために、処理回路によって実行される方法であって、
    コーディングされたビデオビットストリームに、現在のピクチャにおける現在のコーディングブロックの予測情報を追加するステップを備え、
    前記予測情報は、現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされることを示し、
    前記コーディングされたビデオビットストリームから、複数の変位ベクトル（ＤＶ）オフセットが取得され、
    前記複数のＤＶオフセットを前記現在のコーディングブロックの固定ＤＶ予測器に適用することによって、複数のＤＶ候補が導出され、
    前記現在のコーディングブロックのテンプレートが複数のテンプレートの各々と比較され、前記複数のテンプレートの各テンプレートは、前記複数のＤＶ候補のうちの対応する１つによって指定された位置に配置され、
    前記比較に基づいて、前記複数のＤＶ候補の各々１つに関連付けられるコスト値が計算され、
    前記複数のＤＶ候補のＤＶオフセットインデックスが、それらの計算されたコスト値に基づいて並べ替えられ、
    前記並べ替えられたＤＶオフセットインデックスから選択されたＤＶオフセットインデックスに少なくとも基づいて、前記ＳｂＴＭＶＰモードにおける前記現在のコーディングブロックが予測される、
    方法。
19. ビデオ符号化のために、処理回路によって実行される方法であって、
    コーディングされたビデオビットストリームに、現在のピクチャにおける現在のコーディングブロックの予測情報を追加するステップを備え、
    前記予測情報は、前記現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされていることを示し、
    前記現在のコーディングブロックのテンプレートが複数のテンプレートの各々と比較され、前記複数のテンプレートの各テンプレートは、複数の変位ベクトル（ＤＶ）予測器候補のうちの対応する１つによって指定された位置に配置され、
    前記比較に基づいて、前記複数のＤＶ予測器候補の各々１つに関連付けられるコスト値が計算され、
    前記複数のＤＶ予測器候補のリストが、それらの計算されたコスト値に基づいて並べ替えられ、
    前記複数のＤＶ予測器候補の前記並べ替えられたリストから選択されたＤＶ予測器に少なくとも基づいて、前記ＳｂＴＭＶＰモードにおける前記現在のコーディングブロックが予測される、
    方法。
20. ビデオ符号化のために、処理回路によって実行される方法であって、
    コーディングされたビデオビットストリームに、現在のピクチャにおける現在のコーディングブロックの予測情報を追加するステップを備え、
    前記予測情報は、前記現在のコーディングブロックが、サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用してコーディングされていることを示し、
    前記現在のコーディングブロックの複数の変位ベクトル（ＤＶ）候補を含むＳｂＴＭＶＰ候補リストが生成され、前記ＳｂＴＭＶＰ候補リストは、いずれのＤＶオフセットも適用せずに導出された少なくとも１つのＤＶ予測器候補と、ＤＶオフセットをベースＤＶ予測器に適用することによって導出された少なくとも１つの他のＤＶ予測器候補とを含み、
    前記現在のコーディングブロックのテンプレートが複数のテンプレートの各々と比較され、前記複数のテンプレートの各テンプレートは、前記ＳｂＴＭＶＰ候補リスト内の前記複数のＤＶ候補のうちの対応する１つによって指定された位置に配置され、
    前記比較に基づいて、前記複数のＤＶ候補の各々１つに関連付けられるコスト値が計算され、
    前記ＳｂＴＭＶＰ候補リスト内の前記複数のＤＶ候補が、それらの計算されたコスト値に基づいて並べ替えられ、
    前記ＳｂＴＭＶＰ候補リスト内の前記並べ替えられたＤＶ候補から選択されたＤＶ予測器候補に基づいて、前記ＳｂＴＭＶＰモードにおける前記現在のコーディングブロックが予測される、
    方法。
21. 処理回路によって実行されると、前記処理回路に、請求項１乃至２０のいずれか一項に記載される方法を実行させる、コンピュータプログラム。