JP7080434B2 - サブブロックの動きベクトル予測の方法、並びにその装置及びコンピュータプログラム - Google Patents

Description

［参照による援用］
本開示は、２０１８年４月９日に出願された米国仮出願第６２／６５５，０６５号の「サブブロック動きベクトル予測のための方法」および２０１９年３月２２日に出願された米国正式出願第１６／３６２，５９６号の「サブブロック動きベクトル予測のための方法および装置」の優先権を主張し、その内容を全て参照により本明細書に組み込むものとする。

［技術分野］
本開示は、一般にビデオ符号化に関する実施形態を説明する。

本明細書で提供される「背景技術」の説明は、本開示の内容を大まかに示すことを目的とする。ここに名を挙げられている発明者の業績は、この背景技術に記載された範囲において、出願時に従来技術として通常見なされえない記載の態様と共に、明示的にも黙示的にも本開示に対する従来技術として認められない。

ビデオ符号化および復号は、動き補償を伴うイントラピクチャ予測を使用して実行されることができる。非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、１９２０×１０８０輝度サンプルと関連する彩度サンプルの空間次元を持っている。該一連のピクチャは、例えば毎秒６０ピクチャまたは６０Ｈｚの固定または可変ピクチャレート（非公式には「フレームレート」とも呼ばれる）を持つことができる。非圧縮ビデオには、顕著なビットレート要件がある。例えば、サンプルあたり８ビットでの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚフレームレートでの１９２０×１０８０輝度サンプル解像度）には、１．５Ｇｂｉｔ／ｓに近い帯域幅が必要となる。このようなビデオを１時間使用するには、６００ＧＢｙｔｅｓを超えた記憶空間が必要である。

ビデオ符号化および復号の１つの目的は、圧縮によって入力ビデオ信号の冗長性を減らすことであり得る。圧縮は、前述の帯域幅または記憶空間の要件を、場合によっては２桁以上削減するのに役立つ。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用することができる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる技法を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と同一ではない可能性があるが、元の信号と再構築された信号の間の歪みは、再構築された信号を意図されたアプリケーションに役立てる程度に小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量はアプリケーションによって異なる。例えば、特定のコンシューマストリーミングアプリケーションのユーザは、テレビ発行アプリケーションのユーザよりも高い歪みを許容できる。達成可能な圧縮率は、受け入れ可能／許容可能な歪みが大きいほど、圧縮率が高くなることを反映することができる。

動き補償は、非可逆圧縮技術であり得、予め再構築されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックを、動きベクトル（以降、「ＭＶ」）によって示される方向に空間的にシフトした後、新しく再構築されたピクチャまたはピクチャ部分の予測に使用する技術に関連し得る。場合によっては、参照ピクチャは現在再構築中のピクチャと同じになることがある。ＭＶは、ＸとＹの２次元、または、第３次元が、使用中の参照ピクチャを示す３次元を持つことができる（後者は間接的に時間次元になることができる）。

一部のビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なＭＶは、他のＭＶから、例えば再構築中の領域に空間的に隣接し、デコード順でそのＭＶよりも前であるサンプルデータの別の領域に関連するＭＶから予測されることができる。そうすることで、ＭＶの符号化に必要なデータの量を大幅に減らすことができ、これにより冗長性を取り除き、圧縮を強化する。例えば、カメラから導出される入力ビデオ信号（「ナチュラルビデオ」と呼ばれる）を符号化する際に、単一のＭＶが適用される領域より大きい領域が同様の方向に移動する統計的可能性があるため、ＭＶ予測は有効に働くことができる。したがって、場合によっては、隣接領域のＭＶから導出された類似の動きベクトルを使用して予測することができる。その結果、特定の領域に対して検出されたＭＶは、周囲のＭＶから予測されたＭＶと類似または同一であり、逆に、エントロピー符号化後、ＭＶを直接符号化する場合よりも少ないビット数で表されることができる。場合によっては、ＭＶ予測は、元の信号（つまり、「サンプルストリーム」）から導出される信号（つまり、「ＭＶ」）の可逆圧縮の例になってもよい。他の場合では、例えばいくつかの周囲のＭＶから予測子を計算するときの丸め誤差のために、ＭＶ予測自体は非可逆になる可能性がある。

Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５、「高効率ビデオ符号化」、２０１６年１２月）には、様々なＭＶ予測メカニズムが記載されている。Ｈ．２６５が提供する多くのＭＶ予測メカニズムのうち、ここで説明するのは、以降、「空間マージ」と呼ばれる技法である。

図１を参照し、現在ブロック（１０１）は、空間的にシフトされた同じサイズの以前のブロックから予測可能であるとエンコーダによって動き探索過程において発見されたサンプルを含むことができる。そのＭＶを直接符号化する代わりに、Ａ０、Ａ１、およびＢ０、Ｂ１、Ｂ２（それぞれ１０２から１０６）で示される５つの周囲のサンプルのいずれか１つに関連付けられるＭＶを使用して、１つ以上の参照ピクチャに関連付けられるメタデータから、例えば最新の（デコード順で）参照ピクチャから、ＭＶを導出することができる。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。

本開示の態様は、ビデオエンコード／デコードのための方法および装置を提供する。一部の例では、ビデオデコードのための装置は、受信回路と処理回路とを備える。

前記処理回路は、符号化されたビデオシーケンスの一部である現在の符号化ピクチャ内の現在ブロックの予測情報をデコードするように構成される。前記予測情報は、前記現在ブロックに平面動きベクトル予測モードが使用されるか否かを示す。前記現在ブロックは、複数のサブブロックに分割される。前記現在ブロックに平面動きベクトル予測モードが使用されることが示されている場合、前記処理回路は、さらに、前記平面動きベクトル予測モードの使用に応じて、前記現在ブロックの右下（ＢＲ）隅の少なくとも１つの時間的動きベクトル予測子（ＴＭＶＰ）候補を決定するように構成される。その後、前記処理回路は、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つに従って前記現在ブロックを再構築する。一実施形態では、前記予測情報において、前記現在ブロックの参照ピクチャはシグナリングされることができる。

様々な実施形態では、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つの参照ピクチャが前記現在ブロックの前記参照ピクチャと異なる場合、前記処理回路は、さらに、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つを前記現在ブロックの前記参照ピクチャにスケーリングするように構成されることができる。したがって、前記現在ブロックを、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちのスケーリングされた候補に従って再構築する。前記予測情報が前記ＢＲ隅の動きベクトル差分（ＭＶＤ）を含む場合、前記処理回路は、さらに、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つおよび前記ＢＲ隅の前記ＭＶＤに基づいて、最終的な動きベクトルを決定するように構成されることができる。

一実施形態では、前記少なくとも１つのＴＭＶＰ候補は、参照ピクチャ内のコロケートブロックに基づいて決定されるＴＭＶＰ候補を含む。前記参照ピクチャ内の前記コロケートブロックは、前記現在の符号化ピクチャ内の前記ＢＲ隅にあるサブブロックと同じ位置にある。前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記現在ブロックの内側に位置し、前記ＢＲ隅に隣接するサブブロックのＴＭＶＰ候補を含むことができる。前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記現在ブロックの内側に位置し、前記現在ブロックの中心に隣接するサブブロックのＴＭＶＰ候補を含むことができる。

本開示によれば、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記現在ブロックの左下（ＢＬ）隣接サブブロックのＴＭＶＰ候補を含む。前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記現在ブロックの右上（ＡＲ）隣接サブブロックのＴＭＶＰ候補を含むことができる。さらに、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記現在ブロックのＢＬ隣接サブブロックと前記現在ブロックのＡＲ隣接サブブロックとの動きベクトルの加重平均であるＴＭＶＰ候補を含むことができる。

一実施形態では、前記処理回路は、さらに、前記少なくとも１つのＴＭＶＰ候補のうちの１つを識別する受信インデックスに基づいて、前記少なくとも１つのＴＭＶＰ候補から前記少なくとも１つのＴＭＶＰ候補のうちの１つを選択するように構成される。前記処理回路は、さらに、所定の候補順序に基づいて、前記少なくとも１つのＴＭＶＰ候補から前記少なくとも１つのＴＭＶＰ候補のうちの１つを選択するように構成されることができる。前記処理回路は、さらに、事前に選択されたＴＭＶＰ候補に基づいて、前記少なくとも１つのＴＭＶＰ候補から前記少なくとも１つのＴＭＶＰ候補のうちの１つを選択するように構成されることができる。

一実施形態では、前記ＢＲ隅にある前記サブブロックは、前記現在ブロックの外側に位置する。前記ＢＲ隅にある前記サブブロックは、前記現在ブロックの内側にあることができる。

実施形態によれば、前記処理回路は、さらに、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つに従って前記現在ブロック内の各サブブロックの動きベクトル予測子を導出するように構成されることができる。その後、前記処理回路は、前記現在ブロック内のそれぞれの前記サブブロックの前記動きベクトル予測子に従って前記現在ブロックを再構築する。

本開示の態様は、ビデオデコードのためにコンピュータによって実行されると、前記コンピュータにビデオデコードのための方法を実行させる命令を記憶する非一時的なコンピュータ読取可能な媒体をも提供する。

開示された主題のさらなる特徴、本質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

一例における現在ブロックおよび前記現在ブロックの周囲の空間マージ候補の概略図である。 一実施形態による通信システムの概略ブロック図である。 一実施形態による通信システムの概略ブロック図である。 一実施形態によるデコーダの概略ブロック図である。 一実施形態によるエンコーダの概略ブロック図である。 別の実施形態によるエンコーダのブロック図を示す。 別の実施形態によるデコーダのブロック図を示す。 本開示の一実施形態による、バイラテラルマッチングと呼ばれる、ブロックレベル動き補償方法を示す。 本開示の一実施形態による、テンプレートマッチングと呼ばれる、ブロックレベル動き補償方法を示す。 本開示の一実施形態による指向性サブブロックレベル動きベクトル予測方法を示す。 本開示の一実施形態による例示的な平面動き予測方法を示す。 本開示の一実施形態による、現在ブロックの異なる位置から現在ブロックの右下サブブロックの時間的動きベクトル予測子を決定する例示的な図を示す。 本開示の一実施形態による例示的な処理を概説するフローチャートを示す。 一実施形態によるコンピュータシステムの概略図である。

図２は、本開示の実施形態による通信システム（２００）の概略ブロック図を示している。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１の対の端末装置（２１０）および（２２０）を含む。図２の例では、第１の対の端末装置（２１０）および（２２０）は、データの単方向送信を実行する。例えば、端末装置（２１０）は、ネットワーク（２５０）を介して他方の端末装置（２２０）へ送信するためにビデオデータ（例えば、端末装置（２１０）によってキャプチャされたビデオピクチャのストリーム）を符号化し得る。エンコードされたビデオデータは、１つ以上の符号化されたビデオビットストリームの形で送信されることができる。端末装置（２２０）は、ネットワーク（２５０）から符号化ビデオデータを受信し、符号化ビデオデータをデコードしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示することができる。単方向のデータ送信は、メディア供給アプリケーションなどで一般的である。

他の例では、通信システム（２００）は、例えば、ビデオ会議中に発生し得る符号化ビデオデータの双方向送信を実行する第２の対の端末装置（２３０）および（２４０）を含む。データの双方向送信の場合、一例では、端末装置（２３０）および（２４０）のそれぞれは、ネットワーク（２５０）を介して端末装置（２３０）および（２４０）のうちの他方の端末装置へ送信するためにビデオデータ（例えば、端末装置によってキャプチャされたビデオピクチャのストリーム）を符号化し得る。端末装置（２３０）および（２４０）の一方は、端末装置（２３０）および（２４０）のうちの他方の端末装置で送信された符号化ビデオデータを受信することができ、符号化ビデオデータをデコードしてビデオピクチャを復元することができ、復元されたビデオデータに従ってビデオピクチャをアクセス可能な表示装置に表示することができる。

図２の例では、端末装置（２１０）、（２２０）、（２３０）および（２４０）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示され得るが、しかし、本開示の原理はこれに制限されることはない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、および／または専用のビデオ会議機器における用途を見出す。ネットワーク（２５０）は、例えば有線および／または無線通信ネットワークを含む、端末装置（２１０）、（２２０）、（２３０）および（２４０）間で符号化ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（２５０）は、回線交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（２５０）のアーキテクチャおよびトポロジーは、以下で説明されない限り、本開示の動作にとって重要でないかもしれない。

図３は、開示された主題の適用の例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、および、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶など、を含む他のビデオ対応アプリケーションに等しく適用可能である。

ストリーミングシステムは、例えば非圧縮のビデオピクチャ（３０２）のストリームを作成するデジタルカメラなどのビデオソース（３０１）を含むことができるキャプチャサブシステム（３１３）を含んでもよい。一例では、ビデオピクチャ（３０２）のストリームは、デジタルカメラによって取得されたサンプルを含む。エンコードされたビデオデータ（３０４）（又は符号化されたビデオビットストリーム）と比較して高データ量を強調するために太線で示されたビデオピクチャ（３０２）のストリームは、ビデオソース（３０１）に結合されたビデオエンコーダ（３０３）を含む電子デバイス（３２０）によって処理されることができる。ビデオエンコーダ（３０３）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするか或いは実施するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオピクチャ（３０２）のストリームと比較してより低いデータ量を強調するために細い線で示された、エンコードされたビデオデータ（３０４）（またはエンコードされたビデオビットストリーム（３０４））は、将来使うためにストリーミングサーバ（３０５）に記憶されることができる。図３のクライアントサブシステム（３０６）および（３０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（３０５）にアクセスして、エンコードされたビデオデータ（３０４）のコピー（３０７）および（３０９）を検索することができる。クライアントサブシステム（３０６）は、例えば、電子デバイス（３３０）におけるビデオデコーダ（３１０）を含むことができる。ビデオデコーダ（３１０）は、エンコードされたビデオデータの入り方向コピー（３０７）をデコードし、ディスプレイ（３１２）（例えば、表示画面）または他のレンダリングデバイス（描画せず）でレンダリングできるビデオピクチャ（３１１）の出方向ストリームを作成する。一部のストリーミングシステムにおいて、エンコードされたビデオデータ（３０４）、（３０７）、および（３０９）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮規格に従ってエンコードされることができる。これらの規格の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例では、開発中のビデオ符号化規格は、非公式的にヴァーサトゥルビデオ符号化またはＶＶＣとして知られている。開示された主題は、ＶＶＣの文脈に使用され得る。

なお、電子デバイス（３２０）および（３３０）は、他の構成要素（図示せず）を含むことができる。例えば、電子デバイス（３２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（３３０）は、ビデオエンコーダ（図示せず）を含むこともできる。

図４は、本開示の実施形態によるビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は、電子デバイス（４３０）に含まれることができる。電子デバイス（４３０）は、受信機（４３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（４１０）は、図３の例におけるビデオデコーダ（３１０）の代わりに使用されることができる。

受信機（４３１）は、ビデオデコーダ（４１０）によってデコードされる１つ以上の符号化ビデオシーケンスを受信することができ、同一または別の実施形態では、一度に１つの符号化ビデオシーケンスを受信してもよく、各符号化ビデオシーケンスのデコードは、他の符号化ビデオシーケンスから独立している。符号化ビデオシーケンスは、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル（４０１）から受信されることができる。受信機（４３１）は、それぞれの使用エンティティ（示されていない）に転送され得る他のデータ、例えば、符号化オーディオデータおよび／または補助データストリームとともに、エンコードされたビデオデータを受信し得る。受信機（４３１）は、符号化ビデオシーケンスを他のデータから分離することができる。ネットワークジッタを防止するために、バッファメモリ（４１５）は、受信機（４３１）とエントロピーデコーダ／パーサ（４２０）（以降、「パーサ（４２０）」）の間に結合されてもよい。特定のアプリケーションでは、バッファメモリ（４１５）は、ビデオデコーダ（４１０）の一部である。他の場合、ビデオデコーダ（４１０）（示されていない）の外部に存在し得る。さらに他の場合、例えば、ネットワークジッタを防止するためにビデオデコーダ（４１０）の外部にバッファメモリ（示されていない）が存在し、さらに、例えば、再生タイミングを取り扱うためにビデオデコーダ（４１０）の内部に別のバッファメモリ（４１５）が存在し得る。受信機（４３１）が十分な帯域幅および可制御性を有する記憶／転送装置から、または等同期ネットワークからデータを受信する際に、バッファメモリ（４１５）は必要とされないことがあり、または小さくされることがある。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（４１５）が必要になる場合があり、バッファメモリ（４１５）は、比較的大きいことがあり、有利には適応サイズであることができ、オペレーティングシステムまたはビデオデコーダ（４１０）の外部の類似の要素（示されていない）に少なくとも部分的に実施され得る。

ビデオデコーダ（４１０）は、符号化ビデオシーケンスからシンボル（４２１）を再構築するパーサ（４２０）を含んでもよい。これらのシンボルのカテゴリは、ビデオデコーダ（４１０）の操作を管理するために使用される情報、および、電子デバイス（４３０）の不可欠な部分ではないが、図４に示されるように電子デバイス（４３０）に結合され得るレンダリングデバイス（４１２）（例えば、表示画面）のようなレンダリングデバイスを制御する潜在的情報を含む。レンダリングデバイスのための制御情報は、補助強化情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（示されていない）の形態であってよい。パーサ（４２０）は、受信された符号化ビデオシーケンスを構文解析／エントロピーデコードすることができる。符号化ビデオシーケンスの符号化は、ビデオ符号化技術または規格に合わせることができ、可変長符号化、ハフマン符号化、文脈感受性を有するもしくは有さない算術符号化などを含む様々な原理に従うことができる。パーサ（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、符号化ビデオシーケンスからビデオデコーダ内の画素の少なくとも１つのサブグループのためのサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャ群（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（４２０）は、符号化ビデオシーケンスから変換係数、量子化パラメータ値、動きベクトルなどのような情報をも抽出することができる。

パーサ（４２０）は、シンボル（４２１）を作成するために、バッファメモリ（４１５）から受信されたビデオシーケンスに対してエントロピーデコード／構文解析操作を実行することができる。

シンボル（４２１）の再構築は、符号化ビデオピクチャまたはその一部（例えば、インターおよびイントラピクチャ、インターおよびイントラブロック）のタイプ、および他の要因に応じて、複数の異なるユニットが関与することができる。どのユニットが、どのように関与するかは、パーサ（４２０）によって符号化ビデオシーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（４２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示されていない。

すでに述べた機能ブロックに加え、ビデオデコーダ（４１０）は、以下で説明されるようにいくつかの機能ユニットに概念的に細分されることができる。商業的な制約の下で実際の実施操作にあたっては、これらのユニットの多くは互いに密接に相互作用し、少なくとも一部は互いに統合することができる。しかしながら、開示された主題の説明の目的で、以下の機能ユニットへの概念的な細分は、適切に行われる。

第１のユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、使用する変換、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む制御情報と、量子化された変換係数をシンボル（４２１）としてパーサ（４２０）から受信する。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力可能なサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換（４５１）の出力サンプルは、イントラ符号化ブロック、すなわち、予め再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの予め再構築された部分からの予測情報を使用できるブロックに関係することがある。このような予測情報は、イントラピクチャ予測ユニット（４５２）によって提供されることができる。場合によっては、イントラピクチャ予測ユニット（４５２）は、現在ピクチャバッファ（４５８）から取り出された周囲の既に再構築された情報を用いて、再構築中のブロックの同じサイズおよび形状のブロックを生成する。現在ピクチャバッファ（４５８）は、例えば、一部再構築された現在ピクチャおよび／または完全に再構築された現在ピクチャをバッファリングする。アグリゲータ（４５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）によって提供される出力サンプル情報に追加する。

他の場合では、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに関係することがある。このような場合、動き補償予測ユニット（４５３）は、参照ピクチャメモリ（４５７）にアクセスして、予測に使用されるサンプルを取り出すことができる。取り出されたサンプルをブロックに関係するシンボル（４２１）に従って動き補償した後、出力サンプル情報を生成するように、これらのサンプルは、アグリゲータ（４５５）によってスケーラ／逆変換ユニット（４５１）の出力に追加されることができる（この場合、残差サンプルまたは残差信号と呼ばれる）。動き補償予測ユニット（４５３）が予測サンプルを取り出す参照ピクチャメモリ（４５７）内のアドレスは、例えば、Ｘ、Ｙ、および参照ピクチャ成分を有し得るシンボル（４２１）の形態で動き補償予測ユニット（４５３）に利用可能な動きベクトルによって制御されることができる。動き補償は、サブサンプル正確な動きベクトルが使用中であるときに参照ピクチャメモリ（４５７）から取り出されたサンプル値の補間、動きベクトル予測メカニズムなどを含むこともできる。

アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）において様々なループフィルタリング技法を受けられる。ビデオ圧縮技術は、符号化ビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれる、パーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に利用可能とされたパラメータによって制御されることができ、それに、符号化ピクチャまたは符号化ビデオシーケンスの（デコード順で）前の部分のデコード中に取得されたメタ情報に応じるとともに、予め再構築されループフィルタリングされたサンプル値に応じることもできるループ内フィルタ技術を含むことができる。

ループフィルタユニット（４５６）の出力は、レンダリングデバイス（４１２）へ出力されることができるとともに、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（４５７）に記憶されることができるサンプルストリームであり得る。

特定の符号化ピクチャは、完全に再構築されると、将来の予測のために参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構築され、符号化ピクチャが（例えば、パーサ（４２０）によって）参照ピクチャとして識別されると、現在ピクチャバッファ（４５８）は、参照ピクチャメモリ（４５７）の一部になることができ、次の符号化ピクチャの再構築を開始する前に新しい現在ピクチャバッファを再割当てすることができる。

ビデオデコーダ（４１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５のような規格での所定のビデオ圧縮技術に従ってデコード操作を実行することができる。符号化ビデオシーケンスが、ビデオ圧縮技術または規格のシンタックスと、ビデオ圧縮技術または規格で文書化されたプロファイルとの両方に準拠しているという意味で、符号化ビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定されるシンタックスに準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、特定のツールをそのプロファイルで使用できる唯一のツールとして選択することができる。符号化ビデオシーケンスの複雑さがビデオ圧縮技術または規格のレベルで定義される範囲内にあることも、コンプライアンスに必要である。場合によっては、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば、１秒あたりのメガサンプルで測定される）、最大参照ピクチャサイズなどがレベルによって制限される。レベルによって設定された制限は、場合によっては、符号化ビデオシーケンスでシグナリングされたＨＲＤバッファ管理のための仮想参照デコーダ（ＨＲＤ）仕様およびメタデータによってさらに制限され得る。

一実施形態では、受信機（４３１）は、エンコードされたビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、符号化ビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコードし、および／または、元のビデオデータをより正確に再構築するためにビデオデコーダ（４１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方向誤り訂正コードなどの形態にされることができる。

図５は、本開示の実施形態によるビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子デバイス（５２０）に含まれる。電子デバイス（５２０）は、送信機（５４０）（例えば、送信回路）を含む。図３の例におけるビデオエンコーダ（３０３）の代わりにビデオエンコーダ（５０３）を使用することができる。

ビデオエンコーダ（５０３）は、ビデオエンコーダ（５０３）によって符号化されるビデオ画像をキャプチャし得るビデオソース（５０ｌ）（図５の例では電子デバイス（５２０）の一部ではない）からビデオサンプルを受信することができる。他の例では、ビデオソース（５０１）は、電子デバイス（５２０）の一部である。

ビデオソース（５０１）は、ビデオエンコーダ（５０３）によって符号化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット、・・・）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、・・・）および任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であり得るデジタルビデオサンプルストリームの形態で提供し得る。メディア供給システムでは、ビデオソース（５０１）は、予め準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース（５０１）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、順番に見られるときに動きが与えられる複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間アレイとして編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて１つ以上のサンプルを含むことができる。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明ではサンプルを中心に説明する。

一実施形態によれば、ビデオエンコーダ（５０３）は、リアルタイムでまたはアプリケーションが要求する任意の他の時間制約の下でソースビデオシーケンスのピクチャを符号化し、符号化ビデオシーケンス（５４３）に圧縮することができる。適切な符号化速度を実施することは、コントローラ（５５０）の機能の１つである。一部の実施形態では、コントローラ（５５０）は、以下で説明される他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。分かりやすくするために、カップリングは示されていない。コントローラ（５５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化、レート歪み最適化技法のラムダ値、・・・）、ピクチャサイズ、ピクチャ群（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（５５０）は、特定のシステム設計に対して最適化されたビデオエンコーダ（５０３）に関する他の適切な機能を有するように構成されることができる。

一部の実施形態では、ビデオエンコーダ（５０３）は、符号化ループで動作するように構成される。過度に簡略化した説明として、一例では、符号化ループは、ソースコーダ（５３０）（例えば、符号化対象となる入力ピクチャおよび参照ピクチャに基づくシンボルストリームなどのシンボルの作成を担当する）、およびビデオエンコーダ（５０３）に埋め込まれた（ローカル）デコーダ（５３３）を含むことができる。デコーダ（５３３）は、シンボルを再構築して、（リモート）デコーダが作成するのと同様な方法でサンプルデータを作成する（シンボルと符号化されたビデオビットストリーム間の如何なる圧縮は、開示された主題で考慮されるビデオ圧縮技術では可逆であるためである）。再構築されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ（５３４）に入力される。シンボルストリームのデコードにより、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果が得られるため、参照ピクチャメモリ（５３４）のコンテンツもローカルエンコーダとリモートエンコーダの間でビット正確である。言い換えれば、エンコーダの予測部分は、参照ピクチャサンプルとして、デコード中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を「見る」。参照ピクチャの同期性の該基本原理（および例えばチャネルエラーに起因して同期性を維持できない場合に生じるドリフト）は、いくつかの関連分野にも使用されている。

「ローカル」デコーダ（５３３）の動作は、前文で図４に関連して既に詳細に説明された、ビデオデコーダ（４１０）などの「リモート」デコーダの動作と同様であり得る。しかしながら、図４も簡単に参照し、シンボルが使用可能であり、エントロピーコーダ（５４５）およびパーサ（４２０）による符号化ビデオシーケンスへのシンボルの符号化／デコードは可逆であり得るので、バッファメモリ（４１５）、およびパーサ（３２０）を含むビデオデコーダ（４１０）のエントロピーデコード部分は、ローカルデコーダ（５３３）では完全に実施されない場合がある。

これで分かるように、デコーダに存在する構文解析／エントロピーデコード以外の如何なるデコーダ技術も、対応するエンコーダに実質的に同一の機能的形態で必ず存在する必要がある。このため、開示された主題は、デコーダ操作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。

操作中、一部の例では、ソースコーダ（５３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の予め符号化されたピクチャを参照して入力ピクチャを予測的に符号化する動き補償予測符号化を実行してもよい。このようにして、符号化エンジン（５３２）は、入力ピクチャの画素ブロックと、入力ピクチャへの予測基準として選択され得る参照ピクチャの画素ブロックとの差異を符号化する。

ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）で作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化ビデオデータをデコードすることができる。符号化エンジン（５３２）の操作は、有利にはロッシープロセスであり得る。符号化ビデオデータがビデオデコーダ（図５に示されていない）でデコードされ得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（５３３）は、ビデオデコーダによって参照ピクチャに対して実行され得るデコードプロセスを再現し、再構築された参照ピクチャを参照ピクチャキャッシュ（５３４）に記憶させることができる。このようにして、ビデオエンコーダ（５０３）は、遠端ビデオデコーダによって取得される再構築された参照ピクチャと共通するコンテンツ（送信エラー無し）を有する再構築された参照ピクチャのコピーをローカルに記憶し得る。

予測器（５３５）は、符号化エンジン（５３２）の予測検索を実行することができる。つまり、符号化対象となる新しいピクチャについて、予測器（５３５）は、（候補の参照画素ブロックとしての）サンプルデータ、または、参照ピクチャの動きベクトル、ブロック形状など、新しいピクチャの適切な予測基準として機能し得る特定のメタデータを参照ピクチャメモリ（５３４）で検索することができる。予測器（５３５）は、適切な予測基準を見つけるために、サンプルブロック/画素ブロックごとに操作することができる。場合によっては、予測器（５３５）で取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に記憶された複数の参照ピクチャから引き出された予測基準を有してもよい。

コントローラ（５５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（５３０）の符号化操作を管理することができる。

前述のすべての機能ユニットの出力は、エントロピーコーダ（５４５）においてエントロピー符号化を受けられる。エントロピーコーダ（５４５）は、例えば、ハフマン符号化、可変長符号化、算術符号化などの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換する。

送信機（５４０）は、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る通信チャネル（５６０）を介した送信の準備のために、エントロピーコーダ（５４５）によって作成された符号化ビデオシーケンスをバッファリングすることができる。送信機（５４０）は、ビデオコーダ（５０３）からの符号化ビデオデータを、送信されるべき他のデータ、例えば、符号化オーディオデータおよび／または補助データストリーム（ソースは示されていない）とマージすることができる。

コントローラ（５５０）は、ビデオエンコーダ（５０３）の操作を管理し得る。符号化中、コントローラ（５５０）は、各符号化ピクチャに特定の符号化ピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得る符号化技法に影響を及ぼし得る。例えば、ピクチャは、多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る。

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の他のいかなるピクチャを使用せずに符号化および復号され得るものであり得る。一部のビデオコーデックは、例えば、インディペンデントデコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャの変形およびそれらのそれぞれの用途および特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトルおよび参照インデックスを使用したイントラ予測またはインター予測により符号化および復号され得るものであり得る。同様に、多重予測ピクチャは、単数のブロックの再構築のために２つを超えた参照ピクチャおよび関連メタデータを使用することができる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、それぞれ、４×４、８×８、４×８、または１６×１６サンプルのブロック）に空間的に細分され、ブロック単位で符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定された他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは、非予測的に符号化されてもよく、或いは、同一のピクチャの既に符号化されたブロック（空間予測またはイントラ予測）を参照して予測的に符号化されてもよい。Ｐピクチャの画素ブロックは、１つの予め符号化された参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的に符号化され得る。Ｂピクチャのブロックは、１つまたは２つの予め符号化された参照ピクチャを参照して、空間予測を介してまたは時間予測を介して予測的に符号化され得る。

ビデオエンコーダ（５０３）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの予め設定されたビデオ符号化技術または規格に従って、符号化操作を実行することができる。操作中、ビデオエンコーダ（５０３）は、入力ビデオシーケンスの時間的および空間的冗長性を利用する予測符号化操作を含む、様々な圧縮操作を実行することができる。したがって、符号化ビデオデータは、使用されるビデオ符号化技術または規格によって指定されたシンタックスに準拠する場合がある。

一実施形態では、送信機（５４０）は、エンコードされたビデオとともに追加のデータを送信することができる。ソースコーダ（５３０）は、このようなデータを符号化ビデオシーケンスの一部として含み得る。追加のデータは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、冗長なピクチャやスライスなどの他の形態での冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを含み得る。

ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（「イントラ予測」と略されることが多い）は、所定のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的または他の）相関を利用する。一例では、現在ピクチャと呼ばれる符号化／デコード中の特定のピクチャは、ブロックに分割される。現在ピクチャにおけるブロックが、ビデオにおける予め符号化され、まだバッファリングされている参照ピクチャの参照ブロックに類似している場合、現在ピクチャにおけるブロックは、動きベクトルと呼ばれるベクトルによって符号化されることができる。動きベクトルは、参照ピクチャの参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第３次元を有することができる。

一部の実施形態では、インターピクチャ予測において双予測法を使用することができる。双予測法によれば、ビデオにおける現在ピクチャよりもデコード順序がそれぞれ前である（ただし、表示順序でそれぞれ過去および未来にあり得る）第１の参照ピクチャおよび第２の参照ピクチャのような２つの参照ピクチャを使用する。現在ピクチャ内のブロックは、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトル、および第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルによって符号化されることができる。ブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。
さらに、マージモード技法をインターピクチャ予測に適用して、符号化効率を向上させることができる。

本開示の一部の実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、ＨＥＶＣ規格によれば、一連のビデオピクチャ内のピクチャは、圧縮のために符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャ内のＣＴＵは、６４×６４画素、３２×３２画素、または１６×１６画素など、同一のサイズを有する。一般に、ＣＴＵは、１つの輝度ＣＴＢと２つの彩度ＣＴＢである３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つまたは複数の符号化ユニット（ＣＵ）に再帰的に四分木分割されることができる。例えば、６４×６４画素のＣＴＵは、１つの６４×６４画素のＣＵ、４つの３２×３２画素のＣＵ、または１６つの１６×１６画素のＣＵに分割されることができる。一例では、各ＣＵを解析して、インター予測タイプまたはイントラ予測タイプなど、ＣＵの予測タイプを決定する。ＣＵは、時間的および／または空間的予測可能性に応じて、１つ以上の予測ユニット（ＰＵ）に分割される。通常、各ＰＵは、１つの輝度予測ブロック（ＰＢ）と２つの彩度ＰＢを含む。一実施形態では、符号化（エンコード／デコード）における予測操作は、予測ブロックの単位で実行される。輝度予測ブロックを予測ブロックの例として用いて、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などの画素の値（例えば、輝度値）の行列を含む。

図６は、本開示の他の実施形態によるビデオエンコーダ（６０３）の図を示す。ビデオエンコーダ（６０３）は、一連のビデオピクチャ内の現在ビデオピクチャにおけるサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、符号化ビデオシーケンスの一部である符号化ピクチャにエンコードするように構成される。一例では、図３の例におけるビデオエンコーダ（３０３）の代わりにビデオエンコーダ（６０３）を使用する。

ＨＥＶＣの例では、ビデオエンコーダ（６０３）は、８×８サンプルのような予測ブロックなどの処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（６０３）は、例えばレート歪み最適化を用いて、処理ブロックをイントラモード、インターモード、または双予測モードにより最も良く符号化するか否かを決定する。処理ブロックがイントラモードで符号化されようとする場合、ビデオエンコーダ（６０３）は、イントラ予測法を用いて処理ブロックを符号化ピクチャにエンコードすることができる。また、処理ブロックがインターモードまたは双予測モードで符号化されようとする場合、ビデオエンコーダ（６０３）は、それぞれインター予測または双予測法を用いて、処理ブロックを符号化ピクチャにエンコードすることができる。特定のビデオ符号化技術では、マージモードは、予測器外の符号化動きベクトル成分の利便を介することなく、１つ以上の動きベクトル予測器から動きベクトルを導出するインターピクチャ予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ（６０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。

図６の例では、ビデオエンコーダ（６０３）は、図６に示すように互いに結合されたインターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差算出部（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、統括制御部（６２１）およびエントロピーエンコーダ（６２５）を含む。

インターエンコーダ（６３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、該ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコード法による冗長情報の記述、動きベクトル、マージモード情報）を生成し、インター予測情報に基づいて任意の適切な技法を用いてインター予測結果（例えば、予測ブロック）を算出するように構成される。一部の例では、参照ピクチャは、エンコードされたビデオ情報に基づいてデコードされたデコード参照ピクチャである。

イントラエンコーダ（６２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては該ブロックを同一のピクチャで既に符号化されたブロックと比較し、変換後に、量子化された係数を生成し、場合によってはイントラ予測情報（例えば、１つ以上のイントラエンコード法によるイントラ予測方向情報）をも生成するように構成される。一例では、イントラエンコーダ（６２２）は、イントラ予測情報および同一のピクチャ内の参照ブロックに基づいてイントラ予測結果（例えば、予測ブロック）も算出する。

統括制御部（６２１）は、統括制御データを決定し、統括制御データに基づいてビデオエンコーダ（６０３）の他の構成要素を制御するように構成される。一例では、統括制御部（６２１）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（６２６）に提供する。例えば、モードがイントラモードである場合、統括制御部（６２１）は、残差算出部（６２３）が使用するためのイントラモード結果を選択するようにスイッチ（６２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含ませるようにエントロピーエンコーダ（６２５）を制御する。また、モードがインターモードである場合、統括制御部（６２１）は、残差算出部（６２３）が使用するためのインター予測結果を選択するようにスイッチ（６２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含ませるようにエントロピーエンコーダ（６２５）を制御する。

残差算出部（６２３）は、受信されたブロックとイントラエンコーダ（６２２）またはインターエンコーダ（６３０）から選択された予測結果との差（残差データ）を算出するように構成される。残差エンコーダ（６２４）は、残差データに基づいて動作し、残差データをエンコードして変換係数を生成するように構成される。一例では、残差エンコーダ（６２４）は、残差データを空間領域から周波数領域へと変換し、変換係数を生成するように構成される。その後、変換係数は量子化処理を受けて、量子化された変換係数が得られる。様々な実施形態では、ビデオエンコーダ（６０３）は、残差デコーダ（６２８）をも含む。残差デコーダ（６２８）は、逆変換を実行し、デコード残差データを生成するように構成される。デコード残差データは、イントラエンコーダ（６２２）およびインターエンコーダ（６３０）によって適切に使用されることができる。例えば、インターエンコーダ（６３０）は、デコード残差データよびインター予測情報に基づいて、デコードブロックを生成することができ、イントラエンコーダ（６２２）は、デコード残差データおよびイントラ予測情報に基づいて、デコードブロックを生成することができる。一部の例では、デコードブロックは、デコードピクチャを生成するように適切に処理され、デコードピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用されることができる。

エントロピーエンコーダ（６２５）は、ビットストリームをフォーマットしてエンコードブロックを生成するように構成される。エントロピーエンコーダ（６２５）は、ＨＥＶＣ規格などの適切な規格に従う様々な情報をビットストリームに含ませるように構成される。一例では、エントロピーエンコーダ（６２５）は、統括制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報をビットストリームに含ませるように構成される。開示された主題によれば、インターモードまたは双予測モードのマージサブモードでブロックを符号化する場合、残差情報はないことに留意されたい。

図７は、本開示の他の実施形態によるビデオデコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、符号化ビデオシーケンスの一部である符号化ピクチャを受信し、符号化ピクチャをデコードして、再構築ピクチャを生成するように構成される。一例では、図３の例におけるビデオデコーダ（３１０）の代わりにビデオデコーダ（７１０）を使用する。

図７の例では、ビデオデコーダ（７１０）は、図７に示されるように互いに結合されたエントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構築モジュール（７７４）、およびイントラデコーダ（７７２）を含む。

エントロピーデコーダ（７７１）は、符号化ピクチャから、符号化ピクチャを構成するシンタックス要素を表す特定のシンボルを再構築するように構成されることができる。このようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双予測モード、後の２つのマージサブモードまたは他のサブモード）、それぞれイントラデコーダ（７７２）またはインターデコーダ（７８０）による予測に使用される特定のサンプルまたはメタデータを識別できる予測情報（例えば、イントラ予測情報またはインター予測情報）、例えば、量子化された変換係数の形態での残差情報などを含むことができる。一例では、予測モードがインターまたは双予測モードであれば、インター予測情報は、インターデコーダ（７８０）に提供される。また、予測タイプがイントラ予測タイプであれば、イントラ予測情報は、イントラデコーダ（７７２）に提供される。残差情報は、逆量子化を施されることができ、残差デコーダ（７７３）に提供される。

インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（７７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（７７３）は、（量子化器パラメータ（ＱＰ）を含めるように）特定の制御情報をも必要とする場合があり、この情報は、エントロピーデコーダ（７７１）によって提供されてもよい（データパスは、低ボリューム制御情報のみであり得るため、示されていない）。

再構築モジュール（７７４）は、空間領域において、残差デコーダ（７７３）によって出力された残差と、（場合によってはインターまたはイントラ予測モジュールによって出力される）予測結果とを組み合わせて、再構築ビデオの一部となり得る再構築ピクチャの一部であり得る再構築ブロックを形成するように構成される。なお、視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行することができる。

なお、ビデオエンコーダ（３０３）、（５０３）および（６０３）とビデオデコーダ（３１０）、（４１０）および（７１０）は、任意の適切な技法を用いて実施されることができる。一実施形態では、ビデオエンコーダ（３０３）、（５０３）および（６０３）とビデオデコーダ（３１０）、（４１０）および（７１０）は、１つ以上の集積回路を用いて実施されることができる。他の実施形態では、ビデオエンコーダ（３０３）、（５０３）および（６０３）とビデオデコーダ（３１０）、（４１０）および（７１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実施されることができる。

一般に、動き補償は、ブロックレベルで実行されることができる。つまり、ブロックは、動き補償を実行するための処理ユニットであり、ブロック内のすべての画素は、動き補償を実行するために同じ動き情報を使用する。

図８Ａは、本開示の実施形態による、バイラテラルマッチング（８００）と呼ばれるブロックレベル動き補償方法を示す。バイラテラルマッチング（８００）は、２つの異なる参照ピクチャＲｅｆ０（８０２）およびＲｅｆ１（８０３）において現在ブロック（８０１）の動き軌跡に沿って２つのブロック間で最も近いマッチングを見つけることにより、現在ピクチャ（８０１）内の現在ブロック（８１１）の動き情報を導出するために使用される。連続的な動き軌跡を想定して、２つの参照ブロック（８１２）および（８１３）を指す動きベクトルＭＶ０およびＭＶ１は、現在ピクチャ（８０１）と２つの参照ピクチャ（８０２）および（８０３）との間の時間的距離、すなわちＴＤ０およびＴＤ１に比例する。一部の実施形態では、現在ピクチャ（８０１）が時間的に２つの参照ピクチャ（８０２）および（８０３）の間にあり、現在ピクチャから２つの参照ピクチャまでの時間的距離が同じ（すなわち、ＴＤ０＝ＴＤ１）である場合、バイラテラルマッチングは、ミラーベースの双方向動きベクトル予測になる。

図８Ｂは、本開示の実施形態による、テンプレートマッチング（８５０）と呼ばれる別のブロックレベル動き補償方法を示す。テンプレートマッチング（８５０）は、現在ピクチャ（８５１）内の現在ブロック（８６１）の頂部隣接ブロック（８６２）および／または左側隣接ブロック（８６３）などのテンプレートと参照ピクチャ（８５２）内のテンプレートと同じサイズのブロックとの最も近いマッチングを見つけることにより、現在ピクチャ（８５１）内の現在ブロック（８６１）の動き情報を導出するために使用される。

場合によっては、ブロック内の異なる位置にある画素は、動き補償を実行するために異なる動き情報を持つことができる。このような動き補償方法は、ブロックの動き補償の実際の処理単位は、ブロック自体よりも小さくなり得るサブブロックレベル動き補償方法と呼ばれる。言い換えれば、ブロックは、それぞれが異なる動きベクトルなどの異なる動き情報を使用して、動き補償を実行することができる複数のサブブロックに分割されることができる。一例では、ブロックはＭ×Ｎサブブロックに分割されることができ、ただし、Ｍは行数、Ｎは列数である。

図９は、本開示の実施形態による、指向性サブブロックレベル動きベクトル予測方法を示す。指向性サブブロックレベル動きベクトル予測モードでは、所定の方向について、現在ブロック内のサブブロックは、サブブロックの隣接参照ブロックの動き情報を使用して、サブブロックの動きベクトルを予測する。図９は、垂直方向を有する動きベクトル予測を示す。図９に示す例では、現在ブロック（９０１）は、４×４（Ｍ＝４およびＮ＝４）サブブロックＣ１１～Ｃ４４に分割され、現在ブロック（９０１）の上方近隣は、現在ブロック（９０１）の参照ブロックとして使用されることができるサブブロックＡ０１～Ａ０４である。この予測方法では、Ｃ１１～Ｃ１４、Ｃ２１～Ｃ２４、Ｃ３１～Ｃ３４、およびＣ４１～Ｃ４４は、それらの上方隣接サブブロックＡ０１、Ａ０２、Ａ０３、およびＡ０４からそれぞれ予測される。例えば、Ｃ２１～Ｃ２４は、それらの上方隣接サブブロックＡ０２によって予測される。

サブブロックレベル動きベクトル予測方法の一部は、周囲の隣接ブロックおよびそれらの動き情報の利用可能性に基づくことができる。このような動きベクトル予測方法の場合、これらの近隣のいずれかが利用できないか、或いは存在しない（ピクチャ境界やスライス境界など）か、或いはまだ符号化されていないか、或いは有効な動き情報のセットがない（インターモードで符号化されていないなど）場合、現在ブロックの動き補償は正しく機能しない。そのようなサブブロックレベル動きベクトル予測方法をより多くの条件で機能させるために、周囲の隣接ブロックから有用でかつ非常に有利な動き情報を生成する方法を以下で説明する。

一部の実施形態によれば、現在ブロック内のサブブロックについて、サブブロックの動きベクトル予測子を関連付ける参照ピクチャは、現在ブロック内の別のサブブロックの動きベクトル予測子を関連付ける参照ピクチャとは異なり得る。さらに、共通参照ピクチャ（または、ピクチャペアと呼ばれる、双方向予測の場合における共通参照ピクチャのペア）は、現在ブロックを予測するために使用される。したがって、スケーリング処理を実行することにより、現在ブロック内のサブブロックの動きベクトルが、共通参照ピクチャ（またはピクチャペア）を指すようにスケーリングされる。加えて、隣接サブブロックからのすべての動きベクトル予測子は、現在ブロックの共通参照ピクチャ（またはピクチャペア）にスケーリングされる。

一実施形態では、リスト０における第１の参照ピクチャは、現在ブロックの共通参照ピクチャとして選択される。さらに、双方向予測の場合、リスト１における第２の参照ピクチャは、第１の参照ピクチャと一緒に、一対の共通参照ピクチャとして選択され得てもよい。

一実施形態では、ハイレベルフラグ（スライスヘッダ、ピクチャパラメータセット、またはシーケンスパラメータセットなど）は、どの参照ピクチャ（またはピクチャペア）がスケーリング処理用の共通参照ピクチャ（またはピクチャペア）であるかを示すために使用される。

一実施形態では、現在ブロックの時間的動きベクトル予測子（ＴＭＶＰ）を導出するように指定されたコロケートピクチャ（またはピクチャペア）は、共通参照ピクチャ（またはピクチャペア）として使用される。

双方向予測の場合、サブブロックは通常２つの動きベクトルを用いて予測される。一実施形態では、これら２つの動きベクトルは、共通参照ピクチャの異なるリストによって予測され、共通参照ピクチャが１つだけ指定された場合、指定された共通参照ピクチャによって予測された動きベクトルを保持しながら、異なるリスト内の未指定の共通参照ピクチャによって予測された動きベクトルを破棄することができる。

一部の実施形態によれば、少なくとも１つの頂部隣接参照サブブロックを有する現在ブロックについて、少なくとも１つの頂部隣接参照サブブロックのうちの１つの動き情報が利用できない場合、少なくとも１つの頂部隣接参照サブブロックのうちの１つの隣接サブブロックは、現在ブロックの頂部隣接参照サブブロックとして少なくとも１つのサブブロックのうちの１つを置き換えるために使用される。

図９の例を参照し、サブブロックＡ０Ｘ（Ｘ＝１、２、３、または４）は、現在ブロック（９０１）の頂部隣接参照サブブロックである。サブブロックＡ０Ｘのいくつかの隣接サブブロックは、左側隣接サブブロックＡ０（Ｘ－１）、右側隣接サブブロックＡ０（Ｘ＋１）、および上方隣接サブブロックＡ（－１）Ｘであり、ただし、（－１）はサブブロックＡ０Ｘの上方位置を表す。

一実施形態では、サブブロックＡ０Ｘの動き情報は利用できないが、サブブロックＡ０Ｘの隣接サブブロックの動き情報は利用可能である場合、サブブロックＡ０Ｘの隣接サブブロックは、現在ブロック（９０１）の頂部隣接参照サブブロックとしてサブブロックＡ０Ｘを置き換えるために使用されることができる。一例では、サブブロックＡ０Ｘの左側隣接接サブブロックＡ０（Ｘ－１）の動き情報が利用可能である場合、サブブロックＡ０（Ｘ－１）は、現在ブロック（９０１）の頂部隣接参照サブブロックとしてサブブロックＡ０Ｘを置き換えることができる。別の例では、サブブロックＡ０Ｘの右側隣接サブブロックＡ０（Ｘ＋１）の動き情報が利用可能である場合、サブブロックＡ０（Ｘ＋１）は、現在ブロック（９０１）の頂部隣接参照サブブロックとしてサブブロックＡ０（Ｘ）を置き換えることができる。第３の例では、サブブロックＡ０Ｘの頂部隣接サブブロックＡ（－１）Ｘの動き情報が利用可能である場合、サブブロックＡ（－１）Ｘは、現在ブロック（９０１）の頂部隣接参照サブブロックとしてサブブロックＡ０（Ｘ）を置き換えることができる。

第４の例では、サブブロックＡ０（Ｘ－１）、Ａ０（Ｘ＋１）、およびＡ（－１）Ｘの動き情報は、重み付け合成され、サブブロックＡ０Ｘの動き情報として使用され得る。重みは、これらの隣接サブブロックの動き情報の利用可能性に依存する可能性がある。例えば、重みは、利用可能な動き情報を持つサブブロック間で均等に分散することができる。さらに、サブブロックＡ００の動きベクトルは、参照サブブロックＡ０Ｘの動き情報が利用できないいくつかの例に使用され得る。

一部の実施形態によれば、少なくとも１つの左側隣接参照サブブロックを有する現在ブロックについて、少なくとも１つの左側隣接参照サブブロックのうちの１つの動き情報が利用できない場合、少なくとも１つの左側隣接参照サブブロックのうちの１つの隣接サブブロックは、現在ブロックの左側隣接参照サブブロックとして少なくとも１つのサブブロックのうちの１つを置き換えるために使用される。

引き続き図９の例を参照し、サブブロックＬＸ０（Ｘ＝１、２、３、または４）は、現在ブロック（９０１）の左側隣接参照サブブロックである。サブブロックＬＸ０のいくつかの隣接サブブロックは、上方隣接サブブロックＬ（Ｘ－１）０、底部隣接サブブロックＬ（Ｘ＋１）０、および左側隣接サブブロックＬＸ（－ｌ）であり、ただし、－１はサブブロックＬＸ０の左側位置を表す。

一実施形態では、サブブロックＬＸ０の動き情報は利用できないが、サブブロックＬＸ０の隣接サブブロックの動き情報は利用可能である場合、サブブロックＬＸ０の隣接サブブロックは、現在ブロック（９０１）の左側隣接参照サブブロックとしてサブブロックＬＸ０を置き換えるために使用されることができる。一例では、サブブロックＬＸ０の上方隣接サブブロックＬ（Ｘ－１）０の動き情報が利用可能である場合、サブブロックＬ（Ｘ－１）０は、現在ブロック（９０１）の左側隣接参照サブブロックとしてサブブロックＬＸ０を置き換えることができる。別の例では、サブブロックＬＸ０の底部隣接サブブロックＬ（Ｘ＋１）０の動き情報が利用可能である場合、サブブロックＬ（Ｘ＋１）０は、現在ブロック（９０１）の左側隣接参照サブブロックとしてサブブロックＬ（Ｘ）０を置き換えることができる。第３の例では、サブブロックＬＸ０の左側隣接接サブブロックＬＸ（－１）の動き情報が利用可能である場合、サブブロックＬＸ（－１）は、現在ブロック（９０１）の左側隣接参照サブブロックとしてサブブロックＬ（Ｘ）０を置き換えることができる。第４の例では、サブブロックＬ（Ｘ－１）０、Ｌ（Ｘ＋１）０、およびＬＸ（－１）の動き情報は、重み付け合成され、サブブロックＬＸ０の動き情報として使用され得る。重みは、これらの隣接サブブロックの動き情報の利用可能性に依存する可能性がある。例えば、重みは、利用可能な動き情報を持つサブブロック間で均等に分散することができる。さらに、サブブロックＡ００の動きベクトルは、参照サブブロックＬＸ０の動き情報が利用できない一部の例に使用され得る。

一部の実施形態によれば、現在ブロックの頂部隣接参照サブブロックについて、隣接サブブロックの動き情報の利用可能性をチェックする順序は、最も左側隣接サブブロックから最も右側隣接サブブロックまで、またはその逆であり得る。図９に示す例を参照すると、一実施形態では、現在ブロック（９０１）の頂部隣接参照サブブロック（Ａ０１～Ａ０４）について、サブブロックＡ００の動き情報を最初にチェックし、それから、すべての必要なサブブロックの動き情報の利用可能性がチェックされるまでサブブロックＡ０１、Ａ０２などをチェックするようにしてもよい。別の実施形態では、サブブロックＡ０（Ｎ＋１）（図９の例ではＮ＝４）の動き情報を最初にチェックし、それから、すべての必要なサブブロックの動き情報の利用可能性がチェックされるまでサブブロックＡ０（Ｎ）、Ａ０（Ｎ－１）などをチェックするようにしてもよい。

一部の実施形態によれば、現在ブロックの左側隣接参照サブブロックについて、隣接サブブロックの動き情報の利用可能性をチェックする順序は、最も上方隣接サブブロックから最も底部隣接サブブロックまで、またはその逆であり得る。引き続き図９の例を参照すると、一実施形態では、現在ブロック（９０１）の左側隣接参照サブブロック（Ｌ１０～Ｌ４０）について、サブブロックＡ００の動き情報を最初にチェックし、それから、すべての必要なサブブロックの動き情報の利用可能性がチェックされるまでサブブロックＬ１０、Ｌ２０などをチェックするようにしてもよい。別の実施形態では、サブブロックＬ（Ｍ＋１）０（図９の例ではＭ＝４）の情報を最初にチェックし、それから、すべての必要なサブブロックの動き情報の利用可能性がチェックされるまでサブブロックＬ（Ｍ）０、Ｌ（Ｍｌ）０などをチェックするようにしてもよい。

図１０は、本開示の実施形態による例示的な平面動き予測方法を示す。平面動き予測方法では、各サブブロックの動きベクトルは、平面イントラ予測モードと類似の方法で導出される。

まず最初に、現在ブロック（１００１）の外側の右下（ＢＲ）隅のサブブロック（１００２）（特に明記されない限り、ＢＲサブブロックと呼ばれる）の動きベクトルは、コロケート参照ピクチャ内のＢＲサブブロック（１００２）のコロケートサブブロックの時間的動きベクトル予測子（ＴＭＶＰ）を使用して予測される。

第２に、外側右列のサブブロックＲ（Ｗ，ｙ）（１００３）の動きベクトルは、ＢＲサブブロック（１００２）と現在ブロック（１００１）の外側の右上（ＡＲ）隅のサブブロック（１００４）（ＡＲサブブロックと呼ばれる）との動きベクトルの加重平均を使用して生成される。同様に、外側下行のサブブロックＢ（ｘ，Ｈ）（１００５）の動きベクトルは、ＢＲサブブロック（１００２）と現在ブロック（１００１）の外側の左下（ＢＬ）隅のサブブロック（１００６）（ＢＬサブブロックと呼ばれる）との動きベクトルの加重平均を使用して生成される。

サブブロックＢ（ｘ，Ｈ）の動きベクトルが生成された後、現在ブロック（１００１）の現在サブブロックＣ（ｘ，ｙ）（１０１０）の動きベクトル予測は、２つの動きベクトル予測子によって形成される。一方の動きベクトル予測子は、サブブロックＲ（Ｗ，ｙ）（１００３）と外側左列のサブブロックＬ（－１，ｙ）（１００７）との動きベクトルの加重平均を使用して形成される水平予測子である。他方の動きベクトル予測子は、サブブロックＢ（ｘ，Ｈ）（１００５）と外側上行のサブブロックＡ（ｘ，－１）（１００８）との動きベクトルの加重平均を使用して形成される垂直予測子である。現在サブブロックＣ（ｘ，ｙ）（１０１０）の動きベクトル予測は、その後、水平予測子と垂直予測子との加重平均によって形成される。

隣接する動きベクトルからの重みは、異なる平面動きベクトル予測方法では異なり得るが、現在ブロックのＢＲサブブロックの動き情報の使用は、現在ブロックのＢＲサブブロックの動き情報に従って動きベクトル予測を実行する方法において一般的である。これに関して、ＢＲサブブロックの動き情報が決定されると、平面動きベクトル予測方法が与えられれば、現在ブロックの他のサブブロックの予測子を決定し得る。したがって、平面動きベクトル予測方法を使用して現在ブロックを構築する場合、平面動きベクトル予測モードの使用に応じて、現在ブロックの右下（ＢＲ）隅の少なくとも１つの時間的動きベクトル予測子（ＴＭＶＰ）候補を決定するいくつかの方法を以下の段落で説明する。

図１１は、本開示の実施形態による、現在ブロック（１１０１）の異なる位置から現在ブロック（１１０１）のＢＲサブブロックのＴＭＶＰを決定する例示的な図を示す。ＢＲサブブロックＣ０（１１０２）は、現在ブロック（１１０１）の外側の右下隅に位置する。なお、ＢＲ隅位置は、現在ブロック（１１０１）内にあるＣ２位置であってもよい。サブブロックＣ２（１１０３）がＢＲサブブロックとして選択されると、ＡＲサブブロック（１１０５）およびＢＬサブブロック（１１０６）は、１つのサブブロックだけ任意に内側に移動することができる。言い換えれば、ＡＲサブブロック（１１０５）は、１サブブロックの距離だけ左に移動され、ＢＬサブブロック（１１０６）は、１サブブロックの距離だけ上に移動される。これに応じて、残りのサブブロックベースの平面動きベクトルの導出を実行することができる。例えば、現在ブロック（１１０１）の外側右列の位置は、現在ブロック（１１０１）の最も右列の位置になる。したがって、説明の簡略化のために、特に明記されない限り、以下の段落では、ＢＲ隅を使用してＢＲサブブロックＣ０（１１０２）およびＣ２（１１０３）のうちの１つを示す。

一実施形態では、参照ピクチャ内のＢＲサブブロックのコロケートブロックを使用して、ＢＲ隅のＴＭＶＰを決定することができる。参照ピクチャ内のコロケートブロックは、現在の符号化ピクチャ内のＢＲ隅と同じ位置にある。さらに、動きベクトル差分（ＭＶＤ）がシグナリングされるため、シグナリングされたＭＶＤをＴＭＶＰに追加することで、ＢＲ隅の最終的な動きベクトルを形成することができる。ＢＲ隅の最終的な動きベクトルが決定されると、現在ブロック（１１０１）の各サブブロックの動きベクトルは、平面動きベクトル予測方法を使用して導出されることができる。

別の実施形態では、２つ以上の可能なＴＭＶＰを使用して、ＢＲ隅の動きベクトルを予測するための候補リストを形成する。候補リストのインデックスをシグナリングして、ＢＲ隅の動きベクトル予測子を選択する。さらに、ＭＶＤがシグナリングできるので、シグナリングされたＭＶＤをインデックスで識別された選択されたＴＭＶＰに追加することで、ＢＲ隅の最終的な動きベクトルを形成することができる。

候補リストを形成するために、いくつかの可能なＴＭＶＰを以下で説明する。
一例では、１つの可能なＴＭＶＰは、現在ブロック（１１０１）の中心位置に隣接するＢＲ位置にあるサブブロックＣ１（１１０４）（コロケートピクチャ内）のコロケートブロックを使用して形成されることができる。

別の例では、１つの可能なＴＭＶＰは、現在ブロック（１１０１）の内側のＢＲ隅にあるサブブロックＣ２（１１０３）（コロケートピクチャ内）のコロケートブロックを使用して形成されることができる。

他の例では、ＢＲ隅の他の可能なＴＭＶＰは、現在ブロック（１１０１）に関連する他の位置にあるサブブロック、例えば、サブブロックＣ１（１１０４）、ＡＲ（１１０５）、およびＢＲ（１１０６）（これらのサブブロックの動き情報が利用可能である場合）のＴＭＶＰを使用して形成されることができる。

さらに、一部の実施形態では、現在ブロック（１１０１）のＡＲ（１１０５）およびＢＬ（１１０６）の位置におけるサブブロックの動きベクトルの加重平均は、ＡＲ（１１０５）およびＢＬ（１１０６）の位置におけるサブブロックの少なくとも１つの動きベクトルが利用可能である場合、ＢＲ隅の動きベクトル予測子として使用されることができる。一方の動きベクトルが利用できない場合、利用可能なものをＢＲ隅の予測子として使用することができる。両方が利用可能であるが、２つのサブブロックＡＲ（１１０５）およびＢＬ（１１０６）の参照ピクチャの少なくとも１つが、現在ブロック（１１０１）の予測に使用される参照ピクチャと異なっていれば、異なる参照ピクチャを持つ動きベクトルを、動きベクトル予測子として使用する前に、現在ブロックの参照ピクチャにスケーリングするようにスケーリング処理を実行する。現在スライスが両方のリストからの参照ピクチャを持つＢスライスである場合、ＢＲ隅の推定動きベクトル予測子は、バイラテラル検索またはデコーダ側の動きベクトル改良検索を実行するための開始点になり得る。そのような検索からの出力は、ＢＲ隅の最終的な動きベクトル予測子として使用されることができる。

ＭＶＤは常に０であり得るため、上記の例ではシグナリングされないことに留意されたい。さらに、候補リストの候補順序は、予め定められることができる。例えば、候補順序は、サブブロックの位置によって予め定められることができる。そのような場合、サブブロックＣ０（１１０２）のＴＭＶＰの利用可能性を最初にチェックし、次にサブブロックＣ２（１１０３）のＴＭＶＰの利用可能性をチェックし、その後、サブブロックＣ１（１１０４）のＴＭＶＰが続く。これらの動きベクトル予測子からの選択は、第１の利用可能な予測子など、予め定められた順序に従って候補リスト内の利用可能な予測子を選択することによって行われることができる。また、これらの動きベクトル予測子からの選択は、利用可能であれば、ＢＲサブブロックＣ０（１１０２）のＴＭＶＰなどの予め選択されたＴＭＶＰを選択することによって行われることもできる。

一部の実施形態によれば、上記の方法は、シグナリングされたＭＶＤを用いた一種の高度動きベクトル予測モードとして使用されることができる。現在ブロックがマージモードまたはスキップモードで符号化されない場合、ブロックレベルフラグは、ＭＶＤを用いた平面動きベクトル予測モードの使用を示すために使用され得る。

一部の実施形態によれば、上記の方法は、シグナリングされた参照ピクチャに関連付けられることができる。これに関して、予測方向（Ｌ０、Ｌ１、または双予測）および各方向の参照インデックスは、参照ピクチャを識別するために使用される。或いは、現在スライスの事前定義されたコロケートピクチャ、選択された（デフォルトではＬ０を使用するなど）またはシグナリングされた予測リストにおける第１のピクチャなど、デフォルトの（推定の）参照ピクチャを使用することができる。

一実施形態では、予測方向および参照ピクチャがシグナリングされるが、ＢＲ隅の動きベクトル予測子が異なる参照ピクチャを有していれば、ＢＲ隅の動きベクトル予測子は、シグナリングされた参照ピクチャにスケーリングされる。さらに、頂部隣接サブブロックおよび左側隣接サブブロックからのすべての動き情報も、シグナリングされた参照ピクチャにスケーリングされる。

別の実施形態では、平面動きベクトル予測を使用するときに予測方向および参照ピクチャを推定する場合、ＢＲ隅の動きベクトル予測子は、推定された参照ピクチャにスケーリングされる。さらに、頂部隣接サブブロックおよび左側隣接サブブロックからのすべての動き情報は、推定された参照ピクチャにスケーリングされる。そのような場合、平面動きベクトル予測方法が使用されるとき、予測方向および参照インデックスのシグナリングをスキップすることができる。

別の実施形態では、ＢＲ隅の動きベクトル予測子が２つの動きベクトルで双方向予測されるが、シグナリングされたまたは推定された予測方向が単方向であれば、推定されたまたはシグナリングされた方向を有する動きベクトル予測子の動き情報のみを保持する。

図１２は、本開示の実施形態による例示的なプロセス（１２００）を概説するフローチャートを示す。プロセス（１２００）は、再構築中のブロックのための予測ブロックを生成するように、イントラモードで符号化されたブロックの再構築に使用されることができる。様々な実施形態では、該プロセス（１２００）は、端末装置（２１０）、（２２０）、（２３０）および（２４０）内の処理回路、ビデオエンコーダ（３０３）の機能を実行する処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、イントラ予測モジュール（４５２）の機能を実行する処理回路、ビデオエンコーダ（５０３）の機能を実行する処理回路、予測器（５３５）の機能を実行する処理回路、イントラエンコーダ（６２２）の機能を実行する処理回路、イントラデコーダの機能を実行する処理回路（７７２）などの処理回路によって実行される。一部の実施形態では、該プロセス（１２００）はソフトウェア命令で実施されるため、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（１２００）を実行する。

プロセスは、一般に、該プロセス（１２００）で、符号化ビデオシーケンスの一部である現在の符号化ピクチャ内の現在ブロックの予測情報をデコードするステップ（Ｓ１２１０）で開始することができる。予測情報は、平面動きベクトル予測モードが現在ブロックに使用されるか否かを示す。さらに、現在ブロックは複数のサブブロックに分割される。一実施形態では、予測情報において、現在ブロックの参照ピクチャはシグナリングされる。予測情報が、現在ブロックに平面動きベクトル予測モードが使用されることを示す場合、プロセス（１２００）は（Ｓ１２２０）に進む。

プロセス（１２００）は、該プロセス（１２００）が、平面動きベクトル予測モードの使用に応じて、現在ブロックの右下（ＢＲ）隅の少なくとも１つの時間的動きベクトル予測子（ＴＭＶＰ）候補を決定するステップ（Ｓ１２２０）に進む。

一実施形態では、ＢＲ隅は、現在ブロックの内側にあり得る。別の実施形態では、ＢＲ隅は、現在ブロックの外側にあり得る。

一実施形態では、予測情報は、ＢＲ隅の動きベクトル差分（ＭＶＤ）を含み、プロセス（１２００）は、ＢＲ隅の少なくとも１つのＴＭＶＰ候補のうちの１つおよびＢＲ隅のＭＶＤに基づいて、最終的な動きベクトルを決定することをさらに含む。

一実施形態では、ＢＲ隅の少なくとも１つのＴＭＶＰ候補のうちの１つの参照ピクチャが現在ブロックの参照ピクチャと異なる場合、プロセス（１２００）は、ＢＲ隅の少なくとも１つのＴＭＶＰ候補のうちの１つを現在ブロックの参照ピクチャにスケーリングし、これにより、現在ブロックは、ＢＲ隅の少なくとも１つのＴＭＶＰ候補のうちのスケーリングされた候補に従って再構築される。

一実施形態では、少なくとも１つのＴＭＶＰ候補は、参照ピクチャ内のコロケートブロックに基づいて決定されるＴＭＶＰ候補を含む。参照ピクチャ内のコロケートブロックは、現在の符号化ピクチャ内のＢＲ隅でのサブブロックと同じ位置にある。

一実施形態では、ＢＲ隅の少なくとも１つのＴＭＶＰ候補は、現在ブロックの内側にあり、ＢＲ隅に隣接するサブブロックのＴＭＶＰ候補を含む。
一実施形態では、ＢＲ隅の少なくとも１つのＴＭＶＰ候補は、現在ブロックの内側にあり、現在ブロックの中心に隣接するサブブロックを含む。
一実施形態では、ＢＲ隅の少なくとも１つのＴＭＶＰ候補は、現在ブロックの左下（ＢＬ）隣接サブブロックのＴＭＶＰ候補を含む。
一実施形態では、ＢＲ隅の少なくとも１つのＴＭＶＰ候補は、現在ブロックの右上（ＡＲ）隣接サブブロックのＴＭＶＰ候補を含む。

一実施形態では、ＢＲ隅の少なくとも１つのＴＭＶＰ候補は、現在ブロックのＢＬ隣接サブブロックと現在ブロックのＡＲ隣接サブブロックとの動きベクトルの加重平均であるＴＭＶＰ候補を含む。

一実施形態では、プロセス（１２００）は、少なくとも１つのＴＭＶＰ候補のうちの１つを識別する受信インデックスに基づいて、少なくとも１つのＴＭＶＰ候補から少なくとも１つのＴＭＶＰ候補のうちの１つを選択する。

一実施形態では、プロセス（１２００）は、所定の候補順序に基づいて、少なくとも１つのＴＭＶＰ候補から少なくとも１つのＴＭＶＰ候補のうちの１つを選択する。

一実施形態では、プロセス（１２００）は、事前に選択されたＴＭＶＰ候補に基づいて、少なくとも１つのＴＭＶＰ候補から少なくとも１つのＴＭＶＰ候補のうちの１つを選択する。

現在ブロックの右下（ＢＲ）隅の少なくとも１つの時間的動きベクトル予測子（ＴＭＶＰ）候補のうちの１つを決定した後、プロセス（１２００）はステップ（Ｓ１２３０）に進む。

（Ｓ１２３０）では、プロセス（１２００）は、ＢＲ隅の少なくとも１つのＴＭＶＰ候補のうちの１つに従って現在ブロックの各サブブロックの動きベクトル予測子を導出し、現在ブロック内のそれぞれのサブブロックの動きベクトル予測子に従って現在ブロックを再構築する。

現在ブロックを構築した後、プロセス（１２００）は終了する。

以上で説明された技法は、コンピュータ読取可能な命令を使用するコンピュータソフトウェアとして実行され、１つ以上のコンピュータ読取可能な媒体に物理的に記憶されることができる。例えば、図１３は、開示された主題の特定の実施形態を実行することに適したコンピュータシステム（１３００）を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、またはそのようなメカニズムを施されて、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などによって実行されることができる命令を含むコードを作成する任意の適切な機械コードまたはコンピュータ言語を用いて符号化されることができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはそのコンポーネント上で実行されることができる。

コンピュータシステム（１３００）について、図１３に示される例示的なコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関していかなる限定を示唆することも意図しない。コンポーネントの構成は、コンピュータシステム（１３００）の例示的な実施形態で示されるコンポーネントのうちのいずれか１つ又は組み合わせに関する任意の依存性又は必要性を有するとして解釈されるべきではない。

コンピュータシステム（１３００）は、特定のヒューマンインターフェース入力デバイスを含み得る。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（示されていない）によって、１人以上のユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、環境音など）、画像（走査画像、静止画像カメラから取得される写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることにも使用できる。

入力ヒューマンインターフェースデバイスは、キーボード（１３０１）、マウス（１３０２）、トラックパッド（１３０３）、タッチスクリーン（１３１０）、データグローブ（図示せず）、ジョイスティック（１３０５）、マイクフォン（１３０６）、スキャナ（１３０７）、カメラ（１３０８）（それぞれ１つのみ示されている）のうちの１つ以上を含み得る。

コンピュータシステム（１３００）は、特定のヒューマンインターフェース出力デバイスをも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音声、光、および嗅覚／味覚を介して１人以上のユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１３１０）、データグローブ（図示せず）、またはジョイスティック（１３０５）による触覚フィードバックがあるが、入力デバイスとして機能しない触覚フィードバックデバイスであってもよい）、オーディオ出力デバイス（スピーカ（１３０９）、ヘッドホン（示されていない）など）、視覚出力デバイス（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１３１０）（それぞれタッチスクリーン入力能力を有するかもしくは有せず、それぞれ触覚フィードバック能力を有するかもしくは有しない。それらの一部は、ステレオグラフィック出力などの手段を介して、２次元の視覚出力または３次元以上の出力を出力することができる）、仮想現実眼鏡（示されていない）、ホログラフィックディスプレおよびスモークタンク（示されていない）など）、およびプリンタ（示されていない）を含み得る。

コンピュータシステム（１３００）は、人間がアクセス可能な記憶装置およびそれらの関連する媒体、例えば、ＣＤ／ＤＶＤなどの媒体（１３２１）付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１３２０）を含む光学媒体、サムドライブ（１３２２）、リムーバブルハードドライブまたはソリッドステートドライブ（１３２３）、テープやフロッピーディスクなどの従来の磁気媒体（示されていない）、セキュリティドングルなどの専用のＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（示されていない）などをも含むことができる。

ここで開示された主題に関連して使用される「コンピュータ読取可能な媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことをも当業者が理解するべきである。

コンピュータシステム（１３００）は、１つ以上の通信ネットワークへのインターフェースをさらに含むことができる。ネットワークは、例えば、無線、有線、光学的であり得る。ネットワークは、さらに、ローカル、広域、大都市圏、車両用および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネット、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、および地上放送ＴＶを含むＴＶ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両用や産業用などを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺バス（１３４９）（例えば、コンピューターシステム（１３００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプターを必要とする。他のものは一般に、以下で説明するようにシステムバスに接続することにより、コンピューターシステム（１３００）のコアに統合される（例えば、ＰＣコンピューターシステムへのイーサネットインターフェースまたはスマートフォンコンピューターシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを用いて、コンピュータシステム（１３００）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送ＴＶ）、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または双方向、例えばローカルまたはワイドエリアデジタルネットワークを用いる他のコンピュータシステムへの送信であり得る。特定のプロトコルおよびプロトコルスタックを上述したこれらのネットワークおよびネットワークインターフェースのそれぞれで使用することができる。

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータシステム（１３００）のコア（１３４０）に接続されることができる。

コア（１３４０）は、１つ以上の中央処理装置（ＣＰＵ）（１３４１）、グラフィックスプロセッシングユニット（ＧＰＵ）（１３４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１３４３）の形態での専用プログラマブル処理ユニット、特定のタスクのためのハードウェアアクセラレータ（１３４４）などを含むことができる。これらのデバイスは、リードオンリーメモリ（ＲＯＭ）（１３４５）、ランダムアクセスメモリ（１３４６）、非ユーザアクセス可能な内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（１３４７）とともに、システムバス（１３４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（１３４８）は、１つ以上の物理プラグの形態でアクセスでき、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にする。周辺機器は、コアのシステムバス（１３４８）に直接、または周辺バス（１３４９）を介して接続されることができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（１３４１）、ＧＰＵ（１３４２）、ＦＰＧＡ（１３４３）、およびアクセラレータ（１３４４）は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（１３４５）またはＲＡＭ（１３４６）に記憶されることができる。推移データはＲＡＭ（１３４６）にも記憶できるが、永続データは、例えば、内部大容量ストレージ（１３４７）に記憶されることができる。１つ以上のＣＰＵ（１３４１）、ＧＰＵ（１３４２）、大容量ストレージ（１３４７）、ＲＯＭ（１３４５）、ＲＡＭ（１３４６）などと密接に関連付けることができるキャッシュメモリを使用することにより、任意のメモリデバイスへの高速保存および検索が可能になる。

コンピュータ読取可能な媒体は、様々なコンピュータ実施操作を実行するためのコンピュータコードを備えることができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、もしくは、それらは、コンピュータソフトウェア技術の当業者に周知であって利用可能な種類のものであり得る。

限定ではなく、一例として、アーキテクチャを有するコンピュータシステム（１３００）、特にコア（１３４０）は、１つ以上の有形のコンピュータ読取可能な媒体に組み込まれたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）の結果としての機能性を提供することができる。このようなコンピュータ読取可能な媒体は、以上で紹介したようにユーザがアクセス可能な大容量ストレージ、および、コア内部大容量ストレージ（１３４７）またはＲＯＭ（１３４５）などの非一時的な性質を持つコア（１３４０）の特定のストレージに関連付けられた媒体であり得る。本開示の様々な実施形態を実行するソフトウェアは、このようなデバイスに記憶され、コア（１３４０）によって実行されることができる。コンピュータ読取可能な媒体は、特定の必要に応じて、１つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（１３４０）、具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（１３４６）に記憶されたデータ構造を定義すること、および、ソフトウェアで定義されたプロセスに従ってこのようなデータ構造を変更する言を含む、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または、代替として、コンピュータシステムは、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたは一緒に動作することができる回路（例えば、アクセラレータ（１３４４））に有線接続されたまたは組み込まれたロジックの結果としての機能性を提供することができる。ソフトウェアへの言及は、必要に応じて、ロジックを含むことができ、その逆も同様である。コンピュータ読取可能な媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のためのロジックを具現化する回路、またはその両方を含むことができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを含む。

（１）デコーダが実行する方法であって、符号化されたビデオシーケンスの一部である現在の符号化ピクチャ内の現在ブロックの予測情報をデコードするステップであって、前記予測情報は、前記現在ブロックに平面動きベクトル予測モードが使用されるか否かを示すものであり、前記現在ブロックは複数のサブブロックに分割される、ステップと、前記平面動きベクトル予測モードの使用に応じて、前記現在ブロックの右下（ＢＲ）隅の少なくとも１つの時間的動きベクトル予測子（ＴＭＶＰ）候補を決定するステップと、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つに従って前記現在ブロックを再構築するステップと、を含むデコーダにおけるビデオデコード方法。

（２）前記予測情報において、前記現在ブロックの参照ピクチャはシグナリングされる、前記（１）に記載の方法。

（３）前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つの参照ピクチャが前記現在ブロックの前記参照ピクチャと異なるとの決定に応じて、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つを前記現在ブロックの前記参照ピクチャにスケーリングするステップであって、前記現在ブロックは、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちのスケーリングされた候補に従って再構築される、ステップを含む、前記（２）に記載の方法。

（４）前記予測情報は、前記ＢＲ隅の動きベクトル差分（ＭＶＤ）を含み、前記方法は、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つおよび前記ＢＲ隅の前記ＭＶＤに基づいて、最終的な動きベクトルを決定するステップをさらに含む、前記（２）に記載の方法。

（５）前記少なくとも１つのＴＭＶＰ候補が、参照ピクチャ内のコロケートブロックに基づいて決定されるＴＭＶＰ候補を含み、前記参照ピクチャ内の前記コロケートブロックは、前記現在の符号化ピクチャ内の前記ＢＲ隅にあるサブブロックと同じ位置にある、前記（２）に記載の方法。

（６）前記ＢＲ隅にある前記サブブロックは、前記現在ブロックの外側に位置する、前記（５）に記載の方法。

（７）前記ＢＲ隅にある前記サブブロックは、前記現在ブロックの内側にある、前記（５）に記載の方法。

（８）前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記現在ブロックの内側に位置し、かつ前記ＢＲ隅に隣接する第１のサブブロック、および、前記現在ブロックの内側に位置し、かつ前記現在ブロックの中心に隣接する第２のサブブロックのうちの一方のＴＭＶＰ候補、前記現在ブロックの左下（ＢＬ）隣接サブブロックのＴＭＶＰ候補、および、前記現在ブロックの右上（ＡＲ）隣接サブブロックのＴＭＶＰ候補、のうちの少なくとも１つを含む、前記（２）に記載の方法。

（９）前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記現在ブロックのＢＬ隣接サブブロックと前記現在ブロックのＡＲ隣接サブブロックとの動きベクトルの平均であるＴＭＶＰ候補を含む、前記（２）に記載の方法。

（１０）前記少なくとも１つのＴＭＶＰ候補のうちの１つを識別する、受信インデックス、所定の候補順序、および、事前に選択されたＴＭＶＰ候補、のうちの少なくとも１つに基づいて、候補リストから前記少なくとも１つのＴＭＶＰ候補のうちの１つを選択するステップをさらに含む、前記（２）に記載の方法。

（１１）受信インデックス、および、所定の候補順序に基づいて、候補リストから前記少なくとも１つのＴＭＶＰ候補のうちの１つを選択するステップであって、前記受信インデックスは、前記少なくとも１つのＴＭＶＰ候補のうちの１つを識別するためのものである、ステップをさらに含む、前記（２）に記載の方法。

（１２）再構築する前記ステップは、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つに従って、前記現在ブロック内の各サブブロックの動きベクトル予測子を導出するステップと、前記現在ブロック内のそれぞれの前記サブブロックの前記動きベクトル予測子に従って、前記現在ブロックを再構築するステップと、を含む、前記（２）に記載の方法。

（１３）処理回路を備える装置であって、前記処理回路は、符号化されたビデオシーケンスの一部である現在の符号化ピクチャ内の現在ブロックの予測情報をデコードするように構成され、前記予測情報は、前記現在ブロックに平面動きベクトル予測モードが使用されるか否かを示すものであり、前記現在ブロックは複数のサブブロックに分割され、前記処理回路は、さらに、前記平面動きベクトル予測モードの使用に応じて、前記現在ブロックの右下（ＢＲ）隅の少なくとも１つの時間的動きベクトル予測子（ＴＭＶＰ）候補を決定し、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つに従って、前記現在ブロックを再構築する、ように構成される処理回路を備える装置。

（１４）前記予測情報において、前記現在ブロックの参照ピクチャはシグナリングされる、前記（１３）に記載の装置。

（１５）前記処理回路は、さらに、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つの参照ピクチャが前記現在ブロックの前記参照ピクチャと異なるとの決定に応じて、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つを前記現在ブロックの前記参照ピクチャにスケーリングするように構成され、前記現在ブロックは、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちのスケーリングされた候補に従って再構築される、前記（１４）に記載の装置。

（１６）前記予測情報は、前記ＢＲ隅の動きベクトル差分（ＭＶＤ）を含み、前記処理回路は、さらに、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つおよび前記ＢＲ隅の前記ＭＶＤに基づいて、最終的な動きベクトルを決定するように構成される、前記（１４）に記載の装置。

（１７）前記少なくとも１つのＴＭＶＰ候補は、参照ピクチャ内のコロケートブロックに基づいて決定されるＴＭＶＰ候補を含み、前記参照ピクチャ内の前記コロケートブロックは、前記現在の符号化ピクチャ内の前記ＢＲ隅にあるサブブロックと同じ位置にある、前記（１４）に記載の装置。

（１８）前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記現在ブロックの内側に位置し、かつ前記ＢＲ隅に隣接する第１のサブブロック、および、前記現在ブロックの内側に位置し、かつ前記現在ブロックの中心に隣接する第２のサブブロックのうちの一方のＴＭＶＰ候補、前記現在ブロックの左下（ＢＬ）隣接サブブロックのＴＭＶＰ候補、および、前記現在ブロックの右上（ＡＲ）隣接サブブロックのＴＭＶＰ候補、のうちの少なくとも１つを含む、前記（１４）に記載の装置。

（１９）前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記現在ブロックのＢＬ隣接サブブロックと前記現在ブロックのＡＲ隣接サブブロックとの動きベクトルの加重平均であるＴＭＶＰ候補を含む、前記（１４）に記載の装置。

（２０）符号化されたビデオシーケンスの一部である現在の符号化ピクチャ内の現在ブロックの予測情報をデコードするステップであって、前記予測情報は、前記現在ブロックに平面動きベクトル予測モードが使用されるか否かを示すものであり、前記現在ブロックは複数のサブブロックに分割されるステップと、前記平面動きベクトル予測モードの使用に応じて、前記現在ブロックの右下（ＢＲ）隅の少なくとも１つの時間的動きベクトル予測子（ＴＭＶＰ）候補を決定するステップと、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つに従って、前記現在ブロックを再構築するステップと、を実行するために少なくとも１つのプロセッサによって実行可能なプログラムを記憶する非一時的なコンピュータ読取可能な記憶媒体。

付録Ａ：頭字語
ＪＥＭ：Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（共同探索モデル）
ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（多用途ビデオ符号化）
ＢＭＳ：Ｂｅｎｃｈｍａｒｋ Ｓｅｔ（ベンチマークセット）
ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ（動きベクトル）
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（高効率ビデオ符号化）
ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（補助強化情報）
ＶＵＩ：Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ビデオユーザビリティ情報）
ＧＯＰ：Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ（ピクチャ群）
ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔｓ（変換ユニット）
ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔｓ（予測ユニット）
ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔｓ（符号化ツリーユニット）
ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋｓ（符号化ツリーブロック）
ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋｓ（予測ブロック）
ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（仮想参照デコーダ）
ＳＮＲ：Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ（信号対雑音比）
ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（中央処理装置）
ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ（グラフィックスプロセッシングユニット）
ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ（陰極線管）
ＬＣＤ：Ｌｉｑｕｉｄ-Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（液晶ディスプレイ）
ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ-Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（有機発光ダイオード）
ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ（コンパクトディスク）
ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ（デジタルビデオディスク）
ＲＯＭ：Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ（リードオンリーメモリ）
ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ランダムアクセスメモリ）
ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ-Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）
ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ（プログラマブルロジックデバイス）
ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ローカルエリアネットワーク）
ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（グローバルモバイル通信システム）
ＬＴＥ：Ｌｏｎｇ-Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（長期的な進化）
ＣＡＮＢｕｓ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ Ｂｕｓ（コントローラエリアネットワークバス）
ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ユニバーサルシリアルバス）
ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ペリフェラルコンポーネントインターコネクト）
ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａｓ（フィールドプログラマブルゲートエリア）
ＳＳＤ：Ｓｏｌｉｄ-Ｓｔａｔｅ Ｄｒｉｖｅ（ソリッドステートドライブ）
ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（集積回路）
ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ（符号化ユニット）

本開示は一部の例示的な実施形態を説明してきたが、本開示の範囲内に含まれる変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、その思想および範囲内に含まれる様々なシステムおよび方法を考案できることが理解されよう。

２００ 通信システム
２１０ 端末装置
２２０ 端末装置
２３０ 端末装置
２４０ 端末装置
２５０ ネットワーク
３０１ ビデオソース
３０２ ビデオピクチャ
３０３ ビデオエンコーダ
３０４ ビデオデータ
３０５ ストリーミングサーバ
３０６ クライアントサブシステム
３０７ ビデオデータ（コピー）
３０８ クライアントサブシステム
３０９ ビデオデータ（コピー）
３１０ ビデオデコーダ
３１１ ビデオピクチャ
３１２ ディスプレイ
３１３ キャプチャサブシステム
３２０ 電子デバイス
３３０ 電子デバイス
４０１ チャネル
４１０ ビデオデコーダ
４１２ レンダリングデバイス
４１５ バッファメモリ
４２０ パーサ
４２１ シンボル
４３０ 電子デバイス
４３１ 受信機
４５１ 逆変換ユニット
４５２ イントラ予測ユニット
４５３ 補償予測ユニット
４５５ アグリゲータ
４５６ ループフィルタユニット
４５７ 参照ピクチャメモリ
４５８ 現在ピクチャバッファ
５０１ ビデオソース
５０３ ビデオエンコーダ
５２０ 電子デバイス
５３０ ソースコーダ
５３２ 符号化エンジン
５３３ ローカルビデオデコーダ
５３４ 参照ピクチャメモリ
５３５ 予測器
５４０ 送信機
５４３ 符号化ビデオシーケンス
５４５ エントロピーコーダ
５５０ コントローラ
５６０ 通信チャネル

Claims (9)

1. デコーダが実行する方法であって、
   符号化されたビデオシーケンスの一部である現在の符号化ピクチャ内の現在ブロックの予測情報をデコードするステップであって、前記予測情報は、前記現在ブロックに平面動きベクトル予測モードが使用されるか否かを示すものであり、前記予測情報において、前記現在ブロックの参照ピクチャがシグナリングされ、前記現在ブロックは複数のサブブロックに分割される、ステップと、
   前記予測情報に前記平面動きベクトル予測モードが使用されることが示されている場合、前記平面動きベクトル予測モードの使用に応じて、前記現在ブロックの右下（ＢＲ）隅の少なくとも１つの時間的動きベクトル予測子（ＴＭＶＰ）候補を決定するステップであって、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記参照ピクチャ内のコロケートブロックに基づいて決定されるＴＭＶＰ候補を含み、前記参照ピクチャ内の前記コロケートブロックは、前記現在の符号化ピクチャ内の前記ＢＲ隅にあるサブブロックと同じ位置にある、ステップと、
   前記ＢＲ隅にあるサブブロックの動きベクトルを、前記コロケートブロックに基づいて決定されるＴＭＶＰ候補を使用して予測するステップと、
   前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、前記現在ブロックのＢＬ隣接サブブロックと前記現在ブロックのＡＲ隣接サブブロックとの動きベクトルの加重平均であるＴＭＶＰ候補を含み、前記予測情報は、前記ＢＲ隅の動きベクトル差分（ＭＶＤ）を含み、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つおよび前記ＢＲ隅の前記ＭＶＤに基づいて、前記ＢＲ隅の最終的な動きベクトルを決定するステップと、
   前記ＢＲ隅の最終的な動きベクトルに従って、前記現在ブロック内の各サブブロックの動きベクトル予測子を導出するステップと、
   前記現在ブロック内のそれぞれの前記サブブロックの前記動きベクトル予測子に従って前記現在ブロックを再構築するステップと、
   を含むデコーダにおけるビデオデコード方法。
2. 前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つの参照ピクチャが前記現在ブロックの前記参照ピクチャと異なる場合、
   前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちの１つを前記現在ブロックの前記参照ピクチャにスケーリングするステップであって、前記現在ブロックは、前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補のうちのスケーリングされた候補に従って再構築される、ステップをさらに含む、請求項１に記載の方法。
3. 前記ＢＲ隅にある前記サブブロックは、前記現在ブロックの外側に位置する、請求項１に記載の方法。
4. 前記ＢＲ隅にある前記サブブロックは、前記現在ブロックの内側にある、請求項１に記載の方法。
5. 前記ＢＲ隅の前記少なくとも１つのＴＭＶＰ候補は、
   前記現在ブロックの内側に位置し、かつ前記ＢＲ隅に隣接する第１のサブブロック、および、前記現在ブロックの内側に位置し、かつ前記現在ブロックの中心に隣接する第２のサブブロックのうちの一方のＴＭＶＰ候補、
   前記現在ブロックの左下（ＢＬ）隣接サブブロックのＴＭＶＰ候補、および、
   前記現在ブロックの右上（ＡＲ）隣接サブブロックのＴＭＶＰ候補、
   のうちの少なくとも１つを含む、請求項１に記載の方法。
6. 前記少なくとも１つのＴＭＶＰ候補のうちの１つを識別する、受信インデックス、
   所定の候補順序、および、
   事前に選択されたＴＭＶＰ候補、
   のうちの少なくとも１つに基づいて、候補リストから前記少なくとも１つのＴＭＶＰ候補のうちの１つを選択するステップをさらに含む、請求項１に記載の方法。
7. 受信インデックス、および、所定の候補順序に基づいて、候補リストから前記少なくとも１つのＴＭＶＰ候補のうちの１つを選択するステップであって、前記受信インデックスは、前記少なくとも１つのＴＭＶＰ候補のうちの１つを識別するためのものである、ステップをさらに含む、
   請求項１に記載の方法。
8. 処理回路を備える装置であって、
   前記処理回路は、請求項１～７のいずれか一項に記載の、デコーダにおけるビデオデコード方法を実行するように構成される装置。
9. コンピュータに、請求項１～７のいずれか一項に記載の、デコーダにおけるビデオデコード方法を実行させるためのプログラム。

Images