JP7125563B2 - 映像復号のための方法、装置、及びコンピュータプログラム - Google Patents

Description

この出願は、２０１９年２月２８日に出願された米国仮出願第６２／８１２，２１７号“MOTION VECTOR PREDICTOR DERIVATION RESTRICTION BASED ON AMVR INDEX”に対する優先権の利益を主張するものである２０２０年２月２１日に出願された米国特許出願第１６／７９７，８９３号“METHOD AND APPARATUS FOR MOTION PREDICTION IN VIDEO CODING”に対する優先権の利益を主張するものである。これら先行出願の開示全体をそれらの全体にてここに援用する。

本開示は、映像コーディングに概して関係する実施形態を記述する。

ここに提示される背景説明は、開示に係る状況を概略的に提示するためのものである。この背景セクションに記載される範囲においての、ここに名を連ねる発明者の仕事、並びに、出願時にさもなければ従来技術として適格でないかもしれない記載の態様は、明示的にも、暗示的にも、本開示に対する従来技術として認められるものではない。

動き補償を用いるインターピクチャ予測を使用して映像符号化及び復号を実行することができる。圧縮されていないデジタル映像は一連のピクチャを含み、各ピクチャが、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間寸法を持つ。一連のピクチャは、固定又は可変のピクチャレート（非公式にはフレームレートとしても知られる）を持つことができ、例えば、毎秒６０ピクチャ、すなわち、６０Ｈｚのピクチャレートを持ち得る。圧縮されていない映像は、かなりのビットレート要求を持つ。例えば、サンプル当たり８ビットの１０８０ｐ６０ ４：２：０映像（６０Ｈｚのフレームレートで１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。１時間のこのような映像は、６００ＧＢｙｔｅを超えるストレージ空間を必要とする。

映像の符号化及び復号の１つの目的は、圧縮を通じての入力映像信号の冗長性の低減であるとし得る。圧縮は、前述の帯域幅要求又はストレージ空間要求を、場合によって２桁以上の大きさで、低減させる助けとなることができる。可逆圧縮及び非可逆圧縮の双方、並びにこれらの組み合わせを使用することができる。可逆圧縮は、原信号の正確な複製を圧縮された原信号から再構成することができる技術を指す。非可逆圧縮を使用する場合、再構成された信号は、原信号と同じにならないことがあるが、原信号と再構成信号との間の歪みは、再構成信号を意図した用途に有用にするのに十分な小ささとなる。映像の場合、非可逆圧縮が広く用いられる。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン配信アプリケーションのユーザよりも高い歪みを許容し得る。達成可能な圧縮比はそれを反映し、より高い許容／我慢できる歪みは、より高い圧縮比をもたらすことができる。

動き補償は、非可逆圧縮技術であるとし得るとともに、先行して再構成されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以下、ＭＶ）によって指し示される方向に空間的にシフトされた後に、新たに再構成されるピクチャ又はピクチャ部分の予測のために使用される技術に関係するとし得る。一部のケースにおいて、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは、２つの次元Ｘ及びＹを有することができ、あるいは、使用する参照ピクチャを指し示すインジケーションを３つめとして３つの次元を有することができる（後者は、間接的に、時間次元であるとすることができる）。

一部の映像圧縮技術では、サンプルデータのある特定の領域に適用可能なＭＶを、例えば、復号順でそのＭＶに先行するＭＶであって再構成中の領域に空間的に隣接するサンプルデータの別領域に関係するＭＶからなど、別のＭＶから予測することができる。そうすることは、そのＭＶを符号化するのに必要なデータの量を大幅に減らすことができ、それにより冗長性を取り除いて圧縮を高めることができる。ＭＶ予測は、効果的に機能することができる。何故なら、例えば、カメラに由来する入力ビデオ信号（ナチュラルビデオとして知られる）を符号化するとき、単一のＭＶが適用可能である領域よりも大きい領域が同様の方向に移動し、それ故に、場合により、隣接する領域のＭＶから導出される同様の動きベクトルを用いて予測されることができる、という統計的尤度があるからである。これがもたらすのは、所与の領域に対して見出されたＭＶが、周囲のＭＶから予測されるＭＶと類似又は同じであり、ひいては、エントロピー符号化の後に、そのＭＶを直接符号化する場合に使用されることになるものよりも少ないビット数で表されることができるということである。一部のケースでは、ＭＶ予測は、原信号（はっきり言えば、サンプルストリーム）から導出される信号（はっきり言えば、ＭＶ）の可逆圧縮の一例であることができる。他のケースでは、例えば、幾つかの周囲ＭＶから予測子を計算する際の丸め誤差のために、ＭＶ予測それ自体が非可逆的であるとし得る。

様々なＭＶ予測メカニズムが、Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ勧告Ｈ．２６５，“High Efficiency Video Coding”、２０１６年１２月）に記述されている。Ｈ．２６５が提供するそれら多数のＭＶ予測メカニズムのうち、以下では“空間マージ”と称する技術をここで説明する。

図１を参照するに、現在ブロック（１０１）は、空間的にシフトされた同じサイズの先行ブロックから予測可能であることが動き探索プロセス中にエンコーダによって見出されたサンプルを有する。ＭＶを直接符号化する代わりに、ＭＶを、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ１０２から１０６）と表記する５つの周囲サンプルのうちのいずれか１つに関連するＭＶを用いて、例えば（復号順で）直前の参照ピクチャからなど、１つ以上の参照ピクチャに関連するメタデータから導出することができる。Ｈ．２６５において、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。

本開示の態様は、映像符号化／復号のための方法及び装置を提供する。一部の例において、映像復号のための装置は処理回路を含む。処理回路は、符号化映像ビットストリームから現在ブロックの予測情報を復号する。該予測情報は、候補リストから選択される動きベクトル予測子と動きベクトル差とに基づいてインター予測を実行するインター予測モードを指し示す。次いで、処理回路は、動きベクトル差の精度情報を復号し、精度情報がある特定の精度を指し示す場合に、候補リストのサブセットから動きベクトル予測子を導出する。そして、処理回路は、動きベクトル予測子及び動きベクトル差に従って現在ブロックのサンプルを再構成する。

一部の実施形態において、処理回路は、適応動きベクトルレゾリューション（ＡＭＶＲ）に従って、特定の精度を指し示す第１の特定値を持つ第１のインデックスを復号する。一実施形態において、処理回路は、第１のインデックスが第１の特定値であることに基づいて、候補リストのサブセットを指し示すフラグを推定する。他の一実施形態において、処理回路は、候補リストのサブセット内の動きベクトル予測子を指し示す第２のインデックスを復号する。第２のインデックスは、候補リストを符号化するための第２のビット数よりも短い第１のビット数で符号化されている。

一部の実施形態において、処理回路は、候補リストから履歴ベースの動きベクトル予測子候補を除外する候補リストのサブセットから動きベクトル予測子を導出する。一例において、処理回路は、候補リストからの履歴ベースの動きベクトル予測子候補の除外を、適応動きベクトルレゾリューション（ＡＭＶＲ）インデックスに基づいて決定する。

一部の例において、処理回路は、第１のインデックスが第１の特定値とは異なる第２の値である場合に、候補リストのサブセットを指し示すフラグを符号化映像ビットストリームから復号する。

本開示の一態様によれば、処理回路は、精度情報が所定のデフォルト精度値を指し示す場合に、候補リストのサブセットから動きベクトル予測子を導出する。

一部の例において、処理回路は、動きベクトル差の精度情報に基づいて候補リストのサブセットを決定する。

本開示の態様はまた、映像復号用のコンピュータによって実行されるときに該コンピュータに映像復号のための方法を実行させる命令を格納した非一時的なコンピュータ読み取り可能媒体を提供する。

開示に係る事項の更なる特徴、性質、及び様々な利点が、以下の詳細な説明及び添付の図面から、よりいっそう明らかになる。
一例における現在ブロック及びその周囲の空間マージ候補を概略的に例示している。 一実施形態に従った通信システム（２００）の簡略ブロック図を概略的に例示している。 一実施形態に従った通信システム（３００）の簡略ブロック図を概略的に例示している。 一実施形態に従ったデコーダの簡略ブロック図を概略的に例示している。 一実施形態に従ったエンコーダの簡略ブロック図を概略的に例示している。 他の一実施形態に従ったエンコーダのブロック図を示している。 他の一実施形態に従ったデコーダのブロック図を示している。 一部の実施形態での冗長性検査ペアを説明する図を示している。 時間候補導出の一例を示している。 新たな動き候補を挿入するために制約付き先入れ先出しルールを使用することの例を示している。 本開示の一部の実施形態に従ったプロセス例を概説するフローチャートである。 一実施形態に従ったコンピュータシステムの概略図である。

図２は、本開示の一実施形態に従った通信システム（２００）の簡略ブロック図を例示している。通信システム（２００）は、例えばネットワーク（２５０）を介して、互いに通信することができる複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１の対の端末装置（２１０）及び（２２０）を含む。図２の例において、第１の対の端末装置（２１０）及び（２２０）は、データの一方向伝送を行う。例えば、端末装置（２１０）が、映像データ（例えば、端末装置（２１０）によってキャプチャされた映像ピクチャのストリーム）を、ネットワーク（２５０）を介した他の端末装置（２２０）への伝送のために符号化し得る。符号化された映像データは、１つ以上の符号化映像ビットストリームの形態で伝送されることができる。端末装置（２２０）が、ネットワーク（２５０）から符号化映像データを受信し、符号化映像データを復号して映像ピクチャを復元し、復元した映像データに従って映像ピクチャを表示し得る。一方向データ伝送は、メディアサービス提供アプリケーション及びそれに類するものにおいて一般的であり得る。

他の一例において、通信システム（２００）は、例えば、テレビ会議中に発生し得る符号化映像データの双方向伝送を行う第２の対の端末装置（２３０）及び（２４０）を含む。データの双方向伝送では、一例において、端末装置（２３０）及び（２４０）の各端末装置が、映像データ（例えば、その端末装置によってキャプチャされた映像ピクチャのストリーム）を、ネットワーク（２５０）を介した端末装置（２３０）及び（２４０）のうちの他方の端末装置への伝送のために符号化し得る。端末装置（２３０）及び（２４０）の各端末装置はまた、端末装置（２３０）及び（２４０）のうちの他方の端末装置によって送信された符号化映像データを受信し得るとともに、符号化映像データを復号して映像ピクチャを復元し、そして、復元した映像データに従って、アクセス可能なディスプレイ装置に映像ピクチャを表示し得る。

図２において、端末装置（２１０）、（２２０）、（２３０）及び（２４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして示されているが、本開示の原理は、そのように限定されるものではないとし得る。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のテレビ会議機器での用途を見出し。ネットワーク（２５０）は、例えば、配線（有線）通信ネットワーク及び／又は無線通信ネットワークを含め、端末装置（２１０）、（２２０）、（２３０）及び（２４０）間で符号化された映像データを伝達するあらゆる数のネットワークを表す。通信ネットワーク（２５０）は、回線交換チャネル及び／又はパケット交換チャネルにてデータを交換し得る。代表的なネットワークは、遠距離通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含む。本説明の目的上、ネットワーク（２５０）のアーキテクチャ及びトポロジーは、以下にて説明しない限り、本開示の動作にとって重要ではないとし得る。

図３は、開示に係る事項に関するアプリケーションの一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を例示している。開示に係る事項は、例えば、テレビ会議や、デジタルＴＶや、ＣＤ、ＤＶＤ、メモリスティック及びこれらに類するものを含むデジタル媒体上での圧縮映像の格納などを含め、映像を使用可能な他の用途にも等しく適用されることができる。

ストリーミングシステムは、例えば圧縮されていない映像ピクチャのストリーム（３０２）を作り出す例えばデジタルカメラといった映像ソース（３０１）を含み得るものであるキャプチャサブシステム（３１３）を含み得る。一例において、映像ピクチャのストリーム（３０２）は、デジタルカメラによって撮影されるサンプルを含む。映像ピクチャのストリーム（３０２）は、符号化された映像データ（３０４）（又は符号化映像ビットストリーム）と比較して高いデータボリュームであることを強調するために太線として描かれており、映像ソース（３０１）に結合されたビデオエンコーダ（３０３）を含んだエレクトロニクス装置（３２０）によって処理され得る。ビデオエンコーダ（３０３）は、更に詳細に後述される開示に係る事項の態様を使用可能にする又は実装するための、ハードウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。符号化された映像データ（３０４）（又は符号化映像ビットストリーム（３０４））は、映像ピクチャのストリーム（３０２）と比較して低いデータボリュームであることを強調するために細線として描かれており、後の使用のためにストリーミングサーバ（３０５）に格納されることができる。例えば図３のクライアントサブシステム（３０６）及び（３０８）などの１つ以上のストリーミングクライアントサブシステムが、符号化された映像データ（３０４）のコピー（３０７）及び（３０９）を取り出すためにストリーミングサーバ（３０５）にアクセスすることができる。クライアントサブシステム（３０６）は、例えばエレクトロニクス装置（３３０）内の、ビデオデコーダ（３１０）を含むことができる。ビデオデコーダ（３１０）は、入ってくる符号化された映像データのコピー（３０７）を復号し、出ていく映像ピクチャのストリーム（３１１）を作り出すことができ、出ていく映像ピクチャのストリーム（３１１）が、ディスプレイ（３１２）（例えば、表示スクリーン）又は他のレンダリング装置（図示せず）上でレンダリングされ得る。一部のストリーミングシステムにおいて、符号化された映像データ（３０４）、（３０７）、及び（３０９）（例えば、映像ビットストリーム）は、特定の映像符号化／圧縮標準に従って符号化されることができる。それら標準の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例において、開発中のある映像符号化標準は、非公式にバーサタイルビデオコーディング（Versatile Video Coding；ＶＶＣ）として知られている。開示に係る事項は、ＶＶＣの文脈で使用され得る。

なお、エレクトロニクス装置（３２０）及び（３３０）は、他のコンポーネント（図示せず）を含むことができる。例えば、エレクトロニクス装置（３２０）はビデオデコーダ（図示せず）を含むことができ、エレクトロニクス装置（３３０）はビデオエンコーダ（図示せず）も含むことができる。

図４は、本開示の一実施形態に従ったビデオデコーダ（４１０）のブロック図を示している。ビデオデコーダ（４１０）は、エレクトロニクス装置（４３０）に含まれ得る。エレクトロニクス装置（４３０）は、受信器（４３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（４１０）は、図３の例におけるビデオデコーダ（３１０）の代わりに使用されることができる。

受信器（４３１）が、これと同じ実施形態又は他の一実施形態において、一度に１つの符号化映像シーケンスで、ビデオデコーダ（４１０）によって復号されることになる１つ以上の符号化映像シーケンスを受信することができ、各符号化映像シーケンスの復号は、他の符号化映像シーケンスとは独立である。符号化映像シーケンスは、符号化された映像データを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得るものであるチャネル（４０１）から受信され得る。受信器（４３１）は、符号化映像データを、例えば符号化された音声データ及び／又は補助データストリームといった他のデータと共に受信してもよく、それらのデータは、それらそれぞれの使用エンティティ（図示せず）に転送され得る。受信器（４３１）は、符号化映像シーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、受信器（４３１）とエントロピーデコーダ／パーサ４２０（以下、“パーサ（４２０）”）との間にバッファメモリ（４１５）が結合され得る。特定のアプリケーションにおいて、バッファメモリ（４１５）はビデオデコーダ（４１０）の一部である。他のものにおいて、それは、ビデオデコーダ（４１０）の外部にあってもよい（図示せず）。更なる他のものにおいて、例えばネットワークジッタに対抗するために、ビデオデコーダ（４１０）の外部にバッファメモリ（図示せず）が存在することができ、さらに、例えば再生タイミングを取り扱うために、ビデオデコーダ（４１０）の内部に別のバッファメモリ（４１５）が存在することができる。受信器（４３１）が、十分な帯域幅及び可制御性の格納／転送装置から又は等同期ネットワークからデータを受信しているとき、バッファメモリ（４１５）は、必要とされなくてもよく、又は小さくされることができる。例えばインターネットなどのベストエフォート型パケットネットワーク上での使用では、バッファメモリ（４１５）が、必要とされ得るとともに、比較的大きくされ、そして、有利には適応可能なサイズのものにされることができ、また、少なくとも部分的に、ビデオデコーダ（４１０）の外部のオペレーティングシステム又は同様の要素（図示せず）にて実装され得る。

ビデオデコーダ（４１０）は、符号化映像シーケンスからシンボル（４２１）を再構成するためのパーサ（４２０）を含み得る。それらシンボルのカテゴリは、ビデオデコーダ（４１０）の動作を管理するために使用される情報を含むとともに、可能性として、図４に示したように、エレクトロニクス装置（４３０）の統合部分ではないがエレクトロニクス装置（４３０）に結合されることが可能な、例えばレンダー装置（４１２）（例えば、表示スクリーン）などのレンダリング装置を制御する情報を含み得る。（１つ以上の）レンダリング装置用の制御情報は、補足強化情報（Supplementary Enhancement Information；ＳＥＩ）メッセージ又はビデオユーザビリティ情報（Video Usability Information；ＶＵＩ）パラメータセットフラグメント（図示せず）の形態とし得る。パーサ（４２０）は、受け取った符号化映像シーケンスを構文解析／エントロピー復号し得る。符号化映像シーケンスの符号化は、映像符号化技術又は標準によることができ、可変長符号化、ハフマン符号化、文脈依存性を持つ又は持たない算術符号化などを含め、様々な原理に従うことができる。パーサ（４２０）は、符号化映像シーケンスから、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つに関する一組のサブグループパラメータを抽出することができる。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（４２０）はまた、符号化映像シーケンス情報から、例えば変換係数、量子化パラメータ値、動きベクトルなどの情報を抽出し得る。

パーサ（４２０）は、シンボル（４２１）を生み出すよう、バッファメモリ（４１５）から受け取った映像シーケンスにエントロピー復号／構文解析処理を実行し得る。

シンボル（４２１）の再構成には、符号化された映像ピクチャ又はその部分のタイプ及び他の要因（例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロックなど）に応じて、複数の異なるユニットが関与し得る。どのユニットが関与するか、及びそれらがどのように関与するかは、パーサ（４２０）によって符号化映像シーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（４２０）と以下の複数ユニットとの間でのこのようなサブグループ制御情報の流れは、明瞭さのために図示していない。

既述の機能ブロックを超えて、ビデオデコーダ（４１０）は概念的に、後述のような多数の機能ユニットに細分化されることができる。商業上の制約の下で稼働する実用的な実装において、これらのユニットのうちの多くが互いに密接にインタラクトし、少なくとも部分的に互いに統合され得る。しかしながら、開示に係る事項を説明するという目的のためには、以下の機能ユニットへの概念的な細分化が適切である。

第１のユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、パーサ（４２０）からの（１つ以上の）シンボル（４２１）として、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報とともに、量子化された変換係数を受け取る。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力されることが可能な、サンプル値を有するブロックを出力することができる。

場合により、スケーラ／逆変換（４５１）の出力サンプルは、イントラ符号化されたブロック、すなわち、先行して再構成されたピクチャからの予測情報を使用していないが、現在ピクチャのうち先行して再構成された部分からの予測情報を使用することができるブロック、に関係し得る。このような予測情報は、イントラピクチャ予測ユニット（４５２）によって提供されることができる。場合により、イントラピクチャ予測ユニット（４５２）は、現在ピクチャバッファ（４５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（４５８）は、例えば、部分的に再構成された現在ピクチャ及び／又は完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（４５５）は、場合により、サンプル毎に、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）によって提供される出力サンプル情報に付加する。

他の場合には、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インター符号化された、動き補償された可能性のあるブロックに関係し得る。このような場合、動き補償予測ユニット（４５３）が、参照ピクチャメモリ（４５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルを、ブロックに関係するシンボル（４２１）に従って動き補償した後、これらのサンプルが、アグリゲータ（４５５）によって、スケーラ／逆変換ユニット（４５１）の出力（この場合、残差サンプル又は残差信号と呼ばれる）に付加されて、出力サンプル情報を生成することができる。そこから動き補償予測ユニット（４５３）が予測サンプルをフェッチする参照ピクチャメモリ（４５７）内のアドレスは、動きベクトルによって制御されることができ、例えばＸ、Ｙ、及び参照ピクチャ成分を有し得るシンボル（４２１）の形態で動き補償予測ユニット（４５３）に利用可能である。動き補償はまた、サブサンプルの正確な動きベクトルが使用されるときに参照ピクチャメモリ（４５７）からフェッチされたサンプル値の補間や、動きベクトル予測メカニズムなどを含むことができる。

アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）にて様々なループフィルタリング技術に掛けられ得る。映像圧縮技術は、インループ（in-loop）フィルタ技術を含むことができ、これは、符号化映像シーケンス（符号化映像ビットストリームとも称する）に含められてパーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に利用可能にされるパラメータによって制御されるが、符号化ピクチャ又は符号化映像シーケンスのうちの（復号順で）先行部分の復号中に得られたメタ情報にも応答することができるとともに、先行して再構成されてループフィルタリングされたサンプル値にも応答することができる。

ループフィルタユニット（４５６）の出力は、レンダー装置（４１２）に出力されることが可能なサンプルストリームとすることができ、これはまた、将来のインターピクチャ予測での使用のために参照ピクチャメモリ（４５７）に格納されることができる。

ある特定の符号化ピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構成され、その符号化ピクチャが参照ピクチャとして（例えば、パーサ（４２０）によって）特定されると、現在ピクチャバッファ（４５８）が参照ピクチャメモリ（４５７）の一部となり得るとともに、次の符号化ピクチャの再構成を開始する前に新しい現在ピクチャバッファが再割り当てされ得る。

ビデオデコーダ（４１０）は、例えばＩＴＵ－Ｔ勧告Ｈ．２６５などの標準における所定の映像圧縮技術に従って復号処理を実行し得る。符号化映像シーケンスは、映像圧縮技術又は標準の構文と映像圧縮技術又は標準において文書化されたプロファイルとの双方を忠実に守るという意味で、使用される映像圧縮技術又は標準によって規定される構文に従い得る。具体的には、プロファイルは、映像圧縮技術又は標準において利用可能な全てのツールから、特定のツールを、そのプロファイルの下での使用に利用可能なツールはそれだけであるように選択することができる。また、コンプライアンスのために、符号化映像シーケンスの複雑さが、映像圧縮技術又は標準のレベルによって規定される範囲内にあることも必要である。場合により、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制約する。レベルによって設定される制限は、場合により、仮説的リファレンスデコーダ（Hypothetical Reference Decoder；ＨＲＤ）仕様、及び符号化映像シーケンスにてシグナリングされるＨＲＤバッファ管理用のメタデータを通して更に制約され得る。

一実施形態において、受信器（４３１）は、符号化された映像と共に追加（冗長）データを受信し得る。追加データは、（１つ以上の）符号化映像シーケンスの一部として含められ得る。追加データは、データを適切に復号するため、及び／又は元の映像データをいっそう正確に再構成するために、ビデオデコーダ（４１０）によって使用され得る。追加データは、例えば、時間的、空間的、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、順方向誤り訂正符号などの形態とし得る。

図５は、本開示の一実施形態に従った、ビデオエンコーダ（５０３）のブロック図を示している。ビデオエンコーダ（５０３）は、エレクトロニクス装置（５２０）に含まれる。例えば、エレクトロニクス装置（５２０）は送信器（５４０）（例えば、送信回路）を含んでいる。ビデオエンコーダ（５０３）は、図３の例におけるビデオエンコーダ（２０３）の代わりに使用されることができる。

ビデオエンコーダ（５０３）は、エンコーダ（５０３）によって符号化されることになる（１つ以上の）映像画像をキャプチャし得る映像ソース（５０１）（図５の例ではエレクトロニクス装置（５２０）の一部ではない）から映像サンプルを受信し得る。他の一例において、映像ソース（５０１）は、エレクトロニクス装置（５２０）の一部である。

映像ソース（５０１）は、ビデオエンコーダ（５０３）によって符号化されるソース映像シーケンスを、任意の好適なビット深さ（例えば、８ビット、１０ビット、１２ビット、…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、…）、及び任意の好適なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）のものとし得るデジタル映像サンプルストリームの形態で提供し得る。メディアサービス提供システムにおいて、映像ソース（５０１）は、事前に準備された映像を格納したストレージ装置とし得る。テレビ会議システムでは、映像ソース（５０１）は、ローカルな画像情報を映像シーケンスとしてキャプチャするカメラとし得る。映像データは、順に見たときに動きを伝える複数の個々のピクチャとして提供され得る。それらピクチャ自体は、ピクセルの空間アレイとして編成されることができ、各ピクセルが、使用されるサンプリング構造、色空間などに応じて、１つ以上のサンプルを有することができる。当業者は、ピクセルとサンプルとの関係を直ちに理解することができる。以下の説明は、サンプルに焦点を当てている。

一実施形態によれば、ビデオエンコーダ（５０３）は、ソース映像シーケンスのピクチャを、リアルタイムで、又はアプリケーションによって要求される他の時間制約下で、符号化映像シーケンス（５４３）へと符号化及び圧縮し得る。適切な符号化速度を強制することが、コントローラ（５５０）の１つの機能である。一部の実施形態において、コントローラ（５５０）は、後述するような他の機能ユニットを制御するとともに、それら他の機能ユニットに機能的に結合される。その結合は、明瞭さのために図示されていない。コントローラ（５５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲などを含み得る。コントローラ（５５０）は、特定のシステム設計に合わせて最適化されるビデオエンコーダ（５０３）に関連する他の好適な機能を有するように構成されることができる。

一部の実施形態において、ビデオエンコーダ（５０３）は、符号化ループにて動作するように構成される。過度に単純化した説明として、一例において、符号化ループは、ソースコーダ（５３０）（例えば、符号化される入力ピクチャ及び（１つ以上の）参照ピクチャに基づいて例えばシンボルストリームなどのシンボルを作成することを担う）と、ビデオエンコーダ（５０３）に埋め込まれた（ローカル）デコーダ（５３３）とを含むことができる。デコーダ（５３３）は、（シンボルと符号化映像ビットストリームとの間での圧縮が、開示に係る事項において検討される映像圧縮技術において可逆であるときに）（リモート）デコーダも作成するのと同様にして、シンボルを再構成してサンプルデータを生成する。再構成されたサンプルストリーム（サンプルデータ）が、参照ピクチャメモリ（５３４）に入力される。シンボルストリームの復号は、デコーダ位置（ローカル又はリモート）に依存しないビット正確な結果をもたらすので、参照ピクチャメモリ（５３４）内のコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確である。換言すれば、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに“見る”のとまったく同じサンプル値を参照ピクチャサンプルとして“見る”。この参照ピクチャ同期性の基本原理（及び、例えばチャネルエラーのために、同期性を維持することができない場合に結果として生じるドリフト）は、一部の関連技術でも使用されている。

“ローカル”デコーダ（５３３）の動作は、例えばビデオデコーダ（４１０）などの“リモート”デコーダのものと同じであるとすることができ、それは、図４に関連して既に詳細に上述されている。しかしながら、図４も手短に参照するに、シンボルが利用可能であり、且つエントロピーコーダ（５４５）及びパーサ（４２０）によるシンボルの符号化映像シーケンスへの符号化／復号は可逆であるとし得るので、バッファメモリ（４１５）及びパーサ（４２０）を含むビデオデコーダ（４１０）のエントロピー復号部分は、ローカルデコーダ（５３３）に完全に実装されなくてよい。

この時点で気付くことができることには、デコーダ内に存在する構文解析／エントロピー復号を除く如何なるデコーダ技術も、対応するエンコーダ内に、実質的に同じ機能的形態で、必ず存在する必要がある。エンコーダ技術の説明は、徹底して説明したデコーダ技術の逆であるので、省略することができる。特定の分野においてのみ、より詳細な説明が必要とされ、以下に提供される。

動作時、一部の例において、ソースコーダ（５３０）は、入力ピクチャを、映像シーケンスからの、“参照ピクチャ”として指定された１つ以上の先に符号化されたピクチャに対して予測的に符号化するものである動き補償予測符号化を実行し得る。斯くして、符号化エンジン（５３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する（１つ以上の）予測基準として選択され得る（１つ以上の）参照ピクチャのピクセルブロックとの間の差分を符号化する。

ローカルビデオデコーダ（５３３）は、参照ピクチャとして指定され得るピクチャの符号化映像データを、ソースコーダ（５３０）によって作成されたシンボルに基づいて復号し得る。符号化エンジン（５３２）の動作は、有利には、非可逆プロセスとし得る。符号化映像データが映像デコーダ（図５には示されていない）で復号され得るとき、再構成された映像シーケンスは典型的に、幾分の誤差を伴うソース映像シーケンスのレプリカであり得る。ローカルビデオデコーダ（５３３）は、参照ピクチャ上でビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（５３４）に格納させるようにし得る。斯くして、ビデオエンコーダ（５０３）は、ファーエンドのビデオデコーダによって得られることになる再構成参照ピクチャと共通のコンテンツを持つ再構成参照ピクチャのコピーをローカルに格納し得る。

予測器（５３５）は、符号化エンジン（５３２）のために予測探索を実行し得る。すなわち、符号化すべき新たなピクチャに関して、予測器（５３５）は、新たなピクチャ用の適切な予測基準としての役割を果たし得るサンプルデータ（候補参照ピクセルブロックとして）又は例えば参照ピクチャ動きベクトルやブロック形状などの特定のメタデータについて、参照ピクチャメモリ（５３４）を検索し得る。予測器（５３５）は、適切な予測参照を見出すために、ピクセルブロック毎に動作し得る。場合により、予測器（５３５）によって得られた検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に格納された複数の参照ピクチャから引き出された予測基準を有し得る。

コントローラ（５５０）は、例えば、映像データを符号化するのに使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ（５３０）の符号化処理を管理し得る。

前述の全ての機能ユニットの出力が、エントロピーコーダ（５４５）におけるエントロピー符号化に掛けられ得る。エントロピーコーダ（５４５）は、例えばハフマン符号化、可変長符号化、算術符号化などの技術に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを符号化映像シーケンスへと変換する。

送信器（５４０）が、エントロピーコーダ（５４５）によって生成された（１つ以上の）符号化映像シーケンスをバッファリングし、通信チャネル（５６０）を介した伝送のために準備し得る。通信チャネル（５６０）は、符号化された映像データを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得る。送信器（５４０）は、ビデオコーダ（５０３）からの符号化映像データを、例えば符号化オーディオデータ及び／又は補助データストリーム（ソースは図示していない）といった、送信される他のデータとマージし得る。

コントローラ（５５０）は、ビデオエンコーダ（５０３）の動作を管理し得る。符号化において、コントローラ（５５０）は、各符号化ピクチャに、それぞれのピクチャに適用され得る符号化技術に影響を及ぼし得るものである特定の符号化ピクチャタイプを割り当て得る。例えば、ピクチャはしばしば、以下のピクチャタイプのうちの１つを割り当てられ得る。

イントラピクチャ（Ｉピクチャ）は、シーケンス内の如何なる他のピクチャも予測のソースとして使用することなく符号化及び復号され得るものとし得る。一部の映像コーデックは、例えば独立デコーダリフレッシュ（Independent Decoder Refresh；ＩＤＲ）ピクチャを含め、複数の異なるタイプのイントラピクチャを許している。当業者は、Ｉピクチャのそれら異形、並びにそれらそれぞれの用途及び特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、多くて１つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、多くて２つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。同様に、多重予測ピクチャは、単一のブロックの再構成のために３つ以上の参照ピクチャと関連メタデータとを使用することができる。

ソースピクチャは、一般に、空間的に複数のサンプルブロック（例えば、各々４×４、８×８、４×８、又は１６×１６サンプルのブロック）に細分化され、ブロック毎に符号化され得る。ブロックは、それらブロックのそれぞれのピクチャに適用される符号化割り当てによって決定される他の（既に符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは非予測的に符号化されることができ、あるいは、それらは同じピクチャの既に符号化されたブロックを参照して予測的に符号化されることができる（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、非予測的に、あるいは、１つの先に符号化された参照ピクチャを参照して空間予測又は時間予測を介して、符号化されることができる。Ｂピクチャのブロックは、非予測的に、あるいは、１つ又は２つの先に符号化された参照ピクチャを参照して空間予測又は時間予測を介して、符号化されることができる。

ビデオエンコーダ（５０３）は、例えばＩＴＵ－Ｔ勧告Ｈ．２６５などの所定の映像符号化技術又は標準に従って符号化処理を実行し得る。その動作において、ビデオエンコーダ（５０３）は、入力映像シーケンスにおける時間的及び空間的な冗長性を活用する予測的な符号化処理を含め、様々な圧縮処理を実行し得る。符号化された映像データは、それ故に、使用されている映像符号化技術又は標準によって規定される構文に従い得る。

一実施形態において、送信器（５４０）は、符号化された映像と共に追加データを送信し得る。ソースコーダ（５３０）が、そのようなデータを、符号化映像シーケンスの一部として含め得る。追加データは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、例えば冗長ピクチャ及びスライスなどの他の形態の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを有し得る。

映像は、時間シーケンスにて複数のソースピクチャ（映像ピクチャ）としてキャプチャされ得る。イントラピクチャ予測（しばしば、イントラ予測と略される）は、所与のピクチャ内の空間的な相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を利用する。一例において、現在ピクチャと称される符号化／復号中の特定のピクチャが、複数のブロックへと分割される。現在ピクチャ内のあるブロックが、映像内の先に符号化され且つ依然としてバッファリングされている参照ピクチャ内の参照ブロックに類似しているとき、現在ピクチャ内のそのブロックは、動きベクトルと称されるベクトルによって符号化されることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合には、参照ピクチャを特定する第３の次元を持つことができる。

一部の実施形態において、インターピクチャ予測において双予測技術を使用することができる。双予測技術によれば、例えば、映像内でどちらも現在ピクチャに対して復号順で先である（しかし、表示順では、それぞれ過去及び将来であってもよい）第１の参照ピクチャ及び第２の参照ピクチャなどの、２つの参照ピクチャが使用される。現在ピクチャ内のブロックを、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトルと、第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルとによって符号化することができる。そのブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。

さらに、インターピクチャ予測において符号化効率を改善するために、マージモード技術を使用することができる。

本開示の一部の実施形態によれば、例えばインターピクチャ予測及びイントラピクチャ予測などの予測が、ブロックの単位で実行される。例えば、ＨＥＶＣ標準によれば、映像ピクチャのシーケンス内のピクチャが、圧縮のために複数の符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャ内のそれらＣＴＵは、例えば６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルなどの同一サイズを有する。一般に、ＣＴＵは、１つのルマ（luma）ＣＴＢと２つのクロマ（chroma）ＣＴＢである３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵが、１つ又は複数の符号化ユニット（ＣＵ）へと再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割されることができる。一例において、各ＣＵが、例えばインター予測タイプ又はイントラ予測タイプなど、そのＣＵの予測タイプを決定するために分析される。ＣＵは、時間的及び／又は空間的な予測可能性に依存して１つ以上の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、ルマ予測ブロック（ＰＢ）と２つのクロマＰＢとを含む。一実施形態において、コーディング（符号化／復号）に際しての予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを用いると、該予測ブロックは、例えば８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル、及びこれらに類するものなど、ピクセルの値（例えば、ルマ値）の行列を含む。

図６は、本開示の他の一実施形態に従ったビデオエンコーダ（６０３）の図を示している。ビデオエンコーダ（６０３）は、映像ピクチャのシーケンス内の現在映像ピクチャの中の処理ブロック（例えば、予測ブロック）のサンプル値を受信し、該処理ブロックを符号化映像シーケンスの一部である符号化ピクチャへと符号化するように構成される。一例において、ビデオエンコーダ（６０３）は、図３の例におけるビデオエンコーダ（３０３）の代わりに使用される。

ＨＥＶＣの例において、ビデオエンコーダ（６０３）は、例えば予測ブロックの８×８サンプルなどの、処理ブロックに関するサンプル値の行列を受信する。ビデオエンコーダ（６０３）は、例えばレート－歪み最適化を用いて、処理ブロックが最良に符号化されるのが、イントラモードを用いてなのか、インターモードを用いてなのか、それとも双予測モードを用いてなのかを決定する。処理ブロックがイントラモードで符号化される場合、ビデオエンコーダ（６０３）は、イントラ予測技術を使用して処理ブロックを符号化ピクチャへと符号化することができ、処理ブロックがインターモード又は双予測モードで符号化される場合、ビデオエンコーダ（６０３）は、それぞれ、インター予測技術又は双予測技術を使用して処理ブロックを符号化ピクチャへと符号化することができる。特定の映像符号化技術において、マージモードは、予測子の外側の符号化動きベクトル成分の利益なしで１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードとし得る。特定の他の映像符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例において、ビデオエンコーダ（６０３）は、例えば処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの、他のコンポーネントを含む。

図６の例において、ビデオエンコーダ（６０３）は、図６に示すように共に結合された、インターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差計算器（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、全般コントローラ（６２１）、及びエントロピーエンコーダ（６２５）を含んでいる。

インターエンコーダ（６３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、先行ピクチャ内及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インター符号化技術に従った冗長情報の記述、動きベクトル、マージモード情報）を生成し、そして、何らかの好適技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。一部の例において、参照ピクチャは、符号化された映像情報に基づいて復号された参照ピクチャである。

イントラエンコーダ（６２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、一部のケースにおいて、ブロックを、同じピクチャ内の既に符号化されたブロックと比較し、変換後の量子化係数を生成し、一部のケースでは、イントラ予測情報（例えば、１つ以上のイントラ符号化技術に従ったイントラ予測方向情報）も生成する。一例において、イントラエンコーダ（６２２）はまた、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。

全般コントローラ（６２１）は、全般制御データを決定し、全般制御データに基づいてビデオエンコーダ（６０３）の他のコンポーネントを制御するように構成される。一例において、全般コントローラ（６２１）は、ブロックのモードを決定し、そのモードに基づいてスイッチ（６２６）に制御信号を提供する。例えば、モードがイントラモードであるとき、全般コントローラ（６２１）は、残差計算器（６２３）による使用のためにイントラモード結果を選択するようにスイッチ（６２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（６２５）を制御し、モードがインターモードであるときには、全般コントローラ（６２１）は、残差計算器（６２３）による使用のためにインター予測結果を選択するようにスイッチ（６２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（６２５）を制御する。

残差計算器（６２３）は、受信されたブロックと、イントラエンコーダ（６２２）又はインターエンコーダ（６３０）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（６２４）は、残差データに基づいて動作し、残差データを符号化して変換係数を生成するように構成される。一例において、残差エンコーダ（６２４）は、残差データを空間ドメインから周波数ドメインに変換し、変換係数を生成するように構成される。次いで、変換係数が量子化処理にかけられて、量子化された変換係数が得られる。様々な実施形態において、ビデオエンコーダ（６０３）はまた、残差デコーダ（６２８）を含む。残差デコーダ（６２８）は、逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データは、イントラエンコーダ（６２２）及びインターエンコーダ（６３０）によって好適に使用されることができる。例えば、インターエンコーダ（６３０）は、復号された残差データ及びインター予測情報に基づいて、復号されたブロックを生成することができ、イントラエンコーダ（６２２）は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックが好適に処理されて、復号されたピクチャが生成され、そして、復号されたピクチャは、メモリ回路（図示せず）にバッファリングされ得るとともに、一部の例では参照ピクチャとして使用され得る。

エントロピーエンコーダ（６２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（６２５）は、例えばＨＥＶＣ標準などの好適な標準に従って種々の情報を含めるように構成される。一例において、エントロピーエンコーダ（６２５）は、全般制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の好適情報を、ビットストリームに含めるように構成される。なお、本開示に係る事項によれば、インターモード又は双予測モードのいずれかのマージサブモードにてブロックを符号化するとき、残差情報は存在しない。

図７は、本開示の他の一実施形態に従ったビデオデコーダ（７１０）の図を示している。ビデオデコーダ（７１０）は、符号化映像シーケンスの一部である符号化されたピクチャを受信し、該符号化されたピクチャを復号して再構成ピクチャを生成するように構成される。一例において、ビデオデコーダ（７１０）は、図３の例におけるビデオデコーダ（３１０）の代わりに使用される。

図７の例において、ビデオデコーダ（７１０）は、図７に示すように共に結合された、エントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構成モジュール（７７４）、及びイントラデコーダ（７７２）を含んでいる。

エントロピーデコーダ（７７１）は、符号化されたピクチャから、符号化されたピクチャを構成する構文要素を表す特定のシンボルを再構成するように構成され得る。そのようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双予測モード、マージサブモード又は他のサブモードにおける後者の２つなど）、それぞれイントラデコーダ（７７２）又はインターデコーダ（７８０）による予測のために使用される特定のサンプル又はメタデータを特定することができる予測情報（例えば、イントラ予測情報又はインター予測情報など）、例えば量子化された変換係数の形態をした残差情報、及びこれらに類するものを含むことができる。一例において、予測モードがインターモード又は双予測モードであるときには、インター予測情報がインターデコーダ（７８０）に提供され、予測タイプがイントラ予測タイプであるときには、イントラ予測情報がイントラデコーダ（７７２）に提供される。残差情報は、逆量子化にかけられることができ、残差デコーダ（７７３）に提供される。

インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（７７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、そして、逆量子化された変換係数を処理して、残差を周波数ドメインから空間ドメインに変換するように構成される。残差デコーダ（７７３）はまた、特定の制御情報（量子化器パラメータ（ＱＰ）を含む）を必要としてもよく、その情報は、エントロピーデコーダ（７７１）によって提供され得る（これは、低ボリュームの制御情報のみとし得るのでデータ経路は不図示）。

再構成モジュール（７７４）は、残差デコーダ（７７３）によって出力される残差と、（場合に応じてインター又はイントラ予測モジュールによって出力される）予測結果とを空間ドメインで組み合わせて、再構成ブロックを形成するように構成される。再構成ブロックは、再構成ピクチャの一部とすることができ、代わって再構成ピクチャは、再構成映像の一部とすることができる。なお、視覚的な品質を向上させるために、例えばデブロッキング処理及びそれに類するものなど、他の好適な処理を実行することができる。

なお、ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、如何なる好適技術を用いて実装されてもよい。一実施形態において、ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、１つ以上の集積回路を用いて実装され得る。他の一実施形態において、ビデオエンコーダ（３０３）、（５０３）及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装され得る。

本開示の態様は、適応動きベクトルレゾリューション（adaptive motion vector resolution、ＡＭＶＲ）に基づく動きベクトル予測（motion vector prediction、ＭＶＰ）導出制限に関する技術を提供する。

本開示の一部の態様によれば、ＡＭＶＲに基づくこのＭＶＰ導出制限技術は、例えばバーサタイルビデオコーディング（ＶＶＣ）、中国のオーディオビデオ符号化標準（ＡＶＳ）、及びこれらに類するものなど、ハイエフィシェンシビデオコーディング（ＨＥＶＣ）より後の種々の符号化技術において使用されることができる。一部の実施形態において、ＡＭＶＲインデックスが特定の値を持つとき、ＭＶＰ導出をＭＶＰ候補のサブセットに制限することができる。そして、一部の例において、シグナリングフラグを節減して、及び／又はシグナリングビットの数を削減して、符号化効率を改善することができる。

本開示の一部の態様によれば、ＭＶＰ候補は、例えば空間隣接ブロックからの空間候補、コロケートブロックからの時間候補、履歴ベースのＭＶＰ（history-based MVP、ＨＭＶＰ）候補、及びこれらに類するものなど、様々なソースからの候補を含むことができる。一部の例において、空間候補及び時間候補は、伝統的なＭＶＰ候補として参照される。一例において、空間候補及び時間候補を含むリストは、伝統的なＭＶＰ候補リストとして参照されることができ、ＨＭＶＰ候補を含むリストは、ＨＭＶＰ候補リストとして参照される。

空間候補導出について、本開示の一態様によれば、ＶＶＣにおける空間マージ候補の導出は、ＨＥＶＣにおけるものと同様である。例えば、図１に示した位置Ａ０－Ａ１及びＢ０－Ｂ２にある候補の中から最大で４つのマージ候補が選択される。導出の順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、及びＢ２である。位置Ｂ２は、位置Ａ１、Ｂ１、Ｂ０、Ａ０のうちのいずれかのＣＵが利用可能でない場合（例えば、別のスライス又はタイルに属する）又はイントラ符号化される場合にのみ考慮される。位置Ａ１の候補が追加された後、残りの候補の追加は、符号化効率が向上されるように、同じ動き情報を有する候補がリストから除外されることを保証する冗長性検査にかけられる。計算複雑性を低減させるために、前述の冗長性検査では、可能な全ての候補ペアが考慮されるわけではない。

図８は、一部の実施形態に関する冗長性検査ペアを説明する図を示している。一実施形態において、図８において矢印で結び付けられたペアのみが冗長性検査で考慮され、冗長性検査に使用される対応する候補が同じ動き情報を持たない場合にのみ、候補がリストに追加される。

時間候補導出について、本開示の一態様によれば、１つの候補のみがリストに追加される。特に、この時間マージ候補の導出では、コロケート参照ピクチャに属するコロケートＣＵに基づいて、スケーリングされた動きベクトルが導出される。コロケートＣＵの導出に使用される参照ピクチャリストは、スライスヘッダ内で明示的にシグナリングされる。

図９は、時間候補導出の一例を示している。図９の例にはピクチャのシーケンスが示されており、ピクチャのシーケンスは、現在ＣＵを有する現在ピクチャ、現在ＣＵのコロケートＣＵを有するコロケートピクチャ、現在ピクチャの参照ピクチャ、及びコロケートピクチャの参照ピクチャを含んでいる。一例において、現在ピクチャの参照ピクチャと現在ピクチャとの間のピクチャオーダカウント（ＰＯＣ）距離（例えば、ＰＯＣの差）がｔｂと表記されるとともに、コロケートピクチャの参照ピクチャとコロケートピクチャとの間のＰＯＣ距離がｔｄと表記される。時間マージ候補に関するスケーリングされた動きベクトルが、図９に９１０で示されており、これは、ＰＯＣ距離ｔｂ及びｔｄ（例えば、ｔｄに対するｔｂの比）を用いて、コロケートＣＵの動きベクトル９２０からスケーリングされたものである。時間マージ候補の参照ピクチャインデックスは、一例において、ゼロに等しく設定される。

本開示の一態様によれば、ＨＭＶＰ候補は、先行して符号化されたブロックの動き情報として定められる。一部の実施形態において、符号化／復号プロセスの間、複数のＨＭＶＰ候補を有するテーブルが維持される。例えば、該テーブルは、新たなスライスの開始時に空（エンプティ）にされる。例えばマージモードにおいて、スキップモードにおいて、及びこれらに類するものなどで、インター符号化ブロックが存在するとき、関連する動き情報が、新たなＨＭＶＰ候補として、テーブルの最後のエントリに追加される。

ＨＭＶＰ技術を用いる一例での動作において、ＨＭＶＰ候補を持つテーブルが、ブロックを復号する前にロードされる。次いで、該ブロックが、一例においてテーブル内のＨＭＶＰ候補を用いて復号される。さらに、該ブロックの復号された動作情報でテーブルが更新される。更新されたテーブルは、後続のブロックを復号するためにロードされることができる。

一部の例において、ＨＭＶＰ技術は、例えばテーブルに基づいて候補リストを維持するために、先入れ先出し（ＦＩＦＯ）ルールを使用する。一例において、テーブルサイズＳは、例えば６などの一定値であるように設定され、これは、最大で例えば６つまでのＨＭＶＰ候補がテーブルに追加され得ることを指し示す。一実施形態において、テーブルは、ＦＩＦＯルールに従って実装される。さらに、新ＨＭＶＰ候補と称する新たな動き候補をテーブルに挿入するときに、制約付きＦＩＦＯルールが利用される。一部の実施形態において、テーブルは、バッファを用いて実装される。

図１０は、新たな動き候補を挿入するためにＦＩＦＯルールを使用することの一例を示している。制約付きＦＩＦＯルールに従って、テーブルが新ＨＭＶＰ候補（Ｎｅｗ ＨＭＶＰ）と同一のＨＭＶＰ候補を含んでいるかを判定するために冗長性検査が適用される。例えば図１０に示すＨＭＶＰ２など、同じＨＭＶＰ候補が見つかった場合、該同じＨＭＶＰ候補がテーブルから除去され、その後の全てのＨＭＶＰ候補が１ポジションずつ前方に移され、そして、テーブルの最後（最新位置）に新ＨＭＶＰ候補が追加される。

一部の実施形態において、ＨＭＶＰ候補は、マージ候補リスト構築プロセスで使用される。一例において、テーブル内の最も新しい側の幾つかのＨＭＶＰ候補が（最新のものから古い方のものへと）順に検査され、時間動きベクトル予測（ＴＭＶＰ）候補の後ろで候補リストに挿入される。

本開示の一態様によれば、適応動きベクトルレゾリューション（ＡＭＶＲ）を、例えばＶＶＣ及びＡＶＳ３に従ったビデオコーデックなどのビデオコーデックで使用することができる。一部の例において、固定解像度が使用され得る。例えば、ＨＥＶＣでは、スライスヘッダ内でuse_integer_mv_flagが０に等しいとき、１／４ルマサンプルの単位で（ＣＵの予測動きベクトルと動きベクトルとの間の）動きベクトル差（ＭＶＤ）がシグナリングされる。ＡＭＶＲは、例えば１／４ルマサンプル、整数ルマサンプル、又は４ルマサンプルなどの複数の異なる解像度でＣＵのＭＶＤを符号化することを可能にする。一例において、例えばＶＶＣなどでは、現在ＣＵが少なくとも１つの非ゼロのＭＶＤ成分を持つ場合に、ＣＵレベルのＭＶＤ解像度インジケーションが、条件付きで、符号化映像ビットストリーム内でシグナリングされる。全てのＭＶＤ成分（すなわち、参照リストＬ０及び参照リストＬ１の水平及び垂直ＭＶＤの両方）がゼロである場合、一例において１／４ルマサンプルＭＶＤ解像度が推定される。

一部の実装例では、エンコーダ側で、エンコーダが、レート歪み検査を用いて現在ＣＵについての動きベクトル解像度を決定する。一部の例において、例えばフルピクセルサイズサンプルの精度（“整数ルマサンプル精度”としても知られる）、ルマサンプルの半分の精度（“１／２ルマサンプル精度”としても知られる）、ルマサンプルの４分の１の精度（“１／４ルマサンプル精度”としても知られる）、４ピクセルサイズサンプルの精度（“４ルマサンプル精度”としても知られる）などの、複数の異なる解像度についてレート歪み検査を実行することができる。複数のＭＶＤ解像度についてＣＵレベルのレート歪み検査を常に３回実行することを避けるために、一部の例（例えば、ＶＴＭ－２．０）では、４ルマサンプルＭＶＤ解像度のレート歪み（ＲＤ）検査は、条件付きでのみ呼び出される。例えば、１／４ルマサンプルＭＶＤ精度のＲＤコストが最初に計算される。次いで、整数ルマサンプルＭＶＤ精度のＲＤコストを、１／４ルマサンプルＭＶＤ精度のＲＤコストと比較して、４ルマサンプルＭＶＤ精度の更なるＲＤコスト検査が必要であるかを決定する。１／４ルマサンプルＭＶＤ精度のＲＤコストが、整数ルマサンプルＭＶＤ精度のＲＤコストより遥かに小さい場合、４ルマサンプルＭＶＤ精度のＲＤ検査を省略することができる。

例えばＶＴＭ及びＡＶＳ３においてなど、一部のインター符号化実装例では、ＡＭＶＲ及びＨＭＶＰがどちらも使用される。一部の例において、ＡＭＶＲ及びＨＭＶＰがともに使用され、そうして、使用される複数の異なる動きベクトル解像度に基づいて、伝統的な空間／時間ＭＶＰ候補リスト及び／又はＨＭＶＰ候補リスト内で最良のＭＶＰを探索することができる。そして、最良のレート歪みコストを有するＡＭＶＲインデックス及びＭＶＰインデックスが、一例においてエンコーダ側からデコーダ側へ符号化映像ビットストリーム内で伝送される。一例において、値“０”を持つＡＭＶＲインデックスが１／４ルマサンプル精度に対応し、値“１”を持つＡＭＶＲインデックスが整数ルマサンプル精度に対応し、そして、値“２”を持つＡＭＶＲインデックスが４ルマサンプル精度に対応する。なお、精度に対するＡＭＶＲインデックスの他の好適な対応関係が用いられてもよい。

例えばＡＶＳ３においてなど、一部の実施形態では、符号化時間を節減するために、ＡＭＶＲインデックスとＨＭＶＰインデックスを組み合わせるためのルックアップテーブルが提案される。具体的には、ＡＭＶＲインデックスが指定され、エンコーダが伝統的なＭＶＰ候補リストの代わりにＨＭＶＰ候補リストからＭＶＰを選択する場合、ＭＶＰは、ルックアップテーブルに従ってＨＭＶＰ候補リスト内の指定値から選択される。そうでなく、エンコーダが伝統的なＭＶＰ候補リストからＭＶＰを選択する場合には、ＭＶＰは、空間及び時間候補（例えば、伝統的な候補）に従って伝統的な方法によって導出されることができるのみである。一部の例において、ビットストリームは、ＡＭＶＲインデックスと、ＭＶＰがＨＭＶＰ候補から導出されるか否かを指し示すフラグとを含む。例えば、フラグが真（例えば、バイナリ１）であるとき、ＭＶＰはＨＭＶＰ候補から導出され、フラグが偽（例えば、バイナリ０）であるとき、ＭＶＰはＨＭＶＰ候補から導出されない。このフラグは、本開示ではＨＭＶＰフラグと称するが、他の適当な名前を与えることができる。

実装にかかわらず、空間及び時間ＭＶＰ候補リスト（伝統的なＭＶＰ候補リスト）及びＨＭＶＰ候補リスト、並びにＭＶＰ候補の数を増加させることができる何らかの他の好適リストを集めて組み合わせることができ、１セットのＭＶＰ候補として見ることができ、ＭＶＰ候補の組み合わせリストは、本開示において結合ＭＶＰ候補リストとして参照される。

本開示の態様は、符号化効率を向上させるために、ＡＭＶＲインデックスに基づく動きベクトル予測導出制限に関する技術及び方法を提供する。これら提案される複数の方法は、別々に使用されてもよいし、あるいは、何らかの順序で組み合わせて使用されてもよい。また、これらの方法（又は実施形態）、エンコーダ、及びデコーダの各々は、処理回路（例えば、１つ以上のプロセッサ、又は１つ以上の集積回路）によって実装され得る。一例において、１つ以上のプロセッサが、非一時的なコンピュータ読み取り可能媒体に格納されたプログラムを実行する。以下の説明において、ブロックという用語は、予測ブロック、符号化ブロック、又は符号化ユニットすなわちＣＵとして解釈され得る。

開示の一態様によれば、ＭＶＰ導出は、ＡＭＶＲインデックスに基づいて適応的に制限される。一部の例において、ＭＶＰ導出が結合ＭＶＰ候補リストのサブセットに制限され、そして、導出されたＭＶＰ候補のシグナリングをスキップするか、より少ないビットで行うことができる。ＭＶＰ導出が制限されない一部ケースでは、シグナリングは変わらない。

一実施形態において、ＨＭＶＰフラグをシグナリングするか否かが、ＡＭＶＲインデックスの値に基づいて決定される。一部の例において、ＡＭＶＲインデックスが何らかの指定値である場合、ＭＶＰは結合ＭＶＰ候補リスト内の全ての候補から導出されることができ、ＭＶＰがＨＭＶＰ候補から導出されるのか、それとも他の更なる候補リストから導出されるのかを指し示すために、ＨＭＶＰフラグをシグナリングすることができる。ＡＭＶＲインデックスが指定値でない場合には、一部の例において、ＭＶＰは、例えば伝統的なＭＶＰ候補のサブセットなど、結合ＭＶＰ候補リストのサブセットから導出される。そして、一例において、ＨＭＶＰフラグは、ＡＭＶＲインデックスの値に基づいて推定されることができ、従って、シグナリングなしで省略されることができる。

ＡＶＳ３での一例において、ＡＭＶＲインデックスがある値（例えば、０）より大きい場合、ＭＶＰがＨＭＶＰから導出されるかを指し示すＨＭＶＰフラグがシグナリングされる。そして、ＡＭＶＲインデックスが０である場合、ＭＶＰは、ＨＭＶＰを除く候補から導出される。従って、一例においてＡＭＶＲインデックスが０である場合、ＨＭＶＰフラグはゼロであると推定され、故に、ＨＭＶＰフラグのシグナリングを省略することができる。

他の一実施形態において、ＭＶＰインデックスは、複数の異なるスキームによって符号化されることができ、ＭＶＰインデックスの符号化スキームは、ＡＭＶＲインデックスの値に基づく。一部の例において、ＡＭＶＲインデックスが何らかの指定値である場合、第１のＭＶＰインデックス符号化スキームが使用され、該第１のＭＶＰインデックス符号化スキームを用いて、結合ＭＶＰ候補リストから選択されたＭＶＰが指し示される。ＡＭＶＲインデックスが指定値でない場合、一部の例において、ＨＭＶＰ候補リストがＭＶＰ導出から除外され、ＭＶＰ導出は、例えば伝統的なＭＶＰ候補リストなど、結合ＭＶＰ候補リストのサブセット上で実行される。伝統的なＭＶＰ候補リストは、結合ＭＶＰ候補リストよりも少ない数の候補を有する。従って、より効率的なエントロピー符号化など、より少ないビット数での符号化スキームを用いて、サブセットから選択されたＭＶＰを指し示すことができる。

一例において、ＡＭＶＲインデックスがある値（例えば、０）より大きい場合、例えば結合ＭＶＰ候補リストから選択されるＭＶＰを指し示すためのデフォルトの符号化スキームなど、ＭＶＰインデックス符号化は変わらない。ＡＭＶＰインデックスが０である場合、それは、選択されるＭＶＰがＨＭＶＰ候補リストから導出されないことを暗示的に指し示し、その場合、選択されるＭＶＰのインデックス範囲は結合ＭＶＰ候補リストよりも小さく、故に、ＭＶＰインデックスは、一例において固定長符号化におけるいっそう少ないビット数を使用することができる。

なお、ＭＶＰ候補リスト内の候補の数を増加させることが可能な、ＨＭＶＰの他の好適アルゴリズムを使用することができる。説明を容易にするために、候補の増加前のＭＶＰ候補リストを伝統的なＭＶＰ候補リストと称し、候補の増加後のＭＶＰ候補リストを結合ＭＶＰ候補リストと称する。ＡＭＶＲインデックスの値に基づいてＭＶＰインデックス符号化を決定する同様の技術を使用することができる。例えば、ＡＭＶＲインデックスが何らかの指定値である場合、ＭＶＰは、例えば伝統的なＭＶＰ候補リストなど、ＭＶＰ候補リストのサブセットから導出されることができるのみであり、その場合、ＭＶＰインデックスは、より少ないビット数又はより効率的なエントロピー符号化方法を使用することができる。そうでない場合、ＭＶＰインデックス符号化及び導出プロセスは変わらず、結合ＭＶＰ候補リストからの１つの候補を指し示すのに使用されるものと同じである。

図１１は、本開示の一実施形態に従ったプロセス（１１００）を概説するフローチャートを示している。プロセス（１１００）は、ブロックの再構成において、再構成中のブロックに関する予測ブロックを生成するために使用されることができる。様々な実施形態において、プロセス（１１００）は、例えば、端末装置（２１０）、（２２０）、（２３０）及び（２４０）の処理回路、ビデオエンコーダ（３０３）の機能を実行する処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオエンコーダ（５０３）の機能を実行する処理回路、及びこれらに類するものなどの、処理回路によって実行される。一部の実施形態において、プロセス（１１００）は、ソフトウェア命令にて実装され、従って、処理回路がソフトウェア命令を実行するときに、処理回路がプロセス（１１００）を実行する。当該プロセスは、（Ｓ１１０１）で開始し、（Ｓ１１１０）に進む。

（Ｓ１１１０）にて、符号化映像ビットストリームから現在ブロックの予測情報が復号される。該予測情報は、候補リストから選択される動きベクトル予測子と動きベクトル差とに基づいてインター予測を実行するインター予測モードを指し示す。

（Ｓ１１２０）にて、動きベクトル差の精度情報が復号される。一例において、映像ビットストリームからＡＭＶＲインデックスが復号される。ＡＭＶＲインデックスは、精度に対応する値を持つ。

（Ｓ１１３０）にて、精度情報がある特定の精度を指し示す場合に、候補リストのサブセットから動きベクトル予測が導出される。一例において、ＡＭＶＲインデックスが０であるとき、ＨＭＶＰフラグは０であると推定することができる。ＨＭＶＰフラグがゼロであるとき、ＨＭＶＰ候補が候補リストから除外されて、候補リストのサブセットが形成される。次いで、ＭＶＰインデックスが復号され得る。ＭＶＰインデックスは、候補リストからの一部候補（例えば、ＨＭＶＰ候補）の除外により、より少ないビット数で映像ビットストリーム内に符号化されることができる。

（Ｓ１１４０）にて、動きベクトル予測子及び動きベクトル差に従って現在ブロックのサンプルが再構成される。そして、当該プロセスは（Ｓ１１９９）に進んで終了する。

上述の技術は、１つ以上のコンピュータ読み取り可能媒体に物理的に格納された、コンピュータ読み取り可能命令を用いたコンピュータソフトウェアとして、実装されることができる。例えば、図１２は、開示に係る事項の特定の実施形態を実装するのに好適なコンピュータシステム（１２００）を示している。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は同様の機構に掛けられることで、直接的に又はインタープリット、マイクロコード実行及びこれらに類するものを介して１つ以上のコンピュータ中央演算処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、及びこれらに類するものによって実行されることが可能な命令を有するコードを作り出し得るような、任意の好適な機械コード又はコンピュータ言語を用いてコード化され得る。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、及びこれらに類するものを含め、様々なタイプのコンピュータ又はそのコンポーネント上で実行され得る。

コンピュータシステム（１２００）に関して図１２に示したコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能性の範囲についての何らかの限定を示唆する意図はない。また、コンポーネントの構成も、コンピュータシステム（１２００）のこの例示的な実施形態に示されたコンポーネントの任意の１つ又は組み合わせに関する何らかの従属性又は要件も持つものとして解釈されるべきでない。

コンピュータシステム（１２００）は、特定のヒューマンインタフェース入力装置を含んでもよい。そのようなヒューマンインタフェース入力装置は、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブを動かすことなど）、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャなど）、嗅覚入力（図示せず）を介した、一人以上の人間ユーザによる入力に応答し得る。ヒューマンインタフェース装置はまた、例えばオーディオ（例えば、会話、音楽、周囲の音など）、画像（例えば、走査画像、静止画カメラから得られる写真画像など）、映像（例えば、二次元映像、立体視映像を含む３次元映像など）などの、人間による意識的な入力には必ずしも直接関係しない特定の媒体を捕捉するために使用されてもよい。

入力ヒューマンインタフェース装置は、キーボード（１２０１）、マウス（１２０２）、トラックパッド（１２０３）、タッチスクリーン（１２１０）、データグローブ（図示せず）、ジョイスティック（１２０５）、マイクロフォン（１２０６）、スキャナ（１２０７）、カメラ（１２０８）（各々１つのみ図示している）のうちの１つ以上を含み得る。

コンピュータシステム（１２００）はまた、特定のヒューマンインタフェース出力装置を含み得る。そのようなヒューマンインタフェース出力装置は、例えば、触覚出力、音、光、及び臭い／味を通して、一人以上の人間ユーザの感覚を刺激し得る。そのようなヒューマンインタフェース出力装置は、触覚出力装置（例えば、タッチスクリーン（１２１０）、データグローブ（図示せず）、又はジョイスティック（１２０５）による触覚フィードバックであるが、入力装置として機能しない触覚フィードバック装置もあってもよい）、オーディオ出力装置（例えば、スピーカー（１２０９）、ヘッドフォン（図示せず）など）、視覚出力装置（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１２１０）（各々がタッチスクリーン入力機能を有する又は有さない。各々が触覚フィードバック機能を有する又は有さない。これらの一部は、二次元の視覚出力、又は例えば立体視出力などの手段を通じて四次元以上の出力を出力することができるとし得る。）、仮想現実グラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）など）、及びプリンタ（図示せず）を含み得る。

コンピュータシステム（１２００）はまた、例えば、ＣＤ／ＤＶＤ若しくは類似の媒体（１２２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１２２０）を含む光媒体、サムドライブ（１２２２）、取り外し可能なハードドライブ若しくは又はソリッドステートドライブ（１２２３）、例えばテープ及びフロッピーディスク（登録商標、図示せず）などのレガシー磁気媒体、例えばセキュリティドングルなどの特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置（図示せず）、及びこれらに類するものなどの、人間アクセス可能なストレージ装置及びそれらの関連媒体を含み得る。

当業者がこれまた理解するはずのことには、ここでの開示に係る事項に関連して使用される用語“コンピュータ読み取り可能媒体”は、伝送媒体、搬送波、又は他の一時的な信号を含まない。

コンピュータシステム（１２００）はまた、１つ以上の通信ネットワークへのインタフェースを含み得る。ネットワークは、例えば、無線、有線、光とし得る。ネットワークは更に、ローカル、広域、大都市、車両及び産業、リアルタイム、耐遅延などとし得る。ネットワークの例は、例えばイーサネット（登録商標）などのローカルエリアネットワークや、無線ＬＡＮや、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ及びこれらに類するものを含むセルラネットワークや、ケーブルＴＶ、衛星ＴＶ、及び地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワークや、ＣＡＮＢｕｓを含む車両及び産業などを含む。特定のネットワークは一般に、特定の汎用データポート又はペリフェラルバス（１２４９）（例えば、コンピュータシステム（１２００）のＵＳＢポートなど）に取り付けられる外付けネットワークインタフェースアダプタを必要とし、他のものは一般に、後述のシステムバスへの取り付けによってコンピュータシステム（１２００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、又はスマートフォンコンピュータシステムへのセルラネットワークインタフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（１２００）は、他のエンティティと通信することができる。そのような通信は、単方向の受信のみ（例えば、放送ＴＶ）であってもよいし、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓ装置に対するＣＡＮｂｕｓ）であってもよいし、あるいは、例えばローカル又は広域デジタルネットワークを用いた他のコンピュータシステムに対しての、双方向であってもよい。特定のプロトコル及びプロトコルスタックが、上述のようにネットワーク及びネットワークインタフェースの各々上で使用され得る。

前述のヒューマンインタフェース装置、人間アクセス可能なストレージ装置、及びネットワークインタフェースは、コンピュータシステム（１２００）のコア（１２４０）に取り付けられることができる。

コア（１２４０）は、１つ以上の中央演算処理ユニット（ＣＰＵ）（１２４１）、グラフィックス処理ユニット（ＧＰＵ）（１２４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１２４３）の形態の特殊なプログラム可能なプロセッシングユニット、特定のタスク用のハードウェアアクセラレータ（１２４４）などを含み得る。これらのデバイスは、読み出し専用メモリ（ＲＯＭ）（１２４５）、ランダムアクセスメモリ（１２４６）、例えば内部のユーザアクセス可能でないハードドライブ、ＳＳＤなどの内部大容量ストレージ（１２４７）、及びこれらに類するもの（１２４７）と共に、システムバス（１２４８）を介して接続され得る。一部のコンピュータシステムにおいて、システムバス（１２４８）は、追加のＣＰＵ、ＧＰＵ、及びこれらに類するものによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能にされ得る。周辺装置は、コアのシステムバス（１２４８）に直接的に、又はペリフェラルバス（１２４９）を介して、のいずれで取り付けられてもよい。ペリフェラルバスのアーキテクチャは、ＰＣＩ、ＵＳＢ、及びこれらに類するものを含む。

ＣＰＵ（１２４１）、ＧＰＵ（１２４２）、ＦＰＧＡ（１２４３）、及びアクセラレータ（１２４４）は、組み合わさって前述のコンピュータコードを構成することができる特定の命令を実行し得る。そのコンピュータコードは、ＲＯＭ（１２４５）又はＲＡＭ（１２４６）に格納され得る。ＲＡＭ（１２４６）には過渡的なデータも格納されることができ、永久的なデータは、例えば内部大容量ストレージ（１２４７）に格納されることができる。メモリデバイスのいずれかへの高速な記憶及び取り出しが、１つ以上のＣＰＵ（１２４１）、ＧＰＵ（１２４２）、大容量ストレージ（１２４７）、ＲＯＭ（１２４５）、ＲＡＭ（１２４６）、及びこれらに類するものの近くに付随し得るキャッシュメモリの使用によって可能にされ得る。

コンピュータ読み取り可能媒体はその上に、様々なコンピュータ実装処理を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的に合わせて特別に設計及び構築されたものであってもよいし、あるいは、それらは、コンピュータソフトウェア技術の当業者にとって周知且つ利用可能な種類のものであってもよい。

一例として、限定ではなく、アーキテクチャ（１２００）、特にコア（１２４０）、を有するコンピュータシステムは、１つ以上の有形のコンピュータ読み取り可能媒体に具現化されたソフトウェアを（１つ以上の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、及びこれらに類するものを含む）が実行することの結果として機能を提供することができる。そのようなコンピュータ読み取り可能媒体は、例えばコア内部の大容量ストレージ（１２４７）又はＲＯＭ（１２４５）などの、非一時的性質のものであるコア（１２４０）の特定のストレージ、及び上で紹介したようなユーザアクセス可能な大容量ストレージに関連する媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアは、そのような装置に格納され、コア（１２４０）によって実行されることができる。コンピュータ読み取り可能媒体は、具体的なニーズに従って、１つ以上のメモリデバイス又はチップを含み得る。ソフトウェアは、コア（１２４０）及び特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、及びこれらに類するものを含む）に、ＲＡＭ（１２４６）に格納されるデータ構造を規定すること、及びそのようなデータ構造を、ソフトウェアによって規定されたプロセスに従って変更することを含めて、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はソフトウェアと共に動作することができる回路（例えば、アクセラレータ（１２４４））にて配線された又はその他の方法で具体化されたロジックの結果として、機能を提供してもよい。ソフトウェアへの言及はロジックを含み、また、適当な場合にその逆もまた然りである。コンピュータ読み取り可能媒体への言及は、実行のためのソフトウェアを格納した回路（例えば、集積回路（ＩＣ）など）、実行のためのロジックを具体化した回路、又は適当な場合にこれら双方を含み得る。本開示は、ハードウェア及びソフトウェアの好適な組み合わせを含む。
付録Ａ：頭字語
ＪＥＭ：joint exploration model（共同探索モデル）
ＶＶＣ：versatile video coding（バーサタイルビデオコーディング）
ＢＭＳ：benchmark set（ベンチマークセット）
ＭＶ：Motion Vector（動きベクトル）
ＨＥＶＣ：High Efficiency Video Coding（ハイエフィシェンシビデオコーディング）
ＳＥＩ：Supplementary Enhancement Information（補足強化情報）
ＶＵＩ：Video Usability Information（ビデオユーザビリティ情報）
ＧＯＰｓ：Groups of Pictures（グループ・オブ・ピクチャ）
ＴＵｓ：Transform Units,（変換ユニット）
ＰＵｓ：Prediction Units（予測ユニット）
ＣＴＵｓ：Coding Tree Units（符号化ツリーユニット）
ＣＴＢｓ：Coding Tree Blocks（符号化ツリーブロック）
ＰＢｓ：Prediction Blocks（予測ブロック）
ＨＲＤ：Hypothetical Reference Decoder（仮説的リファレンスデコーダ）
ＳＮＲ：Signal Noise Ratio（信号対雑音比）
ＣＰＵｓ：Central Processing Units（中央演算処理ユニット）
ＧＰＵｓ：Graphics Processing Units（グラフィックス処理ユニット）
ＣＲＴ：Cathode Ray Tube（陰極線管）
ＬＣＤ：Liquid-Crystal Display（液晶ディスプレイ）
ＯＬＥＤ：Organic Light-Emitting Diode（有機発光ダイオード）
ＣＤ：Compact Disc（コンパクトディスク）
ＤＶＤ：Digital Video Disc（デジタルビデオディスク）
ＲＯＭ：Read-Only Memory（読み出し専用メモリ）
ＲＡＭ：Random Access Memory（ランダムアクセスメモリ）
ＡＳＩＣ：Application-Specific Integrated Circuit（特定用途向け集積回路）
ＰＬＤ：Programmable Logic Device（プログラマブルロジックデバイス）
ＬＡＮ：Local Area Network（ローカルエリアネットワーク）
ＧＳＭ：Global System for Mobile communications（グローバルシステムフォーモバイルコミュニケーションズ）
ＬＴＥ：Long-Term Evolution（ロングタームエボリューション）
ＣＡＮＢｕｓ：Controller Area Network Bus（コントローラエリアネットワークバス）
ＵＳＢ：Universal Serial Bus（ユニバーサルシリアルバス）
ＰＣＩ：Peripheral Component Interconnect（ペリフェラルコンポーネントインターコネクト）
ＦＰＧＡ：Field Programmable Gate Areas（フィールドプログラマブルゲートアレイ）
ＳＳＤ：solid-state drive（ソリッドステートドライブ）
ＩＣ：Integrated Circuit（集積回路）
ＣＵ：Coding Unit（符号化ユニット）

この開示は幾つかの例示的な実施形態を記述しているが、開示の範囲に入る変更、置換、及び様々な均等な代替が存在する。従って、理解されることには、当業者は、ここでは明示的に図示されたり説明されたりしていないものの、開示の原理を具体化し、それ故に、その精神及び範囲の中にあるような、数多くのシステム及び方法を考案することができるであろう。

Claims (11)

1. デコーダが実行する映像復号のための方法であって、
   符号化映像ビットストリームから現在ブロックの予測情報を復号するステップであり、該予測情報は、候補リストから選択される動きベクトル予測子と動きベクトル差とに基づいてインター予測を実行するインター予測モードを指し示す、ステップと、
   前記動きベクトル差の精度情報を復号するステップと、
   前記精度情報がある特定の精度を指し示す場合に、前記候補リストのサブセットから前記動きベクトル予測子を導出するステップと、
   前記動きベクトル予測子及び前記動きベクトル差に従って前記現在ブロックのサンプルを再構成するステップと、
   を有する方法。
2. 適応動きベクトルレゾリューション（ＡＭＶＲ）に従って、前記特定の精度を指し示す第１の特定値を持つ第１のインデックスを復号するステップ、
   を更に有する請求項１に記載の方法。
3. 前記第１のインデックスが前記第１の特定値であることに基づいて、前記候補リストの前記サブセットを指し示すフラグを推定するステップ、
   を更に有する請求項２に記載の方法。
4. 前記候補リストの前記サブセット内の前記動きベクトル予測子を指し示す第２のインデックスを復号するステップであり、該第２のインデックスは、前記候補リストを符号化するための第２のビット数よりも短い第１のビット数で符号化されている、ステップ、
   を更に有する請求項２に記載の方法。
5. 前記候補リストから履歴ベースの動きベクトル予測子候補を除外する前記候補リストの前記サブセットから前記動きベクトル予測子を導出するステップ、
   を更に有する請求項１に記載の方法。
6. 前記第１のインデックスが前記第１の特定値とは異なる第２の値である場合に、前記候補リストの前記サブセットを指し示すフラグを前記符号化映像ビットストリームから復号するステップ、
   を更に有する請求項２に記載の方法。
7. 前記精度情報が所定のデフォルト精度値を指し示す場合に、前記候補リストの前記サブセットから前記動きベクトル予測子を導出するステップ、
   を更に有する請求項１に記載の方法。
8. 前記候補リストからの前記履歴ベースの動きベクトル予測子候補の除外を、適応動きベクトルレゾリューション（ＡＭＶＲ）インデックスに基づいて決定するステップ、
   を更に有する請求項５に記載の方法。
9. 前記動きベクトル差の前記精度情報に基づいて前記候補リストの前記サブセットを決定するステップ、
   を更に有する請求項１に記載の方法。
10. 映像復号のための装置であって、
    命令を格納したメモリと、
    プロセッサと、
    を有し、
    前記命令は、前記プロセッサによって実行されるときに、前記プロセッサに請求項１乃至９のいずれか一項に記載の方法を実行させる、
    装置。
11. コンピュータに請求項１乃至９のいずれか一項に記載の方法を実行させるコンピュータプログラム。

Images