JP7212060B2 - サブブロックに基づく時間的動きベクトル予測のための方法並びにその機器及びコンピュータプログラム - Google Patents

Description

本開示内容は、２０１８年６月４日にて提出されたアメリカ仮出願Ｎｏ. ６２／６８０,４６８「ＭＥＴＨＯＤＳ ＦＯＲ ＳＵＢ－ＢＬＯＣＫ
ＢＡＳＥＤ ＴＥＭＰＯＲＡＬ ＭＯＴＩＯＮ
ＶＥＣＴＯＲ ＰＲＥＤＩＣＴＩＯＮ（サブブロックに基づく時間的動きベクトルの予測方法）」の優先権を主張して、該出願の全ての内容は本出願に援用される。

本開示内容は、一般的にビデオ符号化に関する実施例を記載する。

本明細書で提供される背景記載は、本開示内容の背景を総体的に体現することを目的とする。該背景技術部分に記載の作業程度から見れば、現在署名の発明者の作業、及び提出の際別に従来技術の記載として限定されていない態様について、明確且つ暗黙的に本開示内容に対する従来技術として認められない。

この数十年以来、動き補償を有するピクチャ間予測によってビデオ符号化と復号化を実行することが知られている。圧縮されていないデジタルビデオは一連のピクチャを有し、各々のピクチャは空間次元を備え、例えば１９２０×１０８０輝度サンプルと関連のクロミナンスサンプルがある。該一連のピクチャは、例えば、一秒６０個ピクチャまたは６０Ｈｚの固定または可変のピクチャレート（非公式にフレームレートとも呼ばれる）を有してもよい。圧縮されていないビデオは高いビットレートの要求を有する。例えば、１サンプルあたり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０
Ｈｚフレームレートで、１９２０×１０８０の輝度サンプルの解像度）は、約１.５ Ｇｂｉｔ／ｓの帯域幅を必要とする。１時間のこのようなビデオは、６００ＧＢ以上の記憶空間を必要とする。

ビデオ符号化及び復号化は、圧縮により、ビデオ信号入力における冗長を減少させることを１つの目的とする。圧縮は、以上に言及された帯域幅または記憶空間に対する需求を減少させることに寄与し、ある状況で、２桁以上減少させる。可逆圧縮、非可逆圧縮、及びその組み合わせを利用できる。可逆圧縮は、圧縮された元の信号から元の信号の正確なコピーを再構築する技術を指す。非可逆圧縮を利用する場合、再構築された信号は元の信号と異なるかもしれないが、元の信号と再構築された信号との間の歪みは、再構築された信号が意図したアプリケーションに有用であるのに十分な小ささである。ビデオの場合、非可逆圧縮は大幅に応用される。許容される歪み量はアプリケーションに依存し、例えば、テレビ貢献アプリケーションのユーザーより、消費者ストリーミングアプリケーションのユーザーの方が高い歪みを許容する。達成可能な圧縮比は、許可／許容可能な歪みが高いほど圧縮比が高くなることを反映する。

動き補償は非可逆圧縮技術であってもよく、以下の技術、すなわち、前に構築されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以下ＭＶと呼ばれる）が指示する方向に空間的にシフトされた後に、新たに再構築されるピクチャまたはピクチャ部分を予測するのに使用されるという技術に関わる。ある状況で、参照ピクチャは現在再構築中のピクチャと同じであってもよい。ＭＶはＸとＹという２つの次元を有してもよいし、３つの次元を有してもよく、第３次元は利用中の参照ピクチャの指示である（後者は間接的に時間次元であってもよい）。

いくつかのビデオ圧縮技術において、サンプルデータのある領域に適用するＭＶは、例えば、再構築される領域に空間的に隣接するサンプルデータの他の領域に関するものからなど、他のＭＶから予測されることができ、復号化の順序で該ＭＶを予測する。このようにして、ＭＶの符号化に必要なデータ量を大幅に減少させ、冗長をなくし、圧縮を高める。ＭＶの予測は効果的に働く。何故なら、例えば、撮影装置から導出されたビデオ入力信号（ナチュラルビデオと呼ばれる）に対して符号化を行う際、単一ＭＶが適用可能である領域より大きい領域が類似の方向に移動し、そのため、ある状況で、隣接領域のＭＶから導出された類似の動きベクトルによって予測できるという統計上の可能性が存在するからである。これによって、特定領域に対して見つけられたＭＶは、周辺ＭＶから予測されたＭＶと類似または同じになるとともに、エントロピー符号化の後、ＭＶに対して直接的に符号化を行う場合に使用されるものよりも少ないビット数で表されることができる。ある状況で、ＭＶ予測は元の信号（即ちサンプルストリーム）から導出される信号（即ちＭＶ）の可逆圧縮の例示であってもよい。他の状況で、ＭＶ予測そのものは非可逆であってもよく、例えば、その原因は、幾つかの周辺ＭＶから予測値を計算する際の丸め誤差である。

Ｈ.２６５／ＨＥＶＣ（ＩＴＵ－Ｔ勧告Ｈ.２６５、「高効率ビデオ符号化／復号化（Ｈｉｇｈ
Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」、２０１６年１２月）には、各種のＭＶ予測メカニズムが記載されている。Ｈ.２６５により提供される多種のＭＶ予測メカニズムにおいて、本出願が記載するのは、以下で「空間マージ」と呼ばれる技術である。

いくつかの形式のフレーム間予測は、サブブロックレベルで実行される。ただし、サブブロックに基づく時間的動きベクトル予測モード、例えば、代替時間的動きベクトル予測（ＡＴＭＶＰ）及び時空間動きベクトル予測（ＳＴＭＶＰ）は、フレーム間モードで、対応するサブブロックを符号化するように要求する。ただし、これらの時間的動きベクトル予測モードは、フレーム内ブロックコピーモードのようなフレーム内モードで符号化されるサブブロックを処理できない。

本開示内容の例示性の実施例は、復号器のビデオ復号化のための方法を含む。該方法は以下を含み、符号化されたビデオビットストリームから現在ピクチャを取得する。該方法はさらに以下を含み、現在ピクチャに含まれる現在ブロックに対して、現在ピクチャとは異なる参照ピクチャに含まれる参照ブロックを特定し、現在ブロックは複数のサブブロック（ＣＢＳＢ）に分割され、参照ブロックは、各々が複数のＣＢＳＢのうちの異なるＣＢＳＢに対応する複数のサブブロック（ＲＢＳＢ）を有する。該方法はさらに以下を含み、ＲＢＳＢの参照ピクチャが現在ピクチャであるかどうかを決定し、ＲＢＳＢの参照ピクチャが現在ピクチャであると決定したことに応答して、ＲＢＳＢの符号化モードをフレーム内モードとして決定する。該方法はさらに以下を含み、ＲＢＳＢの参照ピクチャが現在ピクチャではないと決定したことに応答して、（ｉ）ＣＢＳＢのうちの１つのＣＢＳＢに対して、対応するＲＢＳＢの符号化モードがフレーム内モードとフレーム間モードのうちのどちらであるかを決定し、及び（ｉｉ）対応するＲＢＳＢの符号化モードがフレーム内モードとフレーム間モードのうちのどちらであるかに基づき、ＣＢＳＢのうちの前記１つのＣＢＳＢについての動きベクトル予測値を決定する。

本開示内容の例示性の実施例は、ビデオ復号化のためのビデオ復号器を含む。該ビデオ復号器は処理回路を有し、該処理回路は、符号化されたビデオビットストリームから現在ピクチャを取得するように構成される。該処理回路はさらに、現在ピクチャに含まれる現在ブロックに対して、現在ピクチャとは異なる参照ピクチャに含まれる参照ブロックを特定するように構成され、現在ブロックは複数のサブブロック（ＣＢＳＢ）に分割され、参照ブロックは、各々が複数のＣＢＳＢのうちの異なる１つのＣＢＳＢに対応する複数のサブブロック（ＲＢＳＢ）を有する。該処理回路はさらに、ＲＢＳＢの参照ピクチャが現在ピクチャであるかどうかを決定し、及びＲＢＳＢの参照ピクチャが現在ピクチャであると決定したことに応答して、ＲＢＳＢの符号化モードをフレーム内モードとして決定する、ように構成される。該処理回路はさらに、ＲＢＳＢの参照ピクチャが現在ピクチャではないと決定したことに応答して、（ｉ）ＣＢＳＢのうちの１つのＣＢＳＢに対して、対応するＲＢＳＢの符号化モードがフレーム内モードとフレーム間モードのうちのどちらであるかを決定し、及び（ｉｉ）対応するＲＢＳＢの符号化モードがフレーム内モードとフレーム間モードのうちのどちらであるかに基づき、ＣＢＳＢのうちの前記１つのＣＢＳＢについての動きベクトル予測値を決定する。

本開示内容的の例示性の実施例は、命令が記憶された非一時的なコンピュータ読み取り可能な媒体を含み、該命令はビデオ復号器におけるプロセッサによって実行されるときに、プロセッサに１つの方法を実行させる。該方法は、符号化されたビデオビットストリームから現在ピクチャを取得することを含む。該方法はさらに、現在ピクチャに含まれる現在ブロックに対して、現在ピクチャとは異なる参照ピクチャに含まれる参照ブロックを特定することを含み、現在ブロックは複数のサブブロック（ＣＢＳＢ）に分割され、参照ブロックは、各々が複数のＣＢＳＢのうちの異なる１つのＣＢＳＢに対応する複数のサブブロック（ＲＢＳＢ）を有する。該方法はさらに、ＲＢＳＢの参照ピクチャが現在ピクチャであるかどうかを決定し、ＲＢＳＢの参照ピクチャが現在ピクチャであると決定したことに応答し、ＲＢＳＢの符号化モードをフレーム内モードとして決定することを含む。該方法はさらに、ＲＢＳＢの参照ピクチャが現在ピクチャではないと決定したことに応答して、（ｉ）ＣＢＳＢのうちの１つのＣＢＳＢに対して、対応するＲＢＳＢの符号化モードがフレーム内モードとフレーム間モードのうちのどちらであるかを決定し、及び（ｉｉ）対応するＲＢＳＢの符号化モードがフレーム内モードとフレーム間モードのうちのどちらであるかに基づき、ＣＢＳＢのうちの前記１つのＣＢＳＢについての動きベクトル予測値を決定することを含む。

以下の詳しい記載及び図面に基づき開示されるテーマの他の特徴、性質及び各利点はより明確になる。

１つの実施例に基づく通信システム（１００）の簡略化ブロック図の模式図である。 １つの実施例に基づく通信システム（２００）の簡略化ブロック図の模式図である。 １つの実施例に基づく復号器の簡略化ブロック図の模式図である。 １つの実施例に基づく符号器の簡略化ブロック図の模式図である。 他の実施例に基づく符号器のブロック図を示す。 他の実施例に基づく復号器のブロック図を示す。 フレーム内ピクチャブロック補償の模式図である。 現在ブロック及び現在ブロックの周囲空間マージ候補の模式図である。 現在ブロックのサブブロック及び参照ブロックの対応するサブブロックの模式図である。 符号器または復号器により実行されるプロセスの実施例を示す。 １つの実施例に基づくコンピュータシステムの模式図である。

図１は、本開示内容の１つの実施例に基づく通信システム（１００）の簡略化ブロック図を示す。通信システム（１００）は、例えばネットワーク（１５０）を介して互いに通信できる複数の端末機器を有する。例えば、通信システム（１００）は、ネットワーク（１５０）を介して互いに接続される第１対の端末機器（１１０）、（１２０）を有する。図１の例示において、第１対の端末機器（１１０）、（１２０）は一方向のデータ伝送を実行する。例えば、端末機器（１１０）はビデオデータ（例えば、端末機器（１１０）によりキャプチャされたビデオピクチャストリーム）を符号化することで、ネットワーク（１５０）を介して他の端末機器（１２０）に伝送する。符号化されたビデオデータは１つ又は複数の符号化されたビデオビットストリームという形式で伝送されてもよい。端末機器（１２０）はネットワーク（１５０）から符号化されたビデオデータを受信し、符号化されたビデオデータを復号化することで、前記ビデオピクチャを回復させ、回復されたビデオデータに基づき、ビデオピクチャを表示する。一方向のデータ伝送はメディアサービスアプリケーションなどにおいて、よく見られる。

他の例示において、通信システム（１００）は、例えばビデオ会議中に発生した符号化されたビデオデータの双方向伝送を実行するための第２対の端末機器（１３０）、（１４０）を含む。双方向データ伝送について、例示において、端末機器（１３０）、（１４０）における各端末機器は、ビデオデータ（例えば、端末機器によりキャプチャされたビデオピクチャストリーム）を符号化することで、ネットワーク（１５０）を介して端末機器（１３０）、（１４０）における他の端末機器に伝送する。端末機器（１３０）、（１４０）における各端末機器はさらに、端末機器（１３０）、（１４０）における他の端末機器から伝送された符号化されたビデオデータを受信し、符号化されたビデオデータを復号化することで、前記ビデオピクチャを回復させ、回復されたビデオデータに基づき、アクセスできる表示機器に、ビデオピクチャを表示できる。

図１の例示において、端末機器（１１０）、（１２０）、（１３０）及び（１４０）はサーバ、パーソナルコンピュータ及びスマートフォンとして示されるが、本開示内容の原理はこれに限定されない。本開示内容の実施例はラップトップコンピュータ、タブレット、メディアプレイヤー及び／または専門ビデオ会議機器に適用される。ネットワーク（１５０）は端末機器（１１０）、端末機器（１２０）、端末機器（１３０）及び端末機器（１４０）の間で符号化されたビデオデータを伝送するための、例えば有線接続（ワイヤード）及び／または無線通信ネットワークを含む任意の数のネットワークを示す。通信ネットワーク（１５０）は回路交換及び／またはパケット交換チャネルにおいてデータを交換できる。代表的なネットワークには電気通信ネットワーク、ローカルエリアネットワーク、広域エリアネットワーク及び／またはインターネットが含まれる。本論述の目的から見れば、特に説明しない限り、ネットワーク（１５０）のアーキテクチャ及びトポロジは、本開示内容の操作に対して重要ではない。

開示のテーマの応用例示として、図２はビデオ符号器と復号器との、ストリーミング伝送環境における配置方式を示す。開示のテーマは、例えばビデオ会議、デジタルテレビ、（ＣＤ、ＤＶＤ、メモリースティックなどが含まれる）デジタル媒体上への圧縮されたビデオの格納などの、ビデオ機能を持つ他のアプリケーションにも等しく適用可能である。

ストリーミング伝送システムは、キャプチャサブシステム（２１３）を含み、該キャプチャサブシステム（２１３）は、例えば未圧縮のビデオピクチャストリーム（２０２）を構築するための、デジタル撮影装置のようなビデオソース（２０１）を含む。例示において、ビデオピクチャストリーム（２０２）は、デジタル撮影装置により撮影されたサンプルを含む。符号化されたビデオデータ（２０４）（または符号化されたビデオビットストリーム）と比較する場合にデータ量が多いことを強調するように太線として描画されるビデオピクチャストリーム（２０２）は、ビデオソース（２０１）に連結されるビデオ符号器（２０３）を含む電子機器（２２０）によって処理される。ビデオ符号器（２０３）はハードウェア、ソフトウェアまたはその組み合わせを含むことで、以下により詳しく記載される開示のテーマの各態様を実現または実施する。ビデオピクチャストリーム（２０２）と比較する場合にデータ量が少ないことを強調するように細線として描画される符号化されたビデオデータ（２０４）（または符号化されたビデオビットストリーム（２０４））はストリーミングサーバ（２０５）に記憶されることで、後で用いられる。図２におけるクライアントサブシステム（２０６）、（２０８）のような１つ又は複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（２０５）にアクセスすることで、符号化されたビデオデータ（２０４）のコピー（２０７）、（２０９）を取り出すことができる。クライアントサブシステム（２０６）は、例えば電子機器（２３０）におけるビデオ復号器（２１０）を含む。ビデオ復号器（２１０）は、到着する符号化されたビデオデータのコピー（２０７）を復号化し、ディスプレイ（２１２）（例えば、スクリーン）または他の表示機器（図示せず）に表示される出力ビデオピクチャストリーム（２１１）を構築する。あるストリーミング伝送システムにおいて、あるビデオ符号化／圧縮標準に基づき、符号化されたビデオデータ（２０４）、（２０７）及び（２０９）（例えば、ビデオビットストリーム）を符号化することができる。これらの標準の例示はＩＴＵ－Ｔ勧告Ｈ.２６５を含む。例示において、開発中のビデオ符号化標準は、非公式に多用途ビデオコーディングまたはＶＶＣと呼ばれる。開示のテーマはＶＶＣのコンテキストに適用される。

なお、電子機器（２２０）、電子機器（２３０）は他のコンポーネント（図示せず）を含んでもよい。例えば、電子機器（２２０）はビデオ復号器（図示せず）を含んでもよく、電子機器（２３０）はビデオ符号器（図示せず）を含んでもよい。

図３は、本開示内容の１つの実施例に基づくビデオ復号器（３１０）のブロック図を示す。ビデオ復号器（３１０）は電子機器（３３０）に含まれる。電子機器（３３０）は受信器（３３１）（例えば、受信回路）を含んでもよい。ビデオ復号器（３１０）は、図２の例示におけるビデオ復号器（２１０）の代わりとしてもよい。

受信器（３３１）は、ビデオ復号器（３１０）によって復号化される１つ又は複数の符号化されたビデオシーケンスを受信でき、同一の実施例または他の実施例において、１回に１つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は、他の符号化されたビデオシーケンスと独立する。チャンネル（３０１）から符号化されたビデオシーケンスを受信してもよく、チャンネル（３０１）は符号化されたビデオデータを記憶するための記憶機器に達するハードウェア／ソフトウェアリンクであってもよい。受信器（３３１）は、符号化されたビデオデータを、それぞれの利用エンティティ（図示せず）に転送され得る例えば符号化されたオーディオデータ及び／または補助データストリームといった他のデータとともに受信できる。受信器（３３１）は符号化されたビデオシーケンスと他のデータとを分離できる。ネットワークのジッタを防止するために、バッファメモリ（３１５）が受信器（３３１）とエントロピー復号器／パーサー（３２０）（以下では、「パーサー（３２０）」と呼ばれる）との間に連結される。いくつかの応用において、バッファメモリ（３１５）はビデオ復号器（３１０）の一部である。他の応用において、バッファメモリ（３１５）はビデオ復号器（３１０）の外部にあってもよい（図示せず）。さらに、他の応用において、ビデオ復号器（３１０）の外部にバッファメモリ（図示せず）が設けられることで、例えばネットワークのジッタを防止し、ビデオ復号器（３１０）の内部に別のバッファメモリ（３１５）が設けられることで、例えば、放送タイミングを処理することができる。受信器（３３１）が、十分な帯域幅及び制御可能性を有する記憶／転送機器、またはアイソクロナスネットワークからデータを受信するときには、バッファメモリ（３１５）を必要としないか、または、バッファメモリ（３１５）が小さくてもよい。例えば、インターネットのようなベストエフォート型パケットネットワークで使用される場合、バッファメモリ（３１５）が必要とされ、相当に大きくされ、有利には適応的なサイズのものにされ、また、少なくとも一部的に、ビデオ復号器（３１０）の外部にあるオペレータシステムまたは類似の要素（図示せず）にて実装され得る。

ビデオ復号器（３１０）は、符号化されたビデオシーケンスに基づき符号（３２１）を再構築するパーサー（３２０）を有する。これらの符号のカテゴリにはビデオ復号器（３１０）の操作を管理するための情報、及び表示機器（３１２）（例えば、スクリーン）のような表示機器を制御するための潜在情報が含まれ、図３に示すように、該表示機器（３１２）は電子機器（３３０）の一体部分ではなく、電子機器（３３０）に連結される。（１つ又は複数の）表示機器に用いられる制御情報は補充強化情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットセグメント（図示せず）という形式であってもよい。パーサー（３２０）は受信された、符号化されたビデオシーケンスに対して解析／エントロピー復号化を行う。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術または標準に基づくとともに、可変長符号、ハフマン符号（Ｈｕｆｆｍａｎ
ｃｏｄｉｎｇ）、コンテキスト感度を有するかまたは有していない算術符号などのような各種原理に従う。パーサー（３２０）はグループに対応する少なくとも１つのパラメータに基づき、符号化されたビデオシーケンスから、ビデオ復号器における画素のサブグループのうちの少なくとも１つのサブグループのためのサブグループパラメータセットを抽出する。サブグループには、ピクチャグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などが含まれる。パーサー（３２０）はさらに符号化されたビデオシーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどのような情報を抽出できる。

パーサー（３２０）は、バッファメモリ（３１５）から受信したビデオシーケンスに対してエントロピー復号化／解析操作を実行することで、符号（３２１）を構築することができる。

符号化されたビデオピクチャまたはその一部（例えば、フレーム間ピクチャ及びフレーム内ピクチャ、フレーム間ブロック及びフレーム内ブロック）のタイプ及び他の要因に依存し、符号（３２１）の再構築は複数の異なるユニットに関わる。どのユニットに関わるか、及び関わる方式は、パーサー（３２０）が符号化されたビデオシーケンスから解析したサブグループ制御情報によって制御できる。簡潔のために、パーサー（３２０）と以下の複数のユニットとの間にある、このようなサブグループ制御情報ストリームを記載していない。

既に言及された機能ブロック以外に、ビデオ復号器（３１０）は概念的に以下に記載のいくつかの機能ユニットに細分できる。商業制約の下で動作する実際の実現方式において、これらのユニットにおける複数のユニットは互いに密接にインタラクトするとともに、少なくとも部分的に互いに集積されてもよい。ただし、開示のテーマを説明するという目的から見れば、概念的に以下の機能ユニットに細分されることは適切である。

第１ユニットはスケーラ／逆変換ユニット（３５１）である。スケーラ／逆変換ユニット（３５１）はパーサー（３２０）から、（１つ又は複数の）符号（３２１）として、量子化変換係数と、どんな変換方式を利用するか、ブロックの大きさ、量子化因子、量子化スケーリング行列などを含む制御情報と、を受信する。スケーラ／逆変換ユニット（３５１）は、アグリゲーター（３５５）に入力されるサンプル値が含まれるブロックを出力できる。

ある状況で、スケーラ／逆変換ユニット（３５１）の出力サンプルはフレーム内符号化ブロック、即ち、前に再構築されたピクチャからの予測情報を利用しないが、現在ピクチャのうちの前に再構築された部分からの予測情報を利用できるブロック、に属し得る。このような予測情報はフレーム内ピクチャ予測ユニット（３５２）から提供される。ある状況で、フレーム内ピクチャ予測ユニット（３５２）は、現在ピクチャバッファ（３５８）からフェッチされた周辺の既に再構築された情報を用いて、再構成中のブロックの同じ大きさ及び形状のブロックを生成する。例えば、現在ピクチャバッファ（３５８）は部分的に再構築された現在ピクチャ及び／または完全に再構築された現在ピクチャをバッファリングする。ある状況で、アグリゲーター（３５５）は各サンプルに基づき、フレーム内予測ユニット（３５２）が生成した予測情報を、スケーラ／逆変換ユニット（３５１）によって提供された出力サンプル情報に追加する。

他の状況で、スケーラ／逆変換ユニット（３５１）の出力サンプルは、フレーム間符号化された、動き補償された可能性のあるブロックに属してもよい。このような状況で、動き補償予測ユニット（３５３）は参照ピクチャメモリ（３５７）にアクセスして、予測に使用されたサンプルをフェッチすることができる。該ブロックに関する符号（３２１）に基づき、フェッチされたサンプルに対して動き補償を行った後、これらのサンプルが、アグリゲーター（３５５）により、スケーラ／逆変換ユニット（３５１）の出力に追加されることで（この場合、残差サンプルまたは残差信号と呼ばれる）、出力サンプル情報が生成される。動き補償予測ユニット（３５３）が予測サンプルをフェッチする参照ピクチャメモリ（３５７）内のアドレスは、動きベクトルによって制御でき、動きベクトルは符号（３２１）の形式で、動き補償予測ユニット（３５３）に用いられ、符号（３２１）は、例えばＸ、Ｙ及び参照ピクチャ成分を有してもよい。動き補償はさらに、サブサンプルの正確な動きベクトルを使用する際の参照ピクチャメモリ（３５７）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。

アグリゲーター（３５５）の出力サンプルは、ループフィルタユニット（３５６）において、各種のループフィルタリング技術を利用できる。ビデオ圧縮技術はインループフィルタ技術を含むことができ、ループ内フィルタ技術は、符号化されたビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含められてパーサー（３２０）からの符号（３２１）としてループフィルタユニット（３５６）に利用可能にされるパラメータによって制御されるが、符号化されたピクチャまたは符号化されたビデオシーケンスの（復号化の順序で）の前の部分を復号化する間に取得されたメタ情報にも応答することができるとともに、前に再構築されループフィルタリングを経たサンプル値にも応答することができる。

ループフィルタユニット（３５６）の出力は、表示機器（３１２）に出力されることが可能なサンプルストリームとすることができ、また、後のフレーム間ピクチャ予測での使用のために参照ピクチャメモリ（３５７）に記憶されることができる。

完全に再構成されると、ある符号化されたピクチャは参照ピクチャとして、後の予測に用いることができる。例えば、現在ピクチャに対応する符号化されたピクチャが完全に再構成され、該符号化されたピクチャが（例えばパーサー（３２０）によって）参照ピクチャとして特定されると、現在ピクチャバッファ（３５８）は参照ピクチャメモリ（３５７）の一部になり、その後の符号化されたピクチャを再構成する前に、新たな現在ピクチャバッファを改めて割り当てる。

ビデオ復号器（３１０）は、例えばＩＴＵ－Ｔ勧告Ｈ.２６５などの標準における所定のビデオ圧縮技術に基づき、復号化操作を実行することができる。符号化されたビデオシーケンスは、ビデオ圧縮技術または標準の文法、及びビデオ圧縮技術または標準に記録されたコンフィグファイルという両者に従うという意味で、符号化されたビデオシーケンスは使用中のビデオ圧縮技術または標準が指定する文法に従う。具体的に、コンフィグファイルはビデオ圧縮技術または標準における利用可能な全てのツールから、該コンフィグファイルで利用可能な唯一のツールとして、いくつかのツールを選択できる。準拠性について、符号化されたビデオシーケンスの複雑度が、ビデオ圧縮技術または標準のレベルによって定められる限度内にあるように要求する。ある状況で、レベルは最大ピクチャサイズ、最大フレームレート、最大再構築サンプリングレート（例えば、メガサンプル／秒で測定する）、最大参照ピクチャサイズなどを制限する。ある状況で、レベルによって設定される制限は、仮想参照復号器（Hypothetical Reference Decoder；ＨＲＤ）の仕様、及び符号化されたビデオシーケンスにおいてシグナリングされるＨＲＤバッファ管理用のメタデータを介してさらに限定される。

１つの実施例において、受信器（３３１）は符号化されたビデオとともに追加（冗長）データを受信できる。追加データは（１つ又は複数の）符号化されたビデオシーケンスの一部として含められ得る。追加データがビデオ復号器（３１０）によって利用されることで、データを適切に復号化し、及び／またはオリジナルビデオデータをより正確に再構築することができる。追加データは、例えば時間、空間または信号対雑音比（ＳＮＲ）強化層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形式であってもよい。

図４は、本開示内容の１つの実施例に基づくビデオ符号器（４０３）のブロック図を示す。ビデオ符号器（４０３）は電子機器（４２０）に含まれる。電子機器（４２０）は送信器（４４０）（例えば、送信回路）を有する。ビデオ符号器（４０３）は図２の例示におけるビデオ符号器（２０３）の代わりとしてもよい。

ビデオ符号器（４０３）は、ビデオ符号器（４０３）によって符号化されるビデオ画像をキャプチャできるビデオソース（４０１）（図４の例示における電子機器（４２０）の一部ではない）からビデオサンプルを受信できる。他の例示において、ビデオソース（４０１）は電子機器（４２０）の一部である。

ビデオソース（４０１）は、ビデオ符号器（４０３）によって符号化される、デジタルビデオサンプルストリーム形式であるソースビデオシーケンスを提供し、該デジタルビデオサンプルストリームは、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ.６０１ Ｙ ＣｒＣＢ、ＲＧＢ……）、及び任意の適切なサンプリング構成（例えば、Ｙ
ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ
４：４：４）を有してもよい。メディアサービスシステムにおいて、ビデオソース（４０１）は前に準備されたビデオを記憶するための記憶機器であってもよい。ビデオ会議システムにおいて、ビデオソース（４０１）はビデオシーケンスとして、ローカル画像情報をキャプチャするための撮影装置であってもよい。ビデオデータは、順に見たときに動きを伝える複数の個々のピクチャとして提供されてもよい。ピクチャそのものは、空間画素アレイとして組織され、使用中のサンプリング構成、色空間などに依存して各画素に１つ又は複数のサンプルが含まれてもよい。画素とサンプルとの間の関係は、当業者にとって容易に理解できる。以下の記載はサンプルに着目する。

１つの実施例に基づき、ビデオ符号器（４０３）は、リアルタイムまたはアプリケーションによって要求される他の時間制約下で、ソースビデオシーケンスのピクチャを、符号化されたビデオシーケンス（４４３）として符号化及び圧縮する。適切な符号化速度を強制することは、コントローラ（４５０）の１つの機能である。いくつかの実施例において、コントローラ（４５０）は以下に記載の他の機能ユニットを制御するとともに、他の機能ユニットに機能的に連結される。簡潔のために、該連結を図示していない。コントローラ（４５０）により設定されるパラメータは、レート制御に関するパラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値......）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）の配置、最大動きベクトル探索範囲などを含んでもよい。コントローラ（４５０）は、特定のシステム設計に対して最適化したビデオ符号器（４０３）に関する他の適切な機能を有するように構成されてもよい。

いくつかの実施例において、ビデオ符号器（４０３）は符号化ループにおいて動作するように構成される。非常に簡単な記載として、１つの例示において、符号化ループはソース符号器（４３０）（例えば、符号化対象となる入力ピクチャと（１つ又は複数）参照ピクチャに基づき、符号ストリームのような符号を構築することを担う）、及びビデオ符号器（４０３）に埋め込まれる（ローカル）復号器（４３３）を含む。復号器（４３３）は、（リモート）復号器がサンプルデータを構築するという方式で、符号を再構築し、サンプルデータを構築する（なぜならば、開示のテーマで考慮されるビデオ圧縮技術において、符号と符号化されたビデオビットストリームとの間の圧縮はいずれも可逆であるからである）。再構築されたサンプルストリーム（サンプルデータ）を参照ピクチャメモリ（４３４）に入力する。符号ストリームの復号化は、復号器位置（ローカルまたはリモート）と関係がないビット正確結果を発生させるから、参照ピクチャメモリ（４３４）におけるコンテンツはローカル符号器とリモート符号器との間でもビット正確である。言い換えれば、符号器が参照ピクチャサンプルとして「見る」予測部分は、復号器が復号化中に予測を利用しようとする際に「見る」サンプル値と完全に同じである。該参照ピクチャの同期性の基本原理は（及び、例えばチャンネル誤差から、同期性を維持できない場合に発生するドリフト）も関連分野に適用される。

「ローカル」復号器（４３３）の動作は、例えば、図３に関連して詳しく記載したビデオ復号器（３１０）の「リモート」復号器の動作と同様であってもよい。ただし、図３を簡単に参照するに、符号が利用可能であり、且つエントロピー符号器（４４５）とパーサー（３２０）による符号の符号化されたビデオシーケンスへの符号化／復号化は可逆とし得るので、バッファメモリ（３１５）とパーサー（３２０）とを含むビデオ復号器（３１０）のエントロピー復号化部分は、ローカル復号器（４３３）において完全に実装されなくてもよい。

この場合、復号器に存在する解析／エントロピー復号化以外の如何なる復号器技術も、必ず、基本的に同じ機能的形態で、対応する符号器に存在する必要がある。これを理由に、開示のテーマは、復号器の動作に着目する。符号器技術は、全面的に記載された復号器技術の逆であるため、符号器技術に対する記載を簡略化し得る。特定の分野においてのみ、より詳細な説明が必要とされ、以下で提供される。

動作において、いくつかの例示において、ソース符号器（４３０）は動き補償予測符号化を実行でき、該動き補償予測符号化は、ビデオシーケンスからの、「参照ピクチャ」として指定された、前に符号化された１つ又は複数のピクチャを参照して、入力ピクチャを予測的に符号化する。該方式で、符号化エンジン（４３２）は入力ピクチャの画素ブロックと、入力ピクチャに対する（１つ又は複数の）予測基準として選択され得る（１つ又は複数の）参照ピクチャの画素ブロックとの間の差を符号化する。

ローカルビデオ復号器（４３３）は、ソース符号器（４３０）によって構築された符号に基づき、参照ピクチャとして指定できるピクチャの符号化されたビデオデータを復号化することができる。符号化エンジン（４３２）の操作は好ましくは非可逆処理である。符号化されたビデオデータがビデオ復号器（図４において図示せず）で復号化できると、再構築されたビデオシーケンスは、一般的にある程度誤差を有するソースビデオシーケンスのコピーであり得る。ローカルビデオ復号器（４３３）はビデオ復号器が参照ピクチャに対して実行する復号化処理をコピーするとともに、再構築された参照ピクチャを参照ピクチャキャッシュ（４３４）に記憶させる。該方式で、ビデオ符号器（４０３）は再構築された参照ピクチャのコピーをローカルに記憶し、該コピーは、リモートビデオ復号器によって取得される再構築の参照ピクチャと、共通のコンテンツを有する（伝送誤差がない）。

予測器（４３５）は、符号化エンジン（４３２）のために予測探索を実行することができる。即ち、符号化対象となる新たなピクチャに対して、予測器（４３５）は、新たなピクチャに対する適切な予測参照としての役割を果たし得るサンプルデータ（候補参照画素ブロックとして）または例えば参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータについて、参照ピクチャメモリ（４３４）を検索し得る。予測器（４３５）はサンプルブロックに基づき、画素ブロックごとに操作することで、適切な予測参照を見つけることができる。ある状況で、予測器（４３５）によって取得された検索結果に基づき決定されるように、入力ピクチャは参照ピクチャメモリ（４３４）に記憶された複数の参照ピクチャから取得される予測参照を有してもよい。

コントローラ（４５０）は、例えば、ビデオデータを符号化するために使用されるパラメータとサブグループパラメータの設定を含め、ソース符号器（４３０）の符号化操作を管理できる。

エントロピー符号器（４４５）において、以上言及された全ての機能ユニットの出力に対してエントロピー符号化を行うことができる。エントロピー符号器（４４５）は、ハフマン符号化、可変長符号化、算術符号化などの当業者の既知の技術に基づき、各種の機能ユニットから生成された符号に対して可逆圧縮を行って、符号を符号化されたビデオシーケンスに変換する。

送信器（４４０）は、エントロピー符号器（４４５）によって構築された（１つ又は複数の）符号化されたビデオシーケンスをバッファリングすることで、通信チャンネル（４６０）を介して伝送するように準備し、該通信チャンネルは符号化されたビデオデータを記憶するための記憶機器に達するハードウェア／ソフトウェアリンクであってもよい。送信器（４４０）はビデオ符号器（４０３）からの符号化されたビデオデータと、伝送対象となる他のデータ、例えば符号化されたオーディオデータ及び／または補助データストリーム（ソースを図示せず）とをマージする。

コントローラ（４５０）は、ビデオ符号器（４０３）の操作を管理できる。符号化において、コントローラ（４５０）は各符号化されたピクチャに、それぞれのピクチャに適用される符号化技術に影響する可能性があるいくつかの符号化ピクチャタイプを割り当てる。例えば、一般的に、ピクチャに以下のピクチャタイプのうちの１つが割り当てられる。

フレーム内ピクチャ（Ｉピクチャ）は、シーケンスにおけるいずれの他のピクチャも予測のソースとして使用せずに符号化及び復号化されるピクチャとし得る。一部のビデオコーデックは、例えば独立復号器リフレッシュ（「ＩＤＲ」）ピクチャを含め、異なるタイプのフレーム内ピクチャを許容する。当業者は、Ｉピクチャのそれら異形、並びにそれらそれぞれの用途及び特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、多くても１つの動きベクトル及び参照インデックスを用いて、フレーム内予測またはフレーム間予測を利用して符号化及び復号化を行うピクチャとし得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、多くても２つの動きベクトル及び参照インデックスを用いて、フレーム内予測またはフレーム間予測を利用して符号化及び復号化を行うピクチャとし得る。同様に、多重予測ピクチャは、２つより多い参照ピクチャと関連メタデータを、単一のブロックの再構築に使用できる。

ソースピクチャは一般的に、空間で複数のサンプルブロック（例えば、４×４、８×８、４×８または１６×１６個のサンプルのブロック）に細分できるとともに、ブロックごとに符号化を行う。ブロックは、それらブロックのそれぞれのピクチャに適用される符号化割当によって決定される他の（符号化された）ブロックを参照して予測的に符号化され得る。例えば、Ｉピクチャのブロックは、非予測的に符号化され、または、Ｉピクチャのブロックは、同一のピクチャの既に符号化されたブロックを参照して予測的に符号化（空間予測またはフレーム内予測）され得る。Ｐピクチャの画素ブロックは、前に符号化された１つの参照ピクチャを参照し、空間予測または時間予測を介して予測的に符号化され得る。Ｂピクチャのブロックは、前に符号化された１つまたは２つの参照ピクチャを参照し、空間予測または時間予測を介して予測的に符号化され得る。

ビデオ符号器（４０３）は例えばＩＴＵ－Ｔ勧告Ｈ.２６５などの所定のビデオ符号化技術または標準に基づき符号化操作を実行することができる。その操作において、ビデオ符号器（４０３）は、入力ビデオシーケンスにおける時間と空間冗長を利用した予測的な符号化操作を含む各種の圧縮操作を実行できる。従って、符号化されたビデオデータは、使用のビデオ符号化技術または標準が指定する文法に従い得る。

１つの実施例において、送信器（４４０）は符号化されたビデオとともに追加データを送信することができる。ソース符号器（４３０）が、そのようなデータを、符号化されたビデオシーケンスの一部として含め得る。追加データは、時間／空間／ＳＮＲ強化層、冗長ピクチャ及びスライスのような他の形式の冗長データ、補充強化情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）パラメータセットセグメントなどを含んでもよい。

キャプチャされたビデオは、時間シーケンスを呈する複数のソースピクチャ（ビデオピクチャ）としてもよい。フレーム内ピクチャ予測（しばしば、フレーム内予測と略される）は特定のピクチャにおける空間的相関を利用し、フレーム間ピクチャ予測はピクチャの間の（時間的または他の）相関を利用する。例示において、現在ピクチャと呼ばれる符号化／復号化における特定ピクチャは、ブロックに分割される。現在ピクチャにおけるブロックは、ビデオにおける前に符号化され且つ依然としてバッファリングされる参照ピクチャにおける参照ブロックに類似する場合、動きベクトルと呼ばれるベクトルによって、現在ピクチャにおけるそのブロックを符号化することができる。前記動きベクトルは参照ピクチャにおける参照ブロックを指し、複数の参照ピクチャを利用する場合、参照ピクチャを特定するための第３次元を有し得る。

いくつかの実施例において、双方向予測技術がフレーム間ピクチャ予測に用いられる。双方向予測技術に基づき、復号化順でいずれもビデオにおける現在ピクチャの前（ただし、表示順では、それぞれ過去と将来にあることもある）にある、第１参照ピクチャと第２参照ピクチャのような２つの参照ピクチャを利用する。第１参照ピクチャにおける第１参照ブロックを指す第１動きベクトル、及び第２参照ピクチャにおける第２参照ブロックを指す第２動きベクトルによって現在ピクチャにおけるブロックを符号化することができる。第１参照ブロックと第２参照ブロックとの組み合わせで、ブロックを予測できる。

また、合併モード技術をフレーム間ピクチャ予測に適用して、符号化効率を向上させることができる。

本開示内容のいくつかの実施例に基づき、ブロックごとにフレーム間ピクチャ予測及びフレーム内ピクチャ予測のような予測を実行する。例えば、ＨＥＶＣ標準によれば、ビデオピクチャシーケンスにおけるピクチャは、圧縮のために符号化ツリーユニット（ＣＴＵ）に分割され、ピクチャにおけるＣＴＵは、例えば６４×６４画素、３２×３２画素または１６×１６画素のような同じサイズを有する。一般的に、ＣＴＵは、１つの輝度ＣＴＢと２つのクロミナンスＣＴＢとが含まれた３つの符号化ツリーブロック（ＣＴＢ）を含む。各ＣＴＵは再帰的に、１つ又は複数の符号化ユニット（ＣＵ）に四分木（クワッドツリー）分割される。例えば、６４×６４画素であるＣＴＵを６４×６４画素である１つのＣＵ、または３２×３２画素である４つのＣＵ、或いは１６×１６画素である１６個のＣＵに分割する。例示において、各ＣＵを分析することで、フレーム間予測タイプまたはフレーム内予測タイプのような、ＣＵのための予測タイプを決定する。時間及び／または空間の予測可能性に依存し、ＣＵは１つ又は複数の予測ユニット（ＰＵ）に分割される。一般的に、各ＰＵは輝度予測ブロック（ＰＢ）と２つのクロミナンスＰＢとを含む。１つの実施例において、符号化（符号化／復号化）における予測操作は、予測ブロックごとに実行される。予測ブロックの例示として、輝度予測ブロックを利用し、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、１６×８画素などのような画素値（例えば、輝度値）の行列を含む。

図５は、本開示内容の他の実施例に基づくビデオ復号器（５０３）の図面を示す。該ビデオ符号器（５０３）は、ビデオピクチャシーケンスにおける現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信するとともに、処理ブロックを符号化されたビデオシーケンスの一部としての符号化されたピクチャに符号化するように構成される。例示において、ビデオ符号器（５０３）は図２の例示におけるビデオ符号器（２０３）の代わりとして用いられる。

ＨＥＶＣ例示において、ビデオ符号器（５０３）は、処理ブロック、例えば８×８サンプルの予測ブロックなどのサンプル値の行列を受信する。ビデオ符号器（５０３）は、例えばレート歪み最適化によって、処理ブロックが最適に符号化されるのが、フレーム内モードを用いてなのか、フレーム間モードを用いてなのか、それとも双方向予測モードを用いてなのかを決定する。フレーム内モードで処理ブロックを符号化しようとするとき、ビデオ符号器（５０３）はフレーム内予測技術によって、処理ブロックを符号化ピクチャに符号化し、フレーム間モードまたは双方向予測モードで処理ブロックを符号化しようとするとき、ビデオ符号器（５０３）はそれぞれフレーム間予測または双方向予測技術によって、処理ブロックを符号化ピクチャに符号化することができる。あるビデオ符号化技術において、合併モードは、予測値の外部にある符号化された動きベクトル成分の利益なしで１つ又は複数の動きベクトル予測値から動きベクトルを導出するというフレーム間ピクチャ予測サブモードとし得る。ある他のビデオ符号化技術において、テーマブロックに適用される動きベクトル成分が存在し得る。例示において、ビデオ符号器（５０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）のような、他のコンポーネントを含む。

図５の例示において、ビデオ符号器（５０３）は図５に示すように連結されたフレーム間符号器（５３０）、フレーム内符号器（５２２）、残差計算器（５２３）、スイッチ（５２６）、残差符号器（５２４）、汎用コントローラ（５２１）及びエントロピー符号器（５２５）を含む。

フレーム間符号器（５３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、該ブロックを参照ピクチャにおける１つ又は複数の参照ブロック（例えば、前のピクチャと後のピクチャにおけるブロック）と比較し、フレーム間予測情報（例えば、フレーム間符号化技術に基づく冗長情報、動きベクトル、合併モード情報の記述）を生成し、フレーム間予測情報に基づき、任意の適切な技術を利用してフレーム間予測結果（例えば、予測のブロック）を計算するように構成される。

フレーム内符号器（５２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、該ブロックを同一ピクチャ内の既に符号化されたブロックと比較し、変換後、量子化係数を生成し、場合によっては、さらにフレーム内予測情報（例えば、１つ又は複数のフレーム内符号化技術に基づくフレーム内予測方向情報）を生成するように構成される。

汎用コントローラ（５２１）は、汎用制御データを決定し、汎用制御データに基づき、ビデオ符号器（５０３）の他のコンポーネントを制御するように構成される。例示において、汎用コントローラ（５２１）はブロックのモードを決定し、該モードに基づき、制御信号をスイッチ（５２６）に提供する。例えば、モードがフレーム内モードである場合、汎用コントローラ（５２１）は、残差計算器（５２３）による使用のためにフレーム内モード結果を選択するようにスイッチ（５２６）を制御し、フレーム内予測情報を選択してフレーム内予測情報をビットストリームに含ませるようにエントロピー符号器（５２５）を制御する。モードがフレーム間モードである場合、汎用コントローラ（５２１）は、残差計算器（５２３）による使用のためにフレーム間予測結果を選択するように、スイッチ（５２６）を制御し、フレーム間予測情報を選択してフレーム間予測情報をビットストリームに含ませるように、エントロピー符号器（５２５）を制御する。

残差計算器（５２３）は、受信されたブロックと、フレーム内符号器（５２２）またはフレーム間符号器（５３０）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差符号器（５２４）は、残差データに基づき動作することで、残差データを符号化し、変換係数を生成するように構成される。例示において、残差符号器（５２４）は、周波数領域における残差データを変換し、変換係数を生成するように構成される。そして、変換係数は量子化処理されて、量子化された変換係数を取得する。

エントロピー符号器（５２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピー符号器（５２５）はＨＥＶＣ標準のような適切な標準に基づき、各種情報を含めるように構成される。例示において、エントロピー符号器（５２５）は汎用制御データ、選択された予測情報（例えば、フレーム内予測情報またはフレーム間予測情報）、残差情報及び他の適切な情報をビットストリームに含めるように構成される。なお、開示のテーマによれば、フレーム間モードまたは双方向予測モードの合併サブモードでブロックを符号化する場合、残差情報は存在しない。

図６は、本開示内容の他の実施例に基づくビデオ復号器（６１０）の図面を示す。ビデオ復号器（６１０）は、符号化されたビデオシーケンスの一部としての符号化されたピクチャを受信するとともに、符号化されたピクチャを復号化することで、再構築されたピクチャを生成するように配置される。例示において、ビデオ復号器（６１０）は、図２の例示におけるビデオ復号器（２１０）の代わりとして用いられる。

図６の例示において、ビデオ復号器（６１０）は図６に示すように連結されたエントロピー復号器（６７１）、フレーム間復号器（６８０）、残差復号器（６７３）、再構築モジュール（６７４）及びフレーム内復号器（６７２）を含む。

エントロピー復号器（６７１）は、符号化されたピクチャに基づき、符号化されたピクチャを構成する文法要素を示す特定の符号を再構築するように構成される。このような符号は、例えば、ブロックを符号化するためのモード（例えば、フレーム内モード、フレーム間モード、双方向予測モード、後の両者の合併サブモードまたは他のサブモード）、それぞれフレーム内復号器（６７２）またはフレーム間復号器（６８０）による予測に用いられる特定のサンプルまたはメタデータを認識できる予測情報（例えば、フレーム内予測情報またはフレーム間予測情報）、例えば量子化の変換係数という形式を呈する残差情報などを含む。例示において、予測モードがフレーム間または双方向予測モードである場合、フレーム間予測情報をフレーム間復号器（６８０）に提供し、予測タイプがフレーム内予測タイプである場合、フレーム内予測情報をフレーム内復号器（６７２）に提供する。残差情報は逆量子化を介して残差復号器（６７３）に提供される。

フレーム間復号器（６８０）は、フレーム間予測情報を受信し、フレーム間予測情報に基づき、フレーム間予測結果を生成するように構成される。

フレーム内復号器（６７２）は、フレーム内予測情報を受信し、フレーム内予測情報に基づき、予測結果を生成するように構成される。

残差復号器（６７３）は、逆量子化を実行することで、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理することによって残差を周波数領域から空間領域に変換するように構成される。残差復号器（６７３）は、いくつかの制御情報を必要とする可能性があり（量子化器パラメータ（ＱＰ）を含むため）、該情報はエントロピー復号器（６７１）から提供される（これは少ない制御情報であるから、データ経路を図示せず）。

再構築モジュール（６７４）は、空間領域において、残差復号器（６７３）から出力された残差と予測結果（フレーム間予測モジュールまたはフレーム内予測モジュールから出力されてもよい）とを組み合わせることで、再構築されたブロックを形成するように構成され、該再構築されたブロックは、再構築されたピクチャの一部であることができ、さらに再構築されたピクチャは、再構築されたビデオの一部であることができる。なお、デブロッキング操作のような、他の適切な操作を実行することで、視覚品質を向上させる。

なお、任意の適切な技術でビデオ符号器（２０３）、ビデオ符号器（４０３）、ビデオ符号器（５０３）、及びビデオ復号器（２１０）、ビデオ復号器（３１０）、ビデオ復号器（６１０）を実現できる。１つの実施例において、１つ又は複数の集積回路を用いてビデオ符号器（２０３）、ビデオ符号器（４０３）、ビデオ符号器（５０３）、及びビデオ復号器（２１０）、ビデオ復号器（３１０）、ビデオ復号器（６１０）を実現できる。他の実施例において、ビデオ復号器（２０３）、（４０３）、（４０３）、及びビデオ復号器（２１０）、（３１０）、（６１０）はソフトウェア命令を実行するための１つ又は複数のプロセッサによって実現される。

異なるピクチャからの、ブロックに基づく補償は動き補償と呼ばれる。ブロック補償はさらに、同一のピクチャ内の前に構築された領域に基づき行われてもよく、これはフレーム内ピクチャブロック補償、またはフレーム内ブロックコピーと呼ばれる。例えば、現在ブロックと参照ブロックとの間のずれを指示するための変位ベクトルはブロックベクトルと呼ばれる。いくつかの実施例に基づき、ブロックベクトルは、既に再構築され参照に用いられる参照ブロックを指す。同じく、並列処理という考量から見れば、タイル／スライスの境界、または波面台形境界を超えた参照領域もブロックベクトルの参照から排除されてもよい。これらの制約のため、ブロックベクトルは動き補償における動きベクトル（ＭＶ）と異なってもよく、動き補償において、動きベクトルは任意の値であってもよい（ｘまたはｙ方向で、正或いは負である）。

図７は、フレーム内ピクチャブロック補償（例えば、フレーム内ブロックコピーモード）の実施例を示す。図７において、現在ピクチャ７００は符号化／復号化された１組のブロック（即ち、灰色のブロック）、及び符号化／復号化されていない１組のブロック（即ち、白いブロック）を有する。符号化／復号化されていないブロックのうちの１つのブロックのサブブロック７０２は、前に符号化／復号化された他のサブブロック７０６を指すブロックベクトル７０４に関連してもよい。従って、サブブロック７０６に関連する任意の動き情報は、サブブロック７０２の符号化／復号化に使用できる。

いくつかの実施例に基づき、ブロックベクトルの符号化は明示的である。他の実施例において、ブロックベクトルの符号化は暗示的である。明示的なモードで、ブロックベクトルとその予測値との間の差がシグナリングされ、暗示的なモードで、合併モードにおける動きベクトル予測に類似する方式によって、ブロックベクトルの予測値からブロックベクトルを回復させる。いくつかの実施例において、ブロックベクトルの解像度は整数位置に限定される。他の実施例において、ブロックベクトルは分数位置を指す。

いくつかの実施例に基づき、参照インデックスによって、ブロックレベルを利用するフレーム内ピクチャブロック補償（即、フレーム内ブロックコピーモード）がシグナリングされ、現在復号化のピクチャは参照ピクチャとみなされ、該参照ピクチャを参照ピクチャリストの最後位置に配置する。該参照ピクチャはさらに、他の時間的参照ピクチャ一とともに、復号化ピクチャバッファ（ＤＰＢ）において管理されてもよい。

いくつかの実施例に基づき、参照ブロックは現在ブロックに対する予測に用いられる前に、水平または垂直に反転される（例えば、反転のフレーム内ブロックコピー）。いくつかの実施例において、Ｍ×Ｎ符号化ブロックの内部の各補償ユニットはＭ×１または１×Ｎ行である（例えば、行に基づくフレーム内ブロックコピー）。

いくつかの実施例に基づき、ブロックレベルの動き補償を実行し、現在ブロックは、同じ動き情報で動き補償を実行するための処理単位である。そのため、ブロックのサイズを特定すると、該ブロックにおける全ての画素は、同じ動き情報を使用してその予測ブロックを形成する。ブロックレベル動き補償の例示は、空間マージ候補、時間候補、及び双方向予測における既存の複数のマージ候補からの動きベクトルの組み合わせ、を使用することを含む。

図８を参照し、現在ブロック（８０１）は動き探索処理において既に符号器／復号器によって、空間的にシフトされた同じサイズの前のブロックから予測可能であることが見出されたサンプルを含む。いくつかの実施例において、直接的にＭＶを符号化することの代わりに、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２（それぞれ８０２～８０６に対応する）と表記した５つの周囲サンプルのうちのいずれかのサンプルに関連するＭＶを用いて、例えば（復号化順序において）直近の参照ピクチャからなど、１つまたは複数の参照ピクチャに関連するメタデータから、ＭＶを導くことができる。ブロックＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２は空間マージ候補と呼ばれる。

いくつかの実施例に基づき、動き補償ブロック内部の異なる位置にある画素（例えば、サブブロック）は異なる動き情報を有してもよい。これらのブロックレベル動き情報との差はシグナリングされず、導出される。このようなタイプの動き補償はサブブロックレベル動き補償と呼ばれて、ブロックの動き補償がブロックそのものより小さいことを許容する。これに関連し、各ブロックは、各サブブロックが異なる動き情報を含み得るものである複数のサブブロックを有してもよい。

サブブロックレベル動き補償の例示は、サブブロックに基づく時間的動きベクトル予測を含み、現在ブロックのサブブロックが相異なる動きベクトルを有する。サブブロックレベル動き補償の他の例示はＡＴＭＶＰであり、これは、各符号化ブロックが、並置の参照ピクチャから、現在符号化ブロックより小さい複数のブロックからの複数組の動き情報をフェッチすることを可能にする一手法である。

サブブロックレベル動き補償の他の例示は、サブブロック調整を有する空間／時間融合を含み、現在ブロックにおける各サブブロックに対して、該サブブロックの空間／時間的隣接者の動きベクトルに基づき、該サブブロックの動きベクトルを調整する。該モードでは、一部のサブブロックに対して、時間的参照ピクチャにおける対応するサブブロックからの動き情報を必要とし得る。

サブブロックレベル動き補償の他の例示は、アフィン符号化動き補償ブロックであり、隣接するブロックの動きベクトルに基づき、まず現在ブロックの４つの角における動きベクトルを導出する。そして、アフィンモデルによって（例えば、サブブロックまたは画素レベルの）現在ブロックの他の動きベクトルを導出することで、各サブブロックが、それぞれのサブブロックの隣接者とは異なる動きベクトルを具備できる。

サブブロックレベル動き補償の他の例示は、復号器側での動きベクトル導出を用いるマージ候補精緻化（リファインメント）である。該モードでは、現在ブロックまたは現在ブロックのサブブロックの（１つ又は複数）動きベクトル予測値を取得した後、例えばテンプレートマッチングまたはバイラテラルマッチングなどの方法を用いて、所与の（１つ又は複数の）動きベクトル予測値を更に精緻化することができる。精緻化された動きベクトルが動き補償の実行に用いられる。符号器側と復号器側とで、ともに同じ精緻化操作を行うことで、復号器は、精緻化が如何に元の予測値から変位されるかという追加情報を必要としない。また、スキップモードを特殊の合併モードと見なすことができ、それにおいては、現在ブロックの隣接者から現在ブロックの動き情報を導出することに加えて、現在ブロックの予測残差もゼロである。

いくつかの実施例に基づき、サブブロック時間的動きベクトル予測において、現在ブロックのサブブロックは、時間的参照ピクチャから導出された相異なる動きベクトル予測値を有してもよい。例えば、現在ブロックの動きベクトルと関連する参照インデックスとが含まれる１組の動き情報を特定する。第１の利用可能な空間マージ候補から動き情報を決定する。該動き情報を用いて、現在ブロックのための参照ピクチャにおける参照ブロックを決定する。参照ブロックもサブブロックに分割される。いくつかの実施例において、現在ピクチャにおける各現在ブロックのサブブロック（current block sub-block；ＣＢＳＢ）に対して、参照ピクチャには、対応する参照ブロックのサブブロック（reference block sub-block；ＲＢＳＢ）が存在する。

いくつかの実施例において、各ＣＢＳＢに対して、対応するＲＢＳＢが１組の動き情報を使用してフレーム間モードで符号化されると、該動き情報は変換され（例えば、時間的動きベクトル予測における動きベクトルスケーリングなどの方法を利用する）、該ＣＢＳＢの動きベクトルの予測値として用いられる。以下、フレーム内モード（例えば、フレーム内ブロックコピーモード）で符号化されるＲＢＳＢを取り扱う方法をさらに詳しく記載する。

いくつかの実施例によれば、サブブロックに基づく時間的動きベクトル予測モードを利用する場合、各ＣＢＳＢがフレーム内ブロックコピーモードのようなフレーム内モードで符号化されることを許容しない。これは、フレーム内ブロックコピーで符号化されたＲＢＳＢを、フレーム内モードと見なすことで実現される。特に、フレーム内ブロックコピーモードがどのように見なされる（例えば、フレーム間モード、フレーム内モードまたは第３モードと見なされる）かにかかわらず、ＣＢＳＢに対して、対応するＲＢＳＢがフレーム内ブロックコピーモードで符号化される場合、該ＲＢＳＢは、サブブロックに基づく時間的動きベクトル予測におけるフレーム内モードと見なされる。従って、いくつかの実施例において、フレーム内ブロックコピーモードで符号化されたＲＢＳＢは、サブブロックに基づく時間的動きベクトル予測におけるデフォルト設定に従って扱われる。例えば、フレーム内ブロックコピーモードでＣＢＳＢの対応するＲＢＳＢを符号化する場合、ゼロ動きベクトルのようなデフォルト動きベクトルが該ＣＢＳＢについての予測値として用いられる。該例示において、ＣＢＳＢに用いられる参照ピクチャは、現在ピクチャではなく、時間的参照ピクチャになる。例えば、時間的参照ピクチャは現在ブロックの全てのサブブロックが共有するピクチャ、参照ピクチャリストにおける第１参照ピクチャ、ＴＭＶＰ目的のためのコロケーションピクチャなどであってもよい。他の例示において、ＣＢＳＢに対して、対応するＲＢＳＢがフレーム間モードで符号化されるが、参照ピクチャが現在ピクチャである場合、例えばゼロ動きベクトルなどのデフォルト動きベクトルが該ＣＢＳＢに割り当てられる。これに関連し、ＲＢＳＢがフレーム間モードで符号化されても、現在ピクチャと参照ピクチャとが同じであるから、ＲＢＳＢがフレーム内モードで符号化されたかのように、該ＲＢＳＢを扱う。

図９は、サブブロックに基づく時間的動きベクトル予測を実行する例示を示す。図９は現在ブロック９００Ａが含まれた９つのブロックを有する現在ピクチャ９００を示す。現在ブロック９００Ａは、４つのサブブロック１～４に分割されている。現在ピクチャ９００は参照ピクチャ９０２に関連付けられることができ、参照ピクチャ９０２は９つの前に符号化／復号化されたブロックを有している。また、図９に示すように、現在ブロック９００Ａは参照ブロック９０２Ａを指す動きベクトル９０４を有する。現在ブロック９００Ａの１つ又は複数の隣接するブロックの動きベクトル（例えば、空間マージ候補）を使用して、動きベクトル９０４を決定することができる。参照ブロック９０２Ａは４つのサブブロック１～４に分割されている。参照ブロック９０２Ａのサブブロック１～４はそれぞれ現在ブロック９００Ａのサブブロック１～４に対応する。参照ピクチャ９０２と現在ピクチャ９００とが同じである場合には、ブロック９０２Ａにおける各ＲＢＳＢは、これらのブロックがフレーム内モードで符号化されたかのようにして扱われる。これに関連し、例えば、ブロック９０２Ａのサブブロック１はフレーム間モードで符号化されているが、参照ピクチャ９０２と現在ピクチャ９００とが同じである場合、ブロック９０２Ａのサブブロック１は、該サブブロックがフレーム内モードで符号化されたかのようにして扱われ、デフォルト動きベクトルがブロック９００Ａのサブブロック１に割り当てられる。

参照ピクチャ９０２と現在ピクチャ９００とが異なる場合、参照ブロック９０２Ａのサブブロック１～４はそれぞれブロック９００Ａのサブブロック１～４に対して、サブブロックに基づく時間的動きベクトル予測を実行するために用いられる。例えば、参照ブロック９０２Ａのサブブロック１がフレーム間モードで符号化されているのか、それともフレーム内モード（例えば、フレーム内ブロックコピーモード）で符号化されているのかということに基づき、現在ブロック９００Ａのサブブロック１の動きベクトル予測値を決定する。参照ブロック９０２Ａのサブブロック１がフレーム間モードで符号化されている場合、参照ブロック９０２Ａのサブブロック１の動きベクトルは、現在ブロック９００Ａのサブブロック１の動きベクトルに対する決定に用いられる。参照ブロック９０２Ａのサブブロック１がフレーム内モードで符号化されている場合には、現在ブロック９００Ａのサブブロック１の動きベクトルはゼロ動きベクトルに設定される。

図１０は、フレーム内符号器５２２またはフレーム内復号器６７２のような符号器または復号器で実行されるプロセスの実施例を示す。該プロセスはステップＳ１０００から始まり、ステップＳ１０００で、符号化されたビデオビットストリームから現在ピクチャを取得する。例えば、図９を参照し、符号化されたビデオビットストリームから現在ピクチャ９００を取得する。プロセスはステップＳ１００２に進み、ステップＳ１００２で、現在ピクチャにおける現在ブロックに対して、参照ピクチャからの参照ブロックを特定する。例えば、図９を参照し、現在ブロック９００Ａに関連付けられた参照ピクチャリストから参照ピクチャ９０２を検索する。現在ブロック９００Ａに対してサブブロックの時間的動きベクトル予測を実行する場合、動きベクトル９０４を用いて、参照ピクチャ９０２の参照ブロック９０２Ａを特定し得る。

プロセスはステップＳ１００４に進み、ステップＳ１００４で、参照ピクチャが現在ピクチャと同じであるかどうかを決定する。参照ピクチャが現在ピクチャと異なる場合、プロセスはステップＳ１００６に進み、ステップＳ１００６で、ＣＢＳＢに対応するＲＢＳＢの符号化モードを決定する。例えば、図９を参照し、現在ブロック９００ＡのＣＢＳＢ
１に対応する参照ブロック９０２ＡのＲＢＳＢ １の符号化モードを決定する。プロセスはステップＳ１００８に進み、ステップＳ１００８で、前記ＲＢＳＢの符号化モードがフレーム間モードであるかどうかを決定する。ＲＢＳＢの符号化モードがフレーム間モードであれば、プロセスはステップＳ１０１０に進み、ステップＳ１０１０で、ＲＢＳＢの動きベクトル予測値に基づき、ＣＢＳＢの動きベクトル予測値を決定する。例えば、参照ブロック９０２ＡのＲＢＳＢ
１の符号化モードがフレーム間モードであれば、参照ブロック９０２ＡのＲＢＳＢ
１の動きベクトル予測値に基づき、現在ブロック９００ＡのＣＢＳＢ
１の動きベクトル予測値を決定する。例えば、参照ブロック９０２ＡのＲＢＳＢ
１の動きベクトル予測値が変換され（例えば、時間的動きベクトル予測における動きベクトルスケーリングのような方法を利用する）、現在ブロック９００ＡのＣＢＳＢ
１の動きベクトル予測値として用いられる。

ステップＳ１００８に戻って、ＲＢＳＢの符号化モードがフレーム間モードでなければ（例えば、ＲＢＳＢの符号化モードはフレーム内モードである）、プロセスはステップＳ１０１２に進み、ステップＳ１０１２で、ＣＢＳＢの動きベクトル予測値をデフォルト動きベクトルに設定する。例えば、参照ブロック９０２ＡのＲＢＳＢ
１がフレーム内モードで符号化されている場合、現在ブロック９００ＡのＣＢＳＢ
１の動きベクトル予測値は、ゼロ動きベクトルのようなデフォルト動きベクトルに設定される。

ステップＳ１００４に戻って、参照ピクチャと現在ピクチャとが同じである場合には、プロセスはステップＳ１０１２に進み、ステップＳ１０１２で、ＣＢＳＢの動きベクトル予測値をデフォルト動きベクトルに設定する。これに関連し、参照ピクチャと現在ピクチャとが同じである場合、ＲＢＳＢの符号化モードをフレーム内モードに決定し、対応するＣＢＳＢのための動きベクトル予測値はデフォルト動きベクトルに設定される。これに関連し、ＲＢＳＢがフレーム間モードであっても、ＣＢＳＢの動きベクトル予測値をデフォルト動きベクトルに設定することで、ＲＢＳＢがフレーム内モードで符号化されたのようにしてＲＢＳＢを扱うことができる。現在ブロック９００Ａにおける各サブブロックに対して、ステップＳ１００４～Ｓ１０１２を繰り返し得る。

前記技術はコンピュータ読み取り可能な命令によってコンピュータソフトウェアとして実現され、物理的に１つ又は複数のコンピュータ読み取り可能な媒体に記憶されてもよい。例えば、図１１は開示のテーマのいくつかの実施例を実現するためのコンピュータシステム（１１００）を示す。

コンピュータソフトウェアは任意の適切なマシンコードまたはコンピュータ言語によって符号化を行って、マシンコードまたはコンピュータ言語は編集、コンパイル、リンクなどのメカニズムを介して命令が含まれるコードを構築し、該命令は１つ又は複数のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、または解釈、マイクロコード実行などによって実行される。

前記命令は各種タイプのコンピュータまたはその部材で実行でき、例えばパーソナルコンピュータ、タブレット、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む。

図１１に示すコンピュータシステム（１１００）のコンポーネントは、本開示内容を実現するための実施例のコンピュータソフトウェアの使用範囲または機能に対して限定せず、本質に例示的である。コンポーネントの配置も、コンピュータシステム（１１００）の例示性の実施例で示したコンポーネントにおけるいずれかのコンポーネント、またはその組み合わせに関する依存性または要求を有するように解釈されるべきではない。

コンピュータシステム（１１００）はいくつかのヒューマンマシンインターフェイス入力機器を含んでもよい。このようなヒューマンマシンインターフェイス入力機器は、１つ又は複数の人類ユーザーの、例えば触覚入力（例えば：キーストローク、スライド、データグローブ移動）、オーディオ入力（例えば：音声、拍手）、視覚入力（例えば：ジェスチャ）、嗅覚入力（図示せず）による入力に応答できる。マンマシンインタフェース機器はさらに、必ずしも人類の意識的な入力に直接的に関していない、ある媒体例えば、オーディオ（例えば：音声、音楽、環境音）、画像（例えば：スキャン画像、静止画撮影装置から取得された写真画像）、ビデオ（例えば２次元ビデオ、立体ビデオが含まれる３次元ビデオ）をキャプチャできる。

入力マンマシンインタフェース機器は、キーボード（１１０１）、マウス（１１０２）、タッチパッド（１１０３）、タッチパネル（１１１０）、データグローブ（図示せず）、ジョイスティック（１１０５）、マイク（１１０６）、スキャナ（１１０７）、撮影装置（１１０８）のうちの１つ又は複数を有してもよい（記載の各々のうちの１つのみ）。

コンピュータシステム（１１００）はさらにマンマシンインタフェース出力機器を有してもよい。このようなマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い／味を介して１つ又は複数の人類ユーザーの感覚を刺激できる。このようなマンマシンインタフェース出力機器は触覚出力機器（例えば、タッチパネル（１１１０）、データグローブ（図示せず）またはジョイスティック（１１０５）による触覚フィードバック、但し入力機器として用いられない触覚フィードバック機器も存在する）、オーディオ出力機器（例えば、スピーカー（１１０９）、ヘッドフォン（図示せず））、視覚出力機器（例えば、スクリーン（１１１０）、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、各スクリーンはタッチパネル入力能力、触覚フィードバック能力を有してもよく、有してなくてもよく、そのうちのいくつかは、立体画像出力のような手段で、２次元の視覚を出力または３次元以上の出力を行い、バーチャルリアリティ眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）がある）、プリンター（図示せず）を含む。

コンピュータシステム（１１００）はさらに人類がアクセスし得る記憶機器及びその関連する媒体を有してもよく、例えば、ＣＤ／ＤＶＤなどの媒体（１１２１）を有するＣＤ／ＤＶＤ
ＲＯＭ／ＲＷ（１１２０）を含む光学媒体、サムドライブ（１１２２）、取り外し可能なハードドライブまたはソリッドステートドライブ（１１２３）、磁気テープとフロッピーディスク（図示せず）のような伝統の磁気媒体、専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づく機器、例えばドングル（図示せず）などを含む。

当業者は、現在開示のテーマを結合して、使用される用語「コンピュータ読み取り可能な媒体」には伝送媒体、搬送波または他の瞬間信号が含まれないことを理解できる。

コンピュータシステム（１１００）は、さらに１つ又は複数の通信ネットワークのインタフェースを有してもよい。ネットワークは、例えば無線、有線、光学であってもよい。ネットワークはさらに、ローカル、広域、都市用、車両用、工業用、リアルタイム、遅延耐性ネットワークなどであってもよい。ネットワークの例示はイーサネットのようなローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどが含まれたセルラーネットワーク、有線テレビ、衛星テレビ及び地上波テレビが含まれるテレビ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓが含まれる車両及び工業ネットワークなどを含む。あるネットワークは一般的に、ある汎用データポートまたは周辺バス（１１４９）（例えば、コンピュータシステム（１１００）のＵＳＢポート）に連結される外部ネットワークインタフェースアダプタを必要とし、他のネットワークは一般的に、以下に記載のシステムバス（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）に連結されることで、コンピュータシステム（１１００）のコアに集積される。これらのネットワークのうちのいずれかのネットワークを介して、コンピュータシステム（１１００）は他のエンティティと通信できる。このような通信は一方向で受信だけ（例えば、放送テレビ）、一方向で送信だけ（例えば、あるＣＡＮｂｕｓ機器へのＣＡＮｂｕｓ)、または双方向である（例えば、ローカルエリアまたは広域デジタルネットワークを介して他のコンピュータシステムへ）。以上に記載のこれらのネットワーク及びネットワークインタフェースのうちの各ネットワーク及びネットワークインタフェースに、特定のプロトコル及びプロトコルスタックを利用できる。

前記マンマシンインタフェース機器、人類がアクセスし得る記憶機器及びネットワークインタフェースは、コンピュータシステム（１１００）のコア（１１４０）に連結できる。

コア（１１４０）は１つ又は複数の中央処理ユニット（ＣＰＵ）（１１４１）、グラフィック処理ユニット（ＧＰＵ）（１１４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（１１４３）という形式の専門プログラム可能な処理ユニット、あるタスクのためのハードウェアアクセラレータ（１１４４）などを含む。これらの機器は、読み取り専用メモリ（ＲＯＭ）（１１４５）、ランダムアクセスメモリ（１１４６）、内部のユーザーがアクセスできないハードディスクドライブ、ＳＳＤなどのような内部大容量記憶装置（１１４７）とともに、システムバス（１１４８）を介して接続される。あるコンピュータシステムにおいて、１つ又は複数の物理プラグという形式で、システムバス（１１４８）にアクセスすることで、別のＣＰＵ、ＧＰＵなどによって拡張できる。周囲機器は直接的または周辺バス（１１４９）を介してコアのシステムバス（１１４８）に連結される。周辺バスのアーキテクチャはＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（１１４１）、ＧＰＵ（１１４２）、ＦＰＧＡ（１１４３）及びアクセラレータ（１１４４）はいくつかの命令を実行でき、これらの命令を組み合わせて、以上に言及されたコンピュータコードを構成する。該コンピュータコードはＲＯＭ（１１４５）またはＲＡＭ（１１４６）に記憶される。移行データはＲＡＭ（１１４６）に記憶され、永久データは、例えば内部大容量記憶装置（１１４７）に記憶されてもよい。キャッシュメモリによってメモリ機器のうちのいずれかのメモリ機器の快速記憶及び検索を実現でき、該キャッシュメモリは１つ又は複数のＣＰＵ（１１４１）、ＧＰＵ（１１４２）、大容量記憶装置（１１４７）、ＲＯＭ（１１４５）、ＲＡＭ（１１４６）などに密接に関連できる。

コンピュータ読み取り可能な媒体は、コンピュータが実現する各種操作を実行するためのコンピュータコードを有する。媒体とコンピュータコードとは、本開示内容の目的のために、専門に設計され及び構築された媒体とコンピュータコードであってもよいし、またはコンピュータソフトウェアの当業者にとって、公知且つ利用可能なタイプであってもよい。

限定ではなく例示として、アーキテクチャ（１１００）を有するコンピュータシステム、特にコア（１１４０）は、（１つ又は複数）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形コンピュータ読み取り可能な媒体に体現されるソフトウェアを実行することで、機能を提供できる。このようなコンピュータ読み取り可能な媒体は、以上に紹介された、ユーザがアクセスし得る大容量記憶装置に関する媒体、及び例えばコア内部の大容量記憶装置（１１４７）またはＲＯＭ（１１４５）などの非一時的な性質のものであるコア（１１４０）の記憶装置であってもよい。本開示内容を実現するための各種実施例のソフトウェアはこのような機器に記憶され、コア（１１４０）により実行される。特定の需要に応じて、コンピュータ読み取り可能な媒体には１つ又は複数の記憶機器またはチップが含まれてもよい。ソフトウェアはコア（１１４０）、特にそのうちのプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどが含まれた）に、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行させ、ＲＡＭ（１１４６）に記憶されるデータ構成を限定すること、及びソフトウェアにより限定されたプロセスに基づき、このようなデータ構成を修正することが含まれる。また或いは代わりとして、コンピュータシステムは、論理的な固定接続または他の方式で回路（例えば、アクセラレータ（１１４４））に体現されることで機能を提供し、該回路は、ソフトウェアの代わりとして、またはソフトウェアとともに操作することで、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行できる。適切な場合、言及のソフトウェアにはロジックが含まれ、逆に、言及ロジックにはソフトウェアが含まれてもよい。適切な場合、言及のコンピュータ読み取り可能な媒体には、実行するためのソフトウェアが記憶される回路（例えば、集積回路（ＩＣ））、実行するためのロジックを体現する回路、或いは前記両者が含まれてもよい。本開示内容にはハードウェアとソフトウェアとの任意の適切な組み合わせが含まれる。

本開示内容には若干の例示性の実施例が記載されているが、本開示内容の範囲内にある変更、置き換え及びいろんな置換等価物が存在する。従って、本明細書には明らかに記載されていないが、本開示内容の原理を体現し本開示内容の精神及び範囲内に属する多いシステム及び方法は、当業者にとって想到し得る。

（１）復号器のビデオ復号化のための方法であって、前記方法において、符号化されたビデオビットストリームから現在ピクチャを取得し、前記現在ピクチャに含まれる現在ブロックに対して、前記現在ピクチャとは異なる参照ピクチャに含まれる参照ブロックを特定し、前記現在ブロックは複数のサブブロック（ＣＢＳＢ）に分割され、前記参照ブロックは、複数のサブブロック（ＲＢＳＢ）を有し、前記複数のサブブロック（ＲＢＳＢ）が前記複数のＣＢＳＢの異なるＣＢＳＢにそれぞれ対応し、前記ＲＢＳＢの参照ピクチャが前記現在ピクチャであるかどうかを決定し、前記ＲＢＳＢの参照ピクチャが前記現在ピクチャであると決定したことに応答して、前記ＲＢＳＢの符号化モードをフレーム内モードとして決定し、前記ＲＢＳＢの参照ピクチャが前記現在ピクチャではないと決定したことに応答して、（ｉ）前記複数のＣＢＳＢの１つに対して、対応するＲＢＳＢの符号化モードがフレーム内モードとフレーム間モードのうちのどちらであるかを決定し、及び（ｉｉ）前記対応するＲＢＳＢの符号化モードが前記フレーム内モードと前記フレーム間モードのうちのどちらであるかに基づき、前記複数のＣＢＳＢの前記１つのＣＢＳＢについての動きベクトル予測値を決定する。

（２）前記対応するＲＢＳＢの符号化モードが前記フレーム内モードであると決定したことに応答して、前記１つのＣＢＳＢについて決定される動きベクトル予測値をデフォルト動きベクトルに設定する特徴（１）に記載の方法。

（３）前記デフォルト動きベクトルは、（ｉ）ゼロ動きベクトル、または（ｉｉ）前記ＣＢＳＢと前記ＲＢＳＢとの間のずれである特徴（２）に記載の方法。

（４）前記対応するＲＢＳＢの符号化モードは前記フレーム間モードであると決定したことに応答し、前記１つのＣＢＳＢについて決定される動きベクトル予測値は、前記対応するＲＢＳＢに関連する動きベクトル予測値に基づくものである特徴（１）～（３）のいずれか１項に記載の方法。

（５）決定される前記動きベクトル予測値は、前記対応するＲＢＳＢに関連する前記動きベクトル予測値のスケーリングバージョンである特徴（４）に記載の方法。

（６）前記現在ブロックに隣接するブロックに関連する動きベクトル予測値に従って前記参照ブロックを特定する特徴（１）～（５）のいずれか１項に記載の方法。

（７）前記参照ピクチャは、前記現在ピクチャに関連する参照ピクチャシーケンスからの第１参照ピクチャである特徴（１）～（６）のいずれか１項に記載の方法。

（８）処理回路を有するビデオ復号化のためのビデオ復号器であって、前記処理回路は、符号化されたビデオビットストリームから現在ピクチャを取得し、前記現在ピクチャに含まれる現在ブロックに対して、前記現在ピクチャとは異なる参照ピクチャに含まれる参照ブロックを特定し、前記現在ブロックは複数のサブブロック（ＣＢＳＢ）に分割され、前記参照ブロックは、複数のサブブロック（ＲＢＳＢ）を有し、前記複数のサブブロック（ＲＢＳＢ）が前記複数のＣＢＳＢの異なるＣＢＳＢにそれぞれ対応し、前記ＲＢＳＢの参照ピクチャが前記現在ピクチャであるかどうかを決定し、前記ＲＢＳＢの参照ピクチャが前記現在ピクチャであると決定したことに応答して、前記ＲＢＳＢの符号化モードをフレーム内モードとして決定し、前記ＲＢＳＢの参照ピクチャが前記現在ピクチャではないと決定したことに応答して、（ｉ）前記複数のＣＢＳＢの１つに対して、対応するＲＢＳＢの符号化モードがフレーム内モードとフレーム間モードのうちのどちらであるかを決定し、及び（ｉｉ）前記対応するＲＢＳＢの符号化モードが前記フレーム内モードと前記フレーム間モードのうちのどちらであるかに基づき、前記ＣＢＳＢのうちの前記１つのＣＢＳＢについての動きベクトル予測値を決定する、ように構成される。

（９）前記処理回路は、前記対応するＲＢＳＢの符号化モードが前記フレーム内モードであると決定したことに応答して、前記１つのＣＢＳＢについての動きベクトル予測値をデフォルト動きベクトルに設定するように構成される特徴（８）に記載のビデオ復号器。

（１０）前記デフォルト動きベクトルは、（ｉ）ゼロ動きベクトル、または（ｉｉ）前記ＣＢＳＢと前記ＲＢＳＢとの間のずれである特徴（９）に記載のビデオ復号器。

（１１）前記処理回路は、前記対応するＲＢＳＢの符号化モードが前記フレーム間モードであると決定したことに応答して、前記１つのＣＢＳＢについての動きベクトル予測値を、前記対応するＲＢＳＢに関連する動きベクトル予測値に基づいて決定するように構成される特徴（８）～（１０）のいずれか１項に記載のビデオ復号器。

（１２）決定される前記動きベクトル予測値は前記対応するＲＢＳＢに関連する前記動きベクトル予測値のスケーリングバージョンである特徴（１１）に記載のビデオ復号器。

（１３）前記処理回路は、前記現在ブロックに隣接するブロックに関連する動きベクトル予測値に基づき、前記参照ブロックを特定する特徴（８）～（１２）のいずれか１項に記載のビデオ復号器。

（１４）前記参照ピクチャは、前記現在ピクチャに関連する参照ピクチャシーケンスからの第１参照ピクチャである特徴（８）～（１３）のいずれか１項に記載のビデオ復号器。

（１５）命令を有するコンピュータプログラムであって、前記命令は、プロセッサによって実行されるときに、前記プロセッサに方法を実行させ、該方法は、符号化されたビデオビットストリームから現在ピクチャを取得し、前記現在ピクチャに含まれる現在ブロックに対して、前記現在ピクチャとは異なる参照ピクチャに含まれる参照ブロックを特定し、前記現在ブロックは複数のサブブロック（ＣＢＳＢ）に分割され、前記参照ブロックは、複数のサブブロック（ＲＢＳＢ）を有し、前記複数のサブブロック（ＲＢＳＢ）が前記複数のＣＢＳＢの異なるＣＢＳＢにそれぞれ対応し、前記ＲＢＳＢの参照ピクチャが前記現在ピクチャであるかどうかを決定し、前記ＲＢＳＢの参照ピクチャが前記現在ピクチャであると決定したことに応答して、前記ＲＢＳＢの符号化モードをフレーム内モードとして決定し、前記ＲＢＳＢの参照ピクチャが前記現在ピクチャではないと決定したことに応答して、（ｉ）前記複数のＣＢＳＢの１つに対して、対応するＲＢＳＢの符号化モードがフレーム内モードとフレーム間モードのうちのどちらであるかを決定し、及び（ｉｉ）前記対応するＲＢＳＢの符号化モードが前記フレーム内モードと前記フレーム間モードのうちのどちらであるかどうかに基づき、前記複数のＣＢＳＢの前記１つのＣＢＳＢについての動きベクトル予測値を決定する、ことを含む。

（１６）前記対応するＲＢＳＢの符号化モードが前記フレーム内モードであると決定したことに応答して、前記１つのＣＢＳＢについて決定される動きベクトル予測値をデフォルト動きベクトルに設定する特徴（１５）に記載のコンピュータプログラム。

（１７）前記デフォルト動きベクトルは、（ｉ）ゼロ動きベクトル、または（ｉｉ）前記ＣＢＳＢと前記ＲＢＳＢとの間のずれである特徴（１６）に記載のコンピュータプログラム。

（１８）前記対応するＲＢＳＢの符号化モードが前記フレーム間モードであると決定したことに応答し、前記１つのＣＢＳＢについて決定される動きベクトル予測値は前記対応するＲＢＳＢに関連する動きベクトル予測値に基づくものである特徴（１５）～（１７）のいずれか１項に記載のコンピュータプログラム。

（１９）決定される前記動きベクトル予測値は前記対応するＲＢＳＢに関連する前記動きベクトル予測値のスケーリングバージョンである特徴（１８）に記載の非一時的なコンピュータ読み取り可能な媒体。

（２０）前記現在ブロックに隣接するブロックに関連する動きベクトル予測値に従って前記参照ブロックを特定する特徴（１５）～（１９）のいずれか１項に記載の非一時的なコンピュータ読み取り可能な媒体。

付録Ａ：頭字語
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオ符号化
ＳＥＩ：補充強化情報
ＶＵＩ：ビデオユーザビリティ情報
ＧＯＰ：ピクチャグループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：符号化ツリーユニット
ＣＴＢ：符号化ツリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮想参照復号器
ＳＮＲ：信号対雑音比
ＣＰＵ：中央処理ユニット
ＧＰＵ：グラフィック処理ユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：読み取り専用メモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：グローバルシステムフォーモバイルコミュニケーションズ
ＬＴＥ：ロングタームエボリューション
ＣＡＮＢｕｓ：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアルバス
ＰＣＩ：周辺コンポーネント相互接続
ＦＰＧＡ：フィールドプログラマブルゲートアレイ
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：符号化ユニット

Claims (7)

1. 復号器のビデオ復号化のための方法であって、
   符号化されたビデオビットストリームから現在ピクチャを取得するステップと、
   前記現在ピクチャに含まれる現在ブロックに対して、参照ピクチャに含まれる参照ブロックを特定するステップであって、前記参照ピクチャは前記現在ピクチャとは異なり、前記参照ブロックは、前記現在ブロックに隣接するブロックに関連する動きベクトル予測値に従って特定され、前記現在ブロックは、インターモードで符号化される第１の複数のサブブロック（ＣＢＳＢ）に分割され、前記参照ブロックは、第２の複数のサブブロック（ＲＢＳＢ）を有し、各ＣＢＳＢが、少なくとも１つのＲＢＳＢに対応する、ステップと、
   各ＣＢＳＢについて、対応するＲＢＳＢの符号化モードを決定し、該対応するＲＢＳＢがイントラモード又はイントラブロックコピーモードで符号化されていることに応答して、該ＣＢＳＢの第１の動きベクトル予測値をデフォルト動きベクトル予測値に設定するステップであって、前記デフォルト動きベクトル予測値はゼロ動きベクトルである、ステップと、
   各ＣＢＳＢについて、対応するＲＢＳＢの符号化モードを決定し、該対応するＲＢＳＢがインターモードで符号化されていることに応答して、該ＣＢＳＢの前記第１の動きベクトル予測値として前記対応するＲＢＳＢの第２の動きベクトル予測値を用いて、該ＣＢＳＢの前記第１の動きベクトル予測値を設定するステップと、
   各ＣＢＳＢについての前記第１の動きベクトル予測値に基づいて、各ＣＢＳＢに対してサブブロックベース時間動きベクトル予測を実行することによって、各ＣＢＳＢを復号化するステップと、を含む方法。
2. 各ＣＢＳＢについて、前記対応するＲＢＳＢが前記インターモードで符号化されていることに応答して、前記第１の動きベクトル予測値は、前記対応するＲＢＳＢの前記第２の動きベクトル予測値のスケーリングバージョンである、請求項１に記載の方法。
3. 前記参照ピクチャは、前記現在ピクチャに関連する参照ピクチャシーケンスからの第１参照ピクチャである、請求項１又は２に記載の方法。
4. ビデオ復号化のためのビデオ復号器であって、
   処理回路を有し、
   前記処理回路は、
   符号化されたビデオビットストリームから現在ピクチャを取得し、
   前記現在ピクチャに含まれる現在ブロックに対して、参照ピクチャに含まれる参照ブロックを特定し、前記参照ピクチャは前記現在ピクチャとは異なり、前記参照ブロックは、前記現在ブロックに隣接するブロックに関連する動きベクトル予測値に従って特定され、前記現在ブロックは、インターモードで符号化される第１の複数のサブブロック（ＣＢＳＢ）に分割され、前記参照ブロックは、第２の複数のサブブロック（ＲＢＳＢ）を有し、各ＣＢＳＢが、少なくとも１つのＲＢＳＢに対応し、
   各ＣＢＳＢについて、対応するＲＢＳＢの符号化モードを決定し、該対応するＲＢＳＢがイントラモード又はイントラブロックコピーモードで符号化されていることに応答して、該ＣＢＳＢの第１の動きベクトル予測値をデフォルト動きベクトル予測値に設定し、前記デフォルト動きベクトル予測値はゼロ動きベクトルであり、
   各ＣＢＳＢについて、対応するＲＢＳＢの符号化モードを決定し、該対応するＲＢＳＢがインターモードで符号化されていることに応答して、該ＣＢＳＢの前記第１の動きベクトル予測値として前記対応するＲＢＳＢの第２の動きベクトル予測値を用いて、該ＣＢＳＢの前記第１の動きベクトル予測値を設定し、
   各ＣＢＳＢについての前記第１の動きベクトル予測値に基づいて、各ＣＢＳＢに対してサブブロックベース時間動きベクトル予測を実行することによって、各ＣＢＳＢを復号化する、
   ように構成される、
   ビデオ復号器。
5. 各ＣＢＳＢについて、前記対応するＲＢＳＢが前記インターモードで符号化されていることに応答して、前記第１の動きベクトル予測値は、前記対応するＲＢＳＢの前記第２の動きベクトル予測値のスケーリングバージョンである、請求項４に記載のビデオ復号器。
6. 前記参照ピクチャは、前記現在ピクチャに関連する参照ピクチャシーケンスからの第１参照ピクチャである、請求項４又は５に記載のビデオ復号器。
7. 命令を有するコンピュータプログラムであって、前記命令は、プロセッサによって実行されるときに、前記プロセッサに、請求項１乃至３のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
   

Images