JP7130851B2 - ビデオ符号化において追加中間候補を有するマージモードの方法及び装置 - Google Patents

Description

３５Ｕ.Ｓ.Ｃ.§１１９に基づいて、本願は２０１８年６月４日にてアメリカ特許商標庁に提出された美国仮出願第６２／６８０．４８６号の優先権を主張し、開示された全ての内容は本明細書に援用される。

本開示内容は、フレーム間ピクチャ予測符号化に関わるとともに、マージモードに適用される。余分な空間または時間マージ候補によってマージ候補リストを生成し、マージ候補リストの生成を補正する。さらにインデックスマージのシグナリング技術案を提出する。

高効率ビデオ符号化（ＨＥＶＣ）には、フレーム間ピクチャ予測のためのマージモードが導入される。隣接ブロックからの候補動きパラメータのマージ候補リストを生成する。そして、インデックスをシグナリングし、利用対象となる候補を標識する。マージモードはさらに、符号化されたピクチャから取得された候補をリストに含ませることで、時間予測を許可する。図１を参照し、ＨＥＶＣにおいて、１つ又は複数の空間マージ候補（１０１）、（１０２）、（１０３）、（１０４）及び／または（１０５）、２つの時間的コロケーテッドブロック（temporal co-located blocks）から導出された１つの時間マージ候補、及び／または双方向予測候補とゼロ動きベクトル候補との組み合わせが含まれる追加マージ候補に基づき、現在ブロック（１００）のマージ候補リストを生成する。

ＨＥＶＣにおいて、スキップモードは、ブロックにとって動きデータが明示的にシグナリングされず、推定されることで得られて、且つ予測残差がゼロであるように指示するためのモードであり、即ち、変換係数を伝送しない。ＨＥＶＣにおいて、フレーム間ピクチャ予測スライスにおける各符号化ユニット（ＣＵ）の開始箇所で、ｓｌｉｐ_ｆｌａｇはシグナリングされ、該ｓｌｉｐ_ｆｌａｇは、ＣＵに１つの予測ユニット（ＰＵ）（例えば、２Ｎｘ２Ｎ）のみが含まれ、マージモードによって動きデータを導出し、及び／またはビットストリームに残差データが存在しないことを暗示する。

共同ビデオ探索チーム（ＪＶＥＴ）により研究されたテストモデルソフトウェアとしての共同探索モデル７（ＪＥＭ７）に、新たなマージ候補が導入される。サブＣＵモードを追加のマージ候補として、これらのモードをシグナリングするための追加の文法要素を必要としない。２つの追加のマージ候補は、各ＣＵのマージ候補リストに追加されることで、代替時間動きベクトル予測（ＡＴＭＶＰ）モードと空間時間動きベクトル予測（ＳＴＭＶＰ）モードを示す。

シーケンスパラメータセットは、ＡＴＭＶＰモードとＳＴＭＶＰモードとが有効であることを指示する場合、７つのマージ候補を利用する。追加マージ候補の符号化ロジックとＨＥＶＣにおけるマージ候補の符号化ロジックとは同様であり、これは、予測（Ｐ）スライスまたは双方向予測（Ｂ）スライスにおける各ＣＵに対して、該２つの追加マージ候補にとって、２回のレート歪み（ＲＤ）検査を必要とすることを示す。ＪＥＭ７において、挿入されるマージ候補の順序はＡ、Ｂ、Ｃ、Ｄ、ＡＴＭＶＰ、ＳＴＭＶＰ、Ｅ（リストにおけるマージ候補が６より小さい場合）、時間動きベクトル予測（ＴＭＶＰ）、組み合わせた双方向予測候補とゼロ動きベクトル候補になる。

ＪＥＭ７において、マージインデックスの全てのバイナリビットはコンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）によってコンテキスト符号化を行う。ＨＥＶＣにおいて、第１のバイナリビットのみに対してコンテキスト符号化を行って、他のバイナリビットに対してコンテキストバイパス符号化を行う。ＪＥＭにおいて、マージ候補の最大の数は７である。

図２は、マージ候補リストの生成の例示を示す。例えば、該技術案は８×８ブロックであるステップサイズの大きさで、符号化されたブロックからの候補動きベクトルから、検索する。該技術案は現在ブロック（２００）の最も近い空間隣接領域、即ち、隣接するトップ行（２０１）、左列（２０２）及び右上隅（２０３）を、カテゴリ１として定義する。例えば外部領域（現在ブロックの境界からせいぜい３つの８×８ブロックがある）と符号化されたフレームに並置ブロックの他の隣接領域（２０４）、（２０５）をカテゴリ２に分類する。リストから、異なる参照フレームに応じて予測された隣接ブロック、またはフレーム内符号化された隣接ブロックを去除する。そして、残りの各参照ブロックに重みを割り当てる。該重みは、現在ブロックまでの距離に関する。

拡張マージモードにおいて、追加のマージ候補は、次の（ＮＥＸＴ）マージ候補の直接的な拡張である。現在ブロックの直ぐ近くにない左、上、左下、右上及び左上候補を検査する。図１は検査される詳しい位置を示す。例示として、マージ候補の最大の数は１０であってもよい。

図３は、外部領域からのマージ候補を示す。例えば、図３に示すように、参照ブロックの左上隅から、現在ブロックまでのオフセットは（－９６,－９６）である。候補（３０１）、（３０２）及び（３０３）に示すように、各候補Ｂ（ｉ,ｊ）またはＣ（ｉ,ｊ）はその前のＢ候補またはＣ候補より、垂直方向でのオフセットは１６である。候補（３０４）、（３０５）及び（３０６）に示すように、各候補Ａ（ｉ,ｊ）またはＤ（ｉ,ｊ）はその前のＡ候補またはＤ候補より水平方向でのオフセットは１６である。候補（３０７）、（３０８）及び（３０９）に示すように、各候補Ｅ（ｉ,ｊ）はその前のＥ候補より水平方向と垂直方向でのオフセットはいずれも１６である。内から外へ候補を検査し、候補の順序はＡ（ｉ,ｊ）、Ｂ（ｉ,ｊ）、Ｃ（ｉ,ｊ）、Ｄ（ｉ,ｊ）及びＥ（ｉ,ｊ）になる。

本開示内容の１つの態様によれば、ビデオシーケンスを符号化または復号するためのマージ候補リストを生成する方法であって、該方法は、第１候補ブロックを決定し、該第１候補ブロックは現在ブロックのトップエッジの上方にある垂直位置と、現在ブロックの水平中心に隣接する水平位置とを有し、第２候補ブロックを決定し、該第２候補ブロックは現在ブロックの左エッジの左側にある水平位置と、現在ブロックの垂直中心に隣接する垂直位置とを有し、第１候補ブロックと第２候補ブロックを利用して、マージ候補リストを生成することで、ビデオシーケンスに対する符号化または復号を許可する。

本開示内容の１つの態様によれば、ビデオシーケンスを符号化または復号するためのマージ候補リストを生成するための機器であって、前記機器は、プログラムコードを記憶するように配置される少なくとも１つのメモリと、プログラムコードを読み取るとともに、プログラムコードの指示に応じて操作するように配置される少なくとも１つのプロセッサとを備え、該プログラムコードは、前記少なくとも１つのプロセッサに第１候補ブロックを決定させるように配置される第１決定コードであって、該第１候補ブロックは現在ブロックのトップエッジの上方にある垂直位置と、現在ブロックの水平中心に隣接する水平位置とを有する第１決定コードと、前記少なくとも１つのプロセッサに第２候補ブロックを決定させるように配置される第２決定コードであって、該第２候補ブロックは現在ブロックの左エッジの左側にある水平位置と、現在ブロックの垂直中心に隣接する垂直位置とを有する第２決定コードと、前記少なくとも１つのプロセッサに、第１候補ブロックと第２候補ブロックによって、マージ候補リストを生成させることで、ビデオシーケンスに対する符号化または復号を許可するように、配置される生成コードと、を有する。

本開示内容の１つの態様によれば、命令が記憶される非一時的なコンピュータ読み取り可能な媒体であって、前記命令には１つ又は複数の命令が含まれ、前記１つ又は複数の命令は機器の１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに以下の操作を実行させ、第１候補ブロックを決定し、該第１候補ブロックは現在ブロックのトップエッジの上方にある垂直位置と、現在ブロックの水平中心に隣接する水平位置とを有し、第２候補ブロックを決定し、該第２候補ブロックは現在ブロックの左エッジの左側にある水平位置と、現在ブロックの垂直中心に隣接する垂直位置とを有し、第１候補ブロックと第２候補ブロックを利用して、ビデオシーケンスを符号化または復号するためのマージ候補リストを生成することで、ビデオシーケンスに対する符号化または復号を許可する。

以下の詳しい記載及び図面に基づいて、開示されたテーマの他の特徴、性質及び各利点はより明確になり、図面において、
１つの実施例による空間マージ候補の図面である。 １つの実施例によるマージ候補リストを生成する図面である。 １つの実施例による外部領域からのマージ候補の図面である。 １つの実施例による通信システムの簡略化ブロック図である。 １つの実施例によるストリーミング伝送環境の図面である。 １つの実施例によるビデオ復号器のブロック図である。 １つの実施例によるビデオ符号器のブロック図である。 １つの実施例による、マージ候補リストを生成するためのプロセス例示のフローチャートである。 現在ブロックの中間候補をマージ候補リストに追加することを示す図面である。 現在ブロックの中間候補をマージ候補リストに追加することを示す図面である。 １つの実施例による中間候補の追加を示す図面である。 １つの実施例によるコンピュータシステムの図面である。

本明細書に記載のいくつかの実現形態は、改善されたマージ候補リストの生成を許可し、これによって、ビットレートの低減、性能の向上及び他の技術利点をもたらす。

図４は、本開示内容による１つの実施例の通信システム（４００）の簡略化ブロック図を示す。通信システム（４００）は、ネットワーク（４５０）を介して互いに接続された少なくとも２つの端末（４１０～４２０）を有する。一方向のデータ伝送について、第１端末（４１０）はローカル位置でビデオデータを符号化することで、ネットワーク（４５０）を介して他の端末（４２０）に伝送することができる。第２端末（４２０）はネットワーク（４５０）から他の端末の符号化されたビデオデータを受信し、符号化されたデータを復号するとともに、回復されたビデオデータを表示することができる。一方向のデータ伝送はメディアサービスアプリケーションなどにおいて、よく見られる。

図４は、第２対の端末（４３０、４４０）を示し、例えばビデオ会議期間に発生する可能性がある符号化されたビデオの双方向伝送を支持する。データの双方向伝送について、各端末（４３０、４４０）はローカル位置でキャプチャされたビデオデータを符号化することで、ネットワーク（４５０）を介して他の端末に伝送することができる。各端末（４３０、４４０）はさらに、他の端末から伝送された、符号化されたビデオデータを受信し、該符号化されたデータを復号するとともに、ローカル表示機器に復元されたビデオデータを表示することができる。

図４において、端末（４１０～４４０）はサーバ、パーソナルコンピュータ及びスマートフォンとして列挙され、本開示内容の原理はこれに限定されない。本開示内容の実施例はラップトップコンピュータ、タブレットコンピューター、メディアプレイヤー及び／または専門ビデオ会議機器に適用される。ネットワーク（４５０）は、端末（４１０～４４０）の間で符号化されたビデオデータを伝送するための、例えば有線及び／または無線通信ネットワークが含まれる任意の数のネットワークを示す。通信ネットワーク（４５０）は回路交換及び／またはパケット交換チャネルにおいて、データを交換できる。代表的なネットワークは電気通信ネットワーク、ローカルエリアネットワーク、広域エリアネットワーク及び／またはインターネットを含む。本願の論述の目的から見れば、以下で解釈しない限り、ネットワーク（４５０）のアーキテクチャ及びトポロジは、本開示内容の操作に対して重要ではない。

開示されたテーマの応用例示として、図５は、ビデオ符号器と復号器とのストリーミング伝送環境における配置を示す。開示されたテーマは例えば、ビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの格納などを含む、他のビデオ対応アプリケーションに同様に適用可能である。

ストリーミング伝送システムは、キャプチャサブシステム（５１３）を有してもよく、該キャプチャサブシステムは、例えば非圧縮のビデオサンプルストリーム（５０２）を構築するための、デジタル撮影装置のようなビデオソース（５０１）を有する。符号化されたビデオビットストリームと比較する場合、データ量が多いことを強調するように、サンプルストリーム（５０２）は太線として描画される。サンプルストリーム（５０２）は、撮影装置（５０１）に連結される符号器（５０３）によって処理される。符号器（５０３）はハードウェア、ソフトウェアまたはその組み合わせを有することで、以下により詳しく記載される開示のテーマの各態様を実現または実施する。サンプルストリームと比較する場合、データ量が少ないことを強調するように、符号化されたビデオビットストリーム（５０４）は細線として描画される。符号化されたビデオビットストリーム（５０４）はストリーミングサーバ（５０５）に記憶されることで、後で使用される。１つ又は複数のストリーミングクライアント（５０６、５０８）はストリーミングサーバ（５０５）にアクセスして、符号化されたビデオビットストリーム（５０４）のコピー（５０７、５０９）を検索する。クライアント（５０６）はビデオ復号器（５１０）を有してもよく、該ビデオ復号器（５１０）は符号化されたビデオビットストリームの導入コピー（５０７）を復号するとともに、ディスプレイ（５１２）または他の表示機器（図示せず）に表示される導出ビデオサンプルストリーム（５１１）を構築できる。あるストリーミング伝送システムにおいて、ビデオビットストリーム（５０４、５０７、５０９）はあるビデオ符号化／圧縮基準に応じて符号化を行う。これらの基準の例示はＩＴＵ－Ｔ Ｈ.２６５提案書を含む。開発中のものは、非公式に多機能ビデオ符号化（ＶＶＣ）と呼ばれるビデオ符号化基準がある。開示されたテーマはＶＶＣのコンテキストに適用される。

図６は、本発明の１つの実施例によるビデオ復号器（５１０）の機能ブロック図である。

受信器（６１０）は、復号器（５１０）により復号される１つ又は複数のコーデックビデオシーケンスを受信し、同一実施例または他の実施例において、１回に１つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号は、他の符号化されたビデオシーケンスと独立する。チャンネル（６１２）から符号化されたビデオシーケンスを受信し、チャンネル（６１２）は、該符号化されたビデオデータを記憶するための記憶機器へのハードウェア／ソフトウェアリンクであってもよい。受信器（６１０）は、符号化されたビデオデータ及び他のデータを受信でき、例えば、それぞれの利用エンティティ（図示せず）の符号化されたオーディオデータ及び／または補助データストリームに転送できる。受信器（６１０）は符号化されたビデオシーケンスと他のデータとを分割できる。ネットワークのジッタを防止するために、バッファメモリ（６１５）は受信器（６１０）とエントロピー復号器／パーサー（６２０）（以下は「パーサー」と呼ばれる）との間に連結される。受信器（６１０）は十分な帯域幅及び制御可能性を有する記憶／転送機器、または等時性リアルタイムネットワークからデータを受信する場合、バッファ（６１５）を必要としないか、またはバッファ（６１５）が小さくてもよい。例えばインターネットのような最適パケットネットワークで利用するために、バッファ（６１５）を必要とするかもしれなく、バッファ（６１５）は相対的に大きく、有利に自己適応の大きさを有してもよい。

ビデオ復号器（５１０）は、パーサー（６２０）を有することで、エントロピー符号化されたビデオシーケンスに基づいて符号（６２１）を再構成する。図６に示すように、これらの符号のカテゴリには、復号器（５１０）の操作を管理するための情報、及び復号器の構成部分ではないが、復号器に連結されるディスプレイ（５１２）のような表示機器を制御するための潜在情報が含まれる。（１つ又は複数の）表示機器に用いられる制御情報は、補助強化情報（ＳＥＩメッセージ）またはビデオユーザビリティ情報（ＶＵＩ）パラメータセットセグメント（図示せず）という形式であってもよい。パーサー（６２０）は受信された、符号化されたビデオシーケンスに対して解析／エントロピー復号を行うことができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術または基準に応じて行われて、当業者の既知原理に従い、可変長符号、ハフマン符号（Ｈｕｆｆｍａｎ ｃｏｄｉｎｇ）、コンテキスト感度を有しまたは有していない算術符号を含む。パーサー（６２０）はグループに対応する少なくとも１つのパラメータに基づき、符号化されたビデオシーケンスから、ビデオ復号器における画素のサブグループにおける少なくとも１つのサブグループのサブグループパラメータセットを抽出する。サブグループには、ピクチャグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などが含まれる。エントロピー復号器／パーサーはさらに、符号化されたビデオシーケンスから、変換係数、量子化器パラメータ（ＱＰ）値、動きベクトルなどのような情報を抽出できる。

パーサー（６２０）は、バッファ（６１５）から受信されたビデオシーケンスに対してエントロピー復号／解析操作を実行することで、符号（６２１）を構築する。パーサー（６２０）は符号化されたデータを受信し、選択的に特定符号（６２１）に対して復号を行う。また、パーサー（６２０）は、特定符号（６２１）が動き補償予測ユニット（６５３）、スケーラ／逆変換ユニット（６５１）、フレーム内予測ユニット（６５２）またはループフィルタ（６５６）に提供されるかどうかを決定する。

符号化されたビデオピクチャまたは符号化されたビデオピクチャの一部のタイプ（例えば：フレーム間ピクチャとフレーム内ピクチャ、フレーム間ブロックとフレーム内ブロック）及び他の要因に依存し、符号（６２１）の再構成は複数の異なるユニットに関わる。どのユニットに関わるか、関わる方式について、パーサー（６２０）が符号化されたビデオシーケンスから解析したサブグループ制御情報によって制御する。簡潔のために、パーサー（６２０）と以下の複数のユニットとの間にある、このようなサブグループ制御情報ストリームを記載しない。

既に言及された機能ブロック以外、復号器（５１０）は概念的以下に記載の複数の機能ユニットに細分される。商業制約で作動する実際の実現方式において、これらのユニットにおける複数のユニットは互いに密接に対話するとともに、少なくとも部分的に互いに集積されてもよい。ただし、開示されたテーマを記載するという目的から見れば、概念的に以下の機能ユニットに細分されることは適切である。

第１ユニットはスケーラ／逆変換ユニット（６５１）である。スケーラ／逆変換ユニット（６５１）はパーサー（６２０）から、（１つ又は複数の）符号（６２１）としての量子化変換係数及び制御情報を受信し、どんな変換方式を利用するか、ブロックの大きさ、量子化因子、量子化スケーリング行列などを含む。スケーラ／逆変換ユニット（６５１）はアグリゲーター（６５５）に入力されるサンプル値が含まれるブロックを出力できる。

ある状況で、スケーラ／逆変換ユニット（６５１）の出力サンプルはフレーム内符号器ブロックに属してもよく、即ち、前に再構築されたピクチャからの予測性情報を利用しないが、現在ピクチャの前に再構築された部分からの予測性情報のブロックを利用できる。このような予測性情報はフレーム内ピクチャ予測ユニット（６５２）から提供される。ある状況で、フレーム内ピクチャ予測ユニット（６５２）は現在（部分的に再構築）ピクチャ（６５６）から抽出された周辺の再構築された情報によって、再構成中のブロックの大きさ及び形状と同様であるブロックを生成する。ある状況で、アグリゲーター（６５５）は各サンプルに基づき、フレーム内予測ユニット（６５２）が生成した予測情報を、スケーラ／逆変換ユニット（６５１）によって提供された出力サンプル情報に追加する。

他の状況で、スケーラ／逆変換ユニット（６５１）の出力サンプルはフレーム間符号化と潜在動き補償ブロックに属してもよい。このような状況で、動き補償予測ユニット（６５３）は参照ピクチャメモリ（６５７）にアクセスすることで、予測のためのサンプルを抽出できる。該ブロックに属する符号（６２１）に基づいて抽出されたサンプルに対して動き補償を行った後、これらのサンプルは、アグリゲーター（６５５）によって、スケーラ／逆変換ユニットの出力に追加される（この場合、残差サンプルまたは残差信号と呼ばれる）ことで、出力サンプル情報を生成する。動き補償予測ユニットが予測サンプルを抽出する参照ピクチャメモリ内のアドレスは、動きベクトルによって制御でき、動きベクトルは符号（６２１）の形式で、動き補償予測ユニットに用いられ、符号（６２１）は、例えばＸ、Ｙ及び参照ピクチャ成分を有してもよい。動き補償はさらに、サブサンプルの正確な動きベクトルを使用する際、参照ピクチャメモリから抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。

アグリゲーター（６５５）の出力サンプルは、ループフィルタユニット（６５６）において、各種のループフィルタリング技術を利用できる。ビデオ圧縮技術はループ内フィルタ技術を含み、ループ内フィルタ技術は、符号化されたビデオシーケンスに含まれるとともに、パーサー（６２０）からの符号（６２１）として、ループフィルタユニット（６５６）のパラメータ制御に使用されるが、ビデオ圧縮技術は、符号化されたピクチャまたは符号化されたビデオシーケンスの（復号の順序で）の前の部分を復号する期間で取得されたメタ情報、及び前に再構築されループフィルタリングを経るサンプル値に応答できる。

ループフィルタユニット（６５６）の出力は、サンプルストリームであってもよく、該サンプルストリームは表示機器（５１２）に出力され、参照ピクチャメモリ（６５６）に記憶されることで、後のフレーム間ピクチャ予測に用いられる。

完全に再構成されると、ある符号化されたピクチャは参照ピクチャとして、後の予測に用いることができる。符号化されたピクチャが完全に再構成され、符号化されたピクチャ（例えばパーサー（６２０）を介して）が参照ピクチャとして認識されると、現在ピクチャバッファ（６５６）は参照ピクチャバッファ（６５７）の一部になり、その後の符号化されたピクチャを再構成する前に、新たな現在ピクチャバッファを改めて割り当てる。

ビデオ復号器（５１０）は、例えばＩＴＵ－Ｔ Ｈ.２６５提案書の基準における所定ビデオ圧縮技術に基づき、復号操作を実行することができる。符号化されたビデオシーケンスは、ビデオ圧縮技術または基準の文法、及びビデオ圧縮技術または基準に記録されたコンフィグファイルという両者に従うという意味で、符号化されたビデオシーケンスは使用中のビデオ圧縮技術または基準が指定する文法に合わせる。準拠性について、符号化されたビデオシーケンスの複雑度は、ビデオ圧縮技術または基準のレベルによって限定される範囲内にあるように要求する。ある状況で、レベルは最大ピクチャの大きさ、最大フレームレート、最大再構築サンプリングレート（例えば、百万サンプル／秒で測定する）、最大参照ピクチャの大きさを制限する。ある状況で、レベルによる配置される制限は、仮想参照復号器（ＨＲＤ）の仕様、及び符号化されたビデオシーケンスにおいてシグナリングされたＨＲＤバッファの管理のメタデータを介してさらに限定される。

１つの実施例において、受信器（６１０）は追加（冗長）データ及び符号化されたビデオを受信できる。追加データは（１つ又は複数の）符号化されたビデオシーケンスの一部として含まれる。追加データはビデオ復号器（５１０）によって利用されることで、データを適切に復号し、及び／またはオリジナルビデオデータをより正確に再構築することができる。追加データは、例えば時間、空間または信号対雑音比（ＳＮＲ）強化層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形式であってもよい。

図７は、本開示内容による１つの実施例のビデオ符号器（５０３）の機能ブロック図である。

符号器（５０３）は、ビデオソース（５０１）（符号器の一部ではない）からビデオサンプルを受信し、該ビデオソースは符号器（５０３）によって符号化される（１つ又は複数の）ビデオ画像をキャプチャする。

ビデオソース（５０１）は、ビデオ符号器（５０３）によって符号化される、デジタルビデオサンプルストリーム形式であるソースビデオシーケンスを提供し、該デジタルビデオサンプルストリームは、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ.６０１ ＹＣｒＣＢ、ＲＧＢ……）、及び任意の適切なサンプリング構成（例えば、ＹＣｒＣｂ４：２：０、ＹＣｒＣｂ４：４：４）を有してもよい。メディアサービスシステムにおいて、ビデオソース（５０１）は前に準備されたビデオを記憶するための記憶機器であってもよい。ビデオ会議システムにおいて、ビデオソース（５０３）はビデオシーケンスとして、ローカル画像情報をキャプチャするための撮影装置であってもよい。ビデオデータは、順序に応じて見る際、動きが付与された複数の単独のピクチャとして提供されてもよい。ピクチャそのものは、空間画素アレイとして組織され、使用中のサンプリング構成、色空間などに依存し、各画素には１つ又は複数のサンプルが含まれてもよい。画素とサンプルとの間の関係は、当業者にとって容易に理解できる。以下の記載はサンプルに着目する。

１つの実施例に基づき、ビデオ符号器（５０３）は、リアルタイムまたはアプリケーションの必要な任意の他の時間の制約で、ソースビデオシーケンスのピクチャを符号化するとともに、符号化されたビデオシーケンス（７４３）として圧縮する。適切的な符号化速度で実行することは、コントローラ（７５０）の１つの機能である。コントローラは以下に記載の他の機能ユニットを制御するとともに、機能で他の機能ユニットに連結される。簡潔のために、該連結を図示していない。コントローラにより配置されるパラメータは、レート制御に関するパラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値......）、ピクチャの大きさ、ピクチャグループ（ＧＯＰ）の配置、最大動きベクトルの検索範囲などを含んでもよい。コントローラ（７５０）は他の適切な機能を有するように配置されてもよく、これらの機能は、あるシステム設計に対して最適化したビデオ符号器（５０３）に属する。

ビデオ符号器は、当業者が容易に「符号化ループ」として認識できる方式で操作する。非常に簡単な記載として、符号化ループは、符号器（７３０）の符号化部分（「ソース符号器」と呼ばれる）（符号化対象となる入力ピクチャと（１つ又は複数の）参照ピクチャに基づき符号を構築することを担当する）、符号器（５０３）に埋め込まれる（ローカル）復号器（７３３）を有し、該復号器（７３３）は符号を再構成することで、サンプルデータを構築し、（リモート）復号器も構築される（なぜならば、符号と符号化されたビデオビットストリームとの間の圧縮は、開示されたテーマで考慮されるビデオ圧縮技術において可逆であるからだ）。再構成されたサンプルストリームを参照ピクチャメモリ（７３４）に入力する。符号ストリームの復号のため、復号器位置（ロカールまたはリモート）と関係がないビット正確結果を発生させるから、参照ピクチャバッファのコンテンツはローカル符号器とリモート符号器との間にもビット正確である。言い換えれば、符号器の予測部分から「見られる」参照ピクチャサンプルは、復号器が復号期間で予測を利用しようとする際に「見られる」サンプル値と完全に同様である。参照ピクチャの同期性のような基本原理（及び、例えばチャンネル誤差から、同期性を維持できない場合に発生するドリフト）は当業者にとって公知である。

「ローカル」復号器（７３３）の操作は、以上図６を結合し詳しく記載した「リモート」復号器（５１０）の操作と同様であってもよい。ただし、さらに図７を簡単に参照し、符号は利用可能で、且つエントロピー符号器（７４５）とパーサー（６２０）とがロスレスに符号を符号化されたビデオシーケンスに符号化／復号する場合、チャンネル（６１２）、受信器（６１０）、バッファ（６１５）及びパーサー（６２０）が含まれる復号器（５１０）のエントロピー復号部分は、ローカル復号器（７３３）で完全に実現できないおそれがある。

この場合、復号器に存在する解析／エントロピー復号以外の任意の復号器技術も、必然として、基本的に同じ機能という形式で、対応する符号器に存在する。符号器技術と全面的に記載された復号器技術とは反対するから、符号器技術に対する記載を簡略化し得る。ある領域のみに必要で、より詳しい記載は以下で提供される。

ソース符号器（７３０）の操作の一部として、ソース符号器（７３０）は動き補償予測符号化を実行し、動き補償予測符号化はビデオシーケンスからの、「参照フレーム」として指定される１つ又は複数の符号化されたフレームを参照することで、入力フレームに対して予測性符号化を行う。該方式で、符号化エンジン（７３２）は入力フレームの画素ブロックと、入力フレームの（１つ又は複数の）予測参照として選択される（１つ又は複数の）参照フレームの画素ブロックとの間の差に対して符号化を行う。

ローカルビデオ復号器（７３３）は、ソース符号器（７３０）によって構築された符号に基づき、参照フレームとして指定できるフレームの符号化されたビデオデータを復号することができる。符号化エンジン（７３２）の操作は好ましくは非可逆処理である。符号化されたビデオデータがビデオ復号器（図６において図示せず）で復号できると、再構築されたビデオシーケンスは、一般的にある程度誤差を有するソースビデオシーケンスのコピーであってもよい。ローカルビデオ復号器（７３３）はビデオ復号器が参照フレームに対して実行する復号処理をコピーするとともに、再構築された参照フレームを参照ピクチャキャッシュ（７３４）に記憶させる。該方式で、ビデオ符号器（５０３）は再構築された参照ピクチャのコピーをローカル的に記憶し、該コピーは、リモートビデオ復号器によって取得される再構築の参照ピクチャと、共通のコンテンツを有する（伝送誤差がない）。

予測器（７３５）は、符号化エンジン（７３２）に対して予測検索を実行することができる。即ち、符号化対象となる新たなフレームに対して、予測器（７３５）は参照ピクチャメモリ（７３４）から新たなピクチャとしての適切な予測参照のサンプルデータ（候補参照画素ブロックとして）、またはあるメタデータ例えば参照ピクチャ動きベクトル、ブロック形状などを検索する。予測器（７３５）はサンプルブロックに基づき、画素ブロックごとに操作することで、適切な予測参照を見つけることができる。ある状況で、予測器（７３５）によって取得された検索結果に基づき決定されるように、入力ピクチャは参照ピクチャメモリ（７３４）に記憶された複数の参照ピクチャから取得される予測参照を有してもよい。

コントローラ（７５０）は、例えばビデオデータを符号化するためのパラメータとサブグループパラメータを配置することを含むビデオ符号器（７３０）の符号化操作を管理する。

エントロピー符号器（７４５）において、以上に言及された全ての機能ユニットの出力に対してエントロピー符号化を行う。エントロピー符号器は当業者の既知技術に応じて、例えばハフマン符号、可変長符号、算術符号などによって、符号に対して可逆圧縮を行うことで、各機能ユニットから生成された符号を、符号化されたビデオシーケンスに変換する。

伝送器（７４０）は、エントロピー符号器（７４５）によって構築された（１つ又は複数の）符号化されたビデオシーケンスをバッファリングすることで、通信チャンネル（７６０）を介して伝送するように準備し、該通信チャンネル（７６０）は符号化されたビデオデータを記憶するための記憶機器へのハードウェア／ソフトウェアリンクであってもよい。伝送器（７４０）はビデオ符号器（７３０）からの符号化されたビデオデータと、伝送対象となる他のデータ、例えば符号化されたオーディオデータ及び／または補助データストリーム（ソースを図示せず）とをマージする。

コントローラ（７５０）は符号器（５０３）の操作を管理する。符号化期間に、コントローラ（７５０）は各符号化されたピクチャに特定の符号化されたピクチャタイプを割り当て、該特定の符号化されたピクチャタイプは、相応的なピクチャに適用される符号化技術に影響するおそれがある。例えば、一般的に、ピクチャは以下のフレームタイプのうちの１つとして割り当てられる。

フレーム内ピクチャ（Ｉピクチャ）であって、シーケンスにおけるいずれの他のピクチャも予測のソースとしていない場合に、符号化及び復号されるピクチャであってもよい。例えば独立復号器リフレッシュピクチャが含まれる異なるタイプのフレーム内ピクチャを許容するビデオコーデックもある。当業者は、Ｉピクチャの変体及びその相応的な応用、特徴を理解できる。

予測性ピクチャ（Ｐピクチャ）であって、多くても１つの動きベクトル及び参照インデックスによって各ブロックのサンプル値を予測する場合、フレーム内予測またはフレーム間予測を利用して符号化及び復号を行うピクチャであってもよい。

双方向予測性ピクチャ（Ｂピクチャ）であって、多くても２つの動きベクトル及び参照インデックスによって、各ブロックのサンプル値を予測する場合、フレーム内予測またはフレーム間予測を利用して符号化及び復号を行うピクチャであってもよい。類似するように、複数の予測性ピクチャは、２つより多い参照ピクチャと関するメタデータを、単一のブロックの再構築に使用できる。

ソースピクチャは一般的に、空間で複数のサンプルブロック（例えば、４×４、８×８、４×８または１６×１６個のサンプルのブロック）に細分できるとともに、ブロックごとに符号化を行う。これらのブロックは、他の（符号化された）ブロックを参照し、予測性的に符号化を行って、他のブロックはブロックの相応的なピクチャに適用される符号化割当によって決定される。例えば、Ｉピクチャのブロックに対して非予測符号化を行うか、またはＩピクチャのブロックは、同一のピクチャの符号化されたブロックを参照して、予測性符号化（空間予測またはフレーム内予測）を行う。Ｐピクチャの画素ブロックは、前に符号化された１つの参照ピクチャを参照し、空間予測または時間予測を介して予測性的に符号化を行ってもよい。Ｂピクチャのブロックは、前に符号化された１つまたは２つの参照ピクチャを参照し、空間予測または時間予測を介して予測性的に符号化を行ってもよい。

ビデオ符号器（５０３）は例えばＩＴＵ－Ｔ Ｈ.２６５提案書の所定のビデオ符号化技術または基準に基づき符号化操作を実行することができる。その操作において、ビデオ符号器（５０３）は、入力ビデオシーケンスにおける時間と空間冗長を利用した予測性符号化操作を含む各種の圧縮操作を実行できる。従って、符号化されたビデオデータは、使用のビデオ符号化技術または基準が指定する文法に合う。

１つの実施例において、伝送器（７４０）は追加データ及び符号化されたビデオを伝送することができる。ソース符号器（７３０）は符号化されたビデオシーケンスの一部として、このようなデータを含んでもよい。追加データは、時間／空間／ＳＮＲ強化層、冗長ピクチャ及びスライスのような他の形式の冗長データ、補充強化情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）パラメータセットセグメントなどを含んでもよい。

本開示内容は、フレーム間ピクチャ予測符号化のための動きベクトル予測を認識する若干の方法に関わる。本開示内容に提出された技術は、マージモード、または差分符号化を有する動きベクトル予測という両者に適用される。以下において、マージモードを利用して詳しく検討する。さらに、拡張マージモードに中間マージ候補を追加することを提出する。本開示内容に提出された方法は、マージ概念を利用する任意のビデオ符号化方法に拡張できる。スキップモードはマージモードを利用して動き情報を導出するから、本開示内容における技術はスキップモードにも適用される。

図８は、中間候補によってマージ候補リストを生成するプロセス８００の例示のフローチャートである。いくつかの実現形態において、図８の１つ又は複数の処理ブロックは符号器５０３によって実行される。いくつかの実現形態において、図８の１つ又は複数の処理ブロックは、符号器５０３と分割されるか、または符号器５０３が含まれた他の機器または１組の機器、例えば復号器５１０によって実行される。

図８に示すように、プロセス８００は第１候補ブロックを決定することを含み、該第１候補ブロックは現在ブロックのトップエッジの上方にある垂直位置と、現在ブロックの水平中心に隣接する水平位置とを有する（ブロック８１０）。

図８にさらに示すように、プロセス８００は第２候補ブロックを決定することを含み、該第２候補ブロックは現在ブロックの左エッジの左側にある水平位置と、現在ブロックの垂直中心に隣接する垂直位置とを有する（ブロック８２０）。

図８にさらに示すように、プロセス８００は、第１候補ブロックと第２候補ブロックを利用して、マージ候補リストを生成することで、ビデオシーケンスに対する符号化または復号を許可する（ブロック８３０）ことを含む。

図８はプロセス８００の例示ブロックを示すが、いくつかの実現形態において、図８に示したこれらのブロックに比べると、プロセス８００は、追加のブロック、より少ないブロック、異なるブロックまたは別に配置されるブロックを含む。追加または任意選択で、プロセス８００の２つ以上のブロックは並行実行されてもよい。

図９は、現在ブロックの中間候補をマージ候補リストに追加することを示す図面である。例えば、マージ候補リストの生成期間に、現在ブロック（９００）の中間候補を、マージ候補リストに含ませる。図面に示すように、マージ候補リストの生成期間に、現在ブロック（９００）のトップエッジに対して中間にある候補（９０１）、（９０２）及び（９０３）を、マージ候補リストに含ませる。追加または任意選択で、マージ候補リストの生成期間に、現在ブロック（９００）の左エッジに対して中間にある候補（９０４）、（９０５）及び（９０６）をマージ候補リストに含ませる。

例示として、ＷとＨとはそれぞれ現在ブロック（９００）の幅と高さを示し、現在ブロックの左上の画素の座標を（０,０）にして、Ｇはグリッドの大きさを示し、隣接していない候補は、各カテゴリにおいて、水平及び／または垂直に分けられたＧ個の画素になるように配置される。

現在ブロック（８００）のトップエッジの上方にある第ｎ（ｎはゼロに初期化され、ｎがゼロである場合、トップエッジに最も近接する中間候補である）個の中間候補（９０１）、（９０２）及び（９０３）の左下の画素の座標は以下のように示される。

現在ブロックの左エッジの左側にある第ｎ（ｎはゼロに初期化され、ｎがゼロである場合、左エッジに最も近接する中間候補である）個の中間候補（９０４）、（９０５）及び（９０６）の右上の画素の座標は以下のように示される。

マージ候補リストの生成期間に、これらの中間候補はマージ候補リストの前に含まれる。１つの実施例において、候補をマージ候補リストに含ませる場合、順序はＦ（ｉ,ｊ）、Ｇ（ｉ,ｊ）、Ａ（ｉ,ｊ）、Ｂ（ｉ,ｊ）、Ｃ（ｉ,ｊ）、Ｄ（ｉ,ｊ）、Ｅ（ｉ,ｊ）になる。代用案として、これらの中間候補はマージ候補リストの末尾に含まれてもよい。非制限的例示として、マージ候補リストを生成する場合、順序はＡ（ｉ,ｊ）、Ｂ（ｉ,ｊ）、Ｃ（ｉ,ｊ）、Ｄ（ｉ,ｊ）、Ｅ（ｉ,ｊ）、Ｆ（ｉ,ｊ）、Ｇ（ｉ,ｊ）になってもよい。

他の実施例において、２つの最も近接する隣接中間候補を追加しない。現在ブロック（９００）に隣接しない中間候補をマージ候補リストに挿入する。

図１０は、現在ブロック中間候補をマージ候補リストに追加することを示す図面である。図１０に示すように、マージ候補リストの生成期間に、上方と左上にある中間候補を、マージ候補リストに含ませる。左上と左側にある中間候補もマージ候補リストに含ませる。例えば、図１０に示すように、マージ候補リストの生成期間に、現在ブロック（１０００）のトップエッジに対して中間にある候補（１００１）、（１００２）及び（１００３）をマージ候補リストに含ませる。また、図１０に示すように、マージ候補リストの生成期間に、現在ブロック（１０００）の左エッジに対して中間にある候補（１００４）、（１００５）及び（１００６）を、マージ候補リストに含ませる。

例えば、ＷとＨとはそれぞれ現在ブロック（１０００）の幅と高さを示し、現在ブロックの左上の画素の座標を（０,０）にして、Ｇはグリッドの大きさを示し、隣接しない候補は各カテゴリにおいて、水平及び／または垂直に分けられたＧ個の画素になるように配置される。

現在ブロック（１０００）のトップエッジの上方にある第ｎ（ｎはゼロに初期化され、ｎがゼロである場合、トップエッジに最も近接する中間候補である）個の中間候補（１００１）、（１００２）及び（１００３）の左下の画素の座標は以下のように示される。

現在ブロックの左エッジの左側にある第ｎ（ｎはゼロに初期化され、ｎがゼロである場合、左エッジに最も近接する中間候補である）個の中間候補（１００４）、（１００５）及び（１００６）の右上の画素の座標は以下のように示される。

中間候補はマージ候補リストの前に含まれる。非制限的例示として、マージ候補リストを生成する場合、順序はＦ（ｉ,ｊ）、Ｇ（ｉ,ｊ）、Ａ（ｉ,ｊ）、Ｂ（ｉ,ｊ）、Ｃ（ｉ,ｊ）、Ｄ（ｉ,ｊ）、Ｅ（ｉ,ｊ）になる。代用案として、これらの中間候補はマージ候補リストの末尾に含まれてもよい。例えば、非制限的例示として、順序はＡ（ｉ,ｊ）、Ｂ（ｉ,ｊ）、Ｃ（ｉ,ｊ）、Ｄ（ｉ,ｊ）、Ｅ（ｉ,ｊ）、Ｆ（ｉ,ｊ）、Ｇ（ｉ,ｊ）になってもよい。

他の実施例において、２つの最も近接する隣接中間候補を追加しない。現在ブロックに隣接しない中間候補をマージ候補リストに挿入する。

他の実施例において、マージ候補リストから、隣接しない上方候補または隣接しない左候補を除去してもよい。上方領域の中間候補を追加する場合、上方にある隣接しない候補を置き換えてもよい。左領域の中間候補を追加する場合、左にある隣接しない候補を置き換えてもよい。

他の実施例において、右上にある隣接しない候補または左下にある隣接しない候補を、中間候補に置き換えてもよい。

参照左位置及び右位置の中間点を算出することで、トップまたは左側の中間候補の位置を決定する。このような中間点を取得した後、中間候補のための参照候補位置に対する選択は、中間点の左手側または右手側にあってもよい。例えば、図１１に示すように、Ａ０（Ｎ／２）とＡ０（Ｎ／２+１）とは、現在ブロックのトップにある中間点に隣接する２つの隣接ブロックである。この２つの隣接ブロックのうちのいずれかは、中間候補とみなされてもよい。類似するように、中間候補は、左側中間点の真上または真下から選択されてもよい。

図１１は、現在ブロック及び空間マージ候補としての周囲にある隣接サブブロックを示す。Ａ００：現在ブロックの左上サブブロックであり、Ａ０ｎ：現在ブロックの上方サブブロック（ｎ=１~（Ｎ+Ｍ））であり、Ｌｍ０：現在ブロックの左サブブロック（ｍ=１~（Ｍ+Ｎ））である。

前記技術はコンピュータ読み取り可能な命令によってコンピュータソフトウェアとして実現され、物理的に１つ又は複数のコンピュータ読み取り可能な媒体に記憶される。例えば、図１２は開示のテーマを実現するためのいくつかの実施形態に適用されるコンピュータシステム１２００を示す。

コンピュータソフトウェアは任意の適切なマシンコードまたはコンピュータ言語によって符号化を行って、マシンコードまたはコンピュータ言語は編集、コンパイル、リンクなどのメカニズムを介して命令が含まれるコードを構築し、該命令は１つ又は複数のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、または解釈、マイクロコード実行などによって実行される。

前記命令は各種タイプのコンピュータまたはその部材で実行でき、例えばパーソナルコンピュータ、タブレット、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む。

図１２に示すコンピュータシステム（１２００）の部材は、本開示内容を実現するための実施例のコンピュータソフトウェアの使用範囲または機能に対して限定せず、本質に例示的である。部材の配置も、コンピュータシステム（１２００）の例示性の実施例で示した部材におけるいずれかの部材、またはその組み合わせに関する依存性または要求を有するように解釈されるべきではない。

コンピュータシステム（１２００）はいくつかのヒューマンマシンインターフェイス入力機器を含んでもよい。このようなヒューマンマシンインターフェイス入力機器は、人類ユーザの、例えば触覚入力（例えば：キーストローク、スライド、データグローブ移動）、オーディオ入力（例えば：音声、たたき）、視覚入力（例えば：姿勢）、嗅覚入力（図示せず）による１つ以上の入力に応答できる。マンマシンインタフェース機器はさらに、必ずしも人類の意識的な入力に直接的に関していない、ある媒体例えば、オーディオ（例えば：音声、音楽、環境音）、画像（例えば：スキャン画像、静態画像撮影装置から取得された写真画像）、ビデオ（例えば２次元ビデオ、立体ビデオが含まれる３次元ビデオ）をキャプチャできる。

入力ヒューマンマシンインターフェイス機器は、キーボード１２０１、マウス１２０２、タッチパッド１２０３、タッチパネル１２１０、データグローブ１２０４、ジョイスティック１２０５、マイク１２０６、スキャナ１２０７、撮影装置１２０８のうちの１つ又は複数を有してもよい（記載の各々のうちの、１つだけ）。

コンピュータシステム（１２００）はさらにマンマシンインタフェース出力機器を有してもよい。このようなマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い／味を介して１つ又は複数の人類ユーザの感覚を刺激できる。このようなマンマシンインタフェース出力機器は触覚出力機器（例えば、タッチパネル（１２１０）、データグローブ１２０４またはジョイスティック（１２０５）による触覚フィードバック、但し入力機器として用いられない触覚フィードバック機器も存在する）、オーディオ出力機器（例えば、スピーカー（１２０９）、ヘッドフォン（図示せず））、視覚出力機器（例えば、スクリーン（１２１０）、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、各スクリーンはタッチパネル入力能力、触覚フィードバック能力を有してもよく、有してなくてもよく、そのうちのいくつかは、立体画像出力のような手段で、２次元の視覚を出力または３次元以上の出力を行い、バーチャルリアリティ眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）がある）、プリンター（図示せず）を含む。

コンピュータシステム（１２００）はさらに人類がアクセスし得る記憶機器及びその関連する媒体を有してもよく、例えば、ＣＤ／ＤＶＤなどの媒体（１２２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１２２０）を含む光学媒体、サムドライブ（１２２２）、取り外し可能なハードドライブまたはソリッドステートドライブ（１２２３）、磁気テープとフロッピーディスク（図示せず）のような伝統の磁気媒体、専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づく機器、例えばドングル（図示せず）などを含む。

当業者は、現在開示のテーマを結合して、使用される用語「コンピュータ読み取り可能な媒体」には伝送媒体、搬送波または他の瞬間信号が含まれないことを理解できる。

コンピュータシステム（１２００）は、さらに１つ又は複数の通信ネットワークのインタフェースを有してもよい。ネットワークは、例えば無線、有線、光学であってもよい。ネットワークはさらに、ローカル、広域、都市用、車両用、工業用、リアルタイム、遅延耐性ネットワークなどであってもよい。ネットワークの例示はイーサネットのようなローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどが含まれたセルラーネットワーク、有線テレビ、衛星テレビ及び地上波テレビが含まれるテレビ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓが含まれる車両及び工業ネットワークなどを含む。あるネットワークは一般的に、ある汎用データポートまたは周辺バス（１２４９）（例えば、コンピュータシステム（１２００）のＵＳＢポート）に連結される外部ネットワークインタフェースアダプタを必要とし、他のネットワークは一般的に、以下に記載のシステムバス（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）に連結されることで、コンピュータシステム（１２００）のコアに集積される。これらのネットワークのうちのいずれかのネットワークを介して、コンピュータシステム（１２００）は他のエンティティと通信できる。このような通信は一方向で受信だけ（例えば、放送テレビ）、一方向で送信だけ（例えば、あるＣＡＮｂｕｓ機器へのＣＡＮｂｕｓ)、または双方向である（例えば、ローカルエリアまたは広域デジタルネットワークを介して他のコンピュータシステムへ）。以上に記載のこれらのネットワーク及びネットワークインタフェースのうちの各ネットワーク及びネットワークインタフェースに、特定のプロトコル及びプロトコルスタックを利用できる。

前記ヒューマンマシンインターフェイス機器、人類がアクセスし得る記憶機器及びネットワークインタフェースは、コンピュータシステム１２００のコア１２４０に連結できる。

コア（１２４０）は１つ又は複数の中央処理ユニット（ＣＰＵ）（１２４１）、グラフィック処理ユニット（ＧＰＵ）（１２４２）、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）（１２４３）という形式の専門プログラム可能な処理ユニット、あるタスクのためのハードウェアアクセラレータ（１２４４）などを含む。これらの機器は、読み取り専用メモリ（ＲＯＭ）（１２４５）、ランダムアクセスメモリ（１２４６）、内部のユーザがアクセスできないハードディスクドライブ、ＳＳＤなどのような内部大容量記憶装置（１２４７）とともに、システムバス（１２４８）を介して接続される。あるコンピュータシステムにおいて、１つ又は複数の物理プラグという形式で、システムバス（１２４８）にアクセスすることで、別のＣＰＵ、ＧＰＵなどによって拡張できる。周囲機器は直接的または周辺バス（１２４９）を介してコアのシステムバス（１２４８）に連結される。周辺バスのアーキテクチャはＰＣＩ、ＵＳＢなどを含む。

ＣＰＵ（１２４１）、ＧＰＵ（１２４２）、ＦＰＧＡ（１２４３）及びアクセラレータ（１２４４）はいくつかの命令を実行でき、これらの命令を組み合わせて、以上に言及されたコンピュータコードを構成する。該コンピュータコードはＲＯＭ（１２４５）またはＲＡＭ（１２４６）に記憶される。移行データはＲＡＭ（１２４６）に記憶され、永久データは、例えば内部大容量記憶装置（１２４７）に記憶されてもよい。キャッシュメモリによってメモリ機器のうちのいずれかのメモリ機器の快速記憶及び検索を実現でき、該キャッシュメモリは１つ又は複数のＣＰＵ（１２４１）、ＧＰＵ（１２４２）、大容量記憶装置（１２４７）、ＲＯＭ（１２４５）、ＲＡＭ（１２４６）などに密接に関連できる。

コンピュータ読み取り可能な媒体は、コンピュータが実現する各種操作を実行するためのコンピュータコードを有する。媒体とコンピュータコードとは、本開示内容の目的のために、専門に設計され及び構築された媒体とコンピュータコードであってもよいし、またはコンピュータソフトウェアの当業者にとって、公知且つ利用可能なタイプであってもよい。

限定ではなく例示として、アーキテクチャ（１２００）を有するコンピュータシステム、特にコア（１２４０）は、（１つ又は複数）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形コンピュータ読み取り可能な媒体に体現されるソフトウェアを実行することで、機能を提供できる。このようなコンピュータ読み取り可能な媒体は、以上に紹介された、ユーザがアクセスし得る大容量記憶装置に関する媒体、及び非一時的なコア（１２４０）を有する、コア内部大容量記憶装置（１２４７）またはＲＯＭ（１２４５）のような記憶装置であってもよい。本開示内容を実現するための各種実施例のソフトウェアはこのような機器に記憶され、コア（１２４０）に実行される。特定の需要に応じて、コンピュータ読み取り可能な媒体には１つ又は複数の記憶機器またはチップが含まれてもよい。ソフトウェアはコア（１２４０）、特にそのうちのプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどが含まれた）に、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行させ、ＲＡＭ（１２４６）に記憶されるデータ構成を限定すること、及びソフトウェアにより限定されたプロセスに基づき、このようなデータ構成を修正することが含まれる。また或いは代わりとして、コンピュータシステムは、論理的な固定接続または他の方式で回路（例えば、アクセラレータ（１２４４））に体現されることで機能を提供し、該回路は、ソフトウェアの代わりとして、またはソフトウェアとともに操作することで、本明細書に記載の特定プロセスまたは特定プロセスの特定部分を実行できる。適切な場合、言及のソフトウェアにはロジックが含まれ、逆に、言及ロジックにはソフトウェアが含まれてもよい。適切な場合、言及のコンピュータ読み取り可能な媒体には、実行するためのソフトウェアが記憶される回路（例えば、集積回路（ＩＣ））、実行するためのロジックを体現する回路、或いは前記両者が含まれてもよい。本開示内容にはハードウェアとソフトウェアとの任意の適切な組み合わせが含まれる。

本開示内容には若干の例示性の実施例が記載されているが、本開示内容の範囲内にある変更、置き換え及びいろんな置換等価物が存在する。従って、本明細書には明らかに記載されていないが、本開示内容の原理を体現し本開示内容の精神及び範囲内に属する多いシステム及び方法は、当業者にとって想到し得る。

頭字語：
高効率ビデオ符号化（ＨＥＶＣ）
符号化ユニット（ＣＵ）
予測ユニット（ＰＵ）
共同探索モデル７（ＪＥＭ７）
共同ビデオ専門家チーム（ＪＶＥＴ）
代替時間動きベクトル予測（ＡＴＭＶＰ）
空間時間動きベクトル予測（ＳＴＭＶＰ）
予測（Ｐ）スライス
双方向予測（Ｂ）スライス
レート歪み（ＲＤ）
時間動きベクトル予測（ＴＭＶＰ）
コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）
多機能ビデオ符号化（ＶＶＣ）
補助強化情報（ＳＥＩ）

Claims (16)

1. 機器によって実行される、ビデオシーケンスを符号化または復号するためのマージ候補リストを生成する方法であって、
   第１候補ブロックを決定するステップであって、前記第１候補ブロックは、垂直方向で現在ブロックのトップエッジの上方にある垂直位置と、水平方向で前記現在ブロックの中心に位置する水平位置とを有し、前記第１候補ブロックは前記現在ブロックに隣接する、ステップと、
   第２候補ブロックを決定するステップであって、前記第２候補ブロックは、水平方向で前記現在ブロックの左エッジの左側にある水平位置と、垂直方向で前記現在ブロックの中心に位置する垂直位置とを有し、前記第２候補ブロックは前記現在ブロックに隣接する、ステップと、
   第３候補ブロックを決定するステップであって、前記第３候補ブロックは、垂直方向で前記現在ブロックのトップエッジの上方にあるとともに、前記第１候補ブロックの上方にある垂直位置と、水平方向で前記現在ブロックの中心の左側にある水平位置とを有し、前記第３候補ブロックの左下の画素の座標は次式で与えられる、ステップと、
   

   

   第４候補ブロックを決定するステップであって、前記第４候補ブロックは、水平方向で前記第２候補ブロックの左エッジの左側にある水平位置と、垂直方向で前記現在ブロックの中心の上方にある垂直位置とを有し、前記第４候補ブロックの右上の画素の座標は次式で与えられる、ステップと、
   

   

   前記第１候補ブロック、前記第２候補ブロック、前記第３候補ブロック、及び前記第４候補ブロックを利用して、前記マージ候補リストを生成することで、前記ビデオシーケンスに対する符号化または復号を許可するステップと、
   を含み、
   Ｗ及びＨは、それぞれ前記現在ブロックの幅及び高さであり、ｎは前記第３候補ブロックがｎ番目の第３候補ブロックであることを示し、ｎは１以上の整数であり、Ｇは前記第３候補ブロック及び前記第４候補ブロックのグリッドの大きさを示す、方法。
2. 前記現在ブロックの幅と前記第１候補ブロックのグリッドの大きさを決定するステップと、
   前記現在ブロックの幅と前記第１候補ブロックのグリッドの大きさに基づき、前記第１候補ブロックを決定するステップと、
   をさらに含む請求項１に記載の方法。
3. 前記現在ブロックの高さと前記第１候補ブロックのグリッドの大きさを決定するステップと、
   前記現在ブロックの高さと前記第１候補ブロックのグリッドの大きさに基づき、前記第１候補ブロックを決定するステップと、
   をさらに含む請求項１に記載の方法。
4. オフセットサーチ範囲を決定するステップと、
   前記オフセットサーチ範囲に基づき、前記現在ブロックのトップエッジの上方にある候補ブロックセットを決定するステップと、
   前記候補ブロックセットを利用して、前記マージ候補リストを生成するステップと、
   をさらに含む請求項１乃至３のいずれか一項に記載の方法。
5. 水平方向で前記現在ブロックの中心に位置する水平位置は、前記現在ブロックの幅が候補ブロックの幅のＮ倍と等しいとき、Ｎ／２＋１であり、Ｎは整数である、請求項１に記載の方法。
6. 水平方向で前記現在ブロックの中心に位置する水平位置は、前記現在ブロックの幅が候補ブロックの幅のＮ倍と等しいとき、Ｎ／２であり、Ｎは整数である、請求項１に記載の方法。
7. 前記第１候補ブロックを決定することに基づき、参照候補ブロックを置き換えるステップと、
   前記参照候補ブロックを置き換えることに基づき、前記マージ候補リストを生成するステップと、
   をさらに含む請求項１乃至６のいずれか一項に記載の方法。
8. インデックスをシグナリングするステップと、
   インデックスをシグナリングすることに基づき、前記マージ候補リストから候補ブロックの動きベクトルを決定するステップと、
   前記動きベクトルに基づき前記ビデオシーケンスに対して符号化または復号を行うステップと、
   をさらに含む請求項１乃至７のいずれか一項に記載の方法。
9. ビデオシーケンスを符号化または復号するためのマージ候補リストを生成するための機器であって、前記機器は、
   プログラムコードを記憶するように配置される少なくとも１つのメモリと、
   前記プログラムコードを読み取るとともに、前記プログラムコードの指示に応じて動作するように配置される少なくとも１つのプロセッサと、を備え、
   前記プログラムコードは、
   前記少なくとも１つのプロセッサに第１候補ブロックを決定させるように配置される第１決定コードであって、前記第１候補ブロックは、垂直方向で現在ブロックのトップエッジの上方にある垂直位置と、水平方向で前記現在ブロックの中心に位置する水平位置とを有し、前記第１候補ブロックは前記現在ブロックに隣接する、第１決定コードと、
   前記少なくとも１つのプロセッサに第２候補ブロックを決定させるように配置される第２決定コードであって、前記第２候補ブロックは、水平方向で前記現在ブロックの左エッジの左側にある水平位置と、垂直方向で前記現在ブロックの中心に位置する垂直位置とを有し、前記第２候補ブロックは前記現在ブロックに隣接する、第２決定コードと、
   前記少なくとも１つのプロセッサに、第３候補ブロックを決定させるように配置される第４決定コードであって、前記第３候補ブロックは、垂直方向で前記現在ブロックのトップエッジの上方にあるとともに、前記第１候補ブロックの上方にある垂直位置と、水平方向で前記現在ブロックの中心の左側にある水平位置とを有し、前記第３候補ブロックの左下の画素の座標は次式で与えられる、第４決定コードと、
   

   

   第４候補ブロックを決定させるように配置される第５決定コードであって、前記第４候補ブロックは、水平方向で前記第２候補ブロックの左エッジの左側にある水平位置と、垂直方向で前記現在ブロックの中心の上方にある垂直位置とを有し、前記第４候補ブロックの右上の画素の座標は次式で与えられる、第５決定コードと、
   

   

   前記少なくとも１つのプロセッサに、前記第１候補ブロックと前記第２候補ブロックを利用して、前記マージ候補リストを生成させることで、前記ビデオシーケンスに対する符号化または復号を許可するように配置される、生成コードと、
   を有すし、
   Ｗ及びＨは、それぞれ前記現在ブロックの幅及び高さであり、ｎは前記第３候補ブロックがｎ番目の第３候補ブロックであることを示し、ｎは１以上の整数であり、Ｇは前記第３候補ブロック及び前記第４候補ブロックのグリッドの大きさを示す、機器。
10. 前記プログラムコードは、
    前記少なくとも１つのプロセッサに、前記現在ブロックの幅と前記第１候補ブロックのグリッドの大きさを決定させるように配置される第３決定コードをさらに有し、
    前記第１決定コードは、前記少なくとも１つのプロセッサに、前記現在ブロックの幅と前記第１候補ブロックのグリッドの大きさに基づき、前記第１候補ブロックを決定させるように配置される、請求項９に記載の機器。
11. 前記プログラムコードは、
    前記少なくとも１つのプロセッサに、前記現在ブロックの高さと前記第１候補ブロックのグリッドの大きさを決定させるように配置される第３決定コードをさらに有し、
    前記第１決定コードは、前記少なくとも１つのプロセッサに、前記現在ブロックの高さと前記第１候補ブロックのグリッドの大きさに基づき、前記第１候補ブロックを決定させるように配置される、請求項９に記載の機器。
12. 前記プログラムコードは、
    前記少なくとも１つのプロセッサに、オフセットサーチ範囲を決定させるように配置される第６決定コードと、
    前記少なくとも１つのプロセッサに、前記オフセットサーチ範囲に基づき、前記現在ブロックのトップエッジの上方にある候補ブロックセットを決定させるように配置される第７決定コードと、
    をさらに有し、
    前記生成コードは、前記少なくとも１つのプロセッサに、前記候補ブロックセットを利用して前記マージ候補リストを生成させるように配置される、請求項９乃至１１のいずれか一項に記載の機器。
13. 水平方向で前記現在ブロックの中心に位置する水平位置は、前記現在ブロックの幅が候補ブロックの幅のＮ倍と等しいとき、Ｎ／２＋１であり、Ｎは整数である、請求項９に記載の機器。
14. 水平方向で前記現在ブロックの中心に位置する水平位置は、前記現在ブロックの幅が候補ブロックの幅のＮ倍と等しいとき、Ｎ／２であり、Ｎは整数である、請求項９に記載の機器。
15. 前記プログラムコードは、
    前記少なくとも１つのプロセッサに、前記第１候補ブロックを決定することに基づき、参照候補ブロックを置き換えさせるように配置される置換コードを有し、
    前記生成コードは、前記少なくとも１つのプロセッサに、前記参照候補ブロックを置き換えることに基づき、前記マージ候補リストを生成させるように配置される、請求項９乃至１４のいずれか一項に記載の機器。
16. 機器の１つ又は複数のプロセッサに請求項１乃至８のいずれか一項に記載の方法を実行させるコンピュータプログラム。
    

Images