JP6766079B2 - 空間および／または時間動き情報を使用するサブ予測ユニット動きベクトル予測 - Google Patents

Description

[0001] 本出願は、各々の内容全体が参照により本明細書に組み込まれる、２０１５年６月１１日に出願された米国仮出願第６２／１７４，３９３号、および２０１６年２月１５日に出願された米国仮出願第６２／２９５，３２９号の利益を主張する。

[0002] 本開示は、ビデオコーディングに関する。

[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、（ＩＴＵ−Ｔ Ｈ．２６５とも呼ばれる）高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実施する。ビデオデバイスは、そのようなビデオコーディング技法を実施することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（イントラピクチャ）予測および／または時間（インターピクチャ）予測を含む。ブロックベースビデオコーディングでは、ビデオスライス（例えば、ビデオフレームまたはビデオフレームの一部分）が、いくつかの技法ではツリーブロック、コーディングユニット（ＣＵ：coding units）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005] 空間予測または時間予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換され、残差変換係数が生じ得、その残差変換係数は、次いで量子化され得る。最初に２次元アレイで構成される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。

[0006] 概して、本開示の技法は、ビデオデータのブロックのサブブロックのための動き情報（例えば、動きベクトル）の導出に関する。例えば、本技法は、予測ユニット（ＰＵ： prediction units）またはＰＵのサブ予測ユニット（サブＰＵ）のための動き情報を導出するために使用され得る。概して、これらの技法は、隣接サブブロックの動き情報から、サブブロックの各々について動き情報を導出することを含む。隣接サブブロックは、空間的におよび／または時間的に隣接するサブブロックを含み得る。例えば、所与のサブブロックについて、（ビデオエンコーダまたはビデオデコーダなどの）ビデオコーダが、左に隣接するサブブロック、上に隣接するサブブロック、および／または右下に時間的に隣接するサブブロックなど、時間的に隣接するサブブロックの動き情報を組み合わせること（例えば、それらを平均すること）によって動き情報を導出し得る。さらに、サブブロックのためのそのような動き情報の導出は、動き情報予測のための候補リストの特定の候補を使用してシグナリングされ得る。

[0007] 一例では、ビデオデータを復号する方法は、ビデオデータの現在ブロックのための動き予測候補が、動き情報が現在ブロックのサブブロックについて導出されるべきであることを示すと決定することと、決定に応答して、現在ブロックをサブブロックに区分することと、サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出することと、それぞれの導出された動き情報を使用してサブブロックを復号することとを含む。

[0008] 別の例では、ビデオデータを復号するためのデバイスは、ビデオデータを記憶するように構成されるメモリと、ビデオデータの現在ブロックのための動き予測候補は動き情報が現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、決定に応答して、現在ブロックをサブブロックに区分することと、サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出することと、それぞれの導出された動き情報を使用してサブブロックを復号することとをするように構成される、ビデオデコーダとを含む。

[0009] 別の例では、ビデオデータを復号するためのデバイスは、ビデオデータの現在ブロックのための動き予測候補は動き情報が現在ブロックのサブブロックについて導出されるべきであることを示す、と決定するための手段と、決定に応答して、現在ブロックをサブブロックに区分するための手段と、決定に応答して、サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出するための手段と、決定に応答して、それぞれの導出された動き情報を使用してサブブロックを復号するための手段とを含む。

[0010] 別の例では、コンピュータ可読記憶媒体は、実行されたとき、プロセッサに、ビデオデータの現在ブロックのための動き予測候補は動き情報が現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、決定に応答して、現在ブロックをサブブロックに区分することと、サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出することと、それぞれの導出された動き情報を使用してサブブロックを復号することとをさせる命令を記憶している。

[0011] １つまたは複数の例の詳細が、添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明および図面、並びに特許請求の範囲から明らかになろう。

高度時間動きベクトル予測（ＡＴＭＶＰ：advanced temporal motion vector prediction）を実施するための技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 高度時間動きベクトル予測（ＡＴＭＶＰ）のための技法を実施し得るビデオエンコーダの一例を示すブロック図。 高度時間動きベクトル予測（ＡＴＭＶＰ）のための技法を実施し得るビデオデコーダの一例を示すブロック図。 高効率ビデオコーディング（ＨＥＶＣ）における空間隣接候補を示す概念図。 ＨＥＶＣにおける時間動きベクトル予測（ＴＭＶＰ：temporal motion vector prediction）を示す概念図。 ３Ｄ−ＨＥＶＣのための例示的な予測構造を示す図。 ３Ｄ−ＨＥＶＣにおけるサブＰＵベースインタービュー動き予測を示す概念図。 参照ピクチャからのサブＰＵ動き予測を示す概念図。 （ＴＭＶＰと同様の）ＡＴＭＶＰにおける関連するピクチャを示す概念図。 例示的な空間時間動きベクトル予測子（ＳＴＭＶＰ：spatial-temporal motion vector predictor）導出プロセスを示すフローチャート。 ＰＵのサブＰＵ、並びにＰＵに対する隣接サブＰＵの例を示す概念図。 ＰＵのサブＰＵ、並びにＰＵに対する隣接サブＰＵの例を示す概念図。 本開示の技法による、ビデオデータを符号化する例示的な方法を示すフローチャート。 本開示の技法による、ビデオデータを復号する方法の一例の図。

[0025] 概して、本開示は、ビデオコーデックにおける動きベクトル予測に関する。より詳細には、空間および時間隣接ブロックからの所与のブロック（例えば、予測ユニット（ＰＵ：prediction units）について、サブブロック（例えば、サブ予測ユニット（ＰＵ））のための動きベクトルを導出することによって、高度動きベクトル予測が達成され得る。一例では、（ビデオエンコーダまたはビデオデコーダなどの）ビデオコーダは、現在ブロック（例えば、現在ＰＵ）をサブブロック（例えば、サブＰＵ）に区分し、各サブＰＵについて、空間的におよび／または時間的に隣接するブロックを含み得る隣接ブロックからのサブＰＵの各々についての、動きベクトルを含む動き情報を導出し得る。例えば、サブブロックの各々について、ビデオコーダは、左に隣接する空間ブロック、上に隣接する空間ブロック、および／または右下に隣接する時間ブロックから動き情報を導出し得る。空間的に隣接するブロックは、サブブロックに直接隣り合うサブブロックであるか、またはサブブロックを含む現在ブロックの外にあるサブブロックであり得る。現在ブロックの外のサブブロックを使用することは、サブブロックのための動き情報が並列に導出されることを可能にし得る。

[0026] ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、およびそれのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４を含む。ＭＶＣの最新のジョイントドラフトは、「Advanced video coding for generic audiovisual services」、ＩＴＵ−Ｔ勧告Ｈ．２６４、２０１０年３月に記載されている。

[0027] さらに、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発された、新たに開発されたビデオコーディング規格、すなわち、高効率ビデオコーディング（ＨＥＶＣ）がある。ＨＥＶＣの最近のドラフトが、phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zipから入手可能である。ＨＥＶＣ規格はまた、両方が「High efficiency video coding」と題する、両方が２０１４年１０月に発行された、勧告ＩＴＵ−Ｔ Ｈ．２６５および国際規格ＩＳＯ／ＩＥＣ２３００８−２において一緒に提示される。

[0028] 動き情報：各ブロックについて、動き情報のセットが利用可能であり得る。動き情報のセットは、前方予測方向および後方予測方向のための動き情報を含んでいる。ここで、前方予測方向および後方予測方向は、現在ピクチャまたはスライスの参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０）と参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１）とに対応する２つの予測方向である。「前方」および「後方」という用語は、必ずしも幾何学的意味を有するとは限らない。代わりに、それらは、動きベクトルがどの参照ピクチャリストに基づくかを区別するために使用される。前方予測は、参照リスト０に基づいて形成された予測を意味し、後方予測は、参照リスト１に基づいて形成された予測を意味する。参照リスト０と参照リスト１の両方が、所与のブロックのための予測を形成するために使用される場合、それは双方向予測と呼ばれる。

[0029] 所与のピクチャまたはスライスについて、ただ１つの参照ピクチャリストが使用される場合、ピクチャまたはスライス内のあらゆるブロックが前方予測される。両方の参照ピクチャリストが所与のピクチャまたはスライスのために使用される場合、ピクチャまたはスライス内のブロックは、前方予測されるか、または後方予測されるか、または双方向予測され得る。

[0030] 各予測方向について、動き情報は参照インデックスと動きベクトルとを含んでいる。参照インデックスは、対応する参照ピクチャリスト（例えば、ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１）中の参照ピクチャを識別するために使用される。動きベクトルは、水平成分と垂直成分の両方を有し、各々が、それぞれ、水平方向および垂直方向に沿ったオフセット値を示す。いくつかの説明では、簡単のために、「動きベクトル」という用語は、動きベクトルとそれの関連する参照インデックスの両方を示すために、動き情報と互換的に使用され得る。

[0031] ビデオコーディング規格において、ピクチャの表示順序を識別するためにピクチャ順序カウント（ＰＯＣ：picture order count）が広く使用されている。１つのコード化ビデオシーケンス内の２つのピクチャが同じＰＯＣ値を有し得る場合があるが、一般に、それはコード化ビデオシーケンス内で起こらない。複数のコード化ビデオシーケンスがビットストリーム中に存在するとき、ＰＯＣの同じ値をもつピクチャは、復号順序に関して互いに近いことがある。ピクチャのＰＯＣ値は、一般に、参照ピクチャリスト構成と、ＨＥＶＣの場合のような参照ピクチャセットの導出と、動きベクトルスケーリングとのために使用される。

[0032] アドバンストビデオコーディング（ＡＶＣ）（Ｈ．２６４）におけるマクロブロック（ＭＢ：macroblock）構造：Ｈ．２６４／ＡＶＣでは、各インターマクロブロック（ＭＢ）は、４つの異なる方法に区分され得る。
・１つの１６×１６ＭＢ区分
・２つの１６×８ＭＢ区分
・２つの８×１６ＭＢ区分
・４つの８×８ＭＢ区分
[0033] １つのＭＢ中の異なるＭＢ区分は、各方向について異なる参照インデックス値（ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１）を有し得る。

[0034] ＭＢが４つの８×８ＭＢ区分に区分されないとき、ＭＢは、各ＭＢ区分について各方向に１つの動きベクトルのみを有する。

[0035] ＭＢが４つの８×８ＭＢ区分に区分されるとき、各８×８ＭＢ区分は、その各々が各方向に異なる動きベクトルを有することができるサブブロックにさらに区分され得る。８×８ＭＢ区分からサブブロックを得るための４つの異なる方法がある。
・１つの８×８サブブロック
・２つの８×４サブブロック
・２つの４×８サブブロック
・４つの４×４サブブロック
[0036] 各サブブロックは、各方向に異なる動きベクトルを有することができる。従って、動きベクトルは、サブブロックに等しいかまたはそれよりも高いレベルにおいて存在する。

[0037] ＡＶＣにおける時間直接モード：ＡＶＣでは、時間直接モードは、Ｂスライス中のスキップまたは直接モードについてＭＢレベルまたはＭＢ区分レベルのいずれかにおいて有効にされ得る。各ＭＢ区分について、動きベクトルを導出するために、現在ブロックのＲｅｆＰｉｃＬｉｓｔ１［０］中の現在ＭＢ区分とコロケートされたブロックの動きベクトルが使用される。コロケートされたブロック中の各動きベクトルは、ＰＯＣ距離に基づいてスケーリングされる。

[0038] ＡＶＣにおける空間直接モード：ＡＶＣでは、直接モードはまた、空間ネイバー（spatial neighbors）から動き情報を予測できる。

[0039] 高効率ビデオコーディング（ＨＥＶＣ）におけるコーディングユニット（ＣＵ：Coding Unit）構造：ＨＥＶＣでは、スライス中の最大コーディングユニットは、コーディングツリーブロック（ＣＴＢ）またはコーディングツリーユニット（ＣＴＵ）と呼ばれる。ＣＴＢは、それのノードがコーディングユニットである４分木を含んでいる。

[0040] （技術的に、８×８ＣＴＢサイズがサポートされ得るが）ＣＴＢのサイズは、ＨＥＶＣメインプロファイルにおいて１６×１６から６４×６４に及び得る。コーディングユニット（ＣＵ）は、ＣＴＢの同じサイズであり、８×８程度に小さくなり得る。各コーディングユニットは、１つのモードを用いてコーディングされる。ＣＵがインターコーディングされるとき、ＣＵは、２つまたは４つの予測ユニット（ＰＵ）にさらに区分され得るか、あるいは、さらなる区分が適用されないとき、ただ１つのＰＵになり得る。１つのＣＵ中に２つのＰＵが存在するとき、２つのＰＵは、１／２サイズの長方形、あるいはＣＵの１／４または３／４サイズをもつ２つの長方形サイズであり得る。

[0041] ＣＵがインターコーディングされるとき、各ＰＵについて動き情報の１つのセットが存在する。さらに、各ＰＵは、動き情報のセットを導出するために固有のインター予測モードを用いてコーディングされる。

[0042] ＨＥＶＣにおける動き予測：ＨＥＶＣ規格では、予測ユニット（ＰＵ）のために、それぞれ、マージモード（スキップはマージの特殊な場合と見なされる）および高度動きベクトル予測（ＡＭＶＰ）モードと称される２つの動きベクトル予測モードがある。

[0043] ＡＭＶＰモードまたはマージモードのいずれかでは、動きベクトル（ＭＶ：motion vector）候補リストは、複数の動きベクトル予測子のために維持される。現在ＰＵの、（１つまたは複数の）動きベクトル、並びにマージモードにおける参照インデックスは、ＭＶ候補リストから１つの候補をとることによって生成される。

[0044] ＭＶ候補リストは、マージモードのための最高５つの候補とＡＭＶＰモードのための２つのみの候補とを含んでいる。マージ候補は、動き情報のセット、例えば、参照ピクチャリスト（リスト０およびリスト１）と参照インデックスの両方に対応する動きベクトルを含んでいることがある。マージ候補がマージインデックスによって識別された場合、参照ピクチャは現在ブロックの予測のために使用され、並びに、関連する動きベクトルが決定される。しかしながら、リスト０またはリスト１のいずれかからの各潜在的予測方向についてのＡＭＶＰモード下で、参照インデックスは、ＡＭＶＰ候補が動きベクトルのみを含んでいるので、ＭＶ候補リストへのＭＶＰインデックスとともに明示的にシグナリングされる必要がある。ＡＭＶＰモードでは、予測される動きベクトルはさらに改良され得る。

[0045] 上記でわかるように、マージ候補は動き情報のフルセットに対応し、ＡＭＶＰ候補は、特定の予測方向および参照インデックスのためのただ１つの動きベクトルを含んでいる。

[0046] 両方のモードのための候補は、同じ空間および時間隣接ブロックから同様に導出される。

[0047] 図１は、高度時間動きベクトル予測（ＡＴＭＶＰ）を実施するための技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示されているように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化ビデオデータを与えるソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１６を介してビデオデータを宛先デバイス１４に与える。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス１２および宛先デバイス１４はワイヤレス通信のために装備され得る。

[0048] 宛先デバイス１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体１６は、ソースデバイス１２が、符号化ビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。

[0049] いくつかの例では、符号化データは、出力インターフェース２２からストレージデバイスに出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイス１２によって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介してストレージデバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、その符号化ビデオデータを宛先デバイス１４に送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を通して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。

[0050] 本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

[0051] 図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。本開示によれば、ソースデバイス１２のビデオエンコーダ２０は、高度時間動きベクトル予測（ＡＴＭＶＰ）のための技法を適用するように構成され得る。他の例では、ソースデバイスおよび宛先デバイスは他の構成要素または構成を含み得る。例えば、ソースデバイス１２は、外部カメラなどの外部ビデオソース１８からビデオデータを受信し得る。同様に、宛先デバイス１４は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

[0052] 図１の図示のシステム１０は一例にすぎない。高度時間動きベクトル予測（ＡＴＭＶＰ）のための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって行われ得る。概して、本開示の技法はビデオ符号化デバイスによって行われるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても行われ得る。その上、本開示の技法は、ビデオプリプロセッサによっても行われ得る。ソースデバイス１２および宛先デバイス１４は、ソースデバイス１２が宛先デバイス１４に送信するためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、デバイス１２、１４は、デバイス１２、１４の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。従って、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ビデオデバイス１２とビデオデバイス１４との間の一方向または双方向のビデオ送信をサポートし得る。

[0053] ソースデバイス１２のビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース１８は、ソースビデオとしてのコンピュータグラフィックスベースデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。但し、上述のように、本開示で説明される技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、前にキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。

[0054] コンピュータ可読媒体１６は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙディスク、または他のコンピュータ可読媒体などの記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、ソースデバイス１２から符号化ビデオデータを受信し、例えば、ネットワーク送信を介して、その符号化ビデオデータを宛先デバイス１４に与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイス１２から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。従って、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むことが理解されよう。

[0055] 宛先デバイス１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロックおよび他のコード化ユニット、例えば、ＧＯＰの特性および／または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス３２は、復号ビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。

[0056] ビデオエンコーダ２０およびビデオデコーダ３０は、高効率ビデオコーディング（ＨＥＶＣ）規格、ＨＥＶＣ規格に対する拡張、またはＩＴＵ−Ｔ Ｈ．２６６などの後続の規格など、ビデオコーディング規格に従って動作し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例には、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれ、オーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0057] ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：digital signal processors）、特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuits）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、あるいはそれらの任意の組合せとして実施され得る。本技法が部分的にソフトウェアで実施されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を行うために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。

[0058] 概して、ＨＥＶＣ規格は、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット（ＬＣＵ：largest coding unit）に分割され得ることを記載している。ビットストリーム内のシンタックスデータが、ピクセルの数に関して最大コーディングユニットであるＬＣＵのサイズを定義し得る。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）にスプリットされ得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵにスプリットされた場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。

[0059] ４分木データ構造の各ノードは、対応するＣＵのためのシンタックスデータを与え得る。例えば、４分木のノードは、そのノードに対応するＣＵがサブＣＵにスプリットされるかどうかを示すスプリットフラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵにスプリットされるかどうかに依存し得る。ＣＵがさらにスプリットされない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的スプリッティングが存在しない場合でも、リーフＣＵの４つのサブＣＵはリーフＣＵとも呼ばれる。例えば、１６×１６サイズのＣＵがさらにスプリットされない場合、その１６×１６ＣＵが決してスプリットされなくても、４つの８×８サブＣＵはリーフＣＵとも呼ばれる。

[0060] Ｈ．２６５におけるＣＵは、ＣＵがサイズ差異を有しないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、（サブＣＵとも呼ばれる）４つの子ノードにスプリットされ得、各子ノードは、今度は親ノードとなり、別の４つの子ノードにスプリットされ得る。４分木のリーフノードと呼ばれる、最後のスプリットされていない子ノードは、リーフＣＵとも呼ばれるコーディングノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深度と呼ばれる、ツリーブロックがスプリットされ得る最大回数を定義し得、また、コーディングノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コーディングユニット（ＳＣＵ：smallest coding unit）をも定義し得る。本開示は、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、またはＴＵ、あるいは他の規格のコンテキストにおける同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロックおよびそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。

[0061] ＣＵは、コーディングノードと、コーディングノードに関連する予測ユニット（ＰＵ）および変換ユニット（ＴＵ）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大６４×６４ピクセル以上をもつツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと、１つまたは複数のＴＵとを含んでいることがある。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つまたは複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化またはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、あるいはインター予測モード符号化されるかの間で異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連するシンタックスデータは、例えば、４分木に従ってＣＵを１つまたは複数のＴＵに区分することをも記述し得る。ＴＵは、形状が正方形または非正方形（例えば、矩形）であり得る。

[0062] ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、これは常にそうであるとは限らない。ＴＵは、一般に、ＰＵと同じサイズであるかまたはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さいユニットに再分割され得る。ＲＱＴのリーフノードは変換ユニット（ＴＵ）と呼ばれることがある。ＴＵに関連するピクセル差分値は、変換係数を生成するために変換され得、その変換係数は量子化され得る。

[0063] リーフＣＵは、１つまたは複数の予測ユニット（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部または一部分に対応する空間エリアを表し、そのＰＵのための参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵのデータは、ＰＵに対応するＴＵについてのイントラ予測モードを記述するデータを含み得る残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つまたは複数の動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（例えば、１／４ピクセル精度または１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（例えば、リスト０、リスト１、またはリストＣ）を記述し得る。

[0064] １つまたは複数のＰＵを有するリーフＣＵはまた、１つまたは複数の変換ユニット（ＴＵ：transform units）を含み得る。変換ユニットは、上記で説明されたように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。例えば、スプリットフラグは、リーフＣＵが４つの変換ユニットにスプリットされるかどうかを示し得る。次いで、各変換ユニットは、さらなるサブＴＵにさらにスプリットされ得る。ＴＵがさらにスプリットされないとき、そのＴＵはリーフＴＵと呼ばれることがある。概して、イントラコーディングでは、リーフＣＵに属する全てのリーフＴＵは同じイントラ予測モードを共有する。すなわち、概して、リーフＣＵの全てのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコーディングでは、ビデオエンコーダは、イントラ予測モードを使用して各リーフＴＵの残差値を、ＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵは、ＰＵよりも大きいことも小さいこともある。イントラコーディングでは、ＰＵは、同じＣＵのための対応するリーフＴＵとコロケートされ得る。いくつかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。

[0065] その上、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連し得る。すなわち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは概してリーフＣＵに対応し、ＣＵ４分木のルートノードは概してツリーブロック（またはＬＣＵ）に対応する。スプリットされないＲＱＴのＴＵはリーフＴＵと呼ばれる。概して、本開示は、特に明記しない限り、リーフＣＵおよびリーフＴＵに言及するためにそれぞれＣＵおよびＴＵという用語を使用する。

[0066] ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ：group of pictures）は、概して、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはＣＵ内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定されたコーディング規格に応じてサイズが異なり得る。

[0067] 一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測と、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称ＰＵサイズでのインター予測とをサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。従って、例えば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平方向に区分された２Ｎ×２Ｎ ＣＵを指す。

[0068] 本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、例えば、１６×１６（16x16）ピクセルまたは１６×１６（16 by 16）ピクセルを指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ここで、Ｎは非負整数値を表す。ブロック中のピクセルは行および列に配列され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。例えば、ブロックはＮ×Ｍピクセルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。

[0069] ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備え得、ＴＵは、変換、例えば、残差ビデオデータへの離散コサイン変換（ＤＣＴ：discrete cosine transform）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＣＵのための変換係数を生成するためにＴＵを変換し得る。

[0070] 変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は変換係数の量子化を行い得る。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。例えば、量子化中にｎビット値がｍビット値に切り捨てられ得、ここで、ｎはｍよりも大きい。

[0071] 量子化の後に、ビデオエンコーダは、変換係数を走査し、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、アレイの前部により高いエネルギー（従って、より低い周波数）係数を配置し、アレイの後部により低いエネルギー（従って、より高い周波数）係数を配置するように設計され得る。いくつかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するために予め定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応型走査を行い得る。１次元ベクトルを形成するために量子化変換係数を走査した後に、ビデオエンコーダ２０は、例えば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。

[0072] ＣＡＢＡＣを行うために、ビデオエンコーダ２０は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、例えば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを行うために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣ中のコードワードは、比較的より短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、例えば、送信されるべき各シンボルのための等長コードワードを使用することに勝るビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

[0073] ２０１６年１月２５日に出願された米国出願第１５／００５，５６４号（以下、「‘５６４出願」）は、本開示の技法に加えて、単独でまたは任意の組合せで、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る以下の技法について説明した。特に、‘５６４出願は、例えば、マージ候補リストとして挿入された場合のＡＴＭＶＰ候補の位置に関係する技法について説明する。空間候補およびＴＭＶＰ候補が、ある順序でマージ候補リストに挿入されると仮定する。ＡＴＭＶＰ候補は、それらの候補の任意の比較的固定された位置中に挿入され得る。一代替では、例えば、ＡＴＭＶＰ候補は、第１の２つの空間候補、例えば、Ａ１およびＢ１の後にマージ候補リストに挿入され得る。一代替では、例えば、ＡＴＭＶＰ候補は、第１の３つの空間候補、例えば、Ａ１およびＢ１およびＢ０の後に挿入され得る。一代替では、例えば、ＡＴＭＶＰ候補は、第１の４つの候補、例えば、Ａ１、Ｂ１、Ｂ０、およびＡ０の後に挿入され得る。一代替では、例えば、ＡＴＭＶＰ候補は、ＴＭＶＰ候補の直前に挿入され得る。一代替的にでは、例えば、ＡＴＭＶＰ候補は、ＴＭＶＰ候補の直後に挿入され得る。代替的に、候補リスト中のＡＴＭＶＰ候補の位置は、ビットストリーム中でシグナリングされ得る。さらに、ＴＭＶＰ候補を含む他の候補の位置がシグナリングされ得る。

[0074] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０が行うように構成され得る、ＡＴＭＶＰ候補の利用可能性検査に関係する技法が、動き情報のただ１つのセットにアクセスすることによって適用できることも説明する。情報のそのようなセットが利用不可能であり、例えば、１つのブロックがイントラコーディングされるとき、全ＡＴＭＶＰ候補が利用不可能であると見なされる。その場合、ＡＴＭＶＰはマージリストに挿入されない。純粋に、ＡＴＭＶＰ候補の利用可能性を検査するために、中心位置、または中心サブＰＵが使用される。中心サブＰＵが使用されるとき、中心サブＰＵは、中心位置（例えば、ＰＵの左上サンプルに対する（Ｗ／２，Ｈ／２）の相対座標をもつ、中心３位置、ここにおいて、Ｗ×ＨはＰＵのサイズである）をカバーするものであるように選定される。そのような位置または中心サブＰＵは、動きソースピクチャ中の対応するブロックを識別するために、時間ベクトルとともに使用され得る。対応するブロックの中心位置をカバーするブロックからの動き情報のセットが識別される。

[0075] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０が行うように構成され得る、サブＰＵからのＡＴＭＶＰコード化ＰＵのための動き情報の技法代表的セットについても説明する。ＡＴＭＶＰ候補を形成するために、動き情報の代表的セットは、最初に形成される。動き情報のそのような代表的セットは、固定位置または固定サブＰＵから導出され得る。それは、上記で説明されたように、ＡＴＭＶＰ候補の利用可能性を決定するために使用される動き情報のセットのそれと同様の方法で選定され得る。サブＰＵが動き情報のそれ自体のセットを識別しており、それが利用不可能であるとき、それは、動き情報の代表的セットに等しくなるように設定される。動き情報の代表的セットがサブＰＵのそれであるように設定される場合、追加の動き記憶は、ワーストケースシナリオにおいて現在ＣＴＵまたはスライスのためにデコーダ側において必要とされない。動き情報のそのような代表的セットは、プルーニングを含めて、動き情報の１つのセットによって全ＰＵが表されることを復号プロセスが要求するとき、そのプロセスが、複合双予測マージング候補を生成するために使用されるように、全てのシナリオにおいて使用される。

[0076] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、ＡＴＭＶＰ候補がＴＭＶＰ候補を用いてどのようにプルーニングされ得、ＴＭＶＰとＡＴＭＶＰとの間の対話がどのように考慮され得るかに関係する技法についても説明する。通常候補を用いた、サブＰＵベース候補、例えば、ＡＴＭＶＰ候補のプルーニングは、そのようなサブＰＵベース候補について（箇条３の場合のように）動き情報の代表的セットを使用することによって行われ得る。動き情報のそのようなセットが通常マージ候補と同じである場合、２つの候補は同じであると見なされる。代替的に、または追加として、ＡＴＭＶＰが複数のサブＰｕのための動き情報の複数の異なるセットを含んでいるかどうかを決定するために、検査が行われ、少なくとも２つの異なるセットが識別された場合、サブＰＵベース候補は、プルーニングのために使用されず、すなわち、他の候補とは異なると見なされ、他の場合、それは、プルーニングのために使用され得る（例えば、プルーニングプロセス中にプルーニングされ得る）。代替的に、または追加として、ＡＴＭＶＰ候補は、Ａ１およびＢ１として示された位置をもつ、空間候補、例えば、左および上の空間候補のみを用いてプルーニングされ得る。代替的に、ＡＴＭＶＰ候補またはＴＭＶＰ候補のいずれかである、１つの候補のみが、時間参照から形成される。ＡＴＭＶＰが利用可能であるとき、候補はＡＴＭＶＰであり、他の場合、候補はＴＭＶＰである。そのような候補は、ＴＭＶＰの位置と同様の位置においてマージ候補リストに挿入される。この場合、候補の最大数は、不変であるように保たれ得る。代替的に、ＴＭＶＰは、ＡＴＭＶＰが利用不可能であるときでも常に無効にされる。代替的に、ＴＭＶＰは、ＡＴＭＶＰが利用不可能であるときのみ使用される。代替的に、ＡＴＭＶＰが利用可能であり、ＴＭＶＰが利用不可能であるとき、１つのサブＰＵの動き情報の１つのセットがＴＭＶＰ候補として使用される。この場合、さらに、ＡＴＭＶＰとＴＭＶＰとの間のプルーニングプロセスは適用されない。また、代替または追加として、ＡＴＭＶＰのために使用される時間ベクトルは、ＨＥＶＣにおいて現在ＴＭＶＰのために使用されるような右下位置または中心３位置が使用される必要がないように、ＴＭＶＰのために使用され得る。代替的に、時間ベクトルによって識別された位置並びに右下および中心３位置は、一緒に、利用可能なＴＭＶＰ候補を与えると見なされる。

[0077] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、ＡＴＭＶＰのための複数の利用可能性検査が、ＡＴＭＶＰ候補がより正確で効率的となる、より高い可能性を与えるためにどのようにサポートされ得るかについても説明する。（例えば、図９に示されているように）第１の時間ベクトルによって識別されるような動きソースピクチャからの現在ＡＴＭＶＰ候補が利用不可能であるとき、他のピクチャは動きソースピクチャと見なされ得る。別のピクチャが考慮されるとき、それは、異なる第２の時間ベクトルに関連し得るか、または、単に、利用不可能なＡＴＭＶＰ候補を指す第１の時間ベクトルからスケーリングされる第２の時間ベクトルに関連し得る。第２の時間ベクトルは、第２の動きソースピクチャ中のＡＴＭＶＰ候補を識別でき、同じ利用可能性検査が適用され得る。第２の動きソースピクチャから導出されるようなＡＴＭＶＰ候補が利用可能である場合、ＡＴＭＶＰ候補が導出され、他のいかなるピクチャも検査される必要がなく、他の場合、動きソースピクチャとしての他のピクチャが検査される必要がある。検査されるべきピクチャは、所与の順序をもつ、現在ピクチャの参照ピクチャリスト中のピクチャであり得る。各リストについて、ピクチャは、参照インデックスの昇順で検査される。リストＸが最初に検査され、リスト（１−Ｘである）Ｙ中のピクチャが続く。リストＸは、リストＸが、ＴＭＶＰのために使用されるコロケートされたピクチャを含んでいるリストであるように選定される。代替的に、Ｘは、単に、１または０であるように設定される。検査されるべきピクチャは、所与の順序をもつ、空間ネイバーの動きベクトルによって識別されるピクチャを含み得る。現在ＡＴＭＶＰが適用されるＰＵの区分は、２Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、または、２Ｎ×Ｎ／２などの他のＡＭＰ区分であり得る。代替的に、または追加として、他の区分サイズが可能にされ得る場合、ＡＴＭＶＰもサポートされ得、そのようなサイズは、例えば、６４×８を含み得る。代替的に、モードは、いくつかの区分、例えば、２Ｎ×２Ｎに適用されるにすぎないことがある。

[0078] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０が行うように構成され得る、ＡＴＭＶＰ候補が、異なるタイプのマージモードを使用してどのようにマークされ得るかについても説明する。

[0079] ネイバー（neighbors）からベクトル（第１の段の場合のような時間ベクトル）を識別するとき、複数の隣接位置、例えば、マージ候補リスト構成において使用される隣接位置が順番に検査され得る。ネイバーの各々について、参照ピクチャリスト０（リスト０）または参照ピクチャリスト１（リスト１）に対応する動きベクトルが順番に検査され得る。２つの動きベクトルが利用可能であるとき、リストＸ中の動きベクトルが最初に検査され、その後に（Ｙが１−Ｘに等しい）リストＹが続き得、その結果、リストＸは、ＴＭＶＰのために使用されるコロケートされたピクチャを含んでいるリストとなる。ＡＴＭＶＰでは、サブＰＵの中心位置のシフトとして時間ベクトルが追加され使用され、ここにおいて、時間ベクトルの成分は、整数にシフトされる必要があり得る。そのようなシフトされる中心位置は、例えば、現在中心位置をカバーする４×４のサイズをもつ、動きベクトルが割り振られ得る最も小さいユニットを識別するために使用される。代替的に、リスト０に対応する動きベクトルが、リスト１に対応する動きベクトルの前に検査され得る。代替的に、リスト１に対応する動きベクトルが、リスト０に対応する動きベクトルの前に検査され得る。代替的に、全ての空間ネイバー中のリストＸに対応する全ての動きベクトルが順番に検査され、その後に（Ｙが１−Ｘに等しい）リストＹに対応する動きベクトルが続く。ここで、Ｘは、コロケートされたピクチャがどこに属するかを示すものであるか、あるいは、ただ単に、０または１であるように設定され得る。空間ネイバーの順序は、ＨＥＶＣマージモードで使用される順序と同じであり得る。

[0080] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、時間ベクトルを識別する第１の段中が参照ピクチャを識別することを含まないとき、図９に示されているような動きソースピクチャは、単に、固定ピクチャ、例えば、ＴＭＶＰのために使用されるコロケートされたピクチャであるように設定され得る、に関係する技法についても説明する。そのような場合、ベクトルは、そのような固定ピクチャを指す動きベクトルのみから識別され得る。そのような場合、ベクトルは、任意のピクチャを指す動きベクトルからのみ識別されるが、さらに、固定ピクチャのほうへスケーリングされ得る。参照ピクチャを識別することなる、ベクトルを識別する第１の段にあるとき、図９に示されているような動きソースピクチャ、以下の追加の検査のうちの１つまたは複数が、候補動きベクトルに対して適用され得る。動きベクトルが、イントラコーディングされるピクチャまたはスライスに関連する場合、そのような動きベクトルは、利用不可能であると見なされ、そのベクトルに変換されるために使用されないことがある。動きベクトルが、関連するピクチャ中で（例えば、動きベクトルをもつ現在中心座標を追加することによって）イントラブロックを識別する場合、そのような動きベクトルは、利用不可能であると見なされ、そのベクトルに変換されるために使用されないことがある。

[0081] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、ベクトルを識別する第１の段にあるとき、ベクトルの成分は、それが動きソースピクチャ中の右下ピクセル位置を識別するように、（現在ＰＵの１／２の幅，現在ＰＵの１／２の高さ）であるように設定され得る、に関係する技法についても説明する。ここで、（ｘ，ｙ）は、１つの動きベクトルの水平成分と垂直成分とを示す。代替的に、ベクトルの成分は、（ｓｕｍ（現在ＰＵの１／２の幅、Ｍ），ｓｕｍ（現在ＰＵの１／２の高さ、Ｎ））であるように設定され得、ここで、関数ｓｕｍ（ａ，ｂ）はａとｂの和を返す。一例では、動き情報が４×４ユニットにおいて記憶されるとき、ＭとＮは両方とも２に等しくなるように設定される。別の例では、動き情報が８×８ユニットにおいて記憶されるとき、ＭとＮは両方とも４に等しくなるように設定される。

[0082] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、ＡＴＭＶＰが適用されるときのサブブロック／サブＰＵサイズが、パラメータセット、例えば、ピクチャパラメータセットのシーケンスパラメータセット中でシグナリングされることに関係する技法についても説明する。サイズは、最小ＰＵサイズからＣＴＵサイズに及ぶ。サイズはまた、予め定義されるか、またはシグナリングされ得る。サイズは、例えば、４×４程度に小さくなり得る。代替的に、サブブロック／サブＰＵサイズは、ＰＵまたはＣＵのサイズに基づいて導出され得る。例えば、サブブロック／サブＰＵは、ｍａｘ（４×４，（ＣＵの幅）＞＞Ｍ）に等しく設定され得る。Ｍの値は、予め定義されるか、またはビットストリーム中でシグナリングされ得る。

[0083] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、マージ候補の最大数が、ＡＴＭＶＰが新しいマージ候補と見なされ得ることにより、１だけ増加されることに関係する技法についても説明する。例えば、プルーニングの後にマージ候補リスト中の最高５つの候補を要するＨＥＶＣと比較して、マージ候補の最大数は６に増加され得る。代替的に、従来のＴＭＶＰ候補を用いたプルーニングまたは従来のＴＭＶＰ候補との統一は、マージ候補の最大数が、不変であるように保たれ得るように、ＡＴＭＶＰに対して行われ得る。代替的に、ＡＴＭＶＰが利用可能であると識別されたとき、空間隣接候補がマージ候補リストから除外され、例えば、フェッチング順序での最後の空間隣接候補が除外される。

[0084] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、複数の空間隣接動きベクトルが時間ベクトルを導出すると見なされるとき、動きベクトルの類似度が、現在ＰＵの隣接動きベクトル、並びに、動きベクトルに等しく設定されている特定の時間ベクトルによって識別された隣接動きベクトルに基づいて計算され得る、に関係する技法についても説明する。最も高い動き類似度をもたらすものが、最終時間ベクトルとして選定され得る。一代替では、隣接位置Ｎからの各動きベクトルについて、それは、動きソースピクチャ中のブロック（現在ＰＵと同じサイズ）を識別し、ここにおいて、それの隣接位置Ｎは動き情報のセットを含んでいる。動きベクトルのこのセットは、現在ブロックの隣接位置Ｎの場合のように動き情報のセットと比較される。別の代替では、隣接位置Ｎからの各動きベクトルについて、それは、動きソースピクチャ中のブロックを識別し、ここにおいて、それの隣接位置は動き情報の複数のセットを含んでいる。動きベクトルのこれらの複数のセットは、同じ相対位置において現在ＰＵの隣接位置からの動き情報の複数のセットと比較される。

[0085] 動き情報の類似度が、上記の技法に従って計算され得る。例えば、現在ＰＵは、ＭＩＡ１、ＭＩＢ１、ＭＩＡ０およびＭＩＢ０として示される、Ａ１、Ｂ１、Ａ０およびＢ０からの動き情報の以下のセットを有する。時間ベクトルＴＶについて、それは、動きソースピクチャ中のＰＵに対応するブロックを識別する。そのようなブロックは、同じ相対Ａ１、Ｂ１、Ａ０およびＢ０位置からの動き情報を有し、ＴＭＩＡ１、ＴＭＩＢ１、ＴＭＩＡ０およびＴＭＩＢ０として示した。ＴＶによって決定された動き類似度は、ＭＳｔｖ＝Σ_{N∈{A1,B1,A0,B0}}ＭＶＳｉｍ（ＭＩ_N，ＴＭＩ_N）として計算され、ここにおいて、ＭＶＳｉｍ（）は動き情報の２つのセット（ＭＩＮ，ＴＭＩＮ）間の類似度を定義する。上記の場合の両方では、動き類似度ＭＶＳｉｍが使用され得、ここにおいて、２つの入力パラメータは、各々が最高２つの動きベクトルと２つの参照インデックスとを含んでいる、２つの動き情報である。リストＸ中の動きベクトルの各ペアは、実際は、異なるピクチャ、すなわち、現在ピクチャおよび動きソースピクチャの異なるリストＸ中の参照ピクチャに関連するので。

[0086] （Ｘが０または１に等しい）２つの動きベクトルＭＶＸＮおよびＴＭＶＸＮの各々について、動きベクトル差分ＭＶＤＸＮが、上記の技法に従って、ＭＶＸＮ−ＴＭＶＸＮとして計算され得る。その後、差分ＭＶＳｉｍＸが、例えば、ａｂｓ（ＭＶＤＸ_N［０］）＋ａｂｓ（ＭＶＤＸ_N［１］）、または（ＭＶＤＸ_N［０］＊ＭＶＤＸ_N［０］＋ＭＶＤＸ_N［１］＊ＭＶＤＸ_N［１］）として計算される。動き情報の両方のセットが、利用可能な動きベクトルを含んでいる場合、ＭＶＳｉｍは、ＭＶＳｉｍ０＋ＭＶＳｉｍ１に等しく設定される。動き差分の統一された計算を有するために、動きベクトルの両方は、例えば、現在ピクチャのリストＸの第１の参照ピクチャＲｅｆＰｉｃＬｉｓｔＸ［０］であり得る、同じ固定ピクチャのほうへスケーリングされる必要がある。第１のセットからのリストＸ中の動きベクトルの利用可能性と第２のセットからのリストＸ中の動きベクトルの利用可能性とが異なる、すなわち、一方の参照インデックスが−１であり、他方の参照インデックスが−１でない場合、動き情報のそのような２つのセットは、方向Ｘにおいて類似していないと見なされる。

[0087] ２つのセットが両方のセットにおいて類似していない場合、最終ＭＶＳｉｍ関数は、上記の技法に従って、大きい値Ｔを返し得、それは、例えば、無限と見なされ得る。代替的に、動き情報のセットのペアについて、一方が、（Ｙが１−Ｘに等しい）リストＹではなく（Ｘが０または１に等しい）リストＸから予測され、他方が同じステータスを有する場合、１から２の間の重み付け（例えば、ＭＶＳｉｍはＭＶＳｉｍＸ＊１．５に等しい）が使用され得る。一方のセットがリストＸのみから予測され、他方のセットがリストＹのみから予測されるとき、ＭＶＳｉｍは、大きい値Ｔに設定される。代替的に、動き情報の任意のセットについて、１つの動きベクトルが利用可能である限り、両方の動きベクトルが生成される。１つの動きベクトルのみが利用可能である（リストＸに対応している）場合、それは、他のリストＹに対応する動きベクトルを形成するためにスケーリングされる。代替的に、動きベクトルは、現在ＰＵの隣接ピクセルと、動きベクトルによって識別されたブロック（現在ＰＵと同じサイズ）の隣接ピクセルとの間の差分に基づいて測定され得る。最も小さい差分をもたらす動きベクトルが、最終時間ベクトルとして選定され得る。

[0088] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、現在ブロックの時間ベクトルを導出するとき、ＡＴＭＶＰを用いてコーディングされる隣接ブロックからの動きベクトルおよび／または時間ベクトルが、他の隣接ブロックからの動きベクトルよりも高い優先度を有し得る、に関係する技法についても説明する。一例では、隣接ブロックの時間ベクトルのみが最初に検査され、第１の利用可能なものが現在ブロックの時間ベクトルに設定され得る。そのような時間ベクトルが存在しないときのみ、さらに、通常動きベクトルが検査される。この場合、ＡＴＭＶＰコード化ブロックのための時間ベクトルが記憶される必要がある。別の例では、ＡＴＭＶＰコード化隣接ブロックからの動きベクトルのみが最初に検査され、第１の利用可能なものが現在ブロックの時間ベクトルに設定され得る。そのような時間ベクトルが存在しないときのみ、さらに、通常動きベクトルが検査される。別の例では、ＡＴＭＶＰコード化隣接ブロックからの動きベクトルのみが最初に検査され、第１の利用可能なものが現在ブロックの時間ベクトルに設定され得る。そのような動きベクトルが利用可能でない場合、時間ベクトルの検査は、上記で説明された様式と同様に続く。別の例では、隣接ブロックからの時間ベクトルが最初に検査され、第１の利用可能なものが現在ブロックの時間ベクトルに設定され得る。そのような動きベクトルが利用可能でない場合、時間ベクトルの検査は、上記で説明された様式と同様に続く。別の例では、ＡＴＭＶＰコード化隣接ブロックの時間ベクトルと動きベクトルとが最初に検査され、第１の利用可能なものが現在ブロックの時間ベクトルに設定され得る。そのような時間ベクトルおよび動きベクトルが存在しないときのみ、さらに、通常動きベクトルが検査される。

[0089] ‘５６４出願は、複数の空間隣接動きベクトルが時間ベクトルを導出すると見なされるとき、動きベクトルが、それが、ピクセル領域から計算されるひずみを最小限に抑えるように選定され得、例えば、最小マッチングコストをもたらすものが最終時間ベクトルとして選択されるように時間ベクトルを導出するために、テンプレートマッチングが使用され得る、に関係する技法についても説明する。これらの技法は、ビデオエンコーダ２０および／またはビデオデコーダ３０によっても行われ得る。

[0090] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、（動きソースピクチャ中の）対応するブロックからの動き情報のセットの導出が、動きベクトルが、任意のリストＸのために、対応するブロック中で利用可能であるとき（動きベクトルをＭＶＸであると示す）、ＡＴＭＶＰ候補の現在サブＰＵについて、動きベクトルが（ＭＶＸをスケーリングすることによって）リストＸのために利用可能であると見なされるように、行われるための技法についても説明する。動きベクトルが、任意のリストＸのために、対応するブロック中で利用不可能である場合、動きベクトルはリストＸのために利用不可能であると見なされる。代替的に、対応するブロック中の動きベクトルがリストＸのために利用不可能であるが、リスト１−Ｘのために利用可能であるとき（１−ＸがＹで示され、動きベクトルをＭＶＹであるとして示す）、動きベクトルは、依然として、（リストＸ中のターゲット参照ピクチャのほうへＭＶＹをスケーリングすることによって）リストＸのために利用可能であると見なされる。代替的に、または追加として、リストＸおよびリスト（１−Ｘに等しい）Ｙのための対応するブロック中の両方の動きベクトルが利用可能であるとき、リストＸおよびリストＹからの動きベクトルが、スケーリングによって現在サブＰＵの２つの動きベクトルを生成するために、直接スケーリングされるために使用されることが必要でない。一例では、ＡＴＭＶＰ候補を構築するとき、ＴＭＶＰにおいて行われるような低遅延検査が各サブＰＵに適用される。現在スライスのあらゆる参照ピクチャリスト中の（ｒｅｆＰｉｃによって示される）あらゆるピクチャについて、ｒｅｆＰｉｃのピクチャ順序カウント（ＰＯＣ）値が現在スライスのＰＯＣよりも小さい場合、現在スライスは低遅延モードで考慮される。この低遅延モードでは、リストＸおよびリストＹからの動きベクトルは、それぞれ、リストＸおよびリストＹのための現在サブＰＵの動きベクトルを生成するためにスケーリングされる。低遅延モードにないとき、ＭＶＸまたはＭＶＹからの１つの動きベクトルＭＶＺのみが選定され、現在サブＰＵのための２つの動きベクトルを生成するためにスケーリングされる。ＴＭＶＰと同様に、そのような場合、Ｚは、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇに等しく設定され、これは、それが、ＴＭＶＰの場合のようなコロケートされたピクチャが現在ピクチャのリストＸまたはリストＹ中にあるかどうかに依存することを意味する。代替的に、Ｚは、以下のように設定され、すなわち、動きソースピクチャがリストＸから識別される場合、ＺがＸに設定される。代替的に、追加として、動きソースピクチャが両方の参照ピクチャリストに属し、ＲｅｆＰｉｃＬｉｓｔ０［ｉｄｘ０］が、リスト０中に最初に存在する動きソースピクチャであり、ＲｅｆＰｉｃＬｉｓｔ（１）［ｉｄｘ１］が、リスト１中に最初に存在する動きソースピクチャであるとき、Ｚは、ｉｄｘ０がｉｄｘ１よりも小さいかそれに等しい場合、０であるように設定され、他の場合、１であるように設定される。

[0091] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、動きソースピクチャをシグナリングするための技法についても説明する。詳細に、動きソースピクチャがリスト０からであるのかリスト１からであるのかを示すフラグが、Ｂスライスのためにシグナリングされる。代替的に、追加として、現在ピクチャのリスト０またはリスト１への参照インデックスが、動きソースピクチャを識別するためにシグナリングされ得る。

[0092] ‘５６４出願は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る、時間ベクトルを識別するとき、ベクトルが、それが、関連する動きソースピクチャ中のイントラコード化ブロックを指す場合に利用不可能であると見なされる（従って、他のものが考慮され得る）こと、に関係する技法についても説明する。

[0093] 本開示の技法によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、空間および時間隣接ブロックからブロック（例えば、ＰＵ）のサブブロック（例えば、サブＰＵ）のための動きベクトルを導出するように構成され得る。以下で説明されるように、（ビデオエンコーダ２０またはビデオデコーダ３０などの）ビデオコーダは、３次元領域における隣接ブロックの情報からＰＵの各サブＰＵのための動きベクトルを導出し得る。これは、隣接ブロックが、現在ピクチャ中の空間ネイバーまたは前のコード化ピクチャ中の時間ネイバーであり得ることを意味する。以下でより詳細に説明される図１０は、例示的な空間時間動きベクトル予測子（ＳＴＭＶＰ）導出プロセスを示すフローチャートである。さらに、箇条１、２、３、４、６、７、１２、および１３に関して上記で説明された方法は、ＳＴＭＶＰに直接拡張され得る。

[0094] 以下の説明では、「ブロック」という用語は、予測関係情報、例えば、インターまたはイントラ予測、イントラ予測モード、動き情報などの記憶のためのブロックユニットを指すために使用される。そのような予測情報は、保存され、将来のブロックをコーディングするために、例えば、将来のブロックのための予測モード情報を予測するために使用され得る。ＡＶＣおよびＨＥＶＣでは、そのようなブロックのサイズは４×４である。

[0095] 以下の説明では、「ＰＵ」は、隣接ブロックから動き情報を導出するユニットを示すためのインターコード化ブロックユニットおよびサブＰＵを示すことに留意されたい。

[0096] ビデオエンコーダ２０および／またはビデオデコーダ３０は、単独でまたは任意の組合せで、以下の方法のいずれかを適用するように構成され得る。

[0097] サブＰＵおよび隣接ブロックのサイズ：複数のサブＰＵをもつＰＵについて考えると、サブＰＵのサイズは、通常、その隣接ブロックサイズに等しいかまたはそれよりも大きい。一例では、図１１Ａに示されているように、影付き正方形は、現在ＰＵの外にある（小文字ａ、ｂ、．．．ｉを使用して表される）隣接ブロックを表し、（大文字Ａ、Ｂ、．．．、Ｐを使用して表される）残りの正方形は現在ＰＵ中のサブＰＵを表す。サブＰＵのサイズとそれの隣接ブロックのサイズとは同じである。例えば、サイズは４×４に等しい。図１１Ｂは、サブＰＵが隣接ブロックよりも大きい別の例を示す。このようにして、動き情報導出のために使用される隣接ブロックのサイズは、動き情報がそれについて導出されるサブブロックのサイズに等しいかまたはそれよりも小さくなり得る。代替的に、サブＰＵは、長方形または三角形形状など、非平方形状をとり得る。さらに、サブＰＵのサイズはスライスヘッダ中でシグナリングされ得る。いくつかの例では、例えば、パラメータセット中でサブブロックまたはサブＰＵサイズをシグナリングすることに関する上記で説明されたプロセスは、これらの技法に拡張され得る。例えば、サブＰＵサイズは、シーケンスパラメータセット（ＳＰＳ）またはピクチャパラメータセット（ＰＰＳ）など、パラメータセット中でシグナリングされ得る。

[0098] 図１１Ａの例に関して、ビデオコーダが、サブブロックのための動き予測を導出するために、ラスタ走査順序（Ａ、Ｂ、Ｃ、Ｄ、Ｅなど）をサブＰＵに適用すると仮定する。しかしながら、他の走査順序も適用され得、これらの技法はラスタ走査順序のみに限定されるものでないことに留意されたい。

[0099] 隣接ブロックは、２つの異なるタイプ、すなわち、空間および時間に分類され得る。空間隣接ブロックは、現在ピクチャまたはスライス中にあり、現在サブＰＵに隣接している、すでにコード化されたブロックまたはすでに走査されたサブＰＵである。時間隣接ブロックは、前のコード化ピクチャ中のブロックであり、現在サブＰＵのコロケートされたブロックに隣接している。一例では、ビデオコーダは、時間隣接ブロックを取得するために、現在ＰＵに関連する全ての参照ピクチャを使用する。別の例では、ビデオコーダは、ＳＴＭＶＰ導出のための参照ピクチャのサブセット、例えば、各参照ピクチャリストの第１のエントリのみを使用する。

[0100] これらの定義に続いて、サブＰＵ（Ａ）の場合、図１１Ａをさらに参照すると、前にコーディングされたピクチャ中の全ての白いブロック（ａ、ｂ、．．．、ｉ）およびそれらのコロケートされたブロックは、利用可能として扱われる空間および時間隣接ブロックである。ラスタ走査順序によれば、ブロックＢ、Ｃ、Ｄ、Ｅ．．．ＰはサブＰＵ（Ａ）のために空間的に利用可能でない。とはいえ、（ＡからＰまでの）全てのサブＰＵは、それらの動き情報が前のコード化ピクチャ中のそれらのコロケートされたブロック中で見つけられ得るので、サブＰＵ（Ａ）のための時間的に利用可能な隣接ブロックである。別の例としてサブＰＵ（Ｇ）を挙げると、利用可能であるそれの空間隣接ブロックは、ａ、ｂ．．．からｉまでのものを含み、また、ＡからＦまでのものを含む。さらに、いくつかの例では、ある制限が空間隣接ブロックに適用され得、例えば、空間隣接ブロック（すなわち、ａ、ｂ．．．からｉまで）は、同じＬＣＵ／スライス／タイル中にあるように制限され得る。

[0101] 本開示の技法によれば、ビデオコーダ（ビデオエンコーダ２０またはビデオデコーダ３０）は、各サブＰＵのための動き情報または動きフィールドを導出するために、全ての利用可能な隣接ブロックのサブセットを選択し得る。各ＰＵの導出のために使用されるサブセットは予め定義され得、代替的に、ビデオエンコーダ２０は、スライスヘッダ、ＰＰＳ、ＳＰＳなど中の高レベルシンタックスとしてサブセットをシグナリングし得る（および、ビデオデコーダ３０は、それを示すシグナリングされたデータを受信し得る）。コーディング性能を最適化するために、サブセットは各サブＰＵについて異なり得る。実際には、サブセットのためのロケーションの固定パターンが、簡単のために選好される。例えば、各サブＰＵは、サブセットとして、それのすぐ上の空間ネイバーと、それのすぐ左の空間ネイバーと、それのすぐ右下の時間ネイバーとを使用し得る。図１１Ａの例に関して、（水平方向にハッシングされた）サブＰＵ（Ｊ）について考えるとき、（対角線方向に左下にハッシングされた）上のブロック（Ｆ）および左のブロック（Ｉ）は、空間的に利用可能な隣接ブロックであり、（対角線方向に両方向にハッシングされた）右下ブロック（Ｏ）は、時間的に利用可能な隣接ブロックである。そのようなサブセットの場合、現在ＰＵ中のサブＰＵは、処理依存性により、（ラスタ走査順序など、定義された順序で）連続的に処理されるべきである。

[0102] 追加または代替として、サブＰＵ（Ｊ）について考えるとき、ビデオエンコーダ２０およびビデオデコーダ３０は、上のブロック（Ｆ）および左のブロック（Ｉ）を空間的に利用可能な隣接ブロックとして扱い、下ブロック（Ｎ）および右ブロック（Ｋ）を時間的に利用可能な隣接ブロックとして扱い得る。そのようなサブセットの場合、ビデオエンコーダ２０およびビデオデコーダ３０は、処理依存性により、現在ＰＵ中のサブＰＵを連続的に処理し得る。

[0103] 現在ＰＵ中の各サブＰＵの並列処理を可能にするために、ビデオエンコーダ２０およびビデオデコーダ３０は、動き予測導出のために、いくつかのサブＰＵのための隣接ブロックの異なるサブセットを使用し得る。一例では、現在ＰＵに属さない空間ネイバーブロック、例えば、ブロックａ、ｂ、．．．ｉのみを含んでいるサブセットが定義され得る。この場合、並列処理が可能であろう。

[0104] 別の例では、所与のサブＰＵについて、サブＰＵ空間隣接ブロックが現在ＰＵ内にある場合、その空間隣接ブロックのコロケートされたブロックは、サブセット中に入れられ、現在サブＰＵの動き情報を導出するために使用され得る。例えば、サブＰＵ（Ｊ）について考えるとき、上ブロック（Ｆ）および左ブロック（Ｉ）および右下ブロック（Ｏ）の時間的なコロケートされたブロックは、サブＰＵ（Ｊ）の動きを導出するためのサブセットとして選択される。この場合、サブＰＵ（Ｊ）のためのサブセットは３つの時間隣接ブロックを含んでいる。別の例では、部分並列プロセスが有効にされ得、ここにおいて、１つのＰＵはいくつかの領域にスプリットされ、（いくつかのサブＰＵをカバーする）各領域は独立して処理され得る。

[0105] 時々、隣接ブロックはイントラコーディングされ、ここにおいて、より良い動き予測およびコーディング効率のために、それらのブロックのための代替動き情報を決定するためのルールを有することが望ましい。例えば、サブＰＵ（Ａ）について考えると、ブロックｂ、ｃ、および／またはｆがイントラコーディングされ、ブロックａ、ｄ、ｅ、ｇ、ｈ、およびｉがインターコーディングされる場合があり得る。空間ネイバーについて、ビデオエンコーダ２０およびビデオデコーダ３０は、イントラコード化ブロックの動き情報を、最初に見つけられたインターコード化ブロックの動き情報でポピュレートするために、予め定義された順序を使用し得る。例えば、上ネイバーの探索順序は、最右ネイバーまで右向にすぐ上のネイバーから開始するように設定され得、これは、ｂ、ｃ、ｄ、およびｅの順序を意味する。左ネイバーの探索順序は、最下ネイバーまで下方へすぐ左のネイバーから開始するように設定され得、これは、ｆ、ｇ、ｈ、およびｉの順序を意味する。インターコード化ブロックが探索プロセスを通して見つけられなかった場合、上または左空間ネイバーは利用不可能であると見なされる。時間ネイバーについて、ＴＭＶＰ導出において指定されるものと同じルールが使用され得る。しかしながら、他のルール、例えば、動き方向、時間距離（異なる参照ピクチャ中での探索）および空間ロケーションなどに基づくルールも使用され得ることに留意されたい。

[0106] ビデオエンコーダ２０およびビデオデコーダ３０は、本開示の技法に従って、所与のサブＰＵのための動き情報を導出するための以下の方法を使用し得る。ビデオエンコーダ２０およびビデオデコーダ３０は、最初に、ターゲット参照ピクチャを決定し、動きベクトルスケーリングを行い得る。各隣接ブロックについて、動きベクトルスケーリングが、全ての隣接ブロックの動きベクトルを各リスト中の同じ参照ピクチャにマッピングするために、各参照ピクチャリストに基づいてそれの動きベクトルに適用され得る。２つのステップがあり、第１に、スケーリングのために使用されるべきソース動きベクトルを決定する。第２に、ソース動きベクトルが投影されるターゲット参照ピクチャを決定する。第１のステップでは、いくつかの方法が使用され得る。

ａ）各参照リストについて、動きベクトルスケーリングは、別の参照リスト中の動きベクトルとは無関係であり、所与のブロックの動き情報について、参照リスト中の動きベクトルがない場合（例えば、双予測モードではなく単予測モード）、動きベクトルスケーリングはそのリストのために行われない。

ｂ）動きベクトルスケーリングは、別の参照リスト中の動きベクトルとは無関係でなく、所与のブロックの動き情報について、動きベクトルが参照リスト中で利用不可能でない場合、それは別の参照リスト中の動きベクトルからスケーリングされ得る。

ｃ）両方の動きベクトルは、（ＴＭＶＰの場合のように）１つの予め定義された参照リストからスケーリングされる
[0107] 一例では、本開示の技法に従って、ビデオエンコーダ２０およびビデオデコーダ３０は、空間隣接ブロックの動きベクトルをスケーリングするための上記の方法ａ）と、時間隣接ブロックの動きベクトルをスケーリングするための上記の方法ｃ）とを使用する。しかしながら、他の例では他の組合せが使用され得る。

[0108] 第２のステップに関しては、ターゲット参照ピクチャは、利用可能な空間隣接ブロックの動き情報（例えば参照ピクチャ）に基づく、あるルールに従って選択され得る。そのようなルールの一例は、多数決ルール、すなわち、ブロックの大部分によって共有される参照ピクチャを選択することである。この場合、同じ情報が同じルールを使用してデコーダ側においても推論され得るので、エンコーダからデコーダへの、ターゲット参照ピクチャのために必要とされるシグナリングがない。代替的に、そのような参照ピクチャはまた、スライスヘッダ中で明示的に指定されるか、またはいくつかの他の方法でデコーダにシグナリングされ得る。一例では、ターゲット参照ピクチャは、各参照リストの第１の参照ピクチャ（ｒｅｆｉｄｘ＝０）として決定される。

[0109] ターゲット参照ピクチャを決定し、必要に応じて動きベクトルをスケーリングした後、ビデオエンコーダ２０およびビデオデコーダ３０は、所与のサブＰＵのための動き情報を導出する。所与のサブＰＵのための動き情報をもつＮ個の利用可能な隣接ブロックがあると仮定する。最初に、ビデオエンコーダ２０およびビデオデコーダ３０は予測方向（ＩｎｔｅｒＤｉｒ）を決定する。予測方向を決定するための１つの単純な方法は以下の通りである。

ａ．ＩｎｔｅｒＤｉｒは０として初期化され、次いで、Ｎ個の利用可能な隣接ブロックの動き情報を通してループする、
ｂ．リスト０中に少なくとも１つの動きベクトルがある場合、ＩｎｔｅｒＤｉｒ＝（ＩｎｔｅｒＤｉｒ ｂｉｔｗｉｓｅＯＲ１）である、
ｃ．リスト１中に少なくとも１つの動きベクトルがある場合、ＩｎｔｅｒＤｉｒ＝（ＩｎｔｅｒＤｉｒ ｂｉｔｗｉｓｅＯＲ２）である。

[0110] ここで、「ｂｉｔｗｉｓｅＯＲ」はビット単位ＯＲ演算を表す。ＩｎｔｅｒＤｉｒの値は、この例では、０（インター予測なし）、１（リスト０に基づくインター予測）、２（リスト１に基づくインター予測）、および３（リスト０とリスト１の両方に基づくインター予測）と定義される。

[0111] 代替的に、上記で説明された動きベクトルスケーリングのためのターゲット参照ピクチャに関する決定と同様に、多数決ルールは、全ての利用可能な隣接ブロックの動き情報に基づいて、所与のサブＰＵのためのＩｎｔｅｒＤｉｒの値を決定するために使用され得る。

[0112] ＩｎｔｅｒＤｉｒが決定された後、動きベクトルは導出され得る。導出されたＩｎｔｅｒＤｉｒに基づく各参照リストについて、上記で説明されたように、ターゲット参照ピクチャに対する動きベクトルスケーリングを通して利用可能なＭ個の動きベクトル（Ｍ≦Ｎ）があり得る。参照リストのための動きベクトルは次のように導出され得る。

ここで、ｗ_iおよびｗ_jは、それぞれ、水平動き成分および垂直動き成分のための重み付けファクタであり、Ｏ_iおよびＯ_jは、重み付けファクタに依存するオフセット値である。

[0113] 重み付けファクタは、様々なファクタに基づいて決定され得る。一例では、同じルールが１つのＰＵ内の全てのサブＰＵに適用され得る。ルールは以下のように定義され得る。

・例えば、重み付けファクタは、現在サブＰＵと、対応する隣接ブロックとのロケーション距離に基づいて決定され得る。

・別の例では、重み付けファクタはまた、ターゲット参照ピクチャと、スケーリングの前の対応する隣接ブロックの動きベクトルに関連する参照ピクチャとの間のＰＯＣ距離に基づいて決定され得る。

・また別の例では、重み付けファクタは、動きベクトル差分または一貫性に基づいて決定され得る。

・また、簡単のために、全ての重み付けファクタは１に設定され得る。

[0114] 代替的に、異なるルールが１つのＰＵ内のサブＰＵに適用され得る。例えば、上記のルールが適用され得、さらに、第１の行／第１の列に位置するサブＰＵについて、時間隣接ブロックから導出された動きベクトルのための重み付けファクタが０に設定され、残りのブロックについて、空間隣接ブロックから導出された動きベクトルのための重み付けファクタが０に設定される。

[0115] 実際には、上記の式は、そのままで実施されるか、または容易な実施のために簡略化され得ることに留意されたい。例えば、除算または浮動小数点演算を回避するために、固定小数点演算が、上記の式を近似するために使用され得る。一事例は、３で除算することを回避するために、除算演算を乗算およびビットシフトと置き換えるために、４３／１２８を乗算することを代わりに選択し得ることである。実施におけるそれらの変形形態は、本開示の技法の同じ趣旨の下でカバーされると見なされるべきである。

[0116] 追加または代替として、プロセスが２つの動きベクトルを呼び出すとき、式（１）は以下の式（２）と置換され得る。

[0117] 追加または代替として、プロセスが３つの動きベクトルを呼び出すとき、式（１）は以下の式（３）と置換され得る。

[0118] 追加または代替として、プロセスが４つの動きベクトルを呼び出すとき、式（１）は以下の式（４）と置換され得る。

ここで、ｓｉｇｎ（ｔ）は、ｔが正値である場合は１であり、ｔが負値である場合は−１である。

[0119] 追加または代替として、メジアンフィルタなど、非線形演算も、動きベクトルを導出するために適用され得る。

[0120] ビデオエンコーダ２０およびビデオデコーダ３０は、さらに、これらの技法のための動きベクトル利用可能性を決定し得る。各サブＰＵの動きベクトル予測子が利用可能であるときでも、ＳＴＭＶＰモードは、１つのＰＵのために利用不可能であるようにリセットされ得る。例えば、各サブＰＵの動きベクトル予測子が所与のＰＵについて導出されると、いくつかの利用可能性検査が、ＳＴＭＶＰモードが所与のＰＵのために利用可能にされるべきであるかどうかを決定するために行われる。そのような演算は、ＳＴＭＶＰモードが所与のＰＵについて最終的に選定される可能性が極めて低い場合をなくすために使用される。ＳＴＭＶＰモードが利用可能でないとき、モードシグナリングはＳＴＭＶＰを含まない。ＳＴＭＶＰモードが、マージリスト中にＳＭＴＶＰを挿入することによって実施される場合、マージリストは、ＳＴＭＶＰモードが利用可能でないと決定されたとき、このＳＴＭＶＰ候補を含まない。その結果、シグナリングオーバーヘッドが低減され得る。

[0121] １つのＰＵがＭ個のサブＰＵに区分されることについて考える。一例では、Ｍ個のサブＰＵのうちのＮ１（Ｎ１≦Ｍ）個のサブＰＵが同じ動きベクトル予測子（すなわち、同じ動きベクトルおよび同じ参照ピクチャインデックス）を有する場合、ＳＴＭＶＰは、Ｎ１がしきい値よりも小さいか、または予測子がマージリスト中の（より小さいマージインデックスをもつ）他の動きベクトル予測子とは異なるときのみに利用可能にされる。別の例では、ＳＴＭＶＰモード下でのＮ２（Ｎ２≦Ｍ）個のサブＰＵが、ＡＴＭＶＰ下での対応するサブＰＵと同じ動きベクトル予測子を共有する場合、ＳＴＭＶＰは、Ｎ２が別のしきい値よりも小さいときのみに利用可能にされる。一例では、Ｎ１のためのしきい値とＮ２のためのしきい値の両方がＭに等しく設定される。

[0122] ビデオエンコーダ２０およびビデオデコーダ３０は、次いで、導出された動き予測子を、候補リスト、例えば、マージリストに挿入し得る。ＳＴＭＶＰ候補が利用可能である場合、ビデオエンコーダ２０およびビデオデコーダ３０は、ＳＴＭＶＰ候補を候補リスト（例えば、マージリスト）に挿入し得る。上記の箇条１におけるプロセスは拡張され得、ＳＴＭＶＰ候補は、ＡＴＭＶＰ候補の前または後のいずれかに挿入され得る。一例では、ビデオエンコーダ２０およびビデオデコーダ３０は、マージリスト中のＡＴＭＶＰ候補の直後にＳＴＭＶＰを挿入する。

[0123] ビデオエンコーダ２０は、さらに、ブロックベースシンタックスデータ、フレームベースシンタックスデータ、およびＧＯＰベースシンタックスデータなどのシンタックスデータを、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、またはＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中のフレームの数を記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示し得る。

[0124] ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、適用可能なとき、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダまたはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実施され得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。

[0125] 図２は、高度時間動きベクトル予測（ＡＴＭＶＰ）のための技法を実施し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを行い得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣り合うフレームまたはピクチャ内のビデオの時間冗長性を低減または除去するために時間予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースコーディングモードのいずれかを指すことがある。単方向予測（Ｐモード）または双方向予測（Ｂモード）などのインターモードは、いくつかの時間ベースコーディングモードのいずれかを指すことがある。

[0126] 図２に示されているように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図２の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、区分ユニット４８とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するための（図２に示されていない）デブロッキングフィルタも含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。（ループ中またはループ後の）追加のフィルタもデブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理し得る。

[0127] 符号化プロセス中に、ビデオエンコーダ２０は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは複数のビデオブロックに分割され得る。動き推定ユニット４２および動き補償ユニット４４は、時間予測を行うために、１つまたは複数の参照フレーム中の１つまたは複数のブロックに対する受信されたビデオブロックのインター予測コーディングを行う。イントラ予測ユニット４６は、代替的に、空間予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対する受信されたビデオブロックのイントラ予測コーディングを行い得る。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを行い得る。

[0128] その上、区分ユニット４８は、前のコーディングパスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。例えば、区分ユニット４８は、初めにフレームまたはスライスをＬＣＵに区分し、レートひずみ分析（例えば、レートひずみ最適化）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、さらに、サブＣＵへのＬＣＵの区分を示す４分木データ構造を生成し得る。４分木のリーフノードＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを含み得る。

[0129] モード選択ユニット４０は、例えば、誤差結果に基づいてコーディングモード、すなわち、イントラまたはインターのうちの１つを選択し得、残差ブロックデータを生成するために、得られたイントラコード化ブロックまたはインターコード化ブロックを加算器５０に与え、参照フレームとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロックまたはインターコード化ブロックを加算器６２に与える。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報など、シンタックス要素をエントロピー符号化ユニット５６に与える。

[0130] 動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって行われる動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在フレーム（または他のコード化ユニット）内でコーディングされている現在ブロックに対する参照フレーム（または他のコード化ユニット）内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきブロックにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置の値を補間し得る。従って、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対して動き探索を行い、分数ピクセル精度で動きベクトルを出力し得る。

[0131] 動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択され得、それらの各々が、参照ピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

[0132] 動き補償ユニット４４によって行われる動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴い得る。同じく、動き推定ユニット４２および動き補償ユニット４４は、いくつかの例では、機能的に統合され得る。現在ビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明されるように、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。概して、動き推定ユニット４２はルーマ成分に対して動き推定を行い、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。

[0133] モード選択ユニット４０はまた、ブロック（例えば、ＰＵ）のためのサブブロック（例えば、サブＰＵ）動き導出モードを選択し得る。すなわち、モード選択ユニット４０は、どの符号化パスが（従って、どの予測モードがを含む、ファクタのどのセットが）望ましいレートひずみ最適化（ＲＤＯ：rate-distortion optimization）特性を生じるかを決定するために、様々な符号化パスの間で、予測モードを含む、様々な符号化ファクタを比較し得る。モード選択ユニット４０がビデオデータのブロック（例えば、ＰＵ）についてサブブロック動き情報導出モードを選択したとき、動き補償ユニット４４は、ブロックを予測するために本開示の技法を使用し得る。

[0134] 特に、サブブロック動き情報導出モードを使用して、動き補償ユニット４４は、ブロックのサブブロックのための動き情報を導出し得る。例えば、動き補償ユニット４４は、各サブブロックについて、２つまたはそれ以上の隣接サブブロックのための動き情報を決定し、隣接サブブロックのための動き情報からそのサブブロックのための動き情報を導出し得る。隣接サブブロックは、例えば、空間および／または時間隣接サブブロックを含み得る。一例では、動き補償ユニット４４は、図１１Ａに関して以下でより詳細に説明されるように、左に隣接する空間サブブロックと、上に隣接する空間サブブロックと、右下時間隣接サブブロックとのための動き情報（例えば、動きベクトル）を平均化することによって、各サブブロックについて動き情報を導出する。他の例では、動き補償ユニット４４は、例えば、式（１）〜（４）のうちの１つを使用して各サブブロックについて動き情報を導出し得る。動き補償ユニット４４は、サブブロックのための予測データを決定するために、サブブロックの各々についての導出された動き情報を使用し得る。サブブロックの各々についてこの予測データを取り出すことによって、動き補償ユニット４４は、サブブロック動き情報導出モードを使用して現在ブロックのための予測されたブロックを生成する。

[0135] イントラ予測ユニット４６は、上記で説明されたように、動き推定ユニット４２と動き補償ユニット４４とによって行われるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測ユニット４６は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。

[0136] 例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、並びに符号化ブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのためのひずみおよびレートから比を計算し得る。

[0137] ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを送信ビットストリーム中に含め得る。

[0138] ビデオエンコーダ２０は、コーディングされている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって残差ビデオブロックを形成する。加算器５０は、この減算演算を行う１つまたは複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を行い得る。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換も使用され得る。いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を行い得る。代替的に、エントロピー符号化ユニット５６が走査を行い得る。

[0139] 量子化の後に、エントロピー符号化ユニット５６は量子化変換係数をエントロピーコーディングする。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピーコーディング技法を行い得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピーコーディングの後に、符号化ビットストリームは、別のデバイス（例えば、ビデオデコーダ３０）に送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。

[0140] その上、エントロピー符号化ユニット５６は、ビデオデータの様々なブロックのための様々な他のシンタックス要素を符号化し得る。例えば、エントロピー符号化ユニット５６は、ビデオデータの各ＣＵの各ＰＵについて予測モードを表すシンタックス要素を符号化し得る。インター予測がＰＵについて示されるとき、エントロピー符号化ユニット５６は、動きベクトルが、マージモードを使用して符号化されるのか、高度動きベクトル予測（ＡＭＶＰ）を使用して符号化されるのかを含み得る、動き情報を符号化し得る。いずれの場合も、ビデオエンコーダ２０は、動き情報がそれから予測され得る候補（ＰＵに対する空間および／または時間隣接ブロック）を含む候補リストを形成する。本開示の技法によれば、候補リストは、サブブロック動き情報導出モードがＰＵのために使用されるべきであることを示す候補を含み得る。さらに、エントロピー符号化ユニット５６は、候補のうちのどれが使用されるべきであるかを示す候補インデックスを候補リストに符号化し得る。従って、サブブロック動き情報導出モードが選択された場合、エントロピー符号化ユニット５６は、サブブロック動き情報導出モードを表す候補を参照する候補インデックスを符号化する。

[0141] 逆量子化ユニット５８および逆変換ユニット６０は、例えば、参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成するために、それぞれ逆量子化および逆変換を適用する。動き補償ユニット４４は、残差ブロックを参照ピクチャメモリ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、再構成された残差ブロックに１つまたは複数の補間フィルタを適用し得る。加算器６２は、参照ピクチャメモリ６４に記憶するための再構成されたビデオブロックを生成するために、動き補償ユニット４４によって生成された動き補償予測ブロックに再構成された残差ブロックを加算する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。

[0142] このようにして、ビデオエンコーダ２０は、ビデオデータの現在ブロックのための動き予測候補は動き情報が現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、決定に応答して、現在ブロックをサブブロックに区分することと、サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出することと、それぞれの導出された動き情報を使用してサブブロックを復号することとをするように構成されるビデオエンコーダの一例を表す。すなわち、ビデオエンコーダ２０は、本開示の技法を使用してビデオデータのブロックを符号化することと復号することとの両方を行う。

[0143] 図３は、高度時間動きベクトル予測（ＡＴＭＶＰ）のための技法を実施し得るビデオデコーダ３０の一例を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換ユニット７８と、参照ピクチャメモリ８２と、加算器８０とを含む。ビデオデコーダ３０は、いくつかの例では、ビデオエンコーダ２０（図２）に関して説明された符号化パスとは概して逆の復号パスを行い得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測ユニット７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。

[0144] 復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、被量子化係数と、動きベクトルまたはイントラ予測モードインジケータと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動き補償ユニット７２に動きベクトルおよび他のシンタックス要素をフォワーディングする。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルのシンタックス要素を受信し得る。

[0145] ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされるとき、イントラ予測ユニット７４は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（すなわち、Ｂ、ＰまたはＧＰＢ）スライスとしてコーディングされるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ８２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト０およびリスト１を構成し得る。

[0146] 動き補償ユニット７２は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在ビデオブロックのための予測ブロックを生成するために、その予測情報を使用する。例えば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラまたはインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスのための参照ピクチャリストのうちの１つまたは複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちのいくつかを使用する。

[0147] 動き補償ユニット７２はまた、補間フィルタに基づいて補間を行い得る。動き補償ユニット７２は、参照ブロックのサブ整数ピクセルの補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、予測ブロックを生成するために、その補間フィルタを使用し得る。

[0148] 本開示の技法によれば、エントロピー復号ユニット７０は、ＰＵなど、ブロックがインター予測を使用して予測されるとき、候補リストを指す候補インデックスのための値を復号し、候補インデックスの値を動き補償ユニット７２に受け渡す。候補インデックスの値は、ブロックがサブブロック動き情報導出モードを使用して予測されることを表す候補リスト中の候補を指し得る。候補インデックスの値が、ブロックがサブブロック動き情報導出モードを使用して予測されることを表す候補リスト中の候補を指す場合、動き補償ユニット７２は、サブブロック動き情報導出モードを使用してブロックのための予測されたブロックを生成し得る。

[0149] より詳細には、サブブロック動き情報導出モードを使用して、動き補償ユニット７２は、ブロックのサブブロックのための動き情報を導出し得る。例えば、動き補償ユニット７２は、各サブブロックについて、２つまたはそれ以上の隣接サブブロックのための動き情報を決定し、隣接サブブロックのための動き情報からそのサブブロックのための動き情報を導出し得る。隣接サブブロックは、例えば、空間および／または時間隣接サブブロックを含み得る。一例では、動き補償ユニット７２は、図１１Ａに関して以下でより詳細に説明されるように、左に隣接する空間サブブロックと、上に隣接する空間サブブロックと、右下時間隣接サブブロックとのための動き情報（例えば、動きベクトル）を平均化することによって、各サブブロックについて動き情報を導出する。他の例では、動き補償ユニット７２は、例えば、式（１）〜（４）のうちの１つを使用して各サブブロックについて動き情報を導出し得る。動き補償ユニット７２は、サブブロックのための予測データを決定するために、サブブロックの各々についての導出された動き情報を使用し得る。サブブロックの各々についてこの予測データを取り出すことによって、動き補償ユニット７２は、サブブロック動き情報導出モードを使用して現在ブロックのための予測されたブロックを生成する。

[0150] 逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された量子化変換係数を逆量子化（inverse quantize）、すなわち、量子化解除（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオデコーダ３０によって計算される量子化パラメータＱＰＹの使用を含み得る。

[0151] 逆変換ユニット７８は、ピクセル領域において残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。

[0152] 動き補償ユニット７２が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換ユニット７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器８０は、この加算演算を行う１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化するために、または場合によってはビデオ品質を改善するために、他のループフィルタも（コーディングループ中またはコーディングループ後のいずれかで）使用され得る。所与のフレームまたはピクチャの復号ビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ８２に記憶される。参照ピクチャメモリ８２はまた、図１のディスプレイデバイス３２などのディスプレイデバイス上での後の提示のために、復号ビデオを記憶する。

[0153] このようにして、ビデオデコーダ３０は、ビデオデータの現在ブロックのための動き予測候補は動き情報が現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、決定に応答して、現在ブロックをサブブロックに区分することと、サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出することと、それぞれの導出された動き情報を使用してサブブロックを復号することとをするように構成されるビデオデコーダの一例を表す。

[0154] 図４は、ＨＥＶＣにおける空間隣接候補を示す概念図である。空間ＭＶ候補は、特定のＰＵ（ＰＵ０）について、図４上に示されている隣接ブロックから導出されるが、ブロックから候補を生成する方法は、マージモードおよびＡＭＶＰモードについて異なる。

[0155] マージモードでは、最高４つの空間ＭＶ候補が、番号とともに図４（ａ）に示されている順序を用いて導出され得、その順序は、図４（ａ）に示されているように、左（０，Ａ１）、上（１，Ｂ１）、右上（２，Ｂ０）、左下（３，Ａ０）、および左上（４，Ｂ２）である。すなわち、図４（ａ）では、ブロック１００はＰＵ０ １０４ＡとＰＵ１ １０４Ｂとを含む。ビデオコーダが、マージモードを使用してＰＵ０ １０４Ａのための動き情報をコーディングすべきであるとき、ビデオコーダは、空間隣接ブロック１０８Ａ、１０８Ｂ、１０８Ｃ、１０８Ｄ、および１０８Ｅからの動き情報を、その順序で候補リストに追加する。ブロック１０８Ａ、１０８Ｂ、１０８Ｃ、１０８Ｄ、および１０８Ｅは、それぞれ、ＨＥＶＣの場合のように、ブロックＡ１、Ｂ１、Ｂ０、Ａ０、およびＢ２と呼ばれることもある。

[0156] ＡＶＭＰモードでは、隣接ブロックは、２つのグループ、すなわち、図４（ｂ）上に示されているように、ブロック０および１を含む左グループと、ブロック２、３、および４を含む上グループとに分割される。これらのブロックは、それぞれ、図４（ｂ）中でブロック１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ、および１１０Ｅと標示される。特に、図４（ｂ）では、ブロック１０２は、ＰＵ０ １０６ＡとＰＵ１ １０６Ｂとを含み、ブロック１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ、および１１０Ｅは、ＰＵ０ １０６Ａに対する空間ネイバーを表す。各グループについて、シグナリングされた参照インデックスによって示された参照ピクチャと同じ参照ピクチャを参照する隣接ブロック中の潜在的候補は、グループの最終候補を形成するために選定されるべき最高優先度を有する。全ての隣接ブロックが、同じ参照ピクチャを指す動きベクトルを含んでいるとは限らない可能性がある。従って、そのような候補が見つけられ得ない場合、第１の利用可能な候補は、最終候補を形成するためにスケーリングされることになり、従って、時間距離差分が補償され得る。

[0157] 図５は、ＨＥＶＣにおける時間動きベクトル予測を示す概念図である。特に、図５（ａ）は、ＰＵ０ １２２ＡとＰＵ１ １２２Ｂとを含む例示的なＣＵ１２０を示す。ＰＵ０ １２２Ａは、ＰＵ１２２Ａのための中心ブロック１２６とＰＵ０ １２２Ａに対する右下ブロック１２４とを含む。図５（ａ）はまた、以下で説明されるように、動き情報がＰＵ０ １２２Ａの動き情報からそれについて予測され得る外部ブロック１２８を示す。図５（ｂ）は、動き情報がそれについて予測されるべきである現在ブロック１３８を含む現在ピクチャ１３０を示す。特に、図５（ｂ）は、（現在ブロック１３８に対するコロケートされたブロック１４０を含む）現在ピクチャ１３０に対するコロケートされたピクチャ１３４と、現在参照ピクチャ１３２と、コロケートされた参照ピクチャ１３６とを示す。コロケートされたブロック１４０は、ブロック１３８の動き情報のための時間動きベクトル予測子（ＴＭＶＰ：temporal motion vector predictor）１４２として使用される、動きベクトル１４４を使用して予測される。

[0158] ビデオコーダは、ＴＭＶＰが有効にされ、ＴＭＶＰ候補が利用可能である場合、ＴＭＶＰ候補（例えば、ＴＭＶＰ候補１４２）を、任意の空間動きベクトル候補の後にＭＶ候補リストに追加し得る。ＴＭＶＰ候補のための動きベクトル導出のプロセスは、マージモードとＡＭＶＰモードの両方について同じである。しかしながら、マージモードでのＴＭＶＰ候補のためのターゲット参照インデックスは、ＨＥＶＣに従って、０に設定される。

[0159] ＴＭＶＰ候補導出のための１次ブロックロケーションは、空間隣接候補を生成するために使用される上および左ブロックへのバイアスを補償するための、ＰＵ０ １２２Ａに対するブロック１２４として図５（ａ）に示されているような、コロケートされたＰＵの外の右下ブロックである。しかしながら、ブロック１２４が現在ＣＴＢ行の外に位置するか、または、動き情報がブロック１２４のために利用可能でない場合、ブロックは、図５（ａ）に示されているようにＰＵの中心ブロック１２６と置換される。

[0160] ＴＭＶＰ候補１４２のための動きベクトルは、スライスレベル情報に示されているように、コロケートされたピクチャ１３４のコロケートされたブロック１４０から導出される。

[0161] ＡＶＣにおける時間直接モードと同様に、ＴＭＶＰ候補の動きベクトルは、動きベクトルスケーリングを受けることがあり、動きベクトルスケーリングは、現在ピクチャ１３０と現在参照ピクチャ１３２との間の、およびコロケートされたピクチャ１３４とコロケートされた参照ピクチャ１３６との間のピクチャ順序カウント（ＰＯＣ）距離差分を補償するために行われる。すなわち、動きベクトル１４４は、これらのＰＯＣ差分に基づいて、ＴＭＶＰ候補１４２を生成するためにスケーリングされ得る。

[0162] ＨＥＶＣのマージモードおよびＡＭＶＰモードのいくつかの態様が、以下で説明される。

[0163] 動きベクトルスケーリング：動きベクトルの値はプレゼンテーション時間におけるピクチャ間の距離に比例すると仮定される。動きベクトルは、２つのピクチャ、すなわち、参照ピクチャと、動きベクトルを含んでいるピクチャ（すなわち、含有ピクチャ（containing picture））とを関連付ける。別の動きベクトルを予測するためにビデオエンコーダ２０またはビデオデコーダ３０によって動きベクトルが使用されるとき、含有ピクチャと参照ピクチャとの間の距離は、ピクチャ順序カウント（ＰＯＣ）値に基づいて計算される。

[0164] 予測されるべき動きベクトルについて、それの関連する含有ピクチャと参照ピクチャとは異なる。すなわち、２つの別個の動きベクトル、すなわち、予測されるべき第１の動きベクトルと、第１の動きベクトルを予測するために使用される第２の動きベクトルとについて、２つのＰＯＣ差分値がある。その上、第１のＰＯＣ差分は、第１の動きベクトルの現在ピクチャと参照ピクチャとの間の差分であり、第２のＰＯＣ差分は、第２の動きベクトルを含んでいているピクチャと第２の動きベクトルが参照する参照ピクチャとの間の差分である。第２の動きベクトルは、これらの２つのＰＯＣ距離に基づいてスケーリングされ得る。空間隣接候補では、２つの動きベクトルのための含有ピクチャは同じであるが、参照ピクチャは異なる。ＨＥＶＣでは、動きベクトルスケーリングは、空間および時間隣接候補のためにＴＭＶＰとＡＭＶＰの両方に適用される。

[0165] 擬似動きベクトル候補生成：動きベクトル候補リストが完全でない場合、擬似動きベクトル候補が生成され、リストが所定の数の候補を含むまでリストの最後に挿入され得る。

[0166] マージモードでは、２つのタイプの擬似ＭＶ候補、すなわち、Ｂスライスについてのみ導出された複合候補と、第１のタイプが十分な擬似候補を与えない場合にＡＭＶＰのためにのみ使用されるゼロ候補とがある。

[0167] すでに候補リスト中にあり、必要な動き情報を有する候補の各ペアについて、双方向複合動きベクトル候補が、リスト０中のピクチャを参照する第１の候補の動きベクトルとリスト１中のピクチャを参照する第２の候補の動きベクトルとの組合せによって導出される。

[0168] 以下は、候補挿入のための例示的なプルーニングプロセスの説明である。異なるブロックからの候補は偶然同じであり得、これはマージ／ＡＭＶＰ候補リストの効率を減少させる。この問題を解決するために、プルーニングプロセスが適用され得る。プルーニングプロセスに従って、ビデオコーダは、ある程度まで、同等の候補を挿入することを回避するために、現在候補リスト中のある候補を他の候補と比較する。複雑さを低減するために、各潜在的候補を、すでにリスト中にある全ての他の既存の候補と比較する代わりに、限られた数のプルーニングプロセスのみが適用される。

[0169] 図６は、３Ｄ−ＨＥＶＣのための例示的な予測構造を示す。３Ｄ−ＨＥＶＣは、ＪＣＴ−３Ｖによって開発中のＨＥＶＣの３Ｄビデオ拡張である。本開示の技法に関係する重要な技法がこのサブセクションで説明される。

[0170] 図６は、３つのビューの場合のマルチビュー予測構造を示す。Ｖ３はベースビューを示し、非ベースビュー（Ｖ１またはＶ５）中のピクチャは、同じ時間インスタンスの従属（ベース）ビュー中のピクチャから予測され得る。

[0171] （再構成されたサンプルからの）インタービューサンプル予測がＭＶ−ＨＥＶＣにおいてサポートされることは言及に値し、それの一般的な予測構造が図８に示される。

[0172] ＭＶ−ＨＥＶＣと３Ｄ−ＨＥＶＣの両方は、ベース（テクスチャ）ビューがＨＥＶＣ（バージョン１）デコーダによって復号可能であるようにＨＥＶＣに適合する。ＭＶ−ＨＥＶＣおよび３Ｄ−ＨＥＶＣのためのテストモデルは、２０１５年１月２６日現在、mpeg.chiariglione.org/standards/mpeg-h/high-efficiency-video-coding/test-model-6-3d-hevc-and-mv-hevcにおいて入手可能な、Ｚｈａｎｇら、「Test Model 6 of 3D-HEVC and MV-HEVC」、ＪＣＴ−３ＶドキュメントＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ１３９４０に記載されている。

[0173] ＭＶ−ＨＥＶＣでは、非ベースビュー中の現在ピクチャは、同じビュー中のピクチャと同じ時間インスタンスの参照ビュー中のピクチャの両方の全てをそのピクチャの参照ピクチャリスト中に入れることによって、これらのピクチャによって予測され得る。従って、現在ピクチャの参照ピクチャリストは、時間参照ピクチャとインタービュー参照ピクチャの両方を含んでいる。

[0174] 時間参照ピクチャに対応する参照インデックスに関連する動きベクトルが、時間動きベクトルとして示される。

[0175] インタービュー参照ピクチャに対応する参照インデックスに関連する動きベクトルが、ディスパリティ動きベクトルとして示される。

[0176] ３Ｄ−ＨＥＶＣはＭＶ−ＨＥＶＣにおける全ての特徴をサポートし、従って、上述のようなインタービューサンプル予測は有効にされる。

[0177] 追加として、より高度のテクスチャオンリーコーディングツール（texture only coding tool）および深度関係／依存コーディングツール（depth related/dependent coding tool）がサポートされる。

[0178] テクスチャオンリーコーディングツールは、しばしば、同じオブジェクトに属し得る（ビュー間の）対応するブロックの識別を必要とする。従って、ディスパリティベクトル導出は、３Ｄ−ＨＥＶＣにおける基本技術である。

[0179] 図７は、３Ｄ−ＨＥＶＣにおけるサブＰＵベースインタービュー動き予測を示す概念図である。図７は、現在ビュー（Ｖ１）の現在ピクチャ１６０と参照ビュー（Ｖ０）中のコロケートされたピクチャ１６２とを示す。現在ピクチャ１６０は、４つのサブＰｕ１６６Ａ〜１６６Ｄ（サブＰＵ１６６）を含む現在ＰＵ１６４を含む。それぞれのディスパリティベクトル１７４Ａ〜１７４Ｄ（ディスパリティベクトル１７４）は、コロケートされたピクチャ１６２中の、サブＰＵ１６６への対応するサブＰＵ１６８Ａ〜１６８Ｄを識別する。３Ｄ−ＨＥＶＣは、インタービューマージ候補、すなわち、参照ビュー中の参照ブロックから導出された候補のためのサブＰＵレベルインタービュー動き予測方法について説明する。

[0180] そのようなモードが有効にされるとき、現在ＰＵ１６４は、参照ビュー中の（ディスパリティベクトルによって識別される現在ＰＵと同じサイズをもつ）参照エリアに対応し得、参照エリアは、一般にＰＵのための動き情報の１つのセットの生成のために必要とされるよりも豊富な動き情報を有し得る。従って、図７に示されているように、サブＰＵレベルインタービュー動き予測（ＳＰＩＶＭＰ：sub-PU level inter-view motion prediction）方法が使用され得る。

[0181] このモードはまた、特殊マージ候補としてシグナリングされ得る。サブＰＵの各々は、動き情報のフルセットを含んでいる。従って、ＰＵは、動き情報の複数のセットを含んでいることがある。

[0182] ３Ｄ−ＨＥＶＣにおけるサブＰＵベース動きパラメータ継承（ＭＰＩ：motion parameter inheritance）：同様に、３Ｄ−ＨＥＶＣでは、ＭＰＩ候補も、サブＰＵレベルインタービュー動き予測と同様の方法で拡張され得る。例えば、現在深度ＰＵが、複数のＰＵを含んでいるコロケートされた領域を有する場合、現在深度ＰＵはサブＰＵに分離され得、各ＰＵが動き情報の異なるセットを有し得る。この方法は、サブＰＵ ＭＰＩと呼ばれる。すなわち、対応するサブＰＵ１６８Ａ〜１６８Ｄの動きベクトル１７２Ａ〜１７２Ｄは、図７に示されているように、動きベクトル１７０Ａ〜１７０Ｄとして、サブＰＵ１６６Ａ〜１６６Ｄによって継承され得る。

[0183] ２ＤビデオコーディングのためのサブＰＵ関係情報：２０１４年９月２５日に出願され、２０１５年３月２６日に米国公開第２０１５／００８６９２９号として公開された米国出願第１４／４９７，１２８号では、サブＰＵベース高度ＴＭＶＰ設計が説明される。シングルレイヤコーディングでは、２段高度時間動きベクトル予測設計が提案される。

[0184] 第１の段は、参照ピクチャ中の現在予測ユニット（ＰＵ）の対応するブロックを識別するベクトルを導出することであり、第２の段は、対応するブロックから複数のセット動き情報を抽出し、それらをＰＵのサブＰＵに割り当てることである。ＰＵの各サブＰＵは、従って、別々に動き補償される。ＡＴＭＶＰの概念は以下のように要約される。
１．第１の段におけるベクトルは、現在ＰＵの空間および時間隣接ブロックから導出され得る。
２．このプロセスは、全ての他のマージ候補のうちのマージ候補をアクティブにすることとして達成され得る。

[0185] シングルレイヤコーディングおよびサブＰＵ時間動きベクトル予測に適用可能であるが、ＰＵまたはＣＵは、予測子の上で伝達されるべき動き改良データを有し得る。

[0186] １４／４９７，１２８出願のいくつかの設計態様が、以下のようにハイライトされる。
１．ベクトル導出の第１の段はまた、ただゼロベクトルによって簡略化され得る。
２．ベクトル導出の第１の段は、動きベクトルとそれの関連するピクチャとを一緒に識別することを含み得る。関連するピクチャを選択し、さらに、動きベクトルが第１段ベクトルであると決める、様々な方法が提案されている。
３．上記のプロセス中の動き情報が利用不可能である場合、「第１段ベクトル」は、置換のために使用される。
４．時間ネイバーから識別された動きベクトルは、ＴＭＶＰにおける動きベクトルスケーリングと同様の方法で、現在サブＰＵのために使用されるようにスケーリングされなければならない。しかしながら、そのような動きベクトルがどの参照ピクチャにスケーリングされ得るかは、以下の方法のうちの１つを用いて設計され得る。

ａ．そのピクチャは、現在ピクチャの固定参照インデックスによって識別される。

ｂ．そのピクチャは、現在ピクチャの参照ピクチャリスト中でも利用可能である場合、対応する時間ネイバーの参照ピクチャであると識別される。

ｃ．そのピクチャは、第１の段において、および動きベクトルが取り出された場所から識別された、コロケートされたピクチャであるように設定される。

[0187] 図８は、参照ピクチャからのサブＰＵ動き予測を示す概念図である。この例では、現在ピクチャ１８０は、現在ＰＵ１８４（例えば、ＰＵ）を含む。この例では、動きベクトル１９２は、ＰＵ１８４に対する参照ピクチャ１８２のＰＵ１８６を識別する。ＰＵ１８６は、各々がそれぞれの動きベクトル１９０Ａ〜１９０Ｄを有する、サブＰＵ１８８Ａ〜１８８Ｄに区分される。従って、現在ＰＵ１８４は、実際は別個のサブＰＵに区分されないが、この例では、現在ＰＵ１８４は、サブＰＵ１８８Ａ〜１８８Ｄからの動き情報を使用して予測され得る。特に、ビデオコーダは、それぞれの動きベクトル１９０Ａ〜１９０Ｄを使用して現在ＰＵ１８４のサブＰＵをコーディングし得る。しかしながら、ビデオコーダは、現在ＰＵ１８４がサブＰＵにスプリットされることを示すシンタックス要素をコーディングする必要がない。このようにして、現在ＰＵ１８４は、現在ＰＵ１８４を複数のサブＰＵにスプリットするために使用されるシンタックス要素のシグナリングオーバーヘッドなしに、それぞれのサブＰＵ１８８Ａ〜１８８Ｄから継承される、複数の動きベクトル１９０Ａ〜１９０Ｄを使用して効果的に予測され得る。

[0188] 図９は、（ＴＭＶＰと同様の）ＡＴＭＶＰにおける関連するピクチャを示す概念図である。特に、図９は、現在ピクチャ２０４と、動きソースピクチャ２０６と、参照ピクチャ２００、２０２とを示す。より詳細には、現在ピクチャ２０４は現在ブロック２０８を含む。時間動きベクトル２１２は、現在ブロック２０８に対する動きソースピクチャ２０６の対応するブロック２１０を識別する。対応するブロック２１０は、今度は、動きベクトル２１４を含み、これは、参照ピクチャ２０２を参照し、現在ブロック２０８の少なくとも一部分、例えば、現在ブロック２０８のサブＰＵのための高度時間動きベクトル予測子（advanced temporal motion vector predictor）として働く。すなわち、動きベクトル２１４は、現在ブロック２０８のための候補動きベクトル予測子として追加され得る。選択された場合、現在ブロック２０８の少なくとも一部分は、参照ピクチャ２００を参照する、対応する動きベクトル、すなわち、動きベクトル２１６を使用して予測され得る。

[0189] 図１０は、本開示の技法による、例示的な方法を示すフローチャートである。図１０の方法は、ビデオエンコーダ２０および／またはビデオデコーダ３０によって行われ得る。一般性のために、図１０の方法は、この場合も、ビデオエンコーダ２０またはビデオデコーダ３０のいずれかに対応し得る「ビデオコーダ」によって行われるものとして説明される。

[0190] 最初に、ビデオコーダは、ＰＵの現在サブＰＵのための空間または時間隣接ブロックから利用可能な動きフィールドを取得する（２３０）。ビデオコーダは、次いで、取得された隣接動きフィールドから動き情報を導出する（２３２）。ビデオコーダは、次いで、ＰＵの全てのサブＰＵのための動き情報が導出されたかどうかを決定する（２３４）。全てのサブＰＵのための動き情報が導出されていない場合（２３４の「ＮＯ」分岐）、ビデオコーダは、残りのサブＰＵのための動き情報を導出する（２３０）。一方、全てのサブＰＵのための動き情報が導出された場合（２３４の「ＹＥＳ」分岐）、ビデオコーダは、例えば、上記で説明されたように、空間時間サブＰＵ動き予測子の利用可能性を決定する（２３６）。ビデオコーダは、空間時間サブＰＵ動き予測子が利用可能である場合、空間時間サブＰＵ動き予測子をマージリストに挿入する（２３８）。

[0191] 図１０の方法には示されていないが、ビデオコーダは、次いで、マージ候補リストを使用してＰＵ（例えば、ＰＵのサブＰＵの各々）をコーディングし得る。例えば、ビデオエンコーダ２０によって行われるとき、ビデオエンコーダ２０は、サブＰＵを予測子として使用してＰＵのための（例えば、各サブＰＵのための）（１つまたは複数の）残差ブロックを計算し、（１つまたは複数の）残差ブロックを変換および量子化し、得られた量子化変換係数をエントロピー符号化し得る。ビデオデコーダ３０は、同様に、量子化変換係数を再生するために受信データをエントロピー復号し、（１つまたは複数の）残差ブロックを再生するためにこれらの係数を逆量子化および逆変換し、次いで、ＰＵに対応するブロックを復号するために（１つまたは複数の）残差ブロックを対応するサブＰＵと組み合わせ得る。

[0192] 図１１Ａおよび図１１Ｂは、導出された動き情報を使用して予測されたサブブロックを含むブロックの例を示す概念図である。特に、図１１Ａは、ブロック２５０がＰＵであるときのサブＰＵを表し得る、サブブロック２５４Ａ〜２５４Ｐ（サブブロック２５４）を含むブロック２５０（例えば、ＰＵ）を示す。ブロック２５０に対する隣接サブブロック２５６Ａ〜２５６Ｉ（隣接サブブロック２５６）も図１１Ａに示されており、薄いグレーの陰影を付けられている。

[0193] 概して、ビデオエンコーダ２０またはビデオデコーダ３０など、ビデオコーダは、２つまたはそれ以上の隣接ブロックからの動き情報を使用して、ブロック２５０のサブブロック２５４のための動き情報を導出し得る。隣接ブロックは、空間的に隣接するおよび／または時間的に隣接するブロックを含み得る。例えば、ビデオコーダは、空間的に隣接するサブブロック２５４Ｆおよび２５４Ｉから、並びにサブブロック２５４Ｏの位置に対応する時間的に隣接するブロックからサブブロック２５４Ｊのための動き情報を導出し得る。時間的に隣接するブロックは、サブブロック２５４Ｏとコロケートされた前にコーディングされたピクチャからのものであり得る。サブブロック２５４Ｊのための動き情報の動きベクトルを導出するために、ビデオコーダは、サブブロック２５４Ｆと、サブブロック２５４Ｉと、サブブロック２５４Ｏとコロケートされた時間的に隣接するブロックとのための動きベクトルを平均化し得る。代替的に、ビデオコーダは、上記で説明されたように、式（１）〜（４）のうちの１つを使用して動きベクトルを導出し得る。

[0194] いくつかの例では、ビデオコーダは、ブロック２５０の外のサブブロック、例えば、隣接サブブロック２５６および／または時間的に隣接するサブブロックから動き情報を常に導出するように構成され得る。そのような構成は、サブブロック２５４が並列にコーディングされることを可能にし得る。例えば、ビデオコーダは、サブブロック２５６Ｂおよび２５６Ｆと、サブブロック２５４Ｆとコロケートされた時間的に隣接するサブブロックとの動き情報から、サブブロック２５４Ａのための動き情報を導出し得る。ビデオコーダはまた、サブブロック２５６Ｃ、２５６Ｂ、２５６Ｆと、サブブロック２５４Ｆおよび２５４Ｇとコロケートされた時間的に隣接するサブブロックとの動き情報を使用して、サブブロック２５４Ａと並列なサブブロック２５４Ｂのための動き情報を導出し得る。

[0195] 図１１Ｂは、この場合もサブＰＵを表し得る、サブブロック２６４Ａ〜２６４Ｄ（サブブロック２６４）を含むブロック２６０（例えば、ＰＵ）を示す。図１１Ｂはまた、隣接サブブロック２６６Ａ〜２６６Ｉ（隣接サブブロック２６６）を示す。概して、図１１Ｂの例は、ブロック２６０など、ブロックのサブブロックが、様々なサイズのものであり得、動き情報を導出するために使用される隣接ブロックよりも大きくなり得ることを示す。この例では、サブブロック２６４は隣接サブブロック２６６よりも大きい。とはいえ、（ビデオエンコーダ２０およびビデオデコーダ３０などの）ビデオコーダは、サブブロック２５４に関して上記で説明された技法と同様の技法をサブブロック２６４に適用するように構成され得る。

[0196] 図１２は、本開示の技法による、ビデオデータを符号化する例示的な方法を示すフローチャートである。図１２の方法は、説明および例の目的で、ビデオエンコーダ２０（図１および図２）およびそれの構成要素に関して説明される。但し、他のビデオ符号化デバイスが、これらまたは同様の技法を行うように構成され得ることを理解されたい。その上、いくつかのステップは、省略され、異なる順序で行われ、および／または並列に行われ得る。

[0197] 最初に、ビデオエンコーダ２０は、コーディングユニット（ＣＵ）を１つまたは複数の予測ユニット（ＰＵ）に区分する（２７０）。ビデオエンコーダ２０は、次いで、ＰＵの各々について、様々な予測モード（例えば、空間またはイントラ予測、時間またはインター予測、およびサブブロック動き導出予測）をテストする（２７２）。特に、モード選択ユニット４０は、様々な予測モードをテストし、ＰＵのための最良のレートひずみ特性を生じるＰＵのためのモードのうちの１つを選択し得る。例として、ビデオエンコーダ２０は、ＣＵのＰＵについてサブＰＵ動き導出モードを選択する（２７４）と仮定される。

[0198] サブＰＵ動き導出モードに従って、ビデオエンコーダ２０はＰＵをサブＰＵに区分する（２７６）。概して、サブＰＵは、動き情報など、別個の情報がサブＰＵについてコーディングされないという点で、ＰＵと区別可能である。代わりに、本開示の技法によれば、ビデオエンコーダ２０は、隣接サブＰＵからサブＰＵのための動き情報を導出する（２７８）。隣接サブＰＵは、空間および／または時間隣接サブＰＵを含み得る。例えば、隣接サブＰＵは、図１１Ａに関して説明されたように選択され得る。すなわち、この例では、各サブＰＵについて、ビデオエンコーダ２０は、上に隣接する空間サブＰＵと、左に隣接する空間サブＰＵと、右下時間隣接サブＰＵとを含む、隣接サブＰＵから動き情報を導出する。ビデオエンコーダ２０は、隣接サブＰＵの動き情報の平均として、または上記で説明された式（１）〜（４）に従って、導出された動き情報を計算し得る。

[0199] ビデオエンコーダ２０は、次いで、導出された動き情報を使用してサブＰＵを予測する（２８０）。すなわち、ビデオエンコーダ２０の動き補償ユニット４４は、それぞれのサブＰＵのための導出された動き情報を使用して、ＰＵのサブＰＵの各々について、予測された情報を取り出し得る。ビデオエンコーダ２０は、ＰＵのそれらのそれぞれの位置において、予測されたサブＰＵの各々のアセンブリとして、ＰＵのための予測されたブロックを形成し得る。

[0200] ビデオエンコーダ２０は、次いで、ＰＵのための残差ブロックを計算する（２８２）。例えば、加算器５０は、ＰＵのオリジナルバージョンと、予測されたブロックとの間のピクセルごとの差分を計算し、残差ブロックを形成し得る。次いで、ビデオエンコーダ２０の変換処理ユニット５２および量子化ユニット５４は、量子化変換係数を生成するために、それぞれ、残差ブロックを変換および量子化する（２８４）。エントロピー符号化ユニット５６は、次いで、量子化変換係数をエントロピー符号化する（２８６）。

[0201] その上、エントロピー符号化ユニット５６は、ＰＵがサブＰＵ動き導出モードを使用して予測されることを示すＰＵのための候補インデックスをエントロピー符号化する（２８６）。特に、エントロピー符号化ユニット５６は、複数の動き予測候補、並びにサブＰＵ動き導出モードを表す候補を含む候補リストを構成し得る。従って、ビデオエンコーダ２０がサブＰＵ動き情報導出モードを選択したとき、エントロピー符号化ユニット５６は、ＰＵのための候補リスト中のサブＰＵ動き導出モードを表す候補の位置を識別するインデックスを表す値をエントロピー符号化する。

[0202] 上記で説明された様式でＰＵを符号化した後、ビデオエンコーダ２０はまた、逆ではあるが、実質的に同様の様式でＰＵを復号する。図１２には示されていないが、ビデオエンコーダ２０はまた、後続の予測（例えば、イントラ予測および／またはインター予測）中に参照ブロックとして使用するために、残差ブロックを再生するために、量子化変換係数を逆変換および逆量子化し、ＰＵを復号するために残差ブロックを予測されたブロックと組み合わせる。

[0203] このようにして、図１２の方法は、ビデオデータの現在ブロックのための動き予測候補は動き情報が現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、決定に応答して、現在ブロックをサブブロックに区分することと、サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出することと、それぞれの導出された動き情報を使用してサブブロックを符号化（および復号）することとを含む方法の一例を表す。

[0204] 図１３は、本開示の技法による、ビデオデータを復号する方法の一例である。図１３の方法は、説明および例の目的で、ビデオデコーダ３０（図１および図３）およびそれの構成要素に関して説明される。但し、他のビデオ復号デバイスが、これらまたは同様の技法を行うように構成され得ることを理解されたい。その上、いくつかのステップは、省略され、異なる順序で行われ、および／または並列に行われ得る。

[0205] 最初に、ビデオデコーダ３０のエントロピー復号ユニット７０は、サブＰＵ動き導出モードが予測ユニットのために使用されることを示す候補リスト中の候補の候補インデックスをエントロピー復号する（２９０）。図示されていないが、最初に、ビデオデコーダ３０は、候補リストを構成し、候補リストに候補を追加することを理解されたい。この例では、説明の目的で、候補インデックスは、サブＰＵ動き導出モードを表す候補を指す。しかしながら、概して、候補インデックスは、ＰＵのための候補リスト中の候補のいずれかを指すことがあることを理解されたい。

[0206] この例において、候補インデックスはサブＰＵ動き導出モードがＰＵについて使用されるべきであることを表す候補を指すので、ビデオデコーダ３０はＰＵをサブＰＵに区分する（２９２）。次いで、ビデオデコーダ３０の動き補償ユニット７２は、隣接サブＰＵからサブＰＵの各々について動き情報を導出する（２９４）。隣接サブＰＵは、空間および／または時間隣接サブＰＵを含み得る。例えば、隣接サブＰＵは、図１１Ａに関して説明されたように選択され得る。すなわち、この例では、各サブＰＵについて、ビデオデコーダ３０は、上に隣接する空間サブＰＵ、左に隣接する空間サブＰＵ、および右下時間隣接サブＰＵを含む隣接サブＰＵから動き情報を導出する。ビデオデコーダ３０は、隣接サブＰＵの動き情報の平均として、または上記で説明された式（１）〜（４）に従って、導出された動き情報を計算し得る。

[0207] ビデオデコーダ３０は、次いで、導出された動き情報を使用してサブＰＵを予測する（２９６）。すなわち、ビデオデコーダ３０の動き補償ユニット７２は、それぞれのサブＰＵのための導出された動き情報を使用して、ＰＵのサブＰＵの各々について、予測された情報を取り出し得る。ビデオデコーダ３０は、ＰＵのそれらのそれぞれの位置において、予測されたサブＰＵの各々のアセンブリとして、ＰＵのための予測されたブロックを形成し得る。

[0208] ビデオデコーダ３０のエントロピー復号ユニット７０は、さらに、ＰＵの量子化変換係数をエントロピー復号する（２９８）。逆量子化ユニット７６および逆変換ユニット７８は、ＰＵのための残差ブロックを生成するために、量子化変換係数を、それぞれ、逆量子化および逆変換する（３００）。ビデオデコーダ３０は、次いで、予測されたブロックおよび残差ブロックを使用して予測ユニットを復号する（３０２）。特に、加算器８０は、予測ユニットを復号するために、ピクセルごとに、予測されたブロックと残差ブロックとを組み合わせ得る。

[0209] このようにして、図１３の方法は、ビデオデータの現在ブロックのための動き予測候補は動き情報が現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、決定に応答して、現在ブロックをサブブロックに区分することと、サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出することと、それぞれの導出された動き情報を使用してサブブロックを復号することとを含む、ビデオデータを復号する方法の一例を表す。

[0210] 上記例に応じて、本明細書で説明された技法のうちのいずれかのいくつかの行為またはイベントが、異なるシーケンスで行われ得、追加、マージ、または完全に除外され得る（例えば、全ての説明された行為またはイベントが本技法の実施のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、例えば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に行われ得る。

[0211] １つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。ソフトウェアで実施される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベース処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明される技法の実施のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0212] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。但し、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0213] 命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。従って、本明細書で使用される「プロセッサ」という用語は、上記の構造、または本明細書で説明された技法の実施に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成される専用ハードウェアおよび／またはソフトウェアモジュール内に与えられるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素で十分に実施され得る。

[0214] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（例えば、チップセット）を含む、多種多様なデバイスまたは装置で実施され得る。本開示では、開示される技法を行うように構成されるデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットが説明されたが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。

[0215] 様々な例が説明された。これらおよび他の例は、以下の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを復号する方法であって、
ビデオデータの現在ブロックのための動き予測候補は動き情報が前記現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、
前記決定に応答して、
前記現在ブロックを前記サブブロックに区分することと、
前記サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出することと、
前記それぞれの導出された動き情報を使用して前記サブブロックを復号することと
を備える、方法。
［Ｃ２］
前記少なくとも２つの隣接ブロックが、上に隣接するブロックと、左に隣接するブロックと、時間的に隣接するブロックとを含むグループから選択される、Ｃ１に記載の方法。
［Ｃ３］
前記上に隣接するブロックが、前記現在ブロック内の上に隣接するサブブロックを備える、Ｃ２に記載の方法。
［Ｃ４］
前記左に隣接するブロックが、前記現在ブロック内の左に隣接するサブブロックを備える、Ｃ２に記載の方法。
［Ｃ５］
前記上に隣接するブロックが、前記現在ブロックの外の上に隣接するサブブロックを備える、Ｃ２に記載の方法。
［Ｃ６］
前記左に隣接するブロックが、前記現在ブロックの外の左に隣接するサブブロックを備える、Ｃ２に記載の方法。
［Ｃ７］
前記時間的に隣接するブロックが、前に復号されたピクチャ中で前記現在ブロックとコロケートされたブロックに隣接する前記前に復号されたピクチャ中のブロックを備える、Ｃ２に記載の方法。
［Ｃ８］
前記動き情報を導出することが、前記上に隣接するブロックと、前記左に隣接するブロックと、前記時間的に隣接するブロックとのための前記動き情報の平均を使用して前記動き情報を導出することを備える、Ｃ２に記載の方法。
［Ｃ９］
前記隣接ブロックが、前記サブブロックのサイズに等しいかまたはそれらよりも小さいサイズを有する、Ｃ１に記載の方法。
［Ｃ１０］
前記サブブロックのサイズを表すデータを復号することをさらに備える、Ｃ１に記載の方法。
［Ｃ１１］
前記サブブロックの前記サイズを表す前記データを復号することが、スライスヘッダ、シーケンスパラメータセット（ＳＰＳ）、またはピクチャパラメータセット（ＰＰＳ）のうちの少なくとも１つ中で前記データを復号することを備える、Ｃ１０に記載の方法。
［Ｃ１２］
前記動き情報を導出することが、前記隣接ブロックのための動き情報を共通参照ピクチャにスケーリングすることを備える、Ｃ１に記載の方法。
［Ｃ１３］
前記動き情報を導出することが、以下の式、

に従って前記サブブロックの各々について動きベクトル（ＭＶ）を導出することを備え、ここで、ｗ _i が水平重み付けファクタを表し、ｗ _j が垂直重み付けファクタを表し、Ｏ _i が水平オフセット値を表し、Ｏ _j が垂直オフセット値を表す、Ｃ１に記載の方法。
［Ｃ１４］
前記動き予測候補を候補リストに追加することをさらに備える、Ｃ１に記載の方法。
［Ｃ１５］
前記サブブロックを復号することより前に前記サブブロックを符号化することをさらに備え、前記方法が、前記現在ブロックのための前記動き予測候補を識別するデータを符号化することをさらに備える、Ｃ１に記載の方法。
［Ｃ１６］
前記方法がワイヤレス通信デバイス上で実行可能であり、ここにおいて、前記デバイスが、
前記ビデオデータを記憶するように構成されるメモリと、
前記メモリに記憶された前記ビデオデータを処理するための命令を実行するように構成されるプロセッサと、
前記ビデオデータの符号化バージョンを受信するように構成される受信機とを備える、Ｃ１に記載の方法。
［Ｃ１７］
前記ワイヤレス通信デバイスがセルラー電話であり、前記符号化ビデオデータが、前記受信機によって受信され、セルラー通信規格に従って変調される、Ｃ１６に記載の方法。
［Ｃ１８］
ビデオデータを復号するためのデバイスであって、
ビデオデータを記憶するように構成されるメモリと、
前記ビデオデータの現在ブロックのための動き予測候補は動き情報が前記現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、
前記決定に応答して、
前記現在ブロックを前記サブブロックに区分することと、
前記サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出することと、
前記それぞれの導出された動き情報を使用して前記サブブロックを復号することと
をするように構成される、ビデオデコーダと
を備える、デバイス。
［Ｃ１９］
前記動き情報を導出するために、前記ビデオデコーダが、前記サブブロックの各々について、上に隣接するサブブロックと、左に隣接するサブブロックと、時間的に隣接するサブブロックとを使用して前記動き情報を導出するように構成される、Ｃ１８に記載のデバイス。
［Ｃ２０］
前記上に隣接するサブブロックが、前記現在ブロック内のまたは前記現在ブロック外の上に隣接するサブブロックを備え、
前記左に隣接するサブブロックが、前記現在ブロック内のまたは前記現在ブロック外の左に隣接するサブブロックを備える、Ｃ１９に記載のデバイス。
［Ｃ２１］
前記ビデオデコーダが、スライスヘッダ、シーケンスパラメータセット（ＳＰＳ）、またはピクチャパラメータセット（ＰＰＳ）のうちの少なくとも１つから、前記サブブロックのサイズを表すデータを復号するようにさらに構成される、Ｃ１８に記載のデバイス。
［Ｃ２２］
前記ビデオデコーダが、前記隣接ブロックのための動き情報を共通参照ピクチャにスケーリングするようにさらに構成される、Ｃ１８に記載のデバイス。
［Ｃ２３］
前記ビデオデコーダが前記サブブロックを復号する前に、前記サブブロックを符号化するように構成されるビデオエンコーダをさらに備える、Ｃ１８に記載のデバイス。
［Ｃ２４］
前記デバイスがワイヤレス通信デバイスであり、
前記ビデオデータの符号化バージョンを受信するように構成される受信機をさらに備える、Ｃ１８に記載のデバイス。
［Ｃ２５］
前記ワイヤレス通信デバイスがセルラー電話であり、前記符号化ビデオデータが、前記受信機によって受信され、セルラー通信規格に従って変調される、Ｃ２４に記載のデバイス。
［Ｃ２６］
ビデオデータを復号するためのデバイスであって、
ビデオデータの現在ブロックのための動き予測候補は動き情報が前記現在ブロックのサブブロックについて導出されるべきであることを示す、と決定するための手段と、
前記決定に応答して、前記現在ブロックを前記サブブロックに区分するための手段と、
前記決定に応答して、前記サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出するための手段と、
前記決定に応答して、前記それぞれの導出された動き情報を使用して前記サブブロックを復号するための手段と
を備える、デバイス。
［Ｃ２７］
前記動き情報を導出するための前記手段が、前記サブブロックの各々について、上に隣接するサブブロックと、左に隣接するサブブロックと、時間的に隣接するサブブロックとを使用して前記動き情報を導出するための手段を備える、Ｃ２６に記載のデバイス。
［Ｃ２８］
前記上に隣接するサブブロックが、前記現在ブロック内のまたは前記現在ブロック外の上に隣接するサブブロックを備え、
前記左に隣接するサブブロックが、前記現在ブロック内のまたは前記現在ブロック外の左に隣接するサブブロックを備える、Ｃ２７に記載のデバイス。
［Ｃ２９］
復号するための前記手段が前記サブブロックを復号する前に、前記サブブロックを符号化するための手段をさらに備える、Ｃ２６に記載のデバイス。
［Ｃ３０］
実行されたとき、プロセッサに、
ビデオデータの現在ブロックのための動き予測候補は動き情報が前記現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、
前記決定に応答して、
前記現在ブロックを前記サブブロックに区分することと、
前記サブブロックの各々について、少なくとも２つの隣接ブロックのための動き情報を使用して動き情報を導出することと、
前記それぞれの導出された動き情報を使用して前記サブブロックを復号することと
をさせる命令を記憶したコンピュータ可読記憶媒体。

Claims (22)

1. ビデオデータを復号する方法であって、
   ビデオデータの現在ブロックのための動き予測候補リスト中の動き予測候補を識別する候補インデックスの値は動き情報が前記現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、
   前記決定に応答して、
   前記候補インデックスに基づいて、および前記現在ブロックが前記サブブロックにスプリットされることを示す、前記候補インデックス以外のシンタックス要素を復号することなしに、前記サブブロックを決定することと、
   前記サブブロックの各々について、上に隣接するブロックと、左に隣接するブロックと、時間的に隣接するブロックとのための動き情報の平均を使用して動き情報を導出することと、ここにおいて前記上に隣接するブロックと、前記左に隣接するブロックと、前記時間的に隣接するブロックとが、前記サブブロックのサイズに等しいかまたはそれらよりも小さいサイズを有する、
   前記それぞれの導出された動き情報を使用して前記サブブロックを復号することと
   を備える、方法。
2. 前記上に隣接するブロックが、前記現在ブロック内の上に隣接するサブブロックを備える、請求項１に記載の方法。
3. 前記左に隣接するブロックが、前記現在ブロック内の左に隣接するサブブロックを備える、請求項１に記載の方法。
4. 前記上に隣接するブロックが、前記現在ブロックの外の上に隣接するサブブロックを備える、請求項１に記載の方法。
5. 前記左に隣接するブロックが、前記現在ブロックの外の左に隣接するサブブロックを備える、請求項１に記載の方法。
6. 前記時間的に隣接するブロックが、前に復号されたピクチャ中で前記現在ブロックとコロケートされたブロックに隣接する前記前に復号されたピクチャ中のブロックを備える、請求項１に記載の方法。
7. 前記サブブロックのサイズを表すデータを復号することをさらに備える、請求項１に記載の方法。
8. 前記サブブロックの前記サイズを表す前記データを復号することが、スライスヘッダ、シーケンスパラメータセット（ＳＰＳ）、またはピクチャパラメータセット（ＰＰＳ）のうちの少なくとも１つ中で前記データを復号することを備える、請求項７に記載の方法。
9. 前記動き情報を導出することが、前記上に隣接するブロックと、前記左に隣接するブロックと、前記時間的に隣接するブロックとのための動き情報を共通参照ピクチャにスケーリングすることを備える、請求項１に記載の方法。
10. 前記動き情報を導出することが、以下の式、
    

    

    に従って前記サブブロックの各々について動きベクトル（ＭＶ）を導出することを備える、請求項１に記載の方法。
11. 前記動き予測候補を前記動き予測候補リストに追加することをさらに備える、請求項１に記載の方法。
12. 前記方法がワイヤレス通信デバイス上で実行可能であり、ここにおいて、前記デバイスが、
    前記ビデオデータを記憶するように構成されるメモリと、
    前記メモリに記憶された前記ビデオデータを処理するための命令を実行するように構成されるプロセッサと、
    前記ビデオデータの符号化バージョンを受信するように構成される受信機と
    を備える、請求項１に記載の方法。
13. 前記ワイヤレス通信デバイスがセルラー電話であり、前記符号化ビデオデータが、前記受信機によって受信され、セルラー通信規格に従って変調される、請求項１２に記載の方法。
14. ビデオデータを復号するためのデバイスであって、
    回路を備え、ビデオデータを記憶するように構成されるメモリと、
    回路を備え、
    前記ビデオデータの現在ブロックのための動き予測候補リスト中の動き予測候補を識別する候補インデックスの値は動き情報が前記現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、
    前記決定に応答して、
    前記候補インデックスに基づいて、および前記現在ブロックが前記サブブロックにスプリットされることを示す、前記候補インデックス以外のシンタックス要素を復号することなしに、前記サブブロックを決定することと、
    前記サブブロックの各々について、上に隣接するブロックと、左に隣接するブロックと、時間的に隣接するブロックとのための動き情報の平均を使用して動き情報を導出することと、ここにおいて前記上に隣接するブロックと、前記左に隣接するブロックと、前記時間的に隣接するブロックとが、前記サブブロックのサイズに等しいかまたはそれらよりも小さいサイズを有する、
    前記それぞれの導出された動き情報を使用して前記サブブロックを復号することと
    をするように構成される、ビデオデコーダと
    を備える、デバイス。
15. 前記上に隣接するブロックが、前記現在ブロック内のまたは前記現在ブロック外の上に隣接するサブブロックを備え、
    前記左に隣接するブロックが、前記現在ブロック内のまたは前記現在ブロック外の左に隣接するサブブロックを備える、請求項１４に記載のデバイス。
16. 前記ビデオデコーダが、スライスヘッダ、シーケンスパラメータセット（ＳＰＳ）、またはピクチャパラメータセット（ＰＰＳ）のうちの少なくとも１つから、前記サブブロックのサイズを表すデータを復号するようにさらに構成される、請求項１４に記載のデバイス。
17. 前記ビデオデコーダが、前記上に隣接するブロックと、前記左に隣接するブロックと、前記時間的に隣接するブロックとのための動き情報を共通参照ピクチャにスケーリングするようにさらに構成される、請求項１４に記載のデバイス。
18. 前記デバイスがワイヤレス通信デバイスであり、
    前記ビデオデータの符号化バージョンを受信するように構成される受信機をさらに備える、請求項１４に記載のデバイス。
19. 前記ワイヤレス通信デバイスがセルラー電話であり、前記符号化ビデオデータが、前記受信機によって受信され、セルラー通信規格に従って変調される、請求項１８に記載のデバイス。
20. ビデオデータを復号するためのデバイスであって、
    ビデオデータの現在ブロックのための動き予測候補リスト中の動き予測候補を識別する候補インデックスの値は動き情報が前記現在ブロックのサブブロックについて導出されるべきであることを示す、と決定するための手段と、
    前記決定に応答して、前記候補インデックスに基づいて、および前記現在ブロックが前記サブブロックにスプリットされることを示す、前記候補インデックス以外のシンタックス要素を復号することなしに、前記サブブロックを決定するための手段と、
    前記決定に応答して、前記サブブロックの各々について、上に隣接するブロックと、左に隣接するブロックと、時間的に隣接するブロックとのための動き情報の平均を使用して動き情報を導出するための手段と、ここにおいて前記上に隣接するブロックと、前記左に隣接するブロックと、前記時間的に隣接するブロックとが、前記サブブロックのサイズに等しいかまたはそれらよりも小さいサイズを有する、
    前記決定に応答して、前記それぞれの導出された動き情報を使用して前記サブブロックを復号するための手段と
    を備える、デバイス。
21. 前記上に隣接するブロックが、前記現在ブロック内のまたは前記現在ブロック外の上に隣接するサブブロックを備え、
    前記左に隣接するブロックが、前記現在ブロック内のまたは前記現在ブロック外の左に隣接するサブブロックを備える、請求項２０に記載のデバイス。
22. 実行されたとき、プロセッサに、
    ビデオデータの現在ブロックのための動き予測候補リスト中の動き予測候補を識別する候補インデックスの値は動き情報が前記現在ブロックのサブブロックについて導出されるべきであることを示す、と決定することと、
    前記決定に応答して、
    前記候補インデックスに基づいて、および前記現在ブロックが前記サブブロックにスプリットされることを示す、前記候補インデックス以外のシンタックス要素を復号することなしに、前記サブブロックを決定することと、
    前記サブブロックの各々について、上に隣接するブロックと、左に隣接するブロックと、時間的に隣接するブロックとのための動き情報の平均を使用して動き情報を導出することと、ここにおいて前記上に隣接するブロックと、前記左に隣接するブロックと、前記時間的に隣接するブロックとが、前記サブブロックのサイズに等しいかまたはそれらよりも小さいサイズを有する、
    前記それぞれの導出された動き情報を使用して前記サブブロックを復号することと
    をさせる命令を記憶した非一時的コンピュータ可読記憶媒体。

Images