JP6352271B2 - 高効率ビデオコーディングに基づくスケーラブルコーディングのための動きフィールドアップサンプリング - Google Patents

Description

本開示は、ビデオコーディングおよび圧縮、高効率ビデオコーディング（ＨＥＶＣ：high efficiency video coding）に基づくスケーラブルコーディング、ならびにＨＥＶＣに基づくマルチビューおよび３ＤＶコーディングの分野に関する。

[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話または衛星無線電話、ビデオ遠隔会議デバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングの場合、ビデオスライス（たとえば、ビデオフレーム、ビデオフレームの一部分など）が、ツリーブロック、コーディングユニット（ＣＵ：coding unit）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック内の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0004]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピー符号化が適用され得る。

[0005]スケーラブルビデオコーディング（ＳＶＣ：scalable video coding）は、参照レイヤ（ＲＬ：reference layer）と呼ばれることがあるベースレイヤ（ＢＬ：base layer）と、１つまたは複数のスケーラブルエンハンスメントレイヤ（ＥＬ：enhancement layer）とが使用されるビデオコーディングを指す。ＳＶＣの場合、ベースレイヤは、ベースレベルの品質でビデオデータを搬送することができる。１つまたは複数のエンハンスメントレイヤは、より高い空間レベル、時間レベル、および／または信号対雑音ＳＮＲレベルをサポートするために追加のビデオデータを搬送することができる。エンハンスメントレイヤは、前に符号化されたレイヤに対して定義され得る。

[0006]たとえば、最下位レイヤはＢＬとして働き得、最上位レイヤはＥＬとして働き得る。中間レイヤは、ＥＬまたはＲＬのいずれか、あるいはその両方として働き得る。たとえば、中間にあるレイヤは、ベースレイヤまたは介在エンハンスメントレイヤ（intervening enhancement layer）など、それの下のレイヤのためのＥＬであり、同時に、それの上の１つまたは複数のエンハンスメントレイヤのためのＲＬとして働き得る。

[0007]ＨＥＶＣ拡張では、ベースレイヤ中の対応するブロックを使用して、エンハンスメントレイヤ中の現在ブロックが予測され得る。たとえば、現在ブロックのシンタックス要素、動き情報（たとえば動きベクトル）またはモード情報（たとえばイントラモード）は、ベースレイヤ中の対応するブロックに基づき得る。たとえば、ベースレイヤ中のピクチャの動きベクトルは、現在ブロックの動きベクトルを予測するために使用され得る。

[0008]しかしながら、ベースレイヤとエンハンスメントレイヤは異なる解像度を有することができる。２つのレイヤが異なる空間解像度を有するとき、ある情報（たとえばベースレイヤの動きフィールド）は、ＨＥＶＣコーディングユニットレベル設計によって容易にアクセス可能でないことがある。２つのレイヤが異なる空間解像度を有するときにスケーラブルビデオコーディングにおけるレイヤ間動き予測を可能にすることによって、本開示で説明する技法は、ＨＥＶＣのブロックレベルモジュールの著しい変更なしにコーディング効率を改善し得る。

[0009]本開示のシステム、方法およびデバイスは、それぞれいくつかの発明的態様を有し、それらのうちの単一の態様が、本明細書で開示する望ましい属性を単独で担当するとは限らない。

[0010]一実施形態では、ビデオ情報をコーディングするように構成された装置は、メモリユニットと、メモリユニットと通信しているプロセッサとを含む。メモリユニットは、第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を記憶するように構成され、ここにおいて、第１の空間解像度は第２の空間解像度よりも小さい。ビデオ情報は、少なくとも、第１のレイヤに関連付けられた動きフィールド情報を含む。プロセッサは、第１のレイヤに関連付けられた動きフィールド情報をアップサンプリングするように構成される。プロセッサは、さらに、第１のレイヤのアップサンプリングされたテクスチャピクチャに関連するアップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加する。プロセッサは、レイヤ間参照ピクチャのアップサンプリングされた動きフィールド情報に基づいて第２のレイヤの少なくとも一部分を予測するようにさらに構成され得る。一実施形態では、ビデオエンコーダまたはデコーダは、時間動きベクトル予測（ＴＭＶＰ：temporal motion vector prediction）のために使用されるべきコロケートピクチャ（co-located picture）としてレイヤ間参照ピクチャの一部分を使用し得る。一実施形態では、動きフィールド情報のアップサンプリングは、コーディングツリーと、コーディングユニットと、予測ユニットと、モードと、イントラモードと、インターモードと、イントラ予測モードとのうちの少なくとも１つをアップサンプリングされたテクスチャピクチャに関連付けることを備え得る。

[0011]一実施形態では、動きフィールドアップサンプリングは、第１のレイヤのレイヤ間参照ピクチャ中の各４×４ブロックについて別個に実行され、各々が参照インデックスに関連付けられた、最高２つのベクトルが導出される。別の実施形態では、動きフィールドアップサンプリングは、第１のレイヤのレイヤ間参照ピクチャ中の各１６×１６ブロックについて別個に実行され、動きフィールド情報をアップサンプリングすることに関して、各々が参照インデックスに関連付けられた、最高２つの動きベクトルが導出される。

[0012]一実施形態では、第２のレイヤ中の各Ｎ×Ｎブロックについて、Ｎ×Ｎブロックの中心位置が、第１のレイヤ中のＮ×Ｎブロックに対応する一意の位置にマッピングされ、第２のレイヤ中のＮ×Ｎブロックの動きフィールド情報が、第１のレイヤ中のＮ×Ｎブロックに関連付けられたアップサンプリングされた動きフィールド情報から導出される。一実施形態では、Ｎは少なくとも１６であり得る。一実施形態では、第２のレイヤ中の各Ｎ×Ｎブロックは、レイヤ間参照ピクチャ中の特定のコロケートＮ×Ｎブロックを有し、特定のＮ×Ｎブロックは、動きフィールド情報が特定のＮ×Ｎブロックのためにそこからアップサンプリングされる、第１のレイヤ中のコロケートブロックを有する。一実施形態では、第１のレイヤの動きフィールド情報は、ＨＥＶＣ動き圧縮に基づいてすでに圧縮されている。一実施形態では、中心位置をもつピクセルサンプルは、最初に、第２のレイヤ中で（たとえばエンハンスメントレイヤ中の現在ブロックのために）決定され、次いで、第１のレイヤ中の対応する位置（たとえばレイヤ間、ビュー間または参照ピクチャ）にマッピングされる。別の実施形態では、中心位置をもつピクセルサンプルは、最初に、第１のレイヤ中の対応するブロックのために決定され、次いで、第２のレイヤにマッピングされる。

[0013]一実施形態では、第１のレイヤのすべてのＮ×Ｎブロックが、第１の空間解像度に対する第２の空間解像度の比に等しい比でアップサンプリングされる。動きフィールド情報が、アップサンプリングされ、アップサンプリングされたブロックを含んでいる仮想ピクチャに関連付けられた後、第２のレイヤ（たとえばエンハンスメントレイヤ）中の各Ｎ×Ｎブロックの中心位置は、ブロックを仮想ピクチャ中の対応するブロックにマッピングするために直接使用される。中心位置を含んでいる対応するアップサンプリングされたブロックの動き情報のフルセットは、第２のレイヤ中のＮ×Ｎブロックのために再利用される。別の実施形態では、第２のレイヤ中のＮ×Ｎブロックの任意の位置（たとえばコーナー）が、ブロックをベースレイヤピクチャまたはアップサンプリングされたピクチャにマッピングするために使用される。一実施形態では、Ｎ×Ｎブロックが、第１のレイヤからの複数のアップサンプリングされたブロックと整合されたとき、参照インデックス選択および動きベクトル選択がさらに適用され得る。

[0014]一実施形態では、第１のレイヤブロックの最初の予測モードがイントラである場合、第１のレイヤのアップサンプリングの後、第１のレイヤブロックのためにイントラモードが保たれ、イントラブロックのために動きフィールドがアップサンプリングされない。別の実施形態では、最初の第１のレイヤ予測モードにかかわらず、アップサンプリングの後、アップサンプル動きフィールド情報とともに各ブロックにインター予測モードが割り当てられる。別の実施形態では、隣接ブロックの予測モードは、動きフィールド情報と予測モード情報とをアップサンプリングされたブロックに割り当てる際に考慮される。たとえば、一実施形態では、第１のレイヤ中の特定ブロックがイントラブロックである場合でも、特定のブロックの大部分の隣接ブロックがインター予測モードを有する場合、特定のブロックのためにインター予測モードが割り当てられる。

[0015]別の実施形態では、ビデオ情報を符号化する方法は、第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を受信することと、ここにおいて、第１の空間解像度は第２の空間解像度よりも小さく、ビデオ情報は、少なくとも、第１のレイヤに関連付けられた動きフィールド情報を含み；第１のレイヤに関連付けられた動きフィールド情報をアップサンプリングすることと；ビットストリーム中の第２のレイヤに関連付けられた少なくとも１つのシンタックス要素をシグナリングすることと；を含む。本方法は、第１のレイヤのアップサンプリングされたテクスチャピクチャに関連するアップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加することをさらに含み得る。本方法はまた、レイヤ間参照ピクチャのアップサンプリングされた動きフィールド情報に基づいて第２のレイヤの少なくとも一部分を予測することを含み得る。

[0016]別の実施形態では、ビデオ情報を復号する方法は、符号化ビデオビットストリームから抽出されたシンタックス要素を受信することと、ここにおいて、シンタックス要素は、第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を備え、第１の空間解像度は第２の空間解像度よりも小さく、ビデオ情報は、少なくとも、第１のレイヤに関連付けられた動きフィールド情報を含み；第１のレイヤに関連付けられた動きフィールド情報をアップサンプリングすることと；を含む。本方法は、第１のレイヤのアップサンプリングされたテクスチャピクチャに関連するアップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを追加することをさらに含み得る。本方法はまた、レイヤ間参照ピクチャのアップサンプリングされた動きフィールド情報に基づいて第２のレイヤの少なくとも一部分を予測することを含み得る。

[0017]別の実施形態では、非一時的コンピュータ可読媒体は、実行されたとき、第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を記憶することと、ここにおいて、第１の空間解像度は第２の空間解像度よりも小さく、ビデオ情報は、少なくとも、第１のレイヤに関連付けられた動きフィールド情報を含み；第１のレイヤに関連付けられた動きフィールド情報をアップサンプリングすることと；を装置に行わせるコードを含む。本装置は、第１のレイヤのアップサンプリングされたテクスチャピクチャに関連するアップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加することをさらに行わせ得る。本装置は、レイヤ間参照ピクチャのアップサンプリングされた動きフィールド情報に基づいて第２のレイヤの少なくとも一部分を予測することをさらに行わせ得る。

[0018]別の実施形態では、ビデオ情報をコーディングするように構成されたビデオコーディングデバイスは、第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を記憶するための手段と、ここにおいて、第１の空間解像度は第２の空間解像度よりも小さく、ビデオ情報は、少なくとも、第１のレイヤに関連付けられた動きフィールド情報を含み；第１のレイヤに関連付けられた動きフィールド情報をアップサンプリングするための手段と；を含む。本デバイスは、第１のレイヤのアップサンプリングされたテクスチャピクチャに関連するアップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加するための手段をさらに備え得る。本デバイスは、レイヤ間参照ピクチャのアップサンプリングされた動きフィールド情報に基づいて第２のレイヤの少なくとも一部分を予測するための手段をさらに備え得る。

本開示で説明する態様による技法を利用し得るビデオ符号化および復号システムの一例を示すブロック図。 本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 時間優先（time-first）コーディングを示す例示的な図。 マルチビュービデオコーディング（ＭＶＣ：Multiview Video Coding）時間的予測およびビュー間予測構造を示す例示的な図。 クリーンランダムアクセス（ＣＲＡ：clean random access）ピクチャとリーディングピクチャとを示す例示的な図。 ＨＥＶＣ設計を使用したビュー間／レイヤ動き予測の一例を示す図。 動きフィールドアップサンプリングを示す一例を示す図。 ビデオ情報をコーディングするための方法を示すフローチャート。

[0028]本明細書で説明するいくつかの実施形態は、ＨＥＶＣ（高効率ビデオコーディング）など、アドバンストビデオコーデックのコンテキストにおけるスケーラブルビデオコーディングのためのレイヤ間予測に関する。より詳細には、本開示は、ＨＥＶＣのスケーラブルビデオコーディング（ＳＶＣ）拡張におけるレイヤ間予測の性能の改善のためのシステムおよび方法に関する。以下の説明では、いくつかの実施形態に関係するＨ．２６４／ＡＶＣ技法について説明し、ＨＥＶＣ規格および関係する技法についても説明する。いくつかの実施形態について、ＨＥＶＣおよび／またはＨ．２６４規格のコンテキストにおいて本明細書で説明するが、本明細書で開示するシステムおよび方法が任意の好適なビデオコーディング規格に適用可能であり得ることを、当業者は諒解されよう。たとえば、本明細書で開示する実施形態は、以下の規格、すなわち、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、およびそれのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４のうちの１つまたは複数に適用可能であり得る。

[0029]単に説明の目的で、本明細書で開示するいくつかの実施形態について、ただ２つのレイヤ（たとえば、ベースレイヤなどの下位レベルレイヤ、およびエンハンスメントレイヤなどの上位レベルレイヤ）を含む例を用いて説明する。そのような例は、複数のベースレイヤおよび／またはエンハンスメントレイヤを含む構成に適用可能であり得ることを理解されたい。さらに、説明を簡単にするために、以下の開示は、いくつかの実施形態に関して「フレーム」または「ブロック」という用語を含む。ただし、これらの用語は限定的なものではない。たとえば、以下で説明する技法は、ブロック（たとえば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、フレームなど、任意の好適なビデオユニットとともに使用され得る。

[0030]ＨＥＶＣは、概して、多くの点で、前のビデオコーディング規格のフレームワークに従う。ＨＥＶＣにおける予測のユニットは、いくつかの前のビデオコーディング規格におけるユニット（たとえば、マクロブロック）とは異なる。事実上、マクロブロックの概念は、いくつかの前のビデオコーディング規格において理解されているように、ＨＥＶＣ中に存在しない。マクロブロックは、考えられる利益の中でも、高いフレキシビリティを与え得る、４分木方式に基づく階層構造と置き換えられ得る。たとえば、ＨＥＶＣ方式内で、３つのタイプのブロック、すなわち、コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Prediction Unit）、および変換ユニット（ＴＵ：Transform Unit）が定義される。ＣＵは領域分割の基本ユニットを指し得る。ＣＵはマクロブロックの概念に類似すると見なされ得るが、それは、最大サイズを制限せず、コンテンツ適応性を改善するために４つの等しいサイズのＣＵへの再帰的分割を可能にし得る。ＰＵはインター／イントラ予測の基本ユニットと見なされ得、それは、不規則な画像パターンを効果的にコーディングするために、単一のＰＵ中に複数の任意の形状区分を含んでいることがある。ＴＵは変換の基本ユニットと見なされ得る。それは、ＰＵとは無関係に定義され得るが、それのサイズは、ＴＵが属するＣＵに制限され得る。３つの異なる概念へのブロック構造のこの分離は、各々がそれの役割に従って最適化されることを可能にし得、それによりコーディング効率が改善され得る。

ビデオコーディング規格
[0031]ビデオ画像、ＴＶ画像、静止画像、あるいはビデオレコーダまたはコンピュータによって生成された画像など、デジタル画像は、水平ラインおよび垂直ラインで構成されたピクセルからなり得る。単一の画像中のピクセルの数は一般に数万個である。各ピクセルは、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮なしに、画像エンコーダから画像デコーダに搬送されるべき情報の量は、リアルタイム画像送信を不可能にするほど非常に大きい。送信されるべき情報の量を低減するために、ＪＰＥＧ、ＭＰＥＧおよびＨ．２６３規格など、いくつかの異なる圧縮方法が開発された。

[0032]ビデオコーディング規格は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、およびそれのスケーラブルビデオコーディング（ＳＶＣ）拡張とマルチビュービデオコーディング（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４を含み、そのすべての全体が参照により組み込まれる。

[0033]さらに、新しいビデオコーディング規格、すなわち、高効率ビデオコーディング（ＨＥＶＣ）が、ＩＴＵ−Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ：Video Coding Experts Group）とＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ：Motion Picture Experts Group）とのジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発されている。ＨＥＶＣの最近のドラフトは、２０１３年８月９日現在、http://phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zipから利用可能であり、その全体が参照により組み込まれる。ＨＥＶＣドラフト１０についての完全引用は、文書ＪＪＣＴＶＣ−Ｌ１００３、Ｂｒｏｓｓら、「High Efficiency Video Coding (HEVC) Text Specification Draft 10」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントコラボレーティブチームオンビデオコーディング（ＪＣＴ−ＶＣ：Joint Collaborative Team on Video Coding）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４日〜２０１３年１月２３日である。

[0034]添付の図面を参照しながら新規のシステム、装置、および方法の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本発明の他の態様とは無関係に実装されるにせよ、本発明の他の態様と組み合わされるにせよ、本明細書で開示する新規のシステム、装置、および方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本発明の範囲は、本明細書に記載の本発明の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する任意の態様が請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

[0035]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々なワイヤレス技術、システム構成、ネットワーク、および伝送プロトコルに広く適用可能であるものとし、それらのいくつかを例として、図および好適な態様についての以下の説明において示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。

[0036]添付の図面は例を示している。添付の図面中の参照番号によって示される要素は、以下の説明における同様の参照番号によって示される要素に対応する。

ビデオコーディングシステム
[0037]図１は、本開示で説明する態様による技法を利用し得る例示的なビデオコーディングシステム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコーディング」または「コーディング」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。

[0038]図１に示されているように、ビデオコーディングシステム１０は、ソースデバイス１２と宛先デバイス１４とを含む。ソースデバイス１２は符号化ビデオデータを生成する。宛先デバイス１４は、ソースデバイス１２によって生成された符号化ビデオデータを復号し得る。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（たとえば、ラップトップなど）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォン、いわゆる「スマート」パッドなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータなどを含む、広範囲にわたるデバイスを備え得る。いくつかの例では、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。

[0039]宛先デバイス１４は、チャネル１６を介してソースデバイス１２から符号化ビデオデータを受信し得る。チャネル１６は、ソースデバイス１２から宛先デバイス１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、チャネル１６は、ソースデバイス１２が符号化ビデオデータを宛先デバイス１４にリアルタイムで直接送信することを可能にする通信媒体を備え得る。この例では、ソースデバイス１２は、ワイヤレス通信プロトコルなどの通信規格に従って符号化ビデオデータを変調し得、変調されたビデオデータを宛先デバイス１４に送信し得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、ワイヤレス通信媒体またはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス１２から宛先デバイス１４への通信を可能にするルータ、スイッチ、基地局、または他の機器を含み得る。

[0040]別の例では、チャネル１６は、ソースデバイス１２によって生成された符号化ビデオデータを記憶する記憶媒体に対応し得る。この例では、宛先デバイス１４は、ディスクアクセスまたはカードアクセスを介して記憶媒体にアクセスし得る。記憶媒体は、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、または符号化ビデオデータを記憶するための他の適切なデジタル記憶媒体など、様々なローカルにアクセスされるデータ記憶媒体を含み得る。さらなる例では、チャネル１６は、ソースデバイス１２によって生成された符号化ビデオを記憶する、ファイルサーバまたは別の中間記憶デバイスを含み得る。この例では、宛先デバイス１４は、ストリーミングまたはダウンロードを介して、ファイルサーバまたは他の中間ストレージデバイスに記憶された符号化ビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、符号化ビデオデータを宛先デバイス１４に送信することとが可能なタイプのサーバであり得る。例示的なファイルサーバとしては、（たとえば、ウェブサイトなどのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）デバイス、およびローカルディスクドライブがある。宛先デバイス１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。例示的なタイプのデータ接続としては、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続など）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せがあり得る。ファイルサーバからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組合せであり得る。

[0041]本開示の技法はワイヤレス適用例または設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信（たとえば、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）など）、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、ビデオコーディングシステム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

[0042]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、ビデオキャプチャデバイス、たとえば、ビデオカメラ、以前にキャプチャされたビデオデータを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、および／またはビデオデータを生成するためのコンピュータグラフィックスシステムなどのソース、あるいはそのようなソースの組合せを含み得る。

[0043]ビデオエンコーダ２０は、キャプチャされたビデオデータ、以前にキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化するように構成され得る。符号化ビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化ビデオデータはまた、復号および／または再生のための宛先デバイス１４による後のアクセスのために記憶媒体またはファイルサーバ上に記憶され得る。

[0044]図１の例では、宛先デバイス１４は、入力インターフェース２８と、ビデオデコーダ３０と、ディスプレイデバイス３２とを含む。場合によっては、入力インターフェース２８は受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、チャネル１６を介して符号化ビデオデータを受信する。符号化ビデオデータは、ビデオデータを表す、ビデオエンコーダ２０によって生成された様々なシンタックス要素を含み得る。シンタックス要素は、ブロックおよび他のコード化ユニット、たとえば、ピクチャグループ（ＧＯＰ：group of pictures）の特性および／または処理を記述し得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、またはファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。

[0045]ディスプレイデバイス３２は、宛先デバイス１４と一体化され得るかまたはその外部にあり得る。いくつかの例では、宛先デバイス１４は、一体型ディスプレイデバイスを含み得、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。概して、ディスプレイデバイス３２は復号ビデオデータをユーザに表示する。ディスプレイデバイス３２は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。

[0046]ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中の高効率ビデオコーディング（ＨＥＶＣ）規格など、ビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としてはＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。

[0047]図１の例には示されていないが、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれオーディオエンコーダおよびデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ：user datagram protocol）などの他のプロトコルに準拠し得る。

[0048]この場合も、図１は一例にすぎず、本開示の技法は、符号化デバイスと復号デバイスとの間のデータ通信を必ずしも含むとは限らないビデオコーディング設定（たとえば、ビデオ符号化またはビデオ復号）に適用され得る。他の例では、データがローカルメモリから取り出されること、ネットワークを介してストリーミングされることなどが行われ得る。符号化デバイスは、データを符号化し、メモリに記憶し得、および／または、復号デバイスは、メモリからデータを取り出し、復号し得る。多くの例では、符号化および復号は、互いに通信しないが、メモリにデータを符号化し、および／またはメモリからデータを取り出して復号するだけであるデバイスによって実行される。

[0049]ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ハードウェアなど、様々な好適な回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読記憶媒体にソフトウェアの命令を記憶し得、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０および／またはビデオデコーダ３０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。

[0050]上記で手短に述べたように、ビデオエンコーダ２０はビデオデータを符号化する。ビデオデータは１つまたは複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。いくつかの事例では、ピクチャはビデオ「フレーム」と呼ばれることがある。ビデオエンコーダ２０がビデオデータを符号化するとき、ビデオエンコーダ２０はビットストリームを生成し得る。ビットストリームは、ビデオデータのコード化表現を形成するビットのシーケンスを含み得る。ビットストリームはコード化ピクチャと関連データとを含み得る。コード化ピクチャはピクチャのコード化表現である。

[0051]ビットストリームを生成するために、ビデオエンコーダ２０は、ビデオデータ中の各ピクチャに対して符号化オペレーションを実行し得る。ビデオエンコーダ２０がピクチャに対して符号化オペレーションを実行するとき、ビデオエンコーダ２０は、一連のコード化ピクチャと関連データとを生成し得る。関連データは、シーケンスパラメータセットと、ピクチャパラメータセットと、適応パラメータセットと、他のシンタックス構造とを含み得る。シーケンスパラメータセット（ＳＰＳ：sequence parameter set）は、ピクチャの０個以上のシーケンスに適用可能なパラメータを含んでいることがある。ピクチャパラメータセット（ＰＰＳ：picture parameter set）は、０個以上のピクチャに適用可能なパラメータを含んでいることがある。適応パラメータセット（ＡＰＳ：adaptation parameter set）は、０個以上のピクチャに適用可能なパラメータを含んでいることがある。ＡＰＳ中のパラメータは、ＰＰＳ中のパラメータよりも変化する可能性が高いパラメータであり得る。

[0052]コード化ピクチャを生成するために、ビデオエンコーダ２０は、ピクチャを等しいサイズのビデオブロックに区分し得る。ビデオブロックはサンプルの２次元アレイであり得る。ビデオブロックの各々はツリーブロックに関連付けられる。いくつかの事例では、ツリーブロックは、最大コーディングユニット（ＬＣＵ：largest coding unit）と呼ばれることがある。ＨＥＶＣのツリーブロックは、Ｈ．２６４／ＡＶＣなど、以前の規格のマクロブロックに広い意味で類似し得る。しかしながら、ツリーブロックは、必ずしも特定のサイズに限定されるとは限らず、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。ビデオエンコーダ２０は、４分木区分（quadtree partitioning）を使用して、ツリーブロックのビデオブロックを、ＣＵに関連付けられたビデオブロックに区分し得、したがって「ツリーブロック」という名前がある。

[0053]いくつかの例では、ビデオエンコーダ２０はピクチャを複数のスライスに区分し得る。スライスの各々は整数個のＣＵを含み得る。いくつかの事例では、スライスは整数個のツリーブロックを備える。他の事例では、スライスの境界はツリーブロック内にあり得る。

[0054]ピクチャに対して符号化オペレーションを実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化オペレーションを実行し得る。ビデオエンコーダ２０がスライスに対して符号化オペレーションを実行するとき、ビデオエンコーダ２０は、スライスに関連付けられた符号化データを生成し得る。スライスに関連付けられた符号化データは「コード化スライス」と呼ばれることがある。

[0055]コード化スライスを生成するために、ビデオエンコーダ２０は、スライス中の各ツリーブロックに対して符号化オペレーションを実行し得る。ビデオエンコーダ２０がツリーブロックに対して符号化オペレーションを実行するとき、ビデオエンコーダ２０はコード化ツリーブロックを生成し得る。コード化ツリーブロックは、ツリーブロックの符号化バージョンを表すデータを備え得る。

[0056]ビデオエンコーダ２０がコード化スライスを生成するとき、ビデオエンコーダ２０は、ラスタ走査順序に従って、スライス中のツリーブロックに対して符号化オペレーションを実行し得る（すなわち、そのツリーブロックを符号化し得る）。言い換えれば、ビデオエンコーダ２０は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む、順序で、ビデオエンコーダ２０がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。

[0057]ラスタ走査順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上および左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下および右のツリーブロックはまだ符号化されていない。したがって、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上および左のツリーブロックを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下および右のツリーブロックを符号化することによって生成された情報にアクセスすることができないことがある。

[0058]コード化ツリーブロックを生成するために、ビデオエンコーダ２０は、ツリーブロックのビデオブロックに対して４分木区分を再帰的に実行して、ビデオブロックを徐々により小さいビデオブロックに分割し得る。より小さいビデオブロックの各々は異なるＣＵに関連付けられ得る。たとえば、ビデオエンコーダ２０は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し、サブブロックのうちの１つまたは複数を、４つの等しいサイズのサブサブブロックに区分し得、以下同様である。１つの区分されたＣＵは、それのビデオブロックが、他のＣＵに関連付けられたビデオブロックに区分された、ＣＵであり得る。１つの区分されていないＣＵは、それのビデオブロックが、他のＣＵに関連付けられたビデオブロックに区分されていない、ＣＵであり得る。

[0059]ビットストリーム中の１つまたは複数のシンタックス要素は、ビデオエンコーダ２０がツリーブロックのビデオブロックを区分し得る最大の回数を示し得る。ＣＵのビデオブロックは形状が正方形であり得る。ＣＵのビデオブロックのサイズ（すなわち、ＣＵのサイズ）は、８×８ピクセルから、最大６４×６４以上のピクセルをもつツリーブロックのビデオブロックのサイズ（すなわち、ツリーブロックのサイズ）までに及び得る。

[0060]ビデオエンコーダ２０は、ｚ走査順序に従って、ツリーブロックの各ＣＵに対して符号化オペレーションを実行し得る（すなわち、各ＣＵを符号化し得る）。言い換えれば、ビデオエンコーダ２０は、左上のＣＵ、右上のＣＵ、左下のＣＵ、次いで右下のＣＵを、その順序で符号化し得る。ビデオエンコーダ２０が、１つの区分されたＣＵに対して符号化オペレーションを実行するとき、ビデオエンコーダ２０は、ｚ走査順序に従って、当該区分されたＣＵのビデオブロックのサブブロックに関連付けられたＣＵを符号化し得る。言い換えれば、ビデオエンコーダ２０は、左上のサブブロックに関連付けられたＣＵ、右上のサブブロックに関連付けられたＣＵ、左下のサブブロックに関連付けられたＣＵ、次いで右下のサブブロックに関連付けられたＣＵを、その順序で符号化し得る。

[0061]ｚ走査順序に従ってツリーブロックのＣＵを符号化した結果として、所与のＣＵの上、左上、右上、左、および左下のＣＵは符号化されていることがある。所与のＣＵの下および右のＣＵはまだ符号化されていない。したがって、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接するいくつかのＣＵを符号化することによって生成された情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する他のＣＵを符号化することによって生成された情報にアクセスすることができないことがある。

[0062]ビデオエンコーダ２０が、区分されていないＣＵを符号化するとき、ビデオエンコーダ２０は、ＣＵのために１つまたは複数の予測ユニット（ＰＵ）を生成し得る。ＣＵの複数のＰＵの各々は、当該ＣＵのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのための予測ビデオブロックを生成し得る。ＰＵの予測ビデオブロックはサンプルのブロックであり得る。ビデオエンコーダ２０は、イントラ予測またはインター予測を使用して、ＰＵのための予測ビデオブロックを生成し得る。

[0063]ビデオエンコーダ２０がイントラ予測を使用してＰＵの予測ビデオブロックを生成するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がイントラ予測を使用してＣＵのＰＵの予測ビデオブロックを生成する場合、ＣＵはイントラ予測されたＣＵである。ビデオエンコーダ２０がインター予測を使用してＰＵの予測ビデオブロックを生成するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つまたは複数のピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がインター予測を使用してＣＵのＰＵの予測ビデオブロックを生成する場合、ＣＵはインター予測されたＣＵである。

[0064]さらに、ビデオエンコーダ２０がインター予測を使用してＰＵのための予測ビデオブロックを生成するとき、ビデオエンコーダ２０はＰＵの動き情報を生成し得る。ＰＵの動き情報は、ＰＵの１つまたは複数の参照ブロックを示し得る。ＰＵの各参照ブロックは参照ピクチャ内のビデオブロックであり得る。参照ピクチャはＰＵに関連付けられたピクチャ以外のピクチャであり得る。いくつかの事例では、ＰＵの参照ブロックはＰＵの「参照サンプル」と呼ばれることもある。ビデオエンコーダ２０は、ＰＵの参照ブロックに基づいて、ＰＵのための予測ビデオブロックを生成し得る。

[0065]ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵのための予測ビデオブロックを生成した後、ビデオエンコーダ２０は、ＣＵのＰＵのための予測ビデオブロックに基づいて、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのＰＵのための予測ビデオブロック中のサンプルと、ＣＵの元のビデオブロック中のサンプルとの間の差を示し得る。

[0066]さらに、１つの区分されていないＣＵに対して符号化オペレーションを実行することの一部として、ビデオエンコーダ２０は、当該ＣＵの残差データに対して再帰的な４分木区分を実行して、当該ＣＵの残差データを、当該ＣＵの複数の変換ユニット（ＴＵ）に関連付けられた残差データの１つまたは複数のブロック（すなわち、残差ビデオブロック）に区分し得る。ＣＵの各ＴＵは異なる残差ビデオブロックに関連付けられ得る。

[0067]ビデオエンコーダ２０は、ＴＵに関連付けられた残差ビデオブロックに１つまたは複数の変換を適用して、ＴＵに関連付けられた変換係数ブロック（すなわち、変換係数のブロック）を生成し得る。概念的に、変換係数ブロックは変換係数の２次元（２Ｄ）行列であり得る。

[0068]変換係数ブロックを生成した後、ビデオエンコーダ２０は、変換係数ブロックに対して量子化プロセスを実行し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現する処理を指す。量子化プロセスは、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、量子化中にｎビットの変換係数がｍビットの変換係数に切り捨てられることがあり、ここで、ｎはｍよりも大きい。

[0069]ビデオエンコーダ２０は、各ＣＵを量子化パラメータ（ＱＰ：quantization parameter）値に関連付け得る。ＣＵに関連付けられたＱＰ値は、ビデオエンコーダ２０が、ＣＵに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオエンコーダ２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。

[0070]ビデオエンコーダ２０が変換係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数ブロック中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオエンコーダ２０は、これらのシンタックス要素のうちのいくつかに、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：Context Adaptive Binary Arithmetic Coding）オペレーションなどのエントロピー符号化オペレーションを適用し得る。コンテンツ適応型可変長コーディング（ＣＡＶＬＣ：content adaptive variable length coding）、確率間隔区分エントロピー（ＰＩＰＥ：probability interval partitioning entropy）コーディング、または他のバイナリ算術コーディングなど、他のエントロピーコーディング技法も使用され得る。

[0071]ビデオエンコーダ２０によって生成されるビットストリームは、一連のネットワークアブストラクションレイヤ（ＮＡＬ：Network Abstraction Layer）ユニットを含み得る。ＮＡＬユニットの各々は、ＮＡＬユニット中のデータのタイプの指示と、データを含んでいるバイトとを含んでいるシンタックス構造であり得る。たとえば、ＮＡＬユニットは、シーケンスパラメータセット、ピクチャパラメータセット、コード化スライス、補足エンハンスメント情報（ＳＥＩ：supplemental enhancement information）、アクセスユニット区切り文字、フィラーデータ、または別のタイプのデータを表すデータを含み得る。ＮＡＬユニット中のデータは様々なシンタックス構造を含み得る。

[0072]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオエンコーダ２０によって符号化されたビデオデータのコード化表現を含み得る。ビデオデコーダ３０がビットストリームを受信するとき、ビデオデコーダ３０は、ビットストリームに対してパースオペレーションを実行し得る。ビデオデコーダ３０がパースオペレーションを実行するとき、ビデオデコーダ３０は、ビットストリームからシンタックス要素を抽出し得る。ビデオデコーダ３０は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオエンコーダ２０によって実行されるプロセスとは逆であり得る。

[0073]ビデオデコーダ３０が１つのＣＵに関連付けられたシンタックス要素を抽出した後、ビデオデコーダ３０は、シンタックス要素に基づいて、当該ＣＵの複数のＰＵのための予測ビデオブロックを生成し得る。さらに、ビデオデコーダ３０は、当該ＣＵの複数のＴＵに関連付けられた変換係数ブロックを逆量子化し得る。ビデオデコーダ３０は、変換係数ブロックに対して逆変換を実行して、当該ＣＵの複数のＴＵに関連付けられた残差ビデオブロックを再構成し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオデコーダ３０は、予測ビデオブロックと残差ビデオブロックとに基づいて、ＣＵのビデオブロックを再構成し得る。このようにして、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、ＣＵのビデオブロックを再構成し得る。

ビデオエンコーダ
[0074]図２は、本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図である。ビデオエンコーダ２０は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。一例として、インター予測モジュール１２１およびアップサンプリングモジュール１３０は、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。ただし、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオエンコーダ２０の様々な構成要素間で共有され得る。いくつかの例では、追加としてまたは代わりに、プロセッサ（図示せず）が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。

[0075]説明の目的で、本開示では、ＨＥＶＣコーディングのコンテキストにおいてビデオエンコーダ２０について説明する。しかしながら、本開示の技法は、他のコーディング規格または方法にも適用可能であり得る。

[0076]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラ（Ｉ）モードは、いくつかの空間ベースのコーディングモードのいずれかを指し得る。単方向予測（Ｐモード）または双予測（Ｂモード）などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指し得る。

[0077]図２の例では、ビデオエンコーダ２０は複数の機能構成要素を含む。ビデオエンコーダ２０の機能構成要素は、予測モジュール１００と、残差生成モジュール１０２と、変換モジュール１０４と、量子化モジュール１０６と、逆量子化モジュール１０８と、逆変換モジュール１１０と、再構成モジュール１１２と、フィルタモジュール１１３と、復号ピクチャバッファ１１４と、エントロピー符号化モジュール１１６とを含む。予測モジュール１００は、インター予測モジュール１２１と、動き推定モジュール１２２と、動き補償モジュール１２４と、イントラ予測モジュール１２６と、アップサンプリングモジュール１３０とを含む。他の例では、ビデオエンコーダ２０は、より多数の、より少数の、または異なる機能構成要素を含み得る。さらに、動き推定モジュール１２２と動き補償モジュール１２４は、高度に統合され得るが、図２の例では、説明の目的で別々に表されている。

[0078]ビデオエンコーダ２０はビデオデータを受信し得る。ビデオエンコーダ２０は、様々なソースからビデオデータを受信し得る。たとえば、ビデオエンコーダ２０は、ビデオソース１８（図１）または別のソースからビデオデータを受信し得る。ビデオデータは一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオエンコーダ２０は、ピクチャの各々に対して符号化オペレーションを実行し得る。ピクチャに対して符号化オペレーションを実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化オペレーションを実行し得る。スライスに対して符号化オペレーションを実行することの一部として、ビデオエンコーダ２０は、スライス中のツリーブロックに対して符号化オペレーションを実行し得る。

[0079]ツリーブロックに対して符号化オペレーションを実行することの一部として、予測モジュール１００は、ツリーブロックのビデオブロックに対して４分木区分を実行して、ビデオブロックを徐々により小さいビデオブロックに分割し得る。より小さいビデオブロックの各々は異なるＣＵに関連付けられ得る。たとえば、予測モジュール１００は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し、サブブロックのうちの１つまたは複数を、４つの等しいサイズのサブサブブロックに区分し得、以下同様である。

[0080]ＣＵに関連付けられたビデオブロックのサイズは、８×８サンプルから、最大６４×６４以上のサンプルをもつツリーブロックのサイズまでに及び得る。本開示では、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」は、垂直寸法および水平寸法に関するビデオブロックのサンプル寸法、たとえば、１６×１６（16x16）サンプルまたは１６×１６（16 by 16）サンプルを指すために互換的に使用され得る。概して、１６×１６ビデオブロックは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。

[0081]さらに、ツリーブロックに対して符号化オペレーションを実行することの一部として、予測モジュール１００は、ツリーブロック用の階層的な４分木データ構造を生成し得る。たとえば、ツリーブロックは、４分木データ構造のルートノードに対応し得る。予測モジュール１００が、ツリーブロックのビデオブロックを４つのサブブロックに区分する場合、ルートノードは、４分木データ構造中に４つの子ノードを有する。子ノードの各々は、サブブロックのうちの１つに関連付けられたＣＵに対応する。予測モジュール１００が、サブブロックのうちの１つを４つのサブサブブロックに区分する場合、サブブロックに関連付けられたＣＵに対応するノードは、４つの子ノードを有し得、そのそれぞれは、サブサブブロックのうちの１つに関連付けられたＣＵに対応する、
[0082]４分木データ構造の各ノードは、対応するツリーブロックまたはＣＵのシンタックスデータ（たとえば、シンタックス要素）を含み得る。たとえば、４分木の中のノードは、そのノードに対応するＣＵのビデオブロックが４つのサブブロックに区分される（すなわち、分割される）かどうかを示すスプリットフラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵのビデオブロックがサブブロックに分割されるかどうかに依存し得る。それのビデオブロックが区分されていないＣＵは、４分木データ構造におけるリーフノードに対応し得る。コード化ツリーブロックは、対応するツリーブロック用の４分木データ構造に基づくデータを含み得る。

[0083]ビデオエンコーダ２０は、ツリーブロックの区分されていない各ＣＵに対して符号化オペレーションを実行し得る。ビデオエンコーダ２０が、区分されていないＣＵに対して符号化オペレーションを実行するとき、ビデオエンコーダ２０は、区分されていないＣＵの符号化表現を表すデータを生成する。

[0084]ＣＵに対して符号化オペレーションを実行することの一部として、予測モジュール１００は、ＣＵの１つまたは複数のＰＵの中で、ＣＵのビデオブロックを区分し得る。ビデオエンコーダ２０およびビデオデコーダ３０は、様々なＰＵサイズをサポートし得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２０およびビデオデコーダ３０は、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、または同様の対称ＰＵサイズでのインター予測とをサポートし得る。ビデオエンコーダ２０およびビデオデコーダ３０は、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズに対する非対称区分をもサポートし得る。いくつかの例では、予測モジュール１００は、ＣＵのビデオブロックの辺と直角に交わらない境界に沿って、ＣＵのＰＵの間でＣＵのビデオブロックを区分するように、ジオメトリック（geometric）区分を実行し得る。

[0085]インター予測モジュール１２１は、ＣＵの各ＰＵに対してインター予測を実行し得る。インター予測は時間圧縮を実現し得る。ＰＵに対してインター予測を実行するために、動き推定モジュール１２２はＰＵの動き情報を生成し得る。動き補償モジュール１２４は、動き情報と、ＣＵに関連付けられたピクチャ以外のピクチャ（すなわち、参照ピクチャ）の復号サンプルとに基づくＰＵのための予測ビデオブロックを生成し得る。本開示では、動き補償モジュール１２４によって生成された予測ビデオブロックは、インター予測ビデオブロックと呼ばれることがある。

[0086]スライスは、Ｉスライス、Ｐスライス、またはＢスライスであり得る。動き推定モジュール１２２および動き補償モジュール１２４は、ＰＵがＩスライス中にあるか、Ｐスライス中にあるか、Ｂスライス中にあるかに応じて、ＣＵのＰＵに対して異なるオペレーションを実行し得る。Ｉスライス中では、すべてのＰＵがイントラ予測される。したがって、ＰＵがＩスライス中にある場合、動き推定モジュール１２２および動き補償モジュール１２４は、ＰＵに対してインター予測を実行しない。

[0087]ＰＵがＰスライス中にある場合、ＰＵを含んでいるピクチャは、「リスト０」と呼ばれる参照ピクチャのリストに関連付けられる。リスト０中の参照ピクチャの各々は、他のピクチャのインター予測のために使用され得るサンプルを含んでいる。動き推定モジュール１２２が、Ｐスライス中のＰＵに関して動き推定オペレーションを実行するとき、動き推定モジュール１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得る。ＰＵの参照ブロックは、ＰＵのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、たとえば、サンプルのブロックであり得る。動き推定モジュール１２２は、様々なメトリックを使用して、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。たとえば、動き推定モジュール１２２は、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。

[0088]Ｐスライス中のＰＵの参照ブロックを識別した後、動き推定モジュール１２２は、参照ブロックを含んでいる、リスト０中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。様々な例において、動き推定モジュール１２２は動きベクトルを異なる精度に生成し得る。たとえば、動き推定モジュール１２２は、１／４サンプル精度、１／８サンプル精度、または他の分数のサンプル精度で、動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置のサンプル値から補間され得る。動き推定モジュール１２２は、ＰＵの動き情報として参照インデックスと動きベクトルとを出力し得る。動き補償モジュール１２４は、ＰＵの動き情報によって識別された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0089]ＰＵがＢスライス中にある場合、ＰＵを含んでいるピクチャは、「リスト０」および「リスト１」と呼ばれる参照ピクチャの２つのリストに関連付けられ得る。いくつかの例では、Ｂスライスを含んでいるピクチャは、リスト０とリスト１の組合せである、リストの組合せに関連付けられ得る。

[0090]さらに、ＰＵがＢスライス中にある場合、動き推定モジュール１２２は、ＰＵについての単方向予測または双方向予測を実行し得る。動き推定モジュール１２２が、ＰＵについての単方向予測を実行するとき、動き推定モジュール１２２は、ＰＵのための参照ブロックについて、リスト０またはリスト１の参照ピクチャを探索し得る。動き推定モジュール１２２は、次いで、参照ブロックを含んでいる、リスト０またはリスト１中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定モジュール１２２は、ＰＵの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト０中の参照ピクチャを示すか、リスト１中の参照ピクチャを示すかを示し得る。動き補償モジュール１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0091]動き推定モジュール１２２が、ＰＵについての双方向予測を実行するとき、動き推定モジュール１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得、また、ＰＵのための別の参照ブロックについて、リスト１中の参照ピクチャを探索し得る。動き推定モジュール１２２は、次いで、参照ブロックを含んでいる、リスト０およびリスト１中の参照ピクチャを示す参照インデックスと、参照ブロックとＰＵとの間の空間変位を示す動きベクトルとを生成し得る。動き推定モジュール１２２は、ＰＵの動き情報としてＰＵの参照インデックスと動きベクトルとを出力し得る。動き補償モジュール１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0092]いくつかの例では、動き推定モジュール１２２は、ＰＵの動き情報のフルセットをエントロピー符号化モジュール１１６に出力しない。そうではなく、動き推定モジュール１２２は、別のＰＵの動き情報を参照して、ＰＵの動き情報をシグナリングし得る。たとえば、動き推定モジュール１２２は、ＰＵの動き情報が、隣接ＰＵの動き情報と十分に類似していると決定し得る。この例では、動き推定モジュール１２２は、ＰＵに関連付けられたシンタックス構造において、ＰＵが隣接ＰＵと同じ動き情報を有することをビデオデコーダ３０に示す値を示し得る。別の例では、動き推定モジュール１２２は、ＰＵに関連付けられたシンタックス構造において、隣接ＰＵと動きベクトル差分（ＭＶＤ：motion vector difference）とを識別し得る。動きベクトル差分は、ＰＵの動きベクトルと、示される隣接ＰＵの動きベクトルとの間の差分を示す。ビデオデコーダ３０は、示される隣接ＰＵの動きベクトルと、動きベクトル差分とを使用して、ＰＵの動きベクトルを決定し得る。第２のＰＵの動き情報をシグナリングするときに第１のＰＵの動き情報を参照することによって、ビデオエンコーダ２０は、より少数のビットを使用して、第２のＰＵの動き情報をシグナリングすることが可能であり得る。

[0093]ＣＵに対して符号化オペレーションを実行することの一部として、イントラ予測モジュール１２６は、ＣＵのＰＵに対してイントラ予測を実行し得る。イントラ予測は空間圧縮を実現し得る。イントラ予測モジュール１２６がＰＵに対してイントラ予測を実行するとき、イントラ予測モジュール１２６は、同じピクチャ中の他のＰＵの復号サンプルに基づいて、ＰＵの予測データを生成し得る。ＰＵの予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測モジュール１２６は、Ｉスライス、Ｐスライス、およびＢスライス中のＰＵに対してイントラ予測を実行し得る。

[0094]ＰＵに対してイントラ予測を実行するために、イントラ予測モジュール１２６は、複数のイントラ予測モードを使用して、ＰＵの予測データの複数のセットを生成し得る。イントラ予測モジュール１２６が、イントラ予測モードを使用してＰＵの予測データのセットを生成するとき、イントラ予測モジュール１２６は、イントラ予測モードに関連付けられた方向および／または勾配で、隣接ＰＵのビデオブロックからＰＵのビデオブロックにわたって、サンプルを延ばし得る。隣接ＰＵは、ＰＵ、ＣＵ、およびツリーブロックについて左から右、上から下の符号化順序を仮定すると、ＰＵの上、右上、左上、または左にあり得る。イントラ予測モジュール１２６は、ＰＵのサイズに応じて、様々な数のイントラ予測モード、たとえば、３３個の方向性イントラ予測モードを使用し得る。

[0095]予測モジュール１００は、ＰＵについての、動き補償モジュール１２４によって生成された予測データ、またはＰＵについての、イントラ予測モジュール１２６によって生成された予測データの中から、ＰＵの予測データを選択し得る。いくつかの例では、予測モジュール１００は、予測データのセットのレート／ひずみメトリックに基づいて、ＰＵの予測データを選択する。

[0096]予測モジュール１００が、イントラ予測モジュール１２６によって生成された予測データを選択する場合、予測モジュール１００は、ＰＵの予測データを生成するために使用されたイントラ予測モード、すなわち、選択されたイントラ予測モードをシグナリングし得る。予測モジュール１００は、選択されたイントラ予測モードを様々な方法でシグナリングし得る。たとえば、選択されたイントラ予測モードは、隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは現在ＰＵに対して最確モードであり得る。したがって、予測モジュール１００は、選択されたイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示すために、シンタックス要素を生成し得る。

[0097]図９に関して以下でさらに説明するように、予測モジュール１００によって実行される予測は、ベースビュー／レイヤの（たとえばアップサンプリングモジュール１３０によって決定される）アップサンプリングされた動きフィールド情報に少なくとも部分的に基づき得る。さらに、予測モジュール１００はまた、図９に関して以下でより詳細に説明する、アップサンプリングされた動きフィールド情報をベースビュー／レイヤのアップサンプリングされたテクスチャピクチャに関連付けること、および／またはインター予測参照ピクチャをインター予測のための参照ピクチャリストに追加することなど、現在（たとえばエンハンスメント）ビュー／レイヤを予測することに関与する他のステップを実行し得る。

[0098]予測モジュール１００がＣＵのＰＵの予測データを選択した後、残差生成モジュール１０２は、ＣＵのビデオブロックからＣＵのＰＵの予測ビデオブロックを差し引くことによって、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのビデオブロック中のサンプルの異なるサンプル成分に対応する、２Ｄ残差ビデオブロックを含み得る。たとえば、残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのルミナンス成分と、ＣＵの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。さらに、ＣＵの残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのクロミナンス成分と、ＣＵの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。

[0099]予測モジュール１００は、４分木区分を実行して、ＣＵの残差ビデオブロックをサブブロックに区分し得る。各分割されていない残差ビデオブロックは、ＣＵの異なるＴＵに関連付けられ得る。ＣＵのＴＵに関連付けられた残差ビデオブロックのサイズおよび位置は、ＣＵのＰＵに関連付けられたビデオブロックのサイズおよび位置に基づくことも基づかないこともある。「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。ＣＵのＴＵは、ＲＱＴのリーフノードに対応し得る。

[0100]変換モジュール１０４は、ＴＵに関連付けられた残差ビデオブロックに１つまたは複数の変換を適用することによって、ＣＵの各ＴＵのための１つまたは複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は、変換係数の２Ｄ行列であり得る。変換モジュール１０４は、ＴＵに関連付けられた残差ビデオブロックに様々な変換を適用し得る。たとえば、変換モジュール１０４は、離散コサイン変換（ＤＣＴ）、方向性変換、または概念的に同様の変換を、ＴＵに関連付けられた残差ビデオブロックに適用し得る。

[0101]変換モジュール１０４が、ＴＵに関連付けられた変換係数ブロックを生成した後、量子化モジュール１０６は、変換係数ブロック中の変換係数を量子化し得る。量子化モジュール１０６は、ＣＵに関連付けられたＱＰ値に基づいて、ＣＵのＴＵに関連付けられた変換係数ブロックを量子化し得る。

[0102]ビデオエンコーダ２０は、様々な方法でＱＰ値をＣＵに関連付け得る。たとえば、ビデオエンコーダ２０は、ＣＵに関連付けられたツリーブロックに対してレートひずみ分析を実行し得る。レートひずみ分析では、ビデオエンコーダ２０は、ツリーブロックに対して符号化オペレーションを複数回実行することによって、ツリーブロックの複数のコード化表現を生成し得る。ビデオエンコーダ２０がツリーブロックの異なる符号化表現を生成するとき、ビデオエンコーダ２０は、異なるＱＰ値をＣＵに関連付け得る。ビデオエンコーダ２０は、最小のビットレートおよびひずみメトリックを有するツリーブロックのコード化表現で所与のＱＰ値がＣＵに関連付けられるとき、所与のＱＰ値がＣＵに関連付けられることをシグナリングし得る。

[0103]逆量子化モジュール１０８および逆変換モジュール１１０は、それぞれ、変換係数ブロックに逆量子化と逆変換とを適用して、変換係数ブロックから残差ビデオブロックを再構成し得る。再構成モジュール１１２は、再構成された残差ビデオブロックを、予測モジュール１００によって生成された１つまたは複数の予測ビデオブロックからの対応するサンプルに追加して、ＴＵに関連付けられた再構成されたビデオブロックを生成し得る。このようにＣＵの各ＴＵのためのビデオブロックを再構成することによって、ビデオエンコーダ２０は、ＣＵのビデオブロックを再構成し得る。

[0104]再構成モジュール１１２がＣＵのビデオブロックを再構成した後、フィルタモジュール１１３は、ＣＵに関連付けられたビデオブロックにおけるブロッキングアーティファクトを低減するためにデブロッキングオペレーションを実行し得る。１つまたは複数のデブロッキングオペレーションを実行した後、フィルタモジュール１１３は、復号ピクチャバッファ１１４にＣＵの再構成されたビデオブロックを記憶し得る。動き推定モジュール１２２および動き補償モジュール１２４は、再構成されたビデオブロックを含んでいる参照ピクチャを使用して、後続のピクチャのＰＵに対してインター予測を実行し得る。さらに、イントラ予測モジュール１２６は、復号ピクチャバッファ１１４中の再構成されたビデオブロックを使用して、ＣＵと同じピクチャの中の他のＰＵに対してイントラ予測を実行し得る。

[0105]エントロピー符号化モジュール１１６は、ビデオエンコーダ２０の他の機能構成要素からデータを受信し得る。たとえば、エントロピー符号化モジュール１１６は、量子化モジュール１０６から変換係数ブロックを受信し得、予測モジュール１００からシンタックス要素を受信し得る。エントロピー符号化モジュール１１６がデータを受信するとき、エントロピー符号化モジュール１１６は、１つまたは複数のエントロピー符号化オペレーションを実行して、エントロピー符号化データを生成し得る。たとえば、ビデオエンコーダ２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）オペレーション、ＣＡＢＡＣオペレーション、変数間（Ｖ２Ｖ：variable-to-variable）レングスコーディングオペレーション、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）オペレーション、確率間隔区分エントロピー（ＰＩＰＥ）コーディングオペレーション、または別のタイプのエントロピー符号化オペレーションをデータに対して実行し得る。エントロピー符号化モジュール１１６は、エントロピー符号化データを含むビットストリームを出力し得る。

[0106]データに対してエントロピー符号化オペレーションを実行することの一部として、エントロピー符号化モジュール１１６はコンテキストモデルを選択し得る。エントロピー符号化モジュール１１６がＣＡＢＡＣオペレーションを実行している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。ＣＡＢＡＣのコンテキストでは、「ビン」という用語は、シンタックス要素の２値化されたバージョンのビットを指すために使用される。

[0107]アップサンプリングモジュール１３０は、空間解像度を増加させるために、予測モード情報および／または動きフィールド情報など、ピクセル情報と非ピクセル情報とを含む、ビデオデータをスケーリングまたはリサンプリングし得る。いくつかの実施形態では、ベースビュー／レイヤのビデオデータは、エンハンスメントビュー／レイヤの空間解像度を一致させるためにアップサンプリングされ得る。アップサンプリングモジュール１３０はまた、ベースレイヤピクチャが参照ピクチャリスト中に挿入される前に、ベースレイヤピクチャのベースビュー／レイヤビデオデータをアップサンプリングするためにビデオエンコーダ２０の１つまたは複数の他の機能構成要素と協調し得る。

ビデオデコーダ
[0108]図３は、本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図である。ビデオデコーダ３０は、本開示の技法のいずれかまたはすべてを実行するように構成され得る。一例として、動き補償モジュール１６２およびアップサンプリングモジュール１７０は、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。ただし、本開示の態様はそのように限定されない。いくつかの例では、本開示で説明する技法は、ビデオデコーダ３０の様々な構成要素間で共有され得る。いくつかの例では、追加としてまたは代わりに、プロセッサ（図示せず）が、本開示で説明する技法のいずれかまたはすべてを実行するように構成され得る。

[0109]図３の例では、ビデオデコーダ３０は複数の機能構成要素を含む。ビデオデコーダ３０の機能構成要素は、エントロピー復号モジュール１５０と、予測モジュール１５２と、逆量子化モジュール１５４と、逆変換モジュール１５６と、再構成モジュール１５８と、フィルタモジュール１５９と、復号ピクチャバッファ１６０とを含む。予測モジュール１５２は、動き補償モジュール１６２と、イントラ予測モジュール１６４と、アップサンプリングモジュール１７０とを含む。いくつかの例では、ビデオデコーダ３０は、図２のビデオエンコーダ２０に関して説明した符号化パスとは概して逆の復号パスを実行し得る。他の例では、ビデオデコーダ３０は、より多数の、より少数の、または異なる機能構成要素を含み得る。

[0110]ビデオデコーダ３０は、符号化ビデオデータを備えるビットストリームを受信し得る。ビットストリームは複数のシンタックス要素を含み得る。ビデオデコーダ３０がビットストリームを受信するとき、エントロピー復号モジュール１５０は、ビットストリームに対してパースオペレーションを実行し得る。ビットストリームに対してパースオペレーションを実行した結果として、エントロピー復号モジュール１５０は、ビットストリームからシンタックス要素を抽出し得る。パースオペレーションを実行することの一部として、エントロピー復号モジュール１５０は、ビットストリーム中のエントロピー符号化シンタックス要素をエントロピー復号し得る。予測モジュール１５２、逆量子化モジュール１５４、逆変換モジュール１５６、再構成モジュール１５８、およびフィルタモジュール１５９は、ビットストリームから抽出されたシンタックス要素に基づいて復号ビデオデータを生成する再構成オペレーションを実行し得る。

[0111]上記で説明したように、ビットストリームは一連のＮＡＬユニットを備え得る。ビットストリームのＮＡＬユニットは、シーケンスパラメータセットＮＡＬユニット、ピクチャパラメータセットＮＡＬユニット、ＳＥＩ ＮＡＬユニットなどを含み得る。ビットストリームに対してパースオペレーションを実行することの一部として、エントロピー復号モジュール１５０は、シーケンスパラメータセットＮＡＬユニットからのシーケンスパラメータセット、ピクチャパラメータセットＮＡＬユニットからのピクチャパラメータセット、ＳＥＩ ＮＡＬユニットからのＳＥＩデータなどを抽出しエントロピー復号するパースオペレーションを実行し得る。

[0112]さらに、ビットストリームのＮＡＬユニットはコード化スライスＮＡＬユニットを含み得る。ビットストリームに対してパースオペレーションを実行することの一部として、エントロピー復号モジュール１５０は、コード化スライスＮＡＬユニットからコード化スライスを抽出し、エントロピー復号する、パースオペレーションを実行し得る。コード化スライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含んでいることがある。スライスヘッダ中のシンタックス要素は、スライスを含んでいるピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号モジュール１５０は、スライスヘッダを復元するために、コード化スライスヘッダ中のシンタックス要素に対して、ＣＡＢＡＣ復号オペレーションなどのエントロピー復号オペレーションを実行し得る。

[0113]コード化スライスのＮＡＬユニットからスライスデータを抽出することの一部として、エントロピー復号モジュール１５０は、スライスデータ中のコード化ＣＵからシンタックス要素を抽出するパースオペレーションを実行し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号モジュール１５０は、次いで、シンタックス要素のうちのいくつかに対してＣＡＢＡＣ復号オペレーションを実行し得る。

[0114]エントロピー復号モジュール１５０が、区分されていないＣＵに対してパースオペレーションを実行した後、ビデオデコーダ３０は、区分されていないＣＵに対して再構成オペレーションを実行し得る。区分されていないＣＵに対して再構成オペレーションを実行するために、ビデオデコーダ３０はＣＵの各ＴＵに対して再構成オペレーションを実行し得る。ＣＵの各ＴＵについて再構成オペレーションを実行することによって、ビデオデコーダ３０は、ＣＵに関連付けられた残差ビデオブロックを再構成し得る。

[0115]ＴＵに対して再構成オペレーションを実行することの一部として、逆量子化モジュール１５４は、ＴＵに関連付けられた変換係数ブロックを逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）し得る。逆量子化モジュール１５４は、ＨＥＶＣのために提案された、またはＨ．２６４復号規格によって定義された逆量子化処理と同様の様式で、変換係数ブロックを逆量子化し得る。逆量子化モジュール１５４は、量子化の程度を決定し、同様に、逆量子化モジュール１５４が適用すべき逆量子化の程度を決定するために、変換係数ブロックのＣＵのためにビデオエンコーダ２０によって計算された量子化パラメータＱＰを使用し得る。

[0116]逆量子化モジュール１５４が変換係数ブロックを逆量子化した後、逆変換モジュール１５６は、変換係数ブロックに関連付けられたＴＵのための残差ビデオブロックを生成し得る。逆変換モジュール１５６は、ＴＵのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。たとえば、逆変換モジュール１５６は、変換係数ブロックに、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）、逆回転変換、逆方向変換、または別の逆変換を適用し得る。いくつかの例では、逆変換モジュール１５６は、ビデオエンコーダ２０からのシグナリングに基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換モジュール１５６は、変換係数ブロックに関連付けられたツリーブロックの４分木のルートノードにおいてシグナリングされた変換に基づいて、逆変換を決定し得る。他の例では、逆変換モジュール１５６は、ブロックサイズ、コーディングモードなど、１つまたは複数のコーディング特性から逆変換を推論し得る。いくつかの例では、逆変換モジュール１５６はカスケード逆変換を適用し得る。

[0117]いくつかの例では、動き補償モジュール１６２は、補間フィルタに基づく補間を実行することによって、ＰＵの予測ビデオブロックを改良し得る。サブサンプル精度をもつ動き補償のために使用されるべき補間フィルタのための識別子が、シンタックス要素中に含まれ得る。動き補償モジュール１６２は、ＰＵの予測ビデオブロックの生成中にビデオエンコーダ２０によって使用された同じ補間フィルタを使用して、参照ブロックのサブ整数サンプルについての補間値を計算し得る。動き補償モジュール１６２は、受信されたシンタックス情報に従って、ビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ビデオブロックを生成し得る。

[0118]ＰＵが、イントラ予測を使用して符号化される場合、イントラ予測モジュール１６４は、ＰＵのための予測ビデオブロックを生成するためにイントラ予測を実行し得る。たとえば、イントラ予測モジュール１６４は、ビットストリーム中のシンタックス要素に基づいて、ＰＵのためのイントラ予測モードを決定し得る。ビットストリームは、ＰＵのイントラ予測モードを決定するためにイントラ予測モジュール１６４が使用し得るシンタックス要素を含み得る。

[0119]いくつかの事例では、シンタックス要素は、イントラ予測モジュール１６４が別のＰＵのイントラ予測モードを使用して現在ＰＵのイントラ予測モードを判断するべきであることを示し得る。たとえば、現在ＰＵのイントラ予測モードは隣接ＰＵのイントラ予測モードと同じであることがあり得る。言い換えれば、隣接ＰＵのイントラ予測モードは現在ＰＵに対して最確モードであり得る。したがって、この例では、ビットストリームは、ＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測モジュール１６４は、次いで、イントラ予測モードを使用して、空間的に隣接するＰＵのビデオブロックに基づいて、ＰＵの予測データ（たとえば、予測サンプル）を生成し得る。

[0120]上記で説明したように、予測モジュール１５２によって実行された予測は、ベースビュー／レイヤのアップサンプリングされた動きフィールド情報に少なくとも部分的に基づき得る。さらに、予測モジュール１５２はまた、図９に関して以下でより詳細に説明する、アップサンプリングされた動きフィールド情報をベースビュー／レイヤのアップサンプリングされたテクスチャピクチャに関連付けること、および／またはインター予測参照ピクチャをインター予測のための参照ピクチャリストに追加することなど、現在（たとえばエンハンスメント）ビュー／レイヤを予測することに関与する他のステップを実行し得る。

[0121]アップサンプリングモジュール１７０は、空間解像度を増加させるために、予測モード情報および／または動きフィールド情報など、ピクセル情報と非ピクセル情報とを含む、ビデオデータをスケーリングまたはリサンプリングし得る。いくつかの実施形態では、ベースビュー／レイヤのビデオデータは、エンハンスメントビュー／レイヤの空間解像度を一致させるためにアップサンプリングされ得る。アップサンプリングモジュール１７０はまた、ベースレイヤピクチャが参照ピクチャリスト中に挿入される前に、ベースレイヤピクチャのベースビュー／レイヤビデオデータをアップサンプリングするためにビデオデコーダ３０の１つまたは複数の他の機能構成要素と協調し得る。

[0122]再構成モジュール１５８は、適用可能なとき、ＣＵのＴＵに関連付けられた残差ビデオブロックとＣＵのＰＵの予測ビデオブロックとを使用して、すなわち、イントラ予測データまたはインター予測データのいずれかを使用して、ＣＵのビデオブロックを再構成し得る。したがって、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいて、ビデオブロックを生成し得る。

[0123]再構成モジュール１５８がＣＵのビデオブロックを再構成した後、フィルタモジュール１５９は、ＣＵに関連付けられたブロッキングアーティファクトを低減するためにデブロッキングオペレーションを実行し得る。フィルタユニット１５９が、ＣＵに関連付けられたブロッキングアーティファクトを低減するためにデブロッキングオペレーションを実行した後、ビデオデコーダ３０はＣＵのビデオブロックを復号ピクチャバッファ１６０に記憶し得る。復号ピクチャバッファ１６０は、後続の動き補償、イントラ予測、および図１のディスプレイデバイス３２などのディスプレイデバイス上での提示のために、参照ピクチャを与え得る。たとえば、ビデオデコーダ３０は、復号ピクチャバッファ１６０中のビデオブロックに基づいて、他のＣＵのＰＵに対してイントラ予測オペレーションまたはインター予測オペレーションを実行し得る。

マルチビュービデオコーディング
[0124]マルチビュービデオコーディング（ＭＶＣ）はＨ．２６４／ＡＶＣの拡張である。典型的なＭＶＣ復号順序（たとえば、ビットストリーム順序）を図４に示す。図４００は、アクセスユニット４０１、４０２および４０３と、ビュー４１１、４１２および４１３と、コード化ピクチャ４２１、４２２および４２３とを含む。簡潔のために、図４に示されているすべてのアクセスユニット、ビューおよびコード化ピクチャが標示されているとは限らない。図４に示されている復号順序構成は時間優先コーディングと呼ばれる。各アクセスユニット（たとえば、垂直カラムＴ０、Ｔ１、．．．Ｔ８）は、１つの出力時間インスタンスのためのすべてのビュー（たとえば、Ｓ０、Ｓ１、．．．Ｓ７）のコード化ピクチャを含んでいるように定義される。アクセスユニットの復号順序は出力または表示順序と同じでないことがある。

[0125]マルチビュービデオコーディングのための（各ビュー内のピクチャ間予測とビュー間予測の両方を含む）典型的なＭＶＣ予測構造を図５に示す。図５００は、アクセスユニット５０１、５０２および５０３と、ビュー５１１、５１２および５１３と、コード化ピクチャ５２１、５２２、５２３および５２４とを含む。簡潔のために、図５に示されているすべてのアクセスユニット、ビューおよびオブジェクトが標示されているとは限らない。予測は矢印（たとえば矢印５３１および５３２）によって示され、ここで、各矢印の終点の（pointed-to）オブジェクトは、予測参照のために、関連する矢印の始点の（point-from）オブジェクトを使用する。ＭＶＣでは、ビュー間予測が視差動き補償（disparity motion compensation）によってサポートされる。視差動き補償は、Ｈ．２６４／ＡＶＣ動き補償のシンタックスを使用するが、異なるビュー（たとえば、異なる行Ｓ０．．．Ｓ７など）中のピクチャが参照ピクチャとして使用されることを可能にする。

[0126]複数のビューのコーディングもＭＶＣによってサポートされる。ＭＶＣの１つの利点は、ＭＶＣエンコーダが３Ｄビデオ入力として３つ以上のビューをとることができ、ＭＶＣデコーダがそのようなマルチビュー表現を復号することができることである。したがって、ＭＶＣデコーダをもつレンダラ（renderer）は、３つ以上のビューをもつ３Ｄビデオコンテンツを予想し得る。

[0127]ＭＶＣでは、同じアクセスユニット中の（たとえば、同じ時間インスタンスをもつ）ピクチャ間でビュー間予測が可能になる。非ベースビューのうちの１つの中のピクチャをコーディングするとき、ピクチャが異なるビュー中にあるが同じ時間インスタンスを有する場合、そのピクチャは参照ピクチャリストに追加され得る。ビュー間予測参照ピクチャは、任意のインター予測参照ピクチャとまったく同様に、参照ピクチャリストの任意の位置に入れられ得る。

ＨＥＶＣ技法
[0128]１．参照ピクチャリスト構成
[0129]一般に、Ｂピクチャの第１または第２の参照ピクチャリストについての参照ピクチャリスト構成は、２つのステップ、すなわち、（１）参照ピクチャリストの初期化と、（２）参照ピクチャリストの並べ替え（修正）とを含む。参照ピクチャリスト初期化は、ＰＯＣ（ピクチャの表示順序に整合する、ピクチャオーダーカウント（Picture Order Count））値の順序に基づいて、（復号ピクチャバッファまたはＤＰＢとしても知られる）参照ピクチャメモリ中の参照ピクチャをリストに入れる明示的メカニズムである。参照ピクチャリスト並べ替えメカニズムは、参照ピクチャリスト初期化中にリストに入れられたピクチャの位置を任意の新しい位置に修正するか、または参照ピクチャメモリ中の任意の参照ピクチャが初期化リスト中に存在しない場合、そのピクチャを任意の位置に入れることができる。

[0130]参照ピクチャリスト並べ替え／修正後、いくつかのピクチャが、リストの下の非常に遠い位置に入れられ得る。ただし、ピクチャの位置が、リストのアクティブ参照ピクチャの数を超える場合、ピクチャは、最終参照ピクチャリストのエントリとは見なされない。アクティブ参照ピクチャの数は、各リストについてスライスヘッダ中でシグナリングされ得る。参照ピクチャリスト（たとえば、利用可能な場合、ＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１）が構成された後、任意の参照ピクチャリスト中のピクチャを識別するために参照インデックスが使用され得る。

[0131]２．ＴＭＶＰ
[0132]ＨＥＶＣのコーディング効率を改善するために時間動きベクトル予測（ＴＭＶＰ）が使用される。ＴＭＶＰは、復号ピクチャバッファ中の、より詳細には、参照ピクチャリスト中のフレームの動きベクトルにアクセスする。

[0133]インター予測スライスでは、ＴＭＶＰがコード化ビデオシーケンス全体のためにイネーブルされる（たとえば、シーケンスパラメータセット中のｓｐｓ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇが１に設定される）とき、ＴＭＶＰが現在スライスのためにイネーブルされるかどうかを示すために、ｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅ＿ｆｌａｇがスライスヘッダ中でシグナリングされる。ＴＭＶＰが現在スライスのためにイネーブルにされるとき、現在ピクチャがＢスライスである場合、コロケートピクチャがＲｅｆＰｉｃＬｉｓｔ０からであるかＲｅｆＰｉｃＬｉｓｔ１からであるかを示すために、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇがスライスヘッダ中でシグナリングされる。

[0134]参照ピクチャリストが識別された後、リスト中のピクチャ中のピクチャを識別するために、スライスヘッダ中でシグナリングされるｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘが使用される。次いで、コロケートピクチャをチェックすることによって、コロケート予測ユニット（ＰＵ）が識別される。このＰＵを含んでいるコーディングユニット（ＣＵ）の右下ＰＵの動き、またはこのＰＵを含んでいるＣＵの中心ＰＵ内の右下ＰＵの動きのいずれかが使用される。

[0135]３．ＨＥＶＣにおけるランダムアクセス
[0136]ＨＥＶＣにおけるネットワークアブストラクションレイヤ（ＮＡＬ）ユニットタイプによって識別され得る４つのピクチャタイプがある。これらは、瞬時復号リフレッシュ（ＩＤＲ：instantaneous decoding refresh）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャ、時間レイヤアクセス（ＴＬＡ：temporal layer access）ピクチャ、およびＩＤＲピクチャ、ＣＲＡピクチャまたはＴＬＡピクチャでないコード化ピクチャである。

[0137]ＩＤＲおよびコード化ピクチャは、Ｈ．２６４／ＡＶＣ仕様において使用されるピクチャタイプと同様のピクチャタイプである。ＣＲＡおよびＴＬＡのピクチャタイプはＨＥＶＣにおいて新しく、Ｈ．２６４／ＡＶＣ仕様において利用可能でない。ＣＲＡピクチャは、ＩＤＲピクチャを挿入することよりも効率的である方法で、ビデオシーケンスの中央の任意のランダムアクセスポイントから始まる復号を可能にするピクチャタイプである。ＨＥＶＣでは、これらのＣＲＡピクチャから開始するビットストリームも適合（conforming）ビットストリームである。ＴＬＡピクチャは、有効な時間レイヤ切替えポイントを示すために使用され得るピクチャタイプである。以下のセクションでは、ＣＲＡおよびＴＬＡピクチャについてさらに詳細に説明する。

[0138]ブロードキャスティングおよびストリーミングなど、ビデオアプリケーションでは、ユーザは、最小遅延で、異なるチャネル間で切り替えることと、ビデオブロードキャストまたはストリームの特定の部分にジャンプすることとをしばしば望む。この特徴は、ビデオビットストリーム中で一定の間隔でランダムアクセスピクチャを有することによって可能にされ得る。Ｈ．２６４／ＡＶＣとＨＥＶＣの両方において指定されているＩＤＲピクチャは、ランダムアクセスのために使用され得る。しかしながら、ＩＤＲピクチャはコード化ビデオシーケンスを開始し、復号ピクチャバッファ（ＤＰＢ）を常にクリーンにするので、復号順序でＩＤＲに後続するピクチャは、ＩＤＲピクチャより前に復号されたピクチャを参照として使用することができない。したがって、ランダムアクセスのためのＩＤＲピクチャに依存するビットストリームは、著しくより低いコーディング効率（たとえば、６％）を有することがある。コーディング効率を改善するために、ＨＥＶＣにおけるＣＲＡピクチャは、復号順序でＣＲＡピクチャに後続するが、出力順序でＣＲＡピクチャに先行するピクチャが、ＣＲＡピクチャより前に復号されたピクチャを参照として使用することを可能にする。

[0139]ＣＲＡピクチャを中心とする典型的な予測構造を図６に示す。図６００は、前のピクチャグループ（ＧＯＰ）６０１と、現在のＧＯＰ６０２と、次のＧＯＰ６０３とを示す。図６００において、ピクチャ６１１および６１２は前のＧＯＰ６０１に属し、ピクチャ６２１〜６２８は現在のＧＯＰ６０２に属し、ピクチャ６３１および６３２は次のＧＯＰ６０３に属する。図５に関して説明したように、予測は矢印（たとえば矢印６４１および６４２）によって示され、ここで、各矢印の終点のピクチャは、予測参照のために、関連する矢印の始点のピクチャを使用する。２４のＰＯＣを有するＣＲＡピクチャ（すなわちピクチャ６２８）は、現在のＧＯＰ６０２に属し、現在のＧＯＰ６０２は、復号順序でＣＲＡピクチャに後続するが、出力順序でＣＲＡピクチャに先行する（１７〜２３のＰＯＣを有する）他のピクチャ６２１〜６２７を含んでいる。これらのピクチャ（たとえばピクチャ６２１〜６２７）は、ＣＲＡピクチャ（たとえばピクチャ６２８）のリーディングピクチャと呼ばれ、現在のＣＲＡピクチャの前のＩＤＲピクチャまたはＣＲＡピクチャから復号が始まる場合に正しく復号され得る。しかしながら、リーディングピクチャは、このＣＲＡピクチャからのランダムアクセスが行われたときに正しく復号されないことがあり、したがって、これらのリーディングピクチャ復号は一般にランダムアクセス中に廃棄される。

[0140]復号がどこで始まるかに応じて利用可能ではないことがある参照ピクチャからの誤り伝搬を防ぐために、復号順序と出力順序の両方でＣＲＡピクチャに後続する、（図６に示されている）次のＧＯＰ６０３中のすべてのピクチャは、復号順序または出力順序のいずれかで（リーディングピクチャを含む）ＣＲＡピクチャに先行するいかなるピクチャも参照として使用しない。

[0141]同様のランダムアクセス機能が、リカバリーポイントＳＥＩメッセージをもつＨ．２６４／ＡＶＣにおいてサポートされる。Ｈ．２６４／ＡＶＣデコーダ実装形態はその機能をサポートすることもまたはサポートしないこともある。ＨＥＶＣでは、ＣＲＡピクチャで開始するビットストリームは適合ビットストリームと見なされる。ビットストリームがＣＲＡピクチャで開始するとき、ＣＲＡピクチャの先行ピクチャは、利用不可能な参照ピクチャを指すことがあり、したがって正しく復号されないことがある。しかしながら、ＨＥＶＣは、開始ＣＲＡピクチャのリーディングピクチャが出力されず、したがって「クリーンランダムアクセス」という名称があることを規定している。ビットストリーム適合要件の確立のために、ＨＥＶＣは、非出力リーディングピクチャを復号するために利用不可能な参照ピクチャを生成するための復号プロセスを規定している。しかしながら、適合デコーダ実装形態は、復号プロセスがビットストリームの開始から実行されるときと比較して、それが同等の出力を生成し得る限り、その復号プロセスに従う必要はない。

[0142]ＨＥＶＣでは、適合ビットストリームはＩＤＲピクチャをまったく含んでいないことがあり、したがって、コード化ビデオシーケンスのサブセットまたは不完全なコード化ビデオシーケンスを含んでいることがある。

[0143]ＩＤＲピクチャおよびＣＲＡピクチャのほかに、他のタイプのランダムアクセスポイントピクチャ、たとえば、ＢＬＡがある。ランダムアクセスポイントピクチャの主要なタイプの各々について、ランダムアクセスポイントピクチャがシステムによってどのように潜在的に扱われ得るかに応じて、サブタイプがあり得る。ランダムアクセスポイントピクチャの各サブタイプは異なるＮＡＬユニットタイプを有し得る。

[0144]４．ＨＥＶＣにおける動き圧縮
[0145]より小さい復号ピクチャバッファ（ＤＰＢ）が必要とされる方法でデコーダが実装されることを可能にするために、１６×１６ブロックラスタ走査順序の場合のピクチャの各ブロックが、ＲｅｆＰｉｃＬｉｓｔ０のための同じ第１の動きベクトル（利用可能な場合）とＲｅｆＰｉｃＬｉｓｔ１のための同じ第２の動きベクトル（利用可能な場合）とを仮説的に含んでいる方法で動きフィールドを圧縮するように、動き圧縮がＨＥＶＣに導入される。動き圧縮は、ＤＰＢサイズが著しく減少され得るように、すべての時間参照ピクチャに適用される。

[0146]本開示では、１６×１６ブロックの各々は「整合（aligned）１６×１６ブロック」と呼ばれる。しかしながら、現在のＨＥＶＣ仕様では、動きフィールドは、整合１６×１６ブロック内の任意の４×４ブロックにアクセスするとき、整合１６×１６ブロック内の左上コーナーブロックの動きベクトルが使用される方法で、リアルタイムで行われる。現在のＨＥＶＣ仕様の下でのこの設計は、動き圧縮をリアルタイム処理するためにＣＵレベルプロセスを必要とするが、スマートデコーダはピクチャレベルでそれを行い得る。

ＪＣＴ−３ＶにおけるＭＶ−ＨＥＶＣ
[0147]マルチビューＨＥＶＣ（ＭＶ−ＨＥＶＣ）に対して上述のＨＥＶＣ概念を実装するために、ＨＥＶＣのマルチビュー拡張、コーディングユニットレベル変化またはより低いレベル変化が必要とされ得る。

[0148]１．ＭＶ−ＨＥＶＣにおけるランダムアクセス
[0149]ＨＥＶＣのランダムアクセス概念はマルチビューおよび３ＤＶ拡張に拡張される。ランダムアクセスポイントアクセスユニットならびにランダムアクセスビューコンポーネントの詳細な定義は、その全体が参照により組み込まれる、ＭＶ−ＨＥＶＣワーキングドラフト仕様、ＪＣＴ３Ｖ−Ａ１００４に記載されている。さらに、ランダムアクセスポイントアクセスユニットならびにランダムアクセスビューコンポーネントの詳細な定義も、ＭＶ−ＨＥＶＣワーキングドラフト仕様：ＪＣＴ３Ｖ−Ａ１００４（その全体が参照により組み込まれる、Ｇｅｒｈａｒｄ Ｔｅｃｈ、Ｋｒｚｙｓｚｔｏｆ Ｗｅｎｇｅｒ、Ｙｉｎｇ Ｃｈｅｎ、Ｍｉｓｋａ Ｈａｎｎｕｋｓｅｌａ、「MV-HEVC Working Draft 1」、ＪＣＴ３Ｖ−Ａ１００４、ＩＴＵ−Ｔ ＳＧ ６ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのジョイントコラボレーティブチームオン３Ｄビデオコーディング拡張開発、第１回会合：ストックホルム、スウェーデン、２０１２年７月１６〜２０日）中にある。

[0150]ビューコンポーネントがランダムアクセスポイントであるか否かは、ビューコンポーネントのＮＡＬユニットタイプに依存する。そのタイプが、ランダムアクセスポイントピクチャのためのＨＥＶＣ基本仕様において定義されているタイプに属する場合、現在ビューコンポーネントはランダムアクセスポイントビューコンポーネント（または簡単のために、現在ビューのランダムアクセスポイントピクチャ）である。

[0151]ランダムアクセス機能は、時間次元（したがってシングルビューのための）におけるいくつかの予測がＨＥＶＣ基本仕様と同様に無効にされるかまたは制約されるかのいずれかである方法で時間的予測のみに適用される。しかしながら、ランダムアクセスポイントビューコンポーネントのためのビュー間予測は、Ｈ．２６４／ＭＶＣにおけるアンカーピクチャと同様に、コーディング効率を改善することが依然として可能であり、典型的である。ランダムアクセスポイント（ＲＡＰ）ビューコンポーネントは、それがビュー間予測を使用する場合、ＰまたはＢピクチャであり得る。

[0152]この概念は、以下で説明するように、ＨＥＶＣのスケーラブル拡張または「ＨＥＶＣ向け」マルチスタンダードコーデックに拡張される。

[0153]２．ビュー間参照ピクチャセット
[0154]ビデオパラメータセット（ＶＰＳ：video parameter set）中でシグナリングされるビュー依存性に基づいて、ビュー間参照ピクチャセットが作成され得る。現在ピクチャの場合、同じアクセスユニット中にあり、（ＶＰＳ中でシグナリングされる）依存ビューに属するピクチャがビュー間参照ピクチャセットを形成する。ビュー間参照ピクチャセット中のピクチャが、現在ピクチャの参照ピクチャリストに追加されるために使用され得る。

高レベルシンタックス専用（ＨＬＳ専用）ＨＥＶＣベーススケーラブルコーディング
[0155]ＨＬＳ専用ＨＥＶＣでは、２つの空間レイヤが同じ空間解像度を有する場合、それはＭＶ−ＨＥＶＣと同様にサポートされ得、ＴＭＶＰは、コロケートピクチャが異なるビューからであるときでも有効である。（可能なアップサンプリング／フィルタ処理の後の）ベースレイヤピクチャが参照ピクチャとして参照ピクチャリスト中に追加されることに留意されたい。

レイヤ間／ビュー動き予測
[0156]現在のＨＥＶＣ設計では、参照ピクチャリスト中の参照レイヤ／ビューピクチャをコロケートピクチャとして使用することによって、レイヤ間／ビュー動き予測が有効であり得る。ＨＥＶＣ設計を使用したビュー間／レイヤ動き予測の一例を図７に示す。図７００は、現在ビュー／レイヤ７１０（たとえばエンハンスメントレイヤ）中のピクチャ７０１〜７０３と、参照ビュー／レイヤ７２０（たとえばベースレイヤ）中のピクチャ７０４〜７０６とを示す。現在ピクチャ７０３は、現在ビュー７１０中のＰＯＣ０に等しいＰＯＣを有する。ベースビュー／レイヤピクチャ７０６は、（スライスヘッダ中のシンタックス要素によって）コロケートピクチャとしてシグナリングされ、ＭＶとして示される、このピクチャ中のコロケートブロックの動きベクトルが、現在予測ユニット（ＰＵ）の動きベクトルを予測するための候補（たとえば予測ＭＶ）として使用される。この場合、ベースビュー／レイヤ７２０中のピクチャ７０６は、参照ピクチャリスト中だけでなく、コロケートピクチャ（たとえば、ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇに等しいＸをもつ、ＲｅｆＰｉｃＬｉｓｔＸ［ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘ］）として、参照ピクチャリスト中にもある。

[0157]しかしながら、マルチビューの場合、コロケートＰＵは、ＨＥＶＣにおいて定義されている方法を使用するのではなく、視差ベクトル（disparity vector）を使用することによって配置され得る。別の実施形態では、ビュー間動き予測は、コロケートＰＵにアクセスすることに関して、視差ベクトルに対して透過的に、したがってＨＥＶＣと同様の方法で実行され得る。

異なる空間解像度を有する複数のレイヤ
[0158]以下の実施形態では、２つのレイヤが、コーディングユニットレベル変化または低レベル変化なしに異なる空間解像度を有するときに、スケーラブルビデオコーディングにおけるレイヤ間動き予測をサポートするためのデバイス、システム、および方法について説明する。

[0159]一実施形態では、ベースビュー／レイヤピクチャの動きフィールドは、テクスチャ（すなわちサンプルピクセル）と動きベクトルの両方を含むレイヤ間参照ピクチャが、修正なしに、ＨＥＶＣ時間動きベクトル予測設計によって透過的に使用され得るように、アップサンプリングされ、ベースビュー／レイヤのアップサンプリングされたテクスチャピクチャに関連付けられる。たとえば、ベースビュー／レイヤピクチャの動きフィールドは動きベクトルのセットであり得、各動きベクトルはベースビュー／レイヤピクチャ中のピクセルに対応する。動きフィールドアップサンプリングは、レイヤ間参照ピクチャが参照ピクチャセットまたは参照ピクチャリストに追加される前に、ピクチャレベルで実行され得る。たとえば、アップサンプリングされた動きフィールドは、アップサンプリングされたテクスチャピクチャに関連するレイヤ間参照ピクチャに記憶され得る。そのようなレイヤ間参照ピクチャは、標準時間参照ピクチャとしてすべての必要な情報を含み得、したがって、参照ピクチャリストに追加され、エンハンスメントビュー／レイヤのインター予測のために使用され得る。レイヤ間参照ピクチャは、１つまたは複数の参照リストに追加されるか、またはそのリスト中の別のピクチャと入れ替わることができる。一実施形態では、動きフィールドのアップサンプリングは、両方が同じ空間アスペクト比に従ってアップサンプリングされるような、ベースビュー／レイヤピクチャのアップサンプリングに一致する。

[0160]動きフィールドアップサンプリングはまた、アップサンプリングされたコーディングツリー、コーディングユニットおよび予測ユニットがＨＥＶＣ設計に準拠するような、コーディングツリー、コーディングユニットおよび予測ユニットアップサンプリングを含み得る。動きフィールドアップサンプリングはまた、アップサンプリングされたモードが、ＨＥＶＣ設計に準拠する方法でコーディングユニットに関連付けられるような、モード、たとえば、イントラ／インター、イントラ予測モードのアップサンプリングを含み得る。言い換えれば、モードは、ベースビュー／レイヤのアップサンプリングされたテクスチャピクチャにも関連付けられる。

[0161]動きフィールドアップサンプリングは、ターゲットレイヤ間参照ピクチャの各４×４ブロックが別個に実行され、各々が参照インデックスに関連付けられた、最高２つの動きベクトルが導出されるように、実行され得る。代替的に、アップサンプリングは、ターゲットレイヤ間参照ピクチャの各１６×１６ブロックが別個に実行され、各々が参照インデックスに関連付けられた、最高２つの動きベクトルが導出されるように、実行され得る。

[0162]ピクチャの各現在Ｎ×Ｎ（たとえば、Ｎが、４または１６、あるいは一般に任意のサイズに等しい）ブロックについて、ブロックの中心位置は、ベースレイヤピクチャの一意の位置にマッピングされ、マッピングされた位置をカバーするベースレイヤのＮ×Ｎブロックの動き情報は、その動き情報を導出するために直接使用される。中心位置をもつこのピクセルサンプルは、最初に、現在フレーム（たとえば、ＥＬ）中で決定され、レイヤ間／ビュー間ブロックまたは参照ピクチャ中の対応する位置またはコロケート位置にマッピングされ得る。代替的に、中心位置をもつピクセルサンプルは、レイヤ間／ビュー間の対応するブロックまたはコロケートブロックのために決定され、現在（たとえば、ＥＬ）ブロックにマッピングされ得る。空間解像度に応じて、これらの２つの手法により、異なる動きフィールドマッピングが生じ得る。

[0163]１６×１６が使用されるとき、動きフィールドは、各１６×１６が、ＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０または１に等しい）に対応する、最大で１つの動きベクトルを有するように、ＨＥＶＣに記載されているように、１６×１６のグラニュラリティにすでに圧縮されている。一実施形態では、中心ピクセルのマッピング中に、マッピングされたピクセル位置がサブペル（sub-pel）位置にあるとき、それは右および下の整数サンプル位置に丸められる。マッピングされた中心ピクセルは、さらに、垂直成分と水平成分の両方について１だけシフトされ得る。一実施形態では、現在Ｎ×Ｎブロックの任意の位置（たとえばブロックの任意のコーナー）がベースレイヤピクチャにマッピングされるために選択される。代替的に、現在Ｎ×Ｎブロックの外部の任意の位置がベースレイヤピクチャにマッピングされるために選択され得る。

[0164]別の実施形態では、すべてのベースレイヤＮ×Ｎブロックが、２つのレイヤの空間解像度比に等しい比でアップサンプリングされる。たとえば、Ｎが４に等しく、比が１．５である場合、アップサンプリングされた構造（たとえば図８の図８００に示されているアップサンプリングされたベースレイヤピクチャ８０２）において、各アップサンプリングされたブロック８０４、たとえば、６×６ブロックは、動き情報のフルセットと、ＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０または１に等しい）に対応する、最大で１つの動きベクトルとを含んでいる。ベースレイヤ動き構造がアップサンプリングされた後、ピクチャの各現在Ｎ×Ｎブロックについて、中心位置は、アップサンプリングされたブロック、たとえば、６×６ブロックを含んでいる仮想ピクチャ中で直接使用される。中心位置を含んでいるアップサンプリングされたブロックの動き情報のフルセットは、現在Ｎ×Ｎブロック（たとえば図８に示されている現在レイヤ８０６中のブロック８０８）のために再利用される。図８の現在レイヤ８０６において、破線は、アップサンプリングされた６×６ブロック（たとえばブロック８０４）のエッジがどこにあるかを示す。一実施形態では、現在Ｎ×Ｎブロックの任意の位置（たとえばブロックの任意のコーナー）がベースレイヤピクチャにマッピングされるために選択される。Ｎ×Ｎブロックが、ベースレイヤからの複数のアップサンプリングされたブロック（たとえば図８に示されているブロック８１０）と整合され（align）得るとき、参照インデックス選択および動きベクトル選択がさらに適用され得る。

[0165]別の実施形態では、動きフィールドマッピング中に、ベースレイヤブロックの予測モードおよび隣接ブロックの予測モードは、アップサンプリングされたフレーム中の任意のブロックについて、そのブロックがイントラ予測ユニットに属するかインター予測ユニットに属するかが知られるように、設定され得る。

[0166]一実施形態では、ベースレイヤブロックの最初の予測モードがイントラである場合、ベースレイヤアップサンプリングの後、イントラモードが保たれ、イントラブロックのために動きフィールドがアップサンプリングされない。コーダは、ベースレイヤブロックの予測モードがイントラ予測モードであるかどうかを検査し得る。たとえば、図２のビデオエンコーダ２０の予測モジュール１００はそのような検査を実行し得る。ベースレイヤブロックの予測モードがイントラであると決定された場合、動きフィールド情報のアップサンプリングはスキップされ得る。一方、ベースレイヤブロックの予測モードがイントラでないと決定された場合、ベースレイヤブロックの動きフィールドは（たとえば図２のビデオエンコーダ２０のアップサンプリングモジュール１３０によって）アップサンプリングされ、ベースレイヤブロックのアップサンプリングされた動きフィールドに少なくとも部分的に基づいて、現在ブロックの予測値が決定される。上記で説明したように、現在ブロックの予測値の決定は、図２のビデオエンコーダ２０の予測モジュール１００によって実行され得る。

[0167]代替的に、最初のベースレイヤ予測モードにかかわらず、ベースレイヤアップサンプリングの後、アップサンプリングされた動きフィールドをもつすべてのブロックのためにインター予測モードが割り当てられる。いくつかの実施形態では、ベースレイヤブロックの動きフィールドは、ベースレイヤ予測モードにかかわらず、（たとえば図２のビデオエンコーダ２０のアップサンプリングモジュール１３０によって）アップサンプリングされる。そのような実施形態では、インター予測モードは、アップサンプリングされた動きフィールドを有するすべてのブロックに割り当てられ得る。ベースレイヤブロックのアップサンプリングされた動きフィールドに少なくとも部分的に基づいて、現在ブロックのための予測値が決定され得る。現在ブロックの予測値の決定は、図２のビデオエンコーダ２０の予測モジュール１００によって実行され得る。

[0168]動きフィールドアップサンプリング中に、動きフィールドを割り当てる前に、現在ブロック予測モードに加えて、ネイバーブロック予測モードが考慮され得る。予測モードは、隣接ブロックに関連付けられた最も一般的なモードである予測モードに変換され得る。

[0169]いくつかの実施形態では、アップサンプリングされた動きフィールドに関連付けられたアップサンプリングされたビデオブロックの予測モードは、アップサンプリングされたビデオブロックに空間的に隣接する少なくとも１つの隣接ビデオブロックの予測モードに基づいて決定され得る。たとえば、現在ブロックがイントラブロックであるが、それの周囲のネイバーブロックの大部分がインター予測モードを有する場合、現在ブロックのモードはインターとして設定され得、アップサンプリングされた動きフィールドはこの現在ブロックのために割り当てられる。別の例では、ネイバーブロックのうちの少なくとも１つがインター予測ブロックである場合、現在ブロック予測モードもインター予測ブロックとして設定され得、アップサンプリングされた動きフィールドも割り当てられる。ベースレイヤブロックのアップサンプリングされた動きフィールドに少なくとも部分的に基づいて、現在ブロックのための予測値が決定され得る。上記で説明したように、現在ブロックの予測モードと予測値との決定は、図２のビデオエンコーダ２０の予測モジュール１００によって実行され得る。

[0170]１つの代替として、さらに、アップサンプリングされたピクチャ中の現在ブロックが、イントラコーディングされる（元のピクチャ中の）ブロックの少なくとも１つのピクセルに対応する場合、現在ブロックはイントラコーディングされると見なされる。

[0171]一実施形態による、ビデオ情報をコーディングするための例示的な方法９００を図９に示す。方法９００は、限定はしないが、インター予測モジュール１２１、アップサンプリングモジュール１３０、動き補償モジュール１６２またはアップサンプリングモジュール１７０を含む、ビデオエンコーダ２０またはビデオデコーダ３０の１つまたは複数の構成要素によって実行され得る。いくつかの実施形態では、本明細書で説明するステップのうちの１つまたは複数を実装するために他の構成要素が使用され得る。たとえば、方法９００は、図４〜図８に関して説明したアクションのうちの１つまたは複数を実行するために使用され得る。方法９００のステップについて、コーダによって実行されるものとして説明するが、そのようなステップは、エンコーダ（たとえばビデオエンコーダ２０）またはデコーダ（たとえばビデオデコーダ３０）によって実行され得る。

[0172]方法９００はステップ９０１において開始する。ステップ９０５において、第１のレイヤ（たとえばベースレイヤ）に関連付けられた動きフィールド情報をアップサンプリングする。動きフィールド情報は、たとえば、特定の第１のレイヤに関連付けられた動きベクトルのセットを含むことができ、インター方向、参照インデックスまたは動き推定に関連する他の情報をも含み得る。本明細書で説明するアップサンプリングは、スケーリング、リサンプリング、または他の同様の技法であり得る。たとえば、動きフィールド情報のアップサンプリングは第１のレイヤのテクスチャピクチャのアップサンプリングに一致し得、その結果、両方が同じ空間アスペクト比に従ってアップサンプリングされるようになっている。

[0173]ステップ９１０において、コーダは、第１のレイヤのアップサンプリングされたテクスチャピクチャに関連するアップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを追加する。レイヤ間参照ピクチャは、単に参照ピクチャリストに追加されるか、または参照ピクチャリスト中の既存の参照ピクチャと入れ替わり得る。

[0174]ステップ９１５において、コーダは、レイヤ間参照ピクチャのアップサンプリングされた動きフィールド情報に基づいて第２のレイヤの少なくとも一部分を予測する。たとえば、コーダは、時間動きベクトル予測（ＴＭＶＰ）のためにレイヤ間参照ピクチャを使用し得る。たとえば、参照ピクチャリストに追加されたレイヤ間参照ピクチャを使用して、第２のレイヤ中の特定のコーディングユニットまたは予測ユニットが予測され得る。方法９００はステップ９２０において終了する。

[0175]上記の説明では、ブロック構造は一例として使用されていることがある。しかしながら、本明細書で説明する技法、デバイス、および方法は、ピクセルに対して使用され得、隣接ブロックに関連付けられた情報を利用するのではなく、隣接ピクセルが利用され得る。

実装
[0176]現在レイヤ中の１つのブロックがベースレイヤ中の複数のブロックに対応するとき、参照インデックスと動きベクトル情報とを導出するための追加の技法がある。現在Ｎ×Ｎブロックが、ベースレイヤからの複数のアップサンプリングされたブロックとコロケートされたとき、以下で説明するように、いくつかの方法のうちのいずれか１つまたは複数が採用され得る。

[0177]１．参照インデックス変換
[0178]ベースレイヤ参照ピクチャリストとエンハンスメントレイヤ参照ピクチャリストが（各エントリのＰＯＣ値に関して）必ずしも同じであるとは限らないので、両方が同じＰＯＣ値をもつピクチャに対応する場合、ベースレイヤの参照インデックスｒＩｄｘＢがエンハンスメントレイヤの参照インデックスｒＩｄｘＥに変換される。ｒＩｄｘＥが存在しない場合、ベースレイヤブロックは、特定のＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１方向のために利用不可能であると見なされる。

[0179]また、ベースレイヤにおけるＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０または１に等しい）に関係する参照インデックスをエンハンスメントレイヤにおけるＲｅｆＰｉｃＬｉｓｔＹ（Ｙは１−Ｘに等しい）に関係する参照インデックスに変換したとき、同様の動作が実行され得る。

[0180]別の実施形態では、ｒＩｄｘＥが存在しない場合、ＰＯＣ距離に基づいて、にスケーリングされるべきベースレイヤブロック中のＭＶのために、（たとえば、最小参照インデックスをもつ）時間参照ピクチャが選択され得る。さらに、ｒＩｄｘＢは、ＥＬのために有効であるベースレイヤ中の別の参照インデックスに変換され得る。さらに、この問題を回避するために、ビットストリームに関するエンコーダ制約が課され得る。

[0181]別の実施形態では、ベースレイヤブロックが双方向であり、参照インデックスｒＩｄｘＢのうちの１つが有効でない場合、ＭＶは、動きフィールド全体を利用不可能にするのではなく、有効な参照インデックスを用いて単方向であるように変換され得る。

[0182]以下の説明では、参照インデックスはすでに変換されたと見なされ得る。

[0183]２．インター方向ベースの選択
[0184]一実施形態では、インター方向によって、ＭＶ選択に関する優先度があらかじめ定義され得る。たとえば、現在スライスタイプがＢスライスである場合、優先度は、双方向ＭＶをもつブロックに与えられ得、これは、双方向予測であるブロックが、現在Ｎ×Ｎブロックを予測するために選択される可能性が高くなることを意味する。

[0185]３．ロケーション優先度ベースの選択
[0186]別の実施形態では、方向に関する優先度、たとえば、（ｉ）最初に上、次いで左、（ｉｉ）最初に下、次いで右、または（ｉｉｉ）最初に上、次いで右が、あらかじめ定義され得る。第１の方向境界において現在Ｎ×Ｎブロックと交差するすべてのアップサンプリングされたブロックが第１に選択される。次いで、第２の方向境界において現在Ｎ×Ｎブロックと交差するブロックが次に選択される。動き情報のフルセットは現在Ｎ×Ｎブロックの動き情報であるように設定される。

[0187]４．時間距離ベースの選択
[0188]一実施形態では、アップサンプリングされたブロックのうち、現在ピクチャに最も近いＰＯＣ距離をもつ参照ピクチャを有するアップサンプリングされたブロックが、Ｎ×Ｎブロックの動き情報のフルセットを与えるために選択される。この動作は、ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１のいずれかに対応する、各予測方向について別個に行われ得る。

[0189]別の実施形態では、最も近いＰＯＣ距離を有する同じ参照ピクチャを指す参照インデックスを含んでいる複数のアップサンプリングされたブロックがある場合、動きベクトルをさらに導出するために、以下の動作、すなわち、（１）動きベクトルの平均が最終動きベクトルとして導出される、（２）動きベクトルの媒体が最終動きベクトルとして導出される、が適用され得る。一実施形態では、媒体動作のために最高３つの動きベクトルのみが選択される。

[0190]５．仮想動きベクトル生成
[0191]別の実施形態では、１つのアップサンプリングされたブロックが、ＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０または１に等しい）に対応する参照インデックスおよびＭＶを含んでいるが、ＲｅｆＰｉｃＬｉｓｔＹ（Ｙは１−Ｘに等しい）に対する利用可能な参照インデックスを含んでおらず、他のブロックが、ＲｅｆＰｉｃＬｉｓｔＹに対応する参照インデックスおよびＭＶを含んでいるとき、これらの２つのブロックの動きベクトルは、双予測動き情報のフルセットを形成するために使用され得る。

[0192]さらに、１つのアップサンプリングされたブロックが、ＲｅｆＰｉｃＬｉｓｔＸ（Ｘは０または１に等しい）に対応する参照インデックスおよびＭＶを含んでいるが、ＲｅｆＰｉｃＬｉｓｔＹ（Ｙは１−Ｘに等しい）に対する利用可能な参照インデックスを含んでおらず、他のブロックが、ＲｅｆＰｉｃＬｉｓｔＹ中の１つの参照ピクチャと同じであるピクチャ以外の、ＲｅｆＰｉｃＬｉｓｔＸに対応する参照インデックス（ｒｅｆＩｄｘＸＢ）およびＭＶを含んでいるとき、他のブロックの動きベクトルは、双予測動き情報のフルセットを形成するために使用され、ｒｅｆＩｄｘＸＢはｒｅｆＩｄｘＹＢ’に変換され、ｒｅｆＩｄｘＹＢ’は、ＲｅｆＰｉｃＬｉｓｔＸ中のｒｅｆＩｄｘＸＢによって識別されたピクチャに対応する。

[0193]本明細書で開示する情報および信号は、多種多様な技術および技法のいずれかを使用して表され得る。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。

[0194]本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈されるべきではない。

[0195]本明細書で説明した技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用例を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明した特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装した場合、本技法は、実行されたとき、上記で説明した方法のうちの１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。

[0196]プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の等価の集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明する技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサは、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、または本明細書で説明した技法の実装に好適な他の構造または装置のいずれかを指す。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供されるか、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において完全に実装され得る。

[0197]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するために構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明した１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。

[0198]本発明の様々な実施形態について説明した。これらおよび他の実施形態は以下の特許請求の範囲内に入る。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオ情報をコーディングするように構成された装置であって、
第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を記憶するように構成されたメモリユニットと、ここで、前記第１の空間解像度は前記第２の空間解像度よりも小さく、前記ビデオ情報は、少なくとも、前記第１のレイヤに関連する動きフィールド情報を含み、
前記メモリユニットと通信しているプロセッサと、
を備え、前記プロセッサは、
前記第１のレイヤに関連付けられた前記動きフィールド情報をアップサンプリングすることと、
前記第１のレイヤのアップサンプリングされたテクスチャピクチャに関連する前記アップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加することと、
前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報に基づいて前記第２のレイヤの少なくとも一部分を予測することと、
を行うように構成された、装置。
［Ｃ２］
前記レイヤ間参照ピクチャは、時間動きベクトル予測（ＴＭＶＰ）のために使用されるコロケートピクチャとして使用される、Ｃ１に記載の装置。
［Ｃ３］
動きフィールドアップサンプリングは、前記第１のレイヤ中の各４×４ブロックについて別個に実行される、Ｃ１に記載の装置。
［Ｃ４］
前記第２のレイヤ中の各Ｎ×Ｎブロックについて、中心位置は、前記第１のレイヤ中のＮ×Ｎブロックに対応する一意の位置にマッピングされ、前記第２のレイヤ中の前記Ｎ×Ｎブロックの動きフィールド情報は、前記第１のレイヤ中の前記Ｎ×Ｎブロックに関連付けられた前記アップサンプリングされた動きフィールド情報から導出され、
Ｎは少なくとも１６であり、
前記第２のレイヤ中の各Ｎ×Ｎブロックは、前記レイヤ間参照ピクチャ中の特定のコロケートＮ×Ｎブロックを有し、前記特定のＮ×Ｎブロックは、前記動きフィールド情報が前記特定のＮ×Ｎブロックのためにそこからアップサンプリングされる、前記第１のレイヤ中のコロケートブロックを有する、
Ｃ１に記載の装置。
［Ｃ５］
前記第１のレイヤの前記動きフィールド情報は、ＨＥＶＣ動き圧縮に基づいてすでに圧縮されている、Ｃ４に記載の装置。
［Ｃ６］
前記動きフィールド情報の前記アップサンプリングは、コーディングツリーと、コーディングユニットと、予測ユニットと、モードと、イントラモードと、インターモードと、イントラ予測モードとのうちの少なくとも１つを前記アップサンプリングされたテクスチャピクチャに関連付けることを備える、Ｃ１に記載の装置。
［Ｃ７］
前記プロセッサは、前記動きフィールド情報をアップサンプリングすることに関連して、各々が参照インデックスに関連付けられた、最高２つの動きベクトルを導出するようにさらに構成された、Ｃ１に記載の装置。
［Ｃ８］
前記第１のレイヤの前記アップサンプリングされたテクスチャピクチャ中のすべてのブロックのためにインター予測モードが割り当てられる、Ｃ１に記載の装置。
［Ｃ９］
前記第１のレイヤのすべてのＮ×Ｎブロックは、前記第１の空間解像度に対する前記第２の空間解像度の比に等しい比でアップサンプリングされる、Ｃ１に記載の装置。
［Ｃ１０］
前記第１のレイヤ中のコロケートブロックがイントラブロックであり、前記コロケートブロックの大部分の隣接ブロックがインター予測モードを有する場合、前記レイヤ間参照ピクチャ中の特定のブロックは、割り当てられたインター予測モードを有する、Ｃ４に記載の装置。
［Ｃ１１］
前記第１のレイヤ中の前記特定のブロックの前記コロケートブロックがイントラブロックである場合、前記レイヤ間参照ピクチャ中の特定のブロックは、利用可能な動きフィールド情報を有しない、Ｃ４に記載の装置。
［Ｃ１２］
前記第１のレイヤ中の前記特定のブロックの前記コロケートブロックが、イントラコーディングされる前記第１のレイヤ中のブロックに属する少なくとも１つのピクセルを有する場合、前記レイヤ間参照ピクチャ中の特定のブロックは、利用可能な動きフィールド情報を有しない、Ｃ４に記載の装置。
［Ｃ１３］
ビデオ情報を符号化する方法であって、前記方法は、
第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を受信することと、ここで、前記第１の空間解像度は前記第２の空間解像度よりも小さく、前記ビデオ情報は、少なくとも、前記第１のレイヤに関連付けられた動きフィールド情報を含む、
前記第１のレイヤに関連付けられた前記動きフィールド情報をアップサンプリングすることと、
前記第１のレイヤのアップサンプリングされたテクスチャピクチャに関連する前記アップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加することと、
前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報に基づいて前記第２のレイヤの少なくとも一部分を予測することと、
ビットストリーム中で前記第２のレイヤに関連付けられた少なくとも１つのシンタックス要素をシグナリングすることと、
を備える、方法。
［Ｃ１４］
前記レイヤ間参照ピクチャは、時間動きベクトル予測（ＴＭＶＰ）のために使用されるコロケートピクチャとして使用される、Ｃ１３に記載の方法。
［Ｃ１５］
動きフィールドアップサンプリングは、前記第１のレイヤ中の各４×４ブロックについて別個に実行される、Ｃ１３に記載の方法。
［Ｃ１６］
前記第２のレイヤ中の各Ｎ×Ｎブロックについて、中心位置は、前記第１のレイヤ中のＮ×Ｎブロックに対応する一意の位置にマッピングされ、前記第２のレイヤ中の前記Ｎ×Ｎブロックの動きフィールド情報は、前記第１のレイヤ中の前記Ｎ×Ｎブロックに関連付けられた前記アップサンプリングされた動きフィールド情報から導出され、
Ｎが少なくとも１６であり、
前記第２のレイヤ中の各Ｎ×Ｎブロックは、前記レイヤ間参照ピクチャ中の特定のコロケートＮ×Ｎブロックを有し、前記特定のＮ×Ｎブロックは、前記動きフィールド情報が前記特定のＮ×Ｎブロックのためにそこからアップサンプリングされる、前記第１のレイヤ中のコロケートブロックを有する、Ｃ１３に記載の方法。
［Ｃ１７］
前記第１のレイヤの前記動きフィールド情報は、ＨＥＶＣ動き圧縮に基づいてすでに圧縮されている、Ｃ１３に記載の方法。
［Ｃ１８］
前記動きフィールド情報の前記アップサンプリングは、コーディングツリーと、コーディングユニットと、予測ユニットと、モードと、イントラモードと、インターモードと、イントラ予測モードとのうちの少なくとも１つを前記アップサンプリングされたテクスチャピクチャに関連付けることを備える、Ｃ１３に記載の方法。
［Ｃ１９］
前記動きフィールド情報をアップサンプリングすることに関連して、各々が参照インデックスに関連付けられた、最高２つの動きベクトルを導出することをさらに備える、Ｃ１３に記載の方法。
［Ｃ２０］
前記第１のレイヤの前記アップサンプリングされたテクスチャピクチャ中のすべてのブロックのためにインター予測モードが割り当てられる、Ｃ１３に記載の方法。
［Ｃ２１］
前記第１のレイヤのすべてのＮ×Ｎブロックは、前記第１の空間解像度に対する前記第２の空間解像度の比に等しい比でアップサンプリングされる、Ｃ１３に記載の方法。
［Ｃ２２］
前記第１のレイヤ中のコロケートブロックがイントラブロックであり、前記コロケートブロックの大部分の隣接ブロックがインター予測モードを有する場合、前記レイヤ間参照ピクチャ中の特定のブロックは、割り当てられたインター予測モードを有する、Ｃ１６に記載の方法。
［Ｃ２３］
前記第１のレイヤ中の前記特定のブロックの前記コロケートブロックがイントラブロックである場合、前記レイヤ間参照ピクチャ中の特定のブロックは、利用可能な動きフィールド情報を有しない、Ｃ１６に記載の方法。
［Ｃ２４］
前記第１のレイヤ中の前記特定のブロックの前記コロケートブロックが、イントラコーディングされる前記第１のレイヤ中のブロックに属する少なくとも１つのピクセルを有する場合、前記レイヤ間参照ピクチャ中の特定のブロックは、利用可能な動きフィールド情報を有しない、Ｃ１６に記載の方法。
［Ｃ２５］
ビデオ情報を復号する方法であって、前記方法は、
符号化ビデオビットストリームから抽出されたシンタックス要素を受信することと、ここで、前記シンタックス要素は、第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を備え、前記第１の空間解像度は前記第２の空間解像度よりも小さく、前記ビデオ情報は、少なくとも、前記第１のレイヤに関連付けられた動きフィールド情報を含み、
前記第１のレイヤに関連付けられた前記動きフィールド情報をアップサンプリングすることと、
前記第１のレイヤのアップサンプリングされたテクスチャピクチャに関連する前記アップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加することと、
前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報に基づいて前記第２のレイヤの少なくとも一部分を予測することと、
を備える、方法。
［Ｃ２６］
前記レイヤ間参照ピクチャは、時間動きベクトル予測（ＴＭＶＰ）のために使用されるコロケートピクチャとして使用される、Ｃ２５に記載の方法。
［Ｃ２７］
動きフィールドアップサンプリングは、前記第１のレイヤ中の各４×４ブロックについて別個に実行される、Ｃ２５に記載の方法。
［Ｃ２８］
前記第２のレイヤ中の各Ｎ×Ｎブロックについて、中心位置は、前記第１のレイヤ中のＮ×Ｎブロックに対応する一意の位置にマッピングされ、前記第２のレイヤ中の前記Ｎ×Ｎブロックの動きフィールド情報は、前記第１のレイヤ中の前記Ｎ×Ｎブロックに関連付けられた前記アップサンプリングされた動きフィールド情報から導出され、
Ｎは少なくとも１６であり、
前記第２のレイヤ中の各Ｎ×Ｎブロックは、前記レイヤ間参照ピクチャ中の特定のコロケートＮ×Ｎブロックを有し、前記特定のＮ×Ｎブロックは、前記動きフィールド情報が前記特定のＮ×Ｎブロックのためにそこからアップサンプリングされる、前記第１のレイヤ中のコロケートブロックを有する、
Ｃ２５に記載の方法。
［Ｃ２９］
前記第１のレイヤの前記動きフィールド情報は、ＨＥＶＣ動き圧縮に基づいてすでに圧縮されている、Ｃ２５に記載の方法。
［Ｃ３０］
前記動きフィールド情報の前記アップサンプリングは、コーディングツリーと、コーディングユニットと、予測ユニットと、モードと、イントラモードと、インターモードと、イントラ予測モードとのうちの少なくとも１つを前記アップサンプリングされたテクスチャピクチャに関連付けることを備える、Ｃ２５に記載の方法。
［Ｃ３１］
前記動きフィールド情報をアップサンプリングすることに関連して、各々が参照インデックスに関連付けられた、最高２つの動きベクトルを導出することをさらに備える、Ｃ２５に記載の方法。
［Ｃ３２］
前記第１のレイヤの前記アップサンプリングされたテクスチャピクチャ中のすべてのブロックのためにインター予測モードが割り当てられる、Ｃ２５に記載の方法。
［Ｃ３３］
前記第１のレイヤのすべてのＮ×Ｎブロックは、前記第１の空間解像度に対する前記第２の空間解像度の比に等しい比でアップサンプリングされる、Ｃ２５に記載の方法。
［Ｃ３４］
前記第１のレイヤ中のコロケートブロックがイントラブロックであり、前記コロケートブロックの大部分の隣接ブロックがインター予測モードを有する場合、前記レイヤ間参照ピクチャ中の特定のブロックは、割り当てられたインター予測モードを有する、Ｃ２８に記載の方法。
［Ｃ３５］
前記第１のレイヤ中の前記特定のブロックの前記コロケートブロックがイントラブロックである場合、前記レイヤ間参照ピクチャ中の特定のブロックは、利用可能な動きフィールド情報を有しない、Ｃ２８に記載の方法。
［Ｃ３６］
前記第１のレイヤ中の前記特定のブロックの前記コロケートブロックが、イントラコーディングされる前記第１のレイヤ中のブロックに属する少なくとも１つのピクセルを有する場合、前記レイヤ間参照ピクチャ中の特定のブロックは、利用可能な動きフィールド情報を有しない、Ｃ２８に記載の方法。
［Ｃ３７］
実行されたとき、装置に、
第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を記憶することと、ここで、前記第１の空間解像度が前記第２の空間解像度よりも小さく、前記ビデオ情報は、少なくとも、前記第１のレイヤに関連付けられた動きフィールド情報を含み、
前記第１のレイヤに関連付けられた前記動きフィールド情報をアップサンプリングすることと、
前記第１のレイヤのアップサンプリングされたテクスチャピクチャに関連する前記アップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加することと、
前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報に基づいて前記第２のレイヤの少なくとも一部分を予測することと、
を行わせるコードを備える非一時的コンピュータ可読媒体。
［Ｃ３８］
前記レイヤ間参照ピクチャは、時間動きベクトル予測（ＴＭＶＰ）のために使用されるコロケートピクチャとして使用される、Ｃ３７に記載の媒体。
［Ｃ３９］
前記動きフィールド情報の前記アップサンプリングは、コーディングツリーと、コーディングユニットと、予測ユニットと、モードと、イントラモードと、インターモードと、イントラ予測モードとのうちの少なくとも１つを前記アップサンプリングされたテクスチャピクチャに関連付けることを備える、Ｃ３７に記載の媒体。
［Ｃ４０］
前記第１のレイヤ中の特定ブロックがイントラブロックである場合において、前記特定のブロックの大部分の隣接ブロックがインター予測モードを有する場合、前記特定のブロックのためにインター予測モードが割り当てられる、Ｃ３７に記載の媒体。
［Ｃ４１］
ビデオ情報をコーディングするように構成されたビデオコーディングデバイスであって、前記ビデオコーディングデバイスは、
第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を記憶するための手段と、ここで、前記第１の空間解像度は前記第２の空間解像度よりも小さく、前記ビデオ情報は、少なくとも、前記第１のレイヤに関連付けられた動きフィールド情報を含み、
前記第１のレイヤに関連付けられた前記動きフィールド情報をアップサンプリングするための手段と、
前記第１のレイヤのアップサンプリングされたテクスチャピクチャに関連する前記アップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加するための手段と、
前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報に基づいて前記第２のレイヤの少なくとも一部分を予測するための手段と、
を備える、ビデオコーディングデバイス。
［Ｃ４２］
前記レイヤ間参照ピクチャは、時間動きベクトル予測（ＴＭＶＰ）のために使用されるコロケートピクチャとして使用される、Ｃ４１に記載のデバイス。
［Ｃ４３］
前記動きフィールド情報の前記アップサンプリングは、コーディングツリーと、コーディングユニットと、予測ユニットと、モードと、イントラモードと、インターモードと、イントラ予測モードとのうちの少なくとも１つを前記アップサンプリングされたテクスチャピクチャに関連付けることを備える、Ｃ４１に記載のデバイス。
［Ｃ４４］
前記第１のレイヤ中の特定ブロックがイントラブロックである場合において、前記特定のブロックの大部分の隣接ブロックがインター予測モードを有する場合、前記特定のブロックのためにインター予測モードが割り当てられる、Ｃ４１に記載のデバイス。

Claims (26)

1. ビデオ情報を符号化する方法であって、前記方法は、
   第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を受信することと、ここで、前記第１の空間解像度は前記第２の空間解像度よりも小さく、前記ビデオ情報は、少なくとも、前記第１のレイヤに関連付けられた動きフィールド情報を含む、
   アップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを生成することと、前記アップサンプリングされた動き情報は、前記第１のレイヤのテクスチャピクチャに関連付けられたアップサンプリングされたテクスチャピクチャに関連し、前記レイヤ間参照ピクチャを生成することは、
   前記第１のレイヤの前記テクスチャピクチャの一部分がイントラコーディングされるかどうかを決定することと、
   （ｉ）前記テクスチャピクチャの前記一部分がイントラコーディングされないとの決定に基づいて、イントラコーディングされない前記第１のレイヤの前記テクスチャピクチャの前記一部分に関連付けられた第１の動きフィールド情報をアップサンプリングすること、ここで、前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報は、前記第１のレイヤの前記テクスチャピクチャの前記一部分に関連付けられた前記アップサンプリングされた第１の動きフィールド情報を含む、または（ｉｉ）前記テクスチャピクチャの前記一部分がイントラコーディングされるとの決定に基づいて、イントラコーディングされる前記第１のレイヤの前記テクスチャピクチャの前記一部分のために動きフィールド情報をアップサンプリングすることをしないこと、のうちの１つを実行することと、
   ここにおいて、前記テクスチャピクチャの前記一部分がイントラコーディングされないと決定されたとき、前記テクスチャピクチャの前記一部分に対応する、前記第１のレイヤの前記アップサンプリングされたテクスチャピクチャ中のブロックに対し、インター予測モードが割り当てられ、
   前記テクスチャピクチャの前記一部分がイントラコーディングされると決定され、前記ブロックに隣接する少なくとも１つの隣接ブロックの予測モードがインター予測モードであるとき、前記ブロックに対し、（ａ）インター予測モードと、（ｂ）前記少なくとも１つの隣接ブロックの前記アップサンプリングされた動きフィールド情報と、が割り当てられ、
   を備え、
   前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報に基づいて前記第２のレイヤの少なくとも一部分を予測することと、
   ビットストリーム中で前記第２のレイヤに関連付けられた少なくとも１つのシンタックス要素をシグナリングすることと、
   を備える、方法。
2. ビデオ情報を復号する方法であって、前記方法は、
   符号化ビデオビットストリームから抽出されたシンタックス要素を受信することと、ここで、前記シンタックス要素は、第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を備え、前記第１の空間解像度は前記第２の空間解像度よりも小さく、前記ビデオ情報は、少なくとも、前記第１のレイヤに関連付けられた動きフィールド情報を含み、
   アップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加することと、前記アップサンプリングされた動き情報は、前記第１のレイヤのテクスチャピクチャに関連付けられたアップサンプリングされたテクスチャピクチャに関連し、ここで、前記レイヤ間参照ピクチャを追加することは、
   前記第１のレイヤの前記テクスチャピクチャの一部分がイントラコーディングされるかどうかを決定することと、
   （ｉ）前記テクスチャピクチャの前記一部分がイントラコーディングされないとの決定に基づいて、イントラコーディングされない前記第１のレイヤの前記テクスチャピクチャの前記一部分に関連付けられた第１の動きフィールド情報をアップサンプリングすること、ここで、前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報は、前記第１のレイヤの前記テクスチャピクチャの前記一部分に関連付けられた前記アップサンプリングされた第１の動きフィールド情報を含む、または（ｉｉ）前記テクスチャピクチャの前記一部分がイントラコーディングされるとの決定に基づいて、イントラコーディングされる前記第１のレイヤの前記テクスチャピクチャの前記一部分のために動きフィールド情報をアップサンプリングすることをしないこと、のうちの１つを実行することと、
   ここにおいて、前記テクスチャピクチャの前記一部分がイントラコーディングされないと決定されたとき、前記テクスチャピクチャの前記一部分に対応する、前記第１のレイヤの前記アップサンプリングされたテクスチャピクチャ中のブロックに対し、インター予測モードが割り当てられ、
   前記テクスチャピクチャの前記一部分がイントラコーディングされると決定され、前記ブロックに隣接する少なくとも１つの隣接ブロックの予測モードがインター予測モードであるとき、前記ブロックに対し、（ａ）インター予測モードと、（ｂ）前記少なくとも１つの隣接ブロックの前記アップサンプリングされた動きフィールド情報と、が割り当てられ、
   を備え、
   前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報に基づいて前記第２のレイヤの少なくとも一部分を予測することと、
   を備える、方法。
3. 前記レイヤ間参照ピクチャは、前記第２のレイヤの前記一部分を予測するために使用されるべき時間動きベクトルを決定するために使用されるコロケートピクチャとして使用される、請求項１に記載の方法。
4. 前記動きフィールドアップサンプリングは、前記第１のレイヤ中の各４×４ブロックについて別個に実行される、請求項１に記載の方法。
5. 前記第２のレイヤ中の各Ｎ×Ｎブロックについて、中心位置は、前記第１のレイヤ中のＮ×Ｎブロックに対応する一意の位置にマッピングされ、前記第２のレイヤ中の前記Ｎ×Ｎブロックの動きフィールド情報は、前記第１のレイヤ中の前記Ｎ×Ｎブロックに関連付けられた前記アップサンプリングされた動きフィールド情報から導出され、Ｎは１６であり、前記第２のレイヤ中の各Ｎ×Ｎブロックは、前記レイヤ間参照ピクチャ中の特定のコロケートＮ×Ｎブロックを有し、前記特定のＮ×Ｎブロックは、前記動きフィールド情報が前記特定のＮ×Ｎブロックのためにそこからアップサンプリングされる、前記第１のレイヤ中のコロケートブロックを有する、請求項１に記載の方法。
6. 前記第１のレイヤの前記動きフィールド情報は、前記テクスチャピクチャ中の各１６×１６ブロックが同じ動きベクトルに関連付けられるようにＨＥＶＣ動き圧縮に基づいてすでに圧縮されている、請求項１に記載の方法。
7. 前記動きフィールド情報の前記アップサンプリングは、ＨＥＶＣコーディングツリーと、ＨＥＶＣコーディングユニットと、ＨＥＶＣ予測ユニットと、イントラ予測モードと、インター予測モードとのうちの少なくとも１つを前記アップサンプリングされたテクスチャピクチャに関連付けることを備える、請求項１に記載の方法。
8. 前記動きフィールド情報をアップサンプリングすることに関連して、各々が前記参照ピクチャリスト中の参照ピクチャを示す参照インデックスに関連付けられた、最高２つの動きベクトルを導出することをさらに備える、請求項１に記載の方法。
9. 前記第１のレイヤの前記アップサンプリングされたテクスチャピクチャ中のすべてのブロックのためにインター予測モードが割り当てられる、請求項１に記載の方法。
10. 前記第１のレイヤのすべてのＮ×Ｎブロックは、前記第１の空間解像度に対する前記第２の空間解像度の比に等しい比でアップサンプリングされる、請求項１に記載の方法。
11. 前記第１のレイヤ中の前記特定のブロックの前記コロケートブロックがイントラブロックである場合、前記レイヤ間参照ピクチャ中の特定のブロックは、利用可能な動きフィールド情報を有しない、請求項５に記載の方法。
12. 前記第１のレイヤ中の前記特定のブロックの前記コロケートブロックが、イントラコーディングされる前記第１のレイヤ中のブロックに属する少なくとも１つのピクセルを有する場合、前記レイヤ間参照ピクチャ中の特定のブロックは、利用可能な動きフィールド情報を有しない、請求項５に記載の方法。
13. 実行されたとき、装置に、請求項１、３−１２のうちのいずれか一項にしたがった方法を実行させるコードを備える非一時的コンピュータ可読媒体。
14. ビデオ情報をコーディングするように構成された装置であって、
    第１の空間解像度を有する第１のレイヤと、第２の空間解像度を有する対応する第２のレイヤとに関連付けられたビデオ情報を記憶するように構成されたメモリユニットと、ここで、前記第１の空間解像度は前記第２の空間解像度よりも小さく、前記ビデオ情報は、少なくとも、前記第１のレイヤに関連付けられた動きフィールド情報を含み、
    前記メモリユニットと通信しているプロセッサと、
    を備え、前記プロセッサは、
    アップサンプリングされた動きフィールド情報を含むレイヤ間参照ピクチャを参照ピクチャリストに追加することと、前記アップサンプリングされた動き情報は、前記第１のレイヤのテクスチャピクチャに関連付けられたアップサンプリングされたテクスチャピクチャに関連し、前記プロセッサは、
    前記第１のレイヤの前記テクスチャピクチャの一部分がイントラコーディングされるかどうかを決定することと、
    （ｉ）前記テクスチャピクチャの前記一部分がイントラコーディングされないとの決定に基づいて、イントラコーディングされない前記第１のレイヤの前記テクスチャピクチャの前記一部分に関連付けられた第１の動きフィールド情報をアップサンプリングすること、ここで、前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報は、前記第１のレイヤの前記テクスチャピクチャの前記一部分に関連付けられた前記アップサンプリングされた第１の動きフィールド情報を含む、または（ｉｉ）前記テクスチャピクチャの前記一部分がイントラコーディングされるとの決定に基づいて、イントラコーディングされる前記第１のレイヤの前記テクスチャピクチャの前記一部分のために動きフィールド情報をアップサンプリングすることをしないこと、のうちの１つを実行することと、
    によって、前記レイヤ間参照ピクチャを追加するように構成され、ここにおいて、
    前記テクスチャピクチャの前記一部分がイントラコーディングされないと決定されたとき、前記テクスチャピクチャの前記一部分に対応する、前記第１のレイヤの前記アップサンプリングされたテクスチャピクチャ中のブロックに対し、インター予測モードが割り当てられ、
    前記テクスチャピクチャの前記一部分がイントラコーディングされると決定され、前記ブロックに隣接する少なくとも１つの隣接ブロックの予測モードがインター予測モードであるとき、前記ブロックに対し、（ａ）インター予測モードと、（ｂ）前記少なくとも１つの隣接ブロックの前記アップサンプリングされた動きフィールド情報と、が割り当てられ、
    前記レイヤ間参照ピクチャの前記アップサンプリングされた動きフィールド情報に基づいて前記第２のレイヤの少なくとも一部分を予測することと、
    を行うように構成された、装置。
15. 前記レイヤ間参照ピクチャは、前記第２のレイヤの前記一部分を予測するために使用されるべき時間動きベクトルを決定するために使用されるコロケートピクチャとして使用される、請求項１４に記載の装置。
16. 前記レイヤ間参照ピクチャは、前記第２のレイヤの前記一部分を予測するために使用されるべき時間動きベクトルを決定するために使用されるコロケートピクチャとして使用される、請求項２に記載の方法。
17. 前記動きフィールドアップサンプリングは、前記第１のレイヤ中の各４×４ブロックについて別個に実行される、請求項２に記載の方法。
18. 前記第２のレイヤ中の各Ｎ×Ｎブロックについて、中心位置は、前記第１のレイヤ中のＮ×Ｎブロックに対応する一意の位置にマッピングされ、前記第２のレイヤ中の前記Ｎ×Ｎブロックの動きフィールド情報は、前記第１のレイヤ中の前記Ｎ×Ｎブロックに関連付けられた前記アップサンプリングされた動きフィールド情報から導出され、Ｎは１６であり、前記第２のレイヤ中の各Ｎ×Ｎブロックは、前記レイヤ間参照ピクチャ中の特定のコロケートＮ×Ｎブロックを有し、前記特定のＮ×Ｎブロックは、前記動きフィールド情報が前記特定のＮ×Ｎブロックのためにそこからアップサンプリングされる、前記第１のレイヤ中のコロケートブロックを有する、請求項２に記載の方法。
19. 前記第１のレイヤの前記動きフィールド情報は、前記テクスチャピクチャ中の各１６×１６ブロックが同じ動きベクトルに関連付けられるようにＨＥＶＣ動き圧縮に基づいてすでに圧縮されている、請求項２に記載の方法。
20. 前記動きフィールド情報の前記アップサンプリングは、ＨＥＶＣコーディングツリーと、ＨＥＶＣコーディングユニットと、ＨＥＶＣ予測ユニットと、イントラモードと、インターモードとのうちの少なくとも１つを前記アップサンプリングされたテクスチャピクチャに関連付けることを備える、請求項２に記載の方法。
21. 前記動きフィールド情報をアップサンプリングすることに関連して、各々が前記参照ピクチャリスト中の参照ピクチャを示す参照インデックスに関連付けられた、最高２つの動きベクトルを導出することをさらに備える、請求項２に記載の方法。
22. 前記第１のレイヤの前記アップサンプリングされたテクスチャピクチャ中のすべてのブロックのためにインター予測モードが割り当てられる、請求項２に記載の方法。
23. 前記第１のレイヤのすべてのＮ×Ｎブロックは、前記第１の空間解像度に対する前記第２の空間解像度の比に等しい比でアップサンプリングされる、請求項２に記載の方法。
24. 前記第１のレイヤ中の前記特定のブロックの前記コロケートブロックがイントラブロックである場合、前記レイヤ間参照ピクチャ中の特定のブロックは、利用可能な動きフィールド情報を有しない、請求項１８に記載の方法。
25. 前記第１のレイヤ中の前記特定のブロックの前記コロケートブロックが、イントラコーディングされる前記第１のレイヤ中のブロックに属する少なくとも１つのピクセルを有する場合、前記レイヤ間参照ピクチャ中の特定のブロックは、利用可能な動きフィールド情報を有しない、請求項１８に記載の方法。
26. 実行されたとき、装置に、請求項２、１６−２５のうちのいずれか一項にしたがった方法を実行させるコードを備える非一時的コンピュータ可読媒体。

Images