JP6129969B2 - スケーラブルビデオコード化における代替変換 - Google Patents

Description

[0001]本開示は、ビデオコード化に関する。

[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー電話又は衛星無線電話、ビデオ遠隔会議機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中の高効率ビデオコード化（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶し得る。

[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間（イントラピクチャ）予測及び／又は時間（インターピクチャ）予測を実行する。ブロックベースのビデオコード化の場合、ビデオスライス（例えば、ビデオフレーム、ビデオフレームの一部分など）が、ツリーブロック、コード化単位（ＣＵ：coding unit）及び／又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャの中の隣接ブロック内の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライス中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測、又は他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0004]空間予測又は時間予測は、コード化されるべきブロックの予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコード化が適用され得る。

[0005]あるブロックベースのビデオコード化及び圧縮はスケーラブル技法を利用する。スケーラブルビデオコード化（ＳＶＣ：scalable video coding）は、ベースレイヤと１つ又は複数のスケーラブル拡張レイヤとが使用されるビデオコード化を指す。ＳＶＣの場合、ベースレイヤは、一般に、ベースレベルの品質でビデオデータを搬送する。１つ又は複数の拡張レイヤは追加ビデオデータを搬送して、より高い空間レベル、時間レベル及び／又はＳＮＲレベルをサポートする。場合によっては、ベースレイヤは、拡張レイヤの送信よりも信頼できる方法で送信され得る。

[0006]一実施形態では、ビデオ情報を符号化又は復号するための装置が提供される。本装置は、ベースレイヤ及び拡張レイヤに関連するビデオ情報を記憶するように構成されたメモリユニットを備える。本装置は、メモリユニットに動作可能に結合されたプロセッサを更に備える。プロセッサは、ビデオブロック情報と隣接ビデオブロック情報との間の差分に関係する閾値によって決定された変換関数を使用して、ビデオブロック情報を符号化又は復号するように構成される。

[0007]一実施形態では、ビデオ情報をコード化するように構成された装置は、メモリとプロセッサとを含む。メモリは、拡張レイヤに関連するビデオブロック情報を記憶するように構成される。プロセッサは、メモリに動作可能に結合され、メモリからビデオブロック情報を取り出し、ビデオ情報をコード化するように構成され、プロセッサは、ビデオブロック情報のパラメータに基づいて変換関数を決定することと、決定された変換関数を使用してビデオブロック情報をコード化することとを行うように更に構成される。

[0008]別の実施形態では、ビデオブロック情報のパラメータはコード化モードを備える。別の実施形態では、コード化モードは、イントラベースレイヤ（イントラＢＬ）モード又は一般化残差予測（ＧＲＰ：Generalized Residual Prediction）を備える。別の実施形態では、変換関数を決定するために、プロセッサは、ビデオブロック情報のパラメータが所定の値であるかどうかを決定することと、ビデオブロック情報のパラメータが所定の値でないと決定したことに応答して、変換関数が１次変換であると決定するか、又は、ビデオブロック情報のパラメータが所定の値であると決定したことに応答して、変換関数が代替変換であると決定することとを行うように構成される。別の実施形態では、代替変換は、離散サイン変換（ＤＳＴ）、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、タイプ−ＶＩＩ ＤＳＴ、離散コサイン変換（ＤＣＴ）、異なるタイプのＤＣＴ、及びカルーネンレーベ変換（ＫＬＴ）のうちの１つを含む。別の実施形態では、ビデオ情報のパラメータは、フレームレベル、スライスレベル、コード化単位レベル、及び変換ブロック単位レベルのうちの１つにおいて信号伝達される。別の実施形態では、ビデオ情報のパラメータは、サイド情報、コード化単位サイズ、変換単位サイズ、フレームタイプ、フレームサイズ、量子化パラメータ（ＱＰ：quantization parameter）、時間レイヤ情報、及び構文解析された残余係数情報のうちの少なくとも１つを備える。別の実施形態では、パラメータはベースレイヤからの情報を備える。別の実施形態では、ビデオブロック情報のパラメータは、ビデオブロック情報と隣接ビデオブロック情報との間の差分に関係する閾値を備える。別の実施形態では、変換関数は、ビデオブロック情報と隣接ブロック情報との間の差分が閾値を下回るとき、非コサインベース変換を備える。別の実施形態では、変換関数は、ビデオブロック情報と隣接ブロック情報との間の差分が閾値を上回るとき、コサイン変換を備える。別の実施形態では、プロセッサは、高レベルシンタックスを使用した又はフラグとして符号化された閾値を受信するように構成される。別の実施形態では、決定された変換が、２値化を使用して信号伝達される。別の実施形態では、２値化は、短縮単項コード（truncated unary code）及び固定長コードのうちの少なくとも１つを備える。別の実施形態では、本装置はエンコーダを備える。別の実施形態では、本装置はデコーダを備える。別の実施形態では、本装置は、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、及びビデオストリーミング機器のうちの１つ又は複数からなるグループから選択される。

[0009]別の実施形態では、ビデオ情報を符号化する方法は、参照レイヤに関連するビデオブロック情報を受信することと、ビデオブロック情報のパラメータに基づいて変換関数を決定することと、決定された変換関数を使用してビデオブロック情報を符号化することとを含む。

[0010]別の実施形態では、ビデオ情報を復号する方法は、参照レイヤに関連するビデオブロック情報を受信することと、ビデオブロック情報のパラメータに基づいて変換関数を決定することと、決定された変換関数を使用してビデオブロック情報を復号することとを含む。

[0011]別の実施形態では、ビデオコード化機器は、ビデオデータをコード化するように構成され、本ビデオコード化機器は、参照レイヤに関連するビデオブロック情報のパラメータに基づいて変換関数を決定するための手段と、決定された変換関数を使用してビデオブロック情報をコード化するための手段とを含む。

[0012]また別の実施形態では、非一時的コンピュータ可読媒体は、実行されたとき、参照レイヤに関連するビデオブロック情報のパラメータに基づいて変換関数を決定することと、変換を使用してビデオブロック情報をコード化することとを装置に行わせるコードを含む。

[0013]本開示で説明する態様による技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。 [0014]本開示で説明する態様による技法を実装し得るビデオエンコーダの例を示すブロック図。 [0015]本開示で説明する態様による技法を実装し得るビデオデコーダの例を示すブロック図。 [0016]本開示の態様による３つの異なる次元におけるスケーラビリティを示すブロック図。 [0017]本開示の態様によるＳＶＣビットストリームの例示的な構造を示すブロック図。 [0018]本開示の態様によるビットストリーム中の例示的なＳＶＣアクセスユニットを示すブロック図。 [0019]イントラＢＬモード中に使用される、拡張レイヤ中の現在ブロックと、対応する参照又はベースレイヤ中の同一位置配置ブロック（co-located block）とを示す概念図。 [0020]本開示の態様によるコード化ルーチンのための方法の実施形態を示すフローチャート。

[0021]添付の図面は例を示している。添付の図面中の参照番号によって示される要素は、以下の説明における同様の参照番号によって示される要素に対応する。本開示では、序数語（例えば、「第１の」、「第２の」、「第３の」など）で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じ又は同様のタイプの異なる要素を指すために使用されるにすぎない。

[0022]ビデオ画像、ＴＶ画像、静止画像、又はビデオレコーダ若しくはコンピュータによって生成された画像など、デジタル画像は、水平ライン及び垂直ラインで構成された画素からなり得る。単一の画像中の画素の数は一般に数万個である。各画素は、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮なしに、画像エンコーダから画像デコーダに搬送されるべき情報の量は、リアルタイム画像送信を不可能にするほど非常に大きい。送信されるべき情報の量を低減するために、ＪＰＥＧ、ＭＰＥＧ及びＨ．２６３規格など、幾つかの異なる圧縮方法が開発された。

[0023]本開示で説明する技法は、概して、スケーラブルビデオコード化（ＳＶＣ）及び３Ｄビデオコード化に関係する。例えば、本技法は、高効率ビデオコード化（ＨＥＶＣ）スケーラブルビデオコード化（ＳＶＣ）拡張に関係し、それとともに又はそれの中で使用され得る。ＳＶＣ拡張では、ビデオ情報の複数のレイヤがあり得る。最下位レベルにあるレイヤはベースレイヤ（ＢＬ）として働き、最上位にあるレイヤは拡張化レイヤ（ＥＬ：enhanced layer）として働き得る。「拡張化レイヤ」は「拡張レイヤ」と呼ばれることがあり、これらの用語は互換的に使用され得る。中間にある全てのレイヤは、ＥＬ又はＢＬの一方又は両方として働き得る。例えば、中間にあるレイヤは、ベースレイヤ又は介在拡張レイヤ（intervening enhancement layer）など、それの下のレイヤのためのＥＬであり、同時にそれの上の拡張レイヤのためのＢＬとして働き得る。

[0024]単に説明のために、本開示で説明する技法は、単に２つのレイヤ（例えば、ベースレイヤなどの下位レベルレイヤと、拡張化又は拡張レイヤなどの上位レベルレイヤ）を含む例を用いて説明する。本開示で説明する例が、複数のベースレイヤ及び拡張レイヤをもつ例にも拡張され得ることを理解されたい。

[0025]概して、ビデオコード化規格は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ、及びそれのＳＶＣ拡張とマルチビュービデオコード化（ＭＶＣ）拡張とを含む、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４を含むことができる。最近、新しいビデオコード化規格、即ち高効率ビデオコード化（ＨＥＶＣ）の設計が、ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）によって確定された。以下でＨＥＶＣ ＷＤ１０と呼ぶ、最新のＨＥＶＣドラフト仕様が、http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zipから入手可能である。ＨＥＶＣ ＷＤ１０についての完全引用は、文書ＪＣＴＶＣ−Ｌ１００３＿ｖ３４、Ｂｒｏｓｓら、「High Efficiency Video Coding (HEVC) Text Specification Draft 10」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４日〜２０１３年１月２３日である。また、ＨＥＶＣのマルチビュー拡張、即ちＭＶ−ＨＥＶＣがＪＣＴ−３Ｖによって開発されている。以下でＭＶ−ＨＥＶＣ ＷＤ３と呼ぶ、最新のＭＶ−ＨＥＶＣドラフト仕様が、http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/3_Geneva/wg11/JCT3V-C1004-v4.zipからダウンロード可能である。ＳＨＶＣと称するＨＥＶＣのスケーラブル拡張も、ＪＣＴ−ＶＣによって開発されている。以下でＳＨＶＣ ＷＤ１と呼ぶ、ＳＨＶＣの最近のワーキングドラフト（ＷＤ）が、http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1008-v1.zipから入手可能である。

[0026]ＪＣＴ−ＶＣは、ＨＥＶＣ規格の開発に取り組んでいる。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコード化機器の発展的モデルに基づく。ＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存の機器に対してビデオコード化機器の幾つかの追加の能力を仮定する。例えば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３３個ものイントラ予測符号化モードを提供し得る。

[0027]スケーラブルビデオコード化（ＳＶＣ）は、（信号対雑音（ＳＮＲ）とも呼ばれる）品質スケーラビリティ、空間スケーラビリティ（例えば、解像度スケーリング）、及び／又は時間スケーラビリティ（例えば、フレームレートスケーリング）を与えるために使用され得る。例えば、一実施形態では、参照レイヤ及び拡張レイヤがともに第１のレベルよりも高い第２の品質レベル（例えば、より少ない雑音、より大きい解像度、より良いフレームレートなど）でビデオを表示するのに十分なビデオ情報を含むように、参照レイヤ（例えば、ベースレイヤ）は第１の品質レベルでビデオを表示するのに十分なビデオ情報を含み、拡張レイヤは、参照レイヤに関係する追加のビデオ情報を含む。拡張レイヤは、ベースレイヤとは異なる空間解像度を有し得る。例えば、ＥＬとＢＬとの間の空間アスペクト比は、１．０、１．５、２．０又は他の異なる比であり得る。言い換えれば、ＥＬの空間アスペクトは、ＢＬの空間アスペクトの１．０倍、１．５倍、又は２．０倍に等しくなり得る。幾つかの例では、ＥＬのスケーリングファクタはＢＬよりも大きくなり得る。例えば、ＥＬ中のピクチャのサイズは、ＢＬ中のピクチャのサイズよりも大きくなり得る。このようにして、限定はしないが、ＥＬの空間解像度がＢＬの空間解像度よりも大きいことが可能であり得る。

[0028]Ｈ．２６４のＳＶＣ拡張では、現在ブロックの予測は、ＳＶＣに与えられる異なるレイヤを使用して実行され得る。そのような予測はレイヤ間予測（inter-layer prediction）と呼ばれることがある。レイヤ間予測方法は、レイヤ間冗長性を低減するためにＳＶＣにおいて利用され得る。レイヤ間予測の幾つかの例としては、レイヤ間イントラ予測、レイヤ間動き予測、及びレイヤ間残差予測があり得る。レイヤ間イントラ予測は、ベースレイヤ中の同一位置配置ブロック（co-located blocks）の再構成を使用して拡張レイヤ中の現在ブロックを予測する。レイヤ間動き予測は、ベースレイヤの動きを使用して拡張レイヤ中の動作を予測する。レイヤ間残差予測は、ベースレイヤの残余を使用して拡張レイヤの残余を予測する。

[0029]レイヤ間残差予測では、ベースレイヤの残余は、拡張レイヤ中の現在ブロックを予測するために使用され得る。残余は、ビデオユニットについての時間予測と発信源ビデオユニットについての時間予測との間の差分として定義され得る。残差予測では、ベースレイヤの残余はまた、現在ブロックを予測する際に考慮される。例えば、現在ブロックは、拡張レイヤからの残余、拡張レイヤからの時間予測、及び／又はベースレイヤからの残余を使用して再構成され得る。現在ブロックは以下の式に従って再構成され得る。

[0030]拡張レイヤ中のマクロブロック（「ＭＢ：macroblock」）のためにレイヤ間残差予測を使用するために、ベースレイヤ中の同一位置配置マクロブロックはインターＭＢであるべきであり、同一位置配置ベースレイヤマクロブロックの残余は、（例えば、ＳＶＣにおけるレイヤは異なる空間解像度を有し得るので）拡張レイヤの空間解像度比に従ってアップサンプリングされ得る。レイヤ間残差予測では、拡張レイヤの残余とアップサンプリングされたベースレイヤの残余との間の差分がビットストリーム中でコード化され得る。ベースレイヤの残余は、ベースレイヤの量子化ステップと拡張レイヤの量子化ステップとの間の比に基づいて正規化され得る。

[0031]Ｈ．２６４のＳＶＣ拡張は、デコーダのための低複雑度を維持するためにシングルループ復号を動き補償に提供する。概して、次のように現在ブロックについての時間予測と残余とを加算することによって、動き補償が実行される。

シングルループ復号では、ＳＶＣにおける各サポートされるレイヤは、単一の動き補償ループを用いて復号され得る。これを達成するために、上位ブロックをレイヤ間イントラ予測するために使用される全てのブロックが、制約付きイントラ予測を使用してコード化される。制約付きイントラ予測では、イントラモードＭＢが、隣接インターコード化ＭＢからのサンプルを参照することなしにイントラコード化される。一方、ＨＥＶＣは、複数の動き補償ループを使用してＳＶＣレイヤが復号され得る、ＳＶＣのためのマルチループ復号を可能にする。例えば、最初にベースレイヤが完全に復号され、次いで拡張レイヤが復号される。

[0032]式（１）において公式化される残差予測は、Ｈ．２６４ ＳＶＣ拡張における効率的な技法であり得る。しかしながら、特に、マルチループ復号がＨＥＶＣ ＳＶＣ拡張において使用されるとき、それの性能はＨＥＶＣ ＳＶＣ拡張において更に改善され得る。

[0033]マルチループ復号の場合、残差予測の代わりに差分領域動き補償（difference domain motion compensation）が使用され得る。ＳＶＣでは、拡張レイヤが、画素領域コード化又は差分領域コード化を使用してコード化され得る。画素領域コード化では、非ＳＶＣ ＨＥＶＣレイヤに関して、拡張レイヤ画素のための入力画素がコード化され得る。一方、差分領域コード化では、拡張レイヤの差分値がコード化され得る。差分値は、拡張レイヤのための入力画素と、対応するスケーリングされたベースレイヤ再構成画素との間の差分であり得る。そのような差分値は、差分領域動き補償のための動き補償において使用され得る。

[0034]差分領域を使用したインターコード化の場合、現在予測ブロックは、拡張レイヤ参照ピクチャ中の対応する予測ブロックサンプルと、スケーリングされたベースレイヤ参照ピクチャ中の対応する予測ブロックサンプルとの間の差分値に基づいて決定される。差分値は差分予測ブロック（difference predicted block）と呼ばれることがある。拡張レイヤ予測サンプルを取得するために、同一位置配置ベースレイヤ再構成サンプルが差分予測ブロックに追加される。

[0035]図１は、本開示で説明する態様による技法を利用し得る例示的なビデオコード化システム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコード化」又は「コード化」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。

[0036]図１に示されるように、ビデオコード化システム１０は、発信源機器１２と宛先機器１４とを含む。発信源機器１２は符号化ビデオデータを生成する。宛先機器１４は、発信源機器１２によって生成された符号化ビデオデータを復号し得る。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（例えば、ラップトップなど）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォン、所謂「スマート」パッドなどの電話ハンドセット、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータなどを含む、広範囲にわたる機器を備え得る。幾つかの例では、発信源機器１２及び宛先機器１４は、ワイヤレス通信のために装備され得る。

[0037]宛先機器１４は、チャネル１６を介して発信源機器１２から符号化ビデオデータを受信し得る。チャネル１６は、発信源機器１２から宛先機器１４に符号化ビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。一例では、チャネル１６は、発信源機器１２が符号化ビデオデータを宛先機器１４にリアルタイムで直接送信することを可能にする通信媒体を備え得る。この例では、発信源機器１２は、ワイヤレス通信プロトコルなどの通信規格に従って符号化ビデオデータを変調し得、変調されたビデオデータを宛先機器１４に送信し得る。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ又は複数の物理伝送線路など、ワイヤレス通信媒体又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器１２から宛先機器１４への通信を容易にするルータ、スイッチ、基地局、又は他の機器を含み得る。

[0038]別の例では、チャネル１６は、発信源機器１２によって生成された符号化ビデオデータを記憶する記憶媒体に対応し得る。この例では、宛先機器１４は、ディスクアクセス又はカードアクセスを介して記憶媒体にアクセスし得る。記憶媒体は、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、又は符号化ビデオデータを記憶するための他の適切なデジタル記憶媒体など、種々のローカルにアクセスされるデータ記憶媒体を含み得る。更なる例では、チャネル１６は、発信源機器１２によって生成された符号化ビデオを記憶する、ファイルサーバ又は別の中間記憶機器を含み得る。この例では、宛先機器１４は、ストリーミング又はダウンロードを介して、ファイルサーバ又は他の中間記憶装置に記憶された符号化ビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、符号化ビデオデータを宛先機器１４に送信することとが可能なタイプのサーバであり得る。例示的なファイルサーバとしては、（例えば、ウェブサイトなどのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）機器、及びローカルディスクドライブがある。宛先機器１４は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。例示的なタイプのデータ接続としては、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適である、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続など）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデムなど）、又はその両方の組合せがあり得る。ファイルサーバからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はその両方の組合せであり得る。

[0039]本開示の技法は、ワイヤレスの用途又は設定には限定されない。本技法は、無線テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信（例えば、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ：dynamic adaptive streaming over HTTP）など）、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、ビデオコード化システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオ電話などの用途をサポートするために、単方向又は双方向のビデオ送信をサポートするように構成され得る。

[0040]図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）及び／又は送信機を含み得る。発信源機器１２において、ビデオ発信源１８は、撮像装置、例えばビデオカメラ、以前に撮影されたビデオデータを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、及び／又は、ビデオデータを生成するためのコンピュータグラフィックスシステムなどの発信源、若しくはそのような発信源の組合せを含み得る。

[0041]ビデオエンコーダ２０は、撮影されたビデオデータ、以前に撮影されたビデオデータ、又はコンピュータ生成されたビデオデータを符号化するように構成され得る。符号化ビデオデータは、発信源機器１２の出力インターフェース２２を介して宛先機器１４に直接送信され得る。符号化ビデオデータはまた、復号及び／又は再生のための宛先機器１４による後のアクセスのために記憶媒体又はファイルサーバ上に記憶され得る。

[0042]図１の例では、宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。場合によっては、入力インターフェース２８は、受信機及び／又はモデムを含み得る。宛先機器１４の入力インターフェース２８は、チャネル１６を介して符号化ビデオデータを受信する。符号化ビデオデータは、ビデオデータを表す、ビデオエンコーダ２０によって生成された様々なシンタックス要素を含み得る。シンタックス要素は、ブロック及び他のコード化単位、例えばＧＯＰの特性及び／又は処理を記述し得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、又はファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。

[0043]表示装置３２は、宛先機器１４と一体化され得るか又はその外部にあり得る。幾つかの例では、宛先機器１４は、一体型表示装置を含み得、また、外部表示装置とインターフェースするように構成され得る。他の例では、宛先機器１４は表示装置であり得る。概して、表示装置３２は復号ビデオデータをユーザに表示する。表示装置３２は、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。

[0044]ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格など、ビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ又は業界標準、あるいはそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオ圧縮規格の他の例には、ＭＰＥＧ−２及びＩＴＵ−Ｔ Ｈ．２６３がある。

[0045]図１の例には示されていないが、ビデオエンコーダ２０及びビデオデコーダ３０は、それぞれオーディオエンコーダ及びデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、幾つかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0046]この場合も、図１は例にすぎず、本開示の技法は、符号化機器と復号機器との間のデータ通信を必ずしも含むとは限らないビデオコード化設定（例えば、ビデオ符号化又はビデオ復号）に適用され得る。他の例では、データがローカルメモリから取り出されること、ネットワークを介してストリーミングされることなどが行われ得る。符号化機器は、データを符号化し、メモリに記憶し得、及び／又は、復号機器は、メモリからデータを取り出し、復号し得る。多くの例では、符号化及び復号は、互いに通信しないが、メモリにデータを符号化し、及び／又はメモリからデータを取り出して復号するだけである機器によって実行される。

[0047]ビデオエンコーダ２０及びビデオデコーダ３０はそれぞれ、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ハードウェアなど、様々な好適な回路のいずれか、又はそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、好適な非一時的コンピュータ可読記憶媒体にソフトウェアの命令を記憶し得、１つ又は複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む機器は、集積回路、マイクロプロセッサ、及び／又はセルラー電話などのワイヤレス通信機器を備え得る。

[0048]ＪＣＴ−ＶＣは、ＨＥＶＣ規格の開発に取り組んでいる。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコード化機器の発展的モデルに基づく。ＨＭは、例えば、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存の機器に対してビデオコード化機器の幾つかの追加の能力を仮定する。例えば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３３個ものイントラ予測符号化モードを提供し得る。

[0049]概して、ＨＭの作業モデルは、ビデオフレーム又はピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロック又は最大コード化単位（ＬＣＵ：largest coding unit）に分割され得ることを記載している。ビットストリーム内のシンタックスデータが、画素の数に関して最大コード化単位であるＬＣＵのサイズを定義し得る。スライスは、コード化順序で幾つかの連続するツリーブロックを含む。ビデオフレーム又はピクチャは、１つ又は複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコード化単位（ＣＵ）に分割され得る。概して、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。

[0050]４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。例えば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵが更に分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵをリーフＣＵとも呼ぶ。例えば、１６×１６サイズのＣＵが更に分割されない場合、この１６×１６ＣＵが決して分割されなくても、４つの８×８サブＣＵをリーフＣＵとも呼ぶ。

[0051]ＣＵは、ＣＵがサイズ差異を有しないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、４つの子ノード（サブＣＵとも呼ばれる）に分割され得、各子ノードは、今度は親ノードとなり、別の４つの子ノードに分割され得る。４分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフＣＵとも呼ばれるコード化ノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深度と呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コード化ノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コード化単位（ＳＣＵ：smallest coding unit）をも定義し得る。本開示では、ＨＥＶＣのコンテキストにおけるＣＵ、ＰＵ、又はＴＵ、若しくは他の規格のコンテキストにおける同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロック及びそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。

[0052]ＣＵは、コード化ノードと、コード化ノードに関連する予測単位（ＰＵ：prediction unit）及び変換単位（ＴＵ：transform unit）とを含む。ＣＵのサイズは、コード化ノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８画素から最大６４×６４以上の画素をもつツリーブロックのサイズまでに及び得る。各ＣＵは、１つ又は複数のＰＵと、１つ又は複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つ又は複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化又はダイレクトモード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非正方形になるように区分され得る。ＣＵに関連するシンタックスデータは、例えば、４分木に従って、ＣＵを１つ又は複数のＴＵに区分することも記述し得る。ＴＵは、形状が正方形又は非正方形（例えば、矩形など）であり得る。

[0053]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従う変換を可能にする。ＴＵは、一般に、区分されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは、一般に、ＰＵと同じサイズであるか又はＰＵよりも小さい。幾つかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）として知られる４分木構造を使用してより小さい単位に再分割され得る。ＲＱＴのリーフノードは変換単位（ＴＵ）と呼ばれることがある。ＴＵに関連する画素差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。

[0054]リーフＣＵは、１つ又は複数の予測単位（ＰＵ）を含み得る。概して、ＰＵは、対応するＣＵの全部又は一部分に対応する空間エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関係するデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵについてのデータは、ＰＵに対応するＴＵについてのイントラ予測モードを記述するデータを含み得る残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つ又は複数の動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（例えば、１／４画素精度又は１／８画素精度など）、動きベクトルが指す参照ピクチャ、及び／又は動きベクトルの参照ピクチャリスト（例えば、リスト０、リスト１、又はリストＣ）を記述し得る。

[0055]１つ又は複数のＰＵを有するリーフＣＵはまた、１つ又は複数の変換単位（ＴＵ）を含み得る。変換単位は、上記で説明したように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。例えば、分割フラグは、リーフＣＵが４つの変換単位に分割されるかどうかを示し得る。次いで、各変換単位は更に、更なるサブＴＵに分割され得る。ＴＵが更に分割されないとき、そのＴＵはリーフＴＵと呼ばれることがある。概して、イントラコード化の場合、リーフＣＵに属する全てのリーフＴＵは同じイントラ予測モードを共有する。即ち、概して、リーフＣＵの全てのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダは、イントラ予測モードを使用して各リーフＴＵの残差値を、ＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵはＰＵよりも大きく又は小さくなり得る。イントラコード化の場合、ＰＵは、同じＣＵの対応するリーフＴＵと同一位置配置(co-located)され得る。幾つかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。

[0056]その上、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造に関連付けられ得る。即ち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは概してリーフＣＵに対応し、ＣＵ４分木のルートノードは概してツリーブロック（又はＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。概して、本開示では、特に明記しない限り、リーフＣＵ及びリーフＴＵに言及するためにそれぞれＣＵ及びＴＵという用語を使用する。

[0057]ビデオシーケンスは、一般に、一連のビデオフレーム又はピクチャを含む。ピクチャグループ（ＧＯＰ：group of picture）は、概して、ビデオピクチャのうちの一連の１つ又は複数を備える。ＧＯＰは、ＧＯＰ中に含まれる幾つかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つ又は複数のヘッダ中、又は他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は、一般に、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコード化ノードに対応し得る。ビデオブロックは、固定サイズ又は可変サイズを有し得、指定のコード化規格に応じてサイズが異なり得る。

[0058]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」という表示によって示される。従って、例えば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平方向に区分された２Ｎ×２Ｎ ＣＵを指す。

[0059]本開示では、「Ｎ×Ｎ（NxN）」及び「Ｎ×Ｎ（N by N）」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、１６×１６（16x16）画素又は１６×１６（16 by 16）画素を指すために互換的に使用され得る。概して、１６×１６ブロックは、垂直方向に１６画素を有し（ｙ＝１６）、水平方向に１６画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、但し、Ｎは非負整数値を表す。ブロック中の画素は行と列に構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数の画素を有するとは限らない。例えば、ブロックは、Ｎ×Ｍ画素を備え得、但し、Ｍは必ずしもＮに等しいとは限らない。

[0060]ＣＵのＰＵを使用したイントラ予測コード化又はインター予測コード化の後に、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（画素領域とも呼ばれる）空間領域において予測画素データを生成する方法又はモードを記述するシンタックスデータを備え得、ＴＵは、変換、例えば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャの画素と、ＰＵに対応する予測値との間の画素差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵの変換係数を生成し得る。

[0061]変換係数を生成するための任意の変換の後に、ビデオエンコーダ２０は、変換係数の量子化を実行し得る。量子化は、その最も広い通常の意味を有することが意図された広義の用語である。一実施形態では、量子化は、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。例えば、量子化中にｎビット値がｍビット値に切り捨てられ得、但し、ｎはｍよりも大きい。

[0062]量子化の後に、ビデオエンコーダ２０は、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、アレイの前部により高いエネルギー（従って、より低い周波数）係数を配置し、アレイの後部により低いエネルギー（従って、より高い周波数）係数を配置するように設計され得る。幾つかの例では、ビデオエンコーダ２０は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するために予め定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０は適応型走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、例えば、コンテキスト適応型可変長コード化（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コード化、又は別のエントロピー符号化方法に従って１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。

[0063]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、例えば、シンボルの隣接値が非０であるか否かに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルの可変長コードを選択し得る。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、ＶＬＣの使用は、例えば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられるコンテキストに基づき得る。

[0064]ビデオエンコーダ２０は更に、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、及びＧＯＰベースのシンタックスデータなどのシンタックスデータを、例えば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中のフレームの数を記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化／予測モードを示し得る。

[0065]図２は、本開示で説明する態様による技法を実装し得るビデオエンコーダの例を示すブロック図である。ビデオエンコーダ２０は、本開示の技法のいずれか又は全てを実行するように構成され得る。一例として、モード選択ユニット４０は、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。但し、本開示の態様はそのように限定されない。幾つかの例では、本開示で説明する技法は、ビデオエンコーダ２０の様々な構成要素間で共有され得る。幾つかの例では、追加として又は代わりに、プロセッサ（図示せず）が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。

[0066]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコード化及びインターコード化を実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間冗長性を低減又は除去するために空間予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間冗長性を低減又は除去するために時間予測に依拠する。イントラモード（Ｉモード）は、幾つかの空間ベースのコード化モードのいずれかを指し得る。単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースのコード化モードのいずれかを指し得る。

[0067]図２に示されたように、ビデオエンコーダ２０は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図１の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照フレームメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、区分化ユニット４８とを含む。ビデオブロック再構成のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換ユニット６０と、加算器６２とを含む。再構成されたビデオからブロック歪み（blockiness artifacts）を除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ（図２に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器６２の出力をフィルタ処理することになる。追加のフィルタ（ループ内又はループ後）もデブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタ処理し得る。

[0068]符号化プロセス中に、ビデオエンコーダ２０はコード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは複数のビデオブロックに分割され得る。動き推定ユニット４２及び動き補償ユニット４４は、時間予測を行うために、１つ又は複数の参照フレーム中の１つ又は複数のブロックに対して、受信されたビデオブロックのインター予測コード化を実行する。イントラ予測ユニット４６は、代替的に、空間予測を行うために、コード化されるべきブロックと同じフレーム又はスライス中の１つ又は複数の隣接ブロックに対して、受信されたビデオブロックのイントラ予測コード化を実行し得る。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切なコード化モードを選択するために、複数のコード化パスを実行し得る。

[0069]その上、区分化ユニット４８は、前のコード化パスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。例えば、区分化ユニット４８は、初めにフレーム又はスライスをＬＣＵに区分し、レート歪み（rate-distortion）分析（例えば、レート歪み最適化など）に基づいてＬＣＵの各々をサブＣＵに区分し得る。モード選択ユニット４０は、ＬＣＵをサブＣＵに区分することを示す４分木データ構造を更に生成し得る。４分木のリーフノードＣＵは、１つ又は複数のＰＵと、１つ又は複数のＴＵとを含み得る。

[0070]モード選択ユニット４０は、例えば、誤差結果に基づいてコード化モード、即ち、イントラ又はインターのうちの１つを選択し、残差ブロックデータを生成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器５０に与え、参照フレームとして使用するための符号化ブロックを再構成するために、得られたイントラコード化ブロック又はインターコード化ブロックを加算器６２に与え得る。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、区分情報、及び他のそのようなシンタックス情報など、シンタックス要素をエントロピー符号化ユニット５６に与える。

[0071]動き推定ユニット４２と動き補償ユニット４４とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在フレーム（又は他のコード化単位）内でコード化されている現在ブロックに対する参照フレーム（又は他のコード化単位）内の予測ブロックに対する現在ビデオフレーム又はピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）、又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきブロックにぴったり一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ２０は、参照フレームメモリ６４に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット４２は、フル画素位置と分数画素位置とに対する動き探索を実行し、分数画素精度で動きベクトルを出力し得る。

[0072]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスにおけるビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択され得、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つ又は複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。

[0073]動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することに関与し得る。この場合も、幾つかの例では、動き推定ユニット４２と動き補償ユニット４４とは機能的に統合され得る。現在ビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうちの１つにおいて指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明するように、コード化されている現在ビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。概して、動き推定ユニット４２はルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。

[0074]イントラ予測ユニット４６は、上記で説明したように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在ブロックをイントラ予測又は計算し得る。特に、イントラ予測ユニット４６は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。幾つかの例では、イントラ予測ユニット４６は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測ユニット４６（又は、幾つかの例では、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。

[0075]例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、及び符号化ブロックを生成するために使用されるビットレート（即ち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化ブロックの歪み及びレートから比率を計算し得る。

[0076]ブロックのためのイントラ予測モードを選択した後に、イントラ予測ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、送信ビットストリーム中に、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、及び変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを含み得る。

[0077]ビデオエンコーダ２０は、コード化されている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つ又は複数の構成要素を表す。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用され得る。いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報を画素値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって修正され得る。幾つかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。

[0078]量子化の後、エントロピー符号化ユニット５６は、量子化変換係数をエントロピーコード化する。例えば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化又は別のエントロピーコード化技法を実行し得る。コンテキストベースエントロピーコード化の場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット５６によるエントロピーコード化の後に、符号化ビットストリームは、別の機器（例えば、ビデオデコーダ３０）に送信されるか、又は後で送信するか又は取り出すためにアーカイブされ得る。

[0079]逆量子化ユニット５８及び逆変換ユニット６０は、それぞれ逆量子化及び逆変換を適用して、例えば、参照ブロックとして後で使用するために、画素領域中で残差ブロックを再構成する。動き補償ユニット４４は、残差ブロックを参照フレームメモリ６４のフレームのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、再構成された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算し得る。加算器６２は、再構成された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照フレームメモリ６４に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコード化するために動き推定ユニット４２及び動き補償ユニット４４によって参照ブロックとして使用され得る。

[0080]図示されていない別の実施形態では、フィルタモジュールが、再構成されたビデオブロックを加算器６２から受信し得る。フィルタモジュールは、デブロッキング演算を実行して、ＣＵに関連するビデオブロック中のブロック歪みを低減し得る。１つ又は複数のデブロッキング演算を実行した後、フィルタモジュールは、復号ピクチャバッファにＣＵの再構成されたビデオブロックを記憶し得る。動き推定ユニット４２及び動き補償ユニット４４は、再構成されたビデオブロックを含んでいる参照ピクチャを使用して、後続ピクチャのＰＵに対してインター予測を実行し得る。加えて、イントラ予測ユニット４６は、復号ピクチャバッファ中の再構成されたビデオブロックを使用して、ＣＵと同じピクチャの中の他のＰＵに対してイントラ予測を実行し得る。従って、フィルタモジュールが、エッジに関連するサンプルにデブロッキングフィルタを適用した後、エッジに関連するサンプルに少なくとも部分的に基づいて、予測ビデオブロックが生成され得る。ビデオエンコーダ２０は、その値が予測ビデオブロックに少なくとも部分的に基づく、１つ又は複数のシンタックス要素を含むビットストリームを出力し得る。

[0081]図３は、本開示で説明する態様による技法を実装し得るビデオデコーダの例を示すブロック図である。ビデオデコーダ３０は、本開示の技法のいずれか又は全てを実行するように構成され得る。一例として、動き補償ユニット７２及び／又はイントラ予測単位７４は、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。但し、本開示の態様はそのように限定されない。幾つかの例では、本開示で説明する技法は、ビデオデコーダ３０の様々な構成要素間で共有され得る。幾つかの例では、追加として又は代わりに、プロセッサ（図示せず）が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。

[0082]図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測単位７４と、逆量子化ユニット７６と、逆変換単位７８と、参照フレームメモリ８２と、加算器８０とを含む。ビデオデコーダ３０は、幾つかの例では、ビデオエンコーダ２０（図２）に関して説明した符号化パスとは概して逆の復号パスを実行し得る。動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルに基づいて予測データを生成し得、イントラ予測単位７４は、エントロピー復号ユニット７０から受信されたイントラ予測モードインジケータに基づいて予測データを生成し得る。

[0083]復号プロセス中に、ビデオデコーダ３０は、ビデオエンコーダ２０から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ３０のエントロピー復号ユニット７０は、量子化係数、動きベクトル又はイントラ予測モードインジケータ、及び他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット７０は、動きベクトルと他の予測シンタックス要素とを動き補償ユニット７２に転送する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信し得る。

[0084]ビデオスライスがイントラコード化（Ｉ）スライスとしてコード化されるとき、イントラ予測単位７４は、信号伝達されたイントラ予測モードと、現在フレーム又はピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化（例えば、Ｂ、Ｐ又はＧＰＢ）スライスとしてコード化されるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つ内の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０は、参照フレームメモリ８２に記憶された参照ピクチャに基づいて、デフォルト構成技法を使用して、参照フレームリスト、即ち、リスト０とリスト１とを構成し得る。動き補償ユニット７２は、動きベクトルと他のシンタックス要素とを解析することによって現在ビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。例えば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラ又はインター予測）と、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つ又は複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測状況（prediction status）と、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちの幾つかを使用する。

[0085]動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数画素の補間値を計算し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。

[0086]逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット７０によって復号された量子化変換係数を逆量子化（inverse quantize）、例えば、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中の各ビデオブロックについてビデオデコーダ３０によって計算される量子化パラメータ（ＱＰ）Ｙの使用を含み得る。

[0087]逆変換単位７８は、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換プロセスを変換係数に適用して、画素領域において残差ブロックを生成する。

[0088]動き補償ユニット７２が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換単位７８からの残差ブロックを動き補償ユニット７２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器８０は、この加算演算を実行する１つ又は複数の構成要素を表す。所望される場合、ブロック歪みを除去するために、復号されたブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。画素遷移を平滑化するために、又は場合によってはビデオ品質を改善するために、他のループフィルタも（コード化ループ中又はコード化ループ後のいずれかで）使用され得る。所与のフレーム又はピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ８２に記憶される。参照フレームメモリ８２はまた、図１の表示装置３２などの表示装置上での後の表示のために、復号されたビデオを記憶する。

[0089]図示されていない別の実施形態では、加算器８０がＣＵのビデオブロックを再構成した後、フィルタモジュールが、デブロッキング演算を実行して、ＣＵに関連するブロック歪みを低減し得る。フィルタモジュールがデブロッキング動作を実行してＣＵに関連するブロック歪みを低減した後、ビデオデコーダ３０は、復号ピクチャバッファにＣＵのビデオブロックを記憶し得る。復号ピクチャバッファは、後続の動き補償、イントラ予測、及び図１の表示装置３２などの表示装置上での表示のために参照ピクチャを与え得る。例えば、ビデオデコーダ３０は、復号ピクチャバッファ中のビデオブロックに基づいて、他のＣＵのＰＵに対して、イントラ予測演算又はインター予測演算を実行し得る。

[0090]典型的なビデオエンコーダでは、元のビデオシーケンスのフレームは、イントラモード（Ｉモード）又はインターモード（Ｐモード）で符号化される矩形領域又はブロックに区分される。ブロックは、ＤＣＴコード化など、ある種類の変換コード化を使用してコード化される。但し、純粋な変換ベースのコード化は、画素のブロック間相関を考慮することなしに、特定のブロック内の画素間相関を単に低減し得、送信のための高いビットレートを依然としてもたらし得る。現在のデジタル画像コード化規格は、ブロック間の画素値の相関を低減する幾つかの方法も活用し得る。

[0091]概して、Ｐモードで符号化されたブロックは、前にコード化され、送信されたフレームのうちの１つから予測される。ブロックの予測情報は、２次元（２Ｄ）動きベクトルによって表され得る。Ｉモードで符号化されたブロックの場合、予測ブロックは、同じフレーム内のすでに符号化された隣接ブロックからの空間予測を使用して形成される。予測誤差（例えば、符号化されているブロックと予測ブロックとの間の差分）は、何らかの離散変換の重み付けされた基底関数のセットとして表され得る。予測誤差は残差データとも呼ばれる。変換は、一般に８×８又は４×４ブロックベースで実行される。その後、重み（例えば、変換係数）が量子化される。量子化は情報に損失をもたらし、従って、量子化係数は、元のものよりも低い精度を有する。

[0092]量子化変換係数は、動きベクトル及び何らかの制御情報とともに、完全なコード化されたシーケンス表現を形成し得、シンタックス要素と呼ばれる。エンコーダからデコーダへの送信の前に、全てのシンタックス要素は、それらの表現に必要なビット数を更に低減するようにエントロピーコード化され得る。

[0093]デコーダでは、現在フレーム中のブロックは、最初にエンコーダの場合と同じ方法でブロックの予測を構成し、圧縮された予測誤差を予測に加算することによって取得され得る。圧縮された予測誤差は、量子化係数を使用して変換基底関数を重み付けすることによって見つけられ得る。再構成されたフレームと元のフレームとの間の差分は再構成誤差と呼ばれることがある。

[0094]Ｈ．２６４／ＡＶＣでは、ビデオフレーム又はスライスは、符号化及び復号のために１６×１６サイズの正方形ブロックに区分される。そのようなブロックはマクロブロックと呼ばれる。現在の高効率ビデオコード化（ＨＥＶＣ）では、ビデオフレーム又はスライスは、符号化及び復号のために可変サイズの正方形ブロックに区分される。そのようなブロックは、ＨＥＶＣではコード化単位又はＣＵと呼ばれ得る。例えば、ＣＵのサイズは、６４×６４、３２×３２、１６×１６、又は８×８であり得る。マクロブロックとは異なり、より大きいサイズのＣＵは、幾つかのより小さいサイズＣＵに分割され得る。非分割ＣＵとマクロブロックとは、それらの概念及び機能に関して互いに類似する。

[0095]マクロブロック又は非分割ＣＵが決定されると、ブロックは、予測のために幾つかの区分に更に分割され得る。そのような区分は、ＨＥＶＣでは予測単位又はＰＵと呼ばれることもある。

スケーラブルビデオコード化
[0096]異なる次元におけるスケーラビリティの例を図４に示す。この例では、スケーラビリティが３つの次元において使用可能である。時間次元では、７．５Ｈｚ、１５Ｈｚ又は３０Ｈｚをもつフレームレートが時間スケーラビリティ（Ｔ）によってサポートされ得る。空間スケーラビリティ（Ｓ）がサポートされるとき、ＱＣＩＦ、ＣＩＦ及び４ＣＩＦなどの異なる解像度が使用可能である。特定の空間解像度及びフレームレートごとに、ピクチャ品質を改善するためにＳＮＲ（Ｑ）レイヤが追加され得る。ビデオコンテンツがそのようなスケーラブルな方法で符号化されると、例えば、クライアント又は送信チャネルに依存するアプリケーション要件に従って、実際の配信されたコンテンツを適応させるために、抽出器ツールが使用され得る。図４に示された例では、各立方体は、同じフレームレート（時間レベル）、空間解像度及びＳＮＲレイヤをもつピクチャを含んでいる。それらの立方体（ピクチャ）を任意の次元で追加することによって、より良い表現が達成され得る。使用可能な２つ、３つ又は更に多くのスケーラビリティがあるとき、複合スケーラビリティがサポートされる。

[0097]１つのＳＶＣ実装形態によれば、最低空間及び品質レイヤをもつピクチャはＨ．２６４／ＡＶＣに適合し得る。最低時間レベルにあるピクチャは、より高い時間レベルにあるピクチャを用いて拡張され得る時間ベースレイヤを形成する。Ｈ．２６４／ＡＶＣ適合レイヤに加えて、空間スケーラビリティ及び／又は品質スケーラビリティを与えるために幾つかの空間及び／又はＳＮＲ拡張レイヤが追加され得る。ＳＮＲスケーラビリティは品質スケーラビリティと呼ばれることもある。各空間又はＳＮＲ拡張レイヤ自体は、Ｈ．２６４／ＡＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルになり得る。１つの空間又はＳＮＲ拡張レイヤについて、それが依存するより低いレイヤは、その特定の空間又はＳＮＲ拡張レイヤのベースレイヤと呼ばれることもある。

[0098]ＳＶＣコード化構造の例を図５に示す。最低空間及び品質レイヤをもつピクチャ（ＱＣＩＦ解像度をもつ、レイヤ０及びレイヤ１中のピクチャ）は、Ｈ．２６４／ＡＶＣに適合する。それらの中で、最低時間レベルのピクチャは、図５のレイヤ０に示されているように、時間ベースレイヤを形成する。この時間ベースレイヤ（レイヤ０）は、より高い時間レベル（レイヤ１）のピクチャを用いて拡張され得る。Ｈ．２６４／ＡＶＣ適合レイヤに加えて、空間スケーラビリティ及び／又は品質スケーラビリティを与えるために幾つかの空間及び／又はＳＮＲ拡張レイヤが追加され得る。例えば、拡張レイヤは、レイヤ２と同じ解像度をもつＣＩＦ表現であり得る。この例では、レイヤ３はＳＮＲ拡張レイヤである。その例に示されているように、各空間又はＳＮＲ拡張レイヤ自体は、Ｈ．２６４／ＡＶＣ適合レイヤと同じ時間スケーラビリティ構造で、時間的にスケーラブルになり得る。また、拡張レイヤは空間解像度とフレームレートの両方を向上させことができる。例えば、レイヤ４は、フレームレートを１５Ｈｚから３０Ｈｚに更に増加させる４ＣＩＦ拡張レイヤを与える。

[0099]図６に示されているように、同じ時間インスタンス中のコード化スライスは、ビットストリーム順序で連続しており、ＳＶＣのコンテキストにおける１つのアクセス単位を形成する。それらのＳＶＣアクセス単位は、次いで、表示順序とは異なり得る、例えば、時間予測関係によって決定され得る、復号順序に従う。

[0100]スケーラブルコード化では、「イントラＢＬモード」と呼ばれる、拡張レイヤのための特殊なコード化モードがある。イントラＢＬモードでは、ブロック中のテクスチャは、ベースレイヤ中の対応するブロックのテクスチャを使用して予測される。一例を図７に示す。ベースレイヤ中のブロックは、拡張画像がベースレイヤ画像よりも大きいサイズを有する場合、アップサンプリングを必要とし得る。（残余と呼ばれる）予測誤差は、変換され、量子化され、エントロピー符号化され得る。

[0101]一般化残差予測（「ＧＲＰ」）は、現在ピクチャを再構成するためにウェイシング係数（weigthing factor）が使用され得る、スケーラブルビデオコード化のためのインターモードである。一実施形態では、ＧＲＰは次のように表され得る。

このフレームワークは、シングルループ復号とマルチループ復号の両方の場合に適用され得ることに留意されたい。

[0102]マルチループ復号のシナリオでは、ＧＲＰは更に次のように示され得る。

[0103]ビデオコード化中に、残余が変換される。一般に、変換を実行するために離散コサイン変換（「ＤＣＴ」）が使用される。但し、イントラＢＬブロック及びＧＲＰブロック残余の特性は他のブロックタイプとは異なり得る。従って、ＤＣＴは、コード化効率の点で最良の選択肢でないことがある。幾つかの実施形態によれば、以下で更に詳述するように、イントラＢＬブロックコード化及びＧＲＰブロックコード化のために代替変換を使用することが望ましい。

代替変換
[0104]図２のビデオエンコーダ２０など、ビデオエンコーダ、又は図３のビデオデコーダ３０など、ビデオデコーダでは、大部分のブロックコード化モードにおいて１次変換が使用され得る。例えば、（動きベクトル値、予測方向、単予測又は双予測にかかわらず）通常のインターコード化ブロック、及びロスレスコード化モードの場合、残余を符号化するために１次変換ＤＣＴが使用される。この実施形態によれば、イントラＢＬブロックコード化及びＧＲＰブロックコード化のために、１次変換とは異なる変換（例えば、本明細書で説明する代替変換のうちの１つなど、代替変換）が、使用され得る。

離散サイン変換
[0105]イントラＢＬブロック及びＧＲＰブロックのための１つの代替変換は離散サイン変換（ＤＳＴ）であり得る。異なるタイプのＤＳＴ変換がある。一例では、イントラＢＬモードのためにタイプ−Ｉ ＤＳＴが使用され得る。別の例では、イントラＢＬモード及びＧＲＰモードのためにタイプ−ＩＩＩ ＤＳＴが使用され得る。また別の例では、イントラＢＬのために（ＨＥＶＣイントラ予測のために使用される）タイプ−ＶＩＩ ＤＳＴも使用され得る。また別の例では、イントラＢＬのためにタイプ−ＩＶ ＤＳＴも使用され得る。

[0106]以下は、これらの例示的なＤＳＴ変換のうちの幾つかのための式である。

[0107]イントラＢＬのために使用される変換は上記の標準ＤＳＴの変形形態であり得る。例えば、使用される変換はＤＳＴの整数バージョンであり得るので、浮動小数点実装による起こり得る不整合が除去され得る。

適応的変換
[0108]この実施形態では、イントラＢＬは、ＤＣＴ、異なるタイプのＤＣＴ、ＤＳＴ、異なるタイプのＤＳＴ、ＫＬＴ又は幾つかの他の変換を使用することができる。イントラＢＬモード及びＧＲＰブロックのための変換の選択は適応的であり得る。

[0109]例えば、幾つかの実施形態では、選択は、予め定義され、ビデオエンコーダ２０とビデオデコーダ３０の両方に知られ得るか、又は、選択は、ユーザ定義され、デコーダに信号伝達され得る。信号は、フレームレベル、スライスレベル、ＣＵレベル又はＴＵレベルであり得る。一例では、フラグがＣＵレベルにおいて送信される。フラグ＝１の場合、このＣＵ中の全ての変換のためにＤＳＴが使用される。フラグ＝０の場合、このＣＵ中の全ての変換のためにＤＣＴが使用される。別の例では、フラグは、あるＣＵモードのためにのみ送信される。例えば、非０重み付けを用いてイントラＢＬモード又はＧＲＰモードとして符号化されたＣＵのためにのみ、フラグがＣＵのために送信される。また別の例では、このフラグは、幾つかのＣＵサイズのためにのみ送信される。例えば、そのフラグは、閾値よりも大きいサイズをもつＣＵのためにのみに送信される。また別の例では、このフラグは、幾つかのＣＵサイズをもつあるＣＵモードのためにのみ送信される。例えば、このフラグは、サイズ≧Ｎ×ＮであるイントラＢＬ ＣＵ又はＧＲＰ ＣＵのためにのみ送信される。また別の例では、このフラグはＣＵのために送信されるが、それは、このＣＵ中の閾値よりも大きいＴＵサイズのための変換のみを選択する。この閾値よりも小さいＣＵのために、ＤＳＴ又はＤＣＴが常に使用される。

[0110]（上記で説明した適用されたモード及び閾値サイズを含む）変換選択は、ＣＵサイズ、ＴＵサイズ、フレームタイプ、フレームサイズ、ＱＰ、時間レイヤ情報、構文解析された残余係数情報（例えば、最後非０係数の位置、非０係数の数、係数の振幅など）のようなサイド情報に基づいて、適応的に決定され得る。

[0111]選択はまた、ベースレイヤからの情報又は拡張レイヤとベースレイヤの両方からの情報に基づき得る。例えば、選択は、拡張レイヤのＱＰ及び／又はベースレイヤのＱＰ及び／又は拡張レイヤのＱＰとベースレイヤのＱＰとの間の差分（又は比）に基づき得る。同様に、選択は、拡張レイヤ及びベースレイヤのフレームサイズ／レートに基づき得る。

[0112]選択はまた、ベースレイヤ中の対応するブロック、Ｂｌｋ＿ＢＬに基づき得る。例えば、選択はＢｌｋ＿ＢＬの画素特性に基づき得る。画素特性は、（例えば）テクスチャの方向、画素の振幅、画素値の平均、画素値の分散、及びＢｌｋ＿ＢＬの勾配方向／値であり得る。選択はまた、Ｂｌｋ＿ＢＬのコード化モード、例えば、Ｂｌｋ＿ＢＬがイントラモードであるのか、インターモードであるのか、スキップモードであるのか、イントラ予測などに基づき得る。選択はまた、Ｂｌｋ＿ＢＬに対して異なる変換をテストすることによって導出され、Ｂｌｋ＿ＢＬにおいて最良の性能（例えば、最良のエネルギー圧縮特性）を与える変換を選択し得る。

追加のブロックモード
[0113]幾つかの実施形態では、上記で説明したイントラＢＬ変換方法は、限定はしないが、一般化残余予測モードを含む他のブロックモードに拡張され得る。

隣接領域
[0114]一実施形態では、コーダ（例えば、ビデオエンコーダ２０及び／又はビデオデコーダ３０）は、拡張レイヤにある変換ブロック、ＢＬＫ＿ＥＬと、ベースレイヤにある対応するブロックＢＬＫ＿ＢＬ（例えば、ベースレイヤ内の同じ位置又はスケーリングされた位置に位置する同一位置配置ブロック）とを決定する。Ｎｅｉｇｈ＿ＥＬはＢＬＫ＿ＥＬの隣接領域を定義し得、Ｎｅｉｇｈ＿ＢＬはＢＬＫ＿ＢＬの対応する隣接領域を定義し得る。ＢＬＫ＿ＥＬのための変換の選択はＮｅｉｇｈ＿ＥＬ及びＮｅｉｇｈ＿ＢＬに基づく。例えば、Ｎｅｉｇｈ＿ＥＬとＮｅｉｇｈ＿ＢＬとの間のＤＣの差分が閾値よりも大きい場合、ＤＣＴが使用され、他の場合はＤＳＴが使用され得る。閾値は、本明細書の幾つかの他の実施形態で説明したように、高レベルシンタックスを使用して送信され得るか、又はサイド情報に対して適応的であり得る。別の実施形態では、（例えばＣＡＢＡＣコード化を使用して）変換選択がフラグとして符号化され得、コンテキストインデックスが、Ｎｅｉｇｈ＿ＥＬ及びＮｅｉｇｈ＿ＢＬに基づいて適応的に決定され得る。一実装形態の詳細な例について以下で説明する。

レベルベースの選択
[0115]別の実施形態では、変換がＴＵレベル（変換ブロックレベル）において選択され得る。各ＴＵが適切な予測モードを使用するために、選択された変換は、残余がある場合に信号伝達され得る。幾つかの変換が各変換サイズのために選択され得る。一例では、各変換サイズが同じ数の可能な変換を有する。別の例では、ルーマブロックのみが変換選択を使用する。別の例では、異なるサイズをもつブロックが異なる数の変換を使用する。例えば、信号伝達は大きいブロックの場合あまり不利にならないので、より大きいブロックは４つ又は８つの変換を使用することができる。一方、より小さいブロック（例えば、４×４）は２つの可能な変換、又は１つのみを使用するので、このサイズには信号伝達は不要である。ＴＵレベルのための上記の変換選択方法はＣＵレベルにも適用され得る。

[0116]別の例では、信号伝達が、所与のサイズ（及び０とは異なる残余）をもつＣＵの第１の変換についてのみ実行される。その後、そのサイズをもつＣＵ中の残りのＴＵが同じタイプの変換を使用することが仮定される。このようにして、ＴＵ中の各変換サイズはそれのタイプの変換を使用することができ、信号伝達は、ＣＵレベルとＴＵレベルとの間の精度（granularity）まで低減される。

２値化
[0117]幾つかの実施形態では、様々な２値化を使用して選択が信号伝達され得る。一例では、短縮単項コードが使用され得る。別の例では、固定長コードが使用され得る。別の例では、最確変換が仮定される。例えば、第１のフラグは、選択された変換が最確変換であるかどうかを信号伝達する。フラグが０である場合、別の変換が使用されるべきであることを意味し、（一般に、単項又は固定長など、他の２値化方法のうちの１つを使用して）更なる信号伝達が、使用されるべき変換の数を示し得る。例えば、５つの変換が可能である場合、第１のフラグは、変換（例えば、タイプＩＩＩのＤＳＴ）が最確変換であるかどうかを示し得る。そうでない場合、２つの更なるビンが、残りの４つの変換のうちのどの変換が使用されるかを信号伝達し得る。更に、コーダは、イントラ予測のための最確モード（ＭＰＭ：most probable mode）の場合などは、２つ以上の最確変換があると仮定することができる。この場合、２値化は２つの部分に分割される。第２の部分は、コンテキスト（ＣＡＢＡＣ）を使用することができるか、又は、より高スループットが望まれる場合、（通常のＣＡＢＡＣモードよりも速い）バイパスモードを使用してコード化され得る。

[0118]ビンをコード化するためにＣＡＢＡＣが使用される場合、コンテキストが各ビンに割り当てられ得る。コンテキスト選択は、ＴＵサイズ又は深度、ＣＵサイズ又は深度、及び／又は２値化のビンに依存する。更に、２値化が固定長を有する場合、選択されたコンテキストは、選択された変換の数の２値化の以前にコード化されたビンの値に依存し得る。

[0119]信号伝達は、幾つかのブロックサイズについて実行され得る。例えば、４×４レベルにおける信号伝達はコストがかかることがあり、従って、変換選択は、４×４よりも大きい変換に適用され得る。

変換例
[0120]この例では、タイプ３ ＤＳＴ変換の変形形態が次のように使用される。

4x4 変換
const short g_aiS4[4][4] =
{
{35,64,84,64},
{84,64,-35,-64},
{84,-64,-35,64},
{35,-64,84,-64}
};

8x8 変換
const short g_aiS8[8][8] =
{
{18,35,50,64,75,84,89,64},
{50,84,89,64,18,-35,-75,-64},
{75,84,18,-64,-89,-35,50,64},
{89,35,-75,-64,50,84,-18,-64},
{89,-35,-75,64,50,-84,-18,64},
{75,-84,18,64,-89,35,50,-64},
{50,-84,89,-64,18,35,-75,64},
{18,-35,50,-64,75,-84,89,-64}
};

16x16 変換
const short g_aiS16[16][16] =
{
{9,18,26,35,43,50,57,64,70,75,80,84,87,89,90,64},
{26,50,70,84,90,89,80,64,43,18,-9,-35,-57,-75,-87,-64},
{43,75,90,84,57,18,-26,-64,-87,-89,-70,-35,9,50,80,64},
{57,89,80,35,-26,-75,-90,-64,-9,50,87,84,43,-18,-70,-64},
{70,89,43,-35,-87,-75,-9,64,90,50,-26,-84,-80,-18,57,64},
{80,75,-9,-84,-70,18,87,64,-26,-89,-57,35,90,50,-43,-64},
{87,50,-57,-84,9,89,43,-64,-80,18,90,35,-70,-75,26,64},
{90,18,-87,-35,80,50,-70,-64,57,75,-43,-84,26,89,-9,-64},
{90,-18,-87,35,80,-50,-70,64,57,-75,-43,84,26,-89,-9,64},
{87,-50,-57,84,9,-89,43,64,-80,-18,90,-35,-70,75,26,-64},
{80,-75,-9,84,-70,-18,87,-64,-26,89,-57,-35,90,-50,-43,64},
{70,-89,43,35,-87,75,-9,-64,90,-50,-26,84,-80,18,57,-64},
{57,-89,80,-35,-26,75,-90,64,-9,-50,87,-84,43,18,-70,64},
{43,-75,90,-84,57,-18,-26,64,-87,89,-70,35,9,-50,80,-64},
{26,-50,70,-84,90,-89,80,-64,43,-18,-9,35,-57,75,-87,64},
{9,-18,26,-35,43,-50,57,-64,70,-75,80,-84,87,-89,90,-64}
};

32x32 Transform
const short g_aiS32[32][32] =
{
{4, 9, 13, 18, 22, 26, 30, 35, 39, 43, 47, 50, 54, 57, 61, 64, 67, 70, 73, 75,78,80,82,84,85,87,88,89,90,90,90,64},
{13, 26, 39, 50, 61, 70, 78, 84, 88, 90, 90, 89, 85, 80, 73, 64, 54, 43, 30,18,4,-9,-22,-35,-47,-57,-67,-75,-82,-87,-90,-64},
{22, 43, 61, 75, 85, 90, 90, 84, 73, 57, 39, 18, -4, -26, -47, -64, -78, -87,-90,-89,-82,-70,-54,-35,-13,9,30,50,67,80,88,64},
{30, 57, 78, 89, 90, 80, 61, 35, 4, -26, -54, -75, -88, -90, -82, -64, -39, -9,22,50,73,87,90,84,67,43,13,-18,-47,-70,-85,-64},
{39, 70, 88, 89, 73, 43, 4, -35, -67, -87, -90, -75, -47, -9, 30, 64, 85, 90,78,50,13,-26,-61,-84,-90,-80,-54,-18,22,57,82,64},
{47, 80, 90, 75, 39, -9, -54, -84, -90, -70, -30, 18, 61, 87, 88, 64, 22, -26,-67,-89,-85,-57,-13,35,73,90,82,50,4,-43,-78,-64},
{54, 87, 85, 50, -4, -57, -88, -84, -47, 9, 61, 89, 82, 43, -13, -64, -90, -80,-39,18,67,90,78,35,-22,-70,-90,-75,-30,26,73,64},
{61, 90, 73, 18, -47, -87, -82, -35, 30, 80, 88, 50, -13, -70, -90, -64, -4,57,90,75,22,-43,-85,-84,-39,26,78,89,54,-9,-67,-64},
{67, 90, 54, -18, -78, -87, -39, 35, 85, 80, 22, -50, -90, -70, -4, 64, 90,57,-13,-75,-88,-43,30,84,82,26,-47,-89,-73,-9,61,64},
{73, 87, 30, -50, -90, -57, 22, 84, 78, 9, -67, -89, -39, 43, 90, 64, -13, -80,-82,-18,61,90,47,-35,-88,-70,4,75,85,26,-54,-64},
{78, 80, 4, -75, -82, -9, 73, 84, 13, -70, -85, -18, 67, 87, 22, -64, -88, -26,61,89,30,-57,-90,-35,54,90,39,-50,-90,-43,47,64},
{82, 70, -22, -89, -54, 43, 90, 35, -61, -87, -13, 75, 78, -9, -85, -64, 30,90,47,-50,-90,-26,67,84,4,-80,-73,18,88,57,-39,-64},
{85, 57, -47, -89, -13, 80, 67, -35, -90, -26, 73, 75, -22, -90, -39, 64, 82,-9,-88,-50,54,87,4,-84,-61,43,90,18,-78,-70,30,64},
{88, 43, -67, -75, 30, 90, 13, -84, -54, 57, 82, -18, -90, -26, 78, 64, -47,-87,4,89,39,-70,-73,35,90,9,-85,-50,61,80,-22,-64},
{90, 26, -82, -50, 67, 70, -47, -84, 22, 90, 4, -89, -30, 80, 54, -64, -73, 43,85,-18,-90,-9,88,35,-78,-57,61,75,-39,-87,13,64},
{90, 9, -90, -18, 88, 26, -85, -35, 82, 43, -78, -50, 73, 57, -67, -64, 61,70,-54,-75,47,80,-39,-84,30,87,-22,-89,13,90,-4,-64},
{90, -9, -90, 18, 88, -26, -85, 35, 82, -43, -78, 50, 73, -57, -67, 64, 61,-70,-54,75,47,-80,-39,84,30,-87,-22,89,13,-90,-4,64},
{90, -26, -82, 50, 67, -70, -47, 84, 22, -90, 4, 89, -30, -80, 54, 64, -73,-43,85,18,-90,9,88,-35,-78,57,61,-75,-39,87,13,-64},
{88, -43, -67, 75, 30, -90, 13, 84, -54, -57, 82, 18, -90, 26, 78, -64, -47,87,4,-89,39,70,-73,-35,90,-9,-85,50,61,-80,-22,64},
{85, -57, -47, 89, -13, -80, 67, 35, -90, 26, 73, -75, -22, 90, -39, -64, 82,9,-88,50,54,-87,4,84,-61,-43,90,-18,-78,70,30,-64},
{82, -70, -22, 89, -54, -43, 90, -35, -61, 87, -13, -75, 78, 9, -85, 64, 30,-90,47,50,-90,26,67,-84,4,80,-73,-18,88,-57,-39,64},
{78, -80, 4, 75, -82, 9, 73, -84, 13, 70, -85, 18, 67, -87, 22, 64, -88, 26,61,-89,30,57,-90,35,54,-90,39,50,-90,43,47,-64},
{73, -87, 30, 50, -90, 57, 22, -84, 78, -9, -67, 89, -39, -43, 90, -64, -13,80,-82,18,61,-90,47,35,-88,70,4,-75,85,-26,-54,64},
{67, -90, 54, 18, -78, 87, -39, -35, 85, -80, 22, 50, -90, 70, -4, -64, 90,-57,-13,75,-88,43,30,-84,82,-26,-47,89,-73,9,61,-64},
{61, -90, 73, -18, -47, 87, -82, 35, 30, -80, 88, -50, -13, 70, -90, 64, -4, -57,90,-75,22,43,-85,84,-39,-26,78,-89,54,9,-67,64},
{54, -87, 85, -50, -4, 57, -88, 84, -47, -9, 61, -89, 82, -43, -13, 64, -90,80,-39,-18,67,-90,78,-35,-22,70,-90,75,-30,-26,73,-64},
{47, -80, 90, -75, 39, 9, -54, 84, -90, 70, -30, -18, 61, -87, 88, -64, 22,26,-67,89,-85,57,-13,-35,73,-90,82,-50,4,43,-78,64},
{39, -70, 88, -89, 73, -43, 4, 35, -67, 87, -90, 75, -47, 9, 30, -64, 85, -90,78,-50,13,26,-61,84,-90,80,-54,18,22,-57,82,-64},
{30, -57, 78, -89, 90, -80, 61, -35, 4, 26, -54, 75, -88, 90, -82, 64, -39,9,22,-50,73,-87,90,-84,67,-43,13,18,-47,70,-85,64},
{22, -43, 61, -75, 85, -90, 90, -84, 73, -57, 39, -18, -4, 26, -47, 64, -78,87,-90,89,-82,70,-54,35,-13,-9,30,-50,67,-80,88,-64},
{13, -26, 39, -50, 61, -70, 78, -84, 88, -90, 90, -89, 85, -80, 73, -64, 54,-43,30,-18,4,9,-22,35,-47,57,-67,75,-82,87,-90,64},
{4, -9, 13, -18, 22, -26, 30, -35, 39, -43, 47, -50, 54, -57, 61, -64, 67, -70,73,-75,78,-80,82,-84,85,-87,88,-89,90,-90,90,-64}
};
[0121]この例では、上記のＤＳＴ変換は、イントラＢＬモード及びＧＲＰモードに適用され得る。イントラＢＬモードの場合、ＤＳＴが全ての変換サイズに適用され得る。例えば、ＨＥＶＣでは、４×４、８×８、１６×１６及び３２×３２変換が可能であり、ＤＳＴも４×４、８×８、１６×１６、３２×３２変換サイズに適用され得る。ＧＲＰモードの場合、ＤＳＴは、選択された変換サイズ、例えば、４×４、８×８及び１６×１６変換のみに適用され得る。更に、ＤＳＴは、一般化残余予測モードの場合、ベースレイヤ画像が予測における最も高い重みを有するときのみ適用され得る。１つのＨＥＶＣ ＳＶＣ拡張コーデックでは、重みインデックス＝０、１、又は２という、ＧＲＰのための３つの異なる重み設定がある。この場合、ＤＳＴは、重みインデックス＝２のみに適用され得る。

[0122]更に、この例では、ＤＳＴは、拡張レイヤとベースレイヤとの間のＱＰ差分に基づいて選択的にオフにされ得る。例えば、ＱＰＢＬをベースレイヤ画像のＱＰであるとし、ＱＰＥＬを拡張レイヤ画像のＱＰであるとする。ＱＰＢＬ−ＱＰＥＬ≧ＱＰ＿Ｔｈの場合、ＤＣＴが使用される。他の場合、ＤＳＴは、（上記の）より早くに定義された他の条件（イントラＢＬモード、変換サイズ）が満たされた場合に使用され得る。この例では、ＱＰ＿ｔｈは、ビデオエンコーダ２０とビデオデコーダ３０の両方に対する前の（例えば、初期）知識として６であると設定される、ＱＰ値は、モードごとに異なり得、また、幾つかの高レベルシンタックスを使用して明示的に送信され得る。

[0123]下記は、ＤＳＴ及びＤＣＴの選択が明示的に信号伝達される別の詳細な例である。

[0124]この例では、Ｎ×Ｎよりも大きいサイズをもつ各イントラＢＬ ＣＵのために、フラグが送信される。フラグ＝１の場合、ＤＳＴが使用される。フラグ＝０場合、ＤＣＴが使用される。他のサイズをもつＩｎｔｒＢＬ ＣＵについて、ＤＳＴが常に使用される。フラグは、ＣＡＢＡＣを使用して符号化され、ＣＡＢＡＣコンテキストインデックス＝ＣＵ深度である。同様に、ＧＲＰ ＣＵごとに、このＣＵの残余のためにＤＳＴが使用されるのかＤＣＴが使用されるのかを示すために、フラグが送信される。フラグは、全てのＧＲＰ ＣＵ又は非０重み付けをもつＧＲＰ ＣＵのために信号伝達され得る。フラグがＣＡＢＡＣを用いてコード化されるとき、以前にコード化されたＣＵ情報がコンテキストとして使用され得る。ＣＵ深度など、現在ＣＵの情報も、フラグのためのコンテキストとして使用され得る。ＣＵ深度がコンテキストとして使用されるとき、コンテキストは、イントラＢＬ ＣＵとＧＲＰ ＣＵの両方の変換フラグのために使用され得る。代替的に、異なるコンテキストがイントラＢＬ ＣＵ及びＧＲＰ ＣＵのために使用され得る。

[0125]更に、ＤＣＴ、ＤＳＴ、及びトレーニングベースのＫＬＴなど、３つ以上の変換が、イントラＢＬ ＣＵ及びＧＲＰ ＣＵなど、ＣＵのために使用され得る。この場合、変換インデックスがＣＵレベルにおいて送信される。インデックスは、各ＣＵのために送信されるか、又は幾つかのタイプをもつＣＵのために条件付きで送信され得る。概して、この機能（適応的変換）は、シーケンスレベル、ピクチャレベル、スライスレベル、又は他のレベルにおいて有効化又は無効化され得る。この機能が使用不能であるとき、１次変換のみが全てのＣＵのために使用される。

[0126]図８は、ビデオコード化の方法の一実施形態を示す流れ図である。本方法は、エンコーダ（例えば図２のビデオエンコーダ２０）又はデコーダ（例えば図３のビデオデコーダ３０）又は図１〜図３に関して上記で説明した機器のいずれかによって実装され得る。方法８００はブロック８０２において開始する。ブロック８０４において、ビデオ情報のブロックのタイプを決定する。例えば、ブロックをコード化するために使用されるコード化のタイプが決定され得る。幾つかの実施形態では、ビデオ情報のブロックのタイプは、拡張レイヤ中のブロックの隣接領域を指す。ビデオ情報のブロックのタイプは、ベース（又は参照）レイヤ中の対応するブロックの隣接領域をも指し得る。ブロック８０６において、方法８００は、ブロックタイプが所定のタイプであるかどうかを決定する。例えば、ブロックタイプがイントラＢＬブロックコード化であるのかＧＲＰブロックコード化であるのかが決定され得る。

[0127]ブロックタイプが所定のタイプでない場合、方法８００はブロック８０８に進む。ブロックタイプが所定のタイプである場合、方法８００はブロック８１０に進む。ブロック８０８において、１次変換を使用してビデオ情報をコード化する。例えば、ビデオ情報は、ＤＣＴを使用してコード化され得る。ブロック８１０において、代替変換を使用してビデオ情報をコード化する。例えば、ビデオ情報は、ＤＳＴ、ＤＳＴタイプ（例えば、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、タイプ−ＶＩＩ ＤＳＴ）、ＤＣＴ、異なるタイプのＤＣＴ、ＫＬＴなどを使用してコード化され得る。幾つかの実施形態では、ブロック８１０において、本方法は、上記の適応的技法のいずれかなど、適応的変換技法を使用する。

[0128]幾つかの実施形態では、追加情報は、ビデオ情報ビットストリーム又は他の信号中にコード化されたフラグを含む。信号は、フレームレベル、スライスレベル、ＣＵレベル、ＴＵレベル、又は他のレベルにおいて生じることができる。幾つかの実施形態では、追加情報は、ＣＵサイズ、ＴＵサイズ、フレームタイプ、フレームサイズ、量子化パラメータ（ＱＰ）、時間レイヤ情報、構文解析された残余係数情報など、サイド情報を含む。幾つかの実施形態では、追加情報は、上記で説明したように、ベースレイヤからの情報又は拡張レイヤとベースレイヤの両方からの情報を含む。

[0129]本明細書で開示される情報及び信号は、多種多様な技術及び技法のいずれかを使用して表され得る。例えば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁界又は磁性粒子、光場又は光学粒子、あるいはそれらの任意の組合せによって表され得る。

[0130]本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例及び全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈すべきではない。

[0131]本明細書で説明した技術は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信機器ハンドセット、又はワイヤレス通信機器ハンドセット及び他の機器における適用例を含む複数の用途を有する集積回路機器など、様々な機器のいずれかに実装され得る。モジュール又は構成要素として説明する機能は、集積論理機器に一緒に、又はディスクリートであるが相互運用可能な論理機器として別々に実装され得る。ソフトウェアで実装した場合、本技法は、実行されたとき、上記で説明した方法のうちの１つ又は複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気又は光学データ記憶媒体など、メモリ又はデータ記憶媒体を備え得る。本技法は、追加又は代替として、伝搬信号又は電波など、命令又はデータ構造の形態でプログラムコードを搬送又は伝達し、コンピュータによってアクセスされ、読み取られ、及び／又は実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。

[0132]プログラムコードは、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の等価の集積回路又はディスクリート論理回路など、１つ又は複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明する技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であり得る。プロセッサはまた、コンピューティング機器の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ又は複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、又は本明細書で説明する技法の実装に好適な他の構造又は装置のいずれかを指す。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のソフトウェアモジュール又はハードウェアモジュール内に提供され得、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。また、本技法は、１つ又は複数の回路又は論理要素中に十分に実装され得る。

[0133]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実装され得る。本開示では、開示する技法を実施するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上記で説明した１つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。

[0134]新規のシステム、装置、及び方法の様々な態様について、添付の図面を参照しながら以下でより十分に説明する。但し、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造又は機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本発明の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置、及び方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。例えば、本明細書に記載の態様をいくつ使用しても、装置は実装され得、又は方法は実施され得る。更に、本発明の範囲は、本明細書に記載の本発明の様々な態様に加えて又はそれらの態様以外に、他の構造、機能、又は構造及び機能を使用して実施されるそのような装置又は方法をカバーするものとする。本明細書で開示する任意の態様が請求項の１つ又は複数の要素によって実施され得ることを理解されたい。

[0135]本明細書では特定の態様について説明するが、これらの態様の多くの変形及び置換は本開示の範囲内に入る。好適な態様の幾つかの利益及び利点について説明するが、本開示の範囲は特定の利益、使用、又は目的に限定されるものではない。むしろ、本開示の態様は、それらのうちの幾つかが図中及び好ましい態様についての以下の説明中に例として示されている、異なるワイヤレス技術、システム構成、ネットワーク、及び伝送プロトコルに広く適用可能であるものとする。発明を実施するための形態及び図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲及びそれの均等物によって定義される。

[0136]本発明の様々な実施形態について説明した。これら及び他の実施形態は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ ビデオ情報をコード化するように構成された装置であって、前記装置が、拡張レイヤに関連するビデオブロック情報を記憶するように構成されたメモリと、前記メモリに動作可能に結合され、前記メモリから前記ビデオブロック情報を取り出し、前記ビデオ情報をコード化するように構成されたプロセッサとを備え、前記プロセッサが、前記ビデオブロック情報のパラメータに基づいて変換関数を決定することと、決定された前記変換関数を使用して前記ビデオブロック情報をコード化することとを行うように更に構成された、装置。
［２］ 前記ビデオブロック情報の前記パラメータがコード化モードを備える、［１］に記載の装置。
［３］ 前記コード化モードが、イントラベースレイヤ（イントラＢＬ）モード又は一般化残差予測（ＧＲＰ）を備える、［２］に記載の装置。
［４］ 前記変換関数を決定するために、前記プロセッサは、前記ビデオブロック情報の前記パラメータが所定の値であるかどうかを決定することと、前記ビデオブロック情報の前記パラメータが前記所定の値でないと決定したことに応答して、前記変換関数が１次変換であると決定するか、又は、前記ビデオブロック情報の前記パラメータが前記所定の値であると決定したことに応答して、前記変換関数が代替変換であると決定することとを行うように構成された、［１］に記載の装置。
［５］ 前記代替変換が、離散サイン変換（ＤＳＴ）、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、タイプ−ＶＩＩ ＤＳＴ、離散コサイン変換（ＤＣＴ）、異なるタイプのＤＣＴ、及びカルーネンレーベ変換（ＫＬＴ）のうちの１つを備える、［４］に記載の装置。
［６］ 前記ビデオ情報の前記パラメータが、フレームレベル、スライスレベル、コード化単位レベル、及び変換ブロック単位レベルのうちの１つにおいて信号伝達される、［１］に記載の装置。
［７］ 前記ビデオ情報の前記パラメータが、サイド情報、コード化単位サイズ、変換単位サイズ、フレームタイプ、フレームサイズ、量子化パラメータ（ＱＰ）、時間レイヤ情報、及び構文解析された残余係数情報のうちの少なくとも１つを備える、［１］に記載の装置。
［８］ 前記パラメータがベースレイヤからの情報を備える、［１］に記載の装置。
［９］ 前記ビデオブロック情報の前記パラメータが、前記ビデオブロック情報と隣接ビデオブロック情報との間の差分に関係する閾値を備える、［１］に記載の装置。
［１０］ 前記変換関数は、前記ビデオブロック情報と前記隣接ブロック情報との間の前記差分が前記閾値を下回るとき、非コサインベース変換を備える、［１］に記載の装置。
［１１］ 前記変換関数は、前記ビデオブロック情報と前記隣接ブロック情報との間の前記差分が前記閾値を上回るとき、コサイン変換を備える、［１］に記載の装置。
［１２］ 前記プロセッサが、高レベルシンタックスを使用した又はフラグとして符号化された前記閾値を受信するように構成された、［１１］に記載の装置。
［１３］ 決定された前記変換が、２値化を使用して信号伝達される、［１］に記載の装置。
［１４］ 前記２値化が、短縮単項コード及び固定長コードのうちの少なくとも１つを備える、［１３］に記載の装置。
［１５］ 前記装置がエンコーダを備える、［１］に記載の装置。
［１６］ 前記装置がデコーダを備える、［１］に記載の装置。
［１７］ 前記装置が、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、及びビデオストリーミング機器のうちの１つ又は複数からなるグループから選択される、［１］に記載の装置。
［１８］ ビデオ情報を符号化する方法であって、前記方法が、参照レイヤに関連するビデオブロック情報を受信することと、前記ビデオブロック情報のパラメータに基づいて変換関数を決定することと、決定された前記変換関数を使用して前記ビデオブロック情報を符号化することとを備える、方法。
［１９］ 前記ビデオブロック情報の前記パラメータがコード化モードを備える、［１８］に記載の方法。
［２０］ 前記コード化モードが、イントラベースレイヤ（イントラＢＬ）モード又は一般化残差予測を備える、［１９］に記載の方法。
［２１］ 前記変換関数は、前記パラメータが所定の値であるときは代替変換であると決定され、前記パラメータが前記所定の値でないときは１次変換であると決定される、［１８］に記載の方法。
［２２］ 前記代替変換が、離散サイン変換（ＤＳＴ）、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、タイプ−ＶＩＩ ＤＳＴ、離散コサイン変換ＤＣＴ、異なるタイプのＤＣＴ、及びカルーネンレーベ変換（ＫＬＴ）のうちの１つを備える、［１９］に記載の方法。
［２３］ フレームレベル、スライスレベル、コード化単位レベル、及び変換ブロック単位レベルのうちの１つにおいて前記ビデオ情報の前記パラメータを信号伝達することを更に備える、［１８］に記載の方法。
［２４］ 前記ビデオ情報の前記パラメータが、サイド情報、コード化単位サイズ、変換単位サイズ、フレームタイプ、フレームサイズ、量子化パラメータ（ＱＰ）、時間レイヤ情報、及び構文解析された残余係数情報のうちの少なくとも１つを備える、［１８］に記載の方法。
［２５］ 前記パラメータがベースレイヤからの情報を備える、［１８］に記載の方法。
［２６］ 前記ビデオブロック情報の前記パラメータが、前記ビデオブロック情報と隣接ビデオブロック情報との間の差分に関係する閾値を備える、［１８］に記載の方法。
［２７］ 前記変換関数は、前記ビデオブロック情報と前記隣接ブロック情報との間の前記差分が前記閾値を下回るとき、非コサインベース変換を備える、［１８］に記載の方法。
［２８］ 前記変換関数は、前記ビデオブロック情報と前記隣接ブロック情報との間の前記差分が前記閾値を上回るとき、コサイン変換を備える、［１８］に記載の方法。
［２９］ 高レベルシンタックスを使用して、又は符号化されたフラグとして、前記閾値を通信することを更に備える、［２８］に記載の方法。
［３０］ 前記決定された変換が、２値化を使用して信号伝達される、［１８］に記載の方法。
［３１］ 前記２値化が、短縮単項コード及び固定長コードのうちの少なくとも１つを備える、［３０］に記載の方法。
［３２］ ビデオ情報を復号する方法であって、前記方法が、参照レイヤに関連するビデオブロック情報を受信することと、前記ビデオブロック情報のパラメータに基づいて変換関数を決定することと、決定された前記変換関数を使用して前記ビデオブロック情報を復号することとを備える、方法。
［３３］ 前記ビデオブロック情報の前記パラメータがコード化モードを備える、［３２］に記載の方法。
［３４］ 前記コード化モードが、イントラベースレイヤ（イントラＢＬ）モード又は一般化残差予測を備える、［３３］に記載の方法。
［３５］ 前記変換関数は、前記パラメータが所定の値であるときは代替変換であると決定され、前記パラメータが前記所定の値でないときは１次変換であると決定される、［３２］に記載の方法。
［３６］ 前記代替変換が、離散サイン変換（ＤＳＴ）、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、タイプ−ＶＩＩ ＤＳＴ、離散コサイン変換ＤＣＴ、異なるタイプのＤＣＴ、及びカルーネンレーベ変換（ＫＬＴ）のうちの１つを備える、［３５］に記載の方法。
［３７］ フレームレベル、スライスレベル、コード化単位レベル、及び変換ブロック単位レベルのうちの１つにおいて前記ビデオ情報の前記パラメータを信号伝達することを更に備える、［３２］に記載の方法。
［３８］ 前記ビデオ情報の前記パラメータが、サイド情報、コード化単位サイズ、変換単位サイズ、フレームタイプ、フレームサイズ、量子化パラメータ（ＱＰ）、時間レイヤ情報、及び構文解析された残余係数情報のうちの少なくとも１つを備える、［３２］に記載の方法。
［３９］ 前記パラメータがベースレイヤからの情報を備える、［３２］に記載の方法。
［４０］ 前記ビデオブロック情報の前記パラメータが、前記ビデオブロック情報と隣接ビデオブロック情報との間の差分に関係する閾値を備える、［３２］に記載の方法。
［４１］ 前記変換関数は、前記ビデオブロック情報と前記隣接ブロック情報との間の前記差分が前記閾値を下回るとき、非コサインベース変換を備える、［３２］に記載の方法。
［４２］ 前記変換関数は、前記ビデオブロック情報と前記隣接ブロック情報との間の前記差分が前記閾値を上回るとき、コサイン変換を備える、［３２］に記載の方法。
［４３］ 高レベルシンタックスを使用して、又は符号化されたフラグとして、前記閾値を通信することを更に備える、［４２］に記載の方法。
［４４］ 決定された前記変換が、２値化を使用して信号伝達される、［３２］に記載の方法。
［４５］ 前記２値化が、短縮単項コード及び固定長コードのうちの少なくとも１つを備える、［４４］に記載の方法。
［４６］ ビデオデータをコード化するように構成されたビデオコード化機器であって、前記ビデオコード化機器が、参照レイヤに関連するビデオブロック情報のパラメータに基づいて変換関数を決定するための手段と、前記決定された変換関数を使用して前記ビデオブロック情報をコード化するための手段とを備える、ビデオコード化機器。
［４７］ 前記ビデオブロック情報の前記パラメータが、イントラＢＬモード又は一般化残差予測コード化モードを備える、［４６］に記載のビデオコード化機器。
［４８］ 前記変換関数は、前記パラメータが所定の値であるときは代替変換であると決定され、前記変換関数は、前記パラメータが前記所定の値でないときは１次変換であると決定される、［４６］に記載のビデオコード化機器。
［４９］ 前記代替変換が、離散サイン変換（ＤＳＴ）、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、タイプ−ＶＩＩ ＤＳＴ、離散コサイン変換ＤＣＴ、異なるタイプのＤＣＴ、及びカルーネンレーベ変換（ＫＬＴ）のうちの１つを備える、［４８］に記載のビデオコード化機器。
［５０］ 実行されたとき、参照レイヤに関連するビデオブロック情報のパラメータに基づいて変換関数を決定することと、前記変換を使用して前記ビデオブロック情報をコード化することとを装置に行わせるコードを備える非一時的コンピュータ可読媒体。
［５１］ 前記変換関数は、前記パラメータが所定の値であるときは代替変換であると決定され、前記パラメータが前記所定の値でないときは１次変換であると決定される、［５０］に記載の非一時的コンピュータ可読媒体。
［５２］ 前記代替変換が、離散サイン変換（ＤＳＴ）、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、タイプ−ＶＩＩ ＤＳＴ、離散コサイン変換（ＤＣＴ）、異なるタイプのＤＣＴ、及びカルーネンレーベ変換（ＫＬＴ）のうちの１つを備える、［５１］に記載の非一時的コンピュータ可読媒体。
［５３］ 決定された前記変換が、２値化を使用して信号伝達される、［５０］に記載の非一時的コンピュータ可読媒体。

Claims (24)

1. ビデオ情報をコード化するように構成された装置であって、前記装置は、
   参照レイヤ及び拡張レイヤに関連するビデオ情報を記憶するように構成されたメモリと、前記拡張レイヤは拡張レイヤブロックを備え、前記参照レイヤは前記拡張レイヤブロックに対応する参照レイヤブロックを備え、
   前記メモリに動作可能に結合され、
   前記メモリから前記ビデオ情報を検索し、
   前記拡張レイヤブロックに隣接する領域と、前記参照レイヤブロックに隣接する領域との間の差分が、閾値レベルよりも大きいかどうかを決定し、
   前記差分が前記閾値レベルよりも大きくはないとの決定に基づいて、離散サイン変換を使用して前記拡張レイヤブロックをコード化する
   ように構成されるプロセッサと、
   を備える装置。
2. 前記離散サイン変換は、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、又はタイプ−ＶＩＩ ＤＳＴのうちの１つを備える、請求項１に記載の装置。
3. 前記プロセッサは、前記差分が前記閾値レベルよりも大きいとの決定に基づいて、離散コサイン変換を使用して前記拡張レイヤブロックをコード化するように更に構成される、請求項１に記載の装置。
4. 前記プロセッサは、高レベルシンタックスを使用して前記閾値レベルを受信するように構成される、請求項１に記載の装置。
5. 前記離散サイン変換の前記使用は、２値化を使用して信号伝達される、請求項１に記載の装置。
6. 前記２値化は、固定長コードを備える、請求項５に記載の装置。
7. 前記装置は、エンコーダを備える、請求項１に記載の装置。
8. 前記装置は、デコーダを備える、請求項１に記載の装置。
9. 前記装置は、デスクトップコンピュータ、ノートブックコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセット、スマートフォン、スマートパッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、及びビデオストリーミング機器からなるグループから選択される、請求項１に記載の装置。
10. ビデオ情報を符号化する方法であって、前記方法は、
    参照レイヤ及び拡張レイヤに関連するビデオ情報を受信することと、前記拡張レイヤは拡張レイヤブロックを備え、前記参照レイヤは前記拡張レイヤブロックに対応する参照レイヤブロックを備え、
    前記拡張レイヤブロックに隣接する領域と、前記参照レイヤブロックに隣接する領域との間の差分が、閾値レベルよりも大きいかどうかを決定することと、
    （i）前記差分が前記閾値レベルよりも大きくはないとの決定に基づいて、離散サイン変換を使用して前記拡張レイヤブロックを符号化すること、又は（ii）前記差分が前記閾値レベルよりも大きいとの決定に基づいて、離散コサイン変換を使用して前記拡張レイヤブロックを符号化すること、のうちの１つを実行することと
    を備える、方法。
11. 前記離散サイン変換は、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、又はタイプ−ＶＩＩ ＤＳＴのうちの１つを備える、請求項１０に記載の方法。
12. 高レベルシンタックスを使用して前記閾値レベルを送信することを更に備える、請求項１０に記載の方法。
13. 前記離散サイン変換の前記使用は、２値化を使用して信号伝達される、請求項１０に記載の方法。
14. 前記２値化は、固定長コードを備える、請求項１３に記載の方法。
15. ビデオ情報を復号する方法であって、前記方法は、
    参照レイヤ及び拡張レイヤに関連するビデオ情報を受信することと、前記拡張レイヤは拡張レイヤブロックを備え、前記参照レイヤは前記拡張レイヤブロックに対応する参照レイヤブロックを備え、
    前記拡張レイヤブロックに隣接する領域と、前記参照レイヤブロックに隣接する領域との間の差分が、閾値レベルよりも大きいかどうかを決定することと、
    （i）前記差分が前記閾値レベルよりも大きくはないとの決定に基づいて、離散サイン変換を使用して前記拡張レイヤブロックを復号すること、又は（ii）前記差分が前記閾値レベルよりも大きいとの決定に基づいて、離散コサイン変換を使用して前記拡張レイヤブロックを復号すること、のうちの１つを実行することと
    を備える、方法。
16. 前記離散サイン変換は、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、又はタイプ−ＶＩＩ ＤＳＴのうちの１つを備える、請求項１５に記載の方法。
17. 前記閾値レベルは、高レベルシンタックスを使用して送信される、請求項１５に記載の方法。
18. 前記離散サイン変換の前記使用は、２値化を使用して信号伝達される、請求項１５に記載の方法。
19. 前記２値化は、固定長コードを備える、請求項１８に記載の方法。
20. ビデオデータをコード化するように構成されたビデオコード化機器であって、前記ビデオコード化機器は、
    参照レイヤ及び拡張レイヤに関連するビデオ情報を受信するための手段と、前記拡張レイヤは拡張レイヤブロックを備え、前記参照レイヤは前記拡張レイヤブロックに対応する参照レイヤブロックを備え、
    前記拡張レイヤブロックに隣接する領域と、前記参照レイヤブロックに隣接する領域との間の差分が、閾値レベルよりも大きいかどうかを決定するための手段と、
    前記差分が前記閾値レベルよりも大きくはないとの決定に基づいて、離散サイン変換を使用して前記拡張レイヤブロックをコード化するための手段と
    を備える、ビデオコード化機器。
21. 前記離散サイン変換は、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、又はタイプ−ＶＩＩ ＤＳＴのうちの１つを備える、請求項２０に記載のビデオコード化機器。
22. 実行されたとき、
    参照レイヤ及び拡張レイヤに関連するビデオ情報を受信することと、前記拡張レイヤは拡張レイヤブロックを備え、前記参照レイヤは前記拡張レイヤブロックに対応する参照レイヤブロックを備え、
    前記拡張レイヤブロックに隣接する領域と、前記参照レイヤブロックに隣接する領域との間の差分が、閾値レベルよりも大きいかどうかを決定することと、
    前記差分が前記閾値レベルよりも大きくはないとの決定に基づいて、離散サイン変換を使用して前記拡張レイヤブロックをコード化することと
    をプロセッサに行わせるプログラムコードを記憶する、コンピュータ可読記憶媒体。
23. 前記離散サイン変換は、タイプ−Ｉ ＤＳＴ、タイプ−ＩＩＩ ＤＳＴ、タイプ−ＩＶ ＤＳＴ、又はタイプ−ＶＩＩ ＤＳＴのうちの１つを備える、請求項２２に記載のコンピュータ可読記憶媒体。
24. 前記離散サイン変換の前記使用は、２値化を使用して信号伝達される、請求項２２に記載のコンピュータ可読記憶媒体。