JP5175303B2 - スケーラブルビデオコーディング用の適応アップサンプリング - Google Patents

Description

本出願は、２００７年１月９日に出願された米国仮出願第６０／８８４，０９９号および２００７年２月８日に出願された米国仮出願第６０／８８８，９１２号の利益を主張するものである。両仮出願の内容全体が参照により本明細書に組み込まれる。

本開示は、デジタルビデオコーディングに関し、より詳細には、空間スケーラビリティを与えるスケーラブルビデオコーディング（ＳＶＣ）技法に関する。

デジタルビデオ機能は、デジタルテレビ、デジタル直接放送システム、無線通信デバイス、無線放送システム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラまたは衛星無線電話などを含む、広範囲にわたるデバイスに組み込むことができる。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６１、Ｈ．２６３またはＨ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，Advanced Video Coding（ＡＶＣ）規格によって定義された技法など、ブロックベースのビデオ圧縮技法を実装して、デジタルビデオをより効率的に送信および受信することができる。ビデオ圧縮技法では、ビデオシーケンスに固有の冗長性を低減または除去するために空間的予測および時間的予測を実行する。

空間的予測は、所与のビデオフレーム内の近接するビデオブロック間の冗長性を低減する。動き推定および動き補償としても知られる時間的予測は、ビデオシーケンスの過去および／または将来のビデオフレーム内のビデオブロック間の時間的冗長性を低減する。時間的予測の場合、ビデオ符号器は、動き推定を実行して、２つ以上の隣接フレーム間でビデオブロックを一致させる動作を追跡する。動きベクトルは、１つまたは複数の基準フレームにおける対応する予測ビデオブロックに対するビデオブロックの変位を示す。動き補償は、動きベクトルを使用して、基準フレームから予測ビデオブロックを特定する。予測ビデオブロックを元のビデオブロックから減算することによって、残差ビデオブロックを形成してコーディングする。残差ビデオブロックは動きベクトルとともにビデオ復号器に送ることができ、復号器は、この情報を使用して、元のビデオブロックまたは元のビデオブロックの近似物を再構成することができる。ビデオ符号器は、変換、量子化およびエントロピーコーディング処理を利用して、残差ブロックに関連するビットレートをさらに低減することができる。

ビデオコーディングの中には、ビデオデータの無線通信に特に望ましいスケーラブルコーディング技法を使用するものがある。一般に、スケーラブルビデオコーディング（ＳＶＣ）とは、ビデオデータがベースレイヤおよび１つまたは複数のエンハンスメントレイヤによって表されるビデオコーディングを指す。ＳＶＣの場合、ベースレイヤは一般に、基本の空間的、時間的および／または信号対雑音比（ＳＮＲ）レベルでビデオデータを搬送する。１つまたは複数のエンハンスメントレイヤは、追加のビデオデータを搬送して、より高い空間的、時間的および／またはＳＮＲレベルをサポートする。

空間スケーラビリティの場合、エンハンスメントレイヤはベースレイヤのフレームに空間解像度を追加する。空間スケーラビリティをサポートするＳＶＣシステムでは、レイヤ間予測を使用して、エンハンスメントレイヤを伝達するために必要なデータ量を低減することができる。レイヤ間予測では、動き推定および動き補償と同様の予測技法を使用してエンハンスメントレイヤビデオブロックをコーディングすることができる。特に、ベースレイヤ中の基準ブロックを使用してエンハンスメントレイヤのビデオ残差データブロックをコーディングすることができる。ただし、ベースレイヤとエンハンスメントレイヤとでは空間解像度が異なる。したがって、ベースレイヤビデオデータをエンハンスメントレイヤビデオデータの空間解像度にアップサンプリングして、例えば、エンハンスメントレイヤ残差データを生成するための基準ブロックを形成することができる。

概して、本開示では、空間スケーラビリティを求めてエンハンスメントレイヤビデオデータをコーディングするためにベースレイヤビデオデータをアップサンプリングする適応的技法について説明する。例えば、ベースレイヤビデオデータ（例えば、残差のベースレイヤビデオブロック）はより高い解像度にアップサンプリングでき、アップサンプリングデータはエンハンスメントレイヤビデオデータをコーディングするために使用できる。アップサンプリング処理の一部として、本開示の技法は、補間によるアップサンプリングが好ましい状態、およびいわゆる「最近隣」複製技法によるアップサンプリングが好ましい他の状況を識別する。したがって、エンハンスメントレイヤのデータをコーディングするために、補間および最近隣複製技法は、適応的にベースレイヤのデータのアップサンプリングに使用できる。

本開示のいくつかの態様によれば、補間または最近隣複製のいずれも、アップサンプリングデータを定義するために使用でき、アップサンプリングデータはエンハンスメントレイヤビデオデータのコーディングにおいて基準ブロックとして使用できる。特に、補間を実行すべきか、最近隣複製を実行すべきかの決定は、アップサンプリング画素がエンハンスメントレイヤ中のエッジ画素位置に対応するかどうかに基づく。アップサンプリングのために補間すべきか、最近隣複製を使用すべきかの決定においてベースレイヤの画素位置のみを考慮する代わりに、本開示に記載の技法では、エンハンスメントレイヤ中のブロック境界に対するアップサンプリング画素位置を考慮することができる。エンハンスメントレイヤのブロック境界はベースレイヤのブロック境界とは異なることがある。

一実施例では、本開示は、空間スケーラビリティを用いてビデオデータをコーディングする方法を提供する。本方法は、ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成することと、アップサンプリングビデオデータに基づいてエンハンスメントレイヤビデオデータをコーディングすることとを備え、アップサンプリングビデオデータを生成することは、ベースレイヤビデオデータで定義される異なるベースレイヤビデオブロック間の位置に対応するアップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することを含む。

別の実施例では、本開示は、空間スケーラビリティを用いてビデオデータをコーディングする装置であって、ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成し、アップサンプリングビデオデータに基づいてエンハンスメントレイヤビデオデータをコーディングするように構成され、ベースレイヤビデオデータで定義される異なるベースレイヤビデオブロック間の位置に対応するアップサンプリングビデオデータの１つまたは複数の画素位置の値を補間する装置を提供する。

別の実施例では、本開示は、空間スケーラビリティを用いてビデオデータをコーディングするデバイスであって、ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成するための手段と、アップサンプリングビデオデータに基づいてエンハンスメントレイヤビデオデータをコーディングするための手段とを備え、アップサンプリングビデオデータを生成するための手段は、ベースレイヤビデオデータで定義される異なるベースレイヤビデオブロック間の位置に対応するアップサンプリングビデオデータの１つまたは複数の画素位置の値を補間するための手段を含む、デバイスを提供する。

本開示に記載の技法は、ハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せで実施することができる。ソフトウェアで実施される場合、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはデジタル信号プロセッサ（ＤＳＰ）など、プロセッサで実行できる。本技法を実行するソフトウェアは、初めにコンピュータ可読媒体に格納し、プロセッサにロードして実行することができる。

したがって、本開示はまた、プロセッサでの実行時に空間スケーラビリティを用いてビデオデータをコーディングすることをプロセッサに行わせる命令を備えるコンピュータ可読媒体であって、命令は、ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成することと、アップサンプリングビデオデータに基づいてエンハンスメントレイヤビデオデータをコーディングすることとをプロセッサに行わせ、アップサンプリングビデオデータを生成することは、ベースレイヤビデオデータで定義される異なるベースレイヤビデオブロック間の位置に対応するアップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することを含む、コンピュータ可読媒体を企図する。

他の場合、本開示は、集積回路、チップセット、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、論理回路、またはそれらの様々な組合せなど、本明細書に記載の１つまたは複数の技法を実施するように構成された回路を対象とすることができる。

本開示の１つまたは複数の態様の詳細を添付の図面および以下の説明において示す。本開示に記載の技法の他の特徴、目的、および利点は、これらの説明および図面、ならびに特許請求の範囲から明らかになろう。

本明細書に記載のコーディング技法を符号化および／または復号処理の一部として実施できるビデオ符号化および復号システムを示す例示的なブロック図。 本開示に合致するビデオ符号器の例を示すブロック図。 本開示に合致するビデオ復号器の例を示すブロック図。 ベースレイヤからエンハンスメントレイヤへのアップサンプリングを示す概念図。 ベースレイヤからエンハンスメントレイヤへのアップサンプリングを示す概念図。 本開示に従って使用できるアップサンプリング技法を示す概念図。 本開示に従って使用できるアップサンプリング技法を示す概念図。 本開示に従って使用できるアップサンプリング技法を示す概念図。 本開示に合致する技法を示す流れ図。

本開示では、スケーラブルビデオコーディング（ＳＶＣ）方式においてエンハンスメントレイヤビデオブロックをコーディング（すなわち、符号化または復号）する際に有用なアップサンプリング技法について説明する。空間スケーラビリティをサポートするＳＶＣ方式では、ベースレイヤビデオデータ（例えば、ベースレイヤの残差ビデオブロック）をより高い解像度にアップサンプリングすることができ、より高い解像度のアップサンプリングデータはエンハンスメントレイヤビデオデータ（例えば、エンハンスメントレイヤの残差ビデオブロック）をコーディングするために使用することができる。特に、アップサンプリングデータは、エンハンスメントレイヤビデオデータをベースレイヤに対してコーディングする際の基準データとして使用される。すなわち、ベースレイヤビデオデータはエンハンスメントレイヤビデオデータの空間解像度にアップサンプリングされ、得られたアップサンプリングデータはエンハンスメントレイヤビデオデータをコーディングするために使用される。

このアップサンプリング処理の一部として、本開示の技法では、補間によるアップサンプリングが好ましい状態と、いわゆる「最近隣」複製技法によるアップサンプリングが好ましい他の状態とを識別する。補間では、アップサンプリング値の重み付き平均を生成することができ、重み付き平均はベースレイヤの２つ以上の画素値の間で定義される。最近隣技法の場合、アップサンプリング値は、アップサンプリング画素位置に最も近い空間的近傍にあるベースレイヤ内の画素位置の値として定義される。本開示によれば、アップサンプリングの一部の特定の条件には補間、および他の条件には最近隣複製を使用することによって、エンハンスメントレイヤビデオブロックのコーディングを改善することができる。

補間または最近隣複製のいずれかを使用して、エンハンスメントレイヤの空間解像度でアップサンプリングデータを定義することができる。アップサンプリングデータはベースレイヤのデータから（例えば、ベースレイヤでコーディングされた残差ビデオブロックから）アップサンプリングできる。そのアップサンプリングデータは、エンハンスメントレイヤのデータをコーディングする際に（例えば、エンハンスメントレイヤの残差ビデオブロックをコーディングする際に）基準として使用できるブロックを形成することができる。アップサンプリング処理中に補間を実行すべきか、最近隣複製を実行すべきかの決定は、アップサンプリング画素値がエンハンスメントレイヤのエッジ画素位置に対応するかどうかに基づく。これは、一般に補間すべきか、最近隣複製を使用すべきかを決定する際にベースレイヤの画素位置のみを考慮する従来のアップサンプリング技法とは対照的である。

例えば、従来のアップサンプリング技法では、補間に使用されるベースレイヤの２つの画素がベースレイヤビデオブロックのエッジに対応しない場合のみ、アップサンプリング画素の補間を実行することができる。本開示では、「エッジ」という用語は、ビデオブロックのエッジに対応する画素位置を指し、「内部」という用語は、ビデオブロックのエッジに対応しない画素位置を指す。ビデオブロックは、ビデオ符号器復号器（ＣＯＤＥＣ）で使用されるブロック変換を指すことがある。Ｈ．２６４／ＡＶＣの例として、ビデオブロックは４×４または８×８のサイズが可能である。ただし、エンハンスメントレイヤのブロック境界はベースレイヤのブロック境界とは異なることがある。本開示によれば、補間を実行すべきかどうかの決定は、アップサンプリングすべき画素値がエンハンスメントレイヤ中のエッジ画素位置に対応するかどうかに依存する。

補間に使用されるベースレイヤの２つの画素がベースレイヤの２つの隣接ビデオブロックのエッジに対応する場合、アップサンプリング値はベースレイヤの２つの隣接ビデオブロックの間に位置することができる。この場合、従来の技法ではアップサンプリングに最近隣複製技法を使用する。ベースレイヤの異なるビデオブロックが量子化の異なるレベルでコーディングされていることがあるので、この場合、補間は慣習的に回避される。最近隣複製の場合、アップサンプリング値は、アップサンプリング画素位置に最も近い空間的近傍にあるベースレイヤの画素位置の値として定義することができる。

本開示によれば、補間は、アップサンプリングレイヤ値がベースレイヤの２つのビデオブロックの間に位置するいくつかのコンテキストで実行できる。アップサンプリング値自体がエンハンスメントレイヤ内のエッジ画素位置と関連付けられない場合、最近隣複製よりも補間の方が好ましいことがある。この場合、エンハンスメントレイヤのデブロックフィルタリングは、おそらくビデオフレーム再生におけるブロッキネスアーチファクトに対処しない。したがって、ベースレイヤの異なるビデオブロックが量子化の異なるレベルでコーディングされている場合でも、補間の方が好ましいことがある。アップサンプリング値自体がエンハンスメントレイヤ内のエッジ画素位置と関連付けられ、アップサンプリング値がベースレイヤの２つのビデオブロックの間に位置する場合は、本開示に従って最近隣複製を使用することができる。この場合、エンハンスメントレイヤのデブロックフィルタリングはエンハンスメントレイヤのブロッキネスアーチファクトに対処することになり、ベースレイヤビデオブロックの量子化レベルが異なることによる不十分な補間のリスクがこのコンテキストにおける補間の潜在的恩恵を上回ることがある。さらに、補間すべきか、最近隣複製を使用すべきかの決定は、ベースレイヤの２つのビデオブロックが異なるコーディングモード（例えば、イントラコーディングモードまたはインターコーディングモード）によってコーディングされたかどうかにも基づく。例えば、ベースレイヤの２つのビデオブロックが異なるコーディングモードによってコーディングされた場合、最近隣複製が使用でき、補間は回避される。さらに、ベースレイヤのコーディングブロック境界にわたる信号不連続性の問題をさらに緩和するために、アップサンプリングの前または後に任意の適応ローパスフィルタを適用することができる。

説明を単純かつ容易にするために、本開示では、補間および最近隣複製技法を概して一次元で説明するが、最近隣複製技法は一般に水平次元と垂直次元の両方に適用できる。二次元の補間技法または二次元の最近隣技法の場合、補間または最近隣複製は、まず一方の次元で使用され、次いで他方の次元で使用されることになる。

図１は、ビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０は、通信チャネル１５を介して符号化ビデオを受信デバイス１６に送信するソースデバイス１２を含む。ソースデバイス１２は、ビデオソース２０、ビデオ符号器２２および変調器／送信器２４を含むことができる。受信デバイス１６は、受信器／復調器２６、ビデオ復号器２８およびディスプレイデバイス３０を含むことができる。システム１０は、本明細書で説明するように、ＳＶＣ方式のエンハンスメントレイヤのビデオ情報の符号化および復号の間に、適応アップサンプリング技法を適用するように構成できる。符号化および復号を本明細書ではより広くコーディングと呼ぶ。

図１の例では、通信チャネル１５は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理的な送信経路など、無線または有線の通信媒体、あるいは無線および有線の媒体の組合せを備えることができる。通信チャネル１５は、ローカルエリアネットワーク、広域ネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部をなすことができる。通信チャネル１５は概して、ビデオデータをソースデバイス１２から受信デバイス１６に送信するのに好適な通信媒体または様々な通信媒体の集合体を表す。

ソースデバイス１２は、受信デバイス１６に送信するためのコーディングされたビデオデータを生成する。ただし、場合によっては、デバイス１２、１６は、ほぼ対称に動作することができる。例えば、デバイス１２、１６の各々は、ビデオ符号化および復号構成要素を含むことができる。したがって、システム１０は、例えばビデオストリーミング、ビデオ放送またはビデオ電話通信のためのビデオデバイス１２とビデオデバイス１６の間の一方向または双方向のビデオ送信をサポートすることができる。

ソースデバイス１２のビデオソース２０は、ビデオカメラ、予め取り込まれたビデオを含むビデオアーカイブ、またはビデオコンテンツプロバイダからのビデオフィードなど、ビデオキャプチャデバイスを含むことができる。さらなる代替として、ビデオソース２０はソースビデオとしてのコンピュータグラフィックベースのデータ、またはライブビデオとコンピュータ生成ビデオの組合せを生成することができる。場合によっては、ビデオソース２０がビデオカメラの場合、ソースデバイス１２および受信デバイス１６はいわゆるカメラ付き携帯電話機またはテレビ電話を形成することができる。いずれの場合も、取り込まれたビデオ、予め取り込まれたビデオ、コンピュータ生成ビデオは、変調器／送信器２２、通信チャネル１５および受信器／復調器２６を介して、ビデオソースデバイス１２からビデオ受信デバイス１６のビデオ復号器２８に送信するためにビデオ符号器２２によって符号化できる。

ビデオ符号化および復号処理は、本明細書で説明するように、補間および最近隣複製を使用する適応アップサンプリング技法を実装して、エンハンスメントレイヤのコーディング処理を改善することができる。ディスプレイデバイス３０は、復号ビデオデータをユーザに対して表示し、陰極線管、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイまたは別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備えることができる。空間スケーラビリティによって、ビデオ復号器は、ＳＶＣビットストリームからエンハンスメントレイヤのビットストリームを復号することにより、高度な空間解像度、例えば、ＱＣＩＦ（Quarter common intermediate format、１７６×１４４の画像解像度）ではなくＣＩＦ（Common intermediate format、３５２×２８８の画像解像度）のビデオ信号を再構成および表示することができる。

ビデオ符号器２２およびビデオ復号器２８は、空間スケーラビリティのためのスケーラブルビデオコーディング（ＳＶＣ）をサポートするように構成できる。さらに、時間的および／または信号対雑音比（ＳＮＲ）スケーラビリティもサポートできるが、本開示の技法はこの点に限定されない。一部の態様では、ビデオ符号器２２およびビデオ復号器２８は、ＳＶＣのための微細粒度ＳＮＲスケーラビリティ（fine granularity SNR scalability）（ＦＧＳ）コーディングをサポートするように構成できる。符号器２２および復号器２８は、ベースレイヤおよび１つまたは複数のスケーラブルエンハンスメントレイヤの符号化、送信および復号をサポートすることによって、様々な程度のスケーラビリティをサポートすることができる。スケーラブルビデオコーディングでは、ベースレイヤは、基準となる空間的、時間的、またはＳＮＲレベルでビデオデータを搬送する。１つまたは複数のエンハンスメントレイヤは追加データを搬送して、より高い空間的、時間的および／またはＳＮＲレベルをサポートする。ベースレイヤは、エンハンスメントレイヤの送信よりも信頼できる方法で送信できる。例えば、変調信号の最も信頼できる部分はベースレイヤを送信するために使用でき、変調信号のあまり信頼できない部分はエンハンスメントレイヤを送信するために使用できる。

ＳＶＣをサポートするために、ビデオ符号器２２はベースレイヤ符号器３２およびエンハンスメントレイヤ符号器３４を含み、それぞれベースレイヤおよびエンハンスメントレイヤの符号化を実行することができる。場合によっては、複数のエンハンスメントレイヤをサポートすることができ、その場合、ビデオエンハンスメントの詳細なレベルを漸進的にコーディングするために複数のエンハンスメントレイヤ符号器を与えることができる。アップサンプリングデータを使用してエンハンスメントレイヤのデータをコーディングすることができるように、ベースレイヤのデータをエンハンスメントレイヤビデオデータの空間解像度にアップサンプリングする本開示の技法は、エンハンスメントレイヤ符号器３４によって実行することができる。

ビデオ復号器２８は、ベースレイヤとエンハンスメントレイヤの両方に関連付けられたビデオブロックを復号する複合ベース／エンハンスメント復号器を備えることができ、その復号ビデオを組み合わせて、ビデオシーケンスのフレームを再構成する。復号側では、アップサンプリングデータを使用してエンハンスメントレイヤのデータをコーディングすることができるように、ベースレイヤのデータをエンハンスメントレイヤビデオデータの空間解像度にアップサンプリングする本開示の技法は、ビデオ符号器２８によって実行することができる。ディスプレイデバイス３０は、復号ビデオシーケンスを受信し、そのビデオシーケンスをユーザに提示する。

ビデオ符号器２２およびビデオ復号器２８は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３またはＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，Advanced Video Coding（ＡＶＣ）など、ビデオ圧縮規格に従って動作することができる。図１には示されていないが、一部の態様では、ビデオ符号器２２およびビデオ復号器２８はそれぞれオーディオ符号器および復号器と統合でき、適切なＭＵＸ−ＤＥＭＵＸユニットまたは他のハードウェアおよびソフトウェアを含み、共通のデータストリームまたは別々のデータストリーム中のオーディオとビデオ両方の符号化を処理することができる。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）など他のプロトコルに準拠することができる。

Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、合同ビデオチーム（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣのムービングピクチャエキスパーツグループ（ＭＰＥＧ）とともにＩＴＵ−Ｔのビデオコーディングエキスパーツグループ（ＶＣＥＧ）によって公式化された。一部の態様では、本開示に記載の技法は、一般にＨ．２６４規格に従うデバイスに適用することができる。Ｈ．２６４規格は、ＩＴＵ−Ｔ勧告Ｈ．２６４「Advanced Video Coding for Generic Audiovisual Services」（ＩＴＵ−Ｔ研究グループ、２００５年３月）に記載されており、本明細書ではＨ．２６４規格またはＨ．２６４仕様、あるいはＨ．２６４／ＡＶＣ規格または仕様と称することがある。

合同ビデオチーム（ＪＶＴ）はＨ．２６４／ＭＰＥＧ−４ ＡＶＣへのスケーラブルビデオコーディング（ＳＶＣ）拡張の取り組みを続けている。例えば、ＪＶＴによって作成された合同スケーラブルビデオモデル（ＪＳＶＭ）はスケーラブルビデオで使用するツールを実装しており、本開示に記載の様々なコーディングタスクのためにシステム１０内で使用することができる。微細粒度ＳＮＲスケーラビリティ（ＦＧＳ）コーディングに関する詳細情報は、合同草案（Joint Draft）文書、特にＳＶＣ Ａｍｅｎｄｍｅｎｔ（改定２）の合同草案８（ＪＤ８）、Thomas Wiegand、Gary Sullivan、Julien Reichel、Heiko SchwarzおよびMathias Wienの「Joint Draft 8 of SVC Amendment (revision 2)」（ＪＶＴ−Ｕ２０１、２００６年１０月、中国杭州）に出ている。また、本明細書に記載の技法の一実装形態のさらなる詳細は、２００７年４月に米国カリフォルニア州サンノゼでの第２３回会議においてYan YeおよびYiliang BaoによってＩＳＯ／ＩＥＣ ＭＰＥＧ ＆ ＩＴＵ−Ｔ ＶＣＥＧ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１およびＩＴＵ−Ｔ ＳＧ１６ Ｑ．６）の合同ビデオチーム（ＪＶＴ）に提出された提案文書ＪＶＴ−Ｗ１１７、および２００７年１月にモロッコのマラケシュでの第２２回会議においてYan YeおよびYiliang BaoによってＪＶＴに提出された提案文書ＪＶＴ−Ｖ１１５に出ている。

一部の態様では、ビデオ放送に関して、本開示に記載の技法を、フォワードリンクオンリー（Forward Link Only）（ＦＬＯ）エアインタフェース仕様、Technical Standard TIA-1099（「FLO Specification」）として発表される「Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast」を使用して、テレストリアルモバイルマルチメディアマルチキャスト（terrestrial mobile multimedia multicast）（ＴＭ３）システムでリアルタイムビデオサービスを配信するための拡張Ｈ．２６４ビデオコーディングに適用することができる。すなわち、通信チャネル１５は、ＦＬＯ仕様などに従って無線ビデオ情報を放送するために使用される無線情報チャネルを備えることができる。ＦＬＯ仕様は、ビットストリームシンタクスおよび意味を定義し、ＦＬＯエアインタフェースに適した処理を復号する例を含む。あるいは、ＤＶＢ−Ｈ（digital video broadcast-handheld）、ＩＳＤＢ−Ｔ（integrated services digital broadcast-terrestrial）またはＤＭＢ（digital media broadcast）など、他の規格に従ってビデオを放送することができる。

したがって、ソースデバイス１２は、モバイル無線端末、ビデオストリーミングサーバ、またはビデオ放送サーバでよい。ただし、本開示に記載の技法は、特定のタイプの放送、マルチキャスト、またはポイントツーポイントシステムに限定されない。放送の場合、ソースデバイス１２はいくつかのチャネルのビデオデータを複数の受信デバイスに放送することができ、これらデバイスの各々は図１の受信デバイス１６と同様でよい。一例として、受信デバイス１６は、一般にセルラ無線電話と呼ばれるモバイルハンドセットなど、無線通信デバイスを備えることができる。

ビデオ符号器２２およびビデオ復号器２８はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、個別ロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せとして実装できる。ビデオ符号器２２およびビデオ復号器２８のそれぞれを１つまたは複数の符号器または復号器中に含めることができ、そのいずれも複合符号器／復号器（ＣＯＤＥＣ）の一部としてそれぞれモバイルデバイス、加入者デバイス、放送デバイス、サーバなどに統合することができる。さらに、ソースデバイス１２および受信デバイス１６はそれぞれ、符号化ビデオの送信および受信に適切な変調、復調、周波数変換、フィルタリングおよび増幅器構成要素を含むことができ、適用可能な場合は無線通信をサポートするのに十分な無線周波数（ＲＦ）無線構成要素およびアンテナを含むことができる。ただし、説明を容易にするために、図１では、そのような構成要素はソースデバイス１２の変調器／送信器２４および受信デバイス１６の受信器／復調器２６であるとして要約されている。

ビデオシーケンスは一連のビデオフレームを含む。ビデオ符号器２２は、ビデオデータを符号化するために個々のビデオフレーム内の画素のブロック上で動作する。ビデオブロックは、サイズを固定することも変更することもでき、指定のコーディング規格に応じてサイズが異なることがある。それぞれのビデオフレームは一連のスライスに分割することができる。各スライスは一連のマクロブロックを含むことができ、それらはサブブロック中に配置することができる。一例として、ＩＴＵ−Ｔ Ｈ．２６４規格は、輝度(luma)コンポーネントでは１６×１６、８×８、４×４および色(chroma)コンポーネントでは８×８など、様々なブロックサイズのイントラ予測、ならびに輝度コンポーネントでは１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４および色コンポーネントでは対応するスケーリングされたサイズなど、様々なブロックサイズのインター予測をサポートする。

ビデオブロックは、小さいほどより良い解像度が得られ、より高い詳細レベルを含むビデオフレームの位置に使用することができる。一般に、マクロブロック（ＭＢ）および様々なサブブロックを、全般的にビデオブロックと呼ぶことができる。さらに、スライスは、ＭＢおよび／またはサブブロックなど一連のビデオブロックであると考えることができる。各スライスは、単独で復号可能な単位でよい。予測の後に、８×８残差ブロックまたは４×４残差ブロックの変換を実行することができ、イントラ１６×１６予測モードが使用される場合は、色コンポーネントまたは輝度コンポーネント用の４×４ブロックのＤＣ係数に追加の変換を適用することができる。

イントラまたはインターベースの予測コーディングに続いて、送信されたビットストリームに追加のコーディング技法を適用することができる。これらの追加のコーディング技法は、Ｈ．２６４／ＡＶＣで使用される４×４または８×８整数変換または離散コサイン変換（discrete cosine transformation）ＤＣＴなど、変換技法、および可変長コーディング（ＶＬＣ）、ハフマンコーディングおよび／またはランレングスコーディングなど、エントロピーコーディングを含むことができる。

本開示の技法によれば、アップサンプリング技法を使用して、エンハンスメントレイヤビデオデータのコーディング（すなわち、符号化または復号）で使用するアップサンプリングビデオデータを生成する。ベースレイヤビデオデータを、対応するエンハンスメントレイヤビデオブロックの空間解像度にアップサンプリングすることができ、そのアップサンプリングデータは、エンハンスメントレイヤビデオデータのコーディングにおいて基準として使用することができる。このアップサンプリング処理の一部として、本開示の技法では、補間技法が好ましい状況と、いわゆる「最近隣」複製技法が好ましい他の状況とを識別する。ここでも、補間では、アップサンプリング値の重み付き平均を生成することができ、重み付き平均はベースレイヤの２つ以上の値の間で定義される。最近隣複製の場合、アップサンプリングレイヤ値は、アップサンプリング画素位置に最も近い空間的近傍にあるベースレイヤの画素位置の値として定義される。アップサンプリングの特定のシナリオには補間を使用し、他のシナリオには最近隣複製を使用することによって、エンハンスメントレイヤビデオブロックのコーディングを改善することができる。

アップサンプリングはブロック境界を変更することができる。例えば、ベースレイヤおよびエンハンスメントレイヤがそれぞれ４×４画素ビデオブロックを定義する場合、より多くの画素を定義するためにエンハンスメントレイヤの空間解像度に従ってベースレイヤをアップサンプリングした結果、ベースレイヤのブロック境界がアップサンプリングデータの境界と異なることになる。補間または最近隣技法に関する決定が、アップサンプリング値がエンハンスメントレイヤのエッジ画素位置（すなわち、エンハンスメントレイヤのブロック境界）に対応するかどうか、またそのような位置がベースレイヤのブロック境界間の位置に対応するかどうかに基づくことができるように、本観測を利用することができる。

符号器２２および復号器２８は、本明細書に記載のアップサンプリング技法をそれぞれ実行する相補的方法を実行することができる。符号器２２はアップサンプリングを使用してエンハンスメントレイヤ情報を符号化することができ、復号器２８は同じアップサンプリング処理を使用してエンハンスメントレイヤ情報を復号することができる。コーディングという用語は一般に符号化または復号のいずれかを指す。

図２は、ベースレイヤビデオデータをエンハンスメントレイヤビデオデータに関連する空間解像度にアップサンプリングするアップサンプラ４５を含むビデオ符号器５０の例を示すブロック図である。アップサンプリングデータは次いで、エンハンスメントレイヤビデオデータをコーディングするため使用される。ビデオ符号器５０は、図１のソースデバイス１２のエンハンスメントレイヤ符号器３４に対応することがある。すなわち、話を簡単にするために、図２にはベースレイヤ符号化構成要素は示していない。したがって、ビデオ符号器５０はエンハンスメントレイヤ符号器と考えることができる。場合によっては、ビデオ符号器５０の図示の構成要素は、例えばベースレイヤおよびエンハンスメントレイヤのスケーラブルビデオコーディングをサポートするピラミッド形の符号器設計において、ベースレイヤ符号化モジュールまたはユニットと組み合わせて実装することもできる。

ビデオ符号器５０はビデオフレーム内のブロックのイントラコーディングおよびインターコーディングを実行することができる。イントラコーディングは空間的予測を利用して、所与のビデオフレーム内のビデオの空間的冗長性を低減または除去する。インターコーディングは時間的予測を利用して、ビデオシーケンスの隣接フレーム内のビデオの時間的冗長性を低減または除去する。インターコーディングの場合、ビデオ符号器５０は動き推定を実行して、２つ以上の隣接フレーム間でビデオブロックを一致させる動作を追跡する。イントラコーディングの場合、コーディングされているブロックに対する予測ブロックを形成するために、同じフレーム内の隣接ブロックからの画素を使用する空間的予測が適用される。図２には、イントラコーディングに使用される空間的予測構成要素は示していない。

図２に示すように、ビデオ符号器５０は、符号化すべきビデオフレーム内の現行ビデオブロック３１（例えば、エンハンスメントレイヤビデオブロック）を受信する。図２の実施例では、ビデオ符号器５０は、動き推定ユニット３３、基準フレームストア３５、動き補償ユニット３７、ブロック変換ユニット３９、アップサンプラ４５、量子化ユニット４１、逆量子化ユニット４２、逆変換ユニット４４、およびエントロピーコーディングユニット４６を含む。ブロック境界をフィルタリングしてブロッキネスアーチファクトを除去するために、デブロッキングフィルタ３２も含めることもできる。ビデオ符号器５０はまた、加算器４８、加算器４９Ａおよび４９Ｂ、ならびに加算器５１を含む。図２は、ビデオブロックをインターコーディングするためのビデオ符号器５０の時間的予測構成要素を示す。説明を容易にするために図２には示していないが、ビデオ符号器５０は、いくつかのビデオブロックをイントラコーディングするための空間的予測構成要素を含むこともできる。

動き推定ユニット３３は、ビデオブロック３１を１つまたは複数の隣接ビデオフレーム中のブロックと比較して、１つまたは複数の動きベクトルを生成する。１つまたは複数の隣接フレームは基準フレームストア３５から取り出すことができ、基準フレームストアは、以前に符号化されたブロックから再構成されたビデオブロックを格納するために任意のタイプのメモリまたはデータ記憶装置を備えることができる。動き推定は、可変サイズ、例えば１６×１６、１６×８、８×１６、８×８またはより小さいブロックサイズのブロックに対して実行できる。動き推定ユニット３３は、例えばレート歪モデルに基づいて現行ビデオブロック３１に最も近接して一致する隣接フレーム中のブロックを特定し、ブロック間の変位を決定する。これに基づいて、動き推定ユニット３３は、現行ビデオブロック３１と現行ビデオブロック３１をコーディングするために使用される予測ブロックとの間の変位の大きさおよび軌道を示す１つの動きベクトル（ＭＶ）（または双方向予測の場合は複数のＭＶ）を生成する。

動きベクトルは２分の１または４分の１の画素精度、あるいはさらに微細な精度を有することができ、ビデオ符号器５０が整数画素位置よりも高い精度で動きを追跡し、より良好な予測ブロックを得ることを可能にする。微小な画素値をもつ動きベクトルが使用されると、補間演算が動き補償ユニット３７で実行される。動き推定ユニット３３は、レート歪モデルを使用してビデオブロックに対する最善の動きベクトルを特定することができる。得られた動きベクトルを使用して、動き補償ユニット３７は動き補償によって予測ビデオブロックを形成する。

ビデオ符号器５０は、加算器４８で元の現行ビデオブロック３１から、動き補償ユニット３７によって生成された予測ビデオブロックを減算することによって残差ビデオブロックを形成する。ブロック変換ユニット３９は、残差ブロックに離散コサイン変換（ＤＣＴ）など変換を適用し、残差変換ブロック係数を生成する。この時点で、加算器４９Ａを使用して、エンハンスメントレイヤ残差情報からベースレイヤ残差情報を減算することによって、さらなる圧縮が適用される。アップサンプラ４５は、（例えば、ベースレイヤ符号器から）ベースレイヤ残差情報を受信し、アップサンプリング情報を生成するためにベースレイヤ残差情報をアップサンプリングする。次いで、このアップサンプリング情報が、コーディングされているエンハンスメントレイヤ残差情報から（加算器４９Ａを介して）減算される。

以下でより詳細に説明するように、アップサンプラ４５は、補間が好ましい状況と、いわゆる「最近隣」複製技法が好ましい他の状況とを識別することができる。補間では、アップサンプリング値の重み付き平均を生成し、重み付き平均はベースレイヤの２つの値の間で定義される。最近隣複製の場合、アップサンプリング値は、アップサンプリング画素位置に最も近い空間的近傍にあるベースレイヤの画素位置の値として定義される。本開示によれば、アップサンプラ４５は、アップサンプリングの特定のシナリオでは補間を使用し、他のシナリオでは最近隣複製技法を使用する。特に、アップサンプラ４５による補間を実行すべきか、最近隣複製技法を実行すべきかの決定は、アップサンプリング値がエンハンスメントレイヤのエッジ画素位置に対応するかどうかに基づく。これは、一般に補間すべきか、最近隣複製技法を使用すべきかを決定する際にベースレイヤの画素位置のみを考慮する従来のアップサンプリング技法とは対照的である。話を簡単にするために、本開示では補間および最近隣の例を一次元で説明するが、そのような一次元の補間または最近隣技法は一般に水平次元と垂直次元の両方で連続的に適用できる。アップサンプラ４５によってアップサンプリングする前にベースレイヤ情報のブロックエッジをフィルタリングするために、追加のフィルタ４７を含めることもできる。図２では、追加のフィルタ４７はアップサンプラ４５より前に位置するように示されているが、２つの異なるベースレイヤのコーディングブロックに対応する２つのベースレイヤの画素から補間されるアップサンプリングビデオデータ中のそれらの画素位置をフィルタリングするために、アップサンプラ４５の後に配置することもできる。いずれにせよ、フィルタ４７によるこの追加のフィルタリングは任意であり、本開示の後半でより詳細に取り上げる。

量子化ユニット４１は、ビットレートをさらに低減するために残差変換ブロック係数を量子化する。加算器４９Ａは、アップサンプラ４５からアップサンプリング情報を受信し、加算器４８とブロック変換ユニット３９との間に配置されている。特に、加算器４９Ａはブロック変換ユニット３９の出力から、アップサンプリングされたデータブロックを減算する。同様に、逆変換ユニット４４と加算器５１との間に配置されている加算器４９Ｂもアップサンプラ４５からアップサンプリング情報を受信する。加算器４９Ｂは、アップサンプリングされたデータブロックを逆変換ユニット４４の出力に加算し戻す。

空間的予測コーディングは、時間的予測コーディングに非常に類似した様式で動作する。しかしながら、時間的予測コーディングが隣接フレーム（または他のコーディング単位）のブロックを利用してコーディングを実行するのに対して、空間的予測は共通フレーム（他のコーディング単位）内のブロックを利用してコーディングを実行する。空間的予測コーディングはイントラコーディングされたブロックをコーディングするが、時間的予測コーディングはインターコーディングされたブロックをコーディングする。ここでも、話を簡単にするために、図２には空間的予測構成要素は示していない。

エントロピーユニット４６は、送信された情報のビットレートをさらに低減するために、可変長コーディング、２値算術コーディング（binary arithmetic coding）（ＣＡＢＡＣ）、ハフマンコーディング、ランレングスコーディング、コーディングされたブロックパターン（coded block pattern）（ＣＢＰ）コーディングなどのエントロピーコーディング技法によって、量子化された変換係数をコーディングする。エントロピーユニット４６は、コーディング効率を上げるためにＶＬＣ表を選択することができる。エントロピーコーディングの後、符号化されたビデオは別のデバイスに送信できる。さらに、逆量子化ユニット４２および逆変換ユニット４４はそれぞれ、逆量子化および逆変換を適用して残差ブロックを再構成する。加算器４９Ｂはアップサンプラ４５からアップサンプリングデータ（ベースレイヤ残差ブロックのアップサンプリングされたバージョンを表す）を加算し戻し、加算器５１は、動き補償ユニット３７によって生成される動き補償された予測ブロックに、最終的に再構成された残差ブロックを加算して、基準フレームストア３５に格納するための再構成されたビデオブロックを生成する。デブロックフィルタ３２は、基準フレームを格納する前にデブロックフィルタリングを実行することができる。いくつかの実施例では、デブロックフィルタリングは任意でもよい。

本開示によれば、アップサンプラ４５は、２つの異なるベースレイヤビデオブロックの２つの異なるエッジ間の位置に対応するアップサンプリングビデオブロックの１つまたは複数の画素位置の値を補間する。

一実施例では、アップサンプラ４５は、ベースレイヤビデオデータに基づくアップサンプリングビデオデータの第１の値を、（ｉ）エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応するアップサンプリングビデオデータの画素位置であって、エンハンスメントレイヤビデオブロックの内部画素位置の少なくとも一部が、異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、（ｉｉ）エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、異なるベースレイヤビデオブロック間に位置しない、アップサンプリングビデオデータの画素位置とに対して補間する。アップサンプラ４５は、ベースレイヤビデオデータ中の最近隣の値に基づくアップサンプリングビデオデータの第２の値を、（ｉｉｉ）エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、異なるベースレイヤビデオブロック間に位置する、アップサンプリングビデオデータの画素位置に対して定義することができる。

別の実施例では、アップサンプラ４５は、ベースレイヤビデオデータに基づくアップサンプリングビデオデータの第１の値を、（ｉ）エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応するアップサンプリングビデオデータの画素位置であって、エンハンスメントレイヤビデオブロックの内部画素位置の少なくとも一部が、異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、（ｉｉ）エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、異なるベースレイヤビデオブロック間に位置しない、アップサンプリングビデオデータの画素位置とに対して補間する。この場合、アップサンプラ４５は、ベースレイヤビデオデータ中の最近隣の値に基づくアップサンプリングビデオデータの第２の値を、（ｉｉｉ）エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、異なるベースレイヤビデオブロック間に位置する、アップサンプリングビデオデータの画素位置と、（ｉｖ）エンハンスメントレイヤビデオブロックの内部画素位置に対応し、２つの異なるベースレイヤビデオブロックが異なるコーディングモードを定義する場合に異なるベースレイヤビデオブロック間に位置する、アップサンプリングビデオデータの画素位置とに対して定義することができる。異なるコーディングモードはイントラコーディングモードおよびインターコーディングモードを備えることができる。この場合、アップサンプラ４５は、アップサンプリング値に関連する位置（すなわち、アップサンプリング値がエンハンスメントレイヤ中のブロック境界に対応するかどうか、および値がベースレイヤ中のブロック境界間に位置するかどうか）のみでなく、２つの異なるベースレイヤビデオブロックが異なるコーディングモード（例えば、インターまたはイントラコーディングモード）を使用してコーディングされているかどうかも考慮する。

図３は、図１のビデオ復号器２８または別のデバイスの復号器に対応することができるビデオ復号器６０の例を示すブロック図である。ビデオ復号器６０はアップサンプラ５９を含み、アップサンプラ５９は図２のアップサンプラ４５の機能と同様の機能を実行する。すなわち、アップサンプラ４５のように、アップサンプラ５９は、２つの異なるベースレイヤビデオブロックの２つの異なるエッジ間の位置に対応する、エンハンスメントレイヤビデオブロックの１つまたは複数の画素位置についてアップサンプリングビデオブロックの値を補間する。さらに、アップサンプラ４５のように、アップサンプラ５９は本明細書に記載の方法で補間か最近隣複製を選択することができる。動きアップサンプラ６１を使用してベースレイヤに関連付けられた動きベクトルをアップサンプリングすることもできる。任意のフィルタ６５を使用して、アップサンプラ５９によって実行されるアップサンプリングの前にベースレイヤデータのブロック境界をフィルタリングすることもできる。図３には示されていないが、フィルタ６５は、アップサンプラ５９の後にも配置され、２つの異なるベースレイヤのコーディングブロックに対応する２つのベースレイヤ画素から補間される、アップサンプリングビデオデータ中のそれらの画素位置をフィルタリングするのに使用できる。

ビデオ復号器６０は、エンハンスメントレイヤ情報のエントロピー復号のためのエントロピーユニット５２Ａを含むことができ、ベースレイヤ情報のエントロピー復号のための別のエントロピーユニット５２Ｂを含むことができる。イントラ予測構成要素は、図３には示されていないが、ビデオ復号器６０がイントラおよびインター予測コーディングをサポートするならば使用できるであろう。エンハンスメントレイヤパスは逆量子化ユニット５６Ａおよび逆変換ユニット５８Ａを含むことができ、ベースレイヤパスは逆量子化ユニット５６Ｂおよび逆変換ユニット５８Ｂを含むことができる。ベースレイヤパス中およびエンハンスメントレイヤパス中の情報は加算器５７によって組み合わせることができる。しかしながら、そのような組合せの前に、ベースレイヤ情報は本明細書に記載の技法に従ってアップサンプラ５９によってアップサンプリングされる。

ビデオ復号器６０はビデオフレーム内のブロックのインター復号を実行することができる。図３の例では、ビデオ復号器６０はエントロピーユニット５２Ａおよび５２Ｂ、動き補償ユニット５４、逆量子化ユニット５６Ａおよび５６Ｂ、逆変換ユニット５８Ａおよび５８Ｂ、ならびに基準フレームストア６２を含む。ビデオ復号器６０は加算器６４も含む。ビデオ復号器６０は、加算器６４の出力をフィルタリングするデブロックフィルタ５３も含むことができる。ここでも、加算器５７は、アップサンプラ５９を介したベースレイヤパスのアップサンプリングの後にベースレイヤパスおよびエンハンスメントレイヤパス中の情報を組み合わせる。動きアップサンプラ６１は、ベースレイヤに関連付けられた動きベクトルがエンハンスメントレイヤビデオデータの空間解像度に対応するように、そのような動きベクトルをアップサンプリングすることができる。

エンハンスメントレイヤビデオブロックの場合、エントロピーユニット５２Ａは、符号化されたビデオビットストリームを受信し、エントロピー復号技法を適用して情報を復号する。これは、量子化された残差係数、マクロブロックおよびサブブロックコーディングモードならびに動き情報を生成することができ、動きベクトルおよびブロックパーティションを含むことができる。エントロピーユニット５２Ａによって復号が実行された後、動き補償ユニット５４は、動きベクトルと、基準フレームストア６２からの１つまたは複数の再構成された基準フレームとを受信する。逆量子化ユニット５６Ａは、量子化されたブロック係数を逆量子化(inverse quantize)、すなわち逆量子化（de-quantize）し、逆変換ユニット５８Ａは、残差ブロックを生成するために逆変換、例えば逆ＤＣＴを係数に適用する。逆変換ユニット５８Ａの出力はアップサンプラ５９の出力としてアップサンプリングベースレイヤ情報と組み合わされる。加算器５７はこの組合せを可能にする。動き補償ユニット５４は、復号化ブロックを形成するために加算器６４によって残差ブロックと加算される動き補償ブロックを生成する。デブロックフィルタ５３は、ブロッキネスアーチファクトを除去するために復号化ブロックをフィルタリングする。次いで、フィルタリングされたブロックは基準フレームストア６２中に配置され、基準フレームストア６２は動き補償からの基準ブロックを供給し、ドライブディスプレイデバイス（図１のデバイス３０など）に対して復号化ビデオも生成する。

ＳＶＣは、コーディング性能を改善するために、いくつかのレイヤ間予測技法をサポートすることができる。例えば、エンハンスメントレイヤのマクロブロックをコーディングするときに、ベースまたは前のレイヤからの対応するマクロブロックモード、動き情報、および残差信号が使用できる。特に、ベースまたは前のレイヤ中のいくつかの残差ブロックは、対応するエンハンスメントレイヤの残差ブロックと相関させることができる。これらのブロックでは、残差予測を適用すると、エンハンスメントレイヤの残差エネルギーが低減され、コーディング性能を改善することができる。

ＳＶＣでは、残差予測が使用されるか否かは、マクロブロックに関連する１ビットのフラグＲｅｓＰｒｅｄを使用して示すことができ、そのフラグはマクロブロックレベルのシンタクス要素としてコーディングすることができる。ＲｅｓＰｒｅｄ＝１である場合、エンハンスメントレイヤ残差は、そこからベースレイヤ残差ブロックを減算した後にコーディングされる。エンハンスメントレイヤのビットストリームがより高い空間解像度をもつビデオ信号を表す場合、ベースレイヤ残差信号はレイヤ間予測に使用される前にエンハンスメントレイヤの解像度にアップサンプリングされる。これは、図２および図３のアップサンプラ４５および５９の機能、すなわちアップサンプリングビデオブロックの生成である。ＳＶＣ合同草案８（ＪＤ８）では、ベースレイヤブロック境界上でのいくつかの例外とともに、ベースレイヤの残差信号をアップサンプリングするためにアップサンプラ用の双一次フィルタが提案されている。

ＳＶＣ ＪＤ８はダイアディック（dyadic）空間スケーラビリティおよび拡張空間スケーラビリティ（ＥＳＳ）をサポートする。ダイアディック空間スケーラビリティでは、エンハンスメントレイヤのビデオフレームの大きさは各次元においてベースレイヤのビデオの２倍であり、クロッピングは、あるとすればマクロブロック境界上で起こる。ＥＳＳでは、ベースレイヤのビデオ信号とエンハンスメントレイヤのビデオ信号との間の任意のスケーリング比およびクロッピングパラメータが許される。ＥＳＳが使用される場合、ベースレイヤとエンハンスメントレイヤとの間の画素アラインメントは任意とすることができる。

図４および図５は、それぞれスケーリング比が２：１および５：３であるベースレイヤおよびエンハンスメントレイヤにおける画素の相対的な配置の例を示す。図４および図５では、ラベル「Ｂ」はベースレイヤに関連する画素位置を指し、ラベル「Ｅ」はアップサンプリングデータ（エンハンスメントレイヤのデータに対応する）に関連する位置を指す。（１つまたは複数の）アップサンプリングビデオブロックは、エンハンスメントレイヤ情報のコーディングにおいて基準として使用される。図５の中心画素位置のラベル「ＢＥ」は、ベースレイヤと、エンハンスメントレイヤの解像度を有するアップサンプリングデータとで同じ画素位置が重なることを意味する。

図４および図５に示すように、より低い解像度のベースレイヤからエンハンスメントレイヤのより高い解像度へのアップサンプリングは二次元で起こる。しかしながら、この二次元のアップサンプリングは、画素位置ごとに、連続した一次元のアップサンプリング処理によって容易に行うことができる。例えば、図５では、ベースレイヤビデオデータ（ラベルＢ）の３×３画素配列は、中間値（ラベルＸ）の５×３画素配列になるように、まず水平方向にアップサンプリングされる。次いで、５×３画素配列Ｘは、エンハンスメントレイヤの空間解像度（ラベルＥ）に対応するアップサンプリングビデオデータの最終的な５×５画素配列になるように、垂直方向にアップサンプリングされる。図５では、アップサンプリングされた画素位置とアップサンプリング前の画素の位置が同じになる可能性があることに留意されたい。例えば、中心画素は、Ｂ、Ｅ、およびＸの３つのラベルが付されている。水平および垂直アップサンプリング処理中に、本開示に従って、補間を使用すべきか、最近隣複製を使用すべきかに関する決定が適用できる。

以下の説明では、補間および最近隣複製技法について水平次元で論じる。しかしながら、二次元アップサンプリングのために連続線形技法（successive linear technique）が垂直および水平方向に適用できることを理解されたい。

空間スケーラビリティが使用される場合、ベースレイヤ残差信号がアップサンプリングされる。生成されたアップサンプリングデータは、エンハンスメントレイヤのビデオ情報と同じ空間次元を有し、エンハンスメントレイヤ残差のための予測データとして使用される。ここでも、ＳＶＣ ＪＤ８は、このアップサンプリングのための双一次フィルタの使用を提案している。図６に、ダイアディック空間スケーラビリティの場合の、水平方向の双一次アップサンプリングでの重みを導出するために使用される画素距離が示されている。垂直次元の双一次アップサンプリングは水平方向の場合と同様に行われる。

図６は、ベースレイヤブロック中の画素の行、およびエンハンスメントレイヤの空間解像度に対応するアップサンプリングされたブロック中の画素の行を示す。図６に示すように、画素位置ｅ０およびｅ１におけるアップサンプリングされた残差値ｐ（ｅ０）およびｐ（ｅ１）は、式（１）および（２）によって導出され、式中、ｂ０およびｂ１はベースレイヤ中の最も近い整数画素位置である。

図７に、スケーリング比５：３をもつＥＳＳの場合の、水平方向の双一次アップサンプリングで使用される重みが示されている。ここでも、垂直次元の双一次アップサンプリングは水平方向の場合と同様に行われる。

図７で、画素位置ｅ０〜ｅ４のアップサンプリング残差値ｐ（ｅ０）〜ｐ（ｅ４）は、式（３）〜（７）のように導出され、式中、ｂ０〜ｂ４は、補間で使用されるベースレイヤ中の整数画素位置であり、ｅ０〜ｅ４は、エンハンスメントレイヤの空間解像度に対応するアップサンプリングレイヤ中の画素位置である。

ブロックエッジにわたる不連続性がベースレイヤ中の再構築された残差信号中に存在する。不連続性が存在する位置は、ベースレイヤビデオをコーディングするために使用される変換サイズに依存する。４×４ブロック変換が使用される場合、不連続性は４×４ブロック境界上に存在する。８×８ブロック変換が使用される場合、不連続性は８×８ブロック境界上に存在する。ＪＤ８では、双一次補間で使用される２つのベースレイヤ画素（例えば図６のｂ０およびｂ１）が異なる２つのブロックに属する場合、双一次補間は使用不能になる。代わりに、アップサンプリング値は、ベースレイヤ中の最近隣画素から複製することによって導出される。

図６のダイアディック空間スケーラビリティの例では、位置ｂ０およびｂ１の画素が２つのブロックに属する場合、ｅ０およびｅ１の画素は、式（１）および（２）の代わりに式（８）および（９）を使用して導出される。

ＥＳＳでは、ベースレイヤ中のコーディングブロック境界はエンハンスメントレイヤ中のコーディングブロック境界とアラインされない。したがって、エンハンスメントレイヤ解像度に対応するアップサンプリングブロックは、異なるベースレイヤのコーディングブロックから補間された画素を含むことができる。５：３の空間比を有するＥＳＳ（図７）の場合、ブロックアラインメントの一例を図８で見出すことができる。図８では、画素Ｂ０〜Ｂ３は１つのベースレイヤのコーディングブロックに属し、画素Ｂ４〜Ｂ５は（４×４変換が使用されると仮定して）異なるベースレイヤのコーディングブロックに属する。この場合、信号不連続性が画素Ｂ３とＢ４との間に存在することがある。エンハンスメントレイヤの空間解像度に対応するアップサンプリングレイヤでは、画素Ｅ０〜Ｅ４がベースレイヤ画素Ｂ０〜Ｂ３から補間または複製され、画素Ｅ５〜Ｅ７がベースレイヤ画素Ｂ３〜Ｂ５から補間または複製される。ｅ０〜ｅ７と表示されたアップサンプリング画素が１つの８×８アップサンプリングコーディングブロックに属すると仮定すると、ベースレイヤからの信号不連続性は８×８アップサンプリングレイヤ内に引き継がれることになる。特に、ｂ３およびｂ４のベースレイヤ画素は２つのベースレイヤブロックに属するので、従来の技法によれば、位置ｅ５のアップサンプリング画素は、ｂ３およびｂ４の画素から補間される代わりに、位置ｂ４のベースレイヤ画素から複製されることになる。（ＪＤ８で定義された従来の技法による）この強制的複製は８×８エンハンスメントレイヤブロック内の信号不連続性の問題を悪化させることがある。このことは、あまり正確でない残差予測につながることがある。

本開示では、適応残差アップサンプリング方式を概説する。適応残差アップサンプリング方式は、ベースレイヤとエンハンスメントレイヤとの間の相対的なブロックアラインメントを考慮することによって、データのアップサンプリングブロック内の信号不連続性を緩和することができる。アップサンプリング残差信号品質をさらに改善するために、（アップサンプリングの前に）ベースレイヤ中の残差信号および／または（アップサンプリングの後に）エンハンスメントレイヤ中の残差信号に適応ローパスフィルタリングを適用してもよい。例えば、図２および図３のフィルタ４７および６５はそれぞれ、アップサンプリングの後にエンハンスメントレイヤのこのフィルタリングを可能にするローパスフィルタを備えることができる。図２および図３では、ローパスフィルタリングはアップサンプリングの前にベースレイヤ中の残差信号に適用されるものとして示されているが、このローパスフィルタ（図２および図３の要素４７および６５）は、アップサンプラ４５の後、およびアップサンプラ５９の後、ならびに加算器４９Ａおよび加算器５７の前に配置してもよい。

要約すると、ＳＶＣ ＪＤ８で規定された残差アップサンプリング処理において、アップサンプリングデータ中の画素位置ごとに、最初に、対応するベースレイヤ画素位置が決定される。ベースレイヤ画素が（水平または垂直の）所与の方向で同じベースレイヤのコーディングブロックに属する場合、その方向の双一次補間は、アップサンプリングデータ中の値を取得するために呼び出される。他の場合（ベースレイヤ画素が所与の方向で異なるベースレイヤのコーディングブロックに属する場合）には、アップサンプリングデータ中の値はベースレイヤ中の最近隣画素から複製することによって決定される。

特に、ベースレイヤとエンハンスメントレイヤのブロックアラインメントが任意であることがある拡張空間スケーラビリティの場合、ＳＶＣ ＪＤ８で現在規定されている残差アップサンプリングは、エンハンスメントレイヤブロック内の信号不連続性の問題を悪化させることがある。そのような信号不連続性は、残差予測で使用されるとき、アップサンプリング信号を歪め、予測信号としてのその精度を低減することがある。

本開示によれば、補間を呼び出すべきか、最近隣画素から複製すべきかに関する決定は、ベースレイヤブロックとエンハンスメントレイヤブロックとの間のアラインメントに応じて判断できる。一例として図８を取り上げる。アップサンプリング画素ｅ５の位置に対応するエンハンスメントレイヤ画素は、エンハンスメントレイヤ解像度において８×８コーディングブロック内にある。この場合、位置ｂ４のベースレイヤ画素から複製すること、すなわちｐ（ｅ５）＝ｐ（ｂ４）の代わりに、位置ｂ３およびｂ４のベースレイヤ画素間の双一次補間を、信号不連続性を緩和して予測精度を改善するために呼び出すことができる。すなわち、ｅ５のアップサンプリング画素値は、式（１０）を使用して導出できる。

次の条件が両方とも真の場合のみ、最近隣画素から複製することを呼び出すことができる。

Ｃ１．補間すべきアップサンプリング画素がエンハンスメントレイヤのコーディングブロック境界上にある。

Ｃ２．補間処理に関係するベースレイヤ画素が異なるベースレイヤのコーディングブロックに属する。

ビデオコーディングシステムは２つ以上のブロック変換をサポートすることができる。例えば、Ｈ．２６４／ＡＶＣでは、４×４および８×８整数ブロック変換の両方とも輝度ブロックに対してサポートされ、４×４変換のみが色ブロックに適用される。色コンポーネントの場合、４×４ブロックのＤＣ係数に対して追加のＤＣ変換が行われる。このことによりブロック状のアーチファクトが４×４ブロック境界において起こるという事実は変わらないので、本開示の説明ではこの変換は考慮しない。

残差信号に適用されたブロック変換は、マクロブロック−レベルシンタックス要素としてビデオビットストリーム中に符号化される。ＳＶＣの状況では、残差アップサンプリングが実施される場合、ベースレイヤのコーディングブロックに適用されるブロック変換タイプは符号器と復号器の両方に知られている。エンハンスメントレイヤの場合、復号器は、エンハンスメントレイヤ残差をコーディングするために使用されたブロック変換タイプを知ることができる。しかしながら、符号器側では、ベースレイヤ残差信号がアップサンプリングされている場合、エンハンスメントレイヤ残差をコーディングするために使用されるであろう実際のブロック変換は、まだ知られていない。１つの解決策は、モード決定処理で試行される様々なブロック変換タイプについて、上記で様々に定義された規則に基づいてベースレイヤ残差をアップサンプリングすることである。

２つの代替の方法を使用して、この問題を緩和し、符号器と復号器の両方がエンハンスメントレイヤのコーディングブロックサイズを決定し、したがってコーディングブロック境界を特定するための共通の規則を提供することができる。

［コーディングブロック規則Ａ］エンハンスメントレイヤのコーディングブロックサイズは、輝度コンポーネントでは８×８、色コンポーネントでは４×４であると仮定できる。または
［コーディングブロック規則Ｂ］エンハンスメントレイヤのコーディングブロックサイズは、輝度コンポーネントと色コンポーネントの両方に対して８×８であると仮定できる。

ベースレイヤ中およびエンハンスメントレイヤ中のコーディングブロックが上記の規則のいずれかを使用して決定された後、補間処理に関係する画素がコーディングブロック境界上にあるかどうかを、次のように決定することができる。

ａ．アップサンプリング画素の補間で使用すべきベースレイヤ画素は、それがベースレイヤのコーディングブロック内の最後の画素である場合、またはそれがベースレイヤのコーディングブロック内の最初の画素である場合のいずれかの場合、（水平または垂直のいずれかの）所与の方向でベースレイヤのコーディングブロック境界上にあると考えられる。

ｂ．補間すべきアップサンプリング画素は、それがエンハンスメントレイヤのコーディングブロック内の最後の画素である場合、またはそれがエンハンスメントレイヤのコーディングブロック内の最初の画素である場合のいずれかの場合、（水平または垂直のいずれかの）所与の方向でエンハンスメントレイヤブロック境界上にあると考えられる。

これらの規則では、コーディングブロック境界を両側で幅１画素であると考える。しかしながら、コーディングブロック境界は両側で１画素以外の幅を有すると考えられる。さらに、ベースレイヤおよびエンハンスメントレイヤは、コーディングブロック境界の異なる定義を有することができる。例えば、ベースレイヤはコーディングブロック境界を両側で幅１画素であると定義することができ、エンハンスメントレイヤはコーディングブロック境界を両側で１画素より広いと定義することができ、逆もまた同様である。

本開示の範囲が双一次補間の使用に限定されないことは注目すべきことである。ベースレイヤとエンハンスメントレイヤとの間のブロックアラインメントに基づくアップサンプリングの決定はどんな補間方式にも適用できる。２：１および５：３の空間比、ならびにこれらの比に対応するブロックアラインメント、および補間式中に与えられる対応する重みが例として上記で与えられているが、本開示の範囲を限定するものではない。さらに、開示された方式は、４×４および８×８以外のコーディングブロックサイズが使用できる他のビデオコーディングシステムおよび／または標準の残差アップサンプリングに適用できる。補間は、補間すべき画素の両側に位置するいくつかの画素の重み付き平均を使用することもできる。

アップサンプリングデータ内で内部画素として現れることがあるベースレイヤ残差中のブロック境界にわたる信号不連続性の問題をさらに緩和するために、アップサンプリングの前に、ベースレイヤ残差信号に対してローパスフィルタリングを行うと、この不連続性が低減され、アップサンプリング残差の品質を改善することができる。例えば、図８のｅ５の画素値を取得するために式（１３）を適用する前に、ベースレイヤ中の位置ｂ３およびｂ４の画素値に対して式（１１）および（１２）の演算を実施することができる。ここでも、これは、アップサンプラ４５（図２）またはアップサンプラ５９（図３）より前に位置するフィルタ４７および６５（例えばローパスフィルタ）を介して実現できる。

式（１１）および（１２）では、［１，２，１］スムージングフィルタが一例として使用される。代替として、例えば、［１，２，１］の代わりにタップ係数［１，６，１］を有する、スムージング効果がより小さい修正ローパスフィルタが（１１）および（１２）で使用できる。さらに、アップサンプリングが実施される前に、ベースレイヤ不連続性の性質および大きさに応じてフィルタ強度を調節する適応ローパスフィルタをベースレイヤ残差信号に適用してもよい。ローパスフィルタは、ベースレイヤブロック境界の画素（図８のｂ３およびｂ４）にのみ適用でき、または代替的に、ブロック境界に隣接する画素（例えば図８のｂ２およびｂ５）にも適用できる。

アップサンプリングの前にベースレイヤ信号にローパスフィルタを適用すべきかどうかに関する決定は、エンハンスメントレイヤ画素および関係するベースレイヤ画素の位置に基づいてよい。例えば、次の条件が両方とも真の場合、追加のローパスフィルタがベースレイヤ画素に適用できる。

１．補間処理で使用すべきベースレイヤ画素が異なるベースレイヤのコーディングブロックに属する。

２．補間すべきアップサンプリング画素がエンハンスメントレイヤのコーディングブロック内の内部画素に対応する。アップサンプリングコーディングブロックが上記で説明したコーディングブロック規則Ａまたはコーディングブロック規則Ｂを使用して決定できる。

アップサンプリングコーディングブロックに対して内部の画素における信号不連続性を低減する別の方法は、補間の後にアップサンプリング信号にローパスフィルタを適用することである。これは、アップサンプラ４５および５９の後に適用すべき図２および図３のフィルタ４７および６５を並べ替えることによって達成できる。一例として、図８の位置ｅ５における画素を使用して、ｐ（ｅ５）が式（１０）および（１１）を使用して得られた後、次式を適用することができる。

式（１４）では、ｐ（ｅ４）およびｐ（ｅ６）は位置ｅ４およびｅ６のアップサンプリング画素値である。ここでも、［１，２，１］スムージングフィルタは例として使用される。代替ローパスフィルタリングも適用できる。例えば、タップ係数［１，６，１］を有する修正スムージングフィルタが適用できる。代替として、信号不連続性の性質および大きさに基づく適応ローパスフィルタリングが適用できる。

追加のローパスフィルタを適用すべきかどうかの決定は、関係するアップサンプリング画素およびベースレイヤ画素の位置に基づく。例えば、次の条件が両方とも真の場合、追加のローパスフィルタを適用することができる。

１．アップサンプリング画素がエンハンスメントレイヤのコーディングブロック内の内部画素に対応する。エンハンスメントレイヤのコーディングブロックが（上記の）コーディングブロック規則Ａまたはコーディングブロック規則Ｂのいずれか、あるいは他のコーディングブロック規則を使用して決定できる。

２．補間処理中で使用されるベースレイヤ画素が異なるベースレイヤのコーディングブロックに属する。

ＳＶＣは、エンハンスメントレイヤのコーディング性能を改善するために、残差予測をサポートする。空間スケーラビリティでは、ベースレイヤ残差信号は、残差予測で使用される前にアップサンプリングされる。ベースレイヤのコーディングブロックにわたる信号不連続性がベースレイヤ残差中に存在することがあり、この信号不連続性がアップサンプリング信号内に引き継がれることがある。ＥＳＳの場合、この継承された不連続性が現れる位置は任意であり得る。アップサンプリング信号の品質を改善するために、スケーラブルビデオコーディングのための適応残差アップサンプリング方式を本開示で説明する。

残差アップサンプリング中、ＳＶＣ ＪＤ８の既存の方式では異なるベースレイヤのコーディングブロックからの画素間の補間をすることができない。対照的に、提案された本開示の適応アップサンプリング方式を用いて、ベースレイヤとエンハンスメントレイヤとの間の相対的なブロックアラインメントをアップサンプリング処理において考えることができる。特に、アップサンプリングすべき画素がエンハンスメントレイヤのコーディングブロックの内部画素に対応するとき、最近隣画素からの複製ではなく補間を使用してエンハンスメントレイヤのコーディングブロック内の信号不連続性を低減することができる。

また、上記のように、エンハンスメントレイヤのコーディングブロック内に存在することがある信号不連続性をさらに低減するために、追加のローパスフィルタリングを補間の前と後の両方に残差信号に適用することができる。特に、アップサンプリング画素が、対応するエンハンスメントレイヤのコーディングブロックの内部画素に対応し、関係するベースレイヤ画素がベースレイヤのコーディングブロック境界上にあるか、またはその境界に近接している場合、次のことが適用できる。

１．補間の前に、スムージングフィルタまたは適応ローパスフィルタを、ベースレイヤのコーディングブロック境界上にあるか、またはその境界に近接しているベースレイヤ画素に適用することができる。

２．補間の後に、スムージングフィルタまたは適応ローパスフィルタを、エンハンスメントレイヤのコーディングブロック中の内部画素であるエンハンスメントレイヤ画素に適用することができる。

残差アップサンプリング中に補間を呼び出すべきか、最近隣複製を呼び出すべきかを決定するとき、考えるべき別の要素は、関係するベースレイヤブロックのコーディングモード（インターコーディング対イントラコーディング）である。ＳＶＣでは、アップサンプリングはインターコーディングされたブロックからの残差信号にのみ適用される。ＪＤ８では、ベースレイヤビデオブロックがイントラコーディングされているとき、その残差信号はベースレイヤ残差画像中でゼロにリセットされる。これは、コーディングモードが変化するとき、ベースレイヤ残差ブロックにわたる強い信号不連続性を伴う。したがって、２つのベースレイヤ画素間に補間を適用しないことは、それらが異なるコーディングモードをもつブロックに属する場合、有益なことがある。言い換えれば、次の決定を使用することができる。

１．関係する２つのベースレイヤ画素が、一方がイントラコーディングされ、他方がインターコーディングされている２つのベースレイヤのコーディングブロックに属する場合、最近隣複製を使用する。

上記の規則は、本開示に記載したようにブロックアラインメントに基づく適応補間決定規則と組み合わせることができる。組み合わせると、適応補間決定は次のようになる。次の条件１および２のいずれかが真のとき、最近隣画素からの複製を呼び出すことができる。

１．補間処理に関係するベースレイヤ画素が異なるベースレイヤのコーディングブロックに属し、ベースコーディングブロックが異なるコーディングモードを有する場合、または
２．次の条件が両方とも真である場合
ａ．補間すべきアップサンプリング画素がエンハンスメントレイヤのコーディングブロック境界上にある。

ｂ．補間処理に関係するベースレイヤ画素が異なるベースレイヤのコーディングブロックに属する。

以下の擬似コードでは、本開示に合致する技法を実装するために、残差アップサンプリングおよび残差予測中に、ＪＤ８に記載のロジックに下線付きの条件を追加することができる。

ベースレイヤのブロックサイズは、ベースレイヤのコーディングで使用される実際のブロックサイズである。シンタックス要素ＦＲｅｘｔはブロックヘッダの一部として定義できる。ＦＲｅｘｔがオフの場合、エンハンスメントレイヤのブロックサイズも４×４であることが知られている。しかしながら、符号器側で、エンハンスメントレイヤに対して４×４と８×８の両方の変換が可能である（すなわちＦＲｅｘｔがオンである）場合、残差アップサンプリングが実行されるとき、エンハンスメントレイヤでのブロックサイズ（すなわち変換サイズ）はまだ知られていない。この状況（エンハンスメントレイヤに対してＦＲｅｘｔがオン）では、エンハンスメントレイヤのブロックサイズは、輝度に対して８×８であり、色に対して４×４であると仮定できる。すなわち、輝度に対して、ｅ＝８＊ｍ−１またはｅ＝８＊ｍ（ｍは整数）の場合、位置ｅのアップサンプリング画素はブロック境界画素であると考えられる。色に対して、ｅ＝４＊ｍ−１またはｅ＝４＊ｍの場合、位置ｅのアップサンプリング画素はブロック境界画素であると考えられる。

復号の場合、シンタックス要素の変更は不要である。ＪＤ８の復号処理（下位節Ｇ．８．１０．３）は次のように修正でき、修正を下線で示す。

残差予測のための双一次補間の場合、入力は以下の通りである。

．．．
・ 可変ｂｌｋＳｉｚｅ（輝度ではｂｌｋＳｉｚｅ＝８または４、色ではｂｌｋＳｉｚｅ＝４）
・ 配列ｔｒａｎｓＢｌｋＴｙｐｅ［ｘ，ｙ］（ｘ＝０．．ｍｂ−１かつｙ＝０．．ｎｂ−１）
この処理の出力は、配列ｒｅｓＩｎｔｅｒｐ［ｘ，ｙ］（ｘ＝０．．ｍ−１かつｙ＝ｙｓ．．ｙｅ−１）である。

・ 変数ｔｅｍｐ１を次のように導出されるものとする。

− ｔｒａｎｓＢｌｋＩｄｘ［ｘ１，ｙ１］がｔｒａｎｓＢｌｋＩｄｘ［ｘ２，ｙ１］に等しい、または０＜（ｘ％ｂｌｋＳｉｚｅ）＜（ｂｌｋＳｉｚｅ−１）かつｔｒａｎｓＢｌｋＴｙｐｅ［ｘ１，ｙ１］がｔｒａｎｓＢｌｋＴｙｐｅ［ｘ２，ｙ２］に等しい場合
ｔｅｍｐ１＝ｒ［ｘ１，ｙ１］＊（１６−（ｐｏｓＸ［ｘ］％１６））＋ｒ［ｘ２，ｙ１］＊（ｐｏｓＸ［ｘ］％１６）（Ｇ−５４４）
．．．
・ 変数ｔｅｍｐ２を次のように導出されるものとする。

− ｔｒａｎｓＢｌｋＩｄｘ［ｘ１，ｙ２］がｔｒａｎｓＢｌｋＩｄｘ［ｘ２，ｙ２］に等しい、または０＜（ｘ％ｂｌｋＳｉｚｅ）＜（ｂｌｋＳｉｚｅ−１）かつｔｒａｎｓＢｌｋＴｙｐｅ［ｘ１，ｙ２］がｔｒａｎｓＢｌｋＴｙｐｅ［ｘ２，ｙ２］に等しい場合
ｔｅｍｐ１＝ｒ［ｘ１，ｙ２］＊（１６−（ｐｏｓＸ［ｘ］％１６））＋ｒ［ｘ２，ｙ２］＊（ｐｏｓＸ［ｘ］％１６）（Ｇ−５４７）
．．．
・ ｒｅｓＩｎｔｅｒｐを次のように導出されるものとする。

− ｔｒａｎｓＢｌｋＩｄｘ［ｘ１，ｙ１］がｔｒａｎｓＢｌｋＩｄｘ［ｘ１，ｙ２］に等しい、または０＜（ｙ％ｂｌｋＳｉｚｅ）＜（ｂｌｋＳｉｚｅ−１）かつｔｒａｎｓＢｌｋＴｙｐｅ［ｘ１，ｙ１］がｔｒａｎｓＢｌｋＴｙｐｅ［ｘ１，ｙ２］に等しい場合
ｒｅｓＩｎｔｅｒｐ［ｘ，ｙ］＝（ｔｅｍｐ１＊（１６−（ｐｏｓＹ［ｙ］％１６））＋ｔｅｍｐ２＊（ｐｏｓＹ［ｙ］％１６）＋（１２８））＞＞８）（Ｇ−５５０）
．．．
ＪＶＴ−Ｖ３０２で規定されているコア実験２（ＣＥ２）のテスト条件に従ってシミュレーションを実行し、このシミュレーションでは、ＪＤ８に記載の従来の技法に対して本開示の技法を使用したときにビデオ品質のピーク信号対雑音比（ＰＳＮＲ）の改善が見られた。ＥＳＳの場合、残差アップサンプリングへの提案された小さい変更は、エンハンスメントレイヤのコーディングブロック内のアップサンプリング残差中のブロッキングアーチファクトを低減する非常に簡単で効果的な方法を提供する。シミュレーション結果は、すべてのＣＥ２テスト条件についてＪＳＶＭ＿７＿１３と比較して、提案された変更がコーディング性能を高めることを示している。さらに、提案された方式は、再構築されたエンハンスメントレイヤビデオ中の不快なブロッキングアーチファクトを抑制することによって、視覚的品質を大幅に改善する。

図９は、本開示に合致する技法を示す流れ図である。図９については符号器の観点から説明するが、同様の処理が復号器によって実行されるであろう。図９に示すように、ベースレイヤ符号器３２はベースレイヤ情報をコーディングし（２００）、エンハンスメントレイヤ符号器３４はエンハンスメントレイヤ情報をコーディングする（２０２）。エンハンスメントレイヤのコーディング処理の一部として、エンハンスメントレイヤ符号器３４（例えば図２に示されるビデオ符号器５０）はベースレイヤ情報を受信する（２０４）。フィルタ４７はベースレイヤ情報のブロック境界の任意のフィルタリングを実行することができる（２０６）。アップサンプラ４５は、ベースレイヤ情報をアップサンプリングして、補間または最近隣複製を選択するために本明細書で定義した様々な技法および規則を使用してアップサンプリングビデオブロックを生成する（２０８）。ベースレイヤブロック境界画素から補間されたエンハンスメントレイヤビデオ画素のためのアップサンプラ４５の後にも任意のフィルタ４７が適用でき（２１０）（例えば図８の画素ｅ５および式１４）、ビデオ符号器５０はアップサンプリングデータを使用してエンハンスメントレイヤ情報をコーディングする（２１２）。

本開示に記載の技術は、汎用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の均等な論理デバイスなど、１つまたは複数のプロセッサ中に実装できる。

本明細書に記載の技法は、ハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せで実装できる。モジュールまたは構成要素として説明される特徴はどれも、一体化された論理デバイスで一緒に実装でき、または個別であるが相互運用可能な論理デバイスとして別々に実装できる。ソフトウェアで実装される場合、本技法は、実行されると上記の方法のうちの１つまたは複数を実行する命令を備えるコンピュータ可読媒体によって少なくとも一部が実現できる。コンピュータ可読データ記憶媒体は、パッケージ材料を含むことがあるコンピュータプログラム製品の一部をなすことができる。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気データ記憶媒体または光学データ記憶媒体などを備えることができる。本技法は、さらに、または代替的に、命令またはデータ構造の形態でコードを搬送または伝達し、コンピュータによってアクセス、読み込み、および／または実行できるコンピュータ可読通信媒体によって、少なくとも一部が実現できる。

プログラムコードは、１つまたは複数のプロセッサ、ＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または他の均等な一体化されたまたは個別の論理回路によって実行できる。したがって、本明細書で使用される「プロセッサ」という用語は、本明細書に記載の技法の実装に好適な前述の構造または他の構造のいずれかを指すことができる。本開示では、「プロセッサ」という用語は、１つまたは複数のマイクロプロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡまたは論理回路の任意の組合せを包含するものである。さらに、一部の態様では、本明細書に記載の機能を、符号化および復号のために構成された、または複合ビデオ符号器復号器（ＣＯＤＥＣ）に組み込まれた専用のソフトウェアモジュールまたはハードウェアモジュール内に設けることができる。

ハードウェアで実装された場合、本開示は、集積回路、チップセット、ＡＳＩＣ、ＦＰＧＡ、論理回路、またはそれらの様々な組合せなど、本明細書に記載の１つまたは複数の技法を実施するように構成された回路を対象とすることができる。

本発明の様々な実施形態について説明した。これらおよび他の実施形態は以下の特許請
求の範囲内にある。
以下に、本願の出願当初の特許請求の範囲に記載された発明が付記される。
［１］空間スケーラビリティを用いてビデオデータをコーディングする方法であって、ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成することと、前記アップサンプリングビデオデータに基づいて前記エンハンスメントレイヤビデオデータをコーディングすることとを備え、前記アップサンプリングビデオデータを生成することは、前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することを含む、方法。
［２］前記アップサンプリングビデオデータを生成するステップは、前記ベースレイヤビデオデータに基づく前記アップサンプリングビデオデータの第１の値を、（ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、（ｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置とに対して補間することと、前記ベースレイヤビデオデータ中の最近隣の値に基づく前記アップサンプリングビデオデータの第２の値を、（ｉｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して定義することとを備える、［１］に記載の方法。
［３］前記アップサンプリングビデオデータを生成するステップは、前記ベースレイヤビデオデータに基づく前記アップサンプリングビデオデータの第１の値を、（ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、（ｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置とに対して補間することと、前記ベースレイヤビデオデータ中の最近隣の値に基づく前記アップサンプリングビデオデータの第２の値を、（ｉｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置と、（ｉｖ）前記エンハンスメントレイヤビデオブロックの内部画素位置に対応し、２つの前記異なるベースレイヤビデオブロックが異なるコーディングモードを定義する場合に前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置とに対して定義することとを備える、［１］に記載の方法。
［４］前記異なるコーディングモードはイントラコーディングモードおよびインターコーディングモードを備える、［３］に記載の方法。
［５］前記コーディングするステップは符号化することまたは復号することを備える、［１］に記載の方法。
［６］前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することの前に、前記異なるベースレイヤビデオブロックに関連する画素値をフィルタリングするステップをさらに備える、［１］に記載の方法。
［７］前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータ中の補間値をフィルタリングするステップをさらに備える、［１］に記載の方法。
［８］空間スケーラビリティを用いてビデオデータをコーディングする装置であって、ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成するように構成されたアップサンプラと、前記アップサンプリングビデオデータに基づいて前記エンハンスメントレイヤビデオデータをコーディングするように構成されたビデオコーディングユニットとを備え、前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間する、装置。
［９］前記アップサンプラは前記ビデオコーディングユニットの一部である、［８］に記載の装置。
［１０］ビデオコーディング機能をもつ無線通信デバイスを備える、［８］に記載の装置。
［１１］集積回路を備える、［８］に記載の装置。
［１２］前記ベースレイヤビデオデータに基づく前記アップサンプリングビデオデータの第１の値を、（ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、（ｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置とに対して補間し、前記ベースレイヤビデオデータ中の最近隣の値に基づく前記アップサンプリングビデオデータの第２の値を、（ｉｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して定義することとを備える、［８］に記載の装置。
［１３］前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータ中の補間値をフィルタリングするフィルタを含む、［８］に記載の装置。
［１４］前記ベースレイヤビデオデータに基づく前記アップサンプリングビデオデータの第１の値を、（ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、（ｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置とに対して補間し、前記ベースレイヤビデオデータ中の最近隣の値に基づく前記アップサンプリングビデオデータの第２の値を、（ｉｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置と、（ｉｖ）前記エンハンスメントレイヤビデオブロックの内部画素位置に対応し、２つの前記異なるベースレイヤビデオブロックが異なるコーディングモードを定義する場合に当該異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置とに対して定義する、［８］に記載の装置。
［１５］前記異なるコーディングモードはイントラコーディングモードおよびインターコーディングモードを備える、［１４］に記載の装置。
［１６］前記ビデオコーディングユニットは、前記ベースレイヤビデオデータを符号化するベースレイヤのコーディングユニットと、前記エンハンスメントレイヤビデオデータを符号化するエンハンスメントレイヤのコーディングユニットとを備え、前記エンハンスメントレイヤのコーディングユニットは前記アップサンプラを含み、前記アップサンプラが前記アップサンプリングビデオデータを生成する、［８］に記載の装置。
［１７］前記ビデオコーディングユニットは、前記ベースレイヤビデオデータおよび前記エンハンスメントレイヤビデオデータを復号する複合ベース／エンハンスメントレイヤ復号ユニットを備え、前記複合ベース／エンハンスメントレイヤ復号ユニットは前記アップサンプラを含み、前記アップサンプラは前記アップサンプリングビデオデータを生成する、［８］に記載の装置。
［１８］前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することの前に、前記異なるベースレイヤビデオブロックに関連する画素値をフィルタリングするフィルタをさらに備える、［８］に記載の装置。
［１９］プロセッサでの実行時に空間スケーラビリティを用いてビデオデータをコーディングすることを前記プロセッサに行わせる命令を備えるコンピュータ可読媒体であって、前記命令は、ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成することと、前記アップサンプリングビデオデータに基づいて前記エンハンスメントレイヤビデオデータをコーディングすることとを前記プロセッサに行わせ、前記アップサンプリングビデオデータを生成することは、前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することを含む、コンピュータ可読媒体。
［２０］前記命令は、前記ベースレイヤビデオデータに基づく前記アップサンプリングビデオデータの第１の値を、（ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、（ｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置とに対して補間することと、前記ベースレイヤビデオデータ中の最近隣の値に基づく前記アップサンプリングビデオデータの第２の値を、（ｉｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して定義することとを前記プロセッサに行わせる、［１９］に記載のコンピュータ可読媒体。
［２１］前記命令は、前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータ中の補間値をフィルタリングすることを前記プロセッサに行わせる、［１９］に記載のコンピュータ可読媒体。
［２２］前記命令は、前記ベースレイヤビデオデータに基づく前記アップサンプリングビデオデータの第１の値を、（ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、（ｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置とに対して補間することと、前記ベースレイヤビデオデータ中の最近隣の値に基づく前記アップサンプリングビデオデータの第２の値を、（ｉｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置と、（ｉｖ）前記エンハンスメントレイヤビデオブロックの内部画素位置に対応し、２つの前記異なるベースレイヤビデオブロックが異なるコーディングモードを定義する場合に前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置とに対して定義することとを前記プロセッサに行わせる、［１９］に記載のコンピュータ可読媒体。
［２３］前記異なるコーディングモードはイントラコーディングモードおよびインターコーディングモードを備える、［２２］に記載のコンピュータ可読媒体。
［２４］コーディングすることは符号化することまたは復号することを備える、［１９］に記載のコンピュータ可読媒体。
［２５］前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することの前に、前記異なるベースレイヤビデオブロックに関連する画素値をフィルタリングすることを前記プロセッサに行わせる命令をさらに備える、［１９］に記載のコンピュータ可読媒体。
［２６］空間スケーラビリティを用いてビデオデータをコーディングするデバイスであって、ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成するための手段と、前記アップサンプリングビデオデータに基づいて前記エンハンスメントレイヤビデオデータをコーディングするための手段とを備え、前記アップサンプリングビデオデータを生成するための手段は、前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間するための手段を含む、デバイス。
［２７］前記アップサンプリングビデオデータを生成するための手段は、前記ベースレイヤビデオデータに基づく前記アップサンプリングビデオデータの第１の値を、（ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、（ｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置とに対して補間するための手段と、前記ベースレイヤビデオデータ中の最近隣の値に基づく前記アップサンプリングビデオデータの第２の値を、（ｉｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して定義するための手段とを備える、［２６］に記載のデバイス。
［２８］前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータ中の補間値をフィルタリングするための手段をさらに備える、［２６］に記載のデバイス。
［２９］前記アップサンプリングビデオデータを生成するための手段は、前記ベースレイヤビデオデータに基づく前記アップサンプリングビデオデータの第１の値を、（ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、（ｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置とに対して補間するための手段と、前記ベースレイヤビデオデータ中の最近隣の値に基づく前記アップサンプリングビデオデータの第２の値を、（ｉｉｉ）前記エンハンスメントレイヤビデオブロックのエッジ画素位置に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置と、（ｉｖ）前記エンハンスメントレイヤビデオブロックの内部画素位置に対応し、２つの前記異なるベースレイヤビデオブロックが異なるコーディングモードを定義する場合に前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置とに対して定義するための手段とを備える、［２６］に記載のデバイス。
［３０］前記異なるコーディングモードはイントラコーディングモードおよびインターコーディングモードを備える、［２９］に記載のデバイス。
［３１］前記コーディングするための手段は符号化するための手段または復号するための手段を備える、［２６］に記載のデバイス。
［３２］前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することの前に、前記異なるベースレイヤビデオブロックに関連する画素値をフィルタリングするための手段をさらに備える、［２６］に記載のデバイス。

Claims (28)

1. 空間スケーラビリティを用いてビデオデータをコーディングする方法であって、
   ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成することと、
   前記アップサンプリングビデオデータに基づいて前記エンハンスメントレイヤビデオデータをコーディングすることとを備え、
   前記アップサンプリングビデオデータを生成するステップは、
   （ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、
   （ｉｉ）前記エンハンスメントレイヤビデオブロックのブロック境界に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置と
   に対して前記アップサンプリングビデオデータの第１の値を前記ベースレイヤビデオデータの画素位置の値の重み付き平均を用いることによって補間することと、
   （ｉｉｉ）前記エンハンスメントレイヤビデオブロックのブロック境界に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して前記アップサンプリングビデオデータの第２の値を前記ベースレイヤビデオデータ中の最近隣の値を複製することによって定義することと
   を備える、方法。
2. 前記アップサンプリングビデオデータを生成するステップは、
   （ｉｖ）前記エンハンスメントレイヤビデオブロックの内部画素位置に対応し、２つの前記異なるベースレイヤビデオブロックが異なるコーディングモードを定義する場合に前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して前記アップサンプリングビデオデータの第２の値を前記ベースレイヤビデオデータ中の最近隣の値を複製することによって定義すること
   を備える、請求項１に記載の方法。
3. 前記異なるコーディングモードはイントラコーディングモードおよびインターコーディングモードを備える、請求項２に記載の方法。
4. 前記コーディングするステップは符号化することまたは復号することを備える、請求項１に記載の方法。
5. 前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することの前に、前記異なるベースレイヤビデオブロックに関連する画素値をフィルタリングするステップをさらに備える、請求項１に記載の方法。
6. 前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータ中の補間値をフィルタリングするステップをさらに備える、請求項１に記載の方法。
7. 空間スケーラビリティを用いてビデオデータをコーディングする装置であって、
   ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成するように構成されたアップサンプラと、
   前記アップサンプリングビデオデータに基づいて前記エンハンスメントレイヤビデオデータをコーディングするように構成されたビデオコーディングユニットとを備え、
   前記装置は、
   （ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、
   （ｉｉ）前記エンハンスメントレイヤビデオブロックのブロック境界に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置と
   に対して前記アップサンプリングビデオデータの第１の値を前記ベースレイヤビデオデータの画素位置の値の重み付き平均を用いることによって補間し、
   （ｉｉｉ）前記エンハンスメントレイヤビデオブロックのブロック境界に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して前記アップサンプリングビデオデータの第２の値を前記ベースレイヤビデオデータ中の最近隣の値を複製することによって定義する、装置。
8. 前記アップサンプラは前記ビデオコーディングユニットの一部である、請求項７に記載の装置。
9. 前記装置は、ビデオコーディング機能をもつ無線通信デバイスにおいて実装される、請求項７に記載の装置。
10. 前記装置は、ビデオコーディング機能をもつ集積回路において実装される、請求項７に記載の装置。
11. 前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータ中の補間値をフィルタリングするフィルタを含む、請求項７に記載の装置。
12. 前記装置は、
    （ｉｖ）前記エンハンスメントレイヤビデオブロックの内部画素位置に対応し、２つの前記異なるベースレイヤビデオブロックが異なるコーディングモードを定義する場合に当該異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して前記アップサンプリングビデオデータの第２の値を前記ベースレイヤビデオデータ中の最近隣の値を複製することによって定義する、
    請求項７に記載の装置。
13. 前記異なるコーディングモードはイントラコーディングモードおよびインターコーディングモードを備える、請求項１２に記載の装置。
14. 前記ビデオコーディングユニットは、
    前記ベースレイヤビデオデータを符号化するベースレイヤのコーディングユニットと、
    前記エンハンスメントレイヤビデオデータを符号化するエンハンスメントレイヤのコーディングユニットとを備え、前記エンハンスメントレイヤのコーディングユニットは前記アップサンプラを含み、前記アップサンプラが前記アップサンプリングビデオデータを生成する、請求項７に記載の装置。
15. 前記ビデオコーディングユニットは、前記ベースレイヤビデオデータおよび前記エンハンスメントレイヤビデオデータを復号する複合ベース／エンハンスメントレイヤ復号ユニットを備え、前記複合ベース／エンハンスメントレイヤ復号ユニットは前記アップサンプラを含み、前記アップサンプラは前記アップサンプリングビデオデータを生成する、請求項７に記載の装置。
16. 前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することの前に、前記異なるベースレイヤビデオブロックに関連する画素値をフィルタリングするフィルタをさらに備える、請求項７に記載の装置。
17. プロセッサでの実行時に空間スケーラビリティを用いてビデオデータをコーディングすることを前記プロセッサに行わせる命令を備えるプログラムを保存するコンピュータ可読記憶媒体であって、前記命令は、
    ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成することと、
    前記アップサンプリングビデオデータに基づいて前記エンハンスメントレイヤビデオデータをコーディングすることとを前記プロセッサに行わせ、
    前記命令は、
    （ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、
    （ｉｉ）前記エンハンスメントレイヤビデオブロックのブロック境界に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置と
    に対して前記アップサンプリングビデオデータの第１の値を前記ベースレイヤビデオデータの画素位置の値の重み付き平均を用いることによって補間することと、
    （ｉｉｉ）前記エンハンスメントレイヤビデオブロックのブロック境界に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して前記アップサンプリングビデオデータの第２の値を前記ベースレイヤビデオデータ中の最近隣の値を複製することによって定義することと
    を前記プロセッサに行わせる、コンピュータ可読記憶媒体。
18. 前記命令は、前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータ中の補間値をフィルタリングすることを前記プロセッサに行わせる、請求項１７に記載のコンピュータ可読記憶媒体。
19. 前記命令は、
    （ｉｖ）前記エンハンスメントレイヤビデオブロックの内部画素位置に対応し、２つの前記異なるベースレイヤビデオブロックが異なるコーディングモードを定義する場合に前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して前記アップサンプリングビデオデータの第２の値を前記ベースレイヤビデオデータ中の最近隣の値を複製することによって定義すること
    を前記プロセッサに行わせる、請求項１７に記載のコンピュータ可読記憶媒体。
20. 前記異なるコーディングモードはイントラコーディングモードおよびインターコーディングモードを備える、請求項１９に記載のコンピュータ可読記憶媒体。
21. コーディングすることは符号化することまたは復号することを備える、請求項１７に記載のコンピュータ可読記憶媒体。
22. 前記プログラムは、前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することの前に、前記異なるベースレイヤビデオブロックに関連する画素値をフィルタリングすることを前記プロセッサに行わせる命令をさらに備える、請求項１７に記載のコンピュータ可読記憶媒体。
23. 空間スケーラビリティを用いてビデオデータをコーディングするデバイスであって、
    ベースレイヤビデオデータに基づいて、エンハンスメントレイヤビデオデータの空間解像度に対応するアップサンプリングビデオデータを生成するための手段と、
    前記アップサンプリングビデオデータに基づいて前記エンハンスメントレイヤビデオデータをコーディングするための手段とを備え、
    前記アップサンプリングビデオデータを生成するための手段は、
    （ｉ）前記エンハンスメントレイヤビデオデータ中で定義されるエンハンスメントレイヤビデオブロックの内部画素位置に対応する前記アップサンプリングビデオデータの画素位置であって、前記エンハンスメントレイヤビデオブロックの前記内部画素位置の少なくとも一部が前記異なるベースレイヤビデオブロック間の位置に対応する、画素位置と、
    （ｉｉ）前記エンハンスメントレイヤビデオブロックのブロック境界に対応し、前記異なるベースレイヤビデオブロック間に位置しない、前記アップサンプリングビデオデータの画素位置と
    に対して前記アップサンプリングビデオデータの第１の値を前記ベースレイヤビデオデータの画素位置の値の重み付き平均を用いることによって補間するための手段と、
    （ｉｉｉ）前記エンハンスメントレイヤビデオブロックのブロック境界に対応し、前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して前記アップサンプリングビデオデータの第２の値を前記ベースレイヤビデオデータ中の最近隣の値を複製することによって定義するための手段と
    を備える、デバイス。
24. 前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータ中の補間値をフィルタリングするための手段をさらに備える、請求項２３に記載のデバイス。
25. 前記アップサンプリングビデオデータを生成するための手段は、
    （ｉｖ）前記エンハンスメントレイヤビデオブロックの内部画素位置に対応し、２つの前記異なるベースレイヤビデオブロックが異なるコーディングモードを定義する場合に前記異なるベースレイヤビデオブロック間に位置する、前記アップサンプリングビデオデータの画素位置に対して前記アップサンプリングビデオデータの第２の値を前記ベースレイヤビデオデータ中の最近隣の値を複製することによって定義するための手段
    を備える、請求項２３に記載のデバイス。
26. 前記異なるコーディングモードはイントラコーディングモードおよびインターコーディングモードを備える、請求項２５に記載のデバイス。
27. 前記コーディングするための手段は符号化するための手段または復号するための手段を備える、請求項２３に記載のデバイス。
28. 前記ベースレイヤビデオデータ中で定義される異なるベースレイヤビデオブロック間の位置に対応する前記アップサンプリングビデオデータの１つまたは複数の画素位置の値を補間することの前に、前記異なるベースレイヤビデオブロックに関連する画素値をフィルタリングするための手段をさらに備える、請求項２３に記載のデバイス。

Images