JP5383674B2

JP5383674B2 - ビット深さスケーラビリティのために向上層残差予測を使ってビデオ・データをエンコードおよび／またはデコードする方法および装置

Info

Publication number: JP5383674B2
Application number: JP2010513605A
Authority: JP
Inventors: ガオ，ヨンイン; ウー，ユウェン; ワン，チュアンミン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2007-06-27
Filing date: 2007-06-27
Publication date: 2014-01-08
Anticipated expiration: 2027-06-27
Also published as: WO2009000110A1; CN101796841A; EP2193661A4; CN101796841B; US8737474B2; EP2193661A1; US20100135393A1; JP2010531584A

Description

本発明は、デジタル・ビデオ符号化の技術分野に関する。新たな型のスケーラビリティであるビット深さスケーラビリティ（bit depth scalability）についての符号化ソリューションが提示される。

近年、通常の８ビット色深さではなくより高い色深さが、科学撮像、デジタル映画、高品質ビデオ機能のあるコンピュータ・ゲームならびに業務用スタジオおよびホームシアター関係のアプリケーションといった多くの分野で、ますます望ましいものとなっている。そこで、現状技術のビデオ符号化規格H.264/AVCはすでに忠実度範囲拡張（FRExt: Fidelity Range Extensions）を含んでいる。これは標本値当たり１４ビットまでおよび４：４：４までのクロマ・サンプリングをサポートする。現行のSVC参照ソフトウェアJSVMは高いビット深さはサポートしない。

しかしながら、既存の先進符号化ソリューションはいずれもビット深さスケーラビリティはサポートしていない。二つの異なるデコーダ、あるいはたとえば同じ原ビデオ（raw video）について８ビットおよび１２ビットのようなビット深さについての異なる要求をもつクライアントをもつシナリオについては、既存のH.264/AVCソリューションは１２ビットの原ビデオをエンコードして第一のビットストリームを生成し、次いで１２ビットの原ビデオを８ビットの原ビデオに変換してそれをエンコードして第二のビットストリームを生成するというものである。異なるビット深さを要求する異なるクライアントにビデオが送達される場合、２回送達されねばならない。たとえば、二つのビットストリームが一つのディスクに一緒に収められる。これは圧縮率および動作的な複雑さの両面で低効率である。

欧州特許出願第EP06291041号は、１２ビットの原ビデオ全体を１回エンコードしてH.264/AVC互換な基本層（BL: base layer）およびスケーラブルな向上層（EL: enhancement layer）を含む一つのビットストリームを生成するスケーラブルなソリューションを開示している。上述の第一のビットストリームと比較してのスケーラブルなビットストリーム全体のオーバーヘッドは、第二のビットストリームの追加に比べれば小さい。受信側でH.264/AVCデコーダが利用可能であれば、BLサブ・ビットストリームのみがデコードされ、デコードされた８ビット・ビデオを通常の８ビット・ディスプレイ装置で見ることができる。受信側でビット深さスケーラブルなデコーダが利用可能であれば、BLサブ・ビットストリームおよびELサブ・ビットストリームの両方がデコードされて１２ビット・ビデオを得ることができ、それを８ビットを超える色深さをサポートする高品質ディスプレイ装置で見ることができる。

H.264/AVCスケーラビリティ拡張SVCは、他の型のスケーラビリティ、たとえば空間的スケーラビリティも提供する。空間的スケーラビリティでは、BLおよびELにおけるピクセル数が異なる。こうして、ビット深さスケーラビリティを他のスケーラビリティ型、たとえば空間的スケーラビリティとどのように組み合わせるかの問題が生じる。本発明は、この問題についてのソリューションを提供する。

請求項１は、ビット深さスケーラビリティおよび他のスケーラビリティ型の組み合わせを許容するエンコード方法を開示する。請求項５は、対応するデコード方法を開示する。前記エンコード方法を利用する装置が請求項９で開示され、前記デコード方法を利用する装置が請求項１０で開示される。

本発明によれば、符号化効率を改善するために、ルックアップ・テーブル（LUT）ベースの逆トーン・マッピング（inverse tone mapping）技法が層間予測（inter-layer prediction）に用いられる。LUTベースの逆トーン・マッピング技法は、BLスライス型がIスライスであるときに使われる。LUTは、エンコーダにおける再構成されたBL Iスライスおよび共位置の（collocated）もとのELスライスに基づいて生成される。ソリューション全体は、SVCの構造内で実装でき、他の型のスケーラビリティ、すなわち時間的、空間的およびSNRスケーラビリティとの互換性がサポートされる。

ある実施形態では、BL情報は論理的な二段階においてアップサンプリングされる。一つの段階はテクスチャ・アップサンプリングで、他方の段階はビット深さのアップサンプリングである。テクスチャ・アップサンプリングは、ピクセル数を増すプロセスであり、ビット深さアップサンプリングは各ピクセルがもつことのできる値の数を増すプロセスである。前記値はピクセルの色強度に対応する。アップサンプリングされたBL単位は、共位置のEL単位を予測するために使われる。エンコーダはELビデオ・データから残差を生成し、その残差はさらにエンコード（通例エントロピー符号化）され、送信される。アップサンプリングされるべきBL情報はいかなる粒度でもよい。たとえば、単一ピクセル、ピクセル・ブロック、マクロブロック（MB）または画像全体の単位である。さらに、上記二つの論理的なアップサンプリング段階を単一の段階で実行することも可能である。基本層情報はエンコーダ側でアップサンプリングされるとともに、同じようにしてデコーダ側でもアップサンプリングされる。ここで、アップサンプリングとは空間的およびビット深さの特徴についてである。

さらに、組み合わされた空間的およびビット深さアップサンプリングは、イントラ符号化された画像についておよびインター符号化された画像について実行されることができる。

具体的には、基本層および向上層をもつビデオ・データをエンコードする方法であって、基本層のピクセルは向上層のピクセルより小さなビット深さおよびより低い空間解像度をもち、当該方法は
基本層データをスライス・レベルでエンコードし、ここで、第一の諸基本層スライスはイントラ符号化され、第二の諸基本層スライスはインター符号化され、
エンコードされた基本層スライスを再構成し、
再構成された基本層スライスをアップサンプリングし、ここで、対応する向上層スライスの第一の予測されたバージョンであって、基本層スライスより高い空間的、時間的またはSNR解像度をもつものが得られ、
第一のイントラ符号化された基本層スライスについて、アップサンプリングされた再構成された第一の基本層スライスと対応するもとの向上層スライスとの間の個別のマッピングを定義するトーン・マッピング・テーブル（LUT）を生成し、ここで、両方のスライスが互いに比較され、第二のインター符号化された基本層スライスについてはトーン・マッピング・テーブルは生成されず、
前記トーン・マッピングに基づいて向上層スライスの第一の予測されたバージョンをビット深さアップサンプリングし、ここで、対応する向上層スライスの第二の予測されたバージョンであって向上層スライスの第一の予測されたバージョンより高いビット深さ解像度をもつものが得られ、
もとの向上層スライスと向上層スライスの対応する第二の予測されたバージョンとの間の差である向上層残差を生成し、
向上層残差を向上層スライス中にエンコードし、ここで、向上層スライスはそのスライス・ヘッダにその対応するトーン・マッピング・テーブルを含む、
ステップを含む。

本発明のある側面によれば、ビデオ・データをデコードする方法が、
向上層情報および基本層情報を受信し、
向上層情報から、イントラ符号化された向上層スライスのスライス・ヘッダからのトーン・マッピング・データを抽出し、
受信された情報に対して逆量子化および逆変換（たとえばDCT）を実行し、ここで、逆量子化および逆変換された向上層情報は残差情報を含み、
イントラ符号化された基本層スライスを再構成し、
基本層情報をアップサンプリングし、ここでピクセル数が増加され、増加したピクセル数についてピクセル毎の値深さ（value depth）が増加され、ここで、イントラ符号化されたスライスについては、再構成された基本層スライスおよび抽出されたトーン・マッピング・データが使用され、予測された向上層情報が得られ、
予測された向上層情報および逆量子化され逆変換された向上層情報から再構成された向上層ビデオ情報を再構成する、
ステップを含む。

本発明のある実施形態では、前記エンコード方法はBL情報をイントラ・エンコードし、イントラ・エンコードされたBL情報を再構成し、再構成されたBL情報に対して空間的アップサンプリングおよび色ビット深さアップサンプリングを実行し、現在のEL情報（すなわち画像データ）と前記空間的および色ビット深さアップサンプリングされたBL情報（すなわち画像データ）との間の差であるEL残差を生成するステップを含む。

本発明のある実施形態では、前記エンコード方法は、（インター符号化されたBLについて通常であるように）現在のBL画像データと予測されたBL画像データとの間の差であるBL残差を生成し、前記予測されたBL画像データは現在のまたは前のBL画像のデータから予測されることができ、前記BL残差をエンコード（すなわち変換および量子化）し、エンコードされたBL残差を再構成（逆変換および逆量子化）し、再構成されたBL残差に対して残差（空間的）アップサンプリングおよび色ビット深さアップサンプリングを実行し、現在のEL残差データと前記空間的および色ビット深さアップサンプリングされた再構成されたBL残差との差であるEL層間残差を生成する、ステップを含む。

有利には、二つの前述したエンコーダ実施形態は、イントラ・エンコードされたビデオ・データおよびインター・エンコードされたビデオ・データを適応的にエンコードできる組み合わされたエンコーダに組み合わされることができる。

本発明のある実施形態では、前記デコード方法はさらに、（暗黙的に）受信されたBL情報がイントラ符号化されていることを検出し、受信された逆量子化および逆変換されたBL情報からBLビデオを再構成し、再構成されたBLビデオをアップサンプリングし、ここで、アップサンプリングはテクスチャー（空間的）アップサンプリングおよびビット深さアップサンプリングを含み、予測されたEL情報が得られ、予測されたEL情報ならびに逆量子化および逆変換された受信されたEL情報から再構成されたELビデオ情報を再構成する、ステップを含む。

本発明のある実施形態では、前記デコード方法は、（暗黙的に）受信されたBL情報がインター符号化されていることを検出し、受信されたBLデータからBL残差を抽出し、抽出されたBL残差に対して残差（空間的）アップサンプリングおよび色ビット深さアップサンプリングを実行し、逆量子化および逆変換されたEL情報からEL残差を抽出し、EL残差およびアップサンプリングされたBL残差から再構成されたEL残差を再構成し、再構成されたEL残差および前に再構成されたEL情報から再構成されたELビデオ情報を再構成する、ステップを含む。

有利には、二つの前述したデコーダ実施形態は、イントラ・エンコードされたビデオ・データおよびインター・エンコードされたビデオ・データを適応的にデコードできる組み合わされたデコーダに組み合わされることができる。

本発明の別の側面によれば、基本層および向上層をもつビデオ・データをエンコードする装置であって、基本層は向上層より低い色解像度およびより低い空間解像度をもち、当該装置は、
基本層データをスライス・レベルでエンコードし、ここで、第一の諸基本層スライスはイントラ符号化され、第二の諸基本層スライスはインター符号化される、手段と、
エンコードされた基本層スライスを再構成する手段と、
再構成された基本層スライスをアップサンプリングし、ここで、対応する向上層スライスの第一の予測されたバージョンであって、基本層スライスより高い空間的、時間的またはSNR解像度をもつものが得られる、手段と、
第一のイントラ符号化された基本層スライスについて、アップサンプリングされた再構成された第一の基本層スライスと対応するもとの向上層スライスとの間の個別のマッピングを定義するトーン・マッピング・テーブルを生成し、ここで、両方のスライスが互いに比較され、第二のインター符号化された基本層スライスについてはトーン・マッピング・テーブルは生成されない、手段と、
前記トーン・マッピングに基づいて向上層スライスの第一の予測されたバージョンをビット深さアップサンプリングし、ここで、対応する向上層スライスの第二の予測されたバージョンであって向上層スライスの第一の予測されたバージョンより高いビット深さ解像度をもつものが得られる、手段と、
もとの向上層スライスと向上層スライスの対応する第二の予測されたバージョンとの間の差である向上層残差を生成する手段と、
向上層残差を向上層スライス中にエンコードし、ここで、向上層スライスはそのスライス・ヘッダにその対応するトーン・マッピング・テーブルを含む、手段とを備える。

本発明のある側面によれば、ビデオ・データをエンコードまたはデコードする装置が、空間的（残差またはテクスチャー）アップサンプリングを実行する手段と、色ビット深さアップサンプリングを実行する手段とを備える。ここで、空間的アップサンプリングのための手段はBL情報内の値の数を増し、色ビット深さアップサンプリングのための手段は値の色範囲を増し、空間的アップサンプリングおよび色ビット深さアップサンプリングされたBLデータが得られる。

本発明の別の側面によれば、エンコードされたスケーラブルなビデオ信号はイントラ符号化されたBLデータおよびイントラ符号化されたELデータを含み、前記イントラ符号化されたELデータは、アップサンプリングされたBL画像とEL画像との間の差である残差を含み、その残差は差分テクスチャー情報および差分ビット深さ情報を含む。

提示される符号化ソリューションのさまざまな実施形態はH.264/AVCおよびH.264/AVCスケーラブル拡張（SVC）において現在定義されているあらゆる種類のスケーラビリティと互換である。

本発明の有利な実施形態が従属請求項、以下の記述および図面において開示される。

本発明の例示的な実施形態について、付属の図面を参照しつつ述べる。

色ビット深さスケーラブル符号化の枠組みを示す図である。空間的スケーラビリティのテクスチャー内（intra texture）層間（inter-layer）予測の、色ビット深さスケーラビリティへの拡張のためのエンコーダを示す図である。空間的スケーラビリティの残差層間予測の、色ビット深さスケーラビリティへの拡張のためのエンコーダを示す図である。空間的スケーラビリティのテクスチャー内層間予測の、色ビット深さスケーラビリティへの拡張のためのデコーダを示す図である。空間的スケーラビリティの残差層間予測の、色ビット深さスケーラビリティへの拡張のためのデコーダを示す図である。空間的スケーラビリティの残差層間予測の、色ビット深さスケーラビリティへの拡張の枠組みと論理的に等価な図である。

図１に示されるように、本ビデオ・エンコーダへの入力として二つのビデオが使用される：Nビットの原ビデオおよびMビットのビデオである（M＜Nで、通例M＝8）。Mビット・ビデオはNビットの原ビデオから分解されることもできるし、あるいは他の方法で与えられることもできる。スケーラブルなソリューションは、BLのピクチャを使うことによって二つの層の間の冗長性を減らすことができる。一方は８ビット・カラーで他方はNビット・カラー（N＞8）の二つのビデオ・ストリームがエンコーダに入力され、その出力はスケーラブルなビットストリームである。一つのNビット・カラー・データ・ストリームのみが入力されて、それからMビット（M＜N）のカラー・データ・ストリームがBLのために内部的に生成されることも可能である。Mビット・ビデオは、含まれているH.264/AVCエンコーダを使ってBLとしてエンコードされる。BLの情報は、ELの符号化効率を改善するために使用できる。これは、本稿では層間予測（inter-layer prediction）と呼ばれる。各ピクチャ――MBの集まり――は二つのアクセス単位をもつ。一方はBL用であり、他方はEL用である。符号化された両ビットストリームは多重化されたスケーラブルなビットストリームを形成する。BLエンコーダはたとえばH.264/AVCエンコーダを含み、再構成が、ELエンコードのために使われるNビット・カラー・ビデオを予測するために使われる。

図１に示されているように、スケーラブルなビットストリームは例示的にAVC準拠のBLビットストリームを含んでおり、AVC準拠のBLビットストリームはBLデコーダ（従来式のAVCデコーダ）によってデコードできる。次いで、エンコーダにおけるのと同じ予測がデコーダ側においてなされ（それぞれの指標（indication）の評価後）、予測されたNビット・ビデオが得られる。このNビットの予測されたビデオを用いて、ELデコーダは次いでNビット予測を使って高品質（High Quality）ディスプレイ（HQ）のための最終的なNビット・ビデオを生成する。

以下では、色ビット深さ（color bit depth）の用語が使われるとき、それはビット深さ、すなわち値当たりのビット数を意味する。これは通例、色強度（color intensity）に対応する。

ある実施形態では、本発明は、SVCの空間的、時間的および品質スケーラビリティの現行の構造に基づいており、向上された色ビット深さのためのビット深さスケーラビリティによって向上される。よって、この実施形態は、現行のSVC規格と完全に互換である。しかしながら、当業者にとっては、それを他の規格に適応させることは容易であろう。ビット深さスケーラビリティの鍵は、ビット深さ層間予測である。層間予測を使うことによって、Nビット・ビデオとMビット・ビデオの間の差がELとしてエンコードされる。陳述の便宜上、以下では次の記号を使うことにする：
BL_org：基本層のもとのMB
BL_res：基本層の残差MB
BL_rec：基本層の再構成されたMB
EL_org：向上層のもとのMB
EL_rec：向上層の再構成されたMB
EL'_res：向上層の残差MB
Pre_c{ }：色ビット深さ層間予測演算子
Pre_t{ }：テクスチャー（空間的）層間予測演算子
Pre_r{ }：残差（空間的）層間予測演算子。

本発明は、符号化効率を改善するために、ビット深さスケーラブル符号化の層間予測（inter-layer prediction）に用いられるLUTベースの逆トーン・マッピング（inverse tone mapping）技法を適用する。LUTは、再構成されたBLスライスと共位置の（collocated）もとのELスライスとの間の関係に基づいて、エンコーダ側で生成される。一般には、各ルミナンス／クロミナンス・チャネルY、CbおよびCrについて一つのLUTが生成される。実際上は、異なるチャネルが同じLUTを共有してもよい。その際、生成されたLUTはエンコーダにおける層間予測の際に、BLとELとの間の冗長性を相関除去する（de-correlate）ために使用される。LUTはビットストリーム中に挿入され、デコーダ側で回復できる。デコーダは層間予測において同じLUTを使い、それにより高品質でELを再構成できる。

本発明のある側面によれば、LUTベースの逆トーン・マッピング技法は、BLスライスがイントラ符号化されている（Iスライス）ときに使われるのみである。これは、たとえば現行のSVC規格で使われるようなイントラ符号化されたスライスの単一ループ・デコードに準拠し、やはり現行のSVC規格でサポートされている他の型のスケーラビリティとも互換であるという利点がある。

例示的には、SVC互換のMBレベルのビット深さスケーラブルな符号化ソリューションは、現行のSVC空間的スケーラビリティに基づく。以下では、この空間的スケーラビリティの、イントラ符号化およびインター符号化両方のためのビット深さスケーラビリティへの拡張の詳細な記述が与えられる。SVC互換なビット深さスケーラブルな符号化の第一のステップは、H.264/AVC FRExt拡張がELエンコードおよびデコードにおいて行うような高ビット符号化（現在のところ標本値あたり10ないし14ビット）をサポートすることである。

〈イントラ符号化〉
図２は、現行のSVC規格で使われるような空間的スケーラビリティのテクスチャー内層間予測（intra texture inter-layer prediction）の、ビット深さスケーラビリティへの拡張のためのエンコーダを示している。ビット深さアップサンプリング・ブロックBDUpがビット深さスケーラビリティへの拡張を表し、一方、他のブロックは現行のSVC規格における空間的スケーラビリティを表す。このブロックBDUpが従来式のSVCイントラ・エンコーダと本発明に基づくイントラ・エンコーダとの間の差である。図２では、Mビット基本層MBがBLエンコーダに入力され、Nビット向上層MBがELエンコーダに入力される（N＞M）。現行のSVC規格では、テクスチャ・アップサンプリングは空間的テクスチャー内層間予測のために設計されたものである。図２では、テクスチャ・アップサンプリングTUpへの入力は再構成されたBLマクロブロックBL_recであり、出力は、ELマクロブロックの空間的に（テクスチャー）予測されたバージョンPre_t{BL_rec}である。ビット深さスケーラビリティは、テクスチャ・アップサンプリングTUpの直後（この例では）のビット深さアップサンプリングBDUpのステップによって実現される。実際上は、まずテクスチャ・アップサンプリングを空間的層間予測として適用するのがしばしば有利であり、次いでビット深さアップサンプリングBDUpがビット深さ層間予測として行われる。テクスチャ・アップサンプリングTUpおよびビット深さアップサンプリングBDUpの両方を用いると、NビットELマクロブロックの予測されたバージョンPre_c{Pre_t{BL_rec}}が得られる。同様の残差は、両予測ステップを逆順にしても得られる。

もとのNビットELマクロブロックEL_orgとその予測されたバージョンPre_c{Pre_t{BL_rec}}との間の残差EL'_resが差演算子D_ELによって得られる。残差は本発明のある実施形態では、SVCにおけるようにさらに変換Tされ、量子化Qされ、エントロピー・エンコードEC_ELされ、ELサブ・ビットストリームを形成する。数学的表現では、色ビット深さイントラ・アップサンプリングの残差は
EL'_res＝EL_org−Pre_c{Pre_t{BL_rec}} (式1)
である。ここで、Pre_t{ }はテクスチャ・アップサンプリング演算子を表す。

エンコード・プロセスの種々の変形が可能であり、制御パラメータによって制御できる。EL残差が再構成されたEL情報に基づいて予測されるかアップサンプリングされたBL情報に基づいて（based）予測されるかを決める例示的なフラグbase_mode_flagが図２に示されている。

以下では、SVCビット深さスケーラビリティにおけるLUTベースの逆トーン・マッピングを可能にする技術的解決策の例示的な実施形態が提示される。詳しくは、表１の行４６〜７１に例示的に示されるように、スケーラブル拡張におけるスライス・ヘッダにいくつかの新しいシンタックス要素が加えられる。

表１スケーラブル拡張におけるスライス・ヘッダ内の例示的な実装。

以下の表現が使われる：
inv_tone_map_flagが1に等しいことは、Yチャネルのための層間予測において逆トーン・マッピングのプロセスが呼び出されるべきことを指定する。inv_tone_map_flagが0に等しいことは、Yチャネルのための層間予測において逆トーン・マッピングのプロセスが呼び出されないことを指定する（デフォルト）。

lookup_table_luma_inv_tone_map_flagが1に等しいことは、Yチャネルのための層間予測においてルックアップ・テーブルに基づく逆トーン・マッピングが用いられることを指定する。lookup_table_luma_inv_tone_map_flagが0に等しいことは、Yチャネルのための層間予測においてルックアップ・テーブルに基づく逆トーン・マッピングが用いられないことを指定する（デフォルト）。

level_lookup_table_luma_minus8に8を加えたものは、Yチャネルについてのルックアップ・テーブルのレベル数を指定する。

offset_val_lookup_table_luma[i]は、Yチャネルについてのルックアップ・テーブル中のレベルiがマッピングされる値を次のようにして指定する：
iが0に等しくなければ、Yチャネルについてのルックアップ・テーブル中のレベルiがマッピングされる値s[i]はs[i−1]にoffset_val_lookup_table_luma[i]を加えたものに等しく、ここで、s[i−1]はYチャネルについてのルックアップ・テーブル中のレベルi−1がマッピングされる値である。
iが0に等しければ、Yチャネルについてのルックアップ・テーブル中のレベルiがマッピングされる値s[i]はoffset_val_lookup_table_luma[i]に等しい。

lookup_table_chroma_inv_tone_map_flagが1に等しいことは、CbおよびCrチャネルのための層間予測においてルックアップ・テーブルに基づく逆トーン・マッピングが用いられることを指定する。lookup_table_luma_inv_tone_map_flagが0に等しいことは、CbまたはCrチャネルのための層間予測においてルックアップ・テーブルに基づく逆トーン・マッピングが用いられないことを指定する（デフォルト）。

lookup_table_chrom_inv_tone_map_override_flagが0に等しいことは、CbおよびCrチャネルについての層間予測においてYチャネルについてのルックアップ・テーブルが再使用されることを指定する（デフォルト）。lookup_table_chrom_inv_tone_map_override_flagが1に等しいことは、CbおよびCrチャネルについての層間予測においてYチャネルについてのルックアップ・テーブル以外の異なるルックアップ・テーブルが使用されることを指定する。

level_lookup_table_chroma_minus8に8を加えたものは、CbおよびCrチャネルについてのルックアップ・テーブルのレベル数を指定する。

offset_val_lookup_table_cb[i]は、Cbチャネルについてのルックアップ・テーブル中のレベルiがマッピングされる値を次のようにして指定する：
iが0に等しくなければ、Cbチャネルについてのルックアップ・テーブル中のレベルiがマッピングされる値s[i]はs[i−1]にoffset_val_lookup_table_cb[i]を加えたものに等しく、ここで、s[i−1]はCbチャネルについてのルックアップ・テーブル中のレベルi−1がマッピングされる値である。
iが0に等しければ、Cbチャネルについてのルックアップ・テーブル中のレベルiがマッピングされる値s[i]はoffset_val_lookup_table_cb[i]に等しい。

offset_val_lookup_table_cr[i]は、Crチャネルについてのルックアップ・テーブル中のレベルiがマッピングされる値を次のようにして指定する：
iが0に等しくなければ、Crチャネルについてのルックアップ・テーブル中のレベルiがマッピングされる値s[i]はs[i−1]にoffset_val_lookup_table_cr[i]を加えたものに等しく、ここで、s[i−1]はCrチャネルについてのルックアップ・テーブル中のレベルi−1がマッピングされる値である。
iが0に等しければ、Crチャネルについてのルックアップ・テーブル中のレベルiがマッピングされる値s[i]はoffset_val_lookup_table_cr[i]に等しい。

LUTはもとのELスライスおよびアップサンプリングされた再構成されたBLスライスに基づいて生成され、したがってデコーダにおいてアップサンプリングされた再構成されたBLスライスをELスライスにマッピングするために使用できる。これは、LUTが、デコーダ側で利用可能なスライス、すなわち（アップサンプリングされた）再構成されたBLスライスと、最高の利用可能な品質をもつELスライス、すなわちもとのELスライスとの間のマッピングを定義するという利点をもつ。こうして、本方法は、デコーダのニーズに対して最適に適応される。

エンコーダおよびデコーダにおいて、イントラ符号化されたBLは再構成され、層間予測がもとのELとアップサンプリングされた再構成されたBLとの間に適用される。イントラ符号化されたスライスについては、BLがIスライスであればLUTはBL/ELスライス対について個々に生成され、そのLUTがELスライスと一緒に送信される。ELスライスは、エンコーダにおいて、このLUTを使って再構成されたBLスライスから予測され、残差がイントラ符号化されて送信される。次いで、LUTはデコーダにおいて再構成されたBLスライス（Iスライス）に適用され、残差が加えられる。結果は、より高い色ビット深さをもつELスライス（Iスライス）である。PおよびBスライスについては、LUT以外の別の技法が使われるべきである。これは、もとのBLとELとの間で非線形変換がある可能性があるからである。再構成されたBLともとのELについてうまく機能するLUTが残差についてはうまく機能しないこともありうるのである。

LUTベースの逆トーン・マッピングをサポートするための追加されたシンタックス要素に関し、それらをslice_header_in_scalable_extension中に挿入することに二つの利点がある。

第一に、実際上、異なるスライスが異なるLUTをもつことができる。スライス・レベルで新しいシンタックス要素を追加することは、逆トーン・マッピングを用いることの柔軟性を許容する。たとえば、スライスのオブジェクト・ベースのセグメンテーションの場合、異なるスライスは異なる特性を負い（owe）、BLスライスと共位置のELスライスとの間の関係は、異なるスライスの間で全く異なることがありうる。したがって、異なるスライスについて異なるLUTを生成することは有益でありうる。

さらに、JSVMにおいてスライス・レベル・シンタックス要素がビットストリーム中に書かれるとき、再構成されたBLは利用可能であり、次いでLUTが生成できる。もしLUT情報がたとえばシーケンス・パラメータ・セット（SPS: Sequence Parameter Set）またはピクチャー・パラメータ・セット（PPS: Picture Parameter Set）中に書かれるとしたら、これはJSVMの著しい変更を要求するであろう。

〈インター符号化〉
インター符号化のためのビット深さスケーラビリティは、イントラ符号化についてとは異なる仕方で実装される。現行のSVC規格では、動きアップサンプリングおよび残差アップサンプリングは空間的なテクスチャー間（inter texture）層間予測のために設計されていた。

インター符号化されたスライス（PスライスおよびBスライス）について、層間予測は再構成されたBLスライスに基づくのではない。これは、SVCの空間的スケーラビリティへの準拠を可能にする。したがって、動き補償された予測は、空間的スケーラビリティにおいてなされるように、ELにおいて適用される。再構成されたBLともとのELとの間の残差は次いで変換され、量子化され、エントロピー符号化される。

PスライスおよびBスライスについては、図３および図５に示される技法が適用される。BL残差からEL残差を予測するために、Iスライスの一つと同じLUTを使うことも可能かもしれないが、もとのBLとELとの間にありうる非線形変換のため、結果は良好ではない。このように、再構成されたBLともとのELについてうまく機能するLUTが残差についてはうまく機能しないこともありうる。

図３は、インター符号化された（PおよびB）マクロブロックについての残差層間予測の拡張のためのエンコーダを示している。ビット深さスケーラビリティは、（空間的）残差アップサンプリングRUpの直後（この例では）のビット深さアップサンプリングBDUpのステップによって実現される。残差アップサンプリングRUpへの入力は再構成されたBL残差BL_res,rec,kであるが、これは（後述の式(3)に表されるような）送信されるべきBL残差BL_res,kの再構成されたバージョンである。実際上は、しばしばまず動きアップサンプリングMUpがなされ、次いで残差アップサンプリングRUpが一種の空間的層間予測としてなされる。最後に、ビット深さアップサンプリングBDUpがビット深さ層間予測としてなされる。動きアップサンプリングMUp、残差アップサンプリングRUpおよび色ビット深さアップサンプリングBDUpを用いて、NビットELマクロブロックの予測されたバージョンPre_c{Pre_r{BL_res,rec,k}}が得られる。結果として得られる向上層残差EL'_res,k（後述の式(3)で定義）はさらに、SVCにおけるように変換Tされ、量子化Qされ、エントロピー符号化されてELサブ・ビットストリームを形成する。

エンコード・プロセスのさまざまな変形が可能であり、制御パラメータによって制御できる。図３に示されるフラグは、動き補償がELから得られる動きベクトルに基づくかBLからアップサンプリングされるかを制御するbase_mode_flagおよびBL残差がEL残差を予測するために使われるかどうかを制御するresidual_pred_flagである。図２に示されるように、base_mode_flagはまた、テクスチャー内層間予測を制御するためにも使われる。

図４は、層間予測を利用する、イントラ符号化されたBL画像についての例示的なデコーダを示す。エンコードされたBLおよびEL情報をたとえば多重化されたパケット化ビットストリームにおいて受信し、EL情報からBLを分離したのちたのち、BL情報およびEL情報がエントロピー・デコードされる。次いで、逆量子化Q^-1および逆変換T^-1が適用される。BLについては、処理は従来式のSVCについてと同じである：画像が空間的イントラ予測を使って、すなわち同じ画像の以前に再構成された情報に基づいて再構成される。ブロック解除（deblocking）後、結果として得られるBL信号BL_recは、上記のように、８ビット色深さをもって標準的なSVCディスプレイ上に表示されることができる。しかしながら、代替的に、この信号は、共位置のEL画像の予測されたバージョンPre_c{Pre_t{BL_rec}}を生成するためにも使用できる。この目的のため、その信号はテクスチャ・アップサンプリングTUpされ、ここで、EL画像のテクスチャー予測されたバージョンPre_t{BL_rec}が得られる。これは次いで、抽出されたルックアップ・テーブルを使ってビット深さアップサンプリングBDUpされる。テクスチャーおよびビット深さアップサンプリングされた再構成されたBL画像Pre_c{Pre_t{BL_rec}}は次いで、改善された逆量子化および逆変換されたEL残差EL'_resを更新A_2,ELするために使われる。それにより得られる信号が、ブロック解除後に、HQディスプレイのためのELビデオEL_recとして出力できる。

もちろん、ELモードで動作させられているデコーダは内部的にはBLビデオBL_recをも生成する。EL予測にBLビデオが必要だからである。しかしながら、BLビデオは必ずしもデコーダ出力において利用可能である必要はない。ある実施形態では、デコーダは、BLビデオBL_recのために一つ、ELビデオEL_recのために一つで、二つの出力をもつ。一方、別の実施形態では、ELビデオEL_recについての出力のみをもつ。

図２のイントラ・エンコーダについて上記したように、デコーダもエンコードに対応して種々のモードで機能できる。したがって、各フラグがビットストリームから抽出されて評価される。たとえば、層間予測が使われるかどうかを決める指標base_mode_flagである。使われない場合、EL画像は、ブロック解除、空間的予測および空間的に予測された画像の更新A_1,ELを使って従来式に再構成される。

図５は、インター符号化された単位、たとえばインター符号化されたMBのための例示的なデコーダを示している。エントロピー符号化されていてもよく相応してデコードされるBLビットストリームから、ある実施形態では、動きデータが検出および抽出され、必要ならばELのためにアップサンプリングされることができる。これは、BLまたはELビットストリーム中に含められる指標によって指示されることができる。さらに、BLビットストリーム・データは逆量子化Q^-1および逆変換T^-1され、それにより、再構成されたBL残差BL_res,kが得られる。BLビデオ信号BL_decが必要とされるなら、さらなるBL処理は、ブロック解除、フレーム・メモリへの記憶、動き補償および残差BL_res,kによる動き補償された予測画像の更新を含む通常のSVCデコードを含む。ELビデオ信号のみが必要とされる場合には、これらのステップは省略できる。

残差BL_res,kはELデータを予測するために使われる：それは、一種の空間的アップサンプリングであり、すなわち値の数が増加される残差アップサンプリングRUpと、ビット深さ、よって各値の可能な範囲が増加されるビット深さアップサンプリングBDUpとによってアップサンプリングされ、予測された信号Pre_c{Pre_r{BL_res,k}}を生成する。共位置のEL単位が残差層間予測を使ってエンコードされていた場合、フラグresidual_pred_flagによって指示されるように、予測された残差Pre_c{Pre_r{BL_res,k}}が受信された逆量子化および逆変換されたEL残差EL'_res,kを更新A'₁するために使われる。それにより、実際のEL残差EL_res,kが得られる。受信された逆量子化および逆変換されたEL残差EL'_res,kは、原理的には、通常の空間的EL残差R_orgと、前の単位k−1からエンコーダにおいて再構成されアップサンプリングされた残差R_rec,k-1(αΔx,αΔy)との間の差と等価である。

さらなるEL処理は原理的にはSVCと同様である（ただし、向上されたビット深さを使う）：再構成された残差EL_res,kは、ブロック解除Deblk_EL、フレーム・メモリFMへの記憶および再構成された画像EL_rec,k-1の動き補償（motion compensation）MCのステップにより予測されたEL画像S_EL_rec,k-1＝EL_rec,k-1(αΔx,αΔy)を更新するために使われる。受信された向上層データEL_encが動き情報（motion information）EL_MIを含んでいる場合、動き情報は抽出され、動き補償ユニットMCに与えられることができる。代替的に、BLからのアップサンプリングMUpされた動き情報が使用されることもできる。

明らかに、本発明に基づく改善されたEL残差はSVC空間的スケーラビリティにおいて定義されるものとは異なっている。しかしながら、そのエンコードは、原理的には、図６に示されるように、もとのELマクロブロックEL_org,kとテクスチャー（空間的）およびビット深さアップサンプリングされたBLマクロブロックPre_c{Pre_r{BL_org,k}}との間の差のインター・エンコードと等価である。

空間的スケーラビリティのビット深さスケーラビリティへの提示された拡張の一つの利点は、色ビット深さスケーラビリティへの拡張を実現するために新しい予測モードが必要とされないということである。

特にインター符号化についてのもう一つの利点は、最終的にエンコードされるEL残差が「残差の残差」であり、したがって、(式3)で定義されるような層間残差のインター・エンコードと等価であるので、高い符号化効率が得られるということである。実際上、インター符号化における最終的な符号化されたEL残差は、もとのELマクロブロックから、動き（アップサンプリングされた動き）補償された再構成された参照ELマクロブロックを引いて、次いで共位置のBL再構成された残差の動き補償された残差アップサンプリングされ次いでビット深さアップサンプリングされたバージョンを引いたものと等価である。

あるさらなる利点は、インター符号化の場合については、BLマクロブロックを再構成する必要がないということである。こうして、BL再構成はスキップでき、これはデコーダをより簡単にする。

有利には、色ビット深さスケーラビリティのイントラ符号化が、提示されるイントラ色ビット深さ層間予測によって実現される。このイントラ色ビット深さ層間予測は、ある実施形態ではテクスチャー内層間予測の直後に続く。

本発明のさらなる利点は、他の型のスケーラビリティとの完全な互換性、堅牢性および先んだ技術への拡張可能性である。具体的には、本発明は、LUTベースの逆トーン・マッピングを基本層Iスライスのみに適用する単一ループ・デコードの枠組みを保持したまま符号化効率を改善する。

また、インター符号化されたスライスのアップサンプリングのために再構成されたスライスが使われることも利点である。というのも、デコーダにおいては再構成されたBLのみならずもとのBLが利用可能だからである。したがって、エンコーダ側での予測はデコーダ側での予測によりよく適応され、それにより残差がよりよくなり、デコーダ側においてよりよい予測および再構成結果が達成できる。

本発明は、スケーラブルなエンコーダ、スケーラブルなデコーダおよびスケーラブルな信号のために、特に種々の品質の層および高い層間冗長性をもつビデオ信号または他の型の信号のために使用できる。

本発明が純粋に例として記載されてきたのであり、本発明の範囲から外れることなく細部の修正がなしうることは理解されるであろう。本記載ならびに（適切な場合には）請求項および図面において開示されている各特徴は、独立して、あるいは任意の適切な組み合わせにおいて設けられてよい。諸特徴は（適切な場合には）ハードウェア、ソフトウェアまたは両者の組み合わせにおいて実装されうる。請求項に参照符号が現れたとしてもあくまでも例示のためであり、特許請求の範囲に対して何ら限定する効果をもつものではない。

Claims

基本層および向上層をもつビデオ・データをエンコードする方法であって、基本層は向上層に比べより低いビット深さ解像度およびより低い空間的、時間的および／またはSNR解像度をもち、当該方法は、
・基本層データをスライス・レベルでエンコードする段階であって、ここで、第一の諸基本層スライスはイントラ符号化され、第二の諸基本層スライスはインター符号化される、段階と；
・エンコードされた基本層スライスを再構成する段階であって、第一のイントラ符号化された基本層スライスから、再構成された第一の基本層スライスが得られ、第二のインター符号化された基本層スライスから、再構成された第二の基本層スライスが得られる、段階と；
・前記再構成された第一および第二の基本層スライスをアップサンプリングする段階であって、対応する向上層スライスの第一の予測されたバージョンであって基本層スライスより高い空間的、時間的またはSNR解像度をもつものが得られ、前記アップサンプリングは、第二の再構成された基本層スライスの場合には、再構成された基本層残差データのアップサンプリングを含む、段階と；
・第一のイントラ符号化された基本層スライスについて、アップサンプリングされた再構成された第一の基本層スライスと対応するもとの向上層スライスとの間の個別のマッピングを定義するトーン・マッピング・テーブル（LUT）を生成する段階であって、両方のスライスが互いに比較され、第二のインター符号化された基本層スライスについてはトーン・マッピング・テーブルは生成されず、イントラ符号化された各スライス対については個別のトーン・マッピング・テーブルが生成されエンコードされ、インター符号化されたスライス対についてはトーン・マッピング・テーブルは生成されない、段階と；
・向上層スライスの前記第一の予測されたバージョンをビット深さアップサンプリングする段階であって、向上層スライスの前記第一の予測されたバージョンが第一のイントラ符号化された基本層スライスから得られる場合には前記ビット深さアップサンプリングは前記トーン・マッピング・テーブルに基づき、向上層スライスの前記第一の予測されたバージョンが第二のインター符号化された基本層スライスから得られる場合には前記ビット深さアップサンプリングは前記トーン・マッピング・テーブルに基づかず、対応する向上層スライスの第二の予測されたバージョンであって向上層スライスの前記第一の予測されたバージョンより高いビット深さ解像度をもつものが得られる、段階と；
・もとの向上層スライスと向上層スライスの対応する前記第二の予測されたバージョンとの間の差である向上層残差を生成する段階と；
・前記向上層残差を向上層スライス中にエンコードする段階であって、前記向上層スライスはそのスライス・ヘッダにその対応するトーン・マッピング・テーブルを含む、段階とを含む、
方法。
イントラ符号化されたスライスについて、ルミナンス・チャネルとクロミナンス・チャネルについて別個のトーン・マッピング・テーブルが生成される、請求項１に記載の方法。
基本層および向上層をもち、スライス・レベルでエンコードされているビデオ・データをデコードする方法であって、
・向上層情報および基本層情報を受領する段階と；
・前記向上層情報から、イントラ符号化された向上層スライスのスライス・ヘッダからのトーン・マッピング・データを抽出する段階と；
・受領された情報に対して逆量子化および逆変換を実行する段階であって、逆量子化および逆変換された向上層情報は残差情報を含む、段階と；
・受領されたインター符号化された向上層情報から、動き情報を抽出する段階と；
・第一の、イントラ符号化された基本層スライスおよび第二の、インター符号化された基本層スライスを再構成する段階と；
・前記第二の、インター符号化された基本層スライスから、前記向上層動き情報を使って、向上層ビデオを再構成する段階と；
・前記第一のイントラ符号化された基本層スライスおよび前記第二のインター符号化された基本層スライスを含む基本層情報をアップサンプリングする段階であって、ピクセル数が増加され、増加したピクセル数についてピクセル毎のビット深さが増加され、ここで、抽出されたトーン・マッピング・データはイントラ符号化されたスライスについては使用されるが、インター符号化されたスライスについては使用されず、予測された向上層情報が得られる、段階と；
・予測された向上層情報ならびに逆量子化および逆変換された向上層情報から、再構成された向上層ビデオ情報を再構成する段階とを含む、
方法。
前記トーン・マッピング・データが、前記向上層の各スライス・ヘッダからのみ抽出される、請求項３に記載の方法。
基本層および向上層をもつビデオ・データをエンコードする装置であって、前記基本層は前記向上層に比べより低いビット深さ解像度およびより低い空間的、時間的および／またはSNR解像度をもち、当該装置は、
・基本層データをスライス・レベルでエンコードする手段であって、第一の諸基本層スライスはイントラ符号化され、第二の諸基本層スライスはインター符号化される、手段と；
・エンコードされた基本層スライスを再構成する手段であって、第一のイントラ符号化された基本層スライスから、再構成された第一の基本層スライスが得られ、第二のインター符号化された基本層スライスから、再構成された第二の基本層スライスが得られる、手段と；
・前記再構成された第一および第二の基本層スライスをアップサンプリングする手段であって、対応する向上層スライスの第一の予測されたバージョンであって基本層スライスより高い空間的、時間的またはSNR解像度をもつものが得られ、前記アップサンプリングは、第二の再構成された基本層スライスの場合には、再構成された基本層残差データのアップサンプリングを含む、手段と；
・第一のイントラ符号化された基本層スライスについて、アップサンプリングされた再構成された第一の基本層スライスと対応するもとの向上層スライスとの間の個別のマッピングを定義するトーン・マッピング・テーブルを生成する手段であって、両方のスライスが互いに比較され、第二のインター符号化された基本層スライスについてはトーン・マッピング・テーブルは生成されず、イントラ符号化された各スライス対については個別のトーン・マッピング・テーブルが生成されエンコードされ、インター符号化されたスライス対についてはトーン・マッピング・テーブルは生成されない、手段と；
・向上層スライスの第一の予測されたバージョンをビット深さアップサンプリングする手段であって、向上層スライスの前記第一の予測されたバージョンが第一のイントラ符号化された基本層スライスから得られる場合には前記ビット深さアップサンプリングは前記トーン・マッピング・テーブルに基づき、向上層スライスの前記第一の予測されたバージョンが第二のインター符号化された基本層スライスから得られる場合には前記ビット深さアップサンプリングは前記トーン・マッピング・テーブルに基づかず、対応する向上層スライスの第二の予測されたバージョンであって向上層スライスの前記第一の予測されたバージョンより高いビット深さ解像度をもつものが得られる、手段と；
・もとの向上層スライスと向上層スライスの対応する前記第二の予測されたバージョンとの間の差である向上層残差を生成する手段と；
・前記向上層残差を向上層スライス中にエンコードする手段であって、前記向上層スライスはそのスライス・ヘッダにその対応するトーン・マッピング・テーブルを含む、手段とを備える、
装置。
基本層および向上層をもち、スライス・レベルでエンコードされているビデオ・データをデコードする装置であって、
・向上層情報を受領する手段および基本層情報を受領する手段と；
・前記向上層情報から、イントラ符号化された向上層スライスのスライス・ヘッダからのトーン・マッピング・データを抽出する手段と；
・受領された情報に対して逆量子化および逆変換を実行する手段であって、逆量子化および逆変換された向上層情報は残差情報を含む、手段と；
・受領されたインター符号化された向上層情報から、動き情報を抽出する手段と；
・第一の、イントラ符号化された基本層スライスおよび第二の、インター符号化された基本層スライスを再構成する手段と；
・前記第二の、インター符号化された基本層スライスから、前記向上層動き情報を使って、向上層ビデオを再構成する手段と；
・前記第一のイントラ符号化された基本層スライスおよび前記第二のインター符号化された基本層スライスを含む基本層情報をアップサンプリングする手段であって、ピクセル数が増加され、増加したピクセル数についてピクセル毎のビット深さが増加され、ここで、抽出されたトーン・マッピング・データがイントラ符号化されたスライスについては使用されるが、インター符号化されたスライスについては使用されず、予測された向上層情報が得られる、手段と；
・予測された向上層情報ならびに逆量子化および逆変換された向上層情報から、再構成された向上層ビデオ情報を再構成する手段とを備える、
装置。
前記トーン・マッピング・テーブルを記憶するルックアップ・テーブル手段をさらに有する、請求項５または６に記載の装置。