JP5188356B2 - 復号器において画像を逆トーンマッピングする方法 - Google Patents

Description

本発明は、包括的には画像の符号化及び復号に関し、より詳細には、スケーラブルビット深度を有する画像シーケンスの符号化及び復号に関する。

コンピュータグラフィクスでは、トーンマッピングが画像のダイナミックレンジを変更する。たとえば、トーンマッピングは、ハイダイナミックレンジ（ＨＤＲ）画像を、ローダイナミックレンジ（ＬＤＲ）画像に変更することができ、その逆も可能である。画像において、ダイナミックレンジは、ピクセル強度値を記憶するために割り当てられるビット数（ビット深度）によって求められる。トーンマッピングは、画像の外観を損なわないようにしながら、コントラストがシーンの輝度値からレンダリング可能な範囲に大きく低減されるのを回避しようと試みる。

ＭＰＥＧシリーズ及びＩＴＵシリーズのビデオ符号化標準規格のような従来のビデオ符号化方式は、たとえば８ビット／ピクセル（ｂｐｐ）の固定ビット深度を有するビデオの圧縮によく適している。ＶＨＳ及びＤＶＤで利用可能な消費者のビデオ、及びデジタルテレビ放送は、通常、８ｂｐｐであり、ローダイナミックレンジ（ＬＤＲ）を有するものとみなされる。たとえば、１０ｂｐｐ〜２４ｂｐｐのより高いビット深度を有するビデオは、通常、プロフェッショナル用途に使用され、ハイダイナミックレンジ（ＨＤＲ）を有する。

図１は、動き推定器１１０を有する従来の符号化器１００を示す。符号化器に対する入力は、固定ビット深度の画像シーケンス又はビデオ１０１である。ビデオ内のフレーム（画像）は、たとえば８×８ピクセル又は１６×１６ピクセルのブロックに分割される。ブロックは、１度に１つずつ処理される。動き推定器１１０が、符号化される現在のブロックに対して、フレームメモリ１１に記憶されている基準フレームの最良にマッチングするブロックを確定する。この最良にマッチングするブロックは、現在のブロックに対する予測フレームとしての役割を果たす。対応する動きベクトル１１２がエントロピー符号化される（１５０）。入力ビデオの現在のブロックと予測ブロック１２１との間の差分信号１２２が求められ（１２０）、当該差分信号は、動き補償予測器１３０によって生成される。次いで、差分信号は、変換／量子化プロセス１４０を経て、１組の量子化変換係数（テクスチャ）１４１をもたらす。これらの係数は、エントロピー符号化されて（１５０）、圧縮された出力ビットストリーム１０９をもたらす。量子化変換係数１４１に逆変換／量子化１６０を実行すると共に、その結果を動き補償予測１２１に加算する（１７０）ことによって、再構成基準フレーム１６１が生成され、当該フレームは、フレームメモリ１１１に記憶されて、入力ビデオ１０１の連続するフレームの予測１３０に使用される。出力符号化ビットストリーム１０９が、動きベクトル１１２及びテクスチャ（ＤＣ係数）１４１のエントロピー符号化１５０に基づいて生成される。

図２は、従来の復号器２００を示す。入力符号化ビットストリーム２０１がエントロピー復号器２１０にかけられ、当該エントロピー復号器２１０によって、量子化変換係数２１１及び対応する動きベクトル２１２の両方がもたらされる。動きベクトルは、動き補償予測器２２０によって使用され、予測信号２２１がもたらされる。量子化変換係数２１１は、逆変換／量子化されて（２３０）、予測信号２２１に加算され（２４０）、再構成された固定（単一）ビット深度ビデオ２０９がもたらされる。連続するフレームの復号に使用される再構成されたビデオのフレームは、フレームメモリ２５０に記憶される。符号化器と復号器との組合せは、コーデックとして既知である。

上記方式は、入力画像が固定ビット深度を有する場合に優れた圧縮効率を達成する。現在、ほとんどの消費者向けディスプレイは、８ｂｐｐのＬＤＲのビデオしかレンダリングすることができない。したがって、従来の符号化方式を直接適用することができる。

より高いビット深度でビデオを観賞するためには、ＨＤＲ表示装置が必要である。表示技術の進歩により、消費者は、近い将来、ＨＤＲビデオの利益を得ることが可能になろうとしている。ＬＤＲ表示装置及びＨＤＲ表示装置の両方を効率的にサポートするためには、ＬＤＲビデオとＨＤＲビデオとの両方又はいずれかの再構成を可能にする、ビデオのスケーラブル表現が必要とされる。

１つの方法は、入力ＨＤＲビデオ及びＬＤＲバージョンを２つの別個の経路で、すなわち、それぞれ固定ビット深度ＨＤＲ符号化器及び固定ビット深度ＬＤＲ符号化器を使用して圧縮することによってスケーラブル表現を達成する。これは、サイマルキャスト符号化と呼ばれる。しかしながら、その方法の圧縮効率は、ＨＤＲバージョン及びＬＤＲバージョンの冗長性に起因して非常に低い。また、計算複雑度が非常に高い。１つのビット深度スケーラブルビデオ圧縮方式が、Winken他によって、「SVC bit-depth scalability」（Joint Video Team of ISO/IEC MPEG & ITU-T VCEG, Doc. JVT-V078, 22^nd Meeting, January 2007）に記載されている。

図３は、ビット深度スケーラブル符号化器３００を示す。入力ＨＤＲビデオ３０１が、トーンマッピング３１０を使用してＬＤＲビデオ１０１にダウンコンバートされる。次いで、ＬＤＲビデオ１０１が圧縮されて基本レイヤ１０９が生成される。基本レイヤからの現在の再構成フレーム１１５のそれぞれが、逆トーンマッピング３２０を使用して入力ビデオ３０１のビット深度にアップコンバートされ、逆トーンマッピングフレーム３２１が生成される。逆トーンマッピングされたフレーム３２１と入力ＨＤＲフレーム３０１との間の差分が求められ（３２９）、次いで、この差分信号が変換／量子化プロセス３３０を経て１組の量子化変換係数３３１をもたらす。これらの係数は、エントロピー符号化されて（３４０）、上位レイヤ３４１がもたらされる。上位レイヤビットストリーム３４１は、基本レイヤビットストリーム１０９と多重化されて（３５０）、出力ビット深度スケーラブルビットストリーム３０９が生成される。

図４は、対応する復号器４００を示す。入力符号化ビットストリーム４０１が、基本レイヤ２０１と上位レイヤ４０２とに逆多重化される（４１０）。基本レイヤは、上述のように復号される。上位レイヤも、エントロピー符号化（２１０）及び逆変換／量子化されて出力４３１を生成する。この場合、フレームメモリ２５０の出力が逆トーンマッピングされ（４２０）、このマッピングの出力が出力４３１に加算されて、入力ビデオ１０１の再構成４０９が生成される。

従来技術のビット深度スケーラブルビデオコーデックでは、トーンマッピング３２０のための３つの方法が既知である。これらの方法は、線形スケーリング、線形補間、及びルックアップテーブルマッピングを含む。これらの方法のすべてが、ビデオ全体内のフレームのすべてに同じ逆トーンマッピングを適用するが、これは、ＬＤＲビデオが局所的な、すなわち、領域ベースのトーンマッピング３１０方法によってＨＤＲビデオから生成される場合にはうまく機能しない。

実際には、局所的トーンマッピング方法は、関心領域（ＲＯＩ）を有する多くの用途において使用されている。さらに、線形スケーリング方法及び線形補間方法は、比較的粗く、大域的にトーンマッピングされたＬＤＲビデオにさえ、劣った逆トーンマッピング品質をもたらす。ルックアップテーブルマッピングは、より良好な逆トーンマッピング結果を達成するが、ビデオシーケンス全体を試験することによってピクセル強度値のマッピングを構築するために、初期トレーニングを必要とする。このプロセスは、非常に複雑であり、結果として、復号及び表示の前に著しい初期遅延が生じるため、多くのリアルタイムの用途には適切ではない。また、この方法は、多くのＲＯＩ用途でうまく機能しない。

別の逆トーンマッピング方法が、Segall及びSuによって、「System for bit-depth scalable coding」（Joint Video Team of ISO/IEC MPEG & ITU-T VCEG, Doc. JVT-W113, April 2007）に記載されている。この方法では、２つのスケール係数が使用され、一方が輝度成分に使用され、もう一方が色度成分に使用される。これらのスケール係数は、逆トーンマッピングを実施するために各ブロックに割り当てられる。したがって、この方法は、ＲＯＩ用途により適している。主要な欠点として、これらのスケール係数は、集合｛０．５，１，１．５，２，２．５，３，３．５，４，４．５｝として予め定められており、このスケール係数の集合は、特定のビット深度における入力ビデオには適している。したがって、この方法は、さまざまなビット深度を有するＨＤＲビデオを圧縮する柔軟性を失う。別の欠点は、同一のスケール係数がすべての色度成分に使用されることである。これによって、逆トーンマッピング品質が劣化し得る。

明らかに、ビット深度スケーラブルビデオ圧縮方式に適合すると共に、従来技術の欠点を克服する逆トーンマッピングを有することが望ましい。具体的には、高い品質をもたらし、広範なトーンマッピング技法に適合すると共に、多大な符号化オーバヘッドを受けない逆トーンマッピング技法が必要とされている。

方法及びシステムは、復号器において画像の逆トーンマッピングを実施する。画像の各カラーチャネルの各ブロックに対して、以下のステップが実施される。

現在の画像のブロックのスケール係数が、現在のブロックの予測スケール係数を、当該予測スケール係数と隣接するブロックのスケール係数との間の差に加算することによって求められる。

現在のブロックのオフセット値が、現在のブロックの予測オフセットを、当該予測オフセット値と隣接するブロックのオフセット値との間の差に加算することによって求められる。

これらのスケール係数及びオフセット値を現在のブロックのピクセル強度値に適用して、マッピングされたブロックを生成し、ここで、当該マッピングされたブロックのビット深度は、現在のブロックのビット深度よりも高い。

本発明は、トーンマッピングを使用して画像及びビデオのビット深度表現間で変換するシステム及び方法を提供する。ビット深度変換は、ローからハイ（ＬＤＲ→ＨＤＲ）、又はハイからロー（ＨＤＲ→ＬＤＲ）のいずれかとすることができる。画像及びビデオは、共に、１チャネルモノクロ、及び多チャネルカラーとすることができる。ブロックの寸法は、可変とすることができる。本方法は、以下のパラメータ、すなわち、スケール係数、オフセット値及び予測方向を使用する。これらのパラメータは、各カラーチャネルにおける各ブロックに対して求められる。最適なスケール係数を求めるプロセスも説明する。スケール係数の集合を固定又は限定する従来の方法とは対照的に、本発明のスケール係数は、カスタマイズすることができると共に、スケール係数の範囲を、画像内のより大きなダイナミックレンジに適応する程度に、適応的且つ動的に増大させることができる。対応するオフセット値及び予測方向がスケール係数から求められる。

スケール係数及びオフセット値を符号化ビットストリームに効率的に符号化するために、隣接するブロック間に存在する相関を考慮して、各ブロックは、カラーチャネルごとに１つの予測方向と関連付けられる。現在のブロックのスケール係数及びオフセット値が、（予測される）隣接するブロックのスケール係数及びオフセット値から予測される。

本発明の実施の形態を、アップコンバート、すなわち、ＬＤＲビデオからＨＤＲビデオへの変換に関して説明する。本発明は、ＨＤＲビデオからＬＤＲビデオへのダウンコンバートにも使用することができ、この場合、以下の説明において、用語ＬＤＲとＨＤＲとを逆にされたい。

符号化器における逆トーンマッピング
図５は、本発明の１つの実施の形態による逆トーンマッピングプロセスを示す。逆トーンマッピングを、図３の機能ステップ３２０に置き換えることができる。このトーンマッピングは、変換される各画像の各ブロック及び各カラーチャネルのピクセル強度値５０１に適用される。

本方法に対する入力は、特定のブロックのピクセル強度値５０１である。最初に、候補スケール係数の集合の中から最適なスケール係数５１１が求められる（７００）。アップコンバートに関しては、スケール係数は、通常、１以上であり、ダウンコンバートに関しては、スケール係数は、１以下である。しかしながら、変換もスケール係数を考慮するため、所望の変換が達成可能である限り、上記スケール係数範囲に厳密に固執する必要はない。

最適なスケール係数を求めるプロセス７００を以下で説明する。オフセット値５２１は、最適なスケール係数５１１を使用してアップスケーリングされたＬＤＲピクセル強度値と、現在のブロックのピクセル強度値５０１との間の差の平均として求められる（５２０）。

本発明の１つの実施の形態では、スケール係数の予測方向は、オフセット値の予測方向に従う。現在のオフセット値５２１が、隣接するブロックの基準（ＬＥＦＴ（左）又はＡＢＯＶＥ（上））オフセット値５２２と比較される。ＬＥＦＴ（ブロック）オフセット値が現在のオフセット値５２１により近い場合、予測方向５３１は、ＬＥＦＴとしてセットされ、そうでない場合、予測方向は、ＡＢＯＶＥとしてセットされる。

本発明の別の実施の形態では、オフセット値の予測方向がスケール係数の予測方向に従う。現在のスケール係数が隣接する基準（ＬＥＦＴ又はＡＢＯＶＥ）スケール係数と比較される。ＬＥＦＴスケール係数が現在のスケール係数により近い場合、予測方向５３１は、ＬＥＦＴとしてセットされ、そうでない場合、予測方向は、ＡＢＯＶＥとしてセットされる。

予測方向は、隣接するブロック間のスケール係数及びオフセット値の両方の差の関数に基づくこともできる。たとえば、スケーリングとオフセットとの差の重み関数を使用することができる。

予測方向５３１に基づいて、予測スケール係数５１２がＬＥＦＴ又はＡＢＯＶＥのいずれかのスケール係数としてセットされ、予測オフセット値５２２がＬＥＦＴ又はＡＢＯＶＥのいずれかのオフセット値としてセットされる。現在のスケール係数５１１と予測スケール係数５１２とのスケール係数の差５４１が求められる（５４０）。現在のオフセット値５２１と予測オフセット値５２２とのオフセット値の差５５１が求められる（５５０）。

予測方向５３１、スケール係数の差５４１、及びオフセット差５５１は、エントロピー符号化され（３４０）（図３参照）、結果として生じる符号化ビットが出力ビットストリーム３０９に加えられる（３５０）。

ピクセルごとに、スケール係数５１１とＬＤＲピクセル強度値を乗算し、オフセット値５２１を加算することによって、層間予測値３２１が求められる。

各ブロックに関連するオーバヘッドを低減するために、予測方向を復号器内に存在する情報から導出することもできる。たとえば、予測方向を、現在のブロック及び空間的に隣接するブロックの再構成されたＤＣ係数に従って求めることができる。現在のブロックのＤＣ係数が、隣接するブロックの基準（ＬＥＦＴ又はＡＢＯＶＥ）ＤＣ係数と比較される。ＬＥＦＴ ＤＣ係数が現在のＤＣ係数により近い場合、予測方向５３１は、ＬＥＦＴとしてセットされ、そうでない場合、予測方向５３１は、ＡＢＯＶＥとしてセットされる。予測方向がこのように間接的に求められる場合、出力ビットストリームに明示的に符号化する必要はない。

復号器における逆トーンマッピング
図６は、本発明の１つの実施の形態による逆トーンマッピングを示し、当該逆トーンマッピングは、各カラーチャネルの各ブロックに、且つビット深度スケーラブル復号器４００の範囲内で適用される。トーンマッピングは、図４の機能ステップ４２０に置き換えることができる。上述したように、マッピングは、アップコンバート又はダウンコンバートのいずれのものとすることもできる。

本発明の１つの実施の形態では、各色成分の現在のブロックの予測方向６１１、スケール係数の差６２１、及びオフセット値の差６３１が、それぞれステップ６１０、６２０及び６３０によって、入力ビット深度スケーラブル符号化ビットストリーム６０１からエントロピー復号される。

本発明の別の実施の形態では、予測方向６１１は、空間的に隣接するブロックのＤＣ係数から導出される。たとえば、ＬＥＦＴ ＤＣ係数が現在のＤＣ係数により近い場合、予測方向６１１は、ＬＥＦＴとしてセットされ、そうでない場合、予測方向６１１は、ＡＢＯＶＥとしてセットされる。

予測方向６１１に従って、予測スケール係数６４１及び予測オフセット値６５１がＬＥＦＴ隣接ブロック又はＡＢＯＶＥ隣接ブロックのいずれかから取得される。現在のブロックのスケール係数６４５が、スケール係数の差６２１を予測スケール係数６４１に加算することによって再構成される（６４０）。現在のブロックのオフセット値６５５が、オフセット値の差６３１を予測オフセット値６５１に加算することによって再構成される（６５０）。

層間剰余６８１がエントロピー復号される（６８０）。

ビット深度変換６７０は、各ピクセル強度値とスケール係数６４５とを乗算し、オフセット値６５５と層間剰余６８１とを加算して、トーンマッピングされたＨＤＲブロック６０９をもたらす。

最適なスケール係数の確定
図７は、本発明の１つの実施の形態による、各カラーチャネルの各ブロックに最適なスケール係数を求めるプロセス７００を示す。プロセスのステップは、候補スケール係数の集合の各候補スケール係数に対して繰り返される。ピクセル強度値７０１が候補スケール係数７０２と乗算され（７１０）、スケーリングされたピクセル強度値７１１がもたらされる。スケーリングされたピクセル強度値７１１と入力ピクセル強度値７１２との間の差７２１がピクセルごとに求められる（７２０）。現在のブロック内のすべてのピクセル強度値の差分絶対値和（sum of absolute difference：ＳＡＤ）７３１が求められる（７３０）。すべてのスケール係数候補によって生成されたＳＡＤ７３１が比較され（７４０）、最小ＳＡＤに関連するスケール係数が、そのブロックに最適なスケール係数として選択される。

上記のプロセスにおいてＳＡＤの判断基準を使用する代わりに、平均二乗誤差（ＭＳＥ）、又は変換差分絶対値和（sum of absolute transformed difference：ＳＡＴＤ）のような代替的な測定値を使用することもできる。

別の実施の形態は、最小二乗（ＬＳ）フィッティングを使用する。このようにすると、候補スケール係数の数が多い場合に、スケール係数ごとの繰り返しを回避して計算複雑度を低減することができる。

異なるサイズの可変ブロック
これまで、固定ブロックサイズの逆トーンマッピングを説明してきた。ここで、適応的なブロックサイズに適用される逆トーンマッピングを説明する。すなわち、ブロックは、異なるサイズを有し、逆トーンマッピングは、それに従って適用される。

画像又はビデオフレームにおいて、さまざまな領域が、異なる照明条件下で取得され得る。したがって、より高いビット深度を有するＨＤＲ（よりビット深度の高い）画像をより低いビット深度を有するＬＤＲ画像に変換するときに、異なるトーンマップをこれらの領域に利用することができる。おそらく、これらの領域は、異なるサイズの画像内に分散している。したがって、本発明の逆トーンマッピングを、さまざまな領域に概ね一致する異なるサイズのブロックに適合させる。

逆トーンマッピング、すなわち、ＬＤＲ画像からＨＤＲ画像への層間予測は、より高い符号化効率を達成するために、使用される順方向トーンマップに従って調節可能であるべきである。すなわち、上述した固定ブロックサイズ逆トーンマッピングを、逆トーンマッピングパラメータ、すなわち、スケール係数、オフセット、及び予測モードを含むように拡張すべきであり、これらのパラメータは、異なるサイズを有するさまざまな領域に適応すべきである。

最も正確な層間予測は、各ピクセルが１組のマッピングパラメータ、すなわち、スケール係数、オフセット、及び予測モードを割り当てられるものであろう。しかしながら、これらのマッピングパラメータには過剰なオーバヘッドビットレートが必要とされるため、この結果として、符号化効率は、非常に劣ったものになってしまう。同様に、小さなブロックに関しても、これらのマッピングパラメータは、オーバヘッドを増大させる。より大きなブロックサイズを使用することによって、オーバヘッドを低減することができるが、予測が不正確になる結果として剰余が大きくなり、したがって、ビットレートがより高くなり得る。

したがって、さまざまな領域に適応的なブロックサイズを使用する、すなわち、均一にトーンマッピングされた領域には、より大きなブロックサイズを使用し、不均一にトーンマッピングされた領域には、より小さなブロックサイズを使用することによって、より良好な符号化効率を達成することができる。

適切なブロックサイズを求める多くの方法が存在する。例として、２つの効率的な方法を説明するが、他の方法もこの構想に使用することができる。

レート−歪みコスト（Rate-Distortion Cost：ＲＤＣ）によるブロックサイズ
一般的に、また図８に示すように、最大ブロックサイズは、Ｍ×Ｎピクセル８０１であり、たとえば、Ｍ＝Ｎ＝１６の場合、これは、マクロブロックである。このＭ×Ｎブロックに最適なスケール係数及びオフセットを、上記の節で説明したように、たとえば、図７において説明及び図示したように取得することができる。

レート−歪みコスト（ＲＤＣ）がＤ＋λＲとして測定される。ここで、歪みＤは、ＭＳＥにおいて通常通り測定される。レートＲは、スケール係数及びオフセットの符号化のオーバヘッドビットを含む、特定のブロックを符号化するのに使用されるビットの総数である。λは、ラグランジュ乗数である。次いで、Ｍ×Ｎブロックが４つのより小さなサブブロック８０２に分割され（８１０）、そのそれぞれのサイズは（Ｍ／２）×（Ｎ／２）である。これらの４つのより小さなブロックに最適なスケール係数及びオフセットが同様に取得される。

各サブブロックのＲＤＣが独立して求められ、４つのブロックすべてのＲＤＣが合計される。ＲＤＣ（Ｍ，Ｎ）として示されるＭ×Ｎブロック全体のＲＤＣと、ＲＤＣ（Ｍ／２，Ｎ／２）として示される、４つの（Ｍ／２）×（Ｎ／２）サブブロックの合計されたＲＤＣが比較される。

ＲＤＣ（Ｍ，Ｎ）≦ＲＤＣ（Ｍ／２，Ｎ／２）である場合、ブロックサイズＭ×Ｎが維持される。そうでない場合、各（Ｍ／２）×（Ｎ／２）サブブロックを、４つの（Ｍ／４）×（Ｎ／４）のより小さなサブブロックに引き続き分割する。したがって、この時点で各Ｍ×Ｎブロックは、１６の（Ｍ／４）×（Ｎ／４）サブブロックを含む。次いで、上述のように各（Ｍ／４）×（Ｎ／４）サブブロックのＲＤＣを計算して合計する、すなわち、ＲＤＣ（Ｍ／４，Ｎ／４）を求める。ＲＤＣ（Ｍ／２，Ｎ／２）≦ＲＤＣ（Ｍ／４，Ｎ／４）である場合、ブロックサイズは（Ｍ／２）×（Ｎ／２）である。そうでない場合、ＲＤＣ（Ｍ／２^ｋ，Ｎ／２^ｋ）≦ＲＤＣ（Ｍ／２^ｋ＋１，Ｎ／２^ｋ＋１）となるまで、ブロックサイズを垂直寸法及び水平寸法のそれぞれにおいて半分に低減し続ける。ここで、ｋは、負でない整数であり、繰り返すごとに１ずつ増分する。

スケール係数によるブロックサイズ
最大ブロックサイズは、Ｍ×Ｎであり、最小ブロックサイズは、ｍ×ｎである。したがって、各Ｍ×Ｎブロックは、（Ｍ／ｍ）×（Ｎ／ｎ）サブブロックの合計に分割することができる。この説明を簡潔にするために、（Ｍ／ｍ）及び（Ｎ／ｎ）の両方を２の累乗とする。

最初に、ｍ×ｎサブブロックに最適なスケール係数を上述のように求める。次いで、同一のスケール係数を有するサブブロック同士をマージして、１つのサブブロックにする。マージされたサブブロックに関して、スケール係数を計算し直す。相対位置が左と右、及び上と下であるサブブロック同士のみがマージされることに留意されたい。上／左のサブブロックは、「偶数」位置になければならない。すなわち、上／左サブブロックのサブブロックインデックスは、水平寸法及び垂直寸法の両方において、偶数（すなわち、０，２，４・・・）でなければならない。すべての可能なサブブロックをマージするのに数回の繰り返しが必要な場合がある。

従来技術との比較
従来技術のシステムとは対照的に、本発明は、有意な差及び利点を有する。本発明の逆トーンマッピングは、ブロックベースであり、一方、Winken他によって説明されている方法は、汎用的である。したがって、本発明による逆トーンマッピングは、高品質を維持しながらも、ＲＯＩ用途により適している。

本発明の逆トーンマッピングは、また、様々な領域が異なる照明条件を有する画像に、それらの領域に一致する異なるブロックサイズを使用することによって適用することができる。ブロックサイズは、レート−歪み符号化コスト又はスケール係数に基づくことができる。

また、本発明の逆トーンマッピング技法は、復号及びレンダリングの前に初期遅延を必要としない。結果として、この符号化方式をリアルタイムの用途に適用することができる。

本発明の逆トーンマッピング技法は、また、（ＬＤＲ）ピクセル強度値を求めるために適用されている（順方向）トーンマッピング技法から独立して適用することができる。これは、実際には、復号器は、符号化中に適用されたトーンマッピングの知識を有しないため、重要である。

Segall及びSuによって説明されている方法と比較して、本発明の逆トーンマッピングパラメータは、各画像の各ブロックの各カラーチャネルの予測方向、スケール係数、及びオフセット値を含む。従来技術は、同じスケール係数及びオフセット値を２つの色度成分に適用する。したがって、本発明の逆トーンマッピング方法は、特に、異なるビット深度が異なるカラーチャネルに使用される場合に、多カラーチャネル用途に対してより普遍的である。本発明の方法は、４つ以上のカラーチャネルが使用される場合にも適用することができることに留意されたい。

本発明の逆トーンマッピングは、隣接するブロックからブロックオフセット値及びスケール係数を予測する。従来技術は、オフセット値を予測しない。代わりに、オフセット値は、周波数領域におけるＤＣ係数として符号化される。オフセット値を予測することによって、本発明の逆トーンマッピングは、最小のオーバヘッドしか必要とせず、符号化効率がより高くなる。

本発明によれば、候補スケール係数の範囲は、用途又は入力画像のビット深度に従って動的に適合することができる。従来技術では、スケール係数の集合は、予め定められている。したがって、本発明は、複数の用途、及びビット深度が異なるより広範囲の画像源に、より普遍的に適用される。

従来技術のビデオ符号化器のブロック図である。 従来技術のビデオ復号器のブロック図である。 ビット深度スケーラビリティを有する従来技術のビデオ符号化器のブロック図である。 ビット深度スケーラビリティを有する従来技術のビデオ復号器のブロック図である。 本発明の一実施形態による、符号化器における逆トーンマッピングのブロック図である。 本発明の一実施形態による、復号器における逆トーンマッピングのブロック図である。 本発明の一実施形態による、逆トーンマッピングに最適なブロックベースのスケール係数を求めるプロセスのブロック図である。 逆トーンマッピングを異なるサイズのブロックに適用するプロセスのブロック図である。

Claims (10)

1. 復号器において画像を逆トーンマッピングする方法であって、前記画像は、複数のブロックを含み、該方法は、前記画像の各カラーチャネルの各ブロックに対して、
   現在のブロックの予測スケール係数を、該現在のブロックのスケール係数と該予測スケール係数との間の差に加算することによって、前記現在のブロックのスケール係数を求めるステップと、
   前記現在のブロックの予測オフセット値を、該現在のブロックのオフセット値と該予測オフセット値との間の差に加算することによって、前記現在のブロックのオフセット値を求めるステップと、
   マッピングされたブロックのビット深度が前記現在のブロックの該ビット深度よりも高く、均一にトーンマッピングされた領域には、より大きなブロックサイズを使用し、不均一にトーンマッピングされた領域には、より小さなブロックサイズを使用することによって、該ブロックが異なるサイズを有するようにマッピングされたブロックを生成するために、前記スケール係数及び前記オフセット値を前記現在のブロックのピクセル強度値に適用するステップと
   を含む復号器において画像を逆トーンマッピングする方法。
2. 前記逆トーンマッピングは、前記異なるサイズを有する前記ブロックに適合される請求項１に記載の方法。
3. 前記画像のさまざまな領域が異なる照明条件を有し、前記ブロックの前記異なるサイズが前記さまざまな領域に適合されるように、前記画像を取得するステップをさらに含む請求項２に記載の方法。
4. 均一にトーンマッピングされた領域にはより大きなブロックサイズが使用され、不均一にトーンマッピングされた領域にはより小さなブロックサイズが使用される請求項３に記載の方法。
5. 前記異なるサイズは、前記ブロックの符号化のレート−歪みコスト（ＲＤＣ）によって決まる請求項１に記載の方法。
6. 前記ＲＤＣは、Ｄ＋λＲであり、ここでＤは、ＭＳＥにおいて測定される歪みであり、Ｒは、前記スケール係数及び前記オフセット値の符号化のオーバヘッドビットを含む、特定のブロックを符号化するのに使用されるビットの総数のレートであり、λは、ラグランジュ乗数である請求項５に記載の方法。
7. Ｍ及びＮを、前記特定のブロックのピクセルに関する寸法とした場合に、前記特定のブロックの前記ＲＤＣをＲＤＣ（Ｍ×Ｎ）として求めるステップと、
   前記特定のブロックをＲＤＣ（Ｍ／２×Ｎ／２）として複数のサブブロックに分割するステップと、
   前記サブブロックの前記ＲＤＣの和をＲＤＣ（Ｍ／２×Ｎ／２）として求め、ＲＤＣ（Ｍ，Ｎ）≦ＲＤＣ（Ｍ／２，Ｎ／２）である場合、前記特定のブロックの前記サイズをＭ×Ｎとして維持し、そうでない場合、前記分割すること及び前記和を求めることを、ＲＣＤ（Ｍ／ｋ，Ｎ／ｋ）≦ＲＣＤ（Ｍ／ｋ／２，Ｎ／ｋ／２）となるまで繰り返す（ただし、ｋは、負でない整数であり、繰り返すごとに１ずつ増分する）ステップと
   をさらに含む請求項５に記載の方法。
8. 前記異なるサイズは、前記ブロックの符号化のレート−歪みコスト（ＲＤＣ）によって決まる請求項１に記載の方法。
9. 前記異なるサイズは、前記ブロックの前記スケール係数によって決まり、
   最大ブロックサイズは、Ｍ×Ｎであり、最小ブロックサイズは、ｍ×ｎであり、前記方法は、
   特定のＭ×Ｎブロックを複数のｍ×ｎサブブロックに分割するステップと、
   各前記サブブロックに最適なスケール係数を求めるステップと、
   同一の最適なスケール係数を有する前記サブブロック同士をマージするステップと
   をさらに含む請求項１に記載の方法。
10. 前記求めるステップ及び前記適用するステップが画像シーケンスに対して実施される請求項１に記載の方法。

Images