JP5596302B2

JP5596302B2 - 空間周波数解析を使用して圧縮イメージをガモットマップイメージに処理する方法

Info

Publication number: JP5596302B2
Application number: JP2009117796A
Authority: JP
Inventors: ティボーシルヴァン; ブルドンパスカル; シュタウダーヨーガン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2008-05-14
Filing date: 2009-05-14
Publication date: 2014-09-24
Anticipated expiration: 2029-05-14
Also published as: EP2120449B1; KR101703965B1; US20090285478A1; KR20090118860A; EP2120449A1; JP2009278625A; EP2120448A1; CN101583040A; US9113113B2; CN101583040B

Description

本発明は、イメージデータの解凍およびイメージデータの色管理に関する。

この１５年間、イメージ圧縮アルゴリズムは、量子化時の視覚的な品質低下を抑制するために「ビジョンピラミッド（vision pyramid）」を使用し続けている。典型的なイメージ圧縮のフローチャートを図１に示す。イメージはまず、人の視点からの情報を組織化する目的で、ピクセルの色値の空間周波数分散を示す（例えば、離散コサイン変換またはウェーブレット変換の使用等）係数に分解される。次に、空間周波数分散係数は、イメージ詳細にわたって豊富な粗情報を用いて、目標の圧縮率に応じて平滑または極度のいずれかに量子化される。最後に、２進コードを適用して、量子化された空間周波数分散係数のサイズを小さくする。ＪＰＥＧ／ＭＰＥＧのイメージ圧縮の特定の場合において、周波数変換のステップおよび量子化のステップは、８×８ピクセルのブロック領域上で局所的に適用される。

色域（color gamut）は、イメージ表示装置が再生することが可能である、またはイメージ取込装置がキャプチャーすることが可能である、またはイメージ等のビジュアルコンテンツの項目内に含まれるものの完全な色のセットを定義する。ハードウェアによる制限により、多くのカラー装置は、他のディスプレイ上で適正に再生されるために、例えば、広範囲の色域を用いて処理されているイメージの色の良質な再生を提供する可能性は低い。一般的な場合では、ＣＲＴモニタ上にレンダリングされているイメージの色と低品質のカラープリンタから出てくる同じイメージとの間の比較になるだろう。

異なる色域を有する異なる色の再生装置上で、イメージの最高の再生品質を保証するために、ここ数年の間に、いわゆる色の「ガモットマッピング（Gamut Mapping）」を使用するもの等、いくつかの技術が提案されている。色のガモットマッピングは、ソースデバイスの色を転送して、宛先のデバイスのガモット内に配置されることを保証する。このような動作は、本質的にはイメージの測色の変更を引き起こす変換の影響を最小限にするであろう一連の基準を使用して実行できる。いくつかのアルゴリズムは、ソースカラーを、「ＨＶＳ（Human Visual System）」基準に向けて最初の方向を表す、例えば、明度のマッピングまたは彩度のマッピング等の目的の色にマッピングするために開発されてきた。人の目は、明度条件および彩度条件によって視覚的なデータを処理するからである。

ＣＩＥ１９７６（Ｌ^* ｕ^* ｖ）と呼ばれ、ＣＩＥＬＵＶとしても知られる、ＣＩＥが標準化した視知覚的に均等な色空間は、実質的に知覚的に均等な３次元の色空間を構成することによって、人の視覚の精神物理学を明らかにする。ＣＩＥＬＵＶの色の座標は、公知のＣＩＥ１９３１ＸＹＺの色が、当技術分野で定義されるように、「白点」のＸＹＺ座標に対して標準化されることを必要とする。ＣＩＥＬＵＶ色空間の１つの軸は、ＣＩＥ１９７６明度と呼ばれ、Ｌ^*と記され、原点に直線の線分を有するＸＹＺの立方根関数を使用して定義される。Ｌ^*軸に沿った色の位置は、基準の白点に関連するような色の輝度から得られた情報のみを含む。ＣＩＥＬＵＶの他の２つの軸は、基準の白点の色度に関連するイメージポイントの色度から得られる。イメージポイントの色度と基準の白点との差に、Ｌ^*に比例する値を掛けて、暗色をより少ない色彩で表示する精神物理学の効果を模倣することによって、ＣＩＥＬＵＶ空間内に知覚均等をもたらす。ＣＩＥＬＵＶ色空間の円筒表示も有効である。２つのデカルトクロミナンス軸によって定義された平面が、いわゆる色相Ｈ、および、いわゆる彩度Ｃと関連付けられた範囲に対応する位相角を単位として表されるが、Ｌ^*軸は、変更しないままである。１９７６年に、ＣＩＥは、ＣＩＥＬＵＶ色空間と同じ特性を持つ別の視知覚的に均等な色空間も標準化した。ＣＩＥＬＵＶ色空間は、デカルト座標系（Ｌ掛けるａ掛けるｂ）または円筒座標系（Ｌ掛ける色相Ｈ掛ける彩度Ｃ）を単位として表すこともできる、ＣＩＥ１９７６（Ｌ^* ａ^* ｂ）すなわちＣＩＥＬＡＢと呼ばれる。知覚的に均等な色空間において、３つのデカルトの基礎は、輝度（Ｌ）およびクロミナンス（Ｃ１、Ｃ２）と呼ばれる。デカルトクロミナンス平面は、彩度（Ｃ）および色相角（Ｈ）と呼ばれる２極クロミナンス基礎（chrominance base）を単位として説明することもできる。従って、彩度（Ｃ）は、２つのクロミナンス値（Ｃ１およびＣ２）の二乗の和の立方根として定義され、色相角（Ｈ）は、２つのクロミナンス次元（chrominance dimension）の比率（Ｃ２／Ｃ１）の逆正接として定義される。

多くのカラー・ガモットマッピング技術は、２Ｄまたは３Ｄの幾何学的解に重点を置く傾向がある。このような技術は、きついまたはやわらかな色の圧縮／クリッピングまたは拡張アルゴリズムを有するソース色域の再形成／マッピング部分から成るので、これらの再形成された／マッピングされた部分を目的の色域に適合できる。あるアルゴリズムは、マッピングの視覚的な影響を限定するための基準を使用する。公知の基準は、例えば、色相保護、色空間におけるマッピングの空間的な均一性、およびコントラストの保存等である。

典型的な２Ｄ幾何学的マッピング方法は、ＣＩＥＬ^*ａ^*ｂ^*の色空間、より正確には、Ｌが色の明度であり、Ｃ^*が色の彩度を表すＬ^*Ｃ^*の部分空間において、クリッピングを実行する。

（高いＣ^*値は、高飽和水準を表す）。きついおよびやわらかな色のクリッピング方法の例を図２に示し、IS&T/SID Sixth Color Imaging Conference, Scottsdale, 57-61, 1998で発表された、Montag, E.D.およびFairchild, M.D著「Gamut mapping: Evaluation of chroma clipping techniques for three destination gamuts」と題する論文から抜粋することができる。「直線のクリッピング」において、ガモット外（out-of-gamut）のすべての色は、明度Ｌ^*の変更を有しないダイレクトＣ^*−シフト動作で目的のガモットにマッピングされる。やわらかな色のクリッピング方法は、固定アンカーポイント（「ノードクリッピング」）を使用して、飽和水準のより良い保存を保証することができる。このようなクリッピング方法についての詳細は、以下の通りである。

あるカラー・ガモットマッピングアルゴリズムは、最小限にすべき基準に依存する他のものよりも視覚的な影響がより少ない。一般的には、最小限にすべき基準は、広範囲であり、カラー・マッピングすべきイメージのすべてのピクセルは通常、同じアルゴリズムを用いて処理される。このような方法は、イメージ内の局所的な変動に依存せず、ある場合において（例えば、均一な領域における量子化の増加または収集ノイズ）不適切なコントラストを生成する可能性がある。

反対に、イメージの異なる部分を、それぞれ局所的特性に依存して別々にカラー・マッピングできる。このような情報を使用するカラー・ガモットマッピング方法は、「コンテンツ依存」、特に「空間周波数依存」と呼ばれる。人の視覚研究から、観察者は、粗い要素から微細な要素に至るまでの状態の視覚的なデータを、階層的に処理する傾向があることがわかる。この行動は、一般的に、ガウスピラミッド、すなわち、イメージ内の色値の分散の低空間周波数から高空間周波数までのイメージのコンテンツを区別し、組織化できる任意の種類の信号処理ツールをモデルにする。

文書ＵＳ６９６１４７７では、イメージ内の色値の空間周波数成分に従って、異なるカラー・ガモットマッピングアルゴリズムを、イメージの異なる領域に適用することを開示している。この文書に従って、元のイメージの領域は、「ビジー（busy）」領域と「スムース（smooth）」領域に空間的に分離され、それぞれの領域は、１または複数のカラー・ガモットマッピングアルゴリズムと関連付けられる。この解決に対する重要な問題は、同じ色値を有する隣接するピクセルのカラー・マッピングが、２つの領域の境界において非常に異なる場合があり、受け入れがたいアーチファクトを引き起こすということである。ＥＰ１０９８５１１、ＵＳ２００３／０１２４２７およびＵＳ６５１６０８９では、マッピングするイメージの空間周波数成分に依存するカラー・ガモットマッピングアルゴリズムの他の例を示している。ＵＳ５４５０２１６において、このような空間フィルタリングは、明度の変更およびクロミナンスの変更の両方に対して無感覚な人の視覚反応の異なる空間周波数領域を利用する。このような空間フィルタリングは、明度に関係し、無彩色である、いわゆるＣＳＦ（Contrast Sensitivity Function）に従って、および最初に赤−緑の彩度に従って、次に青−黄の彩度に従うクロミナンスに関係する、ＣＣＳＦ（Chromatic Contrast Sensitivity Functions）に従って、輝度の変更およびクロミナンスの変更の両方に対する人の視覚反応を最小限にする方法で色をマッピングできる。例えば、この文書の８段の行５１−５７において述べられているように、ソースカラーは、人の目が比較的輝度の変動に無感覚であるが、クロミナンスの変動により敏感である低空間周波数においてのみ輝度の方向にマッピングされることによって、クロミナンスの変更を最小限にできる。

上述の、ＨＶＳを特徴付けるＣＳＦおよびＣＣＳＦは、当技術分野では非常に周知である。図３および図４に、the Journal of Physiology-London, Vol. 359, pages 381-400, 1985で発表された、Kathy T. Mullen著「The contrast sensitivity of human color vision to red-green and blue-yellow chromatic gratings」と題する論文で与えられる関数の例を示す。図３において、○（円）記号は、緑の単色の回折格子を用いて、５２６ｎｍにおいて実行される測定に基づくＣＳＦを示し、□（四角）記号は、赤−緑回折格子を用いて、５２６、６０２ｎｍにおいて実行される測定に基づく赤−緑ＣＣＳＦを示す。図４において、○（円）記号は、黄の単色の回折格子を用いて、５７７ｎｍにおいて実行される測定に基づくＣＳＦを示し、□（四角）記号は、青−黄の回折格子を用いて、５７７、４７０ｎｍにおいて実行される測定に基づく青−黄色ＣＣＳＦを示す。他のソースも、人の目の網膜の異なる部分によるＣＳＦおよびＣＣＳＦの変動が掲載されている、the Journal of the Optical Society of America A, Vol.4, page 1583, August 1987で発表された、Alan Johnston著「Spatial scaling of central and peripheral contrast-sensitivity functions」と題する論文のように検討することができる。

図５に、圧縮イメージを解凍されたカラー・ガモットマップイメージに処理する方法の標準的な図を示す。イメージの解凍およびカラー・ガモットマッピングは共に、空間周波数分析を使用するが、全く別個に動作する。

本発明の目的は、計算リソースを節約することを考慮した方法を改良することである。

このために、本発明の対象は、圧縮イメージをカラー・ガモットマップ解凍イメージに処理する方法であって、
前記圧縮イメージを複数の隣接する圧縮ブロック領域にエントロピー復号化するステップと、
前記イメージのピクセルの色値の空間周波数分散をそれぞれの圧縮ブロック領域内に提供するために、それぞれの圧縮されたブロック領域を逆量子化するステップと、
それぞれのブロック領域の前記空間周波数分散を、前記ブロック領域のそれぞれのピクセルの色値に逆変換するステップと、
それぞれのブロック領域に対して、前記ブロック領域内の色値の空間周波数分散に従って、複数のカラー・ガモットマッピングアルゴリズムの１つを選択するステップと、
前記カラー・ガモットマップ解凍イメージを提供するために、前記ブロック領域に対して選択されたカラー・ガモットマッピングアルゴリズムを使用して、前記イメージのそれぞれのブロック領域の色値をガモットマッピングするステップと
を含む。

イメージデータを組織化するために周波数変換を使用することにより、イメージ圧縮とコンテンツ依存のガモットマッピングとの興味深い関係を示す。実際に、解凍とカラー・ガモットマッピングの両方について一般的な変換を有利に使用することによって、デコーダ内の計算リソースを大幅に節約する。さらに、多くの場合において、イメージデータは、圧縮される前に明度−クロミナンス色空間（典型的には、ＹＵＶ）に変換されるので、カラー・ガモットマッピングは、このような変換も利用できる。

本発明に従って、圧縮イメージに含まれる空間周波数分析は、イメージの解凍のために使用されるだけでなく、適切なカラー・ガモットマッピングアルゴリズムの選択のためにも使用される。適切なカラー・ガモットマッピングアルゴリズムの選択が特定の空間周波数分析を必要としないため、計算リソースは節約される。

好ましくは、それぞれのピクセルの色値が、少なくとも明度値または輝度値および彩度値によって表される場合、前記選択するステップおいて、
彩度値の変動を最小限にするカラー・ガモットマッピングアルゴリズムは、明度値および彩度値の両方が、主に１度当たり０．４周波以下の低空間周波数の範囲において分散されるすべてのブロック領域と関連付けられ、
明度値または輝度値の変動を最小限にするカラー・ガモットマッピングアルゴリズムは、明度値または輝度値および彩度値が共に、主に１度当たり０．４周波以上の高空間周波数の範囲において分散されるすべてのブロック領域と関連付けられる。

カラー・ガモットマッピングにおいて、明度−彩度変換は通常、ＣＩＥＬａｂ色空間を使用して実行されるが、より圧縮対応の、いわゆるＹＵＶ色空間を使用することは、ＹＵＶ色空間が、圧縮されたＪＰＥＧ／ＭＰＥＧイメージデータストリームにうまく適合するので、ここでは非常に有利である。ＹＵＶ色空間は、ＩＴＵ−ＲＢＴ６０１規格の一部として開発されたＹＣｂＣｒ色空間に対応する。

好ましくは、それぞれのピクセルの色値が、少なくとも明度値または輝度値および彩度値によって表される場合、それぞれのブロック領域内で、前記ブロック領域内の明度値または輝度値の前記空間周波数分散の空間帯域幅が定義され、前記ブロック領域内の彩度値の空間周波数分散の空間帯域幅が定義される場合、前記選択するステップは、前記ブロック領域内の前記明度の空間帯域幅または輝度の空間帯域幅に対するＣＳＦの値と、同じブロック領域内の前記彩度の空間帯域幅に対するＣＣＳＦの値との差に従って、前記ブロック領域に対して実行される。

好ましくは、それぞれの圧縮ブロック領域は、８×８ピクセルを含む。

好ましくは、圧縮イメージは、ＪＰＥＧまたはＭＰＥＧ圧縮規格に準拠する。

処理の方法は、ビデオシーケンス等の連続イメージにも適用できる。

本発明は、限定されない例として与えられ、添付の図面を参照する、以下の説明を読むことに基づいて、より明確に認識されるだろう。
イメージ圧縮の標準的スキームを示す図である。アンカーポイントを用いたカラークリッピング方法を使用して、異なるカラー・ガモットマッピングアルゴリズムを示す図である。ＣＳＦおよび赤−緑ＣＣＳＦを示す図である。ＣＳＦおよび青−黄ＣＣＳＦを示す図である。既に述べたように、先行技術に従って、解凍およびカラー・ガモットマッピングは共に、個別に実行される空間周波数分析を使用する、すべての一連のイメージの圧縮、解凍およびカラー・ガモットマッピングを開示する図である。本発明に従って、解凍およびカラー・ガモットマッピングが同じ空間周波数分析を使用する、すべての一連のイメージの圧縮、解凍およびカラー・ガモットマッピングを開示する図である。イメージのピクセルのブロック領域の、このブロック領域内の色の空間周波数分散を表す係数行列への変換を示す図である。すなわち、イメージを圧縮するために使用される、２Ｄイメージ空間と２Ｄ空間周波数ドメインとの間の変換、圧縮イメージを解凍するために使用される逆変換を示す図である。イメージの８×８ピクセルのブロック領域に対する、水平および垂直の２つの方向における空間周波数の寄与を表す図である。本発明の主な実施形態の第５のステップにおいて、それぞれのブロック領域に対して使用される複数のカラー・ガモットマッピングアルゴリズムの１つを示す図である。図９のカラー・ガモットマッピングアルゴリズムの中央部に対するアンカーポイントの位置の変動関数ΔＬを表す図である。図９に例示したように複数のカラー・ガモットマッピングアルゴリズムを使用して、本発明に従って、圧縮イメージを、解凍したカラー・ガモットマップイメージに処理する方法の主な実施形態の異なるステップを示す図である。カラー・ガモットマッピングに使用すべきカラー・ガモットマッピングアルゴリズムの選択に対する圧縮イメージからの空間周波数分析データの使用に関する図１１の詳細を表す図である。

例示的な実施形態が添付図を参照して本明細書で説明されるが、本原理は、このような明確な実施形態に限定されず、本原理の範囲または精神から逸脱することなく、当業者によってさまざまな変更および改良を達成できることを認識されたい。このような変更および改良のすべてが、添付の特許請求の範囲に説明するように、本原理の範囲内に含まれることを意図する。

本説明は、発明の原理を示す。従って、当業者は、本明細書に明確に説明または示されていないが、本原理を実施し、発明の精神および範囲内に含まれるさまざまな構成を発明できるだろうことを認識されたい。当業者であれば、本明細書に提示されたブロック図およびフローチャートは、本原理を実施する例示的な回路の概念視点を表すことを認識されたい。図に示されるさまざまな要素の機能を、専用ハードウェアおよび適切なソフトウェアと関連してソフトウェアを実行することが可能なハードウェアの使用によって提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、または一部を共有することができる複数の個々のプロセッサによって提供することができる。適切なソフトウェアは、プログラム記憶装置上で明白に実施されるアプリケーションプログラムとして実装することができる。

すでに述べたように、本発明に従った方法は、図１に示されるように、圧縮されるイメージを処理するように適合される。

圧縮するイメージは、隣接するブロック領域に分けられ、圧縮するイメージのピクセルに所属する色値の空間周波数分散を示す係数に分解される。それぞれのピクセルの周囲のイメージの空間部分は、２Ｄイメージ空間から２Ｄ周波数空間まで再マッピングされなければならない。この動作を達成する非常に公知の方法は、ピクセルの各ブロック領域内の各ピクセルの近辺の離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を処理することである（特にＤＣＴは、ＪｐｅｇおよびＭｐｅｇの圧縮に使用される）。ＤＣＴは、色値の行列を、イメージの空間周波数分解を表す係数行列に変換する。図７に、圧縮するイメージの８×８ピクセルのブロック領域に対するＤＣＴ処理の例を示す。空間周波数空間において、ｘ方向の係数は、イメージの垂直周波数を表し、ｙ方向の係数は、イメージの水平周波数を表す。

以下の公知の式を用いて、このＤＣＴ変換を実行する。ここで、Ｎは行列の大きさを表す。

この変換によって得られたＮ×Ｎの係数行列は、図８のＮ＝８に対して表される空間周波数の寄与を表す。

ＤＣＴ変換は、周波数変換に対する空間的な例であるが、フーリエ変換、ウェーブレット、フィルタバンクによって定義される他のサブバンド等の２Ｄ周波数空間における分析の他の技術を適用できる。

量子化の後、通常のエントロピー符号化は、例えば、圧縮イメージを得る等の、量子化された空間周波数分散係数の大きさを縮小するように適合される。

本発明に従って、この圧縮イメージを少なくとも１つのガモットマップイメージに処理する方法の実施形態を、図６、９−１２を参照して例示することにする。

複数のカラー・ガモットマッピングアルゴリズムおよび所与のブロック領域内の色値の空間周波数分散に従ったガモットマッピングアルゴリズムの選択規則を、あらかじめ定義しなければならない。

ここで提示される複数のカラー・ガモットマッピングアルゴリズムは、カラークリッピング方法に基づいている。すでに説明したように、カラークリッピング方法では、アンカーポイントに固定されるマッピング軌道に沿って、マッピング色空間内に色をマッピングする。これらのカラー・マッピング軌道は、一般的に直線である。アンカーポイントは、一般的に、色空間のいわゆる無彩色の軸すなわちＬ^*軸（または「グレーライン」）に属する。これらのアンカーポイントは、例えば、IS&T/SID Six Color Imaging Conference, Scottsdale, 1998で発表されたMontagおよびFairchild著「Gamut mapping: Evaluation of chroma clipping techniques for three destination gamut」と題する論文に説明されているように、ソースおよび目的のガモットの形に従って選択できる。色が、このようなカラー・マッピング軌道に沿って移動される方法は、多様にできる。単純なマッピングアルゴリズムは、対象の色域の外側にあるすべての色を、カラー・マッピング軌道に沿って対象の色域表面上にクリップする。より複雑なカラー・マッピングアルゴリズムは、直線スケーリングによって、カラー・マッピング軌道に沿ってすべての色を直線的に圧縮して、同じマッピング軌道を維持するが、すべて目的の色域の内側になるようにする。さらにより複雑な場合、非線形パラメータ関数は、特定の、時には区分的に（piece−wise）定義されたスケーリング動作を色に適用して、対象の色域の内側の定義された線に沿って色を移動する。例えば、BraunおよびFairchildは、Proceedings of SPIE Electronic Imaging Conference (Eli99) a non−linear, S−shaped function, 1999で発表された、「Image Lightness Rescaling Using Sigmoidal Contrast Enhancement Functions」と題する出版物中で提案している。ソースガモットからの色を目的のガモットにマッピングする場合、上記の引用した論文は、マッピング直線上の色を移動させるのに必要とする距離がどれくらいかを定義するカラー・ガモットマッピング軌道、さまざまなアンカーポイントおよびマッピング機能（mapping functions）として直線を使用する。マッピング軌道、アンカーポイントおよびマッピングの機能は、所与のマッピング色空間において、ソースおよび対象のガモット境界に固定または適用できる。

図６を参照してここで提案されるカラー・ガモットマッピングアルゴリズムにおいて、マッピングカラー部分空間Ｌ^*Ｃ^*は、３つの領域である、最小の明度である第１領域、最大の明度である第２領域、および中間の明度である第３中央部に分けられる。第１の領域において、ソースカラーは、Ｌ^*軸上のＬ_minに位置する同じ第１の固定アンカーポイントにすべて固定される直線に従ってマッピングされる。第２の領域において、ソースカラーは、Ｌ^*軸上のＬ_maxに位置する同じ第２の固定アンカーポイントにすべて固定される直線に従ってマッピングされる。第３の領域において、ソースカラーは、Ｌ^*軸上のＬ_minとＬ_maxとの間に位置する異なるさまざまなアンカーポイントに固定される直線に従ってマッピングされるだろう。図９において、アンカーポイントの位置の変動範囲は、ΔＬ＝（Ｌ_max−Ｌ_min）／２であり、この範囲の中央は、Ｌ₀＝Ｌ_min＋ΔＬに対応する。the Journal of Imaging Science and Technology, volume 44, number 1, page 68−89 (January−February 2000)で発表された、Chae-Soo LEE, Chae-Hee LEEおよびYeong-Ho HA著「Parametric gamut mapping algorithms using variable anchor points」と題する論文は、このようなマッピング方法を例示する。

カラー・ガモットマッピングアルゴリズムの選択規則は、ＣＳＦおよびＣＣＳＦを使用するだろう。これらの感度関数に関するより詳細については、図３および４を参照して与えられるだろう。ＣＳＦおよびＣＣＳＦは、１度当たりの周波（ｃｐｄ）で表される。赤−緑および青−黄ＣＣＳＦは、低域特性を有し、赤−緑および青−黄ＣＳＦはさらに、通過帯域特性を有することがわかる。およそ０．４ｃｐｄより低い空間周波数の場合、ＣＣＳＦは、ＣＳＦよりも高いが、およそ０．４ｃｐｄより高い周波数の場合、ＣＳＦよりも低くなる。ＣＳＦおよびＣＣＳＦ関数のある代数モデルが開発されていることが以下でわかるだろう。これは、本発明の実施形態において考慮するように提案するＨＶＳのこれらの特性であり、継続的な方法においてイメージの局所的なコントラストをできるだけ多く保つ方法でカラー・ガモットマッピング方法の選択を最適化する。局所的なコントラストの概念は、表示するスクリーンのコントラストと混同してはならない。良質な広範囲のコントラストを表示する、スクリーン上のより黒いピクセルが非常に黒色であって、より白いピクセルが非常に白色であっても、局所的なコントラストが低レベルであるためにイメージにわずかにシームが入る恐れがある。イメージの局所的なコントラストを保つことは、非常に重要であるが、それは、良質な局所的なコントラストが、写真家がイメージの「ポップ（pop）」と呼ぶものを与えるからである。

カラー・ガモットマッピングアルゴリズムの選択規則の主な根拠は、マッピングするイメージの局所的なコントラストをできるだけ多く保つように適合される。根拠によって、明度の維持を、彩度の維持よりも優先すべきかどうか、またはその逆にすべきかどうかを判定することが可能になる。マッピングするイメージのそれぞれのピクセルの周囲の色値の空間周波数の分散を分析することによって、すなわち局所的に、ある高周波数が存在するか否かを判定し、Ｆ_max値を設定できる。この空間周波数は、イメージの空間周波数を考慮し、また以下に説明するような条件を考えながら、好ましくは１度当たりの周波で表される。次に、以下に説明するように、この周波数Ｆ_maxに対するＣＳＦとＣＣＳＦとの差が計算され、この差からアンカーポイントの位置の変動の範囲ΔＬが計算される。空間周波数分解が明度および彩度の両方に対して非常に低い周波数を示す、マッピングするイメージの均一な部分において、ＣＣＳＦは、ＣＳＦよりも高い。この場合、ＨＶＳは、明度のコントラストに対するよりも彩度のコントラストに対してより感度が高い。その後ΔＬの値は、０になる。これは、アンカーポイントが固定され、ノードカラークリッピングアルゴリズム（図２を参照）が、彩度変換を最小限にすることによって局所的なコントラストを保つために最も適切なものとして選択されることを意味する。反対に、明度および彩度の両方について非常に高い空間周波数から構成される、マッピングするイメージの多くのテクスチャ部分において、ＣＳＦは、ＣＣＳＦよりも高く、ＨＶＳが、明度のコントラストに対してより感度が高いことを示す。この場合、ΔＬの値は、ΔＬ＝Ｌ_max−Ｌ₀であり、アンカーポイントの位置がＬ^*軸上で変動的であり、マッピングするする色の明度に対応する明度において選択できることを意味し、直線クリッピングアルゴリズム（図２を参照）は次に、明度の局所的なコントラストを保つ最高のアルゴリズムとして選択されることを意味する。Ｌ₀は、色域の形から得ることもできる。例えば、Ｌ₀は、ガモットが、ガモットの最大の彩度を有する輝度として選択される。Ｌ₀の妥当な値は、５０である。

上記のこれらの２つの例は、それぞれ、非常に低い空間周波数および非常に高い空間周波数である、ＣＳＦおよびＣＣＳの極値に対応する。この実施形態において提案される選択規則は、これらの２つの正反対の例の間の継続的な方法でΔＬの値を設定する。選択規則は、低い周波数および高い周波数を管理して、局所的なコントラストを保つように適合されるが、継続的な処理によって、これらの正反対の例の間のすべての周波数にも適合されることを意味する。有利なことに、空間周波数のすべての値は、処理において非継続的なステップが無く、およびアーチファクトを引き起こす境界も無く、ＨＶＳに従って管理される。ΔＬ＝Ｌ_max−Ｌ₀からΔＬ＝０までのΔＬの継続的な変数は、変動的なアンカーポイントの概念を使用することによって、直線クリッピング方法からノードクリッピング方法へ継続的に移行することを可能にする。

アンカーポイントの位置の変動範囲ΔＬの詳細な計算を詳しく述べる。輝度の空間周波数およびクロミナンスの空間周波数の両方に、コントラスト保存期間ΔＬ＝０に影響を与えさせるために、この期間を、今から定義される入力パラメータとして、輝度の空間帯域幅Ｆ_{DCTLum_max}および彩度の空間帯域幅Ｆ_{DCTChrom_max}を有する関数ΔＬ（.）として定義するように提案する。

イメージＩｍ（i, j）の離散コサイン変換Ｆ（ｘ,ｙ）の場合において、一般的に言えば、空間帯域幅Ｗ_maxは、イメージ信号を、以下のように、イメージ信号がそのエネルギーの９５％（またはそれよりも低い割合）に到達している空間周波数値として定義できる。

それに対応する１度当たりの周波（ｃｐｄ）の値は、

として定義され、ここでαは度数によるイメージのピクセルの画角であり、「局所的な代表」である空間周波数についての情報を提供する。同様に、輝度の空間帯域幅Ｗ_{DCTLum_max}の値および彩度の空間帯域幅Ｗ_{DCTChrom_max}の値を、ＣＳＦおよびＣＣＳＦのそれぞれを参照して定義できる。Ｆ_{DCTLum_max}およびＦ_{DCTChrom_max}は、画角αの値を使用して、Ｗ_{DCTLum_max}およびＷ_{DCTChrom_max}の値から同様に推測される。

ＣＳＦおよびＣＣＳＦは、the Journal of the Optical Society of America, A5, pages 2166−2172 (1988)で発表された、「Analysis of the development of spatial contrast sensitivity in monkey and human infant」と題する論文でJ.A. MovshonおよびL. Kiorpesによって、並びに、IS&T/SID 9th Color Imaging Conference, Scottsdale, 24−30 (2001)で発表された、「Darwinism of Color Image Difference Models」と題する論文でG.M. JohnsonおよびM.D. Fairchildによって与えられる代数公式を使用することによって、周波数Ｆの関数で表すことができる。

ここで、パラメータa, b, c, a₁, b₁,c₂, a₂, b₂, c₂ は、例えば、すでに引用したＪｏｈｎｓｏｎおよびＦａｉｒｃｈｉｌｄの論文に、および以下の表１および表２に写したように、人の視覚に適合するように定義される。

前の説明（図３および４を参照）では、２つの異なる関数、つまり、赤−緑ＣＣＳＦ_red-green（Ｆ）および黄−青ＣＣＳＦ_yellow-blue（Ｆ）に言及したのに対し、ここでは、２つのＣＣＳＦ関数を統合して、１つだけの関数

になる。このような２つのＣＣＳＦの統合は、赤−緑ＣＣＳＦおよび青−黄ＣＣＳＦの両方がほぼ同じ特性、特に同じ遮断周波数（輝度の遮断周波数よりも低くなっている）を有するように見え、および我々が主として輝度−彩度非相関に関心があるので、実行可能である。２つのＣＣＳＦは、ガモットマッピングアルゴリズムに使用されるユークリッド距離

よりも、同様の２対１の変換スキームを使用して単独のＣＣＳＦに統合される。

上記にすでに述べたように、該当する制限条件は、低空間周波数範囲におけるＣＣＳＦ＞＞ＣＳＦに対してΔＬ＝０であり、高空間周波数範囲におけるＣＣＳＦ＜＜ＣＳＦに対してΔＬ＝ＭＩＮ｛Ｌｍａｘ−Ｌ₀；Ｌ₀｝であり、すべての場合の中間変換およびスムース変換０＜ΔＬ＜ＭＩＮ｛Ｌｍａｘ−Ｌ₀；Ｌ₀｝である中間の状態に対しては、輝度の空間帯域幅Ｆ_{DCTLum_max}および彩度の空間帯域幅Ｆ_{DCTChrom_max}の両方に従って、次の関数ΔＬ（.）を使用して、アンカーポイントの位置の変動範囲ΔＬを計算できる。

ここで、ｘ＝ＣＳＦ（Ｆ_DCTLummax）−ＣＣＳＦ（Ｆ_DCTCrommax）、ｋはスムージング正定数である。図１０に、異なるｋの値に対するこのような関数ΔＬ（.）を示す。高いｋ値が、この定義をより非線形解に近いものにするのに対して、低いｋの値、特に１未満または１に等しい値では、輝度保存とクロミナンス保存との間のガモットマッピング方法のスムース変換を保証する。

このΔＬ（.）関数を使用して、アンカーポイントの位置の変動範囲ΔＬを定義することによって、複数のガモットマッピングアルゴリズムは、それぞれの３つの領域を使用するクリッピング方法として定義される。当該３つの領域は、中央値Ｌ₀の周囲の範囲ΔＬでさまざまな異なる変動的なアンカーポイントを有する中央部と、固定アンカーポイントの２つの領域間に配置され、Ｌ₀＋ΔＬに位置する２つの領域の１つと、Ｌ₀−ΔＬに位置する他方とである。さらに、選択規則は、マッピングするイメージの所与のブロック領域内の色値の任意の空間周波数分散を、この所与のブロックの色をマッピングするために使用されるべき１つのカラー・ガモットマッピングアルゴリズムに関連付けることを定義する。

本発明の実施形態において、３つの領域だけでなく、中央部に対するアンカーポイントの位置の変動範囲ΔＬだけでなく、明度の軸上に位置するアンカーポイントをパッシングソート(passing thought)するすべての直線である異なるクリッピングの軌道も示すアンカーポイントを使用する、複数のカラー・ガモットマッピングクリッピング方法の典型的な１つを図９に表す。

圧縮イメージをカラー・ガモットマップイメージに処理する方法の実施形態の異なるステップは、以下の通り、図１１を参照して処理できる。

予備のステップにおいて、Ｌ₀およびＬ_maxの値が決定される。Ｌ_maxは、ＣＩＥＬＡＢ空間の場合１００である、最大の明度値である。Ｌ₀の妥当な値は、５０である。Ｌ_maxおよびＬ₀を、イメージのすべてのブロックに対して一定に保つことができる。別の可能性としては、ブロックの空間的な近辺のブロックの平均の明度からＬ₀を計算することである。Ｌ₀は、表示が白の明度より大きくなってはならないし、または表示が黒の明度より小さくなってはならない。

第１のステップは、圧縮イメージを複数の隣接する圧縮ブロック領域にエントロピー復号化することであり、それ自体が公知であるので詳述しない。

第２のステップは、復号化されたイメージのピクセルの色値の空間周波数分散を、このイメージのそれぞれのブロック領域内に提供するために、復号化されたイメージを逆量子化することである。それぞれのブロック領域は、一般的に、イメージの８×８ピクセルを構成する、イメージが圧縮されているブロックに対応する。圧縮イメージは、ＤＴＣ変換に従って圧縮されているので、得られるすべての係数は、ＤＴＣ係数である。所与のブロック領域に対してｘ方向で得られるＤＴＣ係数は、このブロック領域の色値の垂直空間周波数分散を表し、ｙ方向で得られるＤＴＣ係数は、このブロック領域の色の水平空間周波数垂直分散を表す。それぞれのブロック領域に対して、ＤＴＣ係数の行列は、輝度Ｙに対して得られ、ＤＴＣ係数の行列は、２つのクロミナンス要素Ｕ、Ｖのそれぞれに対して得られる。ＹＵＶ色空間は、輝度を表すＹ、青とＹとの色差を表すＣｂ、赤とＹとの色差を表すＣｒを有するＩＴＵ−ＲＢＴ６０１規格の一部として開発されたＹＣｂＣｒ色空間におおよそ対応する。ＹＣｂＣｒが、輝度を１６−２３５間の範囲にスケールして固定し、彩度を２１６−２４０間の範囲にスケールして固定するのに対し、ＹＵＶは従来的に、０−２５５からくるスケールなしの値を表す。

この第２のステップの終わりにおいて、イメージのそれぞれのブロック領域に対して、３つの行列が利用可能である。それぞれのブロック領域内で、アルゴリズムを色彩周波数分散分析のスカラー値に提供するために、Ｕ行列およびＶ行列は次に統合されて、１つの色の行列になる。前述したスカラーＣＣＳＦ計算に基づいて、ユークリッド距離の値を使用して、再度粗い近似値を使用する。従って、それぞれのＤＴＣ係数に対して、以下の計算をする。

図１２を参照して、カラー・ガモットマップイメージが表示されることを意図する特定の観察条件、特にディスプレイから観察者の距離、すなわち、画角αを使用して、ＤＴＣ輝度行列のすべての係数およびＤＴＣ彩度行列のすべての係数を、それ自体が公知の方法で「１ピクセル当たりの周波」単位から「１度当たりの周波」単位に変換する。輝度の空間帯域幅Ｗ_{DCTLum_max}の値および彩度の空間帯域幅Ｗ_{DCTChrom_max}の値は次に、それらの帯域幅のこれまでの定義（上記参照）に従って、計算される。輝度信号または彩度信号のいずれかの帯域幅は、信号のエネルギーの９５％が含まれる周波数限界である。Ｆ_{DCTLum_max}の値およびＦ_{DCTChrom_max}の値は、画角αの値を使用して、それぞれＷ_{DCTLum_max}の値およびＷ_{DCTChrom_max}の値から推測される。

それぞれのブロックに対する第３のステップは、これらの３つの行列を、このブロック領域のそれぞれのピクセルの色値、すなわち輝度値およびクロミナンス値にする逆ＤＴＣ変換である。このようなステップは、図７に示す変換の逆変換に対応する。このようなステップは、それ自体が公知であるので、本説明では詳述しない。

第４のステップは、それぞれのブロック領域をΔＬの１つの値に関連付けることによって、このブロック領域に対する特定のカラー・ガモットマッピングアルゴリズムの定義を可能とすることである。この４番目のステップの目的は、基本的に、その後に続くカラー・マッピングステップに対して輝度保存を有利にする、またはクロミナンス保存を有利にするように決定するために、空間周波数分散（ＤＣＴ係数）を、ＣＳＦおよび統合されたＣＣＳＦと比較することである。付加的なスムージング動作は、その後に続くマッピングステップ時の突然の変更を避けるために、８×８ブロック境界上に付加することができる。

空間周波数Ｆの関数のＣＳＦおよびＣＣＳＦを表す代数式（上記参照）を使用して、ＣＳＦ（Ｆ）の値がＦ＝Ｆ_{DCTLum_max}に対して計算され、ＣＣＳＦ（Ｆ）の値がＦ＝Ｆ_{DCTChrom_max}に対して計算される。次に、上記のΔＬ（ｘ）関数の定義を使用して、ΔＬ（ｘ）の値が、ｘ＝ＣＳＦ（Ｆ_{DCTLum_max}）−ＣＣＳＦ（Ｆ_{DCTChrom_max}）に対して計算される。この計算された値ΔＬに従って、それぞれのブロック領域に対して１つのカラー・ガモットマッピングアルゴリズムの選択が実行される。それぞれのブロックの色をカラー・マッピングするのに使用されることになるクリッピング方法でのアンカーポイントの位置が、明確に定義され、カラー・マッピングするイメージのそれぞれのブロック領域に対して、複数のカラー・ガモットマッピングアルゴリズムの１つが、このブロック領域内の色値の空間周波数分散に従って選択される。

イメージのそれぞれのブロック領域に対する第５のステップおよび最後のステップは、上記で定義されるように３つの領域を有している、第４ステップのこのブロックに対して選択された特定のクリッピング方法を使用することによって、第３ステップによって得られている色値のガモットマッピングであり、解凍されたカラー・ガモットマップイメージを最終的に提供する。

有利なことに、解凍およびカラー・ガモットマッピングの両方に対して同じＤＴＣ行列を使用することによって、大幅に計算リソースを節約することが可能である。全体的には、共有の解凍およびコンテンツベースのカラー・ガモットマッピングシステムを提供することによって、両方の動作が一般的なイメージ分析ツール、すなわち、輝度−クロミナンス変換および空間周波数変換を共有するので、計算リソースが節約できる。

さらに、イメージデータが、輝度−クロミナンス色空間（典型的には、ＹＵＶ）に利用可能であるので、このような色空間は、カラー・ガモットマッピングに対しても有利である。実際に、カラー・ガモットマッピングにおいて、輝度−クロミナンス変換は通常、ＣＩＥＬａｂ色空間を使用して実行されるが、より圧縮対応の色空間ＹＵＶを使用することによって、妥当な近似値とすることができる。また、局所的なＤＣＴを有利に使用して、イメージをマッピングする。ＪＰＥＧ／ＭＰＥＧの規格も、局所的な（８×８ブロック）ＤＣＴ変換を使用するので、これは、ＪＰＥＧ／ＭＰＥＧデータストリームにそのままよく適合する。ウェーブレット変換がイメージの空間的内容およびスペクトル成分の両方を記録するので、ＪＰＥＧ２０００等の、ウェーブレット変換に基づく他の圧縮規格も使用できるだろう。

図６に、発明に従って、圧縮イメージを解凍されたカラー・ガモットマップイメージに処理する方法の全体図を示す。図５に示した標準的な図に反して、イメージの解凍およびカラー・ガモットマッピングは、同じ空間周波数分析を使用する。

本発明を単に一例として説明してきたが、本発明の範囲を逸脱することなく、詳細の変更を加えることができることを理解されたい。

圧縮イメージは、例えば、ＵＳ６６３３６６８（段落４、行２０−２４参照）に開示されるように、イメージ特有の色域の説明を含む場合、発明の処理の方法は、この説明（段落４、行５５から段落５、行９までを参照）の抽出の付加的なステップを含むことができ、次に、例えば、色再生デバイスの色域の説明と併用して、発明のカラー・ガモットマッピングステップに使用される。

本発明を、好適実施形態に関して説明しているが、本発明は、これらの実施形態に限定されないことを理解されたい。従って、当業者には当然のことながら、特許請求の範囲に記載されている本発明は、本明細書の特定の例および好適実施形態からの変形を含む。特定の実施形態の一部を、個別に説明および請求することができるが、本明細書で説明および請求される実施形態のさまざまな機能を、組み合わせて使用できることを理解されたい。

Claims

圧縮イメージをカラー・ガモットマップ解凍イメージに処理する方法であって、
前記圧縮イメージを複数の隣接する圧縮ブロック領域にエントロピー復号化するステップと、
前記イメージのピクセルの色値の空間周波数分散をそれぞれの圧縮ブロック領域内に提供するために、それぞれの圧縮されたブロック領域を逆量子化するステップと、
それぞれのブロック領域の前記空間周波数分散を、前記圧縮ブロック領域のそれぞれのピクセルの色値に逆変換するステップと、
それぞれの圧縮ブロック領域に対して、前記圧縮ブロック領域内の前記逆量子化により提供された色値の空間周波数分散に従って、複数のカラー・ガモットマッピングアルゴリズムの１つを選択するステップと、
前記カラー・ガモットマップ解凍イメージを提供するために、前記ブロック領域に対して選択されたカラー・ガモットマッピングアルゴリズムを使用して、前記イメージのそれぞれの圧縮ブロック領域の色値をガモットマッピングするステップと、
を備えた、前記方法。
それぞれのピクセルの前記色値が、少なくとも明度値または輝度値および彩度値によって表される場合、前記選択するステップは、
彩度値の変動を最小限にするカラー・ガモットマッピングアルゴリズムが、明度値または輝度値および彩度値の両方が、１度当たり０．４周波未満の低空間周波数の範囲に分散されるすべてのブロック領域に対して選択され、
明度値または輝度値の変動を最小限にするカラー・ガモットマッピングアルゴリズムが、明度値または輝度値および彩度値が共に、１度当たり０．４周波を超える高空間周波数の範囲に分散されるすべてのブロック領域に対して選択される、請求項１に記載の方法。
それぞれのピクセルの前記色値が、少なくとも明度値または輝度値および彩度値によって表される場合、それぞれのブロック領域内に、前記ブロック領域内の明度値または輝度値の前記空間周波数分散の空間帯域幅が定義され、前記ブロック領域内の彩度値の前記空間周波数分散の空間帯域幅が定義される場合、前記選択するステップは、前記ブロック領域内の前記明度の空間帯域幅または前記輝度の空間帯域幅に対するＣＳＦの値と、同じブロック領域内の前記彩度の空間帯域幅に対するＣＣＳＦの値との差に従って、前記ブロック領域に対して実行される、請求項１または２に記載の方法。
それぞれの圧縮ブロック領域は、８×８ピクセルを含む、請求項１ないし３のいずれか１項に記載の方法。
前記圧縮イメージは、ＪＰＥＧまたはＭＰＥＧ圧縮規格に準拠する、請求項１ないし４のいずれか１項に記載の方法。