JP4542528B2 - 画像のコントラスト強調方法及び画像のコントラスト強調システム - Google Patents

Description

本発明の開示は、画像処理の分野に関し、特に、デジタル画像処理に関する。本発明は、特に、画像コントラスト（image contrast）の改善のための装置及び／又は方法に関して適用される。本発明について、そのような装置及び／又は方法と関連して説明する。しかしながら、本発明を他の同様の応用例にも適用できることを当業者は理解するだろう。

通常、写真又は他のデジタル画像が用いられない、又は望まれない理由は、「明暗の質が低い」からである。これは一般に、画像が、明るすぎる又は暗すぎる領域を有することを意味する。しばしば、このような欠陥は、単一の大域ヒストグラム変換（global histogram transformation）によってではなく、局所的な画像処理によってのみ改善又は強調することができる。さらに、チャネル当たり１４ビットのデジタル写真又は高ダイナミックレンジ（HDR，high dynamic range）の映像がより多く生成されている。これらの画像は、局所的なダイナミックレンジ圧縮によって、８ビット印刷に最適なように圧縮される。関連技術として、下記の文献がある。

米国特許第６７３８１６１号明細書 米国特許第５４５０５０２号明細書 トマシ（C. Tomasi），マンドゥッチ（R. Manduchi）、「濃淡画像及びカラー画像のためのバイラテラルフィルタリング（Bilateral Filtering for Gray and Color Images）」、コンピュータヴィジョン国際会議予稿集（the Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay India）、米国電気電子技術者協会（IEEE）、１９９８年 フレド・デュランド（Fredo Durand），ジュリー・ドルセイ（Julie Dorsey）、「高ダイナミックレンジ画像の表示のための高速バイラテラルフィルタリング（Fast Bilateral Filtering for the Display of High‐Dynamic‐Range Images）」、エーシーエム論文集‐グラフィックス（ACM Transactions of Graphics）、エーシーエム（ACM）、２００２年７月 ペロナ（Perona）、マリク（Malik）「異方性拡散を用いたスケール‐空間及びエッジ検知（Scale‐space and edge detection using anisotropic diffusion）」米国電気電子技術者協会論文集‐パタン分析及び機械知能（IEEE Transactions on Pattern Analysis and Machine Intelligence）、米国電気電子技術者協会（IEEE）、１９９０年７月

ＨＤＲ画像は、光強度において容易に４次元の大きさを含むことができる。一方、ディスプレイ及びプリンタは、放出（emissive）又は反射強度における２から３次元の大きさに制限される。光強度のＨＤＲを処理するキャプチャ装置（capture device）が開発されている。例えば、スライドフィルム（slide film）は、プリント装置又はほとんどのディスプレイ装置よりも実質的に高いダイナミックレンジを有する。これによって、スライドフィルムは、比較的高ダイナミックレンジの画像源を提供する。このような画像が与えられた場合に、ハイライト及び影の詳細を失うことなく、画像の再生産及び／又は出力を行うことが課題となる。

局所的コントラスト強調及びダイナミックレンジ圧縮のための多くの技術が、先行技術で提案されている。しかしながら、これらの先行技術のほとんどは、アーチファクト（artifact）によって損なわれる。当技術分野で知られている技術には、例えばバイラテラルフィルタリング（bilateral filtering）などの、計算量を犠牲にしてこれらのアーチファクトを避ける技術がある。さらに、無差別に局所的コントラスト強調を適用すると、実際に、強調された画像を「損なう」、又は、強調された画像の、ユーザ及び／又は観察者に対する魅力を減ずる可能性があることが示されてきた。例えば、ある試験において、ユーザは、「人工的な影」は魅力的であるとし、「髪の毛の濃淡のハイライト」及び「つやのある表面における鏡状の外観の減少」は魅力的でないとする可能性がある。このような場合において、ユーザ及び／又は観察者は、大域的コントラスト強調の結果をより好むだろう。

ここに例示される態様によると、入力画像のコントラスト強調のための方法が提供される。本方法は、入力画像内の画素の輝度成分をダウンサンプリング（down‐sampling）することと、フィルタ処理された画像を生成するためにダウンサンプリングされた画像にローパスフィルタ（低域通過フィルタ，low‐pass filter）を適用することと、を含む。ダウンサンプリングされた画像は、下位画像（sub‐image）に分割される。その下位画像の少なくとも１つに対して、変換が生成及び／又は導出される。この下位画像変換は、フィルタ処理前の下位画像の輝度値と、フィルタ処理後の下位画像の輝度値と、を対応付ける。本方法は、さらに、少なくとも１つの下位画像変換を選択することと、その選択された下位画像変換から出力変換を生成することと、入力画像に対してその出力変換を適用することと、を含む。

本方法では、判定は、入力画像から得られた低解像度画像に１以上のローパスフィルタを適用してその低解像度画像中の画素に対する強調された輝度値を得ることと、フィルタ処理された画像の画素をその輝度値に基づいて少なくとも第１及び第２の分類に分割することと、画素の輝度値の分類を用いてフィルタ処理された画像の特徴的な暗特性値（darkness feature）を計算することと、その画像の暗特性値を閾値と比較することと、を含むことができる。

ローパスフィルタを適用することは、入力画像の輝度値をダウンサンプリングすることで生成されたダウンサンプリング画像にバイラテラルフィルタ（bilateral filter）を適用することを含むことができる。暗特性値を閾値と比較することは、その画像が局所的コントラスト強調を受けるかどうかについて真又は偽の結果を返す論理式にその比較を統合することを含むことができる。特性値を計算すること及び特性値を比較することは、画像の画素の赤色成分値を用いて赤色特性値（redness feature）を計算すること、及びその赤色特性値を閾値と比較することを含むことができる。その赤色特性値を閾値と比較することは、論理式に統合される。

本方法は、さらに、入力画像の色情報を、輝度成分を有する色空間に変換することを含むことができる。色情報を変換することは、輝度成分Ｙと色差成分（クロミナンス，chrominance）Ｉ及びＱとを有するＹＩＱ色空間に色情報を変換することを含むことができる。

下位画像変換を導き出すことは、その下位画像のヒストグラムを導き出すことを含むことができる。その下位画像のヒストグラムは、下位画像の輝度値の少なくともいくつかに対応する、ある数の画素をプロット（plot）する。下位画像変換を導き出すことは、コストが最小化されるように下位画像のヒストグラムに基づいて下位画像の単調な調子再現曲線（tone reproduction curve）を推定することを含むことができる。単調な調子再現曲線は、単調な動的計画法（dynamic programming）を用いて推定することができる。

選択された下位画像から出力変換を生成することは、計算対象画素の隣り合う４つの下位画像を統合することを含むことができる。また、その出力変換を適用することは、強調されたＲＧＢ（red‐green‐blue）出力画像を再構成することを含むことができる。

さらにここで例示される態様では、入力画像のコントラスト強調のためのシステムを提供する。このシステムは、色変換された画像の輝度成分をダウンサンプリングするよう設計されたダウンサンプラ（down‐sampler）と、そのダウンサンプリングされた画像にローパスフィルタを適用するように設計されたバイラテラルフィルタと、を備える。このシステムは、ダウンサンプリングされた画像を下位画像に分割するよう設計された分割部と、変換生成部と、をさらに備える。この変換生成部は、下位画像変換を生成するように設計される。下位画像変換は、フィルタ処理前の下位画像の輝度値を、フィルタ処理後の下位画像の輝度値に対応付ける。変換生成部は、さらに、少なくとも１つの下位画像変換を選択し、この選択された下位画像から出力変換を生成し、この出力変換を入力画像に適用するように設計される。

このシステムは、乾式複写システムであってもよい。このシステムは、入力画像に対する色情報を、輝度成分を有する色空間に変換するよう設計された色情報変換部と、色変換された画像の輝度成分をダウンサンプリングすることでダウンサンプリングされた画像を生成するよう設計されたダウンサンプラと、をさらに備えることができる。この変換部は、入力画像の色情報を、輝度成分Ｙと色差成分Ｉ及びＱとを有するＹＩＱ色空間に変換することができる。このシステムは、入力画像が局所的コントラスト強調を受けるかどうかを決定するよう設計された局所的コントラスト強調分類部をさらに含むことができる。

さらにここで例示される態様は、入力画像が局所的コントラスト強調を受けるかどうかを決定する方法を提供する。この方法は、入力画像から得られた低解像度画像にバイラテラルフィルタを適用することと、フィルタ処理された画像の画素をその輝度値に基づいた分類に分割することと、を備える。この方法は、輝度値の分類に基づいてフィルタ処理された画像の特徴的な暗特性値を計算することと、入力画像が局所的コントラスト強調を受けるかどうかを決定するために、その暗特性値を閾値と比較することと、をさらに備える。

この方法では、バイラテラルフィルタを適用することは、入力画像から得られた低解像度画像にバイラテラルフィルタを適用することを含むことができる。特性値を計算すること及び比較することは、画像の画素の赤色成分値を用いて赤色特性値を計算すること、及びその赤色特性値を閾値と比較することを含むことができる。暗特性値を計算することは、分類のうちの１つの分類に含まれる画素数の割合を計算することを含むことができる。画像の暗特性値を閾値と比較することは、その画像が局所的コントラスト強調を受けるかどうかについて真又は偽の結果を返す論理式にその比較を統合することを含むことができる。

暗特性値及び赤色特性値を計算することは、画像の合計画素数に対する、輝度値の第１分類に含まれる画素数の割合として第１の暗特性値を計算することと、画像の合計画素数に対する、輝度値の第２分類に含まれる画素数の割合として第２の暗特性値を計算することと、輝度値の第１分類に含まれる画素の赤色成分の値のメジアン（中央値、median）として第１の赤色特性値を計算することと、輝度値の第２分類に含まれる画素の赤色成分の値のメジアンとして第２の赤色特性値を計算することと、輝度値の第３分類に含まれる画素の赤色成分の値のメジアンとして第３の赤色特性値を計算することと、をさらに含むことができる。

暗特性値及び赤色特性値を閾値と比較することは、その画像が局所的コントラスト強調を受けるかどうかについて真又は偽の結果を返す論理式にその比較を統合することを含むことができる。

以下に、本発明の実施の形態を、図面を用いて詳細に説明する。

図１を参照すると、好適な印刷システム及び／又は画像強調システム１０は、例えばスキャナ、デジタルカメラ、又はパーソナルコンピュータなどの画像入力装置２０を含む。画像入力装置２０は、デジタル写真などのデジタル画像を受信し、かつ／又は、そのようなデジタル画像をシステムに入力する。入力装置２０から入力する代わりに、パーソナルコンピュータ又はデジタルカメラのメモリから入力画像を取り出すこともできる。入力画像は、カラー画像又は白黒画像であってよい。また、入力画像は、カラー画像についてはＲＧＢ色空間の信号として、又は白黒画像については何らかの形式のグレースケール（gray scale）すなわち強度空間の信号として、入力することができる。ここで言及される色情報及び／又は色強度は、当業者に知られている適切な形式の白黒情報を示すことができ、かつ／又は、含むことができることがわかる。図１に示すように、入力画像は処理装置３０に向かって導かれる。処理装置３０は、入力画像のコントラスト強調のための方法又は処理を適用する。例えば、処理装置３０は、コントラスト強調を含む入力画像の強調のために入力画像に対する処理を行うソフトウェアとして実現できる。処理装置３０は、ハードウェア及び／又はいくつかの装置を適切に備えることができる。例えば、処理装置３０は、入力画像が局所的コントラスト強調を受けるかどうかを決定するよう設計された分類部３１と、画素の色情報をＲＧＢ色空間から輝度色空間へ変換するよう設計された色情報変換部３２と、画像を低解像度画像にダウンサンプリングしてシステム／方法の計算速度を向上させるよう設計されたダウンサンプラ３３と、を備えることができる。さらに、処理装置３０は、入力画像のエッジ（境界、edge）を保存したまま入力画像をローパスフィルタ処理するよう設計されたバイラテラルフィルタ３４と、さらなる処理のために入力画像を下位画像又は下位部分に分割するよう設計された分割部３５と、入力画像及び／又は入力画像の下位画像に対してコントラスト強調変換を生成し、かつ／又は適用するよう設計された変換生成部３６と、を備えることができる。これらの装置のいくつか及び／又はすべてを処理装置３０内に実現してもよいし、実現しなくてもよいことがわかる。また、これらの装置のいくつか及び／又はすべてをソフトウェアとして実現できることがわかる。次に、強調された画像は出力装置４０に導かれ、かつ／又は、提供される。出力装置４０は、例えば、プリンタ又はビデオ画面などの、強調された画像が表示される装置である。又は、強調された画像を、メモリ又はその他の記憶装置へ導いてもよい。例えば、出力装置４０は、乾式複写式（xerographic）若しくはインクジェット式、又はその両方を組み合わせたプリンタであってもよい。また、入力装置、処理装置、及び出力装置は、印刷及び／又は視覚的表示の機能を含む多機能装置に統合することもできる。

図２を参照すると、入力画像の局所的コントラスト強調方法５０が示されている。ステップ６０は、入力画像が局所的コントラスト強調を受ける利点があり、かつ局所的コントラスト強調によって入力画像が著しく損なわれる危険がないかどうかを判断し、したがって、入力画像が局所的コントラスト強調を受けるかどうかを効果的に判断する。コントラスト強調処理を受ける利点は、画像がユーザ及び／又はその画像の観察者に対してより魅力的になることである。ステップ６０については、図３及び図４を参照して後に詳述する。

図２のステップ６０で、入力画像が局所的コントラスト強調を受けることが決定されると、この方法／処理は、ステップ７０に進む。ステップ７０では、画像内の画素の色情報が、例えばＹＩＱ、ＹＥＳ、又はＬ＿^*ａ＿^*ｂ＿^*などの輝度色空間に変換される。適切なことに、画素の色情報が適切な色空間で受け取られた場合、すなわち画素が輝度成分を有する場合、変換処理は選択的に無視又はスキップされる。好適な実施形態では、入力画像の色情報は、ＲＧＢ色空間で受け取られる。当技術分野でよく知られているように、ＲＧＢ色空間では、各画素の色は、赤色成分、緑色成分、及び青色成分によって決定される。この情報は、輝度値又は明度（brightness）値Ｙ又はＬと、色相（hue）及び彩度（saturation）の値を表す色差値（例えば、Ｉ、Ｑ又はＥ、Ｓ、又はａ、ｂ又はｕ、ｖ）と、を有する色空間に変換される。好適な実施形態では、色情報は、ＹＩＱ色空間に変換される。ＹＩＱ色空間は、時計回りに３３度回転されていること以外は、ＹＵＶ色空間と類似する。したがって、ＹＩＱ色空間では、Ｙは輝度値を表し、Ｉはオレンジ‐青色軸に沿った色差値を表し、Ｑは、紫‐緑色軸に沿った色差値を表す。

色情報が輝度色空間に変換された後、ステップ８０で、色変換された入力画像（Ｙ）の輝度値又は明度値は、ダウンサンプリングされて、入力画像のダウンサンプリング画像（Ｙ_lO）が得られる。入力画像から得られたダウンサンプリング画像は、画素の輝度値のいくつかが破棄された低解像度画像である。ダウンサンプリングは、好適な実施形態においてより少ない計算量で処理できる画像情報を提供する。好適な実施形態では、画像は、整数要素（integer factor）によって、例えば３２０×２４０などの、ある適切な目標解像度にダウンサンプリングされる。ダウンサンプリングは、画像の下位サンプリングに先行して行われる。

ステップ９０では、ダウンサンプリングされた画像はバイラテラルフィルタを用いてローパスフィルタ処理される。非特許文献１では、ドメイン（domain）フィルタリング及びレンジ（range）フィルタリングを統合したフィルタリングがバイラテラルフィルタリングとして示される。バイラテラルフィルタリングの基盤となる発想は、伝統的なフィルタがドメインにおいて行うことを画素のレンジにおいて行うことにある。２つの画素は、互いに近傍である、すなわち、空間的に近い位置を占めることができる。又は、２つの画素は、互いに類似である、すなわち、おそらく知覚的に意味のある形式で近い値を有することができる。近傍度はドメインにおける近さを示し、類似度はレンジにおける近さを示す。伝統的なフィルタリングは、ドメインフィルタリングであり、画素の値を距離に従って減少する係数で重み付けすることによって近傍度を強調する。同様に、レンジフィルタリングは、非類似度に従って減衰する重みを用いて画像の値を平均することで定義される。レンジフィルタは、重みが画像の強度又は色に依存するので、非線形である。バイラテラルフィルタリングは、ｘでの画素の値を類似の及び近傍の画素の値の平均に置き換える。したがって、なめらかな（smooth）領域では、小近傍内の画素の値は互いに類似する。その結果、バイラテラルフィルタは本質的に標準のドメインフィルタとして機能し、ノイズによって生じた画素値の間の相関する差分を平均化するだけでなく、コントラストを強調すべき弱い特性値も平均化する。次に、画像の暗い領域と明るい領域との間のはっきりとした境界について考える。バイラテラルフィルタの中心が、例えば、境界線上の明るい側の画素に置かれた場合、類似度関数は、境界線上の同じ側の画素については１に近い値を取り、境界線上のもう一方又は暗い方の側の画素については０に近い値を取る。

また、非特許文献２にも、バイラテラルフィルタリングについて記載がある。非特許文献２には、異方性拡散（anisotropic diffusion）の代替として、非特許文献１の著者であるトマシ（Tomasi）及びマンドゥッチ（Manduchi）によってバイラテラルフィルタリングが開発されたとしている。バイラテラルフィルタは、非線形フィルタであって、その出力は入力の平均が重み付けされた値である。非特許文献２では、標準ガウスフィルタ（Gaussian filter）を空間的カーネル（spatial kernel）ｆで開始する。しかしながら、画素の重みは、強度領域の関数ｇにも依存する。関数ｇは、強度の差分の大きい画素の重みを減少させる。関数ｇは、非特許文献３におけるエッジストッピング関数（edge‐stopping function）と同様のものであってよい。すると、ある画素ｓについてのバイラテラルフィルタの出力は、

であり、ここで、ｋ（ｓ）は正規化項、

である。

上記の式では、Ｊ_sは、計算対象画素ｓについてのバイラテラルフィルタの出力である。ｆ（ｐ−ｓ）は、計算対象画素ｓからの画素ｐの空間的な距離に基づいて画素ｐについての重みの値を求める関数である。ここで、画素ｐは、計算対象画素ｓの小近傍Ωの一要素である。ｇ（Ｉ_p−Ｉ_s）は、画素ｐと計算対象画素ｓとの間の輝度強度の差Ｉ_p−Ｉ_sに基づいて画素ｐについての重みの値を求める関数である。ここで、画素ｐは、計算対象画素ｓの小近傍Ωの一要素である。各画素ｐについて、２つの重みの値が画素ｐの輝度強度Ｉ_pに乗じられ、これらの積の和が（正規化項ｋ^-1（ｓ）で乗じられて）正規化され、バイラテラルフィルタの出力が与えられる。実際には、空間領域では、ｆとしてガウシアン（Gaussian）が用いられ、強度領域では、ｇとしてガウシアンが用いられる。したがって、画素ｓでの値は、主に、空間的に近傍の画素及び類似の強度を有する画素の影響を受ける。この式をカラー画像に拡張するのは容易であり、画素の距離ｇとして何を用いてもよい（例えば、ＣＩＥ‐ＬＡＢ）。

上記のように、バイラテラルフィルタリングは、適切に、計算対象画素により近傍の画素及び計算対象画素とより類似の輝度値を有する画素に対してはより大きな重みを与え、かつ／又は、それらの画素の影響がより大きくなるようにすることによって、画像のエッジを保存する。適切なことに、計算対象画素から空間的により遠い画素及び計算対象画素との輝度値の差がより大きい画素に対してはより小さな重みが与えられ、かつ／又は、それらの画素の影響がより小さくなる。例えば、画素のエッジ部分では、より暗い輝度値を有する画素とより明るい輝度値を有する画素とが、比較的近傍にあり、又は隣り合うことさえあり得る。これらの画素は大きく異なる輝度値を有するので、空間的には計算対象画素の近傍にあるかもしれないにも関わらず、出力画素の輝度値の計算におけるこれらの画素の影響は、計算対象画素の輝度値に近い又は等しい輝度値を有する画素と比較して小さくなる。一方、背景領域の画素は、輝度値の差が比較的小さくなる。したがって、背景領域の画素は、計算対象画素の出力値に対して、より大きな重みを有し、かつ／又は、より大きな影響を与える。好適な実施形態においては、ダウンサンプリングされた画像Ｙ_loはバイラテラルフィルタを用いてフィルタ処理され、フィルタ処理後の画像Ｙ_blfが生成される。

ステップ１００では、入力輝度値を出力輝度値に対応付ける非線形変換が推定される。ダウンサンプリングされ、かつフィルタ処理された画像は、下位画像及び／又は下位領域に分割される。適切なように、下位画像は、互いに隣り合っていても良いし、異なる形状及び大きさを有しても良い。特許文献２は、分割された下位画像及び／又は下位領域について好適な実施形態を示す。各下位画像に対して、入力輝度値を出力輝度値に対応付けることで、下位画像変換が推定される。好適な実施形態においては、下位画像内に生じ得る各輝度値を有する画素の個数をプロットすることで、各下位画像についてヒストグラムが導出される。下位画像の単調な調子再現曲線（tone reproduction curve，ＴＲＣ）が、このヒストグラムから推定される。下位画像の単調なＴＲＣは、例えば最小二乗フィット又は最小二乗モデルで、Ｙ_lo（ダウンサンプリングされた画像）をＹ_blf（バイラテラルフィルタ処理された画像）に対応付けることで推定される。適切なように、ＴＲＣは、単調な動的計画法を用いて推定することができる。動的計画法は、可能な入力群から可能な出力群への「最良」経路を選択する。この経路は、中間状態又はノードを有する。この経路において、ある状態から他の状態への、経路に沿った移動には、コストが関連付けられている。動的計画法アルゴリズムは、最小のコストと関連付けられた経路を選択する。例えば、好適な実施形態では、下位画像のＹ_loからＹ_blfへの対応付けのためのＴＲＣを推定するのに、動的計画法が用いられる。この好適な実施形態では、あるＹ_loの値から次の値への移動は、分散の二乗が可能な限り小さくなるように選択される。他の１つの実施形態では、単調動的計画法のために正規化項を用いることができる。さらに他の１つの実施形態では、最小二乗モデルで、容認可能な推定値が得られない場合は、容認可能な推定値が得られるまで、下位画像をより小さな下位画像にさらに分割することができる。

下位画像について非線形変換が推定された後、ステップ１１０で、いくつかの選択された下位画像変換が統合されて、出力変換が形成される。形成された出力変換は、入力画像中の計算対象画素に適用される。適切なように、計算対象画素の近傍にある１、２、３、４又はそれ以上の下位画像変換を統合して、出力変換を形成してもよい。さらに、下位画像変換を適切に重み付けすることができる。例えば、それぞれの下位画像の中心から計算対象画素への距離に従って下位画像変換を重み付けすることができる。代わりに、下位画像変換の重み付けをまったく行わなくても良い。好適な実施形態では、計算対象画素の近傍にある４つの下位画像の単調なＴＲＣが統合されて、出力変換が形成される。例えば、図５を参照すると、入力画像（説明をわかりやすくするため図示していない）は、下位画像又は下位領域に分割されている。適切なように、図５では、下位画像は均等な大きさであり、かつ四角形である。上述のように、下位画像は他の形状及び大きさを有していても良い。図５の下位画像は、Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｎ１、…、Ｏ４、Ｐ１、Ｐ２、Ｐ３、及びＰ４とラベル付けされる。図５に示すように、計算対象画素Ａは、下位画像Ｎ３内に位置する。破線四角形９ａは、下位画像Ｎ２、Ｎ３、Ｏ２、及びＯ３の中心を結ぶ。画素Ａはまた、破線四角形９ａ内に位置する。したがって、Ｎ２、Ｎ３、Ｏ２、及びＯ３の下位画像変換が統合されて、計算対象画素Ａの出力変換が形成される。代わりに、画素Ｂが計算対象画素である場合、下位画像Ｍ３、Ｍ４、Ｎ３、及びＮ４の下位画像変換が統合されて出力変換が形成される。下位画像Ｍ３、Ｍ４、Ｎ３、及びＮ４の中心を結ぶ破線四角形９ｂによって画素Ｂが囲まれる場合に、下位画像Ｍ３、Ｍ４、Ｎ３、及びＮ４が選択される。さらに、画素Ｃが計算対象画素である場合、下位画像Ｎ３、Ｎ４、Ｏ３、及びＯ４の中心を結ぶ破線四角形９ｃによって画素Ｃが囲まれているので、下位画像Ｎ３、Ｎ４、Ｏ３、及びＯ４が統合されて出力変換が形成される。この例から理解できるように、３つの画素Ａ、Ｂ、及びＣはすべて同じ下位画像内に含まれるにも関わらず、これらの画素に対して異なる出力変換が形成され、適用される。４つのＴＲＣは、双線形補間（bilinear interpolate）として統合される。双線形補間は、色変換された入力画像Ｙに適用され、それによって出力画像Ｙ_outが生成される。双線形補間は、新しい画素に対して新しい輝度値を生成する。そうすることで、出力画像Ｙ_outのための最初の入力画像の解像度を再生成する。

最後に、ステップ１２０で、出力画像Ｙ_outに対して、色空間逆変換が適用される。好適な実施形態において、出力画像（Ｙ_out）は、対応する色差成分値とともに、変換されてＲＧＢ色空間に戻される。これによって、コントラスト強調された画像Ｉ_enhancedが生成される。入力画像Ｙの色差値は、輝度値に対する色差値の割合が維持されるように正規化されることができる。したがって、Ｉ_enhancedについて、Ｒ_enhanced＝α＊（Ｒ_in＊Ｙ_out／Ｙ_in）＋（１−α）＊（Ｒ_in＋Ｙ_out−Ｙ_in）、Ｇ_enhanced＝α＊（Ｇ_in＊Ｙ_out／Ｙ_in）＋（１−α）＊（Ｇ_in＋Ｙ_out−Ｙ_in）、及びＢ_enhanced＝α＊（Ｂ_in＊Ｙ_out／Ｙ_in）＋（１−α）＊（Ｂ_in＋Ｙ_out−Ｙ_in）である。ここで、αは調整可能な定数である。

図３を参照すると、局所的コントラスト強調が入力画像に対して有益かどうかを判定する、効果的な決定及び又は判定の方法１３０が示される。図３に示す方法１３０は、さらに、図２のコントラスト強調分類部６０を記述する。入力画像１４０をシステム１０（図１）が受け取る。ステップ１５０では、入力画像１４０がダウンサンプリングされて、低解像度画像になる。ダウンサンプリングされた画像では、適切に小さな画素群、例えば２×２又は３×３の画素群が平均されて、その小さな画素群を代表する、新しい単一の画素を形成する。したがって、最初の入力画像中のいくつかの画素は破棄され、最初の画像よりも低解像度の画像が生成される。ダウンサンプリング処理は、上述の図２のステップ８０と同じ処理でも良いし、代わりに他の処理でも良い。

ステップ１６０では、低解像度画像は、バイラテラルフィルタを用いてローパスフィルタ処理される。バイラテラルフィルタは、画像のエッジを保存した上で、画像の背景をなめらかにする。上述の通り、計算対象の出力画素が、周囲の画素の重み付けされた平均を用いて計算される。周囲の画素に与えられる重みは、周囲の画素と計算対象画素との空間的な近さと、周囲の画素の輝度値と計算対象画素の輝度値との類似度と、によって決定される。再び、このバイラテラルフィルタ処理は、上述の図２のステップ９０で用いられた処理と同様の処理でも良いし、又は、代わりに他の処理であっても良い。

ステップ１７０は、画素の輝度値又は明度に基づいた分類に、フィルタ処理された画像の画素を分割する処理を示す。適切なように、画素の輝度値は、少なくとも２つの分類にグループ分けされる。しかしながら、分類の数は２つ以上でも以下でもよい。例えば、２、３、４、又はそれ以上の数、最大で画像のグレーレベルの数に対応する数、の分類に値を分割することができる。好適な実施形態では、画素の輝度値は４つの分類に分割される。これらの分類は、画素の輝度ゲイン曲線の転移に対応する境界値を有する。図４に示すような輝度ゲイン曲線は、画像のゲイン関数Ｇ（Ｙ）を示し、バイラテラルフィルタ処理された入力画素の輝度値（Ｂ）を、出力画素の輝度値（Ｙ^*Ｇ（Ｙ））に対応付ける。図４のグラフは、３つのゲイン曲線を示す。曲線Ｉは、輝度値ゲインなしに対応し、曲線ＩＩは、入力画素の輝度値を背景画素の輝度値のある力率で除することで導出された輝度値ゲインに対応し、曲線ＩＩＩは、好適な実施形態での輝度値ゲインを示す。

図３からわかるように、好適な実施形態での曲線である曲線ＩＩＩには、２点の明確な転移又は変化を示す。第１の転移は、入力輝度値が約１８単位、すなわちＹ＝１８に届く点で生じる。ゲイン曲線における第２の変異は、入力輝度値が約１６０、すなわちＹ＝１６０単位に届く点で生じる。好適な実施形態では、これらの輝度値が、分類方法１３０における分類の境界値として用いられる。分類１は、１８単位よりも小さい輝度値（Ｙ＜１８）を有する画素を含む。分類２は、１８単位と５４単位との間の輝度値（１８≦Ｙ＜５４）を有する画素を含む。５４単位（＝１８の３倍）という値は、強調処理後の入力画素の最も暗い領域内の画素についての最大値であるため、分類２の境界として選択された。分類３は、５４単位と１６０単位との間の輝度値（５４≦Ｙ＜１６０）を有する画素を含み、分類４は、１６０単位以上の輝度値（Ｙ≧１６０）の輝度値を有する画素を含む。ここで、輝度値は、それに関連付けられた任意の単位を有することに注意されたい。このように、輝度値は、互いに関連がある、又は互いに比較されることで、意味を持つ。

再び図３を参照すると、ステップ１８０では、画像の暗特性値が、フィルタ処理された画像から抽出され、かつ／又は、計算される。暗特性値は、画像の画素の輝度値に関係する。画像がカラー画像である場合、赤色特性値もまた、抽出され、かつ／又は、計算されてよい。ここで、赤色特性値は、画像の画素の赤色成分値に関係する。好適な実施形態では、２つの暗特性値が定義される。これら２つの暗特性値は、画像内の総画素数に対する暗い画素の割合を測る。画像内でより暗い領域の画素の赤色成分の値及び／又は影響を測る、３つの赤色特性値が定義される。画像が全体として比較的明るい場合、局所的コントラスト強調は、画像に価値を与える、又は画像にとって有益である、とは知覚されないことがユーザ実験によって示された。これらの実験は、画像の暗い領域内の望ましくないノイズが強調された場合、コントラスト強調が画像にとって有益であるとは知覚されずに、むしろ実際は画像がコントラスト強調によって損なわれていると知覚されたことも示した。すなわち、コントラスト強調なしの方が、ユーザ又は観察者にとって画像がより魅力的であると知覚された。又は、局所的コントラスト強調がなされた画像よりも、大域的コントラスト強調がなされた画像の方が、より魅力的であると知覚された。

好適な実施形態では、適切なように、図３のステップ１８０で、５つの特性値が計算される。例えば、第１の暗特性値ｍ１は、分類１（Ｙ＜１８）内の画素数を画像の総画素数で除した値として定義される。第２の暗特性値ｍ２は、分類２（１８≦Ｙ＜５４）内の画素数を画像の総画素数で除した値として定義される。適切なことに、入力画像の最も暗い領域のみが、この判定方法で用いられる。入力画像の最も暗い領域は、すなわち、より暗い分類に関連する領域、例えば分類１及び分類２の領域である。第１の赤色特性値ｒ１は、分類１内の画素の赤色成分値（ＲＧＢ色空間のＲ）のメジアンとして定義される。第２の赤色特性値ｒ２は、分類２内の画素の赤色成分値のメジアンとして定義される。そして、第３の赤色特性値ｒ３は、分類３内の画素の赤色成分値のメジアンとして定義される。代わりに、すべての分類よりも少ない分類についての赤色成分値を赤色特性値として用いることができるし、又は、すべての赤色特性値を取り除くこともできることが理解されるだろう。特に、その分類の赤色特性値がユーザ及び／又は観察者の好みにほとんど又は全く影響しないと判定された分類についての赤色成分値は、取り除く又は無視することができる。

好適な実施形態では、５つの特性値が閾値（ｄ１、ｄ２、ｄ３、ｄ４、及びｄ５）と比較され、論理演算子を用いて分類式に統合される。適切なように、閾値は、以下に述べるように、実験的に及び／又は経験的に決定することができる。分類式の一例が、ステップ１９０−２３０で定義される。ステップ１９０及び２００では、暗特性値ｍ１及びｍ２が、それぞれの閾値ｄ１及びｄ２と比較される。ｍ１又はｍ２のどちらかが、それぞれｄ１又はｄ２よりも大きい場合、方法は、ステップ２１０に進む。ステップ２１０では、ｍ１及びｍ２の両方が、それぞれｄ１又はｄ２以下である場合、方法はステップ２５０に進む。ステップ２５０では、分類部は、入力画像にとって局所的コントラスト強調は有益でない、したがって、入力画像は局所的コントラスト強調を受けない、と判定する。ステップ２１０−２３０では、画像の赤色特性値が、それぞれの閾値と比較される。ｒ１、ｒ２、又はｒ３が、それぞれの閾値ｄ３、ｄ４、及びｄ５以上である場合、分類方法は、ステップ２５０に進む。ステップ２５０では、入力画像にとって局所的コントラスト強調は有益でない、したがって、入力画像に対して局所的コントラスト強調を実行すべきでない、と判定する。しかしながら、ｒ１、ｒ２、及びｒ３のすべてがそれぞれの閾値ｄ３、ｄ４、及びｄ５よりも小さい場合は、方法はステップ２４０に進む。ステップ２４０では、分類部は、入力画像にとって局所的コントラスト強調が有益であり、入力画像は局所的コントラスト強調を受けた方がよい、と判定する。

上述のステップ１９０−２３０からわかるように、論理式は、次のような式である。

項ｄ１、ｄ２、ｄ３、ｄ４、及びｄ５は、それぞれ５つの特性値の閾値であり、式Ｄの計算結果は、真又は偽のどちらかである。「真」は、入力画像にとって局所的コントラスト強調が有益であり、したがって、入力画像は局所的コントラスト強調を受けた方がよい、ということを示す。「偽」は、入力画像にとって局所的コントラスト強調は有益でない、したがって、入力画像は局所的コントラスト強調を受けるべきでない、ということを示す。このように、画像の分類は、特性値とそれぞれの閾値との比較によって判定される。

適切なことに、閾値及び論理演算子は、実験及び／又は経験的な証拠に基づいて学習され、かつ／又は、選択される。例えば、好適な実施形態では、閾値及び（閾値と画像の特性値とを比較する）論理式は、５０の画像の訓練集合（training set）に基づいて選択された。これら５０の画像の集合は、３０人のユーザ／観察者グループによって評価された。訓練集合の各画像について、３つの経験的確率が計算された。この３つの確率は、ユーザ／観察者が局所的コントラスト強調された画像を好む確率（Ｐ）、ユーザ／観察者が大域的コントラスト強調された画像を好む確率（Ｑ）、及び、ユーザ／観察者が画像に好みの順位をつけない確率（Ｒ）である。実験における分類部に関して、Ｐ＞０．５かつＱ＜０．２５の画像はすべて、肯定的な例であるとみなされた。すなわち、そのような画像は局所的コントラスト強調を受けるべきであるとみなされた。この条件を満たさない画像はすべて、否定的な例であるとみなされた。すなわち、そのような画像は局所的コントラスト強調を受けるべきでないとみなされた。最適な分類部の閾値を発見するために、適当な区間にわたって総当り検索が実行された。総当り検索では、適当な区間にわたって、分類部の論理式において可能な閾値データの組み合わせのすべてを試す必要があった。可能な閾値データの組み合わせのすべてを試すことによって、どの閾値条件が最適な分類部を生成するかが決定された。すなわち、総当り検索では、特定の条件、例えばＰ＞０．５かつＱ＞０．２５、を最小量の誤差で満たすような分類部が生成されるまで、論理方程式の比較における閾値の組み合わせを試す必要があった。誤差は、分類を誤った画像の数を画像の総数で除した値である。総当り検索の結果、分類部の閾値として次の値が得られた。
ｄ１＝−０．４、ｄ２＝０．２、ｄ３＝０．０、ｄ４＝０．１、及びｄ５＝０．１
決定された上述の閾値は、画像特性値の正規化を反映する。特性値は計算で求められた後、平均を引いて標準偏差で除すことで正規化された。したがって、ユーザ実験によって決定された閾値を用いた分類部の式は、

である。さらなる実験及び経験的データに基づいた他の閾値を代わりに用いてもよいことが理解されるだろう。

１つの好適な実施形態の態様を実行するのに適したシステムを示すブロック図である。 １つの好適な実施形態の方法を示すブロック図である。 １つの好適な実施形態を実行する方法を示すフローチャートである。 １つの好適な実施形態の輝度ゲイン曲線（luminance gain curve）を示すグラフである。 １つの好適な実施形態において、画像の下位画像への分割を示す図であって、どの下位画像が計算対象画素と関連するかを示す図である。

符号の説明

１０ 画像強調システム、２０ 入力装置、３０ 処理装置、３１ 分類部、３２ 色情報変換部、３３ ダウンサンプラ、３４ バイラテラルフィルタ、３５ 分割部、３６ 変換生成部、４０ 出力装置。

Claims (2)

1. 入力画像のコントラスト強調方法であって、
   ダウンサンプリングされた入力画像をローパスフィルタでフィルタ処理するステップと、
   前記ダウンサンプリングされた画像を下位画像の集合に分割するステップと、
   少なくとも１つの前記下位画像について、その下位画像のフィルタ処理前の輝度値をその下位画像のフィルタ処理後の輝度値に対応付ける下位画像変換を導出するステップと、
   前記入力画像中の計算対象画素について、少なくとも１つの下位画像変換を選択するステップと、
   前記選択された下位画像変換から出力変換を生成するステップと、
   前記出力変換を前記入力画像中の前記計算対象画素に適用するステップと、
   前記フィルタ処理するステップ、前記分割するステップ、前記導出するステップ、前記選択するステップ、前記生成するステップ、および前記適用するステップを含むコントラスト強調処理を前記入力画像に対して実行するか否かを決定するステップと、
   を備え、
   前記決定するステップは、
   前記入力画像をダウンサンプリングして得られる低解像度画像を前記ローパスフィルタでフィルタ処理するステップと、
   前記低解像度画像を前記ローパスフィルタでフィルタ処理した結果の画像に含まれる画素を、各画素の輝度値に基づいて、２以上の分類に分類するステップと、
   前記２以上の分類のうち最小の輝度値を有する画素を含む分類について、当該分類に含まれる画素の数を用いて、前記入力画像の暗特性値を算出するステップと、
   前記２以上の分類のうち最小の輝度値を有する画素を含む分類について、当該分類に含まれる画素の赤色成分値を用いて、前記入力画像の赤色特性値を算出するステップと、
   算出された暗特性値および算出された赤色特性値のそれぞれを、前記暗特性値および前記赤色特性値のそれぞれに対して予め決定された閾値と比較した結果に基づいて、前記コントラスト強調処理の実行の可否を決定するステップと、
   を含む、
   ことを特徴とする方法。
2. 入力画像のコントラスト強調システムであって、
   ダウンサンプリングされた画像をローパスフィルタ処理するよう設計されたバイラテラルフィルタと、
   前記ダウンサンプリングされた画像を下位画像に分割するよう設計された分割部と、
   少なくとも１つの前記下位画像について、前記下位画像のフィルタ処理前の輝度値が前記下位画像のフィルタ処理後の輝度値に対応付けられるような下位画像変換を生成し、前記入力画像中の計算対象画素について、少なくとも１つの前記下位画像変換を選択し、前記選択された下位画像変換から出力変換を生成し、前記出力変換を前記入力画像の前記計算対象画素に適用するよう設計された変換生成部と、
   前記バイラテラルフィルタ、前記分割部、および前記変換生成部により行われるコントラスト強調処理の実行の可否を決定する分類部と、
   を備え、
   前記分類部は、前記入力画像をダウンサンプリングして得られる低解像度画像をローパスフィルタ処理し、前記低解像度画像をローパスフィルタ処理した結果の画像に含まれる画素を、各画素の輝度値に基づいて、２以上の分類に分類し、前記２以上の分類の最小の輝度値を有する画素を含む分類について、当該分類に含まれる画素の数を用いて、前記入力画像の暗特性値を算出し、前記２以上の分類のうち最小の輝度値を有する画素を含む分類について、当該分類に含まれる画素の赤色成分値を用いて、前記入力画像の赤色特性値を算出し、算出された暗特性値および算出された赤色特性値のそれぞれを、前記暗特性値および前記赤色特性値のそれぞれに対して予め決定された閾値と比較した結果に基づいて、前記コントラスト強調処理の実行の可否を決定する、
   ことを特徴とするシステム。

Images