JP4448218B2 - デジタルカラー画像のトーンスケールを調整する時に空間ディテールとカラーコンテンツを保存する方法 - Google Patents
デジタルカラー画像のトーンスケールを調整する時に空間ディテールとカラーコンテンツを保存する方法 Download PDFInfo
- Publication number
- JP4448218B2 JP4448218B2 JP36606599A JP36606599A JP4448218B2 JP 4448218 B2 JP4448218 B2 JP 4448218B2 JP 36606599 A JP36606599 A JP 36606599A JP 36606599 A JP36606599 A JP 36606599A JP 4448218 B2 JP4448218 B2 JP 4448218B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- tone scale
- image
- extended
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 32
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical group C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 23
- 239000003607 modifier Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 102000016550 Complement Factor H Human genes 0.000 description 1
- 108010053085 Complement Factor H Proteins 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
Description
【０００１】
【発明の属する技術分野】
本発明は、一般にデジタルカラー画像処理の分野に関し、特にデジタルカラー画像のトーンスケールを調整する時に空間ディテールとカラーコンテンツを保存する方法に関する。
【０００２】
【従来の技術】
デジタルカラー画像にトーンスケール関数を適用する既存の方法としては、オリジナルのデジタルカラー画像を輝度−色表現に変換し、色差信号を保存しながら輝度チャンネルへトーンスケール関数を適用する方法などがある。これらのトーンスケール関数適用法では、処理された画像の色の鮮鋭性と発現性とが変わる。
【０００３】
リー（Ｌｅｅ）らの米国特許第５，０１２，３３３号には、デジタルカラー画像にトーンスケール関数を適用し、空間ディテール情報を保存することを目的とする方法が記載されている。この方法が提唱するのは、ＦＩＲフィルタを用いてデジタル画像を高空間周波数成分と低空間周波数成分へ分離することである。次に、トーンスケール関数をオリジナル画像の低空間周波数成分のみに適用する。最終的な処理された画像は、トーンスケールが適用された低空間周波数成分に高空間周波数成分を後から加えることによって生成される。更に、米国特許第５，０１２，３３３号に記載の方法には、オリジナルのデジタルカラー画像を輝度−色表現に変換し、空間フィルタ技法で輝度成分にトーンスケール関数を適用し、色成分を保存する方法もある。
【０００４】
輝度コントラストが修整され色コントラストが保存されると、その結果得られる処理画像の色飽和特性が人工物的で不自然に見える恐れがある。この問題に対処する努力の一つとして、ヴィジアノ(Viggiano）とワン(Wang）は、１と複製／オリジナルのＬ＊レンジ比との中間の係数をデジタルカラー画像のクロマ信号に乗じる方法を提唱した（1992 TAGA Proceedings:A Comparison of Algorithms for Mapping Color Between Media of Differing Luminance Ranges, pp.959-974を参照のこと)。しかし、この解法は、入力の強度に依存する圧縮レベルを変えるトーンスケール関数を考えに入れていない。従って、入力画像のクロマ信号を単一の係数でスケーリングするのは、そのとり得る値域が広いトーンスケール関数には不適当である。
【０００５】
更に、米国特許第５，４４６，５０４号では、画像のダイナミックレンジを圧縮する時の色飽和を補正する方法をワダ(Wada）が記載している。しかし、この方法でも、入力画像ダイナミックレンジと出力画像ダイナミックレンジとの関係に基づく補正係数を定めている。
【０００６】
更に、米国特許第５，６３８，１３８号では、入力画像の輝度信号を修整し、次に「色成分に輝度の修整／無修整トランスファー比を乗じ、修整された色成分を得る」方法をヒックマン（Hickman）が記載している。しかし、この方法も、トーンスケール関数が幾つかの範囲でそのレベルがいろいろ変わるコントラスト圧縮または強調で構成されることを、考えていない。
【０００７】
米国特許第５，０１２，３３３号に記載の、空間フィルタを用いてデジタルカラー画像の輝度信号表現にトーンスケール関数を適用する方法は、処理された画像に空間ディテールを保存するのは確かである。しかし、処理された画像の空間ディテールがこの方法で改良される一方で、処理された画像の色特性が影響される恐れがある。更に、使用空間フィルタのサイズを、最適な結果を得るように選択しなければならない。輝度信号にトーンスケールを適用する空間フィルタ法と、色信号修整とを組み合わせることは、自然である。これらの方法を組み合わせて処理された画像は、空間ディテールが改良されるとともに、より自然な色特性を有する画像となる。
【０００８】
【発明が解決しようとする課題】
空間フィルタ技法によってデジタルカラー画像にトーンスケール関数を適用する方法は、色特性に影響を及ぼす。特に、トーンスケール関数適用の際に用いられる空間フィルタのサイズは、色特性に影響を及ぼす。従来技術に記載のどの方法も、輝度信号へトーンスケール関数を適用するのに用いられる空間処理に基づく画像色特性の修整については触れていない。
【０００９】
輝度信号へトーンスケール関数を適用するのに用いられる空間フィルタのサイズと、色信号を修整しなければならない程度との間には、相反する関係が存在する。従って、デジタルカラー画像にトーンスケールを適用しながら色信号の修正と輝度信号の修整とを調和させる方法の必要性が存在する。
【００１０】
【課題を解決するための手段】
本発明の目的は、デジタルカラー画像のトーンスケールを調整する時に空間ディテールとカラーコンテンツを保存する改良された方法を提供することにある。要約すれば、本発明の一つの実施形態では、本発明は、（ａ）デジタルカラー画像のトーンスケールを調整するトーンスケール関数を生成するステップと、（ｂ）空間フィルタを生成するステップと、（ｃ）前記デジタルカラー画像を輝度信号と色信号へ変換するステップと、（ｄ）前記空間フィルタを用いて前記輝度信号を処理してペデスタル信号、テクスチャ信号、ローパス信号を生成し、前記トーンスケール関数を前記ペデスタル信号に適用して画像特性を変え、これにより修整ペデスタル信号を生成し、スカラ定数により前記テクスチャ信号を増幅して修整テクスチャ信号を生成し、前記修整ペデスタル信号と前記修整テクスチャ信号を加算して拡張輝度信号を形成するステップと、（ｅ）前記ローパス信号、トーンスケール関数、及び空間フィルタを色修整器に入力し、前記色修整器は、前記ローパス信号レベルで評価された前記トーンスケール関数に従い、かつ、前記空間フィルタのサイズに従って色調整係数を算出し、前記色調整係数を前記色信号に適用して拡張色信号を生成し、前記拡張色信号と前記拡張輝度信号から拡張デジタルカラー画像を生成するステップとを有する。
【００１１】
本発明は、デジタルカラー画像のトーンスケールを変えながら空間ディテールとカラーコンテンツを保存するという利点を有する。本発明のキー要素は、デジタルフィルタの特性に基づいた色度修整と輝度修整との調和（コーディネーション）である。
【００１２】
【発明の実施の形態】
以下の説明では、本発明の好ましい実施形態をソフトウェアプログラムとして記載する。当業者ならば、そのようなソフトウェアと等価のものがハードウェアでも構成できることは容易に分かる。
【００１３】
図１を参照すると、ここには本発明の機能ブロック図が示される。本発明では、各々単一色に対応する複数のデジタル画像チャンネルの集まりからなるデジタルカラー画像が用いられる。最も普通の構成のデジタルカラー画像は、三本のデジタル画像チャンネル（赤、緑、青）を含む。デジタル画像チャンネル各々は光強度に対応するピクセル値から構成される二次元アレイである。
【００１４】
輝度信号は、輝度／色コンバータ１０でデジタルカラー画像のデジタル画像チャンネルから計算される。マルチカラー画像表現から輝度信号を生成する方法は一つならず存在する。本実施形態では、個々のカラーデジタル画像チャンネルピクセル値の一次結合を用いて、輝度信号ピクセル値を生成する。
【００１５】
【数１】
ｚｉｊ＝Σｋαｋｐｋｉｊ
ｚｉｊ項は、インデックスｉ，ｊで示される空間座標での輝度値を指す。ｐｋｉｊ項は、同じ空間座標でのｋ番目のカラー画像チャンネルのピクセル値を指す。αｋ項は、ｋ番目のカラー画像チャンネルについての重み付け係数を指す。本実施形態では、値０．２５，０．５０、０．２５のαｋをそれぞれ赤、緑、青の画像チャンネル重み付け係数として用いる。
【００１６】
色信号は、図１に示される輝度／色コンバータ１０で計算される。マルチカラー画像表現から色信号を生成する方法は一つならず存在する。本実施形態では、個々のカラーデジタル画像チャンネルピクセル値の一次結合を用いて、二個の色信号ピクセル値を生成する。第一色信号は、本明細書ではＣ１と称するが、リニアな重み−０．２５，０．５０，−０．２５を赤、緑、青の画像チャンネル重み付け係数として用いて、生成される。第二色信号は、本明細書ではＣ２と称するが、リニアな重み−０．５０，０．００，０．５０を赤、緑、青の画像チャンネル重み付け係数として用いて、生成される。
【００１７】
図１を参照すると、輝度／色コンバータ１０で生成された輝度信号と、トーンスケール関数とが、トーンスケールプロセッサ２０へ入力される。輝度／色コンバータ１０で生成された二個の色信号と、トーンスケール関数と、トーンスケールプロセッサ２０からのローパス輝度信号とは、色プロセッサ４０へ入力される。トーンスケールプロセッサ２０からの拡張輝度信号出力と、色プロセッサ４０で生成された二個の拡張色信号とが、ＲＧＢコンバータ３０へ入力される。
【００１８】
図１のＲＧＢコンバータ３０は、図１に示される輝度／色コンバータ１０の逆操作を行う。ＲＧＢコンバータ３０は、拡張輝度信号と二個の拡張色信号の入力から、一次結合式で三個の拡張デジタルカラー画像チャンネルを生成する。拡張赤デジタルカラー画像チャンネルは、リニアな重み１．０，−１．０，−１．０をそれぞれ輝度、第一色、第二色信号に対して用いて、生成される。拡張緑デジタルカラー画像チャンネルは、リニアな重み１．０，１．０，０．０をそれぞれ輝度、第一色、第二色信号に対して用いて、生成される。拡張青デジタルカラー画像チャンネルは、リニアな重み１．０，−１．０，１．０をそれぞれ輝度、第一色、第二色信号に対して用いて、生成される。
【００１９】
図２を参照すると、図１のトーンスケールプロセッサ２０の分解図がここに示されている。この場合、輝度信号は、以下に詳細に説明されるように、ペデスタルスプリッタ５０で二つの部分・・・ペデスタル信号とテクスチャ信号へ分割される。ペデスタル信号へは、トーンスケールアプリケータ６０を用いてトーンスケール関数を適用し、画像特性を変えて画質を向上させる。トーンスケール関数は、デジタル画像の相対的輝度、つまりコントラストを変える目的で適用できる。トーンスケールアプリケータ６０は、技術に周知なように、ルックアップテーブル（ＬＵＴ）を入力信号に適用することによって実現できる。入力値と出力値との１対１マッピングを示すトーンスケールの一例を、図６に示す。テクスチャ信号は、所望ならばテクスチャ修整器７０で増幅できるし、あるいは当業者が望むままに何か別の方法で変えることができる。このテクスチャ修整器７０の機能は、スカラ定数をテクスチャ信号へ乗算することでもよい。次に、修整テクスチャ信号と修整ペデスタル信号とが加算器８０で加算され、拡張輝度信号が形成される。加算器８０は、各入力信号からの二つのピクセル値を加算する操作を行う。
【００２０】
図３を参照すると、図２のペデスタルスプリッタ５０の分解図がここに示されている。ペデスタルスプリッタ５０へ送られた輝度信号入力は、好ましくはガウシアンフィルタ付の周波数スプリッタ９０を用いて、ハイパス信号とローパス信号にスプリットされる。使用する空間フィルタのサイズは、ガウシアンフィルタの標準偏差（シグマ、σ）で特徴付けられる。ガウシアンフィルタ標準偏差の好ましい値は、画像サイズ次第で変えられる。シグマ値としての２．５ピクセルという値は、本発明を１０２４×１５３６ピクセルサイズ画像について最適化して導かれたものである。このガウシアンフィルタは、二次元巡回対称ローパスフィルタであり、そのフィルタ係数は、技術に周知の以下の式を用いて導かれる。
【００２１】
【数２】
Ｇ（ｉ，ｊ）＝１／（σ√（２π））ｅｘｐ［−（ｉ２＋ｊ２）／（２σ２）］
ここに、Ｇ（ｉ，ｊ）＝（ｉ，ｊ）番目ピクセルのガウシアンフィルタ係数
σ＝ガウシアンフィルタの標準偏差（＝２．５）
π＝定数（約３．１４１５．．．）
ローパス信号は、以下に詳細に説明するように、回避(avoidance)信号を形成する回避信号発生器１００へ入る入力である。更に、ローパス信号は色プロセッサ４０への入力でもある。テクスチャ信号発生器１１０は、ハイパス信号と回避信号と両方を受け、両信号はその中で乗算され、テクスチャ信号が発生する。
【００２２】
ペデスタル信号発生器１２０は輝度信号とテクスチャ信号を受け、輝度信号からテクスチャ信号を減算し、ペデスタル信号を生成する。
【００２３】
図４を参照すると、ここには回避信号発生器１００の分解ブロック図が示される。ここでは、ローパス信号が、非方向性勾配信号を発生する非方向性自乗勾配計算器１３０への入力である。この計算は、先ず注目しているピクセルとそれに上方垂直方向に隣接している他のピクセルとの間の差分と、次に上記注目しているピクセルとそれに右へ水平方向に隣接している他のピクセルとの間の差分との計算により、行われる。非方向性自乗勾配値は、これら二つの差分値の自乗同士の和である。次に、非方向性自乗勾配値を人工的不自然域（アーチファクト）回避関数アプリケータ１４０でマッピングし、回避信号発生器１００の出力として人工的不自然域回避信号を発生する。回避信号発生器１００のこの出力信号は、以降ではａ（Ｌ）と称する。
【００２４】
図５を参照する。このマッピング機能は、以下の様に形成された人工的不自然域回避関数ａｖ（）に非方向性自乗勾配信号ｎｄｇ（Ｌ）を通すことによって行われる。本発明の好ましい実施形態では次の式で定義された人工的不自然域回避関数を用いる。
【００２５】
【数３】
ａｖ（Ｌ）＝（１／２）（１＋ＣＯＳ（π（Ｌ−Ｎ０）／（Ｎ１−Ｎ０）））
（Ｌ＞Ｎ０かつＬ＜Ｎ１）
ａｖ（Ｌ）＝０ （Ｌ＞＝Ｎ１）
ａｖ（Ｌ）＝１ （Ｌ＜＝Ｎ０）
ここに、Ｎ０とＮ１は数値定数で、Ｌは輝度信号のピクセル値を示す。
【００２６】
Ｎ０とＮ１の好ましい値は、入力データの範囲次第で変わる。この好ましい実施形態を開発するのに用いられた画像の入力データ範囲は、０〜４０９５であった。この場合、Ｎ０の好ましい値は１４８で、Ｎ１の好ましい値は１３００である。別の構成方法としては、人工的不自然域回避関数は次式で与えられる。
【００２７】
【数４】
ａｖ（Ｌ）＝１−√（（Ｌ−Ｎ０）／（Ｎ１−Ｎ０））
ａｖ（Ｌ）＝１−（Ｌ−Ｎ０）／（Ｎ１−Ｎ０） （Ｌ＞＝Ｎ０かつＬ＜＝Ｎ１）
ａｖ（Ｌ）＝１ （Ｌ＜Ｎ０）
ａｖ（Ｌ）＝０ （Ｌ＞Ｎ１）
【００２８】
人工的不自然域回避信号ａ（Ｌ）は、人工的不自然域回避関数アプリケータ１４０で発生される。これは、人工的不自然域回避関数ａｖ（）を非方向性勾配信号ｎｄｇ（Ｌ）に適用して行うことができる。数学的な結果は次の式から得られる。
【００２９】
【数５】
ａ（Ｌ）＝ａｖ（ｎｄｇ（Ｌ））
人工的不自然域回避関数ａｖ（ｘ）はルックアップテーブル（ＬＵＴ）として実現するのが最も効率的である。
【００３０】
一般化されたリニア空間フィルタは次の式で定義される。
【００３１】
【数６】
ｙｉｊ＝Σｃｍｎｘｍｎ
ここに、ｘｍｎ値はｉｊ番目のピクセル周りのローカルピクセル値を示し、ｃｍｎ値はピクセル値ｘｍｎによらない係数を示す。本明細書に記載の非線形空間フィルタは、線形空間フィルタの式では表すことができない空間フィルタとして定義される。一般化された制御信号を入力信号へ適用した時の出力は、入力信号に対して乗算関係を有する。制御信号を適用した結果の例は、以下の式で与えられる。
【００３２】
【数７】
ｙｉｊ＝ａｉｊｘｉｊ
ここに、ｘｉｊ値は入力信号のｉｊ番目のピクセル値を示し、ａｉｊ値は制御信号のｉｊ番目のピクセル値を示す。制御信号を入力信号へ適用した時の結果は、制御信号が入力信号の空間フィルタ処理バージョンから導かれた場合は、非線形空間フィルタの一般範疇へ入る。回避信号ａ（Ｌ）は、輝度信号の空間フィルタ処理バージョンから発生された制御信号の例である。好ましい実施形態に記載のテクスチャ信号ｑ（Ｌ）は、制御信号をハイパス信号へ適用して得られる非線形空間フィルタの一例である。
【００３３】
ここで注記すべきは、トーンスケール関数を適用する目的のため他の非線形空間フィルタ法も本発明に用いることができることである。本願での記載は、好ましい実施形態を参照して行われたものである。しかし、当業者は、本発明の技術的範囲から逸脱せずに多くの変形や部分的改変を行うことができるものと思われる。
【００３４】
図７を参照すると、ここには図１の色プロセッサ４０の分解図が示されている。入力の色信号を色修整器１６０に通す。色修整器１６０は、後で詳細に説明するように、与えられたトーンスケール関数に従って入力画像中の各ピクセルの相対的カラー差を調整する。ここで注記しなければならないのは、与えられたトーンスケール関数は、ＬＵＴとして導入することもできるし、デバイスのイメージングチェーンに内蔵されるデバイスのトーン応答とすることもできることである。色修整器１６０の出力は、変換されたカラー画像で、トーンスケール関数を補正するように修整された色差信号を有する。
【００３５】
図７を再び参照すると、トーンスケール関数は勾配計算器１５０への入力である。勾配計算器１５０は、トーンスケール関数を微分し、ローパス信号レベルにおけるトーンスケール関数の局所勾配を計算する。勾配計算器１５０の出力は、色修整器１６０への入力である。また、色修整器１６０への入力は、図１の輝度／色コンバータ１０で生成される二個の色信号Ｃ１とＣ２、図７の勾配影響係数発生器１７０からの出力としての勾配影響係数γｉ、および色位置重みであり、後で詳細に説明する。色修整器１６０は、二個の色信号を修整し、拡張色信号を生成し、拡張色信号は図１のＲＧＢコンバータ３０へ送られる。
【００３６】
図７の勾配計算器１５０は、与えられたトーンスケール関数の微分係数を計算する操作を行う。ｆがトーンスケール関数を示すものとすると、勾配計算器１５０で生成される勾配関数、ｓは次式で計算される。
【００３７】
【数８】
ｓ（ｐ）＝（ｆ（ｐ＋ｄ）−ｆ（ｐ−ｄ））／２ｄ
ここで、ｐはローパス輝度信号の入力ピクセル値を示し、ｄは小さな整数を示す。本実施形態では、ｄとして５の値が用いられる。上式は、入力ピクセル値ｐの上下にあるピクセルの値において関数ｆを評価することによって、トーンスケール関数の勾配を近似するものである。これら二個の関数値の間の差を評価値の分散で除算すると、トーンスケール関数に対する平均勾配値が得られる。勾配計算器１５０は、ＬＵＴを用いて、入力ローパス信号から勾配計算器１５０の出力を発生する。
【００３８】
色信号は色位置重み発生器１８０への入力である。この色位置重み発生器１８０は色位置重みＫを発生させる。色位置重みＫを用いて、色修整器１６０は、色空間でピクセルの位置を整える処理を行うことができる。一般には、色位置重みＫの値は０．０〜１．０の範囲にある。色位置重みＫを用いて本発明の方法を行うと、色調整係数Ｈｉをピクセルの色特性に基づいて変えることができる。一般に、Ｋは輝度Ｌ、色差Ｃｉ値の関数である。図１０は、二次元ＬＵＴ２２０を用いて、各ピクセルに対する色位置重みＫの値を決定する方法を示す。図１０に示されるように、色位置重みＫの値は、色差Ｃｉに依存する。また、図１０に示される色位置重みＫの値は、次の数式を用いて解析的に誘導することも可能である。
【００３９】
【数９】
Ｋ＝exp［-1/2000（0.23(C１+95)２-0.15(C１+95)(C２+170)+0.36(C２+170)２)］
この式による色位置重みＫは、本発明の方法において、人間の肌色と同じような色（Ｋがほぼ１．０）のピクセルの色差を調整し、人間の肌色とは異なるような色（Ｋがほぼ０．０）のピクセルに対するオリジナルの色差は保存することを、可能にしている。この実施形態は、肌色ピクセルの色差への所要の修整を可能にしながら、空のような飽和度の高い対象物の彩度落ちを回避するのに有利であることが見出されている。
【００４０】
当業者なら実感することであるが、色位置重みＫの決定は、本発明の範囲から顕著に逸脱することなく、多くの形（例えば、色位置重みＫの決定に輝度Ｌ値への依存性を導入すること）を取って行うことができる。
【００４１】
本実施形態では、トーンスケールプロセッサ２０で用いられるローパスフィルタの周波数スプリットが、色プロセッサ４０に用いられている勾配影響係数γ ｉの好ましい設定に非常に影響することが観察されている。トーンスケールプロセッサ２０と色プロセッサ４０との効果を調整するために、以下の方法が取り入れられる。図７を参照すると、トーンスケールプロセッサ２０に用いられる空間フィルタは色プロセッサ４０への入力である。空間フィルタはサイズ抽出器１９０への入力である。サイズ抽出器１９０の出力は空間フィルタが測定するピクセルの数である。例えば、本実施形態では、空間フィルタは標準偏差２．５ピクセルのガウシアンフィルタである。経験則として、ガウシアンフィルタの標本幅は標準偏差のプラスマイナス３倍である。だから、該フィルタのサイズは１５ピクセル×１５ピクセルである。従って本実施形態の空間フィルタをサイズ抽出器１９０に通すと、サイズ抽出器の出力は１５ピクセルになる。サイズ抽出器１９０の出力は、勾配影響係数発生器１７０に通される。勾配影響係数発生器１７０は勾配影響係数γ ｉの適切な値を発生させる。これは、図９に示されるようなＬＵＴを用いて行われる。この場合、ＬＵＴは次式で書くことができる。
【００４２】
【数１０】
γｉ（ｚ）＝ １／２−ｚ／７５ （０＜＝ｚ＜＝３０）
γｉ（ｚ）＝ ０．１ （ｚ＞３０）
ここで、
γｉ（ｚ）＝ 勾配影響係数
ｚ＝ サイズ抽出器１９０の出力
この関係は、トーンスケールプロセッサ２０に用いられるフィルタのサイズが大きければ大きいほど、色差チャンネルＣｉに行われる変更を少なくするように選択された。勾配影響係数γｉの最適設定は、１５ピクセルサイズのフィルタ基準では０．３の値に設定される。勾配影響係数γｉの最小値は、大きなフィルタサイズでの実験に基づいて０．１と決定された。勾配影響係数γｉの最大値は、空間フィルタ法を用いないでトーンスケール関数を適用する実験に基づいて０．５と決定された。
【００４３】
色修整器１６０は、入力として、勾配影響係数発生器１７０で発生された勾配影響係数、色信号、勾配計算器１５０からのローカル勾配出力、および色位置重み発生器１８０からの色位置重み出力を受け入れる。図８は、色修整器１６０の分解図を示す。調整係数計算器２００は色調整係数Ｈｉを計算する。好ましい実施形態では、色調整係数Ｈｉを計算する方法は以下の式で記載することができる。
【００４４】
【数１１】
Ｈｉ＝ Ｋγｉ（ｓ−ｓ０） ＋ ｓ０
ここで、
Ｋ ＝ 色位置重み、
γｉ ＝ 勾配影響係数で、このパラメータは普通０〜１．０の範囲である。ｓで示されるローカル勾配計算値は、勾配計算器１５０からの出力である。ｓ０で示される見掛けの勾配定数は、本実施形態では１．０の値に設定される。
【００４５】
図８を再び参照すると、調整係数計算器２００の出力が乗算器２１０へ通される。乗算器２１０の目的は各色差信号を調整係数計算器２００の出力で乗じることである。乗算された色差信号は、乗算器２１０の出力であって、補正された色信号と以下では称することとする。
【００４６】
すなわち、
【数１２】
Ｃｐｉ ＝ Ｃｉ＊Ｈｉ （ｉ＝１，２，．．．）
ここで、
Ｃｐｉ ＝ 乗算器２１０の出力、すなわち、補正された色信号
Ｃｉ ＝ 色信号
Ｈｉ ＝ 色調整係数計算器２００の出力
【図面の簡単な説明】
【図１】 本発明の全体構成を示すブロックダイアグラムである。
【図２】 図１のトーンスケールプロセッサの分解図である。
【図３】 図２のペデスタルスプリッタの分解図である。
【図４】 図３の回避信号発生器の分解図である。
【図５】 人工的不自然域回避関数ＬＵＴを示す図である。
【図６】 トーンスケール関数の例を示す図である。
【図７】 図１の色プロセッサの分解図である。
【図８】 図７の色修整器の分解図である。
【図９】 図７の勾配影響係数発生器に用いられるルックアップテーブルの一例を示す図である。
【図１０】 図７の色位置重み発生器に用いられる色位置重みルックアップテーブルの一例を示す図である。
【符号の説明】
１０ 輝度／色コンバータ、２０ トーンスケールプロセッサ、３０ ＲＧＢコンバータ、４０ 色プロセッサ、５０ ペデスタルスプリッタ、６０ トーンスケールアプリケータ、７０ テクスチャ修整器、８０ 加算器、９０ 周波数スプリッタ、１００ 回避信号発生器、１１０ テクスチャ信号発生器、１２０ペデスタル信号発生器、１３０ 非方向性自乗勾配計算器、１４０ 人工的不自然域回避関数アプリケータ、１５０ 勾配計算器、１６０ 色修整器、１７０勾配影響係数発生器、１８０ 色位置重み発生器、１９０ サイズ抽出器、２００ 調整係数計算器、２１０ 乗算器、２２０ ２次元ルックアップテーブル。
【発明の属する技術分野】
本発明は、一般にデジタルカラー画像処理の分野に関し、特にデジタルカラー画像のトーンスケールを調整する時に空間ディテールとカラーコンテンツを保存する方法に関する。
【０００２】
【従来の技術】
デジタルカラー画像にトーンスケール関数を適用する既存の方法としては、オリジナルのデジタルカラー画像を輝度−色表現に変換し、色差信号を保存しながら輝度チャンネルへトーンスケール関数を適用する方法などがある。これらのトーンスケール関数適用法では、処理された画像の色の鮮鋭性と発現性とが変わる。
【０００３】
リー（Ｌｅｅ）らの米国特許第５，０１２，３３３号には、デジタルカラー画像にトーンスケール関数を適用し、空間ディテール情報を保存することを目的とする方法が記載されている。この方法が提唱するのは、ＦＩＲフィルタを用いてデジタル画像を高空間周波数成分と低空間周波数成分へ分離することである。次に、トーンスケール関数をオリジナル画像の低空間周波数成分のみに適用する。最終的な処理された画像は、トーンスケールが適用された低空間周波数成分に高空間周波数成分を後から加えることによって生成される。更に、米国特許第５，０１２，３３３号に記載の方法には、オリジナルのデジタルカラー画像を輝度−色表現に変換し、空間フィルタ技法で輝度成分にトーンスケール関数を適用し、色成分を保存する方法もある。
【０００４】
輝度コントラストが修整され色コントラストが保存されると、その結果得られる処理画像の色飽和特性が人工物的で不自然に見える恐れがある。この問題に対処する努力の一つとして、ヴィジアノ(Viggiano）とワン(Wang）は、１と複製／オリジナルのＬ＊レンジ比との中間の係数をデジタルカラー画像のクロマ信号に乗じる方法を提唱した（1992 TAGA Proceedings:A Comparison of Algorithms for Mapping Color Between Media of Differing Luminance Ranges, pp.959-974を参照のこと)。しかし、この解法は、入力の強度に依存する圧縮レベルを変えるトーンスケール関数を考えに入れていない。従って、入力画像のクロマ信号を単一の係数でスケーリングするのは、そのとり得る値域が広いトーンスケール関数には不適当である。
【０００５】
更に、米国特許第５，４４６，５０４号では、画像のダイナミックレンジを圧縮する時の色飽和を補正する方法をワダ(Wada）が記載している。しかし、この方法でも、入力画像ダイナミックレンジと出力画像ダイナミックレンジとの関係に基づく補正係数を定めている。
【０００６】
更に、米国特許第５，６３８，１３８号では、入力画像の輝度信号を修整し、次に「色成分に輝度の修整／無修整トランスファー比を乗じ、修整された色成分を得る」方法をヒックマン（Hickman）が記載している。しかし、この方法も、トーンスケール関数が幾つかの範囲でそのレベルがいろいろ変わるコントラスト圧縮または強調で構成されることを、考えていない。
【０００７】
米国特許第５，０１２，３３３号に記載の、空間フィルタを用いてデジタルカラー画像の輝度信号表現にトーンスケール関数を適用する方法は、処理された画像に空間ディテールを保存するのは確かである。しかし、処理された画像の空間ディテールがこの方法で改良される一方で、処理された画像の色特性が影響される恐れがある。更に、使用空間フィルタのサイズを、最適な結果を得るように選択しなければならない。輝度信号にトーンスケールを適用する空間フィルタ法と、色信号修整とを組み合わせることは、自然である。これらの方法を組み合わせて処理された画像は、空間ディテールが改良されるとともに、より自然な色特性を有する画像となる。
【０００８】
【発明が解決しようとする課題】
空間フィルタ技法によってデジタルカラー画像にトーンスケール関数を適用する方法は、色特性に影響を及ぼす。特に、トーンスケール関数適用の際に用いられる空間フィルタのサイズは、色特性に影響を及ぼす。従来技術に記載のどの方法も、輝度信号へトーンスケール関数を適用するのに用いられる空間処理に基づく画像色特性の修整については触れていない。
【０００９】
輝度信号へトーンスケール関数を適用するのに用いられる空間フィルタのサイズと、色信号を修整しなければならない程度との間には、相反する関係が存在する。従って、デジタルカラー画像にトーンスケールを適用しながら色信号の修正と輝度信号の修整とを調和させる方法の必要性が存在する。
【００１０】
【課題を解決するための手段】
本発明の目的は、デジタルカラー画像のトーンスケールを調整する時に空間ディテールとカラーコンテンツを保存する改良された方法を提供することにある。要約すれば、本発明の一つの実施形態では、本発明は、（ａ）デジタルカラー画像のトーンスケールを調整するトーンスケール関数を生成するステップと、（ｂ）空間フィルタを生成するステップと、（ｃ）前記デジタルカラー画像を輝度信号と色信号へ変換するステップと、（ｄ）前記空間フィルタを用いて前記輝度信号を処理してペデスタル信号、テクスチャ信号、ローパス信号を生成し、前記トーンスケール関数を前記ペデスタル信号に適用して画像特性を変え、これにより修整ペデスタル信号を生成し、スカラ定数により前記テクスチャ信号を増幅して修整テクスチャ信号を生成し、前記修整ペデスタル信号と前記修整テクスチャ信号を加算して拡張輝度信号を形成するステップと、（ｅ）前記ローパス信号、トーンスケール関数、及び空間フィルタを色修整器に入力し、前記色修整器は、前記ローパス信号レベルで評価された前記トーンスケール関数に従い、かつ、前記空間フィルタのサイズに従って色調整係数を算出し、前記色調整係数を前記色信号に適用して拡張色信号を生成し、前記拡張色信号と前記拡張輝度信号から拡張デジタルカラー画像を生成するステップとを有する。
【００１１】
本発明は、デジタルカラー画像のトーンスケールを変えながら空間ディテールとカラーコンテンツを保存するという利点を有する。本発明のキー要素は、デジタルフィルタの特性に基づいた色度修整と輝度修整との調和（コーディネーション）である。
【００１２】
【発明の実施の形態】
以下の説明では、本発明の好ましい実施形態をソフトウェアプログラムとして記載する。当業者ならば、そのようなソフトウェアと等価のものがハードウェアでも構成できることは容易に分かる。
【００１３】
図１を参照すると、ここには本発明の機能ブロック図が示される。本発明では、各々単一色に対応する複数のデジタル画像チャンネルの集まりからなるデジタルカラー画像が用いられる。最も普通の構成のデジタルカラー画像は、三本のデジタル画像チャンネル（赤、緑、青）を含む。デジタル画像チャンネル各々は光強度に対応するピクセル値から構成される二次元アレイである。
【００１４】
輝度信号は、輝度／色コンバータ１０でデジタルカラー画像のデジタル画像チャンネルから計算される。マルチカラー画像表現から輝度信号を生成する方法は一つならず存在する。本実施形態では、個々のカラーデジタル画像チャンネルピクセル値の一次結合を用いて、輝度信号ピクセル値を生成する。
【００１５】
【数１】
ｚｉｊ＝Σｋαｋｐｋｉｊ
ｚｉｊ項は、インデックスｉ，ｊで示される空間座標での輝度値を指す。ｐｋｉｊ項は、同じ空間座標でのｋ番目のカラー画像チャンネルのピクセル値を指す。αｋ項は、ｋ番目のカラー画像チャンネルについての重み付け係数を指す。本実施形態では、値０．２５，０．５０、０．２５のαｋをそれぞれ赤、緑、青の画像チャンネル重み付け係数として用いる。
【００１６】
色信号は、図１に示される輝度／色コンバータ１０で計算される。マルチカラー画像表現から色信号を生成する方法は一つならず存在する。本実施形態では、個々のカラーデジタル画像チャンネルピクセル値の一次結合を用いて、二個の色信号ピクセル値を生成する。第一色信号は、本明細書ではＣ１と称するが、リニアな重み−０．２５，０．５０，−０．２５を赤、緑、青の画像チャンネル重み付け係数として用いて、生成される。第二色信号は、本明細書ではＣ２と称するが、リニアな重み−０．５０，０．００，０．５０を赤、緑、青の画像チャンネル重み付け係数として用いて、生成される。
【００１７】
図１を参照すると、輝度／色コンバータ１０で生成された輝度信号と、トーンスケール関数とが、トーンスケールプロセッサ２０へ入力される。輝度／色コンバータ１０で生成された二個の色信号と、トーンスケール関数と、トーンスケールプロセッサ２０からのローパス輝度信号とは、色プロセッサ４０へ入力される。トーンスケールプロセッサ２０からの拡張輝度信号出力と、色プロセッサ４０で生成された二個の拡張色信号とが、ＲＧＢコンバータ３０へ入力される。
【００１８】
図１のＲＧＢコンバータ３０は、図１に示される輝度／色コンバータ１０の逆操作を行う。ＲＧＢコンバータ３０は、拡張輝度信号と二個の拡張色信号の入力から、一次結合式で三個の拡張デジタルカラー画像チャンネルを生成する。拡張赤デジタルカラー画像チャンネルは、リニアな重み１．０，−１．０，−１．０をそれぞれ輝度、第一色、第二色信号に対して用いて、生成される。拡張緑デジタルカラー画像チャンネルは、リニアな重み１．０，１．０，０．０をそれぞれ輝度、第一色、第二色信号に対して用いて、生成される。拡張青デジタルカラー画像チャンネルは、リニアな重み１．０，−１．０，１．０をそれぞれ輝度、第一色、第二色信号に対して用いて、生成される。
【００１９】
図２を参照すると、図１のトーンスケールプロセッサ２０の分解図がここに示されている。この場合、輝度信号は、以下に詳細に説明されるように、ペデスタルスプリッタ５０で二つの部分・・・ペデスタル信号とテクスチャ信号へ分割される。ペデスタル信号へは、トーンスケールアプリケータ６０を用いてトーンスケール関数を適用し、画像特性を変えて画質を向上させる。トーンスケール関数は、デジタル画像の相対的輝度、つまりコントラストを変える目的で適用できる。トーンスケールアプリケータ６０は、技術に周知なように、ルックアップテーブル（ＬＵＴ）を入力信号に適用することによって実現できる。入力値と出力値との１対１マッピングを示すトーンスケールの一例を、図６に示す。テクスチャ信号は、所望ならばテクスチャ修整器７０で増幅できるし、あるいは当業者が望むままに何か別の方法で変えることができる。このテクスチャ修整器７０の機能は、スカラ定数をテクスチャ信号へ乗算することでもよい。次に、修整テクスチャ信号と修整ペデスタル信号とが加算器８０で加算され、拡張輝度信号が形成される。加算器８０は、各入力信号からの二つのピクセル値を加算する操作を行う。
【００２０】
図３を参照すると、図２のペデスタルスプリッタ５０の分解図がここに示されている。ペデスタルスプリッタ５０へ送られた輝度信号入力は、好ましくはガウシアンフィルタ付の周波数スプリッタ９０を用いて、ハイパス信号とローパス信号にスプリットされる。使用する空間フィルタのサイズは、ガウシアンフィルタの標準偏差（シグマ、σ）で特徴付けられる。ガウシアンフィルタ標準偏差の好ましい値は、画像サイズ次第で変えられる。シグマ値としての２．５ピクセルという値は、本発明を１０２４×１５３６ピクセルサイズ画像について最適化して導かれたものである。このガウシアンフィルタは、二次元巡回対称ローパスフィルタであり、そのフィルタ係数は、技術に周知の以下の式を用いて導かれる。
【００２１】
【数２】
Ｇ（ｉ，ｊ）＝１／（σ√（２π））ｅｘｐ［−（ｉ２＋ｊ２）／（２σ２）］
ここに、Ｇ（ｉ，ｊ）＝（ｉ，ｊ）番目ピクセルのガウシアンフィルタ係数
σ＝ガウシアンフィルタの標準偏差（＝２．５）
π＝定数（約３．１４１５．．．）
ローパス信号は、以下に詳細に説明するように、回避(avoidance)信号を形成する回避信号発生器１００へ入る入力である。更に、ローパス信号は色プロセッサ４０への入力でもある。テクスチャ信号発生器１１０は、ハイパス信号と回避信号と両方を受け、両信号はその中で乗算され、テクスチャ信号が発生する。
【００２２】
ペデスタル信号発生器１２０は輝度信号とテクスチャ信号を受け、輝度信号からテクスチャ信号を減算し、ペデスタル信号を生成する。
【００２３】
図４を参照すると、ここには回避信号発生器１００の分解ブロック図が示される。ここでは、ローパス信号が、非方向性勾配信号を発生する非方向性自乗勾配計算器１３０への入力である。この計算は、先ず注目しているピクセルとそれに上方垂直方向に隣接している他のピクセルとの間の差分と、次に上記注目しているピクセルとそれに右へ水平方向に隣接している他のピクセルとの間の差分との計算により、行われる。非方向性自乗勾配値は、これら二つの差分値の自乗同士の和である。次に、非方向性自乗勾配値を人工的不自然域（アーチファクト）回避関数アプリケータ１４０でマッピングし、回避信号発生器１００の出力として人工的不自然域回避信号を発生する。回避信号発生器１００のこの出力信号は、以降ではａ（Ｌ）と称する。
【００２４】
図５を参照する。このマッピング機能は、以下の様に形成された人工的不自然域回避関数ａｖ（）に非方向性自乗勾配信号ｎｄｇ（Ｌ）を通すことによって行われる。本発明の好ましい実施形態では次の式で定義された人工的不自然域回避関数を用いる。
【００２５】
【数３】
ａｖ（Ｌ）＝（１／２）（１＋ＣＯＳ（π（Ｌ−Ｎ０）／（Ｎ１−Ｎ０）））
（Ｌ＞Ｎ０かつＬ＜Ｎ１）
ａｖ（Ｌ）＝０ （Ｌ＞＝Ｎ１）
ａｖ（Ｌ）＝１ （Ｌ＜＝Ｎ０）
ここに、Ｎ０とＮ１は数値定数で、Ｌは輝度信号のピクセル値を示す。
【００２６】
Ｎ０とＮ１の好ましい値は、入力データの範囲次第で変わる。この好ましい実施形態を開発するのに用いられた画像の入力データ範囲は、０〜４０９５であった。この場合、Ｎ０の好ましい値は１４８で、Ｎ１の好ましい値は１３００である。別の構成方法としては、人工的不自然域回避関数は次式で与えられる。
【００２７】
【数４】
ａｖ（Ｌ）＝１−√（（Ｌ−Ｎ０）／（Ｎ１−Ｎ０））
ａｖ（Ｌ）＝１−（Ｌ−Ｎ０）／（Ｎ１−Ｎ０） （Ｌ＞＝Ｎ０かつＬ＜＝Ｎ１）
ａｖ（Ｌ）＝１ （Ｌ＜Ｎ０）
ａｖ（Ｌ）＝０ （Ｌ＞Ｎ１）
【００２８】
人工的不自然域回避信号ａ（Ｌ）は、人工的不自然域回避関数アプリケータ１４０で発生される。これは、人工的不自然域回避関数ａｖ（）を非方向性勾配信号ｎｄｇ（Ｌ）に適用して行うことができる。数学的な結果は次の式から得られる。
【００２９】
【数５】
ａ（Ｌ）＝ａｖ（ｎｄｇ（Ｌ））
人工的不自然域回避関数ａｖ（ｘ）はルックアップテーブル（ＬＵＴ）として実現するのが最も効率的である。
【００３０】
一般化されたリニア空間フィルタは次の式で定義される。
【００３１】
【数６】
ｙｉｊ＝Σｃｍｎｘｍｎ
ここに、ｘｍｎ値はｉｊ番目のピクセル周りのローカルピクセル値を示し、ｃｍｎ値はピクセル値ｘｍｎによらない係数を示す。本明細書に記載の非線形空間フィルタは、線形空間フィルタの式では表すことができない空間フィルタとして定義される。一般化された制御信号を入力信号へ適用した時の出力は、入力信号に対して乗算関係を有する。制御信号を適用した結果の例は、以下の式で与えられる。
【００３２】
【数７】
ｙｉｊ＝ａｉｊｘｉｊ
ここに、ｘｉｊ値は入力信号のｉｊ番目のピクセル値を示し、ａｉｊ値は制御信号のｉｊ番目のピクセル値を示す。制御信号を入力信号へ適用した時の結果は、制御信号が入力信号の空間フィルタ処理バージョンから導かれた場合は、非線形空間フィルタの一般範疇へ入る。回避信号ａ（Ｌ）は、輝度信号の空間フィルタ処理バージョンから発生された制御信号の例である。好ましい実施形態に記載のテクスチャ信号ｑ（Ｌ）は、制御信号をハイパス信号へ適用して得られる非線形空間フィルタの一例である。
【００３３】
ここで注記すべきは、トーンスケール関数を適用する目的のため他の非線形空間フィルタ法も本発明に用いることができることである。本願での記載は、好ましい実施形態を参照して行われたものである。しかし、当業者は、本発明の技術的範囲から逸脱せずに多くの変形や部分的改変を行うことができるものと思われる。
【００３４】
図７を参照すると、ここには図１の色プロセッサ４０の分解図が示されている。入力の色信号を色修整器１６０に通す。色修整器１６０は、後で詳細に説明するように、与えられたトーンスケール関数に従って入力画像中の各ピクセルの相対的カラー差を調整する。ここで注記しなければならないのは、与えられたトーンスケール関数は、ＬＵＴとして導入することもできるし、デバイスのイメージングチェーンに内蔵されるデバイスのトーン応答とすることもできることである。色修整器１６０の出力は、変換されたカラー画像で、トーンスケール関数を補正するように修整された色差信号を有する。
【００３５】
図７を再び参照すると、トーンスケール関数は勾配計算器１５０への入力である。勾配計算器１５０は、トーンスケール関数を微分し、ローパス信号レベルにおけるトーンスケール関数の局所勾配を計算する。勾配計算器１５０の出力は、色修整器１６０への入力である。また、色修整器１６０への入力は、図１の輝度／色コンバータ１０で生成される二個の色信号Ｃ１とＣ２、図７の勾配影響係数発生器１７０からの出力としての勾配影響係数γｉ、および色位置重みであり、後で詳細に説明する。色修整器１６０は、二個の色信号を修整し、拡張色信号を生成し、拡張色信号は図１のＲＧＢコンバータ３０へ送られる。
【００３６】
図７の勾配計算器１５０は、与えられたトーンスケール関数の微分係数を計算する操作を行う。ｆがトーンスケール関数を示すものとすると、勾配計算器１５０で生成される勾配関数、ｓは次式で計算される。
【００３７】
【数８】
ｓ（ｐ）＝（ｆ（ｐ＋ｄ）−ｆ（ｐ−ｄ））／２ｄ
ここで、ｐはローパス輝度信号の入力ピクセル値を示し、ｄは小さな整数を示す。本実施形態では、ｄとして５の値が用いられる。上式は、入力ピクセル値ｐの上下にあるピクセルの値において関数ｆを評価することによって、トーンスケール関数の勾配を近似するものである。これら二個の関数値の間の差を評価値の分散で除算すると、トーンスケール関数に対する平均勾配値が得られる。勾配計算器１５０は、ＬＵＴを用いて、入力ローパス信号から勾配計算器１５０の出力を発生する。
【００３８】
色信号は色位置重み発生器１８０への入力である。この色位置重み発生器１８０は色位置重みＫを発生させる。色位置重みＫを用いて、色修整器１６０は、色空間でピクセルの位置を整える処理を行うことができる。一般には、色位置重みＫの値は０．０〜１．０の範囲にある。色位置重みＫを用いて本発明の方法を行うと、色調整係数Ｈｉをピクセルの色特性に基づいて変えることができる。一般に、Ｋは輝度Ｌ、色差Ｃｉ値の関数である。図１０は、二次元ＬＵＴ２２０を用いて、各ピクセルに対する色位置重みＫの値を決定する方法を示す。図１０に示されるように、色位置重みＫの値は、色差Ｃｉに依存する。また、図１０に示される色位置重みＫの値は、次の数式を用いて解析的に誘導することも可能である。
【００３９】
【数９】
Ｋ＝exp［-1/2000（0.23(C１+95)２-0.15(C１+95)(C２+170)+0.36(C２+170)２)］
この式による色位置重みＫは、本発明の方法において、人間の肌色と同じような色（Ｋがほぼ１．０）のピクセルの色差を調整し、人間の肌色とは異なるような色（Ｋがほぼ０．０）のピクセルに対するオリジナルの色差は保存することを、可能にしている。この実施形態は、肌色ピクセルの色差への所要の修整を可能にしながら、空のような飽和度の高い対象物の彩度落ちを回避するのに有利であることが見出されている。
【００４０】
当業者なら実感することであるが、色位置重みＫの決定は、本発明の範囲から顕著に逸脱することなく、多くの形（例えば、色位置重みＫの決定に輝度Ｌ値への依存性を導入すること）を取って行うことができる。
【００４１】
本実施形態では、トーンスケールプロセッサ２０で用いられるローパスフィルタの周波数スプリットが、色プロセッサ４０に用いられている勾配影響係数γ ｉの好ましい設定に非常に影響することが観察されている。トーンスケールプロセッサ２０と色プロセッサ４０との効果を調整するために、以下の方法が取り入れられる。図７を参照すると、トーンスケールプロセッサ２０に用いられる空間フィルタは色プロセッサ４０への入力である。空間フィルタはサイズ抽出器１９０への入力である。サイズ抽出器１９０の出力は空間フィルタが測定するピクセルの数である。例えば、本実施形態では、空間フィルタは標準偏差２．５ピクセルのガウシアンフィルタである。経験則として、ガウシアンフィルタの標本幅は標準偏差のプラスマイナス３倍である。だから、該フィルタのサイズは１５ピクセル×１５ピクセルである。従って本実施形態の空間フィルタをサイズ抽出器１９０に通すと、サイズ抽出器の出力は１５ピクセルになる。サイズ抽出器１９０の出力は、勾配影響係数発生器１７０に通される。勾配影響係数発生器１７０は勾配影響係数γ ｉの適切な値を発生させる。これは、図９に示されるようなＬＵＴを用いて行われる。この場合、ＬＵＴは次式で書くことができる。
【００４２】
【数１０】
γｉ（ｚ）＝ １／２−ｚ／７５ （０＜＝ｚ＜＝３０）
γｉ（ｚ）＝ ０．１ （ｚ＞３０）
ここで、
γｉ（ｚ）＝ 勾配影響係数
ｚ＝ サイズ抽出器１９０の出力
この関係は、トーンスケールプロセッサ２０に用いられるフィルタのサイズが大きければ大きいほど、色差チャンネルＣｉに行われる変更を少なくするように選択された。勾配影響係数γｉの最適設定は、１５ピクセルサイズのフィルタ基準では０．３の値に設定される。勾配影響係数γｉの最小値は、大きなフィルタサイズでの実験に基づいて０．１と決定された。勾配影響係数γｉの最大値は、空間フィルタ法を用いないでトーンスケール関数を適用する実験に基づいて０．５と決定された。
【００４３】
色修整器１６０は、入力として、勾配影響係数発生器１７０で発生された勾配影響係数、色信号、勾配計算器１５０からのローカル勾配出力、および色位置重み発生器１８０からの色位置重み出力を受け入れる。図８は、色修整器１６０の分解図を示す。調整係数計算器２００は色調整係数Ｈｉを計算する。好ましい実施形態では、色調整係数Ｈｉを計算する方法は以下の式で記載することができる。
【００４４】
【数１１】
Ｈｉ＝ Ｋγｉ（ｓ−ｓ０） ＋ ｓ０
ここで、
Ｋ ＝ 色位置重み、
γｉ ＝ 勾配影響係数で、このパラメータは普通０〜１．０の範囲である。ｓで示されるローカル勾配計算値は、勾配計算器１５０からの出力である。ｓ０で示される見掛けの勾配定数は、本実施形態では１．０の値に設定される。
【００４５】
図８を再び参照すると、調整係数計算器２００の出力が乗算器２１０へ通される。乗算器２１０の目的は各色差信号を調整係数計算器２００の出力で乗じることである。乗算された色差信号は、乗算器２１０の出力であって、補正された色信号と以下では称することとする。
【００４６】
すなわち、
【数１２】
Ｃｐｉ ＝ Ｃｉ＊Ｈｉ （ｉ＝１，２，．．．）
ここで、
Ｃｐｉ ＝ 乗算器２１０の出力、すなわち、補正された色信号
Ｃｉ ＝ 色信号
Ｈｉ ＝ 色調整係数計算器２００の出力
【図面の簡単な説明】
【図１】 本発明の全体構成を示すブロックダイアグラムである。
【図２】 図１のトーンスケールプロセッサの分解図である。
【図３】 図２のペデスタルスプリッタの分解図である。
【図４】 図３の回避信号発生器の分解図である。
【図５】 人工的不自然域回避関数ＬＵＴを示す図である。
【図６】 トーンスケール関数の例を示す図である。
【図７】 図１の色プロセッサの分解図である。
【図８】 図７の色修整器の分解図である。
【図９】 図７の勾配影響係数発生器に用いられるルックアップテーブルの一例を示す図である。
【図１０】 図７の色位置重み発生器に用いられる色位置重みルックアップテーブルの一例を示す図である。
【符号の説明】
１０ 輝度／色コンバータ、２０ トーンスケールプロセッサ、３０ ＲＧＢコンバータ、４０ 色プロセッサ、５０ ペデスタルスプリッタ、６０ トーンスケールアプリケータ、７０ テクスチャ修整器、８０ 加算器、９０ 周波数スプリッタ、１００ 回避信号発生器、１１０ テクスチャ信号発生器、１２０ペデスタル信号発生器、１３０ 非方向性自乗勾配計算器、１４０ 人工的不自然域回避関数アプリケータ、１５０ 勾配計算器、１６０ 色修整器、１７０勾配影響係数発生器、１８０ 色位置重み発生器、１９０ サイズ抽出器、２００ 調整係数計算器、２１０ 乗算器、２２０ ２次元ルックアップテーブル。
Claims (2)
- デジタルカラー画像のトーンスケールを調整する時に空間ディテールとカラーコンテンツを保存する方法であって、
（ａ）デジタルカラー画像のトーンスケールを調整するトーンスケール関数を生成するステップと、
（ｂ）空間フィルタを生成するステップと、
（ｃ）前記デジタルカラー画像を輝度信号と色信号へ変換するステップと、
（ｄ）前記空間フィルタを用いて前記輝度信号を処理してペデスタル信号、テクスチャ信号、ローパス信号を生成し、前記トーンスケール関数を前記ペデスタル信号に適用して画像特性を変え、これにより修整ペデスタル信号を生成し、スカラ定数により前記テクスチャ信号を増幅して修整テクスチャ信号を生成し、前記修整ペデスタル信号と前記修整テクスチャ信号を加算して拡張輝度信号を形成するステップと、
（ｅ）前記ローパス信号、トーンスケール関数、及び空間フィルタを色修整器に入力し、前記色修整器は、前記ローパス信号レベルで評価された前記トーンスケール関数に従い、かつ、前記空間フィルタのサイズに従って色調整係数を算出し、前記色調整係数を前記色信号に適用して拡張色信号を生成し、前記拡張色信号と前記拡張輝度信号から拡張デジタルカラー画像を生成するステップと、
を有することを特徴とする方法。 - デジタルカラー画像のトーンスケールを調整する時に空間ディテールとカラーコンテンツを保存する方法であって、
（ａ）デジタルカラー画像のトーンスケールを調整するトーンスケール関数を生成するステップと、
（ｂ）空間フィルタを生成するステップと、
（ｃ）前記デジタルカラー画像を輝度信号と色信号へ変換するステップと、
（ｄ）前記空間フィルタを用いて前記輝度信号を処理してペデスタル信号、テクスチャ信号、ローパス信号を生成し、前記トーンスケール関数を前記ペデスタル信号に適用して画像拡張のために前記画像の特性を変え、これにより修整ペデスタル信号を生成し、スカラ定数により前記テクスチャ信号を増幅して修整テクスチャ信号を生成し、前記修整ペデスタル信号と前記修整テクスチャ信号を加算して拡張輝度信号を形成するステップと、
（ｅ）前記ローパス信号レベルで評価された前記トーンスケール関数の局所勾配を計算するステップと、
（ｆ）前記局所勾配に基づいて色調整係数を計算するステップと、
（ｇ）前記色信号と前記色調整係数から拡張色信号を生成し、前記拡張色信号と前記拡張輝度信号から拡張デジタルカラー画像を生成するステップと、
を有することを特徴とする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/224,007 US6408103B1 (en) | 1998-12-31 | 1998-12-31 | Method for preserving spatial detail and color content when adjusting the tone scale of a digital color image |
| US09/224007 | 1998-12-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000261824A JP2000261824A (ja) | 2000-09-22 |
| JP4448218B2 true JP4448218B2 (ja) | 2010-04-07 |
Family
ID=22838904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36606599A Expired - Fee Related JP4448218B2 (ja) | 1998-12-31 | 1999-12-24 | デジタルカラー画像のトーンスケールを調整する時に空間ディテールとカラーコンテンツを保存する方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6408103B1 (ja) |
| EP (1) | EP1017229B1 (ja) |
| JP (1) | JP4448218B2 (ja) |
| DE (1) | DE69917200T2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6542187B1 (en) * | 1998-07-09 | 2003-04-01 | Eastman Kodak Company | Correcting for chrominance interpolation artifacts |
| US6650771B1 (en) * | 1999-11-22 | 2003-11-18 | Eastman Kodak Company | Color management system incorporating parameter control channels |
| US6504951B1 (en) * | 1999-11-29 | 2003-01-07 | Eastman Kodak Company | Method for detecting sky in images |
| US6856704B1 (en) * | 2000-09-13 | 2005-02-15 | Eastman Kodak Company | Method for enhancing a digital image based upon pixel color |
| US6894720B2 (en) * | 2001-08-30 | 2005-05-17 | Hewlett-Packard Development Company, L.P. | Method and apparatus for applying tone mapping functions to color images |
| US7062085B2 (en) * | 2001-09-13 | 2006-06-13 | Eastman Kodak Company | Method for detecting subject matter regions in images |
| US6941017B2 (en) * | 2001-09-18 | 2005-09-06 | Tektronix, Inc. | Temporal processing for realtime human vision system behavior modeling |
| US7043090B2 (en) | 2002-10-02 | 2006-05-09 | Eastman Kodak Company | Enhancing the tonal characteristics of digital images using expansive and compressive tone scale functions |
| US7130485B2 (en) * | 2002-10-02 | 2006-10-31 | Eastman Kodak Company | Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions |
| US7058234B2 (en) * | 2002-10-25 | 2006-06-06 | Eastman Kodak Company | Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions |
| US20040120599A1 (en) * | 2002-12-19 | 2004-06-24 | Canon Kabushiki Kaisha | Detection and enhancement of backlit images |
| JP2005268558A (ja) * | 2004-03-19 | 2005-09-29 | Fanuc Ltd | レーザ装置 |
| JP4527439B2 (ja) * | 2004-03-25 | 2010-08-18 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
| US7590303B2 (en) * | 2005-09-29 | 2009-09-15 | Samsung Electronics Co., Ltd. | Image enhancement method using local illumination correction |
| US7813425B2 (en) * | 2006-11-29 | 2010-10-12 | Ipera Technology, Inc. | System and method for processing videos and images to a determined quality level |
| TW201110057A (en) * | 2009-09-01 | 2011-03-16 | Novatek Microelectronics Corp | Image color processing device and method |
| JP2015154194A (ja) * | 2014-02-13 | 2015-08-24 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、プログラム及び記録媒体 |
| JP6320278B2 (ja) * | 2014-11-21 | 2018-05-09 | キヤノン株式会社 | 色処理装置およびその方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3629396C2 (de) * | 1986-08-29 | 1993-12-23 | Agfa Gevaert Ag | Verfahren zur elektronischen Bildverarbeitung |
| US5012333A (en) | 1989-01-05 | 1991-04-30 | Eastman Kodak Company | Interactive dynamic range adjustment system for printing digital images |
| JP3400506B2 (ja) | 1993-03-12 | 2003-04-28 | オリンパス光学工業株式会社 | 画像処理装置 |
| US5638138A (en) | 1994-06-09 | 1997-06-10 | Hickman; Charles B. | Method for electronic image dynamic range and contrast modification |
| US5450216A (en) * | 1994-08-12 | 1995-09-12 | International Business Machines Corporation | Color image gamut-mapping system with chroma enhancement at human-insensitive spatial frequencies |
| KR100200628B1 (ko) * | 1996-09-30 | 1999-06-15 | 윤종용 | 화질 개선 회로 및 그 방법 |
| US6343158B1 (en) * | 1996-12-18 | 2002-01-29 | Fujitsu Limited | Apparatus for converting gray levels of an image, a method thereof, a program storage device thereof, and an infrared camera |
-
1998
- 1998-12-31 US US09/224,007 patent/US6408103B1/en not_active Expired - Lifetime
-
1999
- 1999-12-03 EP EP99204118A patent/EP1017229B1/en not_active Expired - Lifetime
- 1999-12-03 DE DE69917200T patent/DE69917200T2/de not_active Expired - Lifetime
- 1999-12-24 JP JP36606599A patent/JP4448218B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1017229B1 (en) | 2004-05-12 |
| JP2000261824A (ja) | 2000-09-22 |
| EP1017229A3 (en) | 2002-10-09 |
| DE69917200T2 (de) | 2005-05-04 |
| DE69917200D1 (de) | 2004-06-17 |
| EP1017229A2 (en) | 2000-07-05 |
| US6408103B1 (en) | 2002-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4448218B2 (ja) | デジタルカラー画像のトーンスケールを調整する時に空間ディテールとカラーコンテンツを保存する方法 | |
| EP0971314B1 (en) | A method for preserving image detail when adjusting the contrast of a digital image | |
| EP1017241B1 (en) | A method for compensating image color when adjusting the contrast of a digital color image | |
| JP4556276B2 (ja) | 画像処理回路及び画像処理方法 | |
| EP1400921B1 (en) | Enhancing the tonal characteristics of digital images using inflection points in a tone scale function | |
| JP4804660B2 (ja) | デジタルイメージ処理のためのカラー情報を使用したノイズ低減方法 | |
| US7058234B2 (en) | Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions | |
| US7110598B2 (en) | Automatic color constancy for image sensors | |
| US7043090B2 (en) | Enhancing the tonal characteristics of digital images using expansive and compressive tone scale functions | |
| US6167165A (en) | Method for adjusting image detail to compensate for an applied tone scale | |
| US20040081363A1 (en) | Enhancing the tonal and spatial characteristics of digital images using selective spatial filters | |
| JP2001229377A (ja) | 適応帰納的フィルタでディジタル画像のコントラストを調整する方法 | |
| WO2006064913A1 (ja) | 画像処理方法 | |
| US7130485B2 (en) | Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions | |
| JP2000207548A (ja) | デジタル画像のト―ンスケ―ルを調整する方法 | |
| EP1024454B1 (en) | A method for preserving spatial detail when applying a multidimensional tonal transform to a digital color image | |
| JP4752912B2 (ja) | 画像の質感を補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ | |
| JP2000207547A (ja) | デジタルカラ―画像のト―ンスケ―ルの調整時における画像ディテ―ル保存方法 | |
| US7760957B2 (en) | Sharpness enhancement | |
| JP4107014B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム並びにそのプログラムを記録した記録媒体 | |
| Cardei et al. | Issues in color correcting digital images of unknown origin | |
| Kyung et al. | Correction of faded colors in an image using an integrated multi-scale gray world algorithm | |
| KR20060089951A (ko) | 실시간 영상의 선명도와 채도를 동시에 향상시키는 영상신호 처리 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061109 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061109 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080812 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081015 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081020 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081125 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100112 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140129 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |