JP4443064B2 - 局所的な色補正を実行する方法および装置 - Google Patents
局所的な色補正を実行する方法および装置 Download PDFInfo
- Publication number
- JP4443064B2 JP4443064B2 JP2001074054A JP2001074054A JP4443064B2 JP 4443064 B2 JP4443064 B2 JP 4443064B2 JP 2001074054 A JP2001074054 A JP 2001074054A JP 2001074054 A JP2001074054 A JP 2001074054A JP 4443064 B2 JP4443064 B2 JP 4443064B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- mask
- values
- color values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 87
- 238000012937 correction Methods 0.000 title claims description 46
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 46
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【発明の属する技術分野】
本発明は、局所的な色補正を実行する方法および装置に関する。
【0002】
【従来の技術】
色調の再現は、画像処理の重要な一態様である。歴史的に見ると、トーン補正は、所与の画像に対するグローバルなやり方に基づいて実行されてきた。グローバルトーン補正動作は、通常、画像のピクセルすべてに同一の補正を適用する。換言すれば、それぞれの入力値を1つのみの出力値に1対1にマッピングする一次元動作である。
【0003】
グローバルトーン補正は、原画像のダイナミックレンジがかなり限られている場合には妥当な補正である。原画像のダイナミックレンジが大きい場合、影およびハイライトの両方のディテールに対処するようグローバルトーン補正を実行することは、ますます困難になる。
【0004】
その結果、ダイナミックレンジの大きい画像を処理するいくつかの局所的なトーン補正動作が提案されてきた。局所的なトーン補正動作は、典型的には、隣接するピクセルの値に従って、1つの入力値を異なる出力値にマップする。これにより、影およびハイライトの調節を同時に行うことができる。
【0005】
【発明が解決しようとする課題】
従来の局所的なトーン補正技術としては、覆い焼き(dodging)、焼き付け(burning)等の手動操作、ヒストグラム平坦化、ピクセル的ガンマ補正、Retinexアルゴリズム等の自動方式がある。これらの技術は、かなりの将来性を示してきた。しかしながら、これらの技術の中には、かなり複雑であり、かつ時間のかかるものもある。また、許容できる品質を一定して提供することができないものもある。このため、簡単かつ高速であり、かつ高品質な画像を生成する局所的なトーン補正技術が必要とされている。
【0006】
【課題を解決するための手段】
本発明は、局所的な色補正を実行する方法および装置のためのものである。本発明の一実施形態は、2つのプロセスからなる。第1のプロセスでは、入力画像から画像マスクを導出する。実施形態によっては、このマスクは、入力画像の、反転され、ローパス・フィルタリングされたモノクロ画像である。第2のプロセスでは、非線形演算を介して、導出したマスクを入力画像と組み合わせる。実施形態によっては、この組合せ演算は、マスク値をその指数の一部とし、かつピクセル値をその底の一部として有する可変な指数関数である。
【0007】
この発明の1つの側面によると、局所的な色補正を実行する方法が提供される。該方法は、(a)それぞれが原ピクセルカラー値の集合で表される複数のピクセルを有する入力画像を受信するステップと、(b)それぞれがピクセルマスク値の集合により表される複数のピクセルを有するトーンマスク画像を、入力画像から生成するステップと、(c)原ピクセルカラー値のそれぞれの集合について、修正されたピクセルカラー値の集合を求めるステップとを含む。原ピクセルカラー値のそれぞれの集合は、対応するピクセルマスク値の集合を有しており、修正されたピクセルカラー値のそれぞれの集合は、原ピクセルカラー値の集合と、該原ピクセルカラー値の集合の対応するピクセルマスク値の集合との非線形の組み合わせに等しい。
【0008】
【発明の実施の形態】
本発明は、局所的な色補正を実行する方法および装置のためのものである。以下の説明において、説明の目的で多数のディテールが記載される。しかしながら、当業者であれば、これらの具体的なディテールを使用せずに本発明を実施し得ることが理解されよう。他の例において、無用な詳細記述により本発明の記載を不明瞭にすることがないよう、周知の構造および装置はブロック図で示される。
【0009】
図1は、本発明のいくつかの実施形態において使用されるプロセス100を示す。図に示されるように、プロセス100は、最初に、多数のピクセル(すなわち、画素)によって形成されるデジタルカラー画像を受信する(105)。具体的には、いくつかの実施形態において、本プロセスは、デジタルカラー画像を表すコンポーネントカラー値の集合(set)を受信する。コンポーネントカラー値の各集合は、デジタル画像におけるピクセルの色を特定する。本発明のいくつかの実施形態において、コンポーネントカラーは、加法三原色の赤、緑または青(「RGB」)である。しかしながら、他の実施形態では、他のコンポーネントカラー値(たとえば、CMYK値、YCrCb値、CIELAB、CIECAM97s値等)を用いて、デジタル画像のピクセルの色を特定する。
【0010】
図1に示すように、本プロセスは、受信したデジタル画像からトーンマスクを生成する(110)。トーンマスクは、受信したデジタル画像のトーン特性を省略形式で符号化する画像である。換言すれば、マスクは、受信画像におけるアイテムの色調に関する情報を、アイテムの内容およびアイデンティティにかかわらず含む。トーンマスクの数値は、受信したデジタル画像における影、ハイライトおよび中間階調を表す。
【0011】
受信したデジタル画像と同様に、トーンマスク画像は多数のピクセルを有する。トーンマスクにおける各ピクセルの色は、マスクカラー値により特定される。トーンマスク画像における各ピクセルは、デジタル画像におけるピクセルに対応する。同様に、トーンマスクにおける各ピクセルのマスクカラー値は、デジタル画像における対応するピクセルのコンポーネントカラー値に関連づけられる。
【0012】
本発明の様々な実施形態では、受信したデジタル画像のトーンマスクを生成する様々な技術が用いられる。いくつかの実施形態では、受信画像に反復処理を行うことによってこのマスクを生成する。たとえば、いくつかの実施形態では、人間の視覚系について仮定を行う反復プロセス(たとえば、Retinexプロセス)を使用することによってマスクを生成する。他の実施形態では、受信画像に非反復処理を行うことによってこのマスクを生成する。たとえば、いくつかの実施形態では、受信画像にローパスフィルタリング演算を行ってこのマスクを生成する。かかるアプローチの1つについては、図2を参照して後述する。
【0013】
図1に示すように、プロセス100がトーンマスク画像を生成した後、本プロセスは、トーンマスクの値を用いて、受信画像におけるピクセルカラー値を非線形演算により修正する(115)。マスク値およびクセルカラー値の非線形の組合せは、線形な加法演算または減法演算によりピクセル値およびマスク値を組み合わせる従来技術とは異なる。マスクの非線形的な適用により、受信画像における高コントラストな境界の変わり目が緩やかなものになる。
【0014】
本発明の様々な実施形態では、ピクセルカラー値をマスク値で修正するために様々な非線形演算を使用する。ある実施形態では、回転され、スケーリングされた正弦波関数を使用し、また別の実施形態ではシグモイドの(sigmoidal)関数を使用する。さらに別の実施形態では、マスク値をその指数の一部とし、かつピクセル値をその底の一部として有する指数関数を使用する。かかる指数演算子の一例については、図3を参照して後述する。
【0015】
図2は、ローパスフィルタリング演算によりトーンマスクを生成するプロセス200を示す。図に示すように、本プロセスは、最初に、受信したカラー画像をモノクロ画像(すなわち、白および黒のピクセル値のみを含む画像、または、黒、白およびグレイ値のみを含む画像)に変換する(205)。モノクロ画像を生成する1つの方法は、1つのカラーコンポーネント(たとえば、緑)のカラー値を使用し、残りのカラー値を破棄することである。別のアプローチでは、スケーリング式(たとえば、0.2R+0.7G+0.1B)を使用することによってコンポーネントカラー値の非線形平均を計算することである。
【0016】
次に、本プロセスは、モノクロ画像を反転させる(210)。換言すれば、本プロセスでは、各ピクセル値を最大デジタルカウントから減算することで、白値は黒値となり、黒値は白値となり、大部分のグリーン値は新たなグレイ値を帯び、中間グレイ値はそのままである。次に、本プロセスは、反転モノクロ画像をデシメート(decimate)する(215)。いくつかの実施形態では、当該画像におけるn番目(たとえば、20番目)ごとの水平および垂直ピクセルを選択(すなわち、水平および垂直方向のn番目のピクセルごとにピクセルカラー値を選択)し、残りのピクセルを破棄することによって当該画像をデシメートする。
【0017】
次に、本プロセスは、デシメートされた反転モノクロ画像における各ピクセルに平滑化演算を行う(220)。ある実施形態においては、この平滑化演算は、1/9カーネル(kernel)による3×3の畳み込み演算である。このような畳み込み演算は本質的に、各ピクセル値を、そのピクセルの周りにある3×3の近傍ピクセルを平均することによって求められる平均値で置き換える。
【0018】
最後に、本プロセスは、平滑化され、デシメートされた反転モノクロ画像を、元の受信画像の解像度まで再びスケールアップする(225)。いくつかの実施形態において、本プロセスは、平滑化され、デシメートされた反転画像の各ピクセル値を、n×n(たとえば、20×20)のピクセル領域のピクセル値として選択することによって、このスケーリング演算を行う。デシメーション、平滑化およびスケーリング演算の組合せにより、プロセス200のローパスフィルタリング演算を行うことができる。この結果、得られたトーンマスクにおいては、ディテールが精細でない、不明瞭な大きな領域のみが見られる。
【0019】
画像の彩度(クロマ)を歪ませることを回避するため、プロセス200により生成されたマスクはモノクロである。このマスクは反転され、組合せ演算の指数のベキ(累乗)が入力値と逆になるようにする。たとえば、受信画像の明るい領域は、より暗いマスク値を有する(すなわち、マスク値が高い)ので暗くなる。本発明の他の実施形態では、トーンマスクを生成するのに原画像を反転しない。代わりに、これらの実施形態では、マスクを受信画像と組み合わせるために用いられる非線形演算子の反転が必要になる。
【0020】
さらに、マスクは、マスクを生成するプロセスを高速化するためにデシメートされた後、平滑化される。しかしながら、本発明のいくつかの実施形態では、反転モノクロ画像をデシメートしないで、迅速な平滑化が可能なサムネイル画像を生成する。代わりに、これらの実施形態では、反転モノクロ画像に直接平滑化動作を行う。
【0021】
プロセス200により生成されたマスクは、ローパスフィルタリングされる(すなわち、ぼかされる(blurred))が、それは、これを行わなければ、マスクが画像のコントラストを平坦にしてしまうためである。換言すれば、マスク画像がぼかされていない場合、マスクおよび受信画像の非線形の組合せは、画像コントラストが低減した画像を生じさせる。一方、マスクが過剰にぼかされた場合には、本発明のプロセスは単純なガンマ補正になってしまい、局所的なトーン補正は効果が低減する。
【0022】
上述したように、本発明は、トーンマスクの値を使用して、非線形演算により受信画像のピクセル値を修正する。図3は、非線形の指数演算によりピクセル値をその対応のマスク値と組み合わせるプロセス300を示す。
【0023】
プロセス300は、最初に、受信したデジタル画像におけるピクセルについてコンポーネントカラー値を取り出す(305)。次に、本プロセスは、選択されたコンポーネントカラー値に対応するマスク値をトーンマスクから取り出す(310)。次に、本プロセスは、指数関数を用いて、取り出されたコンポーネントカラー値のそれぞれについて、修正されたコンポーネントカラー値を計算する(315)。いくつかの実施形態において、本プロセスは、取り出されたコンポーネントカラー値を指数関数の底の一部として使用し、取り出されたマスク値をこの関数の指数の一部として使用する。
【0024】
最後に、本プロセスは、受信画像のすべてのピクセルカラー値を修正し終えたかどうかを判定する(320)。修正していなければ、本プロセスは305に戻り、次のピクセルについて次のコンポーネントカラー値の集合を選択することによって、次のピクセルについて同様の動作を繰り返す。すべてのピクセルカラー値を修正したと判断されたならば、プロセスは終了する。
【0025】
本発明のいくつかの実施形態では、コンポーネントカラー値をその対応マスク値によって修正する指数関数として以下の数式(A)を使用する。
【0026】
【数1】
【0027】
式中、Oは修正された出力カラー値を表し、Iは入力コンポーネントカラー値を表し、Mはマスク値を表し、C1およびC2は定数を表す。本発明のいくつかの実施形態では、各コンポーネントカラーのピクセル値に数式(A)を用いる。たとえば、いくつかの実施形態では、この数式を、受信画像における各ピクセルの赤、緑および青値に使用し、すべての画像ピクセルについて、修正された赤、緑および青値を求める。
【0028】
数式(A)により実行される演算は、ピクセル的なガンマ補正(pixel-wise gamma correction;すなわち、ピクセルごとのガンマ補正)を実行することと本質的に同様である。このピクセル的なガンマ補正では、各ピクセルは、該ピクセルおよびその周りのピクセルのトーン特性によって決定される、(その特定のマスク値に起因する)特定のガンマ値を有する。数式(A)は、8ビット画像を前提とし、したがって255の値を用いてデータをスケーリングする。しかしながら、これより大きいまたは小さいビット深さの画像を使用してもよく、この場合、スケール値は最大デジタルカウントに対応する。
【0029】
数式(A)に挿入される各マスク値は、トーン再現曲線を画定する。換言すれば、各マスク値について、修正された出力カラー値に入力コンポーネントカラー値を数式(A)がどのようにマッピングするかを表すのにトーン再現曲線を用いることができる。同様に、すべてのマスク値について、修正された出力カラー値に対する入力値のこの式のマッピングを示すためにトーン再現曲線群を使用することができる。
【0030】
図4は、定数C1が1に等しく、定数C2が128に等しく、マスク値が0から255の範囲にある場合のトーン再現曲線群を示す。図において、X軸は入力ピクセル値であり、Y軸は出力値である。マスク値は、8ビットカラー方式を使用する場合(すなわち、各コンポーネントカラーが8ビットで表される場合)0から255の範囲にある。この例において、128より大きいマスク値では指数が1未満となり、128より小さいマスク値では指数が1より大きい。マスク値が128に等しいと指数は1になり、入力データは変化しない。
【0031】
定数C1およびC2は、トーン再現曲線群の中心および幅を決定する。すなわち、定数C2は、曲線群の中心を決定する。図4に示す例では、中心は、マスク値128を表す45度の線である。定数C1は、群における曲線の広がりを決定する。したがって、定数C2が変化すると曲線群が上下し、一方、定数C1が変化すると曲線群が拡張収縮する。
【0032】
本発明のいくつかのインタラクティブ(対話式)な実施形態では、ユーザは、(1)C1およびC2を修正し、および/または(2)これらの定数の一方または両方を、画像特性に基づいて自動的に修正することができる。これらの定数を修正することで、べき関数の大きさを変えることができる。したがって、このような修正は、ユーザの好みまたは画像特性に基づいてプロセス300によって実行される局所的なトーン補正の程度を変化させる。たとえば、受信した原画像が非常に明るい場合、ユーザは、該画像の明るいオブジェクト間により良好なコントラストを提供するために本プロセスが原画像をさらに暗くすることができるよう、トーン再現曲線群を上に移動させることができる。
【0033】
数式(A)はルックアップテーブルとして実現されることができ、この場合、受信したピクセル値および生成されたマスク値は、ピクセル値とマスク値の異なる組合せについて予め計算された修正ピクセル値の位置を識別するインデックスとして、このテーブル内で使用される。図5は、このアプローチの概念図を表す。
【0034】
本発明は、画像処理パイプラインに設けられたいくつかの段階(ステージ)によって実施されることができる。図6は、このような段階をいくつか示している。図に示すように、画像捕捉装置610(たとえば、デジタルカメラまたはスキャナ)は、本発明の局所的な色補正プロセス605を使用して、本装置によって捕捉された画像の品質を高めることができる。不均一な露光またはフラッシュ照明で捕捉された画像の色調を補正するのに、本発明を使用することができる。また、本発明を用いて、ダイナミックレンジの大きい画像の事後処理を行うこともできる。
【0035】
画像を捕捉した後、この捕捉装置は、図2の高速および高効率のプロセス200を実行することによって画像のトーンマスクを迅速に生成することができる。捕捉装置は、次にルックアップテーブル(図5によって概念的に示されるもの等)を使用して、各コンポーネントカラーの修正されたピクセル値を迅速に識別することができる。換言すれば、捕捉装置は、原ピクセル値および生成されたマスク値をインデックスとしてルックアップテーブルを参照し、修正されたピクセル値を取り出すことができる。
【0036】
図6に示すように、本発明の局所的な色補正プロセス605は、コンピュータシステム620上で動作するアプリケーション615の一部であってもよい。コンピュータシステムは、このアプリケーションを走らせ、捕捉装置610によって捕捉された画像、または別のアプリケーション(たとえば、ウェブブラウザのアプリケーション)によって供給された画像の色を補正することができる。また、本プロセス605を、デバイスドライバ625(プリンタドライバ等)の一部として実現して、表示装置630が画像を表示する前に画像上でドライバが局所的なトーン補正を実行するようにすることができる。
【0037】
図7は、本発明のいくつかの実施形態において使用されるコンピュータシステム620のブロック図を表す。いくつかの実施形態において、コンピュータシステム620は、画像捕捉装置610と分離されている。しかしながら、本発明の他の実施形態では、このコンピュータシステム620は、画像捕捉装置の一部である。また、以下においてコンピュータシステム620を説明するが、当業者ならば、他のコンピュータシステムおよびアーキテクチャを本発明とともに使用することができるということが理解されよう。
【0038】
図7に示すように、コンピュータシステム620は、バス705と、プロセッサ710と、システムメモリ715と、読み取り専用メモリ720と、永久記憶装置725と、入力装置730と、出力装置735と、を備える。バス705は、コンピュータシステム620の多数の内部デバイスを通信可能に接続するすべてのシステム、周辺機器およびチップセットバスを総称的に表している。たとえば、バス705は、プロセッサ710を、読み取り専用メモリ720、システムメモリ715および永久記憶装置725に通信可能なように接続している。これらの様々なメモリユニットから、プロセッサ710は、実行すべき命令および処理すべきデータを取り出す。
【0039】
読み取り専用メモリ(ROM)720は、プロセッサ710およびコンピュータシステムの他のモジュールにより必要とされる静的データおよび命令を格納する。一方、永久記憶装置725は、読み書きのメモリ装置である。この装置は不揮発性メモリユニットであり、コンピュータ620がオフの場合であっても命令およびデータを格納する。本発明のいくつかの実施形態では、大容量記憶装置(たとえば、磁気または光ディスク、およびその対応するディスクドライブのような)を永久記憶装置725として使用する。他の実施形態では、取り外し可能記憶装置(たとえば、フロッピーディスクまたはzip(商標)ディスク、およびその対応するディスクドライブ)を永久記憶装置として使用する。
【0040】
永久記憶装置725のように、システムメモリ715は、読み書きメモリ装置である。しかしながら、記憶装置725と異なり、システムメモリは、ランダムアクセスメモリのような揮発性の読み書きメモリである。システムメモリは、プロセッサ710がランタイム時に必要とする命令およびデータを記憶する。たとえば、いくつかの実施形態において、システムメモリ715は、修正されたピクセルカラー値を記憶するルックアップテーブルを含む。また、いくつかの実施形態において、本発明のプロセスを実行するのに必要な命令は、システムメモリ、永久記憶装置725、および/または読み取り専用メモリ720に記憶される。
【0041】
また、バス705は、入力装置730および出力装置735にも接続する。入力装置により、ユーザは、情報を伝達し、コンピュータに対するコマンドを選択することが可能となる。入力装置730には、英数字キーボードおよびカーソルコントローラが含まれる。出力装置735は、コンピュータによって生成された画像を表示する。たとえば、これらの装置は、本発明の局所的な補正技術が生成する修正済みデジタル画像を表示する。出力装置には、プリンタが含まれ、また、CRTディスプレイまたは液晶ディスプレイ(LCD)のような表示装置が含まれる。
【0042】
最後に、図7に示すように、バス705は、コンピュータ620をネットワークアダプタ(図示せず)を介してネットワーク740に接続する。このように、コンピュータは、コンピュータのネットワーク(たとえば、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)またはイントラネット)、またはいくつかのネットワークのうちの1つのネットワーク(たとえば、インターネット)の一部であることができる。
【0043】
本発明の局所的な色補正技術は、多数の有利な点を有する。たとえば、本発明の局所的な補正は、入力データの単純なピクセル的な「ガンマ」補正を使用することによって、影を明るくすると同時にハイライト部分を暗くすることができる。また、いくつかの実施形態では、原画像の、反転されローパスフィルタリングされたモノクロ画像をトーンマスクとして使用することによって、グローバルなコントラスト変化とローカルなコントラスト変化とのバランスをとり、彩度の歪みを低減することができる。
【0044】
さらに、本発明は、局所的なトーン補正を計算して適用する簡単かつ高速の方法を提供する。その局所的な色補正は、グローバル補正と比較して画像品質に大幅な改良をもたらす。また、その補正は、Retinexまたは導関数アルゴリズムのような、他の局所的なトーン補正方法により与えられる補正とも同程度のものである。しかしながら、該他の局所的なトーン補正方法と異なり、本発明は、複雑な視覚モデルやマスクに依存する必要がない。要するに、本発明は、局所的な色補正を実行するための単純で計算上効率的な、かつパラメータ化が容易なフレームワークを提供する。
【0045】
本発明の局所的なトーン補正は、いくつかのタイプの画像を改良する際に有効である。たとえば、従来の写真技術では、画像のある領域は正しく露出されるが別の領域は露出不足である、ということがあった。フラッシュ撮影は、画像のある領域は露出過度であるが別の領域は露出不足である別の例である。これらの状況において、人間の視覚系に基づく複雑な局所的補正技術は不適切なことがある。さらに、中には、ダイナミックレンジの広い画像シーンもある。本発明の単純かつ高速な局所補正プロセスは、これらの状況において画像品質を迅速に向上させる理想的な解決策を提供する。
【0046】
最後に、本発明の局所的なトーン補正は、従来のピクセルベース処理の相補技術である。たとえば、本発明を用いて画像の色を補正すると、画像は、従来のピクセルベースのパイプラインを用いて所与のプリンタ上で再現されることができる。イメージングパイプラインの一部に対する近傍画像処理技術の使用は、以降のピクセルベースの画像処理を排除しない。このことは、イメージングパイプラインの全体的な品質および速度を最適化するのに適切な場合には、ピクセルおよび近傍のイメージング処理を使用し得ることを示唆している。
【0047】
本発明の一実施形態は、アドビ社のPhotoShopアプリケーションを使用することによって実現される。より具体的には、この実施形態において、このアプリケーションを用いて、(1)原画像を入力し、(2)原画像を第2のレイヤにコピーし、(3)半径が約15のガウスぼかしフィルタ(Gaussian blur filter)を用いて画像をぼかし、(4)このぼかした画像を反転し、(5)色相(hue)/飽和度(saturation)調節によりぼかされたネガを非飽和にし、(6)ソフトライトレイヤ演算子(Soft Light layer operation)を用いて原画像および生成画像を組み合わせ、最終的な画像を作成する、ことができる。PhotoShopのぼかしフィルタ(blur filter)の半径による実験は、全体的な画像コントラストがどのように半径の関数となるかを示す。特に、半径が大きいほどコントラスト全体が良好となるが、半径が大きすぎると局所的なトーン補正の効果は低減される。
【0048】
多数の具体的なディテールを参照して本発明を説明してきたが、当業者であれば、本発明の精神から逸脱せずに他の具体的な形態において本発明を具現化することができる、ということが理解されよう。たとえば、上述した実施形態では、すべてのコンポーネントカラーについてピクセル値を修正するのに1つのモノクロマスクが使用される。当業者であれば、他の実施形態では、各コンポーネントカラーに別々のマスクを使用することができるということが理解されよう。これらの実施形態において、それぞれのマスクは、それぞれそのコンポーネントカラー値に合わせて最適化されることができる。したがって、当業者であれば、本発明は上述した例示の詳細に限定されず、特許請求の範囲によって定義されるべきであることが理解されよう。
【0049】
本発明は、以下の実施態様を含む。
(1)局所的な色補正を実行する方法であって、
(a)複数のピクセルを有するn個の入力画像を受信するステップ(105)であって、前記入力画像の各ピクセルは、原ピクセルカラー値の集合で表されるステップと、
(b)それぞれがピクセルマスク値の集合により表される複数のピクセルを有するトーンマスク画像を前記入力画像から生成するステップ(110)であって、原ピクセルカラー値の各集合は、対応するピクセルマスク値の集合を有するステップと、
(c)原ピクセルカラー値の各集合について、修正されたピクセルカラー値の集合を求めるステップ(115)であって、修正されたピクセルカラー値の各集合は、原ピクセルカラー値の集合と、その対応するピクセルマスク値の集合との非線形の組み合わせに等しいステップと、
を含む方法。
【0050】
(2)修正されたピクセルカラー値の集合を求める前記ステップは、原ピクセルカラー値の集合およびその対応するピクセルマスク値の集合をインデックスとしてルックアップテーブルを参照し、前記修正されたピクセルカラー値の集合を取り出すステップを含む、上記(1)に記載の方法。
(3)修正されたピクセルカラー値の集合を求める前記ステップは、非線形演算を用いて、原ピクセルカラー値の集合とその対応するピクセルマスク値の集合を組み合わせるステップ(115)を含む、上記(1)に記載の方法。
【0051】
(4)前記非線形演算は減法または加法演算ではない上記(3)に記載の方法。
(5)前記非線形演算は底および指数を有する指数演算であって、該指数演算は、前記原ピクセルカラー値の集合をその底の一部とし、前記対応するピクセルマスク値の集合をその指数の一部として使用する、上記(3)に記載の方法。
(6)前記マスク画像を生成する前記ステップは、非反復プロセスを使用するステップを含む上記(1)に記載の方法。
(7)前記マスク画像を生成する前記ステップは、前記入力画像に対してローパスフィルタリング演算を実行するステップ(215、220、225)を含む、上記(1)に記載の方法。
(8)前記マスク画像を生成する前記ステップは、前記入力画像を反転するステップ(210)を含む、上記(7)に記載の方法。
(9)前記マスク画像を生成する前記ステップは、前記入力画像をモノクロ画像に変換するステップ(205)を含む、上記(8)に記載の方法。
(10)原ピクセルカラー値のそれぞれの集合は、コンポーネントカラー値の集合である、上記(1)に記載の方法。
【0052】
(11)原ピクセルカラー値のそれぞれの集合は、グレースケールのマスク値である、上記(1)に記載の方法。
【0053】
【発明の効果】
局所的な色補正を実行して、簡単かつ高速であり、かつ高品質な画像を生成することができる。
【図面の簡単な説明】
【図1】本発明のいくつかの実施形態に使用される局所的な色補正プロセスを示す図。
【図2】ローパスフィルタリング演算を介してトーンマスクを生成するプロセスを示す図。
【図3】ピクセル値と、トーンマスクからのその対応するマスク値を、非線形の指数演算により組み合わせるプロセスを示す図。
【図4】特定のマスク値に従ってピクセルカラー値がどのように出力カラー値にマッピングされるかを表すいくつかの曲線を示す図。
【図5】修正したピクセルカラー値を格納する二次元のルックアップテーブルの概念図を表す図。
【図6】本発明を取り入れたコンピュータおよび画像捕捉装置の位置づけを示す図。
【図7】本発明のいくつかの実施形態を実現するのに使用されるコンピュータシステムを示す図。
【符号の説明】
605 局所的な色補正プロセス
610 画像捕捉装置
620 コンピュータシステム
625 デバイスドライバ
630 表示装置
Claims (8)
- 局所的な色補正を実行する方法であって、
(a)それぞれが原ピクセルカラー値の集合で表される複数のピクセルを有する入力画像を受信するステップと、
(b)前記入力画像に対してローパスフィルタリングを適用することによりトーンマスク画像を生成し、前記入力画像の複数のピクセルのそれぞれに対応する該トーンマスク画像中のピクセルを、ピクセルマスク値の集合で表されるピクセルとして得るステップと、
(c)前記原ピクセルカラー値のそれぞれの集合について、該原ピクセルカラー値の集合と、該原ピクセルカラー値の集合に対応する前記ピクセルマスク値の集合とを、非線形演算によって組み合わせることにより、該原ピクセルカラー値の集合を修正して、修正済みピクセルカラー値の集合を求めるステップと、を含み、
前記非線形演算は、底および指数を有する指数演算であって、該指数演算は、前記原ピクセルカラー値の集合をその底の一部とし、前記対応するピクセルマスク値の集合をその指数の一部として使用する、
方法。 - 修正済みピクセルカラー値の集合を求める前記ステップは、さらに、前記原ピクセルカラー値の集合および該原ピクセルカラー値の集合に対応する前記ピクセルマスク値の集合をインデックスとしてルックアップテーブルを参照し、前記修正済みピクセルカラー値の集合を取り出すことを含む、
請求項1に記載の方法。 - 前記非線形演算は、減法でもなく、加法演算でもない、
請求項1に記載の方法。 - 前記トーンマスク画像の前記生成は、非反復プロセスを使用する、
請求項1に記載の方法。 - 前記トーンマスク画像の前記生成は、前記入力画像の各ピクセル値を反転することにより、該入力画像を反転することを含む、
請求項1に記載の方法。 - 前記トーンマスク画像の前記生成は、前記入力画像をモノクロ画像に変換することを含む、
請求項5に記載の方法。 - 前記原ピクセルカラー値のそれぞれの集合は、コンポーネントカラー値の集合である、
請求項1に記載の方法。 - 前記ピクセルマスク値のそれぞれの集合は、グレースケール値を有する、
請求項1に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/540,162 US6813041B1 (en) | 2000-03-31 | 2000-03-31 | Method and apparatus for performing local color correction |
US09/540162 | 2000-03-31 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001313844A JP2001313844A (ja) | 2001-11-09 |
JP2001313844A5 JP2001313844A5 (ja) | 2008-04-17 |
JP4443064B2 true JP4443064B2 (ja) | 2010-03-31 |
Family
ID=24154278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001074054A Expired - Fee Related JP4443064B2 (ja) | 2000-03-31 | 2001-03-15 | 局所的な色補正を実行する方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6813041B1 (ja) |
EP (1) | EP1139284B1 (ja) |
JP (1) | JP4443064B2 (ja) |
DE (1) | DE60127016T2 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4574057B2 (ja) * | 2000-05-08 | 2010-11-04 | キヤノン株式会社 | 表示装置 |
US7221381B2 (en) * | 2001-05-09 | 2007-05-22 | Clairvoyante, Inc | Methods and systems for sub-pixel rendering with gamma adjustment |
CN1303570C (zh) | 2002-02-12 | 2007-03-07 | 松下电器产业株式会社 | 图象处理装置和图象处理方法 |
EP1398733A1 (en) * | 2002-09-12 | 2004-03-17 | GRETAG IMAGING Trading AG | Texture-based colour correction |
US7298917B2 (en) | 2002-11-11 | 2007-11-20 | Minolta Co., Ltd. | Image processing program product and device for executing Retinex processing |
US7251363B2 (en) | 2003-07-29 | 2007-07-31 | Ventana Medical Systems, Inc. | Method and system for creating an image mask |
KR101089426B1 (ko) * | 2003-09-11 | 2011-12-07 | 파나소닉 주식회사 | 시각 처리 장치, 시각 처리 방법, 시각 처리 프로그램 및 반도체 장치 |
CN101686306A (zh) * | 2003-09-11 | 2010-03-31 | 松下电器产业株式会社 | 可视处理装置、基于它的装置以及可视处理方法 |
EP1667063A4 (en) * | 2003-09-11 | 2008-11-19 | APPARATUS, METHOD AND PROGRAM FOR PROCESSING IMAGES | |
WO2005027041A1 (ja) * | 2003-09-11 | 2005-03-24 | Matsushita Electric Industrial Co., Ltd. | 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置 |
US7760943B2 (en) * | 2003-10-02 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | Method to speed-up Retinex-type algorithms |
JP2005182232A (ja) * | 2003-12-17 | 2005-07-07 | Matsushita Electric Ind Co Ltd | 輝度補正装置および輝度補正方法 |
WO2006025486A1 (ja) | 2004-09-01 | 2006-03-09 | Nec Corporation | 画像補正処理システム及び画像補正処理方法 |
US8014034B2 (en) | 2005-04-13 | 2011-09-06 | Acd Systems International Inc. | Image contrast enhancement |
US8103119B2 (en) * | 2005-06-20 | 2012-01-24 | Nikon Corporation | Image processing device, image processing method, image processing program product, and image-capturing device |
US8031961B2 (en) * | 2007-05-29 | 2011-10-04 | Hewlett-Packard Development Company, L.P. | Face and skin sensitive image enhancement |
US8238687B1 (en) | 2008-01-09 | 2012-08-07 | Helwett-Packard Development Company, L.P. | Local contrast enhancement of images |
US20100100813A1 (en) * | 2008-10-20 | 2010-04-22 | Kabushiki Kaisha Toshiba | Document processing apparatus and document processing method |
US9183425B2 (en) | 2009-04-09 | 2015-11-10 | Hand Held Products, Inc. | Image sensor pixel array having output response curve including logarithmic pattern for image sensor based terminal |
US8218027B2 (en) * | 2009-04-09 | 2012-07-10 | Hand Held Products, Inc. | Imaging terminal having color correction |
US20110097011A1 (en) * | 2009-10-27 | 2011-04-28 | Suk Hwan Lim | Multi-resolution image editing |
TW201503052A (zh) | 2013-07-04 | 2015-01-16 | Novatek Microelectronics Corp | 影像處理裝置及應用其之影像處理方法 |
US9740046B2 (en) * | 2013-11-12 | 2017-08-22 | Nvidia Corporation | Method and apparatus to provide a lower power user interface on an LCD panel through localized backlight control |
EP3503019A1 (en) | 2017-12-21 | 2019-06-26 | Thomson Licensing | Improved inverse tone mapping method and corresponding device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3650722T2 (de) * | 1985-11-18 | 1999-12-09 | Canon Kk | Bilderzeugungsgerät |
JPH02161872A (ja) * | 1988-12-14 | 1990-06-21 | Fuji Xerox Co Ltd | 画像処理装置の縮拡処理方式 |
US5282036A (en) | 1992-01-06 | 1994-01-25 | Hewlett-Packard Company | High resolution gamma correction method and apparatus for pixel intensity values in a computer graphics system using minimal memory |
JPH08241407A (ja) * | 1995-01-31 | 1996-09-17 | Internatl Business Mach Corp <Ibm> | ディジタル・カラー・イメージの空間フィルタ処理システム |
US5926532A (en) | 1995-10-26 | 1999-07-20 | Peck/Pellssier | Integrated wireless communication system |
JPH09247473A (ja) | 1996-03-07 | 1997-09-19 | Minolta Co Ltd | 画像形成装置 |
US6275304B1 (en) * | 1998-12-22 | 2001-08-14 | Xerox Corporation | Automated enhancement of print quality based on feature size, shape, orientation, and color |
US6822762B2 (en) * | 2000-03-31 | 2004-11-23 | Hewlett-Packard Development Company, L.P. | Local color correction |
-
2000
- 2000-03-31 US US09/540,162 patent/US6813041B1/en not_active Expired - Fee Related
-
2001
- 2001-03-15 JP JP2001074054A patent/JP4443064B2/ja not_active Expired - Fee Related
- 2001-03-16 EP EP01302448A patent/EP1139284B1/en not_active Expired - Lifetime
- 2001-03-16 DE DE60127016T patent/DE60127016T2/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP1139284A2 (en) | 2001-10-04 |
DE60127016T2 (de) | 2008-02-14 |
US6813041B1 (en) | 2004-11-02 |
DE60127016D1 (de) | 2007-04-19 |
EP1139284A3 (en) | 2004-01-02 |
JP2001313844A (ja) | 2001-11-09 |
EP1139284B1 (en) | 2007-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4443064B2 (ja) | 局所的な色補正を実行する方法および装置 | |
US6822762B2 (en) | Local color correction | |
TW538382B (en) | Dynamic image correction and imaging systems | |
Moroney | Local color correction using non-linear masking | |
JP4085058B2 (ja) | ディジタル画像の細部の視覚的認識を高める汎用画像強調アルゴリズム | |
JP5105209B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
US6058248A (en) | Computerized method for improving data resolution | |
US20030189579A1 (en) | Adaptive enlarging and/or sharpening of a digital image | |
US7580566B2 (en) | Image processing device, image processing method, storage medium, and program | |
JP5300595B2 (ja) | 画像処理装置及び方法、及びコンピュータプログラム | |
Safonov et al. | Adaptive image processing algorithms for printing | |
JP2000069310A (ja) | 画像処理方法 | |
US20020118019A1 (en) | Image processing methods and image processing apparatus | |
JP2002207474A (ja) | 画像表示状態修正方法 | |
JP2004030670A (ja) | デジタル画像の色調特徴の強調方法 | |
JP2002150284A (ja) | 画像内の主対象を強調するためのディジタル画像処理システム及び方法 | |
JPH10187966A (ja) | 画像フィルタリング方法及びその装置 | |
JP2004221644A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP2004127064A (ja) | 画像処理方法、画像処理装置、画像処理プログラム及び画像記録装置 | |
JP4721285B2 (ja) | ピクセルごとに差分的に準規則的にデジタルイメージを修正するための方法およびシステム | |
JP2000050097A (ja) | 画像処理方法、装置および記録媒体 | |
JP2002300402A (ja) | 画像処理装置、方法及び記録媒体 | |
JP2003264699A (ja) | レンダリングデジタル画像の色、輝度及び階調スケールの調整方法 | |
JP2020145553A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2003209686A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090914 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100112 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |