JP4210577B2 - 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法 - Google Patents

選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法 Download PDF

Info

Publication number
JP4210577B2
JP4210577B2 JP2003365245A JP2003365245A JP4210577B2 JP 4210577 B2 JP4210577 B2 JP 4210577B2 JP 2003365245 A JP2003365245 A JP 2003365245A JP 2003365245 A JP2003365245 A JP 2003365245A JP 4210577 B2 JP4210577 B2 JP 4210577B2
Authority
JP
Japan
Prior art keywords
digital image
function
tone scale
signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003365245A
Other languages
English (en)
Other versions
JP2004147333A (ja
Inventor
ビー ジンデール エドワード
シー ギャラガー アンドルー
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Publication of JP2004147333A publication Critical patent/JP2004147333A/ja
Application granted granted Critical
Publication of JP4210577B2 publication Critical patent/JP4210577B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color, Gradation (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、ディジタル画像処理に関連し特に、空間の細部と階調スケール特性を向上するディジタル画像の処理に関連する。
多くのディジタル画像化システムは、階調スケール曲線を適用することを通して、ディジタル画像のコントラストと明るさ特性を向上する。一般化された階調スケール曲線f()では、入力画素値xが、出力画素値f(x)に変換される。階調スケール曲線の形状は処理されたディジタル画像に伝えられる視覚的効果を決定する。ディジタル画像に適用される幾つかの階調スケール曲線は、処理されるディジタル画像の画素値に独立である。そのような画像独立階調スケール曲線は、処理された画像が写真的な外観を確立するのには、有益である。画像独立階調スケール曲線は、多くのディジタル画像を向上するのに使用することが可能であるが、コントラストが高すぎる又は低すぎるディジタル画像は、処理されるディジタル画像内の画素値の分布に応じて階調スケール曲線を適用することから利益を受ける。画像独立階調スケール曲線については、関数f(x)を発生するのに使用される数学的な公式は、画像向上の度合いと性質を決定する。
圧縮的階調スケール関数は、即ち、画素値の数値はにを減少させるように設計された階調関数は、画像画素データに直接適用されときに、画像内の空間的な細部は、減少されうる。更に、圧縮的階調スケール関数が、赤−緑−青表現のカラーディジタル画像に直接適用される場合には、階調スケール関数は、処理されたディジタル画像の色み(飽和)特性を減少する。一般的には、より良い結果は、圧縮的階調スケール関数が、輝度−クロミナンス画像表現の輝度信号に直接的に適用されたときに、達成されうる。この手順は、クロミナンス信号が変更されないまま残るが、しかし、空間的な細部が減少された処理された画像となる。
特許文献5のGallagherとGindeleにより開示された方法では、処理された画像の空間的な細部は、ほとんど回復される。この方法では、階調スケール関数が輝度信号に直接的に適用され、そして、階調スケールの修正された輝度信号の空間的な周波数の細部は、適用された階調スケール関数の傾斜に版比例して調整される。結果の処理されたディジタル画像は更なる空間的な細部を有しそして、更に自然になる。
空間フィルタは、画像の空間的な細部が比較的影響されないような方法で、階調スケール関数をディジタル画像に適用するために使用される。これは画像のダイナミックレンジを減少させるために設計された圧縮的階調スケール関数に対しては特に有益である。そのような空間フィルタリング法は、特許文献8と特許文献7に開示されている。圧縮的階調スケール関数を輝度信号に空間フィルタを用いて適用するときには、処理されたディジタル画像の色特性は、クロミナンス信号が修正されなくても、更に自然になる。
GallagherとGindeleの特許文献8では、ディジタル画像に階調スケール関数を適用する区間フィルタリング法を開示する。この方法では、輝度−クロミナンス表現のディジタル画像の輝度チャネルは、2つの信号部分に分割される。階調スケール関数は、信号部分の1つに直接的に適用されそして、他の信号部分は修正された信号部分に加算して戻される。特許文献1と特許文献2に開示された方法で発生される階調スケール関数は、特許文献8に開示された空間フィルタリング方と共に成功して適用される。一般的には、空間フィルタが使用されない場合よりも改善されたディジタル画像内で、更なる空間的な細部が、保存される。
ある画像は自然に、画素値に対する低い数値範囲を有しそして、画素値に対する数値範囲を増加するように設計された拡張的な階調スケール関数を適用することにより向上される可能である。単純なヒストグラム伸張法が、技術的に知られている。典型的には、ヒストグラムは、画像画素値から計算されそして、最小及び最大の画素値が得られる。階調スケール関数は、予め定められた目標に達するように、画素値を拡張する、線形変換式を使用して構成される。例えば、最小画素値はより低い画素値にマップされ、一方、最大画素値はより高い画素値にマップされる。赤−緑−青表現での時に拡張的階調スケール関数を画像画素データに適用することは、画像コントラスト、色飽和、空間的な細部及び、雑音を増加する効果を有する。一般的には、コントラストと空間的な細部の増加は、画像品質の改善として見られる。しかしながら、雑音の増加は画像品質を減少する。
Leeの特許文献7では、圧縮的階調スケール関数の構成方法と、画像データに圧縮的階調スケール関数を適用するウェーブレットに基づく空間フィルタリング技術を開示する。この空間フィルタリング技術は、圧縮的な性質の階調スケール関数で、画像の細部を保存するのを助けるが、一方では、階調特性を向上する。即ち、Leeの方法により発生された階調スケール関数は、画像データのそのシーンのダイナミックレンジを圧縮し又は減少させる。Leeの方法は、あるディジタル画像が、向上を達成するために、ディジタル画像のダイナミックレンジの拡張を要求する可能性を、を起こさない。
上述の方法は、階調スケール関数をディジタル画像に適用するときに、画像の空間的な細部に伴なう特定の問題を避ける又は修復するために、個々に設計されている。しかしながら、これらの方法は、第1に、圧縮的階調スケール関数について動作するように設計されている。
米国特許番号4,731,671号公報 米国特許番号4,745,465号公報 米国特許番号5,300,381号公報 米国特許番号5,923,775号公報 米国特許番号6,167,165号公報 米国特許番号6,282,311号公報 米国特許番号6,285,798号公報 米国特許番号6,317,521号公報 米国特許番号6,438,264号公報 "(ディジタル画像の平滑化及びシグマフィルタ)Digital Image Smoothing and Sigma Filter"、Jong−Sen Lee著、Copmuter Vision、Graphics,and Image Processing24、255−269、1983年。
本発明の目的は、圧縮的又は拡張的の何れかの階調スケール関数を適用する改善された方法を提供することである。
本発明の他の目的は、ディジタル画像の階調及び空間的細部特性を向上するために、ディジタル画像に階調スケール関数を適用する方法を改善することである。
これらの目的は、ディジタル画像の階調及び空間特性向上する方法であって、
a)複数の画素を含むソースディジタル画像を受信するステップを有し、
b)前記ソースディジタル画像の階調特性を向上するのに使用される階調スケール関数を発生するステップを有し、
c)前記階調スケール関数を、2つ又はそれ以上のカテゴリーの1つに分類するステップを有し、分類カテゴリーは拡張的及び圧縮的を含み、
d)前記階調スケール関数が圧縮的と分類されたときには、向上されたディジタル画像を発生するために、前記階調スケール関数、前記ソースディジタル画像、及び第1の空間フィルタを使用し、前記階調スケール関数が拡張的と分類されたときには、向上されたディジタル画像を発生するために、前記階調スケール関数、前記ソースディジタル画像、及び第2の空間フィルタを使用するステップを有する、方法により達成される。
本発明は、画像の輝度コントラストを改善するために圧縮的又は拡張的である関数を使用して容易にし、ここで、圧縮的階調スケール関数は、空間的な細部を保存するように設計された第1の空間フィルタを使用して適用され、そして、拡張的な階調スケール関数は雑音の増幅を最小化するために第2の空間フィルタを使用して適用される。2つの空間フィルタを使用することにより、拡張的な階調スケール関数を適用するときにノイズが増幅されず、そして、圧縮的な階調スケール関数を適用するときにテクスチャが保存される。
以下の説明では、本発明の好ましい実施例はソフトウェアプログラムとして記載される。当業者は、そのようなソフトウェアと等価なものは、ハードウェアでも構成されることは容易く理解されよう。画像処理アルゴリズムとシステムは知られているので、本記載は特に、本発明に従った方法の一部を構成する又は、更に直接的に共同する、アルゴリズムとシステムに特に向けられている。そのようなアルゴリズムとシステムの他の面及び、ここには特に示され又は記載されていない、それに関連する画像信号を発生する又は処理するハードウェア及び/又はソフトウェアは、技術的に知られたシステム、アルゴリズム、コンポーネント及び、構成要素から選択されうる。以下の明細書で述べる記載では、コンピュータプログラムとしての全てのソフトウェア実装は、従来のそしてそのような技術の通常の技術の範囲内である。
更に、ここで使用するように、コンピュータプログラムは、例えば、(フレキシブルディスクのような)磁気ディスク又は磁気テープのような磁気記憶媒体;光ディスク、光テープ、又は、機械読み出し可能なバーコードのような光記憶媒体;ランダムアクセスメモリ(RAM)又は読み出し専用メモリ(ROM)のような固体電子記憶装置;又は、コンピュータプログラムを記憶するのに使用される他の物理装置又は媒体を含む、コンピュータ読み出し可能な媒体に記憶される。
ディジタル画像は1つ又はそれ以上のディジタル画像チャネルより構成される。各ディジタル画像チャネルは、2次元の画素の配列より構成される。各画素値は、画素の幾何学的領域に対応する画像捕捉装置により受信された光の量に関連する。カラー画像応用については、ディジタル画像は典型的には、赤、緑及び、青ディジタル画像チャネルより構成される。例えば、シアン、マゼンタ、及び、黄色の、他の構成も、行われる。モノクローム応用では、ディジタル画像はディジタル画像チャネルより構成される。動画応用では、ディジタル画像の時間シーケンスとして考えられる。当業者は、本発明を、限定はされないが、上述のどの応用についての、ディジタル画像チャネルに適用できることは、理解されよう。
本発明は、行と列に配置された画素値の2次元配列としてディジタル画像チャネルを記述するが、当業者は、本発明は、等しい効果を有するモザイクの(矩形でない)配列に適用されうることは理解されよう。
本発明は、コンピュータハードウェアで実行されうる。図1を参照すると、以下の記載は、画像捕捉装置10、ディジタル画像プロセッサ20、画像出力装置30aと30b及び、一般の制御コンピュータ40を有する、ディジタル画像システムに関連する。このシステムは、コンピュータコンソール又は、紙プリンタのような、モニタ装置50を含む。このシステムは、キーボード又はマウスポインタのような、オペレータのために入力制御装置60も有する。更に、ここで使用されるように、本発明は、コンピュータプログラムとして実行されそして、コンピュータメモリ装置70;即ち、例えば、(フレキシブルディスクのような)磁気ディスク又は磁気テープのような磁気記憶媒体;光ディスク、光テープ、又は、機械読み出し可能なバーコードのような光記憶媒体;ランダムアクセスメモリ(RAM)又は読み出し専用メモリ(ROM)のような固体電子記憶装置;又は、コンピュータプログラムを記憶するのに使用される他の物理装置又は媒体をを含む、コンピュータ読み出し可能な記憶媒体、のような記憶装置内に記憶される。本発明を説明する前に、本発明は、パーソナルコンピュータのような、知られたコンピュータシステム上で実行されるのが好ましいことに注意することは理解を容易にする。
本発明が種々の画像化装置から得られるディジタル画像に対して使用できることを示す、複数の捕捉装置10a、10b及び、10cが示されている。例えば、図1は、画像捕捉装置10aが、例えば、カラーネガティブフィルム又はスライドフィルムの透明画のような、従来の写真画像を走査することによりディジタル画像を発生するフィルムスキャナ装置である、ディジタル現像焼付けシステムを示す。同様に、画像捕捉装置10bは、ディジタルカメラでもよい。ディジタル画像プロセッサ20は、意図された出力装置又は媒体上に満足に見える画像を発生するために、ディジタル画像を処理する手段を提供する。本発明は、ディジタル写真プリンタ及び、ソフトコピーディスプレイを含む、種々の出力装置と共に使用されることを示す、複数の画像出力装置30aと30bが示されている。本発明は、ディジタルカメラにより発生されたディジタル画像が、ディジタルカメラにより出力される前に本発明で処理されるように、ディジタルカメラ内のハードウェア及びソフトウェア内で実行されることが可能であることに注意すべきである。
図1に示されているディジタル画像プロセッサ20は、図2に更に詳細に示されている。図2に示されている従属接続された画像処理モジュールは、ディジタル画像経路を示す。オリジナルディジタル画像101は、図1に示された画像入力装置の1つから受信されそして、画像出力装置で実現されるレンダリングされた(rendered)ディジタル画像103を発生するために処理される。RLSE(相対対数シーン露光)変換モジュール310は、オリジナルディジタル画像101を受信しそして、バランス化と階調スケール関数の適用のために準備されたRLSEディジタル画像を発生する。シーンバランスモジュール320は、RLSEディジタル画像を受信しそして、ソースディジタル画像となる明るさとカラーバランス調整を実行する。階調スケールモジュール330は、ソースディジタル画像を受信し、ソースディジタル画像から階調スケール関数を発生し、そして、階調スケール関数をソースディジタル画像に適用し、向上されたディジタル画像となる。RLSE変換モジュール310とシーンバランスモジュール320が、モジュールの画像処理経路から省略される場合には、階調スケールモジュール330は、ソースディジタル画像としてオリジナルディジタル画像101を直接的に受信する。レンダリングモジュール340は、発生されたレンダリングされたディジタル画像103の画素値が、ディジタルプリンタのような出力画像装置と共に使用されるときに、満足な結果を生じるように準備されるように、向上されたディジタル画像を処理する。レンダリングモジュール340により実行される処理の一部として、レンダリング関数R(x)が、出力画像装置に要求される入力対出力マッピングを達成するために、向上されたディジタル画像の画素データに適用される。図2に示された処理モジュールの構成は、性質がモノクローム又はカラーの何れかであるディジタル画像を処理するのに使用される。即ち、オリジナルディジタル画像101は、画素の1つ又はそれ以上のディジタル画像チャネルを有し、各ディジタル画像チャネルは、赤、緑及び、青表現又は、輝度−クロミナンス表現を含む、オリジナルディジタル画像101のように、異なるカラー又は画素に関連する。
発生された階調スケール関数は、相対対数露光表現(RLSE)であるディジタル画像とともに最も良好に動作するように設計される。即ち、オリジナルディジタル画像101の画素は、それからオリジナルディジタル画像101が得られる、光のオリジナルシーン強度に関して対数関係を有する。例えば、図1に示されている画像捕捉装置10aは、写真ネガティブ又はポジティブ透過画サンプルを通して投影される透過された光の量と線形又は対数関係を有するディジタル画像を発生する写真フィルムスキャナを表す。結果のオリジナルディジタル画像101の画素値が、受信された光と対数関係を有する(即ち、画素が濃度表現である)場合には、オリジナルディジタル画像101は、相対対数シーン露光表現であると考えられる。オリジナルディジタル画像101の画素が受信された光と線形関係を有する場合には、合理的な近似の範囲内で、写真フィルムサンプルを通して透過された光の量がオリジナルの写真シーンから受信される光の量と線形に比例するので、オリジナルディジタル画像101は線形露光表現であると考えられる。線形露光表現ディジタル画像は、図2に示されたRLSEモジュール310で、関数又はルックアップテーブル(LUT)として実行される、線形対対数変換により、相対対数シーン露光表現に変換されることが可能である。
ディジタルカメラで生成されたディジタル画像の最も一般的な表現は、レンダリングされた表現であり、即ち、電子表示装置上で自然に見える画像を生じるように、ディジタル画像が処理される。ディジタルカメラで生成された大部分の画像は、意図された出力画像装置は、CRTモニタ装置であり、しばしばガンマ領域表現と呼ばれる。レンダリングされたディジタル画像は、LUT変換を使用して相対対数シーン露光表現に変換される。ディジタルカメラにより生成されたディジタル画像については、変換は、ディジタルカメラがオリジナルディジタル画像101を生成するのに使用したレンダリング階調スケール関数に関連する逆レンダリング階調スケール関数が続く、意図された電子表示装置に関連するべき乗則関数の逆を含む。代わりに、米国特許番号6,282,311のMcCarthy他により開示された方法は、レンダリングされたディジタル画像からRLSE表現を発生するのに使用されうる。
最も良い結果は、相対対数露光表現でのディジタルで達成されるが、本発明は、上述のように、線形及びガンマ領域表現のような他の表現の、ディジタル画像の外観を向上するのに使用される。特に、本発明は、CIELAB(CIEと略される国際照明委員会により定義された色空間の1つ)のような視覚領域にあるディジタル画像を処理するのに使用される。
シーンバランスモジュール320は、RLSEディジタル画像をRLSE変換モジュール310から受信し、そして、明るさとカラーバランス調整を実行する。結果の処理されたディジタル画像は、階調スケールモジュール330への入力ディジタル画像であるので、ソースディジタル画像と呼ばれる。画素データへの明るさ調整は、オリジナルディジタル画像101内の露光の可変性を起こす。本発明は、入力画素データの、明るさ調整又は、輝度バランスを実行するアルゴリズムと共に使用され得る。特に、明るさバランス手順は、RLSEディジタル画像から1つ又はそれ以上の予測の特徴を計算することを含む。予測の特徴は、予測の特徴の線形式を使用して、理論的な18%グレーシーン反射器に対応する画素値の予測値に関連する単一の輝度バランス値に結合される。有益な多くの予測の特徴があるが、本発明は、最も重要な予測の特徴として空間活動度測定値を使用する。RLSE輝度−クロミナンスディジタル画像は、RLSEディジタル画像から発生される。次に、空間活動度フィルタが、RLSE輝度−クロミナンスディジタル画像の輝度画素データに適用される。空間活動度フィルタは、3x3領域内の隣接する画素値の最小の差を計算しそして、最小の差をその画素に割当てる。予め定められたしきい値を超える最小の差値を有する画素は、第1の予測の特徴を発生するために、平均される。第2の予測の特徴は、RLSE輝度−クロミナンスディジタル画像の輝度画素を4つのストライプに分割しそして、4つの各ストライプから最大の画素値の平均を計算することにより、計算される。有益であると分かった他の予測の特徴は、平均画素値と90%累積ヒストグラム画素値である。
RLSEディジタル画像の輝度バランス値が計算された後に、全体的なカラーキャストを除去するのに使用されうる、RLSEディジタル画像のカラーキャスト(cast)が計算される。カラーキャストの発生原理は、ソース照明の色の変化とオリジナルディジタル画像を記録した画像センサの2次的な色の忠実度である。カラーバランス位置が、理論的なカラー−中性シーン反射器のクロミナンス座標を表すRLSEディジタル画像について、計算される。カラーバランス位置は、RLSE輝度−クロミナンスディジタル画像のクロミナンス画素データに適用される2次元のガウス重み面を使用して計算される。クロミナンス画素データは、重み付けされない方法で平均されることが可能であるが、より良い結果は、2次元のガウス重み面を使用して得られる。これは、原理的には、計算からの多彩のシーンオブジェクトのディエンファシスによる。バランスルックアップテーブルは、計算されたカラーバランス位置と輝度バランス値を使用してRLSEディジタル画像の各色について計算される。バランスルックアップテーブルは、階調スケールモジュール330についてのソースディジタル画像を発生するために、RLSEディジタル画像に適用される。バランスルックアップテーブルの適用の結果として、予測されたバランス値に等しい値を有するRLSEディジタル画像内の画素値は、システム定義された基準グレー点に等しい値に変換される。同様に、カラーバランス位置に対応する、対応するクロミナンス値を有する画素は、カラー−中性点へ変換される。
上述の輝度バランス手順の動作を、以下に詳細に記載される階調スケール関数の構成に結合することも可能であることは、注意すべきである。輝度バランス動作は、階調スケール関数の構成で使用される基準グレー点を調整するのに等価である。輝度バランス動作が階調スケール関数の構成と結合される場合には、処理されているディジタル画像の画素は、基準グレー点を計算するのに使用されるので、基準グレー点は画像に依存する。
レンダリングモジュール340は、階調スケールモジュール330からの向上されたディジタル画像を受けそして、出力画像装置に表示する画素データを準備する。レンダリングモジュール340は、カラー変換、階調レンダリング変換及び、出力エンコーディング変換を行う。画素データは、異なるオリジナルシーンカラーを表す画素データが、出力画像装置に関連するカラースペクトル特性に適切であるように、変換されねばならない。これは、複数のステップ手順内で達成される。最初に、向上されたディジタル画像のRLSE表現の画素データは、線形表現に変換される。次に、カラーマトリクス変換が線形表現画素データに適用される。カラーマトリクスは3x3要素のマトリクスであり、マトリクスの要素は、画像化されたカラーパッチターゲットの集合を分析しそして、意図された出力画像装置で生成された結果のカラーを測定することにより、決定される。
他のタスクは、線形又は相対対数シーン露光表現から、レンダリング関数R(x)の適用でレンダリングされた表現への、画素データの変換を含む。一般的には、向上されたディジタル画像のダイナミックレンジは、CRTモニタ又は写真紙のような典型的な出力画像装置上に表示されうるよりも非常に大きい。従って、向上されたディジタル画像の画素データが直接的に出力画像装置により受信される場合には、画素データの多くは、画像の極端な明るい又は暗い部分でクリップされ、空間的な細部の実質的な損失となる。レンダリング関数は、画素値が出力画像装置の限度に近づくにつれて、表示されるときに処理された画素データは空間的な細部の緩やかな損失となるように、画素データの緩やかなロール−オフを実行する。
本発明は、Buhr他による米国特許番号5,300,381に開示された方法で発生されるレンダリング関数のような、レンダリング関数についての多くの異なる数学形式と共に使用されことが可能である。一般的には、最適な結果は、S字状の形状を有するレンダリング関数、即ち、極端な入力値についてのゼロ又は近くの傾斜を有するそして、中間−階調入力値について達成される最大の大きさの傾斜を有するレンダリング関数、を使用して得られる。あるレンダリング関数は、入力画素値の最も暗い領域について比較的大きな傾斜を有しうるが、しかし、多くのレンダリング関数は、画素の最も明るい領域についてゼロ又はゼロに近い傾斜特性を有する。レンダリング関数は、ある程度、アナログ画像アプリケーションで使用される写真紙の光応答特性をまねる。
処理されているディジタル画像に依存するレンダリング関数を使用することが可能であるが、本発明の好ましい実施例は、ディジタル画像に独立なS字形状のレンダリング関数を使用する。処理されているディジタル画像への画像に依存する修正は、レンダリング関数の適用の前に階調スケールモジュール330により実行される。このように、階調スケールモジュール330は、画像内容、即ち、画像信号内容(空間及びカラー信号変化)と画像雑音内容(雑音源による支配的なランダム空間変化)に、シーンに依存する変更をする機能を有し、一方、レンダリングモジュール340は、画像出力装置に対する最終的に処理された画像を準備する機能を有する。
図3aは、本発明とともに使用するのに適する(曲線590により示されている)レンダリング関数R(x)の例のグラフを示す。点591は、は、基準グレーレベルに等しい入力画素値に対応する。点592は、オリジナルディジタル画像101内の明るい領域に対応するハイライト画素値に対するレンダリング関数応答を示す。点593は、オリジナルディジタル画像101内の暗い領域に対応するシャドー画素値に対するレンダリング関数応答を示す。点595は、出力画素値の最も明るく発生された出力値に対応するレンダリング関数応答を示す。同様に点596は、出力画素値の最も暗く発生された出力値に対応するレンダリング関数応答を示す。点597は、基準グレー点591とは一致する必要がない、瞬時の傾斜が最大の大きさを有する、レンダリング関数の点を示す。最大の大きさの傾斜の点は、S字状関数の変曲点、即ち、レンダリング関数R(x)の対応する傾斜関数の極大値又は、極小値である。図3aに示されたレンダリング関数の例は、ディジタル画像を処理するために、12−ビット画素値表現を使用するディジタル画像化システムについて適切である。多くの出力表示装置は、8−ビット画素値表現の画像を受ける。図3aに示された例示のレンダリング関数は、0から4095の範囲の12−ビット入力画素値を、255から0の範囲の出力レンダリング画素値にマップする。
図3aに示された例示のレンダリング関数は、ディジタル写真プリントを生成するディジタルプリンタで使用するのに典型的である。示された出力画素値スケールは、写真紙濃度に関連し、例えば、ディジタルプリンタは、各画素値コード値がプリント上に生成される光学的な濃度の100倍に等しいように、較正されうる。しかしながら、本発明は、電子表示装置と共に使用されることも可能である。電子表示装置と共に使用される典型的なレンダリング関数は、曲線598により示されているように、図3bに示されている。図3bに示されているレンダリング関数R(x)は、より高い数値入力画素値に対して、より高い数値出力レンダリング画素値を発生することに、注意する。典型的なコンピュータモニタ装置については、出力画素値は、0(黒を表す)から255(白を表す)の範囲である。図3bに示されている例示のレンダリング機能は、0から4095の範囲の12−ビット入力画素値を、0から255の範囲の出力レンダリング画素値にマップする。
レンダリングモジュール340により実行される最後の動作は、出力画像装置で使用する出力画素値のエンコーディングである。多くの画像出力装置は、知られた黙示的な関係を有する画素データを受けるように較正される。例えば、幾つかのディジタル画像プリンタは、画素データに関連する視覚的な明るさを受けるように較正され、一方、他の装置は画素データに関連数光学的な濃度について較正される。エンコーディング動作は、特定の装置についての画素データを準備するために、強度変換を実行する。
レンダリングモジュール340は、規定されていない出力画像装置について、向上されたディジタル画像の画像画素データを準備する動作も実行できる。例えば、画素データは国際照明委員会のプロファイル接続空間により定義されるような、CIEXYZ座標へ変換されることが可能である。
図2を参照すると、画像処理モジュールのチェインは、階調スケールモジュール330の包含とともに又はなしに良好に動作するように設計されている。シーンバランスモジュール320は、露光及び照明システムの可変性に適応する。レンダリングモジュール340は、出力画像装置上で見るための画像データを準備する。図2に示されたディジタル画像プロセッサ20は、階調スケールモジュール330なしで、受け入れられる写真結果を生じることは、当業者には理解されよう。即ち、システムのコントラスト、明るさ、及び、カラー表現は、大多数の典型的なディジタル画像についての最適な写真結果に対して設定される。階調スケールモジュール330の包含は、ダイナミックレンジに関して標準から偏差するディジタル画像は、階調的に向上されそして、システムについての標準であるディジタル画像は階調スケールモジュール330により変更されないように、処理されたディジタル画像の外観を向上する。本発明の典型的な実行のために、オリジナルディジタル画像101のダイナミックレンジ(画像の極値に基づく対応するオリジナルディジタルシーン強度の比)は約64対1である。約64対1のダイナミックレンジを有する、処理されたオリジナルディジタル画像101に対応する向上されたディジタル画像は、階調スケールモジュール330により僅かに影響される。逆に、約64対1より大きい又は64対1依り小さいダイナミックレンジを有する、処理されたオリジナルディジタル画像101に対応する向上されたディジタル画像は、階調スケールモジュール330により大きく向上される、即ち、更なる細部と更なる色飽和でレンダリングされる。特に、低コントラストオリジナルディジタル画像は、一般的には、コントラスト利得を経験し、一方高コントラストのオリジナルのディジタル画像は、一般的には、コントラストの減少を経験し、更なる空間的な細部と更なる飽和された色となる。
図2に示された階調スケールモジュール330は、図4に更に詳細に示されている。ソースディジタル画像102は、分析ディジタル画像201と呼ばれる、ソースディジタル画像102から低空間解像度ディジタル画像を発生する、分析画像発生器250により受信される。階調スケール関数発生器230は、分析ディジタル画像201を受信し、分析ディジタル画像201の画像内容を分析し、そして、階調スケール関数203を発生する。階調スケール関数203は、ソースディジタル画像102の画素値の範囲に対して定義される、単一値の関数である。階調スケール関数アプリケータ240は、階調スケール関数203をソースディジタル画像102に適用し、向上されたディジタル画像104を発生する。階調スケール関数203の形状は、向上されたディジタル画像104に伝えられるコントラスト及び輝度の変化を決定する。
図4に示された階調スケール関数アプリケータ240は、図5に更に詳細に示されている。階調スケール関数分類器241は、階調スケール関数203を受信しそして分析する。階調スケール関数203は、処理されるディジタル画像の画素値の数値範囲上で、階調スケール関数203が有する効果に基づいて、2つ又はそれ以上のカテゴリーの1つに分類される。好ましい実施例では、階調スケール関数203は、圧縮的関数と拡張的関数に分類される。階調スケール関数203は、出力数値画素値の範囲が入力数値画素値の範囲よりも小さい場合には、圧縮的として分類される。逆に、階調スケール関数203は、出力数値画素値の範囲が入力数値画素値の範囲よりも大きい場合には、拡張的として分類される。階調スケール関数分類器241は、入力ディジタル画像401も受信する。階調スケール関数203が圧縮的関数として分類される場合には、入力ディジタル画像401と階調スケール関数203は、圧縮的関数アプリケータ242に向けられる。同様に、階調スケール関数203が拡張的関数として分類される場合には、入力ディジタル画像401と階調スケール関数203は、拡張的関数アプリケータ244に向けられる。従って、圧縮的関数アプリケータ242又は拡張的関数アプリケータ244のいずれかは、図4に示された向上されたディジタル画像104である出力ディジタル画像409を発生するために、入力ディジタル画像401を処理するのに使用される。特に、圧縮的関数アプリケータ242は、階調スケール関数203が圧縮的と分類されたときに、出力ディジタル画像409を発生するために、階調スケール関数203、入力ディジタル画像401及び、空間フィルタを使用し、拡張的関数アプリケータ244は、階調スケール関数203が拡張的と分類されたときに、出力ディジタル画像409を発生するために、階調スケール関数203、入力ディジタル画像401及び、異なる空間フィルタを使用する。
圧縮的及び拡張的階調スケール関数は、ディジタル画像に適用されるときには、異なる向上効果を発生する。圧縮的階調スケール関数は、画素値の数値範囲を減少させる効果を有する。圧縮的階調スケール関数がディジタル画像に直接適用された場合には、画像信号内容の幾つかは大きさが減少されうる。例えば、変化された信号の大きさは減少される。一般的には、これは、望ましくない効果である。以下に更に詳細に説明するように、画像信号内容(即ち、信号変化と空間的な細部)を除去するように設計された、第1の空間フィルタは、圧縮的階調スケール関数をディジタル画像に適用するときに使用される。第1の空間フィルタは、ディジタル画像を2つの信号に分離するのに使用される。1つの信号は、ほとんどの低空間周波数情報を含みそして、他の信号はほとんどの高空間周波数情報を含む。圧縮的階調スケール関数は、ほとんどの低周波数信号情報を含む信号に適用されそして、ほとんどの高空間周波数情報を含む他の信号は、階調スケール調整された信号に加算して戻される。この結果、入力ディジタル画像401の画像信号内容は、最終的に処理されたディジタル画像内に保存され、そして、最終処理ディジタル画像は階調スケール関数により伝えられるコントラスト向上を取得する。
拡張的階調スケール関数は、画素値の数値範囲を増加する効果を有する。拡張的階調スケール関数がディジタル画像に直接的に適用される場合には、画像信号内容は、増幅され、これは一般的には良好な結果にように見える。実際には、拡張的階調スケール関数は、一般的には、画像信号内容の大きさとともに、画像の数値範囲(コントラスト)を増加するために、ディジタル画像に適用される。例えば、変化された信号の大きさは、増加される。しかしながら、ディジタル画像の画像雑音内容も、この処理で増幅され、これは、処理されたディジタル画像の品質劣化となる。これは、雑音が最も知覚されやすいディジタル画像の空間的に平坦な領域に対して、特に鋭い。第1の空間フィルタが、拡張的階調スケール関数を適用するのに使用されるとすると、画像雑音内容の大きさは増幅されないがしかし、画像信号内容も増幅されない。従って、異なる空間フィルタが、拡張的階調スケール関数を適用するのに使用される。以下に更に詳細に説明するが、画像雑音内容を除去し画像信号内容を除去しないように設計された、第2の空間フィルタは、ディジタル画像に、拡張的階調スケール関数を適用するときに使用される。第2の空間フィルタは、ディジタル画像を2つの信号に分離するのに使用される。1つの信号は、低空間周波数情報を含むほとんどの画像信号内容を含み、そして、他の信号はほとんどの画像雑音内容を含む。拡張的階調スケール関数は、低空間周波数情報を含む大部分の画像信号内容を含む信号に適用され、そして、大部分の画像雑音内容を含む他の信号は、階調スケール調整された信号に加算して戻される。この結果、最終の処理されたディジタル画像は、増幅された画像信号内容を有し且つ、階調スケール関数により伝えられるコントラスト向上を取得し、一方画像雑音内容はこの処理で増幅されない。
本発明は、階調スケール関数を発生するどのような方法ともにも使用されうるが、好ましい実施例は、2つの階調スケールセグメントから構成される階調スケール関数を使用する。しかしながら、階調スケール関数構成方法に関わらず、階調スケール関数は圧縮的又は拡張的として分類されることが可能である。本発明は、どのような階調スケール関数分類方法と共にでも使用できる。例えば、階調スケール関数203の平均の傾斜が計算されそして、予め定められたしきい値と比較される。平均傾斜が、予め定められたしきい値よりも大きい場合には、階調スケール関数203は、拡張的関数として分類される。そうでない場合には、階調スケール関数203は圧縮的関数として分類される。
本発明は、ディジタル画像に階調スケール関数203を適用するのに使用される特別化された空間フィルタを選択するために、2つの階調スケール関数分類カテゴリを使用する。しかしながら、本発明は、2つの分類カテゴリと2つの空間フィルタに限定されないことに、注意すべきである。例えば、拡張的なカテゴリは、更に、処理されるディジタル画像の雑音の大きさの分析に基づいて、拡張的と非雑音の拡張的の、2つのカテゴリに分類される。予想された雑音の大きさが、(予め定められた選択しきい値に対して)高い場合には、雑音低減フィルタが、階調スケール関数203を適用するのに使用される空間フィルタとして選択されうる。逆に、予想された雑音の大きさが、低い場合には、空間フィルタを階調スケール関数203に適用する必要はない。例えば、米国特許番号5,923,775に開示されている方法は、処理されるディジタル画像の予想された雑音の大きさを推定するのに使用される。雑音の大きさの推定値のテーブルは、画素値の関数として計算される。次に、重み付けされた雑音値が、分析ディジタル画像201からサンプルされた画素値の発生頻度(frequency)ヒストグラムを有するテーブルからの雑音の大きさの推定値を重み付けすることにより計算される。次に、ディジタル画像を表すデータベース内のディジタル画像は、各ディジタル画像に対する重み付けされた雑音値を計算するために、雑音推定手順で処理される。データベース内の同じディジタル画像は、第2の空間フィルタで又はなしで、階調スケール関数で処理される。処理されたディジタル画像は、見られそして、最適な選択しきい値を決定するために、対応する重み付けされた雑音値と比較される。選択しきい値より小さい計算された重み付けされた雑音値を有するディジタル画像に対応する階調スケール関数は、非雑音拡張的関数と分類される。選択しきい値より大きいか又は等しい計算された重み付けされた雑音値を有するディジタル画像に対応する階調スケール関数は、拡張的関数と分類される。この実施例では、階調スケール関数の分類、即ち、割当てられたカテゴリは、処理されるディジタル画像についての推定された雑音の大きさに部分的に基づいている。
本発明の好ましい実施例は、階調スケール関数分類を決定するために、ヒストグラムに基づく方法を使用する。入力ディジタル画像401は、輝度画素情報のヒストグラム関数、即ち、発生頻度(frequency)関数、を計算することにより分析される。累積の1.0と99.0百分位数輝度画素値は、ヒストグラム関数から計算されそして、それぞれPとP99により示されている。階調スケール関数203で発生された対応する出力画素値の値は、それぞれ、TとT99に記録される。階調スケール関数203は、TとT99の間の差が、PとP99の間の差よりも小さいか又は等しい場合に、圧縮的な関数として分類される。そうでない場合には、階調スケール関数203は、拡張的な関数として分類される。他の分類規則も、階調スケール関数203を分類するのに使用される。例えば、階調スケール関数203は、P99とPの間の差に対するT99とTの間の差の比が、予め定められたしきい値を超える場合に、拡張的と分類される。
図5に示された圧縮的関数アプリケータ242は、図6aに更に詳細に示されている。LCC変換モジュール210は、赤−緑−青画像表現の形式の入力ディジタル画像401を受信し、そして、1つのディジタル画像チャネルを含む輝度ディジタル画像107と2つのディジタル画像チャネルを含むクロミナンスディジタル画像109を発生する。ペデスタル発生モジュール410は、輝度ディジタル画像107を受信し、そして、ペデスタルディジタル画像403を発生する。ペデスタル発生モジュール410は、輝度ディジタル画像107に適用される、空間フィルタを使用し、それは、輝度ディジタル画像107から画像テクスチャ内容に関連する画像信号内容を除去するがしかし、エッジ情報を残す。本発明の情況では、画像テクスチャ内容は、精密な空間的な細部と空間的なシェーディングの構造を含む画像内容を指す。フィルタの自然な結果として、雑音は除去される。このように、ペデスタルディジタル画像403は、輝度ディジタル画像107のエッジ内容の多くを有する輝度ディジタル画像107の大きな平滑化版である。ペデスタルディジタル画像403は、差分モジュール420により、輝度ディジタル画像107から減算され、テクスチャディジタル画像402となる。輝度ディジタル画像107の全ての情報は、ペデスタルディジタル画像403か又は、テクスチャディジタル画像402のいずれかに含まれていることは、理解されよう。階調スケール修正器アプリケータ430は、階調スケール関数203を直接的に、ペデスタルディジタル画像403の画素に適用し、階調調整されたディジタル画像407となる。従って、ペデスタルディジタル画像403の階調特性は、輝度ディジタル画像107の画像テクスチャ内容に影響することなしに、階調スケール関数203の適用により向上される。加算モジュール440は、階調調整されたディジタル画像407とテクスチャディジタル画像402を結合し、向上された輝度ディジタル画像113を生成する。従って、向上された輝度ディジタル画像113は、輝度ディジタル画像107の画像テクスチャ内容を有する輝度ディジタル画像107の階調スケール向上版である。RGB変換モジュール220は、向上された輝度ディジタル画像113とクロミナンスディジタル画像109を受信し、そして、出力ディジタル画像409を生成する。
空間フィルタを使用することにより、階調スケール関数を適用することは、階調スケール関数が圧縮的な場合には、特に優位である。圧縮的な階調スケール関数が直接入力ディジタル画像に適用されるときには、階調特性は、向上されるがしかし、画像テクスチャ内容は、大きさが減少される。階調スケール関数を適用するために空間フィルタを使用することは、画像テクスチャ内容を維持しながら、望ましい階調スケール向上を達成できる。種々の空間フィルタが、改善された結果を達成するために使用されることが可能である。本発明は、ペデスタルディジタル画像403内のエッジを保存するために制御又はマスキング信号の使用を採用する、GallagherとGindeleによる、米国特許番号6,317,521に開示されている空間フィルタを使用する。この方法では、空間フィルタは、第1と第2の信号が加算されたときに、結果の信号が輝度ディジタル画像チャネルに等しいように、低域通過空間周波数情報を支配的に含む第1信号と、高域通過空間周波数情報を支配的に含む第2信号を発生する。信号の分離は、輝度情報の低域通過周波数版内のエッジを検出することに基づいて、空間フィルタリングを修正する、非線形動作で達成される。階調スケール関数203は、修正された第1の信号を発生するために第1の信号に適用される。修正された第1の信号は、そして、修正された輝度ディジタル画像チャネルを発生するために、第2の信号と結合される。
本発明は、米国特許番号6,285,798でLeeにより開示された同様な方法とともに使用されることもことが可能である。使用されうる他の空間フィルタは、2次元ガウスフィルタのような、単純な低域通過フィルタである。しかしながら、低域通過フィルタが使用される場合には、ガウス標準偏差パラメータの寸法は、例えば、処理されているディジタル画像の寸法の4分の1のように、非常に大きい。
圧縮的関数アプリケータ242への入力ディジタル画像401は、赤−緑−青画像表現で直接的に空間フィルタリングする技術で処理されることが可能であることも、注意すべきである。この実施例では、入力ディジタル画像401の赤、緑及び青ディジタル画像チャネルは、各ディジタルチャネルについて第1と第2の信号を発生するために上述の空間フィルタを使用して個々に空間的にフィルタされる。各ディジタル画像チャネルについての第1と第2の信号は、共に加算されたときに、未フィルタリングのディジタル画像チャネルに等しい信号となる。階調スケール関数203は、そして、修正された第1信号を発生するために、各ディジタル画像チャネルへ対応する第1信号に適用される。各ディジタル画像チャネルから修正された第1信号は、そして、向上されたディジタル画像104を構成する、各色の修正されたディジタル画像チャネルを発生するために、対応する第2の信号と結合される。
図5に示された拡張的関数アプリケータ244は、図6bに示されている。雑音低減モジュール450は、入力ディジタル画像401を受信しそして、雑音低減されたディジタル画像413を発生するために入力ディジタル画像の画素から除去する雑音低減フィルタを適用する。この動作は、入力ディジタル画像401の各ディジタル画像チャネルに実行される。使用される雑音低減フィルタの要求に依存して、雑音低減モジュール450は、雑音テーブル207、即ち入力ディジタル画像401内の雑音の予想される大きさを示す雑音パラメータのテーブル、も受信できる。雑音低減されたディジタル画像413は、入力ディジタル画像401の雑音の除去されたディジタル画像版である。差分モジュール420は、入力ディジタル画像401から雑音低減されたディジタル画像413を減算し、これは雑音残差ディジタル画像412となる。入力ディジタル画像401内の情報は、雑音低減されたディジタル画像413(ほとんどの画像信号内容)又は、雑音残差ディジタル画像412(ほとんど確率論的な雑音)のいずれかで表現される。階調スケール修正器430は、雑音低減されたディジタル画像413へ階調スケール関数203を適用し、結果は、階調スケール調整されたディジタル画像407となる。雑音低減されたディジタル画像413内の情報は、階調スケール関数203が拡張的と分類されているので、一般的には、増幅される。このように、画像雑音内容は、雑音低減モジュール450により除去されそして階調スケール関数203の適用により影響されないので、入力ディジタル画像に含まれる画像雑音内容は、増幅されないことは、理解されよう。
処理された画像の階調スケール特性は大きく改善されるので、階調スケール調整されたディジタル画像407が、拡張的関数アプリケータ244の出力ディジタル画像409とすることが可能である。雑音低減モジュール450の高度さと性能に依存して、入力ディジタル画像401の幾つかの画像信号内容は、雑音残差ディジタル画像412内に分散される。従って、好ましい実施例では、雑音残差ディジタル画像412は、任意の画像内容を回復するために、加算モジュール440により、階調スケール調整されたディジタル画像407に加算して戻される。雑音残差ディジタル画像412の一部のみを戻すことも可能である。
拡張的関数アプリケータ244内で雑音低減モジュール450により使用される空間フィルタは、圧縮的関数アプリケータ242により使用される空間フィルタと非常に異なる関数を実行することは、は理解されよう。拡張的関数アプリケータ244により使用される空間フィルタは、階調スケール関数203がディジタル画像信号に適用されるときに、画像信号内容が増幅されるがしかし、画像雑音内容は増幅されないように、雑音を除去するように設計される。圧縮的関数アプリケータ242により使用される空間フィルタは、階調スケール関数203がディジタル画像に適用されたときに、ディジタル画像信号内容の大きさが減少されないように、画像信号内容を除去するために設計される。一般的には、画像信号内容は、画像雑音内容よりも大きさが大きい。
図6bに示されている階調スケール修正器アプリケータ430代わりの実施例では、図6cに更に詳細に示されている。LCC変換モジュール210は、赤−緑−青画像表現の形式の雑音低減されたディジタル画像413を受信し、そして、1つのディジタル画像チャネルを含む輝度ディジタル画像107と2つのディジタル画像チャネルを含むクロミナンスディジタル画像109を発生する。直接関数アプリケータ433は、輝度ディジタル画像107の画素の直接的に階調スケール関数203を適用し、その結果向上された輝度ディジタル画像113となる。従って、輝度ディジタル画像107の階調特性は階調スケール関数203を適用することにより向上され、輝度ディジタル画像107の画像テクスチャコンテンツともよばれる、画像信号内容も増幅する。クロミナンス修正器432は、階調スケール関数203、輝度ディジタル画像107及びクロミナンスディジタル画像109を受信し、そして、向上されたクロミナンスディジタル画像114を発生するために、米国特許番号6,438,264に開示された方法を使用して、階調スケール関数203に従って、クロミナンス画素値を増幅する。向上された輝度ディジタル画像113と向上されたクロミナンスディジタル画像114は、出力ディジタル画像409を発生するために、RGB変換モジュール220により結合される。当業者は、本発明は、限定はされないが、CMYK(シアン、マゼンタ、黄色、黒)画像表現のような、他の表現のディジタル画像でも実行されることが可能であることを認識する。CMYKディジタル画像の輝度−クロミナンス表現は、1つの輝度ディジタル画像チャネルと3つのクロミナンスディジタル画像チャネルを有する。雑音の減少されたディジタル画像から得られる輝度ディジタル画像チャネルに拡張的階調スケール関数を適用するこの代わりの実施例は、好ましい実施例よりも更に複雑である。しかしながら、この代わりの実施例は、クロミナンスと輝度情報を別々に増幅する方法を提供する。
雑音低減モジュール450は、空間フィルタで処理されているディジタル画像から除去される画像信号内容は、後の処理ステップで加算して戻されるので、ディジタル画像から雑音を除去するように設計された種々の空間フィルタを使用できる。例えば、2次元ガウス低域通過空間フィルタのような、単純な低域通過空間フィルタが使用されることが可能である。領域メジアンフィルタも、効果的に雑音を除去するために、雑音低減モジュール450内で空間フィルタとして、使用されることが可能である。
本発明の好ましい実施例は、図6に示されたように、雑音低減モジュール450により使用されている空間フィルタとして、シグマフィルの変形を使用する。Jong−SenLeeは、コンピュータビジョン、グラフィックス及び画像処理、Vol24、p255−269、1983年の、ジャーナル記事ディジタル画像平滑化及びシグマフィルタで、シグマフィルタを開示している。nが、行又は列の方向のいずれかの画素の長さを示す、nかけるn画素の局所的に隣接するものに含まれている画素の値は、中心画素又は注目の画素の値と比較される。画素の局所的に隣接するもの内の各画素は、注目の画素の値と局所的な画素値の間の絶対差、即ち差分画素値、に基づいて、1又はゼロの重み係数が与えられる。画素値差の絶対値がしきい値εよりも小さいか又は等しい場合には、重み係数は1に設定される。そうでない場合には、重み係数はゼロに設定される。数値定数εは、典型的には、予想される雑音標準偏差の2倍に設定される。数学的には、雑音の減少された画素値の計算のための式は、(1)で与えられ、
mn=Σijijij/Σijij (1)
及び
|pij−pmn|<=εの場合には、aij=1
|pij−pmn|>εの場合には、aij=0
であり、ここで、pijは画素の局所的に隣接するものに含まれるij番目の画素を表し、pmnは行mと列nに配置された注目の画素の値を表し、aijは重み係数を表し、そして、qmnは雑音の減少された画素値を表す。典型的には、中心画素について集中された画素の局所的に隣接するものは、シグマフィルタアプリケーションについての局所的画素値をサンプルするために変化されるインデックスiとjとともに使用される。Jong−SenLeeは、画素の局所的に隣接するものについての画素の矩形配置を使用して記載した。nかけるnの画素の局所的に隣接するもの内の画素のラジアルパターンのような、他の空間構成も、良好に動作する。
信号依存雑音特徴は、式(2)により与えられるしきい値εについての式の修正を通して、組み込まれ、
ε=Sfacσ(pmn) (2)
ここで、σは、中心画素値pmnについて評価される画素の局所的に隣接するものの画素の予想される雑音標準偏差を表す。しきい値εが注目の画素で評価されることは要求ではないことに、注意すべきである。しかしながら、しきい値εは局所的に隣接するものの画素の値の関数であることは重要である。パラメータSfacは、雑音低減の程度を変化させるのに使用できる、スケールファクタ又は、制御パラメータである。Sfacパラメータについての最適値は、実験を通して3.0であることが分かったがしかし、2.0から5.0の範囲の値も許容できる結果を生じることが分かった。雑音低減された画素値qmnは、2つの和に除算として計算される。処理はディジタル画像に含まれる全ての画素について、完了される。
ディジタル画像から雑音を除去する他の方法も、雑音低減モジュール450内で空間フィルタとして使用されることが可能である。例えば、2000年12月20日に、Edawrd B.Gindeleにより出願された、名称”ディジタル画像から雑音を除去するためのマルチ解像度に基づく方法(A Multiresolution Based Method for Removing Noise From Digital Images)”の米国特許出願番号09/742,957及び、2002年5月15日にEdawrd B.Gindele他により出願された、名称”雑音を増幅することなしに線形応答範囲を拡張するためにディジタル画像の階調スケールを広報する方法(A Method of Enhancing the Tone Scale of a Digital Image to Extend the Linear Response Range Without Amplifying Noise)”の米国特許出願番号10/145,937では、ディジタル画像のマルチ解像度表現を使用する、ディジタル画像から雑音を除去する方法が、開示されている。これらの、2つの開示では、処理されているディジタル画像は、処理されているディジタル画像の複数の空間解像度版を有するマルチ解像度表現へ変換される。シグマフィルタが、マルチ解像度表現の複数の空間解像度版成分に適用され、そして、処理されたマルチ解像度表現は、全解像度のディジタル画像に変換して戻される。
図6aと図6bに示されたLCCモジュール210は、ソースディジタル画像102の赤、緑及び青色画素値を、輝度及びクロミナンス画素値へ変換するために3かける3要素のマトリクス変換を使用する。変数Rij、Gij、及びBijは、i番目の行とj番目の列に配置された、赤、緑及び青色ディジタル画像チャネルに対応する画素値を示す。変数Lij、GMij、及びILLijは、LCC表現ディジタル画像の、変換された輝度、第1クロミナンス及び、第2クロミナンス画素値をそれぞれ示す。マトリクス変換の3かける3の要素は、(3)に記載されている。
ij=0.333Rij+0.333Gij+0.333Bij (3)
GMij=−0.25Rij+0.50Gij−0.25Bij
ILLij=−0.50Rij+0.50Bij
図6aと6bに示されたRGB変換モジュール220は、LCC変換モジュール210へ逆マトリクス動作を実行することにより、輝度とクロミナンス画素を、赤、緑及び青色画素値へ変換するために、3かける3の要素マトリクス変換を使用する。RGB変換モジュールのマトリクス要素は、式(3)により与えられる、そして、(4)により与えられるマトリクスの逆マトリクスを表す。
ij=Lij−0.666GMij−ILLij (4)
ij=Lij+1.333GMij
ij=Lij−0.666GMij+ILLij
図4に示された階調スケール関数発生器230を、以下に更に詳細に説明する。階調スケール関数発生器230は、階調スケール関数発生器230が分析ディジタル画像201の画素を使用して計算される自動モード又は、階調スケール関数203がグラフィックユーザインターフェースを介して提供されるユーザ入力選択231を使用して計算される手動モードのいずれかで使用されることが可能である。手動モードでは、ユーザが、階調スケール関数203の形状を制御する1つ又はそれ以上のパラメータをわたり直接的な影響を有するので、階調スケール関数203の発生は手動で制御される。
階調スケール関数203は、ソースディジタル画像102の画素値の範囲に対して定義された、単一値の関数、即ち、各入力画素値に対して1つの出力、である。形状は処理されるディジタル画像に対する効果を決定するので、階調スケール関数203の形状は、重要である。階調スケール関数203は、2つの関数セグメントから構成され、2つのセグメントは、共通の丁度1つの入力画素値を共有する。18%シーン反射器に対応する基準グレー点画素は、関数領域を2つの階調スケールセグメントに分割する、共通の入力画素値として定義される。より明るい画像領域に関連する関数セグメント、即ち、オリジナル写真シーンの明るい領域に対応する画像領域は、ハイライト階調スケールセグメントと呼ばれる。より暗い画像領域に関連する関数セグメント、即ち、オリジナル写真シーンの暗い領域に対応する画像領域は、シャドー階調スケールセグメントと呼ばれる。階調スケール関数203は、コンピュータソフトウェア及び/又はハードウェアでの実行が許される限り、連続関数である、ことに注意すべきである。階調スケール関数203は、連続する1次微分を有することが可能であることに、注意すべきである。
これらの階調スケール関数203の構成の重要な面は、2つの異なる階調スケールセグメントについて異なる数学的な関数を使用することである。各階調スケール関数について異なる数学的な関数を使用することは、各階調スケールセグメント内で階調スケール関数203を独立に制御することを可能とし、処理されるディジタル画像に対するより大きな程度カスタマイズ化を可能とする。
ディジタル画像システム内で使用されるディジタル画像の画素極性は、システム設計者によりなされる任意の判断である。例えば、正の画素極性ディジタル画像は、より高い数値がより多くの光が受信されことに関連する、画素を有する。逆に、負の画素極性ディジタル画像は、より高い数値がより少ない光が受信されことに関連する、画素を有する。本発明の何れかの画素極性のディジタル画像と共に使用されることが可能である。しかしながら、明確のために、以下の記載では正の画素極性の慣例を仮定する、当業者は、関数の傾斜値を増加する又は減少するのになされる基準は、正の画素極性ディジタル画像に関してである。関数傾斜特性の記載は、負の画素極性のディジタル画像を使用するシステムに対しては、逆にされねばならない。これは、数学的に増加又は減少する関数は数値的に横座標値を増加することに関して定義されるので、解釈の重要な面である。例えば、以下に与えられるハイライト又はシャドーコンポーネント関数の構成の記載では、幾つかのシャドーコンポーネント関数が、単調に増加する傾斜特性を有するとして記載され、一方、幾つかのハイライトコンポーネント関数は、単調に減少する傾斜特性を有するとして、記載される。この記載は、正の画素極性の慣例に関する。負の画素極性の慣例については、等価なシャドーコンポーネント関数が、単調に減少する傾斜特性を有するとして記載され、一方、幾つかのハイライトコンポーネント関数は、単調に増加する傾斜特性を有するとして、記載される。
ハイライト階調スケールセグメントは、1つ又はそれ以上のコンポーネント関数から構成され、その幾つかは、以下の制約を満たす:1)コンポーネント関数は、基準グレー点と等しいか又はそれより大きい全ての入力画素値に対して、単調に減少する傾斜関数を有する、そして2)コンポーネント関数は、基準グレー点と等しいか又はより大きい及びディジタル画像で表現された最大入力画素値より小さいか又は等しい全ての入力画素値に対して、単調に増加する関数値を有する。基準グレー点では、2つの階調スケールセグメントは、同じ値を有する。関数は、関数がその1次微分関数(ディジタル実行では、傾斜関数は1次微分関数の合理的な近似として得られる)の反転を有しない場合には、所定の領域をわたって単調である。特定の画像内で表現されているものよりも大きい入力画素値に対する関数特性は、画素が影響されないので、学術的な問題であることも注意すべきである。上述の制約の両方は、重要でありそして、幾つかの説明を必要とする。
ハイライト階調スケールセグメントは、明るい画素即ち、より多くの光が受信されことに関連する画素、に関連する。一般的には、高ダイナミックレンジディジタル画像については、本発明なしに生成された対応するレンダリングされたディジタル画像は、非常に暗い画像領域で、非常に僅かの空間的な細部を有し又は空間的な細部を有しない。これは、平均的なダイナミックレンジのディジタル画像を満足にレンダリングするのに要求される全体的な高システムコントラストの結果である。従って、高ダイナミックレンジディジタル画像については、明るい画素に含まれている幾つかの画像内容は、空間的な細部変化がレンダリングされたディジタル画像103内に保存されているように、レンダリングされない。改善された空間細部変化は、階調スケール関数203が高入力画素値をより低い出力画素値へマップする場合に、達成される。これは、結果のレンダリングされたディジタル画像103内のより暗いハイライト内容を有する処理されたディジタル画像となる。そのような入力と出力マッピング動作を実行できる多くの関数がある。しかしながら、単調に増加する関数は、さらに強くなるように実験的に決定される、即ち単調でない関数よりもより少ない画像アーティファクトを発生する。
多くの単調関数は、高入力画素値をより低い出力画素値にマップする動作を達成できるが、全ての関数は、異なる平均画素値に対応する画像領域に関するコントラストに幾つかの形式の妥協を課す。特に、ハイライト階調スケールセグメントを構成するために使用されるコンポーネント関数の瞬時の傾斜値(1次微分)は、結果のレンダリングされたディジタル画像103内の、コントラストの知覚と空間的な細部変化に大きく影響しうる。従って、単調に減少する瞬時傾斜値を有するコンポーネント関数を使用して構成されたハイライト階調スケールセグメントは、ハイライト画素をより低い出力画素値へマップすることにより、明るい画像領域について、空間的な細部変化のレンダリングを改善することが可能である。ハイライト階調スケールセグメントの領域内でより高い瞬時傾斜値に対応する画像領域は、より多くの画像の細部変化を保存しがちである。従って、単調に減少する瞬時傾斜条件は、基準グレー点の値に数値的に近い画素値に対応する画像内容を、有利にする。一般的には、主題領域のような、重要な画像内容は、基準グレー点に数値的により近い傾向にあり、一方、背景画像内容は、画素値に関して更に均一に示されがちである。
同様に、シャドー階調スケールセグメントは、1つ又はそれ以上のコンポーネント関数から構成され、その幾つかは、以下の制約を満たす:1)コンポーネント関数は、基準グレー点と等しいか又はそれより小さい全ての入力画素値に対して、単調に増加する傾斜関数を有する、そして、2)コンポーネント関数は、基準グレー点と等しいか又はそれより小さい及びディジタル画像で表現された最小入力画素値より大きいか又は等しい全ての入力画素値に対して、単調に増加する関数値を有する。同様に、シャドー階調スケールセグメントを構成するのに使用されるコンポーネント関数の単調な特性は、更に強い画像品質結果に関連する。シャドー階調スケールセグメントを構成するのに使用されるコンポーネント関数の単調に増加する傾斜関数特性は、この条件も、基準グレー点の値に数値的に近い画素値に対応する画像内容を、有利にするので、同様に重要である。高ダイナミックレンジ画像については、シャドー階調スケールセグメントを構成するのに使用されるコンポーネント関数の単調に増加する傾斜関数特性は、低入力画素値をより高い出力画素値にマッピングする動作を達成する。これは、結果のレンダリングされたディジタル画像103内のより明るいシャドー内容を有する処理されたディジタル画像となる。
上述の傾斜関数の制約の自然な結果は、基準グレー点で高傾斜関数値を有する階調スケール関数を発生する。従って、基準グレー点値の選択は、画像のどの領域が高傾斜関数値を経験するかを決定するので、重要である。18%グレーシーン反射器に対応する基準グレー点値は、知覚的な明るさのほぼ中点を表すので、選択される。基準グレー点の値の他の選択も、良好な結果を発生する。基準グレー点についての合理的な値は、10%シーン反射器値から25%シーン反射器値の範囲である。
階調スケール関数発生器230の第1の実施例は、図4に示されており、ハイライト又はシャドー階調スケールセグメントのいずれかが、指数関数に基づく単一コンポーネント関数を使用して構成される。ハイライト階調スケールセグメントに使用されるコンポーネント関数は、式(5a)により与えられ、
Figure 0004210577
ここで、xρは、基準グレー点を表し、そしてβh1とαh1は、コンポーネント関数fh1(x)の形状と傾斜を決定する数値定数である。シャドー階調スケールセグメントに使用されるコンポーネント関数は、式(5b)により与えられ、
Figure 0004210577
ここで、βs1とαs1は、コンポーネント関数fs1(x)の形状と傾斜を同様に決定する数値定数である。基準グレー点に1.0の傾斜制約が課される場合には、βh1とβs1は、αh1とαにそれぞれ等しい。この条件では、fh1(x)とfs1(x)についての式は、(6)と(7)により与えられ、
Figure 0004210577
Figure 0004210577
そして、階調スケール関数203T(x)は(8)により与えられる。
x>=xρについては、T(x)=fh1(x) (8)
x<xρについては、T(x)=fs1(x)
ハイライトコンポーネント関数は、(9)により与えられるように縦座標xとなる横座標値xhoにより定義される規定された座標点を通過させるように制約される。
Figure 0004210577
この制約は、ハイライト白色点をオブジェクトにマッピングすることを達成する。ハイライトコンポーネント関数に対しては、白色点xは、約0.2の予め定められた写真紙濃度に対応するようにレンダリング関数R(x)により好ましくはマップされる画素値に基づいて、決定される。変数xとxρで、変数αh1の値が、繰返しの数値解法により、式(9)を使用して、所定の値xhoについて、解かれる。同様に、シャドーコンポーネント関数は、(10)により与えられるように縦座標xとなる横座標値xsoにより定義される規定された座標点を通過させるように制約される。
Figure 0004210577
この制約は、シャドー黒点をオブジェクトにマッピングすることを達成する。シャドー階調スケール関数に対しては、黒色点xは、約0.2の予め定められた写真紙濃度に対応するようにレンダリング関数R(x)により好ましくはマップされる画素値に基づいて、決定される。変数xとxρが定義され、変数αs1の値が、繰返しの数値解法により、式(10)を使用して、所定の値xsoについて、解かれる。式(9)と(10)の繰返し数値解法は、最初にαs1の初期値を推定し、式の各サイドを計算し差として誤差項を計算し、誤差を調査し、αs1の推定値を調整し、そして、誤差項が許容できる低い大きさとなる目でこの手順を繰返す、処理を含む。繰返しの解法結果は、αs1の全ての可能な値について計算されそして、LUTに格納される。同じ計算と手順が、αh1の値を決定するために使用される。
変数xhoとxsoは、一旦選択されると、式(6)と(7)についての関数の形状と傾斜特性を決定する、式(9)と(10)内の制御変数である。図7は、異なる値xhoで発生されたハイライト階調スケールセグメントを表す曲線群と、異なる値xsoで発生されたシャドー階調スケールセグメントを表す曲線群を示すグラフである。点500は基準グレー点xρを示す。曲線5101は、1つのハイライトコンポーネント関数から構成されたハイライト階調スケールセグメントを示す。曲線502は、1つのシャドーコンポーネント関数から構成されたシャドー階調スケールセグメントを示す。線503は、1対1入力対出力線を示す。図7に示されたハイライト階調スケールセグメントの各々に対して、グラフに示されたハイライトコンポーネント関数は、単調に減少する瞬時傾斜値を有する。同様に、図7に示されたシャドー階調スケールセグメントの各々に対して、グラフに示されたコンポーネント関数は、単調に増加する瞬時傾斜値を有する。変数xhoとxsoは、独立して選択されることが可能である。このように、2つの階調スケールセグメントの形状は、互いに独立して制御されることが可能である。
式(6)と(7)は、(コンポーネント関数に対応する)傾斜関数が、基準グレー点で評価されたときに、1.0に等しくなければならないという制約で得られた。他の実施例では、傾斜制約が課された、同様な形式で、指数関数が使用される。ハイライトコンポーネント関数の傾斜は、選択された値
Figure 0004210577
及び、シャドーコンポーネント関数は、選択された値
Figure 0004210577
に等しくなければならない。この実施例では、課された傾斜の制約は、式(4)の変数βh1とαh1と式(5)の変数βs1とαs1との間の関係となり、それぞれ式(11)と(12)により与えられる。
Figure 0004210577
ハイライトコンポーネント関数とシャドーコンポーネント関数についての式は、それぞれ式(13)と(14)により与えられる。
Figure 0004210577
ハイライト及びシャドーコンポーネント関数の傾斜関数を表す1次微分関数は、それぞれ、式(15)と(16)により与えられる。
Figure 0004210577
hoの値が、xの値よりも大きい場合には、ハイライトコンポーネント関数は、より大きな範囲の入力画素値を、より小さな範囲の出力画素値へマップしそして、それゆえに、圧縮的な関数であると考えられる。逆に、xhoの値が、xの値よりも小さい場合には、ハイライトコンポーネント関数は、より小さな範囲の画素値を、より大きな範囲の出力画素値へマップしそして、それゆえに、拡張的な関数であると考えられる。同様に、xsoの値が、xの値よりも小さい場合には、シャドーコンポーネント関数は、より大きな範囲の入力画素値を、より小さな範囲の出力画素値へマップしそして、それゆえに、圧縮的な関数であると考えられる。逆に、xsoの値が、xの値よりも大きい場合には、シャドーコンポーネント関数は、より小さな範囲の画素値を、より大きな範囲の出力画素値へマップしそして、それゆえに、拡張的な関数であると考えられる。従って、変数xhoとxの値に基づいて、ハイライト階調スケールセグメントは、圧縮的、拡張的又は、通性のいずれかに分類される。値xhoが値xと等しい場合には、この唯一の条件に対しては、ハイライト階調スケールセグメントは、同一のマッピング関数を仮定するので、ハイライト階調スケールセグメントは、中性と分類される。変数xsoとxの値に基づいて、シャドー階調スケールセグメントは、圧縮的、拡張的又は、中性のいずれかに分類される。同様に、値xsoが値xと等しい場合には、この唯一の条件に対しては、シャドー階調スケールセグメントは、同一のマッピング関数を仮定するので、シャドー階調スケールセグメントは、中性と分類される。
圧縮的なハイライトコンポーネント関数については、数値定数αh1は正である。
Figure 0004210577
の正の値についての式(15)により与えられるハイライトコンポーネント関数の対応する傾斜関数は、基準グレー点xρより大きいか又はに等しい全てのxに対して、正の傾斜関数値を生じる。2次微分関数についての式又は、ハイライトコンポーネント関数の傾斜関数の傾斜関数は、式(17)により与えられる。
Figure 0004210577
図8aは、
Figure 0004210577
変数が1.0に設定され、基準グレー点が0.0に設定され、そしてαh1変数が1.0に設定されて発生されたハイライト階調スケールセグメントの例示のグラフを示す。図8aに示されたグラフの調査と式(17)によりわかるように、正の値のαh1
Figure 0004210577
は、ゼロより大きいか又は等しい値を仮定する単調に減少する傾斜関数を有する圧縮的ハイライト階調スケールセグメントとなる。曲線512は、ハイライト階調スケールセグメントを構成するのに使用されるハイライトコンポーネント関数を示し、曲線513は、その対応する傾斜関数を示す。基準グレー点は点511により示されている。
同様に、圧縮的なシャドーコンポーネント関数については、数値定数αs1は、負である。正の値
Figure 0004210577
に対する式(16)により与えられるシャドーコンポーネント関数の対応する傾斜関数は、基準グレー点xρより小さいか又はに等しい全てのxに対して、正の傾斜関数値を生じる。2次微分関数についての式又は、シャドーコンポーネント関数の傾斜関数の傾斜関数は、式(18)により与えられる。
Figure 0004210577
図8bは、
Figure 0004210577
変数が1.0に設定され、基準グレー点が0.0に設定され、そしてαs1変数が1.0に設定されて発生されたシャドー階調スケールセグメントの例示のグラフを示す。図8bに示されたグラフの調査と式(18)によりわかるように、正の値のαs1
Figure 0004210577
は、ゼロより大きいか又は等しい値を仮定する単調に増加する傾斜関数を有する圧縮的シャドー階調スケールセグメントとなる。曲線515は、シャドー階調スケールセグメントを構成するのに使用されるシャドーコンポーネント関数を示し、曲線516は、その対応する傾斜関数を示す。基準グレー点は点514により示されている。
図8cに示されている、例示の階調スケール関数203は、ハイライト及びシャドー階調スケールセグメントから構成され、その各々は上述のように単一のコンポーネント関数から構成される。上述のような、等しい傾斜条件は、本発明により発生される階調スケール関数の要求ではない。図8cに示された例示の階調スケール関数では、ハイライト及シャドー階調スケールセグメントの傾斜は、基準グレー点で評価されたときに、等しくない。曲線517は、階調スケール関数203を示し、そして、曲線518は対応する傾斜関数を示す。規準グレー点は、点519により示されている。図8cに示されている例から分かるように、階調スケール関数は、基準グレー点で傾斜関数の不連続を有する。連続する傾斜関数を有する階調スケール関数は、一般的には、望ましい。しかしながら、実験は、自然写真シーンに関連するディジタル画像に適用されたときに、階調スケール関数の傾斜関数の不連続性は、たいてい問題ではないことを示した。米国特許番号6,285,798に開示されたような、階調スケール関数を発生する他の方法は、傾斜の連続性制約を構成の処理に課している。本発明のサポートで実行された実験は、傾斜の連続性制約は、幾つかのディジタル画像アプリケーションについては、不要な制約であることが分かった。傾斜の連続性制約を課さないことにより、有益な階調スケール関数のより大きな多様性が発生できる。特に、ソースディジタル画像に適用されるときに、ソースディジタル画像の画素に応答する手段で構成される階調スケール関数は、より大きなレベルの全体的なコントラスト向上を達成できる。
他の実施例では、ハイライト階調スケールセグメントは、圧縮的なハイライトコンポーネント関数から構成される。圧縮的なハイライトコンポーネント関数については、xhoはxよりも大きいことを思い出す。この実施例については、(6)により与えられる式は、基準グレー点で関数の傾斜条件を緩和する、線形関数と結合される。ハイライトコンポーネント関数についての式は、(19)により与えられ、
Figure 0004210577
ここで、変数γHCは、xρからxhoの区間をわたる関数に対する平均傾斜を表し、式(20)で与えられる。
Figure 0004210577
変数φHCは、線形関数のハイライトコンポーネント関数への貢献を決定する。変数φHCは、ハイライトコンポーネント関数として式(19)を使用するハイライト階調スケールセグメントの形状を変化を及ぼすために選択されることが可能である。φHCが、0.0に設定される場合には、式(19)は式(6)に戻る。φHCが、1.0に設定される場合には、式(19)は、式(21)により与えられる線形関数を仮定する。
Figure 0004210577
このように、変数φHCは、ハイライトコンポーネント関数が純粋な指数関数として動作する程度を選択するのに使用されうる、制御パラメータである。同様に、シャドーコンポーネント関数についての式は、(22)により与えられ、
Figure 0004210577
ここで、変数γSCは、xsoからxρの区間をわたる関数に対する平均傾斜を表し、式(23)で与えられる。
Figure 0004210577
変数φSCは、シャドーコンポーネント関数として式(22)を使用するシャドー階調スケールセグメントの形状を変更するために選択される。φSCが、0.0に設定される場合には、式(22)は式(7)に戻る。φHCが、1.0に設定される場合には、式(22)は、式(24)により与えられる線形関数を仮定する。
Figure 0004210577
このように、変数φSCは、シャドーコンポーネント関数が純粋な指数関数として動作する程度を選択するのに使用されうる、制御パラメータである。
φHCとφSC変数を変更することは、処理されたディジタル画像の外観に大きな影響を有する。φHCとφSC変数を0.0に向かって設定することは、更なる伝統的な写真の高コントラスト外観を有する処理されたディジタル画像となる。逆に、φHCとφSC変数を1.0に向かって設定することは、人物描写されるのに適切な、更にプロフェッショナルな写真の低コントラストの外観を有する処理されたディジタル画像となる。図9は、xhoの異なる値を使用して式(19)で発生されたハイライト階調スケールセグメントを表す曲線群と、xsoの異なる値を使用して式(22)で発生されたシャドー階調スケールセグメントを表す曲線群を示すグラフである。点521は、基準グレー点xρを示す。曲線522は、1つのハイライトコンポーネント関数から構成されたハイライト階調スケールセグメントを示す。曲線523は、1つのシャドーコンポーネント関数から構成されたシャドー階調スケールセグメントを示す。線524は、1対1入力画素値対出力画素値線を示す。階調スケール関数203は、変数xhoとxsoは、独立して選択されることが可能であるので、図9に示されたハイライト階調スケールセグメント又はシャドー階調スケールセグメントのから構成される。変数φHCとφSCが0.0に設定されていない場合には、結果の階調スケール関数は、一般的には、基準グレー点で連続する傾斜関数を有しないことも注意すべきである。
式(4)、(6)又は、(13)で構成されるハイライトコンポーネント関数は、xhoがxよりも小さい場合には、単調に増加する瞬時傾斜を有する関数となる。そのような関数の例は、図10aの曲線530に示されている。曲線530により示された関数は、入力画素値xhoを出力画素値xにマップすることを満足するが、そのような関数に基づく階調スケール関数は、幾つかの不自然に見える画像を発生する。これは、主に、曲線530により示されたハイライトコンポーネント関数の傾斜が、基準グレー点の付近の入力画素範囲に対して、単調に減少するのではなく、単調に増加する傾斜を有するためである。しかしながら、ハイライトコンポーネント関数は、式(4)、(6)又は、(13)を使用して構成されることが可能であり、(点533により示された)基準グレー点より大きいか又は等しい入力画素値について(25)により与えられる線531として示された線について反射される。
Figure 0004210577
反射処理により発生された関数は、図10aの曲線532に示されたように、単調に減少する瞬時傾斜を有する単調に増加する関数である。拡張的ハイライトコンポーネント関数の関数形式は、以下のステップにより計算される。最初に式(4)、(6)又は、(13)が、数値定数αh1を決定するために、制約xho=xを使用して解かれる。第2のステップでは、座標対(x,f(x))に対して第1の回転変換が与えられ、(26)に与えられるように、変換された座標対(u,v)となる。
Figure 0004210577
ここで、角度θは(27)により与えられる。
Figure 0004210577
第1の回転変換は、式(24)により記述される線を、x−軸に変換するように設計される。第3のステップでは、v座標は、値v座標の負をとることにより、新たなx−軸に関して反射される。第4のステップで、(28)により与えられる座標対(u’,v’)について、座標対(u,−v)に逆回転変換が与えられる。
Figure 0004210577
第5のステップで、座標対(u’,v’)は、ハイライトコンポーネント関数g(u)を定義しそして、入力画素値の範囲について評価される。
図10bを参照すると、各好適シャドーコンポーネント関数は、xso>xの場合について、上述と同様な方法で構成される。シャドーコンポーネント関数は、(5)、(7)又は、(14)により記述される関数を使用して構成され、数値定数αs1を決定するために、制約xso=xを使用して、(点534により示される)基準グレー点より小さい又は等しい入力画素値に対して(29)により与えられる線535として示された線について反射される。
Figure 0004210577
図10bに536により示された曲線は、正の数値定数αs1に対して(5)、(7)又は、(14)を使用する関数を示す。反射処理ステップを介して発生された対応する拡張的シャドーコンポーネント関数は、曲線537により示されている。
上述のコンポーネント関数で構成される、拡張的ハイライト階調スケールセグメントと拡張的シャドー階調スケールセグメントから構成される階調スケール関数の例示のグラフが図10cに示されている。ハイライト及シャドー階調スケールセグメントの両方が拡張的であるので、曲線539により示された、階調スケール関数は、xsoからxhoの入力画素値の範囲をわたり、拡張的と分類される。式(25)と(29)により与えられる結合された線形関数は、点538により示された基準グレー点を有する、線540として示される。その構成で使用されたハイライト及シャドー階調スケールセグメントの両方が圧縮的コンポーネント関数であるので、曲線517として図8cに示された階調スケール関数は、xsoからxhoの入力画素値の範囲をわたり、圧縮的と分類される。基準グレー点は、点538により示されている。
2つの階調スケールセグメントの形状は独立して制御可能であるので、拡張的シャドーコンポーネント関数と圧縮的ハイライトコンポーネント関数から、又は、圧縮的シャドーコンポーネント関数と拡張的ハイライトコンポーネント関数から、階調スケール関数を構成することが可能である。そのような、階調スケール関数は、ここでは、2つのセグメントが異なる形状分類であるので、折衷関数と呼ぶ。折衷関数分類カテゴリーに特定の階調スケールアプリケータモジュールを有することが可能であり、本発明は、折衷関数について階調スケール関数203を適用するために圧縮的関数アプリケータ242使用する。このように、折衷関数は、圧縮的関数として再分類される。ハイライト及びシャドー階調スケールセグメントから構成される階調スケール関数については、本発明は、何れかの階調スケールセグメントが個々に圧縮的と分類される場合には、階調スケール関数203を、圧縮的と分類する。そうでない場合には、階調スケール関数203は拡張的と分類される。他の分類規則セットが使用されうることに注意すべきである。例えば、折衷階調スケール関数は、拡張的階調スケール関数と分類されることも可能である。
好ましい実施例では、拡張的ハイライトコンポーネント関数fh1(x)は、式(4)主題を使用して構成され、制約は(30)と(31)により与えられる。
Figure 0004210577
ここで、変数xho’は、式(32)により与えられ、
Figure 0004210577
そして、変数ηは、関数の形状を選択するのに使用される制御パラメータを表す。関数fh1(x)に置かれたこれらの2つの制約で、ハイライトコンポーネント関数は、規定された入力画素値xho’を規定された出力画素値xへマップする目的を達成する。区間xρからxho’をわたる関数γHEの平均傾斜は、式(33)より与えられ、
Figure 0004210577
はxho’よりも大きいので、これは、1.0よりも大きい。上述と同様な方法で、式(4)で使用される変数αh1とβh1は、繰返しの数値近似で解かれそして、後の読み出しのために、LUTに格納される。変数ηは、好ましくは0.5に設定される。更なる改良のために、ハイライトコンポーネント関数は、制御パラメータφHEを使用して線形関数と結合される。拡張的ハイライトコンポーネント関数についての最終的な式は、(34)により与えられる。
Figure 0004210577
同様に、拡張的シャドーコンポーネント関数fs1(x)は、式(5)主題を使用して構成され、(35)と(36)により制約が与えられる。
Figure 0004210577
ここで、xso’は、式(37)により与えられ、
Figure 0004210577
そして、変数ηは、関数の形状を選択するのに使用される制御パラメータを表す。関数fs1(x)に置かれたこれらの2つの制約で、シャドーコンポーネント関数は、規定された入力画素値xso’を規定された出力画素値xへマップする目的を達成する。区間xso’からxをわたる関数γSEの平均傾斜は、式(38)より与えられ、
Figure 0004210577
はxso’よりも小さいので、これは、1.0よりも大きい。上述と同様な方法で、式(5)で使用される変数αs1とβs1は、繰返しの数値近似で解かれそして、後の読み出しのために、ルックアップテーブル(LUT)に格納される。変数ηは、好ましくは0.5に設定される。更なる改良のために、シャドーコンポーネント関数は、制御変数φSEを使用して線形関数と結合される。拡張的ハイライトコンポーネント関数についての最終的な式は、(39)により与えられる。
Figure 0004210577
図11は、ハイライト及びシャドー階調スケールセグメントの群を示し、各々は、それぞれ式(34)と(39)を使用して、単一の拡張的コンポーネント関数から発生される。点541は、基準グレー点xρを示す。ライン542は、同一マッピング1対1入力画素値対出力画素値線を示す。曲線543は、式(34)を使用するハイライト階調スケールセグメントの例を示す。曲線544は、式(39)を使用する例示のシャドー階調スケールセグメントを示す。
2セグメント法で構成された階調スケールセグメントの重要な特徴は、圧縮的から拡張的形式の関数への対応する変化の関数形状は、徐々に変換することである。図12aは、コンポーネント関数が圧縮的な時には式(19)をそして、コンポーネント関数が拡張的な時には式(34)を使用して、単一のハイライトコンポーネント関数から構成される、ハイライト階調スケールセグメントのファミリーを示す。点549は、基準グレー点を示す。曲線550は、高圧縮的ハイライトコンポーネント関数を示し、曲線551は、緩やかなハイライトコンポーネント関数を示す。圧縮の程度が高くなるほど、関数の湾曲が大きくなる。ハイライトコンポーネント関数が、圧縮的でも拡張的でもないときには、関数は曲線552により示された、同一マッピング1対1入力対出力線を仮定する。曲線553は、緩やかに、拡張的なハイライトコンポーネント関数を示す。曲線554は、大きく拡張的なハイライトコンポーネント関数を示す。拡張の程度が高くなるほど、関数の湾曲が大きくなる。このように、緩やかな圧縮的及び緩やかな拡張的ハイライトコンポーネント関数については、関数の形状は直線に近い。図12aに示されたハイライトコンポーネントセグメントを構成するのに使用される圧縮的なハイライトコンポーネント関数については、0.0の値が、変数φHCに使用された。図12aに示されたハイライトコンポーネントセグメントを構成するのに使用される拡張的なハイライトコンポーネント関数については、0.0の値が、変数φHEに使用された。式(19)で使用されるφHC変数の値は、式(34)で使用されるφHE変数の値と独立に選択できることに、注意すべきである。
シャドー階調スケールセグメントの形状も、圧縮的と拡張的関数の間で緩やかな変化を有する。図12aも、コンポーネント関数が圧縮的なときに、式(22)をそして、コンポーネント関数が拡張的なときに、式(39)を使用して、単一のシャドーコンポーネント関数から構成される、シャドー階調スケールセグメントのファミリーを示す。曲線555は、高圧縮的シャドーコンポーネント関数を示し、曲線556は、緩やかなシャドーコンポーネント関数を示す。圧縮の程度が高くなるほど、関数の湾曲が大きくなる。シャドーコンポーネント関数が、圧縮的でも拡張的でもないときには、関数は線557により示された、同一マッピング1対1入力対出力線を仮定する。曲線558は、緩やかに、拡張的なシャドーコンポーネント関数を示す。曲線559は、大きく拡張的なシャドーコンポーネント関数を示す。拡張の程度が高くなるほど、関数の湾曲が大きくなる。このように、緩やかな圧縮的及び緩やかな拡張的シャドーコンポーネント関数については、関数の形状は直線に近い。図12aに示されたシャドーコンポーネントセグメントを構成するのに使用される圧縮的なシャドーコンポーネント関数については、0.0の値が、変数φSCに使用された。図12aに示されたシャドーコンポーネントセグメントを構成するのに使用される拡張的なシャドーコンポーネント関数については、0.0の値が、変数φSEに使用された。式(22)で使用されるφSC変数の値は、式(39)で使用されるφSE変数の値と独立に選択できることに、注意すべきである。
図12bは、式(19)、(34)、(22)及び(39)を使用して構成されたハイライト及びシャドー階調スケールセグメントを示し、変数φHC、φHE、φSC、及びφSEの値は、全てが0.5の値に設定されている。図12bに示された曲線から分かるように、階調スケールセグメントは、圧縮的から拡張的形式関数への対応する変化について、関数の形状を徐々に変化させる。
圧縮的ハイライトコンポーネント関数の他の構成法では、変数
Figure 0004210577
は圧縮の程度即ち、(x−xρ)と(xho−xρ)の比の関数である。ハイライトコンポーネント関数fh1(x)は、(13)により与えられ、ここで、式(13)内の傾斜変数
Figure 0004210577
は、式(40)により与えられ、
Figure 0004210577
そして、変数ηは、ハイライトコンポーネント関数の形状を制御する。変数ηは、選択可能である。変数ηが、1.0に設定されているときには、ハイライトコンポーネント関数は式(21)により与えられる線の式を仮定する。変数ηが、0.0に設定されているときには、ハイライトコンポーネント関数は式(13)により与えられる指数関数の式を仮定する。同様に、圧縮的シャドーコンポーネント関数では、変数
Figure 0004210577
は圧縮の程度即ち、(xρ−x)と(xρ−xso)の比の関数である。シャドーコンポーネント関数fs1(x)は、(14)により与えられ、ここで、式(14)内の傾斜変数
Figure 0004210577
は、式(41)により与えられ、
Figure 0004210577
そして、変数ηは、シャドーコンポーネント関数の形状を制御する。変数ηが、1.0のときには、シャドーコンポーネント関数は式(24)により与えられる線の式を仮定する。変数ηが、0.0のときには、シャドーコンポーネント関数は式(14)により与えられる指数関数の式を仮定する。
図4を参照すると、ソースディジタル画像の画素、即ち、階調スケールモジュール330への入力ディジタル画像は、変数xhoとxsoを決定し、そして、このように、階調スケール関数203の形状を決定するのに使用されることが可能である。分析画像発生器250は、ソースディジタル画像を受信し、そして、低域通過空間フィルタを適用しサンプリング動作を実行することにより分析ディジタル画像201を発生する。この結果は、より少ない画素が同じ画像内容を表す、より低い空間解像度版のソースディジタル画像となる。分析ディジタル画像201に対する、典型的な空間解像度は、約64かける96画素である。分析ディジタル画像も、式(2)を使用して輝度−クロミナンス表現に変換される。
階調スケール関数発生器230は、分析ディジタル画像201の画素を分析することにより、階調スケール関数203を計算する。画素ヒストグラム関数即ち、発生関数の頻度が、分析ディジタル画像201の輝度ディジタル画像チャネルの画素から、計算される。累積ヒストグラム関数が、画素値の関数として画素ヒストグラムの値を累積することにより画素ヒストグラム関数から計算される。図13は、曲線601により示された例示のヒストグラム関数と曲線602により示されたその対応する累積ヒストグラム関数のグラフを示す。累積ヒストグラム関数は、0.0と1.0の間にスケーリングされそして、画像領域の100パーセントに対応する1.0を有するディジタル画像のパーセンテージ領域に関連する。累積ヒストグラム関数の縦座標値は、所定のパーセンテージ画像領域Zに関連する。対応する横座標値は、Pより小さい値を有する画像画素のパーセンテージがZにより与えられる画素値Pに関連する。99.0%の累積ヒストグラム関数値は、ハイライト点の値、変数xhoを決定するのに使用される。1.0%の累積ヒストグラム関数値は、シャドー点の値、変数xsoを決定するのに使用される。変数xhoとxsoについての値は、図13に示されたグラフ上のそれぞれ点603と604として示されている。
図3と図4を参照すると、階調スケール関数発生器230は、階調スケール関数203の発生で、ユーザ入力選択231を受けることができる。例えば、図1に示されたシステムのユーザは、モニタ装置50上で可能な入力及び/又は制御パラメータを見ることができそして、キーボード又はマウスポインティング装置のような、入力制御装置60を使用して選択を示すことができる。この手動ユーザモードを使用するときには、ハイライト制御パラメータとシャドー制御パラメータは、それぞれ、ハイライト階調スケールセグメントとシャドー階調スケールセグメントを発生するために、コンポーネント関数の形状を変更するのに使用される。
本発明は、好ましくは、スキャナ、ディジタル画像を処理するようにプログラムされたコンピュータ及び感熱又はインクジェットプリンタのような出力装置のような、ディジタル画像のソースを含む画像処理システムで実行される。本発明の方法は、本発明のステップを実行するコンピュータコードを持つコンピュータ読み出し可能な蓄積媒体を含む、コンピュータプログラム製品として販売されうる。
コンピュータ読み出し可能な蓄積媒体は、例えば;磁気ディスク(例えば、フレキシブルディスク)又は、磁気テープのような磁気記憶媒体;光ディスク又は光テープのような光蓄積媒体;バーコード;ランダムアクセスメモリ(RAM)又は読み出し専用メモリ(ROM)のような固体電子蓄積装置;又は、コンピュータプログラムを格納するのに使用される他の物理的な装置又は媒体、を含みうる。
本発明のシステム実装の構成要素部分を示す機能的なブロック図である。 ディジタル画像プロセッサの機能的なブロック図である。 レンダリング関数の例のグラフである。 レンダリング関数の他の例のグラフである。 階調スケールモジュールの機能的なブロック図である。 階調スケール関数アプリケータの機能的なブロック図である。 圧縮的関数アプリケータの機能的なブロック図である。 拡張的関数アプリケータの機能的なブロック図である。 図6bに示された階調スケール修正器の機能的なブロック図である。 ハイライト階調スケールセグメントのファミリーとシャドー階調スケールセグメントのファミリーを示すグラフである。 圧縮的なハイライトコンポーネント関数とその対応する傾斜関数の例のグラフである。 圧縮的なシャドーコンポーネント関数とその対応する傾斜関数の例のグラフである。 圧縮的なハイライト及びシャドー階調スケールセグメントとその対応する傾斜関数から構成された階調スケール関数の例のグラフである。 構成された、ハイライト階調スケールセグメントのファミリーとシャドー階調スケールセグメントのファミリーを示すグラフである。 拡張的ハイライトコンポーネント関数の構成の細部を示すグラフである。 拡張的シャドーコンポーネント関数の構成の細部を示すグラフである。 拡張的ハイライト及びシャドー階調スケールセグメントとその対応する傾斜関数から構成された階調スケール関数の例のグラフである。 ハイライト階調スケールセグメントのファミリーとシャドー階調スケールセグメントのファミリーを示すグラフである。 圧縮的及び拡張的形式関数の両方についてのハイライト階調スケールセグメントのファミリーとシャドー階調スケールセグメントのファミリーを示すグラフである。 圧縮的及び拡張的形式関数の両方についてのハイライト階調スケールセグメントのファミリーとシャドー階調スケールセグメントのファミリーを示す他のグラフである。 画像ヒストグラム関数とその対応する累積ヒストグラム関数の例を示すグラフである。
符号の説明
10a、10、10c 画像捕捉装置
20 ディジタル画像プロセッサ
30a、30b 画像出力装置
40 一般の制御コンピュータ
50 モニタ装置
60 入力制御装置
70 コンピュータメモリ装置
101 オリジナルディジタル画像
102 ソースディジタル画像
103 レンダリングされたディジタル画像
104 向上されたディジタル画像
107 輝度ディジタル画像
109 クロミナンスディジタル画像
113 向上された輝度ディジタル画像
114 向上されたクロミナンスディジタル画像
201 分析ディジタル画像
203 階調スケール関数
207 雑音テーブル
210 LCC変換モジュール
220 RGB変換モジュール
230 階調スケール関数発生器
231 ユーザ入力選択
240 階調スケール関数アプリケータ
241 階調スケール関数分類器
242 圧縮的関数アプリケータ
244 拡張的関数アプリケータ
250 分析画像発生器
310 RLSE変換モジュール
320 シーンバランスモジュール
330 階調スケールモジュール
340 レンダリングモジュール
401 入力ディジタル画像
402 テクスチャディジタル画像
403 ペデスタルディジタル画像
407 階調スケール調整されたディジタル画像
409 出力ディジタル画像
410 ペデスタル発生モジュール
412 雑音残差ディジタル画像
413 雑音低減されたディジタル画像
420 差分モジュール
430 階調スケール修正器アプリケータ
432 クロミナンス修正器
433 直接関数アプリケータ
440 加算モジュール
450 雑音低減モジュール

Claims (9)

  1. ディジタル画像の階調及び空間特性向上する方法であって、
    a)複数の画素を含むソースディジタル画像を受信するステップを有し、
    b)前記ソースディジタル画像の階調特性を向上するのに使用される階調スケール関数を発生するステップを有し、
    c)前記階調スケール関数を、2つ又はそれ以上のカテゴリーの1つに分類するステップを有し、分類カテゴリーは拡張的及び圧縮的を含み、階調スケール関数は入力コード値および出力コード値を有し、階調スケール関数は出力コード値の範囲が入力コード値の範囲より小さい場合には圧縮的と分類され、そうでない場合には拡張的と分類され、
    d)前記階調スケール関数が圧縮的と分類されたときには、向上されたディジタル画像を発生するために、前記階調スケール関数、前記ソースディジタル画像、及び第1の空間フィルタを使用し、ここで、第1の空間フィルタが前記ソースディジタル画像を、主として低空間周波数情報を含む信号と主として高空間周波数情報を含む信号の2つの信号に分離し、前記圧縮的な階調スケール関数を前記の主として低空間周波数情報の信号に適用して調整信号を生成し、該調整信号に前記の主として高空間周波数情報の信号を加え、
    前記階調スケール関数が拡張的と分類されたときには、向上されたディジタル画像を発生するために、前記階調スケール関数、前記ソースディジタル画像、及び第2の空間フィルタを使用し、ここで、第2の空間フィルタが前記ソースディジタル画像を、主として画像信号内容を含む信号と主として画像雑音内容を含む信号の2つの信号に分離し、前記拡張的な階調スケール関数を前記の主として画像信号内容の信号に適用して調整信号を生成し、該調整信号に前記の主として画像雑音内容の信号に加えステップを有する、
    方法。
  2. レンダリングされたディジタル画像を発生するために、前記ソースディジタル画像及び向上されたディジタル画像と独立な、S字状の形状のレンダリング関数を使用する、請求項1に記載の方法。
  3. 階調スケール関数を発生するために、前記ソースディジタル画像の画素を使用するステップを更に有する、請求項1に記載の方法。
  4. 更に、ヒストグラムを発生するために前記ソースディジタル画像の画素を使用し且つ、前記階調スケール関数を発生するために前記ヒストグラムを使用するステップを有する、請求項1に記載の方法。
  5. 階調スケール関数は、ヒストグラムの固定の百分位数を第1の濃度に関連する予め定められた出力値に、そして、ヒストグラムの異なる固定の百分位数を第2の濃度に関連する予め定められた出力値に、マップする、請求項4に記載の方法。
  6. 前記ソース画像は、輝度ディジタル画像チャネルと少なくとも2つのクロミナンスディジタル画像チャネルよりなる、輝度−クロミナンス表現であり、更に、
    i)第1と第2の信号が共に加算されたときに結果の信号が輝度ディジタル画像チャネルに等しくなるように、第1の空間フィルタを使用して前記輝度ディジタル画像チャネルから前記第1と第2の信号を発生するステップと、
    ii)前記階調スケール関数と前記第1の信号を使用して修正された第1の信号を発生するステップと、
    iii)前記修正された第1の信号を前記第2の信号と結合して修正された輝度ディジタル画像チャネルを発生するステップと、
    を有し、前記修正された輝度ディジタル画像チャネルと前記少なくとも2つのクロミナンスディジタル画像チャネル向上されたディジタル画像を形成する、
    請求項に記載の方法。
  7. 前記ソースディジタル画像は、複数のディジタル画像チャネルを有し、各ディジタル画像チャネルは異なるカラーに関連し、且つ更に、
    i)各ディジタル画像チャネルについて、第1と第2の信号が共に加算されたときに結果の信号がディジタル画像チャネルに等しくなるように、第1の空間フィルタを使用して前記第1と第2の信号を発生するステップと、
    ii)各ディジタル画像チャネルから、前記階調スケール関数と前記第1の信号を使用して修正された第1の信号を発生するステップと、
    ディジタル画像チャネルから修正された第1の信号を対応する第2の信号結合して各カラーについての修正されたディジタル画像を発生するステップとを有し、それらの修正されたディジタル画像チャネル向上されたディジタル画像を構成する、
    請求項に記載の方法。
  8. 前記ソースディジタル画像の画素は元のシーンの強度と対数関係を有する、請求項1に記載の方法。
  9. ディジタル画像の階調及び空間特性向上する方法であって、
    a)各ディジタル画像チャネル複数の画素を含む赤、緑及び、青のディジタル画像チャネルを有するRGB表現のソースディジタル画像を受信するステップを有し、
    b)前記ソースディジタル画像の階調特性を向上するのに使用される階調スケール関数を発生するステップを有し、
    c)前記階調スケール関数を、2つ又はそれ以上のカテゴリーの1つに分類するステップを有し、分類カテゴリーは拡張的及び圧縮的を含み、階調スケール関数は入力コード値および出力コード値を有し、階調スケール関数は出力コード値の範囲が入力コード値の範囲より小さい場合には圧縮的と分類され、そうでない場合には拡張的と分類され、
    d)前記ソースディジタル画像を輝度クロミナンス表現に変換するステップを有し、
    e)前記階調スケール関数が圧縮的と分類されたときには、向上されたディジタル画像を発生するために、第1の空間フィルタ、前記階調スケール関数及び、前記ソースディジタル画像の輝度クロミナンス表現を使用し、ここで、第1の空間フィルタが前記ソースディジタル画像の輝度クロミナンス表現の輝度ディジタル画像を、主として低空間周波数情報を含む信号と主として高空間周波数情報を含む信号の2つの信号に分離し、前記圧縮的な階調スケール関数を前記の主として低空間周波数情報の信号に適用して調整信号を生成し、該調整信号に前記の主として高空間周波数情報の信号を加え、
    前記階調スケール関数が拡張的と分類されたときには、向上されたディジタル画像を発生するために、第2の空間フィルタ、前記階調スケール関数及び、前記ソースディジタル画像を使用し、ここで、第2の空間フィルタが前記ソースディジタル画像を、主として画像信号内容を含む信号と主として画像雑音内容を含む信号の2つの信号に分離するのに使われ、前記拡張的な階調スケール関数を前記の主として画像信号内容の信号に適用して調整信号を生成し、該調整信号に前記の主として画像雑音内容の信号に加えステップを有する、
    方法。
JP2003365245A 2002-10-25 2003-10-24 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法 Expired - Fee Related JP4210577B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/280,372 US7116838B2 (en) 2002-10-25 2002-10-25 Enhancing the tonal and spatial characteristics of digital images using selective spatial filters

Publications (2)

Publication Number Publication Date
JP2004147333A JP2004147333A (ja) 2004-05-20
JP4210577B2 true JP4210577B2 (ja) 2009-01-21

Family

ID=32069375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003365245A Expired - Fee Related JP4210577B2 (ja) 2002-10-25 2003-10-24 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法

Country Status (3)

Country Link
US (1) US7116838B2 (ja)
EP (1) EP1413986B1 (ja)
JP (1) JP4210577B2 (ja)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130485B2 (en) * 2002-10-02 2006-10-31 Eastman Kodak Company Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions
KR100531895B1 (ko) * 2004-02-26 2005-11-29 엘지전자 주식회사 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법
US7760961B2 (en) * 2004-10-15 2010-07-20 Caba Moldvai Adaptive contrast enhancement
KR100647298B1 (ko) * 2004-11-29 2006-11-23 삼성전자주식회사 빛 반사를 고려한 영상 처리 장치와 방법 및 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
US7982707B2 (en) * 2004-12-02 2011-07-19 Sharp Laboratories Of America, Inc. Methods and systems for generating and applying image tone scale adjustments
US8120570B2 (en) * 2004-12-02 2012-02-21 Sharp Laboratories Of America, Inc. Systems and methods for tone curve generation, selection and application
US7924261B2 (en) * 2004-12-02 2011-04-12 Sharp Laboratories Of America, Inc. Methods and systems for determining a display light source adjustment
US8913089B2 (en) * 2005-06-15 2014-12-16 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics with frequency-specific gain
US7800577B2 (en) * 2004-12-02 2010-09-21 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics
US8922594B2 (en) * 2005-06-15 2014-12-30 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics with high frequency contrast enhancement
US8004511B2 (en) * 2004-12-02 2011-08-23 Sharp Laboratories Of America, Inc. Systems and methods for distortion-related source light management
US7782405B2 (en) * 2004-12-02 2010-08-24 Sharp Laboratories Of America, Inc. Systems and methods for selecting a display source light illumination level
US8111265B2 (en) * 2004-12-02 2012-02-07 Sharp Laboratories Of America, Inc. Systems and methods for brightness preservation using a smoothed gain image
US9083969B2 (en) * 2005-08-12 2015-07-14 Sharp Laboratories Of America, Inc. Methods and systems for independent view adjustment in multiple-view displays
US8947465B2 (en) * 2004-12-02 2015-02-03 Sharp Laboratories Of America, Inc. Methods and systems for display-mode-dependent brightness preservation
US7961199B2 (en) * 2004-12-02 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for image-specific tone scale adjustment and light-source control
US7768496B2 (en) * 2004-12-02 2010-08-03 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale adjustment to compensate for a reduced source light power level
US7515160B2 (en) * 2006-07-28 2009-04-07 Sharp Laboratories Of America, Inc. Systems and methods for color preservation with image tone scale corrections
JP4455487B2 (ja) * 2005-12-16 2010-04-21 株式会社東芝 復号化装置及び復号化方法及びプログラム
US7839406B2 (en) * 2006-03-08 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics with ambient illumination input
US8194074B2 (en) * 2006-05-04 2012-06-05 Brown Battle M Systems and methods for photogrammetric rendering
US8711144B2 (en) * 2006-08-01 2014-04-29 Siemens Medical Solutions Usa, Inc. Perception-based artifact quantification for volume rendering
US7826681B2 (en) * 2007-02-28 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for surround-specific display modeling
US8824831B2 (en) 2007-05-25 2014-09-02 Qualcomm Technologies, Inc. Advanced noise reduction in digital cameras
US7889942B2 (en) * 2007-05-25 2011-02-15 Zoran Corporation Dynamic range compensation-dependent noise reduction
US7995856B2 (en) 2007-05-25 2011-08-09 Zoran Corporation Dynamic range compensation-dependent noise reduction
US7983503B2 (en) 2007-05-25 2011-07-19 Zoran Corporation Advanced noise reduction in digital cameras
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
FR2919943B1 (fr) * 2007-08-07 2010-02-26 Dxo Labs Procede de traitement d'objet numerique et systeme associe
US8155434B2 (en) * 2007-10-30 2012-04-10 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement
US8345038B2 (en) * 2007-10-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for backlight modulation and brightness preservation
US8378956B2 (en) * 2007-11-30 2013-02-19 Sharp Laboratories Of America, Inc. Methods and systems for weighted-error-vector-based source light selection
US9177509B2 (en) * 2007-11-30 2015-11-03 Sharp Laboratories Of America, Inc. Methods and systems for backlight modulation with scene-cut detection
US8254716B2 (en) * 2007-12-12 2012-08-28 Intel Corporation Method for adaptive image enhancement
US8203579B2 (en) * 2007-12-26 2012-06-19 Sharp Laboratories Of America, Inc. Methods and systems for backlight modulation with image characteristic mapping
US8169431B2 (en) 2007-12-26 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale design
US8207932B2 (en) * 2007-12-26 2012-06-26 Sharp Laboratories Of America, Inc. Methods and systems for display source light illumination level selection
US8179363B2 (en) * 2007-12-26 2012-05-15 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with histogram manipulation
US8223113B2 (en) * 2007-12-26 2012-07-17 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with variable delay
US8531379B2 (en) * 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
US8416179B2 (en) * 2008-07-10 2013-04-09 Sharp Laboratories Of America, Inc. Methods and systems for color preservation with a color-modulated backlight
US8351667B2 (en) * 2008-08-15 2013-01-08 Sti Medical Systems, Llc Methods of contrast enhancement for images having blood vessel structures
US9330630B2 (en) * 2008-08-30 2016-05-03 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with rate change control
KR101625362B1 (ko) 2009-03-06 2016-05-30 코닌클리케 필립스 엔.브이. 입력 이미지 데이터를 출력 이미지 데이터로 변환하기 위한 방법, 입력 이미지 데이터를 출력 이미지 데이터로 변환하기 위한 이미지 변환 유닛, 이미지 프로세싱 장치, 디스플레이 디바이스
US8165724B2 (en) * 2009-06-17 2012-04-24 Sharp Laboratories Of America, Inc. Methods and systems for power-controlling display devices
US20110001737A1 (en) * 2009-07-02 2011-01-06 Kerofsky Louis J Methods and Systems for Ambient-Adaptive Image Display
US8509519B2 (en) * 2009-07-29 2013-08-13 Intellectual Ventures Fund 83 Llc Adjusting perspective and disparity in stereoscopic image pairs
US8213052B2 (en) * 2009-07-31 2012-07-03 Eastman Kodak Company Digital image brightness adjustment using range information
US8218823B2 (en) * 2009-08-11 2012-07-10 Eastman Kodak Company Determining main objects using range information
US20110074803A1 (en) * 2009-09-29 2011-03-31 Louis Joseph Kerofsky Methods and Systems for Ambient-Illumination-Selective Display Backlight Modification and Image Enhancement
US20110205397A1 (en) * 2010-02-24 2011-08-25 John Christopher Hahn Portable imaging device having display with improved visibility under adverse conditions
TWI448985B (zh) * 2010-09-30 2014-08-11 Realtek Semiconductor Corp 影像調整裝置及方法
US8780225B2 (en) * 2011-10-12 2014-07-15 Apple Inc. Use of noise-optimized selection criteria to calculate scene white points
US8760712B2 (en) * 2012-08-30 2014-06-24 Eastman Kodak Company Modifying print data using matching pixel patterns
CN110992914B (zh) * 2014-10-06 2022-07-01 三星电子株式会社 显示设备及控制该显示设备的方法
KR102251440B1 (ko) * 2014-11-05 2021-05-14 삼성전자주식회사 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치
CN105760884B (zh) 2016-02-22 2019-09-10 北京小米移动软件有限公司 图片类型的识别方法及装置
US10002407B1 (en) * 2017-08-11 2018-06-19 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
US10325349B2 (en) * 2017-08-11 2019-06-18 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
US10535119B2 (en) 2017-08-11 2020-01-14 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
JP6926856B2 (ja) * 2017-09-07 2021-08-25 コニカミノルタ株式会社 放射線画像処理装置、プログラム及び放射線画像処理方法
US11024012B2 (en) 2018-08-02 2021-06-01 Apple Inc. Directional scaling systems and methods
US10719916B2 (en) 2018-08-02 2020-07-21 Apple Inc. Statistical noise estimation systems and methods
US11321813B2 (en) 2018-08-02 2022-05-03 Apple Inc. Angular detection using sum of absolute difference statistics systems and methods
US10762604B2 (en) 2018-08-02 2020-09-01 Apple Inc. Chrominance and luminance enhancing systems and methods
US11017541B2 (en) * 2019-06-18 2021-05-25 Intel Corporation Texture detector for image processing
US11144780B2 (en) * 2019-07-30 2021-10-12 Snap-On Incorporated Adaptive image processing
US11532093B2 (en) 2019-10-10 2022-12-20 Intermap Technologies, Inc. First floor height estimation from optical images
US11551366B2 (en) 2021-03-05 2023-01-10 Intermap Technologies, Inc. System and methods for correcting terrain elevations under forest canopy
US11783453B2 (en) 2021-06-10 2023-10-10 Bank Of America Corporation Adapting image noise removal model based on device capabilities

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US809209A (en) * 1905-02-06 1906-01-02 Malachi O'connor Latching mechanism for excavator-dippers.
US971314A (en) * 1909-10-22 1910-09-27 Samuel Schacht Door-lock.
US971315A (en) * 1910-05-09 1910-09-27 John Harold Sennstrom Rack for wrapping-paper.
US977386A (en) * 1910-06-14 1910-11-29 John G Hall Fence-wire fastening.
US1017241A (en) * 1911-06-17 1912-02-13 Isaac Brooke Stove.
US1109130A (en) * 1913-10-13 1914-09-01 Edgar C Kaye Pneumatic sole for shoes.
US4731671A (en) * 1985-05-06 1988-03-15 Eastman Kodak Company Contrast adjustment in digital image processing method employing histogram normalization
US4745465A (en) * 1986-03-24 1988-05-17 Eastman Kodak Company Digital color image processing method employing histogram normalization for tone and color reproduction
US5012333A (en) 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
US5300381A (en) * 1992-09-24 1994-04-05 Eastman Kodak Company Color image reproduction of scenes with preferential tone mapping
US5528339A (en) * 1994-08-26 1996-06-18 Eastman Kodak Company Color image reproduction of scenes with color enhancement and preferential tone mapping
US5774599A (en) * 1995-03-14 1998-06-30 Eastman Kodak Company Method for precompensation of digital images for enhanced presentation on digital displays with limited capabilities
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
US5923775A (en) * 1996-04-04 1999-07-13 Eastman Kodak Company Apparatus and method for signal dependent noise estimation and reduction in digital images
KR0176601B1 (ko) 1996-05-21 1999-05-01 김광호 저역 필터링과 히스토그램 등화를 이용한 화질개선 방법 및 그 회로
US6249315B1 (en) * 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
US6317521B1 (en) 1998-07-06 2001-11-13 Eastman Kodak Company Method for preserving image detail when adjusting the contrast of a digital image
US6285798B1 (en) 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
US6282311B1 (en) * 1998-09-28 2001-08-28 Eastman Kodak Company Using a residual image to represent an extended color gamut digital image
US6167165A (en) * 1998-11-25 2000-12-26 Eastman Kodak Company Method for adjusting image detail to compensate for an applied tone scale
US6438264B1 (en) * 1998-12-31 2002-08-20 Eastman Kodak Company Method for compensating image color when adjusting the contrast of a digital color image
US6370265B1 (en) 1999-11-24 2002-04-09 Direct Radiography Corp. Method for generating gray scale transfer functions for use in displaying a digital radiogram
US6813389B1 (en) 1999-12-15 2004-11-02 Eastman Kodak Company Digital image processing method and system including noise reduction and tone scale adjustments

Also Published As

Publication number Publication date
EP1413986A3 (en) 2004-10-13
EP1413986A2 (en) 2004-04-28
US20040081363A1 (en) 2004-04-29
US7116838B2 (en) 2006-10-03
JP2004147333A (ja) 2004-05-20
EP1413986B1 (en) 2017-06-21

Similar Documents

Publication Publication Date Title
JP4210577B2 (ja) 選択的空間フィルタを使用するディジタル画像の階調及び空間特性の向上方法
EP1413985B1 (en) Enhancing the tonal, spatial, and color characteristics of digital images using expansive and compressive tone scale functions
US7043090B2 (en) Enhancing the tonal characteristics of digital images using expansive and compressive tone scale functions
EP1400921B1 (en) Enhancing the tonal characteristics of digital images using inflection points in a tone scale function
US7113649B2 (en) Enhancing the tonal characteristics of digital images
US7876974B2 (en) Method for improving digital images and an image sensor for sensing the same
US6856704B1 (en) Method for enhancing a digital image based upon pixel color
JP4804660B2 (ja) デジタルイメージ処理のためのカラー情報を使用したノイズ低減方法
US7298917B2 (en) Image processing program product and device for executing Retinex processing
US7570829B2 (en) Selection of alternative image processing operations to maintain high image quality
EP1453300B1 (en) Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions
EP1111907A2 (en) A method for enhancing a digital image with noise-dependant control of texture
US6731823B1 (en) Method for enhancing the edge contrast of a digital image independently from the texture
JP2003134352A (ja) 画像処理方法及び装置並びにプログラム
JP2001229377A (ja) 適応帰納的フィルタでディジタル画像のコントラストを調整する方法
EP1304867A2 (en) Image processing system and method that maintains black level
JP2003264699A (ja) レンダリングデジタル画像の色、輝度及び階調スケールの調整方法
JP6335614B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP4120928B2 (ja) 画像処理装置、画像処理方法、およびそのプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081027

R150 Certificate of patent or registration of utility model

Ref document number: 4210577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees