JP4490430B2 - 高速なレティネックス型処理のための強靭な再帰エンベロープ演算子 - Google Patents

高速なレティネックス型処理のための強靭な再帰エンベロープ演算子 Download PDF

Info

Publication number
JP4490430B2
JP4490430B2 JP2006534131A JP2006534131A JP4490430B2 JP 4490430 B2 JP4490430 B2 JP 4490430B2 JP 2006534131 A JP2006534131 A JP 2006534131A JP 2006534131 A JP2006534131 A JP 2006534131A JP 4490430 B2 JP4490430 B2 JP 4490430B2
Authority
JP
Japan
Prior art keywords
image
envelope
filter
retinex
recursive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006534131A
Other languages
English (en)
Other versions
JP2007507810A (ja
Inventor
シェイケド,ドロン
ケシェト,レナト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2007507810A publication Critical patent/JP2007507810A/ja
Application granted granted Critical
Publication of JP4490430B2 publication Critical patent/JP4490430B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Devices For Executing Special Programs (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)

Description

技術分野はカラー画像補正であり、詳しくは、レティネックス型アルゴリズムを利用したカラー画像補正である。
一般にカラー画像は、シーンの直接観察に比べて、シーンの照明条件により2つの大きな制約を有する。1つは、写真用カメラや電子カメラによって撮影される画像は、暗い領域や明るい領域においてその細部が比較的失われやすいことである。この問題は、ダイナミックレンジ問題と呼ばれる。もう1つは、光源のスペクトル分布が変化すると、画像に色の歪みが生じることである。この問題は色恒常性問題と呼ばれる。光学的ではない撮影による非カラー撮影の場合、この問題は単純化され、ほぼダイナミックレンジ圧縮の問題、すなわち、シーン全体にわたって動的に変動する広範囲な平均信号レベルにわたる、細部値及び明度値の取り込みや表現の問題になる。
CCD検出器アレイを利用する電子カメラは、約2500:1までの広いダイナミックレンジにわたる画像データを取得することができる。このダイナミックレンジは、シーン内のほとんどの照度の変化を扱うのに適しており、通常、レンズ口径を変化させることにより、シーンごとに異なる照度の変化に対処する。しかしながら、画像がデジタル化される場合や、印刷媒体や表示媒体のダイナミックレンジが非常に狭い場合、このダイナミックレンジは一般に失われる。たとえば、ほとんどの画像は8ビット/カラー帯域(256グレーレベル/カラー帯域)でデジタル化され、また、ほとんどの表示媒体及び印刷媒体は50:1のダイナミックレンジに制限される。
一般に見られる色恒常性問題の一例は、日光と人工的な光(たとえば、タングステン光)とのスペクトル差である。この差は、写真撮影者が、フィルム、フィルタ、及び、処理のうちの幾つかの組み合わせを変更して、照明のスペクトルシフトを補償しなければならないくらい大きい。フィルムの写真撮影者は、フィルムのタイプを照明条件であるスペクトル変化にほぼ合わようとすることができるが、デジタルカメラは、専らフィルタによってそれを行わなければならない。しかしながら、こうした補償方法では、ダイナミックレンジが全く圧縮されないため、暗い部分や明るい部分における細部が失われたり、それらが人間の観察者が実際に見るものに比べて著しく弱まったりすることがある。
カラー画像処理や非カラー画像処理において発生するもう1つの問題として、演色性/明度レンディションと呼ばれるものがある。この問題は、処理された画像を観察されたものに一致させようとする試みによって発生し、この問題には、1)画像中の広い一様な領域において特に際立って現われ、それらの広い一様な領域において高いコントラストのグレーのエッジを境の部分に形成する、光や色の「光輪」アーチファクトと、一般に画像の「グレイアウト」の原因となる、白黒状態の想定(Gray World Assumption)(例えば、全て赤色のシーン)の一般的違反とがある。
人間の視覚にはそれら様々な撮影による欠点がないので、人間の視覚に基づいて機械の視覚をモデル化する試みは合理的である。中心/周辺レティネックス(網膜及び皮質)の概念を中心とした人間の視覚の理論が、エドウィン・ランドにより、「An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision」(全米科学アカデミー会報、第83巻、第3078〜3080頁、1986年)において紹介された。ランドは、「Color Vision and The Natural Image」(全米科学アカデミー解放、45巻、115〜129頁、1959年)に開示した自身の以前のレティネックス概念を参考にし、それらの概念を、視覚の神経生理学の一定の研究結果に調和させた。レティネックス概念は全て、人間の色知覚のモデル化を目的とするものであった。以前のレティネックス概念は、画像空間を「ランダムウォーク」し、色の境界を横切った時に計算をリセットすることを含んでいた。ランドによる1986年の人間の視覚のレティネックス概念は、中心の直径が2〜4分であり、周辺の直径が、中心の直径の約200〜250倍の値を有する逆2乗関数となる、中心/周辺空間計算として提案された。
ランドの人間の視覚理論の画像処理への応用は、従来技術として既に試みられている。たとえば、人間の視覚のダイナミックレンジ圧縮を模倣するために、アナログVLSIシリコンチップに組み込まれた処理機能を有する検出器アレイは、周辺形成の前に対数変換を使用していた。はC・ミード(Mead)著「Analog VLSI and Neural Systems」(Addison-Wesley, Reading, Mass., 1989)を参照して欲しい。色恒常性を向上させる試みとして、アナログVLSI技術においてカラーレティネックスを実施することが、ムーア(Moore)他により、「A Real-time Neural System for Color Constancy」(IEEE Transactions on Neural Network、第2巻、第237〜247頁、1991年3月)に提案されている。ムーア他の文献では、周辺関数として指数関数を使用し、画像を表示する前の最終処理において、3つ色帯域の信号値全体における絶対最大値及び絶対最小値を見つけることにより自身を設定する、可変利得調節を使用しなければならなかった。
これらの従来技術及び他の従来技術のレティネックス法の中心になるものは、レティネックス型アルゴリズムである。知覚される画像Sは、可視表面に照射された光の照度Lと、対応するそれら表面の反射率Rとの積である。つまり、
(1) S=R・L
である。レティネックスアルゴリズムの基礎となる前提は、照度がアーチファクトであるということである。照度は推定され、S=S/L=Rによって完全に除去されるか、又は、S=S/f(L)によって部分的に除去される。ただし、f(L)は照度の関数である。SからLを推定することが、レティネックスアルゴリズムを使用するときの主なアルゴリズム的な計算上の問題である。
SからLを推定することは、L又はRについて何か他に知っていなければ不可能である。大抵の照度推定アルゴリズムは、基本的なレティネックス前提を共通に有している。この基本的なレティネックス前提は、シーンのエッジは反射率におけるエッジであるのに対し、照度は緩やかに変化するということである。そのため、大抵のレティネックスアルゴリズムにおいて推定されるLは、入力Sを平滑化したものである。従って、大抵のレティネックスアルゴリズムは、強力な平滑化フィルタを有している。レティネックスアルゴリズムを解くときに、この平滑化フィルタは計算上のボトルネックとなる。その原因の1つは、良好な画質を得るために必要となる大きなサポートカーネルである。すなわち、良好な画質を得るために、カーネルサポートのサイズは、予測される最大オブジェクトよりも大きくなければならない。つまり、カーネルサポートのサイズは、入力画像のサイズと同程度のサイズでなければならない。エンベロープ要件と強靭性要件という少なくとも更に2つの要件から、照度Lの特徴付けの複雑さは増大する。
エンベロープ要件: 光源を直接見ることができないシーンでは、反射率が1よりも小さい。すなわち、表面は、表面に照射される光よりも多くの光を反射することができない。従って、照度Lは局部平均ではなく、平滑な局部エンベロープとなる。すなわち、あらゆる箇所でL≧Sとなる。
強靭性要件: Lは平滑ではなく、区画ごとに平滑である。これは、古典的なレティネックスパラダイムを補正するものであり、実世界のシーンのより正確な表現から生じるものである。明るさに不連続性がある一般的シーンには、逆光シーン、フラッシュシーン、影のあるシーン、屋内と屋外の混合シーンなどがある。また、区画ごとに平滑な照度モデルは、目で見ることのできる光源や鏡面性を有するシーンにも効果的である。他と同様に、強靭性は、局部平均値が異常値(たとえば、エッジにまたがるピクセル)の影響を受けないことを意味する。従って、入力画像Sが強い不連続性を有する場所では、推定照度は不連続になる。そのような場所では、Lの不連続性が、Sの不連続性に類似していることが好ましい。
エンベロープや強靭性のような非線形変化が必要とされる場合、有効な平滑化フィルタの設計の問題は、特に難しくなる。ただし、畳み込み演算の幾つかの代替実施形態は可能である。表1は、そのような実施形態のうちの幾つかをリストアップし、それらの実施形態における計算の複雑度を対比したものである。画像及びカーネルが、サイズN×N及びサイズK×Kの2乗をそれぞれサポートしているものと仮定する。
Figure 0004490430
表1において、空間領域は、直接畳み込み演算を指し、周波数領域は、2次元(2D)高速フーリエ変換を利用して実施される畳み込み演算を指している。カーネル分解は、2項フィルタを利用して行われる。ピラミッド法は、ラプラシアンピラミッドを利用したものであり、入力の複雑度は線形である。
上記実施形態のうちの多くは、強靭性/エンベロープバージョンを見つけることができる。すなわち、アルゴリズムは、線形平均ではなくエンベロープを返し、若しくは、区画ごとに平滑な結果を生成する。たとえば、空間エンベロープは、従来の数学的形態学によって得られる。線形的方法に固有の空間である周波数領域は、非線形の強靭性又はエンベロープバージョンに容易に修正することができない。それでも、傾き変換は、形態学的にフーリエ変換と等価である。有効なカーネル分解については、各畳み込み演算の結果が入力画像よりも大きくなるように畳み込み演算の結果をクリッピングし、各2項平均を2つのピクセル値の関数とすることにより、強靭性を追加することができる。ピラミッドエンベロープについては、各レベルにおいてエンベロープ要件を強要することができ、強靭性メトリックをエネルギー関数の平均2乗尺度で置き換えることにより、強靭性を組み込むことができる。
カラー画像を処理する装置を開示する。この装置は、画像を受信する入力プロセッサと、レティネックス型プロセッサと、出力プロセッサとを含む。レティネックス型プロセッサは、局部統計プロセッサと、点演算プロセッサとを含む。局部統計プロセッサは、カスケード形再帰フィルタを含む。
また、高速なレティネックス処理のための強靭な再帰エンベロープ演算子も開示する。この演算子は、下記の形のカスケード形再帰フィルタを含む。
Figure 0004490430
ただし、α(∇S)はスケールに無関係なパラメータであり、xxは方位磁石表記であり、この強靭な再帰エンベロープ演算子は入力画像信号Sを処理する。
最後に、入力画像Sを処理するための方法を開示する。この方法は、開閉前置フィルタを画像Sに適用するステップと、カスケード形再帰フィルタを画像Sに適用するステップと、後置フィルタ最大出力を画像Sに適用するステップとを含む。
詳細な説明では添付の図面を参照する。添付図面において、同じ符号は同じものを指す。
従来技術のレティネックスモデルによる計算上の問題を克服するために、再帰フィルタを利用した強靭なエンベロープアルゴリズムを開示する。このアルゴリズムは、レティネックス型アルゴリズムを背景として開発された。また、安定なフィルタパラメータを決定する方法も開示する。フィルタは、フィルタスケールを不変にすることによって安定化させることができる。フィルタは、スケーリングされた入力に対する当該フィルタの出力が、元の出力をスケーリングしたものになる場合(又は、少なくともそれに非常近い場合)、スケール不変である。最後に、強靭な再帰エンベロープフィルタのスケールに依存しないバージョンの方式を開示する。
レティネックス型アルゴリズムは、幾つかの局部的サポート統計値を計算し、それらの局部的統計値に従って入力画像を変更することによる、画像強調アルゴリズムである。レティネックス型アルゴリズムには、幾つかの異なる形態がある。その一つは、ランダムウォークアルゴリズムである。ランダムウォークアルゴリズムは、現在のピクセル位置の近傍から「次のピクセル位置」をランダムに選択する離散時刻ランダムプロセスである。ランダムウォーク型レティネックスアルゴリズムは、次の基本形の変形である。すなわち、対数信号(s)のランダム位置において、それらの初期位置のグレー値を使用して、多数のウォーカを開始する。sと同じサイズのアキュムレータ画像Aを0に初期化する。ウォーカが歩き回るのに従って、ウォーカは、自分が訪れた各位置(x,y)にウォーカの値を追加することによってアキュムレータ画像Aを更新する。アキュムレータ画像Aを正規化することによって、照度画像を得る。すなわち、アキュムレータ画像Aの各位置の値を、その位置を訪れたウォーカの個数で除算する。
多数のウォーカを長い経路と共に使用することにより、各位置のアキュムレータ値がその位置の近傍のガウス平均に収束するか否かを簡単に検証することができる。
他のタイプのレティネックスアルゴリズムとして、準同形フィルタを使用するものがある。このアルゴリズムでは、低域通過フィルタを使用してsからlを復元する。準同形レティネックスアルゴリズムは、反射率画像Rがその画像中のくっきりとした細部(すなわち、エッジ)に対応する一方、照度Lは空間的に滑らかであることが予測されるという事実に基づくものである。そして、lに対する妥当なガウスlは、l=LP{s}である。ただし、LPは、幅の広いガウスカーネルによる畳み込み演算である。したがって、準同形フィルタリングを使用するレティネックスアルゴリズムは、実際には、ランダムウォークアルゴリズムと同じプロセスを一回の直接畳み込み演算によって適用する。
照度Lは空間的に滑らかであることが予測されるので、照度Lの導関数はほぼ0になるはずである。しかしながら、反射率Rが区画ごとに一定であるという前提を考慮すれば、反射率Rの導関数は、ほぼすべての点において0となり、画像のエッジに沿って高い値を有するはずである。合計s=l+rの導関数を求め、導関数の高いピークをクリッピングすることは、クリッピングされた導関数信号が照度Lにのみ対応することを意味する。モンドリアン・ワールド・モデルを利用したポワソン方程式型レティネックスアルゴリズムは、反射率Rの上記前提を区画ごとに一定な画像として使用する。ラプラシアンを使用し、下記のクリッピング演算:
|Δs|<τの場合、τ(Δs)=Δs
それ以外の場合、τ(Δs)=0
によれば、下記のポワソン方程式が得られる。
Δl=τ(Δs)
このポワソン方程式を解くためには、ラプラシアン演算子を有効に反転させる反復手順が必要となる場合がある。この方法に対する改良方法では、ラプラシアンの代わりに画像勾配の大きさから不連続点を抽出し、より良好な境界条件を得ることを含む場合がある。
一つの解法として、lχsに制限を課している非線形性を「リセット」する反復アルゴリズムの使用を含むものがある。このアルゴリズムでは、下記の対話的手順が実施される。
Figure 0004490430
ただし、Dは、変換演算子であり、螺旋状に減少してゆく一連の変換ベクトルのシーケンスの第n要素だけ画像sをシフトする。max演算子を除去すれば、下記のような簡単化されたものが得られる。
Figure 0004490430
ただし、上記の式は、画像を平滑化する単純な平均化演算である。この非線形(max)演算によれば、照度画像lは制約条件lχsを満たすことを強要される。
図1aは、入力画像信号Sにレティネックス型処理を適用する画像処理システム10を示している。システム10は、デジタルカメラに組み込むことができ、又は、画像の取り込み又は受け取りが可能な他の任意のデバイスに組み込むことができる。システム10は、デジタル画像データの形で画像データを出力することができ、その画像データには、画像上の或る位置(x,y)における強度Iが分かるように、インデックスが付けられる。図1aに示す実施形態において、画像S内の「位置」は、1ピクセルに満たない大きさであってもよい。したがって、画像S中のそのような位置(x,y)はそれぞれ、単一の行/列のピクセル位置を参照して、J行×K列として表示することができる。各ピクセルの強度、すなわちI(x,y)は、後述するように、画像処理システム10によって調節され、フィルタリングされる。
図1aにおいて、入力画像信号Sが入力プロセッサ20に供給される。入力プロセッサ20は、信号Sをその対数相当値sに変換する対数モジュール22を含む。次に、信号sは局部統計プロセッサ30に供給される。局部統計プロセッサ30は、局部統計アルゴリズム40を使用して、出力照度信号lを生成する。次に、照度信号lは点演算加算器55に供給され、反射率信号rが生成される。その際、点演算加算器55は更に信号sも受信する。点演算55は、2枚の画像を入力として使用し、同じサイズの画像を出力するものである。出力画像のピクセルは、対応する2つのピクセルの関数によって決まる。加算器(r=1+s)は、点演算55の単純な例である。次に、反射率信号rは出力プロセッサ60に供給される。出力プロセッサ60は指数関数モジュール62を含み、指数関数モジュール62は反射率信号rを出力反射率信号Rに変換する。
図1bは、強靭な再帰レティネックスエンベロープ演算を実施する局部統計アルゴリズム40のブロック図である。図1bにおいてアルゴリズム40は、オプションの前置フィルタ42、再帰フィルタプロセッサ43、及びオプションの後置フィルタ54を含む。再帰フィルタプロセッサ43は再帰フィルタ44を含む。アルゴリズム40の上記モジュールの機能や構造については、後で詳しく説明する。
図1cは、再帰フィルタ44の機能を示している。再帰フィルタ44は、一次元演算子素子45、フィルタカスケード素子46、定数パラメータ素子47、及び二次元(2D)一般化素子48を含む。後で説明するように、再帰フィルタ44のこれらの素子によれば、再帰フィルタ44を局部的統計アルゴリズム40で使用したときに生成される強靭なエンベロープ、すなわち出力lの品質を向上させることが可能になる。
再帰フィルタ44は、信号処理IIRフィルタを二次元(2D)に拡張したものである。再帰フィルタ44の導出は、幾つかの異なる段階に従って進めることができる。第1段階は、一次元(1D)のケースから開始される。以下の因果性一次元直接畳み込み演算について考える。
Figure 0004490430
Nが大きいとき、この直接畳み込み演算の計算複雑度は、とんでもなく複雑になる可能性がある。しかしながら、因果性一次元IIRフィルタの一般式は、
Figure 0004490430
であり、最も簡単な再帰フィルタである、
Figure 0004490430
は、下記のフィルタと等価である。
Figure 0004490430
ただし、Kは、無限大をサポートする指数関数のカーネルである。有効なサポートは、約1/α程度である。直接的な式とは異なり、このIIRの式では、計算量を全く増やすことなく、フィルタの有効なサポートのサイズを変更することができる。あるいは、指数関数以外のプロファイルを有するIIRフィルタを設計してもよい。
非因果性フィルタが必要な場合(画像の場合のように)、因果性フィルタと非因果性フィルタの2つの再帰フィルタの和として、K={(1−α)/(1+α)}・α|n|,∀nを実施してもよい。その場合、
Figure 0004490430
となり、したがって、
Figure 0004490430
となる。
画像処理システムは通常、二次元分離可能フィルタ、すなわち、K(i,j)=K(i)・K(j)となるフィルタを必要とする。K(i,j)は、まずKを使用して各行をフィルタリングし、次いで、Kを使用してその出力の各列をフィルタリングすることによって実施することができる。K及びKはそれぞれ、(7)に示したフィルタにより実施することができる。
所与の2つの再帰フィルタ(6)に対し、次の段階は、エンベロープ条件L≧S,∀iを課すことから開始して、再帰フィルタリングの強靭な二次元エンベロープバージョンの方式を導出することを含む。この条件を課すステップは、再帰的式(6)に対して直接実施することができる。その結果、次のようになる。
Figure 0004490430
この構成により、
Figure 0004490430
となり、したがって、(7)から更にL≧Sとなる。
図2aは、信号S100及びその因果性エンベロープ
Figure 0004490430
110を示している。図2bは、S100及びエンベロープL120を示している。エンベロープL120は、エンベロープ制限が課せられる位置の辺りに、幾つかの望ましくない特性を示している。エンベロープ制限が課せられる位置では、出力L120がS100とほぼ同じになるため、反射率Rは飽和することになる。
飽和を回避するために、並列な2つの因果性フィルタ及び非因果性フィルタの代わりに、同じフィルタをカスケード接続したもの、すなわち、
Figure 0004490430
が使用される。
図3は、信号S100とカスケード接続された因果性エンベロープL130((9)から)を示している。このカスケード接続された因果性エンベロープL130は、はるかにエンベロープらしくなっている。また、図3は、他の2つのエンベロープ140及び150も示している。これらのエンベロープ140及び150は、異なるαパラメータを使用して作成される。αの値が小さいものほど、「弾性の強い」(すなわち、低い)エンベロープに対応する。
ただし、エンベロープL130には、幾つかの不都合がある。
1.エンベロープL130は対称的でなく、入力信号S100をフリップしても、フリップされたエンベロープLにはならない。この非対称性を図4に示す。図4において、信号S100のエンベロープ130は、フリップされた入力信号S’のフリップされたエンベロープL’160に一致していない。
2.微分不連続性アーチファクトが、エンベロープL130の谷間に存在する。この不連続性は、弾性の強いエンベロープほど(すなわち、小さなαのエンベロープほど)、顕著に現れる。このアーチファクトは画像中ではあまり目立たない。特に、レティネックスモデルに使用されるパラメータの範囲を検討するときには目立たない。
3.式(8)を式(7)に代入することによって得られる平行因果性Lは、エンベロープから予測されるものではなく、強靭なエンベロープで見られる条件に近い。具体的には、入力信号Sが著しい不連続性を持つ場所では、エンベロープLは「沈み込み」、入力信号Sの不連続性が小さい場所では、エンベロープLは「浮き上がる」。後で説明するように、この「ショートカット強靭性(short cut robustness)」は、それにもかかわらず、強靭なエンベロープLの代替に比べて、あまり望ましくない。
フィルタカスケード(9)を与えれば、エンベロープを強靭なものにすることができる。すなわち、入力信号Sが著しい不連続性を有する場所では、エンベロープLも、同様の不連続性を有し、入力信号Sの不連続性が小さい場所や、入力信号Sが完全に滑らかな場所では、エンベロープLも滑らかな状態に維持され、αによって決まる速度でSに追従するはずである。
αをパラメータとして有する再帰フィルタに関する上記要件の式の変形すると、著しい不連続性を有する場所を除き、どの場所においてもエンベロープLは定数αを有し、αは比較的小さいはずであることが分かる。したがって、αは、入力信号Sの局部的な勾配の関数である。この勾配が小さければ、新たな勾配依存パラメータα(∇S)は、ほぼ元の値αになるはずであり、勾配が大きな負の値であれば、α(∇S)は、それよりも小さくなるはずである。一方、勾配が大きな正の値であれば、α(∇S)は、小さな値にはならない。この場合、通常、エンベロープ要件によって、不連性が発生する。その他、エンベロープLが入力信号Sよりも高い場合は、比較的小さなα値によって、エンベロープLは沈み込み、入力Sに対して反転された(したがって、望ましくない)不連続点が生成される。
アルゴリズムを強靭にする一つの方法は、定数パラメータを、アルゴリズムによって処理される入力信号の関数にすることである。そのような方法の一つは、αを局部的な勾配∇Sの関数とすることである。この関数は、∇Sが大きな値のときは、定数値αを返し、∇Sが減少するのに従って、αの値を0まで単調減少させる。例えば、αのフーバ影響関数は、次にようなものである。
Figure 0004490430
ただし、Tはしきい値である。
このフーバ影響関数(10)を使用すると、式(7)を強靭にしたものは次のようになる。
Figure 0004490430
図5は、フーバ影響関数を示している。
図6は、(11)の
Figure 0004490430
170、すなわち、図2aのエンベロープ110を強靭にしたものを示している。縦の破線180は、入力信号S100の勾配の局部的な最小値を示している。これらの局部的な最小値は、しきい値−1/T(10)未満である。しきい値Tを横切らなかった領域では、出力L170が、図2aの出力L110に非常によく似ている。それ以外の場所では、L110とL170との差は、入力信号S100の勾配によって決まる。
強靭な再帰レティネックスアルゴリズム40を導出する際の最後の段階は、線形再帰フィルタの2Dへの一般化を再び取り上げて、再帰フィルタを強靭なエンベロープに一般化することを含む。図7b及び図7cはそれぞれ、図7aの入力画像の強靭でないエンベロープと強靭なエンベロープを示している(式(9)と式(11)を別々に適用)。レティネックスアルゴリズム40に必要となるエンベロープは、暗い部分と明るい部分がエンベロープ中に維持され、従って、補正は可能であるが、細部は除去されるような主構造を有する。このエンベロープを「ポスタライズ」すると、深さと細部が反射率画像として残る。その点で、強靭なエンベロープ170(図5参照)は、強靭でないエンベロープ110(図2a参照)に比べて非常に優れている。
ただし、画像を近くで見ると、2Dへの一般化における固有の問題が明らかになる。図8a及び図8bはそれぞれ、図7a及び図7cの画像中の下の方にある柱の影を拡大したものである。図8bから分かるように、強靭なエンベロープ170の細部の喪失が、Y方向のアーチファクトとともに発生している。
アーチファクト(たとえば、図8bに示されるアーチファクト)の原因の一つは、1Dフィルタを画像に適用する方法に基づくものである。具体的には、1Dフィルタが画像ピクセルの「行」及び「列」に適用される。Y方向において、1Dフィルタ(すなわち、列フィルタ)は、画像列のそれぞれに沿って適用され、隣りの画像列の情報とは無関係に適用される。X方向フィルタは滑らかな出力を生成するため、つまり、その出力の隣りの列同士が似通っているため、強靭でないエンベロープ110はその問題の影響を受けない。このことを、Yフィルタへの似たような入力が似たような出力を生み出すという事実と組み合わせると、結局、滑らかな2D出力になる。強靭でないエンベロープに関する上記「一般式」の特徴はいずれも、強靭なエンベロープ170には当てはまらない。
強靭なエンベロープと強靭でないエンベロープとの間のさらに他の相違点は、再帰フィルタ40における画像のピクセル位置間の情報フローを検討することによって理解することができる。強靭でないエンベロープの場合、各再帰パス(すなわち、XとYの各次元における順方向パス及び逆方向パス)において、行又は列に沿った再帰を伴なって情報が流れる。1Dフィルタでは、あらゆるピクセルが、そのピクセルの前にあるピクセル(順方向パスのとき)と、そのピクセルの後ろに続くピクセル(逆方向パスのとき)とから情報を受け取る。2Dフィルタでは、情報は、ピクセル行に沿って流れた後、ピクセル列に沿って流れる。つまり、2Dフィルタでは、Yフィルタが、Xフィルタの結果に対して動作することを意味する。2Dフィルタでは、Y(列)フィルタがX(行)フィルタの結果に対して動作するので、あらゆるピクセルは、画像中の他のすべてのピクセルから情報を「入手」することになる。ただし、情報は、或るピクセル(ソースピクセル)から別のピクセル(宛先ピクセル)へ所定の単一経路に沿って流れる。すなわち、まず、ソースピクセルの行に沿って流れ、その後、宛先ピクセルの列に沿って流れる。
強靭なエンベロープでは、情報が自由に流れるのではなく、情報は入力信号Sの勾配がしきい値未満である場所で遮断される。一次元の強靭なエンベロープでは、この種の情報遮断は問題にならない。なぜなら、エッジ全体からの情報を必要としないからである。しかしながら、二次元の強靭なエンベロープでは、2つのピクセルを接続する行+列の経路がたとえエッジを横切る場合であっても、それら2つのピクセルは、同じセグメントにある(すなわちそれらがエッジにまたがらない)かもしれない。したがって、2つのピクセルを接続する遮断されていない経路が1つでもある限りそれら2つのピクセルを実際に互いに考慮しなければならない場合、2つのピクセルを接続する単一経路上にある何らかの流れを遮断する物によって、それら2つのピクセルを互いに考慮することができないこともある。
ピクセル間の情報フローの遮断の問題に対する一つ解決策として、図9のブロック図に示すような、カスケード形再帰フィルタ(7)を使用した次元インターリーブがある。図9において、方位磁石表記(すなわち、東、西、南、北)は、異なる因果性/非因果性及びY/X方向を指す。たとえば、図9の第1のラインはE、W、S、Nのフローであるのに対し、第2のラインはE、S、W、Nのフローである。
図10は、ピクセル間情報フローの遮断の問題と、代替案を評価するための別のメカニズムを示している。図10の8つのフロー図のそれぞれにおいて、中心ゾーン210は情報を表わし、ボールドのライン220は情報フローの障壁を表わしている。図の各行の左側に詳述された方向シーケンスに従って情報を流すことにより、情報は、斜線ゾーン230によって表されるゾーンから遮断される。したがって、図10の1行目にある4つの図はそれぞれ、E、W、S、Nのフローシーケンスの結果であるのに対して、2行目にある図はそれぞれ、E、S、W、Nのフローシーケンスの結果である。
幾分単純化されてはいるが、図10に示す情報フローの障壁は、自然画像において一般的である。元のシーケンス(E、W、S、N)とは違う、インターリーブされたシーケンス(E、S、W、N)の使用も、便利ではあるが、ピクセル間情報フロー問題の完全な解決策にはならない。幾つかの代替案も存在する。しかしながら、代替案は、計算コストの増加を伴う。たとえば、代替案の一つでは、たとえば、「E、S、W、N、E」や「E、S、W、N、E、S」のような繰り返しが使用される。
他の代替案として、再帰通過を「本来の」二次元パスに変えることがある。すなわち、各ピクセルが、一つのピクセルから情報を得るのではなく、各次元において1つ、計2つのピクセルから情報を得るようにすることである。たとえば、方位磁石表記によりSEで表現される一つのそのような二次元パスは、次のようなものである。
Figure 0004490430
4つのこのようなパスを直列接続することにより、「SE、SW、NW、NE」のようなシーケンスを形成することができる。たとえば、
Figure 0004490430
図11は、さらに複雑な情報フロー障壁システムにおける幾つかの代替の情報フローを示している。情報フローアーチファクトは、品質と計算の複雑度の双方の観点から評価することができる。たとえば、図11の1行目に記載した8つの一次元パスは、図11の2行目に記載したインターリーブされていない4つの二次元パスに比べて、計算が複雑である。また、図11の障壁モデルによれば、8つの一次元パスは、通常、比較的多くのアーチファクトを生成する。一般に、画質と計算複雑度との間のトレードオフに関しては、二次元方式の方が、一次元方式よりも優れている。
図10及び図11に示すようなアーチファクトは、対応するエッジ構造を有する画像において見られる。しかしながら、情報障壁は絶対的なものではないので、複雑な方式のアーチファクトは、通常、あいまいである。下記の説明では、図11の3行目に記載した5つのインターリーブされた二次元パス方式を使用する。
強靭な再帰エンベロープを定義した後、そのエンベロープを使用するためには、スケール不変性を検討しなければならない。具体的には、サイズの異なる第1の画像及び第2の画像が与えられたとき、すなわち、第2の画像が第1の画像を縮小したものである場合、第2の画像のエンベロープが、第1の画像のエンベロープを縮小したものにほぼ等しくなるか否かを検討しなければならない。
スケーリング不変性は次の2つの理由から重要である。一つは、レティネックスモデルはスケール不変性であり、目に見える視野内の色の成分にしか関係せず、それらの色のスケールには関係しないからである。ただし、さらに重要なのは、レティネックスアルゴリズムの安定したパラメータを見つけなければならないことである。安定したパラメータとは、あらゆる自然画像に対して適度に良好に動作する一組のパラメータであることを意味する。通常、小さな画像に対する良好なパラメータのセットは、種々のスケールで画像を検査しながら判定することができる。ただし、画像が大きくなるほどパラメータの調節は難しくなり、一定のスケールを超えると実際には不可能になる。しかしながら、レティネックスアルゴリズム40のスケール不変バージョン(後述)では、パラメータが安定し、レティネックスアルゴリズム40は、すべてのスケールにおいて一様に良好に動作する。
上述した再帰演算子は、画像のスケール(又は正確には、画像のピクセルのサイズ)に関係する下記の3つの成分から、スケール依存である。
パラメータαは、ピクセルのLPFのサイズを決定する。
再帰はピクセルに対して定義される。
勾配∇Sは、ピクセルに対して定義される。
レティネックスアルゴリズム40をスケールに依存しないものにするために、強靭度指数α(∇S)が定義される。この新たな定義によれば、入力画像における高いスケールの細部の稀な構成に起因した散在するアーチファクトを除いて、スケールに依存しない強靭な望ましいエンベロープが得られる。
強靭度指数α(∇S)は、式(10)に定義され図5に示したフーバ関数のような、画像Sの局部的な勾配の関数である。次に、この強靭度指数α(∇S)は、スケールに依存しないものになるように変更される。
強靭度指数α(∇S)をスケールに依存しないものにする第1のステップは、パラメータの次元を除去することからなる。上述したように、式(10)のα(∇S)のパラメータαは、元の再帰線形フィルタ(4)の所定の有効なカーネルサポートに対応するように予め設定される。線形フィルタの場合に、αをスケール不変にするためには、カーネルもスケール不変でなければならない。スケール不変にするためには、カーネルが、入力画像Sに合わせてサイズを変更しなければならない。したがって、第j番目の位置にあるカーネルの値Kは、画像SのサイズNの関数となる。カーネルをスケール不変にするためには、座標jをNでスケーリングする。すなわち、新たなカーネルKj/Nは、何らかの所望の画像サイズNに対し、元のKと同じになるように定義される。カーネルは、
Figure 0004490430
であるから、新たなカーネルは、
Figure 0004490430
となる。ただし、
Figure 0004490430
であり、Nは、何らかの基準画像サイズ(例えば、N=256)である。
強靭度指数α(∇S)をスケールに依存しないものにする第2のステップは、再帰次元を除去することからなる。たとえば、2:1の縮小率を仮定すると、高解像度画像において2ピクセルの境界遷移を有するエッジは、低解像度画像では1ピクセルの境界遷移しか持たない。低解像度画像では、フィルタリングの再帰は、高解像度画像におけるような2つの連続したステップで同じエッジを横切るのではなく、単一のステップで同じエッジを横切る。ただし、高解像度画像と低解像度画像との間で、全体的なフィルタリング効果は同じでなければならない。線形フィルタの場合のようにα(∇S)が定数である場合、パラメータの次元を除去することによって、上記のことが成り立つ。しかしながら、α(∇S)が定数でない領域においてもスケール不変性を得るためには、α(∇S)の変動によって得られる再帰フィルタ44の強靭性をさらに検討しなければならない。
例えば、高解像度画像の3つのピクセルにわたって仮想エッジを引き伸ばすことにより、勾配
Figure 0004490430
及び
Figure 0004490430
が誘導される。低解像度画像では、これらのエッジが2つのピクセルにわたって引き伸ばされ、勾配
Figure 0004490430
が誘導される。
したがって、
(14) g=g+g
となる。更に、すべてのエッジがしきい値チェックを通過したものと仮定すると(すなわち、g、g<−T)、スケール不変性を得るためには、
(15) α(g)=α(g)・α(g
でなければならない。
式(14)及び式(15)から、強靭度指数の関数自体は、下記の指数関数のプロファイルを有する必要がある。
(16) α(g)=K・eβ・g
そして、α(0)=αであるから、K=αとなる。残りのパラメータβは、所望の強靭性の程度をパラメータ化したものであり、β=0である全く強靭でない状態から始まって、所望の強靭性の程度が増加するほどβは増加する。
強靭度指数α(∇S)をスケールに依存しないものにする第3のステップは、しきい値Tを選択することからなる。このステップは、合計変化量が10グレーレベル未満(標準的なグレースケール[0,255]の場合)であるエッジは細部エッジとし、合計変化量がそれよりも大きなエッジに囲まれた領域は照明エッジ又はオブジェクトエッジを表わすものとする、という経験に基づいたルールを使用することからなる。
上記ルールがスケールに依存しないものであることは、勾配の代わりに「合計変化」という言葉を使用していることから分かる。図12に示す例を検討すると、エッジの断面が、4つのスケールで図12aにプロットされている(X軸は、粗いスケール単位である)。図12bはそれら4つの断面の勾配関数であり、図中、各スケールについて、実線の直線は対応するX軸であり、破線はT=−5のしきい値である。スケールが大きいほど、多数のピクセルにわたってエッジが引き伸ばされ、各位置における勾配は小さくなる。微細な細部又はノイズにより、勾配関数におけるエッジは顕著であるのに対して、実際のエッジにおける勾配は、どのしきい値よりも低くなる。しかしながら、エッジの合計変化量(図12aでは、エッジの左側と右側との差)は、スケール空間全体にわたって一定であるから、スケールには依存しない。
エッジの局部的な勾配ではなく、エッジの合計変動量に基づいてエッジと強靭性との関の関係を求めるための上記のプロセスは、他の構造(たとえば、図7aにおいて数本の柱にわたって存在するような光のグラデーション)からエッジを区別する人間の視覚系の機能を必要とする。レティネックスモデルの経験的な観察は、自然画像の勾配に対してしきい値を使用することが、小さなスケール(約256×256ピクセル)において一貫してうまく動作することを示している。
スケールN=256のおける2ピクセルの幅は、レティネックスモデルの合計変化量の実際的な定義の良い基本となる。ただし、元の画像スケールN>Nのエッジの細部を保存する場合は、その勾配をスケールNの勾配で単純に置き換えることはできない。その代わり、基本スケールNは、しきい値においてのみ使用すべきである。この要件によれば、標準的なピクセルベースの勾配∇Sと、スケーリングされた勾配∇Sとの、2つの異なる勾配の定義が得られる。
Figure 0004490430
ただし、
Figure 0004490430
また、(13)及び(16)を考慮すると、スケールに依存しない強靭度指数は、次のようになる。
Figure 0004490430
レティネックスアルゴリズム40をスケールに依存しないものにするために、(19)の強靭度指数の成分はすべて変更されているが、レティネックスアルゴリズム40は、小さなスケールの細部のために、厳密にはスケールに依存しないものではない。すなわち、スケール非依存性は、主として、基本スケール(N=256)を使用することによって実現される。レティネックスアルゴリズム40を厳密にスケールに依存しないものにするためには、基本スケールを上回るすべての細部を無視しなければならない。しかしながら、基本スケールを上回る細部を無視すると、画質を劣化させる可能性がある。このジレンマを克服するためには、スケールに依存しない再帰が失敗するケースを分析し、スケールアーチファクトを除去するために必要な小さなスケールの細部だけを除去しなければならない。
図13は、スケールに依存しない再帰の失敗を示している。画像の一部を図13aに示し、提案したスケール不変出力を図13bに示す。図13cに示す第1の二次元パス(12)の出力は、実際には、アーチファクトの局部的な原因を示している。
これらのアーチファクトの原因を分析すると、問題となる2つの高いスケールの構成が得られる。それらの構成のルーツは、スケーリングされた勾配∇Sの定義(17)までたどることができる。図14を参照すると、図14aの明るいドット構成は、背景とは異なるグレー値を有する明るいスポットであり、エッジとして定義されなければならないスポットであるが、この明るいスポットは∇Sによって完全に見逃されているため、エッジとして認識されていない。矢印は、勾配がスケーリングされていることにより、(ドットの右側において)その勾配を検出することができないピクセルを指している(このドットの真向かいも対称的な位置がある)。これらのドットには位置Δ及びΔのマークが付され、式(17)によれば∇S=0となる。その結果、明るいドットの輝度情報は、自由に流れ、図14bのように暗い部分を満たす。図14cに示す暗い峡谷構成は、実質的に、明るいドット構成を2重化したものである。
両方の問題を解決するために、二重形のグレースケールフィルタの開閉が使用される。画像を面とみなすと、「閉」フィルタは文字通り、すべての穴及び傷を閉ざして、そこを構成要素が貫通できないようにするのに対し、「開」フィルタは、二重動作をする。つまり、K×Kの平坦な構成要素を使用し、
Figure 0004490430
である場合、「開」フィルタは明るいドット構成を除去し、「閉」フィルタは暗い渓谷を除去する。しかしながら、フィルタリングされたものによって入力画像を置換すれば、フィルタリングされたもののエンベロープが得られる。このエンベロープは、必ずしも入力のエンベロープではない。この問題を解決するために、出力と入力の間の最大値選択演算によってレティネックスアルゴリズム40を拡張することもでき、それにより、エンベロープ条件が保証される。
したがって、入力画像Sが、適当な開フィルタ及び閉フィルタによって最初にフィルタリングされる場合は、上述したエンベロープフィルタを安全に使用することができる。
合計変化の概念の代替実施形態は、((17)の元の定義とは異なる)(19)に示すような勾配∇Sの異なる定義である。
Figure 0004490430
この勾配を使用すれば、開閉の前置フィルタリングを行う必要はなくなる。図15は、レティネックスアルゴリズム40によって得られた、スケールに依存しない強靭なエンベロープを示している。
図16を参照すると、この図は、強靭な再帰レティネックスアルゴリズム40を使用した例を示している。図1bに示す強靭な再帰レティネックスアルゴリズム40を使用する際に、アルゴリズムの詳細及びパラメータ、並びに、対応するレティネックス補正の詳細及びパラメータは、次のようになる。
レティネックス事前: S=max{R,G,B}(20)
前置フィルタ: 開形態の後、閉形態(42)
再帰フィルタ: NW、SE、SW、NE、NW(44)
α: 0.945
: 200
β: 0.15
T: 5
後置フィルタ:最大(54)
レティネックス事後:{R,G,B} 255{R,G,B}/L(1−1/y)(60)
図16は、入力画像S(図16a)、図16bのガンマ補正、図16cのレティネックスアルゴリズムにより得られた強靭なエンベロープ、及びその結果得られた図16dのレティネックス補正を示している。図16bのガンマ補正は、図16dの同じ一般的輝度になるように調節した。図示のとおり、レティネックス出力の細部のコントラストが、大きく向上している。
レティネックスアルゴリズム40の利点は、そのエンベロープの能力で表される。この能力は、コントラストを維持しなければならない場所ではエンベロープをフラットにし、全体的なダイナミックレンジを低減するためにコントラストを妥協できる場所ではエンベロープを入力画像のエッジに応じたものにするというものである。暗い前景と明るい背景との間のフラクタルな境界のために、この画像は特にその点で難しい。
図17は、代替的なレティネックス方法に対するレティネックスアルゴリズム40の強靭な再帰エンベロープフィルタの対比を示している。強靭なエンベロープ抽出問題の変形式に対するピラミッド解決法は、線形複雑度を有する(上記表1を参照)。しかしながら、ピラミッドの各層で微分方程式を解くという反復性から、定数は比較的大きい。1Mピクセルの画像の場合、レティネックスアルゴリズム40の実行時間は、ピラミッド法の約半分の時間となる。
図17は、エンベロープと、エンベロープに対応するレティネックスアルゴリズム40及びピラミッドレティネックスのレティネックス拡張とを並べて示したものである。いずれの方法においても、エンベロープは、必要に応じて平滑且つ強靭なものになっている。それでも、これらの方法の間には違いがある。
ピラミッドレティネックスは、広い意味でスケール不変である。すなわち、エンベロープ画像の性質は、入力画像のサイズに依存しない。一方、ピラミッドレティネックスアルゴリズムは、局部的にスケール不変ではなく、これは、画像の異なるサイズの特徴が違う扱いを受けることを意味し、具体的には、特徴が小さくなるほど、その特徴は、特徴としてではなく細部として取り扱われることが多くなる。図17の画像は、柱の影のそれぞれにおける明るさが、その幅に応じて別々に補正された例である。
強靭な再帰フィルタは、一定の「しきい値スケール」までは局部的にスケール不変である。このしきい値スケールは画像サイズに依存するため、アルゴリズムの全体的なスケール不変性が維持される。このしきい値を明らかに上回るスケールにおいては、それが利点であるとみなされるのに対し、しきい値付近のスケールを有する特徴においては、たとえば、図17bに示す照らされた床の上に見られる散在する細部においては、何らかのアーティファクトが発生することがある。
その他に、図17bの主な影の部分には、「情報フロー」型アーチファクト(図9参照)が少しだけ見られる。また、照らされた柱の輪郭部における輝度特性が徐々に増加する傾きを有し、それがどこかのポイントでグレーしきい値Tを超えるものである場合、照らされた柱の輪郭上には、そのしきい値によるアーチファクトが現れる場合がある。エンベロープに存在する深さが深いほど、強調画像における奥行きは明らかに浅くなる。したがって、しきい値Tを超える明るい柱は、ピラミッド強調に比較して三次元(3D)感覚が低下するのに対し、他の柱は、比較的平坦なエンベロープを有することから、比較的良好な三次元感覚を有する。
レティネックス型処理のためのシステムを示す図である。 入力画像を処理するアルゴリズムの一実施形態を示す図である。 入力画像を処理するアルゴリズムの一実施形態を示す図である。 信号及びその因果性出力信号を示す図である。 信号及びその因果性出力信号を示す図である。 信号、及び、カスケードフィルタを使用した当該信号の出力信号を示す図である。 入力信号、対応する出力信号、及びフリップされた入力信号のフリップされた出力を示す図である。 再帰フィルタの定数パラメータのフーバ影響を示す図である。 図2aに示す出力信号の強靭なバージョンを示す図である。 入力画像を示す図である。 入力画像の強靭なエンベロープを示す図である。 入力画像の強靭でないエンベロープを示す図である。 図7aの強靭なエンベロープの拡大図である。 図7cの強靭でないエンベロープの拡大図である。 カスケード形再帰フィルタにおける次元インターリーブを示すブロック図である。 単純な障壁システムにおける情報フロー障壁の概念を示す情報フロー図である。 複雑な障壁システムにおける情報フローを示す図である。 エッジの断面を示す図である。 図12aのエッジの断面に対応する勾配関数を示す図である。 スケールに依存しない再帰の失敗を示す図である。 スケールに依存しない再帰の失敗を示す図である。 スケールに依存しない再帰の失敗を示す図である。 画像中の明るいドット及び暗い峡谷のアーチファクトを示す図である。 画像中の明るいドット及び暗い峡谷のアーチファクトを示す図である。 画像中の明るいドット及び暗い峡谷のアーチファクトを示す図である。 画像中の明るいドット及び暗い峡谷のアーチファクトを示す図である。 図1bの強靭な再帰レティネックスアルゴリズムを使用することによって得られる、スケールに依存しない強靭なエンベロープを示す図である。 図1bの強靭な再帰レティネックスアルゴリズムの使用を示す図である。 図1bの強靭な再帰レティネックスアルゴリズムの使用を示す図である。 図1bの強靭な再帰レティネックスアルゴリズムの使用を示す図である。 図1bの強靭な再帰レティネックスアルゴリズムの使用を示す図である。 図1bの強靭な再帰レティネックスアルゴリズム及び代替的なレティネックスアルゴリズムの使用を示す図である。 図1bの強靭な再帰レティネックスアルゴリズム及び代替的なレティネックスアルゴリズムの使用を示す図である。 図1bの強靭な再帰レティネックスアルゴリズム及び代替的なレティネックスアルゴリズムの使用を示す図である。 図1bの強靭な再帰レティネックスアルゴリズム及び代替的なレティネックスアルゴリズムの使用を示す図である。

Claims (9)

  1. カラー画像を処理するための装置であって、
    入力画像を受信する入力プロセッサ(20)と、
    レティネックス型プロセッサであって、
    カスケード形再帰フィルタを含む局部統計プロセッサ(30)と、
    前記入力画像のピクセルを前記局部統計プロセッサにおける対応するピクセル値に従って補正する点演算プロセッサ(55)と、
    を含むレティネックス型プロセッサと、
    出力プロセッサ(60)と
    を含み、
    前記カスケード形再帰フィルタは、
    Figure 0004490430
    の形のフィルタのカスケードであり、前記SEは、情報フローの方向に対応する標準的な方位磁石表記に従って、N、S、E、W、NE、NW、又はSWの1つに置き換えることができる、装置。
  2. 前記カスケード形再帰フィルタのパラメータαは、前記画像の入力信号の関数である、請求項に記載の装置。
  3. 前記パラメータαは、前記入力信号の局部的な勾配∇Sの関数であり、該関数は、大きな∇Sの値に対して定数値α0を返し、∇Sが減少するのに従って0まで単調減少する、請求項に記載の装置。
  4. α(∇S)はスケールに依存しないものである、請求項に記載の装置。
  5. Figure 0004490430
    であり、ここで、Nは、前記入力画像Sのサイズであり、∇NSは、スケーリングされた勾配であり、Tは、しきい値であり、βは、定数パラメータである、請求項に記載の装置。
  6. 前記画像の前記スケーリングされた勾配は、
    Figure 0004490430
    である、請求項に記載の装置。
  7. 開/閉前置フィルタ(42)と、前記入力画像と前記出力画像との間において最大値選択演算を実施することにより、エンベロープ条件を満たすようにするための後置プロセッサとをさらに含む、請求項1に記載の装置。
  8. 高速なレティネックス処理のための強靭な再帰エンベロープ演算子であって、
    Figure 0004490430
    を含むカスケード形再帰フィルタ(44)を含み、ここで、α(∇S)は、スケールに依存しないパラメータを含み、xxは、方位磁石表記を含み、該強靭な再帰エンベロープ演算子は、入力画像信号Sを処理するものである、強靭な再帰エンベロープ演算子。
  9. 入力画像Sを処理するための方法であって、
    開/閉前置フィルタを前記画像Sに適用するステップ(42)と、
    カスケード形再帰フィルタを前記画像Sに適用するステップ(43)と、
    後置フィルタ最大出力を前記画像Sに適用するステップ(54)
    を含み、
    前記カスケード形再帰フィルタは、
    Figure 0004490430
    の形のフィルタのカスケードであり、前記SEは、情報フローの方向に対応する標準的な方位磁石表記に従って、N、S、E、W、NE、NW、又はSWの1つに置き換えることができる、方法。
JP2006534131A 2003-10-02 2004-09-29 高速なレティネックス型処理のための強靭な再帰エンベロープ演算子 Expired - Fee Related JP4490430B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/675,943 US20050073702A1 (en) 2003-10-02 2003-10-02 Robust recursive envelope operators for fast retinex-type processing
PCT/US2004/032297 WO2005034036A2 (en) 2003-10-02 2004-09-29 Robust recursive envelope operators for fast retinex-type processing of images

Publications (2)

Publication Number Publication Date
JP2007507810A JP2007507810A (ja) 2007-03-29
JP4490430B2 true JP4490430B2 (ja) 2010-06-23

Family

ID=34393524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006534131A Expired - Fee Related JP4490430B2 (ja) 2003-10-02 2004-09-29 高速なレティネックス型処理のための強靭な再帰エンベロープ演算子

Country Status (6)

Country Link
US (1) US20050073702A1 (ja)
EP (1) EP1668593B1 (ja)
JP (1) JP4490430B2 (ja)
AT (1) ATE387682T1 (ja)
DE (1) DE602004012125T2 (ja)
WO (1) WO2005034036A2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004061507B4 (de) * 2004-12-21 2007-04-12 Siemens Ag Verfahren zur Korrektur von Inhomogenitäten in einem Bild sowie bildgebende Vorrichtung dazu
US8014034B2 (en) 2005-04-13 2011-09-06 Acd Systems International Inc. Image contrast enhancement
US7602447B2 (en) * 2006-01-26 2009-10-13 Vestel Elecktronik Sanayi Ve Method and apparatus for adjusting the contrast of an image
EP1879147B1 (en) * 2006-07-11 2016-09-21 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for adjusting the contrast of an image
US7986834B2 (en) * 2006-11-08 2011-07-26 Zoran Corporation Method and apparatus for color image correction
KR100897385B1 (ko) * 2007-06-27 2009-05-14 성균관대학교산학협력단 조명 정규화 방법 및 장치
JP5109551B2 (ja) * 2007-09-21 2012-12-26 コニカミノルタアドバンストレイヤー株式会社 画像処理装置、画像処理方法、及び撮像装置
US8208750B2 (en) * 2007-10-26 2012-06-26 Hewlett-Packard Development Company, L.P. Method and system for dual-envelope image enhancement
US8803950B2 (en) * 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
EP2593814A4 (en) 2010-05-07 2017-04-26 Exxonmobil Upstream Research Company Seismic signal processing method with gaussian slowness-period packets
CN103632339A (zh) * 2012-08-21 2014-03-12 张晓光 一种基于变分Retinex的单幅图像去雾方法及装置
CN104346776B (zh) * 2013-08-02 2017-05-24 杭州海康威视数字技术股份有限公司 基于Retinex理论的非线性图像增强方法及其系统
CN104020671B (zh) * 2014-05-30 2017-01-11 哈尔滨工程大学 一种量测干扰下用于飞行器姿态估计的鲁棒递推滤波方法
CN107194882A (zh) * 2017-03-29 2017-09-22 南京工程学院 一种钢丝绳芯输送带x光图像矫正与增强的方法
CN107730470A (zh) * 2017-10-18 2018-02-23 四川理工学院 一种显式表达多尺度和直方图截断的改进Retinex图像增强方法
CN108364261B (zh) * 2017-12-13 2021-10-22 湖北工业大学 一种梯度引导的TV-Retinex单帧图像去雾方法
CN109064426B (zh) * 2018-07-26 2021-08-31 电子科技大学 一种用于抑制低照度图像中眩光并增强图像的方法及装置
CN109686434B (zh) * 2018-12-29 2020-03-31 青岛大学附属医院 临床治疗辅助机构
CN111340732B (zh) * 2020-02-28 2022-10-14 新疆大学 一种低照度视频图像增强方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4384336A (en) * 1980-08-29 1983-05-17 Polaroid Corporation Method and apparatus for lightness imaging
US5991456A (en) * 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image
GB9807211D0 (en) * 1998-04-03 1998-06-03 Nds Ltd Filtering of digital video signals
JP4076302B2 (ja) * 1999-08-31 2008-04-16 シャープ株式会社 画像の輝度補正方法
US6941028B2 (en) * 2001-04-30 2005-09-06 Hewlett-Packard Development Company, L.P. System and method for image enhancement, dynamic range compensation and illumination correction

Also Published As

Publication number Publication date
DE602004012125D1 (de) 2008-04-10
EP1668593B1 (en) 2008-02-27
JP2007507810A (ja) 2007-03-29
WO2005034036A2 (en) 2005-04-14
EP1668593A2 (en) 2006-06-14
ATE387682T1 (de) 2008-03-15
US20050073702A1 (en) 2005-04-07
DE602004012125T2 (de) 2009-03-19
WO2005034036A3 (en) 2005-09-01

Similar Documents

Publication Publication Date Title
JP4490430B2 (ja) 高速なレティネックス型処理のための強靭な再帰エンベロープ演算子
Li et al. Learning to enhance low-light image via zero-reference deep curve estimation
US11244432B2 (en) Image filtering based on image gradients
US10339643B2 (en) Algorithm and device for image processing
CN103854259B (zh) 图像处理设备以及处理图像的方法
CN110706174B (zh) 一种图像增强方法、终端设备及存储介质
CN106127718B (zh) 一种基于小波变换的多曝光图像融合方法
US8285076B2 (en) Methods and apparatus for visual sub-band decomposition of signals
US10929967B2 (en) Method and device for image processing
JP2001229377A (ja) 適応帰納的フィルタでディジタル画像のコントラストを調整する方法
CN107492077B (zh) 基于自适应多方向总变分的图像去模糊方法
Celebi et al. Fuzzy fusion based high dynamic range imaging using adaptive histogram separation
Kumar et al. An improved Gamma correction model for image dehazing in a multi-exposure fusion framework
JP2019016117A (ja) 画像調整装置、局所的コントラスト量計算装置、方法、及びプログラム
CN113706393A (zh) 视频增强方法、装置、设备及存储介质
Brajovic Brightness perception, dynamic range and noise: a unifying model for adaptive image sensors
Matsuoka et al. Transformed-domain robust multiple-exposure blending with huber loss
Son et al. Image-pair-based deblurring with spatially varying norms and noisy image updating
Gunturk Bilateral filter: theory and applications
Matsuoka et al. High dynamic range image acquisition using flash image
UA115360C2 (uk) Спосіб обробки цифрового зображення для зниження рівня шуму
Guo et al. Low light image enhancement algorithm based on retinex and dehazing model
Xue et al. Iterative image restoration using a non-local regularization function and a local regularization operator
Pardhi et al. Contrast Enhancement Using Adaptive Threshold Based Dynamic Range Adjustment In Luv Colour Space
Sadaka et al. Perceptual attentive superresolution

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090706

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100323

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100401

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees