JP5859080B2 - イメージのカラーアーチファクトを補正する方法と関連装置 - Google Patents

Description

本発明は、イメージのカラーアーチファクトを補正する方法と関連装置に関するものであって、特に、所定ベースの加重和により、補正マップを適応的に合成するとともに、イメージを補正することができる方法と関連装置に関するものである。

静止画、および／または、動画(ビデオ)を捕捉する整合された画像システムを有する電子デバイス、たとえば、携帯電話、スマートフォン、装着型ガシェット、タブレット型コンピュータ、携帯型コンピュータ、ハンドヘルドコンピューター、デジタルカメラ、デジタルカムコーダー、ナビゲータ、インタラクティブ玩具、ゲーム機、遠隔会議ターミナル、監視システム等が広まり、流行し、現代の情報社会に必須なものとなっている。軽量で簡潔であるという要求を満たすため、ＣＭＯＳセンサーと小さい光学(レンズ)モジュールが採用されて、埋め込み画像システムを形成する。しかし、このような画像システムは、カラーアーチファクト、たとえば、レンズの色むら(または、単に、色むら)に苦しむ。

色むらは、デジタル画像システム中に存在する既知のカラーアーチファクトであり、ＣＭＯＳセンサーにより捕捉されたイメージにおいて特に顕著である。画像システムは、均一に発光したグレイウォールのイメージを捕捉するため、均一なグレイイメージを獲得することが期待される。しかし、捕捉されたイメージは、画像中心から画像のコーナーとエッジへ、彩度の非均一性と色の非均一性両方が見られる。一般に、彩度の非均一性は、捕捉されたイメージを、画像中心よりも、画像エッジとコーナーで暗くする。これは、像形成における軸外の幾何学的因子によるもので、光線は、画像エッジに向かって減衰する。

さらに、捕捉されたイメージ中に、色の非均一性が存在する。イメージカラーの色相と彩度は、画像中心から徐々に変化するが、必ずしも放射相称パターンに従わず、一定の減退速度で減衰するのでもない。このような色の非均一性のアーチファクトは、色むらと称される。色むらは、イメージカラー品質を激しく低下させる。

図１は、異なる色の色むらを示す図である。図１の３Ｄ表面プロットに示されるように、イメージが均一であると仮定されても、捕捉されたイメージの緑色チャネル(各画素の緑色コンポーネントの分布)は、画像エッジとコーナーで減退する非均一性に苦しむ。図１は、さらに、緑色、青色と赤色チャネルの不均一性を明示する断面図を含む。注意すべきことは、異なるカラーチャンネルは異なる不均一性に苦しむことである。緑、青色チャネルと比較すると、赤色チャネルの減退は、エッジに向かって深刻である。

画像中心から離れた位置での全体的な漸次減衰は、口径食、または、輝度減衰と考えられる。異なるカラーチャンネルの異なる減退は色の歪みを生じる。全体的な減退と色むらアーチファクトを補正するため、イメージ信号処理(ISP)により、追加ゲインがカラーチャンネルに適用されて、減退均一性を補償する。減退は、各空間的位置の二個のカラーチャンネル間で異なるので、補正ゲインは、カラーチャンネル間の減退を補償しなければならない。

色むらの形成をもたらすいくつかの要因は、レンズの口径食(lens vignetting)、画素のけられ(pixel vignetting)、画素クロストーク、および、ＩＲ-カットフィルターの特質等を含む。レンズの口径食は、光学レンズ(または、レンズ)の特有の光学特性である。光学レンズを通過する光線は、レンズの中央から周辺に減少する。実際のレンズは、必ずしも、コサインの４乗則に従わないが、理論解析は、イメージ光輝が、コサインの４乗の比率で減少することを示し、レンズの口径食、レンズ減退効果は、彩度非均一性の大きな要因である。

色むらの別の要因は、画素構造による画素のけられ、すなわち、光輝減退である。画素のけられは、多くの原因、たとえば、マイクロレンズの画素レイアウト設計と構造の影響を受ける。

画素クロストークは、さらに、色むらをもたらす。画素クロストークは、画素の信号が、通常は、異なるカラーチャンネルで、その隣接画素により誤って捕捉される現象である。画素クロストークは、光学クロストークと電子クロストークを含む。それらの末端効果は、一カラーチャンネルからの信号が別のカラーチャンネルに漏出するのと同様である。クロストークは共通である。

ＩＲ光線を遮断するため、ＩＲ-カットフィルターが画像システムに用いられる。しかし、ある種のＩＲ-カットフィルターにおいて、入射光の角度の観点で、効果的なカットオフ周波数は常数ではない。レンズ中央からレンズ周辺に、波長のシフトがある。光線の波長がＩＲ-カットフィルターのカットオフ周波数に近い場合、レンズ中央よりも、レンズ周辺で、さらに多くの光線がブロックされる。その結果、緑色と青色チャネル信号よりも、赤色チャネル信号は、画像コーナーとエッジで、さらに減衰する。

色むらの特徴として、ある種の光源(light sources)に敏感であることが観察されている。もっと詳細には、入射光の分光組成である。つまり、異なる光源で、イメージを捕捉するとき、捕捉される場面が同じであるときでさえ、得られたイメージは異なる不均一性に苦しむ。異なる種類のレンズ-センサー組み合わせも、異なる特徴の色むらを生じる。さらに、製造上のばらつきのため、同一光源下であっても、色むらの特徴は、同一バッチ中の異なるユニットによって異なる。よって、色むら補正は、画像システムにとって必須である。

慣例的に、色むら補正は、複雑な校正により達成される。画像システムの色むらを測定するため、画像システムは、均一に照らされる領域に露出され、その後、いくつかの異なる種類の光源下で、イメージが捕捉されるので、同数セット減退マップは、捕捉されたイメージの不均一性を直接測定することにより獲得される。一種の光源に対応する各セット減退マップは、異なるカラーチャンネルの減退マップを含む。したがって、対応する種類の光源下で、シェーディング補正マップが用意されて、非均一性を反転させる。校正後、異なるタイプの光源に対応するシェーディング補正マップが画像システム中に保存される。イメージの捕捉時、従来の画像システムは、まず、どの種類の環境光源が現在露出されているかの確認を試み、および、対応するシェーディング補正マップにしたがって、捕捉されたイメージの色むらを補正する。

一般に、多くの光源が調整されて、多くのシェーディング補正マップを提供する場合、一場面は、シェーディング補正マップのひとつによりカバーされるよい機会を有することが期待される。しかし、実際には、色むら校正は、装置稼働率、メモリ要求、システムリソースキャパシティ、時間要求、生産力、および／または、コスト関連により制約される。実際には、生産ラインで、シェーディング校正に必要な頻度を減少させ、色むら補正の有効性を妥協する必要がある。このほか、色むらの特徴は、同じ製造バッチ中の異なるユニットで異なるので、個々のユニット上での校正が要求される。とは言っても、各ユニット上で校正を実行するのはコストが高い。

消費家電の画像システムは、光源の波長の詳細を決定するのに満足のいく能力に欠乏しているので、光源のタイプを正確に識別するのもまた挑戦である。さらに、実際の光源は、自然放射体、多種の人工の輻射源、反射体、および／または、散乱体を含む異なる距離、異なる入射角、および／または、異なる彩度の多様なソースからの光線を混合するので、不可能ではないにしても、十分な種類の光源を列挙することは非常に困難なことである。

誤った光源識別、および／または、適切なシェーディング補正マップの欠乏は、間違った色むら補正を生じる。たとえば、赤色チャネルが過度に補償されるので、補正されたイメージは、画像中心で赤みを帯びる。

本発明は、色むらを補正する低コスト、且つ、効果的な技術を提供することを目的とする。本発明によると、色むら校正にかかわるとてつもない量の試みとコストを省略し、高いイメージ品質を達成する。

本発明の目的は、画像システムにより提供(たとえば、捕捉、撮影(photographed)や撮影(filmed))されるイメージIscのアーチファクト(たとえば、色むら)を補正する方法を提供することである。本方法は、複数のベースV[1]〜V[N1]を提供する工程と、中間像IとベースV[1]〜V[N1]にしたがって、イメージIscに関連する中間像Iと、複数の係数(scalars)a[1]〜a[N1]を計算する工程と、それぞれ、関連係数a[1]〜a[N1]を有するベースV[1]〜V[N1]を重み付けすることにより、補正マップを生成し、および、重み付けられたベースa[1]*V[1]〜a[N1]*V[N1]、たとえば、m1=(a[1]*V[1]+...+a[N1]*V[N1])を合計する工程、および、補正マップm1にしたがって、イメージIscを補正することにより、補正されたイメージI’を提供する工程、を含む。

各ベースV[n](n=1 to N1)は、基本補正値V[n](x,y)を中間像Iの各画素p(x,y)に提供する。各係数a[n]はベースV[n]に関連する。補正マップm1は、製品a[1]*V[n]〜a[N1]*V[N1]の重ね合わせにより合成されるので、補正マップm1は、補正値m1(x,y)を、中間像Iの各画素p(x,y)に提供することができる。

強調すべきことは、同一バッチの異なるユニット(画像システム)、または、異なる設計(たとえば、光学モジュール、センサー、および、関連回路の異なる組み合わせ)の異なる画像システムでさえも、同セットベースV[1]〜V[N1]を利用することである。同セットベースV[1]〜V[N1]に基づいて、異なるセット係数a[1]〜a[N1]が用いられて、異なる補正マップm1を合成して、適応的に、設計、組み立て、製造、および／または、光源による異なる特徴の色むらを補正する。たとえば、二個の異なる光源下で、同一画像システムが二イメージを捕捉する場合、二セット係数a[1]〜a[N1]が得られて、それぞれ、同セットベースV[1]〜V[N1]を有する二個の補正マップm1を生成し、二イメージを補正する。同様に、二個の画像システムは、それら自身のセット係数a[1]〜a[N1]を用いて、それぞれ、同セットベースV[1]〜V[N1]を有するそれら自身の補正マップを生成することができ、それぞれ、二個の画像システムにより捕捉されるイメージを補正する。

一実施態様において、中間像IはイメージIscである。あるいは、本方法は、さらに、イメージIsc上で特徴抽出を実行することにより、中間像Iscを獲得する工程を含み、イメージIscと中間像Iの寸法は異なる。たとえば、中間像Iはxi*yi画素を有し、イメージIscｂはxs*ys画素を有し、且つ、寸法(xi,yi)と(xs,ys)は異なる。たとえば、イメージIscの寸法は、イメージIの寸法の寸法より大きく、たとえば、xs>xiおよび／またはys>yiである。中間像Iを得るために、イメージIscで実行される特徴抽出は、イメージIscのスケーリング(たとえば、アップスケーリング、または、ダウンスケーリング)、再サンプリング(たとえば、アップサンプリング、または、ダウンサンプリング)、および／または、局部的平均化(たとえば、ブロック平均化)を含む。

本方法は、さらに、補正マップm1にしたがって、補助的補正マップmsc1を提供して、補助的補正マップが、イメージIscの各画素p(x,y)の補正値msc1(x,y)を提供する工程を含む。つまり、補正マップm1は寸法xi*yiで、xi*yi補正値を、中間像Iのxi*yi画素に提供し、補助的補正マップmsc1は寸法xs*ysで、xs*ys補正値を、イメージIscのxs*ys画素に提供する。中間像IがイメージIscである実施態様において、補助的補正マップは補正マップm1である。中間像IとイメージIscの寸法が異なる実施態様において、補助的補正マップmsc1は、たとえば、補正マップm1で補間を実行することにより、補正マップm1から生成される。

本発明の方法は、さらに、イメージIscのカラーチャンネルにしたがって、補助チャネルC1を計算する工程を含む。補正されたイメージI’を提供する工程は、補正マップm1と補助チャネルC1にしたがって、補正された補助チャネルC1’を計算し、および、補正された補助チャネルC1’は、補正されたイメージI’の補正されたカラーチャンネルc1’を構築する工程を含む。イメージの“チャネル”というのは、イメージ(たとえば、IscまたはI)の各画素p(x,y)に値を提供することができる分布を示すのに用いられる。たとえば、補助チャネルC1は、イメージIscの各画素p(x,y)の値C1(x,y)を提供する。同様に、イメージの“カラーチャンネル”というのは、イメージの(主要な)カラーコンポーネント分布を示すのに用いられる。たとえば、イメージの緑色カラーチャンネル(または、簡潔に、緑色チャネル)は、イメージIscの各画素の緑色コンポーネントを表現することができる。色彩比ベースの実施態様において、イメージIscの補助チャネルC1は、イメージIscの所定カラーチャンネルc1を、イメージIscの参照カラーチャンネルc0で割ることにより計算され、すなわち、C1=(c1/c0)、または、同等に、C1(x,y)=(c1(x,y)/c0(x,y))である。同様に、補正された補助C1’は、補正されたイメージI’の補正されたカラーチャンネルc1’を、イメージI’の別のカラーチャンネルc0で割った比率により定義され、すなわち、C1’=(c1’/c0’)である。カラーチャンネルc0とc0’は同一カラー、たとえば、緑色である。カラーチャンネルc1とc1’は同一カラー、たとえば、赤色、または、青色である。

C1=(c1/c0)の色彩比ベースの実施態様を続けると、補正された補助チャネルC1’は、補助チャネルC1と補助的補正マップmsc1を掛けることにより計算され、すなわち、C1’=C1*msc1、または、同等に、C1’(x,y)=(C1(x,y)*msc1(x,y))である。一実施態様において、補正されたイメージI’のカラーチャンネルc0’は、イメージIsc(たとえば、c0’(x,y)=c0(x,y))のカラーチャンネルc0に等しくなるように設定され、および、補正されたイメージI’の補正されたカラーチャンネルc1’を構築する工程は、イメージIscの参照カラーチャンネルc0と補正された補助チャネルC1’を掛ける工程を含む。すなわち、c1’=c0*C1’、または、同等に、c1’(x,y)=(c0(x,y)*C1’(x,y))である。カラーチャンネルc0’がc0に等しくなるように設定される場合、補正された補助チャネルC1’は(c1’/c0’)により定義されるので、補正された補助チャネルC1’も(c1’/c0)に等しい。一方、補正された補助チャネルC1’はC1’=C1*msc1=(c1/c0)*msc1により計算されるので、C1’=(c1’/c0)=(c1/c0)*msc1、および、c1’=c1*msc1である。つまり、補正されたイメージI’のカラーチャンネルc1’は、同等に、同一カラーのイメージIscのカラーチャンネルc1と補助的補正マップmsc1を掛けることにより構築され、すなわち、c1’=c1*msc1である。

色彩比ベースの実施態様以外に、対数の色彩比ベースの実施態様において、補助チャネルC1は、イメージIscの参照カラーチャンネルc0により、イメージIscの所定カラーチャンネルc1を割った比率(c1/c0)の対数log(.)を得ることにより計算される。すなわち、C1=log(c1/c0)、または、同等に、C1(x,y)=log(c1(x,y)/c0(x,y))である。同様に、補正された補助チャネルC1’は、イメージI’のカラーチャンネルc0’により、補正されたイメージI’の補正されたカラーチャンネルc1’を割った比率の対数により定義され、すなわち、C1’=log(c1’/c0’)である。補正期間中、補正された補助チャネルC1’は、補助チャネルC1と補助的補正マップmsc1を合計することにより計算される。すなわち、C1’=(C1+msc1)、または、C1’(x,y)=(C1(x,y)+msc1(x,y))である。イメージI’のカラーチャンネルc0’が、イメージIscのカラーチャンネルc0に等しくなるように選択されるとき、補正されたイメージI’の補正されたカラーチャンネルc1’を構築する工程は、イメージIscの参照カラーチャンネルc0と補正された補助チャネルC1’の逆対数exp(.)を掛ける工程を含む。すなわち、c1’=c0*exp(C1’)、または、同等に、c1’(x,y)=c0(x,y)*exp(C1’(x,y))である。カラーチャンネルc0’がカラーチャンネルc0に等しくなるように設定されるときの場合において、補正された補助チャネルC1’は、定義によりlog(c1’/c0’)に等しいので、補正された補助チャネルC1’も、log(c1’/c0)に等しい。一方、C1’=(C1+msc1)=(log(c1/c0)+msc1)=log(c1*exp(msc1)/c0)なので、C1’=log(c1’/c0)=log(c1*exp(msc1)/c0)、すなわち、c1’=c1*exp(msc1)である。つまり、補正されたイメージI’の補正されたカラーチャンネルc1’は、同等に、同一カラーのイメージIscのチャネルc1と補助的補正マップmsc1の逆対数exp(.)を掛けることにより構築され、すなわち、c1’=c1*exp(msc1)である。

色彩比ベースの実施態様に用いられるベースV[1]〜V[N]は、対数の色彩比ベースの実施態様に用いられるベースV[1]〜V[N]と異なる。つまり、二種の実施態様両方は、ベースの線の重ね合わせにより補正マップを形成する。しかし、各種実施態様は、異なるベースを使用することができる。

一実施態様において、係数a[1]〜a[N1]が解かれて、一セットの候補係数ac[1]〜ac[N1](まとめて、集合A1として示される)、ベースV[1]〜V[N1](まとめて、集合V1として示される)、および、中間像Iを入力として受信する目的関数U(A1,V1,I)を最小化する。つまり、異なるセットの候補係数間で、一セットの候補係数が、目的関数U(A1,V1,I)を最小化できる場合、そのセットの候補係数が、集合A1として、目的関数U(A1,V1,I)に入力されるとき、セットの候補係数が、係数a[1]〜a[N1]になるように選択される。目的関数U(A1,V1,I)は、第一費用関数U1(A1,V1,I)と第二費用関数U2(A1,mA)を含む。

一実施態様において、第一費用関数U1(A1,V1,I)は、均一性を示すことができる。たとえば、第一費用関数U1(A1,V1,I)は、中間像Iの全画素p(x,y)で累積される重み付けされた局所項w1(x,y)*u1(x,y;A1,V1,I)の合計により定式化される。各局所項u1(x,y;A1,V1,I)は中間像Iの画素p(x,y)に関連し、および、関連画素p(x,y)で、準補正補助チャネルCd1’の空間的勾配▽の第ｑ動力ノルムにより定式化され、すなわち、u1(x,y;A1,V1,I)=||▽Cd1’(x,y;A1,V1,I)||_p ^q、ノルム||.||_pはp-ノルムである。準補正補助チャネルCd1’は、中間像Iと準補正マップmc1にしたがって定式化され、準補正マップmc1は、それぞれ、入力候補係数ac[1]〜ac[N1]により重み付けられるベースV[1]〜V[N1]の合計により定式化される。すなわち、mc1=(ac[1]*V[1]+...+ac[N1]*V[N1])である。

一実施態様において、準補正補助チャネルCd1’と、中間像Iの準補正マップmc1と補助チャネルCa1を関連付ける関係は、補正された補助チャネルC1’と、イメージIscの補助的補正マップmsc1と補助チャネルC1を関連付ける関係とまったく一致し、補助チャネルCa1は、それぞれ、色彩比ベースの実施態様、または、対数の色彩比ベースの実施態様において、Ca1=(ca1/ca0)またはlog(ca1/ca0)により定式化され、チャネルca1とca0は、中間像Iの二個のカラーチャンネルで、カラーチャンネルca1とc1は同一カラー、カラーチャンネルca0とc0は同一カラーである。したがって、C1=(c1/c0)とC1’=(C1*msc1)の色彩比ベースの実施態様において、準補正補助チャネルCd1’は、Cd1’=(Ca1*mc1)により定式化される。C1=log(c1/c0)とC1’=(C1+msc1)の別の対数の色彩比ベースの実施態様において、準補正補助チャネルCd1’はCd1’=(Ca1+mc1)により定式化される。

各局所項u1(x,y;A1,V1,I)が重み付けタームw1(x,y)により重み付けられるとき、中間像Iの関連画素p(x,y)が、高空間的変動の領域に位置する場合、重み付けタームw1(x,y)が活用されて、第一費用関数U1(A1,V1,I)から、局所項u1(x,y;A1,V1,I)を、排除、ろ過、または、抑制する。したがって、重み付けタームw1(x,y)は勾配項G1(x,y)にしたがって決定され、勾配項G1(x,y)は、||▽Ca1(x,y)||_p,||▽ca1(x,y)||_p,||▽ca0(x,y)||_pまたは||▽L(x,y)||_pに等しく(または、それに基づいて計算され)、L(x,y)は、画素p(x,y)での中間像の輝度Iのことである。一実施態様において、既定画素p(x,y)での勾配項G1(x,y)がスレショルドより大きい場合、画素p(x,y)の重み付けタームw1(x,y)は0に設定される。勾配項G1(x,y)がスレショルドより小さい場合、重み付けタームw1(x,y)は1に設定される。つまり、重み付けタームw1(x,y)は、勾配項G1(x,y)が一スレショルドより小さいかどうかにしたがって、選択的に、二つの異なる常数0と1に設定される。別の実施態様において、重み付けタームw1(x,y)の値は0と1間に設定され、大きい勾配項G1(x,y)に対し、重み付けタームw1(x,y)は小さい値が割り当てられ、すなわち、値は0に近い。全画素p(x,y)の重み付けタームw1(x,y)は、まとめて、重み付けマップw1と称される。

第二費用関数U2(A1,mA)は、集合A1の候補係数ac[1]〜ac[N1]、および、集合mAの参照係数ma[1]〜ma[N1]間の差異を示す。集合A1は、候補係数ac[1]〜ac[N1]をリストするN1×1列ベクトルとして表され、集合mAは、参照係数ma[1]〜ma[N1]をリストする別のN1×1列ベクトルとして表され、よって、第二費用関数U2(A1,mA)は、Ld1*(A1-mA)^T*Vcd*(A1-mA)により表され、式中、Ld1は平衡係数である。さらに、ベクトルの差(A1-mA)が、N1×1列ベクトルであるので、Vcdは、N1×N1正定値、または、非負-定値行列である。集合mAは先験的情報を表す。

補正マップm1=a[1]*V[1]+…+a[N1]*V[N1]の実施態様に加え、別の実施態様において、補正マップm1はm1=a0*V[0]+a[1]*V[1]+…+a[N1]*V[N1]により表され、一定係数a0により重み付けられる追加ベースV[0]が、一緒に、補正マップm1を構築するのに適用される。たとえば、係数a0は、常に、1に設定される。主要問題は、ベースV[0]を重み付ける係数a0が、目的関数の最適化に依存しないことである。

あるいは、単一補助チャネルC1が計算されて、単一系列の係数の群a[1]〜a[N1]を解き、単一補正マップm1、単一補助的補正マップmsc1、および、単一補正補助チャネルC1’が得られて、補正されたイメージI’の単一カラーチャンネルc1’(たとえば、赤色カラーチャンネル)を補正し、補正されたイメージI’の別のカラーチャンネル(たとえば、青と緑色のカラーチャンネル)は、オリジナルイメージIscのそれらと等しい。

一実施態様において、複数の補助チャネル、たとえば、C1とC2、が計算されて、それぞれ、複数のセット係数、たとえば、a[1]〜a[N1]とb[1]〜b[N2]を解くので、複数の補正マップ(たとえば、m1とm2)、複数の補助的補正マップ(たとえば、msc1とmsc2)、そして、複数の補正された補助チャネル(たとえば、C1’とC2’)が得られると共に、補正されたイメージI’の複数のカラーチャンネル、たとえば、c1’とc2’(たとえば、赤色カラーチャンネルと青色カラーチャンネル)を補正し、補正されたイメージI’の残りのカラーチャンネル(たとえば、緑色カラーチャンネル)は、オリジナルイメージIscのそれ(それら)に等しくなるように設定される。

たとえば、本方法はさらに、イメージIscのカラーチャンネルにしたがって、第二補助チャネルC2を計算し、中間像I(または、イメージIscで、第二特徴抽出を実行することにより得られる第二中間像)とベースV[1]〜V[N2]にしたがって、複数の第二係数b[1]〜b[N2]を計算し、それぞれ、関連する第二係数b[1]〜b[N2]に関連付けられるベースV[1]〜V[N2]を合計することにより、第二補正マップm2を生成し、さらに、第二補正マップm2にしたがって、補正されたイメージI’を提供し、たとえば、第二補正マップm2と第二補助チャネルC2にしたがって、補正された第二補助チャネルC2’を計算するとともに、補正された第二補助チャネルC2’にしたがって、補正されたイメージI’の補正された第二カラーチャンネルc2’を構築する。第二補助チャネルC2は、(c2/c0)、(c0/c2)、log(c2/c0)またはlog(c0/c2)により定義され、カラーチャンネルc0とc1に加え、チャネルc2はイメージIの別のカラーチャンネルである。カラーチャンネルc1とc2は異なる色で、たとえば、カラーチャンネルc1とc2は、イメージIの青色カラーチャンネルと赤色カラーチャンネルと異なる。数量N2は、補正マップm1の形成に用いられる数量N1と等しいか、または、異なる。

色彩比ベースの実施態様(第二補助チャネルC2は(c2/c0)または(c0/c2)により定義される)に用いられるベースV[1]〜V[N2]は、対数の色彩比ベースの実施態様(第二補助チャネルC2はlog(c2/c0)またはlog(c0/c2)により定義される)に用いられるベースV[1]〜V[N2]と異なる。つまり、二種の実施態様両方は、ベースの線の重ね合わせにより、第二補正マップを形成する。しかし、各種実施態様は、異なるベースを使用することができる。

一実施態様において、第二係数b[1]〜b[N2]が解かれて、第二目的関数H(B1,V2,I)を最小化し、第二目的関数H(B1,V2,I)は、第三費用関数H1(B1,V2,I)と第四費用関数H2(B1,mB)を含む。たとえば、H(B1,V2,I)=H1(B1,V2,I)+H2(B1,mB)である。第三費用関数H1(B1,V2,I)は、中間像I(または、第二中間像)の全画素p(x,y)上で重み付けられた第二局所項w2(x,y)*u2(x,y;A2,V2,I)の合計により定式化され、一セット第二候補係数bc[1]〜bc[N2]は、まとめて、入力集合B1として示され、ベースV[1]〜V[N2]は、まとめて、入力集合V2として示される。各第二局所項u2(x,y;A2,V2,I)は、中間像I(または、第二中間像)の画素と関連し、関連画素p(x,y)で、第二準補正補助チャネルCd2’の空間的勾配▽の第ｑ動力ノルムにより定式化され、すなわち、u2(x,y;A2,V2,I)=||▽Cd2’(x,y;B1,V2,I)||_p ^q。第二準補正補助チャネルCd2’は、中間像I(または、第二中間像)と準補正マップmc2にしたがって定式化され、それぞれ、一セット入力候補係数bc[1]〜bc[N2]により重み付けられるベースV[1]〜V[N2]の合計により定式化される。すなわち、mc2=(bc[1]*V[1]+...+bc[N2]*V[N2])である。

たとえば、第二準補正補助チャネルCd2’は、第二補助チャネルCa2が、色彩比、たとえば、Ca2=(ca2/ca0)または(ca0/ca2)により、または、対数の色彩比、たとえば、Ca2=log(ca2/ca0)やlog(ca0/ca2)により定義されるかどうかに基づいて、Cd2’=Ca2*mc2またはCd2’=(Ca2+mc2)により計算される。チャネルca2とca0は、中間像Iの異なるカラーチャンネル、中間像Iのチャネルca2、および、イメージIscのチャネルc2は同一カラーである。補助チャネルC1と第二補助チャネルC2は、同じ、または、異なるように定義される。たとえば、log(c1/c0)により補助チャネルC1が得られ、(c2/c0)、または、(c0/c2)により補助チャネルC2が得られる。

第二局所項u2(x,y;A2,V2,I)を重み付ける重み付けタームw2(x,y)は、第二勾配項G2(x,y)にしたがって決定され、第二勾配項G2(x,y)は、
||▽Ca2(x,y)||_p,||▽ca2(x,y)||_pまたはw1(x,y)等に基づいて定式化される。

集合B1は、候補係数bc[1]〜bc[N2]をリストするN2×1列ベクトルとして表され、集合mBは、参照係数mb[1]〜mb[N2]をリストする別のN2×1列ベクトルとして表され、よって、第四費用関数H2(B1,mB)は、H2(B1,mB)=Ld2*(B1-mB)^T*Vcd2*(B1-mB)により定式化され、Ld2はスカラー平衡係数である。さらに、ベクトルの差(B2-mB)が、N2×1列ベクトルであるので、Vcd2は、N2×N2正定値、または、非負-定値行列である。集合mBは先験的情報を示す。

イメージIscは、ビデオのフルスチール写真、または、フルフレームである。あるいは、イメージIscは、フルフォト、または、フレームの一部である。補正されたイメージI’獲得後、補正されたイメージI’が用いられて、フルフォト、または、フレームの一部を修正する。

本発明の目的は、本発明の方法を実施することができる装置、すなわち、画像システムにより提供されるイメージIscのアーチファクトを補正する装置を提供することである。装置は、アクセス回路、補正コントローラー、および、補正器を有する。アクセス回路は、ベースV[1]〜V[N1]を得ることができる。補正コントローラーはアクセス回路に結合され、且つ、イメージIsc(または、中間像I)にしたがって、係数a[1]〜a[N1]を計算するとともに、補正マップm1を生成することができる。補正器は補正コントローラーに結合され、且つ、補正マップm1にしたがって、イメージIscを修正することにより、補正されたイメージI’を提供することができる。

本発明の方法と同様に、補正コントローラーは、さらに、イメージIscのカラーチャンネルにしたがって、補助チャネルC1を計算することができる。補正器が設置されて、補正マップm1と補助チャネルC1にしたがって、補正された補助チャネルC1’を計算することにより、補正されたイメージI’を提供し、および、補正された補助チャネルC1’にしたがって、補正されたイメージI’の補正されたカラーチャンネルc1’を構築することができる。

色彩比ベースの実施態様において、補正コントローラーが設置されて、イメージIscの所定カラーチャンネルc1を、イメージIscの参照カラーチャンネルc0で割ることにより、補助チャネルC1を計算する。補正器が設置されて、補助チャネルC1と、補正マップm1に関連する補助的補正マップmsc1を掛けることにより、補正された補助チャネルC1’を計算するとともに、イメージIscの参照カラーチャンネルc0と、補正された補助チャネルC1’を掛けることにより、補正されたカラーチャンネルc1’を構築する。

別の対数の色彩比ベースの実施態様において、補正コントローラーが設置されて、イメージIscの所定カラーチャンネルc1を、イメージIscの参照カラーチャンネルc0で割った比率の対数により、補助チャネルC1を計算する。補正器が設置されて、補助チャネルC1と補助的補正マップmsc1を合計することにより、補正された補助チャネルC1’を計算するとともに、イメージIscの参照カラーチャンネルc0と補正された補助チャネルC1’の逆対数を掛けることにより、補正されたカラーチャンネルc1’を構築する。

一実施態様において、補正コントローラーは、さらに、イメージIscとベースV[1]〜V[N2]にしたがって、第二係数b[1]〜b[N2]を計算する。それぞれ、関連する第二係数b[1]〜b[N2]により重み付けられるベースV[1]〜V[N2]を合計することにより、第二補正マップm2を生成することができる。補正器が設置されて、さらに、第二補正マップm2にしたがって、補正されたイメージI’を提供する。たとえば、補正コントローラーは、さらに、イメージIscのカラーチャンネルにしたがって、第二補助チャネルC2を計算することができる。補正器が設置されて、第二補正マップm2と第二補助チャネルC2にしたがって、補正された第二補助チャネルC2’をさらに計算することにより、補正されたイメージI’を提供する。また、補正された第二補助チャネルC2’にしたがって、補正されたイメージI’の補正された第二カラーチャンネルc2’を構築する。

一実施態様において、補正コントローラーが設置されて、複数の候補係数ac[1]〜ac[N1](まとめて、集合A1により示される)、イメージIscに関連する中間像I、および、ベースV[1]〜V[N1](まとめて、集合V1により示される)を入力として受信する目的関数U(A1,V1,I)を最小化することにより、係数a[1]〜a[N1]を解く。

本明細書で詳細に説明され、添付の図面に示される装置及び方法は、非限定的な例示的実施形態であること、並びに、本発明の各種の実施形態の範囲は、特許請求の範囲によってのみ定義されることは、当業者には理解されよう。

本発明は、イメージ品質を向上させ、画像システムのコストを減少させることができる。

本発明のこれらの、及び他の特徴、態様、及び利点は、以下の説明、添付した特許請求の範囲、及び添付した図面に関して、より良く理解されよう。
色むらを示す図である。 本発明の一実施態様による色むら補正を示す図である。 本発明の一実施態様による色むら補正を示す図である。 本発明の一実施態様による色むら補正フローチャートである。 本発明の一実施態様による色むら補正装置を整合した画像システムを示す図である。

イメージIscの色むら補正を初期化するため、まず、クロミナンスチャネル変換が、イメージIscの主要なカラーチャンネルに適用されて、色むらの補償に適するひとつ以上の補助チャネル(たとえば、クロミナンスチャネル)を生成する。イメージの“カラーチャンネル”というのは、イメージのカラーコンポーネント分布を示すのに用いられる。たとえば、イメージIscの緑色カラーチャンネルは、イメージIscの各画素p(x,y)の緑色コンポーネントを表す。同様に、イメージの“補助チャネル”や“クロミナンスチャネル”からの“チャネル”というのは、イメージの各画素p(x,y)に値を提供することができる分配を示すのに用いられる。たとえば、イメージIscの補助チャネルC1は、値C1(x,y)を、イメージIscの各画素p(x,y)に提供する。

クロミナンスチャネル変換のいくつかの可用候補があり、たとえば、それぞれ、イメージIscの赤色、緑色と青色カラーチャンネルになるR、GとBを有するR/B,G/B,R/G,log(R/B),log(G/B)やlog(R/G)により、補助チャネルC1が得られる。さらに、補助チャネルC1は、RGB-to-YUV、または、RGB-to-YCbC変換等により得られるクロミナンスチャネルである。二個のカラーチャンネル間の比率の対数、たとえば、log(R/B)等により形成される補助(たとえば、クロミナンス)チャネルは、問題の定式化において、数学的な簡潔性を提供する。しかし、当然のことながら、二個のカラーチャンネルの線比率、たとえば、R/B等、または、二個のカラーチャンネルの比率の対数、たとえば、log(R/B)等のどちらも、問題の性質を変えず、および、どちらも、提案される発明によりカバーされるとみなされるべきである。たとえば、色むらの非均一性を補正するため、オリジナルイメージIscの偏心画素の大きいゲイン、および、イメージIscの中央画素の相対して小さいゲインが、それぞれ適用されて、補正されたイメージI’を得る。オリジナルイメージIsc中央で、任意の二個のカラーチャンネル間の比率は、補正されたイメージI’で実質的にそのままであることが好ましい。よって、二個のカラーチャンネル、たとえば、R/G,B/G,R/B、または、それらの分析形式間の比率、たとえば、log(R/G)、log(B/G)、または、log(R/B)等に基づいて定義される補助チャネルで、色むら補正を実行するのに便利である。補助チャネルの各種計算定義を思いつき、本発明の要旨を逸脱しない範囲で、当業者により適用される。

オリジナルイメージIscのカラーチャンネルに、上述のクロミナンス変換を適用することにより、イメージIscの輝度-クロミナンス空間のLCCチャネルセットが得られ、チャネルLは輝度チャネルを示し、二個のチャネルCCまとめて、二個の補助チャネルC1とC2を示す。たとえば、イメージIscの三種の赤、緑、および、青色カラーチャンネルを区別するチャネルc0,c1とc2により、色彩比ベースの実施態様において、チャネルC1は(c1/c0)に等しく、チャネルC2は、(c2/c0)か(c0/c2)、C1(x,y)=(c1(x,y)/c0(x,y))とC2(x,y)=(c2(x,y)/c0(x,y))または(c0(x,y)/c2(x,y))に等しい。一方、対数の色彩比ベースの実施態様において、チャネルC1はlog(c1/c0)により計算され、C2は、log(c2/c0)またはlog(c0/c2)により計算され、同等に、C1(x,y)=log(c1(x,y)/c0(x,y))とC2(x,y)=log(c2(x,y)/c0(x,y))またはlog(c02(x,y)/c2(x,y))である。

図２は、本発明の一実施態様による色むら補正を示す図である。イメージIscのアーチファクトは、中間像Iにより補正される。中間像Iは、イメージIsc自身であるか、または、イメージIscで特徴抽出を実行することにより得られ、よって、イメージIscと中間像Iの寸法は異なる。たとえば、中間像Iはxi*yi画素を有し、イメージIscはxs*ys画素を有し、且つ、寸法(xi,yi)と(xs,ys)は異なる。たとえば、イメージIscの寸法は、イメージIの寸法より大きく、たとえば、xs>xiおよび／またはys>yiである。中間像Iを獲得するため、イメージIscで実行される特徴抽出は、イメージIscのスケーリング(たとえば、アップスケーリング、または、ダウンスケーリング)、再サンプリング(たとえば、アップサンプリング、または、ダウンサンプリング)、および／または、局部的平均化(たとえば、ブロック平均化)を含む。たとえば、イメージIscのブロック平均化により中間像Ｉを獲得するため、イメージIscの各xn*yn隣接画素は、ブロックとしてグループ化され、(xs/xn)*(ys/yn)ブロックになる。各ブロックの画素値が平均化されて、中間像Iの単一画素値を獲得する。中間像Iの寸法(xi,yi)は(xs/xn,ys/yn)に等しい。

中間像Iと所定セットベースV[1]〜V[N1]にしたがって、一セット係数a[1]〜a[N1]が計算される。その後、補正マップm1は、それぞれ、係数a[1]〜a[N1]、たとえば、m1=(a[1]*V[1]+...+a[N1]*V[N1])により重み付けられるベースV[1]〜V[N1]を合計することにより生成される。したがって、補正されたイメージI’は、補正マップm1にしたがって、イメージIscを補正することにより提供される。一実施態様において、補正されたイメージI’は、イメージIの補正マップm1と補助チャネルC1にしたがって、補正された補助チャネルC1’を計算することにより提供され、および、補正された補助チャネルC1’にしたがって、補正されたイメージI’の補正されたカラーチャンネルc1’を構築する。

各ベースV[n](for n=1toN1)は、基本補正値V[n](x,y)を、中間像Iの各画素p(x,y)に提供することができ、各係数a[n]はV[n]に関連する。補正マップm1は、製品a[1]*V[n]〜a[N1]*V[N1]の重ね合わせにより合成されるので、補正マップm1は、補正値m1(x,y)を、中間像Iの各画素p(x,y)に提供することができる。別の態様において、補正マップm1は:m1=V[0]+a[1]*V[1]+…+a[N1]*V[N1]の合計で、一定係数1のベースV[0]が、補正マップの構築に用いられる。

色彩比ベースの実施態様に用いられるベースV[1]〜V[N]は、対数の色彩比ベースの実施態様に用いられるベースV[1]〜V[N]と異なる。つまり、二種の実施態様両方は、ベースの線の重ね合わせにより、補正マップm1を形成する。しかし、各種実施態様は、異なるベースを使用することができる。

補正マップm1によると、補助的補正マップmsc1が提供されて、補助的補正マップmsc1は、補正値msc1(x,y)を、イメージIscの各画素p(x,y)を提供することができる。つまり、補正マップm1は寸法xi*yiで、xi*yi補正値を、中間像Iのxi*yi画素に提供し、補助的補正マップmsc1は寸法xs*yで、xs*ys補正値を、イメージIscのxs*ys画素に提供する。中間像IがイメージIscである実施態様において、補助的補正マップmsc1は補正マップm1である。中間像IとイメージIscの寸法が異なる実施態様において、補助的補正マップmsc1は、たとえば、補正マップm1で補間を実行することにより、補正マップm1から生成される。

オリジナルイメージIscが三つのカラーチャンネルc0,c1とc2を有するとき、補正されたイメージI’も、三つの(補正された)カラーチャンネルc0’,c1’とc2’を有する。一実施態様において、カラーチャンネルc1とc1’は、同一カラー、たとえば、赤色か青色である。同様に、カラーチャンネルc0とc0’は、同一カラー、たとえば、緑色で、および、カラーチャンネルc2とc2’は、同一カラー、すなわち、カラーチャンネルc0とc1の色以外の色である。

カラーチャンネルc0,c1および／またはc2と、イメージIscの補助チャネルC1を関連づけるクロミナンスチャネル変換が、さらに、補正されたイメージI’のカラーチャンネルc0’,c1’とc2’に適用されて、カラーチャンネルc0’,c1’および／またはc2’と補助チャネルC1’を関連付ける。したがって、補正されたカラーチャンネルc1’は、補正された補助チャネルC1’を得ることにより構築される。同様に、チャネルc0,c1および／またはc2を、イメージIscの補助チャネルC2に関連づける関係が利用されて、チャネルc0’,c1’および／またはc2’を、イメージI’の別の補助チャネルC2’に関連付ける同等の関係性を定義する。クロミナンスチャネル変換により、カラーチャンネルが、補助チャネルに変換されるとき、補正された補助チャネルは、クロミナンスチャネル変換の逆変換により、再度、補正されたカラーチャンネルに変換される。

チャネルC1が(c1/c0)に等しい色彩比ベースの実施態様において、補正された補助チャネルC1’は、同様に、(c1’/c0’)により定義される。このような実施態様において、補正された補助チャネルC1’は、補助チャネルC1と、補助的補正マップmsc1を掛けることにより計算され、すなわち、C1’=C1*msc1、または、同等に、C1’(x,y)=(C1(x,y)*msc1(x,y))である。したがって、補正されたカラーチャンネルc1’は:c1’=(c0’*C1’)=(c0’*(c1/c0)*msc1)により得られる。補正されたイメージI’のカラーチャンネルc0’が、オリジナルイメージIscのカラーチャンネルc0に等しくなるように設定される場合、カラーチャンネルc1’はc1’=(c1*msc1)により構築される。

チャネルC1がlog(c1/c0)に等しい対数の色彩比ベースの実施態様において、補正された補助チャネルC1’は、同様に、log(c1’/c0’)により定義される。このような実施態様において、補正された補助チャネルC1’は、補助チャネルC1と補助的補正マップm1を合計することにより計算され、すなわち、C1’=C1+msc1、または、同等に、C1’(x,y)=(C1(x,y)+msc1(x,y))である。したがって、補正されたカラーチャンネルc1’はc1’=c0’*exp(C1’)=c0’*(c1/c0)*exp(msc1)により得られ、exp(.)はlog(.)の逆関数である。補正されたイメージI’のカラーチャンネルc0’は、オリジナルイメージIscのカラーチャンネルc0に等しくなるように設定される場合、カラーチャンネルc1’はc1’=(c1*exp(msc1))により構築される。

以下の方程式eq1aに示されるように、一実施態様において、係数a[1]〜a[N1]が解かれて、一セットの候補係数ac[1]〜ac[N1](まとめて、集合A1として示される)、ベースV[1]〜V[N1](まとめて、集合V1として示される)、および、中間像Iを入力として受信する目的関数U(A1,V1,I)を最小化することができる。
argmin U(A1,V1,I) --(eq1a)
^A1
つまり、異なるセットの候補係数ac[1]〜ac[N1]間で、それらのセットのひとつが、目的関数U(A1,V1,I)を最小化できる場合、セットの候補係数が、集合A1として、目的関数U(A1,V1,I)に入力されるとき、セットの候補係数は、係数a[1]〜a[N1]に選択される。

目的関数U(A1,V1,I)は、第一費用関数U1(A1,V1,I)と第二費用関数U2(A1,mA)を有する;たとえば、U(A1,V1,I)=U1(A1,V1,I)+U2(A1,mA)である。

一実施態様において、第一費用関数U1(A1,V1,I)は、準補正補助チャネルCd1’の空間的平滑-変化領域上で均一性を示すことができ、それは、集合A1中の候補係数が適用されるときの補助チャネルCa1の補正結果である。イメージIscのカラーチャンネルc1に適用されて、補助チャネルC1を得るクロミナンスチャネル変換が、さらに、中間像Iのカラーチャンネルca1に適用されて、補助チャネルCa1を得る。たとえば、色彩比ベースの実施態様、または、対数の色彩比ベースの実施態様において、補助チャネルCa1は、それぞれ、Ca1=(ca1/ca0)またはlog(ca1/ca0)により定式化され、チャネルca1とca0は、中間像Iのカラーチャンネルで、カラーチャンネルca1とc1は同一カラーで、カラーチャンネルca0とc0は同一カラーである。準補正補助チャネルCd1’は、中間像Iと準補正マップmc1にしたがって定式化され、準補正マップmc1は、それぞれ、入力候補係数ac[1]〜ac[N1]により重み付けられるベースV[1]〜V[N1]を合計することにより定式化される。すなわち、mc1=(ac[1]*V[1]+...+ac[N1]*V[N1])である。

つまり、第一費用関数U1(A1,V1,I)に入力される一セットの候補係数ac[1]〜ac[N1]において、準補正マップmc1がmc1=(ac[1]*V[1]+...+ac[N1]*V[N1])により形成され、その後、利用されて、中間像Iの補助チャネルCa1を補正し、対応する準補正補助チャネルCd1’を生成する。合成チャネルCd1’の空間的平滑-変化領域上の均一性が最小化される場合、そのセットの候補係数ac[1]〜ac[N1]が、係数a[1]〜a[N1]になるように選択される。

以下の方程式eq1bに示されるように、第一費用関数U1(A1,V1,I)は、中間像Iの全画素p(x,y)で累積される重み付けされた局所項w1(x,y)*u1(x,y;A1,V1,I)の合計により定式化される。

以下の方程式eq1cに示されるように、各局所項u1(x,y;A1,V1,I)は、中間像Iの画素p(x,y)に関連し、および、関連画素p(x,y)で、準補正補助チャネルCd1’の空間的勾配▽の第ｑ動力ノルムにより定式化され、ノルム||.||_pは、ベクトルp-ノルムである。
u1(x,y;A1,V1,I)=||▽Cd1’(x,y;A1,V1,I)||_p ^q --(eq1c)
空間的勾配演算子▽は数値演算子である。たとえば、▽(Cd1’(x,y))は、x-方向コンポーネントとy-方向コンポーネントを有し、前者は差(Cd1’(x+dx,y)-Cd1’(x,y))または(Cd1’(x,y)-Cd1’(x-dx,y))を含み、後者は差(Cd1’(x,y+dy)-Cd1’(x,y)または(Cd1’(x,y)-Cd1’(x,y-dy))を含み、式中、dxとdyは、二個の隣接画素間のx-方向距離とy-方向距離である。

各局所項u1(x,y;A1,V1,I)が重み付けタームw1(x,y)により重み付けられるとき、中間像Iの関連画素p(x,y)が、高空間的変動の領域に位置する場合、重み付けタームw1(x,y)が活用されて、第一費用関数U1(A1,V1,I)から、局所項u1(x,y;A1,V1,I)を排除、または、抑制する。したがって、重み付けタームw1(x,y)は、勾配項G1(x,y)(図２で図示しない)にしたがって決定され、||▽Cd1(x,y)||_p,||▽ca1(x,y)||_p,||▽ca0(x,y)||_pまたは||▽L(x,y)||_pに等しい(または、基づいて計算される)。式中、L(x,y)は、画素p(x,y)での中間像Iの輝度を示す。一実施態様において、既定画素p(x,y)での勾配項G1(x,y)が、スレショルドより大きい場合、画素p(x,y)の重み付けタームw1(x,y)は0に設定される;勾配項G1(x,y)がスレショルドより小さい場合、重み付けタームw1(x,y)は1に設定される。つまり、重み付けタームw1(x,y)は、勾配項G1(x,y)がスレショルドより小さいかどうかにしたがって、選択的に、二つの異なる常数0と1に設定される。別の実施態様において、各重み付けタームw1(x,y)の値は、0と1の間に設定され、大きい勾配項G1(x,y)に対し、重み付けタームw1(x,y)は小さい値が割り当てられ、すなわち、値は0に近い。全画素p(x,y)の重み付けタームs w1(x,y)は、まとめて、重み付けマップw1と称される。

一実施態様において、準補正マップmc1により、チャネルCa1〜チャネルCd1’を補正する原理は、補助的補正マップmsc1により、チャネルC1〜チャネルC1’を補正する原理とまったく一致している。したがって、チャネルC1とC1’が、(c1/c0)と(C1*msc1)に等しい色彩比ベースの実施態様において、準補正補助チャネルCd1’は、同様に、Cd1’=(Ca1*mc1)により定式化される。C1=log(c1/c0)とC1’=(C1+msc1)の対数の色彩比の実施態様において、準補正補助チャネルCd1’は同様に、Cd1’=(Ca1+mc1)により定式化される。

先に述べたように、第一費用関数U1(A1,V1,I)に加え、目的関数U(A1,V1,I)は、さらに、候補係数ac[1]〜ac[N1]の集合A1、および、参照係数ma[1]〜ma[N1]の集合mA間の差異を示す第二費用関数U2(A1,mA)を含む。集合A1は、候補係数ac[1]〜ac[N1]をリストするN1×1列ベクトルとして表され、集合mAは、参照係数ma[1]からma[N1]をリストする別のN1×1列ベクトルとして表され、よって、第二費用関数U2(A1,mA)は以下の方程式eq1dにより表される。
U2(A1,mA)=Ld1*(A1-mA)^T*Vcd*(A1-mA) --(eq1d)
式中、Ld1は平衡係数である。また、ベクトルの差(A1-mA)は、N1×1列ベクトルなので、Vcdは、N1×N1正定値、または、非負-定値行列である。集合mAは先験的情報を示す。たとえば、現在の中間像I(t)の現在の補正マップm1(t)の方程式eq1a〜eq1dにより、係数a[1]〜a[N1]の現在の集合A(t)を計算し、集合mAは、いくつかの前のセット係数の平均、または、加重和、たとえば、(t-3*dt),A(t-2*dt)とA(t-1*dt)で、それぞれ用いられて、経過した中間像I(t-3*dt),I(t-2*dt)とI(t-1*dt)の補正マップm1(t-3*dt),m1(t-2*dt)とm1(t-1*dt)を得る。

つまり、第二費用関数U2(A1,mA)は、前のイメージの色むらにより決定されるような母平均(集合mA)から、候補係数ac[1]〜ac[N1]のの正規化二乗距離を示す。第二費用関数U2(A1,mA)の目的は、係数の分配の演繹的知識を用いて、方策(現在の集合A(t))を制約し、現在の中間像I(t)の目的関数U(A1,V1,I(t))を最小化する現在の集合A(t)の係数a[1]〜a[N1]は、演繹的知識が予測するように、合理的範囲内にある。平滑化期間により、目的関数U(A1,V1,I(t))、第二費用関数U2(A1,mA)を公式化することが重要で、よって、目的関数U(A1,V1,I(t))の入力における小さい変化は、方策に大きい変化を生じない。本発明の重要な態様は、大量生産におけるユニット対ユニットの変化に対応する。制約として、先見的統計的知識を用い、よって、これは、目的を達成するフレキシブル、且つ、効果的な手段である。

係数a[1]〜a[N1]を計算して、補正マップm1を形成する方程式eq1aは、閉形式(分析形式)方策を有するか、または、反復、または、別の最適化アルゴリズムにより解かれる。

補正マップm1=a[1]*V[1]+…+a[N1]*V[N1]の実施態様のほかに、別の実施態様において、補正マップm1はm1=a0*V[0]+a[1]*V[1]+…+a[N1]*V[N1]によって表され、一定係数a0により重み付けられた追加のベースV[0]は、一緒に、補正マップm1を構築するのに用いられる。たとえば、係数a0は、常に、1に設定される;主要問題は、ベースV[0]を重み付ける係数a0が、目的関数の最適化に依存しないことである。

前述したように、一実施態様において、中間像I(同様に、ベースV[.]、補正マップm1、および、チャネルCd1’,方程式eq1a〜eq1dに関連するCa1とca0〜ca2)は、イメージIsc(同様に、イメージI’、補助的補正マップmsc1、および、チャネルC1,C1’とc0〜c2)の寸法(xs,ys)と比較して小さい寸法(xi,yi)である。このような設定は、計算量を減少させるとともに、実行の複雑性を簡潔にして、係数a[1]〜a[N1]を解く。つまり、補正されるイメージIscは小さい中間像Iに変換されて、係数a[1]〜a[N1]を解き、小さい寸法の補正マップm1を提供し、その後、たとえば、補正マップm1を、大きい補助的補正マップmsc1に補間して、イメージIscを補正することにより、小さい補正マップm1を増大させる。

色むら補正の一実施態様において、単一補助チャネルC1が計算されて、単一セット係数a[1]〜a[N1]を解き、単一補正マップ(m1またはmsc1)と単一補正補助チャネルC1’が得られて、補正されたイメージI’の単一カラーチャンネルc1’(たとえば、赤色カラーチャンネル)を補正し、補正されたイメージI’の別のカラーチャンネル(たとえば、青と緑色のカラーチャンネル)が、オリジナルイメージIscのそれらに等しくなるように設定される;あるいは、イメージI’のチャネルC2’は、イメージIscのチャネルC2に等しくなるように設定される。

色むら補正の別の実施態様において、複数の補助チャネル、たとえば、C1とC2が計算されて、それぞれ、複数セットの係数、たとえば、a[1]〜a[N1]とb[1]〜b[N2]を解き、複数の補正マップ、たとえば、m1(またはmsc1)とm2(または、msc2)、そして、複数の補正された補助チャネル、たとえば、C1’とC2’が得られて、補正されたイメージI’の複数のカラーチャンネル、たとえば、c1’とc2’を補正し、補正されたイメージI’の残りのカラーチャンネル(たとえば、緑色カラーチャンネル)が、オリジナルイメージIscのそれ(それら)に等しくなるように設定される。図３は、本発明の一実施態様による色むら補正を示す図であり、二個の補正マップm1とm2が計算されて、オリジナルイメージIscの二個の補助チャネルC1とC2(図示しない)を補正するとともに、二個の補正された補助チャネルC1’とC2’(図示しない)を生成して、補正されたイメージI’(図示しない)を補正する。

図２のような、係数a[1]〜a[N1]と補正マップm1を計算するのに加え、図３は、さらに、中間像I(または、イメージIscで第二特徴抽出を実行することにより得られる第二中間像)とベースV[1]〜V[N2]にしたがって、複数の第二係数b[1]〜b[N2]を計算し、それぞれ、関連する第二係数b[1]〜b[N2]により重み付けられるベースV[1]〜V[N2]を合計することにより、第二補正マップm2を生成する共に、さらに、第二補正マップm2にしたがって、補正されたイメージI’を提供し、たとえば、補正マップm2を補間することにより、第二補助的補正マップmsc2を得て、および、第二補正マップm2(または、第二補助的補正マップmsc2)と第二補助チャネルC2にしたがって、補正された第二補助チャネルC2’を計算し、補正された第二補助チャネルC2’にしたがって、補正されたイメージI’の補正された第二カラーチャンネルc2’を構築する。

数量N2は、補正マップm1を形成するのに用いられる数量N1と等しいか、または、異なる。たとえば、ベースV[1]〜V[N_total]の総数量N_totalがあり、数量N1は総数量N_total以下で、数量N2も総数量N_total以下である。つまり、異なる補助チャネルの補正マップは、すべての可用ベースの異なる、または、同じサブセットにより合成される。

色彩比ベースの実施態様(第二補助チャネルC2は(c2/c0)または(c0/c2)により定義される)に用いられるベースV[1]〜V[N2]は、対数の色彩比ベースの実施態様(第二補助チャネルC2は、log(c2/c0)またはlog(c0/c2)により定義される)に用いられるベースV[1]〜V[N2]と異なる。つまり、二種の実施態様両方は、ベースの線の重ね合わせにより第二補正マップを形成する。しかし、各種実施態様は、異なるベースを使用することができる。

方程式eq2aに示されるように、第二係数b[1]〜b[N2]が解かれて、第二目的関数H(B1,V2,I)を最小化する。
argmin H(B1,V2,I) --(eq2a)
^B1
第二目的関数H(B1,V2,I)は、第三費用関数H1(B1,V2,I)と第四費用関数H2(B1,mB)を含む。たとえば、H(B1,V2,I)=H1(B1,V2,I)+H2(B1,mB)である。

以下の方程式eq2bで表されるように、第三費用関数H1(B1,V2,I)は、中間像Iの全画素p(x,y)で重み付けられた第二局所項w2(x,y)*u2(x,y;B1,V2,I)の合計により定式化され、一セット第二候補係数bc[1]〜bc[N2]は、まとめて、入力集合B1として示され、ベースV[1]〜V[N2]は、まとめて、入力集合V2として示される。

以下の方程式eq2cにより記述されるように、各第二局所項u2(x,y;B1,V2,I)は中間像Iの画像に関連し、および、関連画素p(x,y)で、第二準補正補助チャネルCd2’の空間的勾配▽の第ｑ動力ノルムにより定式化される。
U2(x,y;A2,V2,I)=||▽Cd2’(x,y;B1,V2,I)||_p ^q --(eq2c)
準補正補助チャネルCd2’は、中間像Iと準補正マップmc2にしたがって定式化され、それぞれ、一セット入力候補係数bc[1]〜bc[N2]により重み付けられるベースV[1]〜V[N2]の合計により定式化される;すなわち、mc2=(bc[1]*V[1]+...+bc[N2]*V[N2])である。

たとえば、第二準補正補助チャネルCd2’は、第二補助チャネルC2が、色彩比、たとえば、C2=(c2/c0)または(c0/c2)により得られるか、または、対数の色彩比、たとえば、C2=log(c2/c0)やlog(c0/c2)により得られるかに基づいて、Cd2’=Ca2*mc2またはCd2’=(Ca2+mc2)により計算される;カラーチャンネルca2とc2は同一カラーである。注意すべきことは、補助チャネルCa1とCa2は、同じ、または、異なって定義される。たとえば、log(ca1/ca0)により補助チャネルCa1が得られ、(ca2/ca0)または(ca0/ca2)により補助チャネルCa2が得られる。

重み付けタームw1(x,y)の設定と同様に、第二局所項u2(x,y;A2,V2,I)を重み付ける重み付けタームw2(x,y)が第二勾配項G2(x,y)にしたがって決定され、第二勾配項G2(x,y)は、||▽Ca2(x,y)||_p,||▽ca2(x,y)||_pやw1(x,y),等に等しい。

集合B1は、候補係数bc[1]〜bc[N2]をリストするN2×1列ベクトルとして表され、集合mBは、参照係数mb[1]〜mb[N2]をリストする別のN2×1列ベクトルとして表され、よって、第四費用関数H2(B1,mB)は、以下の方程式eq2dにより定式化される。
H2(B1,mB)=Ld2*(B1-mB)^T*Vcd2*(B1-mB) --(eq2d)
式中、Ld2はスカラー平衡係数である。また、ベクトルの差(B2-mB)が、N2×列ベクトルであるとき、Vcd2は、N2×N2正定値、または、非負-定値行列である。集合mBは、先験的情報を示す。たとえば、現在の中間像I(t)の現在の補正マップm2(t)の方程式eq2b〜eq2dにより、係数b[1]〜b[N1]の現在の集合B(t)を計算し、集合mBは、いくつかの前のセット係数の平均、または、加重和、たとえば、B(t-3*dt)、B(t-2*dt)とB(t-1*dt)で、それぞれ用いられて、経過した中間像I(t-3*dt),I(t-2*dt)とI(t-1*dt)の補正マップm2(t-3*dt)、m2(t-2*dt)とm2(t-1*dt)を得る。

ベースV[1]〜V[N2]に対応する係数b[1]〜b[N2]を解くことにより、補正マップm2を計算するのに加え、別の演算が用いられて、補正マップm2を得る。たとえば、補正マップm2は、光源識別、または、補正マップm1のプロパティ(たとえば、ノルム、空間手段、空間変化、空間最大限、最小限、最大限と最小限の比較、空間的ローパスフィルター結果、空間的バンドパスフィルター結果、空間的ハイパスフィルター結果、または、空間的スペクトル等)にしたがって、いくつかの候補補正マップ間で選択することにより得られ、たとえば、プロパティが第一条件(たとえば、第一範囲内)を満たす場合、第一候補補正マップが補正マップm2として選択される。プロパティが第二条件を満たす場合、第二候補補正マップが補正マップm2として選択される。あるいは、補正マップm1のプロパティが第一条件を満たす場合、補正マップm2は、方程式eq2aを解くことにより計算される。補正マップm1のプロパティが第二条件を満たす場合、補正マップm2は、ひとつ以上の候補補正マップから選択される。

補正マップm2=b[1]*V[1]+…+b[N2]*V[N2]の実施態様に加え、別の実施態様において、補正マップm2は、m2=b0*V[0]+b[1]*V[1]+…+b[N2]*V[N2]により示され、一定係数b0により重み付けられる追加ベースV[0]は、一緒に、補正マップm2の構築に用いられる。たとえば、係数b0は、常に、1に等しくなるように設定される。ベースV[0]を重み付ける係数b0は、第二目的関数の最適化に依存しない。

図２と図３の態様において、イメージIscは、ビデオのフルスチール写真、または、フルフレームである。あるいは、イメージIscは、フルフォト、または、フレームの一部(たとえば、中央部分やユーザー定義部分)である。補正されたイメージI’獲得後、補正されたイメージI’が用いられて、フルフォト、または、フレームの一部を訂正する。

図２と図３の上記の実施態様において、局所項u1(x,y;A1,V1)中に採用される(numeric)勾配演算子▽は、重み付けタームw1(x,y)、第二局所項u2(x,y;A2,V2)、および／または、第二重み付けタームw2(x,y)に用いられるものと同じように、または、異なるように定義される。勾配演算子のどれかの各種置換は、隣接する区分したサブブロック、または、画素の空間的変動、統計的分散、空間的差異、局部的ウィンドウ表示領域の空間的スペクトル分析等である。

一実施態様において、オリジナルイメージIscとベースV[1]〜V[N1]、そして、集合mAから得られた情報を除いて、別の先験的情報なしで、ベースV[1]〜V[N1]の係数a[1]〜a[N1]が解かれる。つまり、各係数a[n]は、負の無限大から正の無限大の幅であると推定される。あるいは、ベースV[1]〜V[N1]の係数a[1]〜a[N1]を解くとき、追加の先験的情報が提供される。たとえば、所定幅R[n]が提供されて、各係数a[n]の可能値を提案し、および／または、係数a[1]〜a[N1]の一セット期待値が最初の推測として提供されて、方程式eq1aの最小化は、速く、および／または、正確に(たとえば、極小で捕捉されることなしに)収束することができる。各幅R[n]は、単一有限上限、単一有限下限、または、上限と下限両方を、係数a[n]に提供する。係数a[1]〜a[N1]のひとつ、または、いくつかにとって、付随する幅は、負の無限大から正の無限大に延伸する。同様に、ベースV[1]〜V[N2]の係数b[1]〜b[N1]の方程式eq2aを解き、追加の先験的情報がさらに提供される。

図４は、本発明の一実施態様によるイメージ補正フローチャート１００を示す図である。図２の実施態様を例とすると、フローチャート１００の主な工程は、以下で記述される。

ステップ102:フローチャート１００を開始して、イメージIscを補正する。

ステップ104:複数のベースV[1]〜V[N1]を提供する。

ステップ106:最小化されて、一セット係数a[1]〜a[N1]を解く目的関数U(A1,V1,I)を提供する。目的関数生成は、クロミナンスチャネル変換により、補助チャネルCa1を得るとともに、重み付けマップw1を計算して、重み付けタームw1(x,y)(方程式eq1b)を、中間像Iの各画素p(x,y)に提供する。たとえば、画素p(x,y)の重み付けタームw1(x,y)は、勾配項G1(x,y)にしたがって決定され、勾配項は、中間像Iの画素p(x,y)での、チャネルCa1の空間的勾配に基づいて計算される。一実施態様において、重み付けタームw1(x,y)は、勾配項がスレショルドより小さいかどうかにしたがって、選択的に、二つの異なる常数(たとえば、1または0)に設定される。

ステップ108:方程式eq1aを解くことにより(すなわち、目的関数U(A1,V1,I)を最小化することにより)、複数の係数a[1]〜a[N1]を計算し、各係数a[n]はベースV[n]に関連する。

ステップ110:それぞれ、関連係数a[1]〜a[N1]により重み付けられるベースV[1]〜V[N1]を合計することにより、補正マップm1を生成し、たとえば、m1=(a[1]*V[1]+...+a[N1]*V[N1])である。

ステップ112:補正マップm1にしたがって、イメージIscを補正し、補正されたイメージI’を提供する。たとえば、補助的補正マップmsc1は補正マップm1により生成され、補正された補助チャネルC1’が、補助的補正マップmsc1とチャネルC1にしたがって計算される。チャネルC1が、イメージIscの二個のカラーチャンネルc0とc1間の比率(c1/c0)に等しい色彩比ベースの実施態様において、チャネルC1’がC1’=C1*msc1により計算される。チャネルC1が、対数の比率log(c1/c0)に等しい対数の色彩比ベースの実施態様において、チャネルC1’はC1’=(C1+msc1)により計算される。合成チャネルC1’にしたがって、補正されたカラーチャンネルc1’が構築されて、補正されたイメージI’のカラーチャンネルを形成する。

ステップ114:フローチャート１００を終了する。

図４の実施態様において、単一補正マップm1が得られて、単一補正補助チャネルC1’(および、補正されたカラーチャンネルc1’)を、補正されたイメージI’に提供する。二個の(または、それ以上)の補正された補助チャネル、たとえば、C1’とC2’が利用される別の実施態様において、ステップ106、108と110が二（または、それ以上）回繰り返されて、それぞれ、二個の（または、それ以上の）目的関数U(A1,V1,I)とH(B1,V2,I)(図３)を提供し、二（または、それ以上の）セットの係数a[1]〜a[N1]とb[1]〜b[N2]を獲得し、二個の（または、それ以上の）補正マップm1とm2(および、補助的補正マップmsc1とmsc2)を生成するとともに、ステップ112で、二個の（または、それ以上の）補正された補助チャネルC1’とC2’を計算して、補正されたイメージI’を構築する。あるいは、複数の目的関数が同時に作られ、複数セットの係数が同時に得られる、および／または、複数の補正マップが同時に生成される。

図５は、本発明の一実施態様による画像システム２００を示す図である。画像システム２００は、画像センサー１０、色むら補正器２０、自動ホワイトバランスモジュール(AWB)３０、反転シェーディング装置４０、イメージ信号プロセッサ５０、適応シェーディング補正コントローラー(ＡＳＣ)６０、光学一時的平滑装置７０、光学乗算器８０、および、データベース９２にアクセスするアクセス回路９０を有する。補正器２０、補正コントローラー６０とアクセス回路９０は、画像システム２００中に組み込まれるイメージ補正装置を形成する。装置は、図２または図３に示される実施態様を実施することができる。

画像センサー１０は、色むら補正のために補正器２０に送信される原画像Iscとして、入力イメージを捕捉する。補正器２０は画像センサー１０に結合され、および、補正マップm1にしたがって、中間像Iを補正することにより、補正されたイメージIa’を生成することができ、中間像IはイメージIscに関連する。ＡＷＢ３０は補正器２０に結合され、補正されたイメージIa’で、自動ホワイトバランスを実行して、イメージIw’を提供することができる。イメージ信号プロセッサ５０はＡＷＢ３０に結合され、イメージIw’で、別の必要なイメージ処理を実行して、スクリーン(図示しない)で表示するイメージ出力を生成することができる。反転シェーディング装置４０もＡＷＢ３０に結合されるとともに、イメージIw’で、反転色むら補正を実行して、オリジナルの中間像Iを再保存することができ、たとえば、イメージIw’は、すでに、補正器２０により色むら補正されているので、出力Iw’で、反転補正マップを適用する。

アクセス回路９０は補正コントローラー６０に結合され、複数のベースV[1]〜V[N1]を獲得することができ、各ベースV[n]は、基本補正値V[n](x,y)を、イメージIの各画素p(x,y)に提供することができる。たとえば、ベースV[1]〜V[N1]を含む複数のベースV[.]は、非揮発性データベース９２(たとえば、ROM,EEPROMやフラッシュメモリ)に保存されるか、または、揮発性データベース９２(たとえば、SRAMやDRAM)にロードされるとともに、アクセス回路９０は、データベース９２を読み取り、ベースを獲得することができる。補正コントローラー６０は、反転シェーディング装置４０とアクセス回路９０に結合されるとともに、中間像IとベースV[1]〜V[N1]にしたがって、係数a[1]〜a[N1]を計算し、および、それぞれ、係数a[1]〜a[N1]により重み付けられるベースV[1]〜V[N1]を合計することにより補正マップm1を生成することができる。

色彩比ベースの実施態様で用いられるベースV[1]〜V[N]は、対数の色彩比ベースの実施態様で用いられるベースV[1]〜V[N]と異なる。つまり、二種の実施態様両方は、ベースの線の重ね合わせにより、補正マップを形成する。しかし、各種実施態様は、異なるベースを使用することができる。

一時的平滑装置７０は、補正コントローラー６０に結合され、一時的に急速に、補正マップを変化させると、イメージ信号プロセッサ５０の出力イメージでちらつきを生じるので、補正マップm1で、一時的平滑化を実行し、補正マップm1が、短時間で大幅に変化するのを防止することができる。たとえば、現在のイメージに生成される現在の補正マップは、重み付けられた前のイメージに生成された前の補正マップにより平均化される。乗算器８０は、補正コントローラー６０と補正器２０間に結合され、補正コントローラー６０により提供される補正マップで、ルマゲイン(luma gain)を増大することができる。一時的平滑装置７０と乗算器８０のひとつ、または、両方は省略される。一時的平滑装置７０は、方程式eq1d中の第二(および／または第四)費用関数U2(A1,mA)(および／または、方程式eq2c中のH2(B1,mB))を実行(またはサポート)する。

色むら補正において、補正コントローラー６０は、さらに、イメージIscのカラーチャンネルにしたがって、補助チャネルC1を計算することができるとともに、補正器２０が設置されて、補正マップm1と補助チャネルC1にしたがって、補正された補助チャネルC1’を計算する、および、補正された補助チャネルC1’にしたがって、補正されたイメージI’の補正されたカラーチャンネルc1’を構築することにより、補正されたイメージI’を提供する。

色彩比ベースの実施態様を実施するため、補正コントローラー６０は、イメージIscのカラーチャンネルc1を、イメージIscの別のカラーチャンネルc0で割ることにより、補助チャネルC1を計算することができ、および、補正器２０は、補助チャネルC1と、補助的補正マップmsc1を掛けることにより、補正された補助チャネルC1’を計算することができ、および、カラーチャンネルc0’と、補正された補助チャネルC1’を掛けることにより、補正されたカラーチャンネルc1’を構築することができる。

対数の色彩比ベースの実施態様を実施するため、補正コントローラー６０は、イメージIscのカラーチャンネルc1を、イメージIscの別のカラーチャンネルc0で割った比率の対数を利用することにより、補助チャネルC1を計算することができる。補正器２０は、補助チャネルC1と補助的補正マップmsc1を合計することにより、補正された補助チャネルC1’を計算することができるとともに、カラーチャンネルc0’と、前記補正された補助チャネルC1’の逆対数を掛けることにより、補正されたカラーチャンネルc1’を構築することができる。

必要ならば、画像システム２００は、図３の例に示されるマルチ-チャネル補正スキームを導入する。補正マップm1を生成する係数a[1]〜a[N1]に加え、補正コントローラー６０はさらに、中間像Iとベース、たとえば、ベースV[1]〜V[N2]の追加セットの係数b[1]〜b[N2]にしたがって、別のセット係数を計算することができ、および、それぞれ、関連するセット係数により重み付けられるベースを合計することにより、追加の補正マップを生成することができ、たとえば、b[1]*V[1]〜b[N2]*V[N2]を合計することにより、補正マップm2を生成する。したがって、補正器２０は、複数の補正マップ、たとえば、補正マップm1とm2にしたがって、補正されたイメージI’を提供することができる。アクセス回路９０は、異なるセット係数の関連するベースを読み取ることができ、たとえば、係数b[1]〜b[N2]のベースV[1]〜V[N2]を得る。

補助チャネルC1と補正された補助チャネルC1’に加え、補正コントローラー６０は、さらに、イメージIscのカラーチャンネルにしたがって、別の補助チャネル、たとえば、補助チャネルC2を計算することができる。したがって、補正器２０は、それぞれ、関連する補正マップ(たとえば、m1とm2)と補助チャネル(たとえば、C1とC2)にしたがって、複数の補正された補助チャネル(たとえば、C1’とC2’)を計算する、および、補正された補助チャネルにしたがって、補正されたイメージI’の複数の補正されたカラーチャンネル(たとえば、c1’とc2’)を構築することにより、補正されたイメージI’を提供することができる。

図２と図３に示されるように、補正コントローラー６０は、候補係数、中間像I、および、ベース(まとめて、集合V1)の集合A1を入力として受信する目的関数U(A1,V1,I)を最小化することにより、係数a[1]〜a[N1]を解くことができる。

データベース９２において、ひとつ、いくつか、または、すべてのベースV[.]が二次元のマトリクスとして保存され、ひとつ、いくつか、または、すべてのベースV[.]は、圧縮されて、データベース９２に保存される。圧縮されたベース(ベース)において、アクセス回路９０、または、補正コントローラー６０は、圧縮されたベース(ベース)を解凍することができる。

図５の実施態様において、補正コントローラー６０が、ＡＷＢ３０により提供されるイメージIの役に立つ情報(たとえば、統計値)を活用するので、補正コントローラー６０は、ＡＷＢ３０後方に設置される。

強調すべきことは、同一の製造バッチ、または、同一設計の異なるユニット(画像システム)、または、異なる設計(たとえば、光学モジュール、センサーと関連回路の異なる組み合わせ)の異なる画像システムさえも、同セットベースV[.]を利用して、異なる光源下で捕捉されたイメージを捕捉することである。異なる光源下で、異なる画像システムにより捕捉されるイメージは異なる補正マップが必要であるが、異なるセット係数が、同セットベースV[.]で適用されて、異なる補正マップを計算し、設計、組み立て、製造、および／または光源による変化を動的に適応させる。

たとえば、二個の異なる光源下で、同じ画像システムが二イメージを捕捉する場合、二セット係数a[1]〜a[N1]が得られて、それぞれ、同セットベースV[1]〜V[N1]を有する二個の補正マップm1を生成し、それぞれ、二イメージを捕捉する。同様に、二個の画像システムは、それら自身のセット係数a[1]〜a[N1]を適用して、それぞれ、同セットベースV[1]〜V[N1]それら自身の補正マップを生成し、それぞれ、二個の画像システムにより捕捉されるイメージを補正する。さらに、図３の例に示されるように、同セットベース(または、同セットベースから選択される異なるサブセット)も利用されて、複数の補正マップを生成し、同一イメージの複数のカラーチャンネルを補正する。

まず、複数のサンプル補正マップを収集することにより、ベースV[.]が得られ、その後、サンプル補正マップに、寸法減少を適用する。各種光源下で、サンプル補正マップは、実験的に、各種ユニット(画像システム)により捕捉されるイメージを測定することにより得られる補正マップを調整する。寸法減少の適用後、一セットベースが架けられている部分空間が築かれ、すなわち、ベースは、直線的に対生で、任意のサンプル補正マップを合成する(または、許容誤差内、近似)。これにより、ベースが採用されて、図２と図３の実施態様を実施する。寸法減少技術は、離散余弦変換、ウェーブレット変換、主成分分析、汎用の主成分分析、独立成分分析、または、スパース表現などである。

図５に示される画像システム２００は、画像センサー１０を有して、オリジナルイメージIを提供するが、本発明は、一般に、補正されるイメージIscが、ストレージ媒体、および／または、ネットワーク等から受信される任意のイメージ処理システムに適用することができる。

図２〜図５中に示される実施態様は、係数-重み付けベースにより、補正マップを合成することを目標としているが、合成されたものは、オリジナルイメージIの非均一性(減退パターン)、たとえば、図１に示される緑色チャネル非均一性でもよい。注意すべきことは、減退パターンと補正マップは、ひとつからもうひとつへ生成されることである。よって、同等に扱われ、交互に用いられるべきである。つまり、イメージのアーチファクトの補正は、一(または複数)セットの係数を見つけて、イメージの一(または、複数)減退パターンを合成し、それに応じて、減退パターンの減衰を補償することができる一(または、複数)補正マップを計算し、その後、オリジナルイメージを補正する工程を含む。

要約すれば、異なる画像システムのいたるところで同セットベースをシェアすることにより、各画像システムの、高価で、繰り返しの、時間のかかる、リソースを大量に消費する、および、技術的に満足のいかない個々の校正はもはや不要である(または、非常に簡潔化される)。組み立て、製造、および、光源による変化は、適応的、且つ、効果的に、関連係数を動的に解決することにより克服される。これにより、本発明は、イメージ品質を向上させ、画像システムのコストを減少させることができる。

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の精神と領域を脱しない範囲内で各種の変動や潤色を加えることができ、従って本発明の保護範囲は、特許請求の範囲で指定した内容を基準とする。

I：中間像
I'，Ia’：補正されたイメージ
Isc：イメージ
Iw'：イメージ
m1、m2：補正マップ
msc1：補助的補正マップ
V[.]、V[1]〜V[N1]、V[1]〜V[N2]：ベース
a[1]〜a[N1]：係数
10：画像センサー
20：色むら補正器
30：自動ホワイトバランスモジュール(AWB)
40：反転シェーディング装置
50：イメージ信号プロセッサ
60：適応シェーディング補正コントローラー(ＡＳＣ)
70：光学一時的平滑装置
80：光学乗算器
90：アクセス回路
92：データベース
100：フローチャート
102〜114：工程
200：画像システム

Claims (38)

1. 画像システムにより提供されるイメージのアーチファクトを補正する方法であって、
   それぞれが、基本補正値を、前記イメージに関連する中間像の各画素に提供することができる複数のベースを提供する工程と、
   前記中間像および前記複数のベースにしたがって、複数の係数を計算する工程とを含み、各係数が、前記複数のベースのうちのひとつと関連しており、さらに
   前記複数の係数によって前記複数のベースを重み付けること、および、重み付けられた前記複数のベースを合計することをそれぞれ実行することにより、補正マップを生成する工程と、
   前記補正マップにしたがって、前記イメージを補正することにより、補正されたイメージを提供する工程と、
   を含むことを特徴とする方法。
2. さらに、
   前記イメージのカラーチャンネルにしたがって、補助チャネルを計算する工程、を含み、
   前記補正されたイメージを提供する工程は、
   前記補正マップと前記補助チャネルにしたがって、補正された補助チャネルを計算する工程、および、
   前記補正された補助チャネルにしたがって、前記補正されたイメージの補正されたカラーチャンネルを構築する工程、
   を含むことを特徴とする請求項１に記載の方法。
3. 前記補助チャネルは、前記イメージの参照カラーチャンネルにより、前記イメージの所定カラーチャンネルを割ることにより計算されることを特徴とする請求項２に記載の方法。
4. 前記参照カラーチャンネルは前記イメージの緑色カラーチャンネル、前記所定のカラーチャンネルは、前記イメージの赤色カラーチャンネル、または、青色カラーチャンネルであることを特徴とする請求項３に記載の方法。
5. さらに、
   前記補正マップにしたがって、補助的補正マップを提供する工程、を含み、
   前記補正された補助チャネルは、前記補助チャネルと、前記補助的補正マップを掛けることにより計算されることを特徴とする請求項２に記載の方法。
6. 前記補正マップと前記補助的補正マップは異なる寸法であることを特徴とする請求項５に記載の方法。
7. 前記補正されたイメージの前記補正されたカラーチャンネルを構築する工程は、
   前記イメージの参照カラーチャンネルと、前記補正された補助チャネルを掛ける工程を含むことを特徴とする請求項２に記載の方法。
8. 前記参照カラーチャンネルは前記イメージの緑色カラーチャンネル、前記補正されたカラーチャンネルは、前記補正されたイメージの赤色カラーチャンネル、または、青色カラーチャンネルであることを特徴とする請求項７に記載の方法。
9. 前記補助チャネルは、前記イメージの所定カラーチャンネルを、前記イメージの参照カラーチャンネルにより割る比率の対数を利用することにより計算されることを特徴とする請求項２に記載の方法。
10. 前記参照カラーチャンネルは前記イメージの緑色カラーチャンネル、前記所定のカラーチャンネルは、前記イメージの赤色カラーチャンネル、または、青色カラーチャンネルであることを特徴とする請求項９に記載の方法。
11. さらに、
    前記補正マップにしたがって、補助的補正マップを提供する工程、を含み、
    前記補正された補助チャネルは、前記補助チャネルと前記補助的補正マップを合計することにより計算されることを特徴とする請求項２に記載の方法。
12. 前記補正マップと前記補助的補正マップは異なる寸法であることを特徴とする請求項１１に記載の方法。
13. 前記補正されたイメージの前記補正されたカラーチャンネルを構築する工程は、
    前記イメージの参照カラーチャンネルと、前記補正された補助チャネルの逆対数を掛ける工程を含むことを特徴とする請求項２に記載の方法。
14. 前記参照カラーチャンネルは前記イメージの緑色カラーチャンネル、前記補正されたカラーチャンネルは、前記補正されたイメージの赤色カラーチャンネル、または、青色カラーチャンネルであることを特徴とする請求項１３に記載の方法。
15. さらに、
    前記イメージと前記ベースにしたがって、複数の第二係数を計算し、各第二係数が、前記ベースのひとつと関連する工程と、
    それぞれ、前記第二係数により重み付けられる前記ベースを合計することにより、第二補正マップを生成する工程と、
    さらに、前記第二補正マップにしたがって、前記補正されたイメージを提供する工程と、
    を含むことを特徴とする請求項１に記載の方法。
16. さらに、
    前記イメージのカラーチャンネルにしたがって、第二補助チャネルを計算する工程、を含み、
    前記補正されたイメージを提供する工程は、さらに、
    前記第二補正マップと前記第二補助チャネルにしたがって、補正された第二補助チャネルを計算する工程と、
    前記補正された第二補助チャネルにしたがって、前記補正されたイメージの補正された第二カラーチャンネルを構築する工程と、
    を含むことを特徴とする請求項１５に記載の方法。
17. 前記補正されたイメージを提供する工程は、
    同一カラーの前記イメージのカラーチャンネルと、前記補正マップにしたがって提供される補助的補正マップを掛けることにより、前記補正されたイメージのカラーチャンネルを構築する工程を含むことを特徴とする請求項１に記載の方法。
18. 前記補正されたイメージを提供する工程は、
    同一カラーの前記イメージのカラーチャンネルと、前記補正マップに従って提供される補助的補正マップの逆対数を掛けることにより、前記補正されたイメージのカラーチャンネルを構築する工程を含むことを特徴とする請求項１に記載の方法。
19. 前記係数が解かれて、前記係数は、複数の候補係数、前記中間像、および、前記ベースを入力として受信する目的関数を最小化することを特徴とする請求項１に記載の方法。
20. 前記目的関数は第一費用関数を有し、重み付けされた局所項の合計により、前記第一費用関数が定式化され、および、
    各局所項は、前記中間像の画素に関連し、前記関連画素で、準補正補助チャネルの空間的勾配の動力ノルムにより定式化され、および、
    前記中間像、および、それぞれ、前記候補係数により重み付けられた前記ベースの合計により定式化される準補正マップにしたがって、前記準補正補助チャネルが定式化されることを特徴とする請求項１９に記載の方法。
21. 前記目的関数は、前記複数の候補係数と複数の参照係数間の差異を示す第二費用関数を含むことを特徴とする請求項１９に記載の方法。
22. 画像システムにより提供されるイメージのアーチファクトを補正する装置であって、
    複数のベースを獲得するアクセス回路を有し、各ベースが、基本補正値を前記イメージの各画素に提供することができ、さらに
    前記アクセス回路に結合された補正コントローラーを有し、
    前記補正コントローラーが、前記イメージおよび前記複数のベースにしたがって、複数の係数を計算し、各係数が前記複数のベースのうちのひとつに関連しており、さらに
    前記補正コントローラーが、関連している前記複数の係数によって前記複数のベースを重み付けること、および、重み付けられた前記複数のベースを合計することをそれぞれ実行することにより、補正マップを生成し、さらに
    前記補正コントローラーに結合された補正器を有し、前記補正器が、前記補正マップにしたがって、前記イメージを補正することにより、補正されたイメージを提供することを特徴とする装置。
23. 前記補正コントローラーは、さらに、前記イメージのカラーチャンネルにしたがって、補助チャネルを計算することができ、および、前記補正器が設置されて、
    前記補正マップと前記補助チャネルにしたがって、補正された補助チャネルを計算する、および、
    前記補正された補助チャネルにしたがって、前記補正されたイメージの補正されたカラーチャンネルを構築することにより、
    前記補正されたイメージを提供することを特徴とする請求項２２に記載の装置。
24. 前記補正コントローラーが設置されて、前記イメージの所定カラーチャンネルを、前記イメージの参照カラーチャンネルで割ることにより、前記補助チャネルを計算することを特徴とする請求項２３に記載の装置。
25. 前記補正器が設置されて、前記補助チャネルと、前記補正マップにしたがって提供される補助的補正マップを掛けることにより、前記補正された補助チャネルを計算することを特徴とする請求項２３に記載の装置。
26. 前記補正器が設置されて、前記イメージの参照カラーチャンネルと、前記補正された補助チャネルを掛けることにより、前記補正されたカラーチャンネルを構築することを特徴とする請求項２３に記載の装置。
27. 前記補正コントローラーが設置されて、前記イメージの所定カラーチャンネルを、前記イメージの参照カラーチャンネルで割った比率の対数を利用することにより、前記補助チャネルを計算することを特徴とする請求項２３に記載の装置。
28. 前記補正器が設置されて、前記補助チャネルと、前記補正マップにしたがって提供される補助的補正マップを合計することにより、前記補正された補助チャネルを計算することを特徴とする請求項２３に記載の装置。
29. 前記補正器が設置されて、前記イメージの参照カラーチャンネルと、前記補正された補助チャネルの逆対数を掛けることにより、前記補正されたカラーチャンネルを構築することを特徴とする請求項２３に記載の装置。
30. 前記補正コントローラーは、さらに、
    前記イメージと前記ベースにしたがって、複数の第二係数を計算し、各第二係数が前記ベースのひとつと関連する、および、
    それぞれ、前記関連する第二係数により重み付けられる前記ベースを合計することにより、第二補正マップを生成する、および、
    前記補正器が設置されて、さらに、前記第二補正マップにしたがって、前記補正されたイメージを提供することができることを特徴とする請求項２２に記載の装置。
31. 前記補正コントローラーは、さらに、前記イメージのカラーチャンネルにしたがって、第二補助チャネルを計算する、および、前記補正器が設置されて、
    前記第二補正マップと前記第二補助チャネルにしたがって、補正された第二補助チャネルを計算する、および、
    前記補正された第二補助チャネルにしたがって、前記補正されたイメージの補正された第二カラーチャンネルを構築することにより、前記補正されたイメージを提供することができることを特徴とする請求項３０に記載の装置。
32. 前記補正コントローラーが設置されて、複数の候補係数、中間像、および、前記ベースを入力として受信する目的関数を最小化することにより前記係数を解き、前記中間像は前記イメージに関連することを特徴とする請求項２２に記載の装置。
33. 前記目的関数は、重み付けされた局所項の合計により定式化される第一費用関数を含み、
    各局所項は前記中間像の画素に関連し、前記関連画素で、準補正補助チャネルの空間的勾配の動力ノルムにより定式化され、
    前記中間像、および、それぞれ、前記候補係数により重み付けられる前記ベースの合計により定式化される準補正マップにしたがって、前記準補正補助チャネルが定式化されることを特徴とする請求項３２に記載の装置。
34. 補助チャネルと前記準補正マップの生成により、前記準補正補助チャネルが定式化される;前記補助チャネルは、前記中間像のカラーチャンネルにしたがって計算されることを特徴とする請求項３３に記載の装置。
35. 補助チャネルと準補正マップの合計により、前記準補正補助チャネルが定式化される;前記補助チャネルは、前記中間像のカラーチャンネルにしたがって計算されることを特徴とする請求項３３に記載の装置。
36. 前記重み付けされた局所項は、勾配項に従って決定される重み付けタームにより重み付けられるとともに、前記勾配項は、各局所項の前記関連画素で、前記補助チャネルの空間的勾配に基づいて計算されることを特徴とする請求項３３に記載の装置。
37. 前記重み付けタームは、前記勾配項がスレショルドより低いかどうかにしたがって、選択的に、二つの異なる常数に設定されることを特徴とする請求項３６に記載の装置。
38. 前記目的関数は、前記複数の候補係数と複数の参照係数間の差異を示す第二費用関数を含むことを特徴とする請求項３２に記載の装置。

Images