JP6054585B2 - 動的カラーシェーディング補正 - Google Patents

動的カラーシェーディング補正 Download PDF

Info

Publication number
JP6054585B2
JP6054585B2 JP2016526184A JP2016526184A JP6054585B2 JP 6054585 B2 JP6054585 B2 JP 6054585B2 JP 2016526184 A JP2016526184 A JP 2016526184A JP 2016526184 A JP2016526184 A JP 2016526184A JP 6054585 B2 JP6054585 B2 JP 6054585B2
Authority
JP
Japan
Prior art keywords
color shading
color
component
shading
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016526184A
Other languages
English (en)
Other versions
JP2016525309A (ja
Inventor
スー、シャンバオ
ジャン、シャオユン
シッディクイ、ハシブ・アーメド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016525309A publication Critical patent/JP2016525309A/ja
Application granted granted Critical
Publication of JP6054585B2 publication Critical patent/JP6054585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

[0001] 本明細書で開示するシステムおよび方法は、一般に画像キャプチャデバイスに関し、より詳細には、キャプチャされた画像中のカラーひずみを補正する(correcting)ことに関する。
[0002] デジタルカメラを使用してキャプチャされた画像は、キャプチャされた写真の品質を損ない得る輝度およびカラーシェーディングひずみ(shading distortions)を受ける。輝度シェーディングは、けられ(vignetting)としても知られ、エッジの付近で画像を暗くさせる光学システムで伝達される光の量の位置依存性減少である。フィルムとデジタルカメラの両方に影響を及ぼすけられは、光学システムによってレンズ視野（ＦＯＶ：field-of-view)の周辺の近くに伝達される光の量の減少を指し、エッジにおける画像を緩やかに暗くさせる。けられは、カメラのレンズロールオフひずみ関数を較正することによって効果的に修正され得る。
[0003] カラーシェーディングは、効果が似ており、センサーのエッジの近くの色のシフトとして現れる。カラーシェーディングひずみはデジタルカメラに固有である。一般的な電荷結合デバイス（ＣＣＤ：charge-coupled device）または相補型金属酸化物半導体（ＣＭＯＳ：complementary metal-oxide-semiconductor）センサーのスペクトル感度は、可視光のスペクトルの青色端部でよりもスペクトルの赤色端部で高く、また、近赤外（ＩＲ）スペクトルに大幅に延びる。ＩＲ光に対するそのようなセンサーの比較的高い感度は色再現における誤差をもたらし得る。従って、たいていのデジタルセンサーにおいて、ＩＲ感度は、可視光を通しながら赤外波長を阻止するセンサーの表面における薄膜反射ＩＲフィルタによって制限される。しかしながら、フィルタに入射する光の角度が増加するにつれて、ＩＲフィルタの透過率(transmittance)がより短い方の波長にシフトする。従って、（赤色光などの）より長い方の波長は、より大きい入射光線角度により、画像センサーのエッジでより多く阻止され、その結果、画像中において空間的に非一様な色温度が生じ得る。
[0004] 従来、カラーシェーディングアーティファクトは、光源(illuminant)のセット中の各光源の下で画像キャプチャデバイスによってキャプチャされたフラットフィールドシーンの画像から、そのセットの下で個々の画像キャプチャデバイスのカラーシェーディングプロファイルを測定する、ユニットごとの較正によって補正される。各光源の下でのカラーシェーディングの逆の２次元プロファイルは、画像キャプチャデバイスによってキャプチャされた画像中のカラーシェーディングアーティファクトを補償するために補正テーブルとして記憶される。画像をキャプチャするとき、画像キャプチャデバイスは、最初に、センサー上のキャプチャされたデータからシーン光源を検出するためにホワイトバランスアルゴリズムを採用し、次いで、カラーシェーディングひずみを補償するために、対応する補正テーブルを選択する。
[0005] キャプチャされた画像中のカラーシェーディングアーティファクトは画像の品質を劣化させ得る。しかしながら、カラーシェーディングアーティファクトを補正するための既存の方法は、複雑で、計算コストが高く、センサー依存性であり、複数の照明光源をもつシーン、反射によって入射光の波長を変化させる表面を有するオブジェクトをもつシーン、または対応する事前計算された補正テーブルを有しない照明光源をもつシーン中のカラーシェーディングアーティファクトを正確に補正しない。従って、本明細書で説明するカラーシェーディング補正技法は、任意の画像センサーのためにオンザフライで計算され、画像シーンの照明光源タイプ、並びにキャプチャされた画像中のオブジェクトに基づき得る。
[0006] 要因の中でも、けられおよびカラーシェーディングアーティファクトの重大さは、イメージングセンサーに当たる光の主光線角度（ＣＲＡ：chief ray angle）に依存し得る。この要因により、コンパクトカメラにおける広角レンズ設計はシェーディングひずみをより受けやすくなり得る。けられは、光学システムの較正を使用して比較的容易に修正され得るが、カラーシェーディングは、主に、センサー上の赤外線（ＩＲ）反射フィルタとの光の入射角の相互作用によって生じるより複雑な現象である。カラーシェーディングは、シーン光源のスペクトル、並びに画像化されているオブジェクトの表面反射率に依存し、従って、事前較正(pre-calibration)技法を使用してロバストに修正されないことがある。
[0007] いくつかの要因が画像中のカラーシェーディングアーティファクトの原因となり得る。不要な赤外光が画像センサーによってキャプチャされるのを阻止するために使用される赤外線フィルタは、一般に、選択された波長で急峻なカットオフを有する。しかしながら、カットオフが生じる波長は入射光線の入射角に応じて変化する。例えば、一般的な薄膜反射ＩＲフィルタのカットオフ波長は、センサーに到達する光の角度の関数であり、光の入射角の増加とともにスペクトルの青端部に向かって単調にシフトする。従って、レンズの主光線角度（ＣＲＡ）がより大きいカメラ視野（ＦＯＶ）のエッジに向かって、ＩＲフィルタはＦＯＶの中心よりも多くの赤色光をカットアウトする。従って、反射ＩＲフィルタを装備したイメージングセンサーの応答は空間的に非一様であり、その結果、キャプチャされた画像中に視覚的に不愉快なカラーシェーディングが生じる。コンパクトな、広角光学システム、例えばモバイルフォンにおけるイメージングデバイスの場合、カラーシェーディングは一般によりひどい。比較的広角なレンズに結合された、モバイルフォンにおいて使用されるカメラモジュールのコンパクトなサイズは、レンズが画像センサーに極めて近く、従って、画像のコーナーおよびエッジで極めて急峻になることがある角度で光を受けることを意味する。その結果は、画像にわたる色応答の有意な変動である。さらに、他の物理的現象、例えば、レンズけられ、ＣＲＡに対する光空間クロストークの依存、および入射光子の波長に対するピクセル量子効率の依存もカラーシェーディングアーティファクトの原因となり得る。
[0008] いくつかの事例において有効であるにもかかわらず、上記で説明したこのユニットごとの較正の方法はロバストなソリューションを提供できない。例えば、異なる波長スペクトルをもつ可能な光源の数に大きい変化があるので、全ての可能な光源の下でのカラーシェーディング補正テーブルの較正は、コストがかかり、時間非効率的になる。全ての可能な光源の下でのシェーディングを補償するために画像キャプチャデバイスが較正された場合でも、キャプチャされたシーン統計値(scene statistic)に対してホワイトバランス分析を行うことによって決定される光源分類は不正確であり得る。間違ったホワイトバランス決定により、カラーシェーディングを補償するための不正確な補正テーブルの選択が生じ得、不正確な補正テーブルはシェーディングアーティファクトの部分補正のみを行い得る。さらに、ユニットごとの較正補正の方法は、混合照明状態で正常に動作することが可能でない。さらに、事前較正されたユニットごとの補正テーブルは、較正されたセンサーに対して、およびそれらのシェーディング特性における較正されたセンサーの基準からあまり逸脱しない他のセンサーに対してのみ正確である。さらに、カラーシェーディングは、光源並びに照明されているオブジェクトの波長スペクトルの関数であるので、事前較正されたテーブルは、事前較正されたテーブルを用いたシェーディング補正が光源スペクトルに対するシェーディング特性の依存のみを考慮するので、極めて正確な補正を行わないことがある。最後に、ＩＲフィルタがセンサーに対して取り付けられる正確な角度は製造機械公差(manufacturing mechanical tolerance)の広がりに左右され、デバイス間で変化する、中心を外れたシェーディングに潜在的につながる。従って、事前較正されたテーブルは、製造によりデバイス中で実際に生じているものとは異なるシェーディングのための中心ロケーションを仮定し得るので、事前較正されたテーブルは正確な補正を行わないことがある
[0009] 一態様は、キャプチャされた画像中のカラーシェーディングアーティファクトを補正するための電子デバイスにおける方法に関し、本方法は、キャプチャされた画像とシーン統計値とを備える画像データを受信することと、シーン統計値が、キャプチャされた画像のダウンサンプリングされたバージョンを備える、参照テーブルにアクセスすることと、ここにおいて、参照テーブルが、一般的な照明の下で参照モジュールに対して較正されたシェーディング補正データを備える、参照テーブルを使用してシーン統計値中のカラーシェーディングを補正することと、補正されたシーン統計値中のカラーシェーディングを推定することと、推定されたカラーシェーディングに基づいて参照テーブルを更新することと、更新された参照テーブルを使用して、キャプチャされた画像中のカラーシェーディングを補正することとを備える。
[0010] 別の態様は、参照テーブルを記憶するように構成される補正テーブルデータリポジトリ(correction table data repository)と、ここにおいて、参照テーブルが、一般的な照明の下で参照モジュールに対して較正されたシェーディング補正データを備える、キャプチャされた画像とシーン統計値とを備える画像データを受信することと、シーン統計値が、キャプチャされた画像のダウンサンプリングされたバージョンを備える、参照テーブルを使用してシーン統計値に対して予備カラーシェーディング補正を行うこととを行うように構成される初期カラーシェーディング補正モジュールと、シーン統計値中のカラーシェーディングを推定するように構成されるカラーシェーディング推定モジュールと、参照テーブルおよび推定されたカラーシェーディングから、更新されたテーブルを生成するように構成されるテーブル更新モジュールと、更新されたテーブルを使用して画像データ中のカラーシェーディングアーティファクトを補正するように構成されるカラーシェーディング補正モジュールとを備える、動的カラーシェーディング補正装置に関する
[0011] 別の態様は、キャプチャされた画像のシーン統計値から複数の色相成分(hue component)を取得することと、ここにおいて、シーン統計値が、キャプチャされた画像のダウンサンプリングされたバージョンを表す、カラーシェーディング成分値と固有カラー成分値とを求める反復問題(iterative problem)を初期化することと、反復問題の第１の反復を行うことと、カラーシェーディング成分値(color shading component value)と固有カラー成分値(intrinsic color component value)とが収束したかどうかを決定することと、カラーシェーディング成分値と固有カラー成分値とが収束しなかった場合、反復問題の追加の反復を行い、カラーシェーディング成分値と固有カラー成分値とが収束した場合、カラーシェーディング成分を出力することとを備える、反復カラーシェーディング推定プロセスに関する。
[0012] 別の態様は、キャプチャされた画像のシーン統計値から複数の色相成分を取得することと、ここにおいて、シーン統計値が、キャプチャされた画像のダウンサンプリングされたバージョンを表す、シーン統計値の少なくとも１つの色相成分からカラーシェーディング成分の複数の部分勾配を直接検出することと、複数の部分勾配からカラーシェーディング成分を再構成することとを備える、アグレッシブカラーシェーディング推定プロセスに関する。
[0013] 開示の態様が、同様の指示が同様の要素を示しこの開示の態様を限定でなく例示するために与えられる添付の図面および付属書類と一緒に以下に説明される。
異なる主光線角度でフィルタに入射する光の一例を示す図である。 図１Ａに示された入射角に基づくフィルタを通る光の透過率の例示的なシフトを示す図である。 図１Ｂに示された透過率シフトから生じるキャプチャされた画像の空間色非一様性のグレースケール近似を示す図である。 動的カラーシェーディング補正機能をもつ例示的なシステムの概略ブロック図である。 動的カラーシェーディング補正器の一実施形態の概略ブロック図である。 動的カラーシェーディング補正プロセスの一実施形態を示す図である。 カラーシェーディング推定プロセスの一実施形態を示す図である。
序論
[0021] 実施形態は、キャプチャされたデジタル画像中のカラーシェーディングを補正するためのシステムおよび方法に関する。本明細書で説明するカラーシェーディング補正技法は、キャプチャされた画像のシーン統計値から、キャプチャされた画像のカラーシェーディングをオンザフライで推定でき、カラーシェーディング補正のために、推定されたシェーディングを使用できる、動的カラーシェーディング補正（ＤＣＳＣ：dynamic color shading correction）のためのフレームワークを提供する。ＤＣＳＣフレームワークは、勾配領域におけるそれのユニークな特性、例えば、カラーシェーディング成分が、一般に緩やかに変化する関数であるという特性によって、実際の画像コンテンツからカラーシェーディング成分を分離するために、カラーシェーディング推定方法を使用できる。ＤＣＳＣ技法は、シーン光源または表面反射率にかかわらず、キャプチャされた画像中の色非一様性を正確に補償するために、事前較正されたカラーシェーディング補正テーブルを更新するために、カラーシェーディング推定を使用できる。更新されたカラーシェーディング補正テーブルが、キャプチャされた画像中の推定されたカラーシェーディングからオンザフライで生成されるので、ＤＣＳＣフレームワークは、シーン光源が、事前較正された補正テーブル中に含まれると仮定せず、シーン光源の検出を試みるためにホワイトバランスアルゴリズムに依拠せず、従って、キャプチャされた画像中の特定の色非一様性を正確に補正できる。ＤＣＳＣ技法は、計算効率が良く、リアルタイムでカラーシェーディング補正を行うことができ、いくつかの実施形態において、モバイルデバイス上に実装されるとき、効率的におよびリアルタイムで動作する。
[0022] カラーシェーディング補正技法の一実施形態は、キャプチャされた画像中の色一様性(color uniformity)の欠如を動的に補償するために、空間的に異なるカラーチャネル依存利得を画像ピクセルに適用し得る。一般に、画像中心からより遠くに離れたピクセルはより大きい利得を乗算され、画像中心にあるピクセルは単位利得を得る。画像中のカラーシェーディングひずみの２次元プロファイルは、センサーに到達する光量子の実際の波長に依存し、従って、シーン光源だけでなく、画像化されているオブジェクトの表面反射率にも依存する。従って、画像中のカラーシェーディングアーティファクトを補正するために使用される補正利得は、画像シーン光源または画像シーンコンテンツのいずれかの変化に応答して更新されるべきである。一般的な照明の下で参照デバイスに対して較正された、事前計算された補正テーブルを用いた一実施形態が提供される。
[0023] 以下の説明では、具体的な詳細が例の完全な理解を与えるために与えられる。ただし、例はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。例えば、例を不必要な詳細において不明瞭にしないために、電気的構成要素／デバイスをブロック図で示すことがある。他の事例では、そのような構成要素、他の構造および技法が、さらに例を説明するために詳しく示されることがある。
[0024] また、例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明されることがあることに留意されたい。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くは並列にまたは同時に行われ得、プロセスは繰り返され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、それの動作が完了したときに終了する。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェア関数に対応するとき、それの終了は呼出し関数またはメイン関数への関数の復帰に対応する。
カラーシェーディングの概観
[0025] 図１Ａに、異なる主光線角度でフィルタ１０８に入射する光の一例を示す。フィルタ１０８は画像センサー１１０の上に配置される。説明のために、光線１０２Ａは、フィルタ１０８に対して実質的に垂直であるものとして示され、光線１０４Ａは、光線１０２Ａよりも大きい入射角を有し、光線１０６Ａは、光線１０４Ａよりも大きい入射角を有する。波長１０２Ｂ、１０４Ｂ、１０６Ｂのグラフィカル表現は、入射角が増加するにつれて、センサー１１０に到るフィルタ１０８を透過した光のスペクトルがどのようにより短い波長に向かってシフトするかを示す。
[0026] 図１Ｂに、図１Ａに示された入射角に基づく、波長に応じたフィルタを通る光の透過率の例示的なシフトを示す。透過率スペクトル１１２は、フィルタ１０８に対して実質的に垂直な角度で入射光１０２Ａに対応し、透過率スペクトル１１４は入射光１０４Ａに対応し、透過率スペクトル１１６は入射光１０６Ａに対応し、透過率スペクトル１１８は、一般に画像シーン中に存在する光のスペクトルの一例である。明らかなように、フィルタを透過した光のためのカットオンおよびカットオフ波長は、入射角が増加するにつれて、より短い波長に向かってシフトし、従って、センサー１１０は、センサーの各部分上の光の入射角に基づいて、センサーの異なる領域において異なるスペクトルの光を受ける。
[0027] 図１Ｃに、図１Ｂに示された透過率シフトから生じるキャプチャされた画像の空間色非一様性の例示的な説明のグレースケール近似を示す。中心領域１３２は、一般に、入射光角度に基づく透過率シフトにより、より冷たいエッジ領域１３４よりも暖かい色調を有する。
システム概観
[0028] 図２に、動的カラーシェーディング補正機能をもつ例示的なシステム２００の高レベルブロック図を示し、システム２００は、フィルタ２６０を有するイメージングセンサー２１５にリンクされたプロセッサ２２０を含む構成要素のセットを有する。作業メモリ２０５、ストレージ２１０、電子ディスプレイ２２５、およびメモリ２３０もプロセッサ２２０と通信している。
[0029] システム２００は、セルフォン、デジタルカメラ、タブレットコンピュータ、携帯情報端末などのデバイスであり得る。システム２００はまた、画像をキャプチャするための内部または外部カメラを使用する、デスクトップパーソナルコンピュータ、ビデオ会議局など、より固定のデバイスであり得る。システム２００はまた、画像キャプチャデバイスと、画像キャプチャデバイスから画像データを受信する別個の処理デバイスとの組合せであり得る。システム２００上で、複数のアプリケーションがユーザにとって利用可能であり得る。これらのアプリケーションは、特に、従来の写真アプリケーションと、静止画像およびビデオのキャプチャと、動的色補正アプリケーションと、輝度シェーディング補正アプリケーションとを含み得る。
[0030] 画像キャプチャシステム２００は、画像をキャプチャするための画像センサー２１５を含む。画像センサー２１５は、例えば、電荷結合デバイス（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）センサーなどであり得る。画像センサー２１５は、キャプチャされた画像を画像プロセッサ２２０に送信するためにプロセッサ２２０に結合され得る。フィルタ２６０、例えば、可視光を通しながら中赤外波長を反射または阻止するように設計された赤外線カットオフフィルタが、センサー２１５の近くにまたはセンサー２１５内に配置され得る。画像プロセッサ２２０は、以下でより詳細に説明するように、高画質色補正画像を出力するために、受信されたキャプチャされた画像に対して様々な動作を行うように構成され得る。
[0031] プロセッサ２２０は、汎用処理ユニット、またはイメージングアプリケーションのために特別に設計されたプロセッサであり得る。図示のように、プロセッサ２２０はメモリ３３０と作業メモリ２０５とに接続される。図示の実施形態では、メモリ２３０が、イメージングセンサー制御モジュール２３５と、動的カラーシェーディング補正モジュール２４０と、キャプチャ制御モジュール２４５と、オペレーティングシステム２５０とを記憶する。これらのモジュールは、様々な画像処理タスクとデバイス管理タスクとを行うようにプロセッサを構成する命令を含む。作業メモリ２０５は、メモリ３３０のモジュール中に含まれているプロセッサ命令の作業セットを記憶するためにプロセッサ２２０によって使用され得る。代替的に、作業メモリ２０５はまた、デバイス２００の動作中に作成された動的データを記憶するためにプロセッサ２２０によって使用され得る。
[0032] 上述のように、プロセッサ２２０は、メモリ２３０に記憶されたいくつかのモジュールによって構成される。イメージングセンサー制御モジュール２３５は、イメージングセンサー２１５の焦点位置を調整するようにプロセッサ３２０を構成する命令を含む。イメージングセンサー制御モジュール２３５はまた、イメージングセンサー２１５を用いて画像をキャプチャするようにプロセッサ２２０を構成する命令を含む。従って、画像キャプチャ制御モジュール２３５、イメージングセンサー２１５、フィルタ２６０、および作業メモリ２０５とともに、プロセッサ２２０は、カラーシェーディングのために補正されるべき画像または画像のシーケンスをキャプチャするための１つの手段を表す。
[0033] 動的カラーシェーディング補正モジュール２４０は、キャプチャされた画像中のカラーシェーディングを補正するようにプロセッサ３２０を構成する命令を含む。例えば、動的カラーシェーディング補正モジュール２４０は、キャプチャされた画像中のカラーシェーディング成分を推定でき、推定されたカラーシェーディング成分を使用して、画像中のカラーシェーディングを補正するために補正テーブルを生成できる。いくつかの実施形態では、動的カラーシェーディング補正モジュール２４０が、一般的な照明の下で参照デバイスに対してカラーシェーディングを補正するように較正される、事前較正された参照テーブルを記憶できる。いくつかの実施形態では、事前較正された参照テーブルがデータストア２１０に記憶され得る。動的カラーシェーディング補正モジュール２４０は、推定されたカラーシェーディングを使用して、キャプチャされた画像中のカラーシェーディングを補正するために、事前較正された参照テーブルを動的に更新できる。
[0034] キャプチャ制御モジュール２４５は、システム２００の全体的な画像キャプチャ機能を制御する命令を含み得る。例えば、一実施形態では、キャプチャ制御モジュール２４５が、イメージングセンサー２１５を使用してターゲット画像シーンの画像データをキャプチャするようにプロセッサ２２０を構成するためにサブルーチンを呼び出す命令を含み得る。キャプチャ制御モジュール２４５は、次いで、フィルタ２６０または他の原因によるカラーシェーディングを補正するために動的カラーシェーディング補正器モジュール２３５を呼び出し得る。キャプチャ制御モジュール２４５はまた、図示されていない他の処理モジュール、例えば、けられ推定および補正モジュールを呼び出し得る。
[0035] オペレーティングシステムモジュール２５０は、システム２００のメモリと処理リソースとを管理するようにプロセッサ２２０を構成する。例えば、オペレーティングシステムモジュール２５５は、電子ディスプレイ２２５、ストレージ２１０、またはイメージングセンサー２１５などのハードウェアリソースを管理するためのデバイスドライバを含み得る。従って、いくつかの実施形態では、上記で説明した画像処理モジュール中に含まれている命令が、これらのハードウェアリソースと直接対話せず、代わりに、オペレーティングシステム構成要素２５０中にある標準サブルーチンまたはＡＰＩを通して対話し得る。オペレーティングシステム２５０内の命令は、次いで、これらのハードウェア構成要素と直接対話し得る。
[0036] プロセッサ２２０は、キャプチャされた画像をユーザに表示するためにディスプレイ２２５を制御するようにさらに構成され得る。ディスプレイ２２５は、画像センサー２１５を含むイメージングデバイスの外部にあり得るか、またはイメージングデバイスの一部であり得る。ディスプレイ２２５はまた、画像をキャプチャするより前にユーザのためのビューファインダーを提供するように構成され得るか、あるいは、メモリに記憶されたか、またはユーザによって最近キャプチャされた、キャプチャされた画像を表示するように構成され得る。ディスプレイ２２５は、ＬＣＤまたはＬＥＤスクリーンを備え得、タッチセンシティブ技術を実装し得る。
[0037] プロセッサ２２０は、ストレージモジュール２１０に、データ、例えば、キャプチャされた画像を表すデータ、カラーシェーディング推定、および補正テーブルデータを書き込み得る。ストレージモジュール２１０は従来のディスクデバイスとして図式的に表されているが、ストレージモジュール２１０は任意のストレージメディアデバイスとして構成され得ることを当業者は理解されよう。例えば、ストレージモジュール２１０は、フロッピー（登録商標）ディスクドライブ、ハードディスクドライブ、光ディスクドライブまたは光磁気ディスクドライブなどのディスクドライブ、あるいはフラッシュメモリ、ＲＡＭ、ＲＯＭ、および／またはＥＥＰＲＯＭ（登録商標）などの固体メモリを含み得る。ストレージモジュール２１０はまた、複数のメモリユニットを含むことができ、メモリユニットのいずれか１つが、画像キャプチャデバイス２００内にあるように構成され得るか、または画像キャプチャシステム２００の外部にあり得る。例えば、ストレージモジュール２１０は、画像キャプチャシステム２００内に記憶されたシステムプログラム命令を含んでいるＲＯＭメモリを含み得る。ストレージモジュール２１０はまた、カメラから取外し可能であり得る、キャプチャされた画像を記憶するように構成されるメモリカードまたは高速メモリを含み得る。
[0038] 図２は、プロセッサとイメージングセンサーとメモリとを含むように別個の構成要素を備えるシステムを示しているが、これらの別個の構成要素は、特定の設計目標を達成するために様々な方法で組み合わせられ得ることを当業者は認識されよう。例えば、代替実施形態では、メモリ構成要素が、コストを節約し性能を改善するために、プロセッサ構成要素と組み合わせられ得る。
[0039] さらに、図２は、２つのメモリ構成要素、すなわち、いくつかのモジュールを備えるメモリ構成要素２３０と、作業メモリを備える別個のメモリ２０５とを示しているが、当業者は、異なるメモリアーキテクチャを利用するいくつかの実施形態を認識されよう。例えば、メモリ２３０中に含まれているモジュールを実装するプロセッサ命令の記憶のための設計はＲＯＭまたはスタティックＲＡＭメモリを利用し得る。代替的に、プロセッサ命令は、システム２００に組み込まれるかまたは外部デバイスポートを介して接続されたディスクストレージデバイスからシステム開始時に読み取られ得る。プロセッサ命令は、次いで、プロセッサによる実行を可能にするためにＲＡＭにロードされ得る。例えば、作業メモリ２０５はＲＡＭメモリであり得、命令は、プロセッサ２２０による実行の前に作業メモリ２０５にロードされる。
[0040] 図３に、動的カラーシェーディング補正器２４０の一実施形態の概略ブロック図を示す。動的カラーシェーディング補正器２４０は、予備補正モジュール３０５と、カラーシェーディング推定モジュール３１０と、テーブル更新モジュール３１５と、カラーシェーディング補正モジュール３２０とを含む。画像キャプチャシステム２００のコンテキスト内で説明されたが、動的カラーシェーディング補正器２４０は、カラーシェーディング補正に適した他の画像キャプチャシステムにおいて実装され得る。
[0041] 一実施形態では、予備補正モジュール３０５が画像データおよびシーン統計値３３０を受信する。シーン統計値は、キャプチャされた画像のダウンサンプリングされたバージョンであり得、いくつかの実施形態では、キャプチャされた画像の各バイヤー(Bayer)チャネルＲ．Ｇｒ、Ｇｂ、およびＢのための４つのチャネルごとの画像の組合せであり得る。一実施形態では、動的カラーシェーディング補正器２４０が、キャプチャされた画像を含む画像データのみを受信でき、キャプチャされた画像からシーン統計値を生成するためのシーン統計値モジュール（図示せず）をさらに含むことができる。いくつかの実施形態では、予備補正モジュール３０５が、キャプチャされた画像の画像データからシーン統計値を生成するようにプログラムされ得る。
[0042] 予備補正モジュール３０５は、シーン統計値中のカラーシェーディングのうちの少なくともいくつかを補正するために、事前較正された参照テーブルを使用でき、ここで、事前較正された参照テーブルは、既知の光源の下でフラットフィールドの画像をキャプチャする参照画像キャプチャデバイス上で計算される。事前較正された参照テーブルは補正テーブルデータリポジトリ３２５に記憶され得る。いくつかの実施形態では、シェーディング補正がバイヤー画像領域中で行われ、テーブルは、各々が４つのバイヤーチャネルのうちの１つに関連する４つのサブテーブルを含むことができる。補正は、参照テーブルのチャネルごとのサブテーブルに各バイヤーチャネルのためのチャネルごとのシーン統計値を乗算することによって行われ得る。
[0043] 予備的に補正されたシーン統計値はカラーシェーディング推定モジュール３１０に送られ得る。カラーシェーディング推定モジュール３１０は、補正されたシーン統計値からカラーシェーディング成分を決定する命令で構成され得る。例えば、ＲＧＢ補正シーン統計値は色相成分に変換され得、カラーシェーディング成分は色相成分から推定され得る。色相成分は、例えば、キャプチャされた画像のカラーシェーディング勾配を表すカラーシェーディング成分と、キャプチャされた画像シーンの真の色相成分(hue content)を表す固有カラー成分(intrinsic color component)との対数領域における線形結合を表すことができる。カラーシェーディング推定モジュール３１０は、キャプチャされた画像のためのカラーシェーディング成分を復元できる。ビデオ画像中のカラーシェーディングを補正する実施形態では、カラーシェーディング推定モジュール３１０が、ビデオ画像シーケンス中のいくつかのまたは各フレームのためのカラーシェーディング成分を復元できる。いくつかの実施形態では、２つの色相チャネルが使用され得、２つのカラーシェーディング成分が復元され得る。
[0044] テーブル更新モジュール３１５は、カラーシェーディング推定モジュール３１０から１つまたは複数のカラーシェーディング成分を表すデータを受信し、カラーシェーディング成分を使用して、キャプチャされた画像のための最適色補正をもたらすために、事前較正された参照テーブルを動的に更新できる。画像のビデオシーケンスについて、テーブルは、各フレームのカラーシェーディング成分に基づいて、ビデオシーケンス中の各フレームのための最適補正のために動的に更新され得る。例えば、一実施形態では、２つのカラーシェーディング成分がそれぞれ、赤色相チャネルと青色相チャネルとのうちの１つに対応し得る。参照テーブルを更新するために、テーブル更新モジュール３１５は、青チャネルに対応するサブテーブルを青カラーシェーディング成分で除算でき、赤チャネルに対応するサブテーブルを赤カラーシェーディング成分で除算できる。更新された補正テーブルは補正テーブルデータリポジトリ３２５に記憶され得る。
[0045] 更新された補正テーブルは、キャプチャされた画像データとともにカラーシェーディング補正モジュール３２０に出力され得る。カラーシェーディング補正モジュール３２０は、更新された補正テーブルを使用して、キャプチャされた画像中のカラーシェーディングを補正できる。この補正は、チャネルごとのシーン統計値とチャネルごとの参照テーブルとの要素単位乗算によって、各バイヤーチャネルについて別個に行われ得る。
[0046] 動的カラーシェーディング補正器２４０が図２のシステム２００のコンテキストにおいて説明されたが、それは、それ自体で、またはカラーシェーディング補正に適した任意のシステムに実装され得る。
例示的なカラーシェーディングプロセスの概観
[0047] 次に図４を参照しながら、動的カラーシェーディング補正（ＤＣＳＣ）プロセス４００の一実施形態についてより詳細に説明する。プロセス４００は、静止写真を撮るカメラなどの画像キャプチャデバイスにおいて、または画像フレームのシーケンスをキャプチャするビデオカメラにおいて実装され得る。プロセス４００は、画像キャプチャデバイスに組み込まれた、例えば、プロセッサを含む、コンピューティングシステム上に実装され得るか、または画像キャプチャデバイスから画像データを受信する別個のコンピューティングデバイス上に実装され得る。プロセス４００は、ほんの数例を挙げると、デジタルカメラ、モバイルフォンカメラ、ウェブカメラ、タブレットコンピュータカメラ、およびゲーミングコンソールカメラなど、デジタル画像キャプチャデバイスによってキャプチャされた画像中のカラーシェーディングを補正するために使用され得る。プロセス４００は、特に、広い視野をもつコンパクトカメラのための利点を与え得る。
[0048] ブロック４０５において、１つの光源の下での参照画像センサーのための単一の事前較正されたカラーシェーディング補正テーブルを用いたＤＣＳＣ方法を提供する。本明細書で参照テーブルＴ0と呼ぶ、単一のカラーシェーディング補正テーブルは、フラットフィールドの一般的な照明の下で参照画像キャプチャデバイスに対して較正され得る。ＤＣＳＣプロセス４００はバイヤー画像領域中で行われ得、従って、シェーディング補正テーブルは、各サブテーブルが４つのバイヤー領域Ｒ、Ｇｒ、Ｇｂ、およびＢのうちの１つに関連する、４つのサブテーブルを含み得る。
[0049] 次に、ブロック４１０において、キャプチャされた画像のシーン統計値を備える画像データを受信する。本明細書で使用するシーン統計値は、キャプチャされた画像のダウンサンプリングされたバージョンを指す。一実施形態では、バイヤー画像統計値Ｘが、４つのチャネルごとの画像ＸR∈Ｒm×n、ＸGr∈Ｒm×n、ＸGb∈Ｒm×n、およびＸB∈Ｒm×nの組合せとして示され得る。カラーシェーディングは空間領域中で極めて漸進的に変化し得るので、それは、カラーシェーディングプロファイルの推定を、フル解像度のキャプチャされた画像ではなくシーン統計値に基づかせ、プロセスの計算複雑さを著しく低減するのに十分であり得る。いくつかの実施形態では、画像統計値が補正テーブルよりも高い空間解像度でキャプチャされ得、他の実施形態では、画像統計値と補正テーブルとが同じ解像度であり得る。
[0050] プロセス４００は、次いで、ステップ４１５に移動し、参照テーブルを使用して、画像統計値を補正する。いくつかの実施形態では、この補正が、チャネルごとのシーン統計値とチャネルごとの参照テーブルとの要素単位乗算によって、各バイヤーチャネルについて別個に行われ得る。
[0051] ブロック４２０において、プロセス４００は、参照テーブルによって補正された画像統計値中のカラーシェーディングを推定する。実際の画像コンテンツから、緩やかに変化するシェーディング関数を分離するために、カラーシェーディング推定技法が使用され得る。いくつかの実施形態では、ＲＧＢバイヤー領域中の補正されたシーン統計値が色相成分に変換され得る。補正されたシーン統計値は、以下の変換を使用して色相成分Ｈ１およびＨ２に変換され得る。
ここで、上記の式のセットにおける除算演算は要素単位で行われる。各色相チャネルは、カラーシェーディング成分と、シーンの真の色相成分を表す固有（実際の）カラー成分との（対数領域における）線形結合を表す。カラーシェーディング推定は、キャプチャされた画像のための観測された色相成分からシェーディング成分を復元し得る。
[0052] いくつかの実施形態では、シングルチャネルカラーシェーディング推定が行われ得る。カラーシェーディングは、画像センサーに到達する光の入射角の滑らかな関数であり得る。事前較正された参照テーブルも空間的に滑らかであるので、参照テーブルを用いてシーン統計値を補正した後に残されたカラーシェーディングも緩やかに変化する信号であり得る。従って、シェーディング成分Ｓは、密で小さい勾配をもつ滑らかなマスクであり得る。一方、シーン統計値の固有カラー成分Ｉは、少数の非０勾配を含んでいる区分的に滑らかなパターンであり得る。従って、Ｉにおける非０勾配の数とＳにおける勾配の大きさとを最小化することによって、観測された色相Ｈから２つの加法的成分ＳおよびＩを復元できる。一実施形態では、２次元（２Ｄ）マップＺ∈Ｒｍｎ上の勾配スパーシティの測度、すなわち、非０勾配成分の数が次のように定義され得る。
ここで、＃｛｝は計数演算子(counting operator)であり、
、
は、ロケーションｉにおけるＺの２Ｄ部分勾配を示す（注：Ｄx,iおよびＤy,i∈Ｒm×n×1）。
[0053] 色相チャネルＨを仮定すれば、カラーシェーディングは、以下の最小化を行うことによって、カラーシェーディング成分Ｓと固有カラー成分Ｉとを復元できる。
ここで、λは、Ｉの勾配スパーシティの有意性を直接制御する重みパラメータであり、
は、Ｓに対する勾配の大きさの２乗和（ＳＳＧＭ：Sum-of-the-Squares-of-Gradient-Magnitude）を示す。従って、カラーシェーディング推定のいくつかの実施形態は、それの２乗された勾配の大きさを最小化することによってＳの滑らかさを強調しながら、それの非０勾配成分の数を最小化することによってＩの区分的滑らかさ（または勾配スパーシティ）を求める。
[0054] カラーシェーディング推定の別の実装形態では、スパーシティ測度Ｃ（Ｉ）が、それぞれ勾配大きさ領域および部分勾配領域におけるＩのスパーシティを定義する、ティス２つの異なる変形態Ｃ1（Ｉ）およびＣ2（Ｉ）と置き換えられ得る。
ここで、｜｜ ｜｜0はｌ0ノルムを示す。
[0055] 従って、いくつかの実施形態では、２つの加法的成分、すなわち、シェーディング成分および固有カラー成分が、固有カラー成分における非０勾配の数とシェーディング成分における勾配の大きさとを最小化することによって、観測された色相から復元され得る。いくつかの実施形態は反復プロセスによって計算され得、レイテンシを低減するために、他の実施形態は、単一の反復によって計算され得る。例えば、ビデオシーケンス中の一部または全部のフレームのためのリアルタイムでのカラーシェーディング補正テーブルを計算するために、カラーシェーディングは、ランタイムを低減するために単一の反復によって推定され得る。
[0056] 他の実施形態では、ジョイントチャネルカラーシェーディング推定がジョイント様式で２つの観測された色相チャネルからカラーシェーディングのＲ／ＧおよびＢ／Ｇ成分を復元するために行われ得る。そのようなジョイントチャネルカラーシェーディング推定は、固有カラー成分が、しばしば、同じロケーションにおいて非０勾配を含んでいるという事実に基づいて計算され得る。一実施形態では、上記で説明したセパレートチャネルカラーシェーディング推定フレームワークが、ジョイント様式で２つの観測された色相チャネルからカラーシェーディングのＲ／ＧおよびＢ／Ｇ成分を復元するために拡張され得る。表記法Ｈi、Ｓi、およびＩi（ここでｉ＝１、２）は、それぞれ、Ｒ／ＧおよびＢ／Ｇチャネル中の、観測された色相、カラーシェーディング、および固有画像カラーを指すために使用される。ジョイントチャネルカラーシェーディング推定は、固有カラー成分Ｉ1およびＩ2が、しばしば、同じロケーションにおいて非０勾配を含んでいるという事実を利用できる。観測された色相チャネルＨ1およびＨ2を仮定すれば、ジョイントチャネルカラーシェーディング推定技法は、
によってそれの固有成分（Ｉ1、Ｉ2）とカラーシェーディング成分（Ｓ1、Ｓ2）とを復元する。ここで、［Ｉ1：Ｉ2］∈Ｒm×n×2は、２つの２ＤレイヤＩ1およびＩ2からなる３Ｄ立方体を示す。ジョイントチャネルカラーシェーディング推定のための勾配スパーシティ測度は、
として示される。
[0057] 次に、ブロック４２５において、プロセス４００は参照テーブルを動的に更新する。シェーディング成分Ｓ１およびＳ２が推定された後、参照テーブルは、画像を補正するために最適な補正テーブルをもたらすために動的に更新され得る。画像フレームのシーケンスからなるビデオシーケンスでは、補正テーブルが、ビデオシーケンス中のｔ番目のフレームの各々について計算され得、ここで、ｔは、キャプチャされたフレームの時間を示す。ビデオシーケンス中のカラーシェーディング補正のためのＤＣＳＣプロセス４００のいくつかの実施形態では、テーブルが、以下の式のセットに従って更新され得、ここで、除算演算は要素単位で行われ得る。
[0058] ブロック４３０において、プロセス４００は、更新された参照テーブルを使用して、キャプチャされた画像中のカラーシェーディングを補正する。従って、ＤＣＳＣプロセス４００は、コストがかかるユニットごとの較正を必要とせず、モジュール間での変化に対してロバストである。さらに、ＤＣＳＣプロセス４００は、キャプチャされた画像に関連する光源が事前較正中に含まれると仮定もせず、シーン光源の正確な検出を与えるためにホワイトバランスアルゴリズムに依拠もしない。
[0059] 図５に、カラーシェーディング推定プロセス５００の一実施形態を示す。プロセス５００のいくつかの実装形態は図４のブロック４２０において行われ得る。しかしながら、カラーシェーディング推定プロセス５００は、単独で、あるいはカラーシェーディング推定または補正に適した任意の技法の一部として実装され得る。さらに、カラーシェーディング推定モジュール３１０のコンテキストにおいて説明するが、これは説明のためのものであり、プロセス５００は、カラーシェーディング推定に適した任意のシステムによって実行され得る。
[0060] プロセス５００は、カラーシェーディング推定モジュール３１０がプロセス５００のための許容レイテンシを決定する随意のブロック５０５において開始する。例えば、カラーシェーディング推定モジュール３１０は、入力画像データが、許容レイテンシの低い量に対応する、リアルタイムで補正されている画像のビデオシーケンスであるかどうかを決定し得る。他のカラーシェーディング推定適用例では、例えば静止画像の場合、許容レイテンシの量がより高くなり得る。例えば、解像度３２×１６のシーン統計値を有する実装形態では、反復サブプロセスの実施形態が、動的カラーシェーディング補正のリアルタイム適用例のための大きいレイテンシと見なされ得る、約２００ｍｘ〜約３００ｍｓの範囲内のどこかをとることができる。そのようなレイテンシにより、現在フレームの統計値を使用して計算されたシェーディング補正テーブルは、それのシーン統計値が現在フレームとうまく一致しないことがある、（ビデオシーケンス中の）後のフレームに適用されることがある。これにより、迅速に変化するシーンにおいて極めてひどい、トレーリング色合いと呼ばれる、望ましくない色合いアーティファクトが生じることがある。従って、随意の決定ブロック５１０において、カラーシェーディング推定モジュール３１０は、反復カラーシェーディング推定サブプロセスを実行すべきなのかアグレッシブカラーシェーディング推定サブプロセスを実行すべきなのかを決定する。
[0061] いくつかの実施形態では、反復サブプロセスが、収束するために数十回の反復を必要とし、動的カラーシェーディング補正におけるレイテンシを生じることがあるが、アグレッシブサンプロセスは、ただ１回の反復の後に有効な解を得ることができる。反復カラーシェーディング推定プロセスは、いくつかの実装形態で、レイテンシのより高い許容量、より大きい処理能力に関連する状況におけるより高い品質結果のために、またはジョイントチャネルカラーシェーディング推定のために実行され得る。アグレッシブカラーシェーディング推定プロセスは、いくつかの実装形態で、レイテンシのより低い許容量に関連する状況において、またはより低い処理能力をもつシステムにおいて実行され得る。いくつかの実施形態では、随意のブロック５０５および５１０がバイパスされ得、カラーシェーディング推定モジュール３１０は、反復カラーシェーディング推定サブプロセスおよびアグレッシブカラーシェーディング推定サブプロセスのうちの１つを行うように構成され得る。
[0062] 反復カラーシェーディング推定サブプロセスはブロック５３０において開始し、カラーシェーディング推定モジュール３１０が、キャプチャされた画像を表すシーン統計値から１つまたは複数の色相成分を取得する。次に、ブロック５３５において、カラーシェーディング推定モジュール３１０は、例えば式（３）において上記で定義したように、カラーシェーディング成分と固有カラーシェーディング成分とを求める反復問題を初期化する。例えば、いくつかの実施形態は、次のように、式（３）の等式制約を拡張ラグランジュ関数に変換するために、ラグランジュ乗数Ｙ∈Ｒm×nと過剰正則化(over-regularization)パラメータβとを導入することによって拡張ラグランジュ方法を適用できる。
ここで、Ｄx∈Ｒmn×mnは、垂直方向に沿ってＤx,I、１≦ｉ≦ＭＮを連結することによって生成され、Ｄy∈Ｒmn×mnは同様の方法で生成される。Ｇx＝ＤxＩおよびＧy＝ＤyＩである、補助勾配パラメータＧxおよびＧyを導入することによって、勾配スパーシティ測度は、
のように再構築され得る。上式は、演算子分割技法を使用して、次のように簡略化され得る。
[0063] 簡略化された拡張ラグランジュ関数は、以下の２つのステップ間で反復することによって最小化され得る。
によって
を求める。
を更新する。
[0064] 各反復は、計算コストが高い、４つのパラメータＳ、Ｇx、Ｇy、およびＩにわたる拡張ラグランジュ関数の正確な最小化を必要とする。幸いにも、これらの４つのパラメータは、パラメータの一方のグループが固定されるとき、他方のグループにわたる拡張ラグランジュ関数の最小化の閉形式解があるように、２つのグループ、（１）Ｓ、Ｇx、Ｇyと（２）Ｉとに分離され得る。従って、いくつかの実施形態は、固定のＩを用いてＳ、Ｇx、Ｇyを最適化することと、固定のＳを用いてＩを最適化することとの間で反復する、Ｌ（Ｓ、Ｇx、Ｇy、Ｉ）を最小化するための交互方向法を適用する。ラグラジュ乗数Ｙが十分なレートで更新されることを仮定すれば、パラメータの２つのグループにわたる最適化を交互に行う１つのラウンドとしてＬ（Ｓ、Ｉ、Ｙk）の正確な最小化を緩和できる。
[0065] 従って、ブロック５４０において、カラーシェーディング推定モジュール３１０は、固定の固有カラー成分Ｉkとラグランジュ乗数Ｙkとを用いて、式（１１）において定義されているように、カラーシェーディング成分Ｓと、部分勾配パラメータＧxおよびＧyとを別個に最適化する。いくつかの実施形態では、イニシャタイズされた値ＩkおよびＹkを仮定すれば、カラーシェーディング成分Ｓが、
を最小化することによって最適化され得、部分勾配ＧxおよびＧyが、
を最小化することによって最適化され得る。
[0066] ブロック５４５において、カラーシェーディング推定モジュール３１０は、式（１１）に従って固定のＳk+1、Ｇx k+1、Ｇy k+1、Ｙkを用いてＩを復元する。いくつかの実施形態では、更新されたＧx k+1、Ｇy k+1、およびＳk+1を仮定すれば、固有カラー成分Ｉが、
を最小化することによって復元され得る。
[0067] ブロック５５０において、カラーシェーディング推定モジュール３１０は、式（１２）に従ってＹを更新する。決定ブロック５５５において、カラーシェーディング推定モジュール３１０は、ＳとＩとが収束したかどうかを決定する。ＳとＩとが収束しなかった場合、プロセス５００はブロック５４０にループバックして、式（１１）および式（１２）の最適化の別の反復を行う。ＳとＩとが収束した場合、プロセス５００は、例えばカラーシェーディング補正のために、カラーシェーディング成分Ｓを出力するためにブロック５６０に遷移する。
[0068] アグレッシブカラーシェーディング推定サブプロセスはブロック５１５において開始し、カラーシェーディング推定モジュール３１０が、キャプチャされた画像を表すシーン統計値から１つまたは複数の色相成分を取得する。一般に、固有カラー成分Ｉは、カラーシェーディング成分Ｓよりもはるかに大きい勾配の大きさを有する。これは、たいていの場合、Ｉに対する区分的滑らかさ実施とＩに対する滑らかなフィルタ処理との間の数十回の反復なしに、カラーシェーディングのほぼ正確な推定値が得られ得ることを示す。従って、ブロック５２０において、カラーシェーディング推定モジュール３１０は、それらの値に従って色相チャネルＨの部分勾配からカラーシェーディング成分Ｓの部分勾配を直接検出する。一実施形態では、観測された色相チャネルＨを仮定すれば、カラーシェーディング成分Ｓの部分勾配（Ｇx，Ｇy）が、
のように一緒に復元され得るか、または、
のように別個に復元され得る。
[0069] これは、カラーシェーディング成分の部分勾配が小さい大きさであるべきであり、それが画像境界において常に真であるとは限らないと仮定する。従って、いくつかの実装形態では、下部境界および右境界における部分勾配が、次のように復元され得る。
ここで、（Ｇx,i,j，Ｇy,i,j）はロケーション（ｉ，ｊ）におけるＳの部分勾配を示す。
[0070] ブロック５２０において、カラーシェーディング推定モジュール３１０は、検出された部分勾配を使用してカラーシェーディング成分を再構成する。いくつかの実施形態では、復元された部分勾配（Ｇx，Ｇy）を仮定すれば、固有成分Ｓが、式（１９）および式（２０）によって示されているように、２つの連続ステップによって復元され得る。
ここで、τは極めて小さい定数（例えば、１０-10）として設定され、復元されたカラーシェーディング成分Ｓは、それの平均値が０であるようにシフトされ、ここで、ＦおよびＦ-1は、それぞれ、フーリエ変換および逆フーリエ変換を示す。次に、プロセス５００は、例えばカラーシェーディング補正のために、カラーシェーディング成分Ｓを出力するためにブロック５２５に遷移する。
結論
[0071] 本明細書で説明する動的カラーシェーディング補正（ＤＣＳＣ）のためのフレームワークは、キャプチャされた画像のシーン統計値からカラーシェーディングをオンザフライで推定し、カラーシェーディング補正のために、推定されたシェーディングを使用できる。ＤＣＳＣフレームワークのコアにあるのは、勾配領域におけるそれのユニークな特性によって実際の画像コンテンツからカラーシェーディング成分を分離するカラーシェーディング推定方法である。交互方向を適用することによって、反復カラーシェーディング推定プロセスがこの問題を解決できる。アグレッシブカラーシェーディング推定プロセスがいくつかの実施形態においてカラーシェーディング推定の動作時間(running time)を約１０ｍｓよりも小さくなるように低減するために使用され、これにより、ＤＣＳＣが動的シーンを処理することを可能にし得る。実験結果およびサンプルデバイス上の実際の実装形態は、カラーシェーディング補正の事前較正ベースの方法の制限により、（１）様々な光源の下でのカラーシェーディングアーティファクトを削除する際のＤＣＳＣの有効性と、（２）ＤＣＳＣが現在の画像センサーパイプラインにおいて大いに望ましいこととを示した。
用語
[0072] 本技術は、多数の他の汎用または専用のコンピューティングシステム環境または構成で動作可能である。本発明とともに使用するのに好適であり得る、よく知られているコンピューティングシステム、環境、および／または構成の例としては、限定はしないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、プロセッサベースシステム、プログラマブルコンシューマーエレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などがある。
[0073] 本明細書で使用する命令は、システムにおいて情報を処理するためのコンピュータ実装ステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェア中に実装され、システムの構成要素によって引き受けられる任意のタイプのプログラムされたステップを含むことができる。
[0074] プロセッサは、Ｑｕａｌｃｏｍｍ（登録商標）プロセッサ、Ｐｅｎｔｉｕｍ（登録商標）プロセッサ、ＰｅｎｔｉｕｍＰｒｏプロセッサ、８０５１プロセッサ、ＭＩＰＳ（登録商標）プロセッサ、Ｐｏｗｅｒ ＰＣ（登録商標）プロセッサ、またはＡｌｐｈａ（登録商標）プロセッサなど、任意の従来の汎用のシングルチップまたはマルチチップのプロセッサであり得る。さらに、プロセッサは、デジタル信号プロセッサまたはグラフィックスプロセッサなど、任意の従来の専用プロセッサであり得る。プロセッサは、一般に、従来のアドレスライン、従来のデータライン、および１つまたは複数の従来の制御線を有する。
[0075] 本システムは、詳細に説明するように、様々なモジュールから構成される。当業者によって諒解され得るように、モジュールの各々は、様々なサブルーチン、プロシージャ、定義のステートメント、およびマクロを備える。モジュールの各々は、一般に、別個にコンパイルされ、単一の実行可能プログラムにリンクされる。従って、好ましいシステムの機能について説明するために便宜上、モジュールの各々の説明が使用される。従って、モジュールの各々によって経験されるプロセスは、他のモジュールのうちの１つに任意に再分散されるか、単一のモジュール中で互いに結合されるか、または、例えば共有可能なダイナミックリンクライブラリにおいて利用可能にされ得る。
[0076] 本システムは、Ｌｉｎｕｘ（登録商標）、ＵＮＩＸ（登録商標）、またはＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）など、様々なオペレーティングシステムとともに使用され得る。本システムは、Ｃ、Ｃ＋＋、ＢＡＳＩＣ、Ｐａｓｃａｌ、またはＪａｖａ（登録商標）などの任意の従来のプログラミング言語で書かれ、従来のオペレーティングシステムのもとで動作し得る。Ｃ、Ｃ＋＋、ＢＡＳＩＣ、Ｐａｓｃａｌ、Ｊａｖａ、およびＦＯＲＴＲＡＮは、実行可能コードを作成するために多くの商用コンパイラが使用され得る業界標準プログラミング言語である。本システムはまた、Ｐｅｒｌ、Ｐｙｔｈｏｎ、またはＲｕｂｙなどのインタープリタ型言語を使用して書かれ得る。
[0077] さらに、本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを当業者なら諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、概ねそれらの機能に関連して上で説明された。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきでない。
[0078] 本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明する機能を行うように設計されたそれらの任意の組合せを用いて実装または行われ得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
[0079] １つまたは複数の例示的な実施形態では、説明された機能および方法が、ハードウェア、ソフトウェアもしくはプロセッサ上で実行されるファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装する場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定でなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)（ＣＤ）、レーザーディスク（登録商標）(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)（ＤＶＤ）、フロッピーディスク(disk)およびＢｌｕ−ｒａｙ（登録商標）ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0080] 上記の説明は、本明細書で開示するシステム、デバイス、および方法のいくつかの実施形態を詳述する。しかしながら、上記が原文にどのくらい詳細に掲載されても、システム、デバイス、および方法は、多くの方法で実施され得ることが諒解されよう。また、上記のように、本発明のいくつかの特徴または態様について説明する際の特定の用語の使用は、その用語が関連する技術の特徴または態様の任意の特定の特徴を含むことに限定するように、その用語が本明細書で再定義されることを暗示するために行われるべきでないことに留意されたい。
[0081] 説明した技術の範囲から逸脱することなく、様々な修正および変更が行われ得ることを、当業者は諒解されよう。そのような修正および変更は、実施形態の範囲内に入るものとする。また、一実施形態に含まれる部分は、他の実施形態と互換性があり、示された実施形態の１つまたは複数の部分は、任意の組合せで他の示された実施形態とともに含まれ得ることを、当業者は諒解されよう。例えば、本明細書で説明した、および／または図に示した様々な構成要素のうちのいずれかは、組み合わせられ、交換され、または他の実施形態から除外され得る。
[0082] 本明細書における実質的に任意の複数および／または単一の用語の使用に関して、当業者は、コンテキストおよび／または用途に合わせて、複数から単数に、および／または単数から複数に変換できる。明快のために、様々な単一／複数の並べ替えを本明細書に明確に記載し得る。
[0083] 一般に、本明細書で使用される用語は、「オープンな」用語（例えば、「含む(including)」という用語は、「限定はしないが、含む」と解釈されるべきであり、「有する」という用語は、「少なくとも有する」と解釈されるべきであり、「含む(includes)」という用語は、「限定はしないが、含む」と解釈されるべきであるなど）として全般的に意図されることを、当業者は理解されよう。導入された特許請求の範囲の記載の特定の数が意図される場合、そのような意図は、特許請求の範囲に明示的に記載され、そのような記載がない場合、そのような意図はないことを、当業者はさらに理解されよう。例えば、以下の添付の特許請求の範囲は、理解を助けるものとして、特許請求の範囲の列記を導入するために「少なくとも１つ」および「１つまたは複数」という導入句の使用を含んでいることがある。しかしながら、そのような句の使用は、同じ特許請求の範囲が「１つまたは複数」または「少なくとも１つ」という導入句、および「１つ（a)」または「１つ(an)」などの不定冠詞（例えば、「１つ(a)」および／または「１つ(an)」は、典型的には「少なくとも１つ」あるいは「１つまたは複数」を意味するものと解釈されるべきである）を含むときでも、不定冠詞「１つ(a)」または「１つ(an)」による特許請求の範囲の列記の導入が、１つのそのような列記のみを含む実施形態に導入されるそのような特許請求の範囲の列記を含む任意の特定の特許請求の範囲を限定し、同じことが、特許請求の範囲の列記を導入するのに使用される定冠詞の使用にあてはまることを暗示するものと解釈されるべきでない。加えて、導入された特許請求の範囲の列記の特定の数が明示的に列記されても、そのような列記は、典型的には、少なくとも列記された数を意味する（例えば、他の修飾子のない「２つの列記」のそのままの列記が、典型的には、少なくとも２つの列記または２つ以上の列記を意味する）ものと解釈されるべきであることを当業者は認識されよう。さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つなど」に類似する慣例が使用されるこれらの事例では、一般に、当業者が慣例を理解するという意味で、そのような構成が意図される（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、限定はしないが、Ａのみを、Ｂのみを、Ｃのみを、ＡおよびＢをともに、ＡおよびＣをともに、ＢおよびＣをともに、並びに／またはＡ、Ｂ、およびＣをともに有するシステムを含むなど）。「Ａ、Ｂ、またはＣのうちの少なくとも１つなど」に類似する慣例が使用されるこれらの事例では、一般に、当業者が慣例を理解する意味で、そのような構成が意図される（例えば、「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」は、限定はしないが、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢをともに、ＡおよびＣをともに、ＢおよびＣをともに、並びに／またはＡ、Ｂ、およびＣをともに有するシステムを含むなど）。さらに、２つ以上の選択的用語を表す、ほぼ全ての選言的言葉および／または句は、明細書、特許請求の範囲、または図面を問わず、用語の１つ、用語のいずれか、または両方の用語を含む可能性を考えるものと理解されるべきであることを、当業者は理解されよう。例えば、「ＡまたはＢ」という句は、「Ａ」または「Ｂ」、あるいは「ＡおよびＢ」の可能性を含むものと理解されよう。
[0084] 様々な態様および実施形態が本明細書で開示されたが、他の態様および実施形態が当業者には明らかであろう。本明細書で開示した様々な態様および実施形態は、説明のためのものであり、限定するものでない。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
キャプチャされた画像中のカラーシェーディングアーティファクトを補正するための電子デバイスにおける方法であって、前記方法は、
前記キャプチャされた画像とシーン統計値とを備える画像データを受信することと、前記シーン統計値が、前記キャプチャされた画像のダウンサンプリングされたバージョンを備える、
参照テーブルにアクセスすることと、ここにおいて、前記参照テーブルが、一般的な照明の下で較正されたシェーディング補正データを備える、
前記参照テーブルを使用して前記シーン統計値中のカラーシェーディングを補正することと、
前記補正されたシーン統計値中のカラーシェーディングを推定することと、
前記推定されたカラーシェーディングに基づいて前記参照テーブルを更新することと、
前記更新された参照テーブルを使用して前記キャプチャされた画像中のカラーシェーディングを補正することと
を備える、方法。
［Ｃ２］
カラーシェーディングを推定することは、固有カラー成分から第１のカラーシェーディング成分を分離することを備え、ここにおいて、前記固有カラー成分は、前記キャプチャされた画像の真の色相成分を表す、Ｃ１に記載の方法。
［Ｃ３］
カラーシェーディングを推定することは、前記シーン統計値を少なくとも１つの色相チャネルに変換することと、前記少なくとも１つの色相チャネルから前記第１のカラーシェーディング成分を推定することとをさらに備える、Ｃ２に記載の方法。
［Ｃ４］
前記固有カラー成分から第２のカラーシェーディング成分を分離することをさらに備える、Ｃ２に記載の方法。
［Ｃ５］
前記第１のカラーシェーディング成分はＲ／Ｇ色相チャネルから推定され、前記第２のカラーシェーディング成分はＢ／Ｇ色相チャネルから推定される、Ｃ４に記載の方法。
［Ｃ６］
カラーシェーディングを推定することは、反復カラーシェーディング推定プロセスを使用して行われる、Ｃ１に記載の方法。
［Ｃ７］
前記反復カラーシェーディング推定プロセスは、カラーシェーディング成分の値および前記固有カラー成分の値が収束するまで、固定の固有カラー成分値を使用して前記カラーシェーディング成分の前記値と、ここにおいて前記固有カラー成分は前記キャプチャされた画像の真の色相成分を表すもので、固定のカラーシェーディング成分値を使用して前記固有カラー成分の前記値とを交互に求める、Ｃ６に記載の方法。
［Ｃ８］
前記カラーシェーディング成分の前記値と前記固有カラー成分の前記値とを交互に求めることは、拡張ラグランジュ関数を使用することを備える、Ｃ７に記載の方法。
［Ｃ９］
複数の部分勾配を求めることをさらに備える、Ｃ７に記載の方法。
［Ｃ１０］
カラーシェーディングを推定することは、アグレッシブカラーシェーディング推定プロセスを使用して行われるＣ１に記載の方法。
［Ｃ１１］
前記アグレッシブカラーシェーディング推定プロセスは、前記シーン統計値の少なくとも１つの色相成分からカラーシェーディング成分の複数の部分勾配を直接検出することを備える、Ｃ１０に記載の方法。
［Ｃ１２］
前記アグレッシブカラーシェーディング推定プロセスは、前記複数の部分勾配から前記カラーシェーディング成分を再構成することをさらに備える、Ｃ１１に記載の方法。
［Ｃ１３］
前記画像データは、複数の画像フレームを備えるビデオシーケンスを備える、Ｃ１に記載の方法。
［Ｃ１４］
前記複数の画像フレームの各々中のカラーシェーディングを推定することと、
前記複数の画像フレームの各々のための更新された参照テーブルを生成することと、
前記複数の画像フレームの各々中のカラーシェーディングを補正することと
をさらに備える、Ｃ１３に記載の方法。
［Ｃ１５］
前記ビデオシーケンス中の前記複数の画像フレーム中の前記カラーシェーディングアーティファクトはリアルタイムで補正される、Ｃ１４に記載の方法。
［Ｃ１６］
前記参照テーブルは複数のサブテーブルを備え、ここにおいて、前記複数のサブテーブルの各々は複数のバイヤーチャネルのうちの１つに関連する、Ｃ１に記載の方法。
［Ｃ１７］
参照テーブルを記憶するように構成される補正テーブルデータリポジトリと、ここにおいて前記参照テーブルは、一般的な照明の下で参照モジュールに対して較正されたシェーディング補正データを備える、
キャプチャされた画像とシーン統計値とを備える画像データを受信することと、前記シーン統計値は前記キャプチャされた画像のダウンサンプリングされたバージョンを備えるもので、前記参照テーブルを使用して前記シーン統計値に対して予備カラーシェーディング補正を行うこととをするように構成される初期カラーシェーディング補正モジュールと、
前記シーン統計値中のカラーシェーディングを推定するように構成されるカラーシェーディング推定モジュールと、
前記参照テーブルおよび前記推定されたカラーシェーディングから、更新されたテーブルを生成するように構成されるテーブル更新モジュールと、
前記更新されたテーブルを使用して前記画像データ中のカラーシェーディングアーティファクトを補正するように構成されるカラーシェーディング補正モジュールと
を備える、動的カラーシェーディング補正装置。
［Ｃ１８］
前記補正テーブルデータリポジトリは、前記参照テーブルの複数のサブテーブルを記憶するようにさらに構成され、ここにおいて、前記複数のサブテーブルの各々は複数のバイヤーチャネルのうちの１つに関連する、Ｃ１７に記載の動的カラーシェーディング補正装置。
［Ｃ１９］
前記カラーシェーディング推定モジュールは、前記シーン統計値中の前記複数のバイヤーチャネルのうちの少なくとも１つ中のカラーシェーディングを推定するようにさらに構成される、Ｃ１８に記載の動的カラーシェーディング補正装置。
［Ｃ２０］
前記テーブル更新モジュールは、前記複数のバイヤーチャネルのうちの前記少なくとも１つ中の対応する推定されたカラーシェーディングを使用して前記複数のサブテーブルを更新するように構成される、Ｃ１９に記載の動的カラーシェーディング補正装置。
［Ｃ２１］
前記カラーシェーディング推定モジュールは、反復カラーシェーディング推定プロセスを行うように構成される、Ｃ１７に記載の動的カラーシェーディング補正装置。
［Ｃ２２］
前記カラーシェーディング推定モジュールが、アグレッシブカラーシェーディング推定プロセスを行うように構成される、Ｃ１７に記載の動的カラーシェーディング補正装置。
［Ｃ２３］
フィルタに関連する画像センサーをさらに備える、Ｃ１７に記載の動的カラーシェーディング補正装置。
［Ｃ２４］
前記フィルタは反射赤外線カットオフフィルタである、Ｃ２３に記載の動的カラーシェーディング補正装置。
［Ｃ２５］
前記画像センサーは中心領域と複数のエッジ領域とを備え、前記赤外線カットオフフィルタを通って前記画像センサーに到る入射光の異なるスペクトルは前記中心領域と前記複数のエッジ領域とに伝達される、Ｃ２４に記載の動的カラーシェーディング補正装置。
［Ｃ２６］
キャプチャされた画像のシーン統計値から複数の色相成分を取得することと、ここにおいて前記シーン統計値は、前記キャプチャされた画像のダウンサンプリングされたバージョンを表す、
カラーシェーディング成分値と固有カラー成分値とを求める反復問題を初期化することと、
前記反復問題の第１の反復を行うことと、
前記カラーシェーディング成分値と前記固有カラー成分値とが収束したかどうかを決定することと、
前記カラーシェーディング成分値と前記固有カラー成分値とが収束しなかった場合、前記反復問題の追加の反復を行い、前記カラーシェーディング成分値と前記固有カラー成分値とが収束した場合、前記カラーシェーディング成分を出力することと
を備える、反復カラーシェーディング推定プロセス。
［Ｃ２７］
前記反復問題の第１の反復を行うことは、固定の固有カラー成分値を使用して前記カラーシェーディング成分値を求めることを備える、Ｃ２６に記載の反復カラーシェーディング推定プロセス。
［Ｃ２８］
前記反復問題の第１の反復を行うことは、固定のカラーシェーディング成分値を使用して前記固有カラー成分値を求めることをさらに備える、Ｃ２７に記載の反復カラーシェーディング推定プロセス。
［Ｃ２９］
前記反復問題の第１の反復を行うことは、前記固定の固有カラー成分値を使用して複数の部分勾配値を求めることをさらに備える、Ｃ２７に記載の反復カラーシェーディング推定プロセス。
［Ｃ３０］
キャプチャされた画像のシーン統計値から複数の色相成分を取得することと、ここにおいて前記シーン統計値は前記キャプチャされた画像のダウンサンプリングされたバージョンを表す、
前記シーン統計値の少なくとも１つの色相成分からカラーシェーディング成分の複数の部分勾配を直接検出することと、
前記複数の部分勾配から前記カラーシェーディング成分を再構成することと
を備える、アグレッシブカラーシェーディング推定プロセス。

Claims (29)

  1. キャプチャされた画像中のカラーシェーディングアーティファクトを補正するための電子デバイスにおける方法であって、前記方法は、
    前記キャプチャされた画像とシーン統計値とを備える画像データを受信することと、前記シーン統計値が、前記キャプチャされた画像のダウンサンプリングされたバージョンを備える、
    参照テーブルにアクセスすることと、ここにおいて、前記参照テーブルが、一般的な照明の下で較正されたシェーディング補正データを備える、
    前記参照テーブルを使用して前記シーン統計値中のカラーシェーディングを補正することと、
    前記補正されたシーン統計値中のカラーシェーディングを推定することと、
    前記推定されたカラーシェーディングに基づいて前記参照テーブルを更新することと、
    前記更新された参照テーブルを使用して前記キャプチャされた画像中のカラーシェーディングを補正することと
    を備える、方法。
  2. カラーシェーディングを推定することは、固有カラー成分から第１のカラーシェーディング成分を分離することを備え、ここにおいて、前記固有カラー成分は、前記キャプチャされた画像の真の色相成分を表す、請求項１に記載の方法。
  3. カラーシェーディングを推定することは、前記シーン統計値を少なくとも１つの色相チャネルに変換することと、前記少なくとも１つの色相チャネルから前記第１のカラーシェーディング成分を推定することとをさらに備える、請求項２に記載の方法。
  4. 前記固有カラー成分から第２のカラーシェーディング成分を分離することをさらに備える、請求項２に記載の方法。
  5. 前記第１のカラーシェーディング成分はＲ／Ｇ色相チャネルから推定され、前記第２のカラーシェーディング成分はＢ／Ｇ色相チャネルから推定される、請求項４に記載の方法。
  6. カラーシェーディングを推定することは、反復カラーシェーディング推定プロセスを使用して行われる、請求項１に記載の方法。
  7. 前記反復カラーシェーディング推定プロセスは、固定の固有カラー成分値を使用してカラーシェーディング成分の値と、固定のカラーシェーディング成分値を使用して固有カラー成分の値とを、前記カラーシェーディング成分の前記値および前記固有カラー成分の前記値が収束するまで、交互に求める、ここにおいて前記固有カラー成分は前記キャプチャされた画像の真の色相成分を表す、請求項６に記載の方法。
  8. 前記カラーシェーディング成分の前記値と前記固有カラー成分の前記値とを交互に求めることは、拡張ラグランジュ関数を使用することを備える、請求項７に記載の方法。
  9. 複数の部分勾配を求めることをさらに備える、請求項７に記載の方法。
  10. カラーシェーディングを推定することは、アグレッシブカラーシェーディング推定プロセスを使用して行われる請求項１に記載の方法。
  11. 前記アグレッシブカラーシェーディング推定プロセスは、前記シーン統計値の少なくとも１つの色相成分からカラーシェーディング成分の複数の部分勾配を直接検出することを備える、請求項１０に記載の方法。
  12. 前記アグレッシブカラーシェーディング推定プロセスは、前記複数の部分勾配から前記カラーシェーディング成分を再構成することをさらに備える、請求項１１に記載の方法。
  13. 前記画像データは、複数の画像フレームを備えるビデオシーケンスを備える、請求項１に記載の方法。
  14. 前記複数の画像フレームの各々中のカラーシェーディングを推定することと、
    前記複数の画像フレームの各々のための更新された参照テーブルを生成することと、
    前記複数の画像フレームの各々中のカラーシェーディングを補正することと
    をさらに備える、請求項１３に記載の方法。
  15. 前記ビデオシーケンス中の前記複数の画像フレーム中の前記カラーシェーディングアーティファクトはリアルタイムで補正される、請求項１４に記載の方法。
  16. 前記参照テーブルは複数のサブテーブルを備え、ここにおいて、前記複数のサブテーブルの各々は複数のバイヤーチャネルのうちの１つに関連する、請求項１に記載の方法。
  17. 参照テーブルを記憶するように構成される補正テーブルデータリポジトリと、ここにおいて前記参照テーブルは、一般的な照明の下で参照モジュールに対して較正されたシェーディング補正データを備える、
    キャプチャされた画像とシーン統計値とを備える画像データを受信することと、前記シーン統計値は前記キャプチャされた画像のダウンサンプリングされたバージョンを備えるもので、前記参照テーブルを使用して前記シーン統計値に対して予備カラーシェーディング補正を行うことと、
    前記シーン統計値中のカラーシェーディングを推定することと、
    前記参照テーブルおよび前記推定されたカラーシェーディングから、更新されたテーブルを生成することと、
    前記更新されたテーブルを使用して前記画像データ中のカラーシェーディングアーティファクトを補正することと
    を行うように構成されるプロセッサと
    を備える、動的カラーシェーディング補正装置。
  18. 前記補正テーブルデータリポジトリは、前記参照テーブルの複数のサブテーブルを記憶するようにさらに構成され、ここにおいて、前記複数のサブテーブルの各々は複数のバイヤーチャネルのうちの１つに関連する、請求項１７に記載の動的カラーシェーディング補正装置。
  19. 前記プロセッサは、前記シーン統計値中の前記複数のバイヤーチャネルのうちの少なくとも１つ中のカラーシェーディングを推定するようにさらに構成される、請求項１８に記載の動的カラーシェーディング補正装置。
  20. 前記プロセッサは、前記複数のバイヤーチャネルのうちの前記少なくとも１つ中の対応する推定されたカラーシェーディングを使用して前記複数のサブテーブルを更新するように構成される、請求項１９に記載の動的カラーシェーディング補正装置。
  21. 前記プロセッサは、反復カラーシェーディング推定プロセスを行うようにさらに構成される、請求項１７に記載の動的カラーシェーディング補正装置。
  22. 前記プロセッサは、アグレッシブカラーシェーディング推定プロセスを行うようにさらに構成される、請求項１７に記載の動的カラーシェーディング補正装置。
  23. フィルタに関連する画像センサーをさらに備える、請求項１７に記載の動的カラーシェーディング補正装置。
  24. 前記フィルタは反射赤外線カットオフフィルタである、請求項２３に記載の動的カラーシェーディング補正装置。
  25. 前記画像センサーは中心領域と複数のエッジ領域とを備え、前記赤外線カットオフフィルタを通って前記画像センサーに到る入射光の異なるスペクトルは前記中心領域と前記複数のエッジ領域とに伝達される、請求項２４に記載の動的カラーシェーディング補正装置。
  26. キャプチャされた画像のシーン統計値から複数の色相成分を取得することと、ここにおいて前記シーン統計値は、前記キャプチャされた画像のダウンサンプリングされたバージョンを表す、
    カラーシェーディング成分値と固有カラー成分値とを求める反復問題を初期化することと、前記カラーシェーディング成分は、前記キャプチャされた画像にわたる色応答の変動の勾配を表し、前記固有カラー成分は、前記キャプチャされた画像によって表されるシーンの色相成分を表す、
    前記反復問題の第１の反復を行うことと、
    前記カラーシェーディング成分値と前記固有カラー成分値とが収束したかどうかを決定することと、
    前記カラーシェーディング成分値と前記固有カラー成分値とが収束しなかった場合、前記反復問題の追加の反復を行い、前記カラーシェーディング成分値と前記固有カラー成分値とが収束した場合、前記カラーシェーディング成分を出力することと
    を備える、反復カラーシェーディング推定プロセス。
  27. 前記反復問題の第１の反復を行うことは、固定の固有カラー成分値を使用して前記カラーシェーディング成分値を求めることを備える、請求項２６に記載の反復カラーシェーディング推定プロセス。
  28. 前記反復問題の第１の反復を行うことは、固定のカラーシェーディング成分値を使用して前記固有カラー成分値を求めることをさらに備える、請求項２７に記載の反復カラーシェーディング推定プロセス。
  29. 前記反復問題の第１の反復を行うことは、前記固定の固有カラー成分値を使用して複数の部分勾配値を求めることをさらに備える、請求項２７に記載の反復カラーシェーディング推定プロセス。
JP2016526184A 2013-08-07 2014-08-04 動的カラーシェーディング補正 Active JP6054585B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361863353P 2013-08-07 2013-08-07
US61/863,353 2013-08-07
US14/099,603 US9270959B2 (en) 2013-08-07 2013-12-06 Dynamic color shading correction
US14/099,603 2013-12-06
PCT/US2014/049603 WO2015020958A2 (en) 2013-08-07 2014-08-04 Dynamic color shading correction

Publications (2)

Publication Number Publication Date
JP2016525309A JP2016525309A (ja) 2016-08-22
JP6054585B2 true JP6054585B2 (ja) 2016-12-27

Family

ID=52448331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016526184A Active JP6054585B2 (ja) 2013-08-07 2014-08-04 動的カラーシェーディング補正

Country Status (6)

Country Link
US (1) US9270959B2 (ja)
EP (1) EP3031202B1 (ja)
JP (1) JP6054585B2 (ja)
KR (1) KR101688373B1 (ja)
CN (1) CN105453543B (ja)
WO (1) WO2015020958A2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9652892B2 (en) * 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
US9661290B2 (en) * 2014-11-21 2017-05-23 Samsung Electronics Co., Ltd. Image processing apparatus and method
GB2599504B (en) 2015-09-18 2022-06-29 Shanghai United Imaging Healthcare Co Ltd System and method for computer tomography
CN106551703B (zh) * 2015-09-30 2018-10-30 上海联影医疗科技有限公司 计算机断层成像方法和计算机断层成像系统
US10148873B2 (en) * 2015-12-22 2018-12-04 Mitsubishi Electric Research Laboratories, Inc. Method and system for motion adaptive fusion of optical images and depth maps acquired by cameras and depth sensors
CN106886786A (zh) * 2017-02-24 2017-06-23 上海巽晔计算机科技有限公司 一种有效的图像处理系统
EP3596695B1 (en) * 2017-03-15 2024-07-17 Teledyne Flir, LLC Systems and methods for reducing low-frequency non-uniformity in images
US10970552B2 (en) 2017-09-28 2021-04-06 Gopro, Inc. Scene classification for image processing
KR102415509B1 (ko) * 2017-11-10 2022-07-01 삼성전자주식회사 얼굴 인증 방법 및 장치
JP7249207B2 (ja) * 2019-05-28 2023-03-30 シャープ株式会社 シェーディング補正信号生成装置、複合機及びシェーディング補正信号生成方法
US11216981B2 (en) 2019-07-26 2022-01-04 Cnh Industrial America Llc System and method for calibrating image data during an agricultural operation using a color indicator
CN113129222A (zh) * 2020-01-13 2021-07-16 华为技术有限公司 颜色阴影校正方法、终端设备及计算机可读存储介质
WO2021187432A1 (ja) 2020-03-16 2021-09-23 日東電工株式会社 光学フィルタ、その製造方法および光学モジュール
CN114972047A (zh) * 2021-02-24 2022-08-30 北京小米移动软件有限公司 图像处理方法、装置及存储介质
CN113905218B (zh) * 2021-05-25 2022-10-28 荣耀终端有限公司 颜色阴影校正方法、电子设备、芯片系统及存储介质
TWI792454B (zh) 2021-07-28 2023-02-11 瑞昱半導體股份有限公司 自適應的圖像陰影校正方法及圖像陰影校正系統

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348602A (ja) 2002-05-23 2003-12-05 Olympus Optical Co Ltd 信号処理装置及びそのプログラム
JP4603319B2 (ja) * 2004-09-01 2010-12-22 パナソニック株式会社 画像入力装置
JP3912404B2 (ja) 2004-10-25 2007-05-09 コニカミノルタフォトイメージング株式会社 撮像装置
US7548661B2 (en) * 2005-12-23 2009-06-16 Microsoft Corporation Single-image vignetting correction
JP2008053931A (ja) * 2006-08-23 2008-03-06 Fujifilm Corp 撮像装置
US20080101693A1 (en) * 2006-10-26 2008-05-01 Intelligence Frontier Media Laboratory Ltd Video image based tracking system for identifying and tracking encoded color surface
US7995114B2 (en) 2007-12-12 2011-08-09 Lexmark International, Inc. Method for providing image illumination calibration for an imaging apparatus
FR2948521B1 (fr) * 2009-07-21 2012-01-27 Dxo Labs Procede d'estimation d'un defaut d'un systeme de capture d'images et systemes associes
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
KR101310216B1 (ko) * 2009-12-21 2013-09-24 한국전자통신연구원 촬영된 영상의 컬러 변환 장치 및 방법
US8593548B2 (en) * 2011-03-28 2013-11-26 Aptina Imaging Corporation Apparataus and method of automatic color shading removal in CMOS image sensors
US8705827B2 (en) * 2011-04-15 2014-04-22 Georgia Tech Research Corporation Scatter correction methods
US20130021488A1 (en) 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
JP5234150B2 (ja) * 2011-08-26 2013-07-10 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9060078B2 (en) * 2012-05-30 2015-06-16 Ricoh Company, Ltd. Printer consistency measurement, evaluation and correction

Also Published As

Publication number Publication date
JP2016525309A (ja) 2016-08-22
CN105453543A (zh) 2016-03-30
KR101688373B1 (ko) 2016-12-20
US9270959B2 (en) 2016-02-23
WO2015020958A2 (en) 2015-02-12
WO2015020958A3 (en) 2015-04-09
KR20160040596A (ko) 2016-04-14
US20150042844A1 (en) 2015-02-12
EP3031202A2 (en) 2016-06-15
CN105453543B (zh) 2017-02-08
EP3031202B1 (en) 2019-02-20

Similar Documents

Publication Publication Date Title
JP6054585B2 (ja) 動的カラーシェーディング補正
KR102474715B1 (ko) 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합
JP5213670B2 (ja) 撮像装置及びぶれ補正方法
RU2543974C2 (ru) Управление автофокусировкой с использованием статистических данных изображения на основании показателей грубой и точной автофокусировки
US9626745B2 (en) Temporal multi-band noise reduction
RU2537038C2 (ru) Автоматическая обработка баланса белого с гибким выбором цветового пространства
RU2530009C1 (ru) Способ и система обработки изображений со сдвоенным датчиком изображений
AU2010308351B2 (en) Temporal filtering techniques for image signal processing
US7038185B1 (en) Camera for directly generating a gradient image
EP2189939B1 (en) Image restoration from multiple images
US8472712B2 (en) System and method for applying lens shading correction during image processing
US8358319B2 (en) System and method for processing image data using an image processing pipeline of an image signal processor
US20220138964A1 (en) Frame processing and/or capture instruction systems and techniques
US20170070689A1 (en) Automatic compensation of lens flare
CN113170030A (zh) 使用神经网络对摄影曝光不足进行校正
US20150350509A1 (en) Scene Motion Correction In Fused Image Systems
AU2010308437A1 (en) System and method for detecting and correcting defective pixels in an image sensor
JP2018112936A (ja) Ｈｄｒ画像処理装置および方法
Luo et al. Real‐time digital image stabilization for cell phone cameras in low‐light environments without frame memory
KR101070057B1 (ko) 적응형 감마 보정 곡선을 이용한 영상 처리 방법
Narasimha et al. A real-time high dynamic range HD video camera
Kim et al. On-Chip Depth and Image Sensing System With Offset Pixel Apertures
Koskiranta Improving automatic imaging algorithms with dual camera system
CHIPS High Dynamic Range Techniques in Graphics: from Acquisition to Display
Kim et al. New perceptual approach for CCD matrix calculation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160422

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160422

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161130

R150 Certificate of patent or registration of utility model

Ref document number: 6054585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250