JP5918915B2 - カラーフィルタを有するセンサを用いて、改善されたカラー画像を作成するための方法およびデバイス - Google Patents

Description

発明の分野

本発明は、カラーフィルタを有するセンサを備えるカメラ、特にデジタル産業用カメラを用いた画像作成のためのデバイスおよび方法に関する。

発明の背景

産業環境においては、生産プロセス、機械または物体を監視するためにデジタルカメラがしばしば用いられる。このような産業用カメラは、例えば、画像処理による品質管理等の、単純な監視機能のため、および計量的課題のために用いられる。それらの産業用カメラは、設備内への組み込みのためのそれらの能力、およびそれらの高い画質によって特徴付けられる。

ベイヤー（Ｂａｙｅｒ）センサとは、−チェッカー盤と同様に−、大抵の場合、５０％の緑ならびに各々２５％の赤および青からなる、カラーフィルタによって覆われたセンサの名称である。この際、人間の目は他の色よりも緑により敏感に反応すると考えられている。デジタル写真カメラおよびフィルムカメラ内の多くの従来のＣＣＤセンサはベイヤーマトリックス（またはベイヤーパターン）のコンセプトを適用している。「ベイヤー」マトリックスまたは「ベイヤー」フィルタは、発明者、ブライス Ｅ．ベイヤー（Ｂｒｙｃｅ Ｅ．Ｂａｙｅｒ）にちなんで名付けられており、米国特許第３，９７１，０６５号により詳細に説明されている。

イメージセンサの半導体材料の光感応セルはルミネセンス値のみを検出することができる。色情報を得るために、各単一のセルの前に３つの基本色、赤、緑または青のうちの１つの小さなカラーフィルタが配置される。フィルタは、例えば、奇数行では緑−赤−緑−赤の順序、および偶数行では青−緑−青−緑の順序で適用される。このようなフィルタを有するイメージセンサの各光感応セル（画素）は、対応して、この位置における単一の色成分のための情報のみを送り出す。しかし、フルカラー画像を得るためには、例えば、いくつかの色成分、赤、緑および青からなる、色値が画素ごとに必要とされる。同じ寸法および同じ解像度を有するフルカラー画像が生成されるべきである場合には、欠落した色情報の、隣接画素値からの補間が必要となる。それゆえ、カラー画像の緑の値の５０％は計算され、青および赤については、計算によって埋められるべきであるのは、各々、色値の７５％（あるいは、１つの行では５０％、および次の行では行の１００％）である。この補間は、画像内の隣接画素間に生じる色差はわずかであるという仮定に基づく。しかし、当然、これはどの撮像対象にも当てはまるわけではない。したがって、厳密に言えば、ベイヤーセンサは、アーチファクトのないカラー画像を考慮した仮想解像度の４分の１のみを提供する。

図１は、デジタル産業用カメラの例示的な適用を示す。デジタル産業用カメラ１０が産業装置２３内への組み込みのために提供され、その一部としてそれらは、例えば、物体１４、１５または人間の画像を検出する。これらの画像は画像データ１６として転送され、それにより、これらの画像は評価され、および／またはアーカイブされることができる。評価は多くの場合、画像処理手段１８によって自動的に行われる。多くの場合、評価結果に応じて、装置２３に関連した自動化されたアクションが遂行される。このようにして、明るい物体１４および暗い物体１５であって、それらの色によって弁別することができる、物体１４および物体１５が、光学的基準に基づき自動的に選別される。このような選別はさまざまな産業部門においてよく行われる。一例として、食品、例えば穀物を、変色がないという基準に従い、鉱石および岩石片を、それらの色またはそれらの明るさに基づき、郵便物を、それらの上に配置された住所に基づき、ブレーキディスクおよびシールリングを、正しい形状へのそれらの適合および特定の公称寸法へのそれらの適合に基づき、あるいは空のリターナブル瓶を、正しい形状およびそれらの上に配置されたバーコードに基づき、という具合である。このような選別はしばしば品質の検査および保証に役立つ。

このような産業装置２３は多くの場合、物体１４、１５を給送する駆動構成要素、例えば、駆動モータ１２および給送速度１３を有する給送ベルト１１、を備える。カメラ１０は適当な位置で対物レンズ等の光学素子２２を用いて画像を記録する。これにより、カメラ１０は、例えば、欧州特許出願公開第１９１９１９７（Ａ２）号に説明されているように、エリアスキャンカメラとして、行スキャンカメラとして、または複数行スキャンカメラとして構成されてもよい。カメラは、記録された画像の画像信号１６を画像処理手段１８（例えば、コンピュータ（Ｃ））へ送る。さらに、画像処理手段１８には任意に、例えば、ロータリエンコーダによって判定されてもよい、給送ベルト１１の給送速度１３に関する情報１７が提供されてもよい。これにより、画像処理手段は、数多くの制御可能な空気噴射器を越えて落下する要素等の物体がアクチュエータ１９を通過する適切な時点を求めることができ、制御信号２４をアクチュエータ１９に供給することができる。その制御信号に基づき、該当する物体を選別に導くために好適であるアクションが遂行される。一例として、空気噴射器の制御は、物体は、空気流のスイッチが切られた場合に、第１の容器２０内へ落下するのか、それとも、空気流のスイッチが入れられた場合に、第２の容器２１へ偏向されるのかを決定することができる。

このような適用では、カメラ１０が画像をできるだけ高速に転送することができ、それにより、画像処理手段１８がアクチュエータ１９のための制御信号２４をできるだけ高速に生成することができ、それゆえ、所望の制御動作を早い段階に開始することができれば、有利である。これにより、装置２３をより高速に動作させることができる。いくつかの適用では、特に、物体１４および１５が給送ベルト１１上で動くとき、例えば転がるときに、より高い精度もしくは位置を達成することができるか、または他のパラメータを最適化することができる。

他の適用事例では、状況の記録および／または証拠提示にも有益である場合がある。一例として、−例えば、独国特許出願公開第１０２０１０００３０３９（Ａ１）号に説明されているように−、道路交通内で無法に動く車両の画像が、例えば、速度制限を違反するかまたは赤信号を通過した時に、記録される。一例として、損害はフェリーボート上で起きたのかどうかを賠償請求の場合に判定することができるように、フェリーボートの積み込みおよび積み下ろしに伴って車両の画像の記録が行われる場合もある。このような適用では、物体の色および特定の状況、例えば、赤信号、が正確に再現されることが要求される。さらに、画像が良好な品質を有することが重要である。とりわけ、画像の物体を容易に識別することができ、文字、特に、黒および白のコントラストを有するものが、鮮鋭で容易に判読できる仕方で再現される場合には、このように言える。

図２は、対物レンズ２２を有するデジタルカメラ１０の構造の略図を示す。画像シーン３０が対物レンズ２２を介して、光感応要素（画素）の規則的配列を有するイメージセンサ３１上に再現される。イメージセンサ３１は電子データを、例えば、プロセッサ、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）またはいわゆるフィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）を備える、大抵、カメラ１０内に含まれる処理ユニット３２へ転送する。この場合には、アナログ画像データが、例えば、アナログ−デジタル変換器（ＡＤ変換器）を用いて、デジタル画像データに変換されることが必要となりうる。処理ユニットにおいて、画像データはユーザが適用可能な形に変換され、その後、インタフェース３３を介して電子信号３４として出力される。

このようなデジタルカラーカメラのユーザは、画素位置ごとに完全な色値が利用可能であるカラー画像を利用したいことがしばしばある。このとき、このような色値は、位置または色空間内の位置として理解される。ここで、３次元色空間内の位置の定義は少なくとも３つの成分の指示によって達成される。最も一般的な色空間は、３次元の、例えば、ＲＧＢ、ｓＲＧＢ、ＸＹＺ、ＹＵＶ、およびＬ＊ａ＊ｂ＊色空間である。１つの色空間の色値は別の色空間の色値に変換することができる。例えば、Ａ．コスチャン（Ａ． Ｋｏｓｃｈａｎ）およびＭ．アビディ（Ｍ． Ａｂｉｄｉ）著：「デジタルカラー画像処理（Ｄｉｇｉｔａｌ Ｃｏｌｏｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）」、ジョンワイリーアンドサンズ（Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ），ホーボーケン（Ｈｏｂｏｋｅｎ）、２００８年、ＩＳＢＮ９７８−０−４７０−１４７０８−５を参照されたい。さらに、色値を伝送するための方法は、例えば、８ビットＲＧＢ、１２ビットＲＧＢまたはＹＵＶ ４−２−２として、知られている。

各画素は１つの色にのみ感応性を有するため、すなわち、それは１次元情報を送り出すため、３次元色空間内の値としてのこの画素のための色値の決定は定まっていない。したがって、一般的に、隣接画素、特に、別の色のカラーマスクを有するこのような画素の信号を含めることによる欠落情報の決定が行われる。対応する計算は、デベイヤー処理、デモザイク処理、またはカラーフィルタアレイ（ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ、ＣＦＡ）補間と呼ばれ、例えば、米国特許第６，１８１，３７６号に説明されている。デベイヤー処理の結果、画素ごとに多次元色値が得られる。

デベイヤー処理が遂行される産業用カメラが知られている。同様に、画像を、色値としてではなく、生データとしてコンピュータへ伝送するカメラも提供されている。このときには、デベイヤー処理がコンピュータ内で遂行されることが必要になる。ここで、デベイヤー処理は、画像データを受信するために用いられるプラグインカード、いわゆるフレームグラバ上で遂行するか、またはコンピュータもしくはグラフィックスボードのプロセッサによって遂行することができる。さらに、いわゆるソフトウェア実装ドライバが提供されたカメラも存在する。多くの場合、それは、デベイヤー処理を実行するためのプログラムコードを包含する。デベイヤー処理が遂行されると、不都合な誤った色が生じる場合があることが知られており、これはカラーエイリアシングと呼ばれる。この問題は、例えば、米国特許出願公開第２０１０００８５４５２（Ａ）号において幅広く議論されている。このようなカラーエイリアシングをいわゆるアンチエイリアシングによって防止するための提案が、とりわけ、米国特許第６，８１９，８０１号に説明されている。

デジタル（産業用）カメラの性能のためには、特に、速度および画質が極めて重要である。後者は、現在のバージョン３．０の規格ＥＭＶＡ１２８８（ｗｗｗ．ｅｍｖａ．ｏｒｇ）に従って決定される。さらに、画像の主観的な人間の知覚がユーザによって画質の判断のための重要な基準として使われる。

デジタル産業用カメラは、種々の産業部門、例えば、食品産業、物流、運輸、自動車産業、ロボット工学およびその他のものにおいて適用されている。これらの産業部門内においては、異なる要求、例えば、イメージセンサのサイズ、画素の数によって与えられる光学解像度に関する要求、画像内で毎秒測定される繰り返し速度（ｆｐｓ）に関する要求、および、例えば、規格ＣａｍｅｒａＬｉｎｋ、ＩＥＥ１３９４、ＧｉｇＥ ＶｉｓｉｏｎもしくはＵＳＢに従う、データ伝送形式に関する要求、を有する多くのさらなる異なる適用が存在する。例えば、最大毎秒８００Ｍｂｙｔｅを有するＣａｍｅｒａＬｉｎｋ、または最大毎秒１００Ｍｂｙｔｅを有するＧｉｇＥ Ｖｉｓｉｏｎ等の、高いデータ速度を達成するデジタル産業用カメラが知られている。このようなさまざまな要求における効率的生産を確実にするために、このようなカメラはしばしばモジュール式に構成され、例えば、イメージセンサを有するセンサモジュール、処理モジュール、およびインタフェースを有するインタフェースモジュールを備える。処理モジュールは、複数の異なるセンサモジュールおよびインタフェースモジュールを適合させることを要求されるため、それがソフトウェアによって構成可能であれば有益であり、それによって、さまざまな種類の処理モジュール、ならびに開発、生産および物流のための関連労力を低減することができる。さらに、データ処理モジュールは、高いデータスループットを達成し、それにより、高い要求データ速度を得ることを要求される。この場合には、処理モジュールはしばしば、中心構成要素としてのＦＰＧＡによって実現される。

数学的画像処理方法内に包含される演算の数はできるだけ少なくなければならない。ＦＰＧＡの場合には、これは論理セルの使用率の低減をもたらす。このことは、安価なＦＰＧＡの使用を可能にするため、またはＦＰＧＡのより多くの空き論理セルを他の機能のために利用可能にするために有利である。ＤＳＰまたは別のプロセッサの場合には、演算数が少ないことは、これらを所与の期間内により多数の画素に適用することができ、それにより、より高いデータ速度での画像出力が可能になることを意味する。同様に、画像処理演算の数がより少なくなるおかげで、低電力かつそれゆえより安価なプロセッサを用いることができ、それゆえ、回路の複雑さを低減することができる。

米国特許第３，９７１，０６５号 欧州特許出願公開第１９１９１９７（Ａ２）号 独国特許出願公開第１０２０１０００３０３９（Ａ１）号 米国特許第６，１８１，３７６号 米国特許出願公開第２０１０００８５４５２（Ａ）号 米国特許第６，８１９，８０１号

Ａ．コスチャン（Ａ． Ｋｏｓｃｈａｎ）およびＭ．アビディ（Ｍ． Ａｂｉｄｉ）著：「デジタルカラー画像処理（Ｄｉｇｉｔａｌ Ｃｏｌｏｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）」、ジョンワイリーアンドサンズ（Ｊｏｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ），ホーボーケン（Ｈｏｂｏｋｅｎ）、２００８年、ＩＳＢＮ９７８−０−４７０−１４７０８−５

本発明の目的は、低い記憶要求を有し、メモリアクセスのための帯域幅をわずかしか必要としない、ベイヤーセンサを備えるカメラであって、ノイズおよびカラーエイリアシングを防止しつつ、低いレイテンシおよび高い画像鮮鋭度を有する高品質画像が生成されることができる、カメラを提供することである。

本発明によれば、この目的は、請求項１に記載の画像処理デバイス、請求項１１に記載のデジタルカメラ、請求項１２に記載の画像処理システム、請求項１３に記載の画像処理方法、請求項１４に記載のコンピュータデバイス、および請求項１５に記載のコンピュータプログラム製品によって達成される。

したがって、モノリシックな数学的方法に基づく画像処理プロセスを用いる本発明による解決策は、画像点の単一の所定の環境に基づく限られた資源における画像処理であって、全ての色成分への同一の値の加算は、対応する色空間の非色線と平行な色値のシフトをもたらす、画像処理を可能にする。それゆえ、加算によって得られるノイズの取り込みは不都合な色ノイズをもたらさず、非色ノイズをもたらすのみである。

さらに、画像処理演算の数の少なさはＦＰＧＡ内の論理セルの使用率の低さをもたらし、それにより、より多くの空き論理セルが他の機能のために利用可能になる。ＤＳＰまたは別のプロセッサの場合には、演算数が少ないことは、これらを所与の期間内に多くの画素に適用することができ、それにより、出力においてより高いデータ速度が得られることを意味する。

第１の有利な発展によれば、画像処理演算は、環境の第１の色成分（例えば緑色の色成分）の画像データに基づき、第２および第３の色成分（例えば、赤色および青色の色成分）の画像データに、異なる符号をそれぞれ伴って加算される補正値を決定するようになっている。

第２の有利な発展によれば、画像処理演算は、所定の畳み込み行列による第１の色成分の画像データの畳み込みによって決定される値への、画像構造の優先配向に依存する方向推定値の乗算によって補正値を決定するようになっている。

第３の有利な発展によれば、画像処理演算は、環境内の水平方向および垂直方向における明るさの変化の差に基づき方向推定値を決定するようになっている。

第４の有利な発展によれば、画像処理演算は、環境内の第１の色成分の画像データから、畳み込み行列を用いて、画像構造の方向依存性が符号によってコード化されるように、構造情報を決定するようになっている。

第５の有利な発展によれば、画像処理演算は、環境内の第１の色成分の画像データから決定された構造情報に補正項をオフセットすることによって緑色間不均衡を補正するようになっている。

第６の有利な発展によれば、画像処理演算は、環境内の第１の色成分の画像データから決定された第１の構造情報に、第１の設定値を有する第１の非線形関数を適用し、環境内の第１の色成分の画像データから決定された第２の構造情報に、第２の設定値を有する第２の非線形関数を適用し、第１および第２の非線形関数の結果を、低ノイズ構造情報を得るために加算するようになっている。

第７の有利な発展によれば、画像処理演算は、環境内の第１の色成分の画像データから決定された構造情報への補正値の乗算による画像鮮鋭化を遂行するようになっている。

これより、添付の図面に基づき本発明の好ましい実施形態を説明する。

産業用カメラの例示的な適用の概略的な原理図を示す。 デジタル産業用カメラの例示的な構造を示す図である。 図３ａおよび図３ｂはベイヤーパターンの略図を示す。 図４ａおよび図４ｂは、異なる画素密度におけるベイヤーパターンを有するカラーマスクを有する画素の概略的な断面像を示す図である。 ベイヤーパターンを有する最新の画像カラーセンサの量子効率曲線を含む図を示す。 立方体としてのＲＧＢ色空間の略図を示す。 図７ａ〜図７ｄはＲＧＢ色空間内の異なるノイズ雲の略図を示す。 画素の異なる環境の略図を示す。 プログレッシブ読み出しプロセスの原理図を示す。 読み出しレイテンシを説明するための略図を示す。 環境に関連する逐次的な画像処理プロセスの概略的フロー図を示す。 モノリシックな画像処理プロセスの概略的フロー図を示す。 ベイヤーパターンの４つの位相関係の略図を示す。 第１の実施形態に係る色成分の再現の概略的フロー図を示す。 例示的な畳み込み行列を示す図である。 位相関係ｃＲ、ｃＧｒ、ｃＧｂおよびｃB内の値Ｒ１、Ｇ１およびＢ１を決定するための例示的な畳み込み行列を示す図である。 位相関係ｃＲ、ｃＧｒ、ｃＧｂおよびｃB内の値ＧＳを決定するための例示的な畳み込み行列を示す図である。 図１８ａ〜図１８ｄは、小構造における誤った色の発生を説明するための略図を示す。 第２の実施形態に係る誤った色の追加の補正を用いた色成分の再現の概略的フロー図を示す。 第３の実施形態に係る色補正のための小構造の方向を考慮に入れた色成分の再現の概略的フロー図を示す。 ＡＡのための値を決定するための例示的な畳み込み行列を示す図である。 図２２ａ〜図２２ｄは、明るさのａ）水平変化およびｂ）垂直変化の決定、ならびに明るさのｃ）水平変化およびｄ）垂直変化の値についての、それらから生じる内部領域を説明するための例示的な図を示す。 方向推定のための例示的な畳み込み行列を示す図である。 共通基本フィルタの一例を示す図である。 推定問題を説明するための略図を示す。 第４の実施形態に係る小構造の方向を考慮した色成分の再現の概略的フロー図を示す。 ＧＳｃＧ、ＧＳｃＲＢおよびＲＢＳｃＲＢの計算のための例示的な畳み込み行列ＦＧＳｃＧ、ＦＧＳｃＲＢおよびＦＲＢＳｃＲＢを示す図である。 第２の基本フィルタの一例を示す図である。 第５の実施形態に係る小構造の方向を考慮した色成分の再現の概略的フロー図を示す。 中心画素のものに最も近いそれぞれの色値から値Ａ２およびＢ２を決定するための例示的な畳み込み行列を示す図である。 第６の実施形態に係る改善された画像鮮鋭度を有する色成分の再現の概略的フロー図を示す。 第７の実施形態に係るノイズ除去を用いた色成分の再現の概略的フロー図を示す。 図３３ａおよび図３３ｂは構造情報内のノイズの低減のための非線形関数の図を示す。 縮減された環境の一例の略図を示す。 ９×９環境のための基本フィルタの一例を示す図である。

実施形態の詳細な説明

以下の実施形態によれば、変更され、その結果より効率的になった画像処理を用いるデジタル産業用カメラが説明される。単色モノクロカメラおよび多色カラーカメラがデジタル産業用カメラとして用いられている。多くの場合、カラー画像の記録は、ベイヤーパターンを有するいわゆるモザイクフィルタを用いることによって行われる。

図３ａおよび図３ｂはベイヤーパターンの略図を示す。この場合には、図３ａに従い、色、赤、緑および青のためのカラーフィルタの規則的なパターンが画素上に配列され、それにより、各画素はそれぞれの色の光にのみ感応性を有する。それゆえ、画素は、衝突光内のそれぞれの色成分の強度に対応する信号を与える。色、赤のカラーフィルタを有する画素は赤色画素（Ｒ）と呼ばれ、色、緑のカラーフィルタを有する画素は対応して緑色画素（Ｇ）と呼ばれ、色、青のカラーフィルタを有する画素は青色画素（Ｂ）と呼ばれる。ベイヤーパターンの場合には、緑色画素（Ｇ）の数は赤色画素（Ｒ）または青色画素（Ｂ）のそれぞれの数の２倍のサイズである。

図３ｂに示されるように、緑色画素は、第１の緑色画素（Ｇｒ）および第２の緑色画素（Ｇｂ）に区別することができ、例えば、一般性を制限するものではないが、第１の緑色画素（Ｇｒ）は赤色画素の行内に位置し、第２の緑色画素（Ｇｂ）は青色画素（Ｂ）の行内に位置すると決めることができる。

図４ａおよび図４ｂは、異なる画素密度におけるベイヤーパターンを有するカラーマスクを有する画素の概略的な断面像を示す。図４ｂでは、図４ａと比べてより多くのより小さな画素が提供される。

デジタル産業用カメラ内で用いられるイメージセンサは一般的に、半導体材料、図４ａにおける半導体材料４３および図４ｂにおける半導体材料５３は、ほとんどの場合、シリコン、で作られる。この半導体材料はドーピングｐおよびｎを含み、これによって材料に電子特性が提供される。具体的には、自由電子を引き寄せて蓄えるために配置されるドーピング領域４４、４５および５４、５５がそれぞれ設けられる。一般に、各画素はこのようなドーピング領域を含む。半導体材料の上方に、電気絶縁層４２および５２がそれぞれ設けられ、その中に電子回路の電気接続が埋め込まれる。この上に、ベイヤーパターンに従い、隣接する画素において異なるカラーマスク４０、４１および５０、５１を有する層がそれぞれ位置する。このようにして、例えば、ここでは簡潔性の理由のために「赤色画素」と呼ばれる、赤色カラーマスクを有する画素は、ドーピング領域４４もしくは５４のそれぞれ、および赤色カラーマスク４１もしくは５１のそれぞれを有し、その一方で、ドーピング領域４５もしくは５５をそれぞれ有する隣接する緑色画素は、緑色カラーマスク４０または５０をそれぞれ有する。今、赤色光がセンサに衝突すれば、緑色カラーフィルタでは吸収が主に生じ、赤色カラーフィルタでは透過が主に生じる。したがって、赤色光子４６または５６がそれぞれ、赤色カラーマスク４１または５１のそれぞれ、ならびに下方に配置される絶縁層４２または５２のそれぞれを経て、半導体層４３または５３にそれぞれ入ることができ、自由光電子４７または５７をそれぞれそこに生成することができる。この自由光電子は、距離の減少とともに引力の強さが増大する近傍のドーピング領域４４、４５および５４、５５によってそれぞれ引き寄せられ、異なる引力の強さによって、および異なる距離の長さに反比例して決定される統計的確率に従いながら、ドーピング領域４４および５４のそれぞれ、あるいは４５および５５のそれぞれのうちの１つへ移動する。

ますます多くの画素がイメージセンサ当たりに集積化され、さらに、イメージセンサの総面積がコストの理由のためにいっそう小さくなるという事実のために、図４ｂにおける画素に属するそれらのドーピング領域５４および５５の距離は、図４ａにおけるドーピング領域４４および４５よりも短く、同様に、図４ｂにおけるカラーマスク５０および５１の距離は、図４ａにおけるカラーマスク４０および４１の距離よりも小さい。これにより、隣接画素のドーピング領域５５までの光電子５７の距離は、ドーピング領域４５までの光電子４７の距離と比べて、より短くなる。より短い距離のために、隣接画素への引力の強さが増大し、同時に距離の長さが減少する。そのために、赤色光５８によって生成された光電子５７が、正しいドーピング領域５４へドリフトしないで（矢印５８）、ドーピング領域５５へ誤ってドリフトする（矢印５９）統計的確率は、赤色光４８によって生成された光電子４７が、正しいドーピング領域４４へドリフトしないで（矢印４８）、ドーピング領域４５へ誤ってドリフトする（矢印４９）、図４ａにおける比較例と比べて、増大する。

光電子が、隣接するドーピング領域へ誤ってドリフトする効果は専門家の間で「クロストーク」と呼ばれる。今、ベイヤーパターンがセンサ上に配列されると、ベイヤーパターン内では、水平または垂直に隣接する画素は必ず常に異なるカラーフィルタを有するため、２つの上述の動向によって生じるクロストークの増大は、隣接画素内の誤った色に配分される光電子の数の増大をもたらす。これは不都合な色分解の悪化をもたらす。

比較的大きい波長を有する赤色光子は、比較的小さい波長を有する青色光子よりも実質的に高い侵入深さを有することがシリコンの材料特性である。そのために、同じ信号強度で赤色画素によって生成されるクロストークは、青色画素によって生じるものよりもしばしば高くなることが多くの場合起きる。

図５は、ベイヤーパターンを有する最新のカラーイメージセンサの量子効率曲線を含む図を示す。具体的には、それぞれ、赤色画素、緑色画素および青色画素のための量子効率曲線（ＱＥ）６０、６１および６２が示されている。これらの曲線を、ＣＩＥ正規価数システム（Ｎｏｒｍ Ｖａｌｅｎｔ Ｓｙｓｔｅｍ）においてＸ、ＹおよびＺとして記述される、人間の視覚のための感度曲線と比較すると、とりわけ、図５に示される曲線はどの波長についても０の量子効率を示さないという重大な相違を明らかにすることができる。しかし、ＣＩＥ正規価数システムによれば、例えば、４００ｎｍおよび５００ｎｍの波長λにおける赤色画素のための量子効率曲線６０、ならびに６００ｎｍ以上における青色画素のための量子効率曲線６２は実際には０でなければならない。このずれは上述の色分解の悪化によって説明することができる。

色分解の悪化のために、不都合な色誤差、例えば、小さすぎる色飽和度、が生じる。これは、欧州特許第２３８３９７４（Ｂ１）号または別の周知の方法に従って、例えば、例として、技術的に一般的な３×３カラーマトリックスを用いて、補正することができる。

さらに、イメージセンサの精密な設計に依存して、クロストークが非等方的に生じること、すなわち、垂直方向に隣接する画素間、および水平に隣接する画素間で、同じでないクロストーク部分が生じることが起こりうる。ここで、用語「垂直に隣接する」および「水平に隣接する」は、図３に基づく表現に関連する。

ここで、一様な明るいグレー領域が、適切な白バランスを有するイメージセンサによって記録されると仮定する。このとき、グレー色のゆえに、赤色画素の信号は青色画素の信号とほぼ同じになる。緑色画素がそれらの位置に関係なく概ね同一であり、かつ、さらに、垂直に隣接する画素間のクロストークが、水平に隣接する画素間よりも高く、かつ、青色光子と比較したときのシリコン内における赤色光子の周知のより大きな侵入深さのゆえに、赤色画素によって生成されるクロストークが、青色画素によって生成されるものよりも高い場合には、以下の状況が生じる。赤色画素（Ｒ）から第１および第２の緑色画素（Ｇｒ）および（Ｇｂ）へのクロストークのために、それらのそれぞれの信号が増大する。垂直に隣接する画素へのクロストークは、水平に隣接する画素へのものよりも高いため、それにより、垂直に隣接する第２の緑色画素（Ｇｂ）の信号は、水平に隣接する第１の緑色画素（Ｇｒ）の信号よりも強く増大する。同様に、青色画素（Ｂ）から、垂直に隣接する第１の緑色画素（Ｇｒ）へのクロストークによって、それらの信号は、水平に隣接する第２の緑色画素（Ｇｂ）のものよりも少し強く増大する。第２の緑色画素（Ｇｂ）の信号の増大はより少ない。仮定によれば、赤色画素によって生成されるクロストークは、青色画素によって生成されるものよりも高いため、第２の緑色画素（Ｇｂ）の信号の増大の合計は、第１の緑色画素（Ｇｒ）の信号の増大よりも強くなる。そのために、いわゆる「緑色間不均衡」と呼ばれる、第１および第２の緑色画素（Ｇｒ）および（Ｇｂ）相互間の信号のずれが生じる。

規格ＥＭＶＡ１２８８から、イメージセンサおよびデジタル産業用カメラの画像は、その規格に説明されているとおりの特性を有するノイズを含むことが分かる。このノイズは、デベイヤー処理および色誤差の補正等の、数学的補正プロセスの適用によって影響を受け、大抵は増幅される。この場合、画素の信号、および色値はそれぞれ測定値として解釈することができ、ノイズは測定誤差として解釈することができる。

図６は立方体としてのＲＧＢ色空間の略図を示す。ＲＧＢ色空間であって、その成分ごとの有限の値の範囲を有するＲＧＢ色空間は、立方体として表現することができる。角点は文字によって表されており、黒、色空間の原点、にはＫ、赤にはＲ、緑にはＧ、青にはＢ、黄色にはＹ、シアンにはＣ、マゼンタにはＭ、および白にはＷが用いられる。ＫからＷへの連結線は非色線７０と呼ばれる。その上には、色、黒、白、およびグレーの複数の濃淡が配置される。非色線と垂直に延びるさらなる方向は有色方向７１および７２と指定される。

図７ａ〜図７ｄはＲＧＢ色空間内の異なるノイズ雲の略図を示す。ノイズに対する色補正の効果を示すために、ベイヤーパターンを有するイメージセンサによって記録される、６４×６４画素の一様なグレー画像が仮定される。カラーフィルタの色にわたって一定である正規分布ノイズがグレー画像上に重畳される。デベイヤー処理は、よく適用される２×２方法を用いて遂行される。この方法では、画素のための欠落した色ＲまたはＢの欠落した値は、左もしくは上側または左上側のそれぞれの欠落した色のそれぞれの隣接画素を調査し、その値を直接取得することによって決定される。Ｇのための値を決定するためには、左および上側に配置されているか、あるいは画素自身および左上側に配置されている両方の緑色画素の平均が常に生成される。かように得られた色値８０がＲＧＢ色空間内に描かれている。ここで、Ｋは黒色原点であり、Ｒ、ＧおよびＢはＲＧＢ色空間の基底ベクトルである。図７ａおよび図７ｂは色値の同じ雲の２つの異なる図を示す。図７ａでは、観察者は、非色線と垂直な赤色方向から観察し、図７ｂにおける観察者は非色線と平行に観察する。このとき、原点Ｋは色値の雲によって隠される。

次に、図７ａおよび図７ｂに示される色値８０の雲に、実際に用いられているとおりの色補正が適用され、それにより、色補正された色値８１が得られる。それらは図７ｃおよび図７ｄに、図７ａおよび図７ｂにおける色値８０と同じ様式で示され、そのため、直接比較が可能である。雲の広がりは、ここでは、ノイズの強さのための直感的な尺度と解釈することができる。それゆえ、色値の小さな雲が得られれば、これは、より良好な知覚画質をもたらす、より小さなノイズに対応するため、有利である。直接比較は、補正された色値８１の雲は、元の色値８０の雲と比べて、有色方向に相当により大きな広がりを有することを示す。これは、色ノイズが色補正によって不都合な態様で相当に増大したことを示している。

デジタルカメラの画像をソフト化することができる数学的画像処理プロセスが知られている。ソフト化によって、ノイズは有利に低減される。しかし、それによって、画像鮮鋭度は低下する。不都合な画像ノイズを低減するための数学的画像処理プロセスは「ノイズ除去」と呼ばれる。

図８は画素の異なる環境の略図を示す。上述の数学的画像処理プロセスの多くは、中心画素９７のための値を計算するために周囲の画素９８の値を必要とする。したがって、これらの数学的画像処理プロセスの多くは１×１環境９１に基づくことができず、より大きな環境、例えば、２×２環境９２、３×３環境９３、５×５環境９４または７×７環境９５、を必要とする。同様に、非正方形環境、例えば、７×３環境９６、も可能である。

図９はプログレッシブ読み出しプロセスの原理図を示す。イメージセンサは一般的にプログレッシブな仕方で画像を出力する。これは、プログレッシブ読み出しとも呼ばれる。この場合には、画素１００の信号が行方向１０２において最初に出力され、次に、右側のその隣接画素１０１の信号、および読み出し方向に以下同様に続く。行１０３の最後の画素に達すると、行ごとの読み出しは次の行１０５へのジャンプ１０４を起こし、そこで最初の画素から再び出発する。

上述の数学的画像処理プロセスのほとんどは環境を必要とするため、画素の値は、当該画素が中心に位置する環境の助けを用いて計算しなければならない。このような環境を構築するために、メモリが必要となる。プログレッシブ読み出しの場合には、Ｎ−１個の行をまるまるこのメモリ内に記憶しなければならない。加えて、Ｎ−１個の画素のためのメモリがさらに必要とされる。従来のイメージセンサでは、行長はＮ−１よりも相当に大きい。そのため、必要なメモリのサイズは主に行の数によって決定される。

図１０は、読み出しレイテンシを説明するための略図を示す。画素１１２の信号がプログレッシブに伝送される場合、かつ、この画素のための値を計算するために、環境、例えば、５×５環境１１０、を必要とする数学的画像処理プロセスが用いられることになる場合には、これはすぐに可能にならない。なぜなら、画素１１２の右側の同じ行内の値および画素１１２の下方の行内の全ての値は、対応する処理ユニットにまだ転送されておらず、それゆえ、それにまだ知られていないからである。後方最小遠方にある画素、すなわち、信号の伝送が時間的に最小遠方に遡り、画素１１２の信号の伝送後に完全な５×５環境１１０の信号が存在するようになる画素が、中心画素１１１である。画素１１２の値が知られた時間から、中心画素１１１の値、例えば色値、は計算され、その後、インタフェースを介してプログレッシブに伝送されることができる。これは、結果として得られた値の画像のプログレッシブ転送は、水平レイテンシ１１３プラス垂直レイテンシ１１４の後に最も早く実施することができることを意味する。ここで、このレイテンシの時間は、データ速度および行長、ならびに中心画素１１１に対する隣接画素１１２の相対位置から計算することができる。以上において説明されたように、カメラからの画像の出力が高速であれば有利であるため、水平レイテンシ１１３および垂直レイテンシ１１４は各々できるだけ小さくなければならない。画像のプログレッシブ出力の場合には、垂直レイテンシ１１４は大抵、水平レイテンシ１１３よりも何桁も大きいため、垂直レイテンシ１１４は特にできるだけ小さくなければならない。

Ｎ×Ｎ環境によって生み出される垂直レイテンシは少なくとも（Ｎ−１）／２行に達し、水平レイテンシは（Ｎ−１）／２画素に達する。上述の例では、環境１１０を構築するために、メモリであって、その内部に画素１１２の信号が記憶され、そこから、環境１１０を構築するために環境１１０の全ての他の画素の信号を取得することができる、メモリが追加的に必要とされる。以上において説明されたように、画像はデジタル産業用カメラから高いデータ速度で出力されることになるため、このようなメモリへのアクセスも高いデータ速度で可能でなければならない。

さらに、環境を利用する場合には、環境からの複数の信号、例えば、５×５環境の場合には２５個の値、が画素の値の計算のために必要とされる。これらのうち、画素１１２の信号のみが新たに伝送されており、そのため、図１０による上述の例では、２４個の値はメモリから取得されなければならない。これは、メモリへのアクセスのためのデータ速度は、デジタル産業用カメラが画像を出力するデータ速度よりも何倍も高くなければならないことを意味する。例えば、デジタル産業用カメラが毎秒１億（１０^８）画素で画像を出力することになる場合には、このとき、１０^８個の値が毎秒計算されるべきであり、これは、メモリ内への毎秒１０^８回の書き込み動作、およびメモリからの毎秒２４×１０^８＝２．４×１０^９回の読み出し動作を必要とする。アクセスのためのこのような高いデータ速度をサポートするメモリは必然的に小さい。すなわち、それらは小さいメモリ容量を有し、高価である。例として、ここでは、ＦＰＧＡのいわゆる内蔵ＲＡＭ（ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））またはＤＳＰのレベル１キャッシュが言及されてもよい。それゆえ、適用される数学的画像処理プロセスが必要とするメモリ容量ができるだけ少なく、データアクセス速度ができるだけ小さければ、有利である。すなわち、環境はできるだけ小さく選択されるべきである。

図１１は連続的な環境関連画像処理プロセスの概略的フロー図を示す。画素１２０の信号が異なる数学的画像処理プロセス１２３、１２６および１２９を連続的に受ける画像処理アクションがある。第１のプロセス（Ｍ１）１２３は、第１のメモリ（Ｓ１）１２２を用いて画素１２０の信号のデータストリームから生成される環境１２１を必要とする。後の第２のプロセス（Ｍ２）１２６は、第１のプロセス１２３の結果の画素の第２の環境１２４が必要とされるような仕方で第１のプロセス１２３の結果を用いるため、この第２の環境１２４は、第２のメモリ（Ｓ２）１２５を用いて生成されなければならない。同様に、第３のプロセス（Ｍ３）１２９が第２のプロセス１２６の結果を必要とする場合には、第３の環境１２７は、第３のメモリ（Ｓ３）１２８を用いて第２のプロセス１２６の結果から生成されなければならない。このように、任意の数のプロセスを次々に遂行することができる。最後に、最終値１３０が結果として出力される。メモリ１２２、１２５および１２８が別個のデバイスとして構成される場合には、カメラの複雑さは増大する。メモリ１２２、１２５および１２８が単一の構成要素内に統合される場合には、組み合わせられたメモリは、別個のメモリの場合に必要とされるよりも高い帯域幅をアクセスのために有しなければならない。さらに、各々のさらなる環境も同様に、一般に、少なくとも（Ｎ−１）／２行および（Ｎ−１）／２列のレイテンシの不都合な増大をもたらす。

以下の実施形態では、ベイヤーパターンを有するイメージセンサを備え、処理ユニットまたはフレームグラバまたはコンピュータを備えるデジタル産業用カメラであって、このカメラは、モノリシックな数学的画像処理プロセスが提供され、イメージセンサの信号から高品質カラー画像を生成し、必要とされるメモリ容量が非常に少なく、非常に低い帯域幅でのメモリアクセスが提供される、デジタル産業用カメラが提供される。画像は非常に小さな垂直レイテンシおよび水平レイテンシで出力することができ、高品質および低ノイズのカラー画像を生成するためにデベイヤー処理が遂行される。これにより、ノイズが低くなり（特に、色ノイズが低くなり）、画像鮮鋭度が良好になるのと同時に、カラーエイリアシングおよび緑色間不均衡が防止される。本明細書において、モノリシックな数学的画像処理プロセスとは、全ての必要な画像処理プロセスが単一の環境上で遂行されるプロセスとして理解されるべきである。

図１２はモノリシックな画像処理プロセスの概略的フロー図を示す。ここでは、メモリ（Ｓ）１３２を用いて、考慮される画素１３０の信号のデータストリームからちょうど１つの環境１３１が構築される。この環境１３１上において、デベイヤー処理、アンチエイリアシング、ノイズ除去、鮮鋭化、および緑色間不均衡の補正から選択される少なくとも１つの画像処理を遂行するモノリシックな数学的プロセス（Ｍ）１３３を用いて、合成値１３４が計算される。これにより、メモリ要求を低く保つことができ、メモリアクセスのために必要とされる帯域幅は比較的小さくなる。これにより、低レイテンシがもたらされる。環境１３１は、正方形状、すなわち、Ｎ×Ｎ画素のサイズを有してもよい。そのために、それは、水平方向および垂直方向に鏡面対称性を有し、かつ９０°回転対称性を有する形状を有し、対応する対称画像処理プロセスの利用を可能にする。その結果、これらは、ユーザによって目障りと知覚されうる水平または垂直の卓越方向は見えないという利点を有する。

さらに、Ｎ×Ｎ環境１３１は、Ｎを奇数とするように選択することができる。これは、中心画素１１１であって、その位置から環境１３１は水平、垂直または対角方向に同数の画素を包含する、中心画素１１１が提供されるという利点をもたらす。これは、不都合な位相シフトを伴うことなく計算規則を適用することができるという利点を提供する。さらに、これは、合成値から得られた画像内の目に見える卓越方向を防止することができるという利点を有する。

図１３はベイヤーパターンの４つの位相関係の略図を示す。環境に関して、ベイヤーパターンのちょうど４つの位相関係が存在する。中心画素が赤（Ｒ）である場合は「ｃＲ」と呼ばれ、中心画素が緑（Ｇ）であり、水平に隣接する画素が赤（Ｒ）である場合は「ｃＧｒ」と呼ばれ、中心画素が緑（Ｇ）であり、水平に隣接する画素が青（Ｂ）である場合は「ｃＧｂ」と呼ばれ、中心画素が青（Ｂ）である場合は「ｃＢ」と呼ばれる。

Ｎ×Ｎ環境が、Ｎ＝５であるように選択されると有利である。Ｎ＝１である場合には、１×１環境は全ての色を包含しないため、デベイヤー処理は可能でない。Ｎ＝３である場合には、全ての色が環境内に実際に含まれるが、しかし、ｃＲおよびｃＢの場合には、１度しか出現しない色が存在する。しかし、色ノイズをほとんど伴わないデベイヤー処理のためには、色ごとにいくつかの画素が環境内に包含されていると有利である。なぜなら、このとき、これらの画素は互いにオフセットされることができ、それと同時にノイズが有利に低減されるからである。しかし、これは、環境のサイズがＮ＝５以上の場合にのみ可能である。これはＮ＝７、Ｎ＝９、Ｎ＝１１などの場合にも当てはまる。しかし、Ｎ＞５のより大きな環境は、メモリへのアクセスのためにより高いメモリ容量およびより高い帯域幅を必要とする。とはいえ、一般的に、以下の実施形態は同様に、より大きな環境で実装されてもよい。

図１４は、第１の実施形態に係る色成分の再現の概略的フロー図を示す。

以上において説明されたように、合成値１３４の色値はＲＧＢ色空間内の色ベクトルからなり、赤、緑および青のためのその成分はここでは「Ｒｏｕｔ」、「Ｇｏｕｔ」および「Ｂｏｕｔ」と呼ばれる。これらの成分は、モノリシックな数学的画像処理プロセス１３３を通じて、低ノイズ色成分Ｒ１、Ｇ１およびＢ１がまず決定され、その各々にそれぞれの加算器１３５によって緑色構造情報ＧＳが加算されるような仕方で計算されることが提案されている。この設計は以下の理由のために低い色ノイズをもたらす。まず第１に、色成分Ｒ１、Ｇ１およびＢ１は定義により低ノイズのものである。全ての３つの色成分へのＧＳの同一の値の加算は、ＲＧＢ色空間の非色線と平行な色値のシフトをもたらす。それゆえ、値ＧＳを通じたノイズ付加は合成値１３４内に不都合な色ノイズをもたらすことはできず、非色ノイズをもたらすのみである。

図１５は例示的な畳み込み行列１４０を示す図である。環境からの値の計算は、注目画素の環境への、図１５に示される畳み込み行列１４０の適用を通じて達成することができる。畳み込み行列１４０の多くの要素が０に等しい場合には、畳み込み行列のこれらの要素に割り振られる数学演算は省くことができるため、このような畳み込みはわずかな計算労力しか必要としない。要素ａ００、ａ０１、ａ０２、ａ０３、ａ０４、ａ１０、ａ１４、ａ２０、ａ２４、ａ３０、ａ３４、ａ４０、ａ４１、ａ４２、ａ４３およびａ４４はその中で縁部要素１４１と呼ばれ、要素ａ１１、ａ１２、ａ１３、ａ２１、ａ２２、ａ２３、ａ３１、ａ３２およびａ３３は内部要素１４２と呼ばれる。

値Ｒ１、Ｇ１およびＢ１の決定のために適用される３つの畳み込み行列が、色、赤、緑および青ができるだけ正しく再現される仕方で構築されていれば、有利である。これは、赤色画素の値に対してオフセットされる、畳み込み行列の全ての要素の合計はＲ１の計算において値「１」になり、緑色画素の値に対してオフセットされる全ての要素の合計は値「０」になり、同じく、青色画素の値に対してオフセットされる全ての要素の合計も値「０」になることを必要とする。同様に、Ｇ１の計算のためには、緑色画素の値に対してオフセットされる、畳み込み行列の全ての要素の合計は値「１」になり、赤色画素の値に対してオフセットされる全ての要素の合計は値「０」になり、同じく、青色画素の値に対してオフセットされる全ての要素の合計も値「０」になることが必要とされる。さらに、同様に、Ｂ１の計算のためには、青色画素の値に対してオフセットされる、畳み込み行列の全ての要素の合計は値「１」になり、赤色画素の値に対してオフセットされる全ての要素の合計は値「０」になり、同じく、緑色画素の値に対してオフセットされる全ての要素の合計も値「０」になることが必要とされる。同じ理由で、ＧＳの計算のためには、色、赤、緑または青のうちの１つの画素に各々割り当てられる、畳み込み行列の要素の合計は各々、値「０」になることも必要とされる。色、赤、緑および青の画素は位相関係ｃＲ、ｃＧｒ、ｃＧｂまたはｃＢに応じて異なる位置に位置するため、４つの位相関係の各々のため、および３つの色の各々のために固有の畳み込み行列を用いることが適当である。それにより、３つの色および４つの位相関係のために総数１２個の畳み込み行列が得られる。次に、位相関係に応じて、環境への畳み込み行列の適用によって得られた値から値Ｒ１、Ｇ１およびＢ１が選択される。代替方法として、合成値が実際に必要とされるこのような畳み込みのみを行うことも可能である。それによって計算労力が低減されるため、ＤＳＰが用いられる場合には、後者は有利である。

さらに、ベイヤーパターンの位相対称性を利用すると、計算労力を低減するために有利である。この場合には、赤色画素はｃＲ内では、青色画素がｃＢにおいて位置する位置に位置し、そのため、ｃＲにおけるＲ１の計算のために、ｃＢにおけるＢ１の計算のためのものと同じ畳み込み行列を用いることができる。それゆえ、以下の表に一覧表示された対称な位置（ｓｙｍｍｅｔｒｉｃａｌ ａｌｐｏｓｉｔｉｏｎｓ）を用いることができる。これらは各々、計算結果の共同利用、およびそれゆえ、Ｒ１、Ｇ１およびＢ１のための計算労力の２分の１の低減、すなわち、１２回から６回の畳み込み動作への低減を可能にする。

上述の有利な対称性要求に従うためには、畳み込み行列が、水平方向および垂直方向に鏡面対称性を有するとともに、９０°回転対称性を有するように、ベイヤーマトリックス内の色の位置がこれを許す限り、それぞれ選択されると、有利である。ＥＭＶＡ１２８８によれば、イメージセンサの異なる画素の信号のノイズは互いの間で相関性がない、すなわち、それは、統計的に独立したランダムな事象であると仮定される。それゆえ、画素の信号からの環境を用いた畳み込みの効果は、誤差伝播計算を用いて推定することができる。畳み込み行列のノイズ伝播は、畳み込み行列の要素が各々できるだけ小さく、かつ正である場合かつその場合に限り、特に低くなる。このような畳み込み行列を用いることで低ノイズの値を生成することができるため、これは有利である。

ＦＰＧＡでは、値はビットベクトルによって、すなわち、２進法の数によって表される。そこでは２または１／２の定数倍による乗算は低労力で遂行することができる。なぜなら、これらの数を含むそれぞれのレジスタは、異なる仕方で、すなわち、桁送りされる仕方でアクセスされるだけでよいからである。畳み込み行列の要素が２または１／２の倍数として常に選択される場合には、それぞれの割り振られた乗算は、ハードウェア資源、例えば、固定配線された乗算器、を利用せずに提供することができ、これにより、ハードウェア資源を節約することができる。

色の縁部要素の値が同じ色の内部値以上である畳み込み行列を使用する場合には、不都合な画像アーチファクトが観察される。例えば、同一の正の値の要素および値「０」のその他の要素のみが提供される場合には、画像を不都合にモザイクのように見せる画像アーチファクトが生成されうる。このようなアーチファクトは、縁部要素の値を、それらの絶対値が内部要素の値よりも小さくなるように選択することによって防止することができる。

図１６は、上述の有利な要求を満たす、位相関係ｃＲ、ｃＧｒ、ｃＧｂおよびｃB内の値Ｒ１、Ｇ１およびＢ１の決定のための例示的な畳み込み行列を示す。それぞれの場合における実際の畳み込み行列の前の分数値は、畳み込み行列の全ての値はこの値を乗算されなければならないことを意味する。さらに、全ての空のフィールドは値「０」を包含するという約束が導入される。これにより、以下において、より単純な表記およびよりよい読みやすさが得られる。

位相関係ｃＲのためには、畳み込み行列ＦＲ１ｃＲがＲ１の決定のために用いられ、畳み込み行列ＦＧ１ｃＲがＧ１の決定のために用いられ、畳み込み行列ＦＢ１ｃＲがＢ１の決定のために用いられる。位相関係ｃＧｒのためには、畳み込み行列ＦＲ１ｃＧｒがＲ１の決定のために用いられ、畳み込み行列ＦＧ１ｃＧｒがＧ１の決定のために用いられ、畳み込み行列ＦＢ１ｃＧｒがＢ１の決定のために用いられる。位相関係ｃＧｂのためには、畳み込み行列ＦＲ１ｃＧｂがＲ１の決定のために用いられ、畳み込み行列ＦＧ１ｃＧｂがＧ１の決定のために用いられ、畳み込み行列ＦＢ１ｃＧｂがＢ１の決定のために用いられる。位相関係ｃＢのためには、畳み込み行列ＦＲ１ｃＢがＲ１の決定のために用いられ、畳み込み行列ＦＧ１ｃＢがＧ１の決定のために用いられ、畳み込み行列ＦＢ１ｃＢがＢ１の決定のために用いられる。

図１７は、位相関係ｃＲ、ｃＧｒ、ｃＧｂおよびｃＢ内の緑色構造情報ＧＳの決定のための例示的な畳み込み行列を示す。それぞれ、位相関係ｃＲまたはｃＢの場合には、ＧＳは畳み込み行列ＦＧＳｃＲまたはＦＧＳｃＢの適用によってそれぞれ決定され、位相関係ｃＧｒおよびｃＧｂの場合には、畳み込み行列ＦＧＳｃＧｒおよびＦＧＳｃＧｂの適用によって決定される。この実装形態では、上述の有利な特徴も満たされる。ただし、畳み込み行列の全ての要素が正であるという特徴を除く。この特徴を満たすことは、緑色構造情報ＧＳのための値を決定するための要求、すなわち、全ての要素の合計は０になるべきであるという要求を満たすことができるように、ここでは意図的に免除されている。

図１７に係るこのような畳み込み行列は、緑色値Ｇ１からの構造のずれを緑色構造情報ＧＳとして、構造情報の加算が、構造的により内容のある値を有利に与えるような仕方で提供する。

図１８ａ〜図１８ｄは、小構造における誤った色の生成を説明するための略図を示す。小構造が、ベイヤーパターンを有するイメージセンサによって記録され、その後、色値がデベイヤー処理によって計算される場合には、不都合な誤った色がしばしば生じる。それらの原因は図１８ａ〜図１８ｄによって説明することができる。図１８ａによれば、水平の方向を有する明るい縞１６０、１６２および１６４、ならびにこれらと平行な方向を有する暗い縞１６１および１６３からなる水平の黒白縞パターンがイメージセンサによって記録されると仮定される。ここで、明るい縞および暗い縞１６０〜１６４それぞれについて、赤、緑および青のための信号はそれぞれ互いの間で同一であることが適用される。全ての赤色画素は明るくなり、全ての青色画素は暗くなることに留意されたい。次に、この縞パターンはデータストリームとして転送され、画像処理計算ユニットにおいてそのデータストリームから環境が構築され、環境に基づき、図１６に示される畳み込み行列ＦＲ１ｃＲ、ＦＧ１ｃＲおよびＦＢ１ｃＲの適用を受けて色値Ｒ１、Ｇ１およびＢ１が計算される。畳み込み行列ＦＲ１ｃＲは、明るい縞１６０、１６２および１６４を有する行の明るい赤色の信号のみから畳み込み合計を計算し、他方で、畳み込み行列ＦＢ１ｃＲは、暗い縞１６１および１６３を有する行の暗い青色の信号のみから畳み込み合計を計算することに留意されたい。畳み込み行列ＦＧ１ｃＲの効果が同様に考慮されると、色成分Ｒ１、Ｇ１およびＢ１を有する橙色の色値がこれから生じ、同様に、色成分Ｒｏｕｔ、ＧｏｕｔおよびＢｏｕｔを有する橙色の色値が生じる。最初に記録された縞の画像は全く色がついていないため、これらの橙色の色値は不所望の誤った色に相当する。

同様の状況が図１８ｂにおいて得られる。ここでは、暗い縞１６５、１６７および１６９ならびに明るい縞１６６および１６８の水平の黒白縞画像が同様に仮定される。この場合には、青色画素が明るく、赤色画素が暗く、畳み込み行列ＦＲ１ｃＲ、ＦＧ１ｃＲおよびＦＢ１ｃＲの適用を受けて、今度は空色の色値が得られ、これも先と同様に不都合な誤った色に相当する。

図１８ｃは同じ状況を示す。ただし、今度は、明るい縞１７０、１７２および１７４ならびに暗い縞１７１および１７３の垂直の黒白縞画像を有する状況である。同様に、図１８ａの場合のように、望ましくない橙色の誤った色が合成色値のために得られる。

最後に、図１８ｃと同じ状況が図１８ｄに示される。ただし、明るい縞１７６および１７８はここでは赤色画素の上方ではなく、青色画素の上方に位置し、暗い縞１７５、１７７および１７９は青色画素の上方ではなく、赤色画素の上方に位置する。その結果、ここでは望ましくない空色の誤った色が得られる。

図１９は、第２の実施形態に係る誤った色の追加の補正を用いた色成分の再現の概略的フロー図を示す。本実施形態では、誤った色を除去するために環境１３１から追加の補正値ＤＡＡが計算され、補正値ＤＡＡが、位相関係に依存する符号を有する加算器／減算器１８０を用いて成分値Ｒ１およびＢ１にそれぞれ加算されるか、あるいはそれから減算される、すなわち、一方の値に加算され、他方の値から減算されるように、数学的画像処理プロセス１３３を発展させる。図２０に、追加の補正値ＤＡＡの計算の一例が示される。

このアプローチは、明と暗が交互になったパターンの縞は緑色画素上に再び発見することができるとの認識に基づく。縞の異なる色について、および異なる方向についての幾何学的状況は色および空間の対称性を有するので、色成分Ｒ１およびＢ１の一方のために補正値として加算される全く同じ補正値ＤＡＡがそれぞれの色成分の他方から減算されなければならないということが言える。

図２０は、第３の実施形態に係る色補正のための小構造の方向を考慮に入れた色成分の再現の概略的フロー図を示す。

図１８ａおよび図１８ｃにおける例示的な場合と、他方の、図１８ｂおよび図１８ｄにおける例示的な場合とを比較すると、それぞれの第１の場合においては、それぞれの第２の場合においては暗くなっている、ちょうどそれらの緑色画素が明るくなっているという結果が導かれる。それゆえ、環境１３１からの緑色値の信号それぞれの畳み込みによって値ＡＡを決定し、この値に乗算器１９０によって、画像内の水平または垂直の卓越方向に依存する正または負の方向推定値Ｄを乗算し、これにより、適切な方法で補正値ＤＡＡを決定することが可能である。それゆえ、第３の実施形態は、ハードウェアの労力がわずかですむか、または計算時間が短くてすむ単純な方法で実現することができ、これにより、誤った色を低減または除去することができる。

代替例として、方向推定値Ｄを別の仕方で用いること、例えば、方向推定値Ｄから重み付き平均の重みを計算し、この重み付き平均を、異なる方向に割り当てられた２つの値の間に適用することも可能である。

同様に、方向推定に基づき、異なる方向の値の中から選択をすることも代替的に可能である。これにより、ＦＰＧＡ内の論理資源の必要性を低減することができる。

さらに、値ＡＡの決定のためのそれぞれの畳み込み行列を、畳み込み行列内の符号が行および列ごとに変化するような仕方で設計すれば、このときには、各行または列内で変化する照明強度のために効果的な補正項が得られるため、有利である。同様に、ＡＡの決定のための畳み込み行列の要素の合計が値「０」になれば、有利である。これにより、構造のない領域内においても誤った色を防止することができる。

図２１は値ＡＡの決定のための例示的な畳み込み行列を示す。ここで、畳み込み行列ＦＡＡｃＧは位相関係ｃＧｒおよびｃＧｂのために用いられ、畳み込み行列ＦＡＡｃＲＢは位相関係ｃＲおよびｃＢのために用いられる。これらの畳み込み行列は上述の要求を満たし、全ての要素の絶対値は２の累乗を包含し、そのため、２進数を単に桁送りすることによって（例えばＦＰＧＡ内における）画像処理のために単純で省資源な乗算を実現することができるという追加の利点を提供する。

すでに述べたように、方向推定値Ｄは、水平の方向を有する構造の場合には、垂直の方向を有する構造の場合と異なる符号を有するような仕方、および卓越方向をもたない構造、例えば、滑らかな平面、の場合には、その値が０に近くなるような仕方で決定することができる。さらに、計算規則、例えば、畳み込み行列が、水平に隣接する画素の位相関係のための行合計が同一であり、垂直に隣接する画素の位相関係のための列合計が同一であれば、有利である。これにより、さもなければ望ましくない迷路アーチファクトをもたらしうるであろう、方向推定の連続変化を防止することができる。

このような迷路アーチファクトの効果は、例えば、所定の試験画像によってチェックすることができる。これを達成するために、画像ｋｏｄｉｍ１９．ｐｎｇ（ｈｔｔｐ：／／ｏｐｔｉｐｎｇ．ｓｏｕｒｃｅｆｏｒｇｅ．ｎｅｔ／ｐｎｇｔｅｃｈ／ｃｏｒｐｕｓ／ｋｏｄａｋ／ｋｏｄｉｍ１９．ｈｔｍｌにてダウンロード可能）を用いることができる。この画像は、数学的画像処理プロセスを試験するために専門家によってよく用いられる。この場合には、元のカラー画像から、ベイヤーパターンによって事前に定義された色成分の画素単位の選択によって人工のセンサ画像信号が生成され、それにデベイヤー処理が適用される。

次に、２つの値ＤＨおよびＤＶの比較によって方向推定値Ｄを決定することができる。値の一方（ＤＨ）は水平方向の明るさの変化を表し、他方（ＤＶ）は垂直方向の明るさの変化を表し、２つの値のうちどちらがより高いのかに応じて正または負の符号が方向推定値Ｄに割り当てられる。両方の値が等しい場合には、方向推定値は「０」に設定される。これにより、方向推定値Ｄを単純な方法で決定することができる。

同様に、両方の値ＤＨおよびＤＶの得られた差から方向推定値Ｄを決定することも可能である。得られた差が所定の上側閾値または所定の下側閾値を超えた場合には、方向推定値Ｄを上側閾値または下側閾値に設定することができ、それにより、限界が適用される。上側閾値は値「１」に設定され、下側閾値は値「−１」に設定され、これにより、方向推定値Ｄの値の範囲は−１〜１の範囲に制限されると定めることができる。これは、高い差分値を有する明瞭に判別可能な構造の方向の場合には、方向推定値Ｄは値「１」または「−１」を仮定し、これにより、値ＤＡＡを容易に形成することができるという利点を提供する。さらに、これは、明瞭に判別可能でない構造の方向の場合には、方向推定値Ｄは、値であって、その絶対値は１よりも小さい値を仮定し、その結果、より小さい絶対値がＤＡＡのために生じ、これにより、画像内の滑らかな平面に対する過剰な補正を防止することができるという利点を有する。

図２２ａ〜図２２ｄは、明るさの水平方向（図２２ａ）および垂直方向（図２２ｂ）の変化の決定、ならびに明るさの水平方向（図２２ｃ）および垂直方向（図２２ｄ）の変化の値についての、それらから生じる内部領域を説明するための例示的な図を示す。

水平方向または垂直方向の明るさのそれぞれの変化は、環境１３１の内部領域２０１のために、画素ごとに、水平方向および垂直方向における２つの隣接画素の差の絶対値としての値を決定することによって、それぞれ決定することができる。このとき、図２２ａに示されるように、画素２０２のための水平方向における明るさの変化のための値ｈは、水平に隣接する画素ｌおよびｒの値の差の絶対値として決定することができる。同様に、図２２ｂに示されるように、画素２０２のための垂直方向における明るさの変化のための値ｖは、垂直に隣接する画素ｏおよびｕの値の差の絶対値として決定することができる。位相関係に依存し、および中心画素２０３の色に依存して、画素２０２に割り当てられる値ｈおよびｖは特定の色を表す。（例えば、図２２ａおよび図２２ｂにおけるように）位相関係ｃＧｒの場合には、中心画素２０３は緑色であり、値ｌおよびｒを有する画素は各々青色であり、値ｏおよびｕを有する画素は各々赤色である。それゆえ、値ｈは画素２０２のための青色画素の差分値を表し、値ｖは赤色画素の差分値を表す。

図２２ｃは、明るさの水平方向の変化についての値ｈの、色に基づく合併を示す。先に示されたように、画素２０２のためには、値ｈは色、青Ｂを有する。図２２ｄは、明るさの垂直方向の変化についての値ｖの、色に基づく合併を示す。先に示されたように、画素２０２のためには、値ｖは色、赤（Ｒ）を有する。

図２３は方向推定のための例示的な畳み込み行列２１０を示す図である。結果の色依存性を防止するために、値ｈおよびｖから値ＤＨおよびＤＶが決定される際には、異なる色の差は各々、ベイヤーパターン内のそれらの出現頻度に対応する部分に入れられると、有利である。これは、畳み込み行列２１０を用いた、内部領域の、２の累乗への値ｈおよびｖそれぞれの畳み込みの単純な乗算を用いることによる単純な方法で達成することができる。例えば、畳み込み行列２１０が図２２ａ〜図２２ｄの領域２０４および２０５に適用される場合には、色、赤および青の差分絶対値は係数１／４を伴って計算内に入れられ、同様に色、緑のものは係数１／２を伴って入れられる。

さらに、畳み込み行列２１０は、方向推定の望ましくない変化およびそれに関連する迷路アーチファクトを防止することができる特性を有する。このようなしばしば観察される交互の異なる方向推定の原因は、水平に隣接する位相関係のための異なる色が行ごとに、および、それぞれ、垂直に隣接する位相関係のための異なる色が列ごとに、異なる係数を伴って畳み込み内に持ち込まれることにある。迷路アーチファクトを防止するには、水平に隣接する位相関係（例えば、ｃＲおよびｃＧｒあるいはｃＧｂおよびｃＢ）のために、行ごとおよび色ごとに、この色に属する畳み込み行列要素の行合計は等しくなければならないということが適用されなければならない。さらに、垂直に隣接する位相関係（例えば、ｃＲおよびｃＧｂあるいはｃＧｒおよびｃＢ）のために、列ごとおよび色ごとに、この色に属する畳み込み行列要素の列合計は等しくなければならないということが適用されなければならない。

図２３における畳み込み行列２１０では、水平に隣接する位相関係の異なる色のための係数の合計のそれぞれの行合計は等しく、したがって、迷路アーチファクトが防止される。

さらに、図１６、図１７および図２１に示される畳み込み行列を共通基本フィルタから得ることができれば、有利である。このときには、全てのフィルタは空間的に連係され、邪魔な色縁を有利な仕方で防止することができる。さらに、色ごと、および位相ごとに、畳み込み行列を水平方向（ＩＨＦ）または垂直方向（ＩＶＦ）の補間のためにそれぞれ用いることができる。一例として、赤色画素の位置における値、赤は、中心においてのみ値「１」を有し、さもなければ値「０」のみを有するマトリックスを用いた畳み込みを通じて決定することができる。さらに、赤色画素の水平の隣接者である緑色画素の位置における値、赤は、それを包囲する赤色画素の平均として計算することができる。このときには、畳み込み行列ＩＨＦは中心画素の左側および右側に値「１／２」を包含し、さもなければ、「０」を包含するであろう。同様に、例えば、別の色の値の範囲における屈曲を考慮する、より複雑な補間畳み込み行列ＩＨＦおよびＩＶＦを提供することができる。

最後に、畳み込みにおいて計算環境のサイズが維持され、縁部問題の場合には、適切な仮定によって、例えば、ベイヤーパターンを保ちながら計算のために仮定される周期的拡張によって、色に基づく正しい結果が得られる、変更された畳み込み演算を仮定することができる。異なる色のために、補間のための補間畳み込み行列が、異なる位相内の異なる色のための位置行列に対して適切な仕方でオフセットされ、かつ結果が、図２０に示されるとおりの仕方で分離される場合には、非常に小さい寄与または差を無視すれば、上述の行列が得られる。

図２４は共通基本フィルタの一例を示す。図示されている基本フィルタは、一方では、強力なノイズ最小化特性を提供し、他方では、画像処理計算ユニット（例えばＦＰＧＡ）内でわずかな労力で実現することができる畳み込み行列をもたらす。このように、例えば、これらの実施形態において述べたＲ１、Ｇ１、Ｂ１、ＧＳおよびＡＡのための全ての計算規則はこの基本フィルタによって計算することができる。

図２５は、推定問題を説明するための略図を示す。方向推定が利用可能である場合には、図１８ａ〜図１８ｄにおいて説明された推定問題が、例えば、色、緑の上述の補間と関連して、提起される。ここでは、緑色値が中心画素１５４のために推定されることになる。水平に隣接する緑色画素１５０および１５１は明るく、垂直に隣接する緑色画素１５２および１５３はどちらも暗いと仮定される。中心画素１５４のための緑色値は明るいと仮定されるのか、それとも暗いと仮定されるのかという問題は、さらなる情報に基づいてのみ決めることができる。本発明によれば、この情報は、以下において第４の実施形態に基づいて説明されるように、方向推定値Ｄから得ることができる。

図２６は、第４の実施形態に係る小構造の方向を考慮に入れた色成分の再現の概略的フロー図を示す。

この第４の実施形態では、構造情報ＧＳに加えて、ここではＧＳ２と呼ばれる、第２の詳細な構造情報が生成される。その計算のために、一方では、位相関係ｃＧとしてまとめられる位相関係ｃＧｒおよびｃＧｂと、他方では、位相関係ｃＲＢとしてまとめられる位相関係ｃＲおよびｃＢとの間の、選択ユニット２２１による、場合の区別が必要とされる。位相関係ｃＧの場合には、ＧＳｃＧが第２の構造情報として選択される。他方で、位相関係ｃＲＢの場合には、ＲＢＳｃＲＢ、および乗算器２２０によって生成されるＧＳｃＲＢと方向推定値Ｄとの積の合計が第２の構造情報として選択される。

これは、以下の考えに基づく：位相関係ｃＧでは、環境１３１の中心における画素はもとから緑色画素であり、その信号を利用可能であり、それは、第２の構造情報ＧＳｃＧを生成するために直接適用することができる。しかし、位相関係ｃＲＢでは、図２６に示される推定問題は緑色チャネルにおいて得られる。本発明によれば、これは、畳み込み行列を用いて、方向依存性が符号によってコード化されるような仕方で、緑色チャネルの構造情報をＧＳｃＲＢとして決定することによって解決することができる。今度は、ＧＳｃＲＢに、さらなる乗算器２２０を用いて、方向情報が同じく符号としてコード化されている方向推定値Ｄを乗算すると、上述の推定問題を正しい仕方で解決する構造情報が得られる。第２の構造情報は、加算器２２３によって、位相関係ｃＲＢは位相関係ｃＲに対応するのか、それともｃＢに対応するのかに応じて、赤色または青色画素の詳細な構造情報を単独で包含する値ＲＢＳｃＲＢを加算することによって、その詳細度をさらに改善させることができる。

第２の構造情報の加算は、これにより画像鮮鋭度が改善され、より単純な画像処理、例えば、書字の検出、も達成することができるという利点を提供する。ＧＳｃＧ、ＧＳｃＲＢおよびＲＢＳｃＲＢのための対応する畳み込み行列ＦＧＳｃＧ、ＦＧＳｃＲＢおよびＦＲＢＳｃＲＢが各々、それらの合計に値「０」を有すれば、このときには、不都合な明るさ誤差を防止することができるため、有利である。さらに、畳み込み行列ＦＧＳｃＧおよびＦＲＢＳｃＲＢが各々、９０°回転対称性を有し、それにより、鏡面対称性も有すれば、このときには、結果として生じる画像内における目に見える不都合な卓越方向を防止することができるため、有利である。さらに、畳み込み行列ＦＧＳｃＲＢが水平および垂直に鏡面対称性を有し、９０°の回転時に符号を変化させると、有利である。これにより、方向推定値Ｄの乗算に関連する所望の機能性を達成することができる。

図２７は、上述の全ての有利な特性が満たされている、ＧＳｃＧ、ＧＳｃＲＢおよびＲＢＳｃＲＢのための値を計算するための例示的な畳み込み行列ＦＧＳｃＧ、ＦＧＳｃＲＢおよびＦＲＢＳｃＲＢを示す。さらに、畳み込み行列は、上述したように、第２の基本フィルタＧＦ２を用いることによって計算することができる。どちらの畳み込み行列も有利なことに、占有されているのはわずかであり、２の累乗または２の負の累乗によってのみ占有されている。これにより、画像処理計算ユニット（例えばＦＰＧＡ）における計算労力を低く維持することができる。

図２８は第２の基本フィルタＧＦ２の一例を示す。このフィルタは有利なことに、より高い空間周波数、および基本フィルタＧＦと同じ対称特性を有する。

図２９は、第５の実施形態に係る小構造の方向を考慮に入れた色成分の再現の概略的フロー図を示す。

上述の第４の実施形態では、望ましくないチェック模様の画像アーチファクトが生じうる。これらは緑色間不均衡に割り振ることができる。異なるイメージセンサ、異なる照明および異なる物体色を用いることによって、画像の位置における緑色間不均衡は、それぞれ、そこで得られる赤色信号に比例し、そこで得られる青色信号に比例することを証明することができる。それゆえ、緑色間不均衡は、色成分Ｒ１およびＢ１を用いることによって線形的に補正することができる。異なる色を用いた測定によって、緑色間不均衡の値ｄＧはどれほど強く赤色および青色の色値に比例して変化するのかをそれぞれ指示する値ＲＸＧおよびＢＸＧをさまざまなイメージセンサのためにそれぞれ決定することができる。これにより、値ｄＧは、差、ＧｒマイナスＧｂとして定義される。

さらに、値Ｒ１、Ｇ１、Ｂ１、ＧＳ、ＲＢＳｃＲＢおよび方向推定値Ｄは緑色間不均衡によって影響を受けないと考えられるべきである。対照的に、値ＧＳｃＧおよびＧＳｃＲＢは緑色間不均衡によって強く影響を受ける。理論的には、同様に値ＡＡもこのような緑色間不均衡によって影響を受ける。しかし、これは、目に見える効果を実際には全く示さず、したがって、緑色間不均衡に対する値ＡＡの補正は省くことができる。

緑色間不均衡に対する値ＧＳｃＧおよびＧＳｃＲＢの補正は第５の実施形態における以下の変更を必要とする。色値Ｒ１およびＢ１それぞれに、対応する乗算器２３０、２３１において、値ＲＸＧおよびＢＸＧがそれぞれ乗算される。それによって得られた結果から、減算器２３２によって差が得られ、得られた差が、対応する論理要素２３４、２３５において、位相関係に応じて、値ＧＳｃＧおよびＧＳｃＲＢに加算されるか、あるいはそれらから減算される。緑色間不均衡は主として、緑色画素に隣接する赤色および青色画素によって生じる。しかし、Ｒ１、Ｇ１およびＢ１の値の計算のために、さらに離れた赤色または青色画素を用いることもでき、それにより、望ましくないジッパーアーチファクトが画像縁部において生じうる。このような不都合な画像アーチファクトは、緑色間不均衡のための補正値を計算するための値Ｒ１およびＢ１を他の値Ｒ２およびＢ２で置換することによって、オンデマンドで防止することができる。ここで、値Ｒ２は、環境１３１内の中心画素２３６に最も近い赤色画素の信号のそれぞれの位相関係を考慮して決定され、値Ｂ２は、対応して、中心画素２３６に最も近接して位置する青色画素の信号のそれぞれの位相関係を考慮して決定される。

図３０は、中心画素２３６に最も近接して位置するそれぞれの色の値から値Ｒ２およびＢ２を決定するための例示的な畳み込み行列を示す。位相関係ｃＲでは、値Ｒ２は畳み込み行列ＦＲ２ｃＲによって決定され、値Ｂ２は畳み込み行列ＦＢ２ｃＲによって決定される。さらに、位相関係ｃＧｒでは、値Ｒ２は畳み込み行列ＦＲ２ｃＧｒによって決定され、値Ｂ２は畳み込み行列ＦＢ２ｃＧｒによって決定される。位相関係ｃＧｂでは、値Ｒ２は畳み込み行列ＦＲ２ｃＧｂによって決定され、値Ｂ２は畳み込み行列ＦＢ２ｃＧｂによって決定される。最後に、位相関係ｃＢでは、値Ｒ２は畳み込み行列ＦＲ２ｃＢによって決定され、値Ｂ２は畳み込み行列ＦＢ２ｃＢによって決定される。この種の計算は、特に、図３０に示されるとおりの、およびベイヤーパターンの対称特性によって生じる、畳み込み行列ＦＲ２ｃＲおよびＦＢ２ｃＢ、畳み込み行列ＦＲ２ｃＧｒおよびＦＢ２ｃＧｂ、畳み込み行列ＦＲ２ｃＧｂおよびＦＢ２ｃＧｒ、ならびに畳み込み行列Ｒ２ｃＢおよびＢ２ｃＲの相似性のゆえに、単純であり、資源を節約する。

以上の実施形態および以下の実施形態では、値ＲＸＧおよびＢＸＧの乗算は値Ｒ１およびＢ１に関連して遂行される。しかし、それは値Ｒ２およびＢ２に関連して適用することもできる。

環境１３１の空間的中心画素２３６の信号が最大可能値（例えば、２進８ビット数のための値２５５）を仮定する場合、すなわち、それが飽和する場合には、緑色間不均衡に関する値ＧＳｃＧおよびＧＳｃＲＢの補正はさらなる不都合な画像アーチファクトをもたらしうる。例えば、飽和値のみが環境１３１内に存在する場合には、環境１３１内には変化する画像構造が存在しないため、ＧＳｃＧおよびＧＳｃＲＢのための値は一般的に０になる。このとき、減算器２３２から得られた正の値の減算が論理要素２３４または２３５において少なくとも１つの位相関係において遂行され、それにより、負の構造情報が選択ユニット２２１において結果として選択され、これにより、望ましくないアーチファクトを構成する、規則的な点マッシュの形の不都合なゴースト構造が、得られた画像内に見えることが起こりうる。

この問題は、中心画素２３６の信号は飽和しているのかどうかを指示する論理値ＣＣｍａｘを決定することによって解決することができる。この論理値ＣＣｍａｘに基づき、さらなる選択ユニット２３３において、論理要素２３４および２３５は値「０」（中心画素２３６は飽和している）を供給されるのか、それとも減算器２３２の結果（中心画素２３６は飽和していない）を供給されるのかに関する選択が遂行される。無論、選択ユニット２３３の代わりに、値ＣＣｍａｘに依存する加算または減算を論理要素２３４および２３５においてそれぞれ提供することができる。これにより、上述の問題をわずかな労力で解決することができ、不都合な画像アーチファクトを防止することができる。

図３１は、第６の実施形態に係る改善された画像鮮鋭度を有する色成分の再現の概略的フロー図を示す。

しばしば、画像鮮鋭度のさらなる改善が望まれる。これは、この第６の実施形態において、加算器２２２の出力における合計された構造情報へ値Ｓｈを乗算器２４０において乗算することよって達成される。Ｓｈの値が１よりも大きい場合には、これは、加算器１３５において、増幅された構造情報が色値Ｒ１、Ｇ１およびＢ１に加算されるという事実をもたらす。増幅された構造情報は、画像の有利なより鮮鋭な外観を提供し、細部を強調する。鮮鋭な細部をほんのわずかしか有しない画像が記録されることになる場合には、画像内の構造の部分はＳｈのための０≦Ｓｈ＜１の値によって低減することができる。ノイズの強い画像の場合には、これは、非色ノイズの有利に知覚される低減をもたらすことができる。非色ノイズは、非色線と平行である、色空間内の方向に生成されるノイズである。Ｓｈが１に設定される場合には、Ｓｈに関連する画像の変化は得られない。

無論、構造情報には、加算器２２２における加算の前に値Ｓｈを乗算することができる。ただし、この場合には、複数の乗算が必要とされる。

同様に、値Ｓｈを設定するための制御要素を提供することができる。一般的に、制御要素をカメラに直接提供することが可能である。値Ｓｈを設定するためのレジスタであって、それによって、プログラムまたはユーザは電子インタフェースを介して値Ｓｈを設定することができる、レジスタを提供することも可能である。さらに、コンピュータプログラムであって、それによって、ユーザは、例えば、ソフトウェアによって実装される入力フィールドまたはスライド式もしくは回転式コントローラを用いて、Ｓｈの値を入力または設定することができる、コンピュータプログラムを提供することも可能である。制御要素によって、ユーザは、それが人間であれ、またはコンピュータプログラムであれ、画像鮮鋭度、および画像のための所望の動作点に影響を与えることができる。

図３２は、第７の実施形態に係るノイズ除去を用いた色成分の再現の概略的フロー図を示す。

すでに述べたように、上述の実施形態では色ノイズはすでに相当に低減されたため、前の実施形態によるカラー画像内には、特に、ここではグレーノイズと呼ばれる、非色ノイズが生じうる。グレーノイズは、第７の実施形態において、構造情報ＧＳを、第１の設定値Ｔｈ２を有する第１の非線形関数（ｆ）２５０にかけ、選択ユニット２２１の出力における第２の構造情報を、第２の設定値Ｔｈ１を有する第２の非線形関数（ｆ）２５１にかけることによって、低減される。両方の非線形関数２５０、２５１の出力における結果は加算器２２２に供給され、それにより、低ノイズの構造情報が得られる。これにより、とりわけ、特に目障りだと知覚される、滑らかな平面内のノイズを低減することができる。

図３３ａおよび図３３ｂは、構造情報内のノイズの低減のための例示的な非線形関数を有する図を示す。非線形関数ｆは、座標の原点（０；０）を通り、常に一定であるか、または単調増加し、原点における勾配は、原点から遠く離れた少なくとも１つの位置における勾配よりも小さい連続関数であることができる。図３３ａはこのような例示的な関数を示す。ここで、パラメータＴｈを用いたスケーリングは、例えば、入力値とパラメータＴｈとの積に関数が適用されるという点で適用することができる。

このような非線形関数は、それらが区分的線形である場合には、ＦＰＧＡにおいて、非常にわずかな資源を要するだけで実現することができる。したがって、上述の非線形関数は図３３ｂによる区分的線形関数として近似することができる。この関数は値−Ｔｈ未満においては線形であり（例えば、勾配１を有する）、値−Ｔｈと値Ｔｈとの間では常に０であり、値Ｔｈを超えると再び線形になる（例えば、勾配１を有する）。

このような非線形関数の適用は、ノイズのある画像の構造値は特定のノイズ振幅を有するとの発見に基づく。したがって、ノイズ振幅以内の（すなわち、値−Ｔｈと値Ｔｈとの間の）値を、ノイズを低減する関数にかけると、有利である。カール・フリードリヒ・ガウス（Ｃａｒｌ−Ｆｒｉｅｄｒｉｃｈ Ｇａｕｓｓ）による誤差伝播の原理によれば、ノイズのある値に適用される関数の一次微分の絶対値が小さければ、画素の測定誤差として解釈することができるノイズは低減される。したがって、原点の近く、すなわち、ノイズ振幅内における関数ｆの勾配の絶対値が小さければ、有利である。とりわけ、原点の近く、およびノイズ振幅以内における関数ｆの勾配の絶対値が０であり、かつ、関数ｆ自体の絶対値もそこで０であれば、このとき、非線形関数ｆはノイズ振幅以内のノイズを低減するため、有利である。この場合には、ノイズ振幅未満の絶対値を有するこのような画像構造も画像から除去される。このような構造はいずれにせよほとんど目に見えないので、これは画質の目立つ減損を全くもたらさない。

Ｓｈのための制御要素と類似して、Ｔｈ１およびＴｈ２の値を設定するための制御要素を提供することができる。さらに、誤差伝播の原理を第１および第２の構造情報の計算に適用することによって、異なるノイズ振幅の理論的関係を決定することができる。演算を単純化するために、値Ｔｈ１およびＴｈ２の設定を、それらから計算された固定した係数によって互いに結合し、その結果、固定した係数を介して値Ｔｈ１およびＴｈ２に結合された値Ｔｈのためのただ１つの制御要素を提供すれば、有利である。それゆえ、値Ｔｈを設定するために、１つの制御要素を提供することができる。この制御要素はカメラにおいて直接提供することができる。値Ｔｈを設定するためのレジスタであって、それによって、プログラムまたはユーザは電子インタフェースを介して値Ｔｈを設定することができる、レジスタを提供することも可能である。さらに、コンピュータプログラムであって、それによって、ユーザは、例えば、ソフトウェアによって実装される入力フィールドまたはスライド式もしくは回転式コントローラを用いて、Ｔｈの値を入力または設定することができる、コンピュータプログラムを提供することも可能である。制御要素を用いて、ユーザは、それが人間であれ、またはコンピュータプログラムであれ、ノイズ除去を制御することができ、所望の動作点を設定することができる。

ＥＭＶＡ１２８８の教示によれば、イメージセンサのノイズ振幅は明るさの値に依存する。そこでは、イメージセンサのノイズは、一定の電気的ノイズ、および光の量に依存する光子ノイズで構成されると仮定される。そのために、一般的に、ノイズ振幅は、画像の暗い部分では、画像の明るい部分よりも低い。暗いノイズのセンサ依存値および変換利得を知ることによって、現在の明るさのために仮定されるノイズ振幅をモデルに従って計算することができ、Ｔｈ１およびＴｈ２を決定するための値Ｔｈとして用いることができる。これにより、Ｔｈ１およびＴｈ２の値は、画像の暗い部分では、画像の明るい部分よりも小さく選択される。これは、ノイズもあまり存在しない、暗い画像の部分内では、あまり価値のない構造情報は画像から除去されるという利点を有する。さらに、これは、適切な値Ｔｈが、ユーザがそれを手作業で、または自動で設定する必要なく、選択されるという利点を有する。

実施形態において提案されている畳み込み行列のさまざまなものは、系統的な相似性を示す。一例として、畳み込み行列ＦＧ１ｃＧｒは畳み込み行列ＦＲ１ｃＲおよびＦＢ１ｃＲの平均から得られる。以前に決定された２つの値から平均が計算され、次に、畳み込み行列を環境に対して適用すれば、それは一般的により多くの資源を節約するため、このような系統的な相似性は、計算労力、およびそれゆえ資源投入をさらに低減するために利用することができる。

さらに、時間関連の関係および空間的関係の適切な利用によって、プログレッシブ読み出しの場合の記憶および計算労力を低減することができ、それにより、更なる資源の節約が可能である。行の転送内のクロックごとに１つの画素が転送され、その間、縁部部分における問題を無視するような仕方で、水平画素が左から右へ伝送される場合には、環境内の値は各クロックとともに１つの位置ずつ左へ移動する。例えば、畳み込み行列ＦＢ１ｃＧｒが用いられ、畳み込みの結果が決定されることになる場合には、１番目のクロックにおいて、「１」が提供されている、畳み込み行列内の両方の右の画素の平均を生成することができる。このとき、結果Ａｖｇ１１＿１は、２番目、３番目、４番目および５番目のクロックにおいてＡｖｇ１１＿２、Ａｖｇ１１＿３、Ａｖｇ１１＿４およびＡｖｇ１１＿５として一時的に記憶することができる。このとき、３番目のクロックでは、結果は、「２」が提供されている両方の右側の中心画素の平均に対応し、５番目のクロックでは、「１」が提供されている両方の右側の画素に対応する。それゆえ、畳み込み行列ＦＢ１ｃＧｒの適用によって得られる値Ｂ１ｃＧｒは、（Ａｖｇ１１＿１＋２×Ａｖｇ１１＿３＋Ａｖｇ１１＿５）／４として決定することができる。さらに、同じ過程で、および同じ一時的に記憶された値から、畳み込み行列ＦＢ１ｃＲの適用によって得られる値Ｂ１ｃＲは、（Ａｖｇ１１＿２＋Ａｖｇ１１＿４）／２として決定することができる。これらおよびさまざまな他の集約を通じて、遂行されるべき計算動作の数を大幅に低減することができ、これにより、計算のために適用する必要がある資源はより少なくなる。

図３４は、縮減された環境の一例の略図を示す。上述の方策を通じて、環境の全ての値を記憶することはもはや必要とされなくなる。図３４は、上述の実施形態による数学的画像処理プロセスを実現するためには、どの値が５×５環境の場合のために実際に必要とされるのかを示す。これにより、さらなる資源を有利な仕方で節約することができる。

モノリシックな数学的画像処理プロセスを用いる上述の実施形態による本発明に係る解決策によって、限られた資源、特に内部メモリ、いわゆる内蔵ＲＡＭを備えるより単純なＦＰＧＡを有するカメラにおける目的に対する解決策を提供することが初めて可能となる。このようなＦＰＧＡを有するカメラは効率的に低生産労力で生産することができる。

提案されている画像処理プロセスは、ＦＰＧＡが中心構成要素として提供されておらず、むしろＤＳＰが提供されている処理ユニットを有するカメラ内に適用することもできる。特に、対応する処理ステップを制御するソフトウェア、例えばドライバ、の利用によって、生データがカメラから直接伝送される場合には、カメラの処理ユニットのための実施形態において説明されている数学的画像処理プロセスは、フレームグラバ内、またはコンピュータのプロセッサ内において適用することもできる。

色成分Ｒｏｕｔ、ＧｏｕｔおよびＢｏｕｔからなる、結果として得られた色値を別の色空間の色値に、例えば、ＹＵＶ色空間の色値の色成分Ｙ、Ｕ、Ｖに変換することも可能である。さらに、この下流側の変換をモノリシックな数学的画像処理内のより早い段階で組み込むことも可能である。

さらに、当業者は、説明されている教示を、色、赤、緑および青を別の配列で含むか、またはより多くの色、もしくは赤、緑および青以外の色を有する、他の色パターン（例えばモザイクフィルタ）を有するイメージセンサが設けられたカメラに転用することができる。このようなモザイクフィルタが、例えば、米国特許第５，６３１，７０３号、米国特許第５，２５１，０１９号、米国特許第６，３３０，０２９（Ｂ１）号および米国特許第７，０５７，６５４（Ｂ２）号に説明されている。例えば、赤、緑および青以外の３つの色が用いられる場合には、これらの３つの他の色は、赤、緑および青に関連してここで説明されているとおりの仕方で数学的に扱うことができる。この場合には、緑と異なる色から、好ましくは、カラーフィルタ内で特によく提供されているような色から、構造情報を同様に得ることが可能である。

例えば、米国特許第６，３３０，０２９号におけるように、４つ以上の色が用いられる場合には、ここで説明されているとおりの赤、緑および青のための教示は、用いられる４つの色に変換され、次に、さらなる色に拡張されるべきである。この場合には、例えば、独国特許出願公開第１０２０１００５２４３８（Ａ１）号に説明されているように、第１および第２の緑色構造情報を、色、緑の値からだけでなく、色の組み合わせからも計算することが妥当である。

同様に、色、赤、緑、青および白を有するカラーフィルタが知られている。本明細書において述べられている教示を適用するために、このときには、白色画素から構造情報を生成することが提言される。なぜなら、色、白は特に好都合な信号対ノイズ比を有するからである。

ここで述べられている教示を、例えば、ベイヤーマトリックスにおけるように、２画素の値を超える空間的周期を有するカラーフィルタに適用するためには、色ごとにいくつかの画素が環境内においてそれぞれ提供され、同様に、必要な対称特性が観察されることが確実にされるように、５×５環境よりも大きな環境を用いることが必要となりうる。

より大きな基本フィルタＧＦに基づき、モノリシックな数学的方法は同じく、５×５よりも大きな環境のため、例えば７×７、９×９、１５×１５または３１×３１のために定式化されてもよい。これにより、一方では画質を改善することができる。しかし、それに対して、他方では、メモリ要求および計算労力が増大し、それゆえ、資源投入が増大する。

図３５は９×９環境のための基本フィルタの一例を示す。基本フィルタＧＦは、ここでは、畳み込み行列であって、それに基づき、他の畳み込み行列の計算を遂行することができる、畳み込み行列として指示されている。

提案されているモノリシックな数学的画像処理プロセスは、いくつかの異なる問題に対処するいくつかの態様を有する。適用によっては、態様に関連する特定の処理ステップを省略すれば、有利になりうる。それゆえ、例えば、目立つ緑色間不均衡を全く示さないイメージセンサを適用することが考えられる。このような場合には、緑色間不均衡の補正およびそれゆえ値ＲＸＢおよびＢＸＢの決定、乗算器２３０および２３１、減算器２３２、値ＣＣｍａｘの決定および選択ユニット２３３、ならびに論理要素２３４および２３５を省略することができる。この省略によって、計算労力を低減することができ、したがって、必要とされる資源がより少なくなり、省略された処理ステップを通じて、起こりうるノイズの増大を防止することができる。

一例として、デジタルカメラが、その光学部品が光学的に解像することができるよりもかなり多数の画素を有することも考えられる。このような場合には、しばしば、第２の構造情報ＧＳ２であって、その微細な構造は光学部品によって全く再現することができない、第２の構造情報ＧＳ２を省略し、これにより、乗算器２２０、加算器２２３、選択ユニット２２１、非線形関数２５１の適用、および加算器２２２上における、値ＧＳｃＲＢ、ＲＢＳｃＲＢおよびＧＳｃＧの計算を省略すると、都合よい。加えて、同様に、この場合には、緑色間不均衡の補正のための上述の処理ステップを省略することができる。これにより、処理労力を低減することもでき、資源を節約することができる。さらに、省略は画像ノイズの有利な低減をもたらす。これは、第２の構造情報を計算するための処理ステップにおける誤差伝播を通じたノイズ寄与の省略によって説明することができる。

さらに、カメラにおける、またはこのようなカメラの適用物におけるカラーエイリアシングに関係する関連問題は生じないということも考えられる。このときには、値ＡＡの計算および乗算器１９０を省略することができる。これにより、計算労力が有利な仕方で同様に低減され、資源が節約される。

同様に、画像鮮鋭化は適用されないことになることが考えられる。この場合には、上述の利点を有する乗算器２４０を節約することができる。

同様に、モノリシックな数学的画像処理プロセスの他の態様を節約することができるということも考えられる。このときには、残りの態様が、大抵は計算労力、および資源の必要性がより少なくてすむ数学的画像処理プロセスを形成する。

実施形態に係る、提示されている代替的な解決策は、ベイヤーパターンまたは同様のフィルタ構造を有するさまざまな画像記録デバイスおよびカメラと関連して適用することができる。

要約すると、規則的な画素配列、およびベイヤーパターンを有する関連付けられたカラーフィルタを有するイメージセンサを備えるデジタルカメラから得られた画像データを処理するための画像処理デバイスであって、画像処理デバイスは、いくつかの画素を有する単一の所定の環境からの画像データを用いて、目的の画素に対する全ての画像処理演算を実行するようになっている、画像処理デバイスが説明された。

Claims (15)

1. 規則的な画素配列、およびベイヤーパターンを有する関連付けられたカラーフィルタを有するイメージセンサ（３１）からの画像データを処理するための画像処理デバイスであって、
   前記ベイヤーパターンは、第１の色成分である緑色と、第２の色成分である赤色と、第３の色成分である青色とを有し、
   前記画像処理デバイスは、いくつかの画素を有する所定の環境（１３１）からの画像データを用いることによって、目的の画素（１３０）に対して画像処理演算を実行するようになっており、
   前記画像処理演算は、前記画像データの全ての色成分（Ｒ１、Ｇ１、Ｂ１）への同一の構造値（ＧＳ）の加算によって、色空間の非色線と平行な色値のシフトを遂行するものであり、
   さらに前記画像処理演算は、前記環境（１３１）の前記第１の色成分の画像データに基づき、前記第２および前記第３の色成分の前記画像データに、異なるそれぞれの符号を伴って加算される補正値（ＤＡＡ）を決定するものである、
   画像処理デバイス。
2. 前記所定の環境（１３１）が、前記規則的な画素配列の正方形区域であって少なくとも５行および５列を有する正方形区域である、請求項１に記載の画像処理デバイス。
3. 前記画像処理演算が、所定の畳み込み行列による前記第１の色成分の前記画像データの畳み込みによって決定される値（ＡＡ）への、画像構造の卓越方向に依存する方向推定値（Ｄ）の乗算によって前記補正値を決定するものである、請求項１に記載の画像処理デバイス。
4. 前記画像処理演算が、符号が変化するたびに前記畳み込み行列の行及び列が考慮されるような畳み込み演算によって、前記値（ＡＡ）を決定するものである、請求項３に記載の画像処理デバイス。
5. 前記画像処理演算が、前記環境（１３１）内の水平方向および垂直方向における明るさの変化の差に基づき、及び、前記環境（１３１）内で水平に隣接するセル及び垂直に隣接するセルの差への前記畳み込み行列の適用と得られた結果の比較により、前記方向推定値（Ｄ）を決定するものである、請求項３に記載の画像処理デバイス。
6. 各列及び各色についての水平に隣接する位相関係について、この色に属する行列要素の列の合計が等しく、各行及び各色についての垂直に隣接する位相関係について、この色に属する行列要素の行の合計が等しくなるように、前記畳み込み行列が構成される、請求項５に記載の画像処理デバイス。
7. 前記画像処理演算が、前記環境（１３１）内の所定の色成分の画像データから決定された構造情報に対して補正項（ＲＸＧ、ＢＸＧ）をオフセットすることによって緑色間不均衡を補正するものである、請求項１から６のいずれか一項に記載の画像処理デバイス。
8. 規則的な画素配列、およびベイヤーパターンを有する関連付けられたカラーフィルタを有するイメージセンサ（３１）からの画像データを処理するための画像処理デバイスであって、
   前記画像処理デバイスは、いくつかの画素を有する所定の環境（１３１）からの画像データを用いることによって、目的の画素（１３０）に対して画像処理演算を実行するようになっており、
   前記画像処理演算が、前記環境（１３１）内の第１の色成分の画像データから決定された第１の構造情報に対して、第１の設定値（Ｔｈ２）を有する第１の非線形関数（２５０）を適用し、前記環境（１３１）内の前記所定の色成分の画像データから決定された第２の構造情報に対して、第２の設定値（Ｔｈ１）を有する第２の非線形関数（２５１）を適用し、前記第１および第２の非線形関数の結果を、低ノイズ構造情報を得るために加算するものであり、
   前記画像処理演算は、前記画像データの全ての色成分（Ｒ１、Ｇ１、Ｂ１）への低ノイズ構造値（ＧＳ）の加算によって、色空間の非色線と平行な色値のシフトを遂行するものである、
   画像処理デバイス。
9. 前記ベイヤーパターンの中心画素が緑色である位相関係ｃＧにおいては、前記第２の構造情報を緑色構造情報ＧＳｃＧとして決定し、前記ベイヤーパターンの中心画素が赤色又は青色である位相関係ｃＲＢにおいては、前記第２の構造情報を、方向推定値Ｄを入れた推定により決定する、請求項８に記載の画像処理デバイス。
10. 前記画像処理演算が、前記環境（１３１）内の所定の色成分の画像データから決定された構造情報への補正値（Ｓｈ）の乗算による画像鮮鋭化を遂行するものである、請求項１から９のいずれか一項に記載の画像処理デバイス。
11. 請求項１〜１０のいずれか一項に記載の画像処理デバイスを備えるデジタルカメラ。
12. 前記イメージセンサ（３１）を備えるデジタルカメラに接続するようになっている、請求項１〜１０のいずれか一項に記載の画像処理デバイス。
13. 規則的な画素配列、およびベイヤーパターンを有する関連付けられたカラーフィルタを有するイメージセンサ（３１）からの画像データを処理するための画像処理方法であって、
    前記ベイヤーパターンは、第１の色成分である緑色と、第２の色成分である赤色と、第３の色成分である青色とを有し、
    前記画像処理方法は、いくつかの画素を有する所定の環境（１３１）からの画像データを用いることによって、目的の画素（１３０）に対して画像処理演算を遂行することを含み、
    前記画像処理演算は、前記画像データの全ての色成分（Ｒ１、Ｇ１、Ｂ１）への同一の構造値（ＧＳ）の加算によって、色空間の非色線と平行な色値のシフトを遂行するものであり、
    さらに前記画像処理演算は、前記環境（１３１）の前記第１の色成分の画像データに基づいて補正値（ＤＡＡ）を決定し、決定した補正値を、前記第２および前記第３の色成分の前記画像データに、それぞれ異なる符号を伴って加算するものである、
    画像処理方法。
14. 規則的な画素配列、およびベイヤーパターンを有する関連付けられたカラーフィルタを有するイメージセンサ（３１）からの画像データを処理するための画像処理方法であって、
    前記画像処理方法は、いくつかの画素を有する所定の環境（１３１）からの画像データを用いることによって、目的の画素（１３０）に対して画像処理演算を行うことを含み、
    前記画像処理演算が、前記環境（１３１）内の第１の色成分の画像データから決定された第１の構造情報に対して、第１の設定値（Ｔｈ２）を有する第１の非線形関数（２５０）を適用し、前記環境（１３１）内の前記所定の色成分の画像データから決定された第２の構造情報に対して、第２の設定値（Ｔｈ１）を有する第２の非線形関数（２５１）を適用し、前記第１および第２の非線形関数の結果を、低ノイズ構造情報を得るために加算するものである、
    画像処理方法。
15. コンピュータデバイス上で実行されると、前記コンピュータデバイスに、請求項１３又は１４に記載の画像処理方法を遂行させる命令を有する、コンピュータプログラム。