JP5242180B2 - 画像処理装置、画像信号補正方法、補正マトリクス算出方法及び撮像装置 - Google Patents

Description

本発明は、カラー画像信号を補正する画像信号補正方法、及びカラー画像信号の補正時に用いられる補正マトリクスの算出方法並びに該画像信号補正方法を採用した画像処理装置、撮像装置に関するものである。

現在のデジタルカメラやビデオカメラなどの多くの撮像系には、補色系、または原色系の色フィルタを前面に配置した撮像素子が用いられている。近年、撮像素子の画素サイズの小型化につれて、注目画素に隣接する画素の色フィルタを通過した光が注目画素に混入し、注目画素の分光特性が意図していたものからずれてしまう現象（以下「混色」という。）が問題となっている。

混色が分光特性に与える影響は隣接する色フィルタの種類によって変化するため、撮像面上の位置によって色フィルタの配列が変わる場合は、各画素から出力される、若しくは各画素からの出力を混合して作られる本来同じ分光特性を持つべき画像信号が、画像上の位置によって異なる分光特性を持つことになる。

この結果、均一な被写体を撮像した場合においても、その出力画像は均一とはならず、分光特性の違いが最終的に輝度・色ノイズとして現れることで、画質を劣化させるという課題があった。
また、混色による分光特性の変化は、製造条件による各色フィルタの幅や厚みなどのバラツキによっても大きな影響を受けるため、予め混色の影響を考慮して色フィルタの設計を行うことが困難な状況にある。

このような画像上の位置による画像信号の分光特性の違いを補正する方法として、例えば、特許第３７５５９２１号には、標準的な撮影環境を想定して一つの被写体を撮影し、その被写体に対する出力信号が均一となる様に、画像信号に補正係数を乗じて補正を行う方法が開示されている。
特許第３７５５９２１号公報

しかしながら、上述した従来の補正方法では、標準的な被写体を仮定して、補正対象となる種類の信号値のみに補正係数を乗じて補正を行っているため、補正係数の算出に使用した標準的な被写体（一種類の分光特性の被写体）に対しては高精度な補正が可能であるが、実使用時に撮影の対象となる様々な分光特性を有する被写体のすべてに対して精度良く補正を行うことは不可能であった。

本発明は、上記問題を解決するためになされたもので、実使用時に撮影の対象となる様々な分光特性を有する被写体すべてに対して混色に起因するノイズの補正を高精度で行うことの可能な画像処理装置、画像信号補正方法、補正マトリクス算出方法及び撮像装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様は、所定配列のカラーフィルタを有する撮像素子からの出力信号に基づいて生成されたカラー画像の各画素について、前記カラーフィルタの配列に応じて決定される複数のグループのうち、どのグループに属するかを判定する判定手段と、前記グループと、補正マトリクスとが対応付けられて格納される記憶手段と、各前記画素が属するグループに対応する補正マトリクスを前記記憶手段から取得し、取得した前記補正マトリクスと各前記画素における全種類の画像信号値とを用いて、補正対象となっている種類の画像信号値を補正する補正手段とを具備する画像処理装置である。

本発明の第２の態様は、所定配列のカラーフィルタを有する撮像素子からの出力信号に基づいて生成されたカラー画像の各画素について、前記カラーフィルタの配列に応じて決定される複数のグループのうち、どのグループに属するかを判定し、各前記画素が属するグループに対応する補正マトリクスを、前記グループと、補正マトリクスとが対応付けられて格納される記憶手段から取得し、取得した前記補正マトリクスと各前記画素における全種類の画像信号値とを用いて、補正対象となっている種類の画像信号値を補正する画像信号補正方法である。

本発明の第３の態様は、所定配列のカラーフィルタを有する撮像素子からの出力信号に基づいて生成されたカラー画像を補正する際に用いられる補正マトリクスの算出方法であって、前記撮像素子を用いて分光特性の異なる複数の色票を撮影することでカラー画像を取得し、前記カラー画像の各画素を前記カラーフィルタの配列に応じて決定される複数のグループに区分した場合に、複数種類の画像信号値のうち、各色票に対する少なくとも１種類の画像信号値が、少なくとも２つのグループ間で略一致するように前記補正マトリクスを算出する補正マトリクス算出方法である。

本発明の第４の態様は、所定配列のカラーフィルタを有する撮像素子と、前記撮像素子からの出力信号に基づいて生成されたカラー画像の各画素について、前記カラーフィルタの配列に応じて決定される複数のグループのうち、どのグループに属するかを判定する判定手段と、前記グループと、補正マトリクスとが対応付けられて格納される記憶手段と、各前記画素が属するグループに対応する補正マトリクスを前記記憶手段から取得し、取得した前記補正マトリクスと、各前記画素における全種類の画像信号値とを用いて、補正対象となっている種類の画像信号値を補正する補正手段とを具備する撮像装置である。

本発明の画像処理装置、画像信号補正方法及び撮像装置によれば、グループに対応付けられた補正マトリクスを用いて、当該グループに属する画素に対して画像信号の補正を行っている。補正マトリクスによって、カラー画像の各画素が持つ全種類の画像信号値を用いて補正対象の信号値を補正することで、補正対象となる信号の特性を表す分光特性を柔軟に補正でき、撮影の対象となる全ての被写体に対して充分な補正を行えるため、撮影の対象となる全ての被写体に対して混色に起因するノイズの補正を高精度で行うことができるという効果を奏する。

以下に、本発明に係る画像処理装置、画像信号補正方法、補正マトリクス算出方法及び撮像装置の各実施形態について、図面を参照して説明する。

〔第１の実施形態〕
本実施形態では、撮像素子が備えるカラーフィルタとして、色差線順次式補色フィルタ（以下「補色フィルタ」という。）を用いた場合の撮像装置、画像信号補正方法、及び補正マトリクス算出方法について説明する。

図１は、カラーＣＣＤ等の撮像素子の前面に２次元配列されている補色フィルタの一例を示した図である。図１に示されるように、補色フィルタは、マゼンタ（Ｍｇ）、グリーン（Ｇｒ）、シアン（Ｃｙ）、及びイエロー（Ｙｅ）の４色の色フィルタが規則的に配置された基本配列１が、水平及び垂直方向に繰り返し配置されて構成されている。
図１において、各色フィルタには、隣接する色フィルタの配列の違いにより、「１」と「２」の添え字が付されている。添え字が違うフィルタは、混色の影響により異なる分光特性を持つことを示している。

〔輝度信号〕
ここで、まず、図１に示される補色フィルタが撮影画像の各画素の輝度信号に与える影響について考える。
各画素の輝度信号は、補色フィルタを構成する２×２個の色フィルタの出力信号を用いて以下の（１）式により作成される。
ここで、Ｙ（ｎ，ｍ）は、例えば、撮影画像におけるｎ行ｍ列目の画素（注目画素）の輝度信号を表しており、ＣＦ（ｎ，ｍ）はｎ行ｍ列目の色フィルタの出力信号を表している。

Ｙ（ｎ，ｍ）＝［ＣＦ（ｎ，ｍ）＋ＣＦ（ｎ＋１，ｍ）］＋［ＣＦ（ｎ，ｍ＋１）＋ＣＦ（ｎ＋１，ｍ＋１）］ （１）

ここで、同色のフィルタが同じ分光特性を有しており、混色の影響がない場合、換言すると、以下の（２）式が成立する場合には、常に、以下の（３）式が成立する。

上記（３）式に表されるように、同色の各フィルタの分光特性が同じ場合には、各画素の輝度信号は、撮影画像上の位置によらずに、常に同じ分光特性を持つこととなる。しかしながら、図１において添え字が示すように、各色フィルタの分光特性が混色の影響を受ける場合には、各画素の輝度信号の分光特性は、その画素の撮影画像上における位置に応じて変化することとなる。

撮影画像において、画素（ｎ，ｍ）の輝度信号Ｙ（ｎ，ｍ）は、以下の（４）式で表される。

Ｙ（ｎ，ｍ）＝［ＣＦ（ｎ，ｍ）＋ＣＦ（ｎ＋１，ｍ）］＋［ＣＦ（ｎ，ｍ＋１）＋ＣＦ（ｎ＋１，ｍ＋１）] （４）

例えば、撮影画像において１列目に配置される各画素（１，１），（２，１），（３，１），（４，１）の輝度信号Ｙは、以下のようになる。

Ｙ（１，１）
＝［ＣＦ（１，１）＋ＣＦ（２，１）］＋［ＣＦ（１，２）＋ＣＦ（２，２）]
＝［Ｍｇ１＋Ｃｙ１］＋［Ｇｒ１＋Ｙｅ１］
Ｙ（２，１）
＝［ＣＦ（２，１）＋ＣＦ（３，１）］＋［ＣＦ（２，２）＋ＣＦ（３，２）］
＝［Ｃｙ１＋Ｇｒ２］＋［Ｙｅ１＋Ｍｇ２］
Ｙ（３，１）
＝［ＣＦ（３，１）＋ＣＦ（４，１）］＋［ＣＦ（３，２）＋ＣＦ（４，２）］
＝［Ｇｒ２＋Ｃｙ２］＋［Ｍｇ２＋Ｙｅ２］
Ｙ（４，１）
＝［ＣＦ（４，１）＋ＣＦ（５，１）］＋［ＣＦ（４，２）＋ＣＦ（５，２）］
＝［Ｃｙ２＋Ｍｇ１］＋［Ｙｅ２＋Ｇｒ１］

ここで、図２に、画素（１，１）及び（２，１）における輝度信号Ｙ（１，１），Ｙ（２，１）の分光特性の一例を示す。図２に示すように、撮影画像上の位置に応じて、輝度信号の分光特性が変化することがわかる。
また、１列５行目の画素（５，１）の輝度信号は、以下の（５）式のように表される。
Ｙ（５，１）
＝［ＣＦ（５，１）＋ＣＦ（６，１）］＋［ＣＦ（５，２）＋ＣＦ（６，２）］
＝［Ｍｇ１＋Ｃｙ１］＋［Ｇｒ１＋Ｙｅ１］ （５）

上記（５）式からわかるように、画素（５，１）の輝度信号の分光特性は、Ｙ（１，１）と同様となり、続く、６行目以降についても、上記１行目から４行目に現れた輝度信号の分光特性が規則的に現れることとなる。ここで、画素（１，１）の輝度信号Ｙ（１，１）をＹ１、画素（２，１）の輝度信号Ｙ（２，１）をＹ２、画素（３，１）の輝度信号Ｙ（３，１）をＹ３、画素（４，１）の輝度信号Ｙ（４，１）をＹ４と規定すると、撮影画像における各画素の輝度信号は、図３に示されるようになる。

すなわち、図３に示されるように、撮影画像において、垂直方向（各列）には分光特性が異なる４種類の輝度信号が繰り返し現れ、水平方向（各行）には、同じ分光特性を有する輝度信号が現れることとなり、画像全体には横縞状の輝度ノイズが発生することになる。

〔色差信号〕
次に、色差信号について説明する。
輝度信号Ｙ（ｎ，ｍ）に対応する色差信号は、フィルタの配列に応じて以下の式でＣｂ（ｎ，ｍ）若しくはＣｒ（ｎ，ｍ）のどちらかで表される。

具体的には、上記輝度信号Ｙを作る２×２個の画素のうち垂直方向（各列）に隣り合う画素の組み合わせが、ＭｇとＣｙ及びＧｒとＹｅの場合の色差信号は、以下の（６）式で表される。
Ｃｂ＝［Ｍｇ＋Ｃｙ］−［Ｇｒ＋Ｙｅ］ （６）
例えば、Ｙ（１，１）を作る２×２個の画素は、Ｍｇ１とＣｙ１及びＧｒ１とＹｅ１の組み合わせであるから、Ｙ（１，１）に対応する色差信号Ｃ（１，１）は、以下のようになる。
Ｃ（１，１）＝［Ｍｇ１＋Ｃｙ１］−［Ｇｒ１＋Ｙｅ１］

また、輝度信号Ｙを作る２×２個の画素のうち垂直方向（各列）に隣り合う画素の組み合わせが、ＭｇとＹｅ及びＧｒとＣｙの場合の色差信号は、以下の（７）式で表される。
Ｃｒ＝［Ｍｇ＋Ｙｅ］−［Ｇｒ＋Ｃｙ］ （７）
例えば、Ｙ（２，２）を作る２×２個の画素は、Ｍｇ２とＹｅ１及びＧｒ２とＣｒ１の組み合わせであるから、Ｙ（２，２）に対応する色差信号Ｃ（２，２）は、以下のようになる。
Ｃ（２，２）＝［Ｍｇ２＋Ｙｅ１］−［Ｇｒ２＋Ｃｙ１］

このように見ていくと、図１に示されるように、水平方向の各行においては、色差信号を作るフィルタの組み合わせは常に一定であるから、色差信号Ｃも輝度信号Ｙと同じく水平方向の分光特性は混色の影響によらず一定となる。
さらに、
Ｃｂα＝［Ｍｇ１＋Ｃｙ１］−［Ｇｒ１＋Ｙｅ１］
Ｃｂβ＝［Ｍｇ１＋Ｃｙ２］−［Ｇｒ１＋Ｙｅ２］
Ｃｒα＝［Ｍｇ２＋Ｙｅ１］−［Ｇｒ２＋Ｃｙ１］
Ｃｒβ＝［Ｍｇ２＋Ｙｅ２］−［Ｇｒ２＋Ｃｙ２］
と定義すると、撮影画像全体では図４に示すように、上記４種類の色差信号Ｃｂα，Ｃｂβ，Ｃｒα，Ｃｒβが各列に繰り返し現れることが分かる。

通常、撮像装置においては、上記輝度信号Ｙ，色差信号Ｃが作成された後に、色差信号に対して所定の同時化処理が行われ、図５に示されるように、撮影画像上の全ての画素に対してＹ、Ｃｂ、Ｃｒの３つの画像信号が割り当てられる。図５において、Ｃｂ、Ｃｒの後に続く１から４の添え字は、各色差信号に対応する輝度信号を示している。

図５からもわかるように、図１に示した補色フィルタを用いた場合、水平方向（各行）においては、一様な分光特性を有する撮影画像が得られることとなる。一方、垂直方向（各列）においては、４種類の分光特性を有する画素が繰り返し現れることとなる。したがって、図１に示すような補色フィルタを用いた場合、図５に示すような輝度信号及び色差信号の分光特性のバラツキにより横縞状の色ノイズが発生することになる。

上述したように、本実施形態で課題としている輝度・色ノイズは、撮影画像の位置に応じて分光特性が異なることに起因している。そこで、本実施形態に係る画像信号補正方法においては、輝度・色差信号の分光特性が等しい水平ラインの集合を一つのグループとして定義付けておいて、画像全体を４つのグループに区分し、グループ毎に各信号を補正することで輝度・色ノイズを低減する。

具体的には、区分した４つのグループのうちの一つを基準グループ（第１のグループ）、残りの３つのグループを対象グループ（第２のグループ）とし、対象グループの信号値（Ｙ，Ｃｂ，Ｃｒ）を基準グループの信号値（Ｙ，Ｃｂ，Ｃｒ）に略一致させるような補正マトリクスを対象グループ毎に作成する。そして、この補正マトリクスを用いて各対象グループの信号値をそれぞれ補正することで、各グループの信号を略一致させる。これにより、撮影画像全体の輝度ノイズ及び色ノイズを同時に補正することが可能となる。
式（８）に補正マトリクスを用いた補正式の一例を示す。

上記（８）式において、Ｙ，Ｃｂ，Ｃｒは補正前の信号値、Ｙ^ｃ，Ｃｂ^ｃ，Ｃｒ^ｃは補正後の信号値である。

次に、上記（８）式で用いられる補正マトリクスの算出方法について説明する。
例えば、撮影の対象となる被写体が限定できない場合においては、図６に示すような狭いバンド幅の分光特性を持つ複数枚の色票（図７参照）を撮影し、この撮影画像において、基準グループ及び対象グループから出力される各色票に対応する信号値を用いて、以下の（９）式に示すような最小自乗法から補正マトリクスを算出する。

上記（９）式において、Ｙ_i ^T，Ｃｂ_i ^T，Ｃｒ_i ^Tは、基準グループから出力される信号値を表し、Ｙ_i ^o，Ｃｂ_i ^o，Ｃｒ_i ^oは対象グループから出力される信号値を表している。また、ｎは色票の数を表している。ここで各色票の分光特性のバンド幅が十分小さく、さらに対象となる撮像素子が持つ分光感度帯域を十分網羅できる数の色票を使用すれば、この補正係数は対象グループの各信号の分光特性を、基準グループの分光特性に近づけることになるため、被写体に依存せず輝度ノイズ及び色ノイズを補正することができる。
このように、補正マトリクスは、基準グループにおける少なくとも１種類の画像信号値、つまり、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒのうちのいずれかと、対象グループにおける全種類、つまり、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒの画像信号値との関係を規定している。また、上記補正マトリクスは、複数種類（輝度信号、色差信号）のうち、各色票に対する少なくとも１種類の画像信号値を、少なくとも２つのグループ間で略一致させるような補正マトリクスとなる。そして、このような補正マトリクスは、この補正マトリクスによってカラー画像の対象グループの画像信号を補正すれば、基準グループに属する画素の平均分光特性と、対象グループに属する画素の平均分光特性とを略一致させることができるものである。

一方、撮影の対象となる被写体が、ある程度限定される場合においては、予測される被写体に応じて色票を性能の保障に必要な枚数だけ撮影し、同様の計算を行うことで補正マトリクスを算出することが可能である。

なお、上記の算出例では補正マトリクスを線形な３×３のマトリクスとして算出を行ったが、Ｙ_i ^o，Ｃｂ_i ^o，Ｃｒ_i ^oを互いに乗算した高次の項を含めて最小自乗法により算出した非線形マトリクス係数を適用することも可能である。非線形マトリクス係数の算出は、例えば以下のように行う。

ここで、ｂ₁₁〜ｂ₃₆は、３×６の非線形マトリクスの係数を表す。式（１０）の３つの式がそれぞれ最小になる時のｂ₁₁〜ｂ₃₆を算出する。さらに、上記式（１０）では３×６の非線形マトリクス係数を算出しているが、さらに高次の項を含めた３×９の非線形マトリクス係数を適用することも可能である。

なお、上記説明では、便宜上、輝度ノイズと色ノイズの発生パターンが同じになるように色差信号の同時化処理を行う場合を想定した。しかし、輝度ノイズと色ノイズの発生パターンが異なる場合も、輝度信号と色差信号の分光特性が共通する画素の集合を１つのグループとしてグループ区分を行うことで、同様の手法による補正が可能である。

また、上記説明では、補色フィルタを構成するすべての色フィルタが混色の影響を受け、分光特性が変化する場合を想定して説明をした。しかし、実際には一部の色フィルタだけが混色の影響を受ける場合もあり、ＣＣＤの個体によって混色の影響を受ける色フィルタの種類が変化し、ノイズの周期などの発生パターンが変化することも考えられる。このような場合においても、隣接するフィルタの配列が異なるすべての色フィルタが混色の影響を受ける場合を想定してグループ分けを行うことで、それより細かいグループに区分されることは無いため、補正に支障をきたすことはない。また、混色の影響を受ける色フィルタの種類によっては輝度信号だけに分光特性のバラツキが発生することもあり得るが、同様の手法で補正が可能なことは言うまでもない。

さらに、各色フィルタの配列や輝度・色差信号の作り方が変わると、混色の影響による輝度・色ノイズの発生パターンが変化することが考えられ、各グループが必ずしも水平ラインの集合になるとは限らない。そのような場合においても、フィルタの配列と各信号の算出式から各画素の分光特性に応じて事前にグループ分けし、同様の手法で補正を行うことが可能である。

次に、上述した画像信号処理方法を採用する撮像装置および画像処理装置について図を参照して説明する。
図８は、本発明の第１の実施形態に係る撮像装置の概略構成および画像処理装置を示したブロック図である。図８に示した撮像装置において、レンズ系２により形成された被写体像は撮像素子３の撮像面に結像され、各色フィルタを通過した後、電気信号に変換される。本実施形態では、撮像素子３に、図１に示した色差線順次式補色フィルタを有する単板ＣＣＤを想定している。したがって、撮像素子３から出力される画像信号はＹＣｂＣｒ信号となる。

このようにして得られた画像信号は、Ａ／Ｄ変換部５にてデジタル信号へ変換される。その後、補間部６において、公知の同時化処理により画像上の各画素に対してＹＣｂＣｒ信号が生成され、判定部７へ出力される。判定部（判定手段）７では、入力された画像の各画素について、カラーフィルタの配列に応じて決定される複数のグループのうち、どのグループに属するかを判定する。例えば、判定部７は、撮影画像上における各画素の位置とグループとを対応付けた情報を保有しており、この情報に基づいて、各画素をグループ分けする。グループ分けされた各画素の信号は、補正部８に出力される。なお、レンズ系２、撮像素子３及びＡ／Ｄ変換部５を除いたものが画像処理装置の機能を果たす。

一方、記憶部１３には、複数の補正マトリクスがグループに対応付けられて格納されている。制御部１１は、補正部８に入力される各画素が属するグループの情報を選択部１２に与える。これにより、選択部１２は、記憶部１３に格納されている複数の補正マトリクスの中から、画素が属するグループに対応する補正マトリクスを読み出し、読み出した補正マトリクスを補正部８に出力する。補正部８は、選択部１２から与えられた補正マトリクスを用いて、判定部７から出力される画素の信号値（輝度信号、色差信号）を補正する。より具体的には、補正部８は、補正マトリクスと、該画素における全種類の信号値とを用いて、補正対象となっている種類の画素値を補正する。ここで、各画素を構成する全種類の信号値は補正対象となり得る。つまり、本実施形態においては、輝度信号及び色差信号の両方をそれぞれ補正するのであるが、輝度信号を補正する場合も、色差信号を補正する場合も、その画素を構成する全種類の信号値（ここでは、輝度信号と色差信号）を用いて補正を行う。
補正後の各画素の信号値は、画像処理部９に出力され、所定の画像処理が行われた後、出力部１０に出力され、１枚の画像として出力される。

以上、説明したように、本実施形態に係る撮像装置、画像信号補正方法、及び補正マトリクス算出方法によれば、各画素を補色フィルタの配列に応じて決定される複数のグループに区分し、グループ毎に異なる補正マトリクスを用いて、各画素の信号値の補正を行う。この場合において、各グループの補正マトリクスは、全てのグループの信号値が略同じ値になるように計算されたものであるので、補正マトリクスを用いた補正後の信号値を均一化することが可能となる。これにより、画像全体にわたって、分光特性のバラツキを解消することが可能となり、混色に起因するノイズを解消することが可能となる。

なお、本実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、撮像素子３からの画像信号を未処理のままＲａｗデータとしてＰＣに入力し、別途ソフトウェアにて処理する構成も可能である。図９は、本発明の第１の実施形態に係る画像信号補正方法の手順を示したフローチャートを示した図である。

図９において、ステップＳＡ１では未処理のカラー画像信号と予め決定された複数のグループに関する情報が入力される。ステップＳＡ２では、ステップＳＡ１において得られたカラー画像信号に対して同時化処理が行われ、カラー画像の全ての画素に対して輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成される。

ステップＳＡ３では、ステップＳＡ２で生成された１フレーム分の画像信号から１画素分の信号値が読み出され、ステップＳＡ４では、この１画素がステップＳＡ１で取り込まれた複数のグループのうち、どのグループに属するかを判定する。ステップＳＡ５では、この画素が属するグループに対応する補正マトリクスが予め記憶されている複数のマトリクスの中から選択される。ステップＳＡ６では、この選択された補正マトリクスを用いて当該画素の信号値が補正される。ステップＳＡ７では、１フレーム分の全ての画素について補正が終了したか否かを判断する。
この結果、１フレーム分の画素について、上述した信号補正が終了していない場合（ステップＳＡ７において「ＮＯ」）は、ステップＳＡ３に戻り、新たな１画素分の信号値を読み出し、この画素の信号値に対して上述した補正処理を行う。一方、１フレーム分の画素に対して信号補正が終了した場合（ステップＳＡ７において「ＹＥＳ」）は、処理を終了する。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図１０及び図１１を用いて説明する。
本実施形態では、原色フィルタを有する撮像素子を採用した撮像装置について説明する。

図１０はカラーＣＣＤに２次元配列される原色フィルタの一例である。赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色が、ベイヤー配列状に並べられている。緑の色フィルタは水平方向に隣接する色フィルタの違いによりＧｒとＧｂとして表現されており、この２つは混色の影響により異なる分光特性を持つことを示している。

ここで、同時化処理により全ての画素がＲ，Ｇ，Ｂの情報を持つ場合を考える。Ｒ信号とＢ信号には位置による分光特性の違いは無いため、同時化処理によって全ての画素が同じ分光特性を有するＲ信号とＢ信号を持つことになる。

次に、Ｇ信号について考える。例えばＲ，Ｂの色フィルタを持つ画素のＧ信号は、この画素の上下左右に隣接する４つの画素の平均値として同時化処理が行われると仮定すると、Ｒ，Ｂの色フィルタを持つ画素のＧ信号は常に（Ｇｒ＋Ｇｂ）／２で表現される。
これをＧａと定義すると、同時化処理後のＧ信号には、図１１に示すように、ＧａとＧｒもしくはＧａとＧｂを繰り返すラインが交互に現れることになる。このような場合においては、上述の第１の実施形態のように、１ラインの集合としてグループを表現することはできない。そこで、本実施形態においては、Ｒ，Ｇ，Ｂ信号の分光特性が等しい画素の集合を一つのグループとして定義付けておいて、画像全体を３つのグループに区分し、グループ毎に各信号を補正することで混色に起因するノイズを低減することを考える。

この場合も、分割した３つのグループのうち一つを基準グループ、残りの２つのグループを対象グループとし、対象グループの信号値を基準グループの信号値に略一致させるような補正マトリクスを対象グループ毎に作成する。そして、この補正マトリクスを用いて各対象グループの信号値をそれぞれ補正することで、各グループの信号を略一致させる。これにより、撮影画像全体の輝度ノイズ及び色ノイズを同時に解消することが可能となる。式（１１）に補正マトリクスを用いた補正式の一例を示す。

上記（１１）式において、Ｒ，Ｇ，Ｂは補正前の信号値、Ｒ^ｃ，Ｇ^ｃ，Ｂ^ｃは補正後の信号値である。（１１）式に用いられる補正マトリクスの算出方法については、上述した第１の実施形態に係る方法を用いることが可能である。

また、図８に示される撮像装置において、色差線順次式補色フィルタを有する単板ＣＣＤに代えて、原色フィルタを採用した場合には、各グループに属する画素の信号値をそのグループ固有の補正マトリクスを用いて補正することで、色差線順次式補色フィルタを用いた場合と同様に、輝度ノイズ及び色ノイズを解消することが可能となる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の第１の実施形態に係る補色フィルタの一例を示した図である。 ２つの画素の輝度信号の分光特性の一例を比較して示した図である。 撮影画像の各画素の輝度信号の一例を示した図である。 撮影画像の各画素の色差信号の一例を示した図である。 同時化処理後の撮影画像の各画素に割り当てられる画像信号の一例を示した図である。 色票が有する狭いバンド幅の分光特性の一例を示した図である。 色票の一例を示した図である。 本発明の第１の実施形態に係る撮像装置の概略構成を示した図である。 本発明の第１の実施形態に係る画像信号補正方法の手順を示したフローチャートである。 本発明の第２の実施形態に係る原色フィルタの一例を示した図である。 図１０に示される原色フィルタを用いて生成された画像信号を同時化処理した場合に、撮影画像の各画素に割り当てられる画像信号の一例を示した図である。

符号の説明

２ レンズ系
３ 撮像素子
４ 絞り
５ Ａ／Ｄ
６ 補間部
７ 判定部（判定手段）
８ 補正部（補正手段）
９ 画像処理部
１０ 出力部
１１ 制御部
１２ 選択部
１３ 記憶部（記憶手段）

Claims (14)

1. 所定配列のカラーフィルタを有する撮像素子からの出力信号に基づいて生成されたカラー画像の各画素について、前記カラーフィルタの配列に応じて決定される複数のグループのうち、どのグループに属するかを判定する判定手段と、
   前記グループと、補正マトリクスとが対応付けられて格納される記憶手段と、
   各前記画素が属するグループに対応する補正マトリクスを前記記憶手段から取得し、取得した前記補正マトリクスと各前記画素における全種類の画像信号値とを用いて、補正対象となっている種類の画像信号値を補正する補正手段と
   を具備する画像処理装置。
2. 前記補正マトリクスは、分光特性の異なる複数の色票を撮影することで取得されたカラー画像の各画素を前記グループに区分した場合に、第１のグループにおける少なくとも１種類の画像信号値と、第２のグループにおける全種類の画像信号値との関係を規定する補正マトリクスである請求項１に記載の画像処理装置。
3. 前記補正マトリクスは、分光特性の異なる複数の色票を撮影することで取得されたカラー画像の各画素を前記グループに区分した場合に、複数種類の画像信号値のうち、各色票に対する少なくとも１種類の画像信号値を、少なくとも２つのグループ間で略一致させるような補正マトリクスである請求項１または請求項２に記載の画像処理装置。
4. 前記補正マトリクスは、分光特性の異なる複数の色票を撮影することで取得されたカラー画像信号値の各画素を前記グループに区分した場合に、第１のグループに属する画素の平均分光特性と、第２のグループに属する画素の平均分光特性とを略一致させるような補正マトリクスである請求項１に記載の画像処理装置。
5. 複数の前記グループは、前記撮像素子からの出力信号に基づいて生成された前記カラー画像の分光特性が共通となる画素が同じグループに属するように定められていることを特徴とする請求項１に記載の画像処理装置。
6. 所定配列のカラーフィルタを有する撮像素子からの出力信号に基づいて生成されたカラー画像の各画素について、前記カラーフィルタの配列に応じて決定される複数のグループのうち、どのグループに属するかを判定し、
   各前記画素が属するグループに対応する補正マトリクスを、前記グループと、補正マトリクスとが対応付けられて格納される記憶手段から取得し、
   取得した前記補正マトリクスと各前記画素における全種類の画像信号値とを用いて、補正対象となっている種類の画像信号値を補正する画像信号補正方法。
7. 前記撮像素子からの出力信号に基づいて生成された前記カラー画像の分光特性を前記画素毎に事前に取得し、
   共通の分光特性を有する画素が同じグループに属するように、複数の前記グループを定める請求項６に記載の画像信号補正方法。
8. 所定配列のカラーフィルタを有する撮像素子からの出力信号に基づいて生成されたカラー画像を補正する際に用いられる補正マトリクスの算出方法であって、
   前記撮像素子を用いて分光特性の異なる複数の色票を撮影することでカラー画像を取得し、
   前記カラー画像の各画素を前記カラーフィルタの配列に応じて決定される複数のグループに区分した場合に、複数種類の画像信号値のうち、各色票に対する少なくとも１種類の画像信号値が、少なくとも２つのグループ間で略一致するように前記補正マトリクスを算出する補正マトリクス算出方法。
9. 所定配列のカラーフィルタを有する撮像素子と、
   前記撮像素子からの出力信号に基づいて生成されたカラー画像の各画素について、前記カラーフィルタの配列に応じて決定される複数のグループのうち、どのグループに属するかを判定する判定手段と、
   前記グループと、補正マトリクスとが対応付けられて格納される記憶手段と、
   各前記画素が属するグループに対応する補正マトリクスを前記記憶手段から取得し、取得した前記補正マトリクスと、各前記画素における全種類の画像信号値とを用いて、補正対象となっている種類の画像信号を補正する補正手段と
   を具備する撮像装置。
10. 複数の前記グループは、前記撮像素子からの出力信号に基づいて生成された前記カラー画像の各画素における複数の画像信号値のうち、少なくとも一つの画像信号値に基づく分光特性が共通となる画素が同じグループに属するように定められることを特徴とする請求項１に記載の画像処理装置。
11. 複数の前記グループは、前記カラー画像の各画素における複数の画像信号値のうち、少なくとも一つの画像信号値を生成するために使用される前記撮像素子からの出力信号が同じ配列のカラーフィルタから出力されている画素を同じグループとすることを特徴とする請求項１に記載の画像処理装置。
12. 前記各画素における複数の画像信号値は、輝度信号と色差信号であることを特徴とする請求項１０または請求項１１に記載の画像処理装置。
13. 前記各画素のおける複数の画像信号値は、Ｒ、Ｇ、Ｂ信号であることを特徴とする請求項１０または請求項１１に記載の画像処理装置。
14. 前記全種類の画像信号値のうち少なくとも１つは補間により生成された画像信号値である請求項１乃至請求項５、請求項１０乃至請求項１３の何れか１項に記載の画像処理装置。

Images