WO2011001738A1 - 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム - Google Patents

Abstract

　使用するレンズなどの光学条件が未知となる状況下でもクロストーク量を適応的に補正処理する。　ホワイト画素を含む色コーディングを用いた撮像素子の出力信号から、ＲＧＢ各画素の信号量の総和とホワイトの信号量の比率を基にクロストーク量の相対的な変化を算出する。次いで、事前に求めたクロストーク補正係数とクロストーク量の関係式から、現在のクロストーク量に応じたクロストーク補正係数を算出すると、隣接画素の信号の何割かをクロストーク量として補正対象画素の信号から減算することで、補正対象画素の信号を補正する。

Description

画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム

　本発明は、色コーディングの色フィルターを有する撮像素子からの出力信号を処理する画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラムに係り、特に、ホワイト画素を色コーディングに用いた撮像素子からの出力信号を処理する画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラムに関する。

　カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をディジタル符号化するディジタルカメラが広範に普及している。ディジタルカメラによれば、ディジタル符号化された画像をメモリに記憶し、コンピューターによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。現在、ディジタルスチルカメラ、ディジタルビデオカメラ、あるいは携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）に搭載されたディジタルカメラ、監視用カメラの多くは固体撮像素子を用いて構成されている。

　ＣＣＤ、ＣＭＯＳいずれの撮像素子も、２次元に配列された各画素（フォトダイオード）が光電効果を利用して光を電荷に変換する仕組みにより構成される。各画素の表面には、例えばＲ（赤）、緑（Ｇ）、青（Ｂ）の３色いずれかの色フィルターが設けられ、各色フィルターを通した入射光量に対応する信号電荷が各画素に蓄積される。色フィルターは、所望波長の光を通すバンドパス・フィルターである。そして、各画素から各色の入射光量に応じた信号電荷が読み出され、３色の各信号電荷量から各画素位置における入射光の色を再現することができる。

　最近では、微細化技術の進歩と相俟って、撮像素子の高解像度化が進んでいる。ところが、高解像度化に伴い画素が微細化すると、画素当たりに蓄積される電荷量の低下により、感度の低下が懸念される。高感度化のための１つの方法として、画素上に光学的なバンドパス・フィルターを含まない「ホワイト（Ｗｈｉｔｅ）画素」を含んだ配列からなる色コーディングが提案されている（例えば、非特許文献１を参照のこと）。ホワイト画素のような高感度画素は、有彩色画素と比較して入射光に対する感度の高いという特徴があり、例えば低照度の環境において感度特性を向上することができる（例えば、特許文献１を参照のこと）。

　図１２Ａには、原色系の代表的なフィルター配列であるベイヤー配列を示している。また、図１２Ｂには、ホワイト画素を含んだフィルター配列の一例を示している。但し、図中のＲはＲｅｄ（赤）の色フィルター、ＧはＧｒｅｅｎ（緑）の色フィルター、ＢはＢｌｕｅ（青）、ＷはＷｈｉｔｅ（白）の色フィルターをそれぞれ指す。図示の例では、ＲＧＢの原色系の各色フィルター間にホワイト画素が間欠的に挿設されている。

　また、画素の微細化に伴い、隣接する間で光学的・電気的なクロストークすなわち混色（以下では単に「クロストーク」と呼ぶ）が発生することが懸念される。クロストークの要因として、本来隣の画素に集光されるべき光が漏れ出ることや、画素間で電子が漏れることなどが挙げられる。

　クロストークは、解像度の低下や、色情報の喪失を引き起こすため、補正を行なう必要がある。ここで、クロストークは、ホワイト画素を配列に含んだ色フィルターを用いた撮像素子に限定される問題ではない。しかしながら、ホワイト画素からより多くの光が漏れることから、ホワイト画素を配列に含まない色フィルターを用いた撮像素子に対して、クロストークによる画像の劣化はより顕著となる。

　同じ撮像素子であっても、個々のマイクロレンズなどの光学条件によってクロストーク量はさまざまに変化する。これは、クロストークが光の入射角度に依存しているためである。このことから、さらに素子のチップ面内でも位置によってクロストーク量が異なる。また、撮像素子を構成するシリコン（Ｓｉ）基板への光の侵入深さは、光の波長によって異なるため、撮影時の光源の色温度によってもクロストーク量は変化する。

　例えば、撮像素子の注目画素に隣接する複数の周囲画素の各信号と、当該各信号に対して各々独立して設定される補正パラメーターとを用いて注目画素の信号に対して補正処理を行なうことで、光学条件に起因するクロストーク量の変化に対応した信号処理方法について提案がなされている（例えば、特許文献２を参照のこと）。しかしながら、この信号処理方法では、補正パラメーターの値は被写体からの光を撮像素子に導く光学系に含まれる絞りの開口径に応じて設定される。言い換えれば、あらかじめ使用するレンズが決まっており、レンズに応じたクロストーク量を前以って測定し、これに対して補正を行なうものである。このため、レンズをユーザーが自由に取り換えることができる交換レンズ型など、レンズ情報が未知の状況下ではクロストーク量の補正が困難である。

特開２００７－２８８４９０号公報 特開２００７－１４２６９７号公報

Ｙ．Ｅｇａｗａ，"Ａ　Ｗｈｉｔｅ－ＲＧＢ　ＣＦＡ－Ｐａｔｔｅｒｎｅｄ　ＣＭＯＳ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ　ｗｉｔｈ　Ｗｉｄｅ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ"（２００８　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｏｌｉｄ－Ｓｔａｔｅ　Ｃｉｒｃｕｉｔｓ　Ｃｏｎｆｅｒｅｎｃｅ　（ＩＳＳＣＣ）　Ｐ．５２－５３）

　本発明の目的は、ホワイト画素を色コーディングに用いた撮像素子からの出力信号を好適に処理することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラムを提供することにある。

　本発明のさらなる目的は、ホワイト画素を色コーディングに用いた撮像素子の出力信号に含まれるクロストーク量を好適に補正処理することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラムを提供することにある。

　本発明のさらなる目的は、使用するレンズなどの光学条件が未知となる状況下においても、ホワイト画素を色コーディングに用いた撮像素子の出力信号に含まれるクロストーク量を好適に補正処理することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラムを提供することにある。

　本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
　撮像素子の補正対象画素からの出力信号に含まれるクロストーク量の評価値を算出するクロストーク量算出部と、
　前記クロストーク量算出部から出力される評価値に基づいてクロストーク補正係数を算出するクロストーク補正係数算出部と、
　前記クロストーク補正係数を用いて、前記補正対象画素の出力信号に含まれるクロストーク量を取り除くクロストーク補正部と、
を具備する画像処理装置である。

　本発明の請求項２に記載の発明によれば、請求項１に記載の画像処理装置のクロストーク量算出部は、撮像素子からの出力信号に基づいて、前記補正対象画素の出力信号に含まれるクロストーク量の評価値を算出するように構成されている。

　本発明の請求項３に記載の発明によれば、請求項１に記載の画像処理装置のクロストーク量算出部は、隣接画素間の出力信号の関係に基づいて、前記補正対象画素からの出力信号に含まれるクロストーク量の評価値を算出するように構成されている。

　本願の請求項４に記載の発明によれば、請求項１に記載の画像処理装置において、撮像素子にはホワイト画素を含んだ色コーディングを用いるように構成されている。クロストークは、ホワイト画素を配列に含んだ色フィルターを用いた撮像素子に限定される問題ではないが、ホワイト画素からより多くの光が漏れることから、ホワイト画素を配列に含まない色フィルターを用いた撮像素子に対して、クロストークによる画像の劣化はより顕著となる。このような場合、請求項５に記載の通り、請求項４に記載の画像処理装置のクロストーク量算出部は、ホワイト以外の各画素の信号量の総和とホワイト画素の信号量の比率に基づいて、補正対象画素におけるクロストーク量の評価値を算出するように構成すればよい。

　より具体的には、本願の請求項６に記載の通り、請求項４に記載の画像処理装置のクロストーク量算出部は、ＲＧＢ各画素の信号量にそれぞれ所定の係数（α、β、γ）を乗じた数値の総和とホワイト画素の信号量に所定の係数（ε）を乗じた数値の比率に基づいて、補正対象画素における相対的なクロストーク量の評価値を算出するように構成することができる。

　本発明の請求項７に記載の発明によれば、請求項４に記載の画像処理装置のクロストーク量算出部は、Ｎ×Ｎ画素を処理単位として（但し、Ｎは正の整数）、クロストーク量の評価値を算出するように構成されている。

　本発明の請求項８に記載の発明によれば、請求項７に記載の画像処理装置はクロストーク量算出部が処理単位毎に算出したクロストーク量の評価値を保存するメモリをさらに備え、クロストーク補正係数算出部、クロストーク補正部は、前記メモリに保存されている以前のフレームを用いて算出された評価値を用いて、補正係数の算出とクロストークの補正をそれぞれ行なうように構成されている。

　本発明の請求項９に記載の発明によれば、請求項１に記載の画像処理装置のクロストーク補正係数算出部は、あらかじめ前記クロストーク量算出部により算出されるクロストーク量の評価値と補正係数との関係式を算出しておき、前記クロストーク量算出部から出力される評価値が出力されたときに、前記関係式を参照して当該評価値に対応する補正係数を算出するように構成されている。

　本発明の請求項１０に記載の発明によれば、請求項１に記載の画像処理装置のクロストーク補正部は、補正対象画素の出力信号から、補正対象画素に隣接するがその出力信号に対して前記補正係数を乗じた値を減算して、クロストーク量を取り除くように構成されている。

　本発明の請求項１１に記載の発明によれば、請求項１に記載の画像処理装置の撮像素子は、ホワイト画素を含まない配列の中に、ホワイト画素を含んだ評価値算出用の配列を複数配置している。

　本発明の請求項１２に記載の発明によれば、請求項１１に記載の画像処理装置のクロストーク量算出部は、各々の評価値算出用の配列を用いて該当する位置において発生しているクロストーク量の評価値をそれぞれ算出するように構成されている。また、クロストーク補正係数算出部は、評価値算出用の配列が配置された位置毎に、前記クロストーク量算出部から出力される評価値に基づいてクロストーク補正係数を算出するように構成されている。また、クロストーク補正部は、評価値算出用の配列内では該当する補正係数を用いてクロストークの補正を行ない、評価値算出用の配列外の領域では、近隣の評価値算出用の配列から得られたクロストーク量の評価値に基づいて決定されるクロストーク補正係数を用いてクロストークの補正を行なうように構成されている。

　また、本願の請求項１３に記載の発明は、
　撮像素子の補正対象画素からの出力信号に含まれるクロストーク量の評価値を算出するクロストーク量算出ステップと、
　前記クロストーク量算出ステップにおいて得られる評価値に基づいてクロストーク補正係数を算出するクロストーク補正係数算出ステップと、
　前記クロストーク補正係数を用いて、前記補正対象画素の出力信号に含まれるクロストーク量を取り除くクロストーク補正ステップと、
を有する画像処理方法である。

　また、本願の請求項１４に記載の発明は、
　色コーディングの色フィルターを有する撮像素子と、
　前記撮像素子の出力信号を処理する信号処理部と、
を具備し、
　前記信号処理部は、
　前記撮像素子の補正対象画素からの出力信号に含まれるクロストーク量の評価値を算出するクロストーク量算出部と、
　前記クロストーク量算出部から出力される評価値に基づいてクロストーク補正係数を算出するクロストーク補正係数算出部と、
　前記クロストーク補正係数を用いて、前記補正対象画素の出力信号に含まれるクロストーク量を取り除くクロストーク補正部と、
を含む撮像装置である。

　また、本願の請求項１５に記載の発明は、色コーディングの色フィルターを有する撮像素子からの出力信号の処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
　撮像素子の補正対象画素からの出力信号に含まれるクロストーク量の評価値を算出するクロストーク量算出部、
　前記クロストーク量算出部から出力される評価値に基づいてクロストーク補正係数を算出するクロストーク補正係数算出部、
　前記クロストーク補正係数を用いて、前記補正対象画素の出力信号に含まれるクロストーク量を取り除くクロストーク補正部、
として機能させるためのコンピューター・プログラムである。

　本願の請求項１５に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１５に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る画像処理装置と同様の作用効果を得ることができる。

　本発明によれば、使用するレンズなどの光学条件が未知となる状況下においても、ホワイト画素を色コーディングに用いた撮像素子の出力信号に含まれるクロストーク量を適応的に補正処理することができる、優れた画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラムを提供することができる。

　本願の請求項１、１３乃至１５に記載の発明によれば、撮影中の光学情報がなくても、撮影データのみからクロストーク量を知るための評価値を算出し、この評価値に適応した補正係数を用いてクロストークの補正処理を行なうことが可能である。

　本願の請求項２、３に記載の発明によれば、撮像素子からの出力信号に基づいてクロストーク量を算出することから、使用するレンズなどの光学条件が未知となる状況下においてもクロストークの補正を行なうことができ、また、ディジタル信号処理によりクロストークの補正を行なうことができる。

　本願の請求項４乃至６に記載の発明によれば、ホワイト画素とＲＧＢなど他の色の画素が隣接する色コーディングを用いる場合、縦方向及び横方向からの現象が支配的となることを利用して、隣接するＲＧＢがその信号量の総和とホワイト画その信号量の比率に基づいて、補正対象画素におけるクロストーク量の評価値を算出することができる。

　本願の請求項７に記載の発明によれば、例えば、Ｎ＝４すなわち４×４画素を最小単位とすることで、リアルタイムにクロストーク量の評価値を算出することができる。この場合、処理単位内に同一色の画素が２以上の出力を持つことになるので、色毎に信号量の平均値を用いるとよい。また、細かい粒度で補正係数を算出する必要がない場合や、動画へ適用するなど、必ずしも１枚の撮像画像で補正係数を算出する必要がない場合には、Ｎ＝１００すなわち１００×１００画素程度の比較的大きなブロックを処理単位にすればよい。

　本願の請求項８に記載の発明によれば、以前のフレームを用いて算出された評価値を用いて、補正係数の算出とクロストークの補正をそれぞれ行なうので、動画処理に対応することができる。

　本願の請求項９に記載の発明によれば、あらかじめ算出しておいたクロストーク量の評価値と補正係数との関係式に基づいて、クロストーク量算出部から出力される評価値から補正係数を算出することができる。

　本願の請求項１０に記載の発明によれば、補正対象画素の出力信号から、補正対象画素に隣接するがその出力信号に対して補正係数を乗じた値を減算して、クロストーク量を取り除くことができる。

　本願の請求項１１、１２に記載の発明によれば、各々の評価値算出用の配列を用いてクロストーク量をそれぞれ評価することで、撮像素子面全体にわたってクロストークの具合を知ることができる。そして、それぞれの領域では、近隣の評価値算出用の配列から得られたクロストーク量の評価値に基づいてクロストーク補正係数を決定することで、適応的にクロストークを補正することができる。

　本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本発明の実施に供される撮像装置１００のハードウェア構成を模式的に示した図である。 図２は、クロストーク補正のための画像信号処理を行なう機能的構成を示した図である。 図３Ａは、撮像素子１２の色画素毎の分光特性例（クロストークの程度小）（分光特性１）を示した図である。 図３Ｂは、撮像素子１２の色画素毎の分光特性例（クロストークの程度中）（分光特性２）を示した図である。 図３Ｃは、撮像素子１２の色画素毎の分光特性例（クロストークの程度大）（分光特性３）を示した図である。 図４Ａは、クロストークが縦方向及び横方向から生じる様子を示した図である。 図４Ｂは、図１２Ｂに示した色画素の配列で、ホワイトの信号が隣接するＲＧＢの信号へ混色する様子を示した図である。 図４Ｃは、図１２Ｂに示した色画素の配列で、ＲＧＢの各信号が隣接するホワイトの信号へ混色する様子を示した図である。 図５Ａは、マクベスカラーチェッカーチャートにおける青パッチ（パッチ番号１３）の反射分光特性を示した図である。 図５Ｂは、マクベスカラーチェッカーチャートにおける緑パッチ（パッチ番号１４）の反射分光特性を示した図である。 図５Ｃは、マクベスカラーチェッカーチャートにおける赤パッチ（パッチ番号１５）の反射分光特性を示した図である。 図５Ｄは、マクベスカラーチェッカーチャートにおける黄色パッチ（パッチ番号１６）の反射分光特性を示した図である。 図５Ｅは、マクベスカラーチェッカーチャートにおけるマゼンダパッチ（パッチ番号１７）の反射分光特性を示した図である。 図５Ｆは、マクベスカラーチェッカーチャートにおけるシアンパッチ（パッチ番号１８）の反射分光特性を示した図である。 図６Ａは、図５Ａ～図５Ｆに示した各マクベス色パッチの反射分光特性と図３Ａに示した撮像素子１２の色画素毎のクロストーク量に応じた分光特性（分光特性１）とを積分した結果を示した図である。 図６Ｂは、図５Ａ～図５Ｆに示した各マクベス色パッチの反射分光特性と図３Ｂに示した撮像素子１２の色画素毎のクロストーク量に応じた分光特性（分光特性２）とを積分した結果を示した図である。 図６Ｃは、図５Ａ～図５Ｆに示した各マクベス色パッチの反射分光特性と図３Ｃに示した撮像素子１２の色画素毎のクロストーク量に応じた分光特性（分光特性３）とを積分した結果を示した図である。 図７Ａは、クロストーク量に応じた各々の分光特性（図３Ａ～図３Ｃ）について、主要６色のマクベス色パッチ毎に求めた評価値を示した図である。 図７Ｂは、クロストーク量に応じた各々の分光特性（図３Ａ～図３Ｃ）について、すべてのマクベス色パッチについて求めた評価値を示した図である。 図８は、一般的なクロストークの補正処理方法を説明するための図である。 図９は、クロストーク量の評価値（Ｋ）と補正係数との関係式の一例を示した図である。 図１０は、ある程度の大きさで補正係数を算出する領域（ブロック）の一例を示した図である。 図１１は、クロストーク量算出部１で算出した評価値（Ｋ）を保存するためのメモリ４を示した図である。 図１２Ａは、原色系の代表的なフィルター配列であるベイヤー配列を示した図である。 図１２Ｂは、ホワイト画素を含んだフィルター配列の一例を示した図である。 図１３Ａは、ホワイト画素を含んだフィルター配列の他の例を示した図である。 図１３Ｂは、ホワイト画素を含んだフィルター配列の他の例を示した図である。 図１３Ｃは、補色系の色フィルターを利用したフィルター配列の他の例を示した図である。 図１４は、ホワイト画素を含まないベイヤー配列（図１２Ａを参照のこと）に、図１２Ｂに示したようなホワイト画素を含む配列を散在させたフィルター配列の一例を示した図である。 図１５は、図１２Ａに示したベイヤー配列を基本とする撮像素子面に図１２Ｂに示したような評価値算出用の配列を複数配置した様子を模式的に示した図である。 図１６は、図１２Ａに示したベイヤー配列を基本とする撮像素子面に図１２Ｂに示したような評価値算出用の配列を複数配置した様子を模式的に示した図である。

　以下、図面を参照しながら本発明の実施形態について詳細に説明する。

　図１には、本発明の実施に供される撮像装置１０のハードウェア構成を模式的に示している。但し、ここで言う撮像装置とは、撮像素子、当該撮像素子の撮像面（受光面）上に被写体の像光を結像させる光学系及び当該撮像素子の信号処理回路を含むカメラモジュール、及び当該カメラモジュールを搭載したディジタルスチルカメラやビデオカメラなどのカメラ装置、携帯電話などの電子機器を含むものとする。

　図１において、被写体（図示せず）からの像光は、光学系、例えば撮像レンズ１１によって撮像素子１２の撮像面上に結像される。撮像素子１２として、光電変換素子を含む画素が行列状に多数２次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含む色フィルターが画素の表面上に配置されてなる撮像素子が用いられる。色フィルターは、所望波長の光を通すバンドパス・フィルターである。

　色フィルターを有する撮像素子としては、ＣＣＤに代表される電荷転送型撮像素子や、ＭＯＳに代表されるＸ－Ｙアドレス型撮像素子などのうちいずれであってもよい。

　また、色フィルターは、輝度（Ｙ）成分を作る上で主成分となる色成分として例えば緑色（Ｇ）を、他の色成分として例えば赤色（Ｒ）、青色（Ｂ）をそれぞれ含んで、各画素位置における入射光の色を再現するよう色コーディングを行なう。本実施形態では、高感度化などを目的として、色フィルターはホワイト画素を含んだ配列からなる色コーディングを行なうものとする。但し、画素の配列は図１２Ｂに示したものに限定されない。なお、Ｙ成分を作る上で主成分となる色成分として、例えばホワイト、シアン、イエローなどを用い、他の色成分として、例えばマゼンタ、シアン、イエローなどを用いることも可能である。

　撮像素子１２では、入射する像光のうち、各色成分の光のみが色フィルターを通過して各画素に入射する。画素の各々に入射した光は、フォトダイオードなどの光電変換素子によって光電変換される。そして、各画素からアナログ画像信号として読み出され、Ａ／Ｄ変換器（ＡＤＣ）１３でディジタル画像信号に変換された後、本発明に係る画像処理装置に相当するカメラ信号処理回路１４に入力される。

　カメラ信号処理回路１４は、光学系補正回路２１、ＷＢ（ホワイトバランス）回路２２、補間処理回路２３、ガンマ（γ）補正回路２４、Ｙ（輝度）信号処理回路２５、Ｃ（クロマ）信号処理回路２６、帯域制限ＬＰＦ（ローパスフィルター）２７、間引き処理回路２８などで構成される。

　光学系補正回路２１は、カメラ信号処理回路１４に入力されるディジタル画像信号に対して黒レベルを合わせるディジタルクランプ、撮像素子１２の欠陥を補正する欠陥補正、撮像レンズ１１の周辺光量落ちを補正するシェーディング補正など、撮像素子１２や光学系の補正を行なう。

　上述したように、本実施形態で撮像素子に使用される色フィルターはホワイト画素を含むことから、クロストークの問題が顕著となるため、その補正を行なう必要がある。本発明は、ディジタル信号処理の段階でクロストーク量の算出と補正を行なう点に主な特徴があるが、その機能を例えば光学系補正回路２１内に実装することができる。クロストーク量の算出並びに補正処理の詳細については後述に譲る。

　ＷＢ回路２２は、光学系補正回路２１を経た画像信号に対して、ホワイトバランスを調整する処理を施して、白い被写体に対してＲＧＢが同じになるようにする。補間処理回路２３は、空間位相の異なる画素を補間によって作り出す、すなわちそれぞれ空間的に位相がずれたＲＧＢ信号から３枚のプレーン（同じ空間位置のＲＧＢ信号）を作り出す。

　ガンマ（γ）補正回路２４は、同じ空間位置のＲＧＢ信号に対してガンマ補正を掛けた後、Ｙ信号処理回路２５及びＣ信号処理回路２６に供給する。ガンマ補正は、被写体の色の階調を正しく表現するために、撮像素子１２及び後段の映像再生手段などを含むシステム全体の光電変換特性を１とするように、ＷＢ回路２２から出力されるＲ、Ｇ、Ｂの色信号に対してそれぞれ所定のゲインを掛ける処理である。

　Ｙ信号処理回路２５はＲ、Ｇ、Ｂの色信号から輝度（Ｙ）信号を作り、また、Ｃ信号処理回路２６はＲ、Ｇ、Ｂの色信号から色差信号Ｃｒ（Ｒ－Ｙ）、Ｃｂ（Ｂ－Ｙ）を作る。

　帯域制限ＬＰＦ２７は、例えばカットオフ周波数ｆ_cがサンプリング周波数ｆ_sの１／８のフィルターであり、色差信号Ｃｒ及びＣｂに関して通過帯域を（１／２）ｆ_sから（１／８）ｆ_sまで落とす。但し、これはＴＶ信号フォーマットに合わせた出力であり、帯域制限を行なわないで出力した場合には、１／８ｆ_s以上の周波数信号が偽色信号として出力されてしまう。間引き処理回路２８は、色差信号Ｃｒ、Ｃｂのサンプリングの間引きを行なう。

　図１に示した撮像装置１０において、撮像素子に使用される色フィルターはホワイト画素を含むことから、クロストークの問題が顕著となる。本実施形態では、ディジタル信号処理の段階でクロストーク量の算出と補正を行なうように構成されている。図２には、クロストーク補正のための画像信号処理を行なう機能的構成を示している。図示の画像信号処理は、クロストーク量算出部１と、クロストーク補正係数算出部２と、クロストーク補正部３で構成され、例えば光学系補正回路２１内に実装される。

　まず、クロストーク量算出部１について説明する。クロストーク量算出部１は、撮像素子１２から出力された撮像データを基に、クロストークの程度をクロストーク量として定量化する。

　図３には、撮像素子１２の色画素毎の分光特性例を示している。図示の例では、図３Ａ、図３Ｂ、図３Ｃの順で、クロストークの程度が増している。青（Ｂ）画素は４５０ナノメートル付近を通す色フィルターであり、緑（Ｇ）画素は５５０ナノメートル付近を通す色フィルターであり、赤（Ｒ）画素は６５０ナノメートル付近を通す色フィルターである。また、ホワイト（Ｗ）画素は色フィルターのない、白黒の撮像素子と同じである。クロストーク量が増加すると、本来は感度があってはならない周波数領域で出力が増加する。例えば図３Ｃでは、青（Ｂ＿３）画素の波形において、クロストークのために波長５５０～６５０ナノメートルの帯域で出力が増加している。

　ところで、図１２Ｂに示すような色フィルターの配列では、ホワイト画素とＲＧＢの各画素はそれぞれ隣り合っている。一般に、クロストークは、図４Ａに示すように、縦方向及び横方向からの現象が支配的である。したがって、図１２Ｂに示した色フィルターの配列では、クロストークは、図４Ｂに示すように、ホワイトの信号が隣接するＲＧＢの信号へ混色するものと、図４Ｃに示すように、ＲＧＢの各信号がホワイトの信号へ混色するものの２種類に大別することができ。

　図４に示した性質を利用することで、クロストーク量を相対的に知ることが可能である。その方法とは、ＲＧＢ各画素の信号量の総和と、ホワイトの信号量の比率を算出することである（後述）。

　ところで、ディジタルカメラを始めとするカラーイメージングの分野では、一般に、色再現性の評価には「マクベスカラーチェッカー（マクベス色票）」が用いられる。例えば、日本色彩学会編「カラーイメージング」（２９～３３頁）には、色再現性を支配する要因として分光感度、調子再現、三原色が挙げられること、色再現性の評価にはこれらの要因を個別に評価せずに最終的に得られる再現色で評価する方法が一般に採られていること、評価方法として、標準的な色票を画像入力し、出力した再現色とオリジナルの色票の色を分光反射（透過）率で比較すること、そして、色票としてマクベス色票が広く用いられていることが記載されている。マクベス色票は、６段階のグレイを含む２４色からなる。各々の色票の表面は艶消しで、４５ｍｍ×４５ｍｍの大きさである。また、同文献には、付録表Ａ．１、Ａ．２として、マクベス色票の反射分光特性（分光反射率）が記載されている。以下では、この分光データを利用して説明する。

　図５Ａ～図５Ｆには、マクベスカラーチェッカーチャートにおける、青（パッチ番号１３）、緑（パッチ番号１４）、赤（パッチ番号１５）、黄色（パッチ番号１６）、マゼンダ（パッチ番号１７）、及び、シアン（パッチ番号１８）の各パッチの反射分光特性をそれぞれ示している。なお、ここで２４色のマクベス色票のうち上記６色のみを扱うのは、これら６色が多くのカラーイメージングシステムで用いられる主要な色成分であることに依拠する。

　これら各マクベス色票の反射分光特性（図５Ａ～図５Ｆ）を、図３Ａ～図３Ｃに示した撮像素子１２の各色フィルターの分光特性との波長成分毎の掛け算の総和をとる、すなわち積分すると、撮像素子１２からの各色の出力を表すことになる。

　図６Ａ～図６Ｃには、図５Ａ～図５Ｆに示した各マクベス色パッチの反射分光特性と、図３Ａ～図３Ｃに示した撮像素子１２の色画素毎の分光特性とを積分した結果をそれぞれ示している。図６Ａ～図６Ｃは、要するに、撮像素子１２の各色画素のクロストーク量に応じた出力に相当する。

　撮像素子１２の各色画素のクロストーク量に応じた分光特性（図３Ａ～図３Ｃを参照）から得られる撮像素子１２の色画素（Ｒ、Ｇ、Ｂ、Ｗ）毎の出力（図６Ａ～図６Ｃを参照）を基に、例えば下式（１）を用いて、クロストーク量を評価する評価値（Ｋ）を算出することができる。

　上式（１）において、Ｒ、Ｇ、Ｂ、Ｗは各色画素の出力値（図６Ａ～図６Ｃを参照）であり、α、β、γ、及び、εは任意の係数であり、評価値（Ｋ）は、ＲＧＢの各色画素の出力の総和とホワイト画素の出力の比率を算出した結果に相当する。同式は、例えば図１２Ｂに示した色コーディングでは、クロストークはホワイトの信号が隣接するＲＧＢの信号へ混色するものと、図４Ｃに示すように、ＲＧＢの各信号がホワイトの信号へ混色するものの２種類に大別されること（前述）に依拠するものである。

　撮像素子１２の各色画素のクロストーク量に応じた出力（図６Ａ～図６Ｃを参照）について、上式（１）に示した評価値（Ｋ）の計算をマクベス色票のパッチ毎に行なうことで、クロストーク量に応じた各々の分光特性（図３Ａ～図３Ｃ）について、マクベス色パッチ毎の評価値を得ることができる。

　図７Ａには、クロストーク量に応じた各々の分光特性（図３Ａ～図３Ｃ）について、マクベス色パッチ毎に求めた評価値を示している。また、図示の分光特性１～３毎に得られた各評価値Ｋ＿１、Ｋ＿２、Ｋ＿３について全６色パッチにわたる平均と標準偏差を、以下の表にまとめた。

　上表から、評価値（Ｋ）が、被写体（色毎）の反射分光に拘らずほぼ一定であることが分かる。このことは、つまり、上式（１）から算出される評価値（Ｋ）が、クロストーク量の評価に使用することが可能であることを意味するものである。

　なお、各係数α、β、γ、及び、εの値は、例えば、図３Ａに示したようなクロストーク量の小さい理想的な分光特性において、評価値（Ｋ）が一定になるように最適化を行なう。実際には、最小二乗法などの近似手法を用いる。そして、得られた値を図３Ｂ、図３Ｃなどの他の分光特性に対しても用いる。図７Ａでは、下式（２）に示す係数値を用いて評価値（Ｋ）の計算を行なった。

　上記の説明で、２４色のマクベス色票のうち上記６色のみを扱うのは、これら６色が多くのカラーイメージングシステムで用いられる主要な色成分であることに依拠する（前述）。本発明者らは、念のため、２４色すべてのマクベス色票を用いて、同様に各分光特性について評価値の計算を行なった。図７Ｂにはその結果を示す。また、図示の分光特性１～３毎に得られた各評価値Ｋ＿１、Ｋ＿２、Ｋ＿３について全２４色パッチにわたる平均と標準偏差を、以下の表にまとめた。評価値（Ｋ）が、被写体（色毎）の反射分光に拘らずほぼ一定であることから、上式（１）から算出される評価値（Ｋ）がクロストーク量の評価に使用可能であることを改めて確認することができよう。

　以上の説明で、ＲＧＢ画素にホワイト画素を加えた色コーディングを用いた撮像素子１２からの出力信号を利用して、評価値（Ｋ）の算出によりクロストーク量の相対的な変化を検知することができる、ということを理解できよう。つまり、従来（例えば、特許文献２を参照のこと）のようにチップ内のクロストーク量を前以って測定する必要はなく、撮像素子１２の出力信号のみからクロストーク量の程度を検知することができる訳である。したがって、使用するレンズなどの光学条件が未知となる状況下においても、ディジタル信号処理の段階でクロストークの程度を定量化することができる。

　クロストーク量算出部１では、上式（１）から分かるように、ホワイト画素を含むすべての色の画素の出力信号を必要とする。このため、図１２Ｂに示したようなフィルター配列を持つ撮像素子１２に対してリアルタイムで評価値（Ｋ）を算出する場合、４×４程度の画素の値を最小単位として扱うのか望ましい。最小単位の中に同一色の画素が２つ以上の出力を持つので、平均値を用いて上式（１）を計算するとよい。

　続いて、クロストーク補正係数算出部２について説明する。クロストーク補正係数算出部２では、クロストーク量算出部１から出力されるクロストーク量と、事前に求めたクロストーク補正係数とクロストーク量の関係式から、現在のクロストーク量に応じたクロストーク補正係数を算出する。

　まず、一般的なクロストークの補正処理方法について、図８を参照しながら説明する。クロストークは、図４Ａに示したように、縦方向及び横方向からの現象が支配的である。したがって、略言すれば、上下並びに左右それぞれの隣接画素の信号の何割かをクロストーク量として、補正対象画素の信号から差し引けばよい。補正対象画素の出力信号は、下式（３）によって補正することができる。

　上式（３）において、Ｓ＿ｃｒｃｔは補正後の信号、Ｓは補正前の信号、括弧内は画素の座標位置をそれぞれ表す。（ｉ，ｊ）は補正対象画素の一座標である。また、ａ、ｂ、ｃ、及び、ｄは、上、左、右、並びに下それぞれの隣接画素に対する補正係数である。ａ、ｂ、ｃ、及び、ｄは、各隣接画素の信号がクロストーク量となる割合を示す値でもある。

　クロストーク量が撮影条件やチップ内での画素の位置によらず一定であれば、上記の補正係数ａ、ｂ、ｃ、及び、ｄも一定でよい。しかしながら、実際には、光源の色温度や光学条件、チップ内の画素位置によって、クロストーク量が変化する。一般には、クロストーク量が増大すると、補正係数も大きくなる。

　そこで、本実施形態では、あらかじめ、光学条件や照明色温度条件などを変えて撮影し、クロストーク量算出部１からの出力すなわち評価値（Ｋ）に応じた補正係数を算出し、図９にグラフで示すような関係式を作成しておく。クロストーク補正係数算出部２では、クロストーク量算出部１から評価値（Ｋ）が出力されると、このような関係式を参照して、実際に撮影中のエリアでのクロストーク量に応じた補正係数を求める。

　最後に、クロストーク補正部３について説明する。既に述べたように、クロストークは、縦方向及び横方向からの現象が支配的である（図４Ａを参照のこと）。したがって、クロストーク補正部３では、クロストーク補正係数算出部２で算出した各隣接画素の補正係数ａ、ｂ、ｃ、及び、ｄを用いて、例えば上式（３）に示した補正式に従って、上下並びに左右それぞれの隣接画素の信号の何割かをクロストーク量として補正対象画素の信号から減算することで、補正対象画素の信号を補正する。

　ここまでは、４×４画素程度のサイズを最小単位として補正対象画素のクロストークの補正係数を算出する方法について説明してきた。しかしながら、実際には、これほど細かい粒度で補正係数を算出する必要がない場合もある。そこで、以下では、動画処理対応として、事前の画像で、また、ある程度の大きさで補正係数を算出する方法について説明する。

　図１０には、ある程度の大きさで補正係数を算出する領域（ブロック）の一例を示している。図示の例では、各ブロックは１００×１００画素からなり、１枚の撮像画像は６×８ブロックからなるものとする。

　クロストーク量算出部１では、ブロック毎の処理として、ＲＧＢ及びホワイトの各色の画素値の平均を算出すると、上式（１）に従って評価値（Ｋ）を算出する。そして、後段のクロストーク補正係数算出部２、クロストーク補正部３では、補正係数の算出と画素値の補正処理をそれぞれ行なう。

　ここで、図１１に示すように、クロストーク量算出部１で算出した評価値（Ｋ）を保存するためのメモリ４を備えているとする。そして、クロストーク量算出部１で算出した評価値（Ｋ）をメモリ４に保存し、ある程度の時定数を以って評価値（Ｋ）を更新し、撮像したデータに対して補正処理を施していく。１００×１００画素のブロックを処理単位とすると、処理単位の中に同一色の画素が２つ以上の出力を持つので、下式（４）に示すように平均値を用いて評価値（Ｋ）を計算するとよい。評価値（Ｋ）を算出するための画素数が多いことから、データに含まれるノイズが多くても、平均化により正確な評価値（Ｋ）を得ることができる。

　また、クロストークの補正を行なった後の画像においてブロックの境界部分で補正の違いが目立つようであれば、かかる境界部分では隣接するブロックとの間で補正係数との平均をとることで補正の違いが目立たないようにすることができる。

　ここまでの説明では、ホワイト画素を含んだフィルター配列として図１２に示した例を用いて本発明の実施形態について説明してきたが、本発明の要旨は色コーディングに限定されるものではない。例えば、図１３Ａ、図１３Ｂに示すようにＲＧＢの配列が異なるものや、図１３Ｃに示すように原色ではなく補色系の色フィルターを利用した配列であっても、上述と同様に、撮影データのみからクロストーク量を知るための評価値を算出することができ、この評価値に適応した補正係数を利用してクロストークの補正処理を行なうことが可能である。

　また、本発明は、ホワイトの信号の隣接するＲＧＢの信号へのクロストーク量（図４Ｂを参照のこと）と、ＲＧＢの各信号のホワイトの信号へのクロストーク量（図４Ｃを参照のこと）の評価結果に基づいて各画素のクロストークの補正を行なうものであり、言い換えれば、クロストーク量を評価するにはホワイト画素が必要である。

　しかしながら、撮像素子面全体にわたってホワイト画素が均一に配列されている必要はなく、部分的にのみホワイト画素を配置するだけであってもクロストークの評価値の算出が可能である。図１４には、ホワイト画素を含まないベイヤー配列（図１２Ａを参照のこと）に、図１２Ｂに示したようなホワイト画素を含む配列を散在させたフィルター配列の一例を示している。このような場合、図１２Ｂに示した配列からクロストーク量を得ることができ、このクロストーク量を利用して算出されるクロストーク補正係数に基づいて、ベイヤー配列内のクロストークを補正することができる。

　図１５には、ベイヤー配列（図１２Ａを参照のこと）を基本とする撮像素子面に図１２Ｂに示したような評価値算出用の配列を複数配置した様子を模式的に示している。各々の評価値算出用の配列を用いてクロストーク量をそれぞれ評価することで、撮像素子面全体にわたってクロストークの具合を知ることができる。そして、それぞれの領域では、近隣の評価値算出用の配列から得られたクロストーク量の評価値に基づいてクロストーク補正係数を決定することで、適応的にクロストークを補正することができる。

　ここで、クロストーク量の評価値と補正係数との関係は、図９に示したと同様にあらかじめ求めておく。各々の評価値算出用の配列について評価値と補正係数の関係を求めるようにしてもよい。

　領域毎のクロストークの補正は、上式（３）を用いて行なうことができる。あるいは、補間処理回路２３（図１を参照のこと）で補間処理した後に、下式（５）に示す行列演算に従ってクロストークの補正を行なうようにしてもよい。

　撮像素子の画素の配列が１５に示したように部分的に変わる場合、補間処理回路２３への変更が必要となる。これは、あらかじめ決められた画素の位置においては補間方法を切り替えるような変更でよい。図１６には、画素の位置に応じて補間方法を切り替えるための撮像装置の構成例を示している。但し、同図では関連のある箇所のみを抽出して描いている。ベイヤー配列に従う画素の位置では、補間処理回路２３Ａで補間処理を行ない、評価値算出用の配列（図１２Ｂを参照のこと）となる画素の位置では、補間処理回路２３Ｂでの補間処理に切り替えるようにすればよい。

　以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。例えばディジタルスチルカメラやビデオカメラなどのカメラ装置、携帯電話などの、カメラモジュールを搭載した各種の電子機器に対しても、本発明を適用することができる。

　本明細書では、ホワイト画素を含んだフィルター配列として図１２に示した例を用いて本発明の実施形態について説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、図１３Ａ、図１３Ｂに示すようにＲＧＢの配列が異なるものや、図１３Ｃに示すように原色ではなく補色系の色フィルターを利用した配列であっても、上述と同様に、撮影データのみからクロストーク量を知るための評価値を算出することができ、この評価値に適応した補正係数を利用してクロストークの補正処理を行なうことが可能である。

　要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

　１…クロストーク量算出部
　２…クロストーク補正係数算出部
　３…クロストーク補正部
　１０…撮像装置
　１１…撮像レンズ
　１２…撮像素子
　１３…Ａ／Ｄ変換器（ＡＤＣ）
　１４…カメラ信号処理回路
　２１…光学系補正回路
　２２…ＷＢ（ホワイトバランス）回路
　２３…補間処理回路
　２４…ガンマ補正回路
　２５…Ｙ（輝度）信号処理回路
　２６…Ｃ（クロマ）信号処理回路
　２７…帯域制限ＬＰＦ（ローパスフィルター）
　２８…間引き処理回路
 

Claims (15)

1. 　撮像素子の補正対象画素からの出力信号に含まれるクロストーク量の評価値を算出するクロストーク量算出部と、
   　前記クロストーク量算出部から出力される評価値に基づいてクロストーク補正係数を算出するクロストーク補正係数算出部と、
   　前記クロストーク補正係数を用いて、前記補正対象画素の出力信号に含まれるクロストーク量を取り除くクロストーク補正部と、
   を具備する画像処理装置。
2. 　前記クロストーク量算出部は、撮像素子からの出力信号に基づいて、前記補正対象画素の出力信号に含まれるクロストーク量の評価値を算出する、
   請求項１に記載の画像処理装置。
3. 　前記クロストーク量算出部は、隣接画素間の出力信号の関係に基づいて、前記補正対象画素からの出力信号に含まれるクロストーク量の評価値を算出する、
   請求項１に記載の画像処理装置。
4. 　前記撮像素子はホワイト画素を含んだ色コーディングを用いる、
   請求項１に記載の画像処理装置。
5. 　前記クロストーク量算出部は、ホワイト以外の各画素の信号量の総和とホワイト画素の信号量の比率に基づいて、補正対象画素におけるクロストーク量の評価値を算出する、
   請求項４に記載の画像処理装置。
6. 　前記クロストーク量算出部は、ＲＧＢ各画素の信号量にそれぞれ所定の係数（α、β、γ）を乗じた数値の総和とホワイト画素の信号量に所定の係数（ε）を乗じた数値の比率に基づいて、補正対象画素における相対的なクロストーク量の評価値を算出する、
   請求項４に記載の画像処理装置。
7. 　前記クロストーク量算出部は、Ｎ×Ｎ画素を処理単位として（但し、Ｎは正の整数）、クロストーク量の評価値を算出する、
   請求項４に記載の画像処理装置。
8. 　前記クロストーク量算出部が処理単位毎に算出したクロストーク量の評価値を保存するメモリをさらに備え、
   　前記クロストーク補正係数算出部、前記クロストーク補正部は、前記メモリに保存されている以前のフレームを用いて算出された評価値を用いて、補正係数の算出とクロストークの補正をそれぞれ行なう、
   請求項７に記載の画像処理装置。
9. 　前記クロストーク補正係数算出部は、あらかじめ前記クロストーク量算出部により算出されるクロストーク量の評価値と補正係数との関係式を算出しておき、前記クロストーク量算出部から出力される評価値が出力されたときに、前記関係式を参照して当該評価値に対応する補正係数を算出する、
   請求項１に記載の画像処理装置。
10. 　前記クロストーク補正部は、補正対象画素の出力信号から、補正対象画素に隣接するがその出力信号に対して前記補正係数を乗じた値を減算して、クロストーク量を取り除く、
    請求項１に記載の画像処理装置。
11. 　前記撮像素子は、ホワイト画素を含まない配列の中に、ホワイト画素を含んだ評価値算出用の配列を複数配置する、
    請求項１に記載の画像処理装置。
12. 　前記クロストーク量算出部は、各々の評価値算出用の配列を用いて該当する位置において発生しているクロストーク量の評価値をそれぞれ算出し、
    　前記クロストーク補正係数算出部は、評価値算出用の配列が配置された位置毎に、前記クロストーク量算出部から出力される評価値に基づいてクロストーク補正係数を算出し、
    　前記クロストーク補正部は、評価値算出用の配列内では該当する補正係数を用いてクロストークの補正を行ない、評価値算出用の配列外の領域では、近隣の評価値算出用の配列から得られたクロストーク量の評価値に基づいて決定されるクロストーク補正係数を用いてクロストークの補正を行なう、
    請求項１１に記載の画像処理装置。
13. 　撮像素子の補正対象画素からの出力信号に含まれるクロストーク量の評価値を算出するクロストーク量算出ステップと、
    　前記クロストーク量算出ステップにおいて得られる評価値に基づいてクロストーク補正係数を算出するクロストーク補正係数算出ステップと、
    　前記クロストーク補正係数を用いて、前記補正対象画素の出力信号に含まれるクロストーク量を取り除くクロストーク補正ステップと、
    を有する画像処理方法。
14. 　色コーディングの色フィルターを有する撮像素子と、
    　前記撮像素子の出力信号を処理する信号処理部と、
    を具備し、
    　前記信号処理部は、
    　前記撮像素子の補正対象画素からの出力信号に含まれるクロストーク量の評価値を算出するクロストーク量算出部と、
    　前記クロストーク量算出部から出力される評価値に基づいてクロストーク補正係数を算出するクロストーク補正係数算出部と、
    　前記クロストーク補正係数を用いて、前記補正対象画素の出力信号に含まれるクロストーク量を取り除くクロストーク補正部と、
    を含む撮像装置。
15. 　色コーディングの色フィルターを有する撮像素子からの出力信号の処理をコンピューター上で実行するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
    　撮像素子の補正対象画素からの出力信号に含まれるクロストーク量の評価値を算出するクロストーク量算出部、
    　前記クロストーク量算出部から出力される評価値に基づいてクロストーク補正係数を算出するクロストーク補正係数算出部、
    　前記クロストーク補正係数を用いて、前記補正対象画素の出力信号に含まれるクロストーク量を取り除くクロストーク補正部、
    として機能させるためのコンピューター・プログラム。
     

Images