JP5790657B2 - 撮像装置および偽色抑制方法 - Google Patents

Description

本発明は、撮像装置および撮像装置の偽色抑制方法に関し、特に、単板の２次元イメージセンサを使用し、カラー画像を出力する撮像装置およびその偽色抑制方法に関する。

カラーの撮像装置において、例えばＲＧＢ（赤色・緑色・青色）の各色に対応した２次元イメージセンサを備える３板式の撮像装置では、各イメージセンサの隣接画素は、同じ色成分を捉えるので、高解像化のサブピクセル処理等の補間演算を行った場合でも、比較的正確に信号成分が得られる。これに対して、低コスト化や小型化等のために、単板のイメージセンサしか備えていない撮像装置の場合では、隣接画素は、異なる色成分を捉える場合があるので、各色成分の画素の大きさおよび配列ピッチと、被写体像の前記撮像素子上での位置および大きさとの関係で、一部または全部の色成分について撮像素子でサンプリングされず、色成分が補間によっても補償されない可能性がある。

この事情の説明は、本件出願人による特許文献１に詳しく記載されているが、以下に簡単に説明する。図６は、偽色発生のメカニズムを説明するための図である。図６（Ａ）は、サンプリング前の原波形を示す図であり、前記イメージセンサに被せられるフィルタがＷＹｅＧの補色フィルタである場合の例が示され、その内、この図６（Ａ）には、Ｗ（白）成分（実線）の原波形およびＹｅ（黄）成分（破線）の原波形が示されている。多板式のイメージセンサでサンプリングすると、この図６（Ａ）に示す通りのサンプリング結果が得られる。そして、別途に求められるＧ（緑）成分と、Ｙｅ−Ｇ＝Ｒ、Ｇ＝Ｇ、Ｗ−Ｙｅ＝Ｂとによって、ＲＧＢの原色成分が求められる。

ところが、密度の多いＷ成分の画素に対して、その１／２の密度であるＹｅ成分の画素の場合、前述の画素の大きさおよび配列ピッチ（位相）と、被写体像の撮像素子上での位置および大きさとの関係で、Ｙｅ成分のサンプリング漏れが生じることがある。図６（Ｂ）では、図６（Ａ）で示すように、Ｗ成分およびＹｅ成分共にピークとなる５０番目の画素において、Ｙｅ成分のサンプリング漏れが生じており、Ｗ−Ｙｅ＝Ｂの成分がＢ’に拡大している。これらの図６（Ｂ）におけるＢ成分および図６（Ｂ）におけるＢ’成分を重ねて示すと、これらは、図６（Ｃ）で示すようになる。この図６（Ｃ）において、破線で枠掛けして示す部分が、偽色となる。

そこで、このような偽色に対する対策として、先ず、フィルタとイメージセンサとの間に光学的なローパスフィルタを導入することが考えられる。しかしながら、この対策は、コストアップになり、また解像度の低下を招くので、好ましくない。

次の対策は、前記特許文献１で示すようなエッジクロマキラー回路を用いることである。図７は、前記特許文献１の従来技術で示されたエッジクロマキラー回路１０１のブロック図である。図７において、ホワイトバランス等の各種補正等が行われた後のＲＧＢの原色色信号は、輝度色度（ＹＣＣ）変換回路１０２に入力されて、色差マトリクスを用いて色空間が変換され、輝度信号Ｙおよび色度信号Ｃｂ，Ｃｒに変換された後に、輝度信号Ｙは、輪郭強調回路１０３に入力され、色度信号Ｃｂ，Ｃｒは、色差抑圧回路１０４に入力される。

輪郭強調回路１０３では、輝度信号Ｙは、ハイパスフィルタ１０５およびローパスフィルタ１０６に入力される。ハイパスフィルタ１０５からの出力は、アンプ１０７で増幅され、ベースクリップ回路１０８を通して、前記輝度信号Ｙの内、所定値以上の高周波成分が抽出される。その抽出された高周波成分は、加算器１０９において、ローパスフィルタ１０６からの前記輝度信号Ｙの内の低周波成分に加算されて、輪郭強調された輝度信号Ｙが作成される。一方、前記所定値以上の高周波成分には、偽色が発生している可能性が強いので、この高周波成分は、色差抑圧回路１０４に入力され、乗算器１１１，１１２において、色度信号Ｃｂ，Ｃｒに、前記高周波成分によって作成された１より小さい係数が乗算され、前記高周波成分は、それらの色度信号Ｃｂ，Ｃｒを抑圧し、偽色の発生を抑える。

しかしながら、このエッジクロマキラー回路１０１には、図８（Ａ）で示すような輝度信号Ｙおよび色度信号Ｃｂ，Ｃｒの場合に、図８（Ｂ）に示すように、輝度信号Ｙのエッジ領域について、色度信号Ｃｂ’，Ｃｒ’を抑圧するので、参照符号Ａで示すような偽色抑制効果があるものの、参照符号Ｆで示すように、見たい色まで消してしまう（色抜けする（色が薄くなって白色に近付く））という問題がある。

さらに他の対策は、前記ホワイトバランス等の各種補正等を行った後、ローパスフィルタ処理を導入することである。しかしながら、この手法では、偽色抑制効果があるものの、遠方の灯火のような、明るくて小さな被写体の場合に、振幅の大きな偽色が拡がり、却って偽色が目立つという問題がある。図６および図９を用いて、その様子を説明する。

すなわち、前記図６（Ａ）〜（Ｃ）と同様に図９（Ａ）〜（Ｃ）で示すように、イメージセンサ上で比較的大きな面積を占める被写体の場合、原波形は、図９（Ａ）で示すようになだらかに変化する。したがって、図９（Ｂ）で示すように、サンプリング漏れが生じても、その漏れた画素の振幅が極端に突出していることはなく、図９（Ａ）で示すＢ成分と、図９（Ｂ）で示すＢ’成分とを重ねて示すと、これらは、図９（Ｃ）で示すように比較的近似している。すなわち偽色の無いＢ成分の波形に対して、偽色の有るＢ’成分の波形は、上下に略均等に分布する。このため、ローパスフィルタ処理を行うと、その結果は、図９（Ｄ）で示すようになる。

図９（Ｄ）は、図９（Ｃ）の画像信号を、輝度色度（ＹＣＣ）変換して、輝度信号Ｙおよび色度信号Ｃｂ，Ｃｒに変換した後、ローパスフィルタで周辺画素との平滑化処理を行った結果を示す図である。図９（Ｅ）には、前記ローパスフィルタ後の色度信号ＬＰＦ（Ｃｂ）を、ローパスフィルタ後の輝度信号ＬＰＦ（Ｙ）で正規化し、さらに輝度信号Ｙ成分を乗算したクロマ信号Ｃｂａｄｄ（実線）と、前記図９（Ｃ）で示すＢ成分（破線）とが重ねて示されている。これらの差が、最終的な偽色となり、ほぼ差が無くなっている、すなわち偽色が抑制されていることが理解される。

これに対して、図６（Ｄ）は、図６（Ｃ）の画像信号を、輝度色度（ＹＣＣ）変換して、輝度信号Ｙおよび色度信号Ｃｂ，Ｃｒに変換した後、ローパスフィルタで周辺画素との平滑化処理を行った結果を示す図である。前述のように、小さい被写体からではあるけれども、振幅の大きな偽色が拡がり、図６（Ｅ）で示すように、クロマ信号Ｃｂａｄｄ（実線）とＢ成分（破線）と差である偽色（Ｂ−Ｃｂａｄｄ）が、前述のようにかえって目立つようになっていることが理解される。

特開２００３−２２４８５９号公報

本発明は、上述の事情に鑑みて為された発明であり、その目的は、明るくて小さい被写体による偽色の拡がりを抑えつつ、カラーバランスを維持（色抜けを防止）することができる撮像装置およびその偽色抑制方法を提供することである。

本発明にかかる撮像装置およびその偽色抑制方法は、補間処理によって画素信号を補うとともに、前記補間処理の際に生じる偽色を取るためにローパスフィルタ処理する撮像装置および偽色抑制方法であって、前記ローパスフィルタ処理の際に、まず、色度成分Ｃｂ，Ｃｒは、輝度信号Ｙで正規化され、その後に前記ローパスフィルタ処理され、そして、輝度信号Ｙを反映した色度信号Ｃｂｃ，Ｃｒｃに戻される。このため、このような撮像装置およびその偽色抑制方法は、明るくて小さい被写体による偽色の拡がりを抑えつつ、カラーバランスを維持（色抜けを防止）することができる。

上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。

実施の一形態にかかる撮像装置のブロック図である。 図１に示す撮像装置の信号処理動作を説明するためのフローチャートである。 図１に示す撮像装置において、２次元イメージセンサ上で比較的小さな面積を占める明るい被写体に対する偽色抑制効果を説明するためのグラフである。 図１に示す撮像装置において、２次元イメージセンサ上で比較的大きな面積を占める明るい被写体に対する偽色抑制効果を説明するためのグラフである。 実施の一形態にかかる偽色抑制の方法を説明するためのグラフである。 単板式の撮像素子を用いる場合に、イメージセンサ上で比較的小さな面積を占める明るい被写体による偽色発生およびその抑制のメカニズムを説明するためのグラフである。 典型的な従来技術のエッジクロマキラー回路のブロック図である。 従来技術のエッジクロマキラー回路の問題点を説明するための波形図である。 図６に対して、比較的大きな面積を占める明るい被写体による偽色発生およびその抑制のメカニズムを説明するためのグラフである。 他の従来技術のエッジクロマキラー回路のブロック図である。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。

図１は、実施の一形態にかかる撮像装置１のブロック図である。この撮像装置１は、被写体の光像３をレンズ４で撮像素子５の受光面上に結像し、撮像素子５の出力を所定の信号処理することによって、前記被写体の光像の画像信号を生成する装置であり、例えば車載用のドライブレコーダ等に好適に用いられる。より詳しくは、撮像装置１は、レンズ（撮像光学系）４と、撮像素子５と、信号処理装置１０とを備える。被写体像３は、レンズ４を通して該撮像装置１に入射し、レンズ４で結像されて撮像素子５に導かれる。撮像素子５は、単板の２次元イメージセンサと、その入射側に配置される、カラー化のための色フィルタ（ＲＧＢ；ＷＹＲ，ＷＹＧ，ＣＭＹＧ）とを備えている（本実施の形態では、以下ＷＹＧを用いるとする）。撮像素子５からの各信号成分ＷＹｅＧは、信号処理装置１０に入力され、以下のような信号処理が施された後、外部の表示装置や、蓄積装置（ドライブレコーダ、記録装置、記憶装置）等に出力される。

信号処理装置１０は、アナログ信号処理部１１と、アナログ／デジタル（Ａ／Ｄ）変換部１２と、色補間部１３と、ＲＧＢ算出部１４と、露出補正・ホワイトバランス補正部１５と、ガンマ補正部１６と、ＹＣＣ変換部１７と、ローパスフィルタ部１８と、ＲＧＢ変換部１９と、全体制御部２２とを備える。

アナログ信号処理部１１は、撮像素子５の前記２次元イメージセンサから出力されるアナログの各信号成分ＷＹｅＧに所定のアナログ信号処理を施す装置である。このアナログ信号処理部１１は、例えば、該信号成分ＷＹｅＧに含まれるリセット雑音を低減するＣＤＳ回路（相関二重サンプリング回路）、および、該信号成分ＷＹｅＧのレベル補正を行うＡＧＣ回路（オートゲインコントロール回路）等を備えて構成される。なお、前記ＡＧＣ回路は、適正露出が得られなかった場合等に、後段のＡ／Ｄ変換部１２の入力電圧範囲に適合するように、該信号成分ＷＹｅＧを適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能も有している。

Ａ／Ｄ変換部１２は、アナログ信号処理部１１から出力されるアナログの各信号成分ＷＹｅＧを、例えば１２ビットのデジタル画像信号（画像データ）に変換する装置である。このＡ／Ｄ変換部１２は、全体制御部２２から入力されるＡ／Ｄ変換用のクロックに基づいて、アナログの各信号成分ＷＹｅＧを、デジタルの各信号成分ＷＹｅＧに変換する。

色補間部１３は、前記信号成分ＷＹｅＧ毎に、前記単板の２次元イメージセンサに起因して、フレーム画像の不足する画素位置のデータを補間する装置である。すなわち、色補間部１３は、上下左右等の実在する複数の隣接画素のデータを用いて、実在しない中間位置の画素データを補間して求める。より具体的には、色補間部１３は、高帯域まで画素を持つＷの色成分のフレーム画像について、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データのうち最大値と最小値とを除去した画素データの平均値をメディアン（中間値）フィルタを用いて演算し、その平均値を当該画素位置の画素データとして補間する。また、色補間部１３は、残余のＹｅＧの色成分について、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。

ＲＧＢ算出部１４は、後段の各種の補正のために、一旦、前記各信号成分ＷＹｅＧから、所定の演算によって、ＲＧＢの信号成分に変換する装置である。より具体的には、前述のように、次の各式を用いることによってＲＧＢ算出部１４は、各信号成分ＷＹｅＧからＲＧＢの信号成分に変換する。

Ｂ＝Ｗ−Ｙｅ
Ｇ＝Ｇ
Ｒ＝Ｙｅ−Ｇ

露出補正・ホワイトバランス補正部１５は、得られたＲＧＢの信号成分から、先ず自動露出（ＡＥ）制御およびホワイトバランス（ＷＢ）制御等を行う際に、それらのベース値となる各評価値、すなわちＡＥ評価値およびＷＢ評価値等を検出する装置である。例えばＡＥ制御を行う場合、露出補正・ホワイトバランス補正部１５は、被写体３の輝度レベルおよび輝度範囲を計測し、ＡＥ評価値として全体制御部２２へ出力する。これに応答して、全体制御部２２は、そのＡＥ評価値が適正値となる出力が撮像装置５の前記２次元イメージセンサから得られるように、必要な露出制御量を算出し、図示しない絞りや前記２次元イメージセンサのサンプリング期間を制御する。また、ホワイトバランス制御を行う場合、露出補正・ホワイトバランス補正部１５は、全体制御部２２から与えられる撮像ダイナミックレンジ情報と前記ＷＢ評価値とに基づいて、画像信号の色バランスが所定の色バランスになるよう、各画素における各色成分Ｒ，Ｇ，Ｂのデータのレベル変換を行う。なお、本実施形態では、前記２次元イメージセンサとして、リニア特性領域とログ特性領域とを備えるイメージセンサが用いられることから、それらの特性領域毎にＷＢ評価値を取得し、各々の領域に適したホワイトバランス補正を行うようにすることが望ましい。

ガンマ補正部１６は、表示装置等の出力装置のガンマ特性に対応した補正を行う装置であり、例えば、γ＝２．２で補正を行う。

ＹＣＣ変換部１７は、後述の偽色抑制のローパスフィルタ処理において、マトリクス演算によって、上述のＲ（赤色），Ｇ（緑色），Ｂ（青色）の各信号成分から、フィルタ処理に適したＹ，Ｃｂ，Ｃｒの輝度色度成分に変換する装置である。

ローパスフィルタ部１８は、後に詳述するように、前記Ｙ，Ｃｂ，Ｃｒの輝度色度成分の平均値を求めるローパスフィルタ処理を行うとともに、輝度成分Ｙと、ローパスフィルタ処理後の輝度成分Ｙ_Ｌと、前記色度成分Ｃｂ，Ｃｒとを用いて、偽色抑制を行った色度成分Ｃｂａｄｄ，Ｃｒａｄｄを演算する装置である。

ＲＧＢ変換部１９は、画像信号の出力の際に、前記輝度成分Ｙ_Ｌと、偽色抑制が行われた色度成分Ｃｂａｄｄ，Ｃｒａｄｄとから、マトリクス演算によって、Ｒ，Ｇ，Ｂの各信号成分に変換する。なお、後段の表示装置等が、Ｙ，Ｃｂ，Ｃｒのコンポジット信号に適した装置である場合は、このＲＧＢ変換部１９は、省略されてもよい。

全体制御部２２は、信号処理装置１０の全体制御を司る装置であり、例えば、Ａ／Ｄ変換部１２へのＡ／Ｄ変換用のクロックとともに、撮像素子５へのタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等）等を作成する。撮像素子５は、前記タイミングパルスに応答して、例えば１／３０（秒）毎にフレーム画像を取り込み、順次に信号処理装置１０に出力する。

ここで、本実施形態では、ローパスフィルタ部１８は、前記偽色抑制のためのローパスフィルタ処理を行う際に、まず、ＹＣＣ変換部１７にて上述のＲ（赤色），Ｇ（緑色），Ｂ（青色）の各信号成分を輝度色度成分（Ｙ，Ｃｂ，Ｃｒ）に変換した後に、さらにＣｂ／Ｙ，Ｃｒ／Ｙに変換する。これによって、撮像装置１は、偽色波形における上下非対称性を緩和して、ローパスフィルタ処理の効果を大きく（モワレによる偽色を抑制）することができる。そして、フィルタ処理後にＹを掛けることによって、撮像装置１は、最終的に、カラーバランスを維持（色抜けを防止）することができる。

図２は、上述のように構成される撮像装置１の信号処理装置１０の動作をより詳しく説明するためのフローチャートである。撮像素子５によって、信号成分ＷＹｅＧが得られ、信号処理装置１０に入力されると、アナログ信号処理部１１およびＡ／Ｄ変換部１２によるアナログ信号処理およびＡ／Ｄ変換処理等を経た後に、この図２に示す各処理が開始される。

先ず、ステップＳ１では、色補間部１３において、色補間処理が行われる。続いて、ステップＳ２では、ＲＧＢ算出部１４において、信号成分ＷＹｅＧは、信号成分ＲＧＢに変換される。続いて、ステップＳ３では、露出補正・ホワイトバランス補正部１５およびガンマ補正部１６において、各種の補正処理が行われる。続いて、ステップＳ４では、ＹＣＣ変換部１７において、前記偽色抑制のためのローパスフィルタ処理において、前記信号成分ＲＧＢは、輝度色度成分Ｙ，Ｃｂ，Ｃｒに変換される。

そして、続くステップＳ５では、ローパスフィルタ部１８は、先ず第１の信号処理部として機能し、色度信号Ｃｂ，Ｃｒを輝度信号Ｙで割って、色度信号Ｃｂａｄｄ，Ｃｒａｄｄに正規化を行う。続いて、ローパスフィルタ部１８は、ステップＳ６で上述のローパスフィルタ処理を行う。続いて、ローパスフィルタ部１８は、ステップＳ７で、第２の信号処理部として機能し、ローパスフィルタ後の色度信号Ｃｂ_Ｌ，Ｃｒ_Ｌに、ローパスフィルタ後の輝度信号Ｙ_Ｌを掛けて色度信号Ｃｂｃ，Ｃｒｃを求める。その後、ステップＳ８では、ＲＧＢ変換部１９において、輝度信号Ｙ_Ｌと、色度信号Ｃｂｃ，Ｃｒｃとから、原色フィルタによる信号成分ＲＧＢに変換され、この変換後の信号成分ＲＧＢが出力される。

図３〜図５は、上述のような偽色抑制効果を説明するための図である。図３は、２次元イメージセンサ上で比較的小さな面積を占める被写体に対する偽色抑制効果を説明するためのグラフである。図４は、２次元イメージセンサ上で比較的大きな面積を占める被写体に対する偽色抑制効果を説明するためのグラフである。図３（Ａ）および図４（Ａ）には、サンプリングして補間後のＷ（白）成分およびＹｅ（黄）成分が示されている。したがって、図３（Ａ）は、前述の図６（Ｂ）と同様であり、共に５０番目の画素において、Ｙｅ（黄）成分にサンプリング漏れが生じている。

図３（Ｂ）および図４（Ｂ）は、偽色の発生の様子を示す図であり、サンプリング前後のＢ成分および比較を示している。すなわち、サンプリング漏れの無い状態でのＷ−Ｙｅ＝Ｂ成分（破線）と、図３（Ａ）および図４（Ａ）で示すサンプリング漏れのある状態でのＷ−Ｙｅ＝Ｂ’成分（実線）とが示されている。したがって、図３（Ｂ）は、前述の図６（Ｃ）と同様である。同じサンプリング漏れが生じても、図３（Ｂ）で示す面積の小さな被写体では、原色に対する偽色の振幅差が大きいのに対して、図４（Ｂ）で示す面積の大きな被写体では、偽色の振幅差は、小さい。

ここで、図３（Ｂ）および図４（Ｂ）から、偽色のＢ’成分だけを取出すと、それぞれ図３（Ｃ）および図４（Ｃ）で示すようになる。したがって、図４（Ｃ）で示す面積の大きな被写体では、基準レベルに対して、参照符号Ｂ’で示す偽色成分の振幅は、上下に略対称であり、ローパスフィルタ部１８による処理によって、図４（Ｄ）の参照符号Ｂ''で示すように、該偽色成分が除去され得る。これに対して、図３（Ｃ）で示す面積の小さな被写体では、被写体と画素との位相によっては、偽色成分の振幅は、上下に非対称となり、ローパスフィルタ部１８による処理によっても、図３（Ｄ）の参照符号Ｂ''で示すように、偽色成分の取り残しが生じる。

一方、前記Ｂ’成分のような偽色の色度信号Ｃｂ，Ｃｒと、輝度信号Ｙとの関係を示すと、図５（Ａ）で示すようになる。そこで、本願発明者は、偽色のある部分がその大きさに対応した輝度成分Ｙも出ていることに着目し、本実施形態の撮像装置では、前述のように、色度信号Ｃｂ，Ｃｒを輝度信号Ｙで割って、図５（Ｂ）で示すような色度信号Ｃｂａｄｄ，Ｃｒａｄｄに正規化することで、明るい領域の偽色の振幅を下げ、暗い領域の偽色の振幅を上げる（暗くつぶれていた偽色の影響を強め、明るい偽色の影響を弱める）処理が行われる。これによって、狭い領域に集中していた偽色が周囲に散らされ、図５（Ｃ）で示すように、ローパスフィルタによる平均化の効果が上げられる。このような処理後に残った本来（真）の色度信号Ｃｂ_Ｌ，Ｃｒ_Ｌに、輝度信号Ｙ_Ｌを掛けて求めた色度信号Ｃｂｃ，Ｃｒｃは、色抜けの抑えられたものとなる。

なお、色度信号Ｃｂ，Ｃｒにそのままローパスフィルタ処理した信号ＬＰＦ（Ｃｂ，Ｃｒ）を、ローパスフィルタ処理した輝度信号Ｙ_Ｌで割算した場合の結果が、参考までに図５（Ｄ）で示されている。この場合、大きなままの偽色がローパスフィルタ処理され、偽色の範囲が広まっている。

以上のように、本実施形態の撮像装置１では、撮像素子５として、単板の２次元イメージセンサに、カラー化のためのフィルタ（ＲＧＢ；ＷＹＲ，ＷＹＧ，ＣＭＹＧ）を使用して構成される撮像素子を用いる撮像装置１において、前記撮像素子５は、ベイヤー配列等、各色成分の画素が分散して配置されるので、前記撮像素子５の各画素において、当該画素で欠落している色成分の画像信号は、色補間部１３において、前記撮像素子５における各色成分の画素からの画像信号により補間演算される。それに伴い、各色成分の画素の大きさおよび配列ピッチと、被写体像の前記撮像素子５上での位置および大きさとの関係で、撮像素子５でサンプリングされずに、前記補間によっても補償されない色成分が発生し、その色成分による偽色は、以下のようにして抑制される。

すなわち、撮像素子５によって得られたＲＧＢの画像信号が、ＹＣＣ変換部１６で輝度信号Ｙおよび色度信号Ｃｂ，Ｃｒに変換した後、ローパスフィルタ部１８で周辺画素との平滑化処理を行う場合において、ローパスフィルタ部１８において、先ず前記色度信号Ｃｂ，Ｃｒが輝度信号Ｙで除算され、色度信号Ｃｂａｄｄ，Ｃｒａｄｄに正規化される。これによって、明るくて小さい被写体による偽色の拡がりが抑えられる。次に、これら色度信号Ｃｂａｄｄ，Ｃｒａｄｄは、ローパスフィルタ処理され、このローパスフィルタ処理後の色度信号Ｃｂ_Ｌ，Ｃｒ_Ｌは、輝度信号Ｙが乗算されることによって、輝度レベルを反映した色度信号Ｃｂｃ，Ｃｒｃに戻される。これによってカラーバランスが維持（色抜けを防止）される。こうして、本実施形態の撮像装置１は、偽色の拡がりを抑えつつ、色抜けを防止することができる。

図１０は、前記特許文献１の実施例に示されるエッジクロマキラー回路１２０を示す図である。この図１０において、前述の図７の構成に類似し、対応する部分には、同一の参照符号が付され、その説明が省略される。このエッジクロマキラー回路１２０では、輪郭強調回路１０３’は、輪郭強調された輝度信号Ｙを作成するだけで、色差抑圧回路１２４でクロマの抑圧レベルが決定されている。

すなわち、色度信号Ｃｂ，Ｃｒは、絶対値加算回路１２５に入力されて、それぞれの絶対値が求められ、相互に加算される。これによって、彩度の大小を求め、ローパスフィルタ１２６で処理することで、色相の遷移等に伴う高周波成分が除去され、彩度の高い部分が的確に抽出され、この結果がマスキング回路１２７に与えられる。一方、ハイパスフィルタ１０５からの高周波成分の含有度合いの高い信号は、エッジクロマキラー設定ルックアップテーブル１２８に対照され、適宜修正されて、マスキング回路１２７に与えられる。マスキング回路１２７は、ローパスフィルタ１２６からの出力値を反転し、前記エッジクロマキラー設定ルックアップテーブル１２８からの指標に基づいて乗算器１１１，１１２の係数を制御する。

これによって、低彩度エリアの画素は、高周波成分の含有具合（エッジの強さ）に応じて、色度信号Ｃｂ，Ｃｒを抑圧し、総てのエッジ（高周波成分）に抑圧した場合のような色抜けを抑えられるようになっている。しかしながら、この従来技術では、高彩度領域は、偽色が抑圧されないという問題がある。この点、本実施形態の撮像装置１は、有利である。

本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。

一態様にかかる撮像装置は、単板の２次元イメージセンサと、カラー化のために前記２次元イメージセンサの入射側に配置される色フィルタとを備える撮像素子と、前記撮像素子の各画素において、当該画素で欠落している色成分の画像信号を前記撮像素子における各色成分の画素からの画像信号により補間演算する色補間部と、前記補間演算の際に生じる偽色を取るために、前記画像信号を輝度色度変換する輝度色度変換部および前記輝度色度変換部の出力をローパスフィルタ処理するローパスフィルタと、前記輝度色度変換部からの出力の内、色度信号を輝度信号で割って正規化した後、前記ローパスフィルタに与える第１の信号処理部と、ローパスフィルタ後の色度信号に、輝度信号を掛ける第２の信号処理部とを備える。

また、他の一態様にかかる撮像装置の偽色抑制方法は、単板の２次元イメージセンサと、カラー化のために前記２次元イメージセンサの入射側に配置される色フィルタとを備える撮像素子を備え、前記撮像素子の各画素において、当該画素で欠落している色成分の画像信号を、前記撮像素子における各色成分の画素からの画像信号により補間演算して求め、その補間演算の際に生じる偽色を取るために、前記画像信号を輝度色度変換した後にローパスフィルタ処理を行う撮像装置の偽色抑制方法において、前記輝度色度変換された出力の内、色度信号を輝度信号で割って正規化した後、前記ローパスフィルタ処理を行わせるステップと、前記ローパスフィルタ処理後の色度信号に、輝度信号を掛けるステップとを備える。

単板の２次元イメージセンサに、カラー化のためのフィルタ（ＲＧＢ；ＷＹＲ，ＷＹＧ，ＣＭＹＧ）を使用して構成される撮像素子を用いる撮像装置１において、前記撮像素子は、ベイヤー配列等、各色成分の画素が分散して配置されるので、前記撮像素子の各画素において、当該画素で欠落している色成分の画像信号は、色補間部において、前記撮像素子における各色成分の画素からの画像信号により補間演算される。それに伴い、各色成分の画素の大きさおよび配列ピッチと、被写体像の前記撮像素子上での位置および大きさとの関係で、撮像素子でサンプリングされずに、前記補間によっても補償されない色成分が発生し、その色成分の偽色が発生する可能性がある。そこで、上記構成によれば、前記撮像素子によって得られた画像信号が、輝度色度変換部で輝度信号Ｙおよび色度信号Ｃｂ，Ｃｒに変換された後、ローパスフィルタで周辺画素との平滑化処理が行われ、前記偽色が抑制される。

ここで、上記構成では、この平滑化処理を行う場合において、第１および第２の信号処理部が設けられ、第１の信号処理部は、先ず、色度信号Ｃｂ，Ｃｒを輝度信号Ｙで割って、色度信号Ｃｂａｄｄ，Ｃｒａｄｄに正規化した後、この結果を前記ローパスフィルタに与え、第２の信号処理部は、ローパスフィルタ後の色度信号Ｃｂ_Ｌ，Ｃｒ_Ｌに、輝度信号Ｙを掛けて色度信号Ｃｂｃ，Ｃｒｃを求める。

したがって、このような構成の撮像装置およびその偽色抑制方法は、偽色抑制のローパスフィルタ処理の前に、第１の信号処理部で色度成分Ｃｂ，Ｃｒを正規化した色度成分Ｃｂａｄｄ，Ｃｒａｄｄを得ることで、明るくて小さい被写体による偽色の拡がりを抑えつつ、ローパスフィルタ処理後には第２の信号処理部で輝度信号Ｙを掛けて輝度レベルを反映した色度信号Ｃｂｃ，Ｃｒｃに戻すことで、カラーバランスを維持（色抜けを防止）することができる。

この出願は、２０１０年９月７日に出願された日本国特許出願特願２０１０−２０００５８を基礎とするものであり、その内容は、本願に含まれるものである。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

本発明によれば、撮像装置およびこの撮像装置に用いられる偽色抑制方法を提供することができる。

Claims (2)

1. 単板の２次元イメージセンサと、カラー化のために前記２次元イメージセンサの入射側に配置される色フィルタとを備える撮像素子と、
   前記撮像素子の各画素において、当該画素で欠落している色成分の画像信号を前記撮像素子における各色成分の画素からの画像信号により補間演算する色補間部と、
   前記補間演算の際に生じる偽色を取るために、前記画像信号を輝度色度変換する輝度色度変換部および前記輝度色度変換部の出力をローパスフィルタ処理するローパスフィルタと、
   前記輝度色度変換部からの出力の内、色度信号を輝度信号で割って正規化した後、前記ローパスフィルタに与える第１の信号処理部と、
   ローパスフィルタ後の色度信号に、輝度信号を掛ける第２の信号処理部とを備えること
   を特徴とする撮像装置。
2. 単板の２次元イメージセンサと、カラー化のために前記２次元イメージセンサの入射側に配置される色フィルタとを備える撮像素子を備え、前記撮像素子の各画素において、当該画素で欠落している色成分の画像信号を、前記撮像素子における各色成分の画素からの画像信号により補間演算して求め、その補間演算の際に生じる偽色を取るために、前記画像信号を輝度色度変換した後にローパスフィルタ処理を行う撮像装置の偽色抑制方法において、
   前記輝度色度変換された出力の内、色度信号を輝度信号で割って正規化した後、前記ローパスフィルタ処理を行わせるステップと、
   前記ローパスフィルタ処理後の色度信号に、輝度信号を掛けるステップとを備えること
   を特徴とする撮像装置の偽色抑制方法。

Images