JP4461765B2 - 固体撮像装置及び信号処理方法 - Google Patents

Description

本発明は、固体撮像素子を備えた固体撮像装置、及び固体撮像素子で撮影された画像信号を処理する信号処理方法に関するものであり、特にホワイトバランスの処理に関するものである。

固体撮像装置では、イメージセンサ（固体撮像素子）の色フィルタの分光特性のばらつきや、被写体色温度の環境の違いによって、信号処理における３原色Ｒ，Ｇ，Ｂの信号レベルが変化する。従って、白い被写体を撮像したときに、３原色Ｒ，Ｇ，Ｂの信号レベルが等しくなるように、それぞれゲインをかけている。これをホワイトバランスと呼ぶ（例えば特許文献１参照。）。

従来から、ホワイトバランスの信号処理は、通常は、３原色（赤Ｒ，緑Ｇ，青Ｂ）の各信号に対して、緑Ｇを基準にして、Ｒ＝Ｇ＝Ｂとなるように、赤Ｒ及び青Ｂにゲインをかけている。

即ち、ゲインをかけた後の信号をそれぞれＲ´，Ｂ´とすると、
Ｒ´＝ａ・Ｒ Ｂ´＝ｂ・Ｂ（ａ，ｂはゲインの係数） （１）
となる。

ここで、図４Ａに露光時間（ｍｓｅｃ）と信号の出力（ｍＶ）との関係を示す。なお、露光時間を光量に置き換えても同じ傾向を示すものであり、これは以下の図においても同様である。

図４Ａに示すように、各画素の信号は、その画素の色Ｒ，Ｇ，Ｂにかかわらず、露光時間を増やしても出力が上がらなくなる飽和出力が存在する。この飽和出力は、素子の各画素のセンサ部の構成によって決まり、画素の内部構造は同一であるため、画素の色Ｒ，Ｇ，Ｂに係わらず一定の値になる。
ただし、画素の色Ｒ，Ｇ，Ｂにより、飽和出力に達するまでの露光時間が異なっており、図４Ａでは、緑Ｇが最も短く、青Ｂが最も長くなっている。そして、この場合、青Ｂが飽和出力に達するまでは、３色Ｒ，Ｇ，Ｂの出力が一致しないため、そのまま白い被写体を撮影しても白い画像にならなくなる。

そこで、白い被写体を撮影した画像が白い画像になるように、上述したホワイトバランスの処理を行い、緑Ｇを基準にしてＲ＝Ｇ＝Ｂとなるように赤Ｒ及び青Ｂにゲインをかける。図４Ａの場合、式（１）のゲインの係数は、１＜ａ＜ｂとなり、図４Ｂに示すように出力が変化する。これにより、緑Ｇが飽和出力に達するまでの標準領域では、３色Ｒ，Ｇ，Ｂの信号の出力が同一になり、白い被写体を撮影した画像が白い画像となる。

しかしながら、緑Ｇが飽和出力に達してからの飽和領域では、３色Ｒ，Ｇ，Ｂの出力が一致しないため、白い画像にならなくなる。
即ち、光量が多く、飽和領域になってしまうと、上述したホワイトバランスの信号処理を行っても、ホワイトバランスを正しく行うことが困難になり、白い被写体を撮影しても色のついた画像になってしまう。

また、例えば、原色フィルタを使用したイメージセンサで屋内を撮像した場合に、輝度の高い部分にマゼンタの色付きが発生する。この理由は、緑Ｇの出力が赤Ｒ及び青Ｂの出力よりも大きいために、緑Ｇの信号が最初に飽和出力に達するが、緑Ｇが飽和した後は、ホワイトバランスゲインにより赤Ｒや青Ｂの出力の方が大きくなっているからである。

そこで、飽和領域で白い被写体の画像に色が付くことや輝度の高い部分にマゼンタの色が付くことを防ぐために、通常は、基準となる緑Ｇの飽和出力のレベルでクリップがかかるように、ホワイトクリップを設定して処理を行っている。
これにより、図４Ｃに示すように、ホワイトクリップの設定により、緑Ｇよりも大きくなった赤Ｒ及び青Ｂの出力がクリップされて、飽和領域においても３色Ｒ，Ｇ，Ｂの各信号が同じ出力（ホワイトクリップの設定出力に等しい）になる。このため、光量が多い場合でもホワイトバランスを正しく行うことができるようになり、白い被写体を撮影した画像が白くなる。即ち、上述の色が付く問題を解決することができる。
特開平７−１０７５０７号公報

ところが、屋外のような色温度の高い環境下では、ＲＧＢの成分比が異なってくるため、、青Ｂの出力が緑Ｇよりも大きくなる場合がある。例えば、屋外で青空のような被写体を撮った場合には、青Ｂの出力が緑Ｇの出力よりも大きくなるため、（１）式の青Ｂのゲインｂが１より小さくなることから、ホワイトバランス後の飽和出力で比較した場合、青Ｂが緑Ｇよりも小さくなることがある。これにより、青空等が飽和した場合に、ホワイトバランスの処理を行った後に、緑Ｇの成分が残ってしまい、緑や青緑に色付く場合が出てくる。

このことを、図５Ａ〜図５Ｃを参照して説明する。上述の青空のように青Ｂの出力が緑Ｇの出力よりも大きい場合には、ホワイトバランスの処理前の信号が図５Ａに示すようになっている。各色Ｒ，Ｇ，Ｂの飽和出力は同じであるが、飽和出力に達するまでの時間はＢ＜Ｇ＜Ｒとなっており、標準領域における出力はＢ＞Ｇ＞Ｒとなっている。

この各色の信号に対して、前述したように緑Ｇを基準として赤Ｒ及び青Ｂの信号にゲインをかけてホワイトバランス処理を行うと、図５Ｂに示すように変化する。このとき、青Ｂのゲインｂが１より小さいため、青Ｂは飽和出力が小さくなってしまう。

さらに、前述したように、緑Ｇの飽和出力に合わせてホワイトクリップを設定すると、図５Ｃに示すように、赤Ｒはクリップされて、飽和出力が緑Ｇと一致するようになるが、青Ｂは飽和出力が低くなっているため、ホワイトクリップを設定しても飽和出力が変化せず低いままである。このため、ホワイトクリップを設定して処理した画像でも、青空を撮影した画像が緑色になってしまう。

この問題を解決する対策としては、ホワイトバランスの処理の後に、緑Ｇよりもレベルの小さい青Ｂの飽和出力にホワイトクリップを合わせる設定を行うことが考えられる。
これにより、図６に示すように、３色Ｒ，Ｇ，Ｂの信号の出力を露光時間に係わらず一致させることができ、上述した緑の色付きの問題は解消することができる。

しかしながら、この場合、ホワイトクリップレベルが通常のレベルＷＣ１から青Ｂの飽和出力に合わせたレベルＷＣ２に下がることにより、色のダイナミックレンジが低下してしまう。

上述した問題の解決のために、本発明においては、ダイナミックレンジを下げることなく、色付きの問題を解決して良好な画質を得ることができる固体撮像装置及び信号処理方法を提供するものである。

本発明の固体撮像装置は、画像を撮影する固体撮像素子と、この固体撮像素子で撮影された画像信号を３原色の信号に分離する色分離回路と、３原色の信号にかけられるゲインの調整を行うホワイトバランスアンプと、３原色のうち信号の出力が最も大きい原色をゲインの基準色と判定し、この基準色以外の原色の信号にかけられるゲインを算出する計算手段と、ゲインがかけられた各原色の信号に対して、基準色の信号の飽和出力以上の出力をカットするクリップ回路とを備え、ガンマ補正を行うガンマ処理回路をさらに備え、飽和出力以上の出力をカットする前に、計算手段によるゲインの算出とガンマ処理回路によるガンマ補正とが行われ、計算手段から各原色の信号に与えられるゲインがホワイトバランスアンプに送られるものである。

本発明の信号処理方法は、固体撮像素子で撮影された画像信号を３原色の信号に分離し、３原色のうち信号の出力が最も大きい原色をゲインの基準色と判定し、この基準色以外の原色の信号にかけられるゲインを算出し、算出したゲインを各原色の信号にかけて、ゲインがかけられた各原色の信号をクリップして、基準色の信号の飽和出力以上の出力をカットし、飽和出力以上の出力をカットする前に、ゲインの算出及びガンマ補正を行うものである。

上述の本発明の固体撮像装置の構成によれば、３原色のうち信号の出力が最も大きい原色をゲインの基準色と判定し、この基準色以外の原色の信号にかけられるゲインを算出する計算手段により、各原色の信号の大小関係にかかわらず、適切なゲインの基準色を選択することが可能になる。そして、計算手段によって算出されてホワイトバランスアンプに送られたゲインが各原色の信号にかけられることにより、各原色の信号の飽和出力が、ゲインがかけられる前の飽和出力（基準色の信号の飽和出力及び輝度信号の飽和出力に略一致する）以上となる。また、クリップ回路により、ゲインがかけられた各原色の信号に対して、基準色の信号の飽和出力以上の出力がカットされるので、それぞれの原色の信号の飽和出力を基準色の信号の飽和出力及び輝度信号の飽和出力に略一致させることが可能になる。これにより、色信号のダイナミックレンジを輝度信号のダイナミックレンジと同等にすることが可能になる。

上述の本発明の信号処理方法によれば、３原色のうち信号の出力が最も大きい原色をゲインの基準色と判定し、この基準色以外の原色の信号にかけられるゲインを算出し、算出したゲインを各原色の信号にかけることにより、各原色の信号の大小関係にかかわらず、適切なゲインの基準色を選択することができる。
そして、ゲインがかけられた各原色の信号をクリップして、基準色の信号の飽和出力以上の出力をカットすることにより、それぞれの原色の信号の飽和出力を基準色の信号の飽和出力及び輝度信号の飽和出力に略一致させることができる。これにより、色信号のダイナミックレンジを輝度信号のダイナミックレンジと同等にすることができる。

上述の本発明によれば、それぞれの原色の信号の飽和出力を基準色の信号の飽和出力及び輝度信号の飽和出力に略一致させることができるため、色信号のダイナミックレンジを輝度信号のダイナミックレンジと同等にすることができる。
これにより、ホワイトバランスの処理を行った後の色信号のダイナミックレンジを最大に生かすことが可能となる。また、彩度の高い被写体を撮像した時の飽和信号レベル付近での彩度の低下を防ぐことが可能となる。例えば、青空を撮像した場合、飽和時の青色が飛んでしまい白くなるのを防いだり、さらに緑色の色付等を抑えたりすることが可能になる。
従って、本発明により、ダイナミックレンジを低下させることなく、飽和時の色相の変化（色付き等）の問題を解決することができ、良好な画質が得られる固体撮像装置を実現することができる。

本発明の一実施の形態の固体撮像装置における、信号処理回路を示すブロック図を図１に示す。
この信号処理回路は、イメージセンサ（固体撮像素子）１からの３色Ｒ，Ｇ，Ｂの信号を処理して、輝度信号９及び色差信号１０を得るものである。

イメージセンサ１としては、ＣＣＤ固体撮像素子やＣＭＯＳ型固体撮像素子等、各種の固体撮像素子を用いることができる。

図中２は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ回路、Ａ／Ｄ変換回路を含む回路ブロックである。色分離の回路３は、３色Ｒ，Ｇ，Ｂの信号に分離する。カラーフィルターが補色系である場合には、ここで補色系の色信号から原色系の色信号への変換も行うように構成する。

ホワイトバランスの処理は、各色用のホワイトバランスアンプ４Ｒ，４Ｇ，４Ｂにおいて行われ、それぞれの色のゲイン（Ｒゲイン、Ｇゲイン、Ｂゲイン）が色信号に乗算される。後述する基準となった色はゲインが１とされる。

ＲＧＢ検波処理（積分値）の回路５では、３色Ｒ，Ｇ，Ｂのそれぞれの信号を積分値で検波処理を行い、マイコン６に送る。マイコン６では、後述するように、３色Ｒ，Ｇ，Ｂのゲインの算出を行って、算出結果をそれぞれの色用のホワイトバランスアンプ４Ｒ，４Ｇ，４Ｂに送る。なお、マイコン６の代わりにＣＰＵ等を用いてもよい。

ホワイトバランスの処理が行われた信号は、ホワイトバランスアンプ４Ｒ，４Ｇ，４Ｂから、それぞれの色のガンマ処理回路７Ｒ，７Ｇ，７Ｂに送られて、ガンマ補正が行われる。さらに、ガンマ処理回路７Ｒ，７Ｇ，７Ｂから、それぞれの色のホワイトクリップ回路８Ｒ，８Ｇ，８Ｂに送られて、ホワイトバランスの処理により飽和出力が大きくなっている色の出力が基準色の飽和出力に合わせられる。

そして、ホワイトクリップ回路８Ｒ，８Ｇ，８Ｂからの出力を用いて、輝度信号９及び色差信号１０が作成される。

本実施の形態では、特に、ＲＧＢ検波処理の回路５で得られた３色Ｒ，Ｇ，Ｂの各信号値について、その大小関係の比較をマイコン６で行うことにより、出力が最大である色を判定して、その色を基準色として他色のゲインを算出する。そして算出されたゲインを各色用のゲインアップ４Ｒ，４Ｇ，４Ｂに送ってホワイトバランスの処理を行う。

即ち、従来の固体撮像装置でも、図１に示した信号処理回路と同様の構成が採用されているが、本実施の形態においては、マイコン６（又はＣＰＵ等）において、出力が最大である色を基準色として、その基準色に対して他色のホワイトバランスのゲインを算出する、という新たな制御が追加される。

これにより、後述するように、ホワイトバランス処理後の各色の飽和出力を、輝度信号の飽和出力以上にすることができる。また、ダイナミックレンジを低下させることなく、ホワイトクリップを行った後の各色の出力を一致させることができる。
従って、色付きの問題やダイナミックレンジの低下の問題を解決することができる。

次に、上述のように各色のゲインを算出するためのフローチャートの一形態を図２に示す。

図２に示すように、まず、ステップＳ１において、３色Ｒ，Ｇ，Ｂの信号出力が、（Ｇ≧Ｒ）かつ（Ｇ≧Ｂ）の関係（Ａ）を満たすかどうか調べる。

この関係（Ａ）を満たす場合には、緑Ｇの出力が最大であるとして、ステップＳ２に進み、緑Ｇの出力を基準として、赤Ｒのゲイン及び青Ｂのゲインをそれぞれ算出する。
一方、この関係（Ａ）を満たさない場合には、ステップＳ３に進む。

次に、ステップＳ３において、３色Ｒ，Ｇ，Ｂの信号出力が、（Ｒ≧Ｂ）かつ（Ｒ≧Ｇ）の関係（Ｂ）を満たすかどうか調べる。この関係（Ｂ）を満たす場合には、赤Ｒの出力が最大であるとして、ステップＳ４に進み、赤Ｒの出力を基準として、緑Ｇのゲイン及び青Ｂのゲインをそれぞれ算出する。
一方、この関係（Ｂ）を満たさない場合には、青Ｂの出力が最大であるとして、ステップＳ５に進み、青Ｂの出力を基準として、赤Ｒのゲイン及び緑Ｇのゲインをそれぞれ算出する。

このように、３色Ｒ，Ｇ，Ｂの各信号の出力の大小関係を調べて、最大の出力を有する色を（ホワイトバランスの）基準色として各色の信号のゲインを算出することにより、ホワイトバランスの処理を行う前における各色の出力の大小関係にかかわらず、ホワイトバランス処理により３色の信号の出力をある程度の範囲まで一致させることができる。
これにより、図５Ｂに示した状態のように、輝度信号の飽和出力に対して色信号の方が先に飽和してしまうことにより、前述した色付きのように色相が変化してしまったり、色がつかなかったりする現象を防ぐことが可能となる。

そして、ホワイトクリップを行うことにより、さらに３色の信号の出力を露光時間や光量によらず一致させることができ、また輝度信号のダイナミックレンジとほぼ同じレベルのダイナミックレンジとすることが可能となる。

そして、前述した屋外の青空を撮像した場合には、検波される青Ｂの出力が最大となるため、青Ｂがホワイトバランスの基準として判定される。そして、青Ｂを基準として、赤Ｒ及び緑Ｇのゲインが算出される。
このときのホワイトバランスの計算は下記のようになる。
Ｇ´＝（Ｇゲイン）・Ｇ Ｒ´＝（Ｒゲイン）・Ｒ
（Ｇ，Ｒは検波された出力、Ｇ´，Ｒ´はホワイトバランス処理後の出力である。）

このようにホワイトバランス処理を行うことにより、露光時間−出力の関係を図３Ａに示す状態（図５Ａの状態と同じ）から、図３Ｂに示す状態に変化させることができる。図３Ｂに示すように、青Ｂが飽和出力に達するまでは、３色Ｒ，Ｇ，Ｂの信号出力が一致する。即ち、この範囲内では、ホワイトバランスが合う。一方、飽和出力はＲ＞Ｇ＞Ｂとなっている。

さらに、ホワイトクリップを青Ｂの飽和出力に設定することにより、図３Ｃに示すように、青Ｂが飽和出力に達していても、３色Ｒ，Ｇ，Ｂの信号出力を一致させることができる。即ち、露光時間にかかわらず、ホワイトバランスを合わせることができる。また、露光時間が長く光量が多い場合でも被写体の色を再現することができる。

このとき、ホワイトクリップの設定レベルは青Ｂの飽和出力であり、図３Ａに示した元々の３色の飽和出力と等しいため、ダイナミックレンジが低下しない。
従って、ダイナミックレンジを低下させないで、前述した色付きの問題を解決することができる。

なお、３色Ｒ，Ｇ，Ｂの信号出力の大小関係を調べる方法は、図２にフローチャートを示した形態以外の形態も可能である。例えば、赤Ｒ又は青Ｂの信号出力が最大であるかどうかを最初に調べることも可能である。

上述の本実施の形態によれば、マイコン６（又はＣＰＵ等）において、例えば図２にフローチャートを示した方法等により、３色Ｒ，Ｇ，Ｂのうち出力が最大である色をホワイトバランスの処理の基準色と判定し、基準色以外の他色のゲインを算出するように、アルゴリズムが実行されるため、被写体の３色Ｒ，Ｇ，Ｂの出力の大小関係に対応して、適切な基準色を決定することができる。

さらにホワイトクリップを行うことにより、各色の出力を一致させることができ、各色の飽和出力を輝度信号の飽和出力に一致させることができる。これにより、ダイナミックレンジを輝度信号のダイナミックレンジと同等にすることができることから、ダイナミックレンジを低下させることなく、各色の出力を一致させることができる。
従って、ダイナミックレンジの低下の問題や、色付き・色落ち等の色相の変化の問題を解決することができる。

即ち、ホワイトバランス処理後のダイナミックレンジを最大に生かすことが可能となるため、彩度の高い被写体を撮像した時の飽和出力付近での彩度の低下を防ぐことが可能となる。例えば、青空を撮像した場合、飽和時の青色が飛んでしまい白くなるのを防いだり、さらに緑色の色付等を抑えたりすることが可能になる。

なお、上述の実施の形態では、ホワイトクリップ後の３色Ｒ，Ｇ，Ｂの飽和出力を一致させているが、本発明では、画質を損なわない範囲であれば、３色の飽和出力に（わずかな）差がある場合、即ち飽和出力を略一致させる場合も含まれるものである。

本発明は、上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲でその他様々な構成が取り得る。

本発明の一実施の形態の固体撮像装置における信号処理回路を示すブロック図である。 ホワイトバランスの処理用の各色のゲインを計算する方法の一形態を示すフローチャートである。 Ａ〜Ｃ 本発明のホワイトバランスの処理及びホワイトクリップの設定による露光時間と出力の関係の変化を示す図である。 Ａ〜Ｃ 従来のホワイトバランスの処理及びホワイトクリップの設定による露光時間と出力の関係の変化を示す図である。 Ａ〜Ｃ 図４Ａ〜図４Ｃと同様の処理を青の出力の大きい信号に対して行った場合の露光時間と出力の関係の変化を示す図である。 ホワイトクリップレベルを下げて設定した場合の露光時間と出力の関係を示す図である。

符号の説明

１ イメージセンサ、４Ｒ，４Ｇ，４Ｂ ホワイトバランスアンプ、６ マイコン、９ 輝度信号、１０ 色差信号

Claims (2)

1. 固体撮像素子と、
   前記固体撮像素子で撮影された画像信号を３原色の信号に分離する色分離回路と、
   前記３原色の信号にかけられるゲインの調整を行うホワイトバランスアンプと、
   前記３原色のうち信号の出力が最も大きい原色を前記ゲインの基準色と判定し、前記基準色以外の原色の信号にかけられるゲインを算出する計算手段と、
   前記ゲインがかけられた各前記原色の信号に対して、前記基準色の信号の飽和出力以上の出力をカットするクリップ回路とを備え、
   ガンマ補正を行うガンマ処理回路をさらに備え、前記飽和出力以上の出力をカットする前に、前記計算手段による前記ゲインの算出と前記ガンマ処理回路による前記ガンマ補正とが行われ、
   前記計算手段から、各前記原色の信号に与えられるゲインが、前記ホワイトバランスアンプに送られる
   固体撮像装置。
2. 固体撮像素子で撮影された画像信号を３原色の信号に分離し、
   前記３原色のうち信号の出力が最も大きい原色を前記ゲインの基準色と判定し、前記基準色以外の原色の信号にかけられるゲインを算出し、
   算出した前記ゲインを各原色の信号にかけて、
   前記ゲインがかけられた各前記原色の信号をクリップして、前記基準色の信号の飽和出力以上の出力をカットし、
   前記飽和出力以上の出力をカットする前に、前記ゲインの算出及びガンマ補正を行う
   信号処理方法。

Images