JP4352730B2 - オートホワイトバランス処理装置及び方法並びに画像信号処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、イメージセンサを用いた撮像装置のホワイトバランス調整に好適なオートホワイトバランス処理装置及び方法並びに画像信号処理装置に関する。
【０００２】
【従来の技術】
近年、被写体像をイメージセンサ等の光電変換素子によって電気信号に変換して画像信号を得る電子カメラが普及している。このような電子カメラにおいては、光学系を通過した被写体の光学像は、撮像素子であるイメージセンサによって電気信号に変換される。イメージセンサからの電気信号は画像信号として所定の画像信号処理が施される。画像信号処理としては、画像信号に対するガンマ補正処理、色分離処理及びホワイトバランス処理等の処理があり、これらの処理を経て所定のフォーマットの画像信号が得られる。
【０００３】
なお、ガンマ補正処理は、表示系における画像信号のレベルと透過率（輝度）との関係の非線形性を補正するための処理である。また、ホワイトバランス処理は、白色を正しく再現するための処理である。
【０００４】
電子カメラにおいては、イメージセンサにカラーフィルタを配置することでカラー画像が得られる。カラーフィルタによって例えばＲ（赤），Ｇ（緑），Ｂ（青）光をイメージセンサに入射させることで、Ｒ，Ｇ，Ｂ画像信号が得られる。ところが、同一被写体（同一物色）を撮像した場合でも、イメージセンサから得られたＲ，Ｇ，Ｂ信号のレベルは、光源（環境色）の色温度に応じて個々に変動してしまう。そこで、白色を正しく再現すると共に色のバランスを適切に再現するために、ホワイトバランス処理が行われている。
【０００５】
ホワイトバランス処理はＲ，Ｇ，Ｂ画像信号に対して、夫々所定の係数（色係数）を乗算することで行われる。これにより、Ｒ，Ｇ，Ｂ信号のレベルを個々に調整して、色のバランスを適正なものにするのである。
【０００６】
【発明が解決しようとする課題】
ところで、ホワイトバランス調整は、上述したように、白を正確に再現するためのものである。即ち、白の被写体を撮像した場合の出力画像信号を画面上に映出させた場合に、正しく白い被写体を再現させるためのものである。なお、ホワイトバランス調整では、白の再現性だけでなく、色バランスの調整も同時に行っている。放送用テレビカメラ等においては、ホワイトバランス調整のために、環境色を基準色（灰色）に設定するような照明を施すようになっている。そして、この状態で撮像して得た画像信号に対してホワイトバランス処理を行うことにより、確実な色バランス調整を可能にしている。
【０００７】
ところが、カムコーダやデジタルカメラを個人的に使用する場合等においては、環境（照明）色を基準色に設定することは実質的に困難である。そこで、パーソナルな電子カメラにおいては、撮像した画像からホワイトバランス調整用の色係数を算出することで、自動的なホワイトバランスの調整を可能にしている。
【０００８】
しかしながら、当然ながら、基準色ではない通常の撮像画像から求めた色係数を用いたオートホワイトバランスでは、色バランスの再現性が十分であるとは言えないという問題があった。しかも、色係数の算出のための演算量は極めて大きく、デジタルスチルカメラ等のＣＰＵを搭載したシステムでなければある程度の色再現性を得ることも困難である。
【０００９】
本発明はかかる問題点に鑑みてなされたものであって、ワイヤードロジックによる色調整を可能にすると共に、色再現性を著しく向上させることができるオートホワイトバランス処理装置及び方法並びに画像信号処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明に係るホワイトバランス処理装置は、カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換によって得られた輝度信号及び色差信号が与えられ、所定の色範囲及び所定の輝度範囲の画素を抽出画素として判定する抽出画素判定手段と、前記抽出画素判定手段によって抽出画素と判定された画素の前記各色成分を用いてホワイトバランス処理のための色係数を算出する色係数算出手段と、前記各色成分に対する前記色係数を用いた線形処理によってホワイトバランスを調整するホワイトバランス調整手段とを具備したことを特徴とする。
【００１１】
このような構成によれば、撮像素子の出力に基づく各色成分は輝度−色差色空間の輝度信号及び色差信号に変換された後抽出画素判定手段に与えられる。抽出画素判定手段は、所定の色範囲及び所定の輝度範囲の画素を抽出画素として判定する。これにより、例えば、無彩色の画素を確実に抽出画素として判定することができる。色係数算出手段は、抽出画素判定手段によって抽出画素と判定された画素の各色成分を用いてホワイトバランス処理のための色係数を算出する。これにより、色係数は極めて高精度のものとなる。この色係数を用いて、ホワイトバランス調整手段は各色成分に対する線形処理を行ってホワイトバランスを調整する。こうして、色再現性に極めて優れたホワイトバランス調整が可能となる。
【００１２】
また、前記抽出画素判定手段は、前記所定の色範囲内の画素について前記所定の輝度範囲内の画素であるか否かを判定して前記抽出画素を決定することを特徴とする。
【００１３】
このような構成によれば、所定の色範囲内の画素であるか否かの判定が所定の輝度範囲内の画素であるか否かの判定の前に行われる。先に輝度範囲に基づいて画素を選択すると、色範囲に基づく画素の選択時に、高輝度の無彩色画素の多くが選択から除外されてしまう。このため、色係数の算出時の母数が小さくなって色係数の信頼性が低くなる。これに対し、先の色範囲に基づいて画素を選択した後、選択した画素について輝度範囲内の画素であるか否かを判定すれば、色係数の算出時の母数として十分な数を確保することができ、色係数の信頼性を向上させることができる。
【００１４】
また、前記抽出画素判定手段は、前記所定の輝度範囲内の画素であるか否かの判定に代えて、輝度値順の所定番目から所定数の画素を前記抽出画素として決定することを特徴とする。
【００１５】
このような構成によれば、輝度値の所定番目から所定数の画素を抽出画素として決定しているので、色係数の算出時の母数が小さくなることを防止することができ、色係数の信頼性を向上させることができる。
【００１６】
また、前記抽出画素判定手段は、前記所定の色範囲内の画素について輝度の分布を求める輝度分布検出手段と、前記輝度分布中の所定の輝度値番目から所定数の画素を前記抽出画素として決定する輝度範囲判定手段とを具備したことを特徴とする。
【００１７】
このような構成によれば、輝度分布検出手段は所定の色範囲内の画素について輝度の分布を求める。これにより、所定の輝度値番目から所定数の画素の選択が容易となる。
【００１８】
また、前記輝度分布検出手段は、所定の輝度上限値及び下限値の範囲内において輝度の分布を求めることを特徴とする。
【００１９】
このような構成によれば、抽出画素として選択される可能性が極めて少ない画素を、輝度の分布を作成する時点において除外していることから、抽出画素として選択すべき画素の精度を向上させることができる。
【００２０】
また、前記輝度分布検出手段は、所定輝度範囲毎に分割して輝度の分布を求め、前記輝度範囲判定手段は、前記所定輝度範囲単位で前記抽出画素を決定することを特徴とする。
【００２１】
このような構成によれば、所定輝度範囲毎の分割単位で輝度の分布を求めればよく、輝度分布を求めるための回路規模を縮小することができる。
【００２２】
また、前記抽出画素判定手段は、輝度値として採り得る値の最大値よりも所定輝度だけ小さい値以下の輝度値の画素を前記抽出画素として決定することを特徴とする。
【００２３】
このような構成によれば、各色成分のうちの所定の色成分が飽和状態にある場合にこの飽和状態の色成分が色係数の算出に使用されることを阻止することができ、色係数の精度を向上させることができる。
【００２４】
また、前記色係数算出手段は、前記ホワイトバランス調整手段によるホワイトバランスの調整前の各色成分を色係数の算出に用いることを特徴とする。
【００２５】
このような構成によれば、色係数の算出をフィードフォワード構成によって得ることができる。
【００２６】
また、前記色係数算出手段は、前記ホワイトバランス調整手段によるホワイトバランスの調整後の各色成分を色係数の算出に用いることを特徴とする。
【００２７】
このような構成によれば、色係数の算出をフィードバック構成によって得ることができる。
【００２８】
また、前記色係数算出手段は、前記抽出画素と判定された画素の前記各色成分を用いた前記色係数を所定期間で目標値に収束させることを特徴とする。
【００２９】
このような構成によれば、色係数は所定の期間で目標値に収束する。従って、色係数を用いたホワイトバランス処理によって画像が急変することを防止することができ、画質を向上させることができる。
【００３０】
また、本発明に係るホワイトバランス処理方法は、カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換によって得られた輝度信号及び色差信号が与えられ、所定の色範囲及び所定の輝度範囲の画素を抽出画素として判定する抽出画素判定手順と、前記抽出画素判定手順において抽出画素と判定された画素の前記各色成分を用いてホワイトバランス処理のための色係数を算出する色係数算出手順と、前記各色成分に対する前記色係数を用いた線形処理によってホワイトバランスを調整するホワイトバランス調整手順とを具備したことを特徴とする。
【００３１】
このような構成によれば、撮像素子の出力に基づく各色成分は輝度−色差色空間の輝度信号及び色差信号に変換され、抽出画素判定手順において、所定の色範囲及び所定の輝度範囲の画素が抽出画素として判定される。これにより、例えば、無彩色の画素が抽出画素として確実に判定される。色係数の算出には、抽出画素判定手順において抽出画素と判定された画素の各色成分が用いられる。これにより、色係数は極めて高精度のものとなる。ホワイトバランス調整手順では、各色成分に対する色係数を用いた線形処理を行ってホワイトバランスが調整される。こうして、色再現性に極めて優れたホワイトバランス調整が可能となる。
【００３２】
また、前記抽出画素判定手順は、前記所定の色範囲内の画素について前記所定の輝度範囲内の画素であるか否かを判定して前記抽出画素を決定することを特徴とする。
【００３３】
このような構成によれば、所定の色範囲内の画素であるか否かの判定が所定の輝度範囲内の画素であるか否かの判定の前に行われることから、高輝度の無彩色画素の多くが選択から除外されてしまうことを防止することができる。これにより、色係数の算出時の母数を十分に確保して色係数の信頼性を維持する。
【００３４】
また、本発明に係る画像信号処理装置は、カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換を行って輝度信号及び色差信号を得るマトリクス手段を具備し、前記マトリクス手段から前記輝度信号及び色差信号を用いて前記ホワイトバランス処理装置又は前記ホワイトバランス処理方法によってホワイトバランスを調整することを特徴とする。
【００３５】
このような構成によれば、ホワイトバランス処理装置及びホワイトバランス処理方法によるホワイトバランスの調整によって色再現性に極めて優れた画像信号処理が可能となる。
【００３６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係る画像信号処理装置を示すブロック図である。
【００３７】
本実施の形態においては、撮像して得た画像信号から所定の色範囲の画素を抽出し、更に抽出した画素のうち所定の輝度範囲の画素のみを取り出して、オートホワイトバランス処理の色係数の算出に用いることにより、色の再現性を向上させるようになっている。
【００３８】
被写体からの光学像は、カラーフィルタを含む図示しない光学系を介して図示しないイメージセンサに入射される。イメージセンサは入射光を光電変換して、被写体の光学像に基づく画像信号を発生する。この画像信号は図１のＡＦＥ（アナログフロントエンド）回路１に供給されるようになっている。ＡＦＥ回路１は図示しない増幅器及びアナログ／デジタル変換器等によって構成されており、入力された画像信号をデジタル信号に変換してＯＢクランプ回路２に出力する。
【００３９】
ＯＢクランプ回路２は、入力された画像信号を適切な黒色の基準レベルに調整するための回路である。イメージセンサには予め決められた数個の画素が遮光板等によって遮光されてＯＢ（オプティカルブラック）領域に設定されている。ＯＢクランプ回路２はこのＯＢ領域の画素の画素信号レベルに基づいて、画像信号の黒色レベルを調整するようになっている。ＯＢクランプ回路２の出力はデータレンジ補正回路３に与えられる。データレンジ補正回路３は、入力されたデジタル画像データのレンジを補正してＣＦＡ色補間回路４に出力する。
【００４０】
イメージセンサに設けられたカラーフィルタは、例えば、Ｒ，Ｇ，Ｂフィルタが適宜の配列規則に従って、循環的に配列されたものである。これにより、イメージセンサの各画素は、個々にＲ画素、Ｇ画素又はＢ画素を構成する。ＣＦＡ色補間回路４は、複数ライン（例えば３ライン）分の画像信号を保持するラインバッファ（図示せず）を有しており、隣接した位置のＲ，Ｇ，Ｂ画素を用いた演算処理によって、各画素位置でＲ，Ｇ，Ｂ信号を得るための補間処理を行う。ＣＦＡ色補間回路４からのＲ，Ｇ，Ｂ信号はマトリクス演算器５に供給される。
【００４１】
マトリクス演算器５は入力されたＲ，Ｇ，Ｂ信号をＹＵＶ′信号に変換するためのものである。マトリクス演算器５は例えば３×３のマトリクス演算によって、Ｒ，Ｇ，Ｂ信号をＹＵＶ′信号に変換し、（輝度）信号Ｙをハイパスフィルタ（ＨＰＦ）６に与え、色差信号Ｕ，Ｖ′をローパスフィルタ（ＬＰＦ）７に与えるようになっている。ＨＰＦ６は輝度信号Ｙの高域成分を通過させて高域強調による輪郭補償等の画質補正を行ってマトリクス演算器９に出力する。また、ＬＰＦ７は入力された色差信号Ｕ，Ｖ′を低域のみに制限して色抑制回路８に出力する。
【００４２】
本実施の形態においては、色抑制回路８は色差信号ＵＶ′の色成分を抑制してマトリクス演算器９に出力するようになっている。画素信号に対する利得が比較的大きい場合には、量子化ノイズ等の影響によって画素信号の欠陥が目立ってしまう。そこで、暗い部分については色に対する人間の目の感度が比較的低いことを利用して、比較的輝度が低い画素（暗い部分）の色成分を抑制し、又はモノクロモードにすることによって、画素の欠陥を目立たなくなるようにしている。
【００４３】
本実施の形態においては、ＹＵＶ′信号に変換した画像信号を再びＲ，Ｇ，Ｂ信号に戻すようになっている。マトリクス演算器９は入力されたＹＵＶ′信号をマトリクス処理してＲ1 ，Ｇ1 ，Ｂ1 信号に変換した後マトリクス演算器１０に出力する。マトリクス演算器１０は入力されたＲ1 ，Ｇ1 ，Ｂ1 信号に対してマトリクス処理を施して色調整し、色調整後のＲ2 ，Ｇ2 ，Ｂ2 信号をオートホワイトバランス回路１１に出力するようになっている。オートホワイトバランス回路１１は、後述するように、ＡＷＢ用係数算出回路４からオートホワイトバランス調整用の色係数が与えられ、入力されたＲ2 ，Ｇ2 ，Ｂ2 信号に対して、色係数を乗算するマトリクス処理によって各色レベルを調整を行い、ホワイトバランスを適正なものにするようになっている。オートホワイトバランス回路１１によってオートホワイトバランス調整されたＲ3 ，Ｇ3 ，Ｂ3 信号はユーザ色調整回路１５に出力される。
【００４４】
ユーザ色調整回路１５は、ユーザ操作に基づく外部信号が入力され、この外部信号に基づいて入力されたＲ3 ，Ｇ3 ，Ｂ3 信号のレベルを調整することで、色バランスをユーザの好みに調整するようになっている。ユーザ色調整回路１５からの色調整後のＲ4 ，Ｇ4 ，Ｂ4 信号はユーザデジタルゲイン設定回路１６に供給される。ユーザデジタルゲイン設定回路１６は、ユーザ操作に基づく外部信号が入力され、この外部信号に基づいて入力されたＲ4 ，Ｇ4 ，Ｂ4 信号に対するゲインを調整することで、輝度をユーザの好みに調整するようになっている。ユーザデジタルゲイン設定回路１６からの輝度調整後のＲ5 ，Ｇ5 ，Ｂ5 信号はガンマ補正回路１７に供給される。
【００４５】
ガンマ補正回路１７は入力されたＲ5 ，Ｇ5 ，Ｂ5 信号に所定の非線形処理を施してガンマ補正した後、マトリクス演算器１８に出力する。マトリクス演算器１８は、入力されたＲ，Ｇ，Ｂ信号をＹＵＶ信号に変換するためのものである。マトリクス演算器１８は例えば３×３のマトリクス演算によって、Ｒ，Ｇ，Ｂ信号をＹＵＶ信号に変換して出力するようになっている。
【００４６】
次に、図２及び図３を参照してオートホワイトバランス処理について説明する。
【００４７】
一般的なホワイトバランス処理では、画像全体の平均の色は無彩色であるという仮説をもとに色係数が生成されている。この手法は画像にまんべんなく色がついているようなシーンには有効であるが、ある色に偏ったシーンでは期待した結果は得られず、偏った色を無彩色に引き込むような処理になってしまう。画像の平均的な色を特定の色に偏らせるのに影響を与えやすい画素（以下、偏り影響色という）としては、例えば、肌色、草木の緑色、青空の色等が考えられる。そこで、本実施の形態においては、画像中からこれらの偏り影響色の画素を除外して残った画素を平均化した場合には画像の平均的な色は無彩色になるものと考え、画像中の偏り影響色を除く画素を色係数の生成に用いるようにしている。
【００４８】
ところで、環境色（照明光）が変化すると、イメージセンサによって撮像されて得られた画像の色も変化する。このように環境色が変化する場合でも、偏り影響色を除く色、即ち、無彩色（灰色）は色空間上の所定の範囲内に存在する。図２は偏り影響色を除く無彩色のＹＵＶ色空間上の分布範囲を斜線部によって示している。ところが、画像の輝度によっては、偏り影響色であっても図２の斜線部分の範囲内に存在することがある。
【００４９】
一方、光源（照明光）の照度の変化によって各色の輝度を調べると、無彩色のうち白を含む明るい灰色は比較的輝度が高いことが判明した。そこで、本実施の形態においては、抽出する画素の色範囲として図２の斜線部分を設定すると共に、この色範囲内の画素のうち輝度が所定の輝度範囲の画素であるか否かによって、色係数の演算に用いる画素（以下、抽出画素という）を決定するようになっている。図３は抽出画素を抽出する輝度範囲を斜線にて示している。
【００５０】
本実施の形態においては、色係数の算出に用いる抽出画素は、（オートホワイトバランス）用抽出画素判定回路１２によって判定するようになっている。図４は図１中のＡＷＢ用抽出画素判定回路１２の具体的な構成を示すブロック図である。
【００５１】
図２では斜線部分の範囲（以下、抽出色範囲という）は、ＵＶ色空間上の直線Ｕ＝ｕｍａｘ、Ｖ′＝ｖｍａｘ、Ｖ′＝−ｍＵ＋ｕｖｍａｘ、Ｖ′＝−ｎＵ＋ｕｖｍｉｎ（−ｍ，−ｎは夫々Ｖ′軸上の点ｕｖｍａｘ，ｕｖｍｉｎを通過する直線の傾き）によって囲まれる範囲である。即ち、図２の例では、抽出色範囲は、下記（１）式を満足するように設定されている。なお、図２ではｍ，ｎは１である。
【００５２】
Ｕ≦ｕｍａｘ
Ｖ′≦ｖｍａｘ
ｕｖｍｉｎ≦｛（ｍ×Ｕ）＋（ｎ×Ｖ′）｝≦ｕｖｍａｘ …（１）
また、図３において、斜線にて示す抽出画素の抽出範囲（以下、抽出輝度範囲という）は、下記（２）式を満足するように設定される。
【００５３】
Ｙｍｉｎ≦Ｙ≦ｍａｘ …（２）
図４において、範囲設定回路２１及び色範囲比較回路２２には、マトリクス演算器５からの色差信号Ｕ，Ｖ′が入力される。また、位置情報出力回路２５には、範囲設定回路２１及び色範囲比較回路２２に入力されている色差信号Ｕ，Ｖ′に対応した画素の画面上の画素位置を示す位置情報が入力される。範囲設計回路２１は上記（１）式の（ｍ×Ｕ）＋（ｎ×Ｖ′）を算出して色範囲比較回路２２に出力する。
【００５４】
色範囲比較回路２２は、抽出色範囲を特定する情報であるｕｍａｘ、ｖｍａｘ、ｕｖｍｉｎ及びｕｖｍａｘの値が与えられており、入力された色差信号Ｕ，Ｖ′が上記（１）式を満足するか否かを判定する。色範囲比較回路２２からの判定結果は輝度信号抽出回路２３に与えられる。輝度信号抽出回路２３には、範囲設定回路２１及び色範囲比較回路２２に入力されている色差信号Ｕ，Ｖ′に対応した輝度信号Ｙがマトリクス演算器５から与えられている。輝度信号抽出回路２３は、色範囲比較回路２２から上記（１）式を満足した色差信号Ｕ，Ｖ′が入力されたことを示す判定結果が得られた場合にのみ、この色差信号Ｕ，Ｖ′に対応する輝度信号Ｙを輝度範囲比較回路２４に出力するようになっている。
【００５５】
輝度範囲比較回路２４は、抽出輝度範囲を特定する情報であるＹｍｉｎ，Ｙｍａｘの値が与えられており、入力された輝度信号Ｙが上記（２）式を満足するか否かを判定する。輝度範囲比較回路２４からの判定結果は位置情報出力回路２５に与えられる。
【００５６】
位置情報出力回路２５は、輝度範囲比較回路２４から上記（２）式を満足した輝度信号Ｙが入力されたことを示す判定結果が得られた場合にのみ、この輝度信号Ｙの画面上の画素位置を示す位置情報を出力するようになっている。
【００５７】
このように、ＡＷＢ用抽出画素判定回路１２は、マトリクス演算器５の出力のうち抽出色範囲内の画素、即ち、無彩色と考えられる画素であって、抽出輝度範囲内の画素、即ち、輝度レベルが比較的高い画素について、色係数の算出に用いる抽出画素と判定して、その画素位置を示す位置情報をＡＷＢ用画素データ蓄積回路１３に出力するようになっている。
【００５８】
ＡＷＢ用画素データ蓄積回路１３は、マトリクス演算器１０の出力Ｒ2 ，Ｇ2 ，Ｂ2 信号が与えられて、位置情報で与えられる画素位置のＲ2 ，Ｇ2 ，Ｂ2 信号を例えば少なくとも１画面分以上記憶保持してＡＷＢ用係数算出回路１４に出力する。
【００５９】
ＡＷＢ用係数算出回路１４は、ＡＷＢ用画素データ蓄積回路１３に蓄積されているＲ2 ，Ｇ2 ，Ｂ2 信号を読み出して、各色信号毎に例えば１画面分積分する。即ち、ＡＷＢ用係数算出回路１４は、ΣＲ，ΣＧ，ΣＢを求める。次に、ＡＷＢ用係数算出回路１４は、ホワイトバランス処理用の色係数Ｒｃ，Ｇｃ，Ｂｃを下記（３）式に基づいて算出する。
【００６０】
Ｒｃ＝ΣＧ／ΣＲ
Ｇｃ＝ΣＧ／ΣＧ＝１．０ （３）
Ｂｃ＝ΣＧ／ΣＢ
なお、色係数Ｇｃは常に１であるので、算出する必要はない。
ＡＷＢ用係数算出回路１４は上記（３）式に基づいて算出した色係数をオートホワイトバランス回路１１に出力する。オートホワイトバランス回路１１は、マトリクス演算器１０からのＲ2 ，Ｇ2 ，Ｂ2 信号に対して下記（４）式のマトリクス演算によって、ホワイトバランスを調整したＲ3 ，Ｇ3 ，Ｂ3 信号を得るようになっている。
【００６１】
次に、このように構成された実施の形態の動作について説明する。
【００６２】
所定の物色の被写体は所定の環境色の照明光によって照明されているものとする。被写体の光学像はカラーフィルタを含む光学系を介してイメージセンサに入射され、光電変換されてＲ，Ｇ，Ｂ信号が得られる。ＡＦＥ回路１に入力されるＲ，Ｇ，Ｂ信号は、被写体の物色、被写体の照明光（環境色）及びフィルタの分光特性に基づく色光に対応したものとなっている。ＡＦＥ回路１は入力されたＲ，Ｇ，Ｂ信号をデジタル信号に変換してＯＢクランプ回路１に出力する。ＯＢクランプ回路１は、入力された画素信号の黒レベルを黒色の適切なレベルに設定してデータレンジ補正回路３に出力する。データレンジ補正回路３によって、Ｒ，Ｇ，Ｂ信号は適正なレンジに補正されて画像の明るさが調整される。更に、Ｒ，Ｇ，Ｂ信号はＣＦＡ色補間回路４において色補間が行われて、各画素位置におけるＲ，Ｇ，Ｂ画像信号が得られる。
【００６３】
本実施の形態においては、ＹＵＶ′色空間においてオートホワイトバランス用の色係数を算出すると共に画質補正を行うために、色補間されたＲ，Ｇ，Ｂ信号は、先ずマトリクス演算器５によって、ＹＵＶ′信号に変換される。輝度信号ＹはＨＰＦ６によって高域強調されてマトリクス演算器９に供給され、色差信号ＵＶ′はＬＰＦ７によって低域に帯域制限されて色抑制回路８に供給される。色抑制回路８は量子化ノイズ等のノイズの影響を低減するために、画像の暗い部分について色を抑制してマトリクス演算器９に出力する。
【００６４】
ＡＷＢ用抽出画素判定回路１２は、マトリクス演算器５から各画素の色差信号Ｕ，Ｖ′及び輝度信号Ｙが順次与えられ、上記（１）式の演算によって、先ず、入力された色差信号Ｕ，Ｖ′が図２の抽出色範囲内の色を与えるものであるか否かを判定し、そうである場合には、更にその画素について輝度信号Ｙが上記（２）式及び図３に示す抽出輝度範囲の輝度であるか否かを判定する。ＡＷＢ用抽出画素判定回路１２は、図２の抽出色範囲内の色であって、図３に示す抽出輝度範囲内の画素については、画面内の画素位置を示す位置情報をＡＷＢ用画素データ蓄積回路１３に出力する。ＡＷＢ用画素データ蓄積回路１３は、少なくとも１画面分以上の画素について、入力された位置情報を記憶保持して出力する。
【００６５】
一方、マトリクス演算器５からのＹＵＶ′信号は、色バランスの調整のために、マトリクス演算器９によって一旦Ｒ，Ｇ，Ｂ信号に戻す。マトリクス演算器９は、入力されたＹＵＶ′信号に対するマトリクス処理によって、Ｒ1 ，Ｇ1 ，Ｂ1 信号を得て、色調整用のマトリクス演算器１０に出力する。マトリクス演算器１０は、入力されたＲ1 ，Ｇ1 ，Ｂ1 信号に対するマトリクス処理によって、カラーフィルタの分光特性を補正して、Ｒ，Ｇ，Ｂフィルタの特性が急峻な場合と同様な特性のＲ2 ，Ｇ2 ，Ｂ2 信号を得る。このＲ2 ，Ｇ2 ，Ｂ2 信号はオートホワイトバランス回路１１に与えられる。
【００６６】
また、ＡＷＢ用画素データ蓄積回路１３は、抽出色範囲及び抽出輝度範囲内の条件を備えた画素の位置情報を例えば１画面分記憶保持して、マトリクス演算器１０の出力Ｒ2 ，Ｇ2 ，Ｂ2 信号のうち位置情報で与えられる画素位置のＲ2 ，Ｇ2 ，Ｂ2 信号をＡＷＢ用係数算出回路１４に出力する。ＡＷＢ用係数算出回路１４は、ＡＷＢ用画素データ蓄積回路１３に蓄積されているＲ2 ，Ｇ2 ，Ｂ2 信号を読み出して、各色信号毎に例えば１画面分積分する。即ち、ＡＷＢ用係数算出回路１４は、ΣＲ，ΣＧ，ΣＢを求め、次いで、ホワイトバランス処理用の色係数Ｒｃ，Ｇｃ，Ｂｃを上記（３）式に基づいて算出する。
【００６７】
オートホワイトバランス回路１１は、ＡＷＢ用係数算出回路１４において算出された色係数を用いて、例えば３×３の線形マトリクス処理によって、ホワイトバランスの調整を行う。これにより、入力Ｒ，Ｇ，Ｂ信号に含まれていた環境色の影響が除去される。オートホワイトバランス回路１１によってオートホワイトバランス調整されたＲ3 ，Ｇ3 ，Ｂ3 信号はユーザ色調整回路１５に出力される。
【００６８】
ユーザ色調整回路１５は、ユーザ操作に基づいて、色バランスをユーザの好みに調整する。更に、ユーザデジタルゲイン設定回路１６は、ユーザ操作に基づいて、輝度をユーザの好みに調整する。ユーザ操作に基づいて、色調整及び輝度調整が施された画像信号はガンマ補正回路１７に与えられて、ガンマ補正される。ガンマ補正された画像信号はマトリクス演算器１８に与えられ、入力されたＲ，Ｇ，Ｂ信号をＹＵＶ信号に変換する。
【００６９】
このように本実施の形態においては、オートホワイトバランスに用いる色係数は、無彩色と考えられる抽出色範囲内の画素であって、しかも、輝度が比較的高い抽出輝度範囲内の画素を用いて生成している。従って、色係数の生成に用いる画素は無彩色の画素である可能性が極めて高く、オートホワイトバランスに用いる色係数を極めて高精度に算出することができる。これにより、色再現性を向上させることが可能である。
【００７０】
なお、上記実施の形態においては、抽出色範囲内の画素について抽出輝度範囲内の画素であるか否かを判定して、色係数の算出に用いる抽出画素を決定したが、逆に、抽出輝度範囲内の画素について抽出色範囲内の画素であるか否かの判定によって色係数の算出に用いる抽出画素を決定してもよい。
【００７１】
ところで、本実施の形態においては、色係数の算出に用いる抽出画素として、無彩色の色である画素を選別するようにしている。上述したように、無彩色の色であっても色温度によっては、得られる色差信号ＵＶ′の色空間上の位置は変化する。そこで、抽出画素の選別には、色温度によって無彩色が変化する抽出色範囲を指定するようになっている。しかし、上述したように、無彩色以外の色であっても、輝度、彩度が高い色は抽出色範囲に入ることが考えられる。例えば、人間の肌色，青空，新緑の緑等である。この理由から輝度レベルを判定して、抽出色範囲内の色であっても輝度が高い色を除外することで、これらの無彩色以外の色を抽出画素として選別しないようにしている。
【００７２】
ところで、上述したように、先に抽出輝度範囲の画素を判定して、この判定結果を用いて抽出色範囲内の画素を選別する方法も考えられる。しかしながら、人間の肌色，青空，新緑の緑は高輝度であり、このような画素は低輝度側から約８５％〜約９５％の範囲内に存在する可能性が高い。従って、先に抽出輝度範囲内の画素を判定し、この判定結果を利用して抽出色範囲以外の画素を除外すると、残った抽出画素の数が極めて少なくなってしまう。そうすると、上記（３）式の母数が小さくなってしまい、色係数の信頼性が低下する。
【００７３】
この理由から、本実施の形態においては、先に抽出色範囲の判定を行い、この判定結果に基づいて抽出輝度範囲内の画素であるか否かを判定して抽出画素を決定している。これにより、抽出画素の画素数として十分な画素数を確保することができ、上記（３）式の母数を増やして色係数の信頼性を向上させることができる。
【００７４】
なお、抽出色範囲の設定は，オートホワイトバランス処理の引き込み範囲に大きな影響を及ぼす。この理由から、抽出色範囲を予め回路に組み込むのではなく、レジスタを用いて範囲の変更を可能にし、回路使用者が撮影する環境や撮影する被写体に応じて設定する抽出色範囲を調整可能にした方がよい。
【００７５】
また、上記実施の形態においては、抽出輝度範囲の上限値Ｙｍａｘは輝度値として採り得る上限値に設定していない。撮像によって得られる画像は撮影環境光によって著しく変化する。例えば，ハロゲンランプのような光源の下では、その色温度が約３０００Ｋ程度と低いことから、撮像画像は赤っぽい色になりやすい。即ち、Ｇ，Ｂ信号については高輝度域の画素の数が極めて少ないのに対し、Ｒ信号については高輝度域の画素が多数存在してしまい、イメージセンサからのＲ，Ｇ，Ｂ信号のうちＲ信号のみが飽和してしまうことがある。飽和状態では、実際の赤色の輝度レベルとＲ信号の数値との線形性は崩れている。従って、輝度レベルが飽和している画素を色係数の算出に用いると、色再現性の精度が低下してしまう。そこで、輝度レベルが飽和してしまう可能性が高い輝度範囲の画素を色係数の算出から除外するために、抽出輝度範囲の上限値Ｙｍａｘを輝度値として採り得る上限値よりも低い値に設定している。
【００７６】
なお、上記実施の形態においては、画像によっては色係数として極端に大きいか又は小さい値が出力される可能性がある。この場合には、予め設定された初期値を色係数として用いるようにすることも考えられる。
【００７７】
図５は本発明の第２の実施の形態の画像信号処理装置において採用されるＡＷＢ用抽出画素判定回路の構成を示すブロック図である。図５において図４と同一の構成要素には同一符号を付して説明を省略する。本実施の形態における他の構成は図１と同様である。
【００７８】
図５のＡＷＢ用抽出画素判定回路３１は輝度範囲比較回路２４に代えて輝度範囲比較回路３２を採用した点が図４のＡＷＢ用抽出画素判定回路２４と異なる。
【００７９】
ホワイトバランス調整用の色係数の算出に用いる画素（抽出画素）の数が少ない場合には、上述したように、（３）式の母数が小さくなり、色係数の信頼性が低下する。そこで、本実施の形態においては、抽出輝度範囲を輝度の絶対値で指定するのではなく、輝度の分布を検出し、輝度が所定の分布範囲内に存在する一定数の画素を抽出画素として選択するようになっている。
【００８０】
図６は図５中の輝度範囲比較回路３２の具体的な構成を示すブロック図である。輝度範囲比較回路３２は、ヒストグラム作成回路３５及び輝度範囲判定回路３６によって構成されている。ヒストグラム作成回路３５には、マトリクス演算器５（図１参照）から輝度信号Ｙが供給されると共に、色範囲比較回路２２から入力された輝度信号Ｙが抽出色範囲内の画素に基づくものであるか否かの判定結果が与えられる。ヒストグラム作成回路３５は、入力された輝度信号Ｙのうち抽出色範囲内の画素に基づく信号についてその輝度値の分布を求める。図７は横軸に輝度値Ｙをとり縦軸に画素数をとって、ヒストグラム作成回路３５が作成するヒストグラムの例を示している。
【００８１】
ヒストグラム作成回路３５が作成した輝度値と画素数との関係を示す度数分布の情報は輝度範囲判定回路３６に与えられる。輝度範囲判定回路３６は、与えられた輝度分布のうち最低輝度の画素から数えて画素数がＹｓｔ％〜Ｙｅｄ％の範囲内の画素を抽出輝度範囲の画素として判定するようになっている。
【００８２】
図８は輝度範囲判定回路３６の動作を説明するための説明図である。なお、図８の例ではＹｓｔ，Ｙｅｄは夫々８５％，９５％に設定されている。
【００８３】
図８の斜線部は、ヒストグラム上の最低輝度の画素から数えて８５％目の画素から９５％目の画素が存在する範囲（抽出輝度範囲）を示している。即ち、図８の例では、抽出色範囲内の画素のうちの１０％の画素で、比較的輝度値が高い画素が抽出輝度範囲の画素として選択される。
【００８４】
輝度範囲判定回路３６は、抽出色範囲内の画素のうち輝度値が低い画素から数えてＹｓｔ％目の画素（下限輝度画素）を検出すると共に、輝度値が低い画素から数えてＹｅｄ％目の画素（上限輝度画素）を検出する。
【００８５】
例えば、輝度値が８ビットで表現されるものとすると、ヒストグラム作成回路３５は、最低輝度０から最高輝度２５５に夫々対応した２５６個のレジスタを有し、抽出色範囲内の各画素の輝度値に応じて各レジスタにその画素の情報を蓄積する。そして、輝度範囲判定回路３６は、最低輝度に対応したレジスタから順に画素数を計数し、これにより、Ｙｓｔ％目の画素からＹｅｄ％目の画素までを判定するようになっている。
【００８６】
このように本実施の形態においては、抽出輝度範囲として抽出色範囲内の画素から一定％の画素を選択して抽出画素としており、上記（３）式の母数を確保して、色係数の信頼性を向上させている。
【００８７】
他の構成及び作用効果は第１の実施の形態と同様である。
【００８８】
また、本実施の形態においても、抽出色範囲内の画素であるか否かの判定結果を用いて抽出輝度範囲内の画素を判定する点、上限輝度Ｙｅｄとして輝度値として採り得る最大値を設定しない点等は第１の実施の形態と同様である。
【００８９】
図９は本発明の第３の実施の形態に採用される輝度範囲比較回路を示すブロック図である。本実施の形態は輝度範囲比較回路の判定方法が図５の第２の実施の形態と異なるのみである。本実施の形態においては、輝度範囲比較回路はヒストグラム作成回路４２及び輝度範囲判定回路４３によって構成されている。
【００９０】
上記第２の実施の形態においては、ヒストグラム作成回路３５（図６参照）は、輝度値が８ビット（０〜２５５）で表現されている場合には、２５６個のカウンタ（レジスタ）を用意し、０〜２５５の輝度の値毎に画素の数をカウントしてヒストグラムを作成する。従って、必要なカウンタ数が極めて多く回路規模が膨大となる。そこで、本実施の形態においては、輝度値の１精度毎にヒストグラムを作成するのではなく、所定の分割範囲毎にヒストグラムを作成することによって、回路規模を縮小させるようになっている。
【００９１】
例えば、採り得る輝度値（０〜２５５）を１６分割すると、０〜１５，１６〜３１，・・・・・，２４０〜２５５と１６階単位の範囲にすることができる。同様に、採り得る輝度値を８分割にすると、３２段階単位に分割することができる。分割数を小さくすると回路規模を縮小することができる反面ヒストグラムの精度が低下してしまう。例えば、８分割を行った場合には、ヒストグラム精度が悪化し、正しく８５％（Ｙｓｔ）〜９５％（Ｙｅｄ）の抽出画素を算出することがきない可能性がある。
【００９２】
ところで、輝度範囲比較回路は、抽出色範囲内の画素のうち輝度が低い方向から約８５％〜約９５％の画素を選別することを目的としている。ところが、例えばヒストグラムを１６分割する例では，最終的には低輝度側のうち例えば０〜１５，１６〜３１の範囲はヒストグラムをとってもさして重要な範囲ではない。また、同様に、抽出色範囲内の全画素のうちの上述した８５％（Ｙｓｔ）〜９５％（Ｙｅｄ）の１０％の画素が、輝度値２４０〜２５５（略真っ白）の範囲に集中することも考えにくい。もし有ったとすれば，それは適正な露出制御ができないことが考えられる。
【００９３】
これらの点を考慮して、本実施の形態におけるヒストグラム作成回路４２は、重要でない範囲はヒストグラムを作成しないことによって回路規模を縮小するようになっている。
【００９４】
ヒストグラム作成回路４２は、輝度値０〜２５５のうち、精度良く輝度ヒストグラムを作成する範囲としてヒストグラム上限の輝度値とヒストグラム下限の輝度値をレジスタに指定する。そして、抽出色範囲内の画素であってもヒストグラム下限よりも小さい輝度値の画素及びヒストグラム上限よりも大きい輝度値の画素について、レジスタに登録しない。なお、ヒストグラム上限及びヒストグラム下限の指定は、輝度値の採り得る範囲０〜２５５の１ステップ単位で指定可能である。
【００９５】
例えば、ヒストグラム作成回路４２は、ヒストグラム上限として２２０〜２４０の範囲内の例えば２３０の値を指定し，ヒストグラム下限として５０〜１００の範囲内の例えば７１の値を指定する。そして、ヒストグラム作成回路４２は、ヒストグラム下限とヒストグラム上限との間の範囲を８〜１６分割例えば１０分割する。この場合には、ヒストグラム作成回路４２は、７１〜２３０の範囲を等分に１６ステップずつ１０分割してもよく、また、明るい方を広く、暗い方を狭く分割してもよい。
【００９６】
ヒストグラム作成回路４２は、こうして指定された分割輝度毎に、抽出色範囲内の画素についてのヒストグラム作成を行う。ヒストグラム作成回路４２が作成したヒストグラムの情報は輝度範囲判定回路４３に与えられる。輝度範囲判定回路４３は、抽出率の情報が与えられており、ヒストグラム中の輝度の最高値から抽出率で示される個数の画素を選択して、選択した画素が抽出輝度範囲の画素であることを示す判定結果を出力するようになっている。
【００９７】
次に、このように構成された実施の形態における抽出輝度範囲の画素の選択方法について説明する。
【００９８】
いま、ヒストグラム作成回路４２が、輝度値として採り得る０〜２５５のうち輝度値７１〜２３０の範囲を等分に１６ステップずつ１０分割した状態で、抽出色範囲内の画素の輝度ヒストグラムを作成するものとする。また、輝度範囲判定回路４３には抽出率として２０％が指定されているものとする。
【００９９】
輝度範囲判定回路４３は、先ず、ヒストグラムに登録されている画素のうち輝度が上位のものから総画素数の２０％の個数の画素が１０分割されたヒストグラムのいずれの分割領域に属するかを検索する。いま、例えば、１０分割されたヒストグラムが下記表１によって示されるものとする。また、ヒストグラムに登録された総画素数が１０００個であるものとする。
【０１００】

輝度範囲判定回路４３はヒストグラムに登録されている総画素数（１０００個）のうち抽出率で示される上位２０％の画素を抽出画素と判定する。この場合には、１０００×２０％＝２００個の画素が選択されることになる。
【０１０１】
輝度範囲判定回路４３は、先ず、ヒストグラムに登録されている全画素数を求める。輝度範囲判定回路４３は、ヒストグラム作成回路４２によるヒストグラムの作成時に、抽出色範囲の画素数をカウントすることでヒストグラムの完成と同時に総画素数を取得することができる。そして、輝度範囲判定回路４３は総画素数×抽出率で抽出する画素数を求める。次に、輝度範囲判定回路４３は、ヒストグラムの分割された各分割領域毎に輝度値が高い領域から順に画素数を評価して２００個に到達する領域を求める。
【０１０２】
上記表１の例においては、最上位ブロックは６０個であり２００個に満たない。次ブロックの画素数を加算すると６０個＋１２０個＝１８０個である。更に、次ブロックの画素数を加算すると１８０個＋１５０個＝３３０個となり、２００個を越える。即ち、輝度の上位からの画素数が抽出率に到達した領域は輝度値が２０１〜２１０の範囲の分割領域である。そこで、輝度範囲判定回路４３は、輝度値２０１を抽出画素の下限の輝度に設定する。一方、上限はヒストグラム上限の２３０とする。そして、輝度範囲判定回路４３は、輝度下限と輝度上限、即ち、輝度値が２０１〜２３０の範囲の画素を抽出輝度範囲の画素とする判定結果を出力する。
【０１０３】
このように本実施の形態においては、抽出色範囲内の画素のうちヒストグラム上限とヒストグラム下限との間の輝度値の画素のみによってヒストグラムを作成すると共に、ヒストグラムを複数の領域に分割し、輝度値が上位の画素から抽出率で定めされた画素数の画素を分割領域毎単位で選択して、抽出画素に決定するようにしている。これにより、上記（３）式の母数として十分な数を確保すると共に、分割ステップ精度を細かくしつつ、ヒストグラムを作成する回路及び抽出画素を決定する回路の回路規模を著しく低減することが可能である。
【０１０４】
これにより、ＣＰＵを搭載していないシステムであっても、十分な色再現性を得ることを可能にしている。
【０１０５】
他の構成及び作用効果は第２の実施の形態と同様である。
【０１０６】
なお、上記第２の実施の形態においては、抽出輝度範囲は輝度値が低い方から数えて８５％目〜９５％目の画素に設定したが、第３の実施の形態においては、ヒストグラムに登録された画素のうち輝度が高い順に８０％以下〜１００％の画素に設定されている。上限を１００％に設定していても、ヒストグラム上限として輝度９５％までの範囲に制限していることから、上述した飽和の問題は回避することができる。また、逆に、ヒストグラム下限についても予め制限していることから、第２の実施の形態における画素の範囲の下限８５％を本実施の形態においては８０％にしている。
【０１０７】
なお、８０％という値は抽出率２０％を指定することが得られており、輝度範囲判定回路４３に与える抽出率を変更するだけで抽出する画素の範囲を変化させることができ、自由度が高い。また、よりステップ精度を細かくしたければ、ヒストグラムの下限を上げればよいことは明らかである。なお、第２の実施の形態における抽出輝度範囲を画素数が８５％目〜９５％目の範囲に設定している点を考慮すると、ヒストグラムの下限を相当上げても問題ないことは明らかである。
【０１０８】
図１０は本発明の第４の実施の形態に採用される画像信号処理装置のホワイトバランス処理を示す説明図である。本実施の形態は図１の画像信号処理装置と同様の構成によって実現可能である。本実施の形態は動画時のホワイトバランス処理に適用したものである。
【０１０９】
図１０における輝度ヒストグラム作成処理５１、抽出輝度範囲算出処理５２及び抽出画素位置取得処理５３は図１中のＡＷＢ用抽出画素判定処理１２に実現可能であり、抽出画素積算処理５４はＡＷＢ用画素データ蓄積処理１３によって実現可能であり、色係数算出処理５５はＡＷＢ用係数算出回路１４によって実現可能である。
【０１１０】
ところで、上記各実施の形態においては、画像中の情報から無彩色を検出し、無彩色の画素を利用して色係数を算出することで、ホワイトバランスによる色再現性を向上させる手法を説明した。しかし、動画時においては、上記各実施の形態におけるＡＷＢ用係数算出回路１４によって算出した色係数を用いて直ちにホワイトバランス処理を実行すると、画像が急激に変化して画質が劣化したように見えてしまう。そこで、本実施の形態においては、動画時には、ホワイトバランス処理に用いる色係数を、上記各実施の形態におけるＡＷＢ用係数算出回路１４によって得られる色係数の値に徐々に近づけていく収束処理を行うようになっている。
【０１１１】
１フレーム目においては、図１０の処理５１において、抽出色範囲の画素に対して輝度のヒストグラムを作成する。次に、処理５２において、作成されたヒストグラムから上限輝度Ｙｅｄ及び下限輝度Ｙｓｔを算出する。
【０１１２】
次に、２フレーム目においては、処理５３において、抽出色範囲の画素について、Ｙｓｔ＜Ｙ＜Ｙｅｄ（第２の実施の形態に適用させた場合）を満足する画素、抽出輝度範囲内の画素（抽出画素）を決定して、処理５４において、抽出画素についてΣＲ，ΣＧ，ΣＢを算出する。
【０１１３】
次いで、３フレーム目において、処理５５において、上記（３）式から色係数Ｒｃ，Ｂｃを算出する。そして、ホワイトバランス回路１１（図１参照）に色係数を与えて、マトリクス処理を実行させる。なお、色係数算出時の割算器の速度によっては、マトリクス処理は４フレーム目に実施されることも考えられる。
【０１１４】
この場合において、収束動作をさせるためには画像より算出した色係数とは別にもう１つ別の色係数を用意する。そして、画像から算出した係数を目標に収東するような係数を算出して実際に各画素に適用する色係数とする。
【０１１５】
いま、処理５５によって得られる最終的な色係数を目標色係数Ｒｃtarget，Ｂｃtargetとし、実際にホワイトバランス処理に適用する色係数を適用色係数とする。現フレームの適用色係数をＲｃcurrent，Ｂｃcurrentとし、次フレームの適用色係数をＲｃnext，Ｂｃnextとすると、次フレームの適用色係数は下記（４）式によって算出される。
【０１１６】
Ｒｃnext＝（Ｒｃtarget×ｈ＋Ｒｃcurrent）／（ｈ＋１）
Ｂｃnext＝（Ｂｃtarget×ｈ＋Ｂｃcurrent）／（ｈ＋１） （ｈ＝２ｉ−１，ｉ＝０，１，２，…） …（４）
上記（４）式においては、次フレームの適用色係数Ｒｃnext，Ｂｃnextは、係数ｈ（ｉ）の値を適宜設定することによって所望の早さで目標色係数Ｒｃtarget，Ｂｃtargetに収束する。これにより、画像のホワイトバランスはフレーム毎に次第に変化し、最終的には最適な色再現性が得られるように変化させることができる。また、収束する時間を自由に設定することができる。こうして、画像が急激に変化することを防止して、画質の劣化を防止することができる。
【０１１７】
ところで、上記各実施の形態においては、色係数の算出に用いるＲ，Ｇ，Ｂ信号としては、ホワイトバランス処理前の信号を用いた。これに対し、ホワイトバランス処理後のＲ，Ｇ，Ｂ信号を色係数の算出に用いることも考えられる。
【０１１８】
図１１はこの場合におけるホワイトバランス処理を図１０に対応させて示す説明図である。図１１において図１０と同一の処理には同一符号を付して説明を省略する。
【０１１９】
図１１中の抽出画素積算処理５４′は図１のＡＷＢ用画素データ蓄積回路１３にオートホワイトバランス回路１１からのＲ3 ，Ｇ3 ，Ｂ3 信号を与えることによって実現可能であり、図１１中の色係数算出回路５５′は、ＡＷＢ用係数算出回路１４によって実現可能である。
【０１２０】
抽出画素位置取得処理によって得た抽出画素の画面上の位置を示す位置情報は、抽出画素積算処理５４′によって色係数の算出に用いるＲ，Ｇ，Ｂ信号の取得に用いられる。抽出画素積算処理５４′においては、オートホワイトバランス処理後のＲ，Ｇ，Ｂ信号が用いられる。色係数算出処理５５′は、抽出画素積算処理５４′によって取得された色係数を用いて、色係数を算出する。
【０１２１】
図１１中の他の処理は図１０と同様である。
【０１２２】
この場合において、色係数を収束動作をさせるためには、最終的な色係数を目標色係数Ｒｃtarget，Ｂｃtargetとし、実際にホワイトバランス処理に適用する現フレームの適用色係数をＲｃcurrent，Ｂｃcurrentとし、次フレームの適用色係数をＲｃnext，Ｂｃnextとすると、下記（５）式の演算によって処理５５′は色係数を算出する。
【０１２３】
Ｒｃnext＝（Ｒｃtarget×ｈ＋Ｒｃtarget×Ｒｃcurrent）／（ｈ＋１）
Ｂｃnext＝（Ｂｃtarget×ｈ＋Ｂｃtarget×Ｂｃcurrent）／（ｈ＋１） （ｈ＝２ｉ−１，ｉ＝０，１，２，…） …（５）
この（５）式においても、次フレームの適用色係数Ｒｃnext，Ｂｃnextは、係数ｈ（ｉ）の値を適宜設定することによって所望の早さで目標色係数Ｒｃtarget，Ｂｃtargetに収束する。これにより、画像のホワイトバランスをフレーム毎に次第に変化させ、最終的には最適な色再現性が得られるように変化させることができる。こうして、図１１の例においても、画像が急激に変化することを防止して、画質の劣化を防止することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係る画像信号処理装置を示すブロック図。
【図２】 第１の実施の形態にオートホワイトバランス処理を説明するための説明図。
【図３】 第１の実施の形態にオートホワイトバランス処理を説明するための説明図。
【図４】 図１中のＡＷＢ用抽出画素判定回路１２の具体的な構成を示すブロック図。
【図５】 本発明の第２の実施の形態の画像信号処理装置において採用されるＡＷＢ用抽出画素判定回路の構成を示すブロック図。
【図６】 図５中の輝度範囲比較回路３２の具体的な構成を示すブロック図。
【図７】 横軸に輝度値Ｙをとり縦軸に画素数をとって、ヒストグラム作成回路３５が作成するヒストグラムの例を示すグラフ。
【図８】 輝度範囲判定回路３６の動作を説明するための説明図。
【図９】 本発明の第３の実施の形態に採用される輝度範囲比較回路を示すブロック図。
【図１０】 本発明の第４の実施の形態に採用される画像信号処理装置のホワイトバランス処理を示す説明図。
【図１１】 変形例におけるホワイトバランス処理を図１０に対応させて示す説明図である。
【符号の説明】
５，９，１０…マトリクス演算器、１１…オートホワイトバランス回路、１２…ＡＷＢ用抽出画素判定回路、１３…ＡＷＢ用画素データ蓄積回路、１４…ＡＷＢ用係数算出回路。

Claims (6)

1. 輝度信号及び色差信号によって表される画像を取得し、ＹＵＶ空間におけるＵＶ成分が所定の色範囲内の画素であるかどうかを判定する色範囲判定手段と、
   前記色範囲判定手段によって判定された所定の色範囲内の画素からＹＵＶ空間におけるＹ成分の分布を求める輝度分布検出手段と、
   前記Ｙ成分の分布中の所定の輝度値番目から所定数の画素を前記抽出画素として決定する輝度範囲判定手段とを備える抽出画素判定手段と、
   前記抽出画素判定手段によって抽出画素と判定された画素の前記各色成分を用いてホワイトバランス処理のための色係数を算出する色係数算出手段と、
   前記各色成分に対する前記色係数を用いてホワイトバランスを調整するホワイトバランス調整手段とを具備したことを特徴とするホワイトバランス処理装置。
2. 前記輝度分布検出手段は、所定の輝度上限値及び下限値の範囲内において輝度の分布を求めることを特徴とする請求項１に記載のオートホワイトバランス処理装置。
3. 前記色係数算出手段は、前記ホワイトバランス調整手段によるホワイトバランスの調整前の各色成分を色係数の算出に用いることを特徴とする請求項１又は２に記載のホワイトバランス処理装置。
4. 前記色係数算出手段は、前記抽出画素と判定された画素の前記各色成分を用いた前記色係数を所定期間で目標値に収束させることを特徴とする請求項１乃至３のいずれか１つに記載のホワイトバランス処理装置。
5. 輝度信号及び色差信号によって表される画像を取得し、ＹＵＶ空間におけるＵＶ成分が所定の色範囲内の画素であるかどうかを判定する色範囲判定手順と、
   前記色範囲判定手順によって判定された所定の色範囲内の画素からＹＵＶ空間におけるＹ成分の分布を求める輝度分布検出手順と、
   前記Ｙ成分の分布中の所定の輝度値番目から所定数の画素を前記抽出画素として決定する輝度範囲判定手順とを備える抽出画素判定手順と、
   前記抽出画素判定手順において抽出画素と判定された画素の前記各色成分を用いてホワイトバランス処理のための色係数を算出する色係数算出手順と、
   前記各色成分に対する前記色係数を用いてホワイトバランスを調整するホワイトバランス調整手順とを具備したことを特徴とするホワイトバランス処理方法。
6. カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換を行って輝度信号及び色差信号を得るマトリクス手段を具備し、
   前記マトリクス手段から前記輝度信号及び色差信号を用いて請求項１乃至４のいずれか１つに記載のホワイトバランス処理装置によってホワイトバランスを調整することを特徴とする画像信号処理装置。

Images