JP6815345B2 - 画像信号処理装置、画像処理回路 - Google Patents

Description

本発明の実施形態は、画像信号処理装置、画像処理回路に関する。

従来、被写体を撮像して得られた撮像画像のホワイトバランスを調整するオートホワイトバランス技術がある。撮像画像の被写体の色は、被写体を照らす光源の光に応じて変化する。オートホワイトバランス技術は、撮像画像全体の画素値に基づいて、各色成分のゲインを算出し、撮像画像の色を調整する。

オートホワイトバランス技術は、被写体が複数の光源下にあると、撮像画像全体における支配的な光源の光に基づいてホワイトバランスを調整し、他の光源の光を受けた領域のホワイトバランスを崩すことがある。

特許第４６３５８２８号公報

実施形態は、光源が複数ある場合においても、より正しく撮像画像のホワイトバランスを調整し、画質を向上させることができる、画像信号処理装置及び画像処理回路を提供することを目的とする。

実施形態の画像処理回路は、ゲイン算出部とデジタルアンプを有する。ゲイン算出部は、撮像画像の全体領域の色差平均値を所定収束点に近づける第１ゲインを算出すると共に、前記撮像画像を複数の領域に分割した分割領域の各々に対応付けられた第２ゲインであって、前記分割領域の各々の色差平均値を前記所定収束点にそれぞれ近づける第２ゲインを算出する。デジタルアンプは、前記第１ゲインに基づいて算出した第１候補画素と、前記第２ゲインに基づいて算出した第２候補画素との２つの候補画素のうちそれぞれの色差成分が前記所定収束点に近い方の一方の候補画素によって前記撮像画像の画素のホワイトバランスの補正を行い、前記第２候補画素によって前記補正を行った補正画素数が所定閾値よりも小さい前記分割領域において前記第２ゲインに前記第１ゲインをセットする。

実施形態に関わる、画像信号処理装置の構成の一例を示すブロック図である。 実施形態に関わる、画像信号処理装置のＡＷＢ部の構成の一例を示すブロック図である。 実施形態に関わる、画像信号処理装置のＡＷＢ部のＲＧＢ補間部における色補間処理の一例を説明するための図である。 実施形態に関わる、画像信号処理装置の撮像画像の分割領域の一例を説明するための図である。 実施形態に関わる、画像信号処理装置のＡＷＢ部における第１ゲイン、第２ゲイン及び補正ゲインの算出処理を説明するための説明図である。 実施形態に関わる、画像信号処理装置のＡＷＢ部における重み付けゲインの算出処理の一例を説明するための図である。 実施形態に関わる、画像信号処理装置のＡＷＢ部における第１ゲイン及び第２ゲインの算出処理の一例を示すフローチャートである。 実施形態に関わる、画像信号処理装置のＡＷＢ部における補正処理の一例を示すフローチャートである。

（実施形態）
以下、図面を参照して実施形態を説明する。

図１は、実施形態に関わる、画像信号処理装置１の構成の一例を示すブロック図である。

画像信号処理装置１は、入力部２、画像処理回路であるＡＷＢ部３、画像信号生成部４、画質調整部５、及び、出力部６を有する。

入力部２は、インターフェース回路である。入力部２は、撮像素子等の外部回路と接続され、外部回路から撮像画像Ｉが順次入力される。入力部２は、撮像画像Ｉをバッファし、ＡＷＢ部３に出力する。

ＡＷＢ部３は、ホワイトバランスを調整する回路である。ＡＷＢ部３は、入力部２から入力された撮像画像Ｉのホワイトバランスを調整し、画像信号生成部４に出力する。

画像信号生成部４は、ＲＡＷ形式からＲＧＢ形式への色補間処理、カラーマトリックス処理を行う回路である。画像信号生成部４は、ＡＷＢ部３から入力された撮像画像Ｉに色補間処理及びカラーマトリックス処理を施し、画質調整部５に出力する。

画質調整部５は、輝度及びコントラストを調整する回路である。画質調整部５は、画像信号生成部４から入力された撮像画像Ｉの輝度及びコントラストを調整し、出力部６に出力する。

出力部６は、例えば出力端子である。出力部６は、外部回路と接続され、画質調整部５から入力され、輝度及びコントラストが調整された出力画像Ｏを外部回路に出力する。

続いて、ＡＷＢ部３について、説明をする。

図２は、実施形態に関わる、画像信号処理装置１のＡＷＢ部３の構成の一例を示すブロック図である。図３は、実施形態に関わる、画像信号処理装置１のＡＷＢ部３のＲＧＢ補間部１１における色補間処理の一例を説明するための図である。図４は、実施形態に関わる、画像信号処理装置１の撮像画像Ｉの分割領域Ｌの一例を説明するための図である。図５は、実施形態に関わる、画像信号処理装置１のＡＷＢ部３における第１ゲイン、第２ゲイン及び補正ゲインの算出処理を説明するための説明図である。

図２に示すように、ＡＷＢ部３は、ＲＧＢ補間部１１、選択部２１、演算部３１、ゲイン算出部４１、記憶部５１、及び、デジタルアンプ６１を有する。

ＡＷＢ部３には、ＲＡＷ形式又はＲＧＢ形式のいずれの撮像画像Ｉが入力されてもよい。また、ＡＷＢ部３は、ＲＡＷ形式又はＲＧＢ形式のいずれの撮像画像Ｉを出力することも可能である。撮像画像Ｉの入力又は出力の形式は、予め定められる。

入力部２から撮像画像Ｉが入力されると、デジタルアンプ６１は、ゲインに基づいた演算によって撮像画像Ｉを補正して画像信号生成部４に出力する。また、補正された撮像画像Ｉは、演算部３１を介し、ゲイン算出部４１にフィードバックされる。ゲイン算出部４１は、補正された撮像画像Ｉに基づいて、次回の撮像画像Ｉの補正に使用されるゲインを算出し、デジタルアンプ６１に出力する。フィードバックの繰り返しに応じ、撮像画像Ｉは、ホワイトバランスの調整が進む。

ＲＧＢ補間部１１は、ＲＡＷ形式からＲＧＢ形式への色補間処理を行う回路である。ＲＧＢ補間部１１は、デジタルアンプ６１と接続され、デジタルアンプ６１が出力する撮像画像Ｉがフィードバックして入力される。ＲＡＷ形式の撮像画像Ｉがフィードバックされると、ＲＧＢ補間部１１は、色補間処理を行い、ＲＧＢ形式の撮像画像Ｉを選択部２１に出力する。

図３に示すように、ＲＡＷ形式の撮像画像Ｉでは、赤色画素Ｒ、緑色画素Ｇ、青色画素Ｂの画素値が２行２列のベイヤー構造によって配列される。一例として、青色画素Ｂ２２において、ＲＧＢ補間部１１は、青色画素Ｂ２２の上下左右方向に、隣り合うように配置される、緑色画素Ｇ１２、Ｇ２１、Ｇ２３、Ｇ３２の平均値を算出して緑色平均値を算出する。また、ＲＧＢ補間部１１は、青色画素Ｂ２２の斜め方向に、隣り合うように配置される、赤色画素Ｒ１１、Ｒ１３、Ｒ３１、Ｒ３３の平均値を算出して赤色平均値を算出する。続いて、ＲＧＢ補間部１１は、赤色平均値及び緑色平均値を補間して青色画素Ｂ２２におけるＲＧＢ形式のデータを生成する。なお、色補間処理は、この処理に限定されるものではなく、ＲＡＷ形式をＲＧＢ形式に変換する他の処理であってもよい。また、ＲＧＢ補間部１１における色補完処理は、画像信号生成部４における色補完処理よりも、簡単な処理でよい。

選択部２１は、例えばマルチプレクサ回路によって構成される。選択部２１は、入力側がＲＧＢ補間部１１及びデジタルアンプ６１と接続され、出力側が演算部３１と接続される。デジタルアンプ６１からＲＡＷ形式の撮像画像Ｉが入力されると、選択部２１は、ＲＧＢ補間部１１から入力された撮像画像Ｉを演算部３１に出力する。一方、デジタルアンプ６１からＲＧＢ形式の撮像画像Ｉが入力されると、デジタルアンプ６１から入力された撮像画像Ｉを演算部３１に出力する。

演算部３１は、選択部２１から入力された撮像画像Ｉに基づいて、所定の演算によって色差成分の平均値である青色の色差平均値Ｕ及び赤色の色差平均値Ｖを算出する回路である。演算部３１は、ゲイン算出部４１と接続され、赤色の色差平均値Ｖ及び青色の色差平均値Ｕをゲイン算出部４１に出力する。

所定の演算では、演算部３１は、撮像画像Ｉの全体の領域である全体領域Ｇの画素を、所定のＹＵＶ変換処理によってＲＧＢ形式からＹＵＶ形式に変換する。続いて、演算部３１は、ＹＵＶ形式の画素に含まれる赤色の色差成分を合計し、赤色の色差成分の合計を全体領域Ｇの画素数によって除算し、赤色の色差平均値Ｖを算出する。例えば、図４には、ｗ×ｈの画素を有する撮像画像Ｉの例が示される。図４において、演算部３１は、赤色の色差成分の合計をｗ×ｈによって除算し、赤色の色差平均値Ｖを算出する。また、演算部３１は、青色の色差成分の合計を全体領域Ｇの画素数によって除算し、青色の色差平均値Ｕを算出する。

また、所定の演算では、演算部３１は、全体領域Ｇを複数に分割した分割領域Ｌの各々についても、赤色の色差平均値Ｖ及び青色の色差平均値Ｕを算出する。分割領域Ｌの分割数及び分割領域Ｌの各々のサイズは、より正しくホワイトバランスが調整されるように、経験的又は実験的に調整され、予め設定される。図４の例では、撮像画像Ｉは、分割領域Ｌ１１〜Ｌｍｎに分割される。以下、分割領域Ｌ１１〜Ｌｍｎの全て又は一部を示すとき、分割領域Ｌという。

分割領域Ｌの各々における、赤色の色差平均値Ｖ及び青色の色差平均値Ｕの算出処理は、算出の対象となる領域を除き、全体領域Ｇにおける算出処理と同じであるため、説明を省略する。

ゲイン算出部４１は、第１ゲインと第２ゲインを算出して出力する回路である。ゲイン算出部４１は、記憶部５１及びデジタルアンプ６１と接続され、演算部３１から入力された、全体領域Ｇの赤色の色差平均値Ｖ及び青色の色差平均値Ｕと、分割領域Ｌの各々に対応付けられた赤色の色差平均値Ｖ及び青色の色差平均値Ｕと、記憶部５１から読み込んだ補正ゲインとに基づいて、第１ゲイン及び第２ゲインを算出してデジタルアンプ６１に出力する。

すなわち、ゲイン算出部４１は、デジタルアンプ６１からフィードバックされた撮像画像Ｉに基づいて、第１ゲインと第２ゲインを算出する。

第１ゲインは、全体領域Ｇの色差平均値を所定収束点に近づける画素の補正係数を有する。所定収束点は、より正しくホワイトバランスが調整されるように、予めパラメータによって設定される。所定収束点は、例えば、青色及び赤色の色差成分の各々が０の点であるが、これに限定されない。

第２ゲインは、分割領域Ｌの各々に対応付けられ、分割領域Ｌの各々の色差平均値を所定収束点に近づける画素の補正係数を有する。

補正ゲインは、撮像画像Ｉの画素の各々に対応付けられ、画素の各々の補正に用いられる。

第１ゲイン、第２ゲイン及び補正ゲインの各々は、赤色を補正する赤色ゲイン、緑色を補正する緑色ゲイン、及び、青色を補正する青色ゲインを有する。

図５では、Ｕ軸が赤色の色差成分を示し、Ｖ軸が青色の色差成分を示す。ゲイン算出部４１は、赤色の色差平均値Ｖ及び青色の色差平均値Ｕを所定収束点に近づけるように、第１ゲインを算出する。

例えば、図５では、赤色の色差平均値Ｖが正の値、かつ青色の色差平均値Ｕが負の値である対象画素Ｐが示される。ゲイン算出部４１は、記憶部５１から補正ゲインを読み込み、対象画素Ｐの赤色の色差平均値Ｖ及び青色の色差平均値Ｕが所定収束点に近づくように、０より大きくかつ１より小さい第１所定係数を補正ゲインに含まれる青色ゲインに乗算し、また、１より大きい第２所定係数を赤色ゲインに乗算することによって第１ゲインを算出する（図５の矢印）。

第１所定係数及び第２所定係数は、より正しくホワイトバランスが調整されるように、経験的又は実験的に調整され、予め設定される。

ゲイン算出部４１は、分割領域Ｌの各々に基づいて、第２ゲインも算出する。第２ゲインの算出処理は、算出の対象となる領域を除き、第１ゲインの算出処理と同じであるため、説明を省略する。

すなわち、ゲイン算出部４１は、撮像画像Ｉの全体領域Ｇの色差平均値を所定収束点に近づける第１ゲインを算出し、撮像画像Ｉを複数の領域に分割した分割領域Ｌの各々に対応付けられ、分割領域Ｌの各々の色差平均値を所定収束点に近づける第２ゲインを算出する。

また、ゲイン算出部４１は、全体領域Ｇ及び分割領域Ｌの色差平均値を算出し、色差平均値が正の値であるとき、０より大きくかつ１より小さく設定された第１所定係数を補正ゲインに乗算することによって第１ゲイン及び第２ゲインを算出し、色差平均値が負の値であるとき、１より大きく設定された第２所定係数を補正ゲインに乗算することによって第１ゲイン及び第２ゲインを算出する。

記憶部５１は、読み書き可能なメモリによって構成される。記憶部５１は、ゲイン算出部４１及びデジタルアンプ６１に接続される。

記憶部５１は、デジタルアンプ６１から入力された、分割領域Ｌの各々に対応付けられた第２ゲインを記憶可能である。

また、記憶部５１は、デジタルアンプ６１から入力された、画素の各々に対応付けられた補正ゲインも記憶可能である。

また、記憶部５１は、分割領域Ｌの各々において、重み付けゲインによって補正を行った補正画素数も記憶する。

図６は、実施形態に関わる、画像信号処理装置１のＡＷＢ部３における重み付けゲインの算出処理の一例を説明するための図である。

デジタルアンプ６１は、入力部２及び画像信号生成部４に接続され、ゲイン算出部４１から入力された第１ゲイン及び第２ゲインに基づいて、入力部２から入力された撮像画像Ｉのホワイトバランスの調整を行い、画像信号生成部４に出力する回路である。

より具体的には、デジタルアンプ６１は、分割領域Ｌの各々について、所定条件の下、第２ゲインに第１ゲインの値をセットする。

所定条件は、より正しくホワイトバランスが調整されるように、経験的又は実験的に調整され、予め設定される。

所定条件は、例えば、分割領域Ｌの各々において、重み付けゲインによって補正を行った補正画素数が所定閾値よりも小さい、条件である。

なお、所定条件は、例えば、分割領域Ｌの各々において、重み付けゲインによって補正を行った補正画素数よりも、第１ゲインによって補正を行った画素の数の方が大きい、条件であってもよい。

また、所定条件は、例えば、光源の所定の変化の検出であってもよい。光源の所定の変化は、例えば、撮像画像Ｉの所定領域における各色の画素値の互いの大小関係の変化である。より具体的には、光源の所定の変化は、赤色＞緑色＞青色の大小関係から、緑色＞赤色＞青色の大小関係への変化等、画素の平均値の大小関係の変化であってもよい。デジタルアンプ６１は、光源の所定の変化を検出すると、全ての分割領域Ｌの第２ゲインに第１ゲインをセットする。

続いて、デジタルアンプ６１は、重み付けゲインを算出する。重み付けゲインは、撮像画像Ｉにおける画素の各々について算出される。デジタルアンプ６１は、所定の中心画素決定処理によって分割領域Ｌの各々の中心に位置する複数の第１中心画素を決定する。デジタルアンプ６１は、複数の第１中心画素の中から、所定の検出処理によって算出対象画素と隣り合う第２中心画素を検出する。デジタルアンプ６１は、算出対象画素と第２中心画素間の距離に応じ、第２中心画素が属する分割領域Ｌに対応付けられた第２ゲインを重み付けし、赤色、緑色、青色の各々の重み付けゲインを算出する。

図６の例では、デジタルアンプ６１は、算出対象画素（ｘ，ｙ）と隣り合う、第２中心画素（Ｘ１，Ｙ１）、（Ｘ２，Ｙ１）、（Ｘ１，Ｙ２）、（Ｘ２，Ｙ２）を決定する。第２中心画素（Ｘ１，Ｙ１）が分割領域Ｌ１１、第２中心画素（Ｘ２，Ｙ１）が分割領域Ｌ１２、第２中心画素（Ｘ１，Ｙ２）が分割領域Ｌ２１、及び、第２中心画素（Ｘ２，Ｙ２）が分割領域Ｌ２２に属する。続いて、デジタルアンプ６１は、数式（１）に示す演算によって第２ゲインを重み付けし、重み付けゲインを算出する。

数式（１）において、Ｘは、重み付けゲインである。Ｇａｉｎは、分割領域Ｌに対応付けられた第２ゲインの値を示す。例えば、ＧａｉｎＬ１１であれば、分割領域Ｌ１１に対応付けられた第２ゲインの値を示す。ｘＲが算出対象画素よりも右方の第２中心画素のｘ座標を示し、ｘＬが算出対象画素よりも左方の第２中心画素のｘ座標を示し、ｙＤが算出対象画素よりも下方の第２中心画素のｙ座標を示し、ｙＵが算出対象画素よりも上方の第２中心画素のｙ座標を示す。
X=(GainL11*(xR-x)*(yD-y)+GainL12*(x-xL)*(yD-y)
+GainL21*(xR-x)*(y-yU)+GainL22*(x-xL)*(y-yU))/((xR-xL)*(yD-yU))
=(GainL11*(X2-x)*(Y2-y)+GainL12*(x-X1)*(Y2-y)
+GainL21*(X2-x)*(y-Y1)+GainL22*(x-X1)*(y-Y1))/((X2-X1)*(Y2-Y1)) ・・・(1)

算出対象画素（ｘ１，ｙ１）が、例えば、Ｘ１よりも左方、Ｘｎよりも右方、Ｙ１よりも上方、又は、Ｙｍよりも下方等、撮像画像Ｉの周縁部にあるとき、周縁部に位置する分割領域Ｌをミラーリングし、算出対象画素と隣り合う第２中心画素を仮想的に設けてもよい。例えば、図６の例では、Ｘ１よりも左方、かつＹ１とＹ２の間にある算出対象画素（ｘ１，ｙ１）について、左側縁がミラー中心となるように分割領域Ｌ１１、Ａ２１をミラーリングし、算出対象画素（ｘ１，ｙ１）よりも左方に仮想的な分割領域Ｌを設けてもよい。

続いて、デジタルアンプ６１は、第１ゲインを算出対象画素に乗算し、第１ゲインに基づく第１候補画素Ｃ１を算出する（図５）。デジタルアンプ６１は、重み付けゲインを算出対象画素に乗算し、第２候補画素Ｃ２も算出する。第１候補画素Ｃ１及び第２候補画素Ｃ２に所定のＹＵＶ変換処理を行い、第１ゲインに基づくＹＵＶ画素値（ｇＹ，ｇＵ，ｇＶ）及び重み付けゲインに基づくＹＵＶ画素値（ｌＹ，ｌＵ，ｌＶ）を算出する。デジタルアンプ６１は、ＹＵＶ画素値を輝度成分によって正規化し、第１ゲインに基づく色差成分（ｇＵ／ｇＹ，ｇＶ／ｇＹ）及び重み付けゲインに基づく色差成分（ｌＵ／ｌＹ，ｌＶ／ｌＹ）を算出する。

デジタルアンプ６１は、色差成分（ｇＵ／ｇＹ，ｇＶ／ｇＹ）、（ｌＵ／ｌＹ，ｌＶ／ｌＹ）によって第１候補画素Ｃ１と第２候補画素Ｃ２のいずれの色差成分が所定収束点に近いかを判定する。第２候補画素Ｃ２の色差成分よりも第１候補画素Ｃ１の色差成分の方が所定収束点に近いとき、デジタルアンプ６１は、第１ゲインを補正に用いる補正ゲインに決定する。一方、第１候補画素Ｃ１の色差成分よりも第２候補画素Ｃ２の色差成分の方が所定収束点に近いとき、デジタルアンプ６１は、重み付けゲインを補正ゲインに決定する。

例えば、図５では、第１候補画素Ｃ１（ｇＵ／ｇＹ，ｇＶ／ｇＹ）が、第２候補画素Ｃ２（ｌＵ／ｌＹ，ｌＶ／ｌＹ）よりも所定収束点に近く、デジタルアンプ６１は、第１ゲインを補正ゲインに決定する。

デジタルアンプ６１は、補正ゲインによって入力部２から入力された撮像画像Ｉを補正し、画像信号生成部４に出力する。デジタルアンプ６１は、補正ゲインを記憶部５１に出力して記憶部５１に記憶させる。

すなわち、デジタルアンプ６１は、第２ゲインに画素の位置に応じた重み付けを行うことによって第２候補画素Ｃ２を算出する。

また、デジタルアンプ６１は、分割領域Ｌの各々の中心に位置する第１中心画素の中から、画素と隣り合う第２中心画素を決定し、第２ゲインに画素と第２中心画素間の距離に応じた重み付けを行うことによって第２候補画素Ｃ２を算出する。

また、デジタルアンプ６１は、記憶部５１から読み出した補正画素数が所定閾値よりも小さいとき、分割領域Ｌに対応付けられた第２ゲインに第１ゲインをセットし、第２候補画素Ｃ２を算出する。

また、デジタルアンプ６１は、第１ゲインに基づいて算出した第１候補画素Ｃ１と、第２ゲインに基づいて算出した第２候補画素Ｃ２とのいずれか色差成分が所定収束点に近い方によって撮像画像Ｉの画素のホワイトバランスの補正を行い、第２候補画素Ｃ２によって補正を行った補正画素数が所定閾値よりも小さい分割領域Ｌにおいて第２ゲインに第１ゲインをセットする。

（作用）
次に、実施形態に係る画像信号処理装置１の作用について説明をする。

図７は、実施形態に関わる、画像信号処理装置１のＡＷＢ部３における第１ゲイン及び第２ゲインの算出処理の一例を示すフローチャートである。

Ｓ１１〜Ｓ１２の処理は、撮像画像Ｉの画素の各々について実行される。

ＲＧＢ形式の撮像画像Ｉが入力されていないとき（Ｓ１１：ＮＯ）、ＲＧＢ補間部１１は、色補間処理を行う（Ｓ１１ａ）。選択部２１は、色補間処理した撮像画像Ｉを演算部３１に出力する。一方、ＲＧＢ形式の撮像画像Ｉが入力されているとき（Ｓ１１：ＹＥＳ）、選択部２１は、デジタルアンプ６１のフィードバックする画素値を演算部３１に出力する。

演算部３１は、画素値を積算する（Ｓ１２）。演算部３１は、撮像画像Ｉを所定のＹＵＶ変換処理によってＲＧＢ形式からＹＵＶ形式に変換する。演算部３１は、全体領域Ｇにおける合計を出力できるように画素値を積算する。演算部３１は、全画素の処理が終了したか否かを判定する（Ｓ１３）。全画素の積算が終了していないとき、処理は、Ｓ１１に戻る（Ｓ１３：ＮＯ）。一方、全画素の積算が終了すると（Ｓ１３：ＹＥＳ）、処理は、Ｓ１４に進む。

演算部３１は、第１ゲインを算出する（Ｓ１４）。演算部３１は、全体領域Ｇの赤色の色差平均値Ｖと青色の色差平均値Ｕを算出する。演算部３１は、記憶部５１から補正ゲインを読み込み、補正ゲイン、赤色の色差平均値Ｖ及び青色の平均色成分に基づいて、第１ゲインを算出する。

Ｓ１５〜Ｓ１７の処理は、分割領域Ｌの各々について実行される。

デジタルアンプ６１は、光源の所定の変化を検出していないか否かを判定する（Ｓ１５）。光源の所定の変化を検出していないとき（Ｓ１５：ＹＥＳ）、処理は、Ｓ１６に進む。一方、光源の所定の変化を検出しているとき（Ｓ１５：ＮＯ）、処理は、Ｓ１７に進む。

デジタルアンプ６１は、カウンタが所定閾値未満であるか否かを判定する（Ｓ１６）。重み付けゲインによって補正した画素の数を示すカウンタが所定閾値未満であるとき（Ｓ１６：ＹＥＳ）、処理は、Ｓ１７に進む。一方、カウンタが所定閾値以上でるとき、（Ｓ１６：ＮＯ）、処理はＳ１８に進む。

デジタルアンプ６１は、第２ゲインに第１ゲインをセットする（Ｓ１７）。

デジタルアンプ６１は、全分割領域Ｌの処理が終了したか否かを判定する（Ｓ１８）。全分割領域Ｌの処理が終了していないとき（Ｓ１８：ＮＯ）、処理は、Ｓ１５に戻る。全分割領域Ｌの処理が終了すると（Ｓ１８：ＹＥＳ）、処理は、終了する。

続いて、ＡＷＢ部３における補正処理について、説明をする。

図８は、実施形態に関わる、画像信号処理装置１のＡＷＢ部３における補正処理の一例を示すフローチャートである。

Ｓ２１〜Ｓ２８の処理は、撮像画像Ｉの画素の各々について実行される。

デジタルアンプ６１は、画素に第１ゲインを乗算して第１候補画素Ｃ１を算出する（Ｓ２１）。Ｓ２１の後、処理は、Ｓ２４に進む。

デジタルアンプ６１は、第２ゲインに基づいて、重み付けゲインを算出する（Ｓ２２）。

デジタルアンプ６１は、画素に重み付けゲインを乗算して第２候補画素Ｃ２を算出する（Ｓ２３）。図８の例では、Ｓ２１と、Ｓ２２及びＳ２３とは、並列的に実行されるが、直列的に実行されてもよい。

デジタルアンプ６１は、第１候補画素Ｃ１と第２候補画素Ｃ２が同じか否か、又は、第１候補画素Ｃ１の方が色差成分が所定収束点に近いか否かを判定する（Ｓ２４）。デジタルアンプ６１は、第１候補画素Ｃ１及び第２候補画素Ｃ２の各々をＹＵＶ変換し、互いの色差成分を比較する。第２候補画素Ｃ２よりも第１候補画素Ｃ１の色差成分が所定収束点に近いとき（Ｓ２４：ＹＥＳ）、処理は、Ｓ２５に進む。一方、第１候補画素Ｃ１よりも第２候補画素Ｃ２の色差成分が所定収束点に近いとき（Ｓ２４：ＮＯ）、処理は、Ｓ２６に進む。

デジタルアンプ６１は、第１ゲインによって画素を補正する（Ｓ２５）。デジタルアンプ６１は、補正ゲインを第１ゲインに決定する。デジタルアンプ６１は、入力部２から入力された撮像画像Ｉの画素を補正ゲインによって補正する。Ｓ２５の後、処理は、Ｓ２８に進む。

デジタルアンプ６１は、重み付けゲインによって撮像画像Ｉを補正する（Ｓ２６）。デジタルアンプ６１は、補正ゲインを重み付けゲインに決定する。デジタルアンプ６１は、入力部２から入力された撮像画像Ｉを補正ゲインによって補正する。デジタルアンプ６１は、分割領域Ｌに対応付けられたカウンタを１つ加算する（Ｓ２７）。

全画素の処理が終了したか否かを判定する（Ｓ２８）。全画素の処理が終了していないとき（Ｓ２８：ＮＯ）、処理は、Ｓ２１及びＳ２２に戻る。一方、全画素の処理が終了しているとき（Ｓ２８：ＹＥＳ）、処理は、終了する。

これにより、起動を開始した直後には、重み付けゲインによる画素の補正がされていないため、デジタルアンプ６１は、Ｓ１１〜Ｓ１４の処理を終えた後、光源の変化がないと判定し（Ｓ１５：ＹＥＳ）、全ての分割領域Ｌにおいて、カウンタが所定閾値未満であると判定し（Ｓ１６：ＹＥＳ）、第２ゲインに第１ゲインをセットするため（Ｓ１７）、第１ゲインと第２ゲインの値は同じである。第１ゲインと、第２ゲインを重み付けして算出した重み付けゲインの結果は同じであり、Ｓ２１によって算出する第１候補画素とＳ２２及びＳ２３によって算出する第２候補画素の色差成分も同じである。ＡＷＢ部３は、第１ゲインによって画素を補正する（Ｓ２４：ＹＥＳ、Ｓ２５）。

フィードバックが繰り返されると、ＡＷＢ部３は、第１ゲインを乗算した第１候補画素（Ｓ２１）と、重み付けゲインを乗算した第２候補画素（Ｓ２２、Ｓ２３）のうち、いずれか色差成分が所定収束点に近づく方を補正ゲインに決定して撮像画像Ｉを補正する（Ｓ２４：ＮＯ）。したがって、複数の光源下にある被写体等、第１ゲインによってホワイトバランスを崩す一部領域が生じるようなとき、ＡＷＢ部３は、重み付けゲインによって一部領域のホワイトバランスをより正しく調整することができる。

ＡＷＢ部３は、重み付けゲインによって補正をした画素の数をカウントする（Ｓ２７）。カウンタが所定閾値以上であると判定された分割領域Ｌは、光源の変化が検出されるまで、第２ゲインが、第１ゲインに書き換えられない（Ｓ１６：ＮＯ）。

ＡＷＢ部３が光源の変化を検出すると（Ｓ１５）、分割領域Ｌの各々に対応付けられた第２ゲインに第１ゲインがセットされる。したがって、光源の変化を検出した直後には、上述の起動の開始の直後と同様に、ＡＷＢ部３は、第１ゲインによって撮像画像Ｉを補正する。フィードバックの繰り返しに応じ、ＡＷＢ部３は、ホワイトバランスの調整を進める。

実施形態によれば、画像信号処理装置１は、光源が複数ある場合においても、より正しく撮像画像Ｉのホワイトバランスを調整し、画質を向上させることができる。

なお、実施形態では、演算部３１は、デジタルアンプ６１からフィードバックされたＲＧＢ形式の撮像画像ＩをＹＵＶ形式に変換し、赤色の色差平均値Ｖ及び青色の色差平均値Ｕを算出するが、デジタルアンプ６１において生成されたＹＵＶ画素値（ｇＹ，ｇＵ，ｇＶ）及びＹＵＶ画素値（ｌＹ，ｌＵ，ｌＶ）のうち無彩色に近い方を直接入力し、赤色の色差平均値Ｖ及び青色の色差平均値Ｕを生成するように構成してもよい。

なお、第１ゲインは、色差成分が所定範囲内の画素に基づいて算出されてもよい。これにより、ＡＷＢ部３は、彩度の高い被写体をゲインの算出対象から除外することができる。

なお、実施形態では、ＡＷＢ部３の入出力形式がＲＧＢ形式又はＲＡＷ形式である例を説明したが、これに限定されず、他の形式の画像データであってもよい。

本発明の実施形態を説明したが、これらの実施形態は、例として示したものであり、本発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 画像信号処理装置
２ 入力部
３ ＡＷＢ部
４ 画像信号生成部
５ 画質調整部
６ 出力部
１１ ＲＧＢ補間部
２１ 選択部
３１ 演算部
４１ ゲイン算出部
５１ 記憶部
６１ デジタルアンプ
Ｃ１ 第１候補画素
Ｃ２ 第２候補画素
Ｇ 全体領域
Ｉ 撮像画像
Ｌ 分割領域
Ｐ 対象画素
Ｕ 青色の色差平均値
Ｖ 赤色の色差平均値

Claims (9)

1. 撮像画像のホワイトバランスを調整するように構成された画像処理回路において、
   前記撮像画像の全体領域の色差平均値を所定収束点に近づける第１ゲインを算出すると共に、前記撮像画像を複数の領域に分割した分割領域の各々に対応付けられた第２ゲインであって、前記分割領域の各々の色差平均値を前記所定収束点にそれぞれ近づける第２ゲインを算出する、ゲイン算出部と、
   前記第１ゲインに基づいて算出した第１候補画素と、前記第２ゲインに基づいて算出した第２候補画素との２つの候補画素のうちそれぞれの色差成分が前記所定収束点に近い方の一方の候補画素によって前記撮像画像の画素のホワイトバランスの補正を行い、前記第２候補画素によって前記補正を行った補正画素数が所定閾値よりも小さい前記分割領域において前記第２ゲインに前記第１ゲインをセットする、デジタルアンプと、
   を有する、画像処理回路。
2. 前記デジタルアンプは、前記第２ゲインに前記画素の位置に応じた重み付けを行うことによって前記第２候補画素を算出する、請求項１に記載の画像処理回路。
3. 前記デジタルアンプは、前記分割領域の各々の中心に位置する第１中心画素の中から、前記画素と隣り合う第２中心画素を決定し、前記第２ゲインに前記画素と前記第２中心画素間の距離に応じた重み付けを行うことによって前記第２候補画素を算出する、請求項１に記載の画像処理回路。
4. 前記デジタルアンプは、光源の所定の変化を検出すると、前記分割領域の第２ゲインに前記第１ゲインをセットする、請求項１に記載の画像処理回路。
5. 記憶部を有し、
   前記記憶部は、前記分割領域の各々に対応付けられた前記補正画素数を記憶し、
   前記デジタルアンプは、前記記憶部から読み出した前記補正画素数が所定閾値よりも小さいとき、前記分割領域に対応付けられた前記第２ゲインに前記第１ゲインをセットし、前記第２候補画素を算出する、
   請求項１に記載の画像処理回路。
6. 前記ゲイン算出部は、前記デジタルアンプからフィードバックされた前記撮像画像に基づいて、前記第１ゲインと前記第２ゲインを算出する、請求項１に記載の画像処理回路。
7. 前記ゲイン算出部は、前記全体領域及び前記分割領域の前記色差平均値を算出し、
   前記色差平均値が正の値であるとき、０より大きくかつ１より小さく設定された第１所定係数を補正ゲインに乗算することによって前記第１ゲイン及び前記第２ゲインを算出し、
   前記色差平均値が負の値であるとき、１より大きく設定された第２所定係数を前記補正ゲインに乗算することによって前記第１ゲイン及び前記第２ゲインを算出する、
   請求項１に記載の画像処理回路。
8. 前記所定収束点は、青色及び赤色の前記色差成分の各々が０の点である、請求項１に記載の画像処理回路。
9. 請求項１に記載の画像処理回路と、
   撮像画像を入力して前記画像処理回路に与える入力部と、
   前記画像処理回路によって前記ホワイトバランスが調整された前記撮像画像に、色補間処理及びカラーマトリックス処理を施す画像信号生成部と、
   前記画像信号生成部から入力された前記撮像画像の輝度及びコントラストを調整する、画質調整部と、
   前記輝度及びコントラストが調整された出力画像を出力する出力部と、
   を有する、画像信号処理装置。

Images