JP4539432B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、カラー画像信号を処理する画像処理装置、およびこの機能を備えた撮像装置に関し、特に、ＸＹアドレス走査型の固体撮像素子により撮像されたカラー画像信号に対する処理に適した画像処理装置および撮像装置に関する。

近年、デジタルスチルカメラやデジタルビデオカメラなど、固体撮像素子を用いて画像を撮像して保存できる撮像装置が広く普及している。このような撮像装置に用いる撮像素子としては、ＣＣＤ（Charge Coupled Device）型イメージセンサが最も一般的であったが、近年では、撮像素子の一層の多画素化が進むのに従って、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサが注目されている。ＣＭＯＳ型イメージセンサは、画素信号のランダムアクセスが可能である点や、ＣＣＤ型イメージセンサと比較して読み出しが高速で、高感度、低消費電力といった特徴がある。

また、上記のような撮像装置の多くは、撮影光源に応じて適切なホワイトバランス制御値を自動的に決定するオートホワイトバランス機能を備えている。撮像光源の推定は撮像信号を基に行われることが多いが、その推定の一般的な手法としては、撮影シーンに存在する被写体の分光反射率が平均的にはフラットに近いというグレーワールドと呼ばれる仮定に基づき、高輝度部や中輝度部のサンプリング平均などから推定する手法がある。しかし、被写体によってはこの仮定が成り立たないため、適当な制御結果が得られないことも多い。

例えば、蛍光灯下で緑の応答が相対的に高くなるような分光感度特性を持つＲＧＢカラー撮像素子を用いた場合、蛍光灯下ではＲおよびＢの利得に対するＧの利得の比率を自然光の場合より下げることが望ましい。しかし、光源が蛍光灯でない場合にも、被写体側の色が緑方向に偏っていれば、被写体から反射して撮像される光も緑方向に偏るため、光源が蛍光灯下であることとの区別を推定することが難しく、結果的に適切なホワイトバランスが得られない。このような場合に蛍光灯であるかどうかが既知であれば、撮像素子の特性を加味してホワイトバランスの制御結果を改善できるため、光源が蛍光灯であるか否かを正確に自動判断できることが望まれている。

また、撮影光源を推定する別の手法として、あらかじめ複数の光源を仮定しておき、制御時には各光源の正当性を比較検出することで推定を行い、撮影光源に適した制御パラメータをプリセット値から選択・補間する手法があった（例えば、特許文献１参照）。このような手法では、仮定する光源に蛍光灯を含めなければ蛍光灯下では適切なホワイトバランスが得られないし、蛍光灯を含めていた場合でも、撮影光源が蛍光灯ではないにもかかわらず比較検出時に蛍光灯であると誤判断される可能性があった。

さらに、上記の撮像装置では、撮像された色信号を、表示装置で適切な再現色が観察されるように、マトリクス変換などで補正する処理が行われる場合があった。この処理でのマトリクス係数は撮影光源によって適正値が異なり、特に蛍光灯のように演色性が自然光とは異なる人工光源では、自然光と同じパラメータでは十分に色再現の精度が得られない場合がある。従って、このような色再現パラメータの制御においても蛍光灯が正確に識別できることが重要であった。

撮像信号から蛍光灯光源を判別する従来の技術としては、例えば、蛍光灯の分光分布特性に基づいて判別するために、専用の外部センサを設ける、あるいは撮像素子上や光学系に専用のバンドパス特性を持つカラーフィルタを設けるといった、製造コストや装置の外形の増大を招くものが多かった。一方、蛍光灯の点滅により発生する撮像画像上のフリッカを低減する技術を利用して、フリッカの検出結果を基に撮影光源が蛍光灯か否かを判別する技術も考えられていた。
特開２００４−１６５９３２号公報（段落番号〔００３４〕〜〔００７３〕、図４）

しかし、従来のフリッカ検出技術は、ＣＣＤなど、撮像素子上の全面の露光タイミングが一致することを前提としたものが多く、このような技術は、ＣＭＯＳ型撮像素子などのＸＹアドレス走査型の撮像素子を用いた場合には適用できなかった。

本発明はこのような点に鑑みてなされたものであり、ＸＹアドレス走査型の固体撮像素子により撮像された画像の色信号を適切に制御して品質の高い画像が得られる画像処理装置を提供することを目的とする。

また、本発明の他の目的は、ＸＹアドレス走査型の固体撮像素子により撮像された画像の色信号を適切に制御して品質の高い画像が得られる撮像装置を提供することである。

本発明では上記課題を解決するために、カラー画像信号を処理する画像処理装置において、前記カラー画像信号の各色信号または前記カラー画像信号から得られる輝度信号の少なくとも一方を１水平周期以上の時間にわたって積分する積分手段と、前記積分手段による積分値、または、隣接するフィールドまたはフレームに対応する前記積分手段による積分値の差分値を、正規化する正規化手段と、前記正規化手段の出力値のスペクトルを抽出する周波数解析手段と、前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ成分推定手段と、前記フリッカ成分推定手段の推定結果を基に、撮影光源が蛍光灯と推定される度合いを示す多段階のパラメータである指標を算出する指標生成手段と、光源が蛍光灯か否かによってそれぞれ適したカラーバランスの制御値をそれぞれ複数分だけあらかじめ保持し、保持された制御値の中から蛍光灯に適した制御値と蛍光灯以外の光源に適した制御値とを選択し、選択した２つの制御値の間を前記指標に応じて重み付けした係数に基づいて補完することで、前記カラー画像信号のカラーバランスの制御値を算出するカラーバランス制御手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、積分手段により、カラー画像信号の各色信号またはそのカラー画像信号から得られる輝度信号の少なくとも一方が１水平周期以上の時間にわたって積分され、その積分値、または、隣接するフィールドまたはフレームに対応する積分手段による積分値の差分値が、正規化手段により正規化され、周波数解析手段により、正規化手段の出力値のスペクトルが抽出され、抽出されたスペクトルからフリッカ成分推定手段によりフリッカ成分が推定される。これにより、蛍光灯下でＸＹアドレス走査型の固体撮像素子により撮像された画像信号に生じるフリッカ成分が推定される。

さらに、フリッカ成分の推定結果を基に、撮影光源が蛍光灯と推定される度合いを示す指標が指標生成手段により算出され、算出された指標に応じて、カラーバランス制御手段により、カラー画像信号のカラーバランスの制御値が算出される。カラーバランス制御手段は、光源が蛍光灯か否かによってそれぞれ適したカラーバランスの制御値をそれぞれ複数分だけあらかじめ保持し、保持された制御値の中から蛍光灯に適した制御値と蛍光灯以外の光源に適した制御値とを選択する。そして、選択した２つの制御値の間を指標に応じて重み付けした係数に基づいて補完することで、カラー画像信号のカラーバランスの制御値を算出する。

本発明の画像処理装置によれば、蛍光灯下でＸＹアドレス走査型の固体撮像素子により撮像された画像信号に生じるフリッカ成分を正確に推定でき、その推定結果を基にカラーバランスの制御値を算出するので、撮影光源に応じてカラーバランスを適切に制御でき、品質の高い画像を得ることができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
＜システム構成＞
図１は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。

図１に示す撮像装置は、光学ブロック１１、ドライバ１１ａ、ＣＭＯＳ型イメージセンサ（以下、ＣＭＯＳセンサと略称する）１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログフロントエンド（ＡＦＥ）回路１３、カメラ処理回路１４、およびシステムコントローラ１５を具備する。

光学ブロック１１は、被写体からの光をＣＭＯＳセンサ１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、システムコントローラ１５からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。

ＣＭＯＳセンサ１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などからなる複数の画素が２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路、画像信号の出力回路などが形成されたものである。このＣＭＯＳセンサ１２は、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、制御部１６の制御の下でタイミング信号を出力する。

なお、この実施の形態では、ＣＭＯＳセンサ１２から得られるアナログ画像信号はＲＧＢ各色の原色信号であるが、補色系の色信号などでもよい。
ＡＦＥ回路１３は、例えば１つのＩＣ（Integrated Circuit）として構成され、ＣＭＯＳセンサ１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。なお、ＣＤＳ処理を行う回路は、ＣＭＯＳセンサ１２と同一基板上に形成されてもよい。

カメラ処理回路１４は、例えば１つのＩＣとして構成され、ＡＦＥ回路１３からの画像信号に対して、後述するホワイトバランス調整などの各種色補正、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）などのカメラ信号処理を施したり、またはその処理の一部を実行する。

システムコントローラ１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。また、後述するように、カメラ処理回路１４との間で通信して、上記各種カメラ信号処理のための演算の一部を実行する。

この撮像装置では、ＣＭＯＳセンサ１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル信号に変換される。カメラ処理回路１４は、ＡＦＥ回路１３から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に変換して出力する。

カメラ処理回路１４から出力された画像データは、図示しないグラフィックＩ／Ｆ（インタフェース）に供給されてモニタ表示用の画像信号に変換され、これによりモニタにカメラスルー画像が表示される。また、ユーザの入力操作などによりシステムコントローラ１５に対して画像の記録が指示されると、カメラ処理回路１４からの画像データは図示しないエンコーダに供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ処理回路１４からは１フレーム分の画像データがエンコーダに供給され、動画像の記録の際には、処理された画像データがエンコーダに連続的に供給される。

次に、上記の撮像装置においてホワイトバランス調整処理を実現するための機能について説明する。このような機能として、図１に示すように、カメラ処理回路１４には、ホワイトバランス（ＷＢ）調整部４１およびフリッカ検出部４２が設けられ、システムコントローラ１５には、パラメータ生成部５１およびアンプゲイン設定部５２が設けられている。

ＷＢ調整部４１は、撮像画像信号のＲＧＢの各信号レベルを個別に変化させるホワイトバランス調整用のゲインコントロールアンプであり、アンプゲイン設定部５２からの制御信号によりその利得が設定される。フリッカ検出部４２は、撮影光源が蛍光灯であるときに、蛍光灯の周期的な輝度変化（光量変化）に応じて画面上に生じるフリッカ成分を、撮像画像信号の検波値を基に検出するブロックであり、その検出結果を示す値をパラメータ生成部５１に出力する。

パラメータ生成部５１は、フリッカの検出結果に基づいて、撮影光源が蛍光灯であるか否かの度合いを示すパラメータを生成して、アンプゲイン設定部５２に出力する。アンプゲイン設定部５２は、撮像信号の検波値を基にホワイトバランスが適切になるようにＷＢ調整部４１に対してアンプゲインの制御値を設定する。このアンプゲイン設定部５２は、撮像画像信号の検波結果と、パラメータ生成部５１からのパラメータに基づく撮影光源の判別結果とに応じて、画像中の白色（無彩色）被写体の信号がＲ＝Ｇ＝Ｂとなるような制御値を算出し、ＷＢ調整部４１に設定する。

このように、蛍光灯のフリッカの検出結果を撮影光源の推定に利用することで、撮影光源が蛍光灯であるか否かがより正確に推定され、ホワイトバランス調整の精度が向上する。そして、以下で説明するようなフリッカの検出手順を用いることで、フリッカの検出精度が高められ、結果的にホワイトバランス調整精度を高めることができる。

＜フリッカ検出方法＞
図２は、フリッカについて説明するための図である。
フリッカは、蛍光灯などの点滅する光源下で撮影した場合に発生し、ＣＭＯＳセンサなどのＸＹアドレス走査型の撮像素子により撮像した場合には、図２の画像Ｐのように、垂直方向の周期的な輝度レベルや色相の変動として観察される。画像Ｐは、被写体が一様である場合にフリッカが明暗の縞模様として現れた状態を示している。

ここで、例えば周波数５０Ｈｚの商用交流電源による蛍光灯では点滅周波数が１００Ｈｚであることから、フィールド周波数６０ＨｚによるＮＴＳＣ（National Television Standards Committee）方式のビデオ信号では、１フィールド当たりのライン数をＭとしたとき、このような変動による縞模様の１周期Ｌは（Ｍ×６０／１００）ラインとなる。また、１フィールドでこのような周期的な変動は、１００／６０＝１．６６周期発生する。すなわち、このような周期的な変動は３フィールドごとに繰り返される。

図３は、フリッカ検出部４２の内部構成を示すブロック図である。
フリッカ検出部４２は、図３に示すように、積分処理部４２１、積分値保持部４２２、平均値演算部４２３、差分演算部４２４、正規化処理部４２５、ＤＦＴ（Discrete Fourier Transform）処理部４２６を具備する。

なお、本実施の形態に係る撮像装置では、映像信号を構成する輝度信号、色差信号ごとに、この図３に示すブロックによる処理が実行される。あるいは、少なくとも輝度信号について実行し、必要に応じて色差信号、各色信号について実行するようにしてもよい。また、輝度信号については、輝度信号に合成する前の色信号の段階で実行してもよく、またこの色信号の段階における処理においては、原色による色信号、補色による色信号のいずれの段階で実行してもよい。これらの色信号について実行する場合には、色信号ごとにこの図３に示すブロックによる処理が実行される。

以下、この図３を用いて、フリッカの検出方法について説明する。
一般にフリッカ成分は、被写体の信号強度に比例する。そこで、一般の被写体についての任意のフィールドｎおよび任意の画素（ｘ，ｙ）における入力画像信号（フリッカ低減前のＲＧＢ原色信号または輝度信号）をＩｎ’（ｘ，ｙ）とすると、Ｉｎ’（ｘ，ｙ）は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、次式（１）で表される。
Ｉｎ‘（ｘ，ｙ）＝［１＋Γｎ（ｙ）］×Ｉｎ（ｘ，ｙ） ……（１）
ここで、Ｉｎ（ｘ，ｙ）は信号成分であり、Γｎ（ｙ）×Ｉｎ（ｘ，ｙ）はフリッカ成分であり、Γｎ（ｙ）はフリッカ係数である。蛍光灯の発光周期（１／１００秒）に比べて１水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓｎ（ｙ）で表す。

Γｎ（ｙ）を一般化するために、式（２）に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。

式（２）中のλ０は、図２に示した画面内フリッカの波長であり、１フィールド当たりの読み出しライン数をＭとすると、Ｌ（＝Ｍ×６０／１００）ラインに相当する。ω０は、λ０で正規化された規格化角周波数である。

γｍは、各次（ｍ＝１，２，３‥）のフリッカ成分の振幅である。Φｍ，ｎは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期（１／１００秒）と露光タイミングによって決まる。ただし、Φｍ，ｎは３フィールドごとに同じ値になるので、直前のフィールドとの間のΦｍ，ｎの差は、次式（３）で表される。

＜積分値の算出および保存＞
図３に示したフリッカ検出部４２では、まず、入力画像信号Ｉｎ’（ｘ，ｙ）が、フリッカ検出用に絵柄の影響を少なくするために、積分処理部４２１で、式（４）に示すように画面水平方向に１ライン分に渡って積分され、積分値Ｆｎ（ｙ）が算出される。なお、式（４）中のα_ｎ（ｙ）は、式（５）で表されるように、信号成分Ｉｎ（ｘ，ｙ）の１ライン分に渡る積分値である。

算出された積分値Ｆｎ（ｙ）は、以後のフィールドでのフリッカ検出用に、積分値保持部４２２に一時的に記憶される。積分値保持部４２２は、少なくとも２フィールド分の積分値を保持できる構成とされる。

＜平均値計算および差分計算＞
そこで、図３のフリッカ検出部４２では、積分値Ｆｎ（ｙ）からα_ｎ（ｙ）の影響を取り除くために、連続する３フィールドにおける積分値を用いる。すなわち、この例では、積分値Ｆｎ（ｙ）の算出時に、積分値保持部４２２から、１フィールド前の同じラインの積分値Ｆｎ＿１（ｙ）、および２フィールド前の同じラインの積分値Ｆｎ＿２（ｙ）が読み出され、平均値演算部４２３で、３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］が算出される。

連続する３フィールドの期間中の被写体をほぼ同一と見なすことができれば、α_ｎ（ｙ）は同じ値と見なすことができる。被写体の動きが３フィールドの間で十分小さければ、この仮定は実用上問題ない。さらに、連続する３フィールドにおける積分値の平均値を演算することは、式（３）の関係から、フリッカ成分の位相が（−２π／３）×ｍずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。従って、平均値ＡＶＥ［Ｆｎ（ｙ）］は、次式（６）で表される。

ただし、以上の説明は、上記の式（７）の近似が成り立つものとして、連続する３フィールドにおける積分値の平均値を算出する場合についてであるが、被写体の動きが大きい場合には、式（７）の近似が成り立たなくなる。図３のフリッカ検出部４２は、式（７）の近似が成り立つものとした場合である。この例では、さらに、差分演算部４２４で、積分処理部４２１からの当該フィールドの積分値Ｆｎ（ｙ）と、積分値保持部４２２からの１フィールド前の積分値Ｆｎ＿１（ｙ）との差分が計算され、次式（８）で表される差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が算出される。式（８）も、式（７）の近似が成り立つことを前提としている。

＜差分値の正規化＞
図３のフリッカ検出部４２では、さらに、正規化処理部４２５で、差分演算部４２４からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が、平均値演算部４２３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによって正規化され、正規化後の差分値ｇｎ（ｙ）が算出される。

正規化後の差分値ｇｎ（ｙ）は、上記の式（６），式（８）および三角関数の和積公式によって式（９）のように展開され、さらに式（３）の関係から式（１０）で表される。なお、式（１０）中の｜Ａｍ｜およびθｍは、それぞれ式（１１）および（１２）で表される。

＜スペクトル抽出によるフリッカ成分の推定＞
式（１２）で表されるθｍは、正規化後の差分値ｇｎ（ｙ）の、各次のスペクトルの初期位相であり、正規化後の差分値ｇｎ（ｙ）をフーリエ変換して各次のスペクトルの初期位相θｍを検出すれば、次式（１３）によって、上記の式（２）に示した各次のフリッカ成分の初期位相Φｍ，ｎを求めることができる。

そこで、図３のフリッカ検出部４２では、ＤＦＴ処理部４２６において、正規化処理部４２５からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。

ＤＦＴ演算をＤＦＴ［ｇｎ（ｙ）］とし、次数ｍのＤＦＴ結果をＧｎ（ｍ）とすれば、ＤＦＴ演算は次式（１４）で表される。ただし、式（１４）中のＷは式（１５）で表される。

また、ＤＦＴの定義によって、式（１２）と式（１４）との関係は、次式（１６）で表される。

従って、式（１３）および（１６）から、次式（１７）によって各次のフリッカ成分の初期位相Φｍ，ｎを求めることができる。

ＤＦＴ処理部４２６では、まず、式（１４）で定義されるＤＦＴ演算によってスペクトルが抽出され、その後、式（１７）の演算によって各次のフリッカ成分の初期位相Φｍ，ｎが推定される。算出された初期位相Φｍ，ｎは、システムコントローラ１５のパラメータ生成部５１に出力される。

以上のフリッカ検出方法によれば、積分値Ｆｎ（ｙ）ではフリッカ成分が信号成分中に完全に埋もれてしまう、フリッカ成分が微少な黒の背景部分や低照度の部分などの領域でも、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を算出し、これを平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化することによって、フリッカ成分を高精度で検出することができる。

また、実際の蛍光灯照明下では、次数を数次までに限定してもフリッカ成分を十分近似できるので、式（２）によるフリッカの係数Γｎ（ｙ）の算出にあたっては、総和次数を無限大ではなく、あらかじめ定められた次数、例えば２次までに限定することができる。

適当な次数までのスペクトルからフリッカ成分を推定することは、正規化後の差分値ｇｎ（ｙ）を完全に再現しないで近似することになるが、これによって、かえって、被写体の状態によって正規化後の差分値ｇｎ（ｙ）に不連続な部分を生じても、その部分のフリッカ成分を精度よく推定できることになる。

なお、上記の例のように、差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）を平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化すれば、有限の計算精度を効果的に確保することができるが、例えば、要求される計算精度を満足できる場合には、積分値Ｆｎ（ｙ）を直接、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化してもよい。また、平均値ＡＶＥ［Ｆｎ（ｙ）］の代わりに、積分値Ｆｎ（ｙ）で正規化してもよい。

また、上記の例では、入力画像信号Ｉｎ’（ｘ，ｙ）を１ライン分にわたって積分した場合を示したが、この積分は絵柄の影響を少なくしてフリッカ成分のサンプリング値を得るためであるので、１ライン以上の時間にわたって積分を行ってもよい。また、その際には、積分を行う期間内においてサンプリング対象とする画素を間引いてもよい。実際上は、画面内フリッカの１周期、すなわちＬラインで、数個以上ないし１０個以上のサンプリング値を得ることが望ましい。

＜蛍光灯指標生成＞
図４は、パラメータ生成部５１の内部構成を示す図である。
パラメータ生成部５１は、遅延器５２１、減算器５２２および５２３、理論値出力部５２４、絶対値出力器（ＡＢＳ：Absolute）５２５を具備する。このパラメータ生成部５１には、フリッカ検出部４２のＤＦＴ処理部４２６で求められた各次のフリッカ成分の初期位相Φｍ，ｎが入力される。遅延器５２１には、隣接するフィールド（またはフレーム）における１サンプリング前の初期位相が保持され、減算器５２２は、遅延器５２１内の初期位相と現在の初期位相との差分値ΔΦｍ，ｎを演算する。

理論値出力部５２４は、蛍光灯下で発生する差分値ΔΦｍ，ｎの理論値ΔΦｍ，ｎ＿ｐを出力するブロックであり、減算器５２３は、減算器５２２から出力された差分値ΔΦｍ，ｎとその理論値ΔΦｍ，ｎ＿ｐとの差分を演算する。なお、ΔΦｍ，ｎ＿ｐは、上述した式（３）により算出される。

ＡＢＳ５２５は、減算器５２３の出力値を絶対値化し、蛍光灯らしさ（蛍光灯と推定される度合い）を示す指標（以下、蛍光灯推定指標と呼ぶ）として、アンプゲイン設定部５２に出力する。蛍光灯推定指標が低いほど、算出されたΔΦｍ，ｎと蛍光灯下での理論値ΔΦｍ，ｎ＿ｐとの差が小さいため、光源が蛍光灯である可能性が高くなる。

なお、例えば上記の減算器５２２または５２３の後段、ＡＢＳ５２５の後段などに、時間的なローパスフィルタを設けてもよい。これにより、それぞれの出力値からノイズ成分を除去して、フリッカの検出精度を高めることができる。

＜蛍光灯判断およびＷＢゲインの決定＞
アンプゲイン設定部５２は、まず、パラメータ生成部５１からの蛍光灯推定指標に応じて、蛍光灯判断フラグを設定する。ここでは、蛍光灯推定指標をあらかじめ設けたしきい値と比較し、しきい値を超えている場合は蛍光灯判断フラグを“０”とし、しきい値以下の場合は“１”とする。

なお、フリッカ検出の誤差の影響を抑制するために、例えば、パラメータ生成部５１からの蛍光灯推定指標が一定のフィールド数（またはフレーム数）分だけ連続してしきい値以下となった場合に、蛍光灯判断フラグを“１”に設定するようにしてもよい。

一方、カメラ処理回路１４では、入力されるＲＧＢの各信号を有効画素領域で積分した結果を１フィールド（または１フレーム）ごとに検波する。この検波にあたっては、画素の位置や信号レベルによってサンプリングする条件を設定してもよい。アンプゲイン設定部５２は、検波された各信号Ｒｄ，Ｇｄ，Ｂｄの入力を受けて、フィールド（またはフレーム）ごとに次の図５に示す処理によりＷＢゲインＲｇｎ，Ｂｇｎを決定する。

図５は、ＷＢゲインを決定する処理の流れを示すフローチャートである。
アンプゲイン設定部５２は、まず、上記のように検波された信号Ｒｄ，Ｇｄ，Ｂｄを基にＷＢレシオＲｒｔ，Ｂｒｔを算出する（ステップＳ１１）。ＷＢレシオは、Ｒｒｔ＝Ｒｄ／Ｇｄ，Ｂｒｔ＝Ｂｄ／Ｇｄにより算出される。

次に、蛍光灯判断フラグを参照して、その値に応じた処理を実行する（ステップＳ１２）。ここで、蛍光灯下である場合とそうでない場合に、それぞれ出現する可能性が高いＷＢレシオＲｒｔ，Ｂｒｔの範囲をあらかじめ設定しておき、算出されたＷＢレシオＲｒｔ，Ｂｒｔがその範囲内にあるか否かを判定する。すなわち、蛍光灯判断フラグが“１”である場合には、算出されたＷＢレシオＲｒｔ，Ｂｒｔが、蛍光灯に対して設定されたＷＢレシオの領域（蛍光灯領域）内にあるか否かを判定する（ステップＳ１３）。また、蛍光灯判断フラグが“０”である場合には、算出されたＷＢレシオＲｒｔ，Ｂｒｔが、蛍光灯以外の通常の光源（例えば太陽光など）に対して設定されたＷＢレシオの領域（通常領域）内にあるか否かを判定する（ステップＳ１４）。

ステップＳ１３の判定で、ＷＢレシオＲｒｔ，Ｂｒｔが蛍光灯領域内にある場合には、そのＷＢレシオＲｒｔ，Ｂｒｔを用いてＷＢゲインＲｇｎ，Ｂｇｎを算出し、ＷＢ調整部４１に設定する（ステップＳ１６）。ＷＢゲインは、Ｒｇｎ＝１／Ｒｒｔ，Ｂｇｎ＝１／Ｂｒｔにより算出される。さらに、アンプゲイン設定部５２は、算出されたＷＢゲインＲｇｎ，Ｂｇｎを常に保持しており、ステップＳ１６で算出したＷＢゲインＲｇｎ，Ｂｇｎによりその保持値を更新する（ステップＳ１７）。

また、ステップＳ１４の判定で、ＷＢレシオＲｒｔ，Ｂｒｔが通常領域内にある場合には、ＷＢレシオＲｒｔ，Ｂｒｔを例えば色度座標上の黒体軌跡などの基準軌跡上の最も近い点にシフトする（ステップＳ１５）。この後、シフトしたＷＢレシオを用いてＷＢゲインＲｇｎ，Ｂｇｎを算出・設定し（ステップＳ１６）、ＷＢゲインＲｇｎ，Ｂｇｎの保持値を更新する（ステップＳ１７）。

また、ステップＳ１３およびＳ１４の判定で、ＷＢレシオＲｒｔ，Ｂｒｔが該当する領域外であれば、現在のフィールド（またはフレーム）の検波結果を無効として、ＷＢゲインＲｇｎ，Ｂｇｎの保持値を更新しないようにし、その保持値をＷＢ調整部４１に設定する（ステップＳ１８）。

以上の処理により、ＷＢゲインＲｇｎ，ＢｇｎがＷＢ調整部４１に設定され、ＷＢ調整部４１は、これらのゲイン制御値をＲとＢの各入力信号に乗算し、Ｇの入力信号とともに出力する。このフローチャートによる処理では、フリッカの検出結果に基づく光源の推定を行った後、さらに、画像信号の検波結果に基づくＷＢレシオが、推定された光源に応じて予想される値の範囲内にあるか否かを判定することで、光源の誤検出の発生確率を低減し、その検出精度を向上させることができる。

図６は、蛍光灯領域の例を示す図である。
図６では、図５のステップＳ１３で用いられる蛍光灯領域を色度座標上に設定した例を示している。蛍光灯領域は、光源が蛍光灯である場合にＷＢレシオＲｒｔ，Ｂｒｔの値が出現する可能性が高い領域であり、図６の点ａおよびｂのようにＷＢレシオＲｒｔ，Ｂｒｔがこの領域内にある場合には、算出された値が有効であると判定する。また、点ｃ〜ｆのようにＷＢレシオＲｒｔ，Ｂｒｔが領域外にある場合には、算出された値が無効であると判定する。なお、算出されたＷＢレシオＲｒｔ，Ｂｒｔが蛍光灯領域外である場合でも、そのＷＢレシオＲｒｔ，Ｂｒｔを無効とせずに、蛍光灯領域の境界点のうち最も近い点にシフトして、そのシフトした値からＷＢゲインＲｇｎ，Ｂｇｎを算出してもよい。

図７は、通常領域の例を示す図である。
図７では、図５のステップＳ１４で用いられる通常領域を色度座標上に設定した例を示している。通常領域は、光源が蛍光灯以外である場合にＷＢレシオＲｒｔ，Ｂｒｔの値が出現する可能性が高い領域であり、図７の点ｇおよびｈのようにＷＢレシオＲｒｔ，Ｂｒｔがこの領域内にある場合には、算出された値が有効であると判定する。また、本実施の形態ではさらに、通常領域内を通る基準軌跡（例えば黒体軌跡）上の最も近い点に、算出したＷＢレシオＲｒｔ，Ｂｒｔの値をシフトする。これにより、点ｇおよびｈはそれぞれ、点ｇ１およびｈ１のように基準軌跡に対して垂直な方向にシフトされる。このように、算出されたＷＢレシオＲｒｔ，Ｂｒｔを最寄りの基準軌跡上にシフトすることで、より自然な色合いの画像を得ることができる。

一方、点ｉ〜ｋのようにＷＢレシオＲｒｔ，Ｂｒｔが通常領域外にある場合には、算出されたＷＢレシオＲｒｔ，Ｂｒｔの値が無効であると判定する。なお、蛍光灯領域の場合と同様に、算出されたＷＢレシオＲｒｔ，Ｂｒｔが通常領域外である場合でも、そのＷＢレシオＲｒｔ，Ｂｒｔを無効とせずに、通常領域の境界点のうち最も近い点にシフトし、そのシフトした値からＷＢゲインＲｇｎ，Ｂｇｎを算出してもよい。

なお、以上の図６および図７のように、蛍光灯領域や通常領域として連続的な値による領域を設けるのではなく、離散的な制御目標点を蛍光灯であるか否かにより区別してあらかじめ複数記憶しておき、算出されたＷＢレシオＲｒｔ，Ｂｒｔに近いものを上記の制御目標点の中から選択するようにしてもよい。また、光源が蛍光灯であるか否かの判断にあたっては、パラメータ生成部５１からの蛍光灯推定指標を基に“０”または“１”のフラグではなく、蛍光灯らしさを示す多段階のパラメータを生成してもよい。そして、このパラメータに応じて重み付けした係数を用いて上記制御目標点のうちの蛍光灯およびそれ以外の各制御目標点の間を補間し、最終的な制御目標点を決めるようにすることで、光源が混在するような場合にも適切なＷＢゲイン制御値を得ることが可能となる。

以上説明したように、本実施の形態の撮像装置では、ＣＭＯＳイメージセンサなどのＸＹアドレス走査型の撮像素子を用いた場合に蛍光灯光源下で画面上に生じるフリッカの検出結果を基に、撮影光源が蛍光灯であるか否かを推定することで、その推定精度を高め、ホワイトバランスを適切に調整することができる。また、フリッカの検出手法として、画像信号の各色信号またはその画像信号から得られる輝度信号の少なくとも一方を１水平周期以上の時間にわたって積分し、その積分値、または、隣接するフィールドまたはフレームに対応する積分値の差分値を正規化し、正規化後の値のスペクトルを抽出して、そのスペクトルからフリッカ成分を推定するようにしたことで、例えばフリッカ検出専用の受光素子などを用いることなく、簡単な信号処理のみによって、被写体や映像信号レベル、蛍光灯の種類などにかかわらず、フリッカを精度よく検出できる。従って、光源の推定精度が一層高められ、ホワイトバランスが適切に調整された高品質な画像を得ることができる。

なお、上記の実施の形態では、フリッカの検出結果を基にホワイトバランスの制御値を調整する処理について説明したが、ホワイトバランスに限らず、例えば、マトリクス係数を用いて各チャネルの色信号を線形変換して、撮影光源に適した色再現が得られるように制御する場合など、各種のカラーバランス制御処理に本発明を適用することができる。

また、撮像素子として、ＣＭＯＳイメージセンサ以外のＭＯＳ型イメージセンサなど、他のＸＹアドレス走査型の撮像素子を用いた場合にも本発明を適用可能である。また、本発明は、ＸＹアドレス走査型の撮像素子を用いた様々な撮像装置、およびこのような撮像機能を具備する携帯電話機やＰＤＡ（Personal Digital Assistants）などの機器に対して適用可能である。

また、例えばＰＣ（パーソナルコンピュータ）などに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理や、撮像された画像を補整するための処理などを行う画像処理装置に対しても、本発明を適用することができる。

また、上記の処理機能は、コンピュータによって実現することができる。その場合、この装置が有すべき機能（上記のフリッカ検出部４２、パラメータ生成部５１、アンプゲイン設定部５２などに対応する機能）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。 フリッカについて説明するための図である。 フリッカ検出部の内部構成を示すブロック図である。 パラメータ生成部の内部構成を示す図である。 ＷＢゲインを決定する処理の流れを示すフローチャートである。 蛍光灯領域の例を示す図である。 通常領域の例を示す図である。

符号の説明

１１……光学ブロック、１１ａ……ドライバ、１２……ＣＭＯＳ型イメージセンサ（ＣＭＯＳセンサ）、１２ａ……タイミングジェネレータ（ＴＧ）、１３……アナログフロントエンド（ＡＦＥ）回路、１４……カメラ処理回路、１５……システムコントローラ、４１……ホワイトバランス（ＷＢ）調整部、４２……フリッカ検出部、５１……パラメータ生成部、５２……アンプゲイン設定部

Claims (4)

1. カラー画像信号を処理する画像処理装置において、
   前記カラー画像信号の各色信号または前記カラー画像信号から得られる輝度信号の少なくとも一方を１水平周期以上の時間にわたって積分する積分手段と、
   前記積分手段による積分値、または、隣接するフィールドまたはフレームに対応する前記積分手段による積分値の差分値を、正規化する正規化手段と、
   前記正規化手段の出力値のスペクトルを抽出する周波数解析手段と、
   前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ成分推定手段と、
   前記フリッカ成分推定手段の推定結果を基に、撮影光源が蛍光灯と推定される度合いを示す多段階のパラメータである指標を算出する指標生成手段と、
   光源が蛍光灯か否かによってそれぞれ適したカラーバランスの制御値をそれぞれ複数分だけあらかじめ保持し、保持された制御値の中から蛍光灯に適した制御値と蛍光灯以外の光源に適した制御値とを選択し、選択した２つの制御値の間を前記指標に応じて重み付けした係数に基づいて補完することで、前記カラー画像信号のカラーバランスの制御値を算出するカラーバランス制御手段と、
   を有することを特徴とする画像処理装置。
2. ＸＹアドレス走査型の固体撮像素子を用いて画像を撮像する撮像装置において、
   撮像により得られたカラー画像信号の各色信号または前記カラー画像信号から得られる輝度信号の少なくとも一方を１水平周期以上の時間にわたって積分する積分手段と、
   前記積分手段による積分値、または、隣接するフィールドまたはフレームに対応する前記積分手段による積分値の差分値を、正規化する正規化手段と、
   前記正規化手段の出力値のスペクトルを抽出する周波数解析手段と、
   前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ成分推定手段と、
   前記フリッカ成分推定手段の推定結果を基に、撮影光源が蛍光灯と推定される度合いを示す多段階のパラメータである指標を算出する指標生成手段と、
   光源が蛍光灯か否かによってそれぞれ適したカラーバランスの制御値をそれぞれ複数分だけあらかじめ保持し、保持された制御値の中から蛍光灯に適した制御値と蛍光灯以外の光源に適した制御値とを選択し、選択した２つの制御値の間を前記指標に応じて重み付けした係数に基づいて補完することで、前記カラー画像信号のカラーバランスを調整するカラーバランス調整手段と、
   を有することを特徴とする撮像装置。
3. カラー画像信号の各色信号を調整するための画像処理方法において、
   積分手段が、前記カラー画像信号の各色信号または前記カラー画像信号から得られる輝度信号の少なくとも一方を１水平周期以上の時間にわたって積分するステップと、
   正規化手段が、前記積分手段による積分値、または、隣接するフィールドまたはフレームに対応する前記積分手段による積分値の差分値を、正規化するステップと、
   周波数解析手段が、前記正規化手段の出力値のスペクトルを抽出するステップと、
   フリッカ成分推定手段が、前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するステップと、
   指標生成手段が、前記フリッカ成分推定手段の推定結果を基に、撮影光源が蛍光灯と推定される度合いを示す多段階のパラメータである指標を算出するステップと、
   カラーバランス制御手段が、光源が蛍光灯か否かによってそれぞれ適したカラーバランスの制御値がそれぞれ複数分だけあらかじめ用意された中から、蛍光灯に適した制御値と蛍光灯以外の光源に適した制御値とを選択し、選択した２つの制御値の間を前記指標に応じて重み付けした係数に基づいて補完することで、前記カラー画像信号のカラーバランスの制御値を算出するステップと、
   を含むことを特徴とする画像処理方法。
4. カラー画像信号の色調整に対する制御処理をコンピュータに実行させる画像処理プログラムにおいて、
   前記カラー画像信号の各色信号または前記カラー画像信号から得られる輝度信号の少なくとも一方を１水平周期以上の時間にわたって積分する積分手段、
   前記積分手段による積分値、または、隣接するフィールドまたはフレームに対応する前記積分手段による積分値の差分値を、正規化する正規化手段、
   前記正規化手段の出力値のスペクトルを抽出する周波数解析手段、
   前記周波数解析手段により抽出されたスペクトルからフリッカ成分を推定するフリッカ成分推定手段、
   前記フリッカ成分推定手段の推定結果を基に、撮影光源が蛍光灯と推定される度合いを示す多段階のパラメータである指標を算出する指標生成手段、
   光源が蛍光灯か否かによってそれぞれ適したカラーバランスの制御値をそれぞれ複数分だけあらかじめ保持し、保持された制御値の中から蛍光灯に適した制御値と蛍光灯以外の光源に適した制御値とを選択し、選択した２つの制御値の間を前記指標に応じて重み付けした係数に基づいて補完することで、前記カラー画像信号のカラーバランスの制御値を算出するカラーバランス制御手段、
   として前記コンピュータを機能させることを特徴とする画像処理プログラム。
   

Images