JP3839429B2 - 撮像処理装置 - Google Patents

Description

この発明は、被写体に応じた画像信号のホワイトバランス処理を行うデジタルカメラ、ビデオカメラまたは顕微鏡等に適応される撮像処理装置に関するものである。

ＣＣＤ等の固体撮像素子を用いて光を電気信号に変換して撮像する撮像処理装置は、通信との親和性や使用者が自在に画像データを加工できる等の理由により急速に普及している。デジタルカメラでは使用者が簡単に高画質な撮像ができるように、オートホワイトバランスの自動制御機能を備えているものが多い。このオートホワイトバランスは、光源等の変化に対して被写体の色信号を積算（検出）し、それぞれの色の相関をとり（計数算出）、各色成分が同一レベル（補正演算）となるように自動補正するものである。

従来の撮像処理装置においては以下の構成および動作を行っていた。ＣＣＤ撮像素子の撮像面上のフィルター配列に応じたデータ補間（色補間処理）を行ってＲ，Ｇ，Ｂデータに変換し、Ｒ，Ｇ，Ｂ値から色差データを生成し、無彩色抽出領域として設定された各ブロック毎に、それに含まれる色差データ数をカウントすると共に、対応したＲ，Ｇ，Ｂ値を積算する。そして、カウント値が最大のブロック数に関するＲ，Ｇ，Ｂ値の積算値を画像データに用いていた（例えば、特許文献１参照）。

特開平１１−２０５８１２号公報（Ｐ４−６）

従来の撮像処理装置は以上のように構成されているので、画像の白飛び（高輝度部）や黒つぶれ（低輝度部）となる画素データも積算してしまい、その結果、例えば、画面上に高輝度部である空が多くあるような被写体の場合、その高輝度部の積算結果がホワイトバランスを狂わせてしまうという課題があった。
また、色補間処理（撮像素子の色配列における欠落した色画素を補う）後のデータを用いてホワイトバランス処理を行う方法では、色補間処理で発生するデータ演算等に伴う偽色（色ノイズ）や、近傍画素を用いて推定するという色補間方式の影響を避けることができず、正確なホワイトバランス処理を阻害する要因となっている。さらに、オートホワイトバランスの一連の処理である「検出（積分）、係数算出、補正演算」というフィードバック処理のループが長くなり処理時間がかかるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、被写体（画面）中に高輝度部や低輝度部の画像領域があっても正確なホワイトバランス処理を行うことができ、高画質な画像を得ることが可能な撮像処理装置を得ることを目的とする。

この発明に係る撮像処理装置は、白飛び領域に応じた閾値および黒つぶれ領域に応じた閾値を各色毎に設定され、撮像手段により生成された画像信号を各画素毎に、該当する色のそれら白飛び領域に応じた閾値および黒つぶれ領域に応じた閾値間に存在するか判定する判定手段と、判定手段により条件成立判定された画像信号を積分する積分手段と、判定手段により条件成立判定された画素数を計数する計数手段と、積分値および計数値に応じてホワイトバランス係数を求める制御手段と、求められたホワイトバランス係数に基づいて撮像手段により生成された画像信号のホワイトバランス処理を行う演算手段と、演算手段により処理された画像信号の色補間処理を行う画像処理手段とを備え、積分手段および計数手段は、画面が予め複数の仮想領域に分割され、それら仮想領域毎に積分値および計数値を出力し、制御手段は、計数手段により計数された仮想領域分の計数値が予め定められた値以下の場合に、その仮想領域に関する積分値および計数値を除外してホワイトバランス係数を求めるようにしたものである。

この発明によれば、ホワイトバランス処理に悪影響を及ぼす高輝度部（白飛び領域）や低輝度部（黒つぶれ領域）の画像領域をそのホワイトバランス係数の算出から除外するようにしたため、正確なホワイトバランス処理を行うことができ、高画質な画像を得ることができる。
また、色補間処理前の画像信号を用いているため、色補間処理後の画像信号を用いる場合に比べて、ホワイトバランス係数を算出するために必要な画像信号の演算量を減らすことができる。さらに、色補間処理では偽色発生する場合が多いが、この偽色データをホワイトバランス係数算出に含まずにホワイトバランスを取ることができる。加えて、検出（積分）から係数算出、補正演算の一連のフィードバック処理のループを短くすることができ、短時間でホワイトバランスを取ることができる。
さらに、画面を複数の仮想領域に分割して、仮想領域毎の積分値および計数値からホワイトバランス係数を求めるようにしたので、扱うデータ量を少なくすることができ、レジスタ等の回路資源やステップ数等のプログラム量を減らすことができる。
さらに、白飛び領域に応じた閾値および黒つぶれ領域に応じた閾値を色毎に設定するようにしたので、例えば、単色の高輝度物体を撮影した場合にホワイトバランスが崩れることを防止することができる等、特定の色領域をホワイトバランス処理に用いることや、あるいは逆に除外することができる。加えて、撮像手段からの色毎の感度比が異なる場合にも、それに応じた閾値を設定することでさらに高精度のホワイトバランス処理を行うことができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による撮像処理装置を示す構成図であり、図において、カメラヘッド（撮像手段）１は、レンズと、赤（Ｒ），緑（Ｇ），青（Ｂ）の光の三原色からなる画素がベイヤー（Ｂａｙｅｒ）配列を成し、各画素単位の輝度レベルに応じた画像信号をライン順に出力するＣＣＤ等の撮像素子と、所定のアナログ信号処理回路やアナログ−デジタル変換器、ゲインアンプ等から構成されたものである。
カメラヘッド１の出力は、ホワイトバランス計測部２に接続されると共に、ホワイトバランス演算回路（演算手段）８にも接続される。
そのホワイトバランス計測部２において、信号分離回路３は、カメラヘッド１からの画像信号を各色毎に分離し、判定回路（判定手段）４は、比較器により構成され、信号分離回路３により分離された各色毎の画像信号が白飛び領域に応じた上限閾値Ａおよび黒つぶれ領域に応じた下限閾値Ｂ間に存在するか判定するものである。積分器（積分手段）５は、判定回路４により条件成立判定された画像信号を各色毎に積分し、画素カウンタ（計数手段）６は、判定回路４により条件成立判定された画像信号を各色毎にカウントするものである。

ＣＰＵ（制御手段）７は、必要なレジスタ等が搭載され、ホワイトバランス計測部２とデータバス等を通じて接続され、積分器５による積分値および画素カウンタ６による計数値に応じて各色毎のホワイトバランス係数を求め、ホワイトバランス演算回路８に設定する。また、ホワイトバランス計測部２、ホワイトバランス演算回路８、画像処理部９およびタイミング発生部１０の動作並びに制御を管理するものである。
ホワイトバランス演算回路８は、乗算器により構成され、カメラヘッド１からの画像信号の各色毎に、対応する色のホワイトバランス係数を乗算することによりホワイトバランス処理を行うものである。
画像処理部（画像処理手段）９は、ホワイトバランス演算回路８により処理された画像信号において、色配列における欠落した色画素を補う色補間処理、輪郭補正処理およびフォーマット変換等を行うものである。
タイミング発生部１０は、カメラヘッド１、ホワイトバランス計測部２およびＣＰＵ７の動作に必要な基準タイミングを発生するものである。

次に動作について説明する。
カメラヘッド１は、ＣＰＵ７の指令によりタイミング発生部１０を通じ所定のタイミングが与えられて被写体に応じた画像信号を出力する。このデジタル信号出力はホワイトバランス計測部２に入力される。この時、積分器５および画素カウンタ６は、伴に初期状態（０）である。
ホワイトバランス計測部２では、まず、信号分離回路３によりカメラヘッド１から所定の出力順で送られてくるＲ，Ｇ，Ｂの順次画像信号を各色成分毎に分離する。若しくは色別の同定信号を生成して、各画像信号の色成分が分かるようにする。
次に、判定回路４に色成分に分離された画像信号が入力される。ここで、判定回路４には予めＣＰＵ７より画像信号の計測レベル範囲を規定する閾値を設定しておく。計測範囲の上限閾値をＡとし、計測範囲の下限閾値をＢとして設定する。例えば、カメラヘッド１からのデジタルデータが８ビット（０〜２５５）である場合は、白飛び領域を２５０以上とし上限閾値Ａを２５０、黒つぶれ領域を１０以下とし下限閾値Ｂを１０と設定する。判定回路４はこれら閾値Ａ，Ｂと画像信号とを比較する。比較結果が１０≦画像信号レベル≦２５０を満たす場合、判定回路４は積分器５および画素カウンタ６に条件成立判定信号として「１」を出力する。他方、上記判定を満たさない場合は「０」を出力する。
判定回路４から「１」が出力された場合、積分器５では、該当する画像信号（１０〜２５０）を積分し、画素カウンタ６では、（１）のインクリメント動作を行う。また、「０」が出力された場合には、積分器５および画素カウンタ６は、積分およびインクリメント動作を行わない。これをＲ，Ｇ，Ｂの各色毎に行う。

図２は画像信号レベルと上限閾値Ａ、下限閾値Ｂとの関係を示した説明図である。この実施の形態１では、図２に示すような、上限閾値Ａおよび下限閾値Ｂの範囲内（斜線部）の面積相当分の画像信号のみを、積分器５により積分し、かつ、画素カウンタ６によりその画素数を計数することになる。従って、白飛び（上限閾値Ａ以上）と黒つぶれ（下限閾値Ｂ以下）の各々の画像信号は積分と画素計数の範囲外となる。このようにして、Ｒ，Ｇ，Ｂの各色成分毎に１画面分（フレームまたはフィールド）の積分値および画素計数値を求める。

ホワイトバランス計測部２で得られた積分値および画素計数値は、その計測が完了したタイミングでＣＰＵ７に送出される。ＣＰＵ７では以下のようにしてホワイトバランス係数を算出する。
まず、各色毎の画素平均値を求める。得られたＲ，Ｇ，Ｂの積分値をそれぞれＳｒ，Ｓｇ，Ｓｂとし、画素計数値をそれぞれＣｒ，Ｃｇ，Ｃｂとすると、画素平均値Ｒａｖ，Ｇａｖ，Ｂａｖをそれぞれ次式（１）〜（３）により求められる。
Ｒａｖ＝Ｓｒ／Ｃｒ （１）
Ｇａｖ＝Ｓｇ／Ｃｇ （２）
Ｂａｖ＝Ｓｂ／Ｃｂ （３）
この得られた画素平均値により、Ｒ，Ｇ，Ｂのそれぞれの比率を合わせるためのホワイトバランス係数Ｋｒ，Ｋｇ，Ｋｂを次式（４）〜（６）により求める。
Ｋｒ ＝Ｇａｖ／Ｒａｖ （４）
Ｋｇ ＝１ （５）
Ｋｂ ＝Ｇａｖ／Ｂａｖ （６）
上式（４）〜（６）はＧ色を基準としているためにＧのホワイトバランス係数Ｋｇを１としている。以上の式から得られるホワイトバランス係数は、画像データの白飛び部と黒つぶれ部のホワイトバランスを狂わせる画像部分が除かれたことになる。

次に、ＣＰＵ７では、得られたホワイトバランス係数を次の画面の画像信号がカメラヘッド１から供給されるまでの間にホワイトバランス演算回路８に設定する。
ホワイトバランス演算回路８では、カメラヘッド１からの画像信号に、各色に応じたホワイトバランス係数を乗算することによってホワイトバランスの取れた画像信号を得る。この後、画像処理部９によって、色配列における欠落した色画素を補う色補間処理、輪郭補正処理およびフォーマット変換等を行って撮像画像を得る。これらの処理は公知の技術を用いれば良く、この実施の形態１における色補間処理は、補間処理対象画素の近傍の水平・垂直３画素ずつ（３×３）を用いてその推定を行い欠落情報を補間する。

次の画面では、タイミング発生部１０から送出される画像信号の開始を示す信号を用いて積分器５および画素カウンタ６をクリアし（０）にする。上記と同様に色毎の積分値および画素計数値を求めて、この画面に応じたホワイトバランス係数を算出する。ＣＰＵ７では、得られたホワイトバランス係数が、予め定められた範囲外である場合、例えば、０．５〜１．５の範囲外には、急激な照明条件や被写体の変化等が発生したと見なし、その得られたホワイトバランス係数を適用せず、前画面のホワイトバランス係数をホワイトバランス演算回路８に設定する。即ち、Ｒ，Ｇ，Ｂの比率が所定の範囲外である場合にはホワイトバランス係数を変化させない。他方、規定の範囲内である場合にはそのホワイトバランス係数をホワイトバランス演算処理に適用する。このようにして、急激な変化にホワイトバランス処理が過敏に応答することによる画像の悪化を防ぐことができる。
以上のように、演算処理することを繰り返すことにより撮像画像を得る。

以上のように、この実施の形態１によれば、ホワイトバランス処理に悪影響を及ぼす高輝度部や低輝度部の画像領域をそのホワイトバランス係数の算出から除外するようにしたため、正確なホワイトバランス処理を行うことができ、高画質な画像を得ることができる。
また、色補間処理前の画像信号を用いているため、色補間処理後の画像信号を用いる場合に比べて、ホワイトバランス係数を算出するために必要な演算量を減らすことができる。さらに、色補間処理では偽色発生する場合が多いが、この偽色データをホワイトバランス係数算出に含まずにホワイトバランスを取ることが可能である。加えて、検出（積分）から係数算出、補正演算の一連のフィードバック処理のループを短くすることができ、短時間でのホワイトバランスを取ることが可能になる。

なお、用いるカメラヘッド１はＣＣＤのみならずＣＭＯＳ等や補色系のセンサでも良く、色配列やその出力順は上記の限りではない。また、量子化精度や閾値はその構成に応じて決定すれば良い。
また、式（４）〜（６）ではＧ色を基準にしたホワイトバランス係数の算出例を挙げたが基準色はどの色でも構わない。ホワイトバランス係数は、各色の比率であるから、例えば、式（４）はＲａｖ/Ｇａｖのように除数と非除数とを入れ替えて算出しても良く、重み付けや所定の時定数を有して徐々に変化させても良い。
さらに、色毎の積分値および画素計数値の計測においては、閾値設定を行わずに計測した値から、閾値範囲外の積分値および画素計数を計測した値を減算して求めても良い。
さらに、ホワイトバランス計測部２やホワイトバランス演算回路８の動作もマイクロプロセッサやＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等によってプログラム処理としても実現可能である。他方、ホワイトバランス演算回路８はカメラヘッド１からのアナログ信号を接続することによってアナログ演算処理を行っても実現可能である。
さらに、一画面の全ての積分値および画素計数値に応じて、ホワイトバランス係数を求めたが、一画面のうちの一部の積分値および画素計数値や複数画面の積分値および画素計数値に応じて、ホワイトバランス係数を求めるようにしても良い。

また、上記実施の形態１では、上限閾値Ａおよび下限閾値Ｂを色成分毎に同一値としたが色成分毎に独立して持たせても良い。この場合、ＣＰＵ７からＲ，Ｇ，Ｂそれぞれの上限閾値および下限閾値を判定回路４に設定する。判定回路４は、それぞれの上限閾値および下限閾値と色信号を比較し、閾値範囲内の色毎の積分値および画素計数値を求める。この値を用いてホワイトバランスを取る動作は上記実施の形態１と同一である。
このようにして、閾値を色毎に設定した場合、例えば、単色の高輝度物体を撮影した場合にホワイトバランスが崩れることを防止できる等、特定の色領域をホワイトバランス処理に用いることや、あるいは逆に除外することが可能となる。加えて、カメラヘッド１からの色毎の感度比が異なる場合にも、それに応じた閾値を設定することでさらに高精度のホワイトバランス処理が可能となる。

実施の形態２．
図３はこの発明の実施の形態２による撮像処理装置における測定枠で区切られた画面を示す説明図である。
この実施の形態２では、画面１１を測光枠（仮想領域）Ｗ１〜Ｗ１２に分割し、積分器５および画素カウンタ６では、測光枠Ｗ１〜Ｗ１２毎の各画素１２の積分値および画素計数値を求め、ＣＰＵ７でそれら積分値および画素計数値に応じて、ホワイトバランス係数を求めるようにしたものである。
撮像処理装置のその他の構成については、図１と同一である。

次に動作について説明する。
図３に示すように、画面１１を複数に分割した測光枠Ｗ１〜Ｗ１２の領域に区切り、それぞれの測光枠Ｗ１〜Ｗ１２の色毎の積分値および画素計数を求める。例えば、カメラヘッド１の撮像素子が１２８０×９６０画素であった場合、これを３×４領域に分割する。各測光枠Ｗ１〜Ｗ１２内の画素数は３２０×３２０画素である。タイミング発生部１０より供給される所定の測光枠であることを示す基準信号に基づいてその測光枠内での画素１２を順次計測する。画面１１の終了した時点でＣＰＵ７には各測光枠Ｗ１〜Ｗ１２に対応する色毎の積分値および画素計数値が得られる。このようにして得られた計測値からホワイトバランス係数を求めてホワイトバランス処理を行う。

ＣＰＵ７は、このうち画素計数値に基づいて各測光枠Ｗ１〜Ｗ１２について得られた測定値をホワイトバランス係数の算出に用いるかどうかの判定をする。これは、判定の際に積分値を用いるよりも画素計数値を用いた方が扱うデータ量が少なくて済むからである。
この時、例えば、図３に示したように測光枠Ｗ７に太陽等の高輝度物体が撮像されたとすると、得られた画素計数値は予め定められた値より低くなる。例えば、得られた画素計数値が１０％（３２０×３２０×０．１）以下の場合に、色毎の平均値算出の際に測光枠Ｗ７の積分値および画素計数値を除外して算出する。このように、測光枠Ｗ７の計数値が予め定められた値以下の場合に、その測光枠Ｗ７に関する積分値および計数値を除外してホワイトバランス係数を求めるようにしたので、その測光枠Ｗ７における密度の高い高輝度部近傍や低輝度部近傍の画像信号をホワイトバランス係数の算出から除外可能なことから、正確なホワイトバランス係数を算出することができる。
図３におけるＲの平均値は測光枠Ｗｎの積分値ＷｎＳｒおよび画素計数値ＷｎＣｒ（ｎは１〜１２）とすると、（（Ｗ１Ｓｒ＋Ｗ２Ｓｒ＋・・・＋Ｗ１２Ｓｒ）−Ｗ７Ｓｒ）／（（Ｗ１Ｃｒ＋Ｗ２Ｃｒ＋・・・＋Ｗ１２Ｃｒ）−Ｗ７Ｃｒ）で求められる。ＧとＢについても同様である。算出した平均値から式（４）〜（６）を使ってホワイトバランス係数を求める動作以降は上記実施の形態１と同一である。

以上のように、この実施の形態２によれば、画面１１を複数の測光枠Ｗ１〜Ｗ１２に分割して、測光枠Ｗ１〜Ｗ１２毎の積分値および画素計数値からホワイトバランス係数を求めるようにしたので、扱うデータ量を少なくすることができ、レジスタ等の回路資源やステップ数等のプログラム量を減らすことができる。

実施の形態３．
図４はこの発明の実施の形態３による撮像処理装置における測光ブロックで区切られた画面を示す説明図である。
この実施の形態３では、画面を複数の画素で構成される測光ブロック（仮想領域）Ｌ，Ｍ，・・・に分割し、積分器５および画素カウンタ６では、測光ブロックＬ，Ｍ毎の各画素の積分値および画素計数値を求め、その測光ブロックＬ，Ｍ内に判定回路４により条件不成立と判定される画素が一つでも存在する場合に、その測光ブロックに関する積分値および画素計数値を（０）クリアしてＣＰＵ７に出力し、ＣＰＵ７ではそれら積分値および画素計数値に応じて、ホワイトバランス係数を求めるようにしたものである。
また、測光ブロックＬ，Ｍ，・・・の構成画素数を画像処理部９による色補間処理の近傍画像参照数に応じて設定するようにしたものである。
なお、図４において、１，２，３・・・は水平座標、Ａ，Ｂ，Ｃ・・・は垂直座標を示し、画素毎の色とその出力レベルを示してある。測光ブロックＬは画素Ａ１〜Ａ３，Ｂ１〜Ｂ３、Ｃ１〜Ｃ３の３×３画素からなる計測域であり、測光ブロックＭはＡ４〜Ａ６，Ｂ４〜Ｂ６，Ｃ４〜Ｃ８である。このようにして画面を３×３画素の測光ブロックに分割してある。
撮像処理装置のその他の構成については、図１と同一である。

次に動作について説明する。
画像処理部９内の色補間処理は、その近傍の画素値を用いて推定する。該当画素が白飛びや黒つぶれである場合のみならず、近傍画素がそのような出力レベルであると色推定に大きく悪影響を及ぼし、ホワイトバランス処理後の画像と色補間処理後の画像が異なりホワイトバランスが整っていないかの如き画像が得られてしまう。この実施の形態３では、この課題を解決するために、測光ブロックＬ，Ｍの構成画素数を画像処理部９による色補間処理の近傍画像参照数に応じて設定するようにしたものである。
上記実施の形態１と同様に、判定回路４に上限閾値Ａとして２５０、下限閾値Ｂとして１０を設定しておく。判定回路４は、測光ブロックＬ内のＡ１の画素から順次閾値との比較を行う。Ａ３までの画素は閾値範囲内であるので、条件成立判定信号として「１」を出力する。これにより積分器５および画素カウンタ６によって、Ｇの積分値（５０＝２０＋３０）と画素係数値（２）、およびＲの積分値（１５０）と画素係数値（１）が得られる。ここで、Ａ３画素の計測が終わると、上記の得られた値および条件成立判定信号は一旦ＣＰＵ７に送出される。また、積分器５および画素カウンタ６をクリアする。次の測光ブロックＭでは同様にＡ４〜Ａ６画素までの積分および画素計数を行う。この動作をＡラインが終了するまで繰り返す。

次の垂直Ｂラインでは、測光ブロックＬの計測が始まるまでにＣＰＵ７からＡラインの計測結果であるＧ積分値（５０）と画素係数値（２）をそれぞれ積分器５と画素カウンタ６にロードする。この時、判定回路４にも条件成立判定信号「１」をロードする。判定回路４は、このＡラインの条件成立判定信号とＢ１〜Ｂ３画素の閾値判定結果の論理積を順次取る。従って、Ｂ１画素は「１」となり積分と画素計数の対象になる。しかし、次のＢ２画素は（２５５）であって閾値外のため条件成立判定信号が「０」となり、Ａラインの条件成立判定信号との論理結果も「０」となる。この論理結果「０」は測光ブロックＬの計測が終了するまでラッチされる。さらに、この論理結果「０」により積分器５と画素カウンタ６をクリアする。次のＢ３画素（７０）は閾値内ではあるが、論理結果「０」がラッチされているためこの画素の値は積分も画素計数も行われない。この動作により、Ｂ３画素計測終了においてＧ色およびＢ色の計測結果は、積分値、計数値および条件成立判定信号ともに「０」となってＣＰＵ７に送出される。測光ブロックＭでは同様に、Ａラインの条件成立判定信号とＢ４〜Ｂ６の画素毎の条件成立判定信号の論理積に基づいて積分と画素計数を順次行う。

次の垂直Ｃラインでは、測光ブロックＬにおいてはＢラインまでの条件成立判定結果が「０」であるので、このＣ１〜Ｃ３画素の積分値および画素計数値は「０」となる。従って、測光ブロックＬの積分値および画素計数値は「０」が得られることになる。測光ブロックＬ領域の計測が終了した時点、即ちＣ３画素の計測が完了すると積分器５および画素カウンタ６はクリアせずにその値を持続する。次の測光ブロックＭのＣ４画素入力時には、ＡラインおよびＢラインの積分値および画素計数値がＣＰＵ７よりロードされると同時に測光ブロックＬの計測値が加算される。ついで、Ｃ４〜Ｃ６画素までの計測動作が順次行われる。この動作を１画面内で繰り返すことにより積分値および画素計数値を計測する。この計測値からホワイトバランス係数を求めてホワイトバランス処理を行う動作は上記実施の形態１と同様である。

以上のように、この実施の形態３によれば、閾値範囲外の画素があった場合には、その近傍の画素が閾値範囲内でも積分および画素計数対象外としたため、その測光ブロックにおける密度の高い高輝度部近傍や低輝度部近傍の画像信号をホワイトバランス係数の算出から除外可能なことから、正確なホワイトバランス係数を算出することができる。
特に、色補間処理の近傍画素参照数と測光ブロックの構成画素数とを同一にすることは、白飛びや黒つぶれ等のホワイトバランスへの影響を抑えつつ、得られる撮像信号の相関が取られており、より高画質な撮像画像を得ることができる。
さらには、用いるレンズの解像度の性能によっては、被写体の高輝度部や低輝度部がその周辺部に広がってしまうためにその影響をも除去することができる。

なお、上記実施の形態３では、水平方向のブロック処理が終了する度に得られた計測値をＣＰＵ７に一旦送出し、次の該当ブロックの開始前に再びＣＰＵ７からロードして順次積分することにした。しかし、上記構成は例えば、積分器、画素カウンタおよびそれら値の一時保持用記憶素子（レジスタ等）をブロック数分有する構成とすることで、ホワイトバランス計測部２内のみで計測処理を実行する構成でも良い。また、カメラヘッド１からの信号を少なくとも１ライン分および２ライン分だけ遅延出力させるラインメモリと、ブロック内の少なくとも１画素分および２画素分だけ遅延出力させる画素バッファをホワイトバランス計測部２の入力部に設ける。このことにより、図４における測光ブロックＬの場合、Ｃ３画素がホワイトバランス計測部２に入力されるタイミングで、測光ブロックＬ内の全ての画素が同タイミングで信号分離回路３に入力されることになる。従って、ブロック内の全画素を並列処理することでブロック単位での積分値および画素計数値を求めても良い。

さらに、測光ブロックの画素数決定に当たっては、後段の画像処理部９での色補間処理の近傍画素参照数や、光学系（レンズ）の性能等から決定されるものとしたがこの限りではない。例えば、色補間処理の近傍画素参照数が５×５画素である場合は測光ブロックは５×５画素としたり、撮像素子面におけるレンズの分解能（ＭＴＦ等から求められる）が２画素相当距離である場合には２×２画素であったり、その組み合わせにより７×７画素等の設定を行っても良い。

実施の形態４．
図５はこの発明の実施の形態４による撮像処理装置を示す構成図であり、図において、メモリ（記憶手段）１３は、カメラヘッド１およびホワイトバランス演算回路８間に接続され、少なくとも１画面分の記憶容量を有したものである。
また、ＣＰＵ（制御手段）１４は、上記実施の形態１で示した機能に加え、モードＦ、すなわち、カメラヘッド１からの画像信号に応じたホワイトバランス係数を求め、その後カメラヘッド１からの画像信号をその求めたホワイトバランス係数に基づいてホワイトバランス処理を行うモードと、モードＳ、すなわち、カメラヘッド１からの画像信号をメモリ１３に記憶すると共に、その画像信号に応じたホワイトバランス係数を求め、メモリ１３に記憶した画像信号をその求めたホワイトバランス係数に基づいてホワイトバランス処理を行うモードとに切換え自在にしたものである。
その他の構成については、図１と同一である。

次に動作について説明する。
ホワイトバランス処理として２つのモードを有する。まず、モードＦは矢印Ｆの画像信号の流れとなる。これは上記実施の形態１から上記実施の形態３と同様な動作であり、ホワイトバランス処理は少なくとも１画面前の画像信号を用いて計測した結果に応じて算出されたホワイトバランス係数に基づいて行われるものである。

次に、矢印Ｓ１および矢印Ｓ２で示すモードＳについて説明する。モードＳでは画像信号がホワイトバランス計測部２に入力されると共にメモリ１３にも入力されて１画面分の画像信号が蓄積される(矢印Ｓ１)。従って、画面終了時にはホワイトバランス計測部２から該当画面の積分値および画素計数値が得られ、メモリ１３中に該当画面の画像信号が記憶されていることになる。次に、得られた計測結果からＣＰＵ１４によってホワイトバランス係数を算出する。算出が終了後、ホワイトバランス演算回路８に該係数を設定する。この後、メモリ１３から記憶された画像信号を読み出しホワイトバランス演算回路８に入力しホワイトバランスの取れた撮像画像を得る（矢印Ｓ２）。このようにして撮像した画面自身に基づくホワイトバランス情報（積分値および画素計数値）によってホワイトバランス処理を行う。これらのモードの切換えはＣＰＵ１４によってメモリ１３の動作等の制御を行う。

モードＦとモードＳとでは以下のような相違がある。まず、モードＦはより高速な撮像画像を得る場合のホワイトバランス処理に適している。例えば、多くのデジタルカメラが持つ撮像確認用として液晶等に表示するプレビュー動作や動画撮影時に適している。他方、モードＳではより精細かつ高画質な撮像画像を得る場合のホワイトバランス処理に適している。

ここで、各モードに対応するカメラヘッド１から得られる画像信号について以下に説明する。高速な撮像を行う場合には画像信号の画面周期（フレームレート）が高いことが要求される。従って、一般的にはモードＦの場合、「高速読出し」等と呼称され撮像素子の有する画素から所定の間隔で間引かれた画素分の信号出力が得られる動作と対応している。他方、モードＳは「全画素読出し」等と呼称され撮像素子の全画素の信号が読み出される動作を用いている。例えば、１２８０×９６０画素の画素を持つカメラヘッドの場合「高速読出し」では垂直方向に４ライン毎に間引かれた１２８０×２４０画素が出力される。「全画素読出し」では１２８０×９６０画素が出力される。従って、ホワイトバランス計測部２にはモード毎に異なる画素数が入力されるため、得られる色毎の積分値と画素計数値が異なってしまう。このため以下の動作を行う。

まず、モードＳの状態で撮像状態にある場合には１２８０×９６０画素を対象に色毎の積分値および画素計数値を求める。次に、モードＦに移行するとホワイバランス計測部２はタイミング発生部１０からの４ライン毎の画像同期信号に従って色毎の積分値および画素計数値を求める。よって、計測対象画素数は１２８０×２４０画素となりモードＦの計測画素数と一致する。
このように、撮像すべき処理画素数が異なる場合にもホワイトバランス計測においてその計測画素数を一致させるように構成したため、積分器５および画素カウンタ６の構成を同一の容量で構成することができる。また、ホワイトバランス係数の算出の際も同一の計算用レジスタ等の構成とすることができる。

以上のように、この実施の形態４によれば、高速な撮像画像を得る場合のホワイトバランス処理や、より精細かつ高画質な撮像画像を得る場合のホワイトバランス処理に切換えることができ、撮像目的に応じたホワイトバランス処理が可能となり、より高精度のホワイトバランス処理を実現することができる。

上記実施の形態４では、垂直方向にライン間引きが行われる撮像素子の例を挙げたが、用いる撮像素子が水平方向、あるいは水平と垂直の両方向で間引かれたものであれば、それに合わせてホワイトバランス計測部２の計測画素数を変えれば良い。また、上記実施の形態４は、上記実施の形態１から上記実施の形態３にも適用可能である。

この発明の実施の形態１による撮像処理装置を示す構成図である。 画像信号レベルと上限閾値Ａ、下限閾値Ｂとの関係を示した説明図である。 この発明の実施の形態２による撮像処理装置における測定枠で区切られた画面を示す説明図である。 この発明の実施の形態３による撮像処理装置における測光ブロックで区切られた画面を示す説明図である。 この発明の実施の形態４による撮像処理装置を示す構成図である。

符号の説明

１ カメラヘッド（撮像手段）、２ ホワイトバランス計測部、３ 信号分離回路、４ 判定回路（判定手段）、５ 積分器（積分手段）、６ 画素カウンタ（計数手段）、７，１４ ＣＰＵ（制御手段）、８ ホワイトバランス演算回路（演算手段）、９ 画像処理部（画像処理手段）、１０ タイミング発生部、１１ 画面、１２ 画素、１３ メモリ（記憶手段）、Ｌ，Ｍ 測光ブロック（仮想領域）、Ｗ１〜Ｗ１２ 測光枠（仮想領域）。

Claims (1)

1. 撮像した被写体に応じて、光の三原色からなる画素単位の画像信号を生成する撮像手段と、
   白飛び領域に応じた閾値および黒つぶれ領域に応じた閾値を各色毎に設定され、上記撮像手段により生成された画像信号を各画素毎に、該当する色のそれら白飛び領域に応じた閾値および黒つぶれ領域に応じた閾値間に存在するか判定する判定手段と、
   上記判定手段により条件成立判定された画像信号を各色毎に積分する積分手段と、
   上記判定手段により条件成立判定された画素数を各色毎に計数する計数手段と、
   上記積分手段により積分された積分値および上記計数手段により計数された計数値に応じて各色毎のホワイトバランス係数を求める制御手段と、
   上記制御手段により求められたホワイトバランス係数に基づいて上記撮像手段により生成された画像信号のホワイトバランス処理を行う演算手段と、
   上記演算手段により処理された画像信号の色補間処理を行う画像処理手段とを備え、
   上記積分手段および上記計数手段は、
   画面が予め複数の仮想領域に分割され、それら仮想領域毎に積分値および計数値を出力し、
   上記制御手段は、
   上記計数手段により計数された仮想領域分の計数値が予め定められた値以下の場合に、その仮想領域に関する積分値および計数値を除外してホワイトバランス係数を求めることを特徴とする撮像処理装置。

Images