JP5166860B2 - 画像処理装置及び方法、及び撮像装置 - Google Patents

Description

本発明は、撮像装置のホワイトバランス制御に関するものである。

従来、撮像装置のホワイトバランス補正制御として、オートホワイトバランス、ホワイトバランスセット、ホワイトバランスプリセットなどがある。オートホワイトバランスは、被写体の画像データの情報をもとに、適正なホワイトバランスになるように自動制御するものである。

また、従来技術として、白飛び黒つぶれの閾値を色毎に設定し、分割領域毎にその閾値間の積分値と画素数を得て、それらを基にホワイトバランス演算を行うものがある（特許文献１）。

更に、他の従来技術として、分割エリアのＲＧＢ積算値をＩＳＯ感度に応じて設定している閾値と比較し、積算値が閾値を越えた分割エリアに対して光源を判定し、ホワイトバランス調整を行うものがある（特許文献２）。

特許第３８３９４２９号 特開２００４−２９７６５０号公報

しかしながら、従来の撮像装置のオートホワイトバランス制御においては、以下のような問題があった。例えば、図１３（ａ）に示すように、パン、チルト、ズームなどのカメラワーク、あるいは、被写体の動きによって画像が変化した際には、光源環境自体には変化が無い。それにも関わらず、ホワイトバランス制御が過敏に反応し、ホワイトバランス制御が不安定になってしまうことがあった。また、図１３（ｂ）に示すように、撮像装置を急に屋外から室内に向けるなど、光源環境が大きく変化した際、被写体の色味によっては、ホワイトバランス制御が環境の変化に追従できず、画像の色味が不自然になってしまうことがあった。さらに、画像中の細かい絵柄のエッジ付近に存在するノイズ成分や、低照度撮影のゲインアップによるノイズ成分の影響で、ホワイトバランス制御が誤動作してしまうことがあった。

また、特許文献１の方法では、画素の輝度情報のみを使うため、被写体の混色の影響を取り除くことはできない。また、画像の細かさ、顔領域の有無、フォーカスの具合、ゲインアップ値などの画像の特徴量については、考慮していないため、オートホワイトバランス制御の性能が、被写体や画像中のノイズ成分の影響を大きく受けてしまっていた。

特許文献２の方法はエリア単位の閾値処理であるため、局所的なノイズ成分の影響を排除できない。また、輝度情報のみを用いるため、被写体の混色の影響を取り除くことはできず、オートホワイトバランス制御の精度が、被写体や画像中のノイズ成分の影響を大きく受けて左右されてしまう。

本発明は上記問題点を鑑みてなされたものであり、撮像装置のオートホワイトバランス制御において、ノイズ成分の影響を軽減し、光源環境が変化しない時の安定性、および、光源環境が変化する際の追従性を向上させることを目的とする。

上記目的を達成するために、撮像を行って得られた画像の画像信号を処理する本発明の画像処理装置は、前記画像を分割した複数の分割領域それぞれについて、前記画像の画像信号の内、白色を表す画像信号の範囲として設定された白検出範囲内にある画像信号を有する白色画素を抽出して、該白色画素の画像信号を積算し、前記分割領域毎に積算した白色データを出力する取得手段と、前記複数の分割領域それぞれについて、画像の特徴量を検出する特徴量検出手段と、前記検出された特徴量に応じて、前記複数の分割領域それぞれの重み値を設定する設定手段と、前記複数の分割領域それぞれの白色データを、前記設定手段により設定された重み値により加重平均することにより、前記画像の白色データを算出する算出手段と、前記算出手段により算出された前記画像の白色データに基づいて、前記画像信号にホワイトバランス補正を行うホワイトバランス補正手段とを有し、前記特徴量検出手段は、前記分割領域毎の空間周波数及び合焦度の少なくともいずれか一方を特徴量として検出し、前記設定手段は、空間周波数が低いほど、また、合焦度が高いほど、前記重み値を高くする。

また、撮像を行って得られた画像の画像信号を処理する本発明の画像処理方法は、取得手段が、前記画像を分割した複数の分割領域それぞれについて、前記画像の画像信号の内、白色を表す画像信号の範囲として設定された白検出範囲内にある画像信号を抽出して積算し、前記分割領域毎に積算した白色データを出力する取得工程と、特徴量検出手段が、前記複数の分割領域それぞれについて、画像の特徴量を検出する特徴量検出工程と、設定手段が、前記検出された特徴量に応じて、前記複数の分割領域それぞれの重み値を設定する設定工程と、算出手段が、前記複数の分割領域それぞれの白色データを、前記設定手段により設定された重み値により加重平均することにより、前記画像の白色データを算出する算出工程と、ホワイトバランス補正手段が、前記算出工程で算出された前記画像の白色データに基づいて、前記画像信号にホワイトバランス補正を行うホワイトバランス補正工程とを有し、前記特徴量検出工程では、前記分割領域毎の空間周波数及び合焦度の少なくともいずれか一方を特徴量として検出し、前記設定工程では、空間周波数が低いほど、また、合焦度が高いほど、前記重み値を高くする。

本発明によれば、撮像装置のオートホワイトバランス制御において、ノイズ成分の影響を軽減し、光源環境が変化しない時の安定性、および、光源環境が変化する際の追従性を向上させることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

図１は、本実施の形態における画像処理を行う撮像装置の概観を示す斜視図である。

なお撮像装置としては、例えば、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯端末（カメラ付き携帯電話を含む）等があり、被写体の光学像を変換して電気的な画像信号を出力可能なものであれば、本発明を適用することが可能である。

１２０は撮像装置本体である。撮像装置本体１２０内部には、ＤＶＤディスク、磁気テープおよびメモリカードなどの記録媒体が収納され、画像信号および静止画像を記録、再生できるようになっている。１２１はレンズ部である。１２２はマイクであり、撮影時の音声を記録するために備えられている。１２３は電子式ビューファインダ（ＥＶＦ）であり、使用者はＥＶＦを覗き込むことにより、撮影時に被写体の状態や画角などを確認することができる。

１２４は動画用トリガースイッチである。動画用トリガースイッチ１２４はプッシュボタンであり、動画撮影開始および終了を機器に伝達するために使用者が操作するスイッチである。１２５は静止画用トリガースイッチである。静止画用トリガースイッチ１２５はプッシュボタンであり、静止画撮影開始および終了を機器に伝達するために使用者が操作するスイッチである。

１２６はモードダイヤルであり、回転式のスイッチからなる。モードダイヤル１２６では、例えば再生モードに設定する「再生」、撮影モードに設定する「カメラ」およびそのいずれでもない「ＯＦＦ」のいずれかを選択できる。

１２７は操作スイッチ群であり、使用者が本体を操作するため、ホワイトバランスモードを入力するためのキーや、その他のメニュー操作や再生系の操作などのためのキーが配置されている。

１２８は本体側面に開閉自在となるように取り付けられた液晶パネルであり、撮影時にはＥＶＦ１２３と同様に被写体像の確認に、また、再生時には再生画像の表示に主に使用される。液晶パネル１２８は、本体１２０から開いている状態で、さらに水平方向にも回転可能になっている。

１２９はスピーカであり、再生するときに音声を出力するために設けられている。１３０はバッテリであり、本体１２０と着脱可能になっている。

＜第１の実施形態＞
図２は、本発明の第１の実施形態における上記構成を有する画像処理を行う撮像装置の機能構成の概略を示すブロック図である。

図２において、１０１はレンズ群であり、レンズ群１０１の後方には絞り１０２が配置されている。なお、図２では１枚のレンズにより表しているが、通常複数のレンズの組み合わせにより構成されている。レンズ群１０１及び絞り１０２を通過した光は、イメージセンサ１０５の結像面上に被写体の光学像として結像される。イメージセンサ１０５において、結像された被写体の光学像は、画像信号に変換されて出力される。

イメージセンサ１０５から出力された画像信号は、信号処理部１１２に送られる。画像信号は信号処理部１１２において、ホワイトバランス補正処理を含む所定の処理を施され、ディスプレイ１１６に出力されるか、あるいは、磁気テープ１１５、ＤＶＤディスク１１７、メモリカード１１８などの記録媒体に記録される。

１０７はホワイトバランス（ＷＢ）検出部であり、図３に示すように、画像を水平、垂直方向に分割して、分割領域である複数のホワイトバランス（ＷＢ）検出枠４０１を設定する。そして、各ホワイトバランス検出枠４０１内の画素について、輝度データおよび色データが、あらかじめ設定された閾値により決められた範囲（以下、「白検出範囲」と呼ぶ。）内にあって白色と見なせる画素のみを抽出する。そして、抽出した画素の画像信号（輝度データ、色データ）を積分することで、ホワイトバランス検出枠４０１毎の白色データを検出する。検出されたホワイトバランス検出枠４０１毎の白色データは、カメラマイコン１１１に送られる。

１０８は画像特徴量検出部であり、ホワイトバランス検出枠４０１毎に対応する領域の画像の特徴量を検出し、検出した特徴量をカメラマイコン１１１に送る。ここで、画像の特徴量は、白色画素数、空間周波数成分、合焦度、顔領域の有無のうち、一つもしくは複数である。

カメラマイコン１１１は、ホワイトバランス検出枠４０１毎の画像特徴量に応じて、ホワイトバランス検出枠４０１毎に対応する領域の重み付けを設定する。そして、設定した重み付けに従って、ホワイトバランス検出枠４０１の白色データの加重平均を求めることにより、画面全体の白色データを算出する。算出された画面全体の白色データが所望の白色を示すデータとなるように、信号処理部１１２を通じて画像を撮影するためのホワイトバランス補正を行い、画像のホワイトバランスが適正になるように処理する。なお、このホワイトバランス補正制御については、後で詳しく述べる。

更に、カメラマイコン１１１は、センサ駆動部１０６を通じて、イメージセンサ１０５における電荷蓄積、読み出しなどの駆動制御を行う。また、レンズ制御部１０３を通じて、レンズ群１０１のフォーカス、ズームなどの制御を行う。また、イメージセンサ１０５から得られる画像データから求められる被写体の輝度情報を用いて、絞り制御部１０４を通じて、絞り１０２の制御を行い、合わせてシャッタースピードの制御を行うことで、露出制御を行う。また、レンズ制御部１０３を通じてレンズ群１０１を駆動するか、あるいは、信号処理部１１２を制御することにより、使用者の撮影時の手ぶれを補正することもできる。

次に、本第１の実施形態におけるホワイトバランス補正制御について、図４のフローチャートを参照しながら説明する。ここでは、ホワイトバランス補正制御のうち、本第１の実施形態の特徴であるオートホワイトバランスモードに限定して説明をする。

図４は、本第１の実施形態におけるホワイトバランス補正制御処理を示すフローチャートである。

電源が投入されると処理が開始され（ステップＳ１０１）、カメラマイコン１１１は、ホワイトバランスモードの判別を行う（ステップＳ１０３）。ここでは、ホワイトバランスモードがオート以外の場合のホワイトバランス補正処理の詳細は省略する。ホワイトバランスモードがオートの場合、ＷＢ検出部１０７は画素の輝度データ及び色データについて、白色画素と見なせる白検出範囲を設定する（ステップＳ１０４）。ここで、設定される白検出範囲は、被写体の明るさ情報や直前のホワイトバランス補正量から求まる光源の色温度情報に応じて、ダイナミックに変更される。次に、ホワイトバランス検出枠４０１毎に、輝度データ及び色データがあらかじめ設定された白検出範囲内であり白色と見なせる画素のみの画素データを積分することで、ホワイトバランス検出枠４０１毎の白色データを検出する（ステップＳ１０７）。

次に、画像特徴量検出部１０８により、ホワイトバランス検出枠４０１毎に対応する領域の画像の特徴量を取得する（ステップＳ１０９）。なお、画像の特徴量は、上述したように、白色画素数、空間周波数成分、合焦度、顔領域の有無のうち、一つもしくは複数である。そして画像特徴量検出部１０８は、取得した画像の特徴量を、カメラマイコン１１１に送る。

続いて、カメラマイコン１１１は、画像特徴量検出部１０８から送られたホワイトバランス検出枠４０１毎に対応する領域の画像の特徴量に応じて、各ホワイトバランス検出枠４０１に対する重み付けを設定する（ステップＳ１１０）。

画像の特徴量に応じた重み付けとしては、ホワイトバランス検出枠内の白色画素数が多いほど、白色データとしての信頼度が高くなるので、そのホワイトバランス検出枠に対する重み付けを重くする。また、ホワイトバランス検出枠内の空間周波数が高いほど、画像中に細かい絵柄を多く含み、エッジ付近のノイズ成分が多くなるので、そのホワイトバランス検出枠に対する重み付けを軽くする。このようにすることで、画像中の細かい絵柄のエッジ付近に存在するノイズ成分の影響を排除することができるため、画面内の白色データの抽出をより高精度に行うことができる。

また、顔領域を含むホワイトバランス検出枠は肌色成分を多く含むため、そのホワイトバランス検出枠に対する重み付けを軽くする。このようにすることで、白色データ算出において白色に近い肌色領域を誤って白色と誤判定した場合の影響を低減することができる。更に、ホワイトバランス検出枠内の合焦度が高いほど、主被写体の白色成分を多く含むため、そのホワイトバランス検出枠に対する重み付けを重くする。このようにすることで、主被写体に含まれる白色成分をより正確に抽出することができる。

次に、設定した重み付けに従って、ホワイトバランス検出枠４０１の白色データの加重平均を求めることで、画面全体の白色データを算出する（ステップＳ１１２）。続いて、信号処理部１１２では、算出された画面全体の白色データが所望の値となるように、画像を撮影するためのホワイトバランス補正を行い、画像のホワイトバランスが適正になるように処理する（ステップＳ１１４）。

以上の処理を行った後、撮影が継続されているかどうかの判定を行い（ステップＳ１１６）、電源が切断されて制御が終了するまで、ホワイトバランスモード判別（ステップＳ１０３）からの処理を繰り返す。電源が切断されると、処理を終了する（ステップＳ１２０）。

上記の通り本第１の実施形態によれば、画面内の白色データの抽出をより高精度に行うことができるため、オートホワイトバランス制御における安定性と追従性の向上を実現できる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

図５は、本第２の実施形態における画像処理を行う撮像装置の機能構成の概略を示すブロック図である。図５において、図２と同様の構成には同じ参照番号を付し、説明を省略する。図５の構成は、図２の構成と比較して、顔領域検出部２０９が更に追加されている点が異なる。これに伴い、画像特徴量検出部２０８及びカメラマイコン２１１及び信号処理部２１２における処理が、上述した第１の実施形態の画像特徴量検出部１０８及びカメラマイコン１１１と異なる。

次に、本第２の実施形態におけるホワイトバランス補正制御について、図６のフローチャートを参照しながら説明する。ここでは、ホワイトバランス補正制御のうち、本第２の実施形態の特徴であるオートホワイトバランスモードに限定して説明をする。

図６は、本第２の実施形態のホワイトバランス補正制御処理を示すフローチャートである。電源が投入されると（ステップＳ２０１）、顔領域検出部２０９は、イメージセンサ１０５から出力された画像信号から、画像中の顔領域を検出し、顔領域情報を画像特徴量検出部２０８及びカメラマイコン２１１に送る（ステップＳ２０２）。続いて、カメラマイコン２１１は、ホワイトバランスモードの判別を行う（ステップＳ２０３）。ここでは、ホワイトバランスモードがオート以外の場合のホワイトバランス補正処理の詳細は省略する。ホワイトバランスモードがオートの場合、ＷＢ検出部１０７は画素の輝度データ及び色データについて、白色画素と見なせる白検出範囲を設定する（ステップＳ２０４）。ここで、設定される白検出範囲は、被写体の明るさ情報や直前のホワイトバランス補正量から求まる光源の色温度情報に応じて、ダイナミックに変更される。次に、ホワイトバランス検出枠４０１毎に、輝度データ及び色データが、あらかじめ設定された白検出範囲内であり白色と見なせる画素のみの画素データを積分することで、ホワイトバランス検出枠４０１毎の白色データを検出する（ステップＳ２０７）。

次に、画像特徴量検出部２０８は、顔領域を含むホワイトバランス検出枠４０１を演算から除外し（ステップＳ２０８）、顔領域を含まないホワイトバランス検出枠４０１毎に対応する領域の画像の特徴量を取得する（ステップＳ２０９）。ここで、本第２の実施形態における画像の特徴量は、白色画素数、空間周波数成分、合焦度のうち、一つもしくは複数である。そして画像特徴量検出部２０８は、取得した画像の特徴量を、カメラマイコン２１１に送る。

カメラマイコン２１１では、ＷＢ検出部１０７から送られた白色データのうち、顔領域検出部２０９からの顔領域情報に基づいて、顔領域を含むホワイトバランス検出枠４０１の白色データを、以降の演算から除外する。

続いて、カメラマイコン２１１は、画像特徴量検出部２０８から送られたホワイトバランス検出枠４０１毎に対応する領域の画像の特徴量に応じて、各ホワイトバランス検出枠４０１に対する重み付けを設定する（ステップＳ２１０）。重み付けの決定方法は、上述した第１の実施形態と同様であるが、本第２の実施形態では、顔領域検出部２０９からの顔領域情報に基づいて、顔領域を含むホワイトバランス検出枠４０１を処理から除外する。

次に、設定した重み付けに従って、顔領域を含むホワイトバランス検出枠４０１以外のホワイトバランス検出枠４０１の白色データの加重平均を求めることで、画面全体の白色データを算出する（ステップＳ２１２）。続いて、信号処理部２１２では、算出された画面全体の白色データが所望の値となるように、画像を撮影するためのホワイトバランス補正を行い、画像のホワイトバランスが適正になるように処理する（ステップＳ２１４）。

以上の処理を行った後、撮影が継続されているかどうかの判定を行い（ステップＳ２１６）、電源が切断されて制御が終了するまで、顔領域検出（ステップＳ２０２）からの処理を繰り返す。電源が切断されると、処理を終了する（ステップＳ２２０）。

上記の通り本第２の実施形態によれば、顔領域を含むホワイトバランス検出枠を演算から除外し、顔領域を含まないホワイトバランス検出枠の色データにより、画面全体の色データを算出する。これにより、白色データ算出において白色に近い肌色領域の画素が白色として誤検出されることを排除することができるため、画面内の白色データの抽出をより高精度に行うことができる。従って、オートホワイトバランス制御における安定性と追従性の向上を実現できる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

本第３の実施形態では、上述した第１の実施形態におけるホワイトバランス補正制御処理が異なる。なお、撮像装置の機能構成は、図２に示すものと同様であるため、説明を省略する。

本第３の実施形態におけるホワイトバランス補正制御について、図７のフローチャートを参照しながら説明する。なお、図４に示す処理と同様の処理には同じステップ番号を付し、適宜説明を省略する。

ステップＳ１０４で白色画素と見なせる白検出範囲を設定すると、複数のホワイトバランス検出枠４０１すべてにおける輝度データおよび色データが、あらかじめ設定された白検出範囲内であり白色と見なせる画素の数を取得する（ステップＳ３０５）。続いて、取得した白色画素数が、あらかじめ設定された閾値以上かどうかを確認する（ステップＳ３０６）。白色画素数が、あらかじめ設定された閾値に満たない場合には、ホワイトバランス補正処理を変更せずに、ステップＳ１１６に進む。

一方、白色画素数が、あらかじめ設定された閾値以上の場合には、ステップＳ１０７に進んで、ステップＳ１０７〜Ｓ１１４の処理を実行する。

上記の通り本第３の実施形態によれば、白色画素数があらかじめ設定された値以上のときのみ、ホワイトバランス補正制御を行う。これにより、ノイズ成分の影響を排除することができ、画面内の白色データの抽出をより高精度に行うことができるため、オートホワイトバランス制御における安定性と追従性の向上を実現できる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。

図８は、本第４の実施形態における画像処理を行う撮像装置の機能構成の概略を示すブロック図であり、図２と同様の構成には同じ参照番号を付し、説明を省略する。図８に示す撮像装置では、ＷＢ検出部４０７が、ホワイトバランス検出枠４０１毎に白画素の検出及びその画素データの積分を行うことに加えて、検出した白画素数をカウントし、カメラマイコン４１１に送る。

次に、上記構成を有する撮像装置における本第４の実施形態のホワイトバランス補正制御処理について図９を参照して説明する。なお、図４と同様の処理には同じステップ番号を付し、適宜説明を省略する。

ステップＳ１０４で白色画素と見なせる白検出範囲を設定すると、ホワイトバランス検出枠４０１毎に、輝度データおよび色データが、あらかじめ設定された白検出範囲内であり白色と見なせる画素の数を取得する（ステップＳ４０５）。続いて、予め設定された閾値以上の白色画素数を含むホワイトバランス検出枠４０１が存在するかどうかを判定する（ステップＳ４０７）。

白色画素を予め設定された閾値以上含んでいるホワイトバランス検出枠４０１が存在しない場合には、ホワイトバランス補正処理を変更せずに、ステップＳ１１６に進む。

一方、白色画素を予め設定された閾値以上含んでいるホワイトバランス検出枠４０１が存在する場合には、該当するホワイトバランス検出枠４０１について、白色画素の画素データを積分し、白色データを取得する（ステップＳ４０８）。

続いて、ホワイトバランス検出枠４０１毎の白色画素数に応じて、各ホワイトバランス検出枠４０１に対する重み付けを設定する（ステップＳ４１０）。ここで、白色画素数が多いほど、白色データとしての信頼度が高くなるので、白色画素数がより多いホワイトバランス検出枠４０１に対して重み付けをより重くする。

そして、設定した重み付けに従って、ホワイトバランス検出枠４０１の白色データの加重平均を求めることで、画面全体の白色データを算出する（ステップＳ１１２）。

上記の通り本第４の実施形態によれば、各ホワイトバランス検出枠４０１に含まれる白色画素数が閾値より多いホワイトバランス検出枠４０１の白色画素の画像データを用いるため、局所的なノイズ成分の影響を軽減することができる。また、各ホワイトバランス検出枠４０１に含まれる白色画素数に応じて、白色画素の画像データの加重平均を求めるため、画面内の白色データの抽出をより高精度に行うことができる。これにより、オートホワイトバランス制御における安定性と追従性の向上を実現できる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。

本第５の実施形態は、上述した第４の実施形態と比較して、白色画素数を比較する閾値を、イメージセンサ１０５から読み出された画像信号にかけるゲイン値に応じて変えるところが異なる。図１０は、本第５の実施形態における画像処理を行う撮像装置の機能構成の概略を示すブロック図であるが、上述した点を明確にするために、図８の構成に加えて、画像信号を増幅するゲイン調整部５０９を示している。ゲイン調整部５０９は、被写体の照度や、イメージセンサ１０５から読み出された画像信号の信号レベルに応じて、適切な信号レベルとなるように、画像信号にゲインをかける。

次に、図１１を参照して、本第５の実施形態におけるホワイトバランス補正制御処理について説明する。なお、図９と同様の処理には同じステップ番号を付し、適宜説明を省略する。

ステップＳ４０５において、ホワイトバランス検出枠４０１毎に、輝度データおよび色データが、あらかじめ設定された白検出範囲内であり白色と見なせる画素の数を取得すると、ステップＳ５０６に進む。そして、ゲイン調整部５０９に設定されているゲイン値に応じて、演算に使うホワイトバランス検出枠４０１を判別するために用いる白色画素数の閾値Ｔｈを設定する（ステップＳ５０６）。ここで、低照度の撮影時のようにゲイン値が高い場合には、画像中のノイズ成分が増加するため、白色画素数の閾値Ｔｈを高めに設定することで、ノイズ成分の影響を軽減することができる。

続いて、ステップＳ５０６において設定された閾値Ｔｈ以上の白色画素数を含むホワイトバランス検出枠４０１が存在するかどうかを判定する（ステップＳ５０７）。

白色画素を閾値Ｔｈ以上含んでいるホワイトバランス検出枠４０１が存在しない場合には、ホワイトバランス補正処理を変更せずに、ステップＳ１１６に進む。

一方、白色画素を閾値Ｔｈ以上含んでいるホワイトバランス検出枠４０１が存在する場合には、該当するホワイトバランス検出枠４０１毎に、白色画素の画像データを積分し、白色データを検出する（ステップＳ４０８）。以降の処理は、第４の実施形態と同様である。

上記の通り本第５の実施形態によれば、演算に使うホワイトバランス検出枠を判別するために用いる白色画素数の閾値を、ゲイン値に応じて設定することで、低照度の撮影時にゲインアップにより増加するノイズ成分の影響を軽減することができる。これにより、画面内の白色データの抽出をより高精度に行うことができるため、オートホワイトバランス制御における安定性と追従性の向上を実現できる。

＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。本発明の第６の実施形態における画像処理を行う撮像装置の機能構成は、図２に示すものと同様であるため、説明を省略するが、上述した第１の実施形態とはホワイトバランス補正制御処理が異なる。

以下、本第６の実施形態におけるホワイトバランス補正制御について、図１２のフローチャートを参照して説明するが、図１１に示すフローチャートと同様の処理については同じステップ番号を付し、適宜説明を省略する。

ホワイトバランスモードがオートであると判別されると（ステップＳ１０３でＹＥＳ）、特徴量として画像の空間周波数成分を画像特徴量検出部１０８から取得する（ステップＳ６０３）。続いて、白色画素と見なせる白検出範囲を設定し（ステップＳ１０４）、ホワイトバランス検出枠４０１毎に、白色と見なせる画素の数を取得する（ステップＳ４０５）。

そして、ステップＳ６０３で取得した画像の空間周波数成分に応じて、演算に使うホワイトバランス検出枠を判別するために用いる白色画素数の閾値Ｔｈを設定する（ステップＳ６０６）。ここで、画像中に細かい絵柄を多く含み、空間周波数成分が高い場合には、エッジ付近のノイズ成分が増加するため、白色画素数の閾値Ｔｈを高めに設定することで、画像中の細かい絵柄のエッジ付近に存在するノイズ成分の影響を軽減することができる。

ステップＳ５０７以降の処理は、第５の実施形態で上述した図１１のステップＳ５０７以降の処理と同様であるため、説明を省略する。

ここでは、画像特徴量として、画像全体の空間周波数成分を検出する場合について説明したが、画像全体ではなく、ホワイトバランス検出枠４０１毎の空間周波数成分を検出するようにしても良い。この場合には、演算に使うホワイトバランス検出枠を判別するために用いる白色画素数の閾値Ｔｈｎを、ホワイトバランス検出枠４０１毎に該当する空間周波数成分に応じて設定する（ステップＳ６０６）。そして、ホワイトバランス検出枠４０１毎に取得した白色画素数を閾値Ｔｈｎ以上含んでいるホワイトバランス検出枠４０１が存在するかどうかを確認するようにする（ステップＳ５０７）。

以上述べたように、演算に使うホワイトバランス検出枠を判別するために用いる白色画素数の閾値を、画像の空間周波数に応じて設定することで、画像中の細かい絵柄のエッジ付近に存在するノイズ成分の影響を軽減することができる。これにより、画面内の白色データの抽出をより高精度に行うことができるため、オートホワイトバランス制御における安定性と追従性の向上を実現できる。

なお、上記実施の形態では、白色画素のカウントをＷＢ検出部が行う場合と、画像特徴量検出部が行う場合の２通りを説明したが、いずれが行っても構わないことは言うまでもない。

また、上記の第１〜第６の実施形態で示した例では、画素の輝度データおよび色データについての閾値による処理を１段階の処理で行う説明をしたが、本発明はこれに限るものではない。例えば、輝度データおよび色データの閾値を２段階設定し、第１の閾値による処理をハードウェアで行い、第２の閾値処理をソフトウェアで行うようにし、第２の閾値の範囲を第１の閾値の範囲よりも狭く設定する。さらに、第２の閾値による処理における検出タイミングを第１の閾値による処理における検出タイミングと同等もしくは、より密に設定するようにしてもよい。これにより、白色データの検出精度を維持したまま、ハードウェアの回路規模を削減し、かつ、ソフトウェアにおける処理負荷を軽減することが可能になる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルビデオカメラ、デジタルスチルカメラなど）に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の実施の形態における撮像装置の概観を示す斜視図である。 本発明の第１の実施形態における撮像装置の機能構成の概略を示すブロック図である。 本発明の実施の形態におけるホワイトバランス検出枠を示す概略図である。 本発明の第１の実施形態におけるホワイトバランス補正制御処理を示すフローチャートである。 本発明の第２の実施形態における撮像装置の機能構成の概略を示すブロック図である。 本発明の第２の実施形態におけるホワイトバランス補正制御処理を示すフローチャートである。 本発明の第３の実施形態におけるホワイトバランス補正制御処理を示すフローチャートである。 本発明の第４の実施形態における撮像装置の機能構成の概略を示すブロック図である。 本発明の第４の実施形態におけるホワイトバランス補正制御処理を示すフローチャートである。 本発明の第５の実施形態における撮像装置の機能構成の概略を示すブロック図である。 本発明の第５の実施形態におけるホワイトバランス補正制御処理を示すフローチャートである。 本発明の第６の実施形態におけるホワイトバランス補正制御処理を示すフローチャートである。 同一光源環境下における画像の変化、および、光源環境の大きな変化を示す説明図である。

符号の説明

１０１：レンズ群
１０２：絞り
１０３：レンズ制御部
１０４：絞り制御部
１０５：イメージセンサ
１０６：イメージセンサ駆動部
１０７、４０７：ホワイトバランス検出部
１０８、２０８：画像特徴量検出部
１１１、２１１、４１１：カメラマイコン
１１２：信号処理部
１１５：磁気テープ
１１６：ディスプレイ
１１７：ＤＶＤディスク
１１８：メモリカード
５０９：ゲイン調整部

Claims (16)

1. 撮像を行って得られた画像の画像信号を処理する画像処理装置であって、
   前記画像を分割した複数の分割領域それぞれについて、前記画像の画像信号の内、白色を表す画像信号の範囲として設定された白検出範囲内にある画像信号を有する白色画素を抽出して、該白色画素の画像信号を積算し、前記分割領域毎に積算した白色データを出力する取得手段と、
   前記複数の分割領域それぞれについて、画像の特徴量を検出する特徴量検出手段と、
   前記検出された特徴量に応じて、前記複数の分割領域それぞれの重み値を設定する設定手段と、
   前記複数の分割領域それぞれの白色データを、前記設定手段により設定された重み値により加重平均することにより、前記画像の白色データを算出する算出手段と、
   前記算出手段により算出された前記画像の白色データに基づいて、前記画像信号にホワイトバランス補正を行うホワイトバランス補正手段と
   を有し、
   前記特徴量検出手段は、前記分割領域毎の空間周波数及び合焦度の少なくともいずれか一方を特徴量として検出し、前記設定手段は、空間周波数が低いほど、また、合焦度が高いほど、前記重み値を高くすることを特徴とする画像処理装置。
2. 前記特徴量検出手段は、前記画像から顔領域を検出し、前記設定手段は、前記顔領域を含む分割領域の重み値を、それ以外の分割領域の重み値よりも低くすることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像から顔領域を検出する顔領域検出手段を更に有し、
   前記特徴量検出手段は、前記顔領域を含む分割領域を除く各分割領域について特徴量を検出し、前記算出手段は、前記顔領域を含む分割領域を除く分割領域の白色データの加重平均を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記取得手段は、更に、前記画像全体における白色画素数をカウントし、
   前記画像処理装置は、前記カウントした白色画素数が予め設定された閾値以上であるかどうかを判定する判定手段を更に有し、
   前記算出手段は、前記白色画素数が前記閾値以上の場合に、前記画像の白色データを算出し、閾値未満の場合に、前記画像の白色データを算出しないことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記分割領域それぞれについて、白色画素数をカウントするカウント手段と、
   前記カウントした白色画素数が予め設定された閾値以上であるかどうかを判定する判定手段を更に有し、
   前記算出手段は、前記白色画素数が前記閾値以上の分割領域に含まれる白色データを、前記加重平均の演算に用いることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記画像の画像信号を増幅する増幅手段と、
   前記判定手段で用いる閾値を、前記増幅手段のゲイン値に基づいて設定する閾値の設定手段とを更に有し、
   前記閾値の設定手段は、前記ゲイン値が大きくなるにつれて、より高い閾値を設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記判定手段で用いる閾値を、前記特徴量検出手段により検出された特徴量に基づいて設定する閾値の設定手段を更に有することを特徴とする請求項５に記載の画像処理装置。
8. 前記特徴量は空間周波数であり、前記閾値の設定手段は、前記空間周波数が大きくなるにつれて、より高い閾値を設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記白検出範囲は、第１の閾値と第２の閾値とを用いて２段階に設定され、前記第２の閾値により設定される前記白検出範囲は前記第１の閾値の範囲により設定される前記白検出範囲よりも狭いことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記白検出範囲は、第１の閾値と第２の閾値とを用いて２段階に設定され、前記第２の閾値を用いて白色画素を抽出するタイミングを、前記第１の閾値を用いて白色画素を抽出するタイミングと同じもしくは、より密に設定することを特徴とする請求項１から請求項８のいずれか１項に記載の画像処理装置。
11. 前記第１の閾値を用いる白色画素の抽出をハードウェアで行い、前記第２の閾値を用いる白色画素の抽出をソフトウェアで行うことを特徴とする請求項９または請求項１０に記載の画像処理装置。
12. 請求項１乃至１１のいずれか１項に記載の画像処理装置を含むことを特徴とする撮像装置。
13. 撮像を行って得られた画像の画像信号を処理する画像処理方法であって、
    取得手段が、前記画像を分割した複数の分割領域それぞれについて、前記画像の画像信号の内、白色を表す画像信号の範囲として設定された白検出範囲内にある画像信号を抽出して積算し、前記分割領域毎に積算した白色データを出力する取得工程と、
    特徴量検出手段が、前記複数の分割領域それぞれについて、画像の特徴量を検出する特徴量検出工程と、
    設定手段が、前記検出された特徴量に応じて、前記複数の分割領域それぞれの重み値を設定する設定工程と、
    算出手段が、前記複数の分割領域それぞれの白色データを、前記設定手段により設定された重み値により加重平均することにより、前記画像の白色データを算出する算出工程と、
    ホワイトバランス補正手段が、前記算出工程で算出された前記画像の白色データに基づいて、前記画像信号にホワイトバランス補正を行うホワイトバランス補正工程と
    を有し、
    前記特徴量検出工程では、前記分割領域毎の空間周波数及び合焦度の少なくともいずれか一方を特徴量として検出し、前記設定工程では、空間周波数が低いほど、また、合焦度が高いほど、前記重み値を高くすることを特徴とする画像処理方法。
14. コンピュータに、請求項１３に記載の画像処理方法の各工程を実行させるためのプログラム。
15. 請求項１４に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
16. 撮像を行って得られた画像の画像信号を処理する画像処理装置であって、
    前記画像を分割した複数の分割領域それぞれについて、前記画像の画像信号の内、白色を表す画像信号の範囲として設定された白検出範囲内にある画像信号を有する白色画素を抽出して、該白色画素の画像信号を積算し、前記分割領域毎に積算した白色データを出力する取得手段と、
    前記複数の分割領域それぞれについて、画像の特徴量を検出する特徴量検出手段と、
    前記検出された特徴量に応じて、前記複数の分割領域それぞれの重み値を設定する設定手段と、
    前記分割領域それぞれについて、白色画素数をカウントするカウント手段と、
    前記カウントした白色画素数が予め設定された閾値以上であるかどうかを判定する判定手段と、
    前記画像の画像信号を増幅する増幅手段と、
    前記判定手段で用いる閾値を、前記増幅手段のゲイン値に基づいて設定する閾値の設定手段と、
    前記白色画素数が前記閾値以上の分割領域に含まれる白色データを、前記設定手段により設定された重み値により加重平均することにより、前記画像の白色データを算出する算出手段と、
    前記算出手段により算出された前記画像の白色データに基づいて、前記画像信号にホワイトバランス補正を行うホワイトバランス補正手段と
    を有し、
    前記閾値の設定手段は、前記ゲイン値が大きくなるにつれて、より高い閾値を設定することを特徴とする画像処理装置。

Images