JP6679321B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、ホワイトバランスを調整するために用いて好適なものである。

撮像装置では、撮像素子から得られる複数の色信号を用いてホワイトバランスを補正することが行われる。ホワイトバランスの制御方式の一つとしてホワイトバランスセットがある。ホワイトバランスセットは、予め、撮影環境下で基準となる白い被写体を撮影しながら、ホワイトバランスゲインを操作することで、基準の白が適正な白になるようにホワイトバランスを補正するものである。

具体的には、信号処理回路から得られる色差信号（Ｒ(赤)−Ｙ(輝度)、Ｂ(青)−Ｙ(輝度)）を所定の映像領域分だけ抽出して、ホワイトバランスを補正する手法が知られている。即ち、所定の映像領域を複数の領域に分割し、分割領域毎に抽出した色差信号（ＲＹ信号、ＢＹ信号）の平均値がゼロ近辺の目標範囲となるまで、ホワイトバランスのＲゲインおよびＢゲインをそれぞれ徐々に変更し、撮影している基準の白を無彩色に変更する。

一方、近年のデジタルビデオカメラでは、多画素化や多機能化に伴うデータ量の増加のため、回路規模の縮小が求められている。そのため、色差信号（ＲＹ信号、ＢＹ信号）の検出分解能を低くせざるを得ない場合がある。このような場合、分割領域毎の値を利用すると、色差信号の平均値が目標範囲内になるようにホワイトバランスゲインを制御しても、色差信号の検出分解能が低いため、基準の白を無彩色に引き込みきれない。そこで、分割領域毎ではなく所定の領域の全画素の色差信号の積算値を利用（即ち、分割領域毎に平均化され丸められていたデータまで利用）することで、回路規模の縮小前と同等の性能で、基準の白を無彩色に引き込むようにすることが考えられる。

しかしながら、画素毎の色差信号（ＲＹ信号、ＢＹ信号）の積算値を用いる場合は、映像信号に生じるランダムノイズ等のノイズの影響を受ける虞がある。撮像装置におけるノイズを低減する技術として特許文献１には、カメラの撮影条件に応じて色ノイズ成分を判定して補正する際の補正パラメータを制御することが記載されている。

特開２０１４−１６５８９１号公報

しかしながら、特許文献１に記載の技術では、ノイズを除去するための回路を別途設けなければならない。前述したように、回路規模の縮小のために、画素毎の色差信号の積算値を用いてホワイトバランスゲインを調整する。従って、ノイズを低減するために回路規模を増やす対応は避ける必要がある。
本発明は、このような問題点に鑑みてなされたものであり、回路規模を大幅に増大させることなく、ホワイトバランスゲインを調整する際に受ける映像信号のノイズの影響を低減することを目的とする。

本発明の画像処理装置の第１の例は、映像の所定領域における色差の平均値に基づく色評価値が無彩色の目標範囲に入るように、当該映像に対するホワイトバランスゲインを調整する調整手段と、前記映像におけるノイズ量が相対的に大きい場合における前記無彩色の目標範囲が、前記映像におけるノイズ量が相対的に小さい場合における前記無彩色の目標範囲よりも狭くなるように、前記無彩色の目標範囲を変更する変更手段と、を有することを特徴とする。
本発明の画像処理装置の第２の例は、映像の所定領域における色差の平均値に基づく色評価値が無彩色の目標範囲に入るように、当該映像に対するホワイトバランスゲインを調整する調整手段と、前記映像における前記ホワイトバランスゲインの変化に対する前記色評価値の変化量が相対的に小さい場合における前記無彩色の目標範囲が、前記映像における前記ホワイトバランスゲインの変化に対する前記色評価値の変化量が相対的に大きい場合における前記無彩色の目標範囲よりも狭くなるように、前記無彩色の目標範囲を変更する変更手段と、を有することを特徴とする。

本発明によれば、回路規模を大幅に増大させることなく、ホワイトバランスゲインを調整する際に受ける映像信号のノイズの影響を低減することができる。

デジタルビデオカメラの構成を示す図である。 画像処理部の構成の第１の例を示す図である。 ホワイトバランスセット処理を説明するフローチャートである。 Ｒゲインと色差信号の平均値との関係の第１の例を示す図である。 画素と色差信号との関係の一例を示す図である。 映像信号中のノイズ量の判定処理を説明するフローチャートである。 ゲイン値とベースノイズ量とを記憶するテーブルを示す図である。 補正ノイズ量と無彩色の目標範囲との関係を示す図である。 画像処理部の構成の第２の例を示す図である。 Ｒゲインと色差信号の平均値との関係の第２の例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
＜第１の実施形態＞
まず、第１の実施形態を説明する。
図１は、撮像装置の一例であるデジタルビデオカメラ１００の構成の一例を示す図である。尚、デジタルビデオカメラ１００のハードウェアは、公知の技術で実現することができる。従って、ここでは、デジタルビデオカメラ１００の構成の概要を示し、詳細な説明を省略する。例えば、図１に示す以外の構成をデジタルビデオカメラ１００が有していてもよい。

撮像光学系１０１は、被写体像を結像させるレンズ群、撮像部１０２に入力される光量を調整する絞り、および減光（ＮＤ）フィルタ等を有する。撮像部１０２は、光学像を電気信号に変換する撮像素子を有する。撮像素子として、例えば、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ素子を用いることができる。また、撮像部１０２は、電子シャッターによる電荷の蓄積の制御、アナログゲインの変更、および電荷（画像信号）の読み出し速度の変更等の機能も備える。

Ａ／Ｄ変換器１０３は、撮像部１０２から出力されたアナログの画像信号をデジタルの画像信号（画像データ）に変換する。Ａ／Ｄ変換器１０３から出力される画像データは、制御部１０４を介してメモリ１０５に書き込まれる。メモリ１０５は、ＲＡＭを有し、撮像部１０２によって撮像され、Ａ／Ｄ変換器１０３によりデジタル信号に変換された画像データ等を格納する。メモリ１０５は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１０６は、メモリ１０５に格納されている画像表示用のデータをアナログ信号に変換して表示部１０７に出力する。表示部１０７は、ＬＣＤ（Liquid Crystal Display）等の表示装置を有する。表示部１０７は、Ｄ／Ａ変換器１０６から出力されるアナログの画像信号に応じた表示を行う。また、表示部１０７は、電子ビューファインダとしての機能を有する。

画像処理部１０８は、Ａ／Ｄ変換器１０３から出力された画像データや、メモリ１０５に記憶されている画像データに対して、色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、画像処理部１０８は、画像データを用いて所定の演算処理を行い、その演算の結果を制御部１０４に送信する。

不揮発性メモリ１０９は、電気的に消去・記録が可能なメモリである。不揮発性メモリ１０９として、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ１０９には、制御部１０４の動作用の定数や、プログラム等が記憶される。プログラムには、後述するフローチャートを実行するためのプログラムが含まれる。

制御部１０４は、不揮発性メモリ１０９に記憶されているプログラムを実行することによりデジタルビデオカメラ１００の各部を制御する。このプログラムは、メモリ１０５に展開される。また、制御部１０４は、画像処理部１０８の演算の結果に基づいて、露出制御、測距制御、およびホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＡＷＢ（オートホワイトバランス）処理等が行われる。

操作部１１０は、ユーザーがデジタルビデオカメラ１００に対する指示を行うための各種の操作部材（例えば、スイッチ、ボタン、十字キー）を有する。また、表示部１０７は、タッチパネルを有する。ユーザーは、このタッチパネルの操作によってもデジタルビデオカメラ１００に対する指示を行うことができる。例えば、ユーザーは、操作部１１０を操作することによって、制御部１０４における動作モードを、動画撮影モード、静止画撮影モード、及び再生モードのいずれかに切り替えることができる。このように本実施形態のデジタルビデオカメラ１００は、動画像と静止画像の撮影が可能であるものとする。

次に、画像処理部１０８の内部構成の一例を説明する。図２は、画像処理部１０８の内部構成の一例を示すブロック図である。
図２において、ゲイン制御部２０１は、画像データ（Ａ／Ｄ変換器１０３から出力される画像データや、メモリ１０５に記憶されている画像データ等）に対し、所定のデジタルゲインの付加（画素値にゲインを掛けること）等を行う。ホワイトバランス制御部２０２は、後述の色評価値取得部２０８が取得した映像の色評価値の情報に基づいて、Ｒゲイン（赤成分の出力に対するゲイン）、Ｂゲイン（青成分の出力に対するゲイン）を制御することにより、白いものが白く映るよう画像を補正する。

ガンマ補正部２０３は、映像の入出力特性（いわゆるガンマ特性）を変更する。色変換部２０４は、ＲＧＢ信号を色差信号Ｙ、ＲＹ、ＢＹ（Ｙ(輝度)、Ｒ(赤)−Ｙ(輝度)、Ｂ(青)−Ｙ(輝度)）へ変換する。ノイズリダクション部２０５は、色差信号に対して空間フィルタを掛けることで映像を平滑化し、映像のノイズ成分を低減する。輪郭強調部２０６は、映像中の周波数成分を抽出し、輪郭部を強調する。色補正部２０７は、色差信号に色差ゲインを掛けることにより映像の彩度を変更する。

色評価値取得部２０８は、映像領域の中心に設定された領域であって、映像領域全体の縦横１／２の大きさの領域を対象領域として、当該対象領域の全画素の色差を色情報の一例として抽出し、その色差の平均値を色評価値の一例として取得する。色評価値取得部２０８により取得された色評価値はホワイトバランス制御部２０２へ送られ、ホワイトバランスセット等の、白いものを白くするホワイトバランス制御に利用される。

ノイズ量判定部２０９は、ゲイン制御部２０１におけるゲインの量と、ホワイトバランス制御部２０２におけるＲゲインおよびＢゲインの量と、ガンマ補正部２０３におけるガンマ特性とを取得する。また、ノイズ量判定部２０９は、ノイズリダクション部２０５におけるノイズリダクションの補正量と、輪郭強調部２０６における輪郭強調のための映像の各画素の画素値に対する補正量と、色補正部２０７における色差ゲインの量とを取得する。ノイズ量判定部２０９は、これらの情報に基づいて、映像信号中のノイズ量を導出し、補正する。ノイズ量判定部２０９により得られた映像信号中のノイズ量は、ホワイトバランス制御部２０２へ送られる。

これまでの画像処理部では、映像信号中のノイズ量を考慮せずに、ホワイトバランス制御部において、基準の白を無彩色に引き込む際の無彩色の目標範囲が決められていた。即ち、これまでの画像処理部は、図２に示すノイズ量判定部２０９を有していない。これに対し、本実施形態の画像処理部１０８では、映像信号中のノイズ量を判定し、映像信号中のノイズ量に応じて、基準の白を無彩色に引き込む際の無彩色の目標範囲を決定する。以下に、その処理の一例を説明する。ここでは、ユーザーがホワイトバランスセットの実行指示を行う場合の処理を例に挙げて説明する。かかる処理は、例えば、制御部１０４が不揮発性メモリ１０９に格納されたプログラムをメモリ１０５に展開して実行することにより実現される。

まず、ホワイトバランスセット処理の一例について説明する。ここでは、ハロゲン灯等の所定の光源下で、無彩色、且つ、輝度・色のムラが無い被写体を画面いっぱいに撮影した画像を用いてホワイトバランスをセットする場合を例に挙げて説明する。尚、光源や、被写体は任意であり、特に限定されるものではない。

図３は、本実施形態におけるホワイトバランスセット処理の一例を説明するフローチャートである。
まず、ホワイトバランス制御部２０２は、制御部１０４から出力される信号に基づいて、ホワイトバランスセットの実行指示の有無を判定する（Ｓ３０１）。ホワイトバランスセットの実行指示は、例えば、ユーザーが操作部１１０を操作することにより行われる。この判定の結果、ホワイトバランスセットの実行指示が無ければ、図３のフローチャートによる処理を終了する。一方、ホワイトバランスセットの実行指示があれば、ホワイトバランス制御部２０２は、色評価値取得部２０８が取得した、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）が、無彩色の目標範囲に入っているか否かを判定する（Ｓ３０２）。理想的な無彩色の色評価値は色差信号ＲＹ、ＢＹともゼロである。無彩色の目標範囲は、例えば、−５から＋５の範囲である。尚、無彩色の目標範囲の決定処理については後述する。

この判定の結果、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）が目標範囲外であれば、ホワイトバランス制御部２０２は、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）が無彩色に近づくように、ホワイトバランスのＲゲインを変更する（Ｓ３０３）。具体的にホワイトバランス制御部２０２は、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）が目標範囲の上限値よりも大きければ、Ｒゲインを変更可能な最小ステップ分だけ、Ｒゲインを下げる。一方、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）が目標範囲の下限値よりも小さければ、ホワイトバランス制御部２０２は、Ｒゲインを変更可能な最小ステップ分だけ、Ｒゲインを上げる。そして、以下のＳ３０４に進む。
一方、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）が目標範囲内であれば、以上のＳ３０３の処理を行わずに、以下のＳ３０４に進む。

次に、ホワイトバランス制御部２０２は、色評価値取得部２０８が取得した、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）が無彩色の目標範囲に入っているか否かを判定する（Ｓ３０４）。この判定の結果、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）が無彩色の目標範囲外であれば、ホワイトバランス制御部２０２は、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）が無彩色に近づくようホワイトバランスのＢゲインを変更する（Ｓ３０５）。具体的にホワイトバランス制御部２０２は、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）が目標範囲の上限値よりも大きければ、Ｂゲインを変更可能な最小ステップ分だけ、Ｂゲインを下げる。一方、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）が目標範囲の下限値よりも小さければ、ホワイトバランス制御部２０２は、Ｂゲインを変更可能な最小ステップ分だけ、Ｂゲインを上げる。そして、以下のＳ３０６に進む。
一方、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）が目標範囲内であれば、以上のＳ３０５の処理を行わずに、以下のＳ３０６に進む。

次に、ホワイトバランス制御部２０２は、ホワイトバランスセットの実行の処理時間が、予め設定された処理時間ＳＥＴ＿ＴＩＭＥを超えているか否かを判定する（Ｓ３０６）。処理時間ＳＥＴ＿ＴＩＭＥは、例えば、以下のようにして設定される。即ち、Ｓ３０２〜Ｓ３０５の処理によって色差信号ＲＹ、ＢＹの平均値（ＲＹ＿ＡＶＥ、ＢＹ＿ＡＶＥ）が無彩色の目標範囲内に入る時間を、各種の光源下で無彩色を映した映像のそれぞれを用いて測定する。そして、測定した時間の最大時間以上となるように処理時間ＳＥＴ＿ＴＩＭＥを設定する。

この判定の結果、ホワイトバランスセットの実行の処理時間が、処理時間ＳＥＴ＿ＴＩＭＥを超えていない場合には、Ｓ３０２の処理に戻る。そして、色差信号が目標範囲内か否かを判定し、この判定の結果、色差信号が目標範囲内でなければホワイトバランスゲインを変更することを繰り返す。そして、ホワイトバランスセットの実行の処理時間が、処理時間ＳＥＴ＿ＴＩＭＥを超えると、図３のフローチャートによる処理（ホワイトバランスのセット）を終了する。

次に、映像信号中のノイズ量と、ホワイトバランスゲインの変化に対する色差信号の平均値（ＲＹ＿ＡＶＥ、ＢＹ＿ＡＶＥ）の変化量について説明する。尚、Ｒゲイン、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）と、Ｂゲイン、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）は、色成分が異なるだけである。従って、ここでは、Ｒゲインと、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）についての説明を行い、Ｂゲインと、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）についての詳細な説明を省略する。

図４は、白一面を撮像した画像における、Ｒゲインと、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）との関係の一例を、ノイズ量が相対的に多い場合と少ない場合のそれぞれについて示す図である。
図５は、白一面を撮像した画像における、画素と色差信号ＲＹとの関係の一例を、Ｒゲインの値が５０、５１、５２の場合のそれぞれについて示す図である。図５（ａ）は、ノイズ量が相対的に多い場合のグラフを示し、図５（ｂ）は、ノイズ量が相対的に少ない場合のグラフを示す。尚、前述したように、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）は、色評価値取得部２０８で取得される色評価値の一つである。

図４において、グラフ４０１は、ノイズ量が相対的に多い場合の特性であり、グラフ４０２は、ノイズ量が相対的に少ない場合の特性である。また、目標上限値４０３は、無彩色の目標範囲の上限値を示し、目標下限値４０４は、無彩色の目標範囲の下限値を示す。即ち、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）が目標上限値４０３と目標下限値４０４との間をとるならば、撮影している白一面が無彩色になったと判断される。

図５において、グラフ５０１は、色評価値取得部２０８へ入力される各画素の色差信号ＲＹ（ＲＹ＿ＩＮ）を示す。グラフ５０２は、色評価値取得部２０８から出力される各画素の色差信号ＲＹ（ＲＹ＿ＯＵＴ）を示す。値５０３は、色評価値取得部２０８へ入力される各画素の色差信号ＲＹ（ＲＹ＿ＩＮ）の平均値を示す。値５０４は、色評価値取得部２０８から出力される各画素の色差信号ＲＹ（ＲＹ＿ＯＵＴ）の平均値、即ち、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）を示す。本実施形態では、色評価値取得部２０８は、入力値を切り上げ処理する場合を例に挙げて説明する。従って、色評価値取得部２０８へ入力される各画素の色差信号ＲＹ（ＲＹ＿ＩＮ）よりも、色評価値取得部２０８から出力される各画素の色差信号ＲＹ（ＲＹ＿ＯＵＴ）の方が必ず高い値をとる。

図４に示すように、ノイズ量が多い場合には、ホワイトバランスゲイン（Ｒゲイン）を１ステップずつ変えた時の、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）の変化は小さい。これに対し、ノイズ量が少ない場合には、ホワイトバランスゲイン（Ｒゲイン）を１ステップずつ変えた時の、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）の変化は、ある値で大きく変化する。

この理由を、図５を参照しながら説明する。
図５（ａ）に示すように、ノイズ量が多い場合には、被写体が白一面であってもノイズ成分が多いため、各画素が様々な値をとる。従って、色評価値取得部２０８から出力される各画素の色差信号ＲＹ（ＲＹ＿ＯＵＴ）５０２の平均値５０４は、ホワイトバランスのＲゲインの変化（５０→５１→５２）に対して緩やかに変化する。

これに対し、図５（ｂ）に示すように、ノイズ量が少ない場合は、ホワイトバランスのＲゲインを５０から５１に増やした際に、色評価値取得部２０８に入力される各画素の色差信号ＲＹ（ＲＹ＿ＩＮ）５０１は変化する。一方、色評価値取得部２０８から出力される各画素の色差信号ＲＹ（ＲＹ＿ＯＵＴ）５０２の平均値５０４は変化しない。ノイズ量が少ない場合には、各画素における色評価値は相互に近い値をとり、更に、検波回路の分解能が低い。このため、或るホワイトバランスゲインまでは、色差信号の平均値は変化しない。よって、色評価値取得部２０８から出力される色差信号（ＲＹ＿ＯＵＴ）５０２の平均値５０４（ＲＹ＿ＡＶＥ）は１９のままで変わらない。

そして、ホワイトバランスのＲゲインを５１から５２へ増やした際に、全画素（多くの画素）において、一斉に色評価値が変わる。このため、色差信号ＲＹ（ＲＹ＿ＯＵＴ）５０２が全画素において増加し、色差信号（ＲＹ＿ＯＵＴ）５０２の平均値５０４（ＲＹ＿ＡＶＥ）は大きく変化する。
この関係は、Ｂゲイン、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）でも同じである。尚、以下の説明では、ホワイトバランスゲインの変化に対する色評価値（色差信号の平均値（ＲＹ＿ＡＶＥ、ＢＹ＿ＡＶＥ））の変化量を必要に応じて、色評価値の変化量と称する。

このように、色評価値の変化量は、映像信号中のノイズ量に依存する。即ち、ノイズ量が多い時には、色評価値の変化量は小さいが、ノイズ量が少ない時には、色評価値の変化量は大きくなる。ノイズ量によらずに、同一の無彩色の目標範囲を設定する場合には、ノイズ量が少ない時の色評価値の変化量の最大値に合わせて無彩色の目標範囲を広くしておく必要がある。尚、以下の説明では、色評価値の変化量の最大値を必要に応じて、色評価値の最大変化量と称する。

無彩色の目標範囲が、色評価値の最大変化量よりも狭い場合、ノイズ量が少ない状態でホワイトバランスセットを実行すると、無彩色の目標範囲を取れない被写体が存在する。このため、ホワイトバランスゲインが処理時間ＳＥＴ＿ＴＩＭＥを超えるまで変化し続けてしまいハンチングを起こす。従って、ノイズ量が少ない時の、色評価値の最大変化量に合わせて無彩色の目標範囲を広くしておく必要がある。

しかしながら、ホワイトバランスゲインのハンチングを避けるために無彩色の目標範囲を広げると、ノイズ量が多い場合には、無彩色の目標範囲の上限値または下限値付近の色評価値を取得できてしまう。ノイズ量が多い場合には、少ない場合に比べ、色差信号平均値（ＲＹ＿ＡＶＥ）５０４は、ホワイトバランスゲインの変化に対して緩やかに変化する。このため、ホワイトバランスゲインの変化に対し色評価値を無彩色の目標範囲に徐々に近づけることができる。よって、ノイズ量が多い場合には、無彩色の目標範囲の上限値または下限値付近のホワイトバランスゲインが得られた時点でステップＳ３０２、Ｓ３０４においてＹｅｓと判定される。そうすると、基準となる白を、より無彩色に近づけることができる色評価値があるとしても、その色評価値を取得することができない。このため、無彩色への引き込み精度が低下する。
本実施形態では、このような知見に基づいて、無彩色の目標範囲を、映像信号中のノイズ量によって変更することに想到した。

次に、ノイズ量の判定処理の一例について説明する。
本実施形態では、ゲイン制御部２０１におけるゲインの値から、基本となるノイズ量（ベースノイズ量）を判定する。そして、ゲイン制御部２０１より後段且つ色評価値取得部２０８より前段の、ホワイトバランス、ガンマ特性、ノイズリダクション、輪郭強調、および色差ゲインに応じて、ベースノイズ量を補正する場合を例に挙げて説明する。尚、ベースノイズ量を補正する際に用いるカメラパラメータは、これらのカメラパラメータに限定されない。即ち、ゲイン制御部２０１より後段且つ色評価値取得部２０８より前段において使用されるカメラパラメータであって、映像信号中のノイズ量に影響するカメラパラメータであれば、前述したもの以外のカメラパラメータを用いてベースノイズ量を補正してもよい。

図６は、映像信号中のノイズ量の判定処理の一例を説明するフローチャートである。
まず、ノイズ量判定部２０９は、ゲイン制御部２０１で映像の各画素の画素値に対して掛けられるゲインの値から、ベースとなるノイズ量（ベースノイズ量）を判定する（Ｓ６０１）。例えば、ガンマ特性、ホワイトバランス、および色差ゲインの設定を、基準のカメラ設定とし、輪郭強調、ノイズリダクションの機能をオフにした状態で、ゲイン制御部２０１の各ゲインの値における映像のノイズ量を予め測定する。そして、その測定の結果に基づいて、図７に示すように、ゲイン値とベースノイズ量とを相互に関連付けてテーブル７００に記憶する。ノイズ量判定部２０９は、このテーブル７００を用いて、現在設定されているゲインの値からベースノイズ量の判定を行うことができる。

次に、ノイズ量判定部２０９は、ホワイトバランスゲインに応じて、ベースノイズ量を補正する（Ｓ６０２）。例えば、ノイズ量判定部２０９は、基準のカメラ設定におけるホワイトバランスゲインに対する、現在設定されているホワイトバランスゲインの比に、所定の係数を掛けた値をベースノイズ量に乗算して、ベースノイズ量を補正する。例えば、各ホワイトバランスゲインにおけるノイズ量の測定を行い、その測定の結果から、基準のカメラ設定におけるホワイトバランスゲインに対するホワイトバランスゲインの比と係数とを相互に関連付けて記憶するテーブルを予め作成しておく。ノイズ量判定部２０９は、このテーブルを用いることにより、ホワイトバランスゲインに応じて、ベースノイズ量を補正することができる。

次に、ノイズ量判定部２０９は、現在設定されているガンマ特性が、基準のカメラ設定におけるガンマ特性であるか否かを判定する（Ｓ６０３）。この判定の結果、現在設定されているガンマ特性が、基準のカメラ設定におけるガンマ特性でなければ、ノイズ量判定部２０９は、次の処理を行う。即ち、基準のカメラ設定におけるガンマ特性の出力に対する、現在設定されているガンマ特性の出力の比を、ガンマ特性のそれぞれの入力のそれぞれにおいて導出する。以下の説明では、この比を必要に応じてガンマ特性の出力比率と称する。ノイズ量判定部２０９は、ガンマ特性のそれぞれの入力における、ガンマ特性の出力比率の平均値に、所定の係数を掛けた値をベースノイズ量に乗算するよう補正する（Ｓ６０４）。例えば、各ガンマ特性におけるノイズ量の測定を行い、その測定の結果から、ガンマ特性の出力比率の平均値と係数とを相互に関連付けて記憶するテーブルを予め作成しておく。ノイズ量判定部２０９は、このテーブルを用いることにより、現在設定されているガンマ特性に応じて、ベースノイズ量を補正することができる。そして、以下のＳ６０５に進む。尚、ここでは、ガンマ特性の形状を表す指標の一例として、ガンマ特性の出力比率の平均値を用いる場合を例に挙げて説明したが、ガンマ特性の形状を表す指標であれば、ガンマ特性の出力比率の平均値を用いる必要はない。例えば、ガンマ特性の出力比率の中央値を用いてもよい。
一方、現在設定されているガンマ特性が、基準のカメラ設定におけるガンマ特性である場合には、Ｓ６０４を行わずに以下のＳ６０５に進む。

次に、ノイズ量判定部２０９は、ノイズリダクションの補正機能のオン・オフを判定する（Ｓ６０５）。この判定の結果、ノイズリダクションの補正機能がオンであれば、ノイズ量判定部２０９は、ノイズリダクション補正量に所定の係数を掛けた値でベースノイズ量を除算する（Ｓ６０６）。例えば、各ノイズリダクション補正量におけるノイズ量の測定を行い、その測定の結果から、ノイズリダクション補正量と係数とを相互に関連付けて記憶するテーブルを予め作成しておく。ノイズ量判定部２０９は、このテーブルを用いることにより、ノイズリダクション補正量に応じて、ベースノイズ量を補正することができる。そして、以下のＳ６０７に進む。
一方、ノイズリダクションンの補正機能がオフであれば、Ｓ６０６を行わずに以下のＳ６０７に進む。

次に、ノイズ量判定部２０９は、輪郭強調の補正機能のオン・オフを判定する（Ｓ６０７）。この判定の結果、輪郭強調の補正機能がオンであれば、輪郭強調によってノイズ成分が強調されることになる。このため、ノイズ量判定部２０９は、輪郭強調補正量に所定の係数を掛けた値をベースノイズ量に乗算する（Ｓ６０８）。例えば、各輪郭強調補正量におけるノイズ量の測定を行い、その測定の結果から、輪郭強調補正量と係数とを相互に関連付けて記憶するテーブルを作成しておく。ノイズ量判定部２０９は、このテーブルを用いることにより、輪郭強調補正量に応じて、ベースノイズ量を補正することができる。そして、以下のＳ６０９に進む。
一方、輪郭強調の補正機能がオフであれば、Ｓ６０８を行わずに以下のＳ６０９に進む。

次に、ノイズ量判定部２０９は、彩度が変更されている否かを、現在設定されている色差ゲインが基準の色差ゲインであるか否かによって判定する（Ｓ６０９）。この判定の結果、現在設定されている色差ゲインが基準の色差ゲインでなければ、ノイズ量判定部２０９は、基準の色差ゲインの値に対する、現在の色差ゲインの値との比に所定の係数掛けたをベースノイズ量に乗算する（Ｓ６１０）。例えば、各色差ゲインにおけるノイズ量の測定を行い、その測定の結果から、色差ゲインと係数とを相互に関連付けて記憶するテーブルを作成しておく。ノイズ量判定部２０９は、このテーブルを用いることにより、色差ゲインの値に応じて、ベースノイズ量を補正することができる。そして、図６のフローチャートによる処理を終了する。
一方、現在設定されている色差ゲインが基準の色差ゲインであれば、Ｓ６１０を行わずに、図６のフローチャートによる処理を終了する。

このように本実施形態では、ゲイン制御部２０１におけるゲインの値からベースノイズ量を判定し、ノイズに影響のあるカメラパラメータに応じて、ベースノイズ量を補正したノイズ量を導出する。以下の説明では、このノイズ量を必要に応じて、補正ノイズ量と称する。

尚、映像信号中のノイズ量が少なければ、輝度信号Ｙ、および色信号の一例である色差信号ＲＹ、ＢＹは、全画素において相互に近い値となる。従って、例えば、ノイズ量判定部２０９は、映像の所定の領域における全画素の輝度信号Ｙと、色差信号ＲＹ、ＢＹのうち、少なくとも何れか一つの最大値と平均値を算出し、その差分値に応じて、ノイズ量を判定してもよい。例えば、当該差分値と当該ノイズ量との関係を測定しておき、その測定の結果から、当該差分値と当該ノイズ量とを相互に関連付けて記憶するテーブルを作成し、当該テーブルを用いてノイズ量を判定することができる。また、ゲイン制御部２０１におけるゲインの値と、当該差分値との双方を用いて、ノイズ量を判定してもよい。

次に、補正ノイズ量に応じて、無彩色の目標範囲を変更する処理の一例について説明する。本実施形態では、各ノイズ量に対して、ホワイトバランスゲインの変化に対する色評価値の最大変化量を測定する。そして、その測定の結果に基づいて、図８（ａ）に示すように、ノイズ量が多いほど無彩色の目標範囲が狭くなるように補正ノイズ量と無彩色の目標範囲とを相互に関連付けて記憶するテーブル８００を予め作成しておく。ノイズ量判定部２０９は、このテーブル８００をもとに、補正ノイズ量に応じて無彩色の目標範囲を変更する。ノイズ量判定部２０９は、例えば、補正ノイズ量が３０であるならば、無彩色の目標範囲を±８とし、補正ノイズ量が５０であれば無彩色の目標範囲を±５とする。尚、図８（ｂ）は、図８（ａ）に示すテーブル８００の内容をグラフ化して示す図である。また、ホワイトバランス制御部２０２が、無彩色の目標範囲の変更を行うようにしてもよい。

以上のように本実施形態では、映像信号における色評価値が目標範囲内になければ、当該色評価値が目標範囲内に入るようにホワイトバランスゲインを変更するに際し、映像信号中のノイズ量が多いほど、目標範囲が狭くなるように目標範囲を変更する。従って、回路規模を増やさずに、映像信号中のノイズ量に応じて、無彩色の目標範囲を適切に変更することができる。このため、ホワイトバランスをセットする際に、ノイズ量によらずに無彩色への引き込み性能を略一定にすることができると共に、ホワイトバランスゲインのハンチングを抑制できる。

本実施形態では、ユーザーによる指示に基づいて、ホワイトバランスのセットを行う場合を例に挙げて説明した。しかしながら、映像中の白らしい領域を自動的に抽出し、抽出した白が適正な白になるように自動的に制御する所謂オートホワイトバランス制御においても、本実施形態で説明した手法を適応することが可能である。即ち、オートホワイトバランス制御における無彩色の目標範囲を、映像信号中のノイズ量に応じて変更してもよい。また、無彩色に引き込むための制御方法は任意であり、特定するものではない。

また、本実施形態では、色評価値の取得手段が一つである場合を例に挙げて説明した。しかしながら、撮像装置が、ノイズの影響の少ない他の色評価値の取得手段を別途持つ場合には、撮影設定に応じて、色評価値の取得手段を選択して使い分けても良い。
例えば、撮像装置は、動画撮影モードでは、映像の彩度に応じた複数のルック（映像の見た目（色味）をオリジナルの画像に対して変更するモード）を選択して使用するができるのに対し、静止画撮影モードでは、１つのルックを使用するものとする。また、撮像装置は、彩度を変える色補正部の前段と後段にそれぞれ色評価値取得部を持ち、且つ、後段の色評価値取得部は、前段の色評価値取得部よりも色差の分解能が高くノイズの影響を受けにくい回路であるとする。

この場合、動画撮影モードでは、複数のルックで共通の色評価値を使用してホワイトバランス制御を行う（即ち、映像の見た目を変える前にホワイトバランス制御を行う）ために、前段の色評価値取得部を利用する。一方、静止画撮影モードでは、使用するルックが一つであるため後段のノイズの影響の少ない色評価値取得部を利用する。

また、例えば、映像の彩度を調整する設定に応じて、映像に含まれるノイズの量が変わるので、色評価値の取得手段を使い分けても良い。例えば、彩度が（所定値よりも）高い設定であるならば、色差の分解能が相対的に低い、色評価値の取得手段を利用する。一方、彩度が（所定値よりも）低い設定であるならば、色差の分解能が相対的に高くノイズの影響を受けにくい、色評価値の取得手段を利用する。

また、前述したように、ノイズ量を補正する際に用いるパラメータは、ゲイン制御部２０１よりも後段、且つ、色評価値取得部２０８よりも前段において映像に対して処理する際に用いるパラメータであれば、前述したカメラパラメータに限定されない。

＜第２の実施形態＞
次に、第２の実施形態を説明する。第１の実施形態では、映像信号中のノイズ量に基づいて、無彩色の目標範囲を変更する場合を例に挙げて説明した。しかしながら、ノイズ量そのものではなく、ノイズ量に応じて値が変化する指標に基づいて、無彩色の目標範囲を変更してもよい。その一例として、本実施形態では、ホワイトバランスゲインの変化に対する色評価値（色差信号の平均値）の変化量の最大値（色評価値の最大変化量）を判定し、判定した色評価値の最大変化量に基づいて、無彩色の目標範囲を変更する。この場合であっても、実質的には、ノイズ量に応じて無彩色の目標範囲を変更することとなる。

このように本実施形態と第１の実施形態とは、無彩色の目標範囲を変更する際の条件が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。例えば、本実施形態におけるデジタルビデオカメラのハードウェアの構成は、第１の実施形態のデジタルビデオカメラ１００と同じである。

図９は、本実施形態における画像処理部１０８の内部構成の一例を示すブロック図である。図９に示すように、本実施形態の画像処理部１０８は、図２に示したノイズ量判定部２０９に替えて、色変化量判定部９０１を有する。色変化量判定部９０１は、ホワイトバランスゲインの変化に対する、色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅを判定する。

次に、本実施形態の画像処理部１０８の動作の一例について説明する。色変化量判定部９０１には、ゲイン制御部２０１から、映像の各画素の画素値に掛けられるゲインの値が送られる。各ゲインの値のそれぞれについて、色差信号ＲＹ、ＢＹの平均値（ＲＹ＿ＡＶＥ、ＢＹ＿ＡＶＥ）がゼロ付近、即ち、無彩色付近となる時の色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅを測定しておく。そして、ゲイン制御部２０１におけるゲインの値と色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅとを相互に関連付けて記憶するテーブルとして、色差信号ＲＹ、ＢＹの平均値（ＲＹ＿ＡＶＥ、ＢＹ＿ＡＶＥ）のそれぞれについてのテーブルを作成する。そして、これらのテーブルをデジタルビデオカメラ（色変化量判定部９０１）に予め記憶させておく。

本実施形態では、色変化量判定部９０１は、このテーブルを用いて、現在のゲインの値に対応する色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅを、色差信号ＲＹ、ＢＹの平均値（ＲＹ＿ＡＶＥ、ＢＹ＿ＡＶＥ）のそれぞれについて導出する。そして、色変化量判定部９０１は、導出した色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅの内、大きな値を採用する。

色変化量判定部９０１は、採用した色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅの２倍となるように、無彩色の目標範囲を変更する。このような制御を行うことで、Ｒゲイン・Ｂゲインの変化に対する、色差信号ＲＹ、ＢＹの平均値（ＲＹ＿ＡＶＥ、ＢＹ＿ＡＶＥ）の変化の比（傾き）が緩やかに変化する場合、即ち、ノイズ量が多い場合であるほど、無彩色の目標範囲を狭くすることができる。尚、ここでは、無彩色の目標範囲を、色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅの２倍とする場合を例に挙げて示すが、この倍率は任意であり、特定の値に限定するものではない。

次に、本実施形態の変形例として、色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅを、ゲイン制御部２０１におけるゲインの値を用いずに判定する手法について説明する。
まず、映像信号中のノイズ量と、ホワイトバランスゲインの変化に対する色差信号ＲＹ、ＢＹの平均値（ＲＹ＿ＡＶＥ、ＢＹ＿ＡＶＥ）の変化について再度説明を行う。尚、前述したように、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）は、色評価値取得部２０８により取得される色評価値である。また、Ｒゲイン、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）と、Ｂゲイン、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）は、色成分が異なるだけである。従って、ここでは、Ｒゲインと、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）についての説明を行い、Ｂゲインと、色差信号ＢＹの平均値（ＢＹ＿ＡＶＥ）についての詳細な説明を省略する。

図１０は、図４に示したのと同様に、白一面を撮像した画像における、Ｒゲインと、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）との関係の一例を、ノイズ量が相対的に多い場合と少ない場合のそれぞれについて示すグラフである。図１０では、図４よりもＲゲインが低い値からの特性の一例を示す。図１０において、グラフ１００１、１００２は、それぞれ図４に示したグラフ４０１、４０２に対応し、目標上限値１００３、目標下限値１００４は、それぞれ図４に示した目標上限値４０３、目標下限値４０４に対応する。

図１０に示すように、或るＲゲインの範囲においては、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）がほとんど変化しない。これは、色評価値取得部２０８に入力される角画素の色差信号ＲＹは変化しているが、色評価値取得部２０８から出力される各画素の色差信号ＲＹは変化しないためである。映像信号中のノイズ量が多い時には、ＲゲインがＲ２〜Ｒ３の範囲において、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）はほとんど変化がない。また、映像信号中のノイズ量が少ない時には、ＲゲインがＲ１〜Ｒ４の範囲において、色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ）の変化がほとんど見られなくなる。このように、ホワイトバランスゲイン（Ｒゲイン）の変化に対して、色評価値（色差信号ＲＹの平均値（ＲＹ＿ＡＶＥ））が変化しない領域が広いほど、色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅは大きい値を取る。

そこで、まず、無彩色の目標範囲にホワイトバランスゲインを近づける処理を行う際に、ホワイトバランスゲインの変化に対する色評価値（色差信号ＲＹ、ＢＹの平均値（ＲＹ＿ＡＶＥ、ＢＹ＿ＡＶＥ）の変化量を観測する。そして、色変化量判定部９０１は、その色評価値の変化量が所定値以下となるホワイトバランスゲインの範囲を判定し、当該ホワイトバランスゲインの範囲に基づいて、色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅを判定する。

尚、色評価値の変化量が所定値以下をとるホワイトバランスゲインの範囲と、色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅとの関係は、例えば、予め、所定のカメラ設定で測定を行い、その測定の結果を、テーブルとして作成する。色変化量判定部９０１は、このテーブルを用いることにより、色評価値の変化量が所定値以下をとるホワイトバランスゲインの範囲に対応する色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅを導出することができる。

また、本実施形態でも、第１の実施形態と同様に、色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅを、カメラパラメータに応じて補正してもよい。例えば、色評価値取得部２０８より前段の、ホワイトバランス、ガンマ特性、ノイズリダクション、輪郭強調、および色差ゲインに応じて、色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅを補正してもよい。尚、色評価値取得部２０８より前段で用いられる、色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅに影響するカメラパラメータであれば、この他のカメラパラメータを用いて色評価値の最大変化量ΔＣｏｌｏｒＶａｌｕｅを補正してもよい。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１０１：撮像光学系、１０２：撮像部、１０３：Ａ／Ｄ変換器、１０８：画像処理部

Claims (11)

1. 映像の所定領域における色差の平均値に基づく色評価値が無彩色の目標範囲に入るように、当該映像に対するホワイトバランスゲインを調整する調整手段と、
   前記映像におけるノイズ量が相対的に大きい場合における前記無彩色の目標範囲が、前記映像におけるノイズ量が相対的に小さい場合における前記無彩色の目標範囲よりも狭くなるように、前記無彩色の目標範囲を変更する変更手段と、を有することを特徴とする画像処理装置。
2. 前記映像におけるノイズ量を導出する導出手段を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記導出手段は、前記映像の各画素に対して掛けられるゲイン、前記映像の所定の領域における輝度信号の最大値と平均値との差、および、前記映像の所定の領域における色信号の値の最大値と平均値との差の少なくとも何れか１つに基づいて、当該映像におけるノイズ量を導出することを特徴とする請求項２に記載の画像処理装置。
4. 前記映像におけるノイズに影響あるパラメータに基づいて、前記導出手段により導出された前記映像におけるノイズ量を補正する補正手段を更に有し、
   前記変更手段は、前記補正手段により補正された前記映像におけるノイズ量が相対的に大きい場合における前記無彩色の目標範囲が、前記映像におけるノイズ量が相対的に小さい場合における前記無彩色の目標範囲よりも狭くなるように、前記無彩色の目標範囲を変更することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記パラメータは、前記映像に対するホワイトバランスゲイン、前記映像に対してガンマ補正を行う際に用いられるガンマ特性の形状を表す指標、前記映像に対するノイズリダクションの量、前記映像における輪郭強調を行う際の当該映像に対する補正量、および前記映像の彩度を調整するための色差ゲインの少なくとも何れか１つを用いて得られるパラメータであることを特徴とする請求項４に記載の画像処理装置。
6. 映像の所定領域における色差の平均値に基づく色評価値が無彩色の目標範囲に入るように、当該映像に対するホワイトバランスゲインを調整する調整手段と、
   前記映像における前記ホワイトバランスゲインの変化に対する前記色評価値の変化量が相対的に小さい場合における前記無彩色の目標範囲が、前記映像における前記ホワイトバランスゲインの変化に対する前記色評価値の変化量が相対的に大きい場合における前記無彩色の目標範囲よりも狭くなるように、前記無彩色の目標範囲を変更する変更手段と、を有することを特徴とする画像処理装置。
7. 前記映像の色情報に基づいて、当該映像の色評価値を取得する取得手段を更に有し、
   前記取得手段は、相対的に高い精度で前記映像の色評価値を取得することと、相対的に低い精度で前記映像の色評価値を取得することとを行い、
   前記調整手段は、前記相対的に高い精度で取得される前記映像の色評価値と、前記相対的に低い精度で取得される前記映像の色評価値との何れかを、撮影設定に基づいて選択し、当該選択した前記映像の所定領域における色差の平均値に基づく色評価値が前記無彩色の目標範囲に入るように、前記映像に対するホワイトバランスゲインを調整することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記撮影設定は、動画像の撮影と静止画像の撮影の何れかを選択する設定と、前記映像の彩度を調整する設定との少なくとも何れか１つを含むことを特徴とする請求項７に記載の画像処理装置。
9. 映像の所定領域における色差の平均値に基づく色評価値が無彩色の目標範囲に入るように、当該映像に対するホワイトバランスゲインを調整する調整工程と、
   前記映像におけるノイズ量が相対的に大きい場合における前記無彩色の目標範囲が、前記映像におけるノイズ量が相対的に小さい場合における前記無彩色の目標範囲よりも狭くなるように、前記無彩色の目標範囲を変更する変更工程と、を有することを特徴とする画像処理方法。
10. 映像の所定領域における色差の平均値に基づく色評価値が無彩色の目標範囲に入るように、当該映像に対するホワイトバランスゲインを調整する調整工程と、
    前記映像における前記ホワイトバランスゲインの変化に対する前記色評価値の変化量が相対的に小さい場合における前記無彩色の目標範囲が、前記映像における前記ホワイトバランスゲインの変化に対する前記色評価値の変化量が相対的に大きい場合における前記無彩色の目標範囲よりも狭くなるように、前記無彩色の目標範囲を変更する変更工程と、を有することを特徴とする画像処理方法。
11. 請求項１〜８の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images