JP4759332B2 - 画像信号処理装置 - Google Patents

Description

本発明は、撮像手段において生成した画像信号のホワイトバランスの自動調整処理を行う画像信号処理装置に関する。

近年、撮影により生成した画像信号に対しホワイトバランス処理を行うデジタルカメラが知られている。さらに、太陽光、蛍光灯等の照明光源に対応した補正領域を有し、風景モード、人物モード等の複数の撮影モードのいずれかが選択されたかによって、複数の補正領域の中から適した補正領域を選択し、選択した補正領域を用いてホワイトバランス処理を行うことが提案されている（特許文献１参照）。

しかし、撮影者が撮影モードの選択を行なわなければならないため、操作が煩雑になることが問題であった。また、撮影者が実際に撮影するシーンと異なる撮影モードを選択した場合に、適切なホワイトバランス処理が行われないことが問題であった。
特開２００１−２１１４５７号公報

従って、本発明では、撮影モードによらず、実際の撮影条件に適したホワイトバランス処理を行う画像信号処理装置の提供を目的とする。

本発明の画像信号処理装置は、被写体の光学像を撮像手段の受光面に結像させるための合焦光学系と合焦光学系の位置に基づいて撮影距離を検出する検出手段とを有する撮影光学系を介して受光する光学像を撮像手段に受光させることにより生成される画像信号の信号処理を行う画像信号処理装置であって、画像信号が生成される時の撮影光学系の撮影倍率、撮影距離、および光学像の明るさに基づいて画像信号にホワイトバランス処理を行うホワイトバランス処理部を備えることを特徴としている。

なお、撮撮影距離と撮影光学系の焦点距離とによって撮影倍率が算出されることが好ましい。

また、撮影光学系は焦点距離を調整するための変倍光学系を有することが好ましい。

また、画像信号を撮像手段の受光面を形成する領域毎の原色信号に分離する色分離部と、領域毎の原色信号を第１、第２色差信号に変換する信号変換部とを備え、ホワイトバランス処理部は受光面を形成する複数の領域の第１、第２の色差信号の平均値に基づいて、画像信号に乗じるホワイトバランスゲインを求めホワイトバランスゲインを用いて画像信号にホワイトバランス処理を行うことが好ましい。

また、被写体の照明光源を推定するための第１、第２の色差信号の組の領域である光源推定領域が複数の照明光源毎に二次元の色度座標上に予め定められており、ホワイトバランス処理部は第１、第２の色差信号の組を最も多く含む光源推定領域にのみ含まれる複数の第１、第２の色差信号それぞれの平均値に基づいてホワイトバランスゲインを求めることが好ましい。

あるいは、被写体の照明光源を推定するための第１、第２の色差信号の組の領域である光源推定領域が複数の照明光源毎に二次元の色度座標上に予め定められており、推定光源領域には第１の照明光源と所定の色温度値より大きな色温度の第２の照明光源に対応する第１、第２の推定光源領域が含まれ、ホワイトバランス処理部は撮影距離が第１の距離を越えており且つ被写体像を形成する光の明るさが所定の明るさより大きい場合または撮影距離が第１の距離未満で第２の距離を越え撮影倍率が所定の倍率を超え且つ被写体像を形成する光の明るさが所定の明るさを超える場合は第１、第２の光源推定領域を除外した他の光源推定領域に含まれる複数の第１、第２の色差信号それぞれの平均値に基づいてホワイトバランスゲインを算出することが好ましい。

さらには、ホワイトバランス処理部は撮影距離が第１の撮影距離を越え且つ被写体像を形成する光の明るさが第１の明るさ未満である場合または撮影距離が第１の距離未満で第２の距離を越え撮影倍率が所定の倍率を超え且つ被写体像を形成する光が第１の明るさ未満である場合は第１の光源推定領域を除外した他の光源推定領域に含まれる複数の第１、第２の色差信号それぞれの平均値に基づいてホワイトバランスゲインを算出することが好ましい。

さらには、ホワイトバランス処理部は撮影倍率が前記所定の倍率未満の場合または撮影倍率が所定の倍率を超え且つ撮影距離が第２の距離未満である場合は複数の光源推定領域に含まれる複数の前記第１、第２の色差信号それぞれの平均値に基づいてホワイトバランスゲインを算出することが好ましい。

また、第１の照明光源が蛍光灯であることが好ましい。

また、第２の照明光源は晴天日陰における太陽光または白熱灯であることが好ましい。

本発明によれば、撮影倍率によって屋外における撮影か否かの判断が可能であり、屋外であれば蛍光灯以外の光源が照明光源であるとして、適切なホワイトバランス調整が可能になる。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用した画像信号処理装置を有するデジタルカメラの内部構成を概略的に示すブロック図である。

デジタルカメラ１０は、撮影光学系４１、例えばＣＣＤなどの撮像素子４２、映像信号処理回路２０（画像信号処理装置）、システムコントロール回路５２、ＬＣＤモニタ４８などによって構成される。

撮影光学系４１は、撮像素子４２と光学的に接続されている。撮影光学系４１と撮像素子４２の間には、ミラー６５、シャッタ６６が設けられる。撮像動作を実行するとミラー６５とシャッタ６６とが開き、撮影光学系４１を介して入射する被写体光束が撮像素子４２の受光面において受光される。

撮像素子４２の受光面には複数の画素が２次元状に配置されており、各画素はＲ、Ｇ、Ｂカラーフィルタ（図示せず）によって覆われている。各画素において、受光量に応じた画素信号が生成される。１フレームに相当する複数の画素から出力される画素信号が、画像信号として撮像素子４２から出力される。

撮像素子４２から出力される画像信号は、ＣＤＳ／ＡＧＣ回路４３およびＡ／Ｄコンバータ４４において相関二重サンプリング、オートゲインコントロールが行なわれ、Ａ／Ｄ変換される。Ａ／Ｄ変換された画像信号は映像信号処理回路２０に送られる。

映像信号処理回路２０に送られた画像信号は一旦作業用のメモリである画像メモリ４５に格納される。映像信号処理回路２０において、画像メモリ４５に格納された画像信号に対して後述するホワイトバランス処理などの所定の信号処理が行われる。

映像信号処理回路２０は、モニタＩ／Ｆ４６およびＬＣＤ駆動回路４７を介してＬＣＤモニタ４８に電気的に接続される。映像信号処理回路２０において所定の信号処理を行った画像信号は、ＬＣＤモニタ４８に送られる。送られた画像信号に対応した画像が、ＬＣＤモニタ４８に表示される。

また、映像信号処理回路２０は、カードＩ／Ｆ４９およびコネクタ５０を介してカード型メモリ５１に電気的に接続可能である。映像信号処理回路２０において所定の信号処理を行なった画像信号は、カード型メモリ５１に格納される。

映像信号処理回路２０は、システムコントロール回路５２に電気的に接続される。システムコントロール回路５２によって、映像信号処理回路２０における信号処理の制御が行われる。また、システムコントロール回路５２によって、デジタルカメラ１０全体の動作の制御も行なわれる。

システムコントロール回路５２には、電源スイッチ５３、モード設定スイッチ５４、測光・ＡＦスイッチ５５、およびレリーズスイッチ５６が電気的に接続される。電源スイッチ５３により、デジタルカメラ１０全体のＯＮ／ＯＦＦが切替えられる。モード設定スイッチ５４により、複数の撮影モードのいずれかの切替が行われる。

また、後述するように測光・ＡＦスイッチ５５をＯＮにすることにより、測光および合焦動作が実行される。さらに、後述するようにレリーズスイッチ５６をＯＮにすることにより撮像動作が実行される。

システムコントロール回路５２には、測光センサ５７およびＡＦセンサ５８が電気的に接続される。測光・ＡＦスイッチ５５がＯＮになるとき、測光センサ５７により周囲の光量が、ＡＦセンサ５８により被写体に対する撮影光学系４１のデフォーカス量が検出される。測光センサ５７により検出された周囲の光量とＡＦセンサ５８により検出されたデフォーカス量とがシステムコントロール回路５２に送られる。

なお、ミラー６５が閉じているときに撮影光学系４１から入射した被写体光束はミラー６５に設けられるハーフミラー（図示せず）に反射されてＡＦセンサ５８に入射する。また、ミラー６５が閉じているときの撮影光学系４１とＡＦセンサ５８との間の光学的距離と、ミラー６５が開いているときの撮影光学系４１と撮像素子４２との間の光学的距離とが等しくなるように、ＡＦセンサ５８の位置が定められる。

撮影光学系４１は。焦点距離ｆを調節するためのズームレンズ群４１Ｚと、被写体像を撮像素子４２の受光面上に結像させるためのフォーカスレンズ群４１Ｆとを含む複数のレンズによって構成される。ズームレンズ群４１Ｚとフォーカスレンズ群４１Ｆとは、それぞれ別々にレンズ駆動機構（図示せず）によって、光軸方向に移動可能である。

レンズ駆動機構は、レンズ駆動回路５９に電気的に接続される。レンズ駆動機構を介して、撮影光学系４１の光軸方向におけるズームレンズ群４１Ｚおよびフォーカスレンズ群４１Ｆの位置がレンズ駆動回路５９に検知される。なお、フォーカスレンズ群４１Ｆの位置は、無限遠合焦位置を基準とする位置であり、基準位置からの繰り出し量として検知される。

レンズ駆動回路５９はシステムコントロール回路５２に接続される。ＡＦセンサ５８により検出されたデフォーカス量に基づいて、フォーカスレンズ群４１Ｆの駆動前の位置から被写体像を受光面に結像させる位置までのフォーカスレンズ群４１Ｆのレンズ駆動量が、システムコントロール回路５２によって算出される。

レンズ駆動量はレンズ駆動回路５９に入力される。レンズ駆動回路５９はレンズ駆動量に基づいて、被写体像を受光面上に結像させる位置に、フォーカスレンズ群４１Ｆの位置を移動させる。

レンズメモリ６０には、フォーカスレンズ群４１Ｆの位置と被写体までの撮影距離Ｄとの対応テーブルデータが格納される。フォーカスレンズ群４１Ｆの位置と対応データテーブルに基づいて、レンズメモリ６０によりフォーカスレンズ群４１Ｆの位置に対応する撮影距離Ｄが撮影距離情報として求められる。求められた撮影距離情報はシステムコントロール回路５２に出力される。

また、レンズメモリ６０には、ズームレンズ群４１Ｚの位置と焦点距離ｆとの対応テーブルデータが格納される。ズームレンズ群４１Ｚの位置に基づいて、レンズメモリ６０によりズームレンズ群４１Ｚの位置に対応する撮影光学系４１の焦点距離ｆが焦点距離情報として求められる。求められた焦点距離情報はシステムコントロール回路５２に出力される。

ズームレンズ群４１Ｚとフォーカスレンズ群４１Ｆとの間に絞り６１が設けられる。絞り６１の開口率は、絞り６１に電気的に接続される絞り駆動回路６２によって制御される。

絞り駆動回路６２はシステムコントロール回路５２に接続される。測光センサ５７により検出された周囲の光量が、システムコントロール回路５２を介して絞り駆動回路６２に入力される。周囲の光量に基づいて、絞り６１の開口率が絞り駆動回路６２によって制御される。

システムコントロール回路５２には、ミラー駆動回路６３およびシャッタ駆動回路６４が電気的に接続される。レリーズスイッチ５６がＯＮになると、システムコントロール回路５２によってシャッタ駆動回路６４およびミラー駆動回路６３が起動し、それぞれミラー６５およびシャッタ６６が開くように駆動される。

また、レリーズスイッチ５６がＯＮになると、システムコントロール回路５２が撮像素子駆動回路６７の制御を行なうことにより撮像素子４２が駆動され、画像信号が生成される。

また、レリーズスイッチ５６がＯＮになると、画像信号を生成するときの焦点距離情報、撮影距離情報、および測光量Ｌｖに相当する測光量情報が、システムコントロール回路５２から映像信号処理回路２０に出力される。

次に映像信号処理回路２０の構成ついて、図２を用いて説明する。図２は、映像信号処理回路２０の構成を示すブロック図である。Ａ／Ｄコンバータ４４においてデジタルデータに変換された画像信号は、外部Ｉ／Ｆ入力部２１に入力される。

画像信号は、一旦外部Ｉ／Ｆ入力部２１から画像メモリ４５に送られて、格納される。画像メモリ４５に格納された画像信号は色分離部２２に入力される。色分離部２２において、画像信号はＲ、Ｇ、Ｂそれぞれの色に対応したＲ信号、Ｇ信号、Ｂ信号に分離される。

分離されたＲ信号、Ｇ信号、Ｂ信号はホワイトバランス部２３に入力される。後述するホワイトバランス演算部２４において算出されるＲゲインＲｇとＢゲインＢｇもホワイトバランス部２３に入力される。ＲゲインＲｇとＢゲインＢｇとに基づいて、Ｒ信号、Ｇ信号、Ｂ信号のホワイトバランス処理が行われる。

ホワイトバランスが行われたＲ信号、Ｇ信号、Ｂ信号は、色補正部２５において色補正が行われ、γ補正部２６においてガンマ補正が行なわれ、ＹＣ処理部２７に送られる。所定の処理が行われたＲ信号、Ｇ信号、Ｂ信号に基づいて、ＹＣ処理部２７において輝度信号Ｙと色差信号Ｃｒ／Ｃｂとが生成される。

輝度信号Ｙは輪郭強調処理部２８に送られ、輪郭強調処理が施される。輪郭強調処理が施された輝度信号Ｙは、画像メモリ４５に格納される。色差信号Ｃｒ／Ｃｂは色信号処理部２９に送られ、色信号処理が施される。色信号処理が施された色差信号Ｃｒ／Ｃｂは画像メモリ４５に格納される。

画像メモリ４５に格納された輝度信号Ｙと色差信号Ｃｒ／Ｃｂは、画像信号として外部Ｉ／Ｆ出力部３０から、前述のようにモニタＩ／Ｆ４６またはカードＩ／Ｆ４９に出力される。

次に、ホワイトバランス処理に用いられるＲ、ＢゲインＲｇ、Ｂｇを算出するホワイトバランス演算部２４について説明する。Ａ／Ｄコンバータ４４においてデジタルデータに変換された画像信号は、ホワイトバランス演算部２４にも送られる。

ホワイトバランス演算部２４では、色分離処理、積算処理、およびＹＣ処理が順番に行われ、輝度信号Ｙと色差信号Ｃｒ／Ｃｂとが求められる。求められた輝度信号Ｙと色差信号Ｃｒ／Ｃｂとに基づいてゲイン算出処理が行なわれ、Ｒ、ＢゲインＲｇ、Ｂｇとが算出される。以下に詳細に説明する。

色分離処理によって、前述の色分離部と同様に画像信号がＲ信号、Ｇ信号、Ｂ信号に分離される。なお、１フレームのＲ信号、Ｇ信号、Ｂ信号の数は、原則として撮像素子４２に配置された画素の数と同じとなる。

次に積算処理について説明する。積算処理のために、受光面に積算領域が定められる。積算領域の数は画素の数より少なく、例えば受光面を縦１６×横１６に分割して形成される２５６個である。したがって、それぞれの積算領域には複数の画素が含まれることになる。

単一の積算領域が有する画素において生成されるＲ信号、Ｇ信号、Ｂ信号が色毎に積算され、単一のＲ積算値、Ｇ積算値、Ｂ積算値が求められる。したがって、１フレームの画像信号から合計で各２５６個のＲ積算値、Ｇ積算値、Ｂ積算値が求められる。

次のＹＣ処理では、積算処理で求められたＲ、Ｇ、Ｂ積算値に基づいて積算輝度信号ＹＩと積算色差信号ＣｒＩ／ＣｂＩとが生成される。前述のＹＣ処理部２７におけるＹＣ処理と異なり、２５６個の積算領域毎に積算輝度信号ＹＩと積算色差信号ＣｒＩ／ＣｂＩとが求められる。

積算処理の次のゲイン算出処理について説明する。まず、ＹＣ処理において求められた積算色差信号ＣｒＩ／ＣｂＩが、所定の輝度信号Ｙｍに対応する色差信号Ｃｒｍ／Ｃｂｍに変換される。なお、所定の輝度信号Ｙｍは、検出範囲の中間の輝度値に相当する信号値に定められる。

輝度信号Ｙｍに対応する色差信号Ｃｒｍ／Ｃｂｍへの換算について図３を用いて説明する。図３は、輝度信号Ｙ／色差信号Ｃｒ／色差信号Ｃｂを軸とする３次元座標における射影変換を説明するための図である。なお、図３において色差信号Ｃｒ、色差信号Ｃｂ、および輝度信号Ｙが０である点を原点とする。

単一の積算領域の輝度信号と色差信号の座標Ｐ（Ｃｂ１、Ｃｒ１、Ｙ１）と原点とを通る直線が結ばれる。この直線と平面Ｙ＝Ｙｍとの交点Ｐｍ（Ｃｂｍ１、Ｃｒｍ１、Ｙｍ）における色差が、換算された色差信号Ｃｒｍ１／Ｃｂｍ１として求められる。同様に、すべての積算領域の輝度信号と色差信号が所定の輝度信号Ｙｍにおける色差信号Ｃｒｍ／Ｃｂｍに変換される。

ホワイトバランス演算部２４には、画像信号を生成したときの焦点距離ｆおよび撮影距離がシステムコントロール回路５２から入力される。ホワイトバランス演算部２４によって、焦点距離ｆおよび撮影距離Ｄに基づいて、撮影倍率Ｍが演算される。なお、撮影倍率Ｍは、焦点距離ｆを撮影距離Ｄで除すことにより近似的に算出される。

また、ホワイトバランス演算部２４には、測光センサ５７により検出された光量がアペックス換算値Ｌｖとしてシステムコントロール回路５２を介して入力される。Ｒ、ＢゲインＲｇ、Ｂｇは、色差信号Ｃｒｍ／Ｃｂｍ、撮影倍率Ｍ、撮影距離Ｄ、および光量Ｌｖに基づいて算出される。

Ｒ、ＢゲインＲｇ、Ｂｇの算出において、最初に被写体に対する照明光源の推定が行なわれる。照明光源の推定方法について図４を用いて説明する。図４は、色差信号Ｃｒｍ／色差信号Ｃｂｍを軸とした２次元座標における各照明光源に対応する領域を示している。

照明光源として、色温度が４０００Ｋ〜５５００Ｋに相当する日中屋外における太陽光、色温度が５５００Ｋ〜７０００Ｋに相当する曇天における太陽光、色温度が７０００Ｋ〜９０００Ｋに相当する晴天日陰における太陽光、白熱灯、および蛍光灯が設定される。図４の２次元座標において、複数の照明光源のいずれかに対応する色差信号Ｃｒｍ／Ｃｂｍの座標（第１、第２の色差信号の組）の領域が光源推定領域として予め定められている。

照明光源が蛍光灯である場合には、色差信号Ｃｒｍ／Ｃｂｍの座標の多くは第１の光源推定領域Ａに検出される。照明光源が快晴の太陽光である場合には、色差信号Ｃｒｍ／Ｃｂｍの組の多くは第２の光源推定領域Ｂに検出される。

照明光源が曇天における太陽光である場合には、色差信号Ｃｒｍ／Ｃｂｍの座標の多くは第３の光源推定領域Ｃに検出される。照明光源が日陰における太陽光である場合には、色差信号Ｃｒｍ／Ｃｂｍの座標の多くは第４の光源推定領域Ｄに検出される。また、照明光源が白熱灯である場合には、色差信号Ｃｒｍ／Ｃｂｍの座標の多くは第５の光源推定領域Ｅに検出される。

まず、積算領域毎の色差信号Ｃｒｍ／Ｃｂｍの座標が第１〜第５の光源推定領域Ａ〜Ｅのいずれに含まれるかが判別される。第１〜第５の光源推定領域Ａ〜Ｅのいずれにも含まれない色差信号Ｃｒｍ／Ｃｂｍの座標は、Ｒ、ＢゲインＲｇ、Ｂｇの算出から除外される。

後述する特定の場合を除いて、積算領域毎の色差信号Ｃｒｍ／Ｃｂｍの座標を最も多く含む光源推定領域に対応する光源が照明光源として推定される。推定された照明光源に対応する光源推定領域に属する色差信号Ｃｒｍ／Ｃｂｍの座標は、Ｒ、ＢゲインＲｇ、Ｂｇの算出のための色差信号として選択される。その他の光源推定領域に属する色差信号Ｃｒｍ／Ｃｂｍの座標はＲ、ＢゲインＲｇ、Ｂｇの算出から除外される。

選択された色差信号Ｃｒｍ／Ｃｂｍそれぞれの平均値が算出される。求められた平均値に基づいて、従来公知のホワイトバランスのためのＲ、ＢゲインＲｇ，Ｂｇが算出される。

すなわち、求められた色差信号の平均と輝度信号ＹｍとをＲ、Ｇ、Ｂ信号に変換し、Ｒ信号をＧ信号で除すことによりＲゲインＲｇが算出される。またＢ信号をＧ信号で除すことによりＢゲインＢｇが算出される。算出されるＲ、ＢゲインＲｇ，Ｂｇは前述のようにホワイトバランス部２３に出力される。

なお、照明光源として選択された光源推定領域に属する色差信号Ｃｒｍ／Ｃｂｍに対応するＲ、Ｂ信号に対し算出したＲ、ＢゲインＲｇ、Ｂｇを乗じ、再度変換した色差信号Ｃｒｍ／Ｃｂｍの平均値はゼロとなる。

撮影距離が予め定められた第１の距離を越えている場合、第１の光源推定領域Ａに属する色差信号Ｃｒｍ／Ｃｂｍが、Ｒ、ＢゲインＲｇ、Ｂｇの算出から除外される。また、撮影距離が第１の距離未満かつ予め定められた第２の距離を越えており、撮影倍率が予め定められた所定の倍率を超える場合も、前述と同様に第１の光源推定領域Ａに属する色差信号Ｃｒｍ／Ｃｂｍが、Ｒ、ＢゲインＲｇ、Ｂｇの算出から除外される。

なお、第１の距離は、撮影距離を無限遠とみなせる距離であって、例えば、１０ｍに定められる。また、第２の距離は例えば８ｍに、所定の倍率は例えば８倍に定められる。

第１の光源推定領域Ａの除外により、第１の光源推定領域Ａが色差信号Ｃｒｍ／Ｃｂｍを最も多く含む場合に、色差信号Ｃｒｍ／Ｃｂｍを２番目に多く光源推定領域に対応する光源が照明光源として推定される。

第１の光源推定領域Ａを除外する場合であって、さらに光量Ｌｖが１２を超えている場合は、第４、第５の光源推定領域Ｄ、Ｅに属する色差信号Ｃｒｍ／Ｃｂｍの組も、Ｒ、ＢゲインＲｇ、Ｂｇの算出から除外される。

したがって、第１、第４、第５の光源推定領域Ａ、Ｄ、Ｅの除外により、第２、第３の光源推定領域Ｂ、Ｃのうちより多くの色差信号Ｃｒｍ／Ｃｂｍを含む光源特定領域に対応する光源が照明光源として推定される。

照明光源の推定の後は前述と同様に、Ｒ、ＢゲインＲｇ、Ｂｇが算出され、ホワイトバランス部２３に出力される。なお、光量Ｌｖが１４を超えている場合は、Ｒ、ＢゲインＲｇ、Ｂｇはそれぞれ１の値がホワイトバランス部２３に出力される。

次に、本実施形態の映像信号処理装置の動作について図５〜図７を用いて説明する。図５は、映像信号処理装置で行なわれる画像信号処理のフローチャートである。図６、図７は、ホワイトバランス演算部で行なわれるＲ、ＢゲインＲｇ、Ｂｇを算出するためのサブルーチンを示すフローチャートである。

まず、ステップＳ１００で、レリーズスイッチ５６がＯＮであるか否かの確認を行なう。ＯＦＦである場合は、ステップＳ１０１に進む。ステップＳ１０１では、測光スイッチ５５がＯＦＦであるか否か確認する。ＯＦＦである場合は、本信号処理は終了する。ＯＮである場合はステップＳ１００に戻る。

ステップＳ１００においてレリーズスイッチ５６がＯＮである場合は、ステップＳ１０２に進む。ステップＳ１０２において、撮像動作を実行する。すなわち、ミラー６５およびシャッタ６６を開き、撮像素子４２を駆動して画像信号を生成する。

ステップＳ１０２の次にステップＳ１０３に進み、画像信号にＣＤＳ／ＡＧＣ処理およびＡ／Ｄ変換を行った後、映像信号処理回路２０に画像信号を読込む。次のステップＳ１０４において、画像信号を画像メモリ４５に格納してステップＳ２００に進み、後述するＲ、ＢゲインＲｇ、Ｂｇの算出を行なう。

Ｒ、ＢゲインＲｇ、Ｂｇの算出後、ステップＳ１０５に進む。ステップＳ１０５では、算出したＲ、ＢゲインＲｇ、Ｂｇを用いて、ホワイトバランス処理を行う。まず、ステップＳ１０４において画像メモリに格納した画像信号に色分離処理を施して、Ｒ、Ｇ、Ｂ信号に分離する。次にＲ、Ｂ信号にそれぞれＲ、ＢゲインＲｇ、Ｂｇを乗じることによりホワイトバランス調整が実行される。

ホワイトバランス処理が終わると、次にステップＳ１０６に進み色補正処理を行う。次のステップＳ１０７では、γ補正処理を行う。さらに次のステップＳ１０８では、Ｒ、Ｇ、Ｂ信号に対しＹＣ処理を施して輝度信号Ｙと色差信号Ｃｒ／Ｃｂとに変換する。

次にステップＳ１０９に進み、輝度信号Ｙに対して輪郭強調処理を行う。また、色差信号Ｃｒ／Ｃｂに対して色信号処理を行う。次のステップＳ１１０において、輪郭強調処理を施した輝度信号Ｙと、色信号処理を施した色差信号Ｃｒ／Ｃｂとを画像メモリ４５に格納する。画像メモリ４５に格納後、本実施形態における画像信号の処理を終了する。

次に、ステップＳ２００におけるＲ、ＢゲインＲｇ、Ｂｇの算出について詳細に説明する。ステップＳ１０４の終了後ステップＳ２０１において、ホワイトバランス演算部２４への画像信号の読込と撮影距離、撮影倍率、および測光量Ｌｖの読込を行う。

読込終了後ステップＳ２０２において、画像信号に対して色分離処理を行うことによりＲ、Ｇ、Ｂ信号に分離する。次に分離したＲ、Ｇ、Ｂ信号に対してステップＳ２０３で積算処理を行う。積算処理によりＲ、Ｇ、Ｂ積算値を求める。

ステップＳ２０３の終了後、ステップＳ２０４でＲ、Ｇ、Ｂ積算値から輝度信号Ｙおよび色差信号Ｃｒ／Ｃｂを生成する。次のステップＳ２０５では、射影変換を行うことにより色差信号Ｃｒ／Ｃｂを、Ｙ＝Ｙｍであるときの色差信号Ｃｒｍ／Ｃｂｍに変換する。

射影変換後、次のステップＳ２０６に進む。ステップＳ２０６では、測光Ｌｖが１４を超えているか否かを判断する。超えている場合は、ステップＳ２０７でＲ、ＢゲインＲｇ、Ｂｇを１として算出する。すなわち、測光Ｌｖが１４を超えている場合は、ホワイトバランス調整が不要であり、調整なしに相当するゲインである１を前述のステップＳ１０５におけるホワイトバランス調整のゲインに用いる。

ステップＳ２０６で測光Ｌｖが１４を超えていない場合は、ステップＳ２０８に進む。ステップＳ２０８では、撮影距離が無限遠であるか否かを判断する。無限遠である場合は、ステップＳ２１２に進む。このステップＳ２０８の段階で、蛍光灯に相当する第１の光源推定領域Ａが照明光源の推定対象から除外される。無限遠である場合は、被写体が屋外であると判断できるからである。なお、前述のように、本実施形態において無限遠は１０ｍを超える距離として定められる。

ステップＳ２０８で、無限遠で無いと判断する場合は、ステップＳ２０９に進む。ステップＳ２０９およびステップＳ２１０において、撮影倍率が８倍を超えているか否か撮影距離が８ｍを超えているか否かを確認する。撮影倍率が８倍を超え、かつ撮影距離が８ｍを超えている場合は屋外であると判断でき、この場合は、ステップＳ２１２に進む。

増倍率が８倍を超えない、あるいは撮影距離が８ｍを超えない場合は、ステップＳ２１１に進む。ステップＳ２１１では、すべての光源推定領域を光源推定のための対象に設定する。

ステップＳ２１２では、測光Ｌｖが１２を超えているか否かを確認する。超えている場合は、ステップＳ２１３に進み、第２、第３の光源推定領域Ｂ、Ｃを光源推定のための対象に設定する。測光Ｌｖが１２を超えるのは照明光源が日中屋外における太陽光または曇天における太陽光であると判断できるので、このような照明光源推定の絞込みが可能である。

ステップＳ２１２において、測光Ｌｖが１２を超えていない場合はステップＳ２１４に進む。ステップＳ２１４では、第２〜第５の光源推定領域Ｂ、Ｃ、Ｄ、Ｅを光源推定の対目の対象に設定する。すなわち、第１の光源推定領域Ａのみを除外している。

ステップＳ２１１、ステップＳ２１３、ステップＳ２１４において、光源推定領域の設定を終えると、次にステップＳ２１５に進む。ステップＳ２１５では、設定された複数の光源推定領域の中で、最も多くの色差信号Ｃｒｍ／Ｃｂｍの組を含む光源推定領域が検出する。光源推定領域の検出により、照明光源の特定を行なう。

照明光源の特定を終えると、ステップＳ２１６に進む。ステップＳ２１６では、照明光源として特定された光源推定領域に含まれる色差信号Ｃｒｍ／Ｃｂｍの平均値を算出する。

平均値の算出を終えると、ステップＳ２１７に進む。ステップＳ２１７では、輝度信号Ｙｍと色差信号Ｃｒｍ／Ｃｂｍの平均値をＲ、Ｇ、Ｂ信号に変換する。次のステップＳ２１８では、変換したＲ信号を変換したＧ信号で除すことによりＲゲインＲｇを算出する。また、変換したＢ信号を変換したＧ信号で除すことによりＢゲインＢｇを算出する。

Ｒ、ＢゲインＲｇ、Ｂｇの算出後、Ｒ、Ｂゲイン算出のサブルーチンを終了し、前述のステップＳ１０５に進む。

以上のように本実施形態の映像信号処理装置によれば、撮影者による撮影モードの選択が行なわれることなく、適切なホワイトバランス調整が可能である。また、撮影者が不適切な撮影モードの選択をする場合でも適切なホワイトバランス調整が可能になる。

特に、屋外において、緑を多く含む被写体を撮影する場合に蛍光灯を照明光源としてホワイトバランス調整を行うことを防止することが可能になる。

なお、本実施形態では、第１の距離を１０ｍに定めているが、屋外であると推定可能な撮影距離であればいかなる距離であってもよい。また、第２の距離を８ｍ、所定の倍率を８倍に定めているが、屋外であると推定可能な撮影距離と撮影倍率の組合わせであれば、いかなる組合せでもよい。

また、本実施形態では、ホワイトバランス処理における照明光源の除外を撮影距離および撮影倍率に基づいて行なっているが、少なくともいずれか一方に基づいて行ってもよい。

なお、本実施形態においてＡＦセンサ５８を用いてデフォーカス量を検出したが、撮像に用いる撮像素子を用いてデフォーカス量を検出する構成であってもよい。例えば、コンパクトカメラのように、撮像用の撮像素子に常時被写体光を受光させる構成に対しても適用可能である。

なお、本実施形態において、ＡＦセンサ５８により検出したデフォーカス量に基づいてフォーカスレンズ群４１Ｆを移動させ、移動させたフォーカスレンズ群４１Ｆ野市に基づいて撮影距離を算出したが、測距センサにより直接被写体までの撮影距離を算出してもよい。

なお、本実施形態において、ホワイトバランス演算部において積算処理を行っているが、行わなくても本実施形態の効果を得ることは可能である。ただし、Ｒ、ＢゲインＲｇ、Ｂｇの算出のためには、画像に変換するには粗い数の画素信号であっても十分なので、処理の高速化のためには積算処理を行うことが望ましい。

本発明の一実施形態を適用した画像信号処理装置を有するデジタルカメラの内部構成を概略的に示すブロック図である。 映像信号処理回路の構成を示すブロック図である。 輝度信号Ｙ／色差信号Ｃｒ／色差信号Ｃｂを軸とする３次元座標における射影変換を説明するための図である。 色差信号Ｃｒｍ／色差信号Ｃｂｍを軸とした２次元座標における各照明光源に対応する領域を示す図である。 映像信号処理装置で行なわれる画像信号処理のフローチャートである。 ホワイトバランス演算部で行なわれるＲ、Ｂゲインを算出するためのサブルーチンを示す第１のフローチャートである。 ホワイトバランス演算部で行なわれるＲ、Ｂゲインを算出するためのサブルーチンを示す第２のフローチャートである。

符号の説明

１０ デジタルカメラ
２０ 映像信号処理回路
２２ 色分離部
２３ ホワイトバランス部
２４ ホワイトバランス演算部
４１ 撮影光学系
４２ 撮像素子
５２ システムコントロール回路
５５ 測光・ＡＦスイッチ
５６ レリーズスイッチ
５７ 測光センサ
５８ ＡＦセンサ
６０ レンズメモリ

Claims (6)

1. 被写体の光学像を撮像手段の受光面に結像させるための合焦光学系と前記合焦光学系の位置に基づいて撮影距離を検出する検出手段とを有する撮影光学系を介して受光する前記光学像を前記撮像手段に受光させることにより生成される画像信号の信号処理を行う画像信号処理装置において、
   前記画像信号が生成される時の前記撮影光学系の撮影倍率および前記撮影距離に基づいて前記画像信号にホワイトバランス処理を行うホワイトバランス処理部と、
   前記画像信号を、前記撮像手段の受光面を形成する領域毎の原色信号に分離する色分離部と、
   前記領域毎の原色信号を、第１、第２色差信号に変換する信号変換部とを備え、
   前記ホワイトバランス処理部は、前記受光面を形成する複数の領域の前記第１、第２の色差信号の平均値に基づいて、前記画像信号に乗じるホワイトバランスゲインを求め、前記ホワイトバランスゲインを用いて前記画像信号にホワイトバランス処理を行い、
   前記被写体の照明光源を推定するための前記第１、第２の色差信号の組の領域である光源推定領域が、複数の照明光源毎に二次元の色度座標上に予め定められており、
   前記光源推定領域は、蛍光灯に対応する第１の光源推定領域を含む複数の光源推定領域によって構成され、
   前記ホワイトバランス処理部は、前記撮影距離が第１の距離を越えている場合および前記撮影距離が前記第１の距離未満の第２の距離を越え前記撮影倍率が所定の倍率を超える場合の少なくとも一方において、前記第１の光源推定領域を除外した他の前記光源推定領域に含まれる複数の前記第１、第２の色差信号それぞれの平均値に基づいて、前記ホワイトバランスゲインを算出する
   ことを特徴とする画像信号処理装置。
2. 前記光源推定領域には、晴天日陰における太陽光および白熱灯の少なくとも一方に対応する第２の光源推定領域が含まれ、
   前記ホワイトバランス処理部は、前記撮影距離が前記第１の距離を越えている場合および前記撮影距離が前記第２の距離を越え前記撮影倍率が所定の倍率を超える場合の少なくとも一方であって且つ前記光学像の明るさが所定の明るさを超える場合は、前記第１、第２の光源推定領域を除外した他の前記光源推定領域に含まれる複数の前記第１、第２の色差信号それぞれの平均値に基づいて、前記ホワイトバランスゲインを算出する
   ことを特徴とする請求項１に記載の画像信号処理装置。
3. 前記ホワイトバランス処理部は、前記撮影倍率が前記所定の倍率未満且つ前記撮影距離
   が前記第１の距離未満の場合、または前記撮影倍率が前記所定の倍率を超え且つ前記撮影距離が前記第２の距離未満である場合は、複数の前記光源推定領域に含まれる複数の前記第１、第２の色差信号それぞれの平均値に基づいて、前記ホワイトバランスゲインを算出する
   ことを特徴とする請求項１または請求項２に記載の画像信号処理装置。
4. 前記ホワイトバランス処理部は、前記第１、第２の色差信号の組を、最も多く含む前記光源推定領域にのみ含まれる複数の前記第１、第２の色差信号それぞれの平均値に基づいて、前記ホワイトバランスゲインを求める
   ことを特徴とする請求項１〜請求項３のいずれか１項に記載の画像信号処理装置。
5. 前記撮影距離と前記撮影光学系の焦点距離とによって前記撮影倍率が算出されることを特徴とする請求項１〜請求項４のいずれか１項に記載の画像信号処理装置。
6. 前記撮影光学系は焦点距離を調整するための変倍光学系を有することを特徴とする請求項１〜請求項５のいずれか１項に記載の画像信号処理装置。

Images