JP4082383B2 - 撮像装置、画像処理方法および色領域設定プログラム - Google Patents

Description

本発明は、固体撮像素子を用いて画像を撮像する撮像装置、この撮像装置における画像処理方法および色領域設定プログラムに関し、特に、ホワイトバランス調整機能と、特定の色領域の信号成分に対する画像処理機能とを有する撮像装置、画像処理方法および色領域設定プログラムに関する。

近年、固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が急速に普及している。このような撮像装置では、撮像によって得られたデジタル画像信号に対して、画質補正のための様々なデジタル信号処理が行われている。

代表的な画質補正機能として、ホワイトバランス調整機能がある。ホワイトバランス調整は、被写体の光源の色温度に応じて白色が正しく表示されるように色相を調整するものであるが、さらに、撮像画像信号や外部の検出器を用いて光源の色温度を検出し、色相を自動的に調整するオートホワイトバランス機能を具備する撮像装置も多い。オートホワイトバランスでは、一般的に、撮像画像信号中のＲ，Ｇ，Ｂの各信号に対して、撮像画像中の基準とする白色点においてＲ＝Ｇ＝Ｂとなるようなゲインがかけられる。

しかし、オートホワイトバランス機能を利用しても、必ずしも正確な色を表現できない場合もあり、また、例えば夕景で赤みが抑えられてしまうなど、実際の被写体の雰囲気を残すことが難しい場合もある。そこで、最近の撮像装置では、例えば太陽光，白熱灯，蛍光灯といった光源の種類などに応じた設定値を用いて、あるいはユーザ操作により任意に指定された撮像画像中の領域の色成分に応じて、ホワイトバランスの基準とする白色点を意図的にずらす機能を備えたものも現れている。

また、他の画質補正機能として、特定の色領域に対する輪郭強調などの補正機能を備えたものもある。例えば、特に肌色部分の映像に対して自然で鮮明な輪郭が表現されるように輪郭強調する補正処理を施した場合に、肌色部分自体に対しては輪郭強調を弱めることで、人肌をきれいに写すことができる。このために、例えば、撮像画像信号から生成したＩ信号，Ｑ信号を用い、Ｉ軸−Ｑ軸平面の所定領域に入力画像信号の色相が含まれるか否かにより撮像画像中の肌色部分を判定して、その領域についてはそれ以外の領域より輪郭補正信号レベルを下げることなどが行われていた。さらに、Ｉ軸−Ｑ軸平面上の肌色領域を複数に分割し、これらの領域ごとに段階的に設定したコアリング量により撮像画像中の肌色部分のコアリング処理を行うことで、より適正な輪郭強調が可能とされた輪郭補正回路もあった（例えば、特許文献１参照）。
特許第３２６４１０７号公報（段落番号〔００２０〕〜〔００３３〕、図１）

ところで、上述したオートホワイトバランスと、特定色領域に対する補正の双方の画質補正機能を具備する撮像装置では、光源が変化すると、オートホワイトバランス機能により撮像画像全体の色信号が補正されてしまうので、後者の色補正機能で指定された色領域が意図した領域から外れてしまう場合があり、この場合には再度色領域の指定を行う必要があった。例えば、撮像画像中の肌色領域に対してのみ輪郭強調を弱める場合、ある光源下で肌色領域を指定した後、光源が変化してその光源に含まれる色成分が変化すると、オートホワイトバランス機能により肌色部分からの反射光の色成分も変化してしまうため、指定された色領域では肌色が選択されないことがある。

このような事態を回避するためには、光源の色成分の変化を補正するオートホワイトバランスの制御値（ゲイン値）に応じて、指定された色領域を自動的に変更する方法が考えられる。しかし、上述したように、基準とする白色点をオートホワイトバランスによる設定値から意図的にずらした場合には、白色点をずらす前後で選択される色領域が変化してしまうので、意図した色領域が選択されず、適切な画質補正効果が得られないという問題があった。

本発明はこのような点に鑑みてなされたものであり、撮像画像信号に対して、白色点を意図的にずらしてホワイトバランス調整を行った場合にも、色領域を適切に指定して補正を施すことが可能な撮像装置を提供することを目的とする。

また、本発明の他の目的は、撮像画像信号に対して、白色点を意図的にずらしてホワイトバランス調整を行った場合にも、色領域を適切に指定して補正を施すことが可能な撮像装置における画像処理方法を提供することである。

さらに、本発明の他の目的は、撮像画像信号に対して、白色点を意図的にずらしてホワイトバランス調整を行った場合にも、色領域を適切に指定して補正を施すことが可能な色領域設定プログラムを提供することである。

本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、撮像により得られた画像信号に対してホワイトバランス調整を施すホワイトバランス調整手段と、撮影光源の判別結果に基づいて前記ホワイトバランス調整手段の調整動作を制御する手段であって、前記撮影光源の判別結果に基づくホワイトバランス調整の基準とした白色点を外部からの入力に応じて変化させる機能を備えたホワイトバランス調整制御手段と、前記ホワイトバランス調整手段により補正された画像信号のうち、特定の色領域の信号成分に対して画像処理を施す画像処理手段と、前記画像処理手段が画像処理対象とする色領域を外部からの指定に応じて設定する色領域設定手段とを有し、前記ホワイトバランス調整制御手段は、前記撮影光源の判別結果に基づくホワイトバランス調整のための第１のアンプゲインと、前記白色点の変化に応じた第２のアンプゲインとを出力して、前記第２のアンプゲインを用いて前記ホワイトバランス調整手段を制御し、前記色領域設定手段は、１フレーム分の撮像画像信号が前記ホワイトバランス調整手段に供給されるごとに、外部からの指定に応じた色領域を示す信号成分の最大値および最小値に対して、前記第２のアンプゲインで乗算し、前記第１のアンプゲインで除算することで、外部からの指定に応じた色領域を変化させて設定することを特徴とする撮像装置が提供される。

このような撮像装置では、ホワイトバランス調整制御手段において、撮影光源の判別結果に基づく白色点が意図的に変化された場合には、色領域設定手段において、外部からの指定に応じた色領域が白色点の変化に応じて変化されて、その色領域が画像処理の対象として画像処理手段に設定される。具体的には、ホワイトバランス調整制御手段により、撮影光源の判別結果に基づくホワイトバランス調整のための第１のアンプゲインと、白色点の変化に応じた第２のアンプゲインとが出力されて、第２のアンプゲインを用いてホワイトバランス調整手段が制御される。そして、１フレーム分の撮像画像信号がホワイトバランス調整手段に供給されるごとに、色領域設定手段により、外部からの指定に応じた色領域を示す信号成分の最大値および最小値に対して、第２のアンプゲインで乗算され、第１のアンプゲインで除算される。これにより、画像処理手段では、白色点の変化に関係なく、色領域設定手段において外部から指定された通りの色領域が設定されて、画像処理が施される。

また、本発明では、固体撮像素子を用いた撮像により得られた画像信号に対するホワイトバランス調整機能と、ホワイトバランス調整が施された画像信号のうちの特定の色領域の信号成分に対する画像処理機能とを有する撮像装置における画像処理方法であって、撮影光源の判別結果に基づくホワイトバランス調整の基準とされる白色点を外部からの入力に応じて変化させ、前記白色点の変化に応じた制御値により前記ホワイトバランス調整機能を制御するホワイトバランス調整ステップと、前記白色点の変化に応じて、外部からの指定に応じた色領域を変化させ、当該色領域を前記画像処理機能の処理対象として設定する色領域設定ステップとを含み、前記ホワイトバランス調整ステップでは、前記撮影光源の判別結果に基づくホワイトバランス調整のための第１のアンプゲインと、前記白色点の変化に応じた第２のアンプゲインとを出力して、前記第２のアンプゲインを用いて前記ホワイトバランス調整機能を制御し、前記色領域設定ステップでは、１フレーム分の撮像画像信号が前記ホワイトバランス調整機能に供給されるごとに、外部からの指定に応じた色領域を示す信号成分の最大値および最小値に対して、前記第２のアンプゲインで乗算し、前記第１のアンプゲインで除算することで、外部からの指定に応じた色領域を変化させて設定することを特徴とする画像処理方法が提供される。

このような画像処理方法では、ホワイトバランス調整機能により、撮影光源の判別結果に基づく白色点が意図的に変化されて調整が行われた場合には、外部からの指定に応じた色領域が白色点の変化に応じて変化され、その色領域が画像処理機能の処理対象として設定される。具体的には、ホワイトバランス調整ステップにおいて、撮影光源の判別結果に基づくホワイトバランス調整のための第１のアンプゲインと、白色点の変化に応じた第２のアンプゲインとが出力されて、第２のアンプゲインを用いてホワイトバランス調整機能
が制御される。そして、色領域設定ステップにおいて、１フレーム分の撮像画像信号がホワイトバランス調整機能に供給されるごとに、外部からの指定に応じた色領域を示す信号成分の最大値および最小値に対して、第２のアンプゲインで乗算され、第１のアンプゲインで除算される。これにより、白色点の変化に関係なく、外部から指定された通りの色領域に対して画像処理が施される。

本発明によれば、撮影光源の判別結果に基づく白色点が意図的に変化されてホワイトバランス調整が行われた場合にも、その白色点の変化に関係なく、外部から指定された通りの色領域が適切に設定されて、その色領域の信号成分に対して画像処理が施されるので、例えば色領域の再設定などの余分な操作を行うことなく、ユーザの意図した通りの画像処理効果を確実に得ることが可能となる。

以下、本発明をデジタルスチルカメラに適用した場合を例に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係るデジタルスチルカメラの全体構成を示すブロック図である。

図１に示すデジタルスチルカメラは、光学ブロック１１、ＣＣＤ１２、ＴＧ（Timing Generator）１２ａ、前処理回路１３、カメラ処理回路１４、エンコーダ／デコーダ１５、制御部１６、入力部１７、グラフィックＩ／Ｆ（インタフェース）１８、ディスプレイ１８ａ、Ｒ／Ｗ（リーダ／ライタ）１９、およびメモリカード１９ａを具備する。これらのうち、光学ブロック１１、ＴＧ１２ａ、前処理回路１３、カメラ処理回路１４、エンコーダ／デコーダ１５、入力部１７、グラフィックＩ／Ｆ１８、およびＲ／Ｗ１９は、制御部１６に接続されている。

光学ブロック１１は、被写体からの光をＣＣＤ１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備しており、これらは制御部１６からの制御信号に基づいて駆動される。

ＣＣＤ１２は、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。なお、ＣＣＤ１２の代わりに、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの他の固体撮像素子が用いられてもよい。ＴＧ１２ａは、制御部１６の制御の下でタイミング信号を出力する。

前処理回路１３は、ＣＣＤ１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像信号を出力する。

カメラ処理回路１４は、前処理回路１３からの画像信号に対して、後述するホワイトバランス調整処理や色補正処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などのカメラ信号処理を施す。

エンコーダ／デコーダ１５は、カメラ処理回路１４からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、制御部１６から供給された静止画像の符号化データを伸張復号化処理する。

制御部１６は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラであり、ＲＯＭなどに記憶されたプログラムを実行することにより、デジタルスチルカメラの各部を統括的に制御する。

入力部１７は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどにより構成され、ユーザによる入力操作に応じた制御信号を制御部１６に出力する。
グラフィックＩ／Ｆ１８は、制御部１６から供給された画像信号から、ディスプレイ１８ａに表示させるための画像信号を生成して、この信号をディスプレイ１８ａに供給し、画像を表示させる。ディスプレイ１８ａは、例えばＬＣＤ（Liquid Crystal Display）からなり、撮像中のカメラスルー画像やメモリカード１９ａに記録されたデータを再生した画像などを表示する。

Ｒ／Ｗ１９には、撮像により生成された画像データなどを記録する記録媒体として、可搬型のフラッシュメモリからなるメモリカード１９ａが着脱可能に接続される。Ｒ／Ｗ１９は、制御部１６から供給されたデータをメモリカード１９ａに書き込み、また、メモリカード１９ａから読み出したデータを制御部１６に出力する。なお、記録媒体としては、他に、例えば書き込み可能な光ディスクやＨＤＤ（ハードディスクドライブ）などが用いられてもよい。

ここで、上記のデジタルスチルカメラにおける基本的な動作について説明する。まず、静止画像の撮像時の動作について説明する。
静止画像の撮像前には、ＣＣＤ１２によって受光されて光電変換された信号が、順次前処理回路１３に供給される。前処理回路１３では、入力信号に対してＣＤＳ処理、ＡＧＣ処理が施され、さらにデジタル信号に変換される。カメラ処理回路１４は、前処理回路１３から供給されたデジタル画像信号を画質補正処理し、カメラスルー画像の信号として、制御部１６を介してグラフィックＩ／Ｆ１８に供給する。これにより、カメラスルー画像がディスプレイ１８ａに表示され、ユーザはディスプレイ１８ａを見て画角合わせを行うことが可能となる。

この状態で、入力部１７のシャッタレリーズボタンが押下されると、制御部１６は、光学ブロック１１およびＴＧ１２ａに制御信号を出力して、光学ブロック１１のシャッタを動作させる。これによりＣＣＤ１２からは、１フレーム分の画像信号が出力される。

カメラ処理回路１４は、ＣＣＤ１２から前処理回路１３を介して供給された１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号をエンコーダ／デコーダ１５に供給する。エンコーダ／デコーダ１５は、入力された画像信号を圧縮符号化し、生成した符号化データを、制御部１６を介してＲ／Ｗ１９に供給する。これにより、撮像された静止画像のデータファイルがメモリカード１９ａに記憶される。

一方、メモリカード１９ａに記憶された静止画像ファイルを再生する場合には、制御部１６は、入力部１７からの操作入力に応じて、選択された静止画像ファイルをメモリカード１９ａからＲ／Ｗ１９を介して読み込み、エンコーダ／デコーダ１５に供給して伸張復号化処理を実行させる。復号化された画像信号は制御部１６を介してグラフィックＩ／Ｆ１８に供給され、これによりディスプレイ１８ａに静止画像が再生表示される。

次に、カメラ処理回路１４におけるホワイトバランス調整処理、および特定色領域に対する画質補正処理について説明する。図２は、これらの処理を実現するための機能ブロック図である。

本実施の形態に係るデジタルスチルカメラでは、図２に示すように、カメラ処理回路１４は、ホワイトバランス（ＷＢ）アンプ１４１、色領域選択部１４２、補正処理部１４３、および合成処理部１４４を具備する。また、アンプゲイン設定部１６１、白色点指定部１６２、および色領域設定部１６３が設けられ、これらは例えば、制御部１６によるソフトウェア処理により実現される。

前処理回路１３によりデジタル化されたＲＧＢの各信号は、ＷＢアンプ１４１およびアンプゲイン設定部１６１に入力される。ＷＢアンプ１４１は、ホワイトバランス調整用のゲインコントロールアンプであり、アンプゲイン設定部１６１からの制御信号によりその利得が設定される。

アンプゲイン設定部１６１は、前処理回路１３からの画像信号を基に、ホワイトバランス制御のための信号成分検出を行い、その検波結果に基づいて現在の撮影光源を判別して、その判別結果に応じたアンプゲインの制御値を算出する（オートホワイトバランス処理）。例えば、供給された画像データから撮像画像中の白色部分を抽出し、この白色部分についてＲＧＢの各信号成分が等しくなるようなアンプゲインの値を算出する。

なお、撮影光源の判別は、撮像画像信号を検波する代わりに、例えば光学ブロック１１の外部に設けた専用の検波器による検波信号を基に行うようにしてもよい。あるいは、これらの双方の方法を用いてもよい。また、検波対象とする画像信号は、ＲＧＢ成分に限らず、色差信号やＩ，Ｑ信号などを用いてもよい。

また、アンプゲイン設定部１６１はさらに、上記のオートホワイトバランス処理による補正基準となる白色点を、白色点指定部１６２からの指示情報に応じてずらす機能を有している。ここで、白色点は、オートホワイトバランス処理時にその調整基準として画面上から抽出された白色部分における信号成分を示す。白色点指定部１６２は、オートホワイトバランス処理に基づく白色点を、ユーザ操作に応じて意図的にずらすようにアンプゲイン設定部１６１に指示する。

例えば、白色点指定部１６２は、太陽光，白熱灯，蛍光灯などの撮影光源の種類や撮影対象の種類などに応じたアンプゲインのシフト値をあらかじめＲＯＭなどに保持しておき、入力部１７を通じたユーザのモード選択入力に応じて、対応するアンプゲインのシフト値をアンプゲイン設定部１６１に対して出力するようにする。あるいは、ユーザ操作に応じて任意のアンプゲインのシフト値をアンプゲイン設定部１６１に対して設定可能にしてもよい。

アンプゲイン設定部１６１は、オートホワイトバランス処理に基づくアンプゲインの値に、白色点指定部１６２からのシフト値を加算して、加算後のアンプゲインをＷＢアンプ１４１に対して出力する。ＷＢアンプ１４１はこの値に従ってＲＧＢ各信号成分の利得を制御し、これにより、自動調整されたホワイトバランスをユーザ操作に応じてさらに微調整することが可能となっている。

また、アンプゲイン設定部１６１は、オートホワイトバランス処理に基づくアンプゲイン、および、白色点指定部１６２からの指示に応じて白色点をずらしたときのアンプゲインの双方の値を、色領域設定部１６３に対して出力する。

一方、色領域選択部１４２、補正処理部１４３、合成処理部１４４、および色領域設定部１６３は、特定の色領域に対する画質補正を行うための処理ブロックである。色領域選択部１４２は、ＷＢアンプ１４１によりホワイトバランス調整が施された画像信号から、色領域設定部１６３により指定された色領域に含まれる画素信号を抽出し、補正処理部１４３に出力する。

補正処理部１４３は、抽出された画素信号に対して、輪郭強調などの所定の色補正処理を施す。合成処理部１４４は、色領域選択部１４２および補正処理部１４３からそれぞれ出力された画像信号を合成して、色補正された画像信号を生成する。

色領域設定部１６３は、入力部１７を通じたユーザ操作により指定された色領域を示す制御値を、色領域選択部１４２に対して設定する。例えば、色補正モードに応じた肌色領域などの特定色領域を示す制御値をあらかじめＲＯＭなどに保持しておき、ユーザのモード選択操作に応じて対応する制御値を読み出し、色領域選択部１４２に出力する。あるいは、ユーザ操作に応じて任意の色領域を選択可能なようにしてもよい。

そして、色領域設定部１６３は、指定された色領域を、白色点指定部１６２による白色点の指定に応じて変調し、色領域選択部１４２に対する設定を行う。これにより、オートホワイトバランス処理に基づく白色点をずらすように指定された場合にも、ユーザが意図した色領域が正しく指定され、補正が施されるようにする。

次に、このデジタルスチルカメラにおけるホワイトバランス処理および特定色領域に対する画質補正処理について、例として（Ｂ−Ｇ，Ｒ−Ｇ）平面を用いて説明する。
図３は、白色点をずらしていない場合に選択される色領域を示す図である。

アンプゲイン設定部１６１におけるオートホワイトバランス処理によって算出されるアンプゲインの値を、ＲＧＢ信号成分についてそれぞれＲｗｂ１，Ｇｗｂ１，Ｂｗｂ１とする。前処理回路１３から出力される画像信号（Ｒ’，Ｇ’，Ｂ’）に対するオートホワイトバランス処理では、画面上の白色部においてＲＧＢ各成分の値が等しくなるようにアンプゲインが設定される。このとき、（Ｂ−Ｇ，Ｒ−Ｇ）平面上の白色点Ｐ１の座標（Ｂａ−Ｇａ，Ｒａ−Ｇａ）は（Ｂ’・Ｂｗｂ１−Ｇ’・Ｇｗｂ１，Ｒ’・Ｒｗｂ１−Ｇ’・Ｇｗｂ１）＝（０，０）となる。

この状態で、色領域設定部１６３により、（Ｒｍａｘ−Ｇｍａｘ）＞（Ｒ−Ｇ）＞（Ｒｍｉｎ−Ｇｍｉｎ）で、かつ（Ｂｍａｘ−Ｇｍａｘ）＞（Ｂ−Ｇ）＞（Ｂｍｉｎ−Ｇｍｉｎ）の範囲の色領域Ａ１が選択されたとする。

図４は、白色点をずらした場合に選択される色領域を示す図である。
図３の状態で、白色点指定部１６２により白色点Ｐ１をずらすように指示されると、アンプゲイン設定部１６１によりそのシフト量に応じたアンプゲインが算出されて、ＷＢアンプ１４１が制御される。これにより、色相の異なる画像が生成されるので、意図した色領域を正しく選択するためには、その色領域も白色点Ｐ１のシフト量に応じて変化させる必要がある。

白色点がシフトされたときのアンプゲインをＲｗｂ２，Ｇｗｂ２，Ｂｗｂ２とすると、このときの白色点Ｐ２の座標は（Ｂａ・Ｂｗｂ２／Ｂｗｂ１−Ｇａ・Ｇｗｂ２／Ｇｗｂ１，Ｒａ・Ｒｗｂ２／Ｒｗｂ１−Ｇａ・Ｇｗｂ２／Ｇｗｂ１）となる。従って、白色点のシフトに伴って色領域設定部１６３によって選択すべき色領域Ａ２は、（Ｒ−Ｇ）軸方向の最大値および最小値をそれぞれＭＡＸ（Ｒ−Ｇ），ＭＩＮ（Ｒ−Ｇ）、（Ｂ−Ｇ）軸方向の最大値および最小値をそれぞれＭＡＸ（Ｂ−Ｇ），ＭＩＮ（Ｂ−Ｇ）とすると、ＭＡＸ（Ｒ−Ｇ）＞（Ｒ−Ｇ）＞ＭＩＮ（Ｒ−Ｇ），ＭＡＸ（Ｂ−Ｇ）＞（Ｂ−Ｇ）＞ＭＩＮ（Ｂ−Ｇ）と表される。そして、ＭＡＸ（Ｒ−Ｇ），ＭＩＮ（Ｒ−Ｇ），ＭＡＸ（Ｂ−Ｇ），ＭＩＮ（Ｂ−Ｇ）は、それぞれ以下の式（１）〜（４）により求められる。
ＭＡＸ（Ｒ−Ｇ）＝Ｒｍａｘ・Ｒｗｂ２／Ｒｗｂ１−Ｇｍａｘ・Ｇｗｂ２／Ｇｗｂ１
………（１）
ＭＩＮ（Ｒ−Ｇ）＝Ｒｍｉｎ・Ｒｗｂ２／Ｒｗｂ１−Ｇｍｉｎ・Ｇｗｂ２／Ｇｗｂ１
………（２）
ＭＡＸ（Ｂ−Ｇ）＝Ｂｍａｘ・Ｂｗｂ２／Ｂｗｂ１−Ｇｍａｘ・Ｇｗｂ２／Ｇｗｂ１
………（３）
ＭＩＮ（Ｂ−Ｇ）＝Ｂｍｉｎ・Ｂｗｂ２／Ｂｗｂ１−Ｇｍｉｎ・Ｇｗｂ２／Ｇｗｂ１
………（４）
以上のように色領域Ａ２を設定することにより、白色点をずらす前の色領域Ａ１と同じ信号成分を選択することが可能となる。

図５は、色領域設定部１６３における色領域の設定処理の流れを示すフローチャートである。
以下の処理は、前処理回路１３から１フレーム分の画像信号が出力されるごとに実行される。なお、アンプゲイン設定部１６１は、１フレーム分の画像信号を受信するごとに、そのときのオートホワイトバランス処理に基づくアンプゲインＲｗｂ１，Ｇｗｂ１，Ｂｗｂ１と、白色点指定部１６２から指示に応じてシフトさせたアンプゲインＲｗｂ２，Ｇｗｂ２，Ｂｗｂ２とを、色領域設定部１６３に出力する。

〔ステップＳ１１〕ユーザ操作により選択された色領域の設定値（Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘ，Ｒｍｉｎ，Ｇｍｉｎ，Ｂｍｉｎ）を、例えばＲＯＭから読み込む。なお、この設定値は、ユーザ操作により任意に設定可能なようにしてもよい。

〔ステップＳ１２〕オートホワイトバランス処理に基づくアンプゲイン、すなわち白色点指定部１６２からの指定に基づいて白色点をずらす前のアンプゲインの値（Ｒｗｂ１，Ｇｗｂ１，Ｂｗｂ１）を、アンプゲイン設定部１６１から取得する。

〔ステップＳ１３〕白色点指定部１６２からの指定に基づいて白色点をずらした後のアンプゲインの値（Ｒｗｂ２，Ｇｗｂ２，Ｂｗｂ２）を、アンプゲイン設定部１６１から取得する。

〔ステップＳ１４〕白色点のシフト量に応じた色領域を上記の式（１）〜（４）により演算し、演算結果を色領域選択部１４２に出力して、選択すべき色領域を設定する。
なお、白色点指定部１６２により白色点をずらすように指定されていない場合には、Ｒｗｂ２＝Ｒｗｂ１，Ｇｗｂ２＝Ｇｗｂ１，Ｂｗｂ２＝Ｂｗｂ１となり、上式（１）〜（４）の演算結果は、ＭＡＸ（Ｒ−Ｇ）＝Ｒｍａｘ−Ｇｍａｘ，ＭＩＮ（Ｒ−Ｇ）＝Ｒｍｉｎ−Ｇｍｉｎ，ＭＡＸ（Ｂ−Ｇ）＝Ｂｍａｘ−Ｇｍａｘ，ＭＩＮ（Ｂ−Ｇ）＝Ｂｍｉｎ−Ｇｍｉｎとなって、ステップＳ１１で読み込んだ設定値をそのまま使用した値となる。

以上の処理により、白色点を意図的にずらすようにホワイトバランス調整が行われた場合にも、そのシフト量に応じて選択する色領域が自動的に変調されるので、ユーザの意図した色領域が常に正確に選択され、その領域に対して補正処理部１４３による色補正が施される。従って、ユーザは、従来のように、白色点の設定を変えるたびに色補正の対象とする色領域を再設定する必要がなくなり、操作のわずらわしさが解消されるとともに、再設定のし忘れによる撮像失敗を防止することができる。

ここで、特定の色領域に対する画質補正処理の具体的な例について補足説明する。本発明は、以下のような画質補正処理に対して適用することができる。
・肌色領域など、特定の色領域に対して、輪郭強調の設定値を他の部分と変える。例えば、肌色領域のみ輪郭強調処理を弱めて滑らかに表現されるようにし、それ以外の部分に対しては輪郭がシャープになるようにする。この場合、色領域選択部１４２と合成処理部１４４との間に輪郭強調の処理部を設け、色領域選択部１４２により抽出された画素信号に対しては、補正処理部１４３において輪郭強調の設定値を弱めて処理する。

・特定の色領域に対して、あるいはそれ以外の色領域に対して、色補正を行う。例えば、肌色領域に対してのみ色補正を加えて好ましい肌色表現を行い、肌色領域以外の部分に対しては色補正を行わず、不自然な色にならないようにする。

・特定の色領域に対して、あるいはそれ以外の色領域に対して、輝度補正を行う。例えば、肌色領域に対してのみ輝度補正を加えて好ましい肌色表現を行い、肌色領域以外の部分に対しては輝度補正を行わず、不自然な画にならないようにする。

さらに、このような画質補正以外に、以下の特殊効果処理のような各種画像処理に対しても適用することができる。
・画面内の特定色、あるいはそれ以外の色を、別の色に変更する。例えば、特定色あるいはそれ以外の色をモノトーンにしたり、緑色の葉を赤に置き換えて紅葉のようにする。

・画面内の特定色の部分、あるいはそれ以外の部分を、別の画像で置き換える。
・画面内の特定色、あるいはそれ以外の色のみ、輝度レベルを変更する。
本発明を適用することにより、以上のような画質補正処理や特殊効果処理に対して、ホワイトバランス調整における白色点設定の影響を排除し、色領域を意図した通りに適切に選択することができる。

なお、以上の実施の形態では、本発明をデジタルスチルカメラに適用した場合について説明したが、固体撮像素子を用いたこれ以外の撮像装置に対しても本発明を適用することができる。例えば、デジタルビデオカメラや、携帯電話機、ＰＤＡ（Personal Digital Assistants）などの撮像機能などに適用可能である。また、ＰＣなどに接続されるテレビ電話用あるいはゲームソフト用などの小型カメラによる撮像信号に対する処理にも、本発明を適用することができる。

さらに、上記の撮像装置の処理機能は、コンピュータによって実現することができる。その場合、この撮像装置が有すべき機能（特に、上記のアンプゲイン設定部１６１，色領域設定部１６３などに対応する機能）の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気ディスク、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の実施の形態に係るデジタルスチルカメラの全体構成を示すブロック図である。 ホワイトバランス調整処理および特定色領域に対する画質補正処理を実現するための機能ブロック図である。 白色点をずらしていない場合に選択される色領域を示す図である。 白色点をずらした場合に選択される色領域を示す図である。 色領域設定部における色領域の設定処理の流れを示すフローチャートである。

符号の説明

１１……光学ブロック、１２……ＣＣＤ、１２ａ……ＴＧ、１３……前処理回路、１４……カメラ処理回路、１５……エンコーダ／デコーダ、１６……制御部、１７……入力部、１８……グラフィックＩ／Ｆ、１８ａ……ディスプレイ、１９……Ｒ／Ｗ、１９ａ……メモリカード、１４１……ＷＢアンプ、１４２……色領域選択部、１４３……補正処理部、１４４……合成処理部、１６１……アンプゲイン設定部、１６２……白色点指定部、１６３……色領域設定部

Claims (3)

1. 固体撮像素子を用いて画像を撮像する撮像装置において、
   撮像により得られた画像信号に対してホワイトバランス調整を施すホワイトバランス調整手段と、
   撮影光源の判別結果に基づいて前記ホワイトバランス調整手段の調整動作を制御する手段であって、前記撮影光源の判別結果に基づくホワイトバランス調整の基準とした白色点を外部からの入力に応じて変化させる機能を備えたホワイトバランス調整制御手段と、
   前記ホワイトバランス調整手段により補正された画像信号のうち、特定の色領域の信号成分に対して画像処理を施す画像処理手段と、
   前記画像処理手段が画像処理対象とする色領域を外部からの指定に応じて設定する色領域設定手段と、
   を有し、
   前記ホワイトバランス調整制御手段は、前記撮影光源の判別結果に基づくホワイトバランス調整のための第１のアンプゲインと、前記白色点の変化に応じた第２のアンプゲインとを出力して、前記第２のアンプゲインを用いて前記ホワイトバランス調整手段を制御し、
   前記色領域設定手段は、１フレーム分の撮像画像信号が前記ホワイトバランス調整手段に供給されるごとに、外部からの指定に応じた色領域を示す信号成分の最大値および最小値に対して、前記第２のアンプゲインで乗算し、前記第１のアンプゲインで除算することで、外部からの指定に応じた色領域を変化させて設定する、
   ことを特徴とする撮像装置。
2. 固体撮像素子を用いた撮像により得られた画像信号に対するホワイトバランス調整機能と、ホワイトバランス調整が施された画像信号のうちの特定の色領域の信号成分に対する画像処理機能とを有する撮像装置における画像処理方法であって、
   撮影光源の判別結果に基づくホワイトバランス調整の基準とされる白色点を外部からの入力に応じて変化させ、前記白色点の変化に応じた制御値により前記ホワイトバランス調整機能を制御するホワイトバランス調整ステップと、
   前記白色点の変化に応じて、外部からの指定に応じた色領域を変化させ、当該色領域を前記画像処理機能の処理対象として設定する色領域設定ステップと、
   を含み、
   前記ホワイトバランス調整ステップでは、前記撮影光源の判別結果に基づくホワイトバランス調整のための第１のアンプゲインと、前記白色点の変化に応じた第２のアンプゲインとを出力して、前記第２のアンプゲインを用いて前記ホワイトバランス調整機能を制御し、
   前記色領域設定ステップでは、１フレーム分の撮像画像信号が前記ホワイトバランス調整機能に供給されるごとに、外部からの指定に応じた色領域を示す信号成分の最大値および最小値に対して、前記第２のアンプゲインで乗算し、前記第１のアンプゲインで除算することで、外部からの指定に応じた色領域を変化させて設定する、
   ことを特徴とする画像処理方法。
3. 固体撮像素子を用いた撮像により得られた画像信号に対してホワイトバランス調整手段によりホワイトバランス調整が施された後に、当該画像信号のうちの特定の色領域の信号成分に対して画像処理を施す際に、前記画像処理の対象とされる色領域を設定する処理をコンピュータに実行させる色領域設定プログラムにおいて、
   撮影光源の判別結果に基づいて前記ホワイトバランス調整手段の調整動作を制御する手段であって、前記撮影光源の判別結果に基づくホワイトバランス調整の基準とした白色点を外部からの入力に応じて変化させる機能を備えたホワイトバランス調整制御手段、
   外部からの入力に応じて色領域の指定情報を受け付ける色領域指定受付手段、
   前記白色点が外部からの入力に応じて変化された場合に、前記指定情報に応じた色領域を前記白色点の変化に応じて変化させ、当該色領域を前記画像処理の対象として設定する色領域変調手段、
   として前記コンピュータを機能させ、
   前記ホワイトバランス調整制御手段は、前記撮影光源の判別結果に基づくホワイトバランス調整のための第１のアンプゲインと、前記白色点の変化に応じた第２のアンプゲインとを出力して、前記第２のアンプゲインを用いて前記ホワイトバランス調整手段を制御し、
   前記色領域変調手段は、１フレーム分の撮像画像信号が前記ホワイトバランス調整手段に供給されるごとに、前記指定情報に応じた色領域を示す信号成分の最大値および最小値に対して、前記第２のアンプゲインで乗算し、前記第１のアンプゲインで除算することで、前記指定情報に応じた色領域を変化させて設定することを特徴とする色領域設定プログラム。

Images