JP4254841B2 - 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラムに関し、特にホワイトバランス処理機能を備えた撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、デジタルスチルカメラ、デジタルビデオカメラ等のデジタル方式の撮像装置が急速に普及し、これらの製品の高性能化が進んでいる。このため、撮像装置としてより高度な機能を搭載して、その商品価値を高めることが強く求められている。

撮像装置の機能の１つとして、被写体における光源の色合いの変化に自動的に適応するためにＲＧＢの割合を均一にして白を白として再現する自動ホワイトバランス処理機能が知られている。

一般的に、自動ホワイトバランス処理機能を有する撮像装置は、被写体の無彩色部分を抽出して、その部分を無彩色にするように制御を行う。この制御では、光源の色の変化に従って被写体の色は変わってしまうので、自然光源下で無彩色部分の変化する色の範囲を無彩色検出範囲としている。

しかし、この制御方法では、顔の肌色と低色温度光源下での無彩色部分の色合いとが非常に近いために誤って肌色を無彩色であると判断してしまう場合がある。特に画面中に肌色の占める面積が大きい場合はこの傾向が高く、この結果ホワイトバランスゲインがずれてしまい、画像が青くなってしまうという問題がある。

ここで、撮像画像に含まれる顔の検出を行い、顔が検出された場合は、ホワイトバランスゲインを設定するためのホワイトバランス評価値取得エリアを顔以外のエリアに移動させ、顔部分のホワイトバランスの演算を行わないようにするホワイトバランスゲイン設定方法が知られている（例えば、特許文献１参照）。
特開２００３−１８９３２５号公報

しかしながら、この方法では、ホワイトバランス評価値取得エリアを顔部分から移動して設定し、その評価値を取得するため、撮像画像に顔が複数存在する場合は、顔を除外したエリアが不規則になってしまい、ホワイトバランス評価値の取得が難しいという問題がある。

また、撮像画像に顔が複数存在する場合において、誤検出により検出されない顔が存在する場合は、自動ホワイトバランス処理においてその顔の肌色の影響を受けてしまうという問題もある。

本発明は、このような点に鑑みてなされたものであり、容易にホワイトバランス制御を行うことができる撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、撮像画像の各色成分の信号を取得する色成分取得部と、前記撮像画像から顔を検出する顔検出部と、前記撮像画像に顔が存在する場合、前記顔検出部によって検出された顔の各色成分の信号を基に、肌色領域を規定する各色成分の閾値を算出し、前記閾値を用いて前記撮像画像の前記肌色領域の各色成分の信号を取得する肌色領域色成分取得部と、前記色成分取得部によって得られた前記撮像画像の各色成分の信号から前記肌色領域色成分取得部によって得られた前記肌色領域の各色成分の信号を減算した肌色除去情報を作成する肌色除去情報作成部と、前記肌色除去情報を用いてホワイトバランスゲインを設定するホワイトバランスゲイン設定部と、前記ホワイトバランスゲインを用いて前記撮像画像の各色成分に対してホワイトバランス調整を行うホワイトバランス制御部と、を有することを特徴とする撮像装置が提供される。

このような撮像装置によれば、色成分取得部により、撮像画像の各色成分の信号が取得される。そして、顔検出部により、撮像画像から顔が検出される。撮像画像に顔が存在する場合、肌色領域色成分取得部により、顔の検出結果に基づく肌色領域の各色成分の信号が取得される。具体的には、検出された顔の各色成分の信号を基に、肌色領域を規定する各色成分の閾値が算出され、この閾値を用いて撮像画像の肌色領域の各色成分の信号が取得される。その後、肌色除去情報作成部により、色成分取得部によって得られた各色成分の信号から肌色領域色成分取得部によって得られた肌色領域の各色成分の信号が減算された肌色除去情報が作成される。そして、ホワイトバランスゲイン設定部により、肌色除去情報を用いてホワイトバランスゲインが設定される。ホワイトバランス制御部により、ホワイトバランスゲインを用いて撮像画像の各色成分に対してホワイトバランス調整が行われる。

本発明では、撮像画像に顔が存在する場合、顔の検出結果に基づく肌色領域の各色成分の信号を取得し、撮像画像の各色成分の信号から肌色領域の各色成分の信号を除去した肌色除去情報を作成し、この情報を用いてホワイトバランスゲインを設定するようにしたので、複数顔が存在する場合においても顔検出結果から検波すべきエリアを指定できるので容易にホワイトバランス制御を行うことができる。

特に、撮像画像の各色成分の信号をそれぞれ積分して各色成分積分値を作成し、検出された顔の各色成分の信号をそれぞれ積分して肌色領域各色成分積分値を作成し、肌色領域各色成分積分値を用いて閾値を算出し、撮像画像の、閾値を満たす各色成分の積分値を取得し、各色成分積分値と閾値を満たす各色成分の積分値との差分を演算して前記肌色除去情報を作成するようにした場合には、より精度の高いホワイトバランス制御を行うことができる。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。
図１は、実施の形態の撮像装置の構成を示すブロック図である。
撮像装置１は、光学ブロック２、ドライバ２ａ、駆動部２ｂ、イメージセンサ３、タイミング発生回路（ＴＧ）３ａ、アナログフロントエンド（ＡＦＥ）回路４、ＷＢアンプ５、信号処理回路６、圧縮・変換回路７、検波部８、システムコントローラ９、操作部１０、グラフィックＩ／Ｆ（インタフェース）１１、およびディスプレイ（画像モニタ）１１ａを具備する。

光学ブロック２は、光源からの入射光および被写体からの光（反射光）をイメージセンサ３に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、被写体照度に応じて絞りを調節し、レンズを通過した光の量（光量）、すなわち露出を決定するアイリス機構等を具備している。

ドライバ２ａは、システムコントローラ９からの制御信号に基づいて、絞り駆動等、光学ブロック２内の各機構の駆動を制御する駆動信号を出力する。
駆動部２ｂは、ドライバ２ａからの駆動信号を受けて、光学ブロック２の駆動機構を駆動する。

イメージセンサ３は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型等の固体撮像素子であり、光学ブロック２を通過した光学画像を光電変換し、変換した信号をＡＦＥ回路４へ渡す。

ＴＧ３ａは、システムコントローラ９の制御の下でイメージセンサ３の駆動を制御するタイミング信号を出力する。
ＡＦＥ回路４は保持・利得制御回路４１およびＡ／Ｄ変換回路４２を有している。ＡＦＥ回路４は、例えば１つのＩＣ（Integrated Circuit）として構成され、イメージセンサ３から出力された画像信号に対して、保持・利得制御回路４１がＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得（ゲイン）を制御する。また、Ａ／Ｄ変換回路４２がＡ／Ｄ変換を行い、デジタル画像信号を出力する。なお、ＣＤＳ処理を行う回路は、イメージセンサ３と同一基板上に形成されてもよい。

ＷＢアンプ５は、入力されるＡＷＢゲイン（ホワイトバランス制御信号）に基づいてホワイトバランスを調整した画像信号を生成する。ホワイトバランスの調整は、具体的には、ホワイトバランス制御信号に応じてＲ、Ｇ、Ｂそれぞれのゲインを調整するものであって、Ａ／Ｄ変換回路４２から出力されてくる画像信号のＲ、Ｇ、Ｂの振幅を増幅させる。なお、以下では、ＷＢアンプ５での制御を「自動ホワイトバランス制御」という。

信号処理回路６は、入力される画像信号に対してリニアマトリクス処理、ガンマ処理、および色差マトリクス等のデジタル信号処理を行う。
また、信号処理回路６は、システムコントローラ９からの制御信号に従い、ＷＢアンプ５からの画像信号に対して各種画質補正処理を施し、被写体の映像信号（輝度信号および色差信号）を生成する。

さらに、信号処理回路６は、入力画像から人物の顔を検出する機能を有し、ＷＢアンプ５からの画像信号の人物の顔が存在する領域を検出して、その検出結果をシステムコントローラ９に供給する。

圧縮・変換回路７は、輝度信号および色差信号を基に圧縮符号化処理を行う。圧縮・変換回路７により圧縮された信号は、図示しない記録媒体に画像ファイルとして書き込まれる。

検波部８は、信号中のホワイトバランス制御用の（Ｒ、Ｇ、Ｂ）成分を検出する。この検波部８が、色成分取得部および肌色領域成分取得部の主要部を構成している。なお、検波部８のより詳しい機能については後述する。

システムコントローラ９は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等から構成されるマイクロコントローラであり、ＲＯＭ等に記憶されたプログラムを実行することにより、光学ブロック２、イメージセンサ３、ＡＦＥ回路４、ＷＢアンプ５、信号処理回路６等、撮像装置１の各部を統括的に制御することにより、ＡＦ、ＡＥ、ホワイトバランスの自動制御処理を行い、撮像被写体の好適な映像信号の生成を行う。このシステムコントローラ９が肌色除去情報作成部およびホワイトバランスゲイン設定部の主要部を構成している。

操作部１０は、例えばシャッタレリーズボタン等の各種操作キーやレバー、ダイヤル等を有しており、ユーザによる入力操作に応じた制御信号をシステムコントローラ９に出力する。

グラフィックＩ／Ｆ１１は、信号処理回路６からシステムコントローラ９を介して供給された画像信号から、ディスプレイ１１ａに表示させるための画像信号を生成して、この信号をディスプレイ１１ａに供給し、画像を表示させる。ディスプレイ１１ａは、例えばＬＣＤ（Liquid Crystal Display）で構成され、撮像中のカメラスルー画像や図示しない記録媒体に記録されたデータに基づく再生画像等を表示する。

このような撮像装置１によれば、被写体からの映像光（反射光）が光学ブロック２により収束され、イメージセンサ３に入射される。イメージセンサ３に入射された映像光は光電変換によって電気信号に変換される。この変換された電気信号が保持・利得制御回路４１に入力され、保持・利得制御回路４１でサンプリングおよびゲインコントロールされた信号がＡ／Ｄ変換回路４２に入力される。そしてＡ／Ｄ変換回路４２に入力された信号はデジタル信号に変換されて、ＷＢアンプ５および検波部８に入力される。

検波部８により、デジタル信号中のホワイトバランス制御用の（Ｒ、Ｇ、Ｂ）成分が検出され、その検波結果がシステムコントローラ９に渡される。
ここで、システムコントローラ９に入力されたデジタル信号に対する人物の顔が存在する領域が信号処理回路６により検出される。顔が存在する場合、システムコントローラ９によって、白を白とするようにＡＷＢゲイン値が設定される。

ＷＢアンプ５により、設定されたＡＷＢゲイン値に基づいてホワイトバランスが調整された画像信号が生成され、信号処理回路６に入力される。信号処理回路６により、入力された画像信号に対してリニアマトリクス処理等のデジタル信号処理が行われる。信号処理が行われた信号は、圧縮・変換回路７により圧縮および変換され、図示しない記録媒体に画像ファイルとして書き込まれる。

次に、本実施の形態の撮像装置１の動作について説明する。
図２は、第１の実施の形態の撮像装置の動作を示すフローチャートであり、図３は、撮像画像を示す図である。

まず、システムコントローラ９は、撮像画像の全画面エリア２１（図３参照）を検波枠として設定し、検波部８に検波依頼を送る（ステップＳ１）。
次に、検波部８は、無彩色の抽出のために予め設定されたパラメータを用いて全画面エリア２１を検波し（ステップＳ１１）、全画面エリア２１の各色成分の信号の積分値（ΣＲ、ΣＧ、ΣＢ）と積分面積（Ａ）とを求め、全画面エリア検波結果としてシステムコントローラ９に渡す。

システムコントローラ９は、全画面エリア検波結果を取得し（ステップＳ２）、ＲＡＭに格納する。なお、積分面積（Ａ）は、撮像画像内で実際に積分対象とした領域の面積（すなわち画素数）を示す。

次に、システムコントローラ９は、信号処理回路６からの検出信号に基づいて、全画面エリア２１に顔が検出されたか否かを判断する（ステップＳ３）。
全画面エリア２１に顔が検出されない場合（ステップＳ３のＮｏ）、ステップＳ７に移行する。

一方、全画面エリア２１に顔が検出された場合（ステップＳ３のＹｅｓ）、システムコントローラ９は、顔の肌色を除去するための情報を作成する。具体的には、ＡＷＢ制御用の検波枠を、検出した顔エリア（顔のエリア）２２（図３参照）に設定し（ステップＳ４）、検波部８に顔エリア２２の検波依頼を送る。

次に、検波部８は、ステップＳ１１にて使用したパラメータと同一のパラメータを用いて顔エリア２２を検波し（ステップＳ１２）、顔の肌色領域の各色成分の積分値（ΣＲ_F、ΣＧ_F、ΣＢ_F）と肌色積分面積（Ａ_F）とを求め、顔エリア検波結果としてシステムコントローラ９に渡す。

次に、システムコントローラ９は、顔エリア検波結果を取得すると（ステップＳ５）、ステップＳ２で取得した全画面エリア２１の各色成分の積分値（ΣＲ、ΣＧ、ΣＢ）と積分面積（Ａ）から顔エリア２２の各色成分の積分値（ΣＲ_F、ΣＧ_F、ΣＢ_F）と肌色積分面積（Ａ_F）との差分をとり自動ホワイトバランス制御用の積分値（肌色除去情報）と積分面積（肌色除去情報）とを求める（ステップＳ６）。なお、肌色積分面積（Ａ_F）は、顔エリア２２の中で実際に積分対象とした領域の面積（画素数）を示す。

この積分値（ΣＲ_W、ΣＧ_W、ΣＢ_W）と積分面積（Ａ_W）は下記の式（１）〜式（４）で表される。
ΣＲ_W＝ΣＲ−ΣＲ_F・・・（１）
ΣＧ_W＝ΣＧ−ΣＧ_F・・・（２）
ΣＢ_W＝ΣＢ−ΣＢ_F・・・（３）
Ａ_W＝Ａ−Ａ_F・・・（４）
次に、システムコントローラ９は、得られた積分値を用いて自動ホワイトバランス制御を行うための最終的なＡＷＢゲインを演算する（ステップＳ７）。具体的には、全画面エリア２１に顔が検出されない場合、積分値（ΣＲ、ΣＧ、ΣＢ）と積分面積（Ａ）とを用いてＡＷＢゲインを演算する。また、全画面エリア２１に顔が検出された場合、積分値（ΣＲ_W、ΣＧ_W、ΣＢ_W）と積分面積（Ａ_W）とを用いてＲＧＢの各成分が等しくなるようなＡＷＢゲインを演算する。

なお、ステップＳ１１の検波では、基本的には検波枠を全画面とするが、実際には画面上のすべての画素信号を検波しなくてもよい。例えば、所定の輝度閾値以上の画素のみを検波する。あるいは、間隔を空けて検波領域を設定してもよい。ステップＳ１２の検波でも同様に、顔エリア２２内のすべての画素信号を検波しなくてもよい。このステップＳ１２では、例えば、顔の検波に特化した検波パラメータとしてステップＳ１１とは異なる輝度閾値を設定し、その輝度閾値以上の画素のみを検波してもよい。このように、ステップＳ１１およびＳ１２でそれぞれ異なる検波パラメータを設定した場合には、ステップＳ７において、積分値（ΣＲ_W、ΣＧ_W、ΣＢ_W）を積分面積（Ａ_W）で除算した平均値を用いてＡＷＢゲインを演算することにより、演算精度を高めることができる。

次に、システムコントローラ９は、演算した結果得られたＡＷＢゲインをＷＢアンプ５に出力する（ステップＳ８）。ＷＢアンプ５が、受け取ったＡＷＢゲインを入力画像信号に適用することで、ホワイトバランスが調整される。

以上説明したように、本実施の形態の撮像装置１によれば、信号処理回路６により顔が検出された場合、検出された顔エリア２２内の肌色を検波し、全画面エリア２１の各色成分の積分値（ΣＲ、ΣＧ、ΣＢ）と積分面積（Ａ）から顔エリア２２の各色成分の積分値（ΣＲ_F、ΣＧ_F、ΣＢ_F）と肌色積分面積（Ａ_F）との差分をとり自動ホワイトバランス制御用の積分値と積分面積とを求めるようにした。これにより、顔の肌色の影響がＡＷＢゲインの演算から除外されるため、精度の高いＡＷＢ制御を行うことができる。

また、撮像画像に顔が複数存在する場合でも各顔の検出領域に対応する（矩形の検波枠を検波すればよい）ので、顔の数にかかわらず、顔エリア２２を指定することにより容易に肌色の影響によるＡＷＢゲインの誤った制御（設定）を防止することができる。

なお、本実施の形態では、信号処理回路６で顔検出を行うようにしたが、これに限らず、別個に専用の顔検出回路を設け、全画面エリア２１における顔を検出するようにしてもよい。

ところで、前述したように、撮像画像に顔が複数存在する場合において、誤検出により検出されない顔が存在する場合は、自動ホワイトバランス処理においてその顔の肌色の影響を受けてしまうという問題がある。

図４は、撮像画像の顔検出結果を示す図である。
図４では、誤検出により全画面エリア２１の右側の顔のみが検出され、顔エリア２２として設定されている。この場合、検出漏れの左側の顔のエリア２３が各色成分の積分値（ΣＲ_F、ΣＧ_F、ΣＢ_F）の検波対象から外れるため、ＡＷＢゲインに誤差が生じる。以下、この問題を解決する第２の実施の形態の撮像装置について説明する。

以下、第２の実施の形態の撮像装置について、前述した第１の実施の形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
以下、第２の実施の形態の撮像装置１の動作について説明する。

図５および図６は、第２の実施の形態の撮像装置の動作を示すフローチャートである。
システムコントローラ９のステップＳ１ａ〜ステップＳ４ａおよび検波部８のステップＳ２１ａ〜Ｓ２２ａについては、それぞれ図２のシステムコントローラ９のステップＳ１〜ステップＳ４および検波部８のステップＳ１１〜Ｓ１２と同様であるため説明を省略する。

システムコントローラ９は、ステップＳ４ａ実行後、顔エリア検波結果を取得すると（ステップＳ５ａ）、取得した顔エリア２２の積分値を色差グラフ上にプロットしたときの肌色の閾値を求める（ステップＳ６ａ）。この処理について、例として（Ｂ−Ｙ，Ｒ−Ｙ）平面を用いて説明する。

図７は、肌色の閾値の算出方法を説明する図である。
図７に示すように、ステップＳ５ａで取得される顔の検出領域における各色成分の積分値は、色差平面において一般的に肌色を表す領域内にプロットされる。このとき、プロットした座標を囲むようにこの座標に対して所定の幅を持たせたＹ軸方向の最大値（Ｒ−Ｙ_max）および最小値（Ｒ−Ｙ_min）と、Ｘ軸方向の最大値（Ｂ−Ｙ_max）および最小値（Ｂ−Ｙ_min）を肌色の閾値とする。

なお、Ｙ_maxおよびＹ_minの組み合わせをＲＯＭなどにあらかじめ複数用意しておき、プロットした座標値に対応する（すなわち、その座標値が閾値による領域内に存在するような）Ｙ_maxおよびＹ_minの組み合わせを読み込むことで、肌色の閾値を決定してもよい。また、これらの用意されたＹ_maxおよびＹ_minの組み合わせが、ＡＷＢ制御用にあらかじめ規定された光源の種別（例えば太陽光、電球、蛍光灯等）に対応していてもよい。

次に、システムコントローラ９が、検波枠を全画面エリア２１に設定し（ステップＳ７ａ）検波部８に肌色の閾値を用いた全画面エリア２１の検波依頼を送る。
次に、検波部８が、肌色の閾値を用いて全画面エリア２１を検波し（ステップＳ２３ａ）、全画面エリア２１内における閾値を満たす（すなわち、閾値に囲まれた領域内の値に該当する）各色成分の積分値（ΣＲ’、ΣＧ’、ΣＢ’）と積分面積（Ａ’）を求め、閾値による全画面エリア検波結果としてシステムコントローラ９に渡す。

図８は、閾値を用いた検波結果を示す図である。
ステップＳ２２ａの処理により、右側の顔２４に加え、ステップＳ３ａでの顔の検出信号において検出漏れとなった左側の顔２５の各色成分の積分値が閾値による全画面エリア検波結果に含まれることになる。

そして、システムコントローラ９が、閾値による全画面エリア検波結果を取得すると（ステップＳ８ａ）、ステップＳ２ａで取得した全画面エリア２１の各色成分の積分値（ΣＲ、ΣＧ、ΣＢ）と積分面積（Ａ）から閾値を満たす各色成分の積分値（ΣＲ’、ΣＧ’、ΣＢ’）と積分面積（Ａ’）との差分をとり自動ホワイトバランス制御用の積分値（肌色除去情報）と積分面積（肌色除去情報）とを求める（ステップＳ９ａ）。この積分値（ΣＲ_W1、ΣＧ_W1、ΣＢ_W1）と積分面積（Ａ_W1）は下記の式（５）〜式（８）で表される。
ΣＲ_W1＝ΣＲ−ΣＲ’・・・（５）
ΣＧ_W1＝ΣＧ−ΣＧ’・・・（６）
ΣＢ_W1＝ΣＢ−ΣＢ’・・・（７）
Ａ_W1＝Ａ−Ａ’・・・（８）
次に、システムコントローラ９が、得られた積分値を用いて自動ホワイトバランス制御用の最終的なＡＷＢゲインを演算する（ステップＳ１０ａ）。具体的には、全画面エリア２１に顔が検出されない場合、積分値（ΣＲ、ΣＧ、ΣＢ）と積分面積（Ａ）とを用いてＡＷＢゲインを演算する。また、全画面エリア２１に顔が検出された場合、積分値（ΣＲ_W1、ΣＧ_W1、ΣＢ_W1）と積分面積（Ａ_W1）とを用いてＡＷＢゲインを演算する。

次に、システムコントローラ９が、演算したＡＷＢゲインをＷＢアンプ５に出力する（ステップＳ１１ａ）。
その後、ＷＢアンプ５が、受け取ったＡＷＢゲインを用いてＲ＝Ｇ＝Ｂとなるような自動ホワイトバランス制御を行う。

図９は、第１の実施の形態の撮像装置および第２の実施の形態の撮像装置の動作を模式的に示す図である。
図９中Ｐ１は、検出漏れの顔が存在する場合の第２の実施の形態の撮像装置１の動作により得られた自動ホワイトバランス制御用の積分値であり、Ｐ２は、検出漏れの顔が存在する場合の第１の実施の形態の撮像装置１の動作により得られた自動ホワイトバランス制御用の積分値である。Ｐ２を用いた自動ホワイトバランス制御では、Ｐ１を用いたホワイトバランス制御に比べてＢ成分に対するゲインが高くなるので画像が青くなってしまうことが分かる。

この第２の実施の形態の撮像装置１によれば、第１の実施の形態の撮像装置１と同様の効果が得られる。
そして第２の実施の形態の撮像装置１によれば、さらに、検出された顔の領域の色情報を基に撮像画像中の肌色領域を規定する閾値を算出し、この閾値を用いて全画面エリア２１内に存在する肌色を検出するようにしたので、ステップＳ３ａにて検出漏れの顔が存在する場合においても、ステップＳ６ａ〜ステップＳ８ａの動作により検出漏れの顔の肌色が抽出され、肌色の影響を受けない自動ホワイトバランス制御を実現することができる。

さらに、第２の実施の形態の撮像装置１によれば、顔に限らず、肌色の閾値を満たすすべての肌色、すなわち自動ホワイトバランス制御を行う際に誤検出の原因となる肌色（例えば人物の腕の肌色や段ボール等）を抽出することができるため、より精度の高いホワイトバランス制御を実現することができる。

なお、第２の実施の形態では、肌色領域が矩形になるように閾値を設定したが、これに限らず、例えば肌色領域が楕円になるように閾値を設定してもよい。
以上、本発明の撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラムを、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。

また、本発明は、前述した各実施の形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。
なお、本発明を適用する撮像装置は特に限定されないが、例えばデジタルスチルカメラや、デジタルビデオカメラや、携帯電話機、ＰＤＡ（Personal Digital Assistants）等が挙げられる。

また、前述した各実施の形態では、本発明を撮像装置に用いる場合について説明したが、本発明はこれに限らず、入力画像を処理する画像処理装置にも適用することができる。画像処理装置は特に限定されないが、例えばプリンタ等が挙げられる。

なお、上記の処理機能は、コンピュータによって（コンピュータに所定の画像処理プログラムを実行させることにより）実現することができる。その場合、撮像装置および画像処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等が挙げられる。磁気記録装置としては、例えば、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープ等が挙げられる。光ディスクとしては、例えば、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等が挙げられる。光磁気記録媒体としては、例えば、ＭＯ（Magneto-Optical disk）等が挙げられる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。

実施の形態の撮像装置の構成を示すブロック図である。 第１の実施の形態の撮像装置の動作を示すフローチャートである。 撮像画像を示す図である。 撮像画像の顔検出結果を示す図である。 第２の実施の形態の撮像装置の動作を示すフローチャートである。 第２の実施の形態の撮像装置の動作を示すフローチャートである。 肌色の閾値の算出方法を説明する図である。 閾値を用いた検波結果を示す図である。 第１の実施の形態の撮像装置および第２の実施の形態の撮像装置の動作を模式的に示す図である。

符号の説明

１……撮像装置、２……光学ブロック、３……イメージセンサ、４……ＡＦＥ回路、５……ＷＢアンプ、６……信号処理回路、７……圧縮・変換回路、８……検波部、９……システムコントローラ、１０……操作部、１１……グラフィックＩ／Ｆ、１１ａ……ディスプレイ、２１……全画面エリア、２２……顔エリア

Claims (6)

1. 固体撮像素子を用いて画像を撮像する撮像装置において、
   撮像画像の各色成分の信号を取得する色成分取得部と、
   前記撮像画像から顔を検出する顔検出部と、
   前記撮像画像に顔が存在する場合、前記顔検出部によって検出された顔の各色成分の信号を基に、肌色領域を規定する各色成分の閾値を算出し、前記閾値を用いて前記撮像画像の前記肌色領域の各色成分の信号を取得する肌色領域色成分取得部と、
   前記色成分取得部によって得られた前記撮像画像の各色成分の信号から前記肌色領域色成分取得部によって得られた前記肌色領域の各色成分の信号を減算した肌色除去情報を作成する肌色除去情報作成部と、
   前記肌色除去情報を用いてホワイトバランスゲインを設定するホワイトバランスゲイン設定部と、
   前記ホワイトバランスゲインを用いて前記撮像画像の各色成分に対してホワイトバランス調整を行うホワイトバランス制御部と、
   を有することを特徴とする撮像装置。
2. 前記色成分取得部は、前記撮像画像の各色成分の信号をそれぞれ積分して各色成分積分値を作成し、
   前記肌色領域色成分取得部は、前記顔検出部によって検出された顔の各色成分の信号をそれぞれ積分して肌色領域各色成分積分値を作成し、前記肌色領域各色成分積分値を用いて前記閾値を算出し、
   前記肌色除去情報作成部は、前記各色成分積分値と前記閾値を満たす各色成分の積分値との差分を演算して前記肌色除去情報を作成することを特徴とする請求項１記載の撮像装置。
3. 固体撮像素子を用いて画像を撮像する撮像方法において、
   色成分取得部が、撮像画像の各色成分の信号を取得し、
   顔検出部が、前記撮像画像から顔を検出し、
   前記撮像画像に顔が存在する場合、肌色領域色成分取得部が、前記顔検出部によって検出された顔の各色成分の信号を基に、肌色領域を規定する各色成分の閾値を算出し、前記閾値を用いて前記撮像画像の前記肌色領域の各色成分の信号を取得し、
   肌色除去情報作成部が、前記色成分取得部によって得られた前記撮像画像の各色成分の信号から前記肌色領域色成分取得部によって得られた前記肌色領域の各色成分の信号を減算した肌色除去情報を作成し、
   ホワイトバランスゲイン設定部が、前記肌色除去情報を用いてホワイトバランスゲインを設定し、
   ホワイトバランス制御部が、前記ホワイトバランスゲインを用いて前記撮像画像の各色成分に対してホワイトバランス調整を行う、
   ことを特徴とする撮像方法。
4. 入力画像に対するホワイトバランス処理を行う画像処理装置において、
   前記入力画像の各色成分の信号を取得する色成分取得部と、
   前記入力画像から顔を検出する顔検出部と、
   前記入力画像に顔が存在する場合、前記顔検出部によって検出された顔の各色成分の信号を基に、肌色領域を規定する各色成分の閾値を算出し、前記閾値を用いて前記入力画像の前記肌色領域の各色成分の信号を取得する肌色領域色成分取得部と、
   前記色成分取得部によって得られた前記入力画像の各色成分の信号から前記肌色領域色成分取得部によって得られた前記肌色領域の各色成分の信号を減算した肌色除去情報を作成する肌色除去情報作成部と、
   前記肌色除去情報を用いてホワイトバランスゲインを設定するホワイトバランスゲイン設定部と、
   前記ホワイトバランスゲインを用いて前記入力画像の各色成分に対してホワイトバランス調整を行うホワイトバランス制御部と、
   を有することを特徴とする画像処理装置。
5. 入力画像に対してホワイトバランス処理を行う画像処理方法において、
   色成分取得部が、前記入力画像の各色成分の信号を取得し、
   顔検出部が、前記入力画像から顔を検出し、
   前記入力画像に顔が存在する場合、肌色領域色成分取得部が、前記顔検出部によって検出された顔の各色成分の信号を基に、肌色領域を規定する各色成分の閾値を算出し、前記閾値を用いて前記入力画像の前記肌色領域の各色成分の信号を取得し、
   肌色除去情報作成部が、前記色成分取得部によって得られた前記入力画像の各色成分の信号から前記肌色領域色成分取得部によって得られた前記肌色領域の各色成分の信号を減算した肌色除去情報を作成し、
   ホワイトバランスゲイン設定部が、前記肌色除去情報を用いてホワイトバランスゲインを設定し、
   ホワイトバランス制御部が、前記ホワイトバランスゲインを用いて前記入力画像の各色成分に対してホワイトバランス調整を行う、
   ことを特徴とする画像処理方法。
6. 入力画像に対するホワイトバランス処理を行う画像処理プログラムにおいて、
   コンピュータを、
   前記入力画像の各色成分の信号を取得する色成分取得部、
   前記入力画像から顔を検出する顔検出部、
   前記入力画像に顔が存在する場合、前記顔検出部によって検出された顔の各色成分の信号を基に、肌色領域を規定する各色成分の閾値を算出し、前記閾値を用いて前記入力画像の前記肌色領域の各色成分の信号を取得する肌色領域色成分取得部、
   前記色成分取得部によって得られた前記入力画像の各色成分の信号から前記肌色領域色成分取得部によって得られた前記肌色領域の各色成分の信号を減算した肌色除去情報を作成する肌色除去情報作成部、
   前記肌色除去情報を用いてホワイトバランスゲインを設定するホワイトバランスゲイン設定部、
   前記ホワイトバランスゲインを用いて前記入力画像の各色成分に対してホワイトバランス調整を行うホワイトバランス制御部、
   として機能させることを特徴とする画像処理プログラム。

Images