JP6606981B2 - 出力制御装置、出力制御方法及びプログラム - Google Patents

Description

本発明は、出力制御装置、出力制御方法及びプログラムに関する。

ヒトを撮影する場合、ヒトの顔を基準として画質を調整することが望ましいと考えられる。そこで、顔検出の結果を利用して、露出やホワイトバランスを自動的に調整することが行われている。また、オートホワイトバランスにて、顔検出機能を用いてホワイトバランスの誤補正を防止する技術も知られている（例えば、特許文献１参照）。

特開２０１１−１３９４８１号公報

しかしながら、上記特許文献１等の場合、撮影中にヒトが横を向いて顔を検出することができなくなると、ホワイトバランスの調整内容が変わり、またヒトが正面に向き直して顔を検出することができるようになると、ホワイトバランスの調整内容が再度変わってしまい、ライブビュー画像の表示が安定しないという問題がある。また、このような問題は、オートホワイトバランスに限られず、自動露出調整などでも発生する虞がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、出力される画像のヒトの顔を基準とした画質調整をより安定して行うことができる出力制御装置、出力制御方法及びプログラムを提供することである。

上記課題を解決するための本発明の一態様は、出力制御装置であって、
撮像手段により逐次撮像される撮像画像からヒトの顔を検出する検出手段と、
前記検出手段により検出されたヒトの顔を基準として、前記撮像画像のホワイトバランスを自動的に調整する一方、前記ヒトの顔以外のその他の条件を基準として、前記撮像画像のホワイトバランスを調整する調整手段と、
前記検出手段によって検出されるヒトの顔の検出状態が変化した前後で前記撮像手段により逐次撮像された複数の撮像画像から測定される所定の光源下で所定の色に該当する画素数の変化量の合計値が所定の閾値未満である場合、前記調整手段による前記ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきと判定する判定手段と、
前記判定手段による判定結果に基づき調整手段によってホワイトバランスが調整された画像を出力させるよう制御する制御手段と、
を備えたことを特徴としている。

本発明によれば、出力される画像のヒトの顔を基準とした画質調整をより安定して行うことができる。

本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。 図１の撮像装置によるライブビュー表示処理に係る動作の一例を示すフローチャートである。 図２のライブビュー表示処理における非顔検出状態処理に係る動作の一例を示すフローチャートである。 ライブビュー表示処理に係るライブビュー画像を模式的に示す図である。 本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。 図５の撮像装置によるライブビュー表示処理に係る動作の一例を示すフローチャートである。 図６のライブビュー表示処理における非顔検出状態処理に係る動作の一例を示すフローチャートである。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
図１は、本発明を適用した実施形態１の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、実施形態１の撮像装置１００は、具体的には、中央制御部１と、メモリ２と、撮像部３と、信号処理部４と、画像処理部５と、表示部６と、画像記録部７と、操作入力部８とを備えている。
また、中央制御部１、メモリ２、撮像部３、信号処理部４、画像処理部５、画像記録部７及び表示部６は、バスライン９を介して接続されている。

中央制御部１は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１や信号処理部４等によって処理されるデータ等を一時的に格納する。

撮像部（撮像手段）３は、所定の被写体（例えば、ヒト等）を撮像してフレーム画像Ｉ（図４（ａ）等参照）を生成する。具体的には、撮像部３は、レンズ部３ａと、電子撮像部３ｂと、撮像制御部３ｃとを備えている。

レンズ部３ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズ、レンズを通過する光の量を調整する絞り等から構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部３ｂは、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３ｃは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３ｃは、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、レンズ部３ａを通過した光学像を電子撮像部３ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像Ｉを読み出して信号処理部４に出力させる。

信号処理部４は、電子撮像部３ｂから転送されたフレーム画像Ｉのアナログ値の信号に対して各種の画像信号処理を施す。具体的には、信号処理部４は、例えば、フレーム画像Ｉのアナログ値の信号に対してＲＧＢの色成分毎にゲイン調整し、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行って、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。また、信号処理部４は、生成された輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをバッファメモリとして使用されるメモリ２に出力する。

また、信号処理部４は、画像取得部４ａと、顔検出部４ｂと、第１画質調整部４ｃと、第１判定部４ｄとを具備している。
なお、信号処理部４の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部４ａは、撮像部３により逐次撮像されるフレーム画像（撮像画像）Ｉを取得する。具体的には、画像取得部４ａは、撮像部３による被写体の撮影の際に、電子撮像部３ｂから逐次転送されたライブビュー画像に係るフレーム画像Ｉを逐次取得する。
図４（ａ）のフレーム画像Ｉａ、図４（ｂ）のフレーム画像Ｉｂ、図４（ｃ）のフレーム画像Ｉｃは各々後述するように、フレーム画像Ｉの例を示している。

顔検出部（検出手段）４ｂは、フレーム画像Ｉからヒトの顔を検出する。
すなわち、顔検出部４ｂは、例えば、画像取得部４ａにより逐次取得された複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）の各々に対して所定の顔検出処理を行って被写体であるヒトの顔が含まれる顔領域を検出する。なお、図４（ａ）は、表示パネル６ｂに、被写体であるヒトの顔が検出された場合のフレーム画像Ｉａがライブビュー画像として表示された状態を示し、検出されたヒトの顔が含まれる顔領域に破線で表された矩形枠Ｗを模式的に重畳させている。
また、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。

第１画質調整部（調整手段）４ｃは、フレーム画像Ｉの画質を自動的に調整する。
すなわち、第１画質調整部４ｃは、画像取得部４ａにより逐次取得されたライブビュー画像に係る複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）のホワイトバランスや明るさ等を自動的に調整する。具体的には、例えば、撮像の際に、ホワイトバランスを自動的に調整するオートホワイトバランス（ＡＷＢ）モードが設定されている状態で、第１画質調整部４ｃは、顔検出部４ｂにより検出されたヒトの顔やヒトの顔以外のその他の条件等を基準として、フレーム画像Ｉのホワイトバランスを自動的に調整する。また、例えば、撮影の際に、露出条件を自動的に調整するオート露出（ＡＥ）モードが設定されている状態で、第１画質調整部４ｃは、顔検出部４ｂにより検出されたヒトの顔やヒトの顔以外のその他の条件等を基準として、フレーム画像Ｉの明るさを自動的に調整する。

ヒトの顔を基準とするホワイトバランス調整では、第１画質調整部４ｃは、先ず、画像取得部４ａにより逐次取得された複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）の各々について、画像データに基づいて光源（例えば、室内：白色灯等）を推定し、顔検出部４ｂにより検出された顔領域内の推定された光源下で肌色に該当する画素を特定する。次に、第１画質調整部４ｃは、特定された肌色に該当する画素の画素値（例えば、ＲＧＢ値等）を基準としてＲＧＢの各色成分毎のゲイン量を算出し、算出されたＲＧＢの各色成分毎のゲイン量に基づいて、画像データを増幅することでフレーム画像Ｉのホワイトバランスを調整する。
また、ヒトの顔以外のその他の条件としては、例えば、フレーム画像Ｉ全体から特定される所定の光源下でグレーに該当する画素の画素値が挙げられる。
このホワイトバランス調整では、第１画質調整部４ｃは、先ず、画像取得部４ａにより逐次取得された複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）の各々について、画像データに基づいて光源（例えば、室内：白色灯等）を推定し、当該フレーム画像Ｉ内の推定された光源下でグレーに該当する画素を特定する。次に、第１画質調整部４ｃは、特定されたグレーに該当する画素の画素値（例えば、ＲＧＢ値等）を基準としてＲＧＢの各色成分毎のゲイン量を算出し、算出されたＲＧＢの各色成分毎のゲイン量に基づいて、画像データを増幅することでフレーム画像Ｉのホワイトバランスを調整する。

なお、上記した光源を推定する処理は、公知の技術であるので、詳細な説明は省略するが、例えば、フレーム画像ＩのＨＳＶ色空間に対応する画像データを利用して、当該フレーム画像Ｉの色相及びグレー成分の色相位置から光源を推定するようにしても良い。また、顔領域内の肌色の画素を特定する際には、例えば、顔領域内で当該顔領域の大きさ以下の大きさの領域を検出領域として指定しても良い。

ヒトの顔を基準とする明るさ調整では、第１画質調整部４ｃは、先ず、画像取得部４ａにより逐次取得された複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）の各々について、画像データに基づいて、顔検出部４ｂにより検出された顔領域内の輝度の分布（輝度ヒストグラム）を特定する。次に、第１画質調整部４ｃは、特定された顔領域内の輝度の分布を基準として所定のプログラム線図に基づいて、顔領域が所定の明るさとなるように輝度信号Ｙの信号増幅率（ＩＳＯ感度）を調整し、輝度信号Ｙを増幅することでフレーム画像Ｉの明るさを調整する。
また、ヒトの顔以外のその他の条件としては、例えば、フレーム画像Ｉ（Ｉａ〜Ｉｃ）全体や所定の測光領域（例えば、中央領域等）の輝度の分布が挙げられる。この明るさ調整では、第１画質調整部４ｃは、先ず、画像取得部４ａにより逐次取得された複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）各々の画像データに基づいて、当該フレーム画像Ｉ全体や所定の測光領域の輝度の分布を特定する。次に、第１画質調整部４ｃは、特定された輝度の分布を基準として所定のプログラム線図に基づいて、フレーム画像Ｉ全体や所定の測光領域が所定の明るさとなるように輝度信号Ｙの信号増幅率を調整し、輝度信号Ｙを増幅することでフレーム画像Ｉの明るさを調整する。

なお、第１画質調整部４ｃは、例えば、電子撮像部１ｂのシャッター速度や絞り値を調整して、フレーム画像Ｉの明るさを調整しても良い。また、顔領域の輝度の分布を特定する際には、例えば、顔領域内で当該顔領域の大きさ以下の大きさの領域を検出領域として指定しても良い。

第１判定部（判定手段）４ｄは、第１画質調整部４ｃによるヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定する。
すなわち、第１判定部４ｄは、顔検出部４ｂによるヒトの顔の検出状態が当該ヒトの顔を検出していた顔検出状態から検出していない非顔検出状態に変化した場合に、ヒトの顔を基準とする画質調整（例えば、ホワイトバランスや明るさの調整）の内容を維持すべきであるか否かを判定する。
ここで、ヒトの顔を基準とする画質調整の内容を維持するとは、ヒトの顔が検出されていない非顔検出状態のフレーム画像Ｉ（例えば、フレーム画像Ｉｂ等）に対しても、以前にヒトの顔が検出されたフレーム画像（例えば、直前のフレーム画像Ｉａ等）に対して行われた当該ヒトの顔を基準とする画質調整と同様の内容の画質調整を行うことを言う。つまり、非顔検出状態であっても、以前に検出されたヒトの顔を利用してフレーム画像Ｉのホワイトバランスや明るさ等の画質の調整が行われることとなる。

具体的には、第１判定部４ｄは、顔検出部４ｂによるヒトの顔の検出状態が変化した前後で撮像部３によりそれぞれ撮像されて画像取得部４ａにより取得された複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）から判断される撮像環境の変化状況に基づいて、第１画質調整部４ｃによるヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定する。
ここで、撮像環境の変化状況は、例えば、第１画質調整部４ｃによりヒトの顔以外のその他の条件を基準としてフレーム画像Ｉの画質の調整が行われる際に複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）から測定される画像特徴情報の変化に基づいて判断される。

例えば、ホワイトバランス調整では、第１判定部４ｄは、第１画質調整部４ｃによりヒトの顔の検出状態が変化した前後のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）から測定される所定の光源下で所定の色に該当する画素数（画像特徴情報）の変化量を利用する。すなわち、第１画質調整部４ｃは、例えば、ヒトの顔の検出状態が変化した前後のフレーム画像Ｉの各々について、複数の光源（例えば、太陽光、室内：白色灯、室内：蛍光灯等）下でグレーに該当する画素を特定して画素数をそれぞれ算出する。このグレーに該当する画素の特定は、例えば、光源を推定する処理にて行われても良い。
そして、第１判定部４ｄは、複数の光源の各々について、ヒトの顔の検出状態が変化した前後でのグレーに該当する画素の画素数の変化量を算出し、算出された画素数の変化量（絶対値）を合計し、合計値が所定の閾値未満であるか否かを判定する。
ここで、合計値が所定の閾値未満であると判定されると、撮像環境が変化していないと考えられる（図４（ｂ）参照）。例えば、図４（ａ）及び図４（ｂ）に示すように、以前に顔が検出されていた被写体であるヒトが横を向いたことで、顔を検出することができなかった場合には、単に被写体の顔を検出できなくなっただけで撮像環境自体は変化していない。この場合、第１判定部４ｄは、ヒトの顔が検出されていない非顔検出状態のフレーム画像Ｉｂに対しても、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであると判定する。そして、第１画質調整部４ｃは、ヒトの顔が検出されていない非顔検出状態のフレーム画像Ｉｂに対して、以前に検出されたヒトの顔が含まれる顔領域を基準として、フレーム画像Ｉｂのホワイトバランスを自動的に調整する。
一方、合計値が所定の閾値未満でないと判定されると、撮像環境が変化したと考えられる。（図４（ｃ）参照）。例えば、図４（ａ）及び図４（ｃ）に示すように、ユーザが撮像装置１００を向かって右側にふったことで構図が大きく変わってしまい、被写体であるヒトの顔を検出することができなかった場合には、画角内に被写体であるヒトの顔が存在せず、撮像環境が変化する。この場合、第１判定部４ｄは、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきでないと判定する。そして、第１画質調整部４ｃは、ヒトの顔が検出されていない非顔検出状態のフレーム画像Ｉｃに対しては、ヒトの顔以外のその他の条件等を基準として、フレーム画像Ｉｃのホワイトバランスを自動的に調整する。
なお、判定に用いられる所定の閾値は、被写体であるヒトが向きを変える等して顔を検出できないだけなのか、或いは撮像環境が変化したのかを判別するための値であって、ヒトの顔の検出精度の違いなどにより一意に設定できる値ではなく、経験的に求められるものであり、例えば、撮影シーン毎に設定された所定の値を使用しても良いが、撮影シーンを問わずに一律の値を使用しても良い。

また、例えば、明るさ調整では、第１判定部４ｄは、第１画質調整部４ｃによりヒトの顔の検出状態が変化した前後のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）から測定される輝度の分布（画像特徴情報）の変化量を利用する。すなわち、第１画質調整部４ｃは、例えば、ヒトの顔の検出状態が変化した前後のフレーム画像Ｉの各々について、フレーム画像Ｉ全体の輝度の分布を特定し、輝度の代表値（例えば、平均値等）を算出する。
そして、第１判定部４ｄは、ヒトの顔の検出状態が変化した前後での輝度の代表値の変化量を算出し、算出された変化量が所定の閾値未満であるか否かを判定する。
ここで、変化量が所定の閾値未満であると判定されると、撮像環境が変化していないと考えられ（図４（ａ）及び図４（ｂ）参照）、第１判定部４ｄは、ヒトの顔が検出されていない非顔検出状態のフレーム画像Ｉｂに対しても、ヒトの顔を基準とする明るさ調整の内容を維持すべきであると判定する。そして、第１画質調整部４ｃは、ヒトの顔が検出されていない非顔検出状態のフレーム画像Ｉｂに対して、以前に検出されたヒトの顔が含まれる顔領域を基準として、フレーム画像Ｉｂの明るさを自動的に調整する。
一方、変化量が所定の閾値未満でないと判定されると、撮像環境が変化したと考えられ（図４（ａ）及び図４（ｃ）参照）、第１判定部４ｄは、ヒトの顔を基準とする明るさ調整の内容を維持すべきでないと判定する。そして、第１画質調整部４ｃは、ヒトの顔が検出されていない非顔検出状態のフレーム画像Ｉｃに対しては、ヒトの顔以外のその他の条件等を基準として、フレーム画像Ｉｃの明るさを自動的に調整する。
なお、判定に用いられる所定の閾値は、被写体であるヒトが向きを変える等して顔を検出できないだけなのか、或いは撮像環境が変化したかを判別するための値であって、日中の屋外と夜、といったようにフレーム画像Ｉ全体の光量のレベルが大きく異なるような場合には一意に設定できる値ではなく、経験的に求められるものであり、例えば、撮影シーン毎に設定された所定の値を使用しても良いが、撮影シーンを問わずに一律の値を使用しても良い。

画像処理部５は、信号処理部４により生成された静止画像や動画像の画像データを所定の圧縮形式（例えば、ＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化して静止画像や動画像の記録用の画像データを生成する。
また、画像処理部５は、メモリ２や画像記録部７から読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式に従って復号して表示部６に出力する。このとき、画像処理部５は、例えば、後述する表示パネル６ｂの表示解像度等に基づいて所定サイズ（例えば、ＶＧＡやフルＨＤサイズ）に変形して表示部６に出力しても良い。

表示部６は、表示制御部６ａと、表示パネル６ｂとを具備している。

表示制御部６ａは、メモリ２や画像記録部７から読み出され画像処理部５により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル６ｂの表示領域に表示させる制御を行う。具体的には、表示制御部６ａは、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部５により復号されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレートで読み出して、これらのデータを元にビデオ信号を発生して表示パネル６ｂに出力する。

表示パネル６ｂは、表示制御部６ａからのビデオ信号に基づいて撮像部３により撮影された画像などを表示領域内に表示する。具体的には、表示パネル６ｂは、静止画の撮影モードや動画像の撮影モードにて、撮像部３による被写体の撮影により生成された複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。このとき、表示制御部６ａは、制御手段として、第１画質調整部４ｃからホワイトバランスや明るさ等の画質が調整されたフレーム画像Ｉ（Ｉａ〜Ｉｃ）の画像データを取得し、ライブビュー画像として表示パネル６ｂに出力して当該表示パネル６ｂの表示領域内に表示させる（図４（ａ）〜（ｃ）参照）。
なお、表示パネル６ｂとしては、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。

画像記録部７は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５により所定の圧縮形式で符号化された静止画像や動画像の記録用の画像データを記録する。
なお、画像記録部７は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。

操作入力部８は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部８は、被写体の撮影指示に係るシャッタボタン、撮影モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１に出力する。

＜ライブビュー表示処理＞
次に、撮像装置１００によるライブビュー表示処理について、図２〜図４を参照して説明する。
図２は、ライブビュー表示処理に係る動作の一例を示すフローチャートである。図３は、ライブビュー表示処理における非顔検出状態処理に係る動作の一例を示すフローチャートである。また、図４（ａ）〜図４（ｃ）は、表示パネル６ｂに表示されるライブビュー画像を模式的に示す図である。

ライブビュー表示処理は、撮像部３による被写体の撮像の際に、中央制御部１の制御下にて当該撮像装置１００の各部により実行される処理である。また、以下に説明するライブビュー表示処理では、ホワイトバランスを自動的に調整するオートホワイトバランス（ＡＷＢ）モード及び露出条件を自動的に調整するオート露出（ＡＥ）モードが設定されている状態で行われるものとする。

図２に示すように、撮像部３による被写体の撮像が開始されると（ステップＳ１）、信号処理部４の画像取得部４ａは、撮像部３の電子撮像部３ｂから逐次転送されたライブビュー画像に係るフレーム画像Ｉ（Ｉａ〜Ｉｃ）を逐次取得する（ステップＳ２）。
続けて、顔検出部４ｂは、画像取得部４ａにより取得されたフレーム画像Ｉ（例えば、フレーム画像Ｉａ等）に対して所定の顔検出処理を行い（ステップＳ３）、被写体であるヒトの顔が含まれる顔領域が検出されたか否かを判定する（ステップＳ４）。

ステップＳ４にて、顔領域が検出されたと判定されると（ステップＳ４；ＹＥＳ）、第１画質調整部４ｃは、画像取得部４ａにより取得されたフレーム画像Ｉのホワイトバランス調整及び明るさ調整の基準を検出されたヒトの顔が含まれる顔領域に設定する（ステップＳ５）。そして、第１画質調整部４ｃは、設定された基準に従って、フレーム画像Ｉのホワイトバランス及び明るさ（画質）の調整を行う（ステップＳ６）。
具体的には、ホワイトバランス調整では、第１画質調整部４ｃは、例えば、光源（例えば、室内：白色灯等）を推定し、顔領域内の推定された光源下で肌色に該当する画素を特定する。そして、第１画質調整部４ｃは、特定された肌色に該当する画素の画素値（例えば、ＲＧＢ値等）を基準としてＲＧＢの各色成分毎のゲイン量を算出し、画像データを増幅することでフレーム画像Ｉのホワイトバランスを調整する。また、明るさ調整では、第１画質調整部４ｃは、例えば、顔領域内の輝度の分布を特定した後、特定された顔領域内の輝度の分布を基準として輝度信号Ｙの信号増幅率を調整し、輝度信号Ｙを増幅することでフレーム画像Ｉの明るさを調整する。

その後、表示制御部６ａは、第１画質調整部４ｃから画質が調整されたフレーム画像Ｉ（例えば、フレーム画像Ｉａ等）の画像データを取得し、ライブビュー画像として表示パネル６ｂの表示領域内に表示させる（ステップＳ７；図４（ａ）等参照）。
次に、中央制御部１のＣＰＵは、当該ライブビュー表示処理の終了指示が入力されたか否かを判定する（ステップＳ８）。ここで、ライブビュー表示処理は、例えば、ユーザによる操作入力部８のシャッタボタンの所定操作に基づいて被写体の記録用の画像の撮影が指示されたり、電源をオフする操作が行われたり、再生モードに切り替える操作が行われたりすることで終了する。

ステップＳ８にて、ライブビュー表示処理の終了指示が入力されていないと判定されると（ステップＳ８；ＮＯ）、画像取得部４ａは、撮像部３の電子撮像部３ｂから転送されたライブビュー画像に係る次のフレーム画像Ｉ（例えば、フレーム画像Ｉｂ等）を取得し（ステップＳ９）、処理をステップＳ３に戻す。
そして、上記と同様に、顔検出部４ｂは、画像取得部４ａにより取得された次のフレーム画像Ｉに対して所定の顔検出処理を行い（ステップＳ３）、被写体であるヒトの顔が含まれる顔領域が検出されたか否かを判定する（ステップＳ４）。

一方、ステップＳ４にて、顔領域が検出されていないと判定されると（ステップＳ４；ＮＯ）、信号処理部４は、非顔検出状態処理（図３参照）を行う（ステップＳ１０）。
以下に、非顔検出状態処理について、図３を参照して詳細に説明する。

＜非顔検出状態処理＞
図３に示すように、第１画質調整部４ｃは、顔検出部４ｂによるヒトの顔の前回の検出状態が当該ヒトの顔を検出していた顔検出状態であったか否かを判定する（ステップＳ２１）。

ステップＳ２１にて、前回の検出状態が顔検出状態でないと判定されると（ステップＳ２１；ＮＯ）、第１画質調整部４ｃは、フレーム画像Ｉのホワイトバランス調整及び明るさ調整の基準をヒトの顔以外のその他の条件に設定する（ステップＳ２２）。
そして、図２に戻り、ステップＳ６にて、第１画質調整部４ｃは、設定された基準に従って、フレーム画像Ｉのホワイトバランス及び明るさ（画質）の調整を行う（ステップＳ６）。
具体的には、ホワイトバランス調整では、第１画質調整部４ｃは、例えば、光源（例えば、室内：白色灯等）を推定し、当該フレーム画像Ｉ内の推定された光源下でグレーに該当する画素を特定する。そして、第１画質調整部４ｃは、特定されたグレーに該当する画素の画素値（例えば、ＲＧＢ値等）を基準としてＲＧＢの各色成分毎のゲイン量を算出し、画像データを増幅することでフレーム画像Ｉのホワイトバランスを調整する。また、明るさ調整では、第１画質調整部４ｃは、例えば、フレーム画像Ｉ全体や所定の測光領域の輝度の分布を特定した後、特定された輝度の分布を基準として輝度信号Ｙの信号増幅率を調整し、輝度信号Ｙを増幅することでフレーム画像Ｉの明るさを調整する。
ステップＳ７以降の各処理は、上記と同様であり、詳細な説明は省略する。

一方、ステップＳ２１にて、前回の検出状態が顔検出状態であると判定されると（ステップＳ２１；ＹＥＳ）、ヒトの顔の検出状態が当該ヒトの顔を検出していた顔検出状態から検出していない非顔検出状態に変化した場合であり、第１判定部４ｄは、第１画質調整部４ｃによるヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定する（ステップＳ２３〜Ｓ３０）。

具体的には、先ず、第１画質調整部４ｃは、ヒトの顔の検出状態が変化した前後のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）の各々について、複数の光源下でグレーに該当する画素の画素数をそれぞれ算出する（ステップＳ２３）。そして、第１判定部４ｄは、複数の光源の各々について、ヒトの顔の検出状態が変化した前後でのグレーに該当する画素の画素数の変化量（絶対値）の合計値が所定の閾値未満であるか否かを判定する（ステップＳ２４）。
ここで、合計値が所定の閾値未満であると判定されると（ステップＳ２４；ＹＥＳ）、第１画質調整部４ｃは、フレーム画像Ｉ（例えば、フレーム画像Ｉｂ等）のホワイトバランス調整の基準を前回のフレーム画像Ｉ（例えば、フレーム画像Ｉａ等）から検出されたヒトの顔が含まれる顔領域に設定する（ステップＳ２５；図４（ｂ）等参照）。その一方で、合計値が所定の閾値未満でないと判定されると（ステップＳ２４；ＮＯ）、第１画質調整部４ｃは、フレーム画像Ｉ（例えば、フレーム画像Ｉｃ等）のホワイトバランス調整の基準をヒトの顔以外のその他の条件に設定する（ステップＳ２６；図４（ｃ）等参照）。

続けて、第１画質調整部４ｃは、ヒトの顔の検出状態が変化した前後のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）の各々について、フレーム画像Ｉ全体の輝度の分布を特定し、輝度の代表値を算出する（ステップＳ２７）。そして、第１判定部４ｄは、ヒトの顔の検出状態が変化した前後での輝度の代表値の変化量が所定の閾値未満であるか否かを判定する（ステップＳ２８）。
ここで、変化量が所定の閾値未満であると判定されると（ステップＳ２８；ＹＥＳ）、第１画質調整部４ｃは、フレーム画像Ｉ（例えば、フレーム画像Ｉｂ等）の明るさ調整の基準を前回のフレーム画像Ｉ（例えば、フレーム画像Ｉａ等）から検出されたヒトの顔が含まれる顔領域に設定する（ステップＳ２９；図４（ｂ）等参照）。その一方で、変化量が所定の閾値未満でないと判定されると（ステップＳ２８；ＮＯ）、第１画質調整部４ｃは、フレーム画像Ｉ（例えば、フレーム画像Ｉｃ等）の明るさ調整の基準をヒトの顔以外のその他の条件に設定する（ステップＳ３０；図４（ｂ）等参照）。

そして、図２に戻り、ステップＳ６にて、第１画質調整部４ｃは、設定された基準に従って、フレーム画像Ｉのホワイトバランス及び明るさ（画質）の調整を行う（ステップＳ６）。
すなわち、第１画質調整部４ｃは、前回検出されたヒトの顔を基準としてホワイトバランス調整及び明るさ調整を行ったり、前回検出されたヒトの顔を基準としてホワイトバランス調整を行うとともにヒトの顔以外のその他の条件を基準として明るさ調整を行ったり、ヒトの顔以外のその他の条件を基準としてホワイトバランス調整を行うとともに前回検出されたヒトの顔を基準として明るさ調整を行ったり、ヒトの顔以外のその他の条件を基準としてホワイトバランス調整及び明るさ調整を行ったりする。
ステップＳ７以降の各処理は、上記と同様であり、詳細な説明は省略する。

以上のように、実施形態１の撮像装置１００によれば、ヒトの顔を基準として、フレーム画像Ｉのホワイトバランスや明るさ等の画質を自動的に調整する際に、ヒトの顔の検出状態が当該ヒトの顔を検出していた顔検出状態から検出していない非顔検出状態に変化した場合に、ヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定するので、ヒトの顔を基準とする画質調整の内容を維持すべきであると判定された場合には、非顔検出状態であっても、以前に検出されたヒトの顔を利用してフレーム画像Ｉのホワイトバランスや明るさ等の画質の調整を行うことができる。これにより、例えば、単に被写体であるヒトが横を向いたりしてその顔を検出できなくなっただけで撮像環境自体は変化していない場合等に、ヒトの顔以外のその他の条件を基準としてホワイトバランスや明るさ等の画質の調整が行われてしまうことを抑制することができ、出力されるライブビュー画像のヒトの顔を基準とした画質調整をより安定して行うことができる。

具体的には、ヒトの顔の検出状態が変化した前後でそれぞれ撮像された複数のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）から判断される撮像環境の変化状況に基づいて、ヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定するので、非顔検出状態となった場合に、撮像環境の変化を考慮してフレーム画像Ｉの画質調整を行うことができる。つまり、単にヒトの顔の検出結果のみを利用してフレーム画像Ｉの画質調整を行うのではなく、撮像環境の変化を考慮することで、非顔検出状態であっても、以前に検出されたヒトの顔を利用してフレーム画像Ｉのホワイトバランスや明るさ等の画質の調整を行うことができる。
また、撮像環境の変化の判定に、ヒトの顔以外のその他の条件を基準としてフレーム画像Ｉの画質の調整が行われる際に複数のフレーム画像Ｉから測定される画像特徴情報（所定の光源下で所定の色に該当する画素数、輝度の分布等）の変化を利用することができ、ヒトの顔を基準とする画質調整の内容を維持すべきであるか否かの判定を適正に行うことができる。

また、ヒトの顔の検出状態が変化した前後でそれぞれ撮像された複数のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）から測定される複数の光源下で所定の色（例えば、グレー等）に該当する画素数の変化量の合計値が所定の閾値未満である場合に、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであると判定するので、フレーム画像Ｉのホワイトバランスを自動的に調整する場合に、画像特徴情報として、複数の光源下で所定の色に該当する画素数を用いて、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かの判定をより適正に行うことができる。
また、ヒトの顔の検出状態が変化した前後でそれぞれ撮像された複数のフレーム画像Ｉから測定される輝度の分布の変化量が所定の閾値未満である場合に、ヒトの顔を基準とする明るさ調整の内容を維持すべきであると判定するので、フレーム画像Ｉの明るさを自動的に調整する場合に、画像特徴情報として、輝度の分布を用いて、ヒトの顔を基準とする明るさ調整の内容を維持すべきであるか否かの判定をより適正に行うことができる。

また、ヒトの顔を基準とする画質調整の内容を維持すべきでないと判定された場合には、撮像環境が変化したため、ヒトの顔以外のその他の条件を基準として、フレーム画像Ｉのホワイトバランスや明るさ等の画質を自動的に調整することができる。

［実施形態２］
以下に、実施形態２の撮像装置２００について図５〜図７を参照して説明する。
実施形態２の撮像装置２００は、以下に詳細に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、詳細な説明は省略する。

図５は、本発明を適用した実施形態２の撮像装置２００の概略構成を示すブロック図である。
図５に示すように、本実施形態の撮像装置２００の信号処理部４は、画像取得部４ａと、顔検出部４ｂと、第２画質調整部２０４ｃと、第２判定部２０４ｄとを具備している。

第２画質調整部（調整手段）２０４ｃは、画像取得部４ａにより逐次取得されたライブビュー画像に係る複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）のホワイトバランスを自動的に調整する。具体的には、上記実施形態１の第１画質調整部４ｃと略同様に、例えば、撮像の際に、ホワイトバランスを自動的に調整するオートホワイトバランス（ＡＷＢ）モードが設定されている状態で、第２画質調整部２０４ｃは、顔検出部４ｂにより検出されたヒトの顔やヒトの顔以外のその他の条件等を基準として、フレーム画像Ｉのホワイトバランスを自動的に調整する。
なお、第２画質調整部２０４ｃは、上記実施形態１の第１画質調整部４ｃと略同様に、複数のフレーム画像Ｉ（Ｉａ〜Ｉｃ）の明るさを自動的に調整しても良い。

第２判定部（判定手段）２０４ｄは、第２画質調整部２０４ｃによるヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かを判定する。
すなわち、第２判定部２０４ｄは、上記実施形態１の第１判定部４ｄと略同様に、顔検出部４ｂによるヒトの顔の検出状態が当該ヒトの顔を検出していた顔検出状態から検出していない非顔検出状態に変化した場合に、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かを判定する。

具体的には、第２判定部２０４ｄは、第２画質調整部２０４ｃによりヒトの顔の検出状態が変化した前後のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）から推定される光源の変化を利用する。すなわち、第２画質調整部２０４ｃは、例えば、ヒトの顔の検出状態が変化した前後のフレーム画像Ｉの各々について、画像データに基づいて光源（例えば、室内：白色灯等）を推定する。
そして、第２判定部２０４ｄは、前後のフレーム画像Ｉの推定された光源どうしを比較して、光源が変化したか否かを判定する。
ここで、光源が変化していないと判定されると、撮像環境が変化していないと考えられ（図４（ａ）及び図４（ｂ）参照）、第２判定部２０４ｄは、ヒトの顔が検出されていない非顔検出状態のフレーム画像Ｉｂに対しても、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであると判定する。そして、第２画質調整部２０４ｃは、ヒトの顔が検出されていない非顔検出状態のフレーム画像Ｉｂに対して、以前に検出されたヒトの顔が含まれる顔領域を基準として、フレーム画像Ｉｃのホワイトバランスを自動的に調整する。
一方、光源が変化したと判定されると、撮像環境が変化したと考えられ（図４（ａ）及び図４（ｃ）参照）、第２判定部２０４ｄは、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきでないと判定する。そして、第２画質調整部２０４ｃは、ヒトの顔が検出されていない非顔検出状態のフレーム画像Ｉｃに対しては、ヒトの顔以外のその他の条件等を基準として、フレーム画像Ｉｃのホワイトバランスを自動的に調整する。

なお、信号処理部４のその他の構成、すなわち、画像取得部４ａ及び顔検出部４ｂは、その構成及び機能が上記実施形態１とほぼ同様であるので、詳細な説明は省略する。

＜ライブビュー表示処理＞
次に、撮像装置２００によるライブビュー表示処理について、図６及び図７を参照して説明する。
図６は、ライブビュー表示処理に係る動作の一例を示すフローチャートである。図７は、ライブビュー表示処理における非顔検出状態処理に係る動作の一例を示すフローチャートである。

なお、実施形態２の撮像装置２００によるライブビュー表示処理は、以下に詳細に説明する以外の点で、上記した実施形態１の撮像装置１００によるライブビュー表示処理と略同様であり、その詳細な説明は省略する。
また、以下に説明するライブビュー表示処理では、ホワイトバランスを自動的に調整するオートホワイトバランス（ＡＷＢ）モードが設定されている状態で行われるものとする。

図６に示すように、撮像部３による被写体の撮像が開始されると（ステップＳ２０１）、信号処理部４の画像取得部４ａは、撮像部３の電子撮像部３ｂから逐次転送されたライブビュー画像に係るフレーム画像Ｉ（Ｉａ〜Ｉｃ）を逐次取得する（ステップＳ２０２）。
続けて、顔検出部４ｂは、画像取得部４ａにより取得されたフレーム画像Ｉ（例えば、フレーム画像Ｉａ等）に対して所定の顔検出処理を行い（ステップＳ２０３）、被写体であるヒトの顔が含まれる顔領域が検出されたか否かを判定する（ステップＳ２０４）。

ステップＳ２０４にて、顔領域が検出されたと判定されると（ステップＳ２０４；ＹＥＳ）、第２画質調整部２０４ｃは、画像取得部４ａにより取得されたフレーム画像Ｉのホワイトバランス調整の基準を検出されたヒトの顔が含まれる顔領域に設定する（ステップＳ２０５）。そして、第２画質調整部２０４ｃは、設定された基準に従って、フレーム画像Ｉのホワイトバランスの調整を行う（ステップＳ２０６）。具体的には、第２画質調整部２０４ｃは、上記実施形態１の第１画質調整部４ｃと略同様に、例えば、光源（例えば、室内：白色灯等）を推定し、顔領域内の推定された光源下で肌色に該当する画素を特定する。そして、第２画質調整部２０４ｃは、特定された肌色に該当する画素の画素値（例えば、ＲＧＢ値等）を基準としてＲＧＢの各色成分毎のゲイン量を算出し、画像データを増幅することでフレーム画像Ｉのホワイトバランスを調整する。
このとき、第２画質調整部２０４ｃは、例えば、顔領域内の輝度の分布を特定した後、特定された顔領域内の輝度の分布を基準として輝度信号Ｙの信号増幅率を調整し、輝度信号Ｙを増幅することでフレーム画像Ｉの明るさを調整しても良い。

その後、表示制御部６ａは、第２画質調整部２０４ｃからホワイトバランスが調整されたフレーム画像Ｉ（例えば、フレーム画像Ｉａ等）の画像データを取得し、ライブビュー画像として表示パネル６ｂの表示領域内に表示させる（ステップＳ２０７；図４（ａ）等参照）。
次に、中央制御部１のＣＰＵは、上記実施形態１のライブビュー表示処理におけるステップＳ８と同様に、当該ライブビュー表示処理の終了指示が入力されたか否かを判定する（ステップＳ２０８）。

ステップＳ２０８にて、ライブビュー表示処理の終了指示が入力されていないと判定されると（ステップＳ２０８；ＮＯ）、画像取得部４ａは、撮像部３の電子撮像部３ｂから転送されたライブビュー画像に係る次のフレーム画像Ｉ（例えば、フレーム画像Ｉｂ等）を取得し（ステップＳ２０９）、処理をステップＳ２０３に戻す。
そして、上記と同様に、顔検出部４ｂは、画像取得部４ａにより取得された次のフレーム画像Ｉに対して所定の顔検出処理を行い（ステップＳ２０３）、被写体であるヒトの顔が含まれる顔領域が検出されたか否かを判定する（ステップＳ２０４）。

一方、ステップＳ２０４にて、顔領域が検出されていないと判定されると（ステップＳ４；ＮＯ）、信号処理部４は、非顔検出状態処理（図７参照）を行う（ステップＳ２１０）。
以下に、非顔検出状態処理について、図７を参照して詳細に説明する。

＜非顔検出状態処理＞
図７に示すように、第２画質調整部２０４ｃは、顔検出部４ｂによるヒトの顔の前回の検出状態が当該ヒトの顔を検出していた顔検出状態であったか否かを判定する（ステップＳ２２１）。

ステップＳ２２１にて、前回の検出状態が顔検出状態でないと判定されると（ステップＳ２２１；ＮＯ）、第２画質調整部２０４ｃは、フレーム画像Ｉのホワイトバランス調整の基準をヒトの顔以外のその他の条件に設定する（ステップＳ２２２）。
そして、図６に戻り、ステップＳ２０６にて、第２画質調整部２０４ｃは、設定された基準に従って、フレーム画像Ｉのホワイトバランスの調整を行う（ステップＳ２０６）。具体的には、第２画質調整部２０４ｃは、上記実施形態１の第１画質調整部４ｃと略同様に、例えば、光源（例えば、室内：白色灯等）を推定し、当該フレーム画像Ｉ内の推定された光源下でグレーに該当する画素を特定する。そして、第２画質調整部２０４ｃは、特定されたグレーに該当する画素の画素値（例えば、ＲＧＢ値等）を基準としてＲＧＢの各色成分毎のゲイン量を算出し、画像データを増幅することでフレーム画像Ｉのホワイトバランスを調整する。
このとき、第２画質調整部２０４ｃは、例えば、フレーム画像Ｉ全体や所定の測光領域の輝度の分布を特定した後、特定された輝度の分布を基準として輝度信号Ｙの信号増幅率を調整し、輝度信号Ｙを増幅することでフレーム画像Ｉ（Ｉａ〜Ｉｃ）の明るさを調整しても良い。
ステップＳ２０７以降の各処理は、上記と同様であり、詳細な説明は省略する。

一方、ステップＳ２２１にて、前回の検出状態が顔検出状態であると判定されると（ステップＳ２２１；ＹＥＳ）、ヒトの顔の検出状態が当該ヒトの顔を検出していた顔検出状態から検出していない非顔検出状態に変化した場合であり、第２判定部２０４ｄは、第２画質調整部２０４ｃによるヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かを判定する（ステップＳ２２３〜Ｓ２２６）。

具体的には、先ず、第２画質調整部２０４ｃは、ヒトの顔の検出状態が変化した前後のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）の各々について、画像データに基づいて光源（例えば、室内：白色灯等）を推定する（ステップＳ２２３）。そして、第２判定部２０４ｄは、ヒトの顔の検出状態が変化した前後のフレーム画像Ｉで光源が変化したか否かを判定する（ステップＳ２２４）。
ここで、光源が変化していないと判定されると（ステップＳ２２４；ＮＯ）、第２画質調整部２０４ｃは、フレーム画像Ｉ（例えば、フレーム画像Ｉｂ等）のホワイトバランス調整の基準を前回のフレーム画像Ｉ（例えば、フレーム画像Ｉａ等）から検出されたヒトの顔が含まれる顔領域に設定する（ステップＳ２２５；図４（ｂ）等参照）。その一方で、光源が変化したと判定されると（ステップＳ２２４；ＹＥＳ）、第２画質調整部２０４ｃは、フレーム画像Ｉ（例えば、フレーム画像Ｉｃ等）のホワイトバランス調整の基準をヒトの顔以外のその他の条件に設定する（ステップＳ２２６；図４（ｃ）等参照）。

そして、図６に戻り、ステップＳ２０６にて、第２画質調整部２０４ｃは、設定された基準に従って、フレーム画像Ｉのホワイトバランスの調整を行う（ステップＳ２０６）。
すなわち、第２画質調整部２０４ｃは、前回検出されたヒトの顔を基準としてホワイトバランス調整を行ったり、ヒトの顔以外のその他の条件を基準としてホワイトバランス調整を行ったりする。
このとき、第２画質調整部２０４ｃは、例えば、ヒトの顔以外のその他の条件を基準として、フレーム画像Ｉの明るさを調整しても良い。
ステップＳ２０７以降の各処理は、上記と同様であり、詳細な説明は省略する。

以上のように、実施形態２の撮像装置２００によれば、上記実施形態１の撮像装置１００と略同様に、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであると判定された場合には、非顔検出状態であっても、以前に検出されたヒトの顔を利用してフレーム画像Ｉのホワイトバランスの調整を行うことができ、出力されるライブビュー画像のヒトの顔を基準としたホワイトバランス調整をより安定して行うことができる。
特に、ヒトの顔の検出状態が変化した前後でそれぞれ撮像された複数のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）から推定される光源の変化に基づいて、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かを判定するので、撮像環境の変化の判定に、複数のフレーム画像Ｉから推定される光源の変化を利用することができる。具体的には、複数のフレーム画像Ｉから推定される光源が変化するまでは、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであると判定するので、フレーム画像Ｉのホワイトバランスを自動的に調整する場合に、画像特徴情報として、光源の変化を用いて、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かの判定をより適正に行うことができる。

なお、上記実施形態２にあっては、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かの判定にて、実施形態１と同様に、ヒトの顔の検出状態が変化した前後のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）から測定される所定の光源下で所定の色に該当する画素数の変化量を併せて利用しても良い。
すなわち、ヒトの顔の検出状態が変化した前後のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）について、推定される光源が変化したか否かの判定結果、及び、複数の光源の各々におけるグレーに該当する画素数の変化量の合計値が所定の閾値未満であるか否かの判定結果に基づいて、撮像環境が変化したか否か（ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否か）の判定を行う。
このとき、上記した二つの判定方法について、優先すべき一方の判定方法を設定可能としても良い。また、例えば、上記した二つの判定方法のうち、一方の判定方法（例えば、実施形態１の判定方法等）にて、撮像環境が変化していないと特定された場合に、ヒトの顔を基準とするホワイトバランス調整の内容を維持するようにすることで、ヒトの顔をより優先してホワイトバランス調整に利用することができる。また、上記した二つの判定方法の両方で撮像環境が変化していないと特定された場合にのみ、ヒトの顔を基準とするホワイトバランス調整の内容を維持するようにすることで、ホワイトバランス調整の精度をより向上させることができる。
このように、上記した二つの判定方法を利用することで、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かの判定レベルを複数設定することができ、ユーザの使い勝手をより向上させることができる。

なお、本発明は、上記実施形態１、２に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かの判定に、ヒトの顔の検出状態が変化した前後のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）から測定される所定の光源下で所定の色に該当する画素数の変化量を利用する場合、複数の光源の各々におけるグレーに該当する画素数の変化量の合計値が所定の閾値未満であるか否かを判定するようにしたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
すなわち、例えば、単一の光源で複数色の各々について、ヒトの顔の検出状態が変化した前後での画素数の変化量を算出し、算出された複数色について画素数の変化量（絶対値）を合計し、合計値が所定の閾値未満であるか否かを判定するようにしても良い。

さらに、ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かの判定に、ヒトの顔の検出状態が変化した前後のフレーム画像（例えば、フレーム画像Ｉａ、Ｉｂ等）から測定される所定の光源下で所定の色に該当する画素数の変化量に変えて、例えば、所定の光源下で所定の色に該当する画素数の変化率を利用しても良い。

また、撮像装置１００、２００の構成は、上記実施形態１、２に例示したものは一例であり、これに限られるものではない。さらに、出力制御装置として、撮像装置１００、２００を例示したが、これに限られるものではなく、撮像機能を具備するか否かは適宜任意に変更可能である。

加えて、上記実施形態１、２にあっては、検出手段、調整手段、制御手段、判定手段としての機能を、中央制御部１の制御下にて、顔検出部４ｂ、第１画質調整部４ｃ（第２画質調整部２０４ｃ）、第１判定部４ｄ（第２判定部２０４ｄ）、表示制御部６ａが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１によって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムメモリ（図示略）に、検出処理ルーチン、調整処理ルーチン、制御処理ルーチン、判定処理ルーチンを含むプログラムを記録しておく。そして、検出処理ルーチンにより中央制御部１のＣＰＵを、撮像部３により逐次撮像されるフレーム画像Ｉからヒトの顔を検出する手段として機能させるようにしても良い。また、調整処理ルーチンにより中央制御部１のＣＰＵを、検出されたヒトの顔を基準として、フレーム画像Ｉの画質を自動的に調整する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部１のＣＰＵを、画質が調整された画像を出力させる手段として機能させるようにしても良い。また、判定処理ルーチンにより中央制御部１のＣＰＵを、ヒトの顔の検出状態が当該ヒトの顔を検出していた状態から検出していない状態に変化した場合に、ヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定する手段として機能させるようにしても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
撮像手段により逐次撮像される撮像画像からヒトの顔を検出する検出手段と、
前記検出手段により検出されたヒトの顔を基準として、前記撮像画像の画質を自動的に調整する調整手段と、
前記調整手段により画質が調整された画像を出力させる制御手段と、
前記検出手段によるヒトの顔の検出状態が当該ヒトの顔を検出していた状態から検出していない状態に変化した場合に、前記調整手段による前記ヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定する判定手段と、
を備えたことを特徴とする出力制御装置。
＜請求項２＞
前記判定手段は、前記検出手段によるヒトの顔の検出状態が変化した前後で前記撮像手段によりそれぞれ撮像された複数の撮像画像から判断される撮像環境の変化状況に基づいて、前記調整手段による前記ヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定することを特徴とする請求項１に記載の出力制御装置。
＜請求項３＞
前記判定手段は、前記調整手段により前記ヒトの顔以外のその他の条件を基準として前記撮像画像の画質の調整が行われる際に前記複数の撮像画像から測定される画像特徴情報の変化に基づいて、前記調整手段による前記ヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定することを特徴とする請求項２に記載の出力制御装置。
＜請求項４＞
前記調整手段は、前記撮像画像のホワイトバランスを自動的に調整し、
前記判定手段は、前記調整手段により前記複数の撮像画像から測定される所定の光源下で所定の色に該当する画素数の変化量に基づいて、前記調整手段による前記ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かを判定することを特徴とする請求項３に記載の出力制御装置。
＜請求項５＞
前記判定手段は、前記調整手段により前記複数の撮像画像から測定される複数の光源下で所定の色に該当する画素数の変化量の合計値が所定の閾値未満である場合に、前記調整手段による前記ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであると判定することを特徴とする請求項４に記載の出力制御装置。
＜請求項６＞
前記調整手段は、前記撮像画像の明るさを自動的に調整し、
前記判定手段は、前記調整手段により前記複数の撮像画像から測定される輝度の分布の変化量が所定の閾値未満である場合に、前記調整手段による前記ヒトの顔を基準とする明るさ調整の内容を維持すべきであると判定することを特徴とする請求項３に記載の出力制御装置。
＜請求項７＞
前記調整手段は、前記撮像画像のホワイトバランスを自動的に調整し、
前記判定手段は、前記調整手段により前記複数の撮像画像から推定される光源の変化に基づいて、前記調整手段による前記ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かを判定することを特徴とする請求項３に記載の出力制御装置。
＜請求項８＞
前記判定手段は、前記調整手段により前記複数の撮像画像から推定される光源が変化するまでは、前記調整手段による前記ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであると判定することを特徴とする請求項７に記載の出力制御装置。
＜請求項９＞
前記判定手段は、更に、前記調整手段により前記複数の撮像画像から測定される所定の光源下で所定の色に該当する画素数の変化量に基づいて、前記調整手段による前記ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきであるか否かを判定することを特徴とする請求項７又は８に記載の出力制御装置。
＜請求項１０＞
前記調整手段は、前記判定手段により前記ヒトの顔を基準とする画質調整の内容を維持すべきでないと判定されると、前記ヒトの顔以外のその他の条件を基準として、前記撮像画像の画質を自動的に調整することを特徴とする請求項１〜９の何れか一項に記載の出力制御装置。
＜請求項１１＞
出力制御装置を用いた出力制御方法であって、
撮像手段により逐次撮像される撮像画像からヒトの顔を検出する処理と、
検出されたヒトの顔を基準として、前記撮像画像の画質を自動的に調整する処理と、
画質が調整された画像を出力させる処理と、
ヒトの顔の検出状態が当該ヒトの顔を検出していた状態から検出していない状態に変化した場合に、前記ヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定する処理と、
を含むことを特徴とする出力制御方法。
＜請求項１２＞
出力制御装置のコンピュータに、
撮像手段により逐次撮像される撮像画像からヒトの顔を検出する機能、
検出されたヒトの顔を基準として、前記撮像画像の画質を自動的に調整する機能、
画質が調整された画像を出力させる機能、
ヒトの顔の検出状態が当該ヒトの顔を検出していた状態から検出していない状態に変化した場合に、前記ヒトの顔を基準とする画質調整の内容を維持すべきであるか否かを判定する機能と、
を実現させることを特徴とするプログラム。

１００、２００ 撮像装置
１ 中央制御部
２ メモリ
３ 撮像部
４ 信号処理部
４ａ 画像取得部
４ｂ 顔検出部
４ｃ 第１画質調整部
４ｄ 第１判定部
２０４ｃ 第２画質調整部
２０４ｄ 第２判定部
６ 表示部
６ａ 表示制御部
６ｂ 表示パネル

Claims (4)

1. 撮像手段により逐次撮像される撮像画像からヒトの顔を検出する検出手段と、
   前記検出手段により検出されたヒトの顔を基準として、前記撮像画像のホワイトバランスを自動的に調整する調整手段と、
   前記検出手段によって検出されるヒトの顔の検出状態が変化した前後で前記撮像手段により逐次撮像された複数の撮像画像から測定される所定の光源下で所定の色に該当する画素数の変化量の合計値が所定の閾値未満である場合、前記調整手段による前記ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきと判定する判定手段と、
   前記判定手段による判定結果に基づき調整手段によってホワイトバランスが調整された画像を出力させるよう制御する制御手段と、
   を備えたことを特徴とする出力制御装置。
2. 前記調整手段は、前記判定手段により前記ヒトの顔を基準とするホワイトバランスの調整の内容を維持すべきでないと判定されると、前記ヒトの顔以外のその他の条件を基準として、前記撮像画像のホワイトバランスを自動的に調整することを特徴とする請求項１に記載の出力制御装置。
3. 出力制御装置を用いた出力制御方法であって、
   撮像手段により逐次撮像される撮像画像からヒトの顔を検出する処理と、
   検出されたヒトの顔を基準として、前記撮像画像のホワイトバランスを自動的に調整する処理と、
   ヒトの顔の検出状態が変化した前後で前記撮像手段により逐次撮像された複数の撮像画像から測定される所定の光源下で所定の色に該当する画素数の変化量の合計値が所定の閾値未満である場合、前記ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきと判定する処理と、
   判定結果に基づきホワイトバランスが調整された画像を出力させるよう制御する処理と、
   を含むことを特徴とする出力制御方法。
4. 出力制御装置のコンピュータに、
   撮像手段により逐次撮像される撮像画像からヒトの顔を検出する機能、
   検出されたヒトの顔を基準として、前記撮像画像のホワイトバランスを自動的に調整する機能、
   ヒトの顔の検出状態が変化した前後で前記撮像手段により逐次撮像された複数の撮像画像から測定される所定の光源下で所定の色に該当する画素数の変化量の合計値が所定の閾値未満である場合、前記ヒトの顔を基準とするホワイトバランス調整の内容を維持すべきと判定する機能、
   判定結果に基づきホワイトバランスが調整された画像を出力させるよう制御する機能、
   を実現させることを特徴とするプログラム。