JP4639271B2

JP4639271B2 - カメラ

Info

Publication number: JP4639271B2
Application number: JP2005373700A
Authority: JP
Inventors: 俊幸田中
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2005-12-27
Filing date: 2005-12-27
Publication date: 2011-02-23
Anticipated expiration: 2025-12-27
Also published as: JP2007180629A; US7796831B2; US20070147701A1; KR20070068980A; KR100799215B1; CN1992820B; CN1992820A

Description

本発明は、人物の顔検出機能を備えた静止画撮影用のカメラおよび動画撮影用のカメラに関する。

従来、カメラは、人物が写しこまれるスナップ撮影では、人物の位置をフレーミングの経験則やオートフォーカスの情報から推察して、人物の輝度レベルが適正になるように画像全体の輝度レベルを補正している。また、肌色の領域を検出して、該領域の色を予め決まった肌色に近づけるようにしたり（例えば、特許文献１）、顔検出機能を利用して検出した顔の領域をターゲットとして、濃度や色バランスに着目して、フラッシュの発光量制御、露光制御やホワイトバランス制御に利用したりしている（例えば、特許文献２から１０参照）。
また、一般にタングステン光源下でのホワイトバランス制御では、記憶に近い色に再現するために、赤みが少し残るように制御している。
特開２００５−１７６０２８号公報特開２００１−２２２０４８号公報特開２００３−１０７５６７号公報特開２００５−１８４５０８号公報特開２００３−１８９３２５号公報特開２００３−１０７５５５号公報特開２００５−０８６６８２号公報特開２００５−０２７２７７号公報特開２００５−１８４５０８号公報特開２００３−１０７５６７号公報

しかしながら、顔の領域や肌色の領域に重みを過度においてフラッシュの発光量制御や露光制御を行ったときに、逆光シーンで背景が白く飛んだり、画面全体がフレアのように浮き気味になったりするという問題がある。タングステン光源下で、赤みが残るようにホワイトバランス制御を行ったときに、顔を参照してもウェディングドレスなどの白い衣服も赤みを帯びてしまい、白い色の記憶が他の色以上にハッキリしているため、撮影画像が記憶と異なると撮影者が感じるという問題や、連写時には、顔の検出に成功したコマと、顔が検出できなかったコマとで、露光制御およびホワイトバランス制御の結果が大きく異なるために、コマ間で露光や色合いが不安定になったりして、適正な撮影画像が得られないことがあるという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、適正な撮影画像が得られるカメラを提供することにある。

この発明は上述した課題を解決するためになされたもので、請求項１に記載の発明は、入力された画像信号から、顔を検出し、該顔を含む顔領域と胴体領域とを抽出する顔検出手段と、前記顔検出手段が抽出した顔領域と胴体領域の輝度に基づき、輝度評価量を算出する自動露光検出手段と、前記自動露光検出手段が算出した輝度評価量に基づき、露光量を算出する演算手段とを備えることを特徴とするカメラである。

また、請求項３に記載の発明は、発光手段を備えるカメラにおいて、入力された画像信号から、顔を検出し、該顔を含む顔領域と胴体領域とを抽出する顔検出手段と、前記顔検出手段が抽出した顔領域と胴体領域の輝度に基づき、輝度評価量を算出する自動露光検出手段と、前記自動露光検出手段が算出した輝度評価量に基づき、前記発光手段の発光量を算出する演算手段とを備えることを特徴とするカメラである。

また、請求項５に記載の発明は、入力された画像信号から、顔を検出し、該顔を含む顔領域と胴体領域とを抽出する顔検出手段と、前記顔検出手段が抽出した顔領域と胴体領域の色合いに基づいて、ホワイトバランス調整量を算出する自動ホワイトバランス検出手段と、前記自動ホワイトバランス検出手段が算出したホワイトバランス調整量に基づき、ホワイトバランスの制御を行う演算手段とを備えることを特徴とするカメラである。

この発明によれば、顔検出領域の輝度と胴体領域の輝度に基づいて生成した露光制御信号に基づき、露光の制御を行うため、逆光シーンでも、背景が白く飛んだり、画面全体がフレアのように浮き気味になるのを防ぎ、適正な撮影画像を得ることができるという効果を有する。

また、発明によれば、顔検出領域の輝度と胴体領域の輝度に基づいて生成した露光制御信号に基づき、発光量の制御を行うため、逆光シーンでも、背景が白く飛んだり、画面全体がフレアのように浮き気味になるのを防ぎ、適正な撮影画像を得ることができるという効果を有する。

また、本発明によれば、顔検出領域の色合いと胴体領域の色合いに基づいて生成したホワイトバランス制御信号に基づき、ホワイトバランスの制御を行うため、タングステン光源下でも、白い衣服が赤みを帯びて撮影されるのを防ぎ、適正な撮影画像を得ることができるという効果を有する。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明の実施形態に係るカメラの全体構成を示すブロック図である。本実施形態では、本発明に係るカメラの一例としてデジタルカメラを挙げて説明する。

本実施形態のデジタルカメラは、ズームレンズ１、アイリス（絞り）２、フォーカスレンズ３、撮像素子（ＣＣＤ）４、ズームモータ５、アイリスモータ６、フォーカスモータ７、タイミング発生器８、ＣＤＳＡＭＰ回路９およびフラッシュ２７を有している。ここで、ズームレンズ１、アイリス２、フォーカスレンズ３及び撮像素子４は、被写体を撮像する撮像手段をなしている。

アイリスモータ６は、アイリス２の開度を変更する絞り可変部をなしている。タイミング発生器８は、シャッタースピードを変更するシャッタースピード可変部をなしている。ＣＤＳＡＭＰ(Corelated Double Sampling Amplifier)回路９は、撮像手段の出力をなす撮像素子４の出力について、増幅度を可変するゲイン可変部をなしている。そして、アイリスモータ６と、タイミング発生器８と、ＣＤＳＡＭＰ回路９とは、撮像手段における露光状態を変更する露光変更手段を構成している。

ズームレンズ１の位置は、ズームモータ５により移動可能とされている。アイリス２の開度は、アイリスモータ６により制御可能とされている。フォーカスレンズ３の位置は、フォーカスモータ７により制御可能とされている。ズームレンズ１、アイリス２及びフォーカスレンズ３を介された被写体像光は、撮像素子４の受光面に結像される。

撮像素子４は、その受光面に結像された被写体像光を光電変換する。撮像素子４としては、ＣＣＤ(Charge Coupled Device)撮像素子、ＣＭＯＳ(Complementary MOS)撮像素子などが用いられる。撮像素子４の前面には、色フィルタが配列されている。色フィルタの配列の構成としては、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色系フィルタを用いる場合と、Ｃｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（黄色）の補色系フィルタを用いる場合とがある。撮像素子４は、タイミング発生器８からのタイミング信号により駆動される。

フラッシュ２７は、ＣＰＵ１９から指示された発光量およびタイミングで閃光を発する発光手段である。

また、本実施形態のデジタルカメラは、Ａ／Ｄコンバータ１０、画像入力コントローラ１１、画像信号処理回路１２、画像圧縮／伸長回路１３、ビデオエンコーダ１４、画像表示装置１５、モータドライバ１６，１７，１８、ＣＰＵ１９、ＡＦ検出回路２０、ＡＥ及びＡＷＢ検出回路２１、メモリ２２、ＶＲＡＭ２３、メディアコントローラ２４、記録メディア２５及び顔検出回路２６を有している。また、本実施形態のデジタルカメラは、シャッタースイッチＳＷ１、記録／再生スイッチＳＷ２、ズームスイッチＳＷ３、フラッシュスイッチＳＷ４及び撮影モード選択スイッチＳＷ５を有している。

Ａ／Ｄコンバータ１０は、撮像素子４が出力し、ＣＤＳＡＭＰ回路９を介して入力された画像信号を、デジタル化する。画像入力コントローラ１１は、Ａ／Ｄコンバータ１０の出力した画像信号をＣＰＵ１９に供給する。
画像信号処理回路１２は、入力された画像信号に対して、ガンマ補正、エッジ強調、ホワイトバランス調整等の画像処理を行なう。これらの画像処理を行うためのパラメータは、ＣＰＵ１９により設定される。画像圧縮／伸長回路１３は、入力された画像信号を圧縮符号化する。画像データの圧縮方式としては、例えば、ＪＰＥＧ(Joint Photographic Experts Group)が用いられる。ＪＰＥＧはＤＣＴ(Discrete Cosine Transform)を用いて画像圧縮するための規格である。なお、画像データの圧縮方式は、ＪＰＥＧに限定されるものではない。
ＶＲＡＭ（Video RAM）２３は、画像表示装置１５に表示する画像のデータを格納するためのメモリである。
ビデオエンコーダ１４は、ＶＲＡＭ２３に格納されている画像データを読み出し、該画像データに基づき、コンポーネントカラービデオ信号を形成して、画像表示装置１５に出力する。画像表示装置１５は、入力されたコンポーネントカラービデオ信号に基づき、カラー画像を表示するＬＣＤ(Liquid Crystal Display)等のディスプレイである。

ＣＰＵ１９は、本デジタルカメラ全体を制御する演算手段である。ＣＰＵ１９には、シャッタースイッチＳＷ１、記録／再生スイッチＳＷ２、ズームスイッチＳＷ３、フラッシュスイッチＳＷ４、撮影モード選択スイッチＳＷ５などから入力信号が与えられる。また、ＣＰＵ１９からは、ズームレンズ１を移動させるためのズーム駆動信号、フォーカスレンズ３を移動させるためのフォーカス駆動信号、アイリス２を開閉させるためのアイリス駆動信号、ＣＤＳＡＭＰ回路９のゲインを制御するためのゲイン制御信号が出力される。
メモリ２２は、ＣＰＵ１９を動作させるためのプログラムを格納した不揮発性のメモリであるＲＯＭ（Read Only Memory）および、ＣＰＵ１９が動作する際のワークメモリとして用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）である。

ＡＦ(Automatic Focus)検出回路２０は、撮像素子４の出力に基づいてＡＦを行うためのものである。ＡＦ検出回路２０は、フォーカス制御を行うために、画像信号の高周波成分レベルを検出する。つまり、合焦点では、画像信号の高周波成分レベルが大きくなる。したがって、画像信号の高周波成分レベルを検出すれば、合焦状態が判断できる。ＡＦ検出回路２０により、画像信号の高周波成分レベルが検出され、この画像信号の高周波成分レベルが所定のフォーカスエリアの間積分されて、ＡＦ評価値が求められる。求められたＡＦ評価値がＣＰＵ１９に供給される。

顔検出回路２６は、撮像素子４の出力した画像信号に含まれている顔検出領域Ａ（図２）と、胴体領域Ｃを次の手順で検出する。まず、顔検出回路２６は、画像信号の中から肌色の領域を抽出する。次に、先に抽出した領域に対して輝度変化に基づき輪郭線抽出を行い、相対的に両目と口の位置となる配置に、両目と口が存在するかを確認する。両目と口が存在する場合は、該領域を顔検出領域Ａとして検出し、両目と口の位置関係から、該領域の天地を検出する。次に、顔検出領域Ａに対して、顔検出領域Ａの天地を基準にした下方に配置され、顔検出領域Ａに所定量の倍率をかけた大きさ胴体領域Ｃを抽出する。顔検出回路２６は、検出した顔検出領域Ａおよび胴体領域Ｃを、ＣＰＵ１９へ出力する。

ＡＥ及びＡＷＢ検出回路２１は、フラッシュの発光量調整、露光制御及びホワイトバランス調整を行うために、撮像素子４の出力した画像信号に基づいて、以下の手順で露光制御信号及びホワイトバランス制御信号を形成し、これらの信号をＣＰＵ１９へ出力する。
露光制御信号とは画像の明るさを示す輝度評価値のことを言う。ＡＥ及びＡＷＢ検出回路２１は、入力された画像信号に対して、図２に示す顔検出回路２６が検出した顔検出領域Ａの平均輝度ａｖｅＡと、画像の外縁部Ｇを除いたＡＥ演算領域Ｄから顔検出領域Ａおよび胴体領域Ｃを除いた領域Ｂの平均輝度ａｖｅＢと、顔検出回路２６が検出した胴体領域Ｃの平均輝度ａｖｅＣとを式（１）に代入して輝度評価値（露光制御信号）を求める。

輝度評価値（露光制御信号）＝（ａｖｅＡ×ｎ＋ａｖｅＢ＋ａｖｅＣ×ｋ）／（ｎ＋１＋ｋ）・・・（１）
ここで、ｎは、ｎ＞１の予め定められている定数、
ｋの値は、０≦ｋであり、例えば、以下に説明するように図３に示すフローにより決まる値
ｋの値は、原則としてｎと同じである（Ｓ２１）。ただし、顔検出領域Ａの平均輝度ａｖｅＡが、胴体領域Ｃの平均輝度ａｖｅＣに正の定数αを加えた値より大きい場合（Ｓ２２）、ｋの値を「０」とする（Ｓ２３）。また、顔検出領域Ａの平均輝度ａｖｅＡが、胴体領域Ｃの平均輝度ａｖｅＣに正の定数α×０．５を加えた値より大きい場合（Ｓ２４）、ｋの値を「０．５」とする（Ｓ２５）。また、顔検出領域Ａの平均輝度ａｖｅＡが、胴体領域Ｃの平均輝度ａｖｅＣに正の定数β×０．５を引いた値より大きい場合（Ｓ２６）、ｋの値を「０．６」とする（Ｓ２７）。また、顔検出領域Ａの平均輝度ａｖｅＡが、胴体領域Ｃの平均輝度ａｖｅＣに正の定数βを引いた値より大きい場合（Ｓ２８）、ｋの値を「０．８」とする（Ｓ２９）。
このように、顔検出領域Ａに比較して、胴体領域Ｃの輝度が高いほど、胴体領域Ｃの平均輝度の重みｋを大きくとった輝度評価値に基づきフラッシュの発光量調整および露光制御を行うため、背景が白く飛んだり、画面全体がフレアのように浮き気味になることを防ぐことができる。

また、ホワイトバランス制御信号とは、ＢゲインとＲゲインのことを言う。ここで、Ｂゲインは、ホワイトバランス調整における、各画素の青色成分に掛ける倍率であり、Ｒゲインは、各画素の赤色成分に掛ける倍率である。なお、ホワイトバランス調整では、各画素の３原色のうち、緑色成分は変更せず（１倍）、青色成分と赤色成分に対して、それぞれＢゲインとＲゲインを掛けることで、３原色のバランスを制御する。次に、ＢゲインとＲゲインの算出手順を、図４を参照して説明する。最初に、顔検出回路２６が検出した顔検出領域Ａの全ての画素の赤色成分の平均値、緑色成分の平均値、青色成分の平均値の組み合わせから求めたＬ＊ａ＊ｂ値を総称してＬａｂ＿Ｆ、胴体領域Ｃについての同様の組み合わせをＬａｂ＿Ｂ、画面全体についての同様の組み合わせをＬａｂ＿Ａとする。まず、ＡＥ＆ＡＷＢ検出回路２１は、肌色を構成する赤青緑成分（Ｒｓ、Ｂｓ、Ｇｓ）の比率（Ｒｓ：Ｂｓ：Ｇｓ）と、Ｌａｂ＿Ｆの赤青緑成分（Ｒｆ、Ｂｆ、Ｇｆ）の赤色成分に補正前ＲゲインＧｒ、青色成分に補正前ＢゲインＧｂを掛けた比率（Ｒｆ×Ｇｒ：Ｂｆ×Ｇｂ：Ｇｆ）が同じになる、つまり、式（２）を満たす補正前ＲゲインＧｒ、補正前ＢゲインＧｂを算出する（Ｓ１）。
Ｒｓ：Ｂｓ：Ｇｓ＝Ｒｆ×Ｇｒ：Ｂｆ×Ｇｂ：Ｇｆ・・・（２）

次に、ＡＥ＆ＡＷＢ検出回路２１は、入力された画像信号がタングステン光源下で撮影された画像であるかを判定する。判定の１つ目の条件は、図５に示すようにＲゲインを横軸、Ｂゲインを縦軸とする２次元空間において、補正前Ｂゲインと補正前Ｒゲインの組み合わせにより表される点が、所定の領域Ｄ内にあることであり、２つ目の条件は、顔検出領域の画素毎の色の標準偏差が所定の値以下であることである（Ｓ２）。少なくともどちらかの条件が成立しないときは、ＡＥ＆ＡＷＢ検出回路２１は、補正前Ｂゲインと補正前Ｒゲインの値を、そのままＢゲイン、Ｒゲインとする（Ｓ３）。両条件が成立したときは、画像内の人物が白または白に近い色の衣服を着ているかを判定する。判定の条件は、Ｌａｂ＿ＢをＬａｂ＿Ｆと比較したときに、以下の３つの条件を全て満たすことである（Ｓ４）。
・輝度が高い
・彩度が小さい（無彩色寄り）
・標準偏差が所定値以下である（分布が散らばっていない）

３条件のうち、一つでも成立しないときは、ＡＥ＆ＡＷＢ検出回路２１は、縦軸をＢゲイン、横軸をＲゲインとする２次元空間において、補正前Ｂゲインと補正前Ｒゲインの組み合わせで表される点を、所定のルールで図５に示すような制限ラインＬ１よりもＲゲイン軸寄りに移動した点の座標を補正後のＢゲイン、Ｒゲインとする。（Ｓ５）。このように、タングステン光源下で撮影した画像については、（２）の結果に比べてＢゲインを減らし、Ｒゲインを増やす方向にこれらの値を補正することで、赤みを残した画像としている。
３条件を全て満たしているときは、ＡＥ＆ＡＷＢ検出回路２１は、縦軸をＢゲイン、横軸をＲゲインとする２次元空間において、補正前Ｂゲインと補正前Ｒゲインの組み合わせで表される点を、所定のルールで図５に示すような制限ラインＬ２よりもＢゲイン軸寄りに移動した点の座標を補正後のＢゲイン、Ｒゲインとする。（Ｓ６）。ここで、制限ラインＬ２は、制限ラインＬ１よりもＢゲイン軸よりにあることから、タングステン光源下であっても、胴体領域Ｃが白またはそれに近い色の場合は、タングステン光源下の条件だけを満たしている場合のように赤みを残さずに、白い色を再現している。

シャッタースイッチＳＷ１は、記録モード時に押されると画像を撮影するスイッチである。
記録／再生スイッチＳＷ２は、画像を撮影する記録モード、又は、撮影した画像を画像表示装置１５に表示する再生モードに、本デジタルカメラを設定するスイッチである。
ズームスイッチＳＷ３は、記録モード時にズームレンズ１を移動させるスイッチである。
フラッシュスイッチＳＷ４は、フラッシュ２７の発光／発光禁止を設定するスイッチである。
撮影モード選択スイッチＳＷ５は、セルフタイマモード、連写モード、単写モード、ブラケットモードなどのなかから、撮影状況などに応じて一つの撮影モードを選択するためのスイッチである。

メディアコントローラ２４は、記録メディア２５にデータを読み書きする機能である。
記録メディア２５は、圧縮符号化された画像信号が画像ファイルとして記録されるメディアであり、例えばフラッシュメモリを使ったカード型の着脱自在のメモリが用いられる。なお、記録メディア２５としては、デジタルカメラ内蔵の不揮発メモリ、磁気テープ、磁気ディスク、光ディスクなどを適用してもよい。

次に、本デジタルカメラの電源ＯＮ時からの動作を説明する。電源スイッチ（図示せず）の操作にて本デジタルカメラの主電源がＯＮ／ＯＦＦされる。電源ＯＮされると、本デジタルカメラは、メモリ、ズーミング、ＤＳＰ、各種ドライバ（１６、１７、１８）などの初期化を行う。

記録／再生スイッチＳＷ２が記録モードに設定されているときは、画像撮影時以外でも、撮像素子４は、定期的に画像を取込み、ＣＤＳＡＭＰ回路９、Ａ／Ｄ変換１０および画像入力コントローラ１１を介して、画像信号がＣＰＵ１９に入力される。ＣＰＵ１９は、このデジタル画像信号を画像信号処理回路１２に出力するとともに、顔検出回路２６に出力する。画像信号処理回路１２は、入力された画像信号に対して、ガンマ補正、エッジ強調、ホワイトバランス調整等の画像処理を行なう。この画像信号は、ＣＰＵ１９を介して、画像データとしてＶＲＡＭ２３に格納される。ビデオエンコーダ１４は、ＶＲＡＭ２３に格納されている画像データを参照して、コンポーネントカラービデオ信号を形成し、このコンポーネントカラービデオ信号を画像表示装置１５に出力する。画像表示装置１５は、このコンポーネントカラービデオ信号を表示するので、画像表示装置１５には、撮影中のモニタ画像が表示される。

一方、ＣＰＵ１９から画像信号を受けた顔検出回路２６は、その結果、顔領域および胴体領域の位置を検出して、ＣＰＵ１９に出力する。ＣＰＵ１９は、顔領域および胴体領域の位置を受けると、この顔領域および胴体領域の位置とデジタル画像信号とを、ＡＥ＆ＡＷＢ検出回路２１に入力して、その結果、露光制御信号とホワイトバランス制御信号を取得する。ＣＰＵ１９は、フラッシュスイッチＳＷ４が発光に設定されているときは、露光制御信号に基づき、フラッシュの発光量および露光量を算出し、発光禁止に設定されているときは、露光制御信号に基づき、露光量を算出する。ＣＰＵ１９は、算出した露光量に基づき、アイリス駆動信号とゲイン設定信号を出力する。そして、アイリス駆動信号はモータドライバ１７を介してアイリスモータ６に供給され、所定の信号レベルとなるように、アイリス２の開度が制御される。また、ゲイン設定信号はＣＤＳＡＭＰ回路９に供給され、所定の信号レベルとなるように、ＣＤＳＡＭＰ回路９のゲインが制御される。また、ＣＰＵ１９は、ホワイトバランス制御信号に基づき、画像信号処理回路１２にＢゲインおよびＲゲインを設定する。このように、いつでも撮影可能なように、露光およびホワイトバランス調整は、常に最適な状態に制御されている。

また、このときズームスイッチＳＷ３が操作されると、これに応じて、ＣＰＵ１９がズーム駆動信号を出力する。このズーム駆動信号は、モータドライバ１６を介してズームモータ５に供給され、ズームモータ５によりズームレンズ１が移動される。

画像撮影時の動作を説明する。先ず、撮影モード選択スイッチＳＷ５が単写に選択されている場合を説明する。シャッタースイッチＳＷ１が押されると、ＣＰＵ１９がこれを検知して、タイミング発生器８にシャッター信号が送られ、そのときの画像が、撮像素子４に取り込まれる。このとき、フラッシュスイッチＳＷ４が発光に設定されている場合は、前述の露光制御信号に基づき算出された発光量を指定する発光信号がフラッシュ２７に送られ、撮像素子４に画像が取込まれるタイミングで、フラッシュ２７は閃光を発する。撮像素子４は、取込んだ画像をアナログ画像信号にて出力する。このアナログ画像信号は、ＣＤＳＡＭＰ回路９によってゲイン制御され、Ａ／Ｄ変換１０でデジタル画像信号に変換される。このデジタル画像信号は、画像入力コントローラ１１を介してＣＰＵ１９に取り込まれる。その後、取り込まれたデジタル画像信号は、画像信号処理回路１２でガンマ補正、エッジ強調、ホワイトバランス調整、ＹＣ変換等の画像処理が施され、画像圧縮／伸長回路１３でデータ圧縮され、画像ファイルとして、記録メディア２５に記録される。

次に、撮影モード選択スイッチＳＷ５が連写に選択され、連写モードで撮影する場合の動作を説明する。連写モードとは、シャッタースイッチＳＷ１が押されると、規定のコマ数を連続して撮影するモードであり、各コマの撮影に関する動作は、単写モードにおいて、ＣＰＵ１９がタイミング発生器８にシャッター信号を送ってから後の動作と同様である。ここでは、各コマにおける撮影の説明は省略し、コマ間での動作を説明する。連写モードでは、図６に示すように、基本的には１コマ撮影した後にも、次のコマの撮影用に、ＡＥ／ＡＷＢ処理として、前述の画像撮影時以外のときと同様に撮像素子４が取込んだ画像および顔検出回路２６の出力結果に基づき、ＡＥ＆ＡＷＢ検出回路２１が露光制御信号とホワイトバランス制御信号を出力し、これらの信号に基づきＣＰＵ１９が、アイリス２の開度とＣＤＳＡＭＰ回路９のゲインとを制御する露光制御および、画像信号処理回路１２にＢゲインとＲゲインとを設定するホワイトバランス制御に加えて、フラッシュスイッチＳＷ４が発光に設定されている場合は、フラッシュ２７の発光量を制御する発光量制御が行われる。しかし、２コマ目以降については、ＣＰＵ１９は、図７に示すフローで、コマ毎に発光量、露光とホワイトバランス調整の制御を行った後、画像を撮影する。

例えば、連写を通して画像変化が少なく、ｋ−１コマ目までは顔が写っており、ｋコマ目から顔が写らなくなる場合の連写モードでの撮影を考える。この場合、１コマ目では、顔検出回路２６が顔検出に成功し、その結果を用いた発光量、露光およびホワイトバランス調整の制御を行なった後、画像撮影する。このあと、２コマ目以降ｋ−１コマ目までは、ＣＰＵ１９は、まず、撮像素子４が取込んだ画像を顔検出回路２６に入力し、顔検出回路２６は、入力された画像に対して顔検出を行ない、その結果の顔検出領域をＣＰＵ１９に出力する（Ｓ１１）。次に、ステップＳ１２では、顔検出に成功しているかを判定する。ここで、２コマ目では、顔検出に成功しているので、ステップＳ１３に遷移する。ＣＰＵ１９は、撮像素子４が取込んだ画像と顔検出領域とをＡＥ＆ＡＷＢ検出回路２１に入力し、その結果として得られる露光制御信号とホワイトバランス制御信号に基づき、発光量、露光およびホワイトバランス調整の制御が行なわれる（Ｓ１３）。ｋ−１コマ目までの顔が写っている各コマでは同様にして、発光量、露光およびホワイトバランス調整の制御が行なわれる。

次に、ｋコマ目では、前述のように画像に顔が写っていないので、撮像素子４が取込んだ画像をＣＰＵ１９が顔検出回路２６に入力するが、顔検出回路２６は、入力された画像に対する顔検出に失敗し、その旨をＣＰＵ１９に出力する（Ｓ１１）。次に、ステップＳ１２では、顔検出に成功しているかを判定する。ここでは、前述のように顔検出に失敗しているので、ステップＳ１４に遷移する。ステップＳ１４では、コマ間での画像変化が小さいかを判定する。判定は、以下の式（３）が成り立つかで行う。
ａｂｓ（ａｖｅ[ｎ］−ａｖｅ［ｎ−１］）＜α、かつ、ａｂｓ（１−（（Ｒ［ｎ］×Ｇ［ｎ−１］）／（Ｇ［ｎ］×Ｒ［ｎ−１］））＜β、かつ、ａｂｓ（１−（（Ｒ［ｎ］×Ｇ［ｎ−１］）／（Ｇ［ｎ］×Ｒ［ｎ−１］））＜γ・・・（３）
ここで、α、β、γは小さな正数の定数であり、ａｂｓ（ｘ）は、ｘの絶対値をとる関数、ａｖｅ［ｎ］は、ｎコマ目の画像の輝度平均値、Ｒ［ｎ］、Ｇ［ｎ］、Ｂ［ｎ］は、それぞれｎコマ目の画像の赤色、緑色、青色成分の平均値である。

ここでは、コマ間で画像変化が少ないとしたので、式（３）が成り立ち、すなわちステップＳ１４の条件が成立し、ステップＳ１５に遷移する。ステップＳ１５では、発光量制御、露光制御およびホワイトバランス制御は前のコマ（ｋ−１コマ目）と同じ条件で行われる。次に、ｋ＋１コマ目以降でも、前述のように顔は写ってなく、コマ間で画像変化が少ないとしたので、同様にして、ステップＳ１２は条件が成立せず、ステップ１４は条件が成立してステップ１５に遷移する。ステップ１５では、発光量制御、露光制御およびホワイトバランス制御は前のコマと同じ条件で行われる。このように、画像変化が少ない場合は、途中で顔が写らなくなっても、顔が写っていた最後のコマと同じ発光量制御、露光制御およびホワイトバランス制御で撮影されるため、コマ間で安定した露光と色合いとなる。

次に、他の例として、連写を通して画像変化が激しく、ｋ−１コマ目までは顔が写っており、ｋコマ目から顔が写らなくなる場合を説明する。前述の連写を通して画像変化が少ない場合と同様に、１コマ目では、顔検出回路２６が顔検出に成功し、その結果を用いた発光量、露光およびホワイトバランス調整の制御を行なった後、画像撮影する。このあと、２コマ目以降ｋ−１コマ目までは、ＣＰＵ１９は、まず、撮像素子４が取込んだ画像を顔検出回路２６に入力し、顔検出回路２６は、入力された画像に対して顔検出を行ない、その結果の顔検出領域をＣＰＵ１９に出力する（Ｓ１１）。次に、ステップＳ１２では、顔検出に成功しているかを判定する。ここで、２コマ目では、顔検出に成功しているので、ステップＳ１３に遷移する。ＣＰＵ１９は、撮像素子４が取込んだ画像と顔検出領域とをＡＥ＆ＡＷＢ検出回路２１に入力し、その結果として得られる露光制御信号とホワイトバランス制御信号に基づき、発光量、露光およびホワイトバランス調整の制御が行なわれる（Ｓ１３）。ｋ−１コマ目までの顔が写っている各コマでは同様にして、発光量、露光およびホワイトバランス調整の制御が行なわれる。

次に、ｋコマ目では、前述のように画像に顔が写っていないので、撮像素子４が取込んだ画像をＣＰＵ１９が顔検出回路２６に入力するが、顔検出回路２６は、入力された画像に対する顔検出に失敗し、その旨をＣＰＵ１９に出力する（Ｓ１１）。次に、ステップＳ１２では、顔検出に成功しているかを判定する。ここでは、前述のように顔検出に失敗しているので、ステップＳ１４に遷移する。ステップＳ１４では、コマ間での画像変化が小さいかを判定する。判定は、前述の式（３）が成り立つかで行う。ここでは、前述のようにコマ間で画像変化が激しいとしたので、式（３）は成り立たず、ステップＳ１４では条件が成立しないと判定して、ステップＳ１６に遷移する。ステップＳ１６では、ＣＰＵ１９は、顔検出回路２６が出力する顔検出領域と胴体領域を、ＡＥ＆ＡＷＢ検出回路２１に入力し、これらの情報と撮像素子４が出力した画像信号に基づき、ＡＥ＆ＡＷＢ検出回路２１が出力した露光制御信号とホワイトバランス制御信号を取得する。さらに、取得したこれらの信号に基づき発光量制御、露光制御およびホワイトバランス制御を実施する。

次に、ｋ＋１コマ目以降でも、前述のように顔は写ってなく、コマ間で画像変化が激しいとしたので、同様にして、ステップＳ１２は条件が成立せず、ステップ１４も条件が成立せずステップ１６に遷移する。ステップＳ１６では、ＣＰＵ１９は、顔検出回路２６が出力する顔検出領域と胴体領域を、ＡＥ＆ＡＷＢ検出回路２１に入力し、これらの情報と撮像素子４が出力した画像信号に基づき、ＡＥ＆ＡＷＢ検出回路２１が出力した露光制御信号とホワイトバランス制御信号を取得する。さらに、取得したこれらの信号に基づき発光量制御、露光制御およびホワイトバランス制御を実施する。このように、コマ間で変化が激しい場合は、各コマにて取得した情報に基づき発光量制御、露光制御とホワイトバランス制御を行い、最適化して画像を撮影する。このため、各コマの状況にあわせた撮影画像が得られる。

記録／再生スイッチＳＷ２が再生側に操作されると、再生モードに設定される。再生モードでは、ＣＰＵ１９によりメディアコントローラ２４を介して、記録メディア２５の画像ファイルが開かれ、画像データが読み出される。ＣＰＵ１９は、記録メディア２５から読み出した画像データを、画像圧縮／伸長回路１３に供給する。画像圧縮／伸長回路１３は、画像データの伸長処理を行い、その結果の画像データをＶＲＡＭ２３に格納する。ビデオエンコーダ１４は、ＶＲＡＭ２３の画像データを参照して、コンポーネントカラービデオ信号を生成して、これを画像表示装置１５に供給する。画像表示ため、記録メディア２５に格納画像表示装置１５に再生画像が映出される。

なお、本実施形態においては、発光量の制御と露光の制御を、同じ輝度評価値に基づき行うとしたが、輝度評価値を算出する際の重み付け（式（１）のｋ）を変更するなど、異なる算出方法で求めた値に基づき、それぞれ発光量の制御と露光の制御を行ってもよい。

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

この発明の一実施形態によるデジタルカメラの構成を示すブロック図である。本実施形態における顔検出領域Ａ、ＡＥ演算領域から顔検出領域および胴体領域Ｃを除いた領域Ｂ、胴体領域Ｃの例を示す図である。本実施形態における輝度評価値算出の重み係数ｋを決めるフローチャートである。本実施形態におけるＡＥ＆ＡＷＢ検出回路２１によるＢゲインとＲゲイン算出のフローチャートである。本実施形態におけるタングステン光源下でのホワイトバランス調整の制限を説明する図である。本実施形態におけるカメラの連写モードでの動作を説明する図である。本実施形態における連写モードでのＣＰＵ１９の動作を説明するフローチャートである。

符号の説明

１…ズームレンズ
２…アイリス
３…フォーカスレンズ
４…撮像素子
５…ズームモータ
６…アイリスモータ
７…フォーカスモータ
８…タイミング発生器
９…ＣＤＳＡＭＰ
１０…Ａ／Ｄ変換
１１…画像入力コントローラ
１２…画像信号処理回路
１３…画像圧縮／伸長回路
１４…ビデオエンコーダ
１５…画像表示装置
１６、１７、１８…モータドライバ
１９…ＣＰＵ
２０…ＡＦ検出回路
２１…ＡＥ＆ＡＷＢ検出回路
２２…メモリ
２３…ＶＲＡＭ
２４…メディアコントローラ
２５…記録メディア
２６…顔検出回路
２７…フラッシュ

Claims

入力された画像信号から、顔を検出し、該顔を含む顔領域と胴体領域とを抽出する顔検出手段と、
前記顔検出手段が抽出した顔領域と胴体領域の輝度に基づき、輝度評価量を算出する自動露光検出手段と、
前記自動露光検出手段が算出した輝度評価量に基づき、露光量を算出する演算手段と
を備えることを特徴とするカメラ。
連写モードを含む撮影モードを指定する撮影モード指定手段を有し、
前記演算手段は、前記撮影モード指定手段により前記連写モードが指定されたときは、１コマ前の画像と今回の画像との変化量を算出し、該変化量が所定の値より小さい場合は、今回の画像撮影用の露光量を、１コマ前の画像撮影時の露光量と同一にすることを特徴とする請求項１に記載のカメラ。
発光手段を備えるカメラにおいて、
入力された画像信号から、顔を検出し、該顔を含む顔領域と胴体領域とを抽出する顔検出手段と、
前記顔検出手段が抽出した顔領域と胴体領域の輝度に基づき、輝度評価量を算出する自動露光検出手段と、
前記自動露光検出手段が算出した輝度評価量に基づき、前記発光手段の発光量を算出する演算手段と
を備えることを特徴とするカメラ。
連写モードを含む撮影モードを指定する撮影モード指定手段を有し、
前記演算手段は、前記撮影モード指定手段により前記連写モードが指定されたときは、１コマ前の画像と今回の画像との変化量を算出し、該変化量が所定の値より小さい場合は、今回の画像撮影時の前記発光手段の発光量を、１コマ前の画像撮影時の前記発光手段の発光量と同一にすることを特徴とする請求項３に記載のカメラ。
入力された画像信号から、顔を検出し、該顔を含む顔領域と胴体領域とを抽出する顔検出手段と、
前記顔検出手段が抽出した顔領域と胴体領域の色合いに基づいて、ホワイトバランス調整量を算出する自動ホワイトバランス検出手段と、
前記自動ホワイトバランス検出手段が算出したホワイトバランス調整量に基づき、ホワイトバランスの制御を行う演算手段と
を備えることを特徴とするカメラ。
連写モードを含む撮影モードを指定する撮影モード指定手段を有し、
前記演算手段は、前記撮影モード指定手段により前記連写モードが指定されたときは、１コマ前の画像と今回の画像との変化量を算出し、該変化量が所定の値より小さい場合は、今回の画像撮影用のホワイトバランスの制御を、１コマ前の画像撮影時のホワイトバランスの制御と同一とすることを特徴とする請求項５に記載のカメラ。