JP4154400B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、入力画像から主要被写体である人物の顔位置を検出し、それに対して焦点及び露出を合わせる技術に関するものである。

デジタルスチルカメラ等の撮影装置で人物を撮影する場合、主被写体である人物の顔に焦点を合わせ、主被写体である人物の顔に最適な露出で撮影することが求められる。従来のＡＦ／ＡＥ（オートフォーカス／自動露出）制御では、画面内の予め決められた領域を測距／測光領域とし、その測距／測光領域に焦点と露出が合うように制御している。従って、主被写体である人物の顔が測距／測光領域に含まれていない場合には、人物の顔に焦点と露出が合わないという問題がある。

例えば画面中央部を測距／測光領域に設定していて、図５（ａ）に示すような二人の人物が並んだ構図や、図５（ｂ）に示すような人物が画面の右側にずれている構図で撮影すると、人物の背景に焦点と露出が合ってしまう。図５（ａ）、図５（ｂ）において破線枠部分が測距／測光領域である。これに対して撮影画像から人物の顔の位置を検出し、検出した領域からＡＦ／ＡＥ評価値を抽出して、焦点や露出を合わせる制御方法が多数提案されている。例えば、特開平０５−０４１８３０号公報（特許文献１）、特開２００１−１１９６２２号公報（特許文献２）、特開２００３−１０７３３５号公報（特許文献３）、特開２００３−１０７５５５号公報（特許文献４）等が挙げられる。

特開平０５−０４１８３００号公報では、撮影画像から肌色領域を求め、その肌色領域が人物の顔であると判定されたら、その後取得した撮影画像の肌色領域における平均輝度信号レベルが所望の値になるように露出制御している。すなわち、人物の顔の位置を検出する撮影画像と露出制御に用いられる評価値を検出する撮影画像は異なったものである。

特開２００１−１１９６２２号公報および特開２００３−１０７３３５号公報では撮影画像の人物の顔に露出を合わせる制御方法、特開２００３−１０７５５５号公報では撮影画像の人物の顔に焦点を合わせる制御方法が示されているが、いずれも、人物の顔の位置を検出する撮影画像とＡＦ／ＡＥ評価値を検出する撮影画像が同一とみなせるものであるかどうかについては述べられていない。
特開平０５−０４１８３０号公報 特開２００１−１１９６２２号公報 特開２００３−１０７３３５号公報 特開２００３−１０７５５５号公報

しかしながら、人物の顔の位置の検出には時間がかかるので、撮影画像から人物の顔の位置を検出して測距／測光領域を設定し、その後取得した撮影画像からＡＦ／ＡＥ評価値を検出しても、人物が動いたり撮影装置が手振れしたりすると、人物の顔が測距／測光領域から外れてしまい、人物の顔に焦点と露出が合わないという問題がある。

例えば、画面内を左から右に移動している人物を撮影していて、図６（ａ）、図６（ｂ）に示すような２フレーム分の撮影画像が取得された場合について説明する。図６（ｂ）は、例えば図６（ａ）から１秒後に得られた撮影画像である。

図６（ａ）、図６（ｂ）それぞれの画像から人物の顔の位置を検出した結果がｘ、ｙで示されている点線で囲まれた領域である。図６（ａ）の画像から人物の顔の位置と判定されたｘ領域を測距／測光領域に設定し、その後取得した図６（ｂ）の画像からＡＦ／ＡＥ評価値を検出した場合、図６（ｂ）では人物の顔の位置はｙ領域に移動しており、ｘ領域から検出したＡＦ／ＡＥ評価値を基にＡＦ／ＡＥ制御を行うと、焦点と露出はｘ領域の背景に存在している、人物とは関係ない対象物に合ってしまう。

本発明はこのような点に鑑みてなされたものであって、その目的は、顔領域検出の対象となるフレームの画像に対してＡＦ／ＡＥ／ＷＢ評価値検出とを行うことができるため、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力された画像データを基に第１の画像データを生成する第１の画像データ生成手段と、前記画像データを基に前記第１の画像データとは異なる第２の画像データを生成する第２の画像データ生成手段と、前記第２の画像データから顔領域を検出する顔領域検出手段と、前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を逐次表示する表示手段と、前記顔領域検出手段が前記第２の画像データから顔領域の検出を完了すると、前記第１の画像データにおける、前記顔領域検出手段により検出された顔領域に対応する部分のデータを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出する抽出手段と、前記抽出手段によって抽出された前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置は、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力された画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出して記憶する抽出手段と、前記画像データを基に生成した画像データから顔領域を検出する顔領域検出手段と、前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を逐次表示する表示手段と、前記顔領域検出手段が顔領域の検出を完了すると、前記抽出手段が予め記憶した評価値のうち、前記顔領域検出手段により検出された前記顔領域に対応する部分の前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置は、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力された画像データを基に複数の第１の画像データを生成する第１の画像データ生成手段と、前記画像データを基に第１の画像データとは異なる複数の第２の画像データを生成する第２の画像データ生成手段と、前記第２の画像データのいずれかから顔領域を検出する顔領域検出手段と、前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を逐次表示する表示手段と、前記顔領域検出手段が前記顔領域の検出を完了するまでに生成される前記複数の第２の画像データのうち、顔領域の検出の対象となった第２の画像データと比較してその変化量が所定量以内である第２の画像データと同一の画像データから生成された前記第１の画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出する抽出手段と、前記抽出手段によって抽出された前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置は、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段から出力された画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出して記憶する抽出手段と、前記画像データを基に生成した画像データから顔領域を検出する顔領域検出手段と、前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を逐次表示する表示手段と、前記顔領域検出手段が顔領域の検出を完了すると、前記顔領域検出手段が前記顔領域の検出を完了するまでに前記抽出手段が記憶した評価値のうち、顔領域の検出の対象となった画像データと比較してその変化量が所定量以内である画像データにおいて前記顔領域検出手段により検出された顔領域に対応する部分の前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御手段と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、前記撮像工程から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換工程から出力された画像データを基に第１の画像データを生成する第１の画像データ生成工程と、前記画像データを基に前記第１の画像データとは異なる第２の画像データを生成する第２の画像データ生成工程と、前記第２の画像データから顔領域を検出する顔領域検出工程と、前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を逐次表示する表示工程と、前記顔領域検出工程が前記第２の画像データから顔領域の検出を完了すると、前記第１の画像データにおける、前記顔領域検出工程により検出された顔領域に対応する部分のデータを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出する抽出工程と、前記抽出工程によって抽出された前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御工程と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、前記撮像工程から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換工程から出力された画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出して記憶する抽出工程と、前記画像データを基に生成した画像データから顔領域を検出する顔領域検出工程と、前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を逐次表示する表示工程と、前記顔領域検出工程が顔領域の検出を完了すると、前記抽出工程が予め記憶した評価値のうち、前記顔領域検出工程により検出された前記顔領域に対応する部分の前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御工程と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、前記撮像工程から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換工程から出力された画像データを基に複数の第１の画像データを生成する第１の画像データ生成工程と、前記画像データを基に第１の画像データとは異なる複数の第２の画像データを生成する第２の画像データ生成工程と、前記第２の画像データのいずれかから顔領域を検出する顔領域検出工程と、前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を逐次表示する表示工程と、前記顔領域検出工程が前記顔領域の検出を完了するまでに生成される前記複数の第２の画像データのうち、顔領域の検出の対象となった第２の画像データと比較してその変化量が所定量以内である第２の画像データと同一の画像データから生成された前記第１の画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出する抽出工程と、前記抽出工程によって抽出された前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御工程と、を具備することを特徴とする。

また、本発明に係わる撮像装置の制御方法は、結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、前記撮像工程から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換工程から出力された画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための撮影情報のうちのいずれかを抽出して記憶する抽出工程と、前記画像データを基に生成した画像データから顔領域を検出する顔領域検出工程と、前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を逐次表示する表示工程と、前記顔領域検出工程が顔領域の検出を完了すると、前記顔領域検出工程が前記顔領域の検出を完了するまでに前記抽出工程が記憶した評価値のうち、顔領域の検出の対象となった画像データと比較してその変化量が所定量以内である画像データにおいて前記顔領域検出工程により検出された顔領域に対応する部分の前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御工程と、を具備することを特徴とする。

本発明によれば、動きのある被写体に対しても精度の高い顔検出を用いた撮像装置の制御を行うことが可能になる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
（第１の実施形態）
図１は、本発明の撮影装置の第１の実施形態の機能ブロック図である。

図１において、１０はレンズや絞り等からなる結像光学部であり、フォーカス調節や露出調節を行う。１１は光学像を電気信号に変換するＣＣＤ等の撮像素子、１２は撮像素子１１からのアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路、１３はＡ／Ｄ変換回路１２から出力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する信号処理部、１４はメモリ（ＤＲＡＭ）１５との間で映像データや各種制御データの書き込み／読み出しを行うメモリＩ／Ｆ、１６は映像データから人物の顔の領域を判定する顔領域判定部、１７はＡＦ／ＡＥ／ＷＢ（オートフォーカス／自動露出／ホワイトバランス）評価値を検出するＡＦ／ＡＥ／ＷＢ検出部である。１８は各種制御を司るＣＰＵであり、ＡＦ／ＡＥ／ＷＢ検出部１７からの評価値に基づいて結像光学部を制御し、また、信号処理部１３での信号処理のパラメータ設定を行う。１９は表示部であり、信号処理部１３にて作成された映像データを随時表示し、使用者がリアルタイムで被写体の様子を観察できるようにするための液晶モニター等からなる表示部である。

以下、本発明の第１の実施形態の撮影装置の動作を図２に示すフローチャートに従って説明する。

デジタルスチルカメラでは撮影の前に表示部１９でこれから撮影をしようとする画像のモニタリングを行っており、本実施形態ではモニタリング動作中に人物の顔の位置およびＡＦ／ＡＥ／ＷＢ評価値を抽出するものとする。

ステップＳ１０１では、モニタリングしている画像に対して顔検出を行う顔検出モードが設定されると、結像光学部１０に入射した光は撮像素子１１の受光面に結像し、撮像素子１１からアナログ画像信号として出力される。アナログ画像信号はＡ／Ｄ変換回路１２でデジタル画像データに変換され、信号処理部１３に入力される。なお、ここでは顔検出モードの設定されると信号処理部１３へ信号の入力が開始されているが、レリーズボタンが半押し（ＳＷ１）されると、信号処理部１３へ信号の入力を開始してもよい。

信号処理部１３では、ステップＳ１０２とステップＳ１０３の２つの処理が並行して行われる。ステップＳ１０２では、入力された画像データをそのまま（ＲＡＷ圧縮方式で圧縮されたデータ）の状態でメモリＩ／Ｆ１４を通じてメモリ１５の予め決められたメモリ空間（メモリ空間Ａ）に記憶する。一方、ステップＳ１０３では、入力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する。

ステップＳ１０４では、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５のメモリ空間Ａとは異なる予め決められたメモリ空間（メモリ空間Ｂ）にステップＳ１０３にて作成された映像データを記憶する。ステップＳ１０２にて記憶された画像データと、ステップＳ１０３にて作成された映像データとは、Ａ／Ｄ変換回路１２から出力された同一の画像データを基にしていることになる。

ステップＳ１０５では、顔領域判定部１６は、ステップＳ１０４においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データを用いて人物の顔の領域を検出する。メモリ空間Ｂに記憶された映像データはメモリ空間Ａに記憶された画像データよりも容量が小さく、メモリ空間Ｂに記憶された映像データから顔領域の検出を行えば、メモリ空間Ａに記憶された画像データから行うようも短い時間で顔領域の検出が完了する。

人物の顔領域の検出方法としては、主成分分析による固有顔（eigenface）を用いた方法（M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.）や、特開平０９−２５１５３４号公報では、目、鼻、口等の特徴点を利用した方法が提案されており、適用可能である。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング法により入力画像が人物の顔であるかどうかを判定している。

本実施形態では、予めメモリ１５のメモリ空間Ｃに記憶されている人物の顔の標準パターンと、ステップＳ１０４においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データとの間でパターンマッチングを行う。そしてこのパターンマッチングを行っている間に、使用者が被写体をモニタリングできるように表示部１９は、顔検出モード設定後の最初に得られた１フレーム後に新たに得られた映像データを随時表示する。

ステップＳ１０６では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ１０５において検出された人物の顔領域の情報に基づいて、ＡＦ（オートフォーカス）評価値を検出する領域（ＡＦ領域）、ＡＥ（自動露出）評価値を検出する領域（ＡＥ領域）およびＷＢ（ホワイトバランス）評価値を検出する領域（ＷＢ領域）を設定する。ステップＳ１０５において人物の顔が存在しないと判定された場合には、通常の方法でＡＦ／ＡＥ／ＷＢ領域を設定する。なお、ＡＦ／ＡＥ／ＷＢ領域の設定は、ＣＰＵ１８で行っても構わない。

ステップＳ１０７では、ステップＳ１０２においてメモリ空間Ａに記憶されたＲＡＷ圧縮方式で圧縮されたデータの内顔検出モード設定後の最初の１フレーム分のデータに対して、ステップＳ１０６において設定したＡＦ／ＡＥ／ＷＢ領域に含まれるＲＡＷ圧縮方式で圧縮されたデータをＡＦ／ＡＥ／ＷＢ検出部１７に読み出し、ＡＦ／ＡＥ／ＷＢ評価値を検出する。なお、ＲＡＷ圧縮方式で圧縮されたデータには、輝度情報だけでなく色情報も含まれる。

ステップＳ１０８では、ＣＰＵ１８は、ステップＳ１０７において得られたＡＦ／ＡＥ／ＷＢ評価値に基づいてＡＦ／ＡＥ／ＷＢ調整量を求め、結像光学部１０を制御する。また、ステップＳ１０７において得られたＡＥ評価値を基に、信号処理部１３での信号処理のパラメータ設定を行う。

上述したようにデジタルスチルカメラのモニタリング動作中には、連続してフレーム画像がＡ／Ｄ変換回路１２から出力されるので、上記ステップＳ１０５からステップＳ１０８の処理が行われている最中にも、次のフレーム画像が信号処理部１３に入力されている。顔領域検出の対象となるフレーム１の画像に対して顔領域判定とＡＦ／ＡＥ／ＷＢ評価値検出を行うため、フレーム毎にメモリ空間を切り替えて上記ステップＳ１０２からステップＳ１０７の処理を行う。この様子を図３のタイミングチャートおよび図４のメモリ空間図に従って説明する。

フレーム画像に対して信号処理部１３に入力された順番にフレーム１、フレーム２、フレーム３、…と番号を付け、また、フレーム１の画像データが入力されている期間をフレーム１期間、同様にフレーム２期間、フレーム３期間、…と名付ける。ここでは、人物の顔の位置を検出するのに１０フレーム期間かかるものとする。

図３のタイミングチャートは、垂直同期信号で区切られたフレーム１期間からフレーム１２期間における、上記ステップＳ１０１からＳ１０８までの処理が行われるタイミングと、それぞれのステップで処理するフレーム番号を示している。図３において、画像データ入力はステップＳ１０１、ＲＡＷ圧縮方式で圧縮されたデータ記憶はステップＳ１０２、映像データ記憶はステップＳ１０４、顔領域判定はステップＳ１０５、ＡＦ／ＡＥ／ＷＢ評価値検出はステップＳ１０７、ＡＦ／ＡＥ／ＷＢ制御はステップＳ１０８に相当する。

（１）フレーム１期間
信号処理部１３に入力されたフレーム１の画像データに対して、上記ステップＳ１０２とステップＳ１０４の２つの処理が並行して行われ、フレーム１のＲＡＷ圧縮方式で圧縮されたデータはメモリ空間Ａに、映像データはメモリ空間Ｂに記憶される。フレーム１期間のメモリ空間の例を図４（ａ）に示す。メモリ空間Ｃには、顔領域判定の際に用いられる顔の標準パターンが予め記憶されているものとする。

（２）フレーム２〜１１期間
ステップＳ１０５の顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データを読み出して、メモリ空間Ｃに記憶されている標準パターンとのパターンマッチングによる顔領域判定を行う。フレーム２〜１１期間においても信号処理部１３にＡ／Ｄ変換回路１２から出力された画像データは入力され続け、表示部１９がこのフレーム２〜１１期間にて得られた画像データを基にした映像データを用いて表示動作を行うが、顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データに対して行われる。

ステップＳ１０６ではＣＰＵ１８は、顔領域判定が完了すると（図３ではフレーム１１の画像を得ている時点にて）ステップＳ１０５にて記録されたフレーム１の画像に対して、ＡＦ／ＡＥ／ＷＢ領域を設定する。

ステップＳ１０７では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ１０６にてＡＦ/ＡＥ／ＷＢ領域に設定されたフレーム１のＲＡＷ圧縮方式で圧縮されたデータをメモリ空間Ａから読み出してＡＦ／ＡＥ／ＷＢ評価値を検出を行う。なお、ＡＦ評価値に関しては、１フレーム分の画像から求めることはできない為、ステップＳ１０６にてＡＦ／ＡＥ／ＷＢ領域に設定されたフレーム１から数フレーム後までのフレームも加味して評価値の検出を行う。
そして、ステップＳ１０８では、ＣＰＵ１８は、ステップＳ１０７にて求められた評価値に基づきＡＦ／ＡＥ／ＷＢ制御を行う。一方、信号処理部１３に入力されたフレーム２の画像データに対して上記フレーム１期間と同じ処理が施されるが、フレーム２のＲＡＷ圧縮方式で圧縮されたデータはメモリ空間Ａと異なるメモリ空間Ａ’に、映像データはメモリ空間Ｂと異なるメモリ空間Ｂ’に記憶される。フレーム２期間のメモリ空間の例を図４（ｂ）に示す。

例えば、フレーム１およびフレーム１１の撮影画像として図６Ａ、図６Ｂに示す撮影画像が取得された場合、フレーム１期間では図６（ａ）のＲＡＷ圧縮方式で圧縮されたデータと映像データが、フレーム１１期間では図６（ｂ）のＲＡＷ圧縮方式で圧縮されたデータと映像データがメモリ１５に記憶される。図６（ａ）の映像データから顔の位置を検出した結果がｘで示されている点線で囲まれた領域であり、ＡＦ／ＡＥ／ＷＢ制御は図６（ａ）のｘ領域のＲＡＷ圧縮方式で圧縮されたデータから検出したＡＦ／ＡＥ／ＷＢ評価値を基に行われる。

（３）フレーム１２期間以降
フレーム１２期間以降は、上記フレーム２〜１１期間と同じ処理が行われるが、メモリ１５の書き込み／読み出しのメモリ空間はフレーム毎に交互に異なる。すなわち、フレーム３期間では、上記ステップＳ１０２およびＳ１０４におけるメモリ１５への書き込みはメモリ空間Ａおよびメモリ空間Ｂに行われ、上記ステップＳ１０５の顔領域判定におけるメモリ１５からの読み出しはメモリ空間Ｂ’およびメモリ空間Ａ’から行われる。フレーム２２期間終了後におけるメモリ空間の例を図４（ｃ）に示す。

（４）静止画撮影時
モニタリング動作中に得られたＡＥ評価値をメモリ１５に記憶しておけば、モニタリング動作の後に行われる静止画撮影時にも、そのＡＥ評価値を用いて信号処理部１３におけるガンマ処理、補間処理、マトリクス変換等のパラメータを設定することが可能である。

以上説明したとおり、上記実施形態によれば、フレーム１の画像に対して顔領域検出を開始してから完了するまでの間にフレーム２〜１０期間の新たな画像データが得られているにもかかわらず、フレーム１１期間にて顔領域検出結果が得られると記憶したフレーム１の画像を用いてＡＦ／ＡＥ／ＷＢ評価値検出を行う。つまり、顔領域検出とＡＦ／ＡＥ／ＷＢ評価値検出とが同一フレームに対して行われ、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することが可能となる。
（第２の実施形態）
図７は、本発明の撮影装置の第２の実施形態の機能ブロック図である。

図７において、１０はレンズや絞り等からなる結像光学部であり、フォーカス調節や露出調節を行う。１１は光学像を電気信号に変換するＣＣＤ等の撮像素子、１２は撮像素子１１からのアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換回路、１３はＡ／Ｄ変換回路１２から出力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する信号処理部、１４はメモリ（ＤＲＡＭ）１５との間で映像データや各種制御データの書き込み／読み出しを行うメモリＩ／Ｆ、１６は映像データから人物の顔の領域を判定する顔領域判定部、１７はＡＦ／ＡＥ／ＷＢ評価値を検出するＡＦ／ＡＥ／ＷＢ検出部である。１８は各種制御を司るＣＰＵであり、ＡＦ／ＡＥ／ＷＢ検出部１７からの評価値に基づいて結像光学部を制御し、また、信号処理部１３での信号処理のパラメータ設定を行う。１９は表示部であり、信号処理部１３にて作成された映像データを随時表示し、使用者がリアルタイムで被写体の様子を観察できるようにするための液晶モニター等からなる表示部である。

以下、本発明の第２の実施形態における撮影装置の動作を図８に示すフローチャートに従って説明する。

デジタルスチルカメラでは撮影の前に表示部１９でこれから撮影をしようとする画像のモニタリングを行っており、本実施形態ではモニタリング動作中に人物の顔の位置およびＡＦ／ＡＥ／ＷＢ評価値を抽出するものとする。

ステップＳ２０１では、モニタリングしている画像に対して顔検出を行う顔検出モードが設定されると、結像光学部１０に入射した光は撮像素子１１の受光面に結像し、撮像素子１１からアナログ画像信号として出力される。アナログ画像信号はＡ／Ｄ変換回路１２でデジタル画像データに変換され、信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力される。なお、ここでは顔検出モードの設定されると信号処理部１３へ信号の入力が開始されているが、レリーズボタンが半押し（ＳＷ１）されると、信号処理部１３へ信号の入力を開始してもよい。

ステップＳ２０２では、ＡＦ／ＡＥ／ＷＢ検出部は、顔検出モード設定後の最初に入力された画像データからＡＦ／ＡＥ／ＷＢ評価値を検出する。
ステップＳ２０３において、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５の予め決められたメモリ空間（メモリ空間Ａ）にＡＦ／ＡＥ／ＷＢ評価値の積分値を記憶する。

ここで、画面全体を例えば縦横１６分割の２５６ブロックに分割し、それぞれのブロック内のＡＦ／ＡＥ／ＷＢ評価値の積分値をメモリ１５に記憶する。こうすることで、第１の実施形態においてＲＡＷ圧縮方式で圧縮されたデータをメモリ１５に記憶した場合よりも、メモリ１５に記憶するデータ量を削減することができる。また、ＡＦ評価値は、画像データにハイパスフィルタもしくはバンドパスフィルタを施すことにより得られ、特定の範囲の周波数成分のみを含む。従って、ＡＦ評価値を低域成分に周波数変換してデシメート（データ間引き）することにより、メモリ１５に記憶するデータ量を削減することができる。

ステップＳ２０４では、信号処理部１３は、入力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する。

ステップＳ２０５では、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５のメモリ空間Ａとは異なる予め決められたメモリ空間（メモリ空間Ｂ）にステップＳ２０４で作成された映像データを記憶する。ステップＳ１０２にて記憶された画像データと、ステップＳ１０３にて作成された映像データとは、Ａ／Ｄ変換回路１２から出力された同一の画像データを基にしていることになる。

ステップＳ２０６では、顔領域判定部１６は、ステップＳ２０５においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データを用いて人物の顔の領域を検出する。人物の顔領域の検出方法としては、主成分分析による固有顔（eigenface）を用いた方法（M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.）や、特開平０９−２５１５３４号公報では、目、鼻、口等の特徴点を利用した方法が提案されており、適用可能である。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング法により入力画像が人物の顔であるかどうかを判定している。

本実施形態では、予めメモリ１５のメモリ空間Ｃに記憶してある人物の顔の標準パターンと、ステップＳ２０５においてメモリ空間Ｂに記憶された映像データとの間でパターンマッチングを行う。そしてこのパターンマッチングを行っている間に、使用者が被写体をモニタリングできるように表示部１９は、顔検出モード設定後の最初に得られた１フレーム後に新たに得られた映像データを随時表示する。

ステップＳ２０７では、ＣＰＵ１８は、ステップＳ２０６において検出された人物の顔領域の情報に基づいて、ＡＦ評価値を検出する領域（ＡＦ領域）およびＡＥ評価値を検出する領域（ＡＥ領域）を設定する。ステップＳ２０６において人物の顔が存在しないと判定された場合には、通常の方法でＡＦ／ＡＥ／ＷＢ領域を設定する。

次に、ステップＳ２０８では、ＣＰＵ１８は、ステップＳ２０３においてメモリ空間Ａに記憶されたＡＦ／ＡＥ／ＷＢ評価値の内、ステップＳ２０７において設定したＡＦ／ＡＥ／ＷＢ領域に含まれる領域（既に述べた分割された２５６ブロックのうちの１つ又は複数）のＡＦ／ＡＥ／ＷＢ評価値を読み出す。

ステップＳ２０９では、ＣＰＵ１８は、ＡＦ／ＡＥ／ＷＢ調整量を求め、結像光学部１０を制御する。また、ステップＳ２０８において得られたＡＥ評価値に基づいて、信号処理部１３での信号処理のパラメータ設定を行う。

上述したようにデジタルスチルカメラのモニタリング動作中には、連続してフレーム画像がＡ／Ｄ変換回路１２から出力されるので、上記ステップＳ２０６からステップＳ２０９の処理が行われている最中にも、次のフレーム画像が信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力されている。顔領域検出の対象となるフレーム１の画像に対してＡＦ／ＡＥ／ＷＢ評価値検出を行うため、フレーム毎にメモリ空間を切り替えて上記ステップＳ２０２からステップＳ２０８の処理を行う。この様子を図９のタイミングチャートおよび図１０（ａ）、（ｂ）、（ｃ）のメモリ空間図に従って説明する。

フレーム画像に対して信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力された順番にフレーム１、フレーム２、フレーム３、…と番号を付け、また、フレーム１の画像データが入力されている期間をフレーム１期間、同様にフレーム２期間、フレーム３期間、…と名付ける。ここでは、人物の顔の位置を検出するのに１０フレーム期間かかるものとする。

図９のタイミングチャートは、垂直同期信号で区切られたフレーム１期間からフレーム１２期間における、上記ステップＳ２０１からＳ２０９までの処理が行われるタイミングと、それぞれのステップで処理するフレーム番号を示している。図９において、画像データ入力はステップＳ２０１、ＡＦ／ＡＥ／ＷＢ評価値検出および記憶はステップＳ２０２とステップＳ２０３、映像データ記憶はステップＳ２０５、顔領域判定はステップＳ２０６、ＡＦ／ＡＥ／ＷＢ評価値読み出しはステップＳ２０８、ＡＦ／ＡＥ／ＷＢ制御はステップＳ２０９に相当する。

（１）フレーム１期間
フレーム１の画像データに対して、ＡＦ／ＡＥ／ＷＢ検出部１７では上記ステップＳ２０２およびステップＳ２０３の処理が、信号処理部１３では上記ステップＳ２０５の処理が並行して行われ、フレーム１のＡＦ／ＡＥ／ＷＢ評価値はメモリ空間Ａに、映像データはメモリ空間Ｂに記憶される。フレーム１期間のメモリ空間の例を図１０（ａ）に示す。メモリ空間Ｃには、顔領域判定の際に用いられる顔の標準パターンが予め記憶されているものとする。

（２）フレーム２〜１１期間
ステップＳ２０６の顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データを読み出して、メモリ空間Ｃに記憶されている標準パターンとのパターンマッチングによる顔領域判定を行う。フレーム２〜１１期間においても信号処理部１３にＡ／Ｄ変換回路１２から出力された画像データは入力され続け、表示部１９がこのフレーム２〜１１期間にて得られた画像データを基にした映像データを用いて表示動作を行うが、顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データに対して行われる。

ステップＳ２０７ではＣＰＵ１８は、顔領域判定が完了するとステップＳ２０６にて記録された顔領域判定の対象となるフレーム１のデータに対して、ＡＦ／ＡＥ／ＷＢ領域の設定を行う。

ステップＳ２０８では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ２０７にてＡＦ/ＡＥ／ＷＢ領域に設定されたフレーム１のＡＦ／ＡＥ／ＷＢ評価値をメモリ１５から読み出す。なお、ＡＦ評価値に関しては、１フレーム分の画像から求めることはできない為、ステップＳ２０７にてＡＦ／ＡＥ／ＷＢ領域に設定されたフレーム１から数フレーム後までのフレームも加味して評価値の検出を行う。
そして、ステップＳ２０９では、ＣＰＵ１８は、ステップＳ２０８にて読み出された評価値に基づきＡＦ／ＡＥ／ＷＢ制御を行う。

一方、フレーム２の画像データに対して上記フレーム１期間と同じ処理が施されるが、フレーム２のＡＦ／ＡＥ／ＷＢ評価値はメモリ空間Ａと異なるメモリ空間Ａ’に、映像データはメモリ空間Ｂと異なるメモリ空間Ｂ’に記憶される。フレーム２期間のメモリ空間の例を図１０（ｂ）に示す。

例えば、フレーム１およびフレーム１１の撮影画像として図６Ａ、Ｂに示す撮影画像が取得された場合、フレーム１期間では図６（ａ）のＡＦ／ＡＥ／ＷＢ評価値と映像データが、フレーム１１期間では図６（ｂ）のＡＦ／ＡＥ／ＷＢ評価値と映像データがメモリ１５に記憶される。図６（ａ）の映像データから顔の位置を検出した結果がｘで示されている点線で囲まれた領域であり、ＡＦ／ＡＥ／ＷＢ制御は図６（ａ）のｘ領域から得られたＡＦ／ＡＥ／ＷＢ評価値をメモリ１５から読み出して行われる。

（３）フレーム１２期間以降
フレーム１２期間以降は、上記フレーム２〜１１期間と同じ処理が行われるが、メモリ１５の書き込み／読み出しのメモリ空間はフレーム毎に異なる。すなわち、フレーム３期間では、上記ステップＳ２０３およびＳ２０５におけるメモリ１５への書き込みはメモリ空間Ａおよびメモリ空間Ｂに行われ、上記ステップＳ２０６の顔領域判定におけるメモリ１５からの読み出しはメモリ空間Ｂ’およびメモリ空間Ａ’から行われる。フレーム２２期間終了後におけるメモリ空間の例を図１０（ｃ）に示す。

（４）静止画撮影時
モニタリング動作中に得られたＡＥ評価値をメモリ１５に記憶しておけば、モニタリング動作の後に行われる静止画撮影時にも、そのＡＥ評価値を用いて信号処理部１３におけるガンマ処理、補間処理、マトリクス変換等のパラメータを設定することが可能である。

以上説明したとおり、上記の実施形態によれば、フレーム１の画像に対して顔領域検出を開始してから完了するまでの間にフレーム２〜１０期間の新たな画像データが得られているにもかかわらず、フレーム１１期間にて顔領域検出結果が得られると記憶したフレーム１の画像からＡＦ／ＡＥ／ＷＢ評価値を読み出す。つまり、顔領域検出とＡＦ／ＡＥ／ＷＢ評価値検出とが同一フレームに対して行われ、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することが可能となる。

（第３の実施形態）
本実施形態は第１の実施形態ではフレーム１の画像に対してＡＦ／ＡＥ／ＷＢ評価値検出領域を行っているのに対して、顔領域検出の対象となるフレームの画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出を行う点が、第１の実施形態と異なる。

撮像装置の構成については第１の実施形態と同様なので説明は省略する。

以下、本発明の第３の実施形態の撮影装置の動作を図１１に示すフローチャートに従って説明する。

デジタルスチルカメラでは撮影の前に表示部１９でこれから撮影をしようとする画像のモニタリングを行っており、本実施形態ではモニタリング動作中に人物の顔の位置およびＡＦ／ＡＥ／ＷＢ評価値を抽出するものとする。

ステップＳ３０１では、モニタリングしている画像に対して顔検出を行う顔検出モードが設定されると、結像光学部１０に入射した光は撮像素子１１の受光面に結像し、撮像素子１１からアナログ画像信号として出力される。アナログ画像信号はＡ／Ｄ変換回路１２でデジタル画像データに変換され、信号処理部１３に入力される。なお、ここでは顔検出モードの設定されると信号処理部１３へ信号の入力が開始されているが、レリーズボタンが半押し（ＳＷ１）されると、信号処理部１３へ信号の入力を開始してもよい。

信号処理部１３では、ステップＳ３０２とステップＳ３０３の２つの処理が並行して行われる。ステップＳ３０２では、入力された画像データをそのまま（ＲＡＷ圧縮方式で圧縮されたデータ）の状態でメモリＩ／Ｆ１４を通じてメモリ１５の予め決められたメモリ空間（メモリ空間Ａ）に記憶する。一方、ステップＳ３０３では、入力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する。

ステップＳ３０４では、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５のメモリ空間Ａとは異なる予め決められたメモリ空間（メモリ空間Ｂ）にステップＳ３０３にて作成された映像データを記憶する。ステップＳ１０２にて記憶された画像データと、ステップＳ１０３にて作成された映像データとは、Ａ／Ｄ変換回路１２から出力された同一の画像データを基にしていることになる。

ステップＳ３０５では、顔領域判定部１６は、ステップＳ３０４においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データを用いて人物の顔の領域を検出する。

人物の顔領域の検出方法としては、主成分分析による固有顔（eigenface）を用いた方法（M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.）や、特開平０９−２５１５３４号公報では、目、鼻、口等の特徴点を利用した方法が提案されており、適用可能である。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング法により入力画像が人物の顔であるかどうかを判定している。

本実施形態では、予めメモリ１５のメモリ空間Ｃに記憶されている人物の顔の標準パターンと、ステップＳ３０４においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データとの間でパターンマッチングを行う。そしてこのパターンマッチングを行っている間に、使用者が被写体をモニタリングできるように表示部１９は、顔検出モード設定後の最初に得られた１フレーム後に新たに得られた映像データを随時表示する。

ステップＳ３０６では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ３０５において検出された人物の顔領域の情報に基づいて、ＡＦ（オートフォーカス）評価値を検出する領域（ＡＦ領域）およびＡＥ（自動露出）評価値を検出する領域（ＡＥ領域）を設定する。ステップＳ３０５において人物の顔が存在しないと判定された場合には、通常の方法でＡＦ／ＡＥ／ＷＢ領域を設定する。なお、ＡＦ／ＡＥ／ＷＢ領域の設定は、ＣＰＵ１８で行っても構わない。

ステップＳ３０７では、ステップＳ３０２においてメモリ空間Ａに記憶された１フレーム期間以降のＲＡＷ圧縮方式で圧縮されたデータの内、顔領域検出の対象となるフレーム１の画像に対しての変化量が所定内である最新の画像データに対して、ステップＳ３０６において設定したＡＦ／ＡＥ／ＷＢ領域に含まれるＲＡＷ圧縮方式で圧縮されたデータをＡＦ／ＡＥ／ＷＢ検出部１７に読み出し、ＡＦ／ＡＥ／ＷＢ評価値を検出する。なお、ＲＡＷ圧縮方式で圧縮されたデータには、輝度情報だけでなく色情報も含まれる。

ステップＳ３０８では、ＣＰＵ１８は、ステップＳ３０７において得られたＡＦ／ＡＥ／ＷＢ評価値に基づいてＡＦ／ＡＥ／ＷＢ調整量を求め、結像光学部１０を制御する。また、ステップＳ３０７において得られたＡＥ評価値を基に、信号処理部１３での信号処理のパラメータ設定を行う。

上述したようにデジタルスチルカメラのモニタリング動作中には、連続してフレーム画像がＡ／Ｄ変換回路１２から出力されるので、上記ステップＳ３０５からステップＳ３０８の処理が行われている最中にも、次のフレーム画像が信号処理部１３に入力されている。顔領域検出の対象となるフレーム１の画像に対しての変化量が所定内の撮影画像に基づき顔領域判定とＡＦ／ＡＥ／ＷＢ評価値検出を行うため、フレーム毎にメモリ空間を切り替えて上記ステップＳ３０２からステップＳ３０７の処理を行う。この様子を図１２のタイミングチャートおよび図１３のメモリ空間図に従って説明する。

フレーム画像に対して信号処理部１３に入力された順番にフレーム１、フレーム２、フレーム３、…と番号を付け、また、フレーム１の画像データが入力されている期間をフレーム１期間、同様にフレーム２期間、フレーム３期間、…と名付ける。ここでは、人物の顔の位置を検出するのに１０フレーム期間かかるものとする。

図１２のタイミングチャートは、垂直同期信号で区切られたフレーム１期間からフレーム１２期間における、上記ステップＳ３０１からＳ３０８までの処理が行われるタイミングと、それぞれのステップで処理するフレーム番号を示している。図１２において、画像データ入力はステップＳ３０１、ＲＡＷ圧縮方式で圧縮されたデータ記憶はステップＳ３０２、映像データ記憶はステップＳ３０４、顔領域判定はステップＳ３０５、ＡＦ／ＡＥ／ＷＢ評価値検出はステップＳ３０７、ＡＦ／ＡＥ／ＷＢ制御はステップＳ３０８に相当する。

（１）フレーム１期間
信号処理部１３に入力されたフレーム１の画像データに対して、上記ステップＳ３０２とステップＳ３０４の２つの処理が並行して行われ、フレーム１の圧縮方式で圧縮されたデータはメモリ空間Ａに、映像データはメモリ空間Ｂに記憶される。フレーム１期間のメモリ空間の例を図４（ａ）に示す。メモリ空間Ｃには、顔領域判定の際に用いられる顔の標準パターンが予め記憶されているものとする。

（２）フレーム２〜１１期間
ステップＳ３０５の顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データを読み出して、メモリ空間Ｃに記憶されている標準パターンとのパターンマッチングによる顔領域判定を行う。フレーム２〜１１期間においても信号処理部１３にＡ／Ｄ変換回路１２から出力された画像データは入力され続け、表示部１９がこのフレーム２〜１１期間にて得られた画像データを基にした映像データを用いて表示動作を行うが、顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データに対して行われる。フレーム２〜１１の画像データに対しても、上記フレーム１期間と同じ処理が施され、フレーム２〜１１のＲＡＷ圧縮方式で圧縮されたデータはメモリ空間Ａと異なるメモリ空間に、映像データはメモリ空間Ｂと異なるメモリ空間に順次記憶される。フレーム１１期間終了後のメモリ空間の例を図１３（ｂ）に示す。図１３（ｂ）のメモリ空間Ａ’にはフレーム１１のＲＡＷ圧縮方式で圧縮されたデータ、メモリ空間Ｂ’にはフレーム１１の映像データが記憶されている。

ステップＳ３０６ではＣＰＵ１８は、ステップＳ３０５にて記録された顔領域判定の対象となるフレーム１の画像とフレーム２〜１１の画像との相関を求める。そして、求められた相関値に基づきフレーム間の変化が許容内であるかどうかの判定を行い、変化が許容内であればシーンが変化していないとして、変化が許容内のフレームで且つ最新のフレームの画像に対して、ＡＦ／ＡＥ／ＷＢ領域を設定する。

ステップＳ３０７では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ３０６にてＡＦ／ＡＥ／ＷＢ領域に設定されたフレームに対応するフレームのＲＡＷ圧縮方式で圧縮されたデータをメモリ空間Ａから読み出してＡＦ／ＡＥ／ＷＢ評価値を検出を行う。なお、ＡＦ評価値に関しては、１フレーム分の画像から求めることはできない為、ステップＳ３０６にてＡＦ／ＡＥ領域に設定されたフレームを基準に前後のフレームも加味して評価値の検出を行う。なお、評価値の検出が完了すれば、ＣＰＵ１８は、フレーム１からフレーム１１までの記憶されていたデータを消去する。
そして、ステップＳ３０８では、ＣＰＵ１８は、ステップＳ３０７にて求められた評価値に基づきＡＦ／ＡＥ／ＷＢ制御を行う。一方、信号処理部１３に入力されたフレーム２の画像データに対して上記フレーム１期間と同じ処理が施されるが、フレーム２のＲＡＷ圧縮方式で圧縮されたデータはメモリ空間Ａと異なるメモリ空間Ａ’に、映像データはメモリ空間Ｂと異なるメモリ空間Ｂ’に記憶される。フレーム２期間のメモリ空間の例を図１３（ｂ）に示す。

例えば、フレーム１およびフレーム１１の撮影画像として図６（ａ）、図６（ｂ）に示す撮影画像が取得された場合、フレーム１期間では図６（ａ）のＲＡＷ圧縮方式で圧縮されたデータと映像データが、フレーム１１期間では図６（ｂ）のＲＡＷ圧縮方式で圧縮されたデータと映像データがメモリ１５に記憶される。図６（ａ）の映像データから顔の位置を検出した結果がｘで示されている点線で囲まれた領域であり、ＡＦ／ＡＥ／ＷＢ制御は図６（ａ）のｘ領域のＲＡＷ圧縮方式で圧縮されたデータから検出したＡＦ／ＡＥ／ＷＢ評価値を基に行われる。

（３）フレーム１２期間以降
フレーム１２期間以降は、上記フレーム２〜１１期間と同じ処理が行われるが、メモリ１５の書き込み／読み出しのメモリ空間はフレーム毎に交互に異なる。すなわち、フレーム３期間では、上記ステップＳ３０２およびＳ３０４におけるメモリ１５への書き込みはメモリ空間Ａおよびメモリ空間Ｂに行われ、上記ステップＳ３０５の顔領域判定におけるメモリ１５からの読み出しはメモリ空間Ｂ’およびメモリ空間Ａ’から行われる。フレーム２２期間終了後におけるメモリ空間の例を図１３（ｃ）に示す。

（４）静止画撮影時
モニタリング動作中に得られたＡＥ評価値をメモリ１５に記憶しておけば、モニタリング動作の後に行われる静止画撮影時にも、そのＡＥ評価値を用いて信号処理部１３におけるガンマ処理、補間処理、マトリクス変換等のパラメータを設定することが可能である。
なお、本実施形態において、シーンの変化が許容内のフレームで且つ最新のフレームの画像に対して、ＡＦ／ＡＥ／ＷＢ領域を設定するとしたが、シーンの変化が許容内のフレームの画像であるならば、どの画像を領域設定の際に使用する画像としても良い。
また、シーンの変化が許容内のフレームの画像の中で最もシーンの変化が少ない（評価の高い）フレームの画像に対してＡＦ／ＡＥ／ＷＢ領域を設定してもよい。

また、シーンの変化が許容内のフレームの画像がない場合は、例えば、通常の評価測光を行い、ＡＦ／ＡＥ／ＷＢ領域を設定しＡＦ／ＡＥ／ＷＢ制御を行う。

以上説明したとおり、上記実施形態によれば、顔領域検出の対象となるフレームの画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出とを行うことができるため、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することが可能となる。
また、時間的に最も新しいフレームの画像にてＡＦ／ＡＥ／ＷＢ評価値検出を行うことで構図自体は変わっていなくても、時間の変化からシーン全体の明るさ等が変わった時にも正確な露出制御を行うことが可能である。

（第４の実施形態）
本実施形態は第２の実施形態ではフレーム１のデータに対してＡＦ／ＡＥ／ＷＢ評価値検出領域を行っているのに対して、顔領域検出の対象となるフレームの画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出を行う点が、第２の実施形態と異なる。

撮像装置の構成については第２の実施形態と同様なので説明は省略する。

以下、本発明の第４の実施形態の撮影装置の動作を図１４に示すフローチャートに従って説明する。

デジタルスチルカメラでは撮影の前に表示部１９でこれから撮影をしようとする画像のモニタリングを行っており、本実施形態ではモニタリング動作中に人物の顔の位置およびＡＦ／ＡＥ／ＷＢ評価値を抽出するものとする。

ステップＳ４０１では、モニタリングしている画像に対して顔検出を行う顔検出モードが設定されると、結像光学部１０に入射した光は撮像素子１１の受光面に結像し、撮像素子１１からアナログ画像信号として出力される。アナログ画像信号はＡ／Ｄ変換回路１２でデジタル画像データに変換され、信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力される。なお、ここでは顔検出モードの設定されると信号処理部１３へ信号の入力が開始されているが、レリーズボタンが半押し（ＳＷ１）されると、信号処理部１３へ信号の入力を開始してもよい。

ステップＳ４０２では、ＡＦ／ＡＥ／ＷＢ検出部は、随時入力された画像データからＡＦ／ＡＥ／ＷＢ評価値を検出する。
ステップＳ４０３において、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５の予め決められたメモリ空間（メモリ空間Ａ）にＡＦ／ＡＥ／ＷＢ評価値の積分値を記憶する。

ここで、画面全体を例えば縦横１６分割の２５６ブロックに分割し、それぞれのブロック内のＡＦ／ＡＥ／ＷＢ評価値の積分値をメモリ１５に記憶する。こうすることで、第３の実施形態においてＲＡＷ圧縮方式で圧縮されたデータをメモリ１５に記憶した場合よりも、メモリ１５に記憶するデータ量を削減することができる。また、ＡＦ評価値は、画像データにハイパスフィルタもしくはバンドパスフィルタを施すことにより得られ、特定の範囲の周波数成分のみを含む。従って、ＡＦ評価値を低域成分に周波数変換してデシメート（データ間引き）することにより、メモリ１５に記憶するデータ量を削減することができる。

ステップＳ４０４では、信号処理部１３は、入力された画像データにガンマ処理、補間処理、マトリクス変換等を施して映像データを作成する。

ステップＳ４０５では、ＣＰＵ１８は、メモリＩ／Ｆ１４を通じてメモリ１５のメモリ空間Ａとは異なる予め決められたメモリ空間（メモリ空間Ｂ）にステップＳ４０４で作成された映像データを記憶する。ステップＳ１０２にて記憶された画像データと、ステップＳ１０３にて作成された映像データとは、Ａ／Ｄ変換回路１２から出力された同一の画像データを基にしていることになる。

ステップＳ４０６では、顔領域判定部１６は、ステップＳ４０５においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データを用いて人物の顔の領域を検出する。人物の顔領域の検出方法としては、主成分分析による固有顔（eigenface）を用いた方法（M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.）や、特開平０９−２５１５３４号公報では、目、鼻、口等の特徴点を利用した方法が提案されており、適用可能である。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング法により入力画像が人物の顔であるかどうかを判定している。

本実施形態では、予めメモリ１５のメモリ空間Ｃに記憶してある人物の顔の標準パターンと、ステップＳ４０５においてメモリ空間Ｂに記憶された顔検出モード設定後の最初の１フレーム分の映像データとの間でパターンマッチングを行う。そしてこのパターンマッチングを行っている間に、使用者が被写体をモニタリングできるように表示部１９は、顔検出モード設定後の最初に得られた１フレーム後に新たに得られた映像データを随時表示する。

ステップＳ４０７では、ＣＰＵ１８は、ステップＳ４０６において検出された人物の顔領域の情報に基づいて、ＡＦ評価値を検出する領域（ＡＦ領域）およびＡＥ評価値を検出する領域（ＡＥ領域）を設定する。ステップＳ４０６において人物の顔が存在しないと判定された場合には、通常の方法でＡＦ／ＡＥ／ＷＢ領域を設定する。

次に、ステップＳ４０８では、ＣＰＵ１８は、ステップＳ４０３においてメモリ空間Ａに記憶された１フレーム期間以降の画像データの内、顔領域検出の対象となるフレーム１の画像に対しての変化量が所定内である最新の画像データを選択する。そしてこの選択された画像データのＡＦ／ＡＥ／ＷＢ評価値の内、ステップＳ４０７において設定したＡＦ／ＡＥ／ＷＢ領域に含まれる領域（既に述べた分割された２５６ブロックのうちの１つ又は複数）のＡＦ／ＡＥ／ＷＢ評価値を読み出す。

ステップＳ４０９では、ＣＰＵ１８は、ＡＦ／ＡＥ／ＷＢ調整量を求め、結像光学部１０を制御する。また、ステップＳ４０８において得られたＡＥ評価値に基づいて、信号処理部１３での信号処理のパラメータ設定を行う。

上述したようにデジタルスチルカメラのモニタリング動作中には、連続してフレーム画像がＡ／Ｄ変換回路１２から出力されるので、上記ステップＳ４０６からステップＳ４０９の処理が行われている最中にも、次のフレーム画像が信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力されている。顔領域検出の対象となるフレーム１の画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出を行うため、フレーム毎にメモリ空間を切り替えて上記ステップＳ４０２からステップＳ４０８の処理を行う。この様子を図１５のタイミングチャートおよび図１６（ａ）、（ｂ）、（ｃ）のメモリ空間図に従って説明する。

フレーム画像に対して信号処理部１３およびＡＦ／ＡＥ／ＷＢ検出部１７に入力された順番にフレーム１、フレーム２、フレーム３、…と番号を付け、また、フレーム１の画像データが入力されている期間をフレーム１期間、同様にフレーム２期間、フレーム３期間、…と名付ける。ここでは、人物の顔の位置を検出するのに１０フレーム期間かかるものとする。

図１５のタイミングチャートは、垂直同期信号で区切られたフレーム１期間からフレーム１２期間における、上記ステップＳ４０１からＳ４０９までの処理が行われるタイミングと、それぞれのステップで処理するフレーム番号を示している。図１５において、画像データ入力はステップＳ４０１、ＡＦ／ＡＥ／ＷＢ評価値検出および記憶はステップＳ４０２とステップＳ４０３、映像データ記憶はステップＳ４０５、顔領域判定はステップＳ４０６、ＡＦ／ＡＥ／ＷＢ評価値読み出しはステップＳ４０８、ＡＦ／ＡＥ／ＷＢ制御はステップＳ４０９に相当する。

（１）フレーム１期間
フレーム１の画像データに対して、ＡＦ／ＡＥ／ＷＢ検出部１７では上記ステップＳ４０２およびステップＳ４０３の処理が、信号処理部１３では上記ステップＳ４０５の処理が並行して行われ、フレーム１のＡＦ／ＡＥ／ＷＢ評価値はメモリ空間Ａに、映像データはメモリ空間Ｂに記憶される。フレーム１期間のメモリ空間の例を図１０（ａ）に示す。メモリ空間Ｃには、顔領域判定の際に用いられる顔の標準パターンが予め記憶されているものとする。

（２）フレーム２〜１１期間
ステップＳ４０６の顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データを読み出して、メモリ空間Ｃに記憶されている標準パターンとのパターンマッチングによる顔領域判定を行う。フレーム２〜１１期間においても信号処理部１３にＡ／Ｄ変換回路１２から出力された画像データは入力され続け、表示部１９がこのフレーム２〜１１期間にて得られた画像データを基にした映像データを用いて表示動作を行うが、顔領域判定は、メモリ空間Ｂに記憶されているフレーム１の映像データに対して行われる。フレーム２〜１１の画像データに対しても、上記フレーム１期間と同じ処理が施され、フレーム２〜１１のＡＦ／ＡＥ／ＷＢ評価値はメモリ空間Ａと異なるメモリ空間に、映像データはメモリ空間Ｂと異なるメモリ空間に順次記憶される。フレーム１１期間終了後のメモリ空間の例を図１６（ｂ）に示す。図１６（ｂ）のメモリ空間Ａ’にはフレーム１１のＡＦ／ＡＥ／ＷＢ評価値、メモリ空間Ｂ’にはフレーム１１の映像データが記憶されている。

ステップＳ４０７ではＣＰＵ１８は、ステップＳ４０６にて記録された顔領域判定の対象となるフレーム１の画像とフレーム２〜１１の画像との相関を求める。そして、求められた相関値に基づきフレーム間の変化が許容内であるかどうかの判定を行い、変化が許容内であればシーンが変化していないとして、変化が許容内のフレームで且つ最新のフレームのデータに対して、ＡＦ／ＡＥ／ＷＢ領域の設定を行う。

ステップＳ４０８では、ＡＦ／ＡＥ／ＷＢ検出部１７は、ステップＳ４０７にてＡＦ/ＡＥ／ＷＢ領域に設定されたフレームに対応するフレームの領域のＡＦ／ＡＥ／ＷＢ評価値をメモリ１５から読み出す。なお、ＡＦ評価値に関しては、１フレーム分の画像から求めることはできない為、ステップＳ４０７にてＡＦ／ＡＥ／ＷＢ領域に設定されたフレームを基準に前後の数フレームのデータを加味して評価値の検出を行う。なお、評価値の検出が完了すれば、ＣＰＵ１８は、フレーム１からフレーム１１までの記憶されていたデータを消去する。
そして、ステップＳ４０９では、ＣＰＵ１８は、ステップＳ４０８にて読み出された評価値に基づきＡＦ／ＡＥ／ＷＢ制御を行う。

一方、フレーム２の画像データに対して上記フレーム１期間と同じ処理が施されるが、フレーム２のＡＦ／ＡＥ／ＷＢ評価値はメモリ空間Ａと異なるメモリ空間Ａ’に、映像データはメモリ空間Ｂと異なるメモリ空間Ｂ’に記憶される。フレーム２期間のメモリ空間の例を図１６（ｂ）に示す。

例えば、フレーム１およびフレーム１１の撮影画像として図６（ａ）、（ｂ）に示す撮影画像が取得された場合、フレーム１期間では図６（ａ）のＡＦ／ＡＥ／ＷＢ評価値と映像データが、フレーム１１期間では図６（ｂ）のＡＦ／ＡＥ／ＷＢ評価値と映像データがメモリ１５に記憶される。図６（ａ）の映像データから顔の位置を検出した結果がｘで示されている点線で囲まれた領域であり、ＡＦ／ＡＥ／ＷＢ制御は図６（ａ）のｘ領域から得られたＡＦ／ＡＥ／ＷＢ評価値をメモリ１５から読み出して行われる。

（３）フレーム１２期間以降
フレーム１２期間以降は、上記フレーム２〜１１期間と同じ処理が行われるが、メモリ１５の書き込み／読み出しのメモリ空間はフレーム毎に異なる。すなわち、フレーム３期間では、上記ステップＳ４０３およびＳ４０５におけるメモリ１５への書き込みはメモリ空間Ａおよびメモリ空間Ｂに行われ、上記ステップＳ４０６の顔領域判定におけるメモリ１５からの読み出しはメモリ空間Ｂ’およびメモリ空間Ａ’から行われる。フレーム２２期間終了後におけるメモリ空間の例を図１０（ｃ）に示す。

（４）静止画撮影時
モニタリング動作中に得られたＡＥ評価値をメモリ１５に記憶しておけば、モニタリング動作の後に行われる静止画撮影時にも、そのＡＥ評価値を用いて信号処理部１３におけるガンマ処理、補間処理、マトリクス変換等のパラメータを設定することが可能である。

なお、本実施形態においても第１の実施形態と同様に、シーンの変化が許容内のフレームで且つ最新のフレームの画像に対して、ＡＦ／ＡＥ／ＷＢ領域を設定するとしたが、シーンの変化が許容内のフレームの画像であるならば、どの画像を領域設定の際に使用する画像としても良い。

また、シーンの変化が許容内のフレームの画像の中で最もシーンの変化が少ない（評価の高い）フレームの画像に対してＡＦ／ＡＥ／ＷＢ領域を設定してもよい。

また、シーンの変化が許容内のフレームの画像がない場合は、例えば、通常の評価測光を行い、ＡＦ／ＡＥ／ＷＢ領域を設定しＡＦ／ＡＥ／ＷＢ制御を行う。

以上説明したとおり、上記の実施形態によれば、顔領域検出の対象となるフレームの画像に対しての変化量が所定内の撮影画像に基づきＡＦ／ＡＥ／ＷＢ評価値検出とを行うことができるため、人物の顔への焦点調節と露出制御を従来よりも精度よく行い、人物の動きや手振れに強い撮影装置を提供することが可能となる。
また、時間的に最も新しいフレームのデータにてＡＦ／ＡＥ／ＷＢ評価値検出を行うことで構図自体は変わっていなくても、時間の変化からシーン全体の明るさ等が変わった時にも正確な露出制御を行うことが可能である。

（他の実施形態）
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の撮影装置の第１の実施形態の機能ブロック図である。 本発明の第１の実施形態における処理のフローチャートである。 本発明の第１の実施形態におけるタイミングチャートである。 本発明の第１の実施形態におけるメモリのメモリ空間を示す図である。 測距／測光領域と人物の位置関係を示す図である。 動いている人物の撮影画像を示す図である。 本発明の撮影装置の第２の実施形態の機能ブロック図である。 本発明の第２の実施形態における処理のフローチャートである。 本発明の第２の実施形態におけるタイミングチャートである。 本発明の第２の実施形態におけるメモリのメモリ空間を示す図である。 本発明の第３の実施形態における処理のフローチャートである。 本発明の第３の実施形態におけるタイミングチャートである。 本発明の第３の実施形態におけるメモリのメモリ空間を示す図である。 本発明の第４の実施形態における処理のフローチャートである。 本発明の第４の実施形態におけるタイミングチャートである。 本発明の第４の実施形態におけるメモリのメモリ空間を示す図である。

符号の説明

１０ 結像光学部
１１ 撮像素子
１２ Ａ／Ｄ変換回路
１３ 信号処理部
１４ メモリＩ／Ｆ
１５ メモリ
１６ 顔領域判定部
１７ ＡＦ／ＡＥ検出部
１８ ＣＰＵ

Claims (17)

1. 結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
   前記撮像手段から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換手段と、
   前記Ａ／Ｄ変換手段から出力された画像データを基に第１の画像データを生成する第１の画像データ生成手段と、
   前記画像データを基に前記第１の画像データとは異なる第２の画像データを生成する第２の画像データ生成手段と、
   前記第２の画像データから顔領域を検出する顔領域検出手段と、
   前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を逐次表示する表示手段と、
   前記顔領域検出手段が前記第２の画像データから顔領域の検出を完了すると、前記第１の画像データにおける、前記顔領域検出手段により検出された顔領域に対応する部分のデータを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出する抽出手段と、
   前記抽出手段によって抽出された前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御手段と、
   を具備することを特徴とする撮像装置。
2. 前記抽出手段は前記第１の画像データから、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを検出して記憶し、記憶した評価値の中から前記顔領域検出手段が前記第２の画像データから検出した前記顔領域の位置に対応した評価値を読み出すことを特徴とする請求項１に記載の撮像装置。
3. 結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
   前記撮像手段から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換手段と、
   前記Ａ／Ｄ変換手段から出力された画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出して記憶する抽出手段と、
   前記画像データを基に生成した画像データから顔領域を検出する顔領域検出手段と、
   前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を逐次表示する表示手段と、
   前記顔領域検出手段が顔領域の検出を完了すると、前記抽出手段が予め記憶した評価値のうち、前記顔領域検出手段により検出された前記顔領域に対応する部分の前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御手段と、
   を具備することを特徴とする撮像装置。
4. 結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
   前記撮像手段から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換手段と、
   前記Ａ／Ｄ変換手段から出力された画像データを基に複数の第１の画像データを生成する第１の画像データ生成手段と、
   前記画像データを基に第１の画像データとは異なる複数の第２の画像データを生成する第２の画像データ生成手段と、
   前記第２の画像データのいずれかから顔領域を検出する顔領域検出手段と、
   前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を逐次表示する表示手段と、
   前記顔領域検出手段が前記顔領域の検出を完了するまでに生成される前記複数の第２の画像データのうち、顔領域の検出の対象となった第２の画像データと比較してその変化量が所定量以内である第２の画像データと同一の画像データから生成された前記第１の画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出する抽出手段と、
   前記抽出手段によって抽出された前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御手段と、
   を具備することを特徴とする撮像装置。
5. 前記抽出手段は、前記顔領域検出手段が前記顔領域の検出を完了するまでに生成される前記複数の第２の画像データのうち、顔領域の検出の対象となった第２の画像データと比較してその変化量が所定量以内である第２の画像データと同一の画像データから生成された第１の画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための前記評価値のうちのいずれかを抽出することを特徴とする請求項４に記載の撮像装置。
6. 前記抽出手段は、前記顔領域検出手段が前記顔領域の検出を完了するまでに生成される前記複数の第２の画像データのうち、顔領域の検出の対象となった第２の画像データと比較して最も変化量が少ない第２の画像データと同一の画像データから生成された第１の画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための前記評価値のうちのいずれかを抽出することを特徴とする請求項４に記載の撮像装置。
7. 前記制御手段は、前記顔領域検出手段が前記顔領域の検出を完了するまでに生成される前記複数の第２の画像データのうち、顔領域を検出した第２の画像データと比較してその変化量が所定量以内である第２の画像データがない場合は、前記顔領域検出手段の検出結果を用いずに、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行うことを特徴とする請求項４に記載の撮像装置。
8. 結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像手段と、
   前記撮像手段から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換手段と、
   前記Ａ／Ｄ変換手段から出力された画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出して記憶する抽出手段と、
   前記画像データを基に生成した画像データから顔領域を検出する顔領域検出手段と、
   前記Ａ／Ｄ変換手段より出力された画像データに基づいて画像を逐次表示する表示手段と、
   前記顔領域検出手段が顔領域の検出を完了すると、前記顔領域検出手段が前記顔領域の検出を完了するまでに前記抽出手段が記憶した評価値のうち、顔領域の検出の対象となった画像データと比較してその変化量が所定量以内である画像データにおいて前記顔領域検出手段により検出された顔領域に対応する部分の前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御手段と、
   を具備することを特徴とする撮像装置。
9. 前記制御手段は、前記顔領域検出手段が前記顔領域の検出を完了するまでに前記抽出手段が記憶した評価値のうち、顔領域の検出の対象となった画像データと比較してその変化量が所定量以内である画像データのうちの最新の画像データにおいて前記顔領域検出手段により検出された顔領域に対応する部分の前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行うことを特徴とする請求項８に記載の撮像装置。
10. 前記制御手段は、前記顔領域検出手段が前記顔領域の検出を完了するまでに前記抽出手段が記憶した評価値のうち、顔領域の検出の対象となった画像データと比較してその変化量が最も少ない画像データにおいて前記顔領域検出手段により検出された顔領域に対応する部分の前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行うことを特徴とする請求項８に記載の撮像装置。
11. 前記制御手段は、前記顔領域検出手段が前記顔領域の検出を完了するまでに前記抽出手段が記憶した評価値のうち、顔領域の検出の対象となった画像データと比較してその変化量が所定量以内である画像データがない場合は、前記顔領域検出手段の検出結果を用いずに、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行うことを特徴とする請求項８に記載の撮像装置。
12. 前記第２の画像データは前記第１の画像データよりもデータ容量が小さいことを特徴とする請求項１、２、４、５、６および７のいずれか１項に記載の撮像装置。
13. 結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、
    前記撮像工程から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換工程と、
    前記Ａ／Ｄ変換工程から出力された画像データを基に第１の画像データを生成する第１の画像データ生成工程と、
    前記画像データを基に前記第１の画像データとは異なる第２の画像データを生成する第２の画像データ生成工程と、
    前記第２の画像データから顔領域を検出する顔領域検出工程と、
    前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を逐次表示する表示工程と、
    前記顔領域検出工程が前記第２の画像データから顔領域の検出を完了すると、前記第１の画像データにおける、前記顔領域検出工程により検出された顔領域に対応する部分のデータを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出する抽出工程と、
    前記抽出工程によって抽出された前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御工程と、
    を具備することを特徴とする撮像装置の制御方法。
14. 結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、
    前記撮像工程から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換工程と、
    前記Ａ／Ｄ変換工程から出力された画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出して記憶する抽出工程と、
    前記画像データを基に生成した画像データから顔領域を検出する顔領域検出工程と、
    前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を逐次表示する表示工程と、
    前記顔領域検出工程が顔領域の検出を完了すると、前記抽出工程が予め記憶した評価値のうち、前記顔領域検出工程により検出された前記顔領域に対応する部分の前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御工程と、
    を具備することを特徴とする撮像装置の制御方法。
15. 結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、
    前記撮像工程から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換工程と、
    前記Ａ／Ｄ変換工程から出力された画像データを基に複数の第１の画像データを生成する第１の画像データ生成工程と、
    前記画像データを基に第１の画像データとは異なる複数の第２の画像データを生成する第２の画像データ生成工程と、
    前記第２の画像データのいずれかから顔領域を検出する顔領域検出工程と、
    前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を逐次表示する表示工程と、
    前記顔領域検出工程が前記顔領域の検出を完了するまでに生成される前記複数の第２の画像データのうち、顔領域の検出の対象となった第２の画像データと比較してその変化量が所定量以内である第２の画像データと同一の画像データから生成された前記第１の画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための評価値のうちのいずれかを抽出する抽出工程と、
    前記抽出工程によって抽出された前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御工程と、
    を具備することを特徴とする撮像装置の制御方法。
16. 結像光学系により結像された被写体像を光電変換して画像信号を出力する撮像工程と、
    前記撮像工程から出力された画像信号をデジタル化して画像データを出力するＡ／Ｄ変換工程と、
    前記Ａ／Ｄ変換工程から出力された画像データを用いて、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のための撮影情報のうちのいずれかを抽出して記憶する抽出工程と、
    前記画像データを基に生成した画像データから顔領域を検出する顔領域検出工程と、
    前記Ａ／Ｄ変換工程より出力された画像データに基づいて画像を逐次表示する表示工程と、
    前記顔領域検出工程が顔領域の検出を完了すると、前記顔領域検出工程が前記顔領域の検出を完了するまでに前記抽出工程が記憶した評価値のうち、顔領域の検出の対象となった画像データと比較してその変化量が所定量以内である画像データにおいて前記顔領域検出工程により検出された顔領域に対応する部分の前記評価値に基づき、少なくともオートフォーカス制御、自動露出制御、及び、ホワイトバランス制御のうちのいずれかを行う制御工程と、
    を具備することを特徴とする撮像装置の制御方法。
17. 請求項１３乃至１６のいずれか１項に記載の制御方法をコンピュータに実行させるためのプログラム。

Images