JP4916355B2 - 絞り制御装置及び画像処理装置 - Google Patents

Description

本発明は、撮像装置における絞りを自動制御する絞り制御装置及び絞り制御方法に関する。また、本発明は、撮影画像に対する画像処理を行う画像処理装置及び画像処理方法に関する。また、本発明は、撮像装置に関する。

一般的に、カメラの光学系における絞りを絞るとピントの合う範囲が広がり、開放すると該範囲が狭くなる。被写体側の、ピントの合う範囲を被写界深度という。被写界深度の深さを利用した効果的な画像を得るための撮影方法として、近景にピントを合わせて遠景をぼかしたい場合は絞りを開放して（即ち絞り値を小さくして）被写界深度を浅くし（図１７（ａ）参照）、近景と遠景の両方にピントを合わせたい場合は絞りを絞って（即ち絞り値を大きくして）被写界深度を深くする（図１７（ｃ）参照）、という撮影方法がある。

カメラに対する知識の深いユーザは、このような撮影方法を用いて特殊な演出効果を得ることができる。しかしながら、上記の撮影方法は誰にでも容易に使えるものではなく、多くのユーザはそのような知識を有していないのが実情である。仮に、特別な操作を要することなく、上記のような特殊な演出効果を得ることができれば、撮影者の意図の沿った効果的な画像を提供することが可能となる。

尚、下記特許文献１には、顔検出結果を利用して絞り（被写界深度）を調整する技術が開示されている。

特開２００３−３４４８９１号公報 特開２００３−３１９２４２号公報

そこで本発明は、特別な操作を要することなく撮影者の意図に沿った画像の取得に寄与する絞り制御装置及び絞り制御方法、画像処理装置及び画像処理方法、並びに、撮像装置を提供することを目的とする。

本発明に係る絞り制御装置は、絞りを介した入射光を光電変換する撮像素子の出力信号に基づき、前記絞りの開度を調節する絞り制御装置において、前記撮像素子の出力信号に基づく撮影画像から顔を検出する顔検出手段を備え、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記開度を調節することを特徴とする。

撮影画像に含まれる顔の位置、大きさ又は向きを参照すれば、顔に対する撮影者の注目度合いを推定可能である。そこで、顔の位置、大きさ又は向きを参照して絞りの開度を調整する。これにより、撮影状況に応じて被写界深度が自動調整され、特別な操作を要することなく撮影者の意図に沿った画像を取得することが可能となる。

具体的には例えば、前記位置が前記撮影画像上の第１位置にあるときに前記開度が比較的大きくなり且つ前記位置が前記撮影画像上の第２位置にあるときに前記開度が比較的小さくなるように、前記開度を調節し、前記第１位置は、前記第２位置よりも、前記撮影画像の中心位置に近い。

また具体的には例えば、前記大きさが比較的大きいときに前記開度が比較的大きくなり且つ前記大きさが比較的小さいときに前記開度が比較的小さくなるように、前記開度を調節する。

また具体的には例えば、前記顔検出手段は、前記撮影画像に含まれる顔の前記向きが正面向きであるか横向きであるかを区別して検出可能であり、前記向きが正面向きであるときに前記開度が比較的大きくなり且つ前記向きが横向きであるときに前記開度が比較的小さくなるように、前記開度を調節する。

また例えば、前記顔検出手段は、前記撮影画像内で走査される判定領域内の画像と所定の基準顔画像との類似度を評価することによって、前記撮影画像から顔を検出し、当該絞り制御装置は、更に前記類似度をも考慮して前記開度を調節する。

そして例えば、前記類似度が比較的高いときに前記開度が比較的大きくなり且つ前記類似度が比較的低いときに前記開度が比較的小さくなるように、前記開度を調節する。

また、本発明に係る画像処理装置は、撮像素子の出力信号に基づく撮影画像から顔を検出して顔領域を抽出する顔検出手段と、前記撮影画像の一部領域内の画像をぼかすためのぼかし画像処理を実行可能なぼかし処理手段と、を備え、前記ぼかし処理手段は、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記ぼかし画像処理を実行するか否かを決定し、前記一部領域と前記顔領域が互いに重なり合わないように前記位置に基づいて前記一部領域は設定されることを特徴とする。

顔領域を含まない一部領域内の画像（通常、背景画像）をぼかすことにより、特殊な演出効果を得ることができる。一方、撮影画像に含まれる顔の位置、大きさ又は向きを参照すれば、顔に対する撮影者の注目度合いを推定可能であり、撮影者がそのような演出効果を望むか否かを推定可能である。そこで、顔の位置、大きさ又は向きを参照してぼかし画像処理の実行可否を決定する。これにより、特別な操作を要することなく撮影者の意図に沿った画像を取得することが可能となる。

また、本発明に係る撮像装置は、上記の何れかに記載の絞り制御装置、絞り及び撮像素子を備えている。

また、本発明に係る撮像装置は、上記の画像処理装置及び撮像素子を備えている。

また、本発明に係る絞り制御方法は、絞りを介した入射光を光電変換する撮像素子の出力信号に基づき、前記絞りの開度を調節する絞り制御方法において、前記撮像素子の出力信号に基づく撮影画像から顔を検出し、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記開度を調節することを特徴とする。

また、本発明に係る画像処理方法は、撮像素子の出力信号に基づく撮影画像から顔を検出して顔領域を抽出する顔検出ステップと、前記撮影画像の一部領域内の画像をぼかすためのぼかし画像処理を実行可能なぼかし処理ステップと、を備え、前記ぼかし処理ステップでは、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、向き、の内の少なくとも１つに基づいて前記ぼかし画像処理を実行するか否かを決定し、前記一部領域と前記顔領域が互いに重なり合わないように前記位置に基づいて前記一部領域は設定されることを特徴とする。

本発明によれば、特別な操作を要することなく撮影者の意図に沿った画像の取得に寄与する絞り制御装置及び絞り制御方法、画像処理装置及び画像処理方法、並びに、撮像装置を提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、静止画及び動画を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画のみを撮影可能なデジタルスチルカメラであってもよい。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

まず、撮像装置１及び撮像装置１を構成する各部位の、基本的な機能について説明する。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。

ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。

メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。

図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。

図２の撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。

ドライバ３４は、ＣＰＵ２３からのレンズ制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点距離を制御する。また、ドライバ３４は、ＣＰＵ２３からの絞り制御信号に基づいて絞り３２の開度を制御する。

絞り３２は、絞り３２の開口部の大きさを制御することによって撮像素子３３の受光量及び被写界深度を制御する開口絞りであり、絞り３２の開度とは、その開口部の大きさを表す。絞り３２の開度を表す値は「絞り値」と呼ばれる。絞り３２の開度が小さくなるに従って、絞り値は大きくなると共に撮像素子３３の受光量は減少し且つ被写界深度は深くなる。逆に、絞り３２の開度が大きくなるに従って、絞り値は小さくなると共に撮像素子３３の受光量は増加し且つ被写界深度は浅くなる。

被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２の開口部を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、映像信号処理部１３に出力する。

映像信号処理部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」又は「フレーム画像」ともいう）を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。映像信号処理部１３にて生成された映像信号は、圧縮処理部１６と映像出力回路２０に送られる。

図１のマイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られる。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。

録画ボタン２６ａは、ユーザが動画（動画像）の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影を指示するための押しボタンスイッチである。

撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、所定のフレーム周期（例えば、１／６０秒）にて順次撮影が行われる。撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。再度、録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。

また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、録画ボタン２６ａ又はシャッタボタン２６ｂの押下の有無に関わらず、撮像部１１による撮影画像の取得及び映像信号処理１３による映像信号の生成が逐次行われており、所謂プレビューを行うべく、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。

また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

本実施形態に係る撮像装置１は、静止画撮影時に適用可能な特徴的な絞り制御機能或いはそれに関連する機能を備える。この種の機能を実現する具体例として、以下に第１〜第４実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用することが可能である。尚、以下の説明は、特に記述しない限り、撮影モードにおける動作を説明したものである。

＜＜第１実施例＞＞
まず、第１実施例について説明する。図３は、上述の絞り制御機能を実現する主要部位のブロック図である。顔検出部４１、ＡＥ評価部４２及びＡＦ評価部４３は、図１の映像信号処理部１３にて実現される。

顔検出部４１は、順次得られるフレーム画像の中から人物の顔を検出して、顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部４１は何れの手法をも採用可能である。

図４に、顔検出部４１の内部ブロック図の例を示す。図４の顔検出部４１は、画像縮小部５１、顔検出処理部５２及び顔辞書メモリ５３を有する。

画像縮小部５１は、フレーム画像の画像サイズを一定の割合で縮小することによってフレーム画像の縮小画像を生成可能である。画像縮小部５１は、フレーム画像そのもの又はフレーム画像の縮小画像を検出対象画像として顔検出処理部５２に供給する。

顔検出処理部５２は、検出対象画像内に存在する顔を検出する。図５を参照して、顔検出処理部５２による顔検出の手法を説明する。

図５（ａ）において、符号１００は検出対象画像を表し、符号１１０は顔検出用の判定領域を表す。顔検出を行う際、判定領域を検出対象画像の左上隅に配置した状態を初期状態とし、検出対象画像内において、判定領域を１画素ずつ左から右に水平方向に走査させる。判定領域が検出対象画像の右端に到達したら、判定領域を下方向に１画素ずらし、再度、水平方向の走査を行う。このように、判定領域を水平方向及び垂直方向に走査しながら、判定領域内に顔が存在しているかを逐次検出する。

１種類のサイズの判定領域にて大きさの異なる顔を検出することができるように、フレーム画像の画像サイズは適宜縮小される。具体的には、フレーム画像を縮小することによって検出対象画像を生成する際の縮小率を段階的に変更し、フレーム画像及び各縮小率にて生成された縮小画像を検出対象画像として顔検出処理部５２に供給する。

図５（ｂ）及び（ｃ）における符号１０１及び１０２は、縮小によって得られた検出対象画像であり、図５（ａ）の検出対象画像１００がフレーム画像であるとした場合、図５（ｂ）及び（ｃ）に示される検出対象画像１０１及び１０２は、フレーム画像の縮小画像に相当する。

判定領域１１０のサイズは、何れの検出対象画像（１００、１０１及び１０２）に対しても同じである。具体的には例えば、判定領域１１０のサイズは、２４×２４画素に設定される。但し、以下、説明及び図示の簡略化上、判定領域１１０のサイズは、８×８画素であるものとする。

上述の如く判定領域は走査されるが、或る検出対象画像内において判定領域が或る特定の位置に存在する状態に着目し、その判定領域内に顔が存在しているか否かを判断する手法について説明する。図６は、この手法の動作手順を表すフローチャートである。図６におけるステップＳ１〜Ｓ５の各処理は、顔検出処理部５２によって実行される。

ステップＳ１において、判定領域内の画像に対して４種類の微分フィルタの夫々を適用してエッジ強調処理を施すことにより、４つの第１エッジ強調画像（４方向の第１エッジ強調画像）を生成する。４種類の微分フィルタとして、例えば図７（ａ）〜（ｄ）に示すような、水平方向、垂直方向、右斜め上方向及び左斜め上方向に対応する４方向のPrewitt型の微分フィルタ（エッジ検出オペレータ）を用いる。これらを適用して得られた各第１エッジ強調画像を、水平方向、垂直方向、右斜め上方向及び左斜め上方向の第１エッジ強調画像と呼ぶ。また、それらを総称して、４方向の第１エッジ強調画像と呼ぶ。

図８に、各第１エッジ強調画像の例を示す。符号１２１、１２２、１２３及び１２４は、夫々、水平方向、垂直方向、右斜め上方向及び左斜め上方向の第１エッジ強調画像を表しており、図８には、各第１エッジ強調画像を形成する各画素の画素値の一部が示されている。

次に、ステップＳ２において、４方向の第１エッジ強調画像間で対応する画素ごとに画素値が最大のものを特定し、最大の画素値のみをそのまま残すと共に最大以外の画素値をゼロとすることにより、４方向の第２エッジ強調画像を生成する。図８において、符号１３１、１３２、１３３及び１３４は、夫々、水平方向、垂直方向、右斜め上方向及び左斜め上方向の第２エッジ強調画像を表しており、図８には、各第２エッジ強調画像を形成する各画素の画素値の一部が示されている。

例えば、第１エッジ強調画像内の或る特定画素位置に対する、第１エッジ強調画像１２１、１２２、１２３及び１２４の画素値が夫々１０、４、６及び３である場合、第２エッジ強調画像１３１、１３２、１３３及び１３４の該特定画素位置における画素値は、夫々、１０、０、０及び０となる（図８参照）。

次に、ステップＳ３において、４方向の第２エッジ強調画像の夫々に対して平滑化処理を施し、平滑化処理後の４方向の第２エッジ強調画像を４方向の特徴画像とする。図９（ａ）〜（ｄ）に、生成された４方向の特徴画像、即ち、水平方向、垂直方向、右斜め上方向及び左斜め上方向の特徴画像を示す（画素値の図示を省略）。尚、平滑化処理を行うことなく、４方向の第２エッジ強調画像そのものを４方向の特徴画像とするようにしてもよい。

４方向の特徴画像の夫々において、画素位置は特徴画像内の座標（ｘ，ｙ）にて特定される。ｘ及びｙは、各特徴画像における水平座標及び垂直座標を表し、今の例の場合、ｘ及びｙは、夫々、０以上且つ７以下の各整数をとる。また、特徴画像の種類を、ｑにて表現する。ｑは、０以上３以下の各整数をとり、ｑ＝０、１、２及び３の特徴画像は、夫々、水平方向、垂直方向、右斜め上方向及び左斜め上方向の特徴画像を意味する。各特徴画像における画素を、特徴画素と呼ぶ。

図４の顔辞書メモリ５３には、特徴画像のサイズに適応した重みテーブル（換言すれば、判定領域のサイズに適応した重みテーブル）が格納されている。重みテーブルは、教師サンプルとしての大量の顔画像を元に予め作成され、顔辞書メモリ５３に格納される。図１０に、判定領域のサイズを８×８画素とした場合における重みテーブルの内容例を示す。重みテーブルには、特徴画素ごとに、特徴画素の画素値に対応した重みが格納されている。重みは、顔らしさを表す値であり、この重みをスコアと呼ぶことにする。

また、変数ｑ、ｘ及びｙを、１つの変数ｎに集約して考える。４×８×８＝２５６より、変数ｎは、０以上且つ２５５以下の各整数をとるものとする。変数ｎの値は、変数ｑ、ｘ及びｙが定まれば一意に定まる。４方向の特徴画像における各特徴画素（全特徴画素数は２５６個）を、変数ｎを用いてＦ（ｎ）で表し、特徴画素Ｆ（ｎ）における画素値（図１０の横方向に対応）をｉ（ｎ）にて表す。スコアも変数ｎに依存して特定されるため、スコアをｗ（ｎ）にて表すものとする。例えば、ｑ＝ｘ＝ｙ＝０がｎ＝０に対応すると仮定した場合、水平方向の特徴画像（ｑ＝０に対応）の画素位置（０，０）の画素値は、特徴画素Ｆ（０）の画素値ｉ（０）と合致する。スコアｗ（０）は、重みテーブルに基づき、画素値ｉ（０）にて特定される。この画素値ｉ（０）が３であるとしたとき、スコアｗ（０）は、図１０の例では３５となる。画素値ｉ（ｎ）は判定領域内の画像が顔画像（即ち、顔を表す画像）であるか否かを識別するために有効な特徴量と呼ぶことができる。

このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。

図４の顔辞書メモリ５３には、図１０に示されるような重みテーブルが複数個、格納されている。その複数の重みテーブルには、人物の顔を正面から見た正面顔に対応する第１の重みテーブルと、人物の顔を横から見た横顔に対応する第２の重みテーブルと、が含まれる。第１の重みテーブルは、学習処理を介して得た正面顔を表す基準顔画像をデータ化したものであり、第２の重みテーブルは、学習処理を介して得た横顔を表す基準顔画像をデータ化したものである。

図６のステップＳ３の処理に続くステップＳ４では、第１の重みテーブルによって表される基準顔画像と判定領域内の画像との類似度Ｓ₁と、第２の重みテーブルによって表される基準顔画像と判定領域内の画像との類似度Ｓ₂と、を算出する。

尚、横顔には、右向きの横顔と左向きの横顔が存在するが、右と左の差異は本実施例の処理にとって特に有意な差異ではないため、説明の簡略化上、横顔は１種類であるものとする。実際には、第２の重みテーブルとして右向き横顔用の重みテーブル及び左向き横顔用の重みテーブルを用意し、各重みテーブルに対する類似度、即ち右向き横顔に対応する類似度と左向き横顔に対応する類似度を算出する。そして、それらの２つの類似度の内、大きい方の類似度を類似度Ｓ₂として取り扱えばよい。

類似度Ｓ₁は、４方向の特徴画像における各画素値ｉ（ｎ）に対応する、第１の重みテーブルから抽出されたスコアｗ（ｎ）の総和（スコアｗ（０）〜ｗ（２５５）の総和）である。この総和は、第１の重みテーブルによって表される正面顔の基準顔画像と判定領域内の画像との類似度を表すことになる。
類似度Ｓ₂は、４方向の特徴画像における各画素値ｉ（ｎ）に対応する、第２の重みテーブルから抽出されたスコアｗ（ｎ）の総和（スコアｗ（０）〜ｗ（２５５）の総和）である。この総和は、第２の重みテーブルによって表される横顔の基準顔画像と判定領域内の画像との類似度を表すことになる。
各重みテーブルは、判定領域内の画像から類似度を導出するための顔辞書データと呼ぶことができる。

そして、図６のステップＳ５において、類似度Ｓ₁及びＳ₂に基づき顔判定を行う。具体的には、Ｓ₁＞Ｓ₂且つＳ₁＞Ｓ_TH、が成立する時、判定領域内に正面顔、即ち、正面向きの顔が含まれていると判断する。一方、Ｓ₂＞Ｓ₁且つＳ₂＞Ｓ_TH、が成立する時、判定領域内に横顔、即ち、横向きの顔が含まれていると判断する。Ｓ₁＜Ｓ_TH且つＳ₂＜Ｓ_TH、が成立するときは判定領域に顔は含まれていないと判断する。

判定領域内の画像が正面顔の基準顔画像に類似しているほど類似度Ｓ₁が比較的大きな値をとるように、上記の第１の重みテーブルは、学習処理を介して設定されている。同様に、判定領域内の画像が横顔の基準顔画像に類似しているほど類似度Ｓ₂が比較的大きな値をとるように、上記の第２の重みテーブルは、学習処理を介して設定されている。このため、上述の処理によって、判定領域内に顔が含まれているか否かを検出することができると共に含まれている顔の向きをも検出することができる。

顔検出処理部５２は、１つのフレーム画像内に１以上の顔が存在すると判断したとき、顔検出情報を作成する。作成された顔検出情報は、ＣＰＵ２３に伝達される（図３参照）。顔が存在していないと判断された場合は、その旨を表す情報がＣＰＵ２３に伝達される。第１実施例では、１つのフレーム画像内に１つの顔が存在すると判断された場合を想定する。

図１１は、顔検出情報の概要を示している。顔検出情報には、検出された顔の位置を特定する顔位置情報及び検出された顔の大きさを特定する顔サイズ情報が含まれる。判定領域内に顔が含まれていると判断されたとき、その判定領域に対応する領域が顔領域としてフレーム画像から抽出される。顔の位置及び大きさは、抽出された顔領域の位置及び大きさにて表される。従って、ここにおける顔の位置及び大きさは、フレーム画像上における顔の位置及び大きさである。

図１２（ａ）の如く、フレーム画像と一致する検出対象画像１００において、判定領域内に顔が存在すると判断された場合は、その顔を含む判定領域そのものが顔領域１５０とされる。一方、図１２（ｂ）の如く、フレーム画像の縮小画像に相当する検出対象画像１０２において、判定領域１６０内に顔が存在すると判断された場合は、図１２（ａ）の如く、フレーム画像（検出対象画像１００）上における該判定領域１６０の対応領域が顔領域１５１とされる。

今、図１３に示す如く、１つのフレーム画像２００から１つの顔領域２０１が抽出された場合を考える。顔領域２０１は矩形領域であり、フレーム画像２００上における顔領域２０１の中心座標を（ｘ_c，ｙ_c）とする。そして、顔領域２０１の対角線上の２頂点の座標を（ｘ_l，ｙ_l）及び（ｘ_r，ｙ_r）とする。

この場合、顔検出情報にて特定される顔の位置は、中心座標（ｘ_c，ｙ_c）＝（（ｘ_r−ｘ_l）／２，（ｙ_r−ｙ_l）／２）にて表され、顔検出情報にて特定される顔の大きさは、顔領域２０１の面線（即ち、（ｘ_r−ｘ_l）×（ｙ_r−ｙ_l））にて表される。尚、顔の大きさを、顔領域２０１の対角線長（即ち、（（ｘ_r−ｘ_l）²＋（ｙ_r−ｙ_l）²）の平方根）、又は、顔領域２０１を形成する２辺の長さの合計（即ち、（ｘ_r−ｘ_l）＋（ｙ_r−ｙ_l））にて表すようにしても良い。

図１１に示す如く、顔検出情報には、更に、検出された顔の向きを特定する顔向き情報及び検出された顔についての類似度を特定する顔検出信頼度情報が含まれる。顔向き情報によって、顔領域２０１に含まれる顔の向きが正面向きであるのか横向きであるのかが特定される。顔検出信頼度情報は、顔検出の信頼度を表している。顔領域２０１に含まれる顔の向きが正面向きであると判断された場合、顔検出信頼度情報にて特定される類似度は正面顔に対応する上述の類似度Ｓ₁とされ、顔領域２０１に含まれる顔の向きが横向きであると判断された場合、顔検出信頼度情報にて特定される類似度は横顔に対応する上述の類似度Ｓ₂とされる。

顔検出部４１による、上述の、顔を検出する処理及び顔検出情報を生成する処理をまとめて「顔検出処理」とよぶ。

次に、図３のＡＥ評価部４２の機能について説明する。ＡＥ評価部４２は、フレーム画像の明るさに応じたＡＥ評価値を算出する。ＡＥ評価値は、フレーム画像ごとに算出され、算出された各ＡＥ評価値は順次ＣＰＵ２３に伝達される。例えば、フレーム画像内の所定領域をＡＥ評価領域とし、そのＡＥ評価領域内の各画素の輝度値の平均値をＡＥ評価値とする。

ＡＦ評価部４３は、フレーム画像内に設けられたＡＦ評価領域（焦点評価領域）内の画像のコントラスト量に応じたＡＦ評価値（焦点評価値）を算出する。ＡＦ評価値は、フレーム画像ごとに算出され、算出された各ＡＦ評価値は順次ＣＰＵ２３に伝達される。

図１４に、ＡＦ評価部４３の内部ブロック図を示す。ＡＦ評価部４３は、抽出部６１、ＨＰＦ（ハイパスフィルタ）６２及び積算部６３を含む。抽出部６１は、フレーム画像内に定義されたＡＦ評価領域内の輝度信号をフレーム画像の映像信号から抽出する。ＨＰＦ６２は、抽出部６１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。積算部６３は、ＨＰＦ６２によって抽出された高域周波数成分の絶対値を積算することにより、ＡＦ評価領域内の画像のコントラスト量に応じたＡＦ評価値を求める。ＡＦ評価値は、該コントラスト量に概ね比例し、該コントラスト量が増大するにつれて増大する。

次に、図１５を参照して、図３の各部位の動作の流れを説明する。図１５は、この動作の流れを表すフローチャートである。

まず、撮像装置１の撮影モードでは、ステップＳ１０にて通常露出制御が行われる。通常露出制御では、例えば各フレーム画像の全体領域がＡＥ評価領域とされ、ＡＥ評価値が一定値付近に保たれるように、ＣＰＵ２３が図２のドライバ３４を介して絞り３２の開度を調節することにより、受光量（画像の明るさ）を制御する。尚、絞り３２の開度の他、必要に応じて、図２の撮像素子３３の露光時間及び図１のＡＦＥ１２における信号増幅の増幅度も制御される。

ステップＳ１０に続くステップＳ１１では、ＣＰＵ２３が、図１のシャッタボタン２６ｂが半押しされたか否かを判断する。シャッタボタン２６ｂは、半押し（ファーストレリーズ）と全押し（セカンドレリーズ）の２段階操作が可能となっている。ユーザがシャッタボタン２６ｂに圧力を付加するとまず半押しの状態となり、更に圧力を付加すると全押しの状態となる。シャッタボタン２６ｂが半押しされていない時はステップＳ１０に戻って通常露出制御が繰り返される。一方、シャッタボタン２６ｂが半押しされている場合は、ステップＳ１２に移行して、顔検出部４１が顔検出処理を行って、現在のフレーム画像内に顔が存在しているか否かを判断する。

そして、顔が存在していない場合は、その旨がＣＰＵ２３に伝達されてステップＳ２０に移行する。一方、顔が存在していると判断された場合は、ステップＳ１３にて、上述の如くフレーム画像から顔領域が抽出されると共に顔検出情報（図１１参照）が作成される。顔検出情報は、ＣＰＵ２３に伝達される。

ステップＳ１３に続くステップＳ１４では、ＣＰＵ２３が、与えられた顔検出情報に基づいて、目標の被写界深度を設定する。具体的には、顔だけでなく背景にもピントが合うように被写界深度を比較的深くするか、或いは、顔にピントを合わせつつ背景がぼけるように被写界深度を比較的浅くするかを選択設定する。

被写界深度の設定は、以下の指針に基づいて行われる。この指針を図１６の表にまとめる。図１６に、被写界深度の深さに対応する絞り値の大きさ及び開度の大きさも併せて示す。

顔の位置がフレーム画像の中央付近に位置している場合、撮影者は人物の顔に特に注目していると推定される。従って、その場合は、被写界深度が比較的浅くなるようにする。逆に、顔の位置がフレーム画像の端付近に位置している場合、撮影者は背景をも重視していると推定される。従って、その場合は、被写界深度が比較的深くなるようにする。

フレーム画像上の顔の大きさが比較的大きい場合、撮影者は人物の顔に特に注目していると推定される。従って、その場合は、被写界深度が比較的浅くなるようにする。逆に、フレーム画像上の顔の大きさが比較的小さい場合、撮影者は背景をも重視していると推定される。従って、その場合は、被写界深度が比較的深くなるようにする。

フレーム画像上の顔の向きが正面向きである場合、撮影者は人物の顔に特に注目していると推定される。従って、その場合は、被写界深度が比較的浅くなるようにする。逆に、フレーム画像上の顔の向きが横向きである場合、撮影者は背景をも重視していると推定される（撮影者が注意を向けているのは顔だけでないと推定される）。従って、その場合は、被写界深度が比較的深くなるようにする。

検出された顔についての類似度が比較的高い場合（即ち、顔検出の信頼性が比較的高い場合）、フレーム画像内に顔が存在している可能性が高い。一方、類似度が比較的低い場合は、顔検出が誤検出であって、実際にはフレーム画像内に顔が存在していない可能性も低くない。上述の如く、検出された顔の位置等に応じて撮影者の意図に合致した被写界深度設定を行うのであるが、顔検出が誤検出であったならば、そのような設定はかえって撮影者の意図に反しかねない。よって、類似度が比較的高い場合は被写界深度が比較的浅くなるようにし、類似度が比較的低い場合は被写界深度が比較的深くなるようにする。

上述の指針に従って被写界深度設定がなされたフレーム画像の例を図１７（ａ）〜（ｃ）に示す。図１７（ａ）の例では、顔が画像の中央付近に位置している。また、顔の大きさが比較的大きい。従って、被写界深度が比較的浅くされ（絞り値が比較的小さくされ）、顔にピントがあう一方で背景がぼける。図１７（ｃ）の例では、顔が画像の端付近に位置している。また、顔の大きさが比較的小さい。従って、被写界深度が比較的深くされ（絞り値が比較的大きくされ）、顔にも背景にもピントがあわせられる。図１７（ｂ）は、図１７（ａ）と（ｃ）の中間状態に対応している。

実際には、顔の位置に対応する位置評価値Ｐ_A、顔の大きさに対応する大きさ評価値Ｓ_A、顔の向きに対応する向き評価値Ｆ_A、及び、類似度に対応する信頼性評価値Ｒ_Aを導入し、それらを加重加算することによって得られる被写界深度評価値αに基づいて目標の被写界深度を決定する。Ｐ_A、Ｓ_A、Ｆ_A及びＲ_Aは、顔検出情報に基づいて定められる。また、Ｐ_A、Ｓ_A、Ｆ_A及びＲ_Aの夫々は、図１８（ａ）〜（ｄ）に示す如く、最大値として正の値をとり、最小値として負の値をとる。

位置評価値Ｐ_Aは、検出された顔の位置（即ち、顔領域の中心）とフレーム画像の中心との距離に応じた評価値である。図１８（ａ）に示す如く、位置評価値Ｐ_Aは、その距離が短いほど大きな値をとり、その距離が長いほど小さな値をとる。その距離の可変範囲において、位置評価値Ｐ_Aは正の所定値から負の所定値までの間の値をとる。
大きさ評価値Ｓ_Aは、検出された顔の大きさに応じた評価値である。図１８（ｂ）に示す如く、大きさ評価値Ｓ_Aは、その顔の大きさが大きいほど大きな値をとり、小さいほど小さな値をとる。顔の大きさの可変範囲において、大きさ評価値Ｓ_Aは負の所定値から正の所定値までの間の値をとる。
向き評価値Ｆ_Aは、検出された顔の向きに応じた評価値である。図１８（ｃ）に示す如く、向き評価値Ｆ_Aは、検出された顔の向きが正面向きである場合に正の所定値をとり、横向きである場合に負の所定値をとる。
信頼性評価値Ｒ_Aは、検出された顔についての類似度に応じた評価値である。図１８（ｄ）に示す如く、信頼性評価値Ｒ_Aは、その類似度が高いほど大きな値をとり、低いほど小さな値をとる。顔検出情報にて特定される類似度の可変範囲において、信頼性評価値Ｒ_Aは負の所定値から正の所定値までの間の値をとる。

被写界深度評価値αは、下記式（１）に従って算出される。ここで、ｋ_A1〜ｋ_A4は、加重加算における重み係数である。ｋ_A1〜ｋ_A4は、夫々、０より大きな所定値をとる。但し、重み係数ｋ_A1〜ｋ_A4の内、１つ以上の任意の重み係数を０とすることも可能である。０の重み係数に対応する評価値は、被写界深度評価値αに反映されないことになる。被写界深度評価値αに対する寄与度は、Ｐ_A、Ｓ_A、Ｆ_A、Ｒ_Aの順番で低くなるようにするとよい。従って、１つ以上の重み係数を０とする場合、重み係数を０にする優先順位は、ｋ_A4が最も高く、ｋ_A3が２番目に高く、ｋ_A2が３番目に高い。ｋ_A1は、常に０より大きくすることが望ましい（但し、ｋ_A1＝０、とすることも可能ではある）。
α＝ｋ_A1・Ｐ_A＋ｋ_A2・Ｓ_A＋ｋ_A3・Ｆ_A＋ｋ_A4・Ｒ_A ・・・（１）

そして、図１５のステップＳ１４において、α≧０の場合は目標の被写界深度を比較的浅くすると決定し、α＜０の場合は目標の被写界深度を比較的深くすると決定する。その後、ステップＳ１５に移行する。

ステップＳ１５では、ステップＳ１４にて決定された目標の被写界深度に基づいて、設定されるべき目標の絞り値を算出する。上述したように、図２のフォーカスレンズ３１は光軸方向に移動可能である。図２のフォーカスレンズ３１の光軸方向の位置を、以下、「レンズ位置」という。尚、ＣＰＵ２３は、レンズ位置を検出する位置検出器（不図示）の検出結果に基づいて、レンズ位置を認識可能となっている。フォーカスレンズ３１は、至近端から無限端まで移動可能である。至近端及び無限端は、フォーカスレンズ３１の全移動範囲における両端を表し、レンズ位置が至近端から無限端に向かうにつれて、ピントの合う被写体と撮像装置１との距離が大きくなる。

ステップＳ１５では、次々と得られる各フレーム画像に対して顔領域に対応するＡＦ評価領域（以下、顔ＡＦ評価領域という）と背景領域に対応するＡＦ評価領域（以下、背景ＡＦ評価領域という）を設定し、レンズ位置を所定間隔で光軸方向に移動させながら、顔ＡＦ評価領域に対するＡＦ評価値（以下、顔ＡＦ評価値という）と背景ＡＦ評価領域に対するＡＦ評価値（以下、背景ＡＦ評価値という）を次々と求める。図１９に、これによって得られる、レンズ位置と顔ＡＦ評価値との関係を表す曲線３００及びレンズ位置と背景ＡＦ評価値との関係を表す曲線３０１を示す。

図２０に、顔ＡＦ評価値等の算出元となる１つのフレーム画像３１０を示す。符号３１１で付された矩形領域が顔ＡＦ評価領域であり、符号３１２で付された矩形領域が背景ＡＦ評価領域である。顔ＡＦ評価領域３１１は、ステップＳ１３にて抽出された顔領域に内包される矩形領域、或いは、その顔領域と同じとされる。背景ＡＦ評価領域３１２は、その顔領域と重なり合わないフレーム画像３１０内の領域（例えば、所定矩形領域）とされる。顔ＡＦ評価領域３１１と背景ＡＦ評価領域３１２の画像サイズは例えば同じとされる。

図１９の曲線３００及び３０１に示す如く、或るレンズ位置において、顔ＡＦ評価値と背景ＡＦ評価値の夫々は最大値をとる。顔ＡＦ評価値に最大値を与えるレンズ位置をＬ₁で表し、背景ＡＦ評価値に最大値を与えるレンズ位置をＬ₂で表す。尚、ＡＦ評価値に関する最大値を極大値と読み替えることもできる。また、実空間において、顔ＡＦ評価領域に対応する顔と撮像装置１との間の距離Ｄ₁（即ち、顔の被写体距離）は、背景ＡＦ評価領域に対応する背景と撮像装置１との間の距離Ｄ₂（即ち、背景の被写体距離）よりも短い。レンズ位置をＬ₁にすれば顔ＡＦ評価領域内に収まる被写体（顔）に完全にピントが合い、レンズ位置をＬ₂にすれば背景ＡＦ評価領域内に収まる被写体（背景）に完全にピントが合う。

レンズ位置Ｌ₁及びＬ₂とレンズ位置に応じて定まる光学系３５（図２）の焦点距離ｆから、距離Ｄ₁及びＤ₂は求まる。ステップＳ１５において、ＣＰＵ２３は、曲線３００及び３０１を描く顔ＡＦ評価値及び背景ＡＦ評価値から特定されるレンズ位置Ｌ₁及びＬ₂に基づいて、顔と背景の距離Ｄ_FB（＝Ｄ₂−Ｄ₁）を求める。そして、距離Ｄ_FBに基づいて、目標の被写界深度を達成するための絞り値を算出する。

一般に、被写界深度は、以下の式（２ａ）及び（２ｂ）にて求められる。また、式（２ｃ）が成立する。Ｄ_Fは後端の被写界深度であり、Ｄ_Nは前端の被写界深度である。全体の被写界深度は、図２１（ａ）に示す如く、後端の被写界深度Ｄ_Fと前端の被写界深度Ｄ_Nを合わせたものである。特定距離の被写体に完全にピントが合うようにレンズ位置を設定した状態において、後端の被写界深度Ｄ_Fは、その特定距離（合焦位置）を基準とした撮像装置１に遠い側の被写界深度に相当し、前端の被写界深度Ｄ_Nは、その特定距離（合焦位置）を基準とした撮像装置１に近い側の被写界深度に相当する。

Ｄ_F＝ｓ・（Ｈ−ｆ）／（Ｈ−ｓ） ・・・（２ａ）
Ｄ_N＝ｓ・（Ｈ−ｆ）／（Ｈ＋ｓ−２ｆ） ・・・（２ｂ）
Ｈ＝ｆ²／Ｆ・ｃ ・・・（２ｃ）

上記の式において、ｓは被写体距離を表し、Ｈは過焦点距離を表し、Ｆは絞り値を表し、ｃは予め設定される許容錯乱円の直径（許容されるボケの直径）を表す。ｆは、上述したように焦点距離である。

具体的には、ステップＳ１５において、顔にピントが合うようにしつつ、ステップＳ１４にて設定された目標の被写界深度に応じて絞り値Ｆを求める。

つまり、図１５のステップＳ１４においてα≧０が成立し目標の被写界深度を比較的浅くすると決定された場合は、後端の被写界深度Ｄ_Fに「顔と背景までの距離Ｄ_FBよりも短い距離」を代入して式（２ａ）に基づき過焦点距離Ｈを求め、求めたＨを式（２ｃ）に代入することにより絞り値Ｆを求める。即ち、図２１（ｂ）に示す如く、顔を基準としてピントを合わせた時の被写界深度内に背景が収まらないように絞り値Ｆを求める。

一方、ステップＳ１４においてα＜０が成立し目標の被写界深度を比較的深くすると決定された場合は、後端の被写界深度Ｄ_Fに「顔と背景までの距離Ｄ_FBよりも長い距離」を代入して式（２ａ）に基づき過焦点距離Ｈを求め、求めたＨを式（２ｃ）に代入することにより絞り値Ｆを求める。即ち、図２１（ｃ）に示す如く、顔を基準としてピントを合わせた時の被写界深度内に背景が収まるように絞り値Ｆを求める。

過焦点距離Ｈ及び絞り値Ｆを求める際、レンズ位置をＬ₁とすることを前提にして、顔までの距離Ｄ₁を被写体距離ｓとして式（２ａ）に代入すると共にレンズ位置Ｌ₁に対応する焦点距離をｆとして式（２ａ）及び（２ｃ）に代入する。

尚、絞り値Ｆを求める際、被写体距離ｓとして距離Ｄ₁以外の距離を代入することも可能である。但し、この場合でも、ステップＳ１４において目標の被写界深度を比較的浅くすると決定されている場合には被写界深度内に背景が収まらないように絞り値Ｆを求め、目標の被写界深度を比較的深くすると決定されている場合には被写界深度内に背景が収まるように絞り値Ｆを求める。勿論、双方の場合において、顔が被写界深度内に収まるように絞り値Ｆは求められる。この場合は、上記式（２ａ）及び（２ｃ）に加え、式（２ｂ）も利用して絞り値Ｆを求めればよい。

ステップＳ１５にて絞り値（Ｆ）が求まった後、その絞り値（Ｆ）に従った開度になるようにＣＰＵ２３は図２の絞り３２の開度を制御する。そして、ステップＳ１６に移行する。ステップＳ１６では、求められた絞り値（Ｆ）に従った最適な露出制御を行う。

具体的には、図３のＡＥ評価部４２が、最新のフレーム画像の全体領域をＡＥ評価領域とした場合におけるＡＥ評価値Ｗ_AEと、そのフレーム画像における顔領域（又は顔領域に内包される矩形領域）をＡＥ評価領域とした場合におけるＡＥ評価値Ｆ_AEと、を求める。

更に、顔の位置に対応する位置評価値Ｐ_B、顔の大きさに対応する大きさ評価値Ｓ_B、顔の向きに対応する向き評価値Ｆ_B、及び、類似度に対応する信頼性評価値Ｒ_Bを導入し、それらを加算することによって係数βを求める。Ｐ_B、Ｓ_B、Ｆ_B及びＲ_Bは、夫々、顔検出情報に基づいて定められ、図２２（ａ）〜（ｄ）に示す如く、０以上の値をとる。

位置評価値Ｐ_Bは、検出された顔の位置（即ち、顔領域の中心）とフレーム画像の中心との距離に応じた評価値である。図２２（ａ）に示す如く、位置評価値Ｐ_Bは、その距離が短いほど大きな値をとり、その距離が長いほど小さな値をとる。
大きさ評価値Ｓ_Bは、検出された顔の大きさに応じた評価値である。図２２（ｂ）に示す如く、大きさ評価値Ｓ_Bは、その顔の大きさが大きいほど大きな値をとり、小さいほど小さな値をとる。
向き評価値Ｆ_Bは、検出された顔の向きに応じた評価値である。図２２（ｃ）に示す如く、向き評価値Ｆ_Bは、検出された顔の向きが正面向きである場合に所定の第１の値をとり、横向きである場合に第１の値よりも小さな所定の第２の値をとる。
信頼性評価値Ｒ_Bは、検出された顔についての類似度に応じた評価値である。図２２（ｄ）に示す如く、信頼性評価値Ｒ_Bは、その類似度が高いほど大きな値をとり、低いほど小さな値をとる。

係数βは、下記式（３）に従って算出される。但し、０≦β≦１、が成立するように、各評価値Ｐ_B、Ｓ_B、Ｆ_B及びＲ_Bは導出される。係数ｋ_B1〜ｋ_B4は、例えば、全て１とされる。但し、係数ｋ_B1〜ｋ_B4の内、１つ以上の任意の係数を０とすることも可能である。０の係数に対応する評価値は、係数βに反映されないことになる。係数βに対する寄与度は、例えば、Ｐ_B、Ｓ_B、Ｆ_B、Ｒ_Bの順番で低くなるようにする。従って、係数ｋ_B1〜ｋ_B4の内、１つ以上の係数を０とする場合、係数を０にする優先順位は、ｋ_B4が最も高く、ｋ_B3が２番目に高く、ｋ_B2が３番目に高い。ｋ_B1≠０であることが望ましい（但し、ｋ_B1＝０とすることも可能ではある）。
β＝ｋ_B1・Ｐ_B＋ｋ_B2・Ｓ_B＋ｋ_B3・Ｆ_B＋ｋ_B4・Ｒ_B ・・・（３）

ステップＳ１６における露出制御では、絞り値がステップＳ１５で定められているため、図２の撮像素子３３の露光時間と図１のＡＦＥ１２における増幅度が、制御対象となる。即ち、絞り値優先の露出制御が行われる。具体的には、式（３）で求めた係数βを用いたＡＥ評価値Ｗ_AEとＦ_AEの加重加算値γが明るさ目標値に一致するように、それらの制御対象がＣＰＵ２３によって制御される。加重加算値γは式（４）にて表され、明るさ目標値は、最適な画像明るさを得るために定められる所定値である。これにより、例えば顔が画像中央付近に位置していれば、γに対する顔のＡＥ評価値Ｆ_AEの寄与度が高まり、より顔に着目した露出制御が行われる。
γ＝β×Ｆ_AE＋（１−β）×Ｗ_AE ・・・（４）

ステップＳ１６の露出制御の後、ステップＳ１７にて、シャッタボタン２６ｂが全押しされたかが確認される。全押しされていない場合はステップＳ１７の処理が繰り返されるが、全押しされた場合はステップ１８にて静止画の撮影が行われる。この静止画の露光を開始する前に、実際のレンズ位置がＬ₁（図１９参照）となり且つ実際の絞り値がステップＳ１５で算出された絞り値（Ｆ）となるように、ＣＰＵ２３によって、フォーカスレンズ３１の位置及び絞り３２の開度が制御される。また、この静止画の撮影時における露光時間及びＡＦＥ１２における増幅度は、ステップＳ１６での露出制御に従う。得られた静止画を表す画像データは、図１の圧縮処理部１６を介してメモリカード１８に格納される。

一方、ステップＳ１２にて顔が存在していないと判断された場合に移行するステップＳ２０では、フレーム画像内の所定領域をＡＦ評価領域とし、ＡＦ評価値が最大となるようにレンズ位置を駆動するオートフォーカス制御を行うと共に、通常露出制御を行う。通常露出制御では、絞り値、図２の撮像素子３３の露光時間及び図１のＡＦＥ１２における増幅度が制御対象となる。そして、フレーム画像の全体領域がＡＥ評価領域とされ、最新のフレーム画像のＡＥ評価値（即ち、画像全体の輝度平均）が上述の明るさ目標値と一致するように、制御対象（絞り値、露光時間及び増幅度）を制御する。ステップＳ２０における通常露出制御の後、ステップＳ１７に移行し、シャッタボタン２６ｂが全押しされた場合はステップＳ１８にて静止画の撮影が行われる。得られた静止画を表す画像データは、図１の圧縮処理部１６を介してメモリカード１８に格納される。

上述の如く、画像上の顔の位置等に基づいて、顔又は背景に対する撮影者の注目度合いを推定し、背景を被写界深度内に含めるか否かを決定する。そして、その決定内容に従って絞り値（絞り３２の開度）を制御するようにする。これにより、撮影者の意図に合致した、被写界深度の制御による演出効果を特別な操作無しに得ることが可能となる。

尚、上述の説明からも明らかであるが、以下のことが言える。
顔検出情報にて特定される顔の位置以外の他の条件を固定した状態において、顔の位置が、フレーム画像上の第１位置にあるとき被写界深度評価値αは比較的大きくなり且つフレーム画像上の第２位置にあるとき被写界深度評価値αは比較的小さくなる。ここで、第１位置は、第２位置よりもフレーム画像の中心位置に近い。上述のステップＳ１４及びＳ１５の処理内容から理解されるように、顔の位置が相違しても他の条件に依存して結果的に目標の絞り値（目標の被写界深度）は変化しないこともあるが、顔の位置が第１位置にあることに由来する比較的大きなαは、絞り値を比較的小さくする（絞り３２の開度を比較的大きくする）方向に作用し、顔の位置が第２位置にあることに由来する比較的小さなαは、絞り値を比較的大きくする（絞り３２の開度を比較的小さくする）方向に作用する。

顔の大きさが相違した場合、顔の向きが相違した場合、顔検出における類似度が相違した場合についても、同様のことが言える。

＜＜第２実施例＞＞
上述の例では、上記式（２ａ）〜（２ｃ）に基づき、制御されるべき目標の絞り値を導出して実際の絞り値を調整した。但し、この絞り値の調整手法として他の手法を用いることも可能である。この絞り値の調整手法法の変形例として、第２実施例を説明する。第２実施例における絞り値の調整手法を、第１実施例におけるステップＳ１５（図１５参照）にて実施することを想定して、第２実施例の以下の説明を行う。第１実施例に記載した内容は、矛盾なき限り、第２実施例にも適用される。第２実施例に係る絞り制御機能を実現する主要部位のブロック図は、図３のそれと同じである。

第２実施例に係る絞り値の調整手法の手順を、図２３を参照して説明する。図２３は、この手順を表すフローチャートである。この調整手法を第１実施例に適用する場合、図２３のステップＳ３１〜Ｓ３４の各処理が図１５のステップＳ１４とＳ１６の間に実施される。適宜、図１４及び図２０をも参照する。

図１４のＡＦ評価部４３におけるＨＰＦ６２のカットオフ周波数を、高カットオフ周波数と低カットオフ周波数との間で可変設定できるようにしておく。高カットオフ周波数の方が、低カットオフ周波数よりも周波数が高い。

そして、ステップＳ３１において、ＨＰＦ６２のカットオフ周波数として高カットオフ周波数を採用した状態で、レンズ位置を所定間隔で光軸方向に移動させながら、図２０の顔ＡＦ評価領域３１１に対する顔ＡＦ評価値と背景ＡＦ評価領域３１２に対する背景ＡＦ評価値を次々と求める。同様に、ＨＰＦ６２のカットオフ周波数として低カットオフ周波数を採用した状態で、レンズ位置を所定間隔で光軸方向に移動させながら、図２０の顔ＡＦ評価領域３１１に対する顔ＡＦ評価値と背景ＡＦ評価領域３１２に対する背景ＡＦ評価値を次々と求める。

ステップＳ３１にて求められた結果を図２４に示す。図２４において、曲線４０１、４０２、４０３及び４０４は、夫々、高カットオフ周波数に対応するレンズ位置と顔ＡＦ評価値との関係、低カットオフ周波数に対応するレンズ位置と顔ＡＦ評価値との関係、高カットオフ周波数に対応するレンズ位置と背景ＡＦ評価値との関係、及び、低カットオフ周波数に対応するレンズ位置と背景ＡＦ評価値との関係を表す。曲線４０１〜４０４は、実際の絞り値が或る特定の絞り値にある状態における各関係を表す。

各カットオフ周波数に関し、図２４に示す如く、或るレンズ位置において顔ＡＦ評価値と背景ＡＦ評価値の夫々は最大値をとる。高カットオフ周波数の顔ＡＦ評価値に最大値を与えるレンズ位置はＬ₁である。低カットオフ周波数におけるそれも、概ねＬ₁となる。カットオフ周波数に関わらず、背景ＡＦ評価値に最大値を与えるレンズ位置は、レンズ位置Ｌ₁よりも無限端側のＬ₂に位置する。尚、図２４に示す各曲線（４０１及び４０３）は、図１９に示すそれら（３００及び３０１）と随分相違しているが、その相違は、説明及び図示の便宜を図るために生じたものに過ぎない。尚、ＡＦ評価値に関する最大値を極大値と読み替えることもできる。

レンズ位置をＬ₁とした場合における、高カットオフ周波数の顔ＡＦ評価値及び背景ＡＦ評価値を夫々Ｑ_H1及びＱ_H2とする。レンズ位置をＬ₁とした場合における、低カットオフ周波数の顔ＡＦ評価値及び背景ＡＦ評価値を夫々Ｑ_L1及びＱ_L2とする。高カットオフ周波数の方が、低カットオフ周波数よりも周波数が高いため、必然的に、Ｑ_L1≧Ｑ_H1且つＱ_L2≧Ｑ_H2が成立する。

ステップＳ３１に続くステップＳ３２（図２３参照）では、ＣＰＵ２３が、顔についての比Ｑ_L1／Ｑ_H1と背景についての比Ｑ_L2／Ｑ_H2を求める。そして、ステップＳ３３において、ＣＰＵ２３は、Ｑ_L1／Ｑ_H1とＱ_L2／Ｑ_H2とを対比し、その対比結果が図１５のステップＳ１４で定められた目標の被写界深度に従ったものであるかを判断する。そして、その判断結果に応じて絞り値の調整が行われる（ステップＳ３４）。

図１５のステップＳ１４にて目標の被写界深度を比較的浅くすると決定された場合は、顔にピントを合わせつつ背景をぼかしたい訳であるから、顔についての比Ｑ_L1／Ｑ_H1よりも背景についての比Ｑ_L2／Ｑ_H2が或る程度大きくなることを目指して絞り値を調整する。一方、図１５のステップＳ１４にて目標の被写界深度を比較的深くすると決定された場合は、顔にも背景にもピントを合わせたい訳であるから、顔についての比Ｑ_L1／Ｑ_H1と背景についての比Ｑ_L2／Ｑ_H2が概ね同等になることを目指して絞り値を調整する。

より具体的には例えば、図１５のステップＳ１４にて目標の被写界深度を比較的浅くすると決定された場合は、第１の不等式：「ＴＨ_R2≧（Ｑ_L2／Ｑ_H2−Ｑ_L1／Ｑ_H1）≧ＴＨ_R1」が成立するかを判断する。そして、第１の不等式が成立しない場合は、その第１の不等式が成立するように絞り値を調整してからステップＳ３１に戻り、上述のステップＳ３１以降の処理を繰り返す。例えば、（Ｑ_L2／Ｑ_H2−Ｑ_L1／Ｑ_H1）＜ＴＨ_R1、である場合は、絞り値を所定量減少させてから（実際の絞り３２の開度を所定量増加させてから）ステップＳ３１に戻る。一方、第１の不等式が成立する場合は、目標の被写界深度が達成されたとして図２３の処理を終え、その後、第１実施例で述べた図１５のステップＳ１６以降の各処理を行う。尚、ＴＨ_R1及びＴＨ_R2は、ＴＨ_R1＜ＴＨ_R2を満たす所定の正の閾値である。また、第１の不等式を「（Ｑ_L2／Ｑ_H2−Ｑ_L1／Ｑ_H1）≧ＴＨ_R1」に置換しても良い。

他方、図１５のステップＳ１４にて目標の被写界深度を比較的深くすると決定された場合は、第２の不等式：「ＴＨ_R4≦（Ｑ_L2／Ｑ_H2−Ｑ_L1／Ｑ_H1）≦ＴＨ_R3」が成立するかを判断する。そして、第２の不等式が成立しない場合は、その第２の不等式が成立するように絞り値を調整してからステップＳ３１に戻り、上述のステップＳ３１以降の処理を繰り返す。例えば、（Ｑ_L2／Ｑ_H2−Ｑ_L1／Ｑ_H1）＞ＴＨ_R3、である場合は、絞り値を所定量増加させてから（実際の絞り３２の開度を所定量減少させてから）ステップＳ３１に戻る。一方、第２の不等式が成立する場合は、目標の被写界深度が達成されたとして図２３の処理を終え、その後、第１実施例で述べた図１５のステップＳ１６以降の各処理を行う。尚、ＴＨ_R3及びＴＨ_R4は、ＴＨ_R3＞ＴＨ_R4を満たす所定の正の閾値である。また、第２の不等式を「（Ｑ_L2／Ｑ_H2−Ｑ_L1／Ｑ_H1）≦ＴＨ_R3」に置換しても良い。

レンズ位置をＬ₁としている状態（即ち、顔にピントを合わせている状態）において、背景がぼけているとき、背景ＡＦ評価領域内の画像に高域周波数成分は殆ど存在しなくなるため、低カットオフ周波数の背景ＡＦ評価値はある程度の大きさを有する一方で高カットオフ周波数の背景ＡＦ評価値は随分小さくなる。一方、背景にもピントが合っているとき、低カットオフ周波数でも高カットオフ周波数でも背景ＡＦ評価値はある程度の大きさを有する。つまり、上述の比によって、背景のぼけ具合を推定可能である。このため、上述のような処理によって、第１実施例と同様の作用をもたらす目標の被写界深度を達成することが可能となる。

＜＜第３実施例＞＞
次に、第３実施例について説明する。上述の第１及び第２実施例では、１つのフレーム画像から１つの顔が検出される場合を想定した。第３実施例では、１つのフレーム画像から複数の顔が検出された場合を想定する。第３実施例に係る絞り制御機能を実現する主要部位のブロック図は、図３のそれと同じである。

図２５を参照して、第３実施例に係る絞り制御機能の実現動作を説明する。図２５は、この動作の流れを表すフローチャートである。本実施例（図２５）におけるステップＳ１０、Ｓ１１及びＳ１６〜Ｓ１８の各処理は、第１実施例（図１５）におけるそれらと同様である。

まず、撮像装置１の撮影モードにおいて、ステップＳ１０にて通常露出制御が行われる。ステップＳ１０に続くステップＳ１１では、図１のシャッタボタン２６ｂが半押しされたか否かが判断される。シャッタボタン２６ｂが半押しされていない時はステップＳ１０に戻って通常露出制御が繰り返される。シャッタボタン２６ｂが半押しされている場合は、ステップＳ４１に移行して、顔検出部４１が顔検出処理を行って、現在のフレーム画像内に複数の顔が存在しているかを判断する。

そして、フレーム画像内に顔が１つしか存在していないと判断された時、或いは、顔が全く存在していないと判断された時の動作は、第１又は第２実施例に係るそれと同様である。以下、フレーム画像内に複数の顔が存在している場合の動作について説明する。この場合、ステップＳ４２にて、フレーム画像から複数の顔に対応する複数の顔領域を抽出する。今、図２６に示す如く、フレーム画像内に６つの顔が存在している場合を想定する。そして、６つの顔に対応して、６つの顔領域５０１〜５０６が抽出されたとする。顔検出部４１は、各顔に対応する顔検出情報（図１１参照）を作成してＣＰＵ２３に伝達する。

その後、ステップＳ４３に移行し、ＣＰＵ２３は、６つの顔領域５０１〜５０６の中から１つの顔領域を選択する。選択された１つの顔領域を選択顔領域とも呼ぶ。この選択の手法例として、以下に第１〜第６選択手法を例示する。

まず第１選択手法を説明する。第１選択手法並びに後述する第２及び第３選択手法では、６つの顔領域５０１〜５０６の夫々に対して個別に、第１実施例で説明した被写界深度評価値（α）が算出される。個々の被写界深度評価値の算出法は、第１実施例で述べたものと同様である。そして、顔領域５０１〜５０６に対応する６つの被写界深度評価値の内、最大の被写界深度評価値を特定し、その最大の被写界深度評価値に対応する顔領域を選択顔領域とする。

一方、第２選択手法では、顔領域５０１〜５０６に対応する６つの被写界深度評価値の内、最小の被写界深度評価値を特定し、その最小の被写界深度評価値に対応する顔領域を選択顔領域とする。

また、第３選択手法では、顔領域５０１〜５０６に対応する６つの被写界深度評価値の内、中間の値を有する被写界深度評価値を特定し、その中間の値を有する被写界深度評価値に対応する顔領域を選択顔領域とする。尚、偶数個の顔領域が抽出された場合、中間の値を略中間の値と読み替えればよい。即ち、本実施例の如く６つの顔領域５０１〜５０６が抽出された場合、６つの被写界深度評価値の内、３番目又は４番目に大きい被写界深度評価値に対応する顔領域を選択顔領域とすればよい。

次に第４選択手法を説明する。第４選択手法並びに後述する第５及び第６選択手法では、まず、図１９の曲線３００を描くようなレンズ位置と顔ＡＦ評価値との関係を各顔領域に対して求めて、各顔に対する被写体距離を求める。

即ち、次々と得られる各フレーム画像に対して６つの顔領域５０１〜５０６に対応する６つの顔ＡＦ評価領域を設定し、レンズ位置を所定間隔で光軸方向に移動させながら、各顔ＡＦ評価領域に対する顔ＡＦ評価値を次々と求める。図２７に、これによって得られる、レンズ位置と顔ＡＦ評価値との関係を表す曲線５１１〜５１６を示す。曲線５１１〜５１６は、夫々、顔領域５０１〜５０６に対応する該関係である。

今、顔領域５０１の顔ＡＦ評価値に最大値を与えるレンズ位置をＬ₁₁とする。同様に、顔領域５０２、５０３、５０４、５０５、５０６の顔ＡＦ評価値に最大値を与えるレンズ位置を、夫々、Ｌ₁₂、Ｌ₁₃、Ｌ₁₄、Ｌ₁₅、Ｌ₁₆とする。そして、Ｌ₁₁、Ｌ₁₂、Ｌ₁₃、Ｌ₁₄、Ｌ₁₅、Ｌ₁₆の順番で、レンズ位置が至近端から無限端側に遷移すると仮定する。つまり、６つの顔の内、顔領域５０１に対応する顔の被写体距離が最も短く、顔領域５０６に対応する顔の被写体距離が最も長いと仮定する。

第４選択手法並びに後述する第５及び第６選択手法では、レンズ位置Ｌ₁₁、Ｌ₁₂、Ｌ₁₃、Ｌ₁₄、Ｌ₁₅及びＬ₁₆にて特定される各顔の被写体距離に基づいて、選択顔領域を設定する。第４選択手法では、６つの顔の内、最も被写体距離が短い顔についての顔領域を選択顔領域とする。上記の仮定の下では、顔領域５０１が選択顔領域とされる。

一方、第５選択手法では、６つの顔の内、最も被写体距離が長い顔についての顔領域を選択顔領域とする。上記の仮定の下では、顔領域５０６が選択顔領域とされる。

また、第６選択手法では、６つの顔の内、被写体距離が中間となる顔についての顔領域を選択顔領域とする。尚、偶数個の顔領域が抽出された場合、中間を略中間と読み替えればよい。即ち、本実施例の如く６つの顔領域５０１〜５０６が抽出された場合、上記の仮定の下では、顔領域５０３又は５０４が選択顔領域とされる。

ステップＳ４３にて１つの顔領域が選択された後、ステップＳ４４に移行する。以下、顔領域５０１が選択顔領域とされた場合を想定する。ステップＳ４４以降の動作は、基本的に第１実施例におけるそれと同様である。但し、絞り値の調整手法として、第２実施例に記載の手法を適用しても良い。

即ち、ステップＳ４４では、選択された顔領域についての顔検出情報に基づいて、第１実施例と同様に被写界深度評価値（α）が算出され、その被写界深度評価値（α）に基づいて目標の被写界深度が設定される。尚、ステップＳ４３の処理の段階にて被写界深度評価値が既に算出されている場合は、ステップＳ４４にて改めてそれを算出する必要はない。

そして、続くステップＳ４５において、第１実施例と同様、目標の被写界深度に基づいて設定されるべき目標の絞り値を算出し、その目標の絞り値に従った開度になるようにＣＰＵ２３は図２の絞り３２の開度を制御する。但し、上記の第４選択手法の説明で述べたように顔領域５０１〜５０６の各被写体距離を算出し、各被写体距離に基づいて６つの顔の全てが被写界深度内に収まるように絞り値を設定するようにする。この際、レンズ位置は、選択顔領域としての顔領域５０１に最適な位置（即ち、Ｌ₁₁）とする。

この後、ステップＳ１６に移行し、求められた絞り値に従った最適な露出制御を行い、シャッタボタン２６ｂが全押しされたならば（ステップＳ１７）、ステップ１８にて静止画の撮影が行われる。この際、この静止画の露光を開始する前に、実際のレンズ位置がＬ₁₁となり且つ実際の絞り値がステップＳ４５で算出された絞り値となるように、ＣＰＵ２３によって、フォーカスレンズ３１の位置及び絞り３２の開度が制御される。また、この静止画の撮影時における露光時間及びＡＦＥ１２における増幅度は、ステップＳ１６での露出制御に従う。得られた静止画を表す画像データは、図１の圧縮処理部１６を介してメモリカード１８に格納される。

尚、撮影モードには、人物の撮影に適したポートレートモードと、風景の撮影に適した風景モードと、それらのどちらにも属さないオートモードと、が含まれている。図１の操作部２６に対する操作によって、ポートレートモード、風景モード及びオートモードの何れのモードにて撮影を行うかを設定することができる。

一方、ステップＳ４３において、第１又は第４選択手法を採用した場合、顔により着目したピント合わせが実行されることになり、第２又は第５選択手法を採用した場合、背景により着目したピント合わせが実行されることになる。従って例えば、ポートレートモードが設定されている場合は上述の第１又は第４選択手法を採用し、風景モードが設定されている場合は上述の第２又は第５選択手法を採用し、オートモードが設定されている場合は上述の第３又は第６選択手法を採用して選択顔領域を定めるようにするとよい。

＜＜第４実施例＞＞
ところで、上述の第１〜第３実施例は、撮像装置１の周辺照度が或る程度確保されており、絞り３２を絞ったとしても所望の画像明るさが得られる状態を想定している。仮に、周辺照度が低く、絞り３２を絞ると映像信号のＳ／Ｎ比（信号対雑音比）が悪くなりすぎると判断される場合は、第１〜第３実施例にて述べた処理を行わず、以下に述べる処理を行うことも可能である。この処理を説明する実施例として第４実施例を説明する。

図２８は、第４実施例に係る上記処理を実現する主要部位のブロック図である。図２８におけるＣＰＵ２３、顔検出部４１、ＡＥ評価部４２及びＡＦ評価部４３は、第１実施例（図３）に係るそれらと同様のものである。ＮＲ処理部４４は、図１の映像信号処理部１３に含まれている。

ＮＲ処理部４４は、ＡＦＥ１２の出力信号に基づくフレーム画像の映像信号に対してノイズ低減処理（以下、ＮＲ処理という）を施し、ＮＲ処理後の映像信号を出力する。ＮＲ処理として、具体的には例えば平滑化処理を行う。そして、ＮＲ処理部４４は、ＣＰＵ２３の制御の下、ＮＲ処理として比較的ノイズ低減効果が小さい弱ＮＲ処理と比較的ノイズ低減効果が大きい強ＮＲ処理とを実行可能となっている。

弱ＮＲ処理の実行時には、例えば、画像のぼけが生じにくいように、エッジ保存フィルタ等の非線形フィルタを用いた平滑化処理を、指定された画像の映像信号に対して施す。

一方、強ＮＲ処理の実行時には、例えば、画像を積極的にぼかすべく、図２９（ａ）に示すような移動平均フィルタや図２９（ｂ）に示すような加重平均フィルタを用いた平滑化処理を、指定された画像の映像信号に対して施す。図示の簡略化上、図２９（ａ）及び（ｂ）に示されたフィルタのサイズは３×３となっているが、強ＮＲ処理に用いるフィルタのサイズは、３×３以外であっても良い。

今、撮影モードにおいて、シャッタボタン２６ｂが半押しされ且つ半押し後のフレーム画像から１つの顔領域が抽出されたとする。そうすると、第１実施例と同様、その顔領域についての顔検出情報が生成され、その顔検出情報に基づき被写界深度評価値αが算出されて目標の被写界深度が決定される（図１５のステップＳ１０〜Ｓ１４参照）。そして、この場合において、周辺照度が低く、絞り３２を絞ると映像信号のＳ／Ｎ比が悪くなりすぎると判断されたとする。

この場合、ＣＰＵ２３は、目標の被写界深度の如何に関わらず、絞り３２が開放されるように（絞り３２の開度が最大となるように）図２のドライバ３４を制御する。その上で、図２の撮像素子３３の露光時間及び図１のＡＦＥ１２における増幅度を制御対象として、露出制御を行う。即ち、最新のフレーム画像のＡＥ評価値（即ち、画像全体の輝度平均）が所定の明るさ目標値になるように、制御対象（露光時間及び増幅度）を制御する。

この場合において、α≧０が成立して目標の被写界深度を比較的浅くすると決定された場合は、ＮＲ処理部４４にて背景ぼかし処理が行われるように、ＣＰＵ２３はＮＲ処理部４４を制御する。背景ぼかし処理とは、顔領域を含む弱ＮＲ対象領域内の画像に対して弱ＮＲ処理を施す一方でそれ以外の強ＮＲ対象領域の画像に対して強ＮＲ処理を施す画像処理である。他方、α＜０が成立して目標の被写界深度を比較的深くすると決定された場合は、背景ぼかし処理は行われない（例えば、フレーム画像の全体領域に対して弱ＮＲ処理が施される）。

図３０（ａ）を参照して、１つのフレーム画像６００の全体領域を弱ＮＲ対象領域と強ＮＲ対象領域に領域分割する手法を説明する。フレーム画像６００内において、符号６０１が付された矩形領域は抽出された顔領域である。今、顔領域６０１の顔における両目間の中心から口の中心に向かう方向を下方向と定義する。顔検出ができるならば、必然的に、顔検出部４１内で該下方向を特定可能である。そうすると、フレーム画像６００において、通常、顔領域６０１の下方向には人物の胴体や腕などが描画されるはずである。そこで、ＣＰＵ２３は、顔検出部４１からの上記下方向を特定する情報を参照しつつ、フレーム画像６００内における顔領域６０１の位置から人物の胴体等の描画領域を推定する。図３０（ａ）において、符号６０２が付された矩形領域は、この推定された描画領域を表している。この描画領域６０２と顔領域６０１の合成領域を弱ＮＲ対象領域とし、フレーム画像６００の全体領域から弱ＮＲ対象領域を除いた領域を強ＮＲ対象領域とする。

そして、ＮＲ処理部４４は、上述の背景ぼかし処理を実現すべく、フレーム画像の弱ＮＲ対象領域内の各画素の映像信号に対して例えばエッジ保存フィルタを用いた平滑化処理を行い、且つ、フレーム画像の強ＮＲ対象領域内の各画素の映像信号に対して例えば移動平均フィルタを用いた平滑化処理を行う。そして、各平滑化処理後の映像信号を出力する。そうすると、背景の画像部分がぼかされ、結果的に、図１７（ａ）に示されるような画像が得られることになる。シャッタボタン２６ｂが全押しされた場合は各平滑化処理後の映像信号が、静止画撮影指示に従って取得されるべき静止画の画像データとして、図１の圧縮処理部１６を介してメモリカード１８に格納される。

本実施例によれば、低照度時でも、撮影者の意図に合致した演出効果を特別な操作無しに得ることが可能となる。

尚、背景ぼかし処理において、弱ＮＲ対象領域内の画像に対して平滑化処理等のノイズ低減処理を全く行わず、強ＮＲ対象領域内の画像に対してのみ平滑化処理等のノイズ低減処理を行うようにしてもよい。また、強ＮＲ処理は、画像をぼかすための画像処理（信号処理）であり、その画像処理を行う際におけるＮＲ処理部４４はぼかし処理部として機能する。

また、半押し後のフレーム画像から複数の顔領域が抽出された場合は、第３実施例に記載の手法が適用される。即ち、第３実施例と同様、複数の顔領域から１つの顔領域を選択し、選択した顔領域の顔検出情報に基づいて被写界深度評価値αを算出して目標の被写界深度を決定する。そして、背景ぼかし処理を行う場合は、フレーム画像の全体領域において、その複数の顔領域を含む領域を弱ＮＲ対象領域とし、それ以外の領域を強ＮＲ対象対象領域とすればよい。この場合でも、各顔領域に対応する各人物の胴体等の描画領域も弱ＮＲ対象領域に含めると良い。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図３又は図２８に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。図３又は図２８に示される各部位にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［注釈２］
例えば、図３に示される各部位によって絞り制御装置が形成される。この絞り制御装置に、図２のドライバ３４が含まれていると考えても構わない。また例えば、図２８に示される各部位によって画像処理装置が形成される。

発明の実施の形態に係る撮像装置の全体ブロック図である。 図１の撮像部１１の内部ブロック図である。 本発明の第１実施例に係る絞り制御機能を実現する主要部位のブロック図である。 図３の顔検出部の内部ブロック図である。 図４の顔検出処理部に与えられる検出対象画像内において判定領域が走査される様子を表す図である。 図４の顔検出処理部による顔検出処理の動作手順を表すフローチャートである。 判定領域内の画像から４方向の第１エッジ強調画像を生成する際に用いる微分フィルタを表す図である。 判定領域内の画像から生成される、４方向の第１エッジ強調画像と４方向の第２エッジ強調画像を表す図である。 判定領域内の画像から生成される４方向の特徴画像を表す図である。 図４の顔辞書メモリに格納される重みテーブルの内容例を表す図である。 図４の顔検出処理部にて生成される顔検出情報を示す図である。 フレーム画像から抽出される顔領域を説明するための図である。 フレーム画像から抽出される顔領域の座標情報を示す図である・ 図３のＡＦ評価部の内部ブロック図である。 本発明の第１実施例に係り、図３の各部位の動作の流れを表すフローチャートである。 フレーム画像内の顔の位置等と、設定される目標の被写界深度等と、の関係を示す図である。 各絞り値に対応したフレーム画像を表す図である。 目標の被写界深度を設定するための各評価値が顔検出情報に依存する様子を示す図である。 顔ＡＦ評価値とフォーカスレンズ位置との関係及び背景ＡＦ評価値とフォーカスレンズ位置との関係を表す図である。 図１９の顔ＡＦ評価値及び背景ＡＦ評価値に対応する顔ＡＦ評価領域及び背景ＡＦ評価領域を表す図である。 被写界深度を説明するための図（ａ）と、設定される被写界深度と顔及び背景との関係を示す図（ｂ）（ｃ）である。 露出制御を行うための各評価値が顔検出情報に依存する様子を示す図である。 本発明の第２実施例に係る絞り値の調整手法の処理手順を示すフローチャートである。 本発明の第２実施例に係る絞り値の調整手法を説明するための図である。 本発明の第３実施例に係り、図３の各部位の動作の流れを表すフローチャートである。 １つのフレーム画像から複数の顔領域が抽出される様子を示す図である。 図２６の各顔領域に対する顔ＡＦ評価値とフォーカスレンズ位置との関係を表す図である。 本発明の第４実施例に係る背景ぼかし処理を実現する主要部位のブロック図である。 図２８のＮＲ処理部にて用いられるフィルタの例を示す図である。 本発明の第４実施例に係り、フレーム画像が領域分割される様子を示す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１３ 映像信号処理部
２３ ＣＰＵ
３１ フォーカスレンズ
３２ 絞り
３３ 撮像素子
３４ ドライバ
４１ 顔検出部
４２ ＡＥ評価部
４３ ＡＦ評価部
４４ ＮＲ処理部
５１ 画像縮小部
５２ 顔検出処理部
５３ 顔辞書メモリ

Claims (15)

1. 絞りを介した入射光を光電変換する撮像素子の出力信号に基づき、前記絞りの開度を調節する絞り制御装置において、
   前記撮像素子の出力信号に基づく撮影画像から顔を検出する顔検出手段を備え、
   前記撮影画像に含まれる顔の向きに基づいて前記開度を調節する
   ことを特徴とする絞り制御装置。
2. 更に、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、の内の少なくとも１つに基づいて前記開度を調節する
   ことを特徴とする請求項１記載の絞り制御装置。
3. 前記位置が前記撮影画像上の第１位置にあるときに前記開度が比較的大きくなり且つ前記位置が前記撮影画像上の第２位置にあるときに前記開度が比較的小さくなるように、前記開度を調節し、
   前記第１位置は、前記第２位置よりも、前記撮影画像の中心位置に近い
   ことを特徴とする請求項２に記載の絞り制御装置。
4. 前記大きさが比較的大きいときに前記開度が比較的大きくなり且つ前記大きさが比較的小さいときに前記開度が比較的小さくなるように、前記開度を調節する
   ことを特徴とする請求項２または請求項３に記載の絞り制御装置。
5. 前記顔検出手段は、前記撮影画像に含まれる顔の前記向きが正面向きであるか横向きであるかを区別して検出可能であり、
   前記向きが正面向きであるときに前記開度が比較的大きくなり且つ前記向きが横向きであるときに前記開度が比較的小さくなるように、前記開度を調節する
   ことを特徴とする請求項１〜請求項４の何れかに記載の絞り制御装置。
6. 前記顔検出手段は、前記撮影画像内で走査される判定領域内の画像と所定の基準顔画像との類似度を評価することによって、前記撮影画像から顔を検出し、
   当該絞り制御装置は、更に前記類似度をも考慮して前記開度を調節する
   ことを特徴とする請求項１〜請求項５の何れかに記載の絞り制御装置。
7. 前記類似度が比較的高いときに前記開度が比較的大きくなり且つ前記類似度が比較的低いときに前記開度が比較的小さくなるように、前記開度を調節する
   ことを特徴とする請求項６に記載の絞り制御装置。
8. 撮像素子の出力信号に基づく撮影画像から顔を検出して顔領域を抽出する顔検出手段と、
   前記撮影画像の一部領域内の画像をぼかすためのぼかし画像処理を実行可能なぼかし処理手段と、を備え、
   前記ぼかし処理手段は、前記撮影画像に含まれる顔の向きに基づいて前記ぼかし画像処理を実行するか否かを決定し、
   前記一部領域と前記顔領域が互いに重なり合わないように、前記撮影画像に含まれる顔の前記撮影画像上の位置に基づいて前記一部領域は設定される
   ことを特徴とする画像処理装置。
9. 前記ぼかし処理手段は、更に、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさの内の少なくとも１つに基づいて前記ぼかし画像処理を実行するか否かを決定することを特徴とする請求項８に記載の画像処理装置。
10. 請求項１〜請求項７の何れかに記載の絞り制御装置、絞り及び撮像素子を備えた
    ことを特徴とする撮像装置。
11. 請求項８又は９に記載の画像処理装置及び撮像素子を備えた
    ことを特徴とする撮像装置。
12. 絞りを介した入射光を光電変換する撮像素子の出力信号に基づき、前記絞りの開度を調節する絞り制御方法において、
    前記撮像素子の出力信号に基づく撮影画像から顔を検出し、
    前記撮影画像に含まれる顔の向きに基づいて前記開度を調節する
    ことを特徴とする絞り制御方法。
13. 更に、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、の内の少なくとも１つに基づいて前記開度を調節する
    ことを特徴とする請求項１２に記載の絞り制御方法。
14. 撮像素子の出力信号に基づく撮影画像から顔を検出して顔領域を抽出する顔検出ステップと、
    前記撮影画像の一部領域内の画像をぼかすためのぼかし画像処理を実行可能なぼかし処理ステップと、を備え、
    前記ぼかし処理ステップでは、前記撮影画像に含まれる顔の向きに基づいて前記ぼかし画像処理を実行するか否かを決定し、
    前記一部領域と前記顔領域が互いに重なり合わないように、前記撮影画像に含まれる顔の前記撮影画像上の位置に基づいて前記一部領域は設定される
    ことを特徴とする画像処理方法。
15. 前記ぼかし処理ステップでは、更に、前記撮影画像に含まれる顔の、前記撮影画像上の位置、前記撮影画像上の大きさ、の内の少なくとも１つに基づいて前記ぼかし画像処理を実行するか否かを決定することを特徴とする請求項１４に記載の画像処理方法。