JP6148431B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関し、特には顔の表情を検出する機能を有する撮像装置及びその制御方法に関する。

近年、顔の表情、特に人物の顔の表情を検出する技術が実用化されてきており、人物の笑顔が検出されると自動で撮像するモードを備えた撮像装置が知られている。

特許文献１では、人物の笑顔を検出すると自動で撮像する撮像装置において、シャッタースイッチが半押しされると焦点検出及び絞り制御を行い、シャッタースイッチがさらに押されると笑顔検出処理を開始し、笑顔が検出できたら撮像することが記載されている。

特開２００９−００５３１６号公報

人物の笑顔を検出すると自動的に撮像する機能（笑顔シャッター機能）を備えた撮像装置において、笑顔検出と並行してオートフォーカス処理を連続的に行う場合がある。このような場合に、笑顔検出の対象である人物の距離とレンズの焦点距離とが大きくずれている（非合焦状態）と、ぼやけた画像から笑顔検出をおこなうために、誤って笑顔と判定してしまうことがあった。

本発明の一目的は、被写体の特定の表情の検出に応じて予め定められた動作を行う機能を有する撮像装置において、自動焦点検出処理と表情検出処理とが並行して行われうる場合であっても良好な表情検出精度を実現することにある。

上述の目的は、撮像された画像のコントラストに基づいて撮像光学系の自動焦点検出を行う焦点検出手段と、撮像された画像から被写体の特定の表情を検出する表情検出手段と、制御手段と、を有し、焦点検出手段による自動焦点検出と前記表情検出手段による表情検出とを並行して実行し、自動焦点検出中であっても被写体の特定の表情が検出された時点で撮像を実行する撮像装置であって、焦点検出手段は、撮像光学系に含まれるフォーカシングレンズを駆動しながら合焦ピークを探索する動作を含む複数の動作を実行して自動焦点検出を行い、制御手段は、焦点検出手段の動作状態に応じて表情検出手段を制御するものであり、焦点検出手段が自動焦点検出中の前記複数の動作状態にあって撮像光学系に含まれるフォーカシングレンズを駆動しながら合焦ピークを探索する動作状態にある場合は、表情検出手段による表情検出の実行を許可しないことを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、被写体の特定の表情の検出に応じて予め定められた動作を行う機能を有する撮像装置において、自動焦点検出処理と表情検出処理とが並行して行われうる場合であっても良好な表情検出精度を実現することができる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルスチルカメラの機能構成例を示すブロック図。 本発明の実施形態に係るデジタルスチルカメラの全体的な動作を説明するためのフローチャート。 本発明の実施形態に係るデジタルスチルカメラの全体的な動作を説明するためのフローチャート。 図３のＳ３０４の処理の例を説明するためのフローチャート。 図４のＳ４０４の処理の例を説明するためのタイミングチャート。 図４のＳ４０４の処理の別の例を説明するためのタイミングチャート。

以下、図面を参照して本発明の例示的な実施形態を詳細に説明する。
図１は、本発明に係る撮像装置の一例としてのデジタルスチルカメラ（ＤＳＣ）１００の構成例を示すブロック図である。
レンズ１０は、フォーカシングレンズを有し、自動焦点検出可能な撮像光学系を構成する。また、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する、ＣＣＤやＣＭＯＳセンサ等の撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

タイミング発生部１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給し、メモリ制御部２２及びシステム制御部５０により制御される。
画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、焦点制御部４２を制御し、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）、ＡＥ（自動露出）、ＥＦ（フラッシュプリ発光）機能を実現している。
さらに、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。
Ａ／Ｄ変換器１６の出力データが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６の出力データが直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介してＬＣＤや有機ＥＬディスプレイ等の画像表示部２８により表示される。撮像した画像データを画像表示部２８で逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはＤＳＣ１００の電力消費を大幅に低減することができる。

メモリ３０は撮像した静止画像や動画像を格納する記憶装置であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。そのため、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等を用いた周知のデータ圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
露光制御部４０は絞り機能を備えるシャッター１２を制御するとともに、フラッシュ４８と連携することによりフラッシュ調光機能も有する。

焦点制御部４２はレンズ１０のフォーカシングを制御し、ズーム制御部４４はレンズ１０のズーミングを制御する。バリア制御部４６はレンズ１０の保護を行うためのレンズバリア１０２の動作を制御する。
フラッシュ４８は撮像時の補助光源として機能し、調光機能も有する。また、ＡＦ補助光の投光機能も有する。

露光制御部４０、焦点制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、焦点制御部４２に対して制御を行う。

システム制御部５０は例えばＣＰＵであり、メモリ５２に記憶されたプログラムを実行することによりＤＳＣ１００全体を制御する。メモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。

表示部５４は例えばＬＣＤやＬＥＤ、スピーカ等の出力装置の組み合わせにより構成され、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を出力する。表示部５４はＤＳＣ１００の操作部７０近辺の視認し易い位置に、単数或いは複数設置される。また、表示部５４の一部は光学ファインダー１０４内に設置されている。

表示部５４の表示内容としては、以下のようなものを例示できる。シングルショット／連写撮像表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮像可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示。フラッシュ表示、赤目緩和表示、マクロ撮像表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示。通信Ｉ／Ｆ動作表示、日付け・時刻表示、外部コンピュータとの接続状態を示す表示、合焦表示、撮像準備完了表示、手振れ警告表示、フラッシュ充電表示、記録媒体書き込み動作表示、等。この一部は光学ファインダー１０４内に表示される。

表示部５４の表示内容のうち、ＬＥＤ等により表示するものは例えば以下のようなものである。合焦表示、撮像準備完了表示、手振れ警告表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮像設定通知表示、二次電池充電状態表示、等。

そして、表示部５４の表示内容のうち、ランプ等により表示するものとしては、例えば、セルフタイマー通知ランプ、等がある。このセルフタイマー通知ランプは、ＡＦ補助光と共用して用いても良い。
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。

モードダイヤル６０、第１シャッタースイッチＳＷ１ ６２、第２シャッタースイッチＳＷ２ ６４、及び操作部７０は、システム制御部５０に各種の動作指示を入力するための操作手段を構成する。操作手段は、ボタン、スイッチ、ダイヤル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。
モードダイヤル６０は、例えば電源オフ、自動撮像モード、プログラム撮像モード、パノラマ撮像モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのスイッチである。

第１シャッタースイッチＳＷ１ ６２は、ＤＳＣ１００に設けられたシャッターボタン（図示せず）の操作途中（半押し）でＯＮとなる。第１シャッタースイッチＳＷ１ ６２のＯＮは、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

第２シャッタースイッチＳＷ２ ６４は、不図示のシャッターボタンの操作完了（全押し）でＯＮとなる。第２シャッタースイッチＳＷ２ ６４のＯＮは以下の処理の開始を指示する。撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データとして書き込む露光処理。画像処理部２０やメモリ制御部２２での演算を用いた現像処理。メモリ３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理。

操作部７０は各種ボタンやタッチパネル等からなる。例示すれば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン。メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮像画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、圧縮モードスイッチ等である。

圧縮モードスイッチは、ＪＰＥＧ(Joint Photographic Expert Group)圧縮の圧縮率を選択するため、或いは撮像素子の信号をそのままディジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである。

本実施形態において、ＪＰＥＧ圧縮のモードは、例えばノーマルモードとファインモードが用意されている。ＤＳＣ１００の利用者は、撮像した画像のデータサイズを重視する場合はノーマルモードを、撮像した画像の画質を重視する場合はファインモードを、それぞれ選択して撮像を行うことができる。
ＪＰＥＧ圧縮のモードにおいては、圧縮伸長部３２が、メモリ３０に書き込まれた画像データを読み出し、設定された圧縮率に圧縮した後、例えば記録媒体２００に記録する。

ＲＡＷモードでは、撮像素子１４の色フィルタの画素配列に応じて、ライン毎にそのまま画像データを読み出し、Ａ／Ｄ変換器１６、メモリ制御部２２を介して、メモリ３０に書き込まれた画像データを読み出し、記録媒体２００に記録する。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

電源８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いはＡＣアダプター等からなり、コネクタ８２及び８４によってＤＳＣ１００に取り付けられる。

メモリカードやハードディスク等の記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２、２１２と、ＤＳＣ１００とのインターフェース２０４、２１４及びコネクタ２０６、２１６を有している。記録媒体２００及び２１０は、媒体側のコネクタ２０６、２１６とＤＳＣ１００側のコネクタ９２、９６とを介してＤＳＣ１００に装着される。コネクタ９２、９６にはインターフェース９０及び９４が接続される。記録媒体２００及び２１０の装着有無は、記録媒体着脱検知部９８によって検知される。

なお、本実施形態ではＤＳＣ１００が記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数を含む任意の数備えることができる。また、系統毎に異なる規格のインターフェース及びコネクタを用いても良い。
インターフェース及びコネクタとしては、各種規格に準拠したものを用いることができる。

さらに、インターフェース９０及び９４、そしてコネクタ９２及び９６を各種規格に準拠したものを用いて構成した場合、各種通信カードを接続すると、他のコンピュータやプリンタ等の周辺機器との間で画像データやその管理情報を転送し合うことができる。
レンズバリア１０２は、ＤＳＣ１００の、レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止する。

光学ファインダー１０４は例えばＴＴＬファインダーであり、プリズムやミラーを用いてレンズ１０を通じた光束を結像する。光学ファインダー１０４を用いることで、画像表示部２８による電子ファインダー機能を使用すること無しに撮像を行うことが可能である。また、上述したように、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などの情報表示がなされる。

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信処理を行う。
コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介してＤＳＣ１００を他の機器と接続する。

図２および図３は、ＤＳＣ１００の全体的な動作を説明するためのフローチャートである。
電池交換等の電源投入により、システム制御部５０はフラグや制御変数等を初期化し（Ｓ２０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（Ｓ２０２）。

システム制御部５０は、モードダイヤル６０の設定位置を判断し、モードダイヤル６０が電源ＯＦＦに設定されていたならば（Ｓ２０３）、所定の終了処理を行った後（Ｓ２０５）、Ｓ２０３に処理を戻す。ここで、終了処理には、例えば以下のような処理が含まれる。各表示部の表示を終了状態とする処理、レンズバリア１０２を閉じる処理。また、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録する処理。電源制御部８０により画像表示部２８を含むＤＳＣ１００各部の不要な電源を遮断する処理。

一方、Ｓ２０３でモードダイヤル６０がその他のモードに設定されていたならば、システム制御部５０は選択されたモードに応じた処理を実行し（Ｓ２０４）、処理をＳ２０３に戻す。

Ｓ２０３でモードダイヤル６０が撮像モードに設定されていたならば、システム制御部５０は、電源制御部８０により、電池等で構成される電源８６の残容量や動作情況を調べる（Ｓ２０６）。そして、ＤＳＣ１００が動作する上で電源８６に問題があるか否かを判断する。問題があれば、システム制御部５０は表示部５４を用いて画像や音声により所定の警告表示を行い（Ｓ２０８）、処理をＳ２０３に戻す。

電源８６に問題が無いならば（Ｓ２０６）、システム制御部５０は記録媒体２００或いは２１０がＤＳＣ１００の動作、特に記録再生動作において問題があるか否かを判断する（Ｓ２０７）。そして、問題があるなら、システム制御部５０は表示部５４を用いて画像や音声により所定の警告表示を行い（Ｓ２０８）、処理をＳ２０３に戻す。

記録媒体２００或いは２１０に問題が無いならば、画像表示部２８をファインダーとして機能させるため初期化処理をＳ２１０で行う。具体的には、システム制御部５０は、撮像素子１４、画像処理部２０、メモリ制御部２２等の、ライブビュー表示用の撮像画像（ライブビュー画像）を生成するために必要な構成要素を、撮像した映像信号を逐次表示するライブビュー画像表示状態に設定する。すなわち、ライブビュー画像表示状態は表示用の動画撮像に相当する。

撮像準備が完了したら、システム制御部５０は動画撮像を開始し、ライブビュー画像を画像表示部２８に表示開始する（Ｓ２１１）。

ライブビュー表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理部２０、メモリ制御部２２を介して、画像表示メモリ２４に逐次書き込まれた映像信号を、メモリ制御部２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。これにより、画像表示部２８を電子ビューファインダー（ＥＶＦ）として機能させることができる。また、システム制御部５０は画像処理部２０を用いた顔検出処理を開始する。この入力画像からの顔検出は、公知かつ任意の方法を適用できる。例えば、特開平４−３４６３３３号公報には、測光データを色相と彩度に変換し、変換した色相と彩度の二次元ヒストグラムを作成し、解析することで、顔を判断する方法が開示されている。また、特開平８−０６３５９７号公報においては、人の顔の形状に相当する顔候補を抽出し、その顔候補の領域から得られた特徴量から、実際に顔が存在する領域を絞り込む技術が開示されている。本実施形態の画像処理部２０は、画像から輝度情報を抽出し、この輝度情報から顔の構成要素を示す形状の部位を抽出することで、人物の顔を検出するものとする。

次に、ＤＳＣ１００の、ライブビュー画像表示状態における静止画撮像時の動作について図３〜図６のフローチャートを参照しながら説明する。
Ｓ３０１で、システム制御部５０はモードダイヤル６０の設定が変更されたかどうか確認する。設定の変更が検出された場合、システム制御部５０は処理をＳ２０３に戻し、モードダイヤル６０の状態に応じて処理を行う。変更されていなければ、システム制御部５０はＳ３０２で、ライブビュー画像の撮像で用いる露出条件を自動設定するＡＥ処理を行う。具体的には、画像処理部２０が撮像素子１４から得られた信号に対して所定の測光演算を行いその演算結果をメモリ３０に格納する。そして、システム制御部５０は、メモリ３０に格納された演算結果を元に、露光制御部４０を用いてライブビュー画像の撮像における自動露出制御処理を行う。露光制御部４０は、画像処理部２０によって顔が検出されていれば、この顔の輝度が適正値となるように露光制御を行う。

Ｓ３０３でシステム制御部５０は、コンティニュアスＡＦ処理を開始する。なお、合焦動作を１回行うＡＦをシングルＡＦ、継続的に合焦動作を行うＡＦをコンティニュアスＡＦと呼ぶ。コンティニュアスＡＦ処理による合焦動作の詳細は図５及び図６を用いて後述する。

Ｓ３０４でシステム制御部５０は、Ｓ３０３のコンティニュアスＡＦ処理の動作状態に応じて笑顔検出処理の実行が可能であるか判定する。笑顔検出処理の実行可否判定の詳細については図４を用いて後述する。システム制御部５０は、Ｓ３０４において笑顔検出処理の実行が可能と判定した場合には処理をＳ３１２に、笑顔検出処理の実行が不可と判定した場合には処理をＳ３０５にそれぞれ進める。

Ｓ３１２でシステム制御部５０は画像処理部２０を用いた笑顔検出処理を開始する。具体的には画像処理部２０が検出した人物の顔のうち、笑顔検出の対象となる顔を特定する。そして画像処理部２０は、笑顔検出の対象となる顔の個々の構成要素（例えば目や口など）に対して特徴量を演算して表情推定処理を行い、顔が笑顔である度合い（笑顔度）を算出する。笑顔度は例えば−５０〜＋５０といった数値で表される。

なお、顔の特徴量に基づく表情推定は公知かつ任意の方法を適用できる。本実施形態の画像処理部２０は、検出された顔が位置する領域に存在する目や口の構成要素の形状や相対位置関係から、その人物の表情や顔の動作を検出する。例えば、検出した顔領域において、目尻が下がり、口角が上がっていることを検出できた場合には、その顔における人物が笑顔になったものと判定する。画像処理部２０は、この目尻の下がり方と口角の上がり方に応じて、笑顔度を算出する。笑顔検出では、目尻の下がり方や口角の上がり方など、顔のより詳細な情報を必要とするため、顔検出に比較して笑顔検出のほうが高い解像度の入力画像を必要とする。

また、検出された顔から笑顔検出の対象となる顔を特定する方法についても特に制限はなく、どのような方法を用いてもよい。例えばユーザに指定させてもよいし、入力画像中における顔の位置（例えば最も中央に近い顔）や、顔の大きさ（例えば最も大きく検出されている顔）や、顔検出の信頼度（例えば信頼度が最も高い顔）といった１つ以上の条件に基づいて特定することができる。

Ｓ３１３でシステム制御部５０は、Ｓ３１２での笑顔検出処理で算出された笑顔度が所定の閾値以上であるか判定する。笑顔度が閾値以上の場合、システム制御部５０は処理をＳ３１４の静止画撮像処理に進める。これにより、笑顔の検出によって自動的に撮像が行われる笑顔シャッター機能が実現する。一方、算出された笑顔度が閾値に満たない場合、システム制御部５０は処理をＳ３０６に進め、ライブビュー画像表示を継続する。

Ｓ３０５でシステム制御部５０は笑顔検出処理を停止する。具体的には、システム制御部５０は、Ｓ３１２で笑顔検出処理が開始した後に笑顔検出処理の実行が不可と判定されるようになった場合に笑顔検出処理を停止し、処理をＳ３０６に進める。

Ｓ３０６でシステム制御部５０は画像表示部２８にライブビュー画像表示を継続して行うための処理を行い、処理をＳ３０７に進める。
Ｓ３０７でシステム制御部５０は、第１シャッタースイッチＳＷ１ ６２の状態を調べ、ＯＮでなければ処理をＳ２０３に戻し、ＯＮであれば処理をＳ３０８に進める。

Ｓ３０８でシステム制御部５０はシングルＡＦ処理を行う。具体的には、画像処理部２０が撮像素子１４から得られた信号に対して所定の焦点調整量の演算を行いその演算結果をメモリ３０に格納する。システム制御部５０はこの焦点調整量の演算結果を元に焦点制御部４２を用いてＡＦ処理を行い、レンズ１０の焦点を被写体に合わせる。システム制御部５０は入力画像から顔が検出されていれば、その顔に対する焦点調整量の演算を行い、焦点制御部４２を用いて、その顔にレンズ１０の焦点を合わせる。その後、システム制御部５０はライブビュー画像を画像表示部２８に表示させ（Ｓ３０９）、処理をＳ３１０に進める。

Ｓ３１０およびＳ３１１でシステム制御部５０は、第２シャッタースイッチＳＷ２ ６４及び第１シャッタースイッチＳＷ１ ６２の状態を調べる。第２シャッタースイッチＳＷ２ ６４がＯＦＦで、さらに第１シャッタースイッチＳＷ１ ６２ もＯＦＦになった場合、システム制御部５０は処理をＳ２０３に戻す。第２シャッタースイッチＳＷ２ ６４がＯＦＦで、第１シャッタースイッチＳＷ１ ６２がＯＮのままであれば、システム制御部５０はＳ３０９の処理を継続して実行する。第２シャッタースイッチＳＷ２ ６４がＯＮになったなら、システム制御部５０は処理をＳ３１４に進める。

Ｓ３１４からＳ３１６では静止画撮像処理が実行される。
Ｓ３１４でシステム制御部５０は、タイミング発生部１８に同期して撮像素子１４から映像信号の読み出しを開始する。撮像素子１４から逐次読みだされた映像信号をＡ／Ｄ変換器１６が画像データに変換し、メモリ３０に逐次格納する。続けて、画像処理部２０が、メモリ３０に格納した画像データに対して現像処理を実行する。現像処理には、ホワイトバランス補正処理、色補間処理、エッジ強調処理、ガンマ補正処理などが含まれる。その後、圧縮伸長部３２により、ＪＰＥＧ形式などに基づく符号化処理を行い、所定のヘッダを有するＪＰＥＧ画像ファイルを生成してメモリ３０内に保存する。

Ｓ３１５でシステム制御部５０は、メモリ３０に保存された画像ファイルを例えば記録媒体２００へ書き込む。Ｓ３１６でシステム制御部５０は、Ｓ３１４で撮像された画像をレビュー画像として画像表示部２８に表示して、静止画撮像処理を完了する。

Ｓ３１７でシステム制御部５０は第１シャッタースイッチＳＷ１ ６２の状態を調べ、ＯＮでなければ処理をＳ２０３に戻し、ＯＮであれば処理をＳ３０８に戻してライブビュー画像を表示し撮像待機状態に復帰する。

次に、図４に示すフローチャートを用いて、Ｓ３０４における笑顔検出処理の実行可否判定の詳細を説明する。
Ｓ４０１でシステム制御部５０は、Ｓ３０３で開始したコンティニュアスＡＦ処理の動作状態を取得する。

後述するように、コンティニュアスＡＦには、
・フォーカシングレンズを駆動しながら合焦ピークを探索するための山登りＡＦ状態
・探索した合焦ピーク位置にフォーカシングレンズを移動させる目標位置移動状態
・合焦ピーク位置にフォーカシングレンズが到達した後の合焦状態を監視する監視状態
の３つの状態を順次実行することにより実現される。

Ｓ４０２でシステム制御部５０は、コンティニュアスＡＦの状態が山登りＡＦ状態かどうか判定する。コンティニュアスＡＦの状態が山登りＡＦ状態の場合、システム制御部５０は処理をＳ４０５に進め、笑顔検出処理の実行は不可と判定する。一方、コンティニュアスＡＦの状態が山登りＡＦ状態でない場合、システム制御部５０は処理をＳ４０４に進める。

Ｓ４０４でシステム制御部５０は、コンティニュアスＡＦ処理が目標位置移動状態もしくは監視状態であって、現在の合焦状態が合焦ピーク付近かどうか判定する。この定は図５を用いて後述するコントラスト値を用いた判定方法と、図６を用いて後述する焦点深度を用いた判定方法の２通りのどちらを用いてもよい。現在の合焦状態が合焦ピーク付近であると判定される場合、システム制御部５０は処理をＳ４０６に進め、笑顔検出処理の実行が可能であると判定する。一方、現在の合焦状態が合焦ピーク付近ではないと判定される場合、システム制御部５０は処理をＳ４０５に進め、笑顔検出処理の実行は不可と判定する。

図５は、コントラスト値を用いて図４のＳ４０４の判定を行う方法を説明するためのタイミングチャートである。
図５において、横軸が時間、縦軸がＡＦ評価値を示している。ＡＦ評価値は、画像中の所定の領域に含まれる信号に対してバンドパスフィルターや積分処理をおこなって得られる画像のコントラスト（輝度差）を数値化したものである。画像のコントラストは合焦度合によって変化し、合焦度合が低いほどコントラストが低下することが知られている。システム制御部５０は、山登りＡＦ状態では、焦点制御部４２を通じてフォーカスレンズを徐々に駆動しながらＡＦ評価値をチェックし、最も高いＡＦ評価値が得られるフォーカスレンズ位置を検索する。山登りＡＦは、ＡＦ評価値が高くなる方向にフォーカスレンズの位置を駆動するものであり、システム制御部５０は、ＡＦ評価値の極大値が見つからないうちは、山登りＡＦ状態を継続する。ＡＦ評価値の極大値が得られる合焦状態を合焦ピークと称し、システム制御部５０はこのときのＡＦ評価値（必要ならフォーカスレンズ位置も）を例えばメモリ３０に記憶する。ただし、ＡＦ評価値の極大値が得られても、そのときのＡＦ評価値が、合焦状態と判定するために十分な大きさに設定された閾値よりも低い場合には、合焦ピークの検索を終えていないと判断し、山登りＡＦ状態を継続する。反対に、ＡＦ評価値がこの閾値よりも高くとも、ＡＦ評価値の極大値が得られていない場合には、合焦ピークの検索を終えていないと判断し、山登りＡＦ状態を継続する。

山登りＡＦ処理によって合焦ピークの検索が終了すると、システム制御部５０は、コンティニュアスＡＦ処理を目標位置移動状態とし、焦点制御部４２を通じてフォーカスレンズを合焦ピークに対応した位置に移動させる。

そして、合焦ピークに対応する位置へフォーカスレンズの移動が完了すると、システム制御部５０はコンティニュアスＡＦ処理を監視状態とし、ＡＦ評価値の監視を開始する。そして、現在のフォーカスレンズ位置におけるＡＦ評価値が所定値以下になると、システム制御部５０は再び山登りＡＦ状態から処理を繰り返す。

本実施形態において、図４のＳ４０４で行う判定では、山登りＡＦ状態で検出された合焦ピークに対応するＡＦ評価値よりやや低い予め定めたＡＦ評価値（笑顔検出処理の制御閾値とよぶ）を超えていれば、現在の合焦状態が合焦ピーク付近であると判定する。すなわち、Ｓ４０４においてシステム制御部５０は、現在のＡＦ評価値が笑顔制御処理の制御閾値を超えている場合に、現在の合焦状態が合焦ピーク付近であると判定する。一方、現在のＡＦ評価値が笑顔検出処理の制御閾値に満たない場合、システム制御部５０は現在の合焦状態が合焦ピーク付近ではないと判定する。なお、この方法によれば、合焦ピークが見つかるまでは笑顔検出処理の制御閾値が設定できないため、システム制御部５０は、合焦ピークを見つけて、初めて笑顔検出処理の実行が可能であると判定する。

図６は、被写体距離を用いて図４のＳ４０４の判定を行う方法を説明するためのタイミングチャートである。
図６においても、図５と同様に、コンティニュアスＡＦ処理が山登りＡＦ状態から目標位置移動状態を経て監視状態へ移行する様子を示している。横軸が時間を示し、縦軸が焦点制御部４２の出力する、フォーカスレンズの駆動パルスのカウント数を示している。なお、駆動パルスのカウントは、フォーカスレンズを初期位置から移動させる場合に加算し、初期位置に戻す方向に移動させる場合に減算するものとする。従って、図６における駆動パルスのカウント数は、フォーカスレンズ位置の変化を表している。フォーカスレンズを初期位置から等速で駆動した場合、山登りＡＦ処理の終了まで駆動パルスのカウント数が一定の割合で増加し、目標位置へ移動する際にフォーカスレンズが初期位置方向へ戻る様子が示されている。また、図６においては、参考のために点線でＡＦ評価値の変化を示しているが、縦方向の縮尺は図６の縦軸と対応していない点に留意されたい。

山登りＡＦ状態においてＡＦ評価値がもっとも高いポイントが合焦ピークであり、システム制御部５０は合焦ピークに対応するフォーカスレンズの駆動パルスのカウント数を記憶する。駆動パルスは焦点位置（被写体距離）に換算することができるため、合焦ピークに対応する被写体距離を含み、その前後の所定の範囲内を合焦ピーク付近とする。システム制御部５０は、山登りＡＦ状態において合焦ピークが検出されると、合焦ピーク付近を定める２つの閾値を第１及び第２の笑顔検出処理の制御閾値として設定する。

そして、システム制御部５０は、Ｓ４０４において、焦点制御部４２から得られる現在の駆動パルスのカウント数が第１及び第２の笑顔検出処理の制御閾値の範囲内であれば、現在の合焦状態が合焦ピーク付近であると判定する。具体的には、第１の笑顔検出処理の制御閾値≦現在の駆動パルスのカウント数≦第２の笑顔検出処理の制御閾値であれば、現在の合焦状態が合焦ピーク付近であると判定する。一方、焦点制御部４２から得られる現在の駆動パルスのカウント数が第１及び第２の笑顔検出処理の制御閾値の範囲外であれば、システム制御部５０は現在の合焦状態が合焦ピーク付近でないと判定する。

なお、図３においてＳ３１２を笑顔判定処理の許可、Ｓ３０５を笑顔判定処理の禁止と置き換えることで、ライブビュー表示画像を用いて笑顔検出処理を常時実行しながら、笑顔判定処理のＯＮ／ＯＦＦを切り替えるように制御してもよい。つまり、笑顔検出処理の実行は継続しながら、笑顔検出処理の検出結果の利用を許可するか、利用を許可しないかを切り替えるように制御してもよい。

以上説明したように、本実施形態によれば、被写体の表情検出処理と画像のコントラストに基づく自動焦点検出処理とが並行して実行可能な撮像装置において、自動焦点検出処理の状態と、現在の合焦状態とを考慮して被写体の表情検出処理の実行可否を判定する。具体的には、自動焦点検出処理において合焦ピークが探索できていない状態であったり、合焦ピークが探索できていても現在の合焦状態が合焦ピーク付近でないと判定されたりした場合には、表情検出処理を実行しない。そのため、非合焦状態の画像に対して表情検出を実行して誤検出する可能性を低減することができ、例えば精度の高い笑顔シャッター機能を提供することが可能となる。また、非合焦状態においては笑顔検出処理を実行しないことにより、不要な演算処理を省略でき、電力を節約することも可能である。

なお、システム制御部５０が表情検出処理を実行しないと判定した場合や、表情検出処理結果の利用を許可しないと判定した場合であっても、画像処理部２０は、顔検出処理を実行し、この顔検出処理の結果を利用する。顔検出処理では、笑顔検出処理に比べて、入力画像に求められる解像度が低く、非合焦状態の画像に対しても誤検出しにくいためである。また、ＡＦ処理によって顔にレンズ１０の焦点を合わせるためには、顔が合焦状態となっていない入力画像から顔を検出し、この顔に対する焦点調整量の演算を行う必要があるためである。

（その他の実施形態）
特定の実施形態を参照しながら、本発明について説明してきたが、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。例えば、上述の実施形態では、本発明をデジタルスチルカメラに適用した場合について説明したが、本発明は携帯電話機や携帯情報端末(PDA)、パーソナルコンピュータ、メディアプレーヤなど、撮像装置を備える任意の機器に対して適用可能である。

また、本明細書では、被写体の特定の表情を検出する一例として笑顔の検出について説明したが、他の表情の検出であってもよい。また、特定の表情が検出されたことによって実行する機能として、自動撮像機能について説明したが、表情検出処理とオートフォーカス制御とが並行して実行される状態における他の任意の動作において適用可能である。例えば、動画撮像中に笑顔が検出された場合に自動的に静止画を撮像する機能や、笑顔のシーンにチャプター（しおり）を自動的に付加する機能を提示することができる。
要するに、上述の実施形態は本発明の単なる一例であり、本発明は上述の実施形態に限定的に解釈すべきものではない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (5)

1. 撮像された画像のコントラストに基づいて撮像光学系の自動焦点検出を行う焦点検出手段と、
   撮像された画像から被写体の特定の表情を検出する表情検出手段と、
   制御手段と、を有し、
   前記焦点検出手段による自動焦点検出と前記表情検出手段による表情検出とを並行して実行し、自動焦点検出中であっても被写体の特定の表情が検出された時点で撮像を実行する撮像装置であって、
   前記焦点検出手段は、前記撮像光学系に含まれるフォーカシングレンズを駆動しながら合焦ピークを探索する動作を含む複数の動作を実行して自動焦点検出を行い、
   前記制御手段は、
   前記焦点検出手段の動作状態に応じて前記表情検出手段を制御するものであり、前記焦点検出手段が自動焦点検出中の前記複数の動作状態にあって前記撮像光学系に含まれるフォーカシングレンズを駆動しながら合焦ピークを探索する動作状態にある場合は、前記表情検出手段による表情検出の実行を許可しないことを特徴とする撮像装置。
2. 前記焦点検出手段は、
   前記フォーカシングレンズを駆動しながら前記合焦ピークを探索する動作と、
   前記探索した合焦ピークの位置に前記フォーカシングレンズを移動させる動作と、
   前記合焦ピークの位置に前記フォーカシングレンズが到達した後の合焦状態を監視する動作と、
   を順次実行することにより継続的に自動焦点検出を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記焦点検出手段が前記合焦ピークを探索する動作を終了した後の動作状態にあっても、現在の合焦状態が合焦ピーク付近でないと判定した場合は、前記表情検出手段による表情検出の実行を許可しないことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記焦点検出手段は、前記合焦ピークにおいて最も高い値となる、合焦状態を表すＡＦ評価値を算出し、
   前記制御手段は、現在の前記ＡＦ評価値が予め定めた閾値に満たない場合に、前記現在の合焦状態が前記合焦ピーク付近でないと判定することを特徴とする請求項３に記載の撮像装置。
5. 撮像された画像のコントラストに基づく撮像光学系の自動焦点検出と、撮像された画像から被写体の特定の表情を検出する表情検出とを並行して実行し、自動焦点検出中であっても被写体の特定の表情が検出された時点で撮像を実行する撮像装置の制御方法であって、
   前記自動焦点検出は、前記撮像光学系に含まれるフォーカシングレンズを駆動しながら合焦ピークを探索する動作を含む複数の動作の実行を含み、
   前記自動焦点検出が自動焦点検出中の前記複数の動作状態にあって前記撮像光学系に含まれるフォーカシングレンズを駆動しながら合焦ピークを探索する動作状態にある場合は、前記表情検出の実行を許可しないように前記撮像装置を制御するステップを有することを特徴とする撮像装置の制御方法。

Images