JP5116652B2 - 撮像装置および笑顔記録プログラム - Google Patents

Description

この発明は、撮像装置および笑顔記録プログラムに関し、特にたとえば、被写界を繰り返し撮像して、笑顔が検知された後に作成された被写界画像を記録する、撮像装置および笑顔記録プログラムに関する。

この種の撮像装置の一例が、特許文献１に開示されている。この背景技術では、各被写界画像から顔画像を抽出して、顔画像の時系列変化を分析し、顔画像が所定のパターンと一致するタイミングを予測して本画像撮影を行うことで、笑顔検知から本画像撮影までのタイムラグの短縮を図っている。
特開２００７−２１５０６４号公報［H04N 5/232, G03B 15/00, G03B 17/38, H04N 101/00］

この種の撮像装置では、被写界内に複数の顔が存在する状況では、ユーザが目標とする笑顔とは異なる笑顔に応答して記録処理が実行されてしまい、目標の笑顔を記録できないことがあった。しかし、背景技術は、この課題を何ら解決するものではない。

それゆえに、この発明の主たる目的は、新規な、撮像装置および笑顔記録プログラムを提供することである。

この発明の他の目的は、目標の笑顔を高い確率で記録できる、撮像装置および笑顔記録プログラムを提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、撮像面上の撮像エリア内に結ばれた被写界像を繰り返し捉える撮像手段、操作手段を介したエリア指定操作に応答して撮像エリア内にスマイルエリアを割り当てる割り当て手段、撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う、笑顔記録手段を備える、撮像装置である。

第１の発明である撮像装置（１０）では、撮像面（１４ｆ）上の撮像エリア（Ｅｐ）内に結ばれた被写界像が撮像手段（１４，Ｓ２３１，Ｓ２４９）によって繰り返し捉えられる。操作手段（２６）を介したエリア指定操作が行われると、割り当て手段（Ｓ２３５）は撮像エリア内にスマイルエリア（Ｅｓ０〜Ｅｓ４）を割り当てる。笑顔記録手段（Ｓ２４１〜Ｓ２４７，Ｓ２５１）は、撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う。

第１の発明によれば、エリア指定操作によって笑顔記録の実行範囲をスマイルエリア内に制限することで、目標の笑顔が検知される前に目標以外の笑顔によって記録処理が実行される事態を回避できる。この結果、目標の笑顔を記録できる可能性が高まる。エリア指定操作を行わなければ、またはエリア指定操作後に解除操作を行えば、任意の笑顔を広範囲で記録できる。

第２の発明は、撮像面上に結ばれた被写界像を繰り返し捉える撮像手段、撮像手段によって作成された各被写界画像から顔画像を検出する検出手段、検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する判定手段、検出手段によって検出された少なくとも１つの顔画像についての判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像手段によって作成された被写界画像を記録媒体に記録する記録手段、特定モードで操作手段を介したエリア指定操作に応答して各被写界画像にエリアを割り当てる割り当て手段、および判定手段によって笑顔であると判定された顔画像と割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて記録手段による記録処理の実行を制限する制限手段を備える、撮像装置である。

第２の発明である撮像装置（１０）では、撮像面（１４ｆ）上に結ばれた被写界像が撮像手段（１４，Ｓ２５，Ｓ３９，Ｓ１０５，Ｓ１１３）によって繰り返し捉えられる。検出手段（Ｓ１６１〜Ｓ１７７）は撮像手段によって作成された各被写界画像から顔画像を検出し、判定手段（Ｓ７１〜Ｓ９７，Ｓ１２１〜Ｓ１３５）は検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する。記録手段（３６，Ｓ３１，Ｓ４１，Ｓ１１１，Ｓ１１５）は、検出手段によって検出された少なくとも１つの顔画像についての判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像手段によって作成された被写界画像を記録媒体（３８）に記録する。

特定モードで操作手段（２６）を介したエリア指定操作が行われると、割り当て手段（Ｓ６３）が各被写界画像にエリアを割り当て、制限手段（Ｓ３３〜Ｓ３７）は、判定手段によって笑顔であると判定された顔画像と割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて、記録手段による記録処理の実行を制限する。

第２の発明によれば、特定モードでは、ユーザによって指定されたエリアと検出手段および判定手段によって検知された笑顔との位置関係に基づいて、制限手段が記録手段の記録動作を制限することで、目標の笑顔が検知される前に目標以外の笑顔によって記録処理が実行される事態を回避できる。この結果、目標の笑顔を記録できる可能性が高まる。他のモードでは、このような制限がないので、任意の笑顔を広範囲で記録できる。

なお、ある実施例では、撮像手段は、当初スルー撮影を行っており、非笑顔状態から笑顔状態への変化に応じてスルー撮影を中断して本撮影を行い、記録手段は本撮影による被写界画像を記録する。他の実施例では、撮像手段は、当初動画撮影を行ってこれによる複数の被写界画像をメモリ（３０ｃ）に記憶しており、非笑顔状態から笑顔状態への変化に応じてメモリ（３０ｃ）からいずれかの被写界画像を読み出し、記録手段は読み出された被写界像を記録する。いずれの実施例でも、制限手段が記録手段による記録処理の実行を制限することで、目標の笑顔を高い確率で記録できる。

第３の発明は、第２の発明に従属する撮像装置であって、制限手段は、判定手段によって笑顔であると判定された顔画像が割り当て手段によって割り当てられたエリアの内部に位置するとき記録手段による記録処理の実行を許容する一方、判定手段によって笑顔であると判定された顔画像が割り当て手段によって割り当てられたエリアの外部に位置するとき記録手段による記録処理の実行を禁止する（Ｓ３３）。

第３の発明では、記録処理は、エリア外で笑顔が検知されても実行されず、エリア内で笑顔が検知されてはじめて実行される。

なお、制限手段は、記録手段による記録処理の実行を、ある実施例では当該記録手段自体を休止させることによって制限するが、他の実施例では判定手段を休止させることによって制限してもよく、これにより処理量が軽減される。または、判定手段の判定結果を無効化することによっても、制限は可能である。

第４の発明は、第３の発明に従属する撮像装置であって、検出手段によって検出された顔画像の１つにピントが合うようにフォーカス調整を行うフォーカス調整手段（１２，１６，Ｓ１５５）をさらに備え、制限手段は、割り当て手段によって割り当てられたエリアの内部にピントの合った顔画像とピントの合っていない顔画像とが存在する場合にはピントの合った顔画像に注目する（Ｓ３５，Ｓ３７）。

第４の発明では、エリア内にピントの合った顔画像とピントの合っていない顔画像とが混在する場合には、制限手段は、ピントの合った顔画像に注目する、すなわちピントの合っていない顔画像についての判定結果ではなくピントの合った顔画像についての判定結果に基づいて制限を行う。

第４の発明によれば、ピントの合った顔画像に注目することで、適正な笑顔判定が行えるので、目標の笑顔を記録できる可能性がいっそう高まる。

第５の発明は、第４の発明に従属する撮像装置であって、検出手段によって検出された顔画像のうち割り当て手段によって割り当てられたエリアの内部に位置する顔画像の１つにピントが合うようにフォーカス調整手段が参照するフォーカス評価エリア（Ｅｆｃｓ）の位置を制御する制御手段（Ｓ２２１，Ｓ２２３）をさらに備える。

ある実施例では、制限手段は、フォーカス調整手段によって参照されるフォーカス評価エリア（Ｅｆｃｓ）が割り当て手段によって割り当てられたエリア（指定スマイルエリア）の外部に位置するとき、フォーカス評価エリアを指定スマイルエリアの内部へと強制移動させる。

第５の発明によれば、目標の顔にピントが合う可能性が高まり、ひいては目標の笑顔を記録できる可能性がよりいっそう高まる。

第６の発明は、第１ないし第６のいずれかの発明に従属する撮像装置であって、エリア指定操作は複数の固定エリア（Ｅｓ０〜Ｅｓ４）から１つを指定する操作である。

第７の発明は、第６の発明に従属する撮像装置であって、複数の固定エリアは一部が互いに重複している。

第７の発明によれば、目標の顔がエリアの境界付近に位置するときのエリア指定操作が容易になる。

なお、エリア指定操作は、可変エリアに関して位置，大きさおよび形状の少なくとも１つを指定する操作でもよい。

第８の発明は、第１ないし第７のいずれかの発明に従属する撮像装置であって、撮像手段によって作成された各被写界画像に基づくスルー画像をディスプレイ（３４）に表示するスルー表示手段（３２）、およびエリア指定操作によって指定されたエリアを示す枠画像をディスプレイのスルー画像上に描画する描画手段（４２，Ｓ５７）をさらに備える。

第８の発明によれば、エリアを示す枠画像をスルー画像上にオンスクリーン表示することで、画角を調整する操作やエリアを指定する操作が容易になる。

なお、ある実施例では、描画手段は、エリア指定操作の開始に応答して枠画像の描画を開始し、エリア指定操作の完了に応答して枠画像の描画を終了する。他の実施例では、描画手段は、枠画像を常時描画し、エリア指定操作の開始および／または完了に応答して枠画像の態様（色，明るさ、線の太さなど）を変化させてもよい。

この発明によれば、目標の笑顔を高い確率で記録できる、撮像装置および笑顔記録プログラムが実現される。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ１０は、フォーカスレンズ１２を含む。被写界の光学像は、フォーカスレンズ１２を経てイメージセンサ１４の撮像面１４ｆに結像し、ここで光電変換を施される。これによって、被写界像を表す電荷つまり生画像信号が生成される。

電源が投入されると、スルー撮影処理が開始される。このとき、ＣＰＵ２４は、スルー撮影用の露光および電荷読み出しの繰り返しをＴＧ１８に命令する。ＴＧ１８は、撮像面１４ｆの露光動作と、これによって得られた電荷の間引き読み出し動作とを実行するべく、複数のタイミング信号をイメージセンサ１４に与える。撮像面１４ｆで生成された電荷の一部は、１／３０秒に１回の割合で発生する垂直同期信号Ｖｓｙｎｃに応答して、ラスタ走査に従う順序で読み出される。こうして、低解像度（たとえば３２０＊２４０）の生画像信号が、３０ｆｐｓのフレームレートでイメージセンサ１４から出力される。

イメージセンサ１４から出力された生画像信号は、カメラ処理回路２０によってＡ／Ｄなどの処理を施され、ディジタル信号である生画像データに変換される。生画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０の生画像エリアに３０ａ（図１０（Ａ）参照）に書き込まれる。カメラ処理回路２０はその後、生画像エリアに３０ａに格納された生画像データをメモリ制御回路２８を通して読み出し、色分離，ＹＵＶ変換などの処理を施す。こうして得られたＹＵＶ形式の画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０のＹＵＶ画像エリア３０ｂ（図１０（Ａ）参照）に書き込まれる。

ＬＣＤ駆動回路３２は、ＹＵＶ画像エリア３０ｂに格納された画像データをメモリ制御回路２８通して１／３０秒毎に読み出し、読み出された画像データでＬＣＤモニタ３４を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がＬＣＤモニタ３４に表示される。

なお、図示は省略しているが、このようなスルー撮影中、カメラ処理回路２０によって生成されたＹデータに基づいて被写界の明るさ（輝度）を１／３０秒毎に評価する処理が輝度評価回路によって実行されている。ＣＰＵ２４は、輝度評価回路によって求められた輝度評価値に基づいてイメージセンサ１４の露光量を調整し、これによってＬＣＤモニタ３４に表示されるスルー画像の明るさが適度に調整される。

フォーカス評価回路２２は、カメラ処理回路２０によって生成されたＹデータのうち図５（Ａ）等に示すフォーカス評価エリアＥｆｃｓに属するＹデータを取り込み、取り込まれたＹデータの高域周波数成分を積分し、そして積分結果つまりフォーカス評価値を出力する。この一連の処理は、Ｖｓｙｎｃに応答して１／３０秒毎に実行される。ＣＰＵ２４は、こうして求められたフォーカス評価値に基づいて、いわゆるコンティニュアスＡＦ処理（以下単に「ＡＦ処理」と呼ぶ：図２１参照）を実行する。フォーカスレンズ１２の光軸方向の位置は、ＣＰＵ２４の制御の下でドライバ１６によって継続的に変更される。

ＣＰＵ２４はまた、ＳＤＲＡＭ３０に格納されたＹＵＶデータに注目した顔認識処理を実行する。顔認識処理は、人物の目，鼻，口などに相当する顔辞書データ７２（図１０（Ｂ）参照）を注目するＹＵＶデータと照合する一種のパターン認識処理であり、これによって被写界像から人物の顔画像が検出される。

詳しくは、図２に示すように、所定サイズ（たとえば８０＊８０）の顔検出枠ＦＤを画像フレーム内の開始位置（左上）に配置して、これをラスタ走査の態様で既定量ずつ移動させつつ、顔検出枠ＦＤ内の画像に対して照合処理を施していく。顔検出枠ＦＤが終了位置（画面の右下）に到達すると、これを開始位置に戻して同様の動作を繰り返す。

なお、他の実施例では、サイズの異なる複数の顔検出枠を準備して、各画像に対してこれらの顔検出枠による複数の検出処理を順次的または並列的に実行することで、検出精度を向上させてもよい。

顔画像が検出されると、ＣＰＵ２４はさらに、その顔画像についてサイズおよび位置を算出し、算出結果を“顔サイズ”および“顔位置”として識別子（ＩＤ）と共に顔情報テーブル７０に登録する（図１０（Ｂ），図１１参照）。具体的には、顔画像のサイズとして、顔画像を取り囲む矩形の顔枠Ｆｒ（図５（Ａ）等参照）の縦横の長さ（画素数）を、顔画像の位置としては顔枠Ｆｒの重心座標を、それぞれ用いることができる。ＩＤとしては、たとえば連続番号１，２，…が用いられる。なお、図１１には、スルー画像のサイズを３２０＊２４０とした場合の数値が示されている。

検出された顔画像がフォーカス評価エリアＥｆｃｓの外部に移動した場合には、ＣＰＵ２４は、フォーカス評価エリアＥｆｃｓを顔画像の位置を基準に移動させる（図５（Ｂ）参照）。したがって、前述したフォーカス調整処理では、被写界に顔が含まれている場合、主として顔画像が参照される結果となる。

ＣＰＵ２４はまた、キャラクタジェネレータ（ＣＧ）４２を通してＬＣＤ駆動回路３２を制御することにより、顔枠ＦｒをＬＣＤモニタ３４のスルー画像上に描画（オンスクリーン表示）する。現在検出中の顔の数つまり顔情報テーブル７０に登録されている顔の数（以下単に「顔数」と呼ぶ）が複数の場合、前述したＡＦ処理によってピントの合った顔画像つまりフォーカス評価エリアＥｆｃｓ内の顔画像（以下「主役」の顔画像と呼ぶ）については二重の顔枠Ｆｒｄが、主役以外の顔画像（ピントが合っているとは限らない）については一重の顔枠Ｆｒｓが、それぞれ描画される（図５（Ｃ）参照）。

以上のようなスルー撮影中に静止画記録操作（シャッタボタン２６ｓｈの押下）が行われると、ＣＰＵ２４は、本撮影用の露光および電荷読み出しをＴＧ１８に命令する。ＴＧ１８は、撮像面１４ｆの露光動作と、これによって得られた電荷の全画素読み出し動作とをそれぞれ１回実行するべく、１つのタイミング信号をイメージセンサ１４に与える。撮像面１４ｆで生成された全電荷が、ラスタ走査に従う順序で読み出される。こうして、高解像度の生画像信号がイメージセンサ１４から出力される。

イメージセンサ１４から出力された生画像信号は、カメラ処理回路２０によって生画像データに変換され、生画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０の生画像エリアに３０ａに書き込まれる。カメラ処理回路２０はその後、生画像エリアに３０ａに格納された生画像データをメモリ制御回路２８を通して読み出し、ＹＵＶ形式の画像データに変換する。ＹＵＶ形式の画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０の記録画像エリア３０ｃ（図１０（Ａ）参照）に書き込まれる。Ｉ／Ｆ３６は、こうして記録画像エリア３０ｃに書き込まれた画像データをメモリ制御回路２８を通して読み出し、ファイル形式で記録媒体３８に記録する。

キー入力装置２６によってモード選択開始操作（セットボタン２６ｓｔの押下）が行われると、ＣＰＵ２４は、ＣＧ４２を通してＬＣＤ駆動回路３２を制御することにより、たとえば図２のようなモード選択画面をＬＣＤモニタ３４に表示する。モード選択画面は、通常記録，笑顔記録Iおよび笑顔記録IIといった選択可能なモードを示す文字（他の実施例ではシンボルマークでもよい）を含む。このうち現在選択されているモードを示す文字には、カーソル（下線）が当てられている。キー入力装置２６によってモード選択操作（カーソルキー２６ｃの押下）が行われると、画面上のカーソル（下線）が別のモードを示す文字の位置に移動する。所望のモードが選択された状態で決定操作（セットボタン２６ｓｔの再押下）が行われると、現在選択されているモードが有効化される。

笑顔記録モードIが有効化されると、前述と同様のスルー撮影処理が開始される。これに先立って、ＣＰＵ２４は、各画像に対応するフレームに、ユーザが任意に指定したスマイルエリア（以下「指定スマイルエリア」）を割り当てる。この実施例では、図４に示す５つのスマイルエリアＥｓ０〜Ｅｓ４から指定された１つが割り当てられる。指定スマイルエリアのデフォルトは、中央のスマイルエリアＥｓ０である。なお、他の実施例では、現時点でフォーカス評価エリアＥｆｃｓを含むようなスマイルエリアをデフォルトとしてもよい。

図４のスマイルエリアＥｓ０〜Ｅｓ４は、イメージセンサ１４（撮像面１４ｆ）の撮像エリアＥｐ内に、次の要領で配置される。すなわち、ＣＰＵ２４は、フレームを１６＊１６＝２５６分割して、（４，４）〜（１１，１１）で示される中央の矩形領域にスマイルエリアＥｓ０を、（７，１）〜（８，１４）で示される右上の矩形領域にスマイルエリアＥｓ１を、（１，１）〜（８，８）で示される左上の矩形領域にスマイルエリアＥｓ２を、（１，７）〜（８，１４）で示される左下の矩形領域にスマイルエリアＥｓ３を、そして（７，７）〜（１４，１４）で示される右下の矩形領域にスマイルエリアＥｓ４を、それぞれ配置する。

したがって、この実施例のスマイルエリアＥｓ０〜Ｅｓ４は、互いに一部が重複している。他の実施例では、５つのスマイルエリアＥｓ０〜Ｅｓ４をフレーム内に隙間なく配置しも、間隔を置いて配置してもよい。

また、エリア数も５とは限らない。エリア数が多いほど目標の笑顔を記録できる可能性は高まるが、たとえば、エリア毎に表示色を変える場合、利用可能な色数の制限などのために、エリア数は４以下となることもある。他の実施例では、図４のスマイルエリアＥｓ０〜Ｅｓ４から中央のものを除いた４つのスマイルエリアＥｓ１〜Ｅｓ４だけを用いてもよい。その他の実施例では、ただ１つのスマイルエリアＥｓ０を用いてもよい。

また、各エリアの形状も矩形とは限らず、円形や正多角形といった他の形状でもよい。異なる形状および／または異なるサイズのエリアがフレーム内に混在してもよい。

指定スマイルエリアは、笑顔記録モードIでスルー撮影中に次の要領で変更される。キー入力装置２６によってエリア指定開始操作（セットボタン２６ｓｔの押下）が行われると、ＣＰＵ２４は、ＣＧ４２を通してＬＣＤ駆動回路３２を制御することにより、現時点の指定スマイルエリアをオンスクリーン表示する。現時点の指定スマイルエリアが画面中央のスマイルエリアＥｓ０であれば、スマイルエリアＥｓ０が表示される（図６（Ａ）等参照）。続いて、キー入力装置２６によってエリア指定操作（カーソルキー２６ｃの押下）が行われると、オンスクリーン表示は新たな指定スマイルエリアに更新される。

なお、図６（Ａ）等の画面では、指定スマイルエリアの輪郭線を表示しているが、有色半透明のエリア画像を表示しても、エリア内の被写界画像に対して色調や輝度を変化させる処理を施しても、ユーザに指定スマイルエリアを視認させることができる。また、スマイルエリアＥｓ０〜Ｅｓ４は、便宜上互いに異なる線種で描画されているが、互いに異なる色で描画してもよい。さらには、線種および色の組み合わせで各エリアを識別してもよい。

また、この実施例では、指定スマイルエリアだけを表示しているが、他の実施例では、セットボタン２６ｓｔの押下に応答して、５つのスマイルエリアＥｓ０〜Ｅｓ４をそれぞれ示す５つの輪郭線を互いに異なる色で同時に表示し、そのうち指定スマイルエリアに該当する輪郭線だけを強調してもよい。

ＣＰＵ２４はまた、ＣＧ４２を通してＬＣＤ駆動回路３２を制御することにより、図６（Ａ）等に示されるようなスマイルマークＳｍを画面の一隅にオンスクリーン表示する。図６（Ａ）の画面では、スマイルマークＳｍの横に一時停止マークＷｍがさらに表示されているが、これは笑顔記録処理が一時停止されていることを示すもので、同処理が再開されると画面から消去される（図２４参照）。

なお、スマイルマークＳｍは、後述する笑顔記録モードIIでも表示される。他の実施例では、笑顔記録モードIおよびIIでスマイルマークＳｍの態様（色や形状など）を互いに異ならせてもよい。

ＣＰＵ２４はまた、ただ１つの顔画像が検出されている状態では、この顔画像の特定部分たとえば口角に注目して、そこに笑顔の特徴があるか否かを繰り返し判別する。そして、笑顔の特徴ありと判別すると、その顔位置が指定スマイルエリアの内部であるか否かをさらに判別し、顔位置がエリア内であれば本撮影命令を発行して記録処理を実行する一方、顔位置がエリア外であれば本撮影命令の発行を見合わせる。したがって、指定スマイルエリア内で笑顔が検知されなければ、記録処理は実行されない。

ＣＰＵ２４はまた、複数の顔画像が検出されている状態では、各顔画像について笑顔の特徴があるか否かを繰り返し判別する。いずれかの顔画像で笑顔の特徴ありと判別すると、その顔位置が指定スマイルエリアの内部であるか否かをさらに判別し、笑顔がエリア内にあれば、それが主役であるか否かをさらに判別して、主役であれば本撮影処理および記録処理を実行する。笑顔が主役でなければ、指定スマイルエリアの内部に主役が存在するか否かをさらに判別し、エリア内に主役が存在しなければ本撮影処理および記録処理を実行する。一方、笑顔の顔位置がエリア外であれば、本撮影命令の発行を見合わせる。また、笑顔の顔位置がエリア内にあっても、それが主役以外でかつエリア内に主役が存在していれば、本撮影命令の発行を見合わせる。

したがって、指定スマイルエリア内で誰かの笑顔が検知されなければ、記録処理は実行されない。そして、指定スマイルエリア内に主役と主役以外とが混在する場合には、主役の笑顔が優先される。言い換えると、記録処理は、指定スマイルエリア内で主役が笑ったときか、指定スマイルエリア内に主役以外しかいない状態でその中の誰かが笑ったときに限って実行される。以下、顔数が２の場合について、図６〜図８により説明する。

図６には、顔数が２であり、指定スマイルエリアが中央のスマイルエリアＥｓ０であり、そしてこのスマイルエリアＥｓ０の内部に主役の顔Ｆｃ１しかない場合の、画面変化の一例が示される。顔Ｆｃ１は画面の中ほどに、顔Ｆｃ２は画面左下にそれぞれ位置しており、画面の中心に近い方の顔Ｆｃ１が主役に選ばれる。主役の顔Ｆｃ１の周りには二重の顔枠Ｆｒｄが、主役以外の顔Ｆｃ２の周りには一重の顔枠ｆｒｓが、それぞれ描画される。

図６（Ａ）の時点では、２つの顔Ｆｃ１およびＦｃ２のどちらも笑っていない。この後、図６（Ｂ）のように顔Ｆｃ２が笑ったとすると、この笑顔はスマイルエリアＥｓ０の外部に位置するので、このタイミングで記録処理が実行されることはない。一方、図６（Ｃ）のように顔Ｆｃ１が笑ったとすると、この笑顔はスマイルエリアＥｓ０の内部に位置するので、このタイミングで記録処理が実行される。

図７には、顔数が２であり、指定スマイルエリアが左下のスマイルエリアＥｓ３であり、そしてこのスマイルエリアＥｓ３の内部に主役以外の顔Ｆｃ２しかない場合の、画面変化の一例が示される。２つの笑顔Ｆｓ１およびＦｓ２の位置関係ならびに二重の顔枠Ｆｒｄおよび一重の顔枠Ｆｒｓの配置は、図６と同様である。

図７（Ａ）の時点では、２つの顔Ｆｃ１およびＦｃ２のどちらも笑っていない。この後、図７（Ｂ）のように顔Ｆｃ１が笑ったとすると、この笑顔はスマイルエリアＥｓ３の外部に位置するので、このタイミングで記録処理が実行されることはない。一方、図７（Ｃ）のように顔Ｆｃ２が笑ったとすると、この笑顔はスマイルエリアＥｓ３の内部に位置するので、このタイミングで記録処理が実行される。

図８には、顔数が２であり、指定スマイルエリアが中央のスマイルエリアＥｓ０であり、そしてこのスマイルエリアＥｓ０の内部に主役の顔Ｆｃ１および主役以外の顔Ｆｃ２がどちらもある場合の、画面変化の一例が示される。この画面では、顔Ｆｃ１および顔Ｆｃ２のどちらも画面中央付近に位置するが、前者の方が画面中央により近いので、二重の顔枠Ｆｒｄは顔Ｆｃ１側に、一重の顔枠Ｆｒｓは顔Ｆｃ２側にそれぞれ配される。

図８（Ａ）の時点では、２つの顔Ｆｃ１およびＦｃ２のどちらも笑っていない。この後、図８（Ｂ）のように顔Ｆｃ２が笑ったとすると、この笑顔は主役以外なので、このタイミングで記録処理が実行されることはない。一方、図８（Ｃ）のように顔Ｆｃ２が笑ったとすると、この笑顔は主役なので、このタイミングで記録処理が実行される。

このような笑顔記録モードIの特徴的な利用方法として「セルフタイマ的な撮影」がある。撮影者は、自分の立ち位置を想定して、その内部に自分の顔しか存在しないようなスマイルエリアを指定した後、想定位置へと移動して笑うことにより、自分の笑顔を確実に記録できる。具体例を図９に示す。

図９（Ａ）では、画面中央の右寄りに自分以外の顔Ｆｃ１があり、撮影者は自分の立ち位置を想定して左上のスマイルエリアＥｓ２を指定する。顔Ｆｃ１は、このスマイルエリアＥｓ２の外部にあり、笑顔ではない。この後、撮影者が想定位置へと移動すると、スマイルエリアＥｓ２内に撮影者自身の顔Ｆｃ２が登場する。顔Ｆｃ２もまた、笑顔ではない。２つの顔Ｆｃ１およびＦｃ２では、前者の方が画面中央により近いので、顔Ｆｃ１の方が主役となる。

この後、図９（Ｂ）に示すように、顔Ｆｃ１が笑ったとする。しかし、顔Ｆｃ１はスマイルエリアＥｓ２の外部にあるので、記録処理は実行されない。一方、図９（Ｃ）のように顔Ｆｃ２が笑えば、これはスマイルエリアＥｓ２の内部にあるので、記録処理が実行される。こうして、撮影者は、自分自身が被写界内に入って、記録処理の実行タイミングを任意に決定できる。

なお、上記と同様の撮影を次に説明する笑顔記録モードIIで行えば、自分以外（図９では顔Ｆｃ１）の笑顔で記録処理が実行される場合がある。

笑顔記録モードIIが有効化されると、前述と同様のスルー撮影処理が開始される。ＣＰＵ２４は、１つまたは複数の顔画像が検出されている状態では、各顔画像の特定部分たとえば口角に注目して、そこに笑顔の特徴があるか否かを繰り返し判別する。そして、いずれかの顔画像で笑顔の特徴ありと判別すると、本撮影命令を発行して記録処理を実行する。

このように、笑顔記録モードIIが笑顔記録モードIと異なるのは、笑顔記録を指定スマイルエリア内に制限せずに全画面で実行する点であり、顔検出および笑顔判定の各処理は笑顔記録モードIの場合と同様でよい。

以上のような笑顔記録動作は、ＣＰＵ２４が図１に示される各ハードウェア要素を制御して、図１３に示すモード選択タスクと、図１４に示す笑顔記録Iモード専用のメインタスク（以下「メインタスク（I）」のように略記することがある：他のタスクでも同様）と、図１５に示す笑顔記録Iモード専用のスマイルエリア制御タスクと、図１６および図１７に示す笑顔記録Iモード専用のフラグ制御タスクと、図１８に示す笑顔記録IIモード専用のメインタスクと、図１９に示す笑顔記録IIモード専用のフラグ制御タスクと、図２０に示すI・IIモード共用の一時停止タスクと、図２１に示すI・IIモード共用のＡＦタスクと、図２２に示すI・IIモード共用の顔検出タスクと、図２３に示すI・IIモード共用の顔枠制御タスクと、図２４に示すI・IIモード共用のマーク制御タスクとを実行することによって実現される。なお、ＣＰＵ２４は、マルチタスクＯＳの制御下で、これら１０個のタスクのうち２つまたは３つ以上を並列的に処理することができる。

これら１０個のタスクに対応する１０個のプログラム５０〜６８は、フラッシュメモリ４０のプログラムエリア４０ａ（図１０（Ｂ）参照）に格納される。フラッシュメモリ４０のデータエリア４０ｂには、前述の顔情報テーブル７０および顔辞書データ７２に加え、現時点の指定スマイルエリア（Ｅｓ０〜Ｅｓ４のいずれか）を示す指定スマイルエリア識別子７４と、スマイルエリア制御タスク（図１５参照）および一時停止タスク（図２０参照）によってオン／オフされる待機フラグ（Ｗ）７６と、フラグ制御タスク（図１６および図１９参照）によってオン／オフされる顔状態フラグ（Ａ１，Ａ２，…，Ｐ１，Ｐ２，…，Ｓ１，Ｓ２，…）７８とがさらに記憶される。

ここで、顔状態フラグの一種である“Ａ”は、その顔画像の位置が指定スマイルエリアの内部にあるか外部にあるかを示すフラグであり、オンが内部に、オフが外部に対応する。顔状態フラグの他の一種である“Ｐ”は、その顔画像が主役であるか主役以外であるかを示すフラグであり、オンが主役に、オフが主役以外に対応する。顔状態フラグのその他の一種である“Ｓ”は、その顔画像が笑顔であるか笑顔以外であるか（後者の状態を適宜「非笑顔」と呼ぶ）を示すフラグであり、オンが笑顔に、オフが非笑顔に対応する。各種フラグの添え字１，２，…は、顔画像を識別するＩＤである。

たとえば、図６（Ａ）の２つの顔画像Ｆｃ１およびＦｃ２の状態は、これらの顔状態フラグによって図１２（Ａ）のように記述される。同様に、図６（Ｂ）の２つの顔画像Ｆｃ１およびＦｃ２の状態は図１２（Ｂ）のように記述され、図６（Ｃ）の２つの顔画像Ｆｃ１およびＦｃ２の状態は図１２（Ｃ）のように記述される。

まず図１３を参照して、キー入力装置２６のメニューキー（図示せず）が押下されると、ＣＰＵ２４は、ステップＳ１でＣＧ４２およびＬＣＤ駆動回路３２を制御して、図２のようなメニュー画面をＬＣＤモニタ３４に表示する。次に、ステップＳ３でカーソルキー２６ｃおよびＳＥＴキー２６ｓｔの操作によって“笑顔記録I”が選択されたか否かを判別し、ＹＥＳであれば笑顔記録Iモードを有効化する。ステップＳ３でＮＯであれば、ステップＳ５で“笑顔記録II”が選択されたか否かを判別し、ＹＥＳであれば笑顔記録IIモードを有効化する。ステップＳ５でＮＯであれば、ステップＳ７で他の記録モードたとえば“通常記録モード”が選択されたか否かを判別し、ＹＥＳであれば当該記録モードを有効化する。ステップＳ７でＮＯであれば、ステップＳ９でキャンセル操作が行われたか否かを判別し、ＹＥＳであればメニューキー押下直前のモードに戻る。ステップＳ９でＮＯであれば、ステップＳ３に戻って同様の処理を繰り返す。

まず、笑顔記録Iモードについて説明する。笑顔記録Iモードが有効化されると、まずメインタスク（I）が起動され、ＣＰＵ２４はこれに対応するフロー（図１４参照）の実行を開始する。図１４を参照して、ステップＳ２１では、フラグＷに“０”がセットされる。ステップＳ２３では、スマイルエリア制御タスク（I），フラグ制御タスク（I），一時停止タスク，ＡＦタスク，顔検出タスク，顔枠制御タスクおよびマーク制御タスクが起動され、ＣＰＵ２４はさらに、これらに対応するフロー（図１５〜図１７，図２０〜図２４参照）の実行を開始する。

ステップＳ２５では、スルー撮影命令を発行し、これに応じて前述のスルー撮影処理が開始される。ステップＳ２７では図示しないシグナルジェネレータによってＶｓｙｎｃが発生されたか否かを判別し、ＮＯであれば待機する。ステップＳ２７でＹＥＳであれば、ステップＳ２９でフラグＷが“０”であるか否かを判別し、ＮＯであればステップＳ２７に戻る。ステップＳ２９でＹＥＳであれば、ステップＳ３１に移って、誰かが笑ったか否かを顔状態フラグ７８のうちフラグＳ１，Ｓ２，…の状態変化に基づいて判別し、ここでＮＯであればステップＳ２７に戻る。

フラグＳ１，Ｓ２，…のいずれかがオフ状態からオン状態に変化すると、ステップＳ３１でＹＥＳと判別し、ステップＳ３３に進む。ステップＳ３３では、この新たな笑顔（顔ＩＤを“ｍ”とする）は指定スマイルエリアの内部に位置するか否かを、顔状態テーブル７０（図１１参照）に登録された顔ｍの位置および指定スマイルエリア識別子７４に基づいて判別し、ＮＯであればステップＳ２７に戻る。なお、ＣＰＵ２４は、図４に示された各スマイルエリアＥｓ０〜Ｅｓ４の画面上での位置を認識している。

ステップＳ３３でＹＥＳであれば、ステップＳ３５に移って、当該笑顔は主役のものであるか否かを顔状態フラグ７８のうちフラグＰｍに基づいて判別する。ステップＳ３５でＹＥＳであれば、ステップＳ３９で本撮影命令を発行した後、ステップＳ４１でＩ／Ｆ３６を制御して記録処理を実行する。したがって、当該笑顔が指定スマイルエリア内にあってかつ主役のものであれば、当該笑顔を含む静止画像が記録媒体３８に記録される。

ステップＳ３５でＮＯであれば、ステップＳ３７で指定スマイルエリア内に主役の顔があるか否かを顔状態フラグ７８に基づいて判別し、ＮＯであれば上述のステップＳ３９およびＳ４１が実行される。顔状態フラグ７８を参照してフラグＡがオンかつフラグＰがオンかつフラグＳがオフの顔があれば、ステップＳ３７でＹＥＳと判別し、ステップＳ２７に戻る。したがって、当該笑顔が指定スマイルエリア内にあってかつ主役以外のものであれば、そのとき指定スマイルエリア内に主役の顔がない場合に限って記録処理が実行される。そのとき指定スマイルエリア内に主役の顔がある場合には、記録処理は、後に主役の顔が笑顔となった時点で実行される。

図１５を参照して、スマイルエリア制御タスク（I）が起動されると、ステップＳ５１で指定スマイルエリア識別子７４にデフォルト（この実施例ではスマイルエリア“Ｅｓ０”）をセットする。なお、他の実施例では、ＡＦタスク（図２１参照）によっていずれかの顔画像にピントが合うのを待って、当該顔画像を含むスマイルエリアをデフォルトとしてもよい。

ステップＳ５３では、セットボタン２６ｓｔが押されたか否かを判別し、ＮＯであれば待機する。ステップＳ５３でＹＥＳであれば、ステップＳ５５に進んでフラグＷに“１”をセットした後、ステップＳ５７でＣＧ４２等を制御して指定スマイルエリアをＬＣＤモニタ３４に表示する。たとえば、指定スマイルエリア識別子７４が“Ｅｓ０”であればスマイルエリアＥｓ０が表示され（図６（Ａ）参照）、“Ｅｓ３”であればスマイルエリアＥｓ３が表示される（図７（Ａ）参照）。

ステップＳ５９では、カーソルキー２６ｃが操作されたか否かを判別し、ここでＮＯであればステップＳ６１でセットボタン２６ｓｔが押下されたか否かをさらに判別し、ここでもＮＯであればステップＳ５７に戻って同様の処理を繰り返す。ステップＳ５９でＹＥＳであれば、ステップＳ６３に進んで指定スマイルエリア識別子７４の値を更新し、その後ステップＳ５７に戻って同様の処理を繰り返す。ステップＳ６１でＹＥＳであれば、ステップＳ６５に進んで指定スマイルエリアをモニタ画面から消去し、さらにステップＳ６７でフラグＷに“０”をセットした後、ステップＳ５３に戻って同様の処理を繰り返す。

図１６および図１７を参照して、フラグ制御タスク（I）が起動されると、ステップＳ７１で変数ｉに“１”をセットした後、ステップＳ７３でＶｓｙｎｃの発生を待つ。Ｖｓｙｎｃが発生すると、ステップＳ７５に進んで、顔ｉが指定スマイルエリア内であるか否かを顔情報テーブル７０および指定スマイルエリア識別子７４に基づいて判別する。この判別結果がＹＥＳであればステップＳ７７でフラグＡｉをオンし、ＮＯであればステップＳ７９でフラグＡｉをオフする。そしてステップＳ８１で、顔ｉが主役であるか否かをさらに判別する。

ＡＦタスクの結果として顔ｉにピントが合っていれば（すなわち顔ｉが二重顔枠で囲まれていれば）、ステップＳ８１でＹＥＳと判別し、ステップＳ８３でフラグＰｉをオンした後、ステップＳ８７に進む。ステップＳ８１でＮＯであれば、ステップＳ８５でフラグＰｉをオフした後ステップＳ８７に進む。ステップＳ８７では、顔ｉの画像から特定部分（たとえば口角や目じりなど）の画像を切り出す。そして、切り出した画像に笑顔の特徴があるか否か（たとえば口角が上がったか否か，目じりにしわが現れたか否かなど）をステップＳ８９で判別し、ＹＥＳであればステップＳ９１でフラグＳｉをオンする一方、ＮＯであればステップＳ９３でフラグＳｉをオフする。そして、ステップＳ９５で変数ｉをリンクリメントした後、変数ｉが顔数を上回ったか否かをステップＳ９７で判別し、ＹＥＳであればステップＳ７１に、ＮＯであればステップＳ７５にそれぞれ戻って同様の処理を繰り返す。なお、ステップＳ８９の判別は、特にたとえば、顔上の口形が顔辞書データ７２とマッチングするか否かに基づいて行うことができる。

図２０を参照して、一時停止タスクが起動されると、ステップＳ１４１でシャッタボタン２６ｓｔが押下されたか否かを判別し、ＮＯであれば待機する。ステップＳ１４１でＹＥＳであれば、ステップＳ１４３でフラグＷに“１”をセットする。その後ステップＳ１４５に進み、シャッタボタン２６ｓｔが押下されたか否かを判別して、ＮＯであれば待機する。ステップＳ１４５でＹＥＳであれば、ステップＳ１４７でフラグＷに“０”をセットした後、ステップＳ１４１に戻って同様の処理を繰り返す。

図２１を参照して、ＡＦタスクが起動されると、ステップＳ１５１でＶｓｙｎｃの発生を待った後、現時点のフォーカス評価値がＡＦ起動条件を満足したか否かをステップＳ１５３で判別する。ここでＮＯであればステップＳ１５１に戻って同様の処理を繰り返す。ステップＳ１５３でＹＥＳであれば、ステップＳ１５５に進んでＡＦ処理を実行する。なお、ＡＦ処理では、顔数が複数の場合、顔枠制御タスクのステップＳ１８７（図２３参照：後述）で決定された主役の顔に注目したフォーカス調整が行われ、主役の顔にピントが合う結果となる。調整が完了すると、ステップＳ１５１に戻って同様の処理を繰り返す。

図２２を参照して、顔検出タスクが起動されると、ステップＳ１６１で顔情報テーブル７０（図１１参照）を初期化する。次に、ステップＳ１６３で顔検出枠ＦＤを開始位置（たとえば画面左上：図３参照）に配置した後、ステップＳ１６５でＶｓｙｎｃの発生を待ち、Ｖｓｙｎｃが発生するとステップＳ１６７に進んで、被写界画像から顔検出枠内ＦＤの画像を切り出す。そしてステップＳ１６９で、切り出した画像と顔辞書データ７２との照合処理を実行し、照合結果が適合を示すか否かをステップＳ１７１で判別する。ステップＳ１７１でＮＯであればステップＳ１６７に戻って同様の処理を繰り返し、ＹＥＳであればステップＳ１７３で当該顔に関する顔情報（ＩＤ，位置およびサイズ）を顔情報テーブル７０に記述する。その後、未照合部分の有無をステップＳ１７５で判別し、ＹＥＳであればステップＳ１７７で顔検出枠ＦＤを図３の要領で１ステップ移動させた後、ステップＳ１６７に戻って同様の処理を繰り返す。顔検出枠ＦＤが画面の右下に到達していれば、ステップＳ１７５でＮＯと判別し、ステップＳ１６３に戻って同様を繰り返す。

図２３を参照して、顔枠制御タスクが起動されると、ステップＳ１８１でＶｓｙｎｃの発生を待った後、顔が検出されたか否かをステップＳ１８３で顔情報テーブル７０に基づいて判別し、ＮＯであればステップＳ１８１に戻って同様の処理を繰り返す。顔情報テーブル７０に少なくとも１つの顔が登録されていれば、ステップＳ１８３でＹＥＳと判別し、ステップＳ１８５に進んで顔数が複数であるか否かをさらに判別する。ステップＳ１８５でＹＥＳであればステップＳ１８７を経てステップＳ１８９に進む一方、ＮＯであればステップＳ１８７をスキップしてステップＳ１８９に進む。

ステップＳ１８７では、各顔の位置関係に基づいて主役を決定する。ここでは、画面内でその中心点から各顔画像までの距離を計算し、計算結果が最小の顔画像を主役とする。他の実施例では、さらにディジタルカメラ１０から各顔までの距離を計測し、たとえば最も遠い顔および最も近い顔を主役候補から除外するなど、計測結果も考慮して主役を決定してよい。ステップＳ１８９では、ＣＧ４２等を制御して各顔の輪郭に沿う顔枠Ｆｒを表示する（図５（Ａ）等参照）。顔数が複数の場合には、主役の顔に二重の顔枠Ｆｒｄが、主役以外の顔には一重の顔枠Ｆｒｓが割り当てられる（図５（Ｃ）等参照）。顔枠表示後、ステップＳ１８１に戻って同様の処理を繰り返す。

図２４を参照して、マーク制御タスクが起動されると、ステップＳ２０１でＶｓｙｎｃの発生を待った後、ＣＧ４２等を制御して笑顔マークＳｍ（図６（Ａ）等参照）を表示する。そしてステップＳ２０５に進み、フラグＷが“１”であるか否かを判別する。ステップＳ２０５でＹＥＳであれば、ステップＳ２０７でさらに中断マークＷｍを表示し、ステップＳ２０５でＮＯであれば、ステップＳ２０９で中断マークＷｍをモニタ画面から消去する。ステップＳ２０５またはＳ２０７の実行後、ステップＳ２０１に戻って同様の処理を繰り返す。

次に、笑顔記録IIモードについて説明する。笑顔記録IIモードが有効化されると、まずメインタスク（II）が起動され、ＣＰＵ２４はこれに対応するフロー（図１８参照）の実行を開始する。図１８を参照して、ステップＳ１０１では、フラグＷに“０”がセットされる。ステップＳ１０３では、フラグ制御タスク（II），一時停止タスク，ＡＦタスク，顔検出タスク，顔枠制御タスクおよびマーク制御タスクが起動され、ＣＰＵ２４はさらに、これらに対応するフロー（図１９，図２０〜図２４参照）の実行を開始する。

ステップＳ１０５では、スルー撮影命令を発行し、これに応じてスルー撮影処理が開始される。ステップＳ１０７ではＶｓｙｎｃが発生されたか否かを判別し、ＮＯであれば待機する。ステップＳ１０７でＹＥＳであれば、ステップＳ１０９でフラグＷが“０”であるか否かを判別し、ＮＯであればステップＳ１０７に戻る。ステップＳ１０９でＹＥＳであれば、ステップＳ１１１に移って、誰かが笑ったか否かをフラグＳ１，Ｓ２，…の状態変化に基づいて判別し、ここでＮＯであればステップＳ１０７に戻る。

フラグＳ１，Ｓ２，…のいずれかがオフ状態からオン状態に変化すると、ステップＳ１１１でＹＥＳと判別し、ステップＳ１１３に進んで本撮影命令を発行する。その後、ステップＳ４１に進み、Ｉ／Ｆ３６を制御して記録処理を実行する。したがって、画面内で誰かが笑えば、当該笑顔を含む静止画像が記録媒体３８に記録される。記録後、ステップＳ１０５に戻って同様の処理を繰り返す。

なお、他の実施例では、笑顔記録モードIの場合と同様に主役を優先してもよい。すなわち、主役以外が笑っても本撮影命令を発行せず、主役が笑ったタイミングでこれを発行する。

図１９を参照して、フラグ制御タスク（II）が起動されると、ステップＳ１２１で変数ｉに“１”をセットした後、ステップＳ１２３でＶｓｙｎｃの発生を待つ。Ｖｓｙｎｃが発生すると、ステップＳ１２５に進んで、顔ｉの画像から特定部分の画像を切り出す。そして、切り出した画像に笑顔の特徴があるか否かをステップＳ１２７で判別し、ＹＥＳであればステップＳ１２９でフラグＳｉをオンする一方、ＮＯであればステップＳ１３１でフラグＳｉをオフする。そして、ステップＳ１３３で変数ｉをリンクリメントした後、変数ｉが顔数を上回ったか否かをステップＳ１３５で判別し、ＹＥＳであればステップＳ１２１に、ＮＯであればステップＳ１２５にそれぞれ戻って同様の処理を繰り返す。なお、ステップＳ１２７の判別は、特にたとえば、顔上の口形が顔辞書データ７２とマッチングするか否かに基づいて行うことができる。

図２０〜図２４の各処理は、笑顔記録Iモードの場合と同様であり、説明を省略する。

なお、他の実施例では、静止画記録は、スルー撮影中に限らず、動画記録中に行ってもよい。ただしこの場合、静止画の記録サイズ（解像度）は、動画のそれと同一となる。たとえば、動画をスルー画と同じサイズで記録するモードでは、ＹＵＶ画像エリア３０ｂの画像データが記録画像エリア３０ｃに複製される。記録画像エリア３０ｃはたとえば６０フレーム相当の容量を有しており、記録画像エリア３０ｃが満杯になると、その中で最古のフレームの画像データがＹＵＶ画像エリア３０ｂからの最新の画像データで上書きされていく。したがって動画像エリアには常時、直近６０フレームの画像データが格納されている。

キー入力装置２６によって動画記録開始操作が行われると、ＣＰＵ２４は、Ｉ／Ｆ３６に動画記録処理を命令し、Ｉ／Ｆ３６はメモリ制御回路２８を通して動画像エリアから周期的に読み出しを行い、読み出された画像データを含む動画ファイルを記録媒体３８に作成する。このような動画記録処理は、キー入力装置２６による終了操作に応答して終了される。

動画記録処理の実行中に静止画記録操作（シャッタボタン２６ｓｈの押下）が行われると、ＣＰＵ２４は、Ｉ／Ｆ３６は、記録画像エリア３０ｃに格納された画像データのうちシャッタ押下時点に最も近いフレームの画像データをメモリ制御回路２８を通して読み出し、ファイル形式で記録媒体３８に記録する。

そして、このような動画記録中の静止画記録にも、前述の笑顔記録Iモードおよび笑顔記録IIモードを適用することが可能である。この場合、笑顔記録モードIでは、ＣＰＵ２４は、フレームの指定スマイルエリア内で誰かが笑ったとき、記録画像エリア３０ｃに格納された画像データのうち当該笑顔を含むフレームの画像データをＩ／Ｆ３６を通して記録媒体３８に記録すればよい。笑顔記録モードIIでは、フレームのどこかで誰かが笑ったとき、記録画像エリア３０ｃに格納された画像データのうち当該笑顔を含むフレームの画像データをＩ／Ｆ３６を通して記録媒体３８に記録すればよい。

また、その他の実施例では、主役および主役以外が図７（Ａ）のような配置になったとき、図２５に示すようにフォーカス評価エリアＥｆｃｓを指定スマイルエリア内へと強制移動してもよい。この場合、ＣＰＵ２４は、前述した笑顔記録モードIにおいて、図２６のようなＡＦエリア制限タスクをさらに実行する。ステップＳ２２１では、フォーカス評価エリアＥｆｃｓが指定スマイルエリアの外部に位置するか否かを判別し、ＮＯであれば待機する一方、ＹＥＳであればステップＳ２２３でフォーカス評価エリアＥｆｃｓを指定スマイルエリアの内部へと強制移動する。その後ステップＳ２２１に戻って同様の処理を繰り返す。これにより、笑顔記録の目標にピントが合う可能性を高めることができる。

この点、前述した笑顔記録モードIでは、主役および主役以外が図７（Ａ）のような配置であって、かつ主役および主役以外の遠近差が大きい場合、ピントは主役に合っているので、主役以外については適正な笑顔判定が行われないか、たとえ適正な笑顔判定が行われても記録画像において目標の笑顔がピンボケとなる可能性がある。しかし、フォーカス評価エリアＥｆｃｓが顔の動きに追従することを利用して、笑顔記録の目標である顔Ｆｃ２をいったん画面中央に配して二重顔枠Ｆｒｄを顔Ｆｃ２上に表示させた後にアングルを変えて図７の構図にもって行くカメラ操作をユーザが行えば、このような可能性は低減される。

以上から明らかなように、この実施例のディジタルカメラ１０はＣＰＵ２４を含む。ＣＰＵ２４は、撮像面１４ｆ上に結ばれた被写界像をイメージセンサ１４を制御して繰り返し捉え（Ｓ２５，Ｓ３９，Ｓ１０５，Ｓ１１３）、これにより作成された各被写界画像から顔画像を検出し（Ｓ１６１〜Ｓ１７７）、検出された各顔画像の顔が笑顔であるか否かを判定し（Ｓ７１〜Ｓ９７，Ｓ１２１〜Ｓ１３５）、検出された少なくとも１つの顔画像についての判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に作成された被写界画像をＩ／Ｆ３６を制御して記録媒体３８に記録する（Ｓ３１，Ｓ４１，Ｓ１１１，Ｓ１１５）。

そしてＣＰＵ２４は、笑顔記録Iモードでは、キー入力装置２６を介したエリア指定操作に応答して各被写界画像にエリアを割り当て（Ｓ６３）、笑顔であると判定された顔画像と割り当てられたエリアとの位置関係に少なくとも基づいて記録処理の実行を制限する（Ｓ３３〜Ｓ３７）。これにより、目標の笑顔を高い確率で記録できる。一方、笑顔記録IIモードでは、このような制限がないので、任意の笑顔を広範囲で記録できる。

なお、この実施例では、撮像エリアＥｐの全域で（すなわち指定スマイルエリアの外部でも）笑顔判定を行っているが、笑顔判定は指定スマイルエリア内だけで行うようにしてもよい。これにより、ＣＰＵ２４の処理負荷が軽減される。

また、この実施例では、笑顔判定は、顔の特定部位の変化（口角の上昇など）に基づいて行ったが、これは一例過ぎず、様々な判定方法を用いることができる。たとえば、顔の全体（輪郭線やしわの分布など）および各部位（口角や目じりなど）に注目して笑顔の程度を数値化し、得られた数値に基づいて判定してもよい。

なお、この実施例では、笑顔記録IおよびIIの２つの笑顔記録モードを準備したが、単一のモード内で、スマイルエリアを指定した笑顔記録と、スマイルエリアを指定しない（つまり撮像エリアＥｐ全体での）笑顔記録とを使い分けてもよい。以下、このような実施例について説明する。この実施例のハード構成は図１と同様であり、ＣＰＵ２４は、笑顔記録モードが有効化されると図２７のような処理を実行する。

最初のステップＳ３２１でスルー撮影命令を発行した後、ステップＳ２３３に進んでキー入力装置２６によるエリア指定操作の有無を判別する。ステップＳ２３３でＹＥＳであれば、ステップＳ２３５で指定スマイルエリアの割り当てを行い、その後ステップＳ２３３に戻って同様の処理を繰り返す。ステップＳ２３３でＮＯであれば、ステップＳ２３９で指定スマイルエリアの解除を行い、その後ステップＳ２３３に戻って同様の処理を繰り返す。なお、エリア指定ないし解除操作時にスルー表示を中断する場合には、ステップＳ２３５またはＳ２３９からステップＳ２３１に戻る必要がある。

ステップＳ２３７でＮＯであればステップＳ２４１に移って、指定スマイルエリアが割り当てられているか否かを判別し、ここでＹＥＳであれば指定スマイルエリア内で笑顔検知を行い、ＮＯであれば撮像エリアＥｐの全域で笑顔検知を行う。なお、ここでいう笑顔検知は、前述した顔検出および笑顔判定を組み合わせた処理に相当する。そして検知結果に基づいて、誰かが笑ったか否かをステップＳ２４７で判別し、ＹＥＳでればステップＳ２４９で本撮影命令を発行した後テップＳ２５１で記録処理を実行する。ステップＳ２４７でＮＯであればステップＳ２３３に戻って同様の処理を繰り返す。

以上では、一例として、ディジタルカメラ１０について説明したが、この発明は、イメージセンサ（たとえばＣＣＤやＣＭＯＳなど）と、イメージセンサの出力に基づく画像を記録媒体（たとえばメモリカード，ハードディスク，光ディスクなど）に記録する記録手段と、ユーザによって操作される操作手段（たとえばキー入力装置やタッチパネルなど）とプロセッサとを備える撮像装置（たとえばディジタルスチルカメラ，ディジタルムービーカメラなど）に適用できる。

この発明の一実施例の構成を示すブロック図である。 図１実施例に適用されるモード選択画面の一例を示す図解図である。 図１実施例に適用される顔検出処理の一例を示す図解図である。 図１実施例に適用されるスマイルエリアの一例を示す図解図である。 図１実施例に適用されるモニタ画面の一例であって、顔枠およびフォーカス評価エリアの変化を示す図解図であり、（Ａ）は初期状態であり、（Ｂ）は顔枠およびフォーカス評価エリアが顔の移動に追従する様子を示し、そして（Ｃ）は顔数が複数の場合に主役の顔枠が二重化される様子を示す。 図１実施例に適用されるモニタ画面の他の一例であって、スマイルエリア内に主役しかいない場合の図解図であり、（Ａ）は初期状態を示し、（Ｂ）はスマイルエリア外で笑顔が検知された状態を示し、そして（Ｃ）はスマイルエリア内で笑顔が検知された状態を示す。 図１実施例に適用されるモニタ画面のその他の一例であって、スマイルエリア内に主役以外しかいない場合の図解図であり、（Ａ）は初期状態を示し、（Ｂ）はスマイルエリア外で笑顔が検知された状態を示し、そして（Ｃ）はスマイルエリア内で笑顔が検知された状態を示す。 図１実施例に適用されるモニタ画面のさらにその他の一例であって、スマイルエリア内に主役および主役以外の両方がいる場合の図解図であり、（Ａ）は初期状態を示し、（Ｂ）はスマイルエリア内で主役以外の笑顔が検知された状態を示し、そして（Ｃ）はスマイルエリア内で主役の笑顔が検知された状態を示す。 図１実施例に適用されるモニタ画面の他の一例であって、スマイルエリアを利用したセルフタイマ的な撮影方法を示す図解図であり、（Ａ）は初期状態を示し、（Ｂ）はスマイルエリア外で笑顔が検知された状態を示し、そして（Ｃ）はスマイルエリア内で笑顔が検知された状態を示す。 図１実施例に適用されるメモリマップを示す図解図であり、（Ａ）はＳＤＲＡＭの構成を示し、（Ｂ）はフラッシュメモリの構成を示す。 図１実施例に適用される顔情報テーブルの一例を示す図解図である。 図１実施例に適用される顔状態フラグの一例を示す図解図であり、（Ａ）〜（Ｃ）は図６（Ａ）〜図６（Ｃ）にそれぞれ対応する。 図１実施例に適用されるＣＰＵ動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作のさらにその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作のさらにその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作のその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作のさらにその他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵ動作のその他の一部を示すフロー図である。 他の実施例に適用されるモニタ画面の一例であって、フォーカス評価エリアをスマイルエリア内に強制移動する様を示す図解図である。 図２５実施例に適用されるＣＰＵ動作の一部を示すフロー図である。 別の実施例に適用されるＣＰＵ動作の一部を示すフロー図である。

符号の説明

１０ …ディジタルカメラ
１２ …フォーカスレンズ
１４ …イメージセンサ
１４ｆ …撮像面
２０ …カメラ処理回路
２２ …フォーカス評価回路
２４ …ＣＰＵ
２６ …キー入力装置
４２ …キャラクタジェネレータ

Claims (5)

1. 撮像面上に結ばれた被写体の光学像を繰り返し捉える撮像手段、
   前記撮像手段によって作成された各画像から顔画像を検出する検出手段、
   前記検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する判定手段、
   前記検出手段によって検出された少なくとも１つの顔画像についての前記判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に前記撮像手段によって作成された画像を記録媒体に記録する記録手段、
   特定モードで操作手段を介したエリア指定操作に応答して前記各画像にエリアを割り当てる割り当て手段、
   前記検出手段によって検出された顔画像の１つにピントが合うようにフォーカス調整を行うフォーカス調整手段、および
   前記判定手段によって笑顔であると判定された顔画像と前記割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて前記記録手段による記録処理の実行を制限する制限手段を備え、
   前記制限手段は、前記割り当て手段によって割り当てられたエリアの内部にピントの合った顔画像とピントの合っていない顔画像とが存在する場合にはピントの合った顔画像に注目し、
   前記判定手段によって笑顔であると判定された顔画像が前記割り当て手段によって割り当てられたエリアの内部に位置する場合には前記記録手段による記録処理の実行を許容する一方、前記判定手段によって笑顔であると判定された顔画像が前記割り当て手段によって割り当てられたエリアの外部に位置する場合には前記記録手段による記録処理の実行を制限する撮像装置。
2. 前記検出手段によって検出された顔画像のうち前記割り当て手段によって割り当てられたエリアの内部に位置する顔画像の１つにピントが合うように前記フォーカス調整手段が参照するフォーカス評価エリアの位置を制御する制御手段をさらに備える、請求項１記載の撮像装置。
3. 前記エリア指定操作は複数の固定エリアから１つを指定する操作である、請求項１又は２に記載の撮像装置。
4. 前記複数の固定エリアは一部が互いに重複している、請求項３記載の撮像装置。
5. 前記撮像手段によって作成された各画像に基づくスルー画像をディスプレイに表示するスルー表示手段、および
   前記エリア指定操作によって指定されたエリアを示す枠画像を前記ディスプレイのスルー画像上に描画する描画手段をさらに備える、請求項１ないし４のいずれかに記載の撮像装置。

Images