JP5448868B2 - 撮像装置および撮像装置の制御方法 - Google Patents

Description

本発明は、特に自動撮影機能を備える撮像装置に関するものである。

近年のデジタルカメラやデジタルビデオカメラ等の撮像装置では、撮像した画像から人物の顔を検出することが可能であり、検出した顔情報を用いた様々な機能が提案されている。また、人物が所定の表情をしたり、人物が所定の動作をしたことに応じて、自動撮影を行う機能を備えた撮像装置が提案されている（特許文献１を参照）。

自動撮影機能の具体的な例として、撮像装置が、被写体が笑顔であることを検出したタイミングで自動的に撮影を行うものがある（特許文献２を参照）。また、自動撮影機能の別の具体的な例として、撮像装置が、被写体がウインクをしたことを検出し、これに応じて自動的に撮影を行うものがある（特許文献３を参照）。

このような自動撮影機能を備える撮像装置では、ユーザがシャッターボタンを押さなくとも撮影を行うことが可能である。

特開２００４−２９４４９８号公報 特開２００８−３１１８１７号公報 特開２００８−０７２１８３号公報

このように、顔の表情や動作を検出して自動撮影を行う機能を用いる場合、撮影画角内に人物が複数存在していた際に、どの顔を、自動撮影を開始するための表情や動作の検出対象とすべきか、という課題がある。

複数人物の全員を表情や動作の検出対象とすることも考えられるが、人数が増えるほど検出に要する時間が長くなり、表情を検出してから自動撮影が開始されるまでの応答性が悪くなるため、あまり望ましい構成であるとは言えない。また、撮影画角内には撮影対象として意図していない人物が入り込んでいることもあり、そのような人物の表情を検出する必要はない。

そこで、撮像装置が複数人物に対して評価値を算出し、評価値の高い人物のみを表情や動作の検出の対象とする構成とすることや、ユーザーが選択した人物のみを表情や動作の検出の対象とする構成とすることが考えられる。

笑顔や泣き顔等の所定の表情の人物を自動撮影する機能は、被写体となる人物が自動撮影のために意図的に所定の表情をするために用いられるのではなく、被写体が自然と所定の表情をした瞬間を撮影することを期待して用いられる。つまり、撮影のタイミングは撮像装置の判断に委ねられる。このような状況下では、撮像装置を構えたからといって、すぐに被写体が笑顔や泣き顔になってくれるわけではない。自然な表情を撮影するためには、撮像装置を構えたまま、被写体が笑顔や泣き顔になってくれるタイミングをしばらく待つような状況であることも多い。したがって、被写体の構図も一定とは限らず、時間の経過ともに、被写体の位置や配置が変化したり、画角内に存在する人物が変化したりする可能性がある。さらに、笑顔が撮影された人物が、他の人物より小さかったり、画面の端にいたりと、脇役のような構図である場合には、せっかくの笑顔の画像であっても好まれないことが多い。

これに対し、ウインク等の所定の動作をトリガーとして自動撮影する機能は、所定の表情を撮影対象とするために用いられるのではなく、自動撮影のタイミングを指示するために用いられる。つまり、撮影のタイミングは被写体に委ねられる。そのため、撮影指示を出す人物は、その構図に関わらずに固定されていることが多い。

このように、被写体の所定の表情や動作を検出したことに応じて、自動撮影を行う機能であっても、その所定の表情や動作を撮影対象としたいのか、あるいは、撮影対象ではなく撮影のトリガーとしたいのかに応じて、被写体の状況は異なる。そのため、自動撮影の種類によって、複数の被写体が存在した場合の表情や動作の検出の対象とする被写体の選択の仕方は変更すべきであるが、従来、この点に言及したものは無かった。

そこで、本発明は、自動撮影の種類に応じて、自動撮影のために所定の表情や動作の検出対象とする人物の被写体の仕方を好適に切り替える撮像装置を提供することを目的とする。

上記課題を解決するため、本発明は、撮像素子と、前記撮像素子で得られた１フレームの画像から検出された複数の被写体から、第１の被写体および第２の被写体の少なくともいずれかを選択する選択手段と、前記第１の被写体の所定の表情または動作と、前記第２の被写体による所定の表情または動作を検出する検出手段と、前記検出手段が前記第１の被写体の所定の表情または動作を検出すること、および、前記第２の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御手段とを有し、前記選択手段は、前記第１の被写体として、それぞれのフレームの画像内における複数の被写体に対して評価値を算出し、それぞれのフレームの画像内において前記評価値が他の被写体よりも高い、あるいは、前記評価値が閾値以上である被写体を選択し、かつ、前記第２の被写体として、１フレームの画像内における複数の被写体のうち、それよりも前のフレームで第２の被写体として選択された被写体と同一の被写体を選択し、前記制御手段は、前記検出手段が前記第１の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出手段が前記第２の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定する撮像装置を提供する。

同様に上記課題を解決するため、本発明は、撮像素子と、前記撮像素子で得られた１フレームの画像から検出された複数の被写体から、第１の被写体および第２の被写体の少なくともいずれかを選択する選択手段と、前記第１の被写体の所定の表情または動作と、前記第２の被写体による所定の表情または動作を検出する検出手段と、前記検出手段が前記第１の被写体の所定の表情または動作を検出すること、および、前記第２の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御手段とを有し、前記選択手段は、フレーム間で独立して複数の被写体から第１の被写体を選択し、かつ、フレーム間で追尾を行うことにより複数の被写体から連続して同一の被写体を第２の被写体として選択し、前記制御手段は、前記検出手段が前記第１の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出手段が前記第２の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定する撮像装置を提供する。

本発明によれば、自動撮影の種類に応じて、自動撮影のために所定の表情や動作の検出対象とする被写体の選択の仕方を好適に切り替える撮像装置を提供することができる。

本発明の実施形態に係る自動撮影モードの処理を示すフローチャート。 本発明の実施形態に係る撮像装置の一例としてデジタルカメラの機能構成例を示すブロック図。 本発明の実施形態に係る自動撮影モードの表情および動作の検出の対象となる顔領域を説明するための図。

以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、以下に説明する実施形態の説明は、本発明の理解を助けることを目的としたものであり、本発明の範囲を限定するものではなく、本発明の範囲内で様々な変更が可能である。

図１は、本発明の実施形態に係る自動撮影モードの処理を示すフローチャートである。図２は、本発明の実施形態に係る撮像装置の一例としてデジタルカメラ２００の機能構成例を示すブロック図である。図３は、本発明の実施形態に係る自動撮影モードの表情および動作の検出の対象となる顔領域を説明するための図である。

図２において、レンズユニット２０１は結像光学系であり、一般的にはフォーカス調整用レンズを含む複数のレンズによって構成される。レンズユニット２０１は被写体の光学像を撮像素子２０３の撮像面上に結像する。シャッター２０２はレンズユニット２０１を透過した光学像を遮断するためのメカニカルシャッターであり、撮像素子２０３の露光時間を制御するために用いられる。撮像素子２０３はＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの光電変換素子であり、被写体光学像を画素単位の電気信号に変換する。撮像素子２０３は、撮像と出力を連続的に繰り返すことにより、所定のフレームレートで時系列的に映像信号を出力することができる。以下の説明において、「画像」とは、１フレームの映像信号と同義である。

撮像素子２０３から出力された画像は、画像処理回路２０４で相関二重サンプリング等のアナログ信号処理が適用された後、デジタルデータの形式に変換される。画像処理回路２０４は、デジタル形式の画像に対して、ガンマ補正、ホワイトバランス処理などの画像処理（いわゆる現像処理）を適用する。

また、画像処理回路２０４は、デジタル形式の画像に対して顔検出処理、表情検出処理、および、動作検出処理を適用する。これらの検出処理は様々な方法が公知であり、いずれの方法を適用しても構わない。本実施形態では、画像から輝度情報を抽出し、この輝度情報から顔の構成要素を示す形状の部位を抽出することで、人物の顔領域を検出するものとする。さらに、検出された顔領域に存在する目や口の構成要素の形状や相対位置関係から、その人物の表情や顔の動作を検出する。例えば、検出した顔領域において、目尻が下がり、口角が上がった場合には、その顔領域における人物が笑顔になったものと判定する。また、検出した顔領域において、一方の目が開いたままで、対となる他方の目が細く、あるいは、閉じたことが検出された場合に、その顔領域における人物がウインクしたものと判定する。

制御回路２０５は、ＣＰＵやマイクロコントローラなどであり、デジタルカメラ２００全体の動作を制御する。具体的には、制御回路２０５は、ＲＯＭに記憶されたプログラムコードをＲＡＭの作業領域に展開して順次実行することで、デジタルカメラ２００の各部を制御する。なお、制御回路２０５を構成するＣＰＵ等は単数であっても複数であってもよく、制御回路２０５が実現する機能を複数のＣＰＵで分散して処理してもよい。

露光制御回路２０６は、画像処理回路２０４がデジタル形式の画像の輝度値を基にして制御回路２０５が求めた露出制御値に応じて、シャッター２０２の駆動タイミングを制御する。測距制御回路２０７は、画像処理回路２０４がデジタル形式の画像から制御回路２０５が求めたＡＦ評価値に応じて、レンズユニット２０１に含まれるフォーカス調整用レンズの位置を制御する。

表示装置２０８は、撮像素子２０３で連続して撮像することで得られる動画像をリアルタイムに表示することで、電子ビューファインダとして機能する。また、表示装置２０８は、電子ビューファインダとして機能している際、画像から検出した顔領域の位置を示す情報を撮像画像とともに表示することができる。

シャッターボタン２０９は、ユーザーが静止画撮影を指示するための操作部材である。通常の撮影モードでは、シャッターボタン２０９が途中まで押し込まれると、制御回路２０５は静止画撮影用にオートフォーカス制御、露出制御、および、ホワイトバランス制御等の実行を指示する。そして、シャッターボタン２０９が最後まで押し込まれると、制御回路２０５は撮像素子２０３から読み出した信号を画像に変換し、記憶回路２１２が記録媒体に記憶させる一連の静止画撮影処理の動作の開始を指示する。

モードダイアル２１０は、全自動静止画撮影モード、絞り優先静止画撮影モード、シャッター速度優先静止画撮影モード、動画撮影モード、再生モードなど、デジタルカメラ２００の動作モードを選択するための部材である。

操作部２１１は、いずれかの静止画撮影モードが選択された場合に、スマイルモードまたはウインクセルフモードを実行させるためのメニュー選択を行う部材である。なお、スマイルモードは、撮像した動画像において、特定の顔領域における人物が笑顔であると判定したら、すぐさま静止画撮影を開始する動作モードである。ウインクセルフモードは、撮像した動画像において、特定の顔領域における人物がウインクをしたと判定したら、少し間を空けてから静止画撮影を開始する動作モードである。

記憶回路２１２は、静止画撮影によって得られた画像を記憶媒体に記憶させるための回路である。この記憶媒体は、デジタルカメラ２００に着脱可能なものであっても、デジタルカメラ２００に内蔵されたものであってもよい。

報知装置２１３はＬＥＤ等の照明装置やスピーカーなどの音声装置を備えており、ウインクセルフモードで特定の顔領域における人物がウインクしたことを検出すると、撮影タイミングをユーザに知らせるための合図を発光したり、音で知らせたりする。

続いて、図１のフローチャートを用いて、本発明の実施形態に係る自動撮影モードの処理を説明する。

モードダイアル２１０によりいずれかの静止画モードが選択され、かつ、操作部２１１によってスマイルモードあるいはウインクセルフモードのいずれかが選択された場合に、図１に示すフローチャートが開始される。表示装置２０８は、撮像素子２０３で連続して撮像することで得られる動画像をリアルタイムに表示する電子ビューファインダとして機能しているものとする。

ステップＳ１０１において、制御回路２０５は、操作部２１１にて設定された自動撮影モードがスマイルモードであるか否かを判定し、スマイルモードであればステップＳ１０２に進む。このとき、表示装置２０８は、スマイルモードのガイダンスの表示を行う。

ステップＳ１０２において、制御回路２０５は、画像処理回路２０４に、新たに取り込んだ１フレームの画像に対し、人物の顔領域を検出する顔検出処理を行わせる。画像処理回路２０４は、画像から検出されたそれぞれの顔領域の位置および大きさの情報を取得し、不図示のＲＡＭに記憶しておく。

ステップＳ１０３において、制御回路２０５は、１フレームの画像内で検出したそれぞれの顔領域の位置と大きさに基づいてそれぞれの顔領域の評価値を算出し、最も評価値の高い１つの顔を笑顔検出処理の対象顔（第１の被写体）として選択する。この評価値は、顔領域が大きいほど、顔の位置が画像の中央部に近いほど、高くなるように設定される。なお、ステップＳ１０１で１つしか顔領域が検出されていない場合は、その顔が選択される。ここで、笑顔検出処理は、顔検出処理に比べ、目や口の構成要素の詳細な情報を必要とするため、必要な顔領域の大きさがこれらの情報を精度良く得るために必要な所定値に達していない顔領域は、対象顔として選択しないようにしてもよい。ステップＳ１０１で顔領域が検出できなかった場合、あるいは、対象顔として必要な大きさを満たす顔が検出できなかった場合には、新たに１フレームの画像を読み出してステップＳ１０１に戻る。

ステップＳ１０４において、制御回路２０５は、画像処理回路２０４に、対象顔として選択した顔領域に対し、笑顔検出処理を行わせる。制御回路２０５は、表示装置２０８に、どの顔に対して笑顔検出処理を行っているかをユーザーが認識できるよう、ステップＳ１０３にて選択された顔領域に対して、笑顔検出処理の対象であることを示すマークや枠を重畳して表示させる。また、制御回路２０５は、精度良く笑顔検出を行うため、笑顔検出処理を行う前に、測距制御回路２０７にステップＳ１０３にて選択された顔領域にピントが合うようにオートフォーカス処理を行わせる。

ステップＳ１０５において、制御回路２０５は、ステップＳ１０４にて対象顔から笑顔が検出された場合にはステップＳ１０６に進み、検出されなければ新たに１フレームの画像を読み出してステップＳ１０２に戻る。

ステップＳ１０６において、制御回路２０５は、撮像素子２０３を静止画用の駆動方式に切り替え、シャッター２０２を駆動させて静止画の撮影を行い、記憶回路２１２が静止画撮影で得られた画像を記憶媒体に記憶する。

ステップＳ１０７において、制御回路２０５は、ユーザーが操作部２１１を操作してスマイルモードを解除したか否かを判定し、スマイルモードが解除されていればこの自動撮影モードを終了する。スマイルモードが解除されていなければ新たに１フレームの画像を読み出してステップＳ１０２に戻る。

このスマイルモードでは、笑顔検出による自動撮影の他に、シャッターボタン２０９をユーザが操作することによる撮影も可能である。したがって、ユーザは意図したタイミングで撮影を行いながら、被写体の笑顔を逃さず撮影することができる。

上述したように、スマイルモードでは、ステップＳ１０５で笑顔が検出されなかった場合には、新たに１フレームの画像を読み出してステップＳ１０２に戻り、続くステップＳ１０３にて再び笑顔検出処理の対象顔の選択を行う。つまり、スマイルモードでは、新たなフレームの画像を読み出すたびに、笑顔検出処理の対象顔の選択を行っており、フレーム間においてそれぞれの顔領域の評価値は独立している。よって、笑顔検出処理を行うたびに、笑顔検出処理の対象顔が切り替わる場合もありえる。

これは、スマイルモードは、被写体が自然と笑顔になった瞬間を撮影することを目的として用いられるため、カメラを構えたからといって、すぐに被写体が笑顔になってくれるわけではないためである。自然な笑顔を撮影するためには、カメラを構えたまま、被写体が笑顔になってくれるタイミングをしばらく待つことになるため、時間の経過ともに、被写体の位置や配置が変化したり、画角内に存在する人物が変化したりする可能性がある。そして、例え笑顔であっても、その顔が他の人物よりも小さく写っていたり、画面の端のほうである場合には、笑顔の画像としては好まれない構図である場合が多い。そのため、本実施形態では、フレーム別に、その時点で最も主被写体らしい顔を笑顔検出の対象顔としている。なお、本実施形態では最も評価値の高い１つの顔を笑顔検出の対象顔として選択していたが、評価値の高い複数の所定数の顔を笑顔検出の対象顔としても構わない。あるいは、評価値が閾値以上である顔をすべて笑顔検出の対象顔としてもよい。つまり、そのフレームの画像内で、評価値が所定の条件を満たしたものを笑顔検出の対象顔として選択するように構成すればよい。

ステップＳ１０１に戻り、制御回路２０５は、操作部２１１にて設定された自動撮影モードがスマイルモードでない、すなわちウインクセルフモードであれば、ステップＳ１０８に進む。このとき、表示装置２０８は、ウインクセルフモードのガイダンスの表示を行う。

ステップＳ１０８において、制御回路２０５は、画像処理回路２０４に、新たに取り込んだ１フレームの画像に対し、人物の顔領域を検出する顔検出処理を行わせる。画像処理回路２０４は、画像から検出されたそれぞれの顔領域の位置および大きさの情報を取得し、不図示のＲＡＭに記憶しておく。

ステップＳ１０９において、制御回路２０５は、検出したそれぞれの顔領域の位置と大きさに基づいてそれぞれの顔領域の評価値を算出し、最も評価値の高い１つの顔をウインク検出処理の対象顔（第２の被写体）として選択する。この評価値は、顔領域が大きいほど、顔の位置が画像の中央部に近いほど、高くなるように設定される。あるいは、操作部２１１にて移動可能なカーソルを表示装置２０８に表示された画像に重畳して表示させ、このカーソルの位置にある顔領域をウインク検出処理の対象顔として選択するようにしてもよい。なお、ステップＳ１０８で１つしか顔領域が検出されていない場合は、その顔が選択される。ここで、ウインク検出処理も、顔検出処理に比べ、目や口の構成要素の詳細な情報を必要とするため、必要な顔領域の大きさがこれらの情報を精度良く得るために必要な所定値に達していない顔領域は、対象顔として選択しないようにしてもよい。ステップＳ１０８で顔領域が検出できなかった場合、あるいは、対象顔として必要な大きさを満たす顔が検出できなかった場合には、新たに１フレームの画像を読み出してステップＳ１０８に戻る。

ステップＳ１１０において、制御回路２０５は、画像処理回路２０４に、対象顔として選択した顔領域に対し、ウインク検出処理を行わせる。制御回路２０５は、表示装置２０８に、どの顔に対してウインク検出処理を行っているかをユーザーが認識できるよう、ステップＳ１０９にて選択された顔領域に対して、ウインク検出処理の対象であることを示すマークや枠を重畳して表示させる。また、制御回路２０５は、精度良くウインク検出を行うため、ウインク検出処理を行う前に、測距制御回路２０７にステップＳ１０９にて選択された顔領域にピントが合うようにオートフォーカス処理を行わせる。

ステップＳ１１１において、制御回路２０５は、ステップＳ１１０にて対象顔からウインクが検出された場合にはステップＳ１１５に進み、検出されなければ新たに１フレームの画像を読み出してステップＳ１１２に進む。

ステップＳ１１２において、制御回路２０５は、画像処理回路２０４に、ステップＳ１０８と同様の顔検出処理を行わせる。

ステップＳ１１３において、制御回路２０５は、ステップＳ１１２で検出された顔領域の中から、ステップＳ１０９で対象顔として選択された顔領域と同一人物とみなせる顔領域を選択することで、対象顔の追尾処理を行う。具体的には、制御回路２０５は、ステップＳ１１２で検出された複数の顔領域のうち、直前の対象顔の位置と最も近距離にある顔領域を新たな対象顔とする。ステップＳ１１２で顔領域が１つしか検出されなかった場合には、その顔領域を対象顔とすれば良い。ただし、最も近距離にあるとされた顔領域の座標と、その直前の対象顔の顔領域の座標とが所定距離よりも離れていれば、その最も近距離にあるとされた顔領域は、対象顔とは同一人物ではなく、対象顔を見失ったものと判断する。

ステップＳ１１４において、制御回路２０５は、ステップＳ１１２にて検出した顔領域の中に、直前の顔領域と同一人物とみなせる顔領域があると判断した場合には、ステップＳ１１０に戻る。そして、その同一人物とみなせる顔領域を新たな対象顔として、画像処理回路２０４に、その対象顔に対し、再びウインク検出処理を行わせる。

反対に、制御回路２０５は、ステップＳ１１２にて検出した顔領域の中に、直前の顔領域と同一人物とみなせる顔領域がない、すなわち対象顔を見失ったと判断した場合には、新たに１フレームの画像を読み出してステップＳ１０８に戻る。そして、制御回路２０５は、ステップＳ１０８において画像処理回路２０４に顔検出処理を行わせ、ステップＳ１０９において、再び評価値を用いてウインク検出処理の対象顔の選択を行う。

このように、ウインクセルフモードでは、スマイルモードと異なり、一度ウインク検出の対象顔が選択されると、その対象顔を見失うまでは、画像が更新されても同一人物とみなせる顔領域を追尾して対象顔として更新するようにしている。

これは、ウインクセルフモードは、撮影のタイミングが被写体に委ねられており、撮影のタイミングを指示する被写体は特定の人物に固定されていることが多いためである。したがって、被写体の位置や配置が変化したとしても、ウインク検出処理の対象顔となる顔領域は、時間の経過に関わらずに同一人物にすることが望ましい。

ステップＳ１１１に戻り、対象顔からウインクが検出された場合には、ステップＳ１１５に進む。ステップＳ１１５において、制御回路２０５は、撮像素子２０３を静止画用の駆動方式に切り替え、シャッター２０２を駆動させて静止画の撮影を行い、記憶回路２１２が静止画撮影で得られた画像を記憶媒体に記憶する。このとき、制御回路２０５は、ウインクを検出した直後に撮影処理は行うのではなく、撮影を行う旨を報知装置２１３による光や音声にてユーザに通知し、一定時間後に撮影処理を行うようにする。こうすることで、被写体はウインクした後に、表情やポーズを作るなど撮影のための準備動作を行うことが可能となる。

ステップＳ１１６において、制御回路２０５は、ユーザーが操作部２１１を操作してウインクセルフモードを解除したか否かを判定し、ウインクセルフモードが解除されていればこの自動撮影モードを終了する。ウインクセルフモードが解除されていなければ新たに１フレームの画像を読み出してステップＳ１１２、Ｓ１１３に進み、対象顔の追尾を行う。

以上説明したように、本実施形態では、自動撮影モードがスマイルモードであるのか、ウインクセルフモードであるのかに応じて、対象顔の更新方法が異なる。これを図３を用いて説明する。

例えば、スマイルモードでは、図３（ａ）の左側の画像に対してステップＳ１０３で笑顔検出の対象顔を選択したところ、画像の中央に位置し、かつ、最もサイズの大きな人物Ａの顔領域が選択されたものとする。続くステップＳ１０４では、この人物Ａの顔領域から笑顔は検出されず、ステップＳ１０５、Ｓ１０２を介し、再びステップＳ１０３で、新たに読み出した図３（ａ）の右側の画像に対して、笑顔検出の対象顔を選択する。このとき、人物Ｂの顔領域が他の顔領域に比較して十分に大きなサイズとなっており、人物Ｂの評価値が最も高いため、この図３（ａ）の右側の画像では人物Ｂの顔領域が対象顔として選択される。

ウインクセルフモードでは、図３（ｂ）の左側の画像に対してステップＳ１０３で笑顔検出の対象顔を選択したところ、画像の中央に位置し、かつ、最もサイズの大きな人物Ａの顔領域が選択されたものとする。続くステップＳ１１０では、この人物Ａの顔領域からウインクは検出されず、ステップＳ１１１、Ｓ１１２を介し、ステップＳ１１３で、新たに読み出した図３（ｂ）の右側の画像に対して、直前の対象顔と同一人物とみなせる顔領域を選択する。このとき、人物Ｂの顔領域が他の顔領域に比較して十分に大きなサイズとなっているが、先ほどと同じ人物Ａの顔領域が対象顔として選択される。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、笑顔検出処理を行うスマイルモードと、ウインク検出処理を行うウインクセルフモードを例にあげて説明を行ったが、これに限られるものではない。被写体が所定の表情や動作をしたことを検知すると、続けざまに被写体の静止画を撮影する第１の自動撮影モードと、検知したことをトリガーとして所定時間後に被写体の静止画を撮影する第２の自動撮影モードを備えていれば、本発明を適用することができる。

ここで、被写体が所定の表情をしたことを検知してから、静止画を撮影するまでの時間は、第１の自動撮影モードよりも第２の自動撮影モードのほうが長い構成であると言うことができる。さらに、被写体が所定の表情をしたことを検知してから、静止画を撮影するまでに、第２の自動撮影モードはユーザーに撮影する旨を報知するが、第１の自動撮影モードでは報知しない構成であると言うこともできる。

また、第１の自動撮影モードと第２の自動撮影モードで、ともに同じ表情を検出するようにしてもよい。例えば、第１の自動撮影モードに設定されていれば、対象顔が笑顔になったことを検知したら、続けざまに静止画の撮影を行う。第２の自動撮影モードに設定されていれば、同じく対象顔が笑顔になったことを検知したら、音声や光で撮影を行うことをユーザーに通知してから、所定時間後に静止画の撮影を行う。第１の自動撮影モードでは、笑顔になった被写体を自動的に静止画撮影することが可能となり、第２の自動撮影モードでは、対象顔が意図的に笑顔になることで、この被写体が静止画撮影のタイミングを指示することが可能となる。このように、第１の自動撮影モードと第２の自動撮影モードとで、被写体のどのような表情を検出するかは、互いに独立して設定することができる。

反対に、第１の自動撮影モードと第２の自動撮影モードとで、互いに異なる被写体の表情を検出するように設定しておけば、第１の自動撮影モードと第２の自動撮影モードを同時に起動させておくことも可能になる。

また、静止画の自動撮影を行うために検出するものは、必ずしも顔領域における表情や動作でなくともよい。顔領域を検出することで、その人物の体の位置も推測できることから、特定の人物が所定のポーズをとったことを検出し、これに応じて自動撮影を行うようにしてもよい。例えば、対象顔として選択された顔領域の左右のいずれかの領域において、手が上げられたことが検出された場合に、自動撮影を行うような構成とすることが考えられる。あるいは、画像処理回路２０４が顔検出処理を備えていなくとも、画像を多数の領域に分割してそれぞれの領域における動きベクトルを求めることで、個々の被写体を検出し、その中のいずれかの被写体が所定の動作をしたか否かを検出するようにしてもよい。

また、撮像素子２０３で撮像した動画像をリアルタイムに表示する電子ビューファインダとして機能している最中に、笑顔やウインク検出を行って、静止画撮影を行うデジタルカメラを例にあげて説明を行ったが、これに限定されるものではない。動画記録中に、被写体の所定の表情を検出することで、一時的に静止画撮影に切り替えるビデオカメラであっても本発明を適用することは可能である。また、撮像素子やシャッター等からなる画像生成部と、被写体の表情を検出する画像処理回路とは、必ずしも単一の装置内に設けてある必要は無く、互いに通信可能な構成とした撮像システムであっても本発明を適用することは可能である。

２００ デジタルカメラ
２０３ 撮像素子
２０４ 画像処理回路
２０５ 制御回路
２０８ 表示装置
２１０ モードダイアル
２１１ 操作部
２１２ 記憶回路
２１３ 報知装置

Claims (8)

1. 撮像素子と、
   前記撮像素子で得られた１フレームの画像から検出された複数の被写体から、第１の被写体および第２の被写体の少なくともいずれかを選択する選択手段と、
   前記第１の被写体の所定の表情または動作と、前記第２の被写体による所定の表情または動作を検出する検出手段と、
   前記検出手段が前記第１の被写体の所定の表情または動作を検出すること、および、前記第２の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御手段とを有し、
   前記選択手段は、前記第１の被写体として、それぞれのフレームの画像内における複数の被写体に対して評価値を算出し、それぞれのフレームの画像内において前記評価値が他の被写体よりも高い、あるいは、前記評価値が閾値以上である被写体を選択し、かつ、前記第２の被写体として、１フレームの画像内における複数の被写体のうち、それよりも前のフレームで第２の被写体として選択された被写体と同一の被写体を選択し、
   前記制御手段は、前記検出手段が前記第１の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出手段が前記第２の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定することを特徴とする撮像装置。
2. 撮像素子と、
   前記撮像素子で得られた１フレームの画像から検出された複数の被写体から、第１の被写体および第２の被写体の少なくともいずれかを選択する選択手段と、
   前記第１の被写体の所定の表情または動作と、前記第２の被写体による所定の表情または動作を検出する検出手段と、
   前記検出手段が前記第１の被写体の所定の表情または動作を検出すること、および、前記第２の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御手段とを有し、
   前記選択手段は、フレーム間で独立して複数の被写体から第１の被写体を選択し、かつ、フレーム間で追尾を行うことにより複数の被写体から連続して同一の被写体を第２の被写体として選択し、
   前記制御手段は、前記検出手段が前記第１の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出手段が前記第２の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定することを特徴とする撮像装置。
3. 前記検出手段が前記第２の被写体の所定の表情または動作を検出してから、前記制御手段が静止画撮影を行うまでの間に、静止画撮影を行うことを報知する報知手段を有し、
   前記報知手段は、前記検出手段が前記第１の被写体の所定の表情または動作を検出してから、前記制御手段が静止画撮影を行うまでの間には、静止画撮影を行うことを報知しないことを特徴とする請求項１または２に記載の撮像装置。
4. 前記選択手段は、前記第２の被写体が選択されていない場合には、１フレームの画像内における複数の被写体に対してそれぞれ評価を行い、最も評価値の高い被写体を前記第２の被写体として選択することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記撮像素子で得られた画像内から人物の顔領域を検出する顔検出手段を有し、
   前記選択手段は、検出された複数の顔領域から、第１の被写体および第２の被写体の少なくともいずれかを選択することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記検出手段は、前記第１の被写体として選択された顔領域における笑顔を検出し、前記第２の被写体として選択された顔領域におけるウインクを検出することを特徴とする請求項５に記載の撮像装置。
7. 撮像素子で得られた１フレームの画像から検出された複数の被写体から、第１の被写体および第２の被写体の少なくともいずれかを選択する選択工程と、
   前記第１の被写体の所定の表情または動作と、前記第２の被写体による所定の表情または動作を検出する検出工程と、
   前記検出工程において前記第１の被写体の所定の表情または動作すること、および、前記第２の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御工程とを有し、
   前記選択工程では、前記第１の被写体として、それぞれのフレームの画像内における複数の被写体に対して評価値を算出し、それぞれのフレームの画像内において前記評価値が他の被写体よりも高い、あるいは、前記評価値が閾値以上である被写体を選択し、かつ、前記第２の被写体として、１フレームの画像内における複数の被写体のうち、それよりも前のフレームで第２の被写体として選択された被写体と同一の被写体を選択し、
   前記制御工程では、前記検出工程において前記第１の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出工程において前記第２の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定することを特徴とする撮像装置の制御方法。
8. 撮像素子で得られた１フレームの画像から検出された複数の被写体から、第１の被写体および第２の被写体の少なくともいずれかを選択する選択工程と、
   前記第１の被写体の所定の表情または動作と、前記第２の被写体による所定の表情または動作を検出する検出工程と、
   前記検出工程において前記第１の被写体の所定の表情または動作すること、および、前記第２の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御工程とを有し、
   前記選択工程では、フレーム間で独立して複数の被写体から第１の被写体を選択し、かつ、フレーム間で追尾を行うことにより複数の被写体から連続して同一の被写体を第２の被写体として選択し、
   前記制御工程では、前記検出工程において前記第１の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出工程において前記第２の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定することを特徴とする撮像装置の制御方法。

Images