JP5448868B2 - 撮像装置および撮像装置の制御方法 - Google Patents

撮像装置および撮像装置の制御方法 Download PDF

Info

Publication number
JP5448868B2
JP5448868B2 JP2010009263A JP2010009263A JP5448868B2 JP 5448868 B2 JP5448868 B2 JP 5448868B2 JP 2010009263 A JP2010009263 A JP 2010009263A JP 2010009263 A JP2010009263 A JP 2010009263A JP 5448868 B2 JP5448868 B2 JP 5448868B2
Authority
JP
Japan
Prior art keywords
subject
image
facial expression
predetermined facial
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010009263A
Other languages
English (en)
Other versions
JP2011151482A (ja
Inventor
栄二 吉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010009263A priority Critical patent/JP5448868B2/ja
Publication of JP2011151482A publication Critical patent/JP2011151482A/ja
Application granted granted Critical
Publication of JP5448868B2 publication Critical patent/JP5448868B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Description

本発明は、特に自動撮影機能を備える撮像装置に関するものである。
近年のデジタルカメラやデジタルビデオカメラ等の撮像装置では、撮像した画像から人物の顔を検出することが可能であり、検出した顔情報を用いた様々な機能が提案されている。また、人物が所定の表情をしたり、人物が所定の動作をしたことに応じて、自動撮影を行う機能を備えた撮像装置が提案されている(特許文献1を参照)。
自動撮影機能の具体的な例として、撮像装置が、被写体が笑顔であることを検出したタイミングで自動的に撮影を行うものがある(特許文献2を参照)。また、自動撮影機能の別の具体的な例として、撮像装置が、被写体がウインクをしたことを検出し、これに応じて自動的に撮影を行うものがある(特許文献3を参照)。
このような自動撮影機能を備える撮像装置では、ユーザがシャッターボタンを押さなくとも撮影を行うことが可能である。
特開2004−294498号公報 特開2008−311817号公報 特開2008−072183号公報
このように、顔の表情や動作を検出して自動撮影を行う機能を用いる場合、撮影画角内に人物が複数存在していた際に、どの顔を、自動撮影を開始するための表情や動作の検出対象とすべきか、という課題がある。
複数人物の全員を表情や動作の検出対象とすることも考えられるが、人数が増えるほど検出に要する時間が長くなり、表情を検出してから自動撮影が開始されるまでの応答性が悪くなるため、あまり望ましい構成であるとは言えない。また、撮影画角内には撮影対象として意図していない人物が入り込んでいることもあり、そのような人物の表情を検出する必要はない。
そこで、撮像装置が複数人物に対して評価値を算出し、評価値の高い人物のみを表情や動作の検出の対象とする構成とすることや、ユーザーが選択した人物のみを表情や動作の検出の対象とする構成とすることが考えられる。
笑顔や泣き顔等の所定の表情の人物を自動撮影する機能は、被写体となる人物が自動撮影のために意図的に所定の表情をするために用いられるのではなく、被写体が自然と所定の表情をした瞬間を撮影することを期待して用いられる。つまり、撮影のタイミングは撮像装置の判断に委ねられる。このような状況下では、撮像装置を構えたからといって、すぐに被写体が笑顔や泣き顔になってくれるわけではない。自然な表情を撮影するためには、撮像装置を構えたまま、被写体が笑顔や泣き顔になってくれるタイミングをしばらく待つような状況であることも多い。したがって、被写体の構図も一定とは限らず、時間の経過ともに、被写体の位置や配置が変化したり、画角内に存在する人物が変化したりする可能性がある。さらに、笑顔が撮影された人物が、他の人物より小さかったり、画面の端にいたりと、脇役のような構図である場合には、せっかくの笑顔の画像であっても好まれないことが多い。
これに対し、ウインク等の所定の動作をトリガーとして自動撮影する機能は、所定の表情を撮影対象とするために用いられるのではなく、自動撮影のタイミングを指示するために用いられる。つまり、撮影のタイミングは被写体に委ねられる。そのため、撮影指示を出す人物は、その構図に関わらずに固定されていることが多い。
このように、被写体の所定の表情や動作を検出したことに応じて、自動撮影を行う機能であっても、その所定の表情や動作を撮影対象としたいのか、あるいは、撮影対象ではなく撮影のトリガーとしたいのかに応じて、被写体の状況は異なる。そのため、自動撮影の種類によって、複数の被写体が存在した場合の表情や動作の検出の対象とする被写体の選択の仕方は変更すべきであるが、従来、この点に言及したものは無かった。
そこで、本発明は、自動撮影の種類に応じて、自動撮影のために所定の表情や動作の検出対象とする人物の被写体の仕方を好適に切り替える撮像装置を提供することを目的とする。
上記課題を解決するため、本発明は、撮像素子と、前記撮像素子で得られた1フレームの画像から検出された複数の被写体から、第1の被写体および第2の被写体の少なくともいずれかを選択する選択手段と、前記第1の被写体の所定の表情または動作と、前記第2の被写体による所定の表情または動作を検出する検出手段と、前記検出手段が前記第1の被写体の所定の表情または動作を検出すること、および、前記第2の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御手段とを有し、前記選択手段は、前記第1の被写体として、それぞれのフレームの画像内における複数の被写体に対して評価値を算出し、それぞれのフレームの画像内において前記評価値が他の被写体よりも高い、あるいは、前記評価値が閾値以上である被写体を選択し、かつ、前記第2の被写体として、1フレームの画像内における複数の被写体のうち、それよりも前のフレームで第2の被写体として選択された被写体と同一の被写体を選択し、前記制御手段は、前記検出手段が前記第1の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出手段が前記第2の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定する撮像装置を提供する。
同様に上記課題を解決するため、本発明は、撮像素子と、前記撮像素子で得られた1フレームの画像から検出された複数の被写体から、第1の被写体および第2の被写体の少なくともいずれかを選択する選択手段と、前記第1の被写体の所定の表情または動作と、前記第2の被写体による所定の表情または動作を検出する検出手段と、前記検出手段が前記第1の被写体の所定の表情または動作を検出すること、および、前記第2の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御手段とを有し、前記選択手段は、フレーム間で独立して複数の被写体から第1の被写体を選択し、かつ、フレーム間で追尾を行うことにより複数の被写体から連続して同一の被写体を第2の被写体として選択し、前記制御手段は、前記検出手段が前記第1の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出手段が前記第2の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定する撮像装置を提供する。
本発明によれば、自動撮影の種類に応じて、自動撮影のために所定の表情や動作の検出対象とする被写体の選択の仕方を好適に切り替える撮像装置を提供することができる。
本発明の実施形態に係る自動撮影モードの処理を示すフローチャート。 本発明の実施形態に係る撮像装置の一例としてデジタルカメラの機能構成例を示すブロック図。 本発明の実施形態に係る自動撮影モードの表情および動作の検出の対象となる顔領域を説明するための図。
以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、以下に説明する実施形態の説明は、本発明の理解を助けることを目的としたものであり、本発明の範囲を限定するものではなく、本発明の範囲内で様々な変更が可能である。
図1は、本発明の実施形態に係る自動撮影モードの処理を示すフローチャートである。図2は、本発明の実施形態に係る撮像装置の一例としてデジタルカメラ200の機能構成例を示すブロック図である。図3は、本発明の実施形態に係る自動撮影モードの表情および動作の検出の対象となる顔領域を説明するための図である。
図2において、レンズユニット201は結像光学系であり、一般的にはフォーカス調整用レンズを含む複数のレンズによって構成される。レンズユニット201は被写体の光学像を撮像素子203の撮像面上に結像する。シャッター202はレンズユニット201を透過した光学像を遮断するためのメカニカルシャッターであり、撮像素子203の露光時間を制御するために用いられる。撮像素子203はCCDイメージセンサやCMOSイメージセンサなどの光電変換素子であり、被写体光学像を画素単位の電気信号に変換する。撮像素子203は、撮像と出力を連続的に繰り返すことにより、所定のフレームレートで時系列的に映像信号を出力することができる。以下の説明において、「画像」とは、1フレームの映像信号と同義である。
撮像素子203から出力された画像は、画像処理回路204で相関二重サンプリング等のアナログ信号処理が適用された後、デジタルデータの形式に変換される。画像処理回路204は、デジタル形式の画像に対して、ガンマ補正、ホワイトバランス処理などの画像処理(いわゆる現像処理)を適用する。
また、画像処理回路204は、デジタル形式の画像に対して顔検出処理、表情検出処理、および、動作検出処理を適用する。これらの検出処理は様々な方法が公知であり、いずれの方法を適用しても構わない。本実施形態では、画像から輝度情報を抽出し、この輝度情報から顔の構成要素を示す形状の部位を抽出することで、人物の顔領域を検出するものとする。さらに、検出された顔領域に存在する目や口の構成要素の形状や相対位置関係から、その人物の表情や顔の動作を検出する。例えば、検出した顔領域において、目尻が下がり、口角が上がった場合には、その顔領域における人物が笑顔になったものと判定する。また、検出した顔領域において、一方の目が開いたままで、対となる他方の目が細く、あるいは、閉じたことが検出された場合に、その顔領域における人物がウインクしたものと判定する。
制御回路205は、CPUやマイクロコントローラなどであり、デジタルカメラ200全体の動作を制御する。具体的には、制御回路205は、ROMに記憶されたプログラムコードをRAMの作業領域に展開して順次実行することで、デジタルカメラ200の各部を制御する。なお、制御回路205を構成するCPU等は単数であっても複数であってもよく、制御回路205が実現する機能を複数のCPUで分散して処理してもよい。
露光制御回路206は、画像処理回路204がデジタル形式の画像の輝度値を基にして制御回路205が求めた露出制御値に応じて、シャッター202の駆動タイミングを制御する。測距制御回路207は、画像処理回路204がデジタル形式の画像から制御回路205が求めたAF評価値に応じて、レンズユニット201に含まれるフォーカス調整用レンズの位置を制御する。
表示装置208は、撮像素子203で連続して撮像することで得られる動画像をリアルタイムに表示することで、電子ビューファインダとして機能する。また、表示装置208は、電子ビューファインダとして機能している際、画像から検出した顔領域の位置を示す情報を撮像画像とともに表示することができる。
シャッターボタン209は、ユーザーが静止画撮影を指示するための操作部材である。通常の撮影モードでは、シャッターボタン209が途中まで押し込まれると、制御回路205は静止画撮影用にオートフォーカス制御、露出制御、および、ホワイトバランス制御等の実行を指示する。そして、シャッターボタン209が最後まで押し込まれると、制御回路205は撮像素子203から読み出した信号を画像に変換し、記憶回路212が記録媒体に記憶させる一連の静止画撮影処理の動作の開始を指示する。
モードダイアル210は、全自動静止画撮影モード、絞り優先静止画撮影モード、シャッター速度優先静止画撮影モード、動画撮影モード、再生モードなど、デジタルカメラ200の動作モードを選択するための部材である。
操作部211は、いずれかの静止画撮影モードが選択された場合に、スマイルモードまたはウインクセルフモードを実行させるためのメニュー選択を行う部材である。なお、スマイルモードは、撮像した動画像において、特定の顔領域における人物が笑顔であると判定したら、すぐさま静止画撮影を開始する動作モードである。ウインクセルフモードは、撮像した動画像において、特定の顔領域における人物がウインクをしたと判定したら、少し間を空けてから静止画撮影を開始する動作モードである。
記憶回路212は、静止画撮影によって得られた画像を記憶媒体に記憶させるための回路である。この記憶媒体は、デジタルカメラ200に着脱可能なものであっても、デジタルカメラ200に内蔵されたものであってもよい。
報知装置213はLED等の照明装置やスピーカーなどの音声装置を備えており、ウインクセルフモードで特定の顔領域における人物がウインクしたことを検出すると、撮影タイミングをユーザに知らせるための合図を発光したり、音で知らせたりする。
続いて、図1のフローチャートを用いて、本発明の実施形態に係る自動撮影モードの処理を説明する。
モードダイアル210によりいずれかの静止画モードが選択され、かつ、操作部211によってスマイルモードあるいはウインクセルフモードのいずれかが選択された場合に、図1に示すフローチャートが開始される。表示装置208は、撮像素子203で連続して撮像することで得られる動画像をリアルタイムに表示する電子ビューファインダとして機能しているものとする。
ステップS101において、制御回路205は、操作部211にて設定された自動撮影モードがスマイルモードであるか否かを判定し、スマイルモードであればステップS102に進む。このとき、表示装置208は、スマイルモードのガイダンスの表示を行う。
ステップS102において、制御回路205は、画像処理回路204に、新たに取り込んだ1フレームの画像に対し、人物の顔領域を検出する顔検出処理を行わせる。画像処理回路204は、画像から検出されたそれぞれの顔領域の位置および大きさの情報を取得し、不図示のRAMに記憶しておく。
ステップS103において、制御回路205は、1フレームの画像内で検出したそれぞれの顔領域の位置と大きさに基づいてそれぞれの顔領域の評価値を算出し、最も評価値の高い1つの顔を笑顔検出処理の対象顔(第1の被写体)として選択する。この評価値は、顔領域が大きいほど、顔の位置が画像の中央部に近いほど、高くなるように設定される。なお、ステップS101で1つしか顔領域が検出されていない場合は、その顔が選択される。ここで、笑顔検出処理は、顔検出処理に比べ、目や口の構成要素の詳細な情報を必要とするため、必要な顔領域の大きさがこれらの情報を精度良く得るために必要な所定値に達していない顔領域は、対象顔として選択しないようにしてもよい。ステップS101で顔領域が検出できなかった場合、あるいは、対象顔として必要な大きさを満たす顔が検出できなかった場合には、新たに1フレームの画像を読み出してステップS101に戻る。
ステップS104において、制御回路205は、画像処理回路204に、対象顔として選択した顔領域に対し、笑顔検出処理を行わせる。制御回路205は、表示装置208に、どの顔に対して笑顔検出処理を行っているかをユーザーが認識できるよう、ステップS103にて選択された顔領域に対して、笑顔検出処理の対象であることを示すマークや枠を重畳して表示させる。また、制御回路205は、精度良く笑顔検出を行うため、笑顔検出処理を行う前に、測距制御回路207にステップS103にて選択された顔領域にピントが合うようにオートフォーカス処理を行わせる。
ステップS105において、制御回路205は、ステップS104にて対象顔から笑顔が検出された場合にはステップS106に進み、検出されなければ新たに1フレームの画像を読み出してステップS102に戻る。
ステップS106において、制御回路205は、撮像素子203を静止画用の駆動方式に切り替え、シャッター202を駆動させて静止画の撮影を行い、記憶回路212が静止画撮影で得られた画像を記憶媒体に記憶する。
ステップS107において、制御回路205は、ユーザーが操作部211を操作してスマイルモードを解除したか否かを判定し、スマイルモードが解除されていればこの自動撮影モードを終了する。スマイルモードが解除されていなければ新たに1フレームの画像を読み出してステップS102に戻る。
このスマイルモードでは、笑顔検出による自動撮影の他に、シャッターボタン209をユーザが操作することによる撮影も可能である。したがって、ユーザは意図したタイミングで撮影を行いながら、被写体の笑顔を逃さず撮影することができる。
上述したように、スマイルモードでは、ステップS105で笑顔が検出されなかった場合には、新たに1フレームの画像を読み出してステップS102に戻り、続くステップS103にて再び笑顔検出処理の対象顔の選択を行う。つまり、スマイルモードでは、新たなフレームの画像を読み出すたびに、笑顔検出処理の対象顔の選択を行っており、フレーム間においてそれぞれの顔領域の評価値は独立している。よって、笑顔検出処理を行うたびに、笑顔検出処理の対象顔が切り替わる場合もありえる。
これは、スマイルモードは、被写体が自然と笑顔になった瞬間を撮影することを目的として用いられるため、カメラを構えたからといって、すぐに被写体が笑顔になってくれるわけではないためである。自然な笑顔を撮影するためには、カメラを構えたまま、被写体が笑顔になってくれるタイミングをしばらく待つことになるため、時間の経過ともに、被写体の位置や配置が変化したり、画角内に存在する人物が変化したりする可能性がある。そして、例え笑顔であっても、その顔が他の人物よりも小さく写っていたり、画面の端のほうである場合には、笑顔の画像としては好まれない構図である場合が多い。そのため、本実施形態では、フレーム別に、その時点で最も主被写体らしい顔を笑顔検出の対象顔としている。なお、本実施形態では最も評価値の高い1つの顔を笑顔検出の対象顔として選択していたが、評価値の高い複数の所定数の顔を笑顔検出の対象顔としても構わない。あるいは、評価値が閾値以上である顔をすべて笑顔検出の対象顔としてもよい。つまり、そのフレームの画像内で、評価値が所定の条件を満たしたものを笑顔検出の対象顔として選択するように構成すればよい。
ステップS101に戻り、制御回路205は、操作部211にて設定された自動撮影モードがスマイルモードでない、すなわちウインクセルフモードであれば、ステップS108に進む。このとき、表示装置208は、ウインクセルフモードのガイダンスの表示を行う。
ステップS108において、制御回路205は、画像処理回路204に、新たに取り込んだ1フレームの画像に対し、人物の顔領域を検出する顔検出処理を行わせる。画像処理回路204は、画像から検出されたそれぞれの顔領域の位置および大きさの情報を取得し、不図示のRAMに記憶しておく。
ステップS109において、制御回路205は、検出したそれぞれの顔領域の位置と大きさに基づいてそれぞれの顔領域の評価値を算出し、最も評価値の高い1つの顔をウインク検出処理の対象顔(第2の被写体)として選択する。この評価値は、顔領域が大きいほど、顔の位置が画像の中央部に近いほど、高くなるように設定される。あるいは、操作部211にて移動可能なカーソルを表示装置208に表示された画像に重畳して表示させ、このカーソルの位置にある顔領域をウインク検出処理の対象顔として選択するようにしてもよい。なお、ステップS108で1つしか顔領域が検出されていない場合は、その顔が選択される。ここで、ウインク検出処理も、顔検出処理に比べ、目や口の構成要素の詳細な情報を必要とするため、必要な顔領域の大きさがこれらの情報を精度良く得るために必要な所定値に達していない顔領域は、対象顔として選択しないようにしてもよい。ステップS108で顔領域が検出できなかった場合、あるいは、対象顔として必要な大きさを満たす顔が検出できなかった場合には、新たに1フレームの画像を読み出してステップS108に戻る。
ステップS110において、制御回路205は、画像処理回路204に、対象顔として選択した顔領域に対し、ウインク検出処理を行わせる。制御回路205は、表示装置208に、どの顔に対してウインク検出処理を行っているかをユーザーが認識できるよう、ステップS109にて選択された顔領域に対して、ウインク検出処理の対象であることを示すマークや枠を重畳して表示させる。また、制御回路205は、精度良くウインク検出を行うため、ウインク検出処理を行う前に、測距制御回路207にステップS109にて選択された顔領域にピントが合うようにオートフォーカス処理を行わせる。
ステップS111において、制御回路205は、ステップS110にて対象顔からウインクが検出された場合にはステップS115に進み、検出されなければ新たに1フレームの画像を読み出してステップS112に進む。
ステップS112において、制御回路205は、画像処理回路204に、ステップS108と同様の顔検出処理を行わせる。
ステップS113において、制御回路205は、ステップS112で検出された顔領域の中から、ステップS109で対象顔として選択された顔領域と同一人物とみなせる顔領域を選択することで、対象顔の追尾処理を行う。具体的には、制御回路205は、ステップS112で検出された複数の顔領域のうち、直前の対象顔の位置と最も近距離にある顔領域を新たな対象顔とする。ステップS112で顔領域が1つしか検出されなかった場合には、その顔領域を対象顔とすれば良い。ただし、最も近距離にあるとされた顔領域の座標と、その直前の対象顔の顔領域の座標とが所定距離よりも離れていれば、その最も近距離にあるとされた顔領域は、対象顔とは同一人物ではなく、対象顔を見失ったものと判断する。
ステップS114において、制御回路205は、ステップS112にて検出した顔領域の中に、直前の顔領域と同一人物とみなせる顔領域があると判断した場合には、ステップS110に戻る。そして、その同一人物とみなせる顔領域を新たな対象顔として、画像処理回路204に、その対象顔に対し、再びウインク検出処理を行わせる。
反対に、制御回路205は、ステップS112にて検出した顔領域の中に、直前の顔領域と同一人物とみなせる顔領域がない、すなわち対象顔を見失ったと判断した場合には、新たに1フレームの画像を読み出してステップS108に戻る。そして、制御回路205は、ステップS108において画像処理回路204に顔検出処理を行わせ、ステップS109において、再び評価値を用いてウインク検出処理の対象顔の選択を行う。
このように、ウインクセルフモードでは、スマイルモードと異なり、一度ウインク検出の対象顔が選択されると、その対象顔を見失うまでは、画像が更新されても同一人物とみなせる顔領域を追尾して対象顔として更新するようにしている。
これは、ウインクセルフモードは、撮影のタイミングが被写体に委ねられており、撮影のタイミングを指示する被写体は特定の人物に固定されていることが多いためである。したがって、被写体の位置や配置が変化したとしても、ウインク検出処理の対象顔となる顔領域は、時間の経過に関わらずに同一人物にすることが望ましい。
ステップS111に戻り、対象顔からウインクが検出された場合には、ステップS115に進む。ステップS115において、制御回路205は、撮像素子203を静止画用の駆動方式に切り替え、シャッター202を駆動させて静止画の撮影を行い、記憶回路212が静止画撮影で得られた画像を記憶媒体に記憶する。このとき、制御回路205は、ウインクを検出した直後に撮影処理は行うのではなく、撮影を行う旨を報知装置213による光や音声にてユーザに通知し、一定時間後に撮影処理を行うようにする。こうすることで、被写体はウインクした後に、表情やポーズを作るなど撮影のための準備動作を行うことが可能となる。
ステップS116において、制御回路205は、ユーザーが操作部211を操作してウインクセルフモードを解除したか否かを判定し、ウインクセルフモードが解除されていればこの自動撮影モードを終了する。ウインクセルフモードが解除されていなければ新たに1フレームの画像を読み出してステップS112、S113に進み、対象顔の追尾を行う。
以上説明したように、本実施形態では、自動撮影モードがスマイルモードであるのか、ウインクセルフモードであるのかに応じて、対象顔の更新方法が異なる。これを図3を用いて説明する。
例えば、スマイルモードでは、図3(a)の左側の画像に対してステップS103で笑顔検出の対象顔を選択したところ、画像の中央に位置し、かつ、最もサイズの大きな人物Aの顔領域が選択されたものとする。続くステップS104では、この人物Aの顔領域から笑顔は検出されず、ステップS105、S102を介し、再びステップS103で、新たに読み出した図3(a)の右側の画像に対して、笑顔検出の対象顔を選択する。このとき、人物Bの顔領域が他の顔領域に比較して十分に大きなサイズとなっており、人物Bの評価値が最も高いため、この図3(a)の右側の画像では人物Bの顔領域が対象顔として選択される。
ウインクセルフモードでは、図3(b)の左側の画像に対してステップS103で笑顔検出の対象顔を選択したところ、画像の中央に位置し、かつ、最もサイズの大きな人物Aの顔領域が選択されたものとする。続くステップS110では、この人物Aの顔領域からウインクは検出されず、ステップS111、S112を介し、ステップS113で、新たに読み出した図3(b)の右側の画像に対して、直前の対象顔と同一人物とみなせる顔領域を選択する。このとき、人物Bの顔領域が他の顔領域に比較して十分に大きなサイズとなっているが、先ほどと同じ人物Aの顔領域が対象顔として選択される。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、笑顔検出処理を行うスマイルモードと、ウインク検出処理を行うウインクセルフモードを例にあげて説明を行ったが、これに限られるものではない。被写体が所定の表情や動作をしたことを検知すると、続けざまに被写体の静止画を撮影する第1の自動撮影モードと、検知したことをトリガーとして所定時間後に被写体の静止画を撮影する第2の自動撮影モードを備えていれば、本発明を適用することができる。
ここで、被写体が所定の表情をしたことを検知してから、静止画を撮影するまでの時間は、第1の自動撮影モードよりも第2の自動撮影モードのほうが長い構成であると言うことができる。さらに、被写体が所定の表情をしたことを検知してから、静止画を撮影するまでに、第2の自動撮影モードはユーザーに撮影する旨を報知するが、第1の自動撮影モードでは報知しない構成であると言うこともできる。
また、第1の自動撮影モードと第2の自動撮影モードで、ともに同じ表情を検出するようにしてもよい。例えば、第1の自動撮影モードに設定されていれば、対象顔が笑顔になったことを検知したら、続けざまに静止画の撮影を行う。第2の自動撮影モードに設定されていれば、同じく対象顔が笑顔になったことを検知したら、音声や光で撮影を行うことをユーザーに通知してから、所定時間後に静止画の撮影を行う。第1の自動撮影モードでは、笑顔になった被写体を自動的に静止画撮影することが可能となり、第2の自動撮影モードでは、対象顔が意図的に笑顔になることで、この被写体が静止画撮影のタイミングを指示することが可能となる。このように、第1の自動撮影モードと第2の自動撮影モードとで、被写体のどのような表情を検出するかは、互いに独立して設定することができる。
反対に、第1の自動撮影モードと第2の自動撮影モードとで、互いに異なる被写体の表情を検出するように設定しておけば、第1の自動撮影モードと第2の自動撮影モードを同時に起動させておくことも可能になる。
また、静止画の自動撮影を行うために検出するものは、必ずしも顔領域における表情や動作でなくともよい。顔領域を検出することで、その人物の体の位置も推測できることから、特定の人物が所定のポーズをとったことを検出し、これに応じて自動撮影を行うようにしてもよい。例えば、対象顔として選択された顔領域の左右のいずれかの領域において、手が上げられたことが検出された場合に、自動撮影を行うような構成とすることが考えられる。あるいは、画像処理回路204が顔検出処理を備えていなくとも、画像を多数の領域に分割してそれぞれの領域における動きベクトルを求めることで、個々の被写体を検出し、その中のいずれかの被写体が所定の動作をしたか否かを検出するようにしてもよい。
また、撮像素子203で撮像した動画像をリアルタイムに表示する電子ビューファインダとして機能している最中に、笑顔やウインク検出を行って、静止画撮影を行うデジタルカメラを例にあげて説明を行ったが、これに限定されるものではない。動画記録中に、被写体の所定の表情を検出することで、一時的に静止画撮影に切り替えるビデオカメラであっても本発明を適用することは可能である。また、撮像素子やシャッター等からなる画像生成部と、被写体の表情を検出する画像処理回路とは、必ずしも単一の装置内に設けてある必要は無く、互いに通信可能な構成とした撮像システムであっても本発明を適用することは可能である。
200 デジタルカメラ
203 撮像素子
204 画像処理回路
205 制御回路
208 表示装置
210 モードダイアル
211 操作部
212 記憶回路
213 報知装置

Claims (8)

  1. 撮像素子と、
    前記撮像素子で得られた1フレームの画像から検出された複数の被写体から、第1の被写体および第2の被写体の少なくともいずれかを選択する選択手段と、
    前記第1の被写体の所定の表情または動作と、前記第2の被写体による所定の表情または動作を検出する検出手段と、
    前記検出手段が前記第1の被写体の所定の表情または動作を検出すること、および、前記第2の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御手段とを有し、
    前記選択手段は、前記第1の被写体として、それぞれのフレームの画像内における複数の被写体に対して評価値を算出し、それぞれのフレームの画像内において前記評価値が他の被写体よりも高い、あるいは、前記評価値が閾値以上である被写体を選択し、かつ、前記第2の被写体として、1フレームの画像内における複数の被写体のうち、それよりも前のフレームで第2の被写体として選択された被写体と同一の被写体を選択し、
    前記制御手段は、前記検出手段が前記第1の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出手段が前記第2の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定することを特徴とする撮像装置。
  2. 撮像素子と、
    前記撮像素子で得られた1フレームの画像から検出された複数の被写体から、第1の被写体および第2の被写体の少なくともいずれかを選択する選択手段と、
    前記第1の被写体の所定の表情または動作と、前記第2の被写体による所定の表情または動作を検出する検出手段と、
    前記検出手段が前記第1の被写体の所定の表情または動作を検出すること、および、前記第2の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御手段とを有し、
    前記選択手段は、フレーム間で独立して複数の被写体から第1の被写体を選択し、かつ、フレーム間で追尾を行うことにより複数の被写体から連続して同一の被写体を第2の被写体として選択し、
    前記制御手段は、前記検出手段が前記第1の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出手段が前記第2の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定することを特徴とする撮像装置。
  3. 前記検出手段が前記第2の被写体の所定の表情または動作を検出してから、前記制御手段が静止画撮影を行うまでの間に、静止画撮影を行うことを報知する報知手段を有し、
    前記報知手段は、前記検出手段が前記第1の被写体の所定の表情または動作を検出してから、前記制御手段が静止画撮影を行うまでの間には、静止画撮影を行うことを報知しないことを特徴とする請求項1または2に記載の撮像装置。
  4. 前記選択手段は、前記第2の被写体が選択されていない場合には、1フレームの画像内における複数の被写体に対してそれぞれ評価を行い、最も評価値の高い被写体を前記第2の被写体として選択することを特徴とする請求項1乃至3のいずれか一項に記載の撮像装置。
  5. 前記撮像素子で得られた画像内から人物の顔領域を検出する顔検出手段を有し、
    前記選択手段は、検出された複数の顔領域から、第1の被写体および第2の被写体の少なくともいずれかを選択することを特徴とする請求項1乃至4のいずれか一項に記載の撮像装置。
  6. 前記検出手段は、前記第1の被写体として選択された顔領域における笑顔を検出し、前記第2の被写体として選択された顔領域におけるウインクを検出することを特徴とする請求項5に記載の撮像装置。
  7. 撮像素子で得られた1フレームの画像から検出された複数の被写体から、第1の被写体および第2の被写体の少なくともいずれかを選択する選択工程と、
    前記第1の被写体の所定の表情または動作と、前記第2の被写体による所定の表情または動作を検出する検出工程と、
    前記検出工程において前記第1の被写体の所定の表情または動作すること、および、前記第2の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御工程とを有し、
    前記選択工程では、前記第1の被写体として、それぞれのフレームの画像内における複数の被写体に対して評価値を算出し、それぞれのフレームの画像内において前記評価値が他の被写体よりも高い、あるいは、前記評価値が閾値以上である被写体を選択し、かつ、前記第2の被写体として、1フレームの画像内における複数の被写体のうち、それよりも前のフレームで第2の被写体として選択された被写体と同一の被写体を選択し、
    前記制御工程では、前記検出工程において前記第1の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出工程において前記第2の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定することを特徴とする撮像装置の制御方法。
  8. 撮像素子で得られた1フレームの画像から検出された複数の被写体から、第1の被写体および第2の被写体の少なくともいずれかを選択する選択工程と、
    前記第1の被写体の所定の表情または動作と、前記第2の被写体による所定の表情または動作を検出する検出工程と、
    前記検出工程において前記第1の被写体の所定の表情または動作すること、および、前記第2の被写体による所定の表情または動作を検出することに応じて、静止画撮影を行い、得られた画像を記憶媒体に記憶させる制御工程とを有し、
    前記選択工程では、フレーム間で独立して複数の被写体から第1の被写体を選択し、かつ、フレーム間で追尾を行うことにより複数の被写体から連続して同一の被写体を第2の被写体として選択し、
    前記制御工程では、前記検出工程において前記第1の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間よりも、前記検出工程において前記第2の被写体の所定の表情または動作を検出してから静止画撮影を行うまでの時間を長く設定することを特徴とする撮像装置の制御方法。
JP2010009263A 2010-01-19 2010-01-19 撮像装置および撮像装置の制御方法 Expired - Fee Related JP5448868B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010009263A JP5448868B2 (ja) 2010-01-19 2010-01-19 撮像装置および撮像装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010009263A JP5448868B2 (ja) 2010-01-19 2010-01-19 撮像装置および撮像装置の制御方法

Publications (2)

Publication Number Publication Date
JP2011151482A JP2011151482A (ja) 2011-08-04
JP5448868B2 true JP5448868B2 (ja) 2014-03-19

Family

ID=44538103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010009263A Expired - Fee Related JP5448868B2 (ja) 2010-01-19 2010-01-19 撮像装置および撮像装置の制御方法

Country Status (1)

Country Link
JP (1) JP5448868B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120144A (zh) * 2015-07-31 2015-12-02 小米科技有限责任公司 图像拍摄方法和装置
JP7401968B2 (ja) * 2018-12-07 2023-12-20 ルネサスエレクトロニクス株式会社 撮影制御装置、撮影システム及び撮影制御方法
CN110390263A (zh) * 2019-06-17 2019-10-29 宁波江丰智能科技有限公司 一种视频图像处理方法及系统
KR20220017298A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 프리뷰 이미지를 제어하는 전자 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283502A (ja) * 2007-05-11 2008-11-20 Casio Comput Co Ltd デジタルカメラ、及び撮影制御方法、撮影制御プログラム
JP5109864B2 (ja) * 2008-08-08 2012-12-26 株式会社ニコン 電子スチルカメラ
JP2010178259A (ja) * 2009-02-02 2010-08-12 Nikon Corp デジタルカメラ

Also Published As

Publication number Publication date
JP2011151482A (ja) 2011-08-04

Similar Documents

Publication Publication Date Title
JP5251215B2 (ja) デジタルカメラ
CN106575027B (zh) 摄像装置及其被摄体跟踪方法
JP5713055B2 (ja) 撮像装置、撮像方法及びプログラム
JP2009296030A (ja) 撮像装置
JP2006295888A (ja) 撮像装置およびディスプレイの制御方法
JP2008009263A (ja) 撮像装置及びそのプログラム
JP4552997B2 (ja) 撮像装置及びプログラム
JP2018129659A (ja) 画像処理装置、撮像装置および制御方法
JP2007264049A (ja) 撮像方法および装置
JP5030022B2 (ja) 撮像装置及びそのプログラム
CN107087103B (zh) 摄像装置、摄像方法以及计算机可读存储介质
JP2021124669A (ja) 電子機器
JP5880135B2 (ja) 検出装置、検出方法及びプログラム
JP2008028747A (ja) 撮像装置及びそのプログラム
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
US11523048B2 (en) Electronic device, control method of electronic device, and non-transitory computer readable medium
JP2008283379A (ja) 撮像装置及びプログラム
JP2014068081A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6693071B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP2011040990A (ja) 撮像装置
JP7342883B2 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP2008172732A (ja) 撮像装置及びその制御方法、プログラム、
JP2020115679A (ja) 物体検出装置、検出制御方法及びプログラム
JP2015019416A (ja) 撮像装置、その制御方法及びプログラム
JP2016219984A (ja) 撮像装置、撮像方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131224

R151 Written notification of patent or utility model registration

Ref document number: 5448868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees