JP4442343B2 - 撮像装置およびプログラム - Google Patents

Description

本発明は、被写界内の被写体を特定する機能を備えた撮像装置および撮像装置に対する制御を行うためのプログラムに関する。

従来より、子供やペットなどを被写体として写真を撮る場合には、顔をカメラに向かせるように、撮影者が被写体に対して声を掛けたりカメラの近辺で玩具を振ったりして、顔がカメラに向いた瞬間に素早くシャッタボタンを押すようにしている。
また、顔をカメラの方に長く向かせるように、カメラ側から被写体に対して、キャラクタや写真、ビデオ映像などを出す提案があった（例えば、特許文献１参照）。
特開平９−２４４１３６号公報

しかし、カメラの携帯性、コストおよび子供やペットなどの被写体の集中力持続時間を考えると、上記の方法でも失敗は多い。そのため、子供やペットなどの被写体の顔をカメラに向かせて、その瞬間に撮影が可能なカメラが期待される。
本発明は、子供やペットなどの被写体の顔をカメラに向かせて、最適なタイミングで撮影可能な撮像装置および撮像装置に対する制御を行うためのプログラムを提供することを目的とする。

本発明の撮像装置は、被写体を撮像して画像データを生成する撮像部と、前記撮像部により生成された前記画像データに基づいて、前記被写体を特定する特定部と、前記被写体の注意を喚起する動作を行う注意喚起部とを備えた撮像装置であって、前記特定部による前記被写体の向きを判定する判定部をさらに備え、前記特定部は、前記被写体の特定を、前記注意喚起部による前記動作の前後に少なくとも１回ずつ行い、前記判定部が判定した前記被写体の向きの判定結果に基づいて最適な撮影タイミングを予測するタイミング予測部をさらに備えたことを特徴とする。
本発明の別の撮像装置は、被写体を撮像して画像データを生成する撮像部と、前記撮像部により生成された前記画像データに基づいて、前記被写体を特定する特定部と、前記特定部による前記被写体の特定結果を考慮して、前記被写体の注意を喚起する動作を行う注意喚起部とを備えたことを特徴とする。
本発明の別の撮像装置は、被写体を撮像して画像データを生成する撮像部と、前記撮像部により生成された前記画像データに基づいて、前記被写体を特定する特定部と、前記被写体の注意を喚起する動作を行う注意喚起部とを備えた撮像装置であって、前記撮像部は、前記被写体の予備撮像を、前記注意喚起部による前記動作の前後に少なくとも１回ずつ行うことを特徴とする。
なお、前記特定部による前記被写体の向きを判定する向き判定部をさらに備え、前記特定部は、前記被写体の特定を少なくとも２回行い、前記判定部が判定した前記被写体の向きの判定結果に基づいて最適な撮影タイミングを予測するタイミング予測部をさらに備えても良い。

また、前記特定部は、前記被写体の特定を、前記注意喚起部による前記動作の前後に少なくとも１回ずつ行っても良い。
また、前記撮像部は、前記タイミング予測部により予測された前記撮影タイミングで、前記撮像を行っても良い。

また、前記撮像部による撮像に必要な作動時間と、前記タイミング予測部により予測された前記撮影タイミングに基づく反応時間とを比較する比較部をさらに備えても良い。
また、前記撮像部は、前記比較部による比較の結果、前記作動時間のほうが前記反応時間よりも長い場合には、前記反応時間を優先して前記撮像を行っても良い。

また、前記注意喚起部は、前記特定部による前記被写体の特定結果を考慮して、前記被写体の注意を喚起する動作を行っても良い。
また、予め定められた被写体に関わる複数のパターンから、ユーザ操作に応じて１つのパターンを選択するパターン選択部をさらに備え、前記特定部は、前記選択部により選択されたパターンに基づいて、前記被写体を特定しても良い。

また、予め定められた複数の注意喚起メニューから、ユーザ操作に応じて１つのメニューを選択するメニュー選択部をさらに備え、前記注意喚起部は、前記選択部により選択されたメニューに基づいて、前記被写体の注意を喚起する動作を行っても良い。
また、前記予め定められた被写体に関わる複数のパターンのうち、少なくとも１つのパターンをユーザ操作に応じて変更するパターン変更部をさらに備えても良い。

また、前記予め定められた複数の注意喚起メニューのうち、少なくとも１つのメニューをユーザ操作に応じて変更するメニュー変更部をさらに備えても良い。
また、前記撮像部は、前記被写体の予備撮像を、前記注意喚起部による前記動作の前後に少なくとも１回ずつ行っても良い。

また、前記予備撮像により生成した画像データを記録する記録部をさらに備えても良い。
本発明のプログラムは、上述した何れかの撮像装置による制御をコンピュータで実現することを特徴とする。

本発明によれば、子供やペットなどの被写体の顔をカメラに向かせて、最適なタイミングで撮影可能な撮像装置および撮像装置に対する制御を行うためのプログラムを提供することができる。

以下、図面を用いて、本発明の実施形態について詳細な説明を行う。
本実施形態では、本発明の撮像装置の一例として、電子カメラを用いて説明を行う。
図１は、本発明の実施形態における電子カメラ１の構成を示すブロック図である。
電子カメラ１は、図１に示すように、撮像部１０、制御部１１、画像処理部１２、表示処理部１３、記録部１４、音声出力部１５を備え、これらはバスを介して相互に接続されている。

なお、撮像部１０は、不図示のレンズ、被写体の明るさや撮影距離などを測定する各種センサ、撮像素子、Ａ／Ｄ変換器などを備え、被写体を撮像して画像データを生成する。
また、電子カメラ１は、操作部２０と液晶モニタ２５とを備える。図１において、操作部２０の出力は制御部１１に接続され、液晶モニタ２５には表示処理部１３の出力が接続される。なお、操作部２０は、不図示の電源ボタン、レリーズボタン、後述するユーザ操作にかかわる十字キーなどを含む。

また、制御部１１は、メモリ５０を備え、後述するパターン、注意喚起メニュー、各設定時のメニュー画面などを予め記録する。また、制御部１１は、本発明の特徴である被写体の特定を行う（詳細は後述する）。
なお、本実施形態の電子カメラ１は、各種設定を自動で行ういわゆるオート撮影機能の他に、本発明の特徴である被写体の特定と被写体の注意の喚起とを行う撮影機能を備える。

以上説明したような構成の電子カメラ１において、操作部２０の不図示の電源ボタンが操作されると、制御部１１はこれを検知し、撮像部１０を介したスルー画像の撮像および表示処理部１３を介した液晶モニタ２５への画像の表示を開始する。
以下、本発明の特徴である「被写体の特定と、被写体の注意の喚起とを行う撮影」について説明する。電子カメラ１は、このような撮影を行うモードを設ける。

また、電子カメラ１は、前述した被写体の特定を行うために、被写体に関わる複数のパターンを、制御部１１のメモリ５０に予め記録する。パターンとは被写体の種類（乳児、幼児、ペットなど）、被写体の被写界における位置（中央、上寄り、左寄り、下寄り、右寄り、ツーショット、集合写真など）、撮影条件（照明、閃光発光の有無など）の組み合わせを含む。電子カメラ１は、このようなパターンを、多数種類有し、前述した液晶モニタ２５にメニュー画面を表示し、操作部２０を介したユーザ操作を受け付けて、ユーザにパターンを選択させる。また、電子カメラ１は、各パターンごとにテーブルの形で条件を制御部１１のメモリ５０に記録する。条件は、被写体の被写界における位置、予測される顔部分の大きさ、顔に対する目・鼻の相対的な位置などを含む。

また、電子カメラ１は、前述した被写体の注意喚起を行うために、複数の注意喚起メニューを、制御部１１のメモリ５０に予め記録する。そして、前述したパターンと同様に、液晶モニタ２５にメニュー画面を表示し、操作部２０を介したユーザ操作を受け付けて、ユーザに注意喚起メニューを選択させる。
以下ではこのモードの実行が指示された場合の動作について、図２のフローチャートを参照して説明する。なお、このモードでは、ユーザは、撮影を行う際に操作部２０の不図示のレリーズボタンを全押し（最深部まで押圧すること）するものとする。このように、レリーズボタンの全押しで撮影を開始することにより、より確実に撮影タイミングを捉えることができ、また、レリーズボタンの半押しを正しくできないユーザにも対応可能となる。

まず、制御部１１は、前述した複数のパターンの何れかと、前述した複数の注意喚起メニューの何れかがユーザ操作によって選択されたか否かを判定する（ステップＳ１）。制御部１１は、前述した複数のパターンの何れかと、前述した複数の注意喚起メニューの何れかが操作部２０を介したユーザ操作によって選択されるまで待機し、選択されたと判定する（ステップＳ１ＹＥＳ）と、ステップＳ２に進む。

次に、制御部１１は、操作部２０の不図示のレリーズボタンが全押しされたか否かを判定する（ステップＳ２）。そして、レリーズボタンが全押しされるまで待機し、レリーズボタンが全押しされたと判定する（ステップＳ２ＹＥＳ）と、ステップＳ３に進む。
次に、制御部１１は、顔認識を行う（ステップＳ３）。制御部１１は、スルー画像と、ステップＳ１でユーザ操作により選択されたパターンとに基づいて被写体の顔認識を行う。制御部１１は、ステップＳ１でユーザ操作により選択されたパターンに対応づけて記録された条件（被写体の被写界における位置、予測される顔部分の大きさ、顔に対する目・鼻の相対的な位置など）を読み出し、スルー画像に当てはめて、顔認識を行う。顔認識の具体的な方法については、従来技術と同様であるため、説明を省略する。

次に、制御部１１は、焦点検出を開始する（ステップＳ４）。制御部１１は、スルー画像のうち、ステップＳ３で認識した顔部分を中心として、焦点検出を行う。このように、顔部分を中心として、焦点検出を行うことにより、焦点検出の精度を向上させるとともに、焦点検出に必要な時間を短縮し、効率的に焦点検出を行うことができる。また、焦点検出をさらに簡略化するために、中央重点としたり、中央重み付けとしても良い。

そして、制御部１１は、合焦したか否かを判定する（ステップＳ５）。そして、合焦するまで焦点検出を繰り返し、合焦したと判定する（ステップＳ５ＹＥＳ）と、ステップＳ６に進む。
次に、制御部１１は、音声出力部１５を介して音声出力を開始する（ステップＳ６）。制御部１１は、メモリ５０から、ステップＳ１でユーザ操作により選択された注意喚起メニューに対応する音声情報を読み出し、音声出力部１５を介して出力する。

そして、制御部１１は、ステップＳ３と同様の顔認識を、再び行う（ステップＳ７）。すなわち、制御部１１は、音声出力部１５による音声出力の前後に、顔認識を行うことになる。
ステップＳ６において、音声出力を開始したため、被写体は電子カメラ２０の方に注意を喚起されているものと予測される。そのため、次に、制御部１１は、２回の顔認識（ステップＳ３およびステップＳ７参照）の結果を比較し、反応時間を予測する（ステップＳ８）。具体的には、制御部１１は、２回の顔認識の結果から、顔の向きを表すファクターｆ(１)およびｆ(２)を算出するとともに、２回の顔認識が行われた際の時刻ｔ(１)およびｔ(２)を求める。ｆ(１)およびｆ(２)は、予め定められた撮影に最適な顔の向きを基準とした顔の向きの偏差量を表すファクターであれば、顔認識により予測される被写体の両眼の間の距離や、鼻の位置を示す値や、両眼の鼻または顔の中央に対する非対称度合値や、顔の回転角度を示す値などどのようなものを用いても良い。

そして、以下の式（１）を用いて、反応時間Δｔを算出する。
Δｔ＝ｆ(２)÷ｆ(１)×｛ｔ(２)一ｔ(１)｝・・・式（１）
例えば、顔の向きを表すファクターｆ(１)およびｆ(２)が両眼の間の距離である場合の例を図３に示す。図３に示すように、被写体が紙面左側方向から正面に向けて顔の向きを変えている場合（図３Ａ→図３Ｂ→図３Ｃ）、時刻ｔ(１)およびｔ(２)において、両眼の間の距離であるＬ(１)およびＬ(２)をそれぞれ求める。そして、予め定められた最適な撮影タイミングに対応する両眼の間の距離Ｌ(ｂｅｓｔ)とＬ(２)との偏差量およびＬ(２)とＬ(１)との偏差量をそれぞれ求めて、顔の向きを表すファクターｆ(２)およびｆ(１)とする。そして、前述した式（１）を用いて、反応時間Δｔを算出する。

なお、反応時間Δｔが示すのは、予測される最適な撮影タイミングまでの時間である。したがって、２回目の顔認識を行ってからΔｔ秒後に撮像を開始すれば、最適な撮影タイミングで撮影を行うことができる。
次に、制御部１１は、ＡＦ補正量を算出する（ステップＳ９）。制御部１１は、２回の顔認識の結果から、合焦（ステップＳ５ＹＥＳ）後の変化量を算出し、変化量に基づいてＡＦ補正量を算出する。

次に、制御部１１は、ステップＳ８で予測した反応時間が、撮影可能時間よりも短いか否かを判定する（ステップＳ１０）。そして、予測した反応時間が、撮影可能時間よりも短い場合（ステップＳ１０ＹＥＳ）には、ステップＳ１１に進み、予測した反応時間が、撮影可能時間よりも長い場合（ステップＳ１０ＮＯ）には、ステップＳ１３に進む。
ステップＳ８で予測した反応時間とは、ステップＳ８で説明した反応時間Δｔに、所定の予備時間を加算した時間である。予備時間を加算するのは、すぐに撮像を開始する際にも発生すると考えられるタイムラグを補うためであり、この予備時間は経験値に基づいて予め定める。一方、撮影可能時間とは、撮像部１０による通常の撮影におけるシャッタ速度、閃光発光、画像処理などに必要な時間である。

予測した反応時間が、撮影可能時間よりも短い場合には、制御部１１は、反応時間を優先して、撮像部１０を介して撮影を開始する（ステップＳ１１）。なお、撮影時には、ステップＳ９で算出したＡＦ補正量を加味して撮影を行う。
そして、制御部１１は、ステップＳ６で開始した音声出力を終了し（ステップＳ１２）、一連の処理を終了する。

一方、予測した反応時間が、撮影可能時間よりも長い場合（ステップＳ１０ＮＯ）には、制御部１１は、さらに、顔認識を行う（ステップＳ１３）。そして、制御部１１は、ステップＳ８に戻り、ステップＳ１３における顔認識の結果と、その直前に行った顔認識の結果とを比較する。そして、ステップＳ８以降の処理を行う。予測した反応時間が、撮影可能時間よりも長い場合とは、まだ撮影タイミングにならないと予測される状態である。したがって、再び顔認識を行うことで、被写体の動きをリアルタイムでより正確に捉えて、反応時間を算出することができる。

次に、図４に示すフローチャートを参照して、変形例について説明する。
なお、図４のフローチャートによって示す変形例では、ユーザは、撮影を行う際にＡＦの対象となる領域に対して操作部２０の不図示のレリーズボタンを半押しし、さらにレリーズボタンを全押しすることにより実際の撮影を開始するものとする。このようなレリーズボタンの半押し、全押しによる撮影は従来と同様の撮影手順である。また、制御部１１のメモリ５０には、前述した注意喚起メニュー（具体的には、音声情報）が、前述したパターンと対応づけて記録されている。なお、各パターンごとに、少なくとも２種類の注意喚起メニューが記録されているものとする。

まず、制御部１１は、操作部２０の不図示のレリーズボタンが半押しされたか否かを判定する（ステップＳ２１）。そして、レリーズボタンが半押しされるまで待機し、レリーズボタンが半押しされたと判定する（ステップＳ２１ＹＥＳ）と、制御部１１は、最も新しく撮像されたスルー画像に基づいて被写体認識を行い、その結果に基づいて前述した複数のパターンの何れかを選択する（ステップＳ２２）。

次に、制御部１１は、顔認識を行う（ステップＳ２３）。制御部１１は、スルー画像と、ステップＳ２１の被写体認識の結果に基づいて選択したパターンとに基づいて被写体の顔認識を行う。この顔認識は、図２ステップＳ３で説明した顔認識と同様に行われる。
そして、制御部１１は、図２ステップＳ４〜ステップＳ１０と同様に各処理を行う（ステップＳ２４〜ステップＳ３０）。ただし、ステップＳ２６において、制御部１１は、メモリ５０から、ステップＳ２１の被写体認識の結果に基づいて選択したパターンに対応する注意喚起メニューのうち、いずれか１種類の注意喚起メニューの音声情報を読み出し、音声出力部１５を介して出力する。

そして、ステップＳ３０の判定において、予測した反応時間が、撮影可能時間よりも短い場合には、制御部１１は、液晶モニタ２５や不図示の点灯部や音声出力部１５などを介して、撮影可能状態であることをユーザに通知する（ステップＳ３１）。
次に、制御部１１は、操作部２０の不図示のレリーズボタンが全押しされたか否かを判定する（ステップＳ３２）。そして、レリーズボタンが全押しされるまで待機し、レリーズボタンが全押しされたと判定する（ステップＳ３２ＹＥＳ）と、制御部１１は、図２ステップＳ１１と同様に反応時間を優先して、撮像部１０を介して撮影を開始する（ステップＳ３３）。そして、制御部１１は、ステップＳ２６で開始した音声出力を終了し（ステップＳ３４）、一連の処理を終了する。

一方、ステップＳ３０の判定において、予測した反応時間が、撮影可能時間よりも長い場合（ステップＳ３０ＮＯ）には、制御部１１は、図２ステップＳ１３と同様に、顔認識を行う（ステップＳ３５）。そして、制御部１１は、ステップＳ２２でレリーズボタンが半押しされてからの経過時間が、所定の限界時間α１よりも長いか否かを判定する（ステップＳ３６）。そして、経過時間が、所定の限界時間α１よりも長い場合（ステップＳ３６ＹＥＳ）には、制御部１１は、経過時間が、所定の限界時間α２よりも長いか否かを判定する（ステップＳ３７）。なお、所定の限界時間α１、α２とは、ユーザの忍耐力や心理的要素なども加味した経験値であり、α１＜α２とする。

経過時間が、所定の限界時間α１よりも長く（ステップＳ３６ＹＥＳ）、さらに、所定の限界時間α２よりも長い（ステップＳ３７ＹＥＳ）場合、制御部１１は、音声出力部１５を介して、ユーザに対して警告音を出し（ステップＳ３８）、ステップＳ３３に進んで、反応時間を優先した撮影を開始する。このように限界時間α１およびα２を設けて、反応時間を優先した撮影を開始することにより、被写体が予想外の動きをしている場合や、誤検出が起こっている場合でも適切な撮影を行うことができる。

また、経過時間が、所定の限界時間α１よりも長い（ステップＳ３６ＹＥＳ）が、所定の限界時間α２よりも短い（ステップＳ３７ＮＯ）場合、制御部１１は、注意喚起メニューを変更し（ステップＳ３９）、ステップＳ２６で開始した音声出力を変更する（ステップＳ４０）。具体的には、制御部１１は、まず、注意喚起メニューを、ステップＳ２２で選択したパターンに対応する注意喚起メニューのうち、ステップＳ２６で使用したものとは別の注意喚起メニューに変更し、変更した注意喚起メニューの音声情報を読み出して、音声出力部１５を介して出力する。そして、制御部１１は、ステップＳ２８に戻り、ステップＳ３５における顔認識の結果と、その直前に行った顔認識の結果とを比較する。そして、ステップＳ２８以降の処理を行う。このように限界時間α１およびα２を設けて、注意喚起メニューの変更を行うことにより、注意を喚起する効果を高めることが期待できる。

一方、ステップＳ３６の判定において、経過時間が、所定の限界時間α１よりも短い場合（ステップＳ３６ＮＯ）には、制御部１１は、ステップＳ２８に戻り、ステップＳ３５における顔認識の結果と、その直前に行った顔認識の結果とを比較する。そして、ステップＳ２８以降の処理を行う。
次に、図５に示すフローチャートを参照して、別の変形例について説明する。

なお、図５のフローチャートによって示す変形例では、ユーザは、撮影を行う際に操作部２０の不図示のレリーズボタンを半押しするものとする。また、制御部１１内は、前述したパターンおよび注意喚起メニュー（具体的には、音声情報）を、制御部１１のメモリ５０に予め記録する。そして、液晶モニタ２５にメニュー画面を表示し、操作部２０を介したユーザ操作を受け付けて選択させる。

まず、制御部１１は、図２ステップＳ１と同様に、前述した複数のパターンの何れかと、前述した複数の注意喚起メニューの何れかがユーザ操作によって選択されたか否かを判定する（ステップＳ４１）。制御部１１は、前述した複数のパターンの何れかと、前述した複数の注意喚起メニューの何れかが操作部２０を介したユーザ操作によって選択されるまで待機し、選択されたと判定する（ステップＳ４１ＹＥＳ）と、ステップＳ４２に進む。

次に、制御部１１は、操作部２０の不図示のレリーズボタンが半押しされたか否かを判定する（ステップＳ４２）。そして、レリーズボタンが半押しされるまで待機し、レリーズボタンが半押しされたと判定する（ステップＳ４２ＹＥＳ）と、ステップＳ４３に進む。
そして、制御部１１は、図２ステップＳ３〜ステップＳ５と同様に各処理を行う（ステップＳ４３〜ステップＳ４５）。

次に、制御部１１は、撮像部１０を介して被写体の予備撮像を行い（ステップＳ４６）、予備撮像により生成された画像を制御部１１のメモリ５０に一時記録する。そして、制御部１１は、図２ステップＳ６と同様に音声出力部１５を介して音声出力を開始する（ステップＳ４７）。
次に、制御部１１は、撮像部１０を介した被写体の予備撮像を再び行い（ステップＳ４８）、予備撮像により生成された画像を制御部１１のメモリ５０に一時記録する。そして、制御部１１は、図２ステップＳ７〜ステップＳ９と同様に各処理を行う（ステップＳ４９〜５１）。

次に、制御部１１は、撮像部１０を介した被写体の予備撮像をさらに行い（ステップＳ５２）、予備撮像により生成された画像を制御部１１のメモリ５０に一時記録する。そして、制御部１１は、図２ステップＳ１０と同様に、ステップＳ５０で予測した反応時間が、撮影可能時間よりも短いか否かを判定する（ステップＳ５３）。そして、予測した反応時間が、撮影可能時間よりも短い場合（ステップＳ５３ＹＥＳ）には、ステップＳ５４に進み、予測した反応時間が、撮影可能時間よりも長い場合（ステップＳ５３ＮＯ）には、ステップＳ５７に進む。

予測した反応時間が、撮影可能時間よりも短い場合には、制御部１１は、反応時間を優先して、撮像部１０を介して連続的な撮影を開始する（ステップＳ５４）。このとき、制御部１１は、所定の時間間隔で連続的に撮影を行う。なお、制御部１１は、この連続的な撮影時に、ステップＳ５１で算出したＡＦ補正量を加味して撮影を行う。そして、連続的な撮影により生成された複数の画像を制御部１１のメモリ５０に一時記録する。

次に、制御部１１は、図２ステップＳ１２と同様に、ステップＳ４７で開始した音声出力を終了する（ステップＳ５５）。
次に、制御部１１は、ステップＳ４６、ステップＳ４８、ステップＳ５２の予備撮像およびステップＳ５４で開始した連続的な撮影により生成された複数の画像をメモリ５０から読み出し、顔認識や鮮鋭度の検出などの手法を用いて画像の評価を行う。そして、最も評価の良い１枚の画像を記録部１４に記録し（ステップＳ５６）、一連の処理を終了する。

一方、予測した反応時間が、撮影可能時間よりも長い場合（ステップＳ５３ＮＯ）には、制御部１１は、図２ステップＳ１３と同様に、顔認識を行う（ステップＳ５７）。そして、制御部１１は、ステップＳ５０に戻り、ステップＳ５７における顔認識の結果と、その直前に行った顔認識の結果とを比較する。そして、ステップＳ５０以降の処理を行う。
なお、ステップＳ５６において、画像の評価を行う例を示したが、記録部１４に記録する画像をユーザにより選択させるようにしても良い。また、他のタイミングで予備撮像を行うようにしても良い。

この変形例で説明したように、各タイミングで予備撮像を行うことにより、被写体が予想外の動きをした場合でも、撮影タイミングを逃さずに画像を得ることができる。
以上説明したように、本実施形態によれば、撮像部により生成された画像データに基づいて、被写体を特定するとともに、被写体の注意を喚起する動作を行う。そして、被写体の特定結果に基づく撮影タイミングで撮像を行う。したがって、被写体を特定しつつ、被写体の注意を喚起して撮像装置の方を向かせることが可能になるので、子供やペットなど、撮影が困難な被写体の顔を撮像装置の方に向かせて、最適なタイミングで撮影を行うことができる。また、撮影者のストレスも軽減することができる。

また、本実施形態によれば、被写体の特定を２回行い、特定結果に基づいて最適な撮影タイミングを予測する。すなわち、特定結果から反応時間を算出して、撮影タイミングを予測するので、より正確な撮影タイミングを予測することができる。
また、本実施形態によれば、被写体の特定を、音声出力の前後に１回ずつ行う。したがって、より正確に被写体の特定（顔認識）を行って最適な撮影タイミングを予測することができる。

また、本実施形態によれば、撮像部による撮像に必要な作動時間と、予測された撮影タイミングに基づく反応時間とを比較する。したがって、被写体の状況（撮像装置の方を向いているか、どの程度の速度で動いているかなど）に応じた処理を行うことができる。さらに、本実施形態によれば、比較の結果、作動時間の方が反応時間よりも長い場合には、反応時間を優先して撮像を行う。したがって、最適なタイミングで撮影を行うことができる。

また、本実施形態によれば、予め定められた被写体に関わる複数のパターンから、ユーザ操作に応じて１つのパターンを選択し、選択されたパターンに基づいて、被写体を特定する。したがって、顔認識を精度良く、かつ、効率的に行うことができる。
また、本実施形態によれば、被写体の予備撮像を、注意喚起動作の前後に少なくとも１回ずつ行う（図５参照）。したがって、被写体が予想外の動きをした場合でも、撮影タイミングを逃さずに画像を得ることができる。

なお、本実施形態では、連続的に音声出力を行う例を示したが、音声出力は、断続的であっても良いし、繰り返しでも良いし、時間の経過とともに変化させても良い。
また、被写体の特定結果（ステップＳ７の顔認識の結果）を考慮して、注意喚起メニューを変更するようにしても良い。さらに、注意喚起メニューを、ユーザ操作に応じて変更するようにしても良い。例えば、被写体が子供である場合、最も注意を喚起することができると考えられる母親の声に変更すると、より効果的に注意を喚起することが可能となる。同様に、パターンについても、ユーザ操作に応じて変更するようにしても良い。例えば、被写体が耳に特徴であるペットである場合、このペットを想定したパターンに変更すれば、顔認識の精度を向上させるとともに、効率化をはかることができる。

また、被写体の注意を喚起することができれば、画像や光や匂いなどを用いるようにしても良い。
また、本実施形態で説明した顔認識および反応時間の予測に際して、ある程度の幅を設ける。実際に撮影を行う際には、顔の向きが多少斜めであっても問題ない。したがって、ある程度の幅を持たせることにより、顔認識および反応時間の予測を必要以上に厳密にしてしまうのを防ぎ、適切な撮影を行うことができる。

また、本実施形態の図２、図４、図５で説明した各ステップを、必要に応じて、組み合わせて実行しても良いし、順番を入れ替えて実行しても良いし、一部の処理を並行で実行しても良い。
また、本実施形態では、「被写体の特定と、被写体の注意の喚起とを行う撮影」を行うモードを備える例を示したが、従来からあるシーンモードなどに組み合わせて使用するようにしても良い。また、図４のフローチャートによって示した変形例で説明した被写体認識の結果に基づいて、モードの選択などを自動化するようにしても良い。

また、本実施形態において、選択されたパターンが複数の被写体を含む場合（ツーショット、集合写真など）には、多点ＡＦとしても良い。また、音声出力を複数の被写体に合わせて行うようにしても良い。例えば、図６に示すように、３人の被写体Ａ、Ｂ、Ｃが存在する場合、被写体Ａ、Ｂ、Ｃのそれぞれに対して半押し動作を行うことにより個別にＡＦを実行し、その結果に基づいて、撮影時のＡＦを決定しても良い。また、最初または最後にＡＦを行った被写体における結果に重み付けを行うようにしても良い。また、音声出力についても、例えば、前述した個別のＡＦの順番にしたがって、それぞれの被写体に有効な音声出力を順番に行うようにしても良い。

また、本実施形態では、本発明の撮像装置の一例として電子カメラ１を用いて説明を行ったが、動画を撮影可能な電子カメラなど、他の撮像装置に適用しても良い。例えば、動画を撮影可能な電子カメラに適用した場合、被写体の特定結果をＡＦに用いれば、動画撮影におけるＡＦの処理速度および精度の向上というさらなる効果も期待できる。
また、本発明を、カメラとコンピュータとからなる撮像装置に適用し、本実施形態の電子カメラ１が行った制御の一部または全てをコンピュータで実現するようにしても良い。

電子カメラ１の構成を示すブロック図である。 電子カメラ１の動作を示すフローチャートである。 ファクターｆ(１)およびｆ(２)について説明する図である。 電子カメラ１の動作の変形例を示すフローチャートである。 電子カメラ１の動作の別の変形例を示すフローチャートである。 複数の被写体を含む場合について説明する図である。

符号の説明

１ 電子カメラ
１０ 撮像部
１１ 制御部
１２ 画像処理部
１３ 表示処理部
１４ 記録部
１５ 音声出力部
２０ 操作部
２５ 液晶モニタ
５０ メモリ

Claims (16)

1. 被写体を撮像して画像データを生成する撮像部と、前記撮像部により生成された前記画像データに基づいて、前記被写体を特定する特定部と、前記被写体の注意を喚起する動作を行う注意喚起部とを備えた撮像装置であって、
   前記特定部による前記被写体の向きを判定する判定部をさらに備え、
   前記特定部は、前記被写体の特定を、前記注意喚起部による前記動作の前後に少なくとも１回ずつ行い、
   前記判定部が判定した前記被写体の向きの判定結果に基づいて最適な撮影タイミングを予測するタイミング予測部をさらに備えた
   ことを特徴とする撮像装置。
2. 被写体を撮像して画像データを生成する撮像部と、
   前記撮像部により生成された前記画像データに基づいて、前記被写体を特定する特定部と、
   前記特定部による前記被写体の特定結果を考慮して、前記被写体の注意を喚起する動作を行う注意喚起部と
   を備えたことを特徴とする撮像装置。
3. 被写体を撮像して画像データを生成する撮像部と、前記撮像部により生成された前記画像データに基づいて、前記被写体を特定する特定部と、前記被写体の注意を喚起する動作を行う注意喚起部とを備えた撮像装置であって、
   前記撮像部は、前記被写体の予備撮像を、前記注意喚起部による前記動作の前後に少なくとも１回ずつ行う
   ことを特徴とする撮像装置。
4. 請求項２または請求項３に記載の撮像装置において、
   前記特定部による前記被写体の向きを判定する向き判定部をさらに備え、
   前記特定部は、前記被写体の特定を少なくとも２回行い、
   前記判定部が判定した前記被写体の向きの判定結果に基づいて最適な撮影タイミングを予測するタイミング予測部をさらに備えた
   ことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記特定部は、前記被写体の特定を、前記注意喚起部による前記動作の前後に少なくとも１回ずつ行う
   ことを特徴とする撮像装置。
6. 請求項１または請求項４に記載の撮像装置において、
   前記撮像部は、前記タイミング予測部により予測された前記撮影タイミングで、前記撮像を行う
   ことを特徴とする撮像装置。
7. 請求項１または請求項４に記載の撮像装置において、
   前記撮像部による撮像に必要な作動時間と、前記タイミング予測部により予測された前記撮影タイミングに基づく反応時間とを比較する比較部をさらに備えた
   ことを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記撮像部は、前記比較部による比較の結果、前記作動時間のほうが前記反応時間よりも長い場合には、前記反応時間を優先して前記撮像を行う
   ことを特徴とする撮像装置。
9. 請求項１または請求項３に記載の撮像装置において、
   前記注意喚起部は、前記特定部による前記被写体の特定結果を考慮して、前記被写体の注意を喚起する動作を行う
   ことを特徴とする撮像装置。
10. 請求項１または請求項３に記載の撮像装置において、
    予め定められた被写体に関わる複数のパターンから、ユーザ操作に応じて１つのパターンを選択するパターン選択部をさらに備え、
    前記特定部は、前記選択部により選択されたパターンに基づいて、前記被写体を特定する
    ことを特徴とする撮像装置。
11. 請求項１または請求項３に記載の撮像装置において、
    予め定められた複数の注意喚起メニューから、ユーザ操作に応じて１つのメニューを選択するメニュー選択部をさらに備え、
    前記注意喚起部は、前記選択部により選択されたメニューに基づいて、前記被写体の注意を喚起する動作を行う
    ことを特徴とする撮像装置。
12. 請求項１０に記載の撮像装置において、
    前記予め定められた被写体に関わる複数のパターンのうち、少なくとも１つのパターンをユーザ操作に応じて変更するパターン変更部をさらに備えた
    ことを特徴とする撮像装置。
13. 請求項１１に記載の撮像装置において、
    前記予め定められた複数の注意喚起メニューのうち、少なくとも１つのメニューをユーザ操作に応じて変更するメニュー変更部をさらに備えた
    ことを特徴とする撮像装置。
14. 請求項１または請求項２に記載の撮像装置において、
    前記撮像部は、前記被写体の予備撮像を、前記注意喚起部による前記動作の前後に少なくとも１回ずつ行う
    ことを特徴とする撮像装置。
15. 請求項３または請求項１４に記載の撮像装置において、
    前記予備撮像により生成した画像データを記録する記録部をさらに備える
    ことを特徴とする撮像装置。
16. 請求項１から請求項１５のいずれか１項に記載の撮像装置による制御をコンピュータで実現するためのプログラム。

Images