JP4560805B2 - 撮像装置及びそのプログラム - Google Patents

Description

本発明は、撮像装置及びそのプログラムに係り、詳しくは、被写体を検出する撮像装置及びそのプログラムに関する。

従来、画像データ内にある顔を検出する顔検出技術というものがある（特許文献１）。

公開特許公報 特開２００６−２９３７２０

しかしながら、撮影前の状態から実際に静止画撮影されるまでの間に、被写体が振り向いたり、眼を瞬きしたり、フレームアウトしたり等の急激な変化があった場合、スルー画像として表示されていた画像と実際に撮影された撮影画像は大きく異なっており、該静止画像は撮影者にとっては失敗画像となる。従来の技術によれば、このような失敗画像に対応することができず、ユーザはこの失敗画像に気付きにくいという問題がある。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、撮影前の状態から実際に静止画撮影されるまでの間に被写体に急激な変化があったか否かをユーザーが簡単に知ることができる撮像装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による撮像装置は、 撮像素子を用いて周期的に被写体を撮像する撮像制御手段と、
前記撮像制御手段により撮像された画像データに対して所定の被写体を検出する被写体検出を行う第１の被写体検出手段と、
前記撮像制御手段による周期的な撮像中に静止画撮影を指示する撮影指示手段と、
前記撮影指示手段により撮影が指示された場合は、前記撮像素子を用いて被写体の静止画撮影を行う静止画撮影制御手段と、
前記静止画撮影制御手段により撮影された静止画像データに対して前記所定の被写体を検出する被写体検出を行う第２の被写体検出手段と、
前記第１の被写体検出手段による被写体検出の結果と、前記第２の被写体検出手段による被写体検出の結果とが一致するか否かを比較する比較手段と、
前記比較手段による比較結果を報知する報知手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、前記報知手段は、前記比較手段による比較の結果、一致しなかった場合は、その旨を示す報知をするようにしてもよい。

また、例えば、請求項３に記載されているように、表示手段を更に備え、前記報知手段は、前記比較手段による比較の結果、一致した場合は、前記静止画撮影制御手段によって撮影された静止画像データを前記表示手段に表示させ、一致しなかった場合は、前記静止画撮影制御手段によって撮影された静止画像データを前記表示手段に表示させずに、前記撮像制御手段による撮像を再開することで、その旨を報知するようにしてもよい。

また、例えば、請求項４に記載されているように、表示手段を更に備え、前記報知手段は、前記比較手段による比較の結果、一致しなかった場合は、その旨を示す表示を前記表示手段に表示させることにより報知するようにしてもよい。

また、例えば、請求項５に記載されているように、前記撮像制御手段により撮像された画像データ及び前記静止画撮影制御手段により撮影された静止画像データを前記表示手段に表示させる表示制御手段を更に備え、前記報知手段は、前記比較手段による比較の結果、一致しなかった場合は、前記表示制御手段により前記表示手段に表示される静止画像データにおいて、前記第１の被写体検出手段又は前記第２の被写体検出手段により検出された被写体領域の該一致しなかった被写体領域を前記表示手段に識別表示させることにより報知するようにしてもよい。

また、例えば、請求項６に記載されているように、前記報知手段は、前記比較手段による比較の結果、一致しなかった場合は、前記表示制御手段により前記表示手段に表示される静止画像データにおいて、前記第１の被写体検出手段又は前記第２の被写体検出手段により検出された被写体領域の該一致しなかった被写体領域の画像データを前記表示手段に拡大表示させることにより識別表示するようにしてもよい。

また、例えば、請求項７に記載されているように、前記比較手段は、前記第１の被写体検出手段による被写体検出の結果と、前記第２の被写体検出手段による被写体検出の結果を比較する際、検出された被写体の数が所定の範囲内で一致するか否か、検出された被写体の位置が所定の範囲内で一致するか否か、検出された被写体の大きさが所定の範囲内で一致するか否か、のうち少なくとも１つを比較するようにしてもよい。

また、例えば、請求項８に記載されているように、前記第１の被写体検出手段及び前記第２の被写体検出手段は、被写体の笑顔の度合を示す笑顔評価値を検出する笑顔検出手段を更に備え、前記比較手段は、前記笑顔検出手段によって検出された笑顔評価値を比較するようにしてもよい。

また、例えば、請求項９に記載されているように、前記比較手段は、前記第１の被写体検出手段による被写体検出の結果と、前記第２の被写体検出手段による被写体検出の結果とが一致しているか否かを比較するようにしてもよい。

また、例えば、請求項１０に記載されているように、前記撮像制御手段による撮像中に撮影の準備を指示する撮影準備指示手段を備え、前記比較手段は、前記撮影準備指示手段による撮影準備の指示があった時に、前記撮像制御手段により撮像された画像データに対して行われた前記第１の被写体検出手段による被写体検出の結果を前記第２の被写体検出手段による被写体検出の結果と比較するようにしてもよい。

また、例えば、請求項１１に記載されているように、前記第１の被写体検出手段は、前記撮影指示手段による撮影の指示直前に前記撮像制御手段によって撮像された画像データに対して所定の被写体を検出し、前記比較手段は、前記撮影指示手段による撮影の指示直前に前記撮像制御手段によって撮像された画像データに対する前記第１の被写体検出手段の検出結果と、前記第２の被写体検出手段の検出結果とを比較するようにしてもよい。

また、例えば、請求項１２に記載されているように、前記第1の被写体検出手段は前記撮像制御手段によって周期的に撮像される画像データに対して順次、所定の被写体を検出し、前記比較手段は、撮像された各画像データに対してそれぞれ行われた被写体検出の結果のうち、前記撮影指示手段によって撮影が指示された時の前記第１の被写体検出手段による検出結果から所定回数前に検出された検出結果、前記撮影指示手段によって撮影が指示された時から所定時間前に検出された検出結果、前記第１の被写体検出手段によって検出された検出結果のうち最も優先度の高い被写体検出の結果から、何れか１つの検出結果を前記第２の被写体検出手段による検出結果と比較するようにしてもよい。

また、例えば、請求項１３に記載されているように、前記被写体検出の結果の優先度とは、検出された各被写体の画角中央からの近さ、画像データの検出された各被写体の大きさ、検出された被写体の数のうち、少なくとも１つ以上の条件に基づいて、定められるようにしてもよい。

また、例えば、請求項１４に記載されているように、前記第２の被写体検出手段は、前記第１の被写体検出手段の検出結果における被写体の領域と同じ領域となる前記静止画撮影制御手段により撮影された静止画像データ内の領域に対して、前記所定の被写体を検出する被写体検出を行うようにしてもよい。

上記目的達成のため、請求項１５記載の発明によるプログラムは、撮像装置が備えるコンピュータを、
撮像素子を用いて周期的に被写体を撮像する撮像制御手段、
前記撮像制御手段により撮像された画像データに対して所定の被写体を検出する被写体検出を行う第１の被写体検出手段、
前記撮像制御手段による周期的な撮像中に静止画撮影を指示する撮影指示手段、
前記撮影指示手段により撮影が指示された場合は、前記撮像素子を用いて被写体の静止画撮影を行う静止画撮影制御手段、
前記静止画撮影制御手段により撮影された静止画像データに対して前記所定の被写体を検出する被写体検出を行う第２の被写体検出手段、
前記第１の被写体検出手段による被写体検出の結果と、前記第２の被写体検出手段による被写体検出の結果とを比較する比較手段、
前記比較手段による比較結果を報知する報知手段
として機能させることを特徴とする。

本願発明によれば、撮影前の状態から実際に静止画撮影されるまでの間に被写体に急激な変化があったか否かをユーザーが簡単に知ることができる。

以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、画像生成部９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、フラッシュメモリ１４、画像表示部１５、バス１６を備えている。

撮影レンズ２は、図示しない複数のレンズ群から構成され、フォーカスレンズ２Ａを少なくとも有する。そして、フォーカスレンズ２Ａにはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ２Ａを光軸方向に沿って駆動させるフォーカスモータ、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータを駆動させるフォーカスモータドライバから構成されている（図示略）。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞り４とは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。

ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。

ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮像信号はユニット回路８を経てデジタル信号として画像生成部９に送られる。

画像生成部９は、ユニット回路８から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成し、該生成された輝度色差信号の画像データはＤＲＡＭ１３（バッファメモリ）に記憶される。つまり、画像生成部９は、ＣＣＤ５から出力された画像データに対して画像処理を施す。

ＣＰＵ１０は、ＣＣＤ５への撮像制御、バッファメモリに記憶された画像データを圧縮してフラッシュメモリ１４に記録する記録処理、バッファメモリに記憶された画像データの表示処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。また、ＣＰＵ１０はクロック回路を含む。

特に、ＣＰＵ１０は、周期的に被写体の画像データの撮像を制御する撮像制御部１０１、被写体の静止画撮影を制御する静止画撮影制御部１０２、周期的に撮像された画像データ、静止画撮影された静止画データ内にある顔を検出する顔検出部１０３、撮像制御部１０１により撮像された画像データに対して行われた顔検出の結果と、静止画撮影制御部１０２により撮像された画像データに対して行われた顔検出の結果とを比較し、両者が一致するか否かを判断する比較判断部１０４を有する。

キー入力部１１は、半押し全押し可能なシャッタボタン、モード切替キー、十字キー、ＳＥＴキー、キャンセルキー等の複数の操作キーを含み、撮影者のキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。

ＤＲＡＭ１３は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。また、ＣＰＵ１０の顔検出部１０３から送られてきた顔検出の結果を一時記憶する。
フラッシュメモリ１４は、圧縮された画像データを保存する記録媒体である。

画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４から読み出され、伸張された記録画像を表示させる。

Ｂ．デジタルカメラ１の動作
実施の形態におけるデジタルカメラ１の動作を図２のフローチャートに従って説明する。
ユーザ（撮影者）のモード切替キーの操作により撮影モードに設定されると、ＣＰＵ１０の撮像制御部１０１は、ＣＣＤ５に所定のフレームレートで被写体を撮像させる処理を開始させ、ＣＣＤ５により順次撮像され画像生成部９によって生成された輝度色差信号のフレーム画像データ（ＹＵＶデータ）をバッファメモリ（ＤＲＡＭ１３）に記憶させていき、該記憶されたフレーム画像データに基づく画像を画像表示部１５に表示させていくという、いわゆるスルー画像表示を開始する（ステップＳ１）。

次いで、ステップＳ２で、ＣＰＵ１０は、ユーザによってシャッタボタンが半押しされたか否かを判断する。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
このとき、通常、ユーザは撮影したい被写体の態様がほぼ決まったときにシャッタボタンを半押しする。

ステップＳ２で、シャッタボタンが半押しされていないと判断すると、半押しされるまでステップＳ２に留まり、シャッタボタンが半押しされたと判断すると、ステップＳ３に進み、ＣＰＵ１０の顔検出部１０３は、ＣＣＤ５に直近に撮像されたフレーム画像データに対して、顔を検出する顔検出処理を行う。このとき、顔検出部１０３は、撮像されたフレーム画像データの全領域（画角の全範囲）内に人の顔があるか否かを検出する。つまり、顔検出処理の対象となる範囲は画像データの全領域ということになる。

また、この顔検出処理は、周知技術なので詳しく説明しないが、例えば、予め記憶されている一般的な人の顔の特徴データ（目、眉毛、鼻、口、耳等の特徴データ）と撮像された画像データとを比較照合して、該特徴データとの一致度を求め、該一致度が所定値以上の領域を人の顔として検出する方法であってもよいし、肌色領域を検出し、該検出した肌色領域の輪郭が予め記録されている一般的な人の顔の輪郭である場合に顔と検出する方法であってもよい。

次いで、ステップＳ４で、ＣＰＵ１０の顔検出部１０３は、顔検出の結果をバッファメモリの検出結果記憶領域に循環記憶する処理を行う。この顔検出の結果とは、該検出した顔の数、位置、及び、その大きさのことをいう。また、循環記憶とは、バッファメモリの検出結果記憶領域の空き容量がなくなるまで、フレーム画像データの顔検出の結果を順次記憶させていき、検出結果記憶領域の空き容量がなくなると、新たなフレーム画像データに対して行われた顔検出の結果を、検出結果記憶領域に記憶されている複数の顔検出の結果のうち一番古い顔検出の結果の上に上書き記憶していく。これにより、直近に撮像されたフレーム画像データに対する顔検出の結果から所定時間前（所定枚数前）までのフレーム画像データに対する顔検出の結果が記憶されていることになる。

次いで、ＣＰＵ１０は、直近の顔検出の結果に基づいて、顔検出枠をスルー画像表示に重ねて表示させる処理を開始させる（ステップＳ５）。
ここで、顔検出の結果に基づく顔検出枠の表示とは、検出された各顔の位置、大きさに基づく顔領域に顔検出枠という枠を表示させることをいう。

図３（Ａ）は、表示されたスルー画像及び顔検出枠の様子の一例を示す図である。
図３（Ａ）を見るとわかるように、スルー画像として、被写体（人）２１、被写体（人）２２、被写体（人）２３が撮像されて表示されており、スルー画像に重ねて、検出された顔領域に顔検出枠３１が表示されているのがわかる。つまり、被写体２１、被写体２２、被写体２３のそれぞれの顔が検出され、該顔に顔検出枠３１が表示されている。
この表示を見ることにより、ユーザは撮影したい被写体の態様通りであるかの確認ができたり、また、意図する被写体の態様とは違う場合は、被写体に指示したりすることにより意図する被写体の態様通りに修正することができる。

次いで、ＣＰＵ１０は、ユーザによってシャッタボタンが全押しされたか否かを判断する。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する（ステップＳ６）。
このとき、ユーザは、ユーザが意図する被写体の態様となった場合にシャッタボタンを全押しする。

ステップＳ６で、シャッタボタンが全押しされていないと判断すると、全押しされるまでステップＳ３に戻る。これにより、ＣＣＤ５により順次撮像された各フレーム画像データに対して顔検出処理が行なわれ、該顔検出の結果がバッファメモリの検出結果記憶領域に循環記憶されていくことになる。なお、ステップＳ３〜ステップＳ５までの動作は、次のフレーム画像データが撮像されるまでに終了するものとする。

一方、ステップＳ６で、シャッタボタンが全押しされたと判断すると、ＣＰＵ１０の静止画撮影制御部１０２は、静止画撮影処理を行う（ステップＳ７）。
次いで、ＣＰＵ１０の顔検出部１０３は、該静止画撮影処理により撮影された静止画像データに対して、顔を検出する顔検出処理を行う（ステップＳ８）。このとき、顔検出部１０３は、撮像されたフレーム画像データの全領域（画角の全範囲）内に人の顔があるか否かを検出する。

次いで、ＣＰＵ１０の比較判断部１０４は、シャッタボタン全押し前の顔検出の結果の中から、優先度の高い顔検出の結果を１つ選択する（ステップＳ９）。つまり、バッファメモリの検出結果記憶領域に記憶されている顔検出の結果、即ち、シャッタボタン全押し直前から所定時間前（所定枚数前）までの各フレーム画像データに対する顔検出の結果のうち、優先度が最も高い顔検出の結果を選択することになる。

この顔検出の結果の優先度とは、検出された顔の数の多さ、検出された各顔の画角中央からの近さ、検出された各顔の大きさ等を総合的に考慮して定まる。つまり、フレーム画像データに対する顔検出処理により検出された顔の数が多くなれば、該顔検出の結果の優先度は高くなり、また、フレーム画像データに対する顔検出処理により検出された各顔が画角中央に近いほど、該顔検出の結果の優先度は高くなり、フレーム画像データに対する顔検出処理により検出された各顔が大きいほど、該顔検出の結果の優先度は高くなる。
ここでは、図３（Ａ）に示すような顔検出の結果を選択したものとする。

次いで、ＣＰＵ１０の比較判断部１０４は、該選択した検出結果と、ステップＳ７の顔検出処理による顔検出の結果とを比較し（ステップＳ１０）、両者が一致するか否かを判断する（ステップＳ１１）。
この比較、一致の判断は、選択した顔検出の結果である、顔の数、各顔の位置、各顔の大きさと、ステップＳ７の顔検出処理による顔検出の結果である、顔の数、各顔の位置、各顔の大きさとを比較して一致するか否かを判断する。

具体的には、選択した顔検出の結果の顔の数と、ステップＳ７の顔検出処理の結果の顔の数とが一致するか、また、選択した顔検出の結果の各顔の位置と、該各顔に対応するステップＳ７の顔検出処理による顔検出の結果の各顔の位置とが、所定の距離以内で一致するか、また、選択した顔検出の結果の各顔の大きさと、該各顔に対応するステップＳ７の顔検出処理による顔検出の結果の各顔の大きさとが、所定の大きさ以内で一致するか否かを比較し、これらの要件をすべて満たした場合は、一致すると判断する。

ステップＳ１１で、該選択した検出結果と、ステップＳ８の顔検出処理による顔検出の結果が一致すると判断された場合は、該ステップＳ７で撮影された静止画データを画像表示部１５にプレビュー表示させて（ステップＳ１２）、ステップＳ１５に進む。

一方、ステップＳ１１で、該選択した検出結果と、ステップＳ８で顔検出処理による顔検出の結果が一致しないと判断された場合は、該ステップＳ７で撮影された静止画データを画像表示部１５にプレビュー表示させるとともに、一致していない旨の警告表示を行う（ステップＳ１３）。この警告表示は、ステップＳ９で選択された顔検出の結果のうち、一致しているものがないと判断された顔の位置、大きさに基づく顔領域を識別表示させることにより行う。

図３（Ｂ）は、プレビュー表示された静止画像データの様子を示すとともに識別表示された顔領域の様子の一例を示すものである。
図３（Ｂ）を見るとわかるように、静止画像データの被写体２２は、目を閉じているため被写体２２の顔が顔検出処理により検出されない。したがって、選択された検出結果を示す図３（Ａ）の顔検出枠３１（検出された顔領域）のうち、被写体２２の顔領域と一致する顔領域が図３（Ｂ）にはないので、図３（Ａ）に示す被写体２２の顔検出枠３１と同じ領域に警告枠３２を静止画像データ上に重ねて表示させることにより、シャッタボタンの全押し前と全押し後で急激な変化があった領域をユーザに警告（報知）することができる。

次いで、静止画象データのプレビュー表示とともに警告表示を行うと、ＣＰＵ１０は、ユーザによって記録指示の操作が行われたか否かを判断する（ステップＳ１４）。
このとき、ＣＰＵ１０は、ユーザによってＳＥＴキーの操作が行われた場合は記録指示の操作が行われたと判断し、ユーザによってキャンセルキーの操作が行われた場合は、記録を行わない旨の指示がされたと判断する。

ステップＳ１４で、記録の指示操作が行われたと判断するとステップＳ１５に進み、ステップＳ１４で、記録の指示操作が行われていない、つまり、記録を行わない旨の指示が行われた場合はステップＳ１に戻る。

ステップＳ１５に進むと、ＣＰＵ１０は、撮影された静止画像データを圧縮してフラッシュメモリ１４に記録して、ステップＳ１に戻る。
なお、撮影モード中にモード切替キーの操作により他のモードが設定された場合は、撮影モードを終了する。

以上のように、実施の形態においては、スルー画像に対して行われた顔検出の結果と、静止画象データに対して行われた顔検出の結果とを比較し、両者が所定の範囲内で一致するか否かを判断し、一致しない場合は、静止画像データをプレビュー表示すると共に、一致していない旨の警告表示を行うので、撮影者は撮影前のスルー画像と撮影した静止画像データの間で被写体に急激な変化があったか否かを簡単に認識することができる。
また、警告表示は、スルー画像に対して検出された顔のうち、一致していない顔の顔領域に警告枠３２を表示させることにより警告表示を行うので、どの領域が一致していなかったのかを一目瞭然にわかる。
また、警告表示された場合は、ユーザの記録の指示がない限り静止画像データを記録しないので、フラッシュメモリ１４の記録容量を無駄にすることがない。

［変形例］
Ｃ．上記実施の形態は以下のような変形例も可能である。

（０１）上記実施の形態においては、シャッタボタンの全押し直前から所定時間前（所定枚数前）までの各フレーム画像データに対する顔検出の結果のうち、優先度が最も高い顔検出の結果を選択するようにしたが、優先度にかかわらず、シャッタボタンの全押し直前に撮像されたフレーム画像データに対して行なわれた顔検出の結果を選択するようにしてもよいし、シャッタボタンの半押し直後に撮像されたフレーム画像データに対して行なわれた顔検出の結果を選択するようにしてもよい。
これらの場合は、顔検出の結果を循環記憶させる必要はない。また、シャッタボタンの半押し直後に撮像されたフレーム画像データに対して行なわれた顔検出の結果を選択する場合は、シャッタ半押し後に一度だけ顔検出処理を行えばよいことになる。
また、シャッタボタンの全押し直前から所定時間前（所定枚数前）までの各フレーム画像データに対する顔検出の結果のうち、シャッタボタンが全押しされた時から、所定時間前（所定枚数前）の顔検出の結果を選択するようにしてもよい。
これにより、ユーザが意図した被写体の態様だと判断してから、シャッタボタンを全押しするまでに被写体の態様が変化し、シャッタボタンの全押し直前に撮像されたフレーム画像データに対して行なわれた顔検出の結果はユーザの意図と異なるフレーム画像データの顔検出の結果となってしまったり、優先度が低くてもユーザが意図した被写体の態様だと判断した場合に、優先度の高い結果を選択してしまい、ユーザの意図と異なるフレーム画像データによって比較を行なってしまうことを防ぐことができる。

（０２） 上記実施の形態においては、顔検出の結果の優先度は、検出された顔の数の多さ、検出された各顔の画角中央からの近さ、検出された各顔の大きさ等を総合的に考慮して定まるようにしたが、検出された顔の数の多さ、検出された各顔の画角中央からの近さ、検出された各顔の大きさのうち、１つ以上の要素を考慮して定めるようにしてもよいし、その他の要素を考慮して定まるようにしてもよい。
その他の要素としては、例えば、予め登録されている顔が検出されたか否か、予め登録されている顔が検出された数、笑顔検出による笑顔評価値、検出された被写体が同一の被写体であるか否かの一致度合い等を考慮して定まるようにしてもよい。
これによっても、撮影者は撮影前のスルー画像と撮影した静止画像データの間で被写体に急激な変化があったか否かを簡単に認識することができる。

（０３）上記実施の形態においては、検出された顔の数、顔の位置、顔の大きさを比較して一致するか否かを判断するようにしたが、顔の数のみを比較して一致するか否かを判断するようにしてもよいし、顔の位置のみを比較して一致するか否かを判断するようにしてもよいし、顔の大きさのみを比較して一致するか否かを判断するようにしてもよい。
また、検出された顔の数、検出された顔の位置、検出された顔の大きさのうち、１つ以上の条件に基づいて一致するか否かを判断するようにしてもよい。
これによっても、撮影者は撮影前のスルー画像と撮影した静止画像データの間で被写体に急激な変化があったか否かを簡単に認識することができる。

（０４）上記実施の形態においては、スルー画像に対する顔検出処理により検出された顔の数、各顔の位置及び大きさと、静止画像データに対する顔検出処理により検出された顔の数、各顔の位置及び大きさとをそれぞれ比較して一致するか否かを判断するようにしたが、検出された複数の顔のうち最も画角中央にある顔の位置、該顔の大きさのみを比較して一致するか否かを判断するようにしてもよいし、検出された複数の顔のうち最も大きい顔の位置及び大きさのみを比較して一致するか否かを判断するようにしてもよい。一番画角中央にある顔ほど、あるいは一番大きい顔ほど、ユーザが最も撮影したいメイン被写体であると考えられるからであり、該メイン被写体の態様が最も大切だからである。

（０５）上記実施の形態においては、静止画像データに対する顔検出処理も静止画像データ全体に対して行なうようにしたが（図２のステップＳ８）、シャッタボタンが全押しされた場合は、静止画像データのうち、ステップＳ９で選択した顔検出の結果である、顔の位置及び大きさに基づくそれぞれの領域に対してのみ行なうようにしてもよい。この場合は、ステップＳ８の動作の前にステップＳ９の動作を行なう必要がある。ここで、この顔の位置及び大きさに基づくそれぞれの領域とは、検出された顔領域と同じ領域であってもよいし、検出された顔領域より大きい領域であってもよい。

図４（Ａ）は、図３（Ａ）に示すような顔検出の結果が選択されたときの、顔検出対象となる領域の様子の一例を示したものである。ここでは、領域３３を、図３（Ａ）に示すような顔検出の結果である、各顔の位置及び大きさに基づく領域を、検出された顔領域より大きい領域としている。
静止画像データのうち、この図４（Ａ）で示された各領域３３に対して顔検出処理を行うことにより、顔検出処理の負担が軽減されるとともに、各領域３３で顔が検出されれば、選択された顔検出の結果と静止画像データに対する顔検出処理の検出結果とが一致していると判断されることになり、比較判断の処理も軽くてすむ。

（０６）上記実施の形態においては、警告表示は、静止画像データをプレビュー表示させるとともに、ステップＳ９で選択された顔検出の結果のうち、一致しているものがないと判断された顔の位置、大きさに基づく顔領域と同じ領域に警告枠３３を重ねて表示させるようにしたが、プレビュー表示させる静止画像データのうち、該一致しているものがないと判断された該顔の位置、大きさに基づく顔領域と同じ領域の画像データを拡大表示させることによって識別表示するようにしてもよい。
図４（Ｂ）は、そのときにプレビュー表示される静止画像データ及び警告表示の様子の一例を示すものである。
図４（Ｂ）を見るとわかるように、図３（Ｂ）で示された警告枠３２内の画像データが拡大表示されていることがわかる。これにより、容易に、一致しなかった領域をユーザは認識することができる。

（０７）上記実施の形態においては、選択した顔検出の検出結果と静止画像データに対する顔検出処理の顔検出の結果とが一致しなかった場合には、警告表示を行うことにより一致しなかった旨を積極的に報知し、一致した場合には警告表示を行わないことにより一致した旨を消極的に報知するようにしたが、一致した場合は、一致した旨を表示させ、一致しなかった場合は一致しなかった旨を表示させるようにしてもよい。これによっても、撮影者は撮影前のスルー画像と撮影した静止画像データの間で被写体に急激な変化があったか否かを簡単に認識することができる。

この一致した旨の表示、一致しなかった旨の表示は、文章であってもよいし、一致したか否かを示すマーク等を表示させるようにしてもよいし、また、一致した顔に一致枠という枠を表示させるようにしてもよい。この一致枠が静止画像データの全ての顔に対して表示されている場合は一致したとわかり、また、一致枠が静止画像データの一部の顔に対してしか表示されていない場合は一致していないとわかる。
また、逆に、一致しなかった場合は、一致しなかった旨を表示させず（警告表示をさせず）、一致した場合には、一致した旨を表示させるようにしてもよい。
この一致した旨の表示は、一致しましたという文章であってもよいし、一致した旨を示すマーク等を表示させるようにしてもよい。
また、表示ではなく、音声や振動等によって警告してもよいし、一致しなかった場合は、プレビュー表示させずにスルー画像表示を行なうことで、一致しなかった旨を報知させるようにしてもよい。
要は、一致したか否かがわかる態様であればよい。これにより、撮影者は撮影前のスルー画像と撮影した静止画像データの間で被写体に急激な変化があったか否かを簡単に認識することができる。

（０８）上記実施の形態においては、ステップＳ１１で一致していないと判断すると静止画像データのプレビュー表示と警告表示を行い、ユーザによって記録の指示がある場合は、該静止画象データを記録するようにしたが、ステップＳ１１で一致していないと判断した場合は、静止画像データのプレビュー表示と警告表示を行って、ステップＳ１に戻るようにしてもよい。即ち、警告表示が行われた場合は、静止画像データは記録されないことになる。
また、ステップＳ１１で一致していないと判断した場合は、静止画像データのプレビュー表示と警告表示を行って、ステップＳ１５に進み、静止画像データを記録するようにしてもよい。
これによっても、撮影者は撮影前のスルー画像と撮影した静止画像データの間で被写体に急激な変化があったか否かを簡単に認識することができる。

（０９）上記実施の形態においては、ステップＳ１１で一致していないと判断すると静止画像データのプレビュー表示と警告表示を行うようにしたが、ステップ１１で一致していると判断された場合は静止画像データをプレビュー表示させ、ステップＳ１１で一致しないと判断された場合は、静止画像データのプレビュー表示を行わないことにより警告するようにしてもよい。この場合は（ステップＳ１１で一致していないと判断された場合は）、ステップ１１で一致していないと判断された場合はステップＳ１に戻るようにしてもよいし、ステップＳ１４又はステップＳ１５に進むようにしてもよい。これによっても、撮影者は撮影前のスルー画像と撮影した静止画像データの間で被写体に急激な変化があったか否かを簡単に認識することができる。

（１０）上記実施の形態においては、ステップＳ１１で一致したか否かにかかわらず、撮影された静止画像データをプレビュー表示させるようにしたが（ステップＳ１２、ステップＳ１３）、静止画像データをプレビュー表示させないようにしてもよい。
この場合、ステップＳ１１で一致したと判断すると、そのままステップＳ１５に進み、ステップＳ１１で一致していないと判断すると、ステップＳ１３では警告表示のみを行って、ステップＳ１４に進むようにしてもよい。このときの警告表示は、文章や、マーク等により一致していない旨を表示させる。

（１１）上記実施の形態においては、ステップＳ９で選択された顔検出の結果のうち、一致しているものがないと判断された顔の位置、大きさに基づく顔領域を識別表示させることにより警告表示を行うようにしたが（ステップＳ１３）、単に一致していない旨を文章やマーク等によって表示させるようにしてもよい。

（１２）上記実施の形態においては、単に顔を検出するようにしたが、笑顔検出処理を備え、スルー画像に対する笑顔検出処理により検出された笑顔の度合いを示す笑顔評価値と、静止画像データに対する笑顔検出処理により検出された笑顔評価値とが所定の範囲以内で一致しない場合に警告表示するようにしてもよい。
このスルー画像に対する笑顔検出処理に検出された笑顔評価値は、上記実施の形態のように、シャッタボタン全押し直前に撮像されたフレーム画像データに対する笑顔検出処理により検出された笑顔評価値であってもよいし、シャッタボタン半押し直後に撮像されたフレーム画像データに対する笑顔検出処理により検出された笑顔評価値であってもよいし、シャッタボタン全押し直前から所定時間前（所定枚数前）までに撮像された各フレーム画像データに対する笑顔検出処理により検出された笑顔評価値のうち、最も高い又は低い笑顔評価値、若しくは、笑顔評価値の平均値であってもよいし、シャッタボタン全押しの時から所定時間前（所定枚数前）のフレーム画像データに対する笑顔検出処理により検出された笑顔評価値であってもよい。

（１３）上記実施の形態においては、単に顔を検出するようにしたが、個人認識処理を行い、登録された顔がある場合は、該登録された顔の個人認識の結果のみを比較して一致するか否かを判断するようにしてもよい。つまり、スルー画像時の個人認識の結果（顔の数、顔の位置、大きさ）と、静止画像データの個人認識の結果（顔の数、顔の位置、大きさ）とを比較して一致するか否かを判断する。

（１４）上記実施の形態においては、人の顔を検出し、スルー画像の顔検出の結果と、静止画像データの顔検出の結果とを比較して一致するかどうかを判断するようにしたが、顔検出に限らず、笑顔検出、特定の人物を認識する個人認識、動物の顔検出、動物を検出する動物検出等であってもよく、要は、所定の被写体を検出するものであればよい。

（１５）上記実施の形態においては、検出結果である、顔の数、顔の位置、大きさと比較して一致するか否かを判断するようにしたが、顔特徴データとの一致度も比較して一致するかどうか判断するようにしてもよい。
例えば、図３（Ｂ）に示すように被写体２２が目を閉じても顔であると検出される場合や、被写体が横を振り向いた状態でも顔と検出される場合は、警告表示がされないことになる。しかし、被写体が目を閉じた状態や、振り向いた状態等は、撮影者が意図しない被写体の態様であることは言うまでもない。したがって、顔と検出されても、その一致度も考慮し、一致度が所定の範囲内にない場合は、図２のステップＳ１１で一致していると判断されないことになる。
なお、顔特徴データとの一致度のみを比較して一致するかどうかを判断するようにしてもよい。

（１６）上記実施の形態は、上記変形例（０１）〜（１５）を任意に組み合わせた態様であってもよい。

（１７）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。

最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮像し、所定の被写体を検出することができる機器であれば適用可能である。

本発明の実施の形態のデジタルカメラのブロック図である。 実施の形態のデジタルカメラ１の動作を示すフローチャートである。 表示されたスルー画像及び顔検出枠の様子、プレビュー表示された静止画像データの様子を示すとともに識別表示された顔領域の様子の一例を示す図である。 変形例における顔検出対象となる領域の様子、変形例におけるプレビュー表示される静止画像データ及び警告表示の様子の一例を示す図である。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ 画像生成部
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ フラッシュメモリ
１５ 画像表示部
１６ バス
１０１ 撮像制御部
１０２ 静止画撮像制御部
１０３ 顔検出部
１０４ 比較判断部

Claims (15)

1. 撮像素子を用いて周期的に被写体を撮像する撮像制御手段と、
   前記撮像制御手段により撮像された画像データに対して所定の被写体を検出する被写体検出を行う第１の被写体検出手段と、
   前記撮像制御手段による周期的な撮像中に静止画撮影を指示する撮影指示手段と、
   前記撮影指示手段により撮影が指示された場合は、前記撮像素子を用いて被写体の静止画撮影を行う静止画撮影制御手段と、
   前記静止画撮影制御手段により撮影された静止画像データに対して前記所定の被写体を検出する被写体検出を行う第２の被写体検出手段と、
   前記第１の被写体検出手段による被写体検出の結果と、前記第２の被写体検出手段による被写体検出の結果とを比較する比較手段と、
   前記比較手段による比較結果を報知する報知手段と、
   を備えたことを特徴とする撮像装置。
2. 前記報知手段は、
   前記比較手段による比較の結果、一致しなかった場合は、その旨を示す報知をすることを特徴とする請求項１記載の撮像装置。
3. 表示手段を更に備え、
   前記報知手段は、
   前記比較手段による比較の結果、一致した場合は、前記静止画撮影制御手段によって撮影された静止画像データを前記表示手段に表示させ、一致しなかった場合は、前記静止画撮影制御手段によって撮影された静止画像データを前記表示手段に表示させずに、前記撮像制御手段による撮像を再開することで、その旨を報知することを特徴とする請求項１又は２記載の撮像装置。
4. 表示手段を更に備え、
   前記報知手段は、
   前記比較手段による比較の結果、一致しなかった場合は、その旨を示す表示を前記表示手段に表示させることにより報知することを特徴とする請求項１又は２記載の撮像装置。
5. 前記撮像制御手段により撮像された画像データ及び前記静止画撮影制御手段により撮影された静止画像データを前記表示手段に表示させる表示制御手段を更に備え、
   前記報知手段は、
   前記比較手段による比較の結果、一致しなかった場合は、前記表示制御手段により前記表示手段に表示される静止画像データにおいて、前記第１の被写体検出手段又は前記第２の被写体検出手段により検出された被写体領域の該一致しなかった被写体領域を前記表示手段に識別表示させることにより報知することを特徴とする請求項４記載の撮像装置。
6. 前記報知手段は、
   前記比較手段による比較の結果、一致しなかった場合は、前記表示制御手段により前記表示手段に表示される静止画像データにおいて、前記第１の被写体検出手段又は前記第２の被写体検出手段により検出された被写体領域の該一致しなかった被写体領域の画像データを前記表示手段に拡大表示させることにより識別表示することを特徴とする請求項４記載の撮像装置。
7. 前記比較手段は、
   前記第１の被写体検出手段による被写体検出の結果と、前記第２の被写体検出手段による被写体検出の結果を比較する際、検出された被写体の数が所定の範囲内で一致するか否か、検出された被写体の位置が所定の範囲内で一致するか否か、検出された被写体の大きさが所定の範囲内で一致するか否か、のうち少なくとも１つを比較することを特徴とする請求項１乃至６の何れかに記載の撮像装置。
8. 前記第１の被写体検出手段及び前記第２の被写体検出手段は、
   被写体の笑顔の度合を示す笑顔評価値を検出する笑顔検出手段を更に備え、
   前記比較手段は、
   前記笑顔検出手段によって検出された笑顔評価値を比較することを特徴とする請求項１乃至７の何れかに記載の撮像装置。
9. 前記比較手段は、
   前記第１の被写体検出手段による被写体検出の結果と、前記第２の被写体検出手段による被写体検出の結果とが一致しているか否かを比較することを特徴とする請求項１乃至８の何れかに記載の撮像装置。
10. 前記撮像制御手段による撮像中に撮影の準備を指示する撮影準備指示手段を備え、
    前記比較手段は、
    前記撮影準備指示手段による撮影準備の指示があった時に、前記撮像制御手段により撮像された画像データに対して行われた前記第１の被写体検出手段による被写体検出の結果と、前記第２の被写体検出手段による被写体検出の結果とを比較することを特徴とする請求項１乃至９の何れかに記載の撮像装置。
11. 前記第１の被写体検出手段は、
    前記撮影指示手段による撮影の指示直前に前記撮像制御手段によって撮像された画像データに対して所定の被写体を検出することを特徴とする請求項１乃至１０の何れかに記載の撮像装置。
12. 前記第1の被写体検出手段は前記撮像制御手段によって周期的に撮像される画像データに対して順次、所定の被写体を検出し、
    前記比較手段は、
    撮像された各画像データに対してそれぞれ行われた被写体検出の結果のうち、前記撮影指示手段によって撮影が指示された時の前記第１の被写体検出手段による検出結果から所定回数前に検出された検出結果、前記撮影指示手段によって撮影が指示された時から所定時間前に検出された検出結果、前記第１の被写体検出手段によって検出された検出結果のうち最も優先度の高い被写体検出の結果から、何れか１つの検出結果を前記第２の被写体検出手段による検出結果と比較することを特徴とする請求項１乃至１１の何れかに記載の撮像装置。
13. 前記被写体検出の結果の優先度とは、
    検出された各被写体の画角中央からの近さ、画像データの検出された各被写体の大きさ、検出された被写体の数のうち、少なくとも１つ以上の条件に基づいて、定められることを特徴とする請求項１２記載の撮像装置。
14. 前記第２の被写体検出手段は、
    前記第１の被写体検出手段の検出結果における被写体の領域と同じ領域となる前記静止画撮影制御手段により撮影された静止画像データ内の領域に対して、前記所定の被写体を検出する被写体検出を行うことを特徴とする請求項１乃至１３の何れかに記載の撮像装置。
15. 撮像装置が備えるコンピュータを、
    撮像素子を用いて周期的に被写体を撮像する撮像制御手段、
    前記撮像制御手段により撮像された画像データに対して所定の被写体を検出する被写体検出を行う第１の被写体検出手段、
    前記撮像制御手段による周期的な撮像中に静止画撮影を指示する撮影指示手段、
    前記撮影指示手段により撮影が指示された場合は、前記撮像素子を用いて被写体の静止画撮影を行う静止画撮影制御手段、
    前記静止画撮影制御手段により撮影された静止画像データに対して前記所定の被写体を検出する被写体検出を行う第２の被写体検出手段、
    前記第１の被写体検出手段による被写体検出の結果と、前記第２の被写体検出手段による被写体検出の結果とを比較する比較手段、
    前記比較手段による比較結果を報知する報知手段
    として機能させることを特徴とするプログラム。
    

Images