JP5979869B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、特に、不規則な動きを行う可能性のある被写体を撮像するために用いて好適な撮像装置、撮像方法及びプログラムに関する。

動く被写体を画角内に適切に捕らえるための機能として、カメラの連写機能がある。従来は、撮影者が被写体にレンズを向け、設定した連写間隔により連写する撮影方法が一般的だったが、昨今では画面内から動きのある領域を検出し、その動き量に応じて撮影時の連写間隔を変更する技術も提案されている。これにより、ユーザーが面倒な設定を行う手間が不要となり、被写体を簡単に連写撮影することができる。

これらの撮影時の設定に関しては、人物を撮像する場合において顔の認識及び顔部分の動き情報の取得を自動的に行い、その情報を元にシャッタースピード、又は撮影時の連写間隔を決定して撮像処理を行う技術が提案されている（例えば、特許文献１参照）。この手法では、複数枚の画像を画像メモリに蓄積できる撮像システムにおいて、顔検出を実施したのち、その顔領域にて連続する２つの画像データ間の差分を計算することにより所望の動き情報を検出する。そして、この検出値を元にシャッタースピード及び撮影時の連写間隔を決定し、静止画像を取り込む。

特開２００７−４９４４９号公報

しかしながら、顔を検出した後にその顔領域にて２枚の画像を比較して動き量を検出する仕様の場合、動作が開始された後に動きの検出が行われるため、初動を捉えることができない。また、指示を伝えることのできる大人や予測しやすい動作をしている被写体では動きを予測しやすいが、不規則に動く被写体に対しては思い通りの撮影ができない場合がある。特に、幼児などは、すばやく想定外な動作をすることがあるため、シャッターチャンスを逃す場合がある。

本発明は前述の問題点に鑑み、不規則な動きをする被写体に対して適切に撮影できるようにすることを目的としている。

本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、前記撮像手段によって生成された画像データから前記被写体を検出する被写体検出手段と、前記被写体検出手段によって検出された被写体に対して、予め記憶された登録情報を参照して検出された被写体の年齢を判定する判定手段と、前記被写体検出手段によって検出された被写体の動き量を検出する動き検出手段と、前記判定手段の判定結果と前記動き検出手段により検出された動き量とに基づいて、連続撮像の撮像間隔を変更する変更手段とを有し、前記変更手段は、前記判定手段により判定された被写体の年齢が同一であれば、前記動き検出手段により検出された被写体の動き量が、所定の第１の動き量であるときよりも、前記所定の第１の動き量よりも大きな所定の第２の動き量であるときのほうが、前記撮像間隔を狭く設定し、前記動き検出手段により検出された被写体の動き量が同一であれば、前記判定手段により判定された被写体の年齢が、所定の第１の年齢であるときよりも、前記所定の第１の年齢よりも若い所定の第２の年齢であるときのほうが、前記撮像間隔を狭く設定することを特徴とする。

本発明によれば、不規則な動きをする被写体でもシャッターチャンスを捉えることができ、適切に撮影を行うことができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 実施形態における撮影時の連写間隔を決定する処理手順の一例を示すフローチャートである。 被写体の年齢による動きの違いを説明する図である。 実施形態におけるカテゴリーごとの位置変動と連写間隔との関係を示す図である。 実施形態における登録辞書に登録されている個人情報の一例を示す図である。

以下、図面を参照しながら、本発明の実施形態における撮像装置の構成及び処理の流れについて説明する。

（撮像装置の構成）
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。
図１において、操作部１０１は、操作者が撮像装置１００に対して各種の指示を入力するためのスイッチやボタンなどにより構成されている。操作部１０１の中には、シャッタースイッチや、表示装置をタッチすることにより操作を可能とするタッチセンサも含まれる。

制御部１０２は、図１に示す各部の動作を制御するものであり、操作部１０１からの指示に応じて各部を制御する。センサ部１０３は、レンズ１０８ａ及び露出機構１０９ａを介して入射される光を受け、その光量に応じた電荷を出力するものである。なお、制御部１０２からの制御により、ＡＦ処理部１０８ｂはレンズ１０８ａの位置を制御することができ、ＡＥ処理部１０９ｂは露出機構１０９ａの露出量を制御することができる。また、必要に応じて、制御部１０２からの制御により、ＥＦ処理部１１０はフラッシュ部１１１のフラッシュを制御することができる。Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。例えば、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号を、ＹＵＶ画像信号に変換して出力する。

被写体検出部１０６は、画像処理部１０５で出力されたディジタル画像信号から人物の顔を検出し、その位置及びサイズの情報も取得する。被写体認証部１１５では、被写体検出部１０６により検出された顔と、予め不図示のＲＯＭなどに記憶されている登録辞書に登録された顔とを比較することによって類似度を算出し、登録された被写体かどうかを判定する。この登録辞書には、顔特徴量データ以外にも年齢、性別、血縁関係などの個人情報も含まれている。図５には、登録辞書に登録されている個人情報の一例を示している。被写体分類判定部１１６は、被写体認証部１１５にて登録された被写体と判定された場合に、その年齢をもとに動きパターンの分類分けを行う。撮影時連写間隔決定部１１７は、被写体分類判定部１１６で分けられた分類をもとに連写間隔の調整を行う。

表示部１０７は、液晶画面などにより構成されており、被写体検出部１０６により得られた領域を元に被写体枠を表示する。フォーマット変換部１１２は、画像処理部１０５から出力されたディジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力するものである。画像記録部１１３は、フォーマット変換部１１２から出力されたフォーマット変換済みの画像データを、不図示のメモリや、撮像装置１００に挿入されている外部メモリなどに記録する。また、外部接続部１１４は、外部装置と接続するためのインターフェースである。

次に、本実施形態に係る撮像装置１００により撮像を行う場合の動作について説明する。

（処理の流れ）
まず、操作者の操作により、操作部１０１に含まれている電源スイッチがオンにされると、制御部１０２はこれを検知し、撮像装置１００を構成する各部に電源を供給する。撮像装置１００を構成する各部に電源が供給されるとシャッターが開き、センサ部１０３には、レンズ１０８ａ、露出機構１０９ａを介して光が入光される。そして、センサ部１０３は、入光により溜まった電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。

Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種画像処理を行い、処理済みのディジタル画像信号を出力する。

次に、被写体検出部１０６にて、画像処理部１０５から得られたディジタル画像信号における画像内の顔情報（位置、サイズの情報）を取得する。そして、取得された顔情報は被写体認証部１１５へ送られる。被写体認証部１１５では、入力された顔情報を基に顔特徴量データを生成し、撮像装置１００内に予め記憶されている登録辞書に登録された顔と比較することにより類似度を算出する。登録辞書には、各個人ＩＤに関連づけられた複数の顔特徴量データと個人情報（年齢や性別、名前など）とが登録されている。そして、認証結果として、算出された類似度が閾値以上であり、かつ最も高いスコアの人物が出た場合に登録されている被写体と断定される。

登録されている被写体と判定された場合には、被写体分類判定部１１６は年齢をもとに被写体を分類し、撮影時連写間隔決定部１１７は、各年齢の動きパターンに対応した撮影時の連写間隔を決定する。なお、撮影時の連写間隔を決定する手順に関しては後述する。その後、検出された被写体情報は表示部１０７に送られ、表示部１０７のＬＣＤ面にその情報が表示される。また、得られた被写体情報は、制御部１０２を介してＡＦ処理部１０８ｂ及びＡＥ処理部１０９ｂに伝えられ、被写体に最適な撮像処理を実行するために、レンズ１０８ａ及び露出機構１０９ａが制御される。そして、制御部１０２は、シャッタースイッチから信号ＳＷ１を入力する（シャッタースイッチの半押しの通知を受ける）まで、上記処理を繰り返すよう制御する。

一方、制御部１０２は、信号ＳＷ１がシャッタースイッチから入力されると、この時点における画像及び被写体情報に従ってＡＦ処理部１０８ｂ及びＡＥ処理部１０９ｂを制御してＡＦ、ＡＥ処理を行う。そして、撮影に最適なピント及び露出設定条件を設定する。そして、制御部１０２は、シャッタースイッチから信号ＳＷ２を入力する（シャッタースイッチの全押しの通知を受ける）まで、信号ＳＷ１を入力する前の処理に戻し、上記処理を繰り返すよう制御する。

シャッタースイッチから信号ＳＷ２が制御部１０２に入力され、本撮影に移行した場合、撮影時連写間隔決定部１１７により得られた連写間隔にて連写撮影を実行する。まず、外界からの光がレンズ１０８ａ及び露出機構１０９ａを介してセンサ部１０３に入光され、センサ部１０３を構成する光電変換素子には、入光した光の光量に応じた電荷が溜まる。そして、センサ部１０３は、光電変換素子に溜まった電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル画像信号として出力する。

次に、画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル画像信号に対して各種の画像処理を行い、処理済みのディジタル画像信号を出力する。そして、フォーマット変換部１１２は、画像処理部１０５から出力されたディジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力する。画像記録部１１３は、フォーマット変換された画像データを所定のメモリに記録する。

次に、前述した撮影時の連写間隔を決定する手順について説明する。
図２は、本実施形態における撮影時の連写間隔を決定する処理手順の一例を示すフローチャートである。なお、図２に示す各処理は、制御部１０２の制御により行われる。
まず、制御部１０２により初期の露出値を設定し、レンズ１０８ａ、露出機構１０９ａを介してセンサ部１０３によりライブ画としてアナログ画像信号を取得する（ステップＳ２０１）。そして、Ａ／Ｄ変換部１０４によりアナログ画像信号をディジタル画像信号に変換し、画像処理部１０５によりディジタル画像信号に対して所定の画像処理を施す（ステップＳ２０２）。

次に、被写体検出部１０６により、ディジタル画像信号から顔検出を行い、顔情報を取得する（ステップＳ２０３）。そして、被写体認証部１１５により顔情報として得られた顔座標及び顔サイズを用いて、顔認証を行う（ステップＳ２０４）。本実施形態における顔認証は、登録情報として各個人ＩＤに関連づけられた複数の顔特徴量データからなる登録辞書を用いて行う。この登録辞書は、図５に示すように、個人ＩＤに関連付けて名前や生年月日、カテゴリー（年齢による分類）といった個人情報も保有している。なお、名前及び生年月日は、登録時にユーザーにより入力される情報である。また、本実施形態では、撮像装置１００が登録モードに切り替わることによって、この登録辞書に新規登録、追加登録、個人データの削除などを行うことが可能である。

顔認証を行う場合、ディジタル画像信号における顔領域からなる顔画像データを特徴量データへ変換して、登録辞書に登録されている各個人の特徴量データと比較し、個人ごとの類似度を算出する。そして、算出された類似度の中で設定された閾値以上で、かつ最も類似度が高い人物が該当する人物であると判定する。

次に、人物が認証されると、被写体分類判定部１１６により、生年月日と撮影の日付とから認証された人物の年齢を算出し、その年齢に応じて分類分けを行う（ステップＳ２０５）。本実施形態では、１０歳以上と、２歳〜１０歳未満と、２歳未満との３つのカテゴリーに分類する。

認証された人物が１０歳以上の場合は、図３（ａ）に示すように、動作が安定しているため動きの予測が可能である。したがって、位置変動が大きくなった場合に、徐々に連写間隔を狭めていくようにする。

また、認証された人物が２歳以上１０歳未満の場合は、図３（ｂ）に示すように、急に走ったり止まったりすることが多いため、動きの予測が困難である。したがって、１０歳以上の場合よりも連写間隔の初期設定値を狭めにしておき、ちょっとした動きでも連写間隔を狭めて秒間撮影コマ数の限界に到達しやすくする。

さらに、認証された人物が２歳未満の場合は、図３（ｃ）に示すように、素早い動作はないが動作は不安定である。したがって、１０歳以上の場合よりも少ない位置変動であっても連写間隔を狭めて秒間撮影コマ数の限界に到達しやすくする。

図２の説明に戻り、被写体分類判定部１１６により、認証された人物が２歳未満であるか否かを判断する（ステップＳ２０６）。この判断の結果、認証された人物が２歳未満である場合は、２歳未満用の連写間隔のパラメータに設定する（ステップＳ２０７）。一方、認証された人物が２歳以上である場合は、２歳以上１０歳未満であるか否かを判断する（ステップＳ２０８）。この判断の結果、認証された人物が２歳以上１０歳未満である場合は、２歳以上１０歳未満用の連写間隔のパラメータに設定する（ステップＳ２０９）。一方、認証された人物が１０歳以上である場合は、１０歳以上用の連写間隔のパラメータに設定する（ステップＳ２１０）。

図４は、カテゴリーごとの位置変動と連写間隔（シャッタースピード）との関係を示す図である。
図４において、実線４０１は、認証された人物が１０歳以上の場合の位置変動と連写間隔との関係を示し、太線４０２は、認証された人物が２歳以上１０歳未満の場合の位置変動と連写間隔との関係を示している。また、点線４０３は、認証された人物が２歳未満の場合の位置変動と連写間隔との関係を示している。前述したステップＳ２０７、Ｓ２０９及びＳ２１０では、これらの何れかに設定する。このように３つのカテゴリーに分けることによって動きのパターンを分類化し、それぞれの動きに応じた撮影時の連写間隔を変更することができる。

次に、撮影時連写間隔決定部１１７により、顔の動き量を検出する（ステップＳ２１１）。本実施形態では、連続した２枚のＱＶＧＡ画像の顔座標の位置変動から顔の動き量を算出する。そして、撮影時連写間隔決定部１１７により、得られた顔の動き量（位置変動）から、図４に示す関係に従ってその位置変動に対応した撮影時の連写間隔を決定する（ステップＳ２１２）。ユーザーにより連写撮影の指示が操作部１０１よりなされると、直前に決定された連写間隔により連写撮影が行われる。

以上のように本実施形態によれば、不規則な動きをする被写体であっても、顔認証を行う時点で連写間隔の変更量を調整するようにしたので、急な動きに翻弄されることなくシャッターチャンスを捉えることが可能となる。

なお、本実施形態においては、被写体の年齢に応じて連写間隔のパラメータを決定しているが、環境光が任意の明るさより暗い場合には連写撮影をやめて単写のフラッシュ撮影に切り替えるように設定してもよい。この場合、画像処理部１０５により輝度を検出し、環境光が任意の明るさよりも暗いと判断された場合には、制御部１０２は、連写設定からフラッシュ撮影設定に変更し、本撮影の指示に応じて単写のフラッシュ撮影を行うようにする。

（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２ 制御部
１０３ センサ部
１０６ 被写体検出部
１１５ 被写体認証部
１１６ 被写体分類判定部
１１７ 撮影時連写間隔決定部

Claims (8)

1. 被写体を撮像して画像データを生成する撮像手段と、
   前記撮像手段によって生成された画像データから前記被写体を検出する被写体検出手段と、
   前記被写体検出手段によって検出された被写体に対して、予め記憶された登録情報を参照して検出された被写体の年齢を判定する判定手段と、
   前記被写体検出手段によって検出された被写体の動き量を検出する動き検出手段と、
   前記判定手段の判定結果と前記動き検出手段により検出された動き量とに基づいて、連続撮像の撮像間隔を変更する変更手段とを有し、
   前記変更手段は、
   前記判定手段により判定された被写体の年齢が同一であれば、前記動き検出手段により検出された被写体の動き量が、所定の第１の動き量であるときよりも、前記所定の第１の動き量よりも大きな所定の第２の動き量であるときのほうが、前記撮像間隔を狭く設定し、
   前記動き検出手段により検出された被写体の動き量が同一であれば、前記判定手段により判定された被写体の年齢が、所定の第１の年齢であるときよりも、前記所定の第１の年齢よりも若い所定の第２の年齢であるときのほうが、前記撮像間隔を狭く設定することを特徴とする撮像装置。
2. 前記変更手段は、前記動き検出手段により検出された被写体の動き量が同一であり、かつ、前記判定手段により判定された被写体の年齢が前記所定の第２の年齢であるときよりも若い所定の第３の年齢であるならば、前記撮像間隔を、前記所定の第１の年齢であるときよりも狭く、かつ、前記所定の第２の年齢であるときよりも広く設定することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記被写体検出手段により検出された被写体と前記登録情報とを比較し、類似度が閾値を越えた場合に、登録された被写体であると判定し、前記登録情報に基づいて年齢を判定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記変更手段は、ユーザーにより前記連続撮像が指示される前の前記動き量に基づいて、前記撮像間隔を変更することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記撮像手段により生成された画像データに係る環境光に応じて、前記連続撮像に代えてフラッシュを用いた単独の撮像に切り替える切り替え手段をさらに有することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記被写体検出手段は、人物の顔を検出することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 被写体を撮像して画像データを生成する撮像手段を備えた撮像装置の撮像方法であって、
   前記撮像手段によって生成された画像データから前記被写体を検出する被写体検出工程と、
   前記被写体検出工程において検出された被写体に対して、予め記憶された登録情報を参照して検出された被写体の年齢を判定する判定工程と、
   前記被写体検出工程において検出された被写体の動き量を検出する動き検出工程と、
   前記判定工程の判定結果と前記動き検出工程において検出された動き量とに基づいて、連続撮像の撮像間隔を変更する変更工程とを有し、
   前記変更工程においては、
   前記判定工程において判定された被写体の年齢が同一であれば、前記動き検出工程において検出された被写体の動き量が、所定の第１の動き量であるときよりも、前記所定の第１の動き量よりも大きな所定の第２の動き量であるときのほうが、前記撮像間隔を狭く設定し、
   前記動き検出工程において検出された被写体の動き量が同一であれば、前記判定工程において判定された被写体の年齢が、所定の第１の年齢であるときよりも、前記所定の第１の年齢よりも若い所定の第２の年齢であるときのほうが、前記撮像間隔を狭く設定することを特徴とする撮像方法。
8. 被写体を撮像して画像データを生成する撮像手段を備えた撮像装置を制御するためのプログラムであって、
   前記撮像手段によって生成された画像データから前記被写体を検出する被写体検出工程と、
   前記被写体検出工程において検出された被写体に対して、予め記憶された登録情報を参照して検出された被写体の年齢を判定する判定工程と、
   前記被写体検出工程において検出された被写体の動き量を検出する動き検出工程と、
   前記判定工程の判定結果と前記動き検出工程において検出された動き量とに基づいて、連続撮像の撮像間隔を変更する変更工程とをコンピュータに実行させ、
   前記変更工程においては、
   前記判定工程において判定された被写体の年齢が同一であれば、前記動き検出工程において検出された被写体の動き量が、所定の第１の動き量であるときよりも、前記所定の第１の動き量よりも大きな所定の第２の動き量であるときのほうが、前記撮像間隔を狭く設定し、
   前記動き検出工程において検出された被写体の動き量が同一であれば、前記判定工程において判定された被写体の年齢が、所定の第１の年齢であるときよりも、前記所定の第１の年齢よりも若い所定の第２の年齢であるときのほうが、前記撮像間隔を狭く設定することを特徴とするプログラム。

Images