JP5824972B2 - 撮像装置、フレームレート制御装置、撮像制御方法及びプログラム - Google Patents

Description

本発明は、例えば移動体を撮像する撮像装置、フレームレート制御装置、撮像制御方法及びプログラムに関する。

従来の技術として、流し撮りにより取得された画像の高画質化を図るべく、撮像領域中に移動体を収める主撮像領域を設定し、当該主撮像領域に対し複数回の露光を行う間に、当該主撮像領域以外の背景領域に１回の露光を行い、合成画像を生成することで移動体が静止し背景が流れている画像を取得する技術がある。（例えば、特許文献１）

特開２０１０−１６６３０４号公報

しかしながら、上記特許文献に記載された技術では、合成により高画質化された流し撮り画像を得ることはできるが、構図が必ずしもユーザが所望するものになるとは限らない虞がある。

本発明は上記のような実情に鑑みてなされたもので、その目的は、ユーザが所望する構図の移動体の画像を簡易に複数撮影することが可能な撮像装置、フレームレート制御装置、撮像制御方法及びプログラムを提供することである。

本発明の一態様は、撮像手段と、上記撮像手段の撮像範囲において主被写体の位置を検出する検出手段と、上記主被写体の移動速度の情報を取得する速度取得手段と、上記速度取得手段により取得された上記主被写体の移動速度の情報に応じた広さの上記主被写体を記録すべき特定の領域を上記撮像手段の撮像範囲に設定する設定手段と、上記撮像手段の撮像範囲における上記検出手段により検出された上記主被写体の位置と、上記設定手段により設定された上記特定の領域の位置との関係を判定する判定手段と、上記判定手段による判定結果に基づいて、上記撮像手段の撮像フレームレートを制御する制御手段とを備えたことを特徴とする。

本発明によれば、ユーザが所望する構図の移動体の画像を簡易に複数撮影することが可能となる。

本発明の第１の実施形態に係るデジタルカメラの機能回路の構成を示すブロック図である。 同実施形態に係る連写撮影モード時の一連の処理内容を示すフローチャートである。 同実施形態に係る連写撮影時にモニタ画面上で移動する主被写体を示す図である。 同実施形態に係る連写速度の変化を示す図である。 本発明の第２の実施形態に係る連写撮影時にモニタ画面上で移動する主被写体を示す図である。 同実施形態に係る連写撮影時にモニタ画面上で移動する主被写体を示す図である。

（第１の実施形態）
以下本発明をデジタルカメラに適用した場合の第１の実施形態について図面を参照して説明する。

図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すブロック図である。同図で、カメラ筐体の前面に配設される撮影レンズ部１１により、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳイメージセンサ等で構成される固体撮像素子（ＩＳ）１２の撮像面上に被写体の光像を入射して結像させる。

スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、この固体撮像素子１２での撮像により得た画像信号をＡＧＣ・Ａ／Ｄ変換部１３に送り、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。このデジタル値の画像データはシステムバスＳＢを介してバッファメモリ１４に保持される。

このバッファメモリ１４に保持された画像データに対して、画像処理部１５が適宜必要な画像処理を施す。画像処理部１５は、被写体検出部１５ａ、動きベクトル解析部１５ｂ、及び領域進入判定部１５ｃを備える。

画像処理部１５は、固体撮像素子１２に備えられるベイヤー配列のカラーフィルタの構成に応じた画像データ（以下「ベイヤーデータ」と称する）に対してマトリックス演算、画素補間処理、ガンマ補正処理等を含むデモザイク処理することで、ＲＡＷ（生）データであるベイヤーデータに現像を施して輝度色差系（ＹＵＶ）の画像データに変換する。

画像処理部１５は、その画像データから表示用に画素数及び階調ビットを大幅に減じた画像データを作成して表示部１６へ送り、スルー画像として表示させる。

また、上記光学レンズユニット１１と同じくカメラ筐体前面には、マイクロホン１７が配設され、被写体方向の音声が入力される。マイクロホン１７は入力した音声を電気信号化し、音声処理部１８へ出力する。

音声処理部１８は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン１７から入力する音声信号をデジタルデータ化する。さらに音声処理部１８は、デジタル化した音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。

加えて音声処理部１８は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の筐体背面側に設けられるスピーカ１９を駆動して、拡声放音させる。

以上の回路をＣＰＵ２０が統括制御する。このＣＰＵ２０は、ワークメモリ２１、及びプログラムメモリ２２と直接接続される。ワークメモリ２１は、例えばＤＲＡＭで構成される。プログラムメモリ２２は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述する連写速度制御を含む動作プログラムやデータ等を固定的に記憶する。

ＣＰＵ２０はプログラムメモリ２２から必要なプログラムやデータ等を読出し、ワークメモリ２１に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。

さらに上記ＣＰＵ２０は、操作部２３から直接入力される各種キー操作信号、及び上記表示部１６上に一端に設けられるタッチ入力部２４からの操作信号に対応して制御動作を実行する。

操作部２３は、例えば電源キー、シャッタレリーズキー、ズームアップ／ダウンキー、撮影モードキー、再生モードキー、メニューキー、カーソル（「↑」「→」「↓」「←」）キー、セットキー、解除キー、ディスプレイキー等を備える。

タッチ入力部２４は、透明導電膜を用いて上記表示部１６上に一体に形成されるものであり、ユーザの手指でタッチ操作された位置の座標情報を操作信号として上記ＣＰＵ２０へ送出する。

ＣＰＵ２０は、システムバスＳＢを介して上記ＡＧＣ・Ａ／Ｄ変換部１３、バッファメモリ１４、画像処理部１５、表示部１６、タッチ入力部２４、及び音声処理部１８の他、さらにレンズ駆動部２５、フラッシュ駆動部２６、イメージセンサ（ＩＳ）駆動部２７、及びメモリカードコントローラ２８と接続される。

レンズ駆動部２５は、ＣＰＵ２１からの制御信号を受けてレンズ用ＤＣモータ（Ｍ）２９の回転を制御し、上記光学レンズユニット１１を構成する複数のレンズ群中の一部、具体的にはズームレンズ及びフォーカスレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。

フラッシュ駆動部２６は、静止画像撮影時にＣＰＵ２１からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部３０を撮影タイミングに同期して点灯駆動する。

イメージセンサ駆動部２７は、その時点で設定されている撮影条件等に応じて上記固体撮像素子１２の走査駆動を行なう。

上記画像処理部１５は、上記操作部２４のシャッタレリーズキー操作に伴う画像撮影時に、ＡＧＣ・Ａ／Ｄ変換部１３から送られてきてバッファメモリ１４に保持される画像データをデモザイク処理し、さらに所定のデータファイル形式、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスＳＢ、メモリカードコントローラ２８を介してメモリカード３１に記録される。

また画像処理部１５は、再生モード時にメモリカード３１からメモリカードコントローラ２８を介して読出されてくる画像データをシステムバスＳＢを介して受取り、バッファメモリ１４に保持させた上で、このバッファメモリ１４に保持させた画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスＳＢを介して表示部１６に出力して表示させる。

メモリカードコントローラ２８は、カードコネクタＣを介してメモリカード３１と接続される。メモリカード３１は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリである。メモリカード３１の内部には、ブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。

次に上記実施形態の動作について説明する。
なお、以下に示す動作は、連写撮影モード下で時間的に連続した複数の静止画像の撮影を行なう際、ＣＰＵ２０がプログラムメモリ２２に記憶されている動作プログラムやデータを読出してワークメモリ２１に展開して記憶させた上で実行するものである。

プログラムメモリ２２に記憶されている動作プログラム等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２２に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０をパーソナルコンピュータと接続することにより外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。

図２は、連写撮影モード時の撮影とその後の記録に係る一連の処理内容を示すものである。その処理当初には、固体撮像素子１２を所定のフレームレート、例えば６０［フレーム／秒］で走査駆動し、得られる画像を順次バッファメモリ１４にバッファしながら、表示部１６でスルー画像としてリアルタイムに表示させる（ステップＳ１０１）。併せてＣＰＵ２０は、被写体の撮像領域の指定をこのデジタルカメラ１０のユーザに促すべく、同表示部１６の一部、例えば画面の下部に、ガイドメッセージとして
「主要な被写体を撮影する領域の範囲を指定して下さい」
のような文字列を表示することで報知する（ステップＳ１０２）。

上記報知の後、実際にユーザが領域を指定したか否かを判断する（ステップＳ１０３）。これは、表示部１６と一体に設けられるタッチ入力部２４の出力する座標信号により、矩形状の範囲を示すタッチ操作がなされたか否かにより判断する。

ここでユーザによる領域指定がなされない場合は上記ステップＳ１０１からの処理に戻って同様の処理を繰返し実行する。

ユーザがタッチ入力部２４でのタッチ操作により領域指定を行なった場合、上記ステップＳ１０３でそれを判断し、バッファメモリ１４にバッファしている時系列の画像内の動きベクトルを、画像処理部１５の被写体検出部１５ａ及び動きベクトル解析部１５ｂにより解析して主被写体の領域を特定する（ステップＳ１０４）。

具体的には、画像内の複数のブロック領域毎の動きベクトルを解析し、その解析結果から、特異な動きベクトルを有するブロック領域を主被写体の領域と特定する。

動きベクトル解析部１５ｂが実行する動きベクトルの解析処理の詳細に関しては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の動画圧縮符号化技術で一般的に実施されているきわめて周知の技術であるので、その説明については省略する。

主被写体をその動きベクトルにより特定すると、次いで特定した動きベクトルの大きさ、すなわち画像内での主被写体の移動速度から、上記指定領域を囲むようなサブ領域を設定する（ステップＳ１０５）。

図３（Ａ）は、表示部１６で表示される画面中から、主被写体ＭＯと、指定領域ＴＡ、及びサブ領域ＳＡを抽出してその関係を示すものである。サブ領域ＳＡは、動きベクトルの大きさが大きい時は指定領域ＴＡに対して大きく、動きベクトルが小さい時は指定領域ＴＡに対して小さく設定する。動きベクトル、及び指定領域ＴＡに対するサブ領域ＳＡの大きさは、予め設定した複数のしきい値により段階的に設定するものとしても良い。
因みに、表示部１６の画面中、主被写体ＭＯは矢印Ａ１の方向に移動する移動体である。この主被写体ＭＯの移動方向については、デジタルカメラ１０を三脚等に固定して撮影し、現実の主被写体ＭＯに相当する移動体が画面中で移動する場合に限らず、ユーザがデジタルカメラ１０を手持ちで撮影する場合に、撮影範囲中で主被写体ＭＯが所望する位置に移動するよう構図を代えることで、相対的に画面中を移動することも含める。

また、同図で縦２本、横２本の計４本の破線で示す線Ｃ１〜Ｃ４は、黄金比に従った構図での撮影を補助するための線であり、例えば上記操作部２３のディスプレイキーの操作により表示部１６での表示の有無を切り換えることが可能であるものとする。

次いで、設定した動きベクトルと、指定された領域の大きさとに基づいて、連写撮影時の２種類の撮像レートＦＲ１，ＦＲ２（ＦＲ１＜ＦＲ２）を設定する（ステップＳ１０６）。
上記撮像レートＦＲ１は、主被写体ＭＯの少なくとも一部がサブ領域ＳＡ内に入っている状態で連写撮影する場合の撮像フレームレートを示す。また、上記撮像レートＦＲ２は、主被写体ＭＯの全部が指定領域ＴＡ内に入っている状態で連写撮影する場合の撮像フレームレートを示す。

こうして各種設定が完了すると、実際の連写撮影を開始するべく、画像処理部１５の領域進入判定部１５ｃを用い、画像中の主被写体ＭＯの少なくとも一部がサブ領域ＳＡに達するのを待機する（ステップＳ１０７）。
そして、画像中の主被写体ＭＯの少なくとも一部がサブ領域ＳＡに達すると、上記ステップＳ１０７でそれを判断し、上記ステップＳ１０６で設定した撮像レートＦＲ１、例えば１５［フレーム／秒］で連写撮影を開始する（ステップＳ１０８）。ＣＰＵ２０は、撮影により取得したＲＡＷデータを順次バッファメモリ１４に保持させる。

その後、領域進入判定部１５ｃにより画像中の主被写体ＭＯの全部が指定領域ＴＡ内に収まったか否かを判断し（ステップＳ１０９）、収まっていないと判断した場合には、上記ステップＳ１０８からの処理に戻る。

こうしてステップＳ１０８，Ｓ１０９の処理を繰返し実行することで、撮像レートＦＲ１での連写撮影を続行しながら、領域進入判定部１５ｃの判定により画像中の主被写体ＭＯの全部が指定領域ＴＡ内に収まるのを待機する。

図３（Ｂ）は、上記図３（Ａ）の状態からさらに主被写体ＭＯが画面右下方向に移動し、サブ領域ＳＡを越えて一部が指定領域ＴＡに達している状態を示す。同図（Ｂ）中に示すように、画面中を矢印Ａ２の方向にさらに主被写体ＭＯが移動することで主被写体ＭＯが指定領域ＴＡ内に収まり、ユーザが意図した構図となる。

しかして、主被写体ＭＯが表示部１６の画面中でさらに移動し、図３（Ｃ）に示すように指定領域ＴＡ内に主被写体ＭＯが完全に収まった状態になると、上記ステップＳ１０９でそれを判断し、上記ステップＳ１０６で設定した撮像レートＦＲ２、例えば３０［フレーム／秒］に代えて連写撮影を継続する（ステップＳ１１０）。

その後、画像中の主被写体ＭＯの少なくとも一部が指定領域ＴＡから外れたか否かを判断し（ステップＳ１１１）、外れていないと判断した場合には、上記ステップＳ１１０からの処理に戻る。

こうしてステップＳ１１０，Ｓ１１１の処理を繰返し実行することで、画像中の主被写体ＭＯの全部が指定領域ＴＡ内に収まっている間、撮像レートＦＲ２での連写撮影を続行する。

そして、画像中の主被写体ＭＯの少なくとも一部が指定領域ＴＡを外れると、上記ステップＳ１１１でそれを判断し、再び上記ステップＳ１０６で設定した撮像レートＦＲ１に変えて連写撮影を続行する（ステップＳ１１２）。

その後、画像中の主被写体ＭＯの全部がサブ領域ＳＡから外れたか否かを判断し（ステップＳ１１３）、外れていないと判断した場合には、上記ステップＳ１１２からの処理に戻る。

こうしてステップＳ１１２，Ｓ１１３の処理を繰返し実行することで、画像中の主被写体ＭＯの全部がサブ領域ＳＡから外れるまでの間、撮像レートＦＲ１での連写撮影を続行する。

その後、画像中の主被写体ＭＯの全部がサブ領域ＳＡから外れると、上記ステップＳ１１３でそれを判断し、その時点で連写撮影を停止する（ステップＳ１１４）。

図４は、主被写体ＭＯの移動位置上のサブ領域ＳＡ、指定領域ＴＡの位置と、撮像フレームレートの関係を示す。
図示する如く主被写体ＭＯの少なくとも一部がサブ領域ＳＡに入った時点で、フレームレートＦＲ１での連写撮影が開始される。そして、主被写体ＭＯの全部が指定領域ＴＡ内に収まっている期間Ｍでは、ユーザの意図した構図となっている可能性が高いため、上記フレームレートＦＲ１より高いフレームレートＦＲ２に変えて連写撮影が続行される。

その後、主被写体ＭＯの少なくとも一部が指定領域ＴＡを外れてから、主被写体ＭＯ全部がサブ領域ＳＡを外れるまでの間も、再び上記フレームレートＦＲ１で連写撮影が続行される。そして、主被写体ＭＯ全部がサブ領域ＳＡを外れた時点で、連写撮影を停止する。

連写撮影停止後にＣＰＵ２０は、バッファメモリ１４に保持している一連の連写撮影により得られた画像データに対し、それぞれ画素数を大幅に間引いた縮小画像を生成する（ステップＳ１１５）。

そして、生成した縮小画像を表示部１６にて一覧表示させた上で、保存する画像の選択を促すようなガイドメッセージ、例えば
「保存する画像を全てタッチした上で「保存」ボタンをタッチして下さい」
のような表示を行なう。この表示に合わせて、表示部１６の例えば右下端部には、選択終了と保存実行を指示するための「保存」ボタンを表示させる（ステップＳ１１６）。

このとき、各縮小画像の例えば左上部に空欄となったチェックボックスを併せて表示し、タッチされた縮小画像については当該チェックボックス内にチェック「レ」を入れて表示することで、容易に保存する画像と保存しない画像を判別可能に表示できる。

あるいは、保存すべくタッチした縮小画像については、当該縮小画像全体を半透明表示した上でその画像に重ねるように赤字で例えば「ＲＥＣＯＲＤ」の文字を表示させても良い。

その後、「保存」ボタンがタッチ操作されて縮小画像の選択が終了するのを待機する（ステップＳ１１７）。そして、縮小画像の選択が指示されると上記ステップＳ１１７でそれを判断し、選択された縮小画像に対応する、バッファメモリ１４に保持された画像データをそれぞれ所定のデータファイル形式、例えばＪＰＥＧに従って画像データファイル化し、得た画像データファイルをメモリカード３１に記録させて（ステップＳ１１８）、一連の連写撮影モード時の処理を終了する。

なお、図２の動作例では、縮小画像により保存する画像を個別に選択するものとして説明したが、一覧表示した縮小画像中、ユーザが所望の構図となっていると思われる時系列に連続した画像の範囲を表す先頭及び末尾の２枚を選択することで、その２枚を先頭及び末尾とする連続した複数の画像の範囲を一括して選択するものとしても良い。

いずれにしても、ユーザが記録する連写画像中から記録する画像を簡易な操作で選択可能となる。

以上詳述した如く本実施形態によれば、ユーザが所望する構図の移動体の画像を簡易に複数撮影することが可能となる。

加えて上記実施形態では、主被写体ＭＯが指定領域ＴＡに入ると、それまでのフレームレートより高いフレームレートに自動的に切り換えて連写撮影を続行するようにしたので、ユーザが所望する構図となった主被写体ＭＯの画像をより多く取得することができ、結果としてユーザの満足する画像を撮影する可能性が高くなる。

また上記実施形態では、連写撮影のフレームレートを設定するに当たって、画面中の主被写体ＭＯの動きベクトルを算出してその大きさにより指定領域ＴＡ内にある時のフレームレートＦＲ２、及びその前後でのフレームレートＦＲ１を設定するものとした。

これにより、動画像の処理できわめて一般的に用いられている動きベクトルの算出アルゴリズムを用いて、移動体としての主被写体ＭＯの画面中での動きの速さに応じて適切なフレームレートを設定することができる。

なお上記実施形態では、ユーザが任意の指定領域ＴＡを設定するものとして説明したが、予め複数の指定領域パターンを用意しておき、ユーザはそれらのパターンの中から任意のものを選択するようにしても良い。

このように予め指定領域ＴＡのパターンを用意しておくことで、一般的な構図で撮影を行なう場合のユーザの負担を減らし、より簡易且つ迅速に連写撮影に移行することができる。

また上記実施形態では説明しなかったが、画像中からパターン抽出可能な特徴物、例えば各種のタワーやビルディングなどの建造物によるランドマーク、あるいはペットなどの動物等を背景領域に属するものとし、主被写体が特徴物と重複するような状態では意図的に連写撮影のフレームレートを下げるなど、主被写体と背景中の特徴物とが共存した構図を意図して連写撮影のフレームレートを設定することで、より表現力を増した構図の画像をシャッタチャンスを逃すことなく確実に撮影できる。

上記特徴物を画像中からパターン抽出する際には、上記実施形態で示した如く表示部１６と一体にして形成したタッチ入力部２４によりユーザが特徴物を直接指定することにより、さらにパターン抽出のための画像処理演算の負担を軽減できる。

（第２の実施形態）
以下本発明をデジタルカメラに適用した場合の第２の実施形態について図面を参照して説明する。
なお、本実施形態に係るデジタルカメラ１０の回路構成については、上記図１に示したものと基本的に同様であるものとして、同一部分には同一符号を使用してその図示と説明とを省略する。

さらに本実施形態では、画像処理部１５の領域進入判定部１５ｃが、被写体検出部１５ａ及び動きベクトル解析部１５ｂでの処理により算出した主被写体の位置と、ユーザが特定した撮像位置との距離が、設定される第１及び第２の距離ｒ１，ｒ２以内となったか否かにより特定した撮像位置への進入の度合いを判定する。

次に上記実施形態の動作について説明する。
なお、以下に示す動作は、連写撮影モード下で時間的に連続した複数の静止画像の撮影を行なう際、ＣＰＵ２０がプログラムメモリ２２に記憶されている動作プログラムやデータを読出してワークメモリ２１に展開して記憶させた上で実行するものである。

プログラムメモリ２２に記憶されている動作プログラム等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２２に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０をパーソナルコンピュータと接続することにより外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。

図６は、連写撮影モード時の撮影とその後の記録に係る一連の処理内容を示すものである。その処理当初には、固体撮像素子１２を所定のフレームレート、例えば６０［フレーム／秒］で走査駆動し、得られる画像を順次バッファメモリ１４にバッファしながら、表示部１６でスルー画像としてリアルタイムに表示させる（ステップＳ２０１）。併せてＣＰＵ２０は、被写体の撮像位置の指定をこのデジタルカメラ１０のユーザに促すべく、同表示部１６の一部、例えば画面の下部に、ガイドメッセージとして
「主要な被写体を撮影する位置を指定して下さい」
のような文字列を表示することで報知する（ステップＳ２０２）。

上記報知の後、実際にユーザが撮像位置を指定したか否かを判断する（ステップＳ２０３）。これは、表示部１６と一体に設けられるタッチ入力部２４の出力する座標信号により、任意の位置を指定するタッチ操作がなされたか否かにより判断する。

ここでユーザによる位置指定がなされない場合は上記ステップＳ２０１からの処理に戻って同様の処理を繰返し実行する。

ユーザがタッチ入力部２４でのタッチ操作により位置指定を行なった場合、上記ステップＳ２０３でそれを判断し、バッファメモリ１４にバッファしている時系列の画像内の動きベクトルを所定のブロック領域毎（図示しない）に、画像処理部１５の被写体検出部１５ａ及び動きベクトル解析部１５ｂにより解析し、特異な動きベクトルを有するブロック領域の位置を、主被写体の位置として特定する（ステップＳ２０４）。

ここで、特異な動きベクトルを有するブロック領域が複数ある場合、例えば、タッチ操作により指定された位置から最短距離にある特異な動きベクトルを有するブロックの中心位置を主被写体の位置としても良い。また、特異な動きベクトルを有する複数のブロック領域の各々の中心位置の平均を主被写体の位置としても良い。

また本実施形態では、例えば、縦１６画素×横１６画素を基本ブロックとして画像内を複数のブロック領域に分割し、分割したブロック領域毎の動きベクトルを解析し、その解析結果から、他のブロック領域と比較して特異な動きベクトルを有するブロック領域を主被写体の領域と特定する。

動きベクトル解析部１５ｂが実行する動きベクトルの解析処理の詳細に関しては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の動画圧縮符号化技術で一般的に実施されているきわめて周知の技術であるので、その説明については省略する。

主被写体の存在するブロック領域を特定すると、次いで特定したブロック領域の位置、すなわち当該ブロック領域中で最も上記ユーザが特定した撮像位置に近い画素位置と、特定した撮像位置との距離に応じて、連写撮影時の２種類の撮像レートＦＲ１，ＦＲ２（ＦＲ１＜ＦＲ２）を設定する（ステップＳ２０５）。
上記撮像レートＦＲ１は、主被写体ＭＯの少なくとも一部が特定した撮像位置から第１の距離ｒ１内にある状態で連写撮影する場合の撮像フレームレートを示す。また、上記撮像レートＦＲ２は、主被写体ＭＯの少なくとも一部が上記第１の距離よりも短い第２の距離ｒ２（ｒ１＞ｒ２）内にある状態で連写撮影する場合の撮像フレームレートを示す。

こうして各種設定が完了すると、実際の連写撮影を開始するべく、画像処理部１５の領域進入判定部１５ｃを用い、画像中の主被写体ＭＯの少なくとも一部が上記第１の距離ｒ１以下となるのを待機する（ステップＳ２０６）。
図６（Ａ）は、表示部１６で表示される画面中から、主被写体ＭＯと、指定位置ＴＰとの関係を示すものである。この状態では、主被写体ＭＯの先端側の位置から特定した撮像位置ＴＰまでの距離ｒは、第１の距離ｒ１及び第２の距離ｒ２のいずれにも達しておらず、連写撮像は開始されていない。
因みに、表示部１６の画面中、主被写体ＭＯは矢印Ａ１１の方向に移動する移動体である。この主被写体ＭＯの移動方向については、デジタルカメラ１０を三脚等に固定して撮影し、現実の主被写体ＭＯに相当する移動体が画面中で移動する場合に限らず、ユーザがデジタルカメラ１０を手持ちで撮影する場合に、撮影範囲中で主被写体ＭＯが所望する位置に移動するよう構図を代えることで、相対的に画面中を移動することも含める。

また、同図で縦２本、横２本の計４本の破線で示す線Ｃ１〜Ｃ４は、黄金比に従った構図での撮影を補助するための線であり、例えば上記操作部２３のディスプレイキーの操作により表示部１６での表示の有無を切り換えることが可能であるものとする。

そして、画像中の主被写体ＭＯの少なくとも一部から撮像位置ＴＰまでの距離ｒが第１の距離ｒ１以下となると、上記ステップＳ２０６でそれを判断し、上記ステップＳ２０５で設定した撮像レートＦＲ１、例えば１５［フレーム／秒］で連写撮影を開始する（ステップＳ２０７）。ＣＰＵ２０は、撮影により取得したＲＡＷデータを順次バッファメモリ１４に保持させる。

その後、領域進入判定部１５ｃにより画像中の主被写体ＭＯの少なくとも一部から撮像位置ＴＰまでの距離ｒが上記第２の距離ｒ２以下となったか否かを判断し（ステップＳ２０８）、なっていないと判断した場合には、上記ステップＳ２０７からの処理に戻る。

こうしてステップＳ２０７，Ｓ２０８の処理を繰返し実行することで、撮像レートＦＲ１での連写撮影を続行しながら、領域進入判定部１５ｃの判定により主被写体ＭＯの少なくとも一部から撮像位置ＴＰまでの距離ｒが上記第２の距離ｒ２以下となるのを待機する。

図６（Ｂ）は、上記図６（Ａ）の状態からさらに主被写体ＭＯが画面右下方向に移動し、主被写体ＭＯの少なくとも一部から撮像位置ＴＰまでの距離ｒが第１の距離ｒ１以下となり、かつまだ第２の距離ｒ２以下とはなっていない状態を示す。同図（Ｂ）中に示すように、画面中を矢印Ａ１２の方向にさらに主被写体ＭＯが移動することで主被写体ＭＯのの撮像位置ＴＰまでの距離ｒが第２の距離ｒ２以下となり、ユーザが意図した構図に近くなる。

しかして、主被写体ＭＯが表示部１６の画面中でさらに移動し、図６（Ｃ）に示すように撮像位置ＴＰまでの距離ｒが第２の距離ｒ２以下となると、上記ステップＳ２０８でそれを判断し、上記ステップＳ２０５で設定した撮像レートＦＲ２、例えば３０［フレーム／秒］に代えて連写撮影を継続する（ステップＳ２０９）。

その後、画像中の主被写体ＭＯの全部と撮像位置ＴＲとの間の距離が上記第２の距離ｒ２より離れたか否かを判断し（ステップＳ２１０）、少なくとも主被写体ＭＯの一部が上記第２の距離ｒ２以内であって離れていないと判断した場合には、上記ステップＳ２０９からの処理に戻る。

こうしてステップＳ２０９，Ｓ２１０の処理を繰返し実行することで、画像中の主被写体ＭＯの少なくとも一部が撮像位置ＴＰから第２の距離ｒ２内にある間、撮像レートＦＲ２での連写撮影を続行する。

そして、画像中の主被写体ＭＯの全部が撮像位置ＴＰから第２の距離ｒ２より大きく離れると、上記ステップＳ２１０でそれを判断し、再び上記ステップＳ２０５で設定した撮像レートＦＲ１に変えて連写撮影を続行する（ステップＳ２１１）。

その後、画像中の主被写体ＭＯの全部と撮像位置ＴＲとの間の距離が上記第１の距離ｒ１より離れたか否かを判断し（ステップＳ２１２）、少なくとも主被写体ＭＯの一部が上記第１の距離ｒ１以内であって離れていないと判断した場合には、上記ステップＳ２１１からの処理に戻る。

こうしてステップＳ２１１，Ｓ２１２の処理を繰返し実行することで、画像中の主被写体ＭＯの少なくとも一部が撮像位置ＴＰから第１の距離ｒ１内にある間、撮像レートＦＲ１での連写撮影を続行する。

その後、画像中の主被写体ＭＯの全部が撮像位置ＴＲから上記第１の距離ｒ１より大きく離れると、上記ステップＳ２１２でそれを判断し、その時点で連写撮影を停止する（ステップＳ２１３）。

連写撮影停止後にＣＰＵ２０は、バッファメモリ１４に保持している一連の連写撮影により得られた画像データに対し、それぞれ画素数を大幅に間引いた縮小画像を生成する（ステップＳ２１４）。

そして、生成した縮小画像を表示部１６にて一覧表示させた上で、保存する画像の選択を促すようなガイドメッセージ、例えば
「保存する画像を全てタッチした上で「保存」ボタンをタッチして下さい」
のような表示を行なう。この表示に合わせて、表示部１６の例えば右下端部には、選択終了と保存実行を指示するための「保存」ボタンを表示させる（ステップＳ２１５）。

このとき、各縮小画像の例えば左上部に空欄となったチェックボックスを併せて表示し、タッチされた縮小画像については当該チェックボックス内にチェック「レ」を入れて表示することで、容易に保存する画像と保存しない画像を判別可能に表示できる。

あるいは、保存すべくタッチした縮小画像については、当該縮小画像全体を半透明表示した上でその画像に重ねるように赤字で例えば「ＲＥＣＯＲＤ」の文字を表示させても良い。

その後、「保存」ボタンがタッチ操作されて縮小画像の選択が終了するのを待機する（ステップＳ２１６）。そして、縮小画像の選択が指示されると上記ステップＳ２１６でそれを判断し、選択された縮小画像に対応する、バッファメモリ１４に保持された画像データをそれぞれ所定のデータファイル形式、例えばＪＰＥＧに従って画像データファイル化し、得た画像データファイルをメモリカード３１に記録させて（ステップＳ２１７）、一連の連写撮影モード時の処理を終了する。

なお、図５の動作例では、縮小画像により保存する画像を個別に選択するものとして説明したが、一覧表示した縮小画像中、ユーザが所望の構図となっていると思われる時系列に連続した画像の範囲を表す先頭及び末尾の２枚を選択することで、その２枚を先頭及び末尾とする連続した複数の画像の範囲を一括して選択するものとしても良い。

以上詳述した如く本実施形態によれば、ユーザが所望する構図の移動体の画像を簡易に複数撮影することが可能となる。

また上記実施形態では、主被写体ＭＯの最も近い位置とユーザが特定した撮像位置ＴＰとの距離に基づいて撮影の開始、終了と連写撮影時の撮像フレームレートを可変設定するものとしたので、画像処理部１５を用いてのＣＰＵ２０による制御をより簡易化できる。

なお上記第１及び第２の実施形態では、撮像フレームレートを２段階に分けて制御する方法について説明したが、本発明はこれに限らず、主被写体ＭＯと指定領域ＴＡまたは指定位置ＴＰとの距離等に応じてさらに細かい撮像フレームレートを設定して多段階に変化するように制御してもよい。

なお上記各実施形態はいずれも連写撮影を行なうデジタルカメラに適用した場合について説明したものであるが、本発明はこれに限らず、カメラ機能を有する電子機器であれば、他にも携帯電話端末やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け情報携帯端末）、電子ブック、携帯ゲーム端末、モバイルコンピュータなどの各種機器にも同様に適用可能となる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、撮像手段と、上記撮像手段の撮像画角から、移動体である主被写体を収めるべき領域または被写体が到達すべき位置を指定する指定手段と、上記撮像手段から所定の速度で連続して上記撮像画角の画像を取得する画像取得手段と、上記画像取得手段により上記撮像手段から所定の速度で連続して取得された各画像中の主被写体の位置と、上記指定手段で指定された領域または位置とに基づいて、上記画像取得手段が上記撮像手段から画像を取得する速度を制御する速度制御手段とを備えたことを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、上記速度制御手段は、上記画像取得手段により所定の速度で連続して取得された各画像中の主被写体の位置が上記指定手段で指定した領域または位置と略一致した場合に、上記撮像手段から画像を取得する速度が早くなるように制御することを特徴とする。

請求項３記載の発明は、上記請求項１記載の発明において、上記画像取得手段により所定の速度で連続して取得した各画像中の主被写体の位置と上記指定手段で指定した領域または位置との距離を算出する距離算出手段をさらに備え、上記速度制御手段は、上記距離算出手段で算出した距離に基づいて、上記画像を取得する速度を制御することを特徴とする。

請求項４記載の発明は、上記請求項１記載の発明において、上記画像取得手段により所定の速度で連続して取得された各画像中の主被写体の動きベクトルを算出するベクトル算出手段をさらに備え、上記速度制御手段は、上記画像取得手段により所定の速度で連続して取得された各画像中の主被写体の位置と、上記指定手段で指定した領域または位置と、上記ベクトル算出手段で算出した動きベクトルとに基づいて、上記画像取得手段が上記撮像手段から画像を取得する速度を制御することを特徴とする。

請求項５記載の発明は、上記請求項１記載の発明において、上記指定手段は、予め記憶した複数の領域パターンから１つを選択することを特徴とする。

請求項６記載の発明は、上記請求項１記載の発明において、上記指定手段は、上記撮像手段の撮像画角を、画像中からパターン抽出可能な特徴物が存在する背景領域と、主被写体を撮像する主被写体領域とに区分し、上記速度制御手段は、画像中の主被写体の位置が、上記主被写体領域にあるか否かにより上記画像取得手段が上記撮像手段から画像を取得する速度を制御することを特徴とする。

請求項７記載の発明は、上記請求項１記載の発明において、上記速度制御手段により制御した速度で上記画像取得手段により連続して取得した画像を保持する保持手段と、上記保持手段で保持する画像を一覧表示する表示手段と、上記表示手段で一覧表示した画像中からの選択を検出する検出手段と、上記検出手段で選択を検出した画像を上記保持手段から読出して記録する記録手段とをさらに備えたことを特徴とする。

請求項８記載の発明は、撮像部を備えた装置での撮像制御方法であって、上記撮像部の撮像画角から、移動体である主被写体を収めるべき領域または被写体が到達すべき位置を指定する指定ステップと、上記撮像部から所定の速度で連続して上記撮像画角の画像を取得する画像取得ステップと、上記画像取得ステップにて上記撮像部から所定の速度で連続して取得する各画像中の主被写体の位置と、上記指定ステップにて指定された領域または位置とに基づいて、上記画像取得ステップにて画像を取得する速度を制御する速度制御ステップとを含むことを特徴とする。

請求項９記載の発明は、撮像部を備えたコンピュータを、上記撮像部の撮像画角から、移動体である主被写体を収めるべき領域または被写体が到達すべき位置を指定する指定手段、上記撮像部から所定の速度で連続して上記撮像画角の画像を取得する画像取得手段、及び上記画像取得手段により上記撮像部から所定の速度で連続して取得する各画像中の主被写体の位置と、上記指定手段により指定された領域または位置とに基づいて、上記画像取得手段により画像を取得する速度を制御する速度制御手段として機能させることを特徴とする。

１０…デジタルカメラ、１１…撮影レンズ部、１２…固体撮像素子（ＩＳ）、１３…ＡＧＣ・Ａ／Ｄ変換部、１４…バッファメモリ、１５…画像処理部、１６…表示部、１７…表示部、１８…音声処理部、１９…スピーカ、２０…ＣＰＵ、２１…ワークメモリ、２２…プログラムメモリ、２３…操作部、２４…タッチ入力部、２５…レンズ駆動部、２６…フラッシュ駆動部、２７…イメージセンサ（ＩＳ）駆動部、２８…メモリカードコントローラ、２９…レンズ用ＤＣモータ（Ｍ）、３０…フラッシュ部、３１…メモリカード、Ｃ…カードコネクタ、ＭＯ…主被写体、ＳＡ…サブ領域、ＳＢ…システムバス、ＴＡ…指定領域。

Claims (14)

1. 撮像手段と、
   上記撮像手段の撮像範囲において主被写体の位置を検出する検出手段と、
   上記主被写体の移動速度の情報を取得する速度取得手段と、
   上記速度取得手段により取得された上記主被写体の移動速度の情報に応じた広さの上記主被写体を記録すべき特定の領域を上記撮像手段の撮像範囲に設定する設定手段と、
   上記撮像手段の撮像範囲における上記検出手段により検出された上記主被写体の位置と、上記設定手段により設定された上記特定の領域の位置との関係を判定する判定手段と、
   上記判定手段による判定結果に基づいて、上記撮像手段の撮像フレームレートを制御する制御手段と
   を備えたことを特徴とする撮像装置。
2. 上記撮像手段の撮像範囲中における主被写体を記録すべき特定の位置を特定する特定手段を更に備え、
   上記設定手段は、上記特定手段により特定された特定の位置に対応する第１の領域と、上記速度取得手段により取得された主被写体の移動速度の情報に応じた広さの第２の領域とを上記撮像手段の撮像範囲に設定し、
   上記判定手段は、上記主被写体の位置が上記第１の領域及び上記第２の領域の何れかの中にあるかを判定し、
   上記制御手段は、上記判定手段により上記主被写体の位置が上記第１の領域の中にあると判定された場合と、上記主被写体の位置が上記第２の領域の何れかの中にあると判定された場合とで、上記撮像フレームレートが異なるように制御する
   ことを特徴とする請求項１記載の撮像装置。
3. 上記設定手段は、上記第１の領域を囲むように上記第２の領域を設定する
   ことを特徴とする請求項２に記載の撮像装置。
4. 上記制御手段は、上記主被写体の位置が上記第２の領域の何れかの中にあると判定された場合に制御される上記撮像フレームレートよりも上記主被写体の位置が上記第１の領域の中にあると判定された場合に制御される上記撮像フレームレートの方が高くなるように制御する
   ことを特徴とする請求項２又は３に記載の撮像装置。
5. 上記制御手段は、上記主被写体の位置が上記第２の領域内にあると判定された場合、上記第２の領域の広さに応じて、上記撮像手段により取得される画像を記録するための上記撮像フレームレートを変化させるように制御する
   ことを特徴とする請求項２から４の何れか１項に記載の撮像装置。
6. 上記制御手段は、上記主被写体の位置が上記第２の領域内にあると判定された場合及び
   上記第１の領域内にあると判定された場合に、上記速度取得手段により取得された上記主被写体の移動速度の情報に応じて、上記撮像手段により取得される画像を記録するための上記撮像フレームレートを制御する
   ことを特徴とする請求項２から５の何れか１項に記載の撮像装置。
7. 上記主被写体の位置と上記特定の位置との間の距離を取得する距離取得手段を更に備え、
   上記判定手段は、上記距離取得手段により取得された距離に基づいて、上記主被写体の位置と上記特定の位置との関係を判定する
   ことを特徴とする請求項２から６の何れか１項に記載の撮像装置。
8. 上記特定手段は、予め記憶した複数の位置の候補から上記特定の位置を特定する、
   ことを特徴とする請求項２から７の何れか１項に記載の撮像装置。
9. 上記特定手段は、上記撮像手段により撮像された画像中からパターン抽出可能な特徴物が存在する背景領域と、上記特定の位置として上記主被写体を撮像する主被写体領域を区分して特定し、
   上記制御手段は、画像中の主被写体の位置が、上記主被写体領域にあるか否かにより上記撮像手段の上記撮像フレームレートを制御する
   ことを特徴とする請求項３から８の何れか１項に記載の撮像装置。
10. 上記制御手段により制御された上記撮像フレームレートで上記撮像手段により連続して撮像された複数の画像を保持する保持手段と、
    上記保持手段により保持された複数の画像を表示手段に一覧表示させる表示制御手段と、
    上記表示制御手段により上記表示手段に一覧表示された複数の画像の中から特定の画像を選択する選択手段と、
    上記選択手段により選択された特定の画像を記録手段に記録させる記録制御手段と
    を更に備えたことを特徴とする請求項１から９の何れか１項に記載の撮像装置。
11. 上記撮像手段により連続して撮像された画像中の主被写体の動きベクトルを取得するベクトル取得手段を更に備え、
    上記検出手段は、上記ベクトル取得手段により取得された動きベクトルに基づいて、上記主被写体の位置を検出する、
    ことを特徴とする請求項１から１０の何れか１項に記載の撮像装置。
12. 撮像手段の撮像範囲において主被写体の位置を検出する検出手段と、
    上記主被写体の移動速度の情報を取得する速度取得手段と、
    上記速度取得手段により取得された上記主被写体の移動速度の情報に応じた広さの上記主被写体を記録すべき特定の領域を上記撮像手段の撮像範囲に設定する設定手段と、
    上記撮像手段の撮像範囲中における上記検出手段により検出された主被写体の位置と上記設定手段により設定された領域の位置との関係を判定する判定手段と、
    上記判定手段による判断結果に基づいて、上記撮像手段の撮像フレームレートを制御する制御手段と
    を備えたことを特徴とするフレームレート制御装置。
13. 撮像部を備えた装置での撮像制御方法であって、
    上記撮像部の撮像範囲における主被写体の位置を検出する検出ステップと、
    上記主被写体の移動速度の情報を取得する速度取得ステップと、
    上記速度取得ステップにより取得された上記主被写体の移動速度の情報に応じた広さの上記主被写体を記録すべき特定の領域を上記撮像部の撮像範囲に設定する設定ステップと、
    上記撮像部の撮像範囲中における上記検出ステップにより検出された上記主被写体の位置と上記設定ステップにより設定された領域の位置との関係を判定する判定ステップと、
    上記判定ステップによる判定結果に基づいて、上記撮像部の撮像フレームレートを制御する制御ステップと
    を含むことを特徴とする撮像制御方法。
14. 撮像部を備えたコンピュータを、
    上記撮像部の撮像範囲における主被写体の位置を検出する検出手段、
    上記主被写体の移動速度の情報を取得する速度取得手段、
    上記速度取得手段により取得された上記主被写体の移動速度の情報に応じた広さの上記主被写体を記録すべき特定の領域を上記撮像部の撮像範囲に設定する設定手段、
    上記撮像部の撮像範囲中における上記検出手段により検出された上記主被写体の位置と上記設定手段により設定された領域の位置との関係を判定する判定手段、
    上記判定手段による判定結果に基づいて、上記撮像部の撮像フレームレートを制御する制御手段
    として機能させることを特徴とするプログラム。

Images