JP5423187B2

JP5423187B2 - 撮像装置、画像選択方法、及び、プログラム

Info

Publication number: JP5423187B2
Application number: JP2009162008A
Authority: JP
Inventors: 孝小野田
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2009-07-08
Filing date: 2009-07-08
Publication date: 2014-02-19
Anticipated expiration: 2029-07-08
Also published as: JP2011019062A

Description

本発明は、撮像装置、画像選択方法、及び、プログラムに関する。

従来より、ユーザのシャッターボタン操作を検知して被写体を撮影するケースにおいては、ユーザがシャッターチャンスと認識した瞬間と、ユーザがシャッターチャンスと認識してシャッターボタンを操作する時間との間に差が生じることから（これをシャッタータイムラグという）、シャッターチャンスを逃し易いという本質的な問題があった。

このような問題を解消するために、シャッタータイムラグの時間を計測して連写を行い、ユーザがシャッターボタンを押した時に、シャッターボタンを押した時間から事前に計測したシャッタータイムラグ時間を差し引いた時間に撮影された一枚を出力することで、決定的瞬間の一枚を出力することができるデジタルカメラが知られている（特許文献１参照）。

特開２００２−２７１６７３号公報

しかしながら、上記特許文献１の技術にあっては、被写体の動きを考慮して連写速度（フレームレート）が設定されていないため、仮に補正したシャッタータイムラグ時間で画像を選択できても、連写速度が遅い等の理由により撮影した時にはすでに被写体が画角内から外れてしまい、対象となる被写体が含まれる決定的瞬間画像を取得することができない場合があった。

本発明は、上述の従来の課題に鑑みてなされたものであり、シャッタータイムラグを考慮しつつ、撮影状況に応じた、また、対象となる被写体が含まれる撮像時間間隔で撮影を行い、決定的な画像を記録できるようにすることを目的とする。

請求項１に記載の発明は、撮像手段と、この撮像手段に連続して撮像するよう制御する連続撮像制御手段と、前記撮像手段によって撮像される画像の記録指示を検出する記録指示検出手段と、前記連続撮像制御手段により連続して撮像される画像データに含まれる被写体の動きを撮影状況として取得する撮影状況取得手段と、この撮影状況取得手段により取得された撮影状況に基づいて、前記連続撮像制御手段が制御する撮像時間間隔を変更する変更手段と、前記記録指示検出手段により記録指示が検出されたタイミングに基づいて、前記変更手段により撮像時間間隔が変更されて連続撮像制御手段により撮像された複数の画像データを蓄積する蓄積手段と、前記撮影状況に応じたタイムラグ補正値を取得するタイムラグ補正値取得手段と、前記タイムラグ補正値取得手段により取得されたタイムラグ補正値に基づいて、前記蓄積手段により蓄積された複数の画像データの中から、特定の画像データを選択する選択手段と、を備えたことを特徴とする。

請求項２に記載の発明は、撮影環境の明るさを取得する明るさ取得手段を更に備え、前記変更手段は、前記明るさ取得手段により取得された明るさに基づいて最も短い撮像時間間隔に変更することを特徴とする。

請求項３に記載の発明は、前記蓄積手段は、前記記録指示検出手段により記録指示が検出されたタイミングの前後、タイミング以前、又は、タイミング以後の少なくとも何れかにより、複数の画像データの蓄積を開始することを特徴とする。

請求項４に記載の発明は、前記特定の画像データを表示する表示手段を更に備えたことを特徴とする。

請求項５に記載の発明は、前記特定の画像データを記録する記録手段を更に備えたことを特徴とする。

請求項６に記載の発明は、撮像部に対して連続して撮像するよう制御する連続撮像制御ステップと、前記撮像部にて撮像される画像の記録指示を検出する記録指示検出ステップと、前記連続撮像制御ステップにて連続して撮像される画像データに含まれる被写体の動きを撮影状況として取得する撮影状況取得ステップと、この撮影状況取得ステップにて取得された撮影状況に基づいて、前記連続撮像制御ステップにて制御する撮像時間間隔を変更する変更ステップと、前記記録指示検出ステップにて記録指示が検出されたタイミングに基づいて、前記変更ステップにて撮像時間間隔が変更されて連続撮像制御ステップにて撮像された複数の画像データを所定のメモリに蓄積する蓄積ステップと、前記撮影状況に応じたタイムラグ補正値を取得するタイムラグ補正値取得ステップと、前記タイムラグ補正値取得ステップにて取得されたタイムラグ補正値に基づいて、前記蓄積ステップにて蓄積された複数の画像データの中から、特定の画像データの選択を検出する選択検出ステップと、を含むことを特徴とする。

請求項７に記載の発明は、撮像装置が有するコンピュータを、連続して撮像するよう制御する連続撮像制御手段、撮像される画像の記録指示を検出する記録指示検出手段、前記連続撮像制御手段によって連続して撮像される画像データに含まれる被写体の動きを撮影状況として取得する撮影状況取得手段、この撮影状況取得手段によって取得された撮影状況に基づいて、前記連続撮像制御手段によって制御する撮像時間間隔を変更する変更手段、前記記録指示検出手段によって記録指示が検出されたタイミングに基づいて、前記変更手段によって撮像時間間隔が変更され連続撮像制御手段によって撮像された複数の画像データを所定のメモリに蓄積する蓄積手段、前記撮影状況に応じたタイムラグ補正値を取得するタイムラグ補正値取得手段、前記タイムラグ補正値取得手段によって取得されたタイムラグ補正値に基づいて、前記蓄積手段によって蓄積された複数の画像データの中から、特定の画像データの選択を検出する選択検出手段、として機能させることを特徴とする。

本発明によれば、シャッタータイムラグを考慮しつつ、撮影状況に応じた、また、対象となる被写体が含まれる撮像時間間隔で撮影を行い、決定的な画像を記録できる。

本発明の第１の実施の形態に係るデジタルカメラのブロック図である。本発明の第１の実施の形態に係るフレームレートテーブルを説明する図である。本発明の第１の実施の形態に係るタイムラグ補正処理を説明するフローチャートである。本発明の第１の実施の形態に係るフレームレート変更処理を説明するフローチャートである。本発明の第１の実施の形態に係るタイムラグ補正計測処理を説明するフローチャートである。本発明の第１の実施の形態に係るタイムラグ補正計測処理を説明する図である。本発明の第１の実施の形態に係るタイムラグ補正計測処理を説明する図である。本発明の第１の実施の形態に係るタイムラグ補正計測処理を説明する図である。本発明の第１の実施の形態に係るタイムラグ補正処理を説明する図である。本発明の第１の実施の形態に係るタイムラグ補正処理を説明する図である。本発明の第２の実施の形態に係るフレームレートテーブルを説明する図である。本発明の第２の実施の形態に係るフレームレート変更処理を説明するフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。
（１）第１の実施の形態
図１は、本発明の第１の実施の形態に係るデジタルカメラ１のブロック図である。このデジタルカメラ１は、撮像系２、メモリカード３、バス４、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）５、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）６、画像表示部７、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）８、キー入力部９等を有し、撮像系２において所定のフレームレート（撮像時間間隔）、例えば、１０００ｆｐｓで連続して撮像して取得した複数の画像データをＲＡＭ６に一時的に記憶する。

撮像系２は、レンズ駆動ブロック１０、レンズ１１、絞り１２、固体撮像素子１３、ドライバ１４、タイミングジェネレータ（ＴＧ：ＴｉｍｉｎｇＧｅｎｅｒａｔｏｒ）１５、信号処理部１６等を有する。

レンズ駆動ブロック１０は、バス４を介したＣＰＵ５の制御により、レンズ１１のフォーカス、倍率、絞り１２を変化させる。レンズ１１は、絞り１２を介して固体撮像素子１３の撮像面に入射光を集光し、被写体の光学像を固体撮像素子１３の撮像面に形成する。

固体撮像素子１３は、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子でもよい。固体撮像素子１３は、ドライバ１４から出力される各種駆動信号に従って動作し、撮像面に形成された光学像の撮像を撮像信号として出力する。固体撮像素子１３が撮像するフレームレート、電荷蓄積時間等はＣＰＵ５が制御する。撮像系２においてドライバ１４は、タイミングジェネレータ１５から出力される各種タイミング信号に従って固体撮像素子１３の駆動信号を生成する。ＣＰＵ５はバス４を介してタイミングジェネレータ１５を制御する。したがって、ドライバ１４に出力するタイミング信号もＣＰＵ５によって制御される。

信号処理部１６は、固体撮像素子１３から出力される撮像信号を相関二重サンプリング処理（ＣＤＳ：ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）した後、自動利得調整（ＡＧＣ：ＡｕｔｏｍａｔｉｃＧａｉｎＣｏｎｔｒｏｌ）、アナログデジタル変換処理（ＡＤ：ＡｎａｌｏｇｔｏＤｉｇｉｔａｌｃｏｎｖｅｒｔｅｒ）し、撮像した画像データをバス４に出力する。

ＲＡＭ６は、固体撮像素子１３により撮像された後、ＣＰＵ５によって送られてきたフレーム画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ５によって処理されるデータ等を一時的に記憶するワーキングメモリとして使用される。

画像表示部７は、液晶表示パネル等により構成される表示部であり、再生時、ＣＰＵ５の制御により、メモリカード３からバス４を介してフレーム画像データを取得して表示する。画像表示部７は、撮像時にも同様に、ＣＰＵ５の制御により、ＲＡＭ６からバス４を介して画像データを取得して表示する。

ＣＰＵ５は、本実施の形態のデジタルカメラ１の動作を制御するコントローラであり、ＲＯＭ８に格納したプログラムを実行して、キー入力部９で検出されるユーザの操作に応動して、本実施の形態のデジタルカメラ１の各部の動作の制御を行う。

本実施の形態では、ＣＰＵ５が実行するプログラムは、ＲＯＭ８に事前に格納されて提供されるものとして説明するが、本発明はこれに限定されない。例えば、このプログラムをメモリカード等の記録媒体に記録して提供するようにしてもよく、ネットワークを介したダウンロードにより提供するようにしてもよい。

キー入力部９は、半押し全押し可能なシャッターボタン、電源オンオフキー、モード切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ５に出力する。このキー入力部５は、本発明のタイミング指示手段としての機能を有する。キー入力部９は、本実施の形態のデジタルカメラ１で、ユーザから各種の指示を受ける指示入力部として機能する。以後、ユーザからの指示は、特に記載がない限り、キー入力部９を介して入力されるものとする。

ＣＰＵ５は、ユーザからメモリカード３に記録した画像データ（フレーム画像データ）の再生の指示を受けると、ＣＰＵ５は、メモリカード３から対応する画像データを順次取得し、この画像データを伸張してＲＡＭ６に格納する。更に、ＣＰＵ５は、画像データをこのＲＡＭ６から画像表示部７に順次転送して画像表示部７に表示させる。こうして、ＣＰＵ５は、メモリカード３に記録した画像データから静止画像を再生して画像表示部７で表示させる。

また、ユーザによるシャッターボタンの全押し操作を検出すると、ＣＰＵ５は、撮像系２を制御して取得した画像データを順次メモリカード３に格納する。また、ＣＰＵ５は、この画像データに対して、ガンマ補正処理、デモザイク処理、ホワイトバランス処理等を実行してメモリカード３に格納し直し、この格納し直した一連の画像データを順次画像表示部７に転送して表示させる。これによりＣＰＵ５は、撮像したモニタ画像を画像表示部７で表示する。

＜フレームレートテーブル＞
図２は、本発明の第１の実施の形態のＲＯＭ８に記憶されているフレームレートテーブルを説明するための図である。図２を見ると、各動き量、及び明るさ毎にフレームレート（ｆｐｓ）が記録されているのが分かる。このフレームレートは固体撮像素子１３が撮像するフレームレート（撮像時間間隔）を示す。

また、フレームレートテーブルに規定されているフレームレートは、図示しないが、１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、１０００ｆｐｓ等、１〜１０００ｆｐｓの間の様々なフレームレートが規定されている。例えば、主要被写体の動きが速い場合には高いフレームレート（つまり、短い撮像時間間隔）が規定され、主要被写体の動きが静止又は緩やかな場合は低いフレームレート（つまり、長い撮像時間間隔）が規定されている。同様に、明るさが大の場合、すなわち主要被写体を含む撮影環境が明るい場合には、高いフレームレートが規定され、明るさが小の場合には低いフレームレートが規定されているが、該主要被写体の明るさにおいて適正露出を得ることができる最大のフレームレートが規定されている。なお、図２中の動き量の項目に「なし」とあるのは、動き量が検出されなかった場合における各明るさに対応するフレームレートである。なお、ここでは、動き量を３段階（小、中、大）に分けてフレームレートをそれぞれ記録させているが、２段階でも４段階でもよく、複数段階に分けてフレームレートが記録される態様であればよい。ＣＰＵ５は、フレームレートテーブルに規定されているフレームレートに基づいて自動的にフレームレートを変更する。

＜タイムラグ補正処理＞
図３は、本発明の第１の実施の形態のタイムラグ補正処理に係るＣＰＵ５の処理手順を示すフローチャートである。ＣＰＵ５は、ユーザのキー入力部９のモード切替キーの操作を検出することにより静止画撮影モードが設定されると、所定のフレームレート（例えば、１０００ｆｐｓ）で固体撮像素子１３による撮像を開始させる。そして、固体撮像素子１３により順次撮像され、信号処理部１６により出力されたフレーム画像データをＲＡＭ６に記憶し、該記憶したフレーム画像データを画像表示部７に表示させる、いわゆるライブビュー処理を開始する（ステップＳ１）。このとき、注目画像指定枠という枠をライブビュー表示上の所定位置（例えば、中央位置）に表示させる。

次に、ＣＰＵ５は、ユーザによってシャッターボタン等のキーが操作されたか否かを判断する（ステップＳ２）。ＣＰＵ５は、キーが操作されていないと判断したときには、ステップＳ１に戻り、キーが操作されるまでステップＳ１のＲＥＣスルー処理を行い待機する。ＣＰＵ５は、キーが操作されたと判断したときには、シャッターボタンの半押し操作が検出されたか否かを判断する（ステップＳ３）。この判断は、シャッターボタンの半押し操作に対応する操作信号がキー入力部９から送られてきたか否かにより判断する。このとき、ユーザが間もなくシャッターチャンスが到来するだろうと思う場合にシャッターボタンの半押し操作を行なうことはもちろんのこと、ユーザが真に撮影したい被写体（主要被写体）が該注目画像指定枠に重なった時にシャッターボタンを半押しする。後述するようにシャッターボタンが半押しされると、シャッターボタン半押し時に注目画像指定枠と重なっている主要被写体の位置を順次検出していくからである。したがって、ユーザはデジタルカメラの位置や向きを変えることにより主要被写体を注目画像指定枠に合わせる必要がある。

ＣＰＵ５は、半押し操作を検出しなかったと判断したときには、その他の処理を行う（ステップＳ４）。その他の処理としては、フレームレートの変更や、撮影シーンの変更処理等である。

このとき、ユーザによってフレームレート（連写速度）設定キーが操作され、フレームレート設定キーの操作に対応する操作信号がキー入力部９から送られてきたときには、ＣＰＵ５は、現在のフレームレートを設定されたフレームレートに変更する。このフレームレートの種別としては、例えば、１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、１０００ｆｐｓ等がある。また、このとき、ユーザによって撮影シーン設定キーが操作され、撮影シーン設定キーに対応する操作信号がキー入力部９から送られてきたときには、ＣＰＵ５は、現在の撮影シーンを設定された撮影シーンに変更する。ユーザが現在の主要被写体の状況に最も適した撮影シーンの撮影条件で主要被写体を撮影したい場合には撮影シーン設定モードキーを操作することにより、撮影条件を変更することができる。この撮影シーンとしては、「人物を写す」、「風景を写す」、「子供を写す」、「スポーツを写す」等の複数の撮影シーンがあり、該各撮影シーンに対応する撮影条件も記録されている。ＣＰＵ５は、半押し操作を検出したと判断したときには、フォーカス処理及び露出計測処理を行う（ステップＳ５）。なお、このとき、ＣＰＵ５により主要被写体の動きが判断できている場合には、被写体が予測できる場合と判定し、被写体の動きが判断できていない場合には、被写体が予測できない場合と判断する。

次に、ＣＰＵ５は、後述のタイムラグ補正値を加味し、フレーム画像データの蓄積を開始する（ステップＳ６）。タイムラグ補正値は、ユーザが視覚によって計測用被写体１０１を認識してからシャッターボタンを押すことにより指示するまでの所定の時間をいう。このタイムラグ補正値を予め取得することで、ユーザのシャッタータイムラグを補正することができる。このタイムラグ補正値は、ステップＳ５において、主要被写体の動きが判断された場合には、主要被写体の動きが予測された撮影状況のタイムラグ補正値を加味してフレーム画像データの蓄積を開始し、主要被写体の動きが判断されなかった場合には、主要被写体の動きが予測できない撮影状況でのタイムラグ補正値を加味してフレーム画像データの蓄積を開始する。尚、この蓄積処理は、バッファメモリであるＲＡＭ６の空き容量がなくなるまで、撮像されたフレーム画像データを順次蓄積し、バッファメモリの空き容量がなくなると、新たに撮像されたフレーム画像データを、バッファメモリに記憶されている複数のフレーム画像データのうち一番古いフレーム画像データの上に上書きしていく。そして、この蓄積処理は、シャッターボタンの解放を検出するか、又は、シャッターボタンの全押し操作が検出されるまで継続して行われる。これにより、直近に撮像されたフレーム画像データから一定時間前までのフレーム画像データが記憶されていることになる。また、次のステップＳ７でフレームレートの変更を検出した場合には、変更されたフレームレートで撮像されたフレーム画像データが蓄積される。

次に、ＣＰＵ５は、後述の図４を参照して説明するフレームレート変更処理を行う（ステップＳ７）。この処理では、主要被写体の動き及び計測した明るさに基づきフレームレートを自動的に変更する処理を行う。

次に、ＣＰＵ５は、ユーザがシャッターボタンから手を離した等により、シャッターボタンの解放を検出したか否かを判断する（ステップＳ８）。シャッターボタンの解放を検出したと判断したときには、ステップＳ６の蓄積処理を終了し、ステップＳ１のライブビュー処理に戻る。一方で、シャッターボタンの解放を検出していないと判断したときには、シャッターボタンが全押し操作が検出されたか否かを判断する（ステップＳ９）。この判断は、シャッターボタンの全押し操作に対応する操作信号がキー入力部９から送られてきたか否かにより判断する。このとき、ユーザはシャッターチャンスが到来したと判断した時に、シャッターボタンを全押し操作する。

ＣＰＵ５は、ユーザによりシャッターボタンが全押しされていないと判断したときには、ステップＳ５に戻り、シャッターボタンが全押しされるまでステップＳ５〜ステップＳ９の処理を繰り返し行う。

ＣＰＵ５は、シャッターボタンの全押し操作を検出した判断したときには、撮像後処理を行う（ステップＳ１０）。この処理では、後述の図５を参照して説明するタイムラグ補正計測処理において計測されたタイムラグ補正値に対応するフレーム画像データを記録すべきフレーム画像データとして選択する。具体的には、図９〜図１２を参照して後述する。また、ＣＰＵ５は、この選択されたフレーム画像データをメモリカード３に記録するとともに、画像表示部７において表示する。この処理が終了すると、タイムラグ補正処理を終了する。

＜フレームレート変更処理＞
図４は、本発明の第１の実施の形態のフレームレート変更処理に係るＣＰＵ５の処理手順を示すフローチャートである。まず、ＣＰＵ５は、主要被写体近辺（撮影環境）の明るさを計測する（ステップＳ１１）。次に、ＣＰＵ５は、主要被写体の位置の検出を開始する（ステップＳ１２）。この処理では、ステップＳ６の蓄積処理により順次蓄積されたフレーム画像データに含まれる主要被写体の位置を検出し、検出された主要被写体の位置はＲＡＭ６に記憶されていく。

この主要被写体の位置の検出方法は、シャッターボタンの半押し操作検出時に注目画像指定枠に重なっている被写体を主要被写体として画像認識させ、順次蓄積されるフレーム画像データ内のどこに該主要被写体が位置するかを検出するようにしてもよいし、公知のブロックマッチング法等を用いて主要被写体の位置を検出していくようにしてもよい。なお、この検出された被写体位置に注目画像指定枠を表示させるようにしてもよい。これにより、主要被写体に注目画像指定枠が追従していく形となり、ユーザは該注目画像指定枠を見ることにより主要被写体の位置を確実に検出しているか否かを判断することができる。

次に、ＣＰＵ５は、所定のタイミング時に、ステップＳ１２の検出処理によって検出された前後の複数のフレーム画像データ内の主要被写体の位置に基づいて主要被写体の動き量を算出する。この動き量の算出は、ステップＳ６の蓄積処理が行われている場合に０．１〜５秒毎の所定のタイミングで行われる。この所定のタイミング時の前後の複数のフレーム画像データとは、所定のタイミング時から所定枚数前（例えば、１０枚前）から蓄積されたフレーム画像データから、所定のタイミング時から所定枚数後（例えば、１０枚後）に蓄積されたフレーム画像データまでの複数のフレーム画像データのことをいい、該複数枚のフレーム画像データに基づいて主要被写体の動き量（単位時間当たりの移動量）を算出し、該算出した動き量を取得する。

この該複数のフレーム画像データに基づく主要被写体の動き量の算出は、例えば、該複数のフレーム画像データのうち、お互いに連続する２つのフレーム画像データ間の主要被写体の位置に基づいて主要被写体の移動量をそれぞれ算出し、該算出した移動量の平均値であってもよいし、所定のタイミング時の直前から直後までの主要被写体の動き量の二乗平均値であってもよい。なお、所定のタイミング時から所定枚数前のフレーム画像データと、所定のタイミング時から所定枚数後のフレーム画像データとの２枚のフレーム画像データに基づいて動き量を算出するようにしてもよい。

次に、ＣＰＵ５は、ステップＳ１１で計測した明るさ、及びステップＳ１３で算出した動き量を取得し、図２に示すフレームレートテーブルを参照して、該明るさ及び動き量に対応するフレームレートを取得する（ステップＳ１４）。次に、ＣＰＵ５は、ステップＳ１４で取得したフレームレートに基づいて、ステップＳ６で行われる蓄積処理におけるフレームレートを自動的に変更する（ステップＳ１５）。この処理が終了すると、フレームレート変更処理を終了する。

＜タイムラグ補正計測処理＞
図５は、本発明の第１の実施の形態のタイムラグ補正計測処理に係るＣＰＵ５の処理手順を示すフローチャートである。ＣＰＵ５は、ユーザのキー入力部９のモード切替キーの操作によりタイムラグ補正計測モードが設定されると、タイムラグ補正計測処理を開始する。ＣＰＵ５は、はじめに、計測カウンター初期化処理を行う（ステップＳ２１）。この処理では、ＲＡＭ６に記憶された計測カウンターを０に初期化して、タイムラグ補正値の計測を行う回数に応じた複数の値を計測カウンターにセットする。本実施の形態においては、タイムラグ補正値の計測を３回行うため、計測カウンターに３をセットする処理を行う。

次に、ＣＰＵ５は、ユーザによってシャッターボタン等のキーが操作されたか否かを判断する（ステップＳ２２）。ＣＰＵ５は、キーが操作されていないと判断したときには、ステップＳ２１に戻り、キーが操作されるまでステップＳ２１の計測カウンター初期化処理を行い待機する。一方、ＣＰＵ５は、キーが操作されたと判断したときには、シャッターボタンの半押し操作を検出したか否かを判断する（ステップＳ２３）。この判断は、シャッターボタンの半押し操作に対応する操作信号がキー入力部９から送られてきたか否かにより判断する。ユーザがタイムラグ補正値の計測を行う準備ができた時に、シャッターボタンの半押し操作を行う。

ＣＰＵ５は、半押し操作を検出しなかったと判断したときには、その他の処理を行う（ステップＳ２４）。一方、半押し操作を検出したと判断したときには、更にシャッターボタンが解放されたか否かを判断する（ステップＳ２５）。ＣＰＵ５は、シャッターボタンが解放されたと判断したときには、ステップＳ２２に戻り、再びユーザによるキー操作を待機する。

一方で、ＣＰＵ５は、シャッターボタンが解放された判断したときには、タイムラグ補正値の計測を開始する（ステップＳ２６）。具体的には、計測カウンターに３がセットされているとき、すなわち、１回目のタイムラグ補正値の計測の場合には、図６に示すように、はじめに画像表示部７において何も表示されていない状態（図６Ａの状態）から計測用被写体１０１を表示（図６Ｂの状態）し、タイムラグ補正値の計測を開始する。この１回目のタイムラグ補正値の計測による計測結果は、被写体の動きが予測できない撮影状況でのタイムラグ補正値として計測される。

また、計測カウンターに２がセットされているとき、すなわち、２回目のタイムラグ補正値の計測の場合には、図７に示すように、はじめに、画像表示部７に計測用被写体１０１が自由運動するように表示（図７のＣの状態）してから、所定時間の経過後、画像表示部７の略中央に設けられた矩形の枠１０２内に計測用被写体１０１を表示（図７のＤの状態）し、タイムラグ補正値の計測を開始する。２回目のタイムラグ補正値の計測では、計測用被写体１０１が矩形の枠１０２内に表示されたタイミングでのシャッターボタンの全押し操作検出の有無を判断する。この２回目のタイムラグ補正値の計測による計測結果は、被写体の動きが予測できない撮影状況でのタイムラグ補正値として計測される。

また、計測カウンターに１がセットされているとき、すなわち、３回目のタイムラグ補正値の計測の場合には、図８に示すように、はじめに、画像表示部７に計測用被写体１０１が上下左右に一定の法則をもって移動するように表示（図８のＥの状態）してから、所定時間の経過後、画像表示部７の略中央に設けられた矩形の枠１０２内に計測用被写体１０１を表示（図８のＦの状態）し、タイムラグ補正値の計測を開始する。３回目のタイムラグ補正値の計測では、計測用被写体１０１が矩形の枠１０２内に表示されたタイミングでのシャッターボタンの全押し操作検出の有無を判断する。この３回目のタイムラグ補正値の計測による計測結果は、被写体の動きが予測できる撮影状況でのタイムラグ補正値として計測される。

次に、ＣＰＵ５は、シャッターボタンの全押し操作を検出したか否かを判断する（ステップＳ２７）。この判断は、シャッターボタンの全押し操作に対応する操作信号がキー入力部９から送られてきたか否かにより判断する。このとき、ユーザは画像表示部７に計測用被写体が表示されたと判断した時に、シャッターボタンを全押し操作する。

ＣＰＵ５は、シャッターボタンの全押し操作が検出されていないと判断したときには、ステップＳ２５に戻り、全押し操作が検出されるまでステップＳ２５〜ステップＳ２７の処理を繰り返し行う。一方、シャッターボタンの全押し操作を検出したと判断したときには、計測処理を行う（ステップＳ２８）。この処理では、ステップＳ２６の処理において、タイムラグ補正値の計測を開始しユーザの視覚による認識からシャッターボタンを押すまでの時間をタイムラグ補正値として予め計測する処理が行われる。この処理は、計測カウンターの残数に応じて複数回行われる。ＣＰＵ５は、この計測処理を終了すると、計測カウンターから１減算する処理を行う。

次に、ＣＰＵ５は、計測カウンターから１減算した結果、計測カウンターは残り０であるか否かを判断する（ステップＳ２９）。ＣＰＵ５は、計測カウンターは残り０ではないと判断したときには、ステップＳ２２に戻り、計測カウンターの残数に応じて、２回目のタイムラグ補正値の計測又は３回目のタイムラグ補正値の計測を行う。

一方で、ＣＰＵ５は、計測カウンターから１減算した結果、計測カウンターは残り０であると判断したときには、計測集計処理を行う（ステップＳ３０）。この処理では、計測カウンター数分のデータを計測し、被写体の動きが予測される撮影状況（１回目、及び２回目のタイムラグ補正値の計測結果）と予測できない撮影状況（３回目のタイムラグ補正値の計測結果）とで２種類に分けてデータを平均値する。被写体の動きがタイムラグ補正処理内で監視できる場合には、被写体の動きが予測できる撮影状況でのタイムラグ補正値の平均値を用い、また、被写体の動きがタイムラグ補正処理内で監視できない場合には、被写体の動きが予測できない撮影状況でのタイムラグ補正値の平均値を用いることで、タイムラグ補正値の精度をより高めることができる。この処理が終了すると、タイムラグ補正計測処理を終了する。

図９〜図１２を参照して、本発明の第１の実施の形態におけるタイムラグ補正処理について詳述する。

ここで、タイムラグ補正処理を開始する前に設定したフレームレートが１００ｆｐｓであって、予め求められたタイムラグ補正値が−０．０１秒である場合には、図９に示す蓄積処理が行われる。すなわち、時間ｔａ_１のときに、シャッターボタンの半押し操作を検出した場合に、１００枚／秒（１００ｆｐｓ）の速度、すなわち、０．０１秒に１フレームの速度でフレーム画像データの蓄積が開始される。これらの複数のフレーム画像データは、順次ＲＡＭ６に蓄積されていく。

そして、シャッターボタンの全押し操作が検出された時間ｔａ_２のとき、時間ｔａ_２からタイムラグ補正値である０．０１秒遡ったフレーム画像データＡが選択され、このフレーム画像データＡがメモリカード３に記録される。つまり、時間ｔａ_２からタイムラグ補正値である−０．０１秒に相当する１フレーム遡ったフレーム画像データＡがタイムラグ補正値（−０．０１秒）のみを勘案したフレーム画像データとなる。尚、タイムラグ補正値が正「＋」であった場合には、ユーザがシャッターボタンを全押しした時間ｔａ_２からそのタイムラグ補正値に対応する時間だけ後のフレーム画像データが特定されることとなる。

ここで、蓄積処理が開始された後であって、シャッターボタンの解放が検出されるか、全押し操作が検出される前の時間ｔａ_３で主要被写体の動き量が変更された場合（例えば、動き量が小から大に変更された場合）、ＣＰＵ５は、図２のフレームレートテーブルを参照して、現在の主要被写体を含む撮影環境の明るさに基づいて、適正露出を得ることができる最大のフレームレートを取得する。このとき取得されたフレームレートが１０００ｆｐｓであった場合には、タイムラグ補正処理の開始前に設定されていたフレームレートが１００ｆｐｓから１０００ｆｐｓへ変更される。

そして、シャッターボタンの解放が検出されるか、全押し操作が検出されるか、又は、再びフレームレートが変更されるまで、変更されたフレームレートに基づいて図１０に示す蓄積処理が行われる。フレームレートが１０００ｆｐｓに変更された場合には、１０００枚／秒（１０００ｆｐｓ）の速度、すなわち、０．００１秒に１フレームの速度でフレーム画像データの蓄積が開始される。これら複数のフレーム画像データは、順次ＲＡＭ６に蓄積されていく。

そして、シャッターボタンの全押し操作が検出された時間ｔａ_２のとき、時間ｔａ_２からタイムラグ補正値である０．０１秒遡り、且つ、１０フレーム分過去に遡ったフレーム画像データＢが選択され、このフレーム画像データＢがメモリカード３に記録される。

したがって、主要被写体の動きが速く、これに対し１００ｆｐｓという比較的低いフレームレートで撮像した場合にあっては、シャッタータイムラグを補正したとしても主要被写体が含まれる決定的瞬間の画像を記録することができない可能性が高いが、上記の如く、主要被写体の動き量と主要被写体を含めた撮影環境の明るさとにより、１０００ｆｐｓという高いフレームレートでも記録可能であると判断した場合には、１００ｆｐｓより高い（撮像時間間隔が短い）１０００ｆｐｓに変更することで、決定的瞬間の画像を取得する可能性が高くなる。

このように、主要被写体を含む撮影環境の明るさに応じて、蓄積処理時のフレームレートが最大（最も短い撮影時間間隔）となるように変更することから、該主要被写体の明るさにおいて適正露出を得ることができ、且つ、主要被写体が含まれるフレーム画像データを取得することができる可能性を最大限にまであげることができる。

また、連続して撮像される複数のフレーム画像データのうち、シャッターボタンの全押し操作の検出タイミングの前後のフレーム画像データが複数蓄積されているため、タイムラグ補正値に基づいて、そのシャッターボタンの全押し操作検出タイミング以前のフレーム画像データの中からも、シャッタータイミングを補正したフレーム画像データを選択することができる。

また、特定されたフレーム画像データをメモリカード３に記憶することにより、複数枚連写されたフレーム画像データを全て記録するよりも素早く記録することができ、また、メモリカード３の記憶容量も無駄にすることがない。

また、特定されたフレーム画像データを画像表示部７に表示することにより、複数枚連写されたフレーム画像データを逐一表示し直して確認するよりも格段に素早く決定的瞬間が撮影されたフレーム画像データを容易に確認することができる。

（２）第２の実施の形態
次に、図１１及び図１２を参照して、第２の実施の形態について説明する。第１の実施の形態では、主要被写体の動き量に応じてフレームレートを変更するのに対し、第２の実施の形態では、選択された撮影シーンに応じてフレームレートを変更する点で、第１の実施の形態と異なる。第２の実施の形態のデジタルカメラ１の構造、制御回路等も基本的に第１の実施の形態と同じである。ただし、図４のフレームレート変更処理に代えて、図１２のフレームレート変更処理が実行される。また、フレームレート変更処理が代えられることに伴い、図２のフレームレートテーブルに代えて、図１１のフレームレートテーブルが参照される。

＜フレームレートテーブル＞
図１１は、本発明の第２の実施の形態のＲＯＭ８に記憶されているフレームレートテーブルを説明するための図である。図１１を見ると、撮影シーン、及び明るさ（主要被写体を含む撮影環境の明るさ）と対応付けてフレームレート（ｆｐｓ）が記憶されているのが分かる。

また、フレームレートテーブルに記憶されているフレームレートは、図示しないが、１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、１０００ｆｐｓ等、１〜１０００ｆｐｓの間の様々なフレームレートが規定されている。例えば、撮影シーンが「スポーツを写す」や、「子供を写す」等の被写体の動きが速いと予測できる場合には高いフレームレートが規定され、撮影シーンが「人物を写す」や「風景を写す」等、被写体の動きが静止又は緩やかであると予測できる場合は低いフレームレートが規定されている。同様に、明るさが大の場合、すなわち被写体近辺の明るさが明るい場合には、高いフレームレートが規定され、明るさが小の場合、すなわち被写体付近の明るさが暗い場合には低いフレームレートが規定されているが、該被写体の明るさにおいて適正露出を得ることができる最大のフレームレートが規定されている。なお、図１１中の撮影シーンの項目に「なし」とあるのは、撮影シーンが選択されなかった場合における各明るさに対応するフレームレートである。なお、ここでは、撮影シーンを「人物を写す」、「風景を写す」、「子供を写す」、「スポーツを写す」に分けてフレームレートをそれぞれ記録させているが、２段階でも４段階でもよく、複数段階に分けてフレームレートが記録される態様であればよい。

＜フレームレート変更処理＞
図１２は、本発明の第２の実施の形態のフレームレート変更処理に係るＣＰＵ５の処理手順を示すフローチャートである。尚、ステップＳ１０２、Ｓ１０４については、第１の実施の形態における図４のステップＳ１１、Ｓ１５と同様の処理である。

まず、ＣＰＵ５は、ユーザにより選択された撮影シーンを取得する（ステップＳ１０１）。尚、ユーザにより撮影シーンが選択されなかった場合には、「なし」が選択される。次に、ＣＰＵ５は、主要被写体を含む撮影環境の明るさを計測する（ステップＳ１０２）。

次に、ＣＰＵ５は、ステップＳ１０１で取得した撮影シーン、及びステップＳ１０２で計測した明るさを取得し、図１１に示すフレームレートテーブルを参照して、該撮影シーン及び明るさに対応するフレームレートを読み出して取得する（ステップＳ１０３）。次に、ＣＰＵ５は、ステップＳ１０３で取得したフレームレートに基づいてステップＳ６で行われる蓄積処理のフレームレートを自動的に変更する（ステップＳ１０４）。この処理が終了すると、フレームレート変更処理を終了する。

したがって、本発明の第２の実施の形態においては、撮影シーンが被写体の動きが速いと予測される場合、すなわち、「スポーツを写す」場合や、「人物を写す」場合には、フレームレートを例えば、１０００ｆｐｓという高いフレームレートに自動的に変更して連続撮像することで、主要被写体がデジタルカメラ１の画角内にあるうち、主要被写体が含まれる決定的瞬間の画像を記録することができる。

以上、様々な実施の形態のデジタルカメラ１について説明した。尚、本実施の形態では、ステップＳ１０の撮像後処理において、タイムラグ補正値に対応するフレーム画像データを特定し、該特定されたフレーム画像データのみをメモリカード３に記録するとともに、該特定されたフレーム画像データを画像表示部７において表示しているがこれに限られない。例えば、ＣＰＵ５により、タイムラグ補正値によらずに、蓄積処理により蓄積された複数のフレーム画像データの中から、シャッターボタンの全押し操作を検出したタイミングのみに基づいてフレーム画像データを特定する。

また、本実施の形態では、主要被写体の動きが予測できる場合と、予測できない場合とのタイムラグ補正値を分けて平均値化したタイムラグ補正値を用いているがこれに限られない。例えば、複数のタイムラグ補正値を一つに集計して平均値として、全ての撮影状態におけるタイムラグ補正値としてもよい。

１デジタルカメラ
２撮像系
３メモリカード
４バス
５ＣＰＵ
６ＲＡＭ
７画像表示部
８ＲＯＭ
９キー入力部
１０レンズ駆動ブロック
１１レンズ
１２絞り
１３固体撮像素子
１４ドライバ
１５タイミングジェネレータ
１６信号処理部

Claims

撮像手段と、
この撮像手段に連続して撮像するよう制御する連続撮像制御手段と、
前記撮像手段によって撮像される画像の記録指示を検出する記録指示検出手段と、
前記連続撮像制御手段により連続して撮像される画像データに含まれる被写体の動きを撮影状況として取得する撮影状況取得手段と、
この撮影状況取得手段により取得された撮影状況に基づいて、前記連続撮像制御手段が制御する撮像時間間隔を変更する変更手段と、
前記記録指示検出手段により記録指示が検出されたタイミングに基づいて、前記変更手段により撮像時間間隔が変更されて連続撮像制御手段により撮像された複数の画像データを蓄積する蓄積手段と、
前記撮影状況に応じたタイムラグ補正値を取得するタイムラグ補正値取得手段と、
前記タイムラグ補正値取得手段により取得されたタイムラグ補正値に基づいて、前記蓄積手段により蓄積された複数の画像データの中から、特定の画像データを選択する選択手段と、
を備えたことを特徴とする撮像装置。
撮影環境の明るさを取得する明るさ取得手段を更に備え、
前記変更手段は、前記明るさ取得手段により取得された明るさに基づいて最も短い撮像時間間隔に変更することを特徴とする請求項１に記載の撮像装置。
前記蓄積手段は、
前記記録指示検出手段により記録指示が検出されたタイミングの前後、タイミング以前、又は、タイミング以後の少なくとも何れかにより、複数の画像データの蓄積を開始することを特徴とする請求項１又は２に記載の撮像装置。
前記特定の画像データを表示する表示手段を更に備えたことを特徴とする請求項１乃至３の何れかに記載の撮像装置。
前記特定の画像データを記録する記録手段を更に備えたことを特徴とする請求項１乃至４の何れかに記載の撮像装置。
撮像部に対して連続して撮像するよう制御する連続撮像制御ステップと、
前記撮像部にて撮像される画像の記録指示を検出する記録指示検出ステップと、
前記連続撮像制御ステップにて連続して撮像される画像データに含まれる被写体の動きを撮影状況として取得する撮影状況取得ステップと、
この撮影状況取得ステップにて取得された撮影状況に基づいて、前記連続撮像制御ステップにて制御する撮像時間間隔を変更する変更ステップと、
前記記録指示検出ステップにて記録指示が検出されたタイミングに基づいて、前記変更ステップにて撮像時間間隔が変更されて連続撮像制御ステップにて撮像された複数の画像データを所定のメモリに蓄積する蓄積ステップと、
前記撮影状況に応じたタイムラグ補正値を取得するタイムラグ補正値取得ステップと、
前記タイムラグ補正値取得ステップにて取得されたタイムラグ補正値に基づいて、前記蓄積ステップにて蓄積された複数の画像データの中から、特定の画像データの選択を検出する選択検出ステップと、
を含むことを特徴とする画像選択方法。
撮像装置が有するコンピュータを、
連続して撮像するよう制御する連続撮像制御手段、
撮像される画像の記録指示を検出する記録指示検出手段、
前記連続撮像制御手段によって連続して撮像される画像データに含まれる被写体の動きを撮影状況として取得する撮影状況取得手段、
この撮影状況取得手段によって取得された撮影状況に基づいて、前記連続撮像制御手段によって制御する撮像時間間隔を変更する変更手段、
前記記録指示検出手段によって記録指示が検出されたタイミングに基づいて、前記変更手段によって撮像時間間隔が変更され連続撮像制御手段によって撮像された複数の画像データを所定のメモリに蓄積する蓄積手段、
前記撮影状況に応じたタイムラグ補正値を取得するタイムラグ補正値取得手段、
前記タイムラグ補正値取得手段によって取得されたタイムラグ補正値に基づいて、前記蓄積手段によって蓄積された複数の画像データの中から、特定の画像データの選択を検出する選択検出手段、
として機能させることを特徴とするプログラム。