JP5835207B2 - 撮像装置、撮像制御方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、撮像制御方法、及びプログラムに関する。

従来より、インターバル撮影機能を有する撮像装置が存在する。このような撮像装置においては、シャッターボタンを押すこと無く、一定の時間間隔で自動的に撮影する。このため、撮影者は、全て撮影した後、記録画像の確認の段階で、撮影に失敗した画像（ぶれていたり、水平でなかったりする画像）があることに気づくことが多い。そして、失敗した画像が存在した場合、その画像を削除してしまうと、時間的な連続性が失われてしまうことがあるため、極力、失敗画像を取得しないようにする技術が提案されている。

例えば、特許文献１に記載された発明技術では、インターバル撮影中において、撮影する度に、撮影した画像が失敗したものか否かを判断し、失敗したと判断した場合には、撮影条件を変更して再撮影することで、失敗画像をなくすようにしている。

特開２００９−００５０５８号公報

しかしながら、上述した従来技術においては、インターバル撮影中に失敗したか否かを判断する処理が入る為、その処理結果を待つ間でタイムラグが発生する。特にこの判断処理が長い場合、その分、インターバル撮影における時間的連続性を失うことになるという問題があった。

そこで本発明は、インターバル撮影において時間的な連続性を失うことなく、かつ、失敗画像の記録をなくすことができる撮像装置、撮像制御方法、及びプログラムを提供することを目的とする。

この発明は、撮像手段と、この撮像手段に対し、周期的な撮像タイミングで、そのタイミング毎に複数枚の画像を取得するよう制御する撮影制御手段と、この撮影制御手段による制御に従って前記複数枚の画像が前記撮像手段により撮像されたときの撮像状態を前記撮像タイミング毎に検出する検出手段と、この検出手段により検出された前記撮像タイミングでの撮像状態に基づいて、前記撮影制御手段によって取得された複数枚の画像の中から撮影された記録すべき撮像画像を、前記撮影タイミング毎に選択する選択手段とを備えることを特徴とする撮像装置である。

この発明は、撮像手段に対し、周期的な撮像タイミングで、そのタイミング毎に複数枚の画像を取得するよう制御するステップと、前記複数枚の画像が前記撮像手段により撮像されたときの撮像状態を前記撮像タイミング毎に検出するステップと、前記検出された前記撮像タイミングでの撮像状態に基づいて、前記複数枚の画像の中から撮影された記録すべき撮像画像を、前記撮影タイミング毎に選択するステップとを含むことを特徴とする撮像制御方法である。

この発明は、コンピュータに、撮像手段に対し、周期的な撮像タイミングで、そのタイミング毎に複数枚の画像を取得するよう制御する撮影制御機能、この撮影制御手段による制御に従って前記複数枚の画像が前記撮像手段により撮像されたときの撮像状態を前記撮像タイミング毎に検出する検出機能、この検出機能により検出された前記撮像タイミングでの撮像状態に基づいて、前記撮影制御手段によって取得された複数枚の画像の中から撮影された記録すべき撮像画像を、前記撮影タイミング毎に選択する選択機能を実行させることを特徴とするプログラムである。

この発明によれば、インターバル撮影において時間的な連続性を失うことなく、かつ、失敗画像の記録をなくすことができるという利点が得られる。

本発明の実施形態による撮像装置の構成を示すブロック図である。 本実施形態の撮像装置１によるインターバル撮影時の動作を説明するためのフローチャートである。 本実施形態の撮像装置１によるインターバル静止画撮影動作（ステップＳ２４）を説明するためのフローチャートである。 本実施形態の撮像装置１によるインターバル静止画撮影動作（ステップＳ２４）を説明するためのタイムチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．実施形態の構成
図１は、本発明の実施形態による撮像装置の構成を示すブロック図である。図において、撮像装置１は、通信制御部１０、撮像部１１、画像処理部１４、加速度センサ１７、外部メモリ１８、フラッシュメモリ１９、ＳＤＲＡＭ２０、ＣＰＵ２１、キー操作部２２、音声制御部２３、スピーカ２４、マイク２５、電源（バッテリ）２６、及び電源制御部２７を備えている。

通信制御部１０は、撮像された画像データを、インターネット上のサーバや、インターネットを介して個人のパーソナルコンピュータなどの情報処理装置などに転送する。撮像部１１は、光学レンズ群からなるレンズブロック１２と、ＣＣＤや、ＣＭＯＳなどの撮像素子１３とを備えている。撮像素子１３は、レンズブロック１２から入った画像をデジタル信号に変換する。画像処理回路１４は、画像データに対して、画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭｏｔｉｏｎ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）を実行する。

加速度センサ１７は、例えば、３軸加速度センサなどからなり、当該撮像装置１の動きを検出する。外部メモリ１８は、着脱可能な記録媒体であり、撮像部１１によって撮像された画像データなどを保存する。フラッシュメモリ１９は、撮像部１１によって撮像された画像データなどを保存しておく記録媒体である。ＳＤＲＡＭ２０は、撮像部１１によって撮像された後、ＣＰＵ２１に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ２１のワーキングメモリとして使用される。

ＣＰＵ２１は、頭部装着型の撮像装置１の各部を制御するワンチップマイコンであり、撮像部１１による静止画撮影、動画の録画開始／停止、静止画撮影と動画撮影の切り替えなどを行う。特に、本実施形態では、ＣＰＵ２１は、インターバル撮影時に、１回毎の撮影で複数枚の撮影を行うとともに、該複数枚の撮影のそれぞれで加速度センサ１７のデータ（撮像装置１の動き）を取得し、撮像画像と加速度センサ１７のデータとを紐付けて記録しておき、複数枚の撮影後に、複数枚の撮像画像の中から、最も仰角が水平に近い画像を選択し、最終的な撮像画像として保存することで、無意味な画像を減らすようになっている。

キー操作部２２は、ユーザのタッチ操作に応じて、動作モードや、撮影開始、一時停止、停止などの動作指示などを入力する。音声制御部２３は、ＣＰＵ１３の制御に従って、撮像動画再生時の音声（報知音等）をアナログ信号に変換し、スピーカ２４から出力する一方、動画撮像時にマイク２５によって集音した環境音をデジタル化して取り込む。電源（バッテリ）２６は、充電式の二次電池である。電源制御部２７は、電源（バッテリ）２６の出力電圧を安定化し、各部に駆動用電力を供給する。

Ｂ．実施形態の動作
次に、本実施形態の動作について説明する。
図２は、本実施形態の撮像装置１によるインターバル撮影時の動作を説明するためのフローチャートである。ユーザが撮像装置１のキー操作部２２を操作してインターバルモードにすると、撮像装置１のＣＰＵ２１は、インターバルタイマを起動し、図２に示すフローチャートを実行する。インターバルタイマは、インターバル撮影するための時間間隔を計時するためのタイマである。また、インターバルモードでは、基本的に、インターバル撮影するまでは、省電力のため、撮像素子１３の駆動等を停止する。

ＣＰＵ２１は、まず、予め規定された、インターバル撮影設定時間（Ｘ秒）に達したか否かを判断する（ステップＳ１０）。そして、インターバル撮影設定時間（Ｘ秒）に達するまでは（ステップＳ１０でＮＯ）、ステップＳ１０を繰り返すことで待機する。一方、インターバル撮影設定時間（Ｘ秒）に達すると（ステップＳ１０でＹＥＳ）、ＣＰＵ２１は、撮像素子１３を起動し（ステップＳ１２）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）／ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂｌａｎｃｅ）等の追従計測を開始する（ステップＳ１４）。

なお、インターバル撮影設定時間が、５分、１０分、１２分等、３０秒以上程度の場合には、撮像素子１３を停止（スリープ）した方が省電力となるが、インターバル撮影設定時間が、５秒や、１０秒程度の短い間隔の場合には、常に、撮像素子１３を起動しておき、ＡＥ／ＡＷＢを常に追従としてもよい。

次に、ＣＰＵ２１は、ＡＥ／ＡＷＢ計測が完了したか否かを判断する（ステップＳ１６）。一般的に、ＡＥ／ＡＷＢ計測は、数フレームの確認にて追従が完了するため、３０ｆｐｓ／ｓｅｃの場合には、０．５秒もあれば完了する。そして、ＡＥ／ＡＷＢ計測が完了した場合には（ステップＳ１６でＹＥＳ）、そのＡＥ／ＡＷＢが判断した情報には信頼性があり、それらの計測結果出力である、光源情報、色情報、明るさ情報等に基づいて、シーン判断が可能となるため、ＣＰＵ２１は、画質調整用のシーン判断実行フラグをＯＮとする（ステップＳ１８）。

一方、ＡＥ／ＡＷＢ計測が完了していない場合には（ステップＳ１６でＮＯ）、ＣＰＵ２１は、ＡＥ／ＡＷＢ計測開始から規定の時間（２秒程度）が過ぎたか否かを判断する（ステップＳ２０）。そして、規定の時間（２秒程度）が過ぎていない場合には（ステップＳ２０でＮＯ）、ステップＳ１４に戻り、ＡＥ／ＡＷＢ計測を継続する。この場合、規定の時間（２秒程度）が過ぎる前に、ＡＥ／ＡＷＢ計測が完了すれば（ステップＳ１６でＹＥＳ）、上述したように、ＣＰＵ２１は、画質調整用のシーン判断実行フラグをＯＮとする（ステップＳ１８）。

一方、ＡＥ／ＡＷＢ計測が完了せずに、規定の時間（２秒程度）が過ぎた場合には（ステップＳ２０でＹＥＳ）、ＣＰＵ２１は、画質調整用のシーン判断実行フラグをＯＦＦとする（ステップＳ２２）。例えば、撮像装置１がウエアラブルカメラなどの場合には、撮像装置１の位置が安定しないことが想定され、ＡＥ／ＡＷＢが安定しないことが予想される。この場合、２秒程度の規定の時間が経過しても、ＡＥ／ＡＷＢ計測が完了しない場合には、シーン判断実行フラグをＯＦＦとする。

次に、ＣＰＵ２１は、インターバル静止画撮影を行い（ステップＳ２４）、シーン毎の画像処理を施す（ステップＳ２６）。すなわち、シーン判断実行フラグがＯＮの場合には、シーン判断を画質調整に使用し、シーン判断実行フラグがＯＦＦの場合には、シーン判断を画質調整に使用しないとしたことで、シーン判断の誤検出を回避する。その後、インターバル静止画撮影で撮影された、最終的な撮像画像を保存する（ステップＳ２８）。次に、撮像素子１３を停止し、インターバルタイマをリセットし（ステップＳ３０）、インターバル撮影の終了指示操作があったか否かを判断する（ステップＳ３２）。そして、インターバル撮影の終了指示操作がなかった場合には（ステップＳ３２でＮＯ）、ステップＳ１０に戻り、上述した処理を繰り返す。一方、ンターバル撮影の終了指示操作があった場合には、当該処理を終了する。

図３は、本実施形態の撮像装置１によるインターバル静止画撮影動作（ステップＳ２４）を説明するためのフローチャートである。まず、ＣＰＵ２１は、露光開始直前に、加速度センサ１７のデータを取得し（ステップＳ４０）、露光を行い（ステップＳ４２）、露光終了直後にも、加速度センサ１７のデータを取得する（ステップＳ４４）。この動作を１枚の撮影とする。次に、ＣＰＵ２１は、規定の撮影枚数（Ｎ枚、例えば５枚）の撮影が完了したか否かを判断する（ステップＳ４６）。

そして、規定の枚数（Ｎ枚、例えば５枚）の撮影が完了していない場合には（ステップＳ４６でＮＯ）、所定の時間Ｔμｓｅｃだけ時間待ちし（ステップＳ４８）、ステップＳ４０に戻り、次の撮影を行う。このようにして、規定の枚数（Ｎ枚、例えば５枚）の撮影を行う。各撮影画像には、撮影直後の加速度センサのデータが紐付けられる。一例として、歩行動作を撮影した場合には、４００μｓｅｃ毎に５枚撮影を行うと、左右１歩ずつ２歩を網羅することができる。撮影時間は、２秒間程度となる。

そして、規定の枚数（Ｎ枚、例えば５枚）の撮影が完了すると（ステップＳ４６でＹＥＳ）、ＣＰＵ２１は、全て（Ｎ枚）の撮影画像において、地面や空が画角の大半を占める画像を避けるため、撮影直前の加速度センサのデータから、仰角が水平に近い順を判断する（ステップＳ５０）。次に、ＣＰＵ２１は、規定の仰角内の画像があるか否かを判断する（ステップＳ５２）。そして、仰角が規定内に収まる画像がない場合には（ステップＳ５２でＮＯ）、最も水平に近い画像をインターバル撮影の撮像画像として決定（選択）する（ステップＳ５４）。その後、図３のルーチンに戻る。

一方、規定の仰角内の画像がある場合には（ステップＳ５２でＹＥＳ）、露光前後の加速度センサ１７のデータ（撮像装置１の動き）を比較し、露光中に、より撮像装置１の動きの少ない画像をインターバル撮影の撮像画像として決定（選択）する（ステップＳ５６）。その後、図３のルーチンに戻る。また、顔が写っているもの、笑顔のもの、目をつぶっていない、被写体がぶれていない等の画像評価を、選択のための加点（重み付け）としてもよい。

図４は、本実施形態の撮像装置１によるインターバル静止画撮影動作（ステップＳ２４）を説明するためのタイムチャートである。最上段には、インターバル撮影間隔を示しており、予め定められたインターバル撮影設定時間（Ｘ秒間隔）でインターバル撮影３０、３０、３０、３０、…が行われることが分かる。中段には、１度のインターバル撮影で、Ｔμｓｅｃ間隔で静止画露光３１−１、３１−２、３１−３、３１−４、３１−５を行い、複数枚（５枚）の静止画を撮影することを示している。その下には、加速度センサ１７のデータ４０を示しており、矢印部分が、各撮影画像の撮影直後にサンプリングされる加速度センサ１７のデータである。そして、最下段には、最も水平である画像（図３のステップＳ５４）、または、最も動きの少ない画像（図３のステップＳ５６）を最終的な撮像画像５０として決定（選択）することを示している。

なお、上述した実施形態においては、撮像装置１の動きや姿勢を、加速度センサ１７により検出するようしたが、これに限らず、撮像装置１の動きや姿勢を検出する加速度センサ１７に代えて、撮像装置１の水平方向を検出するセンサであってもよい。この場合、より水平である画像を、最終的な撮像画像として選択すればよい。

また、上述した実施形態においては、撮像装置１の動きや姿勢を、加速度センサ１７により検出するようしたが、これに限らず、画像解析によって、動きの少ない画像（ぶれていない画像）や、より水平である画像を、最終的な撮像画像として選択するようにしてもよい。

上述した実施形態によれば、インターバル撮影において、周期的な撮像タイミングで、そのタイミング毎に複数枚の画像を撮像部１１で撮像するとともに、複数枚の画像の各々が撮像部１１により撮像されたときの撮像状態を検出し、検出された撮像状態に基づいて、複数枚の画像の中から、前記周期的な撮像タイミングで撮影された記録すべき撮像画像を選択するようにしたので、時間的な連続性を失うことなく、かつ、失敗画像の記録をなくすことができる。

また、上述した実施形態によれば、撮像状態として、複数枚の画像が撮像部１１により撮像されたときの当該撮像装置１の姿勢状態を検出するようにしたので、該姿勢状態に基づいて、複数枚の画像の中から記録すべき撮像画像を容易に選択することができ、時間的な連続性を失うことなく、かつ、失敗画像の記録をなくすことができる。

また、上述した実施形態によれば、複数枚の画像のうち、各画像が撮像部１１により撮像されたときの前後で加速度センサ１７からの出力変化が最も少ない画像を、記録すべき撮像画像として選択するようにしたので、複数枚の画像の中から記録すべき撮像画像を容易に選択することができ、時間的な連続性を失うことなく、かつ、失敗画像の記録をなくすことができる。

また、上述した実施形態によれば、複数枚の画像のうち、各画像が撮像部１１により撮像されたときの前後でセンサからの出力が最も水平に近い画像を、記録すべき撮像画像として選択するようにしたので、複数枚の画像の中から記録すべき撮像画像を容易に選択することができ、時間的な連続性を失うことなく、かつ、失敗画像の記録をなくすことができる。

また、上述した実施形態によれば、画像解析によって、動きの少ない画像（ぶれていない画像）や、より水平である画像を、記録すべき撮像画像として選択するようにしたので、複数枚の画像の中から記録すべき撮像画像を容易に選択することができ、時間的な連続性を失うことなく、かつ、失敗画像の記録をなくすことができる。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
付記１に記載の発明は、撮像手段と、この撮像手段に対し、周期的な撮像タイミングで、そのタイミング毎に複数枚の画像を取得するよう制御する撮影制御手段と、この撮影制御手段による制御に従って、前記複数枚の画像が前記撮像手段により撮像されたときの撮像状態を検出する検出手段と、この検出手段により検出された撮像状態に基づいて、前記撮影制御手段によって取得された複数枚の画像の中から、前記周期的な撮像タイミングで撮影された記録すべき撮像画像を選択する選択手段とを備えることを特徴とする撮像装置である。

（付記２）
付記２に記載の発明は、前記検出手段は、前記撮像状態として、前記複数枚の画像が前記撮像手段により撮像されたときの当該撮像装置の姿勢状態を検出することを特徴とする付記１に記載の撮像装置である。

（付記３）
付記３に記載の発明は、前記検出手段は、当該撮像装置の動きを検出する加速度センサを含み、前記選択手段は、前記複数枚の画像のうち、各画像が前記撮像手段により撮像されたときの前後で前記加速度センサからの出力変化が最も少ない画像を、記録すべき撮像画像として選択することを特徴とする付記２に記載の撮像装置である。

（付記４）
付記４に記載の発明は、前記検出手段は、当該撮像装置の水平方向を検出するセンサを含み、前記選択手段は、前記複数枚の画像のうち、各画像が前記撮像手段により撮像されたときの前後で前記センサからの出力が最も水平に近い画像を、記録すべき撮像画像として選択することを特徴とする付記２に記載の撮像装置である。

（付記５）
付記５に記載の発明は、前記検出手段は、前記撮像状態として、前記撮像手段により撮像された前記複数枚の画像の各々の画像状態を検出することを特徴とする付記２に記載の撮像装置である。

（付記６）
付記６に記載の発明は、前記検出手段は、前記複数枚の画像の各々の画像状態を検出する画像処理手段を含み、前記選択手段は、前記複数枚の画像のうち、前記画像処理手段によって画像状態の変化が最も少ないと検出された画像を、記録すべき撮像画像として選択することを特徴とする付記５に記載の撮像装置である。

（付記７）
付記７に記載の発明は、撮像手段に対し、周期的な撮像タイミングで、そのタイミング毎に複数枚の画像を取得するよう制御するステップと、前記複数枚の画像が前記撮像手段により撮像されたときの撮像状態を検出するステップと、前記検出された撮像状態に基づいて、前記取得された複数枚の画像の中から、前記周期的な撮像タイミングで撮影された記録すべき撮像画像を選択するステップとを含むことを特徴とする撮像制御方法である。

（付記８）
付記８に記載の発明は、コンピュータに、撮像手段に対し、周期的な撮像タイミングで、そのタイミング毎に複数枚の画像を取得するよう制御する撮影制御機能、この撮影制御機能による制御に従って、前記複数枚の画像が前記撮像手段により撮像されたときの撮像状態を検出する検出機能、この検出機能により検出された撮像状態に基づいて、前記撮影制御機能によって取得された複数枚の画像の中から、前記周期的な撮像タイミングで撮影された記録すべき撮像画像を選択する選択機能を実行させることを特徴とするプログラムである。

１ 撮像装置
１０ 通信制御部
１１ 撮像部
１２ レンズブロック
１３ 撮像素子
１４ 画像処理部
１７ 加速度センサ
１８ 外部メモリ
１９ フラッシュメモリ
２０ ＳＤＲＡＭ
２１ ＣＰＵ
２２ キー操作部
２３ 音声制御部
２４ スピーカ
２５ マイク
２６ 電源（バッテリ）
２７ 電源制御部

Claims (9)

1. 撮像手段と、
   この撮像手段に対し、周期的な撮像タイミングで、そのタイミング毎に複数枚の画像を取得するよう制御する撮影制御手段と、
   この撮影制御手段による制御に従って前記複数枚の画像が前記撮像手段により撮像されたときの撮像状態を前記撮像タイミング毎に検出する検出手段と、
   この検出手段により検出された前記撮像タイミングでの撮像状態に基づいて、前記撮影制御手段によって取得された複数枚の画像の中から撮影された記録すべき撮像画像を、前記撮影タイミング毎に選択する選択手段と
   を備えることを特徴とする撮像装置。
2. 前記周期的な撮像タイミングで撮像された画像について計測する計測手段と、
   この計測手段の計測に要する時間が所定の時間を越えるか否かを判断する判断手段と、
   を備え、
   前記撮影制御手段は、前記判断手段により前記所定の時間を越えないと判断すると、画質調整を行ってから複数枚の画像を取得するよう制御する一方、前記所定の時間を越えると判断すると前記画質調整を行わずに前記複数枚の画像を取得するよう制御することを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は、前記撮像状態として、前記複数枚の画像が前記撮像手段により撮像されたときの当該撮像装置の姿勢状態を検出する
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記検出手段は、当該撮像装置の動きを検出する加速度センサを含み、
   前記選択手段は、前記複数枚の画像のうち、各画像が前記撮像手段により撮像されたときの前後で前記加速度センサからの出力変化が最も少ない画像を、記録すべき撮像画像として選択する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記検出手段は、当該撮像装置の水平方向を検出するセンサを含み、
   前記選択手段は、前記複数枚の画像のうち、各画像が前記撮像手段により撮像されたときの前後で前記センサからの出力が最も水平に近い画像を、記録すべき撮像画像として選択する
   ことを特徴とする請求項３に記載の撮像装置。
6. 前記検出手段は、前記撮像状態として、前記撮像手段により撮像された前記複数枚の画像の各々の画像状態を検出する
   ことを特徴とする請求項３に記載の撮像装置。
7. 前記検出手段は、前記複数枚の画像の各々の画像状態を検出する画像処理手段を含み、
   前記選択手段は、前記複数枚の画像のうち、前記画像処理手段によって画像状態の変化が最も少ないと検出された画像を、記録すべき撮像画像として選択する
   ことを特徴とする請求項６に記載の撮像装置。
8. 撮像手段に対し、周期的な撮像タイミングで、そのタイミング毎に複数枚の画像を取得するよう制御するステップと、
   前記複数枚の画像が前記撮像手段により撮像されたときの撮像状態を前記撮像タイミング毎に検出するステップと、
   前記検出された前記撮像タイミングでの撮像状態に基づいて、前記複数枚の画像の中から撮影された記録すべき撮像画像を、前記撮影タイミング毎に選択するステップと
   を含むことを特徴とする撮像制御方法。
9. コンピュータに、
   撮像手段に対し、周期的な撮像タイミングで、そのタイミング毎に複数枚の画像を取得するよう制御する撮影制御機能、
   この撮影制御機能による制御に従って前記複数枚の画像が前記撮像手段により撮像されたときの撮像状態を前記撮像タイミング毎に検出する検出機能、
   この検出機能により検出された前記撮像タイミングでの撮像状態に基づいて、前記撮影制御機能によって取得された複数枚の画像の中から撮影された記録すべき撮像画像を、前記撮影タイミング毎に選択する選択機能
   を実行させることを特徴とするプログラム。

Images