JP5817858B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来より、例えば、植物の成長等の被写体の様子を所定間隔で撮影し、間欠的に撮影した時間軸を短縮して１つの動画としたタイムラプス動画が知られている。このようなタイムラプス動画の生成方法は、従来、特許文献１に開示されているように、所定の撮影間隔で撮影された複数の静止画像をつなげることで行われている。

特開２０１０−１６５９９号公報

しかしながら、静止画を撮影するために一定の時間を必要とし、撮影間隔の短い撮影ごとに画像を取得することは困難であるという問題がある。

本発明は、このような状況に鑑みてなされたものであり、撮影間隔によらず画像を適切に取得することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、
動画を撮影する動画撮影手段による撮影中の動画から、所定の撮影間隔ごとに動画を構成する画像を間引いて取り込む第１の画像取込手段と、
所定の撮影間隔ごとに静止画を撮影する静止画撮影手段により撮影される静止画を、取り込む第２の画像取込手段と、
設定された撮影間隔ごとにタイムラプス動画を生成するための画像を取得する方法として、前記設定された撮影間隔に応じて、前記第１の画像取込手段と前記第２の画像取込手段のうちのいずれかを選択する選択手段と、
を備えることを特徴とする。

本発明によれば、撮影状況によらずタイムラプス動画を適切に生成することができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本実施形態のタイムラプス動画の生成方法を示す概念図である。 図１の撮像装置の機能的構成のうち、タイムラプス動画生成処理を実行するための機能的構成を示す機能ブロック図である。 撮影シーンテーブルを説明するための図である。 図３の機能的構成を有する図１の撮像装置が実行するタイムラプス動画生成処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「画像のデータ」と呼ぶ。画像のデータは、所定の信号処理を経て、静止画像又は動画を構成する単一画像であるフレーム画像として、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１においては、タイムラプス動画を生成する機能を有する。「タイムラプス動画」とは、所定の時間軸において、所定間隔の撮影で取得した画像（以下、「構成画像」という。）を１つの時間軸で短縮した動画である。

また、本実施形態の撮像装置１は、動画の撮影により得られるフレーム画像を構成画像とする動画ベースの生成手法と、静止画の撮影により得られる静止画像を構成画像とする静止画ベースの生成手法の異なる生成手法でタイムラプス動画を生成することができる機能を有する。

従来より広く利用されている通常の動画撮影の技術を応用して、動画を撮影して取得したフレーム画像を構成画像とするタイムラプス動画（以下、単に「動画ベースのタイムラプス動画」という。）は、高速な処理が可能となるため撮影間隔を短くすることができるという特性がある。また、この特性を利用することで、例えば、動きが速い自動車のように撮影画面からすぐに消えてしまうようなシーンを撮影する場合や、比較的遅い動きの人物を被写体とするシーンを撮影する場合であっても、再生時の動きがカクカクし過ぎることのないタイムラプス動画を生成することができる。

これに対して、従来より広く利用されている通常の静止画撮影の技術を応用して、静止画像を構成画像とするタイムラプス動画（以下、単に「静止画ベースのタイムラプス動画」という。）は、通常の動画撮影技術を応用する「動画ベースのタイムラプス動画」ほどの高速な処理はできない反面、高画質なタイムラプス動画とすることができる特性がある。

ここで、本実施形態の動画ベース及び静止画ベースそれぞれのタイムラプス動画の生成方法について説明する。
図２は、本実施形態のタイムラプス動画の生成方法を示す概念図である。

動画ベースのタイムラプス動画は、所定間隔毎に１フレーム分の動画を撮影して得たフレーム画像である構成画像群を連結圧縮等の動画処理をして生成される。
具体的には、例えば、１／５秒間隔のタイムラプス動画を生成する場合には、図２に示すように、１／５秒おきに動画の撮影を行って取得した４つのフレーム画像を構成画像としてタイムラプス動画を生成する。即ち、１フレーム毎に撮影と撮影停止を繰り返して、１／５秒が１フレームとなるフレーム画像を４つ取得し、取得した４つのフレーム画像を構成画像として、撮影停止している時間分を圧縮することにより１つのタイムラプス動画として生成される。
なお、動画ベースのタイムラプス動画では、１フレームに相当する間隔、撮影と撮影停止を繰り返して取得したフレーム画像を構成画像とするために、フレームレートを変更することで、撮影間隔の調整を行うことができる。

動画ベースのタイムラプス動画は、別の概念で捉えると、動画を撮り続けた場合のフレーム画像を間引いた残りのフレーム画像を詰めて連結する形で生成する。即ち、動画ベースのタイムラプス動画は、一連の動画から間引いて取り込まれた動画の間隔を圧縮することで生成することができる。

本実施形態の撮像装置１においては、上述したような生成手法で、短い撮影間隔が可能な動画ベースのタイムラプス動画を生成することができる。

また、静止画ベースのタイムラプス動画は、所定の間隔で撮影した静止画像を構成画像として、それぞれの静止画像を連結して生成される。
具体的には、静止画ベースのタイムラプス動画は、例えば、１秒間隔のタイムラプス動画の場合には、１秒おきに撮影をした４つの静止画像を構成画像として、連結することにより生成される。

本実施形態の撮像装置１においては、上述したような生成手法で、動画ベースのタイムラプス動画に比べて高画質な静止画ベースのタイムラプス動画を生成することができる。

本実施形態の撮像装置１においては、このようなベースの異なるタイムラプス動画の特性を加味して、撮影シーンに応じて、生成方法を変えてタイムラプス動画を生成する。

図３は、このような撮像装置１の機能的構成のうち、タイムラプス動画生成処理を実行するための機能的構成を示す機能ブロック図である。
タイムラプス動画生成処理とは、設定した撮影シーンに応じて、動画ベース又は静止画ベースのタイムラプス動画を生成する一連の処理をいう。

タイムラプス動画生成処理は、図３に示すように、ＣＰＵ１１において、撮影シーン設定部５１と、撮影制御部５２と、構成画像取得部５３と、タイムラプス動画生成部５４と、が機能する。

また、記憶部１９の一領域には、撮影条件情報記憶部７１と、構成画像記憶部７２と、タイムラプス動画記憶部７３と、が設定される。

撮影条件情報記憶部７１には、タイムラプス動画に必要な撮影条件の情報（以下、「撮影条件情報」という。）が記憶される。撮影条件情報は、具体的には、撮影シーンに対応した撮影間隔、露出時間、タイムラプス動画の再生時間等の情報である。
本実施形態においては、撮影条件情報記憶部７１には、撮影条件情報を示した撮影シーンテーブルが記憶される。

ここで、撮影シーンテーブルについて説明する。図４は、撮影シーンテーブルを説明するための図である。

撮影シーンテーブルは、図４に示すように、「撮影シーンＮｏ．」に、「撮影シーンタイトル」，タイムラプス動画の生成方法を示す「生成方法」，初期設定における撮影間隔を示す「初期撮影間隔」が対応付けられている。

それぞれ、撮影シーンの特性を加味して、「生成方法」及び「初期撮影間隔」が設定されている。
具体的には、撮影シーンのうち、「生成方法」が静止画ベースのものは、「スタンダード」，「星空」乃至「カスタム」であり、「生成方法」が動画ベースのものは、「雲」乃至「パーティ」である。
したがって、撮像装置１では、撮影シーンに応じた生成方法が選択されることで、撮影シーンに適したタイムラプス動画を生成することができる。

図３に戻り、構成画像記憶部７２には、タイムラプス動画を構成するフレーム画像や静止画像である構成画像が記憶される。本実施形態においては、撮像部１６から出力された動画像や静止画像が記憶される。

タイムラプス動画記憶部７３には、生成した動画ベース又は静止画タイムラプス動画のデータが記憶される。

撮影シーン設定部５１は、ユーザにより選択された撮影シーンに基づいて、撮影条件情報記憶部７１に記憶される撮影シーンテーブルを参照して、撮影シーンに応じたパラメータを設定する。
具体的には、撮影シーン設定部５１は、図４に示すような撮影シーンテーブルを参照して、タイムラプス動画の生成方法、撮影間隔、撮影期間等のパラメータを設定する。

撮影制御部５２は、撮影シーン設定部５１により設定されたパラメータに基づいて、撮像部１６を制御する。
撮影制御部５２は、動画ベースのタイムラプス動画の生成方法である場合には、設定された撮影間隔で動画の撮影を行ってフレーム画像を出力し、静止画ベースのタイムラプス動画の生成方法である場合には、設定された撮影間隔で撮影された静止画像を出力するように撮像部１６を制御する。

構成画像取得部５３は、撮像部１６から出力されたフレーム画像や静止画像を構成画像として取得する。そして、構成画像取得部５３は、構成画像記憶部７２に記憶させる。

タイムラプス動画生成部５４は、構成画像記憶部７２に記憶される構成画像に動画処理を施して、静止画ベース又は動画ベースのタイムラプス動画を生成する。そして、タイムラプス動画生成部５４は、生成したタイムラプス動画をタイムラプス動画記憶部７３に記憶させる。ここで、動画処理とは、静止画像やフレーム画像の画像を撮影間隔ごとに取得する度に、取得した画像を、逐次撮影を停止している時間分を時間的に圧縮して最終時系列の構成画像群として動画化する処理であり、その後、ヘッダやＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ Ｆｏｒｍａｔ）領域に付加情報を追加する等して、動画化した構成画像群を１つの動画ファイルとして扱えるようにファイル化して、静止画ベース又は動画ベースのタイムラプス動画を生成する処理である。

図５は、図３の機能的構成を有する図１の撮像装置１が実行するタイムラプス動画生成処理の流れを説明するフローチャートである。
タイムラプス動画生成処理は、ユーザによる入力部１７へのタイムラプス動画生成処理開始の操作により開始される。

ステップＳ１１において、撮影シーン設定部５１は、ユーザにより入力部１７を介した撮影シーンの選択を受け付ける。

ステップＳ１２において、撮影シーン設定部５１は、撮影条件情報記憶部７１に記憶される撮影シーンテーブル（図４）を参照して、ユーザにより選択された撮影シーンに応じたパラメータに設定する。

ステップＳ１３において、撮影シーン設定部５１は、ユーザにより入力部１７を介した設定された撮影シーンのパラメータの変更を受け付ける。
但し、静止画ベースにおける撮影間隔の変更では、対応できない１秒未満への変更は禁止する。

ステップＳ１４において、撮影制御部５２は、ユーザにより入力部１７を介して撮影開始操作があったか否かを判定する。
撮影開始操作がない場合には、ステップＳ１４においてＮＯと判定されて、撮影開始操作があるまで待機状態となる。
撮影開始操作があった場合には、ステップＳ１４においてＹＥＳと判定されて、処理はステップＳ１５に進む。

ステップＳ１５において、撮影制御部５２は、選択された撮影シーンから、動画ベースのタイムラプス動画を生成するか否かを判定する。
動画ベースでない、静止画ベースの場合には、ステップＳ１５においてＮＯと判定されて、処理はステップＳ２１に進む。ステップＳ２１以降の処理については後述する。
動画ベースの場合には、ステップＳ１５においてＹＥＳと判定されて、処理はステップＳ１６に進む。

ステップＳ１６において、撮影制御部５２は、動画ベースのインターバル撮影を開始する。即ち、撮影制御部５２は、設定された撮影間隔で動画の撮影を行うようにインターバル撮影を開始する。
なお、図４の撮影シーンテーブルには記載していないが、パラメータの１である撮影間隔も選択された撮影シーンに応じて設定されるものとする。

ステップＳ１７において、構成画像取得部５３は、設定されている撮影間隔で、撮像部１６から動画（１フレームのフレーム画像）を取得する。

ステップＳ１８において、タイムラプス動画生成部５４は、取得したフレーム画像を構成画像として逐次動画化する。即ち、タイムラプス動画生成部５４は、撮影間隔ごとにフレーム画像を取得する度に、取得したフレーム画像を、逐次撮影を停止している時間分を圧縮して最終時系列の構成画像群として動画化する。その後、タイムラプス動画生成部５４は、動画化した複数のフレーム画像で構成される構成画像群を構成画像記憶部７２に記憶させる。

ステップＳ１９において、ＣＰＵ１１は、撮影が終了したか否かを判定する。即ち、ＣＰＵ１１は、入力部１７に対して、撮影を終了する操作がなされたか否かを判定する。
撮影が終了していない場合には、ステップＳ１９においてＮＯと判定されて、処理はステップＳ１７に戻り、ステップＳ１７及びＳ１８の処理を繰り返す。
これに対して、撮影が終了している場合には、ステップＳ１９においてＹＥＳと判定されて、処理はステップＳ２０に進む。

ステップＳ２０において、タイムラプス動画生成部５４は、時間的に圧縮して動画化した構成画像群をファイル化して、動画ベースのタイムラプス動画を生成する。即ち、タイムラプス動画生成部５４は、ヘッダやＥｘｉｆ領域に付加情報を追加する等して、動画化した構成画像群を１つの動画ファイルとして扱えるようにファイル化して、動画ベースのタイムラプス動画を生成する。そして、タイムラプス動画生成部５４は、生成した動画ベースのタイムラプス動画をタイムラプス動画記憶部７３に記憶させる。
その後、タイムラプス動画生成処理は終了する。

ステップＳ２１において、撮影制御部５２は、静止画ベースのインターバル撮影を開始する。即ち、撮影制御部５２は、設定された撮影間隔で静止画像の撮影を行うようにインターバル撮影を開始する。
なお、図４の撮影シーンテーブルには記載していないが、パラメータの１である撮影間隔も選択された撮影シーンに応じて設定されるものとする。

ステップＳ２２において、構成画像取得部５３は、設定されている撮影間隔で、撮像部１６から静止画像を取得する。

ステップＳ２３において、タイムラプス動画生成部５４は、取得した静止画像を構成画像として逐次動画化する。即ち、タイムラプス動画生成部５４は、撮影間隔ごとに静止画像を取得する度に、取得した静止画像を逐次連結して最終時系列の構成画像群として動画化する。その後、タイムラプス動画生成部５４は、動画化した複数の静止画像で構成される構成画像群を構成画像記憶部７２に記憶させる。

ステップＳ２４において、ＣＰＵ１１は、撮影が終了したか否かを判定する。即ち、ＣＰＵ１１は、入力部１７に対して、撮影を終了する操作がなされたか否かを判定する。
撮影が終了していない場合には、ステップＳ２４においてＮＯと判定されて、処理はステップＳ２２に戻り、ステップＳ２２及びＳ２３の処理を繰り返す。
これに対して、撮影が終了している場合には、ステップＳ２４においてＹＥＳと判定されて、処理はステップＳ２５に進む。

ステップＳ２５において、タイムラプス動画生成部５４は、連結して動画化した構成画像群をファイル化して、静止画ベースのタイムラプス動画を生成する。即ち、タイムラプス動画生成部５４は、ヘッダやＥｘｉｆ領域に付加情報を追加する等して、動画化した構成画像群を１つの動画ファイルとして扱えるようにファイル化して、静止画ベースのタイムラプス動画を生成する。そして、タイムラプス動画生成部５４は、生成した静止画ベースのタイムラプス動画をタイムラプス動画記憶部７３に記憶させる。
その後、タイムラプス動画生成処理は終了する。

したがって、撮像装置１においては、動画ベースと静止画ベースでは、構成画像の取得方法（ステップＳ１７、Ｓ２２）とタイムラプス動画の生成方法（ステップＳ１８、Ｓ２３）が異なるが、結果として生成されるファイル化された生成物は同等のものとなる。

また、撮像装置１においては、動きが速い自動車のように撮影画面からすぐに消えてしまうようなシーンを撮影する場合や、人物の動き等の比較的動きがゆるやかな被写体を撮るシーン等であっても効果的なタイムラプス動画が得られる場合の撮影間隔を１秒未満で撮影した方がよい撮影シーンの場合には、動画ベースの構成画像を用いることでタイムラプス動画が生成可能となる。また、１秒以上の撮影間隔となるノーマルな撮影シーンの場合には、静止画ベースのタイムラプス動画を生成する。
このように撮像装置１を構成することで、多くのシーンでタイムラプスを楽しむことができ、撮影シーンに適したタイムラプス画像を提供することができるようになる。

＜変形例＞
静止画ベースの別の特徴として、撮影間隔が長い場合には省電力処理が可能となる。即ち、撮影間隔が例えば１０秒以上の場合は、表示を消灯するスリープ処理を行い、更に長い１分以上の場合は、計時機能等の必要最小限の機能を除く機能の電源をオフすることで、省電力化が可能となる。

以上のように構成される撮像装置１は、撮影シーン設定部５１と、構成画像取得部５３と、タイムラプス動画生成部５４と、を備える。
撮影シーン設定部５１は、当該撮像装置の撮影状況又は撮影設定に応じて、影間隔を設定するとともに、この設定された撮影間隔で取り込まれる複数の画像からタイムラプス動画を生成する異なる生成方法を設定する。
構成画像取得部５３は、撮影シーン設定部５１により設定されたタイムラプス動画の生成方法に基づいて、タイムラプス動画を構成する複数の構成画像を取り込む。
タイムラプス動画生成部５４は、構成画像取得部５３により取り込まれる複数の構成画像を設定されたタイムラプス動画の生成方法に基づいて、タイムラプス動画を生成する。
したがって、撮像装置１においては、撮像装置の撮影状況又は撮影設定に応じて、異なるタイムラプス動画の生成方法を設定するために、撮影状況によらずタイムラプス動画を適切に生成することができる。

撮影シーン設定部５１は、撮影状況又は撮影設定として、設定された撮影条件情報が対応づけられている撮影シーンに応じて、タイムラプス動画の生成方法を設定する。
したがって、撮像装置１においては、撮影状況によらず、撮影シーンに応じてタイムラプス動画を適切に生成することができる。

また、撮像装置１において、タイムラプス動画の生成方法は、撮影中の動画から設定された撮影間隔ごとに動画を間引いて取り込んだ画像を用いる生成方法を含むように構成される。
したがって、撮像装置１においては、例えば、短い撮影間隔のタイムラプス動画が生成できる生成方法を選択可能であるため、撮影状況によらずタイムラプス動画を適切に生成することができる。また、従来より利用されている通常の動画撮影の技術を応用することができる。

また、撮像装置１において、タイムラプス動画の生成方法は、撮影間隔に応じて、フレームレートを変化させた動画を用いるように構成される。
したがって、撮像装置１においては、フレームレートを変化させることで撮影間隔を変更することができ、簡易に撮影間隔を変更できるタイムラプス動画を生成する生成方法を実現することができる。

また、撮像装置１において、タイムラプス動画の生成方法は、間引いて取り込まれた動画の間隔を圧縮することにより、タイムラプス動画を生成するように構成される。
したがって、撮像装置１においては、簡易に撮影間隔の短いタイムラプス動画を生成する生成方法を実現することができる。

また、撮像装置１において、タイムラプス動画の生成方法は、設定された撮影間隔ごとに静止画像を取り込むように構成される。
したがって、撮像装置１においては、高画質なタイムラプス動画を生成することができる。また、省電力制御を可能とする。また、従来より利用されている通常の静止画撮影の技術を応用することができる。

また、撮像装置１において、タイムラプス動画の生成方法は、取り込まれた複数の静止画像を連結させることにより、タイムラプス動画を生成するように構成される。
したがって、撮像装置１においては、簡易に高画質なタイムラプス動画を生成することができる。

また、撮像装置１は、構成画像取得部５３と、撮影制御部５２と、を備える。
構成画像取得部５３は、動画から所定の撮影間隔ごとに動画を構成する画像を間引いて取り込むことができ、所定の撮影間隔ごとに静止画を取り込むことができる。
撮影制御部５２は、設定された撮影間隔ごとに構成画像を取得する方法として、設定された撮影間隔に応じて、動画と静止画のうちのいずれかを選択する。
したがって、撮像装置１においては、静止画像を間欠的に撮影する生成方法では困難な短い撮影間隔でのタイムラプス動画を簡易に生成することができる。また、従来より利用されている通常の動画撮影の技術を応用することができる。

撮影制御部５２は、撮影間隔が所定の時間より短い場合に、設定された撮影間隔ごとに画像を取得する方法として、動画を選択する。
したがって、撮像装置１においては、フレームレートを変化させることで撮影間隔を変更することができ、簡易に短い撮影間隔のタイムラプス動画を生成する生成方法を実現することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

また、上述の実施形態では、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）により測定される露光時間に応じて、例えば、露光時間が短い場合には、動画ベースとするように、動画ベース又は静止画ベースのタイムラプス動画とするように構成してもよい。
具体的には、撮影状況は、測定される露光時間を含むように構成される。

また、上述の実施形態では、撮影シーンは、ユーザによって任意に設定するように構成したがこれに限られない。例えば、装置の状況や、装置の周囲の撮影環境を判別して撮影シーンを自動的に設定するように構成してもよい。

上述の実施形態では、撮影ごとに逐次圧縮符号化或いは、連結圧縮符号化を行っているが、構成画像を一時的に記憶しておき、撮影終了後にまとめて圧縮符号化或いは、連結圧縮符号化を行ってもよい。

また、上述の実施形態では、動画ベースのタイムラプス動画は、所定の間隔で撮影した動画（１フレームのフレーム画像）を用いて生成するように構成したがこれに限られない。例えば、所定の期間撮影した動画において、所定の間隔に対応するフレーム画像を動画から抽出して構成画像を取得して生成したり、所定の間隔に対応するフレーム画像以外のフレーム画像の箇所を削除して間引いた動画から生成したりすることができる。

また、上述した実施形態では、構成画像は、撮像部１６から出力された動画像又は静止画像を用いるように構成したがこれに限られない。撮影間隔等が判断可能な情報を含んだ構成画像を外部から取得するように構成してもよい。

また、上述の実施形態では、動画ベースと静止画ベースの２種類のタイムラプス動画生成方法を搭載しているが、選択可能な撮影シーンに応じて、動画ベース、静止画ベースのいずれかの生成方法のみを搭載するようにしてもよい。

また、上述の実施形態では、タイムラプス動画の生成方法として動画ベースと静止画ベースの２種類のタイムラプス動画生成方法を説明しているが、タイムラプス動画までは生成せず、設定された撮影間隔ごとに複数の画像を取得する方法として、動画ベースと静止画ベースの２種類の画像取得方法として使用するようにしてもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、タイムラプス動画機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像の撮影状況又は撮影設定に応じて、撮影間隔を設定するとともに、この設定された撮影間隔で取り込まれる複数の画像からタイムラプス動画を生成する異なる生成方法を選択する選択手段と、
前記選択手段により選択された前記タイムラプス動画の生成方法に基づいて、タイムラプス動画を構成する複数の画像を取り込む画像取込手段と、
前記画像取込手段により取り込まれる前記複数の画像を前記選択されたタイムラプス動画の生成方法に基づいて、タイムラプス動画を生成する生成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記選択手段は、前記撮影状況又は前記撮影設定として、設定された、撮影条件情報が対応づけられている撮影シーンに応じて、前記タイムラプス動画の生成方法を選択する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
撮影状況は、測定される露光時間を含む、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記タイムラプス動画の生成方法は、撮影中の動画から設定された撮影間隔ごとに動画を間引いて取り込んだ画像を用いる生成方法を含む、
ことを特徴とする付記１乃至３のいずれか１つに記載の画像処理装置。
［付記５］
前記タイムラプス動画の生成方法は、前記撮影間隔に応じて、フレームレートを変化させた前記動画を用いる、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記タイムラプス動画の生成方法は、間引いて取り込まれた動画の間隔を圧縮することにより、タイムラプス動画を生成する、
ことを特徴とする付記４又は５に記載の画像処理装置。
［付記７］
前記タイムラプス動画の生成方法は、設定された撮影間隔ごとに静止画を取り込む、
ことを特徴とする付記１乃至６のいずれか１つに記載の画像処理装置。
［付記８］
前記タイムラプス動画の生成方法は、取り込まれた複数の静止画を連結させることにより、タイムラプス動画を生成する、
ことを特徴とする付記７に記載の画像処理装置。
［付記９］
動画から所定の撮影間隔ごとに動画を構成する画像を間引いて取り込む第１の画像取込手段と、
所定の撮影間隔ごとに静止画を取り込む第２の画像取込手段と、
設定された撮影間隔ごとに画像を取得する方法として、前記設定された撮影間隔に応じて、前記第１の画像取込手段と前記第２の画像取込手段のうちのいずれかを選択する選択手段と、
を備えることを特徴とする画像処理装置。
［付記１０］
前記選択手段は、前記撮影間隔が所定の時間より短い場合に、前記設定された撮影間隔ごとに画像を取得する方法として、前記第１の画像取込手段を選択する、
ことを特徴とする付記９に記載の画像処理装置。
［付記１１］
画像処理装置で実行される画像処理方法であって、
画像の撮影状況又は撮影設定に応じて、撮影間隔を設定するとともに、この設定された撮影間隔で取り込まれる複数の画像からタイムラプス動画を生成する異なる生成方法を選択する選択ステップと、
前記選択ステップにより選択された前記タイムラプス動画の生成方法に基づいて、タイムラプス動画を構成する複数の画像を取り込む画像取込ステップと、
前記画像取込ステップにより取り込まれる前記複数の画像を前記選択されたタイムラプス動画の生成方法に基づいて、タイムラプス動画を生成する生成ステップと、
を含むことを特徴とする画像処理方法。
［付記１２］
画像処理装置を制御するコンピュータに、
画像の撮影状況又は撮影設定に応じて、撮影間隔を設定するとともに、この設定された撮影間隔で取り込まれる複数の画像からタイムラプス動画を生成する異なる生成方法を選択する選択機能と、
前記選択機能により選択された前記タイムラプス動画の生成方法に基づいて、タイムラプス動画を構成する複数の画像を取り込む画像取込機能と、
前記画像取込機能により取り込まれる前記複数の画像を前記選択されたタイムラプス動画の生成方法に基づいて、タイムラプス動画を生成する生成機能と、
を実行させるためのプログラム。
［付記１３］
画像処理装置で実行される画像処理方法であって、
動画から所定の撮影間隔ごとに動画を構成する画像を間引いて取り込む第１の画像取込ステップと、
所定の撮影間隔ごとに静止画を取り込む第２の画像取込ステップと、
設定された撮影間隔ごとに画像を取得する方法として、前記設定された撮影間隔に応じて、前記第１の画像取込ステップと前記第２の画像取込ステップのうちのいずれかを選択する選択ステップと、
を含むことを特徴とする画像処理方法。
［付記１４］
画像処理装置を制御するコンピュータに、
動画から所定の撮影間隔ごとに動画を構成する画像を間引いて取り込む第１の画像取込機能と、
所定の撮影間隔ごとに静止画を取り込む第２の画像取込機能と、
設定された撮影間隔ごとに画像を取得する方法として、前記設定された撮影間隔に応じて、前記第１の画像取込機能と前記第２の画像取込機能のうちのいずれかを選択する選択機能と、
を実行させるためのプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮影シーン設定部，５２・・・撮影制御部，５３・・・構成画像取得部，５４・・・タイムラプス動画生成部，７１・・・撮影条件情報記憶部，７２・・・構成画像記憶部，７３・・・タイムラプス動画記憶部

Claims (8)

1. 動画を撮影する動画撮影手段による撮影中の動画から、所定の撮影間隔ごとに動画を構成する画像を間引いて取り込む第１の画像取込手段と、
   所定の撮影間隔ごとに静止画を撮影する静止画撮影手段により撮影される静止画を、取り込む第２の画像取込手段と、
   設定された撮影間隔ごとにタイムラプス動画を生成するための画像を取得する方法として、前記設定された撮影間隔に応じて、前記第１の画像取込手段と前記第２の画像取込手段のうちのいずれかを選択する選択手段と、
   を備えることを特徴とする画像処理装置。
2. 前記設定された撮影間隔は、撮影間隔を含む撮影条件が対応付けられている撮影シーンを選択することで設定される、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記設定された撮影間隔が所定の時間より短い場合に、前記設定された撮影間隔ごとに画像を取得する方法として、前記第１の画像取込手段を選択する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記選択手段により前記第１の画像取込手段が選択された場合は、当該第１の画像取込手段により間引いて取り込まれる動画を構成する複数の画像から、前記第２の画像取込手段が選択された場合は、当該第２の画像取込手段により取り込まれる、所定の撮影間隔ごとに撮影される複数の静止画から、タイムラプス動画を生成する生成手段を、更に備える、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記動画撮影手段により動画を撮り続けた場合の動画を構成する複数の画像のうち、前記第１の画像取込手段により間引いて取り込まれる動画を構成する複数の画像を除いた残りの動画を構成する複数の画像を詰めて連結することにより、タイムラプス動画を生成する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、前記第２の画像取込手段により取り込まれる前記撮影される複数の静止画を、動画を構成する複数の画像として連結することにより、タイムラプス動画を生成する、
   ことを特徴とする請求項４又は５に記載の画像処理装置。
7. 画像処理装置で実行される画像処理方法であって、
   動画を撮影する動画撮影手段による撮影中の動画から、所定の撮影間隔ごとに動画を構成する画像を間引いて取り込む第１の画像取込処理と、
   所定の撮影間隔ごとに静止画を撮影する静止画撮影手段により撮影される静止画を、取り込む第２の画像取込処理と、
   設定された撮影間隔ごとにタイムラプス動画を生成するための画像を取得する方法として、前記設定された撮影間隔に応じて、前記第１の画像取込処理と前記第２の画像取込処理のうちのいずれかを選択する選択処理と、
   を含むことを特徴とする画像処理方法。
8. 画像処理装置を制御するコンピュータに、
   動画を撮影する動画撮影手段による撮影中の動画から、所定の撮影間隔ごとに動画を構成する画像を間引いて取り込む第１の画像取込機能と、
   所定の撮影間隔ごとに静止画を撮影する静止画撮影手段により撮影される静止画を、取り込む第２の画像取込機能と、
   設定された撮影間隔ごとにタイムラプス動画を生成するための画像を取得する方法として、前記設定された撮影間隔に応じて、前記第１の画像取込機能と前記第２の画像取込機能のうちのいずれかを選択する選択機能と、
   を実行させるためのプログラム。