JP6488570B2 - 撮影装置、撮影方法及びプログラム - Google Patents

Description

本発明は、撮影装置、撮影方法及びプログラムに関する。

従来より、一定の時間間隔で撮影された複数の静止画を夫々１フレームに見立て、動画ファイルを生成する技術が、特許文献１のように開示されている。このようなファイル生成技術は、監視カメラのような撮影で得られた大量の静止画像を効率的にチェックするために用いられることが多いが、近年定点撮影以外の利用シーンでこのようなタイムラプス撮影を使用する機会が増えつつあり、例えば、街中における人や自動車の流れや雲の動き等を楽しむといったケースにも利用されている。
（特許文献１参照）。

特開２０１０− １６５９９号公報

しかしながら、タイムラプス撮影時は、撮影装置を三脚等で固定し、撮影中ズーム操作による画角の変更等も難しいため、画角内における変化する部分が限定されていると、その変化を体感しにくい。そのため、タイムラプス動画を生成する各フレーム画像に対して画像処理等所定の処理を行うことが考えられるが、各フレーム画像に対してリアルタイムに所定の処理を効率よく行うことは困難であるという問題があった。

本発明の課題は、より効率よく動画を生成することである。

上述した課題を解決するために本発明の撮影装置は、
撮像画像をフレーム画像として逐次出力する撮像手段と、
前記撮像手段により逐次出力されるフレーム画像の内、設定された間隔毎のフレーム画像を、動画生成用画像として逐次取得する取得手段と、
前記撮像手段により逐次出力されるフレーム画像の内、隣接する動画像生成用画像の間に存在する複数のフレーム画像間の差分を算出する算出手段と、
この算出手段によって算出された差分に基づき、これら複数のフレーム画像の後に取得する動画生成用画像に対して逐次所定の処理を行う処理実行手段と、
前記処理実行手段により所定の処理が行われた動画生成用画像を含む、前記取得手段により逐次取得された動画生成用画像を結合して動画を生成する生成手段と、
を備えることを特徴とする。

本発明によれば、より効率よく動画を生成することができる。

撮影装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。 （ａ）通常の動画と（ｂ）タイムラプス動画を比較するための模式図。 第１実施形態の特徴を説明するための模式図。 第１実施形態の画像処理の種類を特定するためのテーブルＴ１を例示する模式図。 第１実施形態の画像処理方法として、デジタルズーム処理を例示する模式図。 第１実施形態の画像処理方法として、デジタルズーム処理を例示する模式図。 第１実施形態のタイムラプス撮影の実行で開始されるフローチャート。 図７のステップＡ１５（画像処理特定方法）を詳述するためのフローチャート。 第２実施形態の特徴を説明するための模式図。 第２実施形態の画像処理の種類を特定するためのテーブルＴ２を例示する模式図。 第２実施形態の画像処理方法として、横方向パン処理を例示する模式図。 第２実施形態の画像処理方法として、縦方向パン処理を例示する模式図。 第２実施形態の画像処理方法として、デジタルズーム処理を例示する模式図。 第２実施形態のタイムラプス撮影の実行で開始されるフローチャート。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図８を参照して本発明の第１実施形態を説明する。
本実施形態は、撮影装置としてデジタルカメラに適用した場合を例示したもので、図１は、このデジタルカメラの基本的な構成要素を示したブロック図である。
このデジタルカメラは、各種の機能を備え、静止画撮影、動画撮影が可能なコンパクトカメラである。すなわち、被写体を高精細に撮像可能な撮像機能と、撮像された画像の一部を切り取って拡大するデジタルズーム機能と、記録保存されている撮影済み画像（保存画像）を任意に読み出して再生する画像再生機能などの基本的な機能のほか、特に、本実施形態においては、逐次出力されるフレーム画像の内撮影間隔毎に取得した複数のフレーム画像を結合して動画を生成する機能の一例としてタイムラプス撮影機能を備えている。なお、コンパクトカメラに限らず、一眼レフカメラ等であってもよい。

本実施形態は、複数の画像を結合して生成される動画として「タイムラプス動画」適用した場合を例示したもので、図２は、（ａ）通常の動画と（ｂ）タイムラプス動画を比較可能に例示した模式図である。
「通常の動画」においては、逐次出力されるフレーム画像を出力毎に取得し、その取得した複数のフレーム画像から動画を生成する。そのため、撮影時間と再生時間は同一となる。
一方、「タイムラプス動画」においては、逐次出力されるフレーム画像を一定の撮影間隔で間引いて取得、その取得した複数のフレーム画像を結合して、撮影時間より短い時間で再生される動画ファイルを生成する。そのため、撮影画像の変化が早送りしているように見える。このようにして撮影する方法をタイムラプス撮影と呼ぶこともある。

制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内に格納されている各種のプログラムに応じてこのデジタルカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図６及び図７に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ３Ａ、フラグなどを一時記憶するワークメモリ３Ｂ、動画画像などを記憶する画像メモリ３Ｃなどを有している。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

操作部４は、図示省略したが、押しボタン式の各種のキーを備えている。例えば、撮影モードと撮影済み画像（保存画像）を再生する再生モードとを切り替えたりするモード変更ボタン、画角（ズーム）を調整するズームレバー、露出やシャッタスピードなどの撮影条件を設定する設定ボタンなどを備えている。制御部１は、この操作部４からの入力操作信号に応じた処理として、例えば、モード変更処理、撮影条件の設定処理などを実行する。

表示部５は、高精細な液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ-Ｌｕｍｉｎｅｓｃｅｎｃｅ）からなる表示画面で、撮像された画像（ライブビュー画像）をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。

撮像部６は、被写体を高精細に撮影可能なカメラ部を構成するもので、ズーム調整・焦点調整・自動露出調整（ＡＥ）・自動焦点調整（ＡＦ）機能などを有し、制御部１からの制御信号に応じて、図示省略のズームレンズ、フォーカスレンズ、絞り・シャッタを駆動することによりズーム調整、焦点調整、自動露出調整（ＡＥ）、撮影開始／終了を制御するようにしている。撮像部６においてズームレンズ、フォーカスレンズなどの光学レンズ系からの被写体像が撮像素子に結像されると、光電変換されて読み出された画像信号（アナログ値の信号）は、デジタル値のデータに変換されてフレーム画像として逐次出力される。表示部６では逐次出力されるフレーム画像を画面サイズに変換してライブビュー画像としてリアルタイムに表示する。そして、操作部４による撮影実行指示操作に従い、操作のタイミングで出力されたフレーム画像を取得して、ホワイトバランスやシャープネスなどの処理を行い、圧縮符号化処理が行われた後、記憶部３（例えば、ＳＤカード）の画像メモリ３Ｃに記録保存される。

図３は、図２（ｂ）の一点鎖線で囲まれた部分を拡大した図であって、本実施形態の特徴を示す模式図である。
図３におけるフレーム画像Ａは、逐次出力されるフレーム画像のうち一定の撮影間隔でタイムラプス動画を生成するために取得（撮影）されるタイミングで取得されるフレーム画像で、フレーム画像Ｂは次に取得されるフレーム画像までに間引かれるフレーム画像のうちの最後の１枚目となっている。このように、撮影毎にフレーム画像Ａとフレーム画像Ｂが取得される。
なお、タイムラプス動画を生成するためにフレーム画像を取得する場合を「撮影する」、輝度成分の差分を算出するためにフレーム画像を取得する場合を「取得する」として区別することとする。

本実施形態においては、取得されたフレーム画像Ａとフレーム画像Ｂの輝度成分の差分を算出し、その算出結果に基づいて、次に取得されるフレーム画像に画像処理を加える処理を、フレーム画像を取得する毎に行うことを特徴とする。
詳細には、
（１）取得したＡの画素毎の輝度成分と、取得したＢの画素毎との輝度成分の差分を算出して、
（２）フレーム画像内における差分が所定の閾値より大きい部分を特定し、
（３）特定した部分の条件に応じて、処理を行う画像処理を特定し、
（４）次に撮影されるフレーム画像の特定した部分に対して特定した画像処理を行う。
（５）（１）〜（４）の処理を撮影終了まで繰り返す
即ち、次にフレーム画像が取得されるまでに行うべき画像処理が特定できているため、画像処理を行うまでのタイムラグが発生しない。

図４は、本実施形態におけるフレーム画像内における特定した部分の条件に応じて、行う画像処理を特定するための本実施形態のテーブルＴ１を例示した模式図である。
このテーブルＴ１では、フレーム画像Ａとフレーム画像Ｂの輝度成分の差分が閾値以上の特定した部分の面積が全体の１／２以上であるか否かを判別する。
判別結果が１／２以上である場合は、特定した部分だけよりも全体に対して画像処理を行ったほうが効果的であると判断し、その一例としてＡＥ処理を行う、と特定する。
一方、判別結果が１／２未満である場合は、特定した部分だけに対して画像処理を行ったほうが効果的であると判断し、その特定部分が含まれ、フレーム画像のアスペクト比に合致する切り出し部分を設定して、デジタルズーム処理を行う、と特定する。
このようにして、フレーム画像内の特定された部分の条件に応じて、効果的と判断される画像処理を特定する。
なお、輝度成分の差分を判別する閾値、面積を判別する閾値は、それぞれ任意に設定可能である。

図５、図６は、本実施形態の画像処理であるデジタルズーム処理を説明するための模式図である。
図５は、１回の撮影毎に行われるデジタルズーム処理である。
（ａ）輝度成分の差分が閾値以上の特定部分が含まれ、かつフレーム画像のアスペクト比となるように切り出し範囲を設定する。
（ｂ）次に撮影されるフレーム画像のうちの設定された切り出し範囲を、フレーム画像のサイズとなるようにデジタルズーム処理を行い拡大する。
即ち、変化の大きい部分を拡大する処理が行われる。

図６では、図５で行われる１回の撮影毎に行われるデジタルズーム処理を撮影毎に行っている。
例えば、フレーム画像に移動物体が含まれている場合は、２枚のフレーム画像間で移動物体が移動した部分は変化が大きくなるため、図６に示すようにフレーム画像内で切り出し部分が移動する。その結果として移動物体を追尾するように切り出し部分が移動し、拡大する処理が行われる。

次に、本実施形態におけるデジタルカメラの動作概念を図６及び図７に示すフローチャートを参照して説明する。これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５は、デジタルカメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図５のフローチャートから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図７は、タイムラプス撮影の実行が指定された場合に実行開始されるフローチャートであり、制御部１の制御の元に実行される。ここでは、変数として、逐次出力されるフレーム画像のフレーム数を撮影間隔毎にカウントするための変数ｎと、設定されている一定の撮影間隔毎に出力されるフレーム画像をタイムラプス動画の生成用として撮影する撮影枚数をカウントするための変数ｍを使用する。また、タイムラプス撮影の設定に応じて変化する設定値として、フレームレートＲ（一例として３０ｆｐｓ）、撮影時間Ｔ（一例として、６０秒）、撮影間隔Ｄ（一例として、１秒）を使用する。これにより、撮影間隔毎のフレーム数はＲ＊Ｄ＝３０＊１＝３０、撮影枚数は、Ｔ／Ｄ＝６０／１＝６０、となる。

先ず、１回目の撮影から２回目の撮影までの間の処理の流れを説明する。
（１フレーム目）
ステップＡ１では、フレーム数ｎと撮影枚数ｍにそれぞれ初期値として０を代入し、ステップＡ２に進む。

ステップＡ２では、撮像部６が撮像を開始して、フレーム画像を出力し、ステップＡ３に進む。

ステップＡ３では、フレーム数ｎに１を加算し（ｎ＝１）、ステップＡ４に進む。

ステップＡ４では、フレーム数ｎが１であるか否かを判別する。即ち、ステップＡ２で出力されたフレーム画像を、タイムラプス動画の生成用のフレーム画像として撮影するか否かを判別する。ここでは、フレーム数は１であるため（ｎ＝１）（ステップＡ４でＹＥＳ）、ステップＡ５に進む。

ステップＡ５では、ステップＡ２で出力されたフレーム画像を、タイムラプス動画の生成用のフレーム画像として撮影して、ワークメモリ３Ｂに一時記憶し、ステップＡ６に進む。即ち、１回目の撮影が行われたことになる。

ステップＡ６では、撮影枚数ｍに１を加算し（ｍ＝１）、ステップＡ７に進む。

ステップＡ７では、ステップＡ２で出力されたフレーム画像を、輝度成分の差分算出用のフレーム画像Ａとして取得して、ワークメモリ３Ｂに一時記憶し、ステップＡ８に進む。

ステップＡ８では、撮影枚数ｍが１であるか否かを判別する。即ち、ワークメモリ３Ｂに一時記憶されているタイムラプス動画の生成用として撮影されたフレーム画像に画像処理を行うか否かを判別する。ここでは、画像処理を行わない１枚目の取得であるため（ｍ＝１）（ステップＡ７でＹＥＳ）、ステップＡ９をスキップし、ステップＡ１０に進む。

ステップＡ１０では、タイムラプス動画の生成用としてワークメモリ３Ｂに一時記憶されているフレーム画像を圧縮符号化する処理を行い、ステップＡ１１に進む。ここでは、周知のＭＰＥＧ４による圧縮符号化を採用するものとして、詳細な説明は省略する。

ステップＡ１１では、撮影枚数ｍが撮影時間Ｔ／撮影間隔Ｄであるか否かを判別する。即ち、撮影枚数が撮影を終了するまでの枚数（６０／１＝６０枚）に達したか否かを判別する。ここでは、まだ１枚であるため（ｍ＝１）（ステップＡ１０でＮＯ）、ステップＡ１２に進む。

ステップＡ１２では、ステップＡ２でフレーム画像を出力してから１／Ｒ秒経過しているか否か判別する。即ち、次にフレーム画像を出力するタイミング（１／３０秒経過）となったか否かを判別し、タイミングになったと判別されると（ステップＡ１２でＹＥＳ）、ステップＡ２に進む。

（２フレーム目）
ステップＡ２で撮像しているフレーム画像を出力し、ステップＡ３でフレーム数ｎに１を加算し（ｎ＝２）、ステップＡ４に進む。

ステップＡ４では、フレーム数は１でないため（ｎ＝２）（ステップＡ４でＮＯ）、ステップＡ１２に進み、次にフレーム画像を出力するタイミングにとなったと判別されると（ステップＡ１２でＹＥＳ）、ステップＡ１７に進む。

ステップＡ１７では、ステップＡ２で出力されたフレーム画像を破棄し、ステップＡ２に進む。

（３フレーム目〜２９フレーム目）
ステップＡ３でフレーム数ｎに１を加算しながら（ｎ＝３〜２９）、２フレーム目と同様の処理を繰り返す。

（３０フレーム目）
ステップＡ３でフレーム数ｎに１を加算しながら（ｎ＝３０）、２フレーム目と同様の処理でステップＡ１３まで進む。

ステップＡ１３では、フレーム数ｎがフレームレートＲ＊撮影間隔Ｄであるか否かを判別する。即ち、ステップＡ２で出力されたフレーム画像を輝度成分の差分算出用のフレーム画像Ｂとして取得するフレーム数（３０＊１＝３０）に達したか否かを判別する。ここでは、フレーム数が３０であるため（ステップＡ１３でＹＥＳ）、ステップＡ１４に進む。

ステップＡ１４では、ステップＡ２で出力されたフレーム画像を、輝度成分の差分算出用のフレーム画像Ｂとして取得して、ワークメモリ３Ｂに一時記憶し、ステップＡ１５に進む。

ステップＡ１５では、後述する画像処理方法特定処理を行い、ステップＡ１６に進む。ここで特定された画像処理方法は、次の２回目の撮影から３回目の撮影までの間の処理で使用される。

ステップＡ１６では、フレーム数ｎに０を代入して初期化して、ステップＡ１２に進み、次にフレーム画像を出力するタイミングにとなったと判別されると（ステップＡ１２でＹＥＳ）、ステップＡ２に進む。
このようにして、１回目の撮影から２回目の撮影までの間で、タイムラプス動画の生成用のフレーム画像の撮影と、次に撮影されるタイムラプス動画の生成用のフレーム画像に行う画像処理方法の特定が行われる。

次に、２回目の撮影から３回目の撮影までの間の処理の流れを説明する。

（１フレーム目）
ステップＡ２からステップＡ８までは、１回目の撮影から２回目の撮影までの間の処理と同じ処理を行うことで、２回目の撮影を行い、撮影枚数ｍ＝２となる。

ステップＡ８では、撮影枚数ｍが１でないため（ｍ＝２）（ステップＡ８でＹＥＳ）、ステップＡ９に進む。

ステップＡ９では、ワークメモリ３Ｂに一時記憶されているタイムラプス動画の生成用として撮影されたフレーム画像に対して、１回目の撮影から２回目の撮影までの間の処理のうちのステップＡ１５で特定された画像処理を行い、ステップＡ１０に進む。

ステップＡ１０では、１回目の撮影から２回目の撮影までの間の処理のうちのステップＡ１０で圧縮符号化され、ワークメモリ３Ｂに一時記憶されているデータにステップＡ９で画像処理を行われたフレーム画像を追加して圧縮符号化する処理を行い、ワークメモリ３Ｂに一時記憶されるデータを更新し、ステップＡ１１に進み、１回目の撮影から２回目の撮影までの間の処理と同様にしてステップＡ２に進む。

このように、２回目の撮影から３回目の撮影までの間の処理と１回目の撮影から２回目の撮影までの間の処理の違いは、
（１）ステップＡ９でワークメモリ３Ｂに一時記憶されているタイムラプス動画の生成用として撮影されたフレーム画像に対して画像処理を行う
（２）ステップＡ１０で圧縮符号化がされて、ワークメモリ３Ｂに一時記憶されているデータに対してステップＡ９で画像処理を行われたフレーム画像を追加して圧縮符号化する処理を行う
の２点にある。

（２〜２９フレーム）
２回目の撮影から３回目の撮影までの間の処理においても、１回目の撮影から２回目の撮影までの間の処理と同様の処理を行う。
（３０フレーム目）
２回目の撮影から３回目の撮影までの間の処理においても、１回目の撮影から２回目の撮影までの間の処理と同様である。但し、ステップＡ１５で特定された画像処理方法は、次の３回目の撮影から４回目の撮影までの間の処理で使用される。

３回目の撮影から５９回目の撮影までの間の処理の流れは、２回目の撮影から３回目の撮影までの間の処理と同様である。撮影毎に撮影枚数ｍに１が加算され、ステップＡ１５で特定された画像処理方法は、次の撮影からその次の撮影までの間の処理で使用される。

次に、最後の撮影である６０回目の撮影での処理の流れを説明する。

（１フレーム目）
ステップＡ２からステップＡ１１までは、２回目の撮影から５９回目の撮影までの間の処理と同じ処理を行うことで、６０回目の撮影を行い、撮影枚数ｍ＝６０となる。

ステップＡ１１では、撮影枚数ｍが６０に達しているため（ステップＡ１１でＹＥＳ）、ステップＡ１８に進む。

ステップＡ１８では、これまでの処理の流れでワークメモリ３Ｂに一時記憶されている圧縮符号化されたデータをファイル化する処理を行い、画像メモリ３Ｃに記憶してタイムラプス撮影処理を終了する。このように、最後の撮影では、１フレーム目で処理終了する。

図８は、図７のステップＡ１５で行われる画像処理方法特定処理の詳細な流れを説明するためのフローチャートとなっている。

ステップＢ１では、ワークメモリ３Ｂに記憶されている輝度成分の差分算出用のフレーム画像Ａ及びフレーム画像Ｂの差分を算出する。即ち、フレーム画像Ａ及びフレーム画像Ｂの画素毎の輝度成分の値をそれぞれ算出し、算出した画素毎の輝度成分の値の画素毎の差分を算出して、ステップＢ２に進む。輝度成分の値を算出は公知の技術を使用することで実現可能であるため、ここでは詳細な説明は省略する。

ステップＢ２では、ステップＢ１で算出した画素毎の輝度成分の値の差分が閾値以上の部分を特定し、ステップＢ３に進む。

ステップＢ３では、ステップＢ２で特定された部分が含まれ、フレーム画像のアスペクト比となる処理の対象部分を設定し、ステップＢ４に進む。

ステップＢ４では、図４の画像処理方法を特定するための本実施形態のテーブルＴ１を参照し、ステップＢ３で設定された処理の対象部分に基づき、画像処理方法を特定して、図７のフローチャートに戻る。デジタルズーム処理は公知の技術を使用して実現可能であるため、ここでは詳細な説明は省略する。

以上のように、第１実施形態において制御部１は、複数の画像を結合して動画を生成するために取得される対象とならないフレーム画像に基づき、逐次取得するフレーム画像に所定の処理を行うことで、効果的に所定の処理を行った動画を生成できる。

また、制御部１は、逐次取得される所定の処理の対象となるフレーム画像よりも前に撮像された複数のフレーム画像に基づき、逐次所定の処理を行うことで、タイムラグを回避しつつリアルタイムに効果的に所定の処理を行った動画を生成できる。

また、制御部１は、間引きの対象とならないフレーム画像に所定の処理を行うことなく逐次破棄することで、不要なフレーム画像を残すことなく、効率的に所定の処理を行った動画を生成できる。

また、制御部１は、所定の処理を、取得されたフレーム画像と取得の対象とならないフレーム画像との間の差分、又は取得の対象とならない複数のフレーム画像間の差分を算出することに基づき行うことで、所定の処理を画像処理のみで実現できる。

また、制御部１は、算出された差分が所定の値より大きいフレーム画像内の部分として特定された部分に対して所定の処理を行うことで、効果的な処理を行うことができる。

また、制御部１は、特定された部分に対する所定の処理として特定された部分を切り出してフレーム画像のサイズに拡大する処理を行うことで、特定された部分に対して効果的な処理を行うことができる。

また、制御部１は、差分の算出をフレーム画像を取得する毎に行い、その差分に基づき取得される次のフレーム画像に所定の処理を行うことで、撮影装置本体の位置を固定したままであっても、注目被写体の追尾のような効果を得ることができる。

（第２実施形態）
次に、図９〜図１４を参照して本発明の第２実施形態を説明する。
本実施形態の基本的な構成要素を示したブロック図は、第１実施形態の図１と同一であるため、その説明は省略する。

図９は、図２（ｂ）の一点鎖線で囲まれた部分を拡大した図であって、本実施形態の特徴を示す模式図である。
図９におけるフレーム画像Ａは、タイムラプス動画を生成するために１枚目に撮影されるタイミングで取得されるフレーム画像で、フレーム画像Ｂは２枚目に取得されるフレーム画像までに間引かれるフレーム画像のうちの最後の１枚目となっている。このように、本実施形態においては、１枚目の撮影時にのみフレーム画像Ａとフレーム画像Ｂが取得される。

本実施形態においては、１枚目の撮影時に取得されたフレーム画像Ａとフレーム画像Ｂの輝度成分の差分を算出し、その算出結果に基づいて、以降に撮影されるフレーム画像に画像処理を加える処理を行うことを特徴とする。
詳細には、
（１）取得したＡの画素毎の輝度成分と、取得したＢの画素毎との輝度成分の差分を算出して、
（２）フレーム画像内における差分が所定の閾値より大きい部分を特定し、
（３）特定した部分の条件に応じて、処理を行う画像処理を特定し、
（４）以降の撮影されるフレーム画像の特定した部分に対して特定した画像処理を行う。
（５）（４）の処理を撮影終了まで繰り返す
即ち、次にフレーム画像が取得されるまでに行うべき画像処理が特定できているため、画像処理を行うまでのタイムラグが発生しないことは、第１実施形態と同様である。

図１０は、本実施形態におけるフレーム画像内の特定した部分の条件に応じて、行う画像処理を特定するための本実施形態のテーブルＴ２を例示した模式図である。
（１）先ず、フレーム画像Ａとフレーム画像Ｂの輝度成分の差分が閾値以上の特定した部分が全体の１／２以上であるか否かを判別する。
（２）判別結果が１／２以上である場合は、特定した部分だけよりも全体に対して画像処理を行ったほうが効果的であると判断し、その一例としてＡＥ処理を行う、と特定する。
（３）一方、判別結果が１／２未満である場合は、特定した部分だけに対して画像処理を行ったほうが効果的であると判断し、更に特定した部分のうち連続する面積が最大の部分を含む矩形範囲のアスペクト比が、フレーム画像のアスペクト比の±３０％以上であるか否かを特定する。即ち、特定した部分が１箇所に固まっておらず、点在している場合もあるので、その場合には連続する面積が最大の部分に画像処理を行うことが効果的であると判断し、その連続する面積が最大の部分のアスペクト比によって、より適切な画像処理を判別する。
（４）判別結果が、＋３０％以上である場合は、矩形範囲を処理の対象部分と設定し、横方向のパン処理を行う、と特定する。
（５）一方、判別結果が、−３０％より大きく＋３０％未満である場合は、矩形部分が含まれ、フレーム画像のアスペクト比となる矩形範囲を処理の対象部分と設定し、デジタルズーム処理を行う、と特定する。
（６）判別結果が、−３０％以下である場合は、矩形範囲を処理の対象部分と設定し、縦方向のパン処理を行う、と特定する。
このようにして、フレーム画像内の特定された部分の条件に応じて、効果的と判断される画像処理を特定する。
なお、輝度成分の差分を判別する閾値、面積を判別する閾値、アスペクト比を判別する閾値は、それぞれ任意に設定可能である。

図１１は、横方向パン処理を例示する模式図となっている。
先ず２枚目の撮影時（最初の画像処理）では、設定された対象範囲の左端からフレーム画像のアスペクト比となる部分を切り出し部分として、図５で行われたデジタルズームと同様の拡大処理を行う。
そして撮影毎（画像処理を行う毎）に、切り出し部分を、設定された対象範囲の中で上述の撮影枚数（撮影時間Ｔ／撮影間隔Ｄ）で分割した量ずつ左側にシフトしていく。
最後の撮影時には、設定された対象範囲の右端が含まれるようにフレーム画像のアスペクト比となる部分を切り出し部分として、図５で行われたデジタルズームと同様の拡大処理を行う。
このようにして、設定された対象範囲の全てが端から横方向に少しずつ切り出して拡大されることになる。

図１２は、縦方向パン処理を例示する模式図となっている。
先ず２枚目の撮影時（最初の画像処理）では、設定された対象範囲の上端からフレーム画像のアスペクト比となる部分を切り出し部分として、図５で行われたデジタルズームと同様の拡大処理を行う。
そして撮影毎（画像処理を行う毎）に、切り出し部分を、設定された対象範囲の中で上述の撮影枚数（撮影時間Ｔ／撮影間隔Ｄ）で分割した量ずつ下側にシフトしていく。
最後の撮影時には、設定された対象範囲の下端が含まれるようにフレーム画像のアスペクト比となる部分を切り出し部分として、図５で行われたデジタルズームと同様の拡大処理を行う。
このようにして、設定された対象範囲の全てが端から縦方向に少しずつ切り出して拡大されることになる。

図１３は、デジタルズーム処理を例示する模式図となっている。
撮影毎（画像処理を行う毎）に、切り出し部分を、フレーム画像全体と設定された対象範囲との比率を上述の撮影枚数で分割した比率ずつ狭くなっていくようにして、図５で行われたデジタルズームと同様の拡大処理を行う。
最後の撮影時には、設定された対象範囲が切り出し部分として、図５で行われたデジタルズームと同様の拡大処理を行う。
このようにして、設定された対象範囲にズームインするように少しずつ切り出して拡大されることになる。

図１４は、本実施形態におけるタイムラプス撮影の実行が指定された場合に実行されるフローチャートである。第１実施形態と同一の処理となるステップには同じ番号を付してその説明を省略し、相違する処理となるステップのみ説明を行う。

本実施形態と第１実施形態との相違点は、ステップＡ７、がステップＡ８でＹＥＳとなった場合に進むステップＡ２１に変わった点と、ステップＡ１３とステップＡ１４の間にステップＡ２２が追加された点である。
ステップＡ７で行われていた、ステップＡ２で出力されたフレーム画像を、輝度成分の差分算出用のフレーム画像Ａとして取得して、ワークメモリ３Ｂに一時記憶する処理を、ステップＡ８で１枚目の撮影時であると判断された場合のみ（ｍ＝１）（ステップＡ８でＹＥＳ）のみ行う（ステップＡ２１）。

ステップＡ１４、ステップＡ１５で行っていた、ステップＡ２で出力されたフレーム画像を、輝度成分の差分算出用のフレーム画像Ｂとして取得して、ワークメモリ３Ｂに一時記憶し、画像処理方法特定処理を行う処理も同様に、ステップＡ２２で１枚目の撮影時であると判断された場合のみ（ｍ＝１）（ステップＡ２２でＹＥＳ）行うようにしている。

図８のフローチャートで行われる画像処理方法特定処理は、参照するテーブルが図１０のテーブルＴ２であること以外は第１実施形態と同一である。

また、制御部１は、差分の算出を最初のフレーム画像の取得の際に１回行い、その１回の算出された差分に基づき、取得されるフレーム画像毎に所定の処理を行うことで、変化に富んだ処理を行うことができる。

また、制御部１は、特定された部分に対する所定の処理をフレーム画像の取得毎に、切り出す部分を一定のサイズで特定された部分内で移動させることで、撮影装置本体の位置を固定したままであっても、パンニングのような効果を得ることができる。

また、制御部１は、特定された部分に対する所定の処理をフレーム画像の取得毎に、切り出す部分のサイズを特定された部分を基準に変化させることで、ユーザがズーム操作を行わなくともズームインのような効果を得ることができる。

また、制御部１は、特定された部分のアスペクト比とフレーム画像のアスペクト比との比較結果に応じて所定の処理を行うことで、アスペクト比に応じて効果的なパンニングやズームインのような処理を行うことができる。

また、制御部１は、特定された部分の面積とフレーム画像の面積との比較結果に応じて所定の処理を行うことで、画一的でない効果的な処理を行うことができる。

また、制御部１は、特定された部分の面積がフレーム画像の面積に対して所定の割合以上である場合に、フレーム画像全体に対して所定の処理を行う一方、所定の割合未満である場合に、特定された部分に対して所定の処理を行うことで、フレーム画像全体に対して所定の処理を行うか、或いは特定された部分に対して所定の処理を行うかを適切に判別することができる。

また、制御部１は、フレーム画像全体に対する所定の処理としてフレーム画像全体の輝度成分の調整を行うことで、フレーム画像全体に対して効果的な処理を行うことができる。

また、制御部１は、フレーム画像間の輝度成分の差分を算出することで、輝度成分の変化にとどまらず、被写体等の動きの変化も容易に判別できる。

なお、各実施形態におけるフレーム画像間の輝度成分の差分の算出は、差分の算出処理に要する時間或いは差分に基づく処理を特定するのに要する時間に応じて、撮影されたフレーム画像と次に撮影されるフレーム画像との間の撮影の対象とならない間引かれるフレーム画像のいずれとで行ってもよく、また、撮影の対象とならない間引かれるフレーム画像間で行ってもよい。
また、フレーム画像間の輝度成分の差分の算出、２のフレーム画像間に限定されず、３以上のフレーム画像間であってもよい。その場合、平均値、最大値、或いは最小値等どのように取り扱うかは任意である。

また、各実施形態におけるフレーム画像間の差分の算出は、輝度成分に限定されず、色相やＲＧＢの各色要素で行うようにしてもよい。

また、第２実施形態のおける横方向のパン処理は左から右に限定されず、右から左でもよく、往復しても、複数回往復してもよい。その場合シフト量は変化する。

また、第２実施形態のおける縦方向のパン処理は上から下に限定されず、下から上でもよく、往復しても、複数回往復してもよい。その場合シフト量は変化する。

また、第２実施形態のおけるデジタルズーム処理は、ズームインに限定されず、ズームアウトでもよく、ズームインしてからズームアウト、ズームアウトしてからズームイン、更にそれらを繰り返してもよい。その場合ズーム倍率の変化率は変化する。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像画像をフレーム画像として逐次出力する撮像手段と、
前記撮像手段により逐次出力されるフレーム画像の内、設定された撮影間隔毎のフレーム画像を逐次取得する取得手段と、
前記撮像手段により逐次出力されるフレーム画像の内、前記取得手段による取得の対象とならないフレーム画像に基づき、前記取得手段により逐次取得されるフレーム画像に対して逐次所定の処理を行う処理実行手段と、
前記処理実行手段により所定の処理が行われた複数の画像を結合して動画を生成する生成手段と、
を備えることを特徴とする撮影装置。
［付記２］
前記処理実行手段は、前記取得手段により逐次取得される、前記所定の処理の対象となるフレーム画像よりも前に前記撮像手段により撮像された複数のフレーム画像に基づき、逐次所定の処理を行う
ことを特徴とする付記１に記載の撮影装置。
［付記３］
前記処理実行手段は、
前記取得手段による取得の対象とならないフレーム画像を、前記所定の処理を行うことなく、逐次破棄することを特徴とする付記１又は２に記載の撮影装置。
［付記４］
前記処理実行手段は、
前記取得手段により取得されたフレーム画像と取得の対象とならないフレーム画像との間の差分、又は前記取得の対象とならない複数のフレーム画像間の差分を算出する算出手段を備え、
その算出された差分に基づき、前記取得手段により次に取得されるフレーム画像に所定の処理を行う
ことを特徴とする付記１乃至３のいじれか一項に記載の撮影装置。
［付記５］
前記処理実行手段は、
前記算出手段により算出された差分が所定の値より大きい前記フレーム画像内の部分を特定する特定手段を備え、
その特定された部分に対して所定の処理を行う
ことを特徴とする付記４に記載の撮影装置。
［付記６］
前記特定された部分に対する所定の処理は、前記特定された部分を切り出して前記フレーム画像のサイズに拡大する処理である
ことを特徴とする付記５に記載の撮影装置。
［付記７］
前記処理実行手段は、
前記算出手段による差分の算出を、前記取得手段によりフレーム画像を取得する毎に行い、
そのフレーム画像取得毎に算出された差分に基づき、前記取得手段により取得される次のフレーム画像に所定の処理を行うことを特徴とする付記６に記載の撮影装置。
［付記８］
前記処理実行手段は、
前記算出手段による差分の算出を、前記取得手段による最初のフレーム画像の取得の際に１回行い、
その１回の算出された差分に基づき、前記取得手段により取得されるフレーム画像毎に所定の処理を行う
ことを特徴とする付記６に記載の撮影装置。
［付記９］
前記特定された部分に対する所定の処理は、前記取得手段によるフレーム画像の取得毎に、前記切り出す部分を一定のサイズで前記特定された部分内で移動させる第１の処理である
ことを特徴とする付記８に記載の撮影装置。
［付記１０］
前記特定された部分に対する所定の処理は、前記取得手段によるフレーム画像の取得毎に、前記切り出す部分のサイズを前記特定された部分を基準に変化させる第２の処理であること
を特徴とする付記８に記載の撮影装置。
［付記１１］
前記処理実行手段は、
前記特定手段により特定された部分のアスペクト比と前記フレーム画像のアスペクト比とを比較するアスペクト比比較手段を備え、
その比較結果に応じて前記特定された部分に対して前記第１の処理又は前記第２の処理を行う
ことを特徴とする付記９又は１０に記載の撮影装置。
［付記１２］
前記処理実行手段は、
前記特定手段により特定された部分の面積と前記フレーム画像の面積とを比較する面積比較手段を備え、
その比較結果に応じて所定の処理を行うことを特徴とする付記６乃至１１のいずれかに記載の撮影装置。
［付記１３］
前記処理実行手段は、
前記比較結果が、前記特定された部分の面積が前記フレーム画像の面積に対して所定の割合以上である場合に、前記フレーム画像全体に対して所定の処理を行う一方、所定の割合未満である場合に、前記特定された部分に対して所定の処理を行うことを特徴とする付記１２に記載の撮影装置。
［付記１４］
前記フレーム画像全体に対する所定の処理は、前記フレーム画像全体の輝度成分の調整であることを特徴とする付記１３に記載の撮影装置。
［付記１５］
前記算出手段は、前記フレーム画像間の輝度成分の差分を算出することを特徴とする付記２乃至１４のいずれかに記載の撮影装置。
［付記１６］
動画を生成する撮影装置における撮影方法であって、
撮像画像をフレーム画像として逐次出力する撮像ステップと、
前記撮像ステップにより逐次出力されるフレーム画像の内、設定された撮影間隔毎のフレーム画像を逐次取得する取得ステップと、
前記撮像ステップにより逐次出力されるフレーム画像の内、前記取得ステップによる取得の対象とならないフレーム画像に基づき、前記取得ステップにより逐次取得されるフレーム画像に対して逐次所定の処理を行う処理実行ステップと、
前記処理実行ステップにより所定の処理が行われた複数の画像を結合して動画を生成する生成ステップと、
を含むことを特徴とする撮影方法。
［付記１７］
動画を生成する撮影装置の有するコンピュータに、
撮像画像をフレーム画像として逐次出力する撮像機能、
前記撮像機能により逐次出力されるフレーム画像の内、設定された撮影間隔毎のフレーム画像を逐次取得する取得機能、
前記撮像機能により逐次出力されるフレーム画像の内、前記取得機能による取得の対象とならないフレーム画像に基づき、前記取得機能により逐次取得されるフレーム画像に対して逐次所定の処理を行う処理実行機能、
前記処理実行機能により所定の処理が行われた複数の画像を結合して動画を生成する生成機能、
を実現させることを特徴とするプログラム。

１ 制御部
２ 電源部
３ 記憶部
３Ａ プログラムメモリ
３Ｂ ワークメモリ
３Ｃ 画像メモリ
４ 操作部
５ 表示部
６ 撮像部
Ｔ１ 第１実施形態におけるテーブル
Ｔ２ 第２実施形態におけるテーブル

Claims (12)

1. 撮像画像をフレーム画像として逐次出力する撮像手段と、
   前記撮像手段により逐次出力されるフレーム画像の内、設定された間隔毎のフレーム画像を、動画生成用画像として逐次取得する取得手段と、
   前記撮像手段により逐次出力されるフレーム画像の内、隣接する動画像生成用画像の間に存在する複数のフレーム画像間の差分を算出する算出手段と、
   この算出手段によって算出された差分に基づき、これら複数のフレーム画像の後に取得する動画生成用画像に対して逐次所定の処理を行う処理実行手段と、
   前記処理実行手段により所定の処理が行われた動画生成用画像を含む、前記取得手段により逐次取得された動画生成用画像を結合して動画を生成する生成手段と、
   を備えることを特徴とする撮影装置。
2. 前記処理実行手段は、前記差分が所定の値より大きい前記動画生成用画像内の部分を特定する特定手段を備え、
   その特定された部分に対して所定の処理を行うことを特徴とする請求項１に記載の撮影装置。
3. 前記特定された部分に対する所定の処理は、前記特定された部分を切り出して前記動画生成用画像のサイズに拡大する処理である
   ことを特徴とする請求項２に記載の撮影装置。
4. 前記処理実行手段は、
   前記算出手段による差分の算出を、前記取得手段による最初の動画生成用画像の取得の際に１回行い、
   その１回の算出された差分に基づき、前記取得手段により取得される動画生成用画像毎に所定の処理を行う
   ことを特徴とする請求項３に記載の撮影装置。
5. 前記特定された部分に対する所定の処理は、前記取得手段により逐次取得される動画生成用画像における前記特定された部分内で、前記算出された差分に基づき一定のサイズで移動させるように前記切り出す部分を設定する第１の処理であることを特徴とする請求項４に記載の撮影装置。
6. 前記特定された部分に対する所定の処理は、前記取得手段により逐次取得される動画生成用画像における前記特定された部分を基準に、前記算出された差分に基づき、前記切り出す部分のサイズを変化させる第２の処理であることを特徴とする請求項４に記載の撮影装置。
7. 前記処理実行手段は、
   前記特定手段により特定された部分の面積と前記動画生成用画像の面積とを比較する面積比較手段を備え、
   その比較結果に応じて前記所定の処理を行うことを特徴とする請求項３乃至６のいずれかに記載の撮影装置。
8. 前記処理実行手段は、
   前記比較結果が、前記特定された部分の面積が前記動画生成用画像の面積に対して所定の割合以上である場合に、当該動画生成用画像全体に対して所定の処理を行う一方、所定の割合未満である場合に、当該特定された部分に対して所定の処理を行うことを特徴とする請求項７に記載の撮影装置。
9. 前記動画生成用画像全体に対する所定の処理は、前記動画生成用画像全体の輝度成分の調整であることを特徴とする請求項８に記載の撮影装置。
10. 前記算出手段は、前記動画生成用画像間の輝度成分の差分を算出することを特徴とする請求項１乃至９のいずれかに記載の撮影装置。
11. 撮影装置における撮影方法であって、
    撮像画像をフレーム画像として逐次出力する撮像処理と、
    前記撮像処理において逐次出力されるフレーム画像の内、設定された間隔毎のフレーム画像を、動画生成用画像として逐次取得する取得処理と、
    前記撮像処理において逐次出力されるフレーム画像の内、隣接する動画像生成用画像の間に存在する複数のフレーム画像間の差分を算出する算出処理と、
    この算出処理において算出された差分に基づき、これら複数のフレーム画像の後に取得する動画生成用画像に対して逐次所定の処理を行う実行処理と、
    前記実行処理において所定の処理が行われた動画生成用画像を含む、前記取得処理において逐次取得された動画生成用画像を結合して動画を生成する生成処理と、
    を含むことを特徴とする撮影方法。
12. 動画を生成する撮影装置の有するコンピュータを、
    撮像画像をフレーム画像として逐次出力する撮像手段、
    前記撮像手段により逐次出力されるフレーム画像の内、設定された間隔毎のフレーム画像を、動画生成用画像として逐次取得する取得手段、
    前記撮像手段により逐次出力されるフレーム画像の内、隣接する動画像生成用画像の間に存在する複数のフレーム画像間の差分を算出する算出手段、
    この算出手段によって算出された差分に基づき、これら複数のフレーム画像の後に取得する動画生成用画像に対して逐次所定の処理を行う処理実行手段、
    前記処理実行手段により所定の処理が行われた動画生成用画像を含む、前記取得手段により逐次取得された動画生成用画像を結合して動画を生成する生成手段、
    として機能させることを特徴とするプログラム。