JP6759039B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、入力画像から表示用画像を生成する画像処理置、画像処理方法、及びプログラムに関する。

以前より、露光時間を長くした撮影を行うことで、例えば走行している自動車のライトや花火の光等のような移動体の軌跡画像を取得可能とした表現技法がある。以下、長い露光時間による撮影を長秒撮影と表記し、長秒撮影により得られる画像を長秒画像と表記する。ただし、本技法の場合、撮影者（ユーザ）は、どの程度の露光時間で撮影を行えば、移動体の軌跡が所望する仕上がりとなる長秒画像を取得できるのかを、実際の撮影を行う前に想定しなければならず、これには或る程度の経験が必要となる。また、経験を積んだ撮影者であっても、常に所望する仕上がりの長秒画像を撮影できるとは限らない。

このため、近年は、短い露光時間の撮影を短い時間間隔で連続して行って得られた複数の画像を合成することにより、長秒撮影による長秒画像に相当する画像を生成しつつ、その生成過程をカメラのライブビュー画面に逐次表示する技術が提案されている。以下、短い露光時間による撮影を短秒撮影と表記し、短秒撮影により得られた画像を短秒画像と表記し、短い時間間隔で連続した短秒撮影による複数の短秒画像を合成して生成される画像（長秒画像に相当する画像）を、デジタル長秒画像と表記する。このようにして生成したデジタル長秒画像をライブビュー画面に逐次表示することで、撮影者は、軌跡画像の仕上がりをリアルタイムに確認しながら、所望の仕上がりの画像（デジタル長秒画像）を得ることができる。

その他に、特許文献１には、短秒撮影により増加するノイズを低減するために、撮影画角内の移動体の動きの速さを検出し、移動体の動きが速い場合に露光時間および表示部への画像更新期間を短くする技術が開示されている。

特開２０１４−１７１１４５号公報

しかしながら、特許文献１に記載の技術では、移動体の動きが速い場合、表示部における合成画像の表示をリアルタイムに更新していくと、撮影者が仕上がりを確認できる前に、移動体の軌跡が画面外まで流れてしまうことがある。この場合、結果として、撮影者は、所望する仕上がりの画像（デジタル長秒画像）を取得できないことになる。

そこで、本発明は、移動体の動きが速い場合であっても、撮影者が画像の仕上がりを確認できるようにすることを目的とする。

本発明は、順に入力される複数の入力画像を取得する取得手段と、前記入力された順の前記入力画像を用い、逐次、所定の表示用画像を生成する生成手段と、前記生成された複数の前記表示用画像を、所定の更新間隔で、表示画面に更新表示させる表示手段と、前記入力画像の中の着目領域の移動速度が大きいほど、前記表示用画像の前記更新間隔を長くするように制御する制御手段と、を有し、前記生成手段は、前記着目領域の移動の軌跡を表す前記表示用画像を生成することを特徴とする。

本発明によれば、移動体の動きが速い場合であっても、撮影者が画像の仕上がりを確認可能となる。

実施形態の撮像装置の概略構成を示す図である。 第１の実施形態のデジタル長秒モードの処理フローチャートである。 表示更新間隔設定処理のフローチャートである。 最短更新間隔算出処理のフローチャートである。 表示用画像処理時間の内訳を示す図である。 表示更新間隔算出処理のフローチャートである。 終端到達時間の算出例を説明する図である。 表示更新間隔が最小時間間隔と等しい場合のタイムチャートである。 表示フレーム間引き処理を行う場合のタイムチャートである。 比較明合成を説明する図である。 第２の実施形態のデジタル長秒モードの処理フローチャートである。 表示部に表示される被写体速度設定画面の一例を示す図である。 設定された被写体速度と表示更新間隔の対応特性を示す図である。

以下、本発明の一実施形態を、添付の図面に基づいて詳細に説明する。本実施形態の画像処理装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等に適用可能である。本実施形態では、画像処理装置の一適用例として、デジタルカメラ等の撮像装置を挙げて説明する。また、本実施形態の撮像装置は、短い露光時間の撮影を短い時間間隔で連続して行って得た複数の画像から、長い露光時間で撮影された画像に相当する画像を逐次生成して画面上に逐次表示可能な機能を有している。本実施形態でも前述同様に、長い露光時間による撮影を長秒撮影と表記し、長秒撮影により得られる画像を長秒画像と表記する。また、短い露光時間による撮影を短秒撮影、短秒撮影により得られた画像を短秒画像、短い時間間隔で連続して行われた短秒撮影による複数の短秒画像を合成して生成される、長秒露光画像に相当する画像を、デジタル長秒画像と表記する。

＜本実施形態の撮像装置の概略構成＞
図１は、本発明の画像処理装置の一実施形態としての撮像装置１００の概略構成を示したブロック図である。図１に示した撮像装置１００では、撮像装置１００の各構成要素（各ブロック）が、例えばバスを介して接続されている。
システム制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックの制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することにより撮像装置１００の各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、撮像装置１００の各ブロックの制御プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００の各ブロックの動作により生成されたデータの一時的な記憶領域として用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群、絞り、シャッター等を有して構成される。光学系１０４は、被写体等の光学像を撮像部１０５の撮像面上に結像させる。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号を順次Ａ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。ＲＡＭ１０３は、Ａ／Ｄ変換部１０６から供給された画像データを一時的に記憶する。

画像処理部１０７は、ＲＡＭ１０３に一時的に記憶された画像データに対して、ホワイトバランス調整、色補間、ガンマ処理、電子ズーム処理など、様々な画像処理を行う。また本実施形態の場合、画像処理部１０７は、デジタル長秒画像生成のための画像処理をも行う。デジタル長秒画像生成などの画像処理の詳細な説明は後述する。なお、画像処理部１０７における各画像処理は、ＣＰＵ等がプログラムを実行することにより実現されてもよい。

表示部１０８は、液晶ディスプレイ（ＬＣＤ）等の表示デバイスである。表示部１０８の画面上には、ＲＡＭ１０３や後述する記録部１０９に記録された画像、撮影者（ユーザ）からの指示を受け付けるための操作ユーザーインターフェイス画像等が表示される。また、表示部１０８には、撮像部１０５により撮像されているライブビュー画像の表示も行われる。詳細については後述するが、本実施形態では、短い時間間隔で連続して行われた短秒撮影による複数の短秒画像から逐次生成したデジタル長秒画像を表示用画像とし、表示部１０８に逐次更新表示するような画像表示も可能となされている。

操作部１１０は、例えば表示部１０８の画面に設けられているいわゆるタッチセンサや、撮像装置１００の筐体に設けられている各種ボタン、主に画像撮影の際に操作されるシャッターボタン等を含むユーザーインターフェイス部である。シャッターボタンは、いわゆる半押しと全押しの二段階の押下操作を検出可能なボタンである。シャッターボタンが半押しされたときには例えばピントや露出の固定などが行われ、全押しされたときに本撮影が行われる。また、シャッターボタンは、本実施形態におけるデジタル長秒画像の撮影開始指示と撮影終了指示の際にも使用される。なお、シャッターボタンは、有線又は無線により撮像装置１００と通信可能なリモートコントローラ等に設けられていてもよい。

＜第１の実施形態＞
以下、図１の撮像装置１００における第１の実施形態の処理モードについて説明する。第１の実施形態の撮像装置１００は、短い時間間隔で連続して行った短秒撮影による複数の短秒画像から逐次生成したデジタル長秒画像を逐次更新表示する処理モードで動作可能となされている。以下、この処理モードを、デジタル長秒モードと表記する。

図２は、デジタル長秒モードにおける第１の実施形態の撮像装置１００の動作を示すフローチャートである。図２のフローチャートに示す各ステップの処理は、ＲＯＭ１０２に記憶されているプログラムに基づいて、システム制御部１０１が撮像装置１００の各部を制御し、また、撮像装置１００の各部が動作することにより実現される。このことは後述する他のフローチャートでも同様である。

図２のフローチャートの処理は、例えば操作部１１０を介した撮影者からのモード指示等により本実施形態の撮像装置１００がデジタル長秒モードに移行したときにスタートする。そして、デジタル長秒モードに移行すると、システム制御部１０１は、ステップＳ２０１の処理に進む。なお、デジタル長秒モードに移行した状態では、撮像部１０５がリアルタイムに撮像しているライブビュー画像（動画像）を、表示部１０８の画面上にリアルタイム表示するようなライブビュー表示が行われているとする。ステップＳ２０１とその次のステップＳ２０２の処理は、システム制御部１０１による制御の下、画像処理部１０７で行われる。

ステップＳ２０１では、画像処理部１０７は、ライブビュー表示のために撮像部１０５がリアルタイムに撮像している動画の撮像画像から、主要な被写体の画像領域を検出して着目領域（以下、着目被写体と表記する。）とする。具体的には、画像処理部１０７は、主被写体検出アルゴリズムを用いて、撮像部１０５による撮像画像から主要な被写体の画像領域（つまり着目領域）を着目被写体として検出する。主被写体検出アルゴリズムは既存の種々のアルゴリズムの何れかを用いることができ、その詳細な説明については省略する。また、被写体の検出は、例えば表示部１０８のライブビュー画面上で撮影者が所望の被写体をタッチ等した際のタッチ位置に基づいて行われてもよい。この場合、表示部１０８に設けられているタッチセンサから、撮影者によるタッチ位置の情報が、システム制御部１０１を介して画像処理部１０７に送られる。そして、画像処理部１０７は、撮像部１０５の撮像画像の中から、そのタッチ位置情報を基に着目被写体（主要被写体の画像領域）を決定する。なお、本実施形態のデジタル長秒モードにおいて想定される着目被写体としては、例えば、走行している自動車や打ち上げられた花火などの移動体を挙げることができる。もちろんこれらは一例であり、着目被写体はどのようなものであってもよい。ステップＳ２０１の後、システム制御部１０１は、ステップＳ２０２に処理を進める。

ステップＳ２０２では、画像処理部１０７は、ステップＳ２０１で決定した着目被写体の移動速度（以下、被写体速度と表記する。）を検出する。具体的には、画像処理部１０７は、被写体速度を表す情報として、着目被写体の移動方向と移動量を表す動きベクトルを求める。着目被写体の動きベクトルは、例えば時間軸上で連続した隣接フレーム画像間のパターンマッチングによる相関演算等を行うことにより求められる。本実施形態において、画像処理部１０７が求めた動きベクトルｍｖは下記式（１）で表せる。なお、式（１）中のｍｖｘは水平方向（ｘ軸方向）の動きベクトル成分であり水平方向の移動速度に相当し、ｍｖｙは垂直方向（ｙ軸方向）の動きベクトル成分であり垂直方向の移動速度に相当する。ステップＳ２０２の後、システム制御部１０１は、ステップＳ２０３に処理を進める。
ｍｖ＝（ｍｖｘ，ｍｖｙ） ・・・式（１）

ステップＳ２０３では、システム制御部１０１は、操作部１１０を介した撮影者からの撮影開始指示を検出したか否かを判定する。撮影開始指示は、撮影者が操作部１１０のシャッターボタンを全押しすることで行われる。システム制御部１０１は、ステップＳ２０３において、撮影開始指示が検出されていない場合（Ｎｏ）、デジタル長秒画像の生成のための本撮影処理には移行せず、ステップＳ２０４で処理フレームを更新してステップＳ２０１に処理を戻す。ステップＳ２０１〜ステップＳ２０４の処理は、ステップＳ２０３で撮影開始指示が検出されるまで、処理フレームを更新しながら繰り返される。なお、ここでの処理フレームの更新とは、画像処理部１０７に入力されるフレーム画像を、撮像部１０５がリアルタイムに撮像している動画の各フレームの順に更新していくことである。システム制御部１０１は、ステップＳ２０３において、撮影開始指示を検出した場合（Ｙｅｓ）、ステップＳ２０５以降のデジタル長秒画像の生成のための本撮影処理に進む。

本撮影処理に進むと、システム制御部１０１は、ステップＳ２０５において、短秒撮影の露出時間や撮影間隔等の撮影パラメータを設定する。ここで設定される短秒撮影の露出時間は、デジタル長秒画像の生成に使用される複数の短秒画像を逐次撮影する際の露出時間である。本実施形態では、短秒撮影の露出時間は１／３０秒で固定の時間とする。また本実施形態では、デジタル長秒画像の生成に使用される各短秒画像の撮影フレームレートは３０ｆｐｓ（フレーム／秒）、つまり各短秒画像の撮影フレーム間隔も１／３０秒とする。なお、前述した特許文献１に記載の技術のように、短秒撮影の露出時間は着目被写体の移動速度に応じて動的に変化させてもよい。ステップＳ２０５の後、システム制御部１０１は、ステップＳ２０６に処理を進める。

ステップＳ２０６では、システム制御部１０１は、デジタル長秒画像を表示部１０８に表示する際の表示更新間隔の設定を行う。詳細は後述するが、システム制御部１０１は、例えば、着目被写体の移動速度が所定速度より速い場合には、所定の表示時間で着目被写体が画面の終端に到達するように、表示更新間隔を設定する。一方、システム制御部１０１は、例えば、着目被写体の移動速度が所定速度以下である場合には、表示更新間隔を撮影フレーム間隔と表示用画像の生成に要する処理時間とのうち、長い方の時間と略々等しくするように設定する。

以下、システム制御部１０１による表示更新間隔の制御の詳細について説明する。
図３は、図２のステップＳ２０６の表示更新間隔設定処理の詳細なフローチャートである。
システム制御部１０１は、ステップＳ３０１において最短更新間隔Ｔｍｉｎを算出し、次にステップＳ３０２において表示更新間隔Ｔを算出し、そして、ステップＳ３０３において最長更新間隔Ｔｍａｘでクリップ処理を行う。ステップＳ３０３の後、システム制御部１０１は、図３のフローチャートの処理（図２のステップＳ２０６の処理）を終了して、図２のステップＳ２０７に処理を進める。

図３のステップＳ３０１、Ｓ３０２、Ｓ３０３で行われる各処理について、以下、詳細に説明する。
図４は、図３のステップＳ３０１の最短更新間隔Ｔｍｉｎの算出処理のフローチャートである。
システム制御部１０１は、ステップＳ４０１において、表示用画像の生成に要する処理時間（表示用画像処理時間）を算出する。表示用画像処理時間は、図５に示すように、画像サイズ変換処理時間、位置合わせ処理時間、および合成処理時間から構成される。すなわち、表示用画像処理時間は、これら画像サイズ変換処理時間、位置合わせ処理時間、および合成処理時間を合計した時間となる。画像サイズ変換処理時間とは、撮像部１０５での撮像により得られた入力画像（撮像画像）のサイズを、表示部１０８の表示サイズに変換するのに要する処理時間である。位置合わせ処理時間および合成処理時間は、予め決まった所定の手順でそれら位置合わせ処理および合成処理を行うのに要する処理時間である。これら位置合わせ処理時間および合成処理時間は、それら各処理を担う画像処理部１０７（具体的にはＣＰＵおよびＡＳＩＣ等）の駆動周波数等を基に、予め算出されているものとする。ステップＳ４０１の後、システム制御部１０１は、ステップＳ４０２に処理を進める。

ステップＳ４０２では、システム制御部１０１は、前述した撮影フレーム間隔と表示用画像処理時間とを比較し、撮影フレーム間隔の方が長いか否かを判断する。システム制御部１０１は、ステップＳ４０２において、撮影フレーム間隔の方が長いと判断した場合（（Ｙｅｓ）にはステップＳ４０３に処理を進める。一方、システム制御部１０１は、ステップＳ４０２において、撮影フレーム間隔が表示用処理時間以下であると判断した場合（Ｎｏ）には、ステップＳ４０４に処理を進める。

ステップＳ４０３に進んだ場合、システム制御部１０１は、表示用画像の更新間隔に対し、撮影フレーム間隔の方がボトルネックとなっているとして、最短更新間隔Ｔｍｉｎを撮影フレーム間隔とする。一方、ステップＳ４０４に進んだ場合、システム制御部１０１は、最短更新間隔Ｔｍｉｎを表示用画像処理時間とする。ステップＳ４０３、ステップＳ４０４の後、システム制御部１０１は、図４のフローチャートの処理（図３のステップＳ３０１の処理）を終了して、図３のステップＳ３０２へ処理を進める。

図６は、図３のステップＳ３０２の表示更新間隔Ｔの算出処理の詳細なフローチャートである。
システム制御部１０１は、ステップＳ６０１において、移動体である着目被写体が、表示部１０８の画面内で移動することにより、画面の水平方向の終端に到達するまでの時間Ｔｘｅｎｄ、又は、画面の垂直方向の終端に到達するまでの時間Ｔｙｅｎｄを算出する。

図７は、水平方向の終端到達時間Ｔｘｅｎｄ、垂直方向の終端到達時間Ｔｙｅｎｄの算出処理を説明する図である。
図７は、撮像部１０５により撮像された入力画像７００の一例を示し、入力画像７００は撮像部１０５の撮影画角と略々一致した撮影画像であるとする。また、前述の図２のステップＳ２０１では入力画像７００から着目被写体７０１として例えば自動車が検出され、ステップＳ２０２では着目被写体７０１の動きベクトルとして、図７の図中矢印７０２で表される動きベクトルｍｖが検出されているとする。なお、図７の例では、着目被写体７０１の動きベクトルを一つの動きベクトルｍｖのみで示している。また、図７の例において、入力画像７００内における着目被写体７０１の位置（被写体位置）は、動きベクトルｍｖの矢印の始点７０３の位置であるとする。図７の場合、被写体位置は、入力画像７００の座標系において動きベクトルｍｖの始点７０３の位置（Ｒ０（ｘ０，ｙ０））により表されている。

システム制御部１０１は、入力画像７００の水平方向および垂直方向の画素数と、動きベクトルｍｖと、被写体位置Ｒ０（ｘ０，ｙ０）とを基に、被写体位置から動きベクトル方向の画像端部までの水平方向の画素数Ｌｘと垂直方向の画素数Ｌｙとを求める。これら水平方向の画素数Ｌｘと垂直方向の画素数Ｌｙは、撮影画角内において、着目被写体である自動車から、その移動方向の画角端部までの水平方向の距離と垂直方向の距離とに略々相当する。そして、自動車が等速移動しているとの仮定の下、システム制御部１０１は、自動車が移動することで、撮影画角内の水平方向の端部に到達する終端到達時間Ｔｘｅｎｄと垂直方向の端部に到達する終端到達時間Ｔｙｅｎｄとを算出する。具体的には、システム制御部１０１は、下記の式（２）の演算により得られる値を水平方向の終端到達時間Ｔｘｅｎｄとし、式（３）の演算により得られる値を垂直方向の終端到達時間Ｔｙｅｎｄとする。

Ｔｘｅｎｄ＝（Ｌｘ／ｍｖｘ）×（Ｔｍｉｎ／Ｔｆ） ・・・式（２）
Ｔｙｅｎｄ＝（Ｌｙ／ｍｖｙ）×（Ｔｍｉｎ／Ｔｆ） ・・・式（３）
なお、式（２）、式（３）中のＴｆは撮影フレーム間隔であり、Ｔｍｉｎは前述した最短更新間隔である。

すなわち、式（２）では、前述した水平方向の画素数（Ｌｘ）を水平方向の移動速度（ｍｖｘ）で除算した時間に対し、（Ｔｍｉｎ／Ｔｆ）の項が乗算されている。同様に、式（３）では、垂直方向の画素数（Ｌｙ）を垂直方向の移動速度（ｍｖｙ）で除算した時間に対し、（Ｔｍｉｎ／Ｔｆ）の項が乗算されている。（Ｔｍｉｎ／Ｔｆ）の乗算項は、実際の撮影フレーム間隔Ｔｆに対する最短更新間隔Ｔｍｉｎの比率である。つまり、水平方向の終端到達時間Ｔｘｅｎｄおよび垂直方向の終端到達時間Ｔｙｅｎｄは、仮に表示部１０８における合成画像の表示更新間隔が最短更新間隔Ｔｍｉｎであった場合、表示部１０８において着目被写体が表示画面の端部に達する時間を意味する。

図６のフローチャートの説明に戻り、ステップＳ６０１の後、システム制御部１０１は、ステップＳ６０２に処理を進める。ステップＳ６０２では、システム制御部１０１は、終端到達時間Ｔｅｎｄを決定する。ここでは、システム制御部１０１は、前述した水平方向の終端到達時間Ｔｘｅｎｄと垂直方向の終端到達時間Ｔｙｅｎｄのうち、短い方の時間を、終端到達時間Ｔｅｎｄとする。ステップＳ６０２の後、システム制御部１０１は、ステップＳ６０３に処理を進める。

ステップＳ６０３では、システム制御部１０１は、終端到達時間Ｔｅｎｄが所定の表示時間Ｔｖｉｅｗよりも短いか否かを判定する。所定の表示時間Ｔｖｉｅｗは、撮影者が表示部１０８の表示画面上でデジタル長秒画像の仕上がり具合を判断して撮影終了の指示を出すのに十分な時間として、予め設定された時間である。

ここで、終端到達時間Ｔｅｎｄが所定の表示時間Ｔｖｉｅｗよりも短い場合、最短更新間隔Ｔｍｉｎで表示が更新される表示画面では、撮影者が仕上がり具合を判断する余裕を持てないほど着目被写体が速く移動しているということを意味する。ここで、終端到達時間Ｔｅｎｄが所定の表示時間Ｔｖｉｅｗよりも短い場合とは、着目被写体の移動速度が所定速度より速いことを表している。したがって、システム制御部１０１は、ステップＳ６０３で終端到達時間Ｔｅｎｄが所定の表示時間Ｔｖｉｅｗよりも短いと判定した場合（Ｙｅｓ）、ステップＳ６０４において、表示更新間隔Ｔを、最短更新間隔Ｔｍｉｎより遅く（つまり長い時間に）設定する。すなわち、着目被写体の移動速度が所定速度より速い場合、システム制御部１０１は、所定の表示時間で着目被写体が画面の終端に到達するように表示更新間隔Ｔを遅らせる（広げる）ようにする。このとき、表示更新間隔Ｔを遅らせる（広げる）程度は、終端到達時間Ｔｅｎｄに対する所定の表示時間Ｔｖｉｅｗの比（Ｔｖｉｅｗ／Ｔｅｎｄ）により表される。そして、システム制御部１０１は、例えば下記の式（４）により表示更新間隔Ｔを求める。

Ｔ＝（Ｔｖｉｅｗ／Ｔｅｎｄ）×Ｔｍｉｎ ・・・式（４）
この式（４）の演算を行うことにより、システム制御部１０１は、所定の表示時間Ｔｖｉｅｗで着目被写体が表示画面端に達するように、表示部１０８における表示更新間隔Ｔを設定できることになる。

一方、終端到達時間Ｔｅｎｄが所定の表示時間Ｔｖｉｅｗ以上である場合、着目被写体の移動速度が遅いことを意味する。ここで、終端到達時間Ｔｅｎｄが所定の表示時間Ｔｖｉｅｗ以上である場合とは、着目被写体の移動速度が所定速度以下であることを表している。したがって、システム制御部１０１は、ステップＳ６０３で終端到達時間Ｔｅｎｄが所定の表示時間Ｔｖｉｅｗ以上であると判定した場合（Ｎｏ）には、ステップＳ６０５において表示更新間隔Ｔを最短更新間隔Ｔｍｉｎに設定（Ｔ＝Ｔｍｉｎ）する。すなわち、着目被写体の移動速度が所定速度以下である場合、システム制御部１０１は、表示更新間隔Ｔを、撮影フレーム間隔と表示用画像処理時間とのうち、長い方の時間と略々等しくするように設定する。

図６のステップＳ６０４、ステップＳ６０５の後、システム制御部１０１は、図６のフローチャートの処理（図３のステップＳ３０２の処理）を終了して、図３のステップＳ３０３へ処理を進める。

図３のステップＳ３０３では、システム制御部１０１は、前述のように算出した表示更新間隔Ｔに対し、最長更新間隔Ｔｍａｘによるクリップ処理を行う。最長更新間隔Ｔｍａｘは、予め設定された値であるとする。図３のステップＳ３０３の後、システム制御部１０１は、図３のフローチャートの処理（図２のステップＳ２０６の処理）を終了して、図２のステップＳ２０７に処理を進める。

図２のステップＳ２０７の処理は、システム制御部１０１による制御の下で撮像部１０５により行われる処理である。ステップＳ２０７では、撮像部１０５は、前述した短秒撮影の露出時間による撮影を行う。ステップＳ２０７の後、システム制御部１０１は、ステップＳ２０８に処理を進める。

ステップＳ２０８では、システム制御部１０１は、ステップＳ２０７で撮像部１０５が撮像したフレームが間引き対象のフレームであるか否かを判断する。
以下、図８および図９を用いて、間引き対象のフレームか否かの判断処理について説明する。

図８は、表示更新間隔Ｔが最短更新間隔Ｔｍｉｎに設定（Ｔ＝Ｔｍｉｎ）されている場合、すなわち着目被写体の移動速度が所定速度以下の場合における、撮像タイミングと表示更新タイミングの関係を示すタイムチャートである。この例では、表示更新間隔Ｔに対して前述した表示用画像処理時間の方がボトルネックとなっており、また、最短更新間隔Ｔｍｉｎは撮影フレーム間隔Ｔｆよりも例えば２倍長いと仮定した場合を挙げている。

図８の撮像タイミングにおいて、各縦線８０１はそれぞれ短秒画像のフレームが撮像されたタイミングを表しており、各縦線８０１の間隔は撮影フレーム間隔Ｔｆとなっている。すなわち、短秒画像の撮像は、撮像タイミング内の各縦線８０１で表される撮影フレーム間隔Ｔｆ毎に行われている。なお、図８では、各縦線８０１のタイミングで順次撮像された各短秒画像のフレームが、撮像の時系列順に１，２，３，４，・・・の数字により表されている。

また、図８の表示更新タイミングにおいて、各縦線８０２は、表示部１０８の画面上でデジタル長秒画像の表示が更新されるタイミングを表している。すなわち、各デジタル長秒画像の表示更新は、表示更新タイミング内の各縦線８０２のタイミング毎に行われる。また、表示更新タイミング内の"１〜２"，"１〜３"，"１〜４"，"１〜５"，・・・の各数字は、デジタル長秒画像が撮像タイミングの何れのフレームを基に生成されたものであるかを表している。それぞれ詳細については後述するが、例えばデジタル長秒画像"１〜２"は、フレーム１とフレーム２の短秒画像から生成された画像であること表している。また、デジタル長秒画像"１〜３"は、デジタル長秒画像"１〜２"とフレーム３の短秒画像とから生成された画像であることを表している。さらに、デジタル長秒画像"１〜４"は、デジタル長秒画像"１〜３"とフレーム４の短秒画像とから生成された画像であることを表している。以下同様である。なお、図８から判るように、各デジタル長秒画像"１〜２"，"１〜３"，"１〜４"，・・・は、前述した表示用画像処理時間分だけ、撮像タイミングの各フレーム１，２，３，４，・・・からそれぞれ遅延している。

この図８に示すように、着目被写体の移動速度が遅い場合には、撮像部１０５で短秒画像が撮像されたタイミングに対し、表示部１０８でのデジタル長秒画像の表示更新タイミングが徐々に時間的に遅れていくことになる。本実施形態では、着目被写体の移動速度が速い場合には表示更新間隔Ｔを広げて表示更新タイミングを遅くし、撮影者がデジタル長秒画像の仕上がり具合を確認し易くするが、着目被写体の移動速度が元々遅い場合にまで表示更新タイミングを遅くする必要はない。このため、着目被写体の移動速度が元々遅いために、表示更新間隔Ｔが所定の間隔以上になる場合、短秒画像の撮像タイミングに対し、デジタル長秒画像の表示更新タイミングの時間的な遅れを少なくするために、例えばフレーム間引き処理を行う。

図９は、着目被写体の移動速度が遅く、撮像タイミングに対するデジタル長秒画像の表示更新タイミングの時間的遅れを少なくするために、フレーム間引き処理を行った場合の撮像タイミングと表示更新タイミングの関係を示すタイムチャートである。図９の例も、表示更新間隔Ｔが最短更新間隔Ｔｍｉｎに設定（Ｔ＝Ｔｍｉｎ）され、最短更新間隔Ｔｍｉｎは撮影フレーム間隔Ｔｆよりも例えば２倍長いと仮定する。また、図９において、撮像タイミングの各縦線９０１及び９０３は図８の撮像タイミングの各縦線８０１と同様に表され、各短秒画像のフレームも図８同様にそれぞれ１，２，３，４，・・・の数字で表されている。図９の表示更新タイミングの各縦線９０２も図８同様に、デジタル長秒画像の表示が更新されるタイミングを表している。

ここで、図９の例において、撮像タイミングの中で点線により表されている各縦線９０３は、本実施形態のフレーム間引き処理が行われるタイミングを表している。すなわち、図９の例の場合、撮像タイミングの各フレーム（フレーム１，２，３，・・・）の中で、２フレームにつき１フレーム（フレーム３，５，７，・・・）が、フレーム間引き処理されることを表している。図９の場合、表示更新タイミングで表示が更新される各デジタル長秒画像は、フレーム間引きされなかった短秒画像のフレーム（フレーム１，２，４，６，・・・）から生成されたデジタル長秒画像"１〜２"，"１〜４"，"１〜６"，・・・となる。なお、図９の例において、デジタル長秒画像"１〜２"は、フレーム１とフレーム２の短秒画像から生成された画像であること表している。デジタル長秒画像"１〜４"は、デジタル長秒画像"１〜２"とフレーム４の短秒画像とから生成された画像であることを表している。デジタル長秒画像"１〜６"は、デジタル長秒画像"１〜４"とフレーム６の短秒画像とから生成された画像であることを表している。以下同様である。

このように、本実施形態では、着目被写体の移動速度が遅い場合には、図９に示すようにフレーム間引き処理を行うことにより、撮像タイミングに対する表示更新のタイミングの遅れを少なくでき、表示画像の遅延が低減されている。

前述した図９には、表示更新間隔Ｔが撮影フレーム間隔Ｔｆの２倍のとき、短秒画像の２フレームにつき１フレームを間引き処理する例を挙げている。本実施形態の場合、フレーム間引きの割合（以下、間引き率と表記する。）は、表示更新間隔Ｔと撮影フレーム間隔Ｔｆとの比率に応じて決定されている。一例として、表示更新期間Ｔが１／１５秒、撮影フレーム間隔Ｔｆが１／３０秒であった場合には、図９の例と同じように間引き率は１：２（２フレームにつき１フレームを間引くような割合）となる。本実施形態の場合、表示更新間隔Ｔは着目被写体の移動の速さにより変動するため、表示更新間隔Ｔと撮影フレーム間隔Ｔｆとの比率も変化し、したがってその比率に応じて間引き率も変わることになる。

ただし、間引き率は、表示される画像（デジタル長秒画像）の画質に大きく影響し、例えば間引き率が高くなるほど、画質が低下する可能性がある。このため、本実施形態において、間引き率が所定の閾値割合以上になる場合には、間引き率を所定のクリップ割合にクリップすることで、画質の低下を抑えるようにする。なお、閾値割合とクリップ割合は、それぞれ予め決められた割合であってもよいし、撮影者が設定した割合であってもよい。

一方で、間引き率をクリップした場合には、撮像タイミングに対し表示更新タイミングが遅延することになる。したがって、間引き率をクリップした場合には、例えば後述する図２のステップＳ２１０で行われる位置合わせ処理を簡易化した処理にして処理時間を短縮することにより、表示更新タイミングの調整を行ってもよい。

位置合わせ処理を簡易化した処理としては、一例として、画像の位置を合わせるための幾何変換係数を算出する際の動きベクトルの個数を削減するような処理が挙げられる。すなわち、幾何変換係数の算出のためには、画像の局所位置での動きベクトルを所定の密度で複数算出するが、その密度を小さくして、動きベクトルの個数を減らすことで、処理を簡易化することができる。

本実施形態では、前述したように、着目被写体の移動速度が遅い場合、撮像タイミングに対する表示更新タイミングの時間遅れを少なくするフレーム間引きを行うため、システム制御部１０１は、図２のステップＳ２０８の判定処理を行う。ステップＳ２０８では、システム制御部１０１は、着目被写体の移動速度が遅い場合、表示更新間隔Ｔと撮影フレーム間隔Ｔｆとの比率に応じて間引き率を決定し、その間引き率を基に、短秒画像のフレームが間引き対象のフレームか否かを判定する。

そして、システム制御部１０１は、ステップＳ２０８において、短秒画像のフレームが間引き対象のフレームであると判定した場合（Ｙｅｓ）には、ステップＳ２１３に処理を進める。この場合、後述するステップＳ２０９からステップＳ２１２までの表示用のデジタル長秒画像の生成処理がスキップされることになる。すなわち、間引き対象のフレームをデジタル長秒画像の生成に使用しないことによるフレーム間引きが実現される。一方、システム制御部１０１は、ステップＳ２０８において、短秒画像のフレームが間引き対象のフレームでないと判定した場合（Ｎｏ）には、ステップＳ２０９に処理を進める。

ステップＳ２０９からステップＳ２１１までは、システム制御部１０１による制御の下で画像処理部１０７が行う処理であり、表示用のデジタル長秒画像を生成するための処理である。
ステップＳ２０９では、画像処理部１０７は、システム制御部１０１により間引き対象のフレームでないと判定されたフレームの短秒画像を、表示部１０８の表示サイズに変換する。本実施形態の場合、撮像部１０５にて撮像された短秒画像の画素数は表示部１０８の表示画素数より大きいため、画像処理部１０７は、短秒画像を表示部１０８の表示サイズの画像に縮小処理する。ステップＳ２０９の後、画像処理部１０７は、ステップＳ２１０に処理を進める。

ステップＳ２１０では、画像処理部１０７は、ステップＳ２０９で変換された表示サイズ画像に対し、表示位置合わせの処理を行う。この表示位置合わせ処理は、本実施形態の撮像装置１００がデジタル長秒モードにおいて撮影者により手持ち撮影がなされる場合を想定して行われる処理であり、手持ち撮影による手振れが生じているときの位置ズレを吸収するために行われる。なお、手振れの検出や手振れによる位置ズレを吸収する処理等は公知の処理であるため、その図示や詳細な説明は省略する。ステップＳ２１０の後、画像処理部１０７は、ステップＳ２１１に処理を進める。

ステップＳ２１１では、画像処理部１０７は、表示サイズ画像の合成処理を行う。本実施形態の場合、合成処理は、比較明合成処理と呼ばれる処理により行われる。比較明合成処理は、基準画像と合成対象画像の同座標の画素の輝度値を比較し、輝度値が高い方（明るい方）の画素を採用するようにして合成画像を生成するような処理である。詳細は後述するが、本実施形態の場合、時系列順で前のフレームの画像又は合成済みの画像を基準画像とし、時系列順で次のフレームの画像を合成対象画像として、それら画像を比較明合成処理することで合成画像が生成される。本実施形態では、このような比較明合成処理を逐次行っていくことにより、デジタル長秒画像を生成する。本実施形態における比較明合成処理とそれにより生成されるデジタル長秒画像の詳細については、後述する図１０において説明する。ステップＳ２１１の後、システム制御部１０１は、ステップＳ２１２に処理を進める。

ステップＳ２１２では、システム制御部１０１は、ステップＳ２１１で生成されたデジタル長秒画像を表示部１０８の画面上に表示させる。ステップＳ２１２の後、システム制御部１０１は、ステップＳ２１３に処理を進める。

ステップＳ２１３では、システム制御部１０１は、操作部１１０から撮影者による撮影終了指示を検出したか否かを判断する。撮影終了指示は、撮影者が操作部１１０のシャッターボタンを全押しすることで行われる。システム制御部１０１は、ステップＳ２１３において、撮影終了指示が検出されていないと判断した場合（Ｎｏ）には、ステップＳ２０７に処理を戻す。これにより、ステップＳ２０７で撮像された次のフレームの短秒画像に対して前述したステップＳ２０８以降の処理が行われることになる。一方、ステップＳ２１３において、撮影終了指示が検出されたと判断した場合（Ｙｅｓ）には、システム制御部１０１は、ステップＳ２１４に処理を進める。

ステップＳ２１４と次のステップＳ２１５の処理は、システム制御部１０１による制御の下、画像処理部１０７により行われる。ステップＳ２１４において、画像処理部１０７は、記録用画像の位置合わせ処理を行う。この場合の記録用画像とは、撮像部１０５にて撮像された短秒画像（縮小されていない短秒画像）である。この記録用画像に対する位置合わせ処理は、例えば前述したステップＳ２１０の表示サイズ画像の位置合わせ処理と同じ処理でもよいし、異なる処理でもよい。一般的に、記録用画像に対する位置合わせ処理は、撮影後の処理であり、かつ記録用画像に対する処理であるため、処理時間よりも精度を重視した処理であることが望ましい。精度を重視した処理は、一例として、位置合わせのための幾何変換係数を算出する際のベクトルの密度を大きくすることや、幾何変換自体を例えばアフィン変換から射影変換にするなど、より精度の高いものにすることなどを挙げることができる。

ステップＳ２１４の後、ステップＳ２１５の処理に進むと、画像処理部１０７は、記録用画像の合成処理を行う。記録用画像の合成処理は、前述したステップＳ２１１の表示サイズ画像の合成処理と同様の比較明合成処理でもよいし、擬似的にデジタル長秒画像を生成できる別の処理であってもよい。擬似的にデジタル長秒画像を生成できる別の処理としては、一例として、撮像された短秒画像である時系列順の複数のＲＡＷ画像を加算し、それら加算後のＲＡＷ画像を現像するような処理を挙げることができる。加算される時系列順のＲＡＷ画像の枚数は、それらＲＡＷ画像の各露出時間の合計が所望の秒数になるような枚数とする。この例の場合、例えばシャッタースピードが１／３０秒であった場合において、ＲＡＷ画像のフレームを３０枚加算すれば１秒露光相当となる記録用のデジタル長秒画像が得られることになる。

そして、ステップＳ２１５において生成された記録用のデジタル長秒画像のデータは、システム制御部１０１による制御の下、記録部１０９に送られ、記録媒体に記録される。記録用のデジタル長秒画像のデータは、記録媒体に記録される場合だけでなく、ネットワーク等を介して出力等されてもよい。ステップＳ２１５の後、システム制御部１０１は、図２のフローチャートの処理を終了する。

なお、図２のステップＳ２０１の主要被写体検出処理において、主要被写体に相当する被写体が複数検出された場合は、ステップＳ２０２では複数の被写体に対応した複数の被写体速度が検出されることになる。このように、複数の被写体速度が存在する場合、ステップＳ２０５以降の処理については、最も速い被写体速度を基に前述した各処理を行うものとする。

また、図４のステップＳ４０１で算出された表示用画像処理時間が所定時間よりも長い場合は、処理時間を低減するために、例えば前述したようにステップＳ２１０の表示サイズ画像位置合わせ処理を簡易化してもよい。

次に、前述した比較明合成処理について説明する。
なお、本実施形態において、表示用のデジタル長秒画像の生成で合成されるのは表示サイズ画像であり、記録用のデジタル長秒画像の生成で合成されるのは短秒画像であるが、以下の説明ではそれらを区別せずに短秒画像として説明する。

比較明合成処理は、前述したように、基準画像と合成対象画像の輝度を比較し、高輝度領域を合成対象画像の領域として採用することで合成画像を生成する処理である。本実施形態において、撮像された時系列順の複数の画像からデジタル長秒画像を逐次生成する際には、時系列順で前の画像が基準画像となされ、時系列順で次の画像が合成対象画像となされ、それらを比較明合成するような処理が、時系列順に繰り返される。本実施形態の場合、時系列順の最初の１フレーム目の短秒画像は基準画像となり、次の２フレーム目の短秒画像は合成対象画像となる。さらに次の３フレーム目の短秒画像が合成対象画像となる際の基準画像には、１フレーム目と２フレーム目の比較明合成処理で生成された合成画像が用いられる。その後は、時系列順で前の比較明合成処理で生成された合成画像が基準画像となされ、時系列順で次のフレームの短秒画像が合成対象画像となされて、比較明合成を行うような処理が、時系列順に逐次繰り返される。したがって、例えば夜間にライトを点灯させて走行している自動車を撮像した時系列順の複数の短秒画像からデジタル長秒画像を逐次生成した場合、ライトの光のような高輝度部分の軌跡が流れて、擬似的に長秒露光で撮影されたような画像が生成される。

図１０を用い、本実施形態の撮像装置１００において、例えば夜間にライトを点灯させて走行している自動車を撮像した時系列順の例えば三つの短秒画像Ａ，Ｂ，Ｃから、比較明合成処理によりデジタル長秒画像が生成される様子を具体的に説明する。図１０では、画像１０００が短秒画像Ａであり、画像１０１０が短秒画像Ｂであり、画像１０２０が短秒画像Ｃであるとする。

図１０の各短秒画像１０００，１０１０，１０２０には、それぞれ図中矢印に示す方向に走行している自動車１００１，１０１１，１０２１が着目被写体（移動体）として写っている。各短秒画像１０００，１０１０，１０２０の図中の矢印ｔは、着目被写体の自動車１００１，１０１１，１０２１が短秒撮影の露光時間内に移動した移動量と移動方向を表しているとする。なお、各自動車１００１，１０１１，１０２１の画像は、実際には、各短秒画像１０００，１０１０，１０２０の撮像時の露光時間内の移動量に応じて流れた画像となるが、図１０では図示を簡略化するためにライトの光のみが流れた画像として描いている。これは後述する画像１０３０，１０４０についても同様とする。また、図１０の例では、各自動車１００１，１０１１，１０２１の移動により流れたライトの光が、それぞれ光の軌跡１００２，１０１２，１０２２として描かれている。

この図１０の例において、画像処理部１０７は、先ず時系列順で前の二つの短秒画像１０００と短秒画像１０１０とを比較明合成処理１０５０して合成画像１０３０を生成する。比較明合成処理１０５０で生成された合成画像１０３０は、短秒画像１０００内のライトの光の軌跡１００２と、短秒画像１０１０内のライトの光の軌跡１０１２とが繋がった、光の軌跡１０３２を有する画像となる。そして、この合成画像１０３０は、短秒画像１０００と短秒画像１０１０を基に合成されたデジタル長秒画像となる。なお、合成画像１０４０の図中の矢印ｔは、短秒画像１０００と短秒画像１０１０内の両矢印ｔを合わせたものとなり、デジタル長秒画像（１０３０）における長秒露光相当の時間内の自動車（１００１，１０１１）の移動量と移動方向を表している。

さらに、画像処理部１０７は、短秒画像１０００及び短秒画像１０１０から生成した合成画像１０３０と、短秒画像１０００，１０１０よりも時系列で後の短秒画像１０２０とを、比較明合成処理１０６０して合成画像１０４０を生成する。比較明合成処理１０６０で生成された合成画像１０４０は、合成画像１０３０内の光の軌跡１０３２と、短秒画像１０２０内の光の軌跡１０２２とが繋がった、光の軌跡１０４２を有する画像となる。そして、この合成画像１０４０は、合成画像１０３０と短秒画像１０２０を基に生成されたデジタル長秒画像となる。合成画像１０４０の図中の矢印ｔは、合成画像１０３０内の矢印ｔと短秒画像１０２０内の両矢印ｔとを合わせたものとなり、デジタル長秒画像（１０４０）の長秒露光相当の時間内の自動車（１００１，１０１１，１０２１）の移動量と移動方向を表している。

ここで例えば、短秒画像１０００が前述した図８の撮像タイミングのフレーム１であり、短秒画像１０１０がフレーム２、短秒画像１０２０がフレーム３であったとすると、合成画像１０３０は、図８の表示更新タイミングのデジタル長秒画像"１〜２"となる。同様に、合成画像１０４０は、図８の表示更新タイミングのデジタル長秒画像"１〜３"となる。すなわちこの例の場合、表示部１０８では、デジタル長秒画像"１〜２"の合成画像１０３０が図８の表示更新期間Ｔだけ表示された後、次の表示更新タイミングでデジタル長秒画像"１〜３"の合成画像１０４０が更新表示されることになる。

以上説明したように、第１の実施形態の撮像装置１００は、着目被写体の移動速度が速いほど、表示更新間隔が長くなるような制御が行われる。このため、着目被写体の移動速度が速い場合であっても、表示部１０８の画面上ではデジタル長秒画像の生成過程がゆっくり表示され、撮影者は、デジタル長秒画像の仕上がり具合を、余裕を持って判断することができるようになる。すなわち、本実施形態によれば、移動体の動きが速い場合であっても、撮影者は、デジタル長秒画像の仕上がり具合を確認でき、所望する仕上がり具合のデジタル長秒画像を得ることができる。

前述した実施形態では、高輝度の光の軌跡が合成されたデジタル長秒画像を生成する例を挙げたが、本実施形態における表示更新期間の制御は、デジタル長秒画像とは別の画像の生成処理にも適用可能である。例えば、所定の時間間隔毎に短秒撮影を行い、それら所定の時間間隔毎の撮影で得られた複数の短秒画像を１枚の画像に投影合成した画像の生成処理にも、本実施形態における表示更新期間の制御を適用可能である。なお、このような画像としては、例えばゴルフプレーヤーがゴルフクラブを振ってボールを打つ動作を一定間隔毎に撮影する連写を行って得られた複数の画像を一枚の画像に投影した合成画像（例えばいわゆるストロボ画像のような画像）が想定される。

この例の場合、表示部１０８の画面上には連写による各画像が順番に投影合成されるが、例えばゴルフプレーヤーがゴルフクラブを速く振った場合（スイング速度が速い場合）には、撮影者は画像の仕上がり具合を十分に確認できない可能性がある。すなわち、スイング速度が速い場合、撮影者が画像の仕上がりを確認する間もなくスイングが終わってしまい、撮影者は、望む仕上がりの画像が得られるタイミングで連写を止めることができない。これに対し、本実施形態の表示更新期間の制御を適用すれば、スイング速度が速い場合、連写による各画像が画面上に順番に投影されて合成される画像の表示更新間隔が長くなるように制御されるため、スイングの過程がゆっくり表示されるようになる。このため、撮影者は、表示部１０８の画面上で画像の仕上がり具合を確認しつつ、所望の仕上がり具合の画像が得られたタイミングで連写を止めることができる。このように、所定の時間間隔毎の撮影で得られた複数の短秒画像を１枚の画像に投影合成した画像の生成処理においても、本実施形態の表示更新期間の制御を行うことで、撮影者は、所望の仕上がり具合の画像を得ることができる。

＜第２の実施形態の画像処理＞
前述した第１の実施形態では、着目被写体の移動速度を動きベクトルから求めたが、以下の第２の実施形態では、外部から着目被写体の移動速度に準ずるパラメータを取得する撮像装置１００について説明する。本実施形態では、外部から着目被写体の移動速度に準ずるパラメータを取得する例として、撮影者（ユーザ）が操作部１１０を介して入力する操作指示に基づくパラメータを例に挙げている。なお、第２の実施形態における撮像装置１００の概略構成は、前述した図１と同様であるため、その図示と各部の説明は省略する。

図１１は、第２の実施形態の撮像装置１００におけるデジタル長秒モード時の動作を示すフローチャートである。図１１のフローチャートに示す各ステップの処理は、概ねシステム制御部１０１と画像処理部１０７により行われるが、例えば本実施形態に係るプログラムをＣＰＵ等が実行することにより実現されてもよい。

図１１のフローチャートでは、概ね、主要被写体の検出処理及び速度検出処理が行われない点と、表示更新間隔の設定処理が短秒画像の撮影前に行われる点とが、前述した図２のフローチャートの処理とは異なる。なお、図１１のステップＳ１１０３は図２のステップＳ２０４と同様の処理であり、また、ステップＳ１１０２はステップＳ２０３、ステップＳ１１０４はステップＳ２０５、ステップＳ１１０５〜Ｓ１１１３はステップＳ２０７〜Ｓ２１５と同様の処理である。第２の実施形態において、以下、第１の実施形態の場合と同様の処理の説明は適宜省略し、第１の実施形態とは異なる処理、具体的には図１１のステップＳ１１０１の表示更新間隔設定処理について説明する。

第２の実施形態の場合、システム制御部１０１は、デジタル長秒モードに移行すると、先ずステップＳ１１０１において、表示用画像であるデジタル長秒画像を表示部１０８に表示する際の表示更新間隔の設定を行う。

図１２は、ステップＳ１１０１の表示更新間隔の設定処理の際に、表示部１０８に表示される設定画面１２００の一例を示す図である。図１２に示したように、設定画面１２００には、撮影者に対して着目被写体の速さの設定を要求するためのメッセージ１２０３と、スライドレールアイコン１２０１と、スライドレバーアイコン１２０２とが表示される。スライドレバーアイコン１２０２は、表示部１０８に設けられたタッチセンサを介して撮影者からスライド操作が行われた場合、そのスライド操作に応じて、スライドレールアイコン１２０１内で左右方向にスライド可能に表示される。スライドレールアイコン１２０１には、速さの設定値として、左端に最も遅い速度の設定値"１（遅い）"が対応付けられ、右端に向かって徐々に速い速度の設定値が対応付けられ、右端に最も速い速度の設定値"５（速い）"が対応付けられている。なお、図１２では、速度が"１（遅い）"〜"５（速い）"の５段階に設定可能な例を挙げているが、５段階に限らず、更に細かく設定可能になされてもよい。

システム制御部１０１は、スライドレールアイコン１２０１内のスライドレバーアイコン１２０２の位置に応じた速度の設定値を、着目被写体の移動速度のパラメータとして取得する。そして、システム制御部１０１は、スライドレールアイコン１２０１の中のスライドレバーアイコン１２０２の位置に応じた被写体速度のパラメータ（速度の設定値）を基に、表示更新間隔を決定する。具体的には、システム制御部１０１は、例えば図１３に示すような５段階で表される被写体速度と表示更新間隔との対応特性を用い、図１２の設定画面で撮影者により設定された被写体速度（パラメータ）に応じた表示更新間隔を決定する。ここで、図１３に示した対応特性は、被写体速度が速いほど表示更新間隔が長くなるような特性として、例えば予め用意若しくは生成されている。また、図１３において、最も遅い被写体速度（"１（遅い）"）に対応した最小の表示更新間隔は、前述した第１の実施形態で説明した最短更新間隔Ｔｍｉｎとなされている。

第２の実施形態においても前述した第１の実施形態の場合と同様に、被写体の移動速度が速いほど、表示更新間隔が長くなるように制御される。したがって、被写体の移動速度が速い場合であっても、撮影者は、デジタル長秒画像の仕上がり具合を、余裕を持って判断でき、これにより所望の仕上がり具合のデジタル長秒画像を得ることができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ システム制御部、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ 光学系、１０５ 撮像部、１０６ Ａ／Ｄ変換部、１０７ 画像処理部、１０８ 表示部、１０９ 記録部、１１０ 操作部

Claims (20)

1. 順に入力される複数の入力画像を取得する取得手段と、
   前記入力された順の前記入力画像を用い、逐次、所定の表示用画像を生成する生成手段と、
   前記生成された複数の前記表示用画像を、所定の更新間隔で、表示画面に更新表示させる表示手段と、
   前記入力画像の中の着目領域の移動速度が大きいほど、前記表示用画像の前記更新間隔を長くするように制御する制御手段と、
   を有し、
   前記生成手段は、前記着目領域の移動の軌跡を表す前記表示用画像を生成することを特徴とする画像処理装置。
2. 前記制御手段は、前記移動速度が所定速度より速い場合には、所定の表示時間で前記着目領域が前記表示画面の端に到達するように、前記更新間隔を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記移動速度が所定速度以下の場合には、前記更新間隔を、撮影により取得された前記入力画像の撮影フレーム間隔と前記表示用画像の生成に要する処理時間のうち、長い方の時間に合わせることを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、前記入力画像の中に複数の着目領域が存在する場合には、前記複数の着目領域のそれぞれの移動速度のなかで、最も速い移動速度に応じて、前記更新間隔の前記制御を行うことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記制御手段は、前記入力画像の中の前記着目領域の動きベクトルに基づいて前記移動速度を検出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記制御手段は、外部から設定されたパラメータに基づいて前記移動速度を決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
7. 前記制御手段は、表示画面上に前記パラメータを設定する所定の設定画面を表示させ、前記設定画面を介してユーザから入力された前記パラメータを基に、前記移動速度を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記生成手段は、前記更新間隔に応じて、前記入力画像の間引き処理を行い、前記間引き処理されなかった入力画像から前記表示用画像を生成することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記生成手段は、撮影により取得された前記入力画像の撮影フレーム間隔と、前記更新間隔との比率に応じて、前記複数の入力画像に対する前記間引き処理の割合を決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記生成手段は、前記間引き処理の割合が所定の閾値割合以上になる場合には、前記間引き処理の割合を所定のクリップ割合にクリップすることを特徴とする請求項９に記載の画像処理装置。
11. 前記生成手段は、前記間引き処理の割合を前記所定のクリップ割合にクリップした場合には、前記表示用画像の生成処理を簡易化した処理とすることを特徴とする請求項１０に記載の画像処理装置。
12. 前記生成手段は、表示用画像の生成に要する処理時間が所定の処理時間より長い場合には、前記表示用画像の生成処理を簡易化した処理とすることを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記生成手段は、
    前記複数の入力画像から前記表示画面の表示サイズに合わせた複数の表示サイズ画像を生成し、前記複数の表示サイズ画像に対する位置合わせを行い、前記位置合わせ後の複数の表示サイズ画像を用いて前記表示用画像を生成し、
    前記表示用画像の生成処理を簡易化する処理は、前記位置合わせの処理を簡易化する処理であることを特徴とする請求項１１又は１２に記載の画像処理装置。
14. 前記位置合わせ処理を簡易化する処理は、画像の位置を合わせるための幾何変換係数を算出する際の動きベクトルの個数を削減する処理であることを特徴とする請求項１３に記載の画像処理装置。
15. 前記生成手段は、撮影により取得された前記入力画像の、前記撮影の際の露光時間よりも長い露光時間に相当する前記表示用画像を生成することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
16. 前記生成手段は、時系列順で前の画像と次の画像の同座標の画素の輝度値を比較し、輝度値が高い方の画素を採用する所定の合成処理を行って前記表示用画像を生成することを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
17. 前記生成手段は、前記複数の入力画像に対する位置合わせを行い、前記位置合わせ後の複数の入力画像を用いて所定の合成処理を行った記録用の画像をも生成することを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
18. 前記生成手段は、前記合成処理で生成された合成画像と、前記合成画像の生成に使用された入力画像に対して入力の順が次の入力画像と、を用いた前記所定の合成処理を行うことを特徴とする請求項１６又は１７に記載の画像処理装置。
19. 順に入力される複数の入力画像を取得する取得工程と、
    前記入力された順の前記入力画像を用い、逐次、所定の表示用画像を生成する生成工程と、
    前記入力画像の中の着目領域の移動速度が大きいほど、前記表示用画像の更新間隔を長くするように設定し、前記生成された複数の前記表示用画像を、前記設定された前記更新間隔で表示画面に更新表示させる表示工程と、
    を有し、
    前記生成工程では、前記着目領域の移動の軌跡を表す前記表示用画像を生成することを特徴とする画像処理装置の画像処理方法。
20. コンピュータを、請求項１乃至１８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images