JP6762843B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、入力画像を処理して出力する画像処理装置、画像処理方法、及びプログラムに関する。

以前より、露光時間を長くした撮影を行うことで、例えば走行している自動車のライトや花火の光等のような移動体の軌跡画像を取得可能とした表現技法がある。以下、長い露光時間による撮影を長秒撮影と表記し、長秒撮影により得られる画像を長秒画像と表記する。ただし、本技法の場合、ユーザ（撮影者）は、どの程度の露光時間で撮影を行えば、移動体の軌跡が所望する仕上がりとなる長秒画像を取得できるのかを、実際の撮影を行う前に想定しなければならず、これには或る程度の経験が必要となる。また、経験を積んだユーザであっても、常に所望する仕上がりの長秒画像を撮影できるとは限らない。

このため、近年は、短い露光時間の撮影を短い時間間隔で連続して行って得られた複数の画像を合成することにより、長秒撮影による長秒画像に相当する画像を生成しつつ、その生成過程をカメラのライブビュー画面に逐次表示する技術が提案されている。以下、短い露光時間による撮影を短秒撮影と表記し、短秒撮影により得られた画像を短秒画像と表記し、短い時間間隔で連続した短秒撮影による複数の短秒画像を合成して生成される画像（長秒画像に相当する画像）を、疑似長秒画像と表記する。このようにして生成した疑似長秒画像をライブビュー画面に逐次表示することで、ユーザは、軌跡画像の仕上がりをリアルタイムに確認しながら、所望の仕上がりの画像（疑似長秒画像）を得ることができる。

なお、特許文献１には、撮像部により撮像された複数フレームの撮影画像を合成して合成画像を生成する電子カメラが開示されている。また、特許文献１に記載の電子カメラは、ユーザ（撮影者）からの指示に基づいて撮像部による撮像の中止を判断するようになされている。

特開２００６−３３２９３４号公報

ここで、特許文献１に記載のカメラは、ユーザの撮影指示が発生した時までに撮影した画像を合成して合成画像（つまり疑似長秒画像）を生成する構成となされている。そして、合成画像を生成する際にはカメラに搭載されているモニタ画面上に合成画像が表示され、ユーザは、そのモニタ画面上で合成経過を確認しながら、撮影の終了指示を行うことになる。しかしながら、ユーザは、カメラの小さなモニタ画面上の表示を見ながら撮影終了指示を行うことになるため、正しく撮影終了のタイミングを決められない場合がある。また、カメラ内では、画像合成の処理が行われるため、処理の遅延が発生する場合があり、ユーザが所望した撮影終了タイミングで合成結果が出力されない場合がある。

そこで、本発明は、ユーザが所望する仕上がりの合成画像を得られるようにすることを目的とする。

本発明は、フレームの順の複数の入力画像を順次、取得する取得手段と、前記フレームの順の複数の入力画像を用いて、逐次、合成処理を行って合成画像を生成する合成手段と、ユーザからの終了指示を検出する検出手段と、ユーザからの終了指示を検出した後、更に所定フレーム数分の入力画像を前記取得手段に取得させ、前記終了指示が検出されたタイミングとは異なるタイミングのフレームまでの入力画像を用いた出力用の合成画像を、前記合成手段が生成可能となるように制御する制御手段と、前記合成手段により逐次、生成された前記合成画像を表示する表示手段と、を有し、前記合成手段は、前記終了指示が検出されたタイミングの少なくとも時間的に前の、所定数のフレーム毎の入力画像から生成した合成画像を中間合成画像とし、前記制御手段は、前記終了指示が検出された後、前記終了指示が検出されたタイミングに対応したフレームまでの合成画像を、前記表示手段に表示させ、前記表示を基にユーザにより選択されたフレームまでの入力画像を用いた合成処理を前記合成手段に行わせて、前記出力用の合成画像を生成させ、前記表示を基にユーザにより選択されたフレームが前記中間合成画像の生成に用いられた入力画像のフレームより時間的に後である場合、前記中間合成画像と前記選択されたフレームまでの入力画像とを用いた合成処理を前記合成手段に行わせて前記出力用の合成画像を生成させることを特徴とする。

本発明によれば、ユーザが所望する仕上がりの合成画像を得ることが可能となる。

本実施形態の撮像装置の概略構成を示す図である。 疑似長秒モード時の動作のフローチャートである。 撮影終了指示と中間合成画像と出力用の疑似長秒画像を説明する図である。 比較明合成を説明する図である。 本実施形態における処理のタイミング図である。 出力用の疑似長秒画像の合成処理を説明する図である。

以下、本発明の一実施形態を、添付の図面に基づいて詳細に説明する。本実施形態の画像処理装置は、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、工業用カメラ、車載カメラ、医療用カメラ等に適用可能である。本実施形態では、画像処理装置の一適用例として、デジタルカメラ等の撮像装置を挙げて説明する。また、本実施形態の撮像装置は、短い露光時間の撮影を短い時間間隔で連続して行って得た複数の画像から、長い露光時間で撮影された画像に相当する画像を逐次生成して画面上に逐次表示可能な機能を有している。本実施形態でも前述同様に、長い露光時間による撮影を長秒撮影と表記し、長秒撮影により得られる画像を長秒画像と表記する。また、短い露光時間による撮影を短秒撮影、短秒撮影により得られた画像を短秒画像、短い時間間隔で連続して行われた短秒撮影による複数の短秒画像を合成して生成される合成画像を疑似長秒画像と表記する。詳細は後述するが、本実施形態では、ユーザ（撮影者）から撮影終了指示が入力されたタイミングまでの疑似長秒画像だけでなく、その入力タイミングとは異なるタイミングまでの疑似長秒画像を生成可能となされている。

図１は、本発明の画像処理装置の一実施形態である撮像装置１００の概略構成を示したブロック図である。図１に示した撮像装置１００では、撮像装置１００の各構成要素（各ブロック）が、例えばバスを介して接続されている。
システム制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックの制御プログラムを後述のＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより撮像装置１００の各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、撮像装置１００の各ブロックの制御プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、ＲＯＭ１０２から読み出されたプログラムが展開され、また、撮像装置１００の各ブロックの動作により生成されたデータ等の一時的な記憶領域として用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群、絞り、シャッター等を有して構成される。光学系１０４は、被写体等の光学像を撮像部１０５の撮像面上に結像させる。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号を順次Ａ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。ＲＡＭ１０３は、Ａ／Ｄ変換部１０６から供給された画像データを一時的に記憶する。

画像処理部１０７は、ＲＡＭ１０３に一時的に記憶された画像データに対して、ホワイトバランス調整、色補間、ガンマ処理、電子ズーム処理など、様々な画像処理を行う。また本実施形態の場合、画像処理部１０７は、疑似長秒画像生成のための画像処理をも行う。疑似長秒画像生成のための画像処理の詳細な説明は後述する。なお、画像処理部１０７における各画像処理は、ＣＰＵ等がプログラムを実行することにより実現されてもよい。

表示部１０８は、液晶ディスプレイ（ＬＣＤ）等の表示デバイスである。表示部１０８の画面上には、ＲＡＭ１０３や記録部１０９に記録された画像、ユーザからの指示を受け付けるための操作ユーザインターフェイス画像等が表示される。また、表示部１０８には、撮像部１０５により撮像されているライブビュー画像の表示も行われる。詳細は後述するが、本実施形態では、短い時間間隔で連続して行われた短秒撮影による複数の短秒画像から逐次生成した疑似長秒画像を表示部１０８に逐次更新表示するような画像表示も可能となされている。

操作部１１０は、例えば表示部１０８の画面に設けられているいわゆるタッチセンサや、撮像装置１００の筐体に設けられている各種ボタン、主に画像撮影の際に操作されるシャッターボタン等を含むユーザインターフェイス部である。シャッターボタンは、いわゆる半押しと全押しの二段階の押下操作を検出可能なボタンである。シャッターボタンが半押しされたときには例えばピントや露出の固定などが行われ、全押しされたときに本撮影が行われる。また、シャッターボタンは、本実施形態における疑似長秒画像の撮影開始指示と撮影終了指示等にも使用される。なお、シャッターボタンは、有線又は無線により撮像装置１００と通信可能なリモートコントローラ等に設けられていてもよい。

以下、本実施形態の図１の撮像装置１００における処理モードについて説明する。本実施形態の撮像装置１００は、短い時間間隔で連続して行った短秒撮影による複数の短秒画像から合成画像（疑似長秒画像）を生成する処理モードでの動作が可能となされている。以下、この処理モードを、疑似長秒モードと表記する。また、疑似長秒モードにおいて撮影と画像の合成が行われる場合、本実施形態の撮像装置１００は、短秒画像の撮像処理と、画像表示処理及び画像合成処理とを、独立して制御可能となされている。

図２（ａ）は、本実施形態の撮像装置１００において疑似長秒モードで撮影が行われる際の動作フローチャートである。図２（ｂ）は、撮像装置１００において疑似長秒モードで画像表示処理及び画像合成処理が行われる際の動作フローチャートである。図２（ａ）、図２（ｂ）のフローチャートに示す各ステップの処理は、ＲＯＭ１０２に記憶されているプログラムに基づいてシステム制御部１０１が撮像装置１００の各部を制御し、また画像処理部１０７への入力や出力等を制御することにより実現される。システム制御部１０１は、これら図２（ａ）のフローチャートで示す短秒画像の撮像処理と図２（ｂ）のフローチャートで示す画像表示処理及び画像合成処理とを独立に制御する。

先ず、図２（ａ）に示した疑似長秒モードにおける短秒画像の撮影時の動作フローチャートから説明する。
図２（ａ）のフローチャートの処理は、例えば操作部１１０を介したユーザ（撮影者）からのモード指示等により本実施形態の撮像装置１００が疑似長秒モードに移行した後、ユーザから撮影開始の指示が入力されたことでスタートする。なお、本実施形態において、撮影開始指示は例えばシャッターボタンの全押しにより行われるとする。また、短秒画像の撮影に先立ち、システム制御部１０１は、短秒撮影の露出時間や撮影時間間隔（撮影フレームレート）等の撮影パラメータを設定する。そして、システム制御部１０１は、ステップＳ２０１において、撮影パラメータを基に撮像部１０５を制御して短秒画像の撮像を行わせる。これにより、撮像部１０５からは、撮影パラメータに基づく露出時間で撮像された短秒画像がフレーム画像として出力される。ステップＳ２０１の後、システム制御部１０１は、ステップＳ２０２に処理を進める。

ステップＳ２０２では、システム制御部１０１は、ステップＳ２０１で撮像部１０５により逐次撮像された各フレームの短秒画像のデータを、入力画像データとして、逐次、メモリ（ＲＡＭ１０３）に記憶させる。ステップＳ２０２の後、システム制御部１０１は、ステップＳ２０３に処理を進める。

ステップＳ２０３では、システム制御部１０１は、操作部１１０を介したユーザからの撮影終了指示を検出したか否か判断する。なお、本実施形態において、撮影終了指示は、前述した撮影開始指示に使用されたシャッターボタンがユーザにより再度全押しされることで行われるとする。システム制御部１０１は、ステップＳ２０３で撮影終了指示を検出していないと判断（Ｎｏ）した場合にはステップＳ２０１に処理を戻し、ステップＳ２０１における短秒画像の撮影制御とステップＳ２０２におけるメモリへの記憶制御を続ける。すなわち、ステップＳ２０１からステップＳ２０２までの処理は、ステップＳ２０３で撮影終了指示が検出されるまで繰り返し行われる。一方、ステップＳ２０３で撮影終了指示を検出したと判断（Ｙｅｓ）した場合、システム制御部１０１は、ステップＳ２０４に処理を進める。

ステップＳ２０４では、システム制御部１０１は、ステップＳ２０３で撮影終了指示が検出された後に更に追加の所定フレーム数分の短秒画像を撮像したか否かを判定する。システム制御部１０１は、ステップＳ２０４で追加の所定フレーム数分の短秒画像の撮影がなされていないと判定（Ｎｏ）した場合にはステップＳ２０１に処理を戻す。すなわち、ステップＳ２０１〜Ｓ２０３の処理は、ステップＳ２０４で追加の所定フレーム数分の短秒画像撮影がなされたと判定されるまで繰り返し行われる。なお、追加で撮像される所定フレーム数は、例えば撮影フレームレートなどの撮影条件により変更等されてもよい。システム制御部１０１は、ステップＳ２０４において追加の所定フレーム数分の短秒画像撮影がなされたと判定（Ｙｅｓ）すると、図２（ａ）の撮影時の動作フローチャートの処理を終了する。

本実施形態では、このように、撮影終了指示が検出された後に更に、追加の所定フレーム数分の短秒画像の撮影がなされる。このため、図２（ａ）のフローチャートが終了した時点では、メモリ（ＲＡＭ１０３）には、撮影開始時点のフレームから撮影終了指示の検出後に追加された所定フレーム数分までの、全てのフレームの短秒画像が記憶されていることになる。なお、ＲＡＭ１０３に全フレームの短秒画像を記憶するだけの空き容量がない場合、撮像された短秒画像のデータは記録部１０９に記録されてもよい。また、詳細については後述するが、撮影終了指示の検出後に更に追加される所定フレーム数は、短秒画像内の被写体の移動速度に応じて変更されてもよい。

次に、図２（ｂ）に示した疑似長秒モードにおける画像表示処理及び画像合成処理の動作フローチャートについて説明する。
図２（ｂ）のフローチャートの処理は、図２（ａ）のフローチャートと同様、本実施形態の撮像装置１００が疑似長秒モードに移行した後、ユーザから撮影開始の指示が入力されたことでスタートする。図２（ｂ）のフローチャートのステップＳ２１０〜Ｓ２１３の処理は、システム制御部１０１による制御の下で、画像処理部１０７により行われる処理である。なお、これらステップＳ２１０〜Ｓ２１３の処理は、フレーム毎に逐次行われる。

ステップＳ２１０では、画像処理部１０７は、メモリ（ＲＡＭ１０３）に一時的に記憶されている入力画像、つまり各フレームの短秒画像のデータを、そのメモリへ入力されたフレームの順に逐次取得する（メモリから読み出す）。ステップＳ２１０の後、画像処理部１０７の処理は、ステップＳ２１１に進む。

ステップＳ２１１では、画像処理部１０７は、メモリから読み出した短秒画像を縮小する。本実施形態の場合、撮像部１０５の撮像画像（短秒画像）の画素数は表示部１０８の表示画素数より大きいため、画像処理部１０７は、短秒画像を表示部１０８の表示サイズに合わせて縮小処理する。ステップＳ２１１の後、画像処理部１０７の処理は、ステップＳ２１２に進む。

ステップＳ２１２では、画像処理部１０７は、ステップＳ２１１で縮小した短秒画像に対し、位置合わせの処理を行う。この位置合わせ処理は、本実施形態の撮像装置１００が疑似長秒モードにおいてユーザにより手持ち撮影がなされる場合を想定して行われる処理であり、手持ち撮影による手振れが生じているときの位置ズレを吸収するために行われる。なお、位置合わせの処理は、例えば特開２０１２−１９１４８６号公報等に開示されているように、画像を主被写体領域とそれ以外の領域に分け、位置合わせの幾何変換係数を算出して幾何変換を行うような処理を用いることができる。これは公知の処理であるため、その図示や詳細な説明は省略する。ステップＳ２１２の後、画像処理部１０７の処理は、ステップＳ２１３に進む。

ステップＳ２１３では、画像処理部１０７は、ステップＳ２１２で位置合わせ処理された短秒画像の合成処理を行う。本実施形態の場合、この合成処理は、比較明合成処理と呼ばれる処理により行われる。比較明合成処理は、基準画像と合成対象画像の同座標の画素の輝度値を比較し、輝度値が高い方（明るい方）の画素を採用するようにして合成画像を生成するような処理である。詳細は後述するが、本実施形態の場合、時系列順で前のフレームの画像又は合成済みの画像を基準画像とし、時系列順で次のフレームの画像を合成対象画像として、それらの画像を比較明合成処理することで合成画像が生成される。なお、撮影が開始された直後で、画像が最初の一枚目のフレームの短秒画像しか存在しないときには、ステップＳ２１３では比較明合成処理は行われない。ステップＳ２１３で比較明合成処理が逐次行われて得られた合成画像が、表示用の疑似長秒画像となされる。本実施形態における比較明合成処理とそれにより生成される疑似長秒画像の詳細については、後述する図４において説明する。ステップＳ２１３の後、システム制御部１０１は、ステップＳ２１４に処理を進める。

ステップＳ２１４では、システム制御部１０１は、ステップＳ２１３で生成された合成画像である疑似長秒画像を、表示部１０８の画面上に表示させる。なお、撮影が開始された直後で最初の一枚目のフレームの短秒画像しか存在しない場合、ステップＳ２１４では、一枚目のフレームの短秒画像を縮小した画像の表示が行われる。また、システム制御部１０１は、ステップＳ２１４において、表示部１０８に表示させた疑似長秒画像のデータをメモリ（ＲＡＭ１０３）に記憶させる。

また、システム制御部１０１は、疑似長秒画像の表示と共に、その疑似長秒画像を生成する際に用いられた短秒画像がそれぞれ撮像されたときの露光時間を加算して求めた秒数を、表示部１０８の画面上に表示させてもよい。例えば、短秒画像の露光時間がそれぞれ０．５秒で、疑似長秒画像の生成に用いられた短秒画像のフレーム数が１０枚であった場合、システム制御部１０１は、それら１０枚分の露出時間を加算した秒数である「５秒」の文字を表示させる。この秒数は、疑似長秒画像が、どの程度の露光時間の長秒撮影に相当する画像であるかを表している。このように、疑似長秒画像と共に前述の秒数を表示することで、ユーザは、現在表示されている疑似長秒画像が、どの程度の長秒露光時間に相当する画像であるかを把握できるようになる。すなわち、ユーザは、その表示された秒数を、撮影終了指示を行うタイミングを決定する際の参考情報とすることができる。ステップＳ２１４の後、システム制御部１０１は、ステップＳ２１５に処理を進める。

ステップＳ２１５では、システム制御部１０１は、図２（ａ）のフローチャートの処理で取得された全てのフレームの短秒画像についてステップＳ２１０〜Ｓ２１４の処理が終了したか否かを判定する。具体的には、システム制御部１０１は、ステップＳ２１５において、未処理の短秒画像が存在するか否かを判定し、未処理の短秒画像が存在すると判定（Ｎｏ）した場合には、ステップＳ２１０に処理を戻す。これにより、未処理の短秒画像に対して前述したステップＳ２１０〜Ｓ２１４の処理が行われることになる。

一方、システム制御部１０１は、ステップＳ２１５で未処理の短秒画像が存在せず、全てのフレームの短秒画像について処理が終了したと判定（Ｙｅｓ）した場合には、ステップＳ２１６に処理を進める。ここで、ステップＳ２１５において全てのフレームの短秒画像の処理が終了したと判定された時点では、メモリ（ＲＡＭ１０３）には、ステップＳ２１４で表示された全てのフレームの疑似長秒画像のデータが記憶されていることになる。つまりこの時点で、メモリには、前述した全フレームの短秒画像に加え、撮影開始から撮影終了指示検出後に追加された所定フレーム数分までの各短秒画像を基に逐次生成された表示用の各フレームの疑似長秒画像のデータが記憶されていることになる。なお、ＲＡＭ１０３に空き容量がない場合、それら疑似長秒画像のデータは記録部１０９に記録されてもよい。また、表示された全ての疑似長秒画像のデータを記憶させるのではなく、一部のみ、例えば、撮影終了指示の検出タイミングとその前後の所定の期間分のデータのみを記憶させるようにして、メモリの圧迫を回避してもよい。

ステップＳ２１６の処理に進むと、システム制御部１０１は、撮影終了指示が検出されたタイミングで表示部１０８に表示されていた疑似長秒画像の生成に用いた短秒画像のフレームを、撮影終了指示の検出タイミングに対応したフレームとする。そして、システム制御部１０１は、画像処理部１０７を制御し、撮影開始から、撮影終了指示の検出タイミングに対応したフレームまでの各短秒画像を用いた合成処理を行わせて、疑似長秒画像を生成させる。この撮影終了指示の検出タイミングに対応して生成された疑似長秒画像のデータは、システム制御部１０１による制御の下で、メモリに記憶される。また、システム制御部１０１は、撮影終了指示の検出タイミングの疑似長秒画像の生成の際に、それよりも時間的に前の所定数のフレーム毎の短秒画像を用いて生成された複数の疑似長秒画像についても、メモリに記憶させる。

本実施形態では、ステップＳ２１６で生成されるこれらの複数の疑似長秒画像を、それぞれ中間合成画像と表記する。なお、中間合成画像の数は、予め決められた数でもよいし、例えば撮影時の撮影フレームレートなどの撮影条件に応じて変更等されても、また、複数ではなく一つであってもよい。これにより、メモリには、前述した全フレームの短秒画像と、表示された各疑似長秒画像と、ステップＳ２１６で生成された各中間合成画像のデータとが記憶されていることになる。なお、ＲＡＭ１０３に空き容量がない場合には、それら各データは記録部１０９に記録されてもよい。

また、中間合成画像は、前述のステップＳ２１２とＳ２１３で説明したのと同様の位置合わせ処理と画像合成処理により生成されてもよいし、それらとは異なる処理により生成されてもよい。本実施形態において、中間合成画像は、最終的に記録や配信等される出力用の疑似長秒画像の生成に用いられる。このため、中間合成画像を生成する際の位置合わせ処理については、前述したステップＳ２１２での位置合わせ処理よりも精度を重視した処理であることが望ましい。また、中間合成画像を生成する際の合成処理は、例えば、基準画像と合成対象画像の同座標の画素において、より高輝度の画素に対して、その輝度に応じた重みを持たせて加算平均するような合成処理であってもよい。この場合の合成処理は、具体的には、基準画像と合成対象画像の同座標の画素に、輝度の重みに応じたゲインを乗算した後に加算平均するような合成処理となされる。この合成処理によれば、例えば動いている被写体における合成の切り替わりが目立ち難い合成画像を得ることができる。ステップＳ２１６の後、システム制御部１０１は、ステップＳ２１７に処理を進める。

図３は、前述したように生成された複数の中間合成画像６１１〜６１５と最終的な出力用の疑似長秒画像６２１の一例を示す図である。この図３に例示したように、中間合成画像６１１〜６１５は、撮影終了指示の検出タイミングより時間的に前の各フレームの短秒画像を用いて合成処理された画像である。図３のフレーム６０１，６０２は、撮影終了指示の検出タイミングの時間的に後に前述したように追加で撮像された所定フレーム数分の短秒画像を示している。なお、図２（ｂ）のステップＳ２１６では、撮影終了指示の検出タイミングの後に追加で撮像された所定フレーム数までの短秒画像を用いて、中間合成画像が生成されてもよい。このように、追加撮像されたフレームの短秒画像を用いた中間合成画像を生成しておいた場合、例えば、ユーザが後述する光の軌跡の調整量を大きくした場合でも、最終的な出力用の合成画像が得られるまでの処理時間を短くすることができる。

図２（ｂ）のフローチャートに説明を戻す。ステップＳ２１７では、システム制御部１０１は、撮影終了指示が検出された時点で表示部１０８に表示されていた疑似長秒画像を、メモリから読み出して表示部１０８に表示させる。このとき、システム制御部１０１は、操作部１１０を介してユーザから選択指示が入力された場合には、表示部１０８に表示されている疑似長秒画像の合成の際に用いられた短秒画像のフレームを、ユーザによる選択フレームであるとして決定する。また、システム制御部１０１は、撮影終了指示の検出時点で表示部１０８に表示されていた疑似長秒画像よりも時間的に前に表示された疑似長秒画像や、時間的に後に表示された疑似長秒画像をも、メモリから読み出して表示部１０８に表示させる。そして、システム制御部１０１は、操作部１１０を介してユーザから選択指示が入力された場合、その時点で表示部１０８に表示されている疑似長秒画像の合成の際に用いられた短秒画像のフレームを、ユーザによる選択フレームであるとして決定する。なお、撮影終了指示の検出時点で表示されていた疑似長秒画像やその前後に表示されていた疑似長秒画像をメモリから読み出して表示することは、自動的に行われてもよいし、ユーザの指示に応じて行われてもよい。このようにステップＳ２１７において、ユーザの選択フレームを決定した後、システム制御部１０１は、ステップＳ２１８に処理を進める。

ステップＳ２１８では、システム制御部１０１は、画像処理部１０７を制御し、撮影開始からステップＳ２１７で決定された選択フレームまでの短秒画像を用いた合成処理を行わせて、最終的に記録や配信等される出力用の疑似長秒画像を生成させる。
以下、具体例を挙げて、最終的な出力用の疑似長秒画像の生成例を説明する。

例えば、ユーザの選択フレームが、撮影終了指示の検出タイミングよりも時間的に前の短秒画像のフレームであったとする。この場合、システム制御部１０１は、メモリに記憶されている複数の中間合成画像のうち、ユーザの選択フレームより時間的に前で且つ近いフレームの短秒画像を用いて生成された中間合成画像を選択する。すなわち、複数の中間合成画像の中から選択されるのは、ユーザの選択フレームまでの間で合成されるフレーム数が、より少なくなる中間合成画像となされる。画像処理部１０７は、その選択された中間合成画像をメモリから読み出し、さらに、その中間合成画像の生成に用いられた短秒画像よりも時間的に後の各フレームから選択フレームまでの各短秒画像を、順次メモリから読み出して、それらを逐次合成処理する。これにより、撮影開始からユーザの選択フレームまでの出力用の疑似長秒画像が生成されることになる。

また例えば、ユーザの選択フレームが、撮影終了指示の検出タイミングの後に追加撮像された短秒画像のフレームであったとする。この場合、システム制御部１０１は、メモリに記憶されている複数の中間合成画像のうち、前述した撮影終了指示の検出タイミングに対応した中間合成画像を選択する。画像処理部１０７は、その選択された中間合成画像をメモリから読み出し、さらに、その中間合成画像の生成に用いられた短秒画像よりも時間的に後の各フレームから選択フレーム（追加撮像されたフレーム）までの各短秒画像を逐次合成処理する。これにより、撮影開始からユーザの選択フレーム（追加撮像されたフレーム）までの出力用の疑似長秒画像が生成されることになる。

ステップＳ２１８において前述のように生成された最終的な出力用の疑似長秒画像は、システム制御部１０１による制御の下、記録部１０９に送られ、記録媒体に記録されることになる。なお、最終的な出力用の疑似長秒画像のデータは、記録媒体に記録される場合だけでなく、ネットワーク等を介して配信等されてもよい。ステップＳ２１８の後、システム制御部１０１は、図２（ｂ）のフローチャートの処理を終了する。

以下、前述した疑似長秒画像を生成する際の比較明合成処理について、具体例を挙げて説明する。
比較明合成処理は、前述したように、基準画像と合成対象画像の輝度を比較し、高輝度領域を合成対象画像の領域として採用することで合成画像を生成する処理である。本実施形態において、時系列順の複数の画像から合成画像を逐次生成する際には、時系列順で前の画像が基準画像となされ、時系列順で次の画像が合成対象画像となされ、それらを比較明合成するような処理が、時系列順に繰り返される。本実施形態の場合、時系列順の最初の１フレーム目の短秒画像は基準画像となり、次の２フレーム目の短秒画像は合成対象画像となる。さらに次の３フレーム目の短秒画像が合成対象画像となる際の基準画像には、１フレーム目と２フレーム目の比較明合成処理で生成された合成画像が用いられる。その後は、時系列順で前の比較明合成処理で生成された合成画像が基準画像となされ、時系列順で次のフレームの短秒画像が合成対象画像となされて、比較明合成を行うような処理が、時系列順に逐次繰り返される。したがって、例えば夜間にライトを点灯させて走行している自動車を撮像した時系列順の複数の短秒画像から合成画像を逐次生成した場合、ライトの光のような高輝度部分の軌跡が流れて、疑似的に長秒露光で撮影されたような画像が生成される。

図４を用い、本実施形態の撮像装置１００において、例えば夜間にライトを点灯させて走行している自動車を撮像した時系列順の例えば三つの短秒画像Ａ，Ｂ，Ｃから、比較明合成処理により合成画像が生成される様子を具体的に説明する。図４では、画像３０１が短秒画像Ａであり、画像３０２が短秒画像Ｂであり、画像３０３が短秒画像Ｃであるとする。

図４の各短秒画像３０１，３０２，３０３には、それぞれ図中矢印に示す方向に走行している自動車３２１，３２２，３２３が被写体（移動体）として写っている。各短秒画像３０１，３０２，３０３の図中の矢印ｔは、被写体の自動車３２１，３２２，３２３が短秒撮影の露光時間内に移動した移動量と移動方向を表しているとする。なお、各自動車３２１，３２２，３２３の画像は、実際には、各短秒画像３０１，３０２，３０３の撮像時の露光時間内の移動量に応じて流れた画像となるが、図４では図示を簡略化するためにライトの光のみが流れた画像として描いている。これは後述する画像３０４，３０５についても同様とする。また、図４の例では、各自動車３２１，３２２，３２３の移動により流れたライトの光が、それぞれ光の軌跡３１１，３１２，３１３として描かれている。

この図４の例において、画像処理部１０７は、先ず時系列順で前の二つの短秒画像３０１と短秒画像３０２とを比較明合成処理３３０して合成画像３０４を生成する。比較明合成処理３３０で生成された合成画像３０４は、短秒画像３０１内のライトの光の軌跡３１１と、短秒画像３０２内のライトの光の軌跡３１２とが繋がった、光の軌跡３１４を有する画像となる。そして、この合成画像３０４は、短秒画像３０１と短秒画像３０２を基に生成された合成画像となる。なお、合成画像３０４の図中の矢印ｔは、短秒画像３０１と短秒画像３０２内の両矢印ｔを合わせたものとなり、合成画像（３０４）における長秒露光相当の時間内の自動車（３２１，３２２）の移動量と移動方向を表している。

さらに、画像処理部１０７は、短秒画像３０１及び短秒画像３０２から生成した合成画像３０４と、短秒画像３０１，３０２よりも時系列で後の短秒画像３０３とを、比較明合成処理３３１して合成画像３０５を生成する。比較明合成処理３３１で生成された合成画像３０５は、合成画像３０４内の光の軌跡３１４と、短秒画像３０３内の光の軌跡３１３とが繋がった、光の軌跡３１５を有する画像となる。そして、この合成画像３０５は、合成画像３０４と短秒画像３０３を基に生成された合成画像となる。なお、合成画像３０５の図中の矢印ｔは、合成画像３０４内の矢印ｔと短秒画像３０３内の両矢印ｔとを合わせたものとなり、合成画像（３０５）における長秒露光相当の時間内の自動車（３２１，３２２，３２３）の移動量と移動方向を表している。

次に、図５を参照して、撮像タイミング４０１、表示更新タイミング４０２、撮影開始・終了指示タイミング４０３、記録画像作成タイミング４０４について説明する。撮像タイミング４０１は、撮像部１０５で各フレームの短秒画像が撮像される際の撮影フレームレートのタイミングを表している。表示更新タイミング４０２は、表示部１０８に疑似長秒画像のフレームが表示される際の表示更新のタイミングを表している。撮影開始・終了指示タイミング４０３（以下、指示タイミング４０３と表記する。）は、ユーザによる撮影開始の指示がなされたタイミングと、ユーザにより撮影終了の指示がなされたタイミングを表している。記録画像作成タイミング４０４（以下、作成タイミング４０４と表記する。）は、撮影終了指示が検出された後に、最終的に生成される出力用の疑似長秒画像の生成タイミングを表している。

図５において、指示タイミング４０３内の縦線４３１は、疑似長秒モードでユーザによりシャッターボタンが全押しされた際に操作部１１０から出力された信号を、システム制御部１０１が撮影開始指示の信号として検出したタイミングを表している。また、指示タイミング４０３内の縦線４３２は、撮影開始後に、ユーザによりシャッターボタンが再度全押しされた際に操作部１１０から出力された信号を、システム制御部１０１が撮影終了指示の信号として検出したタイミングを表している。なお、システム制御部１０１は、撮影終了指示を受け取ったか否かを、前述した図２（ａ）のステップＳ２０３で判断している。

図５において、撮像タイミング４０１内の各縦線４１１は、撮影開始後に各フレームの短秒画像が撮像されたタイミングを表している。すなわち、前述した図２（ａ）のステップＳ２０１による短秒画像の撮像は、撮像タイミング４０１内の各縦線４１１で表されるタイミング毎に行われている。図２（ａ）のステップＳ２０１とステップＳ２０２の処理は、ステップＳ２０３で撮影終了指示が検出されたと判断されるまで、撮像タイミング４０１の各縦線４１１で表されるタイミング毎に繰り返される。また、本実施形態では、前述したように撮影終了指示が入力された後には、所定フレーム数分の短秒画像が追加撮像される。このため、撮像タイミング４０１に示すように、撮影開始指示から撮影終了指示までの間、さらに撮影終了指示の検出時点から所定フレーム数まで、時系列順に短秒画像が取得されることになる。図５の例では、撮影開始後の時系列順に取得された各短秒画像のフレームがそれぞれ１，２，３，４，・・・の数字により表されており、特にフレーム１２，１３，１４，１５は撮影終了指示の検出後に追加で撮像された所定フレーム数分の各フレームを表している。

図５の表示更新タイミング４０２内の各縦線４２０は、表示部１０８において表示が更新されるタイミングを表している。撮影開始直後の最初の一枚目のフレーム１の表示がなされた後、図２（ｂ）のステップＳ２１０からステップＳ２１４までで生成される各疑似長秒画像の表示の更新は、表示更新タイミング４０２内の各縦線４２０のタイミング毎に行われる。また、表示更新タイミング４０２内の"１〜２"，"１〜３"，"１〜４"，"１〜５"，・・・の各数字は、疑似長秒画像が撮像タイミング４０１の何れのフレームを基に生成されたものであるかを表している。なお、表示更新タイミング４０２内の"１"は最初の一枚目のフレーム１を表している。例えば疑似長秒画像"１〜２"は、フレーム１とフレーム２の短秒画像から生成された画像であることを表し、疑似長秒画像"１〜３"は、疑似長秒画像"１〜２"とフレーム３の短秒画像とから生成された画像であることを表している。疑似長秒画像"１〜４"は、疑似長秒画像"１〜３"とフレーム４の短秒画像とから生成され、疑似長秒画像"１〜５"は、疑似長秒画像"１〜４"とフレーム５の短秒画像とから生成された画像であることを表している。以下同様である。図５から判るように、各疑似長秒画像"１〜２"，"１〜３"，・・・，"１〜１５"は、図２（ｂ）のステップＳ２１０〜Ｓ２１４に要する処理時間の分だけ、撮像タイミング４０１の各フレーム１，２，３，・・・，１５からそれぞれ遅延している。また、図５の例の場合、撮影終了指示の検出時点（４３２）で表示部１０８に表示されていた疑似長秒画像"１〜７"に対応した短秒画像のフレームは、撮像タイミング４０１のフレーム７になっている。

図５において、作成タイミング４０４は、図２（ｂ）のステップＳ２１７で選択フレームの決定がなされた場合に、図２（ｂ）のステップＳ２１８において出力用の疑似長秒画像が生成されるタイミングを表している。
ここでは、ユーザが選択フレームを決定する際に表示部１０８に表示された画像が、例えば図５の表示更新タイミング４０２の縦線４２１〜４２６のタイミングに対応した画像であった場合を例に挙げて、出力用の疑似長秒画像の生成タイミングを説明する。

図５の例において、ユーザの選択フレームが縦線４２２のタイミングで表示部１０８に表示された疑似長秒画像"１〜３"に対応したフレーム、つまり撮影終了指示の検出タイミング（４３２）よりも時間的に前のフレームであったとする。この場合、出力用の疑似長秒画像は、作成タイミング４０４の縦線４４１のタイミングで生成される疑似長秒画像"１〜３"となる。

また、ユーザの選択フレームが縦線４２３のタイミングで表示部１０８に表示された疑似長秒画像"１〜７"に対応したフレーム、つまり撮影終了指示の検出タイミング（４３２）に対応したフレームであったとする。この場合、出力用の疑似長秒画像は、作成タイミング４０４の縦線４４２のタイミングで生成される疑似長秒画像"１〜７"となる。

また、ユーザの選択フレームが縦線４２６のタイミングで表示部１０８に表示された疑似長秒画像"１〜１４"に対応したフレーム、つまり撮影終了指示の検出タイミング（４３２）の後の追加撮像されたフレームであったとする。この場合、出力用の疑似長秒画像は、作成タイミング４０４の縦線４４４のタイミングで生成される疑似長秒画像"１〜１４"となる。

以下、図６を用いて、中間合成画像の生成と、その中間合成画像から選択フレームまでの各短秒画像を用いて最終的な出力用の疑似長秒画像を生成する処理について説明する。なお、図６に例示した画像５０１〜５１２、画像５１１、画像５１２では、図示を簡略にするため、前述の図４に例示した夜間に走行中の自動車そのものについては省略し、ライトの光の軌跡のみが描かれている。

図６の画像５０１〜５０２は、中間合成画像が生成される際に用いられる各短秒画像である。なお、本実施形態では、ユーザに対して素早く出力用の疑似長秒画像を提供可能にするために、中間合成画像は前述したように複数生成されるが、図６の例では一つの中間合成画像５２１のみを示している。図６に示した中間合成画像５２１は、短秒画像である画像５０１〜５０２を比較明合成処理５４０することで生成された画像である。なお、図６では図示を簡略にするために、複数の画像５０１〜５０２を比較明合成処理５４０するように描かれているが、実際には前述の図３で説明したように比較明合成処理は逐次行われる。このことは比較明合成処理５４１でも同様である。

また、図６の例では、画像５１１と画像５１２が、撮影終了指示の検出後に追加撮像されたフレームの短秒画像であり、ユーザによる選択フレームが画像５１２であるとする。このように、画像５１２がユーザによる選択フレームである場合、中間合成画像５２１と、撮影終了指示の検出後に追加撮影された各フレームの画像５１１，５１２とを用いた合成処理が行われる。この場合、先ず、中間合成画像５２１と画像５１１を用いた比較明合成処理５４１による合成画像が生成され、次に、その合成画像と画像５１２を用いた比較明合成処理５４１が行われる。これにより、中間合成画像５２１と撮影終了指示の検出後に追加撮影された各フレームの画像５１１，５１２とを用いて生成された出力用の合成画像５２２が得られる。

以上説明したように、本実施形態の撮像装置１００によれば、ユーザによる選択フレームまでの合成画像、つまりユーザが所望する仕上がりまでの出力用の疑似長秒画像を生成可能となっている。
また、前述した実施形態では、撮影終了指示が検出された後、所定フレーム数分の追加撮像がなされる例を挙げたが、その追加撮像される所定フレーム数は予め決められた数だけでなく、適宜変更されてもよい。例えば、所定フレーム数は少なくなされてもよいし、逆に多くなされてもよい。一例として、撮像された短秒画像の中の移動する被写体の速度が速い場合には、追加撮像されるフレーム数が多いほど光の軌跡の長さ調整が容易になる。この場合、各短秒画像内の被写体の移動速度を、フレーム間の動きベクトルの平均長さ（動きベクトル量の大きさ）を算出し、そのフレーム間の動きベクトル量の大きさに応じて、追加撮像するフレーム数を増やすようにする。また、光の軌跡の調整幅を広くするか狭くするかを予め設定可能にしておき、ユーザにより設定された調整幅に応じて、撮影終了指示の検出後に追加撮像するフレーム数を設定することを行ってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ システム制御部、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ 光学系、１０５ 撮像部、１０６ Ａ／Ｄ変換部、１０７ 画像処理部、１０８ 表示部、１０９ 記録部、１１０ 操作部

Claims (13)

1. フレームの順の複数の入力画像を順次、取得する取得手段と、
   前記フレームの順の複数の入力画像を用いて、逐次、合成処理を行って合成画像を生成する合成手段と、
   ユーザからの終了指示を検出する検出手段と、
   ユーザからの終了指示を検出した後、更に所定フレーム数分の入力画像を前記取得手段に取得させ、前記終了指示が検出されたタイミングとは異なるタイミングのフレームまでの入力画像を用いた出力用の合成画像を、前記合成手段が生成可能となるように制御する制御手段と、
   前記合成手段により逐次、生成された前記合成画像を表示する表示手段と、
   を有し、
   前記合成手段は、前記終了指示が検出されたタイミングの少なくとも時間的に前の、所定数のフレーム毎の入力画像から生成した合成画像を中間合成画像とし、
   前記制御手段は、前記終了指示が検出された後、前記終了指示が検出されたタイミングに対応したフレームまでの合成画像を、前記表示手段に表示させ、前記表示を基にユーザにより選択されたフレームまでの入力画像を用いた合成処理を前記合成手段に行わせて、前記出力用の合成画像を生成させ、前記表示を基にユーザにより選択されたフレームが前記中間合成画像の生成に用いられた入力画像のフレームより時間的に後である場合、前記中間合成画像と前記選択されたフレームまでの入力画像とを用いた合成処理を前記合成手段に行わせて前記出力用の合成画像を生成させることを特徴とする画像処理装置。
2. 前記制御手段は、前記終了指示が検出された後、前記終了指示が検出されたタイミングの時間的に前後の複数の合成画像を前記表示手段に表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記終了指示が検出されたタイミングに対応したフレームまでの合成画像をも前記中間合成画像として生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記合成手段は、前記終了指示が検出された後に、前記更に取得された所定フレーム数分の入力画像を用いた合成画像をも前記中間合成画像として生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記出力用の合成画像は記録又は配信される画像であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記取得手段は、撮像された順の撮像画像を前記入力画像として取得し、
   前記表示手段は、前記合成画像の生成に用いられた複数の入力画像がそれぞれ撮像された際の各露光時間を加算した時間を、前記合成画像とともに更新表示することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記合成手段は、前記フレームの順の前記複数の入力画像の高輝度領域を、前記入力の順に逐次、合成していくこと、又は、各画素の輝度に基づくゲインを前記各画素に乗算した後に加算していくことにより、前記フレームの順の前記複数の入力画像の中の移動体の高輝度領域の移動の軌跡を生成する前記合成処理を行うことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記合成手段は、前記合成処理で生成された合成画像と、前記合成画像の生成に使用された入力画像に対して入力の順が次のフレームの入力画像と、を用いた前記合成処理を行うことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記取得手段は、前記入力画像の中の移動体の速度に応じた数の、前記所定フレーム数の入力画像を取得することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記取得手段は、前記移動体の速度が速くなるほど多くなされる前記所定フレーム数の入力画像を取得することを特徴とする請求項９に記載の画像処理装置。
11. 前記合成手段は、ユーザから指示された調整幅に応じて、前記終了指示が検出された後に追加撮像するフレーム数を設定して前記合成画像を生成することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. フレームの順の複数の入力画像を順次、取得する取得工程と、
    前記フレームの順の複数の入力画像を用いて、逐次、合成処理を行って合成画像を生成する合成工程と、
    ユーザからの終了指示を検出する検出工程と、
    ユーザからの終了指示を検出した後、更に所定フレーム数分の入力画像を前記取得工程に取得させ、前記終了指示が検出されたタイミングとは異なるタイミングのフレームまでの入力画像を用いた出力用の合成画像を、前記合成工程で生成可能となるように制御する制御工程と、
    前記合成工程において逐次、生成された前記合成画像を表示する表示工程と、
    を有し、
    前記合成工程においては、前記終了指示が検出されたタイミングの少なくとも時間的に前の、所定数のフレーム毎の入力画像から生成した合成画像を中間合成画像とし、
    前記制御工程においては、前記終了指示が検出された後、前記終了指示が検出されたタイミングに対応したフレームまでの合成画像を、前記表示工程において表示させ、前記表示を基にユーザにより選択されたフレームまでの入力画像を用いた合成処理を前記合成工程において行わせて、前記出力用の合成画像を生成させ、前記表示を基にユーザにより選択されたフレームが前記中間合成画像の生成に用いられた入力画像のフレームより時間的に後である場合、前記中間合成画像と前記選択されたフレームまでの入力画像とを用いた合成処理を前記合成工程において行わせて前記出力用の合成画像を生成させることを特徴とする画像処理装置の画像処理方法。
13. コンピュータを、請求項１乃至１１の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images