JP6296909B2 - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Description

本発明は、連続して撮影された複数枚の画像を比較明合成する画像処理装置、画像処理方法、画像処理プログラムに関する。

従来より、複数枚の画像を撮影し、得られた各画像を比較明合成処理して合成画像を得る技術が提案されている。ここに比較明合成処理とは、複数枚の画像における同一画素位置の画素値を比較して、値が大きい方の画素値を該当画素位置の画素値とする処理である。

具体例として特開２０００−２６１７１５号公報には、一定周期毎に露光を行って被写体像の画像データを生成し、各画像データにおいて対応する画素のレベルを画素毎に比較して、大きい方を選択して画像を合成する技術が記載されている。

このような比較明合成処理は、例えば、天体撮影で星などの移動被写体の軌跡を撮影する場合であって、星以外にビルや町などの地上の風景が同時に撮影される場合に用いられる。これは、以下の理由による。まず、撮影を１回の長時間露光により行うと、星は移動する被写体であるために一定の明るさの軌跡として撮影されるが、ビル等は移動しない被写体であるために露光時間の長さに応じて画像上の明るさが明るくなってしまい、長時間露光では白飛びしてしまう。これに対して、１回の長時間露光を複数に分割する分割露光を行って、各分割露光においてビル等が適正露光となるように露光時間を設定すれば、比較明合成により得られる合成画像においてもビル等が適正露光となる。こうして、分割露光と比較明合成とを組み合わせれば、ビル等を適正露光としながら星の軌跡を撮影することができるからである。

特開２０００−２６１７１５号公報

ところで、一定輝度の移動被写体の移動経路に沿った輝度変化は、本願図２に示すように、両端の輝度が低くなる。従って、このような画像を連続的に撮影して比較明合成処理を行っても、本願図３の下段や本願図４に示すように、分割露光の境目毎に、輝度が低下した部分（あるいはさらに、軌跡の太さが細くなるまたは不連続になる部分）が生じてしまう。この輝度低下部分は、本来ならば、一定輝度かつ一定太さの軌跡となるべき部分である。

本発明は上記事情に鑑みてなされたものであり、複数枚の画像を連続して撮影し比較明合成する際に、移動被写体の軌跡に輝度低下部分が生じることのない自然な合成画像を得ることができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的としている。

本発明のある態様による画像処理装置は、画面上で移動する被写体を含む画像を連続して撮影して得られた、少なくとも第１の撮影画像、第２の撮影画像、及び第３の撮影画像を用いて合成画像を生成する画像処理装置であって、上記第１の撮影画像、上記第２の撮影画像、及び上記第３の撮影画像をそれぞれ記憶するメモリと、上記メモリに記憶された上記第１の撮影画像と、上記第２の撮影画像とを加算合成した第１の加算合成画像と、上記メモリに記憶された上記第２の撮影画像と、上記第３の撮影画像とを加算合成した第２の加算合成画像と、を生成する画像加算部と、上記第１の加算合成画像と上記第２の加算合成画像とを比較明合成して前記合成画像を生成する比較明合成部と、を備えている。

本発明のある態様による画像処理方法は、画面上で移動する被写体を含む画像を連続して撮影して得られた、少なくとも第１の撮影画像、第２の撮影画像、及び第３の撮影画像を用いて合成画像を生成する画像処理方法であって、上記第１の撮影画像、上記第２の撮影画像、及び上記第３の撮影画像をそれぞれ記憶するメモリステップと、上記メモリステップで記憶された上記第１の撮影画像と、上記第２の撮影画像とを加算合成した第１の加算合成画像と、上記メモリステップで記憶された上記第２の撮影画像と、上記第３の撮影画像とを加算合成した第２の加算合成画像と、を生成する画像加算ステップと、上記第１の加算合成画像と上記第２の加算合成画像とを比較明合成して前記合成画像を生成する比較明合成ステップと、を有している。
本発明のある態様による画像処理プログラムは、コンピュータに、画面上で移動する被写体を含む画像を連続して撮影して得られた、少なくとも第１の撮影画像、第２の撮影画像、及び第３の撮影画像を用いて合成画像を生成させるための画像処理プログラムであって、上記第１の撮影画像、上記第２の撮影画像、及び上記第３の撮影画像をそれぞれ記憶するメモリステップと、上記メモリステップで記憶された上記第１の撮影画像と、上記第２の撮影画像とを加算合成した第１の加算合成画像と、上記メモリステップで記憶された上記第２の撮影画像と、上記第３の撮影画像とを加算合成した第２の加算合成画像と、を生成する画像加算ステップと、上記第１の加算合成画像と上記第２の加算合成画像とを比較明合成して前記合成画像を生成する比較明合成ステップと、を有している。

本発明の画像処理装置、画像処理方法、画像処理プログラムによれば、複数枚の画像を連続して撮影し比較明合成する際に、移動被写体の軌跡に輝度低下部分が生じることのない自然な合成画像を得ることが可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１において、背景よりも明るい移動被写体を所定時間露光したときの、移動方向における輝度変化の様子を示す図。 上記実施形態１において、図２に示したような露光を連続的に２回行って、得られた露光画像をそのまま比較明合成したときの例を示す図。 上記実施形態１において、複数回の露光を連続的に行って比較明合成した星の画像の例を示す図。 上記実施形態１において、比較明合成を行って得た合成画像に、図３に示したような輝度低下部分が生じない露光例を示す線図。 上記実施形態１において、複数回の露光を連続的に行って得た複数枚の露光画像に基づき、途中に輝度低下部分のない比較明合成画像を得る方法を説明するための線図。 上記実施形態１における撮像処理の一部を示すフローチャート。 上記実施形態１における撮像処理の他の一部を示すフローチャート。 上記実施形態１において、複数の露光画像を順次合成していく様子を示す図。 上記実施形態１において、不均等な露光時間で分割露光を行い、３つの露光画像を加算して比較明合成の対象となる画像を生成する例を示す図。 本発明の実施形態２において、露光時間の異なる複数種類の合成画像を生成する例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１０は本発明の実施形態１を示したものであり、図１は撮像装置１の構成を示すブロック図である。

本実施形態は、連続して撮影された複数枚の画像を比較明合成する画像処理装置を撮像装置１に適用したものとなっている。

この撮像装置１は、例えばデジタルカメラとして構成されていて、撮像レンズ１１と、モータ１２と、フォーカス制御部１３と、絞り１４と、モータ１５と、絞り制御部１６と、撮像素子１７と、バス１８と、内蔵メモリ１９と、ＡＥ処理部２１と、ＡＦ処理部２２と、画像処理回路２３と、ＬＣＤドライバ２６と、ＬＣＤ２７と、圧縮伸張部２８と、着脱メモリ２９と、不揮発性メモリ３１と、電源部３２と、入力部３３と、ＣＰＵ３５と、を備えている。

撮像レンズ１１は、被写体の光学像を撮像素子１７上に結像するための撮像光学系であり、例えばフォーカスレンズを含む複数のレンズにより構成されている。

モータ１２は、フォーカスレンズを光軸方向に移動させる駆動源である。

フォーカス制御部１３は、ＣＰＵ３５からの指令に基づきモータ１２を制御して、フォーカスレンズを駆動しフォーカス位置の調整を行う。このフォーカス位置の調整により、撮像素子１７上に結像される被写体の光学像が合焦する。

絞り１４は、光学絞りを含む絞り機構であって、開口径を変化させることにより、撮像レンズ１１を通過する光束の通過範囲を調整する。この絞り１４の開口径の変化により、被写体の光学像の明るさが変化し、ボケの大きさなども変化する。

モータ１５は、所定の開口径となるように絞り１４を開閉させる駆動源である。

絞り制御部１６は、ＣＰＵ３５からの指令に基づきモータ１５を制御して、絞り１４を駆動し所定の開口径に調整する。

撮像素子１７は、２次元状に配列された複数の画素を有し、撮像レンズ１１および絞り１４を介して結像された被写体の光学像を光電変換して画像信号を生成する撮像部である。この撮像素子１７は、後述する比較明合成撮影モードにおいては、連続して複数枚の画像を撮影する。この撮像素子１７により生成された画像信号は、撮像素子１７内のＡ／Ｄ変換部、または撮像素子１７の外部に設けられたＡ／Ｄ変換部によりＡ／Ｄ変換されてデジタル画像信号（以後、デジタル画像信号を画像データという）となり、バス１８へ出力される。

バス１８は、撮像装置１内のある場所で発生した各種のデータや制御信号を、撮像装置１内の他の場所へ転送するための転送路である。本実施形態におけるバス１８は、撮像素子１７と、内蔵メモリ１９と、ＡＥ処理部２１と、ＡＦ処理部２２と、画像処理回路２３と、ＬＣＤドライバ２６と、圧縮伸張部２８と、着脱メモリ２９と、不揮発性メモリ３１と、ＣＰＵ３５と、に接続されている。

こうして、撮像素子１７からの画像データは、バス１８を介して転送され、内蔵メモリ１９に一旦記憶される。

内蔵メモリ１９は、上述した撮像素子１７により得られた画像データ、あるいは画像処理回路２３または圧縮伸張部２８において処理された画像データ等の各種データを一時的に記憶する記憶部であり、高速な書き込み／読み出しが可能なメモリとなっている。従って、内蔵メモリ１９は、画像処理回路２３が各種の画像処理を行う際のワークメモリとしても利用される。

ＡＥ処理部２１は、測光部であって、撮像素子１７により得られた画像データに基づき被写体輝度を算出する、いわゆる測光を行い、さらに算出した被写体輝度に基づき、露出レベルが適正になるような露出時間や絞り値を演算する。ＡＥ処理部２１により算出された露出時間や絞り値に基づき、ＣＰＵ３５が絞り１４の制御や撮像素子１７の露光タイミング制御（あるいは、いわゆる素子シャッタの制御）等を行い、自動露出（ＡＥ）制御が行われる。なお、被写体輝度を算出するためのデータとして、ここでは画像データを利用したが、これに代えて、撮像装置１に測光部として専用の測光センサ等を設けて、測光センサ等から得られたデータを利用するようにしても構わない。

ＡＦ処理部２２は、撮像素子１７により得られた画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、撮像レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子１７上のＡＦ用画素）を用いて位相差ＡＦを行うようにしても構わない。

画像処理回路２３は、画像データに対して、同時化処理、階調変換処理、ホワイトバランス調整処理、ノイズ低減処理、エッジ強調処理、ガンマ変換処理等の種々の画像処理を行うものであり、さらに、画像加算部２４と、比較明合成処理部２５と、を含んでいる。

画像加算部２４は、撮像素子１７により連続して撮影された複数枚の画像を、連続する２枚以上の画像でなる画像群であって、ある画像群と該画像群に続く画像群とが１枚以上の画像を共有するような画像群に分割し、分割した各画像群について、該画像群に含まれる全ての画像の画像データを加算した加算画像データを生成する。ここに、画像加算部２４による画像加算処理は、複数枚の画像の同一画素位置の画素値同士を加算して、加算画像を作成する処理である。なお、加算画像データを生成する際に、画像データにＯＢ（オプティカルブラック）のオフセット成分が含まれている場合には、単純に加算してしまうとＯＢレベルが加算枚数に応じて増加してしまうために、ＯＢ成分を減算した後に加算を行うようにすると良い。

比較明合成処理部２５は、複数枚の画像の画素値を同一画素位置毎に比較して、値が大きい方の画素値を該当画素位置の出力画素値とする比較明合成処理を行う比較明合成部である。ここで、本実施形態において比較明合成処理部２５が比較明合成処理を行う対象となる画像データは、画像加算部２４により作成された加算画像データとなっている。こうして比較明合成処理部２５は、加算画像データを比較明合成して合成画像データを生成する。

これら画像加算部２４および比較明合成処理部２５は、本実施形態においては、時系列的に撮像された複数枚の画像を比較明合成して１つの合成画像を生成する比較明合成撮影モードにおいて用いられる。比較明合成撮影モードが設定される撮影シーンの一例を挙げれば、天体撮影において移動被写体である星の軌跡を撮影する場合である。

ここに、移動被写体とは、画像上の位置が変化する被写体をいう。従って、例えば天体撮影において星の移動に合わせてカメラの撮影方向を変化させる場合（いわゆる自動追尾撮影を行う場合）には、星は画像上の位置が変化しないために移動被写体ではなく、逆に、静止している地上の風景等は画像上の位置が変化するために移動被写体となる。

天体撮影は一般に長時間露光となるが、露光開始から露光終了までを１回の露光のみにより行うと、露光状態がどのように変化しているかを確認することができない。そこで、途中経過を確認することができるように、複数回に分けての分割露光が行われている。ところで、夜空の星だけでなく、さらにビルや町などの地上の風景が同時に撮影される場合には、分割露光により得られた複数枚の画像を単純加算すると、地上の風景の明るい部分が白飛びしてしまうことになる。そのために、このような白飛びを防止することができる比較明合成の技術が採用されている。このとき、画像加算部２４は、後述するように、複数枚の画像を比較明合成する際に移動被写体の軌跡に生じる途切れを防止するために用いられる。

こうして画像処理回路２３によって各種の処理が行われた後の画像データは、内蔵メモリ１９に再び記憶される。

ＬＣＤドライバ２６は、内蔵メモリ１９に記憶されている画像データを読み出して、読み出した画像データを映像信号へ変換し、ＬＣＤ２７を駆動制御して映像信号に基づく画像をＬＣＤ２７に表示させる。このＬＣＤドライバ２６により行われる画像表示には、撮影直後の画像データを短時間だけ表示するレックビュー表示、着脱メモリ２９に記録されたＪＰＥＧファイルの再生表示、およびライブビュー表示などが含まれる。

ＬＣＤ２７は、上述したようなＬＣＤドライバ２６の駆動制御により、画像を表示すると共に、この撮像装置１に係る各種の情報を表示する。

圧縮伸張部２８は、画像データを記録する際には、内蔵メモリ１９から画像データを読み出して、読み出した画像データを例えばＪＰＥＧ圧縮方式に従って圧縮し、圧縮した画像データを内蔵メモリ１９に再び記憶させる。こうして内蔵メモリ１９に記憶された圧縮した画像データは、ＣＰＵ３５により、ファイルを構成するために必要なヘッダが付加されて記録用のデータとして整えられる。そして、ＣＰＵ３５の制御に基づき、整えられた記録用のデータが着脱メモリ２９に記録される。

また、圧縮伸張部２８は、読み出された画像データの伸張も行う。すなわち、記録済み画像の再生を行う場合には、ＣＰＵ３５の制御に基づき、例えばＪＰＥＧファイルが着脱メモリ２９から読み出され、内蔵メモリ１９に一旦記憶される。圧縮伸張部２８は、内蔵メモリ１９に記憶されたＪＰＥＧ画像データを読み出して、読み出したＪＰＥＧ画像データをＪＰＥＧ伸張方式に従って伸張し、伸張した画像データを内蔵メモリ１９に記憶させる。

着脱メモリ２９は、画像データを不揮発に記憶する記録媒体であり、例えば撮像装置１に着脱可能なメモリカード等により構成されている。従って、着脱メモリ２９は、撮像装置１に固有の構成である必要はない。

不揮発性メモリ３１は、ＣＰＵ３５により実行される処理プログラムや、処理プログラムを実行するにあたって必要なパラメータ、あるいはユーザの設定データ等の、この撮像装置１に係る各種の情報を不揮発に記憶する記憶媒体である。この不揮発性メモリ３１が記憶する情報は、ＣＰＵ３５により読み取られる。

電源部３２は、ＣＰＵ３５を含むこの撮像装置１内の各部に電力を供給する。

入力部３３は、この撮像装置１に対する各種の操作入力を行うためのものであり、撮像装置１の電源をオン／オフするめの電源ボタン、画像の撮影開始を指示するための例えば１ｓｔ（ファースト）レリーズボタンおよび２ｎｄ（セカンド）レリーズボタンの２段式操作ボタンでなるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置１の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定可能な項目には、撮影モード（通常撮影モード、比較明合成撮影モード等）、フォーカスモード（自動ＡＦモード、マニュアルフォーカス（ＭＦ）モード）、再生モードにおける再生対象ファイルの選択などが含まれている。この入力部３３に対して操作が行われると、操作内容に応じた信号がＣＰＵ３５へ出力される。

ＣＰＵ３５は、この撮像装置１内の各部を統括的に制御する制御部である。ＣＰＵ３５は、入力部３３から操作入力が行われると、不揮発性メモリ３１に記憶されている処理プログラムに従って、不揮発性メモリ３１から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。このＣＰＵ３５は、画像撮影における露光量の制御や、撮像タイミングの制御を行う撮像制御部としても機能する。例えば、比較明合成撮影モードにおいて、ＣＰＵ３５は、加算画像データが適正露光となるように、複数枚の画像の各露光時間を設定し、撮像素子１７に撮影を行わせる。

次に、図２は、背景よりも明るい移動被写体を所定時間露光したときの、移動方向における輝度変化の様子を示す図である。この図２の上段には被写体の動きを、下段には被写体の移動方向位置に応じた露光画像の輝度を、それぞれ示している。

移動方向における移動被写体の基端位置は、露光開始後に被写体がすぐに去ってしまうために輝度が低い。また、基端位置から所定量だけ移動方向に離れた点では、被写体がやってきて通過し去るために、被写体の明るさおよび通過時間に応じた一定の輝度に達する。この一定の輝度は、移動方向における移動被写体の終端位置から所定量だけ戻った点まで続く。そして、終端位置では被写体がやってきたところで露光がすぐに終了してしまうために輝度が低い。こうして、移動方向位置に応じた輝度グラフは、図２に示すように、両端で０へ収束し、中央部で一定輝度のグラフとなる。

続いて、図３は、図２に示したような露光を連続的に２回行って、得られた露光画像をそのまま比較明合成したときの例を示す図である。この図２の上段には被写体の動きを、中段には２回の露光により得られた各露光画像の輝度を、下段には２回の露光により得られた各露光画像を比較明合成した合成画像の輝度を、それぞれ示している。

図示のように、１回目の露光により得られる第１露光画像と、２回目の露光により得られる第２露光画像とは、何れも図２に示したような輝度分布となる。そして、第１露光画像および第２露光画像を比較明合成すると、明るい方の画素値が該当画素の出力画素値となるために、図３の下段に示すような輝度分布となり、第１露光画像部分と第２露光画像部分との境目に、輝度が一定値よりも低下する部分が生じている。

図４は、複数回の露光を連続的に行って比較明合成した星の画像の例を示す図である。

図３を参照して説明したように、それぞれの露光により得られた各露光画像の境目には、輝度が低い部分が生じるために、各露光画像を単純に比較明合成して得た合成画像Ｐ１には、露光画像部分ａ〜ｆの境目に輝度が低い部分（ここでは例えば、軌跡の太さが一定でないくびれ状部分、あるいは不連続部分）が生じている。

図５は、比較明合成を行って得た合成画像に、図３に示したような輝度低下部分が生じない露光例を示す線図である。この図５の上段には２回の露光により得られた各露光画像の輝度を、下段には２回の露光により得られた各露光画像を比較明合成した合成画像の輝度を、それぞれ示している。

図５の上段に示すように、１回目の露光により得られる第１露光画像と、２回目の露光により得られる第２露光画像との境目部分が、一定の輝度を維持したまま重なるような輝度分布であれば、図５の下段に示すような輝度低下が生じない合成画像を得ることができることが分かる。

ただし、図５の上段に示すような露光を実現するには、第１の露光が終了する前に第２の露光が開始される必要があり、実現することは一般に極めて困難である。

そこで本実施形態では、図６に示すような処理を行って、図５に示すような状態を実現するようにしている。

図６は、複数回の露光を連続的に行って得た複数枚の露光画像に基づき、途中に輝度低下部分のない比較明合成画像を得る方法を説明するための線図である。この図６の上段には３回の露光により得られた露光画像ａ〜ｃの輝度を、中段には露光画像ａと露光画像ｂを加算した第１露光画像および露光画像ｂと露光画像ｃを加算した第２露光画像の輝度を、下段には第１露光画像と第２露光画像を比較明合成した合成画像の輝度を、それぞれ示している。

図６の上段に示すように、３回の露光により得られる露光画像ａ〜ｃは、何れも図２に示したような輝度分布となり、もしそのまま比較明合成を行うと輝度低下部分が生じてしまう分布である。ただし、露光画像ａと露光画像ｂ、および露光画像ｂと露光画像ｃは、境目において、一定輝度の半分の輝度で輝度が交差するように各露光時間を調整したものとなっている。このような露光は、ある露光画像を読み出した直後から次の露光画像の電荷の蓄積が開始される場合に達成され、つまり、ある画像の露光終了と同時に次の画像の露光が開始されるタイミングで撮影された画像群となっている。例えば、露光画像ａを読み出すと同時に露光画像ｂの露光が開始され、露光画像ｂを読み出すと同時に露光画像ｃの露光が開始される、等の場合である。

そして、本実施形態においては、まず露光画像ａと露光画像ｂとを画像群として加算することにより、図５の第１露光画像に相当する画像を生成し、同様に、露光画像ｂと露光画像ｃとを画像群として加算することにより、図５の第２露光画像に相当する画像を生成している。上述したように、一定輝度の半分の輝度で輝度が交差するようにしているために、図６の中段に示すように、露光画像ａと露光画像ｂとから一定輝度のまま連続的に接続された第１露光画像が生成され、露光画像ｂと露光画像ｃとから一定輝度のまま連続的に接続された第２露光画像が生成される。

こうして、第１露光画像と第２露光画像とは、露光画像ｂの部分を共通して備えている（すなわち、露光画像ａと露光画像ｂとでなる第１の画像群と、露光画像ｂと露光画像ｃとでなる第２の画像群とが、１枚以上の画像（ここでは１枚の露光画像ｂ）を共有している）ために、第１露光画像と第２露光画像とを比較明合成しても輝度低下部分が生じることはなく、図６の下段に示すように一定輝度が維持された合成画像が生成される。

図７は撮像処理の一部を示すフローチャート、図８は撮像処理の他の一部を示すフローチャート、図９は複数の露光画像を順次合成していく様子を示す図である。ここに、図７および図８は１つの撮像処理の流れを示しているが、図示の都合上、２つの図面に分割したものである。

この処理を開始すると、１ｓｔレリーズボタンが押されるのを待機する（ステップＳ１）。

ここで１ｓｔレリーズボタンが押された場合には、ＡＦ処理部２２により焦点検出を行って、焦点検出結果に基づきフォーカス制御部１３を介して撮像レンズ１１のフォーカスレンズを駆動する自動焦点制御（ＡＦ）を行う（ステップＳ２）。ただし、マニュアルフォーカス（ＭＦ）モードが設定されている場合には、ＡＦ処理部２２による焦点検出は行うが、焦点検出結果に基づくフォーカスレンズの駆動については実行をスキップする。

次に、２ｎｄレリーズボタンが押されたか否かを判定する（ステップＳ３）。

ここで、２ｎｄレリーズボタンが押されていない場合には、１ｓｔレリーズボタンが離されたか否かを判定する（ステップＳ４）。そして、離された場合にはステップＳ１へ戻り、離されていない場合にはステップＳ３へ戻る。

また、ステップＳ３において、２ｎｄレリーズボタンが押された場合には、ＣＰＵ３５が撮像素子１７に露光を開始させる（ステップＳ５）。ここで開始される露光は、分割露光の１回目の露光であり、図６および図９に示す露光画像ａの露光に該当する。

そして、分割露光において設定されている露光時間に達したか否かを判定し（ステップＳ６）、達するまで待機する。

こうして、露光時間に達したところで、撮像素子１７内の画素に蓄積された画像信号を転送することにより、露光を終了する（ステップＳ７）。

撮像素子１７から読み出された露光画像ａは、画像データに変換されてバス１８を介し転送され、内蔵メモリ１９に記憶して保持される（ステップＳ８）。

続いて、分割露光の２回目に係る露光画像ｂの露光を開始して（ステップＳ９）、設定されている露光時間に達するのを待機し（ステップＳ１０）、露光時間に達したところで、露光を終了する（ステップＳ１１）。

撮像素子１７から読み出された露光画像ｂは、画像データに変換されてバス１８を介し転送され、内蔵メモリ１９に記憶して保持される（ステップＳ１２）。

その後、画像処理回路２３が内蔵メモリ１９に記憶されている画像群である露光画像ａと露光画像ｂとを読み出して、画像加算部２４により画像加算処理を行い、加算して得た画像Ａ（図９参照）を内蔵メモリ１９に記憶して保持すると共に、内蔵メモリ１９の露光画像ａをクリアする（ステップＳ１３）。

さらに、分割露光の３回目に係る露光画像ｃの露光を開始して（ステップＳ１４）、設定されている露光時間に達するのを待機し（ステップＳ１５）、露光時間に達したところで、露光を終了する（ステップＳ１６）。

撮像素子１７から読み出された露光画像ｃは、画像データに変換されてバス１８を介し転送され、内蔵メモリ１９に記憶して保持される（ステップＳ１７）。

続いて、画像処理回路２３が内蔵メモリ１９に記憶されている画像群である露光画像ｂと露光画像ｃとを読み出して、画像加算部２４により画像加算処理を行い、加算して得た画像Ｂ（図９参照）を内蔵メモリ１９に記憶して保持すると共に、内蔵メモリ１９の露光画像ｂをクリアする（ステップＳ１８）。

さらに、画像処理回路２３が内蔵メモリ１９に記憶されている画像Ａと画像Ｂとを読み出して、比較明合成処理部２５により比較明合成処理を行い、処理の結果得られた合成画像（図９参照）を内蔵メモリ１９に記憶して保持すると共に、内蔵メモリ１９の画像Ａおよび画像Ｂをクリアする（ステップＳ１９）。

以降は、上述と同様に露光画像ｄ，ｅ，ｆ，…の撮影を順次に行って、図９に示すように、画像加算部２４による画像加算処理と比較明合成処理部２５による比較明合成処理とを順次に行うことにより合成画像を更新し（ステップＳ２０）、入力部３３のレリーズボタンが離される等により撮影終了の指示入力があったところでこの処理を終了する。

なお、上述では、均等な露光時間の分割露光により連続して撮影される複数枚の露光画像ａ，ｂ，ｃ，…の内の、連続する２枚の画像を画像群として、画像群に含まれる全ての（ここでは２枚の）露光画像を加算合成することにより、比較明合成の対象となる例えば第１露光画像や第２露光画像を生成した。具体的には、露光画像ａと露光画像ｂの加算により第１露光画像を生成し、露光画像ｂと露光画像ｃの加算により第２露光画像を生成した。

しかし、このような処理に限定されるものではなく、分割露光を不均等な露光時間で行っても良いし、連続する３枚以上の画像でなる画像群に含まれる全ての画像を加算して第１露光画像や第２露光画像を生成するようにしても構わない。

図１０は不均等な露光時間で分割露光を行い、３つの露光画像を加算して比較明合成の対象となる画像を生成する例を示す図である。

この図１０に示す例では、分割露光の露光時間を長短の２種類設けて、露光画像ｂ，ｄ，…の露光時間が露光画像ａ，ｃ，ｅ，…の露光時間よりも長くなるようにしている（つまり、短時間の露光と長時間の露光とを交互に行っている）。そして、第１露光画像は露光画像ａと露光画像ｂと露光画像ｃとを加算することにより合成し、第２露光画像は露光画像ｃと露光画像ｄと露光画像ｅとを加算することにより合成している。すなわち、画像群は、長時間の露光画像を短時間の露光画像で挟み込むような組み合わせにより構成されている。

こうして、図１０に示す例においては、図６や図９に示した例に比べて、比較明合成の対象となる画像同士の重なる部分の割合が小さくなっている。

つまり、図６や図９に示した例では、分割露光における各露光画像ａ，ｂ，ｃ，…の露光時間を均等にして、比較明合成の対象となる例えば第１露光画像（露光画像ａと露光画像ｂの加算）と第２露光画像（露光画像ｂと露光画像ｃの加算）において重なる部分が、第１露光画像や第２露光画像の半分（露光画像ｂの部分）を占めるようにしていた。これに対して、この図１０に示す例では、比較明合成の対象となる例えば第１露光画像と第２露光画像において重なる部分の割合がより低くなっている。しかも、この割合は、長時間露光の露光時間と短時間露光の露光時間とを調整することにより、所望に設定することが可能となっている。

なお、上述では撮像装置１内で比較明合成処理を行ったが、加算して生成された画像Ａ，Ｂ，Ｃ，…を着脱メモリ２９に記憶し、この着脱メモリ２９を外部の機器、例えばコンピュータに読み込ませて、コンピュータに処理プログラムを実行させることにより比較明合成処理を行っても構わない。

このような実施形態１によれば、連続して撮影した複数枚の画像を、１枚以上の画像を共有する複数の画像群に分割し、分割した各画像群に含まれる全ての画像の画像データを加算した加算画像データを生成し、さらに加算画像データを比較明合成して合成画像データを生成するようにしたために、星などの移動被写体の軌跡に輝度低下部分が生じることのない自然な合成画像を得ることが可能となる。

このとき、加算画像データ（具体的には、加算画像データにおける移動被写体でない被写体）が適正露光となるように複数枚の画像の各露光時間を設定したために、最終的に得られる合成画像におけるビルや町などの地上の風景を適正露光に保つことができる。
［実施形態２］

図１１は本発明の実施形態２を示したものであり、露光時間の異なる複数種類の合成画像を生成する例を示す図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態においては、制御部であるＣＰＵ３５は、１つの画像群に含まれる画像の枚数が異なる複数種類の画像群を設定して、設定した種類毎に画像加算部２４に加算画像データを生成させ、種類毎に比較明合成処理部２５に加算画像データを比較明合成させて複数種類の合成画像データを生成させるようになっている。

すなわちまず、ＣＰＵ３５は、ＡＥ処理部２１に測光を行わせて、適正露光の露光時間を取得する。上述したような、夜空の星とビルや町などの地上の風景とを同時に撮影する場合には、地上の風景が適正露光となるように露光時間を設定することになる。

そして、ＣＰＵ３５は、適正露光の露光時間の例えば１／３の時間を分割露光の露光時間として設定し、設定した露光時間による分割露光を撮像素子１７に行わせて露光画像ａ，ｂ，ｃ，…を取得させる。

次に、ＣＰＵ３５は、１つの画像群に含まれる画像の枚数が２枚となるように画像群を設定する。そして、ＣＰＵ３５は、画像加算部２４に、取得した露光画像ａ，ｂを加算させることにより第１露光画像を生成させ、露光画像ｂ，ｃを加算させることにより第２露光画像を生成させ、…を行い、比較明合成の対象となる画像を順次生成させる。その後、ＣＰＵ３５は、こうして得られた第１露光画像、第２露光画像等を比較明合成処理部２５に比較明合成処理させて、適正露光よりも−１／３（ＥＶ）の合成画像を生成させる。

続いて、ＣＰＵ３５は、１つの画像群に含まれる画像の枚数が３枚となるように画像群を設定する。そして、ＣＰＵ３５の制御に基づいて、画像加算部２４が、露光画像ａ，ｂ，ｃを加算することにより第１露光画像を生成し、露光画像ｃ，ｄ，ｅを加算することにより第２露光画像を生成し、…を行うことにより、比較明合成の対象となる画像を順次生成する。こうして得られた画像を比較明合成処理部２５が比較明合成処理すれば、適正露光の合成画像が生成される。

さらに、ＣＰＵ３５は、１つの画像群に含まれる画像の枚数が４枚となるように画像群を設定する。そして、ＣＰＵ３５の制御に基づいて、画像加算部２４が、露光画像ａ，ｂ，ｃ，ｄを加算することにより第１露光画像を生成し、露光画像ｄ，ｅ，ｆ，ｇを加算することにより第２露光画像を生成し、…を行うことにより、比較明合成の対象となる画像を順次生成する。こうして得られた画像を比較明合成処理部２５が比較明合成処理すれば、適正露光よりも＋１／３（ＥＶ）の合成画像が生成される。

このような処理を行うことにより、適正露光画像を含む＋１／３（ＥＶ）および−１／３（ＥＶ）のオートブラケット撮影画像を、露光時間を変更してから撮影し直す必要なく、取得することができる。

なお、ここでは１／３（ＥＶ）単位のオートブラケット撮影を行うために適正露光の露光時間の１／３の時間を分割露光の露光時間として設定したが、適正露光の露光時間の１／２の時間を分割露光の露光時間として設定すれば１／２（ＥＶ）単位のオートブラケット撮影を行うことも可能であり、同様に適正露光の露光時間の任意倍の時間を分割露光の露光時間として設定することにより任意のＥＶ単位のオートブラケット撮影を行うこともできる。

また、画像の加算枚数の変化範囲をより大きくすれば、より多くの種類の合成画像を得ることができる。例えば、加算枚数を２〜５枚とすれば４種類の合成画像を得ることができるし、それ以上の種類の合成画像も同様に得ることが可能である。

従来であれば、背景（移動しない物体）が適正露光になるように１枚撮影の露出条件を決定し、複数枚を撮影して比較明合成する処理を、露出条件を変化させて複数回行うことによりオートブラケット撮影を行う必要があった。つまり、分割露光による長時間露光を、従来は露出条件の種類の数だけ行う必要があり、星の軌跡などを撮影する場合には１回の長時間露光が数時間に渡ることもあるために、複数回の撮影には大変に手間がかかっていた。あるいは、星の位置は時間と共に変化するために、そもそも再度撮影すること自体ができないこともある。

これに対して、このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、画像の枚数が異なる複数種類の画像群を設定して、設定した種類毎に加算画像データを生成し比較明合成を行って複数種類の合成画像データを生成するようにしたために、分割露光による長時間露光を１回行うだけで、露出条件の異なる複数枚の画像を取得することが可能となる。

なお、上述では主として撮像装置１に適用された画像処理装置について説明したが、該画像処理装置と同様の処理を行う画像処理方法であっても良いし、コンピュータに該画像処理方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像装置
１１…撮像レンズ
１２…モータ
１３…フォーカス制御部
１４…絞り
１５…モータ
１６…絞り制御部
１７…撮像素子
１８…バス
１９…内蔵メモリ
２１…ＡＥ処理部
２２…ＡＦ処理部
２３…画像処理回路
２４…画像加算部
２５…比較明合成処理部
２６…ＬＣＤドライバ
２７…ＬＣＤ
２８…圧縮伸張部
２９…着脱メモリ
３１…不揮発性メモリ
３２…電源部
３３…入力部
３５…ＣＰＵ

Claims (6)

1. 画面上で移動する被写体を含む画像を連続して撮影して得られた、少なくとも第１の撮影画像、第２の撮影画像、及び第３の撮影画像を用いて合成画像を生成する画像処理装置であって、
   上記第１の撮影画像、上記第２の撮影画像、及び上記第３の撮影画像をそれぞれ記憶するメモリと、
   上記メモリに記憶された上記第１の撮影画像と、上記第２の撮影画像とを加算合成した第１の加算合成画像と、上記メモリに記憶された上記第２の撮影画像と、上記第３の撮影画像とを加算合成した第２の加算合成画像と、を生成する画像加算部と、
   上記第１の加算合成画像と上記第２の加算合成画像とを比較明合成して前記合成画像を生成する比較明合成部と、
   を備えることを特徴とする画像処理装置。
2. 上記第２の撮影画像は、上記第１の撮影画像の露光終了後に撮影された画像であり、
   上記第３の撮影画像は、上記第２の撮影画像の露光終了後に撮影された画像であることを特徴とする請求項１に記載の画像処理装置。
3. １つの加算合成画像に含まれる画像の数が異なる複数種類の加算合成画像数を設定し、上記設定された加算合成画像数毎に上記画像加算部で加算合成画像を生成させ、上記設定された加算合成画像数毎に上記比較明合成部で上記加算合成画像を比較明合成させて複数種類の加算合成画像を生成させる制御部をさらに備えることを特徴とする請求項２に記載の画像処理装置。
4. 上記制御部は、上記加算合成画像数に応じて撮影画像の露光量を変化させることを特徴とする請求項３に記載の画像処理装置。
5. 画面上で移動する被写体を含む画像を連続して撮影して得られた、少なくとも第１の撮影画像、第２の撮影画像、及び第３の撮影画像を用いて合成画像を生成する画像処理方法であって、
   上記第１の撮影画像、上記第２の撮影画像、及び上記第３の撮影画像をそれぞれ記憶するメモリステップと、
   上記メモリステップで記憶された上記第１の撮影画像と、上記第２の撮影画像とを加算合成した第１の加算合成画像と、上記メモリステップで記憶された上記第２の撮影画像と、上記第３の撮影画像とを加算合成した第２の加算合成画像と、を生成する画像加算ステップと、
   上記第１の加算合成画像と上記第２の加算合成画像とを比較明合成して前記合成画像を生成する比較明合成ステップと、
   を有することを特徴とする画像処理方法。
6. コンピュータに、画面上で移動する被写体を含む画像を連続して撮影して得られた、少なくとも第１の撮影画像、第２の撮影画像、及び第３の撮影画像を用いて合成画像を生成させるための画像処理プログラムであって、
   上記第１の撮影画像、上記第２の撮影画像、及び上記第３の撮影画像をそれぞれ記憶するメモリステップと、
   上記メモリステップで記憶された上記第１の撮影画像と、上記第２の撮影画像とを加算合成した第１の加算合成画像と、上記メモリステップで記憶された上記第２の撮影画像と、上記第３の撮影画像とを加算合成した第２の加算合成画像と、を生成する画像加算ステップと、
   上記第１の加算合成画像と上記第２の加算合成画像とを比較明合成して前記合成画像を生成する比較明合成ステップと、
   を有することを特徴とする画像処理プログラム。