JP4670663B2 - 画像生成装置および画像生成プログラム - Google Patents

Description

本発明は、画像合成によるブラケット画像生成装置およびプログラムに関する。

分割測光装置の各センサから得られた輝度情報に基づき、連続撮影時の各コマの露光条件をそれぞれ異ならせることで、露光条件の異なる複数の画像（ブラケット画像）を得るものが、下記特許文献１に開示されている。
特開平１−３１０３３０号公報

しかし、上記特許文献によれば、同一時刻におけるブラケット画像を得ることができないという問題がある。

請求項１に記載の発明は、複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの動画像を生成する画像生成装置において、入力される複数のフレーム画像のうちの１つのフレーム画像を基準フレーム画像とし、基準フレームの後に入力される残りのフレーム画像のそれぞれの変化量を算出する算出手段と、算出された各変化量に基づいて、残りのフレーム画像の各々が基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手段と、少なくとも、基準フレーム画像と修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および第１の修正画像とは異なる第２の修正画像とその第１合成画像とを合成した第２合成画像を生成する合成手段と、基準フレーム画像、第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手段とを備え、基準フレーム画像は、時間的に連続する複数のフレーム画像のうち、ブラケット動画像の生成に供するフレーム画像の入力指示の後、最初に算出手段に入力されたフレーム画像であり、算出手段は、複数のフレーム画像から選択されたフレーム画像を、順次、基準フレーム画像として、当該順次の基準フレーム画像と残りのフレーム画像のそれぞれとの間で変化量を算出し、修正手段は、順次の基準フレームごとに、変化量に基づいて残りのフレーム画像のそれぞれを修正し、合成手段は、順次の基準フレームごとに、当該基準フレーム画像、第１および第２合成画像を組として、複数組からなる明るさの異なる動画像を生成し、同一の組を構成する基準フレーム画像、第１合成画像および第２合成画像には、再生順を示す同一の識別番号が付与され、識別番号によって示される再生順に従って、基準フレーム画像、第１合成画像、または第２合成画像を出力フレーム画像として出力する出力手段と、明るさの異なる動画像のうちのいずれか１つの動画像の再生中に、出力手段より出力する画像を基準フレーム画像と第１合成画像と第２合成画像との間で切り換える切換手段と、動画像の再生中に切換手段が出力手段より出力する画像を切り換える際に、出力手段により出力された組の出力フレーム画像の識別番号と、切換手段による切り換え後に出力手段により出力される組の出力フレーム画像の識別番号とが再生順に連続して並ぶように、切り換え後の組の出力フレーム画像を識別番号に基づいて選択する選択手段とを備えることを特徴とする。
請求項２に記載の発明は、複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの動画像を生成する画像生成装置において、基準フレーム画像に対する複数のフレーム画像のそれぞれの変化量を算出する算出手段と、算出された各変化量に基づいて、複数のフレーム画像の各々が基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手段と、少なくとも、基準フレーム画像と修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および第１の修正画像とは異なる第２の修正画像とその第１合成画像とを合成した第２合成画像を生成する合成手段と、基準フレーム画像、第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手段とを備え、算出手段は、時間的に連続する複数のフレーム画像を、順次、基準フレーム画像として、当該順次の基準フレーム画像と他のフレーム画像との間で変化量を算出し、修正手段は、順次の基準フレームごとに、変化量に基づいた画像の修正を行い、合成手段は、順次の基準フレームごとに、当該基準フレーム画像、第１および第２合成画像を組として、複数組からなる明るさの異なる動画像を生成することを特徴とする。
請求項３に記載の発明は、複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの動画像を生成する画像生成装置において、基準フレーム画像に対する複数のフレーム画像のそれぞれの変化量を算出する算出手段と、算出された各変化量に基づいて、複数のフレーム画像の各々が基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手段と、少なくとも、基準フレーム画像と修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および第１の修正画像とは異なる第２の修正画像とその第１合成画像とを合成した第２合成画像を生成する合成手段と、基準フレーム画像、第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手段とを備え、算出手段は、同一シーンで明るさが異なる複数枚のブラケット動画像を生成する際に、第２合成画像の生成に際しての変化量の算出以降において、合成手段によって第１合成画像の生成以降に生成された合成画像を基準フレーム画像として、変化量を算出することを特徴とする。
請求項４に記載の発明は、請求項２に記載の画像生成装置において、同一の組を構成する基準フレーム画像、第１合成画像および第２合成画像には、再生順を示す同一の識別番号が付与されていることを特徴とする。
請求項５に記載の発明は、請求項４に記載の画像処理装置において、識別番号によって示される再生順に従って、基準フレーム画像、第１合成画像、または第２合成画像を出力フレーム画像として出力する出力手段と、明るさの異なる動画像のうちのいずれか１つの動画像の再生中に、出力手段より出力する画像を基準フレーム画像と第１合成画像と第２合成画像との間で切り換える切換手段と、動画像の再生中に切換手段が出力手段より出力する画像を切り換える際に、出力手段により出力された組の出力フレーム画像の識別番号と、切換手段による切り換え後に出力手段により出力される組の出力フレーム画像の識別番号とが再生順に連続して並ぶように、切り換え後の組の出力フレーム画像を識別番号に基づいて選択する選択手段とを備えることを特徴とする。
請求項６に記載の発明は、複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの動画像を生成する画像生成装置において、基準フレーム画像に対する複数のフレーム画像のそれぞれの変化量を算出する算出手段と、算出された各変化量に基づいて、複数のフレーム画像の各々が基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手段と、少なくとも、基準フレーム画像と修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および第１の修正画像とは異なる第２の修正画像とその第１合成画像とを合成した第２合成画像を生成する合成手段と、基準フレーム画像、第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手段とを備え、算出手段は、複数のフレーム画像から選択されたフレーム画像を、順次、基準フレーム画像として、当該順次の基準フレーム画像と他のフレーム画像との間で変化量を算出し、修正手段は、順次の基準フレームごとに、変化量に基づいた画像の修正を行い、合成手段は、順次の基準フレームごとに、当該基準フレーム画像、第１および第２合成画像を組として、複数組からなる明るさの異なる動画像を生成することを特徴とする。
請求項７〜１１に記載の発明は、それぞれ請求項１，２および請求項４〜６に記載の画像生成処理をコンピュータで実行するための画像生成プログラムである。

本発明によれば、同一時刻における同一シーンについて露出状態の異なる複数の画像が撮影可能である。

以下、図面に基づき本発明による画像生成装置を備える撮像システムの実施の形態を説明する。
図１に本実施の形態による撮像システムのブロックダイアグラムを示す。撮像システムは、拡大光学系を含む複数のレンズで構成される撮像レンズ２と、ＣＣＤやＣＭＯＳなどから構成される電子シャッタ動作が可能な撮像素子１と、撮像素子１から読み出された映像信号に信号処理を加え、画像データを出力する信号処理回路４と、撮像した画像に対応する画像データを一時的に蓄えるバッファメモリ５と、画像データに演算処理を施すデータ処理回路６と、画像データに圧縮処理を加える圧縮回路８と、圧縮画像データを記録する記録媒体９と、撮影、信号処理、記録動作などに関する各種制御を実行するためのＣＰＵやその周辺回路を含む制御回路１０と、静止画または動画の撮像、記録を指示する指示操作部材１１と、動画撮影モード、静止画撮影モード、および複数フレーム画像を加算する画像加算モードの中から１つの撮像モードを設定するモード設定操作部材１２とを備える。なお、モード設定操作部材１２により画像加算モードが設定された場合は、さらに静止画加算もしくは動画加算を選択できる。また、３は撮像素子１から映像信号を読み出す駆動回路、７は外部接続機器への出力端子、１３は絞り駆動回路１４により駆動される絞り、１５は撮像レンズ２を駆動させるレンズ駆動回路である。

操作部材１２の操作により動画撮影モードもしくは静止画撮影モードが設定され、操作部材１１の操作により撮像、記録が指示されると、撮像レンズ２により撮像素子１の撮像面上に結像された被写体像に対応する蓄積電荷は、駆動回路３からの駆動信号によって映像信号として撮像素子１から読み出される。撮像素子１から読み出された映像信号は、信号処理回路４に入力されて直流再生、Ａ／Ｄ変換、ホワイトバランス、ガンマ変換、電子ズームなどの信号処理が行なわれ、画像データとして出力される。この画像データはバッファメモリ５に入力された後、出力端子７より不図示のモニタやコンピュータなどの外部機器に送出されると共に、圧縮回路８に入力されてＪＰＥＧ形式あるいはＭＰＥＧ形式などによる圧縮処理が施され、撮像素子１の電荷蓄積時間情報や圧縮動作の圧縮率情報などの画像データに関連する付帯データとともに記録媒体９に記録される。

なお、圧縮された画像データを復号化する機能を圧縮回路８に付加し、制御回路１０の制御に基づいて、記録媒体９に記録された圧縮画像データに対応する画像データを出力端子７より出力可能な構成としてもよい。あるいは、圧縮画像データそのものを出力端子７より出力可能な構成としてもよい。

操作部材１２の操作により画像加算モードが選択され、操作部材１１の操作により撮像、記録が指示された場合、制御回路１０は、撮像素子１の電子シャッタ時間（電荷蓄積時間）を最適な露光量が得られる時間よりも短く設定し、像ブレによる影響を減少させる。撮像素子１より読み出された各フレームの映像信号は、信号処理回路４で前述の処理が施された後、連続する複数の画像データとしてバッファメモリ５に入力される。データ処理回路６は、これらの複数フレームの画像データに対して、後述するフレーム間の演算処理を行い、演算結果を順次バッファメモリ５に記憶する。この演算処理は、データ処理回路６により行われる。演算処理の施された画像データは、上述した静止画撮影モードあるいは動画撮影モードと同様に不図示のモニタやコンピュータなどの外部機器に送出されると共に、圧縮されて付帯データとともに記録媒体９に記録される。

図２は、画像加算モードにおいて静止画加算が選択された場合のデータ処理回路６の画像処理を説明する図である。ここで、デフォルトとして設定された露出状態（明るさ）の異なる５フレームの静止画像を得る場合について説明する。各フレームの入力画像データの輝度（明るさ）は適正露光量の１／３として説明する。なお、フレーム数はユーザ操作により設定可能である。また、デフォルトで設定されるフレーム数は５フレームに限定されるものではない。

図２（ａ）に示すように、撮影、記録指示により、バッファメモリ５に１番目のフレーム［１］の画像データが入力され、引き続きフレーム［２］、フレーム［３］、フレーム［４］、フレーム［５］の各々の画像データが順次入力される。データ処理回路６により、バッファメモリ５に記憶されたフレーム［１］の画像データが読み出され、フレーム｛１｝の画像データとしてデータ処理回路６に記憶される（図２（ｂ）参照）と共に、圧縮回路８で圧縮処理が施された後、記録媒体９に記録される。バッファメモリ５に記憶されたフレーム［２］の画像データについても同様に、データ処理回路６により読み出される。

図２（ｂ）に示すように、データ処理回路６により、フレーム｛１｝の画像データを基準として、フレーム［２］の画像データに対して動き補償処理が施される。動き補償処理は、たとえば周知のブロックマッチング処理を用いて行われる。

ブロックマッチング処理とは、２つの画像Ａ、Ｂに対して次の処理を行うことにより、画像Ａを基準として画像Ｂの重ね合わせ位置を画像Ａに合わせ込むものである。まず、２つの画像Ａ、ＢのそれぞれをブロックＡ１、Ａ２、・・・、Ａｎ、およびＢ１、Ｂ２、・・・、Ｂｎに分割する。次に、Ａ１とＢ１、Ａ２とＢ２、・・・、ＡｎとＢｎのように各ブロックの対応付けを行う。さらに、ブロックＡ１とブロックＢ１との間で、コントラスト情報などに基づいて、ブロックＡ１の画像に対するブロックＢ１の画像の移動ベクトルを算出する。最後にブロックＢ１の画像をベクトル分だけ移動させる。上記の処理を対応付けされたすべてのブロック間で行い、画像Ｂの重ね合わせ位置を画像Ａに合わせ込む。すなわち、画像Ｂが画像Ａと同一のシーンとなるように画像Ｂを修正（動き補償）する。

上記の処理により動き補償処理の施されたフレーム［２］ｒの画像を構成する各ブロックは、データ処理回路６によりフレーム｛１｝の画像を構成する各ブロックに対応付けされ、加算処理が行なわれる。加算処理の施されたフレーム｛２｝の画像データは、図２（ｃ）に示すように、バッファメモリ５に格納され、その後に出力端子７から出力されると共に、圧縮回路８に入力され、データ圧縮処理が施された後、記録媒体９に記録される。

上記の処理により、フレーム［１］とフレーム［２］との間に手振れや被写体の動きがある場合であっても、振れの無い、すなわち、フレーム［１］と同一シーンの合成画像フレーム｛２｝を得ることができる。また、加算処理によって得られたフレーム｛２｝の画像は、フレーム｛１｝の画像の明るさの２倍、すなわち適正露出時の２／３倍に相当する明るさになる。

フレーム［２］の画像データに続いてバッファメモリ５に入力されるフレーム［３］の画像データに対しても、同様に、データ処理回路６によりフレーム｛１｝を基準とした動き補償処理が施される。すなわち、動き補償処理の施されたフレーム［３］ｒの画像を構成する各ブロックは、データ処理回路６によりフレーム｛２｝の画像を構成する各ブロックに対応付けされ、加算処理が行われる。加算処理の施されたフレーム｛３｝の画像データは、フレーム｛２｝の画像データと同様に、バッファメモリ５に格納され、その後に出力端子７より出力されると共に、圧縮回路８に入力され、データ圧縮処理が施された後、記録媒体９に記録される。なお、フレーム［３］の動き補償処理の基準となるフレーム画像として、フレーム［２］ｒを用いてもよい。この場合、フレーム［２］ｒはフレーム｛１｝を基準として動き補償されたものなので、結果的にフレーム｛１｝を基準としてフレーム［３］を動き補償したことになる。

上記の処理により、フレーム［１］とフレーム［３］との間に手振れや被写体の動きがある場合であっても、振れの無い合成画像フレーム｛３｝を得ることができる。また、加算処理によって得られたフレーム｛３｝の画像は、フレーム｛１｝の画像の明るさの３倍、すなわち、適正露出に相当する明るさとなる。

フレーム［４］、フレーム［５］についても同様の処理を行ない、フレーム｛４｝、フレーム｛５｝を得る。なお、この場合のフレーム｛４｝の明るさは、適正露出時の４／３倍、フレーム｛５｝の明るさは、適正露出時の５／３倍となる。したがって、フレーム画像の入力動作を行いながら、同一シーンについて露出状態（明るさ）が１／３段ずつ異なる５種類の静止画像を得ることができる。

図３は、画像加算モードにおいて動画加算が選択された場合のデータ処理回路６の画像処理を説明する図である。ここでは、デフォルトとして設定された露出状態の異なる３種類の動画像を得る場合について説明する。各フレームの入力画像データの輝度（明るさ）は適正露出時の１／２として説明する。以下の説明において、３つの露出状態をＡ、Ｂ、Ｃで表す。露出状態Ａは適正露出の１／２、露出状態Ｂは適正露出、露出状態Ｃは適正露出の３／２の明るさである。なお、露出状態の異なる動画像の数はユーザ操作により設定可能であり、デフォルトで設定される露出状態の異なる動画像の数は３種類に限定されるものではない。

図３（ａ）に示す通り、撮影、記録指示により、バッファメモリ５には、撮像素子１からフレーム［１］、フレーム［２］、・・・フレーム［５］、・・・のように複数フレームの画像データが入力される。１番目のフレーム［１］の画像データのバッファメモリ５への入力に続き、２番目のフレーム［２］の画像データがバッファメモリ５に入力される。フレーム［１］の画像データはデータ処理回路６によりバッファメモリ５から読み出され、フレーム{１}Ａとしてデータ処理回路６に記憶されると共に、圧縮回路８で圧縮処理が施された後、記録媒体９に記録される。バッファメモリ５に記憶されたフレーム［２］の画像データについても同様に、データ処理回路６によりバッファメモリ５から読み出される。

図３（ｂ）に示すように、データ処理回路６では、フレーム｛１｝Ａの画像データを基準として、フレーム［２］の画像データに対して動き補償処理を施す。動き補償処理は、静止画像の場合と同様に、周知のブロックマッチング処理により各ブロックの対応付けを行なって実行される。上記の処理により動き補償処理の施されたフレーム［２］ｒの画像を構成する各ブロックは、データ処理回路６によりフレーム｛１｝Ａの画像を構成する各ブロックに対応付けされ、加算処理される。加算処理後のデータをフレーム｛１｝Ｂと表す。フレーム｛１｝Ｂの画像データはバッファメモリ５に格納され、圧縮回路８に入力され、データ圧縮処理が施された後、記録媒体９に記録される。

上記の処理により、フレーム［１］とフレーム［２］との間に手振れや被写体の動きがある場合であっても、振れの無い、すなわち、フレーム［１］と同一シーンの合成画像フレーム｛１｝Ｂを得ることができる。また、加算処理によって得られたフレーム｛１｝Ｂの画像は、フレーム｛１｝Ａの画像の明るさの２倍、すなわち適正露出に相当する明るさになる。

フレーム［２］の画像データに続いてバッファメモリ５に入力されるフレーム［３］の画像データに対しても、同様に、データ処理回路６によりフレーム｛１｝Ａの画像データを基準とした動き補償処理が施される。すなわち、動き補償処理の施されたフレーム［３］ｒの画像を構成する各ブロックは、データ処理回路６によりフレーム｛１｝Ｂ（あるいはフレーム｛１｝Ａ）の画像を構成する各ブロックと対応付けされ、加算処理される。加算処理の施されたフレーム｛１｝Ｃの画像データは、フレーム｛１｝Ｂの画像データと同様に、バッファメモリ５に格納された後に出力端子７より出力されると共に、圧縮回路８に入力され、データ圧縮処理が施された後、記録媒体９に記録される。

上記の処理により、フレーム［１］とフレーム［３］との間に手振れや被写体の動きがある場合であっても、振れの無い、すなわち、フレーム［１］と同一シーンの合成画像フレーム｛１｝Ｃを得ることができる。また、加算処理によって得られたフレーム｛１｝Ｃの画像は、フレーム｛１｝Ａの画像の明るさの３倍、すなわち、適正露出の３／２に相当する明るさとなる。なお、フレーム｛１｝Ｃの画像を得る際に、フレーム｛１｝Ｂあるいはフレーム［２］ｒの画像データを重ね合わせ処理の基準として動き補償処理を施す構成としてもよい。

上記のようにして、露出状態の異なる動き補償の施された３つの動画像の１フレーム目の画像データ｛１｝Ａ、｛１｝Ｂ、｛１｝Ｃを得る。ここで、３つの画像データ［｛１｝Ａ、｛１｝Ｂ、｛１｝Ｃ］には、フレームを再生する場合の画像表示順序を示す再生表示順序データが付与されて記録される。この再生表示順序データが付与されたフレームを［｛１｝Ａ１、｛１｝Ｂ１、｛１｝Ｃ１］と表記する。

次に、データ処理回路６は、フレーム［２］、［３］、［４］の各画像データに対して、フレーム［２］の画像データを基準として上述と同様の処理を行うことで、露出状態の異なる動き補償の施された出力画像データ［｛２｝Ａ２、｛２｝Ｂ２、｛２｝Ｃ２］を得る。以下、フレーム［３］、［４］、［５］、フレーム［４］、［５］、［６］、・・・についても同様の処理を行ない、露出状態の異なる動き補償の施された出力画像データ［｛３｝Ａ３、｛３｝Ｂ３、｛３｝Ｃ３］、［｛４｝Ａ４、｛４｝Ｂ４、｛４｝Ｃ４］、・・・を得る。したがって、フレーム動画像［１］、［２］、・・・、［６］、・・・の入力動作と並行して、露出状態がＡ、Ｂ、Ｃの３段階で異なる同一場面を撮像した動画像［｛１｝Ａ１、｛２｝Ａ２、・・・、｛６｝Ａ６、・・・］と、［｛１｝Ｂ１、｛２｝Ｂ２、・・・、｛６｝Ｂ６、・・・］と、［｛１｝Ｃ１、｛２｝Ｃ２、・・・、｛６｝Ｃ６、・・・］のような画像データ列を得ることができる。

本実施の形態では、図３に示すように、上述のようにして得られた異なる露出状態の動画像を選択スイッチ１００により選択して表示することができる。そして、次に説明するように、動画像の切り換えをスムーズに行えるようにしている。ここで、選択スイッチ１００により、露出状態Ａの動画像を再生中に、露出状態の異なる動画像に変更した場合について説明する。
露出状態Ａでｎ番目のフレーム画像｛ｎ｝Ａｎが再生された後に、露出状態Ｂに切り換えられたとする。再生表示順序データに従い、次に再生すべきｎ＋１番目のフレーム画像を露出状態Ｂのフレーム中から検出して、｛ｎ＋１｝Ｂｎ＋１を再生する。以後、露出状態が変更されるまで露出状態Ｂの画像が順に再生される。ｍ番目のフレーム画像｛ｍ｝Ｂｍが再生された後に、露出状態がＣに切り換えられた場合でも、同様にして｛ｍ＋１｝Ｃｍ＋１が再生される。

以上のように、再生順序が定められているので、動画像を再生中に異なる露出状態に変更した場合でも、再生画像の被写体に不連続な不自然な動きが発生しない。なお、以上で説明した異なる露出状態の複数の動画像生成処理を、静止画本撮影の前段階に予備的に行われるスルー画撮影動作に適用させることもできる。このような場合、たとえば上述の｛１｝Ａ１と｛１｝Ｂ１と｛１｝Ｃ１とは、同じ時刻に出力される必要がある。ここで、｛１｝Ａ１の画像データは、フレーム［１］の画像データがバッファメモリ５から読み出されると、すぐに選択スイッチ１００より出力されることが可能となる。一方、上述の｛１｝Ｂ１の画像データと｛１｝Ｃ１の画像データとは、図３に示すように、各々フレーム［２］、［３］の画像データがバッファメモリ５から読み出され、上述の加算処理が施された後に、選択スイッチ１００より出力することが可能となる。

したがって、｛１｝Ａ１と｛１｝Ｂ１と｛１｝Ｃ１とを同じ時刻に選択スイッチ１００より出力する構成とするために、｛１｝Ａ１の画像データを｛１｝Ｂ１と比較して、より遅延させて出力させ、結果として上述の｛１｝Ａ１と｛１｝Ｂ１と｛１｝Ｃ１とを同じタイミングで出力させる。この遅延量の制御は、たとえば、選択スイッチ１００に出力される画像データが記憶されるメモリ素子の読出し制御信号（Ｒｅａｄ Ｅｎａｂｌｅ）の制御によって実現することができる。

このような構成とすることにより、被写体像に不自然な動きを発生させることなく、異なる露出状態の撮像動画像を切り替えて視認することができる。
また、上記実施の形態においては、時間的に連続して入力される撮像画像データに対して動き補償処理を施して、露出状態の異なる複数種類の画像を得る例について説明したが、本発明は時にこれに限定されることはなく、時間的に離間して入力された複数フレームの画像についても同様に適用することができる。

以上で説明した、本実施形態による撮像システムによれば、次の作用効果が得られる。
（１）時間的に連続で入力する複数のフレーム画像を用いて、露出状態（明るさ）の異なる複数の静止画像を得る場合に、基準フレームは同一のフレームを用いることとした。すなわち、基準フレーム画像に続いて入力されるすべてのフレーム画像に対して、基準フレーム画像との変化量に基づいて動き補償処理を施して基準フレームと同一シーンとし、それらの画像を加算処理するようにしたので、同一シーンに対して露光状態の異なる静止画像を複数得ることができる。同一シーンとは、言い換えれば同一時刻に撮像された被写体とみなすことができる。したがって、本実施の形態によって、同一時刻における露光状態の異なる複数の静止画像を得ることができる。

（２）連続して入力されるフレーム画像を順次に基準フレーム画像としながら、上述した動き補償処理と加算演算とを行うことにより、露出状態の異なる複数の動画像を得るようにした。すなわち、最初に入力されるフレーム画像を基準として露出条件の異なる複数の合成フレームを生成し、次に２番目に入力されたフレーム画像を基準として複数の露出条件の異なる合成フレームを生成し、３番目以降に入力されたフレーム画像についても同様の処理を行い、順次、基準とするフレーム画像をずらし、それぞれの入力フレームに対して複数の露出条件の異なる合成フレームを生成し、合成されたフレーム順に出力することで、露出条件の異なる複数の動画像を得ることができる。

（３）露出状態の異なる複数の動画像を生成する場合に、動き補償と加算演算の施されたフレームの再生順序を規定するデータを付与するようにした。そして、ある露出状態の動画像を再生中に異なる露出状態の画像再生に切り換えた場合であっても、再生表示順序データの示す順番に従ってフレーム画像を再生することができる。したがって、画像再生中に異なる露出状態に切り換えた際も、再生画像の被写体に不自然な動きが発生することがなくなる。また、出力端子７を介して画像データをパソコンなどに取り込み、編集などをする場合に、再生中に露出状態を変更しても被写体の動作に不自然さを伴わないので、編集作業に支障を来たさなくなる。

（４）動き補償と加算演算とを行う場合の基準フレーム画像を、最初に入力されたフレーム画像とした。たとえば、静止画像で画像加算処理をする場合において、フレーム［１］〜［５］のうちフレーム［５］を基準とすると、フレーム［１］〜［５］を全てバッファメモリ５に記録してからフレーム［５］を基準として、動き補償処理と加算処理とを施すことになる。つまり、加算するフレーム数が多くなると、画像生成処理が迅速に行われず、さらにバッファメモリ５を大容量化する必要がある。したがって、基準フレーム画像を最初に入力されたフレーム画像としたので、迅速に画像生成処理ができ、かつバッファメモリ５を大容量にせずに済む。

（５）基準フレーム画像に動き補償処理の施された修正画像（動き補償画像）を加算して、露光状態の異なる複数の静止画像および動画像を得るようにした。したがって、ランダムノイズによる影響を平均化することができるので、基準フレーム画像を重ね合わせする場合、換言すると基準フレーム画像の増幅度を変更する場合に比べてノイズによる画質の低下を防ぐことができる。

なお、上記実施の形態における動画像生成の場合に、入力フレームと出力フレームのレートを同一としたが、出力フレームのレートを入力フレームのレートより低くしてもよい。すなわち、図４に示すように、入力フレーム［１］、［２］、［３］より出力フレーム｛１｝Ａ、｛１｝Ｂ、｛１｝Ｃを作成し、入力フレーム［３］、［４］、［５］より出力フレーム｛３｝Ａ、｛３｝Ｂ、｛３｝Ｃを作成し、以下同様に出力フレームを作成することで出力レートの低い動画像を得ることができる。

実施の形態の説明では、電子シャッタを用いる撮像システムとしたが、機械式シャッタを用いるものであっても、電子シャッタと機械式シャッタとの両者を併用するものであってもよい。

また、図１のブロックダイアグラムに示した撮像素子１や信号処理回路４や記録媒体９などの各ユニットは個別の装置として設けられるものであってもよい。たとえば、記録媒体９が分離した個別の装置として設けられる場合、記録媒体９と電気的に接続するための接続コネクタなどが設けられ、無線接続の場合は、アンテナが設けられる。

以上の実施の形態では、図２や図３に示した動作を実行するプログラムをデータ処理回路６に格納した撮像システムについて説明した。また、画像加算演算処理は撮像システムで行うものとして説明したが、コンピュータに取り込まれた画像に対して行うものであってもよい。本発明は、このような場合の処理を実行する際にインストールされるソフトウエアに対しても適用できる。その場合のフローチャートを図５および図６に示す。図５、図６は各々バッチ処理、リアルタイム処理を示すものである。

図５に示すフローチャートにおける各処理を説明する。
ステップＳ１では、フレーム画像を入力しステップＳ２へ進む。ステップＳ２では、基準フレーム画像とは異なる時間に撮像（入力）されたフレーム画像の変位量を算出しステップＳ３へ進む。ステップＳ３では、ステップＳ２で算出された変位量に基づき動き補償処理を行いステップＳ４へ進む。

ステップＳ４では、動き補償処理の施されたフレーム画像と基準フレーム画像とを合成し、ステップＳ５へ進む。ステップＳ５では、合成されたフレーム画像を記憶媒体に記憶して、ステップＳ６へ進む。ステップＳ６では、取得されたフレーム画像が所定数に達したか否かを判定する。否定された場合、すなわちフレーム画像が所定数取得されていないと判定された場合は、ステップＳ１へ戻る。肯定された場合、すなわちフレーム画像が所定数取得されたと判定された場合は、本フローチャートに示す各処理を終了する。

図６に示すフローチャートにおける各処理を説明する。
ステップＳ１００では、たとえば、変数ｉを１、変数ｓを１、変数Ｎを３に設定し、ステップＳ１０２へ進む。ここで、変数Ｎは、加算するフレーム数、すなわち、生成しようとする同一シーンにおける露出状態の異なる画像の数を示し、変数ｉは入力される画像の番号、変数ｓは動き補償処理の際に規準とする画像の番号を示す。

ステップＳ１０２では、フレーム［ｉ］の画像データを外部から入力しバッファメモリ５に記録して、ステップＳ１０４へ進む。ステップＳ１０４では、ｉ＜Ｎであるか否かを判定する。肯定された場合、すなわち、ｉ＜Ｎであると判定された場合にはステップＳ１０６へ進む。ステップＳ１０６では、ｉ＝ｉ＋１の演算処理が施され、ステップＳ１０２へ戻る。

一方、ステップＳ１０４が否定された場合、すなわち、ｉ＜Ｎではないと判定された場合にはステップＳ１０８へ進む。このようにして、たとえば、上述の変数設定がなされた際には、ステップＳ１０４が否定判定された段階で、フレーム［１］、［２］、［３］の各々の画像データがバッファメモリ５に記録される。

ステップＳ１０８では、フレーム［ｓ］の画像データを基準として、フレーム［ｓ］〜フレーム［ｓ＋Ｎ−１］のＮフレームの各々のフレーム画像データに対して動き補償処理を施す。Ｎ＝３に設定され、初めてステップＳ１０８の処理を行う場合には、ステップＳ１００でｓ＝１に設定されているので、フレーム［１］の画像データを基準として、フレーム［１］〜フレーム［３］の３フレームの各々のフレーム画像に対して動き補償処理が施される。ここで、フレーム［１］の画像データに関しては、動き補償処理の基準となる画像データと動き補償処理の対象となる画像データとが同一である。したがって、フレーム［１］の画像データに対しては、実質的に動き補償処理は施されない。

ステップＳ１０８に続くステップＳ１１０では、以下の加算処理を行う。
（１）フレーム［ｓ］の画像データを、ある時刻における明るさ［ｋ］の画像データとして記録媒体９へ記録する。ここで記録される画像データは、たとえば図３の｛１｝Ａ１に対応する。

（２）フレーム［ｓ］の画像データと動き補償されたフレーム［ｓ＋１］の画像データとを画素毎に加算処理して、加算結果を上記（１）と同じ時刻における明るさ［ｋ＋１］の画像データとして記録媒体９に記録する。ここで記録される画像データは、たとえば図３の｛１｝Ｂ１に対応する。

（３）フレーム［ｓ］の画像データ、動き補償されたフレーム［ｓ＋１］の画像データ、および動き補償されたフレーム［ｓ＋２］（すなわち、［ｓ＋Ｎ−１］）の画像データを画素毎に加算処理して、加算結果を上記（１）と同じ時刻における明るさ［ｋ＋２］の画像データとして記録媒体９に記録する。ここで記録される画像データは、たとえば、図３の｛１｝Ｃ１に対応する。

上述のようにして、ステップＳ１１０では、同じ時刻における３種類の明るさのフレーム画像データが生成され、ステップＳ１１２へ進む。なお、上記（３）における加算処理は、上記（２）における加算結果と、動き補償されたフレーム［ｓ＋２］（すなわち、［ｓ＋Ｎ−１］）の画像データとを画素毎に重み付け加算する処理としても実質的に同じ処理となる。

ステップＳ１１２では、ある時刻における明るさ［ｋ］、［ｋ＋１］、［ｋ＋２］の画像を、表示装置に表示などするために、各々同じタイミングで出力することを可能とし、ステップＳ１１４へ進む。ステップＳ１１４では、ｓ＝ｓ＋１の演算処理を行い、ステップＳ１１６へ進む。

ステップＳ１１６では、次に入力される画像があるか否かを判定する。肯定された場合、すなわち、次に入力される画像があると判定された場合は、ステップＳ１１８へ進む。ステップＳ１１８では、フレーム［ｓ＋Ｎ］（すなわち、［ｓ＋３］）の画像を外部から入力してバッファメモリ５に記録して、ステップＳ１０８へ戻る。

たとえば、ステップＳ１１０で、フレーム［１］、［２］、［３］の画像データから明るさ［ｋ］、［ｋ＋１］、［ｋ＋２］の画像データが生成された後のステップＳ１１８では、フレーム［４］（１＋３＝４）の画像データが外部から入力されて、バッファメモリ５へ記録される。この後のステップＳ１０８では、ステップＳ１１４でｓ＝２に設定されているので、フレーム［２］の画像データを基準として、フレーム［２］、［３］、［４］の３フレームの各々のフレーム画像データに対して動き補償処理を施す。その後、動き補償されたフレーム［２］、［３］、［４］の３フレームの各々のフレーム画像データを用いて、上述のステップＳ１１０〜ステップＳ１１６の処理が施される。
一方、ステップＳ１１６が否定された場合、すなわち、次に入力される画像がないと判定された場合は、処理を終了する。

図６の実施の形態においては、入力される画像データが動画像の場合について説明したが、静止画の場合においても同様に適用することができる。この場合には、ステップＳ１１０が終了した時点で処理を終了する。

また、上記の説明においては、生成しようとする同一シーンにおける露出状態の異なる画像の数Ｎに対応するフレーム数の画像データが全て入力されてから、ステップＳ１０８の動き補償処理、ステップＳ１１０の加算処理を行う構成について説明したが、Ｎ種類の露出状態の異なる画像を生成するために必要なフレーム画像データが入力されるたびに、順次ステップＳ１０８、ステップＳ１１０の処理を行う構成としてもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

本発明の実施の形態による画像生成装置を備える撮像システムのブロックダイアグラムを説明する図である。 本発明の画像生成装置において複数の静止画像の生成処理を説明する図である。 本発明の画像生成装置において複数の動画像の生成処理を説明する図である。 本発明の画像生成装置において入力フレームよりも出力フレームのレートが低い動画像の生成処理を説明する図である。 本発明の画像生成プログラムによる画像生成のバッチ処理を説明するフローチャートである。 本発明の画像生成プログラムによる静止画像生成のリアルタイム処理を説明するフローチャートである。

符号の説明

５ バッファメモリ ６ データ処理回路 ８ 圧縮回路
９ 記録媒体 １００ スイッチ

Claims (11)

1. 複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの動画像を生成する画像生成装置において、
   入力される前記複数のフレーム画像のうちの１つのフレーム画像を基準フレーム画像とし、前記基準フレームの後に入力される残りのフレーム画像のそれぞれの変化量を算出する算出手段と、
   前記算出された各変化量に基づいて、前記残りのフレーム画像の各々が前記基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手段と、
   少なくとも、前記基準フレーム画像と前記修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および前記第１の修正画像とは異なる第２の修正画像と前記第１合成画像とを合成した第２合成画像を生成する合成手段と、
   前記基準フレーム画像、前記第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手段とを備え、
   前記基準フレーム画像は、時間的に連続する前記複数のフレーム画像のうち、前記ブラケット動画像の生成に供するフレーム画像の入力指示の後、最初に前記算出手段に入力されたフレーム画像であり、
   前記算出手段は、前記複数のフレーム画像から選択されたフレーム画像を、順次、前記基準フレーム画像として、当該順次の基準フレーム画像と前記残りのフレーム画像のそれぞれとの間で前記変化量を算出し、
   前記修正手段は、前記順次の基準フレームごとに、前記変化量に基づいて前記残りのフレーム画像のそれぞれを修正し、
   前記合成手段は、前記順次の基準フレームごとに、当該基準フレーム画像、前記第１および第２合成画像を組として、複数組からなる明るさの異なる動画像を生成し、
   同一の前記組を構成する基準フレーム画像、第１合成画像および第２合成画像には、再生順を示す同一の識別番号が付与され、
   前記識別番号によって示される前記再生順に従って、前記基準フレーム画像、前記第１合成画像、または前記第２合成画像を出力フレーム画像として出力する出力手段と、
   前記明るさの異なる動画像のうちのいずれか１つの動画像の再生中に、前記出力手段より出力する画像を前記基準フレーム画像と前記第１合成画像と前記第２合成画像との間で切り換える切換手段と、
   前記動画像の再生中に前記切換手段が前記出力手段より出力する画像を切り換える際に、前記出力手段により出力された組の出力フレーム画像の前記識別番号と、前記切換手段による切り換え後に前記出力手段により出力される組の出力フレーム画像の前記識別番号とが前記再生順に連続して並ぶように、切り換え後の組の前記出力フレーム画像を前記識別番号に基づいて選択する選択手段とを備えることを特徴とする画像生成装置。
2. 複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの動画像を生成する画像生成装置において、
   基準フレーム画像に対する複数のフレーム画像のそれぞれの変化量を算出する算出手段と、
   前記算出された各変化量に基づいて、前記複数のフレーム画像の各々が前記基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手段と、
   少なくとも、前記基準フレーム画像と前記修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および前記第１の修正画像とは異なる第２の修正画像と前記第１合成画像とを合成した第２合成画像を生成する合成手段と、
   前記基準フレーム画像、前記第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手段とを備え、
   前記算出手段は、時間的に連続する前記複数のフレーム画像を、順次、前記基準フレーム画像として、当該順次の基準フレーム画像と他のフレーム画像との間で前記変化量を算出し、
   前記修正手段は、前記順次の基準フレームごとに、前記変化量に基づいた画像の修正を行い、
   前記合成手段は、前記順次の基準フレームごとに、当該基準フレーム画像、前記第１および第２合成画像を組として、複数組からなる明るさの異なる動画像を生成することを特徴とする画像生成装置。
3. 複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの動画像を生成する画像生成装置において、
   基準フレーム画像に対する複数のフレーム画像のそれぞれの変化量を算出する算出手段と、
   前記算出された各変化量に基づいて、前記複数のフレーム画像の各々が前記基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手段と、
   少なくとも、前記基準フレーム画像と前記修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および前記第１の修正画像とは異なる第２の修正画像と前記第１合成画像とを合成した第２合成画像を生成する合成手段と、
   前記基準フレーム画像、前記第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手段とを備え、
   前記算出手段は、同一シーンで明るさが異なる複数枚の前記ブラケット動画像を生成する際に、前記第２合成画像の生成に際しての前記変化量の算出以降において、前記合成手段によって前記第１合成画像の生成以降に生成された合成画像を基準フレーム画像として、前記変化量を算出することを特徴とする画像生成装置。
4. 請求項２に記載の画像生成装置において、
   同一の前記組を構成する基準フレーム画像、第１合成画像および第２合成画像には、再生順を示す同一の識別番号が付与されていることを特徴とする画像生成装置。
5. 請求項４に記載の画像生成装置において、
   前記識別番号によって示される前記再生順に従って、前記基準フレーム画像、前記第１合成画像、または前記第２合成画像を出力フレーム画像として出力する出力手段と、
   前記明るさの異なる動画像のうちのいずれか１つの動画像の再生中に、前記出力手段より出力する画像を前記基準フレーム画像と前記第１合成画像と前記第２合成画像との間で切り換える切換手段と、
   前記動画像の再生中に前記切換手段が前記出力手段より出力する画像を切り換える際に、前記出力手段により出力された組の出力フレーム画像の前記識別番号と、前記切換手段による切り換え後に前記出力手段により出力される組の出力フレーム画像の前記識別番号とが前記再生順に連続して並ぶように、切り換え後の組の前記出力フレーム画像を前記識別番号に基づいて選択する選択手段とを備えることを特徴とする画像生成装置。
6. 複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの動画像を生成する画像生成装置において、
   基準フレーム画像に対する複数のフレーム画像のそれぞれの変化量を算出する算出手段と、
   前記算出された各変化量に基づいて、前記複数のフレーム画像の各々が前記基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手段と、
   少なくとも、前記基準フレーム画像と前記修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および前記第１の修正画像とは異なる第２の修正画像と前記第１合成画像とを合成した第２合成画像を生成する合成手段と、
   前記基準フレーム画像、前記第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手段とを備え、
   前記算出手段は、前記複数のフレーム画像から選択されたフレーム画像を、順次、前記基準フレーム画像として、当該順次の基準フレーム画像と他のフレーム画像との間で前記変化量を算出し、
   前記修正手段は、前記順次の基準フレームごとに、前記変化量に基づいた画像の修正を行い、
   前記合成手段は、前記順次の基準フレームごとに、当該基準フレーム画像、前記第１および第２合成画像を組として、複数組からなる明るさの異なる動画像を生成することを特徴とする画像生成装置。
7. 連続する複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの画像をコンピュータにより生成するためのプログラムであって、
   入力される前記複数のフレーム画像のうち１つのフレーム画像を基準フレーム画像とし、前記基準フレームの後に入力される残りの複数のフレーム画像のそれぞれの変化量を算出する算出手順と、
   前記算出された各変化量に基づいて、前記残りのフレーム画像の各々が前記基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手順と、
   少なくとも、前記基準フレーム画像と前記修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および前記第１の修正画像とは異なる第２の修正画像と前記第１合成画像とを合成した第２合成画像を生成する合成手順と、
   前記基準フレーム画像、前記第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手順とを備え、
   前記基準フレーム画像は、時間的に連続する前記複数のフレーム画像のうち、前記ブラケット動画像の生成に供するフレーム画像の入力指示の後、最初に前記算出手順に入力されたフレーム画像であり、
   前記算出手順は、前記複数のフレーム画像から選択されたフレーム画像を、順次、前記基準フレーム画像として、当該順次の基準フレーム画像と他のフレーム画像との間で前記変化量を算出し、
   前記修正手順は、前記順次の基準フレームごとに、前記変化量に基づいて画像の修正を行い、 前記合成手順は、前記順次の基準フレームごとに、当該基準フレーム画像、前記第１合成画像、および前記第２合成画像を組として、複数組からなる明るさの異なる動画像を生成し、
   同一の前記組を構成する基準フレーム画像、第１合成画像および第２合成画像には、再生順を示す識別番号が付与され、
   前記識別番号によって示される前記再生順に従って、前記基準フレーム画像、前記第１合成画像、または前記第２合成画像を出力フレーム画像として出力する出力手順と、
   前記明るさの異なる動画像のうちのいずれか１つの動画像の再生中に、前記出力手順により出力する画像を前記基準フレーム画像と前記第１合成画像と前記第２合成画像との間で切り換える切換手順と、 前記動画像の再生中に前記切換手順が前記出力手順により出力する画像を切り換える際に、前記出力手順により出力された組の出力フレーム画像の前記識別番号と、前記切換手順による切り換え後に前記出力手順により出力される組の出力フレーム画像の前記識別番号とが前記再生順に連続して並ぶように、切り換え後の組の前記出力フレーム画像を前記識別番号に基づいて選択する選択手順とをコンピュータに実行させることを特徴とする画像生成プログラム。
8. 連続する複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの画像をコンピュータにより生成するためのプログラムであって、
   基準フレーム画像に対する複数のフレーム画像のそれぞれの変化量を算出する算出手順と、
   前記算出された各変化量に基づいて、前記複数のフレーム画像の各々が前記基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手順と、
   少なくとも、前記基準フレーム画像と前記修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および前記第１の修正画像とは異なる第２の修正画像と前記第１合成画像とを合成した第２合成画像を生成する合成手順と、 前記基準フレーム画像、前記第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手順とを備え、
   前記算出手順は、時間的に連続する前記複数のフレーム画像を、順次、前記基準フレーム画像として、当該順次の基準フレーム画像と他のフレーム画像との間で前記変化量を算出し、
   前記修正手順は、前記順次の基準フレームごとに、前記変化量に基づいた画像の修正を行い、
   前記合成手順は、前記順次の基準フレームごとに、当該基準フレーム画像、前記第１合成画像、および前記第２合成画像を組として、複数組からなる明るさの異なる動画像を生成することを特徴とするコンピュータにより実行可能な画像生成プログラム。
9. 請求項８に記載の画像生成プログラムにおいて、
   同一の前記組を構成する基準フレーム画像、第１合成画像および第２合成画像に、再生順を示す識別番号を付与することを特徴とするコンピュータにより実行可能な画像生成プログラム。
10. 請求項９に記載の画像生成プログラムにおいて、
    前記識別番号によって示される前記再生順に従って、前記識別番号が付与された前記基準フレーム画像、前記第１合成画像、または前記第２合成画像を出力フレーム画像として出力する出力手順と、
    前記明るさの異なる動画像のうちのいずれか１つの動画像の再生中に、前記出力手順により出力する画像を、前記基準フレーム画像と前記第１合成画像と前記第２合成画像との間で切り換える切換手順と、 前記動画像の再生中に前記切換手順が前記出力手順により出力する画像を切り換える際に、前記出力手順により出力された組の出力フレーム画像の前記識別番号と、前記切換手順による切り換え後に前記出力手順により出力される組の出力フレーム画像の前記識別番号とが前記再生順に連続して並ぶように、切り換え後の組の前記出力フレーム画像を前記識別番号に基づいて選択する選択手順とをコンピュータに実行させることを特徴とする画像生成プログラム。
11. 連続する複数のフレーム画像を用いて３以上の露出量の異なる同一シーンの画像をコンピュータにより生成するためのプログラムであって、
    基準フレーム画像に対する複数のフレーム画像のそれぞれの変化量を算出する算出手順と、
    前記算出された各変化量に基づいて、前記複数のフレーム画像の各々が前記基準フレーム画像と同一の画像（以下、修正画像）となるように修正する修正手順と、
    少なくとも、前記基準フレーム画像と前記修正画像の中のひとつの画像である第１の修正画像とを合成した第１合成画像、および前記第１の修正画像とは異なる第２の修正画像と前記第１合成画像とを合成した第２合成画像を生成する合成手順と、 前記基準フレーム画像、前記第１および第２合成画像のそれぞれを、同一シーンで明るさが異なる複数枚のブラケット動画像の中の一画像として記憶する記憶手順とを備え、
    前記算出手順は、前記複数のフレーム画像から選択されたフレーム画像を、順次、前記基準フレーム画像として、当該順次の基準フレーム画像と他のフレーム画像との間で前記変化量を算出し、
    前記修正手順は、前記順次の基準フレームごとに、前記変化量に基づいた画像の修正を行い、
    前記合成手順は、前記順次の基準フレームごとに、当該基準フレーム画像、前記第１合成画像、および前記第２合成画像を組として、複数組からなる明るさの異なる動画像を生成することを特徴とするコンピュータにより実行可能な画像生成プログラム。

Images