JP5748579B2 - 画像合成装置、撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、複数枚の画像を合成して動画像を得る画像合成装置、撮像装置、その制御方法、および制御プログラムに関する。

近年、デジタルカメラなどの撮像装置において、手振れ補正を行うための手法として様々な手法が提案されている。このうち、手振れが起き難いシャッタースピードにおいて低露光の画像を複数枚撮影して、撮影後複数枚の画像を合成して適正露光の画像を得るようにした手法がある。

例えば、画像合成を行う際、時間的な位置合わせ（位置ずれ補正ともいう）を行った後画像の合成を行って、１枚の静止画を生成するようにしたものがある（特許文献１参照）。

さらに、撮影の結果得られた画像の全てを合成せずに、撮像の際に得られた画像情報に応じて合成に必要な画像枚数を決定して、当該決定した枚数分の画像を合成するようにしたものもある（特許文献２又は３参照）。

特開平５−７３３６号公報 特開２００６−１９１３０５号公報 特開２００６−２５３８１０号公報

上記の特許文献ではいずれも静止画像の合成を行っており、動画像の画像合成を行うとなると、合成処理時間が増加するばかりでなく、メモリに対する転送量が増加する。

従って、本発明の目的は、動画像を合成する際、合成枚数に拘わらず処理時間およびメモリへのデータ転送量の増加を抑えて画像合成処理を行うことのできる画像合成装置、撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像合成装置は、複数のフレームを合成して合成画像を得る画像合成装置であって、前記複数のフレームを合成して第１の合成画像を得る第１の合成手段と、前記第１の合成画像に別の１つのフレームの画像の合成を行う際、前記第１の合成画像に対して前記第１の合成画像の合成に用いられた所定のフレームの画像を減算するとともに、前記別の１つのフレームの画像を加算して合成画像を生成する第２の合成手段とを有することを特徴とする。

本発明による制御方法は、複数のフレームを合成して合成画像を得る画像合成装置の制御方法であって、前記複数のフレームを合成して第１の合成画像を得る第１の合成ステップと、前記第１の合成画像に別の１つのフレームの画像の合成を行う際、前記第１の合成画像に対して前記第１の合成画像の合成に用いられた所定のフレームの画像を減算するとともに、前記別の１つのフレームの画像を加算して合成画像を生成する第２の合成ステップとを有することを特徴とする。

本発明による制御プログラムは、複数のフレームを合成して合成画像を得る画像合成装置で用いられる制御プログラムであって、前記画像合成装置が備えるコンピュータに、前記複数のフレームを合成して第１の合成画像を得る第１の合成ステップと、前記第１の合成画像に別の１つのフレームの画像の合成を行う際、前記第１の合成画像に対して前記第１の合成画像の合成に用いられた所定のフレームの画像を減算するとともに、前記別の１つのフレームの画像を加算して合成画像を生成する第２の合成ステップとを実行させることを特徴とする。

本発明によれば、動画像を合成する際、合成枚数に拘わらず処理時間およびメモリへのデータ転送量が増大することなく画像合成処理を行うことができるという効果がある。

本発明の第１の実施形態による画像合成装置の一例が用いられた撮像装置を示すブロック図である。 図１に示すデジタルビデオカメラにおける画像合成処理を示すフローチャートである。 図１に示すデジタルビデオカメラにおける画像合成処理を説明するためのタイミング図である。 本発明の第１の実施形態による画像合成装置の他の例が用いられた撮像装置を示すブロック図である。 本発明の第２の実施形態による画像合成装置が用いられたデジタルビデオカメラにおける画像合成処理を示すフローチャートである。 本発明の第２の実施形態による画像合成装置が用いられたデジタルビデオカメラにおける画像合成処理を説明するためのタイミング図である。 本発明の第３の実施形態による画像合成装置の一例が用いられた撮像装置を示すブロック図である。 図７に示すデジタルビデオカメラにおける画像合成処理を説明するためのタイミング図である。 従来の画像合成装置の一例を示すブロック図である。 図９に示す画像合成装置における画像合成処理を説明するための図である。

以下、本発明の実施の形態による画像合成装置の一例について図面を参照して説明する。

［第１の実施形態］
ここで、従来の画像合成装置における画像合成処理について概説する。

図９は、従来の画像合成装置の一例を示すブロック図である。また、図１０は、図９に示す画像合成装置における画像合成処理を説明するための図である。

図９および図１０を参照して、図示の画像合成装置は、所謂巡回型の画像合成装置であり、この画像合成装置では、合成する画像枚数が変化する場合に、巡回回数を変更することによって合成画像枚数の変化に対して対応する。いま、メモリ９０１に保存された撮像・メモリ保持画像１００１から５枚の画像を合成するとする。入力部９００から１フレーム目（Ｆ［１］）から５フレーム目（Ｆ［５］）の画像が順次入力されると、メモリ９０１に１フレーム目（Ｆ［１］）から５フレーム目（Ｆ［５］）までの画像が一旦保持される。

次に、位置合わせ部９０２は画像Ｆ［１］を読み出して、画像Ｆ［５］に対する位置合わせを行って、画像Ｆ＿ｒ［１］を生成する。同一のタイミングで、合成部９０３は画像Ｆ［５］を読み出して、画像Ｆ＿ｒ［１］と合成処理を行って合成後の画像をメモリ９０１に保持する。

同様の処理を、２、３、および４フレーム目について繰り返し、最終的に１フレーム目から５フレーム目までの画像の合成処理が終了すると、合成部９０３は合成後の画像（合成動画１００２）を出力部９０４に出力する。この際、合成を行わない画像があれば、合成部９０３は当該画像をメモリ９０１から読み込まない。

ここで、図９に示す画像合成装置では静止画像の合成を行っており、動画像の画像合成を行うとなると、不可避的に合成処理時間が増加するばかりでなく、メモリに対する転送量が増加する。

例えば、図１０に示すように、一般的な動画像のフレームレートである６０ｆｐｓで動画像を撮影して、合成後の動画像のフレームレートを６０ｆｐｓとして合成後の動画像を記録・出力するとする。この場合、５枚の画像を合成しようとすれば、５枚の画像に対する時間的な位置合わせおよび画像合成を１／６０秒で終了する必要がある。

さらに、１／６０秒の間に、合成する画像の枚数分だけメモリに対するリード／ライトが発生する。このため、静止画像を合成する際に比べてメモリに対するデータ転送量が増加してしまうことになる。そして、画像合成の枚数が増加するに連れて、処理時間およびメモリへのデータ転送量は増大することになる。

そこで、本実施形態では、１回の画像加算および１回の画像減算によって、合成画像を生成することができる構成をとることで、合成する画像枚数が増加しても、処理時間およびメモリへのデータ転送量を増加させることなく合成処理を行うことができる。

図１は、本発明の第１の実施形態による画像合成装置の一例が用いられた撮像装置を示すブロック図である。

図示の撮像装置は、デジタルビデオカメラであり、動画像を撮影してその画像合成を行う。図１において、デジタルビデオカメラはレンズ１００およびシャッター１０１を有している。なお、シャッター１０１はメカシャッターの他に所謂電子シャッターを含むものとする。

レンズ１００およびシャッター１０１を介して光学像がＣＭＯＳセンサ１０２などの撮像素子に結像される。ＣＭＯＳセンサ１０２は光学像をアナログ信号に変換して、このアナログ信号をＡＤ変換部１０３に出力する。そして、ＡＤ変換部１０３はアナログ信号をＡＤ変換して、ディジタル信号（画像信号）としてカメラ信号処理部１０４に与える。

カメラ信号処理部１０４は画像信号に対して、例えば、リサイズ処理及び現像処理などの各種画像処理を行って、画像データとする。そして、カメラ信号処理部１０４は画像データをメモリ１０５に書き込む。ここでは、デジタルビデオカメラによる撮影の結果得られた画像データは動画像データであり、この動画像データは複数のフレームを有し、フレーム毎に画像データがメモリ１０５に書き込まれる。なお、以下の説明では、動画像データは５フレームで構成されているものとする。

画像位置合わせ部１０６（画像位置合わせ手段）は、メモリ１０５から画像データを読み出して、後述するように、基準となる画像データと他の画像データとの位置合わせを行う。図示のように、画像位置合わせ部１０６の出力には第１のスイッチ部１０７が接続され、メモリ１０５には第２のスイッチ部１０８が接続されている。そして、第１のスイッチ部１０７は位置合わせ後の画像データを選択的に画像加算部１０９（加算手段）および画像減算部１１０（減算手段）の一方に与える。同様に、第２のスイッチ部１０８は、メモリ１０５から読み出された画像データを選択的に画像加算部１０９および画像減算部１１０の一方に与える。

画像加算部１０９は位置合わせ後の画像データとメモリ１０５から読み出された画像データとの加算を行う。つまり、画像加算部１０７は２枚の画像の加算を行う。画像減算部１１０は位置合わせ後の画像データとメモリ１０５から読み出された画像データとの減算を行う。つまり、画像減算部１１０は２枚の画像の減算を行う。

画像加算部１０９および画像減算部１１０の出力は第３のスイッチ部１１１に接続されており、第３のスイッチ部１１１は画像加算部１０９および画像減算部１１０の出力を切り換えて、出力画像データとして出力する。そして、出力画像データはメモリ１０５に書き込まれるとともに、記録部１１２および表示部１１３に与えられる。記録部１１２は出力画像データをフラッシュメモリ又はＨＤＤ等の記録媒体に記録する。表示部１１３は出力画像データを画像として表示する。

なお、図１には示されていないが、カメラ信号処理部１０４、画像位置合わせ部１０６、第１のスイッチ部１０７、第２のスイッチ部１０８、第３のスイッチ部１１１、画像加算部１０９、および画像減算部１１０などはＣＰＵの制御下で動作する。

図２は、図１に示すデジタルビデオカメラにおける画像合成処理を示すフローチャートである。また、図３は、図１に示すデジタルビデオカメラにおける画像合成処理を説明するためのタイミング図である。

図３において、メモリ１０５に書き込んだ画像データを符号３０１で示し、合成処理後の画像データを符号３０２で示す。ｎは１から始まるフレーム番号であり、Ｆ［ｎ］はメモリ１０５に書き込んだｎフレーム目の画像データを示す。また、Ｆ＿ｒ［ｎ］は、ｎフレーム目の画像データについて位置合わせを行った後の画像データを示す。そして、Ｆ［ｎ］’およびＦ［ｎ］’’の各々はｎフレーム目まで画像データを合成した合成画像データを示す。ここでは、画像データＦ［ｎ］は１／６０秒毎に入力され、合成画像データＦ［ｎ］’も１／６０秒毎に生成される。従って、後述する画像合成処理は、１／６０秒の期間で完了する。

図１〜図３を参照して、画像合成処理が開始されると、まず、ＣＰＵはフレーム番号ｎ＝１とするとともに、合成画像枚数Ｎ＝５とする（ステップＳ２０１）。続いて、ＣＰＵはシャッタースピードを設定されたシャッタースピードとする。これによって、設定シャッタースピードにおいて、レンズ１００およびシャッター１０１を介して入力された光学像がＣＭＯＳセンサ１０３に結像する。そして、前述したように、ＣＭＯＳセンサ１０３の出力であるアナログ信号がＡＤ変換部１０３でディジタル信号とされる。このディジタル信号はカメラ信号処理部１０４において画像処理されて画像データＦ［ｎ］とされる（ステップＳ２０２）。その後、画像データＦ［ｎ］はメモリ１０５に書き込まれる（ステップＳ２０３）。なお、以下の説明では、画像データを単に画像と呼ぶ。

続いて、ＣＰＵは現在のフレーム番号ｎが合成画像枚数Ｎより大きいか否かを判定する（ステップＳ２０４）。ｎ≦Ｎであると（ステップＳ２０４において、ＮＯ）、つまり、フレーム番号ｎが５以下であると、ＣＰＵはｎ＝１であるか否か判定する（ステップＳ２０５）。ｎ＝１であると（ステップＳ２０５において、ＹＥＳ）、つまり、入力画像が１フレーム目の画像であると、ＣＰＵは第２および第３のスイッチ部１０８および１１１を制御して、メモリ１０５に保存された画像Ｆ［１］を、画像加算部１０９を介して記録部１１２および表示部１１３に与える。これによって、画像Ｆ［１］が記録部１１２によって記録されるとともに、表示部１１３に表示される（ステップＳ２２３）。また、画像Ｆ［１］は合成画像Ｆ［１］’としてメモリ１０５に書き込まれる。なお、１フレーム目では合成する画像は存在しないので、Ｆ［１］＝Ｆ［１］’である。

続いて、ＣＰＵは次のフレームがあるか否かを判定する（ステップＳ２２４）。次のフレームがなければ（ステップＳ２２４において、ＹＥＳ）、ＣＰＵは画像合成処理を終了する。一方、次のフレームがあると（ステップＳ２２４において、ＮＯ）、ＣＰＵはフレーム番号ｎをインクリメントする（ステップＳ２２５）。ここでは、ｎ＝１であるので、ｎ＝２とする。そして、ＣＰＵはステップＳ２０２の処理に移行する。

ステップＳ２０５において、ｎ＝１でないと（ステップＳ２０５において、ＮＯ）、ＣＰＵはステップＳ２０６の処理に移行する。例えば、入力画像が２フレーム目の場合には、位置合わせ部１０６はＣＰＵの制御下で１フレーム目の合成画像Ｆ［１］’をメモリ１０５から読み出す（ステップＳ２０７）。なお、入力画像がｎフレーム目であれば、位置合わせ部は画像Ｆ［１］〜Ｆ［ｎ−１］の合成画像Ｆ［ｎ−１］’をメモリ１０５から読み出すことになる。そして、位置合わせ部１０６は２フレーム目の画像Ｆ［２］を基準として合成画像Ｆ［１］’の位置合わせを行って、位置合わせ画像Ｆ＿ｒ［１］’を生成する（ステップＳ２０８）。

ＣＰＵは第１および第２のスイッチ部１０７および１０８を制御して、画像位置合わせ部１０６およびメモリ１０５を画像加算部１０９に接続する。画像加算部１０９はメモリ１０５から画像Ｆ［２］を読み出して（ステップＳ２０９）、画像Ｆ［２］と位置合わせ画像Ｆ＿ｒ［１］’とを加算して合成画像Ｆ［２］’を生成する（ステップＳ２１０）。

この際、ＣＰＵは第３のスイッチ部１１１を制御して、画像加算部１０９を選択する。これによって、合成画像Ｆ［２］’はメモリ１０５に書き込まれる（ステップＳ２１１）。そして、処理はステップＳ２２３に進んで、合成画像Ｆ［２］’は記録部１１２によって記録されるとともに、表示部１１３に表示される。

このようにして、ステップＳ２０８〜Ｓ２１１では、合成画像Ｆ［ｎ−１］’が画像Ｆ［ｎ］に位置合わせされて、位置合わせ画像Ｆ＿ｒ［ｎ−１］’と画像Ｆ［ｎ］と加算される。そして、加算の結果得られた合成画像Ｆ［ｎ］’（第１の合成画像）がメモリ１０５に書き込まれることになる。

ステップＳ２０４において、ｎ＞Ｎであると（ステップＳ２０４において、ＹＥＳ）、つまり、入力画像が６フレーム目であると、ＣＰＵはステップＳ２１３の処理に進む。この段階では、メモリ１０５には１フレーム目〜５フレーム目まで画像の合成画像Ｆ［５］’が保存されている。位置合わせ部１０６はＣＰＵの制御下で、合成Ｆ［５］’を構成する画像のうち時間的に最も古い画像である１フレーム目の画像Ｆ［１］をメモリ１０５から読み出す。つまり、画像Ｆ［ｎ−Ｎ］を読み出す（ステップＳ２１３）。そして、位置合わせ部１０６は画像Ｆ［５］に画像Ｆ［１］を位置合わせして位置合わせ画像Ｆ＿ｒ［１］を生成する（ステップＳ２１４）。

ＣＰＵは第１および第２のスイッチ部１０７および１０８を制御して、画像位置合わせ部１０６およびメモリ１０５を画像減算部１１０に接続する。画像減算部１１０は、メモリ１０５から合成画像Ｆ［５］’を読み出す（ステップＳ２１５）。そして、画像減算部１１０は合成画像Ｆ［５］’から位置合わせ画像Ｆ＿ｒ［１］を減算して合成画像Ｆ［５］’’を生成する（ステップＳ２１６）。

この際、ＣＰＵは第３のスイッチ部１１１を制御して、画像減算部１１０を選択する。これによって、合成画像Ｆ［５］’’がメモリ１０５に書き込まれる（ステップＳ２１７）。合成画像Ｆ［５］’’は１フレーム目〜５フレーム目までの合成画像Ｆ［５］’から、１フレーム目の画像Ｆ［１］を減算したので、２フレーム目から５フレーム目までの合成画像となる。この合成画像Ｆ［５］’’は一時的に生成される画像であり、ＣＰＵは当該合成画像Ｆ［５］’’を記録部１１２で記録することなく、しかも表示部１１３で表示しない。

続いて、位置合わせ部１０６は合成画像Ｆ［５］’’をメモリ１０５から読み出して（ステップＳ２１８）、合成画像Ｆ［５］’’に用いられる画像よりも時間的に新しい、新たに合成する画像Ｆ［６］に位置合わせした画像Ｆ＿ｒ［５］’’を生成する（ステップＳ２１９）。

ＣＰＵは第１および第２のスイッチ部１０７および１０８を制御して、画像位置合わせ部１０６およびメモリ１０５を画像加算部１０９に接続する。画像加算部１０９はメモリ１０５から画像Ｆ［６］を読み出す（ステップＳ２２０）。そして、画像加算部１０９は画像Ｆ［６］と位置合わせ画像Ｆ＿ｒ［５］’’とを加算し（ステップＳ２２１）、合成画像Ｆ［６］’を生成してメモリ１０５に保存する（ステップＳ２２２）。

その後、処理はステップＳ２２３に移行し、ＣＰＵは第３のスイッチ部１１１を制御して合成画像Ｆ［６］’を記録部１１２によって記録するとともに、合成画像Ｆ［６］’を表示部１１３に表示する。そして、処理はステップＳ２２４に進む。

なお、７フレーム以降については、ステップＳ２１３〜Ｓ２２５の処理が行われることになる。

このようにして、ステップＳ２１４〜Ｓ２２２の処理では、画像Ｆ［ｎ−Ｎ］を画像Ｆ［ｎ−１］に位置合わせして、位置合わせ画像Ｆ＿ｒ［ｎ−Ｎ］（第１の位置合わせ画像）を生成する。そして、合成画像Ｆ［ｎ−１］’から位置合わせ画像Ｆ＿ｒ［ｎ−Ｎ］を減算（減算処理）して、合成画像Ｆ［ｎ−１］’’（第２の合成画像）を得る。続いて、合成画像Ｆ［ｎ−１］’’を画像Ｆ［ｎ］に位置合わせして、位置合わせ画像Ｆ＿ｒ［ｎ−１］’’（第２の位置合わせ画像）を生成する。その後、位置合わせ画像Ｆ＿ｒ［ｎ−１］’’と画像Ｆ［ｎ］とを加算（加算処理）して、合成画像Ｆ［ｎ］’（第３の合成画像）を得る。

このように、上述の第１の実施形態では、１回の画像加算および１回の画像減算によって、合成画像を生成することができるので、合成する画像枚数が増加しても、処理時間およびメモリへのデータ転送量を増加させることなく合成処理を行うことができる。

図４は本発明の第１の実施形態による画像合成装置の他の例が用いられた撮像装置を示すブロック図である。なお、図４において、図１に示すデジタルビデオカメラと同一の構成要素については同一の参照番号を付して説明を省略する。

三脚等にビデオカメラを搭載して撮影を行う場合、手振れに起因する画像ぶれは起こりにくい。この際には、特に、位置合わせを行う必要がない。従って、図４に示すデジタルビデオカメラでは、第４のスイッチ部６２０が備えられている。そして、この第４のスイッチ部６２０はその入力側がメモリ１０５および画像位置合わせ部１０６に接続され、出力側が第１のスイッチ部１０７に接続されている。第４のスイッチ部６２０はＣＰＵによって切り替え制御され、メモリ１０５および画像位置合わせ部１０６のいずれかを選択する。

図４に示すデジタルビデオカメラでは、動画像の１フレーム目〜５フレーム目までについては、図２に示すステップＳ２０５〜Ｓ２１１の処理を行う。６フレーム目となると、１フレーム目〜５フレーム目までの合成画像Ｆ［５］’がメモリ６０５に保持されている。

まず、画像減算部１１０は、時間的に最も古い画像である１フレーム目の画像Ｆ［１］と合成画像、Ｆ［５］’とをメモリ１０５から読み出して、合成画像Ｆ［５］’から画像Ｆ［１］を減算する。これによって、画像減算部１１０は合成画像Ｆ［５］’’を生成して、合成画像Ｆ［５］’’をメモリ１０５に保存する。

続いて、画像加算部１０９は、６フレーム目の画像Ｆ［６］と合成画像Ｆ［５］’’とをメモリ１０５から読み出して、画像Ｆ［６］と合成画像Ｆ［５］’’とを加算する。これによって、画像加算部１０９は合成画像Ｆ［６］’を生成し、合成画像Ｆ［６］’をメモリ１０５に保存する。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像合成装置の一例について説明する。

図５は、本発明の第２の実施形態による画像合成装置が用いられたデジタルビデオカメラにおける画像合成処理を示すフローチャートである。また、図６は、本発明の第２の実施形態による画像合成装置が用いられたデジタルビデオカメラにおける画像合成処理を説明するためのタイミング図である。

なお、第２の実施形態におけるデジタルビデオカメラの構成は図１に示す例と同様である。また、図５および図６において、図２および３と同一の処理については同一の参照符号を付す。以下の説明では、ＣＰＵによる第１、第２、および第３のスイッチ部１０７、１０８、および１１１の切り替え制御についてその説明を省略する。

図１、図５、および図６を参照して、ここでは、デジタルビデオカメラにおいて５枚の画像を合成した動画像を生成する場合について説明する。図２に関連して説明したようにして、ステップＳ２０１〜ステップＳ２１１の処理が実行される。いまステップＳ２０４において、ｎ＞Ｎであると、つまり、入力画像が６フレーム目以降であると、ステップＳ４１３の処理に移行する。入力画像が６フレーム目であるとすると、メモリ１０５には１フレーム目〜５フレーム目までの合成画像Ｆ［５］’が保存されている。

ステップＳ４１３において、位置合わせ部１０６はメモリ１０５から合成Ｆ［５］’をメモリ１０５から読み出す。そして、位置合わせ部１０６は合成画像Ｆ［５］’を新たに合成する画像Ｆ［６］に位置合わせして、位置合わせ画像Ｆ＿ｒ［５］’を生成する（ステップＳ４１４）。

画像加算部１０９は、メモリ１０５から画像Ｆ［６］を読み出す（ステップＳ４１５）。そして、画像加算部１０９は画像Ｆ［６］と位置合わせ画像Ｆ＿ｒ［５］’とを加算して（ステップＳ４１６）、新たな合成画像Ｆ［６］’’を生成する。画像加算部１０９は合成画像Ｆ［６］’’をメモリ１０５に保存する（ステップＳ４１７）。

合成画像Ｆ［６］’’は１フレーム目から５フレーム目までの合成画像に、６フレーム目の画像を加算した画像であり、１フレーム目〜６フレーム目までの合成画像である。この合成画像Ｆ［６］’’は一時的に生成される画像であって、記録部１１２における記録および表示部１１３による表示は行われない。

続いて、画像位置合わせ部１０６は合成画像Ｆ［６］’’を構成する画像のうち、時間的に最も古い画像である１フレーム目の画像Ｆ［１］をメモリ１０５から読み出す（ステップＳ４１８）。そして、画像位置合わせ部１０６は画像Ｆ［１］をＦ［６］’’に位置合わせして、位置合わせ画像Ｆ＿ｒ［１］を生成する（ステップＳ４１９）。

続いて、画像減算部１１０はメモリ１０５から合成画像Ｆ［６］’’を読み出す（ステップＳ４２０）。そして、画像減算部１１０は合成画像Ｆ［６］’’から位置合わせて画像Ｆ＿ｒ［１］を減算して（ステップＳ４２１）、合成画像Ｆ［６］’を生成する。画像減算部１１０は合成画像Ｆ［６］’をメモリ１０５に保存する（ステップＳ４２２）。その後、処理は図２で説明したステップＳ２２３に進む。

なお、７フレーム目以降についても、ステップＳ４１３〜Ｓ４２２の処理が行われる。

このように、上述の第２の実施形態においても、１回の画像加算および１回の画像減算によって、合成画像を生成することができるので、合成する画像枚数が増加しても、処理時間およびメモリへのデータ転送量を増加させることなく合成処理を行うことができる。

［第３の実施形態］
図７は、本発明の第３の実施形態による画像合成装置の一例が用いられた撮像装置を示すブロック図である。なお、図７において、図１に示すデジタルビデオカメラと同一の構成要素については同一の参照番号を付して説明を省略する。

図示のデジタルビデオカメラは、被写体動き検出部７２２（動き検出手段）と第１および第２のゲイン調整部７２０および７２１（ゲイン調整手段）とを有している。被写体動き検出部７２２にはカメラ信号処理部１０４の出力である画像データが与えられる。被写体動き検出部７２２は画像データに応じて画像中の人物などの被写体の動きを検出して動き検出信号を出力する。

図示のように、第１のゲイン調整部７２０は画像位置合わせ部１０６の出力に接続され、第２のゲイン調整部７２１はメモリ１０５に接続されている。そして、第１のゲイン調整部７２０は動き検出信号に応じて画像位置合わせ部１０６の出力である位置合わせ画像のゲイン調整を行う。同様に、第２のゲイン調整部７２１は、動き検出信号に応じてメモリ１０５から読み出した画像のゲイン調整を行う。

図８は、図７に示すデジタルビデオカメラにおける画像合成処理を説明するためのタイミング図である。

図７および図８を参照して、いま、動画像のフレームが６フレーム目で、このフレームにおいて被写体動き検出部７２２が被写体の動きを検出したとする。この場合には、後述するように、１フレーム目の画像の影響を残して、６フレーム目の画像の影響を少なくするようにゲイン調整が行われる。なお、以下の説明では、ＣＰＵによる第１、第２、および第３のスイッチ部１０７、１０８、および１１１の切り替え制御についてその説明を省略する。

まず、画像位置合わせ部１０６は合成画像Ｆ［５］’を構成する画像のうち、時間的に最も古い画像である１フレーム目の画像Ｆ［１］をメモリ１０５から読み出する。そして、画像位置合わせ部１０６は画像Ｆ［１］を画像Ｆ［５］に位置合わせて、位置合わせ画像Ｆ＿ｒ［１］を生成する。第１のゲイン調整部７２０は、位置合わせ画像Ｆ＿ｒ［１］に対して所定のゲイン（α）を乗算してゲイン調整画像（α＊Ｆ＿ｒ［１］）を生成する。前述のように、１フレーム目については減算が行われるが、ここでは、１フレーム目の影響を残すための、αは１より小さくする。

画像減算部１１０は、メモリ１０５から読み出した合成画像Ｆ［５］’からゲイン調整画像（α＊Ｆ＿ｒ［１］）を減算して、合成画像Ｆ［５］’’を生成する。そして、画像減算部１１０は合成画像Ｆ［５］’’をメモリ１０５に保存する。この合成画像Ｆ［５］’’は１フレーム目から５フレーム目までの合成画像から、１フレーム目の画像についてゲイン調整を行った画像を減算した画像となる。

次に、画像位置合わせ部１０６は合成画像Ｆ［５］’’をメモリ７０５から読み出す。画像位置合わせ部１０６は合成画像Ｆ［５］’を新たに合成する画像Ｆ［６］に位置合わせして位置合わせ画像Ｆ＿ｒ［５］’’を生成する。第２のゲイン調整部７２１は、画像Ｆ［６］に所定のゲイン（α）を乗算して、ゲイン調整画像（α＊Ｆ［６］）を生成する。６フレーム目の画像については前述のように加算が行われるが、ここでは、１フレーム目のゲインと同一のゲイン（α）が用いられる。

画像加算部１０９は、メモリ１０５から読み出した位置合わせ画像Ｆ＿ｒ［５］’’とゲイン調整画像（α＊Ｆ［６］）とを加算して、新たな合成画像Ｆ［６］’を生成する。そして、画像加算部１０９は合成画像Ｆ［６］’をメモリ１０５に保存する。

このようにして、第３の実施形態では、合成処理を行っている際に被写体に動きが発生すると、加算する画像と減算する画像に対してゲイン調整を行なっているので、被写体の動きによる影響を少なくすることができる。

以上説明したように、本実施の形態によれば、動画像を合成する際、合成枚数に拘わらず処理時間およびメモリへのデータ転送量が増大することなく画像合成処理を行うことができる。

上述の説明から明らかなように、図１などにおいて、画像加算部１０９が第１の合成手段として機能し、画像加算部１０９および画像減算部１１０が第２の合成手段として機能する。また、メモリ１０５、画像位置合わせ部１０６、第１のスイッチ部１０７、第２のスイッチ部１０８、画像加算部１０９、画像減算部１１０、および第３のスイッチ部１１１は画像合成装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像合成装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、この制御プログラムを画像合成装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

この際、制御方法および制御プログラムは、少なくとも発光ステップ、第１の合成ステップおよび第２の合成ステップを有することになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２ 撮像素子
１０３ ＡＤ変換部
１０４ カメラ信号処理部
１０５ メモリ
１０６ 画像位置合わせ部、
１０７、１０８、１１１ スイッチ部
１０９ 画像加算部
１１０ 画像減算部
１１２ 記録部
１１３ 表示部

Claims (22)

1. 複数のフレームを合成して合成画像を得る画像合成装置であって、
   前記複数のフレームを合成して第１の合成画像を得る第１の合成手段と、
   前記第１の合成画像に別の１つのフレームの画像の合成を行う際、前記第１の合成画像に対して前記第１の合成画像の合成に用いられた所定のフレームの画像を減算するとともに、前記別の１つのフレームの画像を加算して合成画像を生成する第２の合成手段とを有することを特徴とする画像合成装置。
2. 前記第２の合成手段は、前記第１の合成画像から前記所定のフレームの画像を減算して第２の合成画像を得る減算手段と、
   前記第２の合成画像に対して前記別の１つのフレームの画像を加算して第３の合成画像を得る加算手段とを有することを特徴とする請求項１に記載の画像合成装置。
3. 前記第１の合成画像に前記別の１つのフレームの画像を合成する際、前記所定のフレームの画像を前記第１の合成画像に位置合わせして第１の位置合わせ画像を生成する画像位置合わせ手段を備え、
   前記減算手段は前記第１の位置合わせ画像を前記所定のフレームの画像として減算を行って前記第２の合成画像を生成し、
   さらに、前記画像位置合わせ手段は、前記第２の合成画像を前記別の１つのフレームの画像に位置合わせして第２の位置合わせ画像を生成して、
   前記加算手段は前記第２の位置合わせ画像を前記第２の合成画像として加算を行って前記第３の合成画像を得ることを特徴とする請求項２に記載の画像合成装置。
4. 前記第２の合成手段は、前記第１の合成画像に対して前記別の１つのフレームの画像を加算して第２の合成画像を得る加算手段と、
   前記第２の合成画像から前記所定のフレームの画像を減算して第３の合成画像を得て、該第３の合成画像を前記合成画像とする減算手段とを有することを特徴とする請求項１に記載の画像合成装置。
5. 前記別の１つのフレームの画像を合成する際、前記第１の合成画像を前記別の１つのフレームの画像に位置合わせして第１の位置合わせ画像を生成する画像位置合わせ手段を備え、
   前記加算手段は前記第１の位置合わせ画像を前記第１の合成画像として加算を行って前記第２の合成画像を生成し、
   さらに、前記画像位置合わせ手段は、前記所定のフレームの画像を前記第２の合成画像に位置合わせして第２の位置合わせ画像を生成して、
   前記減算手段は前記第２の位置合わせ画像を前記所定のフレームの画像として減算を行って前記第３の合成画像を得ることを特徴とする請求項４に記載の画像合成装置。
6. 前記所定のフレームの画像は、前記第１の合成画像における最も古い画像であることを特徴とする請求項１乃至５のいずれか１項に記載の画像合成装置。
7. 前記別の１つのフレームの画像は、前記第１の合成画像に用いられるフレームの画像よりも新しいフレームの画像であることを特徴とする請求項１乃至６のいずれか１項に記載の画像合成装置。
8. 前記別の１つのフレームの画像と該別の１つのフレームよりも前のフレームの画像との間で被写体の動きを検出する動き検出手段と、
   前記動き検出手段によって前記被写体の動きが検出されると、加算および減算処理の前に画像のゲイン調整を行うゲイン調整手段とを有することを特徴とする請求項１乃至７のいずれか１項に記載の画像合成装置。
9. 前記複数のフレームの画像を撮像により出力する撮像手段と、
   前記撮像手段により出力される複数のフレームの画像に所定の画像処理を施す画像処理手段と、を有し、
   前記第１の合成手段は、前記画像処理手段により画像処理が施された複数のフレームの画像を合成することを特徴とする請求項１乃至８のいずれか１項に記載の画像合成装置。
10. 前記画像処理手段が前記複数のフレームの画像に施す画像処理には、現像処理が含まれることを特徴とする請求項９に記載の画像合成装置。
11. 前記複数のフレームの画像は動画像の一部であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像合成装置。
12. 前記複数のフレームの画像を合成した合成画像を含む動画像を表示媒体に表示する表示手段を有することを特徴とする請求項１乃至１１のいずれか１項に記載の画像合成装置。
13. 前記複数のフレームの画像を合成した合成画像を含む動画像を記録媒体に記録する記録手段を有することを特徴とする請求項１乃至１２のいずれか１項に記載の画像合成装置。
14. 撮像手段と、
    前記撮像手段により出力される複数のフレームの画像に所定の画像処理を施す画像処理手段と、
    前記画像処理手段により画像処理された複数のフレームの画像を合成して第１の合成画像を得る第１の合成手段と、
    前記第１の合成画像に別の１つのフレームの画像の合成を行う際、前記第１の合成画像に対して前記第１の合成画像の合成に用いられた所定のフレームの画像を減算するとともに、前記別の１つのフレームの画像を加算して合成画像を生成する第２の合成手段とを有することを特徴とする撮像装置。
15. 前記画像処理手段が前記複数のフレームの画像に施す画像処理には、現像処理が含まれることを特徴とする請求項１４に記載の撮像装置。
16. 前記複数のフレームの画像は動画像の一部であることを特徴とする請求項１４又は１５に記載の撮像装置。
17. 前記複数のフレームを合成した合成画像を含む動画像を表示媒体に表示する表示手段を有することを特徴とする請求項１４乃至１６のいずれか１項に記載の撮像装置。
18. 前記複数のフレームを合成した合成画像を含む動画像を記録媒体に記録する記録手段を有することを特徴とする請求項１４乃至１７のいずれか１項に記載の撮像装置。
19. 複数のフレームを合成して合成画像を得る画像合成装置の制御方法であって、
    前記複数のフレームを合成して第１の合成画像を得る第１の合成ステップと、
    前記第１の合成画像に別の１つのフレームの画像の合成を行う際、前記第１の合成画像に対して前記第１の合成画像の合成に用いられた所定のフレームの画像を減算するとともに、前記別の１つのフレームの画像を加算して合成画像を生成する第２の合成ステップとを有することを特徴とする制御方法。
20. 複数のフレームを合成して合成画像を得る画像合成装置で用いられる制御プログラムであって、
    前記画像合成装置が備えるコンピュータに、
    前記複数のフレームを合成して第１の合成画像を得る第１の合成ステップと、
    前記第１の合成画像に別の１つのフレームの画像の合成を行う際、前記第１の合成画像に対して前記第１の合成画像の合成に用いられた所定のフレームの画像を減算するとともに、前記別の１つのフレームの画像を加算して合成画像を生成する第２の合成ステップとを実行させることを特徴とする制御プログラム。
21. 撮像手段と、前記撮像手段により出力される複数のフレームの画像に所定の画像処理を施す画像処理手段と、を有する撮像装置の制御方法であって、
    前記画像処理手段により画像処理された複数のフレームを合成して第１の合成画像を得る第１の合成ステップと、
    前記第１の合成画像に別の１つのフレームの画像の合成を行う際、前記第１の合成画像に対して前記第１の合成画像の合成に用いられた所定のフレームの画像を減算するとともに、前記別の１つのフレームの画像を加算して合成画像を生成する第２の合成ステップとを有することを特徴とする制御方法。
22. 撮像手段と、前記撮像手段により出力される複数のフレームの画像に所定の画像処理を施す画像処理手段と、を有する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記画像処理手段により画像処理された複数のフレームを合成して第１の合成画像を得る第１の合成ステップと、
    前記第１の合成画像に別の１つのフレームの画像の合成を行う際、前記第１の合成画像に対して前記第１の合成画像の合成に用いられた所定のフレームの画像を減算するとともに、前記別の１つのフレームの画像を加算して合成画像を生成する第２の合成ステップとを実行させることを特徴とする制御プログラム。

Images