JP4656168B2

JP4656168B2 - 画像合成装置

Info

Publication number: JP4656168B2
Application number: JP2008055289A
Authority: JP
Inventors: 好人阿部; 一記喜多
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2008-03-05
Filing date: 2008-03-05
Publication date: 2011-03-23
Anticipated expiration: 2028-03-05
Also published as: JP2009212960A; CN101527792A; US8026962B2; US20090225201A1

Description

本発明は、被写体の連続撮像により生成された複数の画像フレームを合成して加算画像を生成する画像合成装置に関する。

従来、デジタルカメラ等の撮像装置は、光学レンズにより被写体の光学像を結像して、ＣＭＯＳ型イメージセンサ等の撮像素子により光学像を電気信号に変換する。

ところで、暗所を撮像する方法として、手ぶれの影響の少ない露光時間で被写体を連続撮像して、これら複数の画像の動きを補正しながら当該画像を加算して、一枚の画像を生成する方法が知られている（例えば、特許文献１参照）。
特開２０００−２２４４７０号公報

しかしながら、上記特許文献１の場合、予め規定枚数を一括して連続撮像し、その後、得られた画像データを全て合成するため、ユーザ所望の明るさの画像を得ることができないといった問題がある。

そこで、本発明の課題は、ユーザ所望の明るさの画像を得ることができる使い勝手の良い画像合成装置を提供することである。

請求項１に記載の発明の画像合成装置は、
被写体の連続撮像により生成された複数の画像フレームを記憶する画像フレーム記憶手段と、
前記画像フレーム記憶手段に記憶された前記複数の画像フレームを合成して加算画像を生成する画像合成手段と、
前記画像フレームを前記画像合成手段により合成して、前記加算画像の明るさを調整する画像明るさ調整処理を実行する画像明るさ調整手段と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段による合成途中の画像を表示する途中画像表示手段と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて用いられるトーン補正パラメータを切り替えるトーン補正パラメータ切替手段とを備え、
前記画像明るさ調整手段は、前記トーン補正パラメータ切替手段によりトーン補正パラメータが切り替えられるまでは、合成される画像フレームの数が増加するにつれて画像全体が徐々に明るくなるように画像明るさ調整処理を行い、前記トーン補正パラメータ切替手段によりトーン補正パラメータが切り替えられた後は、合成される画像フレームの数が増加するにつれて画像の暗い部分のみが徐々に明るくなるように画像明るさ調整処理を行うことを特徴としている。

請求項２に記載の発明の画像合成装置は、
被写体の連続撮像により生成された複数の画像フレームを記憶する画像フレーム記憶手段と、
前記画像フレーム記憶手段に記憶された前記複数の画像フレームを合成して加算画像を生成する画像合成手段と、
前記画像フレームを前記画像合成手段により合成して、前記加算画像の明るさを調整する画像明るさ調整処理を実行する画像明るさ調整手段と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段による合成途中の画像を表示する途中画像表示手段と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて用いられるトーン補正パラメータを切り替えるトーン補正パラメータ切替手段とを備え、
前記画像明るさ調整手段は、前記トーン補正パラメータ切替手段によりトーン補正パラメータが切り替えられるまでは、合成される画像フレームの数が増加するにつれて画像全体が徐々に明るくなるように画像明るさ調整処理を行い、前記トーン補正パラメータ切替手段によりトーン補正パラメータが切り替えられた後は、合成される画像フレームの数が増加するにつれて前記加算画像のノイズを軽減させるノイズ軽減処理を行うことを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の画像合成装置において、
前記途中画像表示手段は、所定の複数枚数の画像フレームが合成される毎に、表示を更新することを特徴としている。

請求項４に記載の発明は、請求項１又は２に記載の画像合成装置において、
前記トーン補正パラメータ切替手段は、トーン補正パラメータを切り替えた後に、前記画像合成手段により合成された画像フレーム数が所定数に達した場合には、合成される画像フレーム数が増加しても画像の明るさが略一定となるトーン補正パラメータに更に切り替えることを特徴としている。

本発明によれば、ユーザは画像合成中に今どのような状態にあるのかを知ることができ、複数の画像フレームをユーザの好みの明るさとなるまで合成することができる使い勝手の良い画像合成装置を提供することができる。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
図１は、本発明を適用した実施形態１のデジタルカメラ１００の概略構成を示すブロック図である。
実施形態１のデジタルカメラ（撮像装置）１００は、ユーザによりシャッター６が押下操作されている間、画像フレームを合成して加算画像の明るさを調整する画像明るさ調整処理を実行して、画像フレームが所定枚数加算された合成途中の加算画像を表示装置４に表示する。
具体的には、デジタルカメラ１００は、光学レンズ装置１と、イメージセンサ２と、メモリ３と、表示装置４と、画像処理装置５と、シャッター６と、モードキー７と、コンピュータＩＦ部８と、外部記憶ＩＦ装置９と、プログラムコード記憶装置１０と、ＣＰＵ１１等を備えている。

シャッター６は、ユーザによる押下操作に基づいて、被写体の撮像指示をＣＰＵ１１に出力する。
即ち、シャッター６は、連写撮像モードにて、ユーザによる押下操作に基づいて、光学レンズ装置１及びイメージセンサ２等を用いた被写体の撮像動作の指示をＣＰＵ１１に出力して入力するための撮像操作入力部を構成している。

モードキー７は、ユーザによる操作に基づいて動作モードを選択するためのダイヤル等から構成されている。具体的には、モードキー７は、一枚撮像モード、連写撮像モードや再生モード等を選択できる。

光学レンズ装置１は、撮像レンズ部とその駆動部とを備え、被写体にて反射した光を集光してイメージセンサ２上に結像する。

イメージセンサ２は、ＣＣＤ等を備え、結像した画像をデジタル化した画像データとして取り込むためのものである。
また、イメージセンサ２は、ＣＰＵ１１によって制御され、ユーザによりシャッター６が押下されない場合には、プレビュー用の露光時間の短い高速フレーム（デジタル画像データ）を生成し、当該画像データを秒間３０枚程度の間隔で、定期的に読み出してメモリ３に出力する。そして、ユーザによりシャッター６が押下されると、イメージセンサ２は、高解像度の画像データを生成して、当該画像データをメモリ３に出力する。
なお、イメージセンサ２は、ＣＰＵ１１の制御下にて、被写体の明るさに応じて撮像感度（ＩＳＯ感度）を調整可能となっている。

また、イメージセンサ２は、連写撮像モードにて、ユーザによりシャッター６が押下操作されている間、短時間露光を複数回連続して行うことで被写体を連続して撮像して、複数の画像フレームを出力する。

メモリ３は、イメージセンサ２から出力されたプレビュー用の画像データや高解像度の画像データ、又は画像処理装置５により画像処理される元画像データや処理後の画像データを一時的に記憶する。また、メモリ３は、一時記憶した画像データを表示装置４や画像処理装置５に出力する。
また、メモリ３は、ＣＰＵ１１の作業用メモリとしても用いられる。

表示装置４は、画像が表示される液晶モニタを備え、ＣＰＵ１１の制御下にて、メモリ３に一時記憶されたプレビュー画像や高解像度の本撮像画像を表示する。

画像処理装置５は、ＣＰＵ１１の制御下にて駆動して、メモリ３に一時記憶された画像データに対して画像データの圧縮処理を行ったり、メモリカードＭに記憶されている画像データに対して画像合成処理等を行う。

コンピュータＩＦ部８は、デジタルカメラ１００がコンピュータ（図示略）に接続された場合に、ＵＳＢのストアレジクラスドライバとして動作する。これにより、デジタルカメラ１００に接続されたコンピュータは、メモリカードＭをコンピュータの外部記憶装置として取り扱う。

外部記憶ＩＦ装置９は、メモリカードＭとの間で、画像データ等の入出力を行う。
メモリカードＭは、外部記憶装置として、外部記憶ＩＦ装置９から出力された画像データ等を記憶する。

プログラムコード記憶装置１０は、ＲＯＭやフラッシュメモリ等から構成され、ＣＰＵ１１により実行されるプログラムを記憶する。

ＣＰＵ１１は、プログラムコード記憶装置１０に格納されているプログラムに従って、システム全体を統括的に制御する。
具体的には、ＣＰＵ１１は、ユーザによるシャッター６の所定操作に基づいて出力された操作情報が入力されると、当該操作情報に基づいて、イメージセンサ２、メモリ３、表示装置４、画像処理装置５等を制御して、画像の撮像処理や画像合成処理を行う。また、ＣＰＵ１１は、外部記憶ＩＦ装置９を介してメモリカードＭにＪＰＥＧフォーマットで圧縮した高解像度の画像データを記録させたり、メモリカードＭから画像データを読み出す制御を行う。

次に、画像処理装置５による画像合成処理ついて、図２を参照して詳細に説明する。
画像合成処理は、連写撮像モードにてイメージセンサ２により被写体が連続して撮像された後、メモリカードＭに記憶されている複数の画像フレームを合成する処理である。

図２に示すように、画像処理装置５は、参照画像記憶部５ａ、動き検出部５ｂ、動き補正部５ｃ、画像加算部５ｄ、遮断回路５ｅ、加算画像記憶部５ｆ、選択回路５ｇ、画像リサイズ部５ｈ、画像輝度情報検出部５ｉ、記憶部５ｊ、反転回路５ｋ、加算枚数カウンタ５ｌ、合成パラメータ計算部５ｍ、輝度最大固定数値記憶部５ｎ、輝度調整部５ｐ、トーン補正部５ｑ、オンスクリーン回路５ｓ、画像圧縮部５ｔ等を備えている。

参照画像記憶部５ａは、メモリカードＭに記憶されている複数の画像フレームの中で指定されて読み出された画像フレームを参照画像として記憶する。
また、参照画像記憶部５ａは、記憶された参照画像を動き検出部５ｂに出力する。具体的には、参照画像記憶部５ａは、ＣＰＵ１１から出力された参照画像取り込み信号が入力されている間は、参照画像として入力画像と同じ画像を出力する。

動き検出部５ｂは、参照画像記憶部５ａから出力され入力される参照画像と、メモリカードＭから新たに読み出された対象画像とを比較判定して、動きを検出する。即ち、動き検出部５ｂは、連写撮像モードにて、１枚目の参照画像を２枚目以降の画像の動き量を検出するための基準画像として、対象画像と比較判定して動きを検出する。
例えば、参照画像記憶部５ａから入力された画像と同じ画像が出力される場合、当該画像とメモリカードＭから読み出された対象画像とが同じ画像となって、動き検出部５ｂは、動き補正Ｈを動きなしとして出力する。

動き補正部５ｃは、メモリカードＭから読み出された画像の動き補正：Ｈを行って、補正画像を出力する。なお、動き補正部５ｃは、１枚目の画像の場合には動き補正はないので、入力された画像をそのまま補正画像信号として画像加算部５ｄに出力する。

画像加算部５ｄは、メモリカードＭから読み出された複数の画像フレームを加算（合成）して加算画像を生成する。即ち、画像加算部５ｄは、連写撮像モード（後述）にて、動き補正部５ｃから出力され入力された補正画像信号と、加算画像記憶装置から出力され遮断回路５ｅを介して入力される加算画像を加算する。
ここで、遮断回路５ｅの制御端子に参照画像取り込み信号が入力されている場合、遮断回路５ｅに入力される信号は遮断され、「０」が出力されるため、画像加算部５ｄは、動き補正部５ｃから出力され入力された画像データそのものを加算画像記憶部５ｆに出力する。

加算画像記憶部５ｆは、画像加算部５ｄから出力され入力された画像データを記憶する。
また、加算画像記憶部５ｆは、記憶されている画像データ（加算画像）を選択回路５ｇ及び遮断回路５ｅに出力する。

選択回路５ｇは、ＣＰＵ１１から出力され入力される合成信号に基づいて、イメージセンサ２から出力される信号と加算画像記憶部５ｆから出力される信号の入力を切り換える。具体的には、選択回路５ｇは、合成信号が「０」の場合は、イメージセンサ２から出力される信号の入力を選択する一方で、合成信号が「１」の場合は、加算画像記憶部５ｆから出力される信号の入力を選択する。
そして、選択回路５ｇは、入力された信号を画像リサイズ部５ｈ及び画像輝度情報検出部５ｉに出力する。

画像リサイズ部５ｈは、ＣＰＵ１１から出力され入力される画像リサイズ信号に基づいて、選択回路５ｇから出力され入力される画像のサイズを変更する。画像リサイズ部５ｈは、画像サイズをプレビュー画像用の最小画像サイズ（ＱＶＧＡサイズ）や本撮像画像用の最大画像サイズ等に設定して変更する。
また、画像リサイズ部５ｈは、リサイズ後の画像を輝度調整部５ｐに出力する。

画像輝度情報検出部５ｉは、入力画像に基づいて画像の輝度情報を検出する。具体的には、画像輝度情報検出部５ｉは、入力画像信号に基づいて輝度変換を行い、画像の明るさを測定するための測光領域部分（画像中央部等）を選択してヒストグラムを作成する。また、画像データが順次入力される場合、ヒストグラム計測は、画像中央部の画像データが入力されるごとに行われる。
そして、画像輝度情報検出部５ｉは、計測されたヒストグラムに基づいて画像の輝度分布を検出して、当該輝度分布を画像輝度情報として合成パラメータ計算部５ｍ及び記憶部５ｊに出力する。

記憶部５ｊは、反転回路５ｋから出力された反転信号「１」の入力に基づいて、画像輝度情報検出部５ｉから出力され入力された画像輝度情報を記憶する。

加算枚数カウンタ５ｌは、ＣＰＵ１１から出力され入力された画像加算信号に基づいて、加算（合成）された画像フレーム数である加算枚数をカウント（計測）してカウンタ値を「＋１」する。
また、加算枚数カウンタ５ｌは、合成信号が「０」の場合、当該信号が反転回路５ｋによって「１」に反転された後、クリア信号端子に入力されることで、カウンタ値をクリアする（「０」とする）。
そして、加算枚数カウンタ５ｌは、加算枚数を合成パラメータ計算部５ｍに出力する。

合成パラメータ計算部５ｍは、画像輝度情報検出部５ｉから出力された画像輝度情報が入力される毎に、当該画像輝度情報に基づいて、ヒストグラムの平均値から出力画像の明るさのゲイン調整を行う。
そして、合成パラメータ計算部５ｍは、算出された輝度ゲインを輝度調整パラメータとして輝度調整部５ｐに出力する。

また、合成パラメータ計算部５ｍは、画像輝度情報検出部５ｉから出力され入力された加算画像の画像輝度情報に基づいて、トーン補正部５ｑによるトーン補正パラメータを算出する。具体的には、合成パラメータ計算部５ｍは、加算画像が所定のＳ／Ｎ値に到達するまでは所定の明るさ以下となるように、そして、加算枚数が増えるに従って画像の暗い部分をより明るくするようにトーン補正パラメータを算出する。
即ち、合成パラメータ計算部５ｍは、例えば、ユーザの指示により画像明るさ調整処理が続いている間は、トーンカーブを直線（図３における実線）にし、ユーザの指示によりノイズ軽減処理に変化した後は、暗い部分の引き伸ばし量を調整するため、トーンカーブを画像の暗い部分をより明るくするような曲線（図３における破線）に変化させるようなトーン補正パラメータを算出する。

輝度調整部５ｐは、合成パラメータ計算部５ｍにて算出された輝度ゲイン（輝度調整パラメータ）に基づいて、入力画像の明るさを調整して、トーン補正部５ｑ及び画像圧縮部５ｔに出力する。
なお、輝度調整部５ｐは、規定レベル以上の明るさの画像が入力されても、輝度調整パラメータが１以下の数が入力されて、適正な明るさに調整される。

トーン補正部５ｑは、合成パラメータ計算部５ｍにて算出されたトーン補正パラメータに基づいて、トーンカーブを変更して入力画像のトーンを調整して、オンスクリーン回路５ｓに出力する。
即ち、トーン補正部５ｑは、加算画像の色調を調整する色調調整処理を実行する。具体的には、トーン補正部５ｑは、画像明るさ調整処理中に、ユーザによりシャッター６が押下操作される前と後とで、トーン補正パラメータγを変更することで色調調整処理を異ならせる。例えば、トーン補正部５ｑは、ユーザの指示によってノイズ軽減処理に変化した場合に、トーンカーブを画像の暗い部分をより明るくするような曲線（図３における破線）に変化させて、暗い部分の引き伸ばし量を調整する。
トーンカーブの調整には、下記式（１）によって求めたγを用いたγ補正が適用され、このγ補正によって、下記式（２）に入力された画素値ｘが変換されてｙとして出力されることとなる。

ここで、ｋはノイズ軽減処理での加算枚数である。また、ａは０〜３までの定数であり、０は「変化なし」を表し、値が大きくなるほど加算枚数あたりの暗い部分の引き伸ばし量の変化量が大きくなる。
なお、入力画素値ｘは、０以上で最大値ｘ_ｍａｘ以下である。また、最大値ｘ_ｍａｘは、輝度最大固定数値記憶部５ｎに記憶されている値と加算枚数とを乗算することで求められる。

ここで、出力画像の明るさ（平均輝度Ｌ）と輝度調整パラメータＧ及びトーン補正パラメータγとの対応関係について、図４及び図５を参照してより詳細に説明する。
図４は、デジタルカメラで画像合成した際の加算枚数（Ｎ）とその加算枚数に応じて出力される画像の明るさ（平均輝度Ｌ）との対応関係を示したものである。

図４に示すように、出力画像がユーザが望む明るさを得るまでは、画像明るさ調整処理を行って、加算（合成）枚数に応じて画像全体を徐々に明るくするが、ユーザが「明るさを増やすのはもうこれでいい」と判断し、その旨を指示した後はノイズ軽減処理に移行し、画像が白飛び（オーバーフロー）しないように明るい部分はそれ以上に明るくせずに、暗い部分のみを明るくする。
ここで、暗い部分を明るくしすぎると画像全体のコントラストが低下するので、さらに加算枚数を増やす場合には、出力画像の明るさが略一定となって出力されるように制御する。

次に、トーン補正により出力画像の明るさを制御する場合について図５を参照して説明する。
図５に示すように、ユーザが望む明るさに達するまでは画像明るさ調整処理によりトーン補正パラメータγ値は１．０で一定として、ユーザが望む明るさに達した後はノイズ軽減処理に移行し徐々にγを強くしていって暗い部分を明るくしていく。そして、γ値が所定の指定値に達すると一定にする。
これにより、図４に示したように、ユーザが望む明るさに達するまでは、トーンを変更することなく出力画像の明るさだけを変化することができ、ユーザが望む明るさに達した以降は、ゲインを略一定にしながらトーン補正パラメータγを強くすることで、明るい部分の明るさは維持しながら、暗い部分を明るくするように補正することができる。さらに加算枚数を増やすと、トーン補正パラメータγ値は略一定になり、それ以降は、略一定の明るさの画像が出力されることとなる。

オンスクリーン回路５ｓは、ＣＰＵ１１から出力され入力されるオンスクリーン制御信号に基づいて、一枚目の画像フレームや合成処理後の加算画像を出力する。

画像圧縮部５ｔは、ＣＰＵ１１から出力され入力される圧縮制御信号に基づいて、トーン補正部５ｑから出力され入力された合成後の画像をＪＰＥＧ画像に圧縮する画像圧縮処理を実行する。
また、画像圧縮部５ｔは、合成後の画像をＪＰＥＧ画像に圧縮して、圧縮画像信号としてメモリ３の出力画像領域に出力する。

上記構成の画像処理装置５は、ユーザによるシャッター６の押下操作に従って、読み出された連写画像の画像フレームを画像加算部５ｄにより加算して、所定のＳ／Ｎ値を得るように加算画像の明るさを調整する画像明るさ調整処理を実行する。具体的には、画像処理装置５は、画像明るさ調整処理中に、ユーザによりシャッター６が押下操作される前と後とで、輝度調整パラメータＧを変更することで画像明るさ調整処理を異ならせる。
さらに、画像処理装置５は、画像明るさ調整処理中に、ユーザによりシャッター６が押下操作されると、画像明るさ調整処理後の加算画像に、画像フレームを画像加算部５ｄによりさらに加算していくことで加算画像のノイズＮを軽減するノイズ軽減処理を実行する。これにより、画像フレームの加算枚数を増加させて加算画像のＳ／Ｎ値をより改善していくことができる。

次に、画像処理装置５による画像合成の際に、表示装置４に表示される画像の表示態様について説明する。
表示装置４は、画像明るさ調整処理の際に、画像加算部５ｄによる合成途中の画像を順次表示する。具体的には、図６（ａ）〜図９（ｂ）に示すように、表示装置４には、画像明るさ調整処理にて次第に明るくなっていく加算画像が順次表示される。
ここで、図６（ａ）は、画像フレーム１枚の画像を表し、図６（ｂ）は、画像フレーム２枚が加算された画像を表し、図７（ａ）は、画像フレーム３枚が加算された画像を表し、図７（ｂ）は、画像フレーム４枚が加算された画像を表し、図８（ａ）は、画像フレーム５枚が加算された画像を表し、図８（ｂ）は、画像フレーム６枚が加算された画像を表し、図９（ａ）は、画像フレーム７枚が加算された画像を表し、図９（ｂ）は、画像フレーム８枚が加算された画像を表している。
なお、図６（ａ）〜図９（ｂ）にあっては、画像上のドット数が多いほど暗い画像を表している。

また、表示装置４は、画像処理装置５によるノイズ軽減処理後の画像を表示する。これにより、図１０（ａ）及び図１０（ｂ）に示すように、表示装置４には、画像フレームの加算枚数を増加させることによって、画像の明るさ自体（人物の背景のドット数）は図９（ｂ）のものと変化しないものの、ランダムノイズＮが次第に軽減された鮮明な画像、特に、背景に比べて明るい人物部分のＳ／Ｎ値が改善された画像が表示される。
ここで、図１０（ａ）は、図９（ｂ）の加算画像にさらに画像フレームが加算された画像を表し、図１０（ｂ）は、図１０（ａ）の加算画像にさらにそれ以上の画像フレームが加算された画像を表している。

次に、画像合成処理について、図１１〜図１４を参照して詳細に説明する。
ここで、図１１〜図１３は、画像合成処理にかかる動作の一例を示すフローチャートである。
なお、以下に説明する画像合成処理にあっては、連写撮像モードにてイメージセンサ２により被写体が連続して撮像された後、メモリカードＭに複数の画像フレームが記憶されているものとする。

図１１に示すように、電源投入後、ユーザによるモードキー７の所定操作に基づいて再生モードが選択指示されると、表示装置４は、ＣＰＵ１１の制御下にて、メモリカードＭから読み出された画像を表示する（ステップＳ１）。

そして、ユーザによりメニューボタンが操作されると、表示装置４に表示されている画像が連写撮像された画像である場合には（ステップＳ２；ＹＥＳ）、表示装置４は、ＣＰＵ１１の制御下にて、メニューに「増感」をオンスクリーン表示させる（ステップＳ３）。
ユーザによる所定操作に基づいて「増感」が選択指示されると（ステップＳ４；ＹＥＳ）、ＣＰＵ１１は、画像処理装置５、表示装置４等を初期状態に設定する（ステップＳ５）。
次に、ＣＰＵ１１は、画像処理装置５の制御用の各種信号を連写撮像の初期状態に設定し、一枚撮像動作と異なり、オンスクリーン制御信号を「有効」にする（ステップＳ６）。
そして、ＣＰＵ１１は、本画像／加算画像切り換え信号を加算画像に設定する（ステップＳ７）。

図１２に示すように、その後、ＣＰＵ１１は、合成信号に基づいて、画像合成中であるか否かを判定する（ステップＳ８）。ここで、初期状態では、合成信号は「０」であるので、ＣＰＵ１１は、合成中ではないと判定する（ステップＳ８；ＮＯ）。

続けて、ユーザによりシャッター６が押下操作されているか否かを判定する（ステップＳ９）。そして、ユーザによりシャッター６が押下操作されると（ステップＳ９；ＹＥＳ）、ＣＰＵ１１は、合成信号を「１」にして、画像合成中の状態に設定する（ステップＳ１０）。
次に、ＣＰＵ１１は、画像処理装置５の参照画像取り込み信号を参照画像記憶部５ａに出力する（ステップＳ１１）。

次に、ＣＰＵ１１は、画像加算信号を生成して、加算枚数カウンタ５ｌに出力する（ステップＳ１２）。
ここで、合成信号は「１」となっていることから、当該信号は反転回路５ｋにて「０」に反転されて加算枚数カウンタ５ｌのクリア信号端子に入力されるので、カウンタ値のクリア制御は解除されている。従って、加算枚数カウンタ５ｌは、画像加算信号の入力によりカウンタ値を「＋１」することで、加算枚数が「１」となる。

その後、参照画像記憶部５ａは、ＣＰＵ１１の制御下にて、表示装置４に表示されている画像に係る１枚目の画像フレームを取得して記憶する（ステップＳ１３）。
次に、ＣＰＵ１１は、加算枚数信号に基づいて、画像処理装置５に入力された画像フレームが１枚目の画像フレームであるか否かを判定する（ステップＳ１４）。
ここで、入力された画像フレームは１枚目の画像フレームであると判定されると（ステップＳ１４；ＹＥＳ）、ＣＰＵ１１は、ユーザによるモードキー７の操作の有無を判定する（ステップＳ１５）。
ここで、モードキー７が操作されていないと判定されると（ステップＳ１５；ＮＯ）、ステップＳ８に移行する。
ステップＳ８では、合成信号は「１」となっているので、ＣＰＵ１１は、画像合成中であると判定する（ステップＳ８；ＹＥＳ）。

続けて、ＣＰＵ１１は、ユーザによりシャッター６が押下操作されているか否かを判定する（ステップＳ１６）。ここで、ユーザによりシャッター６が押下操作されている場合（ステップＳ１６；ＹＥＳ）、ＣＰＵ１１は、参照画像取り込み信号の出力を解除する（ステップＳ１７）。これにより、２枚目以降の画像は参照画像記憶部５ａに記憶されることはなくなって、１枚目の画像が保存された状態が維持される。

その後、ステップＳ１２に移行して、ＣＰＵ１１は、画像加算信号を生成して、合成枚数を「＋１」した後、ステップＳ１３にて、メモリカードＭに記憶されている複数の画像フレームのうち、２枚目の画像フレームを対象画像として読み込む。

次に、ステップＳ１４にて、入力された画像フレームは１枚目の画像フレームではないと判定された後（ステップＳ１４；ＮＯ）、画像処理装置５は、２枚目の画像フレームと１枚目の画像フレームとの動き量を動き検出部５ｂにて検出して、その動き補正量に応じて動き補正部５ｃで補正を行って、画像加算部５ｄにて補正画像を１枚目の画像フレームと合成（加算）する（ステップＳ１８）。合成された画像は、加算画像記憶部５ｆに記憶される。

即ち、画像処理装置５は、対象画像が読み込まれる毎に、当該対象画像と１枚目の画像との動き量を動き検出部５ｂにて検出して、その動き補正量に応じて動き補正部５ｃで補正を行って、その補正画像を加算画像記憶部５ｆに記憶されている画像と加算する。これにより、２枚目以降の画像を、動き量に応じて合成する位置を補正しながら重ねることができるので、手持ちで撮像して手ぶれが生じた画像を合成する場合であっても、ぶれのない画像を加算して画像合成することができる。

その後、画像処理装置５は、ＣＰＵ１１の制御下にて、加算画像の現像処理を行う。このとき、オンスクリーン制御信号が「有効」になっているので、オンスクリーン回路５ｓは、加算画像を出力する。
そして、ＣＰＵ１１は、表示装置４を制御して、メモリ３の加算画像表示領域を読み出して、加算画像を表示装置４に表示させる（ステップＳ１９；図６（ａ）参照）。

上記の動作は、ユーザによりシャッター６が押下操作されている限り（ステップＳ１６；ＹＥＳ）、繰り返し実行される。
即ち、画像明るさ調整処理の実行により、画像フレームが順次加算されることで次第に明るくなっていく加算画像を合成する（図６（ａ）〜図９（ｂ）参照）。

画像明るさ調整処理の実行中に、画像が十分な明るさに達したとユーザが判断した結果、ユーザによるシャッター６の押下操作が解除されると（ステップＳ１６；ＮＯ）、ＣＰＵ１１は、表示装置４に動作メニューテーブル（図１４参照）を表示する（ステップＳ２０）。
次に、動作メニューテーブルに表示された「１．もっと明るくする」、「２．この明るさでキレイにする」、「３．この画像を保存する」のうち、ユーザにより選択指示されたメニューに応じて分岐する（ステップＳ２１）。
ここで、「１．もっと明るくする」がユーザにより選択指示されると、ＣＰＵ１１は、画像明るさ調整処理を実行可能となるように画像処理装置５や表示装置４を設定する（ステップＳ２２）。その後、ユーザによりシャッター６の押下操作が行われると（ステップＳ２３；ＹＥＳ）、画像明るさ調整処理の実行により、画像フレームを順次加算して加算画像を合成する（図６（ａ）〜図９（ｂ）参照）。

また、ステップＳ２１にて、「２．この明るさでキレイにする」がユーザにより選択指示されると、ＣＰＵ１１は、ノイズ軽減処理を実行可能となるように画像処理装置５や表示装置４を設定する（ステップＳ２４）。その後、ユーザによりシャッター６の押下操作が行われると（ステップＳ２３；ＹＥＳ）、ノイズ軽減処理の実行により、画像フレームがさらに加算されることでランダムノイズＮが次第に軽減された鮮明な画像を合成する（図１０（ａ）及び図１０（ｂ）参照）。

一方、加算画像が所望の明るさになったとユーザにより判断され、ステップＳ２１にて、「３．この画像を保存する」がユーザにより選択指示されて決定されると、ＣＰＵ１１は、画像リサイズを加算画像の画像サイズに変更した後（ステップＳ２５）、画像処理装置５を制御して、画像加算部５ｄに記憶されている加算画像を読み出し、当該画像の現像処理を行う（ステップＳ２６）。具体的には、読み出された加算画像は、選択回路５ｇを経由して画像リサイズ部５ｈ及び画像輝度情報検出部５ｉに出力される。画像リサイズ部５ｈは、加算画像をそのままのサイズで輝度調整部５ｐに出力し、当該輝度調整部５ｐは、画像の明るさを調整して画像圧縮部５ｔに出力する。

そして、画像処理装置５は、画像圧縮部５ｔに画像圧縮処理を行わせて、圧縮された画像信号をメモリ３の出力画像領域に出力する（ステップＳ２７）。
その後、ＣＰＵ１１は、圧縮された画像データをメモリ３から読み出して、外部記憶ＩＦ装置９に出力して、メモリカードＭに記憶させる（ステップＳ２８）。
なお、画像データの保存は、上書きであっても良いし元のデータとは別保存であっても良く、ユーザにより選択可能となっている。

そして、ＣＰＵ１１は、合成信号「１」の生成を解除して、画像合成処理を終了する（ステップＳ２９）。

以上のように、実施形態１のデジタルカメラ１００によれば、ユーザによりシャッター６が押下操作されている間、画像明るさ調整処理を実行して、画像フレームが所定枚数加算された画像を表示装置４に表示することができるので、ユーザは表示装置４に表示される画像の明るさを確認しながら、所望の明るさとなるまで画像合成を行うことができる。特に、色調調整処理の実行により、画像フレームの加算枚数に応じて加算画像の色調を調整することで、ユーザによる画像フレームの加算枚数の見極めをより容易にして、シャッター６の押下操作の解除タイミングを分かり易くすることができる。
このように、デジタルカメラ１００により合成される加算画像の明るさが適正に調整される様子をユーザは知ることができる。従って、ユーザは画像合成中に今どのような状態にあるのかを知ることができ、複数の画像フレームをユーザの好みの明るさとなるまで合成することができるユーザにとって使い勝手の良いデジタルカメラ１００を提供することができる。

また、画像明るさ調整処理後に、ユーザによるノイズ軽減処理を行うことにより、加算画像のＳ／Ｎ値をより改善していくことができる。これにより、ランダムノイズＮが軽減された鮮明な画像、特に、背景に比べて明るい人物部分のＳ／Ｎ値が改善された画像を合成することができる。

［実施形態２］
以下に、実施形態２のデジタルカメラについて図１５〜図１７を参照して説明する。
ここで、図１５は、本発明を適用した実施形態２のデジタルカメラに備わるメモリの要部構成を示すブロック図である。

実施形態２のデジタルカメラは、画像処理装置５により所定の枚数の画像フレームが加算される毎に、当該加算の結果生成された加算画像を表示装置４に表示する。
なお、実施形態２のデジタルカメラは、所定枚数の画像フレームが加算される毎に、当該加算の結果生成された加算画像を表示する以外の点では、実施形態１におけるものと略同様であり、その詳細な説明については省略するものとする。

即ち、デジタルカメラのメモリ１０３は、図１５に示すように、一時記憶用の一時メモリ３１の他に、画像フレームが加算される毎に生成される加算画像を上書きして記憶する合成メモリ３２と、所定枚数の画像フレームが加算されることで生成された加算結果の表示用の画像を記憶する結果表示用メモリ３３とを備えている。
この結果表示用メモリ３３は、具体的には、画像明るさ調整処理にて、画像加算部５ｄにより所定数（例えば、５枚）の画像フレームが加算される毎に生成される加算画像を記憶する。

そして、表示装置４は、画像フレームの加算枚数に応じて結果表示用メモリ３３に記憶され当該結果表示用メモリ３３から読み出された加算画像を表示する。
これにより、図１６に示すように、表示装置４には、１枚目の画像を撮像した段階では１枚目の画像が表示され、画像フレームが５枚加算されると、当該５枚加算の画像が表示され、さらに５枚加算されると、当該１０枚加算の画像が表示されるといったように、画像が十分明るくなったとユーザが判断するまで、所定枚数の画像フレームが加算された加算画像が段階的に表示される。
なお、図１６中、実線は加算枚数を表し、破線は表示画像を表している。

次に、画像合成処理について、図１７を参照して詳細に説明する。
ここで、図１７は、画像合成処理にかかる動作の一例を示すフローチャートである。

電源投入後、ユーザによるモードキー７の所定操作に基づいて画像合成モードが選択指示されると、ＣＰＵ１１は、画像処理装置５、表示装置４等を初期状態に設定する（ステップＳ１０１）。
その後、ＣＰＵ１１は、当該デジタルカメラの各部を制御して、メモリカードＭから読み出された１枚目の画像フレームを表示装置４に表示する（ステップＳ１０２）。

そして、１枚目の画像フレームの画像データは、先ず、ＣＰＵ１１の制御下にて、メモリ１０３の一時メモリ３１に転送されて記憶される（ステップＳ１０３）。
その後、ＣＰＵ１１は、一時メモリ３１から画像データを取得して、画像処理装置５に転送する（ステップＳ１０４）。

次に、ユーザによりシャッター６が押下操作されると、画像処理装置５は、入力された画像データと合成メモリ３２の加算画像に係るデータを加算して加算画像を生成した後、合成メモリ３２に上書きして記憶する（ステップＳ１０５）。なお、ステップＳ１０４にて、画像処理装置５に転送されてくる画像データが１枚目の画像フレームに係るものの場合、合成メモリ３２に記憶されている画像データは存在しないので、当該１枚目の画像フレームのデータが合成メモリ３２に記憶されることとなる。

続けて、所定のカウンタ（図示略）にて加算枚数（カウンタ値）が「＋１」されると（ステップＳ１０６）、ＣＰＵ１１は、加算枚数が所定の枚数（５枚等）に到達したか否かを判定する（ステップＳ１０７）。
ここで、加算枚数が所定の枚数に達していないと判定されると（ステップＳ１０７；ＮＯ）、ＣＰＵ１１は、ユーザによるシャッター６の押下操作が解除されているか否かを判定する（ステップＳ１０８）。
ユーザによるシャッター６の押下操作が解除されていない場合、即ち、未だ、シャッター６が押下操作されている場合には、ステップＳ１０３に移行して、ＣＰＵ１１は、それ以降の処理の実行を制御する。

一方、画像フレームの加算が繰り返し行われて、ステップＳ１０７にて、加算枚数が所定の枚数に達したと判定されると（ステップＳ１０７；ＹＥＳ）、ＣＰＵ１１は、合成メモリ３２に記憶されている加算画像の画像データを読み出して、表示装置４に表示させるための加工処理を行った後、当該加工後の画像データを結果表示用メモリ３３に転送して記憶させる（ステップＳ１０９）。
また、ＣＰＵ１１は、加工後の画像データを表示装置４に転送して、所定の枚数の画像フレームが加算された加算画像を表示させる（ステップＳ１１０）。

続けて、ＣＰＵ１１は、カウンタのカウンタ値をリセットして、ステップＳ１０８に移行する。
ステップＳ１０８にて、ユーザによるシャッター６の押下操作が解除されていると判定されると（ステップＳ１０８；ＹＥＳ）、ＣＰＵ１１は、画像合成処理を終了して、結果表示用メモリ３３内の加算画像の画像データをメモリカードＭに転送して記憶させる（ステップＳ１１２）。

以上のように、実施形態２のデジタルカメラによれば、加算画像が記憶される合成メモリ３２とは別に、結果表示用メモリ３３を設けて、当該結果表示用メモリ３３に記憶される加算画像を所定枚数の画像フレームが加算される毎に更新するようにしたので、画像表示のための現像処理に係る画像処理装置５の負担を軽減することができる。
さらに、ユーザによりシャッター６が押下操作されている間、画像合成処理を実行する構成のものであっても、順次画像フレームが加算される画像とは異なり、結果表示用メモリ３３内に保持された加算画像が表示されることで、ユーザは、加算画像を確認しながら画像合成することができ、ユーザにとって適正な明るさの加算画像が表示されてからシャッター６の押下操作を解除するまでのタイムラグの発生を防止して、露光時間オーバーの画像の記憶を防止することができる。

なお、上記実施形態１及び実施形態２では、撮像結果をメモリカードＭに転送して記憶するようにしたが、これに限られるものではなく、例えば、メモリ１０３等の内部記憶装置に保存用メモリを設け、このメモリに記憶するような構成としても良い。

また、結果表示用メモリ３３に記憶される加算画像の画像フレームの加算枚数は、ユーザによって手作業で変更可能としても良いし、明るさや露光時間に応じて自動的に変更するような構成としても良い。

なお、図示は省略するが、少なくとも画像明るさ調整処理を実行するデジタルカメラであれば、画像明るさ調整処理とノイズ軽減処理を実行したり、画像明るさ調整処理と色調調整処理を実行するものであっても良い。

また、上記実施形態１〜２にあっては、被写体として人物を撮影した場合を例示して説明したが、星座などの天体写真を撮影する場合におけるバルブ撮影や長時間露光撮影等に画像合成処理を適用しても良い。例えば、長時間露光に合わせて複数枚高速連写した画像を一時記憶しておき、それらを所定枚数合成して所望の明るさやコントラストになった時点で合成を終了するようにしても良い。

さらに、上記画像合成処理は、明るさの調整だけでなく、ホワイトバランス、トーンカーブ補正、γ補正、コントラストや彩度、カラーの補正などに適用しても良い。例えば、「デジタルストロボ」、「デジタルホワイトバランス」、「デジタルトーンカーブ」、「デジタルカラー補正」などの所定のスイッチを設けて、そのボタンを押している時間に応じて、又は＋／−のスイッチの調整に応じて複数枚の画像を合成して上記各処理を行い、所望の画像が得られた時点で保存するようにしても良い。

加えて、画像合成装置として撮像装置１００を例示したが、これに限られるものではなく、イメージセンサ２により生成した複数の画像データをコンピュータＩＦ部８を介して接続されたコンピュータ等の外部機器に出力して、当該外部機器にて画像合成処理、画像明るさ調整処理、途中画像表示処理、ノイズ軽減処理等を行うようにしても良い。

本発明を適用した実施形態１のデジタルカメラの概略構成を示すブロック図である。図１のデジタルカメラに備わる画像処理装置の要部構成を示すブロック図である。図２の画像処理装置による色調調整処理に係るトーンカーブを模式的に示す図である。図１のデジタルカメラによる加算枚数と出力画像の明るさとの対応関係を示す図である。図１のデジタルカメラによる色調調整処理に係るトーン補正パラメータと加算枚数の対応関係の一例を示す図である。図２の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。図２の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。図２の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。図２の画像処理装置による画像明るさ調整処理に係る画像を模式的に示す図である。図２の画像処理装置によるノイズ軽減処理に係る画像を模式的に示す図である。図１のデジタルカメラによる画像合成処理に係る動作の一例を示すフローチャートである。図１１の画像合成処理の続きを示すフローチャートである。図１２の画像合成処理の続きを示すフローチャートである。図１１の画像合成処理に係る動作メニューテーブルを模式的に示す図である。本発明を適用した実施形態２のデジタルカメラに備わるメモリの要部構成を示すブロック図である。図１５のデジタルカメラによる画像合成処理に係る画像フレームの加算枚数と、加算画像の表示時間との対応関係を模式的に示す図である。図１５のデジタルカメラによる画像合成処理に係る動作の一例を示すフローチャートである。

符号の説明

１００デジタルカメラ（画像合成装置、撮像装置）
２イメージセンサ（連続撮像手段）
４表示装置（途中画像表示手段）
５画像処理装置（画像明るさ調整手段、ノイズ軽減手段）
５ｄ画像加算部（画像合成手段）
６シャッター（撮像操作入力部）
Ｍメモリカード（画像フレーム記憶手段）

Claims

被写体の連続撮像により生成された複数の画像フレームを記憶する画像フレーム記憶手段と、
前記画像フレーム記憶手段に記憶された前記複数の画像フレームを合成して加算画像を生成する画像合成手段と、
前記画像フレームを前記画像合成手段により合成して、前記加算画像の明るさを調整する画像明るさ調整処理を実行する画像明るさ調整手段と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段による合成途中の画像を表示する途中画像表示手段と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて用いられるトーン補正パラメータを切り替えるトーン補正パラメータ切替手段とを備え、
前記画像明るさ調整手段は、前記トーン補正パラメータ切替手段によりトーン補正パラメータが切り替えられるまでは、合成される画像フレームの数が増加するにつれて画像全体が徐々に明るくなるように画像明るさ調整処理を行い、前記トーン補正パラメータ切替手段によりトーン補正パラメータが切り替えられた後は、合成される画像フレームの数が増加するにつれて画像の暗い部分のみが徐々に明るくなるように画像明るさ調整処理を行うことを特徴とする画像合成装置。
被写体の連続撮像により生成された複数の画像フレームを記憶する画像フレーム記憶手段と、
前記画像フレーム記憶手段に記憶された前記複数の画像フレームを合成して加算画像を生成する画像合成手段と、
前記画像フレームを前記画像合成手段により合成して、前記加算画像の明るさを調整する画像明るさ調整処理を実行する画像明るさ調整手段と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて、前記画像合成手段による合成途中の画像を表示する途中画像表示手段と、
前記画像明るさ調整手段による前記画像明るさ調整処理にて用いられるトーン補正パラメータを切り替えるトーン補正パラメータ切替手段とを備え、
前記画像明るさ調整手段は、前記トーン補正パラメータ切替手段によりトーン補正パラメータが切り替えられるまでは、合成される画像フレームの数が増加するにつれて画像全体が徐々に明るくなるように画像明るさ調整処理を行い、前記トーン補正パラメータ切替手段によりトーン補正パラメータが切り替えられた後は、合成される画像フレームの数が増加するにつれて前記加算画像のノイズを軽減させるノイズ軽減処理を行うことを特徴とする画像合成装置。
前記途中画像表示手段は、所定の複数枚数の画像フレームが合成される毎に、表示を更新することを特徴とする請求項１又は２に記載の画像合成装置。
前記トーン補正パラメータ切替手段は、トーン補正パラメータを切り替えた後に、前記画像合成手段により合成された画像フレーム数が所定数に達した場合には、合成される画像フレーム数が増加しても画像の明るさが略一定となるトーン補正パラメータに更に切り替えることを特徴とする請求項１又は２に記載の画像合成装置。