JP5206466B2 - 画像補正装置、画像補正プログラムおよび画像撮影装置 - Google Patents

Description

本発明は、撮影した複数の画像を用いて基準となる画像を補正して表示する技術に関する。

従来、ディジタルカメラで撮影した画像の手ぶれ補正技術として、短時間露光で画像を連続して撮影（連写）して、連写画像間で画像の位置合わせを行い、位置合わせ後の画像間で被写体動き領域が多重化しないように合成する技術がある。このような画像処理を行うことにより、ノイズ感が少なく、手ぶれの小さい画像を取得できるが、画像補正処理に時間がかかる。

そのため、通常ディジタルカメラに具備された小型の表示用モニタ（ビューア）に、撮影直後の補正後の画像を表示するには、数秒から数十秒かかり、利用者は、ビューアに表示された画像の確認に、数秒から数十秒またなければならないという問題がある。

これに対して特許文献１では、異なる画像処理方法で表示用画像合成と印刷用画像合成を行い、異なる解像度の画像で、表示用画像合成と印刷用画像合成を行うことにより、表示用画像生成の処理時間を短縮する提案がされている。ディジタルカメラによる撮像映像と合成用画像（合成映像として表示して使用者に目視確認させるための確認用画像）とを合成して合成映像を生成する第１合成手段が設けられている。また、第１合成画像をリアルタイム表示して被写体に合成映像の目視確認を可能とするモニタと、シャッタにより固定された静止画と合成用画像とを合成して合成画像を生成する第２合成手段が備えられている。そして、上記第２合成手段で生成された合成画像を印刷して写真プリントとして提供するプリンタが提案されている。なお、合成用画像は、シャッタ手段で固定された静止画と合成して印刷するための印刷用画像である。

また、特許文献２によれば、連写画像を合成して手ぶれ補正する際の、合成完了前の画像確認を容易にし、撮影後、合成完了前に、連写画像のうちの１枚の画像を、合成枚数に応じてゲインアップしたものを確認用画像として出力する提案がされている。

しかしながら、上記特許文献１、２のような連写画像撮影中に被写体が動いた場合には、合成の際に被写体位置を合わせる必要があり、そのような位置あわせを行った後の画像は、連写した画像の任意の１枚と異なる絵柄となる。そのため、確認用画像と、合成後画像（＝保存用画像）の絵柄が異なる場合が発生するという問題がある。

特許３４９９８６２号公報 特開２００６−５４６９８号公報

上記のような実情に鑑みてなされたものであり、最終的な合成画像生成を待たずに、基準画像、途中合成画像をビューアに表示することで、利用者に待ちを感じさせることなくビューア表示画像での確認をさせることができる画像補正装置、画像補正プログラムおよび画像撮影装置を提供することを目的とする。

態様のひとつである画像補正装置は、画像バッファ部、基準画像特定部、画像合成部、表示選択部を備えている。画像バッファ部は、連続撮影した複数の画像の画像データを受信して記録する。基準画像特定部は、画像バッファ部に記録した上記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する。画像合成部は、上記基準画像データと、異なる上記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する。表示選択部は、上記補正が終了する前に、上記基準画像データを表示部に出力し、上記補正が終了した後に、該基準画像データに代えて上記補正した合成画像データを表示部に出力する。

また、画像補正装置にさらに、ノイズ除去強度設定部、ノイズ除去部を備え、ノイズ除去強度設定部は、上記画像バッファ部に記録されている画像データに基づいて、上記基準データまたは上記補正した合成画像データのノイズ除去強度を変化させる条件を記録する。ノイズ除去部は、上記表示選択部の後段に、上記条件により上記基準画像データと上記補正した合成画像データのノイズ除去強度を変化させる。

この構成により、最終的な合成画像生成を待たずに、基準画像、途中合成画像をビューアに表示することで、利用者に待ちを感じさせることなくビューア表示画像での確認をさせることが可能となる。さらに、画像合成枚数に応じてノイズ除去強度を変えることで、基準画像、途中合成画像、最終画像それぞれのノイズ感の差を低減することができる。また、途中画像であっても、ノイズ感が異なることによる違和感を、利用者に感じさせない。

最終的な合成画像生成を待たずに、基準画像、途中合成画像をビューアに表示することで、利用者に待ちを感じさせることなくビューア表示画像での確認をさせることができる。

実施例１の構成を示すブロック図である。 画像バッファ部が３つのバッファを備え、連写した画像を３枚記録できる場合の画像補正方法を示す図である。 実施例１の動作を示すフロー図を示す。 基準画像を選択する動作を示すフロー図を示す。Ａはシャッタを押下した時刻に最も近い画像を選択する場合のフロー図である。Ｂはエッジ強度が最も高い画像を選択する場合のフロー図である。Ｃはエッジ強度により選択された画像のなかでシャッタを押下した時刻に最も近い画像を選択する場合のフロー図である。 ３枚の連写画像を取得する場合であり、３枚の連写した各画像に合成重み係数を設定するテーブルを示す図である。 実施例２の構成を示すブロック図である。 Ａは合成画像データの枚数に応じてノイズ除去の強度を変化させる条件を示すグラフである。ＢはＡのグラフに対応するテーブルを示す図である。 実施例２の動作を示すフロー図である。 Ａは画像データの縮小率に応じてノイズ除去の強度を変化させる条件を示すグラフである。ＢはＡのグラフに対応するテーブルを示す図である。Ｃは画像データのビューア表示サイズに応じてノイズ除去の強度を変化させる条件を示すグラフである。ＤはＣのグラフに対応するテーブルを示す図である。 Ａは画像データのゲイン値に応じてノイズ除去の強度を変化させる条件を示すグラフである。ＢはＡのグラフに対応するテーブルを示す図である。 Ａは画像データのエッジ量に応じてノイズ除去の強度を変化させる条件を示すグラフである。ＢはＡのグラフに対応するテーブルを示す図である。Ｃはソベルフィルタを示す図である。 実施例３の動作を示すフロー図を示す。 実施例４のビューアに途中画像であることを示す表示を示した図である。 コンピュータプログラムとして実現する場合の構成を示す図である。

以下図面に基づいて、本発明の実施形態について詳細を説明する。
（実施例１）
図１に実施例１の画像補正装置の構成を示す。実施形態の画像補正装置は、特に限定されるものではないが、例えば、電子カメラにより得られた画像を補正する。また、画像補正装置は、基本的に、手ぶれを補正するものとする。手ぶれは、例えば、画像の撮影時に撮影装置が動くことによって発生する。画像撮影装置は、画像撮影部１、画像補正装置、表示装置７（表示部）を備え、画像補正装置は、画像バッファ部２（２−１、２−２、２−３・・・２−ｎ）、基準画像特定部３、画像合成部４、合成画像保持部５、表示選択部６を備えている。なお、画像補正装置の機能は、ハードウェアだけでなく、ＣＰＵやプログラマブルなデバイスによって実現してもよい。

画像撮影部１は、短時間露光で光学系を介して撮像素子により画像を取得して、その画像のデータを記録するために記録部に転送する。また、画像撮影部１は、連続して画像を取得する連写撮影ができる。

ここで、静止画像での連写撮影は、１枚の画像を取得した後、続けて次の画像を取得することである。また、１枚の画像取得にかかる時間は、主に、露光時間と画像データ（ＲＧＢやＹＵＶ形式）として取得する転送時間である。露光時間は、撮像素子（例えば、画像センサ（ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor））が画像データを電子データとして蓄える時間である。転送時間は、画像センサが蓄えた電子データ（ベイヤデータ）をカメラの信号処理部（例えばＣＰＵやＤＳＰ（Digital Signal Processing））に転送して画像データとして取得する転送時間などである。露光時間と転送時間は、外部環境、センサ特性、カメラ設定などによって異なるため、連写画像間隔は一定ではない。例えば、以下の例が考えられる。（１）外部環境として、周囲の明るいと露光時間が短くなる。（２）センサ特性として、センサの種類（ＣＣＤ、ＣＭＯＳ）より転送時間が異なり、（３）画素数が多ければ転送時間が長くなる。（４）カメラ設定として、ＩＳＯ感度設定が高ければ露光時間は短くなる。（５）撮影モードとして、例えばスポーツモードでは露光時間は短くなる。

動画像の連写撮影では、カメラ性能、あるいはアプリケーションの要件でフレームレートとして画像撮影間隔を決定するのが一般的である。例えば、携帯電話でのＴＶ電話撮影ではフレームレートは１５ｆｐｓ（画像間隔は６６．６７ｍｓ）、ハイビジョンの動画撮影では６０ｆｐｓ（画像間隔は１６．６７ｍｓ）となる。

なお、連写画像は連続する時間軸の中で離散的に複数枚撮影した画像である。撮影間隔は一定でなくても良いが、画像間のずれが短い方が位置合わせの精度が高い、被写体ぶれが小さいなどの効果があるため連写間隔は短い方が望ましい。

次に、画像バッファ部２は、連続して撮影した複数の画像の画像データを画像撮影部１から受信して記録する。
基準画像特定部３は、画像バッファ部２に記録した複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する。基準画像の特定は、レリーズタイムラグを最も短くするために第１番目の画像を常に基準画像とするようにしてもよいし、例えば顔検出を行って目をつぶっていない画像など、撮影に成功した画像を判定し基準画像としてもよい。

画像合成部４は、最初に基準画像特定部３に記録されている基準画像データと画像バッファ部２に記録された画像データを用いて補正した合成画像データを生成する。その際、画像間のずれ量と被写体動きの有無を算出し、被写体動きがある領域は基準画像を採用し、被写体動きが無い領域は画像合成を行う。例えば、基準画像と画像バッファ部の画像の画素値を足して２で割る。このように処理することにより基準画像に近い図柄の合成画像を得ることができる。２回目以降の補正では、合成画像保持部５に保持された補正済みの合成画像データと画像バッファ部２に保持されたまだ使用されていない画像とを合成する。被写体動きのある領域は補正済み合成画像データを採用することで、補正済み画像の図柄は合成枚数に関わらず、基準画像に近い画像になる。

合成画像保持部５は、画像合成部４で生成した合成画像データを記録する。
図２は、画像バッファ部２が３つのバッファを備え、連写した画像を３枚記録できる場合の画像補正方法を示す図である。まず、連写した画像Ａ、Ｂ、Ｃの中から画像Ｂを基準画像として基準画像特定部３により特定する。そして、画像Ｂを基準画像Ｂ以外の画像Ａにより画像合成部４で補正をして合成画像Ｄを生成して合成画像保持部５に記録する。次に、合成画像保持部５に記録した合成画像Ｄ（画像Ｂを画像Ａにより補正した画像）を画像Ｃにより補正して合成画像保持部５に記録する。

表示選択部６は、補正が終了する前に、基準画像データを表示装置７に出力し、補正が終了した後に、該基準画像データに代えて補正した合成画像データを表示装置７に出力する。

また、表示選択部６は、撮影直後は基準画像データを選択し、その後、画像の補正が終了するごとに補正した合成画像データを順次選択して表示装置７に出力する。
表示装置７は、表示選択部６から出力された基準画像データまたは補正した合成画像データを表示する。例えば、表示装置７はディジタルカメラが具備するビューアである。

（動作説明）
図３に実施例１の動作を示すフロー図を示す。
ステップＳ１では、基準画像特定部３が連写画像の中から基準画像を特定する。まず連写画像を撮影した後に基準画像を決定する。例えば、顔検出を行って目をつぶっていないか、視線がずれていないかなどの視線検出を行い、問題のない画像を選択しても良い。

また、図４のＡに示すような方法により基準画像を選択してもよい。ステップＳ４１で撮影時刻（利用者がシャッタを押下した時刻）に最も近い画像を選択することにより、利用者が望んだ絵柄（シャッタを押したときの絵柄）を取得する。

また、図４のＢに示すように、エッジ強度が最も高い画像を選択してもよい。ステップＳ４２では連写画像それぞれのエッジ強度を算出する。ここで、エッジ強度の算出は既存の技術を用いて算出する。ステップＳ４３ではエッジ強度の最も高い画像を選択する。このように、エッジ強度の最も強い画像を基準画像とすることにより、ぼけのないシャープな合成画像が得られる。なお、エッジ強度の算出方法については後述するソベルフィルタ（Sobel filter）、ラプラシアンフィルタなどを用いることができる。

また、図４のＣに示すように基準画像を選択してもよい。ステップＳ４４ではステップＳ４２と同様、連写画像それぞれのエッジ強度を算出する。ステップＳ４５では、算出したエッジ強度と予め記録部に記録した閾値とを比較して、閾値未満の画像を除外する。ステップＳ４６では、残った画像のうち最も撮影時刻に近い画像を選択する。このように基
準画像を選択することにより、ぼけが無く、かつ利用者が望んだ絵柄に最も近い画像を得ることができる。

ステップＳ２では、基準画像を表示装置７（例えば、ビューア）に表示する。表示選択部６は、基準画像特定部３から基準画像を取得して表示装置７に転送し、表示装置７に基準画像を表示する。

ステップＳ３では、画像合成部４が画像バッファ部２に格納した各画像の特徴点を検出して、画像の位置合わせをし、その後ずれ量を算出する。ここで、特徴点を検出は、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）を検出するとともに、そのエッジ部分から、高輝度点、端点、頂点、分岐点、交差点といった特徴的に見分け易い部分のみを特徴点として抽出する。図２を用いて、３枚の連写画像を取得した場合で、画像バッファ２−２に記録されている画像が基準画像であるときについて説明する。まず、基準画像と画像バッファ２−１に記録された１枚目画像の特徴点を検出し位置合わせを行う。次に、基準画像と１枚目画像の同一領域（画素単位または、複数の画素からなる画素ブロック単位）のずれ量を算出する。例えば、位置合わせをして単純に合成して多重化された合成画像を生成し、同一位置の画素値の差分を算出する。

ステップＳ４では、画像合成部４が被写体動きを検出する。例えば、ステップＳ３で算出した画素値の差分が予め記録部に設定した閾値以上の部分を動き領域として検出する。
ステップＳ５では、画像合成部４が基準画像の補正を行う。画像合成部４は、各画像間で被写体動きが生じる場合、ただ単に合成をすると被写体動きがある領域が多重化してしまうため、被写体動きがある領域は画像合成を行わずに、基準画像のみの被写体動きがある領域を採用する。また、基準画像と基準画像以外の画像の被写体動きがない領域は被写体動きがない領域を合成する。図２の例であれば、基準画像（基準画像特定部３：画像バッファ２−２と同じ）と１枚目画像（画像バッファ２−１）の被写体動きがない領域（車以外の背景）を合成する。

例えば、図５に示すように３枚の連写画像を取得する場合、３枚連写した各画像の被写体動きがある領域、被写体動きがない領域にそれぞれに合成重み係数を設定して記録する。図５の場合であれば、１枚目の重み＝ｊ、２枚目の重み＝ｋ、３枚目の重み＝ｌとする（ｊ：ｋ：ｌ）。基準画像が１枚目であれば、図５の「基準画像」に関連する「被写体動きがある領域」「被写体動きがない領域」に、それぞれ「３：０：０」「１：１：１」を取得してこの係数に従い画像を合成する。つまり、基準画像が１枚目であれば、被写体動きがある領域についてはｊ＝３、ｋ＝０、ｌ＝０であるので１枚目の被写体動きがある領域（図２の車）のみ使用する。被写体動きがない領域についてはｊ＝１、ｋ＝１、ｌ＝１であるので３枚目の被写体動きがない領域（図２Ａ、Ｂ、Ｃの車以外の背景）を合成する。

基準画像の補正は、各画像の画素ごとに次式を用いて合成処理を実施する。合成結果＝（１枚目の画素値×ｊ＋２枚目の画素値×ｋ＋３枚目の画素値×ｌ）／（ｊ＋ｋ＋ｌ）
このように、補正を行うことで、多重化の無い合成画像を得ることができる。また、合成後画像の図柄は基準画像に近いものになる。ただし、基準画像は短時間露光画像であり、合成後画像は複数画像を合成した画像であるので、ノイズ感は異なる。つまり、基準画像の方が合成画像よりもノイズ感が大きくなる。

ステップＳ６では、合成画像保持部５から合成画像を取得して表示装置７に表示する。図２の例ではビューア上に表示されている基準画像と、２枚目の画像（基準画像）を１枚目の画像を用いて補正した後の合成画像に切り替えてビューアに表示する。ただし、ノイズ感は異なるが、基準画像に近い図柄を得ることができる。

ステップＳ７では、ステップＳ３と同じように基準画像と基準画像以外の画像のずれ量を算出する。図２に示した例の場合であれば、基準画像（基準画像特定部３：画像バッファ２−２と同じ）と３枚目画像（画像バッファ２−３）のずれ量を算出する。

ステップＳ８では、ステップＳ４と同じように基準画像と基準画像以外の画像の被写体動きを検出する。図２に示した例の場合であれば、基準画像と３枚目画像（画像バッファ２−３）の被写体動きを検出する。

ステップＳ９では、画像合成部４が合成画像保持部５に記録されている合成画像の補正を行う。画像合成部４は、ステップＳ８各画像間で被写体動きが生じる場合は、ただ単に合成をすると被写体動きがある領域が多重化してしまうため、被写体動きがある領域は画像合成を行わずに、合成画像保持部５に記録されている合成画像のみの被写体動きがある領域（基準画像と同じ）を採用する。また、合成画像と基準画像以外の画像の被写体動きがない領域は、被写体動きがない領域を合成する。図２の例であれば、１枚目と２枚目の合成画像と３枚目の画像（画像バッファ２−３）の被写体動きがない領域を合成する。このように、補正を行うことで、多重化の無い合成画像を得ることができる。また、合成後画像の図柄は基準画像に近いものになる。ただし、基準画像は短時間露光画像であり、合成後画像は複数画像を合成した画像であるので、ノイズ感は異なる。つまり、基準画像の方が合成画像よりもノイズ感が大きくなる。

ステップＳ１０では、合成画像保持部５から合成画像を取得して表示装置７に表示する。ビューア上に表示されている合成画像（１枚目＋２枚目）を、２枚目の画像（基準画像）を３枚目の画像（画像バッファ２−３の画像）に基づいて補正した後の合成画像に切り替えてビューアに表示する。ノイズ感は異なるが、基準画像に近い図柄を得ることができる。

上記動作については、３つの画像バッファ２（２−１、２−２、２−３）を備え、基準画像が画像バッファ２−２と同じ場合について説明した。
次に、基準画像が画像バッファ２−１（１枚目）や画像バッファ２−３（３枚目）に記録されている場合について説明する。

基準画像が画像バッファ２−１に記録されている画像データと同じである場合、例えば、画像バッファ２−２の画像と基準画像のずれ量を算出後、被写体動き検出をし、検出結果に基づいて基準画像の補正を行い、合成画像（１枚目＋２枚目）を生成する。次に、現在表示されている基準画像と生成した合成画像を切り替えて表示する。さらに、画像バッファ２−３の画像と基準画像のずれ量を算出後、被写体動き検出をし、検出結果に基づいて合成画像（１枚目＋２枚目）の補正を行い、合成画像を生成する。次に、現在表示されている合成画像と生成した合成画像を切り替えて表示する。

基準画像が画像バッファ２−３に記録されている画像データと同じである場合、例えば、画像バッファ２−１の画像と基準画像のずれ量を算出後、被写体動き検出をし、検出結果に基づいて基準画像の補正を行い、合成画像（１枚目＋３枚目）を生成する。次に、現在表示されている基準画像と生成した合成画像を切り替えて表示する。さらに、画像バッファ２−２の画像と基準画像のずれ量を算出後、被写体動き検出をし、検出結果に基づいて合成画像（１枚目＋３枚目）の補正を行い、合成画像を生成する。次に、現在表示されている合成画像と生成した合成画像を切り替えて表示する。

また、ｎ個（ｎ：４以上）の画像バッファ２（２−１、２−２・・・２−ｎ）を備えている場合、基準画像を選択後、予め決められた順番で基準画像と該基準画像以外の各画像
とのずれ量を算出して被写体動き検出する。その後、各被写体動き検出の結果に基づいて基準画像または合成画像を補正して、順次、基準画像または合成画像の表示切り替えを実行する。

なお、表示切り替えは、合成画像を生成するごとに行ってもよいし、予め決められた間隔で最新の合成画像に切り替えてもよい。
上記構成により、利用者は撮影直後からビューア表示画像により、撮影画像の図柄を確認できる。また、ノイズ感が最終的な画像と異なるが、時間経過とともにノイズ感が少なくなるため、まず図柄を確認し、その後にノイズ感を評価できる。

（実施例２）
基準画像と中間合成後画像（連写画像を全て合成する前の合成済み画像）と最終画像（全画像合成済みの画像）とでは、ノイズ感が異なる。ビューア表示画像に対してノイズ除去を実行し、画像合成枚数に応じて後述するノイズ除去の強度を変更することによって、利用者が感じる基準画像、中間合成画像、最終画像のノイズ感の差を低減することができる。

図６に実施例２の画像補正装置の構成を示す。画像撮影装置は、画像撮影部１、画像補正装置、表示装置７（表示部）を備え、画像補正装置は、画像バッファ２（２−１、２−２、２−３・・・２−ｎ）、基準画像特定部３、画像合成部４、合成画像保持部５、表示選択部６、ノイズ除去強度設定部８、ノイズ除去部９を備えている。なお、画像補正装置の機能は、ハードウェアだけでなく、ＣＰＵやプログラマブルなデバイスによって実現してもよい。

実施例２は、実施例１の画像補正装置に、さらにノイズ除去強度設定部８、ノイズ除去部９を備えた画像補正装置である。
ノイズ除去強度設定部８は、画像バッファ部２に記録されている画像データに基づいて、基準画像データまたは補正した合成画像データのノイズ除去の強度を変更させる条件（パラメータ）が記録されている。

ノイズ除去部９は、表示選択部６の後段に、ノイズ除去強度設定部８に記録されている条件に基づいて決定したノイズ除去の強度に従って基準画像データと合成画像データのノイズ除去処理を実行する。ノイズ除去の方法については移動平均フィルタ、加重平均フィルタ、中央値フィルタ（Median Filter：近傍画素の画素値に含まれる中間の大きさの画素値で注目画素の画素値を置き換えるフィルタ操作）など様々な方法がある。例えば、中間値フィルタは、３×３マスの９画素を濃度値の低い順に並べて中央の値を入れ替えることによりノイズを除去するフィルタである。

また、ノイズ除去の強度の変更は、例えば、上記移動平均フィルタ、加重平均フィルタ、中央値フィルタなどで用いるｎ×ｎフィルタのサイズの変更、そのｎ×ｎフィルタの重み付け係数の変更をすることである。また、ノイズ除去の強度によってフィルタを使い分けてもよい。なお、使用するフィルタに対応したｎ×ｎフィルタのサイズと重み付け係数などのデータは、ノイズ除去強度に関連付けられてメモリに記録されている。

ノイズ除去の強度を変化させる条件について説明する。
（画像合成枚数によりノイズ除去の強度を変更する方法）
図７のＡに、ノイズ除去強度設定部８に記録されている、合成画像データの枚数に応じてノイズ除去の強度を変化させる条件（画像合成枚数とノイズ除去強度の関係）を示すグラフを示す。図７のＡの縦軸はノイズ除去の強度を示し、横軸には画像合成枚数が示されている。図７のＢには、図７のＡに対応するノイズ除去強度設定部８に記録されている画
像合成枚数−ノイズ除去強度テーブルを示す。図７のＢの例では「画像合成枚数」には「１枚」〜「４枚」が記録され、各枚数に関連付けてノイズ除去強度が記録されている。本例ではノイズ除去強度を「０」〜「１００」の範囲で設定し、「０」のときがもっともノイズ除去を弱く行い、「１００」のときノイズ除去を強く行う設定になっている。ノイズ除去強度の値が大きいほどノイズ除去の効果は大きく、画像合成枚数が多くなるに従って、ノイズ除去強度を下げる。

図７のＢの例であれば、基準画像特定部３が１枚目の画像（基準画像）を取得すると合成画像枚数（１枚目）が、ノイズ除去部９に通知される。ノイズ除去部９は、ノイズ除去強度設定部８に記録されている図７のＢの画像合成枚数−ノイズ除去強度テーブルを参照して、合成画像枚数「１枚目」に関連付けられているノイズ除去強度「１００」を選択する。その後、ノイズ除去部９では、ノイズ除去強度「１００」に対応した強度でノイズ除去処理を行う。なお、図７のＢの例ではノイズ除去強度をテーブルを用いて決定したが、計算によりノイズ除去強度を算出して決定してもよい。

次に、合成画像部４により１枚目の画像（基準画像）を他の画像により補正した合成画像を生成し、その際に合成画像枚数も取得して、合成画像枚数をノイズ除去部９に通知する。例えば、合成画像枚数が２枚であれば、ノイズ除去部９は図７のＢの画像合成枚数−ノイズ除去強度テーブルを参照して、合成画像枚数「２枚目」に関連付けられているノイズ除去強度「６５」を選択する。その後、ノイズ除去部９では、ノイズ除去強度「６５」に対応した強度でノイズ除去処理を行う。２枚目以降も同様にノイズ除去を行う。

なお、最終合成画像でのノイズ除去強度は、最終画像に対して通常かけるノイズ除去強度とすることで、ビューアに表示する最終の合成画像と、作成して保存する合成画像とのノイズ感を近くする効果が得られる。

（動作説明）
図８に実施例２の動作を示すフロー図を示す。
ステップＳ８１はステップＳ１と同様の動作を行い、ステップＳ８３〜Ｓ８５はステップＳ３〜Ｓ５と同様の動作を行い、ステップＳ８７〜８９はステップＳ７〜Ｓ９と同様の同をする。

ステップＳ８２では、ステップＳ８１で取得した基準画像に対して、１枚目の画像であるので図７のＢのノイズ除去強度「１００」を取得して、「１００」に対応したノイズ除去強度でノイズ除去処理をして、ノイズ除去処理をした基準画像を表示装置７に表示する。表示選択部６は、基準画像特定部３から基準画像を取得して表示装置７に転送し、表示装置７に基準画像を表示する。

ステップＳ８６では、２枚目の画像の処理であるので、合成画像保持部５から合成画像を取得して、図７のＢのノイズ除去強度「６５」を取得して、「６５」に対応したノイズ除去強度でノイズ除去処理をして、表示装置７に表示する。図２の例では、２枚目の画像（基準画像）を１枚目の画像を用いて補正した後の合成画像を取得して、その補正した合成画像に対してノイズ除去処理をし、現在ビューアに表示されている画像と切り替えて表示する。厳密には同一のノイズ感ではないが，合成枚数に応じてノイズ除去強度を変えることで、ビューアに表示する画像のノイズ感をそれぞれ近づけることができる。

ステップＳ９０では、合成画像保持部５から合成画像を取得して、３枚目の画像であるので図７のＢのノイズ除去強度「４０」を取得して、「４０」に対応したノイズ除去強度でノイズ除去処理をして、表示装置７に表示する。ビューア上に表示されている合成画像（１枚目＋２枚目）を、２枚目の画像（基準画像）と３枚目の画像（画像バッファ２−３
の画像）に基づいて補正した後の合成画像に切り替えてビューアに表示する。厳密には同一のノイズ感ではないが，合成枚数に応じてノイズ除去強度を変えることで、ビューアに表示する画像のノイズ感をそれぞれ近づけることができる。

上記動作については、３つの画像バッファ部２（２−１、２−２、２−３）を備え、基準画像が画像バッファ２−２にある場合について説明した。
なお、基準画像が画像バッファ２−１（１枚目）や画像バッファ２−３（３枚目）に記録されている場合についても、上記と同じように合成枚数に応じてノイズ除去の強度を変更してビューアに表示する。

また、ｎ個（ｎ：４以上）の画像バッファ部２（２−１、２−２・・・２−ｎ）を備えている場合、基準画像を選択後、予め決められた順番で基準画像と該基準画像以外の各画像とのずれ量を算出して被写体動き検出する。その後、各被写体動き検出の結果に基づいて基準画像または合成画像を補正して、合成枚数に応じたノイズ除去の強度によりノイズ除去を行い、順次、ノイズ除去した基準画像または合成画像の表示切り替えを実行する。

なお、表示切り替えは、合成画像を生成するごとに行ってもよいし、予め決められた間隔で最新の合成画像に切り替えてもよい。
上記構成により、利用者は撮影直後からビューア表示画像により、撮影画像の図柄を確認できる。また、画像合成枚数に応じてノイズ除去強度を変えることで、時間経過の初期段階から最終画像に近いノイズ感の画像を評価できる。
（縮小率とビューア表示サイズによりノイズ除去強度を変更する方法）
ステップＳ８２、８６、９０において縮小率とビューア表示サイズにより合成枚数により決定されるノイズ除去強度の変更について説明する。

ノイズ感は、縮小率（撮影画像とビューア表示画面との解像度の比）およびビューア上での表示サイズによっても見え方が異なる。縮小率が高ければノイズはあまり目立たない。ビューア表示が小さい場合でもノイズは目立たなくなる。図９のＡ〜Ｄに縮小率、ビューア表示サイズとノイズ除去の強度の関係を示す。縮小率が高いほどノイズは目立たなくなるので、ノイズ除去強度を小さくし、また、ビューア表示サイズが大きくなればノイズ除去強度を大きくする。

図９のＡに、ノイズ除去強度設定部８に記録されている、画像データの縮小率に応じてノイズ除去の強度を変化させる条件（縮小率とノイズ除去強度の関係）を示すグラフを示す。図９のＡの縦軸はノイズ除去の強度を示し、横軸には画像の縮小率が示されている。図９のＢには、図９のＡに対応するノイズ除去強度設定部８に記録されている縮小率−ノイズ除去強度テーブルを示す。図９のＢの例では「縮小率」には「０％」〜「１００％」が記録され、各縮小率に関連付けてノイズ除去の強度が記録されている。本例ではノイズ除去強度を「０」〜「１００」の範囲で設定し、「０」のときがもっともノイズ除去を弱く行い、「１００」のときノイズ除去を強く行う設定になっている。ノイズ除去強度の値が大きいほどノイズ除去の効果は大きく、縮小率が大きくなるに従って、ノイズ除去強度を下げる。また、「ノイズ除去強度」は、縮小率が「Ｎ％」のときに、例えば、１００＋（２０−１００）×Ｎ／１００を計算して決定しもよい。

図９のＢの例であれば、基準画像特定部３が１枚目の画像（基準画像）と縮小率を取得してノイズ除去部９に通知される。ノイズ除去部９は、ノイズ除去強度設定部８に記録されている図９のＢの縮小率−ノイズ除去強度テーブルを参照して、縮小率に関連付けられているノイズ除去強度を選択する。

例えば、縮小率が５０％であれば、ノイズ除去部９は図９のＢの縮小率−ノイズ除去強
度テーブルを参照して、縮小率が５０％に関連付けられているノイズ除去強度「６０」を選択する。

図９のＣに、ノイズ除去強度設定部８に記録されている、画像データのビューア表示サイズに応じてノイズ除去の強度を変化させる条件（ビューア表示サイズとノイズ除去強度の関係）を示すグラフを示す。図９のＣの縦軸はノイズ除去の強度を示し、横軸には画像のビューア表示サイズが示されている。図９のＤには、図９のＣに対応するノイズ除去強度設定部８に記録されている縮小率−ノイズ除去強度テーブルを示す。図９のＤの例では「ビューア表示サイズ」には「１６０×１２０」〜「６４０×４８０」が記録され、各ビューア表示サイズに関連付けてノイズ除去の強度が記録されている。本例ではノイズ除去強度を「０」〜「１００」の範囲で設定し、「０」のときがもっともノイズ除去を弱く行い、「１００」のときノイズ除去を強く行う設定になっている。ノイズ除去強度の値が大きいほどノイズ除去の効果は大きく、ビューア表示サイズが大きくなるに従って、ノイズ除去強度を上げる。また、「ノイズ除去強度」は、ビューア表示サイズが「（６４０×ｍ）×（４８０×ｎ）」のときに、例えば、２０＋（１００−２０）×ｋを計算して求めてもよい。ここで、ｋは撮影画像サイズ（６４０×４８０）との縦横縮尺率の平均値であり、ｋ＝（ｎ＋ｍ）／２と表すことができる。

図９のＤの例であれば、基準画像特定部３が１枚目の画像（基準画像）とビューア表示サイズを取得してノイズ除去部９に通知される。ノイズ除去部９は、ノイズ除去強度設定部８に記録されている図９のＤのビューア表示サイズ−ノイズ除去強度テーブルを参照して、ビューア表示サイズに関連付けられているノイズ除去強度を選択する。

例えば、ビューア表示サイズが１６０×１２０であれば、ノイズ除去部９は図７のＤのビューア表示サイズ−ノイズ除去強度テーブルを参照して、ビューア表示サイズが１６０×１２０に関連付けられているノイズ除去強度「２０」を選択する。

上記説明したように決定した縮小率およびビューア表示サイズのノイズ除去の強度に基づいて、合成画像枚数により決定したノイズ除去の強度（図６のＢを参照）を変更することで、最終的なノイズ除去の強度を得る。例えば、ノイズ除去強度の演算は、最適ノイズ除去強度＝（（（縮小率のノイズ除去の強度）／１００）×（（ビューア表示サイズのノイズ除去の強度）／１００）×（（合成画像枚数のノイズ除去の強度）／１００））×１００のように積算をして、小数点以上の値を求める。なお、最適ノイズ除去強度の積算は計算方法により積算結果のレンジ幅が異なるため、計算方法によって最適ノイズ除去強度のレンジ幅は適宜設定するものとする。また、上記では積算により最適ノイズ除去強度を算出したが特に限定するものではない。

その後、ノイズ除去部９では、ノイズ除去強度に対応した強度でノイズ除去処理を行う。２枚目以降も同様にノイズ除去を行う。このように、ノイズ除去をした画像をビューアに表示することにより、ビューアへ表示する縮小率、ビューア表示サイズに関わらず、画像合成枚数によるノイズ感の差を低減することができる。

（撮影時のカメラのゲイン値によりノイズ除去強度を変更する方法）
ノイズ感は撮影時のゲイン値よっても異なる。ここで、ゲイン値とは、ディジタルカメラに搭載したＣＣＤなど撮像素子により、弱い光信号を電気信号に変換して、その電気信号を増幅した時の増幅度を示す値である。暗い画像あるいは露光時間が短い画像ほどゲイン値が高くなる。ゲイン値が高ければノイズが強調されるため、ゲイン値が高い場合にノイズ除去強度を強くする。

図１０のＡに、ノイズ除去強度設定部８に記録されている、画像データのゲイン値に応
じてノイズ除去の強度を変化させる条件（ゲイン値とノイズ除去強度の関係）を示すグラフを示す。図１０のＡの縦軸はノイズ除去の強度を示し、横軸には画像のゲイン値が示されている。図１０のＢには、図１０のＡに対応するノイズ除去強度設定部８に記録されているゲイン値−ノイズ除去強度テーブルを示す。図１０のＢの例では「ゲイン値」には「１０[ｄＢ]」〜「４０[ｄＢ]」が記録され、各ゲイン値に関連付けてノイズ除去の強度が記録されている。本例ではノイズ除去強度を「０」〜「１００」の範囲で設定し、「０」のときがもっともノイズ除去を弱く行い、「１００」のときノイズ除去を強く行う設定になっている。ノイズ除去強度の値が大きいほどノイズ除去の効果は大きく、ゲイン値が大きくなるに従って、ノイズ除去強度を上げる。また、「ノイズ除去強度」は、ゲイン値が「Ｘ[ｄＢ]」のときに、例えば、２０＋（１００−２０）×（Ｘ―１０）／（４０−１０）を計算して求めてもよい。

図１０のＢの例であれば、基準画像特定部３が１枚目の画像（基準画像）とゲイン値を取得してノイズ除去部９に通知される。ノイズ除去部９は、ノイズ除去強度設定部８に記録されている図１０のＢのゲイン値−ノイズ除去強度テーブルを参照して、ビューア表示サイズに関連付けられているノイズ除去強度を選択する。

例えば、ゲイン値が２５[ｄＢ]であれば、ノイズ除去部９は図１０のＢのゲイン値−ノイズ除去強度テーブルを参照して、ゲイン値が２５[ｄＢ]に関連付けられているノイズ除去強度「６０」を選択する。

上記説明したように決定したゲイン値のノイズ除去の強度に基づいて、合成画像枚数により決定したノイズ除去の強度（図６のＢを参照）を変更することで、最終的なノイズ除去の強度を得る。例えば、ノイズ除去強度の演算は、最適ノイズ除去強度＝（（ゲイン値のノイズ除去の強度）／１００）×（（合成画像枚数のノイズ除去の強度）／１００））×１００のように積算をして、小数点以上の値を求める。なお、最適ノイズ除去強度の積算は計算方法により積算結果のレンジ幅が異なるため、計算方法によって最適ノイズ除去強度のレンジ幅は適宜設定するものとする。また、上記では積算により最適ノイズ除去強度を算出したが特に限定するものではない。

その後、ノイズ除去部９では、ノイズ除去強度に対応した強度でノイズ除去処理を行う。２枚目以降も同様にノイズ除去を行う。このように、ノイズ除去をした画像をビューアに表示することによりゲイン値に関わらず、画像合成枚数によるノイズ感の差を低減することができる。

（エッジ割合によりノイズ除去強度を変更する方法）
ノイズ感は画像によっても異なり、空や壁などの模様のないのっぺりとした領域ではノイズ感は分かりやすい。反面、ごちゃごちゃした細かい模様のある領域ではノイズ感は目立たない。そこで、画像の複雑度を判定し、複雑であればノイズ除去強度を小さくし、複雑でなければノイズ除去の強度を大きくすることで、画像によらずにノイズ感を削減できる。

画像の複雑度は、画像のエッジを検出し、ある一定値以上のエッジ量の割合で決定しても良い。具体的には、画像に対してソベルフィルタあるいはラプラシアンフィルタなどのエッジ検出処理を行い、エッジ画像を形成する画素数を求める。

エッジ量は、例えば、ソベルフィルタを用いて画像のＸ方向およびＹ方向の一次微分を行い、双方の結果を加算し微分の強度(エッジの強度)を求め、予め設定された閾値以上のエッジ強度となる画素を検出して、検出した画素が画像全体の画素数を占める割合を算出する。ソベルフィルタを図１１のＣに示す。

図１１のＡに、ノイズ除去強度設定部８に記録されている、画像データのエッジ量（または、エッジ割合）に応じてノイズ除去の強度を変化させる条件（エッジ量とノイズ除去強度の関係）を示すグラフを示す。エッジ量は、画像全体の画素数に占めるエッジの画素の割合を示す。

図１１のＡの縦軸はノイズ除去の強度を示し、横軸には画像のエッジ量が示されている。図１１のＢには、図１１のＡに対応するノイズ除去強度設定部８に記録されているエッジ割合−ノイズ除去強度テーブルを示す。図１１のＢの例では「エッジ割合」には「０．０」〜「１．０」が記録され、各エッジ割合に関連付けてノイズ除去の強度が記録されている。本例ではノイズ除去強度を「０」〜「１００」の範囲で設定し、「０」のときがもっともノイズ除去を弱く行い、「１００」のときノイズ除去を強く行う設定になっている。ノイズ除去強度の値が大きいほどノイズ除去の効果は大きく、エッジ量が大きくなるに従って、ノイズ除去強度を下げる。また、「ノイズ除去強度」は、エッジ量が「Ｙ」のときに、例えば、２０＋（０．４−Ｙ）^２×（１００−２０）／０．４^２を計算して求めてもよい。また、エッジ割合の上限は０．４（全画素のうち４０％がエッジと判定された領域）とし、エッジ割合０．４以上は０．４と同じノイズ除去強度とする。

図１１のＢの例であれば、基準画像特定部３が１枚目の画像（基準画像）とエッジ割合を取得してノイズ除去部９に通知される。ノイズ除去部９は、ノイズ除去強度設定部８に記録されている図１１のＢのエッジ割合−ノイズ除去強度テーブルを参照して、エッジ割合に関連付けられているノイズ除去強度を選択する。

例えば、エッジ割合が０．１であれば、ノイズ除去部９は図１１のＢのエッジ割合−ノイズ除去強度テーブルを参照して、ゲイン値が０．１に関連付けられているノイズ除去強度「６５」を選択する。

上記説明したように決定したエッジ量のノイズ除去の強度に基づいて、合成画像枚数により決定したノイズ除去の強度（図６のＢを参照）を変更することで、最終的なノイズ除去の強度を得る。例えば、ノイズ除去強度の演算は、最適ノイズ除去強度＝（（エッジ割合のノイズ除去の強度）／１００）×（（合成画像枚数のノイズ除去の強度）／１００））×１００のように積算をして、小数点以上の値を求める。なお、最適ノイズ除去強度の積算は計算方法により積算結果のレンジ幅が異なるため、計算方法によって最適ノイズ除去強度のレンジ幅は適宜設定するものとする。また、上記では積算により最適ノイズ除去強度を算出したが特に限定するものではない。

その後、ノイズ除去部９では、ノイズ除去強度に対応した強度でノイズ除去処理を行う。２枚目以降も同様にノイズ除去を行う。このように、ノイズ除去をした画像をビューアに表示することにより画像の複雑度に関わらず、画像合成枚数によるノイズ感の差を低減することができる。

（実施例３）
図１２を用いて実施例２で説明した画像合成枚数、縮小率、ビューア表示サイズ、ゲイン値、エッジ量に応じたノイズ除去の強度を用いてノイズ除去処理を行い、ビューアに表示する実施例３について説明する。

ステップＳ１２１では、ノイズ除去部９が設定されているビューア表示サイズを取得して、ノイズ除去強度設定部８に記録されているビューア表示サイズ−ノイズ除去強度テーブル（例えば、図９のＤ）を参照してノイズ除去強度を選択する。ここで、選択したノイズ除去強度をＮ１とする。

ステップＳ１２２では、撮影前のディジタルカメラの設定をする（画像サイズを決定）。
ステップＳ１２３では、ノイズ除去部９が設定されている縮小率を取得して、ノイズ除去強度設定部８に記録されている縮小率−ノイズ除去強度テーブル（例えば、図９のＢ）を参照してノイズ除去強度を選択する。ここで、選択したノイズ除去強度をＮ２とする。

ステップＳ１２４では、画像撮影をして連写画像を取得する。
ステップＳ１２５では、ノイズ除去部９が撮影時ゲイン値を取得して、ノイズ除去強度設定部８に記録されているゲイン値−ノイズ除去強度テーブル（例えば、図１０のＢ）を参照してノイズ除去強度を選択する。ここで、選択したノイズ除去強度をＮ３とする。

ステップＳ１２６では、ノイズ除去部９が撮影した画像に対するエッジ量を算出して、ノイズ除去強度設定部８に記録されているエッジ割合−ノイズ除去強度テーブル（例えば、図１２のＢ）を参照してノイズ除去強度を選択する。ここで、選択したノイズ除去強度をＮ４とする。

ステップＳ１２７では、画像合成部４が、基準画像特定部３の基準画像に対して画像バッファ部２の画像を用いて補正を行い、合成画像を生成して合成画像保持部５に記録する。

ステップＳ１２８では、ノイズ除去部９が撮影した合成画像の画像合成枚数を取得して、ノイズ除去強度設定部８に記録されている画像合成枚数−ノイズ除去強度テーブル（例えば、図７のＢ）を参照してノイズ除去強度を選択する。ここで、選択したノイズ除去強度をＮ５とする。

ステップＳ１２９では、最終的なノイズ除去強度Ｎを決定する。例えば、ノイズ除去部９で最終的なノイズ除去強度Ｎ＝（（Ｎ１／１００）×（Ｎ２／１００）×（Ｎ３／１００）×（Ｎ４／１００）×（Ｎ５／１００））×１００を計算し、最終的なノイズ除去強度に対応する強度でステップＳ１２７で生成した合成画像にノイズ除去処理を行う。

ステップＳ１２８では、ステップＳ１２９の結果をビューアに表示する。なお、最終画像をビューアに表示し終えれば本処理を終了し、最終画像の処理でない場合にはステップＳ１２４に移行する。

このようにビューアに順次基準画像、合成画像を表示させることにより、途中画像であっても、ノイズ感が異なることによる違和感を、利用者に感じさせない。
また、補正する際の合成枚数が多くなるにつれて、ノイズ除去の程度が強くなる。そこで、基準画像を確認画面に出力する際には、ノイズ除去を強めに施すことで、最終的に生成される画像との見た目の違いを少なくすることができる。
（実施例４）
さらに、ノイズ感を評価する際、途中の合成結果画像の場合は最終的な合成画像よりもノイズっぽいため、利用者が途中画像でノイズ感を判断する可能性がある。そこで、ビューア表示において、途中画像であれば処理中であることを示す表示を行う。例えば、砂時計のアイコンを表示するなどして利用者に途中結果であることを認識させることができる。図１３に一例を示す。

（本発明の実施形態がコンピュータプログラムとして実現される場合の構成）
図１４は、上記本発明の実施形態の装置を実現できるコンピュータのハードウェア構成の一例を示す図である。

コンピュータのハードウェア１４０は、ＣＰＵ１４１、記録部１４２（ＲＯＭ、ＲＡＭ、ハードディスクドライブなど）、記録媒体読取装置１４３、入出力インタフェース１４４（入出力Ｉ／Ｆ）、通信インタフェース１４５（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス１４６によってそれぞれ接続されている。

ＣＰＵ１４１は、記録部１４２に格納されている上記説明した画像合成部４、表示選択部６、ノイズ除去部９などの処理（図３、９、１２に示した処理）を実行する。
記録部１４２は、ＣＰＵ１４１が実行するプログラムやデータが記録されている。画像バッファ部２、基準画像特定部３の基準画像を記録する記録部、合成画像保持部５、ノイズ除去強度設定部８の各種テーブルなどが記録されている。また、ワークエリアなどとして使用される。

記録媒体読取装置１４３は、ＣＰＵ１４１の制御にしたがって記録媒体１４３ａに対するデータのリード／ライトを制御する。そして、記録媒体１４３ａ、記録媒体読取装置１４３の制御で書き込まれたデータを記憶したり、記録媒体１４３ａに記憶されたデータを読み取らせたりする。また、着脱可能な記録媒体１４３ａは、コンピュータで読み取り可能な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、ＤＶＤ(Digital Versatile Disc)、ＤＶＤ−ＲＡＭ(Random Access Memory)、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＣＤ−Ｒ(Recordable)／ＲＷ(ReWritable)などがある。光磁気記録媒体には、ＭＯ(Magneto-Optical disk)などがある。

入出力インタフェース１４４には、ディジタルカメラの場合であれば、入出力装置１４４ａとして例えばビューアが接続されている。また、操作ボタンなどが接続され利用者が入力した情報を受信し、バス１４６を介してＣＰＵ１４１に送信する。また、ＣＰＵ１４１からの命令に従ってビューア上に操作情報などを表示する。

通信インタフェース１４５は、必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続のためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。

このようなハードウェア構成を有するコンピュータを用いることによって、上記説明した各種処理機能（実施例で説明した処理（フローチャートなど））が実現される。その場合システムが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体１４３ａに記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

また、本発明は、上記実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。

以上実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
連続撮影した複数の画像データを受信して記録する画像バッファ部と、
画像バッファ部に記録した前記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する基準画像特定部と、
前記基準画像データと、異なる前記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する画像合成部と、
前記基準画像データを表示部に出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを表示部に出力する表示選択部と、
を備えることを特徴とする画像補正装置。
（付記２）
前記画像バッファ部に記録されている画像データに基づいて、前記基準データまたは前記補正した合成画像データのノイズ除去強度を変化させる条件を記録するノイズ除去強度設定部と、
前記条件により前記基準画像データと前記補正した合成画像データのノイズ除去強度を変化させるノイズ除去部と、
を備えることを特徴とする付記１に記載の画像補正装置。
（付記３）
前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている前記合成画像データの枚数に応じてノイズ除去強度を変化させる条件を参照し、前記合成画像データの枚数に対応するノイズ除去強度を決定し、前記ノイズ除去強度に応じたノイズ除去をすることを特徴とする付記２に記載の画像補正装置。
（付記４）
前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている前記表示部に表示する画像データの縮小率とビューアサイズのいずれかまたは両方に応じてノイズ除去強度を変化させる条件を参照して、前記縮小率と前記ビューアサイズに対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする付記２に記載の画像補正装置。
（付記５）
前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている撮影時の画像撮像部のゲイン値に応じてノイズ除去強度を変化させる条件を参照して、前記ゲイン値に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする付記２に記載の画像補正装置。
（付記６）
前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている前記合成画像データの画像全体の画素数に占めるエッジの割合に応じてノイズ除去強度を変化させる条件を参照して、前記エッジの割合に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする付記２に記載の画像補正装置。
（付記７）
コンピュータに
連続撮影した複数の画像の画像データを受信して画像バッファ部に記録する画像バッファ処理と、
前記画像バッファ部に記録した前記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する基準画像特定処理と、
前記基準画像データと、異なる前記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する画像合成処理と、
前記基準画像データを表示部に出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを表示部に出力する表示選択処理と、
を実行させることを特徴とする画像補正プログラム。
（付記８）
被写体を連続撮影して複数の画像の画像データを取得する画像撮像部と、
前記画像撮像部から前記画像データを受信して記録する画像バッファ部と、
画像バッファ部に記録した前記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する基準画像保特定部と、
前記基準画像データと、該基準画像データと異なる前記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する画像合成部と、
前記基準画像データを出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを出力する表示選択部と、
前記表示選択部から出力された前記基準画像データまたは前記補正した合成画像データを表示する表示部と、
を備えることを特徴とする画像撮影装置。
（付記９）
前記表示部に、画像を表示する際、中間合成画像であることを利用者に知らせるための情報を表示することを特徴とする付記１に記載の画像補正装置。
（付記１０）
前記画像バッファ部に記録されている画像データに基づいて、前記基準データまたは前記補正した合成画像データのノイズ除去強度を変化させる条件を記録し、前記条件により前記基準画像データと前記補正した合成画像データのノイズ除去強度を変化させるノイズ除去処理をコンピュータに実行させることを特徴とする付記８に記載の画像補正プログラム。
（付記１１）
前記ノイズ除去処理は、
記録部に記録されている前記合成画像データの枚数に応じてノイズ除去強度を変化させる条件を参照し、前記合成画像データの枚数に対応するノイズ除去強度を決定し、前記ノイズ除去強度に応じたノイズ除去をコンピュータに実行させることを特徴とする付記１０に記載の画像補正プログラム。
（付記１２）
前記ノイズ除去処理は、
記録部に記録されている前記表示部に表示する画像データの縮小率とビューアサイズのいずれかまたは両方に応じてノイズ除去強度を変化させる条件を参照して、前記縮小率と前記ビューアサイズに対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更する処理をコンピュータに実行させることを特徴とする付記１０に記載の画像補正プログラム。
（付記１３）
前記ノイズ除去処理は、
記録部に記録されている撮影時の画像撮像部のゲイン値に応じてノイズ除去強度を変化させる条件を参照して、前記ゲイン値に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更する処理をコンピュータに実行させることを特徴とする付記１０に記載の画像補正プログラム。
（付記１４）
前記ノイズ除去処理は、
前記ノイズ除去強度設定部に記録されている前記合成画像データの画像全体の画素数に占めるエッジの割合に応じてノイズ除去強度を変化させる条件を参照して、前記エッジの割合に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更する処理をコンピュータに実行させることを特徴とする付記１０に記載の画像補正プログラム。
（付記１５）
前記表示部に、画像を表示する際、中間合成画像であることを利用者に知らせるための情報を表示する処理をコンピュータに実行させることを特徴とする付記１０に記載の画像補正プログラム。

１ 画像撮影部、
２ 画像バッファ部、
３ 基準画像特定部、
４ 画像合成部、
５ 合成画像保持部、
６ 表示選択部、
７ 表示装置、
８ ノイズ除去強度設定部、
９ ノイズ除去部、
１４０ ハードウェア、
１４１ ＣＰＵ
１４２ 記録部、
１４３ 記録媒体読取装置、
１４３ａ 記録媒体、
１４４ 入出力インタフェース、
１４４ａ 入出力装置、
１４５ 通信インタフェース、
１４６ バス

Claims (8)

1. 連続撮影した複数の画像データを受信して記録する画像バッファ部と、
   画像バッファ部に記録した前記複数の画像データの中から、エッジ強度の強い画像を特定して基準にする基準画像データとする基準画像特定部と、
   前記基準画像データと、異なる前記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する画像合成部と、
   前記基準画像データを表示部に出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを表示部に出力する表示選択部と、
   を備えることを特徴とする画像補正装置。
2. 前記画像バッファ部に記録されている画像データに基づいて、前記基準データまたは前記補正した合成画像データのノイズ除去強度を変化させる条件を記録するノイズ除去強度設定部と、
   前記条件により前記基準画像データと前記補正した合成画像データのノイズ除去強度を変化させるノイズ除去部と、
   を備えることを特徴とする請求項１に記載の画像補正装置。
3. 前記ノイズ除去部は、
   前記ノイズ除去強度設定部に記録されている前記合成画像データの枚数に応じてノイズ除去強度を変化させる条件を参照し、前記合成画像データの枚数に対応するノイズ除去強度を決定し、前記ノイズ除去強度に応じたノイズ除去をすることを特徴とする請求項２に記載の画像補正装置。
4. 前記ノイズ除去部は、
   前記ノイズ除去強度設定部に記録されている前記表示部に表示する画像データの縮小率とビューアサイズのいずれかあるいは両方に応じてノイズ除去強度を変化させる条件を参照して、前記縮小率と前記ビューアサイズに対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする請求項２に記載の画像補正装置。
5. 前記ノイズ除去部は、
   前記ノイズ除去強度設定部に記録されている撮影時の画像撮像部のゲイン値に応じてノイズ除去強度を変化させる条件を参照して、前記ゲイン値に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする請求項２に記載の画像補正装置。
6. 前記ノイズ除去部は、
   前記ノイズ除去強度設定部に記録されている前記合成画像データの画像全体の画素数に占めるエッジの割合に応じてノイズ除去強度を変化させる条件を参照して、前記エッジの割合に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする請求項２に記載の画像補正装置。
7. コンピュータに
   連続撮影した複数の画像の画像データを受信して画像バッファ部に記録する画像バッファ処理と、
   前記画像バッファ部に記録した前記複数の画像データの中から、エッジ強度の強い画像を特定して基準にする基準画像データとする基準画像特定処理と、
   前記基準画像データと、異なる前記画像バッファ部に記録された画像データを用いて補
   正した合成画像データを生成する画像合成処理と、
   前記基準画像データを表示部に出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを表示部に出力する表示選択処理と、
   を実行させることを特徴とする画像補正プログラム。
8. 被写体を連続撮影して複数の画像の画像データを取得する画像撮像部と、
   前記画像撮像部から前記画像データを受信して記録する画像バッファ部と、
   画像バッファ部に記録した前記複数の画像データの中から、エッジ強度の強い画像を特定して基準にする基準画像データとする基準画像特定部と、
   前記基準画像データと、異なる前記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する画像合成部と、
   前記基準画像データを出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを出力する表示選択部と、
   前記表示選択部から出力された前記基準画像データまたは前記補正した合成画像データを表示する表示部と、
   を備えることを特徴とする画像撮影装置。