JP5682443B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、カメラで撮影した画像の手ぶれを補正する技術が存在する。手ぶれとは、例えば、シャッターボタンを押した際に手の位置がぶれるなどが原因で、撮影画像におけるエッジ部の勾配がなまり、撮影画像がぼやけてしまう現象である。この手ぶれを補正するために、例えば、一回撮影する間に通常の露光時間の８分の１で８枚の画像を連続撮影し、撮影した８枚の画像を合成することで、ぼやけのない１枚の合成画像を生成する技術がある。しかし、この技術では、８枚の画像を保持する必要があるため、メモリコストが大きかった。

メモリコストを改善するために、異なる露光時間で連続撮影した２枚の画像を合成する手ぶれ補正技術も存在する。この手ぶれ補正技術では、例えば、通常の露光時間で撮影した長時間露光画像と、８分の１の露光時間で撮影した短時間露光画像とを用いる。ここで、短時間露光画像は、エッジ部の勾配がなまっていないものの、ノイズが多い。一方、長時間露光画像は、ノイズが少ないものの、エッジ部の勾配がなまっている。したがって、この手ぶれ補正技術では、エッジ部には短時間露光画像を用い、エッジ部以外の平坦部には長時間露光画像を用いて画像を合成することで、手ぶれを補正する。

上記の手ぶれ補正技術では、例えば、短時間露光画像と長時間露光画像とを取得し、各画像に含まれる画素ごとに差分値を求める。そして、差分値が所定値より大きい画素をエッジ部として短時間露光画像の合成比率を大きくし、差分値が所定値より小さい画素を平坦部として長時間露光画像の合成比率を大きくして、２枚の画像を合成することで、手ぶれを補正した手ぶれ補正画像を生成する。しかし、この技術で生成された手ぶれ補正画像は、エッジ部にノイズを多く含む画像となっていた。なお、このように合成比率を用いて２枚の画像を合成する方法は、αブレンドと称される。

また、エッジ部のノイズを抑制しつつ手ぶれを補正する技術も存在する。この技術では、例えば、短時間露光画像に対してノイズ除去フィルタリングを行った後に、長時間露光画像との差分値を求め、αブレンドを行うことで、ノイズの少ない手ぶれ補正画像を生成する。

特開２００７−３２４７７０号公報 特開２００８−２３６７３９号公報

しかしながら、上記の従来技術では、手ぶれの補正にかかる演算量が大きいという問題があった。例えば、上記の従来技術では、ノイズ除去フィルタリングを行った上でαブレンドを行うので、手ぶれの補正にかかる演算量が大きかった。

開示の技術は、上記に鑑みてなされたものであって、少ない演算量で手ぶれを補正することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本願の開示する技術は、一つの態様において、補正部と、生成部と、除去部と、合成部とを備える。補正部は、第１の露光時間で第１の画像を撮影するとともに、第１の露光時間よりも短い第２の露光時間で第２の画像を撮影する撮影部から、第１の画像と第２の画像とを取得するとともに、取得した第１の画像と第２の画像との位置ずれを補正する。生成部は、補正部により補正された第１の画像と、該補正部により補正された第２の画像との差分画像を生成する。除去部は、生成部により生成された差分画像からノイズを除去する。合成部は、除去部によりノイズが除去された差分画像を、第１の画像と合成する。

本願の開示する技術の一つの態様によれば、少ない演算量で手ぶれを補正することができるという効果を奏する。

図１は、実施例１に係る画像処理装置の機能構成を示すブロック図である。 図２は、実施例１に係る制御部の機能構成を示すブロック図である。 図３は、補正部により補正された長時間露光画像の一例を示す図である。 図４は、補正部により補正された短時間露光画像の一例を示す図である。 図５は、生成部により生成された差分画像の一例を示す図である。 図６は、除去部により生成された手ぶれ補正成分の一例を示す図である。 図７は、合成部により合成された出力画像の一例を示す図である。 図８は、実施例１に係る画像処理装置の処理手順を示すフローチャートである。 図９は、実施例２に係る画像処理装置の機能構成を示すブロック図である。 図１０は、実施例２に係る制御部の機能構成を示すブロック図である。 図１１は、実施例２に係る除去部の機能構成を示すブロック図である。 図１２は、変換部の処理を説明するための図である。 図１３は、逆変換部の処理を説明するための図である。 図１４は、画像処理プログラムを実行するコンピュータを示す図である。

以下に、本願の開示する画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。本願の開示する画像処理装置は、例えば、デジタルカメラ、或いはデジタルカメラ機能付きの携帯電話やスマートフォンなどの携帯情報端末に対応する。また、この画像処理装置は、静止画を表示する場合、或いは動画像を表示する場合のいずれにも適用される。なお、この実施例によりこの発明が限定されるものではない。各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

実施例１に係る画像処理装置の機能構成の一例について説明する。図１は、実施例１に係る画像処理装置の機能構成を示すブロック図である。図１に示すように、この画像処理装置１００は、光学系１１０と、撮像センサー１２０と、信号処理部１３０と、記憶部１４０と、制御部１５０とを有する。

光学系１１０は、所定の視野領域に存在する被写体からの光を集光する。例えば、光学系１１０は、後述する制御部１５０からの露出制御により指定された絞りとシャッタースピードで被写体からの光を集光し、撮像センサー１２０を露光する。また、例えば、光学系１１０は、絞りを一定とし、シャッタースピードを変更することで、露光時間を変更しつつ複数回連続して撮像センサー１２０を露光する。また、例えば、光学系１１０は、レンズと、絞りと、シャッターとに対応する。なお、「露出」及び「露光」は、撮像センサー１２０に集光された光が照射されることを示す。また、露光中に焦点がずれることなどが原因で、撮影画像におけるエッジ部の勾配がなまり、撮影画像がぼやけてしまう現象を「手ぶれ」と称する。手ぶれは、例えば、シャッターボタンを押した際に手の位置がぶれることや、撮影中の車載カメラの位置が路面の段差の影響でぶれることにより生じる。

撮像センサー１２０は、光学系１１０により露光された光を撮像し、電荷量へ変換することで、アナログ画像信号を生成する。例えば、撮像センサー１２０は、異なる露光時間で２枚の画像を連続で撮像する。ここで、２枚の画像のうち、露光時間の長い方の画像を「長時間露光画像」又は「第１の画像」と称し、露光時間の短い方の画像を「短時間露光画像」又は「第２の画像」と称する。例えば、撮像センサー１２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子に対応する。なお、撮像センサー１２０は、撮影部の一例である。

信号処理部１３０は、撮像センサー１２０により生成されたアナログ画像信号をデジタル画像信号に変換する。例えば、信号処理部１３０は、制御部１５０からの制御によりホワイトバランスの設定や明るさを合わせ、アナログ−デジタル変換することでデジタル画像信号を生成する。例えば、短時間露光画像が長時間露光画像の８分の１の露光時間で撮像された場合には、信号処理部１３０は、短時間露光画像のゲイン値を８倍することで、短時間露光画像と長時間露光画像との明るさを合わせる。そして、信号処理部１３０は、短時間露光画像と長時間露光画像とを記憶部１４０に格納する。なお、ここで生成されるデジタル画像信号は、例えば、ＲＧＢ画像であるが、これに限定されるものではなく、ＹＣｂＣｒやＹＵＶなどの他の表色系で表される画像であっても良い。

記憶部１４０は、デジタル画像信号を記憶する。例えば、記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子に対応する。

制御部１５０は、連続で撮像された短時間露光画像及び長時間露光画像を用いて、手ぶれを補正した出力画像を生成する。図２は、実施例１に係る制御部の機能構成を示すブロック図である。図２に示すように、制御部１５０は、補正部１５１と、生成部１５２と、除去部１５３と、合成部１５４とを有する。

補正部１５１は、連続で撮像された短時間露光画像及び長時間露光画像を記憶部１４０から取得し、取得した短時間露光画像及び長時間露光画像の位置ずれを補正する。ここで、位置ずれとは、連続で撮像された短時間露光画像及び長時間露光画像の撮像間隔の差に起因するものであり、各画像における被写体の位置のずれに対応する。なお、位置ずれを補正する処理を「位置合わせ処理」とも称する。

例えば、補正部１５１は、一方の画像から複数のエッジが交差する点を特徴点として抽出し、抽出した特徴点をもう一方の画像内で探索することで、被写体の対応付けを行う。そして、補正部１５１は、対応する被写体が重なるように、いずれか一方、或いは両方の画像における画素位置を平行移動させることで、位置ずれを補正する。なお、位置ずれの補正方法は、この方法に限定されるものではなく、例えば、ジャイロセンサーによって検出される位置ずれ量を用いても良い。また、他の方法として、特開２００１−３４７５６号公報や特開平８−８７５８５号公報、特開平１０−８３４４２号公報などに記載のいかなる従来技術でも適用できる。

図３は、補正部により補正された長時間露光画像の一例を示す図である。また、図４は、補正部により補正された短時間露光画像の一例を示す図である。図３及び図４では、画像を１次元の信号として説明する。図３及び図４の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、例えば、ＲＧＢで表現される画像のうちＲ成分を示し、０〜２５５の２５６階調で表される。また、画素の位置は、例えば、画像を任意の位置の縦又は横の１ライン方向に見た場合の位置である。例えば、補正部１５１は、長時間露光画像及び短時間露光画像のＲ成分を処理対象として位置ずれを補正する。ここで、短時間露光画像の特徴は、エッジ部の勾配がなまっていないものの、ノイズが多いことである。一方、長時間露光画像の特徴は、ノイズが少ないものの、エッジ部の勾配がなまっていることである。そして、補正部１５１は、位置ずれを補正した長時間露光画像を生成部１５２と合成部１５４とに出力する。また、補正部１５１は、位置ずれを補正した短時間露光画像を生成部１５２に出力する。なお、ここでは、ＲＧＢで表現される画像のうちＲ成分を処理対象とした場合を説明したが、他の成分についても同様の処理が行われるものとする。また、処理対象はＲＧＢ画像に限定されるものではなく、ＹＣｂＣｒやＹＵＶなどの他の表色系で表される画像にも同様に適用できる。

生成部１５２は、補正部１５１により補正された長時間露光画像及び短時間露光画像の差分画像を生成する。例えば、生成部１５２は、短時間露光画像から長時間露光画像を減算することで、差分画像を生成する。

図５は、生成部により生成された差分画像の一例を示す図である。図５の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、−１２８〜１２８の２５６階調で表される。例えば、生成部１５２は、図４に示した短時間露光画像から図３に示した長時間露光画像を減算することで、図５に示す差分画像を生成する。この差分画像の特徴は、手ぶれを補正するためのエッジ成分と、短時間露光画像に由来するノイズ成分とを含むことである。そして、生成部１５２は、生成した差分画像を除去部１５３に出力する。

除去部１５３は、生成部１５２により生成された差分画像からノイズを除去する。例えば、除去部１５３は、生成部１５２により生成された差分画像に、着目画素と画素値の差の大きな画素ほど重み付けを小さくするフィルタを適用することで、差分画像からノイズを除去し、手ぶれ補正成分を生成する。ここで適用されるフィルタは、例えば、バイラテラルフィルタである。

ここで、バイラテラルフィルタについて説明する。バイラテラルフィルタは、エッジ保存型平滑化フィルタの一つである。バイラテラルフィルタは、空間方向のＬＰＦ（Low-pass filter）と画素値方向のＬＰＦとを組み合わせ、着目画素と画素値の差の大きな画素ほど重み付けを小さくするフィルタである。すなわち、バイラテラルフィルタは、平滑化対象画素とレベル差が小さい周辺画素については相対的に重みを大きく採り、レベル差が大きい周辺画素については相対的に重みを小さく採ることで、着目画素の値を算出する。なお、ここではバイラテラルフィルタが適用される場合を説明したが、これに限定されるものではない。例えば、エッジ保存型平滑化フィルタの一つであるイプシロンフィルタが適用されても良い。

図６は、除去部により生成された手ぶれ補正成分の一例を示す図である。図６の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、例えば、−１２８〜１２８の２５６階調で表される。例えば、除去部１５３は、図５に示した差分画像にバイラテラルフィルタを適用することで、図６に示す手ぶれ補正成分を生成する。この手ぶれ補正成分の特徴は、短時間露光画像に由来するノイズ成分が差分画像から除去された結果、手ぶれを補正するためのエッジ成分のみを含むことである。そして、除去部１５３は、生成した手ぶれ補正成分を合成部１５４に出力する。

合成部１５４は、除去部１５３により生成された手ぶれ補正成分を、長時間露光画像と合成する。例えば、合成部１５４は、除去部１５３により生成された手ぶれ補正成分と、補正部１５１により補正された長時間露光画像とを加算することで、出力画像を合成する。

図７は、合成部により合成された出力画像の一例を示す図である。図７の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、例えば、０〜２５５の２５６階調で表される。例えば、合成部１５４は、図６に示した手ぶれ補正成分と、図３に示した長時間露光画像とを加算することで、図７に示す出力画像を合成する。そして、合成部１５４は、合成した出力画像を記憶部１４０に格納する。

図１の説明に戻る。制御部１５０は、光学系１１０に対して絞りやシャッタースピードなどの露出条件を指定する露出制御や、信号処理部１３０に対してホワイトバランスやゲイン値を設定する制御を行う。なお、制御部１５０の機能は、例えば、グラフィックスＬＳＩ（Large Scale Integration）やＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現することができる。

次に、実施例１に係る画像処理装置の処理手順について説明する。図８は、実施例１に係る画像処理装置の処理手順を示すフローチャートである。図８に示す処理は、例えば、画像処理装置１００に電源から電力が供給されている間、所定時間間隔で実行される。

図８に示すように、撮像センサー１２０が長時間露光画像及び短時間露光画像を撮像すると（ステップＳ１０１，Ｙｅｓ）、補正部１５１は、短時間露光画像及び長時間露光画像の位置ずれを補正する（ステップＳ１０２）。

生成部１５２は、補正部１５１により補正された長時間露光画像及び短時間露光画像の差分画像を生成する（ステップＳ１０３）。例えば、生成部１５２は、短時間露光画像から長時間露光画像を減算することで、差分画像を生成する。

除去部１５３は、生成部１５２により生成された差分画像からノイズを除去し、手ぶれ補正成分を生成する（ステップＳ１０４）。例えば、除去部１５３は、生成部１５２により生成された差分画像にバイラテラルフィルタを適用することで、差分画像からノイズを除去し、手ぶれ補正成分を生成する。そして、合成部１５４は、除去部１５３により生成された手ぶれ補正成分を、長時間露光画像と合成することで、出力画像を合成する（ステップＳ１０５）。

次に、実施例１に係る画像処理装置１００の効果について説明する。画像処理装置１００は、第１の露光時間で第１の画像を撮影するとともに、第１の露光時間よりも短い第２の露光時間で第２の画像を撮影する撮影部から、第１の画像と第２の画像とを取得するとともに、取得した第１の画像と第２の画像との位置ずれを補正する。画像処理装置１００は、補正した第１の画像と第２の画像との差分画像を生成する。画像処理装置１００は、生成した差分画像からノイズを除去する。画像処理装置１００は、ノイズを除去した差分画像を、第１の画像と合成する。このため、画像処理装置１００は、少ない演算量で手ぶれを補正することができる。例えば、画像処理装置１００は、αブレンドを行うことなく手ぶれを補正するので、少ない演算量で手ぶれを補正することができる。例えば、αブレンドは、処理に掛け算処理が含まれる。掛け算処理は、演算負荷を大きくする一因である。よって、実施例１に係る画像処理装置１００は、αブレンドを用いる画像処理と比較して、少ない演算量で手ぶれを補正することができる。

また、例えば、αブレンドを用いる従来技術では、短時間露光画像と長時間露光画像との差分値に応じて画素ごとの合成比率を割り当てていた。このため、従来技術では、ノイズに起因して大きな差分値が算出された場合には、この画素に対して、誤ってエッジ部と同様の合成比率を割り当ててしまうこととなり、違和感のある画像を合成していた。これに対して、画像処理装置１００は、αブレンドを行うことなく手ぶれを補正するので、違和感のある画像を合成することを防止することができる。

また、例えば、αブレンドを用いる従来技術では、短時間露光画像と長時間露光画像との位置ずれに起因して大きな差分値が算出された場合には、この画素に対して、誤ってエッジ部と同様の合成比率を割り当ててしまう。つまり、αブレンドを用いる従来技術では、手ぶれを補正した画像の精度が、位置合わせ処理の精度に依存していた。これに対して、画像処理装置１００は、αブレンドを行うことなく手ぶれを補正するので、位置合わせ処理の精度に依存することなく、手ぶれを補正することができる。

実施例１では、画像処理装置がバイラテラルフィルタを用いてノイズを除去する場合を説明したが、本発明はこれに限定されるものではなく、例えば、ウェーブレット変換を応用したノイズ除去方法を適用しても良い。そこで、実施例２では、画像処理装置がウェーブレット変換を応用したノイズ除去方法を適用する場合について説明する。

実施例２に係る画像処理装置の機能構成の一例について説明する。図９は、実施例２に係る画像処理装置の機能構成を示すブロック図である。図９に示すように、この画像処理装置２００は、光学系１１０と、撮像センサー１２０と、信号処理部１３０と、記憶部１４０と、制御部２１０とを有する。このうち、図９に示す光学系１１０と、撮像センサー１２０と、信号処理部１３０と、記憶部１４０の説明は、図１に示した光学系１１０と、撮像センサー１２０と、信号処理部１３０と、記憶部１４０の説明と同様である。

制御部２１０は、図１に示した制御部１５０と同様の機能を有する。図１０は、実施例２に係る制御部の機能構成を示すブロック図である。図１０に示すように、制御部２１０は、補正部１５１と、生成部１５２と、除去部２１１と、合成部１５４とを有する。このうち、図１０に示す補正部１５１と、生成部１５２と、合成部１５４の説明は、図２に示した補正部１５１と、生成部１５２と、合成部１５４の説明と同様である。

除去部２１１は、生成部１５２により生成された差分画像からノイズを除去する。例えば、除去部２１１は、生成部１５２により生成された差分画像に、ウェーブレット変換を応用したノイズ除去方法を適用することで、差分画像からノイズを除去し、手ぶれ補正成分を生成する。

図１１は、実施例２に係る除去部の機能構成を示すブロック図である。図１１に示すように、除去部２１１は、変換部２１１ａと、ノイズ除去部２１１ｂと、逆変換部２１１ｃとを有する。

変換部２１１ａは、ウェーブレット変換を行うことで、差分画像を複数の周波数帯域画像に分解する。図１２は、変換部の処理を説明するための図である。図１２に示すように、変換部２１１ａは、差分画像Ｉに対して、ローパスフィルタに該当するスケーリングフィルタ（ＳＦ）とハイパスフィルタに該当するウェーブレットフィルタ（ＷＦ）とをそれぞれ適用する。そして、変換部２１１ａは、ウェーブレットフィルタを通過した高周波信号に対して、ダウンサンプリングを行って水平方向１／２に間引きすることで、水平方向高周波成分Ｈのサブバンドデータを生成する。また、変換部２１１ａは、スケーリングフィルタを通過した低周波信号に対して、ダウンサンプリングを行って水平方向１／２に間引きすることで、水平方向低周波成分Ｌのサブバンドデータを生成する。

変換部２１１ａは、水平方向低周波成分Ｌに対して、スケーリングフィルタとウェーブレットフィルタとをそれぞれ適用する。そして、変換部２１１ａは、ウェーブレットフィルタを通過した水平方向低周波成分Ｌの高周波信号に対して、ダウンサンプリングを行って垂直方向１／２に間引きすることで、水平方向低周波垂直方向高周波成分ＬＨ１のサブバンドデータを生成する。また、変換部２１１ａは、スケーリングフィルタを通過した水平方向低周波成分Ｌの低周波信号に対して、ダウンサンプリングを行って垂直方向１／２に間引きすることで、水平垂直方向低周波成分ＬＬ１のサブバンドデータを生成する。

変換部２１１ａは、水平方向高周波成分Ｈに対して、スケーリングフィルタとウェーブレットフィルタとをそれぞれ適用する。そして、変換部２１１ａは、ウェーブレットフィルタを通過した水平方向高周波成分Ｈの高周波信号に対して、ダウンサンプリングを行って垂直方向１／２に間引きすることで、水平垂直方向高周波成分ＨＨ１のサブバンドデータを生成する。また、変換部２１１ａは、スケーリングフィルタを通過した水平方向高周波成分Ｈの低周波信号に対して、ダウンサンプリングを行って垂直方向１／２に間引きすることで、水平方向高周波垂直方向低周波成分ＨＬ１のサブバンドデータを生成する。

このように、変換部２１１ａは、水平垂直方向低周波成分ＬＬ１、水平方向低周波垂直方向高周波成分ＬＨ１、水平垂直方向高周波成分ＨＨ１、水平方向高周波垂直方向低周波成分ＨＬ１の４つの周波数帯域画像に差分画像を分解する。そして、変換部２１１ａは、分解した４つの周波数帯域画像をノイズ除去部２１１ｂに出力する。

図１１の説明に戻る。ノイズ除去部２１１ｂは、変換部２１１ａにより変換された複数の周波数帯域画像に対して、ノイズ除去を行う。例えば、ノイズ除去部２１１ｂは、周波数帯域画像の高周波成分「ＬＨ１、ＨＨ１、ＨＬ１」に対して、コアリング処理を行うことにより、周波数帯域画像のノイズを除去する。例えば、ノイズ除去部２１１ｂは、ＬＨ１、ＨＨ１、ＨＬ１の各周波数帯のサブバンドデータの係数値に対して、所定の閾値以下の係数値は一律０にして、それ以外の係数値はそのままの値にする処理を行うことにより、周波数帯域画像のノイズを除去する。そして、ノイズ除去部２１１ｂは、ノイズを除去した各周波数帯域画像を逆変換部２１１ｃに出力する。なお、閾値の設定は、ＬＨ１、ＨＨ１、ＨＬ１で、同じ閾値でも良いし、それぞれ異なってもかまわない。

逆変換部２１１ｃは、ノイズ除去部２１１ｂにより出力された各周波数帯域画像に対してウェーブレット逆変換を行うことで、手ぶれ補正成分を生成する。図１３は、逆変換部の処理を説明するための図である。図１３に示すように、逆変換部２１１ｃは、サブバンドデータ「ＬＬ１、ＬＨ１、ＨＨ１、ＨＬ１」に対して、ダウンサンプリングにより間引きされたデータを水増しするため、０を埋めて、垂直方向に２／１のアップサンプリングを行う。そして、逆変換部２１１ｃは、アップサンプリング後の「ＨＨ１」をウェーブレットフィルタに通し、アップサンプリング後の「ＨＬ１」をスケーリングフィルタに通して、その２つの結果を加算して「Ｈ」を再構成する。また、逆変換部２１１ｃは、アップサンプリング後の「ＬＨ１」をウェーブレットフィルタに通し、アップサンプリング後の「ＬＬ１」をスケーリングフィルタに通して、その２つの結果を加算して「Ｌ」を再構成する。

逆変換部２１１ｃは、再構成した「Ｈ」と「Ｌ」に対して垂直方向に２／１のアップサンプリングを行う。逆変換部２１１ｃは、アップサンプリング後の「Ｈ」をウェーブレットフィルタに通し、アップサンプリング後の「Ｌ」をスケーリングフィルタに通し、その２つの結果を加算して手ぶれ補正成分「Ｏ」を生成する。そして、逆変換部２１１ｃは、生成した手ぶれ補正成分を合成部１５４に出力する。

このように、実施例２に係る画像処理装置２００は、ウェーブレット変換を応用したノイズ除去方法を適用した場合にも、αブレンドを行うことなく手ぶれを補正するので、少ない演算量で手ぶれを補正することができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、その他の実施例にて実施されても良い。そこで、以下では、その他の実施例について説明する。

実施例１及び２において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。例えば、制御部１５０による露出制御が自動的に行われるものとして説明したが、手動的に行われても良い。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、記憶部１４０に記憶されるデジタル画像信号は、例えば、ＲＧＢで表された画像であっても良く、ＹＣｂＣｒやＹＵＶなどの他の表色系で表される画像であっても良い。

また、図１，９に示した画像処理装置１００，２００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、画像処理装置１００，２００の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示した制御部１５０の手ぶれ補正にかかる機能をサーバに持たせ、かかるサーバと画像処理装置１００とが協働することで、手ぶれを補正しても良い。また、例えば、図１に示した光学系１１０、撮像センサー１２０、信号処理部１３０及び記憶部１４０にかかる機能を外部装置に持たせ、かかる外部装置から撮影済みの画像を画像処理装置１００が取得することで、手ぶれを補正しても良い。すなわち、画像処理装置１００は、補正部１５１と、生成部１５２と、除去部１５３と、合成部１５４とを有する。補正部１５１は、第１の露光時間で第１の画像を撮影するとともに、第１の露光時間よりも短い第２の露光時間で第２の画像を撮影し、撮影した該第１の画像と該第２の画像との位置ずれを補正する。生成部１５２は、補正部１５１により補正された第１の画像と、その補正部１５１により補正された第２の画像との差分画像を生成する。除去部１５３は、生成部１５２により生成された差分画像からノイズを除去する。合成部１５４は、除去部１５３によりノイズが除去された差分画像を、補正部１５１により補正された第１の画像と合成する。

また、画像処理装置１００，２００は、画像処理装置１００，２００の各機能を既知の情報処理装置に搭載することによって実現することもできる。既知の情報処理装置は、例えば、デジタルカメラ機能を搭載した携帯電話、ＰＨＳ（Personal Handy-phone System）端末、移動体通信端末またはＰＤＡ（Personal Digital Assistant）などの装置に対応する。

図１４は、画像処理プログラムを実行するコンピュータを示す図である。図１４に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからデータの入力を受け付ける入力装置３０２と、モニタ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る媒体読み取り装置３０４と、他の装置と接続するためのインターフェース装置３０５と、他の装置と無線により接続するための無線通信装置３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ（Random Access Memory）３０７と、ハードディスク装置３０８とを有する。また、各装置３０１〜３０８は、バス３０９に接続される。また、コンピュータ３００は、カメラと接続される。カメラは、図１に示した撮像センサー１２０に対応する。

ハードディスク装置３０８には、図２に示した補正部１５１、生成部１５２、除去部１５３及び合成部１５４の各処理部と同様の機能を有する画像処理プログラムが記憶される。また、ハードディスク装置３０８には、画像処理プログラムを実現するための各種データが記憶される。

ＣＰＵ３０１は、ハードディスク装置３０８に記憶された各プログラムを読み出して、ＲＡＭ３０７に展開し、各種の処理を行う。また、これらのプログラムは、コンピュータを図２に示した補正部１５１、生成部１５２、除去部１５３及び合成部１５４として機能させることができる。

なお、上記の画像処理プログラムは、必ずしもハードディスク装置３０８に記憶されている必要はない。例えば、コンピュータが読み取り可能な記録媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしても良い。コンピュータが読み取り可能な記録媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続された装置にこのプログラムを記憶させておき、コンピュータ３００がこれらからプログラムを読み出して実行するようにしても良い。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）第１の露光時間で第１の画像を撮影するとともに、第１の露光時間よりも短い第２の露光時間で第２の画像を撮影する撮影部から、該第１の画像と該第２の画像とを取得するとともに、取得した該第１の画像と該第２の画像との位置ずれを補正する補正部と、
前記補正部により補正された第１の画像と、該補正部により補正された第２の画像との差分画像を生成する生成部と、
前記生成部により生成された差分画像からノイズを除去する除去部と、
前記除去部によりノイズが除去された差分画像を、前記第１の画像と合成する合成部と
を備えることを特徴とする画像処理装置。

（付記２）前記除去部は、前記生成部により生成された差分画像に、着目画素と画素値の差の大きな画素ほど重み付けを小さくするフィルタを適用することで、当該差分画像からノイズを除去することを特徴とする付記１に記載の画像処理装置。

（付記３）コンピュータが実行する画像処理方法であって、
第１の露光時間で第１の画像を撮影するとともに、第１の露光時間よりも短い第２の露光時間で第２の画像を撮影する処理により、該第１の画像と該第２の画像とを取得するとともに、取得した該第１の画像と該第２の画像との位置ずれを補正し、
前記位置ずれを補正する処理により補正された第１の画像と、該位置ずれを補正する処理により補正された第２の画像との差分画像を生成し、
前記差分画像を生成する処理により生成された差分画像からノイズを除去し、
前記ノイズを除去する処理によりノイズが除去された差分画像を、前記第１の画像と合成する
ことを特徴とする画像処理方法。

（付記４）前記ノイズを除去する処理は、前記差分画像を生成する処理により生成された差分画像に、着目画素と画素値の差の大きな画素ほど重み付けを小さくするフィルタを適用することで、当該差分画像からノイズを除去することを特徴とする付記３に記載の画像処理方法。

（付記５）コンピュータに、
第１の露光時間で第１の画像を撮影するとともに、第１の露光時間よりも短い第２の露光時間で第２の画像を撮影する処理により、該第１の画像と該第２の画像とを取得するとともに、取得した該第１の画像と該第２の画像との位置ずれを補正し、
前記位置ずれを補正する処理により補正された第１の画像と、該位置ずれを補正する処理により補正された第２の画像との差分画像を生成し、
前記差分画像を生成する処理により生成された差分画像からノイズを除去し、
前記ノイズを除去する処理によりノイズが除去された差分画像を、前記第１の画像と合成する
処理を実行させることを特徴とする画像処理プログラム。

（付記６）前記ノイズを除去する処理は、前記差分画像を生成する処理により生成された差分画像に、着目画素と画素値の差の大きな画素ほど重み付けを小さくするフィルタを適用することで、当該差分画像からノイズを除去することを特徴とする付記５に記載の画像処理プログラム。

１００，２００ 画像処理装置
１１０ 光学系
１２０ 撮像センサー
１３０ 信号処理部
１４０ 記憶部
１５０ 制御部
１５１ 補正部
１５２ 生成部
１５３，２１１ 除去部
１５４ 合成部
２１０ 制御部
２１１ａ 変換部
２１１ｂ ノイズ除去部
２１１ｃ 逆変換部
３００ コンピュータ
３０１ ＣＰＵ
３０２ 入力装置
３０３ モニタ
３０４ 媒体読み取り装置
３０５ インターフェース装置
３０６ 無線通信装置
３０７ ＲＡＭ
３０８ ハードディスク装置
３０９ バス

Claims (4)

1. 第１の露光時間で第１の画像を撮影するとともに、第１の露光時間よりも短い第２の露光時間で第２の画像を撮影する撮影部から、該第１の画像と該第２の画像とを取得するとともに、取得した該第１の画像と該第２の画像との位置ずれを補正する補正部と、
   前記補正部により補正された第１の画像と、該補正部により補正された第２の画像との差分画像を生成する生成部と、
   前記生成部により生成された差分画像からノイズを除去する除去部と、
   前記除去部によりノイズが除去された差分画像を、前記第１の画像と合成する合成部と
   を備えることを特徴とする画像処理装置。
2. 前記除去部は、前記生成部により生成された差分画像に、着目画素と画素値の差の大きな画素ほど重み付けを小さくするフィルタを適用することで、当該差分画像からノイズを除去することを特徴とする請求項１に記載の画像処理装置。
3. コンピュータが実行する画像処理方法であって、
   第１の露光時間で第１の画像を撮影するとともに、第１の露光時間よりも短い露光時間で第２の画像を撮影する処理により、該第１の画像と該第２の画像とを取得するとともに、取得した該第１の画像と該第２の画像との位置ずれを補正し、
   前記位置ずれを補正する処理により補正された第１の画像と、該位置ずれを補正する処理により補正された第２の画像との差分画像を生成し、
   前記差分画像を生成する処理により生成された差分画像からノイズを除去し、
   前記ノイズを除去する処理によりノイズが除去された差分画像を、前記第１の画像と合成する
   ことを特徴とする画像処理方法。
4. コンピュータに、
   第１の露光時間で第１の画像を撮影するとともに、第１の露光時間よりも短い第２の露光時間で第２の画像を撮影する処理により、該第１の画像と該第２の画像とを取得するとともに、取得した該第１の画像と該第２の画像との位置ずれを補正し、
   前記位置ずれを補正する処理により補正された第１の画像と、該位置ずれを補正する処理により補正された第２の画像との差分画像を生成し、
   前記差分画像を生成する処理により生成された差分画像からノイズを除去し、
   前記ノイズを除去する処理によりノイズが除去された差分画像を、前記第１の画像と合成する
   処理を実行させることを特徴とする画像処理プログラム。

Images