JPWO2007032156A1 - 画像処理方法及び画像処理装置 - Google Patents

Abstract

撮像範囲が同一の複数の画像を合成する装置において、撮像範囲が同一である複数の画像間の位置ずれを検出して、画像を位置ずれ補正し，位置ずれ補正後に，画像間の個々の部分の類似性を評価し，類似性評価に応じて、画像合成方法を変更する。このため、カメラが動いたことによる位置ずれと，被写体が動いたことによる、被写体ぶれとがない画像を作成することができる。又、類似性に応じて、合成するか否かを決定するため、処理負荷を軽減して、被写体ぶれがない画像を作成することができる。

Description

本発明は、デジタルカメラ等の撮像デバイスで撮像された複数の画像を合成して、画質を向上する画像処理方法及び画像処理装置に関し、特に、連続的に撮像された画像を合成して、画質を向上するための画像処理方法及び画像処理装置に関する。

近年のデジタルカメラなどのデジタル画像機器の普及に伴い、デジタル画像処理により、画質の優れた画像を得ることが可能となってきた。この内、デジタルカメラ等の携帯撮像機器では、所謂、手振れ補正処理が実装され、携帯画像機器の画質向上に効果が現れている。

この手振れ補正方法として、光学的に手振れを補正する方法と、画像処理により手振れを補正する方法がある。前者は、機械的にブレを検出し、光学系を移動して、手振れ補正するものであり、これら機構のための実装空間をとれる機器に、使用される。一方、後者は、画像処理で実現するため、実装空間が制限される小型の機器に好適である。例えば、小型のデジタルカメラやカメラ付携帯電話では、短い露光時間で連続的に撮影した画像を合成（足し合わせ）する。短露光時間の画像は、手振れの影響が少ないが、光量不足であるため、連写した複数の画像を合成して、ノイズの少ない手振れを抑制した画像を生成することができる。

この合成方法（画像処理方法）として、第１の従来技術は、図３２に示すように、２つの画像Ａ，Ｂの全体の位置ずれを検出して、画像Ａ，Ｂ全体を、画像全体の共通の位置ずれパラメータにそって、位置ずれ補正した上で、画像Ａ，Ｂの合成を行う方法が提案されている（例えば、特許文献１参照）。

又、第２の従来技術として、図３３に示すように、長時間露光画像Ｂと、短時間露光画像Ａとを連続的に得て、被写体が動いたかを検出し、動きがある場合には、長時間露光画像Ｂを選択し、動きがない時は、２枚の画像Ａ，Ｂを合成する方法が提案されている（例えば、特許文献２参照）。同様に、第３の従来技術として、長時間露光画像（背景用）Ｂと、ストロボ画像（被写体用）Ａとを連続的に得て、画像間の背景と被写体の境界領域のぶれを検出し，境界部分の不自然さが起こらないように、２枚の画像の合成時に、境界領域を処理する方法が提案されている（例えば、特許文献３参照）。この処理方法は，被写体が動いた際の被写体ぶれの領域を、ストロボを用いた画像Ｂの画素で置き換えるものである。
特開平１１−１８５０１８号公報 特開２０００−０５０１５１号公報 特開２００４−１９４１０６号公報

しかしながら、この第１の従来技術では、画像全体の位置ずれ量で、画像全体の位置合わせを行っているため、一部の画像のずれ量が、他の部分の画像のずれ量と異なる場合には、一部の画像の位置が合っても、他の部分の画像の位置が合わない場合がある、例えば、全体の大部分を占める背景以外の対象とする被写体（例えば、人物）は、静止しているものと仮定している。

このため、図３２に示すように、連続して撮像した画像Ａ，Ｂで、背景１１０，１２０に対し、被写体（人物）１００が動いた場合には、２つの画像Ａ，Ｂの位置合わせをしても、背景１１０，１２０は、位置合わせできても、被写体１００，１０２は、位置合わせできず、合成画像Ｃでは、動いた分、被写体１００，１０２が二重となり、局所的な多重写しが生じ、良好な画質の合成画像をえることが難しい。

又、第２の従来技術では、動きがある時に、長時間露光画像を選択することは、動きのある被写体を長時間露光することから、長時間露光画像自体に、ブレのある画像が含まれ、その動いた部分の局所的多重写しの危険性が高い。

更に、第３の従来技術では、境界領域の処理として，被写体が動いた際の被写体ぶれの領域を検出し、この領域を、ストロボを用いた画像の画素で置き換えるため，被写体がもとの大きさよりも大きくなるという副作用が発生してしまう。被写体の動きが大きい場合は，かなり不自然な画像となる可能性がある。

従って、本発明の目的は、背景以外の被写体が動いても、画像合成による画質の向上を実現するための画像処理方法及び画像処理装置を提供することにある。

又、本発明の他の目的は、背景以外の被写体が動いても、被写体のぶれのない画像を得るための画像処理方法及び画像処理装置を提供することにある。

更に、本発明の他の目的は、背景以外の被写体が動いても、処理負荷の増大を避けて、多重写しの発生を防止するための画像処理方法及び画像処理装置を提供することにある。

この目的の達成のため、本発明の画像処理方法は、撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理方法において，画像間の位置ずれパラメータを算出する位置ずれ検出過程と，前記位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程と，補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評価する類似性評価過程と，前記類似性評価結果に応じて、前記画像の合成方法または合成パラメータを変更して、前記補正後の複数の画像を合成する合成過程とを有する。

又、本発明の画像処理装置は、画像撮影範囲を共有する複数の画像を格納するメモリと、複数の画像間の位置ずれパラメータを算出し、前記位置ずれパラメータで画像間の位置ずれを補正する処理ユニットとを有し，前記処理ユニットは、前記補正後の画像間の部分ごとに類似性を評価し、前記類似性に応じて合成方法または合成パラメータを変更して、前記補正後の画像を合成する。

本発明では、複数の画像を合成する際に，画像間の位置ずれを検出して、補正し，位置ずれ補正後に，画像間の類似性を評価し，類似性に応じて、画像合成方法を変更するため、カメラが動いたことによる位置ずれ，被写体が動いたことによる被写体ぶれがない画像を作成することができる。

更に、本発明では、好ましくは、前記類似性評価過程は、前記画像の部分間の類似度が高いか低いかを評価する過程であり，前記合成過程は、前記類似度が低い領域に対しては、一部の前記画像の画素値を用い，前記類似度が高い領域に対しては、複数の前記画像の画素値を用いて合成する過程から構成された。類似度が低い領域は，一部の画像の画素値を用い，類似度が高い領域は複数の画像の画素値を用いて合成を行うため、容易に、カメラが動いたことによる位置ずれ，被写体が動いたことによる被写体ぶれがない画像を作成することができる
更に、本発明では、好ましくは、前記類似性評価過程は、少なくとも前記画像の部分間のレベル差を計算し、前記類似性を評価する過程から構成された。少なくともレベル差で、類似性を判定するため、類似性の判定が容易である。

更に、本発明では、好ましくは、前記類似性評価過程は、前記画像の部分間のレベル差とエッジ強度とを計算し、前記レベル差と前記エッジ強度とから類似性を評価する過程から構成された。画像間の類似性を評価する際，レベル差とエッジの強さを参照することで，類似性が高いかどうかを正確に評価することができる。

更に、本発明では、好ましくは、前記類似性評価過程は、前記計算されたレベル差が大きく、前記エッジ強度が小さい場合には、類似性が低いと評価し、前記レベル差が小さくても、前記エッジ強度が大きい場合には、類似性が高いと評価する過程を含む。類似性は，エッジ強度が小さく，レベル差が大きいほど類似性が低く評価するため、ちょっとした位置のずれ（１画素となりなど）で急激なレベル差を生じるようなエッジ部分では、ちょっとした外的要因によりレベルに差がでることがあり、この誤検出を防止できる。

更に、本発明では、好ましくは、前記合成された画像に対し、前記類似度が低い領域に対してノイズ除去を行う過程を更に有する。類似度が高い領域では，画像合成によりノイズを除去できるが，類似度が低い領域では，合成する画像の枚数が少ないため，類似度が高い部位に比べ，ノイズが目立つことがあるため、類似度が低い領域に対してノイズ除去を行うことで画質を向上させる。

更に、本発明では、好ましくは、前記類似性評価結果に対し、前記合成した画像の画質を向上するため類似性評価を修正する修正過程を更に有する。類似性に応じて、合成方法を変更するため、類似性の高い部分と、類似性の低い部分とで、画質の差が生じる場合があり、類似性評価を画質を向上するように修正する。

更に、本発明では、好ましくは、前記類似性評価の修正過程は、前記類似性が高い部位に，類似性が低い部位が孤立点として点在していることを検出して、前記類似性が低い部位を前記類似性が高い部位に変更する過程で構成された。類似性評価を行った後，類似度評価を修正することでさらなる画質向上が図られ、類似度が高い部位に，類似度が低い部位が孤立点として点在している場合，これを除去する。即ち，微小な領域は，視認性が低い等の理由で，類似度が低い領域として周囲と別扱いする必要はないからである。

更に、本発明では、好ましくは、前記類似性評価の修正過程は、前記類似性が低い領域の周囲に類似性が高い領域が混在していることを検出して，前記類似性が低い部位を膨張する処理を行う過程で構成された。類似性評価を行った後，類似度評価を修正することでさらなる画質向上が図られるが、類似性が低い領域の周囲に類似性が高い領域が混在する場合は，類似性が低い部位を膨張する処理を行うことにより、合成した際に類似性が低い領域と高い領域の境界で不自然さを生じるのを防ぐことができる。

更に、本発明では、好ましくは、前記類似性評価の修正過程は、前記類似性が低い部分に囲まれた領域に、前記類似性が高い部分が存在していることを検出して，前記類似性が高いとされた部位を前記類似性が低い部位に変更する過程から構成された。撮影領域内で，何らかの物体が移動した場合，物体の周囲領域は，通常，画像のレベル値等の変化が大きく，類似性が低いと判断されるが，物体内部は，特に，物体の色の変化が小さい場合，類似性が高いと判断されやすい。同一の移動物体において，周囲が類似性小，内部が類似性大となる。このような場合は，同一の移動物体は，全体を同一の処理としたほうが，自然である。したがって，類似性が低い部位に囲まれた領域に類似性が高い部位が存在しているときは，類似性が高いとされた領域を類似性が低い領域に変更する。

更に、本発明は、撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理方法において，画像間の位置ずれパラメータを算出する位置ずれ検出過程と，前記位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程と，補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評価する類似性評価過程と，前記類似性評価結果に応じて、合成処理を実施するか否かを判定する判定過程と、前記合成処理を実施すると判定した場合に、前記補正後の複数の画像を合成する合成過程と、前記合成処理を実施すると判定しない場合に、前記複数の画像の１つの画像を選択する選択過程とを有する。

更に、本発明では、好ましくは、前記合成過程は、前記複数の画像の画素レベル値の単純平均、又は重み付け平均による合成過程からなる。

更に、本発明では、好ましくは、前記合成過程は、前記複数の画像の画素レベル値の輝度線形な信号値での加算による合成過程からなる。

更に、本発明では、好ましくは、前記類似性評価過程は、前記複数の画像の画素レベル値の差分による類似性評価過程からなる。

更に、本発明では、好ましくは、前記類似性評価過程は、前記複数の画像の画素レベル値の差分を閾値と比較して、類似性を判定する過程からなる。

更に、本発明では、好ましくは、前記類似性評価過程は、前記複数の画像の画素レベル値の差分を、画像のレベルの勾配に応じて決定された閾値と比較して、類似性を評価する過程からなる。

更に、本発明では、好ましくは、前記判定過程は、前記類似性の低いと判定された画素数に応じて判定する過程からなる。

更に、本発明では、好ましくは、前記判定過程は、前記類似性の低いと判定された画素数を、画素間のレベル差による重みを付けて加算した結果に応じて判定する過程からなる。

更に、本発明では、好ましくは、前記判定過程は、前記類似性の低いと判定された画素数を、画素間のレベル差による重みを付けて加算した結果に応じて判定する過程からなる。

複数の画像を合成する際に，画像間の位置ずれを検出して、補正し，位置ずれ補正後に，画像間の類似性を評価し，類似性に応じて、画像合成方法を変更するため、カメラが動いたことによる位置ずれ，被写体が動いたことによる被写体ぶれがない画像を作成することができる。又、類似性に応じて、合成するか否かを決定するため、処理負荷を軽減して、被写体ぶれがない画像を作成することができる。

本発明の一実施の形態の画像処理装置のブロック図 本発明の一実施の形態の画像処理装置の動作説明図 本発明の画像処理の第１の実施の形態の処理フロー図 図３の類似性評価処理の詳細フロー図 図４のレベル差、エッジ強度の説明図 図４のエッジ強度の計算の説明図 図３の合成方法の説明図 図３の他の合成方法の説明図 図３の類似性評価修正処理フロー図 図９の類似性評価処理の説明図 類似性評価結果のサンプル画像例を示す図 類似性評価修正結果の説明図 類似性評価修正結果の他の説明図 本発明の画像処理の第２の実施の形態の処理フロー図 本発明の画像処理の第２の実施の形態の画像処理の説明図 図１４の画像処理の詳細処理フロー図 図１６の合成処理のための撮像処理フロー図 図１６の合成処理のための他の撮像処理フロー図 図１８の撮像処理のための図１６の合成処理フロー図 本発明の画像処理の第３の実施の形態の処理フロー図 図２０のインクリメントテーブルの説明図 図２０の画像処理の撮像画像の説明図 図２２の撮像画像のレベル分布の説明図 図２０の画像処理の他の撮像画像の説明図 図２４の撮像画像のレベル分布の説明図 本発明の画像処理の第４の実施の形態の処理フロー図 図２６の閾値テーブルの説明図 図２６の第４の実施の形態の画像処理の説明図 本発明の画像処理の第５の実施の形態の処理フロー図 図２９のインクリメントテーブルの説明図 図２９の閾値テーブルの説明図 従来の第１の画像合成方法の説明図 従来の第２の画像合成方法の説明図

符号の説明

１ 撮像デバイス又は画像メモリ
２ 画像処理装置
２０ フレームメモリ
２２ 処理ユニット
３０ 位置ずれ検出部
３２ 位置ずれ補正部
３４ 類似性評価部
３６ 合成方法変更部
３８ 画像合成部

以下、本発明を画像処理装置、画像処理方法の第１の実施の形態、類似性評価修正方法、画像処理方法の第２の実施の形態、画像処理方法の第３の実施の形態、画像処理方法の第４の実施の形態、画像処理方法の第５の実施の形態、他の実施の形態の順で説明するが、本発明は、この実施の形態に限られない。

＊画像処理装置＊
図１は、本発明の一実施の形態の画像処理装置のブロック図、図２は、その動作説明図である。図１に示すように、画像処理装置２は、デジタルカメラ（カメラ付携帯を含む）に内蔵されるか、デジタルカメラに接続されるパーソナルコンピュータに内蔵される。

例えば、デジタルカメラ又はカメラ付携帯（携帯電話等）に内蔵される場合には、撮像デバイス（撮像素子）１からの画像を処理する画像処理装置２として、デジタルカメラ又はカメラ付携帯に内蔵される。又、パーソナルコンピュータに内蔵される場合には、デジタルカメラ又はデジタルカメラ内のメモリ１からの画像を処理するプログラムとして、構成される。

図１に示すように、画像処理装置２は、フレームメモリ２０と、処理ユニット（例えば、画像処理プロセッサ）２２とで構成される。撮像デバイス又は画像メモリ１からの撮影範囲を共有する複数の画像は、各々フレームメモリ２０に格納される。処理ユニット２２は、フレームメモリ２２の複数の画像を重ね合わせて合成する処理を実行する。

処理ユニット２２は、画像間の位置ずれパラメータを算出する位置ずれ検出過程を実行する位置ずれ検出部３０と、位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程を実行する位置ずれ補正部３２と，補正後の画像間で部位（領域）ごとに類似性を評価する類似性評価過程を実行する類似性評価部３４と、類似性に応じて合成方法又は合成パラメータを変更する合成方法変更過程を実行する合成方法変更部３６と、合成パラメータに従い、位置ずれ補正後の画像を合成する画像合成部３８とを有する。

図２を参照して、図１の構成の動作を説明する。図２では、連写した２枚の画像Ａ，Ｂを合成する例を示し、１枚目の画像Ａの撮像後、被写体（人物）１０２が、左方に移動して、２枚目の画像Ｂが撮像された例を示す。先ず、位置ずれ検出部３０は、フレームメモリ２０の２枚の画像（撮像画面データ）Ａ，Ｂの位置ずれを検出する。例えば、周知のＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ）変換により、特徴点を抽出し、追跡して、画像全体の位置ずれを検出する。

位置ずれ補正部３２は、各々の画像Ａ，Ｂを、検出されたパラメータで位置ずれ補正する。図２に示すように、画像全体の位置ずれ補正のため、補正後の画像Ａ‘，Ｂ’の背景部分１１０，１２０の位置ずれは補正されるが、画像全体の位置ずれより大きく移動した領域（ここでは、人物としての被写体１０２）の位置ずれは、補正できない。

類似性評価部３４は、位置ずれ補正後に，画像Ａ‘，Ｂ’間の類似性を評価する。例えば、画像Ａ‘，Ｂ’の各画素のレベル変化やエッジ強度を計算し、類似度が高いか低いかを判定する。画像合成方法変更部３６は、類似度評価部３４の判定結果により、類似度が低い領域は，一部の画像の画素値を用い，類似度が高い領域は複数の画像の画素値を用いるよう、画像合成部３８に指示する。又は、類似度が低い領域の大きさを判定し、類似度が低い領域の大きさの判定結果に応じて、画像Ａ’，Ｂ‘を合成するか、１枚の画像（例えば、Ｂ’）を選択するかを決定する。画像合成部３８は、この指示に従い、画像Ａ‘，Ｂ’の合成又は選択を行い、出力する。

図２では、類似性評価部３４の評価結果を、画像Ｃで示し、画像Ａ‘，Ｂ’間の類似性の高い領域を、黒で、類似性の低い領域を白で示している。白の類似度が低い領域は，一部の画像（例えば、画像Ａ‘）の画素値を用い，黒の類似度が高い領域は、複数の画像Ａ’，Ｂ‘の画素値を合成することにより、画像Ｄのような，カメラが動いたことによる位置ずれ，被写体（人物）が動いたことによる被写体ぶれがない画像を作成することができる。

＊画像処理方法の第１の実施の形態＊
図３は、本発明の画像処理の第１の実施の形態の処理フロー図、図４は、図３の類似性評価処理の詳細フロー図、図５は、図４のレベル差、エッジ強度の説明図、図６は、図４のエッジ強度の計算の説明図、図７は、図３の合成方法の説明図である。

以下、図３に従い、実施の形態の画像処理を説明する。

（Ｓ１０）先ず、デジタルカメラで撮像する。ここでは、１回のシャッター押下で、複数の短時間露光撮像を行い、複数の連続画像Ａ，Ｂを取得する。

（Ｓ１２）処理ユニット２０は、２つの画像の位置ずれを補正する。ここでは、前述のＫＬＴ変換を用いる。ＫＬＴ変換法は、例えば、著者 Carlo Tomasi and Takeo Kaneda による文献「Good Features to Track」（ＩＥＥＥ Conference
on Computer Vision and Pattern
Recognition, page 593-600）で示されるように、２つの画像の特徴点を抽出し、追跡することで位置ずれを検出し、その補正を行う。尚、位置ずれの補正方法は，特にこの方法に限るものではない。

（Ｓ１４）次に，処理ユニット２０は、位置ずれ補正を行った画像間の類似性を評価し、動きのない領域と動きのある領域を区別する。類似度の評価は、ここでは、両画像の各画素のレベル差と，エッジ強度を用いる。実際の画像では，エッジの強い部位は，類似度が高くても、レベル差が大きいということがあるので，両者を用いた評価が好ましい。ただし，この方法に限定されるわけではなく，例えば，レベル差のみを用いる方法や、輝度変化の勾配の差を用いる方法などを採用できる。図５により、レベル差とエッジ強度を説明すると、画像１と画像２のレベル差を、Δａ（ＲＧＢ値の差分の絶対値の和）とし，画像２のある位置（ｘ，ｙ）と１画素隣（ｘ＋１，ｙ）の画素とのレベルさをエッジ強度Δｂとした時，エッジ強度Δｂが小さく、レベル差Δａが大きい程、類似度は低く、逆に、エッジ強度Δｂが大きく、レベル差Δａが小さいと、類似度は高い。即ち、レベル差が大きくても、エッジ強度が大きい場合には、即ち、画像パターンのエッジ近傍では、類似度が高い。ここで、後述する類似度評価の修正を実行することが、望ましい。

（Ｓ１６）画像Ａ，Ｂ（１，２）間の類似性評価結果は、図２のように、黒白の領域で表現される。処理ユニット２０は、画像合成を行う。合成方法を，黒い領域（動きのない領域）と白い領域（動きのある領域）とで変更する。図７は、重み付けによる合成方法を示し、黒い領域（非動き領域）は、複数の画像の重み付き平均加算を行い，白い領域（動き領域）は、１枚の画像（または，１枚の画像の重みを大きくする）を用いる。例えば，図７では、画像１，画像２，画像３の３枚の画像合成を行う場合、動き領域は、画像２の重みを，「１」、画像１，３の重みを「０」にして、画像合成する。即ち、画像２のみを使用する。一方、非動き領域は、画像２の重みを「０．５」、画像１，３の重みを「０．２５」にして、画像合成する。即ち、複数の画像の重み付き平均加算を行い，重みを付けて合成する。この際、黒と白の境界が連続的になるように、境界部分の重みを平滑化することもできる。

（Ｓ１８）更に、合成結果において，１枚の画像を用いた領域（動き領域）は，複数枚の画像を用いて合成した領域に比べ、平均化されていない分だけ、ノイズが目立つことがある。そこで，この動き領域のみ，メディアンフィルタを用いることで、孤立点を除去し、ノイズを除去してもよい。

次に、図４により、図３の類似性評価ステップを詳細に説明する。

（Ｓ２０）先ず、処理ユニット２０は、画像１，２（画像Ａ，Ｂ）の対応位置にある各画素のレベル差Δａを計算する。例えば、カラー画像ＲＧＢの場合に、画像１をＲ１，Ｇ１，Ｂ１とし、画像２をＲ２，Ｇ２，Ｂ２とし、画素位置を、ｘ、ｙとすると、下記式（１）でレベル差Δａを計算する。

（Ｓ２２）次に、処理ユニット２０は、対象画素とその周囲４近傍の画素とのエッジ強度Δｂを計算する。図６に示すように、３×３の画素マトリックスを仮定し、中心を、対象画素Ｔとすると、中心画素Ｔから、それぞれ、ｘ、ｙ方向に前後する４つの画素Ｐ１〜Ｐ４を、評価対象とする。そして、ＲＧＢ画像の場合には、同様に、画像２をＲ２，Ｇ２，Ｂ２とし、対象画素位置を、ｘ、ｙ、１つの隣接画素位置を、ｘ＋１、ｙとすると、下記式（２）で、エッジ強度値Δｂを計算する。

このエッジ強度値Δｂが大きいほど，エッジ強度が大きい。又、図６に示したように、エッジ強度値Δｂは、対象画素Ｔを中心に、４つの隣接画素Ｐ１〜Ｐ４の各々に対し、計算する。即ち、エッジ強度値Δｂは、４つ計算される。

（Ｓ２４）次に、処理ユニット２０は、類似性評価度ｄを、下記式（３）で計算する。

Δｂは，ある位置の周囲４近傍の位置Ｆ（ｉ，ｊ）＝｛（ｉ＋１，ｊ），（ｉ，ｊ＋１），（ｉ−１，ｊ），（ｉ，ｊ−１）｝で算出するため，４個の評価度ｄを算出する。そのため，この４つの評価度ｄの値の最小値を求め，その値を、類似度評価を行う際に使用する。この評価度ｄは，式（３）より、エッジ強度Δｂが小さく，レベル差Δaが大きいほど，大きくなる。つまり，エッジでない時に，類似度が低くなる。最小値を採用する理由は、４つの評価度ｄの内、類似度が大きい（評価度が小さい）ものを抽出するためである。

（Ｓ２６）類似性に応じて合成方法を変更する際は，類似性評価度をあらかじめ設定した閾値と比較することで決定する。即ち、処理ユニット２０は、ステップＳ２４の抽出された評価度ｄと、所定の閾値ｄｔｈとを比較する。処理ユニット２０は、評価度ｄが、ある閾値ｄｔｈよりも小さい画素は，類似性評価度が高い領域（類似度が高い領域）と判定する。又，評価度ｄが、ある閾値ｄｔｈより大きい画素は、類似性評価度が低い領域（類似度が低い領域）と判定する。このように判定した結果は、前述の図２の評価マップのように、１画面に対し、画素又は領域単位で、表される。図２では、類似度が高いと判定された領域を黒，低いと判定された領域を白で表示している。

（Ｓ２８）処理ユニット２０は、１画面の全画素について、処理を終了したかを判定する。全画素に対して、処理を終了していない時は、ステップＳ２０に戻る。一方、全画素に対して、終了している時は、類似性評価処理を終了する。

図８は、図３の画像合成処理の他の実施の形態の処理フロー図である。

（Ｓ３０）処理ユニット２０は、画像Ａ，Ｂ（１，２）間の類似性評価結果において、対象画素は、類似性が高いか低いかを判定する。

（Ｓ３２）処理ユニット２０は、図２のように、黒い領域（動きのない領域）と白い領域（動きのある領域）とで合成方法を変更するため、類似性が高い黒い領域（非動き領域）は、複数の画像の画素値の平均値を計算する。

（Ｓ３４）一方、処理ユニット２０は、類似性の低い白い領域（動き領域）は、１枚の画像の画素値を用いる。

（Ｓ３６）処理ユニット２０は、１画面の全画素について、処理を終了したかを判定する。全画素に対して、処理を終了していない時は、ステップＳ３０に戻る。一方、全画素に対して、終了している時は、合成処理を終了する。

このように、非動き領域は、複数の画像を合成するため、充分な明るさで、ぶれのない画像が得られ、動き領域は、１枚の画像を使用するため、明るさは劣るが、ぶれのない画像が得られる。しかも、動き領域は、画像合成を行わないため、処理負荷の軽減に寄与する。

＊＊類似性評価修正方法＊＊
次に、図３で説明した類似性評価修正処理を説明する。この類似性評価による画像合成処理では、画像を動き領域と非動き領域とに別け、合成方法を変えるため、両領域で、画質が異なる場合がある。これを最小とするため、類似性評価修正処理を行う。

図９は、図３の類似性評価修正処理フロー図、図１０は、図９の類似性評価処理の説明図、図１１は、類似性評価結果のサンプル画像例を示す図、図１２は、類似性評価修正結果の画像を示す図、図１３は、類似性評価修正結果の他の画像を示す図である。

類似度評価を行った後、図９に示すように、類似性評価結果の修正を行うことが望ましい。図１０に示すように、動き領域（図２の白領域）が、孤立点として存在している場合，孤立点のような微小な領域は，視認性が低いなどの理由で類似度が低い領域として別扱いする必要はない。このため、類似性評価修正１として、孤立点除去を行う。又、類似性が低い領域の周囲に類似性が高い領域が混在する場合は，類似性が低い部位を膨張する処理（類似性評価修正２）を行うことにより、合成した際に類似性が低い領域と高い領域の境界で不自然さを生じるのを防ぐことができる。

又、同一の移動物体（動き領域）において，周囲が、類似性が低く，内部が、類似性が高い領域となる場合がある。このような場合は，同一の移動物体は，全体を同一の処理としたほうが，自然である。そこで類似度が低い領域の内側の類似度が高い領域は，類似性の低い領域に置き換える類似性評価修正３を行う。なお，このどちらの現象も，必ずしも対応が必須なものではなく、例えば、計算時間を優先する場合などは、いずれか又は全部を，実施しなくてもかまわない。

図１１乃至図１３を参照して、図９の処理を説明する。

（Ｓ４０）処理ユニット２０は、類似性が低い部位が孤立しているかを判定する。例えば、図１１１の３枚の画像Ａ１，Ａ２、Ａ３の内、画像Ａ１，Ａ２の類似性評価結果は、Ｃ１のようになるとし、画像Ａ２，Ａ３の類似性評価結果は、Ｃ２になるものと仮定する。類似性評価結果Ｃ１では、類似性の低い領域（黒点）が、類似性の高い領域（図１１の白領域）に、孤立点として存在している。具体的には、例えば、類似性の高い領域に対し、３×３のマスクフィルタでスキャンし、類似性の低い孤立点を探索する。

（Ｓ４２）処理ユニット２０は、マスクフィルタで、孤立点を発見した場合，孤立点のような微小な領域は，視認性が低いなどの理由で類似度が低い領域として別扱いする必要はないため、類似性評価修正１として、孤立点除去を行う。例えば、この孤立点の類似性評価結果を、類似性が高いと変更する。これにより、類似性評価結果Ｃ１は、図１２のＣ４のように、類似性の低い領域（黒点）が、類似性の高いと変更され、孤立点は除去される。

（Ｓ４４）次に、処理ユニット２０は、周囲が、類似性が低く，内部が、類似性が高い領域があるかを判定する。例えば、図１１、図１２の類似性評価結果Ｃ１，Ｃ４の車の窓の内部である。具体的には、例えば、類似性の低い領域に対し、３×３のマスクフィルタでスキャンし、類似性の高い領域が存在するかを探索する。

（Ｓ４６）処理ユニット２０は、周囲が、類似性が低く，内部が、類似性が高い領域を発見した場合には，類似性が低い部位を膨張する処理を行うことにより、合成した際に類似性が低い領域と高い領域の境界で不自然さを生じるのを防ぐ。即ち、類似性の低い領域を膨張処理する類似性評価修正２を実行する。膨張処理は、周囲が、類似性が低く，内部が、類似性が高い場合に、類似性の低い画素を膨張し、例えば、類似性の低い１画素を、３×３の類似性の低い画素に膨張し、類似性の高い画素を潰す。これにより、類似性評価結果Ｃ４は、図１２のＣ５のように、類似性の低い領域が膨張し、類似性の高い部分が潰される。

（Ｓ４８）次に、処理ユニット２０は、類似性が高い領域が，類似性の低い領域に囲まれているかを判定する。例えば、図１１、図１２の類似性評価結果Ｃ１，Ｃ４の車の内部である。具体的には、例えば、類似性の低い領域に対し、３×３のマスクフィルタでスキャンし、類似性の高い領域が存在するかを探索する。

（Ｓ５０）処理ユニット２０は、類似性が高い領域が，類似性が低い領域に囲まれていることを発見した場合には，同様に、同一の移動物体は，全体を同一の処理としたほうが，自然であるから、そこで、類似度が低い領域の内側に存在する類似度が高い領域は，類似性の低い領域とする処理を行う。即ち、類似性の高い領域を、類似性が低いと類似性評価結果を変更する（置き換える）。

図１２の類似度評価結果の例を見ると，修正前の評価結果Ｃ１では、白い領域（類似性が高い領域）の中に、黒い領域（類似性が低い領域）が点在している。孤立点除去を行うと、評価結果Ｃ４のように、白い領域（類似性が高い領域）の中に、点在していた黒い領域（類似性が低い領域）は、除去される。

更に、膨張処理を行うと、類似性評価結果Ｃ４の車の窓部の内部が、黒い領域（類似性が低い領域）に変更された評価結果Ｃ５となる。同様に、図１３のように、輪郭線追跡を用いた膨張処理を行うと，評価結果Ｃ６のように、車全体が、黒い領域（類似性が低い領域）に変更される。このようにして、修正された類似性評価結果（図２の評価結果Ｃ）を用いて、画像合成を行う。

合成方法は，前述のように、動き領域と非動き領域とで変更する。図１３に示すように、ここでは、図２とは、逆に、黒い領域を類似性が低いとしているため、白い領域（類似性が高い領域）は、図２と同様に、複数の画像の重み付き平均加算を行い，黒い領域は、図３又は図８と同様に、１枚の画像（または，１枚の画像の重みを大きくする）を用いる。例えば、図３と同様に、画像１，画像２，画像３の３枚の画像合成を行う場合，図７のような重みを付けて合成する。この際，黒と白の境界が連続的になるように境界部分の重みを平滑化して合成する。

以上，述べたように，本発明によれば，背景の位置ずれによるぶれと，被写体が動いたことによる被写体ぶれがある場合にも，画像合成による画質向上をはかることができる。

＊画像処理方法の第２の実施の形態＊
図１４は、本発明の画像処理の第２の実施の形態の処理フロー図、図１５は、図１４の画像処理方法の説明図である。

以下、図１４に従い、この実施の形態の画像処理を説明する。

（Ｓ６０）先ず、デジタルカメラで撮像する。ここでは、１回のシャッター押下で、複数の短時間露光撮像を行い、複数の連続画像Ａ，Ｂを取得する。

（Ｓ６２）処理ユニット２０は、２つの画像の位置ずれを補正する。ここでは、前述のＫＬＴ変換を用いる。ＫＬＴ変換法は、前述のように、２つの画像の特徴点を抽出し、追跡することで位置ずれを検出し、その補正を行う。尚、位置ずれの補正方法は，特にこの方法に限るものではない。

（Ｓ６４）次に，処理ユニット２０は、位置ずれ補正を行った画像Ａ‘、Ｂ’間の類似性を評価し、動きのない領域と動きのある領域を区別する。類似度の評価は、ここでは、後述するように、両画像の各画素のレベル差と，エッジ強度のいずれか一方又は両方を用いる。実際の画像では，エッジの強い部位は，類似度が高くても、レベル差が大きいということがあるので，両者を用いた評価が好ましい。ただし，この方法に限定されるわけではなく，例えば，レベル差のみを用いる方法や、輝度変化の勾配の差を用いる方法などを採用できる。

（Ｓ６６）画像Ａ‘，Ｂ’間の類似性評価結果Ｃは、図１５のように、黒白の領域で表現される。図１５の評価結果Ｃでは、黒の領域は、ずれ補正して動きのない領域であり、白の領域は、ずれ補正しても動きのある（重ならない）領域を示す。処理ユニット２０は、この動きのある領域（白領域の大きさを判断する。例えば、白領域の画素のビット数を計数する。

（Ｓ６８）処理ユニット２０は、ステップＳ６６の大きさ判定結果に従い、選択的な画像合成を行う。この実施の形態では、動きのある領域の大きさが、所定の大きさより大きいかを判定し、動きのある領域の大きさが、所定の大きさより大きい場合には、合成を行わず、１枚の画像（例えば、２枚目画像Ｂ）を出力する。一方、動きのある領域の大きさが、所定の大きさより大きくない（小さい）場合には、複数枚の合成処理を行う。この合成処理は、黒い領域（動きのない領域）と白い領域（動きのある領域）とで変更せずに、全体の画像を合成する。

この類似性評価結果Ｃに対し、前述の類似性評価修正処理で説明したように、孤立点を除去し、動きのない領域（重なり領域）から除外するようにしても良い。

このように、動き領域が大きい場合には、１枚の短露光画像を選択するため、第１の実施の形態に比し、画質は低下するが、処理負担を軽減して、多重写しを防止できる。又、動き領域が小さい場合には、複数の短露光画像を合成するため、多重写しを防止して、高画質の画像を得ることができる。

次に、図１６乃至図１９を参照して、前述の類似性評価ステップ、動き領域の大きさ判定ステップ、合成ステップの詳細を説明する。図１６は、図１４の類似性評価ステップ、動き領域の大きさ判定ステップ、合成ステップの一実施の形態の処理フロー図、図１７は、図１６の合成処理の説明のための撮像処理フロー図、図１８は、図１６の合成処理の説明のための他の撮像処理フロー図、図１９は、図１８の撮像処理を用いた場合の合成処理フロー図である。

以下、図１６により、図１４の類似性評価ステップＳ６４、判定ステップＳ６６、合成ステップＳ６８を詳細に説明する。

（Ｓ６４０）先ず、処理ユニット２０は、類似性が高い画素数をカウントする類似性高カウンタと、類似性が低い画素数をカウントする類似性低カウンタとを、「０」に初期化する。

（Ｓ６４２）処理ユニット２０は、画像１，２（画像Ａ，Ｂ）の対応位置にある各画素のレベル差Δａを計算する。例えば、カラー画像ＲＧＢの場合に、画像１をＲ１，Ｇ１，Ｂ１とし、画像２をＲ２，Ｇ２，Ｂ２とし、画素位置を、ｘ、ｙとすると、前記した式（１）でレベル差Δａを計算する。

（Ｓ６４４）この画素の類似性を評価するため、レベル差Δａを，あらかじめ設定した閾値ｄｔｈと比較することで決定する。即ち、処理ユニット２０は、ステップＳ６４２で抽出されたレベル差Δａと、所定の閾値ｄｔｈとを比較する。処理ユニット２０は、レベル差Δａが、ある閾値ｄｔｈよりも小さい画素は，類似性評価度が高い領域（類似度が高い領域）と判定し、類似性高カウンタを、インクリメントする。又，レベル差Δａが、ある閾値ｄｔｈより大きい画素は、類似性評価度が低い領域（類似度が低い領域）と判定し、類似性低カウンタを、インクリメントする。このように判定した結果は、前述の図２の評価マップのように、１画面に対し、画素又は領域単位で、表される。図２では、類似度が高いと判定された領域を黒，低いと判定された領域を白で表示している。

（Ｓ６４６）処理ユニット２０は、１画面の全画素について、処理を終了したかを判定する。全画素に対して、処理を終了していない時は、ステップＳ６４２に戻る。一方、全画素に対して、終了している時は、類似性評価処理を終了する。

（Ｓ６６）処理ユニット２０は、画像全体に対するこの類似度が低い領域の比率を計算し、比率が、所定値以上かを判定する。即ち、処理ユニット２０は、類似性低カウンタのカウント値を、画像全体の画素数（類似性高カウンタと、類似性低カウンタのカウント値の和）で割り、比率を計算する。この比率が所定値（ここでは、０．０１＝１％）以上かを判定する。処理ユニット２０は、比率が所定値より大きくない場合には、３枚の画像の各画素の画素値の平均値を計算し、１枚の合成画像を作成し、終了する。

（Ｓ６８）一方、処理ユニット２０は、比率が所定値より大きい場合には、１枚の画像を用い、合成処理しない。ここでは、２枚目の画像を使用する。

このように、短露光画像間で類似性の高い場合には、複数の画像を合成するため、充分な明るさで、ぶれのない画像が得られ、逆に、類似性の低い場合は、１枚の画像を使用するため、明るさは劣るが、ぶれのない画像が得られる。しかも、類似性の低い画像は、画像合成を行わないため、処理負荷の軽減により寄与する。

又、レベル差で判定しているため、類似性判断処理の負荷を軽減でき、且つ画像合成を各画像の画素値の平均値としているため、一層、処理軽減に寄与する。

画像の画素値の平均値を計算するのは、短露光時に、連写画像の明るさが、短露光に適切なＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能等により設定されている場合である。即ち、図１７に示すように、デジタルカメラが、短露光連写し（Ｓ７００）、次に、信号増幅し（Ｓ７０２），その後、γ補正し（Ｓ７０４），連写画像を出力する（Ｓ７０６）という過程を得るＡＥ機能が設定されている場合である。

一方、短露光連写時に、短露光でない場合（通常露光の場合）と同様のＡＥ機能が設定されている場合には、図１８に示すように、デジタルカメラが、短露光連写し（Ｓ７１０）、次に、γ補正し（Ｓ７１２），連写画像を出力する（Ｓ７１４）という過程を得る。このように短露光連写時に、短露光連写に適切なＡＥ機能を設定していない場合には、単純な平均値の計算では、歪が現れる。

このため、図１６のステップＳ６６の画像合成過程を、図１９のように変形する。先ず、各画像のレベル値に逆γ補正（例えば、γ＝２．２なら、２．２乗）し（Ｓ６６−１），次に、逆γ補正した各画像の信号値を加算し（Ｓ６６―２），再度、γ補正（１／２．２乗）する（Ｓ６６−３）。

＊画像処理方法の第３の実施の形態＊
図２０は、本発明の画像処理の第３の実施の形態の処理フロー図、図２１は、そのインクリメント量のテーブル説明図、図２２乃至図２５は、図２０の動作説明図である。図２０は、図１４、図１６の類似性評価ステップの変形例の処理フロー図である。

（Ｓ６４８）先ず、処理ユニット２０は、類似性が高い画素数をカウントする類似性高カウンタと、類似性が低い画素数をカウントする類似性低カウンタとを、「０」に初期化する。

（Ｓ６５０）処理ユニット２０は、画像１，２（画像Ａ，Ｂ）の対応位置にある各画素のレベル差Δａを計算する。例えば、カラー画像ＲＧＢの場合に、画像１をＲ１，Ｇ１，Ｂ１とし、画像２をＲ２，Ｇ２，Ｂ２とし、画素位置を、ｘ、ｙとすると、前記した式（１）でレベル差Δａを計算する。

（Ｓ６５２）この画素の類似性を評価するため、レベル差Δａを，あらかじめ設定した閾値ｄｔｈと比較することで決定する。即ち、処理ユニット２０は、ステップＳ６５０で抽出されたレベル差Δａと、所定の閾値ｄｔｈとを比較する。処理ユニット２０は、レベル差Δａがある閾値ｄｔｈよりも小さい画素は，類似性評価度が高い領域（類似度が高い領域）と判定し、類似性高カウンタを、インクリメントする。又，レベル差Δａが、ある閾値ｄｔｈより大きい画素は、類似性評価度が低い領域（類似度が低い領域）と判定する。そして、レベル差Δａの絶対値を、閾値ｄｔｈ割った比率で、図２１のテーブルＴＢを参照して、対応するインクリメント量を決定する。このインクリメント量で、類似性低カウンタをインクリメントする。

（Ｓ６５４）処理ユニット２０は、１画面の全画素について、処理を終了したかを判定する。全画素に対して、処理を終了していない時は、ステップＳ６５０に戻る。一方、全画素に対して、終了している時は、類似性評価処理を終了する。

このテーブルＴＢは、レベル差の比率が大きい程、大きいインクリメント量を設定する。即ち、レベル差が閾値以上の場合に、レベル差の大きさに応じて、レベル差に重みを持たせて、カウントする。これにより、レベル差が、閾値から大きく離れた画素程、重みを大きくして、カウントする。この重みを持たせて、カウントすることは、レベル差が大きく、多重写しが目立つ画像を効果的に検出できる。これを、図２２乃至図２５で説明する。図２２は、撮像範囲内において、白地の背景ＢＧに、比較的濃い色の物体ＡＡが現れている例である。この場合、手振れがあると、図２３に示すように、１枚目の画像レベルＡ−１と、２枚目の画像レベルＢ−１のレベル差Δａは、大きい。

又、図２４は、撮像範囲内において、色の付いた背景ＢＧ−１に、比較的濃い色の物体ＡＡが現れている例である。この場合、手振れがあると、図２５に示すように、１枚目の画像レベルＡ−２と、２枚目の画像レベルＢ−２のレベル差Δａは、小さい。

図２２の撮像対象であると、手振れによる多重写しが目立ち、逆に、図２４の撮像対象であると、手振れによる多重写しは目立たない。図２０に示したように、レベル差が、閾値から大きく離れた画素程、重みを大きくして、カウントすると、図２２、図２３に示すような、レベル差が大きく、多重写しが目立つ画像を効果的に検出できる。逆に、図２４、図２５の撮像画像は、レベル差が閾値より大きくても、レベル差が小さいため、通常の重みとする。

＊画像処理方法の第４の実施の形態＊
図２６は、本発明の画像処理の第４の実施の形態の処理フロー図、図２７は、そのインクリメント量のテーブル説明図、図２８は、図２６の動作説明図である。図２６は、図１４、図１６の類似性評価ステップの他の変形例の処理フロー図である。

（Ｓ６５６）先ず、処理ユニット２０は、類似性が高い画素数をカウントする類似性高カウンタと、類似性が低い画素数をカウントする類似性低カウンタとを、「０」に初期化する。

（Ｓ６５８）処理ユニット２０は、画像１，２（画像Ａ，Ｂ）の対応位置にある各画素のレベル差Δａを計算する。例えば、カラー画像ＲＧＢの場合に、画像１をＲ１，Ｇ１，Ｂ１とし、画像２をＲ２，Ｇ２，Ｂ２とし、画素位置を、ｘ、ｙとすると、前記した式（１）でレベル差Δａを計算する。

（Ｓ６６０）次に、処理ユニット２０は、対象画素とその周囲４近傍の画素とのエッジ強度Δｂを計算する。図６に示したように、３×３の画素マトリックスを仮定し、中心を、対象画素Ｔとすると、中心画素Ｔから、それぞれ、ｘ、ｙ方向に前後する４つの画素Ｐ１〜Ｐ４を、評価対象とする。そして、ＲＧＢ画像の場合には、同様に、画像２をＲ２，Ｇ２，Ｂ２とし、対象画素位置を、ｘ、ｙ、１つの隣接画素位置を、ｘ＋１、ｙとすると、前述の式（２）で、エッジ強度値Δｂを計算する。

このエッジ強度値Δｂが大きいほど，エッジ強度が大きい。又、図６に示したように、エッジ強度値Δｂは、対象画素Ｔを中心に、４つの隣接画素Ｐ１〜Ｐ４の各々に対し、計算する。即ち、エッジ強度値Δｂは、４つ計算される。この４つのエッジ強度Δｂの絶対値の最大値を選択する。そして、絶対値Δｂの最大値により、図２７のテーブルＴＢ−１を参照して、閾値ｄｔｈを決定する。このテーブルＴＢ−１は、エッジ強度が大きい程、閾値ｄｔｈを大きく設定している。

（Ｓ６６２）この画素の類似性を評価するため、レベル差Δａを，テーブルＴＢ−１から得た閾値ｄｔｈと比較することで決定する。即ち、処理ユニット２０は、ステップＳ６５８で抽出されたレベル差Δａと、エッジ強度で決定された閾値ｄｔｈとを比較する。処理ユニット２０は、レベル差Δａがある閾値ｄｔｈよりも小さい画素は，類似性評価度が高い領域（類似度が高い領域）と判定し、類似性高カウンタを、インクリメントする。又，レベル差Δａが、ある閾値ｄｔｈより大きい画素は、類似性評価度が低い領域（類似度が低い領域）と判定し、類似性低カウンタを、インクリメントする。

（Ｓ６６４）処理ユニット２０は、１画面の全画素について、処理を終了したかを判定する。全画素に対して、処理を終了していない時は、ステップＳ６４８に戻る。一方、全画素に対して、終了している時は、類似性評価処理を終了する。

このテーブルＴＢ−１は、エッジ強度（即ち、画像勾配）が大きい程、大きい閾値を設定する。即ち、画像のエッジの勾配により、類似性判定の閾値を変更する。エッジ勾配が大きい程、大きい閾値を設定する。図２８に示すように、１枚目の画像信号Ａ−２と２枚目の画像信号Ｂ−２とが少しずれていても、エッジが多い画像では、エッジ近傍で、画像Ａ−２，Ｂ−２のレベル差が大きくなり、少しのずれでも、類似性が低いとカウントされる。

この実施の形態では、エッジ強度が大きい場合に、閾値を大きくして、エッジ近傍で、重ならない領域が極端に頻繁に計数されることを防止できる。即ち、エッジの多い画像に対し、過度に、類似性が低いと計数されることを防止する。

＊画像処理方法の第５の実施の形態＊
図２９は、本発明の画像処理の第５の実施の形態の処理フロー図、図３０は、そのインクリメント量のテーブル説明図、図３１は、その閾値テーブルの説明図である。図２９は、図１４、図１６の類似性評価ステップの更に他の変形例の処理フロー図であり、図２０と図２６の実施の形態を組み合わせたものである。

（Ｓ６６６）先ず、処理ユニット２０は、類似性が高い画素数をカウントする類似性高カウンタと、類似性が低い画素数をカウントする類似性低カウンタとを、「０」に初期化する。

（Ｓ６６８）処理ユニット２０は、画像１，２（画像Ａ，Ｂ）の対応位置にある各画素のレベル差Δａを計算する。例えば、カラー画像ＲＧＢの場合に、画像１をＲ１，Ｇ１，Ｂ１とし、画像２をＲ２，Ｇ２，Ｂ２とし、画素位置を、ｘ、ｙとすると、前記した式（１）でレベル差Δａを計算する。

（Ｓ６７０）次に、処理ユニット２０は、対象画素とその周囲４近傍の画素とのエッジ強度Δｂを計算する。図６に示したように、３×３の画素マトリックスを仮定し、中心を、対象画素Ｔとすると、中心画素Ｔから、それぞれ、ｘ、ｙ方向に前後する４つの画素Ｐ１〜Ｐ４を、評価対象とする。そして、ＲＧＢ画像の場合には、同様に、画像２をＲ２，Ｇ２，Ｂ２とし、対象画素位置を、ｘ、ｙ、１つの隣接画素位置を、ｘ＋１、ｙとすると、前述の式（２）で、エッジ強度値Δｂを計算する。

このエッジ強度値Δｂが大きいほど，エッジ強度が大きい。又、図６に示したように、エッジ強度値Δｂは、対象画素Ｔを中心に、４つの隣接画素Ｐ１〜Ｐ４の各々に対し、計算する。即ち、エッジ強度値Δｂは、４つ計算される。この４つのエッジ強度Δｂの絶対値の最大値を選択する。そして、絶対値Δｂの最大値により、図３１のテーブルＴＢ−１を参照して、閾値ｄｔｈを決定する。このテーブルＴＢ−１は、エッジ強度が大きい程、閾値ｄｔｈを大きく設定している。

（Ｓ６７２）この画素の類似性を評価するため、レベル差Δａを，テーブルＴＢ−１から得た閾値ｄｔｈと比較することで決定する。即ち、処理ユニット２０は、ステップＳ６６８で抽出されたレベル差Δａと、エッジ強度で決定された閾値ｄｔｈとを比較する。処理ユニット２０は、レベル差Δａがある閾値ｄｔｈよりも小さい画素は，類似性評価度が高い領域（類似度が高い領域）と判定し、類似性高カウンタを、インクリメントする。又，レベル差Δａが、ある閾値ｄｔｈより大きい画素は、類似性評価度が低い領域（類似度が低い領域）と判定する。そして、レベル差Δａの絶対値を、閾値ｄｔｈ割った比率で、図３０のテーブルＴＢを参照して、対応するインクリメント量を決定する。このインクリメント量で、類似性低カウンタをインクリメントする。

（Ｓ６７４）処理ユニット２０は、１画面の全画素について、処理を終了したかを判定する。全画素に対して、処理を終了していない時は、ステップＳ６６８に戻る。一方、全画素に対して、終了している時は、類似性評価処理を終了する。

図３０のテーブルＴＢは、レベル差の比率が大きい程、大きいインクリメント量を設定する。即ち、レベル差が閾値以上の場合に、レベル差の大きさに応じて、レベル差に重みを持たせて、カウントする。これにより、レベル差が、閾値から大きく離れた画素程、重みを大きくして、カウントする。この重みを持たせて、カウントすることは、レベル差が大きく、多重写しが目立つ画像を効果的に検出できる。

又、図３１のテーブルＴＢ−１は、エッジ強度（即ち、画像勾配）が大きい程、大きい閾値を設定する。即ち、画像のエッジの勾配により、類似性判定の閾値を変更する。エッジ勾配が大きい程、大きい閾値を設定する。即ち、エッジ強度が大きい場合に、閾値を大きくして、エッジ近傍で、重ならない領域が極端に頻繁に計数されることを防止できる。即ち、エッジの多い画像に対し、過度に、類似性が低いと計数されることを防止する。

＊＊他の実施の形態＊＊
前述の実施の形態では、主に、２枚の画像の合成で説明したが、３枚以上の画像の合成にも適用できる。又、類似性評価修正過程の一部又は全部を省略することもできる。更に、類似性評価は、レベル差の検出とエッジ強度の検出とを併用しているが、いずれか一方で良い。又、類似性評価は、画素単位に限らず、連続した複数画素で構成される領域又は画素ブロック単位でも適用できる。

以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。

複数の画像を合成する際に，画像間の位置ずれを検出して、補正し，位置ずれ補正後に，画像間の類似性を評価し，類似性に応じて、画像合成方法を変更するため、カメラが動いたことによる位置ずれ，被写体が動いたことによる、被写体ぶれがない画像を作成することができる。又、類似性に応じて、合成するか否かを決定するため、処理負荷を軽減して、被写体ぶれがない画像を作成することができる。

Claims (39)

1. 撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理方法において，
   画像間の位置ずれパラメータを算出する位置ずれ検出過程と，
   前記位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程と，
   補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評価する類似性評価過程と，
   前記類似性評価結果に応じて、前記画像の合成方法または合成パラメータを変更して、前記補正後の複数の画像を合成する合成過程とを有する
   ことを特徴とする画像処理方法。
2. 前記類似性評価過程は、前記画像の部分間の類似度が高いか低いかを評価する過程であり，
   前記合成過程は、前記類似度が低い領域に対しては、一部の前記画像の画素値を用い，前記類似度が高い領域に対しては、複数の前記画像の画素値を用いて合成する過程から構成された
   ことを特徴とする請求項１の画像処理方法。
3. 前記類似性評価過程は、少なくとも前記画像の部分間のレベル差を計算し、前記類似性を評価する過程から構成された
   ことを特徴とする請求項１の画像処理方法。
4. 前記類似性評価過程は、前記画像の部分間のレベル差とエッジ強度とを計算し、前記レベル差と前記エッジ強度とから類似性を評価する過程から構成された
   ことを特徴とする請求項１の画像処理方法。
5. 前記類似性評価過程は、前記計算されたレベル差が大きく、前記エッジ強度が小さい場合には、類似性が低いと評価し、前記レベル差が小さくても、前記エッジ強度が大きい場合には、類似性が高いと評価する過程を含む
   ことを特徴とする請求項４の画像処理方法。
6. 前記合成された画像に対し、前記類似度が低い領域に対してノイズ除去を行う過程を更に有する
   ことを特徴とする請求項１の画像処理方法。
7. 前記類似性評価結果に対し、前記合成した画像の画質を向上するため類似性評価を修正する修正過程を更に有する
   ことを特徴とする請求項１の画像処理方法。
8. 前記類似性評価の修正過程は、前記類似性が高い部位に，類似性が低い部位が孤立点として点在していることを検出して、前記類似性が低い部位を前記類似性が高い部位に変更する過程で構成された
   ことを特徴とする請求項７の画像処理方法。
9. 前記類似性評価の修正過程は、前記類似性が低い領域の周囲に類似性が高い領域が混在していることを検出して，前記類似性が低い部位を膨張する処理を行う過程で構成された
   ことを特徴とする請求項７の画像処理方法。
10. 前記類似性評価の修正過程は、前記類似性が低い部分に囲まれた領域に、前記類似性が高い部分が存在していることを検出して，前記類似性が高いとされた部位を前記類似性が低い部位に変更する過程から構成された
    ことを特徴とする請求項７の画像処理方法。
11. 撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理方法において，
    画像間の位置ずれパラメータを算出する位置ずれ検出過程と，
    前記位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程と，
    補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評価する類似性評価過程と，
    前記類似性評価結果に応じて、合成処理を実施するか否かを判定する判定過程と、
    前記合成処理を実施すると判定した場合に、前記補正後の複数の画像を合成する合成過程と、
    前記合成処理を実施すると判定しない場合に、前記複数の画像の１つの画像を選択する選択過程とを有する
    ことを特徴とする画像処理方法。
12. 前記合成過程は、前記複数の画像の画素レベル値の単純平均、又は重み付け平均による合成過程からなる
    ことを特徴とする請求項１１の画像処理方法。
13. 前記合成過程は、前記複数の画像の画素レベル値の輝度線形な信号値での加算による合成過程からなる
    ことを特徴とする請求項１１の画像処理方法。
14. 前記類似性評価過程は、前記複数の画像の画素レベル値の差分による類似性評価過程からなる
    ことを特徴とする請求項１１の画像処理方法。
15. 前記類似性評価過程は、前記複数の画像の画素レベル値の差分を閾値と比較して、類似性を判定する過程からなる
    ことを特徴とする請求項１４の画像処理方法。
16. 前記類似性評価過程は、前記複数の画像の画素レベル値の差分を、画像のレベルの勾配に応じて決定された閾値と比較して、類似性を評価する過程からなる
    ことを特徴とする請求項１５の画像処理方法。
17. 前記判定過程は、前記類似性の低いと判定された画素数に応じて判定する過程からなる
    ことを特徴とする請求項１１の画像処理方法。
18. 前記判定過程は、前記類似性の低いと判定された画素数を、画素間のレベル差による重みを付けて加算した結果に応じて判定する過程からなる
    ことを特徴とする請求項１７の画像処理方法。
19. 前記判定過程は、前記類似性の低いと判定された画素数を、画素間のレベル差による重みを付けて加算した結果に応じて判定する過程からなる
    ことを特徴とする請求項１６の画像処理方法。
20. 撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理装置において，
    前記複数の画像を格納するメモリと、
    前記メモリの前記複数の画像間の位置ずれパラメータを算出し、前記位置ずれパラメータで画像間の位置ずれを補正する処理ユニットとを有し，
    前記処理ユニットは、
    前記補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評価し、前記類似性評価結果に応じて、前記画像の合成装置または合成パラメータを変更して、前記補正後の複数の画像を合成する
    ことを特徴とする画像処理装置。
21. 前記処理ユニットは、前記画像の部分間の類似度が高いか低いかを評価し、前記類似度が低い領域に対しては、一部の前記画像の画素値を用い，前記類似度が高い領域に対しては、複数の前記画像の画素値を用いて合成する
    ことを特徴とする請求項２０の画像処理装置。
22. 前記処理ユニットは、少なくとも前記画像の部分間のレベル差を計算し、前記類似性を評価する
    ことを特徴とする請求項２０の画像処理装置。
23. 前記処理ユニットは、前記画像の部分間のレベル差とエッジ強度とを計算し、前記レベル差と前記エッジ強度とから類似性を評価する
    ことを特徴とする請求項２０の画像処理装置。
24. 前記処理ユニットは、前記計算されたレベル差が大きく、前記エッジ強度が小さい場合には、類似性が低いと評価し、前記レベル差が小さくても、前記エッジ強度が大きい場合には、類似性が高いと評価する
    ことを特徴とする請求項２３の画像処理装置。
25. 前記処理ユニットは、前記合成された画像に対し、前記類似度が低い領域に対してノイズ除去を行う
    ことを特徴とする請求項２０の画像処理装置。
26. 前記処理ユニットは、前記類似性評価結果に対し、前記合成した画像の画質を向上するため類似性評価を修正する
    ことを特徴とする請求項２０の画像処理装置。
27. 前記処理ユニットは、前記類似性評価の修正として、前記類似性が高い部位に，類似性が低い部位が孤立点として点在していることを検出して、前記類似性が低い部位を前記類似性が高い部位に変更する
    ことを特徴とする請求項２６の画像処理装置。
28. 前記処理ユニットは、前記類似性評価の修正として、前記類似性が低い領域の周囲に類似性が高い領域が混在していることを検出して，前記類似性が低い部位を膨張する
    ことを特徴とする請求項２６の画像処理装置。
29. 前記処理ユニットは、前記類似性評価の修正として、前記類似性が低い部分に囲まれた領域に、前記類似性が高い部分が存在していることを検出して，前記類似性が高いとされた部位を前記類似性が低い部位に変更する
    ことを特徴とする請求項２６の画像処理装置。
30. 撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理装置において，
    前記複数の画像を格納するメモリと、
    前記メモリの前記複数の画像間の位置ずれパラメータを算出し、前記位置ずれパラメータで画像間の位置ずれを補正する処理ユニットとを有し，
    前記処理ユニットは、
    前記補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評価し、前記類似性評価結果に応じて、合成処理を実施するか否かを判定し、前記合成処理を実施すると判定した場合に、前記補正後の複数の画像を合成し、前記合成処理を実施すると判定しない場合に、前記複数の画像の１つの画像を選択する
    ことを特徴とする画像処理装置。
31. 前記処理ユニットは、前記複数の画像の画素レベル値の単純平均、又は重み付け平均による合成処理を実行する
    ことを特徴とする請求項３０の画像処理装置。
32. 前記処理ユニットは、前記複数の画像の画素レベル値の輝度線形な信号値での加算による合成処理を実行する
    ことを特徴とする請求項３０の画像処理装置。
33. 前記処理ユニットは、前記複数の画像の画素レベル値の差分により、前記類似性を評価する
    ことを特徴とする請求項３０の画像処理装置。
34. 前記処理ユニットは、前記複数の画像の画素レベル値の差分を閾値と比較して、類似性を判定する
    ことを特徴とする請求項３３の画像処理装置。
35. 前記処理ユニットは、前記複数の画像の画素レベル値の差分を、画像のレベルの勾配に応じて決定された閾値と比較して、類似性を評価する
    ことを特徴とする請求項３４の画像処理装置。
36. 前記処理ユニットは、前記類似性の低いと判定された画素数に応じて判定する
    ことを特徴とする請求項３０の画像処理装置。
37. 前記処理ユニットは、前記類似性の低いと判定された画素数を、画素間のレベル差による重みを付けて加算した結果に応じて判定する
    ことを特徴とする請求項３６の画像処理装置。
38. 前記処理ユニットは、前記類似性の低いと判定された画素数を、画素間のレベル差による重みを付けて加算した結果に応じて判定する
    ことを特徴とする請求項３５の画像処理装置。
39. 前記処理ユニットは、手振れ補正した画像を出力する
    ことを特徴とする請求項３０の画像処理装置
    

Images