WO2007032082A1

WO2007032082A1 - 画像処理方法及び画像処理装置

Info

Publication number: WO2007032082A1
Application number: PCT/JP2005/017147
Authority: WO
Inventors: Yuri Watanabe; Masayoshi Shimizu; Ayu Miyakawa
Original assignee: Fujitsu Limited
Priority date: 2005-09-16
Filing date: 2005-09-16
Publication date: 2007-03-22
Also published as: EP1933271A4; US20080187234A1; JPWO2007032156A1; JP4553942B2; US8340464B2; WO2007032156A1; EP1933271A1

Abstract

　撮像範囲が同一の複数の画像を合成する装置において、撮像範囲が同一である複数の画像間の位置ずれを検出して、画像を位置ずれ補正し，位置ずれ補正後に，画像間の個々の部分の類似性を評価し，類似性評価に応じて、画像合成方法を変更する。このため、カメラが動いたことによる位置ずれと，被写体が動いたことによる、被写体ぶれとがない画像を作成することができる。

Description

明細書

画像処理方法及び画像処理装置

技術分野

[0001] 本発明は、デジタルカメラ等の撮像デバイスで撮像された複数の画像を合成して、画質を向上する画像処理方法及び画像処理装置に関し、特に、連続的に撮像された画像を合成して、画質を向上するための画像処理方法及び画像処理装置に関する。

背景技術

[0002] 近年のデジタルカメラなどのデジタル画像機器の普及に伴ヽ、デジタル画像処理により、画質の優れた画像を得ることが可能となってきた。この内、デジタルカメラ等の携帯撮像機器では、所謂、手振れ補正処理が実装され、携帯画像機器の画質向上に効果が現れている。

[0003] 例えば、デジタルカメラで、短、露光時間で連続的に撮影した画像を合成 (足し合わせ)する。これにより，ノイズの少ない手振れを抑制した画像を生成することができる。

[0004] この合成方法として、第 1の従来技術では、 2つの画像全体の位置ずれを検出して、画像全体を、共通の位置ずれパラメータにそって、位置ずれ補正した上で合成を行う方法が提案されている (例えば、特許文献 1参照)。又、第 2の従来技術として、長時間露光画像 (背景用）と、ストロボを用いた画像 (被写体用）を合成し、被写体が動いた場合は，背景と被写体の境界領域のぶれを検出し，境界部分の不自然さが起こらないようにする方法も提案されている。境界領域の処理は，被写体が動いた際の被写体ぶれの領域を、ストロボを用いた画像の画素で置き換える。

特許文献 1 :特開平 11 185018号公報

特許文献 2 :特開 2004— 194106号公報

発明の開示

発明が解決しょうとする課題

[0005] しかしながら、この従来技術では、手振れ補正を目的としているため、背景以外の対象とする被写体 (例えば、人物）は、静止しているものと仮定している。このため、図 1 4に示すように、連続して撮像した画像 A, Bで、背景 110, 120に対し、被写体 (人物） 100が動いた場合には、 2つの画像 A, Bの位置合わせをしても、背景 110, 120 は、位置合わせできても、被写体 100, 102は、位置合わせできず、合成画像 Cでは、動いた分、被写体 100, 102が二重となり、良好な画質の合成画像をえることが難しい。

[0006] 又、第 2の従来技術では、境界領域の処理は，被写体が動!、た際の被写体ぶれの領域をストロボを用いた画像の画素で置き換えるため，被写体力 Sもとの大きさよりも大きくなるという副作用が発生してしまう。被写体の動きが大きい場合は，力なり不自然な画像となる可能性がある。

[0007] 従って、本発明の目的は、背景以外の被写体が動いても、画像合成による画質の向上を実現するための画像処理方法及び画像処理装置を提供することにある。

[0008] 又、本発明の他の目的は、背景以外の被写体が動いても、被写体のぶれのない画像を得るための画像処理方法及び画像処理装置を提供することにある。

[0009] 更に、本発明の他の目的は、背景以外の被写体が動いても、被写体のぶれがなく

、且つ良質な画像を得るための画像処理方法及び画像処理装置を提供することにある。

課題を解決するための手段

[0010] この目的の達成のため、本発明の画像処理方法は、撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理方法にお!、て,画像間の位置ずれパラメ一タを算出する位置ずれ検出過程と，前記位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程と，補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評価する類似性評価過程と，前記類似性評価結果に応じて、前記画像の合成方法または合成パラメータを変更して、前記補正後の複数の画像を合成する合成過程とを有する。

[0011] 又、本発明の画像処理装置は、画像撮影範囲を共有する複数の画像を格納するメモリと、複数の画像間の位置ずれパラメータを算出し、前記位置ずれパラメータで画像間の位置ずれを補正する処理ユニットとを有し，前記処理ユニットは、前記補正後の画像間の部分ごとに類似性を評価し、前記類似性に応じて合成方法または合成パラメータを変更して、前記補正後の画像を合成する。

[0012] 本発明では、複数の画像を合成する際に，画像間の位置ずれを検出して、補正し ,位置ずれ補正後に，画像間の類似性を評価し，類似性に応じて、画像合成方法を変更するため、カメラが動いたことによる位置ずれ，被写体が動いたことによる被写体ぶれがな、画像を作成することができる。

[0013] 更に、本発明では、好ましくは、前記類似性評価過程は、前記画像の部分間の類似度が高いか低いかを評価する過程であり，前記合成過程は、前記類似度が低い領域に対しては、一部の前記画像の画素値を用い，前記類似度が高い領域に対しては、複数の前記画像の画素値を用いて合成する過程から構成された。類似度が低い領域は，一部の画像の画素値を用い，類似度が高い領域は複数の画像の画素値を用いて合成を行うため、容易に、カメラが動いたことによる位置ずれ，被写体が動 Vヽたことによる被写体ぶれがな、画像を作成することができる。

[0014] 更に、本発明では、好ましくは、前記類似性評価過程は、少なくとも前記画像の部分間のレベル差を計算し、前記類似性を評価する過程から構成された。少なくともレベル差で、類似性を判定するため、類似性の判定が容易である。

[0015] 更に、本発明では、好ましくは、前記類似性評価過程は、前記画像の部分間のレベル差とエッジ強度とを計算し、前記レベル差と前記エッジ強度とから類似性を評価する過程から構成された。画像間の類似性を評価する際，レベル差とエッジの強さを参照することで，類似性が高、かどうかを正確に評価することができる。

[0016] 更に、本発明では、好ましくは、前記類似性評価過程は、前記計算されたレベル差が大きぐ前記エッジ強度が小さい場合には、類似性が低いと評価し、前記レベル差力、さくても、前記エッジ強度が大きい場合には、類似性が高いと評価する過程を含む。類似性は，エッジ強度が小さく，レベル差が大きいほど類似性が低く評価するため、ちょっとした位置のずれ（1画素となりなど)で急激なレベル差を生じるようなエッジ部分では、ちょっとした外的要因によりレベルに差がでることがあり、この誤検出を防止できる。

[0017] 更に、本発明では、好ましくは、前記合成された画像に対し、前記類似度が低い領域に対してノイズ除去を行う過程を更に有する。類似度が高い領域では，画像合成によりノイズを除去できるが，類似度が低い領域では，合成する画像の枚数が少ないため，類似度が高い部位に比べ，ノイズが目立つことがあるため、類似度が低い領域に対してノイズ除去を行うことで画質を向上させる。

[0018] 更に、本発明では、好ましくは、前記類似性評価結果に対し、前記合成した画像の画質を向上するため類似性評価を修正する修正過程を更に有する。類似性に応じて、合成方法を変更するため、類似性の高い部分と、類似性の低い部分とで、画質の差が生じる場合があり、類似性評価を画質を向上するように修正する。

[0019] 更に、本発明では、好ましくは、前記類似性評価の修正過程は、前記類似性が高い部位に，類似性が低い部位が孤立点として点在していることを検出して、前記類似性が低ヽ部位を前記類似性が高ヽ部位に変更する過程で構成された。類似性評価を行った後，類似度評価を修正することでさらなる画質向上が図られ、類似度が高い部位に，類似度が低い部位が孤立点として点在している場合，これを除去する。即ち ,微小な領域は，視認性が低い等の理由で，類似度が低い領域として周囲と別扱いする必要はな、からである。

[0020] 更に、本発明では、好ましくは、前記類似性評価の修正過程は、前記類似性が低 V、領域の周囲に類似性が高!、領域が混在して、ることを検出して，前記類似性が低い部位を膨張する処理を行う過程で構成された。類似性評価を行った後，類似度評価を修正することでさらなる画質向上が図られるが、類似性が低い領域の周囲に類似性が高ヽ領域が混在する場合は，類似性が低!ヽ部位を膨張する処理を行うこと〖こより、合成した際に類似性が低!ヽ領域と高!ヽ領域の境界で不自然さを生じるのを防ぐことができる。

[0021] 更に、本発明では、好ましくは、前記類似性評価の修正過程は、前記類似性が低い部分に囲まれた領域に、前記類似性が高い部分が存在していることを検出して，前記類似性が高、とされた部位を前記類似性が低、部位に変更する過程力構成された。撮影領域内で，何らかの物体が移動した場合，物体の周囲領域は，通常，画像のレベル値等の変化が大きく，類似性が低いと判断されるが，物体内部は，特に，物体の色の変化が小さい場合，類似性が高いと判断されやすい。同一の移動物体において，周囲が類似性小，内部が類似性大となる。このような場合は，同一の移動物体は，全体を同一の処理としたほうが，自然である。したがって，類似性が低い部位に囲まれた領域に類似性が高い部位が存在しているときは，類似性が高いとされた領域を類似性が低!ヽ領域に変更する。

発明の効果

[0022] 複数の画像を合成する際に，画像間の位置ずれを検出して、補正し，位置ずれ補正後に，画像間の類似性を評価し，類似性に応じて、画像合成方法を変更するため、カメラが動いたことによる位置ずれ，被写体が動いたことによる被写体ぶれがない画像を作成することができる。

図面の簡単な説明

[0023] [図 1]本発明の一実施の形態の画像処理装置のブロック図

[図 2]本発明の一実施の形態の画像処理装置の動作説明図

[図 3]本発明の画像処理の一実施の形態の処理フロー図

[図 4]図 3の類似性評価処理の詳細フロー図

[図 5]図 4のレベル差、エッジ強度の説明図

[図 6]図 4のエッジ強度の計算の説明図

[図 7]図 3の合成方法の説明図

[図 8]図 3の他の合成方法の説明図

[図 9]図 3の類似性評価修正処理フロー図

[図 10]図 9の類似性評価処理の説明図

[図 11]類似性評価結果のサンプル画像例を示す図

[図 12]類似性評価修正結果の説明図

[図 13]類似性評価修正結果の他の説明図

[図 14]従来の画像合成方法の説明図

符号の説明

[0024] 1 撮像デバイス又は画像メモリ

2 画像処理装置

20 フレームメモリ 22 処理ユニット

30 位置ずれ検出部

32 位置ずれ補正部

34 類似性評価部

36 合成方法変更部

38 画像合成部

発明を実施するための最良の形態

[0025] 以下、本発明を画像処理装置、画像処理方法、類似性評価修正方法、他の実施の形態の順で説明するが、本発明は、この実施の形態に限られない。

[0026] * *画像処理装置 * *

図 1は、本発明の一実施の形態の画像処理装置のブロック図、図 2は、その動作説明図である。図 1に示すように、画像処理装置 2は、デジタルカメラに内蔵されるか、デジタルカメラに接続されるパーソナルコンピュータに内蔵される。

[0027] 例えば、デジタルカメラに内蔵される場合には、撮像デバイス (撮像素子） 1からの画像を処理する画像処理装置 2として、デジタルカメラに内蔵される。又、パーソナルコンピュータに内蔵される場合には、デジタルカメラ又はデジタルカメラ内のメモリ 1からの画像を処理するプログラムとして、構成される。

[0028] 図 1に示すように、画像処理装置 2は、フレームメモリ 20と、処理ユニット（例えば、画像処理プロセッサ） 22とで構成される。撮像デバイス又は画像メモリ 1からの撮影範囲を共有する複数の画像は、各々フレームメモリ 20に格納される。処理ユニット 22 は、フレームメモリ 22の複数の画像を重ね合わせて合成する処理を実行する。

[0029] 処理ユニット 22は、画像間の位置ずれパラメータを算出する位置ずれ検出過程を実行する位置ずれ検出部 30と、位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程を実行する位置ずれ補正部 32と，補正後の画像間で部位 (領域)ごとに類似性を評価する類似性評価過程を実行する類似性評価部 34と、類似性に応じて合成方法または合成パラメータを変更する合成方法変更過程を実行する合成方法変更部 36と、合成パラメータに従い、位置ずれ補正後の画像を合成する画像合成部 38とを有する。 [0030] 図 2を参照して、図 1の構成の動作を説明する。図 2では、 2枚の画像 A, Bを合成する例を示し、 1枚目の画像 Aの撮像後、被写体 (人物） 102が、左方に移動して、 2 枚目の画像 Bが撮像された例を示す。先ず、位置ずれ検出部 30は、フレームメモリ 2 0の 2枚の画像 (撮像画面データ) A, Bの位置ずれを検出する。例えば、周知の KL T(Kanade— Lucas— Tomasi)変換により、特徴点を抽出し、追跡して、画像全体の位置ずれを検出する。

[0031] 位置ずれ補正部 32は、各々の画像 A, Bを、検出されたパラメータで位置ずれ補正する。図 2に示すように、画像全体の位置ずれ補正のため、補正後の画像 A ' , B'の背景部分 110, 120の位置ずれは補正されるが、画像全体の位置ずれより大きく移動した領域 (ここでは、人物としての被写体 102)の位置ずれは、補正できない。

[0032] 類似性評価部 34は、位置ずれ補正後に，画像 A ' , B'間の類似性を評価する。例えば、画像 A' , B'の各画素のレベル変化やエッジ強度を計算し、類似度が高いか低いかを判定する。画像合成方法変更部 36は、類似度評価部 34の判定結果により、類似度が低い領域は，一部の画像の画素値を用い，類似度が高い領域は複数の画像の画素値を用いるよう、画像合成部 38に指示する。画像合成部 38は、この指示に従い、画像 A' , B'の合成を行い、出力する。

[0033] 図 2では、類似性評価部 34の評価結果を、画像 Cで示し、画像 A' , B'間の類似性の高い領域を、黒で、類似性の低い領域を白で示している。白の類似度が低い領域は，一部の画像 (例えば、画像 Α')の画素値を用い，黒の類似度が高い領域は、複数の画像 A' , B 'の画素値を合成することにより、画像 Dのような，カメラが動いたことによる位置ずれ，被写体 (人物）が動いたことによる被写体ぶれがない画像を作成することがでさる。

[0034] * *画像処理方法 * *

図 3は、本発明の画像処理の一実施の形態の処理フロー図、図 4は、図 3の類似性評価処理の詳細フロー図、図 5は、図 4のレベル差、エッジ強度の説明図、図 6は、図 4のエッジ強度の計算の説明図、図 7は、図 3の合成方法の説明図である。

[0035] 以下、図 3に従い、実施の形態の画像処理を説明する。

[0036] (S10)先ず、デジタルカメラで撮像する。ここでは、 1回のシャッター押下で、複数の撮像を行い、複数の連続画像 A, Bを取得する。

[0037] (S12)処理ユニット 20は、 2つの画像の位置ずれを補正する。ここでは、前述の LT変換を用いる。 KLT変換法は、例えば、著者 Carlo Tomasi and Takeo Kaneda による文献「Good Features to TrackJ、 IEEE Conference

on Computer Vision and Pattern Recognition,

page 593-600、で示されるように、 2つの画像の特徴点を抽出し、追跡することで位置ずれを検出し、その補正を行う。尚、位置ずれの補正方法は，特にこの方法に限るものではない。

[0038] (S14)次に，処理ユニット 20は、位置ずれ補正を行った画像間の類似性を評価し、動きのない領域と動きのある領域を区別する。類似度の評価は、ここでは、両画像の各画素のレベル差と，エッジ強度を用いる。実際の画像では，エッジの強い部位は ,類似度が高くても、レベル差が大きいということがあるので，両者を用いた評価が好ましい。ただし，この方法に限定されるわけではなく，例えば，レベル差のみを用いる方法や、輝度変化の勾配の差を用いる方法などを採用できる。図 5により、レベル差とエッジ強度を説明すると、画像 1と画像 2のレベル差を、 Δ a (RGB値の差分の絶対値の和）とし，画像 2のある位置（X, y)と 1画素隣 (x+ 1, y)の画素とのレベルさをェッジ強度 A bとした時，エッジ強度 A bが小さぐレベル差 Δ aが大きい程、類似度は低ぐ逆に、エッジ強度 A bが大きぐレベル差が小さいと、類似度は高い。即ち、レベル差が大きくても、エッジ強度が大きい場合には、即ち、画像パターンのエッジ近傍では、類似度が高い。ここで、後述する類似度評価の修正を実行することが、望ましい。

[0039] (S16)画像 A, B (l, 2)間の類似性評価結果は、図 2のように、黒白の領域で表現される。処理ユニット 20は、画像合成を行う。合成方法を，黒い領域 (動きのない領域 )と白い領域 (動きのある領域)とで変更する。図 7は、重み付けによる合成方法を示し、黒い領域 (非動き領域)は、複数の画像の重み付き平均加算を行い，白い領域（動き領域）は、 1枚の画像 (または， 1枚の画像の重みを大きくする）を用いる。例えば ,図 7では、画像 1,画像 2,画像 3の 3枚の画像合成を行う場合、動き領域は、画像 2 の重みを，「1」、画像 1, 3の重みを「0」にして、画像合成する。即ち、画像 2のみを使用する。一方、非動き領域は、画像 2の重みを「0. 5」、画像 1, 3の重みを「0. 25」にして、画像合成する。即ち、複数の画像の重み付き平均加算を行い，重みを付けて合成する。この際、黒と白の境界が連続的になるように、境界部分の重みを平滑化することちでさる。

[0040] (S 18)更に、合成結果において， 1枚の画像を用いた領域 (動き領域）は，複数枚の画像を用いて合成した領域に比べ、平均化されていない分だけ、ノイズが目立つことがある。そこで，この動き領域のみ，メディアンフィルタを用いることで、孤立点を除去し、ノイズを除去してもよい。

[0041] 次に、図 4により、図 3の類似性評価ステップを詳細に説明する。

[0042] (S20)先ず、処理ユニット 20は、画像 1 , 2 (画像 A, B)の対応位置にある各画素のレベル差 Δ aを計算する。例えば、カラー画像 RGBの場合に、画像 1を Rl , Gl , B1 とし、画像 2を R2, G2, B2とし、画素位置を、 x、 yとすると、下記式（1)でレベル差 Δ aを計算する。

[0043] [数 1]

： I (X, ) - R₂ (X,

(χ, y) - Β₂ (χ, y)\ (1)

(S22)次に、処理ユニット 20は、対象画素とその周囲 4近傍の画素とのエッジ強度 A bを計算する。図 6に示すように、 3 X 3の画素マトリックスを仮定し、中心を、対象画素 Tとすると、中心画素丁から、それぞれ、 x、 y方向に前後する 4つの画素 P1〜P4を、評価対象とする。そして、 RGB画像の場合には、同様に、画像 2を R2, G2, B2とし、対象画素位置を、 x、 y、 1つの隣接画素位置を、 x+ l、 yとすると、下記式 (2)で、エッジ強度を計算する。

[0044] [数 2]

(2) このエッジ強度 A bが大きいほど，エッジ強度が大きい。又、図 6に示したように、ェッジ強度 A bは、対象画素 Tを中心に、 4つの隣接画素 P1〜P4の各々に対し、計算する。即ち、エッジ強度 A bは、 4つ計算される。 [0045] (S24)次に、処理ユニット 20は、類似性評価度 dを、下記式（3)で計算する。

[0046] [数 3]

A bは,ある位置の周囲 4近傍の位置 F (i, j) = { (i+ l, j) , (i, j + 1) , (i- 1, j) , (i , j 1) }で算出するため， 4個の dを算出する。そのため，この 4つの評価度 dの値の最小値を求め，その値を類似度評価を行う際に使用する。この評価度 dは，式 (3)より、エッジ強度 A bが小さく，レベル差 Δ aが大きいほど，大きくなる。つまり，エッジでない時に，類似度が低くなる。最小値を採用する理由は、 4つの評価度 dの内、類似度が大き、 (評価度が小さ、；)ものを抽出するためである。

[0047] (S26)類似性に応じて合成方法を変更する際は，類似性評価度をあらかじめ設定した閾値と比較することで決定する。即ち、処理ユニット 20は、ステップ S24の抽出された評価度 dと、所定の閾値 dthとを比較する。処理ユニット 20は、評価度 dが、ある閾値 dthよりも小さ、画素は，類似性評価度が高!、領域 (類似度が高!、領域)と判定する。又，評価度 dが、ある閾値 dthより大きい画素は、類似性評価度が低い領域 (類似度が低い領域）と判定する。このように判定した結果は、前述の図 2の評価マップのように、 1画面に対し、画素又は領域単位で、表される。図 2では、類似度が高いと判定された領域を黒，低ヽと判定された領域を白で表示して!/ヽる。

[0048] (S28)処理ユニット 20は、 1画面の全画素について、処理を終了したかを判定する。全画素に対して、処理を終了していない時は、ステップ S20に戻る。一方、全画素に対して、終了している時は、類似性評価処理を終了する。

[0049] 図 8は、図 3の画像合成処理の他の実施の形態の処理フロー図である。

[0050] (S30)処理ユニット 20は、画像 A, B (l, 2)間の類似性評価結果において、対象画素は、類似性が高いか低いかを判定する。

[0051] (S32)処理ユニット 20は、図 2のように、黒い領域 (動きのない領域）と白い領域 (動きのある領域)とで合成方法を変更するため、類似性が高い黒い領域 (非動き領域）は、複数の画像の画素値の平均値を計算する。

[0052] (S34)—方、処理ユニット 20は、類似性の低い白い領域 (動き領域）は、 1枚の画像の画素値を用いる。

[0053] (S36)処理ユニット 20は、 1画面の全画素について、処理を終了したかを判定する。全画素に対して、処理を終了していない時は、ステップ S30に戻る。一方、全画素に対して、終了している時は、合成処理を終了する。

[0054] * *類似性評価修正方法 * *

次に、図 3で説明した類似性評価修正処理を説明する。この類似性評価による画像合成処理では、画像を動き領域と非動き領域とに別け、合成方法を変えるため、両領域で、画質が異なる場合がある。これを最小とするため、類似性評価修正処理を行う。

[0055] 図 9は、図 3の類似性評価修正処理フロー図、図 10は、図 9の類似性評価処理の説明図、図 11は、類似性評価結果のサンプル画像例を示す図、図 12は、類似性評価修正結果の画像を示す図、図 13は、類似性評価修正結果の他の画像を示す図である。

[0056] 類似度評価を行った後、図 9に示すように、類似性評価結果の修正を行うことが望ましい。図 10に示すように、動き領域（図 2の白領域）が、孤立点として存在している場合，孤立点のような微小な領域は，視認性が低いなどの理由で類似度が低い領域として別扱いする必要はない。このため、類似性評価修正 1として、孤立点除去を行う。又、類似性が低い領域の周囲に類似性が高い領域が混在する場合は，類似性が低い部位を膨張する処理 (類似性評価修正 2)を行うことにより、合成した際に類似性が低、領域と高、領域の境界で不自然さを生じるのを防ぐことができる。

[0057] 又、同一の移動物体 (動き領域）において，周囲が類似性が低く，内部が類似性が高い領域となる場合がある。このような場合は，同一の移動物体は，全体を同一の処理としたほうが，自然である。そこで類似度が低い領域の内側の類似度が高い領域は，類似性の低い領域に置き換える類似性評価修正 3を行う。なお，このどちらの現象も，必ずしも対応が必須なものではなぐ例えば、計算時間を優先する場合などは、いずれか又は全部を，実施しなくてもかまわない。

[0058] 図 11乃至図 13を参照して、図 9の処理を説明する。

[0059] (S40)処理ユニット 20は、類似性が低!、部位が孤立して、るかを判定する。例えば、図 111の 3枚の画像 Al, A2、 A3の内、画像 Al, A2の類似性評価結果は、 C1 のようになるとし、画像 A2, A3の類似性評価結果は、 C2になるものと仮定する。類似性評価結果 C1では、類似性の低い領域 (黒点）が、類似性の高い領域 (図 11の白領域）に、孤立点として存在している。具体的には、例えば、類似性の高い領域に対し、 3 X 3のマスクフィルタでスキャンし、類似性の低い孤立点を探索する。

[0060] (S42)処理ユニット 20は、マスクフィルタで、孤立点を発見した場合，孤立点のような微小な領域は，視認性が低、などの理由で類似度が低、領域として別扱、する必要はないため、類似性評価修正 1として、孤立点除去を行う。例えば、この孤立点の類似性評価結果を、類似性が高いと変更する。これにより、類似性評価結果 C1は、図 12の C4のように、類似性の低い領域 (黒点）が、類似性の高いと変更され、孤立点は除去される。

[0061] (S44)次に、処理ユニット 20は、周囲が類似性が低く，内部が類似性が高い領域があるかを判定する。例えば、図 11、図 12の類似性評価結果 CI, C4の車の窓の内部である。具体的には、例えば、類似性の低い領域に対し、 3 X 3のマスクフィルタでスキャンし、類似性の高い領域が存在する力を探索する。

[0062] (S46)処理ユニット 20は、周囲が、類似性が低く，内部が、類似性が高い領域を発見した場合には，類似性が低い部位を膨張する処理を行うことにより、合成した際に類似性が低い領域と高い領域の境界で不自然さを生じるのを防ぐ。即ち、類似性の低い領域を膨張処理する類似性評価修正 2を実行する。膨張処理は、周囲が、類似性が低く，内部が、類似性が高い場合に、類似性の低い画素を膨張し、例えば、類似性の低い 1画素を、 3 X 3の類似性の低い画素に膨張し、類似性の高い画素を潰す。これにより、類似性評価結果 C4は、図 12の C5のように、類似性の低い領域が膨張し、類似性の高い部分が潰される。

[0063] (S48)次に、処理ユニット 20は、類似性が高い領域が，類似性の低い領域に囲まれているかを判定する。例えば、図 11、図 12の類似性評価結果 CI, C4の車の内部である。具体的には、例えば、類似性の低い領域に対し、 3 X 3のマスクフィルタでスキャンし、類似性の高い領域が存在する力を探索する。

[0064] (S50)処理ユニット 20は、類似性が高!、領域が，類似性が低!、領域に囲まれて!/ヽることを発見した場合には，同様に、同一の移動物体は，全体を同一の処理としたほうが，自然であるから、そこで類似度が低い領域の内側の類似度が高い領域は，類似性の低い領域とする処理を行う。即ち、類似性の高い領域を類似性が低いと類似性評価結果を変更する (置き換える)。

[0065] 図 12の類似度評価結果の例を見ると，修正前の評価結果 C1では、白い領域 (類似性が高い領域)の中に、黒い領域 (類似性が低い領域)が点在している。孤立点除去を行うと、評価結果 C4のように、白い領域 (類似性が高い領域)の中に、点在して V、た黒、領域 (類似性が低!、領域)は、除去される。

[0066] 更に、膨張処理を行うと、類似性評価結果 C4の車の窓部の内部が、黒い領域 (類似性が低い領域）に変更された評価結果 C5となる。同様に、図 13のように、輪郭線追跡を用いた膨張処理を行うと，評価結果 C6のように、車全体が、黒い領域 (類似性が低い領域）に変更される。このようにして、修正された類似性評価結果（図 2の評価結果 C)を用いて、画像合成を行う。

[0067] 合成方法は，前述のように、動き領域と非動き領域とで変更する。ここでは、図 2とは、逆に、黒い領域を類似性が低いとしているため、白い領域は複数の画像の重み付き平均加算を行い，黒い領域は 1枚の画像 (または， 1枚の画像の重みを大きくする）を用いる。例えば、同様に、画像 1,画像 2,画像 3の 3枚の画像合成を行う場合，図 7のような重みを付けて合成する。この際，黒と白の境界が連続的になるように境界部分の重みを平滑化して合成する。

[0068] 以上，述べたように，本発明によれば，背景の位置ずれによるぶれと，被写体が動いたことによる被写体ぶれがある場合にも，画像合成による画質向上をは力ることができる。

[0069] * *他の実施の形態 * *

前述の実施の形態では、主に、 2枚の画像の合成で説明した力 3枚以上の画像の合成にも適用できる。又、類似性評価修正過程の一部又は全部を省略することもできる。更に、類似性評価は、レベル差の検出とエッジ強度の検出とを併用している力いずれか一方で良い。又、類似性評価は、画素単位に限らず、連続した複数画素で構成される領域又は画素ブロック単位でも適用できる。 [0070] 以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲力もこれらを排除するものではない。

産業上の利用可能性

[0071] 複数の画像を合成する際に，画像間の位置ずれを検出して、補正し，位置ずれ補正後に，画像間の類似性を評価し，類似性に応じて、画像合成方法を変更するため、カメラが動いたことによる位置ずれ，被写体が動いたことによる、被写体ぶれがない画像を作成することができる。

Claims

請求の範囲

[1] 撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理方法にぉヽて画像間の位置ずれパラメータを算出する位置ずれ検出過程と，

前記位置ずれパラメータで画像間の位置ずれを補正する位置ずれ補正過程と，補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評価する類似性評価過程と，

前記類似性評価結果に応じて、前記画像の合成方法または合成パラメータを変更して、前記補正後の複数の画像を合成する合成過程とを有する

ことを特徴とする画像処理方法。

[2] 前記類似性評価過程は、前記画像の部分間の類似度が高!ヽか低!ヽかを評価する過程であり，

前記合成過程は、前記類似度が低い領域に対しては、一部の前記画像の画素値を用い，前記類似度が高い領域に対しては、複数の前記画像の画素値を用いて合成する過程から構成された

ことを特徴とする請求項 1の画像処理方法。

[3] 前記類似性評価過程は、少なくとも前記画像の部分間のレベル差を計算し、前記類似性を評価する過程から構成された

ことを特徴とする請求項 1の画像処理方法。

[4] 前記類似性評価過程は、前記画像の部分間のレベル差とエッジ強度とを計算し、前記レベル差と前記エッジ強度とから類似性を評価する過程力も構成されたことを特徴とする請求項 1の画像処理方法。

[5] 前記類似性評価過程は、前記計算されたレベル差が大きぐ前記エッジ強度が小さい場合には、類似性が低いと評価し、前記レベル差力 S小さくても、前記エッジ強度が大き、場合には、類似性が高!ヽと評価する過程を含む

ことを特徴とする請求項 4の画像処理方法。

[6] 前記合成された画像に対し、前記類似度が低!、領域に対してノイズ除去を行う過程を更に有することを特徴とする請求項 1の画像処理方法。

[7] 前記類似性評価結果に対し、前記合成した画像の画質を向上するため類似性評価を修正する修正過程を更に有する

ことを特徴とする請求項 1の画像処理方法。

[8] 前記類似性評価の修正過程は、前記類似性が高!、部位に，類似性が低!ヽ部位が孤立点として点在して!/ヽることを検出して、前記類似性が低!、部位を前記類似性が高ヽ部位に変更する過程で構成された

ことを特徴とする請求項 7の画像処理方法。

[9] 前記類似性評価の修正過程は、前記類似性が低!、領域の周囲に類似性が高!、領域が混在してヽることを検出して，前記類似性が低!、部位を膨張する処理を行う過程で構成された

ことを特徴とする請求項 7の画像処理方法。

[10] 前記類似性評価の修正過程は、前記類似性が低!、部分に囲まれた領域に、前記類似性が高ヽ部分が存在して!/ヽることを検出して，前記類似性が高!ヽとされた部位を前記類似性が低い部位に変更する過程力構成された

ことを特徴とする請求項 7の画像処理方法。

[11] 撮影範囲を共有する複数の画像を重ね合わせて合成する画像処理装置において前記複数の画像を格納するメモリと、

前記メモリの前記複数の画像間の位置ずれパラメータを算出し、前記位置ずれパラメータで画像間の位置ずれを補正する処理ユニットとを有し，

前記処理ユニットは、

前記補正後の画像間の前記画像の部分ごとに、前記複数の画像の部分の類似性を評価し、前記類似性評価結果に応じて、前記画像の合成装置または合成パラメ一タを変更して、前記補正後の複数の画像を合成する

ことを特徴とする画像処理装置。

[12] 前記処理ユニットは、前記画像の部分間の類似度が高!ヽか低ヽかを評価し、前記類似度が低い領域に対しては、一部の前記画像の画素値を用い，前記類似度が高、領域に対しては、複数の前記画像の画素値を用いて合成する

ことを特徴とする請求項 11の画像処理装置。

[13] 前記処理ユニットは、少なくとも前記画像の部分間のレベル差を計算し、前記類似性を評価する

ことを特徴とする請求項 11の画像処理装置。

[14] 前記処理ユニットは、前記画像の部分間のレベル差とエッジ強度とを計算し、前記レベル差と前記エッジ強度とから類似性を評価する

ことを特徴とする請求項 11の画像処理装置。

[15] 前記処理ユニットは、前記計算されたレベル差が大きぐ前記エッジ強度が小さ、場合には、類似性が低いと評価し、前記レベル差力小さくても、前記エッジ強度が大きい場合には、類似性が高いと評価する

ことを特徴とする請求項 14の画像処理装置。

[16] 前記処理ユニットは、前記合成された画像に対し、前記類似度が低ヽ領域に対してノイズ除去を行う

ことを特徴とする請求項 11の画像処理装置。

[17] 前記処理ユニットは、前記類似性評価結果に対し、前記合成した画像の画質を向上するため類似性評価を修正する

ことを特徴とする請求項 11の画像処理装置。

[18] 前記処理ユニットは、前記類似性評価の修正として、前記類似性が高、部位に，類似性が低、部位が孤立点として点在して、ることを検出して、前記類似性が低ヽ部位を前記類似性が高、部位に変更する

ことを特徴とする請求項 17の画像処理装置。

[19] 前記処理ユニットは、前記類似性評価の修正として、前記類似性が低、領域の周囲に類似性が高、領域が混在して、ることを検出して，前記類似性が低!、部位を膨張する

ことを特徴とする請求項 17の画像処理装置。

[20] 前記処理ユニットは、前記類似性評価の修正として、前記類似性が低!、部分に囲まれた領域に、前記類似性が高い部分が存在していることを検出して，前記類似性が高、とされた部位を前記類似性が低、部位に変更することを特徴とする請求項 17の画像処理装置。