JP4142732B2 - 画像処理装置 - Google Patents

Description

本発明は、複数の画像を画像合成する際に、高速に被写体の対応付けを行うことができる画像処理装置に関する。

図１〜図５を用いて、従来の画像合成方法を説明する。
例えば、図１(a)と図１(b)に示すような画像を用いて、図１(c)に示すような重ね合わせを行うとする。この場合、図２に示すように、一方の画像の特徴点を抽出し、もう一方の画像内で特徴点を探索して被写体の対応付けを行う。その際に、原画像のまま特徴点追跡を行うと、図３のように、原画像の全体にわたって特徴点を探索する必要があるため、探索範囲が広くなるので、図５に示すように、まず低解像度で特徴点同士の対応付けを行い（図５（１ａ）、（１ｂ））、解像度を上げた画像での特徴点探索範囲を限定して段階的に解像度を上げて特徴点追跡を行う方法が一般的に用いられている（図５（２ａ）〜（３ｂ））。特許文献５には互いに画像の一部が重複する２つの画像を合成するために、解像度の低い画像で求めた結果を順次利用して探索範囲を限定しながら解像度を上げていく方法が記されている。特徴点の抽出には、高解像度の原画像から特徴点を抽出して、その特徴点に対応する点を縮小画像の特徴点とする方法や、縮小画像から特徴点を抽出する方法がある。

図４は、特徴点を含む画像と特徴点を含まない画像の概念図である。図４(a)や図４(b)の矢印が示すような、エッジの曲率が大きい点や、エッジが交差する点が特徴点であり、 図４(c)や図４(d)にはエッジの曲率が大きい点やエッジが交差する点は含まれないため、特徴点は存在しない。このような特徴点を抽出するために、Moravec、Harris、SUSANといった作用素やKLTが提案されている。これらの作用素については、以下の非特許文献１〜６を参照されたい。

複数の画像を合成して、パノラマ画像の生成や画像の高解像度化、ノイズ低減などを行う際には、画像間の高精度な対応付けが必要である。しかし、デジタルカメラの性能向上などにより、処理対象の画像が多画素化するのに伴い演算処理も増加しており、高速な処理方法が求められている。

従来の画像合成方法として、以下の特許文献がある。特許文献１には、ウェーブレットの可変テンプレートマッチングにより照合を行う技術が開示されている。特許文献２には、手振れ補正方法として、解像度の低い画像を用いることが開示されている。特許文献３には、図形データを表示する際、表示装置の解像度に対応する階層ごとに図形データの特徴点を抽出し、対応付ける技術が開示されている。特許文献４には、画像復元装置において、異なる解像度の特徴点の位置や形状を用いる技術が開示されている。
特開２００１−３４７５６号公報 特開２００４−３４３４８３号公報 特開平８−８７５８５号公報 特許第２６５２０７０号公報 特開平１０−８３４４２号公報 Bruce D. Lucas and Takeo Kanade:"An Iterative Image Registration Technique with an Application to Stereo Vision", International Joint Conference on Artificial Intelligence, pages 674-679, 1981. Carlo Tomasi and Takeo Kanade: "Detection and Tracking of Point Features.", Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991. 田村秀行："コンピュータ画像処理"、 オーム社出版、ISBN4-274-13264-1 C. Harris and M. Stephens:" A combined Corner and Edge Detector", Proc. Alvey Vision Conf. pp. 147-151, 1988 S.M.Smith, J.M.Brady:"SUSAN-A New Approach to Low Level Image Processing" Richard Hartley, Andrew Zisserman:"Multiple View Geometry in Computer Vision", Cambridge Univ Pr(Txp); ISBN: 0521540518; 2nd(2004/04/01)

本発明の課題は、多画素な画像であっても、精度を保ちながら高速に画像の対応付けを行うことのできる画像処理装置を提供することである。
本発明の画像処理装置は、２つの画像を重ね合わせて合成する画像処理装置において、重ね合わせるべき画像の縮小画像を生成する縮小画像生成手段と、重ね合わせるべき画像の原画像の各画素について、所定の作用素フィルタを用いて、特徴量を計算し、該縮小画像の解像度に対応するように各画素の特徴量をブロック化し、各ブロックについて特徴量の期待値を登録した期待値マップを作成する期待値マップ作成手段と、該期待値マップに登録された期待値から特徴点を抽出する特徴点抽出手段と、該特徴点を用いて重ね合わせるべき画像の縮小画像を重ね合わせ、該重ね合わせの結果から、該特徴点に対応する原画像内の特徴点を抽出し、原画像同士の重ね合わせを行う重ね合わせ手段とを備えることを特徴とする。

本発明によれば、期待値マップを原画像に基づいて作成しているので、原画像の情報が含まれたマップとなっている。期待値マップの解像度は縮小画像に対応するが、これを使って特徴点を抽出するので、原画像の情報を保ったまま縮小画像内の特徴点を抽出することができ、原画像と縮小画像で特徴点の消失などが起こらない。縮小画像から原画像に処理が移った場合にも、縮小画像の特徴点に対応する原画像上の点の周辺を探すだけで、原画像の対応関係が見つけられるので、処理量も少なくてすむ。

特徴点の概念図である。 画像の重ね合せの概念図である。 特徴点の対応の概念図である。 特徴点を説明する図である。 画像の階層化の概念図である。 特徴点の消失について説明する図である。 特徴点対応付けのフローである。 期待値マップ作成の概念図である。 期待値マップの作成方法を説明する図（その１）である。 期待値マップの作成方法を説明する図（その２）である。 期待値マップの作成方法を説明する図（その３）である。 期待値マップの作成方法を説明する図（その４）である。 期待値マップ作成のフロー（その１）である。 期待値マップ作成のフロー（その２）である。 期待値算出のフローである。 画像のブロック化の概念図である。 被写体動きのある画像間の特徴点の対応を説明するである。 被写体動きのある画像間の特徴点対応付けのフロー（その１）である。 被写体動きのある画像間の特徴点対応付けのフロー（その２）である。 膨張処理を説明する図である。

図６を参照しながら、本発明の実施形態の基本的構成について説明する。
縮小画像の特徴点を高解像度の原画像から特徴点を抽出する方法（従来例１）では、高解像度で抽出した特徴点が（図6(a)）、縮小画像では特徴点にならない（図6(b)）可能性がある。また、縮小画像から特徴点を抽出する方法（従来例２）でも、低解像度で抽出した特徴点（図6(c)）が、解像度を上げた場合に特徴点にならない（図6(d)）可能性がある。特徴が消失することにより、誤った対応付けが多くなり、誤対応を除去する処理に時間がかかる、という問題が発生する。また、画像間の位置合わせに用いる場合には、特徴点数の減少により、精度が低下する可能性がある。

本発明の実施形態では、原画像、および、縮小画像で特徴点が存在することを保証する手段を提供する。具体的には、特徴点抽出を行う解像度に対応する期待値マップを上位の解像度画像から生成する。これにより、多画素数の画像の階層化による特徴点の消失による速度低下や精度低下という課題を解決できる。

画像が多画素化するに従い、期待値マップ生成にかかる演算量が増加する。そこで、本発明の実施形態では、高速に期待値マップを作成する手段を提供する。具体的には低解像度の画像で特徴的な部分に限定して期待値マップを作成する。これによって多画素数の画像であっても、期待値マップ作成時間の増加という課題を解決できる。

また、例えば、複数の画像を重ね合わせてノイズ補正を行う場合などには、高精度な複数画像間の位置合わせが要求される。上記対応付け方法を用いて得た対応特徴点情報から位置ずれを算出することで、高速に画像間の位置合わせが行える。部分的に動きがある領域が含まれ、その領域内でも特徴点が抽出・追跡された場合にも、RANSACなどで動き領域内の特徴点の対応付けを誤対応として除去することは可能である。しかし、誤対応とする動き量が小さい場合には、動きのない領域の対応付けも誤対応とする可能性があり、動き量を大きくした場合には、動き領域の対応付けを除去しきれない可能性がある。特に、動きが少ない場合には動き領域の境界上の特徴点の除去は困難である。その結果、対応付け特徴点数の減少や、除去し切れなかった動き領域の対応点の影響により、画像間の位置ずれ検出精度が低下する。

そこで、本発明の実施形態では、動き領域の影響を除去して位置ずれ検出する手段を提供する。具体的には動き領域を考慮せずに位置ずれを算出後に、動き領域を検出して特徴点抽出領域から除去し、再度位置ずれを算出する。これによって被写体の部分的な動きによる位置ずれ算出精度低下という課題を解決できる。

被写体の動き領域を検出して特徴点抽出領域から除去する際に、動き領域の境界上の特徴点が除去されなかった場合、位置ずれ算出精度が低下する。そこで、本発明の実施形態では、動き領域の境界上の特徴点を確実に除去する手段を提供する。具体的には、検出した動き領域に対して膨張処理を行う。これによって、位置ずれ算出精度の低下という課題を解決できる。

複数画像の位置ずれを求める場合に、被写体の部分的な動きを検出することを考える。例えば蛍光灯下で撮像した場合には蛍光灯のチラツキにより、画像間の輝度レベルに差が生じている可能性がある。この場合には、画像間の画素値の差分を比較しても被写体の動き領域の検出は困難である。

そこで、本発明の実施形態では、動き領域の検出を容易にする手段を提供する。具体的には、画像間の輝度レベルを一致させる処理を加える。これによって、画像間の輝度レベルに差が生じている場合の動き領域の検出を容易にする。

上記構成によれば、特徴点抽出を行う解像度に対応する期待値マップを上位の解像度画像から生成することにより、特徴点の消失や課題を解決し、多画素数の画像であっても高速に画像間の被写体の対応付けが可能になる。

また、低解像度の画像で特徴的な部分に限定して期待値マップを作成することで、多画素数の画像であっても高速に期待値マップを作成し、処理をさらに高速化することができる。

さらに、動き領域を考慮せずに位置ずれを算出後に、動き領域を検出して特徴点抽出領域から除去し、再度位置ずれを算出することで、被写体の部分的な動きによる位置ずれ算出精度低下を防止することもでき、また、動き領域の境界上の特徴点を確実に除去し、位置ずれ算出精度を保つこともできる。

また、さらに、画像間の輝度レベルに差があっても、容易に被写体の部分的な動き領域を算出できるようにし、処理を高速化することができる。
図１(a)、図１(b)に示すような画像間の対応付けを、図５のように3階層（3段階の解像度）で行う例について説明する。

図７及び図８は、処理の概要を示す図である。まず、処理の概要を説明する。
始めに、縮小画像(図５(1a),(1b),(2a),(2b))の作成と（ステップＳ１)と、縮小画像と同サイズの期待値マップの作成（ステップＳ２)を行う。次に縮小画像の特徴量を算出し(ステップＳ３)、前記期待値が大きい点からのみ特徴点を抽出する(ステップＳ４、図８参照)。抽出した特徴点を、対応付け対象の縮小画像(図５(1b))内で追跡する(対応する点を検出する；ステップＳ５)。追跡結果には誤対応が含まれている可能性があるので、RANSACなどで誤対応を除去する(ステップＳ６)。より大きい解像度の画像上で対応付けを行うか否かを判断する（ステップＳ７）。ステップＳ７の判断がＮｏの場合には、処理を終了する。ステップＳ７の判断がＹｅｓの場合には、対応が取れた図５(1a)の特徴点に対応する点を上の解像度の画像図５(2a)上の点に変換し、その周囲で再度特徴点を探索する(ステップＳ８)。特徴点の追跡と誤対応の除去を図５(2a),(2b) (3a),(3b)で繰り返す。

図９〜図１２は、期待値マップの作成方法を説明する図である。
まず、Moravec Operatorにより特徴量を算出する。ここで、作用素として、Moravec Operatorを使うことを前提に説明するが、他のさまざまな作用素が使用可能である。個々の画素の特徴量に対して、その8近傍の画素の特徴量と比較し、最大値でない場合はその特徴量を0とする。期待値マップの画素数と同数のブロックに特徴量を分割し、各ブロックの最大値を期待値とする。期待値の上位N個以外を0とする。図９は、期待値マップのイメージ図である。実際には、期待値マップの各ブロックには、上記処理で得られた期待値が登録される。

このようにして得た期待値マップが適当な閾値以上の場所から追跡する特徴点を抽出することで、特徴点の消失という課題が解決できる。
図１０と図１１は、それぞれ、期待値マップを使用しないで特徴点を抽出した場合と、期待値マップを使用して特徴点を抽出した場合の結果を例示する図である。図１０の期待値マップを使用しない場合には、特徴点の位置を示す四角の場所が縮小画像において、特徴点でない部分に来ている。これに対し、図１１の期待値マップを使用した場合には、特徴点の存在位置を示す四角の位置が、縮小画像においても特徴点のあるあたりになっている。

図１２は、Moravec Operatorを説明する図である。
図１２のようなウィンドウに対して、

をＩ_０，０の位置の特徴量とする。さらに、８近傍の特徴量と比較して極大値でない場合はその点を0とした結果をオペレータの出力とする。
図１３〜図１６は、期待値マップ作成方法を説明する図である。図１３と図１４は、それぞれ異なる作成手法に対応する。

まず、図１３の処理について説明する。
原画像図５(3a)を、縮小画像図５(1a)の画素数と同数のブロックに分割する（ステップＳ１０）。例えば、縮小画像図５(1a)の縮小率が縦横1/4であるとする。この場合には、原画像図５(3a)を縦横４ピクセルのブロックに分割すればよい(図８a処理１、図１６（a）)。ブロックの特徴点の期待値は、ブロック内の画素の特徴量を比較して最大値を使用する（ステップＳ１１)。特徴量の計算には、前述のKLTやMoravec、Harris、SUSANといった作用素が利用できる。特徴点の抽出にはKLTを用い、期待値の算出には演算量の少ないMoravecを用いる、というように、違う作用素を利用しても良い。違う作用素を用いる場合には、図１６（b）のように、隣り合うブロックに重なり領域を作ることが望ましい。また、KLTのような演算量の多い作用素を用いる場合には、図１５のように、予めエッジの有無を判断してエッジが少ない場合には期待値を0としても良い。

次に、図１４の処理について説明する。縮小画像でエッジの無い部分は、図７のステップＳ４で特徴点として抽出されないため、期待値の算出を省ける。そこで、図１３の処理の前に、縮小画像のエッジを検出する処理を入れる。図１３ではエッジの有無を原画像で算出するが、図１４では縮小画像で算出するため、高速化が図れる。すなわち、ステップＳ１３において、縮小画像のエッジを検出し、ステップＳ１４において、エッジの周辺において、原画像をブロックに分割し、ステップS１５において、ブロック毎に期待値を算出する。

図１５の期待値算出処理においては、ステップＳ２０において、近傍にエッジがあるか否かを判断する。ステップＳ２０の判断がＮｏの場合には、ステップＳ２３において、そのブロックの期待値を０とする。ステップＳ２０の判断がＹｅｓの場合には、ステップＳ２１において、ブロック内の特徴量を算出し、ステップＳ２２において、ブロック内の最大値をそのブロックの期待値として処理を終了する。

なお、縮小画像(図５(1a),(1b),(2a),(2b))の作成は、同時に行う必要はなく、必要な段階で作成しても良い。また、縮小画像の特徴量は、期待値が大きい点の周囲のみを算出すればより高速化可能である。図７のステップＳ７の特徴点再探索は必須ではないが、行わないと精度が落ちる可能性がある。必ずしも原画像から期待値マップを作成する必要はなく、図５(3a)のための期待値マップを図５(2a)から作成しても良い。さらに、図１３のステップＳ１０は、上の例では縦横４ピクセルのブロックとして重なり領域を作らなかったが、４ピクセル以上の幅としても良い。

図１８及び図１９は、特徴点の対応付け処理のそれぞれ異なる手法のフローである。
図１７のように、被写体に部分的な動きがある場合に、動きのある部分からは特徴点を抽出しないことが望ましい。そこで、図１８のフローのように、縮小画像での一回目の処理の場合には、動き検出を行い（図１８、ステップＳ３７）、動き領域内の特徴点を除去し（図１８、ステップＳ３８）、特徴点抽出（２）（図１８、ステップＳ４０）に戻る。この場合、必要な特徴点数より多めに特徴点候補を抽出して、動き領域を除去した対応点を利用するのが良い。

また、図１９のフローのように、動き領域を除去した画像から再度特徴点抽出を行っても良い。
図１８の特徴点対応付け手法においては、ステップＳ３０において、縮小画像を作成し、ステップS３１において、期待値マップを作成し、ステップS３２において、特徴量を算出する。そして、ステップＳ３３において、前述の方法で、期待値マップを用いて特徴点を抽出する。ステップＳ３４において、特徴点の追跡を行い、ステップＳ３５において、原画像の特徴点と縮小画像の特徴点の誤対応を除去する。ステップＳ３６において、現在の処理が一回目の処理か否かを判断する。ステップＳ３６の判断がＹｅｓの場合には、ステップＳ３７において、動き検出を行い、ステップＳ３８において、動き領域を除去し、ステップＳ４０に進む。ステップＳ３６の判断がＮｏの場合には、ステップＳ３９において、高解像度の画像で特徴点の対応付けを行うか否かを判断する。ステップＳ３９の判断がＮｏの場合には、処理を終了する。ステップＳ３９の判断がＹｅｓの場合には、ステップＳ４０において、上の解像度において、再度特徴点を抽出する。ステップＳ４０の後は、ステップＳ３４に進んで、目的の解像度にいたるまで、処理を繰り返す。

図１９においては、図１８と同じ処理には同じステップ番号を付し、説明を省略する。図１８と異なる部分は、ステップS３６の判断がＹｅｓの場合、ステップＳ４２において、動き検出を行い、ステップＳ４３において、動き領域を除去あるいはマスクした後、新たに、特徴点の抽出を行うことである。ステップＳ４３の後は、ステップＳ３４に戻って、処理を繰り返す。

動き領域の抽出は、最初に求めた対応点の情報から、図5(1b)を図5(1a)に重ね合せ、その輝度差や色差の一方もしくは両方が適当な閾値以上の点を抽出するのが簡便である。ただし、動き領域の境界に特徴点が生じ場合、閾値によっては動き領域外に分類される可能性があるので、抽出した動き領域に対して膨張処理をすることが望ましい。

画像図5(1b)を図5(1a)間に輝度レベルの差がある場合には、輝度差や色差から動き領域を抽出するのは困難であるが、画像間の輝度レベルを一致させるようにヒストグラム変換を施すことで、動き領域の抽出が容易になる。

以下に、画像の重ね合せ方法を説明する。
まず、画像Pから特徴点｛ｐ_ｉ｝を抽出し、画像Qで対応点｛ｑ_ｉ｝を探索する
次に、ｎ≧４個の対応付けされた点｛ｐ_ｉ⇔ｑ_ｉ｝に対して、ｑ_ｉ＝Ｈｐ_ｉを満たす行列を求める。

画像Qを画像Pに重ね合わせる場合は、画像P上の点ｐ_ｉ＝｛ｘ_ｐｉ、ｙ_ｐｉ、１｝^Ｔに対応する画像Q上の点ｑ_ｉ＝Ｈｐ_ｉの画素値を補間によって求め、画像Pに重ねる。
ただしｐ_ｉ、ｑ_ｉは、ｐ_ｉ＝｛ｘ_ｐｉ、ｙ_ｐｉ、１｝^Ｔ、ｑ_ｉ＝｛ｘ_ｑｉ、ｙ_ｑｉ、１｝^Ｔにのように斉次座標で表現する。

[行列Hの求め方]
（１）ｐ_ｉ、ｑ_ｉを次式のように変換する。

（２）Ｈに対して、次のようにｑ_ｉ＝Ｈｐ_ｉを満たす行列Ｈを求める

（３）Ｈ＝Ｔ_ｑ ^−１ＨＴ_ｐとする。ここで、Ｔ_ｐ、Ｔ_ｑは次のような行列である

次に、誤対応点除去方法(RANSAC for Homography)について説明する。
下の処理の（４）でｔ^２≦ｄ_ｅｒｒ ^２である点(outlier)を誤対応点として除去する。
（１）対応付けされた点｛ｐ_ｉ⇔ｑ_ｉ｝を｛ｐ _ｉ⇔ｑ _ｉ｝、Ｔ_ｐ、Ｔ_ｑに変換する。変換方法は上記を参照のこと。
（２）｛ｐ _ｉ⇔ｑ _ｉ｝から、無作為に4点を抽出する。ただし、この4点からさらに3点を抽出したときに、この3点が同一線上にあるような組合せがあってはならない。
（３）抽出した4点からHomography：Ｈ_ｓを求める。
（４）ｄ_ｅｒｒ ^２＝｜ｐ _ｉ−Ｈ_ｓ ^−１ ｑ _ｉ｜^２＋｜ｑ _ｉ−Ｈ_ｓ ｐ _ｉ｜^２＜ｔ^２である点をinlierとする。
（５）Ｎ：（２）から（４）の繰返し回数、ｎ_ｉ：inlierの数に対して次式を満たさない場合（２）に戻る

（６）｛ｐ _ｉ⇔ｑ _ｉ｝中のinlier全てから再度Homography：Ｈを求める。
（７）｛ｐ_ｉ⇔ｑ_ｉ｝に対するHomography：Ｈ＝Ｔ_ｑ ^−１ ＨＴ_ｐを求める。
次に、膨張処理について説明する。図２０は、膨張処理を説明するための図である。

動き領域と判定した部分を白で表した場合、黒い点に着目し、8近傍に白い点がない場合はそのまま (図２０（ａ）)、白い点がある場合は白に(図２０（ｂ）)する。例えば、図２０（ｃ）左のようなマスクは、図２０（ｃ）右のようになる。ただし、図２０（ｃ）右では分りやすさのため、膨張前の白い部分を斜線で表している。

次に、ヒストグラム変換について述べる。
画像2を画像１の輝度レベルに変換する場合、次にような処理を行う。
（１）画像１と画像２との単純な差分をとり、適当に定めた閾値以下の領域を抽出する
（２）（１）で抽出した領域内で、画像１の画素値の標準偏差Ｓ_１、平均値ｙ _１、画像２の画素値の標準偏差Ｓ_２、平均値ｙ _２を求める
（３）画像２の画素値ｙを次式によりＹに変換する

Claims (5)

1. ２つの画像を重ね合わせて合成する画像処理装置において、
   重ね合わせるべき画像の縮小画像を生成する縮小画像生成手段と、
   重ね合わせるべき画像の原画像の各画素について、所定の作用素フィルタを用いて、特徴量を計算し、該縮小画像の解像度に対応するように各画素の特徴量をブロック化し、各ブロックについて特徴量の期待値を登録した期待値マップを作成する期待値マップ作成手段と、
   該期待値マップに登録された期待値から特徴点を抽出する特徴点抽出手段と、
   該特徴点を用いて重ね合わせるべき画像の縮小画像を重ね合わせ、該重ね合わせの結果から、該特徴点に対応する原画像内の特徴点を抽出し、原画像同士の重ね合わせを行う重ね合わせ手段と、
   を備えることを特徴とする画像処理装置。
2. 前記縮小画像は、複数の解像度について生成され、もっとも解像度の低い縮小画像を最初に用いて重ねあわせを行い、順次解像度の高い縮小画像の重ねあわせを行い、最終的に前記原画像についての重ね合わせを行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記特徴点抽出手段は、画像内の物体が動いていると考えられる領域を取り除いて特徴点を抽出することを特徴とする請求項１に記載の画像処理装置。
4. 前記期待値は、画像のエッジがある部分についてのみ計算することを特徴とする請求項１に記載の画像処理装置。
5. 前記期待値は、画像のエッジがない部分については、０に設定されることを特徴とする請求項１に記載の画像処理装置。