JP4060036B2 - 画像アライメント方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一般に、画像アライメント方法に関し、特に、全体的移動及び線形伸縮を検出し補正する画像アライメント方法に関する。
【０００２】
【従来の技術】
デジタル画像の正確な空間アライメント（整合又は整列）は、多くのアプリケーションにとって基本的に重要である。１９７９年にアカデミック・プレスから発行されたアーネスト・ホール（Ernest Hall）著「コンピュータ画像処理及び認識（Computer Image Processing and Recognition）」の４８０〜４８４ページは、画像アライメントに用いることができるテンプレート・マッチング用の基本的な相関方法を記載している。１９７５年９月に発行されたＩＥＥＥの１９７５サイバネティックス及びソサエティーの国内会議会報の１６３〜１６５ページにおけるシー・ディー・クグリン（C.D.Kuglin）等の論文「位相相関画像アライメント方法（The Phase Correlation Image Alignment Method）」は、位相情報を用いる基本的な相関器の変形を記載している。これら方法は、図２のＡ及びＢに示す如き全体的移動（global translation）にとっては適切であり、且つ非常に正確である。しかし、図３のＡ及びＢに示すように、線形の伸縮（延伸又は収縮：図３の場合は、延伸）を伴って歪んだデジタル画像では、上述の相関方法のみでは、かかる複雑なモデル（場合）を処理できない。
【０００３】
より一般的なアプローチは、１９９４年５月にロチェスター大学（University of Rochester）の技術論文９４１におけるジェームズ・アール・ミューラ（James R. Muller）等の「画像の適合複雑位置合わせ（Adaptive-Complexity Registration of Images）」に記載されている。局部的領域におけるこのモデルの複雑さは、全体的移動や、線形（アフィン）から２次の如き高次のモデルにまで適応させて拡張できる。しかし、エリアシング問題を避けるために、副領域の大きさが重要であり、互いに合わせた際に、これら副領域の境界に通常は問題を生じる。さらに、全体的な伸縮パラメータが得られない。
【０００４】
【発明が解決しようとする課題】
よって、全体的移動及び線形伸縮の両方を補償できる画像アライメント方法が求められている。
【０００５】
したがって、本発明の目的は、全体的移動及び線形伸縮（延伸又は収縮）を考慮して画像をアライメントする方法の提供にある。
【０００６】
【課題を解決するための手段】
本発明は、基準画像及び対応する歪試験画像（基準画像に対応して歪が生じたかの試験対象になる画像）の間の全体的移動及び伸縮を検出し補正する方法であって；ブロック相関方法を用いて、基準画像及び歪試験画像の間に伸縮が存在するか否かを検出する第１ステップと；伸縮を検出した場合に、線形補間演算子を用いて、画像間の伸縮係数を求める第２ステップと；これら線形補間演算子及び伸縮係数を用いて、歪試験画像に対して逆伸縮操作を施す第３ステップとを具えている。なお、逆伸縮とは、延伸に対しては収縮であり、収縮に対しては延伸である。また、ブロック相関方法とは、複数画像内の対応ブロックに対して、空間的位置合わせを行って、各移動パラメータを求めることである。これにより、各ブロックの移動パラメータを比較して、移動パラメータがほとんど一致しないときに、画像間の伸縮を検出できる。
【０００７】
また、本発明では、左、中央及び右の相関ブロックを用いて、基準画像及び対応歪試験画像の間の移動パラメータを求める。これらブロックの移動パラメータの間の差に基づいて、線形伸縮を検出し、伸縮係数の大雑把な見積もり（概算）を求める。この見積もった伸縮係数を細かく調整するには、歪試験画像に対して基準画像を中心にし、また、この見積もった伸縮係数から開始する線形補間操作を用いて、これら２つの画像ができるだけ厳密に重なるまで、基準画像を線形に伸ばす（又は、縮める）。この際、最終的な伸縮係数は、これら２つの画像が最も厳密に重なったときの値である。すなわち、まず大雑把な伸縮係数の範囲で基準画像を線形で細かに伸ばし（又は、縮め）、伸ばした（又は、縮めた）基準画像が歪試験画像と重なるまで、同様な動作を繰り返し、これら２つの画像が最も厳密に重なったときの伸縮係数の値を求める。次に、この正確になった伸縮係数を用いて、例えば、歪試験画像を収縮させないで（又は、延伸させないで）、画像品質分析用の基準画像に歪試験画像が一致するように移動させる。
【０００８】
本発明のその他の目的、利点及び新規な特徴は、添付図を参照した以下の説明から明らかになろう。
【０００９】
【発明の実施の形態】
本発明の基本的な構成は、上述のホールの論文及びクグリン等の論文に記載された基本ブロック相関方法を拡張したものであり、基準画像と、対応歪試験画像（基準画像に対応して歪が生じたかの試験対象になる画像）との間の線形伸縮（延伸又は収縮）の潜在的な存在を検出する。これを検出すると、線形補間操作を適用して、これら画像間の伸縮係数を求める（調べる）。この伸縮係数が求まると、線形補間演算子も用いて、歪試験画像に対して逆操作（延伸に対する収縮操作、又は収縮操作に対する延伸操作）を実行する。以下、本発明による１次元（水平）の伸縮及び全体的移動を検出し補正する方法を詳細に説明するが、その説明は、２次元の伸縮にも拡張できる。
【００１０】
第１ステップとして、図２のＡ及びＢ並びに図３のＡ及びＢに示すように、３個の相関ブロック、即ち、副領域をデジタル画像の中央位置、左位置及び右位置に配置し、各ブロック内にて、空間的位置合わせを行って、移動パラメータを求める。この詳細は、１９９８年１１月５日出願のアメリカ合衆国特許出願第０９／１８６７６１号「デジタル画像の高精度副ピクセル空間アライメント」（特開２０００−１４９０２５号公報に対応）に記載されている。なお、ブロック相関方法とは、かかるアメリカ合衆国特許出願に記載のように、複数の画像内の対応ブロックに対して、空間的位置合わせを行って、各移動パラメータを求めることである。
【００１１】
このアメリカ合衆国特許出願第０９／１８６７６１号では、概略的には、オリジナル画像及び試験画像内のテキスチャーを含むように試験ブロックを設定し、この試験ブロック内の各ピクセルを高速フーリエ変換（ＦＦＴ）処理する。これらＦＦＴ処理の結果を相互相関させて、相関面を発生する。相関面のピーク相関値及び隣接相関値からシフト位置を求めて、オリジナル画像及び試験画像のアライメントをとる。また、より詳細には、基準ビデオ信号からの基準画像を１つのデジタル画像として捕獲すると共に、処理後の基準ビデオ信号を表す試験ビデオ信号からの対応試験画像を別のデジタル画像として捕獲し；テキスチャーを含む対応する位置にて、任意の試験ブロックを基準画像及び試験画像に重ね；試験ブロック内に位置する基準画像及び試験画像の各部分に対してＦＦＴを行って、基準ＦＦＴ及び試験ＦＦＴを発生し；これら基準ＦＦＴ及び試験ＦＦＴを相互相関させて、基準画像及び試験画像間のシフト位置を表すピーク相関値を有する相関面を発生し；ピーク相関値及び隣接相関値に曲線を適合させて、整数のピクセル・シフト位置を決定し；試験画像に重なった試験ブロックの位置を、整数のピクセル・シフト位置により更新し；試験画像に対する実行ステップと、端数のピクセル・シフト位置を見つけるための相関ステップと、端数のピクセル・シフト位置を整数のピクセル・シフト位置に加算することによる更新ステップとを終了条件に達するまで繰り返し；更新ステップからの試験画像内の試験ブロックの第１位置が、試験画像内の試験ブロックの初期位置に関係して、基準画像及び試験画像の間で高精度のサブピクセル単位のシフトによりアライメントを行うことを特徴としている。さらに、周波数領域において、複数のデジタル画像の各々に対して試験ブロックを相互相関させて、試験ブロック内の特定位置にてピーク相関値を有する相関面を発生し；特定位置に応じて複数のデジタル画像の１個における試験ブロックを更新し；特定の終了条件に達するまで相互相関のステップ及び更新のステップを繰り返し；複数のデジタル画像の１個における最終位置が、複数のデジタル画像間において高精度のサブピクセル単位でのアライメント関係となる他のデジタル画像に関連することを特徴としている。
【００１２】
第２ステップでは、第１ステップで見つけた移動パラメータ（ΔＸ＿Ｌ、ΔＸ＿Ｃ、ΔＸ＿Ｒ）が左ブロック（ΔＸ＿Ｌ）、中央ブロック（ΔＸ＿Ｃ）及び右ブロック（ΔＸ＿Ｒ）で略等しければ、即ち、これらブロックの移動量が略等しければ、伸縮が生じていない。これら移動パラメータが等しくない場合、中央ブロックの移動パラメータと比較して、左ブロックがより左方向に移動し、右ブロックがより右方向に移動していれば、線形に伸びた伸縮が検出される。同様な方法で、中央ブロックに対して、左ブロックがより右方向に移動し、右ブロックがより左方向に移動していれば、線形に収縮した伸縮が検出される。
【００１３】
第３ステップでは、中央ブロックに対する移動パラメータの差により、伸縮係数の範囲を大雑把に見積もる。なお、本明細書では、伸縮係数は、延伸及び収縮の両方の係数を意味するので、延伸係数及び収縮係数でもある。左ブロック及び右ブロックの中心座標を夫々（Ｘ＿Ｌ、Ｙ＿Ｌ）及び（Ｘ＿Ｒ、Ｙ＿Ｒ）とする。水平の伸縮に対して、ΔＸｌ及びΔＸｒを中央ブロックに対する左ブロック及び右ブロックの移動パラメータの夫々の差とする。すなわち、これらΔＸｌ及びΔＸｒは、中央ブロックに対する左ブロック及び右ブロックにおける伸縮の量である。なお、ΔＸｌ＝ΔＸ＿Ｃ−ΔＸ＿Ｌであり、ΔＸｒ＝ΔＸ＿Ｒ−ΔＸ＿Ｃである。よって、左ブロックの伸縮範囲（レンジ）Ｒａｎｇｅ＿Ｌ、右ブロックの伸縮範囲Ｒａｎｇｅ＿Ｒ、及び全体の伸縮範囲Ｒａｎｇｅは、
Ｒａｎｇｅ＿Ｌ＝（ΔＸｌ／（Ｗ２−Ｘ＿Ｌ））＊Ｋ
Ｒａｎｇｅ＿Ｒ＝（ΔＸｒ／（Ｘ＿Ｒ−Ｗ２））＊Ｋ
Ｒａｎｇｅ＝（Ｒａｎｇｅ＿Ｌ＋Ｒａｎｇｅ＿Ｒ）／２
である。なお、Ｗ２は、画像の幅の半分の値であり、Ｋは、定数である。また、（Ｗ２−Ｘ＿Ｌ）は、左ブロックと画像の中心との間の差であり、（Ｘ＿Ｒ−Ｗ２）は、画像の中心と右ブロックとの差である。これにより、大雑把な収縮係数の概略が求まる。しかし、正確な画像品質測定基準を得るために、基準画像及び歪画像間のアライメントの感度に応じて、例えば、図１のＡ、Ｂ、Ｃ、Ｄ、Ｅに示すように、収縮係数を更に調整する必要がある。なお、図１において、実線が基準画像を示し、点線が歪試験画像を示す。
【００１４】
第４ステップでは、線形補間操作を用いて、徹底的な調査を行って、伸縮係数の細かな調整を行う。望ましいステップ・サイズによる範囲（１．０から、上述で見積もったＲａｎｇｅまで）にわたって基準画像の線形伸縮（延伸又は収縮）操作を実行し、その結果を歪試験画像に一致させる。ところで、この線形伸縮（延伸又は収縮）操作は、当業者に既知の任意の方法で実施できる。かかる方法の１つは、例えば、１９９８年１１月に発行されたＩＥＥＥ会報のコンシューマ・エレクトロニクス第４４巻第４号のティ・サカモトの論文「３２ビットＭＣＵに適するデジタル静止カメラ用ソフトウェア・ピクセル補間（Software Pixel Interpolation for Digital Still Cameras Suitable for a 32-Bit MCU）」に記載されている。誤差が最小になるまで、伸縮係数を求める調整を繰り返す。すなわち、大雑把な伸縮係数の範囲内で伸ばした（又は、縮めた）基準画像が歪試験画像と重なるまで、同様な動作を繰り返し、これら２つの画像が最も厳密に重なったときの伸縮係数の値を求める。典型的な誤差の尺度は、基準画像及び歪試験画像の間の差の平均二乗である。
【００１５】
最終ステップでは、最終的な伸縮係数を見つけた後、線形補間操作を用いて、歪試験画像に対して逆伸縮操作（即ち、延伸に対する収縮操作、又は収縮に対する延伸操作）を実行し、歪試験画像を基準画像に本質的に合うように（アライメントするように）移動させる。例えば、この結果の補正した歪試験画像を基準画像と比較して、正確な画像品質測定基準を得る。この様子を図１に示す。すなわち、Ａの点線が最初の歪試験画像であり、Ｂ〜Ｄが、伸縮係数を順次調整した状態を示し、Ｅが最終調整の結果である。なお、実線は、基準画像を示す。Ａの点線の歪試験画像は、Ｂにおいては、その位置も補正されている。
【００１６】
【発明の効果】
上述の如く、本発明によれば、対応基準画像に対して、歪画像の左、中央及び右の相関ブロックの移動パラメータを求め、これら移動パラメータ及び線形補間操作から基準画像及び歪試験画像間の伸縮係数が何かを求め、この伸縮係数及び線形補間操作を用いて逆伸縮を行い、補正された歪試験画像を移動させて基準画像に合わせて、画像品質測定基準を求めている。よって、歪試験画像の全体的移動及び線形伸縮補正を行って、画像をアライメントすることができる。
【図面の簡単な説明】
【図１】移動され且つ伸ばされた画像の伸縮係数を本発明により求める方法を説明する図である。
【図２】移動されただけの画像を示す図である。
【図３】移動され且つ伸ばされた画像を示す図である。

Claims (1)

1. 基準画像及び対応する歪試験画像の間の全体的移動及び伸縮を検出し補正する方法であって、
   ブロック相関方法を用いて、上記基準画像及び上記歪試験画像の間に伸縮が存在するか否かを検出する第１ステップと、
   上記伸縮を検出した場合に、線形補間演算子を用いて、上記画像間の伸縮係数を求める第２ステップと、
   上記線形補間演算子及び上記伸縮係数を用いて、上記歪試験画像に対して逆伸縮操作を施す第３ステップとを具え、
   上記第１ステップは、
   上記画像内の単一方向に配置された少なくとも３個の対応ブロックに対して、空間的位置合わせを行って、各移動パラメータを求め、
   上記各ブロックの上記移動パラメータを比較して、上記移動パラメータがほとんど一致しないときに、上記画像間の伸縮を検出し、
   上記第２ステップは、
   上記３個の対応ブロックの内の中央ブロックに対する左ブロック及び右ブロックの移動パラメータの差により、上記伸縮係数の範囲の概略を求め、
   この求めた上記伸縮係数の範囲で上記基準画像の伸縮操作を行い、この伸縮操作を行った上記基準画像と上記歪試験画像の誤差が最小になるまで上記伸縮操作を繰り返して、上記伸縮係数を求めることを特徴とする画像アライメント方法。

Images