JP4217741B2

JP4217741B2 - ２つの画像の位置合わせパラメータ判定方法、装置、プログラム

Info

Publication number: JP4217741B2
Application number: JP2006515273A
Authority: JP
Inventors: ステファン，ジェームスハーディー，; ピーター，アレインフレッチャー，; キエラン，ジェラードラルキン，
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-07-08
Filing date: 2004-07-02
Publication date: 2009-02-04
Anticipated expiration: 2024-07-02
Also published as: WO2005004059A1; CN100354893C; EP1646983A4; US20070122060A1; EP1646983A1; US7853098B2; AU2003903511A0; EP1646983B1; CN1799068A; JP2007520762A

Description

本発明は、一般に、画像位置合わせに関し、特に、回転、変倍及び平行移動により関連付けられる２つの画像を位置合わせする変換を判定することに関する。

画像位置合わせは、共通対象物を有する１組の画像の画素間の対応関係を判定する処理である。特に、画像位置合わせは、１組の画像の画素を関連付ける変換のパラメータを判定することを含む。従って、画像位置合わせは、画像整合の重要な面である。ここで、２つの画像の実質的部分を関連付ける幾何学的な変換が存在するという前提の下、２つの画像は、共通対象物に関して比較される。部分的にオーバーラップする一連の画像を取得し、且つ単一の大きな画像を形成するために個々の画像のモザイクを形成する必要がある衛星画像及び医療画像においても、画像位置合わせは使用される。

画像位置合わせは、カメラの校正においても便利である。ここで、既知のオブジェクトの画像が取り込まれ、画像内におけるその既知のオブジェクトの場所が、撮影装置のいくつかの未知のパラメータを判定するために計算される。画像位置合わせの別の応用には、相対的なビデオカメラの向き及びビデオシーケンスにおけるビデオフレーム間の位置を判定するシステムの一部としての応用がある。

画像位置合わせの単純な形式は、２つの画像が平行移動のみを介して関連付けられる場合に使用されてもよい。そのような場合、整合フィルタリング方法が、２つの画像を関連付ける平行移動を見つけるために使用されてもよい。相互相関及び位相相関は、そのような整合フィルタリング方法の２つの例である。

相互相関は、空間領域又は周波数領域において実行されてもよい。画素のｘ座標及びｙ座標の関数である２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）を考慮する。空間領域における２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）の相互相関は、次式により定義される。

２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）が単純な平行移動（Δ_ｘ，Δ_ｙ）により関連付けられる場合、

であり、相互相関Ｃ（ｘ’，ｙ’）は、平行移動座標（Δ_ｘ，Δ_ｙ）において最大値を有する。ここで、

である。

従って、２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）の相互相関Ｃ（ｘ’，ｙ’）を計算することにより、２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）を位置合わせする平行移動（Δ_ｘ，Δ_ｙ）が判定されてもよい。

相互相関は、一般に、高速フーリエ変換（ＦＦＴ）を使用して実行される。画像Ｉｎ（ｘ，ｙ）に対して、離散フーリエ変換

が次式により定義される。

式中、Ｎｘは、ｘ次元における画像寸法であり、Ｎｙは、ｙ次元における画像寸法である。離散逆フーリエ変換

は、次式により定義される。

ＦＦＴは、離散フーリエ変換

及びその逆

を計算するコンピュータ上効率的な方法である。

相互相関Cは、次式により計算されてもよい：

式中、

は、離散フーリエ変換

の複素共役を示す。従って、一方の画像のＦＦＴ

及び他方の画像のＦＦＴの複素共役

の積の逆ＦＦＴ

を取得することにより、式（１）で定義された値と同等である相互相関Ｃの値を含む更なる画像が提供される。

位相相関Ｃ’は、頻繁に使用され且つ次式により定義される別の整合フィルタリング方法である。

すなわち、画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）の離散フーリエ変換

を使用するのではなく、画像の離散フーリエ変換の複素位相部分のみが使用される。画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）が平行移動オフセット（Δ_ｘ，Δ_ｙ）により関連付けられる場合、位相相関Ｃ’は、２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）を関連付ける平行移動座標（Δ_ｘ，Δ_ｙ）において急激に上昇するピークを有し、位相相関Ｃ’のその他の場所において小さな値を有する。

２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）が平行移動のみにより関連付けられる場合、整合フィルタリングが使用されるが、画像Ｉ_２（ｘ，ｙ）が画像Ｉ_１（ｘ，ｙ）を回転し、変倍した画像となるように、２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）が回転及び変倍変換により関連付けられる場合は、すなわち、

となる。式中、ｓは変倍因子であり、

は回転角度である。未知の回転パラメータ

及び変倍パラメータｓは、次式を使用して、画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）をLog−Polar座標空間に変換することにより、判定されてもよい。

上述の平行移動により、Log−Polar空間における画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）間の関係が次のように導き出される。

上述の整合フィルタリング方法は、座標(log s,

)の相関Ｃにおけるピークから変倍パラメータｓ及び回転パラメータ

を判定するために使用されてもよい。

画素間の対応関係が平行移動、又は回転及び変倍等の単純な変換ではない場合にも、画像位置合わせは、１組の画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）に対して頻繁に適用される。異なる撮影装置を使用して２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）が取り込まれる場合、又は、同一の撮影装置を使用するが、各画像が撮影装置の異なる構成を使用して取り込まれる場合、それら画像を位置合わせする必要がある可能性がある。そのような場合、変換は平行移動、回転及び変倍を含む。

次式が成立するように、平行移動、並びに回転及び変倍により関連付けられる２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）を考慮する。

平行移動、回転及び変倍により関連付けられる画像を位置合わせする現在の方法において、平行移動パラメータが２つの画像間のオーバーラップを大きく減少する場合、広い範囲の画像の種類は、信号対雑音比が低いことによる悪影響を受ける。更に、現在の方法は、コンピュータ計算の非効率をまねく１８０°の不確かさを含む。この不確かさは、実関数のフーリエの大きさが対称的であることの結果である。

本発明の１つの目的は、既存構成の１つ以上の欠点を実質的に克服すること、又は少なくとも改善することである。

本発明の目的を達成するために、例えば、本発明の方法は以下の構成を備える。
即ち、２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する為の手段を有する装置が行う方法であって、
前記２つの画像のそれぞれに対して、
前記手段が、前記画像の複素画像を生成する工程と、
前記手段が、前記複素画像に対してフーリエ変換を施すことで、フーリエ変換の複素値の大きさを含む大きさ画像、フーリエ変換の複素値の位相を含む位相画像、の２つの画像、を生成する工程と、
前記手段が、前記大きさ画像に対して、回転及び変倍に対する定数内で可換である関数を施すことで、前記大きさ画像に対してランプ関数で乗算し、前記大きさ画像のハイパスフィルタ処理を行う第１の処理工程と、
前記手段が、前記位相画像に対してラプラス演算子を適用することで、平行移動の不変量である位相の２次以上の導関数を取得する第２の処理工程と、
前記手段が、前記第１の処理工程による大きさ画像、前記第２の処理工程による位相画像のラプラスを組み合わせた画像に対して逆フーリエ変換を施すことで、平行移動に対して不変な表現を形成する工程と、
を備え、
前記手段が、前記２つの画像のそれぞれについて求めた表現の間で、Log−Polar領域における相関を実行する工程と、
前記手段が、前記相関における大きさのピークを検出する工程と、
前記手段が、前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の装置は以下の構成を備える。
即ち、２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する装置であって、
前記２つの画像のそれぞれに対して、
前記画像の複素画像を生成する手段と、
前記複素画像に対してフーリエ変換を施すことで、フーリエ変換の複素値の大きさを含む大きさ画像、フーリエ変換の複素値の位相を含む位相画像、の２つの画像、を生成する手段と、
前記大きさ画像に対して、回転及び変倍に対する定数内で可換である関数を施すことで、前記大きさ画像に対してランプ関数で乗算し、前記大きさ画像のハイパスフィルタ処理を行う第１の処理手段と、
前記位相画像に対してラプラス演算子を適用することで、平行移動の不変量である位相の２次以上の導関数を取得する第２の処理手段と、
前記第１の処理手段による大きさ画像、前記第２の処理手段による位相画像のラプラスを組み合わせた画像に対して逆フーリエ変換を施すことで、平行移動に対して不変な表現を形成する手段と、
を備え、
前記２つの画像のそれぞれについて求めた表現の間で、Log−Polar領域における相関を実行する手段と、
前記相関における大きさのピークを検出する手段と、
前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する手段と
を備えることを特徴とする。

本発明の他の面も開示される。

１つ以上の添付の図面において、ステップ及び／又は特徴を参照する場合、同一の符号を有するステップ及び／又は特徴は、説明の都合上、指示がない限り、同一の機能又は動作を有する。

尚、画像を位置合わせする現在の方法に関する「背景技術」に含まれる説明は、本発明者又は本出願人による表現として解釈されるべきではなく、そのような方法は、何らかの点で、当技術の周知技術の一部を形成する。

図１は、本発明の実施形態に従って２つの画像を関連付ける変換を判定する方法２００のフローチャートである。ここで、変換は、回転、変倍及び平行移動を含む。２つの画像を関連付ける変換を判定する方法２００は、図２に示されるような汎用コンピュータシステム１００を使用して実現されることが好ましい。図２において、図１の方法は、コンピュータシステム１００内で実行するアプリケーションプログラム等のソフトウェアとして実現されてもよい。特に、２つの画像を関連付ける変換を判定する方法２００のステップは、コンピュータシステム１００により実行されるソフトウェアの命令により実行される。ソフトウェアは、例えば、以下に説明する記憶装置を含むコンピュータ可読媒体に格納されてもよい。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム１００にロードされ、コンピュータシステム１００により実行される。そのようなソフトウェア又はコンピュータプログラムが記録されたコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータシステム１００においてコンピュータプログラム製品を使用することにより、２つの画像を関連付ける変換を判定するのに有利な装置を達成することが好ましい。

コンピュータシステム１００は、コンピュータモジュール１０１、キーボード１０２及びマウス１０３等の入力装置、並びに、プリンタ１１５及び表示装置１１４を含む出力装置から構成される。変調器−復調器（モデム）トランシーバ装置１１６は、例えば、電話回線１２１又は他の機能媒体を介して接続可能な通信ネットワーク１２０と通信するために、コンピュータモジュール１０１により使用される。モデム１１６は、インターネット、及びローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）等の他のネットワークシステムにアクセスするために使用される。モデム１１６は、いくつかの実現方法において、コンピュータモジュール１０１に内蔵されてもよい。

コンピュータモジュール１０１は、通常、少なくとも１つのプロセッサユニット１０５と、例えば半導体ランダムアクセスメモリ（ＲＡＭ）及び読み出し専用メモリ（ＲＯＭ）から構成されるメモリユニット１０６とを含む。モジュール１０１は、ビデオ表示装置１１４に結合するビデオインタフェース１０７、キーボード１０２及びマウス１０３に対する入出力（Ｉ／Ｏ）インタフェース１１３、並びに、モデム１１６及びプリンタ１１５に対するインタフェース１０８を含む多数のＩ／Ｏインタフェースを更に含む。記憶装置１０９が提供され、記憶装置１０９は、通常、ハードディスクドライブ１１０及びフロッピディスク装置１１１を含む。ＣＤ−ＲＯＭドライブ１１２は、通常、不揮発性のデータソースとして提供される。コンピュータモジュール１０１の構成要素１０５〜１１３は、通常、相互接続バス１０４を介して、当業者に周知のコンピュータシステム１００の従来の動作モードで通信する。

通常、アプリケーションプログラムは、ハードディスクドライブ１１０に常駐し、実行の際には、プロセッサ１０５により読み出され且つ制御される。ネットワーク１２０から取り出されるプログラム及び任意のデータの中間記憶装置は、ハードディスクドライブ１１０と共に動作する可能性のある半導体メモリ１０６を使用して達成されてもよい。いくつかの例において、アプリケーションプログラムは、ＣＤ−ＲＯＭ又はフロップディスク上でコード化されてユーザに供給され、対応するドライブ１１２又は１１１を介して読み出されてもよい。あるいは、アプリケーションプログラムは、モデム装置１１６を介してネットワーク１２０からユーザにより読み出されてもよい。本明細書において使用されるように、用語「コンピュータ可読媒体」は、実行及び／又は処理のために、命令及び／又はデータをコンピュータシステム１００に提供することに関係する任意の記憶装置又は伝送媒体を示す。

更に、本発明は、コンピュータプログラムを黙示的に開示する。本明細書において説明される好適な方法１００の各ステップがコンピュータコードにより実行されることは、当業者には明らかであろう。

２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）を関連付ける変換を判定するために使用できる方法が開示される。ここで、この２つの画像は、回転、変倍及び平行移動により関連付けられると仮定される。

式中、ｓは変倍因子であり、

は回転角度であり、且つ(Δ_x,Δ_y)は平行移動である。方法は、２つの段階、すなわち、１８０°まで不確定な回転角度

で、未知の変倍及び回転変換を判定する第１段階と、平行移動(Δ_x, Δ_y)を判定し、角度の不確かさを解決する第２段階とを含む。変倍、回転及び移動された画像Ｉ_２（ｘ，ｙ）のフーリエ変換は、次式により、他方の画像Ｉ_１（ｘ，ｙ）に関連付けられる。

第１段階において、フーリエ変換

の大きさを取得することにより、画像の平行移動の不変量が得られる。

平行移動の不変量は、画像の平行移動(Δ_x, Δ_y)に依存しない。フーリエの大きさのLog−Polar変換を実行することにより、次のように、２つの画像間のフーリエの大きさの単純な線形関係を導き出す。

２つの画像間のフーリエの大きさのLog−Polar再サンプリングの相関は、log s及び

におけるピークを含む。これにより、２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）を関連付ける未知の変倍パラメータｓ及び回転角度パラメータ

を判定することができる。ここで、回転角度

は、１８０°の不確かさを有する。この不確かさは、実関数のフーリエの大きさが対称的であることの結果である。

２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）を関連付ける変換を判定する方法の第２段階は、第２の画像Ｉ_２（ｘ，ｙ）に対して可能な回転角度

に対するこの時点で既知の変倍及び回転平行移動を元に戻すことにより開始され、部分的に位置合わせされた画像を生成する。部分的に位置合わせされた画像は、第１の画像Ｉ_１（ｘ，ｙ）と互いに関連付けられ、２つの画像Ｉ_１（ｘ，ｙ）及びＩ_２（ｘ，ｙ）間の未知の平行移動(D_x, D_y)を判定する。部分的に位置合わせされた画像と第１の画像I₁(x, y)との間の最適な空間相関を与える回転角度

は、正確な回転角度

であると考えられる。２つの画像I₁(x, y)及びI₂(x, y)を関連付ける完全な変換が、この時点で分かる。

図１を参照すると、本発明による２つの画像I₁(x, y)及びI₂(x, y)を関連付ける変換を判定する方法２００のフローチャートが示される。方法２００は、ステップ２０５において、２つの画像I₁(x, y)及びI₂(x, y)を入力として受信する。画像I₁(x, y)及びI₂(x, y)は、画像内容において、実質的にオーバーラップすることを前提とする。画像I₁(x, y)及びI₂(x, y)は、実数値の関数であり、一般に、０と通常１又は２５５である所定の最大値との間の値の配列により表現される。通常、画像I₁(x, y)及びI₂(x, y)は、ステップ２０５において、記憶装置１０９（図２）から検索される。しかし、画像I₁(x, y)及びI₂(x, y)は、ネットワーク１２０から受信されてもよく、又はコンピュータシステム１００に接続される撮影装置（不図示）から受信されてもよい。

次に、ステップ２１０及び２７０において、画像位置合わせが実行される。特に、２つの画像I₁(x, y)及びI₂(x, y)を関連付ける回転パラメータ

及び変倍パラメータsが、ステップ２１０において判定され、平行移動(Δ_x, Δ_y)がステップ２７０において判定される。方法２００は、ステップ２９０で終了する。ステップ２９０において、実質的に位置決めされた２つの画像I”₁(x, y)及びI₂(x, y)を含む出力を、表示装置１１４に生成する。あるいは、変倍因子s、回転角度

及び平行移動(Δ_x, Δ_y)が、表示装置１１４に出力される。

図３は、２つの画像I₁(x, y)及びI₂(x, y)を関連付ける回転パラメータ

及び変倍パラメータsを判定するステップ２１０（図１）を更に詳細に示すフローチャートである。好適な実現方法のステップ２１０は、サブステップ２１２で開始する。サブステップ２１２において、プロセッサ１０５（図２）は、画像I₁(x, y)及びI₂(x, y)からマルチチャネル関数を得る。好適な実現方法において、各複素画像

がフーリエ変換される場合に、非対称的なフーリエの大きさを有する非エルミート結果が生成されるように、プロセッサ１０５は、画像I₁(x, y)及びI₂(x, y)から複素画像

及び

を形成する。従って、複素画像

をフーリエ-メリン相関に対する入力として使用すると、使用しない場合に存在する１８０°の不確定さが除去される。

複素画像

及び

は、画像I₁(x, y)及びI₂(x, y)に対して演算子γ｛｝を適用することにより形成される。ここで、演算子γ｛｝は、回転及び変倍に対する定数内で可換である。すなわち、

である。

式中、βは回転因子、ｓは変倍因子、Ｔ_β、ｓは回転−変倍変換、且つｇは回転β及び変倍ｓの任意の関数である。

演算子γ｛｝の例は以下を含む。

図５及び図６を参照して、画像I_n(x, y)から複素画像

を形成する好適なステップを以下に説明する。

サブステップ２１２において得られたマルチチャネル関数、好適な実現方法においての複素画像

及び

であるマルチチャネル関数は、サブステップ２１４においてプロセッサ１０５によりそれぞれ処理され、２つの複素画像

及び

の各々の表現T₁(x, y)及びT₂(x, y)を形成する。ここで、表現T₁(x, y)及びT₂(x, y)は、空間領域において平行移動の不変量である。画像の平行移動により、画像がトリミングされることが理解される。従って、トリミングは独立した画像の変化を平行移動による変化に導入するので、平行移動の不変量は、実質上、平行移動の不変量を意味する。

サブステップ２１４に続くサブステップ２１６において、プロセッサ１０５は、２つの複素画像

及び

の表現T₁(x, y)及びT₂(x, y)に対してフーリエ−メリン相関を実行し、位相相関画像を生成する。この位相相関画像において、入力画像I₁(x, y)及びI₂(x, y)を関連付ける可能性のある回転及び変倍は、孤立するピークにより表現される。図８を参照して、フーリエ−メリン相関を以下に更に詳細に説明する。

表現T₁(x, y)及びT₂(x, y)が空間領域において平行移動の不変量であるため、フーリエ−メリン相関は、広範囲な値をとる平行移動、回転及び変倍因子により関連付けられる画像I₁(x, y)及びI₂(x, y)に対して優れた結果をもたらす。そのような優れた結果は、通常、回転、変倍及び平行移動変換により関連付けられる画像に対する増加した整合フィルタ信号対雑音比、並びに、回転、変倍及び平行移動変換により関連付けられない画像間の向上した判別を含む。

方法２００は、サブステップ２１８に継続し、プロセッサ１０５は、位相相関画像内の大きさのピークの場所を検出する。大きさのピークの場所は、２次フィッティングにより補間される。これにより、サブピクセル正確度に対する大きさのピークの場所が検出される。

その後、サブステップ２２０において、プロセッサ１０５は、検出された大きさのピークが所定の閾値より大きい信号対雑音比を有するかを判定する。好適な実現方法において使用される閾値は、１．５である。

大きさのピークが所定の閾値より大きい信号対雑音比を有すると判定される場合、プロセッサ１０５は、サブステップ２２２において、大きさのピークの場所を使用して、２つの画像I₁(x, y)及びI₂(x, y)を関連付ける変倍パラメータｓ及び回転角度パラメータ

を判定する。大きさのピークの場所が（ζ、α）である場合、２つの画像I₁(x, y)及びI₂(x, y)を関連付ける変倍パラメータｓ及び回転角度パラメータ

は、次式である。

式中、α及び

は、図８を参照して以下に説明されるフーリエ-メリン相関のLog-Polar再サンプリングステップ６３０に関連する定数である。

サブステップ２２０において、ピークが有する信号対雑音比が所定の閾値よりも大きくないと判定される場合、画像I₁(x, y)及びI₂(x, y)は関連付けられないと判断され、方法２００は、サブステップ２５０で終了する。

図４は、２つの画像I₁(x, y)及びI₂(x, y)を関連付ける平行移動(Δ_x, Δ_y)を判定するステップ２７０（図１）を更に詳細に示すフローチャートである。サブステップ２８０において、サブステップ２２２（図３）で判定された回転及び変倍変換が画像I₁(x, y)に対して実行されることにより、これらの変換を元に戻し、画像I’₁(x, y)を形成する。変換が、複素画像

に対して任意に実行されてもよい。回転及び変倍変換された画像I’₁(x, y)及び元の画像I₂(x, y)は、サブステップ２８２において、位相相関を使用して互いに関連付けられ、別の相関画像を生成する。この相関画像における大きさのピークの位置は、一般に、画像I₁(x, y)及びI₂(x, y)を関連付ける平行移動(Δ_x, Δ_y)に対応する。従って、サブステップ２８４において、プロセッサ１０５は、相関画像内の大きさのピークの場所を検出する。

その後、サブステップ２８６において、プロセッサ１０５は、大きさのピークの場所を使用して、２つの画像I’₁(x, y)及びI₂(x, y)を関連付ける平行移動パラメータ(Δ_x, Δ_y)を判定する。また、同一の平行移動パラメータ(Δ_x, Δ_y)が、元の２つの画像I₁(x, y)及びI₂(x, y)を関連付ける。大きさのピークの場所が(x₀, y₀)である場合、平行移動(Δ_x, Δ_y)は、(-x₀, -y₀)である。未知の変倍パラメータｓ及び回転角度パラメータ

は、サブステップ２２２で判定され、未知の平行移動パラメータ(Δ_x, Δ_y)は、サブステップ２８６で判定された。これらのパラメータは、出力を生成するためにステップ２９０（図１）に渡される。

図５は、複素画像

を画像I_n(x, y)から形成するサブステップ２１２（図３）の第１の実現方法を更に詳細に示すフローチャートである。サブステップ３２０において、プロセッサ１０５は、画像I_n(x, y)を複素カーネル関数kで畳込む。畳込みは、空間領域において実行されてもよく、又はフーリエ領域において乗算の標準的な技術により実行されてもよい。サブステップ３２０において使用される複素カーネル関数kは、次式のフーリエ変換

を有する複素カーネル関数である。

サブステップ３２０において使用できる別の複素カーネル関数k’は、次式のフーリエ変換

を有する複素カーネル関数である。

畳込みの結果（(I*k)、ここで*は、畳込みを示す）は、サブステップ３３０において、単位量を得るために正規化される。

最後に、サブステップ３４０において、正規化された畳込みの結果Γは、元の画像I_n(x, y)で乗算され、複素画像

を形成する。複素画像

は、元の画像I_n(x, y)と同一の大きさを有し、複素画像

における各点は、サブステップ３２０における畳込みにより生成された関連する位相を有する。式（２２）及び（２３）において与えられるカーネルk及びk’に対して、関連する位相は、画像I_n(x, y)の傾斜方向に関連付けられた量をコード化する。

図６は、複素画像

を画像I_n(x, y)から形成するサブステップ２１２（図３）の第２の（別の）実現方法を更に詳細に示すフローチャートである。サブステップ４２０において、プロセッサ１０５は、画像I_n(x, y)に非線形演算子を適用し、複素画像を生成する。サブステップ４２０において適用された非線形演算子は、エネルギー演算子であり、次式により表されてもよい。

式中、Ｄは、微分演算子である。

サブステップ４２０において適用され、複素画像を生成する別の非線形演算子は、ユニモジュラエネルギー演算子である。

式中、Ｄ’は、ユニモジュラ微分演算子である。ユニモジュラ微分演算子Ｄ’は、以下のように、フーリエ領域における操作として表されてもよい。

サブステップ４２０に続くサブステップ４３０において、画像I_n(x, y)に適用された非線形演算子の結果が単位係数に正規化されることが好ましく、この正規化の結果が、サブステップ４４０において、元の画像I_n(x, y)で乗算され、複素画像

を形成することが好ましい。あるいは、画像I_n(x, y)に適用された非線形演算子の結果、すなわち、サブステップ４２０の出力は、複素画像

として使用されてもよい。

図７は、空間領域における平行移動の不変量である１つの複素画像

の表現T_n(x, y)を形成するサブステップ２１４（図３）で実行される方法を更に詳細に示すフローチャートである。サブステップ２１４は、サブステップ２１２で形成された複素画像

を入力として受信する。複素画像

の各々は、サブステップ５２０において、プロセッサ１０５により、まずＦＦＴを使用してフーリエ変換され、複素値で構成される画像を生成する。この画像は、サブステップ５３０において、フーリエ変換の複素値の大きさを含む大きさの画像、及びフーリエ変換の複素値の位相を含む位相画像の２つの別々の画像に分離される。サブステップ５６０において、回転及び変倍に対する定数内で可換である関数が、大きさの画像に適用される。好適な実現方法において、大きさの画像は、ランプ関数で乗算され、大きさの画像のハイパスフィルタ処理が施される。サブステップ５７０において、演算子が、位相画像に適用され、平行移動の不変量である位相の２次以上の導関数を取得する。好適な実現方法において、ラプラス演算子が使用される。

サブステップ２１４は、サブステップ５８０に継続し、サブステップ５６０から生成された変更された大きさの画像、及びサブステップ５７０から生成された位相画像のラプラスの取得結果は、次式により組み合わされる。

式中、｜Ｆ｜は、複素画像

のフーリエ変換の変更された大きさであり、

は、フーリエ変換の位相画像のラプラスである。また、Ａは、次式に対して設定される変倍定数である。

変倍定数Ａは、再び組み合わされたフーリエの大きさ及び位相情報が略同一の大きさであることを保証する。

変更された大きさの画像及び位相画像のラプラスを取得した結果を組み合わせた結果が、サブステップ５９０において逆フーリエ変換され、表現T_n(x, y)を生成する。表現T_n(x, y)は、空間領域において、平行移動の不変量である。

フーリエの大きさ及び位相の他の平行移動の不変量が、サブステップ５６０及び５８０の代わりに使用されてもよい。例えば、以下のようなものがある。

フーリエの大きさの係数の２乗。

フーリエの大きさの対数。

フーリエ変換の対数のラプラス。

以下のような演算子。

式中、複素数の対数は、次式により定義される。

平行移動の不変量は、回転に関して１８０°の不確かさがないことが好ましい。これは、先に列挙した平行移動の不変量のうちフーリエの大きさの係数の２乗以外の全ての平行移動の不変量に対して満足する。

図８は、空間領域において平行移動の不変量である表現T₁(x, y)及びT₂(x, y)に対して、フーリエ−メリン相関をサブステップ２１６において実行するサブステップを更に詳細に示すフローチャートである。サブステップ６３０において、表現T₁(x, y)及びT₂(x, y)の各々は、Log−Polar領域に対して再サンプリングされる。Log−Polar領域に対して再サンプリングするために、Log−Polar領域内の解像度を特定する必要がある。元の画像I₁(x, y)及びI₂(x, y)が幅Ｎ画素及び高さＭ画素である場合、すなわち、ｘ座標が０とＮ−１との間で変動し、ｙ座標が０とＭ−１との間で変動する場合、空間領域において平行移動の不変量である表現T₁(x, y)及びT₂(x, y)の中心は、(c_x, c_y) = (floor(N／2), floor(M／2))に位置付けられる。Log−Polar空間においてＰ画素×

画素の範囲を有する画像に対するLog-Polar再サンプリングは、この中心を基準として実行される。原点における特異点を回避するため、表現T₁(x, y)及びT₂(x, y)の中心周りの半径r_min画素の円板を無視する必要がある。この円板を無視する一方で、Log−Polar平面における点(x, y)は、次式のように、点(x, y)における平行移動の不変量の画像を補間することにより決定される。

式（３５）及び（３６）は、空間領域において、Log−Polar画像が拡張する最大半径を示す。定数r_min、P及び

の共通値は、以下のとおりである。

サブステップ６４０において、プロセッサ１０５は、再サンプリングされた表現T₁(x, y)及びT₂(x, y)の各々に対してフーリエ変換を実行する。サブステップ６４０に続くサブステップ６５０において、プロセッサ１０５は、再サンプリングされた第２の表現T₂(x, y)に対して複素共役を実行する。各フーリエ変換の複素要素の大きさで各複素要素を除算することにより、各フーリエ変換が単位量を有するように、サブステップ６６０において、フーリエ変換は正規化される。正規化されたフーリエ変換は、サブステップ６７０において、乗算される。乗算結果は、サブステップ６８０において、逆フーリエ変換される。その結果、位相相関画像が得られる。

上述において、本開示の好適な実現方法を説明した。本開示の趣旨の範囲を逸脱せずに、本開示に対して多くの変形及び／又は変更が可能であることが、理解されるであろう。特に、マルチチャネル関数が得られるサブステップ２１２（図３）は無視されてもよいが、空間領域において平行移動に対して不変量である表現が形成されるサブステップ２１４はそのまま維持される。

方法２００は、唯１つの構成要素を有する画像I₁(x, y)及びI₂(x, y)に対する動作に関して説明された。カラー画像及びマルチスペクトル装置からの画像等の複数の構成要素の画像もまた、方法２００を使用して相互に位置合わせできる。これは、構成要素の代数的な組合せにより複数の構成要素の各画像から単一の構成要素の画像を形成し、且つそのように生成された単一の構成要素の２つの画像I₁(x, y)及びI₂(x, y)を位置合わせすることにより達成される。あるいは、第１の複数構成要素の画像の各構成要素を他の複数構成要素の画像の各構成要素に対して、個別に位置合わせすることにより達成されてもよい。

本明細書において、用語「備える」は、主に「含む」を意味するが、必ずしもそれだけの意味ではなく、「有する」又は「含む」ことを意味する。しかし、用語「備える」は、「のみから成る（consisting only of）」を意味することはない。用語「備える」の語形変化は、それに対応して意味の変化を示す。

本発明の実施形態に従って２つの画像を関連付け、且つ回転、変倍及び平行移動を含む変換を判定する方法のフローチャートである。説明される構成が実現される汎用コンピュータの概略的なブロック図である。図１に示される方法において実行される２つの画像を関連付ける回転パラメータ及び変倍パラメータを判定するステップを更に詳細に示すフローチャートである。図１に示される方法において実行される２つの画像を関連付ける平行移動パラメータを判定する工程を更に詳細に示すフローチャートである。図３のステップのサブステップであり、実数値を有する画像から複素画像を形成する別の実現方法を更に詳細に示すフローチャートである。図３のステップのサブステップであり、実数値を有する画像から複素画像を形成する別の実現方法を更に詳細に示すフローチャートである。図３のステップのサブステップであり、１つの複素画像の空間領域において平行移動の不変量である表現を形成する方法を更に詳細に示すフローチャートである。図３のステップにおいて実行されるフーリエ−メリン相関を実行する方法を更に詳細に示すフローチャートである。

Claims

２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する為の手段を有する装置が行う方法であって、
前記２つの画像のそれぞれに対して、
前記手段が、前記画像の複素画像を生成する工程と、
前記手段が、前記複素画像に対してフーリエ変換を施すことで、フーリエ変換の複素値の大きさを含む大きさ画像、フーリエ変換の複素値の位相を含む位相画像、の２つの画像、を生成する工程と、
前記手段が、前記大きさ画像に対して、回転及び変倍に対する定数内で可換である関数を施すことで、前記大きさ画像に対してランプ関数で乗算し、前記大きさ画像のハイパスフィルタ処理を行う第１の処理工程と、
前記手段が、前記位相画像に対してラプラス演算子を適用することで、平行移動の不変量である位相の２次以上の導関数を取得する第２の処理工程と、
前記手段が、前記第１の処理工程による大きさ画像、前記第２の処理工程による位相画像のラプラスを組み合わせた画像に対して逆フーリエ変換を施すことで、平行移動に対して不変な表現を形成する工程と、
を備え、
前記手段が、前記２つの画像のそれぞれについて求めた表現の間で、Log−Polar領域における相関を実行する工程と、
前記手段が、前記相関における大きさのピークを検出する工程と、
前記手段が、前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する工程と
を備えることを特徴とする方法。
前記表現を形成する工程では、前記第１の処理工程による大きさ画像を実数部、前記第２の処理工程による位相画像のラプラスを虚数部、として使用する画像に対して逆フーリエ変換を施すことで、前記表現を形成することを特徴とする請求項１に記載の方法。
前記相関は、フーリエ−メリン相関であることを特徴とする請求項１又は２に記載の方法。
２つの画像を関連付ける変換の少なくとも回転パラメータ及び変倍パラメータを判定する装置であって、
前記２つの画像のそれぞれに対して、
前記画像の複素画像を生成する手段と、
前記複素画像に対してフーリエ変換を施すことで、フーリエ変換の複素値の大きさを含む大きさ画像、フーリエ変換の複素値の位相を含む位相画像、の２つの画像、を生成する手段と、
前記大きさ画像に対して、回転及び変倍に対する定数内で可換である関数を施すことで、前記大きさ画像に対してランプ関数で乗算し、前記大きさ画像のハイパスフィルタ処理を行う第１の処理手段と、
前記位相画像に対してラプラス演算子を適用することで、平行移動の不変量である位相の２次以上の導関数を取得する第２の処理手段と、
前記第１の処理手段による大きさ画像、前記第２の処理手段による位相画像のラプラスを組み合わせた画像に対して逆フーリエ変換を施すことで、平行移動に対して不変な表現を形成する手段と、
を備え、
前記２つの画像のそれぞれについて求めた表現の間で、Log−Polar領域における相関を実行する手段と、
前記相関における大きさのピークを検出する手段と、
前記大きさのピークの位置から、前記回転パラメータ及び前記変倍パラメータを判定する手段と
を備えることを特徴とする装置。
コンピュータを、請求項４に記載の装置が有する手段として機能させるためのコンピュータプログラム。