JP4398919B2 - 画像マッチング装置、画像マッチング方法および画像マッチングプログラム - Google Patents

Description

本発明は、対象画像と参照画像の２つの画像からそれぞれの対応点を検出して対応付ける画像マッチング装置、画像マッチング方法および画像マッチングプログラムに関する。

一つの対象画像から他方の参照画像の各画素それぞれの対応点を検出して対応関係を求める画像マッチング技術は、例えば、動画像における動き検出、ステレオマッチング、画像モーフィング、画像認識、動画像符号化等の画像処理技術の分野において利用されている。

このような画像マッチング技術としては、オプティカルフロー手法、ブロックベース手法、勾配法、ベイジアンメソッドという主として４種類に分類することができる（例えば、非特許文献１参照）。

オプティカルフロー手法は、「輝度の変化は一定である」というオプティカルフロー式を導出しそのオプティカルフロー式を拘束条件としてフローを求めるものである。ブロックベース手法は、画像を所定のブロックに分割し、ブロック毎のテンプレートマッチングによって動きを求める手法である。勾配法は、画像の輝度勾配が減少する方向にマッチングをおこなう手法である。ベイジアンメソッドは、確率的に尤もらしいマッチングを求める手法である。

また、従来の画像マッチング技術として、複数の多重解像度フィルタを用い、複数の多重解像度画像ピラミッドを生成し、生成された画像ピラミッドを上位の階層から下位の階層に順にマッチング処理を行うことによって、大きな動きから小さな動きまで画像の対応付けを行えるロバスト性の高い画像マッチング技術がある（例えば、特許文献１参照）。

A. Murat Tekalp, "Digital Video Processing", Prentice Hall, 1995 特許第２９２７３５０号公報

しかしながら、このような従来の画像マッチング技術には次のような問題がある。オプティカルフロー手法では、ノイズに敏感で速い動きに対応することが本質的に困難であるという問題があり、ブロックベースの手法では、画像の中のブロック毎に画像マッチングを行っているので、画像中のオブジェクトの平行移動などの動きには高い信頼性を有するが、画像中のオブジェクトが変形したり、回転する等の動きに対して本質的に対応することが難しいという問題がある。勾配法では、画像の輝度勾配が減少する方向にマッチングを行うため、安定してオブジェクトの動きを探索することが困難であるという問題がある。ベイジアンメソッドでは、大域的最適点の求め方が困難であるという問題がある。

一方、特許文献１に開示された技術では、原理的に複数の多重解像度フィルタを必要とし、多重解像度画像ピラミッドの最上位階層から最下位階層までのマッチング処理を行っているため、計算量の削減が困難であるとともに、構造的な拡張が困難であるという問題がある。

このように従来の画像マッチング技術では、ノイズやオブジェクトの動きによっては信頼性が低くなり、画像マッチング処理の信頼性を向上させようとすると構造や処理が複雑化してしまい拡張性に乏しいという問題があった。

さらには、このような画像マッチング処理の計算量を減少させて画像マッチング処理を効率的に行う必要がある。

本発明は、上記に鑑みてなされたものであって、構造および処理が簡易かつ拡張性を有するとともに、画像中のノイズやオブジェクトの動きにかかわらず高精度な処理を実現することができ、さらに画像マッチング処理のモデル化による誤差を最小限にしてロバスト性を向上させるとともに、計算量を削減して効率的な画像マッチング処理を実現することができる画像マッチング装置、画像マッチング方法および画像マッチングプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、対象画像と参照画像との間の対応関係を求める画像マッチング装置であって、前記対象画像上に設定され、前記対象画像を格子状に分割した複数の第１の格子点の各々と、前記参照画像上で当該第１の格子点と１：１に対応して設定され、前記参照画像を格子状に分割した複数の第２の格子点の各々との間で画像の相関が高い程小さいエネルギーとなる画像相関ポテンシャルエネルギーを算出するとともに、前記各第２の格子点の位置と当該第２の格子点に対応する前記各第１の格子点の位置とによる最急降下方向へのベクトルに前記画像相関ポテンシャルエネルギーの勾配を乗じて、前記第２の格子点が受ける画像相関ポテンシャル力を算出する画像相関ポテンシャル力算出部と、前記各第２の格子点と当該第２の格子点に隣接する他の第２の格子点との間の距離が遠い程大きいエネルギーとなる、前記第２の格子点が受ける弾性エネルギー力を算出する弾性エネルギー力算出部と、前記各第２の格子点に対して、前記各第２の格子点の変位方向と反対方向に作用する摩擦力を算出する摩擦力算出部と、前記画像相関ポテンシャル力と前記弾性エネルギー力と前記摩擦力とによる前記各第２の格子点に関する運動方程式に対して離散変数法による解法処理を行い、前記第２の格子点の平衡状態を求める解法処理部と、前記各第２の格子点に関して、前記運動方程式の時間で現在の時刻における位置である現在位置と前記運動方程式の時間で過去の時刻における位置である基準位置とが所定の基準よりも近い場合には、前記画像相関ポテンシャル力の算出処理を実行しないと判定する判定部と、を備え、前記画像相関ポテンシャル力算出部は、前記判定部によって前記画像相関ポテンシャル力の算出処理を実行しないと判定された前記第２の格子点に関しては、前回算出した前記画像相関ポテンシャル力を今回の前記画像相関ポテンシャル力とすることを特徴とする。
また、本発明は、上記装置に対応する方法およびプログラムである。

本発明によれば、各第２の格子点に関して、運動方程式の時間で現在の時刻における位置である現在位置と前記運動方程式の時間で過去の時刻における位置である基準位置との位置関係に基づいて、画像相関ポテンシャルエネルギー力の算出処理を実行するか否かを判定し、判定ステップによって画像相関ポテンシャルエネルギー力の算出処理を実行しないと判定された第２の格子点に関しては、前回算出した前記画像相関ポテンシャルエネルギー力を今回の前記画像相関ポテンシャルエネルギー力とすることで、構造および処理が簡易かつ拡張性を有するとともに、画像中のノイズやオブジェクトの動きにかかわらず高精度な処理を実現することができるという効果を奏する。また、本発明によれば、画像マッチング処理のモデル化による誤差を最小限にしてロバスト性を向上させるとともに、計算量を削減して効率的な画像マッチング処理を実現することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像マッチング装置、画像マッチング方法および画像マッチングプログラムの最良な実施の形態を詳細に説明する。

なお、以下の実施の形態にかかる画像マッチング装置は、動画像の動き補償を行って補償画像を生成する動き補償装置に適用する他、ステレオマッチング、画像モーフィング、画像認識、動画像符号化等の画像処理技術に適用することもできる。

（実施の形態１）
図１は、実施の形態１にかかる画像マッチング装置の構成を示すブロック図である。本実施の形態にかかる画像マッチング装置１００は、対象画像と参照画像とを入力し、対象画像と参照画像との間の対応関係を求めるものであり、図１に示すように、解法処理部１０１と、判定部１０２と、画像相関ポテンシャル力算出部１０３と、弾性エネルギー力算出部１０４と、摩擦力算出部１０５と、フレームメモリ１０６とを主に備えている。

本実施の形態にかかる画像マッチング装置１００では、対象画像および参照画像のそれぞれを所定の格子状に分割した各格子点を力学上の質点とみなし、対象画像の第１の格子点と第１の格子点に１対１に対応する参照画像の第２の格子点が画像の相関関係に基づいた画像相関ポテンシャルエネルギーを有するとみなして、第１の格子点と第２の格子点の位置に基づいた画像相関ポテンシャルエネルギーの勾配によって第２の格子点が受ける画像相関ポテンシャル力と、第２の格子点に隣接する格子点との間の弾性エネルギーから受ける弾性エネルギー力と、第２の格子点に生じる摩擦力とによる第２の格子点に関する運動方程式を画像マッチング状態遷移モデルとして、この運動方程式に対して数値解析処理によって解法処理を行い、第２の格子点の平衡状態を求めることにより第１の格子点と第２の格子点との写像関係を求めて画像マッチングを行っている。

解法処理部１０１は、画像相関ポテンシャルエネルギーの勾配によって受ける画像相関ポテンシャル力と、第２の格子点に隣接する格子点との間の弾性エネルギーから受ける弾性エネルギー力と、第２の格子点に生じる摩擦力とによる第２の格子点に関する運動方程式を、オイラー法を利用した離散変数法によって数値解析処理によって解法し、第２の格子点の平衡状態を求めることにより第１の格子点と第２の格子点との写像関係を求める処理部である。

画像相関ポテンシャル力算出部１０３は、第１の格子点と第２の格子点の位置に基づいた画像相関ポテンシャルエネルギーの勾配によって第２の格子点が受ける画像相関ポテンシャル力を計算する処理部である。

弾性エネルギー力算出部１０４は、第２の格子点に隣接する格子点との間の弾性エネルギーから受ける弾性エネルギー力を計算する処理部である。

摩擦力算出部１０５は、第２の格子点に生じる摩擦力を算出する処理部である。

判定部１０２は、第２の格子点の各々に関して、上記運動方程式の時間で現在の時刻における位置である現在位置と上記運動方程式の時間で過去の時刻における位置である基準位置とを比較して、前記現在位置が前記基準位置の近傍にある第２の格子点については前記画像相関ポテンシャルエネルギー力の算出処理を行わないと判定する処理部である。上記「運動方程式の時間」とは後述する時間τである。また、「運動方程式の時間」における時刻は、解法処理部１０１が第２の格子点の各々に対して反復的に行う数値解析処理における反復回数またはステップ数に対応する。

判定部１０２は、例えば、前記現在位置が前記基準位置を含む一定の範囲内である場合に、前記第２の格子点が前記基準位置の近傍にあると判断する。また、前記基準位置として、例えば、最も近い過去の時刻における位置や、最後に画像相関ポテンシャルエネルギー力の計算がなされた時刻における位置を用いることができる。

フレームメモリ１０６は、入力された対象画像と参照画像と保存するメモリである。なお、各部の詳細な処理については後述する。

次に、本実施の形態にかかる画像マッチング装置１００で導入する画像マッチング状態遷移モデルについて説明する。本実施の形態で対象とする画像は、（１）式のようなモデルを考えるが、（１）式は実数空間における連続画像モデルであり、本実施の形態ではデジタル画像を扱うため、（２）式に示すサンプリングモデルを考える。

Ｖはサンプリング行列である、ＮとＸとを結びつける行列である。画像マッチングは、対象画像上の点が参照画像上のどの点に対応するのかを求める問題である。このとき画像マッチング問題は以下の（３）式の条件式を満たす動きベクトルｄ：Ｘ×Ｔ→Ｘを探索する問題として定式化することができる。

また、動きベクトルｄが実数なので、（３）式の右辺は連続画像モデルの（１）式の表記を用いていている。ここでは、対象画像と参照画像、２枚の画像間の画像マッチングを考えているので等価な以下の（４−１）式の問題を考える。

この（４−１）式のモデルでは、動きベクトルが簡単化され、ｄ：Ｘ→Ｘとなる。点ｘに対して動きベクトルｄは単一のみ決定することができればよいので、動きベクトルｄを一意写像とする。このとき、ｘ＋ｄ（ｘ）は、ｘに対する写像とみなせるので。（５）式のように定義する。

ここで、ｇ：Ｘ→Ｘの一意写像である。そして、この画像マッチング問題を（６）式を満たす写像ｇを探索する問題に帰着する。

ここで、写像ｇによって定まる点を（７）式のように定義する。

ここで、ｘ＝Ｖｎであるので、ｘは格子空間上の点ｎに一意に対応する。写像ｇは、一意写像であるため、ｙもｘに一意に対応する。従って、ｙはｎに一意に対応する。図２は、格子空間上の点ｎによって１対１に対応する変形格子空間を示す説明図である。

このように、ｙ＝ｇ（ｘ）＝ｇ（Ｖｎ）であるため、ｎに１対１に対応することを示すために、（８）式のように定義する。

（８）式より、画像マッチング問題は（９）式を満たす点ｙ_nを探索する問題に帰着する。

このような画像マッチング問題を解法するために、点ｙ_nに関する動的システムを解法する問題に帰着させる。図３は、点ｙ_nに関する動的システムの状態を説明する説明図である。図３に示すように、点ｙ_nは周囲の点との関係も考慮しつつ（９）式を満たす状態に移動していき平衡状態に収束する。本実施の形態では、この平衡状態に到達したときに画像マッチングが完了したものとしている。

点ｙに対して新たな時間軸τを導入し、関数ｙ_n（τ）を定義する。ここで、初期値は、（１０）式に示すように、正方格子ｘと同一であるとする。

また、τが無限大においてｙ_n（τ）が収束するとし、（１１）式のように定義する。

ここで、時間τに関する微分は（１２）式で定義する。

一般的に動的システムは、（１３）式に示される常微分方程式によって記述され、この（１３）式は運動方程式である。

ｙ_n（τ）に作用する力について考えると、まず、動的システムを駆動させる力となる画像相関ポテンシャルエネルギーによる力（画像相関ポテンシャル力）を考える。この画像相関ポテンシャル力は、ｙ_n（τ）が（９）式を満たす状態に移動するための力である。（９）式を変形して、（１４）式が得られる。

しかし、（１４）式を厳密に満たす点を探索することは、画像に含まれるノイズ成分などにより困難であるため、次の（１５）式に示すエネルギー関数を考え、このエネルギー関数Ｅ_uが最小となる点を探索する。

エネルギー関数Ｅ_uが最小となる点を探索する場合には、最急降下法の原理を用いる。この最急降下法の原理を用いることで、ｙ_n（τ）の周りでエネルギー関数Ｅ_uの最急降下の方向に下っていくことにより局所的最小値を求めることができる。このため、この最急降下の方向への勾配をｙ_n（τ）に対する力として定義する。エネルギー関数Ｅ_uは画像の相関と考えることができるので、本実施の形態では、この力を画像相関ポテンシャルエネルギーによる力Ｆ_uとしてる。

本実施の形態では、最急降下の方向への勾配を、局所最適化の手法によって直接求めている。図４および図５は、画像相関ポテンシャル力の概念を示す説明図である。ここで、画像モデルＳ_cは連続画像モデルであり、実際にはサンプリングされた画像モデルＳ_pを利用しているため、局所最適化においてもサンプリングされた画像モデルに基づいておこなっている。

ｙ_n（τ）にもっとも近いサンプリング点を局所空間中心ｙ_cとして、ｙ_cを（１６）式で求める。

そして、隣接空間Ｌを（１７−１）式で定義する。このとき、局所探索集合Ωは、（１７−２）式のように定義することができる。

そして、局所最適化の後、最急降下の方向へのベクトルを求め、求めたベクトルを正規化し勾配の大きさを乗算すると、画像相関ポテンシャル力として（１８−１）〜（１８−３）式が得られる。本実施の形態では、画像相関ポテンシャル力として（１８−１）〜（１８−３）式を使用している。

なお、実装上の扱いやすさ等を考慮してエネルギー関数を（１９）式のように定義すると、画像相関ポテンシャル力として、（２０−１）〜（２０−３）式が得られる。このため、画像相関ポテンシャル力として、（２０−１）〜（２０−３）式を用いることもできる。

次に、格子点と周辺の点との関係を記述する力について説明する。本実施の形態では、画像マッチングの対象の画像は３次元空間を２次元に投影したものと考える。例えば、３次元空間上のオブジェクトが剛体であるとすると、２次元画像では剛体の表面がオブジェクトとして観測される。３次元空間上のオブジェクトが対象画像と参照画像で観測されるとすると、それぞれの画像上で観測されるオブジェクトの位相は維持される確率が高い。図６は、対象画像オブジェクト上の点ｘの位置関係と参照画像オブジェクト上の点ｙ_n（τ）の位置関係を示す説明図である。図６に示すように、対象画像オブジェクト上の点ｘの位置関係は参照画像オブジェクト上の点ｙ_n（τ）で維持されることがわかる。このような性質は、格子点ｙ_n（τ）の間をバネで接続してバネの弾性力が作用するとみなすことによって格子点と周辺の点との関係を記述することができる。本実施の形態では、格子点と周辺との関係はバネによる弾性力、すなわち弾性エネルギー力Ｆ_kによって記述している。

まず、対象となる格子点周辺の格子点集合Ｌ_nを定義する。周囲４点の場合には格子点集合Ｌ_nは（２１）式で示される。

このとき、バネ定数をｋとして、格子点ｙ_n（τ）に作用するバネの弾性力（弾性エネルギー力）は、（２２）式で示される。

また、格子点ｙ_n（τ）の周囲４点を接続したとみなすと、弾性エネルギー力Ｆ_kは（２３）式で示される。

次に、格子点に保存されたエネルギーを散逸させる力について説明する。格子点ｙ_n（τ）にかかる力が、画像相関ポテンシャル力と弾性エネルギー力のみの場合には、エネルギーが保存されてしまうために格子点ｙ_n（τ）の動的システムが振動する定常状態となってしまう。このため、本実施の形態では、格子点ｙ_n（τ）に保存されているエネルギーを散逸させる力を導入し、このような力として摩擦力を作用させている。格子点ｙ_n（τ）の速度が十分に小さい場合には摩擦力は（２４）式で示される。

以上説明した画像相関ポテンシャル力Ｆ_u、弾性エネルギー力Ｆ_k、摩擦力Ｆμを使用して、格子点ｙ_n（τ）に対する運動方程式を画像マッチング状態遷移モデルとして生成すると、（２５−１）、（２５−２）式で示される。

本実施の形態では、画像相関ポテンシャル力算出部１０３によって、（１８−１）、（１８−２）、（１８−３）式で示される画像相関ポテンシャル力Ｆ_uを計算し、弾性エネルギー力算出部１０４によって（２３）式で示される弾性エネルギー力Ｆ_kを計算し、摩擦力算出部１０５によって（２４）式で示される摩擦力Ｆμを計算する。そして、解法処理部１０１によって（２５−１）、（２５−２）式で示される運動方程式を数値解析処理によって解法して対象画像と参照画像の格子点間の写像を求めている。

次に、この解法処理部１０１による運動方程式の解法について説明する。（２５−１）、（２５−２）式で示される運動方程式、すなわち常微分方程式は、一般的に解析的に解法することができないため、この運動方程式の系が収束するのに十分大きな時間Ｔを考え、数値解析によってｔ＝（０，Ｔ）区間を計算することによって運動方程式の収束状態を推定する。

本実施の形態では、常微分方程式は初期値が定まれば離散変数法によって一意に解が求まることを利用して、オイラー法による数値解析処理を行っている。

尚、本実施の形態ではオイラー法による数値解析処理を行っているが、これに限定されるものではない。離散変数法には、オイラー法以外にも、ルンゲクッタ法、ブリルシュ・ストア法、予測子・修正子法、隠的ルンゲクッタ法など種々の手法があり、このため、数値解析処理として、これらのいずれの手法を用いてもよい。以下はオイラー法を用いた数値解析処理を例にあげて説明する。

オイラー法は、一階の常微分方程式に対する数値解法であるため、（２６）式の変数変換を（２５−１）、（２５−２）式を運動方程式に施すことにより、（２５−１）、（２５−２）式を一階の常微分方程式に変換する。これにより、（２７−１）、（２７−２）式が得られる。

一方、常微分方程式（２８）式をオイラー法で数値解析処理を行って解法する場合には、（２９）式のようにｔ⁽ⁿ⁾からｔ⁽ⁿ⁺¹⁾=ｔ⁽ⁿ⁾+ｈへ解を進展させる。

ここで、ｘ⁽ⁿ⁾はｎステップであることを示し、ｈはステップ幅である。オイラー法のスキームを（２７−１）、（２７−２）式に適用すると（３０−１）、（３０−２）式の更新式が得られる。

本実施の形態では、解法処理部１０１によって、（２７−１）、（２７−２）式の更新式を繰り返して解法することによって運動方程式（２５−１）、（２５−２）式の系の収束状態を求めている。

次に、判定部１０２による画像相関ポテンシャル力算出処理を実行するか否かの判定処理について説明する。画像相関ポテンシャル力Ｆ_uの計算量は、（１８−１）、（１８−２）、（１８−３）式からわかるように膨大となり、画像マッチング処理全体の計算時間を増加させる要因となっている。このため、本実施の形態では、画像相関ポテンシャル力Ｆ_uの算出を行うか否かを判定して、行わない場合には前回の画像相関ポテンシャル力Ｆ_uを利用して運動方程式（２５−１）、（２５−２）式の解法処理を行って計算量の削減を図っている。

画像相関ポテンシャル力Ｆ_uは、（３１−１）〜（３１−６）式で示される。

ここで（３１−３）式は、局所的な最適化を行う部分であり、画像相関ポテンシャル力Ｆ_uの計算量の大部分を支配している。この局所的最適化は、（３２−１）〜（３２−３）式で示される探索集合Ω内で最適な格子点を探索する処理（計算）である。

図７は、局所的最適化の概念を示す模式図である。図７に示すように、探索点Ψ（＝Ψ_1,n ⁽ⁿ⁾）は、対応点自身を示し、探索点ｙ_cは対応点の周囲の画素位置を示す。

このとき、参照画像の第２の格子点であるΨ（＝Ψ_1,n ⁽ⁿ⁾）とは微細な範囲で位置が異なるが、画素位置を四捨五入すると同一の位置となる第２の格子点Ψ'（＝Ψ'_1,n ⁽ⁿ⁾）を考える。ここで、第２の格子点Ψ（＝Ψ_1,n ⁽ⁿ⁾）は上記運動方程式の時間で第１の時刻における第２の格子点であり、第２の格子点Ψ'（＝Ψ'_1,n ⁽ⁿ⁾）は上記運動方程式の時間で第２の時刻における第２の格子点（すなわち、解法処理部１０１による第２の格子点Ψ（＝Ψ_1,n ⁽ⁿ⁾）に対する数値解析処理のステップと異なるステップにおける第２の格子点）である。図８は、Ψと画素位置を四捨五入すると同一の位置となる点Ψ'の位置関係を示す説明図である。このようなΨと画素位置を四捨五入すると同一の位置となる点Ψ'は、Ψに最も近い画素の近傍を意味している。このとき、点Ψ'（＝Ψ'_1,n ⁽ⁿ⁾）を中心とする新しい探索集合は、（３３−１）〜（３３−３）式で示される。

上述した通り、Ψ'（＝Ψ'_1,n ⁽ⁿ⁾）はΨ（＝Ψ_1,n ⁽ⁿ⁾）の画素位置を四捨五入した位置にある点である。よって（３４）式の関係を有する。したがって（３５）が成立する。

従って、探索集合Ω’は、（３６）式で示される集合と等価となる。（３６）式は、探索集合Ω、Ω’は１０個の要素から構成されるが両者のうちの９個が同じ要素であることを意味している。

また、点Ψ'_1,n ⁽ⁿ⁾とΨ_1,n ⁽ⁿ⁾の画素値が近似していると仮定すると、探索集合Ω、Ω’内の探索結果は同一となる確率が高い、すなわち、Ψ_1,n ⁽ⁿ⁾に最も近い画素位置の近傍の点Ψ'_1,n ⁽ⁿ⁾では局所最適化の結果が同一になる確率が高い。従って、このように点Ψ'_1,n ⁽ⁿ⁾にもっとも近い点Ψ_1,n ⁽ⁿ⁾の特性を利用することによって高精度を維持したまま計算量の削減を可能とすることができる。

このため、本実施の形態では、上記運動方程式の時間で第１の時刻における第２の格子点である第２の格子点Ψ_1,n ⁽ⁿ⁾と上記運動方程式の時間で第２の時刻における第２の格子点Ψ_1,n ⁽ⁿ⁺¹⁾（すなわち、解法処理部１０１による第２の格子点Ψ_1,n ⁽ⁿ⁾に対する数値解析処理のステップと異なるステップにおける第２の格子点Ψ_1,n ⁽ⁿ⁺¹⁾）をとり、判定部１０２によって、Ψ_1,n ⁽ⁿ⁺¹⁾がΨ_1,n ⁽ⁿ⁾と四捨五入すると同一となるか否か（すなわち、Ψ_1,n ⁽ⁿ⁺¹⁾が最近画素Ψ_1,n ⁽ⁿ⁾の近傍か否か）を判定し、同一となる場合には最近画素の近傍であると判断して、画像相関ポテンシャル力算出部１０３によって局所最適化の計算をおこなわずに前回のΨ_1,n ^(n-1)の画像相関ポテンシャル力の算出結果を利用している。判定部１０２による最近画素の近傍か否かの判定は、（３７）式で行っている。

なお、本実施の形態では、判定部１０２によって、Ψ_1,n ⁽ⁿ⁺¹⁾がΨ_1,n ⁽ⁿ⁾と四捨五入すると同一となるか否かを（３７）式で判定しているが、この他、Ψ_1,n ⁽ⁿ⁺¹⁾がΨ_1,n ⁽ⁿ⁾と一定の範囲内の近傍に存在するか否かを判定し、一定の範囲内の近傍に存在すると判定された場合には、画像相関ポテンシャル力算出部１０３によって局所最適化の計算をおこなわずに前回のΨ_1,n ⁽ⁿ¹⁾の画像相関ポテンシャル力の算出結果を利用するように構成してもよい。この場合の判定部１０２による判定は、（３８）式で行われる。

このような判定結果を反映した画像相関ポテンシャル力の更新式は（３９−１）〜（３９−６）式で示される。本実施の形態の画像相関ポテンシャル力算出部１０３では、（３９−１）〜（３９−６）式を用いて画像相関ポテンシャル力を算出している。

ここで、画像相関ポテンシャル力の算出を行わない、すなわち局所最適化の計算をおこなわない場合（φ(ｎ)=１の場合）には、局所最適化の結果ｙ_minにｙ_min ^(n-1)が設定される。

次に、以上のように構成された本実施の形態にかかる画像マッチング装置１００による画像マッチング処理について説明する。図９は、画像マッチング装置１００による画像マッチング処理の手順を示すフローチャートである。具体的には、先に示した（３０−１）、（３０−２）式を数値解析により解法することにより画像マッチング処理を実現している。

まず、解法処理部１０１は、時間ｔ⁽⁰⁾＝０に設定し（ステップＳ９０１）、初期値Ψ_1,n ⁽⁰⁾＝Ｖｎ、Ψ_2,n ⁽⁰⁾＝０を設定する（ステップＳ９０２）。これにより、（３０−２）式が実行される。

次に、画像相関ポテンシャル力算出処理部１０３によって、すべてのｎに対して画像相関ポテンシャル力Ｆ_u(n,Ψ_1,n ⁽ⁿ⁾)を（３９−１）〜（３９−６）式によって算出する（ステップＳ９０３）。かかる画像相関ポテンシャル力Ｆ_u(n,Ψ_1,n ⁽ⁿ⁾)の算出処理については後述する。

次いで、弾性エネルギー力算出処理部１０４によって、すべてのｎに対して弾性エネルギー力Ｆ_k(n,Ψ_1,n ⁽ⁿ⁾)を（４０）式により算出する（ステップＳ９０４）。そして、摩擦力算出処理部１０５によって、すべてのｎに対して摩擦力Ｆμ(n,Ψ_1,n ⁽ⁿ⁾)を（４１）式により算出する（ステップＳ９０５）。

次に、解法処理部１０１によって、（３０−１）式の更新式を、ステップＳ９０３で算出した画像相関ポテンシャル力Ｆ_u(n,Ψ_1,n ⁽ⁿ⁾)、ステップＳ９０４で求めた弾性エネルギー力Ｆ_k(n,Ψ_1,n ⁽ⁿ⁾)、ステップＳ９０５で求めた摩擦力Ｆμ(n,Ψ_1,n ⁽ⁿ⁾)で更新する（ステップＳ９０６）。

次に、解法処理部１０１によって、Ψ_1,n ⁽ⁿ⁾の値をフレームメモリ１０６に保存する（ステップＳ９０７）。そして、解法処理部１０１によって、ｔ⁽ⁿ⁺¹⁾=ｔ⁽ⁿ⁾+ｈと更新し（ステップＳ９０８）、ｎを１だけ増加する（ステップＳ９０９）。そして、ｔ⁽ⁿ⁺¹⁾があらかじめ定められた時間Ｔを越えたか否かを判断し（ステップＳ９１０）、越えていない場合には、上記ステップＳ９０３からＳ９０９を繰り返し実行する。一方、ｔ⁽ⁿ⁺¹⁾がＴを越えた場合には、解法処理部１０１によって、すべてのｎに対して、ｙ_noptにΨ_1,n ⁽ⁿ⁾を設定する（ステップＳ９１１）。

次に、ステップＳ９０３における画像相関ポテンシャル力の算出処理について説明する。図１０は、実施の形態１にかかる画像相関ポテンシャル力の算出処理の手順を示すフローチャートである。画像相関ポテンシャル力は（３９−１）〜（３９−６）式によって算出される。

まず、判定部１０２によってフレームメモリ１０６からΨ_1,n ⁽ⁿ⁾を取得し（ステップＳ１００１）、Ψ_1,n ⁽ⁿ⁾とΨ_1,n ⁽ⁿ⁺¹⁾は、四捨五入すると同一領域か否か、すなわちΨ_1,n ⁽ⁿ⁺¹⁾が最近画素Ψ_1,n ⁽ⁿ⁾の近傍位置に存在するか否かを、前述した（３７）式によって判定する（ステップＳ１００２）。そして、Ψ_1,n ⁽ⁿ⁾とΨ_1,n ⁽ⁿ⁺¹⁾は、四捨五入すると同一領域である場合（φ(n)=１の場合）、フレームメモリ１０６からｙ_min ^(n-1)を取得し（ステップＳ１００８）、局所最適化の結果ｙ_minにｙ_min ^(n-1)を設定する（ステップＳ１００９）。

そして、画像相関ポテンシャル力算出部１０３によって、（３９−２）式でｕ_dを算出し（ステップＳ１００６）、画像相関ポテンシャル力Ｆ_u(n,Ψ_1,n ⁽ⁿ⁾)を（３９−１）式で算出する（ステップＳ１００７）。

一方、ステップＳ１００２において、Ψ_1,n ⁽ⁿ⁾とΨ_1,n ⁽ⁿ⁺¹⁾は、四捨五入しても同一領域でない場合（φ(n)=０の場合）、画像相関ポテンシャル力算出部１０３によって、格子点ｙ_n(τ)をΨ_1,n ⁽ⁿ⁾として（３９−５）式により局所空間中心ｙ_cを計算する（ステップＳ１００３）。そして、画像相関ポテンシャル力算出部１０３によって、（３９−４）式に示す探索集合Ωに対して、局所最適化の結果ｙ_minを計算する（ステップＳ１００４）。次いで、画像相関ポテンシャル力算出部１０３によって、局所最適化の結果ｙ_minをｙ_min ⁽ⁿ⁾としてフレームメモリ１０６に保存する（ステップＳ１００５）。

そして、画像相関ポテンシャル力算出部１０３によって、（３９−２）式でｕ_dを算出し（ステップＳ１００６）、画像相関ポテンシャル力Ｆ_u(n,Ψ_1,n ⁽ⁿ⁾)を（３９−１）式で算出する（ステップＳ１００７）。

このように本実施の形態にかかる画像マッチング装置では、Ψ_1,n ⁽ⁿ⁾とΨ_1,n ⁽ⁿ⁺¹⁾は、四捨五入すると同一領域か否か、すなわちΨ_1,n ⁽ⁿ⁺¹⁾が最近画素Ψ_1,n ⁽ⁿ⁾の近傍位置に存在するか否かを判定し、同一領域である場合には、前回の画像相関ポテンシャル力を利用して画像相関ポテンシャル力の算出を行わないので、画像マッチング処理の計算量を削減して効率的な画像マッチング処理を実現することができる。

また、本実施の形態では、画像の格子点に対する画像相関ポテンシャル力、弾性エネルギー力および摩擦力を有する運動方程式を解法処理しているので、構造および処理が簡易かつ拡張性を有するとともに、画像中のノイズやオブジェクトの動きにかかわらず高精度な処理を実現することができ、さらに画像マッチング処理のモデル化による誤差を最小限にしてロバスト性を向上させるとともに、計算量を削減して効率的な画像マッチング処理を実現することができる。

図１１は、実施の形態１の画像マッチング処理の結果を示すグラフである。図１１において、横軸は時間であり、縦軸は、複数の画像データに対して画面全体に対する画像相関ポテンシャル力の算出処理を実行した点の割合、すなわち画像相関ポテンシャル力の算出処理をスキップできなかった点の割合（％）を示している。図１１からわかるように、計算量の削減効果を示しており、グラフが下方に向かうほど良好な計算削減効果が現れている。実際の計算量は、図１１のグラフのカーブを時間で積分したものであり、ほぼ１％程度となっている。これは画像相関ポテンシャル力の計算が元々の１％程度になっているということであり大きな計算量削減効果が得られることがわかる。一方、本実施の形態のような画像相関ポテンシャル力の算出処理の実行判定を行わない場合には、図１１のような計算量削減の効果は現れず、縦軸の値が１％の状態のまま変化しない。

（実施の形態２）
実施の形態２にかかる画像マッチング装置は、格子点の画素値との差に基づいて画像相関ポテンシャル力の算出を行うか否かを判定するものである。

図１２は、実施の形態２にかかる画像マッチング装置１２００の構成を示すブロック図である。本実施の形態の画像マッチング装置１２００では、エッジ検出部１２０１がもうけられている点、および判定部１２０２がエッジ検出部１２０１のエッジ検出結果によって、画像相関ポテンシャル力の算出を行うか否かを判定している点が実施の形態１と異なっている。

エッジ検出部１２０１は、対象画像の格子点の画素値と格子点の運動方程式における時間と異なる時間における格子点の画素値との差を検出して画素値の差があらかじめ定められた閾値以上であるエッジ領域を検出する処理部である。

本実施の形態における判定部１２０２は、実施の形態１と同様の判定処理を行う他、エッジ検出部１２０１によってエッジ領域が検出された場合に、画像相関ポテンシャル力の算出処理をスキップしないと判定している。

図１３は、エッジ領域と非エッジ領域における点Ψ（＝Ψ_1,n ⁽ⁿ⁾）の相違を示す模式図である。実施の形態１では、点Ψ_1,n ⁽ⁿ⁾の近傍の点Ψ'_1,n ⁽ⁿ⁾では画素値が近いものと仮定して判定処理を行っているが、図１３に示すようにエッジ領域では、点Ψ_1,n ⁽ⁿ⁾の近傍の点Ψ'_1,n ⁽ⁿ⁾であっても、画素値が近似するとは限らない。従って、点Ψ_1,n ⁽ⁿ⁾の近傍の点Ψ'_1,n ⁽ⁿ⁾では局所最適化の結果が同一になる確率が低くなってくる。このため、本実施の形態では、まず、点Ψ_1,n ⁽ⁿ⁾とΨ'_1,n ⁽ⁿ⁾がエッジ領域に存在するか否かを判定し、エッジ領域に存在する場合には、画像相関ポテンシャル力の算出処理をスキップせずに実行することとしている。

図１４は、実施の形態２にかかる画像相関ポテンシャル力の算出処理の手順を示すフローチャートである。

まず、エッジ検出部１２０１によってフレームメモリ１０６からΨ_1,n ⁽ⁿ⁾を取得し（ステップＳ１４０１）、Ψ_1,n ⁽ⁿ⁾の近傍におけるエッジ領域の検出処理を行う（ステップＳ１４０２）。かかるエッジ検出処理は、Ψ_1,n ⁽ⁿ⁾の画素値と近傍の点における画素値とを比較して、画素値の差があらかじめ定められた閾値以上である場合にはエッジ領域と判定する。例えば、たたみ込み演算による微分オペレータなどを利用してエッジ検出を行うことができる。

そして、エッジ検出処理の結果、Ψ_1,n ⁽ⁿ⁾の近傍がエッジ領域であるか否かを調べ（ステップＳ１４０３）、エッジ領域でないと判定された場合には（ステップＳ１４０３：Ｎｏ）、後述するステップＳ１４０４からＳ１４０７までの画像相関ポテンシャル力算出処理をスキップし、画像相関ポテンシャル力算出部１０３によってフレームメモリ１０６からｙ_min ^(n-1)を取得し（ステップＳ１４１０）、局所最適化の結果ｙ_minにｙ_min ^(n-1) を設定する（ステップＳ１４１１）。

そして、画像相関ポテンシャル力算出部１０３によって、（３９−２）式でｕ_dを算出し（ステップＳ１４０８）、画像相関ポテンシャル力Ｆ_u(n,Ψ_1,n ⁽ⁿ⁾)を（３９−１）式で算出する（ステップＳ１４０９）。

一方、ステップＳ１４０３において、Ψ_1,n ⁽ⁿ⁾の近傍がエッジ領域であると判断された場合には（ステップＳ１４０３：Ｙｅｓ）、画像相関ポテンシャル力算出処理をスキップせずに以下の処理を行う。すなわち、Ψ_1,n ⁽ⁿ⁾とΨ_1,n ⁽ⁿ⁺¹⁾は、四捨五入すると同一領域か否か、すなわちΨ_1,n ⁽ⁿ⁺¹⁾が最近画素Ψ_1,n ⁽ⁿ⁾の近傍位置に存在するか否かを、前述した（３７）式によって判定する（ステップＳ１４０４）。これ以降の処理は実施の形態１と同様に行われる（ステップＳ１４０５〜Ｓ１４０９）。

このように本実施の形態にかかる画像マッチング装置１２００では、格子点の画素値との差に基づいて画像相関ポテンシャル力の算出を行うか否かを判定し、エッジ領域でない場合に画像相関ポテンシャル力算出処理をスキップしているので、画像マッチング処理の計算量を削減するとともに、より高精度な画像マッチング処理を実現することができる。

（実施の形態３）
実施の形態３にかかる画像マッチング装置は、時間の経過に従って画像相関ポテンシャル力の算出処理を行うか否かを判定するものである。

時刻τが小さいときには格子点全体は比較的大きな動きを行うため、かかる時間帯ではあまり画像相関ポテンシャルエネルギーの力の計算をスキップしない方が好ましい。

しかしながら、時刻τが大きくなると格子点全体はあまり動かなくなるので、画像相関ポテンシャルエネルギーの力の算出処理をスキップしても精度に対する影響が小さくなる。

このため、本実施の形態では、時刻τの大きさによって画像相関ポテンシャル力の算出処理を実行するか否かを判定している。

本実施の形態の画像マッチング装置の構成は、実施の形態１と同様である。本実施の形態では、判定部１０２は、実施の形態１または実施の形態２と同様の判定処理を行う他、さらに時刻τの大きさによって画像相関ポテンシャル力の算出処理を実行するか否かを判定している。

図１５は、実施の形態３にかかる画像相関ポテンシャル力の算出処理の手順を示すフローチャートである。

まず、判定部１０２によってフレームメモリ１０６からΨ_1,n ⁽ⁿ⁾を取得し（ステップＳ１５０１）、画像マッチング処理開始からの時間τがあらかじめ定められた一定時間より大きいか否かを調べる（ステップＳ１５０２）。そして、時間τがあらかじめ定められた一定時間より大きい場合には、画像相関ポテンシャル力算出部１０３によってフレームメモリ１０６からｙ_min ^(n-1)を取得し（ステップＳ１５０９）、局所最適化の結果ｙ_minにｙ_min ^(n-1)ヲ設定する（ステップＳ１５１０）。

そして、画像相関ポテンシャル力算出部１０３によって、（３９−２）式でｕ_dを算出し（ステップＳ１５０７）、画像相関ポテンシャル力Ｆ_u(n,Ψ_1,n ⁽ⁿ⁾)を（３９−１）式で算出する（ステップＳ１５０８）。

一方、ステップＳ１５０２において、時間τがあらかじめ定められた一定時間以下であると判断された場合には、Ψ_1,n ⁽ⁿ⁾とΨ_1,n ⁽ⁿ⁺¹⁾は、四捨五入すると同一領域か否か、すなわちΨ_1,n ⁽ⁿ⁺¹⁾が最近画素Ψ_1,n ⁽ⁿ⁾の近傍位置に存在するか否かを、前述した（３７）式によって判定する（ステップＳ１５０３）。これ以降の処理は実施の形態１と同様に行われる（ステップＳ１５０４〜Ｓ１５０８）。

このように本実施の形態にかかる画像マッチング装置では、時間の経過に従って画像相関ポテンシャル力の算出処理を行うか否かを判定しているので、画像マッチング処理の計算量を削減するとともに、より高精度な画像マッチング処理を実現することができる。

なお、時間τの経過によって、画像相関ポテンシャル力を算出する格子点の数を変更するように構成することができる。例えば、時刻τが小さいときには画像相関ポテンシャル力の算出を行わない格子点の総数を小さくし、時刻τが大きくなってくると画像相関ポテンシャル力の算出を行わない格子点の総数を大きくするようにスケジュールをあらかじめ定めておき、画像マッチング処理の際に、かかるスケジュールを参照して、画像相関ポテンシャル力を算出する格子点を決定するように構成することができる。また、この場合には、画像相関ポテンシャル力の算出を行わない格子点ランダムに定める構成を採用することができる。

また、画面の領域毎に、格子点の動きを統計した統計情報をあらかじめ定めておき、かかる統計情報を参照して、画像相関ポテンシャル力の算出を行うか否かを判定してもよい。例えば、統計的に大きく動く点がたくさん含まれる領域とそうではない領域を判定し、大きく動く領域に対しては画像相関ポテンシャル力の算出を行わないランダム確率を小さくし、統計的に大きく動く点が少量である領域ではランダム確率を大きくするような手法を採用することもできる。

実施の形態１〜３の画像マッチング装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

実施の形態１〜３の画像マッチング装置で実行される画像マッチングプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施の形態１〜３の画像マッチング装置で実行される画像マッチングプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の〜装置で実行される〜プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施の形態の画像マッチングプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施の形態１〜３の画像マッチング装置で実行される画像マッチングプログラムは、上述した各部（解法処理部、判定部、画像相関ポテンシャル力算出部、弾性エネルギー力算出部、摩擦力算出部、エッジ検出部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像マッチングプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、（解法処理部、判定部、画像相関ポテンシャル力算出部、弾性エネルギー力算出部、摩擦力算出部、エッジ検出部）が主記憶装置上に生成されるようになっている。

実施の形態１にかかる画像マッチング装置の構成を示すブロック図である。 格子空間上の点ｎによって１対１に対応する変形格子空間を示す説明図である。 点ｙ_nに関する動的システムの状態を説明する説明図である。 画像相関ポテンシャル力の概念を示す説明図である。 画像相関ポテンシャル力の概念を示す説明図である。 対象画像オブジェクト上の点ｘの位置関係と参照画像オブジェクト上の点ｙ_n（τ）の位置関係を示す説明図である。 局所的最適化の概念を示す模式図である。 点Ψと画素位置を四捨五入すると同一の位置となる点Ψ'の位置関係を示す説明図である。 画像マッチング装置１００による画像マッチング処理の手順を示すフローチャートである。 実施の形態１にかかる画像相関ポテンシャル力の算出処理の手順を示すフローチャートである。 実施の形態１の画像マッチング処理の結果を示すグラフである。 実施の形態２にかかる画像マッチング装置１２００の構成を示すブロック図である。 エッジ領域と非エッジ領域における点Ψ（＝Ψ_1,n ⁽ⁿ⁾）の相違を示す模式図である。 実施の形態２にかかる画像相関ポテンシャル力の算出処理の手順を示すフローチャートである。 実施の形態３にかかる画像相関ポテンシャル力の算出処理の手順を示すフローチャートである。

符号の説明

１００，１２００ 画像マッチング装置
１０１ 解法処理部
１０２，１２０２ 判定部
１０３ 画像相関ポテンシャル力算出部
１０４ 弾性エネルギー力算出部
１０５ 摩擦力算出部
１０６ フレームメモリ
１２０１ エッジ検出部

Claims (7)

1. 対象画像と参照画像との間の対応関係を求める画像マッチング装置であって、
   前記対象画像上に設定され、前記対象画像を格子状に分割した複数の第１の格子点の各々と、前記参照画像上で当該第１の格子点と１：１に対応して設定され、前記参照画像を格子状に分割した複数の第２の格子点の各々との間で画像の相関が高い程小さいエネルギーとなる画像相関ポテンシャルエネルギーを算出するとともに、前記各第２の格子点の位置と当該第２の格子点に対応する前記各第１の格子点の位置とによる最急降下方向へのベクトルに前記画像相関ポテンシャルエネルギーの勾配を乗じて、前記第２の格子点が受ける画像相関ポテンシャル力を算出する画像相関ポテンシャル力算出部と、
   前記各第２の格子点と当該第２の格子点に隣接する他の第２の格子点との間の距離が遠い程大きいエネルギーとなる、前記第２の格子点が受ける弾性エネルギー力を算出する弾性エネルギー力算出部と、
   前記各第２の格子点に対して、前記各第２の格子点の変位方向と反対方向に作用する摩擦力を算出する摩擦力算出部と、
   前記画像相関ポテンシャル力と前記弾性エネルギー力と前記摩擦力とによる前記各第２の格子点に関する運動方程式に対して離散変数法による解法処理を行い、前記第２の格子点の平衡状態を求める解法処理部と、
   前記各第２の格子点に関して、前記運動方程式の時間で現在の時刻における位置である現在位置と前記運動方程式の時間で過去の時刻における位置である基準位置とが所定の基準よりも近い場合には、前記画像相関ポテンシャル力の算出処理を実行しないと判定する判定部と、を備え、
   前記画像相関ポテンシャル力算出部は、前記判定部によって前記画像相関ポテンシャル力の算出処理を実行しないと判定された前記第２の格子点に関しては、前回算出した前記画像相関ポテンシャル力を今回の前記画像相関ポテンシャル力とすることを特徴とする画像マッチング装置。
2. 前記判定部は、前記現在位置が前記基準位置から所定の範囲内である前記第２の格子点に関して、前記画像相関ポテンシャル力の算出処理を実行しないと判定する請求項１に記載の画像マッチング装置。
3. 前記基準位置は、前記運動方程式の時間で最も近い過去の時刻における位置であることを特徴とする請求項２に記載の画像マッチング装置。
4. 前記判定部は、前記現在位置と前記基準位置との間の距離があらかじめ定められた範囲内である前記第２の格子点に関して、前記画像相関ポテンシャル力の算出処理を実行しないと判定する請求項２に記載の画像マッチング装置。
5. 前記各第２の格子点に関して、前記現在位置における画素値と前記基準位置における画素値との差を検出するエッジ検出部をさらに備え、
   前記判定部は、前記画素値の差が閾値より小さい前記第２の格子点に関しては、前記画像相関ポテンシャル力の算出処理を実行しないと判定する請求項１〜４のいずれか一つに記載の画像マッチング装置。
6. 対象画像と参照画像との間の対応関係を求める画像マッチング方法であって、
   前記対象画像上に設定され、前記対象画像を格子状に分割した複数の第１の格子点の各々と、前記参照画像上で当該第１の格子点と１：１に対応して設定され、前記参照画像を格子状に分割した複数の第２の格子点の各々との間で画像の相関が高い程小さいエネルギーとなる画像相関ポテンシャルエネルギーを算出するとともに、前記各第２の格子点の位置と当該第２の格子点に対応する前記各第１の格子点の位置とによる最急降下方向へのベクトルに前記画像相関ポテンシャルエネルギーの勾配を乗じて、前記第２の格子点が受ける画像相関ポテンシャル力を算出する画像相関ポテンシャル力算出ステップと、
   前記各第２の格子点と当該第２の格子点に隣接する他の第２の格子点との間の距離が遠い程大きいエネルギーとなる、前記第２の格子点が受ける弾性エネルギー力を算出する弾性エネルギー力算出ステップと、
   前記各第２の格子点に対して、前記各第２の格子点の変位方向と反対方向に作用する摩擦力を算出する摩擦力算出ステップと、
   前記画像相関ポテンシャル力と前記弾性エネルギー力と前記摩擦力とによる前記各第２の格子点に関する運動方程式に対して離散変数法による解法処理を行い、前記第２の格子点の平衡状態を求める解法処理ステップと、
   前記各第２の格子点に関して、前記運動方程式の時間で現在の時刻における位置である現在位置と前記運動方程式の時間で過去の時刻における位置である基準位置とが所定の基準よりも近い場合には、前記画像相関ポテンシャル力の算出処理を実行しないと判定する判定ステップと、を含み、
   前記画像相関ポテンシャル力算出ステップは、前記判定ステップによって前記画像相関ポテンシャル力の算出処理を実行しないと判定された前記第２の格子点に関しては、前回算出した前記画像相関ポテンシャル力を今回の前記画像相関ポテンシャル力とすることを特徴とする画像マッチング方法。
7. 対象画像と参照画像との間の対応関係を求める画像マッチングプログラムであって、
   前記対象画像上に設定され、前記対象画像を格子状に分割した複数の第１の格子点の各々と、前記参照画像上で当該第１の格子点と１：１に対応して設定され、前記参照画像を格子状に分割した複数の第２の格子点の各々との間で画像の相関が高い程小さいエネルギーとなる画像相関ポテンシャルエネルギーを算出するとともに、前記各第２の格子点の位置と当該第２の格子点に対応する前記各第１の格子点の位置とによる最急降下方向へのベクトルに前記画像相関ポテンシャルエネルギーの勾配を乗じて、前記第２の格子点が受ける画像相関ポテンシャル力を算出する画像相関ポテンシャル力算出ステップと、
   前記各第２の格子点と当該第２の格子点に隣接する他の第２の格子点との間の距離が遠い程大きいエネルギーとなる、前記第２の格子点が受ける弾性エネルギー力を算出する弾性エネルギー力算出ステップと、
   前記各第２の格子点に対して、前記各第２の格子点の変位方向と反対方向に作用する摩擦力を算出する摩擦力算出ステップと、
   前記画像相関ポテンシャル力と前記弾性エネルギー力と前記摩擦力とによる前記各第２の格子点に関する運動方程式に対して離散変数法による解法処理を行い、前記第２の格子点の平衡状態を求める解法処理ステップと、
   前記各第２の格子点に関して、前記運動方程式の時間で現在の時刻における位置である現在位置と前記運動方程式の時間で過去の時刻における位置である基準位置とが所定の基準よりも近い場合には、前記画像相関ポテンシャル力の算出処理を実行しないと判定する判定ステップと、をコンピュータに実行させ、
   前記画像相関ポテンシャル力算出ステップは、前記判定ステップによって前記画像相関ポテンシャル力の算出処理を実行しないと判定された前記第２の格子点に関しては、前回算出した前記画像相関ポテンシャル力を今回の前記画像相関ポテンシャル力とすることをコンピュータに実行させるための画像マッチングプログラム。

Images