JP4303454B2 - Correlation function peak position determination method - Google Patents

Description

【００６０】
ここで、λは光ビーム１３４の波長、ｄはピンホール開口板１５０とアレイ１６６の表面との間の距離、ｗは円形ピンホール１５２の直径、αは距離ｄに等しい半径の円における寸法ｗ分の円弧に対応する中心角である。
【００６１】
様々な実施の形態において、光学式位置トランスデューサ１００のこれらのパラメータに対する典型的な値は、λ＝０．６μｍ、ｄ＝１０ｃｍ（１０⁵μｍ）、ｗ＝１ｍｍ（１０³μｍ）である。結果的に、スペックルサイズＤは概略６０μｍとなる。
【００６２】
高解像度を達成するためには、平均スペックルサイズが、光検出器１６０の画像エレメント１６２のピクセルサイズに略等しいか、又はそれよりも僅か大きい場合が最も有効である。さらに、読取ヘッド１２６の各種の実施の形態では、平均スペックルサイズが、画像エレメント１６２のピクセル間隔の略２倍から１０倍である。
【００６３】
画像を獲得するために、信号生成処理回路２００が信号ライン１３２に駆動信号を出力して、コヒーレント光ビーム１３４を発射させるべくコヒーレント光源１３０を駆動する。光ビーム１３４が光学拡散粗面１０４の一部分を照明し、これによって、光検出器１６０の画像エレメント１６２のアレイ１６６に画像が生成される。このとき、信号生成処理回路２００には複数の信号部分が信号ライン１６４を介して入力される。ここでの各信号部分は、個々の画像エレメント１６２のうち１つ又はそれ以上によって検出された画像値に対応する。
【００６４】
２つの画像の間で光学拡散粗面１０４の変位を決定するために、光検出器１６０から送られ信号生成処理回路２００で受け取った第１の画像を表す信号部分がメモリに格納される。少しの時間の経過後、信号生成処理回路２００は再度、コヒーレント光源１３０を駆動し、信号ライン１６４を介して光検出器１６０から第２の画像信号を受信する。一般に、第２の画像信号は、光検出器１６０に対する光学拡散粗面１０４の変位速度に応じた時間間隔で、第１の画像信号の得られた後の短い時間間隔の間に生成され、獲得されなければならない。この時間間隔は、第１及び第２の画像が十分に「重なり合って」いることを確実にするに十分な短さでなければならない。すなわち、その時間間隔は、第１の画像内に存在する画像値のパターンが第２の画像内にも存在して、２つの画像の間の重要な相関を決定することができることを確実にするに十分な短さでなければならない。
【００６５】
第１の画像と、第２の画像すなわち変位された画像とに対して、相関関数を生成するために処理が行われる。実際的には、第２の画像が、２つの画像のパターンを略整列させるようなオフセットを含むオフセットのある範囲又は空間変換位置のある範囲に亘って、第１の画像に対してディジタル的に移動される。相関関数はパターン整列の度合いを示し、したがって、２つの画像がディジタル的に移動されるとき、それらの画像が整列されるのに必要なオフセット量を示す。
【００６６】
図２，４及び６は、基準画像３００におけるピクセル構成の一実施の形態を示す図であるとともに、単一の次元３０４に沿って、光検出器１６０のような画像撮影装置を介して画像化された光学拡散粗面１０４のような表面を移動することによって得られる変位画像３１０におけるピクセル構成の一実施の形態を示す図である。すなわち、基準画像３００に対する変位画像３１０のオフセットは、単一の次元のみに沿って発生する。図２，４及び６に示すように、基準画像３００及び変位画像３１０の各々は複数の行３２０及び複数の列３３０で編成される。第１の画像を第２の画像と比較する技術が他に多く存在する。例えば、図２に示すような従来の技術では、現状の第２の画像の全フレームが第１の画像の全フレームとピクセル毎に比較され、単一の相関値がそれぞれ生成される。
【００６７】
このように、図２に示すような従来の技術では、変位画像３１０が第１のオフセット位置で基準画像３００と先ず比較される。このオフセット位置では、変位画像３１０の左右の端が基準画像３００の左右の端に並べられる。このオフセット位置で、基準画像３００のピクセル３０２の各々を変位画像３１０の対応のピクセル３１２と比較することによって、相関関数値が決定される。その後、変位画像３１０が基準画像３００に対して変位方向３０４に沿って１ピクセル分移動される。このオフセット位置で再度、変位画像３１０のピクセル３１２の各々が、そのオフセット位置における基準画像３００の対応のピクセル３０２と比較される。各比較の行われた後に第２の画像を第１の画像に対して１ピクセル分移動することによって生成された一連の相関値は、図３に示すように、相関関数として図表化され得る。
【００６８】
図２に示す特定の例では、変位画像３１０が基準画像３００に対して左方向に６ピクセルすなわち６オフセット位置だけ移動されている。勿論、変位画像３１０を基準画像３００に対して左及び右の両方向に変位させるようにしてもよい。また、変位画像３１０が、合理的で正確な相関関数値ポイントを得られそうなほど十分に基準画像３００に重ね合わされている限り、変位画像３１０を基準画像３００と突合させ続けるようにしてもよい。さらに、基準画像及び変位画像の領域に位置するが、基準画像及び変位画像のうちの他方の領域で重ねあわされることがないピクセルに関して、それらのピクセルがデフォルト値を有するピクセルと比較され、またはデフォルト比較値若しくはそれに類するものを割り当てられるようにしてもよい。
【００６９】
現状の基準画像の全フレームが現状の変位画像の全フレームと比較されるとき、周期境界条件（cyclical boundary conditions）を使用するようにしてもよい。後述の数式（２）及び（３）に示すように、相関値が行毎に得られ、行相関値が合計される。そしてこの合計値が、ノイズ減少した平均相関関数値ポイントを得るために、Ｍ行に亘って平均化される。この平均化は、相関関数値ポイントが、相関関数の極値を決定するために補間を行うことによって得られる解像度に対しておおよそ安定になることを確実にするために望ましいことである。したがって、相関関数の極値を決定するべく補間を行うことによっておおよそナノメータの解像度を得るために、各相関関数値ポイントが隣接の相関関数値ポイントから約１μｍだけオフセットされているとき、相関関数値ポイントが所望のナノメータ解像度値に対して大体安定になる必要があると考えられる。
【００７０】
図３は、前述の従来の乗算（multiplicative）相関関数方法による図２に示す従来技術を使って第１及び第２の画像を比較した結果を示すグラフである。図３に示すように、相関関数４００が、オフセット位置毎に相関関数値ポイントの各々をおおよそ接続することによって生成される。ここで相関関数４００は、距離４０４で示すピクセルピッチＰに対応する所定のオフセット増分だけＸ軸方向に離れた複数の離散相関関数値ポイント４０２を含む。この所定のオフセット増分は、図１に示す光学拡散粗面１０４の変位増分に直接関連するようにしてもよい。この変位増分は、測定軸１１０に対応する方向におけるアレイ１６６の個々の画像エレメント１６２の間の中心点どうしの実効距離に依存する。またこの変位増分は、以下の説明ではピクセルピッチＰとも呼び、また読取ヘッド１２６の光学式装置による光学拡散粗面１０４の変位の拡大量とも呼ぶ。
【００７１】
例えば、測定軸１１０に対応する方向における画像エレメント１６２の中心点どうしの実効距離が１０μｍであり、読取ヘッド１２６の光学式装置が表面変位を１０倍ほど拡大するならば、光学拡散粗面１０４の照明された部分の１μｍの変位は、画像エレメント１６２上のスペックルパターンの１０μｍの変位に拡大される。
【００７２】
相関関数値ポイント４０２の各々は、測定軸１１０に対応する方向における画像エレメント１６２の中心点どうしの実効距離だけ第１の画像に対して第２の画像をディジタル的に移動することによって生成される。この場合、画像エレメント１６２の中心点どうしの実効距離が光学拡散粗面１０４の約１μｍの変位に対応するので、離散相関関数値ポイント４０２は約１μｍの変位距離だけ離されることになる。
【００７３】
図３に示すように、相関関数４００の「特性（landscape）」は２つの異なる部分、すなわち通常バックグラウンド部分４１０とピーク部分４２０とに分割することができる。通常バックグラウンド部分４１０では、相関関数が比較的限られた範囲内の値を示し、実質的に平坦または一定である。ピーク部分４２０では、ピーク又は谷の極値が存在するとともに、実質的に急峻な傾斜部分を持ち、及び／又はバックグラウンド部分４１０での上記限られた範囲を実質上はみ出した相関値を示す。特に、通常バックグラウンド部分４１０は、ピーク部分４２０に含まれる相関関数値の範囲よりも実質上小さい値の範囲４１２内に相関関数値をもつ相関関数値ポイント４０２からなる。この範囲４１２はしばしば、ここに説明する各種の実施の形態では、相関関数の相関関数値の範囲に比べ狭いことがあるが、ピーク部分４２０を通常バックグラウンド部分４１０から確実に区別できる限り、範囲４１２は、相関関数の相関関数値の範囲に対して如何なる特別な関係も持つ必要がない。かくして、通常バックグラウンド部分４１０での相関関数の偏移は相関関数ピークから容易に区別できるが、これ以外の場合には各種の適用例において実際上著しくでこぼこしているかもしれない。
【００７４】
なお、通常バックグラウンド部分４１０では、相関関数値ポイント４０２が最大バックグラウンド値４１４よりも大きくなく、最小バックグラウンド値４１６よりも小さくない相関関数値を有する。これとは対照的に、ピークタイプの相関関数値においては、ピーク部分４２０内に位置する相関関数値ポイント４０２のほとんど全てが、最大バックグラウンド値４１４よりも著しく大きい相関関数値を有する。同様に、谷タイプの相関関数値においては、ピーク部分４２０内に位置する相関関数値ポイント４０２のほとんど全てが、最小バックグラウンド値４１６よりも著しく小さい相関関数値を有する。
【００７５】
一般に、相関関数ピーク部分４２０内に位置する相関関数値ポイント４０２は通常、２つの画像が最も密接に整列されているオフセット位置を表す現実の相関関数ピーク４２２の両側にほとんど等しく配置される。したがって、現実の相関関数ピーク４２２は、相関関数ピーク部分４２０の幅４２４の中心点又はその付近に大体は位置する。
【００７６】
しかし、上記に概説したように、この従来の技術では、ピクセルどうしの各相関値を決めるために、また第１の画像におけるピクセル毎のピクセルどうしの各比較用の相関値を蓄積するために、また適切なスケーリング基準を適用するために、また可能性のある相関関数値ポイント４０２の各々に対してこれを実行するために、かなり大きいシステムリソース量が提供されねばならない。これは特に、第２の画像が第１の画像に対して少なくとも２つの直交方向に移動できるときに正に当てはまる。この場合、単一の全フレーム比較が、行方向に位置するｍ列の各々において可能なオフセット毎に行われるばかりでなく、列方向に位置するｎ行の可能なオフセット毎に、ｍ列のオフセット毎とともに行われる。
【００７７】
したがって、この従来の技術では、１次元変位に関して、第１の画像及び第２の画像の各々が、Ｍ行のピクセル及びＮ列のピクセルの２次元アレイにおいて配置されたＭ×Ｎピクセルから成るとき、１つの共通の相関アルゴリズムは下記式（２）のようになる。
【００７８】
【数２】

【００７９】
ここで、Ｒ(ｐ)は現在のオフセット値に対する相関関数値、ｐはピクセル単位の現在のオフセット値、ｍは現在の列、ｎは現在の行、Ｉ₁は第１の画像における現在のピクセルの画像値、Ｉ₂は第２の画像における画像値である。
【００８０】
この従来の技術では、ｐは−Ｎから＋Ｎまで１ピクセルずつ変化する。しかし通常、ｐの範囲は−Ｎ／２から＋Ｎ／２まで、−Ｎ／３から＋Ｎ／３まで、またはこれに類する範囲に制限される。
【００８１】
２次元変位に関しては、現在の基準画像及び現在の変位画像の各々が、Ｍ行のピクセル及びＮ列のピクセルの２次元アレイにおいて配置されたＭ×Ｎピクセルから成るとき、１つの共通の相関アルゴリズムは下記式（３）のようになる。
【００８２】
【数３】

【００８３】
ここで、Ｒ(ｐ,ｑ)は２次元の各々における現在のオフセット値に対する相関関数値、ｐは第１の次元に沿ったピクセル単位の現在のオフセット値、ｑは第２の次元に沿ったピクセル単位の現在のオフセット値、ｍは現在の列、ｎは現在の行、Ｉ₁は第１の画像における現在のピクセルの画像値、Ｉ₂は第２の画像における画像値である。
【００８４】
この従来の技術でも同様に、ｑが−Ｍから＋Ｍまで１ピクセルずつ変化する。しかし通常、ｑの範囲は−Ｍ／２から＋Ｍ／２まで、−Ｍ／３から＋Ｍ／３まで、またはこれに類する範囲に制限される。
【００８５】
結果として、この従来の技術では、１次元変位において、２Ｍ個の相関関数値ポイントまでの相関値を、また２次元の変位が許されるシステムにおいては、２Ｍ×２Ｎ個の相関関数値ポイントまでの相関値を決定することが求められる。そのため、従来の全フレーム解析では、１次元変位においてシステムリソース量が過剰に消費され、また２次元変位においてはその度合いがずっと高くなる。その結果、全フレーム相関には、著しい処理能力と高速プロセッサとのうち一方又は両方を持つシステムが必要となる。こうしたシステムがなければ、全フレーム相関関数ピーク探索処理をリアルタイムで実行することは不可能となる。
【００８６】
しかし、引用した６７１出願に概説されるように、補間によって非常に高精度にオフセット位置の決定を行ったときでも、通常、相関関数４００のピーク部分４２０における極値付近の数ポイントのみが、実際のオフセット位置の決定に使用されるだけである。そのため、相関関数ピーク部分４２０に位置する相関関数値ポイント４０２のうちいくつかはオフセット位置の決定に使用されないし、バックグラウンド部分４１０内に位置する相関関数値ポイント４０２はどれもがそれに使用されない。
【００８７】
そこで発明者は、相関関数４００のピーク４２２に近い各相関関数値ポイントの全相関関数値を決定することが望ましくなる前に、相関関数ピーク部分４２０内にある相関関数値ポイント４０２の位置を突き止めることによって、相関関数ピーク４２２の位置を概ね決定することが正に必要であるということに注目した。また発明者は、相関関数ピーク部分４２０内に位置するそのような相関関数値ポイント４０２が、相関関数４００を疎らに検索することにより、及び相関関数４００に疎らに配置された１つ又はそれ以上の相関関数値ポイント４０２の相関関数値を決定することによって、特定され得ることに注目した。
【００８８】
上記に指摘したように、ピーク４２２周辺の僅かの相関関数値ポイント４０２がしばしば、相関関数４００の真のピークのオフセット位置を決定するために使用される。そこで発明者は、ピーク４２２のオフセット位置を決定するために、相関関数４００のピーク部分４２０内に位置するスパースセット（sparse set、疎らに配置された相関関数値ポイントの組）における相関関数値ポイント４０２のいくつかだけを使用することが可能であるかもしれないということに注目した。すなわち、ピーク４２２のオフセット位置を、相関関数４００のピーク４２２に近い各相関関数値ポイント４０２の相関関数値を決定しなくとも決定できる。
【００８９】
発明者はまた、本発明に係るシステム及び方法において使用される相関関数値ポイントのスパースセットの技術が特に効果を挙げる高空間周波数画像に関して、通常バックグラウンド部分４１０の範囲４１２における値の平均値についての多少の先験的知識（priori knowledge）が、及び最大バックグラウンド値４１４及び最小バックグラウンド値４１６の近似値についての多少の先験的知識が一般的に存在することに注目した。
【００９０】
例えば、図１に示すスペックル画像ベースの光学式位置トランスデューサ１００において、光学拡散粗面１０４がそのような高空間周波数画像を生成する。そのような高空間周波数スペックル画像が、所与の光学拡散粗面１０４における上記に説明した基準画像及び変位画像として使用されたとき、バックグラウンド部分４１０の最大バックグラウンド値４１４及び／又は最小バックグラウンド値４１６は非常に安定していて、スペックル画像ベースの光学式位置トランスデューサ１００の製造過程で決定され得る。その結果、使用された相関関数の方式に応じて最大バックグラウンド値４１４又は最小バックグラウンド値４１６を信号生成処理回路２００に格納することができ、スレッショールドとして使用することができる。実際上は、スペックル画像ベース位置トランスデューサ１００において、レーザ強度に対する相関関数値Ｒ(ｐ,ｑ)の依存性を取り除くために、Ｒ(ｐ,ｑ)がしばしば、画像強度の平均値に関連して正規化される。これにより、これらの状態では相関関数の値が実際に相関関数の正規化値となる。
【００９１】
すなわち、信号生成処理回路２００は、ピーク部分４２０の相関関数値ポイントがそれ以上又は以下になるに違いない相関関数バックグラウンド値４１４又は４１６に関しての先験的知識を有する。その結果、先験的値との簡単な比較が行われ、最大バックグラウンド値４１４より上に位置し、又は最小バックグラウンド値４１６より下に位置する、相関関数値を持つ単一の相関関数値ポイントを発見することにより、ピーク部分４２０の大体の位置が迅速に決定される。
【００９２】
発明者は更に、そのような高空間周波数画像におけるピーク部分４２０の幅４２４が相関関数領域の全範囲に比べ概ね狭いということを発見した。発明者はまた、ピーク部分４２０の端における相関関数値ポイント４０２の相関関数値が、通常バックグラウンド部分４１０内に位置する相関関数値ポイント４０２の平均相関関数値から明らかにそれているということを発見した。すなわち一般に、実際の相関関数ピーク４２２のすぐ近傍まで、そうした高空間周波数画像が、ピーク部分４２０から遠い位置よりもピーク部分４２０に近い位置で、より相関づけられることがなくなる。これとは対照的に、Musmann に開示されるスパース検索技術で使用される画像のような非高空間周波数画像は、非常に広く浅い相関関数値ピークを有する。すなわち、Musmann に開示される技術は、全部のポイントでの相関関数が相関関数ピーク位置の方向に向いた勾配を有するという理由だけで、作用する。
【００９３】
或る局面では、基準画像３００及び変位画像３１０として使用されるべき特定な画像についての利用可能ないかなる先験的知識も存在しないかもしれない。しかし、発明者はさらに、そうした先験的知識が利用できなくとも、相関関数４００が決定されるときはいつでも、そうした先験的知識を容易に引き出すことができるということに注目した。すなわち一般に、大抵の高空間周波数画像、バックグラウンド部分４１０の平均値、及び範囲４１２にとって、通常バックグラウンド部分４１０の最大バックグラウンド値４１４及び最小バックグラウンド値４１６は略安定であり、特に、ピーク部分４２０内に位置する相関関数値ポイント４０２に対応して得られる相関関数値と比較して安定である。
【００９４】
このため、これらの値を、変位画像を基準画像と従来のように比較することによって得られた、十分に明確にされた相関関数から引き出すことができる。これらの値はまた、所与の画像をそれ自身と比較することによって、すなわち自己相関によって引き出され得る。加えて、上記に概説した理由と同じ理由により、自己相関関数のピーク部分の幅（ゼロオフセット位置での定義による）を、ゼロオフセット位置から遠い相関関数値ポイントの相関関数値を決定することなしに、ゼロオフセット位置近くの相関関数値の少なくとも１つのサブセットの相関関数値を決定することによって決定できるようにしてもよい。同様に、図３を参照して上記に概説した理由と同じ理由により、画像の全ピクセルよりも少ないピクセルを、自己相関関数における相関関数値の生成に使用できるようにしてもよい。
【００９５】
図４及び図５に示す本発明に係る第１の実施の形態では、図２及び図３を参照して説明した従来の画像相関関数ピーク探索処理に代わって、画像相関関数のピーク探索が２（又はそれ以上）段階の処理として行われる。特に、図４に示すように、列３３０毎に変位画像３１０を基準画像３００と比較するよりも、変位画像３１０を基準画像３００と、互いに離れて選択された列３３２でのみ比較する。
【００９６】
例えば、図４に示す実施の形態では、変位画像３１０が現在、列３３２−２に対応するオフセット位置で基準画像３００と比較されている。前回の比較では、変位画像３１０が、今回の列３３２−２から１つ又はそれ以上スキップした列３３２だけ離れている列３３２−１に対応するオフセット位置で基準画像３００と比較されている。同じように、変位画像３１０の基準画像３００との次回の比較は、今回の列３３２−２から１つ又はそれ以上スキップした列３３２だけ離れている列３３２−３で行われる。
【００９７】
すなわち、第１のステージでは、多数の疎らに配置されたオフセット位置において、変位画像の全ての行が基準画像の対応の行と全部比較されて、相関値が生成される。これにより、各比較が行われた後、図５に示す相関値に対応するそのような一連のスパース相関値、すなわち相関関数値ポイント４０２のスパースセットが、変位画像３１０を基準画像３００に対して、所定数のピクセル分、若しくは動的に決定される数のピクセル分だけ、又は連続した所定のオフセット位置における次の位置に、若しくは動的に決まるオフセット位置に移動することによって生成される。
【００９８】
次に、本発明に係るスパース検索技術の第１の実施の形態では、第１のステージで決定された相関関数値ポイント４０２のスパースセットに対して解析が行われ、これによって、バックグラウンド部分４１０の相関関数値の範囲４１２の外側に位置するスパースセットの相関関数値ポイント４０２が特定される、すなわち、相関関数４００のピーク部分４２０内に位置するスパースセットの相関関数値ポイント４０２が特定される。上記に概説したように、本発明のシステム及び方法において使用される光学拡散粗面１０４での画像のような高空間周波数画像では、相関関数の通常バックグラウンド部分４１０における相関関数値ポイント４０２、すなわち、ピーク部分４２０に位置しないポイント４０２が、通常バックグラウンド部分４１０の平均値からほんの僅か離れて分布する値を有する。すなわち、通常バックグラウンド部分４１０の相関関数値ポイントの値は、最大バックグラウンド値４１４よりも大きくならないし、また、最小バックグラウンド値４１６よりも小さくならない。
【００９９】
かくして、図５に示す疎らに配置された相関関数値ポイントのセットにおける各相関関数値ポイント４０２の画像値を、最小バックグラウンド値４１６または最大バックグラウンド値４１４と比較することによって、スパースセットの相関関数値ポイント４０２を、バックグラウンド部分４１０の一部またはピーク部分４２０の一部として容易に分類することができる。ピーク部分４２０内に位置するスパースセットの相関関数値ポイント４０２のうち１つ又はそれ以上の相関関数値ポイント４０２を特定した結果、ピーク部分４２０及び相関関数のピーク又は谷を、だいたい特定することができる。
【０１００】
これに代わって、本発明に係るスパース検索技術の第２の実施の形態では、第２のステージで決定された相関関数値ポイント４０２のスパースセットを解析し、傾斜スレッショールドよりも大きな傾斜を持つスパースセットの相関関数値ポイント４０２における隣接の対のポイントが特定される。すなわち、図３,５,７−１０に示すように、バックグラウンド部分４１０内に位置する隣接した相関関数値ポイント４０２間で規定された相関関数の傾斜の絶対値は、ピーク部分４２０内に位置する少なくとも１つの対を持つ隣接する相関関数値ポイントにおける多くの対の間の傾斜の絶対値よりも著しく小さい。
【０１０１】
したがって、バックグラウンド部分内に両方とも位置する２つの相関関数値ポイントのどのセットの間における傾斜の最大絶対値も、傾斜スレッショールドとして決定され得る。そして、スパースセットの隣接の相関関数値ポイントのどのセットに対しても、それらの２つのスパース相関関数値ポイントの間における相関関数のスパース傾斜を決定することができる。その傾斜の絶対値は傾斜スレッショールドと比較され得る。スパース傾斜の絶対値が傾斜スレッショールドよりも大きいならば、隣接する相関関数値ポイントの対の少なくとも１つはピーク部分４２０内に位置する。
【０１０２】
これとは別に、最大正値傾斜及び最大負値傾斜を１対の傾斜スレッショールドとして同様に決定することができる。そして、スパース傾斜の値をその１対の傾斜スレッショールドと比較することができる。そこで、スパース傾斜が正値傾斜よりももっと正側にあるか負値傾斜よりももっと負側にあるならば、隣接する相関関数値ポイントの対の少なくとも１つはピーク部分４２０内に位置する。
【０１０３】
勿論、隣接する相関関数値ポイントの１対の両方がピーク部分４２０内に位置する限り、その相関関数値ポイントの対における傾斜の絶対値が上記の絶対値より小さいか若しくは等しいか、又はその傾斜が最大正値傾斜と最大負値傾斜との間の値であるようにしてもよい。これが、上記に説明したスパース検索技術に悪影響を及ぼすことを防止するために、相関関数値ポイントのスパースセットのうち隣接のものの対のいくつか又は全てが各種の実施の形態で解析される。バックグラウンド部分４１０の平均値、最小値、及び／又は最大値のような傾斜スレッショールドまたは傾斜値を、自己相関関数から又は１セットの代表画像の相関関数から決定するように、又は予め決定するようにしてもよい。
【０１０４】
そして、第２のステージでは、ピーク部分４２０の上記大体決められた位置に基づき、第１及び第２の画像が相関空間の周囲位置で、すなわち、ピーク部分４２０内に位置するオフセット位置で比較され、上記大体決められたピーク部分４２０内に位置する相関関数値ポイント４０２の全ての、又は少なくとも十分な数の相関値を生成する。特に、スパース検索が単に１つ又は数ピクセル分のピクセル変位を失うだけのため、第２のステージではしばしば、ピーク相関値に対応するピクセル変位が明確に決定される。引用の７６１出願に説明されているように、実際の相関ピーク４２２の周辺の相関値だけが、補間されたサブピクセル変位を決定するために使用されるようにしてもよい。かくして、上記の大体決定される相関ピーク４２２又は谷の周辺だけで、付加的な数の相関関数値ポイント４０２を決定する必要がある。
【０１０５】
図４及び図５に示す特定な実施の形態では、図２及び図３に示す実施の形態に比べ、２つ置きのオフセット位置だけが、相関関数値ポイント４０２を決定するために使用される。結果的に図５に示すように、相関関数値ポイント４０２のスパースセットのうち４つの相関関数値ポイント４０２ａ−４０２ｄだけが、相関関数ピーク部分４２０の幅４２４内に位置することになる。しかし、図２及び図３に示す従来技術におけるＭ個の相関関数値ポイントに比べ、Ｍ／３（又はもっと少ない数）個の相関関数値ポイント４０２だけがピーク部分４２０を構えるために決められる。勿論、ずっと多くの疎らに配置されたセットのオフセット位置を使用するようにしてもよい。
【０１０６】
なお、相関関数値ポイント４０２ｂは、バックグラウンド部分４１０の平均値から最も遠い相関関数値を有する。この相関関数値ポイント４０２ｂは、相関関数ピーク部分４２０内に位置するが、バックグラウンド部分４１０の平均値に、より近い相関関数値を有する１対の相関関数値ポイント４０２ａ及び４０２ｃによって挟まれている。したがって、実際の相関関数ピーク４２２は、第１の相関関数値ポイント４０２ａと第３の相関関数値ポイント４０２ｃとの間のどこかに存在する筈である。
【０１０７】
かくして、第１及び第３の相関関数値ポイント４０２ａ及び４０２ｃに対応するオフセット位置の間にある付加的な高解像度オフセット位置に対する相関関数値ポイントを決定することだけが必要である。さらに、相関関数値ポイント４０２の全セットの間で補間を行うために、または相関関数値ポイント４０２の全セットに曲線を適合させるために使用される特定な技術に応じて、例えば、相関関数値ポイント４０２ｂから２つ又は３つの高解像度オフセットステップ内のオフセットような、相関関数値ポイント４０２ｂに近いオフセットの相関関数値ポイントを決定することだけが必要であるかもしれない。
【０１０８】
上記で説明したように、図５に示す実施の形態では、相関関数値ポイントのスパースセットが、２つのオフセット位置置きに相関関数値を決定することによって生成される。すなわち、図５に示す実施の形態では、相関関数値ポイントのスパースセットが、所定数のオフセット位置又はピクセルだけスキップすることによって生成される。
【０１０９】
一般に、上述したように、本発明のシステム及び方法が特に適用可能である高空間周波数画像においては、バックグラウンド部分４１０の平均値、バックグラウンド部分４１０の最大値及び最小値４１４，４１６、並びに／又はピーク部分４２０の幅４２４及び大体の高さを、既知の物体を画像化するシステムの先験的知識として知ることが可能である。そのような状況には、図１に示すスペックル画像ベース光学式位置トランスデューサシステム１００での光学拡散粗面１０４を画像化することが含まれる。
【０１１０】
このような状況においては、ピーク部分４２０の幅４２４が分かっているので、相関関数値ポイント４０２のスパースセットの少なくとも１つが、如何なる相関関数４００でもその位置に拘らず、ピーク部分４２０の幅４２４内に確実に位置するように、相関関数値ポイント４０２のスパースセットに含まれる相関関数値ポイント４０２の所定数、すなわちそれらの間隔を、選択することができる。しかし、スパースセットの相関関数値ポイント４０２のうち２つまたは３つがピーク部分４２０の幅４２４内に確実に位置するように、望ましくは、相関関数値ポイントのスパースセットに十分な数の相関関数値ポイント４０２を含ませる（及びこれにより、より小さな空間を持たせる）ようにしてもよい。
【０１１１】
しかし上記のように、スパースセットに含まれるべき相関関数値ポイント４０２の数（及び相関関数値ポイント４０２のうち隣接するものの対の間隔）を動的に決定することによって、及び連続した順序で決定されるべき相関関数値ポイント４０２の所定の順序を決定すべく上記の数を使用することによって、又は連続した順序で決定されるべき相関関数値ポイント４０２の順序を動的に決定することによって、相関関数値ポイント４０２のスパースセットが、他の実施の形態において生成され得る。スパースセットに含まれるべき相関関数値ポイント４０２の数を動的に決定するとき（特に言わずとも、上記の間隔を決定することも含まれる）、前回の相関イベントで決定された前回のオフセットのスパースセットビュー（view）を動的に決定する場合のように、スパースセットを相関イべント毎に動的に決定するようにしてもよい。または、スパースセットを、相関処理において使用されるベース画像への変化に基づき動的に決定するようにしてもよい。ポイントのスパースセットを、通常処理の前に行われるセットアップモード若しくは校正モードの間に、又は各種の実施の形態において通常処理の間にほぼリアルタイムで若しくはリアルタイムで、動的に決定するようにしてもよい。
【０１１２】
さらに、バックグラウンド部分４１０の範囲４１２の外側に位置する相関関数値を有した相関関数値ポイントはどれも、各種の実施の形態において、相関関数ピーク部分４２０の場所を特定するので、ピーク部分４２０内に位置する相関関数値ポイントのスパースセットのうち第１の決定された１つから、ピーク幅４２４よりも大きい距離だけ離れて位置する相関関数値ポイントの相関関数値を決定することは除外するようにしてもよい。この結果、相関関数ピーク部分４２０の幅が横断されたときはいつも、解析されていなかった相関関数値ポイント４０２のスパースセットのうちの相関関数値ポイント４０２をスキップすることによって、相関関数値ポイント４０２のスパースセットを更に減少させることが可能になる。
【０１１３】
すなわち、バックグラウンド部分４１０の正方向に向かう極値のための最大バックグラウンド値４１４より大きい相関関数値、又は負方向に向かう極値のための最小バックグラウンド値４１６より小さい相関関数値を有した相関関数値ポイントが特定されたときはいつでも、ピーク部分４２０の大体の場所が決定される。さらに、上述したように、ピーク部分４２０の幅４２４は多くの適用例において、相関関数４００の範囲に比べ非常に狭い。その結果、上述したように、ピーク部分４２０の大体の場所が特定されたときはいつでも、ピーク部分４２０における相関関数値ポイント４０２から、ピーク部分４２０の幅４２４よりも大きい距離だけ離れた如何なる相関関数値ポイント４０２に対する相関関数値を決定することも本質的に無用である。
【０１１４】
図３及び図５を参照して上記に説明した第１の実施の形態と更に別の実施の形態では、この結果を利用した、決定されるべき相関関数値ポイントのスパースセットに含まれる相関関数値ポイントの「２進」連続を利用するようにする。これは、相関関数値ポイント４０２のスパースセットのための或る１つのタイプの所定連続である。相関関数の間隔は、各極値オフセット位置で、かつ極値オフセット位置間のほぼ中間に位置するオフセット位置において、相関関数値ポイント４０２の相関関数値を最初に決定することによって、２進検索技術を用いて検索され得る。これらの相関関数値ポイント４０２のどれもがピーク部分４２０内に存在しないならば、予め決定された隣接する相関関数値ポイントの各対の間の略中間に位置する付加的な相関関数値ポイント４０２を決定することができる。この処理は、ピーク部分４２０に存在する相関関数値ポイントが特定されるまで繰返される。重要なことは、この反復処理を、そのような相関関数値ポイント４０２の少なくとも１つが特定された後は、継続する必要がないということである。
【０１１５】
このように、第１の反復では、第１の極値オフセット位置をオフセット位置−Ｌで有するとともに、第２の極値オフセット位置をオフセット位置＋Ｌで有する相関関数４００において（Ｌは画像フレーム次元に通常関連する）、−Ｌ，＋Ｌ及び０のオフセット値を有する相関関数値ポイント４０２に対する相関関数値が決定される。そして第２の反復では、−Ｌ／２及び＋Ｌ／２のオフセット値を有する相関関数値ポイントに対する相関関数値が決定される。更に第３の反復では、−３Ｌ／４，−Ｌ／４，＋Ｌ／４及び＋３Ｌ／４のオフセット値を有する相関関数値ポイント４０２に対する相関関数値が決定される。これが、相関関数値ポイント４０２の全スパースセットに対する相関関数値が決定されるまで、又は、これはもっと適当であるが、ピーク部分４２０の場所が特定されるまで続けられる。勿論、どの特定な反復の間においても、その反復において決定されるべき相関関数値ポイント４０２の１つがピーク部分４２０内に存在するならば、その相関関数値ポイント４０２からピーク部分４２０の幅４２４より大きい距離だけ離れたその反復における相関関数値ポイント４０２の他のどれもが、それらの相関関数値を決定してもらう必要がないようにしてもよい。
【０１１６】
この特定な変形例では、ピーク部分４２０の大体の場所がこの２進検索を用いて特定されたときはいつでも、第２のステージが実行され、ピーク部分４２０に存在するかもしれない相関関数値ポイント４０２の各々の相関関数値を決定する。これに代わって、第２のステージの変形として、ピーク部分内に位置する単一の相関関数値ポイントのみが通常この２進検索技術を用いて特定されるので、この変形の第２のステージでは、ピーク部分４２０内に位置する相関関数値ポイント４０２の周辺に配置された相関関数値ポイントの規則正しい間隔を持つスパースセットを、ピーク部分４２０の場所をより精密に決めるべく決定するようにしてもよい。
【０１１７】
そして、第３のステージでは、前述の第１の実施の形態で説明した第２のステージに関連して上述したように、ピーク部分４２０内の最も遠い相関関数値ポイント４０２ｂ及び隣接の相関関数値ポイント４０２ａ及び４０２ｃを、第２のステージで決定された相関関数値ポイントのこのスパースセットから特定することができる。そして、最も遠い相関関数値ポイント４０２ｂに隣接し、相関関数値ポイント４０２ａと相関関数値ポイント４０２ｃとの間に位置する相関関数値ポイントの少なくともいくつかを、特定な補間技術を実行するのに必要な相関関数値ポイント４０２を提供するべく決定することができる。
【０１１８】
図４及び図５に関連して上記に説明したスパースセット技術と更に別の実施の形態では、単一のスパースセットを用いるよりもむしろ、第１のステージにおいて、例えばピーク部分４２０の幅４２４よりも大きい間隔を有する相関関数値ポイントの第１の例示のスパースセットを使用することができる。そして、この間隔の大きいスパースセットの相関関数値ポイントのどれもがピーク部分４２０内に存在しないならば、第２のステージでは、相関関数値ポイント４０２の間隔の大きいスパースセットを所定量だけオフセットすることができる。または、間隔がそれよりは小さい第２のスパースセットを使用することができる。さらにピーク部分４２０の位置を決定できないならば、第３、第４などの、継続的により小さいオフセット、または間隔がより小さいスパースセットを用いた後続の反復処理を、ピーク部分４２０の場所が決まるまで行うことができる。
【０１１９】
ピーク部分４２０の場所が決まると、間隔がより小さい後続のスパースセットのどれもが、現状のスパースセットの相関関数値ポイントの残余であるので、それらを除外することができる。そして、図４及び図５に関連して説明した第１の実施の形態において上記に説明した第２のステージに対応する最終のステージを、相関関数ピーク４０２の実際の位置を決定するために役立つ相関関数値ポイント４０２を提供するべく実行してもよい。特に、各スパースセットにおける相関関数値ポイント４０２の場所が、２進検索技術の変形技術におけるように極値オフセット位置に対して正確に規定されないことを除いては、上記の実施変形例が２進検索技術の変形技術に本質的に類似するようにしてもよい。
【０１２０】
図６及び図７は、本発明に係る画像相関関数値ポイントのスパースセットの比較技術の第２の実施の形態を図示する。特に、図６及び図７に図示した第２の実施の形態において、発明者は、本発明のシステム及び方法が特に適合される高空間周波数画像において、どの特定の相関関数値ポイント４０２の相関関数値を決定するときにも、相関関数４００の正規化されたバックグラウンド部分４１０と正規化されたピーク部分４２０との間の関数的な関係を実効的に変更することなく、全てのピクセルよりも少ない数のピクセルを使用してその決定を行うことができる点に注目した。
【０１２１】
すなわち、図４に示す相関関数４００と同じように、図７に示す相関関数５００は、ポイント５０２ａ−５０２ｄを含んだ相関関数値ポイント５０２を有する通常バックグラウンド部分５１０を備え、この通常バックグラウンド部分５１０は、ピーク部分５２０に含まれる相関関数値の範囲よりも概略小さくて、範囲５１２内に位置する相関関数値を有する。範囲５１２は、最大バックグラウンド値５１４及び最小バックグラウンド値５１６によって規定される。相関関数５００は同様に、相関関数５００の領域に比べて一般的に狭い範囲の幅５３４からなるピーク部分５２０を有する。相関関数５００がとり得る相関関数値の範囲を除いて事実上、相関関数５００の全体形状は、相関関数４００の形状と少しも区別ができない。そのため、図６に示す第２の実施の形態におけるいくつかの実施例では、相関関数値ポイント４０２を決定するために、変位画像３１０内の各行Ｍの各ピクセルを、基準画像３００内の対応の行及びピクセルと比較することよりもむしろ、ほんの僅かな数の行Ｍ及び極値ではたった１つの行Ｍが、特定な相関関数値ポイント５０２の相関関数値を決定するために比較される。
【０１２２】
図８は、相関関数値ポイント４０２及び５０２の相関関数値を決定するときに、基準画像３００及び変位画像３１０の異なる量のピクセルを使うことによって得られる各種の異なる相関関数４００，５００，５００′及び５００″を図示する。図８に示す相関関数４００，５００，５００′，５００″が、図３，５，７に示す乗算相関関数と対照をなして、平均差相関関数（average difference correlation function）であるようにしてもよい。特に、図８に示すように、相関関数値を決めるために用いられるピクセルの行の数が、相関関数５００，５００′，５００″において段階的に小さくなるにつれて、バックグラウンド部分５１０の平均値、及びバックグラウンド部分５１０における平均値とピーク部分５２０に位置する相関関数値ポイント５０２の極値との差の両方が小さくなる。
【０１２３】
同時に、バックグラウンド部分５１０におけるノイズ、すなわち対応する最大バックグラウンド値５１４と最小バックグラウンド値５１６との間の範囲５１２が増加する。この実施の形態では、信号は、ピーク部分５２０に存在する相関関数値ポイントの極値の、対応のバックグラウンド部分５１０の平均値からの差である。行の数が減少するにつれてノイズが増え、また、ピーク部分５２０の極値と、対応のバックグラウンド部分５１０の平均値との差が減少するので、信号対雑音比が、ずっとより高速に減少するということができる。
【０１２４】
しかし、図８に示すように、ピクセル間隔の点から見て、ピーク部分５２０の相対的な幅５２４がほとんど変化しない。一般に、ピーク部分５２０の幅５２４、すなわち範囲５１２に近いが、範囲５１２の外側に位置する相関関数値ポイント間のオフセット差が、より大きなノイズのために、増加するよりもむしろ事実上、概して減少する。すなわち、バックグラウンド部分５１０の付加的なノイズによって大きくなる範囲５１２が、ノイズがより少ない第１の実施の形態であればピーク部分４２０の一部分として決定されたはずの相関関数値ポイント５０２を取り込むことになる。
【０１２５】
相関関数値ポイント４０２のスパースセットに含まれるべき相関関数値ポイント４０２の数を決定するための上記に説明した各種技術のいずれを、この第２の実施の形態の相関関数値における比較されるべき画像ピクセルの数を限定する技術と組み合わせるようにしてもよい。これにより、システムリソース量及び処理時間、並びに相関関数値ポイント５０２のスパースセットに含まれる相関関数値ポイント５０２の各々の相関関数値を決定するために必要となるパワーを一層更に減少させることが可能となる。
【０１２６】
例えば、各種の実施の形態において、少数の行だけが比較されるので、各比較が迅速に行われ得る。しかし、全体画像よりも少数の行だけが使用されるため、相関関数値ポイント毎に得られる相関関数値は、第２の画像の全部の行をそうした相関関数値ポイント毎の第１の画像の対応の行と比較することから得られる相関関数値に単に近いという関係にある。それにも拘らず、その近い相関関数値はなお、ピーク部分５２０の大体の場所を示すことができる。稀に、或る環境では著しく稀に、ピクセルが、相関関数値ポイント５０２のスパースセットにおける相関関数値ポイント５０２の相関関数値の決定に利用されるので、ピーク部分５２０の大体の場所の決定に必要なシステムリソース量が減少し、時として非常に減少する。
【０１２７】
図９は、変位画像３１０と基準画像３００とを相関させることによって得られる従来の相関関数６００のグラフである。ここでは、変位画像３１０が基準画像３００に対して２次元方向に変位され得る。特に、図９に示すように、相関関数６００は、図３,５、及び７に示す１次元相関関数に比べ、２次元方向に展開する。なお、図９に示す従来の２次元相関関数６００では、相関関数値ポイント６０２のポイントが非常に密集したセット（以下「デンスセット」という）が、従来の２次元相関関数６００に対して決定される。したがって、２次元相関関数６００のピーク部分６２０の位置及び相関関数ピーク（この場合は谷）６２２の位置は、非常に正確に決定される得るものの、相関関数値ポイント６０２のデンスセットの決定に多くのシステムリソースを必要とするため、これが、高速データプロセッサを使用したとしても、リアルタイムで相関関数６００を決定することを、不可能ではないとしても、困難にしている。
【０１２８】
このため、図１０に示すように、相関関数６００の全相関関数値ポイント６０２のセットから選択された相関関数値ポイント６０６のスパースセットが、１次元相関関数４００及び５００を基に上記に説明した第１の実施の形態によって使用されるならば、相関関数値ポイント６０６の２次元のスパースセットの決定に必要なシステムリソース量はかなり縮減される。図１０に示すように、或る実施の形態では、相関関数値ポイント６０６のスパースセットは、２次元相関関数６００中で、例えばグリッドのように規則正しく配置され得、これによって、相関関数値ポイント６０２のスパースセット６０６のうち少なくとも１つが狭いピーク部分６２０内に位置することを確実にする。図１０には、間隔が疎らに配置された相関関数値ポイント６０６のグリッドの一部分だけが明示されている。なお、相関関数値ポイント６０２のスパースセット６０６を２次元相関関数６００内でどんな方法で配置するようにしてもよい。
【０１２９】
特に、相関関数値ポイント６０６のスパースセットは、第１の実施の形態に関連して説明したマルチレベル検索技術の変形例を基に、上記に説明したように順に検索される相関関数値ポイント６０２の各種のサブセットに分解され得る。同様に、別の実施の形態では、上記に説明した１次元２進検索技術に類似した２次元２進検索技術を使用することができる。
【０１３０】
最後に、上記に説明した第２の実施の形態におけるように、基準画像及び変位画像の全ピクセルを比較するよりもむしろ、基準画像及び変位画像のピクセルのサブセットだけを比較するようにしてもよい。この結果、第２の実施の形態に関連して上記に説明したように、各相関関数値を決定するために必要なシステムリソース量が更に著しく減少することになる。
【０１３１】
上記に説明したように、相関関数値ポイント６０６のスパースセットの第１の又は多数のステージの各々における相関関数値が決定及び解析された後、２次元相関関数６００のピーク部分６２０の位置がひとたび決定されると、６７１出願に説明される技術を使った相関関数ピークの位置の決定に使用されるべき相関関数値ポイントの全部のセットに達して、相関関数値ポイントの疎ら度合いがより低いスパースセットにおける１つ又はそれ以上のステージを決定することができる。勿論、２次元相関関数のピーク部分の位置が決定されたときはいつでも、相関関数値ポイントの全部のセットを、６７１出願に説明された技術を使って現実の相関関数値ピークの位置を決定する際に単一のステージとして使用するようにしてもよい。
【０１３２】
取り分け、２次元相関関数６００のピーク部分６２０の位置を特定するために使用した相関関数値ポイント６０６のスパースセットは２次元方向に疎らに分布するので、全相関関数６００における相関関数値ポイント６０２の数に対する、スパースセットに含まれる相関関数値ポイント６０６の数の比は極端に小さい。したがって、２次元相関関数６００中を検索するために必要なシステムリソースを、図５及び図７に示す１次元相関関数における相関関数値ポイント４０２のスパースセットの相関関数を決定するために必要なシステムリソースの縮減に比べても、著しく縮減することができる。
【０１３３】
２次元相関関数において、上述の第１及び第３の相関関数値ポイント４０２ａ，４０２ｃに対応するピーク部分６２０内のポイント６０６が、ピーク部分６２０内の最も遠い相関関数値ポイント６０６の反対側に位置しないようにしてもよい。これによって、２次元相関関数において、それらの第１及び第３の相関関数値ポイント６０６を、２次元相関関数における最も遠い相関関数値ポイント６０６から全方向に展開するオフセット位置の範囲を規定するために使用することができる。同様に、この同じ技術を、１次元オフセット局面における相関関数値ポイント４０２ｂの周辺の範囲を決定するために使用することができる。そして、その範囲内の相関関数値ポイント６０６（又は４０２）のうち少なくともいくつかは、相関関数ピークのオフセット位置を決定するために使用される。
【０１３４】
図１１は、本発明に係る第１の解決に、相関関数空間における画像相関関数値ポイント位置のスパースセットを使用してピーク又は谷の位置を決定する方法の第１の実施の形態の概要を示すフローチャートである。図１１に示すように、処理がステップＳ１００で開始されてステップＳ２００に進み、そこで基準画像が撮影される。そしてステップＳ３００で、変位画像が撮影される。変位画像は基準画像に対して或る未知のオフセット量だけ変位され、基準画像に重ね合わされるようにしてもよい。この後、処理がステップＳ４００へ移る。
【０１３５】
ステップＳ４００では、基準画像と変位画像とを、複数の疎らに分布するオフセット位置において、すなわち、前に説明したスパースセット構成又は手順のどれかによって相関関数値ポイントのスパースセットに対応するオフセット位置において比較する。例えば、この第１の実施の形態では、ステップＳ４００において、相関関数値ポイントのスパースセットが予め決定されるか、または決定されるべき相関関数値ポイントの所定の順序に一致する。その後、処理がステップＳ５００に進む。
【０１３６】
ステップＳ５００では、相関関数値ポイントのスパースセットにおける相関関数値ポイントを解析し、相関関数のピーク部分内に位置するスパースセットの１つ又はそれ以上の相関関数値ポイントを特定する。上記に説明したように、ピーク部分内に位置するスパースセットの相関関数値ポイントは、スパースセットの相関関数値ポイントの相関関数値を、平均値、予め決定されて最大値、又は予め決定されて最小値のような、通常バックバックグラウンド部分の範囲の予め決定された特性と比較することによって決定され得る。この最小値又は最大値が使用されるか否かは、相関関数値を得るために使用される数理関数のタイプによって決まる。
【０１３７】
そしてピーク部分がステップＳ５００でいったん決定されると、ステップＳ６００で、大体決定されたピーク部分内に位置するオフセット位置のうち少なくとも１つの部分において相関関数値ポイントの全セットのような高解像度セットを決定する。すなわち、上述のように、全部分が、ピクセルピッチで離れて存在する多数の隣接するオフセット位置に一致する。しかし、ピーク部分内に存在するオフセット位置の全部を必ずしも決定する必要はないと言える。次にステップＳ７００で、ステップＳ６００で決定された相関関数値ポイントの全セットのうち少なくともいくつかの相関関数値を使用して、基準画像と変位画像との間の実際の変位またはオフセットを決定する。引用した６７１出願に明示される各種技術のどれかをステップＳ７００で使用するようにしてもよい。その後、処理がステップＳ８００へ進む。
【０１３８】
ステップＳ８００で、本方法の処理を終了すべきか否かを、又は付加的な変位を決定する必要があるか否かを判別する。付加的な変位を決定する必要があるならば、処理はステップＳ３００に戻り、後続の変位画像を撮影する。一方、そうした必要がなければ、処理はステップＳ９００に進み、本方法の処理を終了する。
【０１３９】
図１に示すスペックル画像ベースの光学式トランスデューサ１００のような位置トランスデューサにおける多くの適用例では、ステップＳ３００で撮影された変位画像がついには、ステップＳ２００で撮影された基準画像のフレームを超えて変位されるようにしてもよい。この場合、米国特許出願第09/860,636号に開示される各種技術をステップＳ８００とステップＳ３００との間に用いて、新たな基準画像を提供するようにしてもよい。なお、予め得られた変位画像を次の基準画像として使用するようにしてもよい。
【０１４０】
図１２は、本発明に係る第１の解決に、相関関数空間における画像相関関数値ポイント位置のスパースセットを使用してピーク又は谷の位置を決定する方法の第２の実施の形態の概要を示すフローチャートである。図１２及び図１１のステップＳ１００−Ｓ３００は同じ内容の処理である。しかし、ステップＳ４００及びＳ５００に関しては、図１１で説明した実施の形態では、ステップＳ４００で、スパースセットの全相関関数値ポイントにおける相関関数値を決定する。そしてステップＳ５００で、決定された全スパース相関関数値を解析する。これに対して、図１２に示すステップＳ４００及びＳ５００では、１つのスパース相関関数値の相関関数値をステップＳ４００で決定することができ、そしてステップＳ５００で、次のスパース相関関数値ポイントの相関関数値がステップＳ４００で決定される前に、その決定された現在の相関関数値を解析できるように変更される。この場合、図１２に示すように、ステップＳ５００の後でステップＳ６００の前にステップＳ５５０を追加し、そこで、現在の相関関数値ポイントを考慮して、ピーク部分の位置が十分に特定されたか否かを判別する。ピーク部分の位置が十分に特定されていないならば、処理はステップＳ４００に戻り、スパースセットの次の相関関数値ポイントの解析が行われる。ピーク部分の位置が十分に特定されたならば、処理はステップＳ６００及びＳ７００に進み、図１１のステップＳ６００及びＳ７００と同じように、ステップＳ６００で、相関関数ピークオフセット位置を決めるために決定されるべき相関関数値ポイントの高解像度セットを決定し、ステップＳ７００で、決定された高解像度セットを解析する。
【０１４１】
さらに、ステップＳ５５０の各種の変形例として、ピーク部分の第１の相関関数値ポイントが見つかるまで、またはピーク部分の所定数の相関関数値ポイントが見つかるまで、またはピーク部分のピーク幅内に位置するスパースセットの相関関数値ポイントから、ピーク部分内に位置するような、決定されるべき第１の相関関数値ポイントの両側までが決定されるまで、またはピーク部分４２０の幅が測定されるまで、処理をステップＳ４００に戻すようにしてもよい。これにより、ステップＳ５５０の各種の変形例では、ピーク部分内に潜在的に位置することができるスパースセットの複数の相関関数値ポイントを、処理がステップＳ６００に進む前に決定するようにする。これは、ステップＳ６００で決定され解析されたポイントの高解像度セットに含まれるべき特定な相関関数値ポイントを決定するとき有利である。
【０１４２】
図１１及び図１２を参照して上記に説明したフローチャートをまた、図５−８を参照して上記に説明した各種の変形例のいずれかと合体させるように改造して、ステップＳ４００及びＳ５００の各々で決定され解析されるべき相関関数値ポイントの別のスパースセットで、ステップＳ４００及びＳ５００の多数の実例を考慮するようにしてもよく、及び／又は図８を参照して上記に説明したように、ステップｓ４００で相関関数値を決定するべく実行される比較を改造するようにしてもよい。また、当業者ならば容易に理解できるように、図１１及び図１２に例示した方法及び上記したその付加的な変形例を、１次元オフセット及び２次元オフセットの両方で区別なく利用できるようにしてもよい。そうした変形の組み合わせが多数存在し得るが、ここでは、そうした潜在的な各組み合わせに対応する特定なフローチャートを記載しない。しかし、上記に明示した図５−１０に関わる説明を考慮すれば、当業者は、そうした変形例を実行する図１１及び図１２に説明した本発明に係る方法の実施の形態のそのような変形において実行されるべき特定なステップを容易に理解するものと思われる。
【０１４３】
図１３及び図１４は、「不鮮明化された（smeared）」高空間周波数画像の２つの実施の形態を示す。従来、画像相関技術では、図１５に示す画像のような鮮明な画像に比べ、この不鮮明化（以下「スミア」という）が画像を歪ませるので、そのようなスミア画像は、非常に望ましくないものと考えられていた。しかし、本発明に使用されるように、スミアを誘引する速度及び露出時間によって得られた産出物が、撮影された画像のピクセルサイズに比べ無視できないものであるとき、画像のスミアが発生する。一般に、図１３及び図１４に示すもののように、このスミアが認識できるほどであり、目に見えるほどであり、及び／又は測定できるほどであるとき、無視できないものとなる。スミアは従来、相関関数ピークの形状及び位置を著しく歪ませ、そのため、基準画像と変位画像との間の実際の変位の決定を妨げると信じられていた。しかし、画像撮影装置のピクセルサイズのオーダ上にある画像特徴に関して、画像化された物体が画像撮影装置に対して著しい速度で移動している間に撮影された画像はどれも、或る程度のスミアを持つ。
【０１４４】
一般に、静止画像に比べた画像特徴のスミア量Ｓは下記式（４）で表される。
【０１４５】
【数４】

【０１４６】
ここで、ｖは２次元オフセットの速度ベクトルであり（ｖは、１次元オフセットのスカラ速度）、ｔ_sはシャッタ時間（または光源のストロボ時間）である。
【０１４７】
なお、或る画像におけるスミア量Ｓを、その画像における自己相関関数のピーク部分から決定することができる。なおまた、スミア量Ｓを決定するために、単一の画像だけを要求するようにしてもよい。１次元変位における所与のピクセル変位（ｐ）に対する自己相関関数Ｒ(p)は下記式（５）で表される。
【０１４８】
【数５】

【０１４９】
同様に、２次元変位における所与のピクセル変位（ｐ,ｑ）に対する自己相関関数Ｒ(p,ｑ)は下記式（６）で表される。
【０１５０】
【数６】

【０１５１】
実際上は、与えられた画像の自己相関ピークが、１次元オフセットでは、ｐ＝０変位の中心に置かれ、また、２次元オフセットでは、ｐ＝ｑ＝０変位の中心に置かれるので、潜在的な全部のオフセット値に対してＲ(p)又はＲ(p,ｑ)を決める必要はない。むしろ、Ｒ(p)又はＲ(p,ｑ)を、（０）又は（０，０）のオフセット位置付近の中心に置かれた、相関関数の１次元又は２次元ピーク部分内に位置するそれらのオフセットに対してのみ、またはそれらのオフセットのスパースセットに対してのみ、決定することができる。また、Ｒ(p)又はＲ(p,ｑ)を決めるために全部の画像を使用する必要はないといえる。むしろ、全画像のサブエリアをＲ(p)又はＲ(p,ｑ)を決めるために使用するようにしてもよい。図６及び図７を参照して上記に説明したように、全画像よりも少ない画像を使用することは、演算時間を実質上減少させることになる。
図１６は、非スミア画像の２次元相関関数６００のピーク部分６２０における等高線図、及びスミア画像の２次元相関関数６００′のピーク部分６２０′における等高線図を示す。勿論、データポイントが、非スミア画像及びスミア画像を撮影するために使用された画像アレイのピクセル単位だけ分離されているので、これらの相関関数が現実には、連続でないと言える。
【０１５２】
相関関数のピーク部分内に位置する相関関数値ポイントの全部を算出することなく、及びアレイピクセルの全部を使うことなく、２次元変換オフセットにおけるスミアベクトル(または１次元オフセットにおけるスカラスミア量)を決定するための本発明に係る高速技術の一実施の形態では、列方向（ｐ）に沿って相関関数を決定するために１つの行Ｎ_xを使用し、行方向（ｑ）に沿って相関関数を決定するために１つの列Ｍ_yを使用する。すなわち、行Ｎ_xは、列方向（ｐ）に沿った各種のピクセル変位において自身に相関させ、列Ｍ_yは、列方向行方向（ｑ）に沿った変位において自身に相関させる。相関関数値ポイントのこのスパースセットの決定の結果、図１７に相関関数値ポイント６０８によって示すように、ｐ及びｑ方向に沿ったＲ(p,ｑ)が効果的に算出される。しかし、図１７の如何なる所与の相関関数値ポイント６０８における信号対雑音比をも改善するために、実際上、複数行Ｎ及び／又は複数列Ｍを使用することが望ましいかもしれない。一般に、１から５までのそうした行Ｎ又は列Ｍが、ピクセルサイズのオーダ上の画像特徴に対して合理的に使用され得る。
【０１５３】
ｐ及びｑ方向に沿った相関関数値ポイント６０８が決定されたときはいつでも、ピーク部分６２０′の幅６２４ｐ′及び６２４ｑ′を、これらの相関関数値ポイント６０８の値に基づいて決定することができる。その後、どの方向のスミアもを、ｐ及びｑ方向に沿ったピーク部分６２０′の幅６２４ｐ′及び６２４ｑ′のベクトル組み合わせに基づいてそれぞれ決定するようにしてもよい。
【０１５４】
ピーク部分６２０′の幅６２４ｐ′及び６２４ｑ′の最大長ベクトル組み合わせの方向が、スミア画像が撮影されたときに発生した動きの方向、すなわちスミアベクトルｖの方向を表すようにしてもよい。したがって、直交方向、またはピーク部分６２０′の幅６２４ｐ′及び６２４ｑ′の最小長ベクトル組み合わせの方向は、相対的でない動きの方向である。そこで、これらの２つの直交ベクトル長の間の差は、実際のスミア量に対応する。
【０１５５】
上記の解析はまた、２次元アレイによって画像化された１次元オフセットにも適用される。しかし、オフセットが常時、規定されたアレイ軸に沿っている適用例では、最小長組み合わせベクトルが常時１つのアレイ方向に沿っているようにしてもよい。そして、最小長組み合わせベクトルはしばしば既知の量となる。かくして、例えば、ｐ方向に沿って画像を移動するように制限された動きにおいて、ｐ方向に沿ったオフセットに対する相関関数値ポイントのみが決定される。そのとき、スミア量は、ｐ方向に沿った相関関数のピーク部分４２０の、動きに依存する幅４２４と、ｑ方向に沿った既知の最小ベクトル長とに基づいて決定される。
【０１５６】
スミアベクトルｖがいったん決定されると、距離対スミア度の関数を利用できるものと仮定すれば、スミア基準画像３００に対する変位画像３１０の大まかな相対的位置を予測することができる。この距離対スミア度の関数を、スミア関係Ｓ＝ｖ・ｔ_sと、スミア基準画像３００の獲得時と変位画像３１０の獲得時との間の既知の経過時間とに基づいて測定又は予測するようにしてもよい。
【０１５７】
この技術において、解析されるスミア画像が撮影されている間及びその後における加速が大き過ぎないと仮定するようにしてもよい。すなわち、この技術は、スミア基準画像の獲得時と変位画像の獲得時との間に大きな加速が発生する場合、その価値を下げることになる。しかし、スミア基準画像または変位画像のうち１つだけに全く同一の解析を施すよりも、スミア基準画像及び変位画像の両方に全く同一の解析を施し、その後、基準画像及び変位画像からのスミア結果を比較することによって、大きな加速におけるその決定が可能となるか、少なくとも部分的な調整が可能となる。
【０１５８】
しかし、上記の説明によって決定された１又は２次元のオフセットにおけるスミアベクトルｖがライン方向を示している限り、そのスミアベクトルは実際上、動きの発生したラインを表示しても、ラインに沿ってどちらの方向にその動きが発生したかを示していないと言える。したがって、（１次元オフセットにおける）スミアの大きさ、または（２次元オフセットにおける）スミアの大きさ及びライン方向を使用して、これによって、１次元又は２次元の相関関数４００及び６００のピーク部分４２０又は６２０の２つの候補的又は潜在的位置を概ねそれぞれ決定することができる。大体の候補的又は潜在的位置を知って相関関数ピークを検索することによって、相関関数ピークの大体の候補的又は潜在的位置から離れた相関関数値ポイントの相関関数値を決定してしまうことを回避することが可能となり、したがって、少ない処理回数でピークを発見することが可能となる。
【０１５９】
代わりに、直前の変位決定で決定された変位を、スミア方向の極性を選択するために使用するようにしてもよく、これによって、ピーク部分４２０又は６２０の単一の大体の位置だけを検索することが必要となる。すなわち、前の変位決定に続く加速が大き過ぎないと仮定したとき、その変位の方向を、２つの候補的又は潜在的位置のうち１つを除去するために使用するようにしてもよい。
【０１６０】
したがって、ピーク部分４２０又は６２０の大体の位置がいったん、スミア量及び／又は方向を用いて特定されると、大まかに決定された相関関数ピークオフセット位置の周辺に存在する相関関数値ポイント４０２又は６０６を正に含む或る限られた範囲の相関関数値ポイント４０２又は６０６を決定し、解析するようにしてもよい。各種の適用例では、上述したスミア手順が、上記のスパース検索手順を更に適用する際に余り効用がないような十分な精度によって、大まかに決定した相関関数ピークオフセット位置を分離するようにしてもよい。そのような場合、大まかに決定された相関関数ピークの周辺の限られた範囲に存在する全相関関数値ポイント４０２または６０６が、６７１出願におけると同じように解析される。６７１出願に開示される各種の技術によって実際のオフセット位置を決定する際に使用されそうな相関関数値ポイントだけが決定されるので、オフセット位置を決定するために必要なシステムリソースは、相関関数４００又は６００の全相関スペースを検索しなければならない場合に比べ、著しく減少される。
【０１６１】
しかし、他の適用例では、上記に明示されたスミア手続が、大まかに決定された相関関数ピークオフセット位置をもっと粗く分離するようにしてもよく、また上記限られた範囲が著しく増加するようにしてもよい。また、スミアが識別できない場合、その限られた範囲は最大値に設定されねばならない。その場合、上記のスミア技術を、各種実施の形態のいずれか及び／又は上記の相関関数値ポイントのスパースセットの技術の変形例と組み合わせて、オフセット位置を決定するために必要なシステムリソース量を更にずっと減少させるようにしてもよい。すなわち上記に説明したように、スミアの大きさ又はスミアベクトルは、１次元又は２次元相関関数４００及び６００の相関関数ピークの位置及びピーク部分４２０又は６２０を大まかにそれぞれ決定するだけである。そのため、スミアの大きさ又はスミアベクトルによってそれぞれ提供されたピーク部分４２０又は６２０の大体の位置についての情報を使用して、相関関数値ポイント４０２又は６０６のスパースセットを動的に決定することができ、これによって、ピーク部分４２０または６２０の大体の位置及び相関ピーク４２２又は６２２が、より高い精密度及び／又は解像度でそれぞれ決定される。
【０１６２】
その後、上記に説明したように、最も離れた相関関数値ポイント４０２ｂ又は６０６ｂの周辺のピーク部分４２０又は６２０内に位置する、相関関数値４０２又は６０６のスパースセット及び周辺の相関関数値ポイント４０２または６０６における最も離れた相関関数値ポイント４０２ｂ又は６０６ｂを決定する。次いで、６７１出願に説明される技術に対して有用な、相関関数値ポイントの全セットを決定するための上記に説明した各種の技術のうちどれを使用するようにしてもよい。この場合、スミア技術及びスパースセット技術を組み合わせたこの３ステージからなる技術を使用することによって、必要となるシステムリソースはずっと少ないものとなる。
【０１６３】
図１８は、図１に示す信号生成処理回路２００の一実施の形態を詳しく示すブロック図である。図１８に示すように、信号生成処理回路２００は、コントローラ２１０、光源ドライバ２２０、光検出インタフェース２２５、メモリ２３０、比較回路２４０、比較結果アキュムレータ２４５、補間回路２６０、位置アキュムレータ２７０、表示ドライバ２０１、オプション接続の入力インタフェース２０４、クロック２０８、オフセット位置セレクタ２７５、及び相関関数解析器２８０を含む。
【０１６４】
コントローラ２１０は、信号ライン２１１によって光源ドライバ２２０に、信号ライン２１２によって光検出インタフェース２２５に、そして信号ライン２１３によってメモリ２３０に接続される。同様に、コントローラ２１０は信号ライン２１４−２１８によって、比較回路２４０、比較結果アキュムレータ２４５、補間回路２６０、位置アキュムレータ２７０、及びオフセット位置セレクタ２７５にそれぞれ接続される。最後に、コントローラ２１０は、コントロールライン２０２によって表示ドライバ２０１に接続され、備えられていれば信号ライン２０５によって入力インタフェース２０４に接続される。メモリ２３０は、基準画像部２３２、現在画像部２３４、相関部２３６、相関オフセット位置セット部２３８、及び第２ステージ相関部２３９を含む。
【０１６５】
こうした構成の信号生成処理回路２００の動作を説明すると、コントローラ２１０が、制御信号を信号ライン２１１を介して光源ドライバ２２０に出力する。これに応答して、光源ドライバ２２０が、駆動信号を光源１３０に信号ライン１３２を介して出力する。引き続いて、コントローラ２１０が制御信号を光検出インタフェース２２５及びメモリ２３０へ信号ライン２１２，２１３を介して出力し、これによって、画像エレメント１６２の各々に対応する光検出器１６０から信号ライン１６４を介して受信された信号部分が現在画像部２３４に格納される。なお、個々の画像エレメント１６２からの画像値は、アレイ１６６内の個々の画像エレメント１６２の位置に対応する現在画像部２３４内の２次元アレイに格納される。
【０１６６】
画像が基準画像部２３２にいったん格納されると、コントローラ２１０は、光源１３０を駆動するための制御信号を、信号ライン３１１を介して光源ドライバ２２０へ出力する前に、適当な一定の時間又は制御された時間だけ待機する。そのとき、光検出インタフェース２２５及びメモリ２３０が信号ライン２１２，２１３からの信号によって制御されて、得られた画像が現在画像部２３４に格納される。
【０１６７】
次に、コントローラ２１０の制御の下で、オフセット位置セレクタ２７５が相関オフセット位置セット部２３８にアクセスする。相関オフセット位置セット部２３８は、１次元又は２次元相関関数４００又は６００のピーク位置４２０又は６２０を大まかに決定するために、第１のステージの間に使用されるべき相関関数値ポイントのスパースセットを規定するデータを格納している。相関オフセット位置セット部２３８に格納された相関関数値ポイント４０２又は６０６のスパースセットは、上記に説明したように、予め決定されるようにしておく。これに代わって、相関関数値ポイント４０２又は６０６のスパースセットを動的に決定するようにしたり、上記に説明したように、順番に決定されるべき相関関数値ポイントの順番リストを動的に決定したりするようにしてもよい。
【０１６８】
相関関数値ポイント４０２又は６０６のスパースセットが決定される方法の如何に拘らず、オフセット位置セレクタ２７５は、コントローラ２１０の制御下で、相関オフセット位置セット部２３８に格納された相関関数値ポイントのスパースセットから第１の相関関数値ポイントを選択する。そしてオフセット位置セレクタ２７５は、現在画像部２３４に格納された変位画像を基準画像部２３２に格納された基準画像と比較したとき、比較回路２４０によって使用されるべき(１次元相関関数４００における)ｐ次元オフセット又は(２次元相関関数６００における)ｐ及びｑ次元オフセットを示す信号を、比較回路２４０に信号ライン２７７を介して出力する。
【０１６９】
その後、コントローラ２１０は、比較回路２４０に信号ライン２１５を介して信号を出力する。これに応答して、比較回路２４０は、信号ライン２４２を介して基準画像部２３２から特定なピクセルの画像値を入力し、そして、オフセット位置セレクタ２７５から受け取ったオフセット値で、相関関数値ポイント４０２又は６０６のスパースセットのうち現在のものにおけるオフセット値に基づいて、信号ライン２４２を介して現在画像部２３４から対応するピクセルの画像値を入力する。このとき、比較回路２４０は、比較結果を得るために相関アルゴリズムを適用する。基準画像部２３２に格納された基準画像と現在画像部２３４に格納された現在画像とを、現在オフセットに基づきピクセル単位ベースで比較するために、比較回路２４０は、周知の又は今後開発される如何なる適切な相関技術を使用するようにしてもよい。比較回路２４０は、現在相関オフセットにおける比較結果を比較結果アキュムレータ２４５に信号ライン２４８を介して出力する。
【０１７０】
比較回路２４０がいったん、画像エレメント１６２のうち少なくともいくつかにおける画像値を基準画像部２３２から抜き取り、それらを現在画像部２３４に格納された対応する画像値と比較し、相関技術を適用して比較結果を比較結果アキュムレータ２４５に出力すると、比較結果アキュムレータ２４５に格納された値は、オフセット位置セレクタ２７５から受け取った現在値に対応する相関値であって、相関関数値ポイント４０２又は６０６のスパースセットのうち現在のものにおける相関値を、所定の単位で規定する。そして、コントローラ２１０は、信号ライン２１４を介して比較結果アキュムレータ２４５に、及び信号ライン２１３を介してメモリ２３０に信号を出力する。その結果、比較結果アキュムレータ２４５に格納された相関アルゴリズム結果が、オフセット位置セレクタ２７５から受け取った現在値であって、相関関数値ポイント４０２又は６０６のスパースセットのうち現在のものの現在値に対応する位置でメモリ２３０の相関部２３６に出力され格納される。コントローラ２１０はその後、信号ライン２１４に信号を出力して、相関部２３６に格納された相関結果をクリアする。
【０１７１】
コントローラ２１０はその後、信号ライン２１４に信号を出力して比較結果アキュムレータ２４５をクリアする。コントローラ２１０の制御の下で、相関オフセット位置セット部２３８に格納された相関関数値ポイントのスパースセットにおける全相関関数値ポイントに対する比較が全て比較回路２４０によって実行され、その結果が、比較結果アキュムレータ２４５によって累積され、相関部２３６に格納されたときには、コントローラ２１０は、相関関数解析器２８０に信号ライン２１９を介して制御信号を出力する。
【０１７２】
相関関数解析器２８０は、コントローラ２１０の制御の下で、相関部２３６に格納された相関関数値を解析して、相関関数４００又は６００のピーク部分４２０又は６２０内にそれぞれ位置する相関関数値ポイント４０２又は６０２のスパースセットにおける相関関数値ポイント４０２又は６０６を特定する。そして相関関数解析器２８０は、コントローラ２１０の制御の下で、ピーク部分４２０又は６２０内にそれぞれ位置する多数の相関関数値ポイント４０２または６０６で、第２ステージ相関部２３９に格納されるべき最も遠い相関関数値ポイント４０２ｂ又は６０６ｂを囲むピーク部分４２０又は６２０のうち少なくとも一部分に位置する多数の相関関数値ポイント４０２または６０６を出力する。そしてコントローラ２１０が信号ライン２１４に信号を出力して、相関部２３６に格納された相関結果をクリアする。
【０１７３】
次には、コントローラ２１０の制御の下で、比較回路２４０が、第２ステージ相関部２３９に格納された相関関数値ポイント４０２または６０６の各々における相関数値を決定する。コントローラ２１０の制御の下で、第２ステージ相関部２３９に格納された全相関関数値ポイント４０２または６０６に対する比較が全て比較回路２４０によって実行され、その結果が、比較結果アキュムレータ２４５によって累積され、相関部２３６に格納されたとき、コントローラ２１０が補間回路２６０に信号ライン２１６を介して制御信号を出力する。
【０１７４】
これに応答して、補間回路２６０が相関部２３６に格納された相関結果を、信号ライン２４２を介して入力し、そして相関関数のピークまたは谷と一致する相関値を特定し、相関関数のピーク／谷の周辺における該特定された相関関数値ポイント間で補間を行って、サブピクセル解像度を備えたピークオフセット値又は画像変位値を決定する。そして補間回路２６０は、コントローラ２１０から信号ライン２１６を介して送られた信号による制御により、該決定されたサブピクセル変位推定値を、信号ライン２６２を介して位置アキュムレータ２７０へ出力する。位置アキュムレータ２７０は、コントローラ２１０から信号ライン２１７を介して送られた信号による制御により、該変位推定値を基準画像部２３２に格納された現在基準画像における変位値に加算する。位置アキュムレータ２７０はその後、更新された位置変位値をコントローラ２１０へ信号ライン２７２を介して出力する。
【０１７５】
これに応答して、コントローラ２１０は更新された位置変位値を、備えられていれば表示ドライバ２０１に、信号ライン２０２を介して出力するようにしてもよい。表示ドライバ２０１は駆動信号を、信号ライン２０３を介して表示装置１０７へ出力して、現在の変位値を表示させる。
【０１７６】
もし備えられていれば、１つ又はそれ以上の信号ライン２０５によって、オペレータ又は協力システムとコントローラ２１０との間のインタフェースが行われる。もし備えられていれば、入力インタフェース２０４が、入力信号又はコマンドを一時的に記憶し、または変形して、コントローラ２１０に適当な信号を送信するようにしてもよい。
【０１７７】
コントローラ２１０は、相関オフセット位置セット部２３８に格納された複数のスパースセットから相関関数値ポイントの特定なスパースセットを選択するようにオフセット位置セレクタ２７５を制御して、２ステージよりもむしろ、マルチステージの解析技術を実行可能にするようにしてもよい。また、コントローラ２１０は、図６及び図７を参照して上述されたように、基準画像部２３２及び現在画像部２３４に格納された基準画像及び変位画像のピクセルのサブセットのみを比較するように比較回路２４０を制御してもよい。
【０１７８】
図１９は、図１に示す信号生成処理回路２００の第２の実施の形態を詳細に示すブロック図である。図１９に示すように、信号生成処理回路２００は、図１８に示す信号生成処理回路２００の第１の実施の形態と略同じであるが、この第２の実施の形態では、オフセット位置セレクタ２７５が除かれ、スミア量解析器２９０が加えられている。その動作においては、図１８に示す信号生成処理回路の第１の実施の形態とは異なり、コントローラ２１０が光源ドライバ２２０及び／又は光検出器１６０を操作してスミア画像を生成させ、この画像が基準画像部２３２に格納される。
【０１７９】
そして、現在画像部２３４に格納されるべき変位画像を得るために適当な一定の又は制御された時間だけ待機するが、その時間の経過前に、コントローラ２１０が比較回路２４０に信号ライン２１５を介して信号を出力し、基準画像部２３２に格納されたスミア画像の自己相関関数を決定するために必要なデータを生成する。通常、比較回路２４０及び比較結果アキュムレータ２４５がコントローラ２１０によって上記に説明したように制御され、２次元オフセットにおいては図１７に示す相関関数値ポイント６０８の相関関数値が、１次元オフセットにおいては相関関数オフセットポイント４０２の対応のセットの相関関数値が生成され、累積され、相関部２３６に格納される。
【０１８０】
そして、コントローラ２１０の制御の下、スミア量解析器２９０が、相関部２３６に格納された相関関数値ポイントを解析し、ピーク部分４２０の１次元幅４２４又は２次元ピーク部分６２０の２次元幅６２４ｐ及び６２４ｑを決定する。スミア量解析器２９０はその後、ピーク部分４２０又は６２０の該決定された１次元幅４２４又は２次元幅６２４ｐ及び６２４ｑからスミア量をそれぞれ決定する。そしてスミア量解析器２９０は、基準画像部２３２に格納されたスミア画像と、撮影され現在画像部２３４に格納された変位画像との比較から決定されるべき相関関数のピーク部分４２０又は６２０の１つ又は２つの大体の位置を決定する。
【０１８１】
こうしたスミア量解析器２９０によって決定されたピーク部分４２０又は６２０の大体の位置に基づき、相関オフセット位置セット部２３８及び／又は第２ステージ相関部２３９に格納された相関関数値ポイントのセットが、スミア量解析器２９０によって決定される。その後、コントローラ２１０の制御の下、この決定された相関関数値ポイントのセットが、相関オフセット位置セット部２３８及び／又は第２ステージ相関部２３９のうち一方又は両方に格納される。
【０１８２】
そして、適切な一定の又は制御された時間の経過後、コントローラ２１０は、変位画像を得て、それを現在画像部２３４に格納する。上記に説明したように、コントローラ２１０は、第２ステージ相関部２３９に格納された相関関数値ポイントのセットに基づき、比較回路２４０、比較結果アキュムレータ２４５、及び補間回路２６０を制御して、実際のオフセット位置を決定する。
【０１８３】
勿論、図１８及び図１９に示し、上記に説明したこれらの信号生成処理回路２００の第１及び第２の実施の形態を組み合わせるようにしてもよい。この場合、スミア量解析器２９０がピーク部分４２０又は６２０の１つ又は２つの可能な大体の位置を決定した後、比較回路２４０によって使用され、第２ステージ相関部２３９に格納されるべき相関関数値ポイントの全セットを格納するよりもむしろ、スミア量解析器２９０が、ピーク部分４２０又は６２０の可能な大体の位置に基づいて、相関関数値ポイント４０２又は６０６の少なくとも１つのスパースセットを動的に決定し、コントローラ２１０の制御の下で相関オフセット位置セット部２３８に格納するようにする。変位画像が撮影され現在画像部２３４に格納された後、信号生成処理回路２００の第１の実施の形態に関連して上記に説明したように、コントローラ２１０は、図１８に示す信号生成処理回路２００の第１の実施の形態に関連して上記に説明したように、相関関数値ポイント４０２又は６０６の少なくとも１つのスパースセットに基づいて、比較回路２４０を操作する。
【０１８４】
信号生成処理回路２００は各種の実施の形態において、プログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺集積回路エレメントを使用することによって実現されている。なおまた、信号生成処理回路２００は、プログラムされた汎用目的コンピュータ、特定目的コンピュータ、ＡＳＩＣ若しくは他の集積回路、ディジタル信号プロセッサ、ディスクリート部品回路のような配線された電子若しくは論理回路、ＰＬＤ，ＰＬＡ，ＦＰＧＡ若しくはＰＡＬのようなプログラム可能な論理装置、またはこれらと類似するものを使用することによって実現するようにしてもよい。通常、上記の方法の１つ又はそれ以上を実現することのできる有限状態機械を備えた如何なる装置も、信号生成処理回路２００を実現するために使用することができる。
【０１８５】
図１８及び図１９において、信号生成処理回路２００のメモリ２３０を、変更可能な揮発性若しくは不揮発性メモリ、又は変更不可能な若しくは固定のメモリの適当な組み合わせを使って構成するようにしてもよい。揮発性、不揮発性に拘らず、変更可能なメモリを、スタティック又はダイナミックＲＡＭ、フロッピー（登録商標）ディスク及びディスクドライブ、書き込み可能又は再書き込み可能な光学式ディスク及びディスクドライブ、ハードドライブ、フラッシュメモリ、メモリスティック、またはこれらに類するもののうち１つ又はそれ以上を使用して構成してもよい。同様に、変更不可能な若しくは固定のメモリを、ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ，ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭディスクのような光学式ＲＯＭディスク及び関連ディスクドライブ、又はそれらに類するもののうち１つ又はそれ以上を使用して構成してもよい。
【０１８６】
かくして、信号生成処理回路２００のコントローラ２１０及び各種の他の回路２２０，２２５および２４０−２９０の各々を、適切にプログラムされた汎用コンピュータ、マクロプロセッサ又はマイクロプロセッサの一部分として構成するようにしてもよい。また代わって、図１８及び図１９に示すコントローラ２１０及び他の回路２２０，２２５および２４０−２９０の各々を、ＡＳＩＣ内の物理的に別個のハードウエア回路として、またはＦＰＧＡ，ＰＤＬ，ＰＬＡ若しくはＰＡＬを使用して、又はディスクリート論理エレメント若しくはディスクリート回路エレメントを使用して構成するようにしてもよい。信号生成処理回路２００の回路２２０，２２５および２４０−２９０の各々が形成する特定な形態は、設計上の選択の範囲にあり、当業者には明らかであり、予測できるものである。
【０１８７】
以上、本発明を上記に概説された実施の形態と関連して説明したが、多くの代替案、変更及び変形が、当業者にとり明白であることは明らかである。したがって、上記に明らかにした本発明の実施の形態は例示的なものであって、本発明はこれに限定されるものではない。各種の変更を、本発明の精神及び範囲を逸脱することなく行うことができる。
【０１８８】
【発明の効果】
以上詳述したように本発明によれば、相関ピーク又は谷の位置を正確に決定することのできるシステム及び方法が提供される。
【０１８９】
また本発明によれば、従来の方法及び技術よりも少ないシステムリソースを使うだけにも拘らず、相関ピーク又は谷の位置を決定することのできるシステム及び方法が提供される。
【０１９０】
また本発明によれば、疎らに相関関数を決定するが、相関ピーク又は谷の位置を正確に決定することのできるシステム及び方法が提供される。
【０１９１】
また本発明によれば、決定された相関値のグリッドを使って、２次元相関関数における相関ピーク又は谷の位置を決定することのできるシステム及び方法が提供される。
【０１９２】
また本発明によれば、１対の高空間周波数画像における相関ピーク又は谷の位置を正確に決定することのできるシステム及び方法が提供される。
【０１９３】
また本発明によれば、相関ピーク又は谷から離れた領域において実質的に平ら又は規則的である相関関数特性を有する画像における相関ピーク又は谷の位置を正確に決定することのできるシステム及び方法が提供される。
【０１９４】
また本発明によれば、相関付けられるべき画像のサブセットにおける相関関数を疎らに決定するにも拘らず、相関ピーク又は谷の位置を正確に決定することのできるシステム及び方法が提供される。
【０１９５】
また本発明によれば、第１及び第２の画像の間で相関処理を実行することなく、相関ピーク又は谷が存在するはずの相関関数の一部分を特定することのできるシステム及び方法が提供される。
【０１９６】
また本発明によれば、画像相関システムによって撮影された単一画像から動きの大きさ及び／又は方向を推定することのできるシステム及び方法が提供される。
【０１９７】
また本発明によれば、撮影された第２の画像のみの解析から、推定された変位距離すなわちオフセット及び／又は方向の精度を高めることのできるシステム及び方法が提供される。
【０１９８】
また本発明によれば、相関ピークが存在するらしい相関関数の一部分を特定するために、決定された及び／又は高精度にされた変位距離及び／又は方向の値を使用することのできるシステム及び方法が提供される。
【０１９９】
また本発明によれば、第１及び第２の画像の自己相関に基づき、画像化されるべき表面と画像化システムとの間の相対的な動きの大きさ及び／又は方向を決定することのできるシステム及び方法が提供される。
【０２００】
また本発明によれば、自己相関ピークの少なくとも１つの特性に基づき、相対的な動きの大きさ及び／又は方向を決定することのできるシステム及び方法が提供される。
【０２０１】
また本発明によれば、スペックル画像を使って特に表面の変位測定に適切であるシステム及び方法が提供される。
【図面の簡単な説明】
【図１】スペックル画像相関光学式位置トランスデューサを示すブロック図である。
【図２】従来の比較技術における、第１の画像と現在の第２の画像との関係、及び相関値を生成するために用いられる第１及び第２の画像の部分を示す図である。
【図３】画像が連続するピクセル変位でオフセットされたとき、従来の比較技術を使うことによって、また従来の乗算相関関数を使うことによって、第１及び第２の画像を比較した結果を示すグラフである。
【図４】本発明に係る、画像相関関数値ポイントのスパースセットを比較する技術の第１の実施の形態における、第１の画像と第２の画像との関係、及び相関値を生成するために用いられる第１及び第２の画像の部分を示す図である。
【図５】図４に示す画像相関関数値ポイントのスパースセットを比較する技術の第１の実施の形態を使って、また従来の乗算相関関数を使って、第１及び第２の画像を比較した結果を示すグラフである。
【図６】本発明に係る、画像相関関数値ポイントのスパースセットを比較する技術の第２の実施の形態における第１の画像と第２の画像との関係、及び相関値を生成するために用いられる第１及び第２の画像の部分を示す図である。
【図７】図６に示す画像相関関数値ポイントのスパースセットを比較する技術の第２の実施の形態を使って、また従来の乗算相関関数を使って、第１及び第２の画像を比較した結果を示すグラフである。
【図８】相関関数で用いられる異なる数のピクセルにおける相関関数の関連した形状を示すグラフである。
【図９】画像が、２次元における連続するピクセル変位でオフセットされたとき、従来の比較技術を使って、また従来の差分相関関数（difference correlation function）を使って、第１及び第２の画像を比較した結果を示すグラフである。
【図１０】画像が２次元における連続するピクセル変位でオフセットされたとき、本発明に係る、画像相関関数値ポイントのスパースセットを比較する技術の第１の実施の形態を使って、また従来の差分相関関数を使って、第１及び第２の画像を比較した結果を示すグラフである。
【図１１】本発明に係る第１の解決に、相関関数空間における画像相関関数値ポイント位置のスパースセットを使用してピーク又は谷の位置を決定する方法の第１の実施の形態の概要を示すフローチャートである。
【図１２】本発明に係る第１の解決に、相関関数空間における画像相関関数値ポイント位置のスパースセットを使用してピーク又は谷の位置を決定する方法の第２の実施の形態の概要を示すフローチャートである。
【図１３】画像化されるべき表面が単一次元に沿って画像撮影システムに対して移動するスミア高空間周波数画像の第１の実施の形態を示す図である。
【図１４】画像化されるべき表面が２次元において画像撮影システムに対して移動するスミア高空間周波数画像の第２の実施の形態を示す図である。
【図１５】非スミア高空間周波数画像の一実施の形態を示す図である。
【図１６】非スミア画像及びスミア画像における２次元自己相関関数の等高線図である。
【図１７】２次元自己相関関数におけるスミア量を決定するために用いられる相関関数値ポイントを示す図である。
【図１８】本発明に係る、画像の提供及び画像変位の決定に適した画像ベースの光学式位置トランスデューサにおける信号生成処理回路の第１の実施の形態を概略示すブロック図である。
【図１９】本発明に係る、画像の提供及び画像変位の決定に適した画像ベースの光学式位置トランスデューサにおける信号生成処理回路の第２の実施の形態を概略示すブロック図である。
【符号の説明】
１００ 相関画像ベース光学式位置トランスデューサ
１０４ 光学拡散粗面
１１０ 測定軸
１２６ 読取ヘッド
１３０ 光源
１３２ 信号ライン
１３４ 光ビーム
１３６ 光
１４０ レンズ
１４２ 光
１４４ 光軸
１５０ ピンホール開口板
１５２ ピンホール開口
１５４ 光
１６０ 光検出器
１６２ 画像素子
１６４ 信号ライン
１６６ アレイ
２００ 信号生成処理回路
３００ 基準画像
３０２ ピクセル
３０４ 単一の次元
３１０ 変位画像
３１２ ピクセル
３２０ 複数の行
３３０ 複数の列
４００ 相関関数
４０２ 複数の相関関数値ポイント
４０４ 距離
４１０ 通常バックグラウンド部分
４１２ 範囲
４１４ 最大バックグラウンド値
４１６ 最小バックグラウンド値
４２０ ピーク部分
４２４ 幅[0001]
BACKGROUND OF THE INVENTION
The present invention is based on image correlation Phase of How to determine the function peak position To the law Related.
[0002]
[Prior art]
In various known devices, the image acquired by the sensor array and the correlation between the images acquired by the sensor array are used to determine deformation and / or displacement. For example, in one type of such an apparatus, a speckle image generated by illuminating an optically rough surface (hereinafter referred to as an “optical diffusion rough surface”) with a light source may be acquired. It is a premise. In general, this light source is a coherent light source such as a laser-generated light source. Such laser-generated light sources include lasers, semiconductor lasers, and the like. After the rough optical diffusion surface is illuminated by the light source, the light scattered from the rough optical diffusion surface produces an image on the optical sensor. The optical sensor may be a charge coupled device (CCD), a semiconductor image sensor array such as a CMOS image sensor array, or the like.
[0003]
Prior to displacing or deforming the optically diffused rough surface, a first initial speckle image is captured and stored. Next, after the optical diffusion rough surface is displaced or deformed, a second or subsequent speckle image is photographed and stored. Conventionally, the first and second speckle images are generally compared on a pixel basis. In general, this comparison is performed multiple times. In each comparison, the difference between the first speckle image and the second speckle image is determined or spatially transformed. During each comparison, the offset amount or spatial translation value is increased by a known amount, such as one image element or pixel, or the number of image elements or pixels represented by an integer.
[0004]
In each comparison, the image value of a particular pixel in the reference image is multiplied by the image value of the corresponding second image pixel, subtracted from the image value, or other functions using the image value. An operation is performed at. The corresponding second image pixel is determined based on the offset amount. The value obtained from each process in pixel units is obtained from the process performed on each other pixel of the image to determine a correlation value according to the comparison result of the first and second images. It is accumulated with the value. The correlation value is basically plotted as a chart with respect to the offset amount or the spatial transformation position for each comparison in order to determine the correlation function value point. The offset with the maximum correlation between the reference image and the first image will produce a peak or valley in the chart of correlation function value points, depending on how the pixel-by-pixel comparison was made. The offset amount corresponding to the peak or the valley represents the displacement amount or the deformation amount between the first speckle image and the second speckle image.
[0005]
US patent application Ser. No. 09 / 584,264, fully incorporated herein by reference, discloses a variety of different embodiments of speckle image-based optical transducers. As disclosed in this 264 application, such an image-based correlation system can move the imaged surface in one or two dimensions relative to the imaging system. Furthermore, the imaged surface does not have to be flat, but may be curved or cylindrical. A system having a two-dimensional relative motion between the imaged surface and the imaging system has a substantially planar imaged surface in one dimension and, for example, an imaging system in two dimensions Can have a virtually non-planar imaged surface, such as a cylinder whose axis of rotation is the axis of rotation, while the cylindrical surface is transformed along the axis while passing through the imaging system.
[0006]
US patent application Ser. No. 09 / 731,671, fully incorporated herein by reference, discloses a system and method for high precision displacement determination in correlation-based position transducers. In this 671 application, a system for evaluating sub-pixel displacement of an image in a correlation-based position transducer and the like is presented. In this system, when the conventional subpixel estimation method is applied to a large number of correlation function value points, in particular, the systematic displacement estimation error that exists when the correlation function value points are arranged asymmetrically is removed.
[0007]
However, in the conventional image correlation system described above, the calculation load required to determine the correlation function value over the entire image for each offset position is often extremely large. Therefore, "Hierarchical Distributed Template Matching" by M. Hirooka et al. Described in the SPIE meeting "Machine Vision applications and Industrial Inspection V" held in San Jose, California on February 10-11, 1997, and 1977 According to “Coarse-Fine Template Matching” by A. Rosenfeld et al., Described on pages 104-107 of “IEEE Transactions on Systems, Man and Cybernetics” published February 2008, the resolution of images to be correlated Various techniques are provided in which the calculation load is reduced by dropping. In both of these papers, the image value of a large number of pixels is averaged to reduce the image resolution to produce a “shrunken” image with a reduced number of pixels. The image correlation is performed on the basis of the pixel unit for each offset position with respect to the image with reduced resolution. Once the area of maximum correlation is identified, the original maximum resolution image is compared on a pixel-by-pixel basis for each offset position in this area alone.
[0008]
Similarly, `` A Two-Stage Cross Correlation Approach To Template Matching '' by A. Goshtasby et al. Described in `` IEEE Transactions on Pattern Analysis and Machine Intelligence '' Vol. The two-stage technique is disclosed. In this paper, rather than increasing the resolution of the whole image as in Rosenfeld et al. And Hirooka et al., A limited number of pixels in the image to be correlated are compared for each image offset position, thereby A correlation function is generated. Similar to Hirooka et al. And Rosenfeld et al., A reduced number of pixels are used for comparison. However, unlike Hirooka et al. And Rosenfeld et al., The pixels used are at full resolution and do not represent the entire image to be compared. Similar to Hirooka et al. And Rosenfeld et al., In this technique, once a highly correlated area is identified using only a reduced number of pixels, the area should be further compared for each offset position. Analyzed using all pixels of the image.
[0009]
April 1985, in contrast to the techniques to increase resolution disclosed in Hirooka et al. And Rosenfeld et al., And to compare limited portions of full resolution images used in Goshtasby et al. In "A Advances in Picture Coding" by HGMusmann et al. Described on pages 523-548 of the published "Proceedings of the IEEE" Vol.73 No.4, a number of sparsely spaced searches around the central search point Two techniques for searching for points (hereinafter referred to as “sparse search points”) are described. According to this, all image correlation values are determined at each search point. Then, the obtained correlation value is analyzed. These analyzes usually indicate the direction of the correlation peak or valley relative to the sparse search point. A sparse search point located in the immediate vicinity of the correlation peak or valley direction is selected as a central point, and another sparse search point is selected around the central point. This process is repeated until a correlation peak or valley is identified. However, in the past, any technique that reduces the representation of images, such as those disclosed in Hirooka et al., Rosenfeld et al., Or Goshtasby et al. Similarly, in the technique disclosed in Musmann et al., As the center point approaches the correlation peak or valley, the sparse search points around the center point collapse, but each iteration has the same number of sparse operations. Use inter-search points.
[0010]
[Problems to be solved by the invention]
US patent application Ser. No. 09 / 860,636, fully incorporated herein, discloses a system and method for reducing the accumulation of systematic displacement errors in an image correlation system that uses a reference image. In particular, the 636 application discloses various methods for reducing the amount of system resources required to determine a correlation value of a specific positional displacement or offset of a second image relative to a first image. .
[0011]
In the above-mentioned Hirooka et al., Rosenfeld et al., Goshtasby et al., And Musmann et al., The disclosed techniques are useful for low spatial frequency grayscale images, low spatial frequency maps, and low spatial frequency video images. However, the resolution reduction or averaging techniques disclosed in Hirooka et al. And Rosenfeld et al. Are generally applied to high spatial frequency images, such as speckle images, images resembling surface textures, high-density dot patterns, and the like. It is not possible. This is because such resolution reduction or spatial averaging tends to “average out” or eliminate the various spatial features needed to determine an accurate correlation value in such high spatial frequency images. by.
[0012]
For similar purposes, N as disclosed in Goshtasby et al. ² Sub-templates generated by picking a set of N data points randomly selected from a template with data points are also not applicable to such high spatial frequency images. In the low spatial frequency image used in Goshtasby et al., Each randomly selected data point (or pixel value) is likely to be approximately similar in image value to surrounding data points (or pixel values). Thus, each data point provides approximately the same amount to the correlation value. In contrast, in a high spatial frequency image, such as a speckle image, it appears that the image value of each pixel is significantly different from the image value of an adjacent pixel. Consequently, if the pixels to be used in the first stage of image correlation processing are selected randomly in such a high spatial frequency image, the resulting image correlation value at the actual offset position is It seems that it cannot be distinguished from the image correlation values at other offset amounts.
[0013]
The sparse search point technique described by Musmann et al. Is also generally not applicable to such high spatial frequency images. In particular, such high spatial frequency images are generally substantially flat or constant within a substantially limited range away from the actual offset position and substantially at an offset position very close to the actual offset position. Will have a "landscape" of the correlation function that is steep or irregular. That is, at an offset position away from the actual offset position, the correlation function is simply a certain regularity within a limited range from the average value, except for a very narrow range around the actual offset position. It will change depending on the method. In a very narrow range around this actual offset position, the correlation value is significantly away from other normal fluctuation values and their average values.
[0014]
In contrast, the sparse search point technique disclosed by Musmann et al. Relies on a “characteristic” of a correlation function consisting of a significant slope that indicates the direction of the correlation peak at all points. This allows an analysis of any set of sparse search points to clearly indicate the general direction of the correlation function peaks or valleys. However, applying the sparse search point technique disclosed in Musmann et al. To a correlation function with substantially flat or constant properties, except around the correlation peak or valley, is one of the sparse search points. Results in a distinct direction toward the correlation function peaks or valleys, unless they occur randomly within a very narrow range of correlation values away from the normal variation values and their average values. Don't be. However, this occurs with a very low probability in the particular sparse search point technique disclosed in Musmann et al., As can be appreciated by those skilled in the art.
[0015]
Thus, the inventor has found that a high resolution image system and / or image correlation system that allows displacement along two dimensions determines too much of the available system resources when determining a correlation value for each position displacement or offset. We paid attention to the point that we need. In addition, it was noted that even a system that only allows relative displacement along one dimension has the benefit of reducing the amount of system resources required when determining correlated displacement.
[0016]
The present invention has been made in view of such problems, and can reduce the amount of system resources necessary for executing correlation processing, and at the same time accurately determine the peak or valley of the correlation function. Phase An object of the present invention is to provide a function peak position determination method.
[0017]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, image The second image Is a correlation function generated by comparing with Peak part and background part other than peak part In a method for determining a peak position of a correlation function having Above First image The second image Compared to the correlation function The background part A comparison step for determining a correlation function value in a set of correlation function value points arranged in Correlation function value points present in the peak portion compared to at least one of an average correlation function value, a maximum correlation function value, a minimum correlation function value, a maximum slope value, and a minimum slope value that characterize a preset background portion In addition, the correlation function value is obtained more densely than the background portion, the peak position is determined based on these correlation function values, and one value belonging to the peak portion and one value belonging to the background portion are determined. Comparing the analysis step and There is provided a method characterized by comprising:
[0025]
It should be noted that the system and method according to the present invention will be described with reference to the sensor “image”, but the term “image” is not limited to an optical image, but one-dimensional, two-dimensional, or higher. More broadly applies to sets of sensor values arranged in dimensions. Similarly, the term “pixel” as used herein is not limited to optical pixels, but more to the granularity of a set of sensor values arranged in one, two, or higher dimensions. Widely applies. The term “image” is not limited to an entire image, but may be more broadly applied to any image portion that includes a set of sensor values arranged in one, two, or higher dimensions.
[0026]
In various embodiments of the correlation system and method according to the present invention, after the first and second correlation images are obtained, the signal generation processing circuit performs correlation processing using the first and second images. And a sparse set (details will be described later) of image correlation function value points is determined. In embodiments where the surface to be imaged moves only on a one-dimensional path relative to the imaging system, a sparse set of image correlation function value points is only taken along a single dimension. In contrast, in various embodiments that allow relative motion along two dimensions, a sparse sample set of image correlation function value points forms a grid in a two-dimensional correlation function space.
[0027]
In general, in various embodiments, the width of the correlation peak is the length of the imaging array along a single dimension in a one-dimensional system or along each of the two dimensions in a two-dimensional system with an imaging array. It is relatively small compared to the height or width. In general, in these various embodiments, the value of the correlation function in the area away from the correlation peak usually changes only within a limited range away from the average value. As long as the position of the correlation peak can be specified at the first relatively low resolution without having to determine the correlation function value for every possible displacement distance or offset, the sparse set of image correlation function value points is sparse as desired. You may make it set to. In high spatial frequency, non-repetitive images (where the frequency of the spatial features in the captured image is on the order of the pixel dimensions of the imaging system), the correlation function is typically a single, unique Will have a peak or valley. As a result, the correlation function typically has the same background value or average value, except in the area directly surrounding the correlation peak or valley, as shown in FIGS. . Thus, any correlation function value that occurs in a sparse set of image correlation value points that deviates substantially from a limited range around the average background value tends to identify such image peaks.
[0028]
On the other hand, any type of repetitive image produces a large number of peaks, each having the same size. Since such images do not have uniquely extreme correlation function peaks and / or valleys, the sparsely determined correlation function according to the present invention cannot be reliably used for such images. Finally, for non-repetitive images with characteristics of spatial frequency significantly lower than the spatial resolution of the image array, any number of irregular local peaks or valleys plus true correlation peaks or valleys will result in image correlation. Occurs in a function. As such, the background value reliably represents a particular portion of the correlation function, and any correlation position having an image value that is significantly away from the background value of the image correlation function is represented in the image correlation function space. Identify at least one local peak or valley.
[0029]
In various embodiments, the image correlation value determined at one of the image correlation function value points in the sparse set of image correlation function value point locations is pixel by pixel over the entire two-dimensional range of the first and second images. The total correlation of However, such accuracy is unnecessary, as it is very unlikely that one of the sparse sets of image correlation function value point locations is a true peak or valley of the correlation function. As a result, in various other embodiments, only one or a few of the rows and / or columns of the first and second images are correlated with each other.
[0030]
This does not lead to image correlation values that are made as accurate as possible. However, since the sampling location is simply used to indicate the location where more accurate analysis should be performed, the amount of system resources required to determine the correlation function value for this sample location in these embodiments is significantly reduced. This lack of accuracy can be ignored, especially if the points to be considered are taken into account. This is particularly true when the current sample location is one of the two-dimensional grids over the two-dimensional correlation space that occurs when the surface to be imaged moves in two dimensions relative to the imaging system.
[0031]
In various embodiments, at least one correlation peak or valley is identified in the image correlation function. Thereafter, all image correlation sampling positions in the correlation function space that are within a predetermined distance or a dynamically determined distance to each such peak or valley position are determined. The determined image correlation sampling position is analyzed to identify a displacement point having an image correlation value closest to the true peak or valley of the image correlation function. In some embodiments, this correlation process may be performed entirely based on a pixel-by-pixel comparison of all pixels in the first and second images.
[0032]
Instead, in various other embodiments, the image correlation values at those image correlation positions surrounding the peaks or valleys determined by the sparse technique are used to reduce the accuracy and reduce the amount of system resources. The position in the image correlation space that appears to be closest to the true peak or valley of the image correlation function can be determined again with low resolution. Then, more accurately determined image correlation peaks or troughs, actual image correlation peaks or troughs 671 at those locations that are within the second predetermined distance or within the second dynamically determined distance, 671 Can be specified as outlined in the application.
[0033]
In the above embodiment where the surface to be imaged has a non-repetitive, low spatial frequency image thereon, each of these examples is performed on each identified peak or valley. The actual correlation function peak or valley position may be determined.
[0034]
In various other embodiments, in a one- or two-dimensional motion system, a highly effective “shutter speed” in the imaging system is used to provide a clear or clear image, ie a “non-smear” image (details). Rather than filming (see below), a “smear” image can be obtained by using a low shutter speed. Since the surface to be imaged moves relative to the imaging system only during the time that the shutter is effectively open, the resulting smear image is between the surface to be imaged and the imaging system. Will have the major axis of smear image features aligned in the direction of their relative motion. In addition, the length of the major axis of the smear image feature is the magnitude of the motion of the imaged surface for the optical system compared to the same feature axis obtained along the direction of motion using a fast shutter speed. That is, it is strictly related to speed.
[0035]
In a one-dimensional system, direction information may be made unnecessary because the system is restricted by definition to move only along a single dimension. In this case, the size of the smear can be determined using the width of the correlation peak obtained by autocorrelating the smear image with itself. The direction of the velocity vector can also be determined by autocorrelating the captured image with itself. This is also true when the direction of relative motion is substantially aligned along one of the axes of the imaging array in a two-dimensional system.
[0036]
Once the direction and magnitude of relative motion is determined, this information can be used to determine the number of sparse sampling positions in the correlation function space to be analyzed, ie, the image correlation function value points in the sparse set of image correlation function value points. Can be used to further reduce the number of
[0037]
Furthermore, if additional magnitude and direction information can be obtained from the second image by autocorrelation, the accuracy of the direction or magnitude and velocity vector components can be further increased.
[0038]
In various other embodiments of the correlation system and method according to the present invention, the system and method are particularly well suited for application to speckle images, texture images, high density dot images, and other high spatial frequency images. To do.
[0039]
In various other embodiments of the correlation system and method according to the present invention, the system and method specifically determine the peak position of the correlation function at high speed and with high accuracy, while simultaneously reducing the load on system resources. It is well suited to determine the normal area in the two-dimensional correlation function space.
These and other features and advantages of the present invention are described in, and will be apparent from, the following detailed description of various embodiments of the systems and methods according to the present invention.
[0040]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0041]
FIG. 1 is a block diagram showing a configuration of an optical position transducer 100 based on a correlation image (hereinafter referred to as “correlation image base”). In the following detailed description, the system and method according to the present invention will be related to an optical position transducer mainly based on speckle images (hereinafter referred to as “speckle image base”) and corresponding methods and techniques. I will explain. However, the system and method according to the present invention is not limited to such a speckle image based correlation system and method. Rather, the systems and methods according to the present invention can be used with known or later developed systems or methods for determining positional displacements or offsets, which are known or later developed systems or methods. The method is a well-known or later-developed type of correlation image, including texture images, high-density dot images, and the like, as long as the correlation image has a high spatial frequency and / or is not repetitive at all. Is used. Accordingly, in the detailed description of the embodiments below, speckle image-based optical position transducers, correlation systems and / or correlation techniques are specifically cited, but this is merely exemplary and the scope and breadth of the present invention. It does not prescribe any limit.
[0042]
Where the pixel offset value associated with the true continuous correlation function extremum, regardless of whether the basic correlation function produces a peak or valley, We will refer to the peak offset, and the surface displacement corresponding to the peak offset will be referred to as peak displacement or simply displacement, regardless of whether the basic correlation function produces a peak or valley. In particular, in the correlation functions shown in FIGS. 3 and 5, the correlation function having a correlation function value displayed in an arbitrary unit is a pattern in which an image or its intensity is best aligned in each of the first and second images. The extreme value of the true continuous correlation function 205 is shown with an offset value or a spatial transformation position that forms
[0043]
The speckle image-based optical position transducer 100 shown in FIG. 1 includes a read head 126, a signal generation processing circuit 200, and an optically rough surface (hereinafter referred to as an “optical diffusion rough surface”) 104. In FIG. 1, the components of the read head 126 and the relationship between them and the optically diffusing roughened surface 104 are shown schematically in an arrangement that generally corresponds to an exemplary physical configuration, as further described below. A correlated image-based optical position transducer 100 using speckle images is described in more detail in the cited 264 application, along with various suitable mechanical and optical configurations, image correlation methods, and associated signal processing circuitry. Has been.
[0044]
The optical diffusion rough surface 104 that diffuses the light is illuminated by the light emitted from the end of the read head 126 by the light source 130 when the optical diffusion rough surface 104 is illuminated by the end of the read head 126. Is positioned adjacent to the illumination and receiving end of the read head 126 so that it scatters back from the optical diffusing rough surface 104 toward the image receiving optical element located at the front. The optically diffusing rough surface 104 may be a part of a specially provided element, or may be provided as a surface constituting a unified body of a mechanism that exists remotely.
[0045]
In either case, the optical diffusing rough surface 104 is disposed at a substantially fixed distance from the light source and optical system housed in the read head 126 and is in relative motion, such as measurement axes 110 and 112 shown in FIG. Moves along the one or two axes at the position opposite the read head 126. When motion in two dimensions is allowed, the permitted motion is usually unconstrained within the lateral limits of the two-dimensional area of the optical diffusion rough surface 104. Where only a single dimensional relative motion is allowed, the relative motion is typically a conventional guideway or bearing mounted on a frame that maintains the proper relative position between the read head 126 and the optical diffusing roughened surface 104. (Not shown) is forced along one of the measurement axes 110 or 112. The read head 126 assists in mounting the read head 126 and / or relative to one or two expected axes of relative movement of the optical diffusion rough surface 104 with respect to the mounting frame. Alignment features (not shown) that align internal components may also be included.
[0046]
As shown in FIG. 1, the image receiving optical element of the read head 126 includes a lens 140 located at the illumination and receiving end of the read head 126, the optical axis of which is illuminated on the optical diffusing rough surface 104. It is arranged so as to pass almost through the place. As shown in FIG. 1, the read head 126 further includes a pinhole aperture plate 150 positioned away from the lens 140 along the optical axis, and a photodetector 160 positioned away from the aperture plate 150 along the optical axis. Including. Photodetector 160 is a well-known or later-developed type organized into an array of independent individual light sensitive elements, such as a camera, electronic or digital camera, CCD array, CMOS light sensitive element, or the like. Any light sensitive material or device.
[0047]
One embodiment of the placement and positioning of the read diffuser 126, including the optically diffusing roughened surface 104 and the lens 140, aperture plate 150, and photodetector 160, is further described below and in the cited 264 application. The mounting of the light source 130, lens 140, aperture plate 150, and photodetector 160 within the housing of the read head 126 is a small optical device configuration and / or as long as their respective components are mounted in a precise and stable manner. Or you may make it carry out by the conventional method of an industrial camera structure.
[0048]
When the read head 126 is properly positioned adjacent to the optical diffusing rough surface 104, each image taken by the photodetector 160 forms a peak by positively combining the diffracted light waves from the optical diffusing rough surface 104. And a random pattern consisting of relatively dark spots that are diffracted from the diffracted light wave from the optical diffusion rough surface 104 and are negated. The random pattern corresponding to any of the illuminated portions of the optical diffusing rough surface 104 is unique. Thus, the optically diffusing rough surface 104 can serve as a displacement reference without requiring any special marks.
[0049]
Photodetector 160 has an array 166 of image elements 162 arranged at known intervals along at least one axis. The known spacing provides a basis for measuring the displacement or offset between the two images projected on the photo detector 160 and thus measures the displacement of the surface that determines the image, ie, the optical diffusing rough surface 104. The basis for this is also provided.
[0050]
In general, however, the array 166 is deployed in two dimensions along two orthogonal axes at known intervals along each axis. This known spacing need not be the same on both axes. In systems that allow movement along only a single axis, the array 166 often has a length along its axial direction that is much larger than the length of the array 166 that intersects its axial direction. . In a system that allows two-dimensional motion, the length of the array 166 along each of the two orthogonal axes is approximately the same order of magnitude and need not be exactly the same.
Further, the read head 126 includes at least one portion of the signal generation processing circuit 200. As shown in FIG. 1, a signal line 132 from the signal generation processing circuit 200 is connected to the light source 130 in order to control and / or drive the light source 130. The signal line 164 connects the photodetector 160 and the signal generation processing circuit 200. Each of the image elements 162 in the array 166 is individually addressed to output a value representing the light intensity on the image element 162 to the signal generation processing circuit 200 via the signal line 164. Also good. Additional portions of the signal generation processing circuit 200 may be located remotely from the read head 126, and the functions of the read head 126 are implemented and displayed remotely. The signal generation processing circuit 200 will be described in more detail below with reference to FIGS.
[0051]
Additional details regarding the construction and operation of this and other embodiments of the speckle image-based optical position transducer 100 are provided below, which description is also provided in the cited 264 application.
[0052]
As shown in FIG. 1, a light beam 134 is emitted by a light source 130 to illuminate the optical diffuse rough surface 104 to illuminate a portion of the optical diffuse rough surface 104. As a result, the rough optical diffusion surface 104 scatters light in the vicinity of the optical axis 144 and diffracts it.
[0053]
When light source 130 is a white light source, the light produces an image of the illuminated portion that is projected onto array 166 of image elements 162. Note that this image may be correlated in the same way as a speckle image is correlated, but this image includes speckle formed by scattering from the optically diffusing rough surface 104. There will be no.
[0054]
When the light source 130 is a coherent light source and is driven by a drive signal on the signal line 132 to output the light beam 134 as a coherent light beam, the coherent light beam 134 illuminates a portion of the optical diffuse rough surface 104. The illuminated portion is located in the portion of the read head 126 along the optical axis 144 of the optical device. The light 136 scattered from the illuminated portion of the rough optical diffusion surface 104 is collected by the lens 140.
[0055]
The lens 140 projects the collected light 142 from the illuminated portion of the optical diffusion rough surface 104 onto a pinhole aperture plate 150 having a pinhole aperture 152. The lens 140 is disposed away from the aperture plate 150 by a distance f equal to the focal length of the lens 140. The pinhole aperture plate 150 is disposed at a distance h from the illuminated portion of the optical diffusion rough surface 104.
[0056]
By placing the aperture plate 150 at the focal length f of the lens 140, the optical device of the speckle image-based optical position transducer becomes telecentric. Further, by using the pinhole 152 in the pinhole aperture plate 150, the speckle size and the expansion of the speckle pattern depend only on the dimensions of the pinhole 152 and in particular are independent of any lens parameters of the lens 140. .
[0057]
The light collection 142 from the lens 140 passes through the pinhole 152. The light 154 that has passed through the pinhole 152 is projected onto the array 166 of the image elements 162 of the photodetector 160 along the optical axis 144. The surface of the array 166 of photosensitive elements 162 is separated from the aperture plate 150 by a distance d. The speckle size depends only on the angle α to the dimension of the pinhole 152 and the distance d between the pinhole aperture plate 150 and the surface formed by the array 166 of the image elements 162 of the photodetector 160.
[0058]
The approximate size D of the speckle in the detected portion of the light reaching the array 166 of the image element 162 from the illuminated portion of the optical diffusion rough surface 104 is expressed by the following equation (1).
[0059]
[Expression 1]

[0060]
Where λ is the wavelength of the light beam 134, d is the distance between the pinhole aperture plate 150 and the surface of the array 166, w is the diameter of the circular pinhole 152, α is the dimension w in a circle of radius equal to the distance d. The central angle corresponding to the minute arc.
[0061]
In various embodiments, typical values for these parameters of the optical position transducer 100 are λ = 0.6 μm, d = 10 cm (10 ^Five μm), w = 1 mm (10 ^Three μm). As a result, the speckle size D is approximately 60 μm.
[0062]
In order to achieve high resolution, it is most effective when the average speckle size is approximately equal to or slightly larger than the pixel size of the image element 162 of the photodetector 160. Further, in various embodiments of read head 126, the average speckle size is approximately twice to ten times the pixel spacing of image element 162.
[0063]
In order to acquire an image, the signal generation processing circuit 200 outputs a drive signal to the signal line 132 to drive the coherent light source 130 to emit the coherent light beam 134. The light beam 134 illuminates a portion of the optical diffusing rough surface 104, thereby producing an image on the array 166 of image elements 162 of the photodetector 160. At this time, a plurality of signal portions are input to the signal generation processing circuit 200 via the signal line 164. Each signal portion here corresponds to an image value detected by one or more of the individual image elements 162.
[0064]
In order to determine the displacement of the optical diffusing rough surface 104 between the two images, a signal portion representing the first image sent from the photodetector 160 and received by the signal generation processing circuit 200 is stored in the memory. After a short time has elapsed, the signal generation processing circuit 200 drives the coherent light source 130 again and receives the second image signal from the photodetector 160 via the signal line 164. In general, the second image signal is generated and acquired during a short time interval after acquisition of the first image signal at a time interval depending on the displacement speed of the optical diffusion rough surface 104 relative to the photodetector 160. It must be. This time interval should be short enough to ensure that the first and second images are sufficiently “overlapping”. That is, the time interval ensures that the pattern of image values present in the first image is also present in the second image and an important correlation between the two images can be determined. Must be short enough.
[0065]
A process is performed on the first image and the second image, ie, the displaced image, to generate a correlation function. In practice, the second image is digitally applied to the first image over a range of offsets, including offsets that substantially align the patterns of the two images, or a range of spatial transformation positions. Moved. The correlation function indicates the degree of pattern alignment, and thus when the two images are digitally moved, it indicates the amount of offset required to align the images.
[0066]
FIGS. 2, 4 and 6 are diagrams illustrating one embodiment of a pixel configuration in the reference image 300 and are imaged along a single dimension 304 via an imaging device such as a photodetector 160. FIG. 6 is a diagram illustrating one embodiment of a pixel configuration in a displacement image 310 obtained by moving a surface, such as a roughened optical diffusing rough surface 104. That is, the offset of the displacement image 310 relative to the reference image 300 occurs along only a single dimension. As shown in FIGS. 2, 4 and 6, each of the reference image 300 and the displacement image 310 is organized in a plurality of rows 320 and a plurality of columns 330. There are many other techniques for comparing the first image with the second image. For example, in the conventional technique as shown in FIG. 2, all frames of the current second image are compared with all frames of the first image for each pixel, and a single correlation value is generated.
[0067]
Thus, in the conventional technique as shown in FIG. 2, the displacement image 310 is first compared with the reference image 300 at the first offset position. At this offset position, the left and right edges of the displacement image 310 are aligned with the left and right edges of the reference image 300. At this offset position, the correlation function value is determined by comparing each pixel 302 of the reference image 300 with the corresponding pixel 312 of the displacement image 310. Thereafter, the displacement image 310 is moved by one pixel along the displacement direction 304 with respect to the reference image 300. Again at this offset location, each of the pixels 312 of the displacement image 310 is compared to the corresponding pixel 302 of the reference image 300 at that offset location. The series of correlation values generated by moving the second image by one pixel relative to the first image after each comparison is made can be graphed as a correlation function, as shown in FIG.
[0068]
In the specific example shown in FIG. 2, the displacement image 310 has been moved 6 pixels or 6 offset positions to the left with respect to the reference image 300. Of course, the displacement image 310 may be displaced in both the left and right directions with respect to the reference image 300. Further, as long as the displacement image 310 is sufficiently superimposed on the reference image 300 so that a reasonable and accurate correlation function value point is likely to be obtained, the displacement image 310 may continue to match the reference image 300. . Further, for pixels that are located in the reference image and displacement image areas but are not overlaid in the other areas of the reference image and displacement image, the pixels are compared to pixels having default values, or the default A comparison value or the like may be assigned.
[0069]
Cyclic boundary conditions may be used when all the frames of the current reference image are compared with all the frames of the current displacement image. As shown in equations (2) and (3) described later, a correlation value is obtained for each row, and the row correlation values are summed. This sum is then averaged over M rows to obtain a noise-reduced average correlation function value point. This averaging is desirable to ensure that the correlation function value points are approximately stable with respect to the resolution obtained by performing interpolation to determine the extreme values of the correlation function. Accordingly, when each correlation function value point is offset by about 1 μm from an adjacent correlation function value point to obtain a resolution of approximately nanometers by interpolating to determine the extreme value of the correlation function, the correlation function value It is believed that the points need to be roughly stable for the desired nanometer resolution value.
[0070]
FIG. 3 is a graph showing a result of comparing the first and second images using the conventional technique shown in FIG. 2 by the above-described conventional multiplicative correlation function method. As shown in FIG. 3, a correlation function 400 is generated by roughly connecting each of the correlation function value points for each offset position. Here, the correlation function 400 includes a plurality of discrete correlation function value points 402 separated in the X-axis direction by a predetermined offset increment corresponding to the pixel pitch P indicated by the distance 404. This predetermined offset increment may be directly related to the displacement increment of the optical diffusion rough surface 104 shown in FIG. This displacement increment depends on the effective distance between the center points between the individual image elements 162 of the array 166 in the direction corresponding to the measurement axis 110. In addition, this displacement increment is also referred to as a pixel pitch P in the following description, and is also referred to as an amount of enlargement of the displacement of the optical diffusion rough surface 104 by the optical device of the read head 126.
[0071]
For example, if the effective distance between the central points of the image element 162 in the direction corresponding to the measurement axis 110 is 10 μm and the optical device of the read head 126 enlarges the surface displacement by about 10 times, the optical diffusion rough surface 104 A 1 μm displacement of the illuminated portion is magnified to a 10 μm displacement of the speckle pattern on the image element 162.
[0072]
Each correlation function value point 402 is generated by digitally moving the second image relative to the first image by an effective distance between the center points of the image element 162 in a direction corresponding to the measurement axis 110. . In this case, since the effective distance between the center points of the image element 162 corresponds to a displacement of about 1 μm of the optical diffusion rough surface 104, the discrete correlation function value points 402 are separated by a displacement distance of about 1 μm.
[0073]
As shown in FIG. 3, the “landscape” of the correlation function 400 can be divided into two different parts: a normal background part 410 and a peak part 420. Typically, in the background portion 410, the correlation function exhibits a value within a relatively limited range and is substantially flat or constant. The peak portion 420 has a peak or valley extreme value, has a substantially steep slope portion, and / or shows a correlation value substantially outside the limited range in the background portion 410. In particular, the normal background portion 410 is composed of correlation function value points 402 having correlation function values within a range 412 of values substantially smaller than the range of correlation function values included in the peak portion 420. This range 412 is often narrower than the range of correlation function values of the correlation function in the various embodiments described herein, but as long as the peak portion 420 can be reliably distinguished from the normal background portion 410, the range 412 need not have any special relationship to the range of correlation function values of the correlation function. Thus, the shift of the correlation function in the normal background portion 410 can be easily distinguished from the correlation function peak, but in other cases it may actually be significantly bumpy in various applications.
[0074]
In the normal background portion 410, the correlation function value point 402 has a correlation function value that is not larger than the maximum background value 414 and not smaller than the minimum background value 416. In contrast, in a peak type correlation function value, almost all of the correlation function value points 402 located within the peak portion 420 have a correlation function value that is significantly greater than the maximum background value 414. Similarly, in valley type correlation function values, almost all of the correlation function value points 402 located within the peak portion 420 have correlation function values that are significantly smaller than the minimum background value 416.
[0075]
In general, the correlation function value points 402 located within the correlation function peak portion 420 are typically placed almost equally on either side of the actual correlation function peak 422 representing the offset position where the two images are most closely aligned. Therefore, the actual correlation function peak 422 is roughly located at or near the center point of the width 424 of the correlation function peak portion 420.
[0076]
However, as outlined above, in this prior art, in order to determine each pixel-to-pixel correlation value, and to accumulate a correlation value for each pixel-to-pixel comparison in the first image, Also, a significant amount of system resources must be provided in order to apply the appropriate scaling criteria and to do this for each possible correlation function value point 402. This is especially true when the second image can move in at least two orthogonal directions relative to the first image. In this case, a single full frame comparison is performed not only for every possible offset in each of the m columns located in the row direction, but also for every possible offset in the n rows located in the column direction. It is done with every.
[0077]
Thus, in this prior art, for a one-dimensional displacement, each of the first image and the second image consists of M × N pixels arranged in a two-dimensional array of M rows of pixels and N columns of pixels. One common correlation algorithm is represented by the following equation (2).
[0078]
[Expression 2]

[0079]
Where R (p) is the correlation function value for the current offset value, p is the current offset value in pixels, m is the current column, n is the current row, I ₁ Is the image value of the current pixel in the first image, I ₂ Is the image value in the second image.
[0080]
In this conventional technique, p changes by one pixel from -N to + N. However, usually the range of p is limited to -N / 2 to + N / 2, -N / 3 to + N / 3, or similar ranges.
[0081]
For two-dimensional displacement, one common correlation algorithm when each of the current reference image and the current displacement image consists of M × N pixels arranged in a two-dimensional array of M rows of pixels and N columns of pixels. Is expressed by the following equation (3).
[0082]
[Equation 3]

[0083]
Where R (p, q) is the correlation function value for the current offset value in each of the two dimensions, p is the current offset value in pixels along the first dimension, and q is along the second dimension. Current offset value in pixels, m is current column, n is current row, I ₁ Is the image value of the current pixel in the first image, I ₂ Is the image value in the second image.
[0084]
Similarly in this conventional technique, q changes by 1 pixel from −M to + M. Usually, however, the range of q is limited to -M / 2 to + M / 2, -M / 3 to + M / 3, or the like.
[0085]
As a result, in this conventional technique, up to 2M correlation function value points in one-dimensional displacement, and up to 2M × 2N correlation function value points in a system that allows two-dimensional displacement. It is required to determine the correlation value. Therefore, in the conventional full-frame analysis, the system resource amount is excessively consumed in the one-dimensional displacement, and the degree is much higher in the two-dimensional displacement. As a result, full frame correlation requires systems with significant processing power and / or high speed processors. Without such a system, it is impossible to execute the full frame correlation function peak search process in real time.
[0086]
However, as outlined in the cited 671 application, even when the offset position is determined with very high accuracy by interpolation, usually only a few points near the extremum in the peak portion 420 of the correlation function 400 are actually It is only used to determine the offset position. As such, some of the correlation function value points 402 located in the correlation function peak portion 420 are not used to determine the offset position, and none of the correlation function value points 402 located in the background portion 410 are used for it.
[0087]
Thus, the inventor locates the correlation function value point 402 within the correlation function peak portion 420 before it becomes desirable to determine the total correlation function value for each correlation function value point close to the peak 422 of the correlation function 400. Thus, it has been noted that it is absolutely necessary to roughly determine the position of the correlation function peak 422. The inventor has also found that one or more such correlation function value points 402 located within the correlation function peak portion 420 are sparsely located by searching the correlation function 400 and sparsely in the correlation function 400. It has been noted that by determining the correlation function value of the correlation function value point 402 of
[0088]
As noted above, a few correlation function value points 402 around the peak 422 are often used to determine the true peak offset position of the correlation function 400. Therefore, in order to determine the offset position of the peak 422, the inventor determines the correlation function value point in the sparse set (sparse set, a set of sparsely arranged correlation function value points) located within the peak portion 420 of the correlation function 400 Noted that it may be possible to use only some of the 402s. That is, the offset position of the peak 422 can be determined without determining the correlation function value of each correlation function value point 402 close to the peak 422 of the correlation function 400.
[0089]
The inventor also relates to the average value of the values in the range 412 of the normal background portion 410, usually for high spatial frequency images where the sparse set technique of correlation function value points used in the system and method according to the invention is particularly effective Note that there is generally some a priori knowledge of and a priori knowledge about the approximate values of the maximum background value 414 and the minimum background value 416.
[0090]
For example, in the speckle image-based optical position transducer 100 shown in FIG. 1, the optical diffusing rough surface 104 generates such a high spatial frequency image. When such a high spatial frequency speckle image is used as the reference image and displacement image described above for a given optical diffusion rough surface 104, the maximum background value 414 and / or minimum background of the background portion 410 The ground value 416 is very stable and can be determined during the manufacturing process of the speckle image based optical position transducer 100. As a result, the maximum background value 414 or the minimum background value 416 can be stored in the signal generation processing circuit 200 according to the method of the correlation function used, and can be used as a threshold. In practice, in speckle image-based position transducer 100, R (p, q) is often related to the average value of image intensity in order to remove the dependence of correlation function value R (p, q) on laser intensity. Normalized. Thereby, in these states, the value of the correlation function actually becomes the normalized value of the correlation function.
[0091]
That is, the signal generation processing circuit 200 has a priori knowledge of the correlation function background value 414 or 416 that the correlation function value point of the peak portion 420 must be greater than or less than. As a result, a simple comparison with the a priori value is made and a single correlation function value with a correlation function value that is located above the maximum background value 414 or below the minimum background value 416. By finding the point, the approximate location of the peak portion 420 is quickly determined.
[0092]
The inventor further discovered that the width 424 of the peak portion 420 in such a high spatial frequency image is generally narrower than the full range of the correlation function region. The inventor also shows that the correlation function value of the correlation function value point 402 at the end of the peak portion 420 is clearly deviated from the average correlation function value of the correlation function value point 402 that is normally located in the background portion 410. discovered. That is, generally, such a high spatial frequency image is not more correlated at a position closer to the peak portion 420 than a position far from the peak portion 420 to the immediate vicinity of the actual correlation function peak 422. In contrast, non-high spatial frequency images, such as those used in the sparse search technique disclosed by Musmann, have very wide and shallow correlation function value peaks. That is, the technique disclosed in Musmann works only because the correlation function at all points has a slope that points in the direction of the correlation function peak position.
[0093]
In certain aspects, there may not be any a priori knowledge available about the particular image to be used as the reference image 300 and the displacement image 310. However, the inventors further noted that even if such a priori knowledge is not available, such a priori knowledge can be easily derived whenever the correlation function 400 is determined. That is, in general, for most high spatial frequency images, the average value of the background portion 410, and the range 412, the maximum background value 414 and the minimum background value 416 of the normal background portion 410 are substantially stable, especially the peak portion. It is stable compared to the correlation function value obtained corresponding to the correlation function value point 402 located within 420.
[0094]
Thus, these values can be derived from a well-defined correlation function obtained by comparing the displacement image with the reference image in the conventional manner. These values can also be derived by comparing a given image with itself, ie by autocorrelation. In addition, for the same reasons outlined above, the width of the peak part of the autocorrelation function (as defined by the zero offset position) is not determined, and the correlation function value of the correlation function value point far from the zero offset position is not determined And determining the correlation function value of at least one subset of the correlation function values near the zero offset position. Similarly, for the same reasons outlined above with reference to FIG. 3, fewer than all pixels of the image may be available for generation of correlation function values in the autocorrelation function.
[0095]
In the first embodiment according to the present invention shown in FIGS. 4 and 5, the peak search of the image correlation function is performed in place of the conventional image correlation function peak search processing described with reference to FIGS. It is performed as a (or more) stage process. In particular, as shown in FIG. 4, rather than comparing the displacement image 310 with the reference image 300 for each column 330, the displacement image 310 is compared with the reference image 300 only in the columns 332 selected away from each other.
[0096]
For example, in the embodiment shown in FIG. 4, the displacement image 310 is currently compared with the reference image 300 at the offset position corresponding to the column 332-2. In the previous comparison, the displacement image 310 is compared with the reference image 300 at an offset position corresponding to a column 332-1 that is one or more skipped columns 332 away from the current column 332-2. Similarly, the next comparison of the displacement image 310 with the reference image 300 is performed in column 332-3 that is one or more skipped columns 332 away from the current column 332-2.
[0097]
That is, in the first stage, at a large number of sparsely arranged offset positions, all the rows of the displacement image are all compared with the corresponding rows of the reference image, and a correlation value is generated. Thus, after each comparison is made, such a series of sparse correlation values corresponding to the correlation values shown in FIG. , By a predetermined number of pixels, or a dynamically determined number of pixels, or by moving to the next position in a predetermined predetermined offset position or to a dynamically determined offset position.
[0098]
Next, in the first embodiment of the sparse search technique according to the present invention, an analysis is performed on the sparse set of the correlation function value points 402 determined in the first stage, whereby the background portion 410 is analyzed. The correlation function value points 402 of the sparse set located outside the correlation function value range 412 are identified, that is, the correlation function value points 402 of the sparse set located within the peak portion 420 of the correlation function 400 are identified. . As outlined above, in a high spatial frequency image, such as an image on the optical diffusing rough surface 104 used in the system and method of the present invention, the correlation function value point 402 in the normal background portion 410 of the correlation function, i.e. The points 402 that are not located in the peak portion 420 usually have values that are distributed only slightly away from the average value of the background portion 410. That is, the value of the correlation function value point of the normal background portion 410 does not become larger than the maximum background value 414 and does not become smaller than the minimum background value 416.
[0099]
Thus, by comparing the image value of each correlation function value point 402 in the set of sparsely arranged correlation function value points shown in FIG. 5 with the minimum background value 416 or the maximum background value 414, the correlation of the sparse set. The function value point 402 can be easily classified as part of the background portion 410 or part of the peak portion 420. As a result of identifying one or more correlation function value points 402 of the sparse set correlation function value points 402 located within the peak portion 420, the peak portion 420 and the peak or valley of the correlation function may be generally identified. it can.
[0100]
Instead, in the second embodiment of the sparse search technique according to the present invention, the sparse set of the correlation function value points 402 determined in the second stage is analyzed, and a slope larger than the slope threshold is obtained. The adjacent pair of points in the correlation function value point 402 of the sparse set is specified. That is, as shown in FIGS. 3, 5, and 7-10, the absolute value of the slope of the correlation function defined between adjacent correlation function value points 402 located in the background portion 410 is located in the peak portion 420. Is significantly less than the absolute value of the slope between many pairs in adjacent correlation function value points with at least one pair.
[0101]
Thus, the maximum absolute value of the slope between any set of two correlation function value points both located in the background portion can be determined as the slope threshold. Then, for any set of adjacent correlation function value points of the sparse set, the sparse slope of the correlation function between those two sparse correlation function value points can be determined. The absolute value of the slope can be compared to a slope threshold. If the absolute value of the sparse slope is greater than the slope threshold, at least one of the adjacent correlation function value point pairs is located within the peak portion 420.
[0102]
Alternatively, the maximum positive slope and the maximum negative slope can be similarly determined as a pair of slope thresholds. The sparse slope value can then be compared to the pair of slope thresholds. Thus, if the sparse slope is more positive than the positive slope or more negative than the negative slope, at least one of the adjacent correlation function value point pairs is located within the peak portion 420.
[0103]
Of course, as long as both of a pair of adjacent correlation function value points are located within the peak portion 420, the absolute value of the slope in the pair of correlation function value points is less than or equal to the above absolute value, or the slope thereof. May be a value between the maximum positive slope and the maximum negative slope. In order to prevent this from adversely affecting the sparse search technique described above, some or all of the adjacent pairs of sparse sets of correlation function value points are analyzed in various embodiments. A slope threshold or slope value, such as an average value, a minimum value, and / or a maximum value of the background portion 410, is determined from an autocorrelation function or from a correlation function of a set of representative images, or predetermined. You may make it do.
[0104]
Then, in the second stage, based on the roughly determined position of the peak portion 420, the first and second images are compared at a position around the correlation space, that is, at an offset position located within the peak portion 420. All or at least a sufficient number of correlation values of the correlation function value points 402 located within the roughly determined peak portion 420 are generated. In particular, the pixel displacement corresponding to the peak correlation value is often clearly determined in the second stage because the sparse search simply loses one or several pixels worth of pixel displacement. As described in the cited 761 application, only the correlation values around the actual correlation peak 422 may be used to determine the interpolated sub-pixel displacement. Thus, an additional number of correlation function value points 402 need only be determined around the above-determined correlation peak 422 or valley.
[0105]
In the particular embodiment shown in FIGS. 4 and 5, only every second offset position is used to determine the correlation function value point 402, as compared to the embodiment shown in FIGS. As a result, as shown in FIG. 5, only four correlation function value points 402 a-402 d in the sparse set of correlation function value points 402 are located within the width 424 of the correlation function peak portion 420. However, only M / 3 (or fewer) correlation function value points 402 are determined to have the peak portion 420 than the M correlation function value points in the prior art shown in FIGS. Of course, much more sparsely arranged sets of offset positions may be used.
[0106]
Note that the correlation function value point 402 b has a correlation function value farthest from the average value of the background portion 410. The correlation function value point 402b is located within the correlation function peak portion 420, but is sandwiched by a pair of correlation function value points 402a and 402c having a correlation function value closer to the average value of the background portion 410. . Therefore, the actual correlation function peak 422 should be somewhere between the first correlation function value point 402a and the third correlation function value point 402c.
[0107]
Thus, it is only necessary to determine correlation function value points for additional high resolution offset positions that are between the offset positions corresponding to the first and third correlation function value points 402a and 402c. Further, depending on the particular technique used to interpolate between all sets of correlation function value points 402 or to fit a curve to all sets of correlation function value points 402, for example, correlation function values It may only be necessary to determine a correlation function value point with an offset close to the correlation function value point 402b, such as an offset within two or three high resolution offset steps from point 402b.
[0108]
As explained above, in the embodiment shown in FIG. 5, a sparse set of correlation function value points is generated by determining correlation function values at every two offset positions. That is, in the embodiment shown in FIG. 5, a sparse set of correlation function value points is generated by skipping a predetermined number of offset positions or pixels.
[0109]
In general, as described above, in high spatial frequency images to which the system and method of the present invention are particularly applicable, the average value of the background portion 410, the maximum and minimum values 414, 416 of the background portion 410, and / or Alternatively, the width 424 and approximate height of the peak portion 420 can be known as a priori knowledge of a system for imaging a known object. Such a situation includes imaging the optically diffuse rough surface 104 in the speckle image-based optical position transducer system 100 shown in FIG.
[0110]
In such a situation, since the width 424 of the peak portion 420 is known, at least one of the sparse sets of the correlation function value points 402 is within the width 424 of the peak portion 420 regardless of the position of any correlation function 400. A predetermined number of correlation function value points 402 included in the sparse set of correlation function value points 402, i.e. their spacing, can be selected. However, preferably a sufficient number of correlation function values for the sparse set of correlation function value points to ensure that two or three of the correlation function value points 402 of the sparse set are located within the width 424 of the peak portion 420. The point 402 may be included (and thereby have a smaller space).
[0111]
However, as described above, it is determined by dynamically determining the number of correlation function value points 402 to be included in the sparse set (and the spacing between adjacent pairs of correlation function value points 402) and in sequential order. By using the above numbers to determine a predetermined order of correlation function value points 402 to be performed, or by dynamically determining the order of correlation function value points 402 to be determined in sequential order, A sparse set of correlation function value points 402 may be generated in other embodiments. When dynamically determining the number of correlation function value points 402 to be included in the sparse set (including, in particular, determining the above interval), the previous offset determined in the previous correlation event As in the case where the sparse set view is dynamically determined, the sparse set may be dynamically determined for each correlation event. Or you may make it determine a sparse set dynamically based on the change to the base image used in a correlation process. The sparse set of points may be determined dynamically during setup mode or calibration mode before normal processing, or in various embodiments, in near real time or real time during normal processing. Good.
[0112]
In addition, any correlation function value point with a correlation function value located outside the range 412 of the background portion 410 identifies the location of the correlation function peak portion 420 in various embodiments, so that the peak portion 420 Determining the correlation function value of a correlation function value point located at a distance greater than the peak width 424 from the first determined one of the sparse sets of correlation function value points located within You may do it. As a result, whenever the width of the correlation function peak portion 420 is traversed, the correlation function value point 402 is skipped by skipping the correlation function value point 402 of the sparse set of correlation function value points 402 that have not been analyzed. It is possible to further reduce the sparse set.
[0113]
That is, it had a correlation function value greater than the maximum background value 414 for extreme values going in the positive direction of the background portion 410 or a correlation function value smaller than the minimum background value 416 for extreme values going in the negative direction. Whenever a correlation function value point is identified, the approximate location of the peak portion 420 is determined. Further, as described above, the width 424 of the peak portion 420 is very narrow compared to the range of the correlation function 400 in many applications. As a result, as described above, whenever the approximate location of the peak portion 420 is identified, any correlation function that is separated from the correlation function value point 402 in the peak portion 420 by a distance greater than the width 424 of the peak portion 420. It is also essentially useless to determine the correlation function value for the value point 402.
[0114]
In the first embodiment described above with reference to FIG. 3 and FIG. 5 and still another embodiment, the correlation function included in the sparse set of correlation function value points to be determined using this result Use the “binary” sequence of value points. This is one type of predetermined sequence for a sparse set of correlation function value points 402. The correlation function interval is determined by first determining the correlation function value of the correlation function value point 402 at each extreme offset position and at an offset position located approximately halfway between the extreme offset positions. Can be used to search. If none of these correlation function value points 402 are present in peak portion 420, additional correlation function value points 402 located approximately in the middle between each pair of adjacent predetermined correlation function value points. Can be determined. This process is repeated until a correlation function value point existing in the peak portion 420 is specified. Importantly, this iterative process need not continue after at least one such correlation function value point 402 is identified.
[0115]
Thus, in the first iteration, in the correlation function 400 having the first extreme value offset position at the offset position −L and the second extreme value offset position at the offset position + L (L is the image frame dimension). Correlation function values for correlation function value points 402 having offset values of -L, + L and 0, which are usually relevant) are determined. And in the second iteration, the correlation function values for the correlation function value points with offset values of -L / 2 and + L / 2 are determined. In a third iteration, correlation function values for correlation function value points 402 having offset values of −3L / 4, −L / 4, + L / 4, and + 3L / 4 are determined. This continues until the correlation function values for the entire sparse set of correlation function value points 402 are determined, or, more appropriately, until the location of the peak portion 420 is identified. Of course, during any particular iteration, if one of the correlation function value points 402 to be determined in that iteration is present in the peak portion 420, then from the correlation function value point 402 to the width 424 of the peak portion 420, None of the other correlation function value points 402 in that iteration separated by a large distance may be required to have their correlation function values determined.
[0116]
In this particular variation, whenever the approximate location of the peak portion 420 is identified using this binary search, the second stage is performed and the correlation function value points that may exist in the peak portion 420. A correlation function value for each of 402 is determined. Instead, as a variant of the second stage, only a single correlation function value point located within the peak portion is usually identified using this binary search technique, so in the second stage of this variant A sparse set having a regular interval of correlation function value points arranged around the correlation function value point 402 located in the peak part 420 may be determined so as to determine the location of the peak part 420 more precisely. .
[0117]
In the third stage, as described above with reference to the second stage described in the first embodiment, the farthest correlation function value point 402b in the peak portion 420 and the adjacent correlation function value Points 402a and 402c can be identified from this sparse set of correlation function value points determined in the second stage. Then, at least some of the correlation function value points that are adjacent to the furthest correlation function value point 402b and located between the correlation function value point 402a and the correlation function value point 402c are necessary to perform a particular interpolation technique. Specific correlation function value points 402 can be determined.
[0118]
In yet another embodiment of the sparse set technique described above in connection with FIGS. 4 and 5, rather than using a single sparse set, in the first stage, for example, from the width 424 of the peak portion 420 A first exemplary sparse set of correlation function value points with a larger spacing can also be used. If none of the correlation function value points of the sparse set having the large interval exists in the peak portion 420, the sparse set having the large interval between the correlation function value points 402 is offset by a predetermined amount in the second stage. be able to. Alternatively, a second sparse set with a smaller spacing can be used. Further, if the location of the peak portion 420 cannot be determined, subsequent iterations using sparse sets such as third, fourth, etc., with continuously smaller offsets or smaller intervals, until the location of the peak portion 420 is determined. It can be carried out.
[0119]
Once the location of the peak portion 420 has been determined, any subsequent sparse sets with smaller spacing can be excluded because they are the remainder of the correlation function value points of the current sparse set. Then, the final stage corresponding to the second stage described above in the first embodiment described with reference to FIGS. 4 and 5 is useful for determining the actual position of the correlation function peak 402. It may be performed to provide a correlation function value point 402. In particular, the above-described modified example is binary except that the location of the correlation function value point 402 in each sparse set is not precisely defined with respect to the extreme offset position as in the modified binary search technique. It may be essentially similar to a search technology variant.
[0120]
6 and 7 illustrate a second embodiment of a sparse set comparison technique for image correlation function value points according to the present invention. In particular, in the second embodiment illustrated in FIGS. 6 and 7, the inventor has shown that the correlation function of any particular correlation function value point 402 in a high spatial frequency image to which the system and method of the invention are particularly adapted. Even when determining the value, it is better than all pixels without effectively changing the functional relationship between the normalized background portion 410 and the normalized peak portion 420 of the correlation function 400. Noted that the decision can be made using a small number of pixels.
[0121]
That is, like the correlation function 400 shown in FIG. 4, the correlation function 500 shown in FIG. 7 includes a normal background portion 510 having a correlation function value point 502 including points 502a-502d, and this normal background portion. 510 has a correlation function value located within the range 512 that is generally smaller than the range of correlation function values included in the peak portion 520. Range 512 is defined by a maximum background value 514 and a minimum background value 516. Correlation function 500 similarly has a peak portion 520 consisting of a width 534 that is generally narrower than the region of correlation function 500. Except for the range of correlation function values that can be taken by the correlation function 500, the overall shape of the correlation function 500 is virtually indistinguishable from the shape of the correlation function 400. Therefore, in some examples of the second embodiment shown in FIG. 6, each pixel in each row M in the displacement image 310 is associated with a corresponding one in the reference image 300 to determine the correlation function value point 402. Rather than comparing with rows and pixels, only a few rows M and, for extreme values, only one row M is compared to determine the correlation function value for a particular correlation function value point 502.
[0122]
FIG. 8 illustrates a variety of different correlation functions 400, 500, 500 ′ obtained by using different amounts of pixels in the reference image 300 and the displacement image 310 when determining the correlation function values of the correlation function value points 402 and 502. And 500 ″. The correlation function 400, 500, 500 ′, 500 ″ shown in FIG. 8 contrasts with the multiplication correlation function shown in FIGS. ). In particular, as shown in FIG. 8, as the number of rows of pixels used to determine the correlation function value decreases stepwise in the correlation function 500, 500 ′, 500 ″, the average value of the background portion 510, And the difference between the average value in the background portion 510 and the extreme value of the correlation function value point 502 located in the peak portion 520 is reduced.
[0123]
At the same time, the noise in the background portion 510 increases, ie the range 512 between the corresponding maximum background value 514 and minimum background value 516. In this embodiment, the signal is the difference of the extreme value of the correlation function value point present in the peak portion 520 from the average value of the corresponding background portion 510. As the number of rows decreases, the noise increases and the signal-to-noise ratio decreases much faster because the difference between the extreme values of the peak portion 520 and the average value of the corresponding background portion 510 decreases. It can be said.
[0124]
However, as shown in FIG. 8, the relative width 524 of the peak portion 520 hardly changes when viewed from the point of pixel spacing. In general, the width 524 of the peak portion 520, ie, close to the range 512, but the offset difference between correlation function value points located outside the range 512 is substantially reduced rather than increased due to greater noise. To do. That is, the range 512 that is increased by the additional noise of the background portion 510 captures the correlation function value point 502 that should have been determined as a part of the peak portion 420 in the first embodiment with less noise. become.
[0125]
Any of the various techniques described above for determining the number of correlation function value points 402 to be included in the sparse set of correlation function value points 402 should be compared in the correlation function values of this second embodiment. A technique for limiting the number of image pixels may be combined. As a result, it is possible to further reduce the power required to determine the correlation function value of each correlation function value point 502 included in the sparse set of the correlation function value points 502 as well as the system resource amount and processing time. It becomes.
[0126]
For example, in various embodiments, only a small number of rows are compared, so that each comparison can be made quickly. However, since only a smaller number of rows than the entire image are used, the correlation function value obtained for each correlation function value point is the total number of rows of the second image of the first image for each such correlation function value point. The relationship is simply close to the correlation function value obtained from the comparison with the corresponding row. Nevertheless, the close correlation function value can still indicate the approximate location of the peak portion 520. Rarely, in some circumstances, very rarely, pixels are used to determine the correlation function value of the correlation function value point 502 in the sparse set of correlation function value points 502, so that the approximate location of the peak portion 520 is determined. The amount of system resources required is reduced and sometimes very reduced.
[0127]
FIG. 9 is a graph of a conventional correlation function 600 obtained by correlating the displacement image 310 and the reference image 300. Here, the displacement image 310 can be displaced in a two-dimensional direction with respect to the reference image 300. In particular, as shown in FIG. 9, the correlation function 600 develops in a two-dimensional direction as compared to the one-dimensional correlation functions shown in FIGS. In the conventional two-dimensional correlation function 600 shown in FIG. 9, a set in which the correlation function value points 602 are very dense (hereinafter referred to as “dense set”) is determined with respect to the conventional two-dimensional correlation function 600. The Therefore, the position of the peak portion 620 of the two-dimensional correlation function 600 and the position of the correlation function peak (in this case valley) 622 can be determined very accurately, but are often used in determining the dense set of the correlation function value point 602. This makes it difficult, if not impossible, to determine the correlation function 600 in real time, even if a high-speed data processor is used.
[0128]
Thus, as shown in FIG. 10, the sparse set of correlation function value points 606 selected from the set of all correlation function value points 602 of the correlation function 600 has been described above based on the one-dimensional correlation functions 400 and 500. If used by the first embodiment, the amount of system resources required to determine the two-dimensional sparse set of correlation function value points 606 is significantly reduced. As shown in FIG. 10, in one embodiment, a sparse set of correlation function value points 606 may be regularly arranged in a two-dimensional correlation function 600, such as a grid, thereby providing correlation function value points 602. Ensure that at least one of the sparse sets 606 is within the narrow peak portion 620. FIG. 10 clearly shows only a part of the grid of correlation function value points 606 that are sparsely spaced. Note that the sparse set 606 of the correlation function value points 602 may be arranged in the two-dimensional correlation function 600 by any method.
[0129]
In particular, the sparse set of correlation function value points 606 is searched in order as described above based on the modification of the multilevel search technique described in relation to the first embodiment. Can be broken down into various subsets. Similarly, in another embodiment, a two-dimensional binary search technique similar to the one-dimensional binary search technique described above can be used.
[0130]
Finally, as in the second embodiment described above, rather than comparing all pixels of the reference image and displacement image, only a subset of the pixels of the reference image and displacement image may be compared. . As a result, as described above in connection with the second embodiment, the amount of system resources required to determine each correlation function value is further significantly reduced.
[0131]
As explained above, once the correlation function values at each of the first or multiple stages of the sparse set of correlation function value points 606 are determined and analyzed, the position of the peak portion 620 of the two-dimensional correlation function 600 is once determined. Once determined, the entire set of correlation function value points to be used to determine the position of the correlation function peak using the techniques described in the 671 application is reached, and the sparseness of the correlation function value points is lower. One or more stages in the set can be determined. Of course, whenever the position of the peak portion of the two-dimensional correlation function is determined, the entire set of correlation function value points is determined using the techniques described in the 671 application to determine the position of the actual correlation function value peak. In some cases, it may be used as a single stage.
[0132]
In particular, since the sparse set of correlation function value points 606 used for specifying the position of the peak portion 620 of the two-dimensional correlation function 600 is sparsely distributed in the two-dimensional direction, the correlation function value points 602 in the total correlation function 600 are The ratio of the number of correlation function value points 606 included in the sparse set to the number is extremely small. Therefore, the system resources necessary for searching the two-dimensional correlation function 600 are the systems necessary for determining the correlation function of the sparse set of the correlation function value points 402 in the one-dimensional correlation function shown in FIGS. Compared to resource reduction, it can be significantly reduced.
[0133]
In the two-dimensional correlation function, the point 606 in the peak portion 620 corresponding to the first and third correlation function value points 402a and 402c described above is located on the opposite side of the farthest correlation function value point 606 in the peak portion 620. You may make it not. Thus, in the two-dimensional correlation function, in order to define a range of offset positions in which the first and third correlation function value points 606 are expanded in all directions from the farthest correlation function value point 606 in the two-dimensional correlation function. Can be used for Similarly, this same technique can be used to determine the range around the correlation function value point 402b in the one-dimensional offset phase. At least some of the correlation function value points 606 (or 402) within that range are then used to determine the offset position of the correlation function peak.
[0134]
FIG. 11 shows, in a first solution according to the present invention, an outline of a first embodiment of a method for determining a peak or valley position using a sparse set of image correlation function value point positions in a correlation function space. It is a flowchart to show. As shown in FIG. 11, the process starts in step S100 and proceeds to step S200, where a reference image is taken. In step S300, a displacement image is taken. The displacement image may be displaced by an unknown offset amount with respect to the reference image and superimposed on the reference image. Thereafter, the process proceeds to step S400.
[0135]
In step S400, the reference image and the displacement image are at a plurality of sparsely distributed offset positions, i.e., at an offset position corresponding to a sparse set of correlation function value points according to any of the previously described sparse set configurations or procedures. Compare. For example, in the first embodiment, in step S400, a sparse set of correlation function value points is predetermined or matches a predetermined order of correlation function value points to be determined. Thereafter, the process proceeds to step S500.
[0136]
In step S500, the correlation function value points in the sparse set of correlation function value points are analyzed to identify one or more correlation function value points of the sparse set located within the peak portion of the correlation function. As explained above, the correlation function value point of the sparse set located within the peak portion is the average value, the predetermined maximum value, or the predetermined correlation function value of the sparse set correlation function value point. It can be determined by comparing with a predetermined characteristic of a range of normal background parts, such as a minimum value. Whether this minimum or maximum value is used depends on the type of mathematical function used to obtain the correlation function value.
[0137]
Once the peak portion is determined in step S500, a high resolution set, such as a full set of correlation function value points, is obtained in at least one portion of the offset positions located within the determined peak portion in step S600. decide. That is, as described above, the entire portion corresponds to a number of adjacent offset positions that are separated by a pixel pitch. However, it can be said that it is not always necessary to determine all the offset positions existing in the peak portion. Next, in step S700, at least some correlation function values of the entire set of correlation function value points determined in step S600 are used to determine the actual displacement or offset between the reference image and the displacement image. . Any of the various techniques specified in the cited 671 application may be used in step S700. Thereafter, the process proceeds to step S800.
[0138]
In step S800, it is determined whether the process of the method should be terminated or whether additional displacement needs to be determined. If additional displacement needs to be determined, the process returns to step S300 and a subsequent displacement image is taken. On the other hand, if this is not necessary, the process proceeds to step S900, and the process of the present method ends.
[0139]
In many applications in position transducers such as the speckle image-based optical transducer 100 shown in FIG. 1, the displacement image captured in step S300 eventually exceeds the frame of the reference image captured in step S200. It may be displaced. In this case, a variety of techniques disclosed in US patent application Ser. No. 09 / 860,636 may be used between steps S800 and S300 to provide a new reference image. A displacement image obtained in advance may be used as the next reference image.
[0140]
FIG. 12 shows an outline of the second embodiment of the method for determining the peak or valley position using the sparse set of the image correlation function value point positions in the correlation function space, in the first solution according to the present invention. It is a flowchart to show. Steps S100 to S300 in FIGS. 12 and 11 are the same processing. However, with regard to steps S400 and S500, in the embodiment described with reference to FIG. 11, the correlation function values at all the correlation function value points of the sparse set are determined in step S400. In step S500, the determined total sparse correlation function value is analyzed. In contrast, in steps S400 and S500 shown in FIG. 12, the correlation function value of one sparse correlation function value can be determined in step S400, and in step S500, the correlation function of the next sparse correlation function value point. Before the value is determined in step S400, it is changed so that the determined current correlation function value can be analyzed. In this case, as shown in FIG. 12, step S550 is added after step S500 and before step S600, and whether or not the position of the peak portion is sufficiently specified in consideration of the current correlation function value point. Is determined. If the position of the peak portion is not sufficiently specified, the process returns to step S400, and the next correlation function value point of the sparse set is analyzed. If the position of the peak portion is sufficiently identified, the process proceeds to steps S600 and S700, and is determined to determine the correlation function peak offset position in step S600, similar to steps S600 and S700 of FIG. A high resolution set of power correlation function value points is determined, and the determined high resolution set is analyzed in step S700.
[0141]
Further, as various modifications of step S550, the first correlation function value point of the peak portion is found, or until a predetermined number of correlation function value points of the peak portion is found, or located within the peak width of the peak portion. Until it is determined from the correlation function value point of the sparse set to both sides of the first correlation function value point to be determined, such as located within the peak part, or until the width of the peak part 420 is measured You may make it return a process to step S400. Thereby, in the various modifications of step S550, a plurality of correlation function value points of a sparse set that can potentially be located in the peak portion are determined before the process proceeds to step S600. This is advantageous when determining specific correlation function value points to be included in the high resolution set of points determined and analyzed in step S600.
[0142]
The flowcharts described above with reference to FIGS. 11 and 12 are also modified to be combined with any of the various modifications described above with reference to FIGS. A number of examples of steps S400 and S500 may be considered with another sparse set of correlation function value points to be determined and analyzed in and / or as described above with reference to FIG. The comparison performed to determine the correlation function value in step s400 may be modified. Further, as can be easily understood by those skilled in the art, the method illustrated in FIGS. 11 and 12 and the additional modifications described above can be used without distinction in both one-dimensional offset and two-dimensional offset. Also good. There can be many combinations of such variations, but a specific flowchart corresponding to each such combination is not described here. However, in view of the description relating to FIGS. 5-10 set forth above, those skilled in the art will be aware of such variations of the embodiment of the method according to the present invention illustrated in FIGS. It seems easy to understand the specific steps to be performed in
[0143]
FIGS. 13 and 14 show two embodiments of “smeared” high spatial frequency images. Conventionally, in the image correlation technique, this smearing (hereinafter referred to as “smear”) distorts the image as compared with a clear image such as the image shown in FIG. 15, so such a smear image is very undesirable. It was thought. However, as used in the present invention, image smear occurs when the output obtained by the speed and exposure time to induce smear is not negligible compared to the pixel size of the image taken. In general, when the smear is appreciable, visible and / or measurable, as shown in FIGS. 13 and 14, it cannot be ignored. Smear has traditionally been believed to significantly distort the shape and position of the correlation function peak, thus preventing the determination of the actual displacement between the reference image and the displacement image. However, with respect to image features that are on the order of the pixel size of the image capture device, any image captured while the imaged object is moving at a significant speed relative to the image capture device will have some degree of Have a smear.
[0144]
In general, the smear amount S of the image feature compared to the still image is expressed by the following equation (4).
[0145]
[Expression 4]

[0146]
Here, v is a velocity vector of a two-dimensional offset (v is a scalar velocity of a one-dimensional offset), t _s Is the shutter time (or the strobe time of the light source).
[0147]
The smear amount S in an image can be determined from the peak portion of the autocorrelation function in the image. In addition, in order to determine the smear amount S, only a single image may be requested. The autocorrelation function R (p) for a given pixel displacement (p) in a one-dimensional displacement is expressed by the following equation (5).
[0148]
[Equation 5]

[0149]
Similarly, an autocorrelation function R (p, q) for a given pixel displacement (p, q) in a two-dimensional displacement is expressed by the following equation (6).
[0150]
[Formula 6]

[0151]
In practice, the autocorrelation peak of a given image is centered on the p = 0 displacement at the one-dimensional offset, and at the center of the p = q = 0 displacement at the two-dimensional offset. There is no need to determine R (p) or R (p, q) for all the offset values. Rather, R (p) or R (p, q) are those located within the one- or two-dimensional peak portion of the correlation function centered around the (0) or (0,0) offset position. Can be determined only for the offsets, or only for the sparse set of those offsets. In addition, it can be said that it is not necessary to use the entire image to determine R (p) or R (p, q). Rather, the sub-area of the entire image may be used to determine R (p) or R (p, q). As described above with reference to FIGS. 6 and 7, using fewer than the entire image substantially reduces the computation time.
FIG. 16 shows a contour map at the peak portion 620 of the two-dimensional correlation function 600 of the non-smear image and a contour map at the peak portion 620 ′ of the two-dimensional correlation function 600 ′ of the smear image. Of course, since the data points are separated by pixel units of the image array used to capture the non-smear and smear images, it can be said that these correlation functions are not actually continuous.
[0152]
Determine the smear vector (or the amount of scent smear at the one-dimensional offset) at the two-dimensional transformation offset without calculating all of the correlation function value points located within the peak portion of the correlation function and without using all of the array pixels. In one embodiment of the fast technique according to the invention for the purpose of determining the correlation function along the column direction (p), one row N _x And use one column M to determine the correlation function along the row direction (q) _y Is used. That is, row N _x Correlates to itself at various pixel displacements along the column direction (p), and column M _y Correlates to itself in displacement along the column direction row direction (q). As a result of the determination of this sparse set of correlation function value points, R (p, q) along the p and q directions is effectively calculated, as shown by the correlation function value point 608 in FIG. However, in practice it may be desirable to use multiple rows N and / or multiple columns M to improve the signal to noise ratio at any given correlation function value point 608 of FIG. In general, from 1 to 5 such rows N or columns M can be reasonably used for image features on the order of pixel size.
[0153]
Whenever correlation function value points 608 along the p and q directions are determined, the widths 624p 'and 624q' of the peak portion 620 'can be determined based on the values of these correlation function value points 608. . Thereafter, smear in any direction may be determined based on the vector combination of the widths 624p ′ and 624q ′ of the peak portions 620 ′ along the p and q directions, respectively.
[0154]
The direction of the maximum length vector combination of the widths 624p ′ and 624q ′ of the peak portion 620 ′ may represent the direction of motion that occurs when the smear image is captured, that is, the direction of the smear vector v. Accordingly, the orthogonal direction, or the direction of the minimum length vector combination of the widths 624p ′ and 624q ′ of the peak portion 620 ′, is a non-relative direction of motion. Thus, the difference between these two orthogonal vector lengths corresponds to the actual smear amount.
[0155]
The above analysis also applies to a one-dimensional offset imaged by a two-dimensional array. However, in applications where the offset is always along a defined array axis, the minimum length combination vector may always be along one array direction. And the minimum length combination vector is often a known quantity. Thus, for example, in a limited motion to move the image along the p direction, only the correlation function value points for the offset along the p direction are determined. The smear amount is then determined based on the motion dependent width 424 of the peak 420 of the correlation function along the p direction and the known minimum vector length along the q direction.
[0156]
Once the smear vector v is determined, a rough relative position of the displacement image 310 relative to the smear reference image 300 can be predicted, assuming that a function of distance versus smear degree is available. This function of distance vs. smear degree is expressed as a smear relationship S = v · t _s Alternatively, measurement or prediction may be performed based on a known elapsed time between the acquisition of the smear reference image 300 and the acquisition of the displacement image 310.
[0157]
In this technique, it may be assumed that the acceleration during and after the smear image to be analyzed is taken is not too great. That is, this technique reduces the value when a large acceleration occurs between the acquisition of the smear reference image and the acquisition of the displacement image. However, rather than performing exactly the same analysis on only one of the smear reference image or the displacement image, both the smear reference image and the displacement image are subjected to exactly the same analysis, and then the smear results from the reference image and the displacement image are obtained. Can be determined at large accelerations, or at least partially adjusted.
[0158]
However, as long as the smear vector v at the one- or two-dimensional offset determined by the above description indicates the line direction, the smear vector is actually along the line even if the line where the motion has occurred is displayed. It can be said that it does not indicate in which direction the movement has occurred. Thus, using the smear magnitude (at a one-dimensional offset) or the smear magnitude (at a two-dimensional offset) and the line direction, this results in a peak portion 420 of the one- or two-dimensional correlation functions 400 and 600. Alternatively, two candidate or potential locations of 620 can be determined approximately, respectively. Retrieving the correlation function peak knowing the approximate candidate or potential location and determining the correlation function value of the correlation function value point away from the approximate candidate or potential location of the correlation function peak Therefore, it is possible to avoid the peak, and therefore, it is possible to find the peak with a small number of processes.
[0159]
Alternatively, the displacement determined in the previous displacement determination may be used to select the smear direction polarity, thereby searching only a single approximate position of the peak portion 420 or 620. It will be necessary. That is, assuming that the acceleration following the previous displacement determination is not too great, the direction of the displacement may be used to remove one of the two candidate or potential positions.
[0160]
Thus, once the approximate location of the peak portion 420 or 620 is identified using the smear amount and / or direction, the correlation function value points 402 or 606 that exist around the roughly determined correlation function peak offset location. A limited range of correlation function value points 402 or 606 that contain を may be determined and analyzed. In various applications, the smear procedure described above may be used to separate the roughly determined correlation function peak offset position with sufficient accuracy so that there is not much utility when further applying the sparse search procedure described above. Good. In such a case, all correlation function value points 402 or 606 present in a limited range around the roughly determined correlation function peak are analyzed as in the 671 application. Since only the correlation function value points that are likely to be used in determining the actual offset position are determined by the various techniques disclosed in the '671 application, the system resources required to determine the offset position are the correlation function 400. Or significantly reduced compared to having to search all 600 correlation spaces.
[0161]
However, in other applications, the smear procedure specified above may cause the roughly determined correlation function peak offset position to be separated more roughly, and the limited range may be significantly increased. May be. Also, if the smear cannot be identified, the limited range must be set to the maximum value. In that case, the above-described smear technique is combined with any of the various embodiments and / or the above-described modification of the sparse set technique of the correlation function value points, and the amount of system resources necessary to determine the offset position is calculated. It may be further reduced. That is, as explained above, the smear magnitude or smear vector only roughly determines the position of the correlation function peak and the peak portion 420 or 620 of the one-dimensional or two-dimensional correlation functions 400 and 600, respectively. Thus, the information about the approximate location of the peak portion 420 or 620 provided by the smear magnitude or smear vector, respectively, can be used to dynamically determine the sparse set of correlation function value points 402 or 606. This determines the approximate position of the peak portion 420 or 620 and the correlation peak 422 or 622 with higher precision and / or resolution, respectively.
[0162]
Thereafter, as described above, the sparse set of correlation function values 402 or 606 and the surrounding correlation function value points 402 or 620 located within the peak portion 420 or 620 around the farthest correlation function value points 402b or 606b. The most distant correlation function value point 402b or 606b at 606 is determined. Any of the various techniques described above for determining the full set of correlation function value points useful for the technique described in the 671 application may then be used. In this case, the use of this three-stage technology combining smear technology and sparse set technology requires much less system resources.
[0163]
FIG. 18 is a block diagram showing in detail an embodiment of the signal generation processing circuit 200 shown in FIG. As shown in FIG. 18, the signal generation processing circuit 200 includes a controller 210, a light source driver 220, a light detection interface 225, a memory 230, a comparison circuit 240, a comparison result accumulator 245, an interpolation circuit 260, a position accumulator 270, a display driver 201, An optional input interface 204, a clock 208, an offset position selector 275, and a correlation function analyzer 280 are included.
[0164]
The controller 210 is connected to the light source driver 220 by the signal line 211, to the light detection interface 225 by the signal line 212, and to the memory 230 by the signal line 213. Similarly, the controller 210 is connected to the comparison circuit 240, the comparison result accumulator 245, the interpolation circuit 260, the position accumulator 270, and the offset position selector 275 by signal lines 214-218, respectively. Finally, the controller 210 is connected to the display driver 201 via the control line 202 and, if equipped, to the input interface 204 via the signal line 205. The memory 230 includes a reference image unit 232, a current image unit 234, a correlation unit 236, a correlation offset position setting unit 238, and a second stage correlation unit 239.
[0165]
The operation of the signal generation processing circuit 200 having such a configuration will be described. The controller 210 outputs a control signal to the light source driver 220 via the signal line 211. In response to this, the light source driver 220 outputs a drive signal to the light source 130 via the signal line 132. Subsequently, the controller 210 outputs a control signal to the light detection interface 225 and the memory 230 via the signal lines 212 and 213, and thereby from the light detector 160 corresponding to each of the image elements 162 via the signal line 164. The received signal portion is stored in the current image portion 234. Note that the image values from the individual image elements 162 are stored in a two-dimensional array in the current image portion 234 corresponding to the position of the individual image element 162 in the array 166.
[0166]
Once the image is stored in the reference image portion 232, the controller 210 outputs a control signal for driving the light source 130 to the light source driver 220 via the signal line 311 for an appropriate fixed time or control. Wait for the specified time. At that time, the light detection interface 225 and the memory 230 are controlled by signals from the signal lines 212 and 213, and the obtained image is stored in the current image unit 234.
[0167]
Next, the offset position selector 275 accesses the correlation offset position setting unit 238 under the control of the controller 210. The correlation offset position set unit 238 is a sparse set of correlation function value points to be used during the first stage to roughly determine the peak position 420 or 620 of the one-dimensional or two-dimensional correlation function 400 or 600. The data which prescribes is stored. The sparse set of the correlation function value points 402 or 606 stored in the correlation offset position set unit 238 is determined in advance as described above. Instead, the sparse set of correlation function value points 402 or 606 can be determined dynamically, or as described above, the ordered list of correlation function value points to be determined in order is determined dynamically. You may make it.
[0168]
Regardless of how the sparse set of correlation function value points 402 or 606 is determined, the offset position selector 275 is sparse of the correlation function value points stored in the correlation offset position set section 238 under the control of the controller 210. A first correlation function value point is selected from the set. The offset position selector 275 then uses p (in the one-dimensional correlation function 400) to be used by the comparison circuit 240 when comparing the displacement image currently stored in the image portion 234 with the reference image stored in the reference image portion 232. A signal indicating the dimension offset or the p and q dimension offsets (in the two-dimensional correlation function 600) is output to the comparison circuit 240 via the signal line 277.
[0169]
Thereafter, the controller 210 outputs a signal to the comparison circuit 240 via the signal line 215. In response, the comparison circuit 240 inputs the image value of a particular pixel from the reference image portion 232 via the signal line 242, and the correlation function value point 402 with the offset value received from the offset position selector 275. Alternatively, the image value of the corresponding pixel is input from the current image portion 234 via the signal line 242 based on the offset value in the current one of the 606 sparse sets. At this time, the comparison circuit 240 applies a correlation algorithm to obtain a comparison result. In order to compare the reference image stored in the reference image portion 232 and the current image stored in the current image portion 234 on a pixel-by-pixel basis based on the current offset, the comparison circuit 240 can be any known or later developed. Appropriate correlation techniques may be used. The comparison circuit 240 outputs the comparison result at the current correlation offset to the comparison result accumulator 245 via the signal line 248.
[0170]
The comparison circuit 240 once extracts the image values in at least some of the image elements 162 from the reference image portion 232, compares them with the corresponding image values currently stored in the image portion 234, and applies the correlation technique for comparison. When the result is output to the comparison result accumulator 245, the value stored in the comparison result accumulator 245 is a correlation value corresponding to the current value received from the offset position selector 275, and is a sparse set of the correlation function value points 402 or 606. The correlation value in the present one is defined in a predetermined unit. Then, the controller 210 outputs a signal to the comparison result accumulator 245 via the signal line 214 and to the memory 230 via the signal line 213. As a result, the correlation algorithm result stored in the comparison result accumulator 245 is the current value received from the offset position selector 275 and corresponds to the current value of the current one of the sparse sets of the correlation function value points 402 or 606. Is output to and stored in the correlation unit 236 of the memory 230. Thereafter, the controller 210 outputs a signal to the signal line 214 to clear the correlation result stored in the correlation unit 236.
[0171]
The controller 210 then outputs a signal to the signal line 214 to clear the comparison result accumulator 245. Under the control of the controller 210, all comparisons of all correlation function value points in the sparse set of correlation function value points stored in the correlation offset position set unit 238 are performed by the comparison circuit 240, and the result is compared with the comparison result accumulator 245. Is stored in the correlation unit 236, the controller 210 outputs a control signal to the correlation function analyzer 280 via the signal line 219.
[0172]
The correlation function analyzer 280 analyzes the correlation function value stored in the correlation unit 236 under the control of the controller 210, and the correlation function value point located in the peak portion 420 or 620 of the correlation function 400 or 600, respectively. Correlation function value points 402 or 606 in a sparse set of 402 or 602 are identified. Then, the correlation function analyzer 280 is the farthest to be stored in the second stage correlator 239 at a number of correlation function value points 402 or 606 located respectively within the peak portion 420 or 620 under the control of the controller 210. A number of correlation function value points 402 or 606 located at least in part of the peak portions 420 or 620 surrounding the correlation function value points 402b or 606b are output. Then, the controller 210 outputs a signal to the signal line 214 to clear the correlation result stored in the correlation unit 236.
[0173]
Next, under the control of the controller 210, the comparison circuit 240 determines the correlation value at each of the correlation function value points 402 or 606 stored in the second stage correlation unit 239. Under the control of the controller 210, all comparisons for all correlation function value points 402 or 606 stored in the second stage correlation unit 239 are performed by the comparison circuit 240, and the result is accumulated by the comparison result accumulator 245. When stored in the unit 236, the controller 210 outputs a control signal to the interpolation circuit 260 via the signal line 216.
[0174]
In response to this, the interpolation circuit 260 inputs the correlation result stored in the correlation unit 236 via the signal line 242, and identifies the correlation value that matches the peak or valley of the correlation function, and the peak of the correlation function / Interpolate between the identified correlation function value points around the valley to determine the peak offset value or image displacement value with sub-pixel resolution. The interpolation circuit 260 then outputs the determined subpixel displacement estimated value to the position accumulator 270 via the signal line 262 under the control of the signal sent from the controller 210 via the signal line 216. The position accumulator 270 adds the displacement estimated value to the displacement value in the current reference image stored in the reference image unit 232 under the control of the signal sent from the controller 210 via the signal line 217. The position accumulator 270 then outputs the updated position displacement value to the controller 210 via the signal line 272.
[0175]
In response to this, the controller 210 may output the updated position displacement value to the display driver 201 via the signal line 202 if provided. The display driver 201 outputs a drive signal to the display device 107 via the signal line 203 to display the current displacement value.
[0176]
If provided, one or more signal lines 205 provide an interface between the operator or cooperating system and the controller 210. If provided, the input interface 204 may temporarily store or modify the input signal or command and send an appropriate signal to the controller 210.
[0177]
The controller 210 controls the offset position selector 275 to select a particular sparse set of correlation function value points from a plurality of sparse sets stored in the correlation offset position set unit 238 to provide multi-stage rather than two stages. This analysis technique may be made executable. In addition, the controller 210 performs the comparison so as to compare only a subset of the pixels of the reference image and the displacement image stored in the reference image portion 232 and the current image portion 234 as described above with reference to FIGS. The circuit 240 may be controlled.
[0178]
FIG. 19 is a block diagram showing in detail the second embodiment of the signal generation processing circuit 200 shown in FIG. As shown in FIG. 19, the signal generation processing circuit 200 is substantially the same as the first embodiment of the signal generation processing circuit 200 shown in FIG. 18, but in this second embodiment, an offset position selector 275 is provided. And a smear amount analyzer 290 is added. In the operation, unlike the first embodiment of the signal generation processing circuit shown in FIG. 18, the controller 210 operates the light source driver 220 and / or the photodetector 160 to generate a smear image, and this image It is stored in the reference image unit 232.
[0179]
The controller 210 then waits for a suitable fixed or controlled time to obtain a displacement image to be stored in the current image portion 234, but before that time elapses, the controller 210 passes the signal line 215 to the comparison circuit 240. The signal is output to generate data necessary for determining the autocorrelation function of the smear image stored in the reference image unit 232. In general, the comparison circuit 240 and the comparison result accumulator 245 are controlled by the controller 210 as described above, and the correlation function value of the correlation function value point 608 shown in FIG. 17 in the two-dimensional offset is the correlation function in the one-dimensional offset. Correlation function values for the corresponding set of offset points 402 are generated, accumulated, and stored in the correlator 236.
[0180]
Then, under the control of the controller 210, the smear amount analyzer 290 analyzes the correlation function value point stored in the correlation unit 236, and the one-dimensional width 424 of the peak portion 420 or the two-dimensional width 624p of the two-dimensional peak portion 620. And 624q. The smear amount analyzer 290 then determines the smear amount from the determined one-dimensional width 424 or the two-dimensional widths 624p and 624q of the peak portion 420 or 620, respectively. The smear amount analyzer 290 then selects one of the peak portions 420 or 620 of the correlation function to be determined from a comparison between the smear image stored in the reference image portion 232 and the displacement image that has been captured and stored in the current image portion 234. One or two approximate positions are determined.
[0181]
Based on the approximate position of the peak portion 420 or 620 determined by the smear amount analyzer 290, a set of correlation function value points stored in the correlation offset position setting unit 238 and / or the second stage correlation unit 239 is added to the smear. Determined by the quantity analyzer 290. Thereafter, under the control of the controller 210, the determined set of correlation function value points is stored in one or both of the correlation offset position setting unit 238 and / or the second stage correlation unit 239.
[0182]
Then, after an appropriate constant or controlled time, the controller 210 obtains a displacement image and stores it in the current image portion 234. As described above, the controller 210 controls the comparison circuit 240, the comparison result accumulator 245, and the interpolation circuit 260 based on the set of correlation function value points stored in the second stage correlation unit 239, so Determine the offset position.
[0183]
Of course, the first and second embodiments of the signal generation processing circuit 200 shown in FIGS. 18 and 19 and described above may be combined. In this case, the correlation function to be used by the comparison circuit 240 and stored in the second stage correlator 239 after the smear quantity analyzer 290 determines one or two possible approximate positions of the peak portions 420 or 620. Rather than storing the entire set of value points, the smear quantity analyzer 290 dynamically calculates at least one sparse set of correlation function value points 402 or 606 based on the approximate location of the peak portion 420 or 620. And stored in the correlation offset position setting unit 238 under the control of the controller 210. After the displacement image is taken and stored in the current image portion 234, as described above in connection with the first embodiment of the signal generation processing circuit 200, the controller 210 is the signal generation processing circuit shown in FIG. As described above in connection with the first embodiment of 200, the comparison circuit 240 is operated based on at least one sparse set of correlation function value points 402 or 606.
[0184]
The signal generation processing circuit 200 is implemented in various embodiments by using a programmed microprocessor or microcontroller and peripheral integrated circuit elements. Further, the signal generation processing circuit 200 includes a programmed general purpose computer, a special purpose computer, an ASIC or other integrated circuit, a digital signal processor, a wired electronic or logic circuit such as a discrete component circuit, PLD, PLA, It may be implemented by using a programmable logic device such as FPGA or PAL, or the like. In general, any device with a finite state machine that can implement one or more of the above methods can be used to implement the signal generation processing circuit 200.
[0185]
18 and 19, the memory 230 of the signal generation processing circuit 200 may be configured using an appropriate combination of a changeable volatile or non-volatile memory, or an unchangeable or fixed memory. . Whether it is volatile or non-volatile, memory that can be changed can be static or dynamic RAM, floppy disk and disk drive, writable or rewritable optical disk and disk drive, hard drive, flash memory, It may be configured using one or more of memory sticks or the like. Similarly, the non-modifiable or fixed memory may be one of an optical ROM disk and associated disk drive, such as ROM, PROM, EPROM, EEPROM, CD-ROM or DVD-ROM disk, or the like or You may comprise using more.
[0186]
Thus, each of the controller 210 and various other circuits 220, 225, and 240-290 of the signal generation processing circuit 200 may be configured as part of a suitably programmed general purpose computer, macro processor, or microprocessor. . Alternatively, each of the controller 210 and other circuits 220, 225, and 240-290 shown in FIGS. 18 and 19 can be implemented as physically separate hardware circuits within the ASIC, or FPGA, PDL, PLA, or PAL. Or may be configured using discrete logic elements or discrete circuit elements. The particular form each of the circuits 220, 225 and 240-290 of the signal generation processing circuit 200 is within design choices and will be apparent and predictable to those skilled in the art.
[0187]
While the invention has been described in connection with the embodiments outlined above, it will be apparent that many alternatives, modifications and variations will be apparent to those skilled in the art. Therefore, the embodiment of the present invention clarified above is illustrative, and the present invention is not limited to this. Various changes can be made without departing from the spirit and scope of the invention.
[0188]
【The invention's effect】
As described in detail above, the present invention provides a system and method that can accurately determine the position of a correlation peak or valley.
[0189]
The present invention also provides a system and method that can determine the position of a correlation peak or valley, while using less system resources than conventional methods and techniques.
[0190]
The present invention also provides a system and method that can determine the correlation peak or valley position accurately, although the correlation function is sparsely determined.
[0191]
The present invention also provides a system and method that can determine the position of a correlation peak or valley in a two-dimensional correlation function using a grid of determined correlation values.
[0192]
The present invention also provides a system and method that can accurately determine the position of correlation peaks or valleys in a pair of high spatial frequency images.
[0193]
Also according to the present invention, there is provided a system and method that can accurately determine the position of a correlation peak or valley in an image having correlation function characteristics that are substantially flat or regular in a region away from the correlation peak or valley. Provided.
[0194]
The present invention also provides a system and method that can accurately determine the position of a correlation peak or valley despite the sparse determination of the correlation function in the subset of images to be correlated.
[0195]
The present invention also provides a system and method that can identify a portion of a correlation function where a correlation peak or valley should exist without performing correlation between the first and second images. The
[0196]
The present invention also provides a system and method that can estimate the magnitude and / or direction of motion from a single image taken by an image correlation system.
[0197]
In addition, according to the present invention, there is provided a system and a method capable of improving the accuracy of the estimated displacement distance, that is, the offset and / or the direction, from the analysis of only the captured second image.
[0198]
Also according to the present invention, a system that can use the determined and / or refined displacement distance and / or direction values to identify a portion of the correlation function where a correlation peak is likely to exist, and A method is provided.
[0199]
According to the invention, it is also possible to determine the magnitude and / or direction of relative movement between the surface to be imaged and the imaging system based on the autocorrelation of the first and second images. Possible systems and methods are provided.
[0200]
The present invention also provides systems and methods that can determine the magnitude and / or direction of relative motion based on at least one characteristic of the autocorrelation peak.
[0201]
The present invention also provides systems and methods that are particularly suitable for measuring surface displacement using speckle images.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a speckle image correlation optical position transducer.
FIG. 2 is a diagram illustrating a relationship between a first image and a current second image and portions of the first and second images used for generating a correlation value in a conventional comparison technique.
FIG. 3 is a graph showing the results of comparing the first and second images by using a conventional comparison technique and by using a conventional multiplication correlation function when the image is offset by successive pixel displacements. It is.
FIG. 4 shows a relationship between a first image and a second image and a correlation value in the first embodiment of the technique for comparing sparse sets of image correlation function value points according to the present invention; It is a figure which shows the part of the 1st and 2nd image used for.
FIG. 5 compares the first and second images using the first embodiment of the technique for comparing sparse sets of image correlation function value points shown in FIG. 4 and using a conventional multiplicative correlation function; It is a graph which shows the result.
FIG. 6 shows the relationship between the first image and the second image and the correlation value in the second embodiment of the technique for comparing sparse sets of image correlation function value points according to the present invention; It is a figure which shows the part of the 1st and 2nd image used.
FIG. 7 compares the first and second images using a second embodiment of the technique for comparing sparse sets of image correlation function value points shown in FIG. 6 and using a conventional multiplicative correlation function. It is a graph which shows the result.
FIG. 8 is a graph showing the associated shape of the correlation function at different numbers of pixels used in the correlation function.
FIG. 9 shows that when the image is offset by successive pixel displacements in two dimensions, the first and second images using conventional comparison techniques and using a conventional difference correlation function. It is a graph which shows the result of having compared.
FIG. 10 illustrates a first embodiment of a technique for comparing sparse sets of image correlation function value points according to the present invention when an image is offset by successive pixel displacements in two dimensions; It is a graph which shows the result of having compared the 1st and 2nd image using a differential correlation function.
FIG. 11 shows an outline of a first embodiment of a method for determining a peak or valley position using a sparse set of image correlation function value point positions in a correlation function space in a first solution according to the present invention. It is a flowchart to show.
FIG. 12 shows an outline of a second embodiment of a method for determining a peak or valley position using a sparse set of image correlation function value point positions in a correlation function space in a first solution according to the present invention; It is a flowchart to show.
FIG. 13 shows a first embodiment of a smear high spatial frequency image in which the surface to be imaged moves relative to the imaging system along a single dimension.
FIG. 14 shows a second embodiment of a smear high spatial frequency image in which the surface to be imaged moves relative to the imaging system in two dimensions.
FIG. 15 is a diagram showing an embodiment of a non-smear high spatial frequency image.
FIG. 16 is a contour map of a two-dimensional autocorrelation function in a non-smear image and a smear image.
FIG. 17 is a diagram illustrating correlation function value points used for determining a smear amount in a two-dimensional autocorrelation function.
FIG. 18 is a block diagram schematically illustrating a first embodiment of a signal generation processing circuit in an image-based optical position transducer suitable for providing an image and determining an image displacement according to the present invention.
FIG. 19 is a block diagram schematically illustrating a second embodiment of a signal generation processing circuit in an image-based optical position transducer suitable for providing an image and determining an image displacement according to the present invention.
[Explanation of symbols]
100 correlation image based optical position transducer
104 Optical diffusion rough surface
110 Measuring axis
126 Read head
130 Light source
132 signal lines
134 Light beam
136 light
140 lenses
142 light
144 Optical axis
150 pinhole aperture plate
152 Pinhole opening
154 light
160 photodetectors
162 Image element
164 signal line
166 array
200 Signal generation processing circuit
300 reference image
302 pixels
304 single dimension
310 Displacement image
312 pixels
320 multiple lines
330 Multiple columns
400 correlation function
402 multiple correlation function value points
404 distance
410 Normal background part
412 range
414 Maximum background value
416 Minimum background value
420 Peak part
424 width

Claims (4)

In a method for determining a peak position of a correlation function having a peak portion and a background portion other than the peak portion in a correlation function generated by comparing a first image with a second image,
A comparison step of comparing the first image with a second image to determine a correlation function value in a set of correlation function value points located in a background portion of the correlation function;
Analyzing the correlation function value and comparing the peak portion with at least one of an average correlation function value, a maximum correlation function value, a minimum correlation function value, a maximum slope value, and a minimum slope value characterizing a preset background portion A correlation function value point existing within the background portion, a correlation function value is obtained more densely than the background portion, a peak position is determined based on these correlation function values, and one value belonging to the peak portion is determined. An analysis step of comparing one value belonging to the background portion. The background portion arranged set of correlation function value points were, the first image and a set of correlation function value points in a number of sparsely offset position between the second image, the first image And a set of correlation function value points at a position offset by a predetermined distance between the second image and one or more of a plurality of sparsely offset positions between the first image and the second image. A set of correlation function value points at a skipped position , and a set of correlation function value points at a position where one or more skipped positions are offset by a predetermined distance between the first image and the second image. One of the
And the peak portion of the correlation function has a width;
The correlation function value point in the set of correlation function value points arranged in the background portion is located at a distance smaller than the width of the peak portion of the correlation function. the method of. Comparing the first image with the second image, the correlation function value points of the correlation function in the vicinity of the at least one correlation function value point present in the peak portion are updated. Determining a plurality of additional correlation function values in a further set of correlation function value points densely arranged in at least one region of the peak portion;
The method of claim 1, further comprising: determining the peak position of the correlation function based on at least some of the additional correlation function values. The comparison step includes
In a first iteration, a first at least one correlation function value in a set of correlation function value points located in at least one background portion is determined, and the first at least one in the first iteration. Determination and analysis for determining whether a corresponding correlation function value point exists in the peak portion by analyzing a value obtained by the previous calculation among values obtained by repeated calculation based on two correlation function values Steps,
The step of determining and analyzing includes the step of repeating the determination and analysis step by an additional iteration process when it is determined that the correlation function value point does not exist in the peak portion. Item 2. The method according to Item 1.

Images