JP4125786B2 - 疎配列画像の相関付け - Google Patents

Description

発明の背景
ロボット装置および製造装置のように機械による視覚に依存する装置、画像に基づく測定装置、地形図製作装置ならびに画像認識システムは、しばしば、単一画像の自己相関（auto-correlation）または複数画像間の相互相関（cross-correlation）を用いて、視野の中の一つまたは複数の対象物の大きさ、形状、速度、加速度および／または位置を確定する。
粒子画像速度測定法（particle image velocimetry）（ＰＩＶ）は、流体の流動特性を分析するために、自己相関または相互相関を用いる。ＰＩＶは、流速場の定量的な２次元情報を提供する流体測定技術である。ＰＩＶに関する一般的な背景情報に関しては、Ｒ．Ｊ．Ａｄｒｉａｎ著、“Ｐａｒｔｉｃｌｅ Ｉｍａｇｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ Ｆｏｒ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｆｌｕｉｄ Ｍｅｃｈａｎｉｃｓ”，Ａｎｎｕａｌ Ｒｅｖｉｅｗ ｏｆ Ｆｌｕｉｄ Ｍｅｃｈａｎｉｃｓ，Ｖｏｌ．２３，２６１−３０４頁（１９９１）を参照されたい。単一点での測定技術であるホットワイヤおよびレーザドップラー風速計（anemometery）のような従来の計測器とは異なり、ＰＩＶは、流体の中の各時点での立体構造を明らかにすることができる。ＰＩＶにより得られる情報の高解像度のために、渦度および変形のような流量の測定が可能になる。
最近までＰＩＶは、２次元の瞬間速度測定に用途が限定されていた。Ｈｏｌｏｇｒａｐｈｉｃ Ｐａｒｔｉｃｌｅ Ｉｍａｇｅ Ｖｅｌｏｃｉｍｅｔｒｙ（ＨＰＩＶ）およびＳｔｅｒｅｏｓｃｏｐｉｃ ＰＩＶ（ＳＰＩＶ）は、定量的な３次元流速場の測定および非定常な流体構造の分析のために開発されている。しかし、これらの技術の有用性は、巨大な量のデータを妥当な時間内に解析するには、現在の能力により制限される。
画像相関は、通常、高速フーリエ変換（ＦＦＴｓ）、画像シフティング（image shifting）または光学変換技術を用いて行われる。これらの技術は、正確であるが、ハードウエアまたはソフトウエアによる画像の広範な処理を必要とする。例えば、Ｎ×Ｎの画素を有する画像に対して、ＦＦＴ技術は、Ｎ²ｌｏｇＮのオーダの反復を必要とし、一方、画像シフティング技術は、Δ²Ｎ²の反復を必要とする。ここで、Δは、画素の相関検索の長さである。これらの技術のいずれかを用いることにより、画像または画像のサブセクションは、情報の内容の有用性とは無関係に、完全に（すなわち１００％）相関付けされる。
光学変換技術は、可干渉光が、画像を通過し、次にフーリエ変換光学装置を通過するときに形成されるＹｏｕｎｇの縞の光学構造を用いる。得られる縞模様は、デジタル化されコンピュータにより解析される。これは、確かに、３つの方法の中で最も洗練されていて、最も高速となり得る可能性を秘めている。しかし、実際には、Ｙｏｕｎｇの縞の方向を検出することの困難であることが判明した。
発明の概要
多くの機械的視覚およびＰＩＶの用途では、相関付けされるべき画像（単数または複数）の一部のみが、実際に有用な情報を含むに過ぎない。すなわち、有用なまたは関連価値をもつ画像（単数または複数）における画素の数は、画像の画素の総数に比較して少ないかまたはまばらである。本発明によれば、疎配列形式（sparse array format）におけるこれらの画像を相関付けするための処理は、有用な画素値のみを含み、Ｎ×Ｎ画素の画像に対してδ²Δ²Ｎ²のオーダーの反復処理を使用するに過ぎない。ここで、δは、関連画素値を含む画像の部分である。多くの用途に対して、δは、１よりもはるかに小さい。本発明の疎配列相関処理は、大多数の機械的視覚およびＰＩＶ用途における既知の相関処理技術に比べて、処理速度が数桁増大しうる。本発明による高速画像相関付けにより、リアルタイムまたは準リアルタイムフィードバック制御、測定および画像認識の用途に、比較的割安な機械的視覚機器を使用することが可能となる。
したがって、画像の相関付けの方法は、各画素値が多数の画素中の一つに関連付けられるような画素値による一つまたは複数の画像配列の供給を含んでいる。画素閾値を超える完全画像配列における画素値が選ばれ、その選ばれた画素値について相関処理が行われる。各画素値は、輝度値（強度値、intensity value）を含み、また画素閾値は、画素輝度閾値であることが好ましい。
相関処理において選ばれた画素値による疎画像配列および完全画像配列での相互の位置関係が生成され、各画素入力は、単一言語として位置と値を決めることが好ましい。個々の相関付けは、互いの画素距離内での疎画像配列中のすべての画素入力の間で連続的に行われる。相関は、相関表の中でそれぞれの距離入力において累積加算される。
各相関付けは、エラー相関関数にしたがって行われるのが好ましい。エラー相関関数は、次の形をもつ。

ここで、１および２は、対応する疎画像配列入力を表す。エラー相関関数は、整数の加算と減算を使用するから、計算は、整数の乗算を必要とする統計的相関値Ｉ₁＊Ｉ₂よりもはるかに速い。エラー相関関数を使用することにより、マイクロプロセッサを必要としないハードウエアでの実行がはるかに容易になるという利点が加わる。
本発明の別の側面においては、相関付けは、相異なる時間間隔を設けられた少なくとも３つの画像を含む画像配列に対して行われる。完全画像配列のもとの画素の間での可能性のある関係が識別され、いずれの関係が方向の標識を生ずるのにあてはまるかを決定するためにもとの画素が検討される。
【図面の簡単な説明】
図１は、６×６画素階調（グレイスケール）画像を図示したものである。
図２は、図１の画像に対応する画素輝度値の２次元画像配列である。
図３Ａおよび３Ｂは、本発明の疎画像配列方法のフローチャートである。
図４は、本発明による図２の画像配列の選ばれた画素値の２次元疎画像配列である。
図５は、図４の疎画像配列の次の列の位置を含む１次元列インデックス配列である。
図６は、図４の疎画像配列における一連の反復後に完成された相関表を示す。
図７は、（Δｉ，Δｊ）＝（２、２）の周辺の図６の完成された相関表を示し、値は正規化（標準化）されている。
図８は、各露出間の時間間隔の異なる３回の露出画像を簡単に示したものである。
図９は、本発明によるプロセッサの構成を示す概略ブロック図である。
発明の詳細な説明
粒子画像速度測定法は、ＰＩＶ、粒子トラッキング速度測定法（ＰＴＶ）およびレーザスペクトル速度測定法（ＬＳＶ）という互いに密接な関係をもつ３つの流体測定技術のうちの一つである。これらの技術は、すべて、流れに小さい追跡粒子を分散させる（散布する）こと（seeding）を基本としている。これらの粒子の密度と大きさは、それらが流体の運動に正確に追随し得るように選ばれる。次に、流れは、光線のシート（light sheet）により切断され、この光線のシート上にある追跡粒子の画像が記録される。この方法で各時点での流れを画像化することにより、粒子の運動、したがって流体の運動を観察することができる。これらの技術を互いに区別し得るものは、粒子の密度、（Ｎ_S）と画像の密度（Ｎ_I）である。ここで、Ｎ_Sは、画像が個々の粒子画像（Ｎ_S＜＜１）からなるか、または粒子がオーバーラップして光の干渉が起きる（Ｎ_S＞＞１）かを示す無次元値である。Ｎ_Iは、調査される流れの領域にある粒子の数を示す無次元値である。
Ｎ_S＜＜１、Ｎ_I＜＜１を特長とするＰＴＶにおいては、粒子の間の平均距離は、連続的に記録される画像間の平均流れ変位よりもはるかに大きい。これにより、追跡粒子変位を明確に示す画像が得られる。これにより、流速場の決定が比較的容易となる。しかし、画像密度が低いために速度情報の解像度（分解能）は、著しく制約される。
Ｎ_S＜＜１、Ｎ_I＞＞１をその特長とするＰＩＶにおいては、粒子の密度が高められることにより、得られる速度情報の解像度が改善される。個々の追跡粒子は、ＰＩＶ画像の中で観察することができる。しかし、追跡粒子の密度の増大により、画像を肉眼で見ただけでは、個々の粒子の変位を識別することは困難である。統計的な相関アプローチは、これらの画像を正確に解析するために必要である。
Ｎ_S＞＞１、Ｎ_I＞＞１をその特長とするＬＳＶにおいては、追跡粒子の密度は、粒子が画像の中でオーバーラップし始めるように、さらに高められる。可干渉性光源により照明されることにより、これらの粒子は、記録された画像上で見かけ上のランダムな干渉パターンまたは小斑点（speckle）を形成する。この小斑点模様は、流れ内の追跡粒子とともに動き、したがって流れの速度を求めるのに使用することができる。これらの小斑点画像は、ＰＩＶ画像が解析された方法と同じ方法で解析される。このように、この技術とＰＩＶとの間の差異はほとんどない。ＬＳＶにより求めることのできる流速の解像度は、ＰＩＶよりも高いが、ＬＳＶの粒子分散密度が極めて高いために観察される流体が干渉されることがある。多くの場合、ＰＩＶの解像度は、必要なレベルを上回る。
ＰＩＶ画像を記録するための技術は、２つのカテゴリのいずれかに属する：１）多重露出画像および２）それぞれが可視もしくは準可視スペクトルにおいて電子的にＣＣＤカメラによるかまたは化学的にフィルム上における画像の記録に基づく連続画像。
多重露出画像技術は、追跡粒子を露出するために光線シートをパルス的に与えるか、またはカメラの録画面を複数回露出するためにソリッドステートシャッタを使用する。これらの技術の利点は、多重露出はレーザを用いて極めて高速度で行うことが可能であり、したがって高速の流速を測定することができる。この技術のもつ短所は、明瞭に画像化できる粒子の最高密度が低下する点にある。なぜならば、個々の粒子が同じ画像で何回も記録されるからである。
連続画像技術は、追跡粒子の２つの個別画像を２つの別個の時点で記録することにより多重露出技術の短所を回避する。各露出時に追跡粒子の唯一つの画像が必要であるに過ぎず、したがって高密度の粒子を記録することができる。しかし、この技術は、カメラを次の画像に進めるための時間、すなわち通常のカメラに対するフィルムの前進速度およびＣＣＤカメラの場合のリセット可能な時間が必要であることから、低速の場合に限定される。
ＰＩＶ画像解析の目的は、下記の方法のいずれかを用いて記録画像を相関付け（比較）して粒子変位を求めることにある：画像シフティング、（２）デジタルフーリエ変換、または（３）光学変換。
ＰＩＶテクノロジーにおける制約の一つは、単一のＰＩＶ画像を相関付けするために必要な時間である。電子および化学記録メディアにおける改善により高い画像の解像度が可能となるために、高速画像解析のための必要性は次第に高まる。従来の技術を用いた場合、単一ＰＩＶ画像は、解析に数分を必要とすることがある。流れの中の複雑な構造の形成を解析するには、数百、いや数千の画像が必要である。高速平行プロセッサは、正確な流れの測定に必要な時間を短縮することができるが、それでもなお必要な速度よりもはるかに遅い。しかし、本発明の疎配列の相関付けを用いることにより、これらの画像は極めて高い速度で処理することができる。
本発明の疎配列画像の相関付け方法のもたらす改善を理解するために、まず公知の画像シフティング自己相関技術の例を検討することが有用である。図１には、自己相関のために選ばれた画像の部分（section）を表す６×６画素階調画像が図示されている。全体をＡで示される画像は、Ｐで示される画素を含む。画素の数は、図と記述を簡単にするために、この例では少なく抑えられている。しかし、本発明の方法は、任意の大きさの画像配列に適用される。画像Ａは、コンピュータメモリの中に２次元配列Ｉとして格納され、その画素輝度値は、図２に示された配列入力から知ることができる。例えば、画像Ａ（図１）の画素Ｐ_1.1は、対応する入力Ｉ_1.1＝５をもつ。同様に、画素Ｐ_6.6は、対応する配列入力Ｉ_6.6＝３４をもつ。
処理速度を高めると同時に相関値が不適切になる確率を引き下げるために、通常は最高の相関を求める探索は制約される。これは、ユーザに、相関付けされる画像についての知識に基づいて、画像シフトの最大変化ΔｉおよびΔｊを定めることを可能にすることにより行われる。相関関数φは、統計的相関関数とも呼ばれ、画像シフトにおけるこの最大変化に対して計算される。ｉおよびｊの方向での３の最大変化が、この例に対しては仮定される。相関関数は、次の関数を用い、各画像シフトΔｉおよびΔｊに対して計算される。

ここで、Ｍは、画像配列のｉ方向における画素の数であり、Ｎは、ｊ方向での画素の数である。分母は相関値を正規化（標準化）する。既知の画像シフティング技術における相関表は、前記の表現を用いて逐次作成される。このために膨大な量の反復計算が必要となる。例えば、図２の配列は、相関表を作成するために前記の計算を４４０回行わなければならない。
（Δｉ，Δｊ）＝（０，０）、ゼロシフト相関値に対する相関表入力は、次の通りである。

１に等しいゼロシフト相関値は、完全相関を表す。
画像Ａおよび対応する完全画像配列Ｉ（図１および２）の目視検査からは、（Δｉ，Δｊ）＝（２，２）の値の周りの画像シフトが問題となり、（Δｉ，Δｊ）＝（２，２）シフト相関値は、下記の通りである。

（Δｉ，Δｊ）＝（２，２）の周りの相関表の部分は、再度前記φ_Δi,Δjに対する式を用いることにより、表１に示された通りとなる。

相関表が完成すると、この例に対しては（Δｉ，Δｊ）＝（２，２）にある最大値とその位置を見出すための探索を実施することができる。相関のサブ画素解像は、ピーク相関に基づく相関の勾配とその周りの値を用い、次の形をもつＮｅｗｔｏｎの解法により近似的に果たされる。

ここで、ｉ、ｊは、相関表の中のピーク値の配列位置を表す。これによれば、次の関係が成り立つ。

したがって、この例の画像は、既知の画像シフティング自己相関技術に基づくとき、（Δｉ，Δｊ）＝（２．０２４，２．０４１）において自己相関を示す。
本発明による疎配列画像の相関付けを次に記述する。図３Ａには、疎配列画像相関付け方法のフローチャートが示される。画像または画像の部分が、ステップ４０において自己相関のために選ばれる（図１および２）。しかし、疎配列相関付けを用いることにより、全画像をメモリに格納する必要はない。閾値レベルがステップ４２において設定され、閾値レベルを上回る画素値のみが、ステップ４４において、図４に示されるように、疎画像配列Ｂに保持される。図示の例においては、閾値は１００と仮定されている。疎画像配列は、選ばれた画素それぞれの位置と輝度値を含む。画素の位置は、完全画像配列Ｉ（図２）の画素の（ｉ，ｊ）インデックスにより表される。
実際には、疎画像配列Ｂにおける各画素のインデックスと輝度は、単一言語として格納される。これにより、比較される際に行われねばならないメモリの呼び出しの数は減少する。例えば、この表への第１の入力は、１６ビットの１語として格納されることができる。４ビットが各位置インデックスに割り当てられ、８ビットが輝度に割り当てられる。配列入力ｉ＝２、ｊ＝２、Ｉ＝２５４は、００１０００１０１１１１１１１０バイナリ＝８９５８となる。ビットをマスキングすることにより、ｉ，ｊおよびＩ_ijの値が、この１回の入力から求めることができる。
疎配列への入力は、完全画像配列Ｉの前後の行または列を連続して走査することにより、作成される。疎画像配列とともに、列インデックス配列がステップ４６において作成され、完全画像の次の列の疎画像配列における位置、すなわち、図５に示すｊの１つ高い値を含む。
この列インデックス配列は、特定の画素分離を上回るときに、疎画像配列におけるｊの次の値にジャンプするために用いられる。例えば、第１入力３は、ｊの次の高い値は疎画像配列Ｂ（図４）の入力ナンバ３に見出されることを示している。大きな画像を比較するときに、このインデックス配列は処理を加速する。しかし、この例では列インデックスは使用されていない。
同一画像のサブウィンドウからの以前の計算に基づいて計算すべき相関値の範囲を予測することにより、相関探索を狭めるための適応手順を用いることができる。しかし、この手順は特に確実（robust）とはいえず、最高相関を得る際に見かけ上のエラーを生じることがある。本発明の疎配列相関法は本質的に極めて速いので、適応法は、その使用を正当化するのに充分な処理速度には一般に達しない。全画像に対する相関領域における限界に対する単一値を設定することで充分である。この例では、ｉおよびｊの両者において、Δ＝３の最大変化が仮定される。これらの値に基づくとき、７×４相関表Ｃ（図６）がステップ４８において作られ、この表のインデックス（Δｉ，Δｊ）は、画素の位置における差異を表している。疎画像配列Ｂは、常に上から下に比較される。したがって、ｉ方向には正と負の両方の差が生じることが考えられるが、ｊ方向には起こり得ない。
本発明の方法でのステップ４８において用いられる相関関数は、次式の形で表すことのできるエラー相関関数φ’である。

すなわち、

前記の相関関数の値は、画像が完全な相関性を示すときの１から、画像間に相関性が全くないときの０にまでにわたる。この相関関数は、前記の画像シフティングの例に用いられる通常の統計相関関数には等しくないが、画像形成時の光学収差のような他の誤差源に比較すれば、エラーを引き起こすことはほとんどないことが判明した。統計相関関数は、ガウス関数を作り出すが、エラー相関関数は、相関のピークをより明瞭に示すという利点をもつ立上がりの急な関数を作り出す。エラー相関関数は、乗算ではなく整数の加減算を使用するから、計算は統計相関関数よりもはるかに速い。この関数は、マイクロプロセッサを必要しないハードウエアでの実行が大幅に容易となる利点をもつ。
より普遍的な統計相関関数と異なり、疎画像の相関付けに用いられるエラー相関関数は、１回に１つの相関表入力のでは計算されない。代わりに、全相関表は、疎画像配列Ｂの入力にわたって反復される際に判定される式を加算することにより、作り出される。その詳細は後述する。このようにして、設定された閾値以下の画素値を有する配列入力は処理されず、したがって、全処理時間は短縮される。
この方法で相関式の分母を求めることは困難であるが、分母は、画素画像領域と相関表の大きさとの積により誘導される画像輝度の和の２倍に相当する値に近似すると考えることができる。

この分母の近似により、各入力ごとの画像における画素のすべてを加算することを必要とすることなく、計算の容易な正規化値を求めることが可能となる。この近似値化は、比較される画像が相関距離に比べて大きく、また画像における画素輝度が比較的均等に分布する限り、相対的に正確である。これが当てはまらない画像に対しては、エラー相関関数の代わりに統計相関関数を使用することができるか、またはエラー相関関数の分母の正確な値を計算することができる。しかし、留意すべきは、問題の相関値が通常は相関表における局所的な有力最大値であり、相関値の正確な正規化は、得られる結果にほとんど効果を及ぼさないことである。この理由から、相関値の正規化はしばしば役に立たず、正しい結果は、分母が１の値をもつと仮定することにより得られる。前記の例では、エラー相関関数における分母は推定されている。大きさが小さく、画素値が集中するために、例として示された画像（図１）は、分母を近似的に求めるには不適当である。しかし、近似処理は、本発明の疎配列画像方法を説明するには充分である。
前記のようにエラー相関関数は、ステップ４８（図３Ａ）において、相関表を作り出すために疎画像配列に用いられる。図３Ｂは、ステップ４８において行われるエラー相関の詳細に示すフローチャートである。一般に、疎画像配列の各入力は、その下の入力と比較され、入力間の相関エラー推定が相関表における正しい位置に加えられる。ステップ６０において、疎画像配列中の入力Ｂ（ｘ）が選ばれる。ただし、ｘ＝１〜Ｎであり、Ｂ（１）は配列における最初の入力である。ステップ６２においては、入力Ｂ（ｘ）以下の次の疎画像配列の入力が選ばれ、この入力はＢ（ｙ）で表される。ただし、ｙ＝ｘ＋１である。ステップ６４において、画素の入力Ｂ（ｘ）とＢ（ｙ）との間のインデックス距離Δｉ，Δｊが求められる。ステップ６６において、距離がｉ方向での所定の相関表の大きさの範囲から外れているときには、入力は無視され、処理は、ステップ６８の列インデックス配列により定まる次の疎画像配列入力を用いて続けられる。ステップ７０において、位置がｊ方向での範囲外にあるときには、入力は無視され、新しい一連の反復が、ステップ７２で次の疎画像配列入力から始められる。画素距離Δｉ，Δｊが、所定の相関表の大きさの範囲内にあるときには、ステップ７４において、エラー相関が、上述のように入力Ｂ（ｘ）とＢ（ｙ）との間で求められる。ステップ７６においては、相関付けの結果が、Δｉ，Δｊの値に対応する相関表の位置に累積される。
上述のように、疎配列画像相関は、従来の技術よりもはるかに速い。疎配列自己相関に対する反復数は、次式で表される。

δＮ²＞＞１かつΔ²＞＞１のときには、前式は、1/2 δ²Δ²Ｎ²により近似的に表すことができる。
疎配列相互相関に対する反復の数は、δ²Δ²Ｎ²により表される。Ｎは、比較される画像の特性的な画素長さであり、δは、閾値より上の選ばれた画素の数の、完全画像における画素の全数に対する比である。後述の可変長コード化により、疎配列相関の演算上の輝度は、比較される特定の画像の特性によって決まるファクタにより減少する。
相関表を完結するための反復ステップの全数は、この例では２１であることに留意されたい。従来の画像シフティングアルゴリズムは、８１８の反復を必要とし、限定されたシフティングアルゴリズムは、上述のように４４０の反復を必要とする。最良のＦＦＴアルゴリズムは、２８の反復で済むが、極めて処理速度の遅い膨大な浮動点計算が必要である。この例に見られる疎配列画像処理を用いることにより得られる速度上の利得は、ほぼ２０のファクタに及ぶ。より大きく疎らな画像に対しては、本発明の方法による速度上の利得は、大幅に向上する。
相関表が完成すると、表は、ステップ５０（図３Ａ）において画素輝度値の和の近似値に基づいて正規化されることができる。最高値とその位置、この例では（Δｉ，Δｊ）＝（２，２）にある、とを見出すための探索を行うことができる。（Δｉ，Δｊ）＝（２，２）の周りの正規化された相関表は、図７に示すようなものとなる。（２，２）の位置での値は、正規化ファクタを近似する際に生じるエラーのために、１よりも大きくなる点に留意されたい。Ｎｅｗｔｏｎの解法を用いると、ピーク相関は、下記の位置にあることが分かる。

したがって、前記例の画像は、エラー相関関数を用い、正規化ファクタを近似し、疎配列画像自己相関に基づいて、（Δｉ，Δｊ）＝（２．０６９，２．０５６）において自己相関する。ちなみに、既知の画像シフティング技術での値は、（２．０２４，２．０４１）である。この方法は、相関値が正規化されない場合には、（Δｉ，Δｊ）＝（１．９９７，１．９９０）の値を示す。一般に、相関関数の正規化には、処理時間が浪費される。なぜならば、通常は局所化した強力な最大値が存在し、サブ画素解像結果は、相関表における局所的な最大値を取り巻く一つの画素領域から計算されるからである。前記例では、相関結果は、正規化ファクタの近似に際して生じるエラーのために表が正規化されないときには、さらに良好となる。しかし、多くの場合、正規化された結果と正規化されない結果とは極めて酷似している。前記例では、結果は互いに０．０７画素の範囲内にある。
閾値を設定し画像を疎画像配列に格納する前に、画像を可変長コード化することにより、速度はさらに向上する。これは同じ最上位のビット（ＭＳＢ）値をもつ隣接画素を、結合させて長さｌの単一画素値にすることによりなされる。ここで、ｌは隣接画素の数に等しく、また、輝度Ｉ’は、結合された画素の８ビット輝度値の平均値に等しい。閾値を上回る輝度をもつ結合された画素のｉ，Ｉ’およびｌの値は、上述のｉ，ｊおよびＩ値に代えて、単一値として疎画像配列に格納される。ｊ値は格納される必要はない。なぜならば、その値は、列インデックス配列の中で暗示されているからである。このことは、非可変長コード化された疎画像配列においても当てはまるが、３２ビット整数値を用いる場合に、画素長さの値が格納される必要がなければ、疎配列自身にｊ値を格納する余地はある。
可変長値は、画素値とほぼ同じ方法で処理されるために、全体の相関処理は不変である。しかし、格納されたｉ値は、結合された画素組の第１画素の位置であることに留意されたい。ｉ方向における画素組の実際の位置は、［ｉ＋（ｌ−１）／２］である。相関関数を計算するとき、長さならびに絶対値（magnitude）が考えられねばならない。例えば、２つの画素の間のエラー相関、Ｉ₁＋Ｉ₂−|Ｉ₁−Ｉ₂|は、次の値となり、

相関値Ｉ₁・Ｉ₂は、次の値となる。

値、０．５・［ｌ₁＋ｌ₂−|ｌ₁−ｌ₂|］は常に整数であり、最小長さに等しい。実際には、長さｌ₁をｌ₂と単純に比較し、最短長さを乗じる方が速い。
可変長コード化により相関付け（比較）されるべき画素の数は、当初の画像をあまり損なうことなく有効に減少する。実行されるべき計算の数は、画素の数の自乗に比例するために、可変長コード化された相関の結果、速度は大幅に上昇するのが通常である。
前記の例では、多重露出された画像を用いて記録されるＰＩＶ画像のような画像、またはサブ画像を自己相関するための本発明の実施について記載している。疎配列画像の相関付け方法は、連続するＰＩＶ画像のような２つの画像Ａ、Ａ’を相互相関するために使用することができる。相互相関の場合には、画像Ａ、Ａ’に対応する疎画像配列Ｂ、Ｂ’が作り出される。エラー相関関数を使用するに当たって、第１疎画像配列Ｂにおける各入力は、第２疎画像配列Ｂ’への入力と比較され、入力間の相関近似が相関表に加えられる。ある入力は、対立する配列のすべての入力と比較されるから、相関表は、ΔｉおよびΔｊの両者に対する正と負の方向の入力をもつ。
上述のようにＰＩＶ画像解析は、粒子の流れにおける速度ベクトルを求めるために有用である。多重露出を用いてＰＩＶ画像を記録する際に生じる一つの問題は、速度ベクトルの符号を求めるために２回以上の露出が必要であることである。
本発明の別の側面においては、速度ベクトルの符号を求めるための方法は、流れの方向が特定の符号をもつことの確率または可能性を見出すために自己相関を使用する。
２つの画像間の相互相関と異なり、２回露出画像の自己相関は、ゼロに関して対称的な相関関数を作り出す。したがって、ある露出から次の露出までの対象物の変位の絶対値と方向を、自己相関を用いて計算することは可能であるが、画像間の変位が正または負の方向のいずれをもつかを示すことはできない。言い換えれば、２回露出画像からの自己相関を用いて変位の符号を確立するのは不可能である。しかし、各露出間で異なる時間差を用いて画像を３回露出すれば、この符号の不明確さを解決することが可能である。これらの画像の自己相関は、３回の露出のそれぞれの間で３つの異なる変位をもたらす。結果として、２回露出画像に類似するが、２回露出画像の自己相関から得られる３つのピークではなく、７つの１次相関ピークをもつゼロに関して対照的な相関関数が得られる。にもかかわらず、自己相関のみを用いて変位の符号を明らかにすることはなお不可能である。なぜならば、変位は自己相関から見出すことができるが、変位の時系列を見出すことはできないからである。
符号の不明確さは、露出が特定の時系列で起きる確率を計算することにより、すなわち相関が特定の符号をもつと仮定し、仮定が正しいか否かを知るためのテストを行うことにより、解決することができる。これを実現するには、自己相関解析から求められたピーク相関変位を推測することにより（with a priori knowledge of）、相関型解析を行うことができる。３回露出された画像の自己相関から見出される３つの、ゼロでない１次変位が、（Δｉ₁，Δｊ₁）、（Δｉ₂，Δｊ₂）、および（Δｉ₃，Δｊ₃）により表され、しかも、|Δｉ₁|＞|Δｉ₂|＞|Δｉ₃|が成り立つ場合には、これらの変位をもたらした露出の行われた順序は、関数、すなわち、

を下記の関数

と比較することにより求めることができる。ここで、φ°_Δi1,Δj1φ°_Δi2,Δj2およびφ°_Δi3,Δj3は、正規化の前の３つの、ゼロでない１次変位エラー相関ピークの絶対値である。
η₁がη₂よりも大きいときには、第１相関ピークは第２ピークの前に起きる。η₂がη₁よりも大きいときには、第２相関ピークは第１相関ピークの前に、３つの相関ピークが選ばれる方向、すなわち相関の仮定符号に関連して起きる。
これらの関数は、極めて迅速に計算することができる、なぜならば、輝度値が閾値を上回る画素のみが、計算において対象となるに過ぎないからである。このようにして、疎画像配列において、閾値を上回る画素入力の位置を見出すことが可能であり、次に、もとの画像配列からは、これらの位置から特定の変位の位置における画素の輝度値を求めることができる。η₁およびη₂は、前記のエラー相関関数が決められるのと同じ方法で決められることに留意されたい。あるいは、η₁およびη₂は、統計的相関関数を用いて決めることもできる。
この技術を説明するための簡単な例として、輝度Ｉ＝０の画像における画素の残りから距離（Δｉ，△ｊ）＝（３，３）、（６，６）および（８，８）だけ変位した、輝度Ｉ＝１．０をもつ３つの画素からなる図８に示された画像を考えることとする。
エラー相関関数を用いたこの画像の自己相関により、ゼロ変位相関に相対的な正のｉ、ｊ方向の（Δｉ₁，Δｊ₁）＝（２，２），（Δｉ₂，ｊ₂）＝（３，３）および（Δｉ₅，Δｊ₅）＝（５，５）が得られる。この画像の自己相関からは、画像の上左隅から下右隅に向かって見るときには、露出の時系列を知ることはできない。これらのピークに対する正規化されていない相関値φ°_Δi1,Δj1，φ°_Δi2,Δj2およびφ°_Δi3,Δj3は、すべて２．０である。そして、この画像に対するη₁の値は０に等しく、またη₂の値は１．０に等しい。したがって、図８の画像は、その上左から下右の方に見るときには、最初（Δｉ₂，Δｊ₂）＝（３，３）の大きな変位と、次に、小さい変位（Δｉ₁，Δｊ₁）＝（２，２）と相関性をもつ。
図９では、本発明を実施するためのプロセッサの構成の概略ブロック図が示されている。全体が１００の記号で示されているプロセッサの構成は、汎用コンピュータの中の標準サブプロセッサカードであることが望ましい。ＲＩＳＣコントローラ１０２は、プロセッサバス１０４を介してダイレクトメモリアクセス（ＤＭＡ）カウンタ１０６、高速ランダムアクセスメモリ（ＲＡＭ）１０８、ホストメールボックス１１０およびデータＩ／Ｏバッファ１１２を含む各種の標準プロセッサ周辺機器に接続される。データバッファ１１２は、プロセッサバス１０４をホストバス１１４から隔離する。ポートデコーダ１１６は、ホストバス１１４上の他のエンティティ（entities）との通信のためのアドレス付けを解読する。プロセッサバス１０４に接続されたデジタルビデオ入力ポート１１８は、フレームグラバーカード（frame grabber card）のようなビデオ周辺機器からのデジタルビデオ信号を提供する。
データおよびプログラムメモリ１２０は、ＲＩＳＣコントローラ１０２により実行される疎配列相関処理コードを格納する。相関処理コードは、図３Ａおよび３Ｂの処理フローチャートを実行する。疎配列相関処理の結果も、データおよびプログラムメモリ１２０に格納される。ＲＩＳＣコントローラ１２０は、ＤＭＡカウンタ１０６、ホストメールボックス１１０、データＩ／Ｏバッファ１１２、およびデジタルビデオ入力ポート１１８の中から選択するために、選択カウンタ１２２を使用する。ホストメールボックス１１０は、ローカルバス１２４を介してホストメールボックス１１０にアクセスできるＲＩＳＣコントローラ１０２との交信のためのメモリ機能として働く。
運転に際しては、ビデオ画像フレームを含むデジタルビデオ信号は、ビデオ入力ポート１１８を通して受信され、ＤＭＡカウンタ１０６を用いてＲＡＭ１０８にダウンロードされる。ＲＩＳＣコントローラ１０２は、プログラムメモリ１２０に格納されたコードを用いて、ダウンロードされたビデオ画像に疎配列比較処理を実行する。次のビデオ画像をＲＡＭ１０８にダウンロードするために、ＤＭＡカウンタ１０６を用いることにより、ＲＩＳＣコントローラ１０２は、高速で前のビデオ画像を処理することができる。処理速度を高めるために、一つのカードが現在のビデオフレームを処理する間に、他のカードが次のフレームをダウンロードするようにメモリを共有し、並行して作動するような２つのプロセッサカード１００をもつことが望ましい。
均等物
本発明は、その好ましい実施形態に関して図示され、記載されているが、この分野の熟練者にとっては、形態および細部における種々な変更も、付随する請求の範囲により定められた本発明の精神と範囲を逸脱することなしに行うことができるものと理解される。例えば、この分野の熟練者は、プロセッサ構成１００に対して、本発明の範囲を逸脱することなしに、変更を加えることができると考えるであろう。さらに、本発明の新規な機能は、開示された機能を実施するために特別に設計されたプログラムできないハードウエアにおいて、またプログラミングされた汎用コンピュータにおいても、完全に実施された各種の実施形態により、発揮することができる。

Claims (24)

1. 画素値による少なくとも１つの画像配列を供給する供給工程と、
   その画像配列中において画素輝度閾値を超えた輝度をもつ画素値を選択する選択工程と、
   その選択した各画素値およびそれらの前記画像配列での位置からなる疎画像配列を生成する生成工程と、
   前記疎画像配列中の前記選択した画素値を相関付けして複数の相関値を得る相関処理工程とを含む、複数の画素をもつ画像の自己相関付け方法。
2. 請求項１において、前記相関処理工程で、第１方向および第２方向における複数のシフトのそれぞれについて前記疎画像配列中の前記選択した画素値を相関付けし、前記複数の相関値のそれぞれが、対応するシフトでの前記画像の自己相関を示す、画像の自己相関付け方法。
3. 請求項２において、前記相関処理工程で、前記第１方向および第２方向における画素距離で関連付けられ、所定の最大画素距離内にある画素が互いに相関付けされるように、前記シフトごとに相関付けする画像の自己相関付け方法。
4. 請求項１において、前記疎画像配列における各入力が１語で前記画素の位置と画素値を決める画像の自己相関付け方法。
5. 請求項１において、さらに、前記選択工程の前に、前記複数の画素を可変長コード化する工程を含む画像の自己相関付け方法。
6. 請求項５において、前記可変長コード化の工程が、同じ最上位のビット値を有して隣接する画素を単一の画素値になるよう結合させることを含む画像の自己相関付け方法。
7. 請求項１において、さらに、前記複数の相関値における最大値を選択し、その最大の相関値を生じるシフトが前記画像配列の自己相関に近似するシフトとなる、画像の自己相関付け方法。
8. 第１の画素数の画素からなる第１画像および第２の画素数の画素からなる第２画像を記録する工程と、
   前記第１画像および第２画像から、画素輝度閾値を超えた輝度の画素値をもつ画素であってその画素数が前記第１の画素数と第２の画素数の合計よりも少ない画素を選択する選択工程と、
   その選択した画素から少なくとも１つの疎画像配列を生成する生成工程と、
   前記少なくとも１つの疎画像配列中の前記選択した画素を相関付けして複数の相関値を得る相関処理工程とを含む画像の相互相関付け方法。
9. 請求項１において、前記画像が、粒子画像速度測定法の画像である画像の自己相関付け方法。
10. 請求項１において、前記画像が、レーザスペックル速度測定法の画像である画像の自己相関付け方法。
11. 請求項１において、前記画像が、粒子トラッキング速度測定法の画像である画像の自己相関付け方法。
12. 請求項８において、前記相関処理工程で、第１方向および第２方向における複数のシフトのそれぞれについて前記疎画像配列中の前記選択した画素を相関付けし、前記複数のシフトのそれぞれが、前記選択して相関付けする画素間の前記第１方向および第２方向における画素距離を示し、前記複数の相関値のそれぞれが、対応するシフトでの前記第１画像および第２画像の相互相関を示す、画像の相互相関付け方法。
13. 請求項８において、前記相関処理工程が、前記選択した画素にエラー相関関数を作用させることを含む画像の相互相関付け方法。
14. 請求項１２において、前記複数の相関値を相関表に格納し、さらに、その相関表から前記相関値における最大値を選択し、その最大の相関値を生じるシフトが前記第１画像および第２画像間の最適な相関に近似するシフトとなる、画像の相互相関付け方法。
15. 請求項１４において、前記少なくとも１つの疎画像配列における各入力が１語で前記画素の位置と画素値を決める画像の相互相関付け方法。
16. 請求項８において、さらに、前記選択工程の前に、前記画像の画素を可変長コード化する工程を含む画像の相互相関付け方法。
17. 請求項１６において、前記可変長コード化の工程が、同じ最上位のビット値を有して隣接する画素を単一の画素値になるよう結合させることを含む画像の相互相関付け方法。
18. 請求項１２において、前記生成工程で、前記選択した画素の画素値ならびにそれらの前記第１および第２の画像での位置からなる第１および第２の疎画像配列を生成し、前記相関処理工程で、所定の最大画素距離内にある画素が互いに相関付けされるように、前記シフトごとに、前記第１の疎画像配列の画素入力と前記第２の疎画像配列の画素入力との間の各相関付けをする画像の相互相関付け方法。
19. 多数の画素を有するビデオ画像の相関付けをするためのシステムであって、
    前記ビデオ画像を蓄積するためのメモリと、
    そのメモリに連結され、以下の工程を実行するためのプログラムされたプロセッサとを備えたシステム。
    前記メモリから前記ビデオ画像を検索する工程と、
    画素値による１つの画像配列を作成する工程と、
    前記画像配列中の画素輝度閾値を超えた画素値を選択する選択工程と、
    その選択した画素値に相関処理をなす相関処理工程。
20. 請求項１９において、前記プロセッサが、前記選択した画素値およびそれらの前記画像配列での位置からなる疎画像配列の生成と、前記選択して相関処理する画素値をもつ画素間の第１方向および第２方向における画素距離に対応する複数のシフトのそれぞれについての前記疎画像配列中のすべての画素入力間の相関付けとを実行するようにプログラムされているシステム。
21. 請求項２０において、前記疎画像配列における各画素入力が１語で前記画素の位置と画素値を決めるシステム。
22. 請求項１９において、前記プロセッサが、さらに、画素値の選択の前に、前記画像の画素を可変長コード化するようにプログラムされているシステム。
23. 請求項２２において、前記可変長コード化が、同じ最上位のビット値を有して隣接する画素を単一の画素値になるよう結合させることを含むシステム。
24. 請求項１９において、前記相関処理が、エラー相関関数であるシステム。

Images