JP3942193B2 - 画像中のパターンを自動的に位置付けるベクトル相関システム - Google Patents
画像中のパターンを自動的に位置付けるベクトル相関システム Download PDFInfo
- Publication number
- JP3942193B2 JP3942193B2 JP51889697A JP51889697A JP3942193B2 JP 3942193 B2 JP3942193 B2 JP 3942193B2 JP 51889697 A JP51889697 A JP 51889697A JP 51889697 A JP51889697 A JP 51889697A JP 3942193 B2 JP3942193 B2 JP 3942193B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- image
- rotation angle
- coordinate point
- abstract
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Description
技術分野
本発明は、画像をデジタル処理するためのシステムに関し、とりわけエッジで特徴付けられるパターンを自動的に位置付けるためのシステムに関する。特別に構成されたテンプレートが画像中で様々な点の周りを変位させられ、パターンを位置付ける。
発明の背景
序論
電子デジタル処理ハードウェアにおいて、画像は離散的な記憶装置に記憶される。画像は、通常数値からなる配列に分割され、各記憶位置が固有の空間座標点に対応し、画素（ピクセル）と呼ばれる記憶位置内の値がその座標点での画像の階調に対応する。図１Ａは、各画素座標点における階調が値で与えられている画像中の対象物の例を示す。
画像とテンプレートの相関
コンピュータ画像システムにおいて画像中の対象物を自動的に位置づける一般的な技術の１つに、相関或いはコンボリューションを用いるものがある。画像相関法には、コンボリューション、最小平均２乗誤差、最小平均絶対誤差を含む様々な種類のものがある。相関法の定義には、位置づけられるべき対象物と同様の形状を有する個別の小さな画像であるテンプレートすなわち核の決定と使用とが必要とされる。図１Ｂは、図１Ａに示す対象物と同様の形状をしたテンプレートを示す。対象物と同様に、テンプレートは各点での階調値を有する固有の座標点で表される。テンプレートは、画像中の関連領域の周囲でその位置を選択的に変位されて動かされる。画像中の新たなテンプレートの位置のそれぞれにおいて、共通の空間座標点における各画像画素に対応する値を有する各テンプレート画素の値を求めるために、積和が計算される。図１Ｃは、画像上で移動された図１Ｂのテンプレートの一位置を示す。この場合、変位に重なりがなく、積の合計は０である。相関或いはコンボリューションの計算出力は、テンプレートの形状が画像中のパターンの形状と最もマッチする位置において最大となる。図１Ｄは、画像を横断するテンプレートのすべての可能な相関を示す。数値はかなり大きくなるため、図１Ｄは、相関のおおよその相対的な指標のみを陰影の濃度によって示す。
離散２次元のコンボリューションの公式は、
で与えられる。ここで、Ｉは画像、Ｋは核、ｘ及びｙは空間座標点で定義される画像座標である。ｕとｖとの総和は、テンプレート上の範囲となる。実際上、テンプレートは、位置が決定された対象物を含む画像よりも小さいものとなる。
正規化相関は、テンプレートの各要素の値に一定の階調因子が乗じられ、一定のオフセットが加算されることを除いて、相関に類似する方法として知られている。各テンプレート変位において、階調因子とオフセットとは、画像位置のそれぞれにおけるテンプレートの相関における誤差が最小となるように独立して調整される。テンプレートマッチングにおける正規化相関は、VISION '87 Conference Proceedingの５−３３〜５−５５ページにあるWillian Silverによる“Alignment and Gauging Using Normalized Coreelation Search”と題された記事に詳細に述べられており、引用して具体化する。
最小平均２乗誤差法では、各テンプレートの点が対応する画像の点から減算され、それぞれの差が２乗される。そして、すべての差の平均が計算される。最小２乗誤差の公式は、
で与えられる。ここで、Ｎは核中の画素の数である。最小平均２乗誤差の計算出力は、テンプレートの形状が画像中のパターンの形状と最もマッチする位置において最小となる。最小平均絶対誤差法では、各テンプレートの点が対応する画素の点から減算され、それぞれの差の絶対値が計算される。そしてすべての差の平均が計算される。最小絶対誤差の公式は、
で与えられる。最小絶対誤差の計算結果も、テンプレートの形状が画像中のパターンの形状と最もマッチする位置において最小となる。
上記の技術は、それ自体が濃淡画像であるテンプレートを、座標位置が関連する画像の範囲内にある対象物を含む対応する濃淡画像の周囲で、その位置を変位させるという意味において実質的に同一である。各位置において、隣接する画像の画素の値と共通の座標点において対応するテンプレートの値とにある関数が適用される。その結果は、座標点での各画素が、テンプレートがその点における画像中の対象物とどれくらい一致するかを示す１つの数値となる別の画像となる。
２値ベクトル相関
ベクトル相関或いはコンボリューションは、上述した相関法の代わりとなる接近法を提供するものである。ベクトル相関では、画像と選択されたテンプレートとは、ベクトルである画素によって構成される。２値ベクトル相関の理論は、IEEE Transactions on Systems,Man,and Cybernetics,Nov./Dec.,1989,vol.19,no.6の１６３６〜１６４４ページにあるS.S.Wilsonによる“Vector Morphology and Iconic Neural Networks”と題された論文に述べられており、引用して具体化する。同様の技術が、１９９１年Wiley-Interscience刊のNeural and Intelligent Systems Integrationの１３５〜１６０ページにあるS.S.Wilsonによる“Teaching network connections for real-time object recognition”と題された論文にさらに述べられている。簡単にいえば、２値ベクトル相関は、濃淡画像をいくつかの２値画像に変容させることからなる。ここで、２値画像の合成画像は、ベクトル画像中の各画素が２値画像の１つからそれぞれなるいくつかの構成要素を有するという意味でのベクトルで表される。次に、パターンを認識するために、ベクトルテンプレートが定義される。ベクトルテンプレートも、同数のベクトル画像としての構成要素からなる。
ベクトルテンプレートの位置は、画像中の関連領域の周囲でその位置を変位され、動かされる。各位置において、テンプレート中のベクトル画素と、対応する座標点での画像中のベクトル画素とを求めるために内部積（すなわちドット積）の合計が計算される。数学的な観点では、離散２次元ベクトルコンボリューションの公式は、
で与えられる。ここで、Ｉはベクトル画像、Ｋはベクトル核、ｘ及びｙは画像座標である。ｕとｖとの総和は、テンプレート上の範囲となる。
以下、ベクトル相関の技術を詳細に示す。画像を入力すると、最初に、水平有限差分と呼ばれる異なる画像を、入力画像の画素の値から右側に最小距離で変位する隣接画素の値を減算することによって形成する。結果の画像は、際だった垂直エッジがある座標点の周囲で正または負の大きな値を含むものとなる。水平有限差分画像中の正の値はイーストエッジと呼ばれ、左から右に向かって濃度が減少するエッジであることを示す。水平有限差分画像中の負の値はウェストエッジと呼ばれ、左から右に向かって濃度が増加するエッジであることを示す。
２番目に、垂直有限差分と呼ばれる異なる画像を、入力画像の画素の値から上方に最小距離で変位する隣接画素の値を減算することによって形成する。結果の画像は、際だった水平エッジがある座標点の周囲で正または負の大きな値を含むものとなる。垂直有限差分画像中の正の値はノースエッジと呼ばれ、上方に向かって濃度が減少するエッジであることを示す。垂直有限差分画像中の負の値はサウスエッジと呼ばれ、下方に向かって濃度が増加するエッジであることを示す。
２値ベクトル相関では３番目に、各画素が４つの磁針方向に対応するＮ、Ｓ、Ｅ及びＷとラベルされた４つの２進数値からなるベクトルを含む２値ベクトル画像を形成する。２進数Ｎは、垂直有限差分を閾値と呼ばれる小さな正の数と比較し、それらの値が閾値を超える場合には２進数の１を、それ以外は２進数の０を割り当てることによって計算される。２進数Ｓは、垂直有限差分を負の閾値と比較し、それらの値が閾値より小さい場合には２進数の１を、それ以外は２進数の０を割り当てることによって計算される。ＥとＷの２値要素は、水平有限差分画像を用いて同様の方法で計算される。
最後に４番目として、ベクトルテンプレートの位置を、原画像の関連領域の範囲内で変位させる。画像中の新たな位置のそれぞれで、内部積の合計が、対応する座標点で原画像中の各ベクトル画素に対応するテンプレート中の各ベクトル画素の値を求めるために計算される。
図２Ａは、水平有限差分と垂直有限差分との両方を用いたエッジ検出後のベクトル画像の例である。画像中での各座標点がベクトルとして描かれているが、０でない要素のラベルのみを描いて簡略化している。実際には２つの要素が、Ｎ及びＷなどの０でないものとすることはできるが、図２Ａの例では示されていない。図２Ｂは、水平有限差分画像と垂直有限差分画像の両方と所定の閾値とを用いて形成された、対応するベクトルテンプレートである。図２Ｂのテンプレートが図２Ａの画像の周囲でその位置を移動されたとき、図２Ｃにおおよそ示す相関結果が得られるのは明らかである。
ベクトル相関の利点
ベクトル相関は、パターンのエッジとの相関であり、非常に正確である。図２Ｃを参照すると、画像中のパターンの正確な位置からのテンプレートのわずかなオフセットは、テンプレートのエッジのほとんどがパターンと完全にミスコンタクトし、相関が得られないことを意味している。しかしながら、図１Ｄに示すように、通常の相関が用いられた場合には、画像がテンプレートと部分的にコンタクトする広い領域がある。
ベクトル相関は、パターンのエッジがひどく劣化していない限り、劣化した画像中のパターンを位置させることができる。劣化した画像は、関連するパターンを取り囲んで大きく乱れ、或いはパターン中で断片を失っている。通常の相関では、パターンを取り囲んでいる雑音から区別することができない。
通常の相関では、テンプレートの画像が使用される。このため、対象物の視覚的特質がテンプレートとして用いられている対象物と実質的に異なれば、テンプレートマッチングは正確な結果を与えることができない。ベクトル相関は、対象物の重要なエッジ形状のみが対象物を識別するために用いられるので、通常の相関よりも優れている。
ベクトル相関の問題点
ベクトル相関においては、ベクトル画像を形成して処理する特別なステップのために、徹底的な計算がなされる。第１に、有限差分と算出されたエッジとを記憶するための記憶装置の必要量が増加する。第２に、探索すべきパターンを特徴付けるために使用されるテンプレートはベクトルであり、定義するのがより複雑となる。第３に、斜めのエッジは、正確に表されない。ノース方向とイースト方向とに斜めとなっているエッジは、同一の点に表されたノース及びイーストのエッジの両方を有するテンプレートによって表されなければならない。テンプレート中の斜めの点は、取り扱いがより困難になる。最後に、この方法は、高性能の並列プロセッサに限定される。
１または２のユニットを取り囲む小さな有限差分座標変位を使用すると、非常に狭小な有限差分画像のエッジが生成される。相関テンプレートがベクトル画像上で動かされると、狭小なエッジは相関に強度の局所性を与え、画像へのテンプレートのパターンマッチングに高い正確性をもたらす。しかしながら、パターンの位置は未知なので、一般に、パターンが探索されるまでに、テンプレートは多くの位置上を移動されなければならない。このことが、きめ細かい探索として引用される。この場合の未知のパターンは、テンプレートがどの位置でもフィットしないようにわずかに回転させられれば、失われてしまう。
有限差分は、単純な画像にはより大きく作成される。たとえば、１０のユニットを取り囲む有限差分座標変位は、１０画素の幅で探索すべき回転されたパターンを許すエッジを導く。さらに、パターンは、水平及び垂直方向の両方で１０ユニットまでを取り囲むステップにおいて徹底的にではなく、粗い格子内で画像上でテンプレートをサンプリングすることによって探索される。この例では、探索は１０の２乗、すなわち１００倍速くなる。しかしながら、パターンが探索された場合、正確性に乏しいものとなる。
妥協点として、エッジ検出は、粗く探索してパターンのおおよその位置を得、きめ細かい探索でパターンを合わせることが行われる。大きな有限差分で１回、小さな有限差分で１回の計２回行わなければならない。大容量の記憶装置と高性能の並列プロセッサとが、依然として必要とされる。
発明の概要
本発明は、画像中で対象物を自動的に位置させるシステムを教示する。画像は、それぞれ既知の階調値と既知の座標点とを有する複数の画像画素によって定義される。本発明は、１つの処理に結合されたエッジ検出とパターン探索との組み合わせを用い、計算の複雑性が限られた範囲で、非常な柔軟性を提供する。最初に、対象物の見積もりに対応するマニュアルテンプレートが決定される。マニュアルテンプレートは、座標点と対応するエッジ方向のセットからなるベクトルの散在的なセットから構成されるアブストラクトテンプレートに変換される。各座標点は、マニュアルテンプレートのエッジ上にあり、対応するエッジ方向は、その座標点におけるエッジと垂直にその座標点を通過する。次に、アブストラクトテンプレートは、レンジングテンプレートに変換される。レンジングテンプレートは。対応するエッジ方向に沿ったアブストラクトテンプレートの各ベクトルの座標点から等間隔で配置されるように定義された座標点の対から構成される。正の座標点は、予め選択された変位の正の値に対応し、負の座標点は、同様の変位の負の値に対応する。
レンジングテンプレートは、画像の範囲内で複数の既知の座標点位置のそれぞれに変位させられる。各位置において、レンジングテンプレートは画像と相関される。相関が向上し、画像の範囲での対象物の位置の見積もりがより正確となるように、異なるアブストラクト及びレンジングテンプレートが動的に再構成され、回転させられる。ベクトル相関の利点は保持されるが、エッジ検出が削減され、限られた数のみの座標点が必要とされるので、計算の負荷が削減される。エッジ検出した画像が記憶されないという点において、計算に要求される記憶装置が少なくなる。
【図面の簡単な説明】
本発明の特徴及び発明性は、以下の詳細な説明、請求の範囲、及び以下にその簡単な説明をする図面により、さらに明らかとなる。
図１Ａは、対象物の階調画像の例である。
図１Ｂは、図１Ａの画像中の対象物の位置を探し出すためのテンプレートの例である。
図１Ｃは、図１Ａの画像上で位置をずらされた図１Ｂのテンプレートの一位置を示す。
図１Ｄは、画像中の対象物と画像の周囲を移動させられるテンプレートとの相関のおおよその指標を陰影の濃度によって示す。
図２Ａは、２値ベクトル画像の例である。
図２Ｂは、２値ベクトルテンプレートの例である。
図２Ｃは、２値ベクトル画像中の対象物と画像の周囲で移動された２値ベクトルテンプレートとのベクトル相関の結果を示す。
図３Ａは、本発明にかかる簡略したベクトル形式に変換されたマニュアル決定テンプレートを示す。
図３Ｂは、図３Ａのアブストラクトベクトルテンプレート用のテーブルを示す。
図３Ｃは、δ＝３の変位を有する図３Ｂのアブストラクトテンプレートから得られたレンジングテンプレートを示す。
図３Ｄは、画像中でずれて回転された対象物に一致する図３Ｃのレンジングテンプレートを示す。
図４Ａは、図３Ｃのレンジングテンプレートのための相関の水平プロファイルである。
図４Ｂは、δ＝１の変位を有する作成されたレンジングテンプレートである。
図４Ｃは、図４Ｂのレンジングテンプレートのための相関の水平プロファイルである。
図５は、本発明のシステムを使用して対象物を探し出すための有効な方法を示すフロー図である。
好ましい実施の形態の詳細な説明
図３Ａ〜図３Ｄに図示するように、本発明は、画像２２内における対象物２０の座標点位置を位置づけるために用いられる自動画像処理システムに関する。図示した画像２２は、複数の画像画素からなる２次元のものである。各画像画素は、それぞれ既知の階調値と既知の座標点とを有する。座標点は、水平方向のｘ軸と垂直方向のｙ軸とによって定義される。このシステムは、最終的に画像２２内における対象物２０の座標点を決定する。
最初に、システムは、エッジ２６によって境界を定義したポシブルテンプレート２４をマニュアル操作で決定する。図示するように、テンプレート２４は、対象物と可能な限り一致する形状及び大きさに設定される。
テンプレート２４が定義されると、コンピュータの記憶位置に容易に格納されるＮ個のベクトル（ｕ1，ｖ1，θ1）、（ｕ2，ｖ2，θ2）、・・・（ｕN，ｖN，θN）によって定義されるアブストラクトテンプレート２８に変換される。図３Ａに図式的に、及び図３Ｂにテーブルの形態で示すように、Ａ〜Ｉの各ベクトルは、それぞれテンプレートのエッジ２６の水平及び垂直座標（ｕ，ｖii）となる座標点ｕi及びｖiの組で与えられる。座標点は、以下に述べるように、画像２０の座標系にマップすることができる。各座標点と関連付けて、座標点の位置で対応するエッジ２６に直交する対応する矢印θiで示すエッジ方向がある。各矢印の末端はテンプレート２４の境界より内側にあり、一方、各矢印の末端はテンプレートの外側にある。画像２２のｘ及びｙ軸に沿った対象物２０の位置の決定を同等に正確にするため、マニュアルテンプレート２４の実質的に垂直及び実質的に水平な範囲に沿ってＮとほぼ同数のベクトルがある。同一のベクトルが、水平及び垂直成分の両方を同時に有していてもよい。図３Ａに示すように、３つのベクトルが各水平及び垂直範囲に存在し、１つ以上のエッジを含む。たとえば、これら３つのエッジは、図３Ａの最右の垂直範囲を含む。
計算の複雑性を最小にするため、限られた数だけのエッジの点がベクトル（ｕi，ｖi，θi）に変換されることが必要とされる。しかしながら、エッジ間に十分に大きな角度差がない隣接するエッジでない限り、少なくとも１つのベクトルがマニュアル決定テンプレートのそれぞれ異なるエッジに用いられることが望ましい。図３Ａに示すように、エッジ２６のそれぞれは、アブストラクトテンプレート２８の一部分からなる少なくとも１つのベクトルを含む。
テンプレート２４がアブストラクトテンプレート２８のベクトルに変換されると、図３Ｃに示すように、レンジングテンプレート３０が形成される、レンジングテンプレートは、アブストラクトテンプレート２８の各ベクトル（ｕi，ｖi，θi）用の座標点（ｕｐi，ｖｐi）及び（ｕｎi，ｖｎi）を用いて定義される。点（ｕｐi，ｖｐi）は、方向θiに沿った正の変位δによって生成され、点（ｕｎi，ｖｎi）は、方向θiに沿った正の変位δによって生成される。前者の座標点は、マニュアル決定テンプレート２４のエッジ２６で定義される境界の外側に存在し、一方、後者の座標点は、境界の内側に存在する。数学的には、（ｕｐi，ｖｐi）＝（ｕi＋δｃｏｓθi，ｖi＋δｓｉｎθi）及び（ｕｎi，ｖｎi）＝（ｕi−δｃｏｓθi，ｖi−δｓｉｎθi）である。しかしながら、レンジングテンプレート３０が用いられる前に、テンプレートの座標点に重みを割り当てなければならない。たとえば、例示した実施の形態では、正の変位を有する点（ｕｐi，ｖｐi）用の重みは＋１であり、負の変位を有する点（ｕｎi，ｖｎi）用の重みは−１である。小さな白四角は負の重みを有するレンジングテンプレートの座標点を表し、小さな黒四角は正の重みを有するレンジングテンプレートの座標点を表す。レンジングテンプレート３０における非常に散在した座標点の組み合わせによる＋１または−１の重みを有することによって、相関の公式は非常に単純となる。
ここで、Ｉは画像２２、ｘ及びｙは画像の座標点、ｕ及びｖは上記で定義したレンジングテンプレート３０の座標点である。この公式での表記は、正の項Ｐi＝Ｉ（ｘ−ｕｐi，ｙ−ｖｐi）及び負の項Ｎi＝Ｉ（ｘ−ｕｎi，ｙ−ｖｎi）を代入することによって簡略化される。
変位δが大きければ計算速度は向上するが、少なくとも１つのベクトルを有するテンプレート２４のうちのエッジの最小サイズの半分程度よりは大きくならない。しかしながら、計算結果が不正確となりうる。図３Ｃに例示するように、アブストラクトテンプレート２８のベクトルＣ及びＤを用いて決定した座標点（ｕｎi，ｖｎi）は、互いに非常に隣接したものとなる。変位δがさらに大きくなれば、座標点が互いに通り抜け、望ましくない結果となる。たとえば、アブストラクトテンプレート２８では、最短のサイズは１０ユニット程度の長さとなる。変位δが３ユニットに設定されると、結果として得られたレンジングテンプレート３０は、３ユニットまでの範囲で対象物の中心から外れていても、対象物２０のパターンを検出することができる。このため、対象物２０は、６×６格子を用いて散在的に探索することによって探し出すことができる。しかしながら、画像２２における対象物２０の位置は、±３画素以上正確には探索されない。図３Ｄは、テンプレートが際だって中心から外れ、対象物２０が際立って回転している場合でも、レンジングテンプレート３０と画像２２内の対象物２０とが一致することを示す。
図４Ａは、回転されていない対象物のｘ軸に沿ったレンジングテンプレートの動きの関数として数式（６）を用いた相関のプロファイルである。レンジングテンプレート３０は変位δ＝３を有するので、最大相関は、６ユニットの幅を有する。本発明が使用される産業環境における実際の対象物の不規則でわずかにかすんだエッジは、０相関となるように最大相関から徐々に減少する結果となる。
図４Ｂを参照すると、他のレンジングテンプレート３０’が変位δ＝１ユニットを選択することによって生成される。得られたレンジングテンプレート３０’は、テンプレートが１ユニット以下の範囲で対象物２０の中心から外れている場合のみに、画像２２中の対象物２０を検出することができる。このため、対象物２０は、入力画像２２中のすべての位置を探索することによってのみ探し出される。しかしながら、対象物２０の中心は、１ユニットの正確性で探し出すことができる。図４Ｃは、水平方向ｘ軸に沿ってδ＝１であるレンジングテンプレート３０’の動きとして数式（６）を用いた相関のプロファイルである。産業環境での画像にとって、相関プロファイルは、相関のピークについて放物線を逆にしたものとほぼ同様となる。最もフィットする放物線の数学的な中心が画素のサイズよりもかなり小さいほどの正確性を導けることがわかるであろう。
図４Ａ及び４Ｃに示すプロファイルは、公式（６）でのベクトル相関の公式が、正規化相関の方法に従って変化しうることを示している。この発明の正規化公式は、
である。画像２２中の画素を示す各座標点の照度に任意の定数が乗算され、他の任意の定数が画素を表す各座標点の値に加算されるのであれば、相関ｃｏｒｒ’（ｘ、ｙ）の結果は変化しないことは、当技術分野の技術者には容易に立証できる。このため、正規化相関の公式は、照明レベル及びコントラストに従属しない相関の値を生成する。さらに、相関の値は、完全相関の１以下で、質の悪い相関の０以上となる。
本発明のシステムにおける動的処理を、図５のフローチャートに示す。ここでは、画像２２中で位置づけられる対象物２０の水平及び垂直方向の最小長は、１６ユニット程度であるものと仮定する。変位δは、上記した理由により１６ユニットの半分の８ユニットの最大値が設定される。最初に、対象物２２は回転されていないものと仮定する。従って、θTiの値は、０に等しくなる。しかしながら、回転ΔθTの可能な範囲の正の変化は、後に使用する所定の値に設定される。ここでは、８に設定される。その後、位置５２においてポシブルテンプレート２４’がマニュアル操作で決定される。このマニュアルテンプレートは、上述したように、位置５４において簡略化したベクトル表記を用いてアブストラクトテンプレート２８’に変換される。次に、ベクトル表記の形態のアブストラクトテンプレート２８’は、位置５６においてレンジングテンプレート３０’’に変換される。位置５８では、レンジングテンプレート３０’’は、画像２２の範囲内での新たな位置に動かされる。レンジングテンプレート３０’’のサイズは、８ユニットの値をとるδの使用を含むので、レンジングテンプレートは１６×１６探索格子内の画像上で動かされ、位置６０においてそれぞれの新しい位置での正規化相関が計算される。新たな位置のそれぞれにおいて正規化ベクトル相関が計算されると、位置６２においてその値が予め設定された閾値と比較される。ここでは、この値は０．５に設定されている。この値が０．５よりも小さい場合には、位置６４に示すように、すべての画像位置が試行されていない限り、レンジングテンプレート３０’’は、画像２２の範囲で新たな探索範囲に動かされる。
すべての画像位置が試行され、受け入れ可能な最小の閾値に達しない場合には、対象物２０が画像２２中になかったとして、位置６５において正確に対象物が探索されないとことをシステムが応答することも可能である。しかしながら、システムが対象物を探索できなくても、対象物が実際に存在することが確証できる場合には、点線矢印６６、６８及び７０で示すように、３つの選択肢をとることができる。典型としては、位置５６において変位δにより大きな値を選択する。また、位置５４においてマニュアルテンプレート２４からアブストラクトテンプレート２８’への変換により多くのベクトルを用いてもよい。さらに、位置５２において異なるマニュアルテンプレート２４をマニュアル操作で選択してもよい。その後、位置６２で閾値が満足させられるまで、正規化されたベクトル表記が画像２２中の異なる位置のそれぞれで再び計算される。
位置６２で正規化相関の最小の閾値が満足すると、画像中２２中の対象物２０の座標位置に最もよく対応して求められた相関における画像２２の範囲でのレンジングテンプレート３０’’の位置ｘm、ｙmを保存する。そして、位置７６で変位δを半分に削減し、対象物２０の回転可能範囲ΔθTを半分に削減する。これにより、上記に与えられた情報を使用すると、δ及びΔθTは、いずれも４となる。θTIが０の時、対象物２２の回転角度に対応するθTの値は、−４となる。これら新しい値を用いて、位置７８では、２次元空間において座標点を回転するための標準公式に従ってアブストラクトテンプレート２８’が新たなアブストラクトテンプレート２８’’に変換される。
アブストラクトテンプレートにおけるエッジ方向の角度も、回転させられる。そして、図５のフローチャートの位置８０に示すように、新たなアブストラクトテンプレート２８’’が新たなレンジングテンプレート３０’’’に変換される。レンジングテンプレート３０’’のための１６×１６の最初の格子サイズと異なり、レンジングテンプレート３０’’’のための格子サイズは、半分すなわち８×８となる。フローチャートの位置８２に示すように、最初に記憶された位置ｘm、ｙmの周囲で異なる位置にレンジングテンプレート３０’’’を動かすことによって、最大正規化相関は、記憶すべき最大正規化相関に対応する最良の位置を用いたｘm、ｙmのより正確な仕様とθTの値とを決定することができる。位置８４に示すように、次に、直前のθTの値を取得し、位置７６で決定したΔθTの値を加算することで、θTを再計算する。フローチャートの位置８６でθT≦θTi＋ΔθTiが満たされている限り、位置７８、８０、８２及び８４のステップが繰り返される。こうして、ここでは、最大相関の値が、３つの異なるθTの値−４、０及び＋４に対応する３つの異なる画像２２中のレンジングテンプレートの位置ｘm、ｙm用として保存される。位置８８では、保存された値のうちで最大相関δ＝４を与えるθTが決定され、レンジングテンプレート３０’’’による対象物２２の対応する位置が決定され、ｘm、ｙm及びθTiとして保存される。変位δ＝４であるテンプレート３０’’の強度が最も強い相関の位置と角度とが、さらに小さい変位δ＝２ユニットを有するレンジングテンプレート３０’’’’を使用した新たな探索のための開始ポイントとなる。直前で最良だった角度から回転角度θT＝−２、０及び＋２度が、よりおおよその回転θT及び位置ｘm、ｙmを探索するために用いられる。
より小さな変位と角度とがアブストラクトテンプレート２８から新たなレンジングテンプレートを算出するために用いられ、変位δが所定の最小値となるまで同様の方法によって関連パターンの探索が続けられる。フローチャートの位置９０に示す値は、１である。変位が１となると、本発明のシステムは、位置９２に示すように、適切な回転角度θTに対応する画像２２中の対象物２０の座標位置ｘm、ｙmを決定することを中止する。当技術分野における技術者であれば、多次元空間で関数の最大値を位置付けるための方法も、上記方法の一部と類似することがわかるであろう。多次元空間における勾配法は、１９８６年Cambridge University Press刊のW.Press,B Flannery,S.Teukolsky及びW.Vetterlingによる“Numerical Recipes the Art of Scientific Computing”の第１０章に述べられており、引用して具体化する。
１つの処理でエッジ検出とパターン探索とを使用することにより、大変な柔軟性が与えられると共に、複雑なコンピュータ操作の必要性が削減される。このため、簡略化したベクトル表記を有するアブストラクトテンプレートを使用することにより、解像度の増加した画像２２の周囲で異なる位置に動かすことができる広い範囲の互いに異なるレンジングテンプレートを動的に変化させて生成できるという利点がある。画像２２中の対象物の位置及び回転角度を、各座標位置や最初にマニュアル操作で決定されたテンプレート２４のエッジを含む各点の対応する階調を記憶することなく、所望の正確性で、高速に位置あわせすることができる。
好ましくは、本発明のシステムは、当技術分野における技術者に公知の標準的なコンピュータハードウェア及びソフトウェアを用いて実行されるものとすることができる。画像２２の対象物２０は、陰極管線（ＣＲＴ）から構成される通常のスクリーン上に表示されるものとすることができる。このシステムは、これらに限定されるものではないが、磁気テープ及びディスク、光学ドライブ、コンパクトディスクドライブ及び紙を含む様々な記憶媒体によってソフトウェアとして記憶させてもよい。
本発明の好ましい実施の形態を開示した。しかしながら、当技術分野における通常の技術を有するものは、ある程度の変形がこの発明の教示の範囲に含まれることがわかるであろう。従って、以下の請求の範囲が、本発明の本来の範囲及び内容を決定するために検討されるべきである。
本発明は、画像をデジタル処理するためのシステムに関し、とりわけエッジで特徴付けられるパターンを自動的に位置付けるためのシステムに関する。特別に構成されたテンプレートが画像中で様々な点の周りを変位させられ、パターンを位置付ける。
発明の背景
序論
電子デジタル処理ハードウェアにおいて、画像は離散的な記憶装置に記憶される。画像は、通常数値からなる配列に分割され、各記憶位置が固有の空間座標点に対応し、画素（ピクセル）と呼ばれる記憶位置内の値がその座標点での画像の階調に対応する。図１Ａは、各画素座標点における階調が値で与えられている画像中の対象物の例を示す。
画像とテンプレートの相関
コンピュータ画像システムにおいて画像中の対象物を自動的に位置づける一般的な技術の１つに、相関或いはコンボリューションを用いるものがある。画像相関法には、コンボリューション、最小平均２乗誤差、最小平均絶対誤差を含む様々な種類のものがある。相関法の定義には、位置づけられるべき対象物と同様の形状を有する個別の小さな画像であるテンプレートすなわち核の決定と使用とが必要とされる。図１Ｂは、図１Ａに示す対象物と同様の形状をしたテンプレートを示す。対象物と同様に、テンプレートは各点での階調値を有する固有の座標点で表される。テンプレートは、画像中の関連領域の周囲でその位置を選択的に変位されて動かされる。画像中の新たなテンプレートの位置のそれぞれにおいて、共通の空間座標点における各画像画素に対応する値を有する各テンプレート画素の値を求めるために、積和が計算される。図１Ｃは、画像上で移動された図１Ｂのテンプレートの一位置を示す。この場合、変位に重なりがなく、積の合計は０である。相関或いはコンボリューションの計算出力は、テンプレートの形状が画像中のパターンの形状と最もマッチする位置において最大となる。図１Ｄは、画像を横断するテンプレートのすべての可能な相関を示す。数値はかなり大きくなるため、図１Ｄは、相関のおおよその相対的な指標のみを陰影の濃度によって示す。
離散２次元のコンボリューションの公式は、
正規化相関は、テンプレートの各要素の値に一定の階調因子が乗じられ、一定のオフセットが加算されることを除いて、相関に類似する方法として知られている。各テンプレート変位において、階調因子とオフセットとは、画像位置のそれぞれにおけるテンプレートの相関における誤差が最小となるように独立して調整される。テンプレートマッチングにおける正規化相関は、VISION '87 Conference Proceedingの５−３３〜５−５５ページにあるWillian Silverによる“Alignment and Gauging Using Normalized Coreelation Search”と題された記事に詳細に述べられており、引用して具体化する。
最小平均２乗誤差法では、各テンプレートの点が対応する画像の点から減算され、それぞれの差が２乗される。そして、すべての差の平均が計算される。最小２乗誤差の公式は、
上記の技術は、それ自体が濃淡画像であるテンプレートを、座標位置が関連する画像の範囲内にある対象物を含む対応する濃淡画像の周囲で、その位置を変位させるという意味において実質的に同一である。各位置において、隣接する画像の画素の値と共通の座標点において対応するテンプレートの値とにある関数が適用される。その結果は、座標点での各画素が、テンプレートがその点における画像中の対象物とどれくらい一致するかを示す１つの数値となる別の画像となる。
２値ベクトル相関
ベクトル相関或いはコンボリューションは、上述した相関法の代わりとなる接近法を提供するものである。ベクトル相関では、画像と選択されたテンプレートとは、ベクトルである画素によって構成される。２値ベクトル相関の理論は、IEEE Transactions on Systems,Man,and Cybernetics,Nov./Dec.,1989,vol.19,no.6の１６３６〜１６４４ページにあるS.S.Wilsonによる“Vector Morphology and Iconic Neural Networks”と題された論文に述べられており、引用して具体化する。同様の技術が、１９９１年Wiley-Interscience刊のNeural and Intelligent Systems Integrationの１３５〜１６０ページにあるS.S.Wilsonによる“Teaching network connections for real-time object recognition”と題された論文にさらに述べられている。簡単にいえば、２値ベクトル相関は、濃淡画像をいくつかの２値画像に変容させることからなる。ここで、２値画像の合成画像は、ベクトル画像中の各画素が２値画像の１つからそれぞれなるいくつかの構成要素を有するという意味でのベクトルで表される。次に、パターンを認識するために、ベクトルテンプレートが定義される。ベクトルテンプレートも、同数のベクトル画像としての構成要素からなる。
ベクトルテンプレートの位置は、画像中の関連領域の周囲でその位置を変位され、動かされる。各位置において、テンプレート中のベクトル画素と、対応する座標点での画像中のベクトル画素とを求めるために内部積（すなわちドット積）の合計が計算される。数学的な観点では、離散２次元ベクトルコンボリューションの公式は、
以下、ベクトル相関の技術を詳細に示す。画像を入力すると、最初に、水平有限差分と呼ばれる異なる画像を、入力画像の画素の値から右側に最小距離で変位する隣接画素の値を減算することによって形成する。結果の画像は、際だった垂直エッジがある座標点の周囲で正または負の大きな値を含むものとなる。水平有限差分画像中の正の値はイーストエッジと呼ばれ、左から右に向かって濃度が減少するエッジであることを示す。水平有限差分画像中の負の値はウェストエッジと呼ばれ、左から右に向かって濃度が増加するエッジであることを示す。
２番目に、垂直有限差分と呼ばれる異なる画像を、入力画像の画素の値から上方に最小距離で変位する隣接画素の値を減算することによって形成する。結果の画像は、際だった水平エッジがある座標点の周囲で正または負の大きな値を含むものとなる。垂直有限差分画像中の正の値はノースエッジと呼ばれ、上方に向かって濃度が減少するエッジであることを示す。垂直有限差分画像中の負の値はサウスエッジと呼ばれ、下方に向かって濃度が増加するエッジであることを示す。
２値ベクトル相関では３番目に、各画素が４つの磁針方向に対応するＮ、Ｓ、Ｅ及びＷとラベルされた４つの２進数値からなるベクトルを含む２値ベクトル画像を形成する。２進数Ｎは、垂直有限差分を閾値と呼ばれる小さな正の数と比較し、それらの値が閾値を超える場合には２進数の１を、それ以外は２進数の０を割り当てることによって計算される。２進数Ｓは、垂直有限差分を負の閾値と比較し、それらの値が閾値より小さい場合には２進数の１を、それ以外は２進数の０を割り当てることによって計算される。ＥとＷの２値要素は、水平有限差分画像を用いて同様の方法で計算される。
最後に４番目として、ベクトルテンプレートの位置を、原画像の関連領域の範囲内で変位させる。画像中の新たな位置のそれぞれで、内部積の合計が、対応する座標点で原画像中の各ベクトル画素に対応するテンプレート中の各ベクトル画素の値を求めるために計算される。
図２Ａは、水平有限差分と垂直有限差分との両方を用いたエッジ検出後のベクトル画像の例である。画像中での各座標点がベクトルとして描かれているが、０でない要素のラベルのみを描いて簡略化している。実際には２つの要素が、Ｎ及びＷなどの０でないものとすることはできるが、図２Ａの例では示されていない。図２Ｂは、水平有限差分画像と垂直有限差分画像の両方と所定の閾値とを用いて形成された、対応するベクトルテンプレートである。図２Ｂのテンプレートが図２Ａの画像の周囲でその位置を移動されたとき、図２Ｃにおおよそ示す相関結果が得られるのは明らかである。
ベクトル相関の利点
ベクトル相関は、パターンのエッジとの相関であり、非常に正確である。図２Ｃを参照すると、画像中のパターンの正確な位置からのテンプレートのわずかなオフセットは、テンプレートのエッジのほとんどがパターンと完全にミスコンタクトし、相関が得られないことを意味している。しかしながら、図１Ｄに示すように、通常の相関が用いられた場合には、画像がテンプレートと部分的にコンタクトする広い領域がある。
ベクトル相関は、パターンのエッジがひどく劣化していない限り、劣化した画像中のパターンを位置させることができる。劣化した画像は、関連するパターンを取り囲んで大きく乱れ、或いはパターン中で断片を失っている。通常の相関では、パターンを取り囲んでいる雑音から区別することができない。
通常の相関では、テンプレートの画像が使用される。このため、対象物の視覚的特質がテンプレートとして用いられている対象物と実質的に異なれば、テンプレートマッチングは正確な結果を与えることができない。ベクトル相関は、対象物の重要なエッジ形状のみが対象物を識別するために用いられるので、通常の相関よりも優れている。
ベクトル相関の問題点
ベクトル相関においては、ベクトル画像を形成して処理する特別なステップのために、徹底的な計算がなされる。第１に、有限差分と算出されたエッジとを記憶するための記憶装置の必要量が増加する。第２に、探索すべきパターンを特徴付けるために使用されるテンプレートはベクトルであり、定義するのがより複雑となる。第３に、斜めのエッジは、正確に表されない。ノース方向とイースト方向とに斜めとなっているエッジは、同一の点に表されたノース及びイーストのエッジの両方を有するテンプレートによって表されなければならない。テンプレート中の斜めの点は、取り扱いがより困難になる。最後に、この方法は、高性能の並列プロセッサに限定される。
１または２のユニットを取り囲む小さな有限差分座標変位を使用すると、非常に狭小な有限差分画像のエッジが生成される。相関テンプレートがベクトル画像上で動かされると、狭小なエッジは相関に強度の局所性を与え、画像へのテンプレートのパターンマッチングに高い正確性をもたらす。しかしながら、パターンの位置は未知なので、一般に、パターンが探索されるまでに、テンプレートは多くの位置上を移動されなければならない。このことが、きめ細かい探索として引用される。この場合の未知のパターンは、テンプレートがどの位置でもフィットしないようにわずかに回転させられれば、失われてしまう。
有限差分は、単純な画像にはより大きく作成される。たとえば、１０のユニットを取り囲む有限差分座標変位は、１０画素の幅で探索すべき回転されたパターンを許すエッジを導く。さらに、パターンは、水平及び垂直方向の両方で１０ユニットまでを取り囲むステップにおいて徹底的にではなく、粗い格子内で画像上でテンプレートをサンプリングすることによって探索される。この例では、探索は１０の２乗、すなわち１００倍速くなる。しかしながら、パターンが探索された場合、正確性に乏しいものとなる。
妥協点として、エッジ検出は、粗く探索してパターンのおおよその位置を得、きめ細かい探索でパターンを合わせることが行われる。大きな有限差分で１回、小さな有限差分で１回の計２回行わなければならない。大容量の記憶装置と高性能の並列プロセッサとが、依然として必要とされる。
発明の概要
本発明は、画像中で対象物を自動的に位置させるシステムを教示する。画像は、それぞれ既知の階調値と既知の座標点とを有する複数の画像画素によって定義される。本発明は、１つの処理に結合されたエッジ検出とパターン探索との組み合わせを用い、計算の複雑性が限られた範囲で、非常な柔軟性を提供する。最初に、対象物の見積もりに対応するマニュアルテンプレートが決定される。マニュアルテンプレートは、座標点と対応するエッジ方向のセットからなるベクトルの散在的なセットから構成されるアブストラクトテンプレートに変換される。各座標点は、マニュアルテンプレートのエッジ上にあり、対応するエッジ方向は、その座標点におけるエッジと垂直にその座標点を通過する。次に、アブストラクトテンプレートは、レンジングテンプレートに変換される。レンジングテンプレートは。対応するエッジ方向に沿ったアブストラクトテンプレートの各ベクトルの座標点から等間隔で配置されるように定義された座標点の対から構成される。正の座標点は、予め選択された変位の正の値に対応し、負の座標点は、同様の変位の負の値に対応する。
レンジングテンプレートは、画像の範囲内で複数の既知の座標点位置のそれぞれに変位させられる。各位置において、レンジングテンプレートは画像と相関される。相関が向上し、画像の範囲での対象物の位置の見積もりがより正確となるように、異なるアブストラクト及びレンジングテンプレートが動的に再構成され、回転させられる。ベクトル相関の利点は保持されるが、エッジ検出が削減され、限られた数のみの座標点が必要とされるので、計算の負荷が削減される。エッジ検出した画像が記憶されないという点において、計算に要求される記憶装置が少なくなる。
【図面の簡単な説明】
本発明の特徴及び発明性は、以下の詳細な説明、請求の範囲、及び以下にその簡単な説明をする図面により、さらに明らかとなる。
図１Ａは、対象物の階調画像の例である。
図１Ｂは、図１Ａの画像中の対象物の位置を探し出すためのテンプレートの例である。
図１Ｃは、図１Ａの画像上で位置をずらされた図１Ｂのテンプレートの一位置を示す。
図１Ｄは、画像中の対象物と画像の周囲を移動させられるテンプレートとの相関のおおよその指標を陰影の濃度によって示す。
図２Ａは、２値ベクトル画像の例である。
図２Ｂは、２値ベクトルテンプレートの例である。
図２Ｃは、２値ベクトル画像中の対象物と画像の周囲で移動された２値ベクトルテンプレートとのベクトル相関の結果を示す。
図３Ａは、本発明にかかる簡略したベクトル形式に変換されたマニュアル決定テンプレートを示す。
図３Ｂは、図３Ａのアブストラクトベクトルテンプレート用のテーブルを示す。
図３Ｃは、δ＝３の変位を有する図３Ｂのアブストラクトテンプレートから得られたレンジングテンプレートを示す。
図３Ｄは、画像中でずれて回転された対象物に一致する図３Ｃのレンジングテンプレートを示す。
図４Ａは、図３Ｃのレンジングテンプレートのための相関の水平プロファイルである。
図４Ｂは、δ＝１の変位を有する作成されたレンジングテンプレートである。
図４Ｃは、図４Ｂのレンジングテンプレートのための相関の水平プロファイルである。
図５は、本発明のシステムを使用して対象物を探し出すための有効な方法を示すフロー図である。
好ましい実施の形態の詳細な説明
図３Ａ〜図３Ｄに図示するように、本発明は、画像２２内における対象物２０の座標点位置を位置づけるために用いられる自動画像処理システムに関する。図示した画像２２は、複数の画像画素からなる２次元のものである。各画像画素は、それぞれ既知の階調値と既知の座標点とを有する。座標点は、水平方向のｘ軸と垂直方向のｙ軸とによって定義される。このシステムは、最終的に画像２２内における対象物２０の座標点を決定する。
最初に、システムは、エッジ２６によって境界を定義したポシブルテンプレート２４をマニュアル操作で決定する。図示するように、テンプレート２４は、対象物と可能な限り一致する形状及び大きさに設定される。
テンプレート２４が定義されると、コンピュータの記憶位置に容易に格納されるＮ個のベクトル（ｕ1，ｖ1，θ1）、（ｕ2，ｖ2，θ2）、・・・（ｕN，ｖN，θN）によって定義されるアブストラクトテンプレート２８に変換される。図３Ａに図式的に、及び図３Ｂにテーブルの形態で示すように、Ａ〜Ｉの各ベクトルは、それぞれテンプレートのエッジ２６の水平及び垂直座標（ｕ，ｖii）となる座標点ｕi及びｖiの組で与えられる。座標点は、以下に述べるように、画像２０の座標系にマップすることができる。各座標点と関連付けて、座標点の位置で対応するエッジ２６に直交する対応する矢印θiで示すエッジ方向がある。各矢印の末端はテンプレート２４の境界より内側にあり、一方、各矢印の末端はテンプレートの外側にある。画像２２のｘ及びｙ軸に沿った対象物２０の位置の決定を同等に正確にするため、マニュアルテンプレート２４の実質的に垂直及び実質的に水平な範囲に沿ってＮとほぼ同数のベクトルがある。同一のベクトルが、水平及び垂直成分の両方を同時に有していてもよい。図３Ａに示すように、３つのベクトルが各水平及び垂直範囲に存在し、１つ以上のエッジを含む。たとえば、これら３つのエッジは、図３Ａの最右の垂直範囲を含む。
計算の複雑性を最小にするため、限られた数だけのエッジの点がベクトル（ｕi，ｖi，θi）に変換されることが必要とされる。しかしながら、エッジ間に十分に大きな角度差がない隣接するエッジでない限り、少なくとも１つのベクトルがマニュアル決定テンプレートのそれぞれ異なるエッジに用いられることが望ましい。図３Ａに示すように、エッジ２６のそれぞれは、アブストラクトテンプレート２８の一部分からなる少なくとも１つのベクトルを含む。
テンプレート２４がアブストラクトテンプレート２８のベクトルに変換されると、図３Ｃに示すように、レンジングテンプレート３０が形成される、レンジングテンプレートは、アブストラクトテンプレート２８の各ベクトル（ｕi，ｖi，θi）用の座標点（ｕｐi，ｖｐi）及び（ｕｎi，ｖｎi）を用いて定義される。点（ｕｐi，ｖｐi）は、方向θiに沿った正の変位δによって生成され、点（ｕｎi，ｖｎi）は、方向θiに沿った正の変位δによって生成される。前者の座標点は、マニュアル決定テンプレート２４のエッジ２６で定義される境界の外側に存在し、一方、後者の座標点は、境界の内側に存在する。数学的には、（ｕｐi，ｖｐi）＝（ｕi＋δｃｏｓθi，ｖi＋δｓｉｎθi）及び（ｕｎi，ｖｎi）＝（ｕi−δｃｏｓθi，ｖi−δｓｉｎθi）である。しかしながら、レンジングテンプレート３０が用いられる前に、テンプレートの座標点に重みを割り当てなければならない。たとえば、例示した実施の形態では、正の変位を有する点（ｕｐi，ｖｐi）用の重みは＋１であり、負の変位を有する点（ｕｎi，ｖｎi）用の重みは−１である。小さな白四角は負の重みを有するレンジングテンプレートの座標点を表し、小さな黒四角は正の重みを有するレンジングテンプレートの座標点を表す。レンジングテンプレート３０における非常に散在した座標点の組み合わせによる＋１または−１の重みを有することによって、相関の公式は非常に単純となる。
図４Ａは、回転されていない対象物のｘ軸に沿ったレンジングテンプレートの動きの関数として数式（６）を用いた相関のプロファイルである。レンジングテンプレート３０は変位δ＝３を有するので、最大相関は、６ユニットの幅を有する。本発明が使用される産業環境における実際の対象物の不規則でわずかにかすんだエッジは、０相関となるように最大相関から徐々に減少する結果となる。
図４Ｂを参照すると、他のレンジングテンプレート３０’が変位δ＝１ユニットを選択することによって生成される。得られたレンジングテンプレート３０’は、テンプレートが１ユニット以下の範囲で対象物２０の中心から外れている場合のみに、画像２２中の対象物２０を検出することができる。このため、対象物２０は、入力画像２２中のすべての位置を探索することによってのみ探し出される。しかしながら、対象物２０の中心は、１ユニットの正確性で探し出すことができる。図４Ｃは、水平方向ｘ軸に沿ってδ＝１であるレンジングテンプレート３０’の動きとして数式（６）を用いた相関のプロファイルである。産業環境での画像にとって、相関プロファイルは、相関のピークについて放物線を逆にしたものとほぼ同様となる。最もフィットする放物線の数学的な中心が画素のサイズよりもかなり小さいほどの正確性を導けることがわかるであろう。
図４Ａ及び４Ｃに示すプロファイルは、公式（６）でのベクトル相関の公式が、正規化相関の方法に従って変化しうることを示している。この発明の正規化公式は、
本発明のシステムにおける動的処理を、図５のフローチャートに示す。ここでは、画像２２中で位置づけられる対象物２０の水平及び垂直方向の最小長は、１６ユニット程度であるものと仮定する。変位δは、上記した理由により１６ユニットの半分の８ユニットの最大値が設定される。最初に、対象物２２は回転されていないものと仮定する。従って、θTiの値は、０に等しくなる。しかしながら、回転ΔθTの可能な範囲の正の変化は、後に使用する所定の値に設定される。ここでは、８に設定される。その後、位置５２においてポシブルテンプレート２４’がマニュアル操作で決定される。このマニュアルテンプレートは、上述したように、位置５４において簡略化したベクトル表記を用いてアブストラクトテンプレート２８’に変換される。次に、ベクトル表記の形態のアブストラクトテンプレート２８’は、位置５６においてレンジングテンプレート３０’’に変換される。位置５８では、レンジングテンプレート３０’’は、画像２２の範囲内での新たな位置に動かされる。レンジングテンプレート３０’’のサイズは、８ユニットの値をとるδの使用を含むので、レンジングテンプレートは１６×１６探索格子内の画像上で動かされ、位置６０においてそれぞれの新しい位置での正規化相関が計算される。新たな位置のそれぞれにおいて正規化ベクトル相関が計算されると、位置６２においてその値が予め設定された閾値と比較される。ここでは、この値は０．５に設定されている。この値が０．５よりも小さい場合には、位置６４に示すように、すべての画像位置が試行されていない限り、レンジングテンプレート３０’’は、画像２２の範囲で新たな探索範囲に動かされる。
すべての画像位置が試行され、受け入れ可能な最小の閾値に達しない場合には、対象物２０が画像２２中になかったとして、位置６５において正確に対象物が探索されないとことをシステムが応答することも可能である。しかしながら、システムが対象物を探索できなくても、対象物が実際に存在することが確証できる場合には、点線矢印６６、６８及び７０で示すように、３つの選択肢をとることができる。典型としては、位置５６において変位δにより大きな値を選択する。また、位置５４においてマニュアルテンプレート２４からアブストラクトテンプレート２８’への変換により多くのベクトルを用いてもよい。さらに、位置５２において異なるマニュアルテンプレート２４をマニュアル操作で選択してもよい。その後、位置６２で閾値が満足させられるまで、正規化されたベクトル表記が画像２２中の異なる位置のそれぞれで再び計算される。
位置６２で正規化相関の最小の閾値が満足すると、画像中２２中の対象物２０の座標位置に最もよく対応して求められた相関における画像２２の範囲でのレンジングテンプレート３０’’の位置ｘm、ｙmを保存する。そして、位置７６で変位δを半分に削減し、対象物２０の回転可能範囲ΔθTを半分に削減する。これにより、上記に与えられた情報を使用すると、δ及びΔθTは、いずれも４となる。θTIが０の時、対象物２２の回転角度に対応するθTの値は、−４となる。これら新しい値を用いて、位置７８では、２次元空間において座標点を回転するための標準公式に従ってアブストラクトテンプレート２８’が新たなアブストラクトテンプレート２８’’に変換される。
より小さな変位と角度とがアブストラクトテンプレート２８から新たなレンジングテンプレートを算出するために用いられ、変位δが所定の最小値となるまで同様の方法によって関連パターンの探索が続けられる。フローチャートの位置９０に示す値は、１である。変位が１となると、本発明のシステムは、位置９２に示すように、適切な回転角度θTに対応する画像２２中の対象物２０の座標位置ｘm、ｙmを決定することを中止する。当技術分野における技術者であれば、多次元空間で関数の最大値を位置付けるための方法も、上記方法の一部と類似することがわかるであろう。多次元空間における勾配法は、１９８６年Cambridge University Press刊のW.Press,B Flannery,S.Teukolsky及びW.Vetterlingによる“Numerical Recipes the Art of Scientific Computing”の第１０章に述べられており、引用して具体化する。
１つの処理でエッジ検出とパターン探索とを使用することにより、大変な柔軟性が与えられると共に、複雑なコンピュータ操作の必要性が削減される。このため、簡略化したベクトル表記を有するアブストラクトテンプレートを使用することにより、解像度の増加した画像２２の周囲で異なる位置に動かすことができる広い範囲の互いに異なるレンジングテンプレートを動的に変化させて生成できるという利点がある。画像２２中の対象物の位置及び回転角度を、各座標位置や最初にマニュアル操作で決定されたテンプレート２４のエッジを含む各点の対応する階調を記憶することなく、所望の正確性で、高速に位置あわせすることができる。
好ましくは、本発明のシステムは、当技術分野における技術者に公知の標準的なコンピュータハードウェア及びソフトウェアを用いて実行されるものとすることができる。画像２２の対象物２０は、陰極管線（ＣＲＴ）から構成される通常のスクリーン上に表示されるものとすることができる。このシステムは、これらに限定されるものではないが、磁気テープ及びディスク、光学ドライブ、コンパクトディスクドライブ及び紙を含む様々な記憶媒体によってソフトウェアとして記憶させてもよい。
本発明の好ましい実施の形態を開示した。しかしながら、当技術分野における通常の技術を有するものは、ある程度の変形がこの発明の教示の範囲に含まれることがわかるであろう。従って、以下の請求の範囲が、本発明の本来の範囲及び内容を決定するために検討されるべきである。
Claims (16)
- 自動画像処理システムに使用され、既知の階調値と既知の座標点とをそれぞれ有する複数の画像画素によって定義される画像の範囲内で対象物の位置を位置づける方法であって、
対象物の形状及び大きさの概略を手動で決定するステップと、
決定された対象物の概略のエッジに位置すると共に対応するエッジ方向がエッジを実質的に垂直に通過する座標点と、対応する前記エッジ方向と、の組からなる複数のベクトルを使用してアブストラクトテンプレートを定義することによって対象物の概略をアブストラクトテンプレートに変換するステップと、
対象物の概略に基づいて、前記アブストラクトテンプレートを、対象物の概略の一つのエッジの反対側に離間して位置する少なくとも一つの座標エッジ対を含むような複数の座標エッジ対を含むレンジングテンプレートに変換するステップとを含み、
前記対象物の概略に実質的に垂直な方向及び実質的に水平な方向に沿って互いに同数のベクトルが用いられ、
隣接するエッジの間に十分に大きな角度差があることを条件として、前記対象物の概略のエッジの一つには少なくとも１つのベクトルが選択され、
前記レンジングテンプレートを前記画像の範囲内で複数の既知の座標点位置に変位させるステップと、
前記レンジングテンプレートと前記画像とを、最大相関が得られるまで各位置で相関させるステップであって、最大の相関に対応する位置が対象物の位置を示すこととするステップと、
を含み、さらに、
Ａ．当初の回転角から回転範囲を減じたものに等しい回転角度を設定し、
Ｂ．前記アブストラクトテンプレートから改訂されたアブストラクトテンプレートを取得し、
Ｃ．前記改訂されたアブストラクトテンプレートから改訂されたテンプレートを取得し、
Ｄ．前記改訂されたテンプレートを前記画像中の既知の複数の座標点位置のそれぞれ置換し、
Ｅ．前記既知の座標点位置のそれぞれに対応する最大相関を探索し、
Ｆ．ステップＥからの位置と対応する回転角度を保存し、
Ｇ．前記回転角度に前記回転範囲を加算することによって、新たな回転角度を計算するステップを含む、
対象物の位置を位置づける方法。 - 請求項１に記載の方法であって、
アブストラクトテンプレートをレンジングテンプレートに変換するステップは、
前記ベクトルの前記座標点から定義され、対応するエッジ方向に延伸する変位を決定し、
前記アブストラクトテンプレートの各ベクトルについて、前記対応するエッジ方向に沿った前記ベクトルの座標点からそれぞれ同一の間隔で存在する前記変位の正の値に対応する正の座標点と前記変位の負の値に対応する負の座標点とからなる座標点の組の一つを位置づける
ステップをさらに含むことを特徴とする方法。 - 請求項２に記載の方法であって、前記レンジングテンプレートの各前記座標点に重みを割り当てるステップを含むことを特徴とする方法。
- 請求項２に記載の方法であって、前記変位は、前記ベクトルを有する前記対象物の概略のエッジの最小サイズの半分以下であることを特徴とする方法。
- 請求項２に記載の方法であって、
Ａ．前記変位を実質的に半分に削減し、
Ｂ．アブストラクトテンプレートを改訂されたテンプレートに転換し、
Ｃ．前記相関させるステップに対応する位置で取り囲まれた複数の位置で最大相関を探索し、
Ｄ．前記変位が最小値に等しくなるまで、ステップＡからＣを継続する
ステップをさらに含むことを特徴とする方法。 - 請求項１に記載の方法であって、
Ｈ．前記新たな回転角度が前記当初の回転角度に前記回転範囲を加算したものよりも大きくなるまでステップＢからＧを繰り返し、
Ｉ．最大相関を与えて前記回転角度を前記当初の回転角度に変えることによって前記位置と前記回転角度とをステップＦから選択し、
Ｋ．前記変位と前記回転範囲とをそれぞれ実質的に半分に削減し、
Ｌ．前記変位が最小の閾値となるまでステップＡからＫを繰り返す
ステップをさらに含むことを特徴とする方法。 - 既知の階調値と既知の座標点とをそれぞれ有する複数の画像画素で定義される画像の範囲内で対象物の位置を位置づける装置であって、
対象物の形状及び大きさの概略を手動操作に応答して決定する手段と、
それぞれ前記対象物の概略のエッジ上に存在する座標点と前記座標点においてエッジを垂直に通過する対応エッジ方向との組からなる多数のベクトルを使用してアブストラクトテンプレートを定義することにより、対象物の概略をアブストラクトテンプレートに変換する手段と、
前記アブストラクトテンプレートを、複数の座標エッジの組を含み、少なくとも一つの座標エッジの組を形成する一組の座標が、対象物の概略の一つのエッジの反対側に離間して位置するレンジングテンプレートに変換する手段と、
前記ベクトルの前記座標点から定義され、対応するエッジ方向に延伸する変位を決定する手段と、
前記アブストラクトテンプレートの各ベクトルについて、前記対応するエッジ方向に沿ったベクトルの座標点からそれぞれ同一の間隔で存在する前記変位の正の値に対応する正の座標点と前記変位の負の値に対応する負の座標点とからなる座標点の組を位置づける手段と、
前記レンジングテンプレートを前記画像の範囲内で複数の既知の座標点位置に変位させる手段と、
対象物の位置を示す最大相関に対応する位置に位置するまで、前記レンジングテンプレートと前記画像とを前記各位置で相関させる手段と、
当初の回転角から回転範囲を減じたものに等しい回転角度を設定し、前記アブストラクトテンプレートから改訂されたアブストラクトテンプレートを取得し、前記改訂されたアブストラクトテンプレートから改訂されたテンプレートを取得し、前記改訂されたテンプレートを前記画像中の既知の複数の座標点位置のそれぞれに置換し、前記既知の座標点位置のそれぞれに対応する最大相関を探索し、ステップＥからの位置と対応する回転角度を保存し、前記回転角度に前記回転範囲を加算することによって、新たな回転角度を計算する手段と、
を備え、
前記概略の隣接するエッジの間に十分に大きな角度差があることを条件として、前記対象物の概略のエッジの一つには少なくとも１つのベクトルが選択される、
ことを特徴とする対象物の位置を位置づける装置。 - 請求項１に記載の方法であって、前記相関ステップは、相関が予め定義された閾値を越えるかどうかを決定する手段をさらに含むことを特徴とする方法。
- 請求項７に記載の装置であって、前記相関手段は、相関が予め定義された閾値を越えるかどうかを決定することを含むことを特徴とする装置。
- 自動画像処理システムに使用され、それぞれ既知の階調値と既知の座標点とを有する複数の画像処理で定義される画像の範囲内で対象物の位置を位置づける方法であって、
対象物の形状及び大きさにほぼ対応し、エッジにより定義された境界を有するテンプレートをマニュアル操作に従って決定し、
それぞれ前記テンプレートのエッジ上に存在する座標点と前記座標点において前記座標上のエッジを実質的に垂直に通過する対応するエッジ方向からなる複数のベクトルを使用し、また前記テンプレートに実質的に垂直な方向及び水平な方向に沿って互いに同数のべクトルを使用し、前記アブストラクトテンプレートを定義することによって前記テンプレートをアブストラクトテンプレートに変換し、
隣接するエッジ間に十分に大きな角度差があることを条件として、前記テンプレートのそれぞれのエッジに少なくとも一つのベクトルを選択し、
対象物の概略に基づいて、前記アブストラクトテンプレートを、対象物の概略の一つのエッジの反対側に離間して位置する少なくとも一つの座標エッジ対を含むような複数の座標エッジ対を含むレンジングテンプレートに変換し、
前記レンジングテンプレートを前記画像の範囲内で複数の既知の座標点位置に変位させ、
前記レンジングテンプレートを対象物の位置を示す最大相関に位置するまで前記各位置で前記画像と相関させ、
さらに、
Ａ．当初の回転角から回転範囲を減じたものに等しい回転角度を設定し、
Ｂ．前記アブストラクトテンプレートから改訂されたアブストラクトテンプレートを取得し、
Ｃ．前記改訂されたアブストラクトテンプレートから改訂されたテンプレートを取得し、
Ｄ．前記改訂されたテンプレートを前記画像中の既知の複数の座標点位置のそれぞれに置換し、
Ｅ．前記既知の座標点位置のそれぞれに対応する最大相関を探索し、
Ｆ．ステップＥからの位置と対応する回転角度を保存し、
Ｇ．前記回転角度に前記回転範囲を加算することによって、新たな回転角度を計算する
ステップを含むことを特徴とする方法。 - 自動画像処理システムに使用され、それぞれ既知の階調値と既知の座標点とを有する複数の画像画素で定義される画像の範囲内で対象物の位置を位置づける方法であって、
対象物の形状及び大きさにほぼ対応し、エッジにより定義された境界を有するテンプレートをマニュアル操作に従って決定し、
それぞれ前記テンプレートのエッジ上の座標点に存在する座標点と前記座標点上において前記座標点上のエッジを実質的に垂直に通過するエッジ方向との組からなる多数のベクトルを使用してアブストラクトテンプレートを定義し、
前記ベクトルの前記座標点から定義され、対応するエッジ方向に延伸する変位を決定し、
前記アブストラクトテンプレートの各ベクトルについて、前記対応するエッジ方向に沿った前記ベクトルの座標点からそれぞれ同一の間隔で存在し、前記変位の正の値に対応する正の座標点と前記変位の負の値に対応する負の座標点からなり、レンジングテンプレートを定義付ける座標点の組を位置づけ、
前記レンジングテンプレートを前記画像の範囲内で複数の既知の座標点位置に変位させ、
前記レンジングテンプレートを対象物の位置を示す最大相関に位置するまで前記各位置で前記画像と相関させ、
さらに、
Ａ．当初の回転角から回転範囲を減じたものに等しい回転角度を設定し、
Ｂ．前記アブストラクトテンプレートから改訂されたアブストラクトテンプレートを取得し、
Ｃ．前記改訂されたアブストラクトテンプレートから改訂されたテンプレートを取得し、
Ｄ．前記改訂されたテンプレートを前記画像中の既知の複数の座標点位置のそれぞれに置換し、
Ｅ．前記既知の座標点位置のそれぞれに対応する最大相関を探索し、
Ｆ．ステップＥからの位置と対応する回転角度を保存し、
Ｇ．前記回転角度に前記回転範囲を加算することによって、新たな回転角度を計算する
ステップを含み、
隣接するエッジの間に十分に大きな角度差があることを条件として、前記対象物の概略のエッジの一つには少なくとも１つのベクトルが選択される、
ことを特徴とする方法。 - 請求項１１に記載の方法であって、前記レンジングテンプレートの各前記座標点に重みを割り当てるステップを含むことを特徴とする方法。
- 請求項１１に記載の方法であって、前記変位は前記ベクトルを有する前記対象物のエッジの最小サイズの半分以下であることを特徴とする方法。
- 請求項１１に記載の方法であって、
Ａ．前記変位を実質的に半分に削減し、
Ｂ．アブストラクトテンプレートを改訂されたレンジングテンプレートに転換し、
Ｃ．前記相関ステップに対応する位置で取り囲まれた複数の位置で最大相関を探索し、
Ｄ．前記変位が最小値に等しくなるまでステップＡからＣを継続する
ステップをさらに含むことを特徴とする方法。 - 請求項１１に記載の方法であって、
Ｈ．前記新たな回転角度が前記当初の回転角度に回転範囲を加算したものよりも大きくなるまでステップＢからＧを繰り返し、
Ｉ．最大相関を与えて前記回転角度を前記当初の回転角度に変えることによって前記位置と前記回転角度とをステップＦから選択し、
Ｋ．前記変位と前記回転範囲とをそれぞれ実質的に半分に削減し、
Ｌ．前記変位が最小の閾値となるまでステップＡからＫを繰り返す
ステップをさらに含むことを特徴とする方法。 - それぞれ既知の階調値と既知の座標点とを有する複数の画像画素で定義される画像の範囲内で対象物の位置を位置づける装置であって、
対象物の形状及び大きさに対応し、エッジにより定義された境界を有するマニュアルテンプレートを決定する手段と、
テンプレートのエッジ上の座標点に存在する座標点と前記座標点において前記座標点上のエッジを実質的に垂直に通過する対応するエッジ方向との組からなる多数のベクトルを使用してアブストラクトテンプレートを定義する手段と、
前記ベクトルの前記座標点から定義され、対応するエッジ方向に延伸する変位を決定する手段と、
前記アブストラクトテンプレートの各ベクトルについて、前記対応するエッジ方向に沿った前記ベクトルの座標点からそれぞれ同一の間隔で存在する前記変位の正の値に対応する正の座標点と前記変位の負の値に対応する負の座標点とからなり、レンジングテンプレートを定義付ける座標点の組を位置づける手段と、
前記レンジングテンプレートを対象物の位置を示す最大相関に位置するまで前記各位置で前記画像と相関させる手段と、
当初の回転角から回転範囲を減じたものに等しい回転角度を設定し、前記アブストラクトテンプレートから改訂されたアブストラクトテンプレートを取得し、前記改訂されたアブストラクトテンプレートから改訂されたテンプレートを取得し、前記改訂されたテンプレートを前記画像中の既知の複数の座標点位置のそれぞれに置換し、前記既知の座標点位置のそれぞれに対応する最大相関を探索し、探索した位置と対応する回転角度を保存し、前記回転角度に前記回転範囲を加算することによって、新たな回転角度を計算する手段と、
を備え、
前記アブストラクトテンプレートの隣接するエッジの間に十分に大きな角度差があることを条件として、前記対象物の概略のエッジの一つには少なくとも１つのベクトルが選択される、
ことを特徴とする装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/556,367 | 1995-11-13 | ||
| US08/556,367 US6023530A (en) | 1995-11-13 | 1995-11-13 | Vector correlation system for automatically locating patterns in an image |
| PCT/US1996/017590 WO1997018524A2 (en) | 1995-11-13 | 1996-11-05 | Vector correlation system for automatically locating patterns in an image |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007037104A Division JP4494427B2 (ja) | 1995-11-13 | 2007-02-16 | 画像中のパターンを自動的に位置付けるベクトル相関システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000500594A JP2000500594A (ja) | 2000-01-18 |
| JP3942193B2 true JP3942193B2 (ja) | 2007-07-11 |
Family
ID=24221057
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP51889697A Expired - Lifetime JP3942193B2 (ja) | 1995-11-13 | 1996-11-05 | 画像中のパターンを自動的に位置付けるベクトル相関システム |
| JP2007037104A Expired - Fee Related JP4494427B2 (ja) | 1995-11-13 | 2007-02-16 | 画像中のパターンを自動的に位置付けるベクトル相関システム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007037104A Expired - Fee Related JP4494427B2 (ja) | 1995-11-13 | 2007-02-16 | 画像中のパターンを自動的に位置付けるベクトル相関システム |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US6023530A (ja) |
| EP (1) | EP0864134B1 (ja) |
| JP (2) | JP3942193B2 (ja) |
| KR (1) | KR100367303B1 (ja) |
| DE (1) | DE69623642T2 (ja) |
| WO (1) | WO1997018524A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164816A (ja) * | 1995-11-13 | 2007-06-28 | Applied Intelligent Systems Inc | 画像中のパターンを自動的に位置付けるベクトル相関システム |
Families Citing this family (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE48056E1 (en) | 1991-12-23 | 2020-06-16 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| USRE47908E1 (en) | 1991-12-23 | 2020-03-17 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| USRE46310E1 (en) | 1991-12-23 | 2017-02-14 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
| US5903454A (en) | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
| US6850252B1 (en) | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
| JP3506200B2 (ja) * | 1997-02-05 | 2004-03-15 | シャープ株式会社 | 位置合わせ装置 |
| US6252986B1 (en) * | 1998-04-03 | 2001-06-26 | Cognex Corporation | Locating an image of an object having a concentric profile |
| JP3606430B2 (ja) * | 1998-04-14 | 2005-01-05 | 松下電器産業株式会社 | 画像整合性判定装置 |
| US6201527B1 (en) * | 1998-06-25 | 2001-03-13 | Textronix, Inc. | Technique for displaying enveloped waveform |
| US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| US7620527B1 (en) | 1999-05-10 | 2009-11-17 | Johan Leo Alfons Gielis | Method and apparatus for synthesizing and analyzing patterns utilizing novel “super-formula” operator |
| US6501857B1 (en) * | 1999-07-20 | 2002-12-31 | Craig Gotsman | Method and system for detecting and classifying objects in an image |
| US6546122B1 (en) * | 1999-07-29 | 2003-04-08 | Veridicom, Inc. | Method for combining fingerprint templates representing various sensed areas of a fingerprint to derive one fingerprint template representing the fingerprint |
| US6766058B1 (en) * | 1999-08-04 | 2004-07-20 | Electro Scientific Industries | Pattern recognition using multiple templates |
| US7796801B2 (en) * | 1999-08-26 | 2010-09-14 | Nanogeometry Research Inc. | Pattern inspection apparatus and method |
| US7817844B2 (en) * | 1999-08-26 | 2010-10-19 | Nanogeometry Research Inc. | Pattern inspection apparatus and method |
| US6868175B1 (en) * | 1999-08-26 | 2005-03-15 | Nanogeometry Research | Pattern inspection apparatus, pattern inspection method, and recording medium |
| JP2001092972A (ja) * | 1999-09-24 | 2001-04-06 | Mamoru Minami | 画像認識方法 |
| US7003403B1 (en) | 2000-06-15 | 2006-02-21 | The United States Of America As Represented By The Department Of Health And Human Services | Quantifying gene relatedness via nonlinear prediction of gene |
| US7058221B1 (en) * | 2000-07-07 | 2006-06-06 | Tani Electronics Industry Co., Ltd. | Method of recognizing object based on pattern matching and medium for recording computer program having same |
| US6683984B1 (en) * | 2000-07-31 | 2004-01-27 | Hewlett-Packard Development Company, L.P. | Digital imaging device with background training |
| US7203367B2 (en) | 2000-08-29 | 2007-04-10 | Imageid Ltd. | Indexing, storage and retrieval of digital images |
| US7062093B2 (en) * | 2000-09-27 | 2006-06-13 | Mvtech Software Gmbh | System and method for object recognition |
| EP1193642B1 (en) * | 2000-09-27 | 2005-03-30 | MVTec Software GmbH | System and method for object recognition |
| US7274372B1 (en) * | 2000-11-06 | 2007-09-25 | Intel Corporation | Real-time digital three dimensional engraving |
| US6766042B2 (en) | 2001-04-26 | 2004-07-20 | Memphis Eye & Contact Associates | System to automatically detect eye corneal striae |
| US6845178B1 (en) * | 2001-06-27 | 2005-01-18 | Electro Scientific Industries, Inc. | Automatic separation of subject pixels using segmentation based on multiple planes of measurement data |
| US6959112B1 (en) * | 2001-06-29 | 2005-10-25 | Cognex Technology And Investment Corporation | Method for finding a pattern which may fall partially outside an image |
| US7034963B2 (en) * | 2001-07-11 | 2006-04-25 | Applied Materials, Inc. | Method for adjusting edges of grayscale pixel-map images |
| US7420710B2 (en) * | 2001-07-11 | 2008-09-02 | Applied Materials, Inc. | Optical proximity correction in raster scan printing based on grayscale manipulation of the bitmap |
| US6801245B2 (en) * | 2002-01-18 | 2004-10-05 | Imageid Ltd. | Method for automatic identification and data capture |
| US7453472B2 (en) * | 2002-05-31 | 2008-11-18 | University Of Utah Research Foundation | System and method for visual annotation and knowledge representation |
| US7190834B2 (en) * | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
| US8081820B2 (en) | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
| GB2414616A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Comparing test image with a set of reference images |
| US7349567B2 (en) * | 2004-03-05 | 2008-03-25 | Electro Scientific Industries, Inc. | Method and apparatus for determining angular pose of an object |
| US7529421B2 (en) | 2004-07-01 | 2009-05-05 | Applied Materials, Inc. | Optical proximity correction in raster scan printing based on corner matching templates |
| US7407252B2 (en) * | 2004-07-01 | 2008-08-05 | Applied Materials, Inc. | Area based optical proximity correction in raster scan printing |
| US7423280B2 (en) | 2004-08-09 | 2008-09-09 | Quad/Tech, Inc. | Web inspection module including contact image sensors |
| US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
| JP4736121B2 (ja) * | 2005-11-21 | 2011-07-27 | 富士ゼロックス株式会社 | 画像解析装置、画像処理装置、画像解析方法、画像解析プログラム及びこれを記録した記録媒体 |
| US7715620B2 (en) * | 2006-01-27 | 2010-05-11 | Lockheed Martin Corporation | Color form dropout using dynamic geometric solid thresholding |
| US20070219810A1 (en) * | 2006-03-17 | 2007-09-20 | Moore Barrett H | Personal profile-based private civil security subscription method |
| EP1837806A1 (en) * | 2006-03-24 | 2007-09-26 | MVTec Software GmbH | System and methods for automatic parameter determination in machine vision |
| US7589310B2 (en) * | 2006-06-05 | 2009-09-15 | Blaise Laurent Mouttet | Image correlation sensor |
| JP4943304B2 (ja) * | 2006-12-05 | 2012-05-30 | 株式会社 Ｎｇｒ | パターン検査装置および方法 |
| US8019164B2 (en) * | 2007-01-29 | 2011-09-13 | Hitachi High-Technologies Corporation | Apparatus, method and program product for matching with a template |
| US7978906B2 (en) * | 2007-06-14 | 2011-07-12 | Microsoft Corporation | Capturing long-range correlations in patch models |
| US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
| US8150140B2 (en) * | 2008-12-22 | 2012-04-03 | Ngr Inc. | System and method for a semiconductor lithographic process control using statistical information in defect identification |
| JP5429869B2 (ja) * | 2008-12-22 | 2014-02-26 | 株式会社 Ｎｇｒ | パターン検査装置および方法 |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| US9076195B2 (en) * | 2013-08-29 | 2015-07-07 | The Boeing Company | Methods and apparatus to identify components from images of the components |
| US9569667B1 (en) * | 2015-05-04 | 2017-02-14 | Exelis Inc | Cloud resilient algorithm for coastline registration |
| JP6682832B2 (ja) * | 2015-12-03 | 2020-04-15 | 株式会社リコー | 光電変換素子、画像読取装置、画像形成装置及び画像読取方法 |
| EP3800547A4 (en) * | 2019-04-04 | 2022-03-23 | Cambricon Technologies Corporation Limited | DATA PROCESSING METHOD AND DEVICE AND RELEVANT PRODUCT |
| US11527329B2 (en) | 2020-07-28 | 2022-12-13 | Xifin, Inc. | Automatically determining a medical recommendation for a patient based on multiple medical images from multiple different medical imaging modalities |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5839357B2 (ja) * | 1976-01-26 | 1983-08-29 | 株式会社日立製作所 | パタ−ンの位置検出方法 |
| US4736437A (en) * | 1982-11-22 | 1988-04-05 | View Engineering, Inc. | High speed pattern recognizer |
| EP0153439B1 (en) * | 1983-06-03 | 1993-08-04 | Fondazione Pro Juventute Don Carlo Gnocchi | Modularly expansible system for real time processing of a TV display, useful in particular for the acquisition of coordinates of known shape objects and method using said system in radiography. |
| DE3505793A1 (de) * | 1984-02-21 | 1985-08-22 | Kabushiki Kaisha Komatsu Seisakusho, Tokio/Tokyo | Objektidentifikationsverfahren |
| US4648119A (en) * | 1985-03-18 | 1987-03-03 | Tektronix, Inc. | Method and apparatus for forming 3×3 pixel arrays and for performing programmable pattern contingent modifications of those arrays |
| US4864629A (en) * | 1985-12-31 | 1989-09-05 | Schlumberger Technologies, Inc. | Image correlation system |
| US5046109A (en) * | 1986-03-12 | 1991-09-03 | Nikon Corporation | Pattern inspection apparatus |
| US4969202A (en) * | 1988-03-31 | 1990-11-06 | Honeywell Inc. | Image recognition edge detection method and system |
| US5054095A (en) * | 1988-08-23 | 1991-10-01 | U.S. Philips Corp. | Method of recognizing a pattern in a field having a multi-valent amplitude, and device for performing such a method |
| US5173949A (en) * | 1988-08-29 | 1992-12-22 | Raytheon Company | Confirmed boundary pattern matching |
| JPH0762606B2 (ja) * | 1988-12-09 | 1995-07-05 | 松下電器産業株式会社 | パターン位置認識装置 |
| JPH02306386A (ja) * | 1989-05-20 | 1990-12-19 | Toshiba Corp | 文字認識装置 |
| JPH0528273A (ja) * | 1991-05-13 | 1993-02-05 | Nikon Corp | 画像処理方法および装置 |
| US5317652A (en) * | 1991-06-05 | 1994-05-31 | Phoenix Imaging | Rotation and position invariant optical character recognition |
| JPH05189571A (ja) * | 1992-01-13 | 1993-07-30 | Nikon Corp | パターンマッチング方法及び装置 |
| US5548665A (en) * | 1992-09-09 | 1996-08-20 | Matsushita Electric Industrial Co., Ltd. | Vector correlation detecting circuit |
| JPH06282652A (ja) * | 1993-03-29 | 1994-10-07 | Olympus Optical Co Ltd | 画像の輪郭抽出装置 |
| EP0650136B1 (en) * | 1993-10-22 | 2000-12-27 | Canon Kabushiki Kaisha | A comparison inequality function based method and apparatus for accelerated OCR correlation |
| US5600733A (en) * | 1993-11-01 | 1997-02-04 | Kulicke And Soffa Investments, Inc | Method for locating eye points on objects subject to size variations |
| JP2981382B2 (ja) * | 1993-11-25 | 1999-11-22 | 松下電工株式会社 | パターンマッチング方法 |
| US5500906A (en) * | 1994-01-14 | 1996-03-19 | Cognex Corporation | Locating curvilinear objects using feathered fiducials |
| US5754677A (en) * | 1994-10-25 | 1998-05-19 | Fuji Machine Mfg. Co., Ltd. | Image processing apparatus |
| US6023530A (en) * | 1995-11-13 | 2000-02-08 | Applied Intelligent Systems, Inc. | Vector correlation system for automatically locating patterns in an image |
-
1995
- 1995-11-13 US US08/556,367 patent/US6023530A/en not_active Expired - Lifetime
-
1996
- 1996-11-05 EP EP96938732A patent/EP0864134B1/en not_active Expired - Lifetime
- 1996-11-05 JP JP51889697A patent/JP3942193B2/ja not_active Expired - Lifetime
- 1996-11-05 DE DE69623642T patent/DE69623642T2/de not_active Expired - Lifetime
- 1996-11-05 KR KR10-1998-0703590A patent/KR100367303B1/ko not_active IP Right Cessation
- 1996-11-05 WO PCT/US1996/017590 patent/WO1997018524A2/en active IP Right Grant
-
2000
- 2000-01-04 US US09/477,542 patent/US6385340B1/en not_active Expired - Lifetime
-
2007
- 2007-02-16 JP JP2007037104A patent/JP4494427B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164816A (ja) * | 1995-11-13 | 2007-06-28 | Applied Intelligent Systems Inc | 画像中のパターンを自動的に位置付けるベクトル相関システム |
| JP4494427B2 (ja) * | 1995-11-13 | 2010-06-30 | アプライドインテリジェントシステムズ、インク | 画像中のパターンを自動的に位置付けるベクトル相関システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6023530A (en) | 2000-02-08 |
| US6385340B1 (en) | 2002-05-07 |
| JP2000500594A (ja) | 2000-01-18 |
| EP0864134A4 (en) | 1999-08-04 |
| JP4494427B2 (ja) | 2010-06-30 |
| EP0864134A2 (en) | 1998-09-16 |
| WO1997018524A2 (en) | 1997-05-22 |
| DE69623642D1 (de) | 2002-10-17 |
| WO1997018524A3 (en) | 1997-06-19 |
| JP2007164816A (ja) | 2007-06-28 |
| DE69623642T2 (de) | 2003-08-21 |
| KR19990067567A (ko) | 1999-08-25 |
| KR100367303B1 (ko) | 2003-04-11 |
| EP0864134B1 (en) | 2002-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3942193B2 (ja) | 画像中のパターンを自動的に位置付けるベクトル相関システム | |
| US5987172A (en) | Edge peak contour tracker | |
| US5577130A (en) | Method and apparatus for determining the distance between an image and an object | |
| EP1092206A1 (en) | Method of accurately locating the fractional position of a template match point | |
| US11132791B2 (en) | Devices, systems, and methods for anchor-point-enabled multi-scale subfield alignment | |
| JPH06274619A (ja) | 画像処理装置 | |
| US6879719B1 (en) | Method for measurement of full-two dimensional submicron shapes | |
| US5475810A (en) | Pie chart processing method and processor | |
| JP7118295B1 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
| JP4097255B2 (ja) | パターンマッチング装置、パターンマッチング方法およびプログラム | |
| CN104318580B (zh) | 一种模式搜索方法及装置 | |
| US6456741B1 (en) | Structure-guided image measurement method | |
| JPH076777B2 (ja) | パターンの輪郭検出方法及びこの方法を用いた測長装置 | |
| JP3527588B2 (ja) | テンプレートマッチング方法 | |
| JP2000182047A (ja) | テンプレ―トとデ―タの探索領域との一致部分を位置特定するための方法、ステップサイズを決定するための方法およびデバイス、ならびにデ―タの探索領域内のデ―タの第１のテンプレ―トの位置を推定するための装置 | |
| Xue | The image processing for the target centre detection in digital image | |
| US6792139B1 (en) | Determining the orientation of subject data in a two-dimensional data set | |
| JP2881530B2 (ja) | 画像処理方法 | |
| JPH10239054A (ja) | 視点・物点位置計測方法及び装置 | |
| CN116109993A (zh) | 一种无约束环境下变电站指针仪表读数识别方法 | |
| JPH07253310A (ja) | ステレオ画像処理装置 | |
| CN117315635A (zh) | 一种倾斜指针式仪表自动读数方法 | |
| CN113792721A (zh) | 基于one-shot机制的仪表检测方法 | |
| CN111209835A (zh) | 一种改进的surf移动机器人图像匹配方法 | |
| JPH08335270A (ja) | 動きベクトル推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040806 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040930 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20041021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070403 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |