JP3977398B2 - XYθステージによる位置アライメントシステム - Google Patents
XYθステージによる位置アライメントシステム Download PDFInfo
- Publication number
- JP3977398B2 JP3977398B2 JP2005378935A JP2005378935A JP3977398B2 JP 3977398 B2 JP3977398 B2 JP 3977398B2 JP 2005378935 A JP2005378935 A JP 2005378935A JP 2005378935 A JP2005378935 A JP 2005378935A JP 3977398 B2 JP3977398 B2 JP 3977398B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- pattern
- xyθ stage
- movement
- alignment system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 161
- 238000003860 storage Methods 0.000 claims description 22
- 230000005484 gravity Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 52
- 238000004364 calculation method Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Container, Conveyance, Adherence, Positioning, Of Wafer (AREA)
- Image Analysis (AREA)
Description
詳しくは、XYθステージによる位置アライメントシステムのキャリブレーションを行うための基本諸元となる基準マークの設定と、XYθステージの平行移動軸および回転移動の正方向と位置アライメントシステム内の計算制御システム内で予め決めてある平行移動軸および回転移動の正方向との調整(軸自由度調整)と、複数のカメラの各々がXYθステージの表裏どちら側にあるかを判定してその結果によりカメラ毎に上記計算制御システムとの間で行なう軸自由度の調整と、更には、上記基準マーク候補の自動探索に限らず、キャリブレーションおよび被撮像物のXYθステージへの順次供給に合わせた被撮像物の位置アライメント動作に対しても、カメラの視野内で基準マークを探索できなかった場合にカメラの視野を移動することによる基準マークの探索捕捉を、人手を介せず自動的に可能とする手段を具備した新規なアライメントシステムおよび当該の機能を実現する手段あるいは方法に関する。
また、少し進んだ方法として、任意に配置した2個以上のカメラの撮像画像上で作業者が登録可能マーク候補を目視により大略判別して画面上でそのマークをポインタで指し示す等の方法でXYθステージの位置アラインメントシステムに手動で指定した後に、画像処理技術を利用して基準マークとしての所定の条件に合致するか否かを検査して、合致する場合に基準マークとして登録する方法をとるようにした例はあるが、上記いずれの方法においても、作業者が基準マークを用意し、カメラの位置を目視により合わせるとかまたは基準マークを目視で大略ではあっても判別して指定するというようなことは煩わしく、また一定の熟練を要するという問題点があった。
また、更に進んだ方法として、人間が介在しないでマークの形状の特徴を調べて所定の条件に合致しているマークを基準マークとして自動的に登録を行っている例は、特開平11−307567に開示されている。この例における基準マークの抽出方法は、半導体チップ表面の所定の領域内の複数の小領域の画像についてこの小領域の画像の濃度ヒストグラムに含まれる双峰性ヒストグラムの分散値が所定の閾値よりも大きく、且つ当該小領域から所定距離離れた他の小領域との正規化相関度が所定の閾値よりも低い小領域を抽出し、当該小領域全体の画像パターンを基準マーク(テンプレート)とするものである。
位置アラインメントシステム製造者が、場合によっては感知しない状況で決められた自由度を自動判定し、上記内部の制御ソフトウエア上での方向と符号の調整を自動的に行なうことに関しては、現状その例を見ない。
この調整に関しても、現状は熟練者が行なっており、自動で行っている例を見ない。
この調整も、熟練と時間を要するものであり問題ではあったが、自動化はなされていない。
従って、従来、XYθステージによる位置アライメントシステムにおいては、基準マークの自動登録を行う手段、軸自由度の自動設定調整を行う手段、カメラの配置の自動判断・調整を行う手段、および基準マーク等の検索パターンの自動捕捉を行う手段を兼ね備えて、当該システムの立上げ時の段取り作業およびXYθステージ上の被撮像物の位置アライメント動作のための基準マークのカメラ視野内捕捉を完全に自動化する手段を具備したものは存在していなかった。
そのため、XYθステージによる位置アライメントシステムの稼動に当たっては、システムの立上げ時の諸元・諸条件の設定・調整、実稼動時に頻繁に起こるワーク(被撮像物)の切替に伴う基準パターンの変更に対応する諸条件の設定・調整等の段取り作業において、作業者の熟練を要し、間違いを生じやすく、また時間を要する状況であった。また、段取り作業時並びに終了後においても、XYθステージ上に供給されるワーク上の基準マークをカメラの視野に100%完全に捕捉するためのカメラの位置調整等を作業者の熟練した手作業によって行わなければならない状況であった。
具体的には、XYθステージの位置アラインメントシステムにおいて、XYθ方向の移動量とXYθステージに対向して配置されるカメラの撮像画像上の移動量との関係を計測し、カメラでXYθステージの動きを見ながらXYθステージに所望の移動を行なわせるためのXYθステージの移動方向と移動量に対するカメラの撮像画像上の移動方向と移動量の関係を見つけ出し諸条件を整えるキャリブレーションを行うに先立って、従来、予め人間によって登録・指定あるいは調整・設定を行なわなければならず問題であった背景技術に記載の3項目に関して、
人間が介在しないで、基準マーク候補を移動計測の基準マークとして自動的に登録を行う方法・手段(以降、基準マーク自動登録方法または基準マーク自動登録手段ともいう)と、
XYθステージの座標軸XYの相対的配置並びに座標軸XYおよび回転角θの方向と符号(これらをXYθステージの軸自由度という)に関して、XYθステージのメカニズムと最終駆動回路部の設計によって勝手に決まるXYθステージメカニズムの軸自由度に対して位置アラインメントシステムの内部で計算・制御のために決められているXYθステージの軸自由度が合致するように、XYθステージの現実の移動方向をカメラの撮像画像上で見ながら位置アラインメントシステムの内部の調整・設定を自動的に行なう方法・手段(以降、自由度自動調整方法または自由度自動調整手段ともいう)と、
カメラのXYθステージに対する配置位置がXYθステージの表裏どちら側にあるかを自動判定し、どちら側にカメラがあっても、複数のカメラ間で、その撮像画像上では、XYθステージのどのような移動に対しても同じ動きをしていると内部の計算・制御システムには見えるように、自動で位置アラインメントシステム内を調整する方法・手段(以降、カメラ配置自動判定方法またはカメラ配置自動判定手段ともいう)とを提供すること、
更に、XYθステージ上あるいはXYθステージ上の被撮像物上にある基準マークの候補として自動抽出されるべき条件を満たす図形パターンおよび自動登録された基準マーク(以降、これらを探索パターンともいう)をカメラの視野内に自動でもたらす方法・手段(以降、探索パターン自動捕捉方法または探索パターン自動捕捉手段ともいう)を提供することである。
尚、当然のことながら、以上の4つの方法全てを実施可能なXYθステージによる位置アライメントシステムでなくても、位置アライメントシステム設計に依存して上記4つの方法のいずれかの方法でその実施が必要でないものがあれば、その方法を実現する手段がなくても本発明の本質的な課題は達成されるわけで、換言すれば、本発明の本質的な課題である人手を介する必要がないXYθステージによる位置アライメントシステムを達成できるのであれば、上記の方法の内の必要な限られた方法を実現する手段を具備するXYθステージによる位置アライメントシステムを実現することも本発明の解決しようとする課題である。
カメラの撮像画像の中から基準マークの可能性のある図形パターンを選択し、選択された図形パターンとこれに所定の移動をさせた後の図形パターンの双方の一致度を見ることによって、被撮像物上から基準マークの条件を満たす図形パターンを自動的に見つけ出し、位置アライメントシステムの記憶部に登録する基準マーク自動登録手段と、
XYθステージのある想定された移動に対して、基準のカメラの撮像画像によって計測した移動方向を見ることによって、当該移動方向が位置アライメントシステムの内部の移動座標の計算を行う制御部ではある想定された移動の移動方向と認識され座標計算がされるように、基準のカメラに対応して制御部に設けられた調整手段により座標の方向に対する符号を自動的に調整する軸自由度自動調整手段と、
XYθステージのある想定された移動に対して、基準のカメラの撮像画像によって計測した移動方向(以降、基準移動方向ともいう)と基準以外のカメラ(以降、非基準カメラともいう)の撮像画像によって計測した移動方向(以降、非基準移動方向ともいう)を比較することによって、基準のカメラと非基準カメラがXYθステージに対して異なる側に配置されていたとしても、基準移動方向と非規準移動方向が位置アライメントシステムの内部の移動座標の計算を行う制御部では同一の移動方向と認識され座標計算がされるように、各非基準カメラに対応して制御部に設けられた調整手段により座標の方向に対する符号を自動的に調整するカメラ配置自動判定・調整手段と、
基準マーク自動登録段階において基準マークの条件を満たす図形パターンをワーク上で探索する際または位置アライメントシステムの記憶部に登録された基準マークをワーク上で探索する際に、該探索がカメラの現在の視野内で不可能な場合には、現在の視野に隣接する領域にへカメラの視野を自動的にずらして基準マークの条件を満たす図形パターンまたは登録された基準マーク(以降、これらを併せて、探索パターンともいう)を探すことを繰返し、探索パターンをカメラの視野内に捕捉する探索パターン自動捕捉手段と
の4つの手段を全て具備して、キャリブレーションに先立つ立上げ時の諸元の設定・調整を行う段取り作業を自動化するようにする。
または4つの手段の一部と残りの手段についての代替手段を具備して、キャリブレーションに先立つ立上げ時の諸元の設定・調整を行う段取り作業を自動化することもできる。代替手段については、上記4つの手段の内のどれかに対応する自動化手段に関して、他の技術による自動化手段、または、立ち上がり時の諸元の設定・調整をしなくても済むように最初から作り込んであり、位置アライメントシステムの組立て、立上げ時に特別に調整する必要がないように特別設計されているシステムを使用する場合のように、元々必要でなく省略されている手段が存在する。即ち、存在しない手段(ゼロ)を具備することもできる。
以上の構成のXYθステージによる位置アライメントシステムにすることによって、当該システムのセットアップ時、あるいは基準マークを基準にワークの位置合せを行うワークの位置アライメント動作において、作業者の手作業を不要とし、本発明の主目的であるXYθステージによる位置アライメントシステムの自動化が達成できる。上記各手段は当該自動化に対して共通の意義を持つ重要な技術である。
カメラによる撮像画像内の画像パターンの中から、所定のサイズ以下である単独の図形パターンか、複数個の単独の図形パターンの幾何学的配置による組合せ図形パターン(以降、これらのパターンを第1選定パターンともいう)を1個または1組以上選択し、該第1選定パターン(以降、元図形パターンともいう)の中から元図形パターンとこれに所定の移動をさせた後の図形パターン(以降、移動図形パターンともいう)とが幾何学的に合同と見做せる関係である図形パターン(以降、第2選定パターンともいう)を1個または1組以上選び出し、該第2選定パターンの中から幾何学的合同の度合いの順位が最も高かった単独の図形パターンか、または所定の方法で選択される複数個の単独の図形パターンの組合せ図形パターンを基準マークとして位置アライメントシステムの記憶部に登録する基準マーク自動登録方法をとることである。
軸自由度自動調整手段を、
XYθステージにXY座標の方向に関連するある想定された移動(以降、移動1ともいう)を行わせるための位置アライメントシステムの制御部における駆動(以降、駆動1ともいう)と回転方向に関連するある想定された移動(以降、移動2ともいう)を行わせるための位置アライメントシステムの制御部における駆動(以降、駆動2ともいう)に対して、XYθステージの移動を基準のカメラの撮像画像によって計測することによって、駆動1に対するXYθステージの移動の方向の変化の仕方が移動1の方向の変化の仕方と一致するか否か、および駆動2に対するXYθステージの移動の方向が移動2の方向と一致するか否かを判定し、
駆動1に対するXYθステージの移動の方向の変化の仕方が移動1と異なる場合は、以後、これが、制御部では同じと認識され座標計算がなされるように、基準のカメラに対応して制御部に設けられた座標軸の方向の符号を調整するX符号調整パラメータまたはY符号調整パラメータにより、XYθステージの移動座標計算に使用する座標軸の方向に対する符号を自動的に調整し、
且つ、駆動2に対するXYθステージの移動の方向が移動2の方向と異なる場合は、以後、これが、制御部では同じと認識され座標計算がなされるように、基準のカメラに対応して制御部に設けられた回転方向の符号を調整するθ符号調整パラメータによりXYθステージの移動座標計算に使用する回転の方向に対する符号を自動的に調整する手段とすることである。
軸自由度自動調整手段を、
位置アライメントシステムのアライメント制御部が、XYθステージの基準計測点がシフト基準位置にある状態において、XYθステージのX軸駆動装置を正方向に駆動したときの基準のカメラの撮像画像上の基準計測点の移動方向(以降、Xシフト方向ともいう)とXYθステージのY軸駆動装置を正方向に駆動したときのカメラの撮像画像上の基準計測点の移動方向(以降、Yシフト方向ともいう)の相対的関係が、位置アライメントシステム内部の計算・制御システムにおいて予め決められている関係である場合は、XYθステージの平行移動軸の自由度と位置アライメントシステム内部の平行移動軸の自由度が一致している(以降、平行移動軸自由度一致の関係にあるともいう)と判定してその状態を維持し、平行移動軸自由度一致関係にない場合には、位置アライメントシステムの内部の記憶部に設置された、X軸の正方向を調整するためのX符号調整パラメータを調整するか、またはY軸の正方向を調整するためのY符号調整パラメータを調整するかのいずれかによって平行移動軸自由度一致関係にあるように為し、
XYθステージの基準計測点がθ基準位置にある状態において、XYθステージを正方向へ所定量回転移動させたときの基準のカメラの撮像画像上の基準計測点の位置(以降、+θ位置ともいう)とXYθステージを負方向へ所定量回転移動させたときの撮像画像上の基準計測点の位置(以降、−θ位置ともいう)がそれぞれ、θ基準位置から発し+θ位置を通る直線とθ基準位置から発し−θ位置を通る直線とに挟まれる領域内の所定の方法で求められる位置(以降、所定位置ともいう)を通りθ基準位置に向かう方向を持つ直線(以降、基準線ともいう)に対し、該基準線の方向に見て、予め位置アライメントシステム内部で決められた側に存在するときはXYθステージの回転移動の自由度と位置アライメントシステム内部の回転移動の自由度が一致している(以降、回転移動自由度一致の関係にあるともいう)と判定してその状態を維持し、予め位置アライメントシステム内部で決められた側とは反対の側に存在するときは、回転移動の正方向を調整するためのθ符号調整パラメータを調整して、回転移動自由度一致の関係にあるように為す手段とすることである。
カメラ配置自動判定・調整手段を、
XYθステージのXY座標の方向に関連するある移動(以降、移動3ともいう)かまたは回転方向に関連するある想定された移動(以降、移動4ともいう)に対して、基準のカメラの撮像画像によって計測した移動(以降、基準移動ともいう)と基準以外のカメラ(以降、非基準カメラともいう)の撮像画像によって計測した移動(以降、非基準移動ともいう)を比較することによって、移動3に対応する基準移動の方向の変化の仕方が移動3に対応する非基準移動の方向の変化の仕方と異なっているかまたは移動4に対応する基準移動の方向と移動4に対応する非基準移動の方向が異なっている場合、以後、制御部では、移動3に対応する基準移動の方向の変化の仕方と移動3に対応する非規準移動の方向の変化の仕方が同じと認識され(即ち、非基準のカメラが基準カメラとXYθステージに対して異なる側に配置されていたとしても同じ側に配置されていると認識し)座標計算がされるように、各非基準カメラに対応して制御部に設けられたX符号調整パラメータまたはY符号調整パラメータにより制御部において移動座標計算に使用する座標軸の方向に対する符号を自動的に調整する手段とすることである。
複数のカメラが前記XYθステージに対して異なる側から対向して配置されている場合に、位置アライメントシステムの内部に個々のカメラに対応して各々のカメラの撮像画像上の平行移動軸自由度および回転移動自由度を調整することを可能にする符号調整パラメータセットを具備し、カメラ毎に、上記軸自由度自動調整手段の実現方法のところで記載した軸移動方向符号自動調整方法の中の平行移動軸自由度一致関係となるようにする方法または回転移動自由度一致の関係となるようにする方法のいずれかによって、XYθステージの平行移動軸および回転移動の自由度と位置アライメントシステムの平行移動軸および回転移動の自由度が一致しているか否かの判定を行い、これら自由度が一致していない場合は一致するように符号調整パラメータセットの調整を行ない、全てのカメラの撮像画像に対して位置アライメントシステムの自由度とXYθステージの自由度を一致させる手段とすることもできる。
XYθステージのXY座標の方向に関連するある想定された移動(以降、移動3ともいう)かまたは回転方向に関連するある想定された移動(以降、移動4ともいう)に対して、基準のカメラの撮像画像によって計測した移動(以降、基準移動ともいう)と基準以外のカメラ(以降、非基準カメラともいう)の撮像画像によって計測した移動(以降、非基準移動ともいう)を比較することによって、移動3に対応する基準移動の方向の変化の仕方が移動3に対応する非基準移動の方向の変化の仕方と異なっているかまたは移動4に対応する基準移動の方向と移動4に対応する非基準移動の方向が異なっている場合、以後、制御部では、移動3に対応する基準移動の方向の変化の仕方と移動3に対応する非規準移動の方向の変化の仕方が同じと認識され座標計算がされるように、非基準のカメラがXYθステージに対して基準のカメラと同一の側に配置されているか異なる側に配置されているかの設定調整をするためカメラ毎に対応して位置アライメントシステム内の制御部に設けられたカメラ調整パラメータを調整し、以後、基準のカメラに実質対応しアライメント制御部に設けられた符号調整パラメータと当該カメラ調整パラメータを使って移動の方向を判定できるようにし、カメラ毎に異なる方向に動くように観測されてもXYθステージは同一の方向に動いているものと位置アライメントシステムの内部のアライメント制御部が認識できるようにする手段とすることもできる。
位置アライメントシステムのアライメント制御部が、カメラの撮像画像を使って基準マークの条件を満たす図形パターンまたは位置アライメントシステムに登録された基準マーク(以降、これらを併せて探索パターンともいう)の探索を行なう際に、現在のカメラの視野の中に探索パターンが発見できず該探索がカメラの現在の視野内で不可能な場合には、所定の方法で自動的に現在の視野外へカメラの視野をずらして探索パターンを探すことを繰返し、探索パターンをカメラの視野内に捕捉する探索パターン自動捕捉方法をとることである。
また、当然のことながら、実施例では説明していないが、上記の方向と符号を含めた座標軸の相対的配置(軸自由度)の判定が可能な所定の移動として、上記のような二つの移動の組合せには限らず、所定の曲がりを持つ曲線状の移動でも可能である。
このように任意のパターンの移動が所定の移動として考えられ、その場合には「計測した移動方向」とは、所定の移動の方向をベクトルで表現するならば、移動の方向ベクトルの変化の仕方(変化のパターン)ということができる。
10は、図2(a)にアクチュエータ3個(12a、12bおよび12c)のXYθステージ10の一例を平面図で示すように、通常3個以上のアクチュエータによりXYθ方向に移動可能なXYθステージであり、その上に、例えば検査の対象となるカメラによる被撮像物20が搭載され、XYθステージの移動と共に同一の移動をする。30は被撮像物20に対向して配置される第1のカメラ31と第2のカメラ32からなるカメラセットであり、図2(b)に図2(a)の側面図として示すように被撮像物20の上面に対向するように配置されるか、カメラ32だけが被撮像物20の下面に対向する(破線で示す)ように配置されている。101は第1のカメラ31の視野であり、102は第2のカメラ32の視野である。被撮像物20下面に対向するカメラ32で当該下面が撮像できるように、XYθステージ10のテーブル部11の内部に4面の断面壁11aに囲まれた開口部が作られている。
一方、アラインメントシステムのアラインメント制御部40は、位置アライメントシステムの立上げ時の自動セットアップおよび自動キャリブレーション機能として、基準マーク自動登録方法を実現する基準マーク自動登録機能41を実現する手段、自由度自動調整方法を実現する軸移動方向符号自動調整機能42を実現する手段、カメラ配置自動判定方法を実現するカメラ配置自動判定機能43を実現する手段、基準マーク自動捕捉方法を実現する基準マーク自動捕捉機能44を実現する手段、自動キャリブレーション機能45および自動アラインメント機能46を具備し、これらの機能を実現するための手段として、コンピュータ、記憶部、カメラに対する入出力制御のためのインターフェース手段、XYθステージの駆動のための駆動制御並びにインターフェース手段等を具備する。
本発明の課題を達成するために、カメラセット30で撮像された画像は、計測画像としてアラインメント制御部40に送られ、そこで上記機能実現のためおよび必要な自動キャリブレーションのための処理に使われる。その際、必要に応じて自動アラインメント機能45によりXYθ移動指示がXYθステージのモータドライバである最終駆動回路部47に送られ、XYθステージ10が新しい位置・姿勢になるように制御される。
以下、本発明の課題を解決するための機能(機能を実現する手段と解釈してもよい)であるところの基準マーク自動登録機能41、軸移動方向符号自動調整機能42、カメラ配置自動判定機能(カメラ配置自動判定・調整機能)43、基準マーク自動捕捉機能(以降、探索パターン自動捕捉手段ともいう)44の実現方法について、各々の機能の実現方法に関する実施例と共に説明する。
本発明の課題を解決する手段は、適用業務を限定せず、XYθステージの位置アラインメントシステムのキャリブレーションおよび位置アライメントに広く使われるものであるが、以下、説明の都合上、被撮像物20は、回路基板で、この回路基板が量産ライン上を次々に流れてきて、回路基板上の必要箇所に部品を自動搭載するためにXYθステージ10に載せられ、必要な位置決め(アラインメント)がなされ、回路部品がロボットにより自動組付けされるという業務に対して、この一連の業務動作に先立つ関連装置のセットアップ時に行なうXYθステージ10のアラインメントシステムのキャリブレーションの手順に関連付けて実施例の説明を行なう。
上記の部品自動組付け業務においては、XYθステージ10上へ次々と自動搭載される回路基板とカメラ31およびカメラ32の関係が常に所定の状態で決まった関係となるように、回路基板がXYθステージ10上へ自動搭載される度に第1のカメラ31及び第2のカメラ32の画像を見ながらXYθステージ10のXY方向の位置及びθ方向回転角度を調整して、以降の部品自動組付けのための位置決め(アラインメント)動作のための初期位置・姿勢を決定しなければならないが、そのときカメラ31およびカメラ32と回路基板の位置関係を計測するための基準マークを、予め第1のカメラ31の視野101および第2のカメラ32の視野102の中でそれぞれ最低1個(最低、計2個)を計測してコンピュータの記憶部に記憶させて登録しておかなければならない。又当然この登録された基準マークは、XYθステージによる位置アライメントシステムの立上げ時の諸条件の設定、キャリブレーションおよび、例えば製造ラインで順番に、このXYθステージに搭載されるワークのアライメントにも使用される。
(ステップS301)
撮像画像に対する前処理を行なうステップである。ここでは、ステップS302以降の処理のための前処理で、例えば、2値化しやすくするために濃度のレンジ変換フィルタにより濃度のダイナミックレンジを広くする変換処理を行なう。以降のフローの流れの説明において、この前処理が終了した画像を原画像とする。
(ステップS302)
原画像の2値化のために、判別分析法によって自動2値化閾値決定を行う。
(ステップS303)
ステップS302で設定した2値化閾値を使用して原画像を2値化し、2値化画像上の図形パターンの塊のうち所定の条件に合うもの(第1選定パターン)だけに限って2値化画像内における位置情報を記録する。
また、ここで2値化後に2値画像に対して孤立点除去フィルタ処理を行い、ノイズの除去を行なう。
上記所定の条件としては、最も使いやすい条件として図形パターンの塊のサイズ(基準マークサイズ)が所定の範囲にあることが挙げられ、所定の範囲は、画像の全エリアの1/4(縦横半分ずつ)を上限とし、下限はあまりに小さくても自動抽出の安定性の問題から相応しくないので1/100(縦横1/10ずつ)とすることが好ましい。また図形パターンの塊(基準マーク)の縦横比も1対1に近いような塊を選ぶことも効果があり、現実に実施している。
(ステップS304)
記録された位置情報各々に対応して、当該位置情報に対応する位置にある図形パターンの塊を囲む原画像の領域を切り出したグレイ画像を得て、これらグレイ画像毎に唯一含まれる図形パターンの塊を既に記録されている位置情報と関連させて仮登録パターン(第1選定パターンともいう)として記録する。
(ステップS305)
仮登録パターンを含むグレイ画像のひとつを選択し、当該仮登録パターンを所定角度回転させたパターン(以降、回転パターンともいう)が仮登録パターンに相互の角度を維持した状態で一致する(幾何学的合同である)かどうかのチェックを正規化相関による画像探索により行なって、所定のレベル以上のスコアが得られたときの仮登録パターンとスコアが最大スコアを含めて記録され、最大スコアが所定のレベル未満の場合は当該仮登録パターンと付帯する位置情報が削除される過程を全ての所定回転角度に対して実施する。
このとき、所定回転角度によって仮登録(記録)されるパターンの形状が異なってくる。例えば、表1に示すごとくである。
(ステップS306)
記録された仮登録パターンの最大スコアと既に記録されている仮登録パターンの最大スコアを比較し、上位の2者の仮登録を残す。前者の最大スコアが後者の最上位以上の場合は当該仮登録パターンとその位置情報と最大スコアを記録し且つ後者の第2位以下の仮登録を削除する。前者の最大スコアが後者の第2位未満のときは前者の仮登録を削除する。
(ステップS307)
ステップS305からS306までの一連の処理過程が全ての仮登録パターンに対して行なわれたかどうかを判断し、Noの場合はステップS305へ移行し、Yesの場合はステップS308へ移行する。
(ステップS308)
以上の処理過程で、基準マークになりうる仮登録パターンが存在したかどうか、ステップS306におけるスコアの記録の有無によりチェックし、No(記録なし)の場合はステップS309に移行し、Yes(記録あり)の場合はステップS311へ移行する。
(ステップS309)
2値化閾値が変更可能か否かをチェックし、変更可能ならばステップS310へ移行し、変更不可能であれば異常警告を出して終了する。
変更可能か否かの判断方法の例としては、2値化閾値を初期の値から機械的にある濃度幅ごとに変更しながら2値化処理を行なってみて、クリアな2値画像が得られれば変更可能と判断する方法、あるいは一般に判別分析法によって判断する方法等がある。
(ステップS310)
2値化閾値を変更し、ステップS303へ移行する。
(ステップS311)
記録されている基準マーク候補の仮登録パターン(第2選定パターン)と位置とスコアのリストから最も好ましい仮登録パターンを基準マークとして選択し登録し、終了する。
(ステップS401)ステップS308までの過程で記録された、基準マークとなり得ると判断された仮登録パターンの最大スコアの中で、飛び抜けて最大レベルにあるスコアがあるか調べる。YesのときはステップS402へ移行し、NoのときはステップS404へ移行する。
(ステップS402)最大レベルにあるスコアは単数かどうか調べる。単数のときはステップS403へ移行し、複数のときはステップS404へ移行する。
(ステップS403)当該の仮登録パターンを基準マークとして登録して出口へ移動する。
(ステップS404)当該の仮登録パターン2個の組合せを基準マークとし、出口へ移動する。
また、ステップS305およびステップS306で、ひとつの登録パターンに対して最大スコアの上位複数者を仮登録し、仮登録に漏れたものは記録を削除するようにしてきたが、その他の方法として、最後の仮登録パターンの最大スコアが出るまで記録を削除しないで溜め込んでおいて、最後に最大スコアの上位複数者を選び出してもよい。
予め与えておく条件としては、以下に示すような条件が存在する。
(1)所定の相関度スコアの仮登録パターンが見つかったときには、そのときの画面内に当該の仮登録パターンと同一の形状で同一のサイズの仮登録パターンがないか探索して、ないと判断されること。
(2)予め基準マークとする目的でワーク(被撮像物)上に用意されている特別な形状の図形パターンが、仮登録パターンとなったこと。当然、特別な形状の図形パターンがワーク(被撮像物)上に用意されているような場合には、ステップS305でそのパターンだけを抽出するための特有の所定の移動だけを行い、その移動の前後の画像間の正規化相関をとりそのスコアを評価することにより最速で当該基準マークを見つけ出してその位置情報と共に登録することになろう。
例えば、予めXYθステージ10に対し配置位置が固定された状態で、実施例1の方法により1台のカメラに対して1個の基準マークが自動登録され、位置アライメントシステムのキャリブレーションがなされ、その後にXYθステージのテーブル部11に量産物である形状の一定した被撮像物20(ワーク)が次々と供給されて、その被撮像物が位置アライメントシステムによって所定の位置・回転姿勢でアライメントがなされる場合を想定する。
被撮像物20がテーブル部11上に供給されたときのカメラ31およびカメラ32の撮像画像上で見た基準マークの位置は供給精度の範囲内でばらつくため、たまたま基準マークの自動登録過程でカメラの視野(撮像画像)の境界近辺にある図形パターンが登録された場合には、カメラの視野(撮像画像)内に基準マークが存在しないケースが頻発する可能性がある。この現象を避けるため、被撮像物20のテーブル部11への供給の想定される位置ずれの最大値に相当する距離範囲だけ視野(撮像画像)の境界から内側に狭めた画像範囲に対して基準マークの自動抽出を適用することが、上記問題点の回避の観点および処理時間の短縮の観点からから望ましい。
XYθステージ10の座標軸XYの相対的配置並びに座標軸XYおよび回転角θの方向と符号(XYθステージ10の軸自由度)に関して、XYθステージ10のメカニズムと最終駆動回路部の設計によって勝手に(使用者のあずかり知らぬところで)決められる軸自由度に対して位置アラインメントシステムの内部で決められているXYθステージ10の軸自由度が合致するように、XYθステージ10の現実の移動方向とカメラの撮像画像上での移動方向を見ながら位置アラインメントシステムの内部の制御ソフトウエア上での方向と符号の調整を自動的に行なう(具体的には、基準のカメラに対応する記憶部内部の符合調整パラメータの設定内容を自動的に決定する)ものであり、以下、この方法を図と共に詳細に説明する。
角度αは座標軸Xの正符号範囲に対して座標軸Yの正符号範囲を見た原点O周りの角度で時計回りを正方向とした角度であり、図6のXY座標系はα=90度の直角座標系で、軸自由度はX軸の正方向を右向き、Yの正方向を下向き、回転角θの正方向を、角度αの定義と同じように、X軸の正符号の範囲(以降、+Xと表記する)からY軸の正符号の範囲(以降、+Yと表記する)へ矢印を描いたとき矢印の向きが原点Oの周りで見ると時計回りになる方向としたものである。
図6の例は、より正確に表現すると、上記説明および図6を異なるいろいろな方向から見ることで明らかなごとく、+Xがどちらを向いていようと+Y軸が0<α<+180度を満足する範囲に存在するような関係にある斜交座標系を含む一般的なXY座標系におけるα=90度(直角座標系)の例である。
また、カメラ向きも図6の紙面を見下ろす方向(下向き)に決めておくこととする。
この軸自由度は、カメラの撮像画像と1対1の関連を持つ位置アラインメントシステム内の画像メモリ上の軸自由度と同じにしてある。
以下、上記条件を前提として、自由度の自動調整の方法について説明する。
(1)いま、図7(a)のように、シフト基準にある円形の基準マークを、XYθステージ10を位置アライメントシステムでX軸正方向を想定して動かしたときに、位置アライメントシステムがカメラで撮像した撮像画像上で計測した基準マークの移動方向がXシフトの方向であったとする。つぎに、XYθステージを元に戻し、基準マークを、XYθステージ10を位置アライメントシステムでY軸正方向を想定して動かしたときに、位置アライメントシステムがカメラで撮像した撮像画像上で計測した基準マークの移動方向がYシフトの方向であったとすると、Xシフト方向からYシフト方向に時計回りを正として撮像画像上で計測したシフト基準周りの角度α1はこの場合+90度であったことで、XYθステージ10のXY座標の正方向は、位置アライメントシステムの中で予め決められていた座標軸XおよびYの正方向と一致していた、即ち両方で軸自由度は一致関係にあったと認識できる。従って、位置アラインメントシステムの内部に持つX軸およびY軸の自由度を調整するため記憶部に設けられた基準のカメラに対応するX符号調整パラメータおよびY符号調整パラメータの内容はそのまま維持すればよい。
(2)一方、図7(b)のように、上記と同様の方法でXYθステージ10を動かしたとき、X軸方向は図7(a)と同じように動いたが、Y軸方向は図7(a)の方向とは反対に動いたとすると、角度α1は−90度であり、XYθステージ10のXY座標の正方向は、位置アライメントシステムの中で予め決められていた座標軸XおよびYの正方向と異なっていた、見方を変えれば、X(+)からY(+)を見た角度α1が反対方向であることでX座標軸とY座標軸の相対的配置が異なる、即ち両方で軸自由度が一致関係になかったと認識しなければならない。従って、この場合は、基準のカメラに対応して位置アラインメントシステムの内部の記憶部に設けられたY軸の自由度を調整するための符号調整パラメータであるY符号調整パラメータの内容を変更することによって位置アライメントシステムの移動量計算の符号を変更して、位置アライメントシステムの座標系を実質XYθステージ10の座標系に合致させる必要がある。換言すれば、XYθステージ10を座標軸Y(+)の方向を想定して動かしたつもりが撮像画像上でY(−)の方向に動いたことにより、位置アライメントシステムの制御部がXYθステージがY(−)方向に動いたと誤って判断して、以後の移動座標計算におけるY軸の移動方向の符号を間違わないように、それがY(+)方向であると認識させるためのY符号調整パラメータの内容の変更を行うものである。
(3)また、図7(c)に示すように、図7(b)の場合と同じ方法でXYθステージ10を動かしたとき、Y軸方向は図7(a)と同じように動いたが、X軸方向は図7(a)の方向とは反対に動いたとすると、この場合もXYθステージ10と位置アライメントシステム双方の間に軸自由度の不一致があったと認識できる。従って、この場合は、基準のカメラに対応して位置アラインメントシステムの内部の記憶部に設けられたX軸の自由度を調整するための符号調整パラメータであるX符号調整パラメータの内容を変更することによって位置アライメントシステム移動量計算の符号を変更して、位置アライメントシステムの座標系を実質XYθステージ10の座標系に合致させる必要がある。即ち、双方の軸自由度を合致させる必要がある。
(4)これは、別な見方をすると、図7(a)の場合に対してXシフト方向に対してだけ位置アライメントシステムの動きが逆になっていると考えてもよいし、また、図7(b)をシフト基準中心に180度回転させた状態に過ぎないとも考えられる。
換言すれば、図7(b)と図7(c)はX座標軸とY座標軸の相対的配置が同じであるということで軸自由度は同じとなる。
即ち、角度α1が−90度の場合には、位置アラインメントシステムの内部に持つ軸の自由度を調整するための記憶部の内容の変更の仕方には、記憶部のX軸の自由度を調整するためのX符号調整パラメータの内容を変える方法とY軸の自由度を調整するためのY符号調整パラメータの内容を変える方法との2通りの方法があり、どちらでも選択可能であることを意味する。
上記の説明に対して誤解を防止するために記載するが、上記Xシフトの方向およびYシフトの方向は、必ずしもカメラの撮像画像上の座標のX方向およびY方向に一致するとは限らない。一致するのは、カメラの座標軸の方向とXYθステージの座標軸の方向が一致する場合だけである。当然のことながら、上記の自由度の自動調整の方法は、XYθステージの座標軸とカメラ(撮像画像)の座標軸との方向関係がどのような状態でも構わない。
尚、上記の説明は角度α1が+90度と−90度の場合であるが、XY座標系が座標軸の斜交角度αが任意のものに対しては、厳密に言えば、上記(4)に記載の2通りの方法がとれないだけで、(1)、(2)、(3)の方法だけ適用することにより軸自由度調整が可能となる。
また、上記のように角度α1を基本的に計測する方法ではなく、α1に対してある角度範囲内(例えば、プラスマイナス30度の範囲内というように)を許すという条件をつければその角度の半分が90度に対してプラスマイナスされる斜交角度まで上記全ての方法が適用できる。
図8(a)および(b)は、XYθステージ10の回転角θ(回転方向)の符号調整方法について説明するための図である。
いま、XYθステージ10上の基準マークが、位置アライメントシステムの撮像画像上では図8(a)および(b)の基準θとしてこの位置にあるものとする。(撮像画像を記憶しておく画像メモリ上では、当然この位置と1対1で決まる記憶領域に基準マークが記録されている。)この状態でXYθステージ10をθが正方向(時計方向)となるように任意の角度β1だけ回転させたとき、撮像画像上の基準マークは基準θの位置から+θの位置に移動したとする。また、基準マークの位置を元に戻して、XYθステージ10をθが負方向(半時計方向)となるように任意の角度β2だけ回転させたとき、撮像画像上の基準マークは基準θの位置から−θの位置に移動したとする。基準θと+θと−θを通る円を想定し、その円の中心を「円の中心」と呼び、基準θと円の中心を通る直線上にあり円の中心から基準θに向かう方向のベクトルを基準ベクトルと呼ぶこととし、また−θと+θを通る直線上にあり−θの位置から+θの位置に向かう方向のベクトルを判定ベクトルと呼ぶこととする。
XYθステージ10の回転角θ(回転方向)の符号調整方法は、以下のごとくである。
判定ベクトルと基準ベクトル各々の方向を示す任意の基準からの角度を回転角θと同じ時計方向を正方向とすると、判定ベクトルの角度から基準ベクトルの角度を差し引いた角度γが正の場合(図8(a)の場合)には、現実のXYθステージ10の回転角θの方向と撮像画像上(あるいは、位置アライメントシステム内)のXYθステージ10の回転角θの方向、即ち、両者の自由度は合致しているとして、位置アライメントシステム内の記憶部のXYθステージ10の回転移動方向の符号を調整するためのθ符号調整パラメータの内容はそのままを維持する。
また、判定ベクトルの角度から基準ベクトルの角度を差し引いた角度γが負の場合(図8(b)の場合)には、現実のXYθステージ10の回転角θの方向と撮像画像上(あるいは、位置アライメントシステム内)のXYθステージ10の回転角θとの自由度は異なっているとして、その違いを調整するために位置アライメントシステム内の記憶部に設けられたθ符号調整パラメータの内容を変更し、基準θの動きが図8(a)の動きと同じ方向と位置アライメントシステムが見做すようにする。
一方、別な軸自由度の合わせ方も存在する。その方法は、上記のように各符号調整パラメータの値をアクチュエータの駆動方向を決める論理にリンクさせるのではなく、リンクさせないで、座標計算の論理にのみリンクさせる方法である。これは、XYθステージ10の動きは、もし基準マークを正方向に移動させることを想定してアクチュエータを駆動したとき撮像画像上で負方向に移動したとしても、その負方向を正方向と見做してそのまま認め、符合調整パラメータの値だけを上記の方法により変更し座標計算を行うものである。この方法は、ある意味で使い方に対する自由度を広げるものであり上記の方法の上位概念となる。
いずれの軸自由度の合わせ方においても、当然のことながら、座標計算の仕組みは統一されているわけで、位置アライメントシステムの動作としては問題がない。
図10(a)、(b)および(c)は、カメラ配置位置自動判定機能43の実現方法を説明するための図である。
図10(a)は、XYθステージ上の基準マークをシフト基準の位置からX軸の正方向にXシフト位置まで移動させたとき、および当該基準マークをシフト基準の位置から正方向にYシフト位置まで動かしたときの、実施例2における基準のカメラ(仮に、XYθステージ10の表側に配置されているカメラとする)の撮像画像上で観測されたXシフトとYシフトのシフト基準に対する位置を示す図である。
いま、上記と同じ(実施例2におけるように、予め基準として決めた座標軸XおよびYの正方向への)移動をさせたときの基準マークの動きを上記基準のカメラ以外のカメラ(仮に、非基準カメラという)で観測したときの動きが図10(a)と同じ場合は、基準のカメラの撮像画像上で観測された座標軸XおよびYの正方向に対して非基準カメラの撮像画像上で観測した当該座標軸の正方向が一致したことを意味する。当然回転角θの正方向は時計方向である。
これに対して、同じ移動に対する基準マークの動きをXYθステージ10の裏側に設置した非基準カメラの撮像画像上で観測した例を示すものが、図10(b)あるいは図10(c)である。
図10(b)の場合は、X軸の正方向移動に対する基準マークの撮像画像上での移動方向は左向きになっており、X軸の自由度が当初決めたものと違っているように見える。回転角θについても然りである。これは、位置アライメントシステム内部の計算システムが正の方向に動いているものを負の方向に動いているものと見做してしまうことを意味し、XYθステージ10の裏側にある非基準カメラで撮像した画像を使ってXYθステージ10を駆動しようとするとX方向とθ方向が反対の動きをして表側にある基準のカメラによる撮像画像を利用してXYθステージ10を駆動した場合のX方向とθ方向が違うことになり、位置アライメントシステムの制御および計算ができなくなる。この問題を解消するために、図10(a)の状態を基準として決めたならば、図10(b)のような場合には、裏側にある非基準カメラに対応して位置アライメントシステム内の記憶部に設けられたX軸方向の符号調整パラメータであるX符号調整パラメータの内容を変更して(変更方法のイメージは、ソフト的なX符号調整スイッチを「+1」から[−1]に切り替えるようなものである)、位置アライメントシステムの移動座標計算を行う制御部に図10(b)の方向を正方向と見做してもらえるようにする。当然X符号調整パラメータの変更によって、それ以後の回転角度θは正方向であるように制御部では観測できることになる。
また、図10(c)のような場合は、非基準カメラに対応して位置アライメントシステム内の記憶部に設けられたY軸方向の符号調整パラメータであるY符号調整パラメータの内容を変更するが、実施例2で図7(c)に関連して述べた理由により、Y符号調整パラメータの内容を変更するのではなく、X符号調整パラメータの内容を変更してもよい。
当然のことながら、図10(a)、図10(b)、図10(c)のいずれの場合においても、座標軸の関係が、カメラの設置角度の関係から、シフト基準Oを中心として適当な角度だけ回転した状態で観測されても本質は不変である。このことは、図7(a)、図7(b)、図7(c)のいずれの場合においても言える。この理由はまた、実施例2において図7(c)に関連して述べたことと同様であり、現に図10(c)は図10(b)を180度回転した状態と等しい。
それは、位置アライメントシステムの記憶部に、X符号調整パラメータ、Y符号調整パラメータおよびθ符号調整パラメータからなる符号調整パラメータセットを1セットのみ具備することにして、各カメラが基準のカメラとXYθステージ10のテーブル部11に対して同一の側にあるか反対の側にあるかの設定調整をするカメラ配置調整パラメータをカメラ毎に具備し、軸移動方向符号自動調整(軸自由度自動調整)については基準のカメラと符号調整パラメータセットで行い、カメラ配置自動判定については、以後の観測結果に基づく移動座標計算・制御にはその符号調整パラメータを使うことを前提に、ひとつの非基準のカメラで観測されたXYθステージ10の移動座標方向が基準のカメラで観測される移動座標方向と異なる場合に、当該非基準のカメラがXYθステージ10のテーブル部11に対して基準のカメラとは反対側に設置されていると位置アライメントシステムの制御部が判断し、当該非規準カメラに対応するカメラ配置調整パラメータを調整することを、全ての非基準カメラに対して実施して、当該カメラ配置調整パラメータの内容を当該符号調整パラメータにリンクさせてカメラ毎に等価的に異なる符号調整パラメータをもつように効果させることによって、制御部が以降、当該異なる移動座標方向を観測してもこれを基準のカメラで観測される移動座標方向であると自動的に判断できるようにし正しい移動座標計算ができるようにする方法である。
カメラ配置調整パラメータを、各非基準カメラが基準のカメラとXYθステージ10のテーブル部11に対して同一の側にあるか反対の側にあるかの設定調整をするパラメータと説明したが、基準のカメラが常に一方の側(例えば、表側)に配置されるとすれば、カメラ配置調整パラメータは、全ての各々のカメラがXYθステージ10のテーブル部11に対して一方の側にあるか他方の側にあるのかの観測結果に基づいて、他方の側にあると観測された側の観測結果を一方の側のカメラで観測された結果に置き換える役割をするものと位置づけることができ、当然、基準のカメラに対応するカメラ配置調整パラメータは、「不変」の意味を持たせる内容(例えば、変える必要のあるカメラ配置調整パラメータの内容を[−1]とするならば、[+1])とすることとなる。
また、更に他の方法も考えられる。例えば、複数台カメラが使用される場合には、これらがXYθステージ10のテーブル部11に対向して上面側と下面側に分配されて配置されるとすれば、符号調整パラメータセットは上面側カメラ用と下面側カメラ用の2セットを持たせ、各カメラが上面側についているか下面側についているかを、上記基準のカメラの配置と基準のカメラで観測される移動座標方向と非基準カメラで観測される移動座標方向とを比較することによって判断すればよい。
また、全てのカメラが一方の面側にだけ配置されることが明らかな場合には、符号調整パラメータセットは1セットでいいことになるが、同様にどちらの側に配置されているかの自動判断を上記の方法で行えばよい。
上述の方法はカメラ一台ごとに符号調整パラメータセットを持たせることと同一の技術範囲に入るものと考えられる。
また、X軸移動、Y軸移動および回転移動をXYθステージ10とカメラが分担して行なうような位置アライメントシステムにおいては、カメラが分担する移動に関してだけ正方向を反対にし、上記同様な方法により、XYθステージ10の軸自由度の自動調整およびカメラの配置位置自動判定が可能となる。
また、XYθステージ10とカメラが、X軸移動、Y軸移動および回転移動の全てまたは一部の移動について、双方並行して行なう位置アライメントシステムにおいては、双方平行して行なう移動に関してXYθステージ10とカメラの移動を、各々を単独に移動させて上記説明の方法によってXYθステージ10の軸自由度の自動調整およびカメラの配置位置自動判定を行う。
これらのパラメータは、位置アライメントシステム内でX座標軸、Y座標軸および回転角θに関連して自由度に依存して使用される(符号を伴って使用される)変数および定数に対して、これらが最終的に位置アライメントシステム内で整合性を持って使用される形となるように、実施例2に示すような自由度の自動調整方法および実施例3に示すようなカメラ配置自動判定方法によって、これらの符号を調整するための手段である。
そのため、これらの符号調整パラメータの使用のあり方の第1の例は、これら符号調整パラメータにはすべて「+1」か「−1」のいずれかの値しか設定しないものとし、上記自由度に依存して計測される全ての変数(計測値)に対してそれぞれ対応する符号調整パラメータが乗じられて位置アライメントシステム内で使用されるものである。この例では符合調整パラメータが「−1」の場合には自動的に符合調整パラメータが乗じられた変数の値は符号が反転し、「+1」の場合には符号は維持される。
第2の例は、パラメータの内容として「+1」に対して「Y(Yesの意味)」、「−1」に対して「N(Noの意味)」を設定することとし、位置アライメントシステムが符号調整パラメータの内容を判断して「N」ならば変数の値に「−1」を乗じ、「Y」ならば「+1」を乗じる方法がある。
上記いずれの場合においても、符号調整パラメータは、いわばスイッチの役割を果たすとも言える。
実施例1において、基準マークの自動登録方法の例を記述したが、その際に、カメラの撮像画像の中に、基準マークとしての条件を満たす図形パターンが見つからなかった場合には、終了するとしていたが、本来のキャリブレーションの完全自動化を達成するためには基準マークとしての条件を満たす図形パターンが見つからない場合は所定の範囲内で自動的に所定の方式に従ってカメラの視野をずらして探索パターン探しに行きこれを捕捉することによる基準マークの自動登録が不可欠である。また、上記位置アライメント動作に対しても基準マークをカメラの視野に捕捉しておかなければならない。
カメラの視野をずらす方法の例を以下に説明する。
第1の方法例は、選択された1個のカメラ(以降、第1のカメラとも呼ぶ)の視野に第1の探索パターンを捕捉する方法の例で、第1のカメラ31の現在の視野に対し、XYθステージ10を移動させてその視野に隣接する領域に視野を移動し、そこで探索パターンを探す手順を繰り返して、探し終えたときに探したパターンのカメラの視野(撮像画像といってもよい)内における位置を記憶し、その位置をカメラの視野の中心に持ってくるようにXYθステージ10を移動する。この段階でそのパターンを第1のカメラに対する探索パターン(以降、第1の探索パターンとも呼ぶ)として自動捕捉する。
具体的には、現在の視野を中心に所定の領域範囲を限ってその中で螺旋的に外側の領域に視野Vi(i=1、2、3・・・)を、矢印で示すように、V1、V2、V3・・・の順番に移動させていく方法(図11に示す方法)と、所定の矩形領域を限ってその中でラスタースキャン的にスキャンの列を変えながら、現在の列の中で直線的に現在の視野に隣接する視野に移動していく方法(図示していない)である。
第2の方法例は、第1のカメラ31に第1の探索パターンが捕捉された後に第2のカメラ32の視野に第2の探索パターンを捕捉する例で、図12に示すものである。第1のカメラ31の視野に第1の探索パターンの中心を置き、これを回転中心としてXYθステージ10を所定の角度範囲を限って回転移動し、第2のカメラ32の視野を先行した視野に隣接する状態になる位置まで最初の視野を挟んで動かし(移動する視野の位置の順番は、例えば矢印で示すように、V1、V2、V3、V4・・・というように、第2のカメラ32の最初の視野の近くから視野移動・探索時間を考慮した上で最適な順を設定する)その視野内で基準マークの条件に合うパターンを探す手順を繰返して、探し出せた時点でそのパターンを第2の探索パターンとして自動捕捉する。
ここで、第1のカメラ31の視野に第1の探索パターンの中心をおく場合に、登録されている基準パターンを探す場合には、基準パターン登録時に第1の基準マークおよび第2の基準マークそれぞれの第1のカメラの視野内および第2のカメラの視野内での位置が既知であることから、第1のカメラと第2のカメラを固定したままの条件であれば第1のカメラの既知の位置に第1の基準マークの中心を置くようにすることが好ましい。
例を挙げれば、XYθステージ位置アライメントシステムの構成要素であるXYθステージメカニズムのアクチュエータ配置、アクチュエータの動作方向と動作の符号関係がアクチュエータドライバの設計と共に予め特注的に最適に設計されているXYθステージメカニズムおよびアクチュエータドライバをセットで当該位置アライメントシステムの構成要素として持ち込み尚且つカメラを被撮像物に対して片側に座標軸XYの方向も合わせて配置した場合には、4つの方法の内の第2の方法である軸移動方向符号自動調整方法および第3の方法であるカメラ配置位置自動判定方法は不要となろう。
また、一部の本発明の方法を実現する上記以外の他の代替手段が講じられており、本発明の手段を適用する必要がない場合には、本発明の機能の内の必要な機能を位置アライメントシステムが具備すれば事足りることとなる。
以上から容易に推測できるように、XYθステージ位置アライメントシステムの各構成要素として各製造業者が勝手に設計した標準品をそのまま採用し、これらを現場で自由に配置して当該位置アライメントシステムを構築するような場合には、上述した4つの方法の全てを使用して各方法に対応する機能を実現する手段を当該位置アライメントシステムのアライメント制御部に具備させることが必要となる。現実問題としては、システム構築の現場における多くの場合はこのケースに当てはまると考えられることから、上記の4つの手段を全て兼ね備えることには大きな意味がある。
11 テーブル部
11a 断面壁
12 アクチュエータ
12a アクチュエータ
12b アクチュエータ
12c アクチュエータ
20 被撮像物
30 カメラセット
31 第1のカメラ
32 第2のカメラ
33 第3のカメラ
40 アラインメント制御部
41 基準マーク自動登録機能
42 軸移動方向符号自動設定機能
43 カメラ配置位置自動判定機能
44 探索パターン自動捕捉機能
45 自動キャリブレーション機能
46 自動アラインメント機能
47 最終駆動回路部
101 第1のカメラの視野
102 第2のカメラの視野
Claims (4)
- 平行移動と回転移動を行なうXYθステージに搭載されるワーク(以降、被撮像物ともいう)上の基準マークをカメラによる撮像画像により計測しながら被撮像物の位置アライメントを行うXYθステージによる位置アライメントシステムにおいて、
カメラの撮像画像の中から基準マークの可能性のある図形パターンを選択し、選択された図形パターンとこれに所定の角度の回転または反転をさせた後の図形パターンの双方の一致度を見ることによって、被撮像物上から基準マークの条件を満たす図形パターンを自動的に見つけ出し、前記位置アライメントシステムの記憶部に登録する基準マーク自動登録手段を具備して、キャリブレーションに先立つ立上げ時の諸元の設定・調整を行う段取り作業を自動化することを特徴とするXYθステージによる位置アライメントシステム。
- 前記基準マーク自動登録手段が、
位置アライメントシステムのアライメント制御部が、カメラによる撮像画像内の画像パターンの中から、所定のサイズ以下である単独の図形パターンか、複数個の単独の図形パターンの幾何学的配置による組合せ図形パターン(以降、これらのパターンを第1選定パターンともいう)を1個または1組以上選択し、該第1選定パターン(以降、元図形パターンともいう)の中から元図形パターンとこれに所定の角度の回転または反転をさせた後の図形パターン(以降、移動図形パターンともいう)とが幾何学的に合同と見做せる関係である図形パターン(以降、第2選定パターンともいう)を1個または1組以上選び出し、該第2選定パターンの中から幾何学的合同の度合いの順位が最も高かった単独の図形パターンか、または所定の方法で選択される複数個の単独の図形パターンの組合せ図形パターンを基準マークとして位置アライメントシステムの記憶部に登録することを自動的に行う手段であることを特徴とする請求項1に記載のXYθステージによる位置アライメントシステム。 - 前記所定の方法が、選択され組合せられる単独の図形パターンの各々と、選択されないで組合せの対象からはずされた単独の図形パターンの各々との間で、幾何学的合同の度合いの差が所定の度合いより小さい状態が存在しないという条件を満たすように、第2選定パターンの中から複数の単独の図形パターンを選択する方法であることを特徴とする請求項2に記載のXYθステージによる位置アライメントシステム。
- 前記反転を、前記第1選定パターンの重心を通る直線を基準とした反転とすることを特徴とする請求項2に記載のXYθステージによる位置アライメントシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005378935A JP3977398B2 (ja) | 2005-06-10 | 2005-12-28 | XYθステージによる位置アライメントシステム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005171166 | 2005-06-10 | ||
JP2005171166 | 2005-06-10 | ||
JP2005378935A JP3977398B2 (ja) | 2005-06-10 | 2005-12-28 | XYθステージによる位置アライメントシステム |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006036272A Division JP3947205B2 (ja) | 2005-06-10 | 2006-02-14 | XYθステージによる位置アライメントシステム |
JP2006036265A Division JP3896381B2 (ja) | 2005-06-10 | 2006-02-14 | XYθステージによる位置アライメントシステム |
JP2006036269A Division JP3896382B2 (ja) | 2005-06-10 | 2006-02-14 | XYθステージによる位置アライメントシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007017424A JP2007017424A (ja) | 2007-01-25 |
JP3977398B2 true JP3977398B2 (ja) | 2007-09-19 |
Family
ID=37754697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005378935A Active JP3977398B2 (ja) | 2005-06-10 | 2005-12-28 | XYθステージによる位置アライメントシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3977398B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4853403B2 (ja) | 2007-07-02 | 2012-01-11 | セイコーエプソン株式会社 | 画像読み取り装置 |
JP4853402B2 (ja) | 2007-07-02 | 2012-01-11 | セイコーエプソン株式会社 | 画像読み取り装置 |
JP6167622B2 (ja) * | 2013-04-08 | 2017-07-26 | オムロン株式会社 | 制御システムおよび制御方法 |
JP6421722B2 (ja) | 2015-08-07 | 2018-11-14 | オムロン株式会社 | 画像処理装置、校正方法および校正プログラム |
JP6551184B2 (ja) * | 2015-11-18 | 2019-07-31 | オムロン株式会社 | シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム |
JP7136328B2 (ja) * | 2019-03-27 | 2022-09-13 | 日本電気株式会社 | カメラ調整装置、カメラ位置調整方法及びプログラム |
CN112284287B (zh) * | 2020-09-24 | 2022-02-11 | 哈尔滨工业大学 | 一种基于结构表面灰度特征的立体视觉三维位移测量方法 |
CN114882103A (zh) * | 2022-04-20 | 2022-08-09 | 南昌龙旗信息技术有限公司 | 手写笔螺母对位方法、装置、设备及存储介质 |
CN115100131B (zh) * | 2022-06-17 | 2023-04-28 | 成都新西旺自动化科技有限公司 | 一种高精度视觉对位方法和系统 |
-
2005
- 2005-12-28 JP JP2005378935A patent/JP3977398B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007017424A (ja) | 2007-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3977398B2 (ja) | XYθステージによる位置アライメントシステム | |
US8503758B2 (en) | Image measurement device, method for image measurement, and computer readable medium storing a program for image measurement | |
JP5947169B2 (ja) | 外観検査装置、外観検査法およびプログラム | |
US8244040B2 (en) | Object position recognition system, object positioning system, and system and method for adjoining objects | |
CN109715307B (zh) | 具有工作区图像捕获设备的弯曲机以及用于表示工作区的方法 | |
JP2018507407A (ja) | 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定 | |
Janóczki et al. | Automatic optical inspection of soldering | |
US10607337B2 (en) | Object inspection system and object inspection method | |
US9952162B2 (en) | Optical inspection system for printed circuit board or the like | |
CN112529856A (zh) | 确定操作对象位置的方法、机器人和自动化系统 | |
JP3947205B2 (ja) | XYθステージによる位置アライメントシステム | |
JP3896382B2 (ja) | XYθステージによる位置アライメントシステム | |
US11826919B2 (en) | Work coordinate generation device | |
JP3896381B2 (ja) | XYθステージによる位置アライメントシステム | |
JPH1163922A (ja) | 画像測定機及びその方法 | |
JP2002107311A (ja) | 実装基板検査装置及び方法 | |
TWI504859B (zh) | 拍攝並拼接物件影像的方法 | |
CN110763703A (zh) | 一种辅助印刷电路板快速定位定点放大观察的投影式系统 | |
JP2562047B2 (ja) | 対象物体の位置姿勢認識方法 | |
KR20150076544A (ko) | 기판 결함 리뷰 방법 | |
JP2006234793A (ja) | 部品位置検出方法および装置 | |
KR20240083498A (ko) | 설비 진단을 위한 스테이지 마크를 이용한 설비 진단 시스템 및 이를 이용한 설비 진단 방법 | |
JP2023111297A (ja) | プログラム、検査方法、及び検査装置 | |
JP4006869B2 (ja) | 検査方法および装置 | |
Polikarpov et al. | A Cost-Efficient Robotic Through-Hole Assembly System for Dual-Pin Component Insertion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060328 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20060406 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060331 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070620 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3977398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |