以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。
以下に示す実施形態では、撮影画像を介して撮影された対象物の位置姿勢を検出する位置検出装置を備えた部品実装装置の構成を例示する。以下の実施形態では、例えば特許文献1のような位置検出のための実体のマークを対象物の保持装置に付与するような構成を取らない。以下の実施形態では、位置検出装置は、対象物を保持する保持装置に対して固定され、撮影装置の被写界深度範囲内の結像位置に空中像のマークを形成するマーク像形成装置を備える。そして、位置検出装置の制御装置は、撮影装置の撮影画像における、部品実装装置で取り扱われる部品やワークなどの対象物と、空中像のマークとの撮影像の位置関係に基づき、その対象物の位置姿勢を検出する。部品実装装置は、位置検出装置が検出した対象物の位置姿勢に基づき、例えば作業空間における対象物の相対的な位置姿勢、例えば製造装置や他のワークとの相対的な位置姿勢の関係を補正する。
<実施形態1(基本構成)>
図1は本実施形態における部品実装装置の構成例を示している。同図の部品実装装置は、吸着ノズルからなる把持ツール10が取り付けられた実装ヘッド5と、実装ヘッド5をY方向にガイドするガイドレール1と、を備える。例えば吸着ノズルからなる把持ツール10は、部品実装装置が取り扱う対象物である部品の保持装置に相当する。図1では、その右側に座標軸の配置を示すように、図の紙面に水平方向がX方向、水平方向がY方向、上下方向がZ方向、Z軸周りの回転方向がθ方向に相当する。
さらに、図1の部品実装装置は、実装ヘッド5をガイドレール1に沿ってY方向に移動させるY方向移動機構3と、および実装ヘッド5をX方向に移動させるX方向移動機構2と、を備える。部品実装装置のX方向移動機構2、Y方向移動機構3、実装ヘッド5などの駆動量は、後述の駆動制御部20によって制御される。
さらに、図1の部品実装装置は、撮影装置としてのカメラ32および光源31と、カメラ32で撮影した画像に対して後述の画像処理を行う画像処理部40と、を備える。
実装、あるいはそのために位置検出される対象物、即ち部品11の保持装置としての把持ツール10の先端には部品11を吸着把持する吸着面を有する。このように把持ツール10を吸着ノズルから構成する場合、把持ツール10は不図示の負圧発生手段などによって駆動され、駆動制御部20は把持ツール10の駆動負圧のON/OFFあるいは負圧値を制御する。
把持ツール10が保持している部品11の位置姿勢を検出する位置検出装置の検出処理の基準点となる空中像のマークを形成するマーク像形成装置は、実装ヘッド5側に設けられている。図1では、このマーク像形成装置は、点光源81、82、結像レンズ91、92から構成されている。これらの部材によるマーク像形成の詳細については後述する。
部品11は、実装ヘッド5によって搬送された後、不図示の実装位置に移動され、例えば加工や、他の部材への組み付けなどの製造処理、を受ける。その際、把持ツール10が保持している部品11の位置姿勢に基づき、実装位置における加工や、他の部材への組み付け制御を行う必要がある。
そのため、把持ツール10に保持されて例えばY軸方向に搬送される部品11を撮影できるよう、位置検出装置は、部品11の搬送範囲に撮像光軸を向けたカメラ32を備える。カメラ32の近傍には、カメラ32の撮像範囲を照明できるよう光源31が配置されている。この光源31は、位置検出装置のカメラ32により部品11を撮像するための光源で、把持ツール10に把持された部品11の特徴を観察できるように光の方向や強度が調節されている。
実装ヘッド5は、内部に把持ツール10をZ方向に移動させるZ方向移動機構6と、把持ツール10をθ方向に回転させるθ方向移動機構7を備える。これらの各移動機構(6、7)も、駆動制御部20によって制御される。駆動制御部20、X、Y、Z、θ方向の各移動機構(2、3、6、7)を制御して把持ツール10をX、Y、Z、θ各方向に関して並進ないし回転移動させ、作業空間内における部品11の位置姿勢を制御することができる。また、上記の負圧機構などを介して、把持ツール10の把持とリリースも駆動制御部20により制御される。
カメラ32、光源31は、画像処理部40のカメラインターフェース41に接続されている。画像処理部40は内部にデータ、信号処理を行うCPU42とデータやプログラムを記憶するメモリ43とを備えた制御装置である。
画像処理部40は、メモリ43を備え、このメモリ43には把持ツール10に対する部品11の相対位置を検出する相対位置検出プログラムを格納しておく。メモリ43は、より具体的には、例えばROM431、RAM432によって構成される。上記のプログラム類と定数データなどはROM431に格納され、RAM432はプログラム実行時のワークエリアとして用いられる。
また、画像処理部40は、カメラ32、光源31を制御して画像を取得するカメラインターフェース41と、駆動制御部20との間でデータ通信を行うデータインターフェース45を備える。なお、CPU42、カメラインターフェース41、メモリ43、データインターフェース45はそれぞれ画像処理装置の内部バス(不図示)により接続されている。また駆動制御部との間にはデータバス50が設置され互いに制御データを送受信することができる。
一方、図1の駆動制御部20は、内部に実装駆動制御のためのCPU22とデータやプログラムを記憶するメモリ23とを備える。そのメモリ23には画像処理部40の相対位置検出プログラム44によって検出された把持ツール10に対する部品11の相対位置よりX、Y、θ方向の各移動機構(2、3、6、7)の補正量を計算する補正プログラム24が格納されている。メモリ23は、より具体的には、例えばROM231、RAM232によって構成される。上記のプログラム類と定数データなどはROM231に格納され、RAM232はプログラム実行時のワークエリアとして用いられる。
また、駆動制御部20は、X、Y、Z、θ方向の各移動機構(2、3、6、7)を駆動制御する駆動機構インターフェースと、画像処理部40との間でデータ通信を行うデータインターフェース25とを備える。CPU22、駆動機構インターフェース21、メモリ23、データインターフェース25の間は、例えば駆動制御部20の内部バス(不図示)により接続されている。駆動制御部20は、上記のデータバス50を介して、画像処理部40と制御データを送受信することができる。なお、駆動制御部20と画像処理部40の間のデータバス50は、他の通信手段、例えば有線ないし無線接続の各種ネットワーク通信手段などであってもよい。
なお、図1では、部品実装装置ないし位置検出装置の制御装置は、駆動制御部20、および画像処理部40の2つに分けて図示してある。しかしながら図1の構成は一例に過ぎず、例えば同図の駆動制御部20、画像処理部40は同じ機能を備えた一体の制御装置であっても構わない。これら制御装置が後述の制御手順を実現するためのCPU22、42の制御プログラムは、例えばROM231、431の、例えばEEPROM領域のような記憶部に格納しておくこともできる。また、この制御プログラムは、例えばHDDやSSDなどから成る不図示の外部記憶装置に格納しておいてもよい。
また、後述の制御手順を実現するためのCPU22、42の制御プログラムは、ネットワークインターフェースなどを介して、上記の各記憶部に供給し、また新しい(別の)プログラムに更新することができる。あるいは、後述の制御手順を実現するためのCPU22、42の制御プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。上述の制御手順を実現するためのCPU22、42の制御プログラムを格納した状態における各種の記憶手段や記憶部は、本発明の制御手順を格納したコンピュータ読み取り可能な記録媒体を構成することになる。
図2は、図1の部品供給装置の実装動作における実装ヘッド5の部分の動きを示している。また、図12は、この部品供給装置の実装動作の全体の流れを示している。図12の手順は、駆動制御部20ないし画像処理部40のCPU22、42によって実行される。特に、図12の手順のうち、撮影、マーク認識、位置検出、補正値算出(S12~S15)の細部については、追って詳細に説明する。図12の手順はCPU22、42のプログラムデータとして記述された部分は、ROM231、431や、上述の他の記憶ないし記録媒体に格納しておく。
図2において、図1の実装ヘッド5は、例えば、X、Y、Z、θ方向の各移動機構(2、3、6、7)を介して駆動制御部20により制御され、部品供給部61の位置に移動される。部品供給部61において、部品11をピックアップ、即ち、把持ツール10により部品11を吸着、把持する(図12のS10)。その後、実装ヘッド5は、駆動制御部20の制御により、図2に破線で概略を例示するような経路でカメラ32(および光源31)の前方の撮影領域内を通過移動させる(S11)。この移動の過程において、画像処理部40の制御により、カメラ32で実装ヘッド5、特に把持ツール10で保持されている部品11の部位を撮像(撮影)させる(S12)。この時、カメラ32による撮像は、実装ヘッド5の搬送移動を停止させることなく行う。
把持ツール10で保持された部品11は、実装位置62まで搬送され、この例では、所定の位置姿勢で装着される。実装位置62には、例えば、図示のように他の部品などが既に配置されている。本実施形態では、把持ツール10は、細長い全体形状であり、その周囲には空間が確保され、図示のように他の部品などが既に配置されている実装位置62においても、確実に部品11を配置、実装することができる。
画像処理部40がカメラ32で撮影した部品11の位置姿勢は、実装ヘッド5に装着されているマーク像形成装置(81、82、91、92)が形成する空中像のマークを基準点として用いて検出される(S13、S14)。例えば、撮影画像中のマークの空中像を画像認識(S13)などにより検出し、同じく画像認識などにより検出した部品11の撮影像との位置関係を計算する。この演算によって、実装ヘッド5を基準とした部品11の位置姿勢を検出(S14)することができる。
さらに、駆動制御部20の制御により、部品11は、図2の実装位置62まで実装ヘッド5によって搬送される。この過程で、好ましくは実装ヘッド5の搬送の継続中に、検出(S14)した位置姿勢情報に基づき、実際の部品11の位置姿勢を補正する。この補正は、図1のX、Y、Z、θ方向の各移動機構(2、3、6、7)を介して行われ、このように部品11の位置姿勢を補正した上で、実装位置62における部品11の配置、実装(S16)を行う。以上のようにして、実装位置62において、確実に所期の位置姿勢で部品11を配置、実装することができる。
図1のX、Y、Z、θ方向の各移動機構(2、3、6、7)は、それぞれ把持ツール10の先端位置を表現した位置信号を出力するよう構成しておく。これにより、駆動制御部20は図1の各移動機構(2、3、6、7)の位置信号から把持ツールの先端位置を検出することができる。また、各移動機構(2、3、6、7)の駆動源にステッピングモータなどを使用している場合は、駆動制御部20が各移動機構(2、3、6、7)に送信した正逆駆動パルス数をカウントすることで把持ツールの先端位置を検出するような構成を用いてもよい。また、把持ツール10は、把持状態を示す把持状態信号を出力することができるものとする。例えば、吸着ツールの出力する把持状態信号は、吸着面に負圧がかかって部品を把持しているか否かを表現した信号である。
本実施形態では、部品の保持装置としての把持ツール10として吸着タイプを例示するが、保持装置の方式は任意であって、吸着タイプに限定されるものではない。例えば、保持装置として、図3(a)のようにピンセット状の複数の把持指を有するグリッパ144(ハンド、ロボットハンドなどと呼ばれる場合もある)を用いる場合でも、例えば後述の部品11の位置姿勢の補正は実施することができる。
特に、保持装置として、図3(a)のようなグリッパ144を用いる場合は、指の駆動範囲内で相対計測のマークとして用いる基準点131、132が指の動きにより遮蔽され撮影画像に写らないといったことがないよう機構を設計する。また、可能であれば、把持指などがカメラ32に対して基準点131、132(マーク)を遮蔽しないようグリッパ144の機構を調整するのが望ましい。また、図3のような保持装置を用いる場合には、グリッパ144から、把持指の位置(例えば角度)を示す指位置信号を駆動制御部20に出力させることができる。そして、この指位置信号を用いて補正プログラムで部品の位置姿勢を補正する補正量を算出することができる。なお、グリッパ144が、センタリング機構等によりその把持中心が必要な精度範囲で実装ヘッド5の中心位置と一致するよう保たれるような構成であれば、上記の指位置信号を利用して補正演算を行わなくても良い場合がある。また、グリッパ144の把持指の数や構造も図3(a)のような構成に限定されない。本実施形態では、たとえば図3(b)のように多関節多指の把持装置15を用いる場合でも、後述の制御を実施することができる。
ここで、本実施形態における部品11の位置検出動作の基本となる、カメラ32と、実装ヘッド5に装着されているマーク像形成装置(81、82、91、92)の光学的な構成につき詳細に説明する。
図1において、カメラ32の撮影光学系は、例えば、合焦位置が部品11の下部の表面となるようにフォーカス(合焦距離)が設定されている。すなわち平面12が合焦平面となるように設定されている。また、このような撮影距離を保証するために、駆動制御部20は、カメラ32の前方を通過する時、部品11の下部の表面が平面12の位置を通るよう、例えばZ軸に関する移動機構(6)を制御するような構成であってもよい。ただし、カメラ32の撮影光学系の、適当な位置検出精度を達成できる程度の被写界深度範囲に余裕がある場合には、部品11の表面がカメラ32の合焦平面である平面12の付近の高さを通る、程度の比較的ルーズな制御でも事足りる可能性がある。そして、このような比較的ルーズな制御でも、カメラ32の被写界深度の範囲内の結像位置にある空中像のマークを充分な合焦状態で撮影することができる。
カメラ32の撮像画角(撮影画角)は、いうまでもなく撮影光学系の倍率、撮像センサのサイズや縦横比などにより決定される。このカメラ32の撮像画角(撮影画角)は、部品11の位置姿勢を検出するための基準点として、マーク像形成装置(81、82、91、92)により形成されたマークの空中像、即ち、基準点131、132を収めるのに十分な広さを有するものとする。
光源31は、カメラ32の近傍に配置される。この光源31は、カメラ32の撮影光学系の合焦面である平面12に相当する部品11の表面付近にできるだけ均一、かつカメラ32の撮影条件で必要な照明輝度が得られるように構成されている。なお、光源31の照射角は部品11のみを照らせばよいので、撮影位置付近での部品周辺に照明光を集光するような構成であればよい。また、光源31は、カメラ32のシャッターと同期して、撮影を実行するときのみ発光するように制御される構成であってよい。
前述のように、撮影は、部品11を停止させることなく行うことができる。例えば、駆動制御部20が受信するX、Y軸に係る移動機構(2、3)の発生する位置信号により、部品11および空中像として投影された基準点131、132が画角に入っているタイミングで画像処理部40を介して撮像指令を送信する。また、撮影するタイミングを決定するその他の方法としては、光源31をオフした状態で基準点131、132を画像処理部40で監視して所定の撮像範囲に進入したのを契機として光源31を点灯し、撮像センサに撮像指令を送る構成であってもよい。即ち、撮影装置の撮影画像を介して撮影装置の撮影画角の内側にマークの空中像が進入したか否を監視する。そして、撮影画角の内側にマークの空中像が進入することを契機として、撮影装置により対象物、およびマークの空中像の撮影画像を撮影させる。このような制御によれば、撮像タイミングを画像処理部40の制御のみで決定でき、駆動制御部の負荷を低減できる可能性がある。
本実施形態では、図1において、マーク像形成装置(81、82、91、92)は、実装ヘッド5に固定的に装着、特に把持ツール10の先端との位置関係が変わらないように装着される。これにより、実装ヘッド5が保持する部品11の位置姿勢は実装ヘッド5に対して固有の位置関係を持って投影、結像される基準点(マーク)を基準として計測される。
即ち、図1~図3に示したように、実装ヘッド5には、把持ツール10、Z方向移動機構6、θ方向移動機構7の他に点光源81、82、結像レンズ91、92が把持ツール10の先端との位置関係が変わらないように固着されている。なお、点光源81、82の後方には、前方に光を効率よく照射するため反射部材を配置してもよい。
結像レンズ91、92は点光源81、82の前方に設置され、カメラ32の合焦平面である平面12上に焦点が来るように点光源からの光を集光(コリメート)するように設計しておく。通常、把持ツール10の直上の実装ヘッド5の把持中心線には、θ方向移動機構7を配置する必要がある。このため、図示のように点光源81、82、結像レンズ91、92は実装ヘッド5の把持中心線からオフセットして配置してある。
一方、結像レンズ91、92を介して空中像のマークとして投射される基準点131、132はカメラ32の撮像範囲(撮影画角)内に同時に撮影できる必要がある。そのため、本実施形態では点光源81、82、結像レンズ91、92は把持中心に向かって傾きを持つように配置される。この場合、レーザと異なり光軸がカメラに入射している必要はない。なお実装ヘッド5内の実装空間に十分な余裕がある場合には垂直下方に向かって空中像のマークを投射するよう点光源81、82、結像レンズ91、92を配置してもよい。
また、光源31からの照明光が正反射光をできるだけカメラ32の撮影光学系に入射しないよう、実装ヘッド5のカメラに対向する側は黒塗り、またはバフ処理などの反射防止加工を施しておくのが好ましい。
次に、本実施形態において、実装ヘッド5に固定的に装着したマーク像形成装置(81、82、91、92)によって投射される基準点131、132(マーク)の空中像につき、図4(a)、(b)を参照して説明する。
上記の光源は点光源を想定しているが、これは一例であって、本実施形態で用いるマークの空中像は任意の形状であって差し支えない。このことを説明するため、図4(a)、(b)では、雲形の光源8を図示している。この光源8は、空中像として形成(結像)される基準点13’(マーク)に対応する実体点13が含まれる。
図4(a)、(b)では、位置検出のためのカメラ32のより詳細な構成を示してある。即ち、カメラ32は撮影レンズ33を備え、その結像面には設置される撮像センサ34が配置されている。図4において、結像レンズ9は雲形の光源8の位置にある点から発せられた光を集光して結像面である平面12上に雲形の虚像8’すなわち雲形の空中像を結像する。なお、図4(a)はカメラ32の撮影レンズ33と、結像レンズ9の光軸がほぼ平行である構成を、図4(b)は、結像レンズ9の光軸が撮影レンズ33の光軸に対して傾斜している構成を、それぞれ図示している。図4(a)、(b)の構成は、結像関係にある実体点13、基準点13’(マーク)、撮像センサ34の像面上の2次虚像8”に関しては光学原理的にはほぼ同等の構成である。
この時、基準点13’の実体点13も雲形の光源8に含まれており、結像面である平面12上の所定の位置に基準点13’が形成される。本実施形態では、基準点13’が形成される平面12は、カメラ32の合焦平面と一致するような光学系が形成されている。このため、平面12の雲形の光源の虚像8’上にある点から出射した光はカメラ32の撮影レンズ33を介して撮像センサ34像面に雲形の光源の2次虚像8”として結像する。
平面12に形成される雲形の光源の空中像8’の位置は、構造体が何もない空間であり微粒子などの散乱物が存在しなければ、雲形の光源の虚像8’は横からの観察者の目や他のカメラで捉えることはできない。このような空中像(aerial image)は「空間像」などと呼ばれる場合もある。
一方、カメラ32の撮影レンズ33を介してリレーされ、撮像センサ34によって、雲形の光源8の空中像8’にピントが合った状態で撮影される。撮像センサ34上には実体の部品11に並んで、本来は離れた位置にある雲形の光源8があたかも隣に存在するかのごとくの撮影像が形成される。この結像関係は、撮影レンズ33、結像レンズ9から成る1つの撮像光学系で、雲形の光源8を撮影しているのと同等である。同様に、基準点13’に関しても、雲形の2次虚像8”に含まれる点13”として撮像センサ34上で観測されることになる。
特に、図4(b)は光源8、結像レンズ9をカメラ32の光軸に対して傾斜させて配置した場合を示している。上記のように、実装ヘッドの把持ツールや各座標軸に関する移動機構はカメラ32の撮影光軸の延長線上に配置されることが多い。そのため、図4(a)のような配置で基準点13’を形成する光源8を置くためのスペースを確保することが難しい場合がある。例えば、実際には、マーク像形成のための光学系は、図4(a)よりも図4(b)に近い配置になる可能性がある。しかしながら、上記のように、図4(a)、(b)の構成は、結像関係にある実体点13、基準点13’(マーク)、撮像センサ34の像面上の2次虚像8”に関しては光学原理的にはほぼ同等である。従って、図4(b)のような光軸配置であっても、実装ヘッドの部品11の保持中心に対して固定された平面12上の所定位置に基準点13’(マーク)の空中像を形成することができる。
しかも、本実施形態の構成は、特許文献1などで行われているように実体のマークを実装ヘッドに付与する構成ではなく、基準点(マーク)は空中像として形成される。そのため、部品11の位置姿勢を検出するための基準点(マーク)には実体がなく、光源の配置に自由度があり、従来の実体マークを用いる構成のような制約を受けない。
例えば、図4(b)のような光軸配置によると、実体の光源8はカメラ32の画角外にあっても差し支えない。そして、空中像13’は図4(a)の構成と同様に部品11に隣接した位置に形成することができる。なお、空中像上の点から出る光は方向性を持っているが広がりを持っているため、その一部でもカメラ32の撮影レンズ33に入射していればよい。レーザの場合と異なり光源8の光軸14上の光線がカメラ32の撮影レンズ33の開口に入射している必要はなく、レーザによる基準点形成より配置の自由度は高い。
次に、空中像で形成する基準点(マーク)の配置について、図5を参照して説明する。図5は空中像の合焦面である平面12での把持ツール10の吸着中心すなわちツール座標系の基準位置Toと点光源81、82の空中像である基準点131、132の位置関係を示している。図5に示すようにツール座標化はToを原点とし、各座標軸の方向は上記の移動機構(2、3、6、7)の駆動方向と一致する。ここで、把持ツール10は部品11に遮蔽されておりカメラ32側から見えない。また、合焦面である平面は部品実装装置の作業空間でもあるため、構造物を置かずオープンな空間となっている。即ち、カメラ32から見ると、ピントが合う位置には基準となる構造物を置くことができず、また、部品11の後方の把持ツール10を直接、撮影することもできない。しかしながら、空中像の基準点131、132はあたかもそこに点光源が存在するがごとくカメラで撮像することができる。
ここで空中像の基準点131、132を代表する点を、それぞれ点A、点Bとする。これらの空中像は点像であるが、現実にはある程度の面積を有するため、代表点であるA、Bは空中像の重心などとして求めればよい。点A、点B、点Otはツール座標のY軸上に1直線に並ぶように配置され線分ABの中点が、ツール座標系の原点である点Otと一致するよう配置される。また線分ABの垂直2等分線がX軸と一致し、θの方向は合焦面である平面12の面内にある。
このような配置によりツール座標の原点Otおよびツール座標の座標軸の方向をカメラ32の撮影画像内に写しこむことができる。また、本実施形態では、光源8、結像レンズ9、把持ツール10は互いに位置関係が変わらないように実装ヘッド5に固定されている。そのため、実装ヘッド5の搬送動作により3点A、B、Otの位置関係が変わることはない。
ここで、図6(a)のように空中像ではなく、実装ヘッド5の根元に実体の基準点151、152を配置した構成を考えてみる。基準点151、152は、例えば再帰反射部材などによって構成する。この場合、基準点151、152は、図6(b)のように撮影される。
しかしながら、撮影タイミングによっては、図6(c)のように基準点151、152が図6(b)に比して画角の周辺部に撮影される場合も考えられる。そして、図6(c)のようにパースペクティブが生じて光軸から離れるほど基準点が中心に寄って来てしまう。これにより、図6(c)のように見かけ上の座標原点Ot’は本来のツール座標系の原点Otからずれて撮像されてしまう。また、実体の基準点151、152を配置する構成では、撮影タイミングや撮影距離の選定によっては、基準点が把持ツール10に隠されてしまう可能性も否めない。このような実体の基準点151、152を配置する構成は、特許文献1などに開示されている構成と同等である。そして、このような実体の基準点151、152を用いる構成では、正しい計測が可能なのはカメラ32の光軸と撮像面との交点Ocとツール座標系の原点Otが一致したとき、すなわち図6(b)のみに限定される。そのため、移動中の無停止撮影では、撮影位置、撮影タイミングを厳密に制御したりしなければならないデメリットがある。
一方、本実施形態の基準点は空中像によるマークであって、カメラ32の合焦平面に形成されるため、カメラ32の画角内のどこで撮影してもパースペクティブは生じない。このため、本実施形態のマーク形成によれば、撮影位置、撮影タイミングに拘らず、画像から正しいツール座標の原点Otを取得することができる。本実施形態の構成では、また、照明の光軸が遮られていても光源に大きさと広がりがあるため、光線が一部でもカメラに入射すれば基準点を得ることができるためオクルージョン(撮影遮蔽)にも強いという効果がある。
なお、以上では、基準点を形成する空中像による基準点が2点である場合を説明したが、基準点の数は任意である。例えば、予めカメラ座標系とツール座標系が充分な精度で校正してあり、基準点からツール座標の原点Otへのベクトルが既知である場合、基準点は少なくとも1点あれば十分である可能性がある。また、多関節多指ハンドなど把持姿勢によってオクルージョン(撮影遮蔽)が避けられないときには複数の基準点を形成する構成でもよい。さらに、部品の保持中心の周囲に円周状に多数の基準点を配置することにより誤差を平均化して軽減する構成も考えられる。このように、より多数の基準点の空中像を投影する構成によると、画像認識の処理などにおいて、例えば認識の対象物や基準点の重心を取得するような処理が容易になる可能性がある。このように、複数のマーク空中像を形成し、撮影画像における対象物および複数のマークの撮影像の位置関係に基づき対象物の位置姿勢を検出する構成によると、後の画像処理が容易にできる可能性がある。
以下では、画像処理部40による相対位置検出プログラム44の概略につき説明する。ここで、例えば部品11は半導体ダイなどの四角い平板部品であり、把持ツール10は吸着面型で、部品11は平面内の回転を除き、回転しないものとする。即ち、Z軸以外他の軸廻りの回転誤差は考慮しなくてもよい。この場合、基準位置姿勢からの相対位置姿勢は、部品の平面内の並進移動と面内(Z軸廻りの)回転移動の量として検出される。
図7(a)は把持ずれがない所期の把持状態における、カメラ32の撮影結果を示している。図7(a)の状態では、ツール座標の原点Otと部品11の基準位置Op(この場合重心)が一致している。また、部品11の姿勢も各辺がツール座標のX軸、Y軸と平行であり、回転ずれは生じていない。この状態を、ツール座標に対する相対位置(X,Y,θ)=(0,0,0)と考える。本実施形態では、このように撮影画像中の空中像マークに対応する撮影像の2つを結ぶ直線の中点と、部品の撮影像の所定部位、例えば重心と、が一致する状態を基準とする。
一方、図7(b)は実際の把持状態を示していて部品11の所定部位、例えば重心に相当する基準点Op(xp,yp)は、ツール座標の原点Ot(xt,yt)とXY平面において一致しておらず、また同平面内でθpだけ回転している。画像処理部40は撮像した画像からマッチング等により部品の基準位置Opと面内回転θpを求める。また、撮影された基準点131、132の空中像から、重心検出などによりそれぞれ点A、Bを求め、線分ABの中点から、ツール座標の基準点Ot(xt,yt)を求める。
以上のようにして、把持ずれなしの基準位置姿勢に対する相対位置姿勢ずれは、
(X,Y,θ)=(xp-xt,yp-yt,-θp)
のように求めることができる。なお、上記で示した式はごく基本な相対位置姿勢の記述である。実際には、各座標値ないし位置姿勢の値には画像歪、光学倍率の補正などの演算を加えることができ、また、必要に応じて作業空間のワールド座標系における座標値に変換することもできる。そのような画像歪や光学倍率の補正に関しては既知の種々の方式があるが、本実施形態の内容に影響を及ぼさないので任意の方法を採用してよい。また、重心や面内回転を求めるには、パターンマッチングによる手法が考えられるが、これらに限定されず任意の手法を用いてよい。さらに、部品の相対位置を求める方法として重心を求める方法を示したが、特定の部品によっては、特徴点や基準点が画像で直接確認できる場合があり、その場合はそれらの特徴点や基準点を用いてもよい。
次に駆動制御部20による補正プログラム24について説明する。駆動制御部20は、画像処理部40よりデータバス50を通じて相対位置データを受信すると補正量を計算する。ワールド座標系での補正量は相対位置の符号を反転させたもの、すなわち補正量Rw(X,Y,θ)は、
Rw(X,Y,θ)=(-xp+xt,-yp+yt,θp)
となる。
補正プログラムは、ワールド座標系での補正量Rwに対してX軸、Y軸とθ方向(Z軸廻り)に関する移動機構(2、3、7)に与える指令値に変換し、把持ずれなしの場合の各軸の駆動量に例えば加算する補正を行う。これにより部品11の位置姿勢を本来の位置姿勢に補正することができる。本実施形態の場合、相対位置から指令値へ加算量への変換は各駆動軸が直交しているため単純にワールド座標の単位に対して駆動軸の単位の倍率を掛ければよい。また、把持ツール10のような吸着手段ではなく、ロボットアーム、例えば垂直多関節ロボットのような保持装置を用いる場合には、最終的な目標位置姿勢をワールド座標系で求めてから逆運動学演算を行い、指令値に変換する。
以上のように、本実施形態によれば、空中像のマークを対象物の保持装置と固定の位置関係で形成するマーク像形成装置を用いている。そのため、実体マークを用いる従来構成のように例えばパースペクティブの影響などを受けることなく、撮影画像から正確かつ確実に対象物の位置姿勢を検出することができる。本実施形態の位置検出装置を部品実装装置に用いることにより、正確かつ確実に実装すべき対象物としての部品の位置姿勢を検出することができ、それに基づき実装時の例えば対象物としての部品の位置姿勢を補正することができる。
また、本実施形態のように空中像のマークを形成するマーク像形成装置を用いる構成は、実装ヘッドなどに装着する際の制約が少なく、また、対象物の撮影対象面と同じ結像位置に位置姿勢検出の基準となる空中像のマークを形成できる。また、空中像のマークは、対象物の保持装置などの妨げとなる構造物を必要とせず形成できる。このような空中像のマークを用いれば、オクルージョン(撮影遮蔽)を生じる可能性が少なく、例えば対象物の搬送中に対象物を停止させることなく位置姿勢の検出のための撮像を行うことができる。従って、本実施形態の位置検出装置を用いた部品実装装置などの製造システムでは、位置姿勢の検出対象の部品などの対象物から物品を製造する工程を遅滞させることなく、迅速に進行させることができる。
<実施形態2>
以下、実施形態2、あるいはさらに実施形態3として、空中像のマークを形成するマーク像形成装置の異なる構成例を示す。
図8(a)~(c)は、本実施形態2において、例えば図4の基準点13として用いることができるマークの空中像を形成するマーク像形成装置、特にその光源装置の光学系の構成を示している。図8(a)~(c)の構成は、実施形態1の光源8、結像レンズ9に相当する。
本実施形態ではその他のハードウエアは実施形態1と同様の構成で実現でき、以下では重複した説明は省略するものとする。
図8(a)~(c)の光源8はチップ型のLEDなど指向性が小さい光源で、主鏡筒70の底に実装されている。光源8の上方には絞り71が配置されている。この絞り71によって、光源からの光が主鏡筒70の壁面で反射してゴースト像を形成することが防止され、また、絞り71のマスクとしての機能により、マークの空中像が例えば点形状になるように制限される。
結像レンズ9は、正の焦点距離を持つレンズであり、好ましくは、例えば収差等を抑制するため、1素子以上のレンズから構成することができる。結像レンズ9は、主鏡筒70とは別体のレンズ鏡筒74に固定されている。レンズ鏡筒74は、主鏡筒70内で図中上下方向に摺動自在に支持され主鏡筒70に対して図8(b)ないし図8(c)に示すように上下動させ、伸縮することによって空中像の結像位置を調節ことができるよう構成する。図8(b)のようにレンズ鏡筒を縮めた場合は空中像の結像位置(結像レンズ9の図中下側の破線の交点)を遠方にずらすことができ、また、図8(c)のようにレンズ鏡筒を伸ばした場合は空中像の結像位置(同)を近くすることができる。
また、図8(a)~(c)の光源装置は、結像位置を設定した後、固定部材73によってレンズ鏡筒74を固定することができるよう構成されている。固定部材73は、例えば外筒に螺合したビスなどによって構成され、レンズ鏡筒74をかしめることにより、レンズ鏡筒74と外筒とを特定の相対的な位置姿勢で固定する。固定部材73は、レンズ鏡筒74と外筒との可動機構と相俟って、レンズ鏡筒74、即ち結像レンズ9の位置姿勢の調節機構を構成する。光源8と、結像レンズ9と、の相対的な位置姿勢を調節する同様の調節機構は、後述の図11(実施形態3)でも用いられる。
このような構成により、部品11の厚みが変化したなどの理由でカメラ32の焦点位置を変更しなければならないような場合にも対処することができる。焦点の調整にはカメラ32で取得される画像を用いることができる。すなわちカメラ32の位置に実装ヘッド5を静止させ、余分なものが写らないように光源31はオフして光源8のみをオンしてカメラ32でビデオ撮影を行う。結像する点でのスポット径が最も小さくなるのでレンズ鏡筒74を上下させ、最も小さくなる点で固定すればよい。なお、レンズ鏡筒74のフォーカシングをモータなどにより制御し、マーク空中像のスポット径を計算してフィードバック制御を行うことによってオートフォーカス機能を実現することもできる。また、以上の説明ではレンズ鏡筒74を伸縮させ、空中像位置を調整する方法を示したが、主鏡筒ごと実装ヘッドに対して上下させて空中像位置を調整する制御手法をとってもよい。また、粗動を主鏡筒ないし実装ヘッドの動作で実施し、微動をレンズ鏡筒の伸縮で実施する構成を用いてもよい。
<実施形態3>
図9は実施形態3で使用される基準点13である空中像を形成する光源装置である。実施形態1の光源8、結像レンズ9に相当する部分である。この実施形態ではその他のハードウエアは実施形態1と同様の構成で実現できる、その重複した説明は省略するものとする。
本実施形態では光源8の代わりに面状のバックライト75、およびフィルタマスク76を用いている。フィルタマスク76は光を通す部位と遮断する部位からなる所定のパターンが形成されている。フィルタマスク76を通過したバックライト75から出た光は、カメラ32の合焦面であり結像レンズ9の焦点位置でもある平面12で結像され、マスクのパターンを反映したシャープな像を結ぶ。平面12はカメラ32の合焦面であるのでカメラ32で撮影される空中像77もピントが合ったシャープなものとなる。即ち、この構成は、マーク像形成装置が、光源と、結像レンズと、マークの空中像の形状に対応する形状の光透過部を有するマスクと、を備える構成である。
なお、フィルタマスク76として固定フィルム部材が安価であるが、フィルタマスク76には液晶フィルタのような透過型光変調パネルを用いることもできる。これにより、フィルタマスク76の透過型光変調パネルを制御するプログラムによって、任意の形状パターン、例えば図10(a)~(d)に示すような文字や図形の空中像マークを形成することができる。
また、有機ELパネルや、マトリクス状に配置された複数のLEDなど、自己発光型の光源を用いてバックライト75とフィルタマスク76を代替し、同等のマーク像形成を行うことができる。また、有機ELパネルや複数のLEDなどを空中像マークの実体形成に用いる場合には、これらの表示装置ないし光源の表示制御ないし点灯制御を介して、マークの空中像の形状パターンを任意に制御することができる。
図10(a)のフィルタマスクの形状パターン1001は、いわゆるトンボ(トリムマーク)などと呼ばれるもので、直交する十字の方向が、それぞれX軸、Y軸方向に一致するよう投影される。このトンボ(トリムマーク)の交点は、例えば位置検出の基準点として用いることができる。
図10(b)のフィルタマスクの形状パターン1002は、上記同様のトンボ(トリムマーク)形状のさらに文字情報を追加したものである。この例では文字情報は「A1234」のようなサンプル文字列であるが、文字情報として例えば組み付け部品のシリアル番号や組み付け日時などの情報をマークの空中像の一部として投影することができる。この構成によれば、文字情報を利用できるため、ソフトウェアバグなどによって撮像データや部品の取り違えなどを起す可能性を低減できる。また、トンボ(トリムマーク)形状に追加した文字情報は、後で取得した画像を解析したり管理したりする際にも有用である。
図10(c)のフィルタマスクの形状パターン1003は、複数、この例では4個のドットから成るマークを空中像として形成することができる。これらのドット間は、例えば互いの距離が既知の等間隔となるよう配置する。図10(c)の複数ドットから成る形状パターン1003は上述同様の対象物の位置検出のための基準点として用いることができる。
図10(d)のフィルタマスクの形状パターン1004は、は空間を分割して白黒のパターンを空中像として表示するものである。例えば、図10(d)の場合、マス目が36個あるので2の36乗通りのパターンを表現できる。それぞれに適宜定義を割り付けておけば図10(b)の場合と比較して、より多くの情報を表示することができる。なお、これまでの説明はモノクロのカメラを使いモノクロの空中像を形成することを前提に説明したが、カラーカメラを用いカラー表現されたマークの空中像を位置検出の基準点に用いる構成であってもよい。
また、固定のフィルタマスクの代わりに透過型光変調パネルを用いる場合は、何種類かの形状パターンを繰り返しカメラ32により撮影させ、その撮影結果を用いて、例えば画像座標からワールド座標への変換を行うための校正データを得ることが考えられる。
さらに、図11(a)~(c)に示すように、マーク像形成装置の光源装置を撮影光軸に対して傾斜して配置する構成においては、フィルタマスク76に対する空中像77はカメラ32の合焦面である平面12に対して傾きを持つ。基準点として点光源の空中像のマークを用いる実施形態1や実施形態2とは異なり、本実施形態のような面構造の空中像のマークの場合は、次のような配慮が必要である。例えば、マークの空中像の大部分がカメラ32の被写界深度範囲を外れてしまう場合がある。これに対処するには、例えば図11(a)に示すように、シャインプルーフの原理を満たすようにフィルタマスク76を傾ける。これにより、空中像77をカメラ32の合焦面である平面12と一致するか、あるいは平行に設定することができる。
本実施形態3では、調節機構を用いて、フィルタマスク76の傾きを例えば光源8の傾きに応じて調整することができる。このため、例えば、レンズ鏡筒74の調整と合わせてカメラ32の合焦面である平面12と空中像77の位置と傾きを一致させることができる。
図11(a)はシャインプルーフの原理を満たす基本構成の一例を示したものであるが、さらに、図11(b)のようにフィルタマスク76およびバックライト75を一体として、照明の光軸に対する傾斜を調整できるよう構成してもよい。あるいはさらに、図11(c)のようにフィルタマスク76およびバックライト75とは独立して照明の光軸に対する結像レンズ9の傾きの調整を行う構成としてもよい。あるいはさらに、フィルタマスク76、バックライト75、結像レンズ9を光軸と交差する任意の方向にシフトする構成(詳細不図示)を追加してもよい。
以上のように、マークの空中像の結像系を構成する照明光学系に、レンズ、光源ないしマークの物体面、あるいはさらにレンズのティルトやシフト調整を行う構成を設けることができる。この構成は、マーク像形成装置の結像レンズと、光源と結像レンズとの相対的な位置姿勢を調節する調節機構に相当する。そして、この前記調節機構によって、例えば、前記マーク像形成装置により形成される前記マークの空中像の結像面が前記撮影装置の撮影光軸と直交するよう設定する、といった調整が可能となる。これにより、撮像条件に最適な位置姿勢および合焦状態で、マークの空中像を形成することができる。