JP3577881B2

JP3577881B2 - Transfer method

Info

Publication number: JP3577881B2
Application number: JP07420097A
Authority: JP
Inventors: 茂堂埜; 洋二浦野; 裕彦峠山
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1997-03-26
Filing date: 1997-03-26
Publication date: 2004-10-20
Anticipated expiration: 2017-03-26
Also published as: JPH10270896A

Description

【０００１】
【発明の属する技術分野】
本発明は、ワークの位置を２段階の画像処理により精密計測補正する移載方法に関するものである。
【０００２】
【従来の技術】
従来、特開平５−４５１２０号（視覚センサ座標系の教示方法）に開示されているように、機械装置のエンドエフェクタ部の先端付近を撮像して画像認識によりワークの位置を計測する技術が知られている。しかしながら、ワークをピックアップする前の画像認識によりワーク位置を認識しても、実際にワークを機械装置でピックアップすると、その際のショックでワークが位置ずれを起こすことがある。また、ワークをピックアップする前の計測だけでは、部品供給装置の設計の自由度が減少するという問題がある。ワークをピックアップした後、画像認識によりワークの位置を計測する技術も多数存在するが、その場合、部品供給装置に厳密な位置決めを必要とする。
【０００３】
一方、特願昭５８−１０９５３２号（認識付電子部品実装装置）には、ワークをピックアップした後における２段階の画像処理計測について開示しているが、組付けワークの計測と目的地計測という２段階であり、１ワークの２段階計測を提案するものではない。
【０００４】
【発明が解決しようとする課題】
本発明は、ワークの位置をピックアップ前とピックアップ後の２段階で画像処理計測することにより、部品供給装置の設計の自由度を大きくすると共に、ワークの精密な位置補正を可能とすると共に、必要に応じてピックアップ前の画像処理計測やピックアップ後の画像処理計測をそれぞれ２段階以上行うことにより、さまざまな計測トラブルや外乱、位置ずれ等に対応可能とすることを課題とする。
【０００５】
【課題を解決するための手段】
本発明の移載方法にあっては、上記の課題を解決するために、図１に示すように、少なくとも水平面内にて位置制御可能な支持体（アーム１１，１２）と、該支持体に装着された第１の撮像手段１と、前記支持体の可動範囲内に設置された第２の撮像手段２と、第１及び第２の撮像手段１，２にそれぞれ付加された補助照明手段３，４と、前記支持体に対して鉛直方向に位置制御可能な可動部材１３と、該可動部材１３に支持されたワーク移載用ハンドＨとから構成される移載装置を用いてワークを移載する方法であって、第１の撮像手段１によりワークを撮像し、この撮像された画像を処理してワークの位置を求め、位置が求められたワークをハンドＨによりピックアップし、ピックアップされたワークを第２の撮像手段２の撮像エリア内へ移動させ、第２の撮像手段２によりワークを再び撮像し、この撮像された画像を処理してワークの水平面内の回転量及びハンド回転中心位置に対する偏心量を求めて、求められた回転量及び偏心量に基づいて予め設定された目的地データを補正し、補正後の目的地データに基づいてワークを目的地に移載する方法であり、第２の撮像手段２による画像認識処理において、パターンマッチングの基準となるテンプレートの回転中心とワークの回転中心が一致する場合、１回の画像処理でワークの回転量を計測し、パターンマッチングの基準となるテンプレートの回転中心とワークの回転中心が一致しない場合、ワークの回転量又は水平方向の偏心量のうち一方を１回目の画像処理で計測し、ワークの回転量又は水平方向の偏心量のうち他方を２回目の画像処理で計測することを特徴とするものである。
【０００６】
また、前記支持体が少なくとも回転するアーム１１，１２を含んで構成されている移載装置を用いてワークを移載する方法として、第１の撮像手段１によりワークを撮像し、この撮像された画像を処理してワークの位置を画像上の基準位置に対する変位を示すベクトルとして表現し、前記支持体の姿勢に応じて前記画像上の基準位置をベクトルとして表現し、前記各ベクトルを合成してワークの位置を求めて、位置が求められたワークをハンドによりピックアップし、ピックアップされたワークを第２の撮像手段２の撮像エリア内へ移動させ、第２の撮像手段２によりワークを再び撮像し、この撮像された画像を処理してワークの水平面内の回転量及びハンド回転中心位置に対する偏心量を求めて、求められた回転量及び偏心量に基づいて予め設定された目的地データを補正し、補正後の目的地データに基づいてワークを目的地に移載する移載方法であって、第２の撮像手段２による画像認識処理において、パターンマッチングの基準となるテンプレートの回転中心とワークの回転中心が一致する場合、１回の画像処理でワークの回転量を計測し、パターンマッチングの基準となるテンプレートの回転中心とワークの回転中心が一致しない場合、ワークの回転量又は水平方向の偏心量のうち一方を１回目の画像処理で計測し、ワークの回転量又は水平方向の偏心量のうち他方を２回目の画像処理で計測することを提案するものである。
【０００７】
【発明の実施の形態】
図１は本発明に用いる移載装置の全体構成を示す斜視図である。図中、１０はＮＣ制御装置であり、移載装置本体５に対して水平面内で回動制御可能な第１アーム１１と、第１アーム１１の回動端に枢支されて第１アーム１１に対して水平面内で回動制御可能な第２アーム１２と、第２アーム１２の回動端に対して鉛直方向に位置制御可能な可動軸１３とを少なくとも備えている。この可動軸１３は第２アーム１２の回動端に対して水平面内で回動制御可能である。これにより、可動軸１３の下端部は可動範囲内であれば３次元座標軸上の任意の座標にＮＣ制御可能であり、かつ水平面内で回転方向の姿勢を制御可能である。
【０００８】
可動軸１３の下端部にはワーク移載用ハンドＨが装着されている。ワーク移載用ハンドＨは、鉛直軸を中心として大きく鉛直面内で小さく回動制御可能である。また、第２アーム１２には可動軸１３の近傍に第１の撮像手段１が装着されている。第１の撮像手段１には補助照明手段３が付加されている。
【０００９】
装置本体５の上面には、第１アーム１１及び第２アーム１２の回転半径以内に、第２の撮像手段２と作業テーブル７が配置されており、第２の撮像手段２の周囲には補助照明手段４が付加されている。また、装置本体５に隣接してワーク（部品）を移入及び移出するためのコンベア装置６が付設されている。
【００１０】
ここで、第１の撮像手段１と第２の撮像手段２の役割について説明すると、第１の撮像手段１は、ワーク移載用ハンドＨによりワークをピックアップする際に、ワークの位置を画像計測処理により求めるために用いており、第２の撮像手段２は、ワーク移載用ハンドＨによりピックアップされたワークを画像計測処理してワークの水平面内の回転量及びハンド回転中心位置に対する偏心量を求めるために用いている。すなわち、第１の撮像手段１はワークをピックアップする前の画像認識処理に用いており、第２の撮像手段２はワークをピックアップした後の画像認識処理に用いている。
【００１１】
ところで、第１の撮像手段１はワーク移載用ハンドＨのピックアップ部近傍の視野を撮像する必要があるので、第２アーム１２の先端（移動端）に装着されて、ワーク移載用ハンドＨと共に水平面内を移動する。このため、第１の撮像手段１により撮像されるワークの画像は第１アーム１１や第２アーム１２の角度によって水平面内でＸ−Ｙ方向に移動するのみならず、Ｘ軸やＹ軸に対して画像自体が回転することになり、画像計測処理により求めたワーク位置の画面上での座標をＸ−Ｙ座標に変換するための変換式は、第１アーム１１や第２アーム１２の角度によって異なることになる。
【００１２】
本発明では、このような煩雑さを解消するために、ベクトル表現を用いている。つまり、第１の撮像手段１により撮像された画像を処理してワーク位置を画像上の基準位置（以下、「カメラ位置」と呼ぶ）に対する変位を示すベクトルとして表現し、また、各アーム１１，１２の姿勢に応じて前記カメラ位置をベクトルとして表現し、これらのベクトルを合成してワーク位置を求めている。
【００１３】
以下、ベクトル表現を用いてワーク位置を求める手法について一例を挙げて説明する。図２は第１アーム１１の回動中心を原点として、第２アーム１２の先端（移動端）に装着された第１の撮像手段としてのＣＣＤカメラ１と、ワークＷの位置関係を水平面内（Ｘ−Ｙ座標系）で示したものである。ＣＣＤカメラ１により撮像された画像は、例えば、図３に示すようになる。この例では、ワーク位置Ｐｗとカメラ位置Ｐｃは若干ずれているが、そのずれの量や方向は一定ではない。一方、ハンド位置Ｐｈ（ワーク移載用ハンドＨの中心位置）とカメラ位置Ｐｃの間隔（ずれの量）は一定であるが、ハンド位置Ｐｈから見たカメラ位置Ｐｃの方向は各アーム１１，１２の角度によって異なる。
【００１４】
以上の関係をベクトル図で表現すると、図４のようになる。図中、Ｐｈはハンド位置（Ｘｈ，Ｙｈ）、Ｐｃはカメラ位置（Ｘｃ，Ｙｃ）、Ｐｗはワーク位置（Ｘｗ，Ｙｗ）である。Ｌ₁は第１アーム１１のベクトル、Ｌ₂は第２アーム１２のベクトル、Ｌ₃はハンド位置Ｐｈから見たカメラ位置Ｐｃのベクトル、Ｌ₄はカメラ位置Ｐｃとワーク位置Ｐｗのずれを示すベクトルである。部品位置ベクトルＬは、
Ｌ＝Ｌ₁＋Ｌ₂＋Ｌ₃＋Ｌ₄
と表現できる。
【００１５】
次に、座標変換アルゴリズムについて説明する。まず、事前作業としてキャリブレーションを行う。図５はキャリブレーション時の第１アームと第２アームの姿勢を示している。第１アームはＸ軸に対してθ₀₁の角度となるようにＮＣ制御されており、第２アームは第１アームに対してθ₀₂の角度となるようにＮＣ制御されている。ワーク位置はカメラ位置と一致させている。このときの部品位置ベクトルＬ₀は、図６のベクトル図から明らかなように、
Ｌ₀＝Ｌ₀₁＋Ｌ₀₂＋Ｌ₀₃＋Ｌ₀₄
ただし、Ｌ₀₄＝（０，０）
と表現することができる。
【００１６】
キャリブレーションが完了すれば、図７に示すように、任意のワーク位置を算出可能となる。まず、カメラの画像上にワークが含まれるように、第１アームの角度θ_i1と第２アームの角度θ_i2を設定する。このとき、ハンド位置のベクトルは、図８のベクトル図から明らかなように、Ｌ_i1＋Ｌ_i2となり、各アームの角度θ_i1とθ_i2に基づいて求めることができる。また、ハンド位置から見たカメラ位置のベクトルＬ_i3は、次式で求めることができる。
Ｌ_i3＝ｆ（θ_i1，θ_i2）＝Ｒ（Δθｉ）・Ｌ₀₃
ただし、Δθｉ＝（θ_i1−θ₀₁）＋（θ_i2−θ₀₂）
ここで、Ｒ（Δθｉ）は、キャリブレーション時のハンド位置から見たカメラ位置の変位を表すベクトルＬ₀₃の方向を、キャリブレーション時に対する各アームの回転角度Δθｉに応じて回転させるための２行２列のマトリクスである。
【００１７】
次に、画面上でのカメラ位置に対するワーク位置の変位を表すベクトルＬ_i4（ｖｉｓｉｏｎ）を画像計測処理により求める。このベクトルＬ_i4（ｖｉｓｉｏｎ）は、パターンマッチング等の画像処理技術によりワーク位置の画面上での座標（画素の水平走査位置及び垂直走査位置）を求めて、これとカメラ位置の画面上での座標（例えば、画面中央の画素の水平走査位置及び垂直走査位置）との差分として表現することができる。そして、この画面上でのベクトルＬ_i4（ｖｉｓｉｏｎ）をＸ−Ｙ座標系でのカメラ位置に対するワーク位置の変位を表すベクトルＬ_i4に変換するには、次式を用いる。
Ｌ_i4＝Ｍ（θ_i1＋θ_i2＋α）・Ｌ_i4（ｖｉｓｉｏｎ）
ただし、αはカメラの取り付けオフセット角（定数）である。
ここで、Ｍ（θ_i1＋θ_i2＋α）は、画面上でのベクトルＬ_i4（ｖｉｓｉｏｎ）の長さと方向を、各アームの姿勢に応じて、Ｘ−Ｙ座標系でのカメラ位置に対するワーク位置の変位を表すベクトルＬ_i4に変換するための２行２列のマトリクスである。
【００１８】
以上の各分割ベクトルを求めた後、これらを合成すれば、ワーク位置のベクトルは、
Ｌｉ＝Ｌ_i1＋Ｌ_i2＋Ｌ_i3＋Ｌ_i4
として求めることができる。つまり、ワーク位置ＰｗのＸ−Ｙ座標系での座標データを各アームの姿勢にかかわらず、（Ｘｗ，Ｙｗ）＝Ｌｉとして求めることができる。以上のようなベクトル表現の手法によりワーク位置を算出すれば、キャリブレーション作業が簡単であるうえに、デバッグ作業も容易に行える。
【００１９】
ワーク位置が分かれば、ワーク移載用ハンドＨによりワークＷをピックアップして、これを第２の撮像手段２の上方に運び、第２の撮像手段２によりワークＷを撮像し、ワークセンターとハンド回転センターの水平面内での偏位量や、ハンドＨに対するワークＷの回転量を画像計測処理により求めて位置補正を行うものであるが、この後姿勢画像認識は、２次元（Ｘ−Ｙ座標系）で行うため、ワークの水平面を確保する必要がある。
【００２０】
そこで、ワークＷをピックアップするワーク移載用ハンドＨには、図９に示すように、ワークＷの基準面に当接する位置決め用のプレートＰを設けている。この例では、ワークの上面に当接するプレートＰがハンドＨの下面に設けられており、ピックアップ用の爪ＮによりワークＷを押さえることにより、ワークＷの下面は水平となり、後姿勢画像認識の精度を確保できる。仮に、プレートＰが無ければ、ピックアップ時の機械的な衝撃等によりワークＷが水平面に対して傾斜する場合があり、これを防止する目的で位置決め用のプレートＰを設けることが好ましい。
【００２１】
また、図１０に示すように、ワーク移載用ハンドＨは、ハンド上部を支点に鉛直面上を微小な角度（例えば、±０．５度程度）回転できるようにしても良い。このようにすれば、傾斜しているワークもピックアップしやすいし、位置決め用のプレートだけでは水平面を確保できない場合にも対応できる。
【００２２】
ここで、第１の撮像手段１による前姿勢画像認識と位置補正の方法について説明する。第１の撮像手段１による画像認識処理において、図１１に示すように、現在計測値Ｘｍが基準計測値Ｘｏと異なる場合、現在計測値Ｘｍと基準計測値Ｘｏの大きさの比率（Ｘｍ／Ｘｏ）から現在のワーク移載用ハンドと対象ワーク間の鉛直距離をＹｍ＝Ｙｏ・（Ｘｍ／Ｘｏ）として算出し、これにより、鉛直方向の位置補正を行うことができる。また、図１２に示すように、第１の撮像手段１による画像認識処理において、現在計測値Ｘｍが基準計測値Ｘｏと異なる場合、大きさの比率（Ｘｍ／Ｘｏ）から現在のワークの水平位置補正をｄＸｍ＝ｄＸｏ・（Ｘｍ／Ｘｏ）として算出し、これにより、水平方向の位置補正を行うことができる。
【００２３】
また、第１の撮像手段１によるワーク位置の画像認識処理で計測不可能な場合、図１３に示すように、第１の撮像手段１の位置を水平面内で徐々にずらしながら再計測を行う。この場合、第１の撮像手段１の移動方向を、図１４に示すように、第１回目の撮像中心から水平面内で渦巻き状に拡がりながら設定すれば、再計測の回数を少なくすることができる。なお、１回の計測で画像認識処理不可能な場合に、補助照明装置３の灯光方向又は灯光量の少なくとも一方を変化させて再計測を行うことが好ましい。
【００２４】
次に、第２の撮像手段２による後姿勢画像認識と位置補正の方法について説明する。ワーク移載用ハンドＨによりピックアップされたワークＷは、第２の撮像手段２の上方に運ばれて、下方から撮像される。撮像されたワークの画像の一例を図１５に示す。この例では、画像認識処理用のパターンマッチングの基準となるテンプレート（図中の破線で示す図形）の回転中心とワーク（図中の実線で示す図形）の回転中心が一致しており、１回の撮像でワークの回転量αを認識し、回転方向について、−αだけワークの姿勢を補正する。
【００２５】
この図１５のようにテンプレートの回転中心とワークの回転中心（以下、「ワークセンター」と呼ぶ）が一致するのは、それほど稀なケースではない。なぜなら、既に第１の撮像手段１によりワークＷの位置をピックアップ前に装置が認識しており、また、ハンドＨの回転中心は装置の側で認識しているから、ワークＷをピックアップする際に、図１６に示すように、ワークセンターとハンド回転センターが一致するようにピックアップしており、そのピックアップの際の衝撃でワークがずれなかった場合には、ワークセンターとハンド回転センターは一致していることになる。そして、このピックアップされたワークを第２の撮像手段２の上方に運ぶ操作はＮＣ制御により行われるものであるから、第２の撮像手段２による画像認識処理用のパターンマッチングの基準となるテンプレートの回転中心とワーク移載用ハンドＨの回転中心が一致する位置に移動させることは可能である。したがって、ワークをピックアップの際の衝撃でワークがずれなかった場合には、図１５のように、ワークの回転量の補正だけで事足りると考えて良い。
【００２６】
一方、ワークをピックアップの際の衝撃でワークがハンドの正規の位置からずれた場合、例えば、少し誇張して示してあるが、図１７のように、ワークがハンドの爪から外れているような場合、第２の撮影手段２により撮像されたワークの画像は、図１８のようになり、画像認識処理用のパターンマッチングの基準となるテンプレート（図中の破線で示す図形）の回転中心とワークセンターは一致しない。このような場合、１回目の撮像による画像認識により、ワークの回転量αを認識し、その場で回転方向について、−αだけワークの姿勢を補正する。次に、２回目の撮像を行うと、第２の撮影手段により撮像されたワークの画像は、図１９のようになる。この２回目の撮像による画像認識により、ワークセンターとテンプレートの回転中心の水平方向の偏心量（ｘ，ｙ）を計測し、Ｘ軸について−ｘ、Ｙ軸について−ｙだけそれぞれ位置補正する。この手順は逆でも良く、１回目の撮像による画像認識により、ワークの水平方向の偏心量を補正して図１５の状態に持ち込み、２回目の撮像による画像認識により、ワークの回転量αを認識し補正する、という手順であっても良い。
【００２７】
ところで、第２の撮像手段２による画像認識処理において、１回の画像認識処理で計測不可能な場合には、図２０に示すように、ワーク移載用ハンドＨを鉛直面内で徐々に移動させながら再計測を行う。あるいは、図２１に示すように、ワーク移載用ハンドＨに把持されたワークＷを水平面内で徐々に回転させながら再計測を行う。さらにまた、図２２に示すように、ワーク移載用ハンドを鉛直方向に徐々に移動させながら再計測を行う。この際、ワークの鉛直移動方向は、画像認識処理のパターンマッチングの相関値のより高くなる方向へワークを移動させることが好ましい。また、１回の計測で画像認識処理不可能な場合に、補助照明装置４の灯光方向又は灯光量の少なくとも一方を変化させて再計測を行うことが好ましい。
【００２８】
これらの再計測の手法は単独で使用するのみならず適宜組み合わせて使用しても良いことは言うまでもない。
【００２９】
【発明の効果】
請求項１の発明によれば、ワーク移載用ハンドによりワークをピックアップする前にワーク位置を第１の撮像手段により認識すると共に、ワーク移載用ハンドによりワークをピックアップした後に第２の撮像手段によりワーク位置を再認識することができるから、ワーク位置の２段階計測により精度が向上するという効果があり、また、部品供給の簡素化が可能になるという効果がある。さらに、請求項１４又は１５の発明によれば、ワークをピックアップする際のワークの傾斜を防止できるという効果がある。
【００３０】
請求項２の発明によれば、ベクトル表現を用いてワーク位置を求めているので、ワーク移載用ハンドの移動に伴って第１の撮像手段の姿勢が回転してもワーク位置を容易に算出することができるという効果がある。
請求項３の発明によれば、表裏判別が容易となり、表裏で特徴のある画像を精密計測できるという効果がある。
【００３１】
請求項４の発明によれば、ハンドとワーク間の距離を自動計算することができ、ティーチングが不要になるという効果があり、請求項５の発明によれば、基準値の再設定が不要になるという効果がある。
請求項６の発明によれば、ワークが第１の撮像手段の視野から外れている場合に再計測により対応できるという効果があり、請求項７の発明によれば、その再計測の繰り返し回数の削減が可能になるという効果がある。
【００３２】
請求項１の発明によれば、ワークの回転方向の姿勢のずれに対応することができるという効果がある。また、請求項１の発明によれば、ワーク中心とハンド中心の位置ずれに対応できるという効果がある。
請求項８又は９の発明によれば、ワークの回転や傾きによる計測トラブル等の外乱に対応できるという効果があり、また、請求項１０の発明によれば、距離の相違による計測トラブル等の外乱に対応できるほか、撮像手段のピントが合っていない場合にも対応できるという効果がある。さらに、請求項１１の発明によれば、パターンマッチングの相関値を利用することにより再計測の繰り返し回数の削減が可能になるという効果がある。また、請求項１２又は１３の発明によれば、ワーク表面の反射率の相違等があっても照明条件の変更により対応できるという効果がある。
【図面の簡単な説明】
【図１】本発明に用いる移載装置の全体構成を示す斜視図である。
【図２】本発明に用いる移載装置のアーム部の概略構成図である。
【図３】本発明に用いる移載装置のハンド部とカメラ部の位置関係を示す説明図である。
【図４】本発明に用いる移載装置のハンド部とカメラ部の位置をベクトル表現した説明図である。
【図５】本発明に用いる移載装置のキャリブレーション時のアーム部の姿勢を示す説明図である。
【図６】本発明に用いる移載装置のキャリブレーション時のハンド部とカメラ部の位置をベクトル表現した説明図である。
【図７】本発明に用いる移載装置の計測時のアーム部の姿勢を示す説明図である。
【図８】本発明に用いる移載装置の計測時のハンド部とカメラ部の位置をベクトル表現した説明図である。
【図９】請求項１４のプレートを備えるワーク移載用ハンドの使用状況を示す説明図である。
【図１０】請求項１５の上部が回転可能となったワーク移載用ハンドの使用状況を示す説明図である。
【図１１】請求項４の作用を説明するための説明図である。
【図１２】請求項５の作用を説明するための説明図である。
【図１３】請求項６の作用を説明するための説明図である。
【図１４】請求項７の作用を説明するための説明図である。
【図１５】請求項１の回転中心が一致する場合の作用を説明するための説明図である。
【図１６】請求項１の回転中心が一致する場合のワークとハンドの位置関係を示す説明図である。
【図１７】請求項１の回転中心が一致しない場合のワークとハンドの位置関係を示す説明図である。
【図１８】請求項１の回転中心が一致しない場合の１回目の計測時の作用を説明するための説明図である。
【図１９】請求項１の回転中心が一致しない場合の２回目の計測時の作用を説明するための説明図である。
【図２０】請求項９の作用を説明するための説明図である。
【図２１】請求項８の作用を説明するための説明図である。
【図２２】請求項１０の作用を説明するための説明図である。
【符号の説明】
１第１の撮像手段
２第２の撮像手段
３補助照明手段
４補助照明手段
５移載装置本体
１０ＮＣ制御装置
１１第１アーム
１２第２アーム
１３可動軸
Ｈワーク移載用ハンド[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a transfer method for precisely measuring and correcting the position of a workpiece by two-stage image processing.
[0002]
[Prior art]
Conventionally, as disclosed in Japanese Patent Application Laid-Open No. 5-45120 (Teaching method of visual sensor coordinate system), there is known a technique for measuring the position of a workpiece by image recognition by capturing an image of the vicinity of the end of an end effector section of a mechanical device. Has been. However, even if the work position is recognized by image recognition before the work is picked up, if the work is actually picked up by a mechanical device, the work may be displaced by a shock at that time. Further, there is a problem that the degree of freedom in designing the component supply device is reduced only by the measurement before picking up the workpiece. There are many techniques for measuring the position of a work by image recognition after picking up the work, but in this case, strict positioning is required for the component supply device.
[0003]
On the other hand, Japanese Patent Application No. 58-109532 (electronic component mounting apparatus with recognition) discloses two-stage image processing measurement after picking up a work. This is a stage, and does not suggest two-stage measurement of one work.
[0004]
[Problems to be solved by the invention]
The present invention, by an image processing measuring the position of the workpiece in two stages after the pickup before and pickup, as well as the degree of freedom in designing the component supplying device, thereby enabling a precise positional correction of the workpiece, required It is an object of the present invention to make it possible to cope with various measurement troubles, disturbances, displacements, and the like by performing two or more stages of image processing measurement before pickup and image processing measurement after pickup according to the above.
[0005]
[Means for Solving the Problems]
In the transfer method of the present invention, in order to solve the above-mentioned problem, as shown in FIG. 1, a support (arms 11 and 12) whose position can be controlled at least in a horizontal plane, and The first imaging means 1 mounted, the second imaging means 2 installed within the movable range of the support, and the auxiliary lighting means 3 added to the first and second imaging means 1 and 2, respectively. , 4, a movable member 13 whose position can be controlled in the vertical direction with respect to the support, and a workpiece transfer hand H supported by the movable member 13 to transfer the work. In the loading method, the work is imaged by the first imaging means 1, the imaged image is processed, the position of the work is obtained, and the work whose position is obtained is picked up by the hand H, and the picked-up work is picked up. Place the work in the imaging area of the second imaging means 2 The workpiece is again imaged by the second imaging means 2, and the captured image is processed to determine the amount of rotation of the workpiece in the horizontal plane and the amount of eccentricity with respect to the hand rotation center position. This is a method for correcting preset destination data based on the amount of eccentricity and transferring a work to the destination based on the corrected destination data. If the rotation center of the template and the rotation center of the work that are the reference for matching match, the rotation amount of the work is measured by one image processing, and the rotation center of the template and the rotation center of the work that are the reference of the pattern matching match. If not, one of the rotation amount of the work or the eccentricity in the horizontal direction is measured in the first image processing, and the other of the rotation amount of the work or the eccentricity in the horizontal direction is measured. It is characterized in that measured in round eye image processing.
[0006]
In addition, as a method of transferring a work using a transfer device having the support including at least the rotating arms 11 and 12, the work is imaged by the first imaging unit 1 and the image is taken. Processing the image to represent the position of the workpiece as a vector indicating the displacement with respect to the reference position on the image, expressing the reference position on the image as a vector according to the attitude of the support, and combining the vectors The position of the work is obtained, the work for which the position is obtained is picked up by the hand, the picked-up work is moved into the imaging area of the second imaging means 2, and the work is imaged again by the second imaging means 2. By processing the captured image, the amount of rotation of the work in the horizontal plane and the amount of eccentricity with respect to the center of rotation of the hand are obtained, and the amount of eccentricity is calculated based on the obtained amount of rotation and the amount of eccentricity. Correcting the set destination data, a transfer method for transferring a workpiece to the destination based on the destination data after correction, the second image recognition processing by the image pickup means 2, the pattern matching reference If the rotation center of the template matches the rotation center of the work, the rotation amount of the work is measured by one image processing. If the rotation center of the template and the rotation center of the work, which is the reference for pattern matching, do not match, Propose that one of the rotation amount of the work or the eccentricity in the horizontal direction is measured in the first image processing, and the other of the rotation amount of the work or the eccentricity in the horizontal direction is measured in the second image processing. It is.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a perspective view showing the overall configuration of the transfer device used in the present invention. In the drawing, reference numeral 10 denotes an NC control device, a first arm 11 that can be controlled to rotate in a horizontal plane with respect to the transfer device main body 5, and a first arm 11 that is pivotally supported by a rotation end of the first arm 11. And at least a movable shaft 13 whose position can be controlled in a direction perpendicular to the rotation end of the second arm 12. The movable shaft 13 is rotatable in a horizontal plane with respect to the rotating end of the second arm 12. As a result, the lower end of the movable shaft 13 can be NC-controlled to arbitrary coordinates on the three-dimensional coordinate axis as long as it is within the movable range, and the attitude in the rotational direction can be controlled in a horizontal plane.
[0008]
A work transfer hand H is attached to the lower end of the movable shaft 13. The work transfer hand H can be controlled to be large and small in the vertical plane about the vertical axis. Further, the first imaging means 1 is mounted on the second arm 12 near the movable shaft 13. An auxiliary lighting unit 3 is added to the first imaging unit 1.
[0009]
On the upper surface of the apparatus main body 5, the second imaging means 2 and the work table 7 are arranged within the rotation radius of the first arm 11 and the second arm 12, and the auxiliary around the second imaging means 2. Lighting means 4 is added. Further, a conveyor device 6 is provided adjacent to the device main body 5 for transferring and unloading works (parts).
[0010]
Here, the role of the first imaging unit 1 and the second imaging unit 2 will be described. The first imaging unit 1 measures the position of the work when picking up the work by the work transfer hand H. The second imaging means 2 performs image measurement processing of the work picked up by the work transfer hand H and calculates the amount of rotation of the work in a horizontal plane and the amount of eccentricity with respect to the hand rotation center position. Used to determine. That is, the first imaging means 1 is used for image recognition processing before picking up the work, and the second imaging means 2 is used for image recognition processing after picking up the work.
[0011]
Since the first imaging means 1 needs to take an image of the field of view near the pickup portion of the work transfer hand H, it is mounted on the tip (moving end) of the second arm 12 and the work transfer hand H is mounted. And move in the horizontal plane. For this reason, the image of the work imaged by the first imaging means 1 not only moves in the XY direction in the horizontal plane depending on the angle of the first arm 11 or the second arm 12, but also moves with respect to the X axis and the Y axis. As a result, the image itself is rotated, and the conversion formula for converting the coordinates on the screen of the work position obtained by the image measurement processing into the XY coordinates is determined by the angles of the first arm 11 and the second arm 12. Will be different.
[0012]
In the present invention, a vector expression is used to eliminate such complexity. That is, the image captured by the first image capturing means 1 is processed, and the work position is expressed as a vector indicating a displacement with respect to a reference position (hereinafter, referred to as a “camera position”) on the image. The camera position is expressed as a vector in accordance with the 12 postures, and these vectors are combined to obtain a work position.
[0013]
Hereinafter, a method of obtaining a work position using a vector expression will be described with an example. FIG. 2 shows the positional relationship between the CCD camera 1 as the first imaging means attached to the tip (moving end) of the second arm 12 and the work W in the horizontal plane with the rotation center of the first arm 11 as the origin. (XY coordinate system). An image captured by the CCD camera 1 is, for example, as shown in FIG. In this example, the work position Pw and the camera position Pc are slightly shifted, but the amount and direction of the shift are not constant. On the other hand, the distance (the amount of displacement) between the hand position Ph (the center position of the workpiece transfer hand H) and the camera position Pc is constant, but the direction of the camera position Pc viewed from the hand position Ph is the direction of each of the arms 11 and 12. Depends on the angle.
[0014]
The above relationship is represented by a vector diagram as shown in FIG. In the figure, Ph indicates a hand position (Xh, Yh), Pc indicates a camera position (Xc, Yc), and Pw indicates a work position (Xw, Yw). L ₁ is a vector indicating a displacement vector of the first arm 11, L ₂ vector of the second arm 12, L ₃ is a vector of camera position Pc as seen from the hand position Ph, L ₄ is a camera position Pc and the workpiece position Pw It is. The component position vector L is
L = L ₁ + L ₂ + L ₃ + L ₄
Can be expressed as
[0015]
Next, a coordinate conversion algorithm will be described. First, calibration is performed as a preliminary operation. FIG. 5 shows the postures of the first arm and the second arm during calibration. The first arm is NC controlled so as to have an angle of θ ₀₁ with respect to the X axis, and the second arm is NC controlled so as to have an angle of θ ₀₂ with respect to the first arm. The work position matches the camera position. The component position vector L _{0 at} this time is, as apparent from the vector diagram of FIG.
L ₀ = L ₀₁ + L ₀₂ + L ₀₃ + L ₀₄
Where L ₀₄ = (0,0)
Can be expressed as
[0016]
When the calibration is completed, an arbitrary work position can be calculated as shown in FIG. First, the angle θ _i1 of the first arm and the angle θ _i2 of the second arm are set so that the work is included in the image of the camera. In this case, the vector of the hand position can be determined based As apparent from the vector diagram of FIG. 8, the L _i1 + L _i2, and the angle theta _i1 and theta _i2 of each arm. Further, the vector _Li3 of the camera position viewed from the hand position can be obtained by the following equation.
L _i3 = f (θ _i1 , θ _i2 ) = R (Δθi) · L ₀₃
Where Δθi = (θ _i1 −θ ₀₁ ) + (θ _i2 −θ ₀₂ )
Here, R (Δθi) is two lines for rotating the direction of the vector _L03 representing the displacement of the camera position viewed from the hand position at the time of calibration according to the rotation angle Δθi of each arm with respect to the time of calibration. It is a two-column matrix.
[0017]
Next, a vector _Li4 (vision) representing the displacement of the work position with respect to the camera position on the screen is obtained by image measurement processing. The vector _Li4 (vision) is obtained by calculating the coordinates (horizontal scanning position and vertical scanning position of the pixel) of the work position on the screen by using an image processing technique such as pattern matching, and calculating the coordinates of the work position and the camera position on the screen. (For example, the horizontal scanning position and the vertical scanning position of the pixel at the center of the screen). Then, to convert the vector _Li4 (vision) on this screen into a vector _Li4 representing the displacement of the work position with respect to the camera position in the XY coordinate system, the following equation is used.
L _i4 = M (θ _i1 + θ _i2 + α) · L _i4 (vision)
Here, α is the mounting offset angle (constant) of the camera.
Here, M (θ _i1 + θ _i2 + α) is the length and direction of the vector L _i4 (vision) on the screen, and the position of the workpiece position with respect to the camera position in the XY coordinate system according to the posture of each arm. It is a matrix of 2 rows and 2 columns for converting into a vector _Li4 representing displacement.
[0018]
After obtaining each of the above divided vectors, by combining them, the vector at the work position becomes
Li = _Li1 + _Li2 + _Li3 + _Li4
Can be obtained as That is, the coordinate data of the work position Pw in the XY coordinate system can be obtained as (Xw, Yw) = Li regardless of the posture of each arm. If the work position is calculated by the above-described vector expression method, the calibration work is simple and the debugging work can be easily performed.
[0019]
If the work position is known, the work W is picked up by the work transfer hand H, carried above the second imaging means 2, the work W is imaged by the second imaging means 2, and the work center and the hand are picked up. The position correction is performed by calculating the amount of deviation of the rotation center in the horizontal plane and the amount of rotation of the work W with respect to the hand H by image measurement processing. In this postural image recognition, two-dimensional (XY coordinates) is used. System), it is necessary to secure the horizontal surface of the work.
[0020]
Therefore, the work transfer hand H that picks up the work W is provided with a positioning plate P that contacts the reference surface of the work W, as shown in FIG. In this example, a plate P that is in contact with the upper surface of the work is provided on the lower surface of the hand H, and the lower surface of the work W is leveled by pressing the work W with the claw N for pick-up. Can be secured. If there is no plate P, the workpiece W may be inclined with respect to the horizontal plane due to mechanical shock or the like at the time of pickup, and it is preferable to provide a positioning plate P for the purpose of preventing this.
[0021]
Further, as shown in FIG. 10, the work transfer hand H may be configured to be able to rotate on a vertical plane by a small angle (for example, about ± 0.5 degrees) with the upper part of the hand as a fulcrum. In this way, it is easy to pick up an inclined work, and it is possible to cope with a case where a horizontal surface cannot be secured with only a positioning plate.
[0022]
Here, a method of the front posture image recognition and the position correction by the first imaging unit 1 will be described. As shown in FIG. 11, in the image recognition process performed by the first imaging unit 1, when the current measurement value Xm is different from the reference measurement value Xo, the ratio of the magnitude of the current measurement value Xm to the reference measurement value Xo (Xm / Xo) ), The vertical distance between the current work transfer hand and the target work is calculated as Ym = Yo · (Xm / Xo), whereby the vertical position can be corrected. As shown in FIG. 12, when the current measurement value Xm is different from the reference measurement value Xo in the image recognition processing by the first imaging unit 1, the horizontal position of the current work is calculated based on the size ratio (Xm / Xo). The correction is calculated as dXm = dXo · (Xm / Xo), whereby the horizontal position correction can be performed.
[0023]
If the work cannot be measured by the image recognition processing of the work position by the first imaging means 1, re-measurement is performed while gradually shifting the position of the first imaging means 1 in the horizontal plane as shown in FIG. In this case, if the moving direction of the first imaging unit 1 is set while spreading spirally in the horizontal plane from the first imaging center as shown in FIG. 14, the number of remeasurements can be reduced. . In addition, when the image recognition process cannot be performed by one measurement, it is preferable to perform the re-measurement by changing at least one of the light direction and the light amount of the auxiliary lighting device 3.
[0024]
Next, a method of recognizing the rear posture image and correcting the position by the second imaging unit 2 will be described. The work W picked up by the work transfer hand H is carried above the second imaging means 2 and is imaged from below. FIG. 15 shows an example of a captured image of the work. In this example, the rotation center of the template (the figure shown by the broken line in the figure), which is the reference for pattern matching for image recognition processing, and the rotation center of the work (the figure shown by the solid line in the figure) match. , The rotation amount α of the work is recognized, and the posture of the work is corrected by −α in the rotation direction.
[0025]
It is not a rare case that the rotation center of the template coincides with the rotation center of the work (hereinafter referred to as “work center”) as shown in FIG. This is because the apparatus has already recognized the position of the work W by the first imaging unit 1 before the pickup, and the rotation center of the hand H has been recognized by the apparatus side. As shown in FIG. 16, the work center and the hand rotation center are picked up so that they coincide with each other. If the work does not shift due to the impact at the time of the pickup, the work center and the hand rotation center are coincident with each other. Will be. Since the operation of transporting the picked-up work above the second imaging means 2 is performed by NC control, a template serving as a reference for pattern matching for image recognition processing by the second imaging means 2 is used. It is possible to move the rotation center to the position where the rotation center of the workpiece transfer hand H coincides. Therefore, when the work does not shift due to the impact of picking up the work, it may be considered that only the correction of the rotation amount of the work is sufficient as shown in FIG.
[0026]
On the other hand, when the work is deviated from the normal position of the hand due to the impact of picking up the work, for example, although slightly exaggerated, as shown in FIG. In this case, the image of the work imaged by the second photographing means 2 is as shown in FIG. 18, and the rotation center of the template (the figure shown by the broken line in the figure) and the rotation center of the template as the reference for pattern matching for image recognition processing Centers do not match. In such a case, the rotation amount α of the work is recognized by the image recognition by the first imaging, and the posture of the work is corrected by −α in the rotation direction on the spot. Next, when the second imaging is performed, the image of the work captured by the second imaging unit is as shown in FIG. By this image recognition by the second imaging, the horizontal eccentricity (x, y) of the rotation center of the work center and the template is measured, and the position is corrected by -x on the X axis and by -y on the Y axis. This procedure may be reversed, and the eccentricity of the work in the horizontal direction is corrected by the image recognition by the first imaging, brought into the state of FIG. 15, and the rotation α of the work is recognized by the image recognition by the second imaging. May be corrected.
[0027]
By the way, in the image recognition processing by the second imaging means 2, if measurement cannot be performed by one image recognition processing, the work transfer hand H is gradually moved in the vertical plane as shown in FIG. Re-measurement is performed. Alternatively, as shown in FIG. 21, re-measurement is performed while gradually rotating the work W held by the work transfer hand H in a horizontal plane. Furthermore, as shown in FIG. 22, the re-measurement is performed while gradually moving the work transfer hand in the vertical direction. In this case, it is preferable to move the work in a direction in which the correlation value of the pattern matching in the image recognition processing becomes higher as the vertical movement direction of the work. In addition, when the image recognition processing cannot be performed by one measurement, it is preferable to perform re-measurement by changing at least one of the light direction and the light amount of the auxiliary lighting device 4.
[0028]
It goes without saying that these re-measurement methods may be used not only alone but also in appropriate combinations.
[0029]
【The invention's effect】
According to the first aspect of the present invention, the work position is recognized by the first imaging unit before the work is picked up by the work transfer hand, and the second imaging unit is picked up after the work is picked up by the work transfer hand. Thus, the work position can be re-recognized, so that there is an effect that accuracy is improved by two-stage measurement of the work position, and there is an effect that simplification of component supply becomes possible. Further, according to the fourteenth or fifteenth aspect , there is an effect that inclination of the work when picking up the work can be prevented.
[0030]
According to the second aspect of the present invention, since the work position is obtained by using the vector representation, the work position can be easily calculated even if the attitude of the first imaging means is rotated with the movement of the work transfer hand. There is an effect that can be.
According to the third aspect of the present invention, it is easy to distinguish between front and back, and there is an effect that a characteristic image can be precisely measured on the front and back.
[0031]
According to the invention of claim 4 , the distance between the hand and the work can be automatically calculated, and there is an effect that teaching is not required. According to the invention of claim 5 , it is not necessary to reset the reference value. It has the effect of becoming.
According to the invention of claim 6 , there is an effect that it is possible to respond by remeasurement when the work is out of the field of view of the first imaging means. According to the invention of claim 7 , the number of repetitions of the remeasurement is reduced. This has the effect of enabling reduction.
[0032]
According to the first aspect of the invention, there is an effect that it is possible to cope with a shift in the posture of the work in the rotation direction. Further, according to the invention of claim 1 , there is an effect that it is possible to cope with a positional deviation between the center of the work and the center of the hand.
According to the eighth or ninth aspect of the invention, there is an effect that it is possible to cope with a disturbance such as a measurement trouble due to the rotation or inclination of the work, and according to the tenth aspect of the invention, there is provided a disturbance such as a measurement trouble due to a difference in distance. In addition to this, there is an effect that it is possible to cope with a case where the imaging means is out of focus. Furthermore, according to the eleventh aspect of the present invention, the number of re-measurement repetitions can be reduced by using the correlation value of pattern matching. Further, according to the twelfth and thirteenth aspects, there is an effect that even if there is a difference in the reflectance of the work surface or the like, it can be dealt with by changing the illumination conditions.
[Brief description of the drawings]
FIG. 1 is a perspective view showing the overall configuration of a transfer device used in the present invention.
FIG. 2 is a schematic configuration diagram of an arm portion of a transfer device used in the present invention.
FIG. 3 is an explanatory diagram showing a positional relationship between a hand unit and a camera unit of the transfer device used in the present invention.
FIG. 4 is an explanatory diagram in which the positions of a hand unit and a camera unit of the transfer device used in the present invention are represented by vectors.
FIG. 5 is an explanatory diagram showing a posture of an arm unit at the time of calibration of a transfer device used in the present invention.
FIG. 6 is an explanatory diagram in which the positions of a hand unit and a camera unit at the time of calibration of the transfer device used in the present invention are represented by vectors.
FIG. 7 is an explanatory view showing a posture of an arm unit at the time of measurement of the transfer device used in the present invention.
FIG. 8 is an explanatory diagram in which the positions of a hand unit and a camera unit at the time of measurement of the transfer device used in the present invention are expressed in a vector.
FIG. 9 is an explanatory diagram showing a use state of a work transfer hand provided with the plate according to claim 14 ;
FIG. 10 is an explanatory view showing a use state of a work transfer hand in which the upper part of claim 15 is rotatable.
FIG. 11 is an explanatory diagram for explaining the operation of claim 4 ;
FIG. 12 is an explanatory diagram for explaining the operation of claim 5 ;
FIG. 13 is an explanatory diagram for explaining the operation of claim 6 ;
FIG. 14 is an explanatory diagram for explaining the operation of claim 7 ;
FIG. 15 is an explanatory diagram for explaining an operation in the case where the rotation centers coincide with each other in claim 1;
FIG. 16 is an explanatory diagram showing the positional relationship between the work and the hand when the rotation centers match in claim 1;
FIG. 17 is an explanatory diagram showing the positional relationship between the workpiece and the hand when the rotation centers do not coincide with each other;
FIG. 18 is an explanatory diagram for explaining an operation at the time of the first measurement when the rotation centers do not coincide with each other;
FIG. 19 is an explanatory diagram for explaining an operation at the time of the second measurement when the rotation centers do not coincide with each other in the first embodiment;
FIG. 20 is an explanatory diagram for explaining the operation of claim 9 ;
FIG. 21 is an explanatory diagram for explaining the operation of claim 8 ;
FIG. 22 is an explanatory diagram for explaining the function of claim 10 ;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 1st imaging means 2 2nd imaging means 3 Auxiliary illumination means 4 Auxiliary illumination means 5 Transfer device main body 10 NC controller 11 First arm 12 Second arm 13 Movable axis H Work transfer hand

Claims

A support that can be position-controlled at least in a horizontal plane, a first imaging unit mounted on the support, a second imaging unit that is installed within a movable range of the support, A method of transferring a work using a transfer device including a movable member capable of position control in a vertical direction and a work transfer hand supported by the movable member ,
Imaging the workpiece by the first imaging means;
Processing the image captured by the first imaging means to determine the position of the work;
A process of picking up the work whose position has been determined by hand,
Moving the picked-up work into the imaging area of the second imaging means;
A step of imaging the workpiece again by the second imaging means;
A process of processing the image captured by the second imaging means to determine the amount of rotation of the work in the horizontal plane and the amount of eccentricity with respect to the hand rotation center position;
Correcting the preset destination data based on the obtained rotation amount and eccentric amount,
Viewing including the process of transferring the work to the destination based on the destination data after the correction,
In the image recognition processing by the second imaging means,
If the rotation center of the template and the rotation center of the work, which are the reference for pattern matching, match, the rotation amount of the work is measured by one image processing,
If the rotation center of the template and the rotation center of the work, which are the basis of pattern matching, do not match, one of the rotation amount of the work and the eccentricity in the horizontal direction is measured in the first image processing, and the rotation amount of the work or the horizontal direction is measured. Wherein the other of the eccentric amounts is measured in the second image processing .

A support that can be position-controlled at least in a horizontal plane, a first imaging unit mounted on the support, a second imaging unit that is installed within a movable range of the support, A method of transferring a work using a transfer device including a movable member capable of position control in the vertical direction and a work transfer hand supported by the movable member , wherein the support is at least It is configured to include a rotating arm,
Imaging the workpiece by the first imaging means;
Processing the image captured by the first image capturing means to represent the position of the workpiece as a vector indicating displacement relative to a reference position on the image;
Expressing a reference position on the image as a vector according to the orientation of the support,
Obtaining the position of the workpiece by synthesizing the respective vectors;
A process of picking up the work whose position has been determined by hand,
Moving the picked-up work into the imaging area of the second imaging means;
A step of imaging the workpiece again by the second imaging means;
A process of processing the image captured by the second imaging means to determine the amount of rotation of the work in the horizontal plane and the amount of eccentricity with respect to the hand rotation center position;
Correcting the preset destination data based on the obtained rotation amount and eccentric amount,
Viewing including the process of transferring the work to the destination based on the destination data after the correction,
In the image recognition processing by the second imaging means,
If the rotation center of the template and the rotation center of the work, which are the reference for pattern matching, match, the rotation amount of the work is measured by one image processing,
If the rotation center of the template and the rotation center of the work, which are the basis of pattern matching, do not match, one of the rotation amount of the work and the eccentricity in the horizontal direction is measured in the first image processing, and the rotation amount of the work or the horizontal direction is measured. Wherein the other of the eccentric amounts is measured in the second image processing .

The workpiece position measurement by the first imaging means performs the one surface of the work, according to claim 1 or the amount of rotation of the workpiece by the second imaging means and the eccentricity measuring and performing the other surface of the workpiece 2. The transfer method described in 2 .

In the image recognition processing by the first imaging means, when the current measurement value is different from the reference measurement value, the vertical distance between the current work transfer hand and the target work is determined from the ratio of the magnitude of the current measurement value to the reference measurement value. calculating claim 1 or 2 or 3 transferring method according to, characterized in that.

In the image recognition processing performed by the first imaging unit, when the current measurement value is different from the reference measurement value, the horizontal position of the current work is corrected based on a ratio of the magnitude of the current measurement value to the reference measurement value. Item 5. The transfer method according to Item 1, 2 or 3 .

If it is not measured by the image recognition processing of the workpiece position by the first imaging means, according to claim 1 or 2 or 3 position of the first imaging means and performing the re-measurement while gradually shifting in a horizontal plane Transfer method described.

7. The transfer method according to claim 6 , wherein the moving direction of the first imaging unit is set while spirally expanding in a horizontal plane from the center of the first imaging.

In the image recognition processing by the second imaging means, when measurement cannot be performed by one image recognition processing, re-measurement is performed while gradually rotating the work held by the work transfer hand. Item 5. The transfer method according to Item 1, 2 or 3 .

Work transfer hand of the transfer device can be rotated in a vertical plane hand upper fulcrum, the image recognition processing by the second image pickup device, if one measurement image recognition processing is impossible in the work transfer 4. The transfer method according to claim 1, wherein re-measurement is performed while gradually moving the hand in a vertical plane.

In the image recognition processing by the second imaging means, when the image recognition processing cannot be performed by one measurement, re-measurement is performed while gradually moving the work transfer hand on the vertical axis. 4. The transfer method according to 1 or 2 or 3 .

The transfer method according to claim 9 , wherein the work is moved in a direction in which the correlation value of the pattern matching in the image recognition processing is higher in the vertical movement direction of the work.

3. The transfer method according to claim 1, wherein an auxiliary lighting unit is added to each of the first and second imaging units.

When the image recognition processing cannot be performed by one measurement, the re-measurement is performed by changing at least one of the projection direction and the projection light amount of the auxiliary illumination unit added to the first and second imaging units. The transfer method according to claim 12 , wherein

14. The transfer method according to claim 1, wherein the work transfer hand of the transfer device has a positioning plate that comes into contact with a reference surface of the work.

14. The transfer method according to claim 1, wherein the work transfer hand of the transfer device can rotate in a vertical plane with the upper portion of the hand as a fulcrum.