JP3002097B2 - ビジュアルトラッキング方法 - Google Patents
ビジュアルトラッキング方法Info
- Publication number
- JP3002097B2 JP3002097B2 JP6222693A JP22269394A JP3002097B2 JP 3002097 B2 JP3002097 B2 JP 3002097B2 JP 6222693 A JP6222693 A JP 6222693A JP 22269394 A JP22269394 A JP 22269394A JP 3002097 B2 JP3002097 B2 JP 3002097B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- tracking
- work
- sensor
- arrival
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000007 visual effect Effects 0.000 title claims description 43
- 238000000034 method Methods 0.000 title claims description 42
- 238000001514 detection method Methods 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 10
- 238000011144 upstream manufacturing Methods 0.000 claims description 2
- 241000406668 Loxodonta cyclotis Species 0.000 claims 1
- 230000015654 memory Effects 0.000 description 39
- 238000012545 processing Methods 0.000 description 26
- 230000032258 transport Effects 0.000 description 14
- 238000002360 preparation method Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 101100325756 Arabidopsis thaliana BAM5 gene Proteins 0.000 description 1
- 235000001630 Pyrus pyrifolia var culta Nutrition 0.000 description 1
- 240000002609 Pyrus pyrifolia var. culta Species 0.000 description 1
- 101150046378 RAM1 gene Proteins 0.000 description 1
- 101100476489 Rattus norvegicus Slc20a2 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/408—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by data handling or data format, e.g. reading, buffering or conversion of data
- G05B19/4083—Adapting programme, configuration
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36404—Adapt teached position as function of deviation 3-D, 2-D position workpiece
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39102—Manipulator cooperating with conveyor
Description
【０００１】
【産業上の利用分野】本願発明は、ベルトコンベア等の
搬送手段によって移動中の対象物（例えば、組立部品）
に対するロボット作業を遂行する為にロボットに該対象
物に対するトラッキングを伴う動作をさせる技術に関
し、更に詳しくは、視覚センサを利用して、前記移動中
の対象物の位置ずれを補正したトラッキング動作をロボ
ットに行なわせる為のビジュアルトラッキング方法に関
する。
搬送手段によって移動中の対象物（例えば、組立部品）
に対するロボット作業を遂行する為にロボットに該対象
物に対するトラッキングを伴う動作をさせる技術に関
し、更に詳しくは、視覚センサを利用して、前記移動中
の対象物の位置ずれを補正したトラッキング動作をロボ
ットに行なわせる為のビジュアルトラッキング方法に関
する。
【０００２】
【従来の技術】ロボットを利用して対象物に対する作業
を実行する場合、対象物が作業中に静止しているケース
であれば、通常のティーチング・プレイバック方式ある
いはオフラインティーチング方式によってロボット教示
を行なえば、再生運転時に所期のロボット経路移動動作
を実現することが出来る。また、対象物の位置（特に断
わりのない限り、一般に「姿勢」を含む。以下、同
様。）にばらつきがある場合には、視覚センサによって
対象物の位置を計測し、計測結果に基づいて教示経路を
補正する方法が採用されている。
を実行する場合、対象物が作業中に静止しているケース
であれば、通常のティーチング・プレイバック方式ある
いはオフラインティーチング方式によってロボット教示
を行なえば、再生運転時に所期のロボット経路移動動作
を実現することが出来る。また、対象物の位置（特に断
わりのない限り、一般に「姿勢」を含む。以下、同
様。）にばらつきがある場合には、視覚センサによって
対象物の位置を計測し、計測結果に基づいて教示経路を
補正する方法が採用されている。
【０００３】工場のプロセスライン等においては、作業
対象物となるワークがコンベアで次々と搬送されて行く
ことが通常である。このようなワーク（対象物）に対し
てロボット作業を実行するケースでは、大別して次の２
つの方法が採用されている。
対象物となるワークがコンベアで次々と搬送されて行く
ことが通常である。このようなワーク（対象物）に対し
てロボット作業を実行するケースでは、大別して次の２
つの方法が採用されている。
【０００４】［Ｉ］搬送装置を間欠運転とする方法。こ
れは、ワークが搬送装置によってロボット作業位置付近
に搬送されてきた時点で搬送装置を一旦停止させ、ワー
ク専用の治具によって位置決めを行ない、その位置決め
されたワーク（静止ワーク）に対してロボットが所期の
作業を行なう方式である。
れは、ワークが搬送装置によってロボット作業位置付近
に搬送されてきた時点で搬送装置を一旦停止させ、ワー
ク専用の治具によって位置決めを行ない、その位置決め
されたワーク（静止ワーク）に対してロボットが所期の
作業を行なう方式である。
【０００５】この方式では、ワークの種類毎に適合した
治具が必要とされる。汎用治具を用いる方法もあるが、
その場合には治具の構造が複雑となる。
治具が必要とされる。汎用治具を用いる方法もあるが、
その場合には治具の構造が複雑となる。
【０００６】更に、製造ライン等を構成する搬送装置を
間欠的に停止させるタイムロスがある上に位置決めの作
業が加わることは、作業効率の面からみて明らかに不利
である。また、作業効率を上げる為に搬送装置の搬送速
度を高速化すると、ワークのすべりの問題や、駆動源の
大型化、高コスト化の問題等を招く原因となる。
間欠的に停止させるタイムロスがある上に位置決めの作
業が加わることは、作業効率の面からみて明らかに不利
である。また、作業効率を上げる為に搬送装置の搬送速
度を高速化すると、ワークのすべりの問題や、駆動源の
大型化、高コスト化の問題等を招く原因となる。
【０００７】［ＩＩ］ロボットにトラッキング動作を行
なわせる方法。これは、搬送装置を停止させることな
く、移動中のワークを追尾するトラッキング動作をロボ
ットに行なわせることによって、ワークに対する所期の
ロボット作業を実現させる方法である。ロボットにトラ
ッキング動作（ここではライントラッキング）を行なわ
せる従来の方法を図１を参照して簡単に説明すれば、概
略次のようになる。
なわせる方法。これは、搬送装置を停止させることな
く、移動中のワークを追尾するトラッキング動作をロボ
ットに行なわせることによって、ワークに対する所期の
ロボット作業を実現させる方法である。ロボットにトラ
ッキング動作（ここではライントラッキング）を行なわ
せる従来の方法を図１を参照して簡単に説明すれば、概
略次のようになる。
【０００８】図１において、符号１はモータを内蔵した
駆動部２によって駆動されるベルトコンベアで、その上
に載置したワークＷを図中左方から右方へ向けて搬送す
る。コンベア１の走行量（モータの回転量）は、駆動部
２に結合されたパルスコーダ３によって計測される。符
号４，４’は、コンベア１の側方または上方に配置され
たセンサで、ワークＷが符号５０で示したラインの位置
まで到達したことを検知する。センサ４（以後は４’の
記載を省略）には、光学方式、機械方式、磁気方式など
種々の型のものが使用される。符号１０は、ロボットＲ
Ｂ、パルスコーダ３及びセンサ４に接続されたロボット
コントローラで、パルスコーダ３及びセンサ４からの検
出信号を受け取るとともにロボットＲＢの動作を制御す
る。
駆動部２によって駆動されるベルトコンベアで、その上
に載置したワークＷを図中左方から右方へ向けて搬送す
る。コンベア１の走行量（モータの回転量）は、駆動部
２に結合されたパルスコーダ３によって計測される。符
号４，４’は、コンベア１の側方または上方に配置され
たセンサで、ワークＷが符号５０で示したラインの位置
まで到達したことを検知する。センサ４（以後は４’の
記載を省略）には、光学方式、機械方式、磁気方式など
種々の型のものが使用される。符号１０は、ロボットＲ
Ｂ、パルスコーダ３及びセンサ４に接続されたロボット
コントローラで、パルスコーダ３及びセンサ４からの検
出信号を受け取るとともにロボットＲＢの動作を制御す
る。
【０００９】このような配置の下でトラッキングを行な
う手順は以下の通りである。 （１）トラッキング座標系の設定 先ず、ロボットＲＢとコンベア１の座標系の共有化を行
なう為に、トラッキング座標系を設定する。例えば、Ｘ
軸をコンベアの走行方向に合わせてロボットＲＢに設定
済みのベース座標系Σb （Ｏb −ＸＹＺ）に対して、同
じ姿勢のトラッキング座標系Σtr（Ｏtr−ｘｙｚ）を設
定する。トラッキング座標系Σtrは、トラッキング範囲
６０〜７０にワークＷがある間、コンベア１の走行と同
期してベース座標系Σb に対してＸ軸方向に移動する座
標系である。なお、図中でＺ軸、及びｚ軸は図示を省略
した（以下、同様）。
う手順は以下の通りである。 （１）トラッキング座標系の設定 先ず、ロボットＲＢとコンベア１の座標系の共有化を行
なう為に、トラッキング座標系を設定する。例えば、Ｘ
軸をコンベアの走行方向に合わせてロボットＲＢに設定
済みのベース座標系Σb （Ｏb −ＸＹＺ）に対して、同
じ姿勢のトラッキング座標系Σtr（Ｏtr−ｘｙｚ）を設
定する。トラッキング座標系Σtrは、トラッキング範囲
６０〜７０にワークＷがある間、コンベア１の走行と同
期してベース座標系Σb に対してＸ軸方向に移動する座
標系である。なお、図中でＺ軸、及びｚ軸は図示を省略
した（以下、同様）。
【００１０】（２）スケールファクタの決定 トラッキング座標系Σtrの移動位置は、パルスコーダ３
の計数出力によって決められる。そこで、パルスコーダ
３の計数出力（インクリメンタル量Δｎ）とそれに対応
するコンベア１の走行距離ｄとの間の関係を表わすスケ
ールファクタ（換算係数）α＝ｄ／Δｎを求める作業を
次のような手順で実行する。
の計数出力によって決められる。そこで、パルスコーダ
３の計数出力（インクリメンタル量Δｎ）とそれに対応
するコンベア１の走行距離ｄとの間の関係を表わすスケ
ールファクタ（換算係数）α＝ｄ／Δｎを求める作業を
次のような手順で実行する。
【００１１】１．ロボットＲＢの動作範囲の位置にワー
クをセットし、その時のパルスコーダ３の計数出力ｎ1
をロボットコントローラＲＣに記憶させる。 ２．ロボットＲＢを手動操作して、ワークＷ上の適当な
定点にタッチし、その時のロボット位置（Ｘ1 ，Ｙ1
，Ｚ1）をロボットコントローラＲＣに記憶させる。 ３．コンベア１を適当な距離だけ走行させ、ロボットＲ
Ｂの動作範囲内の適当な位置にワークを停止させ、その
時のパルスコーダ３の計数出力ｎ2 をロボットコントロ
ーラＲＣに記憶させる。 ４．ロボットＲＢを手動操作して、ワークＷ上の適当な
定点にタッチし、その時のロボット位置（Ｘ2 ，Ｙ2 ，
Ｚ2 ）をロボットコントローラＲＣに記憶させる。な
お、前記仮定により、Ｙ2 ＝Ｙ1 ，Ｚ2 ＝Ｚ1 の筈であ
る。
クをセットし、その時のパルスコーダ３の計数出力ｎ1
をロボットコントローラＲＣに記憶させる。 ２．ロボットＲＢを手動操作して、ワークＷ上の適当な
定点にタッチし、その時のロボット位置（Ｘ1 ，Ｙ1
，Ｚ1）をロボットコントローラＲＣに記憶させる。 ３．コンベア１を適当な距離だけ走行させ、ロボットＲ
Ｂの動作範囲内の適当な位置にワークを停止させ、その
時のパルスコーダ３の計数出力ｎ2 をロボットコントロ
ーラＲＣに記憶させる。 ４．ロボットＲＢを手動操作して、ワークＷ上の適当な
定点にタッチし、その時のロボット位置（Ｘ2 ，Ｙ2 ，
Ｚ2 ）をロボットコントローラＲＣに記憶させる。な
お、前記仮定により、Ｙ2 ＝Ｙ1 ，Ｚ2 ＝Ｚ1 の筈であ
る。
【００１２】５．ロボットコントローラＲＣに、α＝
（Ｘ2 −Ｘ1 ）／（ｎ2 −ｎ1 ）の計算を行わせてスケ
ールファクタαを求め、記憶させる。
（Ｘ2 −Ｘ1 ）／（ｎ2 −ｎ1 ）の計算を行わせてスケ
ールファクタαを求め、記憶させる。
【００１３】（３）センサ４のセンシング位置を示すラ
イン５０よりも左方のコンベア１上にワークＷをセット
した上でコンベア１を走行させ、ワークＷがセンサ４で
検出された瞬間（ライン５０に到達した瞬間）における
パルスコーダ出力値ｎs をロボッコントローラＲＣに記
憶させる。
イン５０よりも左方のコンベア１上にワークＷをセット
した上でコンベア１を走行させ、ワークＷがセンサ４で
検出された瞬間（ライン５０に到達した瞬間）における
パルスコーダ出力値ｎs をロボッコントローラＲＣに記
憶させる。
【００１４】（４）コンベア１を更に走行させ、ロボッ
トＲＢにトラッキング動作を開始させるに適した位置６
０にワークＷをもって来る。そして、その時のパルスコ
ーダ計数出力値ｎ60またはΔｎ60-s＝ｎ60−ｎs をロボ
ットコントローラＲＣに記憶させる。
トＲＢにトラッキング動作を開始させるに適した位置６
０にワークＷをもって来る。そして、その時のパルスコ
ーダ計数出力値ｎ60またはΔｎ60-s＝ｎ60−ｎs をロボ
ットコントローラＲＣに記憶させる。
【００１５】（５）コンベア１を再び更に走行させ、ロ
ボットＲＢが所期の作業（例えば、ハンドによる把持）
を行うに適した位置にワークＷをもって来る。 （６）その時のパルスコーダ計数出力値ｎtcまたはΔｎ
tc-s＝ｎtc-ｎsをロボットコントローラＲＣに記憶させ
る。
ボットＲＢが所期の作業（例えば、ハンドによる把持）
を行うに適した位置にワークＷをもって来る。 （６）その時のパルスコーダ計数出力値ｎtcまたはΔｎ
tc-s＝ｎtc-ｎsをロボットコントローラＲＣに記憶させ
る。
【００１６】（７）ロボットＲＢに所期の作業（例え
ば、ハンドによる把持）の実行に必要な動作を教示す
る。 （８）コンベア１を再び更に走行させ、ロボットＲＢの
トラッキング動作を終了させるに適した位置７０にワー
クＷをもって来る。そして、その時のパルスコーダ計数
出力値ｎ70またはΔｎ70-s＝ｎ70-ｎsをロボットコント
ローラＲＣに記憶させる。 （９）以上で、トラッキング実行の為の準備作業が完了
するので、トラッキングによる本作業を開始する。シス
テムの動作推移を簡単に記せば、次のようになる。 １．ワークＷをコンベア上に供給する。 ２．ワークＷがライン５０を通過する際にセンサ４がこ
れを検知し、ロボットコントローラＲＣへ伝える。 ３．その時点におけるパルスコーダ計数出力値ｎs'をロ
ボットコントローラＲＣが記憶する。
ば、ハンドによる把持）の実行に必要な動作を教示す
る。 （８）コンベア１を再び更に走行させ、ロボットＲＢの
トラッキング動作を終了させるに適した位置７０にワー
クＷをもって来る。そして、その時のパルスコーダ計数
出力値ｎ70またはΔｎ70-s＝ｎ70-ｎsをロボットコント
ローラＲＣに記憶させる。 （９）以上で、トラッキング実行の為の準備作業が完了
するので、トラッキングによる本作業を開始する。シス
テムの動作推移を簡単に記せば、次のようになる。 １．ワークＷをコンベア上に供給する。 ２．ワークＷがライン５０を通過する際にセンサ４がこ
れを検知し、ロボットコントローラＲＣへ伝える。 ３．その時点におけるパルスコーダ計数出力値ｎs'をロ
ボットコントローラＲＣが記憶する。
【００１７】４．コンベア１が更に走行し、パルスコー
ダ計数出力値が、ｎs'＋Δｎ60-s＝ｎs'＋（ｎ60−ｎs
）に達した時点で、トラッキング座標系Σtrの移動を
開始させる。移動量は、パルスコーダ３の計数出力値の
インクリメンタル量にスケールファクタαを乗じて決定
される。ロボットＲＢの再生運転をこのトラッキング座
標系に準拠して行なえば、ロボットＲＢはワークＷを追
尾してワークＷに追いつき、トラッキングを継続しなが
ら所期の動作（例えば、ワークＷの把持）を行なう。
ダ計数出力値が、ｎs'＋Δｎ60-s＝ｎs'＋（ｎ60−ｎs
）に達した時点で、トラッキング座標系Σtrの移動を
開始させる。移動量は、パルスコーダ３の計数出力値の
インクリメンタル量にスケールファクタαを乗じて決定
される。ロボットＲＢの再生運転をこのトラッキング座
標系に準拠して行なえば、ロボットＲＢはワークＷを追
尾してワークＷに追いつき、トラッキングを継続しなが
ら所期の動作（例えば、ワークＷの把持）を行なう。
【００１８】５．コンベア１が更に走行し、パルスコー
ダ計数出力値が、ｎs'＋Δｎ70-s＝ｎs'＋（ｎ70−ｎs
）に達した時点で、トラッキング座標系Σtrの移動を
終了させる。 ６．ロボットＲＢの残りの動作（例えば、把持したワー
クＷの移動）を実行させる。以上で、ライトラッキング
による１作業サイクルが終了する。
ダ計数出力値が、ｎs'＋Δｎ70-s＝ｎs'＋（ｎ70−ｎs
）に達した時点で、トラッキング座標系Σtrの移動を
終了させる。 ６．ロボットＲＢの残りの動作（例えば、把持したワー
クＷの移動）を実行させる。以上で、ライトラッキング
による１作業サイクルが終了する。
【００１９】
【発明が解決しようとする課題】上述したように、従来
の方法の内、上記（Ｉ）の方法は治具及び作業効率に関
連した難点がある。一方、上記（ＩＩ）のトラッキング
による方法によれば、治具が不要になるとともにコンベ
ア１を停止させることなくロボットに作業を行なわせる
ことが出来るので、作業効率を高く保つことが出来る。
の方法の内、上記（Ｉ）の方法は治具及び作業効率に関
連した難点がある。一方、上記（ＩＩ）のトラッキング
による方法によれば、治具が不要になるとともにコンベ
ア１を停止させることなくロボットに作業を行なわせる
ことが出来るので、作業効率を高く保つことが出来る。
【００２０】しかし、従来のトラッキング方法には作業
精度上の問題がある。その第１は、搬送手段上における
ワークＷの位置・姿勢のバラツキがロボットに認識され
ていないことによる作業精度の低下の問題である。例え
ば、多角形形状のワークをロボットハンドで把持するア
プリケーションにおいて、ワークＷの位置や姿勢が教示
時のそれからずれた場合には、ロボットが把持態勢に入
る際に干渉事故を起こしたり、把持に失敗したりする恐
れがある。
精度上の問題がある。その第１は、搬送手段上における
ワークＷの位置・姿勢のバラツキがロボットに認識され
ていないことによる作業精度の低下の問題である。例え
ば、多角形形状のワークをロボットハンドで把持するア
プリケーションにおいて、ワークＷの位置や姿勢が教示
時のそれからずれた場合には、ロボットが把持態勢に入
る際に干渉事故を起こしたり、把持に失敗したりする恐
れがある。
【００２１】また、第２の問題として、コンベアが速度
をもっていることによるトラッキング誤差の問題があ
る。従来のトラッキング方法においては、ワークＷが位
置５０に到達した瞬間のパルスコーダ３の計数出力値の
検出／記憶には、ロボットコントローラのプロセッサ
（中央演算処理装置、以下ＣＰＵと言う。）の入力信号
スキャン周期による時間遅れがある。
をもっていることによるトラッキング誤差の問題があ
る。従来のトラッキング方法においては、ワークＷが位
置５０に到達した瞬間のパルスコーダ３の計数出力値の
検出／記憶には、ロボットコントローラのプロセッサ
（中央演算処理装置、以下ＣＰＵと言う。）の入力信号
スキャン周期による時間遅れがある。
【００２２】この時間遅れの大きさは、採用されるロボ
ットシステムにもよるが、数１０ｍｓｅｃに達する。一
例をあげれば、最大２８［ｍｓｅｃ］であり、コンベア
速度を６００［ｍｍ／ｓｅｃ］とした場合、６００×
０．０２８＝１６．８ｍｍと無視出来ない大きさにな
る。このような誤差を補償することは難しく、コンベア
走行方向（ここでは、Ｘ軸及びｘ軸の方向）についてト
ラッキング誤差を生じる原因となっている。
ットシステムにもよるが、数１０ｍｓｅｃに達する。一
例をあげれば、最大２８［ｍｓｅｃ］であり、コンベア
速度を６００［ｍｍ／ｓｅｃ］とした場合、６００×
０．０２８＝１６．８ｍｍと無視出来ない大きさにな
る。このような誤差を補償することは難しく、コンベア
走行方向（ここでは、Ｘ軸及びｘ軸の方向）についてト
ラッキング誤差を生じる原因となっている。
【００２３】そこで、本願発明の基本的な目的は、作業
効率を落とすことなく、作業対象物の搬送手段上におけ
る位置・姿勢のずれをロボットに正しく認識させてトラ
ッキング動作を行なわせる方法を提供することにある。
また、本願発明は、入力信号スキャン周期による作業対
象物移動方向の作業精度の低下の問題を併せて解決しよ
うとするものである。
効率を落とすことなく、作業対象物の搬送手段上におけ
る位置・姿勢のずれをロボットに正しく認識させてトラ
ッキング動作を行なわせる方法を提供することにある。
また、本願発明は、入力信号スキャン周期による作業対
象物移動方向の作業精度の低下の問題を併せて解決しよ
うとするものである。
【００２４】
【問題点を解決するための手段】本願発明は上記課題を
解決する為の構成として、「搬送手段による対象物の搬
送経路の近傍に、前記搬送経路の上流側から順に前記対
象物の到来を検出する対象物到来センサ手段とカメラ手
段を配置し、前記カメラ手段を有する視覚センサを用い
て前記搬送手段によって搬送中の前記対象物の画像を取
得し、該画像を解析することによって前記対象物の位置
を表わす信号を前記視覚センサ内で生成し、該対象物の
位置を表わす信号と前記対象物到来センサ手段の出力信
号と前記搬送手段による対象物の搬送量を表わす信号に
基づいて、ロボットコントローラ内でロボット制御信号
を生成するロボットのビジュアルトラッキング方法であ
って、前記対象物到来センサ手段による対象物の到来検
知を視覚センサが認識した時点を起点として第１の所定
距離の対象物搬送が行なわれたことを視覚センサが前記
搬送手段による対象物の搬送量を表わす信号に基づいて
認識した時点で前記対象物の画像の取得がなされ、前記
対象物到来センサ手段による対象物の到来検知を前記ロ
ボットコントローラが認識した時点を起点として第２の
所定距離の対象物搬送が行なわれたことを前記ロボット
コントローラが前記搬送手段による対象物の搬送量を表
わす信号に基づいて認識した時点で前記ロボットのトラ
ッキング動作が開始され、前記トラッキング動作実行中
のロボット位置は、前記取得された対象物の画像を解析
して得られる前記対象物の位置を表わす信号を考慮し
て、前記搬送手段による対象物の搬送量を表わす信号に
よって移動量が定められるトラッキング座標系上で制御
されることを特徴とする前記ビジュアルトラッキング方
法」（請求項１）を提案したものである。
解決する為の構成として、「搬送手段による対象物の搬
送経路の近傍に、前記搬送経路の上流側から順に前記対
象物の到来を検出する対象物到来センサ手段とカメラ手
段を配置し、前記カメラ手段を有する視覚センサを用い
て前記搬送手段によって搬送中の前記対象物の画像を取
得し、該画像を解析することによって前記対象物の位置
を表わす信号を前記視覚センサ内で生成し、該対象物の
位置を表わす信号と前記対象物到来センサ手段の出力信
号と前記搬送手段による対象物の搬送量を表わす信号に
基づいて、ロボットコントローラ内でロボット制御信号
を生成するロボットのビジュアルトラッキング方法であ
って、前記対象物到来センサ手段による対象物の到来検
知を視覚センサが認識した時点を起点として第１の所定
距離の対象物搬送が行なわれたことを視覚センサが前記
搬送手段による対象物の搬送量を表わす信号に基づいて
認識した時点で前記対象物の画像の取得がなされ、前記
対象物到来センサ手段による対象物の到来検知を前記ロ
ボットコントローラが認識した時点を起点として第２の
所定距離の対象物搬送が行なわれたことを前記ロボット
コントローラが前記搬送手段による対象物の搬送量を表
わす信号に基づいて認識した時点で前記ロボットのトラ
ッキング動作が開始され、前記トラッキング動作実行中
のロボット位置は、前記取得された対象物の画像を解析
して得られる前記対象物の位置を表わす信号を考慮し
て、前記搬送手段による対象物の搬送量を表わす信号に
よって移動量が定められるトラッキング座標系上で制御
されることを特徴とする前記ビジュアルトラッキング方
法」（請求項１）を提案したものである。
【００２５】また、上記方法において更にトラッキング
動作の終了時点についても、トラッキング動作の開始時
点の決め方と同様の考え方を適用する為に、「前記対象
物到来センサ手段による対象物の到来検知を前記ロボッ
トコントローラが認識した時点を起点として第３の所定
距離の対象物搬送が行なわれたことを前記ロボットコン
トローラが前記搬送手段による対象物の搬送量を表わす
信号に基づいて認識した時点で前記ロボットのトラッキ
ング動作が終了される」（請求項２）という要件を更に
課した方法を提案したものである。
動作の終了時点についても、トラッキング動作の開始時
点の決め方と同様の考え方を適用する為に、「前記対象
物到来センサ手段による対象物の到来検知を前記ロボッ
トコントローラが認識した時点を起点として第３の所定
距離の対象物搬送が行なわれたことを前記ロボットコン
トローラが前記搬送手段による対象物の搬送量を表わす
信号に基づいて認識した時点で前記ロボットのトラッキ
ング動作が終了される」（請求項２）という要件を更に
課した方法を提案したものである。
【００２６】
【作用】本願発明は、従来解決が困難であったロボット
コントローラのＣＰＵの入力信号スキャン周期による時
間遅れの問題を、視覚センサを用いて解決した点に最も
重要な特徴がある。即ち、視覚センサを用いて対象物の
位置ずれを検出した場合、視覚センサとロボットコント
ローラが対象物の移動に関して共通した認識を持つ条件
が満たされていれば、視覚センサによる対象物の位置ず
れの検出結果にはロボットコントローラのＣＰＵの入力
信号スキャン周期による時間遅れが取り込まれている。
コントローラのＣＰＵの入力信号スキャン周期による時
間遅れの問題を、視覚センサを用いて解決した点に最も
重要な特徴がある。即ち、視覚センサを用いて対象物の
位置ずれを検出した場合、視覚センサとロボットコント
ローラが対象物の移動に関して共通した認識を持つ条件
が満たされていれば、視覚センサによる対象物の位置ず
れの検出結果にはロボットコントローラのＣＰＵの入力
信号スキャン周期による時間遅れが取り込まれている。
【００２７】従って、定点で対象物の到来を検出するセ
ンサが対象物の到来を検出した時点自体を、厳密にロボ
ットコントローラが認識しなくとも、視覚センサの検出
結果を用いてこれを補償出来ることになる。
ンサが対象物の到来を検出した時点自体を、厳密にロボ
ットコントローラが認識しなくとも、視覚センサの検出
結果を用いてこれを補償出来ることになる。
【００２８】より具体的に言えば、本願発明において
は、コンベアのような搬送手段の搬送経路の近傍に、上
流側から順に対象物の到来を検出するセンサと視覚セン
サのカメラ手段が配置される。そして、カメラ手段を有
する視覚センサは搬送手段によって搬送中の対象物の画
像を取得し、該画像を解析することによって対象物の位
置を表わす信号（通常は位置ずれ量を表現する。）を前
記視覚センサ内で生成する。
は、コンベアのような搬送手段の搬送経路の近傍に、上
流側から順に対象物の到来を検出するセンサと視覚セン
サのカメラ手段が配置される。そして、カメラ手段を有
する視覚センサは搬送手段によって搬送中の対象物の画
像を取得し、該画像を解析することによって対象物の位
置を表わす信号（通常は位置ずれ量を表現する。）を前
記視覚センサ内で生成する。
【００２９】ロボットコントローラは、この対象物の位
置を表わす信号と対象物到来センサ手段の出力信号と前
記搬送手段による対象物の搬送量を表わす信号（通常は
パルスコーダから得られる。）に基づいて、ロボット制
御信号を生成する。
置を表わす信号と対象物到来センサ手段の出力信号と前
記搬送手段による対象物の搬送量を表わす信号（通常は
パルスコーダから得られる。）に基づいて、ロボット制
御信号を生成する。
【００３０】視覚センサによる対象物の画像の取得は、
対象物到来センサ手段による対象物の到来検知を視覚セ
ンサが認識した時点を起点として第１の所定距離の対象
物搬送が行なわれたことを前記搬送手段による対象物の
搬送量を表わす信号（パルコーダ計数出力で表現され
る）に基づいて認識した時点で実行される。
対象物到来センサ手段による対象物の到来検知を視覚セ
ンサが認識した時点を起点として第１の所定距離の対象
物搬送が行なわれたことを前記搬送手段による対象物の
搬送量を表わす信号（パルコーダ計数出力で表現され
る）に基づいて認識した時点で実行される。
【００３１】同様に、ロボットのトラッキング動作は、
対象物到来センサ手段による対象物の到来検知をロボッ
トコントローラが認識した時点を起点として第２の所定
距離の対象物搬送が行なわれたことを前記搬送手段によ
る対象物の搬送量を表わす信号（パルコーダ計数出力で
表現される）に基づいて認識した時点で実行される。
対象物到来センサ手段による対象物の到来検知をロボッ
トコントローラが認識した時点を起点として第２の所定
距離の対象物搬送が行なわれたことを前記搬送手段によ
る対象物の搬送量を表わす信号（パルコーダ計数出力で
表現される）に基づいて認識した時点で実行される。
【００３２】また、ロボットのトラッキング動作の終了
につても、対象物到来センサ手段による対象物の到来検
知をロボットコントローラが認識した時点を起点として
第３の所定距離の対象物搬送が行なわれたことを前記搬
送手段による対象物の搬送量を表わす信号（パルコーダ
計数出力で表現される）に基づいて認識した時点で実行
しても良い。
につても、対象物到来センサ手段による対象物の到来検
知をロボットコントローラが認識した時点を起点として
第３の所定距離の対象物搬送が行なわれたことを前記搬
送手段による対象物の搬送量を表わす信号（パルコーダ
計数出力で表現される）に基づいて認識した時点で実行
しても良い。
【００３３】トラッキング動作実行中のロボット位置
は、前記取得された対象物の画像を解析して得られる前
記対象物の位置を表わす信号を考慮して、前記搬送手段
による対象物の搬送量を表わす信号によって移動量が定
められるトラッキング座標系上で制御される。即ち、動
作プログラムによって指定された経路データは、コンベ
ア同期的に移動するトラッキング座標系上データとして
解釈され、且つ、そのデータから算出されるロボット経
路が視覚センサによる対象物の位置情報（通常は、姿勢
を含む位置ずれデータで与えられる）に基づいて補正さ
れる。
は、前記取得された対象物の画像を解析して得られる前
記対象物の位置を表わす信号を考慮して、前記搬送手段
による対象物の搬送量を表わす信号によって移動量が定
められるトラッキング座標系上で制御される。即ち、動
作プログラムによって指定された経路データは、コンベ
ア同期的に移動するトラッキング座標系上データとして
解釈され、且つ、そのデータから算出されるロボット経
路が視覚センサによる対象物の位置情報（通常は、姿勢
を含む位置ずれデータで与えられる）に基づいて補正さ
れる。
【００３４】この時、コンベアの走行方向以外の位置ず
れ成分についてもロボット位置が補正されるので、結
局、いずれの方向に関しても高いトラッキング精度が実
現されることになる。
れ成分についてもロボット位置が補正されるので、結
局、いずれの方向に関しても高いトラッキング精度が実
現されることになる。
【００３５】
【実施例】図２は、本願発明の方法を実施する際の全体
配置の１例を、図１と類似した形式で示したものであ
る。同図において、１はワーク供給源（例えば、最終プ
レス工程実行部）に接続された直線搬送コンベアを表わ
している。このコンベア１の駆動軸は駆動部２に内蔵さ
れたモータによって駆動される。この駆動軸乃至駆動モ
ータの回転量はパルスコーダ３によってパルス列の形で
出力される。符号４，４’（４’は以後記載省略）は、
図１で示したと同様のセンサであり、コンベア１上に載
置されて搬送されて来るワークＷを検出位置５０で検出
する。
配置の１例を、図１と類似した形式で示したものであ
る。同図において、１はワーク供給源（例えば、最終プ
レス工程実行部）に接続された直線搬送コンベアを表わ
している。このコンベア１の駆動軸は駆動部２に内蔵さ
れたモータによって駆動される。この駆動軸乃至駆動モ
ータの回転量はパルスコーダ３によってパルス列の形で
出力される。符号４，４’（４’は以後記載省略）は、
図１で示したと同様のセンサであり、コンベア１上に載
置されて搬送されて来るワークＷを検出位置５０で検出
する。
【００３６】符号ＶＳは、画像処理装置２０とカメラ３
０（例えば、ＣＣＤカメラ）から構成される視覚センサ
を表わしており、符号３１はカメラ３０の視野を表わし
ている。図中に破線で示したように、画像処理装置２０
はロボットコントローラＲＣに内蔵された形態をとる。
０（例えば、ＣＣＤカメラ）から構成される視覚センサ
を表わしており、符号３１はカメラ３０の視野を表わし
ている。図中に破線で示したように、画像処理装置２０
はロボットコントローラＲＣに内蔵された形態をとる。
【００３７】ロボットコントローラＲＣは、ロボット制
御部１０を有し、このロボット制御部１０は内蔵された
画像処理装置２０からワークＷの位置・姿勢を表わす検
出信号を得てロボットＲＢの制御に利用する。また、ロ
ボットコントローラＲＣはセンサ４に接続されており、
その検出信号を利用してワークＷの到来を認識する。
御部１０を有し、このロボット制御部１０は内蔵された
画像処理装置２０からワークＷの位置・姿勢を表わす検
出信号を得てロボットＲＢの制御に利用する。また、ロ
ボットコントローラＲＣはセンサ４に接続されており、
その検出信号を利用してワークＷの到来を認識する。
【００３８】以下、図２の配置に対応したシステム構成
の一例を要部ブロック図で記した図３を参照図に加え
て、実施例について更に説明する。
の一例を要部ブロック図で記した図３を参照図に加え
て、実施例について更に説明する。
【００３９】まず先に、ロボットコントローラＲＣに内
蔵された画像処理装置２０の構成と機能について概略を
説明する。図３において、画像処理装置２０はマイクロ
プロセッサからなるＣＰＵ（中央演算処理装置）２１を
有し、ＣＰＵ２１にはカメラインターフェイス２２、フ
レームメモリ（画像メモリ）２３、プログラムメモリ２
４、画像処理プロセッサ２５、データメモリ２６、モニ
タインターフェイス２７がバスＢＳ”を介して各々接続
されている。
蔵された画像処理装置２０の構成と機能について概略を
説明する。図３において、画像処理装置２０はマイクロ
プロセッサからなるＣＰＵ（中央演算処理装置）２１を
有し、ＣＰＵ２１にはカメラインターフェイス２２、フ
レームメモリ（画像メモリ）２３、プログラムメモリ２
４、画像処理プロセッサ２５、データメモリ２６、モニ
タインターフェイス２７がバスＢＳ”を介して各々接続
されている。
【００４０】カメラインターフェイス２２にはカメラ３
０が接続されており、カメラインターフェイス２２を介
して撮影指令が送られると、カメラ３０に設定された電
子シャッタ機能（シャッタスピードは、例えば１０００
分の１秒）により撮影が実行され、カメラインターフェ
イス２２を介して映像信号がグレイスケール信号の形で
フレームメモリ２３に格納される。モニタインターフェ
イス２７にはモニタＣＲＴ４０が接続されており、カメ
ラ３０が撮影中の画像、フレームメモリ２３に格納され
た過去の画像、画像処理プロセッサ２５による処理を受
けた画像等が必要に応じて表示される。
０が接続されており、カメラインターフェイス２２を介
して撮影指令が送られると、カメラ３０に設定された電
子シャッタ機能（シャッタスピードは、例えば１０００
分の１秒）により撮影が実行され、カメラインターフェ
イス２２を介して映像信号がグレイスケール信号の形で
フレームメモリ２３に格納される。モニタインターフェ
イス２７にはモニタＣＲＴ４０が接続されており、カメ
ラ３０が撮影中の画像、フレームメモリ２３に格納され
た過去の画像、画像処理プロセッサ２５による処理を受
けた画像等が必要に応じて表示される。
【００４１】フレームメモリ２３に格納されたワークＷ
の映像信号は、プログラムメモリ２４に格納された解析
プログラムに従って画像処理プロセッサ２５を利用して
解析され、ワークＷの位置が求められる。ここでは、ワ
ークＷは図２中に符号Ｗa ，Ｗb で示した２点の特徴点
を有しているものとして、Ｗa ，Ｗb の位置が計算さ
れ、それに基づいて姿勢も計算される。
の映像信号は、プログラムメモリ２４に格納された解析
プログラムに従って画像処理プロセッサ２５を利用して
解析され、ワークＷの位置が求められる。ここでは、ワ
ークＷは図２中に符号Ｗa ，Ｗb で示した２点の特徴点
を有しているものとして、Ｗa ，Ｗb の位置が計算さ
れ、それに基づいて姿勢も計算される。
【００４２】データメモリ２６は、視覚センサシステム
に関連した各種の設定値を格納する領域と、ＣＰＵ２１
が実行する各種処理に必要なデータの一時記憶に利用さ
れる領域を含んでいる。そして、ＣＰＵ２１はロボット
コントローラＲＣ内部でバスＢＳを介して次に説明する
ロボット制御部１０のＣＰＵ１１にバス結合されてい
る。これによって、視覚センサ２０全体は実質的にロボ
ット制御部１０と一体の機器として構成されることにな
る。即ち、符号１０，２０を含む全体が視覚センサ内蔵
型のロボットコントローラＲＣを構成している。
に関連した各種の設定値を格納する領域と、ＣＰＵ２１
が実行する各種処理に必要なデータの一時記憶に利用さ
れる領域を含んでいる。そして、ＣＰＵ２１はロボット
コントローラＲＣ内部でバスＢＳを介して次に説明する
ロボット制御部１０のＣＰＵ１１にバス結合されてい
る。これによって、視覚センサ２０全体は実質的にロボ
ット制御部１０と一体の機器として構成されることにな
る。即ち、符号１０，２０を含む全体が視覚センサ内蔵
型のロボットコントローラＲＣを構成している。
【００４３】ロボット制御部１０は、バスＢＳを介して
画像処理装置２０のＣＰＵ２１とバス結合されたＣＰＵ
１１を有している。このＣＰＵ１１には、システム全体
を制御する為のプログラムが格納されたＲＯＭ１２、Ｃ
ＰＵ処理の為のデータの一時記憶に使用されるＲＡＭ１
３、動作プログラム、座標系設定データ、その他各種設
定パラメータ等が格納される不揮発性メモリ１４、ハン
ドを含むロボットＲＢの機構部にサーボ回路１６を介し
て接続された軸制御器１５、デジタルシグナルプロセッ
サ（ＤＳＰ）用データメモリ１７、デジタルシグナルプ
ロセッサ（以下、「ＤＳＰ」と言う。）１８及びセンサ
４の為のセンサインターフェイス１９が、各々バスＢ
Ｓ’を介して接続されている。
画像処理装置２０のＣＰＵ２１とバス結合されたＣＰＵ
１１を有している。このＣＰＵ１１には、システム全体
を制御する為のプログラムが格納されたＲＯＭ１２、Ｃ
ＰＵ処理の為のデータの一時記憶に使用されるＲＡＭ１
３、動作プログラム、座標系設定データ、その他各種設
定パラメータ等が格納される不揮発性メモリ１４、ハン
ドを含むロボットＲＢの機構部にサーボ回路１６を介し
て接続された軸制御器１５、デジタルシグナルプロセッ
サ（ＤＳＰ）用データメモリ１７、デジタルシグナルプ
ロセッサ（以下、「ＤＳＰ」と言う。）１８及びセンサ
４の為のセンサインターフェイス１９が、各々バスＢ
Ｓ’を介して接続されている。
【００４４】ＤＳＰ１８は、これに接続されたパルスコ
ーダ３の計数出力信号を処理する為のプロセッサで、Ｄ
ＳＰ用データメモリ１７はＤＳＰ１８による諸処理デー
タや設定パラメータを格納するＤＳＰ専用のメモリであ
る。ＤＳＰ１８は、ＣＰＵ１１の命令に従って、任意の
時点においてパルスコーダ３の計数出力を検出し、ＤＳ
Ｐ用データメモリ１７の所定エリアに書き込む機能を有
している。また、画像処理装置２０のＣＰＵ２１から
も、ＣＰＵ１１を介してＤＰＳ用データメモリ１７にア
クセス可能である。
ーダ３の計数出力信号を処理する為のプロセッサで、Ｄ
ＳＰ用データメモリ１７はＤＳＰ１８による諸処理デー
タや設定パラメータを格納するＤＳＰ専用のメモリであ
る。ＤＳＰ１８は、ＣＰＵ１１の命令に従って、任意の
時点においてパルスコーダ３の計数出力を検出し、ＤＳ
Ｐ用データメモリ１７の所定エリアに書き込む機能を有
している。また、画像処理装置２０のＣＰＵ２１から
も、ＣＰＵ１１を介してＤＰＳ用データメモリ１７にア
クセス可能である。
【００４５】以下、このようなシステム構成と機能を前
提に、本願発明の方法を実施する為の準備作業及び処理
手順について説明する。なお、画像処理装置２０のプロ
グラムメモリ２４、データメモリ２６及びロボット制御
部１０内の各メモリには、予め必要な処理を実行する為
のプログラム及び関連設定データが格納済みであるもの
とする。
提に、本願発明の方法を実施する為の準備作業及び処理
手順について説明する。なお、画像処理装置２０のプロ
グラムメモリ２４、データメモリ２６及びロボット制御
部１０内の各メモリには、予め必要な処理を実行する為
のプログラム及び関連設定データが格納済みであるもの
とする。
【００４６】また、ロボットＲＢの動作としては、
（１）ワークＷがトラッキング範囲の開始ライン６０に
到達した時点から、Ｐ0 を初期位置とするトラッキング
移動を開始し、（２）教示位置Ｑ0 でワークＷと遭遇
し、（３）ワークＷがトラッキング範囲の終了ライン７
０（位置Ｑ1 ）に到達するまでにワークＷをハンドで把
持する作業を完了し、（４）コンベア１上から側方に離
隔した位置Ｑ2 まで直線移動してワークＷを把持状態を
終了する、というものを考える。
（１）ワークＷがトラッキング範囲の開始ライン６０に
到達した時点から、Ｐ0 を初期位置とするトラッキング
移動を開始し、（２）教示位置Ｑ0 でワークＷと遭遇
し、（３）ワークＷがトラッキング範囲の終了ライン７
０（位置Ｑ1 ）に到達するまでにワークＷをハンドで把
持する作業を完了し、（４）コンベア１上から側方に離
隔した位置Ｑ2 まで直線移動してワークＷを把持状態を
終了する、というものを考える。
【００４７】［準備作業］準備作業は、図１に関連させ
て説明した従来の作業に、視覚センサに関連した若干の
作業が加わるだけである。 （１）トラッキング座標系の設定 ロボットＲＢとコンベア１の座標系の共有化を行なう為
に、トラッキング座標系を設定する。ここでは、Ｘ軸を
コンベアの走行方向に合わせてロボットＲＢに設定済み
のベース座標系Σb に対して、同じ姿勢のトラッキング
座標系Σtrを設定する。そして、トラッキング座標系Σ
trが移動を開始するまでの両者の座標値の関係は、（ｘ
＝Ｘ−Ｌ0 ，ｙ＝Ｙ−Ｙ0 ，ｚ＝Ｚ）で表わされるもの
とする。Ｌ0 及びＹ0 は定数であり、その数値データは
ロボット制御部１０の不揮発性メモリ１４と画像処理装
置２０のデータメモリ２６に記憶する。
て説明した従来の作業に、視覚センサに関連した若干の
作業が加わるだけである。 （１）トラッキング座標系の設定 ロボットＲＢとコンベア１の座標系の共有化を行なう為
に、トラッキング座標系を設定する。ここでは、Ｘ軸を
コンベアの走行方向に合わせてロボットＲＢに設定済み
のベース座標系Σb に対して、同じ姿勢のトラッキング
座標系Σtrを設定する。そして、トラッキング座標系Σ
trが移動を開始するまでの両者の座標値の関係は、（ｘ
＝Ｘ−Ｌ0 ，ｙ＝Ｙ−Ｙ0 ，ｚ＝Ｚ）で表わされるもの
とする。Ｌ0 及びＹ0 は定数であり、その数値データは
ロボット制御部１０の不揮発性メモリ１４と画像処理装
置２０のデータメモリ２６に記憶する。
【００４８】（２）センサ座標系Σs の設定 適当な手段により、視覚センサＶＳにセンサ座標系Σs
を設定する。例えば、ベース座標系Σb 上の座標値が判
っている位置に公知のキャリブレーション用治具を配置
し、画像処理装置２０のプログラムメモリ２４に格納済
みのキャリブレーション用のプログラムを起動させて、
カメラ３０の画素値データをセンサ座標系Σs のデータ
に換算する為のデータを画像処理装置２０のデータメモ
リ２６に記憶する。また、センサ座標系Σs とベース座
標系Σb の関係を表わすデータをロボット制御部１０の
不揮発性メモリ１４に記憶する。
を設定する。例えば、ベース座標系Σb 上の座標値が判
っている位置に公知のキャリブレーション用治具を配置
し、画像処理装置２０のプログラムメモリ２４に格納済
みのキャリブレーション用のプログラムを起動させて、
カメラ３０の画素値データをセンサ座標系Σs のデータ
に換算する為のデータを画像処理装置２０のデータメモ
リ２６に記憶する。また、センサ座標系Σs とベース座
標系Σb の関係を表わすデータをロボット制御部１０の
不揮発性メモリ１４に記憶する。
【００４９】（３）スケールファクタの決定 従来と同様の下記手順により、コンベア１の走行距離ｄ
とパルスコーダ３の計数出力（インクリメンタル量Δ
ｎ）との関係を表わすスケールファクタα＝ｄ／Δｎを
求める。
とパルスコーダ３の計数出力（インクリメンタル量Δ
ｎ）との関係を表わすスケールファクタα＝ｄ／Δｎを
求める。
【００５０】１．ロボットＲＢの動作範囲の位置にワー
クをセットし、その時のパルスコーダ３の計数出力ｎ1
をロボットコントローラＲＣに記憶する。 ２．ロボットＲＢを手動操作して、ワークＷ上の適当な
定点にタッチし、その時のロボット位置（Ｘ1 ，Ｙ1 ，
Ｚ1 ）をロボットコントローラＲＣに記憶させる。
クをセットし、その時のパルスコーダ３の計数出力ｎ1
をロボットコントローラＲＣに記憶する。 ２．ロボットＲＢを手動操作して、ワークＷ上の適当な
定点にタッチし、その時のロボット位置（Ｘ1 ，Ｙ1 ，
Ｚ1 ）をロボットコントローラＲＣに記憶させる。
【００５１】３．コンベア１を適当な距離だけ走行さ
せ、ロボットＲＢの動作範囲内の適当な位置にワークを
停止させ、その時のパルスコーダ３の計数出力ｎ2 をロ
ボットコントローラＲＣに記憶する。 ４．ロボットＲＢを手動操作して、ワークＷ上の適当な
定点にタッチし、その時のロボット位置（Ｘ2 ，Ｙ2 ，
Ｚ2 ）をロボットコントローラＲＣに記憶させる。 ５．ロボットコントローラＲＣに、α＝（Ｘ2 −Ｘ1 ）
／（ｎ2 −ｎ1 ）の計算を行わせてスケールファクタα
を求め、ロボットコントローラＲＣの不揮発性メモリ１
４と画像処理装置２０のデータメモリ２６に記憶する。
せ、ロボットＲＢの動作範囲内の適当な位置にワークを
停止させ、その時のパルスコーダ３の計数出力ｎ2 をロ
ボットコントローラＲＣに記憶する。 ４．ロボットＲＢを手動操作して、ワークＷ上の適当な
定点にタッチし、その時のロボット位置（Ｘ2 ，Ｙ2 ，
Ｚ2 ）をロボットコントローラＲＣに記憶させる。 ５．ロボットコントローラＲＣに、α＝（Ｘ2 −Ｘ1 ）
／（ｎ2 −ｎ1 ）の計算を行わせてスケールファクタα
を求め、ロボットコントローラＲＣの不揮発性メモリ１
４と画像処理装置２０のデータメモリ２６に記憶する。
【００５２】（４）センサ４のセンシング位置を示すラ
イン５０よりも左方のコンベア１上にワークＷをセット
した上でコンベア１を走行させ、ワークＷがセンサ４で
検出された瞬間（ライン５０に到達した瞬間）における
パルスコーダ計数出力値ｎsをロボット制御部１０のＤ
ＳＰ用データメモリ１７と画像処理装置２０のデータメ
モリ２６に記憶する。
イン５０よりも左方のコンベア１上にワークＷをセット
した上でコンベア１を走行させ、ワークＷがセンサ４で
検出された瞬間（ライン５０に到達した瞬間）における
パルスコーダ計数出力値ｎsをロボット制御部１０のＤ
ＳＰ用データメモリ１７と画像処理装置２０のデータメ
モリ２６に記憶する。
【００５３】（５）コンベア１を走行させ、センサ４を
通過したワークＷをカメラ３０の視野３１内の適当な位
置にもってくる。この時点におけるパルスコーダ計数出
力値ｎ30と先に記憶したｎs からΔｎ30-s＝ｎ30−ｎs
を計算し、メモリ２６に記憶する。また、カメラ３０に
よる撮影を実行し、ワークＷの画像を基準画像として取
り込み、フレームメモリ２３に格納する。
通過したワークＷをカメラ３０の視野３１内の適当な位
置にもってくる。この時点におけるパルスコーダ計数出
力値ｎ30と先に記憶したｎs からΔｎ30-s＝ｎ30−ｎs
を計算し、メモリ２６に記憶する。また、カメラ３０に
よる撮影を実行し、ワークＷの画像を基準画像として取
り込み、フレームメモリ２３に格納する。
【００５４】（６）コンベア１を更に走行させ、ロボッ
トＲＢにトラッキング動作を開始させるに適した位置６
０にワークＷをもって来る。そして、その時のパルスコ
ーダ計数出力値ｎ60と先に記憶したｎs からΔｎ60-s＝
ｎ60−ｎs を計算して、ＤＳＰ用データメモリ１７に記
憶する。
トＲＢにトラッキング動作を開始させるに適した位置６
０にワークＷをもって来る。そして、その時のパルスコ
ーダ計数出力値ｎ60と先に記憶したｎs からΔｎ60-s＝
ｎ60−ｎs を計算して、ＤＳＰ用データメモリ１７に記
憶する。
【００５５】（７）コンベア１を再び更に走行させ、ロ
ボットＲＢが所期の作業（例えば、ハンドによる把持）
を行うに適した位置にワークＷをもって来る。 （８）その時のパルスコーダ計数出力値ｎtcと先に記憶
したｎs からΔｎtc-s＝ｎtc−ｎs を計算して、ＤＳＰ
用データメモリ１７に記憶する。
ボットＲＢが所期の作業（例えば、ハンドによる把持）
を行うに適した位置にワークＷをもって来る。 （８）その時のパルスコーダ計数出力値ｎtcと先に記憶
したｎs からΔｎtc-s＝ｎtc−ｎs を計算して、ＤＳＰ
用データメモリ１７に記憶する。
【００５６】（９）ロボットＲＢに所期の作業（例え
ば、ハンドによる把持）の実行に必要な動作を教示す
る。ここでは、ハンドの開閉による把持を教示する。
ば、ハンドによる把持）の実行に必要な動作を教示す
る。ここでは、ハンドの開閉による把持を教示する。
【００５７】（１０）コンベア１を再び更に走行させ、
ロボットＲＢのトラッキング動作を終了させるに適した
位置７０にワークＷをもって来る。そして、その時のパ
ルスコーダ計数出力値ｎ70と先に記憶したｎs からΔｎ
70-s＝ｎ70−ｎs を計算し、ＤＳＰ用データメモリ１７
に記憶する。 （１１）ワークＷを解放する位置Ｑ2 をロボットに教示
し、更にハンドの開閉によるワークＷの解放を教示す
る。
ロボットＲＢのトラッキング動作を終了させるに適した
位置７０にワークＷをもって来る。そして、その時のパ
ルスコーダ計数出力値ｎ70と先に記憶したｎs からΔｎ
70-s＝ｎ70−ｎs を計算し、ＤＳＰ用データメモリ１７
に記憶する。 （１１）ワークＷを解放する位置Ｑ2 をロボットに教示
し、更にハンドの開閉によるワークＷの解放を教示す
る。
【００５８】以上で、トラッキング実行の為の準備作業
が完了する。次に、図４のフローチャートを参照して、
トラッキングによる本作業実行時のＣＰＵ処理について
説明する。ワークＷがコンベア１に供給されたことを知
らせる適当な外部信号を受けて、処理が開始されると、
両ＣＰＵ１１，２１はセンサ４によるワークＷの到来を
待つ態勢に入る（ステップＳ１）。センサ４によってワ
ークＷの到来が検出されると、その時点におけるパルス
コーダ計数出力値Ｎs がＤＳＰ用メモリ１７とデータメ
モリ２６に記憶される（ステップＳ２）。
が完了する。次に、図４のフローチャートを参照して、
トラッキングによる本作業実行時のＣＰＵ処理について
説明する。ワークＷがコンベア１に供給されたことを知
らせる適当な外部信号を受けて、処理が開始されると、
両ＣＰＵ１１，２１はセンサ４によるワークＷの到来を
待つ態勢に入る（ステップＳ１）。センサ４によってワ
ークＷの到来が検出されると、その時点におけるパルス
コーダ計数出力値Ｎs がＤＳＰ用メモリ１７とデータメ
モリ２６に記憶される（ステップＳ２）。
【００５９】次に、ワークＷが上記準備作業の中で視覚
センサに教示された撮影位置に到来するのを待つ態勢に
入る（ステップＳ３）。教示された撮影位置への到来
は、パルスコーダ計数出力値Ｎが、Ｎs ＋Δｎ30-sに達
したことで判別される。このΔｎ30-sは、スケールファ
クタαを媒介にして、センサ４から撮影位置までの距離
を表わす量となっている。
センサに教示された撮影位置に到来するのを待つ態勢に
入る（ステップＳ３）。教示された撮影位置への到来
は、パルスコーダ計数出力値Ｎが、Ｎs ＋Δｎ30-sに達
したことで判別される。このΔｎ30-sは、スケールファ
クタαを媒介にして、センサ４から撮影位置までの距離
を表わす量となっている。
【００６０】ワークＷが教示された撮影位置に到来した
ならば、カメラ３０による撮影を実行し、準備作業時に
得た基準画像データと比較し、ワークＷ上の２点Ｗa ，
Ｗbの基準位置からのずれ量を求め、結果を表わすデー
タをロボット制御部１０へ伝達する（ステップＳ４）。
ならば、カメラ３０による撮影を実行し、準備作業時に
得た基準画像データと比較し、ワークＷ上の２点Ｗa ，
Ｗbの基準位置からのずれ量を求め、結果を表わすデー
タをロボット制御部１０へ伝達する（ステップＳ４）。
【００６１】次に、ワークＷが上記準備作業の中で教示
されたトラッキング開始位置（ライン６０）に到達する
のを待つ態勢に入る（ステップＳ５）。教示されたトラ
ッキング開始位置への到達は、パルスコーダ計数出力値
Ｎが、Ｎs ＋Δｎ60-sに達したことで判別される。この
Δｎ60-sは、スケールファクタαを媒介にして、センサ
４からトラッキング開始位置までの距離を表わす量とな
っている。
されたトラッキング開始位置（ライン６０）に到達する
のを待つ態勢に入る（ステップＳ５）。教示されたトラ
ッキング開始位置への到達は、パルスコーダ計数出力値
Ｎが、Ｎs ＋Δｎ60-sに達したことで判別される。この
Δｎ60-sは、スケールファクタαを媒介にして、センサ
４からトラッキング開始位置までの距離を表わす量とな
っている。
【００６２】ワークＷが教示されたトラッキング開始位
置に到達したならば、トラッキング座標系Σtrの移動を
開始させる（ステップＳ６）。トラッキング座標系Σtr
の移動開始後のベース座標系Σb との関係は次のように
なる。任意の時点におけるトラッキング座標系上の座標
値（ｘ，ｙ，ｚ）は、ベース座標系上の座標値（Ｘ，
Ｙ，Ｚ）とは下記の関係にある。 ｘ＝Ｘ−Ｌ0 ＋α（Ｎ−Ｎs ），ｙ＝Ｙ−Ｙ0 ，ｚ＝Ｚ ここで、αは準備作業で求めたスケールファクタ、Ｌ0
，Ｙ0 はトラッキング座標系の移動開始前の原点位置
の関係を表わす既知の定数である。また、Ｎはその時点
において、ロボットコントローラＲＣのロボット制御部
１０のＣＰＵ１１が認識するパルスコーダ計数出力値を
表わしている。
置に到達したならば、トラッキング座標系Σtrの移動を
開始させる（ステップＳ６）。トラッキング座標系Σtr
の移動開始後のベース座標系Σb との関係は次のように
なる。任意の時点におけるトラッキング座標系上の座標
値（ｘ，ｙ，ｚ）は、ベース座標系上の座標値（Ｘ，
Ｙ，Ｚ）とは下記の関係にある。 ｘ＝Ｘ−Ｌ0 ＋α（Ｎ−Ｎs ），ｙ＝Ｙ−Ｙ0 ，ｚ＝Ｚ ここで、αは準備作業で求めたスケールファクタ、Ｌ0
，Ｙ0 はトラッキング座標系の移動開始前の原点位置
の関係を表わす既知の定数である。また、Ｎはその時点
において、ロボットコントローラＲＣのロボット制御部
１０のＣＰＵ１１が認識するパルスコーダ計数出力値を
表わしている。
【００６３】トラッキング座標系の移動が開始された直
後に（場合によっては、先行しても良い。）、動作プロ
グラムを読み込んでトラッキング座標系上でロボットＲ
Ｂの経路移動を開始させる（ステップＳ７）。但し、こ
の時補間計算周期で繰り返される移動目標位置の計算に
あたっては、ステップＳ４で求められた位置ずれ量を補
償するようなロボット位置（通常、姿勢も含む）の補正
を行なう。
後に（場合によっては、先行しても良い。）、動作プロ
グラムを読み込んでトラッキング座標系上でロボットＲ
Ｂの経路移動を開始させる（ステップＳ７）。但し、こ
の時補間計算周期で繰り返される移動目標位置の計算に
あたっては、ステップＳ４で求められた位置ずれ量を補
償するようなロボット位置（通常、姿勢も含む）の補正
を行なう。
【００６４】ロボットＲＢは、ほぼ図２に符号９０で示
したような曲線軌道に沿って教示位置Ｑ0 （正確に言え
ば、それをステップＳ４で求められた位置ずれ量を補償
するように補正した位置）に接近して行くことになる。
なお、線軌道８０は、仮にベース座標系Σb 上でロボッ
トＲＢを制御した場合の移動経路を表わしている。移動
速度を適当な値に教示しておけば、ロボットＲＢはワー
クＷが位置Ｑ0 に到達する直前にワークＷに遭遇する。
したような曲線軌道に沿って教示位置Ｑ0 （正確に言え
ば、それをステップＳ４で求められた位置ずれ量を補償
するように補正した位置）に接近して行くことになる。
なお、線軌道８０は、仮にベース座標系Σb 上でロボッ
トＲＢを制御した場合の移動経路を表わしている。移動
速度を適当な値に教示しておけば、ロボットＲＢはワー
クＷが位置Ｑ0 に到達する直前にワークＷに遭遇する。
【００６５】そこで、ワークＷが位置Ｑ0 に到達したこ
とを確認した時点でハンドによるワークＷの把持動作を
実行する（ステップＳ８〜ステップＳ９）。この間、ロ
ボットＲＢはトラッキング座標系乃至コンベア１と同期
的に移動を継続する。ワークＷが位置Ｑ0 に到達したこ
との確認は、パルスコーダ計数出力値Ｎが、Ｎs ＋Δｎ
tc-sに達したことで行なわれる。
とを確認した時点でハンドによるワークＷの把持動作を
実行する（ステップＳ８〜ステップＳ９）。この間、ロ
ボットＲＢはトラッキング座標系乃至コンベア１と同期
的に移動を継続する。ワークＷが位置Ｑ0 に到達したこ
との確認は、パルスコーダ計数出力値Ｎが、Ｎs ＋Δｎ
tc-sに達したことで行なわれる。
【００６６】次いで、ワークＷが上記準備作業の中で教
示されたトラッキング終了位置（ライン７０）に到達す
るのを周期的に検出する態勢に入る（ステップＳ１
０）。教示されたトラッキング終了位置への到達は、パ
ルスコーダ計数出力値Ｎが、Ｎs＋Δｎ70-sに達したこ
とで判別される。このΔｎ70-sは、スケールファクタα
を媒介にして、センサ４からトラッキング終了位置まで
の距離を表わす量となっている。
示されたトラッキング終了位置（ライン７０）に到達す
るのを周期的に検出する態勢に入る（ステップＳ１
０）。教示されたトラッキング終了位置への到達は、パ
ルスコーダ計数出力値Ｎが、Ｎs＋Δｎ70-sに達したこ
とで判別される。このΔｎ70-sは、スケールファクタα
を媒介にして、センサ４からトラッキング終了位置まで
の距離を表わす量となっている。
【００６７】ワークＷが教示されたトラッキング終了位
置に到達したならば、トラッキング座標系Σtrの移動を
終了させる（ステップＳ１１）。この時点では、当然ロ
ボットＲＢは完全にワークＷを把持した状態にあるの
で、次の教示点Ｑ2 へ通常の軌道計画に従って移動し、
ハンドを開いてワークＷを解放する（ステップＳ１
２）。以上で、本願発明の方法による１作業サイクルが
完了する。
置に到達したならば、トラッキング座標系Σtrの移動を
終了させる（ステップＳ１１）。この時点では、当然ロ
ボットＲＢは完全にワークＷを把持した状態にあるの
で、次の教示点Ｑ2 へ通常の軌道計画に従って移動し、
ハンドを開いてワークＷを解放する（ステップＳ１
２）。以上で、本願発明の方法による１作業サイクルが
完了する。
【００６８】最後に、本願発明の方法におけるコンベア
走行方向に関するトラッキング誤差について考察してみ
ると次のことが判る。 （１）センサ４を通過した瞬間のパルスコーダ計数出力
値Ｎs は、ロボットと視覚センサで同時刻に認識され
る。ここで、ロボットコントローラの入力信号スキャン
周期による処理遅れによって、コンベア１がδパルス分
だけ進んでいたものとする。
走行方向に関するトラッキング誤差について考察してみ
ると次のことが判る。 （１）センサ４を通過した瞬間のパルスコーダ計数出力
値Ｎs は、ロボットと視覚センサで同時刻に認識され
る。ここで、ロボットコントローラの入力信号スキャン
周期による処理遅れによって、コンベア１がδパルス分
だけ進んでいたものとする。
【００６９】（２）視覚センサは、Ｎs を起点としてパ
ルスコーダ計数出力値Ｎを数え、対象物Ｗの検出を行な
う。この時の検出タイミングについても、コンベア１は
δパルス分進んでいる。従って、コンベア１上の検出対
象物Ｗも検出画像内でδパルス分進んでいる。
ルスコーダ計数出力値Ｎを数え、対象物Ｗの検出を行な
う。この時の検出タイミングについても、コンベア１は
δパルス分進んでいる。従って、コンベア１上の検出対
象物Ｗも検出画像内でδパルス分進んでいる。
【００７０】（３）視覚センサは、その検出画像の解析
結果をそのままロボットへ知らせるので、結局、δパル
ス分の進み（入力信号スキャン周期によるコンベア走行
方向に沿ったずれ）とそれ以外の要因によるワークの位
置ずれの双方がロボットに知らされることになる。
結果をそのままロボットへ知らせるので、結局、δパル
ス分の進み（入力信号スキャン周期によるコンベア走行
方向に沿ったずれ）とそれ以外の要因によるワークの位
置ずれの双方がロボットに知らされることになる。
【００７１】（４）以上のことから、入力信号スキャン
周期によるトラッキング方向（コンベア走行方向）に沿
った検出対象物のずれも視覚センサによって、「（時間
軸上ではなく空間上の）検出対象物の位置ずれ」として
処理される。その結果、入力信号スキャン周期によるト
ラッキング誤差が抑止されたトラッキング動作が実現さ
れる。
周期によるトラッキング方向（コンベア走行方向）に沿
った検出対象物のずれも視覚センサによって、「（時間
軸上ではなく空間上の）検出対象物の位置ずれ」として
処理される。その結果、入力信号スキャン周期によるト
ラッキング誤差が抑止されたトラッキング動作が実現さ
れる。
【００７２】なお、上記実施例では、トラッキングの終
了をトラッキングの開始と同様の方法で決定したが、ト
ラッキングの終了時点については種々の決め方が許容さ
れる。例えば、作業に支障のない条件でトラッキング継
続時間を指定したり、ベース座標系Σb 上のＸ軸方向の
定位置を指定することによってトラッキング動作の終了
時期を決定しても良い。また、ロボット作業が把持作業
に限られないことはもちろんである。更に、本実施例の
ようなライントラッキングに限らず、円弧トラッキング
においても、トラッキング座標系の移動／回転経路を適
切に定めれば本願発明が適用可能であることも明らかで
ある。
了をトラッキングの開始と同様の方法で決定したが、ト
ラッキングの終了時点については種々の決め方が許容さ
れる。例えば、作業に支障のない条件でトラッキング継
続時間を指定したり、ベース座標系Σb 上のＸ軸方向の
定位置を指定することによってトラッキング動作の終了
時期を決定しても良い。また、ロボット作業が把持作業
に限られないことはもちろんである。更に、本実施例の
ようなライントラッキングに限らず、円弧トラッキング
においても、トラッキング座標系の移動／回転経路を適
切に定めれば本願発明が適用可能であることも明らかで
ある。
【００７３】
【発明の効果】本願発明によれば、ロボットシステムの
入力信号スキャン周期に起因した作業対象物の移動方向
のトラッキング誤差が補正される。また、作業対象物の
姿勢のばらつき、移動方向と垂直な方向の位置決め状態
のばらつき等に起因したトラッキング誤差についても、
視覚センサの働きにより同時に補正が行なわれる。従っ
て、移動中の作業対象物を停止させることなく、高い精
度のロボット作業が実現される。
入力信号スキャン周期に起因した作業対象物の移動方向
のトラッキング誤差が補正される。また、作業対象物の
姿勢のばらつき、移動方向と垂直な方向の位置決め状態
のばらつき等に起因したトラッキング誤差についても、
視覚センサの働きにより同時に補正が行なわれる。従っ
て、移動中の作業対象物を停止させることなく、高い精
度のロボット作業が実現される。
【００７４】また、ワークＷの形状、寸法等に多様な変
更があっても、治具を使用する場合のように個別あるい
は汎用の治具を用意する必要がなく、カメラの配置変更
や画像解析のソフトウェアあるいは関連パラメータ変更
・追加等で対処出来るという利点もある。
更があっても、治具を使用する場合のように個別あるい
は汎用の治具を用意する必要がなく、カメラの配置変更
や画像解析のソフトウェアあるいは関連パラメータ変更
・追加等で対処出来るという利点もある。
【図１】従来のトラッキング動作の原理について説明す
る図である。
る図である。
【図２】本願発明の方法を実施する際の全体配置の１例
を、図１と類似した形式で示したものである。
を、図１と類似した形式で示したものである。
【図３】図２の配置に対応したシステム構成の一例を要
部ブロック図で示したものである。
部ブロック図で示したものである。
【図４】実施例における処理内容の概略を記したフロー
チャートである。
チャートである。
１ コンベア ２ コンベア駆動部 ３ パルスコーダ ４ センサ １０ ロボット制御部 １１ ＣＰＵ（ロボットコントローラ） １２ ＲＯＭ １３ ＲＡＭ １４ 不揮発性メモリ １５ 軸制御器 １６ サーボ回路 １７ デジタルシグナルプロセッサ（ＤＳＰ）用データ
メモリ １８ デジタルシグナルプロセッサ（ＤＳＰ） １９ センサインターフェイス ２０ 画像処理装置 ２１ ＣＰＵ（画像処理装置） ２２ カメラインターフェイス ２３ フレームメモリ ２４ プログラムメモリ ２５ 画像処理プロセッサ ２６ データメモリ ２７ モニタインターフェイス ３０ カメラ ３１ 視野 ４０ モニタＣＲＴ ５０ 検出位置ライン ６０ トラッキング開始ライン ７０ トラッキング終了ライン ＢＳ，ＢＳ’，ＢＳ” バス Ｐ0 ロボット初期位置 ＲＢ ロボット ＲＣ ロボットコントローラ ＶＳ 視覚センサ Ｗ ワーク
メモリ １８ デジタルシグナルプロセッサ（ＤＳＰ） １９ センサインターフェイス ２０ 画像処理装置 ２１ ＣＰＵ（画像処理装置） ２２ カメラインターフェイス ２３ フレームメモリ ２４ プログラムメモリ ２５ 画像処理プロセッサ ２６ データメモリ ２７ モニタインターフェイス ３０ カメラ ３１ 視野 ４０ モニタＣＲＴ ５０ 検出位置ライン ６０ トラッキング開始ライン ７０ トラッキング終了ライン ＢＳ，ＢＳ’，ＢＳ” バス Ｐ0 ロボット初期位置 ＲＢ ロボット ＲＣ ロボットコントローラ ＶＳ 視覚センサ Ｗ ワーク
───────────────────────────────────────────────────── フロントページの続き (72)発明者 久保田 裕昭 山梨県南都留郡忍野村忍草字古馬場3580 番地 ファナック株式会社 内 (56)参考文献 特開 昭61−260991（ＪＰ，Ａ) 特開 昭63−260781（ＪＰ，Ａ) 特開 昭60−217085（ＪＰ，Ａ) 特開 平３−79285（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G05B 19/18 G05B 19/19
Claims (2)
- 【請求項１】 搬送手段による対象物の搬送経路の近傍
に、前記搬送経路の上流側から順に前記対象物の到来を
検出する対象物到来センサ手段とカメラ手段を配置し、
前記カメラ手段を有する視覚センサを用いて前記搬送手
段によって搬送中の前記対象物の画像を取得し、該画像
を解析することによって前記対象物の位置を表わす信号
を前記視覚センサ内で生成し、該対象物の位置を表わす
信号と前記対象物到来センサ手段の出力信号と前記搬送
手段による対象物の搬送量を表わす信号に基づいて、ロ
ボットコントローラ内でロボット制御信号を生成するロ
ボットのビジュアルトラッキング方法であって、 前記対象物到来センサ手段による対象物の到来検知を視
覚センサが認識した時点を起点として第１の所定距離の
対象物搬送が行なわれたことを視覚センサが前記搬送手
段による対象物の搬送量を表わす信号に基づいて認識し
た時点で前記対象物の画像の取得がなされ、 前記対象物到来センサ手段による対象物の到来検知を前
記ロボットコントローラが認識した時点を起点として第
２の所定距離の対象物搬送が行なわれたことを前記ロボ
ットコントローラが前記搬送手段による対象物の搬送量
を表わす信号に基づいて認識した時点で前記ロボットの
トラッキング動作が開始され、 前記トラッキング動作実行中のロボット位置は、前記取
得された対象物の画像を解析して得られる前記対象物の
位置を表わす信号を考慮して、前記搬送手段による対象
物の搬送量を表わす信号によって移動量が定められるト
ラッキング座標系上で制御されることを特徴とする前記
ビジュアルトラッキング方法。 - 【請求項２】 更に、前記対象物到来センサ手段による
対象物の到来検知を前記ロボットコントローラが認識し
た時点を起点として第３の所定距離の対象物搬送が行な
われたことを前記ロボットコントローラが前記搬送手段
による対象物の搬送量を表わす信号に基づいて認識した
時点で前記ロボットのトラッキング動作が終了されるこ
とを特徴とする請求項１に記載されたビジュアルトラッ
キング方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6222693A JP3002097B2 (ja) | 1994-08-25 | 1994-08-25 | ビジュアルトラッキング方法 |
| US08/518,713 US5727132A (en) | 1994-08-25 | 1995-08-24 | Robot controlling method for tracking a moving object using a visual sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6222693A JP3002097B2 (ja) | 1994-08-25 | 1994-08-25 | ビジュアルトラッキング方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0863214A JPH0863214A (ja) | 1996-03-08 |
| JP3002097B2 true JP3002097B2 (ja) | 2000-01-24 |
Family
ID=16786441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6222693A Expired - Fee Related JP3002097B2 (ja) | 1994-08-25 | 1994-08-25 | ビジュアルトラッキング方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5727132A (ja) |
| JP (1) | JP3002097B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007090479A (ja) * | 2005-09-28 | 2007-04-12 | Fanuc Ltd | ロボットのオフライン教示装置 |
Families Citing this family (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3394322B2 (ja) * | 1994-05-19 | 2003-04-07 | ファナック株式会社 | 視覚センサを用いた座標系設定方法 |
| JP3300682B2 (ja) * | 1999-04-08 | 2002-07-08 | ファナック株式会社 | 画像処理機能を持つロボット装置 |
| US6356807B1 (en) | 1999-08-13 | 2002-03-12 | Fanuc Robotics North America, Inc. | Method of determining contact positions, calibration parameters, and reference frames for robot assemblies |
| SE0001312D0 (sv) * | 2000-04-10 | 2000-04-10 | Abb Ab | Industrirobot |
| DE10039442A1 (de) * | 2000-08-11 | 2002-02-21 | Duerr Systems Gmbh | Verfahren und Programmsteuersystem zum Beschichten oder Bearbeiten von Werkstücken längs toleranzbehafteter Pfade |
| JP2002192486A (ja) * | 2000-12-25 | 2002-07-10 | Seiko Epson Corp | ロボット制御方法及び該方法を適用したロボットコントローラ |
| JP4656360B2 (ja) * | 2001-04-16 | 2011-03-23 | 澁谷工業株式会社 | ラベル貼付システム |
| JP2003148914A (ja) * | 2001-11-08 | 2003-05-21 | Fanuc Ltd | 位置検出装置及び位置検出を利用した取出し装置 |
| KR20030050402A (ko) * | 2001-12-18 | 2003-06-25 | 엘지전자 주식회사 | 로봇의 헤드 트랙킹 제어방법 |
| DE10300606B4 (de) * | 2003-01-10 | 2015-11-26 | Bosch Rexroth Ag | Verfahren und Steuereinrichtung zum Anfahren einer Greifvorrichtung an ein sich bewegendes Stückgut |
| JP4174342B2 (ja) | 2003-02-19 | 2008-10-29 | ファナック株式会社 | ワーク搬送装置 |
| US20050101050A1 (en) * | 2003-11-07 | 2005-05-12 | Lg Philips Lcd Co., Ltd. | Photolithograph system and method for driving the same |
| DE102005051533B4 (de) * | 2005-02-11 | 2015-10-22 | Vmt Vision Machine Technic Bildverarbeitungssysteme Gmbh | Verfahren zur Verbesserung der Positioniergenauigkeit eines Manipulators bezüglich eines Serienwerkstücks |
| US7430456B2 (en) * | 2006-02-08 | 2008-09-30 | Seagate Technology Llc | Reference point teaching using an end effector to form a witness mark |
| CN100432696C (zh) * | 2006-06-27 | 2008-11-12 | 上海大学 | 基于仿生人眼控制的地面运动目标低空自动跟踪系统 |
| US20080289515A1 (en) * | 2007-04-17 | 2008-11-27 | Knorr Robert J | Pepper de-stemming |
| US8511226B2 (en) * | 2007-04-17 | 2013-08-20 | Robert J. Knorr | Pepper de-stemming methods and apparatus |
| JP2008296330A (ja) * | 2007-05-31 | 2008-12-11 | Fanuc Ltd | ロボットシミュレーション装置 |
| WO2009091536A1 (en) * | 2008-01-15 | 2009-07-23 | Roy Sandberg | Low latency navigation for visual mapping for a telepresence robot |
| US8600552B2 (en) | 2009-10-30 | 2013-12-03 | Honda Motor Co., Ltd. | Information processing method, apparatus, and computer readable medium |
| JP5528095B2 (ja) * | 2009-12-22 | 2014-06-25 | キヤノン株式会社 | ロボットシステム、その制御装置及び方法 |
| JP5446887B2 (ja) * | 2010-01-06 | 2014-03-19 | セイコーエプソン株式会社 | 制御装置、ロボット、ロボットシステム及びロボットの追従方法 |
| JP5508895B2 (ja) * | 2010-02-22 | 2014-06-04 | 本田技研工業株式会社 | 加工システム及び加工方法 |
| JP5733511B2 (ja) * | 2011-03-31 | 2015-06-10 | 株式会社Ihi | ハンドガイド装置とその制御方法 |
| CN102909728B (zh) * | 2011-08-05 | 2015-11-25 | 鸿富锦精密工业（深圳）有限公司 | 机器人工具中心点的视觉校正方法 |
| US9701019B2 (en) | 2011-09-15 | 2017-07-11 | Convergent Information Technologies Gmbh | System and method for the automatic generation of robot programs |
| DE102011082800B4 (de) * | 2011-09-15 | 2016-04-14 | Convergent Information Technologies Gmbh | System und Verfahren zur automatisierten Erstellung von Roboterprogrammen |
| JP5907411B2 (ja) * | 2012-02-01 | 2016-04-26 | 株式会社Ihi | ワーク組付け装置 |
| JP2013173196A (ja) * | 2012-02-24 | 2013-09-05 | Hitachi Zosen Fukui Corp | ロボットのハンドリングアームの位置補正方法 |
| ITBO20130163A1 (it) * | 2013-04-12 | 2014-10-13 | Marchesini Group Spa | Metodo e sistema per sincronizzare una stazione di lavorazione con l'avanzamento di un articolo |
| US9782896B2 (en) * | 2013-11-28 | 2017-10-10 | Mitsubishi Electric Corporation | Robot system and control method for robot system |
| JP2015174191A (ja) * | 2014-03-17 | 2015-10-05 | 株式会社安川電機 | ロボットシステム、ロボットシステムのキャリブレーション方法およびロボットシステムの位置補正方法 |
| ES2754039T3 (es) * | 2014-04-30 | 2020-04-15 | Abb Schweiz Ag | Procedimiento para calibrar un punto central de una herramienta para un sistema de robot industrial |
| CA2949877C (fr) * | 2014-06-06 | 2022-07-12 | Gebo Cermex Canada Inc. | Dispositif et procede d'intervention sur ligne de convoyage |
| JP6042860B2 (ja) | 2014-12-02 | 2016-12-14 | ファナック株式会社 | ロボットを用いて物品を移送する物品移送装置及び物品移送方法 |
| DE102015014485A1 (de) * | 2015-11-10 | 2017-05-24 | Kuka Roboter Gmbh | Kalibrieren eines Systems mit einem Fördermittel und wenigstens einem Roboter |
| US9757859B1 (en) * | 2016-01-21 | 2017-09-12 | X Development Llc | Tooltip stabilization |
| US9744665B1 (en) | 2016-01-27 | 2017-08-29 | X Development Llc | Optimization of observer robot locations |
| US10059003B1 (en) | 2016-01-28 | 2018-08-28 | X Development Llc | Multi-resolution localization system |
| JP6581049B2 (ja) * | 2016-08-15 | 2019-09-25 | ファナック株式会社 | ロボットシステム |
| JP6426672B2 (ja) | 2016-08-30 | 2018-11-21 | ファナック株式会社 | ワーク仕分けシステムおよび方法 |
| JP6450726B2 (ja) * | 2016-10-26 | 2019-01-09 | ファナック株式会社 | ロボットの動作をシミュレーションするシミュレーション装置、およびシミュレーション方法 |
| JP6450727B2 (ja) * | 2016-10-28 | 2019-01-09 | ファナック株式会社 | ロボットが行う物品整列作業のシミュレーションのための装置、方法、プログラム及び記録媒体 |
| JP6464134B2 (ja) * | 2016-12-21 | 2019-02-06 | ファナック株式会社 | ロボットシステム及び生産システム |
| JP6496333B2 (ja) | 2017-01-30 | 2019-04-03 | ファナック株式会社 | 少なくとも１つのセンサを用いた物品搬送装置 |
| JP6438509B2 (ja) | 2017-02-28 | 2018-12-12 | ファナック株式会社 | ロボットシステムのシミュレーション装置、シミュレーション方法、およびコンピュータプログラム |
| DE102017106533B4 (de) * | 2017-03-27 | 2019-10-10 | Sick Ag | Vorrichtung und Verfahren zum Positionieren von Objekten |
| JP6490132B2 (ja) | 2017-03-31 | 2019-03-27 | ファナック株式会社 | ロボットの制御装置、機械学習装置及び機械学習方法 |
| JP6506356B2 (ja) | 2017-07-26 | 2019-04-24 | ファナック株式会社 | 物品搬送システム及び搬送システム制御装置 |
| JP6659744B2 (ja) * | 2018-01-25 | 2020-03-04 | ファナック株式会社 | ロボットシステム |
| JP6734306B2 (ja) | 2018-01-25 | 2020-08-05 | ファナック株式会社 | 物品搬送システムおよびロボットシステム |
| WO2019183141A1 (en) * | 2018-03-21 | 2019-09-26 | Realtime Robotics, Inc. | Motion planning of a robot for various environments and tasks and improved operation of same |
| JP6810087B2 (ja) * | 2018-03-29 | 2021-01-06 | ファナック株式会社 | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 |
| CN109051634B (zh) * | 2018-10-13 | 2020-07-07 | 番禺精美五金塑料制品有限公司 | 输送带编码控制系统 |
| CN109648559A (zh) * | 2018-12-27 | 2019-04-19 | 重庆迈纳姆智能装备研究院有限公司 | 用于机器人清洗机抓取多型号缸体缸盖的视觉定位系统 |
| CN110294316B (zh) * | 2019-06-04 | 2021-07-13 | 深圳蓝胖子机器智能有限公司 | 一种抓取传送带上物品的方法、系统以及设备 |
| CN114728380B (zh) * | 2019-11-20 | 2023-05-23 | 日本电产株式会社 | 作业系统 |
| CN116490832A (zh) * | 2020-11-26 | 2023-07-25 | B&R工业自动化有限公司 | 对象的移动控制 |
| CN114055473B (zh) * | 2021-12-06 | 2022-06-17 | 合肥新思路智能科技有限公司 | 基于搬运机器人的视觉检测识别系统 |
| CN114952843B (zh) * | 2022-05-30 | 2023-02-28 | 江南大学 | 一种基于双机器人主从协同的微装配操作系统 |
| CN117125469B (zh) * | 2023-09-12 | 2024-03-15 | 天津锐新昌科技股份有限公司 | 散热翅片自动上卸料控制方法、系统、装置、设备及介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61260991A (ja) * | 1985-05-16 | 1986-11-19 | 三菱重工業株式会社 | ロボツト起動指示方法 |
| JPS62203789A (ja) * | 1986-03-04 | 1987-09-08 | 日産自動車株式会社 | 追従制御装置 |
| JPS63260781A (ja) * | 1987-04-20 | 1988-10-27 | トキコ株式会社 | 工業用ロボツト |
| JPS6467605A (en) * | 1987-09-09 | 1989-03-14 | Hitachi Metals Ltd | Conveyor synchronous control method for robot |
| US5243690A (en) * | 1989-11-14 | 1993-09-07 | General Electric Company | Robot targeting using transit time control |
| JP3173042B2 (ja) * | 1991-05-21 | 2001-06-04 | ソニー株式会社 | ロボットの数値制御装置 |
| US5297238A (en) * | 1991-08-30 | 1994-03-22 | Cimetrix Incorporated | Robot end-effector terminal control frame (TCF) calibration method and device |
| US5475797A (en) * | 1993-10-22 | 1995-12-12 | Xerox Corporation | Menu driven system for controlling automated assembly of palletized elements |
-
1994
- 1994-08-25 JP JP6222693A patent/JP3002097B2/ja not_active Expired - Fee Related
-
1995
- 1995-08-24 US US08/518,713 patent/US5727132A/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007090479A (ja) * | 2005-09-28 | 2007-04-12 | Fanuc Ltd | ロボットのオフライン教示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5727132A (en) | 1998-03-10 |
| JPH0863214A (ja) | 1996-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3002097B2 (ja) | ビジュアルトラッキング方法 | |
| CN108214454B (zh) | 机器人系统、机器人控制装置及机器人控制方法 | |
| JP4174342B2 (ja) | ワーク搬送装置 | |
| JP3834088B2 (ja) | 複数のロボットにトラッキング動作を行なわせるための視覚センサ・ロボットシステム | |
| CN111905983B (zh) | 基于视觉跟随的点胶轨迹修正方法、装置、系统及介质 | |
| JP3702257B2 (ja) | ロボットハンドリング装置 | |
| US20170043477A1 (en) | Robot system with visual sensor and a plurality of robots | |
| JP4265088B2 (ja) | ロボット装置及びその制御方法 | |
| JP5912627B2 (ja) | 撮像検査装置ならびにその制御装置および制御方法 | |
| JPH0972717A (ja) | 画像の取得・処理方法 | |
| JP2004001122A (ja) | ピッキング装置 | |
| JP4303411B2 (ja) | トラッキング方法、及びトラッキングシステム | |
| JPH10105217A (ja) | ロボットのトラッキング制御方法およびロボット制御システム | |
| JP4809524B2 (ja) | トラッキング方法、トラッキングシステム、及びトラッキング装置 | |
| JPH1158273A (ja) | 移動ロボット装置 | |
| JPH10334221A (ja) | 画像取得装置 | |
| JP4056662B2 (ja) | 外観検査装置 | |
| JPH09300264A (ja) | ロボット制御装置 | |
| JP2011083883A (ja) | ロボット装置 | |
| JP2001092523A (ja) | 搬送用ロボットの教示方法 | |
| JP2703096B2 (ja) | コンベア付きロボットシステムの教示方法 | |
| JP2703099B2 (ja) | 産業用ロボットのコンベア追従方法 | |
| JPH07122823B2 (ja) | 手先視覚付きロボット・自動機械の教示および制御方法 | |
| JPH04167102A (ja) | ロボットの原点復帰方法 | |
| JP2001212777A (ja) | ロボット制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991005 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081112 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091112 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101112 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |