JP6697510B2 - ロボットシステム - Google Patents

Description

本発明は、ロボットシステムに関するものである。

従来、コンベヤによって搬送されてくる物品やコンベヤに付されたマークを撮像して、得られた画像からコンベヤによって搬送される物品の移動速度を検出し、物品の移動に同期してロボットハンドの位置を制御することにより、移動している物品をロボットハンドによって把持するロボットシステムが知られている（例えば、特許文献１参照。）。

また、コンベヤの搬送経路における移動量を検出するエンコーダからの信号に同期して視覚センサにより取得された画像により、コンベヤ上のワークを識別し、ロボットの先端のハンドを識別されたワークに位置決めして取り扱うロボットシステムが知られている（例えば、特許文献２参照。）。

特開２００９−２８８１８号公報 特開２０１２−１９２４６６号公報

しかしながら、コンベヤの移動量を、エンコーダに匹敵する分解能で、視覚センサにより取得された画像から検出するには、１ｍｓ程度の短周期で物品の位置を検出する必要がある一方、コンベヤにより搬送されてくる物品の形状や姿勢を高精度に認識するには、パターンマッチング等の負荷の大きな処理のために膨大な計算が必要となり、短周期で処理することができないという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、視覚センサにより検出された視覚情報に基づいて、搬送装置によって搬送されている対象の搬送速度および位置の少なくとも一方の検出と、対象の位置の高精度な検出とを行って、搬送装置により搬送されている対象に対してロボットにより適正な作業を施すことができるロボットシステムを提供することを目的としている。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、対象を搬送する搬送装置と、前記搬送装置により搬送されている前記対象に対して処理を行うロボットと、前記搬送装置により搬送されてきた前記対象の視覚情報を取得する視覚センサと、該視覚センサにより取得された前記視覚情報を第１周期で処理して前記搬送装置によって搬送されている前記対象の搬送速度および位置の少なくとも一方を検出する短周期処理部と、前記視覚センサにより取得された前記視覚情報を前記第１周期より長い第２周期で処理して前記対象の位置および姿勢を検出する長周期処理部と、前記短周期処理部により検出された前記対象の前記搬送速度および前記位置の少なくとも一方、および、前記長周期処理部により検出された前記対象の前記位置および前記姿勢に基づいて前記ロボットを制御する制御部とを備え、前記長周期処理部が前記対象の前記位置および前記姿勢を検出する前に、前記短周期処理部が、前記視覚情報を前記第１周期で処理し、前記対象の前記位置と、前記長周期処理部により検出される前記対象の前記姿勢よりも大まかな前記対象の姿勢を検出し、前記制御部が、前記短周期処理部によって検出される前記対象の前記位置および前記大まかな姿勢とに基づいて前記ロボットの動作を開始するロボットシステムを提供する。

本態様によれば、搬送装置によって複数の対象が一方向に搬送されてくると、視覚センサによって対象の視覚情報が取得され、取得された複数の視覚情報が短周期処理部および長周期処理部に送られる。短周期処理部においては視覚センサにより取得された視覚情報が第１周期で処理されることにより、比較的小さい処理負荷により算出可能な対象の搬送速度および位置の少なくとも一方が、短周期の第１周期で検出される。これにより、エンコーダと同等の分解能で物品の搬送速度および位置の少なくとも一方を検出することができる。

一方、長周期処理部においては、第１周期より長い第２周期で視覚情報を処理するので、膨大な計算を必要とする処理を実施することが可能となり、高精度に対象の位置を検出することができる。
これにより、短周期処理部により検出された対象の搬送速度および位置の少なくとも一方に基づいてロボットを移動させて搬送装置によって搬送されている対象にロボットを追従させ、長周期処理部により検出された対象の位置に基づいてロボットにより、搬送装置によって搬送されている対象に対し精度よく処理を施すことができる。

また、上記態様においては、前記短周期処理部が、前記視覚センサにより取得された前記視覚情報の一部を前記第１周期で処理してもよい。
このようにすることで、短周期処理部により処理される視覚情報の情報量を低減して、短周期で対象の移動速度および位置の少なくとも一方を検出し易くすることができる。
また、上記態様においては、前記短周期処理部が、前記対象の位置および大まかな姿勢を検出する。
短周期処理部は、短周期で視覚情報を処理するため高精度の位置および姿勢を検出することは困難であるが、大まかに位置および姿勢を検出することは可能であり、対象に対して処理を行うロボットの初期動作のための情報として使用して動作効率を向上することができる。

上記態様においては、前記視覚センサが、前記搬送装置上の前記対象の画像を前記視覚情報として取得してもよい。
このようにすることで、視覚センサにより異なる時刻に取得された対象の画像を処理して対象の搬送速度を第１周期で検出することができ、視覚センサにより取得された対象の画像にパターンマッチング等の膨大な計算を必要とする処理を第２周期で施して、高精度の対象の位置を検出することができる。

また、上記態様においては、前記搬送装置が、前記対象と同一速度で移動させられるマークを備えていてもよい。
このようにすることで、搬送装置により対象が搬送されてこない状態であっても、搬送装置によって移動するマークの視覚情報を取得することにより、対象の搬送速度を精度よく検出することができる。

また、上記態様においては、前記ロボットが、前記搬送装置により搬送されている前記対象を追いかけながら作業してもよい。

このようにすることで、短周期処理部により検出された対象の搬送速度を用いて、搬送されている対象を追従するようにロボットを移動させ、長周期処理部により精度よく検出された対象の位置を用いて、搬送されている対象を誤りなく搬送装置から取り出すことができる。

また、上記態様においては、前記視覚センサが、外部からのトリガにより該トリガを受信した直前または直後の前記視覚情報を出力してもよい。
このようにすることで、視覚センサの外部の短周期処理部、長周期処理部あるいはその他の機器からのトリガにより、必要に応じて視覚情報を出力し、高精度な位置・姿勢の検出、視覚センサの調整や実行状態の確認等に用いることができる。

本発明によれば、視覚センサにより検出された視覚情報に基づいて、搬送装置によって搬送されている対象の搬送速度および位置の少なくとも一方の検出と、対象の位置の高精度な検出とを行って、搬送装置により搬送されている対象に対してロボットにより適正な作業を施すことができるという効果を奏する。

本発明の一実施形態に係るロボットシステムを示す全体構成図である。 図１のロボットシステムを示すブロック図である。 図１のロボットシステムのカメラにより取得される画像の時間変化と搬送速度とを示す図である。 図１のロボットシステムにおいて同一視野内に複数の物品が撮影される場合を示す図３と同様の図である。 図１のロボットシステムの第１の変形例を示す全体構成図である。 図１のロボットシステムの第２の変形例を示す全体構成図である。 図１のロボットシステムの第３の変形例を示す全体構成図である。

本発明の一実施形態に係るロボットシステム１について、図面を参照しながら以下に説明する。
本実施形態に係るロボットシステム１は、図１に示されるように、対象である物品Ｏを搬送するコンベヤ（搬送装置）２と、コンベヤ２の近傍に設置されたロボット３と、ロボット３よりも搬送方向の上流側のコンベヤ２の上方に下向きに設置された２次元カメラ（視覚センサ）４と、２次元カメラ４により取得された画像を処理する画像処理部５と、画像処理部５により処理された結果に基づいてロボット３を制御する制御部６とを備えている。

コンベヤ２は、例えば、ベルトコンベヤであって、物品Ｏを搭載して一方向に搬送するベルト７を備えている。ベルト７はモータ（図示略）により駆動されるようになっている。
ロボット３は、平置き型あるいは天吊り型等、任意の形式のものでよいが、例えば、手首先端に物品Ｏを把持可能なロボットハンド８を備えている。

２次元カメラ４は、コンベヤ２上の搬送方向の一部の領域に固定された視野を有し、コンベヤ２上を搬送されてくる物品Ｏの２次元画像を取得するようになっている。２次元カメラ４は、例えば、１ｍｓの高周期（第１周期）で２次元画像（視覚情報）を取得して画像処理部５に出力するとともに、外部から入力されてくるトリガに応じて２次元画像を出力するようになっている。

画像処理部５は、図２に示されるように、第１周期で取得された２次元画像の一部を画像処理する高周期処理部９と、第１周期よりも長い第２周期で取得された２次元画像を画像処理する低周期処理部１０とを備えている。
高周期処理部９は、第１周期で送られてきた各２次元画像内に含まれる物品Ｏの重心位置を算出し、異なる時刻に取得された２次元画像内の物品Ｏの重心位置の変位に基づいて、コンベヤ２による物品Ｏの搬送速度を算出するようになっている。
なお、本明細書では、処理の負荷が高いことや高スペックの処理装置が求められることから、短い周期が高周期と称され、処理の負荷が低いことや低スペックの処理装置が求められることから、長い周期が低周期と称される場合がある。つまり、本明細書では、短周期が高周期と称され、短周期処理部が高周期処理部と称され、長周期が低周期と称され、長周期処理部が低周期処理部と称される場合がある。

低周期処理部１０は、２次元カメラ４から出力された２次元画像に対しパターンマッチング等の画像処理を施して、２次元画像内に含まれている物品Ｏの位置および姿勢を検出するようになっている。

制御部６は、異なる時刻に取得された画像に基づいて高周期処理部９において認識された同一物品Ｏの位置から算出されたコンベヤ２による物品Ｏの搬送速度と、低周期処理部１０において検出された物品Ｏの位置および姿勢に基づいてロボット３を制御する駆動信号（駆動指令）を生成するようになっている。

例えば、制御部６は、低周期処理部１０で物品Ｏの位置および姿勢を検出した時点から高周期処理部９により算出されたコンベヤ２による物品Ｏの搬送速度を用いて１ｍｓ毎にコンベヤ２の移動量を逐次積算して物品Ｏの現在位置を求め、物品Ｏの現在位置に応じた駆動信号をロボット３に出力する。
もし物品Ｏが認識されないことが一時的にあった場合は、直前のコンベヤ２による物品Ｏの搬送速度を用いてコンベヤ２の移動量を算出する。

制御部６は、予め教示された動作プログラムに従ってロボット３を動作させるとともに、高周期処理部９において算出された搬送速度に基づいて、コンベヤ２上の物品Ｏを追従するトラッキングを実施し、低周期処理部１０において検出された物品Ｏの位置および姿勢に合わせてロボットハンド８の姿勢を変更し、コンベヤ２によって移動している物品Ｏをロボットハンド８によって把持させ、コンベヤ２から取り上げさせる処理を行わせるようになっている。

さらに具体的には、高周期処理部９は、例えば、図３に示されるように、第１周期の時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に同一視野において３枚の画像が取得されたときに、処理負荷が小さい簡単な画像処理（例えば、重心位置検出処理やブロブ検出処理）を行って物品Ｏの位置を検出し、検出された物品Ｏの重心の座標位置ｄ１，ｄ２，ｄ３を算出するようになっている。図中、速度Ｖは物品Ｏの搬送速度である。

そして、高周期処理部９は、時間軸方向に隣接して取得された画像内の搬送方向に直交する方向の同じ座標に配置されている重心を有する物品Ｏを同一物品Ｏであると認識し、各物品Ｏの重心の搬送方向の座標値の差分を撮影の時間間隔Δｔで除算することにより搬送速度を算出するようになっている。同一物品Ｏについて搬送速度が複数回算出されたときにはその平均値あるいは最小自乗法等によってフィッティングされた値を搬送速度として出力するようになっている。

この場合において、高周期処理部９は、第１周期で繰り返し行われる物品Ｏの重心位置検出処理において、いずれか１つの物品Ｏを包含する部分領域を画定し、２次元カメラ４から送られてくる画像全体ではなく、部分領域によって制限された画像の一部のみについて画像処理を行って重心位置を順次検出するようになっている。もちろん画像全体を使うことも可能である。この場合、処理の負荷は画像の一部を用いるよりも大きくなる。

一方、低周期処理部１０は、２次元カメラ４から送られてくる画像に対して、負荷処理が大きい画像処理（例えば、物品Ｏの輪郭からパターンマッチングにより物品Ｏの位置および姿勢を検出する処理）を行って、検出された物品Ｏの位置および姿勢を制御部６に出力するようになっている。

このように構成された本実施形態に係るロボットシステム１の作用について以下に説明する。
本実施形態に係るロボットシステム１によれば、コンベヤ２によって物品Ｏが搬送されてくると、２次元カメラ４によって物品Ｏが第１周期で撮影される。撮影により取得された画像は、画像処理部５の高周期処理部９に順次に送られるとともに、低周期処理部１０から第２周期で出力されるトリガに応じて低周期処理部１０にもトリガを受信した直前（または直後）の画像が送られる。

高周期処理部９においては、２次元カメラ４から送られてきた各画像に対し、処理負荷が比較的小さい画像処理が施されることにより、物品Ｏが認識され、物品Ｏの周囲の部分的な画像から物品Ｏの重心の座標位置ｄ１，ｄ２，ｄ３が検出される。そして、図３に示されるように、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に取得された画像から検出された同一物品Ｏの重心の座標位置ｄ１，ｄ２，ｄ３に基づいて、第１周期でコンベヤ２による物品Ｏの搬送速度が算出され、制御部６に入力される。２次元カメラ４とロボット３とは所定の距離だけ離れて配置されているので、当該距離を搬送速度で除算した時間後に物品Ｏがロボット３の動作範囲内に移動する。

また、低周期処理部１０においては、トリガに応じて２次元カメラ４から送られてきた各画像に対し、第１周期よりも長い第２周期で、パターンマッチング等の負荷処理が大きな画像処理が施されることにより、全体画像から物品Ｏの位置および姿勢が精度よく検出され、制御部６に入力される。

制御部６は、物品Ｏが画像内に存在するいずれかの時点で物品Ｏの位置および姿勢を認識することによりトラッキング座標系ＴＦを設定し、第１周期（例えば、１ｍｓ）の単位でコンベヤ２による物品Ｏの搬送速度からコンベヤ２の移動量を求めてそれを積算することにより物品Ｏを認識した時点から現在時刻までの物品Ｏの重心位置の移動量を算出する。そして、その移動量を成分とする座標変換行列をトラッキング座標系ＴＦに乗算することにより、現在のトラッキング座標系ＴＦ′を算出する。
ＴＦ′＝Ｔ・ＴＦ
そして、制御部６は、算出されたトラッキング制御系ＴＦ′を基準としてコンベヤ２によって搬送されている物品Ｏに追従してロボットハンド８を移動させるとともに、認識した物品Ｏの位置および姿勢に合わせてロボットハンド８の位置および姿勢を設定し、物品Ｏを把持してコンベヤ２から取り上げることができる。

この場合において、ロボット３がロボットハンド８をコンベヤ２上の物品Ｏに追従させるように駆動されているときには、２次元カメラ４が後続の物品Ｏを撮影し、高周期処理部９により新たな搬送速度が算出されているので、制御部６は新たに算出された搬送速度を用いてロボット３を制御する。これにより、コンベヤ２による搬送速度が変動しても物品Ｏを正しく取り上げることができる。

このように、本実施形態に係るロボットシステム１によれば、処理負荷の比較的小さい処理により検出可能な物品Ｏの移動速度については、高周期の第１周期により、エンコーダと同等の分解能で検出することができ、搬送されている物品Ｏに対するロボット３のトラッキング動作を精度よく行わせることができる。また、処理負荷の比較的大きい処理を必要とする物品Ｏの位置および姿勢の検出については、第１周期より長い第２周期により実施することにより、精度よく検出することができ、ロボットハンド８の姿勢を物品Ｏの姿勢に精度よく一致するように調整して、より確実に把持させることができるという利点がある。

そして、このようにして、単一の２次元カメラ４を用いて物品Ｏの移動速度と位置および姿勢とを検出するので、コストを低減することができるという利点がある。
また、高周期処理部９において物品Ｏの移動速度を検出するために２次元カメラ４から送られてきた画像の一部を使用することにより、処理負荷をより軽減して、高周期での処理を容易にすることもできる。

その結果、図２にカッコ書きで示されるように、高周期処理部９において物品Ｏの大まかな位置および姿勢を検出することも可能となる。例えば、物品Ｏの長手軸方向やブロブの大まかな形状等である。そして、このようにして検出された物品Ｏの大まかな位置および姿勢についても制御部６に入力することにより、制御部６が低周期処理部１０から第２周期で送られてくる物品Ｏの高精度の位置および姿勢の情報を待つことなく、高周期処理部９から第１周期で送られてきた物品Ｏの大まかな位置および姿勢の情報に基づいてロボット３の動作を開始させることができ、トラッキングをより容易にすることができるという利点がある。

２次元カメラ４から送られてきた画像の一部として、物品Ｏを含む部分領域を用いることとしたが、これに代えて、２次元カメラ４から送られてきた画像から画素を間引くことにより情報量を低減してもよい。
また、本実施形態においては、視覚情報を取得する視覚センサとして２次元カメラ４を例示したが、これに限定されるものではなく、３次元カメラ、その他の視覚センサを用いてもよい。

また、本実施形態においては、コンベヤ２によって搬送されてきた物品Ｏの位置の変化によりコンベヤ２の搬送速度を算出することとしたが、これに代えて、コンベヤ２の表面に適当な間隔でマークを設けておき、２次元カメラ４により取得された画像内に含まれるマークを認識することで、マークの位置の変化によって搬送速度を算出することにしてもよい。
この場合には、マークは物品Ｏよりも確実に絶え間なく２次元カメラ４の視野内に供給されるので、移動速度を算出するために有用である。

また、本実施形態においては、画像内に単一の物品Ｏが検出される場合について説明したが、これに代えて、図４に示されるように、複数の物品ａ１，ａ２，ａ３が同時に２次元カメラ４の視野内に配置される場合にも適用することができる。
すなわち、画像内に複数の物品ａ１，ａ２，ａ３が認識された場合には、各物品ａ１，ａ２，ａ３について、異なる時刻に取得された画像内の物品ａ１，ａ２，ａ３との同一性を識別し、識別された同一物品ａ１，ａ２，ａ３間での移動距離に基づいてそれぞれ算出した速度Ｖ１，Ｖ２，Ｖ３を平均することにより搬送速度を算出することにしてもよい。

この場合、同一物品ａ１，ａ２，ａ３間での移動距離は、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に取得された画像から算出された同一物品ａ１，ａ２，ａ３の重心の座標位置ｄ１１，ｄ１２，ｄ１３，ｄ２２，ｄ２３，ｄ２４，ｄ３３，ｄ３４の差分により求められる。

また、本実施形態においては、２次元カメラ４から出力される画像を処理する画像処理部５を別体として設ける場合を例示したが、これに代えて、図５に示されるように、高周期処理部９については２次元カメラ４内に配置し、低周期処理部１０については制御部６内に配置してもよい。

高周期処理部９を２次元カメラ４内に組み込むことにより、通信遅れの発生を防止して、より確実に高周期でコンベヤ２による物品Ｏの搬送速度を検出することができる。低周期処理部１０は高速な処理が不要なので、制御部６に組み込むことが好ましい。制御部６の制御周期が高周期処理部９による第１周期より長い場合には、制御部６の制御周期でまとまった単位で高周期処理部９から物品Ｏの重心位置情報を送信することが好ましい。例えば、第１周期が１ｍｓ、制御部６の制御周期が８ｍｓの場合、８ｍｓの周期で、高周期処理部９の８ｍｓ分の８個の重心位置情報を一度に制御部６に送ればよい。

また、本実施形態においては、単一のロボット３を制御する場合を例示したが、これに代えて、図６に示されるように、コンベヤ２の搬送方向に沿って複数台のロボット３が配置され、これらの制御部６が上位のセル制御装置１１に接続されていてもよい。
複数台のロボット３で同一のコンベヤ２によって搬送されてきた物品Ｏに対し作業をする場合に、１つの２次元カメラ４で撮影した画像に基づいて算出されたコンベヤ２の搬送速度を１箇所で管理することができる。

各ロボット３の制御部６によりコンベヤ２の搬送速度を管理する場合、制御部６間で同期させる必要があり、通信遅れ等の影響により誤差が生じる可能性があるが、セル制御装置１１によって管理することでそのような不都合の発生を防止することができる。
また、通信遅れの影響をさらに抑えるために、高周期処理部９については２次元カメラ４内に配置し、低周期処理部１０についてはセル制御装置１１に配置した例を示しているが、これに限定されるものではない。例えば、高周期処理部９についてもセル制御装置１１内に配置してもよい。

また、本実施形態においては、コンベヤ２によって搬送されている物品Ｏを把持して取り上げる場合を例示して説明したが、これに代えて、搬送されている物品Ｏに対して他の任意の処理を施す場合に適用してもよい。
また、図７に示されるように、必要に応じて制御部６から２次元カメラ４にトリガを出力し、２次元カメラ４がトリガに応じて画像を制御部６に出力し、制御部６において、表示部１２に表示することによって画像を確認することができるようにしてもよい。

なお、前述のように高周期処理部９によって高周期で検出された物品Ｏの位置に基づき、制御部６がコンベヤ２上の物品Ｏの位置を逐次計算し、計算により得られた物品Ｏの位置に応じた駆動信号をロボット３に出力してもよい。また、このように計算により得られた物品Ｏの位置に基づいて、コンベヤ２上の物品Ｏに追従する前記トラッキングが行われてもよい。この場合でも、前述と同様の効果が達成される。

また、２次元カメラ４がロボット３の先端部に取付けられていてもよい。この場合、制御部６において、ロボット３の制御に用いる座標系である基準座標系と２次元カメラ４の位置および姿勢（センサ座標系）とが対応付けられている。これにより、ロボット３の先端部の位置が変化しても、制御部６は２次元カメラ４の位置および姿勢を知ることができ、これにより、２次元カメラ４で得られた画像に基づく物品Ｏの位置および姿勢の検出結果を、基準座標系から見た物体Ｏの位置および姿勢に精度よく変換することができる。

このように２次元カメラ４がロボット３の先端部に取付けられている場合、２次元カメラ４の視野内には、ロボット３が追従している物品Ｏ、当該物品Ｏの近傍の物品Ｏ等が存在している。この場合でも、高周期処理部９によって物品Ｏの位置を高周期で検出することができるので、前述と同様の効果を達成可能である。

また、フレーム、スタンド等によって２次元カメラ４がロボット３の近傍に固定され、２次元カメラ４の視野内に、ロボット３が追従している物品Ｏ、当該物品Ｏの近傍の物品Ｏ等が存在していてもよい。この場合、制御部６において、ロボット３の基準座標系と２次元カメラ４の位置および姿勢（センサ座標系）とが対応付けられおり、制御部６は、２次元カメラ４で得られた画像に基づく物品Ｏの位置および姿勢の検出結果を、基準座標系から見た物体Ｏの位置および姿勢に精度よく変換することができる。この場合でも、高周期処理部９によって物品Ｏの位置を高周期で検出することができるので、前述と同様の効果を達成可能である。

なお、前記実施形態は、物品Ｏを検出するための単一の２次元カメラ４を有するものであるが、物品Ｏの検査、到達検知等を行うための他の２次元カメラが設けられてもよく、物品Ｏを検出するための２次元カメラ４が複数存在していても前記高周期処理および前記低周期処理が可能である。

また、コンベヤ２の代わりに、物品ＯをＸ軸方向だけではなくＹ軸方向にも移動させる搬送装置によって物品Ｏを搬送することも可能である。なお、Ｘ軸およびＹ軸は水平方向に延びており、Ｘ軸はＹ軸と直交している。この場合でも、高周期処理部９は物品Ｏの位置を高周期で検出することができ、また、高周期処理部９は高周期で物品ＯのＸ軸方向の搬送速度およびＹ軸方向の搬送速度を算出することができるので、前述と同様の作用効果を達成可能である。なお、搬送装置が物品ＯをＺ軸方向に移動させる場合も同様である。

また、コンベヤ２の代わりに他のロボットを用いて物品Ｏを搬送してもよい。さらに、搬送する物品Ｏが自動車の車体等である場合は、物品Ｏがエンジン、車輪等によって搬送されてもよい。また、物品Ｏが重力によって滑り落ちる、転がり落ちる、又は落下するシューターを用いて物品Ｏを搬送してもよい。これらの場合、他のロボット、エンジン、車輪、シューター等が搬送装置として機能する。

１ ロボットシステム
２ コンベヤ（搬送装置）
３ ロボット
４ ２次元カメラ（視覚センサ）
６ 制御部
９ 高周期処理部
１０ 低周期処理部
Ｏ，ａ１，ａ２，ａ３ 物品（対象）

Claims (6)

1. 対象を搬送する搬送装置と、
   前記搬送装置により搬送されている前記対象に対して処理を行うロボットと、
   前記搬送装置により搬送されてきた前記対象の視覚情報を取得する視覚センサと、
   該視覚センサにより取得された前記視覚情報を第１周期で処理して前記搬送装置によって搬送されている前記対象の搬送速度および位置の少なくとも一方を検出する短周期処理部と、
   前記視覚センサにより取得された前記視覚情報を前記第１周期より長い第２周期で処理して前記対象の位置および姿勢を検出する長周期処理部と、
   前記短周期処理部により検出された前記対象の前記搬送速度および前記位置の少なくとも一方、および、前記長周期処理部により検出された前記対象の前記位置および前記姿勢に基づいて前記ロボットを制御する制御部とを備え、
   前記長周期処理部が前記対象の前記位置および前記姿勢を検出する前に、前記短周期処理部が、前記視覚情報を前記第１周期で処理し、前記対象の前記位置と、前記長周期処理部により検出される前記対象の前記姿勢よりも大まかな前記対象の姿勢を検出し、
   前記制御部が、前記短周期処理部によって検出される前記対象の前記位置および前記大まかな姿勢とに基づいて前記ロボットの動作を開始するロボットシステム。
2. 前記短周期処理部が、前記視覚センサにより取得された前記視覚情報の一部を前記第１周期で処理する請求項１に記載のロボットシステム。
3. 前記視覚センサが、前記搬送装置上の前記対象の画像を前記視覚情報として取得する請求項１または請求項２に記載のロボットシステム。
4. 前記搬送装置が、前記対象と同一速度で移動させられるマークを備える請求項１から請求項３のいずれかに記載のロボットシステム。
5. 前記ロボットが、前記搬送装置により搬送されている前記対象を追いかけながら作業する請求項１から請求項４のいずれかに記載のロボットシステム。
6. 前記視覚センサが、外部からのトリガにより該トリガを受信した直前または直後の前記視覚情報を出力する請求項１から請求項５のいずれかに記載のロボットシステム。

Images