JP6478234B2 - ロボットシステム - Google Patents

Description

本発明は、ロボットシステムに関するものである。

従来、コンベアによって搬送されてくる物品やコンベアに付されたマークを撮像して、得られた画像からコンベアによって搬送される物品の移動速度を検出し、物品の移動に同期してロボットハンドの位置を制御することにより、移動している物品をロボットハンドによって把持するロボットシステムが知られている（例えば、特許文献１参照。）。

このロボットシステムでは、コンベアによって搬送されている物品の移動速度を検出するには、ロボットハンドによって物品を把持する際に、把持する位置よりもコンベアの上流側に位置する撮像手段によって撮像した別の物品あるいはマークの移動速度によってロボットを同期させるものであり、物品あるいはマークが絶え間なく供給されている必要がある。

特開２００９−２８８１８号公報

しかしながら、実際には、コンベア上に物品が絶え間なく供給されてこない場合も十分に想定でき、また、コンベアに付されたマークが何らかの原因により外れたり、物品によって隠れたりすることがあり、これらの場合には、ロボットにトラッキング動作をさせるためのコンベアの速度情報を取得できなくなるという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、物品が絶え間なく供給されてこない状況であってもロボットによるトラッキングを実施することができるロボットシステムを提供することを目的としている。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の参考例としての発明の一態様は、物品を搬送する搬送装置と、前記搬送装置により搬送されている前記物品に対して処理を行うロボットと、該ロボットよりも搬送方向の上流側において前記搬送装置により搬送されてきた前記物品を撮影するカメラと、該カメラにより異なる時刻に取得された複数の画像に基づいて、前記搬送装置による前記物品の位置および搬送速度の少なくとも一方を算出する搬送速度算出部と、該搬送速度算出部により算出された前記位置および前記搬送速度の少なくとも一方に基づいて前記ロボットを制御する制御部とを備え、該制御部は、前記カメラにより取得された画像内に前記物品が存在するか否かを判定し、前記物品が存在しなくなった場合に、直前に前記搬送速度算出部により算出された前記位置および前記搬送速度の少なくとも一方に基づいて前記ロボットを制御するロボットシステムを提供する。

本態様によれば、搬送装置によって複数の物品が搬送されてくると、カメラによって物品が撮影され、取得された複数の画像に基づいて搬送速度算出部により位置および搬送速度の少なくとも一方が算出される。カメラはロボットよりも上流側に配置されているので、カメラの視野を通り過ぎた物品がロボットに供給される。その際に、次の物品がカメラの視野内に存在していれば、当該次の物品の搬送速度および次の物品の位置から搬送速度を算出することにより、当該搬送速度はロボットに供給された物品の移動速度に等しいので、算出された位置および搬送速度の少なくとも一方に基づいてロボットを物品の移動に追従して作動させ移動している物品に対して処理を施すことができる。

この場合において、ロボットに処理すべき物品が供給されている状態で、カメラの視野内に物品が存在しない場合には、その時点での物品の位置および搬送速度は算出されないが、本態様によれば、制御部がカメラの視野内に物品が存在しなくなる直前に算出された位置および搬送速度の少なくとも一方に基づいてロボットを制御するので、ロボットを停止させることなく動作させ移動している物品に対して処理を継続することができる。

本発明の一態様は、物品を搬送する搬送装置と、前記物品に対して処理を行うロボットと、該ロボットよりも搬送方向の上流側において前記搬送装置により搬送されてきた前記物品および前記搬送装置により移動するマークを撮影するカメラと、該カメラにより撮影された複数の画像に基づいて、前記物品の位置および搬送速度の少なくとも一方を算出する搬送速度算出部と、該搬送速度算出部により算出された前記位置および前記搬送速度の少なくとも一方に基づいて前記ロボットを制御する制御部とを備え、該制御部は、前記カメラにより取得された画像内に前記物品および前記マークが存在するか否かを判定し、前記物品および前記マークが存在しなくなった際の前記搬送速度算出部により算出された前記位置および前記搬送速度の少なくとも一方に基づいて前記ロボットを制御するロボットシステムを提供する。

上記態様においては、前記制御部は、前記カメラにより取得された画像内に前記物品が存在しなくなったと判定したときに計時を開始し、所定時間にわたって継続して画像内に前記物品が存在しないと判定された場合に、その旨を報知してもよい。
このようにすることで、所定時間以上物品が供給されない場合には供給側に異常が発生した可能性があるので、物品が撮影されない旨を報知することにより、異常の発生を知らせることができる。

また、上記態様においては、前記カメラは、前記搬送装置により搬送されている同一の前記物品を２回以上撮影可能なフレームレートで撮影してもよい。
このようにすることで、同一視野内で同一の物品を２回以上撮影することにより、各画像内における物品の位置の変化量から、搬送装置による物品の搬送速度を簡易に算出することができる。

また、上記態様においては、前記搬送速度算出部が、２以上の前記物品について算出した速度の平均値を前記搬送速度として出力してもよい。
このようにすることで、同一視野内に複数の物品が存在する場合に、これらの物品についてそれぞれ算出した速度の平均値を搬送速度とすることにより、精度よく搬送速度を算出することができる。

また、上記態様においては、前記制御部は、前記物品の所定時間にわたる継続的な不存在を報知したときは、前記ロボットの動作を停止してもよい。
このようにすることで、物品が検出されないまま採用された搬送速度が用いられ続けないようにすることができる。

本発明によれば、物品が絶え間なく供給されてこない状況であってもロボットによるトラッキングを実施することができるという効果を奏する。

本発明の一実施形態に係るロボットシステムを示す全体構成図である。 図１のロボットシステムに備えられる制御部を示すブロック図である。 図１のロボットシステムのカメラにより取得される画像の時間変化と搬送速度とを示す図である。 図１のロボットシステムにおいて同一視野内に複数の物品が撮影される場合を示す図３と同様の図である。 図１のロボットシステムの変形例を示す全体構成図である。

本発明の一実施形態に係るロボットシステム１について、図面を参照しながら以下に説明する。
本実施形態に係るロボットシステム１は、図１に示されるように、物品Ｏを搬送するコンベア（搬送装置）２と、コンベア２の近傍に設置されたロボット３と、ロボット３よりも搬送方向の上流側のコンベア２の上方に下向きに設置されたカメラ４と、カメラ４により取得された画像に基づいてロボット３を制御する制御部５とを備えている。

コンベア２は、例えばベルトコンベアであって、物品Ｏを搭載して一方向に搬送するベルト６を備えている。ベルト６はモータ（図示略）により駆動されるようになっている。
ロボット３は、平置き型あるいは天吊り型等、任意の形式のものでよいが、例えば、手首先端に物品Ｏを把持可能なロボットハンド７を備えている。

カメラ４は、コンベア２上の搬送方向の一部の領域に固定された視野を有し、コンベア２上を搬送されてくる物品Ｏの２次元画像を取得するようになっている。カメラ４は、同一物品Ｏが視野を通過する間に２回以上撮影されるフレームレートで撮影するようになっている。

制御部５は、図２に示されるように、カメラ４により取得された画像を処理してコンベア２により搬送されている物品Ｏを認識する画像処理部（搬送速度算出部）８と、異なる時刻に取得された画像に基づいて画像処理部８において認識された同一物品Ｏの位置からコンベア２の搬送速度を算出する速度算出部（搬送速度算出部）９と、該速度算出部９により算出された搬送速度に基づいてロボット３を制御する駆動制御部（制御部）１０とを備えている。

駆動制御部１０は，予め教示された動作プログラムに従ってロボット３を動作させるとともに、速度算出部９により算出された搬送速度に基づいて、コンベア２上の物品Ｏを追従するトラッキングを実施し、手首先端に取り付けたロボットハンド７によって、移動している物品Ｏを把持し、コンベア２から取り上げる処理を行わせるようになっている。

さらに具体的には、画像処理部８は、例えば、図３に示されるように、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に同一視野において３枚の画像が取得されたときに、各画像において画像内に含まれている物品Ｏを認識し、認識された物品Ｏの重心の座標位置を算出するようになっている。

そして、速度算出部９は、時間軸方向に隣接して取得された画像内の搬送方向に直交する方向の同じ座標近傍に配置されている重心を有する物品Ｏを同一物品Ｏであると認識し、各物品Ｏの重心の搬送方向の座標値の差分を撮影の時間間隔Δｔで除算することにより搬送速度を算出するようになっている。同一物品Ｏについて搬送速度が複数回算出されたときにはその平均値あるいは最小自乗法等によってフィッティングされた値を搬送速度として出力するようになっている。

また、制御部５はタイマー１１と、タイマー１１からの出力に基づいて外部に異常を報知する報知部１２とを備えている。
画像処理部８は、画像内に物品Ｏが１つも認識されなくなったか否かを判定し、認識されなくなった場合にタイマー１１による計時を開始させるようになっている。

また、画像処理部８は、タイマー１１による計時を開始させた後に、再度画像内に物品Ｏが検出された場合には、タイマー１１による計時をリセットさせるようになっている。
報知部１２は、タイマー１１から入力されてきた時間が所定時間を超えた場合に、異常であることを外部に報知するようになっている。報知部１２は、モニタ、ランプ、ブザー等任意の報知手段でよい。

また、画像処理部８は、画像内に物品Ｏが１つも認識されていない場合にはその旨を知らせる物品Ｏ不存在の信号を駆動制御部１０に入力するようになっている。駆動制御部１０は、画像処理部８から物品Ｏ不存在の信号が入力されている状態では、速度算出部９から最後に入力された搬送速度を用いてロボット３を制御するようになっている。

このように構成された本実施形態に係るロボットシステム１の作用について以下に説明する。
本実施形態に係るロボットシステム１によれば、コンベア２によって物品Ｏが搬送されてくると、カメラ４によって物品Ｏが撮影される。撮影により取得された画像は、画像処理部８に送られて、画像処理されることにより、物品Ｏが認識され、物品Ｏの重心の座標位置が算出される。

そして、図３に示されるように、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に取得された画像から算出された同一物品Ｏの重心の座標位置ｄ１，ｄ２，ｄ３に基づいて、速度算出部９によりコンベア２による搬送速度Ｖが算出され、駆動制御部１０に入力される。カメラ４とロボット３とは所定の距離だけ離れて配置されているので、コンベア２が等速で移動しているとすると当該距離を搬送速度Ｖで除算した時間後に物品Ｏがロボット３の動作範囲内に移動する。

駆動制御部１０は、物品Ｏが画像内に存在するいずれかの時点で物品Ｏの位置および姿勢を認識することによりトラッキング座標系ＴＦを設定し、その時点から現在時刻までの認識される物品Ｏの重心位置間の距離を積算することにより移動量を算出する。そして、その移動量を成分とする座標変換行列をトラッキング座標系ＴＦに乗算することにより、現在のトラッキング座標系ＴＦ′を算出する。
ＴＦ′＝Ｔ・ＴＦ
そして、駆動制御部１０は、算出されたトラッキング座標系ＴＦ′を基準としてコンベア２によって搬送されている物品Ｏに追従してロボットハンド７を移動させ、物品Ｏを把持してコンベア２から取り上げることができる。

この場合において、ロボット３がロボットハンド７をコンベア２上の物品Ｏに追従させるように駆動されているときには、カメラ４が後続の物品Ｏを撮影し、速度算出部９により新たな搬送速度が算出されているので、駆動制御部１０は新たに算出された搬送速度を用いてロボット３を制御する。これにより、コンベア２による搬送速度が変動しても物品Ｏを正しく取り上げることができる。

本実施形態においては、カメラ４により取得された画像内に物品Ｏが存在している状態から、物品Ｏが存在していない状態に変化したときには、画像処理部８がタイマー１１による計時を開始させるとともに、画像内に物品Ｏが１つも認識されていない場合にはその旨を知らせる物品Ｏ不存在の信号を駆動制御部１０に出力する。

駆動制御部１０は、物品Ｏ不存在の信号を受け取ったときには、その直前に使用していた搬送速度を継続して使用してロボット３を制御する。これにより、ロボット３を停止させることなく、ロボット３の動作範囲内に搬送されてきた物品Ｏをコンベア２上から取り出すことができる。

そして、タイマー１１から入力されてきた時間が所定時間を超えた場合に、報知部１２が、異常であることを外部に報知する。これにより、作業者が異常の発生を認識することができる。また、タイマー１１から入力されてきた時間が所定時間を超えた場合には、駆動制御部１０が、ロボット３の動作を停止させる。これにより、新たな搬送速度の算出が行われないままロボット３による物品Ｏの取り出し作業が継続されることを防止することができるという利点がある。

なお、本実施形態においては、コンベア２によって搬送されてきた物品Ｏの位置の変化によりコンベア２の搬送速度を算出することとしたが、これに代えて、コンベア２の表面に適当な間隔でマークを設けておき、カメラ４により取得された画像内に含まれるマークを認識することで、マークの位置の変化によって搬送速度を算出することにしてもよい。

この場合には、物品Ｏよりも確実にマークが絶え間なくカメラ４の視野内に供給されるが、この場合であってもマークが剥がれたり物品Ｏに隠れたり、外乱光などの一時的な環境の変化によって検出されないことがある。本実施形態によれば、このような場合にも、ロボット３を停止させることなく、物品Ｏの取り出し作業を継続させることができて、ロボット３の作業効率を向上することができるという利点がある。

また、本実施形態においては、画像内に単一の物品Ｏが検出される場合について説明したが、これに代えて、図４に示されるように、複数の物品ａ１，ａ２，ａ３が同時にカメラ４の視野内に配置される場合にも適用することができる。
すなわち、画像内に複数の物品ａ１，ａ２，ａ３が認識された場合には、各物品ａ１，ａ２，ａ３について、異なる時刻に取得された画像内の物品ａ１，ａ２，ａ３との同一性を識別し、識別された同一物品ａ１，ａ２，ａ３間での移動距離に基づいてそれぞれ算出した速度Ｖ１，Ｖ２，Ｖ３を平均することにより搬送速度を算出することにしてもよい。この場合、同一物品ａ１，ａ２，ａ３間での移動距離は、所定時間間隔Δｔをあけて異なる時刻ｔ１，ｔ２，ｔ３に取得された画像から算出された同一物品ａ１，ａ２，ａ３の重心の座標位置ｄ１１，ｄ１２，ｄ１３，ｄ２２，ｄ２３，ｄ２４，ｄ３３，ｄ３４の差分により求められる。

また、本実施形態においては、単一のロボット３を制御する場合を例示したが、これに代えて、図５に示されるように、コンベア２の搬送方向に沿って複数台のロボット３が配置され、これらの制御部５が上位のセル制御装置１３に接続されていてもよい。
複数台のロボット３で同一のコンベア２によって搬送されてきた物品Ｏに対し作業をする場合に、１つのカメラ４で撮影した画像に基づいて算出されたコンベア２の搬送速度を１箇所で管理することができる。

各ロボット３の制御部５によりコンベア２の搬送速度を管理する場合、制御部５間で同期させる必要があり、通信遅れ等の影響により誤差が生じる可能性があるが、セル制御装置１３によって管理することでそのような不都合の発生を防止することができる。
また、本実施形態においては、コンベア２によって搬送されている物品Ｏを把持して取り上げる場合を例示して説明したが、これに代えて、搬送されている物品Ｏに対して他の任意の処理を施す場合に適用してもよい。

１ ロボットシステム
２ コンベア（搬送装置）
３ ロボット
４ カメラ
８ 画像処理部（搬送速度算出部）
９ 速度算出部（搬送速度算出部）
１０ 駆動制御部（制御部）
Ｏ，ａ１，ａ２，ａ３ 物品

Claims (5)

1. 物品を搬送する搬送装置と、
   前記物品に対して処理を行うロボットと、
   該ロボットよりも搬送方向の上流側において前記搬送装置により搬送されてきた前記物品および前記搬送装置により移動するマークを撮影するカメラと、
   該カメラにより撮影された複数の画像に基づいて、前記物品の位置および搬送速度の少なくとも一方を算出する搬送速度算出部と、
   該搬送速度算出部により算出された前記位置および前記搬送速度の少なくとも一方に基づいて前記ロボットを制御する制御部とを備え、
   該制御部は、前記カメラにより取得された画像内に前記物品および前記マークが存在するか否かを判定し、前記物品および前記マークが存在しなくなった際の前記搬送速度算出部により算出された前記位置および前記搬送速度の少なくとも一方に基づいて前記ロボットを制御するロボットシステム。
2. 前記制御部は、前記カメラにより取得された画像内に前記物品が存在しなくなったと判定したときに計時を開始し、所定時間にわたって継続して画像内に前記物品が存在しないと判定された場合に、その旨を報知する請求項１に記載のロボットシステム。
3. 前記カメラは、前記搬送装置により搬送されている同一の前記物品を２回以上撮影可能なフレームレートで撮影する請求項１または請求項２に記載のロボットシステム。
4. 前記搬送速度算出部が、２以上の前記物品について算出した速度の平均値を前記搬送速度として出力する請求項１から請求項３のいずれかに記載のロボットシステム。
5. 前記制御部は、前記物品の所定時間にわたる継続的な不存在を報知したときは、前記ロボットの動作を停止する請求項２に記載のロボットシステム。

Images