JP5198155B2 - ハンドリング装置、ワークハンドリング方法および信号処理装置 - Google Patents
ハンドリング装置、ワークハンドリング方法および信号処理装置 Download PDFInfo
- Publication number
- JP5198155B2 JP5198155B2 JP2008148468A JP2008148468A JP5198155B2 JP 5198155 B2 JP5198155 B2 JP 5198155B2 JP 2008148468 A JP2008148468 A JP 2008148468A JP 2008148468 A JP2008148468 A JP 2008148468A JP 5198155 B2 JP5198155 B2 JP 5198155B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- data
- work
- robot
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
Description
例えば、特許文献1に示された装置は、視覚センサがベルトコンベアによって搬送されている各ワークを撮像し、各々のワークに対応させたワークデータを作成してロボットコントローラへ送信する。
ロボットコントローラは、受信したワークデータのデータベースを作成し、ロボットの作業位置へ搬送されたワークに対し、前述のデータベースを用いた制御を行ってロボットに作業を行わせている。
視覚センサが連続して複数回の撮像を行ったとき、撮像した各画像に同一ワークが重複して写っている部分が含まれている。この重複部分のワークデータも、データベースに格納されていることからロボットに無駄な動作が生じる可能性がある。
前記制御手段は、
前記ロボットの近傍のワーク検出領域における複数のワーク間の相対的な距離を求め、その距離が所定値より短い場合、重複していると判断して他方のワークを除去して前記ロボットによる保持処理の対象から除外し、
前記ワーク検出領域内の他のワークについて、前記ロボットを制御して保持動作を行わせる、
ハンドリング装置が提供される。
前記撮像データからトラッキング範囲内のワークを抽出し、当該抽出したワークの位置、および、前記エンタコーダが検出したワークの移動量を含むワークデータを生成し、トラッキング範囲内の前記抽出したワークの個数、ワークの移動量、および、前記ワークデータを含むトラッキングデータを生成し、
前記ロボットの近傍のワーク検出領域における複数のワーク間の相対的な距離を求め、その距離が所定値より短い場合、重複していると判断して他方のワークを除去して前記ロボットによる保持処理の対象から除外し、
前記ワーク検出領域内の他のワークについて、前記ロボットを制御して保持動作を行わせる、
ワークハンドリング方法が提供される。
前記撮像データからトラッキング範囲内のワークを抽出し、当該抽出したワークの位置、および、前記エンタコーダが検出したワークの移動量を含むワークデータを生成し、トラッキング範囲内の前記抽出したワークの個数、ワークの移動量、および、前記ワークデータを含むトラッキングデータを生成し、
前記ロボットの近傍のワーク検出領域における複数のワーク間の相対的な距離を求め、その距離が所定値より短い場合、重複していると判断して他方のワークを除去して前記ロボットによる保持処理の対象から除外し、
前記ワーク検出領域内の他のワークについて、前記ロボットを制御して保持動作を行わせる、
信号処理装置が提供される。
第1の実施形態
図1は、本発明の第1の実施形態によるハンドリング装置の概略構成を示す説明図である。図示したハンドリング装置1は、ベルトコンベア2、視覚センサ3、ロボット4、ロボットコントローラ5、および、コンベアエンコーダ6によって構成されている。
視覚センサ3は、ベルトコンベア2の搬送上流側の位置において、当該ベルトコンベア2のベルト搬送面2aに搭載された複数のワーク10を撮像するように配設されている。
また、視覚センサ3は、出力データであるワークデータ、および、撮像タイミングを示すトリガ信号を、後述するロボットコントローラ5へ出力するように、例えばイーサネット(登録商標)などのLANを介して接続されている。
また、ロボットコントローラ5は、後述するコンベアエンコーダ6の出力信号、および、視覚センサ3から送信されたワークデータならびにトリガ信号を前述の通信線等を介して入力するように接続されている。
詳しくは、視覚センサ3から通信線へ送信されたワークデータ及びトリガ信号を受信する、例えばルータを備える。このルータに複数のロボットコントローラ5を接続する。
このように構成して、各ロボットコントローラ5が、自らの処理動作に用いるワークデータならびにトリガ信号を、上記のルータから入力して各々ロボット4を制御することも可能である。
視覚センサ3は、カメラ11および画像処理部12を備えている。カメラ11は、例えばCCDカメラ等からなる。
カメラ11は、ワーク10が載置されているベルト搬送面2aを撮像するように配設され、例えば図1に示したトラッキング範囲Sが1回の撮像範囲となるように設けられている。
また、視覚センサ3は、カメラ11の撮像タイミングを示すトリガ信号、および前述のワークデータを通信線へ送信する、図示を省略した通信部等を備えている。
入力部13は、ユーザに設定操作等を行わせるように構成され、当該設定内容を演算部15へ入力するように接続されている。表示部14は、前述の操作/設定内容、またロボット4の動作状況等を表示するように、演算部15へ接続されている。
データ管理部15aは、記憶部16に各データを記憶させる動作処理や、記憶部16からデータを読み出す動作を行うように構成されている。
ワークマネージャ15cは、トラッキング範囲Sに存在する複数のワーク10の中からロボット4に作業を行わせるワーク10を選択するように構成されている。
トラッキングデータD1は、視覚センサ3が1回の撮像で得た画像データから抽出されたワーク10の個数、各ワーク10のワークデータ、および、コンベアエンコーダ6の出力信号が示す移動量によって構成されている。
ロボット4は、保持部4aを駆動する保持用モータ18、保持部4aを支えているアーム部4bを駆動するアーム用モータ19を備えている。
視覚センサ3は、ベルトコンベア2の搬送上流側において、ベルト搬送面2aの上流端、もしくはその近傍の撮像原点20aから一定の撮像範囲の画像、例えばトラッキング範囲Sの画像を撮像する。
詳しくは、図2のカメラ11が、自らの撮像タイミングでベルト搬送面2aのトラッキング範囲Sを撮像する(ステップS1)。
この座標値は、カメラ11もしくは視覚センサ3が自ら行う各処理において使用される座標系において表現された値である。なお、視覚センサ3は、ワークデータにワークの姿勢を示す座標値を含めて生成してもよい。
このとき、視覚センサ3は、1つのトリガ信号に対応させて、1つの画像に含まれていた全てのワーク10のワークデータ、ならびにワークデータの個数を示すデータを送信する。
また、データ管理部15aは、図3のステップS4の工程において、コンベアエンコーダ6から入力したベルトコンベア2の移動量を示すデータを加味して、上記のトラッキングデータD1を生成し、これを記憶部16へ格納してデータベースを構築する。
また図4には、視覚センサ3が[i]番目に撮像した画像から生成されたトラッキングデータD1を、トラッキングデータTrk[i]として示している。
また図4には、視覚センサ3が[i+1]番目に撮像した画像から生成されたトラッキングデータD1を、トラッキングデータTrk[i+1]として示している。
またさらに、データ管理部15aは、順次、視覚センサ3から送られてくるワークデータWrk[0]〜[9]を、前述の記憶部16に確保したトラッキングデータTrk[i]の領域に記憶/格納する。
また、視覚センサ3が撮像した順番を示す上記の[i−1]、[i]、[i+1]等は、トラッキング番号として各トラッキングデータD1に付加される整数値である。
ワークデータWrk[0]〜[9]は、視覚センサ3が自らの動作処理において使用している座標系のX座標データ、Y座標データ、及びX−Y平面上における回転を表すC座標データを有する。
付加データ(1)〜(3)は、様々な動作処理に関連する条件等を表し、例えば、前述のように視覚センサ3が判別した品種などを示すデータである。この付加データ(1)〜(3)は、ユーザの所望により視覚センサ3に設定される。
カメラ11が、ベルトコンベア2の搬送面2aを順次撮像するとき、例えば、各画像に重複する部分が生じないように、各画像の端部を揃えて撮像すると、1つの画像の端部に写り込んだワーク10は、全体形状が画像中に収まっていない場合がある。
そのため、視覚センサ3は、ベルトコンベア2の搬送面2aを撮像するとき、各画像の端部が重複するように撮像して、ワーク10が部分的に欠落して写り込むことを抑制し、各ワーク10に対応するワークデータを確実に生成するようにしている。
即ち、前述のステップS4の工程において、ロボットコントローラ5のデータ管理部15aは、前述の重複する部分を含んだ各トラッキングデータD1を記憶部16に格納している。
ロボットコントローラ5は、記憶部16に蓄積されているデータベースを用いてロボット4の動作を制御し、当該ロボット4の位置に搬送されたワーク10にハンドリング作業を行う。
ロボット4のハンドリング作業は、図1に示したワーク検出エリア開始点20bとワーク検出エリア終了点20cとの間に設けられたワーク検出エリアにおいて行われる。
具体的には、トラッキングマネージャ15bは、データベースに格納されている各トラッキングデータD1の移動量を示すデータを抽出する。
トラッキングマネージャ15bは、上記の認識したトラッキングデータD1を、データ管理部15aを用いて記憶部16から読み出す。
ロボットコントローラ5の演算部15は、図3のステップS5の工程において、適宜、トラッキングマネージャ15bが順次データベースから読み出した各トラッキングデータD1から、重複部分を検出する処理動作を行う。
図6において、演算部15が、記憶部16から順次読み出したトラッキングデータD1を、例えば、トラッキングデータTrk[i−1]、また、これに続くトラッキングデータTrk[i]とする。
重複部分d0には、2つのワークデータが存在し、これらのワークデータはワーク10a、および、ワーク10bに各々対応している。
このとき、演算部15は、トラッキングデータTrk[i]と、トラッキングデータTrk[i−1]の重複部分d0に存在するワーク10a,10bを検出する処理を行う。
また、演算部15は、これらのトラッキングデータD1に含まれているワークデータの各座標値を使用して、各ワーク間の相対的な距離を求める。
具体的には、例えば、トラッキングデータTrk[i]のワーク10aと、トラッキングデータTrk[i−1]の各ワーク10a,10b,10cとの間の距離を求める。
演算部15は、前述のようにデータベースから読み出したトラッキングデータTrk[i]の中から、任意のワークデータを1つ、例えば図6において左下側のワーク10aのワークデータを選択する(ステップS11)。
次に、データベースから先に読み出されているトラッキングデータTrk[i−1]の中から、任意のワークデータを1つ、例えば図6において右下側のワーク10aを選択する(ステップS12)。
例えば、ステップS11の工程で選択したワークデータの座標値を(x2,y2)とし、ステップS12の工程で選択したワークデータの座標値を(x1,y1)とする。
これらのワークデータに対応する各ワークの間の距離Δは、次の(1)式によって求めることができる。
Δ=((x2−x1)2+(y2−y1)2)1/2 …(1)
演算部15は、ステップS14の工程において、距離Δが重複判定規定値Δmax以下であると判定したときには、ワークマネージャ15cによるワークへの作業をキャンセルする(ステップS15)。
演算部15が扱う座標値は、例えば、ロボット4の制御に用いるワールド座標系などの値で、前述のように求めた各ワーク間の距離Δは、相対値である。
演算部15は、相対値を用いることにより、視覚センサ3が、いかなる座標系を用いてワークデータを生成していても、各々のワーク間の距離Δを適切に比較することが可能になる。
トラッキングデータTrk[i]に含まれている座標値(x2,y2)を有するワーク10aと、トラッキングデータTrk[i−1]に含まれている座標値(x1,y1)を有するワーク10aは同一である、と判定する。
換言すると、演算部15は、ワークマネージャ15cが、トラッキングデータTrk[i]のワーク10aに対応する処理を行わないように、当該ワークマネージャ15cを制御する。
例えば、トラッキングデータTrk[i]のワーク10aに対して、トラッキングデータTrk[i−1]に含まれている、全てのワーク10a〜10cのワークデータを前述の演算に用いたか否かを判定する(ステップS17)。
トラッキングデータTrk[i−1]の中の、次のワークデータを選択し(ステップS18)、ステップS13の工程に戻り、以降の各工程を前述の説明と同様に行う。
演算部15は、ステップS19の工程において、全てのワークデータを演算に用いていないと判定したときには、次のような処理動作を行う。
トラッキングデータTrk[i]の中の、次のワークデータを選択し(ステップS20)、ステップS12の工程に戻り、以降の各工程を前述の説明と同様に行う。
演算部15は、図3のステップS6の工程において、重複していることを検出したワークデータを除いてワークマネージャ15cに処理を行わせ、ロボット4に作業を行わせる。
また、視覚センサ3がワークデータを生成するときに用いている座標系によらず、重複しているワークデータを検出することができる。
Claims (3)
- ワークを搬送する搬送手段と、
前記搬送されるワークの移動量を検出するエンコーダと、
前記搬送されているワークを、前回の撮像領域と部分的に重複するトラッキング領域ごとに撮像する、視覚センサと、
前記撮像データからトラッキング範囲内のワークを抽出し、当該抽出したワークの位置、および、前記エンタコーダが検出したワークの移動量を含むワークデータを生成し、トラッキング範囲内の前記抽出したワークの個数、ワークの移動量、および、前記ワークデータを含むトラッキングデータを生成する、画像処理部と、
前記視覚センサの搬送方向の前方に配置され、固定部と、ワークを保持する保持部と、前記固定部に装着され前記保持部を移動させるアーム部を有する、単一のロボットと、
制御手段と、
を有し、
前記制御手段は、
前記ロボットの近傍のワーク検出領域における複数のワーク間の相対的な距離を求め、その距離が所定値より短い場合、重複していると判断して他方のワークを除去して前記ロボットによる保持処理の対象から除外し、
前記ワーク検出領域内の他のワークについて、前記ロボットを制御して保持動作を行わせる、
ハンドリング装置。 - ワークを搬送する搬送手段と、前記搬送されるワークの移動量を検出するエンコーダと、前記搬送されているワークを、前回の撮像領域と部分的に重複するトラッキング領域ごとに撮像する、視覚センサと、前記視覚センサの搬送方向の前方に配置され、固定部と、ワークを保持する保持部と、前記固定部に装着され前記保持部を移動させるアーム部を有する、単一のロボットとを有するハンドリング装置におけるワークハンドリング方法であって、
前記撮像データからトラッキング範囲内のワークを抽出し、当該抽出したワークの位置、および、前記エンタコーダが検出したワークの移動量を含むワークデータを生成し、トラッキング範囲内の前記抽出したワークの個数、ワークの移動量、および、前記ワークデータを含むトラッキングデータを生成し、
前記ロボットの近傍のワーク検出領域における複数のワーク間の相対的な距離を求め、その距離が所定値より短い場合、重複していると判断して他方のワークを除去して前記ロボットによる保持処理の対象から除外し、
前記ワーク検出領域内の他のワークについて、前記ロボットを制御して保持動作を行わせる、
ワークハンドリング方法。 - ワークを搬送する搬送手段と、前記搬送されるワークの移動量を検出するエンコーダと、前記搬送されているワークを、前回の撮像領域と部分的に重複するトラッキング領域ごとに撮像する、視覚センサと、前記視覚センサの搬送方向の前方に配置され、固定部と、ワークを保持する保持部と、前記固定部に装着され前記保持部を移動させるアーム部を有する、単一のロボットとを有するハンドリング装置に用いる信号処理装置であって、
前記撮像データからトラッキング範囲内のワークを抽出し、当該抽出したワークの位置、および、前記エンタコーダが検出したワークの移動量を含むワークデータを生成し、トラッキング範囲内の前記抽出したワークの個数、ワークの移動量、および、前記ワークデータを含むトラッキングデータを生成し、
前記ロボットの近傍のワーク検出領域における複数のワーク間の相対的な距離を求め、その距離が所定値より短い場合、重複していると判断して他方のワークを除去して前記ロボットによる保持処理の対象から除外し、
前記ワーク検出領域内の他のワークについて、前記ロボットを制御して保持動作を行わせる、
信号処理装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008148468A JP5198155B2 (ja) | 2008-06-05 | 2008-06-05 | ハンドリング装置、ワークハンドリング方法および信号処理装置 |
US12/995,960 US8805585B2 (en) | 2008-06-05 | 2009-06-03 | Handling apparatus, control device, control method, and program |
GB1019223.5A GB2471819B (en) | 2008-06-05 | 2009-06-03 | Handling system,control device,control method,and program |
GB1213595.0A GB2492257B (en) | 2008-06-05 | 2009-06-03 | Handling system, control device, control method, and program |
DE112009001414T DE112009001414T5 (de) | 2008-06-05 | 2009-06-03 | Bearbeitungssystem, Steuerungseinrichtung, Steuerungsverfahren und Programm |
PCT/JP2009/060172 WO2009148089A1 (ja) | 2008-06-05 | 2009-06-03 | ハンドリング装置、制御装置、制御方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008148468A JP5198155B2 (ja) | 2008-06-05 | 2008-06-05 | ハンドリング装置、ワークハンドリング方法および信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009291895A JP2009291895A (ja) | 2009-12-17 |
JP5198155B2 true JP5198155B2 (ja) | 2013-05-15 |
Family
ID=41540555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008148468A Active JP5198155B2 (ja) | 2008-06-05 | 2008-06-05 | ハンドリング装置、ワークハンドリング方法および信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5198155B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3711907A1 (en) * | 2019-03-18 | 2020-09-23 | Kabushiki Kaisha Toshiba | Handling system, robot management system, and robot system |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5353718B2 (ja) * | 2010-01-06 | 2013-11-27 | セイコーエプソン株式会社 | 制御装置、ロボット、ロボットシステム及びロボットの追従制御方法 |
JP2012187651A (ja) * | 2011-03-09 | 2012-10-04 | Omron Corp | 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置 |
EP2537645B1 (en) | 2011-06-20 | 2017-10-25 | Kabushiki Kaisha Yaskawa Denki | Robot System |
JP5533792B2 (ja) * | 2011-06-20 | 2014-06-25 | 株式会社安川電機 | ピッキングシステム |
JP5003840B1 (ja) * | 2011-10-31 | 2012-08-15 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
JP6549655B2 (ja) | 2017-08-03 | 2019-07-24 | ファナック株式会社 | 物品搬送装置 |
JP6579498B2 (ja) | 2017-10-20 | 2019-09-25 | 株式会社安川電機 | 自動化装置及び位置検出装置 |
JP6918756B2 (ja) | 2018-08-31 | 2021-08-11 | ファナック株式会社 | 検出システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0748018A (ja) * | 1993-08-03 | 1995-02-21 | Omori Mach Co Ltd | 物品移載装置用物品検出装置 |
JP2005111607A (ja) * | 2003-10-07 | 2005-04-28 | Fanuc Ltd | ロボット物流トラッキング装置 |
JP4864363B2 (ja) * | 2005-07-07 | 2012-02-01 | 東芝機械株式会社 | ハンドリング装置、作業装置及びプログラム |
JP2009028818A (ja) * | 2007-07-25 | 2009-02-12 | Panasonic Electric Works Co Ltd | ロボットシステム |
-
2008
- 2008-06-05 JP JP2008148468A patent/JP5198155B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3711907A1 (en) * | 2019-03-18 | 2020-09-23 | Kabushiki Kaisha Toshiba | Handling system, robot management system, and robot system |
Also Published As
Publication number | Publication date |
---|---|
JP2009291895A (ja) | 2009-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5198155B2 (ja) | ハンドリング装置、ワークハンドリング方法および信号処理装置 | |
WO2009148089A1 (ja) | ハンドリング装置、制御装置、制御方法およびプログラム | |
EP1449626B1 (en) | Workpiece conveying apparatus with visual sensor for checking the gripping state | |
US20070179671A1 (en) | Tracking and handling device | |
US8014899B2 (en) | Article conveying robot system | |
JP6748126B2 (ja) | 作業ロボットシステム | |
CN109384039B (zh) | 物品搬运装置 | |
JP6478234B2 (ja) | ロボットシステム | |
JP6496333B2 (ja) | 少なくとも1つのセンサを用いた物品搬送装置 | |
US11325261B2 (en) | Transfer device and delivery system | |
CN110076768B (zh) | 物品搬运系统以及机器人系统 | |
WO2020022302A1 (ja) | 把持装置 | |
EP2221152A1 (en) | A robot system and a method for picking and placing components | |
KR20130085438A (ko) | 화상 처리 장치 및 화상 처리 시스템 | |
JP2006035397A (ja) | 搬送ロボットシステム | |
JP5198161B2 (ja) | ハンドリング装置およびワークハンドリング方法 | |
JP2016147330A (ja) | 物体認識に基づく制御装置 | |
JP2005262369A (ja) | ロボットシステム | |
JP2005262369A5 (ja) | ||
JP2007033328A (ja) | 画像処理方法および該画像処理方法を用いたピッキング動作補正方法 | |
JP7436170B2 (ja) | ロボットシステム | |
WO2021065880A1 (ja) | ロボット制御システム、ロボット制御方法およびプログラム | |
JP5353718B2 (ja) | 制御装置、ロボット、ロボットシステム及びロボットの追従制御方法 | |
CN112318497B (zh) | 同时进行工件选择以及机器人作业的机器人控制系统 | |
WO2023223503A1 (ja) | 制御装置及び検出システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5198155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |