JP7353948B2 - Robot system and robot system control method - Google Patents
Robot system and robot system control method Download PDFInfo
- Publication number
- JP7353948B2 JP7353948B2 JP2019218696A JP2019218696A JP7353948B2 JP 7353948 B2 JP7353948 B2 JP 7353948B2 JP 2019218696 A JP2019218696 A JP 2019218696A JP 2019218696 A JP2019218696 A JP 2019218696A JP 7353948 B2 JP7353948 B2 JP 7353948B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- gripping
- placement
- robot
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
Description
本発明は、ロボットシステム及びロボットシステムの制御方法に関する。 The present invention relates to a robot system and a method of controlling the robot system.
労働力不足を背景に、ロボット導入による人手作業の自動化が進んでいる。これまでも、工場における部品切削や溶接作業など定型的な作業の自動化が進んできた。今後さらに拡大し、建設現場、物流倉庫、食品、化粧品、医療品など多種の産業分野への応用が期待されている。 Against the backdrop of labor shortages, the automation of manual labor through the introduction of robots is progressing. Until now, there has been progress in automating routine tasks such as parts cutting and welding in factories. It is expected that this technology will further expand in the future and find applications in a variety of industrial fields such as construction sites, distribution warehouses, food, cosmetics, and medical products.
一例として、物流倉庫における物品のピッキング作業自動化があげられる。ピッキング作業自動化ロボットでは、3次元カメラにより物品棚の3次元画像を取得し、目標商品の有無を画像認識により検出し、画像認識や予め登録された物品の3次元モデルデータと比較しながら把持座標を算出する。得られた把持座標に対して軌道を計算し、ピッキングを実行する。 One example is the automation of picking work for goods in a distribution warehouse. The automated picking robot acquires a 3D image of the product shelf using a 3D camera, detects the presence or absence of the target product through image recognition, and uses the image recognition and pre-registered 3D model data of the product to compare the grasping coordinates. Calculate. A trajectory is calculated based on the obtained grasping coordinates, and picking is performed.
ピッキング作業自動化における課題は、ロボットによるピッキング作業スループットが遅いことである。例えば、最先端の物流倉庫向けピッキングロボットにおいても、スループットは人間の熟練作業者に比べ半分程度に留まる。 A challenge in automating picking operations is that the throughput of picking operations by robots is slow. For example, even with the most advanced picking robots for distribution warehouses, the throughput is only about half that of skilled human workers.
ロボットの動作スループットが遅い要因の1つに、ロボット自体の動作速度が遅いことが挙げられる。3次元にばら積みされた任意姿勢の物品を把持するため、これまで垂直多関節型のロボットが多く用いられてきた。 One of the reasons why the operating throughput of a robot is slow is that the operating speed of the robot itself is slow. Up to now, vertically articulated robots have often been used to grasp objects that are three-dimensionally stacked in arbitrary positions.
垂直多関節型ロボットは多数の関節を備え、3次元空間で任意の姿勢になることが可能であり、3次元バラ積みピッキング用途で垂直多関節型のロボットが広く採用されてきた。一方、垂直多関節型ロボットは直列に接続された関節及び関節を制御するモータを1つずつ駆動し、最終的な座標に到達するように制御を行うため、関節数が多いほど制御に時間を要する。 Vertical articulated robots are equipped with a large number of joints and can assume any posture in three-dimensional space, and have been widely adopted for three-dimensional bulk picking applications. On the other hand, vertical articulated robots drive the joints connected in series and the motors that control the joints one by one to reach the final coordinates, so the more joints there are, the more time it takes to control them. It takes.
また、垂直多関節ロボットでは、各関節が直列に接続されるため相互に作用するため、各関節の相互作用も含めて各関節モータの制御値を計算する必要があった。一般にこれらのモータ制御計算では解が複数存在し、それらの中から最もロボットにとって安全な姿勢になる解を選択する必要がある。こうした複数解の計算及び複数解を評価し最も安全姿勢の解を選択する計算に時間を要するため、ロボットの動作スループットは遅かった。 In addition, in a vertical articulated robot, each joint is connected in series and interacts with each other, so it is necessary to calculate the control value for each joint motor, including the interaction of each joint. Generally, there are multiple solutions for these motor control calculations, and it is necessary to select the solution that provides the safest posture for the robot from among them. The operation throughput of the robot was slow because it took time to calculate these multiple solutions, evaluate the multiple solutions, and select the solution with the safest posture.
垂直多関節ロボットに代わり、特許文献1のように、ロボットの腕を1本から複数の並列接続型に増やし、代わりに関節数を腕1本当たり1関節に減らしたリンク構造による高速ピッキング作業自動化技術が開発されている。
Instead of a vertically articulated robot, as in
こうした複数腕のロボットをリンクして並列に動作させるパラレルリンク型ロボットでは関節が並列に並ぶため、関節を並列に制御でき、各関節モータの制御を独立に行うことが出来る。関節間の相互作用の計算することなく計算できるため、ロボット単体の動作速度を垂直多関節型ロボットと比較して数倍高速化することができる。 In parallel link robots in which multiple-arm robots are linked and operated in parallel, the joints are arranged in parallel, so the joints can be controlled in parallel, and each joint motor can be controlled independently. Since it can be calculated without calculating the interaction between joints, the operating speed of a single robot can be increased several times compared to a vertically articulated robot.
特許文献1に記載されている複数腕を有するリンク構造ロボットによるピッキング作業自動化の課題は、動作可能な姿勢が限定されている点にある。垂直多関節型ロボットは3次元位置X、Y、Zの3方向と、3軸それぞれについての回転姿勢RX、RY、RZに動くことが出来る。
A problem with automating picking work using a link structure robot having multiple arms described in
一方パラレルリンク型ロボットは並列に関節モータが接続されている機構上の制約により、X、Y、Zの3方向と、Z軸を中心とした回転姿勢であるRZしか動くことができない。そのため、3次元空間上で任意にばら積みされた物品を把持することができず、平積みされた箱形状の物品といったように応用範囲が限定されていた。 On the other hand, parallel link robots can only move in three directions, X, Y, and Z, and RZ, which is a rotational posture around the Z axis, due to mechanical constraints in which joint motors are connected in parallel. Therefore, it is not possible to grasp articles randomly stacked in bulk in a three-dimensional space, and the range of application is limited to box-shaped articles stacked flat.
特許文献1の手法では、物体を把持する把持座標は動的に抽出されるものの、物体を解除する配置座標は固定的であった。このため、比較的大きな物体が斜めに配置された場合を想定して配置座標を固定的に設定した場合、平置きされた薄い物体に対しては、上空から物体の把持を解除してしまうことになる。この結果、物体を配置側の作業台に対してぶつけてしまうことになり、物体を破損してしまう恐れがあった。
In the method of
本発明の目的は、パラレルリンク型ロボットにおいて、物体を破損させないで3次元空間上で任意にばら積みされた物体を把持することが可能なロボットシステム及びロボットシステムの制御方法を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide a robot system and a control method for a parallel link robot that can grip objects arbitrarily stacked in bulk in a three-dimensional space without damaging the objects.
本発明の一態様のロボットシステムは、撮像部と制御部とを有するパラレルリンクロボットを用いたロボットシステムであって、前記パラレルリンクロボットは、回転可能なジョイント機構を備えたロボットハンドにより3次元的にばら積みされた物体を把持して把持側から配置側に移動させ、前記把持側では把持点において前記物体を把持し、前記配置側では配置点において前記物体を解除し、前記撮像部は、ばら積みされた前記物体の3次元画像を取得し、前記制御部は、前記3次元画像に基づいて、前記物体の姿勢と大きさを推定し、前記物体の前記姿勢と前記大きさの推定結果に基づき、前記把持点の把持座標から前記配置点の配置座標に向かう前記物体の軌道を動的に制御することを特徴とする。 A robot system according to one aspect of the present invention is a robot system using a parallel link robot having an imaging unit and a control unit, the parallel link robot having a three-dimensional robot hand equipped with a rotatable joint mechanism. The object stacked in bulk is gripped and moved from the gripping side to the placement side, the gripping side grips the object at the gripping point, the placement side releases the object at the placement point, and the imaging unit is configured to the control unit estimates the posture and size of the object based on the three-dimensional image, and estimates the posture and size of the object based on the estimation results of the posture and size of the object. , characterized in that the trajectory of the object from the grasping coordinates of the grasping point to the arrangement coordinates of the arrangement point is dynamically controlled.
本発明の一態様のロボットシステムの制御方法は、回転可能なジョイント機構を備えたロボットハンドにより3次元的にばら積みされた物体を把持して把持側から配置側に移動させるパラレルリンクロボットを用いたロボットシステムの制御方法であって、ばら積みされた前記物体の3次元画像を取得し、前記3次元画像に基づいて、前記物体の姿勢と大きさを推定し、前記把持側では、把持点において前記物体を把持し、前記配置側では、配置点において前記物体を解除し、前記物体の姿勢と大きさの推定結果に基づき、前記把持点の把持座標から前記配置点の配置座標に向かう前記物体の軌道を動的に制御することを特徴とする。 A control method for a robot system according to one aspect of the present invention uses a parallel link robot that grips objects stacked in bulk three-dimensionally and moves them from a gripping side to a placement side using a robot hand equipped with a rotatable joint mechanism. A control method for a robot system, wherein a three-dimensional image of the object stacked in bulk is acquired, the posture and size of the object are estimated based on the three-dimensional image, and on the gripping side, the object is controlled at the gripping point. An object is gripped, and the placement side releases the object at a placement point, and moves the object from the gripping coordinates of the gripping point to the placement coordinates of the placement point based on the estimation results of the posture and size of the object. It is characterized by dynamically controlling the trajectory.
本発明の一態様によれば、パラレルリンク型ロボットにおいて、物体を破損させないで3次元空間上で任意にばら積みされた物体を把持することができる。 According to one aspect of the present invention, a parallel link robot can grip objects arbitrarily stacked in bulk in a three-dimensional space without damaging the objects.
最初に、図1を参照して、関連技術のロボットシステムの制御方法について説明する。
図1は、関連技術の固定配置座標によるパラレルリンクロボットの3次元バラ積み物体の自律把持・配置システムの動作を示した図である。
図1に示すように、関連技術のパラレルリンクロボット101によるピッキング作業自動化システムは、パラレルリンクロボット本体101、ジョイント機構102を備えたロボットハンド103、3次元カメラ部109、3次元カメラデータに基づきロボット動作を計画し制御する把持座標推定部110を有する。
First, a related technology control method for a robot system will be described with reference to FIG.
FIG. 1 is a diagram illustrating the operation of a related art autonomous grasping and placement system for three-dimensional bulk objects using a parallel link robot based on fixed placement coordinates.
As shown in FIG. 1, the related technology picking automation system using a
パラレルリンクロボット101のような動作方向が限定されたロボットにおいて、3次元的にばら積みされた物体111、112を把持及び整列配置可能にする。このため、3次元的に回転可能なジョイント機構102を備えたロボットハンド103を導入する。
In a robot such as a
パラレルリンクロボット101は、架台106に取り付けられ、自律移動することが出来ない。そのため、物体111、112は把持側コンベア107により配置側作業台108に搬送される。
The
しかし、関連技術の認識・制御方法では、把持座標104は把持座標推定部110において動的に抽出されるものの、配置座標105は固定的であった。従って、図1(a)に示すように、比較的大きな物体112が斜めに配置された場合を想定し配置座標105を固定的に設定した場合、平置きされた薄い物体111に対しては、図1(b)のように上空から把持を解除してしまうことになる。この結果、物体111を配置側作業台108に対してぶつけてしまうことになり、物体11が破損してしまう恐れがあった。
However, in the recognition/control method of the related technology, although the
そこで、実施形態では、パラレルリンク型ロボットにおいて、物体を破損させないで3次元空間上で任意にばら積みされた物体を把持することが可能なロボットシステム及びロボットシステムの制御方法を提供する。 Therefore, in the embodiment, a robot system and a method for controlling the robot system are provided, in which a parallel link robot can grasp objects arbitrarily stacked in bulk in a three-dimensional space without damaging the objects.
このため、実施形態は、自律制御機能及び回転可能なジョイント機構を備えたパラレルリンク型ロボットにおいて、3次元カメラによって撮像された3次元画像に基づき、物体把持位置及び配置位置の推定を行い、推定された把持位置に基づきロボット動作を制御する。 For this reason, in the embodiment, in a parallel link robot equipped with an autonomous control function and a rotatable joint mechanism, the object grasping position and placement position are estimated based on a 3D image captured by a 3D camera. The robot motion is controlled based on the grip position determined.
以下、図面を用いて実施例について説明する。 Examples will be described below with reference to the drawings.
図2を参照して、実施例1のロボットシステムについて説明する。
図2に示すように、実施例1のパラレルリンクロボット101によるピッキング作業自動化システムは、パラレルリンクロボット本体101、ジョイント機構102を備えたロボットハンド103、撮像部を構成する3次元カメラ部109、3次元カメラデータに基づきロボット動作を計画し制御する認識制御部204を有する。
The robot system of Example 1 will be described with reference to FIG. 2.
As shown in FIG. 2, the picking work automation system using the
ジョイント機構102は、例えば、モータが内蔵され認識制御部204の指示により能動的に動作するモータ式ジョイント機構で構成される。尚、ジョイント機構102は、ゴムなどの柔軟性を有する機構や金属や樹脂製のボールを備え、外力に応じて受動的に変形するジョイント機構で構成しても良い。
The
パラレルリンクロボット101は、架台106に取り付けられ、自律移動することが出来ない。そのため、物体209は把持側コンベア107により配置側作業台108に搬送される。
The
認識制御部204は、3次元物体姿勢推定部205、3次元物体大きさ推定部206、把持点/配置点座標算出部207及び中間座標/動作速度算出部208を有する。
The
3次元物体姿勢推定部205は、3次元カメラ109から取得した3次元画像に基づいて、物体の姿勢を推定する。3次元物体大きさ推定部206は、物体の大きさを推定する。把持点/配置点座標算出部207は、推定された物体の姿勢と大きさに基づいて、物体の把持点の把持座標201と配置点の配置座標202を算出する。
The three-dimensional object
把持点/配置点座標算出部207は、把持側では、予め規定された複数の物体把持候補点の内、最も上面にありかつ把持可能領域が最も広い候補点を把持点の把持座標201として算出する。配置側では、物体209の姿勢と大きさに基づいて、物体209が破損しないような配置点の配置座標202を算出する。
On the gripping side, the gripping point/arrangement point coordinate
中間座標/動作速度算出部208は、中間座標算出部として機能し、物体209の姿勢と大きさに基づいて、把持点の把持座標201と配置点の配置座標202とを結ぶ中継点である中間座標203を動的に制御する。
The intermediate coordinate/operation
また、中間座標/動作速度算出部208は、動作速度算出部として機能し、推定された物体209の姿勢と大きさに基づいて、物体209を把持して把持側から配置側に移動させる移動速度を動的に制御する。
Further, the intermediate coordinate/motion
このように、認識制御部204は、把持するべき物体209を認識し、物体姿勢を推定することで、ロボットハンド(吸着パッド)103の把持座標201、吸着を解除し物体を整列配置する配置座標202及び把持座標201から配置座標202に到達するまでのロボット軌道210と動作速度を動的に制御する。
In this way, the
上述のように、実施例1のロボットシステムは、3次元カメラ109(撮像部)と認識制御部204(制御部)とを有するパラレルリンクロボット101を用いたロボットシステムである。パラレルリンクロボット101は、回転可能なジョイント機構102を備えたロボットハンド103により3次元的にばら積みされた物体209を把持して把持側から配置側に移動させる。
As described above, the robot system of the first embodiment is a robot system using the
把持側では把持点の把持座標201において物体209を把持し、配置側では配置点の配置座標202において物体209を解除する。
On the grasping side, the
3次元カメラ109(撮像部)は、ばら積みされた物体209の3次元画像を取得する。認識制御部204(制御部)は、3次元画像に基づいて、物体209の姿勢と大きさを推定し、物体209の姿勢と大きさの推定結果に基づき、把持点の把持座標201から配置点の配置座標202に向かう物体209の軌道210を動的に制御する。
The three-dimensional camera 109 (imaging unit) acquires a three-dimensional image of the
ここで、認識制御部204(制御部)は、物体209の姿勢と大きさの推定結果に基づき、配置点の配置座標を可変に制御することにより、物体209の軌道210を動的に制御する。
Here, the recognition control unit 204 (control unit) dynamically controls the
認識制御部204は、3次元カメラ109から3次元画像データを取得し、3次元物体姿勢推定部205に伝送する。3次元カメラ109には、カラーカメラ2台で視差から深度を推定するステレオカメラ、赤外光などの特定波長の信号を照射し、物体表面で反射してセンサまで帰ってくる往復時間を計測し深度を推定するTime of Flightカメラあるいは深層学習などの手法により深度推定する単眼カメラ方式が挙げられる。
The
3次元カメラ109の出力である3次元画像データは2つのデータから成り、1つは画角内に写った物体表面とセンサ間の深度を集計した深度画像及びもう1つは特定波長で取得された画像データ(通常は可視広域で取得されたRGB画像)である。
The three-dimensional image data that is the output of the three-
パラレルリンクロボット101は、架台106に取り付けられ、自律移動することが出来ない。そのため、物体209は把持側コンベア107により配置側作業台108に搬送される。従って、把持座標決定時には、3次元画像データを撮影したタイミングを取得し、認識及び制御処理による経過時間内にコンベア107による物体移動距離を加味したうえで目標座標を決定している。
The
例えば、認識制御部204から3次元カメラ109に向かって撮影タイミングを規定するトリガ信号を送信する。あるいは、3次元カメラ109から常に3次元画像データを認識制御部204に伝送し続け、認識制御部204で既定されたタイミングと同じタイミングで撮影された3次元画像データを選択し取得する。このようにして、撮像されたタイミングと認識処理終了時の時間差を推定し、搬送後の座標を推定することが出来る。
For example, the
このように、実施例1のロボットシステムでは、3次元カメラ109によりばら積み物体209の3次元データを取得し、認識制御部204にデータ伝送する。認識制御部204では、把持座標201のみを推定するだけに留まらず、物体の大きさを推定し配置座標202、中間座標203及び動作速度を算出する。
In this way, in the robot system of the first embodiment, the three-
そして、3次元カメラ109から得られた3次元画像データに基づき、まず対象物体の3次元位置・姿勢を推定する。同時に、3次元物体モデルを記憶領域から呼び出し、3次元物体の大きさを推定する。そして、3次元物体モデルに予め規定された複数の物体把持候補点の内、最も上面にあり把持可能領域が広い候補点を把持座標201として算出する。
Then, based on the three-dimensional image data obtained from the three-
次に、3次元物体の大きさ情報と、3次元位置及び姿勢情報から、物体が配置面に対して緩やかに接触するような配置座標202の高さを算出する。そして、把持座標201と配置座標202を結ぶ中間座標203を算出し、物体の大きさ情報と属性情報から、把持物体を壊さない最上限のロボットの動作速度を算出して出力する。
Next, from the size information of the three-dimensional object and the three-dimensional position and orientation information, the height of the arrangement coordinate 202 at which the object gently contacts the arrangement surface is calculated. Then,
図3を参照して、認識制御部204の認識及び制御処理について説明する。
3次元カメラ109から3次元画像データの内、2次元画像のみが入力され、2次元画像解析により物体識別を行う(ステップ301)。取得した画像内の把持物体を認識し、それぞれの物体の種別を推定する。
With reference to FIG. 3, recognition and control processing by the
Only the two-dimensional image of the three-dimensional image data is input from the three-
複数の物体が存在する場合は、ベルトコンベア107の最も進行方向に対して下流に存在する物体を把持対象として選定する。把持対象として選別されたワークの種別情報から、物体の3次元物体モデルを記憶領域から呼び出し、3次元位置姿勢推定を行う(ステップ302)。これにより、把持対象物体がベルトコンベア107上でどのような位置姿勢で存在するかを推定する。
If a plurality of objects exist, the object that exists furthest downstream in the traveling direction of the
把持点算出ステップ303では、複数候補の把持座標の内、把持候補点と把持可能領域を比較し、最も把持しやすい候補点では把持可能領域が広い候補点を把持点の把持座標201として算出する。
In the gripping
図4に示すように、画角内401の把持対象物体に対して、複数の把持候補点402~405が算出され、最も下流の物体の把持点である402、403同士を最終的な候補点選定のために比較する。
As shown in FIG. 4, a plurality of gripping candidate points 402 to 405 are calculated for the object to be gripped within the
図4に示したように、把持点402と把持点403とでは、把持点402の方がより把持可能領域が広くフラットであるため、最終的な把持点の把持座標201として把持点402の座標を出力する。把持可能領域は、予め物体の3次元モデルに情報として入れ込んでおく。もしくは、2次元画像を用いた機械学習により帰納的に求めてもよい。
As shown in FIG. 4, between the
把持点の把持座標201に対してさらに、3次元位置姿勢推定ステップ302にて物体の回転姿勢が求まっているので、Z軸の回転姿勢(RZ)も付与してパラレルリンクロボット101に出力する。
Furthermore, since the rotational orientation of the object has been determined in the three-dimensional position and
物体配置座標推定ステップ304では、物体識別ステップ301で得られた物体識別情報、3次元位置姿勢推定ステップ302及び把持点算出ステップ303で得られた物体の把持座標201と物体の回転姿勢を用いて、配置座標202を計算する。
In the object placement coordinate
例として、図5に示すように、物体識別情報により、物体209の大きさL1(503)、物体の大きさL2(502)と把持した把持座標(501:点A)とを用いることで、剛体であれば物体209のうち最もコンベアに近い点である点C(507)を計算することが出来る。
As an example, as shown in FIG. 5, by using the object identification information, the size L1 (503) of the
把持座標点A(501)は事前に物体209の3次元モデルに対して既定された点であることから、物体209の把持からの距離L3(504)を求めることができる。通常は、物体209の重心になるように、L3=L1/2となるように設定される。物体209の把持の座標点である点B(506)の座標は、L3(504)及び3次元回転角θ(505)を用いることで、(X+L3cosθ,Y,Z-L3sinθ)として計算できる(510)。
Since the grasp coordinate point A (501) is a point predetermined for the three-dimensional model of the
物体209の中で最もコンベア面に近い点C(507)の座標も同様に計算することができ、(X+L3cosθ-L2sinθ,Y,Z-L3sinθ-L2cosθ)として算出できる。
The coordinates of the point C (507) of the
よって、物体209のコンベア面までの高さH(508)はH=Z-L3sinθ-L2cosθである。従って配置座標(点D:509)は基準座標(X’、Y’、Z’)に対して、算出した高さH(508)を用いることで、配置座標(509)は(X’、Y’、Z’-H)として求めることができる。
Therefore, the height H (508) of the
このようにすることで、物体の姿勢や大きさに合わせて配置座標が動的に制御されるため、物体を壊すことなく安全に配置することが出来る。なお、配置座標の算出方法は特に上述の手法に限定されるものではなく、深層学習等の機能的な機械学習手法と組み合わせて計算しても良い。 By doing this, the placement coordinates are dynamically controlled according to the posture and size of the object, so the object can be placed safely without damaging it. Note that the method for calculating the arrangement coordinates is not particularly limited to the above-mentioned method, and may be calculated in combination with a functional machine learning method such as deep learning.
中継点算出ステップ305では、把持座標201と配置座標202を入力として、中間座標203を計算する。図6に示すように、中間座標203は把持座標201と配置座標202の中間になるように設定される。
In the relay
図6(b)に示すように、低い把持座標601及び配置座標603に対しては、低い中間座標602が設定される。また、中間座標203、602は常にパラレルリンクロボット101が3次元カメラ109の視界を遮らないように設定される。
As shown in FIG. 6(b), a low intermediate coordinate 602 is set for a low gripping coordinate 601 and a low placement coordinate 603. Furthermore, the
また、障害物と干渉を避ける目的で座標の最大値及び最小値の範囲を予め制限する。また、中間座標203、602は1点とは限らず複数の座標点が存在しても良い。
Furthermore, the range of the maximum and minimum values of the coordinates is limited in advance in order to avoid interference with obstacles. Furthermore, the
このように、中継点算出ステップ305では、推定された物体の姿勢と大きさに基づいて、把持座標201、601と配置座標202、603とを結ぶ中継点である中間座標203、602を動的に制御する。
In this way, in the relay
ロボット動作速度算出ステップ306では、パラレルリンクロボット101の搬送速度を制御する。物体識別結果及び姿勢推定結果を入力とし、予め登録された吸着し辛いものや重いもの、あるいは姿勢が急こう配な物体や、中間座標203がコンベア面に対して高い位置にある点については、搬送速度を遅くすることで搬送精度を高める処理を行う。
In the robot operation
このように、ロボット動作速度算出ステップ306は、推定された物体の姿勢と大きさに基づいて、物体を把持して把持側のコンベア107から配置側作業台108に移動させる移動速度を動的に制御する。
In this way, the robot operation
ロボット制御ステップ307では、これまで計算された把持座標201と姿勢(RZ)、配置座標202、中間座標203、602及び搬送速度を入力変数として受け取り、予め規定されたロボット制御プログラム内の各種変数に代入することでロボット制御プログラムを完成させて処理を実行する。
In the
図7を参照して、実施例1のロボットシステムの制御方法について説明する。
最初に、3次元カメラ109によりばら積み物体を撮像して3次元データを取得する(S1)。
次に、CNNなどの2次元画像解析を行う(S2)。そして、物体の種別を出力する(S3)。このように、2次元画像解析(S2)では物体の種別を認識し、物体種別を出力しバッファに記憶する(S3)。画像認識技術としては、Convolutional Neural Network(CNN)やテンプレートマッチングなどの手法が一般的である。
A method of controlling the robot system according to the first embodiment will be described with reference to FIG.
First, a three-
Next, two-dimensional image analysis such as CNN is performed (S2). Then, the type of object is output (S3). In this manner, the two-dimensional image analysis (S2) recognizes the type of object, outputs the object type, and stores it in a buffer (S3). Common image recognition techniques include methods such as Convolutional Neural Network (CNN) and template matching.
次に、最も下流の物体を把持対象物体として選定する(S4)。そして、3次元物体モデルを取得する(S5)。そして、3次元データ解析(例:ICP法)を行う(S6)。このように、予め作成され記憶領域に保存されたモデルデータを呼び出し(S5)、3次元データ解析(S6)を実施する。 Next, the most downstream object is selected as the object to be grasped (S4). Then, a three-dimensional object model is obtained (S5). Then, three-dimensional data analysis (eg, ICP method) is performed (S6). In this way, the model data created in advance and stored in the storage area is called up (S5), and three-dimensional data analysis (S6) is performed.
モデルデータを移動及び回転させながら3次元画像データ内との相関度を繰り返し求め、最も相関度の高い位置座標・回転姿勢を求めるIterative Closest Point(ICP)法や、最近では3次元データから把持候補座標点を深層学習により直接算出する方式により、把持対象物体の回転姿勢を求める。 The Iterative Closest Point (ICP) method, which repeatedly calculates the degree of correlation with 3D image data while moving and rotating the model data, and finds the position coordinates and rotational orientation with the highest correlation, and recently, grasping candidates from 3D data. The rotational posture of the object to be grasped is determined by directly calculating the coordinate points using deep learning.
次に、物体の姿勢を出力する(S7)。そして、把持候補点を出力する(S8)。次に、把持領域の最も広い把持点を選択する(S9)。そして、把持点の座標201を出力する(S10)。この時、物体に予め規定された把持候補点も出力(S8)し、把持可能領域を比較し(S9)、最も把持領域の広い把持点を出力する(S0)。そして、配置点の配置座標202を算出する(S11)。
次に、中継点203を算出(S12)。そして、ロボット動作速度を算出する(S13)。そして、算出した座標とロボット指令を出力する(S14)。次に、ロボット動作と物体の把持及び配置を行う(S15)。
Next, the attitude of the object is output (S7). Then, grip candidate points are output (S8). Next, the widest gripping point in the gripping area is selected (S9). Then, the
Next, the
最後に、物体の把持及び配置が完了したかどうかを判定する(S16)。判定の結果、物体の把持及び配置が完了した場合は終了となる。一方、判定の結果、物体の把持及び配置が完了していない場合は、S1に戻る。 Finally, it is determined whether the grasping and placement of the object has been completed (S16). As a result of the determination, if the grasping and placement of the object is completed, the process ends. On the other hand, as a result of the determination, if the gripping and placement of the object are not completed, the process returns to S1.
図8を参照して、実施例2のロボットシステムについて説明する。
実施例2のロボットシステムは、図2に示す実施例1のロボットシステムの認識制御部204を、認識演算処理装置801とロボット制御コントローラ802とに分離したシステムである。その他の構成は、図2に示す実施例1のロボットシステムの構成と同じなのでその説明は省略する。
Referring to FIG. 8, a robot system according to a second embodiment will be described.
The robot system of the second embodiment is a system in which the
ロボット制御コントローラ802として分離した場合、3次元カメラ109の撮像タイミングはパラレルリンクロボット101からインタフェース(図示せず)を介して認識演算処理装置801に送信される。インタフェースのリアルタイム性が保証されない場合、トリガ信号到達時間のバラつきも見込んで把持座標201を決定する必要がある。
When separated as a
上記実施例によれば、パラレルリンクロボットにおいても3次元的にバラ積みされた物品を把持及び整列配置出来るようになる。この結果、従来困難であったパラレルリンクロボットによるばら積みピッキングを実現可能とすることができる。さらに、垂直多関節型ロボットによる自動化と比較し、作業スループットを高速化することができる。 According to the above-mentioned embodiment, even the parallel link robot can grip and arrange the articles stacked in bulk three-dimensionally. As a result, it is possible to realize bulk picking using a parallel link robot, which has been difficult in the past. Furthermore, work throughput can be increased compared to automation using vertically articulated robots.
101 パラレルリンクロボット
102 回転ジョイント
103 ロボットハンド
107 把持側ベルトコンベア
108 配置側作業台
109 3次元カメラ
204 認識制御部
205 3次元物体姿勢推定部
206 3次元物体大きさ推定部
207 把持点/配置点座標算出部
208 中間座標/動作速度算出部
209 物体
801 認識演算処理装置
802 ロボット制御コントローラ
101
109 3D camera
204
Claims (11)
前記パラレルリンクロボットは、
回転可能なジョイント機構を備えたロボットハンドにより3次元的にばら積みされた物体を把持して把持側から配置側に移動させ、
前記把持側では把持点において前記物体を把持し、前記配置側では配置点において前記物体を解除し、
前記撮像部は、
ばら積みされた前記物体の3次元画像を取得し、
前記制御部は、
前記3次元画像に基づいて、前記物体の姿勢と大きさを推定し、
前記物体の前記姿勢と前記大きさの推定結果に基づき、前記把持点の把持座標から前記配置点の配置座標に向かう前記物体の軌道を動的に制御し、
前記撮像部は、3次元カメラで構成され、
前記制御部は、
前記3次元カメラから取得した前記3次元画像に基づいて、前記物体の前記姿勢を推定する3次元物体姿勢推定部と、
前記物体の前記大きさを推定する3次元物体大きさ推定部と、
推定された前記物体の前記姿勢と前記大きさに基づいて、前記物体の前記把持座標と前記配置座標を算出する把持点/配置点座標算出部と、
を有し、
前記把持点/配置点座標算出部は、
前記把持側では、予め規定された複数の物体把持候補点の内、最も上面にありかつ把持可能領域が最も広い候補点を前記把持座標として算出し、
前記配置側では、推定された前記物体の前記姿勢と前記大きさに基づいて、前記物体が破損しないような前記配置座標を算出することを特徴とするロボットシステム。 A robot system using a parallel link robot having an imaging unit and a control unit,
The parallel link robot is
A robot hand equipped with a rotatable joint mechanism grasps objects stacked in bulk three-dimensionally and moves them from the grasping side to the placement side.
The gripping side grips the object at the gripping point, and the placement side releases the object at the placement point;
The imaging unit includes:
obtaining a three-dimensional image of the object stacked in bulk;
The control unit includes:
Estimating the posture and size of the object based on the three-dimensional image,
dynamically controlling the trajectory of the object from the gripping coordinates of the gripping point to the placement coordinates of the placement point based on the estimation results of the posture and size of the object ;
The imaging unit is composed of a three-dimensional camera,
The control unit includes:
a three-dimensional object posture estimation unit that estimates the posture of the object based on the three-dimensional image acquired from the three-dimensional camera;
a three-dimensional object size estimation unit that estimates the size of the object;
a grasping point/arrangement point coordinate calculation unit that calculates the grasping coordinates and the arrangement coordinates of the object based on the estimated posture and size of the object;
has
The grasping point/arrangement point coordinate calculation unit includes:
On the gripping side, among a plurality of predefined object gripping candidate points, a candidate point located on the uppermost surface and having the widest grippable area is calculated as the gripping coordinates;
The robot system is characterized in that, on the placement side, the placement coordinates such that the object is not damaged are calculated based on the estimated posture and size of the object.
前記物体の前記姿勢と前記大きさの推定結果に基づき、前記配置座標を可変に制御することにより、前記物体の軌道を動的に制御することを特徴とする請求項1に記載のロボットシステム。 The control unit includes:
2. The robot system according to claim 1, wherein the trajectory of the object is dynamically controlled by variably controlling the placement coordinates based on the estimation results of the posture and size of the object.
推定された前記物体の前記姿勢と前記大きさに基づいて、前記把持座標と前記配置座標とを結ぶ中継点である中間座標を動的に制御する中間座標算出部を更に有することを特徴とする請求項1に記載のロボットシステム。 The control unit includes:
The object may further include an intermediate coordinate calculation unit that dynamically controls intermediate coordinates that are relay points connecting the grasping coordinates and the placement coordinates based on the estimated posture and size of the object. The robot system according to claim 1.
推定された前記物体の前記姿勢と前記大きさに基づいて、前記物体を把持して前記把持側から前記配置側に移動させる移動速度を動的に制御する動作速度算出部を更に有することを特徴とする請求項1に記載のロボットシステム。 The control unit includes:
The method further includes a motion speed calculation unit that dynamically controls a movement speed for grasping the object and moving it from the grasping side to the placement side based on the estimated posture and size of the object. The robot system according to claim 1.
前記制御部の指示により能動的に動作するモータ式ジョイント機構で構成されることを特徴とする請求項1に記載のロボットシステム。 The joint mechanism is
The robot system according to claim 1, further comprising a motor-type joint mechanism that actively operates according to instructions from the control unit.
外力に応じて受動的に変形するソフトジョイント機構で構成されることを特徴とする請求項1に記載のロボットシステム。 The joint mechanism is
The robot system according to claim 1, comprising a soft joint mechanism that passively deforms in response to external force.
前記物体はコンベアにより搬送されることを特徴とする請求項1に記載のロボットシステム。 The parallel link robot is attached to a pedestal,
The robot system according to claim 1, wherein the object is conveyed by a conveyor.
ばら積みされた前記物体の3次元画像を取得し、
前記3次元画像に基づいて、前記物体の姿勢と大きさを推定し、
前記把持側では、把持点において前記物体を把持し、
前記配置側では、配置点において前記物体を解除し、
前記物体の姿勢と大きさの推定結果に基づき、前記把持点の把持座標から前記配置点の配置座標に向かう前記物体の軌道を動的に制御し、
前記把持側では、予め規定された複数の物体把持候補点の内、最も上面にありかつ把持可能領域が最も広い候補点を前記把持座標として算出し、
前記配置側では、推定された前記物体の前記姿勢と前記大きさに基づいて、前記物体が破損しないような前記配置座標を算出することを特徴とするロボットシステムの制御方法。 A method for controlling a robot system using a parallel link robot that grips three-dimensionally stacked objects in bulk with a robot hand equipped with a rotatable joint mechanism and moves them from a gripping side to a placement side, the method comprising:
obtaining a three-dimensional image of the object stacked in bulk;
Estimating the posture and size of the object based on the three-dimensional image,
The gripping side grips the object at a gripping point;
On the placement side, release the object at the placement point;
dynamically controlling the trajectory of the object from the gripping coordinates of the gripping point to the placement coordinates of the placement point based on the estimation results of the posture and size of the object ;
On the gripping side, among a plurality of predefined object gripping candidate points, a candidate point located on the uppermost surface and having the widest grippable area is calculated as the gripping coordinates;
The method for controlling a robot system is characterized in that, on the placement side, the placement coordinates such that the object is not damaged are calculated based on the estimated posture and size of the object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019218696A JP7353948B2 (en) | 2019-12-03 | 2019-12-03 | Robot system and robot system control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019218696A JP7353948B2 (en) | 2019-12-03 | 2019-12-03 | Robot system and robot system control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021088019A JP2021088019A (en) | 2021-06-10 |
JP7353948B2 true JP7353948B2 (en) | 2023-10-02 |
Family
ID=76218888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019218696A Active JP7353948B2 (en) | 2019-12-03 | 2019-12-03 | Robot system and robot system control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7353948B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022181143A (en) | 2021-05-25 | 2022-12-07 | 株式会社ミツトヨ | microscope unit |
WO2023209827A1 (en) * | 2022-04-26 | 2023-11-02 | ファナック株式会社 | Robot, robot control device, and work robot system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012171039A (en) | 2011-02-21 | 2012-09-10 | Fanuc Ltd | Conveying device for rod |
-
2019
- 2019-12-03 JP JP2019218696A patent/JP7353948B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012171039A (en) | 2011-02-21 | 2012-09-10 | Fanuc Ltd | Conveying device for rod |
Also Published As
Publication number | Publication date |
---|---|
JP2021088019A (en) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6823008B2 (en) | Robot system for taking out workpieces stacked separately and control method for robot system | |
JP5778311B1 (en) | Picking apparatus and picking method | |
US11701777B2 (en) | Adaptive grasp planning for bin picking | |
EP3222393B1 (en) | Automated guidance system and method for a coordinated movement machine | |
US20200147804A1 (en) | Operating system, control device, and computer program product | |
Rolley-Parnell et al. | Bi-manual articulated robot teleoperation using an external RGB-D range sensor | |
JP6697204B1 (en) | Robot system control method, non-transitory computer-readable recording medium, and robot system control device | |
JP6444499B1 (en) | Control device, picking system, distribution system, program, and control method | |
JP6810173B2 (en) | Object grasping system | |
JP6258556B1 (en) | Control device, picking system, distribution system, program, control method, and production method | |
JP7353948B2 (en) | Robot system and robot system control method | |
JP5618067B2 (en) | Bulk picking apparatus and method | |
US20230158676A1 (en) | Controlling multiple robots to cooperatively pick and place items | |
TW202321847A (en) | Robotic system to control multiple robots to perform a task cooperatively | |
JP2021024002A (en) | Article conveyance system having plurality of movable parts | |
WO2022098706A1 (en) | Robotic tools and methods for operating same | |
Watanabe et al. | Cooking behavior with handling general cooking tools based on a system integration for a life-sized humanoid robot | |
KR101197125B1 (en) | Object picking system and object picking method | |
JP7034971B2 (en) | Actuation systems, controls, and programs | |
WO2022014133A1 (en) | Mobile manipulator, method for controlling same, program | |
Rastegarpanah et al. | Autonomous vision-guided bi-manual grasping and manipulation | |
CN115837985B (en) | Disordered grabbing method based on machine vision | |
Timmermann et al. | AI4Assembly A Human-Robot Collaboration Assembly Application with AI Support | |
CN114683299B (en) | Robot tool and method of operating the same | |
JP7415013B2 (en) | Robotic device that detects interference between robot components |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7353948 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |