WO2021014563A1 - Component supply device and automatic assembly system - Google Patents
Component supply device and automatic assembly system Download PDFInfo
- Publication number
- WO2021014563A1 WO2021014563A1 PCT/JP2019/028834 JP2019028834W WO2021014563A1 WO 2021014563 A1 WO2021014563 A1 WO 2021014563A1 JP 2019028834 W JP2019028834 W JP 2019028834W WO 2021014563 A1 WO2021014563 A1 WO 2021014563A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- parts
- robot
- supply device
- component
- information
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
This component supply device (41) comprises: a component loading unit (42) on which a plurality of delivered components (24) are loaded in bulk; a three-dimensional camera (43) that images the components in bulk on the component loading unit; and an image processing unit (44) that processes the images captured by the three-dimensional camera and acquires three-dimensional recognition information which is information in which the components in bulk are recognized three-dimensionally. The image processing unit identifies, on the basis of the acquired three-dimensional recognition information, a component that can be picked up by a robot (11) from the components in bulk on the component loading unit, measures the position of the component that can be picked up, and transmits, to a control device (51) of the robot, the information on the measured position of the component that can be picked up. The control device of the robot controls an arm action of the robot on the basis of the received information on the position of the component that can be picked up, and work is performed for picking up one component at a time from among the components in bulk on the component loading unit and setting the component in a predetermined location.
Description
本明細書は、部品載置部上にバラ積みされた部品（ワーク）を１個ずつロボット等にピックアップさせる部品供給装置及び自動組立システムに関する技術を開示したものである。
This specification discloses a technology related to a parts supply device and an automatic assembly system that allow a robot or the like to pick up parts (workpieces) separately stacked on a parts mounting portion one by one.
部品供給装置の部品載置部上にバラ積みされた部品を１個ずつロボットでピックアップして所定の場所にセットする作業を行う自動組立システムにおいては、例えば、特許文献１（特開２０１８－１４４１５９号公報）に記載されているように、ロボットのアーム可動領域の上方の固定構造物に複数のカメラを下向きに固定し、部品供給装置の部品載置部上にバラ積みされた部品を上方から複数のカメラで撮像して、複数のカメラで撮像した画像を処理して３次元形状データを生成し、この３次元形状データに基づいて部品載置部上のバラ積み状態の部品の中からピックアップ可能な部品を特定して当該部品の位置を測定し、その測定結果に基づいてロボットのアーム動作を制御して部品載置部上にバラ積みされた部品を１個ずつピックアップするようにしている。
In an automatic assembly system in which parts stacked separately on a parts mounting portion of a parts supply device are picked up one by one by a robot and set in a predetermined place, for example, Patent Document 1 (Japanese Patent Laid-Open No. 2018-144159) As described in the publication, a plurality of cameras are fixed downward to a fixed structure above the movable area of the arm of the robot, and parts stacked separately on the parts mounting portion of the parts supply device are placed from above. Images taken by multiple cameras are processed, images taken by multiple cameras are processed to generate 3D shape data, and based on this 3D shape data, picked up from the parts in a loosely stacked state on the part mounting part. Possible parts are specified, the position of the parts is measured, and the arm movement of the robot is controlled based on the measurement results to pick up the parts stacked separately on the parts mounting part one by one. ..
ところで、ロボットのアーム可動領域の上方の固定構造物に固定した複数のカメラと部品供給装置との位置関係は、ユーザ側のロボットの据付環境によって異なるため、ユーザ側でキャリブレーションする必要がある。このため、ユーザのセットアップ工数が増えてセットアップ作業に時間がかかるという欠点があった。
By the way, the positional relationship between the plurality of cameras fixed to the fixed structure above the movable area of the robot arm and the parts supply device differs depending on the installation environment of the robot on the user side, so it is necessary to calibrate on the user side. For this reason, there is a drawback that the setup man-hours of the user increase and the setup work takes time.
上記課題を解決するために、部品供給装置において、投入された複数の部品をバラ積み状態に載置する部品載置部と、前記部品載置部上のバラ積み状態の部品を撮像する３次元カメラと、前記３次元カメラで撮像した画像を処理してバラ積み状態の部品を立体的に認識した情報である３次元認識情報を取得する画像処理部とを備えた構成としたものである。
In order to solve the above problem, in the parts supply device, a three-dimensional image of a parts mounting portion in which a plurality of input parts are placed in a loosely stacked state and a parts in a loosely stacked state on the parts mounting portion are imaged. The configuration includes a camera and an image processing unit that processes images captured by the three-dimensional camera and acquires three-dimensional recognition information, which is information that three-dimensionally recognizes parts in a loosely stacked state.
この構成では、部品供給装置に３次元カメラが設けられているため、ユーザ側でも部品供給装置の部品載置部と３次元カメラとの位置関係がメーカ製造時と同じ状態に維持される。このため、部品供給装置をメーカからユーザに出荷する前に、メーカ側で部品供給装置の部品載置部と３次元カメラとの位置関係をキャリブレーションして、そのキャリブレーションのデータを部品供給装置のメモリに登録しておけば、ユーザ側でキャリブレーションをやり直す必要がなくなり、ユーザのセットアップ工数を削減して、セットアップ作業の時間を大幅に削減することができる。
In this configuration, since the parts supply device is provided with the 3D camera, the positional relationship between the parts mounting part of the parts supply device and the 3D camera is maintained in the same state as when manufactured by the manufacturer. Therefore, before shipping the parts supply device from the manufacturer to the user, the manufacturer calibrates the positional relationship between the parts mounting part of the parts supply device and the 3D camera, and uses the calibration data as the parts supply device. By registering in the memory of, it is not necessary for the user to redo the calibration, the man-hours for setting up the user can be reduced, and the time required for the setup work can be significantly reduced.
以下、本明細書に開示した一実施例を説明する。
まず、図１に基づいてロボット１１の構成を説明する。 Hereinafter, an embodiment disclosed in the present specification will be described.
First, the configuration of therobot 11 will be described with reference to FIG.
まず、図１に基づいてロボット１１の構成を説明する。 Hereinafter, an embodiment disclosed in the present specification will be described.
First, the configuration of the
ロボット１１は、例えば５軸垂直多関節ロボットであり、工場フロア１２に設置された固定ベース１３と、この固定ベース１３上に第１関節軸１４（Ｊ１）を中心に回転可能に設けられた第１アーム１５と、この第１アーム１５の先端に第２関節軸１６（Ｊ２）によって旋回可能に設けられた第２アーム１７と、この第２アーム１７の先端に第３関節軸１８（Ｊ３）によって旋回可能に設けられた第３アーム１９と、この第３アーム１９の先端に第４関節軸２０（Ｊ４）によって旋回可能に設けられた手首部２１（アーム先端）と、この手首部２１に第５関節軸２２（Ｊ５）を中心に回転可能且つ交換可能に取り付けられたエンドエフェクタ２３とから構成されている。
The robot 11 is, for example, a 5-axis vertical articulated robot, and has a fixed base 13 installed on the factory floor 12 and a second joint axis 14 (J1) rotatably provided on the fixed base 13. 1 arm 15, a second arm 17 provided at the tip of the first arm 15 so as to be rotatable by a second joint shaft 16 (J2), and a third joint shaft 18 (J3) at the tip of the second arm 17. A third arm 19 rotatably provided by the arm 19 and a wrist portion 21 (arm tip) rotatably provided at the tip of the third arm 19 by a fourth joint shaft 20 (J4), and the wrist portion 21. It is composed of an end effector 23 that is rotatably and interchangeably attached around a fifth joint shaft 22 (J5).
この場合、エンドエフェクタ２３は、例えば、部品２４（ワーク）の上面を吸着する吸着ノズルや吸着パッド等の吸着具、部品２４の側面を把持するチャックのいずれであっても良く、要は、部品２４を吸着や把持等によって保持できるものであれば良い。
In this case, the end effector 23 may be, for example, a suction tool such as a suction nozzle or a suction pad that sucks the upper surface of the part 24 (work), or a chuck that grips the side surface of the part 24. Anything that can hold 24 by suction, gripping, or the like is sufficient.
ロボット１１の第１～第５の各関節軸１４，１６，１８，２０，２２は、それぞれサーボモータ２５～２９（図４参照）により駆動されるようになっている。図４に示すように、各サーボモータ２５～２９には、それぞれ回転角を検出するエンコーダ３１～３５が設けられ、各エンコーダ３１～３５で検出した回転角の情報がサーボアンプ３６を経由して制御部３７にフィードバックされる。これにより、制御部３７は、各エンコーダ３１～３５で検出した各サーボモータ２５～２９の回転角が各々の目標回転角と一致するようにサーボアンプ３６を介して各サーボモータ２５～２９をフィードバック制御することで、ロボット１１の各アーム１５，１７，１９と手首部２１とエンドエフェクタ２３の位置を各々の目標位置にフィードバック制御する。図４の構成例では、サーボアンプ３６は、複数のサーボモータ２５～２９をフィードバック制御する多軸アンプであるが、サーボモータ２５～２９を１台ずつ別々のサーボアンプでフィードバック制御するようにしても良い。
The first to fifth joint axes 14, 16, 18, 20, and 22 of the robot 11 are driven by servomotors 25 to 29 (see FIG. 4), respectively. As shown in FIG. 4, each servomotor 25 to 29 is provided with encoders 31 to 35 for detecting the rotation angle, and information on the rotation angle detected by the encoders 31 to 35 is transmitted via the servo amplifier 36. It is fed back to the control unit 37. As a result, the control unit 37 feeds back the servomotors 25 to 29 via the servo amplifier 36 so that the rotation angles of the servomotors 25 to 29 detected by the encoders 31 to 35 match the target rotation angles of the servomotors 25 to 29. By controlling, the positions of the arms 15, 17, 19 of the robot 11, the wrist portion 21, and the end effector 23 are feedback-controlled to their respective target positions. In the configuration example of FIG. 4, the servo amplifier 36 is a multi-axis amplifier that feedback-controls a plurality of servomotors 25 to 29, but the servomotors 25 to 29 are feedback-controlled one by one by separate servo amplifiers. Is also good.
図１に示すように、ロボット１１の手首部２１には、エンドエフェクタ２３に保持した部品２４をセットする場所等を画像認識するためのハンドカメラ３９が取り付けられている。
As shown in FIG. 1, a hand camera 39 for recognizing an image of a place where the component 24 held by the end effector 23 is set is attached to the wrist portion 21 of the robot 11.
ロボット１１のアーム可動領域（エンドエフェクタ２３が移動可能な領域）の所定位置には、複数の部品供給装置４１が配列されている。各部品供給装置４１は、投入された多数の部品２４をバラ積み状態に載置する角皿状の部品載置部４２と、この部品載置部４２上のバラ積み状態の部品２４を斜め上方から撮像する３次元カメラであるデプスカメラ４３と、このデプスカメラ４３で撮像した画像を処理してバラ積み状態の部品２４を立体的に認識した情報である３次元認識情報を取得する画像処理部４４（図４参照）とを備えた構成となっている。各部品供給装置４１毎に異なる種類の部品２４を供給するようにしても良いし、２以上の部品供給装置４１で同じ種類の部品２４を供給するようにしても良い。尚、部品供給装置４１は、複数配列する構成に限定されず、１台のみとしても良い。
A plurality of component supply devices 41 are arranged at predetermined positions in the arm movable area (the area where the end effector 23 can move) of the robot 11. In each component supply device 41, a square dish-shaped component mounting portion 42 for mounting a large number of loaded components 24 in a loosely stacked state and a component 24 in a loosely stacked state on the component mounting section 42 are obliquely upward. A depth camera 43, which is a three-dimensional camera that captures images from, and an image processing unit that processes images captured by the depth camera 43 to acquire three-dimensional recognition information, which is information that three-dimensionally recognizes parts 24 in a loosely stacked state. It has a configuration including 44 (see FIG. 4). A different type of component 24 may be supplied to each component supply device 41, or two or more component supply devices 41 may supply the same type of component 24. The component supply device 41 is not limited to the configuration in which a plurality of parts are arranged, and may be only one.
各部品供給装置４１のデプスカメラ４３は、部品載置部４２に固定されたカメラスタンド４５の上端部に取り付けられることで、デプスカメラ４３が部品載置部４２と一体化されている。デプスカメラ４３の位置は、エンドエフェクタ２３が部品載置部４２上の部品２４をピックアップする動作に邪魔にならない位置で、且つ、部品載置部４２全体をデプスカメラ４３の視野内に収めて撮像できる位置となっている。
The depth camera 43 of each component supply device 41 is attached to the upper end of the camera stand 45 fixed to the component mounting portion 42, so that the depth camera 43 is integrated with the component mounting portion 42. The position of the depth camera 43 is a position where the end effector 23 does not interfere with the operation of picking up the component 24 on the component mounting portion 42, and the entire component mounting portion 42 is captured within the field of view of the depth camera 43. It is in a position where it can be done.
各部品供給装置４１の画像処理部４４は、デプスカメラ４３で撮像した画像を処理して取得した３次元認識情報に基づいて部品載置部４２上のバラ積み状態の部品２４の中からロボット１１のエンドエフェクタ２３がピックアップ可能な部品２４を特定して当該ピックアップ可能な部品２４の位置（Ｘ，Ｙ，Ｚ，θX ，θY ，θZ ）を測定する。ここで、θX はＸ軸回りの回転角度、θY はＹ軸回りの回転角度、θZ はＺ軸回りの回転角度である。尚、ロボット１１の種類や作業内容によっては、θX ，θY ，θZ の全てを測定する必要はなく、少なくともＺ軸回りの回転角度θZ を測定すれば良い。
The image processing unit 44 of each component supply device 41 processes the image captured by the depth camera 43, and based on the three-dimensional recognition information acquired, the robot 11 is among the components 24 in the separately stacked state on the component mounting unit 42. The end effector 23 identifies the pickable component 24 and measures the positions (X, Y, Z, θ X , θ Y , θ Z ) of the pickable component 24. Here, θ X is a rotation angle around the X axis, θ Y is a rotation angle around the Y axis, and θ Z is a rotation angle around the Z axis. Depending on the type of robot 11 and the work content, it is not necessary to measure all of θ X , θ Y , and θ Z , and at least the rotation angle θ Z around the Z axis may be measured.
各部品供給装置４１は、画像処理部４４で測定したピックアップ可能な部品２４の位置の情報をロボット１１の制御装置であるロボット制御ユニット５１に有線又は無線通信で送信する通信部４７を備えている。
Each component supply device 41 includes a communication unit 47 that transmits the position information of the pickable component 24 measured by the image processing unit 44 to the robot control unit 51, which is a control device of the robot 11, by wired or wireless communication. ..
各部品供給装置４１の画像処理部４４は、デプスカメラ４３で撮像した画像を処理して取得した３次元認識情報に基づいて部品載置部４２上に残っているバラ積み状態の部品２４の中にピックアップ可能な部品２４が存在しないと判断したときに、その情報を通信部４７からロボット制御ユニット５１に送信する。
The image processing unit 44 of each component supply device 41 is among the components 24 in a loosely stacked state remaining on the component mounting unit 42 based on the three-dimensional recognition information acquired by processing the image captured by the depth camera 43. When it is determined that the component 24 that can be picked up does not exist, the information is transmitted from the communication unit 47 to the robot control unit 51.
また、各部品供給装置４１は、画像処理部４４で測定したピックアップ可能な部品２４の位置の情報を２次元コード等でコード化して表示する液晶表示パネル等の表示部４８を備えた構成となっている。画像処理部４４が部品載置部４２上に残っているバラ積み状態の部品２４の中にピックアップ可能な部品２４が存在しないと判断したときには、その情報を表示部４８に表示する。
Further, each component supply device 41 is configured to include a display unit 48 such as a liquid crystal display panel that encodes and displays the position information of the pickable component 24 measured by the image processing unit 44 with a two-dimensional code or the like. ing. When the image processing unit 44 determines that there is no pickable component 24 among the loosely stacked components 24 remaining on the component mounting section 42, the information is displayed on the display unit 48.
本実施例では、部品供給装置４１の通信部４７から情報をロボット制御ユニット５１に送信する通信モードと、表示部４８に表示した情報をロボット１１のハンドカメラ３９によって読み取らせる情報表示モードとを切り替えて使用するようになっている。通信モードで運用する場合には、表示部４８に情報を表示する必要はない。各部品供給装置４１には、通信モードと情報表示モードとを手動操作で切り替えるモード切替スイッチ（図示せず）を設けても良い。或は、部品供給装置４１の通信部４７とロボット制御ユニット５１との間で通信が成立するか否かで、通信モードと情報表示モードとを自動的に切り替えるようにしても良い。
In this embodiment, the communication mode in which information is transmitted from the communication unit 47 of the parts supply device 41 to the robot control unit 51 and the information display mode in which the information displayed on the display unit 48 is read by the hand camera 39 of the robot 11 are switched. It is designed to be used. When operating in the communication mode, it is not necessary to display the information on the display unit 48. Each component supply device 41 may be provided with a mode changeover switch (not shown) for manually switching between the communication mode and the information display mode. Alternatively, the communication mode and the information display mode may be automatically switched depending on whether or not communication is established between the communication unit 47 of the component supply device 41 and the robot control unit 51.
各部品供給装置４１の部品載置部４２の上面のうちのデプスカメラ４３の視野内に収まる複数の所定位置（例えば部品載置部４２の上面の４隅部）には、それぞれデプスカメラ４３の温度変化等による位置測定値のずれを補正するための基準マーク４６が設けられている。各基準マーク４６の形状は、例えば、円形、十字形、正方形等のいずれの形状であっても良く、要は、デプスカメラ４３の撮像画像から各基準マーク４６の中心位置を認識しやすい形状であれば良い。
At a plurality of predetermined positions (for example, four corners of the upper surface of the component mounting portion 42) within the field of view of the depth camera 43 on the upper surface of the component mounting portion 42 of each component supplying device 41, the depth camera 43 is provided. A reference mark 46 is provided for correcting the deviation of the position measured value due to a temperature change or the like. The shape of each reference mark 46 may be any shape such as a circle, a cross shape, or a square, and the point is that the center position of each reference mark 46 can be easily recognized from the image captured by the depth camera 43. All you need is.
各部品供給装置４１の画像処理部４４は、デプスカメラ４３で撮像した画像を処理して複数の基準マーク４６の位置を測定し、複数の基準マーク４６の位置を基準にしてピックアップ可能な部品２４の位置測定値のずれを補正する。これにより、デプスカメラ４３の温度変化等によるピックアップ可能な部品２４の位置測定値のずれを補正する。
The image processing unit 44 of each component supply device 41 processes the image captured by the depth camera 43 to measure the positions of the plurality of reference marks 46, and the component 24 that can be picked up with reference to the positions of the plurality of reference marks 46. Correct the deviation of the position measurement value of. As a result, the deviation of the position measurement value of the pickable component 24 due to the temperature change of the depth camera 43 or the like is corrected.
画像処理部４４がバラ積み状態の部品２４を立体的に認識する際に用いる画像認識用の３次元部品データは、事前に当該部品２４の外観形状を描画するためのＣＡＤデータに基づいて作成して、画像処理部４４のメモリ（図示せず）に登録するようにしても良い。
The three-dimensional component data for image recognition used when the image processing unit 44 three-dimensionally recognizes the components 24 in a loosely stacked state is created in advance based on the CAD data for drawing the external shape of the component 24. It may be registered in the memory (not shown) of the image processing unit 44.
或は、事前に供給対象の部品２４と外観形状が同じサンプル部品を部品載置部４２に載置してデプスカメラ４３で撮像した画像を画像処理部４４で処理することで画像認識用の３次元部品データを作成して画像処理部４４のメモリに登録するようにしても良い。この場合、部品供給装置４１に登録ボタン（図示せず）を設けて、作業者がサンプル部品を部品載置部４２に載置して登録ボタンを操作するだけで、画像認識用の３次元部品データを自動的に作成して登録するようにしても良い。
Alternatively, a sample component having the same appearance and shape as the component 24 to be supplied is placed on the component mounting section 42 in advance, and the image captured by the depth camera 43 is processed by the image processing section 44 to be used for image recognition. Dimensional component data may be created and registered in the memory of the image processing unit 44. In this case, a registration button (not shown) is provided on the component supply device 41, and the operator simply places the sample component on the component mounting section 42 and operates the registration button, and the three-dimensional component for image recognition. Data may be automatically created and registered.
本実施例では、各部品供給装置４１は、部品載置部４２に投入する部品２４を一時的に貯蔵するタンク部４９と、このタンク部４９から部品載置部４２上に部品２４を投入するシュート部５０とを備え、画像処理部４４の処理結果に基づいて部品載置部４２上の部品２４の残数が所定数以下又は０になる毎にタンク部４９内の部品２４の一部をシュート部５０によって部品載置部４２へ投入するように構成されている。更に、タンク部４９内の部品２４の残数が所定数以下又は０になったときにそれを検出するセンサ（図示せず）が設けられ、このセンサでタンク部４９内の部品２４の残数が所定数以下又は０になったことを検出したときに、それを例えばＬＥＤ等の発光素子の点灯や表示部４８等の表示及び／又は音声や警報音等で作業者に知らせて、タンク部４９内に部品２４を補給するように促すようにしている。
In the present embodiment, each component supply device 41 temporarily stores the component 24 to be loaded into the component mounting section 42, and the component 24 is loaded from the tank section 49 onto the component mounting section 42. A part of the parts 24 in the tank part 49 is provided every time the remaining number of the parts 24 on the part mounting part 42 becomes less than or equal to a predetermined number or becomes 0 based on the processing result of the image processing part 44. The chute portion 50 is configured to be charged into the component mounting portion 42. Further, a sensor (not shown) for detecting when the remaining number of the parts 24 in the tank portion 49 becomes less than or equal to a predetermined number or becomes 0 is provided, and the remaining number of the parts 24 in the tank portion 49 is provided by this sensor. When it is detected that the number is less than or equal to a predetermined number or becomes 0, the operator is notified by, for example, lighting of a light emitting element such as an LED, display of a display unit 48, and / or a voice or an alarm sound, and the tank unit. I am trying to encourage the parts 24 to be replenished within 49.
尚、タンク部４９とシュート部５０は、ユーザが必要に応じて追加可能なオプション装備であり、タンク部４９とシュート部５０を設けずに、作業者が手作業で部品載置部４２に部品２４を投入するようにしても良い。
The tank section 49 and the chute section 50 are optional equipment that can be added by the user as needed, and the operator manually attaches the parts to the component mounting section 42 without providing the tank section 49 and the chute section 50. 24 may be input.
一方、ロボット１１の動作を制御するロボット制御ユニット５１は、図４に示すように、画像処理部３８、制御部３７及びサーボアンプ３６等を備えた構成となっている。このロボット制御ユニット５１の制御部３７は、ロボット１１の各アーム１５，１７，１９と手首部２１を動作させて、各部品供給装置４１の部品載置部４２上にバラ積みされた部品２４を１個ずつピックアップして所定の場所にセットする作業を行う。
On the other hand, as shown in FIG. 4, the robot control unit 51 that controls the operation of the robot 11 is configured to include an image processing unit 38, a control unit 37, a servo amplifier 36, and the like. The control unit 37 of the robot control unit 51 operates the arms 15, 17, 19 and the wrist portion 21 of the robot 11 to form the parts 24 separately stacked on the component mounting portion 42 of each component supply device 41. The work of picking up one by one and setting it in a predetermined place is performed.
この際、各部品供給装置４１の通信部４７から情報をロボット制御ユニット５１に送信する通信モードで運用する場合には、ロボット制御ユニット５１の制御部３７は、各部品供給装置４１の通信部４７から送信されてくるピックアップ可能な部品２４の位置の情報を受信し、その受信情報に基づいてロボット１１のアーム動作を制御して各部品供給装置４１の部品載置部４２上にバラ積みされた部品２４を１個ずつピックアップして所定の場所にセットする作業を行う。
At this time, when operating in the communication mode in which information is transmitted from the communication unit 47 of each parts supply device 41 to the robot control unit 51, the control unit 37 of the robot control unit 51 is the communication unit 47 of each parts supply device 41. The information on the position of the pickable parts 24 transmitted from the robot 11 is received, and the arm operation of the robot 11 is controlled based on the received information, and the robots are stacked separately on the parts mounting portion 42 of each parts supply device 41. The work of picking up the parts 24 one by one and setting them in a predetermined place is performed.
また、ロボット制御ユニット５１の制御部３７は、いずれかの部品供給装置４１の通信部４７から、部品載置部４２上に残っているバラ積み状態の部品２４の中にピックアップ可能な部品２４が存在しないという情報を受信したときに、当該部品載置部４２上に残っているバラ積み状態の部品２４をばらす動作をロボット１１に行わせる。このバラ積み状態の部品２４をばらす動作は、エンドエフェクタ２３にばらし動作用のツール（図示せず）を保持させて、このツールでバラ積み状態の部品２４をばらす動作を行うようにしても良いし、或は、エンドエフェクタ２３の先端部でバラ積み状態の部品２４をばらす動作を行うようにしても良い。
Further, in the control unit 37 of the robot control unit 51, the parts 24 that can be picked up from the communication unit 47 of any of the parts supply devices 41 are included in the parts 24 in the loosely stacked state remaining on the parts mounting unit 42. When the information that it does not exist is received, the robot 11 is made to perform an operation of disassembling the parts 24 in the loosely stacked state remaining on the part mounting portion 42. In the operation of disassembling the parts 24 in the loosely stacked state, the end effector 23 may hold a tool (not shown) for the disassembling operation, and the tool may be used to disassemble the parts 24 in the loosely stacked state. Alternatively, the tip portion of the end effector 23 may be used to disassemble the parts 24 in a loosely stacked state.
一方、各部品供給装置４１の表示部４８に表示した情報をロボット１１のハンドカメラ３９によって読み取らせる情報表示モードで運用する場合には、ロボット制御ユニット５１の制御部３７は、各部品供給装置４１の表示部４８に表示されたピックアップ可能な部品の位置の情報をハンドカメラ３９で撮像し、その画像を画像処理部３８で処理することでピックアップ可能な部品２４の位置の情報を読み取り、その読み取り情報に基づいてロボット１１のアーム動作を制御して各部品供給装置４１の部品載置部４２上にバラ積みされた部品２４を１個ずつピックアップして所定の場所にセットする作業を行う。
On the other hand, when operating in the information display mode in which the information displayed on the display unit 48 of each component supply device 41 is read by the hand camera 39 of the robot 11, the control unit 37 of the robot control unit 51 is operated by each component supply device 41. The information on the positions of the pickable parts displayed on the display unit 48 of the above is captured by the hand camera 39, and the image is processed by the image processing unit 38 to read the information on the positions of the pickable parts 24 and read the information. Based on the information, the arm operation of the robot 11 is controlled to pick up the parts 24 separately stacked on the parts mounting portion 42 of each parts supply device 41 and set them in a predetermined place.
また、ロボット制御ユニット５１の制御部３７は、各部品供給装置４１の表示部４８に表示された情報をハンドカメラ３９で撮像し、その画像を画像処理部３８で処理することで、部品載置部４２上に残っているバラ積み状態の部品２４の中にピックアップ可能な部品２４が存在しないという情報を読み取ったときに、当該部品載置部４２上に残っているバラ積み状態の部品２４をばらす動作をロボット１１に行わせる。
Further, the control unit 37 of the robot control unit 51 captures the information displayed on the display unit 48 of each component supply device 41 with the hand camera 39, and processes the image with the image processing unit 38 to mount the components. When the information that the pickable part 24 does not exist among the parts 24 in the loosely stacked state remaining on the part 42 is read, the parts 24 in the loosely stacked state remaining on the part mounting part 42 are used. Let the robot 11 perform the disassembling operation.
以上説明した本実施例では、部品供給装置４１にデプスカメラ４３が設けられているため、ユーザ側でも部品供給装置４１の部品載置部４２とデプスカメラ４３との位置関係がメーカ製造時と同じ状態に維持される。このため、部品供給装置４１をメーカからユーザに出荷する前に、メーカ側で部品供給装置４１の部品載置部４２とデプスカメラ４３との位置関係をキャリブレーションして、そのキャリブレーションのデータを部品供給装置４１のメモリに登録しておけば、ユーザ側でキャリブレーションをやり直す必要がなくなり、ユーザのセットアップ工数を削減して、セットアップ作業の時間を大幅に削減することができる。
In the present embodiment described above, since the depth camera 43 is provided in the component supply device 41, the positional relationship between the component mounting portion 42 of the component supply device 41 and the depth camera 43 is the same as that at the time of manufacturing by the manufacturer. It is maintained in a state. Therefore, before the component supply device 41 is shipped from the manufacturer to the user, the manufacturer calibrates the positional relationship between the component mounting portion 42 of the component supply device 41 and the depth camera 43, and obtains the calibration data. By registering in the memory of the component supply device 41, it is not necessary for the user to redo the calibration, the man-hours for the user to set up can be reduced, and the time required for the setup work can be significantly reduced.
尚、本実施例では、デプスカメラ４３で撮像した画像から取得した３次元認識情報に基づいて部品載置部４２上のバラ積み状態の部品２４の中からロボット１１がピックアップ可能な部品２４を特定して当該ピックアップ可能な部品２４の位置を測定する機能を部品供給装置４１に持たせるようにしたが、この機能をロボット制御ユニット５１に持たせるようにしても良い。この場合、ロボット制御ユニット５１の制御部３７は、部品供給装置４１の通信部４７から送信されてくる３次元認識情報に基づいて部品載置部４２上のバラ積み状態の部品２４の中からピックアップ可能な部品２４を特定して当該ピックアップ可能な部品２４の位置を測定し、その測定結果に基づいてロボット１１のアーム動作を制御して部品載置部４２上にバラ積みされた部品２４を１個ずつピックアップして所定の場所にセットする作業を行うようにすれば良い。
In this embodiment, the parts 24 that can be picked up by the robot 11 are specified from the parts 24 in the separately stacked state on the part mounting portion 42 based on the three-dimensional recognition information acquired from the image captured by the depth camera 43. Therefore, the component supply device 41 is provided with a function of measuring the position of the pickable component 24, but the robot control unit 51 may be provided with this function. In this case, the control unit 37 of the robot control unit 51 picks up from the parts 24 in the loosely stacked state on the component mounting unit 42 based on the three-dimensional recognition information transmitted from the communication unit 47 of the component supply device 41. A possible component 24 is specified, the position of the pickable component 24 is measured, and the arm operation of the robot 11 is controlled based on the measurement result, and the component 24 separately stacked on the component mounting portion 42 is set to 1. The work of picking up the pieces one by one and setting them in a predetermined place may be performed.
尚、本発明は、上述した実施例に限定されず、例えば、表示部４８と通信部４７のどちらか一方を省略した構成としたり、デプスカメラ４３や表示部４８の位置を変更したり、部品供給装置４１の構成や設置台数を変更したり、ロボット１１の構成を変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは勿論である。
The present invention is not limited to the above-described embodiment, and for example, one of the display unit 48 and the communication unit 47 may be omitted, the positions of the depth camera 43 and the display unit 48 may be changed, and the components may be changed. It goes without saying that various changes can be made within a range that does not deviate from the gist, such as changing the configuration and the number of installed units of the supply device 41 and changing the configuration of the robot 11.
１１…ロボット、１４…第１関節軸、１５…第１アーム、１６…第２関節軸、１７…第２アーム、１８…第３関節軸、１９…第３アーム、２０…第４関節軸、２１…手首部（アーム先端）、２２…第５関節軸、２３…エンドエフェクタ、２４…ワーク、２５～２９…サーボモータ、３１～３５…エンコーダ、３６…サーボアンプ、３７…制御部、３８…画像処理部、３９…ハンドカメラ、４１…部品供給装置、４２…部品載置部、４３…デプスカメラ（３次元カメラ）、４４…画像処理部、４５…カメラスタンド、４６…基準マーク、４７…通信部、４８…表示部、４９…タンク部、５０…シュート部、５１…ロボット制御ユニット（制御装置）
11 ... Robot, 14 ... 1st joint axis, 15 ... 1st arm, 16 ... 2nd joint axis, 17 ... 2nd arm, 18 ... 3rd joint axis, 19 ... 3rd arm, 20 ... 4th joint axis, 21 ... wrist (arm tip), 22 ... 5th joint axis, 23 ... end effector, 24 ... work, 25-29 ... servo motor, 31-35 ... encoder, 36 ... servo amplifier, 37 ... control unit, 38 ... Image processing unit, 39 ... Hand camera, 41 ... Parts supply device, 42 ... Parts mounting unit, 43 ... Depth camera (three-dimensional camera), 44 ... Image processing unit, 45 ... Camera stand, 46 ... Reference mark, 47 ... Communication unit, 48 ... Display unit, 49 ... Tank unit, 50 ... Shoot unit, 51 ... Robot control unit (control device)
Claims (14)
- 投入された複数の部品をバラ積み状態に載置する部品載置部と、
前記部品載置部上のバラ積み状態の部品を撮像する３次元カメラと、
前記３次元カメラで撮像した画像を処理してバラ積み状態の部品を立体的に認識した情報である３次元認識情報を取得する画像処理部と
を備える、部品供給装置。 A parts mounting unit that mounts multiple loaded parts in a separately stacked state,
A three-dimensional camera that captures images of parts stacked separately on the component mounting unit,
A parts supply device including an image processing unit that processes an image captured by the three-dimensional camera and acquires three-dimensional recognition information which is information that three-dimensionally recognizes parts in a separately stacked state. - 前記画像処理部は、取得した３次元認識情報に基づいて前記部品載置部上のバラ積み状態の部品の中からロボットがピックアップ可能な部品を特定して当該ピックアップ可能な部品の位置を測定し、
前記画像処理部で測定したピックアップ可能な部品の位置の情報を前記ロボットの制御装置に送信する通信部を備える、請求項１に記載の部品供給装置。 Based on the acquired three-dimensional recognition information, the image processing unit identifies parts that can be picked up by the robot from among the parts that are stacked separately on the parts mounting unit, and measures the positions of the parts that can be picked up. ,
The component supply device according to claim 1, further comprising a communication unit that transmits information on the positions of pickable parts measured by the image processing unit to the control device of the robot. - 前記画像処理部は、取得した３次元認識情報に基づいて前記部品載置部上に残っているバラ積み状態の部品の中にピックアップ可能な部品が存在しないと判断したときに、その情報を前記通信部から前記ロボットの制御装置に送信する、請求項２に記載の部品供給装置。 When the image processing unit determines based on the acquired three-dimensional recognition information that there are no parts that can be picked up among the parts in the loosely stacked state remaining on the parts mounting unit, the information is used. The parts supply device according to claim 2, which is transmitted from the communication unit to the control device of the robot.
- 前記画像処理部は、取得した３次元認識情報に基づいてロボットがピックアップ可能な部品の位置を測定し、
前記画像処理部で測定したピックアップ可能な部品の位置の情報を表示する表示部を備える、請求項１に記載の部品供給装置。 The image processing unit measures the positions of parts that can be picked up by the robot based on the acquired three-dimensional recognition information, and then
The component supply device according to claim 1, further comprising a display unit that displays information on the positions of pickable components measured by the image processing unit. - 前記画像処理部は、取得した３次元認識情報に基づいて前記部品載置部上に残っているバラ積み状態の部品の中にピックアップ可能な部品が存在しないと判定したときに、その情報を前記表示部に表示する、請求項４に記載の部品供給装置。 When the image processing unit determines based on the acquired three-dimensional recognition information that there are no parts that can be picked up among the parts in the loosely stacked state remaining on the part mounting unit, the information is used. The component supply device according to claim 4, which is displayed on the display unit.
- 前記３次元カメラの視野内に収まる複数の所定位置に設けられた複数の基準マークを備え、
前記画像処理部は、前記３次元カメラで撮像した画像を処理して前記複数の基準マークの位置を測定し、前記複数の基準マークの位置を基準にしてピックアップ可能な部品の位置測定値のずれを補正する、請求項２乃至５のいずれかに記載の部品供給装置。 It is provided with a plurality of reference marks provided at a plurality of predetermined positions within the field of view of the three-dimensional camera.
The image processing unit processes the image captured by the three-dimensional camera, measures the positions of the plurality of reference marks, and shifts the position measurement values of the parts that can be picked up with reference to the positions of the plurality of reference marks. The component supply device according to any one of claims 2 to 5, wherein the component supply device according to any one of claims 2 to 5. - 前記画像処理部がバラ積み状態の部品を立体的に認識する際に用いる３次元部品データは、事前に当該部品の外観形状を描画するためのＣＡＤデータに基づいて作成され、前記画像処理部のメモリに登録されている、請求項１乃至６のいずれかに記載の部品供給装置。 The three-dimensional part data used when the image processing unit three-dimensionally recognizes the parts in a loosely stacked state is created in advance based on the CAD data for drawing the appearance shape of the parts, and is created in advance by the image processing unit. The component supply device according to any one of claims 1 to 6, which is registered in a memory.
- 前記画像処理部がバラ積み状態の部品を立体的に認識する際に用いる３次元部品データは、事前に当該部品と外観形状が同じサンプル部品を前記部品載置部に載置して前記３次元カメラで撮像した画像を前記画像処理部で処理することで作成され、前記画像処理部のメモリに登録されている、請求項１乃至６のいずれかに記載の部品供給装置。 The three-dimensional part data used when the image processing unit three-dimensionally recognizes the parts in a loosely stacked state is the three-dimensional part data in which a sample part having the same appearance shape as the part is placed on the part mounting part in advance. The component supply device according to any one of claims 1 to 6, which is created by processing an image captured by a camera by the image processing unit and registered in the memory of the image processing unit.
- 前記部品載置部に投入する部品を一時的に貯蔵するタンク部を備え、
前記画像処理部の処理結果に基づいて前記部品載置部上の部品残数が所定数以下又は０になる毎に前記タンク部内の部品の一部を前記部品載置部へ投入するように構成されている、請求項１乃至８のいずれかに記載の部品供給装置。 A tank section for temporarily storing parts to be put into the component mounting section is provided.
Based on the processing result of the image processing unit, every time the remaining number of parts on the component mounting unit becomes equal to or less than a predetermined number or becomes 0, a part of the parts in the tank unit is charged into the component mounting unit. The component supply device according to any one of claims 1 to 8. - 請求項１に記載の部品供給装置と、
前記部品載置部上にバラ積みされた部品を１個ずつピックアップして所定の場所にセットする作業を行うロボットと
を備える、自動組立システムにおいて、
前記ロボットの制御装置は、前記部品供給装置の前記画像処理部から取得した前記３次元認識情報に基づいて前記部品載置部上のバラ積み状態の部品の中からピックアップ可能な部品を特定して当該ピックアップ可能な部品の位置を測定し、その測定結果に基づいて前記ロボットのアーム動作を制御して前記部品載置部上にバラ積みされた部品を１個ずつピックアップする、自動組立システム。 The parts supply device according to claim 1 and
In an automatic assembly system including a robot that picks up parts stacked separately on the parts mounting part one by one and sets them in a predetermined place.
The control device of the robot identifies a part that can be picked up from the parts in a loosely stacked state on the part mounting part based on the three-dimensional recognition information acquired from the image processing unit of the part supply device. An automatic assembly system that measures the positions of the parts that can be picked up, controls the arm movement of the robot based on the measurement results, and picks up the parts that are stacked separately on the parts mounting portion. - 請求項２に記載の部品供給装置と、
前記部品載置部上にバラ積みされた部品を１個ずつピックアップして所定の場所にセットする作業を行うロボットと
を備える、自動組立システムにおいて、
前記ロボットの制御装置は、前記部品供給装置の前記通信部から送信されてくるピックアップ可能な部品の位置の情報を受信し、その受信情報に基づいて前記ロボットのアーム動作を制御して前記部品載置部上にバラ積みされた部品を１個ずつピックアップする、自動組立システム。 The parts supply device according to claim 2 and
In an automatic assembly system including a robot that picks up parts stacked separately on the parts mounting part one by one and sets them in a predetermined place.
The robot control device receives information on the position of a pickable component transmitted from the communication unit of the component supply device, and controls the arm operation of the robot based on the received information to mount the component. An automatic assembly system that picks up parts stacked separately on the placement part one by one. - 請求項３に記載の部品供給装置と、
前記部品載置部上にバラ積みされた部品を１個ずつピックアップして所定の場所にセットする作業を行うロボットと
を備える、自動組立システムにおいて、
前記ロボットの制御装置は、前記部品供給装置の前記通信部から、前記部品載置部上に残っているバラ積み状態の部品の中にピックアップ可能な部品が存在しないという情報を受信したときに、前記部品載置部上に残っているバラ積み状態の部品をばらす動作を前記ロボットに行わせる、自動組立システム。 The parts supply device according to claim 3 and
In an automatic assembly system including a robot that picks up parts stacked separately on the parts mounting part one by one and sets them in a predetermined place.
When the robot control device receives information from the communication unit of the parts supply device that there are no pickable parts among the loosely stacked parts remaining on the parts mounting unit, the robot control device receives information. An automatic assembly system that allows the robot to perform an operation of disassembling the parts in a loosely stacked state remaining on the part mounting portion. - 請求項４に記載の部品供給装置と、
前記部品載置部上にバラ積みされた部品を１個ずつピックアップして所定の場所にセットする作業を行うロボットと
を備える、自動組立システムにおいて、
前記ロボットのアームに取り付けられたカメラを備え、
前記ロボットの制御装置は、前記部品供給装置の前記表示部に表示されたピックアップ可能な部品の位置の情報を前記カメラで撮像し、その画像を処理することでピックアップ可能な部品の位置の情報を読み取り、その読み取り情報に基づいて前記ロボットのアーム動作を制御して前記部品載置部上にバラ積みされた部品を１個ずつピックアップする、自動組立システム。 The parts supply device according to claim 4 and
In an automatic assembly system including a robot that picks up parts stacked separately on the parts mounting part one by one and sets them in a predetermined place.
Equipped with a camera attached to the arm of the robot
The robot control device captures information on the positions of pickable parts displayed on the display unit of the parts supply device with the camera, and processes the images to obtain information on the positions of pickable parts. An automatic assembly system that reads and controls the arm movement of the robot based on the read information to pick up the parts stacked separately on the parts mounting portion one by one. - 請求項５に記載の部品供給装置と、
前記部品載置部上にバラ積みされた部品を１個ずつピックアップして所定の場所にセットする作業を行うロボットと
を備える、自動組立システムにおいて、
前記ロボットのアームに取り付けられたカメラを備え、
前記ロボットの制御装置は、前記部品供給装置の前記表示部に表示された情報を前記カメラで撮像し、その画像を処理することで、前記部品載置部上に残っているバラ積み状態の部品の中にピックアップ可能な部品が存在しないという情報を読み取ったときに、前記部品載置部上に残っているバラ積み状態の部品をばらす動作を前記ロボットに行わせる、自動組立システム。 The parts supply device according to claim 5 and
In an automatic assembly system including a robot that picks up parts stacked separately on the parts mounting part one by one and sets them in a predetermined place.
Equipped with a camera attached to the arm of the robot
The robot control device captures the information displayed on the display unit of the component supply device with the camera and processes the image, so that the parts in a loosely stacked state remaining on the component mounting unit An automatic assembly system that causes the robot to perform an operation of disassembling the parts in a loosely stacked state remaining on the parts mounting portion when reading information that there are no parts that can be picked up in the robot.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021534452A JP7341238B2 (en) | 2019-07-23 | 2019-07-23 | automatic assembly system |
| PCT/JP2019/028834 WO2021014563A1 (en) | 2019-07-23 | 2019-07-23 | Component supply device and automatic assembly system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/028834 WO2021014563A1 (en) | 2019-07-23 | 2019-07-23 | Component supply device and automatic assembly system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021014563A1 true WO2021014563A1 (en) | 2021-01-28 |
Family
ID=74193140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/028834 WO2021014563A1 (en) | 2019-07-23 | 2019-07-23 | Component supply device and automatic assembly system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7341238B2 (en) |
| WO (1) | WO2021014563A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011093058A (en) * | 2009-10-30 | 2011-05-12 | Fuji Electric Holdings Co Ltd | Target object holding area extraction apparatus and robot system using the same |
| JP2013082054A (en) * | 2011-09-30 | 2013-05-09 | Fuji Electric Co Ltd | Picking system |
| JP2015197312A (en) * | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | Information processing device, method for controlling information processing device, holding system, and program |
| WO2017130286A1 (en) * | 2016-01-26 | 2017-08-03 | 富士機械製造株式会社 | Job creation device, work system and work robot control device |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014176923A (en) * | 2013-03-14 | 2014-09-25 | Yaskawa Electric Corp | Robot system and method for manufacturing workpiece |
| JP6224476B2 (en) * | 2014-02-07 | 2017-11-01 | ローランドディー．ジー．株式会社 | Printing apparatus and printing method |
| JP2019125056A (en) * | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | Information processing system, information processing apparatus, information processing method and program |
-
2019
- 2019-07-23 JP JP2021534452A patent/JP7341238B2/en active Active
- 2019-07-23 WO PCT/JP2019/028834 patent/WO2021014563A1/en active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011093058A (en) * | 2009-10-30 | 2011-05-12 | Fuji Electric Holdings Co Ltd | Target object holding area extraction apparatus and robot system using the same |
| JP2013082054A (en) * | 2011-09-30 | 2013-05-09 | Fuji Electric Co Ltd | Picking system |
| JP2015197312A (en) * | 2014-03-31 | 2015-11-09 | キヤノン株式会社 | Information processing device, method for controlling information processing device, holding system, and program |
| WO2017130286A1 (en) * | 2016-01-26 | 2017-08-03 | 富士機械製造株式会社 | Job creation device, work system and work robot control device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7341238B2 (en) | 2023-09-08 |
| JPWO2021014563A1 (en) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6415190B2 (en) | ROBOT DEVICE, ROBOT CONTROL PROGRAM, RECORDING MEDIUM, AND ROBOT DEVICE CONTROL METHOD | |
| JP6826532B2 (en) | Remote control robot system | |
| EP2547490B1 (en) | Calibration of a base coordinate system for an industrial robot | |
| US9156160B2 (en) | Robot system, calibration method, and method for producing to-be-processed material | |
| US20140114459A1 (en) | Robot system and processed product producing method | |
| US9002516B2 (en) | Calibration method for tool center point of a robot manipulator | |
| CN109996653B (en) | Working position correction method and working robot | |
| JP7153085B2 (en) | ROBOT CALIBRATION SYSTEM AND ROBOT CALIBRATION METHOD | |
| US10331728B2 (en) | System and method of robot calibration using image data | |
| JP6611888B2 (en) | Robot device, control method of robot device, program, and recording medium | |
| JP6860843B2 (en) | Robot system, robot control device, and robot control method | |
| CN103003024A (en) | Assembling apparatus and production system | |
| JP2013063474A (en) | Robot system and imaging method | |
| JP5370774B2 (en) | Tray transfer apparatus and method | |
| US11173608B2 (en) | Work robot and work position correction method | |
| JP2006297559A (en) | Calibration system and robot's calibration method | |
| JP2020116717A (en) | Robot control system | |
| WO2021014563A1 (en) | Component supply device and automatic assembly system | |
| WO2016186061A1 (en) | Robot system and robot device | |
| WO2020121399A1 (en) | Robot control system and robot control method | |
| JP2022122648A (en) | Control device | |
| CN113905859B (en) | Robot control system and robot control method | |
| JP2021045813A (en) | Control device for cargo handling gear, and cargo handling gear | |
| JP2019141921A (en) | Correction value calculation method for industrial robot | |
| WO2024047808A1 (en) | Device and method for setting conveyance device coordinate system to robot coordinate system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19938306 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2021534452 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19938306 Country of ref document: EP Kind code of ref document: A1 |