WO2020057440A1 - 一种装配方法、装配装置及装配设备 - Google Patents

一种装配方法、装配装置及装配设备 Download PDF

Info

Publication number
WO2020057440A1
WO2020057440A1 PCT/CN2019/105700 CN2019105700W WO2020057440A1 WO 2020057440 A1 WO2020057440 A1 WO 2020057440A1 CN 2019105700 W CN2019105700 W CN 2019105700W WO 2020057440 A1 WO2020057440 A1 WO 2020057440A1
Authority
WO
WIPO (PCT)
Prior art keywords
assembly
instruction
image
model
assembled
Prior art date
Application number
PCT/CN2019/105700
Other languages
English (en)
French (fr)
Inventor
何德裕
朱文飞
何国斌
Original Assignee
鲁班嫡系机器人（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鲁班嫡系机器人（深圳）有限公司 filed Critical 鲁班嫡系机器人（深圳）有限公司
Publication of WO2020057440A1 publication Critical patent/WO2020057440A1/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Definitions

  • the present application relates to the field of automation technology, and in particular, to an assembly method, an assembly device, and an assembly device.
  • One of the objectives of the embodiments of the present application is to provide an assembling method, an assembling device, and an assembling equipment, which aim to solve the problems of low work efficiency and accuracy of assembling.
  • an assembly method includes:
  • a first model trained in advance Based on the acquired first image or first pose of the assembly and the assembly to be assembled, and combined with the obtained assembly-related parameter information, a first model trained in advance generates a first instruction directed to the robot, through The instruction controls the robot to move to the vicinity of the parts to be assembled, grab the parts to be installed, drive the parts to be installed near the assembly position of the parts, and drive the parts to be assembled to the parts An assembly position; wherein the first pose is a pose of the assembly part and the part to be assembled based on the first image.
  • an assembly method includes:
  • the second instruction is generated through a pre-trained second model; and / or,
  • the third instruction is generated through a pre-trained third model.
  • an assembly method includes:
  • [0015] generating a fourth instruction based on the acquired second image or second posture of the accessory to be assembled, and controlling the robot to move to the vicinity of the assembly by the fourth instruction; wherein the second posture is based on The posture of the accessory to be assembled obtained by the second image;
  • a fifth instruction is generated based on the acquired fourth image or fourth pose of the to-be-assembled component after the robot moves to the vicinity of the assembly, and the acquired assembly-related parameter information is used to control by the fifth instruction.
  • a robotic arm grasps the assembly; wherein the fourth posture is a posture of the assembly to be assembled after the robotic arm obtained based on the fourth image moves to the vicinity of the assembly;
  • [0017] generating a sixth instruction based on the obtained third image or third pose of the assembly position on the assembly, and controlling the robot to move the assembly near the position to be assembled by using the sixth instruction;
  • the third pose is a pose of an assembly position on the assembly obtained based on the third image;
  • a seventh instruction is generated based on the fifth image or fifth pose of the assembly position on the assembly after the robot moves the assembly to the vicinity of the to-be-assembled position based on the acquired robotic arm, and combined with the acquired parameter information of the assembly, to generate a seventh instruction, by The seventh instruction controls the manipulator to drive the assembly to be assembled to the assembly position; wherein the fifth pose is that the manipulator obtained based on the fifth image moves the assembly to the desired position.
  • the posture of the assembly position on the assembly after the position to be assembled is described;
  • the fifth instruction is generated through a pre-trained fourth model; and / or,
  • the sixth instruction is generated through a pre-trained fifth model; and / or,
  • the seventh instruction is generated through a pre-trained sixth model; and / or,
  • the eighth instruction is generated through a seventh model that is previously trained.
  • an assembly device includes a first instruction generation module
  • the first instruction generating module is configured to generate a first model trained in advance based on the obtained first image or first pose of the assembly and the assembly to be combined with the acquired assembly-related parameter information.
  • the accessory to be assembled is assembled to the assembly position; wherein the first pose is a pose of the assembly and the accessory to be obtained based on the first image; or,
  • the assembly device includes a second instruction generation module and a third instruction generation module
  • the second instruction generating module is configured to generate a second instruction based on the obtained second image or the second pose of the to-be-assembled component and the obtained assembly-related parameter information, and control by the second instruction
  • the robot moves to the vicinity of the parts to be assembled and grabs the parts to be assembled; wherein the second pose is the pose of the parts to be assembled obtained based on the second image;
  • the third instruction generating module is configured to generate a third instruction based on the acquired third image or third pose of the assembly position of the assembly, in combination with the obtained parameter information about the assembly, and use the third instruction Drive the to-be-installed accessory to move to the vicinity of the assembly position of the assembly, and drive the to-be-installed accessory to be assembled to the assembly position; wherein the third pose is the assembly obtained based on the third image Posture of accessories;
  • the second instruction generation module is a pre-trained second model; and / or the third instruction generation module is a pre-trained third model; or,
  • the assembly device includes a fourth instruction generation module, a fifth instruction generation module, a sixth instruction generation module, and a seventh instruction generation module;
  • the fourth instruction generating module is configured to generate a fourth instruction based on the obtained second image or the second pose of the accessory to be assembled, and control the robot to move to the vicinity of the assembly by using the fourth instruction;
  • the second pose is a pose of the accessory to be assembled based on the second image;
  • the fifth instruction generating module is configured to generate a first image based on the acquired fourth image or fourth pose of the assembly to be assembled after the robot moves to the vicinity of the assembly, in combination with the acquired parameter information about the assembly.
  • the sixth instruction generating module is configured to generate a sixth instruction based on the acquired third image or third pose of the assembly position on the assembly, and control the robot to drive the assembly by using the sixth instruction. Move to the vicinity of the position to be assembled; wherein the third pose is the pose of the assembly position on the assembly obtained based on the third image;
  • the seventh instruction generating module is configured to drive the fifth position or the fifth position of the assembly position on the assembly after the assembly is moved to the vicinity of the to-be-assembled position based on the obtained robotic hand, in combination with the obtained assembly correlation Generate parameter seventh information, and use the seventh instruction to control the manipulator to drive the parts to be assembled to the assembling position; wherein the fifth pose is a manipulator obtained based on the fifth image A posture that drives the assembly to move to the assembly position on the assembly after the assembly is near;
  • the fifth instruction generation module is a fourth model that is previously trained; and / or the sixth instruction generation module is a sixth model that is previously trained; and / or the sixth instruction generation module is a prior model A trained sixth model; and / or the sixth instruction generating module is a previously trained sixth model.
  • a computer-readable storage medium on which computer-readable instructions are stored, and the instructions, when executed by a processor, implement any one of the first aspect, the second aspect, or the third aspect Assembly method.
  • a computer device includes a memory, a processor, and computer-readable instructions stored in the memory and executable on the processor, and the processor executes all The computer-readable instructions implement the assembly method according to any one of the first aspect, the second aspect, or the third aspect.
  • an assembling device including a robot arm, an image sensor, and a control device;
  • the manipulator is configured to perform an assembly-related action according to the control of the control device;
  • the image sensor is configured to acquire and send the first image, the second image, the third image, the fourth image, and / or the fifth image related to the assembly of the control device;
  • the control device is configured to generate, based on the first image or the first pose of the obtained assembly and the assembly to be assembled, the acquired assembly-related parameter information and a first trained model to generate a pointer
  • a first instruction of a manipulator controls the manipulator to move to the vicinity of the parts to be assembled through the instruction, grabs the parts to be installed, and moves the parts to be installed near the assembly position of the parts and to move Said assembly to be assembled to said assembly position; wherein said first pose is the pose of said assembly and said assembly to be obtained based on said first image; or,
  • a second instruction is generated, and the robot is controlled to move to the to-be-assembled component through the second instruction.
  • the robot is controlled to move to the to-be-assembled component through the second instruction.
  • the second pose is the pose of the to-be-installed accessory obtained based on the second image;
  • [0042] generating a third instruction based on the obtained third image or the third pose of the assembly position of the assembly, in combination with the acquired parameter information of the assembly, and using the third instruction to drive the assembly to be moved to The vicinity of the assembly position of the assembly part drives the assembly of the assembly part to the assembly position; wherein the third posture is the posture of the assembly position of the assembly part obtained based on the third image;
  • the second instruction is generated through a pre-trained second model; and / or,
  • the third instruction is generated through a third model that is previously trained
  • a fifth instruction is generated, and by the fifth A command to control a robot to grab the assembly; wherein the fourth posture is a posture of the assembly to be assembled after the robot obtained based on the fourth image moves to the vicinity of the assembly;
  • [0047] generating a sixth instruction based on the acquired third image or third pose of the assembly position on the assembly, and controlling the robot to move the assembly near the position to be assembled by using the sixth instruction;
  • the third pose is a pose of an assembly position on the assembly obtained based on the third image;
  • [0048] generating a seventh image based on the fifth image or fifth pose of the assembly position on the assembly position after the assembly robot moves the assembly part to the vicinity of the to-be-assembled position based on the acquired manipulator, and combined with the acquired parameter information of the assembly to generate a seventh An instruction to control the robot arm to assemble the to-be-assembled component to the assembling position by the seventh instruction; wherein the fifth posture is a manipulator obtained based on the fifth image to move the assembly component to The posture of the assembly position on the assembly after the vicinity of the position to be assembled;
  • the fifth instruction is generated through a pre-trained fourth model; and / or,
  • the sixth instruction is generated through a pre-trained fifth model; and / or,
  • the seventh instruction is generated through a pre-trained sixth model; and / or,
  • the eighth instruction is generated through a seventh model that is previously trained.
  • the assembly method, the assembly device, and the assembly equipment provided by the embodiments of the present application have the following beneficial effects: assembling by a machine learning method can improve assembly work efficiency and accuracy.
  • a complex action can be divided into multiple sub-actions to achieve, thereby reducing the difficulty of implementing the actions.
  • FIG. 1 is a structural block diagram of an assembly device provided by an embodiment of the present application.
  • FIG. 2 is a first flowchart of an assembly method provided by an embodiment of the present application.
  • FIG. 3 is a second flowchart of an assembly method provided by an embodiment of the present application.
  • FIG. 5 is a first structural block diagram of an assembly device provided by an embodiment of the present application.
  • FIG. 6 is a second structural block diagram of an assembly device provided by an embodiment of the present application.
  • FIG. 7 is a third structural block diagram of an assembling device provided by an embodiment of the present application.
  • FIG. 8 is a schematic structural diagram of a first model provided by an embodiment of the present application.
  • FIG. 1 is a structural block diagram of an assembly device according to an embodiment of the present application. As shown in FIG. 1, an embodiment of the present application provides an assembly device.
  • the assembly device 10 includes a robot arm 11, an image sensor 12, and a control device 14.
  • the manipulator 11 is configured to execute a control instruction or information sent by the control device 14 to complete assembly-related actions, such as: grasping the component A to be assembled, and driving the component A to be assembled to the assembly position of the component B A 'on.
  • the manipulator may include, but is not limited to, a series manipulator or a parallel manipulator; wherein the series manipulator may include, but is not limited to, a four-axis manipulator, a six-axis manipulator, and the like.
  • the manipulator includes an operating arm 111 composed of multiple serial or parallel axes and an end effector 1 provided at the end of the operating arm 111 for performing specific tasks.
  • the end effector can be a human-shaped hand and a gripper (as shown in Figure 1). , Suction cup or tool and so on. Since the manipulator uses the end effector to grab the parts to be assembled, the pose of the manipulator described in this embodiment actually refers to the pose of the end effector of the manipulator.
  • a mechanical hand (such as an end effector) may further be provided with a force sensor 13, and the force sensor 13 is connected to the control device 14.
  • the force sensor 13 provided on the controller 112 is a constant acting force, and the force / torque feedback signal obtained by the force sensor 13 is sent to the back-end control device 14.
  • the image sensor 12 is configured to acquire an assembly-related image, such as: a first image, a second image, a third image, a fourth image, and / or a fifth image described in the following embodiments; the image sensor 12 may include: But it is not limited to: cameras, camcorders, scanners or other devices (mobile phones, computers, etc.) with related functions, etc.
  • the image may include still image or video image (continuous still image) data. When the image is a video image, any one or several frames of the still image may be intercepted from the video image.
  • the acquired image can be a two-dimensional image or a three-dimensional image.
  • the control device 14 connects the robot arm 11, the image sensor 12, and the force sensor 13 respectively in a wired or wireless manner.
  • the wireless mode may include but is not limited to: 3G / 4G, WIFI, Bluetooth, WiMAX, Zigbee, UWB
  • Each module in the control device can be realized in whole or in part by software, hardware, and a combination thereof.
  • Each of the above modules may be embedded in the processor in the form of hardware or independent of the processor of the computer device, or may be stored in the memory of the computer device in the form of software, so that the processor calls and executes the operations corresponding to the above modules.
  • FIG. 2 is a first flowchart of an assembly method provided by the present application. As shown in FIG. 2, an embodiment of the present application provides an assembly method, and the assembly method includes the following method steps:
  • the first pose in the first image may be identified based on a conventional visual method, or the first pose in the first image may be obtained based on a pre-trained model, that is, a machine learning method. .
  • the control device acquires a first image captured and sent by the image sensor, where the first image includes a component to be assembled and an assembly; or further, in some embodiments, various processes may be performed on the acquired image, such as: a target Recognize and extract, so that the first image includes only the parts to be assembled and the assemblies.
  • the first image may be directly input to the first trained first model; the first image may also be processed to extract the first pose of the assembly and the to-be-installed assembly in the first image, and the first pose Enter the first pre-trained model.
  • Assembly through a machine learning method can improve the work efficiency and accuracy of assembly.
  • the structure of the first model may be a Convolutional Neural Network (CNN) model, and an image-based process developed now or in the future. Models for machine learning.
  • CNN Convolutional Neural Network
  • CNN is a convolutional layer neural network, which is common (Convolutional Neural Network, CNN)
  • the model can include various network structures, such as: LeNet, AlexNet, ZFNet, VGG, GoogLeN et, Residual
  • CNN is one of the neural networks (Neural Networks).
  • the structure of the first model is not limited to CNN can be any desired model structure in NN.
  • the structure of the first model may also be a combination of a CNN model and other models, such as a Recurrent Neural Network (RNN).
  • RNN Recurrent Neural Network
  • the parameter information includes, but is not limited to, posture information of the manipulator, a force / torque feedback signal, and / or physical information of the assembly and / or the assembly to be assembled.
  • the posture of the manipulator refers to the posture of the corresponding manipulator when acquiring the first image. It can be the pose of the manipulator obtained after the last control of the manipulator's movement is completed before this. For example, if the manipulator needs to be controlled to move to a certain pose, the pose of the manipulator after the last motion control is correspondingly known.
  • the physical information refers to the physical structure information of the assembly and / or assembly.
  • the physical structure information can be obtained according to the CAD structure drawing of the assembly and / or the assembly to be assembled.
  • FIG. 8 is a schematic diagram of a first structure of a first model provided by the present application.
  • the CNN model can be used directly for the problem of pure image input.
  • the input contains both images and other parameter information (specifically expressed as a set of vectors), the model will usually be modified.
  • the first part of the network L 1 is similar to ordinary CNN. It is still a superposition of convolutional layers and pooling layers.
  • the output of the first part L1 (a multi-channel image) will be “stretched” into a vector, and then linked with other parameter information vectors in Together, it enters the second part L2 of the network (such as a common fully connected layer network), and finally reaches the output, for example, a 6-dimensional vector (x, y, z, u, v, w) representing the next instruction of the robot.
  • FIG. 3 is a second flowchart of an assembly method provided by the present application.
  • a complex action is implemented by using a model. It is difficult to train. The accuracy of the trained model may not be very high. Therefore, a complex action can be divided into multiple sub-actions to implement. Each sub-action can be implemented based on traditional programming methods or based on a trained model.
  • an embodiment of the present application further provides an assembly method, including the following method steps:
  • the second instruction is acquired based on a pre-trained second model; and / or,
  • the third instruction is acquired based on a previously trained third model.
  • At least one (one or two) of the above steps S21 or 22 is a method step based on instructions obtained by a pre-trained model.
  • the other step may be based on a traditional The programming mode under visual recognition realizes the instruction acquisition.
  • the second instruction is obtained based on a pre-trained second model
  • the third instruction is obtained based on the traditional visual programming method.
  • the assembling action can be further divided into more sub-actions.
  • each sub-action can be implemented based on traditional programming methods, or based on a trained model.
  • an embodiment of the present application further provides an assembly method, including the following method steps:
  • step S31 may be further subdivided into two steps.
  • the first step is to identify the target position of the robot based on the acquired second image. This step may be based on a pre-trained model (specifically, Supervised learning training method); can also be implemented with traditional vision algorithms.
  • the second step is to control the manipulator to move to the target based on the target position calculated in the first step. This step can be based on a pre-trained model or an ordinary trajectory planning algorithm.
  • the fifth instruction is generated by a pre-trained fourth model; and / or,
  • the sixth instruction is generated through a pre-trained fifth model; and / or,
  • the seventh instruction is generated through a pre-trained sixth model; and / or,
  • the eighth instruction is generated through a seventh model that is previously trained.
  • At least one of the method steps in step S21 or step 22 is based on instructions obtained using a pre-trained model; if some of these steps do not obtain instructions using a pre-trained model, it can be implemented based on traditional programming Fetch of instructions.
  • the sixth instruction is obtained based on the pre-trained fifth model, and the fifth instruction is obtained based on the programming method under traditional visual recognition.
  • the training methods of the first, second, third, fourth, fifth, sixth and / or seventh models previously trained may include, but not Limited to supervised learning, reinforcement learning and imitation learning.
  • Reinforcement Learning in the simulation environment / real environment initialize a strategy (given the current image and the posture of the robot, output an action instruction, the specific form is CNN, because we have images As input; note that the difference from the second step of the step-by-step method is that the target position is not expected as the input of the strategy during reinforcement learning, and the manipulator moves according to the strategy, each trajectory (or each action) The trajectory (action) will be given a score at the same time as the acquisition. (For example, whether the trajectory moves to the expected target position, the spatial distance between the end point of the trajectory and the expected target position, etc.). When the data is collected to a certain stage, the strategy is optimized based on these tracks and corresponding scores. Repeat the above-mentioned sampling and optimization process until the final strategy can get out of the trajectory with a high score.
  • Imitation learning in a simulation environment / real environment provides some expert trajectories, initializes a manipulator strategy (input and output are the same as reinforcement learning, the specific form is still C NN), and performs trajectory sampling, Note that there is no need to provide scores for trajectories in imitation learning (in fact, this is also the advantage of imitation learning compared to reinforcement learning, because the design of trajectory reward scores is very sophisticated, and if the design is not good, reinforcement learning in most cases is Will not learn good strategies). By simulating the learning algorithm to optimize the strategy, the above sampling and optimization process is repeated, so that the trajectory of the final manipulator strategy is similar to the trajectory of the expert.
  • a classifier In order to determine whether the trajectory exited by the robot strategy is similar to the trajectory of the expert, a classifier can be introduced.
  • the classifier classifies the trajectory learned by the model and the expert trajectory, and optimizes each of the above models in combination with the loss function of the classifier.
  • Supervised Learning is an example of using a known correct answer to train a network.
  • FIG. 5 is a first structural block diagram of an assembly device provided by the present application.
  • FIG. 6 is a second structural block diagram of an assembly device provided by the present application.
  • FIG. 7 is a third structural block diagram of an assembly device provided by the present application.
  • an embodiment of the present application further provides an assembling device.
  • the assembling device described below and the assembling method described above may refer to each other.
  • the assembling device 200 includes a first instruction generating module 210, configured to obtain the first image or the first pose of the assembly and the assembly to be combined based on the acquisition
  • the assembly-related parameter information generates a first instruction through a pre-trained first model.
  • the first instruction controls the robot to move near the parts to be assembled, grabs the parts to be assembled, and drives the parts to be assembled to the assembly position of the assembly. Nearby, the parts to be assembled are driven to be assembled to the assembly position; wherein the first position is the positions of the assembly and the parts to be assembled based on the first image.
  • the assembling device 300 includes the following modules: a second instruction generation module 310, and a third instruction generation module 320.
  • a second instruction generating module 310 is configured to generate a second instruction based on the obtained second image or the second pose of the to-be-assembled component and the obtained assembly-related parameter information, and control the robot through the second instruction. Move to the vicinity of the to-be-installed accessory and grab the to-be-installed accessory; wherein the second pose is the pose of the to-be-installed accessory obtained based on the second image;
  • a third instruction generating module 320 is configured to generate a third instruction based on a third image or a third pose of the assembly position of the assembly, in combination with the obtained parameter information about the assembly, and be driven by the third instruction. Moving the to-be-installed component near the assembling position of the assembling component to drive the to-be-assembled component to be assembled to the assembling position; wherein the third posture is the assembling of the assembling component obtained based on the third image Pose of position [0123]
  • the second instruction generation module 310 is obtained based on a pre-trained second model; and / or,
  • the third instruction generating module 320 is obtained based on a third model that has been trained in advance.
  • the assembling device 400 includes the following modules: a fourth instruction generation module 410, a fifth instruction generation module 420, a sixth instruction generation module 430, and a seventh instruction generation Block 440.
  • a fourth instruction generating module 410 is configured to generate a fourth instruction based on the obtained second image or second pose of the to-be-assembled component, and control the robot to move to the vicinity of the assembling component by using the fourth instruction;
  • the second pose is the pose of the accessory to be assembled based on the second image;
  • a fifth instruction generation module 420 is configured to generate a fifth instruction based on the fourth image or the fourth pose of the assembly to be assembled after the robot moves to the vicinity of the assembly, and in combination with the obtained parameter information about the assembly, Controlling a robotic arm to grasp the assembly by using the fifth instruction; wherein the fourth posture is a posture of an assembly to be assembled after the robotic arm acquired based on the fourth image moves to the vicinity of the assembly;
  • a sixth instruction generation module 430 is configured to generate a sixth instruction based on the acquired third image or third pose of the assembly position on the assembly, and control the robot to move the assembly by using the sixth instruction To the position to be assembled; wherein the third pose is the pose of the assembly position on the assembly obtained based on the third image;
  • a seventh instruction generating module 440 is configured to acquire a fifth image or a fifth pose of an assembly position on the assembly after the assembly is moved to a position near the to-be-assembled position by the robotic arm, and combine the acquired assembly-related
  • the parameter information generates a seventh instruction, and the seventh instruction is used to control the manipulator to drive the parts to be assembled to the assembling position; wherein the fifth pose is that the manipulator obtained based on the fifth image drives the manipulator. Posture of the assembly position on the assembly after the assembly is moved to the vicinity of the position to be assembled;
  • a fourth instruction generating module 450 is configured to generate a fourth instruction based on a previously trained fourth model; and / or,
  • a fifth instruction generating module 460 configured to generate a fifth instruction based on a pre-trained fifth model; and / or,
  • a sixth instruction generating module 470 configured to generate a sixth instruction based on a pre-trained sixth model; and / or,
  • a seventh instruction generating module 480 is configured to generate a seventh instruction based on a seventh model that is trained in advance.
  • an embodiment of the present application provides a computer-readable storage medium.
  • the computer-readable storage medium stores computer-readable instructions. When the computer-readable instructions are executed by a processor, the functions described in the foregoing embodiments are implemented. Relevant method steps of the assembly method.
  • the computer device 3 of this embodiment includes a processor 30, a memory 31, and computer-readable instructions 32 stored in the memory 31 and executable on the processor 30.
  • the processor 30 executes the computer-readable instructions 32 to implement the steps of the above-mentioned respective assembly methods.
  • the computer-readable instructions may be divided into one or more modules / units, and the one or more modules / units are stored in the memory (not shown in the figure), and are composed of The processor 7 40 executes to complete the application.
  • the one or more modules / units may be a series of computer-readable instruction segments capable of performing a specific function, and the instruction segments are used to describe a process of assembling the computer-readable instructions.
  • the computer-readable instructions may be divided into a first instruction generating module, configured to obtain the first image or the first pose of the assembly and the assembly to be combined with the obtained parameter information related to the assembly, and pass through the process in advance.
  • the trained first model generates a first instruction, and uses the first instruction to control the robot to move to the vicinity of the parts to be assembled, grabs the parts to be assembled, and drives the parts to be assembled to the assembly position of the parts to be assembled Nearby, the assembly of the parts to be assembled is driven to the assembly position; wherein the first pose is the poses of the to-be-assembled parts and the assembly parts obtained based on the first image.
  • the computer device may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the computer equipment may include, but is not limited to, a processor and a memory.
  • the schematic diagram is only an example of a computer device, and does not constitute a limitation on the computer device. It may include more or less components than shown in the figure, or some components may be combined, or different components.
  • the computer device may further include an input-output device, a network access device, a bus, and the like.
  • the processor 30 may be a central processing unit (CPU), or may be other general-purpose processors, digital signal processors (DSPs), and application specific integrated circuits (Application Specific Integrated Circuits, ASIC), off-the-shelf programmable gate array
  • CPU central processing unit
  • DSP digital signal processors
  • ASIC Application Specific Integrated Circuits
  • the memory may be a storage device built into the computer device, such as a hard disk or a memory.
  • the memory may also be an external storage device of the plug-in device, such as a plug-in hard disk, a smart media card (SMC), and a secure digital (Secure)
  • the memory may include both an internal storage unit of the computer device 3 and an external storage device.
  • the memory is used to store the computer-readable instructions and other computer instructions and data required by the plug-in device.
  • the memory may also be used to temporarily store data that has been or will be output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

一种装配方法、装配装置及装配设备（10），该装配方法包括基于获取的装配件（B）和待装配件（A）的第一图像，结合获取的装配相关的参数信息，经过预先经过训练的第一模型生成指向所述机械手的第一指令，通过所述指令控制机械手（11）移动到所述待装配件（A）附近，抓取所述待装配件（A），带动所述待装配件（A）移动到所述装配件（B）的装配位置附近和带动所述待装配件（A）装配到所述装配位置。所述装配方法通过机器学习的方法进行装配，能够提高装配的工作效率及准确率。

Description

一种装配方法、 装配装置及装配设备
[0001] 本申请要求于 2018年 09月 17日在中国国家知识产权局提交的、 申请号为 201811
079680 .5、 发明名称为“一种装配方法、 装配装置及装配设备”的中国专利申请的 优先权， 其全部内容通过引用结合在本申请中。
技术领域
[0002] 本申请涉及自动化技术领域， 具体涉及一种装配方法、 装配装置及装配设备。
背景技术
[0003] 这里的陈述仅提供与本申请有关的背景信息， 而不必然构成现有技术。 自动化 技术领域中， 可以通过自动化设备实现各种装配的动作， 比如： 将销钉插入插 孔中， 将不同外形或种类的零部件插入对应的目标插孔中等等。
[0004] 通常， 自动化的装配设备柔性化程度较低， 因此当需要彼此装配的结构件的结 构、 种类或环境等等发生改变时， 通常需要重新修改程序， 造成成本的增加。 并且， 在一些装配难度比较大的动作中， 通过自动化设备很难完成装配， 或者 在装配过程中失误率很高。
发明概述
技术问题
[0005] 本申请实施例的目的之一在于： 提供一种装配方法、 装配装置及装配设备， 旨 在解决装配的工作效率及准确率较低的问题。
问题的解决方案
技术解决方案
[0006] 为解决上述技术问题， 本申请实施例采用的技术方案是：
[0007] 第一方面， 提供了一种装配方法， 所述装配方法包括：
[0008] 基于获取的装配件和待装配件的第一图像或第一位姿， 结合获取的装配相关的 参数信息， 经过预先经过训练的第一模型生成指向所述机械手的第一指令， 通 过所述指令控制机械手移动到所述待装配件附近， 抓取所述待装配件， 带动所 述待装配件移动到所述装配件的装配位置附近和带动所述待装配件装配到所述 装配位置； 其中， 所述第一位姿为基于所述第一图像获取的所述装配件和待装 配件的位姿。
[0009] 第二方面， 提供了一种装配方法， 所述装配方法包括：
[0010] 基于获取的待装配件的第二图像或第二位姿， 结合获取的装配相关的参数信息 ， 生成第二指令， 通过所述第二指令控制机械手移动到所述待装配件附近， 抓 取所述待装配件； 其中， 所述第二位姿为基于所述第二图像获取的所述待装配 件的位姿；
[0011] 基于获取的装配件的装配位置第三图像或第三位姿， 结合获取的装配相关的参 数信息， 生成第三指令， 通过所述第三指令带动所述待装配件移动到所述装配 件的装配位置附近， 带动所述待装配件装配到所述装配位置； 其中， 所述第三 位姿为基于所述第三图像获取的所述装配件的装配位置的位姿；
[0012] 所述第二指令经过预先经过训练的第二模型生成； 和 /或，
[0013] 所述第三指令经过预先经过训练的第三模型生成。
[0014] 第三方面， 提供一种装配方法， 所述装配方法包括：
[0015] 基于获取的待装配件的第二图像或第二位姿， 生成第四指令， 通过所述第四指 令控制机械手移动到所述装配件附近； 其中， 所述第二位姿为基于所述第二图 像获取的所述待装配件的位姿；
[0016] 基于获取的机械手移动到所述装配件附近后的待装配件的第四图像或第四位姿 ， 结合获取的装配相关的参数信息， 生成第五指令， 通过所述第五指令控制机 械手抓取所述装配件； 其中， 所述第四位姿为基于所述第四图像获取的所述机 械手移动到所述装配件附近后的所述待装配件的位姿；
[0017] 基于获取的装配件上的装配位置的第三图像或第三位姿， 生成第六指令， 通过 所述第六指令控制机械手带动所述装配件移动到待装配位置附近； 其中， 所述 第三位姿为基于所述第三图像获取的所述装配件上的装配位置的位姿；
[0018] 基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配 位置第五图像或第五位姿， 结合获取的装配相关的参数信息， 生成第七指令， 通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配位置； 其 中， 所述第五位姿为基于所述第五图像获取的机械手带动所述装配件移动到所 述待装配位置附近后的所述装配件上的所述装配位置的位姿；
[0019] 所述第五指令经过预先经过训练的第四模型生成； 和 /或，
[0020] 所述第六指令经过预先经过训练的第五模型生成； 和 /或，
[0021] 所述第七指令经过预先经过训练的第六模型生成； 和 /或，
[0022] 所述第八指令经过预先经过训练的第七模型生成。
[0023] 第四方面， 提供一种装配装置， 所述装配装置包括第一指令生成模块；
[0024] 所述第一指令生成模块， 用于基于获取的装配件和待装配件的第一图像或第一 位姿， 结合获取的装配相关的参数信息， 经过预先经过训练的第一模型生成指 向所述机械手的第一指令， 通过所述指令控制机械手移动到所述待装配件附近 ， 抓取所述待装配件， 带动所述待装配件移动到所述装配件的装配位置附近和 带动所述待装配件装配到所述装配位置； 其中， 所述第一位姿为基于所述第一 图像获取的所述装配件和待装配件的位姿； 或，
[0025] 所述装配装置包括第二指令生成模块和第三指令生成模块；
[0026] 所述第二指令生成模块， 用于基于获取的待装配件的第二图像或第二位姿， 结 合获取的装配相关的参数信息， 生成第二指令， 通过所述第二指令控制机械手 移动到所述待装配件附近， 抓取所述待装配件； 其中， 所述第二位姿为基于所 述第二图像获取的所述待装配件的位姿；
[0027] 所述第三指令生成模块， 用于基于获取的装配件的装配位置第三图像或第三位 姿， 结合获取的装配相关的参数信息， 生成第三指令， 通过所述第三指令带动 所述待装配件移动到所述装配件的装配位置附近， 带动所述待装配件装配到所 述装配位置； 其中， 所述第三位姿为基于所述第三图像获取的所述装配件的位 姿；
[0028] 所述第二指令生成模块为经过预先经过训练的第二模型； 和 /或所述第三指令 生成模块为经过预先经过训练的第三模型； 或，
[0029] 所述装配装置包括第四指令生成模块、 第五指令生成模块、 第六指令生成模块 、 第七指令生成模块；
[0030] 所述第四指令生成模块， 用于基于获取的待装配件的第二图像或第二位姿， 生 成第四指令， 通过所述第四指令控制机械手移动到所述装配件附近； 其中， 所 述第二位姿为基于所述第二图像获取的所述待装配件的位姿；
[0031] 所述第五指令生成模块， 用于基于获取的机械手移动到所述装配件附近后的待 装配件的第四图像或第四位姿， 结合获取的装配相关的参数信息， 生成第五指 令， 通过所述第五指令控制机械手抓取所述装配件； 其中， 所述第四位姿为基 于所述第四图像获取的所述机械手移动到所述装配件附近后的待装配件的位姿
[0032] 所述第六指令生成模块， 用于基于获取的装配件上的装配位置的第三图像或第 三位姿， 生成第六指令， 通过所述第六指令控制机械手带动所述装配件移动到 待装配位置附近； 其中， 所述第三位姿为基于所述第三图像获取的所述装配件 上的装配位置的位姿；
[0033] 所述第七指令生成模块， 用于基于获取的机械手带动所述装配件移动到待装配 位置附近后的装配件上的装配位置第五图像或第五位姿， 结合获取的装配相关 的参数信息， 生成第七指令， 通过所述第七指令控制所述机械手带动所述待装 配件装配到所述装配位置； 其中， 所述第五位姿为基于所述第五图像获取的机 械手带动所述装配件移动到待装配位置附近后的装配件上的装配位置的位姿；
[0034] 所述第五指令生成模块为预先经过训练的第四模型； 和 /或所述第六指令生成 模块为预先经过训练的第六模型； 和 /或所述第六指令生成模块为预先经过训练 的第六模型； 和 /或所述第六指令生成模块为预先经过训练的第六模型。
[0035] 第五方面， 提供一种计算机可读存储介质， 其上存储有计算机可读指令， 所述 指令被处理器执行时实现第一方面、 第二方面或第三方面任意一项所述的装配 方法。
[0036] 第六方面， 提供一种计算机设备， 所述计算机设备包括存储器、 处理器以及存 储在所述存储器中并可在所述处理器上运行的计算机可读指令， 所述处理器执 行所述计算机可读指令时实现第一方面、 第二方面或第三方面任意一项所述的 装配方法。
[0037] 第七方面， 提供一种装配设备， 所述装配设备包括机械手、 图像传感器和控制 装置；
[0038] 所述机械手， 用于根据所述控制装置的控制， 执行装配相关的动作； [0039] 所述图像传感器， 用于获取并发送给控制装置装配相关的第一图像、 第二图像 、 第三图像、 第四图像和 /或第五图像；
[0040] 所述控制装置， 用于基于获取的装配件和待装配件的所述第一图像或第一位姿 ， 结合获取的装配相关的参数信息， 经过预先经过训练的第一模型生成指向机 械手的第一指令， 通过所述指令控制所述机械手移动到所述待装配件附近， 抓 取所述待装配件， 带动所述待装配件移动到所述装配件的装配位置附近和带动 所述待装配件装配到所述装配位置； 其中， 所述第一位姿为基于所述第一图像 获取的所述装配件和所述待装配件的位姿； 或，
[0041] 基于获取的待装配件的所述第二图像或第二位姿， 结合获取的装配相关的参数 信息， 生成第二指令， 通过所述第二指令控制机械手移动到所述待装配件附近 ， 抓取所述待装配件； 其中， 所述第二位姿为基于所述第二图像获取的所述待 装配件的位姿；
[0042] 基于获取的装配件的装配位置所述第三图像或第三位姿， 结合获取的装配相关 的参数信息， 生成第三指令， 通过所述第三指令带动所述待装配件移动到所述 装配件的装配位置附近， 带动所述待装配件装配到所述装配位置； 其中， 所述 第三位姿为基于所述第三图像获取的所述装配件的装配位置的位姿；
[0043] 所述第二指令经过预先经过训练的第二模型生成； 和 /或，
[0044] 所述第三指令经过预先经过训练的第三模型生成；
[0045] 基于获取的待装配件的所述第二图像或第二位姿， 生成第四指令， 通过所述第 四指令控制机械手移动到所述装配件附近； 其中， 所述第二位姿为基于所述第 二图像获取的所述待装配件的位姿； 或，
[0046] 基于获取的机械手移动到所述装配件附近后的待装配件的所述第四图像或第四 位姿， 结合获取的装配相关的参数信息， 生成第五指令， 通过所述第五指令控 制机械手抓取所述装配件； 其中， 所述第四位姿为基于所述第四图像获取的所 述机械手移动到所述装配件附近后的所述待装配件的位姿；
[0047] 基于获取的装配件上的装配位置的所述第三图像或第三位姿， 生成第六指令， 通过所述第六指令控制机械手带动所述装配件移动到待装配位置附近； 其中， 所述第三位姿为基于所述第三图像获取的所述装配件上的装配位置的位姿； [0048] 基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件上的装配 位置的所述第五图像或第五位姿， 结合获取的装配相关的参数信息， 生成第七 指令， 通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配位 置； 其中， 所述第五位姿为基于所述第五图像获取的机械手带动所述装配件移 动到所述待装配位置附近后的所述装配件上的所述装配位置的位姿；
[0049] 所述第五指令经过预先经过训练的第四模型生成； 和 /或，
[0050] 所述第六指令经过预先经过训练的第五模型生成； 和 /或，
[0051] 所述第七指令经过预先经过训练的第六模型生成； 和 /或，
[0052] 所述第八指令经过预先经过训练的第七模型生成。
[0053] 本申请实施例提供的一种装配方法、 装配装置及装配设备的有益效果在于： 通 过机器学习的方法进行装配， 能够提高装配的工作效率及准确率。 另外， 可以 将一个复杂的动作拆分成多个分动作实现， 从而减少动作实现的困难性。
发明的有益效果
对附图的简要说明
附图说明
[0054] 为了更清楚地说明本申请实施例中的技术方案， 下面将对实施例或示范性技术 描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅 是本申请的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动 的前提下， 还可以根据这些附图获得其它的附图。
[0055] 图 1是本申请实施例提供的装配设备的结构框图。
[0056] 图 2是本申请实施例提供的装配方法的第一流程图。
[0057] 图 3是本申请实施例提供的装配方法的第二流程图。
[0058] 图 4是本申请实施例提供的装配方法的第三流程图。
[0059] 图 5是本申请实施例提供的装配装置的第一结构框图。
[0060] 图 6是本申请实施例提供的装配装置的第二结构框图。
[0061] 图 7是本申请实施例提供的装配装置的第三结构框图。
[0062] 图 8是本申请实施例提供的第一模型的结构示意图。
[0063] 图 9是本申请实施例提供的计算机设备的结构示意图。 发明实施例
本发明的实施方式
[0064] 为了使本申请的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例 ， 对本申请进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅用以 解释本申请， 并不用于限定本申请。
[0065] 为了说明本申请的技术方案， 以下结合具体附图及实施例进行详细说明。
[0066] 图 1为本申请实施例的装配设备的结构框图。 如图 1所示， 本申请实施例提供一 种装配设备， 所述装配设备 10包括机械手 11、 图像传感器 12和控制装置 14。
[0067] 所述机械手 11， 用于执行控制装置 14发送的控制指令或信息， 从而完成装配相 关的动作， 比如： 抓取待装配件 A、 带动待装配件 A装配到装配件 B的装配位置 A '上。 机械手可以包括但不限于串联机械手或并联机械手； 其中， 串联机械手可 以包括但不限于： 四轴机械手、 六轴机械手等等。 机械手包括由多个串联或并 联轴构成的操作臂 111和设置在操作臂 111末端用于执行具体工作的末端执行器 1 12, 末端执行器可以为人形手、 夹爪 （如图 1所示） 、 吸盘或者工具等等。 由于 机械手是通过末端执行器去抓取待装配件， 因此本实施例所述的机械手的位姿 实际上指的是机械手的末端执行器的位姿。
[0068] 在一些实施中， 机械手上 （比如： 末端执行器上） 还可以设置力传感器 13 , 力 传感器 13藕接控制装置 14, 当抓取物体或者进行装配的动作时， 物体会给末端 执行器 112上设置的力传感器 13—定的作用力， 通过力传感器 13获取的力 /力矩的 反馈信号并发送给后端控制装置 14。
[0069] 图像传感器 12, 用于获取装配相关的图像， 比如： 后面实施例所述的第一图像 、 第二图像、 第三图像、 第四图像和 /或第五图像； 图像传感器 12可以包括但不 限于： 照相机、 摄像机、 扫描仪或其他带有相关功能的设备 （手机、 电脑等） 等等。 该图像可以包括静态图像或者视频图像 （连续的静态图像） 数据， 当为 视频图像时， 可以从视频图像中截取任意一帧或几帧静态图像。 获取的图像可 以是二维图像， 也可以是三维图像。
[0070] 控制装置 14通过有线或者无线的方式分别藕接机械手 11、 图像传感器 12和力传 感器 13。 [0071] 无线方式可以包括但不限于： 3G/4G、 WIFI、 蓝牙、 WiMAX、 Zigbee、 UWB
(ultra wideband) ， 以及其它现在已知或将来开发的无线连接方式。
[0072] 有关控制装置 14的限定可以参见下面实施例中关于装配方法的限定。 控制装置 中各个模块可全部或部分通过软件、 硬件及其组合来实现。 上述各模块可以硬 件形式内嵌于或独立于计算机设备的处理器中， 也可以以软件形式存储于计算 机设备的存储器中， 以便处理器调用执行以上各个模块对应的操作。
[0073] 图 2为本申请提供的装配方法的第一流程图。 如图 2所示， 本申请实施例提供一 种装配方法， 该装配方法包括如下方法步骤：
[0074] S11、 获取待装配件和装配件的装配位置的第一图像或第一位姿， 其中， 所述 第一位姿为基于所述图像获取的所述装配件和待装配件的位姿；
[0075] 根据第一图像可以基于传统的视觉方法， 识别出第一图像中的第一位姿， 也可 以基于预先经过训练的模型， 即机器学习的方法获取第一图像中的第一位姿。
[0076] 控制装置获取图像传感器拍摄并发送的第一图像， 该第一图像包括待装配件和 装配件； 或者进一步， 在一些实施例中， 还可对获取的图像进行各种处理， 比 如： 目标识别提取， 从而使得第一图像仅包括待装配件和装配件。
[0077] S12、 基于所述第一图像或第一位姿， 结合获取的装配相关的参数信息， 经过 预先经过训练的第一模型生成第一指令， 通过所述第一指令控制机械手执行包 括但不限于如下动作步骤： 移动到所述待装配件附近， 抓取所述待装配件， 带 动所述待装配件移动到所述装配件的装配位置附近， 带动所述待装配件装配到 所述装配位置。
[0078] 可以将第一图像直接输入预先经过训练的第一模型； 也可以将第一图像进行处 理提取出第一图像中的装配件和待装配件的第一位姿， 将第一位姿输入预先经 过训练的第一模型。
[0079] 通过机器学习的方法进行装配， 能够提高装配的工作效率及准确率。
[0080] 需要说明的是， 当输入第一模型的包括第一图像， 则第一模型的结构可以为卷 积神经网络 (Convolutional Neural Network, CNN) 模型， 以及现在开发或将来 开发的基于图像进行机器学习的模型。
[0081] CNN是一种卷积层神经网络， 常见的 (Convolutional Neural Network, CNN) 模型可以包括各种网络结构， 比如： LeNet， AlexNet， ZFNet， VGG, GoogLeN et, Residual
Net, DenseNet, R-CNN, SPP-NET, Fast-RCNN, Faster-RCNN, FCN, Mask-R CNN, YOLO, SSD, Y0L02， 以及其它现在已知或将来开发的网络模型结构
[0082] CNN属于神经网络 （Neural Network， NN） 中的一种， 当输入第一模型的不包 括第一图像 （比如是： 第一位姿） ， 贝 1」第一模型的结构并不限于 CNN， 可以为 N N中的任意需要的模型结构。
[0083] 在一些实施例中， 所述第一模型的结构也可以是 CNN模型与其它模型的结合， 比如： 循环神经网络 （Recurrent Neural Network, RNN） 。
[0084] 需要说明的是， 所述参数信息包括但不限于机械手的位姿信息、 力 /力矩反馈 信号、 和 /或所述装配件和 /或所述待装配件的物理信息。 所述机械手的位姿， 是 指获取第一图像时对应的机械手的位姿。 其可以是在此之前完成最后一次控制 机械手的运动后获取的机械手的位姿， 比如： 需要控制机械手移动到某一位姿 处， 则对应知道最后一次运动控制后的机械手的位姿。
[0085] 物理信息是指装配件和 /装配件的物理结构信息， 比如： 根据装配件和 /或待装 配件的 CAD结构图可以了解物理结构信息。
[0086] 如图 8所示， 图 8为本申请提供的第一模型的第一结构示意图。 在一些实施例中 ， 单纯的图像输入的问题可以直接使用 CNN模型， 当输入既有图像， 又有其他 参数信息时 （具体表达为一组向量） ， 通常模型会有所修改， 网络的第一部分 L 1与普通的 CNN类似， 依然是卷积层、 池化层的叠加， 第一部分 L1的输出 （一个 多通道的图像） 会被“拉伸”成一个向量， 然后与其他参数信息向量链接在一起， 再进入网络的第二部分 L2 （例如普通的全连接层网络） ， 最后到达输出， 例如 ， 表示机械手下一个指令的一个 6维向量 （x， y， z， u， v， w） 。
[0087] 图 3为本申请提供的装配方法的第二流程图。 通常将一个复杂的动作采用一个 模型实现的方法， 训练起来比较困难， 训练后的模型的准确度可能也不是很高 ， 因此， 可以将一个复杂的动作拆分成多个分动作实现。 每个分动作可以基于 传统的编程方法实现， 也可以基于经过训练的模型实现。 [0088] 如图 3所示， 本申请实施例还提供一种装配方法， 包括如下方法步骤：
[0089] S21、 获取待装配件的第二图像或第二位姿； 基于所述第二图像或第二位姿， 结合获取的装配相关的参数信息， 生成第二指令， 通过所述第二指令控制机械 手移动到所述待装配件附近， 抓取所述待装配件； 其中， 所述第二位姿为基于 所述第二图像获取的待装配件的位姿；
[0090] S22、 获取装配件的装配位置的第三图像或第三位姿， 基于所述第三图像或第 三位姿， 结合获取的装配相关的参数信息， 生成第三指令， 通过所述第三指令 带动所述待装配件移动到所述装配件的装配位置附近， 带动所述待装配件装配 到所述装配位置； 其中， 所述第三位姿为基于所述第三图像获取的装配件的装 配位置的位姿；
[0091] 所述第二指令基于预先经过训练的第二模型获取； 和 /或，
[0092] 所述第三指令基于预先经过训练的第三模型获取。
[0093] 第二模型或第三模型的结构可以参照上面的第一模型所述， 即除了输入的图像 ， 还需要结合某些参数信息， 在此不再重复赘述。
[0094] 上述步骤 S21或步骤 22中至少有一个 （一个或者两个） 方法步骤是基于预先经 过训练的模型获取的指令， 当其中一个步骤采用预先经过训练的模型， 另外一 个步骤可以基于传统的视觉识别下的编程方式实现指令的获取。 比如： 第二指 令是基于预先经过训练的第二模型获取， 而第三指令是基于传统的视觉识别下 的编程方式实现指令的获取。
[0095] 图 4为本申请提供的装配方法的第三流程图。 根据上面实施例所述， 所述装配 动作可以进一步分成更多的分动作。 同样每个分动作可以基于传统的编程方法 实现， 也可以基于经过训练的模型实现。
[0096] 如图 4所示， 本申请实施例还提供一种装配方法， 包括如下方法步骤：
[0097] S31、 基于获取的待装配件的第二图像或第二位姿， 生成第四指令， 通过所述 第四指令控制机械手移动到所述装配件附近； 其中， 所述第二位姿为基于所述 待装配件的第二图像获取的位姿；
[0098] 在一些实施例中， 步骤 S31可以再细分为 2步， 第一步是基于获取的第二图像识 别出机械手目标位置， 这一步既可以基于预先经过训练的模型 （具体可以采用 监督学习的训练方法） 实现； 也可以用传统视觉算法实现。 第二步是基于第一 步计算出来的目标位置， 控制机械手移动到目标， 这一步既可以基于预先经过 训练的模型， 也可以用普通的轨迹规划算法。
[0099] S32、 基于获取的机械手移动到所述装配件附近后的待装配件的第四图像或第 四位姿， 结合获取的装配相关的参数信息， 生成第五指令， 通过所述第五指令 控制机械手抓取所述装配件； 其中， 所述第四位姿为基于所述第四图像获取的 机械手移动到所述装配件附近后的待装配件的位姿；
[0100] S33、 基于获取的装配件上的装配位置的第三图像或第三位姿， 生成第六指令
， 通过所述第六指令控制机械手带动所述装配件移动到待装配位置附近； 其中 ， 所述第三位姿为基于所述第三图像获取的所述装配件上的装配位置的位姿； [0101] S34、 基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件上 的装配位置的第五图像或第五位姿， 结合获取的装配相关的参数信息， 生成第 七指令， 通过所述第七指令控制所述机械手带动所述待装配件装配到所述装配 位置； 其中， 所述第五位姿为基于所述第五图像获取的机械手带动所述装配件 移动到待装配位置附近后的装配件上的装配位置的位姿；
[0102] 所述第五指令经过预先经过训练的第四模型生成； 和 /或，
[0103] 所述第六指令经过预先经过训练的第五模型生成； 和 /或，
[0104] 所述第七指令经过预先经过训练的第六模型生成； 和 /或，
[0105] 所述第八指令经过预先经过训练的第七模型生成。
[0106] 上述步骤 S21或步骤 22中至少有一个方法步骤是基于采用预先经过训练的模型 获取的指令； 如果其中某些步骤没有采用预先经过训练的模型获取指令， 则可 以基于传统的编程方式实现指令的获取。 比如： 第六指令是基于预先经过训练 的第五模型获取， 而第五指令是基于传统的视觉识别下的编程方式实现指令的 获取的。
[0107] 上述 S31、 S32、 S33、 S34个环节对人当采用经过预先经过训练的模型， 即机器 学习的方法时， 其本质是一样的， 区别在于某些环节如果需要很好地实现的话 ， 可能需要结合其它的参数信息， 比如： 力 /力矩传感器 （即感知系统） 的力 /力 矩参数信息、 力矩控制和设计好的末端执行器 （即执行系统） 的位姿信息。 例 如 S31与 S33只是单纯的移动机械臂到目标位置， 而 S32与 S34则涉及一些物体接 触， 因此 S32、 S34与 S31、 S33相比对感知系统和执行系统可能有更高的要求。
[0108] 上述第二位姿、 第三位姿、 第四位姿和第五位姿的相关获取方法参见第一位姿 的获取方法， 在此不再重复赘述。
[0109] 需要说明的是， 上述第二模型、 第三模型、 第四模型、 第五模型、 第六模型或 第七模型的模型结构可以参见第一模型中的相关描述， 在此不再赘述。
[0110] 在一些实施例中， 上述预先经过训练的第一模型、 第二模型、 第三模型、 第四 模型、 第五模型、 第六模型和 /或第七模型的训练方法可以包括但不限于监督学 习、 强化学习和模仿学习。
[0111] 通常， 对于单纯的图像中的目标识别基于监督学习的方法更方便， 而对于一个 动作策略的学习， 则采用强化学习或模仿学习的方法更好。
[0112] 其中， 强化学习 （Reinforcement Learning） ， （可以在仿真环境中 /真实环境中 ） 初始化一个策略 （给定当前图像以及机械手的姿态， 输出一个动作指令， 具 体形式为 CNN， 因为我们有图像作为输入； 注意， 与分步方法的第二步不一样 的地方是强化学习时预想目标位置并不作为策略的输入） ， 让机械手按照该策 略进行运动， 每进行一条轨迹 （或者每一个动作） 的采集的同时会给予这条轨 迹 （动作） 一个分数。 （例如该轨迹是否运动到预想的目标位置， 该轨迹的终 点与预想的目标位置的空间距离等） 。 当数据采集到一定阶段， 则根据这些轨 迹及对应的分数对策略进行优化。 反复进行上述的采样以及优化过程， 直到最 终策略能走出分数高的轨迹。
[0113] 其中， 模仿学习 （Imitation learning） ， （在仿真环境中 /真实环境中） 提供一 些专家轨迹， 初始化一个机械手策略 （输入输出同强化学习， 具体形式仍然为 C NN） ， 进行轨迹采样， 注意模仿学习中不需要为轨迹提供分数 （实际上这也是 模仿学习与强化学习相比的优势所在， 因为轨迹奖励分数的设计是非常讲究技 巧的， 设计不好的话强化学习绝大多数情况下都不会学习出好的策略） 。 通过 模仿学习的算法去优化策略， 重复上述采样与优化过程， 使得最终机械手策略 所走出来的轨迹与专家轨迹相似。
[0114] 为了判断机械手策略所走出的轨迹是否与专家轨迹相似， 可以引入分类器， 通 过分类器对模型学习出的轨迹和专家轨迹进行分类， 结合分类器的 loss function 优化上述各个模型。
[0115] 其中， 监督学习 (Supervised Learning) 是使用已知正确答案的示例来训练网 络。
[0116] 进一步， 在另一些实施例中， 对于 CNN模型， 为了节省训练时间， 我们也可以 用别人训练好的模型的参数来初始化自己的模型， 然后在这个基础上进行微调
(finetune) °
[0117] 图 5为本申请提供的装配装置的第一结构框图。 图 6为本申请提供的装配装置的 第二结构框图。 图 7为本申请提供的装配装置的第三结构框图。
[0118] 对应上面方法的实施例， 本申请实施例还提供一种装配装置， 下文描述的装配 装置和上文描述的装配方法可相互对应参照。
[0119] 如图 5所示， 在一些实施例中， 所述装配装置 200包括第一指令生成模块 210， 用于基于获取装配件和待装配件的第一图像或第一位姿， 结合获取的装配相关 的参数信息， 经过预先经过训练的第一模型生成第一指令， 通过第一指令控制 机械手移动到待装配件附近， 抓取待装配件， 带动待装配件移动到装配件的装 配位置附近， 带动待装配件装配到装配位置； 其中， 第一位姿为基于第一图像 获取的装配件和待装配件的位姿。
[0120] 如图 6所示， 在另一些实施例中， 所述装配装置 300包括如下模块： 第二指令生 成模块 310、 第三指令生成模块 320。
[0121] 第二指令生成模块 310， 用于基于获取的待装配件的第二图像或第二位姿， 结 合获取的装配相关的参数信息， 生成第二指令， 通过所述第二指令控制机械手 移动到所述待装配件附近， 抓取所述待装配件； 其中， 所述第二位姿为基于所 述第二图像获取的待装配件的位姿；
[0122] 第三指令生成模块 320, 用于基于获取装配件的装配位置的第三图像或第三位 姿， 结合获取的装配相关的参数信息， 生成第三指令， 通过所述第三指令带动 所述待装配件移动到所述装配件的装配位置附近， 带动所述待装配件装配到所 述装配位置； 其中， 所述第三位姿为基于所述第三图像获取的装配件的装配位 置的位姿； [0123] 第二指令生成模块 310为基于预先经过训练的第二模型获取； 和 /或，
[0124] 第三指令生成模块 320为基于预先经过训练的第三模型获取。
[0125] 如图 7所示， 在另一些实施例中， 所述装配装置 400包括如下模块： 第四指令生 成模块 410、 第五指令生成模块 420、 第六指令生成模块 430、 第七指令生成模块 440。
[0126] 第四指令生成模块 410, 用于基于获取的待装配件的第二图像或第二位姿， 生 成第四指令， 通过所述第四指令控制机械手移动到所述装配件附近； 其中， 所 述第二位姿为基于所述第二图像获取的待装配件的位姿；
[0127] 第五指令生成模块 420, 用于基于机械手移动到所述装配件附近后的待装配件 的第四图像或第四位姿,结合获取的装配相关的参数信息， 生成第五指令， 通过 所述第五指令控制机械手抓取所述装配件； 其中， 所述第四位姿为基于所述第 四图像获取的机械手移动到所述装配件附近后的待装配件的位姿；
[0128] 第六指令生成模块 430, 用于基于获取的装配件上的装配位置的第三图像或第 三位姿， 生成第六指令， 通过所述第六指令控制机械手带动所述装配件移动到 待装配位置附近； 其中， 第三位姿为基于所述第三图像获取的装配件上的装配 位置的位姿；
[0129] 第七指令生成模块 440, 用于基于获取机械手带动所述装配件移动到待装配位 置附近后的装配件上的装配位置的第五图像或第五位姿， 结合获取的装配相关 的参数信息， 生成第七指令， 通过所述第七指令控制所述机械手带动所述待装 配件装配到所述装配位置； 其中， 第五位姿为基于所述第五图像获取的机械手 带动所述装配件移动到待装配位置附近后的装配件上的装配位置的位姿；
[0130] 其中， 第四指令生成模块 450, 用于基于预先经过训练的第四模型生成第四指 令； 和 /或，
[0131] 第五指令生成模块 460, 用于基于预先经过训练的第五模型生成第五指令； 和 / 或，
[0132] 第六指令生成模块 470, 用于基于预先经过训练的第六模型生成第六指令； 和 / 或，
[0133] 第七指令生成模块 480, 用于基于预先经过训练的第七模型生成第七指令。 [0134] 在一些实施例中， 本申请实施例提供一种计算机可读存储介质， 计算机可读存 储介质存储有计算机可读指令， 计算机可读指令被处理器执行时实现上面实施 例所述的装配方法的相关方法步骤。
[0135] 图 9是本申请一实施例提供的计算机设备的结构示意图。 如图 9所示， 该实施例 的计算机设备 3包括： 处理器 30、 存储器 31以及存储在所述存储器 31中并可在所 述处理器 30上运行的计算机可读指令 32。 所述处理器 30执行所述计算机可读指 令 32时实现上述各个装配方法的步骤。
[0136] 示例性的， 所述计算机可读指令可以被分割成一个或多个模块 /单元， 所述一 个或者多个模块 /单元被存储在所述存储器 (图未示意出) 中， 并由所述处理器 7 40执行， 以完成本申请。 所述一个或多个模块 /单元可以是能够完成特定功能的 一系列计算机可读指令段， 该指令段用于描述所述计算机可读指令装配的过程 。 例如， 所述计算机可读指令可以被分割成第一指令生成模块， 用于基于获取 装配件和待装配件的第一图像或第一位姿， 结合获取的装配相关的参数信息， 经过预先经过训练的第一模型生成第一指令， 通过所述第一指令控制机械手移 动到所述待装配件附近， 抓取所述待装配件， 带动所述待装配件移动到所述装 配件的装配位置附近， 带动所述待装配件装配到所述装配位置； 其中， 所述第 一位姿为基于所述第一图像获取的所述待装配件和装配件的位姿。
[0137] 所述计算机设备可以是桌上型计算机、 笔记本、 掌上电脑及云端服务器等计算 设备。 所述计算机设备可包括， 但不仅限于， 处理器、 存储器。 本领域技术人 员可以理解， 所述示意图仅仅是计算机设备的示例， 并不构成对计算机设备的 限定， 可以包括比图示更多或更少的部件， 或者组合某些部件， 或者不同的部 件， 例如所述计算机设备还可以包括输入输出设备、 网络接入设备、 总线等。
[0138] 所述处理器 30可以是中央处理单元 (Central Processing Unit， CPU) , 还可以是其 他通用处理器、 数字信号处理器 (Digital Signal Processor， DSP)、 专用集成电路 (Application Specific Integrated Circuit, ASIC)、 现成可编程门阵列
(Field-Programmable Gate Array, FPGA)或者其他可编程逻辑器件、 分立门或者 晶体管逻辑器件、 分立硬件组件等。 通用处理器可以是微处理器或者该处理器 也可以是任何常规的处理器等。 [0139] 所述存储器可以是所述计算机设备内置的存储设备， 例如硬盘或内存。 所述存 储器也可以是所述插机设备的外部存储设备， 例如所述插机设备上配备的插接 式硬盘， 智能存储卡 (Smart Media Card, SMC) ， 安全数字 (Secure
Digital， SD) 卡， 闪存卡 (Flash Card) 等。 进一步地， 所述存储器还可以既包 括所述计算机设备 3的内部存储单元， 也包括外部存储设备。 所述存储器用于存 储所述计算机可读指令以及所述插机设备所需的其他计算机指令和数据。 所述 存储器还可以用于暂时地存储已经输出或者将要输出的数据。
[0140] 以上仅为本申请的可选实施例而已， 并不用于限制本申请。 对于本领域的技术 人员来说， 本申请可以有各种更改和变化。 凡在本申请的精神和原则之内， 所 作的任何修改、 等同替换、 改进等， 均应包含在本申请的权利要求范围之内。

Claims

权利要求书
[权利要求 1] 一种装配方法， 其特征在于， 所述装配方法包括：
基于获取的装配件和待装配件的第一图像或第一位姿， 结合获取的装 配相关的参数信息， 经过预先经过训练的第一模型生成指向机械手的 第一指令， 通过所述指令控制所述机械手移动到所述待装配件附近， 抓取所述待装配件， 带动所述待装配件移动到所述装配件的装配位置 附近和带动所述待装配件装配到所述装配位置； 其中， 所述第一位姿 为基于所述第一图像获取的所述装配件和所述待装配件的位姿。
[权利要求 2] 根据权利要求 i所述的装配方法， 其特征在于， 所述参数信息包括： 机械手的位姿信息、 力 /力矩反馈信号、 和 /或所述装配件和 /或所述待 装配件的物理信息。
[权利要求 3] 根据权利要求 1所述的装配方法， 其特征在于， 所述第一模型为 NN模 型、 CNN模型或 CNN模型与其它模型的结合。
[权利要求 4] 根据权利要求 1所述的装配方法， 其特征在于， 所述预先经过训练的 第一模型通过包括如下训练方法步骤获取：
监督学习、 强化学习或模仿学习。
[权利要求 5] 一种装配方法， 其特征在于， 所述装配方法包括：
基于获取的待装配件的第二图像或第二位姿， 结合获取的装配相关的 参数信息， 生成第二指令， 通过所述第二指令控制机械手移动到所述 待装配件附近， 抓取所述待装配件； 其中， 所述第二位姿为基于所述 第二图像获取的所述待装配件的位姿；
基于获取的装配件的装配位置第三图像或第三位姿， 结合获取的装配 相关的参数信息， 生成第三指令， 通过所述第三指令带动所述待装配 件移动到所述装配件的装配位置附近， 带动所述待装配件装配到所述 装配位置； 其中， 所述第三位姿为基于所述第三图像获取的所述装配 件的装配位置的位姿；
所述第二指令经过预先经过训练的第二模型生成； 和 /或， 所述第三指令经过预先经过训练的第三模型生成。
[权利要求 6] 根据权利要求 5所述的装配方法， 其特征在于， 所述参数信息包括： 机械手的位姿信息、 力 /力矩反馈信号、 和 /或所述装配件和 /或所述待 装配件的物理信息。
[权利要求 7] 根据权利要求 5所述的装配方法， 其特征在于， 所述第二模型和 /或所 述第三模型为 NN模型、 CNN模型、 CNN模型与其它模型的结合或 N N模型与其它模型的结合。
[权利要求 8] 根据权利要求 5所述的装配方法， 其特征在于， 所述预先经过训练的 第二模型和 /或所述预先经过训练的第三模型通过包括如下训练方法 步骤获取：
监督学习、 强化学习或模仿学习。
[权利要求 9] 一种装配方法， 其特征在于， 所述装配方法包括：
基于获取的待装配件的第二图像或第二位姿， 生成第四指令， 通过所 述第四指令控制机械手移动到所述装配件附近； 其中， 所述第二位姿 为基于所述第二图像获取的所述待装配件的位姿； 基于获取的机械手移动到所述装配件附近后的待装配件的第四图像或 第四位姿， 结合获取的装配相关的参数信息， 生成第五指令， 通过所 述第五指令控制机械手抓取所述装配件； 其中， 所述第四位姿为基于 所述第四图像获取的所述机械手移动到所述装配件附近后的所述待装 配件的位姿；
基于获取的装配件上的装配位置的第三图像或第三位姿， 生成第六指 令， 通过所述第六指令控制机械手带动所述装配件移动到待装配位置 附近； 其中， 所述第三位姿为基于所述第三图像获取的所述装配件上 的装配位置的位姿；
基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件 上的装配位置第五图像或第五位姿， 结合获取的装配相关的参数信息 ， 生成第七指令， 通过所述第七指令控制所述机械手带动所述待装配 件装配到所述装配位置； 其中， 所述第五位姿为基于所述第五图像获 取的机械手带动所述装配件移动到所述待装配位置附近后的所述装配 件上的所述装配位置的位姿；
所述第五指令经过预先经过训练的第四模型生成； 和 /或， 所述第六指令经过预先经过训练的第五模型生成； 和 /或， 所述第七指令经过预先经过训练的第六模型生成； 和 /或， 所述第八指令经过预先经过训练的第七模型生成。
[权利要求 10] 根据权利要求 9所述的装配方法， 其特征在于， 所述参数信息包括： 机械手的位姿信息、 力 /力矩反馈信号、 和 /或所述装配件和 /或所述待 装配件的物理信息。
[权利要求 11] 根据权利要求 9所述的装配方法， 其特征在于， 所述预先经过训练的 第四模型、 预先经过训练的第五模型、 预先经过训练的第六模型和 / 或预先经过训练的第七模型为 NN模型、 CNN模型、 CNN模型与其它 模型的结合或 NN模型与其它模型的结合。
[权利要求 12] 根据权利要求 9所述的装配方法， 其特征在于， 所述预先经过训练的 第四模型、 预先经过训练的第五模型、 预先经过训练的第六模型和 / 或预先经过训练的第七模型通过包括如下训练方法步骤获取： 监督学习、 强化学习或模仿学习。
[权利要求 13] 一种装配装置， 其特征在于， 所述装配装置包括第一指令生成模块； 所述第一指令生成模块， 用于基于获取的装配件和待装配件的第一图 像或第一位姿， 结合获取的装配相关的参数信息， 经过预先经过训练 的第一模型生成指向所述机械手的第一指令， 通过所述指令控制机械 手移动到所述待装配件附近， 抓取所述待装配件， 带动所述待装配件 移动到所述装配件的装配位置附近和带动所述待装配件装配到所述装 配位置； 其中， 所述第一位姿为基于所述第一图像获取的所述装配件 和待装配件的位姿； 或，
所述装配装置包括第二指令生成模块和第三指令生成模块； 所述第二指令生成模块， 用于基于获取的待装配件的第二图像或第二 位姿， 结合获取的装配相关的参数信息， 生成第二指令， 通过所述第 二指令控制机械手移动到所述待装配件附近， 抓取所述待装配件； 其 中， 所述第二位姿为基于所述第二图像获取的所述待装配件的位姿； 所述第三指令生成模块， 用于基于获取的装配件的装配位置第三图像 或第三位姿， 结合获取的装配相关的参数信息， 生成第三指令， 通过 所述第三指令带动所述待装配件移动到所述装配件的装配位置附近， 带动所述待装配件装配到所述装配位置； 其中， 所述第三位姿为基于 所述第三图像获取的所述装配件的位姿；
所述第二指令生成模块为经过预先经过训练的第二模型； 和 /或所述 第三指令生成模块为经过预先经过训练的第三模型； 或，
所述装配装置包括第四指令生成模块、 第五指令生成模块、 第六指令 生成模块、 第七指令生成模块；
所述第四指令生成模块， 用于基于获取的待装配件的第二图像或第二 位姿， 生成第四指令， 通过所述第四指令控制机械手移动到所述装配 件附近； 其中， 所述第二位姿为基于所述第二图像获取的所述待装配 件的位姿；
所述第五指令生成模块， 用于基于获取的机械手移动到所述装配件附 近后的待装配件的第四图像或第四位姿,结合获取的装配相关的参数 信息， 生成第五指令， 通过所述第五指令控制机械手抓取所述装配件 ； 其中， 所述第四位姿为基于所述第四图像获取的所述机械手移动到 所述装配件附近后的待装配件的位姿；
所述第六指令生成模块， 用于基于获取的装配件上的装配位置的第三 图像或第三位姿， 生成第六指令， 通过所述第六指令控制机械手带动 所述装配件移动到待装配位置附近； 其中， 所述第三位姿为基于所述 第三图像获取的所述装配件上的装配位置的位姿；
所述第七指令生成模块， 用于基于获取的机械手带动所述装配件移动 到待装配位置附近后的装配件上的装配位置第五图像或第五位姿，结 合获取的装配相关的参数信息， 生成第七指令,通过所述第七指令控 制所述机械手带动所述待装配件装配到所述装配位置； 其中， 所述第 五位姿为基于所述第五图像获取的机械手带动所述装配件移动到待装 配位置附近后的装配件上的装配位置的位姿；
所述第五指令生成模块为预先经过训练的第四模型； 和 /或所述第六 指令生成模块为预先经过训练的第六模型； 和 /或所述第六指令生成 模块为预先经过训练的第六模型； 和 /或所述第六指令生成模块为预 先经过训练的第六模型。
[权利要求 14] 一种计算机可读存储介质， 其上存储有计算机可读指令， 其特征在于 ， 所述指令被处理器执行时实现权利要求 1-12任意一项所述的装配方 法。
[权利要求 15] 一种计算机设备， 其特征在于， 所述计算机设备包括存储器、 处理器 以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令 ， 所述处理器执行所述计算机可读指令时实现权利要求 1-12任意一项 所述的装配方法。
[权利要求 16] 一种装配设备， 其特征在于， 所述装配设备包括机械手、 图像传感器 和控制装置；
所述机械手， 用于根据所述控制装置的控制， 执行装配相关的动作； 所述图像传感器， 用于获取并发送给控制装置装配相关的第一图像、 第二图像、 第三图像、 第四图像和 /或第五图像； 所述控制装置， 用于基于获取的装配件和待装配件的所述第一图像或 第一位姿， 结合获取的装配相关的参数信息， 经过预先经过训练的第 一模型生成指向机械手的第一指令， 通过所述指令控制所述机械手移 动到所述待装配件附近， 抓取所述待装配件， 带动所述待装配件移动 到所述装配件的装配位置附近和带动所述待装配件装配到所述装配位 置； 其中， 所述第一位姿为基于所述第一图像获取的所述装配件和所 述待装配件的位姿； 或，
基于获取的待装配件的所述第二图像或第二位姿， 结合获取的装配相 关的参数信息， 生成第二指令， 通过所述第二指令控制机械手移动到 所述待装配件附近， 抓取所述待装配件； 其中， 所述第二位姿为基于 所述第二图像获取的所述待装配件的位姿； 基于获取的装配件的装配位置所述第三图像或第三位姿， 结合获取的 装配相关的参数信息， 生成第三指令， 通过所述第三指令带动所述待 装配件移动到所述装配件的装配位置附近， 带动所述待装配件装配到 所述装配位置； 其中， 所述第三位姿为基于所述第三图像获取的所述 装配件的装配位置的位姿；
所述第二指令经过预先经过训练的第二模型生成； 和 /或， 所述第三指令经过预先经过训练的第三模型生成；
基于获取的待装配件的所述第二图像或第二位姿， 生成第四指令， 通 过所述第四指令控制机械手移动到所述装配件附近； 其中， 所述第二 位姿为基于所述第二图像获取的所述待装配件的位姿； 或， 基于获取的机械手移动到所述装配件附近后的待装配件的所述第四图 像或第四位姿， 结合获取的装配相关的参数信息， 生成第五指令， 通 过所述第五指令控制机械手抓取所述装配件； 其中， 所述第四位姿为 基于所述第四图像获取的所述机械手移动到所述装配件附近后的所述 待装配件的位姿；
基于获取的装配件上的装配位置的所述第三图像或第三位姿， 生成第 六指令， 通过所述第六指令控制机械手带动所述装配件移动到待装配 位置附近； 其中， 所述第三位姿为基于所述第三图像获取的所述装配 件上的装配位置的位姿；
基于获取的机械手带动所述装配件移动到待装配位置附近后的装配件 上的装配位置的所述第五图像或第五位姿， 结合获取的装配相关的参 数信息， 生成第七指令， 通过所述第七指令控制所述机械手带动所述 待装配件装配到所述装配位置； 其中， 所述第五位姿为基于所述第五 图像获取的机械手带动所述装配件移动到所述待装配位置附近后的所 述装配件上的所述装配位置的位姿；
所述第五指令经过预先经过训练的第四模型生成； 和 /或， 所述第六指令经过预先经过训练的第五模型生成； 和 /或， 所述第七指令经过预先经过训练的第六模型生成； 和 /或， 所述第八指令经过预先经过训练的第七模型生成。
[权利要求 17] 根据权利要求 16所述的装配设备， 其特征在于， 所述参数信息包括： 机械手的位姿信息、 力 /力矩反馈信号、 和 /或所述装配件和 /或所述待 装配件的物理信息。
[权利要求 18] 根据权利要求 17所述的装配设备， 其特征在于， 所述装配设备还包括 藕接所述控制装置的力传感器， 所述力传感器用于获取所述力 /力矩 反馈信号， 并发送给所述控制装置。
PCT/CN2019/105700 2018-09-17 2019-09-12 一种装配方法、装配装置及装配设备 WO2020057440A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811079680.5A CN109397285B (zh) 2018-09-17 2018-09-17 一种装配方法、装配装置及装配设备
CN201811079680.5 2018-09-17

Publications (1)

Publication Number Publication Date
WO2020057440A1 true WO2020057440A1 (zh) 2020-03-26

Family

ID=65464783

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/105700 WO2020057440A1 (zh) 2018-09-17 2019-09-12 一种装配方法、装配装置及装配设备

Country Status (2)

Country Link
CN (1) CN109397285B (zh)
WO (1) WO2020057440A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109397285B (zh) * 2018-09-17 2021-09-07 鲁班嫡系机器人（深圳）有限公司 一种装配方法、装配装置及装配设备
CN110026987B (zh) * 2019-05-28 2022-04-19 广东工业大学 一种机械臂抓取轨迹的生成方法、装置、设备及存储介质
CN110756462B (zh) * 2019-09-24 2022-04-08 鲁班嫡系机器人（深圳）有限公司 电源适配器测试方法、装置、系统、控制装置及存储介质
CN110712202B (zh) * 2019-09-24 2021-07-16 鲁班嫡系机器人（深圳）有限公司 异形元器件抓取方法、装置、系统、控制装置及存储介质
CN110989525B (zh) * 2019-12-09 2023-06-30 北京航空航天大学 一种基于fpga的产品智能装配生产线监控系统及方法
CN111331607B (zh) * 2020-04-03 2021-04-23 山东大学 一种基于机械臂的自主抓取与码垛方法及系统
CN113909829A (zh) * 2020-07-08 2022-01-11 华为技术有限公司 装配设备的系统、方法和装置
CN113043275B (zh) * 2021-03-29 2022-05-24 南京工业职业技术大学 基于专家演示和强化学习的微零件装配方法
CN114029723B (zh) * 2021-11-05 2022-09-13 江苏昱博自动化设备有限公司 一种基于多源传感的装配机械手用高精度装配方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003039253A (ja) * 2001-07-24 2003-02-12 Fuji Photo Film Co Ltd 組付部品の位置調整方法
CN101913076A (zh) * 2010-06-23 2010-12-15 中国科学院自动化研究所 基于工业机器人的活塞、活塞销和连杆装配方法及装置
CN104057290A (zh) * 2014-06-24 2014-09-24 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN106228563A (zh) * 2016-07-29 2016-12-14 杭州鹰睿科技有限公司 基于三维视觉的自动装配系统
CN106584463A (zh) * 2016-12-29 2017-04-26 南京天祥智能设备科技有限公司 基于惯性测量的装配系统及装配方法
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN207155172U (zh) * 2017-07-27 2018-03-30 陕西科技大学 一种基于视觉的装配系统
CN108098776A (zh) * 2017-12-29 2018-06-01 深圳市越疆科技有限公司 一种自动抓取方法、装置、机械手及存储介质
CN109397285A (zh) * 2018-09-17 2019-03-01 鲁班嫡系机器人（深圳）有限公司 一种装配方法、装配装置及装配设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5608847A (en) * 1981-05-11 1997-03-04 Sensor Adaptive Machines, Inc. Vision target based assembly
JPH11123683A (ja) * 1997-10-22 1999-05-11 Fanuc Ltd 引き抜き分解機能を有する力制御ロボット
JP2008290228A (ja) * 2007-04-24 2008-12-04 Fanuc Ltd 嵌合装置
EP2189753A3 (en) * 2008-11-24 2011-01-05 Politechnika Slaska Assembly stand for mineral cutting head
JP2011115877A (ja) * 2009-12-02 2011-06-16 Canon Inc 双腕ロボット
CN102107352B (zh) * 2010-12-08 2012-08-22 中国科学院自动化研究所 涡旋式空调压缩机的轴承-曲柄轴智能压装方法及系统
EP3321044A4 (en) * 2015-08-25 2019-05-29 Kawasaki Jukogyo Kabushiki Kaisha REMOTELY CONTROLLED MANIPULATOR SYSTEM AND METHOD FOR OPERATION THEREOF
CN105499953B (zh) * 2016-01-12 2020-02-07 中国科学院自动化研究所 基于工业机器人的汽车发动机活塞、缸体装配系统及方法
CN106625673B (zh) * 2016-12-29 2019-09-24 南京天祥智能设备科技有限公司 狭小空间装配系统及装配方法
CN106926241A (zh) * 2017-03-20 2017-07-07 深圳市智能机器人研究院 一种基于视觉引导的双臂机器人装配方法及系统
CN206899244U (zh) * 2017-04-25 2018-01-19 无锡黎曼机器人科技有限公司 视觉导引汽车后隔板装配机器人

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003039253A (ja) * 2001-07-24 2003-02-12 Fuji Photo Film Co Ltd 組付部品の位置調整方法
CN101913076A (zh) * 2010-06-23 2010-12-15 中国科学院自动化研究所 基于工业机器人的活塞、活塞销和连杆装配方法及装置
CN104057290A (zh) * 2014-06-24 2014-09-24 中国科学院自动化研究所 一种基于视觉和力反馈控制的机器人装配方法与系统
CN106228563A (zh) * 2016-07-29 2016-12-14 杭州鹰睿科技有限公司 基于三维视觉的自动装配系统
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN106584463A (zh) * 2016-12-29 2017-04-26 南京天祥智能设备科技有限公司 基于惯性测量的装配系统及装配方法
CN207155172U (zh) * 2017-07-27 2018-03-30 陕西科技大学 一种基于视觉的装配系统
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN108098776A (zh) * 2017-12-29 2018-06-01 深圳市越疆科技有限公司 一种自动抓取方法、装置、机械手及存储介质
CN109397285A (zh) * 2018-09-17 2019-03-01 鲁班嫡系机器人（深圳）有限公司 一种装配方法、装配装置及装配设备

Also Published As

Publication number Publication date
CN109397285B (zh) 2021-09-07
CN109397285A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
WO2020057440A1 (zh) 一种装配方法、装配装置及装配设备
US20240017405A1 (en) Viewpoint invariant visual servoing of robot end effector using recurrent neural network
CN109483534B (zh) 一种物体抓取方法、装置和系统
CN110561430B (zh) 用于离线示例学习的机器人装配轨迹优化方法及装置
JP7458741B2 (ja) ロボット制御装置及びその制御方法及びプログラム
US11833682B2 (en) Robot, method, and manipulating system
Zhang et al. Human-robot shared control for surgical robot based on context-aware sim-to-real adaptation
US20220161424A1 (en) Device and method for controlling a robotic device
JP2020082322A (ja) 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
Shao et al. Learning to scaffold the development of robotic manipulation skills
US20220105625A1 (en) Device and method for controlling a robotic device
CN115351780A (zh) 用于控制机器人设备的方法
JP2021091022A (ja) ロボット制御装置、学習済みモデル、ロボット制御方法およびプログラム
WO2022211403A1 (en) Hybrid robotic motion planning system using machine learning and parametric trajectories
Rao et al. An automated robotic arm: a machine learning approach
CN111015676B (zh) 基于无手眼标定的抓取学习控制方法、系统、机器人及介质
JP7205752B2 (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
US20230256608A1 (en) Systems and methods for deformable object manipulation using air
WO2022220486A1 (en) Systems and methods for automated tuning of robotics systems
Akbulut et al. Bimanual rope manipulation skill synthesis through context dependent correction policy learning from human demonstration
US20220317659A1 (en) Transfer between Tasks in Different Domains
CN110561431B (zh) 用于离线示例学习的机器人装配演示轨迹提取方法及装置
WO2022211310A1 (en) Systems and methods for adaptive robotic motion control
Li et al. Intelligent Visual Servoing Using Learning-Based Grasping Configurations and Adaptive Controller Gain
Maeda et al. View-based programming with reinforcement learning for robotic manipulation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19863851

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 06/08/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19863851

Country of ref document: EP

Kind code of ref document: A1