WO2023083034A1 - 视触觉融合的机器人精密装配控制方法及系统 - Google Patents

视触觉融合的机器人精密装配控制方法及系统 Download PDF

Info

Publication number
WO2023083034A1
WO2023083034A1 PCT/CN2022/128555 CN2022128555W WO2023083034A1 WO 2023083034 A1 WO2023083034 A1 WO 2023083034A1 CN 2022128555 W CN2022128555 W CN 2022128555W WO 2023083034 A1 WO2023083034 A1 WO 2023083034A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
assembly
robot
tactile
clamping actuator
Prior art date
Application number
PCT/CN2022/128555
Other languages
English (en)
French (fr)
Inventor
楼云江
刘瑞凯
杨先声
黎阿建
Original Assignee
哈尔滨工业大学（深圳）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202111336249.6A external-priority patent/CN113927602B/zh
Priority claimed from CN202111336234.XA external-priority patent/CN113954076B/zh
Priority claimed from CN202111336206.8A external-priority patent/CN113878588B/zh
Application filed by 哈尔滨工业大学（深圳） filed Critical 哈尔滨工业大学（深圳）
Publication of WO2023083034A1 publication Critical patent/WO2023083034A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls

Definitions

  • the present invention generally relates to a robot-based assembly control method and system, in particular to a robot precision assembly control method and system based on visual and tactile fusion.
  • the invention belongs to the technical field of robots.
  • the invention provides a robot-based assembly control method and system, aiming to solve at least one of the technical problems in the prior art.
  • the technical solution of the present invention is based on the clamping actuator at the end of the robot is provided with a tactile sensor, and the assembly area of the clamping actuator is photographed by a visual device.
  • the technical solution of the present invention relates to a robot-based assembly control method on the one hand, comprising the following steps:
  • the plurality of neural network models at least include a reinforcement learning network model and a tensor fusion network model, wherein the training data includes visual data from the visual device, tactile sensation from the tactile sensor data, motion feedback data and torque feedback data of the robot;
  • the visual data includes RGB image data and depth image data.
  • Another aspect of the technical solution of the present invention relates to a robot assembly control method based on cross-modal prediction assembly scenarios, wherein a tactile sensor is provided on the clamping actuator at the end of the robot, and the clamping actuator's The assembly area is photographed by a vision device, the method comprising the steps of:
  • the neural network models include a multi-layer perceptron, a reinforcement learning network model and a tensor fusion network model, wherein the training data includes visual data from the visual device, from the tactile sensor tactile data, pose data from the robot controller, motion feedback data and torque feedback data of the robot;
  • S220 Use the robot controller to drive the clamping actuator to start the assembly action from the initial point of assembly, and then collect the reference visual data, actual visual data, initial tactile data, and actual For tactile data, the robot controller provides initial pose data and actual pose data, and performs compression and/or filtering processing to convert into corresponding reference visual data representation vectors, actual visual representation vectors, actual tactile data representation vectors, initial tactile Data representation vector and actual pose data representation vector;
  • S230 Splicing and fusing reference visual data representation vectors, initial haptic data representation vectors, actual tactile data representation vectors, initial pose data representation vectors, and actual pose data representation vectors, and input them to the multi-layer perceptron to output and actual visual representations A vector of predicted visual representations close to the vector;
  • the technical solution of the present invention also relates to a computer-readable storage medium on which program instructions are stored, and the above-mentioned method is implemented when the program instructions are executed by a processor.
  • the technical solution of the present invention also relates to a robot-based assembly control system, which includes: a clamping actuator arranged at the end of the moving part of the robot, and the clamping inner side of the clamping actuator is sequentially provided with tactile sensors and The soft rubber pad; the vision equipment matched with the robot, the vision equipment is used to collect the visual data of the assembly parts and their surroundings; a computer device, the computer device includes the computer-readable storage medium.
  • the present invention uses changes in tactile signals to indirectly obtain external force information in other dimensions, and integrates it with visual information to obtain multimodal representations.
  • This characterization vector can be used to generate appropriate robot action instructions, and is also used to predict whether the assembly has reached the damping point, so as to flexibly adjust the insertion force to complete the assembly.
  • the present invention uses a plurality of neural network models, so that the visual data and tactile data of the assembly operation have the effect of reinforcement learning, and significantly improve the success rate and accuracy of the precision assembly of small parts.
  • Fig. 1 is a framework diagram of an overall method flow in an embodiment of the present invention.
  • Fig. 2 is a detailed flowchart of part of the robot motion control method according to the embodiment of the present invention.
  • Fig. 3 is a schematic diagram of the arrangement of clamping actuators according to an embodiment of the present invention.
  • Fig. 4 is a hardware platform of a robot and an assembly control system according to an embodiment of the present invention.
  • FIG. 5 and FIG. 6 are schematic diagrams of the reinforcement learning results according to the method of the present invention.
  • Fig. 7 is a flow chart of an assembly control method based on a predicted scene according to an embodiment of the present invention.
  • the assembly system according to the present invention includes: a clamping actuator 1 arranged at the end of the moving part of the robot; a tactile sensor arranged inside the jaw of the clamping actuator 1 2; a vision device arranged to photograph the assembly area of the clamping actuator; and a computer device (not shown in the drawings) communicatively connected with the robot motion controller, the clamping actuator 1, the tactile sensor 2 and the vision device.
  • the assembly system according to the present invention can satisfy socket assembly in the form of buckle.
  • the touch sensor 2 can be a 5 ⁇ 5 dot matrix pressure-sensitive touch sensor.
  • a rubber pad made of soft rubber about 5mm thick
  • a layer of rubber film is pasted.
  • the visual device can adopt an RGB-D camera, which can output RGB image and depth image data at the same time.
  • the robot adopts a series multi-joint robot, and the clamping actuator 1 is installed at the end.
  • the computer means can be independent of the robot controller or can be integrated into the robot controller in order to carry out the method according to the invention.
  • the method according to the present invention comprises the following steps:
  • the neural network models include a multi-layer perceptron, a reinforcement learning network model and a tensor fusion network model, wherein the training data includes visual data from the visual device, from the tactile sensor tactile data, pose data from the robot controller, motion feedback data and torque feedback data of the robot;
  • the visual data includes RGB image data and depth image data.
  • the assembly process of inserting the USB-C charging cable plug into the socket the clamping actuator 2 clamps the USB-C charging cable plug, the USB-C socket is fixed, and the tactile sensor collects and clamps the clamping actuator 2 clip Holding the pressure tactile data of the USB-C charging cable plug, the visual device collects the visual data of the USB-C charging cable plug (hereinafter referred to as the plug) and the USB-C socket (hereinafter referred to as the socket).
  • step S110 For the specific implementation of step S110
  • the training data includes visual data from a visual device.
  • the visual device in this embodiment is a camera, and the camera acquires visual data pictures of the plug and the socket, that is, RGB image data and depth image data of the plug and the socket.
  • the tactile data from the tactile sensor which is a 5 ⁇ 5 dot matrix pressure tactile sensor in this embodiment, collects the pressure tactile data of the clamping actuator clamping the plug.
  • Step S110 also specifically includes the following steps:
  • the real-time Cartesian space pose of the clamping actuator at the end of the robot of the embodiment is used as the state input, and the co-existing RGB image data, depth image data and pressure tactile data of the clamping plug of the plug and socket are collected at multiple action positions After that, input the reinforcement learning network model to train it.
  • the reward function of the reinforcement learning network model increases accordingly.
  • the reward function of the reinforcement learning network model increases correspondingly according to the proximity of the plug to the socket and the depth of the plug inserted into the socket.
  • step S110 the training process of the reinforcement learning network model combined with the robot platform also includes the following steps:
  • the force/position hybrid control method is used to control the movement of the robot, that is, the movement along the direction of assembly of the plug and the socket (that is, the vertical direction or the z-axis direction in Figures 3 and 4)
  • the movement of the five degrees of freedom (x, y, R, P, Y) of the robot is controlled by position.
  • the feedback gain of the system is large to ensure accuracy; while for one dimension of force control, the feedback gain of the system is small to ensure the compliance of component assembly.
  • each action step sets multiple data collection points, and each data collection point is collected once Visual data and tactile data.
  • the action step is divided into 10 sections, and a total of 11 data collection points are set.
  • a complete socket test of the robot is called a "round", and each round consists of no more than 50 "action steps”. If the robot still fails to complete the socket task after walking 50 action steps, it will fail the judgment and reset to the initial point.
  • Each action step is divided into 10 segments, a total of 11 "waypoints". The gripping actuator driven by the robot will walk through these waypoints in turn to complete an action step. For RGB images and depth images of plugs and sockets, data is collected once per action step; for haptic data, data is collected once per waypoint.
  • RGB image data and depth image data in each assembly action step of the clamping actuator are processed as follows:
  • the RGB image data is cropped into 128 pixels ⁇ 128 pixels, and processed into a grayscale image. Then the RGB image encoder is used to compress and output the RGB representation vector.
  • the depth image data is cropped into 128 pixels ⁇ 128 pixels, and normalized.
  • the output depth representation vector is then compressed by a depth picture encoder.
  • the RGB image and depth image output by the camera of the plug and socket are cut into a size of 128 ⁇ 128 around the assembly area, and the RGB image is converted into a grayscale image to reduce the amount of data and processing time.
  • step S120 For the specific implementation of step S120
  • the clamping actuator carries the plug at about 1mm directly above the socket, and this point is taken as the initial point of assembly, and the robot reads the position of the clamping actuator at this initial point through its own system (such as the ROS system).
  • a six-dimensional pose vector in Cartesian space is taken as the initial point of assembly, and the robot reads the position of the clamping actuator at this initial point through its own system (such as the ROS system).
  • Step S120 also specifically includes the following steps:
  • the tactile data is filtered by a Kalman filter, and the optical flow method (Farneback method) is used to obtain the tactile flow data of the robot along the assembly action direction.
  • the Kalman filter is used to filter the collected tactile information
  • the Farneback method is used to calculate the tactile flow ( The dimension is 25 (5 ⁇ 5 detection points) ⁇ 2 (x, y axis directions) ⁇ 10 (one tactile flow information is calculated for every two consecutive waypoint tactile information).
  • the tactile flow data can be The dimensions reduced by causal convolution are 25 tactile detection points multiplied by 2 tactile detection points to obtain the processed tactile data.
  • the RGB image and depth image output by the camera through the plug and socket are cut into a size of 128 ⁇ 128 around the assembly area, and the RGB image is converted into a grayscale image to reduce Data volume and processing time.
  • S124 Provide a variational autoencoder, respectively input the processed grayscale image and the processed depth image to the variational autoencoder for training, and output the RGB representation vector with a dimension of 16 ⁇ 1 and output depth respectively.
  • the dimensionality of the representation vector is 16 ⁇ 1.
  • VAE variational autoencoder
  • the tactile data representation vector and the assembly force data of the robot are reduced in dimension through causal convolution, they are then input into the tensor fusion network model, and the damping point predictor composed of multi-layer perceptrons is used to judge the Whether the clamping actuator is shipped to the assembly damping node.
  • the dimensionality of the tactile flow is reduced to (i.e., dimension 25 ⁇ 2) through the causal convolutional network, and then combined with the representation vectors of the two images in step S120 (i.e., two 16 ⁇ 1 vector) is fused through the tensor fusion network model (TFN) (that is, adding an element "1" to the end of each modality vector and performing Kronecker product, the result obtained will contain the single information of these three modality at the same time and any combination of information), and then flatten the obtained three-dimensional tensor and input it into the damping point predictor composed of multi-layer perceptrons, which is used to predict whether the plug reaches the buckle damping point in the socket.
  • TNN tensor fusion network model
  • the plug and the outlet extract the tactile data of 5 motion detection points ⁇ 5 motion detection points of the last waypoint in each action step, and use Gaussian convolution to reduce the dimension (that is, the dimension is 9 ⁇ 1), Direct splicing and fusion with the characterization vectors of the two images (that is, the dimension is 16+16+9), and re-input the obtained characterization vector (that is, the dimension is 41 ⁇ 1) into the reinforcement learning network, and generate the action value of the clamping actuator (Five action directions x, y, R, P, Y).
  • step S150 For the specific implementation of step S150
  • the torques of the six movable joints of the robot as shown in FIG. 4 are solved by the following Jacobian matrix:
  • the robot controller implements position control through a PD control algorithm; the robot controller implements force control through a PI control algorithm.
  • Fig. 5 and Fig. 6 shown according to the curve schematic diagram of the reinforcement learning result in the method of the present invention, adopting the network model trained by combining RGB image data+depth image data+F/T force sensor data+robot torque feedback data,
  • the number of tested rounds is more, more rewards can be obtained (that is, the number of times the expected assembly effect is successfully completed), and the number of action steps of the assembly operation is less. That is to say, the assembly method implemented by integrating vision, touch and reinforcement learning network model can achieve better robot precision assembly effect.
  • the neural network of the multi-layer perceptron can be introduced into the computer program of the assembly control system, by combining the reference visual data representation vector, the initial tactile data representation vector, the actual tactile data representation vector, the initial The pose data representation vector and the actual pose data representation vector are spliced and fused, and input to the multi-layer perceptron for training, and finally a multi-layer perceptron that can predict the actual image representation vector is obtained, and the camera is no longer needed to collect image data in the future.
  • the predicted visual representation vector output by the multi-layer perceptron replaces the data of the actual real picture collected by the existing visual equipment, so that when the system encounters problems such as being blocked by the clamped actuator or the visual equipment is out of focus, the whole system can still Complete precision assembly steps to increase system reliability.
  • the robot assembly control method based on the predicted assembly scene may include the following steps:
  • the neural network models include a multi-layer perceptron, a reinforcement learning network model and a tensor fusion network model, wherein the training data includes visual data from the visual device, from the tactile sensor tactile data, pose data from the robot controller, motion feedback data and torque feedback data of the robot;
  • S220 Use the robot controller to drive the clamping actuator to start the assembly action from the initial point of assembly, and then collect the reference visual data, actual visual data, initial tactile data, and actual For tactile data, the robot controller provides initial pose data and actual pose data, and performs compression and/or filtering processing to convert into corresponding reference visual data representation vectors, actual visual representation vectors, actual tactile data representation vectors, initial tactile Data representation vector and actual pose data representation vector;
  • step S210 it also specifically includes: inputting multiple sets of RGB image data and tactile data collected in the assembly area into the reinforcement learning network model for training (as shown in FIG. 7 ).
  • the real-time Cartesian space pose of the clamping actuator at the end of the robot is read, and the reinforcement learning network model is input to train it, and the RGB image data and tactile information of the area where the plug and socket are located are collected at the same time.
  • the reward function of the reinforcement learning network model increases accordingly.
  • the reward function of the reinforcement learning network model increases correspondingly according to the proximity of the plug to the socket and the depth of the plug inserted into the socket.
  • the RGB image data and tactile data of the assembly area are collected, and the image data is input into the autoencoder for training.
  • the training process of the reinforcement learning network model combined with the robot platform is as in steps S111 to S115 in the above method.
  • step S220 reference may also be made to step S120 and its substeps in the above method.
  • the reference visual data is dimensionally reduced by a picture encoder to obtain a reference visual data characterization vector with a dimension of 16 ⁇ 1
  • the reference visual data characterization vector is obtained by a picture decoder to obtain reference picture data
  • the reference picture data A loss function is obtained by comparing the pixels of the original input picture to obtain a mean square error (MSE).
  • MSE mean square error
  • the loss function trains the picture encoder and the picture decoder through reverse transmission and parameter update.
  • the new picture acquired by the vision device can be trained to obtain the representation vector through the trained picture encoder.
  • the initial pose data representation vector (pos_ref), the reference visual data representation vector (z_ref) and the initial tactile data representation vector (tac_ref) are a set of data collected separately in step S20. These three pieces of information are feedbacks from different angles of the same object in the same state.
  • the vision device obtains the reference picture and obtains the reference visual data representation vector (z_ref) through the picture encoder, and the vision device obtains the actual real picture, and then obtains the predicted visual representation vector (z_real) through the picture encoder.
  • visual data representation vector (z_ref), initial tactile data representation vector (tac_ref), actual tactile data representation vector (tac_real), initial pose data representation vector (pos_ref) and actual pose data representation vector (pos_real) Splicing and fusion, splicing into a vector and then inputting it into a multi-layer perceptron, outputting a dimension and a predicted visual representation vector (z_real), and comparing it with the predicted visual representation vector (z_real) of the actual real picture to get the mean square error to obtain the loss function, and then Through reverse transfer and parameter update for training, a multi-layer perceptron that can predict the actual image representation vector is finally obtained.
  • step S240 by predicting the visual representation vector instead of the existing data collected by the visual device to collect the actual real picture, the whole system can still be completed when problems such as being blocked by the clamped actuator or the visual device is out of focus occur in the system. Precise assembly steps increase system reliability.
  • step S250 reference may also be made to step S150 and its substeps in the above method.
  • the method steps in the embodiments of the present invention may be implemented or implemented by computer hardware, a combination of hardware and software, or by computer instructions stored in a non-transitory computer-readable memory.
  • the methods can use standard programming techniques.
  • Each program can be implemented in a high-level procedural or object-oriented programming language to communicate with the computer system.
  • the programs can be implemented in assembly or machine language, if desired. In any case, the language may be a compiled or interpreted language.
  • the program can be run on an application specific integrated circuit programmed for this purpose.
  • processes described herein may be performed in any suitable order unless otherwise indicated herein or otherwise clearly contradicted by context.
  • the processes described herein can be performed under the control of one or more computer systems configured with executable instructions, and as code that collectively executes on one or more processors (e.g. , executable instructions, one or more computer programs or one or more applications), hardware or a combination thereof.
  • the computer program comprises a plurality of instructions executable by one or more processors.
  • the method can be implemented in any type of computing platform operably connected to a suitable one, including but not limited to personal computer, minicomputer, main frame, workstation, network or distributed computing environment, stand-alone or integrated computer platform, or communicate with charged particle tools or other imaging devices, etc.
  • Aspects of the invention can be implemented as machine-readable code stored on a non-transitory storage medium or device, whether removable or integrated into a computing platform, such as a hard disk, optically read and/or written storage medium, RAM, ROM, etc., such that they are readable by a programmable computer, when the storage medium or device is read by the computer, can be used to configure and operate the computer to perform the processes described herein.
  • machine-readable code may be transmitted over a wired or wireless network.
  • the invention described herein includes these and other various types of non-transitory computer-readable storage media when such media include instructions or programs that implement the steps described above in conjunction with a microprocessor or other data processor.
  • the invention may also include the computer itself when programmed according to the methods and techniques described herein.
  • Computer programs can be applied to input data to perform the functions described herein, thereby transforming the input data to generate output data stored to non-volatile memory.
  • Output information may also be applied to one or more output devices such as a display.
  • the transformed data represents physical and tangible objects, including specific visual depictions of physical and tangible objects produced on a display.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

一种基于机器人的装配控制方法，其中，提供多个神经网络模型，多个神经网络模型至少包括强化学习网络模型和张量融合网络模型，其中的训练数据包含来自视觉设备的视觉数据、来自触觉传感器的触觉数据、机器人的动作反馈数据和力矩反馈数据。一种实施控制方法的计算机可读存储介质。一种基于机器人的装配控制系统，包括：在机器人移动部分末端设置的夹持执行器及与机器人配套的视觉设备，夹持执行器的夹持内侧从内到外依次设置触觉传感器及软胶垫。利用触觉信号的变化来间接得到其他维度的外力信息，并将其与视觉信息相融合，表征向量能够用于生成合适的机器人动作指令，以及灵活调整插装力以完成装配。

Description

视触觉融合的机器人精密装配控制方法及系统 技术领域
本发明一般涉及基于机器人的装配控制方法及系统，尤其涉及基于视、触觉融合的机器人精密装配控制方法及系统。本发明属于机器人技术领域。
背景技术
在消费电子产品的批量化生产线中，尽管大多数对精度要求不高的装配任务已经由工业机器人实现全自动化，但仍有很多精密装配和柔顺装配工作需要工人手动完成。对于工业机器人实现高精度、高速度、高柔顺度、高成功率的装配任务的研究一直受到广泛关注且具有较大的技术挑战。而且，对于工业机器人在精密装配时视觉设备容易受到环境影响的问题，譬如被夹持执行器遮挡视觉设备或者视觉设备出现虚焦等问题未能完成精密装配步骤。
发明内容
本发明提供基于机器人的装配控制方法及系统，旨在至少解决现有技术中存在的技术问题之一。
本发明的技术方案基于的机器人末端的夹持执行器上设有触觉传感器，并且所述夹持执行器的装配区域被视觉设备拍摄。
本发明的技术方案一方面涉及一种基于机器人的装配控制方法，包括以下步骤：
S110、提供多个神经网络模型，所述多个神经网络模型至少包括强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据；
S120、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的视觉数据及触觉数据，并且执行压缩和/或滤波处理，以转换成相应的视觉数据表征向量和触觉数据表征向量；
S130、将所述视觉数据表征向量和所述触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
S140、将所述视觉数据表征向量和所述触觉数据表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否运到装配阻尼节点；
S150、根据所述机器人的预测的动作控制数据以及所述夹持执行器是否运到装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度；
其中，所述视觉数据包括RGB图像数据和深度图像数据。
本发明的技术方案另一方面涉及一种基于跨模态预测装配场景的机器人装配控制方法，其中，在所述机器人末端的夹持执行器上设有触觉传感器，并且所述夹持执行器的装配区域被视觉设备拍摄，所述方法包括以下步骤：
S210、提供多个神经网络模型，所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据；
S220、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的参考视觉数据、实际视觉数据、初始触觉数据及实际触觉数据，机器人控制器提供初始位姿数据及实际位姿数据，并且执行压缩和/或滤波处理，以转换成相应的参考视觉数据表征向量、实际视觉表征向量、实际触觉数据表征向量、初始触觉数据表征向量和实际位姿数据表征向量；
S230、将参考视觉数据表征向量、初始触觉数据表征向量、实际触觉数据表征向量、初始位姿数据表征向量及实际位姿数据表征向量拼接融合，并输入至多层感知机，以输出和实际视觉表征向量接近的预测视觉表征向量；
S240、将所述预测视觉表征向量与所述实际触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
S250、将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后和预测视觉表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否接触装配阻尼节点；
S260、根据所述夹持执行器是否接触装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度。
本发明的技术方案还涉及一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施上述的方法。
本发明的技术方案还涉及一种基于机器人的装配控制系统，其包括：在机器人移动部分末端设置的夹持执行器，所述夹持执行器的夹持内侧从内到外依次设置触觉传感器及软胶垫；与机器人配套的视觉设备，所述视觉设备用于收集装配配件及其周边的视觉数据；计算机装置，所述计算机装置包括所述的计算机可读存储介质。
本发明的有益效果如下。
1、本发明利用触觉信号的变化来间接得到其他维度的外力信息，并将其与视觉信息相融 合，得到多模态表征。这一表征向量能够用于生成合适的机器人动作指令，也用于预判装配件是否到达阻尼点，从而灵活调整插装力以完成装配。
2、本发明使用多个神经网络模型，使装配作业的视觉数据及触觉数据具有强化学习的效果，显著提高小型部件的精密装配的成功率和准确度。
附图说明
图1是根据本发明实施例中的整体方法流程框架图。
图2是根据本发明实施例中的机器人运动控制方法部分的细节流程框图。
图3是根据本发明实施例中的夹持执行器的布置示意图。
图4是根据本发明实施例中的机器人和装配控制系统的硬件平台。
图5及图6是根据本发明方法中的强化学习结果的曲线示意图。
图7是根据本发明实施例中的基于预测场景的装配控制方法的流程框架图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
本发明的技术方案是基于机器人的基础硬件来实施，例如在现有的机器人上附加配置硬件和软件来实施。参照图3和图4，在一些实施例中，根据本发明的装配系统包括：在机器人移动部分末端设置的夹持执行器1；设置在所述夹持执行器1的夹爪内侧的触觉传感器2；布置成拍摄所述夹持执行器的装配区域的视觉设备；以及与机器人运动控制器、夹持执行器1、触觉传感器2和视觉设备通信连接的计算机装置(附图未视出)。
参照图3所示，在本发明的典型装配应用实例中，根据本发明的装配系统能够满足卡扣形式的插孔装配。在优选的实施例中，触觉传感器2可以选用5×5的点阵式压感触觉传感器。为了更好的测量被夹持零部件4在外力作用下的“预滑移”，可以在夹持执行器1的指尖和触觉传感器2之间间隔了一个由软胶制成的橡胶垫(约5mm厚)，并在触觉传感器的另一侧(即与被夹持零部件4接触一侧)贴敷了一层橡皮膜。参照图4，视觉设备可以采用RGB-D相机，能同时输出RGB图片和深度图片数据。机器人采用串联式多关节机器人，其在末端安装所述夹持执行器1。计算机装置可以独立于机器人控制器，也可以整合到机器人控制器，以执 行根据本发明的方法。
参照图1及图2，在一些实施例中，根据本发明的方法包括以下步骤：
S110、提供多个神经网络模型，所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据；
S120、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的视觉数据及触觉数据，并且执行压缩和/或滤波处理，以转换成相应的视觉数据表征向量和触觉数据表征向量；
S130、将所述视觉数据表征向量和所述触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
S140、将所述视觉数据表征向量和所述触觉数据表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否运到装配阻尼节点；
S150、根据所述机器人的预测的动作控制数据以及所述夹持执行器是否运到装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度；
其中，所述视觉数据包括RGB图像数据和深度图像数据。
下面，通过具体的3C部件的装配实例来描述上述步骤的具体实施例。在这些实例中，将USB-C充电线插头插装在插口的装配过程：夹持执行器2夹持USB-C充电线插头，USB-C插口被固定，触觉传感器收集夹持执行器2夹持USB-C充电线插头的压力触觉数据，视觉设备收集USB-C充电线插头(下称插头)及USB-C插口(下称插口)的视觉数据。
对于步骤S110的具体实施方式
训练数据包含来自视觉设备的视觉数据，该实施例的视觉设备为相机，该相机获取插头及插口的视觉数据图片，即是插头与插口的共在的RGB图像数据及深度图像数据。结合图1结合图3所示，来自所述触觉传感器的触觉数据，该实施例为5×5的点阵式压感触觉传感器，收集夹持执行器夹持插头的压力触觉数据。
步骤S110还具体包括以下步骤：
读取机器人末端的实时六维笛卡尔空间位姿，并输入强化学习网络模型对其进行训练，同时采集装配区域在每个装配动作步的RGB图片、深度图片和触觉数据。实施例的机器人末端的夹持执行器的实时笛卡尔空间位姿作为状态输入，插头及插口的共在的RGB图像数据、深度图像数据及夹持插头的压力触觉数据在多个动作位置被收集后，输入强化学习网络模型 对其进行训练。
当夹持执行器与装配终点的距离越近时、或夹持执行器插入装配零件中的深度越深时，所述强化学习网络模型的奖励函数相应增加。实施例中强化学习网络模型的奖励函数根据插头与插口的接近程度、插头插入插口的深度的增加而相应增加。
步骤S110中，结合机器人平台的强化学习网络模型训练过程还包括以下步骤：
S111、当所述夹持执行器运到装配阻尼节点前，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为M牛；当所述夹持执行器运到装配阻尼节点后，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为N牛，其中，N＞M。
S112、将所述动作反馈数据和力矩反馈数据向机器人控制器输入，机器人控制器输出的动作反馈增益及力矩反馈增益，计算出机器人下一个装配运动节点的装配力度。
如图2，结合上述实施例，采用力/位混合控制方法来控制机器人的运动，即把沿插头与插口装配的方向(即图3和图4中的竖直方向或z轴方向)的运动解耦并采用力控制，机器人的五个自由度(x,y,R,P,Y)的运动采用位置控制。在插头到达卡扣阻尼点之前，机器人带动夹持执行器沿z轴装配力度为M＝2牛；在插头到达阻尼点之后，机器人带动夹持执行器沿z轴装配力度为增大至N＝12牛。对于位置控制的5个维度，该系统的反馈增益较大来保证精度；而对于力控制的1个维度，该系统的反馈增益较小，从而保证部件装配的柔顺性。
S113、当所述夹持执行器运到装配阻尼节点前至装配阻尼节点之间的路径分为50个动作步，每个动作步设置多个数据采集点，每个所述数据采集点采集一次视觉数据及触觉数据。
S114、当所述夹持执行器移动50个动作步未到装配阻尼节点时，所述机器人控制器带动所述夹持执行器到装配初始点复位，重新开始装配动作。
S115、所述动作步分成10段，共计设置11个数据采集点。
结合上述实施例，针对步骤S113至S115，机器人的一次完整的插口试验称为一个“回合”，每个回合由不超过50个“动作步”组成。如果机器人走满50个动作步依然没有完成插孔任务，即判定失败并复位至初始点。每个动作步又分成10段，共计11个“路点”。机器人带动夹持执行器将依次走过这些路点以完成一个动作步。对于插头及插口的RGB图像和深度图像，每个动作步采集一次数据；对于触觉数据，每个路点采集一次数据。
具体地，夹持执行器每个装配动作步中的RGB图像数据及深度图像数据作以下处理：
对于所述夹持执行器每个装配动作步中最后一个路点，将所述RGB图像数据裁剪成128像素×128像素，并处理为灰度图。随后通过RGB图片编码器压缩输出RGB表征向量。
对于所述夹持执行器每个装配动作步中最后一个路点，将所述深度图像数据裁剪成128 像素×128像素，并归一化处理。随后通过深度图片编码器压缩输出深度表征向量。
如图1，结合上述实施例，插头及插口通过相机输出的RGB图片和深度图片围绕装配区域裁剪成128×128的尺寸，并将RGB图像转换成灰度图，以减少数据量和处理时间。
对于步骤S120的具体实施方式
在一个实施例中，夹持执行器携带插头位于插口正上方约1mm处，取该点为装配初始点,机器人通过本身的系统(比如ROS系统)读取夹持执行器在这一初始点的笛卡尔空间六维位姿向量。
步骤S120还具体包括以下步骤：
S121、所述触觉数据通过卡尔曼滤波器进行滤波，并使用光流法(Farneback方法)得到机器人沿装配动作方向的触觉流数据。如图1，结合上述实施例，利用卡尔曼滤波器将收集到的触觉信息滤波，并类比光流法，使用Farneback方法计算每个动作步中夹持执行器x、y方向上的触觉流(维度为25(5×5个检测点)×2(x、y轴两个方向)×10(每两个连续路点的触觉信息计算出一个触觉流信息)。此外，所述触觉流数据可以通过因果卷积降低的维度为25个触觉检测点乘以2个触觉检测点得到处理后的触觉数据。
S122、将采集的RGB图像数据转换成灰度图，然后对于所述夹持执行器每个装配动作步中最后一个路点，将所述RGB图像数据通过RGB图片编码器压缩输出RGB表征向量，然后所述RGB表征向量通过RGB图片解码器裁剪输出128像素×128像素已处理的灰度图。
S123、将采集的深度图像数据转换成灰度图，然后对于所述夹持执行器每个装配动作步中最后一个路点，将所述深度图像数据通过深度图片编码器压缩输出深度表征向量，然后所述深度表征向量通过深度图片解码器裁剪输出128像素×128像素已处理的深度图片。
如图1，步骤S122及S123中，结合上述实施例，插头及插口通过相机输出的RGB图片和深度图片围绕装配区域裁剪成128×128的尺寸，并将RGB图像转换成灰度图，以减少数据量和处理时间。
S124、提供变分自编码器，分别多次输入已处理的灰度图、已处理的深度图片到所述变分自编码器进行训练，分别输出RGB表征向量的维度为16×1、输出深度表征向量的维度为16×1。结合上述实施例，插头及插口装配的灰度图及深度图，采用变分自编码器(VAE)训练这两种图片，从而将图片编码压缩成16×1的“表征向量”，并保证其中涵盖了原始图像的绝大部分信息。
对于步骤S130和S140的具体实施方式
将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否运到装配阻尼节点。
更加具体地，对于每个动作步，通过因果卷积网络将触觉流降维至(即维度25×2)的尺寸，再与步骤S120中两种图像的表征向量(即两个16×1的向量)通过张量融合网络模型(TFN)融合(即对每个模态向量的末端添加元素“1”后进行克罗内克积，所得到的结果将同时包含这三种模态的单一信息和任意组合信息)，再将所得到的三维张量展平并输入由多层感知机组成的阻尼点预测器中，用于预测插头是否到达插口中的卡扣阻尼点。
结合上述实施例，插头及出口提取出每个动作步中最后一个路点的5动作检测点×5动作检测点的触觉数据，将其利用高斯卷积降维(即维度为9×1)，与两种图像的表征向量直接拼接融合(即维度为16+16+9)，将得到的表征向量(即维度为41×1)重新输入到强化学习网络，并生成夹持执行器的动作值(五个动作方向x,y,R,P,Y)。
对于步骤S150的具体实施方式
在一些实施例中，如图4所示的机器人的6个活动关节的扭矩通过以下雅可比矩阵求解：
Figure PCTCN2022128555-appb-000001
其中，K p，K v，K Fp和K Fi分别是比例微分(PD)和比例积分(PI)的控制参数，S为判别矩阵S＝diagS＝diag(1,1,0,1,1,1)，即位控维度对应的值为1，力控维度对应的值为0。
所述机器人控制器通过PD控制算法实施位置控制；所述机器人控制器通过PI控制算法实施力控制。
参照图5和图6所示的据本发明方法中的强化学习结果的曲线示意图，采用融合了RGB图像数据+深度图像数据+F/T力传感器数据+机器人力矩反馈数据所训练的网络模型，随着所测试的回合(episode)数更多的时候，能获得的报酬(reward)更多(即是成功完成预期装配效果的次数更多)，并且装配操作的动作步(step)较少。即是说，融合视、触觉和强化学习网络模型所实现的装配方法，能达到更优的机器人精密装配效果。
参照图7，在另一些实施例中，在装配控制系统的计算机程序中可以引入多层感知机的神经网络，通过将参考视觉数据表征向量、初始触觉数据表征向量、实际触觉数据表征向量、初始位姿数据表征向量及实际位姿数据表征向量拼接融合，并输入至多层感知机进行训练，最终得到可以预测实际图片表征向量的多层感知机，后续便不再需要相机来采集图片数据。多层感知机输出的预测视觉表征向量代替现有采用视觉设备收集实际真实图片的数据，使该系统发生譬如被夹持执行器遮挡视觉设备或者视觉设备出现虚焦等问题时，整个系统仍能完成精密装配步骤，增加系统的可靠性。
参照图7，基于预测装配场景的机器人装配控制方法可以包括以下步骤：
S210、提供多个神经网络模型，所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据；
S220、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的参考视觉数据、实际视觉数据、初始触觉数据及实际触觉数据，机器人控制器提供初始位姿数据及实际位姿数据，并且执行压缩和/或滤波处理，以转换成相应的参考视觉数据表征向量、实际视觉表征向量、实际触觉数据表征向量、初始触觉数据表征向量和实际位姿数据表征向量；
S230、将参考视觉数据表征向量(z_ref)、初始触觉数据表征向量(tac_ref)、实际触觉数据表征向量(tac_real)、初始位姿数据表征向量(pos_ref)及实际位姿数据表征向量(pos_real)拼接融合，并输入至多层感知机，以输出和实际视觉表征向量接近的预测视觉表征向量(z_real)；
S240、将所述预测视觉表征向量与所述实际触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
S250、将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后和预测视觉表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否接触装配阻尼节点；
S260、根据所述夹持执行器是否接触装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度。
对于步骤S210，还具体包括：将装配区域采集的多组所述RGB图像数据及触觉数据输入强化学习网络模型对其进行训练(如图7)。在本实施例中，读取机器人末端的夹持执行器的实时笛卡尔空间位姿，并输入强化学习网络模型对其进行训练，同时采集插头及插口所在区域的RGB图像数据和触觉信息。当夹持执行器与装配阻尼节点的距离越近时、或夹持执行器插入装配阻尼节点的深度越深时，所述强化学习网络模型的奖励函数相应增加。实施例中强化学习网络模型的奖励函数根据插头与插口的接近程度、插头插入插口的深度的增加而相应增加。在强化学习插孔任务时，收集装配区域的RGB图像数据和触觉数据，并将图像数据输入自编码器中训练。此外，结合机器人平台的强化学习网络模型训练过程如上述方法中的步骤S111至S115。
对于步骤S220，同样可以参照上述方法中的步骤S120及其子步骤。
对于步骤S230，将所述参考视觉数据通过图片编码器降维得到维度为16×1的参考视觉 数据表征向量，所述参考视觉数据表征向量通过图片解码器得到参考图片数据，所述参考图片数据通过对比原始输入图片的像素点取均方误差(MSE)，得到损失函数，所述损失函数通过反向传递和参数更新训练图片编码器及图片解码器。视觉设备再次获取的新图片经过训练好的图片编码器即可得到表征向量。
其中，初始位姿数据表征向量(pos_ref)、参考视觉数据表征向量(z_ref)和初始触觉数据表征向量(tac_ref)是在步骤S20中单独收集的一组数据。这三个信息是同一个对象同一状态下的不同角度的反馈。视觉设备获取参考图片通过图片编码器得到参考视觉数据表征向量(z_ref)，视觉设备获取实际真实图片，然后通过图片编码器得到预测视觉表征向量(z_real)。具体地，将参考视觉数据表征向量(z_ref)、初始触觉数据表征向量(tac_ref)、实际触觉数据表征向量(tac_real)、初始位姿数据表征向量(pos_ref)及实际位姿数据表征向量(pos_real)拼接融合，拼接成一个向量然后输入多层感知机，输出一个维度和预测视觉表征向量(z_real)，通过和实际真实图片的预测视觉表征向量(z_real)比较取均方误差，得到损失函数，再通过反向传递和参数更新进行训练，最终得到可以预测实际图片表征向量的多层感知机，后续便不再需要视觉设备来采集图片数据，而是通过(tac_ref)、(pos_ref)、(z_ref)、(tac_real)、(pos_real)五个表征向量得到预测视觉表征向量(z_real)来取代实际真实图片的预测视觉表征向量(z_real)。
对于步骤S240，通过预测视觉表征向量代替现有采用视觉设备收集实际真实图片的数据，使该系统发生譬如被夹持执行器遮挡视觉设备或者视觉设备出现虚焦等问题时，整个系统仍能完成精密装配步骤，增加系统的可靠性。对于步骤S250，同样可以参照上述方法中的步骤S150及其子步骤。
应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计 算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (18)

  1. 一种基于机器人的装配控制方法，其中，在所述机器人末端的夹持执行器上设有触觉传感器，并且所述夹持执行器的装配区域被视觉设备拍摄，
    其特征在于，所述方法包括以下步骤：
    S110、提供多个神经网络模型，所述多个神经网络模型至少包括强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、所述机器人的动作反馈数据和力矩反馈数据；
    S120、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的视觉数据及触觉数据，并且执行压缩和/或滤波处理，以转换成相应的视觉数据表征向量和触觉数据表征向量；
    S130、将所述视觉数据表征向量和所述触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
    S140、将所述视觉数据表征向量和所述触觉数据表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否运到装配阻尼节点；
    S150、根据所述机器人的预测的动作控制数据以及所述夹持执行器是否运到装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度；
    其中，所述视觉数据包括RGB图像数据和深度图像数据。
  2. 根据权利要求1所述的方法，其中，所述步骤S110包括，
    S111、读取机器人末端的实时六维笛卡尔空间位姿，并输入强化学习网络模型对其进行训练，同时采集装配区域在每个装配动作步的RGB图片、深度图片和触觉数据；
    S112、当夹持执行器与装配终点的距离越近时、或夹持执行器插入装配零件中的深度越深时，所述强化学习网络模型的奖励函数相应增加。
  3. 根据权利要求1所述的方法，其中，所述步骤S120包括：
    S121、所述触觉数据通过卡尔曼滤波器进行滤波，并使用光流法得到机器人沿装配动作方向的触觉流数据。
  4. 根据权利要求1所述的方法，其中，所述步骤S120还包括：
    S122、将采集的RGB图像数据转换成灰度图，然后对于所述夹持执行器每个装配动作步中最后一个路点，将所述RGB图像数据通过RGB图片编码器压缩输出RGB表征向量，然后所述RGB表征向量通过RGB图片解码器裁剪输出128像素×128像素已处理的灰度图；
    S123、将采集的深度图像数据转换成灰度图，然后对于所述夹持执行器每个装配动作步 中最后一个路点，将所述深度图像数据通过深度图片编码器压缩输出深度表征向量，然后所述深度表征向量通过深度图片解码器裁剪输出128像素×128像素已处理的深度图片。
  5. 根据权利要求4所述的方法，其中，所述步骤S120还包括，
    S124、提供变分自编码器，分别多次输入已处理的灰度图、已处理的深度图片到所述变分自编码器进行训练，分别输出RGB表征向量的维度为16×1、输出深度表征向量的维度为16×1。
  6. 根据权利要求3所述的方法，其中，所述步骤S121还包括，
    所述触觉流数据通过高斯卷积降维的维度为9个触觉检测点×1个触觉检测点得到处理后的触觉数据。
  7. 根据权利要求1所述的方法，其特征在于，
    所述机器人的活动关节的扭矩通过以下雅可比矩阵求解：
    Figure PCTCN2022128555-appb-100001
    其中，K p和K v分别是比例微分控制参数，K Fp和K Fi分别是比例积分控制参数，S为机器人的活动关节与扭矩关联之间的关联性判别矩阵。
  8. 根据权利要求7所述的方法，其中，
    所述机器人控制器对所述夹持执行器以比例微分控制算法实施位置控制，并且所述机器人控制器对所述夹持执行器以比例积分控制算法实施力控制。
  9. 一种基于跨模态预测装配场景的机器人装配控制方法，其中，在所述机器人末端的夹持执行器上设有触觉传感器，并且所述夹持执行器的装配区域被视觉设备拍摄，
    其特征在于，所述方法包括以下步骤：
    S210、提供多个神经网络模型，所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据；
    S220、通过机器人控制器带动所述夹持执行器从装配初始点开始装配动作，然后通过视觉设备和触觉传感器实时采集与所述装配区域对应的参考视觉数据、实际视觉数据、初始触觉数据及实际触觉数据，机器人控制器提供初始位姿数据及实际位姿数据，并且执行压缩和/或滤波处理，以转换成相应的参考视觉数据表征向量、实际视觉表征向量、实际触觉数据表征向量、初始触觉数据表征向量和实际位姿数据表征向量；
    S230、将参考视觉数据表征向量、初始触觉数据表征向量、实际触觉数据表征向量、初始位姿数据表征向量及实际位姿数据表征向量拼接融合，并输入至多层感知机，以输出和实际视觉表征向量接近的预测视觉表征向量；
    S240、将所述预测视觉表征向量与所述实际触觉数据表征向量拼接融合，并输入至所述强化学习网络模型，以输出所述机器人的预测的动作控制数据；
    S250、将所述触觉数据表征向量和所述机器人的装配力度数据通过因果卷积降维后，然后和预测视觉表征向量输入至所述张量融合网络模型，并通过多层感知机组成的阻尼点预测器，判断所述夹持执行器是否接触装配阻尼节点；
    S260、根据所述夹持执行器是否接触装配阻尼节点的预测结果，通过机器人控制器实施位置控制和力控制，以计算下一个装配运动节点的位姿数据和调整所述夹持执行器的装配力度。
  10. 根据权利要求9所述的方法，其中，所述步骤S220包括：
    S221、所述触觉数据通过卡尔曼滤波器进行滤波，并使用光流法得到机器人沿装配动作方向的触觉流数据。
  11. 根据权利要求10所述的方法，其中，所述步骤S221还包括：
    所述触觉流数据通过高斯卷积降维的维度为9个触觉检测点×1个触觉检测点得到处理后的触觉数据。
  12. 根据权利要求9所述的方法，其中，所述视觉数据包括RGB图像数据，
    所述步骤S220还包括：
    S222、将采集的RGB图像剪裁至128像素×128像素并转换成灰度图，然后对于所述夹持执行器每个装配动作步中最后一个路点，将相应的RGB图像转换成的灰度图通过RGB图片编码器压缩输出RGB表征向量；
    S223、提供变分自编码器，多次输入已处理的灰度图到所述变分自编码器进行训练，最终输出RGB表征向量的维度为16×1。
  13. 根据权利要求9所述的方法，其中，所述步骤S230包括：
    S231、将所述参考视觉数据通过图片编码器降维得到维度为16×1的参考视觉数据表征向量，所述参考视觉数据表征向量通过图片解码器得到参考图片数据，所述参考图片数据通过对比原始输入图片的像素点取均方误差，得到损失函数，所述损失函数通过反向传递和参数更新训练图片编码器及图片解码器。
  14. 根据权利要求1所述的方法，其特征在于，所述步骤S210中，所述强化学习网络模型训练的步骤包括：
    S211、当所述夹持执行器运到装配阻尼节点前，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为M牛；当所述夹持执行器运到装配阻尼节点后，通过机器人控制器实施位置控制和力控制，所述夹持执行器沿装配阻尼节点方向的装配力度为N牛；
    S212、将所述动作反馈数据和力矩反馈数据向机器人控制器输入，机器人控制器输出的动作反馈增益及力矩反馈增益，计算出机器人下一个装配运动节点的装配力度，
    其中，所述N＞M。
  15. 根据权利要求14所述的方法，其中，所述步骤S210还包括：
    S213、当所述夹持执行器运到装配阻尼节点前至装配阻尼节点之间的路径分为多个动作步，每个动作步设置多个数据采集点，每个所述数据采集点采集一次视觉数据及触觉数据。
  16. 根据权利要求15所述的方法，其特征在于，所述步骤S210还包括，
    S214、当所述夹持执行器移动多个动作步未到装配阻尼节点时，所述机器人控制器带动所述夹持执行器到装配初始点复位，重新开始装配动作。
  17. 一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至16中任一项所述的方法。
  18. 一种基于机器人的装配控制系统，其特征在于，包括：
    在机器人移动部分末端设置的夹持执行器，所述夹持执行器的夹持内侧从内到外依次设置触觉传感器及软胶垫；
    与机器人配套的视觉设备，所述视觉设备用于收集装配配件及其周边的视觉数据；
    计算机装置，所述计算机装置包括根据权利要求17所述的计算机可读存储介质。
PCT/CN2022/128555 2021-11-12 2022-10-31 视触觉融合的机器人精密装配控制方法及系统 WO2023083034A1 (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
CN202111336206.8 2021-11-12
CN202111336249.6 2021-11-12
CN202111336249.6A CN113927602B (zh) 2021-11-12 2021-11-12 基于视、触觉融合的机器人精密装配控制方法及系统
CN202111336234.XA CN113954076B (zh) 2021-11-12 2021-11-12 基于跨模态预测装配场景的机器人精密装配方法
CN202111336234.X 2021-11-12
CN202111336206.8A CN113878588B (zh) 2021-11-12 2021-11-12 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法

Publications (1)

Publication Number Publication Date
WO2023083034A1 true WO2023083034A1 (zh) 2023-05-19

Family

ID=86335054

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/128555 WO2023083034A1 (zh) 2021-11-12 2022-10-31 视触觉融合的机器人精密装配控制方法及系统

Country Status (1)

Country Link
WO (1) WO2023083034A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117207190A (zh) * 2023-09-28 2023-12-12 重庆大学 基于视觉与触觉融合的精准抓取机器人系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017768A (ja) * 2008-07-08 2010-01-28 Advanced Telecommunication Research Institute International 触覚センサを有するロボット
CN109940605A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 融合三维视觉与接触力分析的柔顺装配系统及方法
CN111444954A (zh) * 2020-03-24 2020-07-24 广东省智能制造研究所 一种基于多模态感知与学习的机器人自主装配方法
CN112388655A (zh) * 2020-12-04 2021-02-23 齐鲁工业大学 一种基于触觉振动信号与视觉图像融合的抓取物识别方法
CN112631128A (zh) * 2020-11-27 2021-04-09 广东省科学院智能制造研究所 一种多模异构信息融合的机器人装配技能学习方法及系统
CN113172629A (zh) * 2021-05-06 2021-07-27 清华大学深圳国际研究生院 一种基于时序触觉数据处理的物体抓取方法
US20210270605A1 (en) * 2020-02-27 2021-09-02 Honda Motor Co., Ltd. Systems and methods for estimating tactile output based on depth data
CN113878588A (zh) * 2021-11-12 2022-01-04 哈尔滨工业大学（深圳） 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法
CN113927602A (zh) * 2021-11-12 2022-01-14 哈尔滨工业大学（深圳） 基于视、触觉融合的机器人精密装配控制方法及系统
CN113954076A (zh) * 2021-11-12 2022-01-21 哈尔滨工业大学（深圳） 基于跨模态预测装配场景的机器人精密装配方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017768A (ja) * 2008-07-08 2010-01-28 Advanced Telecommunication Research Institute International 触覚センサを有するロボット
CN109940605A (zh) * 2019-01-29 2019-06-28 中国工程物理研究院激光聚变研究中心 融合三维视觉与接触力分析的柔顺装配系统及方法
US20210270605A1 (en) * 2020-02-27 2021-09-02 Honda Motor Co., Ltd. Systems and methods for estimating tactile output based on depth data
CN111444954A (zh) * 2020-03-24 2020-07-24 广东省智能制造研究所 一种基于多模态感知与学习的机器人自主装配方法
CN112631128A (zh) * 2020-11-27 2021-04-09 广东省科学院智能制造研究所 一种多模异构信息融合的机器人装配技能学习方法及系统
CN112388655A (zh) * 2020-12-04 2021-02-23 齐鲁工业大学 一种基于触觉振动信号与视觉图像融合的抓取物识别方法
CN113172629A (zh) * 2021-05-06 2021-07-27 清华大学深圳国际研究生院 一种基于时序触觉数据处理的物体抓取方法
CN113878588A (zh) * 2021-11-12 2022-01-04 哈尔滨工业大学（深圳） 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法
CN113927602A (zh) * 2021-11-12 2022-01-14 哈尔滨工业大学（深圳） 基于视、触觉融合的机器人精密装配控制方法及系统
CN113954076A (zh) * 2021-11-12 2022-01-21 哈尔滨工业大学（深圳） 基于跨模态预测装配场景的机器人精密装配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"16th European Conference - Computer Vision – ECCV 2020", vol. 6, 19 October 2021, article LI AJIAN; LIU RUIKAI; YANG XIANSHENG; LOU YUNJIANG: "Reinforcement Learning Strategy Based on Multimodal Representations for High-Precision Assembly Tasks", pages: 56 - 66, XP047613894, DOI: 10.1007/978-3-030-89095-7_6 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117207190A (zh) * 2023-09-28 2023-12-12 重庆大学 基于视觉与触觉融合的精准抓取机器人系统
CN117207190B (zh) * 2023-09-28 2024-05-10 重庆大学 基于视觉与触觉融合的精准抓取机器人系统

Similar Documents

Publication Publication Date Title
JP6376296B1 (ja) 位置制御装置及び位置制御方法
US20180272529A1 (en) Apparatus and methods for haptic training of robots
CN112109075B (zh) 控制系统和控制方法
CN109397285B (zh) 一种装配方法、装配装置及装配设备
CN113927602B (zh) 基于视、触觉融合的机器人精密装配控制方法及系统
JP2018514036A (ja) 次元データ低減を有するマシンビジョン
US11823048B1 (en) Generating simulated training examples for training of machine learning model used for robot control
CN113954076B (zh) 基于跨模态预测装配场景的机器人精密装配方法
CN112534367B (zh) 学习装置、控制装置、学习方法以及计算机可读存储介质
WO2023083034A1 (zh) 视触觉融合的机器人精密装配控制方法及系统
KR102239186B1 (ko) 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법
WO2020110505A1 (ja) 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム
JP2024015262A (ja) モーションキャプチャを介したロボットカメラ制御
TWI802820B (zh) 機器人控制裝置、方法和儲存媒體
JP7044047B2 (ja) ロボット
De Rossi et al. Cognitive robotic architecture for semi-autonomous execution of manipulation tasks in a surgical environment
CN113878588B (zh) 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法
US20220161424A1 (en) Device and method for controlling a robotic device
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
CN113412178A (zh) 机器人控制装置、机器人系统以及机器人控制方法
WO2022197386A1 (en) System(s) and method(s) of using imitation learning in training and refining robotic control policies
JP7376318B2 (ja) アノテーション装置
Ogbodo et al. Study of a Multi-modal Neurorobotic Prosthetic Arm Control System based on Recurrent Spiking Neural Network
Gaurav Goal-predictive robotic teleoperation using predictive filtering and goal change modeling
EP4238714A1 (en) Device and method for controlling a robot

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22891830

Country of ref document: EP

Kind code of ref document: A1