WO2020207017A1 - 农业场景无标定机器人运动视觉协同伺服控制方法与设备 - Google Patents

农业场景无标定机器人运动视觉协同伺服控制方法与设备 Download PDF

Info

Publication number
WO2020207017A1
WO2020207017A1 PCT/CN2019/119079 CN2019119079W WO2020207017A1 WO 2020207017 A1 WO2020207017 A1 WO 2020207017A1 CN 2019119079 W CN2019119079 W CN 2019119079W WO 2020207017 A1 WO2020207017 A1 WO 2020207017A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
scene
teaching
grasping
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/119079
Other languages
English (en)
French (fr)
Inventor
刘成良
贡亮
李旭东
汪韬
沈晓晔
林晨晖
陶建峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiao Tong University
Original Assignee
Shanghai Jiao Tong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiao Tong University filed Critical Shanghai Jiao Tong University
Priority to US17/602,903 priority Critical patent/US12162170B2/en
Publication of WO2020207017A1 publication Critical patent/WO2020207017A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Program controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B63/00—Lifting or adjusting devices or arrangements for agricultural machines or implements
    • A01B63/002—Devices for adjusting or regulating the position of tools or wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • B25J15/0253—Gripping heads and other end effectors servo-actuated comprising parallel grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1602—Program controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1602—Program controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1612—Program controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form characterised by program execution, i.e. part program or machine function execution, e.g. selection of a program
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089—Regulating or controlling systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40269—Naturally compliant robot arm
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • This application relates to the field of robotics, and in particular to a method and equipment for coordinated visual servo control of motion of an uncalibrated robot in agricultural scenes.
  • robots As a precision and efficient execution machine, robots have a wide range of applications in military, medicine, manufacturing and other fields. They integrate multiple technologies such as electronics, sensing, and control. Robots can achieve different functions in industrial scenarios; in order to deal with more complex Changing task requirements, improving the performance and intelligence of robots, the concept of intelligent robots is proposed, that is, the application of learning control algorithms such as reinforcement learning control, planning pattern recognition, and image visual computing or deep neural network intelligent perception Technology, a type of robot with self-adaptive and self-learning functions, while ensuring the accuracy and robustness of the robot, the environmental adaptability and task flexibility are improved.
  • learning control algorithms such as reinforcement learning control, planning pattern recognition, and image visual computing or deep neural network intelligent perception Technology
  • the purpose of the present invention is to provide a method and device for coordinated servo control of motion vision of an uncalibrated robot in agricultural scenes with lower requirements for space perception equipment and strong environmental adaptability.
  • the present invention provides a non-calibrated robot motion vision cooperative servo control equipment for agricultural scenes, including a mechanical arm, a target grabbing object, an image sensor and a control module, wherein the mechanical arm is equipped with a mechanical Gripper; the target grasped object is within the graspable range of the robotic arm; the control module is electrically connected to the robotic arm and the image sensor, and the control module drives the robotic gripper to grasp The target grabbing object and controlling the image sensor to perform image sampling during the process of the robotic arm grabbing the target grabbing object; the image sensor sends the sampled image data to the control module.
  • the mechanical arm is a six-degree-of-freedom mechanical arm.
  • the invention also provides a non-calibrated robot motion vision cooperative servo control method for agricultural scenes, which includes the following steps:
  • the strategy-driven algorithm is adopted to obtain the result of forward-guided planning.
  • the scene space feature vector acquisition network is a visual convolutional neural network.
  • the acquiring a feature vector of the scene space is specifically:
  • the image sensor performs image sampling on the process of the robotic arm grabbing the target object, and extracts RGB image information
  • the image information is used as the scene space feature vector to obtain the input of the network, and the output vector is the scene space feature vector.
  • the acquiring a teaching action sample specifically includes:
  • the teaching action sample is obtained based on the integration of the teaching grasping action data and the teaching grasping scene image feature data.
  • an inversely enhanced return value strategy network is specifically:
  • the inverse reinforcement reward strategy network migration training is specifically: using the teaching action sample to perform optimization training of the inverse reinforcement reward strategy network.
  • the present invention has the following technical effects:
  • the non-calibrated robot motion visual coordinated servo control method for agricultural scenes does not require precise spatial labeling of target grabbing objects and related environments in the scene, and the robotic arm will follow the trained network to guide and complete the grabbing task. , The requirements for space sensing equipment are lower, the environment adaptability is strong, and it can be migrated to a variety of tasks.
  • the non-calibrated robot motion vision cooperative servo control method for agricultural scenes constructs a scene space feature vector acquisition network for acquiring scene features, and simulates grabbing through domain randomization algorithms in a simulation environment, and uses simulation data for inversion Strengthen the pre-training of the return value strategy network; the scene space feature vector acquisition network and the inverse enhanced return value strategy network are separately pre-trained, which decouples the traditional complex visual motion servo problem and reduces the complexity of the training network.
  • the non-calibrated robot motion vision collaborative servo control method for agricultural scenes can quickly generate a large amount of training data, reduce the number of teaching operations of the instructor, and improve the training of the network within limited time and resources. effect.
  • FIG. 1 is a schematic diagram of the structure of an uncalibrated robot motion vision cooperative servo control device in an agricultural scene according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of hardware connection of a non-calibrated robot motion vision cooperative servo control device in an agricultural scene according to an embodiment of the present invention
  • FIG. 3 is a software configuration level diagram of a non-calibrated robot motion vision cooperative servo control device for agricultural scenes according to an embodiment of the present invention
  • FIG. 4 is a flowchart of a coordinated visual servo control method for movement of an uncalibrated robot in an agricultural scene according to an embodiment of the present invention
  • Fig. 5 is a network structure of a scene space feature vector acquisition network according to an embodiment of the present invention.
  • the embodiment of the present invention constructs a scene spatial feature vector acquisition network, that is, a visual convolutional neural network, which is used to extract the spatial characteristics of the scene and the target grab; constructs an inverse enhanced reward value strategy network to indirectly describe possible driving grab strategies; at the same time,
  • a scene spatial feature vector acquisition network that is, a visual convolutional neural network, which is used to extract the spatial characteristics of the scene and the target grab
  • the domain randomization algorithm is used to simulate the capture
  • the simulation data is used for the pre-training of the inverse reinforcement return value strategy network.
  • the scene space feature vector acquisition network and the inverse reinforcement return value strategy network can be pre-trained separately, which makes the traditional complex Decoupling processing of visual motion servo problems reduces the complexity of network pre-training.
  • the domain randomization algorithm can quickly generate a large amount of training data, reduce the number of manual teaching operations, and improve the training effect of the network within limited time and resources.
  • the system network is modified to adapt to real scenes and tasks.
  • the planning result is given through the guided strategy search algorithm.
  • the robotic arm only needs to guide the strategy according to the trained network to complete the grab task, and the trained network is aware of the space.
  • the equipment has lower requirements, strong environmental adaptability, and can be migrated to a variety of tasks.
  • the embodiment of the present invention provides a non-calibrated robot motion vision cooperative servo control device for agricultural scenes, including a mechanical arm, a target grabbing object, an image sensor, and a control module. Please refer to Figure 1.
  • the robotic arm is a UR5 robotic arm 6, and the UR5 robotic arm 6 is a six-degree-of-freedom robotic arm, and a robotic gripper 7 is installed at the end of the arm.
  • the robotic gripper 7 can complete the grasping of the target grasping object 3 through clamping and opening motions.
  • the UR5 robot arm 6 is fixed in the scene environment 8 through a base frame 5;
  • the target grasping object 3 is preferably fruits and vegetables, such as tomatoes, etc., and is placed on a station platform 4, which is a stable working plane with a certain height, such as a table, etc., and the station platform 4 is placed in the scene environment 8. , The target grab 3 is within the grabbing range of the UR5 robotic arm 6;
  • the image sensor is kinect image sensor 1, specifically Kinect2.0 image sensor.
  • Kinect image sensor 1 is fixed on a kinect mounting bracket 2
  • Kinect mounting bracket 2 is a device that can fix kinect image sensor 1 at a certain height, preferably aluminum Profile construction, the kinect mounting bracket 2 is placed on the side of the UR5 robotic arm 6 and the target grasping object 3.
  • the kinect image sensor 1 can capture the UR5 robotic arm 6, the target grasping object 3 and the scene environment 8;
  • the control module is the Jetson TX1 control board 9.
  • the Jetson TX1 control board 9 is electrically connected to the UR5 robot arm 6 and the kinect image sensor 1, and the Jetson TX1 control board 9 drives the UR5 robot arm 6 to grab the target object 3 through the robot gripper 7 , And control the kinect image sensor 1 to sample the image during the process of the UR5 robotic arm 6 grabbing the target object 3.
  • the kinect image sensor 1 sends the sampled image data to the Jetson TX1 control board 9.
  • Kinect image sensor 1 converts the interface to USB3.0 interface through Kinect adaptor 10, Kinect adaptor 10 is connected to Jetson TX1 control board 9 through USB3.0; UR5 robotic arm 6 Obtain power by connecting the robotic arm control box 12.
  • the robotic arm control box 12 and Jetson TX1 control board 9 are connected through a network cable, and the Jetson TX1 control board 9 inputs the robotic arm control signal to the robotic arm control box 12 through the network cable interface.
  • the Jetson TX1 control board 9 is connected to a display screen 11 through an HDMI interface.
  • FIG. 3 install the ubuntu operating system and driver components in the Jetson TX1 control board 9; install other software for the Jetson TX1 control board 9 by installing the Jetpack development tool; install the Kinect support library to enable the control module Jetson TX1
  • the control board 9 can drive the Kinect image sensor, and use related image processing tools and algorithms; install the database, by installing the python dependency library and the MongoDB database software, complete the establishment of the embedded database in the Jetson TX1 control board 9 for saving later Relevant data for training; install the Docker container engine to create an independent software operating environment, and install the ROS operating system and Tensorflow framework in the Docker container, so that the Jetson TX1 control board 9 contains a container engine with the complete development environment of this embodiment , And can quickly migrate to other hardware systems.
  • the ROS operating system contains the algorithm node for RGB-D (color depth image) sampling processing and the sampling control node for the UR5 robotic arm;
  • the Tensorflow framework contains the GPS guidance strategy algorithm control program, and the trained visual space feature extraction And strengthen the return value strategy network.
  • the present invention provides a motion vision coordinated servo control method for the uncalibrated robot in agricultural scenes. Please refer to FIG. 4, which includes the following steps:
  • S101 Construct a scene space feature vector acquisition network to obtain a scene space feature vector.
  • the scene space feature vector acquisition network is a visual convolutional neural network. Please refer to Figure 5.
  • the scene space feature vector acquisition network migration uses the first five layers of CIFAR-1000VGG16 as the image feature extraction network, which is a convolutional neural network. Structure, specifically,
  • the pooling layer calculation of the convolutional neural network follows the following formula:
  • the value of is taken as 1/4
  • down(%) is the downsampling function
  • f(%) is the excitation function, which is used to generate output from the pooling result on the right side of the formula.
  • the scene space feature vector acquisition network structure used is as follows:
  • the Jetson TX1 control board 9 controls the kinect image sensor 1 to capture the scene and extract the RGB image information.
  • the obtained image data is a 240x240x3 3-channel RGB color image.
  • the image data is used as the scene space feature vector to obtain the network Input, scene space feature vector to obtain the final output of the network 40-dimensional sparse vector F, used to represent the scene image features.
  • acquiring a teaching action sample includes the following steps:
  • S1021 Towing the robotic arm to complete the grasping of the target grasping object, and obtain the teaching grasping action data of one teaching grasping;
  • the UR5 robot arm 6 is manually hauled to complete the teaching grasping path of the UR5 robot arm 6, so that the robot gripper 7 at the end of the UR5 robot arm 6 reaches the position where it can directly grab the target object 3.
  • Jetson TX1 The control board 9 continuously samples the joint state information during the movement at the frequency f to obtain the teaching grasping action data of one teaching grasping;
  • the UR5 robotic arm drives the node program to continuously sample the joint state information during the movement with frequency f. Every time you sample, the UR5 robotic arm driver node program will collect directly obtainable joint state information And synchronously calculate and indirectly obtain joint state information And sample the versus The combined status information as a joint sampling result S robot ( ⁇ i, ⁇ i , a i, v i, a 'i, x i).
  • S1022 Drive the robotic arm to simulate the teaching and grasping action data, and autonomously complete the grasping action of the target grasping object, so as to capture the image characteristic data of the teaching and grasping scene;
  • the Jetson TX1 control board 9 drives the UR5 robotic arm 6 to simulate the teaching process A simulation of grabbing the target object 3 is completed, and at the same time, the Jetson TX1 control board 9 drives the kinect image sensor 1 at the frequency f to sample the image of the grabbing process, and obtain the image feature data of a teaching grabbing scene.
  • S1023 Obtain a teaching action sample based on the integration of the teaching capture action data and the image feature data of the teaching capture scene;
  • constructing an inversely enhanced return value strategy network includes the following steps:
  • S1031 Construct an inversely enhanced return value strategy network used to fit the return value
  • the inversely enhanced reward value strategy network is a DNN structured deep network, and the deep network is used to fit the reward value function in the guidance strategy, thereby avoiding manual selection of characteristic parameters for modeling.
  • Name parameter 1 enter 40-dimensional feature vector 2 Fully connected 1 50 3 Fully connected 2 30 4 Fully connected 3 12
  • the initial value ⁇ 0 of the initial weight parameter of the inverse strengthening reward strategy network is generated uniformly and randomly.
  • the deep network can be used to represent a return value function optimized without learning and training.
  • the parameter domain C includes a feasible parameter domain C g of relevant parameters of the target grab 3 and a feasible parameter domain C d of relevant dynamic parameters of the UR5 manipulator 6.
  • the abstract model of the grasping object 3 is used to randomly generate the initial state of the UR5 manipulator 6 and the size and spatial position of the target grasping object 3 through the domain randomization algorithm, and determine the shooting and observation perspective in the simulation environment.
  • the parameters used in the domain randomization algorithm are as follows:
  • S1033 Use the ROS planning library to plan and simulate virtual grabbing actions, and sample the simulated grab path.
  • ⁇ ′ t ⁇ ⁇ S′ t ,P′ t ⁇
  • ⁇ S′ t ⁇ is the six degrees of freedom joint state information data
  • ⁇ P′ t ⁇ is the image feature data sequence
  • g' is the target capture Object state information (including the size and distance of the target grasped object)
  • d' is the dynamics information of the manipulator (including the mass of the manipulator model components, the initial joint posture of the manipulator model) and control parameters.
  • the current return value distribution is calculated as follows:
  • ⁇ n nn_forwoard(F, ⁇ n )
  • ⁇ n solve_mdp( ⁇ n )
  • the inversely enhanced return value strategy network obtained as a network weight parameter is a strategy-guided return network in an environment with human strategy awareness.
  • This network evaluates the return of the robotic arm strategy and can guide the robotic arm in complex agricultural environmental tasks Make decisions similar to human cognition.
  • the strategy-guided driving algorithm (GPS) is used for forward guidance planning.
  • the specific guidance planning process is as follows:
  • the inverse enhanced return value strategy network is used to evaluate the sample set S. versus The return value.
  • the method of the present invention is based on the motion vision double servo drive, and the robot is trained through an adaptive learning algorithm to obtain intelligent spatial perception and task planning capabilities.
  • the robot In the final driving process, there is no need for precise spatial labeling of target grabbing objects and related environments in the scene.
  • the robotic arm will follow the trained network to guide the strategy to complete the grabbing task, which has lower requirements for space-aware equipment.
  • the environment is adaptable and can be migrated to a variety of tasks.
  • the program can be stored in a computer readable storage medium. During execution, it may include the procedures of the above-mentioned method embodiments.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

提供了一种农业场景无标定机器人运动视觉协同伺服控制设备与方法，其中，设备的机械臂（6）在臂末端安装有机械抓手（7），目标抓取物（3）处在机械臂（6）的可抓取范围内；控制模块（9）驱动机械抓手（7）抓取目标抓取物，并控制图像传感器（1）对机械臂（6）抓取目标抓取物（3）的过程进行图像采样；图像传感器（1）将采样的图像数据发送给控制模块（9）。这种设备无需对于场景内的目标抓取物（3）及相关环境进行精确的空间标注，机械臂将按照训练好的网络进行策略引导完成抓取任务，对于空间感知设备的要求更低，环境适应性强，并可迁移至多种任务。

Description

农业场景无标定机器人运动视觉协同伺服控制方法与设备 技术领域
本申请涉及机器人领域，特别涉及农业场景无标定机器人运动视觉协同伺服控制方法与设备。
背景技术
机器人作为精密高效的执行机械在军事、医学、制造业等领域有着广泛的应用，集成了电子、传感、控制等多种技术，机器人得以在工业场景中实现不同的功能；为了应对更为复杂多变的任务需求、提升机器人的性能与智能，智能型机器人的概念被提了出来，即应用了如强化学习控制、规划模式识别等学习型控制算法与图像视觉计算或深度神经网络的智能感知技术，具备自适应、自学习功能的一类机器人，在保障了机器人的工作精度与鲁棒性的同时，环境适应性与任务柔性得以提升。
经过对现有技术的检索发现，中国专利文献号CN106041941A，公开日2016.10.26，公开了一种工业机械臂的轨迹规划方法与装置，为同样领域内实现工业机械臂驱动的方法，该技术针对SCARA机械臂的每个关节构建坐标系与工作区域，通过预先计算输入控制方向射线与工作区域边界的交点，优化机械臂的速度规划过程。但该技术需要精确标定场景，获得目标终点的空间坐标后进行模式化的轨迹规划驱动，对于标定设备及技术要求高，对于不同场景适应能力差，尤其无法适应复杂多变的农业非结构化场景。
对于另一项现有技术文献，中国专利文献号CN105353772A，公开日2016.02.24，公开了一种无人机定位跟踪的视觉伺服控制方法，该技术通过在无人机上安装定位装置，惯性测量单元与摄像机获得大地、机体、相机与图像坐标系数据，通过运算各坐标系之间的相对过渡关系，以控制无人机拍 摄目标物位于图像中心。该技术结合了视觉传感实现基于视觉伺服的无人机控制，但该技术仅能计算简单场景下无人机的目标姿态规划问题，难以迁移应用至农业机器人的应用领域，给出无标定农业场景下的执行策略。
发明内容
本发明的目的在于提供对空间感知设备的要求更低，环境适应性强的农业场景无标定机器人运动视觉协同伺服控制方法和设备。
为了解决上述问题，本发明提供了一种农业场景无标定机器人运动视觉协同伺服控制设备，包括机械臂、目标抓取物、图像传感器和控制模块，其中，所述机械臂在臂末端安装有机械抓手；所述目标抓取物处在所述机械臂的可抓取范围内；所述控制模块分别与所述机械臂和图像传感器电连接，所述控制模块驱动所述机械抓手抓取所述目标抓取物，并控制所述图像传感器对所述机械臂抓取所述目标抓取物的过程进行图像采样；所述图像传感器将采样的图像数据发送给所述控制模块。
优选地，所述机械臂为六自由度机械臂。
本发明还提供了一种农业场景无标定机器人运动视觉协同伺服控制方法，包括如下步骤：
构建场景空间特征向量获取网络，获取场景空间特征特征向量；
获取示教动作样本；
构建逆强化回报值策略网络；
逆强化回报值策略网络迁移训练；
基于视觉特征提取网络与逆强化回报值策略网络，采用策略引导驱动算法获得正向引导规划结果。
优选地，所述场景空间特征向量获取网络为视觉卷积神经网络。
优选地，所述获取场景空间特征特征向量具体为：
图像传感器对机械臂抓取目标抓取物的过程进行图像采样，并提取RGB 图像信息；
以所述图像信息作为所述场景空间特征向量获取网络的输入量，输出向量即为场景空间特征特征向量。
优选地，所述获取示教动作样本具体为：
牵引机械臂完成对目标抓取物的抓取，获取一次示教抓取的示教抓取动作数据；
驱动机械臂模拟示教抓取动作数据，自主完成对目标抓取物的抓取动作，用以拍摄获取示教抓取场景图像特征数据；
基于所述示教抓取动作数据和示教抓取场景图像特征数据整合得到示教动作样本。
优选地，所述构建逆强化回报值策略网络具体为：
构建用于拟合表示回报值的逆强化回报值策略网络；
通过仿真域随机化算法生成仿真参数；
使用ROS规划库规划模拟虚拟抓取动作，并采样得到模拟抓取路径；
逆强化回报值策略网络仿真预训练。
优选地，所述逆强化回报值策略网络迁移训练具体为：使用所述示教动作样本进行所述逆强化回报值策略网络的优化训练。
与现有技术相比，本发明存在以下技术效果：
1、本发明实施例农业场景无标定机器人运动视觉协同伺服控制方法无需对于场景内的目标抓取物及相关环境进行精确的空间标注，机械臂将按照训练好的网络进行策略引导完成抓取任务，对于空间感知设备的要求更低，环境适应性强，并可迁移至多种任务。
2、本发明实施例农业场景无标定机器人运动视觉协同伺服控制方法构建了场景空间特征向量获取网络用于获取场景特征，并在仿真环境内通过域随机化算法模拟抓取，使用仿真数据进行逆强化回报值策略网络的预训练；场 景空间特征向量获取网络和逆强化回报值策略网络分别的进行预训练，将传统复杂视觉运动伺服问题解耦处理，降低了训练网络的复杂度。
3、本发明实施例农业场景无标定机器人运动视觉协同伺服控制方法域随机化算法可以快速的生成大量的训练数据，减少示教员的示教操作数量，在有限的时间与资源内提升网络的训练效果。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
图1为本发明实施例农业场景无标定机器人运动视觉协同伺服控制设备结构示意图；
图2为本发明实施例农业场景无标定机器人运动视觉协同伺服控制设备硬件连接示意图；
图3为本发明实施例农业场景无标定机器人运动视觉协同伺服控制设备软件配置层次图；
图4为本发明实施例农业场景无标定机器人运动视觉协同伺服控制方法流程图；
图5为本发明实施例场景空间特征向量获取网络的网络结构。
具体实施方式
以下将结合附图对本发明提供的农业场景无标定机器人运动视觉协同伺服控制方法与设备进行详细的描述，本实施例在以本发明技术方案为前提下 进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例，本领域技术人员在不改变本发明精神和内容的范围内，能够对其进行修改和润色。
本发明实施例构建场景空间特征向量获取网络，即视觉卷积神经网络，用于提取场景与目标抓取物的空间特征；构建逆强化回报值策略网络间接描述可能的驱动抓取策略；同时，在仿真环境内通过域随机化算法模拟抓取，使用仿真数据进行逆强化回报值策略网络的预训练，场景空间特征向量获取网络与逆强化回报值策略网络可以分别的进行预训练，将传统复杂视觉运动伺服问题解耦处理，降低了网络预训练的复杂度。其中，域随机化算法可以快速的生成大量的训练数据，减少了人工示教的操作数量，在有限的时间与资源内提升网络的训练效果。最后，通过真实场景与示教数据的融合，修正系统网络以使其适应真实的场景与任务。在网络训练完成后，通过引导性策略搜索算法给出规划结果。在最终的应用过程中，无需对场景内的目标抓取物及相关环境进行精确的空间标注，机械臂只需按照训练好的网络进行策略引导，完成抓取任务，训练好的网络对空间感知设备的要求更低，环境适应性强，并可迁移至多种任务。
实施例一
本发明实施例提供了农业场景无标定机器人运动视觉协同伺服控制设备，包括机械臂、目标抓取物、图像传感器和控制模块，请参考图1，
机械臂为UR5机械臂6，UR5机械臂6为六自由度机械臂，并在臂末端安装了机械抓手7，机械抓手7可以通过夹紧、张开运动完成目标抓取物3的抓取，UR5机械臂6通过一底座机座5固定在场景环境8中；
目标抓取物3优选为蔬果，如西红柿等，放置于一工位平台4上，工位平台4为稳定的具有一定高度的工作平面，如桌子等，工位平台4放置在场景环境8中，目标抓取物3处在UR5机械臂6的可抓取范围内；
图像传感器为kinect图像传感器1，具体为Kinect2.0图像传感器，Kinect图像传感器1固定在一kinect安装支架2上，Kinect安装支架2为可以将kinect图像传感器1固定在一定高度的装置，优选使用铝型材搭建，kinect安装支架2放置于UR5机械臂6与目标抓取物3的侧部，kinect图像传感器1可以拍摄到UR5机械臂6、目标抓取物3及场景环境8；
控制模块为Jetson TX1控制板9，Jetson TX1控制板9分别与UR5机械臂6和kinect图像传感器1电连接，Jetson TX1控制板9驱动UR5机械臂6通过机械抓手7抓取目标抓取物3，并控制kinect图像传感器1对UR5机械臂6抓取目标抓取物3的过程进行图像采样，kinect图像传感器1将采样的图像数据发送给Jetson TX1控制板9。
具体地，请参考图2，Kinect图像传感器1通过Kinect适配转换器10将接口转换为USB3.0接口，Kinect适配转换器10通过USB3.0与Jetson TX1控制板9进行连接；UR5机械臂6通过连接机械臂控制箱12获取电源，机械臂控制箱12与Jetson TX1控制板9通过网线连接，Jetson TX1控制板9通过网线接口向机械臂控制箱12输入机械臂控制信号。
优选地，Jetson TX1控制板9通过HDMI接口连接一显示屏11。
进一步地，请参考图3，在Jetson TX1控制板9内安装ubuntu操作系统、驱动组件；通过安装Jetpack开发工具来为Jetson TX1控制板9安装其他软件；通过安装Kinect支持库来使得控制模块Jetson TX1控制板9可以驱动Kinect图像传感器，并使用相关的图像处理工具与算法；安装数据库，通过安装python依赖库与MongoDB数据库软件，完成Jetson TX1控制板9内嵌入式数据库的搭建，用于保存之后的训练用相关数据；安装Docker容器引擎以创建独立的软件运行环境，并将ROS操作系统与Tensorflow框架安装在Docker容器内，使得Jetson TX1控制板9内包含一个具备本实施例完整开发环境的容器引擎，并可以快速迁移至其他的硬件系统。
其中，ROS操作系统内包含有RGB-D(彩色深度图像)采样处理的算法节点与UR5机械臂的采样控制节点；Tensorflow框架内包含有GPS引导策略算法控制程序，以及训练好的视觉空间特征提取与强化回报值策略网络。
实施例二
基于实施例一的农业场景无标定机器人运动视觉协同伺服控制设备，本发明提供了农业场景无标定机器人运动视觉协同伺服控制方法，请参考图4，包括如下步骤：
S101：构建场景空间特征向量获取网络，获取场景空间特征特征向量。
本实施例中，场景空间特征向量获取网络为视觉卷积神经网络，请参考图5，场景空间特征向量获取网络迁移使用了CIFAR-1000VGG16的前五层作为图像特征提取网络，为卷积神经网络结构，具体地，
卷积神经网络的卷积层计算遵循下式：
Figure PCTCN2019119079-appb-000001
其中，
Figure PCTCN2019119079-appb-000002
表示第l层的第j个特征图，
Figure PCTCN2019119079-appb-000003
表示的是针对l-1层有所关联的特征图
Figure PCTCN2019119079-appb-000004
和第l层的第j个卷积核
Figure PCTCN2019119079-appb-000005
做卷积运算并求和，
Figure PCTCN2019119079-appb-000006
是对第l层的第j个特征图补充的偏置参数，f(...)为激励函数，用于将式子右侧的卷积结果生成输出；
卷积神经网络的池化层计算遵循下式：
Figure PCTCN2019119079-appb-000007
其中，
Figure PCTCN2019119079-appb-000008
表示第l层的第j个特征图，
Figure PCTCN2019119079-appb-000009
表示权重，在本实施例中的2x2池化过程中，
Figure PCTCN2019119079-appb-000010
的值取为1/4，down(...)为下采样函数，f(...)为激励函数，用于将式子右侧的池化结果生成输出。
本实施例中，使用的场景空间特征向量获取网络构造如下表：
No Name 参数
1 输入 240x240x3
2 conv1+pool1 卷积:7x7x64,滑动步长1,池化:2x2,滑动步长1
3 conv2+pool2 卷积:5x5x32,滑动步长1,池化:2x2,滑动步长1
4 conv3+pool3 卷积:5x5x64,滑动步长1,池化:2x2,滑动步长1
5 Softmax 32
6 全连接5 64
7 全连接6 64
8 全连接7 40
表1
本实施例中，Jetson TX1控制板9控制kinect图像传感器1拍摄抓取场景，并提取RGB图像信息，得到的图像数据为240x240x3的3通道RGB彩色图像，以图像数据作为场景空间特征向量获取网络的输入量，场景空间特征向量获取网络的最终输出40维的稀疏向量F，用于表示场景图像特征。
S102：获取示教动作样本。
本实施例中，获取获取示教动作样本包括如下步骤：
S1021：牵引机械臂完成对目标抓取物的抓取，获取一次示教抓取的示教抓取动作数据；
采用人为牵引UR5机械臂6完成UR5机械臂6的示教抓取路径，使UR5机械臂6末端的机械抓手7到达可以直接抓取目标抓取物3的位置，抓取过程中，Jetson TX1控制板9以频率f对运动过程中的关节状态信息连续采样，获得一次示教抓取的示教抓取动作数据；
本实施例中，UR5机械臂6包括六个自由度关节，每个自由度关节的状态信息记为S robot(θ i,ω i,a i,v i,a′ i,x i)，包括：关节转角θ i、转速ω i、关节角加速度a i、关节节点中心的空间运动速度v i、关节节点中心的空间运动加速度a′ i，相对初始位置的位移x i；其中，
Figure PCTCN2019119079-appb-000011
为可直接获取的关节状态信息，包括：关节转角θ i和转速ω i，关节初始零点θ i＝0,ω i＝0；
Figure PCTCN2019119079-appb-000012
为间接获取的关节状态数据，根据
Figure PCTCN2019119079-appb-000013
信息与采样步长T＝1/f计算得到的关节状态，f为采样频率。
抓取过程中，UR5机械臂驱动节点程序以频率f对运动过程中的关节状态 信息进行多次连续采样。每次采样，UR5机械臂驱动节点程序将采集可直接获取的关节状态信息
Figure PCTCN2019119079-appb-000014
并同步计算间接获取关节状态信息
Figure PCTCN2019119079-appb-000015
并一次采样中的
Figure PCTCN2019119079-appb-000016
与
Figure PCTCN2019119079-appb-000017
将合并为一次关节状态信息采样结果S robot(θ i,ω i,a i,v i,a′ i,x i)。
然后，将抓取过程中多次采样获得的每个关节状态信息采样结果S robot(θ i,ω i,a i,v i,a′ i,x i)按照采样时间先后顺序排布，形成一个连续关节状态信息数据序列。该序列即为一次示教抓取的示教抓取动作数据。
S1022：驱动机械臂模拟示教抓取动作数据，自主完成对目标抓取物的抓取动作，用以拍摄获取示教抓取场景图像特征数据；
在完成一次示教动作后，人员离开场景环境，基于示教抓取动作数据中包含的UR5机械臂6的六个自由度关节状态信息，Jetson TX1控制板9驱动UR5机械臂6模拟示教过程完成一次模拟抓取目标抓取物3的动作，同时，Jetson TX1控制板9以频率f驱动kinect图像传感器1对抓取过程进行图像采样，获得一次示教抓取场景图像特征数据。
S1023：基于示教抓取动作数据和示教抓取场景图像特征数据整合得到示教动作样本；
将示教抓取动作数据、示教抓取场景图像特征数据、机械臂与任务固有条件参数同步记录在MongoDB数据库，整合得到示教动作样本D t({γ t},g,d)，其中，{γ t}＝{S t,P t}，{S t}为六个自由度关节状态信息数据，{P t}为图像特征数据序列，g为目标抓取物状态信息(包括目标抓取物的大小、距离)，d为机械臂动力学信息(包括机械臂模型构件的质量、机械臂模型初始的关节姿态)及控制参数。
S103：构建逆强化回报值策略网络。
本实施例中，构建逆强化回报值策略网络包括如下步骤：
S1031:构建用于拟合表示回报值的逆强化回报值策略网络；
本实施例中，逆强化回报值策略网络为DNN结构深度网络，该深度网络用于拟合表示引导策略中的回报值函数，从而避免建模人工选取特征参数。
本实施例中使用的逆强化回报值策略网络构造如下表：
NO Name 参数
1 输入 40维特征向量
2 全连接1 50
3 全连接2 30
4 全连接3 12
表2
然后，通过均匀随机产生逆强化回报值策略网络的初始权重参数初值θ 0。此时，可用深度网络表示一个未经学习训练优化的回报值函数。
S1032：通过仿真域随机化算法生成仿真参数；
首先，设置可行参数域C，标示域随机化算法参数的可能范围。参数域C内包括目标抓取物3相关参数的可行参数域C g，UR5机械臂6的相关动力学参数的可行参数域C d。
具体地，在具有GTX1080显卡的训练机上安装ubuntu系统，并移植上述构建在Jetson TX1控制板9内的Docker容器；同时，在训练机中的ROS操作环境内导入UR5机械臂6的真实模型与目标抓取物3的抽象模型，并通过域随机化算法，随机生成UR5机械臂6的初始状态与目标抓取物3的大小空间位置，并决定仿真环境中的拍摄观测视角。
本实施例中，域随机化算法中所使用的参数如下表：
Figure PCTCN2019119079-appb-000018
Figure PCTCN2019119079-appb-000019
表3
然后，在参数域C内随机生成一组域随机化算法参数
Figure PCTCN2019119079-appb-000020
令g(ObjectSize,Vpangle,Location),
Figure PCTCN2019119079-appb-000021
以及状态S(β i)。
S1033：使用ROS规划库规划模拟虚拟抓取动作，并采样得到模拟抓取路径。
基于上述域随机化算法参数设定仿真环境内任务目标、初始状态与执行条件，通过ROS规划库规划模拟完成该仿真环境下的虚拟抓取动作，并对虚拟抓取动作路径进行虚拟采样，得到模拟抓取路径状态数据；同时，根据主事窗视角参数Vpangle，调整仿真中的观测视角，并进行连续图像采样获取模拟抓取场景图像数据。
将模拟抓取路径状态数据、模拟抓取场景图像数据与域随机化算法参数结合，生成一次仿真规划动作样本数据Z t({γ′ t},g',d'),并将其保存在MongoDB数据库中。其中，{γ′ t}＝{S′ t,P′ t}，{S′ t}为六个自由度关节状态信息数据，{P′ t}为图像特征数据序列，g'为目标抓取物状态信息(包括目标抓取物的大小、距离)， d'为机械臂动力学信息(包括机械臂模型构件的质量、机械臂模型初始的关节姿态)及控制参数。
S1034：逆强化回报值策略网络仿真预训练；
使用仿真规划动作样本数据Z t({γ′ t},g',d')对逆强化回报值策略网络进行预训练。
首先，以随机生成的逆强化回报值策略网络的参数权重初始初值θ作为迭代初值，即θ 1＝initial_weights()＝θ 0。
开始迭代循环，循环特征量n从1开始执行至迭代上限nmax：
以第n次循环当前的网络权重参数θ n，以空间图像特征F为输入量，计算当前的回报值分布情况，计算如下式：
γ n＝nn_forwoard(F,θ n)
然后，根据当下回报值分布，计算MDP最优策略π n：
π n＝solve_mdp(γ n)
然后，计算期望状态频率IE[μ n]与专家示教损失项L D，D表示以示教数据为专家动作；
IE[μ n]＝propagrate_policy(π n)
Figure PCTCN2019119079-appb-000022
计算专家示教损失函数对回报值r的导数
Figure PCTCN2019119079-appb-000023
与专家示教损失函数对网络模型参数的导数
Figure PCTCN2019119079-appb-000024
式中μ D为专家状态动作频率：
Figure PCTCN2019119079-appb-000025
Figure PCTCN2019119079-appb-000026
根据
Figure PCTCN2019119079-appb-000027
梯度修正网络模型参数，完成一次优化迭代：
Figure PCTCN2019119079-appb-000028
算法迭代至最大迭代次数或专家示教损失项L D小于可容忍限度，网络收敛得到θ end。以此作为网络权重参数的回报值策略网络将在模拟环境中引导机械臂模型执行与ROS规划库规划期望策略相近的执行策略。
S104：逆强化回报值策略网络迁移训练。
首先，以S103中预训练的逆强化回报值策略网络的权重参数θ end为初始条件，使用S102中采样获得的示教动作样本D t({γ t},g,d)替代S103的仿真规划动作样本数据Z t({γ′ t},g',d')，进行逆强化回报值策略网络训练，以进行网络训练修正，实现仿真环境模型到真实策略模型的模型迁移；
具体地，令θ＝θ end，基于示教样本数据作为专家动作，以真实场景经视觉特征提取网络计算后得到的图像特征向量作为特征输入量，进行逆强化回报值策略网络的迁移训练优化，具体的算法执行步骤与S1034的优化过程相同，获得优化的网络权重
Figure PCTCN2019119079-appb-000029
然后，以
Figure PCTCN2019119079-appb-000030
作为网络权重参数得到的逆强化回报值策略网络，即为具备有人类策略认知的环境内策略引导回报网络，以此网络评估机械臂策略的回报，并可引导机械臂在农业复杂环境任务中做出与人类认知近似的决策。
S105：基于视觉特征提取网络与逆强化回报值策略网络，采用策略引导驱动算法获得正向引导规划结果。
基于上述学习算法训练后的视觉特征提取网络与逆强化回报值策略网络，采用策略引导驱动算法(GPS)进行正向的引导规划。
具体的引导规划流程如下：
首先，生成若干差异性动态规划策略
Figure PCTCN2019119079-appb-000031
然后，对于所述若干差异性动态规划策略进行采样得到策略路径数据
Figure PCTCN2019119079-appb-000032
多个策略路径数据可以通过
Figure PCTCN2019119079-appb-000033
计算组合平均策略以进行同时引导计算提高效率；
对以上策略的参数进行极大似然估计
Figure PCTCN2019119079-appb-000034
组合
Figure PCTCN2019119079-appb-000035
与
Figure PCTCN2019119079-appb-000036
得到初始样本集S；
基于场景特征提取后的向量状态参数，使用逆强化回报值策略网络对样本集S进行评估，评估
Figure PCTCN2019119079-appb-000037
与
Figure PCTCN2019119079-appb-000038
的回报值。
若
Figure PCTCN2019119079-appb-000039
回报大于
Figure PCTCN2019119079-appb-000040
的回报，则将
Figure PCTCN2019119079-appb-000041
赋予
Figure PCTCN2019119079-appb-000042
并对应的减少策略函数中的正则项参数；
若
Figure PCTCN2019119079-appb-000043
回报小于
Figure PCTCN2019119079-appb-000044
的回报，则增大策略函数中的正则项参数；
对
Figure PCTCN2019119079-appb-000045
重复执行上述评估，最终得到一个引导后的最优策略，即为正向引导规划结果。
本发明方法基于运动视觉双伺服驱动，通过自适应的学习算法训练机器人获得智能的空间感知与任务规划能力。在最终的驱动过程中，无需对于场景内的目标抓取物及相关环境进行精确的空间标注，机械臂将按照训练好的网络进行策略引导完成抓取任务，对于空间感知设备的要求更低，环境适应性强，并可迁移至多种任务。
以上公开的仅为本申请的两个具体实施例，但本申请并非局限于此，任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (8)

  1. 一种农业场景无标定机器人运动视觉协同伺服控制设备，其特征在于，包括机械臂、目标抓取物、图像传感器和控制模块，其中，
    所述机械臂在臂末端安装有机械抓手；
    所述目标抓取物处在所述机械臂的可抓取范围内；
    所述控制模块分别与所述机械臂和图像传感器电连接，所述控制模块驱动所述机械抓手抓取所述目标抓取物，并控制所述图像传感器对所述机械臂抓取所述目标抓取物的过程进行图像采样；
    所述图像传感器将采样的图像数据发送给所述控制模块。
  2. 根据权利要求1所述的农业场景无标定机器人运动视觉协同伺服控制设备，其特征在于，所述机械臂为六自由度机械臂。
  3. 一种农业场景无标定机器人运动视觉协同伺服控制方法，其特征在于，包括如下步骤：
    构建场景空间特征向量获取网络，获取场景空间特征特征向量；
    获取示教动作样本；
    构建逆强化回报值策略网络；
    逆强化回报值策略网络迁移训练；
    基于视觉特征提取网络与逆强化回报值策略网络，采用策略引导驱动算法获得正向引导规划结果。
  4. 根据权利要求3所述的农业场景无标定机器人运动视觉协同伺服控制方法，其特征在于，所述场景空间特征向量获取网络为视觉卷积神经网络。
  5. 根据权利要求3所述的农业场景无标定机器人运动视觉协同伺服控制方法，其特征在于，所述获取场景空间特征特征向量具体为：
    图像传感器对机械臂抓取目标抓取物的过程进行图像采样，并提取RGB图像信息；
    以所述图像信息作为所述场景空间特征向量获取网络的输入量，输出向 量即为场景空间特征特征向量。
  6. 根据权利要求3所述的农业场景无标定机器人运动视觉协同伺服控制方法，其特征在于，所述获取示教动作样本具体为：
    牵引机械臂完成对目标抓取物的抓取，获取一次示教抓取的示教抓取动作数据；
    驱动机械臂模拟示教抓取动作数据，自主完成对目标抓取物的抓取动作，用以拍摄获取示教抓取场景图像特征数据；
    基于所述示教抓取动作数据和示教抓取场景图像特征数据整合得到示教动作样本。
  7. 根据权利要求3所述的农业场景无标定机器人运动视觉协同伺服控制方法，其特征在于，所述构建逆强化回报值策略网络具体为：
    构建用于拟合表示回报值的逆强化回报值策略网络；
    通过仿真域随机化算法生成仿真参数；
    使用ROS规划库规划模拟虚拟抓取动作，并采样得到模拟抓取路径；
    逆强化回报值策略网络仿真预训练。
  8. 根据权利要求3所述的农业场景无标定机器人运动视觉协同伺服控制方法，其特征在于，所述逆强化回报值策略网络迁移训练具体为：
    使用所述示教动作样本进行所述逆强化回报值网络的优化训练。
PCT/CN2019/119079 2019-04-11 2019-11-18 农业场景无标定机器人运动视觉协同伺服控制方法与设备 Ceased WO2020207017A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/602,903 US12162170B2 (en) 2019-04-11 2019-11-18 Method and device for collaborative servo control of motion vision of robot in uncalibrated agricultural scene

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910289751.2 2019-04-11
CN201910289751.2A CN110000785B (zh) 2019-04-11 2019-04-11 农业场景无标定机器人运动视觉协同伺服控制方法与设备

Publications (1)

Publication Number Publication Date
WO2020207017A1 true WO2020207017A1 (zh) 2020-10-15

Family

ID=67171177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/119079 Ceased WO2020207017A1 (zh) 2019-04-11 2019-11-18 农业场景无标定机器人运动视觉协同伺服控制方法与设备

Country Status (3)

Country Link
US (1) US12162170B2 (zh)
CN (1) CN110000785B (zh)
WO (1) WO2020207017A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347900A (zh) * 2020-11-04 2021-02-09 中国海洋大学 基于距离估计的单目视觉水下目标自动抓取方法
CN112935650A (zh) * 2021-01-29 2021-06-11 华南理工大学 一种焊接机器人激光视觉系统标定优化方法
CN113189983A (zh) * 2021-04-13 2021-07-30 中国人民解放军国防科技大学 一种面向开放场景的多机器人协同多目标采样方法
CN113743287A (zh) * 2021-08-31 2021-12-03 之江实验室 基于脉冲神经网络的机器人自适应抓取控制方法及系统
CN114347028A (zh) * 2022-01-10 2022-04-15 武汉科技大学 一种基于rgb-d图像的机器人末端智能抓取方法
CN114581695A (zh) * 2020-11-16 2022-06-03 中国电信股份有限公司 农作物检测识别方法、装置和系统、存储介质
CN114800530A (zh) * 2022-06-09 2022-07-29 中国科学技术大学 基于视觉的机器人的控制方法、设备及存储介质
CN115131400A (zh) * 2022-06-14 2022-09-30 西北工业大学 一种结合强化学习的混合特征视觉伺服方法
CN115205393A (zh) * 2022-06-01 2022-10-18 北京控制工程研究所 一种序列拨推采样归置策略迭代生成学习方法及系统
CN115494831A (zh) * 2021-06-17 2022-12-20 中国科学院沈阳自动化研究所 一种人机自主智能协同的跟踪方法
CN116214528A (zh) * 2023-05-10 2023-06-06 深圳市安信达存储技术有限公司 一种人形机器人存储控制方法及控制系统
CN116394254A (zh) * 2023-04-23 2023-07-07 深圳众为兴技术股份有限公司 机器人的零点标定方法、装置、计算机存储介质
CN117732827A (zh) * 2024-01-10 2024-03-22 深圳市林科超声波洗净设备有限公司 一种基于机器人的电池壳清洗线上下料控制系统及方法
CN118559720A (zh) * 2024-07-30 2024-08-30 佛山大学 一种面向重度遮挡目标的采摘机器人自适应容错作业方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110000785B (zh) * 2019-04-11 2021-12-14 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备
US11571809B1 (en) * 2019-09-15 2023-02-07 X Development Llc Robotic control using value distributions
US11645498B2 (en) * 2019-09-25 2023-05-09 International Business Machines Corporation Semi-supervised reinforcement learning
CN112989881A (zh) * 2019-12-16 2021-06-18 深圳慧智星晨科技有限公司 一种无监督可迁移的3d视觉物体抓取方法
CN111178545B (zh) * 2019-12-31 2023-02-24 中国电子科技集团公司信息科学研究院 一种动态强化学习决策训练系统
CN112834764B (zh) * 2020-12-28 2024-05-31 深圳市人工智能与机器人研究院 机械臂的采样控制方法及装置、采样系统
CN113050433B (zh) * 2021-05-31 2021-09-14 中国科学院自动化研究所 机器人控制策略迁移方法、装置及系统
CN115249333B (zh) * 2021-06-29 2023-07-11 达闼科技（北京）有限公司 抓取网络训练方法、系统、电子设备及存储介质
CN113799128B (zh) * 2021-09-16 2024-07-30 北京航天飞行控制中心 机械臂运动轨迹的展示方法及其展示装置、电子设备
CN115042185B (zh) * 2022-07-04 2025-10-28 杭州电子科技大学 一种基于持续强化学习的机械臂避障抓取方法
CN116019471A (zh) * 2022-12-22 2023-04-28 明峰医疗系统股份有限公司 一种适用于车载ct的摄像定位系统及方法
CN117021066B (zh) * 2023-05-26 2025-10-28 浙江大学 一种基于深度强化学习的机器人视觉伺服运动控制方法
CN116985132B (zh) * 2023-08-07 2026-03-06 江南大学 一种基于多模态信息融合的模仿学习果实采摘方法及装置
CN117086882B (zh) * 2023-10-07 2025-11-21 四川大学 一种基于机械臂姿态活动自由度的强化学习方法
CN117549307B (zh) * 2023-12-15 2024-04-16 安徽大学 一种非结构化环境下的机器人视觉抓取方法及系统
CN119501928B (zh) * 2024-10-29 2025-08-01 中电信人工智能科技(北京)有限公司 机械臂控制模型训练方法、机械臂控制方法、设备及介质
CN119248004B (zh) * 2024-12-04 2025-04-11 国网浙江省电力有限公司金华供电公司 基于马尔科夫链的无人机辅助作业状态调整方法及系统
CN119795171B (zh) * 2025-01-16 2025-07-08 北京控制工程研究所 一种面向空间微重力环境的机械臂-灵巧手系统工具智能抓取策略生成方法
CN119550352A (zh) * 2025-01-24 2025-03-04 成都工业学院 一种基于动态视觉伺服的机械臂抓取方法及系统
CN120235036A (zh) * 2025-03-17 2025-07-01 青岛云世纪信息科技有限公司 一种机器人低成本仿真训练方法及系统、电子设备
CN119869645B (zh) * 2025-03-27 2025-07-18 厦门城市职业学院(厦门开放大学) 一种试管夹持系统及夹持方法
CN120816500B (zh) * 2025-09-17 2025-11-18 同济大学 基于单视角视觉与演示优化的灵巧手通用抓取方法和装置
CN121043189B (zh) * 2025-11-05 2026-01-16 深圳市人工智能与机器人研究院 一种灵巧手自主规划能力动态测试方法、系统、终端及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481247A (zh) * 2017-07-27 2017-12-15 许文远 一种智慧农业用采摘机器人控制系统及方法
US20180147723A1 (en) * 2016-03-03 2018-05-31 Google Llc Deep machine learning methods and apparatus for robotic grasping
CN108227689A (zh) * 2016-12-14 2018-06-29 哈尔滨派腾农业科技有限公司 一种农业移动机器人自主导航的设计方法
US20180243914A1 (en) * 2003-12-09 2018-08-30 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取系统及方法
CN109531584A (zh) * 2019-01-31 2019-03-29 北京无线电测量研究所 一种基于深度学习的机械臂控制方法和装置
CN110000785A (zh) * 2019-04-11 2019-07-12 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1662440A1 (en) * 2004-11-30 2006-05-31 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method for determining the position of an object from a digital image
EP2255930A1 (de) * 2009-05-27 2010-12-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
CN105353772B (zh) 2015-11-16 2018-11-09 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
JP6616170B2 (ja) * 2015-12-07 2019-12-04 ファナック株式会社 コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法
KR102023588B1 (ko) * 2016-03-03 2019-10-14 구글 엘엘씨 로봇 파지용 심층 기계 학습 방법 및 장치
CN114967433B (zh) * 2016-05-20 2023-08-18 谷歌有限责任公司 基于捕获物体的图像的机器学习方法和装置
CN106041941B (zh) 2016-06-20 2018-04-06 广州视源电子科技股份有限公司 一种机械臂的轨迹规划方法及装置
JP6549545B2 (ja) * 2016-10-11 2019-07-24 ファナック株式会社 人の行動を学習してロボットを制御する制御装置およびロボットシステム
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
EP3658340A2 (en) * 2017-07-25 2020-06-03 MBL Limited Systems and methods for operating a robotic system and executing robotic interactions
US10792810B1 (en) * 2017-12-14 2020-10-06 Amazon Technologies, Inc. Artificial intelligence system for learning robotic control policies
CN108271531B (zh) * 2017-12-29 2019-10-01 湖南科技大学 基于视觉识别定位的水果自动化采摘方法及装置
CN108171748B (zh) * 2018-01-23 2021-12-07 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
US12304072B2 (en) * 2018-02-27 2025-05-20 Siemens Aktiengesellschaft Reinforcement learning for contact-rich tasks in automation systems
CN109015640B (zh) * 2018-08-15 2020-07-14 深圳清华大学研究院 抓取方法、系统、计算机装置及可读存储介质
CN109443382B (zh) * 2018-10-22 2022-05-17 北京工业大学 基于特征提取与降维神经网络的视觉slam闭环检测方法
US20220189025A1 (en) * 2019-03-08 2022-06-16 Assest Corporation Crop yield prediction program and cultivation environment assessment program
CN109900280B (zh) * 2019-03-27 2020-12-11 浙江大学 一种基于自主导航的畜禽信息感知机器人与地图构建方法
CN114051444B (zh) * 2019-07-01 2024-04-26 库卡德国有限公司 借助于至少一个机器人执行应用
JP7290562B2 (ja) * 2019-12-26 2023-06-13 株式会社日立製作所 溶接制御装置、溶接ロボットシステム、および、溶接制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180243914A1 (en) * 2003-12-09 2018-08-30 Intouch Technologies, Inc. Protocol for a remotely controlled videoconferencing robot
US20180147723A1 (en) * 2016-03-03 2018-05-31 Google Llc Deep machine learning methods and apparatus for robotic grasping
CN108227689A (zh) * 2016-12-14 2018-06-29 哈尔滨派腾农业科技有限公司 一种农业移动机器人自主导航的设计方法
CN107481247A (zh) * 2017-07-27 2017-12-15 许文远 一种智慧农业用采摘机器人控制系统及方法
CN108656107A (zh) * 2018-04-04 2018-10-16 北京航空航天大学 一种基于图像处理的机械臂抓取系统及方法
CN109531584A (zh) * 2019-01-31 2019-03-29 北京无线电测量研究所 一种基于深度学习的机械臂控制方法和装置
CN110000785A (zh) * 2019-04-11 2019-07-12 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347900A (zh) * 2020-11-04 2021-02-09 中国海洋大学 基于距离估计的单目视觉水下目标自动抓取方法
CN112347900B (zh) * 2020-11-04 2022-10-14 中国海洋大学 基于距离估计的单目视觉水下目标自动抓取方法
CN114581695A (zh) * 2020-11-16 2022-06-03 中国电信股份有限公司 农作物检测识别方法、装置和系统、存储介质
CN112935650A (zh) * 2021-01-29 2021-06-11 华南理工大学 一种焊接机器人激光视觉系统标定优化方法
CN113189983A (zh) * 2021-04-13 2021-07-30 中国人民解放军国防科技大学 一种面向开放场景的多机器人协同多目标采样方法
CN115494831A (zh) * 2021-06-17 2022-12-20 中国科学院沈阳自动化研究所 一种人机自主智能协同的跟踪方法
CN115494831B (zh) * 2021-06-17 2024-04-16 中国科学院沈阳自动化研究所 一种人机自主智能协同的跟踪方法
CN113743287B (zh) * 2021-08-31 2024-03-26 之江实验室 基于脉冲神经网络的机器人自适应抓取控制方法及系统
CN113743287A (zh) * 2021-08-31 2021-12-03 之江实验室 基于脉冲神经网络的机器人自适应抓取控制方法及系统
CN114347028B (zh) * 2022-01-10 2023-12-22 武汉科技大学 一种基于rgb-d图像的机器人末端智能抓取方法
CN114347028A (zh) * 2022-01-10 2022-04-15 武汉科技大学 一种基于rgb-d图像的机器人末端智能抓取方法
CN115205393A (zh) * 2022-06-01 2022-10-18 北京控制工程研究所 一种序列拨推采样归置策略迭代生成学习方法及系统
CN114800530B (zh) * 2022-06-09 2023-11-28 中国科学技术大学 基于视觉的机器人的控制方法、设备及存储介质
CN114800530A (zh) * 2022-06-09 2022-07-29 中国科学技术大学 基于视觉的机器人的控制方法、设备及存储介质
CN115131400A (zh) * 2022-06-14 2022-09-30 西北工业大学 一种结合强化学习的混合特征视觉伺服方法
CN116394254A (zh) * 2023-04-23 2023-07-07 深圳众为兴技术股份有限公司 机器人的零点标定方法、装置、计算机存储介质
CN116214528B (zh) * 2023-05-10 2023-10-03 深圳市安信达存储技术有限公司 一种人形机器人存储控制方法及控制系统
CN116214528A (zh) * 2023-05-10 2023-06-06 深圳市安信达存储技术有限公司 一种人形机器人存储控制方法及控制系统
CN117732827A (zh) * 2024-01-10 2024-03-22 深圳市林科超声波洗净设备有限公司 一种基于机器人的电池壳清洗线上下料控制系统及方法
CN118559720A (zh) * 2024-07-30 2024-08-30 佛山大学 一种面向重度遮挡目标的采摘机器人自适应容错作业方法

Also Published As

Publication number Publication date
US12162170B2 (en) 2024-12-10
CN110000785B (zh) 2021-12-14
US20220193914A1 (en) 2022-06-23
CN110000785A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110000785B (zh) 农业场景无标定机器人运动视觉协同伺服控制方法与设备
CN110900598B (zh) 机器人三维运动空间动作模仿学习方法和系统
CN113677485B (zh) 使用基于元模仿学习和元强化学习的元学习的用于新任务的机器人控制策略的高效自适应
JP7693649B2 (ja) 移動操作システムの視覚的教示と繰り返し
CN109948642B (zh) 基于图像输入的多智能体跨模态深度确定性策略梯度训练方法
US11701773B2 (en) Viewpoint invariant visual servoing of robot end effector using recurrent neural network
Lin et al. Evolutionary digital twin: A new approach for intelligent industrial product development
CN109108942B (zh) 基于视觉实时示教与自适应dmps的机械臂运动控制方法和系统
CN115464659A (zh) 一种基于视觉信息的深度强化学习ddpg算法的机械臂抓取控制方法
CN111695562A (zh) 一种基于卷积神经网络的机器人自主抓取方法
Yue et al. Deep reinforcement learning and its application in autonomous fitting optimization for attack areas of UCAVs
Fu et al. Active learning-based grasp for accurate industrial manipulation
EP4214028A1 (en) Simulating multiple robots in virtual environments
CN111421554B (zh) 基于边缘计算的机械臂智能控制系统、方法、装置
CN118990489B (zh) 一种基于深度强化学习的双机械臂协作搬运系统
CN119526383B (zh) 一种茶叶嫩芽采摘机器人智能控制系统及方法
Yan et al. Autonomous vision-based navigation and stability augmentation control of a biomimetic robotic hammerhead shark
CN118322197A (zh) 一种基于模型解空间快速自收敛的机械臂智能抓取方法
US12168296B1 (en) Re-simulation of recorded episodes
CN117193355B (zh) 一种基于深度强化学习的无人机自主导航及避障方法
US20220288782A1 (en) Controlling multiple simulated robots with a single robot controller
Wang et al. Autonomous obstacle avoidance algorithm of UAVs for automatic terrain following application
Yan Robotics
Luipers et al. Robot control using model-based reinforcement learning with inverse kinematics
Zhaowei et al. Vision-based behavior for UAV reactive avoidance by using a reinforcement learning method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19924616

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02.12.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19924616

Country of ref document: EP

Kind code of ref document: A1