WO2021217977A1 - 多机器人的协作控制方法、装置及计算机设备 - Google Patents

多机器人的协作控制方法、装置及计算机设备 Download PDF

Info

Publication number
WO2021217977A1
WO2021217977A1 PCT/CN2020/111369 CN2020111369W WO2021217977A1 WO 2021217977 A1 WO2021217977 A1 WO 2021217977A1 CN 2020111369 W CN2020111369 W CN 2020111369W WO 2021217977 A1 WO2021217977 A1 WO 2021217977A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
robot
insertion hole
recognition
conveying
Prior art date
Application number
PCT/CN2020/111369
Other languages
English (en)
French (fr)
Inventor
喻凌威
付佐毅
周宸
周宝
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021217977A1 publication Critical patent/WO2021217977A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • This application relates to the field of control technology, in particular to a method, device and computer equipment for collaborative control of multiple robots.
  • this application provides a multi-robot collaborative control method, device, and computer equipment.
  • the main purpose is to solve the current manual control of multi-robot collaboration.
  • the complexity is large and it is difficult to accurately realize the collaborative control of multiple robots.
  • a multi-robot cooperative control method which includes:
  • the object information identify the position information of the transport insertion hole of the object to be transported
  • the position information and the robot information respectively send control instructions to the at least one robot, so as to control the front connector of the at least one robot to be inserted into the corresponding transport insertion holes one by one;
  • a multi-robot cooperative control device which includes:
  • An acquisition module for acquiring object information of the object to be transported and robot information of at least one currently available robot
  • An identification module configured to identify the position information of the transport insertion hole of the object to be transported according to the object information
  • a sending module configured to send control instructions to the at least one robot according to the position information and the robot information, so as to control the front connector of the at least one robot to be inserted into the corresponding transport insertion holes one by one;
  • the sending module is further configured to, if it is determined that the at least one robot is inserted into the corresponding transport insertion hole, respectively, send instructions to instruct the at least one robot to transport.
  • a storage medium such as a non-volatile readable storage medium, on which a computer program is stored, and when the program is executed by a processor, the following method is implemented:
  • the object information identify the position information of the transport insertion hole of the object to be transported
  • the position information and the robot information respectively send control instructions to the at least one robot, so as to control the front connector of the at least one robot to be inserted into the corresponding transport insertion holes one by one;
  • a computer device including a storage medium such as a non-volatile readable storage medium, a processor, and a storage medium such as a non-volatile readable storage medium and can be stored in the processor.
  • a storage medium such as a non-volatile readable storage medium
  • a processor executes the computer program running on the computer program, the following method is implemented:
  • the object information identify the position information of the transport insertion hole of the object to be transported
  • the position information and the robot information respectively send control instructions to the at least one robot, so as to control the front connector of the at least one robot to be inserted into the corresponding transport insertion holes one by one;
  • the present application can realize precise coordinated control of multiple robots, reduce the control deviation, and can prevent the raised container from falling, or the container cannot be raised at all.
  • FIG. 1 shows a schematic flowchart of a method for cooperative control of multiple robots provided by an embodiment of the present application
  • FIG. 2 shows a schematic flow chart of another method for multi-robot cooperative control configuration provided by an embodiment of the present application
  • FIG. 3 shows a schematic structural diagram of an example of a container provided by an embodiment of the present application
  • Fig. 4 shows a schematic flowchart of a multi-robot cooperative control device provided by an embodiment of the present application.
  • the technical solution of the present application can be applied to the field of artificial intelligence and/or smart city technology, and can realize reliable collaboration of multiple robots and realize smart life.
  • this embodiment provides a multi-robot collaboration control method, which can replace manual control of multiple robots.
  • the collaborative control of robots as shown in Figure 1, the method includes:
  • the object information may include information such as the shape and weight of the object, the number of transport insertion holes included, and the specific distribution location.
  • the robot information may include information such as the number of currently available robots, the robot model, the number of front connectors of the robot, and the distribution position.
  • the executive body can be a device or device for the collaborative control of multiple robots, which can be configured on the side of the control center, which can be a server that can control multiple robots, and can be connected to a user control client, etc.
  • the user sends a handling instruction of the object to be transported to the server by manipulating the client, and then the server executes the specific implementation process of this embodiment according to the instructions.
  • the acquired object information identify the position information of the transport insertion hole of the object to be transported.
  • mapping records that is, label different transport insertion holes, such as holes 1, 2, 3..., etc., and then record the position coordinate information corresponding to these insertion hole labels.
  • the recognized position information and the acquired robot information respectively send control instructions to at least one robot, so as to control the front connectors of these robots to be inserted into the corresponding transport insertion holes one by one.
  • the robot used the robot responsible for the handling task
  • the handling insertion holes corresponding to these robots are planned, that is, each is responsible Insert the transport insertion hole.
  • corresponding control instructions are sent to these robots to control these robots to move left, right, up and down, so that the front connectors of the robots can be aligned with the respective handling insertion holes responsible for insertion, and Perform the corresponding insert operation.
  • the corresponding insertion success response message can be returned to determine whether the insertion has been successful.
  • the robots responsible for this handling task return a response message indicating that the insertion is successful, they can send instructions to these robots to instruct the handling, and these robots will lift the objects to be handled accordingly, and then follow the planned route, which needs to maintain these robots Consistency of the direction of movement and consistency of handling operations to avoid falling of the lifted container or falling during transportation.
  • this embodiment can identify the position of the transport insertion hole of the object to be transported in advance based on the object information of the object to be transported Then, according to the identified position information and the robot information of at least one robot currently available, accurate control instructions are sent to these robots, so as to accurately control the multi-robots to cooperate and carry the same object.
  • precise coordinated control of multiple robots can be achieved, reducing control deviation, and thus avoiding the situation where the raised container falls or the container cannot be raised at all.
  • the method includes:
  • a rectangular parallelepiped container shaped as shown in Fig. 3 can be used as the object to be transported.
  • the characteristic of the container is that there is an insertion hole on both sides of each corner of the bottom surface, which is used for four robots to carry the container from the front and rear sides or the left and right sides as needed. After the container is lifted, the robot will move forward so that the container can sit on the pallet in front of the robot, so that the four robots and the container can move together.
  • a binocular camera can be used to perform image recognition on the conveying insertion hole of the object to be conveyed to obtain recognition image information.
  • the identification conditions include at least the shooting angle, and/or shooting distance, and/or light intensity during shooting, and/or weather during shooting, and/or time during shooting, etc.
  • different identification conditions can be combined to accurately identify the position information of the transport insertion hole of the object to be transported, improve the accuracy of subsequent jack control, and improve the overall object transport efficiency.
  • step 203 may specifically include: according to different recognition conditions, the sample is transported and inserted into the hole position recognition information, training to obtain the recognition model; then the recognition image information is used as input parameters, using training
  • the obtained recognition model calculates the position information of the conveying insertion hole of the object to be conveyed.
  • the recognition model can be a deep learning model.
  • the above training obtains the recognition model based on the position identification information of the sample transport insertion hole under different identification conditions, which may specifically include: firstly count the sample image information of the sample transport insertion hole under different identification conditions, and the respective sample image information Corresponding insertion hole position mark; then create a training set, which can contain the mapping relationship between the sample image information and the insertion hole position mark; finally, based on the created training set, use the MobileNet-SSD algorithm to train the MobileNet-SSD model .
  • the conveying insertion hole of the object to be conveyed can be obtained by image recognition. And due to different shooting angles, different shooting distances, different light intensities, different weather (the influence on the brightness of the light, if it is handled indoors, it can be ignored), and the different time (the influence on the brightness of the light, if it is handled indoors, there is a unified lighting lamp , It can be ignored) and other conditions, the image recognition of the transport insertion hole will have certain differences. Therefore, in order to accurately identify the transport insertion hole of the object to be transported, the MobileNet-SSD model can be used to accurately calculate the transport insertion hole , And then accurately locate the position of the transport insertion hole.
  • Specific methods can include: A and B;
  • the bottom corner handling and insertion holes of all sizes of containers follow a unified standard.
  • a larger data set of handling insertion hole needs to be developed, including the insertion hole photos under different shooting angles, different shooting distances, different light intensities, different weather, and different times. Training set. And these insertion hole photos are marked with the correct position of the insertion hole, which is equivalent to storing the insertion hole photos taken under different conditions and the correct insertion hole position in the insertion hole photos in the training set, and the mapping relationship between the two.
  • the average accuracy of the model is above 90%, it can be used as a trained MobileNet-SSD model, and then the trained MobileNet-SSD model can be used for specific application calculations. If the average accuracy of the model is less than 90%, then train again until the average accuracy is above 90%, and then stop training.
  • the above-mentioned recognition image information obtained in step 202 is used as the input parameter, and the position information of the conveying insertion hole of the object to be conveyed is calculated by using the recognition model, which may specifically include: inputting the recognition image information To the MobileNet-SSD model, in order to obtain the target sample image information corresponding to the recognition image information with a similarity greater than the preset threshold, and the target insertion hole position mark corresponding to the target sample image information; and then use the target insertion hole position mark to output The position information of the transport insertion hole of the object to be transported.
  • the recognition model which may specifically include: inputting the recognition image information To the MobileNet-SSD model, in order to obtain the target sample image information corresponding to the recognition image information with a similarity greater than the preset threshold, and the target insertion hole position mark corresponding to the target sample image information; and then use the target insertion hole position mark to output The position information of the transport insertion hole of the object to be transported.
  • the advantages of the MobileNet-SSD algorithm model in the application of this scene are integrated, and the position information of the handling insertion hole of the object to be handled can be accurately identified, which improves the accuracy of subsequent socket control and improves the overall Object handling efficiency.
  • the robot allocation for some regular or irregular shapes of the object to be conveyed can be planned
  • 3 robots can be used for lifting and handling, each of which is responsible for a bottom corner; for a square object, 4 robots can be used for lifting and handling, of which each robot is responsible for one Bottom corner and so on.
  • the size is designed according to the specifications of the object to be transported and the specific position of the insertion hole, and several robots are responsible for transporting the object to be transported in advance.
  • a rectangular parallelepiped container has four bottom corners, and each bottom corner is lifted by a robot.
  • the front connector of the robot needs to be inserted into the vertical contour plane and centered.
  • connection head relative to the robot base coordinate system (x, y, z), and the front face of the robot
  • the predefined target position is (x*, y*, z*, ⁇ *), which is the position where the insertion hole is connected. Then, according to the target position, adjust the connector of the robot so that the connector is perpendicular to the contour plane of the transport insertion hole And insert the transport insertion hole in the center.
  • step 207 may specifically include: setting a master-slave relationship in at least one robot, where the master-slave relationship is the relationship between a master robot and at least one slave robot, wherein the master robot is a robot responsible for traction and transportation, and the slave robot is a cooperative robot.
  • the master robot is a robot responsible for traction and transportation
  • the slave robot is a cooperative robot.
  • a robot that is carried by the main robot. So that the master robot is responsible for traction and transportation, and other slave robots cooperate with the master robot for transportation.
  • each robot can be defined in a finite-dimensional space, and the states of two robots are shared.
  • the master Robot master (in addition to random, the best robot can be selected as the master according to the remaining power, performance, and fragility of the robot), and the remaining three are slave robots to achieve formation control.
  • the master is responsible for the main traction and handling, and several other slaves cooperate with the master for handling, so as to ensure that the object to be transported does not move relative to the robot, which causes the object to be transported to fall during transportation.
  • steps a to f are as follows:
  • the robot front connector After determining the position information of the transport insertion hole, dynamically adjust the space position of the robot front connector according to the position information.
  • the horizontal x-axis and y-axis directions are completed by the robot universal wheel, and the height of the z-axis direction It is completed by the linear guide rail connected to the front end of the connecting head.
  • the front connector After dynamic adjustment, the front connector reaches the predefined position (that is, the corresponding insertion hole position), and the last short pre-movement is performed, and the connector is inserted into the handling insertion hole.
  • the multi-robot collaboration and the handling system are combined to design a handling robot and the corresponding formation control and dispatching control scheme.
  • This scheme can be used for indoor and outdoor, large and small Large-scale handling scenes.
  • it can replace the manual control method, which can achieve precise coordinated control of multiple robots, reduce control deviation, and prevent the lifted container from falling or being unable to lift it at all.
  • Containers and other situations can meet specific handling requirements.
  • this embodiment provides a multi-robot cooperative control device.
  • the device includes: an acquisition module 31, an identification module 32, and a sending module 33.
  • the obtaining module 31 can be used to obtain the object information of the object to be transported and the robot information of at least one currently available robot;
  • the identification module 32 can be used to identify the position information of the transport insertion hole of the object to be transported according to the object information;
  • the sending module 33 can be used to send control instructions to the at least one robot respectively according to the position information and the robot information, so as to control the front connector of the at least one robot to be inserted into the corresponding transport insertion holes one by one ;
  • the sending module 33 may also be configured to send instructions to the at least one robot to instruct to carry if it is determined that the at least one robot is inserted into the respective corresponding conveying insertion hole.
  • the recognition module 32 can be specifically used to perform image recognition on the conveying insertion hole of the object to be conveyed to obtain recognition image information; according to the recognition image information, the sample is conveyed under different recognition conditions.
  • the position identification information of the insertion hole determines the position information of the conveying insertion hole of the object to be conveyed.
  • the recognition module 32 can also be specifically used to identify the position of the insertion hole for sample handling under different recognition conditions, and train to obtain a recognition model, where the recognition conditions include at least the shooting angle, and/or Shooting distance, and/or light intensity at the time of shooting, and/or weather at the time of shooting, and/or time at the time of shooting; using the recognition image information as an input parameter, and using the recognition model to calculate the object to be transported The position information of the transport insertion hole.
  • the recognition module 32 can be specifically used to count the sample image information of the sample transport insertion hole under different recognition conditions, and the corresponding insertion hole position mark of the sample image information; create a training set, the training Contains the mapping relationship between the sample image information and the insertion hole position mark in a centralized manner;
  • the MobileNet-SSD algorithm is used to train to obtain the MobileNet-SSD model.
  • the recognition module 32 can be specifically used to input the recognition image information into the MobileNet-SSD model, so as to obtain target sample image information whose corresponding similarity with the recognition image information is greater than a preset threshold , And a target insertion hole position mark corresponding to the target sample image information; using the target insertion hole position mark to output the position information of the conveying insertion hole of the object to be conveyed.
  • the sending module 33 can be specifically used to determine the shape information and center of gravity information of the object to be transported according to the object information; according to the shape information, the center of gravity information, and the position information, and Combining the robot information of at least one robot currently available, plan the at least one target robot to be used and the respective handling and insertion holes corresponding to the at least one target robot; respectively send control instructions to the at least one target robot to control all the robots.
  • the front connector of the at least one target robot is inserted into the corresponding conveying insertion hole.
  • the sending module 33 can also be specifically used to set a master-slave relationship in the at least one robot.
  • the master-slave relationship is a relationship between a master robot and at least one slave robot, wherein the master robot To be a robot responsible for traction and transportation, the slave robot is a robot that cooperates with the master robot for transportation.
  • this embodiment also provides a storage medium on which a computer program is stored.
  • the collaborative control method of multi-robots is described in detail below.
  • the storage medium (readable storage medium) involved in the present application may be a computer-readable storage medium, and the storage medium, such as a computer-readable storage medium, may be non-volatile or volatile.
  • the technical solution of this application can be embodied in the form of a software product.
  • the software product can be stored in a non-volatile storage medium (which can be a CD-ROM, U disk, mobile hard disk, etc.), including several
  • the instructions are used to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute the methods in each implementation scenario of the present application.
  • this embodiment also provides a computer device, which can specifically be a personal computer, a server, or a network device.
  • the physical device includes a storage medium and a processor; the storage medium is used to store a computer program; the processor is used to execute the computer program to implement the aforementioned multi-robot cooperative control method as shown in FIG. 1 and FIG. 2.
  • the computer device may also include a user interface, a network interface, a camera, a radio frequency (RF) circuit, a sensor, an audio circuit, a WI-FI module, and so on.
  • the user interface may include a display screen (Display), an input unit such as a keyboard (Keyboard), etc., and the optional user interface may also include a USB interface, a card reader interface, and the like.
  • the network interface can optionally include a standard wired interface, a wireless interface (such as a Bluetooth interface, a WI-FI interface), and so on.
  • the computer device structure provided in this embodiment does not constitute a limitation on the physical device, and may include more or fewer components, or combine certain components, or arrange different components.
  • the storage medium may also include an operating system and a network communication module.
  • the operating system is a program that manages the hardware and software resources of the aforementioned physical devices, and supports the operation of information processing programs and other software and/or programs.
  • the network communication module is used to realize the communication between the various components in the storage medium and the communication with other hardware and software in the physical device.
  • this application can be implemented by means of software plus a necessary general hardware platform, or can be implemented by hardware.
  • a handling robot and the corresponding formation control and dispatching control scheme are designed. This scheme can be used in indoor and outdoor, large-scale and large-scale handling scenarios. . Compared with the existing method of multi-robot collaboration through manual control, it can replace the manual control method, which can achieve precise coordinated control of multiple robots, reduce control deviation, and prevent the lifted container from falling or being unable to lift it at all. Containers and other situations can meet specific handling requirements.

Abstract

本申请公开了一种多机器人的协作控制方法、装置及计算机设备，涉及计算机技术领域。其中方法包括：首先获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。本申请可代替人工操控方式，可实现精准的多台机器人的协作控制，减少控制偏差。

Description

多机器人的协作控制方法、装置及计算机设备
本申请要求于2020年4月28日提交中国专利局、申请号为202010349598.0，发明名称为“多机器人的协作控制方法、装置及计算机设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及控制技术领域，尤其是涉及到一种多机器人的协作控制方法、装置及计算机设备。
背景技术
让机器人解放人类的劳动力一直是工程师们的理想，也是最初研究机器人的初衷。经过几十年的发展，我们已经看到有一些机器人已经可以在一些场景中发挥作用，大大提高了工作效率。
在多台机器人协作与实际结合的领域，大多由于该问题本身的复杂性没有得到广泛的应用。例如，如果需要多台机器人协作搬运某容器，需要人工分析容器的抬起位置、抬起方式、行进控制等。然后操控多台机器人共同搬运该容器。
然而，发明人意识到，这种人工控制多机器人协作的方式，复杂度较大，很难精准实现多台机器人的协作控制，如果控制产生偏差，很容易使得抬起的容器坠落、或者根本无法抬起该容器等情况发生。
发明内容
有鉴于此，本申请提供了一种多机器人的协作控制方法、装置及计算机设备，主要目的在于解决目前人工控制多机器人协作的方式，复杂度较大，很难精准实现多台机器人的协作控制的技术问题。
根据本申请的一个方面，提供了一种多机器人的协作控制方法，该方法包括：
获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；
根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；
依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；
若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。
根据本申请的另一个方面，提供了一种多机器人的协作控制装置，该装置包括：
获取模块，用于获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；
识别模块，用于根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；
发送模块，用于依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；
所述发送模块，还用于若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。
根据本申请的又一个方面，提供了一种存储介质如非易失性可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现以下方法：
获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；
根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；
依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；
若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。
根据本申请的再一个方面，提供了一种计算机设备，包括存储介质如非易失性可读存储介质、处理器及存储在存储介质如非易失性可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下方法：
获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；
根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；
依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；
若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。
本申请可实现精准的多台机器人的协作控制，减少控制偏差，进而可避免抬起的容器坠落、或者根本无法抬起该容器等情况发生。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种多机器人的协作控制方法的流程示意图；
图2示出了本申请实施例提供的另一种多机器人的协作控制配置方法的流程示意图；
图3示出了本申请实施例提供的一种容器示例的结构示意图；
图4示出了本申请实施例提供的一种多机器人的协作控制装置的流程示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
本申请的技术方案可应用于人工智能和/或智慧城市技术领域，可实现多机器人的可靠协作，实现智慧生活。
针对目前人工控制多机器人协作的方式，复杂度较大，很难精准实现多台机器人的协作控制的技术问题，本实施例提供了一种多机器人的协作控制方法，可代替人工进行精确的多机器人的协作控制，如图1所示，该方法包括：
101、获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息。
其中，物体信息可包括物体的外形尺寸、重量、包含的搬运插入孔个数以及具体分布位置等信息。机器人信息可包含当前可用的机器人数量、机器人型号、机器人的前置连接头个数以及分布位置等信息。
对于本实施例的执行主体可为用于多台机器人协作控制的装置或设备，可配置在控制中心侧，该控制中心可为能够操控多台机器人的服务端，可连接有用户操控客户端等，以实现一些人为操控需求。如由用户通过操控客户端向服务端发送该待搬运物体的搬运指令，然后服务端根据指令执行本实施例的具体实现过程。
102、根据获取到的物体信息，识别待搬运物体的搬运插入孔的位置信息。
例如，首先根据物体信息中包含的搬运插入孔的坐标尺寸位置，定位搬运插入孔处于待搬运物体中所在的大致位置，然后可通过图像识别技术，进行进一步精确识别搬运插入孔的位置信息，然后做相应记录，记录时可做映射记录，即将不同的搬运插入孔分别进行标号，如孔1、2、3…等，然后分别记录这些插入孔标号分别对应的位置坐标信息。
103、依据识别到的位置信息和获取到的机器人信息，分别向至少一机器人发送控制指令，以便控制这些机器人的前置连接头一一插入对应的搬运插入孔。
例如，首先根据当前可用机器人的机器人信息，和识别到的各个搬运插入孔的位置信息，规划所用的机器人(负责此次搬运任务的机器人)，以及这些机器人各自对应的搬运插入孔，即各自负责插入的搬运插入孔。然后根据这些搬运插入孔的位置信息，向这些机器 人发送相应的控制指令，以便控制这些机器人进行左右上下等的移动，使得机器人的前置连接头能够对准各自对应负责插入的搬运插入孔，并进行相应的插入操作。
104、若确定至少一机器人均插入各自对应的搬运插入孔，则分别向这些机器人发送指示搬运的指令。
例如，在机器人成功插入到自己对应负责插入的搬运插入孔(如可通过机器人上的传感器来判定是否已经成功插入)后，可返回相应的插入成功响应信息，以便判别是否已经插入成功。当负责此次搬运任务的机器人全部返回插入成功的响应信息时，可向这些机器人发送指示搬运的指令，这些机器人会相应抬起待搬运物体，然后按照规划的路线行进，其中需要保持这些机器人的运动方向一致性，搬运操作动作的一致性，以避免抬起的容器发生坠落、运输途中坠落等情况。
通过本实施例中的多机器人的协作控制方法，与现有通过人工控制多机器人协作的方式相比，本实施例可预先根据待搬运物体的物体信息，识别待搬运物体的搬运插入孔的位置信息，然后依据识别出的位置信息和当前可用的至少一机器人的机器人信息，向这些机器人发送精准的控制指令，以便精准控制多机器人协作搬运同一物体。代替人工操控方式，可实现精准的多台机器人的协作控制，减少控制偏差，进而可避免抬起的容器坠落、或者根本无法抬起该容器等情况发生。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种多机器人的协作控制方法，如图2所示，该方法包括：
201、获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息。
例如，可利用如图3形状的长方体容器作为待搬运的物体。该容器的特点是底面每个角的两侧均有一个插入孔，用于四个机器人根据需要从前后两侧或左右两侧将容器搬运起来。容器被搬起后，机器人会向前移动，使容器能坐落在机器人前置的托板上，从而能够使四个机器人和容器一起移动。
202、对待搬运物体的搬运插入孔进行图像识别，得到识别图像信息。
例如，可利用双目相机对待搬运物体的搬运插入孔进行图像识别，得到识别图像信息。
203、根据识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定待搬运物体的搬运插入孔的位置信息。
可选的，识别条件至少包括拍摄角度、和/或拍摄距离、和/或拍摄时的光线强度、和/或拍摄时的天气、和/或拍摄时的时间等。通过这种方式，可结合不同的识别条件，准确识别出待搬运物体的搬运插入孔的位置信息，提高后续插孔控制的精确性，提高了整体的物体搬运效率。
为了说明具体的技术实现过程，可选的，步骤203具体可包括：根据不同的识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型；然后以识别图像信息为输入参数，利用训练得到的识别模型计算得到待搬运物体的搬运插入孔的位置信息。其中该识别模型可为深度学习模型，通过这种可选方式，结合历史大数据，可准确分析出待搬运物体的搬运插入孔的位置信息，提高后续插孔控制的精确性。
示例性的，上述根据不同识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型，具体可包括：首先统计不同的识别条件下样本搬运插入孔的样本图像信息，以及样本图像信息各自对应的插入孔位置标记；然后创建训练集，该训练集中可包含样本图像信息与插入孔位置标记之间的映射关系；最后基于创建得到的训练集，利用MobileNet-SSD算法训练得到MobileNet-SSD模型。
在本实施例中，可通过对待搬运物体的搬运插入孔进行图像识别的方式，获取得到该搬运插入孔。并且由于不同拍摄视角、不同拍摄距离、不同光线强度、不同天气(对光线亮度的影响，如果是室内搬运可忽略不计)、不同时间(对光线亮度的影响，如果是室内搬 运有统一的照明灯，则可忽略不计)等条件下，对搬运插入孔的图像识别都会存在一定的差异性，因此为了精确识别得到待搬运物体的搬运插入孔，可利用MobileNet-SSD模型对搬运插入孔进行精确计算，进而精确定位搬运插入孔的位置。
例如，基于上述图3样式的容器，为了精确找到容器的四个底角的搬运插入孔。具体方式可包括：A和B；
A、创建训练集。
由于容器是统一设计，虽然箱子的大小会根据不同的需要进行梯度设计，但所有大小的容器的底角搬运插入孔处都遵循统一标准。为了能使机器人准确识别出容器的搬运插入孔，需要制定较大的搬运插入孔数据集，包括不同拍摄视角、不同拍摄距离、不同光线强度、不同天气、不同时间等条件下的插入孔照片作为训练集。并且这些插入孔照片中都标记了正确的搬运插入孔位置，相当于训练集中保存了不同条件下拍摄出的插入孔照片以及插入孔照片中正确搬运插入孔位置，二者之间的映射关系。
B、基于创建得到的训练集，利用MobileNet-SSD算法训练得到MobileNet-SSD模型，该模型用于识别不同条件下拍摄出的插入孔照片中的正确搬运插入孔位置，进而实现相机视野中目标的定位。
在具体的训练过程中，可选取训练集中的一部分数据作为测试集，然后利用测试集中的数据对每次训练得到的MobileNet-SSD进行测试，如输入测试图片，然后将输出的与该测试图片对应的搬运插入孔位置，与该测试图片正确标记的搬运插入孔位置进行对比，如果一致，说明模型计算准确，否则说明模型计算错误。经过测试后，如果模型的平均准确率在90％以上，即可作为训练达标的MobileNet-SSD模型，后续可利用训练达标的MobileNet-SSD模型进行具体应用计算。如果模型的平均准确率低于90％，则再次训练直至平均准确率在90％以上，停止训练。
基于上述可选方式得到的MobileNet-SSD模型，上述以步骤202得到的识别图像信息为输入参数，利用识别模型计算得到待搬运物体的搬运插入孔的位置信息，具体可包括：将识别图像信息输入到MobileNet-SSD模型中，以便获取与识别图像信息对应相似度大于预设阈值的目标样本图像信息，以及与目标样本图像信息对应的目标插入孔位置标记；进而利用该目标插入孔位置标记，输出待搬运物体的搬运插入孔的位置信息。通过这种可选方式，融合了MobileNet-SSD算法模型在本场景应用中的优势，可准确识别出待搬运物体的搬运插入孔的位置信息，提高后续插孔控制的精确性，提高了整体的物体搬运效率。
204、根据待搬运物体的物体信息，确定待搬运物体的外形信息和重心信息。
205、依据待搬运物体的外形信息、重心信息和搬运插入孔的位置信息，并结合当前可用的至少一机器人的机器人信息，规划所需使用的至少一目标机器人，以及至少一目标机器人各自对应的搬运插入孔。
在本实施例中，除了预先设定待搬运物体由几个机器人负责进行搬运以外。为了更加智能化的实现物体搬运过程。可根据识别得到的搬运插入孔轮廓的位置信息、以及待搬运物体的外形信息和重心信息，并结合已有的机器人数量，规划出针对一些规则类或非规则类形状的待搬运物体的机器人分配方案，如类似于三角形的物体，可利用3个机器人负责抬起搬运，其中每个机器人负责一个底角；类似于方形的物体，可利用4个机器人负责抬起搬运，其中每个机器人负责一个底角等。以保证多台机器人对物体搬运时的支撑点平衡，避免由于搬运物体受力不均而导致坠落的情况发生。
206、向至少一目标机器人分别发送控制指令，以便控制至少一目标机器人的前置连接头一一插入对应的搬运插入孔。
在本实施例中，根据待搬运物体的规格设计尺寸以及插入孔的特定位置，可预先设定待搬运物体由几个机器人负责进行搬运。例如，如图3所示，长方体容器，有四个底角， 每个底角由一个机器人负责抬起。在控制单个机器人对其对应的搬运插入孔进行连接头插入的过程中，根据搬运插入孔轮廓的位置信息，图像中检测出搬运插入孔轮廓后需要将机器人前置连接头垂直轮廓平面并居中插入，假定机器人侧面以及容器侧面均与地面垂直，在连接校准过程中需要调整的自由度共有四个，具体可包括：连接头相对机器人基坐标系(x,y,z),以及机器人前置面与检测插入孔轮廓所在平面的夹角θ。预定义的目标位置为(x*,y*,z*,θ*)，即插入孔连接的位置，然后根据该目标位置，调整机器人的连接头，使得该连接头垂直该搬运插入孔轮廓平面并居中插入搬运插入孔。
207、若确定至少一目标机器人均插入各自对应的搬运插入孔，则分别向至少一目标机器人发送指示搬运的指令。
可选的，步骤207具体可包括：设置至少一机器人中的主从关系，主从关系为一主机器人与至少一从机器人的关系，其中，主机器人为负责牵引搬运的机器人，从机器人为配合所述主机器人进行搬运的机器人。以便由主机器人负责牵引搬运，且由其他从机器人配合主机器人进行搬运。
例如，基于图3所示的容器，利用四个机器人分别负责各自对应的容器底角抬起，四个机器人的合运动即为容器的运动轨迹，运动的自由度和灵活度都得到了提高。针对运动过程中机器人间的主从关系，采用去中心化的分布式控制从策略，每个机器人的状态可用有限维空间定义，两两机器人之间状态共享，运动时，随机指定其中一个为主机器人master(除了随机以外，还可根据机器人的剩余电量，性能、易损坏可能性等选择出最优的一个机器人作为master)，其余三个为从机器人slave，实现编队控制(formation control)，其中由master负责主要牵引搬运，其他几个slave配合master进行搬运，从而保证待搬运物体不与机器人产生相对运动，而导致待搬运物体在运输途中掉下。
为了方便理解本实施例的实施过程，给出如下示例性的实施流程，但不限于此：
例如，基于图3所示的待搬运容器和机器人，具体实施过程如步骤a至f：
a、利用双目相机通过矩形平面四个角点，确定容器上的搬运插入孔轮廓所在平面位置及朝向。
b、调整机器人前置平面(具有连接头)使其与该搬运插入孔轮廓平面平行。
c、在确定搬运插入孔的位置信息后，根据该位置信息，动态调整机器人前置连接头的空间位置，其中，水平的x轴和y轴方向由机器人万向轮完成，高度的z轴方向由前置连接头尾部所连接的线性导轨完成。
d、经过动态调整使得前置连接头到达预定义位置(即对应插入孔位置)，执行最后一小段前置运动，将连接头插入到搬运插入孔中。
e、在确定所有机器人都成功插入各自对应的搬运插入孔后，向这些机器人发送指令，使得这些机器人共同抬起搬运该容器。
f、在搬运过程中，设置主从关系，如指定其中一个为主，其余三个为从，在行进过程中，由“主”机器人负责主要牵引搬运，其他几个“从”机器人配合“主”机器人进行搬运，从而保证容器不与机器人产生相对运动导致容器在运输途中掉下。
通过本实施例中的多机器人的协作控制方法，将多台机器人协作与搬运系统相结合的方式，设计了一款搬运机器人及相应的编队控制与调度控制方案，该方案可用于室内室外、大小规模的搬运场景。与现有通过人工控制多机器人协作的方式相比，可代替人工操控方式，可实现精准的多台机器人的协作控制，减少控制偏差，进而可避免抬起的容器坠落、或者根本无法抬起该容器等情况发生，可满足具体的搬运需求。
进一步的，作为图1至图2所示方法的具体实现，本实施例提供了一种多机器人的协作控制装置，如图4所示，该装置包括：获取模块31、识别模块32、发送模块33。
获取模块31，可用于获取待搬运物体的物体信息以及当前可用的至少一机器人的机器 人信息；
识别模块32，可用于根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；
发送模块33，可用于依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；
所述发送模块33，还可用于若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。
在具体的应用场景中，识别模块32，具体可用于对所述待搬运物体的搬运插入孔进行图像识别，得到识别图像信息；根据所述识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定所述待搬运物体的搬运插入孔的位置信息。
在具体的应用场景中，识别模块32，具体还可用于根据不同的识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型，其中，所述识别条件至少包括拍摄角度、和/或拍摄距离、和/或拍摄时的光线强度、和/或拍摄时的天气、和/或拍摄时的时间；以所述识别图像信息为输入参数，利用所述识别模型计算得到所述待搬运物体的搬运插入孔的位置信息。
在具体的应用场景中，识别模块32，具体可用于统计不同的识别条件下样本搬运插入孔的样本图像信息，以及所述样本图像信息各自对应的插入孔位置标记；创建训练集，所述训练集中包含所述样本图像信息与所述插入孔位置标记之间的映射关系；
基于所述训练集，利用MobileNet-SSD算法训练得到MobileNet-SSD模型。
在具体的应用场景中，识别模块32，具体可用于将所述识别图像信息输入到所述MobileNet-SSD模型中，以便获取与所述识别图像信息对应相似度大于预设阈值的目标样本图像信息，以及与所述目标样本图像信息对应的目标插入孔位置标记；利用所述目标插入孔位置标记，输出所述待搬运物体的搬运插入孔的位置信息。
在具体的应用场景中，发送模块33，具体可用于根据所述物体信息，确定所述待搬运物体的外形信息和重心信息；依据所述外形信息、所述重心信息和所述位置信息，并结合当前可用的至少一机器人的机器人信息，规划所需使用的至少一目标机器人，以及所述至少一目标机器人各自对应的搬运插入孔；向所述至少一目标机器人分别发送控制指令，以便控制所述至少一目标机器人的前置连接头插入各自对应的搬运插入孔。
在具体的应用场景中，发送模块33，具体还可用于设置所述至少一机器人中的主从关系，所述主从关系为一主机器人与至少一从机器人的关系，其中，所述主机器人为负责牵引搬运的机器人，所述从机器人为配合所述主机器人进行搬运的机器人。
需要说明的是，本实施例提供的一种多机器人的协作控制配置装置所涉及各功能单元的其它相应描述，可以参考图1至图2中的对应描述，在此不再赘述。
基于上述如图1和图2所示方法，相应的，本实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的多机器人的协作控制方法。
可选的，本申请涉及的存储介质(可读存储介质)可以是计算机可读存储介质，该存储介质如计算机可读存储介质可以是非易失性的，也可以是易失性的。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1、图2所示的方法，以及图4所示的虚拟装置实施例，为了实现上述目的，本实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等， 该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的多机器人的协作控制方法。
可选的，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(Radio Frequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的计算机设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本实施例的技术方案，将多台机器人协作与搬运系统相结合的方式，设计了一款搬运机器人及相应的编队控制与调度控制方案，该方案可用于室内室外、大小规模的搬运场景。与现有通过人工控制多机器人协作的方式相比，可代替人工操控方式，可实现精准的多台机器人的协作控制，减少控制偏差，进而可避免抬起的容器坠落、或者根本无法抬起该容器等情况发生，可满足具体的搬运需求。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (20)

  1. 一种多机器人的协作控制方法，其中，包括：
    获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；
    根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；
    依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；
    若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。
  2. 根据权利要求1所述的方法，其中，所述根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息，具体包括：
    对所述待搬运物体的搬运插入孔进行图像识别，得到识别图像信息；
    根据所述识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定所述待搬运物体的搬运插入孔的位置信息。
  3. 根据权利要求2所述的方法，其中，所述根据所述识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定所述待搬运物体的搬运插入孔的位置信息，具体包括：
    根据不同的识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型，其中，所述识别条件至少包括拍摄角度、和/或拍摄距离、和/或拍摄时的光线强度、和/或拍摄时的天气、和/或拍摄时的时间；
    以所述识别图像信息为输入参数，利用所述识别模型计算得到所述待搬运物体的搬运插入孔的位置信息。
  4. 根据权利要求3所述的方法，其中，所述根据不同识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型，具体包括：
    统计不同的识别条件下样本搬运插入孔的样本图像信息，以及所述样本图像信息各自对应的插入孔位置标记；
    创建训练集，所述训练集中包含所述样本图像信息与所述插入孔位置标记之间的映射关系；
    基于所述训练集，利用MobileNet-SSD算法训练得到MobileNet-SSD模型。
  5. 根据权利要求4所述的方法，其中，所述以所述识别图像信息为输入参数，利用所述识别模型计算得到所述待搬运物体的搬运插入孔的位置信息，具体包括：
    将所述识别图像信息输入到所述MobileNet-SSD模型中，以便获取与所述识别图像信息对应相似度大于预设阈值的目标样本图像信息，以及与所述目标样本图像信息对应的目标插入孔位置标记；
    利用所述目标插入孔位置标记，输出所述待搬运物体的搬运插入孔的位置信息。
  6. 根据权利要求1所述的方法，其中，依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔，具体包括：
    根据所述物体信息，确定所述待搬运物体的外形信息和重心信息；
    依据所述外形信息、所述重心信息和所述位置信息，并结合当前可用的至少一机器人的机器人信息，规划所需使用的至少一目标机器人，以及所述至少一目标机器人各自对应的搬运插入孔；
    向所述至少一目标机器人分别发送控制指令，以便控制所述至少一目标机器人的前置连接头一一插入对应的搬运插入孔。
  7. 根据权利要求1所述的方法，其中，所述若确定所述至少一机器人均插入各自对应 的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令，具体包括：
    设置所述至少一机器人中的主从关系，所述主从关系为一主机器人与至少一从机器人的关系，其中，所述主机器人为负责牵引搬运的机器人，所述从机器人为配合所述主机器人进行搬运的机器人。
  8. 一种多机器人的协作控制装置，其中，包括：
    获取模块，用于获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；
    识别模块，用于根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；
    发送模块，用于依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；
    所述发送模块，还用于若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。
  9. 一种存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现以下方法：
    获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；
    根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；
    依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；
    若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。
  10. 根据权利要求9所述的存储介质，其中，所述根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息时，具体实现：
    对所述待搬运物体的搬运插入孔进行图像识别，得到识别图像信息；
    根据所述识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定所述待搬运物体的搬运插入孔的位置信息。
  11. 根据权利要求10所述的存储介质，其中，所述根据所述识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定所述待搬运物体的搬运插入孔的位置信息时，具体实现：
    根据不同的识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型，其中，所述识别条件至少包括拍摄角度、和/或拍摄距离、和/或拍摄时的光线强度、和/或拍摄时的天气、和/或拍摄时的时间；
    以所述识别图像信息为输入参数，利用所述识别模型计算得到所述待搬运物体的搬运插入孔的位置信息。
  12. 根据权利要求11所述的存储介质，其中，所述根据不同识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型时，具体实现：
    统计不同的识别条件下样本搬运插入孔的样本图像信息，以及所述样本图像信息各自对应的插入孔位置标记；
    创建训练集，所述训练集中包含所述样本图像信息与所述插入孔位置标记之间的映射关系；
    基于所述训练集，利用MobileNet-SSD算法训练得到MobileNet-SSD模型。
  13. 根据权利要求12所述的存储介质，其中，所述以所述识别图像信息为输入参数，利用所述识别模型计算得到所述待搬运物体的搬运插入孔的位置信息时，具体实现：
    将所述识别图像信息输入到所述MobileNet-SSD模型中，以便获取与所述识别图像信息对应相似度大于预设阈值的目标样本图像信息，以及与所述目标样本图像信息对应的目 标插入孔位置标记；
    利用所述目标插入孔位置标记，输出所述待搬运物体的搬运插入孔的位置信息。
  14. 根据权利要求9所述的存储介质，其中，依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔时，具体实现：
    根据所述物体信息，确定所述待搬运物体的外形信息和重心信息；
    依据所述外形信息、所述重心信息和所述位置信息，并结合当前可用的至少一机器人的机器人信息，规划所需使用的至少一目标机器人，以及所述至少一目标机器人各自对应的搬运插入孔；
    向所述至少一目标机器人分别发送控制指令，以便控制所述至少一目标机器人的前置连接头一一插入对应的搬运插入孔。
  15. 一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现以下方法：
    获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；
    根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；
    依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；
    若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。
  16. 根据权利要求15所述的计算机设备，其中，所述根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息时，具体实现：
    对所述待搬运物体的搬运插入孔进行图像识别，得到识别图像信息；
    根据所述识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定所述待搬运物体的搬运插入孔的位置信息。
  17. 根据权利要求15所述的计算机设备，其中，所述根据所述识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定所述待搬运物体的搬运插入孔的位置信息时，具体实现：
    根据不同的识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型，其中，所述识别条件至少包括拍摄角度、和/或拍摄距离、和/或拍摄时的光线强度、和/或拍摄时的天气、和/或拍摄时的时间；
    以所述识别图像信息为输入参数，利用所述识别模型计算得到所述待搬运物体的搬运插入孔的位置信息。
  18. 根据权利要求17所述的计算机设备，其中，所述根据不同识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型时，具体实现：
    统计不同的识别条件下样本搬运插入孔的样本图像信息，以及所述样本图像信息各自对应的插入孔位置标记；
    创建训练集，所述训练集中包含所述样本图像信息与所述插入孔位置标记之间的映射关系；
    基于所述训练集，利用MobileNet-SSD算法训练得到MobileNet-SSD模型。
  19. 根据权利要求18所述的计算机设备，其中，所述以所述识别图像信息为输入参数，利用所述识别模型计算得到所述待搬运物体的搬运插入孔的位置信息时，具体实现：
    将所述识别图像信息输入到所述MobileNet-SSD模型中，以便获取与所述识别图像信息对应相似度大于预设阈值的目标样本图像信息，以及与所述目标样本图像信息对应的目标插入孔位置标记；
    利用所述目标插入孔位置标记，输出所述待搬运物体的搬运插入孔的位置信息。
  20. 根据权利要求15所述的计算机设备，其中，依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔时，具体实现：
    根据所述物体信息，确定所述待搬运物体的外形信息和重心信息；
    依据所述外形信息、所述重心信息和所述位置信息，并结合当前可用的至少一机器人的机器人信息，规划所需使用的至少一目标机器人，以及所述至少一目标机器人各自对应的搬运插入孔；
    向所述至少一目标机器人分别发送控制指令，以便控制所述至少一目标机器人的前置连接头一一插入对应的搬运插入孔。
PCT/CN2020/111369 2020-04-28 2020-08-26 多机器人的协作控制方法、装置及计算机设备 WO2021217977A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010349598.0 2020-04-28
CN202010349598.0A CN111618848B (zh) 2020-04-28 2020-04-28 多机器人的协作控制方法、装置及计算机设备

Publications (1)

Publication Number Publication Date
WO2021217977A1 true WO2021217977A1 (zh) 2021-11-04

Family

ID=72268010

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/111369 WO2021217977A1 (zh) 2020-04-28 2020-08-26 多机器人的协作控制方法、装置及计算机设备

Country Status (2)

Country Link
CN (1) CN111618848B (zh)
WO (1) WO2021217977A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355852A (zh) * 2021-12-29 2022-04-15 杭州海康机器人技术有限公司 Agv协同搬运的方法、装置、管理设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485330B (zh) * 2021-07-01 2022-07-12 苏州罗伯特木牛流马物流技术有限公司 基于蓝牙基站定位与调度的机器人物流搬运系统及方法
CN113443313B (zh) * 2021-07-13 2023-01-10 深圳市海柔创新科技有限公司 机器人跌落的处理方法、装置、服务器及存储介质
US20230251661A1 (en) * 2022-02-07 2023-08-10 Venturi Astrolab, Inc. Systems for multi-vehicle collaboration and methods thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130197696A1 (en) * 2012-02-01 2013-08-01 Seiko Epson Corporation Robot apparatus, assembling method, and recording medium
CN103587869A (zh) * 2013-11-05 2014-02-19 无锡普智联科高新技术有限公司 基于总线方式的多机器人物流仓储系统及其控制方法
CN106935035A (zh) * 2017-04-07 2017-07-07 西安电子科技大学 基于ssd神经网络的违章停车车辆实时检测方法
CN109508741A (zh) * 2018-11-09 2019-03-22 哈尔滨工业大学 基于深度学习筛选训练集的方法
CN109573526A (zh) * 2018-12-29 2019-04-05 北京艾瑞思机器人技术有限公司 搬运控制方法及搬运机器人
CN110054121A (zh) * 2019-04-25 2019-07-26 北京极智嘉科技有限公司 一种智能叉车以及容器位姿偏移检测方法
CN110781887A (zh) * 2019-10-25 2020-02-11 上海眼控科技股份有限公司 车牌螺丝检测方法、装置和计算机设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011177845A (ja) * 2010-03-02 2011-09-15 Seiko Epson Corp ロボットのキャリブレーション方法及びロボット用キャリブレーション装置
DE202012104268U1 (de) * 2012-11-07 2013-02-27 IBG-Automation GmbH Vorrichtung zur automatisierten Vereinzelung von nichtmagazinierten Profilen
KR101486308B1 (ko) * 2013-08-20 2015-02-04 인하대학교 산학협력단 이동 객체를 추종하기 위한 이동로봇 제어 장치, 방법 및 이동로봇
CN107378947A (zh) * 2017-07-21 2017-11-24 深圳市萨斯智能科技有限公司 一种机器人的控制方法和机器人
CN109407603B (zh) * 2017-08-16 2020-03-06 北京猎户星空科技有限公司 一种控制机械臂抓取物体的方法及装置
CN108038861A (zh) * 2017-11-30 2018-05-15 深圳市智能机器人研究院 一种多机器人协作分拣方法、系统及装置
CN108648233B (zh) * 2018-03-24 2022-04-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
US20200097012A1 (en) * 2018-09-20 2020-03-26 Samsung Electronics Co., Ltd. Cleaning robot and method for performing task thereof
CN109398688B (zh) * 2018-11-16 2020-06-30 湖南大学 一种旋翼飞行双机械臂目标定位抓取系统及方法
CN110182718A (zh) * 2019-04-25 2019-08-30 上海快仓智能科技有限公司 搬运机器人的控制方法及货物搬运系统
CN110421547B (zh) * 2019-07-12 2022-10-28 中南大学 一种基于估计动力学模型的双臂机器人协同阻抗控制方法
CN110509273B (zh) * 2019-08-16 2022-05-06 天津职业技术师范大学(中国职业培训指导教师进修中心) 基于视觉深度学习特征的机器人机械手检测及抓取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130197696A1 (en) * 2012-02-01 2013-08-01 Seiko Epson Corporation Robot apparatus, assembling method, and recording medium
CN103587869A (zh) * 2013-11-05 2014-02-19 无锡普智联科高新技术有限公司 基于总线方式的多机器人物流仓储系统及其控制方法
CN106935035A (zh) * 2017-04-07 2017-07-07 西安电子科技大学 基于ssd神经网络的违章停车车辆实时检测方法
CN109508741A (zh) * 2018-11-09 2019-03-22 哈尔滨工业大学 基于深度学习筛选训练集的方法
CN109573526A (zh) * 2018-12-29 2019-04-05 北京艾瑞思机器人技术有限公司 搬运控制方法及搬运机器人
CN110054121A (zh) * 2019-04-25 2019-07-26 北京极智嘉科技有限公司 一种智能叉车以及容器位姿偏移检测方法
CN110781887A (zh) * 2019-10-25 2020-02-11 上海眼控科技股份有限公司 车牌螺丝检测方法、装置和计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355852A (zh) * 2021-12-29 2022-04-15 杭州海康机器人技术有限公司 Agv协同搬运的方法、装置、管理设备和存储介质
CN114355852B (zh) * 2021-12-29 2024-02-20 杭州海康机器人股份有限公司 Agv协同搬运的方法、装置、管理设备和存储介质

Also Published As

Publication number Publication date
CN111618848A (zh) 2020-09-04
CN111618848B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
WO2021217977A1 (zh) 多机器人的协作控制方法、装置及计算机设备
DE102019130046B4 (de) Robotersytem mit verbessertem Abtastmechanismus
US11413753B2 (en) Robotic system control method and controller
CN106737665B (zh) 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法
US10102629B1 (en) Defining and/or applying a planar model for object detection and/or pose estimation
Fallon et al. Continuous humanoid locomotion over uneven terrain using stereo fusion
DE102020127473A1 (de) Robotersystem mit wandbasiertem packmechanismus und verfahren zum betreiben dieses systems
JPWO2017090108A1 (ja) 棚配置システム、搬送ロボット及び棚配置方法
CN109650292A (zh) 一种智能叉车以及智能叉车的位置调整方法和介质
DE102020101767B4 (de) Steuerverfahren und steuerung für ein robotersystem
CN106647738A (zh) 一种无人搬运车的对接路径确定方法及系统及无人搬运车
CN110539299B (zh) 机器手作业方法、控制器以及机器手系统
CN109697594B (zh) 全自动无人行车线缆盘仓储系统
JP2020091837A (ja) 移動ロボットの位置決め方法、ナビゲーション方法及びグリッドマップの作成方法
CN109800316A (zh) 一种基于三维建模的城市规划辅助管理系统
CN103949054A (zh) 红外光枪定位方法及系统
WO2022012365A1 (zh) 机器人标定方法、设备及存储介质
US11645778B2 (en) Apparatus and method for identifying and picking object using artificial intelligence algorithm
CN113021336A (zh) 一种基于主从移动操作机器人的档案取放系统及方法
TWI812865B (zh) 用於實現相對定位的裝置、方法、存儲介質及電子設備
CN116401326A (zh) 道路标识的更新方法及装置
Pedrosa et al. A skill-based architecture for pick and place manipulation tasks
WO2022143361A1 (zh) 一种机器人采集位置信息的方法、终端及存储介质
US11216966B2 (en) Systems and methods for automated product measurement
Jenkel et al. Mobile manipulation for the kuka youbot platform

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20933641

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20933641

Country of ref document: EP

Kind code of ref document: A1