WO2022134732A1 - 多机器人控制方法、装置、系统、存储介质、电子设备及程序产品 - Google Patents

多机器人控制方法、装置、系统、存储介质、电子设备及程序产品 Download PDF

Info

Publication number
WO2022134732A1
WO2022134732A1 PCT/CN2021/122448 CN2021122448W WO2022134732A1 WO 2022134732 A1 WO2022134732 A1 WO 2022134732A1 CN 2021122448 W CN2021122448 W CN 2021122448W WO 2022134732 A1 WO2022134732 A1 WO 2022134732A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
task
robot
subtask
behavior
Prior art date
Application number
PCT/CN2021/122448
Other languages
English (en)
French (fr)
Inventor
黄晓庆
张站朝
马世奎
Original Assignee
达闼机器人股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 达闼机器人股份有限公司 filed Critical 达闼机器人股份有限公司
Publication of WO2022134732A1 publication Critical patent/WO2022134732A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present disclosure relates to the field of robotics, and in particular, to a multi-robot control method, device, system, storage medium, electronic device, and program product.
  • a robot system composed of multiple robots can complete relatively complex target tasks through the cooperation of multiple robots.
  • the robot system can adopt a centralized control network, that is, it includes a server and one or more robots, and the server centrally controls all the robots to complete the target task.
  • a centralized control network that is, it includes a server and one or more robots, and the server centrally controls all the robots to complete the target task.
  • the server In practice, it is found that under this kind of networking, after the server directly controls the robot to perform the target task, there is a situation where the target task fails to execute.
  • the present disclosure provides a multi-robot control method, device, system, storage medium, electronic device and program product.
  • the present disclosure provides a multi-robot control method, the method comprising:
  • one or more digital twin plans corresponding to the multiple robots are allocated one or more target subtasks, and plan one or more behavior blueprints corresponding to each of the target subtasks, as well as the action data and/or text data required to execute the behavior blueprints, wherein the roles represent preset permissions
  • the set of functions performed by the robot, and the behavior blueprint includes the action sequence that the robot needs to perform to complete the target subtask, and the logic judgment required to execute the action sequence;
  • control a plurality of the digital twins to perform simulation operation and evaluation in the three-dimensional semantic map through the behavior blueprint, and obtain simulation evaluation results, which are used for Indicating whether the target task is completed;
  • the behavior blueprint, the action data and/or text data, and the target movement path are synchronized to the digital twin through the digital twin.
  • a robot to control the robot to execute the behavior blueprint and complete the target task.
  • One or more target subtasks include:
  • twin parameters include the position information of the digital twin, the remaining energy of the digital twin, the continuous running time of the digital twin, the digital twin one or more of the operational status of the digital twin and the tasks to be executed;
  • a target subtask is obtained from the one or more candidate subtasks, and the target subtask is allocated to the digital twin.
  • the target task is divided into multiple candidate subtask sets according to different planning methods during task planning, and each candidate subtask set includes one or more target subtasks.
  • the target subtask and the target motion path, controlling the digital twin to perform simulation operation and evaluation in the three-dimensional semantic map through the behavior blueprint, and obtaining the simulation evaluation result includes:
  • the candidate subtask set with the globally optimal performance evaluation result of the target task is used as the target subtask set, and the candidate evaluation result corresponding to the target subtask set is used as the simulation evaluation result, wherein the target task execution evaluation result
  • the global optimum indicates that the robot consumes the least energy to complete the target task, or the time spent to complete the target task is the shortest, or the movement path of the robot that completes the target task is the shortest;
  • the synchronizing the behavior blueprint, the target movement path, the action data and/or text data required to execute the behavior blueprint to the robot includes:
  • the method further includes:
  • the simulation adjustment step is performed cyclically until it is determined according to the simulation evaluation result that the target task is completed, and the digital twin will complete the
  • the behavior blueprint corresponding to the target subtask of the task target, the target movement path, and the action data and/or text data required to execute the behavior blueprint are synchronized to the robot; wherein, the simulation adjustment step includes:
  • control a plurality of the digital twins to perform simulation operation and evaluation in the 3D semantic map through the behavior blueprint, and use the evaluation result as a new simulation evaluation result.
  • the method further includes:
  • the target subtask needs to be updated, re-execute the target task to be performed according to the multiple robots, the roles of the multiple robots, and the three-dimensional semantic map of the environment where the multiple robots are located, so as to be consistent with all the robots.
  • the multiple digital twins corresponding to the multiple robots plan to assign one or more target subtasks to the behavior blueprint, the target path, and the action data and/or text data required to execute the behavior blueprint, Steps to synchronize to the robot.
  • the re-acquiring new twin parameters of the digital twin include:
  • the updated twin parameters are used as new twin parameters.
  • determining whether the target subtask needs to be updated includes:
  • the preset condition includes one or more of the following:
  • the residual energy of the digital twin is less than or equal to a preset energy threshold
  • the running state of the digital twin is a preset state
  • the method further includes:
  • the target subtask and the target motion path obtain the local three-dimensional semantic map required by the robot
  • the local three-dimensional semantic map is sent to the robot.
  • the three-dimensional semantic map is obtained by:
  • the target task is obtained in any of the following ways:
  • the environment information sent by the robot is received, and the target task is acquired according to the environment information.
  • the space path planning includes three-dimensional path planning and movement path planning
  • the target motion path includes a three-dimensional motion path obtained through the three-dimensional path planning, and a movement trajectory in two-dimensional coordinates obtained through the movement path planning.
  • the present disclosure provides a multi-robot control device, the device comprising:
  • a task allocation module configured to create a plurality of digital twins corresponding to the plurality of robots according to the target tasks to be performed by the plurality of robots, the roles of the plurality of robots, and the three-dimensional semantic map of the environment where the plurality of robots are located
  • the overall planning assigns one or more target subtasks, and plans one or more behavior blueprints corresponding to each of the target subtasks, and the action data and/or text data required to execute the behavior blueprint, wherein the The role represents a preset set of functions that the robot is allowed to perform, and the behavior blueprint includes the action sequence that the robot needs to perform to complete the target subtask, and the logical judgment required to perform the action sequence;
  • a path planning module configured to perform space path planning according to the target sub-task to obtain the target motion path of the digital twin
  • the simulation evaluation module is used for controlling a plurality of the digital twins to perform simulation operation and evaluation in the three-dimensional semantic map through the behavior blueprint according to the target subtask and the target motion path, and obtain the simulation evaluation result, so that the The simulation evaluation result is used to characterize whether the target task is completed;
  • a task synchronization module configured to synchronize the behavior blueprint, the target movement path, and the behavior blueprint required to execute the behavior blueprint through the digital twin under the condition that the target task is determined to be completed according to the simulation evaluation result.
  • the motion data and/or text data are synchronized to the robot to control the robot to execute the behavior blueprint and complete the target task.
  • the present disclosure provides a computer-readable storage medium on which a computer program is stored, and when the program is executed by a processor, implements the steps of the method described in the first aspect of the present disclosure.
  • the present disclosure provides an electronic device, comprising: a memory on which a computer program is stored; and a processor for executing the computer program in the memory, so as to implement the method described in the first aspect of the present disclosure. step.
  • the present disclosure provides a multi-robot control system, the system includes a server and a plurality of robots connected to the server; the server includes a plurality of digital twins, each of which is associated with a The virtual three-dimensional physical model corresponding to the robot; wherein:
  • the server is configured to execute the steps of the method described in the first aspect of the present disclosure.
  • the robot is configured to receive the behavior blueprint planned by the server, the target path, and the action data and/or text data required to execute the behavior blueprint, and execute the behavior blueprint.
  • the robot includes: a robot body and a digital twin; wherein:
  • the digital twin copy is used to interact and synchronize with the digital twin of the server, to synchronize the behavior blueprint planned by the server, the target path, and the action data and/or text data required to execute the behavior blueprint, and to synchronize all control functions.
  • the robot ontology executes the behavior blueprint;
  • the robot body is configured to execute the behavior blueprint according to the control of the digital twin copy.
  • the robot further includes a perception processing component; wherein:
  • the perception processing component is used to scan the environment of the target task and obtain environment information
  • the digital twin is used to receive an environment scan instruction sent by the server, and control the perception processing component to scan according to the environment scan instruction; and obtain the environment information scanned by the perception processing component, and send the environment information to the server.
  • the digital twin copy is further used for synchronizing the state information of the robot with the digital twin, so that the digital twin synchronously updates the twin parameters of the digital twin according to the state information.
  • the present disclosure provides a computer program product comprising a computer program executable by a programmable apparatus, the computer program having, when executed by the programmable apparatus, for performing the first aspect of the present disclosure The code portion of the steps of the method.
  • the target subtasks are planned for the digital twin corresponding to the robots; and the spatial path is carried out according to the target subtasks.
  • the target motion path according to the target sub-task and target motion path, control the digital twin to perform simulation operation in the 3D semantic map through the behavior blueprint and evaluate it, and obtain the simulation evaluation result; if the target task is determined to be completed according to the simulation evaluation result, Then, through multiple digital twins, the behavior blueprint for completing the target subtask, the target motion path, and the action data and/or text data required to execute the behavior blueprint are sent to the robot to control the robot to execute the behavior blueprint and complete the target task. In this way, it can be ensured that the robot can complete the target task, and the accuracy of multi-robot control is improved.
  • FIG. 1 is a schematic structural diagram of a multi-robot control system provided by an embodiment of the present disclosure
  • FIG. 2 is a flowchart of a multi-robot control method provided by an embodiment of the present disclosure
  • FIG. 3 is a schematic structural diagram of another multi-robot control system provided by an embodiment of the present disclosure.
  • FIG. 4 is a schematic structural diagram of another multi-robot control system provided by an embodiment of the present disclosure.
  • FIG. 5 is a schematic structural diagram of a multi-robot control device provided by an embodiment of the present disclosure.
  • FIG. 6 is a schematic structural diagram of a second multi-robot control device provided by an embodiment of the present disclosure.
  • FIG. 7 is a schematic structural diagram of a third multi-robot control device provided by an embodiment of the present disclosure.
  • FIG. 8 is a schematic structural diagram of a fourth multi-robot control device provided by an embodiment of the present disclosure.
  • FIG. 9 is a schematic structural diagram of a fifth multi-robot control device provided by an embodiment of the present disclosure.
  • FIG. 10 is a block diagram of an electronic device provided by an embodiment of the present disclosure.
  • FIG. 11 is a block diagram of another electronic device provided by an embodiment of the present disclosure.
  • a robot system composed of multiple robots can adopt a centralized control network.
  • the robot system can include a server and one or more robots.
  • the cooperation among the multiple robots can be realized, so as to complete the relative control.
  • complex target tasks the server obtains the target sub-tasks of each robot after dividing the target tasks according to the target tasks, and directly issues the target sub-tasks to the robots to control the robots to perform the target tasks. In this case, the rationality of the divided target subtasks cannot be guaranteed.
  • the robot will not be able to complete the target task.
  • the target task is too complex, for example, there are many robots that need to participate, or the environmental information for task execution is complex and changeable, it will probabilistically cause the target subtasks divided by the server to be unreasonable, resulting in the failure of the target task to be completed.
  • the present disclosure provides a multi-robot control method, device, system, storage medium, electronic device and program product.
  • the method includes: according to the target tasks to be performed by multiple robots, the roles of the robots, and the location of the robots.
  • the three-dimensional semantic map of the environment allocates target subtasks for the digital twin planning corresponding to the robot; and performs spatial path planning according to the target subtasks to obtain the target motion path of the digital twin; according to the target subtask and target motion path, controls the digital twin
  • the twin body performs simulation operation and evaluation in the three-dimensional semantic map through the behavior blueprint, and obtains the simulation evaluation result; if the target task is determined to be completed according to the simulation evaluation result, the behavior blueprint and target of the target subtask will be completed through multiple digital twins.
  • the motion path, and the motion data and/or text data required to execute the behavior blueprint are sent to the robot to control the robot to execute the behavior blueprint and complete the target task, thereby ensuring that the robot can complete the target task and improving the accuracy of multi-robot control sex.
  • FIG. 1 is a schematic structural diagram of a multi-robot control system provided by an embodiment of the present disclosure.
  • the multi-robot control system includes a server 101 , a plurality of robots 102 connected to the server 101 (ie the robot 1021 , the robot 1022, robot 1023,..., robot 102n), wherein: the server 101 may include a plurality of digital twins 103 (ie digital twin 1031, digital twin 1032, digital twin 1033,..., digital twin 103n).
  • Each of the digital twins corresponds to a robot.
  • the digital twin 1031 corresponds to the robot 1021
  • the digital twin 1032 corresponds to the robot 1022
  • the digital twin 1033 corresponds to the robot 1023 .
  • the above-mentioned server 101 may be a cloud server, a desktop computer, or other electronic devices having a memory and a processor.
  • the server 101 and the robot 102 can be connected through a wired network or a wireless network.
  • the above-mentioned robot 102 is a physical robot, which may include homogeneous multi-robots or heterogeneous multi-robots.
  • Homogeneous multi-robots refer to multiple robots with the same hardware equipment or the same capabilities, and different robots can perform the same type of tasks; while heterogeneous multi-robots refer to multiple robots with different hardware devices or different capabilities, and different robots can perform different types of tasks task.
  • the above-mentioned digital twin 103 may be a virtual three-dimensional physical model of the robot 102 created digitally.
  • the digital twin 103 is connected with the corresponding robot 102 and can realize real-time interactive synchronization.
  • the parameter instructions of the digital twin 103 can be transmitted to the robot 102, so as to adjust the behavior and state of the robot 102;
  • the state parameters of the robot 102 corresponding to the body 103 are the same, and the real-time interaction between the digital twin body 103 and the robot 102 is synchronized, so that the twin body parameters of the digital twin body 103 are consistent with the state parameters of the corresponding robot 102, so that the digital twin body is consistent.
  • 103 realistically reflects the actual state of the robot 102 .
  • the server 101 can obtain the state parameters of the robot 102 through the digital twin 103, and can also transmit relevant parameter instructions to the robot 102 through the digital twin 103 to control the robot 102 to perform the target task.
  • FIG. 2 is a flowchart of a multi-robot control method provided by an embodiment of the present disclosure.
  • the execution body of the method may be a server in the above-mentioned multi-robot control system, and the method includes:
  • the target tasks to be performed by the multiple robots the roles of the multiple robots, and the three-dimensional semantic map of the environment where the multiple robots are located, assign one or more target subtasks to the multiple digital twin plans corresponding to the multiple robots , and plan one or more behavior blueprints corresponding to each target subtask, as well as action data and/or text data required to execute the behavior blueprint.
  • the above-mentioned role of the robot represents a preset set of functions that the robot is allowed to perform, and the set of functions may be a full set or a subset of functions that can be supported by the hardware capabilities of the robot.
  • the above-mentioned behavior blueprint includes the action sequence that the robot needs to perform to complete the target subtask, and the logic judgment required to execute the action sequence.
  • the above three-dimensional semantic map is an environmental semantic scene described by natural language, which can describe the target object in three-dimensional space, as well as the spatial position and semantic attributes of the target object.
  • the semantic attributes include but are not limited to the size, shape, weight, category, and material of the target object. , color, etc.
  • a conference room environment can be described by a 3D semantic map, in which the target objects can include floors, walls, doors, windows, tables and lamps, and the semantic attributes of the target objects can include information such as size, material, color, etc.
  • the 3D semantic map also The spatial position information of each of the above target objects in the conference room environment is described.
  • an office environment can also be described by a three-dimensional semantic map, and the office environment can include an office on the first floor, an office on the second floor, stairs from the first floor to the second floor, a refrigerator on the first floor, a water dispenser, a conference room, Target objects such as desks on the second floor.
  • the three-dimensional semantic map can be preset or constructed by robot scanning.
  • the task environment can be scanned by tools and marked manually to form a three-dimensional semantic map, and the three-dimensional semantic map can be preset.
  • the task environment can be scanned by controlling the robot using the robot's perception processing component, and automatically marked to form a three-dimensional semantic map.
  • a preset function set for running the robot may be determined according to the role of the robot, so as to assign a target subtask corresponding to the function set to the digital twin corresponding to the robot.
  • the three-dimensional semantic map is a home map, including living room, dining room, kitchen and bedroom.
  • the target task is house cleaning
  • the target subtask assigned to the sweeping robot can be the sweeping subtask, and the sweeping subtask includes cleaning the floor of the living room, dining room, kitchen and bedroom
  • the target subtask assigned to the window cleaning robot can be the window cleaning subtask, including cleaning the living room, Re anghu in the dining room, kitchen and bedroom
  • the target subtask assigned to the garbage delivery robot can be the garbage removal subtask, including transporting the garbage generated by the sweeping robot to the centralized garbage storage place in the community and dumping it into the garbage can.
  • Spatial path planning refers to the realization of robot movement planning based on the above-mentioned three-dimensional semantic map. That is, when the environmental information of the three-dimensional semantic map is all known, and at the same time meets certain evaluation criteria such as time, distance or energy, find a collision-free optimal or Sub-optimal route; based on the global space path planning, in the optimal or sub-optimal paths selected from different starting points to the target point, predict the types of conflicts that may occur between robots to achieve obstacle conflicts and deadlock elimination. Wait.
  • the target movement path planned for the sweeping robot can be living room->bedroom->dining room->kitchen->door;
  • the target movement path planned by the robot can be dining room->kitchen->living room->bedroom;
  • the target movement path planned for the garbage removal robot can be to stay at the door and wait until the cleaning robot completes the cleaning subtask and will generate
  • the garbage removal robot goes out and moves to the centralized garbage storage place in the community, puts the garbage into the garbage bin, and then returns to the door to stay.
  • the target object corresponding to the target subtask can be determined, and the target position of the target object can be determined in the three-dimensional semantic map. Based on the three-dimensional semantic map, it is possible to plan The movement path of each digital twin from the current position to the target position is obtained, and the movement path can be the shortest path without obstacles, so that the movement path can be used as the target movement path of the digital twin.
  • the above-mentioned spatial path planning may include three-dimensional path planning and moving path planning.
  • the above-mentioned target motion path may include a three-dimensional motion path obtained through three-dimensional path planning, and a movement trajectory obtained by moving path planning in two-dimensional coordinates. .
  • the movement trajectory of the robot moving from the living room to the bedroom in 2D coordinates can be obtained through the movement path planning
  • the 3D movement path of the robot lifting its arm from the current position to the window in order to clean the window can be obtained through the 3D path planning.
  • the moving path of the robot with the probability of collision and conflict can be adjusted to avoid the occurrence of collision and conflict, and the adjusted moving path is used as the target motion path of the digital twin.
  • multiple digital twins can be controlled to perform one or more simulation runs and evaluate the entire target task in the virtual three-dimensional semantic map through the behavior blueprint, so as to obtain the simulation evaluation results.
  • the simulation evaluation results can be used to characterize whether the target task is completed. For example, the target task is to move the target object from position A to position B. If the target object moves from position A to position B through the above simulation evaluation, the simulation evaluation result is that the target task is completed; otherwise, if the above simulation evaluation is passed, The target object has moved from position A to position C, and position C and position B are two positions that are far apart, and the simulation evaluation result is that the target task is not completed.
  • the digital twins corresponding respectively to the sweeping robot, the window cleaning robot and the garbage removal robot can be completely simulated and executed once or according to the assigned target subtask and the target motion path. multiple times to obtain simulation evaluation results.
  • the obtained simulation evaluation results can characterize the completion or non-completion of the cleaning task.
  • the behavior blueprint, the target motion path, and the action data and/or text data required to execute the behavior blueprint are synchronized to the robot through the digital twin, so as to Control the robot to execute the behavior blueprint and complete the target task.
  • the above-mentioned behavior blueprint, target motion path, and action data and/or text data required to execute the behavior blueprint may be distributed to the digital twin, and the digital twin interacts and synchronizes with the corresponding robot, whereby, the above-mentioned behavior blueprint, the target movement path, and the motion data and/or text data required to execute the behavior blueprint are synchronized to the robot, so as to control the robot to execute the behavior blueprint and complete the target task.
  • the target sub-tasks are allocated for the digital twin planning corresponding to the robots; and the spatial path planning is carried out according to the target sub-tasks , obtain the target motion path of the digital twin; according to the target subtask and target motion path, control the digital twin to perform simulation operation and evaluate in the 3D semantic map through the behavior blueprint, and obtain the simulation evaluation result; if the target is determined according to the simulation evaluation result
  • the behavior blueprint for completing the target subtask, the target motion path, and the action data and/or text data required to execute the behavior blueprint are sent to the robot through multiple digital twins to control the robot to execute the behavior. Blueprint and complete the target task, so as to ensure that the robot can complete the target task and improve the accuracy of multi-robot control.
  • the local 3D semantic map required by the robot can also be obtained according to the 3D semantic map, the target subtask and the target motion path; and the local 3D semantic map is sent to the robot.
  • the local three-dimensional semantic map may be a partial map related to the target subtask and the target motion path, while the map unrelated to the target subtask and the target motion path does not need to be sent to the robot.
  • the storage space and computing power occupied by the robot to store the complete three-dimensional semantic map can be reduced, and the execution efficiency of the robot can be improved by executing the corresponding target sub-task through the partial three-dimensional semantic map.
  • step S201 may assign target subtasks to the digital twin in the following manner:
  • the target task plan is decomposed into one or more candidate subtasks.
  • the target task may be decomposed into one or more candidate subtasks according to the current position and target position of the target object in the target task in the three-dimensional semantic map.
  • the robot system can have the following three robots with different roles: Robot A1: a wheeled robot with dexterous arms, which can perform sub-tasks such as grabbing objects, pushing, pulling, turning, placing, and moving horizontally; Robot B1 : A quadruped robot with grasping hands, which can perform the sub-task of going up and down stairs, and can also perform the sub-task of grabbing items; Robot C1: Delivery robot, which can perform the sub-task of transporting items on flat ground, and can perform the sub-task of transporting items on a flat surface Subtasks for moving items between locations.
  • the goal task is to take a bottle of beverage from the refrigerator on the first floor and send it to the office table on the second floor.
  • the goal task planning can be decomposed into three goal subtasks: goal subtask 1, take a drink from the refrigerator on the first floor and Deliver the drink to the stairwell on the first floor; goal subtask 2: deliver the drink from the stairwell on the first floor to the stairwell on the second floor; target subtask 3: deliver the drink from the stairwell on the second floor to the desk in the office.
  • the twin parameters may include the position information of the digital twin, the remaining energy of the digital twin, the continuous running time of the digital twin, the running state of the digital twin, and the tasks to be performed by the digital twin. one or more;
  • twin parameters of the digital twin can be the same as the state parameters of the corresponding robot.
  • state parameters of the robot change, they can also be synchronously reflected on the twin parameters of the corresponding digital twin.
  • the position information of the above-mentioned digital twin may be the current position of the robot corresponding to the digital twin in the three-dimensional semantic map.
  • the position information of robot A1 may be the stair entrance on the first floor; the position information of robot B1 may be the second floor.
  • the entrance of the stairs; the location information of the robot C1 can be the entrance of the office on the second floor. If there are multiple robots of the same type at different positions, the target subtask can be assigned to the closest robot according to the distance between the positions of the multiple robots and the position of the target object of the target subtask.
  • the remaining energy of the digital twin can be used to characterize the remaining power of the robot corresponding to the digital twin, and it can be judged whether the robot corresponding to the digital twin can complete the target sub-task through the remaining energy. For example, when the remaining energy is 5%, the robot can recharge as soon as possible to replenish energy, and will no longer perform new subtasks.
  • the operating state of the digital twin can be used to characterize the operating state of the robot corresponding to the digital twin, and the operating state can include various states such as normal state, fault state, charging state, and fatigue state.
  • the fault state can indicate that the robot is faulty and cannot perform subtasks, and the digital twin can not be assigned subtasks at this time
  • the charging state can indicate that the robot is charging, and the digital twin can be assigned a high priority at this time.
  • high-priority sub-tasks can be sub-tasks that no other digital twin can perform, or can be pre-set sub-task priorities
  • fatigue status can characterize the robot’s continuous execution
  • the time of the subtask is greater than or equal to the first preset time threshold.
  • a second preset time can be set for the digital twin, and no new subtasks are allocated to the digital twin within the second preset time. .
  • the to-be-executed task of the above-mentioned digital twin can be used to characterize whether there is a sub-task to be executed in the digital twin, and the sub-task priority of the sub-task to be executed.
  • a target subtask is obtained from the above one or more candidate subtasks, and the target subtask is allocated to the digital twin.
  • an appropriate target subtask may be assigned to the digital twin according to one or more of the digital twin parameters.
  • the digital twin may be assigned target subtasks based on the digital twin's type and location information.
  • subtask 1 fetching a drink from the refrigerator on the first floor and delivering it to the stairwell on the first floor
  • robot A1 a wheeled robot with dexterous arms
  • Task 2 delivery of beverages from the first-floor stairwell to the second-floor stairwell
  • robot B1 quaddruped robot with grasping hands
  • subtask 3 delivery of drinks from the second-floor stairwell to the office desk Allocated to robot C1 (delivery robot).
  • each digital twin can be assigned an appropriate target subtask according to the twin parameters of the digital twin, so that the target task can be completed through the cooperation of one or more robots.
  • the target task may be divided into multiple candidate subtask sets according to different planning methods during task planning, and each candidate subtask set may include one or more target subtasks.
  • the target task may be divided into a first candidate subtask set, a second candidate subtask set, or a third candidate subtask set, wherein the first candidate subtask set may include target subtask 11, target subtask 12 and a target Subtask 13; the second candidate subtask set may include target subtask 21, target subtask 22 and target subtask 23; the third candidate subtask set may include target subtask 31, target subtask 32 and target subtask 33;
  • the spatial path planning may be performed for the target subtasks in each of the above candidate subtask combinations, so as to obtain the target motion path corresponding to each target subtask.
  • step S203 can be implemented in the following ways:
  • performing the simulation operation and evaluation of the candidate subtask set includes: according to the target subtasks in the candidate subtask set and the target motion path corresponding to each target subtask, controlling the digital twin to display in the three-dimensional semantic map through the behavior blueprint The simulation operation is performed and the evaluation is performed to obtain the candidate evaluation result and the task execution evaluation result of the candidate subtask set.
  • the candidate subtask set with the globally optimal task execution evaluation result is taken as the target subtask set, and the candidate evaluation result corresponding to the target subtask set is taken as the simulation evaluation result.
  • the global optimal result of the task execution evaluation indicates that the robot consumes the least energy to complete the target task, or takes the shortest time to complete the target task, or the movement path of the robot for the target task is the shortest.
  • the behavior blueprint, target motion path, and action data required to execute the behavior blueprint corresponding to the target subtask in the above target subtask set can be obtained. and/or text data, synced to the robot.
  • the optimal target subtask allocation method can be obtained through simulation evaluation, so that the robot consumes the least power during the execution of the target task, or the target task completion time is shortest.
  • the simulation adjustment step when it is determined according to the simulation evaluation result that the target task is not completed, the simulation adjustment step is performed cyclically until it is determined according to the simulation evaluation result that the target task is completed, and then the digital twin is passed through the digital twin. , synchronizing the behavior blueprint, the target motion path, and the action data and/or text data required to execute the behavior blueprint corresponding to the target subtask of the task goal to the robot; wherein, the simulation adjustment step may include:
  • the simulation evaluation results, the target subtask and the digital twin are presented to the user.
  • the user may be a robot service trainer, or a user who issues a target task.
  • the displayed information can include the correspondence between each target subtask and the digital twin, so that the user can clearly determine the task assignment of each digital twin.
  • the simulation evaluation result may include the specific situation of the task execution, such as the duration of the task execution, which step of the task execution fails, and the reason for the failure of the task execution.
  • the user can adjust the target subtask of each digital twin according to the current task assignment.
  • the task adjustment instruction can include adjustments to the target subtasks of one or more digital twins, such as adjusting the target subtask of digital twin 1.
  • Task 1 is adjusted to digital twin 2
  • the target subtask 2 of digital twin 2 is adjusted to digital twin 1.
  • multiple digital twins are controlled to perform simulation operation and evaluation in the 3D semantic map through the behavior blueprint, and the evaluation result is taken as the new simulation evaluation result.
  • the allocation of the target subtasks can be manually adjusted, and the target task is determined to be completed through the adjusted simulation evaluation, and then issued to the robot and the robot performs the target subtask. This ensures that the task is executed successfully at one time, avoids invalid task execution, and reduces the energy consumption of the robot.
  • the target task can be modified, and the target sub-task planning, space path planning and simulation evaluation can be re-executed according to the modified target task.
  • a user can send a bottle of drink from the refrigerator on the first floor to the office on the second floor, and modify it to take a glass of water from the water dispenser on the second floor and send it to the office on the second floor.
  • the target task can be adjusted to avoid invalid task execution and reduce the energy consumption of the robot.
  • the twin parameters of the digital twin may also change.
  • the method can also include:
  • the state parameters of the robot can change automatically with the tasks or actions performed by the robot. For example, after the robot performs tasks for a long time, the running state of the robot can change from a normal state to a charged state or a fatigued state; After the parts are damaged, the operation state can be changed to the fault state; the position information of the robot can be changed according to the movement of the robot. Due to the synchronization of real-time interaction between the digital twin and the robot, as the state parameters of the robot change, the twin parameters of the digital twin also change synchronously. Therefore, in this step, new twin parameters of the digital twin can be obtained by periodic query.
  • the state parameters of the robot can be modified by the user through the robot service client, the user can be the robot service trainer, such as modifying the type or running state of the robot, or assigning new tasks, resulting in the corresponding number of the robot
  • the twin parameters of the twin are changed.
  • the new twin parameters of the digital twin can be re-acquired in the following ways: receiving an operation instruction input by the user for the digital twin; updating the twin parameters of the digital twin according to the operation instruction; The twin parameters are used as new twin parameters.
  • the priority of the task to be executed can be the highest priority, thereby ensuring that the user's operation instruction is completed first. For example, if the user finds that the power of the robot is low, and issues an operation command for a charging task, it is necessary to control the robot to complete the charging task first, and no longer perform new tasks; after the charging task is completed, perform new tasks. In this way, you can ensure that the tasks requested by the user are executed with priority.
  • the preset conditions include one or more of the following:
  • Preset Condition 1 The remaining energy of the digital twin is less than or equal to the preset energy threshold.
  • the preset energy threshold may be 5% or 10%. If the remaining energy of the digital twin is less than or equal to the preset energy threshold, it can indicate that the robot corresponding to the digital twin cannot complete the target subtask. The robot can recharge as quickly as possible to replenish energy and no longer perform new subtasks.
  • the running state of the digital twin is a preset state.
  • the preset state may include a fault state, a charging state or a fatigue state.
  • Preset Condition 3 Among the tasks to be executed in the digital twin, there is a to-be-executed task whose task priority is higher than that of the target sub-task.
  • Method 2 A new target subtask can be allocated to the digital twin according to the new twin parameters. If the new target subtask is inconsistent with the last allocated target subtask, it is determined that the target subtask needs to be updated.
  • the target subtask needs to be updated, re-execute the target task to be performed by the multiple robots, the roles of the multiple robots, and the three-dimensional semantic map of the environment where the multiple robots are located, so as to be consistent with the multiple robots.
  • the above steps S201 to S204 may be re-executed, so as to redo target subtask assignment, space path planning, simulation evaluation and task synchronization.
  • the above-mentioned re-acquiring of the new twin parameters of the digital twin may be performed after the behavior blueprint, the target path, and the action data and/or text data required to execute the behavior blueprint are synchronized to the robot. It can be performed in the simulation evaluation stage after acquiring the twin body parameters of the digital twin body.
  • an end-to-end complete continuous closed-loop optimization target task process can be formed through the above method.
  • the twin body parameters of the digital twin body change, the target subtask of the digital twin body can be adjusted in time to complete the target task. .
  • the above-mentioned three-dimensional semantic map can also be obtained in the following ways:
  • an environment scanning instruction is sent to the robot, where the environment scanning instruction is used to instruct the robot to scan the environment of the target task and obtain environment information.
  • one or more robots in the robot system can be selected to scan the environment of the target task to obtain environment information.
  • the accuracy of the environment scanning can be determined by the scanning acquisition accuracy of the robot, for example, the scanning acquisition accuracy of the robot can be 3 cm or 5 cm.
  • the robot can send the scanned environment information to the server.
  • the environment information sent by the robot according to the environment scanning instruction is received; and a three-dimensional semantic map is obtained according to the environment information.
  • the three-dimensional semantic map constructed according to the environmental information can be used for the positioning and navigation functions of the robot performing the target sub-task.
  • the accuracy of the three-dimensional semantic map may be higher than or equal to the scanning and acquisition accuracy of the robot. For example, if the scanning and acquisition accuracy of the robot is 3 centimeters, the accuracy of the three-dimensional semantic map may also be 3 centimeters, or 1 centimeter or 2 centimeters.
  • a three-dimensional semantic map can be constructed by scanning by a robot, so that no additional tools are required to scan and construct, and it is convenient to obtain an accurate three-dimensional semantic map to perform the target task.
  • new environment information sent by the robot can also be received, and the three-dimensional semantic map can be updated according to the new environment information.
  • the three-dimensional semantic map can be updated in time, so that the target task can be successfully completed.
  • Task acquisition method 1 Receive the task instruction input by the user, and acquire the target task according to the task instruction.
  • a certain robot of the robot system can receive the user's task instruction. For example, a user in the office says to the robot, "please help me get a bottle of drink”. After receiving the task instruction, according to the task instruction, the target can be obtained.
  • the task is: take a bottle of drink from the refrigerator on the first floor to the office on the second floor.
  • the user's task instruction can also be received through a robot service client, which may be an electronic device such as a terminal, a PAD, a computer, etc., for example, a robot server APP installed on the electronic device.
  • a robot service client can receive the task instruction input by the user, and obtain the target task according to the task instruction.
  • the user's task instruction can be completed in this way, so as to meet the user's demand for the robot.
  • Task acquisition method 2 Receive the environmental information sent by the robot, and obtain the target task according to the environmental information.
  • the target task can be obtained according to the change of the environmental information. For example, if it is found that there is water on the ground through the environmental information sent by the robot, the target task of wiping the ground can be obtained.
  • the target task can be automatically performed based on the environmental information, thereby realizing the automatic operation of the robot system.
  • FIG. 1 is a schematic structural diagram of a multi-robot control system provided by an embodiment of the present disclosure.
  • the multi-robot control system includes a server 101 and one or more robots 102 connected to the server; the server includes One or more digital twins, each digital twin being a three-dimensional physical model corresponding to a robot; where:
  • the server 101 is configured to execute the steps of the multi-robot control method provided by any of the foregoing embodiments.
  • the robot 102 is configured to receive the behavior blueprint planned by the server 101, the target path, and the action data and/or text data required to execute the behavior blueprint, and execute the behavior blueprint.
  • the server Using the above-mentioned multi-robot control system, through the server, according to the target tasks to be performed by multiple robots, the roles of the robots and the three-dimensional semantic map of the environment where the robots are located, the target sub-tasks are planned for the digital twin corresponding to the robots; and according to the target sub-tasks
  • the task carries out spatial path planning to obtain the target motion path of the digital twin; according to the target subtask and the target motion path, the digital twin is controlled to perform simulation operation and evaluation in the 3D semantic map through the behavior blueprint, and obtain the simulation evaluation results;
  • the simulation evaluation result determines that the target task is completed, then through multiple digital twins, the behavior blueprint for completing the target subtask, the target motion path, and the action data and/or text data required to execute the behavior blueprint are sent to the robot to Control the robot to execute the behavior blueprint and complete the target task, thereby ensuring that the robot can complete the target task and improving the accuracy of multi-robot control.
  • FIG. 3 is a schematic structural diagram of another multi-robot control system provided by an embodiment of the present disclosure.
  • the above-mentioned robot 102 may include: a digital twin copy 104 and a robot body 105; wherein:
  • the digital twin copy 104 can be used to interact and synchronize with the digital twin of the server, synchronize the behavior blueprint planned by the server, the target path, and the action data and/or text data required to execute the behavior blueprint, and synchronously control the robot body to execute the The behavior blueprint, wherein the way of synchronously controlling the robot body may be sending control instructions to the robot body 105 .
  • the robot body 105 is used to execute the behavior blueprint according to the control of the digital twin copy 104 .
  • FIG. 4 is a schematic structural diagram of another multi-robot control system provided by an embodiment of the present disclosure.
  • the above-mentioned robot 102 further includes a perception processing component 106; wherein:
  • the perception processing component 106 is configured to scan the environment of the target task and obtain environment information
  • the digital twin copy 104 is used to receive the environment scanning instruction sent by the server 101, and control the sensing processing component 106 to scan according to the environment scanning instruction; The information is sent to the server 101 .
  • the robot realizes the environment scanning function through the perception processing component, thereby sending the scanned environment information to the server, and the server can construct a three-dimensional semantic map according to the environment information for performing the target task.
  • the digital twin copy 104 is also used to synchronize the state information of the robot to the digital twin, so that the digital twin can synchronously update the twin parameters of the digital twin according to the state information.
  • the robot interacts and synchronizes in real time with the above-mentioned digital twin of the server through the copy of the digital twin, so that the twin parameters of the digital twin are consistent with the state parameters of the corresponding robot, so that the digital twin can realistically reflect the real state of the robot.
  • FIG. 5 is a multi-robot control device provided by an embodiment of the present disclosure. As shown in FIG. 5 , the device includes:
  • the task allocation module 501 is used to plan a plurality of digital twins corresponding to the plurality of robots according to the target tasks to be performed by the plurality of robots, the roles of the plurality of robots and the three-dimensional semantic map of the environment where the plurality of robots are located Assign one or more target subtasks, and plan one or more behavior blueprints corresponding to each target subtask, as well as the action data and/or text data required to execute the behavior blueprint, wherein the role represents a preset
  • the set of functions that the robot is allowed to perform, the behavior blueprint includes the action sequence that the robot needs to perform to complete the target subtask, and the logic judgment required to execute the action sequence;
  • the simulation evaluation module 503 is used to control a plurality of the digital twins to perform simulation operation and evaluation in the three-dimensional semantic map through the behavior blueprint according to the target subtask and the target motion path, and obtain a simulation evaluation result, the simulation evaluation result Used to characterize whether the target task is completed;
  • the task synchronization module 504 is configured to, when it is determined according to the simulation evaluation result that the target task is completed, through the digital twin, the behavior blueprint, the target path, and the action data and/or action data required to execute the behavior blueprint
  • the text data is synchronized to the robot to control the robot to execute the behavior blueprint and complete the target task.
  • the task assignment module 501 is used for:
  • twin parameters include the position information of the digital twin, the remaining energy of the digital twin, the continuous running time of the digital twin, the running state of the digital twin, and the digital twin one or more of the tasks to be performed by the twin;
  • a target subtask is obtained from the one or more candidate subtasks, and the target subtask is allocated to the digital twin.
  • the target task is divided into multiple candidate subtask sets according to different planning methods during task planning, and each candidate subtask set includes one or more target subtasks, and the simulation evaluation module 503 is used for. :
  • the candidate subtask set with the globally optimal task execution evaluation result is used as the target subtask set, and the candidate evaluation result corresponding to the target subtask set is used as the simulation evaluation result, wherein the task execution evaluation result is globally optimal.
  • the target task consumes the least energy of the robot, or the time spent to complete the target task is the shortest, or the movement path of the robot that completes the target task is the shortest.
  • the task synchronization module 504 is configured to: synchronize the behavior blueprint, the target motion path, the action data and/or text data required to execute the behavior blueprint corresponding to the target subtask in the target subtask set to the robot.
  • the device also includes:
  • the simulation adjustment module 601 is configured to execute the simulation adjustment step cyclically when it is determined according to the simulation evaluation result that the target task has not been completed, until it is determined that the target task is completed according to the simulation evaluation result, and through the digital twin, will complete the The behavior blueprint, target motion path, and motion data and/or text data required to execute the behavior blueprint corresponding to the target subtask of the task target are synchronized to the robot; wherein, the simulation adjustment step includes:
  • multiple digital twins are controlled to perform simulation operation and evaluation in the 3D semantic map through the behavior blueprint, and the evaluation results are used as new simulation evaluation results.
  • the device further includes:
  • the task update module 701 is used to re-acquire the new twin parameters of the digital twin; according to the new twin parameters, determine whether the target subtask needs to be updated; in the case that the target subtask needs to be updated, re-execute According to the target tasks to be performed by the robots, the roles of the robots, and the three-dimensional semantic map of the environment where the robots are located, assign one or more target sub-targets to the digital twin plans corresponding to the robots The task, to the step of synchronizing the behavior blueprint, the target path, and motion data and/or text data required to execute the behavior blueprint to the robot.
  • the task update module 701 is used to receive the operation instruction input by the user for the digital twin; update the twin parameter of the digital twin according to the operation instruction; use the updated twin parameter as a new twin body parameters.
  • the task update module 701 is configured to determine that the target subtask needs to be updated when the new twin parameter meets a preset condition, wherein the preset condition includes one or more of the following:
  • the remaining energy of the digital twin is less than or equal to a preset energy threshold, and the preset energy threshold indicates that the remaining energy of the digital twin cannot complete the target subtask;
  • the running state of the digital twin is a preset state
  • the task synchronization module 504 is further configured to acquire the local 3D semantic map required by the robot according to the 3D semantic map, the target subtask and the target motion path; and send the local 3D semantic map to the robot.
  • the device also includes:
  • the three-dimensional semantic map acquisition module 801 is used to send an environment scanning instruction to the robot, the environment scanning instruction is used to instruct the robot to scan the environment of the target task and obtain the environment information; receive the environment sent by the robot according to the environment scanning instruction information, and obtain the three-dimensional semantic map according to the environmental information.
  • the device also includes:
  • the target task acquiring module 901 is configured to receive a task instruction input by a user, and acquire the target task according to the task instruction; receive environmental information sent by the robot, and acquire the target task according to the environmental information.
  • FIG. 10 is a block diagram of an electronic device 1000 according to an exemplary embodiment.
  • the electronic device 1000 may include: a processor 1001 and a memory 1002 .
  • the electronic device 1000 may also include one or more of a multimedia component 1003, an input/output (I/O) interface 1004, and a communication component 1005.
  • the processor 1001 is used to control the overall operation of the electronic device 1000 to complete all or part of the steps in the above-mentioned multi-robot control method.
  • the memory 1002 is used to store various types of data to support the operation of the electronic device 1000, such data may include, for example, instructions for any application or method operating on the electronic device 1000, and application-related data, Such as contact data, messages sent and received, pictures, audio, video, and so on.
  • the memory 1002 can be implemented by any type of volatile or non-volatile storage device or a combination thereof, such as Static Random Access Memory (SRAM), Electrically Erasable Programmable Read-Only Memory ( Electrically Erasable Programmable Read-Only Memory (EEPROM for short), Erasable Programmable Read-Only Memory (EPROM), Programmable Read-Only Memory (PROM), Read-Only Memory (Read-Only Memory, ROM for short), magnetic memory, flash memory, magnetic disk or optical disk.
  • Multimedia components 1003 may include screen and audio components. Wherein the screen can be, for example, a touch screen, and the audio component is used for outputting and/or inputting audio signals.
  • the audio component may include a microphone for receiving external audio signals.
  • the received audio signal may be further stored in memory 1002 or transmitted through communication component 1005 .
  • the audio assembly also includes at least one speaker for outputting audio signals.
  • the I/O interface 1004 provides an interface between the processor 1001 and other interface modules, and the above-mentioned other interface modules may be a keyboard, a mouse, a button, and the like. These buttons can be virtual buttons or physical buttons.
  • the communication component 1005 is used for wired or wireless communication between the electronic device 1000 and other devices. Wireless communication, such as Wi-Fi, Bluetooth, Near Field Communication (NFC), 2G, 3G, 4G, NB-IOT, eMTC, or other 5G, etc., or one or more of them The combination is not limited here. Therefore, the corresponding communication component 1005 may include: Wi-Fi module, Bluetooth module, NFC module and so on.
  • the electronic device 1000 may be implemented by one or more Application Specific Integrated Circuit (ASIC), Digital Signal Processor (DSP), Digital Signal Processing Device (Digital) Signal Processing Device (DSPD), Programmable Logic Device (PLD), Field Programmable Gate Array (FPGA), controller, microcontroller, microprocessor or other electronic components Implementation is used to execute the above-mentioned multi-robot control method.
  • ASIC Application Specific Integrated Circuit
  • DSP Digital Signal Processor
  • DSPD Digital Signal Processing Device
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • controller microcontroller, microprocessor or other electronic components Implementation is used to execute the above-mentioned multi-robot control method.
  • a computer-readable storage medium including program instructions is also provided, and when the program instructions are executed by a processor, the steps of the above-mentioned multi-robot control method are implemented.
  • the computer-readable storage medium can be the above-mentioned memory 1002 including program instructions, and the above-mentioned program instructions can be executed by the processor 1001 of the electronic device 1000 to implement the above-mentioned multi-robot control method.
  • FIG. 11 is a block diagram of an electronic device 1100 according to an exemplary embodiment.
  • the electronic device 1100 may be provided as a server.
  • the electronic device 1100 includes a processor 1122 , which may be one or more in number, and a memory 1132 for storing computer programs executable by the processor 1122 .
  • a computer program stored in memory 1132 may include one or more modules, each corresponding to a set of instructions.
  • the processor 1122 may be configured to execute the computer program to perform the above-described multi-robot control method.
  • the electronic device 1100 may also include a power supply component 1126, which may be configured to perform power management of the electronic device 1100, and a communication component 1150, which may be configured to enable communication of the electronic device 1100, eg, wired or wireless communication. Additionally, the electronic device 1100 may also include an input/output (I/O) interface 1158 . Electronic device 1100 may operate based on an operating system stored in memory 1132, such as Windows Server TM , Mac OS X TM , Unix TM , Linux TM , and the like.
  • a computer-readable storage medium comprising program instructions, the program instructions implementing the steps of the above-mentioned multi-robot control method when executed by a processor.
  • the computer-readable storage medium can be the above-mentioned memory 1132 including program instructions, and the above-mentioned program instructions can be executed by the processor 1122 of the electronic device 1100 to implement the above-mentioned multi-robot control method.
  • a computer program product comprising a computer program executable by a programmable apparatus, the computer program having, when executed by the programmable apparatus, for performing the above The code part of the multi-robot control method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及机器人技术领域，特别涉及一种多机器人控制方法、装置、系统、存储介质、电子设备及程序产品。该方法包括：根据多个机器人待执行的目标任务、机器人的角色以及机器人所处环境的三维语义地图，为与机器人对应的数字孪生体规划分配目标子任务；并根据目标子任务进行空间路径规划，得到目标运动路径；根据目标子任务和目标运动路径，控制数字孪生体通过行为蓝图在三维语义地图中执行仿真运行并进行评估，获取仿真评估结果；若根据仿真评估结果确定目标任务完成，则通过多个数字孪生体，将完成目标子任务的行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，发送至机器人，以控制机器人执行该行为蓝图并完成目标任务。

Description

多机器人控制方法、装置、系统、存储介质、电子设备及程序产品 技术领域
本公开涉及机器人技术领域，具体地，涉及一种多机器人控制方法、装置、系统、存储介质、电子设备及程序产品。
背景技术
随着机器人技术的不断发展与进步，人们对机器人的需求也越来越多，单个机器人已经难以完成复杂繁琐的工作任务，因此，需要由多个机器人共同协作完成一项目标任务。相比较单个机器人而言，由多个机器人组成的机器人系统，通过多个机器人间的相互协作，能够完成相对复杂的目标任务。该机器人系统可以采用集中式控制组网，也就是包括服务器以及一个或多个机器人，由服务器集中控制所有的机器人，从而完成目标任务。在实践中发现：在此种组网下，由服务器直接控制机器人执行目标任务后，存在目标任务执行失败的情况。
发明内容
为了解决上述问题，本公开提供一种多机器人控制方法、装置、系统、存储介质、电子设备及程序产品。
第一方面，本公开提供了一种多机器人控制方法，所述方法包括：
根据多个机器人待执行的目标任务、所述多个机器人的角色以及所述多个机器人所处环境的三维语义地图，为与所述多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，并规划每个所述目标子任务对应的一个或多个行为蓝图，以及执行所述行为蓝图所需要的动作数据和/或文本数据， 其中，所述角色表征预设的允许所述机器人执行的功能集合，所述行为蓝图包括所述机器人完成目标子任务所需要执行的动作序列，以及执行所述动作序列所需要的逻辑判断；
根据所述目标子任务进行空间路径规划，得到所述数字孪生体的目标运动路径；
根据所述目标子任务和所述目标运动路径，控制多个所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估，获取仿真评估结果，所述仿真评估结果用于表征所述目标任务是否完成；
在根据所述仿真评估结果确定所述目标任务完成的情况下，通过所述数字孪生体，将所述行为蓝图、所述动作数据和/或文本数据、以及所述目标运动路径同步至所述机器人，以控制所述机器人执行所述行为蓝图并完成所述目标任务。
可选地，所述根据多个机器人待执行的目标任务、所述多个机器人的角色、以及所述多个机器人所处环境的三维语义地图，为与所述机器人对应的数字孪生体规划分配一个或多个目标子任务包括：
根据所述三维语义地图和所述多个机器人的角色，将所述目标任务规划分解为一个或多个候选子任务；
获取所述数字孪生体的孪生体参数，所述孪生体参数包括所述数字孪生体的位置信息、所述数字孪生体的剩余能量、所述数字孪生体的连续运行时长、所述数字孪生体的运行状态以及所述数字孪生体的待执行任务中的一个或多个；
根据所述孪生体参数，从所述一个或多个候选子任务中获取目标子任务，并将所述目标子任务分配至所述数字孪生体。
可选地，所述目标任务在进行任务规划时按照不同的规划方式被划分为 多个候选子任务集合，每个所述候选子任务集合包括一个或多个目标子任务，所述根据所述目标子任务和所述目标运动路径，控制所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估，获取仿真评估结果包括：
针对多个候选子任务集合中的每个候选子任务集合，执行每个候选子任务集合的仿真运行和评估，其中，所述执行该候选子任务集合的仿真运行和评估包括：根据该候选子任务集合中的目标子任务和每个目标子任务对应的目标运动路径，控制所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估，得到目标任务执行评估结果；
将所述目标任务执行评估结果全局最优的候选子任务集合作为目标子任务集合，将所述目标子任务集合对应的候选评估结果作为所述仿真评估结果，其中，所述目标任务执行评估结果全局最优表征完成所述目标任务所耗费的机器人能量最少，或者完成所述目标任务所耗费的时间最短，或者完成所述目标任务的机器人的移动路径最短；
所述将所述行为蓝图、所述目标运动路径、执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人包括：
将所述目标子任务集合中的目标子任务对应的所述行为蓝图、所述目标运动路径、执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人。
可选地，所述方法还包括：
在根据所述仿真评估结果确定所述目标任务未完成的情况下，循环执行仿真调整步骤，直至根据所述仿真评估结果确定所述目标任务完成后，通过所述数字孪生体，将完成所述任务目标的目标子任务所对应的行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人；其中，所述仿真调整步骤包括：
将所述仿真评估结果、所述目标子任务和所述数字孪生体展示给用户；
接收用户针对一个或多个数字孪生体输入的任务调整指令，根据所述任务调整指令，调整所述数字孪生体的目标子任务；
根据调整后的所述目标子任务进行路径规划，得到所述数字孪生体的调整后目标运动路径；
根据调整后的目标子任务和所述调整后目标运动路径，控制多个所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估，将评估得到的结果作为新的仿真评估结果。
可选地，在根据所述孪生体参数，从所述一个或多个候选子任务中获取目标子任务之后，所述方法还包括：
重新获取所述数字孪生体的新的孪生体参数；
根据所述新的孪生体参数，确定所述目标子任务是否需要更新；
在所述目标子任务需要更新的情况下，重新执行所述根据多个机器人待执行的目标任务、所述多个机器人的角色以及所述多个机器人所处环境的三维语义地图，为与所述多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，至将所述行为蓝图、所述目标路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人的步骤。
可选地，所述重新获取所述数字孪生体的新的孪生体参数包括：
接收用户针对所述数字孪生体输入的操作指令；
根据所述操作指令更新所述数字孪生体的孪生体参数；
将更新后的所述孪生体参数作为新的孪生体参数。
可选地，根据所述新的孪生体参数，确定所述目标子任务是否需要更新包括：
在所述新的孪生体参数满足预设条件的情况下，确定所述目标子任务需要更新，其中，所述预设条件包括以下一种或多种：
所述数字孪生体的剩余能量小于或等于预设能量阈值；
所述数字孪生体的运行状态为预设状态；
所述数字孪生体的待执行任务中存在任务优先级高于所述目标子任务的待执行任务。
可选地，在确认所述仿真评估结果达成所述任务目标的情况下，所述方法还包括：
根据所述三维语义地图、所述目标子任务和所述目标运动路径，获取所述机器人需要的局部三维语义地图；
将所述局部三维语义地图发送至所述机器人。
可选地，所述三维语义地图通过以下方式获取：
向所述机器人发送环境扫描指令，所述环境扫描指令用于指示所述机器人对目标任务的环境进行扫描并得到环境信息；
接收所述机器人根据所述环境扫描指令发送的所述环境信息；并根据所述环境信息获取所述三维语义地图。
可选地，所述目标任务通过以下任意一种方式获取：
接收用户输入的任务指令，并根据所述任务指令获取所述目标任务；
接收所述机器人发送的环境信息，并根据所述环境信息获取所述目标任务。
可选地，所述空间路径规划包括三维路径规划和移动路径规划，所述目标运动路径包括通过三维路径规划得到的三维运动路径，以及通过移动路径规划得到二维坐标下的移动轨迹。
第二方面，本公开提供了一种多机器人控制装置，所述装置包括：
任务分配模块，用于根据多个机器人待执行的目标任务、所述多个机器人的角色以及所述多个机器人所处环境的三维语义地图，为与所述多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，并规划每个所述 目标子任务对应的一个或多个行为蓝图，以及执行所述行为蓝图所需要的动作数据和/或文本数据，其中，所述角色表征预设的允许所述机器人执行的功能集合，所述行为蓝图包括所述机器人完成目标子任务所需要执行的动作序列，以及执行所述动作序列所需要的逻辑判断；
路径规划模块，用于根据所述目标子任务进行空间路径规划，得到所述数字孪生体的目标运动路径；
仿真评估模块，用于根据所述目标子任务和所述目标运动路径，控制多个所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估，获取仿真评估结果，所述仿真评估结果用于表征所述目标任务是否完成；
任务同步模块，用于在根据所述仿真评估结果确定所述目标任务完成的情况下，通过所述数字孪生体，将所述行为蓝图、所述目标运动路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人，以控制所述机器人执行所述行为蓝图并完成所述目标任务。
第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
第五方面，本公开提供一种多机器人控制系统，所述系统包括服务器、以及与服务器相连接的多个机器人；所述服务器包括多个数字孪生体，每个所述数字孪生体是与一个机器人相对应的虚拟的三维物理模型；其中：
所述服务器，用于执行本公开第一方面所述方法的步骤。
所述机器人，用于接收所述服务器规划的行为蓝图、目标路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，并执行所述行为蓝图。
可选地，所述机器人包括：机器人本体和数字孪生副本；其中：
所述数字孪生副本，用于与服务器的数字孪生体交互同步，同步所述服务器规划的行为蓝图、目标路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，并同步控制所述机器人本体执行所述行为蓝图；
所述机器人本体，用于根据所述数字孪生副本的控制执行所述行为蓝图。
可选地，所述机器人还包括感知处理组件；其中：
所述感知处理组件，用于对目标任务的环境进行扫描并得到环境信息；
所述数字孪生副本，用于接收所述服务器发送的环境扫描指令，根据所述环境扫描指令，控制所述感知处理组件进行扫描；以及，获取所述感知处理组件扫描得到的所述环境信息，并将所述环境信息发送至所述服务器。
可选地，所述数字孪生副本，还用于向所述数字孪生体同步所述机器人的状态信息，以便所述数字孪生体根据所述状态信息同步更新所述数字孪生体的孪生体参数。
第六方面，本公开提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行本公开第一方面所述方法的步骤的代码部分。
采用上述技术方案，根据多个机器人待执行的目标任务、机器人的角色以及机器人所处环境的三维语义地图，为与机器人对应的数字孪生体规划分配目标子任务；并根据目标子任务进行空间路径规划，得到目标运动路径；根据目标子任务和目标运动路径，控制数字孪生体通过行为蓝图在三维语义地图中执行仿真运行并进行评估，获取仿真评估结果；若根据仿真评估结果确定目标任务完成，则通过多个数字孪生体，将完成目标子任务的行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，发送至机器人，以控制机器人执行该行为蓝图并完成目标任务。这样，能够确保机器人能够完成目标任务，提高了多机器人控制的准确性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开实施例提供的一种多机器人控制系统的结构示意图；
图2是本公开实施例提供的一种多机器人控制方法的流程图；
图3是本公开实施例提供的另一种多机器人控制系统的结构示意图；
图4是本公开实施例提供的另外一种多机器人控制系统的结构示意图；
图5是本公开实施例提供的一种多机器人控制装置的结构示意图；
图6是本公开实施例提供的第二种多机器人控制装置的结构示意图；
图7是本公开实施例提供的第三种多机器人控制装置的结构示意图；
图8是本公开实施例提供的第四种多机器人控制装置的结构示意图；
图9是本公开实施例提供的第五种多机器人控制装置的结构示意图；
图10是本公开实施例提供的一种电子设备的框图；
图11是本公开实施例提供的另一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在下文中的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
首先，对本公开的应用场景进行说明。本公开可以应用于机器人技术领域，特别是集中式控制组网的机器人控制领域。由多个机器人组成的机器人 系统可以采用集中式控制组网，示例地，该机器人系统可以包括服务器以及一个或多个机器人，通过服务器的协调控制，实现多个机器人间的相互协作，从而完成相对复杂的目标任务。但在相关技术中，服务器根据目标任务划分后得到各个机器人的目标子任务，将目标子任务直接下发给机器人，以控制机器人执行目标任务。此种情况下划分得到的目标子任务的合理性无法得到保证，若划分的目标子任务不合理，会导致机器人无法完成目标任务。示例地，若目标任务过于复杂，例如需要参与的机器人较多，或者任务执行的环境信息复杂多变，会概率性导致服务器划分得到的目标子任务不合理，从而导致目标任务无法完成。
为了解决上述问题，本公开提供了一种多机器人控制方法、装置、系统、存储介质、电子设备及程序产品，该方法包括：根据多个机器人待执行的目标任务、机器人的角色以及机器人所处环境的三维语义地图，为与机器人对应的数字孪生体规划分配目标子任务；并根据目标子任务进行空间路径规划，得到数字孪生体的目标运动路径；根据目标子任务和目标运动路径，控制数字孪生体通过行为蓝图在三维语义地图中执行仿真运行并进行评估，获取仿真评估结果；若根据仿真评估结果确定目标任务完成，则通过多个数字孪生体，将完成目标子任务的行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，发送至机器人，以控制机器人执行该行为蓝图并完成目标任务，从而确保机器人能够完成目标任务，提高了多机器人控制的准确性。
以下结合附图对本公开的具体实施方式进行详细说明。
图1是本公开实施例提供的一种多机器人控制系统的结构示意图，如图1所示，该多机器人控制系统包括服务器101，与该服务器101连接的多个机器人102(即机器人1021、机器人1022、机器人1023、…、机器人102n)，其中：该服务器101可以包括多个数字孪生体103(即数字孪生体1031、数 字孪生体1032、数字孪生体1033、…、数字孪生体103n)。每个所述数字孪生体与一个机器人相对应，示例地，数字孪生体1031与机器人1021对应，数字孪生体1032与机器人1022对应，数字孪生体1033与机器人1023对应。
上述服务器101可以是云端服务器，也可以是台式电脑，或者其他具有存储器和处理器的电子设备。服务器101与机器人102可以通过有线网络或无线网络进行连接。
上述机器人102是实体机器人，可以包括同构多机器人，也可以包括异构多机器人。同构多机器人表示硬件设备相同或者能力相同的多个机器人，不同的机器人能够执行相同类型的任务；而异构多机器人表示硬件设备迥异或者能力不同的多个机器人，不同的机器人能够执行不同类型的任务。
上述数字孪生体103可以是以数字化方式创建的机器人102的虚拟的三维物理模型，数字孪生体103与对应的机器人102相连接并可以实现实时交互同步。一方面，数字孪生体103的参数指令能够传递到机器人102上，从而对机器人102的行为和状态进行调整；另一方面，数字孪生体103具有孪生体参数，该孪生体参数可以与该数字孪生体103对应的机器人102的状态参数相同，并通过数字孪生体103与机器人102的实时交互同步，实现数字孪生体103的孪生体参数和对应的机器人102的状态参数保持一致，从而让数字孪生体103逼真的反映机器人102的现实状态。
在该多机器人控制系统中，服务器101可以通过数字孪生体103获取机器人102的状态参数，也可以通过数字孪生体103向机器人102传递相关的参数指令，以控制机器人102执行目标任务。
图2是本公开实施例提供的一种多机器人控制方法的流程图，如图2所示，该方法的执行主体可以是上述多机器人控制系统中的服务器，该方法包括：
S201、根据多个机器人待执行的目标任务、多个机器人的角色以及多个 机器人所处环境的三维语义地图，为与多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，并规划每个目标子任务对应的一个或多个行为蓝图，以及执行该行为蓝图所需要的动作数据和/或文本数据。
其中，上述机器人的角色表征预设的允许该机器人执行的功能集合，该功能集合可以是该机器人的硬件能力能够支持的功能的全集或子集。
上述行为蓝图包括所述机器人完成目标子任务所需要执行的动作序列，以及执行该动作序列所需要的逻辑判断。
上述三维语义地图是通过自然语言描述的环境语义场景，可以描述三维空间的目标物体，以及目标物体的空间位置和语义属性，语义属性包括但不限于目标物体的尺寸、形状、重量、类别、材质、颜色等。例如，通过三维语义地图可以描述一个会议室环境，其中的目标物体可以包括地板、墙壁、门、窗、桌子和灯，目标物体的语义属性可以包括尺寸、材质、颜色等信息，三维语义地图还描述了上述各个目标物体在会议室环境中的空间位置信息。在另外的示例中，也可以通过三维语义地图描述一个办公环境，该办公环境可以包括一楼办公室、二楼办公室、从一楼到二楼的楼梯、一楼的冰箱、饮水机、会议室，二楼的办公桌等目标物体。
该三维语义地图可以是预先设置的，也可以是通过机器人扫描构建的。例如，可以通过工具扫描任务环境，并手动标记，形成三维语义地图，并预先设置该三维语义地图。再例如，可以通过控制机器人使用机器人的感知处理组件对任务环境进行扫描，并自动标记，形成三维语义地图。
在本步骤中，可以根据机器人的角色确定预设的运行该机器人执行的功能集合，从而为与该机器人对应的数字孪生体分配与该功能集合相对应的目标子任务。
示例地，三维语义地图为家中地图，包括客厅、餐厅、厨房和卧室，多机器人控制系统中有三个不同角色的机器人：扫地机器人、擦窗机器人、垃 圾运送机器人，在目标任务为屋内大扫除的情况下，分配给扫地机器人的目标子任务可以是扫地子任务，扫地子任务包括清扫客厅、餐厅、厨房和卧室的地面；分配给擦窗机器人的目标子任务可以是擦窗子任务，包括擦拭客厅、餐厅、厨房和卧室的歘昂胡；分配给垃圾运送机器人的目标子任务可以是垃圾清运子任务，包括将扫地机器人产生的垃圾运送至小区垃圾集中存放处并倾倒入垃圾箱内。
S202、根据目标子任务进行空间路径规划，得到数字孪生体的目标运动路径。
空间路径规划是指以上述三维语义地图为基础，实现机器人的移动规划。即三维语义地图的环境信息为全部已知的状态下，同时满足一定的时间、距离或者能量等多方面评价标准下，为每个机器人寻找出一条从当前点到最终点的无碰撞最优或者次优路线；基于全局空间路径规划基础上，在各自不同的起始点到目标点选择的最优或者次优路径中，对机器人之间可能发生冲突的类型进行预测，实现障碍冲突、死锁消除等。
在同样的示例中，可以根据上述三个目标子任务，为扫地机器人规划的目标运动路径可以是客厅->卧室->餐厅->厨房->门口；而为了避免机器人路径的冲突，为擦窗机器人规划的目标运动路径可以是餐厅->厨房->客厅->卧室；而为垃圾清运机器人规划的目标运动路径可以是先在门口停留等待，待扫地机器人完成扫地子任务，并将扫地产生的垃圾转移至垃圾清运机器人的车身内后，垃圾清运机器人出门并移动至小区垃圾集中存放处，将垃圾放置入垃圾箱后再返回门口停留。
在另外的示例中，在目标子任务存在目标物体的情况下，则可以确定该目标子任务对应的目标物体，并在三维语义地图中确定该目标物体的目标位置，基于三维语义地图，可以规划出每个数字孪生体从当前位置到目标位置的移动路径，该移动路径可以是无障碍的最短路径，从而可以将该移动路径 作为数字孪生体的目标运动路径。
可选地，上述空间路径规划可以包括三维路径规划和移动路径规划，相应地，上述目标运动路径可以包括通过三维路径规划得到的三维运动路径，以及通过移动路径规划得到二维坐标下的移动轨迹。
示例地，通过移动路径规划可以得到二维坐标下机器人从客厅移动到卧室的移动轨迹，三维路径规划可以得到机器人为了擦窗将手臂从当前位置抬起至窗户的三维运动路径。
可选地，在规划出每个数字孪生体从当前位置到目标位置的移动路径后，还可以对机器人移动过程中可能发生的冲突进行预测，例如两个机器人的移动路线存在交叉，则可以预测两个机器人存在一定的碰撞冲突概率，此时可以对存在碰撞冲突概率的机器人的移动路径进行调整，以避免碰撞冲突的发生，将调整后的移动路径作为数字孪生体的目标运动路径。
S203、根据上述目标子任务和目标运动路径，控制多个数字孪生体通过行为蓝图在三维语义地图中执行仿真运行并进行评估，获取仿真评估结果。
在本步骤中，可以控制多个数字孪生体通过行为蓝图在虚拟的三维语义地图中对整个目标任务执行一次或多次的仿真运行并进行评估，从而获取仿真评估结果。
其中，仿真评估结果可以用于表征目标任务是否完成。示例地，目标任务是将目标物体从位置A移动至位置B，若通过上述仿真评估，目标物体从位置A移动到了位置B，则仿真评估结果为目标任务完成；反之，若通过上述仿真评估，目标物体从位置A移动到了位置C，位置C与位置B为距离较远的两个位置，则仿真评估结果为目标任务未完成。
示例地，在上述的目标任务为屋内大扫除的示例中，可以通过扫地机器人、擦窗机器人和垃圾清运机器人分别对应的数字孪生体完整的根据分配的目标子任务和目标运动路径模拟执行一次或多次，获取仿真评估结果。获取 的仿真评估结果可以表征大扫除任务完成或未完成。
S204、在根据上述仿真评估结果确定目标任务完成的情况下，通过数字孪生体，将行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，同步至机器人，以控制机器人执行该行为蓝图并完成目标任务。
在本步骤中，可以首先将上述行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据分发到数字孪生体，由数字孪生体通过与对应的机器人进行交互同步，从而将上述行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据同步至机器人，以控制所述机器人执行所述行为蓝图并完成所述目标任务。
采用上述方法，根据多个机器人待执行的目标任务、机器人的角色以及机器人所处环境的三维语义地图，为与机器人对应的数字孪生体规划分配目标子任务；并根据目标子任务进行空间路径规划，得到数字孪生体的目标运动路径；根据目标子任务和目标运动路径，控制数字孪生体通过行为蓝图在三维语义地图中执行仿真运行并进行评估，获取仿真评估结果；若根据仿真评估结果确定目标任务完成，则通过多个数字孪生体，将完成目标子任务的行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，发送至机器人，以控制机器人执行该行为蓝图并完成目标任务，从而确保机器人能够完成目标任务，提高了多机器人控制的准确性。
可选地，在根据仿真评估结果确定目标任务完成的情况下，还可以根据三维语义地图、目标子任务和目标运动路径，获取机器人需要的局部三维语义地图；并将该局部三维语义地图发送至所述机器人。
该局部三维语义地图可以是与目标子任务和目标运动路径相关的部分地图，而与目标子任务和目标运动路径无关的地图则无需发给机器人。
这样，可以降低机器人存储完整三维语义地图占用的存储空间和运算能 力，通过该局部三维语义地图执行对应的目标子任务，可以提高机器人的执行效率。
在本公开的另外一些实施例中，上述S201步骤可以通过以下方式为数字孪生体分配目标子任务：
首先，根据所述三维语义地图和所述多个机器人的角色，将所述目标任务规划分解为一个或多个候选子任务。
在本步骤中，可以根据目标任务中的目标物体在三维语义地图中的当前位置和目标位置，将目标任务分解为一个或多个候选子任务。示例地，机器人系统中可以有以下三个不同角色的机器人：机器人A1：具有手臂灵巧手的轮式机器人，可以执行抓取物品、推、拉、转身、放置、平地移动等子任务；机器人B1：具有抓取手的四足机器人，可以执行上下楼梯的子任务，也可以执行抓取物品的子任务；机器人C1：配送货机器人，可以执行平坦地面的物品运送的子任务，可以执行将指定物品在不同的位置之间运送的子任务。目标任务是从一楼的冰箱中拿瓶饮料送到二楼的办公室桌子上，此时可以将目标任务规划分解为三个目标子任务：目标子任务1、从一楼的冰箱中取饮料并将饮料运送至一楼楼梯口；目标子任务2：将饮料从一楼楼梯口运送到二楼楼梯口；目标子任务3：将饮料从二楼楼梯口运送至办公室桌子上。
其次，获取数字孪生体的孪生体参数。
其中，孪生体参数可以包括该数字孪生体的位置信息、该数字孪生体的剩余能量、该数字孪生体的连续运行时长、该数字孪生体的运行状态以及该数字孪生体的待执行任务中的一个或多个；
需要说明的是，数字孪生体的孪生体参数可以与对应的机器人的状态参数相同，机器人的状态参数发生变化时，也可以同步反应到对应的数字孪生体的孪生体参数上。
上述数字孪生体的位置信息，可以是该数字孪生体对应的机器人在三维语义地图的当前位置，同样示例地，机器人A1的位置信息可以是一楼楼梯口；机器人B1的位置信息可以是二楼楼梯口；机器人C1的位置信息可以是二楼办公室门口。若有多个相同类型的机器人处于不同的位置，则可以根据多个机器人的位置与目标子任务的目标物体的位置之间的距离，将目标子任务分配给距离最近的机器人。
上述数字孪生体的剩余能量，可以用于表征该数字孪生体对应的机器人的剩余电量，通过该剩余能量能够判断该数字孪生体对应的机器人能否完成目标子任务。例如剩余能量为5％时，机器人可以尽快充电以补充能量，并将不再执行新的子任务。
上述数字孪生体的运行状态，可以用于表征该数字孪生体对应的机器人的运行状态，该运行状态可以包括正常状态、故障状态、充电状态和疲劳状态等多种状态。其中，故障状态可以表征该机器人存在故障导致无法执行子任务，此时可以不为该数字孪生体分配子任务；充电状态可以表征该机器人正在充电，此时可以为该数字孪生体分配高优先级子任务，而不再分配低优先级子任务，高优先级子任务可以是没有其他数字孪生体能够执行的子任务，也可以是预先设置的子任务优先级；疲劳状态可以表征该机器人连续执行子任务的时间大于或等于第一预设时间阈值，此时可以为该数字孪生体设置第二预设时间，并在该第二预设时间内不再为该数字孪生体分配新的子任务。
上述数字孪生体的待执行任务，可以用于表征该数字孪生是否存在待执行的子任务，以及待执行的子任务的子任务优先级。
最后，根据该孪生体参数，从上述一个或多个候选子任务中获取目标子任务，并将该目标子任务分配至该数字孪生体。
在本步骤中，可以根据数字孪生体参数中的一个或多个，为该数字孪生体分配合适的目标子任务。示例地，可以根据数字孪生体的类型和位置信息 为该数字孪生体分配目标子任务。
同样的示例中，在上述机器人A1、B1、C1均处于正常状态，剩余电量均大于90％，且均没有待执行任务的情况下，则若上述目标任务是从一楼的冰箱中拿瓶饮料送到二楼的办公室桌子上，可以将子任务1(从一楼的冰箱中取饮料并将饮料运送至一楼楼梯口)分配给机器人A1(具有手臂灵巧手的轮式机器人)；将子任务2(将饮料从一楼楼梯口运送到二楼楼梯口)分配给机器人B1(具有抓取手的四足机器人)；将子任务3(将饮料从二楼楼梯口运送至办公室桌子上)分配给机器人C1(配送货机器人)。
这样，可以根据数字孪生体的孪生体参数为每个数字孪生体分配合适的目标子任务，从而通过一个或多个机器人的配合完成目标任务。
在本公开的另外一些实施例中，该目标任务在进行任务规划时可以按照不同的规划方式被划分为多个候选子任务集合，每个候选子任务集合可以包括一个或多个目标子任务。示例地，目标任务可以划分为第一候选子任务集合、第二候选子任务集合、或者第三候选子任务集合，其中第一候选子任务集合可以包括目标子任务11、目标子任务12和目标子任务13；第二候选子任务集合可以包括目标子任务21、目标子任务22和目标子任务23；第三候选子任务集合可以包括目标子任务31、目标子任务32和目标子任务33；可以针对上述每个候选子任务结合中的目标子任务都进行空间路径规划，得到每个目标子任务对应的目标运动路径。
这样，上述S203步骤可以通过以下方式实现：
首先，针对多个候选子任务集合中的每个候选子任务集合，执行每个候选子任务集合的仿真运行和评估。
其中，执行该候选子任务集合的仿真运行和评估包括：根据该候选子任务集合中的目标子任务和每个目标子任务对应的目标运动路径，控制数字孪生体通过行为蓝图在三维语义地图中执行仿真运行并进行评估，得到该候选 子任务集合的候选评估结果和任务执行评估结果。
其次，将任务执行评估结果全局最优的候选子任务集合作为目标子任务集合，将该目标子任务集合对应的候选评估结果作为仿真评估结果。
其中，任务执行评估结果全局最优表征完成目标任务所耗费的机器人能量最少，或者完成目标任务所耗费的时间最短，或者所述目标任务的机器人的移动路径最短。
最后，在根据仿真评估结果确定目标任务完成的情况下，通过数字孪生体，可以将上述目标子任务集合中的目标子任务对应的行为蓝图、目标运动路径、执行该行为蓝图所需要的动作数据和/或文本数据，同步至机器人。
这样，通过上述方式，可以通过仿真评估得到最优的目标子任务分配方式，从而在目标任务的执行中机器人功耗最少，或者目标任务完成时间最短。
另外，上述对每个候选子任务集合的仿真评估可以并行进行，这样，能够提高仿真评估的效率。
在本公开的另外一些实施例中，在根据该仿真评估结果确定该目标任务未完成的情况下，循环执行仿真调整步骤，直至根据该仿真评估结果确定该目标任务完成后，通过该数字孪生体，将完成该任务目标的目标子任务所对应的行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，同步至该机器人；其中，该仿真调整步骤可以包括：
首先，将该仿真评估结果、该目标子任务和该数字孪生体展示给用户。
需要说明的是，该用户可以是机器人服务训练师，也可以是发出目标任务的用户。展示的信息可以包括每个目标子任务与数字孪生体的对应关系，从而能够让用户清晰的确定每个数字孪生体的任务分配情况。仿真评估结果中可以包括任务执行的具体情况，例如任务执行的时长，任务执行到哪一步骤失败，任务执行失败的原因等。
其次，接收用户针对一个或多个数字孪生体输入的任务调整指令，根据该任务调整指令，调整该数字孪生体的目标子任务。
用户可以根据当前的任务分配情况，调整每个数字孪生体的目标子任务，该任务调整指令可以包含对一个或多个数字孪生体的目标子任务的调整，例如将数字孪生体1的目标子任务1调整给数字孪生体2，并将数字孪生体2的目标子任务2调整给数字孪生体1。
再次，根据调整后的该目标子任务进行空间路径规划，得到该数字孪生体的调整后目标运动路径。
最后，根据调整后的目标子任务和调整后目标运动路径，控制多个数字孪生体通过行为蓝图在三维语义地图中执行仿真运行并进行评估，将评估得到的结果作为新的仿真评估结果。
这样，在根据仿真评估结果确定该目标任务未完成的情况下，可以人工调整目标子任务的分配，通过调整后的仿真评估确定目标任务完成，再向机器人下发并由机器人执行目标子任务，从而确保任务一次执行成功，避免无效的任务执行，减少了机器人的能量损耗。
进一步地，在根据该仿真评估结果确定该目标任务未完成的情况下，或者，在循环执行仿真调整步骤预设调整次数后，根据该仿真评估结果确定该目标任务仍然未完成的情况下，用户可以修改目标任务，并根据修改后的目标任务重新进行目标子任务规划、空间路径规划和仿真评估。
例如用户可以将原来的从一楼冰箱中拿一瓶饮料送到二楼办公室，修改为从二楼饮水机接一杯水送到二楼办公室。
这样，在多次人工调整目标子任务分配后，若目标任务仍然无法完成，可以调整目标任务，避免无效的任务执行，减少了机器人的能量损耗。
在本公开的另外一些实施例中，在根据孪生体参数，从一个或多个候选 子任务中获取目标子任务之后，由于机器人的状态参数可以发生变化，从而数字孪生体的孪生体参数也可以发生变化，为了能够在孪生体参数发生变化的情况下，及时调整任务分配，该方法还可以包括：
首先，重新获取数字孪生体的新的孪生体参数。
一方面，机器人的状态参数可以随着机器人的执行的任务或动作而自行变化，例如机器人长时间执行任务后，机器人的运行状态可以从正常状态变为充电状态或者疲劳状态；当机器人的某些部件发生损坏后，运行状态可以变更为故障状态；机器人的位置信息可以根据机器人的移动而变化。由于数字孪生体与机器人之间的实时交互同步，随着机器人的状态参数的变化，数字孪生体的孪生体参数也同步变化。因此本步骤中可以周期性查询获取数字孪生体的新的孪生体参数。
另一方面，机器人的状态参数可以由用户通过机器人服务客户端进行修改，该用户可以是机器人服务训练师，例如修改机器人的类型或运行状态，或者分配新的任务，从而导致该机器人对应的数字孪生体的孪生体参数发生变化。此时，可以通过以下方式重新获取数字孪生体的新的孪生体参数：接收用户针对所述数字孪生体输入的操作指令；根据该操作指令更新该数字孪生体的孪生体参数；将更新后的该孪生体参数作为新的孪生体参数。
进一步地，若通过上述操作指令获取新的待执行任务，则该待执行任务的优先级可以最高优先级，从而保证用户的操作指令优先完成。例如，用户发现机器人电量低，则发出充电任务的操作指令，则需要优先控制机器人完成充电任务，并不再执行新的任务；待充电任务完成后，再执行新的任务。这样，可以确保用户要求的任务优先得到执行。
其次，根据新的孪生体参数，确定目标子任务是否需要更新。
本步骤中，确定目标子任务是否需要更新的方式可以有以下两种：
方式一、可以在新的孪生体参数满足预设条件的情况下，确定目标子任 务需要更新，其中，所述预设条件包括以下一种或多种：
预设条件1：该数字孪生体的剩余能量小于或等于预设能量阈值。其中，上述预设能量阈值可以是5％或10％，若上述数字孪生体的剩余能量小于或等于该预设能量阈值，可以表征该数字孪生体对应的机器人无法完成目标子任务。该机器人可以尽快充电以补充能量，并不再执行新的子任务。
预设条件2：该数字孪生体的运行状态为预设状态。其中，该预设状态可以包括故障状态、充电状态或疲劳状态。
预设条件3：该数字孪生体的待执行任务中存在任务优先级高于目标子任务的待执行任务。
方式二、可以根据新的孪生体参数为数字孪生体分配新的目标子任务，若新的目标子任务与上次分配的目标子任务不一致，则确定目标子任务需要更新。
若通过上述两种方式中的一种确认新的目标子任务与上次分配的目标子任务相同，则无需更新目标子任务，机器人继续执行当前的目标子任务。
最后，在目标子任务需要更新的情况下，重新执行根据多个机器人待执行的目标任务、所述多个机器人的角色以及所述多个机器人所处环境的三维语义地图，为与所述多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，至将所述行为蓝图、所述目标路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人的步骤。
在本步骤中，若目标子任务需要更新，则可以重新执行上述S201步骤至S204步骤，从而重新进行目标子任务分配、空间路径规划、仿真评估和任务同步。
需要说明的是，上述重新获取数字孪生体的新的孪生体参数可以是在将行为蓝图、目标路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，同步至机器人之后进行，也可以是在获取数字孪生体的孪生体参数之后的仿 真评估阶段进行。
这样，通过上述方式可以形成一个端到端完整的持续闭环优化目标任务的流程，在数字孪生体的孪生体参数发生变化的情况下，可以及时调整数字孪生体的目标子任务，以便完成目标任务。
在本公开的另外一些实施例中，上述三维语义地图，还可以通过以下方式获取：
首先，向机器人发送环境扫描指令，该环境扫描指令用于指示机器人对目标任务的环境进行扫描并得到环境信息。
在本步骤中，可以选择机器人系统中的一个或多个机器人对目标任务的环境进行扫描，从而得到环境信息。环境扫描的精度可以由机器人的扫描采集精度确定，例如机器人的扫描采集精度可以为3厘米或5厘米。机器人可以将扫描得到的环境信息发送至服务器。
然后，接收机器人根据环境扫描指令发送的环境信息；并根据该环境信息获取三维语义地图。
需要说明的是，根据环境信息构建的三维语义地图可被用于执行目标子任务的机器人的定位和导航功能。该三维语义地图的精度可以高于或等于机器人的扫描采集精度，例如若机器人的扫描采集精度为3厘米，则该三维语义地图的精度也可以是3厘米，也可以是1厘米或2厘米。
这样，可以通过机器人扫描构建三维语义地图，从而无需额外的工具扫描构建，方便获取准确的三维语义地图以执行目标任务。
进一步地，在任务执行过程中，还可以接收机器人发送的新的环境信息，并根据新的环境信息更新该三维语义地图。这样，在环境发生变化的情况下，可以及时更新三维语义地图，以便目标任务能够顺利完成。
另外，上述目标任务可以通过以下任意一种方式获取：
任务获取方式一、接收用户输入的任务指令，并根据该任务指令获取目 标任务。
其中，可以通过机器人系统的某一个机器人接收用户的任务指令，例如在办公室中的用户对机器人说：“请帮我拿瓶饮料”，接收到该任务指令后，根据该任务指令，可以获取目标任务为：从一楼的冰箱中拿瓶饮料到二楼的办公室。
另外，也可以通过机器人服务客户端接收用户的任务指令，该机器人服务客户端可以是终端、PAD、电脑等电子设备，例如可以是电子设备上安装的机器人服务器APP。这样，通过该机器人服务客户端可以接收用户输入的任务指令，并根据该任务指令获取目标任务。
这样，通过该方式可以完成用户的任务指令，从而满足用户对机器人的需求。
任务获取方式二、接收机器人发送的环境信息，并根据环境信息获取目标任务。
其中，可以根据环境信息的变化获取目标任务，示例地，通过机器人发送的环境信息发现地面上有水，则可以获取擦地的目标任务。
这样，通过该方式，可以基于环境信息自动执行目标任务，从而实现了机器人系统的自动运行。
图1是本公开实施例提供的一种多机器人控制系统的结构示意图，如图1所示，该多机器人控制系统包括服务器101、以及与服务器相连接的一个或多个机器人102；该服务器包括一个或多个数字孪生体，每个数字孪生体是与一个机器人相对应的三维物理模型；其中：
服务器101，用于执行上述任一实施例所提供的多机器人控制方法的步骤。
机器人102，用于接收服务器101规划的行为蓝图、目标路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，并执行该行为蓝图。
采用上述多机器人控制系统，通过服务器根据多个机器人待执行的目标任务、机器人的角色以及机器人所处环境的三维语义地图，为与机器人对应的数字孪生体规划分配目标子任务；并根据目标子任务进行空间路径规划，得到数字孪生体的目标运动路径；根据目标子任务和目标运动路径，控制数字孪生体通过行为蓝图在三维语义地图中执行仿真运行并进行评估，获取仿真评估结果；若根据仿真评估结果确定目标任务完成，则通过多个数字孪生体，将完成目标子任务的行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，发送至机器人，以控制机器人执行该行为蓝图并完成目标任务，从而确保机器人能够完成目标任务，提高了多机器人控制的准确性。
进一步地，图3是本公开实施例提供的另一种多机器人控制系统的结构示意图，如图3所示，上述机器人102可以包括：数字孪生副本104和机器人本体105；其中：
数字孪生副本104，可以用于与服务器的数字孪生体交互同步，同步服务器规划的行为蓝图、目标路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，并同步控制机器人本体执行该行为蓝图，其中，同步控制机器人本体的方式可以是向所述机器人本体105发送控制指令。
机器人本体105，用于根据数字孪生副本104的控制执行行为蓝图。
这样，通过数字孪生副本和机器人本体实现目标子任务的执行。
再进一步地，图4是本公开实施例提供的另外一种多机器人控制系统的结构示意图，如图4所示，上述机器人102还包括感知处理组件106；其中：
该感知处理组件106，用于对目标任务的环境进行扫描并得到环境信息；
该数字孪生副本104，用于接收服务器101发送的环境扫描指令，根据该环境扫描指令，控制感知处理组件106进行扫描；以及，获取感知处理组件106扫描得到的所述环境信息，并将该环境信息发送至服务器101。
这样，机器人通过感知处理组件实现了环境扫描功能，从而将扫描得到的环境信息发送至服务器，服务器根据该环境信息可以构建三维语义地图，用于执行目标任务。
进一步地，该数字孪生副本104，还用于向数字孪生体同步机器人的状态信息，以便该数字孪生体根据该状态信息同步更新该数字孪生体的孪生体参数。
这样，机器人通过该数字孪生副本与服务器的上述数字孪生体实时交互同步，实现数字孪生体的孪生体参数和对应的机器人的状态参数保持一致，从而让数字孪生体逼真的反映机器人的现实状态。
图5是本公开实施例提供的一种多机器人控制装置，如图5所示，该装置包括：
任务分配模块501，用于根据多个机器人待执行的目标任务、该多个机器人的角色以及该多个机器人所处环境的三维语义地图，为与该多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，并规划每个该目标子任务对应的一个或多个行为蓝图，以及执行该行为蓝图所需要的动作数据和/或文本数据，其中，该角色表征预设的允许该机器人执行的功能集合，该行为蓝图包括该机器人完成目标子任务所需要执行的动作序列，以及执行该动作序列所需要的逻辑判断；
路径规划模块502，用于根据该目标子任务进行空间路径规划，得到该数字孪生体的目标运动路径；
仿真评估模块503，用于根据该目标子任务和该目标运动路径，控制多个该数字孪生体通过行为蓝图在该三维语义地图中执行仿真运行并进行评估，获取仿真评估结果，该仿真评估结果用于表征该目标任务是否完成；
任务同步模块504，用于在根据该仿真评估结果确定该目标任务完成的情况下，通过该数字孪生体，将该行为蓝图、该目标路径、以及执行该行为 蓝图所需要的动作数据和/或文本数据，同步至该机器人，以控制该机器人执行该行为蓝图并完成该目标任务。
可选地，该任务分配模块501用于：
根据该三维语义地图和该多个机器人的角色，将该目标任务规划分解为一个或多个候选子任务；
获取该数字孪生体的孪生体参数，该孪生体参数包括该数字孪生体的位置信息、该数字孪生体的剩余能量、该数字孪生体的连续运行时长、该数字孪生体的运行状态以及该数字孪生体的待执行任务中的一个或多个；
根据该孪生体参数，从该一个或多个候选子任务中获取目标子任务，并将该目标子任务分配至该数字孪生体。
可选地，该目标任务在进行任务规划时按照不同的规划方式被划分为多个候选子任务集合，每个该候选子任务集合包括一个或多个目标子任务，该仿真评估模块503用于：
针对多个候选子任务集合中的每个候选子任务集合，执行该候选子任务集合的仿真运行和评估，其中，该执行该候选子任务集合的仿真运行和评估包括：根据该候选子任务集合中的目标子任务和每个目标子任务对应的目标运动路径，控制该数字孪生体通过行为蓝图在该三维语义地图中执行仿真运行并进行评估，得到该候选子任务集合的候选评估结果和任务执行评估结果；
将该任务执行评估结果全局最优的候选子任务集合作为目标子任务集合，将该目标子任务集合对应的候选评估结果作为该仿真评估结果，其中，该任务执行评估结果全局最优表征完成该目标任务所耗费的机器人能量最少，或者完成该目标任务所耗费的时间最短，或者完成该目标任务的机器人的移动路径最短。
任务同步模块504用于：将该目标子任务集合中的目标子任务对应的该行为蓝图、该目标运动路径、执行该行为蓝图所需要的动作数据和/或文本数 据，同步至该机器人。
可选地，该装置还包括：
仿真调整模块601，用于在根据该仿真评估结果确定该目标任务未完成的情况下，循环执行仿真调整步骤，直至根据该仿真评估结果确定该目标任务完成后，通过该数字孪生体，将完成该任务目标的目标子任务所对应的行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人；其中，该仿真调整步骤包括：
将该仿真评估结果、该目标子任务和该数字孪生体展示给用户；
接收用户针对一个或多个数字孪生体输入的任务调整指令，根据该任务调整指令，调整该数字孪生体的目标子任务；
根据调整后的该目标子任务进行空间路径规划，得到该数字孪生体的调整后目标运动路径；
根据调整后的目标子任务和调整后目标运动路径，控制多个数字孪生体通过行为蓝图在三维语义地图中执行仿真运行并进行评估，将评估得到的结果作为新的仿真评估结果。
可选地，在该装置还包括：
任务更新模块701，用于重新获取该数字孪生体的新的孪生体参数；根据该新的孪生体参数，确定该目标子任务是否需要更新；在该目标子任务需要更新的情况下，重新执行根据多个机器人待执行的目标任务、该多个机器人的角色以及该多个机器人所处环境的三维语义地图，为与该多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，至将该行为蓝图、该目标路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，同步至该机器人的步骤。
可选地，该任务更新模块701，用于接收用户针对该数字孪生体输入的操作指令；根据该操作指令更新该数字孪生体的孪生体参数；将更新后的该 孪生体参数作为新的孪生体参数。
可选地，该任务更新模块701，用于在该新的孪生体参数满足预设条件的情况下，确定该目标子任务需要更新，其中，该预设条件包括以下一种或多种：
该数字孪生体的剩余能量小于或等于预设能量阈值，该预设能量阈值表征该数字孪生体的剩余能量无法完成该目标子任务；
该数字孪生体的运行状态为预设状态；
该数字孪生体的待执行任务中存在任务优先级高于该目标子任务的待执行任务。
可选地，该任务同步模块504，还用于根据该三维语义地图、该目标子任务和该目标运动路径，获取该机器人需要的局部三维语义地图；将该局部三维语义地图发送至该机器人。
可选地，该装置还包括：
三维语义地图获取模块801，用于向该机器人发送环境扫描指令，该环境扫描指令用于指示该机器人对目标任务的环境进行扫描并得到环境信息；接收该机器人根据该环境扫描指令发送的该环境信息，并根据该环境信息获取该三维语义地图。
可选地，该装置还包括：
目标任务获取模块901，用于接收用户输入的任务指令，并根据该任务指令获取该目标任务；接收该机器人发送的环境信息，并根据该环境信息获取该目标任务。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种电子设备1000的框图。如图10所示，该电子设备1000可以包括：处理器1001，存储器1002。该电子设备 1000还可以包括多媒体组件1003，输入/输出(I/O)接口1004，以及通信组件1005中的一者或多者。
其中，处理器1001用于控制该电子设备1000的整体操作，以完成上述的多机器人控制方法中的全部或部分步骤。存储器1002用于存储各种类型的数据以支持在该电子设备1000的操作，这些数据例如可以包括用于在该电子设备1000上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件1003可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1002或通过通信组件1005发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口1004为处理器1001和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1005用于该电子设备1000与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件1005可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的多机器人控制方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的多机器人控制方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1002，上述程序指令可由电子设备1000的处理器1001执行以完成上述的多机器人控制方法。
图11是根据一示例性实施例示出的一种电子设备1100的框图。例如，电子设备1100可以被提供为一服务器。参照图11，电子设备1100包括处理器1122，其数量可以为一个或多个，以及存储器1132，用于存储可由处理器1122执行的计算机程序。存储器1132中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1122可以被配置为执行该计算机程序，以执行上述的多机器人控制方法。
另外，电子设备1100还可以包括电源组件1126和通信组件1150，该电源组件1126可以被配置为执行电子设备1100的电源管理，该通信组件1150可以被配置为实现电子设备1100的通信，例如，有线或无线通信。此外，该电子设备1100还可以包括输入/输出(I/O)接口1158。电子设备1100可以操作基于存储在存储器1132的操作系统，例如Windows Server TM，Mac OS X TM，Unix TM，Linux TM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储 介质，该程序指令被处理器执行时实现上述的多机器人控制方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1132，上述程序指令可由电子设备1100的处理器1122执行以完成上述的多机器人控制方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的多机器人控制方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (33)

  1. 一种多机器人控制方法，其特征在于，所述方法包括：
    根据多个机器人待执行的目标任务、所述多个机器人的角色以及所述多个机器人所处环境的三维语义地图，为与所述多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，并规划每个所述目标子任务对应的一个或多个行为蓝图，以及执行所述行为蓝图所需要的动作数据和/或文本数据，其中，所述角色表征预设的允许所述机器人执行的功能集合，所述行为蓝图包括所述机器人完成目标子任务所需要执行的动作序列，以及执行所述动作序列所需要的逻辑判断；
    根据所述目标子任务进行空间路径规划，得到所述数字孪生体的目标运动路径；
    根据所述目标子任务和所述目标运动路径，控制多个所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估，获取仿真评估结果，所述仿真评估结果用于表征所述目标任务是否完成；
    在根据所述仿真评估结果确定所述目标任务完成的情况下，通过所述数字孪生体，将所述行为蓝图、所述目标运动路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人，以控制所述机器人执行所述行为蓝图并完成所述目标任务。
  2. 根据权利要求1所述的方法，其特征在于，所述根据多个机器人待执行的目标任务、所述多个机器人的角色、以及所述多个机器人所处环境的三维语义地图，为与所述机器人对应的数字孪生体规划分配一个或多个目标子任务包括：
    根据所述三维语义地图和所述多个机器人的角色，将所述目标任务规划分解为一个或多个候选子任务；
    获取所述数字孪生体的孪生体参数，所述孪生体参数包括所述数字孪生体的位置信息、所述数字孪生体的剩余能量、所述数字孪生体的连续运行时长、所述数字孪生体的运行状态以及所述数字孪生体的待执行任务中的一个或多个；
    根据所述孪生体参数，从所述一个或多个候选子任务中获取目标子任务，并将所述目标子任务分配至所述数字孪生体。
  3. 根据权利要求1所述的方法，其特征在于，所述目标任务在进行任务规划时按照不同的规划方式被划分为多个候选子任务集合，每个所述候选子任务集合包括一个或多个目标子任务，所述根据所述目标子任务和所述目标运动路径，控制所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估，获取仿真评估结果包括：
    针对多个候选子任务集合中的每个候选子任务集合，执行该候选子任务集合的仿真运行和评估，得到该候选子任务集合对应的目标任务执行评估结果；
    将所述目标任务执行评估结果全局最优的候选子任务集合作为目标子任务集合，将所述目标子任务集合对应的候选评估结果作为所述仿真评估结果；
    所述将所述行为蓝图、所述目标运动路径、执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人包括：
    将所述目标子任务集合中的目标子任务对应的所述行为蓝图、所述目标运动路径、执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人。
  4. 根据权利要求3所述的方法，其特征在于，所述执行该候选子任务 集合的仿真运行和评估，得到该候选子任务集合对应的目标任务执行评估结果包括：
    根据该候选子任务集合中的目标子任务和每个目标子任务对应的目标运动路径，控制所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估；
    得到该候选子任务集合对应的目标任务执行评估结果。
  5. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    在根据所述仿真评估结果确定所述目标任务未完成的情况下，循环执行仿真调整步骤，直至根据所述仿真评估结果确定所述目标任务完成后，通过所述数字孪生体，将完成所述任务目标的目标子任务所对应的行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人；其中，所述仿真调整步骤包括：
    将所述仿真评估结果、所述目标子任务和所述数字孪生体展示给用户；
    接收用户针对一个或多个数字孪生体输入的任务调整指令，根据所述任务调整指令，调整所述数字孪生体的目标子任务；
    根据调整后的所述目标子任务进行路径规划，得到所述数字孪生体的调整后目标运动路径；
    根据调整后的目标子任务和所述调整后目标运动路径，控制多个所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估，将评估得到的结果作为新的仿真评估结果。
  6. 根据权利要求2所述的方法，其特征在于，在根据所述孪生体参数，从所述一个或多个候选子任务中获取目标子任务之后，所述方法还包括：
    确定所述目标子任务是否需要更新；
    在确定所述目标子任务需要更新的情况下，重新执行所述根据多个机器人待执行的目标任务、所述多个机器人的角色以及所述多个机器人所处环境的三维语义地图，为与所述多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，至将所述行为蓝图、所述目标路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人的步骤。
  7. 根据权利要求6所述的方法，其特征在于，所述确定所述目标子任务是否需要更新包括：
    重新获取所述数字孪生体的新的孪生体参数；
    根据所述新的孪生体参数，确定所述目标子任务是否需要更新。
  8. 根据权利要求7所述的方法，其特征在于，所述重新获取所述数字孪生体的新的孪生体参数包括：
    接收用户针对所述数字孪生体输入的操作指令；
    根据所述操作指令更新所述数字孪生体的孪生体参数；
    将更新后的所述孪生体参数作为新的孪生体参数。
  9. 根据权利要求7所述的方法，其特征在于，根据所述新的孪生体参数，确定所述目标子任务是否需要更新包括：
    在所述新的孪生体参数满足预设条件的情况下，确定所述目标子任务需要更新，其中，所述预设条件包括以下一种或多种：
    所述数字孪生体的剩余能量小于或等于预设能量阈值；
    所述数字孪生体的运行状态为预设状态；
    所述数字孪生体的待执行任务中存在任务优先级高于所述目标子任务的待执行任务。
  10. 根据权利要求1至9中任一项所述的方法，其特征在于，在确认所述仿真评估结果达成所述任务目标的情况下，所述方法还包括：
    根据所述三维语义地图、所述目标子任务和所述目标运动路径，获取所述机器人需要的局部三维语义地图；
    将所述局部三维语义地图发送至所述机器人。
  11. 根据权利要求1至9中任一项所述的方法，其特征在于，所述三维语义地图通过以下方式获取：
    向所述机器人发送环境扫描指令，所述环境扫描指令用于指示所述机器人对目标任务的环境进行扫描并得到环境信息；
    接收所述机器人根据所述环境扫描指令发送的所述环境信息；并根据所述环境信息获取所述三维语义地图。
  12. 根据权利要求1至9中任一项所述的方法，其特征在于，所述目标任务通过以下任意一种方式获取：
    接收用户输入的任务指令，并根据所述任务指令获取所述目标任务；
    接收所述机器人发送的环境信息，并根据所述环境信息获取所述目标任务。
  13. 根据权利要求1至9中任一项所述的方法，其特征在于，所述空间路径规划包括三维路径规划和移动路径规划，所述目标运动路径包括通过三维路径规划得到的三维运动路径，以及通过移动路径规划得到二维坐标下的移动轨迹。
  14. 一种多机器人控制装置，其特征在于，所述装置包括：
    任务分配模块，用于根据多个机器人待执行的目标任务、所述多个机器人的角色以及所述多个机器人所处环境的三维语义地图，为与所述多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，并规划每个所述目标子任务对应的一个或多个行为蓝图，以及执行所述行为蓝图所需要的动作数据和/或文本数据，其中，所述角色表征预设的允许所述机器人执行的功能集合，所述行为蓝图包括所述机器人完成目标子任务所需要执行的动作序列，以及执行所述动作序列所需要的逻辑判断；
    路径规划模块，用于根据所述目标子任务进行空间路径规划，得到所述数字孪生体的目标运动路径；
    仿真评估模块，用于根据所述目标子任务和所述目标运动路径，控制多个所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估，获取仿真评估结果，所述仿真评估结果用于表征所述目标任务是否完成；
    任务同步模块，用于在根据所述仿真评估结果确定所述目标任务完成的情况下，通过所述数字孪生体，将所述行为蓝图、所述目标运动路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人，以控制所述机器人执行所述行为蓝图并完成所述目标任务。
  15. 根据权利要求14所述的装置，其特征在于，所述任务分配模块用于：
    根据所述三维语义地图和所述多个机器人的角色，将所述目标任务规划分解为一个或多个候选子任务；
    获取所述数字孪生体的孪生体参数，所述孪生体参数包括所述数字孪生体的位置信息、所述数字孪生体的剩余能量、所述数字孪生体的连续运行时长、所述数字孪生体的运行状态以及所述数字孪生体的待执行任务中的一个 或多个；
    根据所述孪生体参数，从所述一个或多个候选子任务中获取目标子任务，并将所述目标子任务分配至所述数字孪生体。
  16. 根据权利要求14所述的装置，其特征在于，所述目标任务在进行任务规划时按照不同的规划方式被划分为多个候选子任务集合，每个所述候选子任务集合包括一个或多个目标子任务，所述仿真评估模块用于：
    针对多个候选子任务集合中的每个候选子任务集合，执行该候选子任务集合的仿真运行和评估，得到该候选子任务集合对应的目标任务执行评估结果；
    将所述目标任务执行评估结果全局最优的候选子任务集合作为目标子任务集合，将所述目标子任务集合对应的候选评估结果作为所述仿真评估结果，其中，所述目标任务执行评估结果全局最优表征完成所述目标任务所耗费的机器人能量最少，或者完成所述目标任务所耗费的时间最短，或者完成所述目标任务的机器人的移动路径最短；
    所述任务同步模块，用于将所述目标子任务集合中的目标子任务对应的所述行为蓝图、所述目标运动路径、执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人。
  17. 根据权利要求16所述的装置，其特征在于，所述仿真评估模块用于：
    根据该候选子任务集合中的目标子任务和每个目标子任务对应的目标运动路径，控制所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估；得到该候选子任务集合对应的目标任务执行评估结果。
  18. 根据权利要求14所述的装置，其特征在于，所述装置还包括：
    仿真调整模块，用于在根据所述仿真评估结果确定所述目标任务未完成的情况下，循环执行仿真调整步骤，直至根据所述仿真评估结果确定所述目标任务完成后，通过所述数字孪生体，将完成所述任务目标的目标子任务所对应的行为蓝图、目标运动路径、以及执行该行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人；其中，所述仿真调整步骤包括：
    将所述仿真评估结果、所述目标子任务和所述数字孪生体展示给用户；
    接收用户针对一个或多个数字孪生体输入的任务调整指令，根据所述任务调整指令，调整所述数字孪生体的目标子任务；
    根据调整后的所述目标子任务进行路径规划，得到所述数字孪生体的调整后目标运动路径；
    根据调整后的目标子任务和所述调整后目标运动路径，控制多个所述数字孪生体通过行为蓝图在所述三维语义地图中执行仿真运行并进行评估，将评估得到的结果作为新的仿真评估结果。
  19. 根据权利要求15所述的装置，其特征在于，所述装置还包括：
    任务更新模块，用于确定所述目标子任务是否需要更新；在所述目标子任务需要更新的情况下，重新执行所述根据多个机器人待执行的目标任务、所述多个机器人的角色以及所述多个机器人所处环境的三维语义地图，为与所述多个机器人对应的多个数字孪生体规划分配一个或多个目标子任务，至将所述行为蓝图、所述目标路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，同步至所述机器人的步骤。
  20. 根据权利要求19所述的装置，其特征在于，所述任务更新模块，用于重新获取所述数字孪生体的新的孪生体参数；根据所述新的孪生体参数， 确定所述目标子任务是否需要更新。
  21. 根据权利要求20所述的装置，其特征在于，所述任务更新模块，用于接收用户针对所述数字孪生体输入的操作指令；根据所述操作指令更新所述数字孪生体的孪生体参数；将更新后的所述孪生体参数作为新的孪生体参数。
  22. 根据权利要求20所述的装置，其特征在于，所述任务更新模块，用于在所述新的孪生体参数满足预设条件的情况下，确定所述目标子任务需要更新，其中，所述预设条件包括以下一种或多种：所述数字孪生体的剩余能量小于或等于预设能量阈值；所述数字孪生体的运行状态为预设状态；所述数字孪生体的待执行任务中存在任务优先级高于所述目标子任务的待执行任务。
  23. 根据权利要求14至22中任一项所述的装置，其特征在于，在确认所述仿真评估结果达成所述任务目标的情况下，所述任务同步模块，还用于根据所述三维语义地图、所述目标子任务和所述目标运动路径，获取所述机器人需要的局部三维语义地图；将所述局部三维语义地图发送至所述机器人。
  24. 根据权利要求14至22中任一项所述的装置，其特征在于，所述装置还包括：
    三维语义地图获取模块，用于向所述机器人发送环境扫描指令，所述环境扫描指令用于指示所述机器人对目标任务的环境进行扫描并得到环境信息；接收所述机器人根据所述环境扫描指令发送的所述环境信息；并根据所述环境信息获取所述三维语义地图。
  25. 根据权利要求14至22中任一项所述的装置，其特征在于，所述装置还包括：
    目标任务获取模块，用于接收用户输入的任务指令，并根据所述任务指令获取所述目标任务；或者，接收所述机器人发送的环境信息，并根据所述环境信息获取所述目标任务。
  26. 根据权利要求14至22中任一项所述的装置，其特征在于，所述空间路径规划包括三维路径规划和移动路径规划，所述目标运动路径包括通过三维路径规划得到的三维运动路径，以及通过移动路径规划得到二维坐标下的移动轨迹。
  27. 一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至13中任一项所述方法的步骤。
  28. 一种电子设备，其特征在于，包括：
    存储器，其上存储有计算机程序；
    处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至13中任一项所述方法的步骤。
  29. 一种计算机程序产品，其特征在于，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行权利要求1至13中任一项所述方法的步骤的代码部分。
  30. 一种多机器人控制系统，其特征在于，所述系统包括服务器、以及与服务器相连接的多个机器人；所述服务器包括多个数字孪生体，每个所述 数字孪生体是与一个机器人相对应的虚拟的三维物理模型；其中：
    所述服务器，用于执行权利要求1至13中任一项所述方法的步骤；
    所述机器人，用于接收所述服务器规划的行为蓝图、目标路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，并执行所述行为蓝图。
  31. 根据权利要求30所述的系统，其特征在于，所述机器人包括：机器人本体和数字孪生副本；其中：
    所述数字孪生副本，用于与服务器的数字孪生体交互同步，同步所述服务器规划的行为蓝图、目标路径、以及执行所述行为蓝图所需要的动作数据和/或文本数据，并同步控制所述机器人本体执行所述行为蓝图；
    所述机器人本体，用于根据所述数字孪生副本的控制执行所述行为蓝图。
  32. 根据权利要求31所述的系统，其特征在于，所述机器人还包括感知处理组件；其中：
    所述感知处理组件，用于对目标任务的环境进行扫描并得到环境信息；
    所述数字孪生副本，用于接收所述服务器发送的环境扫描指令，根据所述环境扫描指令，控制所述感知处理组件进行扫描；以及，获取所述感知处理组件扫描得到的所述环境信息，并将所述环境信息发送至所述服务器。
  33. 根据权利要求31所述的系统，其特征在于：
    所述数字孪生副本，还用于向所述数字孪生体同步所述机器人的状态信息，以便所述数字孪生体根据所述状态信息同步更新所述数字孪生体的孪生体参数。
PCT/CN2021/122448 2020-12-25 2021-09-30 多机器人控制方法、装置、系统、存储介质、电子设备及程序产品 WO2022134732A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011562250.6 2020-12-25
CN202011562250.6A CN112659127A (zh) 2020-12-25 2020-12-25 多机器人控制方法、装置、系统、存储介质及电子设备

Publications (1)

Publication Number Publication Date
WO2022134732A1 true WO2022134732A1 (zh) 2022-06-30

Family

ID=75409068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/122448 WO2022134732A1 (zh) 2020-12-25 2021-09-30 多机器人控制方法、装置、系统、存储介质、电子设备及程序产品

Country Status (2)

Country Link
CN (2) CN112659127A (zh)
WO (1) WO2022134732A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115422814A (zh) * 2022-11-04 2022-12-02 中国海洋大学 一种数字孪生驱动的复杂机电产品闭环优化设计方法
CN116214542A (zh) * 2023-03-23 2023-06-06 广东省特种设备检测研究院东莞检测院 一种球罐内壁爬壁机器人数字孪生系统
CN116629011A (zh) * 2023-06-06 2023-08-22 中国人民解放军军事科学院系统工程研究院 一种电子对抗数字孪生系统
CN117406667A (zh) * 2023-11-20 2024-01-16 南京工程学院 一种基于数字孪生模型的拉弯机运动控制方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112659127A (zh) * 2020-12-25 2021-04-16 达闼机器人有限公司 多机器人控制方法、装置、系统、存储介质及电子设备
CN113269874A (zh) * 2021-04-20 2021-08-17 达闼机器人有限公司 一种三维地图的建立方法及装置
CN113177327A (zh) * 2021-05-20 2021-07-27 广东博智林机器人有限公司 仿真方法、装置、存储介质和处理器
CN113635302B (zh) * 2021-07-29 2022-11-15 深圳墨影科技有限公司 基于现场总线的一体化移动协作机器人控制系统
CN114485621A (zh) * 2022-02-08 2022-05-13 达闼机器人股份有限公司 导航方法、装置及计算机可读存储介质
CN114676230B (zh) * 2022-05-30 2022-09-27 深圳市长亮科技股份有限公司 基于数字孪生技术的信息交互方法及装置
CN114779795B (zh) * 2022-06-21 2022-09-20 山东金宇信息科技集团有限公司 一种基于轨道机器人的事故疏通方法、设备及介质
CN115437372B (zh) * 2022-08-10 2023-07-18 中国科学院自动化研究所 机器人路径规划方法、装置、电子设备及存储介质
CN116423515B (zh) * 2023-04-28 2023-10-03 燕山大学 一种多机器人的数字孪生控制系统及其定位与建图的方法
CN116308006B (zh) * 2023-05-19 2023-08-01 安徽省赛达科技有限责任公司 一种数字乡村综合服务云平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444739A (zh) * 2016-07-15 2017-02-22 鹿龙 多工业机器人虚拟离线协同仿真系统及方法
US9671777B1 (en) * 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
CN107234616A (zh) * 2017-07-07 2017-10-10 上海木爷机器人技术有限公司 多机器人控制方法及装置
CN111680893A (zh) * 2020-05-25 2020-09-18 北京科技大学 一种多自寻址机器人拣选系统的数字孪生系统及调度方法
CN112659127A (zh) * 2020-12-25 2021-04-16 达闼机器人有限公司 多机器人控制方法、装置、系统、存储介质及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068828A (ja) * 2005-09-08 2007-03-22 Motoyuki Fujiwara 物品支持具
CN103699106B (zh) * 2013-12-30 2016-03-30 合肥工业大学 基于VR-Forces仿真平台的多无人机协同任务规划仿真系统
US9477519B2 (en) * 2014-09-18 2016-10-25 Robert D. Pedersen Distributed activity control systems and methods
CN106108761B (zh) * 2016-06-24 2018-11-23 武汉理工大学 一种高空玻璃幕墙清洗机器人
CN206475721U (zh) * 2016-08-08 2017-09-08 成都德荣汽车用品有限公司 自动收纳车衣
CN207498660U (zh) * 2017-09-22 2018-06-15 无锡小天鹅股份有限公司 洗衣机和组合式洗衣机
CN107831685B (zh) * 2017-10-13 2023-03-14 南方科技大学 一种群体机器人的控制方法和系统
CN208697467U (zh) * 2018-01-03 2019-04-05 江苏美之好机器人有限公司 一种码垛机器人吸盘手爪
CN110308716B (zh) * 2018-03-27 2022-02-25 上海汽车集团股份有限公司 一种基于集群的自动驾驶车辆的方法、装置及车辆
WO2020005993A1 (en) * 2018-06-25 2020-01-02 X Development Llc Robot coordination in a shared workspace
CN109986581B (zh) * 2019-05-06 2021-01-26 北京云迹科技有限公司 一种多任务服务机器人及服务系统
CN111958594B (zh) * 2020-07-30 2022-03-18 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人系统及方法
CN112008732B (zh) * 2020-09-09 2021-12-10 中科新松有限公司 机器人逆行方法、装置、终端和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671777B1 (en) * 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
CN106444739A (zh) * 2016-07-15 2017-02-22 鹿龙 多工业机器人虚拟离线协同仿真系统及方法
CN107234616A (zh) * 2017-07-07 2017-10-10 上海木爷机器人技术有限公司 多机器人控制方法及装置
CN111680893A (zh) * 2020-05-25 2020-09-18 北京科技大学 一种多自寻址机器人拣选系统的数字孪生系统及调度方法
CN112659127A (zh) * 2020-12-25 2021-04-16 达闼机器人有限公司 多机器人控制方法、装置、系统、存储介质及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115422814A (zh) * 2022-11-04 2022-12-02 中国海洋大学 一种数字孪生驱动的复杂机电产品闭环优化设计方法
CN116214542A (zh) * 2023-03-23 2023-06-06 广东省特种设备检测研究院东莞检测院 一种球罐内壁爬壁机器人数字孪生系统
CN116214542B (zh) * 2023-03-23 2023-11-10 广东省特种设备检测研究院东莞检测院 一种球罐内壁爬壁机器人数字孪生系统
CN116629011A (zh) * 2023-06-06 2023-08-22 中国人民解放军军事科学院系统工程研究院 一种电子对抗数字孪生系统
CN117406667A (zh) * 2023-11-20 2024-01-16 南京工程学院 一种基于数字孪生模型的拉弯机运动控制方法
CN117406667B (zh) * 2023-11-20 2024-05-10 南京工程学院 一种基于数字孪生模型的拉弯机运动控制方法

Also Published As

Publication number Publication date
CN114193447A (zh) 2022-03-18
CN114193447B (zh) 2023-07-07
CN112659127A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
WO2022134732A1 (zh) 多机器人控制方法、装置、系统、存储介质、电子设备及程序产品
JP7395229B2 (ja) 状況認識のためのモバイル清掃ロボット人工知能
US10845821B2 (en) Route planning for a mobile robot using configuration-based preferences
US11179843B2 (en) Method for operating a robot in a multi-agent system, robot, and multi-agent system
US11042783B2 (en) Learning and applying empirical knowledge of environments by robots
US9767794B2 (en) Dialog flow management in hierarchical task dialogs
US8428777B1 (en) Methods and systems for distributing tasks among robotic devices
US8452448B2 (en) Robotics systems
CN111328386A (zh) 通过自主移动机器人对未知环境的探察
US20190122178A1 (en) Method and apparatus for automating physical equipment replacement and maintenance
CN110989633B (zh) 一种机器人控制方法、装置、计算机设备及存储介质
CN104731657B (zh) 一种资源调度方法和系统
JP2019038048A (ja) ロボット調達装置、及びロボット調達方法
Weyns et al. Architectural design of a situated multiagent system for controlling automatic guided vehicles
Sadik et al. Using hand gestures to interact with an industrial robot in a cooperative flexible manufacturing scenario
WO2020086109A1 (en) Receding horizon planning for logistics
CN111431998B (zh) 机器人的呼叫方法、装置、设备及存储介质
CN114706389B (zh) 一种基于社交平台的多机器人动态环境搜索系统及方法
CN115502975A (zh) 一种机器人调度方法、装置、电子设备及存储介质
US20220082392A1 (en) Information processing apparatus, information processing method, computer program, and travel management system
CN115546348B (zh) 一种机器人建图方法、装置、机器人及存储介质
US10140068B1 (en) Asynchronous management of movable components
Palavenia et al. Simulation of the algorithm of group interaction of cyber-physical objects in 3D Space
CN114979141A (zh) 一种任务处理方法、装置、设备以及存储介质
CN115630820A (zh) 一种机器人调度方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21908733

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28/11/2023)