WO2023098090A1 - 智能设备控制方法、装置、服务器和存储介质 - Google Patents

智能设备控制方法、装置、服务器和存储介质 Download PDF

Info

Publication number
WO2023098090A1
WO2023098090A1 PCT/CN2022/105815 CN2022105815W WO2023098090A1 WO 2023098090 A1 WO2023098090 A1 WO 2023098090A1 CN 2022105815 W CN2022105815 W CN 2022105815W WO 2023098090 A1 WO2023098090 A1 WO 2023098090A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
virtual object
smart device
environment
digital
Prior art date
Application number
PCT/CN2022/105815
Other languages
English (en)
French (fr)
Inventor
马世奎
呼明浩
Original Assignee
达闼机器人股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 达闼机器人股份有限公司 filed Critical 达闼机器人股份有限公司
Publication of WO2023098090A1 publication Critical patent/WO2023098090A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Definitions

  • the present invention relates to the technical field of artificial intelligence, in particular to an intelligent device control method, device, server and storage medium.
  • Some smart devices in related technologies can perform corresponding actions according to instructions given by users. For example, if the user says "play song A" to the smart speaker, the smart speaker will call out the audio corresponding to song A and play the audio.
  • the smart device in the related art is passive, and if the user does not input any instructions to the smart device, the smart device will always be in a silent state. Therefore, the use flexibility of the smart device in the related art is poor.
  • Embodiments of the present invention provide a smart device control method, device, server, and storage medium, so as to improve the use flexibility of smart devices.
  • an embodiment of the present invention provides a method for controlling a smart device, which is applied to a server, and the method includes:
  • the digital virtual environment is obtained by mapping the physical environment where the smart device is located;
  • the digital virtual environment does not contain the target virtual object, then based on the type of the target virtual object, determine the response information that needs to be made to the target virtual object;
  • the method further includes:
  • the target virtual object is added to the digital virtual environment.
  • the method before acquiring the digital virtual environment, the method further includes:
  • mapping of the target real object in the physical environment into a target virtual object includes:
  • the target real object in the physical environment is mapped to the target virtual object.
  • determining the response information that needs to be made to the virtual object includes:
  • each virtual object included in the digital virtual environment is obtained by mapping each real object in the physical environment before mapping the target virtual object;
  • the target virtual object does not match any virtual object included in the digital virtual environment, then based on the type of the virtual object, determine the response information that needs to be made to the virtual object.
  • the target virtual object does not match any virtual object contained in the digital virtual environment, then based on the type of the virtual object, determine the response information that needs to be made to the virtual object, include:
  • the physical features corresponding to the target virtual object do not match the physical features corresponding to the virtual objects included in the digital virtual environment, then based on the type of the virtual object, determine what needs to be done for the virtual object response information.
  • the physical features corresponding to the target virtual object include at least one of a face feature and a pose of a person.
  • the response information includes a target interface of the state machine
  • the determining the response information that needs to be made to the target virtual object based on the type of the target virtual object includes:
  • Executing the target task to obtain the target interface of the state machine, wherein the target interface is used to drive the smart device to react.
  • the reaction information includes voice information and action information
  • the outputting the reaction information to the smart device, so that the smart device makes a corresponding reaction action based on the reaction information includes:
  • the action information is target animation
  • the outputting the reaction information to the smart device so that the smart device performs a movement based on the action information includes:
  • the target animation includes actions performed by a virtual object corresponding to the smart device in the digital virtual environment
  • the smart device is controlled to move synchronously with the virtual object corresponding to the smart device according to the action set in the target animation.
  • an embodiment of the present invention provides a smart device control device, including:
  • An acquisition module configured to acquire a digital virtual environment obtained by mapping the physical environment where the smart device is located
  • a mapping module configured to map a target real object in the physical environment into a target virtual object
  • a determining module configured to, if the digital virtual environment does not contain the target virtual object, determine the response information that needs to be made to the target virtual object based on the type of the target virtual object;
  • An output module configured to output the reaction information to the smart device, so that the smart device makes a corresponding reaction action based on the reaction information.
  • the device further includes an adding module
  • the add-on module for:
  • the target virtual object is added to the digital virtual environment.
  • mapping module is used for:
  • the target real object in the physical environment is mapped to the target virtual object.
  • the determining module is configured to:
  • each virtual object included in the digital virtual environment is obtained by mapping each real object in the physical environment before mapping the target virtual object;
  • the target virtual object does not match any virtual object included in the digital virtual environment, then based on the type of the virtual object, determine the response information that needs to be made to the virtual object.
  • the determining module is configured to:
  • the physical features corresponding to the target virtual object do not match the physical features corresponding to the virtual objects included in the digital virtual environment, then based on the type of the virtual object, determine what needs to be done for the virtual object response information.
  • the physical features corresponding to the target virtual object include at least one of a face feature and a pose of a person.
  • the response information includes a target interface of the state machine
  • the determining module is used for:
  • Executing the target task to obtain the target interface of the state machine, wherein the target interface is used to drive the smart device to react.
  • the reaction information includes voice information and action information
  • the output module for:
  • the action information is target animation
  • the output module for:
  • the target animation includes actions performed by a virtual object corresponding to the smart device in the digital virtual environment
  • the smart device is controlled to move synchronously with the virtual object corresponding to the smart device according to the action set in the target animation.
  • an embodiment of the present invention provides a server, which includes a processor and a memory, wherein executable code is stored in the memory, and when the executable code is executed by the processor, the processing The device can at least implement the smart device control method in the first aspect.
  • the embodiment of the present invention provides a non-transitory machine-readable storage medium, the non-transitory machine-readable storage medium stores executable code, when the executable code is executed by the processor of the server When, the processor can at least implement the smart device control method in the first aspect.
  • the target real object appearing in the physical environment can be mapped to the target virtual object, and then by detecting whether the digital virtual environment contains the target virtual object, to determine whether the target virtual object is a new virtual object in the digital virtual environment . If the target virtual object appears in the digital virtual environment, it means that a new real object appears in the physical environment.
  • the smart device can be controlled to respond to different real objects autonomously. Compared with the solutions in the related art that require the user to input instructions to the device to respond accordingly, the solution provided by the present invention reduces manual intervention, improves the naturalness of the behavior of the smart device, and improves the flexibility of the use of the smart device.
  • FIG. 1 is a schematic flowchart of a smart device control method provided by an embodiment of the present invention
  • FIG. 2 is a schematic flow chart of a smart device control method provided by an embodiment of the present invention.
  • FIG. 3 is a schematic structural diagram of a smart device control device provided by an embodiment of the present invention.
  • FIG. 4 is a schematic structural diagram of a server provided by an embodiment of the present invention.
  • the words “if”, “if” as used herein may be interpreted as “at” or “when” or “in response to determining” or “in response to detecting”.
  • the phrases “if determined” or “if detected (the stated condition or event)” could be interpreted as “when determined” or “in response to the determination” or “when detected (the stated condition or event) )” or “in response to detection of (a stated condition or event)”.
  • Fig. 1 is a flow chart of a method for controlling a smart device provided by an embodiment of the present invention. The method is applied to a server and implemented by a smart device.
  • the server may be a cloud server, and the smart device may be a robot or the like. As shown in Figure 1, the method includes the following steps:
  • the digital virtual environment is obtained by mapping the physical environment where the smart device is located.
  • the digital virtual environment does not contain the target virtual object, then based on the type of the target virtual object, determine response information that needs to be made to the target virtual object.
  • the digital virtual environment is obtained by simulating and mapping the real physical environment.
  • the real physical environment is a real entity, and the digital virtual environment is established for the server, so that the server can observe the real physical environment by looking at the digital virtual environment.
  • the smart device can be provided with various sensors and image acquisition devices, through which the images and depths of the physical environment where the smart device is located can be collected, and the smart device can collect the collected images and The depth is sent to the server, and the server simulates, maps, and reconstructs the physical environment of the smart device based on the image and depth.
  • the process of establishing a digital virtual environment may be implemented as: using digital twin technology to map the physical environment where the smart device is located into a digital virtual environment.
  • the digital twin technology is to make full use of data such as physical models, sensor updates, and operation history, integrate multi-disciplinary, multi-physical quantities, multi-scale, and multi-probability simulation processes, and complete the mapping in the virtual space to reflect the corresponding real objects. whole life cycle process.
  • the use of digital twin technology can not only realize the modeling of the appearance of real objects, but also realize the simulation of the geometric structure, spatial position, physical structure constraints, and physical characteristics (such as friction coefficient, gravity, etc.) of real objects.
  • the use of digital twin technology can realize the 1:1 simulation mapping between the physical environment and the digital virtual environment, which can reduce the cost of virtual-real migration.
  • the smart device it is first necessary to use digital twin technology to map the physical environment where the smart device is located into a digital virtual environment.
  • the smart device In some specific application scenarios, assuming that the smart device is placed in a certain room, the ceiling, floor, aisle, etc. in the room can be used as objects that need to be mapped in the physical environment. Through the mapping of the physical environment, the smart device can know what the spatial structure looks like, which places can pass through for the movement of the main body, and so on.
  • the digital virtual environment also includes a smart device body, which can be mapped to the smart device body, so that the virtual objects corresponding to the smart device can also appear in the digital virtual environment.
  • the physical environment can only be mapped to a digital virtual environment. If there are other real objects in the physical environment at the initial stage, other real objects set in the physical environment can also be mapped to their corresponding virtual objects, and these virtual objects can be added to the digital virtual environment.
  • the real object is fixed, or does not change within a period of time. In some specific application scenarios, it is still assumed that the smart device is placed in a certain room, and objects such as tables, chairs, and cabinets set in the room can be used as the above-mentioned real objects.
  • the digital virtual environment and the virtual objects can be stored, and these data can be called later when the data needs to be used.
  • the target real object in the physical environment can be mapped to the target virtual object.
  • the target real object may be any real object currently appearing in the physical environment.
  • the target real object in the physical environment can be mapped to the target virtual object through digital twin technology.
  • the target virtual object After the target virtual object is reconstructed, it can be judged whether the target virtual object is included in the digital virtual environment. If the digital virtual environment does not contain the target virtual object, it means that the target virtual object is new in the digital virtual environment, then based on the type of the target virtual object, the response information to the target virtual object can be determined.
  • target virtual objects it is only necessary to react to specific types of target virtual objects. For example, if the target virtual object is a character, it is necessary to respond to the character. If the target virtual object is a table newly moved into the room, then there is no need to react to the table.
  • the target virtual object can also be added to the digital virtual environment.
  • the digital virtual environment is constantly iteratively updated. As new real objects enter the physical environment, corresponding reconstructed virtual objects will also be added to the digital virtual environment.
  • the process of determining the response information that needs to be made to the virtual object can be implemented as: obtaining each virtual object contained in the digital virtual environment, wherein , each virtual object contained in the digital virtual environment is obtained by mapping each real object in the physical environment before mapping the target virtual object; if the target virtual object does not match each virtual object contained in the digital virtual environment, then based on the virtual The type of object, which determines the response information that needs to be made to the virtual object.
  • the digital virtual environment is constantly iteratively updated, and it may not contain any virtual objects, or some virtual objects may be added through updates. If the digital virtual environment does not contain any virtual object, the target virtual object is not contained in the digital virtual environment. If the digital virtual environment contains virtual objects, the target virtual object can be compared and matched with each virtual object contained in the digital virtual environment to determine whether the target virtual object is included in the virtual objects contained in the digital virtual environment.
  • the process of determining the response information to the virtual object can be implemented as: obtaining The physical characteristics corresponding to each virtual object included; identify the physical characteristics corresponding to the target virtual object; if the physical characteristics corresponding to the target virtual object do not match the physical characteristics corresponding to each virtual object contained in the digital virtual environment, then based on the virtual object The type of , determines the response information that needs to be made to the virtual object.
  • the above physical features include but not limited to facial features and poses of the person.
  • the server when the server detects the virtual object twice, it can compare and match the detected virtual objects, so as to avoid repeatedly mapping the same virtual object detected twice to the digital virtual environment.
  • the real object corresponding to the virtual object is a person, it can be determined whether the two detected persons are the same person by comparing and matching the facial features and poses of the person detected twice before and after. If no person has been detected before but a certain person is detected later, or the person detected later does not match any person detected earlier, it means that the person detected later is a new person.
  • the continuity of the man-machine dialogue process can be guaranteed. For example, assume that when a smart device detects a new person, it will actively greet the person. Then, if two new characters are detected, the two characters can be greeted respectively in turn. There will also be the following scenarios:
  • the smart device says to character A: Hello!
  • the smart device turns to character B and says: Hello!
  • the smart device can determine that the person A detected before and after is the same person through comparison and matching, the smart device can continue the dialogue process. For example, the smart device can turn to character A and say, "How can I help you?"
  • the response information that needs to be made to the target object can be determined based on the object type of the target object.
  • the target object is a character, and it is necessary to respond to the perspective of following and greeting new characters.
  • the reaction information may include the target interface of the state machine.
  • the process of determining the response information to the target virtual object can be implemented as: determining the target event triggered by the type of the target virtual object; Correspondence between tasks determines the target task corresponding to the target event; executes the target task to obtain the target interface of the state machine, wherein the target interface is used to drive the smart device to react.
  • the preset correspondence between events and tasks can be realized as a behavior tree, that is to say, the target event is input into the behavior tree, and the behavior tree judges the branch entered according to the target event. Different branches represent different tasks. The branch is the target task, so the behavior tree can output the target task corresponding to the target event.
  • the state machine is composed of a state register and a combinational logic circuit, which can perform state transition according to a preset state according to a control signal, and is a control center for coordinating related signal actions and completing specific operations.
  • reaction information can be output to the smart device, so that the smart device can take corresponding reaction actions based on the reaction information.
  • the reaction information may include voice information and action information.
  • the process of outputting reaction information to the smart device so that the smart device can make a corresponding reaction action based on the reaction information can be implemented as: outputting the reaction information to the smart device so that the smart device can play voice information and exercise based on the action information.
  • the server can send control instructions to the smart device, so that the smart device can play voice information and perform movements based on motion information.
  • the server detects a new person, triggering a person-seen event. Input the event of seeing a person into the behavior tree, and the behavior tree will enter the branch of seeing a person according to the judgment of the event of seeing a person. Assuming that the task corresponding to this branch is a greeting task, the corresponding greeting interface in the state machine is invoked by executing the greeting task. In this way, the state machine enters the state of greeting.
  • the server sends a greeting control command to the smart device, so that the smart device acquires the "Hello" audio and plays the audio. At the same time, the smart device looks at the face of the person who needs to say hello, and controls the mechanical arm Sway to make a beckoning motion.
  • a virtual character model corresponding to the character who needs to greet can be mapped.
  • the virtual character model is simulated and mapped with reference to the real character, and the position of the virtual character model in the digital virtual environment corresponds to the position where the character stands in the physical environment.
  • the height of the virtual character model corresponds to the height of the character.
  • the angle that the virtual object corresponding to the smart device needs to face and the pitch of the head of the virtual object can be determined angle, so that the virtual object corresponding to the smart device can face the virtual character model in the digital virtual environment.
  • the above action information may be target animation.
  • the process of outputting reaction information to the smart device so that the smart device moves based on the action information can be implemented as: calling the target animation, the target animation includes the action performed by the virtual object corresponding to the smart device in the digital virtual environment; Control the smart device to move synchronously with the virtual object corresponding to the smart device according to the action set in the target animation.
  • the action of greeting can be pre-designed, and the action of greeting can be made as a model skeleton animation.
  • the avatar model can be composed of multiple bones, and by controlling the bones of the avatar model to adjust the corresponding pose, the avatar model can complete preset actions. The process of adjusting the skeleton pose of the avatar model can be recorded in the skeleton animation.
  • different actions can be made into different skeletal animations. When a target action needs to be used, the skeletal animation corresponding to the target action can be called.
  • the smart device may be composed of multiple mechanical structures, and the mechanical structure may serve as the skeleton of the smart device, and the skeleton in the virtual character model corresponds to the skeleton of the smart device.
  • the corresponding smart device's skeleton also adjusts the same pose, thereby realizing smart The device moves by imitating the actions set in the skeletal animation.
  • the target real object appearing in the physical environment can be mapped to the target virtual object, and then by detecting whether the digital virtual environment contains the target virtual object, to determine whether the target virtual object is a new virtual object in the digital virtual environment . If the target virtual object appears in the digital virtual environment, it means that a new real object appears in the physical environment.
  • the smart device can be controlled to respond to different real objects autonomously. Compared with the solutions in the related art that require the user to input instructions to the device to respond accordingly, the solution provided by the present invention reduces manual intervention, improves the naturalness of the behavior of the smart device, and improves the flexibility of the use of the smart device.
  • the smart device control device of one or more embodiments of the present invention will be described in detail below. Those skilled in the art can understand that these smart device control devices can be configured by using commercially available hardware components through the steps taught in this solution.
  • Fig. 3 is a schematic structural diagram of a smart device control device provided by an embodiment of the present invention. As shown in Fig. 3, the device includes:
  • An acquisition module 31 configured to acquire a digital virtual environment obtained by mapping the physical environment where the smart device is located;
  • a mapping module 32 configured to map the target real object in the physical environment into a target virtual object
  • a determining module 33 configured to determine response information to be made to the target virtual object based on the type of the target virtual object if the digital virtual environment does not contain the target virtual object;
  • the output module 34 is configured to output the reaction information to the smart device, so that the smart device makes a corresponding reaction action based on the reaction information.
  • the device further includes an adding module
  • the add-on module for:
  • the target virtual object is added to the digital virtual environment.
  • mapping module 32 is configured to:
  • the target real object in the physical environment is mapped to the target virtual object.
  • the determination module 33 is configured to:
  • each virtual object included in the digital virtual environment is obtained by mapping each real object in the physical environment before mapping the target virtual object;
  • the target virtual object does not match any virtual object included in the digital virtual environment, then based on the type of the virtual object, determine the response information that needs to be made to the virtual object.
  • the determination module 33 is configured to:
  • the physical features corresponding to the target virtual object do not match the physical features corresponding to the virtual objects included in the digital virtual environment, then based on the type of the virtual object, determine what needs to be done for the virtual object response information.
  • the physical features corresponding to the target virtual object include at least one of a face feature and a pose of a person.
  • the response information includes a target interface of the state machine
  • the determination module 33 is used for:
  • Executing the target task to obtain the target interface of the state machine, wherein the target interface is used to drive the smart device to react.
  • the reaction information includes voice information and action information
  • the output module 34 is used for:
  • the action information is target animation
  • the output module 34 is used for:
  • the target animation includes actions performed by a virtual object corresponding to the smart device in the digital virtual environment
  • the smart device is controlled to move synchronously with the virtual object corresponding to the smart device according to the action set in the target animation.
  • the apparatus shown in FIG. 3 can execute the smart device control method provided in the embodiments shown in FIGS. 1 to 2 .
  • the apparatus shown in FIG. 3 can execute the smart device control method provided in the embodiments shown in FIGS. 1 to 2 .
  • the smart device control method provided in the embodiments shown in FIGS. 1 to 2 .
  • the structure of the smart device control device shown in FIG. 3 may be implemented as a server.
  • the server may include: a processor 91 and a memory 92 .
  • executable code is stored on the memory 92, when the executable code is executed by the processor 91, the processor 91 can at least implement Intelligent device control method.
  • the server may also include a communication interface 93 for communicating with other devices.
  • an embodiment of the present invention provides a non-transitory machine-readable storage medium, where executable code is stored on the non-transitory machine-readable storage medium, and when the executable code is executed by a processor of the server, The processor can at least implement the smart device control method provided in the embodiment shown in FIG. 1 to FIG. 2 .
  • the smart device control method provided by the embodiment of the present invention can be executed by a certain program/software, which can be provided by the network side, and the server mentioned in the foregoing embodiments can download the program/software to a local non-volatile In the volatile storage medium, and when it needs to execute the aforementioned smart device control method, the program/software is read into the memory by the CPU, and then the program/software is executed by the CPU to realize the smart device provided in the aforementioned embodiments
  • the control method and the execution process please refer to the schematic illustrations in the above-mentioned Fig. 1 to Fig. 2 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种智能设备控制方法、装置、服务器和存储介质，该方法包括：获取数字虚拟环境，数字虚拟环境是对智能设备所处的物理环境映射得到的；将物理环境中的目标真实物体映射为目标虚拟对象；若数字虚拟环境中不包含目标虚拟对象，则基于目标虚拟对象的类型，确定需要对目标虚拟对象做出的反应信息；向智能设备输出反应信息，以使得智能设备基于反应信息做出相应的反应动作。本发明提供的方案减少了人工干预，提升了智能设备行为的自然度，提高了智能设备的使用灵活度。

Description

智能设备控制方法、装置、服务器和存储介质
交叉引用
本申请要求2021年11月30日递交的、申请号为“2021114507098”、发明名称为“智能设备控制方法、装置、服务器和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及人工智能技术领域，尤其涉及一种智能设备控制方法、装置、服务器和存储介质。
背景技术
相关技术中的一些智能设备可以根据用户给出的指令来执行对应的动作。比如说，用户对智能音箱说“播放A歌曲”，那么该智能音箱会调取出A歌曲对应的音频并播放该音频。相关技术中的智能设备是被动的，如果用户不向智能设备输入任何指令，则智能设备会一直处于静默状态。因此，相关技术中的智能设备的使用灵活性较差。
发明内容
本发明实施例提供一种智能设备控制方法、装置、服务器和存储介质，用以实现提高智能设备的使用灵活性。
第一方面，本发明实施例提供一种智能设备控制方法，应用于服务器，该方法包括：
获取数字虚拟环境，所述数字虚拟环境是对智能设备所处的物理环境映射得到的；
将所述物理环境中的目标真实物体映射为目标虚拟对象；
若所述数字虚拟环境中不包含所述目标虚拟对象，则基于所述目标虚拟对象的类型，确定需要对所述目标虚拟对象做出的反应信息；
向所述智能设备输出所述反应信息，以使得所述智能设备基于所述反应信息做出相应的反应动作。
可选地，若所述数字虚拟环境中不包含所述目标虚拟对象，所述方法还包括：
将所述目标虚拟对象添加到所述数字虚拟环境中。
可选地，在获取数字虚拟环境之前，所述方法还包括：
通过数字孪生技术，将所述智能设备所处的物理环境映射为所述数字虚拟环境；
所述将所述物理环境中的目标真实物体映射为目标虚拟对象，包括:
通过所述数字孪生技术，将所述物理环境中的目标真实物体映射为目标虚拟对象。
可选地，所述若所述数字虚拟环境中不包含所述虚拟对象，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息，包括：
获取所述数字虚拟环境中包含的各虚拟对象，其中，所述数字虚拟环境中包含的各虚拟对象是在映射所述目标虚拟对象之前对所述物理环境中的各真实物体映射得到的；
若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息。
可选地，所述若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息，包括：
获取所述数字虚拟环境中包含的各虚拟对象对应的物理特征；
识别所述目标虚拟对象对应的物理特征；
若所述目标虚拟对象对应的物理特征分别和所述数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配，则基于所述虚拟对象的类型，确定需要对 所述虚拟对象做出的反应信息。
可选地，若所述目标虚拟对象对应的所述目标真实物体为人物，则所述目标虚拟对象对应的物理特征包括人脸特征、人物的位姿中的至少一项。
可选地，所述反应信息包括状态机的目标接口；
所述基于所述目标虚拟对象的类型，确定需要对所述目标虚拟对象做出的反应信息，包括：
确定所述目标虚拟对象的类型触发的目标事件；
根据预设的事件与任务的对应关系，确定所述目标事件对应的目标任务；
执行所述目标任务，以获取所述状态机的所述目标接口，其中，所述目标接口用于驱动所述智能设备做出反应动作。
可选地，所述反应信息包括语音信息和动作信息；
所述向所述智能设备输出所述反应信息，以使得所述智能设备基于所述反应信息做出相应的反应动作，包括：
向所述智能设备输出所述反应信息，以使得所述智能设备播放所述语音信息，以及基于所述动作信息进行运动。
可选地，所述动作信息为目标动画；
所述向所述智能设备输出所述反应信息，以使得所述智能设备基于所述动作信息进行运动，包括：
调取所述目标动画，所述目标动画中包括与所述智能设备对应的虚拟对象在所述数字虚拟环境中执行的动作；
控制所述智能设备按照所述目标动画中设定的动作，与所述智能设备对应的虚拟对象同步进行运动。
第二方面，本发明实施例提供一种智能设备控制装置，包括：
获取模块，用于获取数字虚拟环境，所述数字虚拟环境是对智能设备所处的物理环境映射得到的；
映射模块，用于将所述物理环境中的目标真实物体映射为目标虚拟对象；
确定模块，用于若所述数字虚拟环境中不包含所述目标虚拟对象，则基于 所述目标虚拟对象的类型，确定需要对所述目标虚拟对象做出的反应信息；
输出模块，用于向所述智能设备输出所述反应信息，以使得所述智能设备基于所述反应信息做出相应的反应动作。
可选地，若所述数字虚拟环境中不包含所述目标虚拟对象，所述装置还包括添加模块；
所述添加模块，用于：
将所述目标虚拟对象添加到所述数字虚拟环境中。
可选地，所述映射模块，用于：
通过数字孪生技术，将所述智能设备所处的物理环境映射为所述数字虚拟环境；
通过所述数字孪生技术，将所述物理环境中的目标真实物体映射为目标虚拟对象。
可选地，所述确定模块，用于：
获取所述数字虚拟环境中包含的各虚拟对象，其中，所述数字虚拟环境中包含的各虚拟对象是在映射所述目标虚拟对象之前对所述物理环境中的各真实物体映射得到的；
若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息。
可选地，所述确定模块，用于：
获取所述数字虚拟环境中包含的各虚拟对象对应的物理特征；
识别所述目标虚拟对象对应的物理特征；
若所述目标虚拟对象对应的物理特征分别和所述数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息。
可选地，如果所述目标虚拟对象对应的所述目标真实物体为人物，则所述目标虚拟对象对应的物理特征包括人脸特征、人物的位姿中的至少一项。
可选地，所述反应信息包括状态机的目标接口；
所述确定模块，用于：
确定所述目标虚拟对象的类型触发的目标事件；
根据预设的事件与任务的对应关系，确定所述目标事件对应的目标任务；
执行所述目标任务，以获取所述状态机的所述目标接口，其中，所述目标接口用于驱动所述智能设备做出反应动作。
可选地，所述反应信息包括语音信息和动作信息；
所述输出模块，用于：
向所述智能设备输出所述反应信息，以使得所述智能设备播放所述语音信息，以及基于所述动作信息进行运动。
可选地，所述动作信息为目标动画；
所述输出模块，用于：
调取所述目标动画，所述目标动画中包括与所述智能设备对应的虚拟对象在所述数字虚拟环境中执行的动作；
控制所述智能设备按照所述目标动画中设定的动作，与所述智能设备对应的虚拟对象同步进行运动。
第三方面，本发明实施例提供一种服务器，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第一方面中的智能设备控制方法。
第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被服务器的处理器执行时，使所述处理器至少可以实现第一方面中的智能设备控制方法。
采用本发明，可以将物理环境中出现的目标真实物体映射为目标虚拟对象，然后通过检测数字虚拟环境是否包含该目标虚拟对象，以确定该目标虚拟对象是否是数字虚拟环境中新出现的虚拟对象。如果数字虚拟环境中出现了目标虚拟对象，则表示物理环境中对应出现了新的真实物体。在检测到新的真实物体之后，可以控制智能设备自主地针对不同的真实物体做出相应的反应。相较于相关技术中的需要用户输入指令设备才能对应做出反应的方案来说，本发明提 供的方案减少了人工干预，提升了智能设备行为的自然度，提高了智能设备的使用灵活度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种智能设备控制方法的流程示意图；
图2为本发明实施例提供的一种智能设备控制方法的流程示意图；
图3为本发明实施例提供的一种智能设备控制装置的结构示意图；
图4为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检 测(陈述的条件或事件)”。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
图1为本发明实施例提供的一种智能设备控制方法的流程图，该方法应用于服务器，并由智能设备配合实现。在某些可选实施例中，服务器可以是云端服务器，智能设备可以是机器人等。如图1所示，该方法包括如下步骤：
101、获取数字虚拟环境，数字虚拟环境是对智能设备所处的物理环境映射得到的。
102、将物理环境中的目标真实物体映射为目标虚拟对象。
103、若数字虚拟环境中不包含目标虚拟对象，则基于目标虚拟对象的类型，确定需要对目标虚拟对象做出的反应信息。
104、向智能设备输出反应信息，以使得智能设备基于反应信息做出相应的反应动作。
需要说明的是，数字虚拟环境是对真实的物理环境进行仿真、映射得到的。真实的物理环境是真实存在的实体，数字虚拟环境是针对服务器建立的，使得服务器通过看数字虚拟环境来观察真实的物理环境。
可以理解的是，智能设备中可以设置有多种传感器、图像采集装置，通过这些传感器、图像采集装置可以采集智能设备所处的物理环境的图像以及深度等，智能设备可以将采集到的图像以及深度发送至服务器，由服务器基于图像以及深度对智能设备所处的物理环境进行仿真、映射、重构等。
可选地，建立数字虚拟环境的过程可以实现为：通过数字孪生技术，将智能设备所处的物理环境映射为数字虚拟环境。
其中，数字孪生技术是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的真实物体的全生命周期过程。采用数字孪生技术，不仅能够实现对真实物体的外观的建模，还可以实现对真实物体的几何结构、空间位置、物理结构约束、物理特性(如摩擦系数、重力等)仿真等。总体来说，采用数 字孪生技术可以实现物理环境与数字虚拟环境的1：1的仿真映射，可以降低虚实迁移的成本。
在本发明实施例中，首先需要通过数字孪生技术，将智能设备所处的物理环境映射为数字虚拟环境。在某些具体应用场景中，假设智能设备被放置在某个房间内，则该房间内的天花板、地板、过道等都可以作为物理环境中需要映射的对象。通过对物理环境的映射，智能设备可以知道所处的空间结构是什么样子的、哪些地方可以通过以用于进行本体的移动等。
需要说明的是，数字虚拟环境中还包括智能设备本体，可以对智能设备本体进行映射，这样智能设备对应的虚拟对象也可以出现在数字虚拟环境中。
接着，如果物理环境在初始阶段没有其他真实物体(如一个空房间)，则可以仅将物理环境映射为数字虚拟环境。如果物理环境在初始阶段还存在其他真实物体，则还可以将物理环境中设置的其他真实物体映射为各自对应的虚拟对象，并将这些虚拟对象添加到数字虚拟环境中。该真实物体是固定的、或者说在一段时间之内是不变化的。在某些具体应用场景中，仍假设智能设备被放置在某个房间内，则该房间内设置的桌子、椅子、柜子等物体都可以作为上述真实物体。
需要说明的是，实际应用中，并不需要将物理环境中所有出现的真实物体都映射到数字虚拟环境中。比如说，如果桌子上有个杯子，如果该杯子并不影响智能设备执行任务，则可以不对该杯子进行映射。这样，可以降低映射过程中的计算量，也可以降低映射的第一虚拟对象的数量，从而减少智能设备在执行任务过程中的干扰。
可以理解的是，在建立数字虚拟环境以及确定数字虚拟环境之中包括的虚拟对象之后，可以对数字虚拟环境以及虚拟对象进行存储，在后续需要使用到这些数据时，再进行调用。
在建立数字虚拟环境之后，可以将物理环境中的目标真实物体映射为目标虚拟对象。需要说明的是，目标真实物体可以是当前出现在物理环境中的任一真实物体。
可选地，可以通过数字孪生技术，将物理环境中的目标真实物体映射为目标虚拟对象。
在重构目标虚拟对象之后，可以判断数字虚拟环境中是否包含该目标虚拟对象。若数字虚拟环境中不包含目标虚拟对象，表示目标虚拟对象是新出现在数字虚拟环境中的，则可以基于目标虚拟对象的类型，确定需要对目标虚拟对象做出的反应信息。
举例来说，假设房间内走进了一个人物，且该人物来到智能设备附近。对于智能设备来说，之前没有检测到过该人物，进而未对该人物进行重构。那么该人物对应的虚拟对象也就不可能出现在数字虚拟环境中，所以数字虚拟环境中不包含该人物对应的虚拟对象。
另外值得注意的是，对于智能设备来说，只需要对特定类型的目标虚拟对象进行反应。比如说，如果目标虚拟对象是人物，则需要对人物做出反应。如果目标虚拟对象是新搬进房间内的一个桌子，那么不需要对该桌子做出反应。
可选地，如果数字虚拟环境中不包含目标虚拟对象，还可以将目标虚拟对象添加到数字虚拟环境中。
通过这样的方式，数字虚拟环境是不断迭代更新的，随着新的真实物体进入物理环境，对应重构出的虚拟对象也会相应添加到数字虚拟环境中。
可选地，上述若数字虚拟环境中不包含虚拟对象，则基于虚拟对象的类型，确定需要对虚拟对象做出的反应信息的过程可以实现为：获取数字虚拟环境中包含的各虚拟对象，其中，数字虚拟环境中包含的各虚拟对象是在映射目标虚拟对象之前对物理环境中的各真实物体映射得到的；若目标虚拟对象与数字虚拟环境中包含的各虚拟对象都不匹配，则基于虚拟对象的类型，确定需要对虚拟对象做出的反应信息。
如前文所述，数字虚拟环境是不断迭代更新的，它其中可能不包含任何虚拟对象，也可能通过更新添加了一些虚拟对象。如果数字虚拟环境中不包含任何虚拟对象，则目标虚拟对象是不包含在数字虚拟环境中的。如果数字虚拟环境中包含虚拟对象，则可以对目标虚拟对象和数字虚拟环境中包含的各虚拟对 象进行比较匹配，以确定数字虚拟环境中包含的虚拟对象中是否有目标虚拟对象。
可选地，若目标虚拟对象与数字虚拟环境中包含的各虚拟对象都不匹配，则基于虚拟对象的类型，确定需要对虚拟对象做出的反应信息的过程可以实现为：获取数字虚拟环境中包含的各虚拟对象对应的物理特征；识别目标虚拟对象对应的物理特征；若目标虚拟对象对应的物理特征分别和数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配，则基于虚拟对象的类型，确定需要对虚拟对象做出的反应信息。
其中，在某些可选实施例中，如果虚拟对象对应的真实物体为人物，则上述物理特征包括但不限于人脸特征、人物的位姿。
实际应用中，服务器在前后两次检测到虚拟对象时，可以对检测到的虚拟对象进行比较匹配，以避免将前后两次检测到的同一虚拟对象重复映射到数字虚拟环境中。
如果虚拟对象对应的真实物体为人物，则可以通过对前后两次检测到的人物的人脸特征、人物的位姿的比较匹配来确定前后两次检测到的人物是否是同一人物。如果前面没有检测到过人物但是后面检测到了某个人物，或者后面检测到的人物与前面检测到的任何一个人物都不匹配，则表示后面检测到的人物是新出现的人物。
需要说明的是，在比较匹配人物的位姿的过程中，如果前后两次检测到的人物的位姿差别在预设范围内，且前后两次检测到的人物的人脸特征相匹配，则表示前后两次检测到的人物为同一人物。之所以将前后两次检测到的人物的位姿差别限定在一定范围内是因为，同一人物可能会在两次检测间隔之间进行小幅度的移动和调整。
另外，通过对前后检测到的人物的比较匹配，可以保证人机对话过程的延续性。举例来说，假设当智能设备检测到一个新出现的人物时，会对该人物主动打招呼。那么如果检测到两个新出现的人物时，可以依次对两个人物分别打招呼。也就会有以下场景：
智能设备对着人物A说：你好！
智能设备转向人物B说：你好！
如果智能设备不对前后检测到的人物进行比较匹配，那么智能设备再次检测到人物A时，会误认为该人物A是新出现的人物，然后又会转向人物A说“你好！”，这样对话流程无法进行下去。而当智能设备能够通过比较匹配的方式确定前后检测到的人物A是同一人物，则智能设备可以继续延续对话流程。比如说，智能设备可以转向人物A说“请问有什么可以帮助您的？”
通过上述方式确定出数字虚拟环境中出现新的目标对象之后，可以基于目标对象的对象类型，确定需要对目标对象做出的反应信息。比如说，目标对象是人物，需要对新出现的人物做出视角跟随以及打招呼的反应。
可选地，反应信息可以包括状态机的目标接口。相应地，如图2所示，基于目标虚拟对象的类型，确定需要对目标虚拟对象做出的反应信息的过程可以实现为：确定目标虚拟对象的类型触发的目标事件；根据预设的事件与任务的对应关系，确定目标事件对应的目标任务；执行目标任务，以获取状态机的目标接口，其中，目标接口用于驱动智能设备做出反应动作。
其中，预设的事件与任务的对应关系可以实现为行为树，也就是说将目标事件输入到行为树中，行为树根据目标事件判断进入的分支，不同分支代表着不同任务，目标事件对应的分支为目标任务，因此行为树可以输出与目标事件对应的目标任务。
此外，状态机由状态寄存器和组合逻辑电路构成，能够根据控制信号按照预先设定的状态进行状态转移，是协调相关信号动作、完成特定操作的控制中心。
最后，可以向智能设备输出反应信息，以使得智能设备基于反应信息做出相应的反应动作。
可选地，反应信息可以包括语音信息和动作信息。向智能设备输出反应信息，以使得智能设备基于反应信息做出相应的反应动作的过程可以实现为：向智能设备输出反应信息，以使得智能设备播放语音信息，以及基于动作信息进 行运动。
具体来说，通过调用状态机中对应的目标接口，可以使得服务器向智能设备发送控制指令，以使得智能设备播放语音信息，以及基于动作信息进行运动。
举例来说，假设服务器检测到一个新出现的人物，触发看见人的事件。将看见人的事件输入到行为树中，行为树根据看见人的事件判断进入到看见人的分支。假设该分支对应的任务是打招呼的任务，则通过执行打招呼的任务，以调用状态机中对应的打招呼的接口。这样状态机就进入到打招呼的状态中。通过调用打招呼的接口，服务器向智能设备发送打招呼的控制指令，使得智能设备获取“你好”的音频并播放该音频，同时，使得智能设备看向需要打招呼的人物的脸部，控制机械手臂进行摇摆，以做出招手的动作。
在某些可选实施例中，在数字虚拟环境中，可以映射有需要打招呼的人物对应的虚拟人物模型。该虚拟人物模型是参照真实的人物进行仿真映射的，该虚拟人物模型在数字虚拟环境中所处的位置与该人物在物理环境中所站的位置是相对应的。另外，该虚拟人物模型的高度与该人物的身高是相对应的。
基于此，可以基于数字虚拟环境中的智能设备对应的虚拟对象的位置和高度、以及虚拟人物模型的位置和高度，确定智能设备对应的虚拟对象需要朝向的角度以及该虚拟对象的头部的俯仰角，以可以在数字虚拟环境中让智能设备对应的虚拟对象可以面向虚拟人物模型。通过控制智能设备与智能设备对应的虚拟对象做出同步的动作，可以使得智能设备最终面向需要打招呼的人物。
可选地，对于一些构造有骨骼的智能设备来说，上述动作信息可以是目标动画。相应地，向智能设备输出反应信息，以使得智能设备基于动作信息进行运动的过程可以实现为：调取目标动画，目标动画中包括与智能设备对应的虚拟对象在数字虚拟环境中执行的动作；控制智能设备按照目标动画中设定的动作，与智能设备对应的虚拟对象同步进行运动。
在某些可选实施例中，可以预先设计好打招呼的动作，将打招呼的动作制作为模型骨骼动画。需要说明的是，虚拟人物模型可以由多个骨骼构成，通过控制虚拟人物模型的骨骼调整相应的位姿，可以使得虚拟人物模型完成预设的 动作。可以将虚拟人物模型调整骨骼位姿的过程记录在骨骼动画中。除了这里的举例，可以将不同动作都制成不同的骨骼动画。在需要使用到某目标动作时，可以调取与该目标动作对应的骨骼动画。
需要说明的是，智能设备可以是由多个机械结构组成的，该机械结构可以作为智能设备的骨骼，虚拟人物模型中的骨骼与智能设备的骨骼相对应。这样，通过智能设备与智能设备对应的虚拟对象的同步，当虚拟人物模型中的某个骨骼调整了相应的位姿时，对应的智能设备的骨骼也调整相同的位姿，进而就实现了智能设备模仿骨骼动画中设定的动作进行运动。
采用本发明，可以将物理环境中出现的目标真实物体映射为目标虚拟对象，然后通过检测数字虚拟环境是否包含该目标虚拟对象，以确定该目标虚拟对象是否是数字虚拟环境中新出现的虚拟对象。如果数字虚拟环境中出现了目标虚拟对象，则表示物理环境中对应出现了新的真实物体。在检测到新的真实物体之后，可以控制智能设备自主地针对不同的真实物体做出相应的反应。相较于相关技术中的需要用户输入指令设备才能对应做出反应的方案来说，本发明提供的方案减少了人工干预，提升了智能设备行为的自然度，提高了智能设备的使用灵活度。
以下将详细描述本发明的一个或多个实施例的智能设备控制装置。本领域技术人员可以理解，这些智能设备控制装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图3为本发明实施例提供的一种智能设备控制装置的结构示意图，如图3所示，该装置包括：
获取模块31，用于获取数字虚拟环境，所述数字虚拟环境是对智能设备所处的物理环境映射得到的；
映射模块32，用于将所述物理环境中的目标真实物体映射为目标虚拟对象；
确定模块33，用于若所述数字虚拟环境中不包含所述目标虚拟对象，则基于所述目标虚拟对象的类型，确定需要对所述目标虚拟对象做出的反应信息；
输出模块34，用于向所述智能设备输出所述反应信息，以使得所述智能设备基于所述反应信息做出相应的反应动作。
可选地，若所述数字虚拟环境中不包含所述目标虚拟对象，所述装置还包括添加模块；
所述添加模块，用于：
将所述目标虚拟对象添加到所述数字虚拟环境中。
可选地，所述映射模块32，用于：
通过数字孪生技术，将所述智能设备所处的物理环境映射为所述数字虚拟环境；
通过所述数字孪生技术，将所述物理环境中的目标真实物体映射为目标虚拟对象。
可选地，所述确定模块33，用于：
获取所述数字虚拟环境中包含的各虚拟对象，其中，所述数字虚拟环境中包含的各虚拟对象是在映射所述目标虚拟对象之前对所述物理环境中的各真实物体映射得到的；
若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息。
可选地，所述确定模块33，用于：
获取所述数字虚拟环境中包含的各虚拟对象对应的物理特征；
识别所述目标虚拟对象对应的物理特征；
若所述目标虚拟对象对应的物理特征分别和所述数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息。
可选地，如果所述目标虚拟对象对应的所述目标真实物体为人物，则所述目标虚拟对象对应的物理特征包括人脸特征、人物的位姿中的至少一项。
可选地，所述反应信息包括状态机的目标接口；
所述确定模块33，用于：
确定所述目标虚拟对象的类型触发的目标事件；
根据预设的事件与任务的对应关系，确定所述目标事件对应的目标任务；
执行所述目标任务，以获取所述状态机的所述目标接口，其中，所述目标接口用于驱动所述智能设备做出反应动作。
可选地，所述反应信息包括语音信息和动作信息；
所述输出模块34，用于：
向所述智能设备输出所述反应信息，以使得所述智能设备播放所述语音信息，以及基于所述动作信息进行运动。
可选地，所述动作信息为目标动画；
所述输出模块34，用于：
调取所述目标动画，所述目标动画中包括与所述智能设备对应的虚拟对象在所述数字虚拟环境中执行的动作；
控制所述智能设备按照所述目标动画中设定的动作，与所述智能设备对应的虚拟对象同步进行运动。
图3所示装置可以执行前述图1至图2所示实施例中提供的智能设备控制方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
在一个可能的设计中，上述图3所示智能设备控制装置的结构可实现为一服务器，如图4所示，该服务器可以包括：处理器91、存储器92。其中，所述存储器92上存储有可执行代码，当所述可执行代码被所述处理器91执行时，使所述处理器91至少可以实现如前述图1至图2所示实施例中提供的智能设备控制方法。
可选地，该服务器中还可以包括通信接口93，用于与其他设备进行通信。
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被服务器的处理器执行时，使所述处理器至少可以实现如前述图1至图2所示实施例中提供的智能设备控制方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的 单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例提供的智能设备控制方法可以由某种程序/软件来执行，该程序/软件可以由网络侧提供，前述实施例中提及的服务器可以将该程序/软件下载到本地的非易失性存储介质中，并在其需要执行前述智能设备控制方法时，通过CPU将该程序/软件读取到内存中，进而由CPU执行该程序/软件以实现前述实施例中所提供的智能设备控制方法，执行过程可以参见前述图1至图2中的示意。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (20)

  1. 一种智能设备控制方法，其特征在于，应用于服务器，所述方法包括：
    获取数字虚拟环境，所述数字虚拟环境是对智能设备所处的物理环境映射得到的；
    将所述物理环境中的目标真实物体映射为目标虚拟对象；
    若所述数字虚拟环境中不包含所述目标虚拟对象，则基于所述目标虚拟对象的类型，确定需要对所述目标虚拟对象做出的反应信息；
    向所述智能设备输出所述反应信息，以使得所述智能设备基于所述反应信息做出相应的反应动作。
  2. 根据权利要求1所述的方法，其特征在于，若所述数字虚拟环境中不包含所述目标虚拟对象，所述方法还包括：
    将所述目标虚拟对象添加到所述数字虚拟环境中。
  3. 根据权利要求1所述的方法，其特征在于，在获取数字虚拟环境之前，所述方法还包括：
    通过数字孪生技术，将所述智能设备所处的物理环境映射为所述数字虚拟环境；
    所述将所述物理环境中的目标真实物体映射为目标虚拟对象，包括:
    通过所述数字孪生技术，将所述物理环境中的目标真实物体映射为目标虚拟对象。
  4. 根据权利要求1所述的方法，其特征在于，所述若所述数字虚拟环境中不包含所述虚拟对象，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息，包括：
    获取所述数字虚拟环境中包含的各虚拟对象，其中，所述数字虚拟环境中包含的各虚拟对象是在映射所述目标虚拟对象之前对所述物理环境中的各真实物体映射得到的；
    若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配， 则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息。
  5. 根据权利要求4所述的方法，其特征在于，所述若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息，包括：
    获取所述数字虚拟环境中包含的各虚拟对象对应的物理特征；
    识别所述目标虚拟对象对应的物理特征；
    若所述目标虚拟对象对应的物理特征分别和所述数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息。
  6. 根据权利要求5所述的方法，其特征在于，若所述目标虚拟对象对应的所述目标真实物体为人物，则所述目标虚拟对象对应的物理特征包括人脸特征、人物的位姿中的至少一项。
  7. 根据权利要求1所述的方法，其特征在于，所述反应信息包括状态机的目标接口；
    所述基于所述目标虚拟对象的类型，确定需要对所述目标虚拟对象做出的反应信息，包括：
    确定所述目标虚拟对象的类型触发的目标事件；
    根据预设的事件与任务的对应关系，确定所述目标事件对应的目标任务；
    执行所述目标任务，以获取所述状态机的所述目标接口，其中，所述目标接口用于驱动所述智能设备做出反应动作。
  8. 根据权利要求1所述的方法，其特征在于，所述反应信息包括语音信息和动作信息；
    所述向所述智能设备输出所述反应信息，以使得所述智能设备基于所述反应信息做出相应的反应动作，包括：
    向所述智能设备输出所述反应信息，以使得所述智能设备播放所述语音信息，以及基于所述动作信息进行运动。
  9. 根据权利要求8所述的方法，其特征在于，所述动作信息为目标动画；
    所述向所述智能设备输出所述反应信息，以使得所述智能设备基于所述动作信息进行运动，包括：
    调取所述目标动画，所述目标动画中包括与所述智能设备对应的虚拟对象在所述数字虚拟环境中执行的动作；
    控制所述智能设备按照所述目标动画中设定的动作，与所述智能设备对应的虚拟对象同步进行运动。
  10. 一种智能设备控制装置，其特征在于，包括：
    获取模块，用于获取数字虚拟环境，所述数字虚拟环境是对智能设备所处的物理环境映射得到的；
    映射模块，用于将所述物理环境中的目标真实物体映射为目标虚拟对象；
    确定模块，用于若所述数字虚拟环境中不包含所述目标虚拟对象，则基于所述目标虚拟对象的类型，确定需要对所述目标虚拟对象做出的反应信息；
    输出模块，用于向所述智能设备输出所述反应信息，以使得所述智能设备基于所述反应信息做出相应的反应动作。
  11. 根据权利要求10所述的装置，其特征在于，若所述数字虚拟环境中不包含所述目标虚拟对象，所述装置还包括添加模块；
    所述添加模块，用于：
    将所述目标虚拟对象添加到所述数字虚拟环境中。
  12. 根据权利要求10所述的装置，其特征在于，所述映射模块，用于：
    通过数字孪生技术，将所述智能设备所处的物理环境映射为所述数字虚拟环境；
    通过所述数字孪生技术，将所述物理环境中的目标真实物体映射为目标虚拟对象。
  13. 根据权利要求10所述的装置，其特征在于，所述确定模块，用于：
    获取所述数字虚拟环境中包含的各虚拟对象，其中，所述数字虚拟环境中包含的各虚拟对象是在映射所述目标虚拟对象之前对所述物理环境中的各真实物体映射得到的；
    若所述目标虚拟对象与所述数字虚拟环境中包含的各虚拟对象都不匹配，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息。
  14. 根据权利要求13所述的装置，其特征在于，所述确定模块，用于：
    获取所述数字虚拟环境中包含的各虚拟对象对应的物理特征；
    识别所述目标虚拟对象对应的物理特征；
    若所述目标虚拟对象对应的物理特征分别和所述数字虚拟环境中包含的各虚拟对象对应的物理特征都不匹配，则基于所述虚拟对象的类型，确定需要对所述虚拟对象做出的反应信息。
  15. 根据权利要求14所述的装置，其特征在于，如果所述目标虚拟对象对应的所述目标真实物体为人物，则所述目标虚拟对象对应的物理特征包括人脸特征、人物的位姿中的至少一项。
  16. 根据权利要求10所述的装置，其特征在于，所述反应信息包括状态机的目标接口；
    所述确定模块，用于：
    确定所述目标虚拟对象的类型触发的目标事件；
    根据预设的事件与任务的对应关系，确定所述目标事件对应的目标任务；
    执行所述目标任务，以获取所述状态机的所述目标接口，其中，所述目标接口用于驱动所述智能设备做出反应动作。
  17. 根据权利要求10所述的装置，其特征在于，所述反应信息包括语音信息和动作信息；
    所述输出模块，用于：
    向所述智能设备输出所述反应信息，以使得所述智能设备播放所述语音信息，以及基于所述动作信息进行运动。
  18. 根据权利要求17所述的装置，其特征在于，所述动作信息为目标动画；
    所述输出模块，用于：
    调取所述目标动画，所述目标动画中包括与所述智能设备对应的虚拟对象在所述数字虚拟环境中执行的动作；
    控制所述智能设备按照所述目标动画中设定的动作，与所述智能设备对应的虚拟对象同步进行运动。
  19. 一种服务器，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-9中任一项所述的智能设备控制方法。
  20. 一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被服务器的处理器执行时，使所述处理器执行如权利要求1-9中任一项所述的智能设备控制方法。
PCT/CN2022/105815 2021-11-30 2022-07-14 智能设备控制方法、装置、服务器和存储介质 WO2023098090A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111450709.8 2021-11-30
CN202111450709.8A CN114385000A (zh) 2021-11-30 2021-11-30 智能设备控制方法、装置、服务器和存储介质

Publications (1)

Publication Number Publication Date
WO2023098090A1 true WO2023098090A1 (zh) 2023-06-08

Family

ID=81195980

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/105815 WO2023098090A1 (zh) 2021-11-30 2022-07-14 智能设备控制方法、装置、服务器和存储介质

Country Status (2)

Country Link
CN (1) CN114385000A (zh)
WO (1) WO2023098090A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385000A (zh) * 2021-11-30 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质
CN115220356A (zh) * 2022-06-22 2022-10-21 达闼机器人股份有限公司 智能设备控制方法、装置、存储介质及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107223271A (zh) * 2016-12-28 2017-09-29 深圳前海达闼云端智能科技有限公司 一种显示数据处理方法及装置
CN108363492A (zh) * 2018-03-09 2018-08-03 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人
CN111216127A (zh) * 2019-12-31 2020-06-02 深圳优地科技有限公司 一种机器人控制方法、装置、服务器及介质
CN111243101A (zh) * 2019-12-31 2020-06-05 浙江省邮电工程建设有限公司 基于人工智能增加用户ar环境沉浸度方法、系统及装置
CN111857335A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 虚拟对象的驱动方法、装置、显示设备和存储介质
CN114385000A (zh) * 2021-11-30 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107486863B (zh) * 2017-08-18 2020-04-17 南京阿凡达机器人科技有限公司 一种基于感知的机器人主动交互方法
WO2020221445A1 (en) * 2019-04-30 2020-11-05 Siemens Aktiengesellschaft Method and system for finding objects
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107223271A (zh) * 2016-12-28 2017-09-29 深圳前海达闼云端智能科技有限公司 一种显示数据处理方法及装置
CN108363492A (zh) * 2018-03-09 2018-08-03 南京阿凡达机器人科技有限公司 一种人机交互方法及交互机器人
CN111216127A (zh) * 2019-12-31 2020-06-02 深圳优地科技有限公司 一种机器人控制方法、装置、服务器及介质
CN111243101A (zh) * 2019-12-31 2020-06-05 浙江省邮电工程建设有限公司 基于人工智能增加用户ar环境沉浸度方法、系统及装置
CN111857335A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 虚拟对象的驱动方法、装置、显示设备和存储介质
CN114385000A (zh) * 2021-11-30 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质

Also Published As

Publication number Publication date
CN114385000A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
WO2023098090A1 (zh) 智能设备控制方法、装置、服务器和存储介质
CN110930483B (zh) 一种角色控制的方法、模型训练的方法以及相关装置
CN112668687B (zh) 云端机器人系统、云服务器、机器人控制模块和机器人
Bobick et al. The KidsRoom: A perceptually-based interactive and immersive story environment
JP7299414B2 (ja) 画像処理方法、装置、電子機器及びコンピュータプログラム
US20090091563A1 (en) Character animation framework
JP2022553167A (ja) 動画処理方法、動画処理装置、コンピュータプログラム及び電子機器
CN102129293A (zh) 在运动捕捉系统中跟踪用户组
CN111028317B (zh) 虚拟对象的动画生成方法、装置、设备及存储介质
JP2022531057A (ja) インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体
CN102681657A (zh) 交互式内容创建
CN114419205B (zh) 虚拟数字人的驱动方法及位姿获取模型的训练方法
US20070191986A1 (en) Electronic device and method of enabling to animate an object
CN113633983B (zh) 虚拟角色表情控制的方法、装置、电子设备及介质
JPH11508491A (ja) 可動装置（ａｐｐａｒａｔｕｓ）を制御する設備（ｉｎｓｔａｌｌａｔｉｏｎ）および方法
US20230177755A1 (en) Predicting facial expressions using character motion states
US20240331257A1 (en) Animation data generation
CN110969237B (zh) 两性关系视角下的人机虚拟互动构建方法、设备及介质
WO2023103380A1 (zh) 智能设备控制方法、装置、服务器和存储介质
Fu et al. Real-time multimodal human–avatar interaction
CN112843683A (zh) 虚拟角色的控制方法、装置、电子设备及存储介质
WO2019201822A1 (en) Tangible mobile game programming environment for non-specialists
CN115526967A (zh) 虚拟模型的动画生成方法、装置、计算机设备及存储介质
CN114247132B (zh) 虚拟对象的控制处理方法、装置、设备、介质及程序产品
US20240331261A1 (en) Bakeless keyframe animation solver

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22899910

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE