WO2020133405A1 - 一种地面遥控机器人的控制方法和装置 - Google Patents

一种地面遥控机器人的控制方法和装置 Download PDF

Info

Publication number
WO2020133405A1
WO2020133405A1 PCT/CN2018/125576 CN2018125576W WO2020133405A1 WO 2020133405 A1 WO2020133405 A1 WO 2020133405A1 CN 2018125576 W CN2018125576 W CN 2018125576W WO 2020133405 A1 WO2020133405 A1 WO 2020133405A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
remote control
ground remote
preset
Prior art date
Application number
PCT/CN2018/125576
Other languages
English (en)
French (fr)
Inventor
张伟兴
李思晋
匡正
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2018/125576 priority Critical patent/WO2020133405A1/zh
Priority to CN201880038480.7A priority patent/CN110799913A/zh
Publication of WO2020133405A1 publication Critical patent/WO2020133405A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25257—Microcontroller

Definitions

  • the invention relates to the technical field of robot control, in particular to a control method and device of a ground remote control robot.
  • Embodiments of the present invention provide a method and device for controlling a ground remote control robot, so as to improve the flexibility and convenience of the control of the ground remote control robot.
  • a first aspect of an embodiment of the present invention provides a method for controlling a ground-based remote control robot, including:
  • the ground mobile robot is controlled according to limb movements.
  • a control device for a ground remote control robot includes:
  • the memory is used to store program codes
  • the processor calls the program code, and when the program code is executed, it is used to perform the following operations:
  • the ground mobile robot is controlled according to limb movements.
  • the control method and device of the ground remote control robot provided by the embodiments of the present invention, by identifying the user and directly controlling the ground remote control robot to perform corresponding actions according to different limb movements of the authorized user, the ground can be controlled without the help of a control terminal
  • the remote control robot performs the desired action, improving the flexibility and convenience of the control of the ground remote control robot.
  • FIG. 1 is a schematic flowchart of a ground remote control robot control method according to an embodiment of the present invention
  • FIG. 2 is a scene diagram of control of a ground-based remote control robot provided by an embodiment of the present invention
  • FIG. 3 is a schematic diagram of determining a bounding box from a first image provided by an embodiment of the present invention
  • FIG. 4 is a scene diagram of control of a ground remote control robot provided by another embodiment of the present invention.
  • FIG. 5 is a structural diagram of a ground remote control robot control device according to an embodiment of the present invention.
  • FIG. 1 shows a schematic flowchart of a control method of a ground remote control robot according to an embodiment of the present invention.
  • an embodiment of the present invention provides a method for controlling a ground-based remote control robot.
  • the method 100 includes:
  • step S110 the first image output when the shooting device of the ground remote control robot shoots the user is acquired
  • the ground remote control robot may include a control device 210 and a shooting device 220 of the ground remote control robot, wherein the main body of the method is the control device 210.
  • the shooting device 220 can shoot the environment around the ground remote controller to output an image. Further, the shooting device 220 can shoot a user 230 located around the ground remote control robot to output a first image, the first image includes User's image. It can be understood that the first image may be one frame image or multiple frame images, which is not specifically limited herein.
  • step S120 determine whether the user is an authorized user of the ground remote control robot according to the first image
  • the control device may determine whether the user is an authorized user of the ground remote control robot according to the first image, where the authorized user may be authorized The user who controls the ground-based remote control robot.
  • step S130 when it is confirmed that the user is an authorized user of the ground remote control robot, a second image output when the shooting device shoots the user is acquired, and the user's limb movement is recognized according to the second image;
  • the control device may further acquire the second image output when the shooting device shoots the user.
  • the control device may recognize the user's limb movements according to the second image, where the limb movements may include the user's waving, jumping, arms spreading, and so on.
  • the second image may include one frame image or multiple frame images, which is not specifically limited herein.
  • the display device when it is confirmed that the user is not an authorized user of the ground remote control robot, the display device is controlled to display prompt information (such as first prompt information), wherein the prompt information is used to indicate that the user is Identify as an authorized user.
  • the ground remote control robot includes a display device, for example, the display device is an indicator device, and when it is confirmed that the user is recognized as an authorized user of the ground remote control robot, the control device controls the indicator device according to a preset Mode (for example, the first preset mode) to display the prompt information.
  • the display device when it is confirmed that the user is not an authorized user of the ground remote control robot, the display device is controlled to display prompt information (for example, second prompt information), wherein the prompt information is used to indicate that the user is not An authorized user of the ground remote control robot.
  • the ground remote control robot includes a display device, for example, the display device is an indicator device, and when it is confirmed that the user is not an authorized user of the ground remote control robot, the control device controls the indicator device to follow a preset mode (For example, a second preset mode) to run to display the prompt information.
  • step S140 the ground remote control robot is controlled according to the movement of the limb.
  • control device may control the ground remote control robot according to the physical movement. Further, the control device may determine the control instruction corresponding to the physical movement, according to The control instruction controls the ground remote control robot.
  • the control method provided by the embodiment of the present invention obtains the first image of the user and identifies the user according to the first image. If the user is an authorized user, the user can be considered to control the ground remote control robot, if the user is an unauthorized user The ground remote control machine cannot be controlled, and it can be realized that the ground remote control robot only responds to a specific user, such as the owner, to ensure that the correct user's action commands are obtained later, and the safety and accuracy of the control are improved.
  • the ground remote control robot then performs different tasks according to different limb movements, thereby achieving direct interaction between the user and the ground remote control robot, without the need for control
  • the terminal can free the user's hands, and can also control the ground remote control robot when the user is not convenient for the user to operate the control terminal by hand.
  • the ground remote control robot includes a storage device that stores a reference image of an authorized user, and determining whether the user is an authorized user of the ground remote control robot based on the first image includes: An image of the user determined in the first image; matching the image of the user with the reference image to determine whether the user is an authorized user of the ground-based remote control robot.
  • the ground remote control robot includes a storage device, and the storage device stores one or more reference images of authorized users.
  • the reference image of the authorized user may be taken by the shooting device of the ground remote control robot for the authorized user.
  • the reference image of the authorized user may be a control terminal or other terminal equipment to the ground Remote control robot upload.
  • the first image includes the user's image.
  • the control device determines the user's image from the first image, that is, finds out from the first image User's image. Further, the control device matches the user's image with the reference image. When the matching is successful, the user is determined to be an authorized user of the ground remote control robot. When the matching fails, the user is determined not to be the ground remote control robot.
  • Authorized users are possible users.
  • determining the user's image from the first image includes: determining the user's bounding box in the first image according to an object recognition algorithm; and determining the user's image according to the bounding box.
  • the object recognition algorithm can recognize the target part of the human body in the first image 310, such as the entire human body, face, head and shoulders, etc.
  • the control device runs the object recognition algorithm to determine that the user is in the first image ⁇ bounding box 320.
  • the user's bounding box 320 in the first image may include a bounding box 320 of the user's target part in the first image, where the bounding box 320 is the image of the user's target part in the first
  • the user's image may include an image of a target part of the user.
  • control device may input the first image into the trained neural network model, the control device may obtain the bounding box 320 output by the neural network model, and the control device may The image of the user is determined, for example, the image in the bounding box in the first image is determined as the image of the user.
  • the matching the user's image with the reference image to determine whether the user is an authorized user of the ground robot includes: matching the user's image with the reference image to determine the user The matching coefficient between the image of and the reference image; when the matching coefficient satisfies the preset condition, it is determined that the user is an authorized user of the ground remote control robot.
  • the control device may match the user's image with the reference image, and a matching coefficient may be determined through the matching, where the matching coefficient may be a characterization of the degree of similarity between the user's image and the reference image parameter.
  • the matching coefficient meets a preset condition, the user is determined to be an authorized user of the ground remote control robot, and when the matching coefficient does not satisfy the preset condition, it is determined that the user is not an authorized user of the ground remote control robot.
  • the matching coefficient includes the Euclidean distance between the user's image and the reference image.
  • the smaller the Euclidean distance indicates that the user's image is more similar to the person in the reference image, and when it is less than a certain threshold, it indicates that the user's image and the reference image are images of the same person.
  • the Euclidean distance between the user's image and the reference image is greater than or equal to the preset Euclidean geometric distance threshold, it is determined that the user is an authorized user of the ground remote control robot.
  • the Euclidean distance between the user's image and the reference image is The distance is less than the preset European geometric distance threshold, and it is determined that the user is not an authorized user of the ground remote control robot.
  • control device can extract features from the user's image and the reference image through the trained deep learning model to obtain the feature X of the user's image as (x 1 , x 2 ,...x n ) and the feature Y of the reference image Is (y 1 , y 2 ,...y n ), then the Euclidean distance between the user’s image and the reference image
  • the background in the user's image may be deleted to reduce the interference of background noise on identification.
  • the determining of the user's image according to the bounding box includes: recognizing the background image from the target image and deleting the background image, wherein the target image is an image within the bounding box in the first image; The remaining image in the target image after deletion is determined as the user's image.
  • the control device determines the image in the bounding box in the first image as the target image.
  • the control device can recognize the background image from the target image, for example, the control device can recognize the background image from the target image according to the background model, the background model includes the color corresponding to each pixel of the background in the image Model, the control device may match the color of each pixel in the target image with the color model corresponding to each pixel of the background in the image.
  • the background model includes a mixed Gaussian model. When the color of the pixel matches the color model, the pixel is a background pixel.
  • the control device may delete all pixels of the background in the target image, and determine the remaining image in the target image after deletion as the user's image.
  • recognizing a user's limb movement based on the second image includes: inputting the second image into an already trained limb recognition model to obtain a recognition result of the limb movement.
  • first image and the second image may be the same image or different image information; that is, the identity information and the recognition of limb movements may be confirmed through the same frame of image, or It may be that images of different frames are used to confirm identity information and recognize body movements respectively, which is not limited herein.
  • the physical movement includes a gesture movement.
  • the recognizing the user's physical movement based on the second image includes: recognizing the user's gesture based on the second image.
  • identifying the user's gesture based on the second image includes:
  • the recognition result of the gesture action is obtained.
  • the training of the gesture model includes:
  • the gesture features include and are not limited to: contour, edge, image moment, image feature vector and regional histogram features;
  • the extraction method of gesture features includes and is not limited to: image binarization of local adaptive threshold, Gaussian model;
  • the neural network model includes and is not limited to: a convolutional neural network.
  • the traditional gesture recognition recognizes the user's gesture through manual selection of features and other methods, the difference in feature selection will directly affect the final recognition effect; some gesture recognition depends on the depth information obtained by the depth camera. In ordinary RGB cameras Is difficult to apply.
  • the partial image of the moving part obtained by calculating the difference between the front and rear frame images is used, and then the gesture model is used to recognize the gesture action. Because the gesture model is a model trained by using deep neural networks to learn different gestures, on this basis, the differentiated gestures are used to recognize specific gestures, and the accuracy and stability of the gesture recognition results are relatively high. , Can meet the robustness of different lighting environments.
  • controlling the ground-based remote control robot according to limb movements includes:
  • the ground remote control robot is controlled to perform a work task corresponding to the preset control movement.
  • the preset control limb movement is designated by the authorized user.
  • the preset control limb movements can be preset by the authorized user, and the user can set the control limb movements according to his own habits or hobbies; similarly, corresponding to the preset control limb movements, the user can also set the preset control Work tasks corresponding to physical movements.
  • the preset limb movements can be waving, jumping, arms spreading, etc.; the corresponding work tasks can be taking pictures, tracking, recording, etc. It can be seen from this that the method of the embodiment of the present invention provides users with more expansibility and playability by freely defining preset control limb movements and corresponding work tasks.
  • the preset control limb motion includes a preset following limb motion
  • determining whether the limb motion is a preset control limb motion includes: determining the identified user Whether the physical movement of the body is preset to follow the physical movement;
  • the controlling the ground remote control robot to perform a work task corresponding to a preset control action includes: controlling the ground remote control robot to follow the user.
  • controlling the ground remote control robot to follow the user may be controlling the ground remote control robot to track the user so that the user is always in the screen of the shooting device of the ground remote control robot.
  • the authorized user sets the preset following limb motion to jump, and the corresponding task is to follow the user; when the second limb image captured by the ground remote control robot recognizes the user's limb motion
  • control the ground remote control robot to follow the user so that the user is always in the picture taken by the ground remote control robot.
  • step S140 before controlling the ground remote control robot to follow the user, the step S140 may further include:
  • the preset control of limb movement includes preset preparation to follow limb movement,
  • the judging whether the limb movement is a preset control limb movement includes: determining whether the recognized limb movement of the user is a preset preparation to follow the limb movement;
  • the controlling the ground remote control robot to perform a work task corresponding to a preset control action includes: controlling the ground remote control robot to prepare to follow the user.
  • controlling the ground-based remote control robot to prepare to follow the user may be activating the follow-up operation of the ground-based remote control robot, and waiting for confirmation to start following the user.
  • the authorized user sets the preset preparation to follow the movement of the limb as a waving hand (either left hand or right hand), and the corresponding task is to prepare to follow the user; when based on the ground
  • the ground remote control robot is controlled to prepare to follow the user, so that the following function of the ground remote control robot is activated.
  • the preset control limb motion includes preset photographing or video recording limb motion
  • the judging whether the limb motion is the preset control limb motion includes: determining that the identified Whether the user's physical movements are preset photo or video physical movements;
  • the controlling the ground remote control robot to perform a work task corresponding to a preset control action includes: controlling the ground remote control robot to take a picture or video of the user.
  • the photographing includes but is not limited to: countdown photography, continuous photography, beauty mode, sports mode, etc.
  • the user can also set specific parameters of the photographing mode, such as the presence or absence of a countdown, the countdown time, the number of continuous shooting frames, and the frequency of continuous shooting.
  • FIG. 5 shows a schematic block diagram of a control device of a ground remote control robot according to an embodiment of the present invention. As shown in FIG. 5, an embodiment of the present invention provides a ground remote control robot control device.
  • the device 500 includes:
  • Memory 510 and processor 520 are examples of processors 520;
  • the memory is used to store program codes
  • the processor 520 calls the program code, and when the program code is executed, it is used to perform the following operations:
  • the ground mobile robot is controlled according to limb movements.
  • the processor when confirming that the user is not an authorized user of the ground remote control robot, the processor further performs the following operation: controlling the display device to display prompt information.
  • the processor controls the ground mobile robot based on body movements, it specifically performs the following operations:
  • the ground remote control robot is controlled to perform a work task corresponding to the preset control movement.
  • the preset control limb movement includes preset following limb movement
  • the processor determines whether the limb movement is a preset control limb movement based on the, specifically executes the following operations: determining whether the recognized user limb movement is a preset following limb movement;
  • the processor controls the ground remote control robot to perform a work task corresponding to a preset control action, it specifically performs the following operation: controlling the ground remote control robot to follow the user.
  • the preset control limb movement includes preset photographing or recording limb movement
  • the processor determines whether the limb movement is a preset control limb movement, it specifically performs the following operations: determining whether the recognized user limb movement is a preset photographing or recording limb movement;
  • the processor controls the ground remote control robot to perform a work task corresponding to a preset control action, specifically performing the following operations: controlling the ground remote control robot to take a picture or video of the user.
  • the processor when the processor calls the program code, it specifically performs the following operation: the authorized user specifies the preset control limb motion.
  • the ground remote control robot includes a storage device that stores a reference image of an authorized user, and the processor specifically performs the following operations when determining whether the user is an authorized user of the ground remote control robot according to the first image :
  • the user's image is matched with the reference image to determine whether the user is an authorized user of the ground remote control robot.
  • the processor matches the user's image with the reference image to determine whether the user is an authorized user of the ground robot.
  • the specific operations are as follows:
  • the matching coefficient satisfies a preset condition, it is determined that the user is an authorized user of the ground remote control robot.
  • the processor when determining the user's image from the first image, the processor specifically performs the following operations:
  • the user's image is determined according to the bounding box.
  • the processor determines the user's image according to the bounding box, it specifically performs the following operations:
  • the target image is an image within the bounding box in the first image
  • the remaining image in the target image after deletion is determined as the user's image.
  • a storage medium is also provided, on which a program instruction is stored, and when the program instruction is executed by a computer or a processor, it is used to execute the ground remote control robot of the embodiment of the present invention And corresponding steps in the control method of the ground remote control robot according to the embodiments of the present invention.
  • the storage medium may include, for example, a memory card of a smart phone, a storage component of a tablet computer, a hard disk of a personal computer, a read only memory (ROM), an erasable programmable read only memory (EPROM), a portable compact disk read only memory (CD-ROM), USB memory, or any combination of the above storage media.
  • the computer-readable storage medium may be any combination of one or more computer-readable storage media, for example, one computer-readable storage medium contains computer-readable program code for randomly generating a sequence of action instructions, another computer may The read storage medium contains computer-readable program code for controlling the ground-based remote control robot.
  • the computer program instructions when executed by a computer, can implement various functional modules of the control device of the ground remote control robot according to the embodiment of the present invention, and/or can execute the functions of the ground remote control robot according to the embodiment of the present invention. Control Method.
  • Each module in the control device of the ground remote control robot according to the embodiment of the present invention may be implemented by computer program instructions stored in the memory of the processor of the electronic device controlled by the ground remote control robot according to the embodiment of the present invention, or may be implemented in The computer instructions stored in the computer-readable storage medium of the computer program product according to the embodiments of the present invention are implemented when the computer runs.
  • the ground remote control robot by identifying the user, and directly controlling the ground remote control robot to perform corresponding actions according to different limb movements of the authorized user, The ground remote control robot can be controlled to perform desired actions, which improves the user experience.

Abstract

一种地面遥控机器人的控制方法和装置，所述方法包括：获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像（S110）；根据所述第一图像判断所述用户是否为所述地面遥控机器人的授权用户（S120）；当确认所述用户为所述地面遥控机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作（S130）；根据肢体动作控制所述地面遥控机器人（S140）。根据上述提供的方法和装置，通过对用户进行身份识别，并根据授权用户不同的肢体动作直接控制地面遥控机器人执行相应的动作，实现了不借助控制终端就可以控制地面遥控机器人执行期望的动作的效果，提高了用户的体验。

Description

一种地面遥控机器人的控制方法和装置 技术领域
本发明涉及机器人控制技术领域，尤其涉及地面遥控机器人的控制方法和装置。
背景技术
目前，用户可以通过控制终端对地面遥控机器人进行控制。然而，这种控制方式不够人性化。例如，用户希望地面遥控机器人对自己进行拍照时，用户必须通过控制终端启动地面遥控机器人的拍照功能，然后，手持控制终端会导致用户不能摆出理想的拍照姿势。
发明内容
本发明实施例提供一种地面遥控机器人的控制方法和装置，以提高地面遥控机器人控制的灵活性和便利性。
本发明实施例的第一方面，提供了一种地面遥控机器人的控制方法，包括：
获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像；
根据所述第一图像确定所述用户是否为所述地面机器人的授权用户；
当所述用户为所述地面机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作；
根据肢体动作控制所述地面移动机器人。
本发明实施例的第二方面，提供一种地面遥控机器人的控制装置，包括：
存储器和处理器；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像；
根据所述第一图像确定所述用户是否为所述地面机器人的授权用户；
当所述用户为所述地面机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作；
根据肢体动作控制所述地面移动机器人。
本发明实施例提供的地面遥控机器人的控制方法和装置，通过对用户进行身份识别，并根据授权用户不同的肢体动作直接控制地面遥控机器人执行相应的动作，实现了不借助控制终端就可以控制地面遥控机器人执行期望的动作，提高地面遥控机器人控制的灵活性和便利性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种地面遥控机器人的控制方法的示意性流程图；
图2是本发明实施例提供的地面遥控机器人的控制的场景图；
图3是本发明实施例提供的从第一图像中确定边界框的示意图；
图4是本发明另一实施例提供的地面遥控机器人的控制的场景图；
图5是本发明实施例提供的一种地面遥控机器人的控制装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
参见图1，图1示出了根据本发明实施例的一种地面遥控机器人的控制方法的示意性流程图。如图1所示，本发明实施例提供一种地面遥控机器人的控制方法，所述方法100包括:
在步骤S110，获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像；
具体地，参见图2，地面遥控机器人可以包括地面遥控机器人的控制装210和拍摄装置220，其中，所述方法的执行主体为所述控制装置210。所述拍摄装置220可以对地面遥控器周围的环境进行拍摄以输出图像，进一步地，所述拍摄装置220可以对位于地面遥控机器人周围的用户230进行拍摄以输出第一图像，第一图像中包括用户的图像。其中，可以理解的是，所述第一图像可以为一帧图像，也可以为多帧图像，在此不做具体的限定。
在步骤S120，根据所述第一图像判断所述用户是否为所述地面遥控机器人的授权用户；
具体地，所述控制装置在获取到所述第一图像之后，所述控制装置可以根据第一图像来判断用户是否为所述地面遥控机器人的授权用户，其中，所述授权用户可以为有权限控制地面遥控机器人的用户。
在步骤S130，当确认所述用户为所述地面遥控机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作；
具体地，当确认所述用户为所述地面遥控机器人的授权用户时，所述控制装置可以进一步地获取所述拍摄装置对用户进行拍摄时输出的第二图像。所述控制装置可以根据所述第二图像来识别用户的肢体动作，其中，所述肢体动作可以包括用户的挥手、跳跃、双臂展开等等。
可以理解的是，第二图像可以包括一帧图像，也可以包括多帧图像，在此不做具体的限定。
在某些实施例中，当确认所述用户不是所述地面遥控机器人的授权用户时，控制显示装置显示提示信息(例如第一提示信息)，其中，所述提示信息用于指示所述用户被识别为授权用户。进一步地，所述地面遥控机器人包括显示装置，例如，所述显示装置为指示灯装置，当确认所述用户识别为地面遥控机器人的授权用户时，所述控制装置控制指示灯装置按照预设的模式(例如第一预设的模式)来运行以显示所述提示信息。
在某些实施例中，当确认所述用户不是所述地面遥控机器人的授权用户时，控制显示装置显示提示信息(例如第二提示信息)，其中，所述提示信息用于指示所述用户不是所述地面遥控机器人的授权用户。进一步地，所述地面遥控机器人包括显示装置，例如，所述显示装置为指示灯装置，当确认所述用 户不是地面遥控机器人的授权用户时，所述控制装置控制指示灯装置按照预设的模式(例如第二预设的模式)来运行以显示所述提示信息。
在步骤S140，根据肢体动作控制所述地面遥控机器人。
其中，在识别到所述用户的肢体动作之后，所述控制装置可以根据所述肢体动作对地面遥控机器人进行控制，进一步地，所述控制装置可以确定与所述肢体动作对应的控制指令，根据所述控制指令对地面遥控机器人进行控制。
本发明实施例提供的控制方法，通过获取用户的第一图像，根据第一图像对用户进行身份识别，如果用户为授权用户，则认为用户可以控制所述地面遥控机器人，如果用户为非授权用户则不能控制所述地面遥控机器，可以实现地面遥控机器人只对特定的用户例如机主响应，保证后期获取正确用户的动作指令，提升的控制的安全性和准确性。在此基础上，根据授权用户的图像识别授权用户的肢体动作，地面遥控机器人进而根据不同的肢体动作来执行不同的任务，从而实现了用户与地面遥控机器人之间的直接交互，不需要借助控制终端，这样可以解放用户的双手，可以在用户不方便用户用手操作控制终端时，同样实现对地面遥控机器人的控制。
在某些实施例中，所述地面遥控机器人包括存储授权用户的参考图像的存储装置，所述根据所述第一图像确定所述用户是否为所述地面遥控机器人的授权用户，包括：从所述第一图像中确定用户的图像；将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面遥控机器人的授权用户。
具体地，地面遥控器机器人中包括存储装置，所述存储装置中存储有一个或者多个授权用户的参考图像。其中，所述授权用户的参考图像可以是地面遥控机器人的拍摄装置对授权用户拍摄获取的，在某些实施例中，所述授权用户的参考图像可以是控制终端或者其他终端设备向所述地面遥控机器人上传的。如前所述，所述第一图像中包括用户的图像，为了准确定地确定用户是否为授权用户，所述控制装置从第一图像中确定用户的图像，即从第一图像中从找出用户的图像。进一步地，所述控制装置将用户的图像与所述参考图像进行匹配，当匹配成功时，确定所述用户为地面遥控机器人的授权用户，当匹配失败时，确定所述用户不是地面遥控机器人的授权用户。
可选地，从所述第一图像中确定用户的图像，包括：根据对象识别算法确定用户在所述第一图像中的边界框；根据所述边界框确定用户的图像。
具体地，参见图3，所述对象识别算法可以识别第一图像310中人体的目标部位，例如整个人体、人脸、头肩部等等，控制装置运行对象识别算法确定用户在第一图像中的边界框320。可选地，所述用户在第一图像中的边界框320可以包括用户的目标部位在第一图像中的边界框320，其中，所述边界框320为用户的目标部位的图像在所述第一图像中所占的区域，所述用户的图像可以包括用户的目标部位的图像。在某些实施例中，控制装置可以将所述第一图像输入到已经训练好的神经网络模型中，所述控制装置可以获取所述神经网络模型输出的边界框320，控制装置可以根据边界框确定用户的图像，例如将所述第一图像中边界框内的图像确定为用户的图像。
可选地，所述将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面机器人的授权用户，包括：将用户的图像与所述参考图像进行匹配以确定所述用户的图像与所述参考图像之间的匹配系数；当所述匹配系数满足预设条件时，确定所述用户为所述地面遥控机器人的授权用户。
具体地，所述控制装置可以将用户的图像与所述参考图像进行匹配，通过所述匹配可以确定匹配系数，其中，所述匹配系数可以是表征用户的图像与参考图像之间的相似程度的参数。当所述匹配系数满足预设条件时，确定所述用户为所述地面遥控机器人的授权用户，当所述匹配系数不满足预设条件时，确定所述用户不是地面遥控机器人的授权用户。
可选地，所述匹配系数包括用户的图像和参考图像之间的欧氏距离。其中，所述欧氏距离越小则表明所述用户的图像与参考图像中的人的相似程度越高，当小于某一阈值时则表示用户的图像与参考图像是同一个人的图像。当用户的图像和参考图像之间的欧氏距离大于或等于预设的欧式几何距离阈值，确定所述用户是所述地面遥控机器人的授权用户，当用户的图像和参考图像之间的欧氏距离小于预设的欧式几何距离阈值，确定所述用户不是所述地面遥控机器人的授权用户。
具体地，控制装置可以通过训练好的深度学习模型对用户的图像和参考图像抽取特征，得到用户的图像的特征X为(x 1，x 2，...x n)和参考图像的特征Y为(y 1，y 2，...y n)，则用户的图像和参考图像之间的欧氏距离
Figure PCTCN2018125576-appb-000001
在某些实施例中，为了提高对用户身份识别的准确度，可以将用户的图像中的背景删除以减少背景噪声对身份识别的干扰。所述根据所述边界框确定用 户的图像，包括：从目标图像中识别背景的图像，删除所述背景的图像，其中，所述目标图像为所述第一图像中的边界框内的图像；将删除后目标图像中的剩余图像确定为用户的图像。
具体地，控制装置将第一图像中的边界框内的图像确定为目标图像，目标图像内可能存在背景的图像，背景的图像可能会降低用户的图像与参考图像之间的匹配准确性。控制装置可以从目标图像中识别出背景的图像，例如，控制装置可以根据背景模型从所述目标图像中识别出背景的图像，所述背景模型中包括背景在图像中的每一个像素对应的颜色模型，所述控制装置可以将目标图像中的每一个像素的颜色与背景在图像中的每一个像素对应的颜色模型进行匹配。可选地，所述背景模型包括混合高斯模型。当所述像素的颜色匹配所述颜色模型时，所述像素为背景的像素。控制装置可以将所述目标图像中所有背景的像素删除，将删除后目标图像中的剩余图像确定为用户的图像。
在某些实施例中，根据所述第二图像识别用户的肢体动作包括：将所述第二图像输入已经训练好的肢体识别模型，得到肢体动作的识别结果。
需要说明的是，所述第一图像和第二图像可以是相同的图像，也可以是不同的图像信息；也就是说，可以是通过同一帧图像进行身份信息的确认以及肢体动作的识别，也可以是不同帧的图像分别进行身份信息的确认以及肢体动作的识别，在此不做限制。
可选地，所述肢体动作包括手势动作。
可选地，所述根据所述第二图像识别用户的肢体动作包括：根据所述第二图像识别用户的手势动作。
在一些实施例中，根据所述第二图像识别用户的手势动作包括：
计算所述第二图像和所述第二图像的前或后一帧图像的差分，检测得到运动部分的局部图像；
根据所述局部图像和已经训练好的手势模型，得到所述手势动作的识别结果。
在一些实施例中，所述手势模型的训练包括:
对手势训练样本中的手势图像提取手势特征；
基于所述手掌特征对神经网络模型进行训练，得到训练好的手势模型。
其中，所述手势特征包括且不限于：轮廓、边缘、图像矩、图像特征向量 以及区域直方图特征；手势特征的提取方法包括且不限于：局部自适应阈值的图像二值化、高斯模型；所述神经网络模型括且不限于：卷积神经网络。
由于传统的手势识别通过人工选择特征等方法识别用户的手势，而特征选择的差异性会直接影响最终的识别效果；还有一些手势识别是依赖于深度摄像头所获得的深度信息，在普通RGB摄像头上难以应用。本发明实施例中采用计算前后帧图像的差分得的运动部分的局部图像，进而用过手势模型对手势动作进行识别。因为手势模型是利用深度神经网络对不同的手势进行学习后训练出的模型，在此基础上对差分后的手势进行对特定的手势进行识别，得到的手势识别结果准确率和稳定性都比较高，可以满足不同光照环境的鲁棒性。
根据本发明实施例，在步骤S140中，根据肢体动作控制所述地面遥控机器人，包括：
判断所述肢体动作是否为预设的控制肢体动作；
当确定所述肢体动作是预设的控制肢体动作时，控制所述地面遥控机器人执行与预设的控制动作对应的工作任务。
可选地，其特征在于，所述预设的控制肢体动作由所述授权用户指定。
其中，预设的控制肢体动作可以由授权用户预先设置的，用户可以根据自己的习惯或爱好设置控制肢体动作；同样地，与预设的控制肢体动作相对应，用户还可以设置预设的控制肢体动作所对应的工作任务。例如，预设肢体动作可以是挥手、跳跃、双臂展开等；对应的工作任务可以是拍照、跟踪、录像等等。由此可知，本发明实施例的方法通过用户自由定义预设的控制肢体动作和对应的工作任务，为用户提供了更多的拓展性和可玩性。
可选地，在步骤S140中，所述预设的控制肢体动作包括预设的跟随肢体动作，所述判断所述肢体动作是否为预设的控制肢体动作，包括：确定所述识别到的用户的肢体动作是否为预设的跟随肢体动作；
所述控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，包括：控制所述地面遥控机器人对所述用户进行跟随。
其中，控制地面遥控机器人对所述用户进行跟随可以是控制所述地面遥控机器人对所述用户跟踪，使所述用户一直处于所述地面遥控机器人的拍摄装置的画面之中。
在一个实施例中，授权用户将预设的跟随肢体动作设置为跳跃，与其相对 应的任务是对所述用户进行跟随；当根据地面遥控机器人拍摄的所述第二图像识别到用户的肢体动作时跳跃时，控制所述地面遥控机器人对所述用户进行跟随，使用户一直位于所述地面遥控机器人拍摄的画面中。
可选地，在步骤S140中，在控制所述地面遥控机器人对所述用户进行跟随之前，所述步骤S140还可以包括：
所述预设的控制肢体动作包括预设的准备跟随肢体动作，
所述判断所述肢体动作是否为预设的控制肢体动作，包括：确定所述识别到的用户的肢体动作是否为预设的准备跟随肢体动作；
所述控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，包括：控制所述地面遥控机器人准备对所述用户进行跟随。
其中，控制地面遥控机器人准备对所述用户进行跟随可以是激活地面遥控机器人的跟随操作，等待确认后开始执行跟随所述用户。
在一个实施例中，如图4所示，授权用户将预设的准备跟随肢体动作设置为挥手(左手或右手均可)，与其相对应的任务是准备对所述用户进行跟随；当根据地面遥控机器人拍摄的所述第二图像识别到用户的肢体动作时挥手时，控制所述地面遥控机器人准备对所述用户进行跟随，使所述地面遥控机器人的跟随功能处于激活状态。
可选地，在步骤S140中，所述预设的控制肢体动作包括预设的拍照或者录像肢体动作，所述判断所述肢体动作是否为预设的控制肢体动作，包括：确定所述识别到的用户的肢体动作是否为预设的拍照或者录像肢体动作；
所述控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，包括：控制所述地面遥控机器人对所述用户进行拍照或者录像。
其中，所述拍照包括但不限于：倒计时拍照、连续拍照、美颜模式、运动模式等。
在一些实施例中，用户也可以对拍照模式的具体参数进行设置，例如有无倒计时、倒计时的时间、连拍帧数、连拍频率等。
参见图5，图5示出了根据本发明实施例的一种地面遥控机器人的控制装置的示意性框图。如图5所示，本发明实施例提供一种地面遥控机器人的控制装置，所述装置500包括:
存储器510和处理器520；
所述存储器用于存储程序代码；
所述处理器520，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像；
根据所述第一图像确定所述用户是否为所述地面机器人的授权用户；
当所述用户为所述地面机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作；
根据肢体动作控制所述地面移动机器人。
可选地，所述处理器在确认所述用户不是所述地面遥控机器人的授权用户时，还执行如下操作：控制显示装置显示提示信息。
可选地，所述处理器基于根据肢体动作控制所述地面移动机器人时，具体执行如下操作：
判断所述肢体动作是否为预设的控制肢体动作；
当确定所述肢体动作是预设的控制肢体动作时，控制所述地面遥控机器人执行与预设的控制动作对应的工作任务。
可选地，所述预设的控制肢体动作包括预设的跟随肢体动作，
所述处理器基于所述判断所述肢体动作是否为预设的控制肢体动作时，具体执行如下操作：确定所述识别到的用户的肢体动作是否为预设的跟随肢体动作；
所述处理器控制所述地面遥控机器人执行与预设的控制动作对应的工作任务时，具体执行如下操作：控制所述地面遥控机器人对所述用户进行跟随。
可选地，所述预设的控制肢体动作包括预设的拍照或者录像肢体动作，
所述处理器判断所述肢体动作是否为预设的控制肢体动作时，具体执行如下操作：确定所述识别到的用户的肢体动作是否为预设的拍照或者录像肢体动作；
所述处理器控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，具体执行如下操作：控制所述地面遥控机器人对所述用户进行拍照或者录像。
可选地，所述处理器调用所述程序代码时，具体执行如下操作：由所述授 权用户指定所述预设的控制肢体动作。
可选地，所述地面遥控机器人包括存储授权用户的参考图像的存储装置，所述处理器根据所述第一图像确定所述用户是否为所述地面遥控机器人的授权用户时，具体执行如下操作：
从所述第一图像中确定用户的图像；
将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面遥控机器人的授权用户。
可选地，所述处理器将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面机器人的授权用户时，具体执行如下操作：
将用户的图像与所述参考图像进行匹配以确定所述用户的图像与所述参考图像之间的匹配系数；
当所述匹配系数满足预设条件时，确定所述用户为所述地面遥控机器人的授权用户。
可选地，所述处理器从所述第一图像中确定用户的图像时，具体执行如下操作：
根据对象识别算法确定用户在所述第一图像中的边界框；
根据所述边界框确定用户的图像。
可选地，所述处理器根据所述边界框确定用户的图像时，具体执行如下操作：
从目标图像中识别背景的图像，删除所述背景的图像，其中，所述目标图像为所述第一图像中的边界框内的图像；
将删除后目标图像中的剩余图像确定为用户的图像。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的地面遥控机器人的控制方法的相应步骤，并且用于实现根据本发明实施例的地面遥控机器人的控制装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用 于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行地面遥控机器人的控制的计算机可读的程序代码。
在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的地面遥控机器人的控制装置的各个功能模块，并且/或者可以执行根据本发明实施例的地面遥控机器人的控制方法。
根据本发明实施例的地面遥控机器人的控制装置中的各模块可以通过根据本发明实施例的地面遥控机器人的控制的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的地面遥控机器人的控制方法、装置以及存储介质，通过对用户进行身份识别，并根据授权用户不同的肢体动作直接控制地面遥控机器人执行相应的动作，实现了不借助控制终端就可以控制地面遥控机器人执行期望的动作，提高了用户的体验。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中， 所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种地面遥控机器人的控制方法，其特征在于，所述方法包括:
    获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像；
    根据所述第一图像判断所述用户是否为所述地面遥控机器人的授权用户；
    当确认所述用户为所述地面遥控机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作；
    根据肢体动作控制所述地面遥控机器人。
  2. 根据权利要求1所述的方法，其特征在于，所述方法还包括：当确认所述用户不是所述地面遥控机器人的授权用户时，控制显示装置显示提示信息，其中，所述提示信息用于指示所述用户不是所述地面遥控机器人的授权用户。
  3. 根据权利要求1或2所述的方法，其特征在于，根据肢体动作控制所述地面遥控机器人，包括：
    判断所述肢体动作是否为预设的控制肢体动作；
    当确定所述肢体动作是预设的控制肢体动作时，控制所述地面遥控机器人执行与预设的控制动作对应的工作任务。
  4. 根据权利要求3所述的方法，其特征在于，所述预设的控制肢体动作包括预设的跟随肢体动作，
    所述判断所述肢体动作是否为预设的控制肢体动作，包括：
    确定所述识别到的用户的肢体动作是否为预设的跟随肢体动作；
    所述控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，包括：控制所述地面遥控机器人对所述用户进行跟随。
  5. 根据权利要求3所述的方法，其特征在于，所述预设的控制肢体动作包括预设的拍照或者录像肢体动作，
    所述判断所述肢体动作是否为预设的控制肢体动作，包括：确定所述识别 到的用户的肢体动作是否为预设的拍照或者录像肢体动作；
    所述控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，包括：控制所述地面遥控机器人对所述用户进行拍照或者录像。
  6. 根据权利要求3-5任一项所述的方法，其特征在于，所述预设的控制肢体动作由所述授权用户指定。
  7. 根据权利要求1-6任一项所述的方法，其特征在于，所述地面遥控机器人包括存储授权用户的参考图像的存储装置，所述根据所述第一图像确定所述用户是否为所述地面遥控机器人的授权用户，包括：
    从所述第一图像中确定用户的图像；
    将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面遥控机器人的授权用户。
  8. 根据权利要求7所述的方法，其特征在于，所述将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面机器人的授权用户，包括：
    将用户的图像与所述参考图像进行匹配以确定所述用户的图像与所述参考图像之间的匹配系数；
    当所述匹配系数满足预设条件时，确定所述用户为所述地面遥控机器人的授权用户。
  9. 根据权利要求7或8所述的方法，其特征在于，所述从所述第一图像中确定用户的图像，包括：
    根据对象识别算法确定用户在所述第一图像中的边界框；
    根据所述边界框确定用户的图像。
  10. 根据权利要求9所述的方法，其特者在于，所述根据所述边界框确定用户的图像，包括：
    从目标图像中识别背景的图像，删除所述背景的图像，其中，所述目标图像为所述第一图像中的边界框内的图像；
    将删除后目标图像中的剩余图像确定为用户的图像。
  11. 一种地面遥控机器人的控制装置，其特征在于，所述装置包括:存储器和处理器；
    所述存储器用于存储程序代码；
    所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
    获取地面遥控机器人的拍摄装置对用户进行拍摄时输出的第一图像；
    根据所述第一图像确定所述用户是否为所述地面机器人的授权用户；
    当所述用户为所述地面机器人的授权用户时，获取所述拍摄装置对用户进行拍摄时输出的第二图像，并根据所述第二图像识别用户的肢体动作；
    根据肢体动作控制所述地面移动机器人。
  12. 根据权利要求11所述的控制装置，其特征在于，所述处理器在确认所述用户不是所述地面遥控机器人的授权用户时，还执行如下操作：
    控制显示装置显示提示信息，其中，所述提示信息用于指示所述用户不是所述地面遥控机器人的授权用户。
  13. 根据权利要求11或12所述的装置，其特征在于，所述处理器根据肢体动作控制所述地面移动机器人时，具体执行如下操作：
    判断所述肢体动作是否为预设的控制肢体动作；
    当确定所述肢体动作是预设的控制肢体动作时，控制所述地面遥控机器人执行与预设的控制动作对应的工作任务。
  14. 根据权利要求13所述的装置，其特征在于，所述预设的控制肢体动作包括预设的跟随肢体动作，
    所述处理器所述判断所述肢体动作是否为预设的控制肢体动作时，具体执行如下操作：
    确定所述识别到的用户的肢体动作是否为预设的跟随肢体动作；
    所述处理器基于所述控制所述地面遥控机器人执行与预设的控制动作对 应的工作任务时，具体执行如下操作：
    控制所述地面遥控机器人对所述用户进行跟随。
  15. 根据权利要求13所述的装置，其特征在于，所述预设的控制肢体动作包括预设的拍照或者录像肢体动作，
    所述处理器判断所述肢体动作是否为预设的控制肢体动作时，具体执行如下操作：
    确定所述识别到的用户的肢体动作是否为预设的拍照或者录像肢体动作；
    所述处理器控制所述地面遥控机器人执行与预设的控制动作对应的工作任务，具体执行如下操作：
    控制所述地面遥控机器人对所述用户进行拍照或者录像。
  16. 根据权利要求13-15任一项所述的装置，其特征在于，所述预设的控制肢体动作由所述授权用户指定。
  17. 根据权利要求11-16任一项所述的装置，其特征在于，所述地面遥控机器人包括存储授权用户的参考图像的存储装置，所述处理器根据所述第一图像确定所述用户是否为所述地面遥控机器人的授权用户时，具体执行如下操作：
    从所述第一图像中确定用户的图像；
    将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面遥控机器人的授权用户。
  18. 根据权利要求17所述的装置，其特征在于，所述处理器将用户的图像与所述参考图像进行匹配以确定所述用户是否为所述地面机器人的授权用户时，具体执行如下操作：
    将用户的图像与所述参考图像进行匹配以确定所述用户的图像与所述参考图像之间的匹配系数；
    当所述匹配系数满足预设条件时，确定所述用户为所述地面遥控机器人的授权用户。
  19. 根据权利要求17或18所述的装置，其特征在于，所述处理器从所述第一图像中确定用户的图像时，具体执行如下操作：
    根据对象识别算法确定用户在所述第一图像中的边界框；
    根据所述边界框确定用户的图像。
  20. 根据权利要求19所述的装置，其特者在于，所述处理器根据所述边界框确定用户的图像时，具体执行如下操作：
    从目标图像中识别背景的图像，删除所述背景的图像，其中，所述目标图像为所述第一图像中的边界框内的图像；
    将删除后目标图像中的剩余图像确定为用户的图像。
PCT/CN2018/125576 2018-12-29 2018-12-29 一种地面遥控机器人的控制方法和装置 WO2020133405A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2018/125576 WO2020133405A1 (zh) 2018-12-29 2018-12-29 一种地面遥控机器人的控制方法和装置
CN201880038480.7A CN110799913A (zh) 2018-12-29 2018-12-29 一种地面遥控机器人的控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/125576 WO2020133405A1 (zh) 2018-12-29 2018-12-29 一种地面遥控机器人的控制方法和装置

Publications (1)

Publication Number Publication Date
WO2020133405A1 true WO2020133405A1 (zh) 2020-07-02

Family

ID=69426069

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/125576 WO2020133405A1 (zh) 2018-12-29 2018-12-29 一种地面遥控机器人的控制方法和装置

Country Status (2)

Country Link
CN (1) CN110799913A (zh)
WO (1) WO2020133405A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4093460A4 (en) * 2020-01-21 2023-09-27 Medtrum Technologies Inc. MEDICAL DEVICE WITH SAFETY VERIFICATION AND METHOD FOR SAFETY VERIFICATION THEREOF

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105093986A (zh) * 2015-07-23 2015-11-25 百度在线网络技术（北京）有限公司 基于人工智能的拟人机器人控制方法、系统及拟人机器人
CN105437236A (zh) * 2014-08-30 2016-03-30 赵德朝 一种仿人工程机器人
CN105957521A (zh) * 2016-02-29 2016-09-21 青岛克路德机器人有限公司 一种用于机器人的语音和图像复合交互执行方法及系统
CN106584480A (zh) * 2016-12-31 2017-04-26 天津菲戈博特智能科技有限公司 机器人及其面部识别方法和语音控制方法
CN107357428A (zh) * 2017-07-07 2017-11-17 京东方科技集团股份有限公司 基于手势识别的人机交互方法及装置、系统
WO2017215297A1 (zh) * 2016-06-15 2017-12-21 深圳光启合众科技有限公司 云端互动系统及其多感知型智能机器人和感知互动方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103696A (zh) * 2009-12-21 2011-06-22 鸿富锦精密工业（深圳）有限公司 人脸辨识系统、方法及具有该系统的身份识别装置
JP2011211628A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
KR101159475B1 (ko) * 2010-12-10 2012-06-25 숭실대학교산학협력단 근전도 센서와 가속도 센서를 이용한 로봇 이동 제어 장치 및 방법
CN102697503B (zh) * 2012-02-29 2015-03-18 北京无线电计量测试研究所 一种基于毫米波成像的人体检测方法
CN108568820A (zh) * 2018-04-27 2018-09-25 深圳市商汤科技有限公司 机器人控制方法及装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105437236A (zh) * 2014-08-30 2016-03-30 赵德朝 一种仿人工程机器人
CN105093986A (zh) * 2015-07-23 2015-11-25 百度在线网络技术（北京）有限公司 基于人工智能的拟人机器人控制方法、系统及拟人机器人
CN105957521A (zh) * 2016-02-29 2016-09-21 青岛克路德机器人有限公司 一种用于机器人的语音和图像复合交互执行方法及系统
WO2017215297A1 (zh) * 2016-06-15 2017-12-21 深圳光启合众科技有限公司 云端互动系统及其多感知型智能机器人和感知互动方法
CN106584480A (zh) * 2016-12-31 2017-04-26 天津菲戈博特智能科技有限公司 机器人及其面部识别方法和语音控制方法
CN107357428A (zh) * 2017-07-07 2017-11-17 京东方科技集团股份有限公司 基于手势识别的人机交互方法及装置、系统

Also Published As

Publication number Publication date
CN110799913A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
US10339402B2 (en) Method and apparatus for liveness detection
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
WO2019137131A1 (zh) 图像处理方法、装置、存储介质及电子设备
JP6011165B2 (ja) ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US20180211096A1 (en) Living-body detection method and device and computer program product
WO2016172872A1 (zh) 用于验证活体人脸的方法、设备和计算机程序产品
WO2019127395A1 (zh) 一种无人机拍照方法、图像处理方法和装置
WO2016197298A1 (zh) 活体检测方法、活体检测系统以及计算机程序产品
KR20190129826A (ko) 생체 검측 방법 및 장치, 시스템, 전자 기기, 저장 매체
WO2017000218A1 (zh) 活体检测方法及设备、计算机程序产品
US11006864B2 (en) Face detection device, face detection system, and face detection method
CN106462242A (zh) 使用视线跟踪的用户界面控制
US10423824B2 (en) Body information analysis apparatus and method of analyzing hand skin using same
CN108875468B (zh) 活体检测方法、活体检测系统以及存储介质
US10650234B2 (en) Eyeball movement capturing method and device, and storage medium
CN106155315A (zh) 一种拍摄中增强现实效果的添加方法、装置及移动终端
CN110612530A (zh) 用于选择脸部处理中使用的帧的方法
WO2016165614A1 (zh) 一种即时视频中的表情识别方法和电子设备
US20240045937A1 (en) Information processing apparatus, information processing method, and storage medium
WO2020172870A1 (zh) 一种目标对象的移动轨迹确定方法和装置
KR101656212B1 (ko) 손동작 인식을 이용한 접근 제어 시스템, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
WO2017000217A1 (zh) 活体检测方法及设备、计算机程序产品
JP4659722B2 (ja) 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム
WO2020133405A1 (zh) 一种地面遥控机器人的控制方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18944825

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18944825

Country of ref document: EP

Kind code of ref document: A1