WO2018086461A1 - 一种基于单目手势识别的视觉跟随方法及机器人 - Google Patents

一种基于单目手势识别的视觉跟随方法及机器人 Download PDF

Info

Publication number
WO2018086461A1
WO2018086461A1 PCT/CN2017/107905 CN2017107905W WO2018086461A1 WO 2018086461 A1 WO2018086461 A1 WO 2018086461A1 CN 2017107905 W CN2017107905 W CN 2017107905W WO 2018086461 A1 WO2018086461 A1 WO 2018086461A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
tracking
picture
scene picture
scene
Prior art date
Application number
PCT/CN2017/107905
Other languages
English (en)
French (fr)
Inventor
张雷
Original Assignee
南京阿凡达机器人科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京阿凡达机器人科技有限公司 filed Critical 南京阿凡达机器人科技有限公司
Priority to US15/843,647 priority Critical patent/US10489638B2/en
Publication of WO2018086461A1 publication Critical patent/WO2018086461A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control

Definitions

  • the invention relates to the field of robot monitoring technology, in particular to a visual following method and a robot based on monocular gesture recognition.
  • the human body tracking system based on monocular cameras mostly uses a color block following method.
  • the monocular camera is designated as a preview area, and is continuously followed in subsequent target movements. Goal walking.
  • this method has the following drawbacks:
  • the color block following method performs tracking according to the specified initial color block, and the target is very easy to lose due to the defect of the color block following method
  • the problem to be solved by the present invention is to provide a visual following method based on monocular gesture recognition and a robot, which can accurately obtain the spatial deviation ratio of the robot and the initial position in real time by recognizing a feature gesture, thereby achieving accurate tracking and being simple and easy to implement. , the cost is lower.
  • the visual follow-up method based on monocular gesture recognition of the present invention comprises the following steps:
  • the gesture in the tracking scene picture is identified, and a starting point coordinate and a size parameter of the gesture in the tracking scene picture are obtained;
  • S5 compares the current distance with a preset distance threshold range to obtain a first comparison result
  • S6 compares the deviation angle value with a preset angle threshold range to obtain a second comparison result
  • S7 controls the robot to perform a corresponding following operation according to the first comparison result and the second comparison result.
  • step S1 specifically includes the following steps:
  • the initial distance of the robot from the tracking target is measured by a single point ranging module of the robot;
  • calculation formula of calculating the actual height of the initial scene corresponding to the initial scene picture according to the initial distance and the preset viewable angle of the monocular camera is:
  • H3 is the actual height of the initial scene corresponding to the initial scene picture
  • ⁇ is the preset viewable angle of the monocular camera
  • D1 is the initial distance
  • the tracking target is calculated according to the actual height of the initial scene corresponding to the initial scene picture, the height parameter of the gesture in the initial scene picture, and the preset picture resolution of the monocular camera.
  • the actual height of the gesture is calculated as:
  • H4 is the actual height of the gesture of the tracking target
  • H2 is the height parameter of the gesture in the initial scene picture
  • H1 is the height in the preset picture resolution of the monocular camera.
  • Resolution H3 is the actual height of the initial scene corresponding to the initial scene picture.
  • step S4 the calculation formula of the current distance of the robot from the tracking target is calculated as follows:
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture
  • H1 is the height resolution in the preset picture resolution of the monocular camera
  • H4 is the actual height of the gesture
  • H5 a height parameter in the size parameter in the tracking scene picture for the gesture
  • D2 is the current distance of the robot from the tracking target
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture
  • ⁇ is the preset view angle of the monocular camera.
  • step S4 calculating the deviation angle value of the gesture on the X axis of the real space includes the following steps:
  • the calculation formula of the center coordinate of the gesture in the tracking scene picture is calculated as follows: :
  • X4 is the X-axis coordinate of the center coordinate of the gesture in the tracking scene picture
  • X3 is the X-axis starting point coordinate of the gesture in the starting point coordinate of the tracking scene picture
  • W4 is a width parameter of the gesture in the size parameter in the tracking scene picture
  • Y4 is the Y-axis coordinate of the center coordinate of the gesture in the tracking scene picture
  • Y3 is the Y-axis starting point coordinate of the gesture in the starting point coordinate of the tracking scene picture
  • H5 is The height parameter of the gesture in the size parameter in the tracking scene picture.
  • the center coordinate of the gesture in the tracking scene picture is calculated compared to the The calculation formula of the image offset of the center coordinate of the tracking scene picture on the X-axis is as follows:
  • O1 is a picture offset of the center coordinate of the gesture in the tracking scene picture compared to a center coordinate of the tracking scene picture on the X-axis
  • X4 is the gesture in the Tracking the X-axis coordinate of the center coordinate in the scene picture
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture
  • H1 is the height resolution in the preset picture resolution of the monocular camera
  • H4 is the actual height of the gesture
  • H5 a height parameter in the size parameter in the tracking scene picture for the gesture
  • W5 is the actual width of the tracking scene corresponding to the tracking scene picture
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • H6 is the tracking corresponding to the tracking scene picture. The actual height of the scene
  • O1 is the image offset of the center coordinate of the gesture in the tracking scene picture compared to the center coordinate of the tracking scene picture on the X-axis
  • W5 is the tracking scene picture corresponding to Tracking the actual width of the scene
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • O2 is the actual offset of the tracking target's gesture on the X-axis of the real space.
  • the calculation formula of the deviation angle value of the gesture on the X axis of the real space is calculated as follows:
  • ⁇ 2 is an off-angle value of the gesture on the X-axis of the real space
  • O2 is an actual offset of the gesture of the tracking target on the X-axis of the real space
  • D2 is the robot. The current distance from the tracking target.
  • the invention also provides a robot comprising:
  • a single point ranging module configured to acquire an initial distance of the robot from the tracking target when receiving the tracking instruction
  • a calculation module configured to acquire an actual height of the gesture of the tracking target when receiving the tracking instruction
  • Monocular camera for tracking the tracking target and reaching the preset shooting At intervals, a picture of the tracking scene including the gesture of the tracking target is captured;
  • An identification module configured to identify the gesture in the tracking scene picture, and obtain a starting point coordinate and a size parameter of the gesture in the tracking scene picture;
  • the calculating module is further configured to: according to an actual height of the gesture, a preset picture resolution of the monocular camera, a starting point coordinate of the gesture in the tracking scene picture, and the gesture in the tracking scene a size parameter in the picture and a preset view angle of the monocular camera, and calculating a current distance of the robot from the tracking target and a deviation angle value of the gesture on the X axis of the real space;
  • a comparison module configured to compare the current distance with a preset distance threshold range to obtain a first comparison result; and compare the deviation angle value with a preset angle threshold range to obtain a second comparison result;
  • an execution module configured to control the robot to perform a corresponding following operation according to the first comparison result and the second comparison result.
  • the monocular camera is further configured to capture an initial scene picture including the gesture of the tracking target;
  • the identification module is further configured to identify the gesture in the initial scene picture, Obtaining a starting point coordinate and a height parameter of the gesture in the initial scene picture;
  • the calculating module configured to: when receiving the tracking instruction, obtain an actual height of the gesture of the tracking target, specifically: the calculating module, And calculating, according to the initial distance and the preset viewable angle of the monocular camera, an actual height of the initial scene corresponding to the initial scene image; and further, according to the actual height of the initial scene corresponding to the initial scene image, The height parameter of the gesture in the initial scene picture and the preset picture resolution of the monocular camera are calculated, and the actual height of the gesture of the tracking target is calculated.
  • calculation formula of calculating the actual height of the initial scene corresponding to the initial scene picture according to the initial distance and the preset viewable angle of the monocular camera is:
  • H3 is the actual height of the initial scene corresponding to the initial scene picture
  • ⁇ is the preset viewable angle of the monocular camera
  • D1 is the initial distance
  • the actual height of the initial scene corresponding to the initial scene picture is Calculating the height parameter of the gesture in the initial scene picture and the preset picture resolution of the monocular camera, and calculating a formula for calculating the actual height of the gesture of the tracking target is:
  • H4 is the actual height of the gesture of the tracking target
  • H2 is the height parameter of the gesture in the initial scene picture
  • H1 is the height in the preset picture resolution of the monocular camera.
  • Resolution H3 is the actual height of the initial scene corresponding to the initial scene picture.
  • the actual height according to the gesture a preset picture resolution of the monocular camera, a starting point coordinate of the gesture in the tracking scene picture, and a size of the gesture in the tracking scene picture
  • the parameter and the preset view angle of the monocular camera, and the calculation formula of the current distance of the robot from the tracking target are calculated as follows:
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture
  • H1 is the height resolution in the preset picture resolution of the monocular camera
  • H4 is the actual height of the gesture
  • H5 a height parameter in the size parameter in the tracking scene picture for the gesture
  • D2 is the current distance of the robot from the tracking target
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture
  • ⁇ is the preset view angle of the monocular camera.
  • the calculating module is configured to: according to an actual height of the gesture, a preset picture resolution of the monocular camera, a starting point coordinate of the gesture in the tracking scene picture, and the gesture is in the tracking
  • the size parameter in the scene picture and the preset view angle of the monocular camera, and the calculated deviation angle value of the gesture on the X axis of the real space is specifically: the calculation module is configured to Tracking a starting point coordinate in the scene picture and a size parameter of the gesture in the tracking scene picture, and calculating a center coordinate of the gesture in the tracking scene picture;
  • the calculation formula of the center coordinate of the gesture in the tracking scene picture is calculated as follows: :
  • X4 is the X-axis coordinate of the center coordinate of the gesture in the tracking scene picture
  • X3 is the X-axis starting point coordinate of the gesture in the starting point coordinate of the tracking scene picture
  • W4 is a width parameter of the gesture in the size parameter in the tracking scene picture
  • Y4 is the Y-axis coordinate of the center coordinate of the gesture in the tracking scene picture
  • Y3 is the Y-axis starting point coordinate of the gesture in the starting point coordinate of the tracking scene picture
  • H5 is The height parameter of the gesture in the size parameter in the tracking scene picture.
  • the center coordinate of the gesture in the tracking scene picture is calculated compared to the The calculation formula of the image offset of the center coordinate of the tracking scene picture on the X-axis is as follows:
  • O1 is a picture offset of the center coordinate of the gesture in the tracking scene picture compared to a center coordinate of the tracking scene picture on the X-axis
  • X4 is the gesture in the Tracking the X-axis coordinate of the center coordinate in the scene picture
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture
  • H1 is the height resolution in the preset picture resolution of the monocular camera
  • H4 is the actual height of the gesture
  • H5 a height parameter in the size parameter in the tracking scene picture for the gesture
  • W5 is the actual width of the tracking scene corresponding to the tracking scene picture
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • H6 is the tracking corresponding to the tracking scene picture. The actual height of the scene
  • O1 is the image offset of the center coordinate of the gesture in the tracking scene picture compared to the center coordinate of the tracking scene picture on the X-axis
  • W5 is the tracking scene picture corresponding to Tracking the actual width of the scene
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • O2 is the actual offset of the tracking target's gesture on the X-axis of the real space.
  • the calculation formula of the deviation angle value of the gesture on the X axis of the real space is calculated as follows:
  • ⁇ 2 is the deviation angle value of the gesture on the X-axis of the real space
  • O2 is the actual offset of the gesture of the tracking target on the X-axis of the real space
  • D2 is the robot distance. The current distance of the tracking target.
  • the invention relates to a visual following method and a robot based on monocular gesture recognition.
  • recognizing a feature gesture an accurate deviation angle value of the robot and the tracking target is obtained in real time, which is easy to accurately track and follow the action more naturally.
  • the initial distance can be measured by the single-point ranging module.
  • the tracking process by identifying a feature gesture, the relative distance between the robot and the person (ie, the tracking target) can be accurately obtained in real time, and the tracking accuracy is higher.
  • the following method and the accuracy of the robot are higher than the color block follow-up, and the cost is greatly reduced compared with the 3D body-sensing scheme, and the effect is better.
  • the user interaction is smooth, and it is easy to grasp the operation points and is convenient to use.
  • FIG. 1 is a schematic diagram of a picture of an initial shooting scene in an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a picture of a tracking scene in an embodiment of the present invention.
  • FIG. 3 is a schematic structural view of a robot used in a following method according to an embodiment of the present invention.
  • FIG. 4 is a schematic structural view of a robot used in a following method according to another embodiment of the present invention.
  • Figure 5 is a structural view of an embodiment of the robot of the present invention.
  • FIG. 6 is a flow chart of an embodiment of a visual following method based on monocular gesture recognition according to the present invention.
  • FIG. 7 is a partial flow chart of an embodiment of a visual following method based on monocular gesture recognition according to the present invention.
  • FIG. 8 is a partial flow chart of an embodiment of a visual following method based on monocular gesture recognition according to the present invention.
  • a visual following method based on monocular gesture recognition includes the following steps:
  • the S3 identifies the gesture in the tracking scene picture, and obtains a starting point coordinate of the gesture in the tracking scene picture and a size parameter of the gesture in the tracking scene picture.
  • S5 compares the current distance with a preset distance threshold range to obtain a first comparison result
  • S6 compares the deviation angle value with a preset angle threshold range to obtain a second comparison result
  • S7 controls the robot to perform a corresponding following operation according to the first comparison result and the second comparison result.
  • the initial distance of the robot from the tracking target can be measured by the single-point ranging module, or can be manually input by the user manually. Considering the convenience of the user, it is recommended to use a single-point ranging module.
  • Gestures can be marked with specific gestures, or other parts of the human body (such as faces) can be used as markers.
  • the actual height of the gesture tracking the target can be calculated through the preparation process (ie, the initialization process).
  • the robot begins the process of following.
  • the main implementation process is to capture a scene of the tracking scene including the gesture of the tracking target, and according to information such as the tracking scene image, the initial distance, and the actual height of the gesture, whether the robot is far away from the tracking target and whether the tracking target exceeds
  • the preset angle threshold range and the like are used to adjust the forward, backward, and angle operations of the robot and the above steps are performed cyclically, so that the robot can follow the tracking target.
  • the monocular camera will take a picture of the tracking scene according to the preset time interval. For example, taking 1 second as the preset time interval, a tracking scene picture is taken every 1 second to follow the operation to ensure the robot relative to the tracking.
  • the target (person) has a good follow state.
  • the preset distance threshold range can be determined by the comfort level of human-computer interaction.
  • the following distance of the robot must not make people (ie, track the target) remain uncomfortable. For example, ⁇ 0.5 m is an uncomfortable distance.
  • the following distance of 1 meter to 2 meters will make the machine more comfortable to interact.
  • we also need to combine the hardware limitations of the robot (“visual distance", “visible view”) and follow-up algorithm Factors such as (or motion algorithm) are combined to obtain the final comfort interval threshold.
  • the reason why it is related to the view angle is because the size of the view angle affects the size of the visible image area at the same distance, which results in different preset threshold distance ranges.
  • the height of the robot camera is also an important factor affecting the projected area of the viewing angle.
  • the preset distance threshold range needs to be determined according to the following algorithm.
  • the preset distance threshold range of this embodiment may be set to be 1 meter to 1.5 meters.
  • the preset distance threshold range can also be set from 1 meter to 1.5 meters.
  • the preset angle threshold range is mainly affected by two aspects:
  • the preset angle threshold range is also affected by the horizontal angle of view of the monocular camera.
  • the preset angle threshold range should be smaller than the horizontal angle of view of the monocular camera (reserving a certain angle of view to identify the tracked target and preventing the target being tracked) Moving out of view is too fast and causing loss). For example, if the horizontal angle of view of the monocular camera is 65° (the shooting angle is -32.5° to 32.5°), it is appropriate to set the preset angle threshold range from -15° to 15°.
  • the first comparison result obtained has three cases, and the preset distance threshold range is set to 1 meter (Dx) to 1.5 (Dy) meters as an example, three of which are The situation and the corresponding distance following operation are as follows:
  • the preset angle threshold range is set to -15 (- ⁇ y) ° 15 15 ( ⁇ y) as an example.
  • the three cases and the corresponding angle following operations are as follows:
  • the robot After obtaining the first comparison result and the second comparison result, the robot adjusts the following operation of the robot in combination with the situation of the following operations: the angle following operation and the distance following operation. For example, if the first comparison result is the current distance>Dy and the second comparison result is the deviation angle value ⁇ - ⁇ y, the following operation performed by the robot is: moving the distance to the tracking target at a certain angular velocity for a distance, the moving distance For the current distance -Dx.
  • the current distance and the calculated distance scene image are calculated according to the real-time captured scene image. Deviating from the angle values, so that they are compared with their respective preset threshold ranges, the robot then performs corresponding follow operations according to the two comparison results, which not only ensures the follow-up of the tracking target, but also does not cause discomfort to the tracking target.
  • the step S1 acquires an initial distance of the robot from the tracking target and a gesture of the tracking target when receiving the tracking instruction.
  • the actual height specifically includes the following steps:
  • the initial distance of the robot from the tracking target is measured by a single point ranging module of the robot;
  • the single point ranging module may be an ultrasonic ranging sensor, an infrared ranging sensor, Laser ranging sensor, etc.
  • Identifying the gesture in the initial scene picture obtaining a starting point coordinate of the gesture in the initial scene picture and a height parameter of the gesture in the initial scene picture;
  • the robot captures an initial scene picture including a gesture of a human body through a camera module (ie, a monocular camera), and the image resolution of the initial scene picture is a preset picture resolution of the monocular camera.
  • Rate W1 width resolution
  • H1 height resolution
  • the coordinates of the first point in the upper left corner of the scene picture taken by the monocular camera are (1, 1), and the coordinates of the last point in the lower right corner For (W1, H1); gestures can be marked by the palm of the hand or the finger, or other organs can be used as a symbol.
  • the robot recognizes the gesture of the human body, recognizes the gesture of the human body (such as the front palm) through the gesture recognition software, and obtains the starting point coordinates of the gesture in the picture frame corresponding to the initial scene picture and the size parameter of the gesture in the initial scene picture. (including: height parameter and width parameter):
  • X1 the X-axis starting point coordinate of the starting point coordinate of the gesture in the initial scene picture
  • Y1 the Y-axis starting point coordinate of the starting point coordinate of the gesture in the initial scene picture
  • W2 the width parameter of the X-axis in the size parameter of the gesture in the initial scene picture
  • H2 the height parameter of the Y axis in the size parameter of the gesture in the initial scene picture
  • H3 the actual height of the initial scene corresponding to the initial scene picture captured by the camera module
  • H4 Track the actual height of the target's gesture
  • ⁇ is a preset vertical view angle of the monocular camera, and the preset view angle is 1/2 of a vertical view angle of the monocular camera;
  • H4 is the actual height of the gesture of the tracking target
  • H2 is the height parameter of the gesture in the initial scene picture (Y axis)
  • H1 is the height resolution in the preset picture resolution of the monocular camera
  • H3 is the actual height of the initial scene corresponding to the initial scene picture.
  • the following operation is started.
  • the human body moves forward, or backwards, or to the left, or to the right, moves a distance, but keeps the gesture within the field of view of the robot's camera; the robot captures the tracking scene including the human body's gesture through the monocular camera The picture, because it is taken by the same single-camera camera, so the resolution of the obtained scene picture is the preset picture resolution W1*H1;
  • the robot recognizes the gesture of the human body, recognizes the gesture of the human body (such as the front palm) through the gesture recognition software, and obtains the coordinates of the starting point and the gesture in the picture frame corresponding to the scene image in the tracking scene image.
  • Size parameters in including: height and width parameters:
  • X3 The X-axis starting point coordinate of the starting point coordinate of the gesture in the tracking scene picture
  • Y3 the Y coordinate start point coordinate of the starting point coordinate of the gesture in the tracking scene picture
  • W4 The width parameter of the X-axis in the size parameter of the gesture in the tracking scene picture
  • W5 the actual width of the tracking scene corresponding to the tracking scene picture captured by the monocular camera
  • H5 the height parameter of the Y axis in the size parameter of the gesture in the tracking scene picture
  • H6 the actual height of the tracking scene corresponding to the tracking scene picture captured by the monocular camera
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture
  • H1 is the height resolution in the preset picture resolution of the monocular camera
  • H4 is the actual height of the gesture
  • H5 a height parameter of the size parameter (Y axis) in the tracking scene picture for the gesture
  • D2 is the current distance of the robot from the tracking target
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture
  • ⁇ is the preset view angle of the monocular camera, preset The viewing angle is one-half of the vertical viewing angle of the monocular camera.
  • the gesture is in the Tracking a starting point coordinate in the scene picture, a size parameter of the gesture in the tracking scene picture, and a preset view angle of the monocular camera, and calculating a current distance of the robot from the tracking target and the gesture
  • calculating the deviation angle value of the gesture on the X-axis of the real space includes the following steps:
  • a center coordinate of the gesture in the tracking scene picture is compared to the tracking scene picture.
  • X4 is the X-axis coordinate of the center coordinate of the gesture in the tracking scene picture
  • X3 is the X-axis starting point coordinate of the gesture in the starting point coordinate of the tracking scene picture
  • W4 is a width parameter of the X-axis in the size parameter of the gesture in the tracking scene picture
  • Y4 is the Y-axis coordinate of the center coordinate of the gesture in the tracking scene picture
  • Y3 is the Y-axis starting point coordinate of the gesture in the starting point coordinate of the tracking scene picture
  • H5 is The height parameter of the gesture in the size parameter in the tracking scene picture.
  • O1 is a picture offset of the center coordinate of the gesture in the tracking scene picture compared to a center coordinate of the tracking scene picture on the X-axis
  • X4 is the gesture in the Tracking the X-axis coordinate of the center coordinate in the scene picture
  • W1 is the pre-head of the monocular camera Set the width resolution in the image resolution
  • W5 is the actual width of the tracking scene corresponding to the tracking scene picture
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture.
  • O1 is the image offset of the center coordinate of the gesture in the tracking scene picture compared to the center coordinate of the tracking scene picture on the X-axis
  • W5 is the tracking scene picture corresponding to Tracking the actual width of the scene
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • O2 is the actual offset of the tracking target's gesture on the X-axis of the real space.
  • the calculation formula for calculating the deviation angle value of the gesture on the X-axis of the actual space is:
  • the angle ⁇ 2 is an off-angle value of the gesture on the X-axis of the real space
  • O2 is the actual offset of the gesture of the tracking target on the X-axis of the real space
  • D2 is the current distance of the robot from the tracking target.
  • the robot measures the distance between the robot and the tracking target through the single-point ranging module, and obtains the initial distance D1, where D1 is the actually measured value. Instead of calculating the value.
  • the obtained initial distance obtained by measurement
  • taking a scene picture ie, the initial scene picture
  • calculating the actual height of the tracking target according to the initial scene picture Both are used as reference values.
  • the following operation is performed only after the two values are obtained (equivalent to the end of initialization), and the scene pictures taken after this are all belonging to the tracking scene picture, which are calculated according to the initial distance and the actual height of the gesture.
  • the angle value is used to implement the following operation, and the tracking scene picture is taken at a certain frequency, for example, every 1 second, and the higher frequency can ensure the smoothness of the tracking.
  • the dynamic following algorithm for guiding the robot is formulated according to the tracking target of the real-time feedback and the Z-axis spatial distance D2 of the robot and the X-axis spatial deviation angle value ⁇ 2; the robot continuously adjusts the posture, speed, etc. of the robot (ie according to the first comparison)
  • the result and the second comparison result are performed to perform a corresponding following operation, such that D2 approaches the preset distance threshold range Dx to Dy, and ⁇ 2 approaches the preset angle threshold range - ⁇ y to ⁇ y (of course, ⁇ 2 approaches 0) °, so that the tracking target is located directly in front of the robot is the optimal solution), and get a good following attitude.
  • the robot employed in the following method of the present invention can select a humanoid robot including an RGB color camera 1 and an ultrasonic distance measuring sensor 2.
  • the RGB color camera 1 ie, the monocular camera
  • ultrasonic distance measuring sensor 2 is used to measure the obstacle distance in front of the robot, and ultrasonic ranging sensor 2 can also be used, infrared ranging, laser ranging and other technologies.
  • a robot in another embodiment of the present invention, as shown in FIG. 5, includes:
  • the single point ranging module 10 is configured to acquire an initial distance of the robot from the tracking target when receiving the tracking instruction;
  • the calculation module 20, (electrically connected to the single-point ranging module 10), is configured to acquire an actual height of the gesture of the tracking target when receiving the tracking instruction;
  • the monocular camera 30, (electrically connected to the computing module 20) is configured to capture a tracking scene picture including the gesture of the tracking target when the tracking target is tracked and a preset shooting time interval is reached ;
  • the identification module 60 is configured to identify the gesture in the tracking scene picture, and obtain a starting point coordinate and a size parameter of the gesture in the tracking scene picture.
  • the calculating module 20 is further configured to: according to an actual height of the gesture, a preset picture resolution of the monocular camera, a starting point coordinate of the gesture in the tracking scene picture, and the gesture in the tracking a size parameter in the scene picture and a preset view angle of the monocular camera, and calculating a current distance of the robot from the tracking target and a deviation angle value of the gesture on the X axis of the real space;
  • Comparing module 40 (electrically connected to computing module 20) for comparing the current distance with a preset distance threshold range to obtain a first comparison result; and comparing the deviation angle value with a preset angle threshold range , obtaining a second comparison result;
  • the execution module 50 (electrically connected to the comparison module 40) is configured to control the robot to perform a corresponding following operation according to the first comparison result and the second comparison result.
  • the initial distance of the robot from the tracking target can be measured by the single point ranging module.
  • Gestures can be marked with a palm or a finger, or other parts of the human body (such as a human face) can be used as a symbol.
  • the actual height of the gesture tracking the target can be calculated by the preparation process.
  • the robot begins the process of following.
  • the main implementation process is to capture a scene of the tracking scene including the gesture of the tracking target, and according to information such as the tracking scene image, the initial distance, and the actual height of the gesture, whether the robot is far away from the tracking target and whether the tracking target exceeds
  • the preset angle threshold range and the like are used to adjust the forward, backward, and angle operations of the robot and the above steps are performed cyclically, so that the robot can follow the tracking target.
  • the preset distance threshold range can be determined by the comfort level of human-computer interaction.
  • the following distance of the robot must not make people (ie, track the target) remain uncomfortable. For example, ⁇ 0.5 m is an uncomfortable distance.
  • the following distance of 1 meter to 2 meters will make the machine more comfortable to interact.
  • we also need to combine the hardware limitations of the robot ("visible distance", "visible angle") and the following algorithm (or motion algorithm) to obtain the final comfort interval threshold.
  • the preset angle threshold range is also affected by two aspects. For a detailed explanation, refer to the corresponding method embodiment, which is not described herein.
  • the preset distance threshold range of this embodiment may be set to be 1 meter to 1.8 meters.
  • the preset angle threshold range can be set from -18° to 18°.
  • the robot will adjust the following operation of the robot in combination with the situation of both, and obtain a better following state. It not only ensures the follow-up of the tracking target, but also does not cause discomfort to the tracking target.
  • the monocular camera 30 is further configured to capture an initial scene picture including the gesture of the tracking target;
  • the identification module 60 is further configured to identify the gesture in the initial scene picture, obtain a starting point coordinate of the gesture in the initial scene picture, and a height of the gesture in the initial scene picture parameter;
  • the calculation module 20 is configured to: when the tracking instruction is received, the actual height of the gesture of acquiring the tracking target is specifically: the calculating module 20, configured to calculate, according to the initial distance and a preset view angle of the monocular camera Obtaining an actual height of the initial scene corresponding to the initial scene picture; and further, according to an actual height of the initial scene corresponding to the initial scene picture, a height parameter of the gesture in the initial scene picture, and a preset of the monocular camera Set the picture resolution and calculate the actual height of the gesture of the tracking target.
  • calculating a formula for calculating an actual height of the initial scene corresponding to the initial scene picture according to the initial distance and a preset viewable angle of the monocular camera is:
  • H3 is the actual height of the initial scene corresponding to the initial scene picture
  • ⁇ is the preset viewable angle of the monocular camera
  • D1 is the initial distance
  • the formula for calculating the height is:
  • H4 is the actual height of the gesture of the tracking target
  • H2 is the height parameter of the gesture in the initial scene picture
  • H1 is the height in the preset picture resolution of the monocular camera.
  • Resolution H3 is the actual height of the initial scene corresponding to the initial scene picture.
  • the calculation formula for calculating the current distance of the robot from the tracking target is as follows:
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture
  • H1 is the height resolution in the preset picture resolution of the monocular camera
  • H4 is the actual height of the gesture
  • H5 a height parameter in the size parameter in the tracking scene picture for the gesture
  • D2 is the current distance of the robot from the tracking target
  • H6 is the actual height of the tracking scene corresponding to the tracking scene picture
  • ⁇ is the preset view angle of the monocular camera.
  • the calculation module 20 is configured to: according to the actual height of the gesture, the preset picture resolution of the monocular camera, the gesture is Calculating a deviation angle of the starting point in the scene image, a size parameter of the gesture in the tracking scene picture, and a preset view angle of the monocular camera, and calculating a deviation angle of the gesture on the X axis of the real space
  • the value is specifically: the calculating module, configured to calculate, according to a starting point coordinate of the gesture in the tracking scene picture and a size parameter of the gesture in the tracking scene picture, that the gesture is in the tracking scene The center coordinates in the picture;
  • the calculation formula for calculating the center coordinate of the gesture in the tracking scene picture is as follows:
  • X4 is the X-axis coordinate of the center coordinate of the gesture in the tracking scene picture
  • X3 is the X-axis starting point coordinate of the gesture in the starting point coordinate of the tracking scene picture
  • W4 is a width parameter of the gesture in the size parameter in the tracking scene picture
  • Y4 is the Y-axis coordinate of the center coordinate of the gesture in the tracking scene picture
  • Y3 is the Y-axis starting point of the gesture in the starting point coordinate of the tracking scene picture
  • the coordinate, H5 is a height parameter of the size parameter of the gesture in the tracking scene picture.
  • O1 is an offset of the center coordinate of the gesture in the tracking scene picture on the X-axis compared to the center coordinate of the tracking scene picture
  • X4 is the gesture in the tracking.
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • W5 is the actual width of the tracking scene corresponding to the tracking scene picture
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • H6 is the tracking corresponding to the tracking scene picture.
  • the actual height of the scene; O2 O1*W5/W1(11)
  • O1 is the image offset of the center coordinate of the gesture in the tracking scene picture compared to the center coordinate of the tracking scene picture on the X-axis
  • W5 is the tracking scene picture corresponding to Tracking the actual width of the scene
  • W1 is the width resolution in the preset picture resolution of the monocular camera
  • O2 is the actual offset of the tracking target's gesture on the X-axis of the real space.
  • ⁇ 2 is the deviation angle value of the gesture on the X-axis of the real space
  • O2 is the actual offset of the gesture of the tracking target on the X-axis of the real space
  • D2 is the robot distance. The current distance of the tracking target.
  • the current distance of the robot distance tracking target can be calculated according to the above manner.
  • the deviation and the deviation angle value so that the robot adjusts its own angle, travel distance, etc. to perform the following operation, and obtain a good follow state.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

一种基于单目手势识别的视觉跟随方法及机器人，通过识别一个特征手势，实时得到精确的机器人与跟踪目标的偏离角度值，易于精确追踪，跟随动作更自然。另外，其初始距离可以通过单点测距模块测量得到，通过识别一个特征手势，实时得到精确的机器人与跟踪目标的相对距离，跟踪精度更高。该方法及机器人准确率高于色块跟随，成本较3D体感方案大大降低，大大提高了跟踪的准确率，用户交互顺畅，极易掌握操作要点，使用方便。

Description

一种基于单目手势识别的视觉跟随方法及机器人
本申请要求2016年11月09日提交的申请号为：201610984710.1、发明名称为“一种基于单目手势识别的视觉跟随方法”的中国专利申请的优先权，其全部内容合并在此。
技术领域
本发明涉及机器人监控技术领域，具体是一种基于单目手势识别的视觉跟随方法及机器人。
背景技术
目前家用服务机器人大多具有单目摄像机，基于单目摄像机的人体跟随系统大多使用色块跟随的方式，该方式在程序启动时，指定单目摄像头一块预览区域，并在后续的目标移动中不断跟随目标行走。但该种方法存在以下缺陷：
1、色块跟随方法根据指定的初始色块，进行跟踪，因色块跟随方法的缺陷，目标非常容易跟丢；
2、操作繁琐，用户不易理解操作要点。
发明内容
本发明要解决的问题是提供一种基于单目手势识别的视觉跟随方法及机器人，该方法通过识别一个特征手势，实时得到精确的机器人与初始位置的空间偏差比率，实现精确跟踪，简单易行，成本较低。
为实现上述发明目的，本发明的基于单目手势识别的视觉跟随方法，包括以下步骤：
S1当接收到跟踪指令时，获取机器人距离跟踪目标的初始距离和所述跟踪目标的手势的实际高度；
S2在对所述跟踪目标进行跟踪、且达到了预设拍摄时间间隔时，利用机器人的单目摄像头拍摄包含所述跟踪目标的所述手势在内的跟踪场 景图片；
S3对所述跟踪场景图片中的所述手势进行识别，获得所述手势在所述跟踪场景图片中的起点坐标和大小参数；
S4根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述机器人距离所述跟踪目标的当前距离和所述手势在实际空间的X轴上的偏离角度值；
S5将所述当前距离和预设距离阈值范围进行比较，得到第一比较结果；
S6将所述偏离角度值和预设角度阈值范围进行比较，得到第二比较结果；
S7根据所述第一比较结果和所述第二比较结果，控制所述机器人执行相应的跟随操作。
进一步，所述步骤S1具体包括以下步骤：
当接收到跟踪指令时，通过机器人的单点测距模块，测量得到所述机器人距离所述跟踪目标的所述初始距离；
利用机器人的单目摄像头拍摄包含所述跟踪目标的所述手势在内的初始场景图片；
对所述初始场景图片中的所述手势进行识别，获得所述手势在所述初始场景图片中的起点坐标和高度参数；
根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对应的初始场景的实际高度；
根据所述初始场景图片对应的初始场景的实际高度、所述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度。
进一步，所述根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对应的初始场景的实际高度的计算公式为：
H3＝2*tanα*D1                                  (1)
式(1)中，H3为所述初始场景图片对应的初始场景的实际高度，α为所述单目摄像头的预设可视角，D1为所述初始距离。
进一步，所述根据所述初始场景图片对应的初始场景的实际高度、所述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度的计算公式为：
H4＝H2*H3/H1                                    (3)
式(3)中，H4为所述跟踪目标的手势的实际高度，H2为所述手势在所述初始场景图片中的高度参数，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H3为所述初始场景图片对应的初始场景的实际高度。
进一步，所述步骤S4中，计算得到所述机器人距离所述跟踪目标的当前距离的计算公式如下：
H6＝H1*H4/H5                                      (4)
式(4)中，H6为所述跟踪场景图片对应的跟踪场景的实际高度，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H4为所述手势的实际高度，H5为所述手势在所述跟踪场景图片中大小参数中的高度参数；
D2＝H6/(2*tanα)                                 (5)
式(5)中，D2为所述机器人距离所述跟踪目标的当前距离，H6为所述跟踪场景图片对应的跟踪场景的实际高度，α为所述单目摄像头的预设可视角。
进一步，所述步骤S4中，计算得到所述手势在实际空间的X轴上的偏离角度值包括以下步骤：
根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算得到所述手势在所述跟踪场景图片中的中心坐标；
根据所述单目摄像头的预设图片分辨率和所述手势在所述跟踪场景图片中的中心坐标，计算得到所述手势在所述跟踪场景图片中的中心坐标 相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量；
根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势在实际空间的X轴上的实际偏移量；
根据所述实际偏移量和所述机器人距离所述跟踪目标的当前距离，计算得到所述手势在在实际空间的X轴上的偏离角度值。
进一步，根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算得到所述手势在所述跟踪场景图片中的中心坐标的计算公式如下：
X4＝X3+(W4/2)                  (6)
式(6)中，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，X3为所述手势在所述跟踪场景图片中的起点坐标中的X轴起点坐标，W4为所述手势在所述跟踪场景图片中的大小参数中的宽度参数；
Y4＝Y3+(H5/2)              (7)
式(7)中，Y4为所述手势在所述跟踪场景图片中的中心坐标的Y轴坐标，Y3为所述手势在所述跟踪场景图片中的起点坐标中的Y轴起点坐标，H5为所述手势在所述跟踪场景图片中的大小参数中的高度参数。
进一步，所述根据所述单目摄像头的预设图片分辨率和所述手势在所述跟踪场景图片中的中心坐标，计算得到所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量的计算公式如下：
O1＝X4–(W1/2)                           (8)
式(8)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率；
所述根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到 所述跟踪目标的手势在实际空间的X轴上的实际偏移量的计算公式为：
H6＝H1*H4/H5                                      (4)
式(4)中，H6为所述跟踪场景图片对应的跟踪场景的实际高度，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H4为所述手势的实际高度，H5为所述手势在所述跟踪场景图片中大小参数中的高度参数；
W5＝W1*H6/H1                         (10)
式(10)中，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，H6为所述跟踪场景图片对应的跟踪场景的实际高度；
O2＝O1*W5/W1                            (11)
式(11)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量。
进一步，所述根据所述实际偏移量和所述机器人距离所述跟踪目标的当前距离，计算得到所述手势在在实际空间的X轴上的偏离角度值的计算公式如下：
β2＝arctan(O2/D2)           (9)
式(9)中，β2为所述手势在在实际空间的X轴上的偏离角度值，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量，D2为所述机器人距离所述跟踪目标的当前距离。
本发明还提供一种机器人，包括：
单点测距模块，用于当接收到跟踪指令时，获取机器人距离跟踪目标的初始距离；
计算模块，用于当接收到跟踪指令时，获取所述跟踪目标的手势的实际高度；
单目摄像头，用于在对所述跟踪目标进行跟踪、且达到了预设拍摄时 间间隔时，拍摄包含所述跟踪目标的所述手势在内的跟踪场景图片；
识别模块，用于对所述跟踪场景图片中的所述手势进行识别，获得所述手势在所述跟踪场景图片中的起点坐标和大小参数；
所述计算模块，进一步用于根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述机器人距离所述跟踪目标的当前距离和所述手势在实际空间的X轴上的偏离角度值；
比较模块，用于将所述当前距离和预设距离阈值范围进行比较，得到第一比较结果；以及，将所述偏离角度值和预设角度阈值范围进行比较，得到第二比较结果；
执行模块，用于根据所述第一比较结果和所述第二比较结果，控制所述机器人执行相应的跟随操作。
进一步，所述单目摄像头，进一步用于拍摄包含所述跟踪目标的所述手势在内的初始场景图片；所述识别模块，进一步用于对所述初始场景图片中的所述手势进行识别，获得所述手势在所述初始场景图片中的起点坐标和高度参数；所述计算模块，用于当接收到跟踪指令时，获取所述跟踪目标的手势的实际高度具体为：所述计算模块，用于根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对应的初始场景的实际高度；再根据所述初始场景图片对应的初始场景的实际高度、所述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度。
进一步，所述根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对应的初始场景的实际高度的计算公式为：
H3＝2*tanα*D1                                 (1)
式(1)中，H3为所述初始场景图片对应的初始场景的实际高度，α为所述单目摄像头的预设可视角，D1为所述初始距离。
进一步，所述根据所述初始场景图片对应的初始场景的实际高度、所 述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度的计算公式为：
H4＝H2*H3/H1                                    (3)
式(3)中，H4为所述跟踪目标的手势的实际高度，H2为所述手势在所述初始场景图片中的高度参数，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H3为所述初始场景图片对应的初始场景的实际高度。
进一步，所述根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述机器人距离所述跟踪目标的当前距离的计算公式如下：
H6＝H1*H4/H5                                      (4)
式(4)中，H6为所述跟踪场景图片对应的跟踪场景的实际高度，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H4为所述手势的实际高度，H5为所述手势在所述跟踪场景图片中大小参数中的高度参数；
D2＝H6/(2*tanα)                                 (5)
式(5)中，D2为所述机器人距离所述跟踪目标的当前距离，H6为所述跟踪场景图片对应的跟踪场景的实际高度，α为所述单目摄像头的预设可视角。
进一步，所述计算模块，用于根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述手势在实际空间的X轴上的偏离角度值具体为：所述计算模块，用于根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算得到所述手势在所述跟踪场景图片中的中心坐标；
以及，根据所述单目摄像头的预设图片分辨率和所述手势在所述跟踪场景图片中的中心坐标，计算得到所述手势在所述跟踪场景图片中的中心 坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量；
以及，根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势在实际空间的X轴上的实际偏移量；
以及，根据所述实际偏移量和所述机器人距离所述跟踪目标的当前距离，计算得到所述手势在实际空间的X轴上的偏离角度值。
进一步，根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算得到所述手势在所述跟踪场景图片中的中心坐标的计算公式如下：
X4＝X3+(W4/2)                  (6)
式(6)中，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，X3为所述手势在所述跟踪场景图片中的起点坐标中的X轴起点坐标，W4为所述手势在所述跟踪场景图片中的大小参数中的宽度参数；
Y4＝Y3+(H5/2)              (7)
式(7)中，Y4为所述手势在所述跟踪场景图片中的中心坐标的Y轴坐标，Y3为所述手势在所述跟踪场景图片中的起点坐标中的Y轴起点坐标，H5为所述手势在所述跟踪场景图片中的大小参数中的高度参数。
进一步，所述根据所述单目摄像头的预设图片分辨率和所述手势在所述跟踪场景图片中的中心坐标，计算得到所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量的计算公式如下：
O1＝X4–(W1/2)          (8)
式(8)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率；
所述根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到 所述跟踪目标的手势在实际空间的X轴上的实际偏移量的计算公式为：
H6＝H1*H4/H5                                      (4)
式(4)中，H6为所述跟踪场景图片对应的跟踪场景的实际高度，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H4为所述手势的实际高度，H5为所述手势在所述跟踪场景图片中大小参数中的高度参数；
W5＝W1*H6/H1                         (10)
式(10)中，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，H6为所述跟踪场景图片对应的跟踪场景的实际高度；
O2＝O1*W5/W1                            (11)
式(11)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量。
进一步，所述根据所述实际偏移量和所述机器人距离所述跟踪目标的当前距离，计算得到所述手势在实际空间的X轴上的偏离角度值的计算公式如下：
β2＝arctan(O2/D2)           (9)
式(9)中，β2为所述手势在实际空间的X轴上的偏离角度值，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量，D2为所述机器人距离所述跟踪目标的当前距离。
本发明的一种基于单目手势识别的视觉跟随方法及机器人，通过识别一个特征手势，实时得到精确的机器人与跟踪目标的偏离角度值，易于精确追踪，跟随动作更自然。另外，其初始距离可以通过单点测距模块测量得到，在跟踪过程中，通过识别一个特征手势，实时得到精确的机器人与人(即跟踪目标)的相对距离，跟踪精度更高。本发明的跟随方法及机器人准确率高于色块跟随，成本较3D体感方案大大降低，且效果更好，用 户交互顺畅，极易掌握操作要点，使用方便。
附图说明
图1为本发明一个实施例中初始拍摄场景图片示意图；
图2为本发明一个实施例中跟踪拍摄场景图片示意图；
图3为本发明一个实施例中的跟随方法采用的机器人结构示意图；
图4为本发明另一个实施例中的跟随方法采用的机器人结构示意图；
图5为本发明机器人一个实施例的结构图；
图6为本发明基于单目手势识别的视觉跟随方法一个实施例的流程图；
图7为本发明基于单目手势识别的视觉跟随方法一个实施例的部分流程图；
图8为本发明基于单目手势识别的视觉跟随方法一个实施例的部分流程图。
具体实施方式
下面结合附图，以人体为跟踪目标为例，对本发明提出的一种基于单目手势识别的视觉跟随方法进行详细说明。
在本发明的一个实施例中，如图6所示，一种基于单目手势识别的视觉跟随方法，包括以下步骤：
S1当接收到跟踪指令时，获取机器人距离跟踪目标的初始距离和所述跟踪目标的手势的实际高度；
S2在对所述跟踪目标进行跟踪、且达到了预设拍摄时间间隔时，利用机器人的单目摄像头拍摄包含所述跟踪目标的所述手势在内的跟踪场景图片；
S3对所述跟踪场景图片中的所述手势进行识别，获得所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数；
S4根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图 片中的大小参数和所述单目摄像头的预设可视角，计算得到所述机器人距离所述跟踪目标的当前距离和所述手势在实际空间的X轴上的偏离角度值；
S5将所述当前距离和预设距离阈值范围进行比较，得到第一比较结果；
S6将所述偏离角度值和预设角度阈值范围进行比较，得到第二比较结果；
S7根据所述第一比较结果和所述第二比较结果，控制所述机器人执行相应的跟随操作。
具体的，机器人距离跟踪目标的初始距离可以由单点测距模块测量得到，也可以用户人为手动自行输入，考虑到用户使用的便捷性，建议使用单点测距模块来实现。
手势可采用特定手势为标志，也可以采用人体的其它部位(如人脸)作为标志。跟踪目标的手势的实际高度可以通过准备过程(即初始化过程)计算得到。
当得到初始距离和手势的实际高度后，机器人就开始执行跟随的过程。主要实现过程为拍摄含所述跟踪目标的所述手势在内的跟踪场景图片，根据跟踪场景图片、初始距离、手势的实际高度等信息，来确认机器人距离跟踪目标是否较远、跟踪目标是否超过了预设角度阈值范围等来调整机器人前进、后退、角度等操作并循环执行上述步骤，使机器人可以实现对跟踪目标的跟随过程。在跟踪过程中，单目摄像头会根据预设时间间隔来拍摄跟踪场景图片，比如以1秒作为预设时间间隔，每隔1秒就拍摄一幅跟踪场景图片进行跟随操作，保证机器人相对于跟踪目标(人)具有较好的跟随状态。
预设距离阈值范围可以由人机交互的舒适程度决定，机器人的跟随距离必须不让人(即跟踪目标)保持不适，如<0.5米就是会让人不舒适的距离。1米～2米的跟随距离会让人机交互比较舒适的距离。但除了人机交互，我们还需要结合机器人的硬件限制(“可视距离”、“可视角”)和跟随算法 (或者说，运动算法)等因素，综合得到最终的舒适区间阈值。
之所以与可视距离相关，是因为一般太近(如小于0.5米)会导致目标超出整个视野或运算量过大，太远(如大于5米，具体的米数由相机分辨率，相机清晰程度，CPU运算能力决定)，会导致目标太小，识别时间提升，以上所说三种情况：超出视野、目标太小、运算量过大都会引起识别时间增加和识别率下降，不利于跟随算法实现。
之所以与可视角相关，是因为可视角的大小影响在同样距离时，可视的图像面积大小不同，这会导致选取的预设距离阈值范围不同。机器人摄像头的高度，也是影响可视角投射面积的重要因素。
跟随算法会考虑机器人运动速度、转弯能力等限制，因此，需要根据跟随算法来决定预设距离阈值范围。本实施例的预设距离阈值范围可以设置为1米～1.5米。当然，预设距离阈值范围也可以设置为1米～1.5米。
预设角度阈值范围主要受两个方面影响：
1、人机交互的舒适程度。角度的调整也不宜太频繁，否则会给人机器人行走不稳感觉或认为程序出错(频繁找中心点)，所以，跟随目标离机器人正前方中心点一定范围的偏差是可以被容忍的。因此，设定了一个预设角度阈值范围，只有当跟踪目标不在此范围内时，才进行角度调整。以使整体的跟随更流畅。一般在1～1.5米举例，±15°的水平视角内，既不会认为是跟踪偏差太大，同时又不会频繁调整角度。
2、预设角度阈值范围还受单目摄像头的水平视角影响，预设角度阈值范围应小于单目摄像头的水平视角一定幅度(预留一定的视角以识别被跟踪目标，以及，防止被跟踪目标移出视野过快而导致丢失)。例如：若单目摄像头的水平视角为65°(其拍摄角度为-32.5°到32.5°)，设置预设角度阈值范围为-15°～15°比较合适。
将所述当前距离和预设距离阈值范围进行比较，得到的第一比较结果会有三种情况，以预设距离阈值范围设置为1米(Dx)～1.5(Dy)米为例，其三种情况以及相应的距离跟随操作如下表一：
表一
Figure PCTCN2017107905-appb-000001
将所述偏离角度值和预设角度阈值范围进行比较，得到第二比较结果，会有三种情况，以预设角度阈值范围设置为-15(-βy)°～15°(βy)为例，其三种情况以及相应的角度跟随操作如下表二：
表二
Figure PCTCN2017107905-appb-000002
机器人在得到第一比较结果和第二比较结果后，会结合两者的情况来调整机器人的跟随操作，跟随操作包括：角度跟随操作和距离跟随操作。例如：第一比较结果为当前距离>Dy、第二比较结果为偏离角度值＜-βy，则机器人执行的跟随操作为：向靠近跟踪目标的方向以一定的角速度移动一段距离，移动的一段距离为当前距离-Dx。
本实施例中，会根据实时拍摄的跟踪场景图片来计算得到当前距离和 偏离角度值，从而将它们与各自的预设阈值范围进行比较，机器人再根据两个比较结果执行相应的跟随操作，既保证了对跟踪目标的跟随，又不会对跟踪目标造成不适感。
在本发明的另一个实施例中，除与上述相同的之外，如图7所示，所述步骤S1当接收到跟踪指令时，获取机器人距离跟踪目标的初始距离和所述跟踪目标的手势的实际高度具体包括以下步骤：
当接收到跟踪指令时，通过机器人的单点测距模块，测量得到所述机器人距离所述跟踪目标的所述初始距离；(单点测距模块可以为超声波测距传感器、红外测距传感器、激光测距传感器等)
利用机器人的单目摄像头拍摄包含所述跟踪目标的所述手势在内的初始场景图片；
对所述初始场景图片中的所述手势进行识别，获得所述手势在所述初始场景图片中的起点坐标和所述手势在所述初始场景图片中的高度参数；
根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对应的初始场景的实际高度根据所述初始场景图片对应的初始场景的实际高度、所述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度。
具体的，1)如图1所示，机器人通过相机模块(即单目摄像头)拍摄包括人体的手势在内的初始场景图片，此初始场景图片的图片分辨率为单目摄像头的预设图片分辨率W1(宽度分辨率)*H1(高度分辨率)；根据预设的规定，由单目摄像头拍摄的场景图片的左上角第一个点坐标为(1,1)，右下角最后一点的坐标为的(W1，H1)；手势可采用手掌为标志或手指为标志，也可以采用其它器官为标志。
2)机器人识别人体的手势，通过手势识别软件，识别人体的手势(如正面手掌)，并获得手势在初始场景图片对应的图片帧中的起点坐标和手势在所述初始场景图片中的大小参数(包括：高度参数和宽度参数)：
X1：手势在初始场景图片中的起点坐标的X轴起点坐标，
Y1：手势在初始场景图片中的起点坐标的Y轴起点坐标，
W2：手势在初始场景图片中的大小参数中X轴的宽度参数，
H2：手势在初始场景图片中的大小参数中Y轴的高度参数；
H3：相机模块拍摄到的初始场景图片对应的初始场景的实际高度；
H4：跟踪目标的手势的实际高度；
通过机器人的单点测距模块，测量得到所述机器人距离所述跟踪目标的所述初始距离D1；
3)根据步骤1)、2)和3)获得的参数，计算相机拍摄的初始场景高度H3：
H3＝2*tanα*D1                    (1)
其中，α为所述单目摄像头的预设垂直可视角，预设可视角为单目摄像头垂直可视角的1/2；
计算跟踪目标的手势的实际高度的计算公式可以根据式(2)推导得到：
可知H3/H4＝H1/H2                  (2)
由式(2)推导得：H4＝H2*H3/H1                (3)
H4为所述跟踪目标的手势的实际高度，H2为所述手势在所述初始场景图片中(Y轴)的高度参数，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H3为所述初始场景图片对应的初始场景的实际高度。
在本发明的另一个实施例中，除与上述相同的之外，当得到了初始场景图片对应的初始场景的实际高度、实际宽度和初始距离后，就开始执行跟随操作。当4)人体向前，或者向后，或者向左，或者向右，移动一个距离，但保持手势在机器人的摄像头的视野范围内；机器人通过单目摄像头拍摄包括人体的手势在内的跟踪场景图片，因为是由相同的单卡摄像头所拍摄，所以得到的场景图片的分辨率就是预设图片分辨率W1*H1；
如图2所示，机器人识别人体的手势，通过手势识别软件，识别人体的手势(如正面手掌)，并获得手势在跟踪场景图片对应的图片帧中的起点坐标和手势在所述跟踪场景图片中的大小参数(包括：高度参数和宽度参数)：
X3：手势在跟踪场景图片中的起点坐标的X轴起点坐标，
Y3：手势在跟踪场景图片中的起点坐标的Y轴起点坐标，
W4：手势在跟踪场景图片中的大小参数中X轴的宽度参数，
W5：单目摄像头拍摄到的跟踪场景图片对应的跟踪场景的实际宽度；
H5：手势在跟踪场景图片中的大小参数中Y轴的高度参数；
H6：单目摄像头拍摄到的跟踪场景图片对应的跟踪场景的实际高度；
5)根据步骤1)至5)获得的数据，计算单目摄像头拍摄的跟踪场景的实际高度H6：
H6＝H1*H4/H5                     (4)
式(4)中，H6为所述跟踪场景图片对应的跟踪场景的实际高度，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H4为所述手势的实际高度，H5为所述手势在所述跟踪场景图片中大小参数中(Y轴)的高度参数；
再计算得到机器人距离所述跟踪目标的当前距离(即拍摄跟踪场景图片时距离跟踪目标的距离)D2：
D2＝H6/(2*tanα)                (5)
式(5)中，D2为所述机器人距离所述跟踪目标的当前距离，H6为所述跟踪场景图片对应的跟踪场景的实际高度，α为所述单目摄像头的预设可视角，预设可视角为单目摄像头垂直可视角的二分之一。
在本发明的另一个实施例中，除与上述相同的之外，如图8所示，根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述机器人距离所述跟踪目标的当前距离和所述手势在实际空间的X轴上的偏离角度值中，计算得到所述手势在实际空间的X轴上的偏离角度值包括以下步骤：
根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算得到所述手势在所述跟踪场景图片中的中心坐标；
根据所述单目摄像头的预设图片分辨率和所述手势在所述跟踪场景图片中的中心坐标，计算得到所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量；
根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势在实际空间的X轴上的实际偏移量；
根据所述实际偏移量和所述机器人距离所述跟踪目标的当前距离，计算得到所述手势在实际空间的X轴上的偏离角度值。
具体的，因后面还要对机器人与跟踪目标的拍摄角度进行判断，因此需要计算偏离角度值。
根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算手势在跟踪场景图片中的中心坐标(X4，Y4)：
X4＝X3+(W4/2)                  (6)
Y4＝Y3+(H5/2)              (7)
式(6)中，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，X3为所述手势在所述跟踪场景图片中的起点坐标中的X轴起点坐标，W4为所述手势在所述跟踪场景图片中的大小参数中X轴的宽度参数；
式(7)中，Y4为所述手势在所述跟踪场景图片中的中心坐标的Y轴坐标，Y3为所述手势在所述跟踪场景图片中的起点坐标中的Y轴起点坐标，H5为所述手势在所述跟踪场景图片中的大小参数中的高度参数。
计算手势在跟踪场景图片中的中心坐标(X4，Y4)相比于跟踪场景图片的中心点坐标(W1/2，H1/2)在X轴上的图片偏离量O1；
定义O1＝X4–(W1/2)          (8)
式(8)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，W1为所述单目摄像头的预 设图片分辨率中的宽度分辨率；
所述根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势在实际空间的X轴上的实际偏移量的计算公式为：
由W5＝W1*H6/H1                        (10)
式(10)中，W5为跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，H6为跟踪场景图片对应的跟踪场景的实际高度(注：实际空间长与像素空间长的比例和实际空间宽与像素空间宽的比例相同)。
O2＝O1*W5/W1                            (11)
式(11)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量。
计算手势在实际空间的X轴上的偏离角度值的计算公式为：
定义β2＝arctan(O2/D2)           (9)
角β2为手势在实际空间的X轴上的偏离角度值，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量，D2为所述机器人距离所述跟踪目标的当前距离。
在步骤1)单目摄像头拍摄第一副场景图片之前或同时，机器人通过单点测距模块，测量机器人与跟踪目标之间的距离，获得初始距离D1，此时D1为实际测量得到的数值，而不是计算得到的值。当接收到跟踪指令，会有一个初始化的过程，即获得的初始距离(通过测量得到)，拍摄一幅场景图片(即初始场景图片)，根据初始场景图片计算得到的跟踪目标的手势的实际高度都是作为参考数值。只有在得到这两个值之后(相当于初始化结束)才会执行跟随操作，这之后拍摄的场景图片都是属于跟踪场景图片，其都是根据初始距离和手势的实际高度进行计算当前距离和偏 离角度值来实现跟随操作，会以一定频率拍摄跟踪场景图片，比如每1秒拍一次等，频率较高可以保证跟踪的流畅性。
根据实时反馈的跟踪目标和所述机器人的Z轴空间距离D2、X轴空间偏离角度值β2制定引导机器人的动态跟随算法；所述机器人通过不断调整机器人的姿态、速度等(即根据第一比较结果和第二比较结果，来执行相应的跟随操作)，从而使D2趋近于预设距离阈值范围Dx～Dy，β2趋近于预设角度阈值范围-βy～βy(当然β2趋近于0°，使跟踪目标位于机器人的正前方为最优方案)，而得到良好的跟随姿态。
如图3和4所示，本发明的跟随方法采用的机器人可选用类人机器人，包括RGB彩色相机1和超声波测距传感器2。RGB彩色相机1(即单目摄像头)用于获取人及手势的图像数据(即初始场景图片、跟踪场景图片)。超声波测距传感器2(相当于单点测距模块)用于测量机器人正前方的障碍物距离，超声波测距传感器2也可用，红外测距，激光测距等技术替代。
在本发明的另一个实施例中，如图5所示，一种机器人，包括：
单点测距模块10，用于当接收到跟踪指令时，获取机器人距离跟踪目标的初始距离；
计算模块20，(与单点测距模块10电连接)用于当接收到跟踪指令时，获取所述跟踪目标的手势的实际高度；
单目摄像头30，(与计算模块20电连接)用于在对所述跟踪目标进行跟踪、且达到了预设拍摄时间间隔时，拍摄包含所述跟踪目标的所述手势在内的跟踪场景图片；
识别模块60，用于对所述跟踪场景图片中的所述手势进行识别，获得所述手势在所述跟踪场景图片中的起点坐标和大小参数；
所述计算模块20，进一步用于根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述机器人距离所述跟踪目标的当前距离和所述手势在实际空间的X轴上的偏离角度值；
比较模块40，(与计算模块20电连接)用于将所述当前距离和预设距离阈值范围进行比较，得到第一比较结果；以及，将所述偏离角度值和预设角度阈值范围进行比较，得到第二比较结果；
执行模块50，(与比较模块40电连接)用于根据所述第一比较结果和所述第二比较结果，控制所述机器人执行相应的跟随操作。
具体的，考虑到用户使用的便捷性，机器人距离跟踪目标的初始距离可以由单点测距模块测量得到。手势可采用手掌为标志或手指为标志，也可以采用人体的其它部位(如人脸)作为标志。跟踪目标的手势的实际高度可以通过准备过程计算得到。
当得到初始距离和手势的实际高度后，机器人就开始执行跟随的过程。主要实现过程为拍摄含所述跟踪目标的所述手势在内的跟踪场景图片，根据跟踪场景图片、初始距离、手势的实际高度等信息，来确认机器人距离跟踪目标是否较远、跟踪目标是否超过了预设角度阈值范围等来调整机器人前进、后退、角度等操作并循环执行上述步骤，使机器人可以实现对跟踪目标的跟随过程。
预设距离阈值范围可以由人机交互的舒适程度决定，机器人的跟随距离必须不让人(即跟踪目标)保持不适，如<0.5米就是会让人不舒适的距离。1米～2米的跟随距离会让人机交互比较舒适的距离。但除了人机交互，我们还需要结合机器人的硬件限制(“可视距离”、“可视角”)和跟随算法(或者说，运动算法)等因素，综合得到最终的舒适区间阈值。预设角度阈值范围也会受到两个方面的影响。具体解释请参见对应的方法实施例，在此不作赘述。本实施例的预设距离阈值范围可以设置为1米～1.8米。预设角度阈值范围可以设置为-18°～18°。
参见表一和表二，机器人在得到第一比较结果和第二比较结果后，会结合两者的情况来调整机器人的跟随操作，得到较好的跟随状态。既保证了对跟踪目标的跟随，又不会对跟踪目标造成不适感。
在本发明的另一个实施例中，除与上述相同的之外，单目摄像头30，进一步用于拍摄包含所述跟踪目标的所述手势在内的初始场景图片；
所述识别模块60，进一步用于对所述初始场景图片中的所述手势进行识别，获得所述手势在所述初始场景图片中的起点坐标和所述手势在所述初始场景图片中的高度参数；
计算模块20，用于当接收到跟踪指令时，获取所述跟踪目标的手势的实际高度具体为：计算模块20，用于根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对应的初始场景的实际高度；再根据所述初始场景图片对应的初始场景的实际高度、所述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度。
优选地，根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对应的初始场景的实际高度的计算公式为：
H3＝2*tanα*D1                                 (1)
式(1)中，H3为所述初始场景图片对应的初始场景的实际高度，α为所述单目摄像头的预设可视角，D1为所述初始距离。
根据所述初始场景图片对应的初始场景的实际高度、所述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度的计算公式为：
H4＝H2*H3/H1                                    (3)
式(3)中，H4为所述跟踪目标的手势的实际高度，H2为所述手势在所述初始场景图片中的高度参数，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H3为所述初始场景图片对应的初始场景的实际高度。
在本发明的另一个实施例中，除与上述相同的之外，计算得到所述机器人距离所述跟踪目标的当前距离的计算公式如下：
H6＝H1*H4/H5                                      (4)
式(4)中，H6为所述跟踪场景图片对应的跟踪场景的实际高度，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H4为所述手势的实际高度，H5为所述手势在所述跟踪场景图片中大小参数中的高度参数；
D2＝H6/(2*tanα)                                 (5)
式(5)中，D2为所述机器人距离所述跟踪目标的当前距离，H6为所述跟踪场景图片对应的跟踪场景的实际高度，α为所述单目摄像头的预设可视角。
在本发明的另一个实施例中，除与上述相同的之外，所述计算模块20，用于根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述手势在实际空间的X轴上的偏离角度值具体为：所述计算模块，用于根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算得到所述手势在所述跟踪场景图片中的中心坐标；
以及，根据所述单目摄像头的预设图片分辨率和所述手势在所述跟踪场景图片中的中心坐标，计算得到所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量；
以及，根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势在实际空间的X轴上的实际偏移量；
以及，根据所述实际偏移量和所述机器人距离所述跟踪目标的当前距离，计算得到所述手势在实际空间的X轴上的偏离角度值。
优选地，计算得到所述手势在所述跟踪场景图片中的中心坐标的计算公式如下：
X4＝X3+(W4/2)                  (6)
式(6)中，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，X3为所述手势在所述跟踪场景图片中的起点坐标中的X轴起点坐标，W4为所述手势在所述跟踪场景图片中的大小参数中的宽度参数；
Y4＝Y3+(H5/2)              (7)
式(7)中，Y4为所述手势在所述跟踪场景图片中的中心坐标的Y轴坐标，Y3为所述手势在所述跟踪场景图片中的起点坐标中的Y轴起点 坐标，H5为所述手势在所述跟踪场景图片中的大小参数中的高度参数。
计算得到所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量的计算公式如下：
O1＝X4–(W1/2)          (8)
式(8)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的偏移量，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率；
所述根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势在实际空间的X轴上的实际偏移量的计算公式为：
W5＝W1*H6/H1                         (10)
式(10)中，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，H6为所述跟踪场景图片对应的跟踪场景的实际高度；O2＝O1*W5/W1(11)
式(11)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量。
计算得到所述手势在实际空间的X轴上的偏离角度值的计算公式如下：
β2＝arctan(O2/D2)           (9)
式(9)中，β2为所述手势在实际空间的X轴上的偏离角度值，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量，D2为所述机器人距离所述跟踪目标的当前距离。
本实施例可以根据上述方式计算得到机器人距离跟踪目标的当前距 离以及偏离角度值，从而让机器人调整自己的角度、行进路程等执行跟随操作，得到良好的跟随状态。
以上实施例仅用以说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，其均应涵盖在本发明的权利要求范围当中。

Claims (18)

  1. 一种基于单目手势识别的视觉跟随方法，其特征在于，包括以下步骤：
    S1当接收到跟踪指令时，获取机器人距离跟踪目标的初始距离和所述跟踪目标的手势的实际高度；
    S2在对所述跟踪目标进行跟踪、且达到了预设拍摄时间间隔时，利用机器人的单目摄像头拍摄包含所述跟踪目标的所述手势在内的跟踪场景图片；
    S3对所述跟踪场景图片中的所述手势进行识别，获得所述手势在所述跟踪场景图片中的起点坐标和大小参数；
    S4根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述机器人距离所述跟踪目标的当前距离和所述手势在实际空间的X轴上的偏离角度值；
    S5将所述当前距离和预设距离阈值范围进行比较，得到第一比较结果；
    S6将所述偏离角度值和预设角度阈值范围进行比较，得到第二比较结果；
    S7根据所述第一比较结果和所述第二比较结果，控制所述机器人执行相应的跟随操作。
  2. 根据权利要求1所述的基于单目手势识别的视觉跟随方法，其特征在于，所述步骤S1具体包括以下步骤：
    当接收到跟踪指令时，通过机器人的单点测距模块，测量得到所述机器人距离所述跟踪目标的所述初始距离；
    利用机器人的单目摄像头拍摄包含所述跟踪目标的所述手势在内的初始场景图片；
    对所述初始场景图片中的所述手势进行识别，获得所述手势在所述初始场景图片中的起点坐标和高度参数；
    根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对应的初始场景的实际高度；根据所述初始场景图片对应的初始场景的实际高度、所述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度。
  3. 根据权利要求2所述的基于单目手势识别的视觉跟随方法，其特征在于，所述根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对应的初始场景的实际高度的计算公式为：
    H3＝2*tanα*D1                  (1)
    式(1)中，H3为所述初始场景图片对应的初始场景的实际高度，α为所述单目摄像头的预设可视角，D1为所述初始距离。
  4. 根据权利要求2所述的基于单目手势识别的视觉跟随方法，其特征在于，所述根据所述初始场景图片对应的初始场景的实际高度、所述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度的计算公式为：
    H4＝H2*H3/H1                       (3)
    式(3)中，H4为所述跟踪目标的手势的实际高度，H2为所述手势在所述初始场景图片中的高度参数，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H3为所述初始场景图片对应的初始场景的实际高度。
  5. 根据权利要求1所述的基于单目手势识别的视觉跟随方法，其特征在于，所述步骤S4中，计算得到所述机器人距离所述跟踪目标的当前距离的计算公式如下：
    H6＝H1*H4/H5                    (4)
    式(4)中，H6为所述跟踪场景图片对应的跟踪场景的实际高度，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H4为所述手势的实际高度，H5为所述手势在所述跟踪场景图片中大小参数中的高度参数；
    D2＝H6/(2*tanα)                 (5)
    式(5)中，D2为所述机器人距离所述跟踪目标的当前距离，H6为所述跟踪场景图片对应的跟踪场景的实际高度，α为所述单目摄像头的预设可视角。
  6. 根据权利要求1所述的基于单目手势识别的视觉跟随方法，其特征在于，所述步骤S4中，计算得到所述手势在实际空间的X轴上的偏离角度值包括以下步骤：
    根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算得到所述手势在所述跟踪场景图片中的中心坐标；
    根据所述单目摄像头的预设图片分辨率和所述手势在所述跟踪场景图片中的中心坐标，计算得到所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量；
    根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势在实际空间的X轴上的实际偏移量；
    根据所述实际偏移量和所述机器人距离所述跟踪目标的当前距离，计算得到所述手势在在实际空间的X轴上的偏离角度值。
  7. 根据权利要求6所述的基于单目手势识别的视觉跟随方法，其特征在于，根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算得到所述手势在所述跟踪场景图 片中的中心坐标的计算公式如下：
    X4＝X3+(W4/2)          (6)
    式(6)中，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，X3为所述手势在所述跟踪场景图片中的起点坐标中的X轴起点坐标，W4为所述手势在所述跟踪场景图片中的大小参数中的宽度参数；
    Y4＝Y3+(H5/2)           (7)
    式(7)中，Y4为所述手势在所述跟踪场景图片中的中心坐标的Y轴坐标，Y3为所述手势在所述跟踪场景图片中的起点坐标中的Y轴起点坐标，H5为所述手势在所述跟踪场景图片中的大小参数中的高度参数。
  8. 根据权利要求6所述的基于单目手势识别的视觉跟随方法，其特征在于：
    所述根据所述单目摄像头的预设图片分辨率和所述手势在所述跟踪场景图片中的中心坐标，计算得到所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量的计算公式如下：
    O1＝X4–(W1/2)              (8)
    式(8)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率；
    所述根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势在实际空间的X轴上的实际偏移量的计算公式为：
    H6＝H1*H4/H5             (4)
    式(4)中，H6为所述跟踪场景图片对应的跟踪场景的实际高度，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H4为所述手 势的实际高度，H5为所述手势在所述跟踪场景图片中大小参数中的高度参数；
    W5＝W1*H6/H1           (10)
    式(10)中，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，H6为所述跟踪场景图片对应的跟踪场景的实际高度；
    O2＝O1*W5/W1            (11)
    式(11)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量。
  9. 根据权利要求6所述的基于单目手势识别的视觉跟随方法，其特征在于，所述根据所述实际偏移量和所述机器人距离所述跟踪目标的当前距离，计算得到所述手势在在实际空间的X轴上的偏离角度值的计算公式如下：
    β2＝arctan(O2/D2)        (9)
    式(9)中，β2为所述手势在在实际空间的X轴上的偏离角度值，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量，D2为所述机器人距离所述跟踪目标的当前距离。
  10. 一种机器人，其特征在于，包括：
    单点测距模块，用于当接收到跟踪指令时，获取机器人距离跟踪目标的初始距离；
    计算模块，用于当接收到跟踪指令时，获取所述跟踪目标的手势的实际高度；
    单目摄像头，用于在对所述跟踪目标进行跟踪、且达到了预设拍摄 时间间隔时，拍摄包含所述跟踪目标的所述手势在内的跟踪场景图片；
    识别模块，用于对所述跟踪场景图片中的所述手势进行识别，获得所述手势在所述跟踪场景图片中的起点坐标和大小参数；
    所述计算模块，进一步用于根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述机器人距离所述跟踪目标的当前距离和所述手势在实际空间的X轴上的偏离角度值；
    比较模块，用于将所述当前距离和预设距离阈值范围进行比较，得到第一比较结果；以及，将所述偏离角度值和预设角度阈值范围进行比较，得到第二比较结果；
    执行模块，用于根据所述第一比较结果和所述第二比较结果，控制所述机器人执行相应的跟随操作。
  11. 根据权利要求10所述的机器人，其特征在于：
    所述单目摄像头，进一步用于拍摄包含所述跟踪目标的所述手势在内的初始场景图片；
    所述识别模块，进一步用于对所述初始场景图片中的所述手势进行识别，获得所述手势在所述初始场景图片中的起点坐标和高度参数；
    所述计算模块，用于当接收到跟踪指令时，获取所述跟踪目标的手势的实际高度具体为：所述计算模块，用于根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对应的初始场景的实际高度；再根据所述初始场景图片对应的初始场景的实际高度、所述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度。
  12. 根据权利要求11所述的机器人，其特征在于，所述根据所述初始距离和所述单目摄像头的预设可视角，计算得到所述初始场景图片对 应的初始场景的实际高度的计算公式为：
    H3＝2*tanα*D1                 (1)
    式(1)中，H3为所述初始场景图片对应的初始场景的实际高度，α为所述单目摄像头的预设可视角，D1为所述初始距离。
  13. 根据权利要求11所述的机器人，其特征在于，所述根据所述初始场景图片对应的初始场景的实际高度、所述手势在所述初始场景图片中的高度参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势的实际高度的计算公式为：
    H4＝H2*H3/H1                 (3)
    式(3)中，H4为所述跟踪目标的手势的实际高度，H2为所述手势在所述初始场景图片中的高度参数，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H3为所述初始场景图片对应的初始场景的实际高度。
  14. 根据权利要求10所述的机器人，其特征在于，所述根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述机器人距离所述跟踪目标的当前距离的计算公式如下：
    H6＝H1*H4/H5                   (4)
    式(4)中，H6为所述跟踪场景图片对应的跟踪场景的实际高度，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H4为所述手势的实际高度，H5为所述手势在所述跟踪场景图片中大小参数中的高度参数；
    D2＝H6/(2*tanα)               (5)
    式(5)中，D2为所述机器人距离所述跟踪目标的当前距离，H6为所述跟踪场景图片对应的跟踪场景的实际高度，α为所述单目摄像头的 预设可视角。
  15. 根据权利要求10所述的机器人，其特征在于：
    所述计算模块，用于根据所述手势的实际高度、所述单目摄像头的预设图片分辨率、所述手势在所述跟踪场景图片中的起点坐标、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设可视角，计算得到所述手势在实际空间的X轴上的偏离角度值具体为：所述计算模块，用于根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算得到所述手势在所述跟踪场景图片中的中心坐标；
    以及，根据所述单目摄像头的预设图片分辨率和所述手势在所述跟踪场景图片中的中心坐标，计算得到所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量；
    以及，根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势在实际空间的X轴上的实际偏移量；
    以及，根据所述实际偏移量和所述机器人距离所述跟踪目标的当前距离，计算得到所述手势在实际空间的X轴上的偏离角度值。
  16. 根据权利要求15所述的机器人，其特征在于，根据所述手势在所述跟踪场景图片中的起点坐标和所述手势在所述跟踪场景图片中的大小参数，计算得到所述手势在所述跟踪场景图片中的中心坐标的计算公式如下：
    X4＝X3+(W4/2)            (6)
    式(6)中，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，X3为所述手势在所述跟踪场景图片中的起点坐标中的X轴起点坐标，W4为所述手势在所述跟踪场景图片中的大小参数中的宽度参数；
    Y4＝Y3+(H5/2)             (7)
    式(7)中，Y4为所述手势在所述跟踪场景图片中的中心坐标的Y轴坐标，Y3为所述手势在所述跟踪场景图片中的起点坐标中的Y轴起点坐标，H5为所述手势在所述跟踪场景图片中的大小参数中的高度参数。
  17. 根据权利要求15所述的机器人，其特征在于：
    所述根据所述单目摄像头的预设图片分辨率和所述手势在所述跟踪场景图片中的中心坐标，计算得到所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量的计算公式如下：
    O1＝X4–(W1/2)          (8)
    式(8)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，X4为所述手势在所述跟踪场景图片中的中心坐标的X轴坐标，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率；
    所述根据所述图片偏移量、所述手势的实际高度、所述手势在所述跟踪场景图片中的大小参数和所述单目摄像头的预设图片分辨率，计算得到所述跟踪目标的手势在实际空间的X轴上的实际偏移量的计算公式为：
    H6＝H1*H4/H5                  (4)
    式(4)中，H6为所述跟踪场景图片对应的跟踪场景的实际高度，H1为所述单目摄像头的预设图片分辨率中的高度分辨率，H4为所述手势的实际高度，H5为所述手势在所述跟踪场景图片中大小参数中的高度参数；
    W5＝W1*H6/H1              (10)
    式(10)中，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，H6为所述跟踪场景图片对应的跟踪场景的实际高度；
    O2＝O1*W5/W1                 (11)
    式(11)中，O1为所述手势在所述跟踪场景图片中的中心坐标相比于所述跟踪场景图片的中心坐标在X轴上的图片偏移量，W5为所述跟踪场景图片对应的跟踪场景的实际宽度，W1为所述单目摄像头的预设图片分辨率中的宽度分辨率，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量。
  18. 根据权利要求15所述的机器人，其特征在于，所述根据所述实际偏移量和所述机器人距离所述跟踪目标的当前距离，计算得到所述手势在实际空间的X轴上的偏离角度值的计算公式如下：
    β2＝arctan(O2/D2)          (9)
    式(9)中，β2为所述手势在实际空间的X轴上的偏离角度值，O2为所述跟踪目标的手势在实际空间的X轴上的实际偏移量，D2为所述机器人距离所述跟踪目标的当前距离。
PCT/CN2017/107905 2016-11-09 2017-10-26 一种基于单目手势识别的视觉跟随方法及机器人 WO2018086461A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/843,647 US10489638B2 (en) 2016-11-09 2017-12-15 Visual tracking method and robot based on monocular gesture recognition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610984710.1 2016-11-09
CN201610984710.1A CN106502418B (zh) 2016-11-09 2016-11-09 一种基于单目手势识别的视觉跟随方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/843,647 Continuation US10489638B2 (en) 2016-11-09 2017-12-15 Visual tracking method and robot based on monocular gesture recognition

Publications (1)

Publication Number Publication Date
WO2018086461A1 true WO2018086461A1 (zh) 2018-05-17

Family

ID=58323919

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/107905 WO2018086461A1 (zh) 2016-11-09 2017-10-26 一种基于单目手势识别的视觉跟随方法及机器人

Country Status (2)

Country Link
CN (1) CN106502418B (zh)
WO (1) WO2018086461A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833379A (zh) * 2020-07-16 2020-10-27 西安电子科技大学 用单目摄像头追踪移动物体中目标位置的方法
EP3827328A4 (en) * 2018-10-02 2022-02-09 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND GESTURE RECOGNITION METHOD THEREOF
CN114638880A (zh) * 2022-05-23 2022-06-17 中国科学技术大学先进技术研究院 平面测距方法、单目摄像头及计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502418B (zh) * 2016-11-09 2019-04-16 南京阿凡达机器人科技有限公司 一种基于单目手势识别的视觉跟随方法
CN107168520B (zh) * 2017-04-07 2020-12-18 北京小鸟看看科技有限公司 基于单目摄像头的追踪方法、vr设备和vr头戴设备
CN107813310B (zh) * 2017-11-22 2020-10-20 浙江优迈德智能装备有限公司 一种基于双目视觉多手势机器人控制方法
CN110493618A (zh) * 2019-08-02 2019-11-22 广州长嘉电子有限公司 基于usb3.0接口的安卓电视智能控制方法及系统
CN113741550B (zh) * 2020-05-15 2024-02-02 北京机械设备研究所 移动机器人跟随方法和系统
CN117340914B (zh) * 2023-10-24 2024-05-14 哈尔滨工程大学 一种仿人机器人体感控制方法及控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780837A (zh) * 2014-01-02 2014-05-07 中安消技术有限公司 一种运动检测和定位拍摄的方法及其装置
CN104349037A (zh) * 2013-07-29 2015-02-11 浙江大华系统工程有限公司 一种移动目标的自动跟踪方法、装置及系统
CN106502418A (zh) * 2016-11-09 2017-03-15 南京阿凡达机器人科技有限公司 一种基于单目手势识别的视觉跟随方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US9223404B1 (en) * 2012-01-27 2015-12-29 Amazon Technologies, Inc. Separating foreground and background objects in captured images
CN103713738B (zh) * 2013-12-17 2016-06-29 武汉拓宝科技股份有限公司 一种基于视觉跟踪和手势识别的人机交互方法
CN105955251A (zh) * 2016-03-11 2016-09-21 北京克路德人工智能科技有限公司 一种机器人的视觉跟随控制方法及机器人
CN105912126B (zh) * 2016-04-26 2019-05-14 华南理工大学 一种手势运动映射到界面的增益自适应调整方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349037A (zh) * 2013-07-29 2015-02-11 浙江大华系统工程有限公司 一种移动目标的自动跟踪方法、装置及系统
CN103780837A (zh) * 2014-01-02 2014-05-07 中安消技术有限公司 一种运动检测和定位拍摄的方法及其装置
CN106502418A (zh) * 2016-11-09 2017-03-15 南京阿凡达机器人科技有限公司 一种基于单目手势识别的视觉跟随方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHI, ZHE ET AL.: "Robot Control System Based on Gesture Recognition", COMPUTER SYSTEMS & APPLICATIONS, 15 February 2015 (2015-02-15), ISSN: 1003-3254 *
ZHANG, YIMING ET AL.: "Mobile Robot Distance-Measurin Method Based on Monocular Vision", MICROCOMPUTER INFORMATION, 15 October 2008 (2008-10-15), ISSN: 1008-0570 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3827328A4 (en) * 2018-10-02 2022-02-09 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND GESTURE RECOGNITION METHOD THEREOF
CN111833379A (zh) * 2020-07-16 2020-10-27 西安电子科技大学 用单目摄像头追踪移动物体中目标位置的方法
CN111833379B (zh) * 2020-07-16 2023-07-28 西安电子科技大学 用单目摄像头追踪移动物体中目标位置的方法
CN114638880A (zh) * 2022-05-23 2022-06-17 中国科学技术大学先进技术研究院 平面测距方法、单目摄像头及计算机可读存储介质
CN114638880B (zh) * 2022-05-23 2022-08-12 中国科学技术大学先进技术研究院 平面测距方法、单目摄像头及计算机可读存储介质

Also Published As

Publication number Publication date
CN106502418A (zh) 2017-03-15
CN106502418B (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
WO2018086461A1 (zh) 一种基于单目手势识别的视觉跟随方法及机器人
US9465444B1 (en) Object recognition for gesture tracking
TWI317084B (en) Pointer positioning device and method
US20150262002A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
TWI704530B (zh) 注視度判斷裝置及方法
TWI610059B (zh) 三維量測方法及應用其之三維量測裝置
TWI496094B (zh) 手勢辨識模組及手勢辨識方法
US10489638B2 (en) Visual tracking method and robot based on monocular gesture recognition
US10055011B2 (en) Interactive system, handheld device remote controller and operating method thereof
CN107145822B (zh) 偏离深度相机的用户体感交互标定的方法和系统
Cho et al. Long-range gaze tracking system for large movements
TWI521387B (zh) 三維空間中之可重置式虛擬觸控板
KR101396488B1 (ko) 신호 입력 장치 및 신호 입력 방법
WO2018150569A1 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
Li et al. Visual interpretation of natural pointing gestures in 3D space for human-robot interaction
TWI480764B (zh) 頭部控制游標之裝置及方法
Shimizu et al. Acquisition of 3D gaze information from eyeball movements using inside-out camera
Haker et al. Deictic gestures with a time-of-flight camera
WO2023273492A1 (zh) 人体姿态判断方法及使用该方法的移动机器
Cen et al. Research on eye gaze estimation technique base on 3d model
Iwata et al. PupilMouse supported by head pose detection
JP6373546B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Huang et al. A real-time compensation strategy for non-contact gaze tracking under natural head movement
TWI826189B (zh) 具六自由度之控制器追蹤系統及方法
Haubner et al. Recognition of dynamic hand gestures with time-of-flight cameras

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17869695

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17869695

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17869695

Country of ref document: EP

Kind code of ref document: A1