WO2022188174A1 - 可移动平台、可移动平台的控制方法及存储介质 - Google Patents

可移动平台、可移动平台的控制方法及存储介质 Download PDF

Info

Publication number
WO2022188174A1
WO2022188174A1 PCT/CN2021/080582 CN2021080582W WO2022188174A1 WO 2022188174 A1 WO2022188174 A1 WO 2022188174A1 CN 2021080582 W CN2021080582 W CN 2021080582W WO 2022188174 A1 WO2022188174 A1 WO 2022188174A1
Authority
WO
WIPO (PCT)
Prior art keywords
binocular vision
vision module
movable platform
depth map
modules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/080582
Other languages
English (en)
French (fr)
Inventor
周游
贺国平
魏盛华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202180087701.1A priority Critical patent/CN116724279A/zh
Priority to PCT/CN2021/080582 priority patent/WO2022188174A1/zh
Publication of WO2022188174A1 publication Critical patent/WO2022188174A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots

Definitions

  • the present application relates to the technical field of visual perception, and in particular, to a movable platform, a control method for the movable platform, and a storage medium.
  • the embodiments of the present application provide a movable platform, a control method for the movable platform, and a storage medium, which aim to improve the security of the movable platform.
  • an embodiment of the present application provides a movable platform, where the movable platform includes:
  • At least two groups of binocular vision modules are arranged at different positions on the platform body, and the orientations of each group of the binocular vision modules are different.
  • the relative direction relationship between the orientation of the binocular vision module and the target direction changes;
  • a control device is arranged in the platform body, and the control device is used to realize the following steps:
  • a binocular vision module is selected from the at least two groups of binocular vision modules, wherein the binocular vision module selected when moving at a first speed value A vision module, which is different from the binocular vision module selected when moving at the second speed value;
  • Movement of the movable platform is controlled based on the environmental observation information.
  • an embodiment of the present application further provides a movable platform, where the movable platform includes:
  • At least two sets of binocular vision modules are arranged at different positions on the platform body, and the fields of view of the at least two sets of binocular vision modules overlap at least partially;
  • a control device is arranged in the platform body, and the control device is used for:
  • the movable platform movement is controlled based on the position information of the target object.
  • an embodiment of the present application further provides a control method for a movable platform
  • the movable platform includes a platform body and at least two sets of binocular vision modules arranged at different positions on the platform body; each set of binocular vision modules; The orientations of the binocular vision modules are different, and the relative directional relationship between the orientation of each group of the binocular vision modules and the target direction changes with the change in the speed value of the movable platform moving in the target direction;
  • the method includes:
  • a binocular vision module is selected from the at least two groups of binocular vision modules, wherein the binocular vision module selected when moving at a first speed value A vision module, which is different from the binocular vision module selected when moving at the second speed value;
  • Movement of the movable platform is controlled based on the environmental observation information.
  • the embodiments of the present application further provide a method for controlling a movable platform, wherein the movable platform includes a platform body and at least two sets of binocular vision modules arranged at different positions on the platform body, the at least two sets of binocular vision modules The fields of view of the two sets of binocular vision modules overlap at least partially; the method includes:
  • the movable platform movement is controlled based on the position information of the target object.
  • an embodiment of the present application further provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor implements the third aspect above.
  • the mobile platform control method described above, or when the computer program is executed by the processor, enables the processor to implement the mobile platform control method described in the fourth aspect above.
  • the embodiments of the present application provide a movable platform, a control method for the movable platform, and a storage medium.
  • a movable platform By arranging at least two sets of binocular vision modules with different orientations at different positions on the platform body, and with the movable platform in the The speed value of the movement in the target direction changes, and the relative directional relationship between the orientation of each group of binocular vision modules and the target direction changes, so that during the movement of the movable platform along the target direction, at least two sets of binocular vision modules can be used.
  • the binocular vision module is selected in the module, and then the environmental observation information can be determined according to the image data collected by the selected binocular vision module, and the movement of the movable platform can be controlled based on the environmental observation information, so as to realize the dynamic movement based on the movement of the movable platform. Choosing a binocular vision module greatly improves the safety of the movable platform.
  • FIG. 1 is a schematic structural diagram of an unmanned aerial vehicle provided by an embodiment of the present application.
  • FIG. 2 is a schematic diagram of a scene of an observation range of a binocular vision module provided by an embodiment of the present application
  • FIG. 3 is a schematic diagram of a partial structure of another unmanned aerial vehicle provided by an embodiment of the present application.
  • FIG. 4 is a schematic diagram of a field of view angle range of a binocular vision module provided by an embodiment of the present application.
  • FIG. 5 is a schematic diagram of a change between a field of view angle and the attitude information of an unmanned aerial vehicle provided by an embodiment of the present application;
  • FIG. 6 is a schematic diagram of a change between another field of view angle and the attitude information of the UAV provided by an embodiment of the present application;
  • FIG. 7 is a schematic diagram of a change between another field of view angle and the attitude information of the UAV provided by an embodiment of the present application;
  • FIG. 8 is a schematic diagram of the relationship between the position information of the UAV and the range of the field of view provided by the embodiment of the present application;
  • FIG. 9 is an overlapping schematic diagram of a first depth map and a second depth map provided by an embodiment of the present application.
  • FIG. 10 is a schematic structural diagram of a vehicle provided by an embodiment of the present application.
  • FIG. 11 is a schematic flowchart of a method for controlling a movable platform provided by an embodiment of the present application.
  • FIG. 12 is a schematic flowchart of another method for controlling a movable platform provided by an embodiment of the present application.
  • FIG. 13 is a schematic structural block diagram of a control apparatus provided by an embodiment of the present application.
  • a common movable platform such as an unmanned aerial vehicle, and its vision system is a binocular vision module (Stereo Vision System), as shown in FIG. 1 , which is a schematic structural diagram of an unmanned aerial vehicle provided by an embodiment of the present application .
  • the binocular vision module 130 of the existing UAV is arranged at the front end of the UAV 100 to sense the surrounding environment, thereby assisting the safe movement of the UAV 100 .
  • FIG. 1 is a schematic structural diagram of an unmanned aerial vehicle provided by an embodiment of the present application .
  • the binocular vision module of the existing drone includes a first camera 131 and a second camera 132 .
  • the first camera 131 and the second camera 132 are respectively used to take two pictures at the same time and different angles, and then the control device (not shown in FIG. 1 ) according to the difference between the two pictures, and the first camera 131 and the The positional relationship of the field of view between the second cameras 132 can determine the distance relationship between the object in the shooting scene and the first camera 131 and the second camera 132, and the object in the shooting scene and the first camera 131 and the second camera 132.
  • the positional relationship between them is displayed on the same image, and a depth map (Depth Map) of the objects in the shooting scene can be obtained, and the environmental observation information around the UAV 100 can be further determined according to the depth map of the objects in the shooting scene.
  • a depth map (Depth Map) of the objects in the shooting scene
  • the environmental observation information around the UAV 100 can be further determined according to the depth map of the objects in the shooting scene.
  • both the first camera 131 and the second camera 132 are fixed-focus lenses, once the focal lengths of the first camera 131 and the second camera 132 are determined, as shown in FIG.
  • the observation distance and the observation range are also determined, and the observation distance is inversely proportional to the observation range, that is, the larger the observation distance, the smaller the corresponding observation range, and vice versa.
  • the resolution of the binocular vision module applied to the movable platform is also relatively low.
  • it is necessary to weigh the observation distance and the observation range. to determine the focal length. This balance point is always difficult to grasp. Often, the observation range is sacrificed to preserve the observation distance, thereby increasing the movement speed. However, while the movement speed is effectively improved, the safety of the movement cannot be guaranteed because the observation range becomes smaller.
  • the embodiments of the present application provide a movable platform, a control method for the movable platform, and a storage medium.
  • a movable platform By arranging at least two sets of binocular vision modules with different orientations at different positions on the platform body, and With the change of the speed value of the movable platform moving in the target direction, the relative directional relationship between the orientation of each group of binocular vision modules and the target direction changes, so that when the movable platform moves along the target direction, it can be
  • the binocular vision module is selected from the two sets of binocular vision modules, and then the environmental observation information can be determined according to the image data collected by the selected binocular vision module, and the movement of the movable platform can be controlled based on the environmental observation information, so as to realize the mobile platform-based
  • the binocular vision module can be dynamically selected according to the movement situation, which greatly improves the safety of the movable platform.
  • FIG. 3 is a schematic partial structure diagram of another unmanned aerial vehicle provided by an embodiment of the present application. It should be noted that the complete structure of the unmanned aerial vehicle shown in FIG. 3 includes the unmanned aerial vehicle shown in FIG. 1 and the partial structure shown in FIG. Part of the local differences between man-machine and existing unmanned aerial vehicles. As can be seen from FIG. 3 , in the embodiment of the present application, the UAV 100 includes the fuselage 110 described in FIG.
  • the drone 100 also includes a second binocular vision module 140 disposed on the fuselage 110, and the second binocular vision module 140 is connected to the first binocular vision module 140.
  • the binocular vision modules 130 have different positions and orientations.
  • the drone 100 also includes a control device (the control device is not shown in FIG. 3 ).
  • the power system 120 may include one or more propellers 121 , one or more motors 122 corresponding to the one or more propellers, and one or more electronic governors (referred to as ESCs for short).
  • the motor 122 is connected between the electronic governor and the propeller 121 ; the electronic governor is used to receive the driving signal generated by the control device, and provide driving current to the motor 122 according to the driving signal to control the speed of the motor 122 .
  • the motor 122 is used to drive the propeller 121 to rotate, thereby providing power for the flight of the UAV 100, and the power enables the UAV 100 to achieve one or more degrees of freedom movement.
  • the drone 100 may rotate about one or more axes of rotation.
  • the above-mentioned rotation axes may include a roll axis, a yaw axis, and a pitch axis.
  • the motor 122 may be a DC motor or an AC motor.
  • the motor 122 may be a brushless motor or a brushed motor.
  • the UAV 100 may be, for example, a quad-rotor UAV, a hexa-rotor UAV, or an octa-rotor UAV. Of course, it can also be a fixed-wing UAV, or a combination of a rotary-wing type and a fixed-wing UAV, which is not limited here.
  • the first binocular vision module 130 and the second binocular vision module 140 can be respectively arranged at the nose of the drone 110 , and the first binocular vision module 130 can observe the front direction of the drone 100 .
  • the second binocular vision module 140 can observe the target object in the direction corresponding to the predetermined angle with the front side direction of the UAV 100 .
  • a rigid bracket is provided at the nose of the UAV 100, and the rigid bracket includes a first part and a second part, wherein the first part is used to carry the first binocular vision module 130, and the second part is used to carry the first binocular vision module 130. It carries the second binocular vision module 140 .
  • the first binocular vision module 130 faces the front side of the drone and can observe the target object in the direction of the front side of the drone 100 ;
  • the second binocular vision module 140 faces the upper side of the drone 100 , to be able to observe the target object in the corresponding direction with the front side direction of the UAV 100 at a preset angle.
  • the second binocular vision module 140 can observe the target object in a direction of 90 degrees from the front direction of the UAV 100 .
  • FIGS. 1 and 3 only show a positional relationship between the first binocular vision module 130 and the second binocular vision module 140 on the UAV 100, and cannot constitute the first binocular vision module.
  • the positional relationship between the group 130 and the second binocular vision module 140 on the drone 100 is limited.
  • the first binocular vision module 130 and the second binocular vision module 140 can also be arranged on the drone 100. Different positions on the same side of the body are used to observe the target objects in different directions.
  • the relative directional relationship between the orientation of the first binocular vision module 130 and the second binocular vision module 140 and the target direction changes.
  • the target direction is a preset movement direction of the UAV 100, such as a horizontal direction, a direction at a preset angle with the horizontal direction (such as left front, right front), or a vertical direction, etc.
  • the UAV 100 When the speed value of the movement in the target direction changes, for example, when accelerating the movement in the horizontal direction, as the speed increases, the UAV 100 may tilt at different angles, corresponding to the first binocular vision module disposed on the fuselage 110.
  • the corresponding orientations of the group 130 and the second binocular vision module 140 may change. Specifically, after the respective orientations of the first binocular vision module 130 and the second binocular vision module 140 are changed, the relative directional relationship with the target direction of the movement of the drone 100 will also change, so that the During the movement of the UAV 100, its observation range is guaranteed.
  • the parameters of the first binocular vision module 130 and the second binocular vision module 140 are different; for example, the viewing angle of the first binocular vision module 130 and the second binocular vision module 140 different, or the resolutions of the first binocular vision module 130 and the second binocular vision module 140 are different.
  • the binocular vision module is selected from at least two sets of binocular vision modules with different field of view angles or resolutions, so as to effectively balance the observation range of the UAV 100 and the observation speed.
  • the range of the first field of view 401 of the first binocular vision module 130 is smaller than the range of the second field of view 402 of the second binocular vision module 140 .
  • the first binocular vision module 130 relative to the second binocular vision module 140 can be a binocular vision module with a small field of view (for example, the horizontal field of view is 73 degrees, and the vertical field of view is 58 degrees).
  • the second binocular vision module 140 can have a large field of view relative to the first binocular vision module 140 (for example, the horizontal field of view is 63 degrees).
  • a binocular vision module with a vertical field of view of 78.8 degrees which is mainly used to observe the target object in the corresponding direction that is at a preset angle with the front direction of the UAV 100 . For example, observe the target object above the drone 100 .
  • the resolution of the first binocular vision module 130 is smaller than the resolution of the second binocular vision module 140 .
  • the resolution of the first binocular vision module 130 is 640 ⁇ 480
  • the resolution of the second binocular vision module 140 is 1280 ⁇ 960.
  • the observation distance of the first binocular vision module 130 is different from the observation distance of the second binocular vision module 140 .
  • the observation distance of the first binocular vision module 130 is smaller (assuming 25 meters) than the observation distance (assuming 45 meters) of the second binocular vision module 140 .
  • the viewing angle range of the first binocular vision module 130 and the viewing angle range of the second binocular vision module 140 at least partially overlap.
  • FIG. 5 is a schematic diagram of a change between a field of view and attitude information of an unmanned aerial vehicle provided by an embodiment of the present application. It can be seen from FIG. 5 that when the UAV 100 is hovering horizontally, the first binocular vision module 130 faces straight ahead, and the corresponding first field of view angle range 401 is 29 degrees horizontally downward to 29 degrees horizontally upward; The two binocular vision modules 140 face directly above, and the corresponding second field of view angle range 402 is 68 degrees to the left of the vertical to 10.8 degrees to the right of the vertical; the first angle of view 401 of the first binocular vision module 130 The overlapping area 501 with the second viewing angle 402 of the second binocular vision module 140 is between 22 degrees and 29 degrees in the horizontal direction, and the overlapping angle corresponding to the overlapping area 501 is 7 degrees.
  • FIG. 6 is a schematic diagram of another variation between the field of view angle and the attitude information of the UAV provided by the embodiment of the present application. It can be seen from FIG. 6 that when the UAV 100 moves forward at a low speed, as the speed value of the UAV 100 moving forward is different, there is a difference between the orientation of the first binocular vision module 130 and the moving direction of the UAV 100 . , and the relative directional relationship between the orientation of the second binocular vision module 140 and the movement direction of the drone 100 will change.
  • the range of the first field of view angle 401 of the first binocular vision module 130 may be 49 degrees horizontally downward to 9 degrees horizontally upward; the range of the second field of view angle 402 of the second binocular vision module 140 may be It is 2 degrees upward from the horizontal to 9.2 degrees to the left of the plumb line; the overlapping area 501 of the first angle of view 401 of the first binocular vision module 130 and the second angle of view 402 of the second binocular vision module 140 is at Between 2 degrees and 9 degrees upward from the horizontal, and the angular range of the overlapping area is 7 degrees.
  • FIG. 7 is a schematic diagram of another change between the field of view angle and the attitude information of the drone provided by the embodiment of the present application.
  • the drone 100 flies forward at a high speed, the relative directional relationship between the orientation of the first binocular vision module 130 and the movement direction of the drone 100 , and the second binocular vision module The relative directional relationship between the orientation of 140 and the movement direction of the UAV 100 will change.
  • the range of the first field of view angle 401 of the first binocular vision module 130 may be 60 degrees downward from the horizontal to 1 degree downward from the horizontal line; the range of the second field of view angle of the second binocular vision module 140 It can be 8 degrees downward from the horizontal to 70.8 degrees to the left of the vertical line; the overlapping area of the first angle of view 401 of the first binocular vision module 130 and the second angle of view 402 of the second binocular vision module 140 501 is between 1 degree and 8 degrees downward from the horizontal, and the angular range of the overlapping area 501 is 7 degrees.
  • 5 to 7 respectively show the range of the field of view of the first binocular vision module 130 and the second binocular vision module 140 under the corresponding speed values when the UAV 100 moves at different speed values Schematic overlay of .
  • the resolution of the binocular vision module is higher, the observation accuracy of the corresponding binocular vision module is also higher, and in this embodiment, the first binocular vision module 130 is relative to the second binocular vision module. 140, the corresponding resolution is relatively low.
  • the image fusion technology can be used based on the overlapped area to achieve a resolution. The accuracy of the image data collected by the first binocular vision module 130 is improved.
  • the overlapping angle of the field of view angle range of the first binocular vision module 130 and the second binocular vision module 140 is the same, but the first binocular vision module 130 and the second binocular vision module
  • the orientations of the binocular vision module 130 and the second binocular vision module 140 are different under different speed values and different attitude information of the UAV 100 .
  • the attitude information of the corresponding UAV 100 is different.
  • the binocular vision modules selected by the drone 100 are also different.
  • control device may include a controller and a sensing system.
  • the controller is used to control the movement of the UAV 100, for example, the movement of the UAV 100 can be controlled according to the attitude information measured by the sensing system. It should be understood that the controller can control the UAV 100 according to pre-programmed instructions.
  • the sensing system is used to measure the attitude information of the UAV 100, that is, the position information and state information of the UAV 100 in space, such as three-dimensional position, three-dimensional angle, three-dimensional velocity, three-dimensional acceleration, and three-dimensional angular velocity.
  • the sensing system may include at least one of a gyroscope, an ultrasonic sensor, an electronic compass, an inertial measurement unit (Inertial Measurement Unit, IMU), a visual sensor, a global navigation satellite system, a barometer, and other sensors.
  • the global navigation satellite system may be the Global Positioning System (GPS).
  • the controller may include one or more processors and memory.
  • the processor may be, for example, a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU), or a digital signal processor (Digital Signal Processor, DSP), and the like.
  • the memory may be a Flash chip, a read-only memory (ROM, Read-Only Memory) disk, an optical disk, a U disk, or a mobile hard disk.
  • the control device is arranged in the fuselage 110 of the drone 100, and is used for the first binocular vision module 130 and the second binocular vision module 130 during the movement of the drone 100 in the target direction.
  • a binocular vision module is selected, wherein the binocular vision module selected when moving with the first speed value is different from the binocular vision module selected when moving with the second speed value; according to different
  • the image data collected by the binocular vision module selected by the speed value determines the environmental observation information; in order to improve the safety of controlling the movement of the UAV 100 based on the environmental observation information.
  • control device is used to select the binocular vision module 130 and the second binocular vision module 140 according to the attitude information of the drone 100 during the movement of the drone 100 in the target direction.
  • eye vision module, and the attitude information of the UAV 100 varies with the speed value of the movable platform in the target direction.
  • the eye vision module is used to collect image data, and the environmental observation information is determined according to the image data collected by the selected binocular vision module, and then the movement of the UAV 100 is controlled based on the determined environmental observation information, which ensures that the UAV 100 operates in different ways. Safety when moving with velocity values.
  • the control device when the control device selects the binocular vision module from the first binocular vision module 130 and the second binocular vision module 140 , the control device is used to realize: according to the motion state information of the UAV 100 , select a binocular vision module from the first binocular vision module 130 and the second binocular vision module 140 .
  • the motion state information includes at least one of posture information and motion information.
  • Attitude information includes pitch angle or yaw angle.
  • the attitude information is related to the speed value of the UAV 100 moving in the target direction.
  • the corresponding attitude information will change accordingly. For example, when the UAV is flying at different speed values, it can be known from the flight characteristics of the UAV that the UAV will tilt at different angles, and the corresponding pitch angles are different.
  • the drone when the drone flies forward at low speed, it will tilt forward, and the corresponding pitch angle is usually less than 0 and within a certain range, such as less than or equal to -22 degrees; while the drone is forward at high speed When flying, the angle corresponding to the forward tilt will become larger, and the corresponding pitch angle at this time is usually less than -20 degrees, for example, less than -20 degrees and greater than or equal to -29 degrees.
  • the control device selects a binocular vision module in the first binocular vision module 130 and the second binocular vision module 140 according to the motion state information, it is used to realize: according to the pitch of the drone 100 angle or yaw angle, select a binocular vision module from the first binocular vision module 130 and the second binocular vision module 140 . Specifically, if the pitch angle of the UAV 100 changes, and the pitch angle satisfies the preset vision module selection conditions, the binocular vision module selected in the first binocular vision module 130 and the second binocular vision module 140 module.
  • the control device realizes that if the pitch angle of the UAV 100 changes, and the pitch angle satisfies the preset vision module change condition, the first binocular vision module 130 and the second binocular vision module
  • the binocular vision module selected in the group 140 is used to realize: if the pitch angle of the drone 100 changes to be less than or equal to the first pitch angle, the binocular vision module selected by the drone 100 is the second Binocular vision module 140; if the pitch angle of the drone 100 changes to be greater than the first pitch angle and less than or equal to the second pitch angle, the binocular vision module selected by the drone 100 is the first binocular vision module The vision module 130 and the second binocular vision module 140; if the pitch angle of the drone 100 changes to be greater than the second pitch angle and less than or equal to the third pitch angle, the binocular vision selected by the drone 100 The module is the first binocular vision module 130 .
  • the first pitch angle, the second pitch angle, and the third pitch angle are values preset according to the motion characteristics of the UAV 100 , which are not specifically limited.
  • the first pitch angle may be -29 degrees
  • the second pitch angle may be -22 degrees
  • the third pitch angle may be 29 degrees.
  • the speed value of the drone 100 in the horizontal direction is 0, and the speed value in the vertical direction is less than or equal to the preset No. a speed value.
  • the preset first speed value is a speed value when the drone 100 is ready to fly or ready to land, which is usually relatively small, for example, 20 m/s.
  • the speed value of the UAV 100 in the horizontal direction is 0 and the speed value in the vertical direction is less than or equal to the first speed value, it is possible to choose not to collect the image data in the horizontal direction, and only collect the image data in the vertical direction.
  • the image data of the distance for example, the image data within 25m; at this time, the second binocular vision module 140 can be selected to collect the image data in the vertical direction to ensure that the environmental observation information within the required observation range in the vertical direction is obtained, thereby ensuring The safety of the drone 100 ascending or descending in the vertical direction.
  • the image data collected by the second binocular vision module 140 may also be selected for down-sampling processing.
  • the UAV 100 When the UAV 100 starts to take off, it first needs to fly forward at a low speed, and at this time, the UAV 100 will have a small angle of inclination. For example, when the drone 100 is flying horizontally forward at a lower speed value (less than or equal to the first speed value), or when the drone 100 is flying diagonally upward at a lower speed value, the drone 100 will experience the different flight speed values. Different degrees of small-angle inclination; usually, when the UAV 100 flies forward within the first speed value, the corresponding pitch angle is greater than the second pitch angle and less than the third pitch angle, for example, the second pitch angle is -22 degrees, and the first pitch angle is -22 degrees.
  • the third pitch angle is 29 degrees; at this time, the first binocular vision module 130 is selected to collect the image data in the horizontal direction and the oblique downward direction.
  • the corresponding pitch angle is greater than the first pitch angle and smaller than the second pitch angle; at this time, the first binocular vision module 130 is selected to collect image data in the horizontal direction,
  • the second binocular vision module 140 is selected to collect the image data obliquely above.
  • the second binocular vision module 140 may be selected to observe the environment observation information obliquely above. It should be noted that, during the fast forward flight of the UAV 100, the change of the pitch angle will not exceed the maximum change threshold, for example, 50 degrees, because if the maximum change threshold is exceeded, a rollover will occur.
  • the first pitch angle, the second pitch angle and the third pitch angle are preset, and according to the unmanned aerial vehicle
  • the relationship between the change of the pitch angle of the drone and the first pitch angle, the second pitch angle and the third pitch angle is used to select the binocular vision module for observing the environmental observation information, which improves the safety of the drone movement.
  • the motion information includes at least one of speed information, position information, and acceleration information of the drone
  • the control device implements, according to the speed information, position information, and acceleration information of the drone, in at least two sets of dual
  • the binocular vision module is selected in the binocular vision module, it is used to realize: according to the attitude information and motion information of the drone 101, predict that the drone 100 will be in the image collected by the binocular vision module after a preset time.
  • the target position information the corresponding field of view of the first binocular vision module 130 and the second binocular vision module 140, the binocular vision module selected by the drone 100 is transformed.
  • the attitude information includes the pitch angle
  • the control device is used to predict the target position information of the movable platform in the image collected by the binocular vision module after a preset time according to the attitude information and motion information. : obtain the first field of view angle range of the first binocular vision module 130 and the second field of view angle range of the second binocular vision module 140; according to the first field of view angle range, pitch angle and motion information, Predict the first target position information of the drone 100 in the image collected by the first binocular vision module 130 after the preset time; Set the second target position information of the drone 100 in the image collected by the second binocular vision module 140 after the time.
  • the first field of view includes the first horizontal field of view of the first binocular vision module 130 in the horizontal direction and the first vertical field of view in the vertical direction; when the first binocular vision module 130 is used for observation When observing the environment information on the front side of the drone 100, the first horizontal field of view is the horizontal field of view of the front-view image, and the first vertical field of view is the vertical field of view of the front-view image; motion information includes no The first speed value of the man-machine 100 in the horizontal direction, the second speed value in the vertical direction, and the third speed value in the left direction or the right direction.
  • the pitch angle and the speed value predict the first position of the drone 100 in the image collected by the first binocular vision module 130 after a preset time.
  • a target position information including: according to the first horizontal field of view, the first speed value and the third speed value, calculate the center of mass point of the drone 100 collected by the first binocular vision module 130 after a preset time.
  • the first horizontal coordinate in the image; according to the first vertical angle of view, the pitch angle, the first speed value and the second speed value it is predicted that the center of mass of the UAV 100 will be in the first binocular vision module after a preset time. 130 , the first vertical coordinate in the collected image; the first target position information is predicted according to the first horizontal coordinate, the first vertical coordinate and the size of the drone 100 .
  • ⁇ represents the first horizontal field of view
  • vel_x represents the second velocity value of the drone in the vertical direction
  • vel_y represents the first velocity value of the drone in the horizontal direction
  • ⁇ represents the first vertical field of view
  • atti_pitch represents Elevation angle
  • the front of W represents the width of the field of view of the first binocular vision module
  • the front of H represents the length of the field of view of the first binocular vision module.
  • alpha 73 degrees
  • beta 58 degrees
  • W 640
  • H 480
  • the second field of view includes the second horizontal field of view of the second binocular vision module 140 in the horizontal direction and the second vertical field of view in the vertical direction; when the second binocular vision module 140 is used for observation When observing the environment information on the upper side of the UAV 100, the second horizontal field of view is the horizontal field of view of the top-view image, and the second vertical field of view is the vertical field of view of the top-view image.
  • the position information includes: according to the second horizontal field of view, the first velocity value and the third velocity value, calculating that the center of mass of the drone 100 is in the image collected by the second binocular vision module 140 after a preset time has elapsed according to the second vertical field angle, the first speed value and the second speed value, predict the image collected by the second binocular vision module 140 of the center of mass of the drone 100 after the preset time
  • the second vertical coordinate in ; the second target position information is predicted according to the second horizontal coordinate, the second vertical coordinate and the size of the drone 100 .
  • ⁇ represents the second horizontal field of view angle
  • ⁇ represents the second vertical field of view angle
  • W represents the field of view width of the second binocular vision module
  • H represents the field of view length of the second binocular vision module.
  • ⁇ 63 degrees
  • ⁇ 78.8 degrees
  • W above 960
  • H above 480.
  • the preset time can be any preset time period, for example, it can be 1 second, 2 seconds, 3 seconds and so on.
  • the size of the drone 100 is 30cm ⁇ 40cm
  • a size larger than 30cm ⁇ 40cm is reserved at the point position (for example, a position of 40cm ⁇ 50cm is reserved, and a margin of 10cm is reserved in the width and length directions) as the predicted size of the UAV 100 after a preset time of 1s.
  • Position information the predicted position information may also be referred to as a movement channel.
  • the movable platform is a drone, and the predicted position information may also be referred to as a flight channel.
  • the mass center point of the UAV 100 is the center point of the predicted position information, and may also be referred to as the center point of the motion channel.
  • the position coordinates of the centroid point of the UAV 100 at the current moment, the speed value of the UAV 100 and the preset time can also be used to calculate the position coordinates of the centroid point after the preset time, and further according to the camera projection relationship , project the calculated position coordinates of the centroid point on the image collected by the first binocular vision module 130 and the image collected by the second binocular vision module 140 respectively.
  • the camera projection relationship can be determined by the cameras used by the first binocular vision module 130 and the second binocular vision module 140 respectively.
  • the corresponding camera projection relationship after the camera is determined is also determined.
  • the projection relationship of the existing camera is not specifically limited or explained here.
  • the control device transforms the binocular vision selected by the unmanned aerial vehicle 100 according to the target position information, the respective corresponding field angles of the first binocular vision module 130 and the second binocular vision module 140 .
  • the module is used, it is used to realize: if the first target position information is located in the range of the first angle of view, and the second target position information is not located in the range of the second angle of view, then the binocular vision mode selected by the drone 100 is converted.
  • the group is the first binocular vision module 130; if the first target position information is not located in the range of the first angle of view, and the second target position information is located in the range of the second angle of view, then the binocular selected by the drone 100 is changed.
  • the eye vision module is the second binocular vision module 140; if the first target position information is located in the range of the first field of view, and the second target position information is located in the range of the second field of view, then the selected position of the drone 100 is changed.
  • the binocular vision modules are the first binocular vision module 130 and the second binocular vision module 140 .
  • FIG. 8 is a schematic diagram of the relationship between the position information of the drone and the field of view range of the binocular vision module. It can be seen from FIG. 8 that in this embodiment, the first target position information 801 and the second target position information 802 of the UAV 100 overlap, and are located in the overlap of the first field of view angle range 401 and the second field of view angle range 402 At this time, the selected binocular vision modules include the first binocular vision module 130 and the second binocular vision module 140 .
  • FIG. 8 is only illustrative, and the first target position information 801 of the UAV 100 may also be located in an area where the first field of view angle range and the second field of view angle range do not overlap, or may not be located in the first field of view angle range.
  • the second target position information 802 of the UAV 100 may also be located in an area within the range of the second angle of view that does not overlap with the range of the first angle of view, or may not be located in the range of the second angle of view Inside.
  • the UAV 100 is transformed by the relationship between the first target position and the second target position of the UAV 100 and the first field of view angle range and the second field of view angle range, respectively.
  • the selected binocular vision module ensures that the binocular vision module selected by the UAV 100 can collect the image information at the location of the UAV 100, and then according to the collected image information at the location of the UAV 100.
  • the image information determines the environmental observation information around the UAV 100 , and controls the movement of the UAV 100 according to the environmental observation information around the UAV 100 , thereby improving the safe movement of the UAV 100 and reducing the power consumption of the UAV 100 .
  • the control device when determining the environmental observation data according to the image data collected by the selected binocular vision module, the control device is used to realize: if the selected binocular vision module is the first binocular vision module 130, the first binocular vision module 130 is enabled, and the second binocular vision module 140 is disabled; according to the first image data collected by enabling the first binocular vision module 130, determine the environmental observation data .
  • the drone 100 can be observed at the target only through the first binocular vision module 130
  • Environmental observation information in the direction to reduce the system consumption of the UAV 100 Exemplarily, when the UAV 100 flies horizontally at a low speed, it mainly needs to observe the environmental observation information in front and obliquely below, and only needs to observe the environmental observation information at a relatively close distance, and only the first binocular vision module 130 can completely observe the environmental observation information. Ensure the flight safety of the drone 100.
  • the control device when determining the environmental observation data according to the image data collected by the selected binocular vision module, the control device is used to realize: if the selected binocular vision module is the first binocular vision module 130, enable the first binocular vision module 130 and the second binocular vision module 140 at the same time; obtain the first image data collected by the first binocular vision module 130 and the second binocular vision module 140. The obtained second image data is down-sampled to obtain third image data; the environment observation data is determined according to the first image data and the third image data.
  • the selected binocular vision module is the first binocular vision module 130
  • the first binocular vision module 130 and the second binocular vision module can be enabled at the same time Group 140 to ensure the safety of the movement of the drone 100.
  • the drone 100 flies obliquely upward, the drone 100 may always be within the range of the first field of view of the first binocular vision module 130 for a preset time, corresponding to the selected binocular vision.
  • the module is the first binocular vision module 130, but in the next second, the drone 100 may enter the second field of view of the second binocular vision module 140. Therefore, the second binocular vision module needs to be enabled at the same time.
  • the vision module 140 collects image data obliquely above the UAV 100 .
  • the second image data collected by the second binocular vision module 140 can be down-sampled to While realizing the safe flight of the UAV 100, system consumption is reduced.
  • the control device when determining the environmental observation data according to the image data collected by the selected binocular vision module, the control device is used to achieve: if the selected binocular vision module is the first binocular vision module group 130 and the second binocular vision module 140, enable the first binocular vision module 130 and the second binocular vision module 140 at the same time; obtain the first image data collected by the first binocular vision module 130 and the second image data collected by the second binocular vision module 140; according to the first image data and the second image data, the environmental observation data is determined.
  • the drone 100 when the drone 100 enters the normal motion state, it will relatively generate a relatively large tilt, corresponding to the first field of view range of the first binocular vision module 130 and the second binocular vision module 140.
  • the first binocular vision module 130 needs to be enabled to collect the image data in the front and obliquely below, and at the same time, the second binocular vision module 140 needs to be enabled to collect obliquely above. image data.
  • the control device when controlling the movement of the drone 100 according to the image data collected by the selected binocular vision module, the control device is used to realize: if the selected binocular vision module is the second binocular vision module The vision module 140 enables part of the functions of the first binocular vision module 140 and enables all functions of the second binocular vision module 140; according to the second image collected by the second binocular vision module 140 According to the position information of the target object around the drone 100, the movement of the drone 100 is controlled.
  • the first binocular vision module 130 is mainly used to collect the image data obliquely below, and you can choose not to run sky detection, self-calibration and other functions, that is, to turn off the first binocular vision module 130 to collect the upper image data.
  • the movable platform provided by the embodiments of the present application has at least two sets of binocular vision modules with different orientations disposed at different positions of the platform body, wherein the orientations of each set of binocular vision modules are different, and each set of binocular vision modules has different orientations.
  • the relative directional relationship between the orientation of the binocular vision module and the target direction of the movable platform changes with the speed value of the movable platform moving in the target direction.
  • At least two The binocular vision module is selected from the group of binocular vision modules, so as to determine the environmental observation information according to the image data collected by the selected binocular vision module, and then control the movement of the movable platform according to the determined environmental observation information, so as to improve the performance of the platform. Safety of sports.
  • the environment observation data includes position information of the target object around the movable platform; in some embodiments, the control device determines the environment according to the first image data and the second image data. When observing data, it is used to realize: calculating a first depth map according to the first image data, and calculating a second depth map according to the second image data; fusing the first depth map and the second depth map to obtain a target depth map ; According to the target depth map, determine the position information of the target object around the movable platform.
  • the image fusion of the first depth map and the second depth map can achieve a low
  • the depth map collected by the high-resolution binocular vision module is scaled to improve the observation accuracy of the low-resolution binocular vision module.
  • the first image data includes the first image and the second image captured by the two first cameras of the first binocular vision module 130 at the same moment and at different angles; the first depth is calculated according to the first image data
  • the map may include: calculating and obtaining the first depth map based on the principle of triangulation according to the pixel difference between the first image and the second image, the positional relationship and the angle relationship between the two first cameras.
  • the second image data includes the third image and the fourth image captured by the two second cameras of the second binocular vision module 140 at the same moment and at different angles; the second depth map is calculated and obtained according to the second image data, which may include : According to the pixel difference between the third image and the fourth image, the positional relationship and the angle relationship between the two second cameras, the second depth map is calculated and obtained based on the principle of triangulation.
  • the first depth map and the second depth map have a certain overlapping area .
  • the overlapping area of the first depth map and the second depth map may be used for fusion to obtain the target depth map.
  • control device when the control device fuses the first depth map and the second depth map to obtain a target depth map, the control device is configured to: determine an overlapping area between the first depth map and the second depth map. ; determining the scaling ratio of the first depth map according to the overlapping area; scaling the first depth map according to the scaling ratio to obtain a third depth map; and merging the second depth map and the third depth map to obtain a target depth map.
  • FIG. 9 is a schematic diagram of overlapping a first depth map and a second depth map provided by an embodiment of the present application. It can be seen from FIG. 9 that the overlapping area includes a first overlapping area 901 located in the first depth map and a second overlapping area 902 located in the second depth map. Since the first binocular vision module 130 and the second The resolutions of the binocular vision modules 140 are different. For example, if the resolution of the second binocular vision module 140 is higher than the resolution of the first binocular vision module 130, relatively speaking, the first binocular vision module The calculation accuracy of 130 is lower than the calculation accuracy of the second binocular vision module 140 . Therefore, the feature points of the depth maps with different calculation accuracy can be matched by the feature point tracking and matching algorithm, so as to obtain the overlapping area of the depth maps.
  • the control device when determining the overlapping area between the first depth map and the second depth map, is configured to: extract a plurality of first feature points from the first depth map ; Match each of the first feature points with the second feature points in the second depth map to obtain a plurality of feature point matching pairs; Determine the first depth according to the plurality of feature point matching pairs The overlapping area between the map and the second depth map.
  • the control device When determining the scaling ratio of the first depth map according to the overlapping area, the control device is configured to: determine the first size of the target object in the first overlapping area, and determine the second a second size of the target object in the overlapping area; determining a scaling ratio of the first depth map according to the first size and the second size.
  • the target object in the first overlapping area is a tree
  • the first size of the tree in the first overlapping area is 9.8m
  • the second size of the tree in the second overlapping area is 10.5m
  • the size of the same target object in the second depth map and the third depth map is the same.
  • the close-up view refers to the scene within the precise observation range.
  • the observation distance of the close-up view is less than the limit observation distance.
  • the limit observation distance of the second binocular vision module 302 is 45m
  • the corresponding precise observation distance may be only about 30m
  • the corresponding close-up view refers to the observation distance of 30m. images within.
  • the movable platform determines the target object around the movable platform according to the image data collected by at least two sets of binocular vision modules with different orientations disposed at different positions on the platform body.
  • the image fusion method is used to fuse the image data in the overlapping area of the field angle ranges of at least two sets of binocular vision modules, and then determine the environmental observation information around the movable platform according to the fused image data to improve the movable platform.
  • the detection accuracy of the platform to the observation information of the surrounding environment thereby improving the safety of the movement of the movable platform.
  • Figure 3 only uses the movable platform as an example to illustrate the two sets of binocular vision modules installed on the UAV.
  • the movable platform exemplarily includes at least one of a drone, an unmanned vehicle, and a mobile robot.
  • the movable platform can include at least two sets of binocular vision modules, and the orientation of each set of binocular vision modules is different. With the change of the speed value of the movable platform in the target direction, the orientation of each set of binocular vision modules is the same as that of the binocular vision modules. The relative orientation relationship between the target orientations changes.
  • FIG. 10 is a schematic diagram of a vehicle provided by an embodiment of the present application.
  • the vehicle 10 includes a vehicle platform 1010 , and the vehicle platform 1010 includes various equipment and components of the vehicle body.
  • Two sets of binocular vision modules are disposed on different positions of the vehicle platform 10 , which are the third binocular vision module 1020 and the fourth binocular vision module 930 , and the third binocular vision module 920 and the fourth binocular vision module 930 respectively.
  • the orientation of the binocular vision module 1030 is different, and as the speed value of the vehicle 10 moving in the target direction changes, the relative directional relationship between the orientation of the third binocular vision module 1020 and the fourth binocular vision module 1030 and the target direction changes. .
  • the vehicle 10 may be a vehicle with an automatic driving system, or may be a vehicle without an automatic driving system, such as an L0 level vehicle.
  • the automatic driving system refers to a system composed of hardware and software that can continuously perform all dynamic driving tasks, regardless of whether there are restrictions on operating conditions.
  • an autonomous driving system refers to a system composed of hardware and software that can continuously perform some or all of the dynamic driving tasks (Dynamic Driving Task).
  • the dynamic driving task (Dynamic Driving Task) is: to complete the perception, decision-making and execution required for vehicle driving. That is, it includes all real-time operational and tactical functions when driving road vehicles, excluding planning functions such as trip planning, destination and path selection, etc.
  • Exemplary dynamic driving tasks include, but are not limited to, tasks such as controlling lateral vehicle motion, controlling longitudinal vehicle motion, monitoring the driving environment and preparing responses by detecting, identifying, and classifying objects and events, and controlling vehicle lighting and signaling devices.
  • the operational design domain plays an important role in autonomous driving, generally including: geographic location, road type, speed range, weather, and time.
  • the third binocular vision module 1020 and the fourth binocular vision module 1030 can be respectively arranged at different positions on the same side of the vehicle 10 , and the third binocular vision module 1020 can observe the vehicle 10 .
  • the fourth binocular vision module 1030 can observe the target object in the direction corresponding to the predetermined angle with the front direction of the vehicle 10 , such as the target object in the left front or the right front of the vehicle 10 .
  • the parameter relationship and function of the third binocular vision module 1020 and the fourth binocular vision module 1030 correspond to the parameter relationship between the first binocular vision module 130 and the second binocular vision module 140. and the corresponding functions are the same.
  • the corresponding attitude information includes the yaw angle.
  • the process of selecting a binocular vision module in the module 1030 you can refer to the above-mentioned changes in the UAV with the pitch angle, and select a binocular vision module in the first binocular vision module 130 and the second binocular vision module 140. group process. Among them, when the vehicle needs to turn, the motion state information will change, and the yaw angle of the corresponding vehicle will change with the change of the vehicle motion state information.
  • FIG. 11 is a schematic flowchart of a method for controlling a movable platform provided by an embodiment of the present application.
  • the movable platform control method can be applied to a control device, and the control device is used to control the movable platform, so as to improve the safety of the movement of the movable platform.
  • the movable platform may be an unmanned aerial vehicle as shown in FIG. 3 , or at least one of an unmanned vehicle and a movable robot.
  • the movable platform includes a platform body and at least two sets of binocular vision modules arranged at different positions on the platform body; each set of binocular vision modules has a different orientation, and moves in a target direction with the movable platform
  • the speed value changes, and the relative direction relationship between the orientation of each group of binocular vision modules and the target direction changes.
  • the movable platform control method includes steps S1101 to S1103.
  • S1101 in the process of moving the movable platform along the target direction, select a binocular vision module from the at least two groups of binocular vision modules, wherein the selected binocular vision module when moving at a first speed value The binocular vision module is different from the binocular vision module selected when moving at the second speed.
  • At least two sets of binocular vision modules include a first binocular vision module and a second binocular vision module, wherein the orientation of the first binocular vision module and the second binocular vision module The orientation is at a preset angle.
  • the at least two sets of binocular vision modules are arranged on different sides of the platform body, or arranged at different positions on the same side of the platform body, so that target objects in different directions can be observed.
  • the first binocular vision module is arranged on the front side of the platform body, which can observe the target object in the direction of the front side of the movable platform;
  • the second binocular vision module is arranged on the upper side of the platform body, which can observe and move the target object.
  • the target object in the corresponding direction where the front side of the platform is at a preset angle.
  • the second binocular vision module can observe the target object in the direction of 90 degrees with the front side of the movable platform, or can observe the target object in the direction of acute angle with the front side of the movable platform, such as movable platform.
  • the parameters of the first binocular vision module and the second binocular vision module are different; for example, the field angles of the first binocular vision module and the second binocular vision module are different, or, The resolutions of the first binocular vision module and the second binocular vision module are different.
  • the binocular vision module is selected from at least two sets of binocular vision modules with different field angles or resolutions to effectively balance the observation range and observation speed of the movable platform. .
  • the viewing angle range of the first binocular vision module and the viewing angle range of the second binocular vision module at least partially overlap.
  • the viewing angle of the first binocular vision module is smaller than the viewing angle of the second binocular vision module, and/or the resolution of the first binocular vision module is smaller than that of the second binocular vision module resolution.
  • the selecting a binocular vision module from the at least two sets of binocular vision modules includes: according to the motion state information of the movable platform, selecting a binocular vision module in the at least two sets of binocular vision modules A binocular vision module is selected from the group, and the motion state information includes at least one of attitude information and motion information.
  • the attitude information includes a pitch angle or a yaw angle
  • the binocular vision module is selected from the at least two sets of binocular vision modules according to the motion state information of the movable platform, Including: selecting a binocular vision module from at least two sets of binocular vision modules according to the pitch angle or yaw angle of the movable platform.
  • selecting a binocular vision module from at least two groups of binocular vision modules according to the pitch angle or yaw angle of the movable platform includes: if the pitch angle of the movable platform changes, and If the pitch angle satisfies the preset vision module change condition, the binocular vision module is selected from the first vision module and the second vision module.
  • the binocular vision module selected from the first vision module and the second vision module group including: if the pitch angle of the movable platform changes to be less than or equal to the first pitch angle, the selected binocular vision module is the second binocular vision module; if the pitch angle of the movable platform changes to be greater than the first pitch angle The pitch angle is less than or equal to the second pitch angle, then the selected binocular vision modules are the first binocular vision module 3 and the second binocular vision module; if the pitch angle of the movable platform changes to be greater than the second binocular vision module If the pitch angle is less than or equal to the third pitch angle, the selected binocular vision module is the first binocular vision module.
  • the motion information includes at least one of speed information, position information and acceleration information of the movable platform
  • the binocular vision module is selected from at least two groups of binocular vision modules, Including: predicting the target position information of the movable platform in the image collected by the binocular vision module after a preset time according to the attitude information of the movable platform and the motion information; The respective corresponding field angles of the binocular vision module and the second binocular vision module are selected, and the binocular vision module is selected from the first binocular vision module and the second binocular vision module.
  • the attitude information includes the pitch angle
  • the attitude information and the motion information predicting the target position information of the movable platform in the image collected by the binocular vision module after a preset time, including: Obtain the first field of view angle range of the first binocular vision module and the second field of view angle range of the second binocular vision module; Set the first target position information of the movable platform in the image collected by the first binocular vision module after the time; according to the second field of view angle range, pitch angle and speed value, it is predicted that the movable platform can move after the preset time.
  • the second target position information of the platform in the image collected by the second binocular vision module is Obtain the first field of view angle range of the first binocular vision module and the second field of view angle range of the second binocular vision module.
  • selecting the binocular vision module according to the target position information and the respective corresponding field angles of the two sets of binocular vision modules includes: if the first target position information is located in the first The field of view angle range, and the second target position information is not located in the second field of view angle range, then the selected binocular vision module is the first binocular vision module; if the first target position information is not located in the first field of view angle range, and the second target position information is located in the range of the second angle of view, then the selected binocular vision module is the second binocular vision module; if the first target position information is located in the range of the first angle of view, and the second binocular vision module is If the target position information is located in the range of the second field of view, the selected binocular vision modules are the first binocular vision module and the second binocular vision module.
  • S1102 Determine environmental observation information according to the image data collected by the selected binocular vision module.
  • determining the environmental observation data according to the image data collected by the selected binocular vision module includes: if the selected binocular vision module is the first binocular vision module, enabling the first binocular vision module A binocular vision module, and the second binocular vision module is disabled; the environment observation data is determined according to the first image data collected by enabling the first binocular vision module.
  • the environmental observation data when the environmental observation data is determined according to the image data collected by the selected binocular vision module, it is used to realize: if the selected binocular vision module is the first binocular vision module, then simultaneously use Can the first binocular vision module and the second binocular vision module; obtain the first image data collected by the first binocular vision module and the second binocular vision module. and down-sampling the second image data to obtain third image data; and determining the environmental observation data according to the first image data and the third image data.
  • determining the environmental observation data according to the image data collected by the selected binocular vision module includes: if the selected binocular vision module is the first binocular vision module and the second binocular vision module a binocular vision module, then simultaneously enable the first binocular vision module and the second binocular vision module; obtain the first image data collected by the first binocular vision module and the second binocular vision module The second image data collected by the binocular vision module; the environment observation data is determined according to the first image data and the second image data.
  • the environmental observation data includes position information of a target object around the movable platform; and the determining the environmental observation data according to the first image data and the second image data includes: : Calculate the first depth map according to the first image data, and obtain the second depth map according to the second image data; fuse the first depth map and the second depth map to obtain the target depth Figure; according to the target depth map, determine the position information of the target object around the movable platform.
  • the obtaining a target depth map by fusing the first depth map and the second depth map includes: determining an overlap between the first depth map and the second depth map area; determine the zoom ratio of the first depth map according to the overlapping area; zoom the first depth map according to the zoom ratio to obtain a third depth map; compare the second depth map and the The third depth map is fused to obtain the target depth map.
  • the second depth map is the same size as the same target object in the third depth map.
  • the determining an overlapping area between the first depth map and the second depth map includes: extracting a plurality of first feature points from the first depth map; matching the first feature point with the second feature point in the second depth map to obtain multiple feature point matching pairs; and determining the first depth map and the first depth map according to the multiple feature point matching pairs The overlapping area between the two depth maps.
  • the overlapping area includes a first overlapping area located in the first depth map and a second overlapping area located in the second depth map, and determining the overlapping area according to the overlapping area
  • the scaling ratio of the first depth map includes: determining a first size of the target object in the first overlapping area, and determining a second size of the target object in the second overlapping area; according to the first size and the second size, determine the scaling of the first depth map.
  • the determining the environmental observation data according to the image data collected by the selected binocular vision module includes: if the selected binocular vision module is the second binocular vision module, then enabling part of the functions of the first binocular vision module, and enabling all the functions of the second binocular vision module;
  • the environment observation data is determined according to the second image data collected by the second binocular vision module.
  • S1103 Control the movement of the movable platform based on the environment observation information.
  • the environment observation information includes position information of the target object; controlling the movement of the movable platform based on the environment observation information includes: controlling the movement of the movable platform based on the position information of the target object.
  • the movable platform needs to be controlled to avoid obstacles. For example, according to the current motion information of the UAV, it is determined to change the speed of the UAV, and take obstacle avoidance measures such as braking or detouring, so as to ensure the flight safety of the UAV within the preset time.
  • the specific process of predicting the movement channel of the movable platform after the preset time and the specific process of controlling the movement of the movable platform can refer to the corresponding process in the aforementioned movable platform embodiment, and will not be repeated here.
  • the movable platform control method uses at least two sets of binocular vision modules with different orientations disposed at different positions of the platform body, wherein the orientations of each set of binocular vision modules are different , the relative directional relationship between the orientation of each group of binocular vision modules and the target direction of the movable platform changes with the speed value of the movable platform moving in the target direction.
  • the binocular vision module is selected from at least two sets of binocular vision modules, so as to determine the environmental observation information according to the image data collected by the selected binocular vision module, and then control the movement of the movable platform according to the determined environmental observation information, so as to improve the performance. The safety of platform movement.
  • FIG. 12 is a schematic flowchart of another method for controlling a movable platform provided by an embodiment of the present application.
  • the movable platform control method can be applied to a control device, and the control device is used to control the movable platform, so as to improve the safety of the movement of the movable platform.
  • the movable platform may be a movable platform as shown in FIG. 3 .
  • the movable platform includes a platform body and at least two sets of binocular vision modules arranged at different positions on the platform body; the The fields of view of the at least two sets of binocular vision modules at least partially overlap.
  • the movable platform control method includes steps S1201 to S1202.
  • S1101 Determine position information of a target object around the movable platform according to the image data collected by the at least two sets of binocular vision modules.
  • the orientation of each group of the binocular vision modules is different, and the angle corresponding to the orientation of each group of the binocular vision modules and the speed direction of the movable platform will follow the movement of the movable platform. changes as the platform moves.
  • the parameters of the at least two sets of binocular vision modules are different.
  • the field angles of the at least two sets of binocular vision modules are different.
  • the resolutions of the at least two sets of binocular vision modules are different.
  • the at least two sets of vision modules are arranged on different sides of the platform body, or arranged at different positions on the same side of the platform body, so that target objects in different directions can be observed.
  • the at least two sets of binocular vision modules include a first binocular vision module and a second binocular vision module.
  • the first binocular vision module can observe the target object in the front side direction of the movable platform, and the second binocular vision module can observe the target object in a predetermined direction from the front side direction. Set the angle corresponding to the target object in the direction.
  • the second binocular vision module is capable of observing the target object above the movable platform.
  • the second binocular vision module can observe the target object in front left or front right of the movable platform.
  • the field of view of the first binocular vision module is smaller than the field of view of the second binocular vision module, and/or the resolution of the first binocular vision module smaller than the resolution of the second binocular vision module.
  • the determining the position information of the target object around the movable platform according to the image data collected by the at least two sets of binocular vision modules includes: collecting according to the first binocular vision module The obtained first image data is calculated to obtain a first depth map; the second depth map is calculated and obtained according to the second image data collected by the second binocular vision module; the first depth map and the second depth map are performed. Fusion to obtain a target depth map; according to the target depth map, determine the position information of the target object around the movable platform.
  • the obtaining a target depth map by fusing the first depth map and the second depth map includes: determining an overlap between the first depth map and the second depth map area; determine the zoom ratio of the first depth map according to the overlapping area; zoom the first depth map according to the zoom ratio to obtain a third depth map; compare the second depth map and the The third depth map is fused to obtain the target depth map.
  • the second depth map is the same size as the third depth map of the same target object.
  • the determining an overlapping area between the first depth map and the second depth map includes: extracting a plurality of first feature points from the first depth map; matching the first feature point with the second feature point in the second depth map to obtain multiple feature point matching pairs; and determining the first depth map and the first depth map according to the multiple feature point matching pairs The overlapping area between the two depth maps.
  • the overlapping area includes a first overlapping area located in the first depth map and a second overlapping area located in the second depth map, and determining the overlapping area according to the overlapping area
  • scaling the first depth map it is used to: determine the first size of the target object in the first overlapping area, and determine the second size of the target object in the second overlapping area;
  • the first size and the second size are used to determine the scaling ratio of the first depth map.
  • S1202 Control the movement of the movable platform based on the position information of the target object.
  • the environment observation information includes position information of the target object; controlling the movement of the movable platform based on the environment observation information includes: controlling the movement of the movable platform based on the position information of the target object.
  • the movable platform needs to be controlled to avoid obstacles. For example, according to the current motion information of the UAV, it is determined to change the speed of the UAV, and take obstacle avoidance measures such as braking or detouring, so as to ensure the flight safety of the UAV within the preset time.
  • FIG. 13 is a schematic structural block diagram of a control apparatus provided by an embodiment of the present application.
  • the control device 130 is installed on the movable platform as shown in FIG. 3 , and the movable platform includes a platform body and at least two sets of binocular vision modules, and the at least two sets of binocular vision modules are arranged on At different positions on the platform body, the orientation of each group of binocular vision modules is different. With the change of the speed value of the movable platform moving in the target direction, the relative direction relationship between the orientation of each group of binocular vision modules and the target direction changes. .
  • the control device 130 includes a processor 1301 and a memory 1302, and the processor 1301 and the memory 1302 are connected by a bus 1303, such as an I3C (Inter-integrated Circuit) bus.
  • the control device 130 is used to control the movable platform.
  • the processor 1301 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU) or a digital signal processor (Digital Signal Processor, DSP) or the like.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 1302 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, or a mobile hard disk, and the like.
  • ROM Read-Only Memory
  • the memory 1302 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, or a mobile hard disk, and the like.
  • the processor 1301 is used for running the computer program stored in the memory 1302, and implements the following steps when executing the computer program:
  • a binocular vision module is selected from the at least two groups of binocular vision modules, wherein the binocular vision module selected when moving at a first speed value A vision module, which is different from the binocular vision module selected when moving at the second speed value;
  • Movement of the movable platform is controlled based on the environmental observation information.
  • the parameters of the at least two sets of binocular vision modules are different.
  • the at least two groups of binocular vision modules have different viewing angles.
  • the resolutions of the at least two sets of binocular vision modules are different.
  • the field of view ranges of the at least two sets of binocular vision modules at least partially overlap.
  • the at least two sets of binocular vision modules are arranged on different sides of the platform body, or at different positions on the same side of the platform body, so that target objects in different directions can be observed.
  • the at least two sets of binocular vision modules include a first binocular vision module and a second binocular vision module.
  • the first binocular vision module can observe the target object in the direction of the front side of the movable platform, and the second binocular vision module can observe the direction of the front side of the movable platform.
  • the target object in the corresponding direction at the preset angle.
  • the second binocular vision module can observe the target object above the movable platform.
  • the second binocular vision module can observe the target object in front left or front right of the movable platform.
  • the field of view of the first binocular vision module is smaller than the field of view of the second binocular vision module, and/or the resolution of the first binocular vision module smaller than the resolution of the second vision module.
  • the processor 1301 is configured to run a computer program stored in the memory 1302, and when performing the selection of a binocular vision module from the at least two groups of binocular vision modules, the following steps are implemented:
  • a binocular vision module is selected from the at least two groups of binocular vision modules, and the motion state information includes at least one of attitude information and motion information.
  • the attitude information includes a pitch angle or a yaw angle
  • the processor 1301 is configured to run the computer program stored in the memory 1302, and implement the motion state information according to the movable platform during execution. , when the binocular vision module is selected in the at least two groups of binocular vision modules, the following steps are implemented:
  • a binocular vision module is selected from the at least two groups of binocular vision modules.
  • the processor 1301 is configured to run a computer program stored in the memory 1302, and select a binocular vision module from the at least two sets of binocular vision modules during execution according to the pitch angle of the movable platform.
  • a binocular vision module from the at least two sets of binocular vision modules during execution according to the pitch angle of the movable platform.
  • the binocular vision module is selected from the at least two groups of vision modules.
  • the processor 1301 is configured to run the computer program stored in the memory 1302, and if the pitch angle of the movable platform changes during execution, and the pitch angle satisfies the preset vision module selection condition, then when selecting a binocular vision module from the at least two groups of binocular vision modules, the following steps are implemented:
  • the selected binocular vision module is the second binocular vision module
  • the selected binocular vision modules are the first binocular vision module and the second binocular vision module ;
  • the selected binocular vision module is the first binocular vision module.
  • the motion state information includes at least one of speed information, position information and acceleration information of the movable platform
  • the processor 1301 is configured to run a computer program stored in the memory 1302, and When performing the selection of a binocular vision module from the at least two groups of binocular vision modules according to the motion state information of the movable platform, the following steps are implemented:
  • attitude information and motion state information of the movable platform predict the target position information of the movable platform in the image collected by the binocular vision module after a preset time;
  • a binocular vision module is selected from the at least two sets of vision modules.
  • the attitude information includes a pitch angle
  • the processor 1301 is configured to run a computer program stored in the memory 1302, and when executing, predicting the passing time according to the attitude information and the motion state information. After the preset time, when the movable platform is in the target position information in the image collected by the binocular vision module, the following steps are implemented:
  • the first field of view angle range, pitch angle and speed information predict the first target position information of the movable platform in the image collected by the first binocular vision module after a preset time
  • pitch angle and speed information predict the second target position information of the movable platform in the image collected by the second binocular vision module after a preset time.
  • the processor 1301 is configured to run a computer program stored in the memory 1302, and when executing, realize the respective corresponding fields of view according to the target position information and at least two sets of the binocular vision modules.
  • the binocular vision module implement the following steps:
  • the selected binocular vision module is the first Binocular vision module
  • the binocular vision module selected is the second field of view. Binocular vision module
  • the selected binocular vision module is the first binocular vision module A binocular vision module and the second binocular vision module.
  • the processor 1301 is configured to run the computer program stored in the memory 1302, and when executing the determination of the environmental observation data according to the image data collected by the selected binocular vision module, the following steps are implemented:
  • the selected binocular vision module is the first binocular vision module, the first binocular vision module is enabled, and the second binocular vision module is disabled;
  • the environment observation data is determined according to the first image data collected by enabling the first binocular vision module.
  • the processor 1301 is configured to run the computer program stored in the memory 1302, and when executing the determination of the environmental observation data according to the image data collected by the selected binocular vision module, the following steps are implemented:
  • the selected binocular vision module is the first binocular vision module, then simultaneously enable the first binocular vision module and the second binocular vision module;
  • the environmental observation data is determined based on the first image data and the third image data.
  • the processor 1301 is used to run the computer program stored in the memory 1302, and when executing the determination of the environmental observation data according to the image data collected by the selected binocular vision module, the following steps are implemented:
  • the selected binocular vision module is the first binocular vision module and the second binocular vision module, then simultaneously enable the first binocular vision module and the second binocular vision module;
  • the environmental observation data is determined based on the first image data and the second image data.
  • the environmental observation data includes the position information of the target object around the movable platform;
  • the processor 1301 is configured to run the computer program stored in the memory 1302, and executes the computer program according to the first The image data and the second image data, when determining the environmental observation data, implement the following steps:
  • a first depth map is obtained by calculating according to the first image data, and a second depth map is obtained by calculating according to the second image data;
  • position information of the target object around the movable platform is determined.
  • the processor 1301 is configured to run a computer program stored in the memory 1302, and when executing the fusion of the first depth map and the second depth map to obtain a target depth map, realize follows the steps below:
  • the second depth map and the third depth map are fused to obtain a target depth map.
  • the second depth map is the same size as the same target object in the third depth map.
  • the processor 1301 is configured to run a computer program stored in the memory 1302, and when executing the determination of the overlapping area between the first depth map and the second depth map, the following steps are implemented: :
  • an overlapping area between the first depth map and the second depth map is determined.
  • the overlapping area includes a first overlapping area located in the first depth map and a second overlapping area located in the second depth map
  • the processor 1301 is configured to run and store in the memory.
  • a scaling ratio of the first depth map is determined according to the first size and the second size.
  • the processor 1301 is configured to run the computer program stored in the memory 1302, and when executing the determination of the environmental observation data according to the image data collected by the selected binocular vision module, the following is achieved: step:
  • the selected binocular vision module is the second binocular vision module, enable part of the functions of the first binocular vision module, and enable all the functions of the second binocular vision module;
  • the environment observation data is determined according to the second image data collected by the second binocular vision module.
  • the movable platform includes at least one of an unmanned aerial vehicle, a manned aerial vehicle, a robot, and an unmanned vehicle.
  • the processor 1301 is configured to run a computer program stored in the memory 1302, and implement the following steps when executing the computer program:
  • the movable platform movement is controlled based on the position information of the target object.
  • the orientation of each group of the binocular vision modules is different, and the angle corresponding to the orientation of each group of the binocular vision modules and the speed direction of the movable platform will follow the movement of the movable platform. changes as the platform moves.
  • the parameters of the at least two sets of binocular vision modules are different.
  • the at least two groups of binocular vision modules have different viewing angles.
  • the resolutions of the at least two sets of binocular vision modules are different.
  • the at least two sets of vision modules are arranged on different sides of the platform body, or arranged at different positions on the same side of the platform body, so that target objects in different directions can be observed.
  • the at least two sets of binocular vision modules include a first binocular vision module and a second binocular vision module.
  • the first binocular vision module can observe the target object in the front side direction of the movable platform, and the second binocular vision module can observe the target object in a predetermined direction from the front side direction. Set the angle corresponding to the target object in the direction.
  • the second binocular vision module can observe the target object above the movable platform.
  • the second binocular vision module can observe the target object in front left or front right of the movable platform.
  • the field of view of the first binocular vision module is smaller than the field of view of the second binocular vision module, and/or the resolution of the first binocular vision module smaller than the resolution of the second binocular vision module.
  • determining the position information of the target object around the movable platform according to the image data collected by the at least two sets of binocular vision modules includes:
  • the first depth map is obtained by calculating according to the first image data collected by the first binocular vision module;
  • the second depth map is obtained by calculating according to the second image data collected by the second binocular vision module;
  • position information of the target object around the movable platform is determined.
  • the fusion of the first depth map and the second depth map to obtain a target depth map includes:
  • the second depth map and the third depth map are fused to obtain a target depth map.
  • the second depth map and the third depth map have the same size of the same target object.
  • the determining an overlapping area between the first depth map and the second depth map includes:
  • an overlapping area between the first depth map and the second depth map is determined.
  • the overlapping area includes a first overlapping area located in the first depth map and a second overlapping area located in the second depth map, and determining the overlapping area according to the overlapping area
  • the scaling of the first depth map including:
  • a scaling ratio of the first depth map is determined according to the first size and the second size.
  • Embodiments of the present application further provide a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, and the computer program includes program instructions, and the processor executes the program instructions to realize the provision of the above embodiments.
  • the steps of the movable platform control method are described in detail below.
  • the computer-readable storage medium may be an internal storage unit of the control device described in any of the foregoing embodiments, such as a hard disk or a memory of the control device.
  • the computer-readable storage medium may also be an external storage device of the control device, such as a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) equipped on the control device ) card, Flash Card, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例提供了一种可移动平台、可移动平台的控制方法及存储介质，通过在平台本体上的不同位置设置具有不同朝向的至少两组双目视觉模组，且随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化，以使在可移动平台沿目标方向运动的过程中，能够在至少两组双目视觉模组中选择双目视觉模组，进而可以根据选择的双目视觉模组采集的图像数据确定环境观测信息，并基于环境观测信息控制可移动平台运动，实现基于可移动平台的运动情况来动态选择双目视觉模组，极大的提高了可移动平台的安全性。

Description

可移动平台、可移动平台的控制方法及存储介质 技术领域
本申请涉及视觉感知技术领域，尤其涉及一种可移动平台、可移动平台的控制方法及存储介质。
背景技术
随着计算机视觉技术的不断发展，其应用也越来越广，比如在无人驾驶领域用于感知周围环境，进而辅助无人驾驶设备的安全运动，例如无人机的安全飞行或其它无人驾驶车辆的安全运动。目前，通过在无人驾驶设备的运动方向安装基于计算机视觉的双目视觉感知模块来保证无人驾驶设备的安全运动。然而，由于无人驾驶设备的嵌入式平台计算量不足，导致无法平衡双目视觉感知模块的分辨率和观测范围，使得仅通过安装于无人驾驶设备运动方向的双目视觉感知模块无法保证无人驾驶设备的安全。
发明内容
基于此，本申请实施例提供了一种可移动平台、可移动平台的控制方法及存储介质，旨在提高可移动平台的安全性。
第一方面，本申请实施例提供一种可移动平台，所述可移动平台包括：
平台本体；
至少两组双目视觉模组，设置在所述平台本体上的不同位置，每组所述双目视觉模组的朝向不同，随所述可移动平台在目标方向运动的速度值变化，每组所述双目视觉模组的朝向与所述目标方向之间的相对方向关系变化；
控制装置，设置在所述平台本体内，所述控制装置用于实现以下步骤：
在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度值运动时选择的所述双目视觉模组；
根据选择的所述双目视觉模组采集的图像数据确定环境观测信息；
基于所述环境观测信息控制所述可移动平台运动。
第二方面，本申请实施例还提供了一种可移动平台，所述可移动平台包括：
平台本体；
至少两组双目视觉模组，设置在所述平台本体上的不同位置，所述至少两组双目视觉模组的视场角范围至少部分重叠；
控制装置，设置在所述平台本体内，所述控制装置用于：
根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息；
基于所述目标对象的位置信息控制所述可移动平台运动。
第三方面，本申请实施例还提供一种可移动平台的控制方法，所述可移动平台包括平台本体以及设置在所述平台本体上的不同位置的至少两组双目视觉模组；每组所述双目视觉模组的朝向不同，随所述可移动平台在目标方向运动的速度值变化，每组所述双目视觉模组的朝向与所述目标方向之间的相对方向关系变化；所述方法包括：
在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度值运动时选择的所述双目视觉模组；
根据选择的所述双目视觉模组采集的图像数据确定环境观测信息；
基于所述环境观测信息控制所述可移动平台运动。
第四方面，本申请实施例还提供一种可移动平台控制方法，所述可移动平台包括平台本体以及设置在所述平台本体上的不同位置的至少两组双目视觉模组，所述至少两组双目视觉模组的视场角范围至少部分重叠；所述方法包括：
根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息；
基于所述目标对象的位置信息控制所述可移动平台运动。
第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第三方面所述的可移动平台控制方法，或所述计算机程序被处理器执 行时使所述处理器实现如上第四方面所述的可移动平台的控制方法。
本申请实施例提供了一种可移动平台、可移动平台的控制方法及存储介质，通过在平台本体上的不同位置设置具有不同朝向的至少两组双目视觉模组，且随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化，以使在可移动平台沿目标方向运动的过程中，能够在至少两组双目视觉模组中选择双目视觉模组，进而可以根据选择的双目视觉模组采集的图像数据确定环境观测信息，并基于环境观测信息控制可移动平台运动，实现基于可移动平台的运动情况来动态选择双目视觉模组，极大的提高了可移动平台的安全性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种无人机的结构示意图；
图2是本申请实施例提供的双目视觉模组的观测范围的一场景示意图；
图3是本申请实施例提供的另一种无人机的局部结构示意图；
图4是本申请实施例提供的双目视觉模组的视场角范围示意图；
图5是本申请实施例提供的一种视场角与无人机的姿态信息之间的变化示意图；
图6是本申请实施例提供的另一种视场角与无人机的姿态信息之间的变化示意图；
图7是本申请实施例提供的又一种视场角与无人机的姿态信息之间的变化示意图；
图8是本申请实施例提供的无人机的位置信息与视场角范围之间的关系示意图；
图9是本申请实施例提供的第一深度图与第二深度图的重叠示意图；
图10是本申请实施例提供的一种车辆的结构示意图；
图11是本申请实施例提供的一种可移动平台控制方法的示意流程图；
图12是本申请实施例提供的另一种可移动平台控制方法的示意流程图；
图13是本申请实施例提供的一种控制装置的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
首先，结合图1及图2对现有的可移动平台以及可移动平台的视觉系统进行示例性的说明。目前，常见的可移动平台例如无人机，其视觉系统为双目视觉模组(Stereo Vision System)，如图1所示，图1是本申请实施例提供的一种无人机的结构示意图。由图1可知，现有的无人机的双目视觉模组130设置在无人机100的前端，用于感知周围环境，从而辅助无人机100的安全运动。具体地，由图1可知，现有无人机的双目视觉模组包括第第一摄像头131和第二摄像头132。其中，第一摄像头131和第二摄像头132分别用于拍摄同一时刻，不同角度的两张照片，进而由控制装置(图1中未示出)根据两张照片的差异，以及第一摄像头131和第二摄像头132之间的视场角位置关系，可确定拍摄场景内物体与第一摄像头131和第二摄像头132之间的距离关系，将拍摄场景内物体与第一摄像头131和第二摄像头132之间的位置关系在同一图像上进行显示，可得到拍摄场景内物体的深度图(Depth Map)，进一步根据拍摄场景内物体的深度图确定无人机100周围的环境观测信息。而在实际应用中，由于第一摄像头131和第二摄像头132均是定焦镜头，第一摄像头131和第二摄像头132的焦距一旦确定，则如图2所示，对应双目视觉模组的观测距离与观测范围也就确定，且观测距离与观测范围呈反比关系，即观测距离越大，对应的观测范围越小，反之相同。
另外，由于嵌入式平台计算量的不足，导致应用于可移动平台上的双目视 觉模组的分辨率也比较低，在设计双目视觉模组的时候就要权衡考虑观测距离与观测范围，从而确定焦距。这个平衡点总是很难把握，往往是牺牲了观测范围来保全观测距离，从而提高运动速度，但在运动速度有效提升的同时，由于观测范围变小了，又无法保证运动的安全性。
为了解决上述问题，本申请实施例提供了一种可移动平台、可移动平台的控制方法及存储介质，通过在平台本体上的不同位置设置具有不同朝向的至少两组双目视觉模组，且随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化，以使在可移动平台沿目标方向运动的过程中，能够在至少两组双目视觉模组中选择双目视觉模组，进而可以根据选择的双目视觉模组采集的图像数据确定环境观测信息，并基于环境观测信息控制可移动平台运动，实现基于可移动平台的运动情况来动态选择双目视觉模组，极大的提高了可移动平台的安全性。
请参阅图3，图3是本申请实施例提供的另一种无人机的局部结构示意图。需要说明的是，图3所示的无人机的完整结构包括图1所示的无人机和图3所示的局部结构，图3仅示例性地示出了本申请实施例提供的无人机与现有无人机存在的局部差异部分。由图3可知，在本申请的实施例中，无人机100除了包括图1所述的机身110、动力系统120、设置在机身110的前侧(机身110的前侧通常称为机头)的第一双目视觉模组130之外，该无人机100还包括设置在机身110上的第二双目视觉模组140，且第二双目视觉模组140与第一双目视觉模组130具有不同的位置和朝向。此外，无人机100还包括控制装置(控制装置在图3中未示出)。
其中，动力系统120可以包括一个或多个螺旋桨121、与一个或多个螺旋桨相对应的一个或多个电机122、一个或多个电子调速器(简称为电调)。其中，电机122连接在电子调速器与螺旋桨121之间；电子调速器用于接收控制装置产生的驱动信号，并根据驱动信号提供驱动电流给电机122，以控制电机122的转速。电机122用于驱动螺旋桨121旋转，从而为无人机100的飞行提供动力，该动力使得无人机100能够实现一个或多个自由度的运动。在某些实施例中，无人机100可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、偏航轴和俯仰轴。应理解，电机122可以是直流电机，也可以交 流电机。另外，电机122可以是无刷电机，也可以是有刷电机。示例性的，无人机100可例如为四旋翼无人机、六旋翼无人机、八旋翼无人机。当然，也可以是固定翼无人机，还可以是旋翼型与固定翼无人机的组合，在此不作限定。
其中，第一双目视觉模组130和第二双目视觉模组140可以分别设置在无人机110的机头位置，第一双目视觉模组130能够观测无人机100的前侧方向上的目标对象，第二双目视觉模组140能够观测与无人机100的前侧方向呈预设夹角对应方向上的目标对象。示例性地，在无人机100的机头处设置有刚性支架，该刚性支架包括第一部分和第二部分，其中，第一部分用于承载第一双目视觉模组130，第二部分用于承载第二双目视觉模组140。
示例性地，第一双目视觉模组130朝向无人机的前侧，能够观测无人机100前侧方向上的目标对象；第二双目视觉模组140朝向无人机100的上侧，能够观测与无人机100前侧方向呈预设夹角的对应方向上的目标对象。示例性地，第二双目视觉模组140能够观测与无人机100前侧方向呈90度方向上的目标对象。
进一步地，图1和图3仅示出了第一双目视觉模组130和第二双目视觉模组140在无人机100上的一种位置关系，并不能构成第一双目视觉模组130与第二双目视觉模组140在无人机100上的位置关系限制，例如，第一双目视觉模组130和第二双目视觉模组140还可以设置在无人机100机身的同一侧的不同位置，分别用于观测不同方向上的目标对象。
在一些实施例中，随无人机100在目标方向运动的速度值变化，第一双目视觉模组130和第二双目视觉模组140的朝向与目标方向之间的相对方向关系变化。其中，所述目标方向为预设的无人机100的运动方向，例如水平方向、与水平方向呈预设夹角的方向(如左前方、右前方)或者垂直方向等，当无人机100在目标方向运动的速度值变化，例如，沿水平方向加速运动时，随着速度的提升，无人机100可能会发生不同角度的倾斜，对应设置在机身110上的第一双目视觉模组130和第二双目视觉模组140随着机身110的倾斜，各自对应的朝向均可能会发生变化。具体地，第一双目视觉模组130和第二双目视觉模组140各自的朝向发生变化之后，与无人机100运动的目标方向之间的相对方向关系也会发生变化，进而能够在无人机100运动的过程中，保证其观测范 围。
在一些实施例中，第一双目视觉模组130和第二双目视觉模组140的参数不同；例如，第一双目视觉模组130和第二双目视觉模组140的视场角不同，或者，第一双目视觉模组130和第二双目视觉模组140的分辨率不同。在无人机100运动的过程中，通过在具有不同视场角或者分辨率的至少两组双目视觉模组中选择双目视觉模组，来达到有效地平衡无人机100的观测范围和观测速度。
具体地，如图4所示，第一双目视觉模组130的第一视场角401的范围小于第二双目视觉模组140的第二视场角402的范围。也即，第一双目视觉模组130相对于第二双目视觉模组140可以为小视场角(如水平视场角为73度，垂直视场角为58度)的双目视觉模组，主要用于观测无人机100前侧方向上的目标对象；第二双目视觉模组140相对于第一双目视觉模组140可以为大视场角(例如水平视场角为63度，垂直视场角为78.8度)的双目视觉模组，主要用于观测与无人机100前侧方向呈预设夹角的对应方向上的目标对象。例如，观测无人机100上方的目标对象。
在一些实施例中，第一双目视觉模组130的分辨率小于第二双目视觉模组140的分辨率。例如，第一双目视觉模组130的分辨率为640×480，第二双目视觉模组140的分辨率为1280×960。
进一步地，第一双目视觉模组130的观测距离与第二双目视觉模组140的观测距离不同。例如，第一双目视觉模组130的观测距离小于(假设为25米)第二双目视觉模组140的观测距离(假设为45米)。
在一些实施例中，第一双目视觉模组130的视场角范围与第二双目视觉模组140的视场角范围至少部分重叠。
请参阅图5，图5是本申请实施例提供的一种视场角与无人机的姿态信息之间的变化示意图。由图5可知，在无人机100处于水平悬停时，第一双目视觉模组130朝向正前方，对应的第一视场角范围401为水平向下29度至水平向上29度；第二双目视觉模组140朝向正上方，对应的第二视场角范围402为铅垂向左68度至铅垂向右10.8度；第一双目视觉模组130的第一视场角401与第二双目视觉模组140的第二视场角402的重叠区域501在水平向上22度 至29度之间，且重叠区域501对应的重叠角度为7度。
请参阅图6，图6是本申请实施例提供的另一种视场角与无人机的姿态信息之间的变化示意图。由图6可知，在无人机100低速向前运动时，随着无人机100向前运动的速度值不同，第一双目视觉模组130的朝向与无人机100的运动方向之间的相对方向关系，以及第二双目视觉模组140的朝向与无人机100的运动方向之间的相对方向关系均会变化。具体地，第一双目视觉模组130的第一视场角401的范围可以为水平向下49度至水平向上9度；第二双目视觉模组140的第二视场角402范围可以为水平向上2度至铅锤线向左9.2度；第一双目视觉模组130的第一视场角401和第二双目视觉模组140的第二视场角402的重叠区域501在水平向上2度至9度之间，且重叠区域的角度范围为7度。
请参阅图7，图7是本申请实施例提供的又一视场角与无人机的姿态信息之间的变化示意图。由图7可知，在无人机100高速向前飞行时，对应第一双目视觉模组130的朝向与无人机100的运动方向之间的相对方向关系，以及第二双目视觉模组140的朝向与无人机100的运动方向之间的相对方向关系均会发生变化。具体地，第一双目视觉模组130的第一视场角401的范围可以为水平向下60度至水平线向下1度；第二双目视觉模组140的第二视场角的范围可以为水平向下8度至铅垂线向左70.8度；第一双目视觉模组130的第一视场角401与第二双目视觉模组140的第二视场角402的重叠区域501在水平向下1度至8度之间，重叠区域501的角度范围为7度。
图5至图7分别示出了无人机100在以不同的速度值运动时，在对应速度值下，第一双目视觉模组130和第二双目视觉模组140的视场角范围的重叠示意图。由于双目视觉模组的分辨率越高时，对应双目视觉模组的观测精度也越高，而在本实施例中，第一双目视觉模组130相对于第二双目视觉模组140来说，对应的分辨率较低，当第一双目视觉模组130与第二双目视觉模组140的视场角范围至少部分重叠时，可以基于重叠区域，通过图像融合技术，来提高第一双目视觉模组130采集的图像数据的精度。
由图5至图7可知，随着无人机100的运动方向变化，第一双目视觉模组130与第二双目视觉模组140的视场角范围的重叠角度大小相同，但是第一双 目视觉模组130和第二双目视觉模组140在无人机100的不同速度值以及不同姿态信息下，各自的朝向不同。
其中，随着无人机100的速度值不同，对应无人机100的姿态信息不同。在不同的姿态信息下，无人机100选择的双目视觉模组也不同。
其中，控制装置可以包括控制器和传感系统。控制器用于控制无人机100的运动，例如，可以根据传感系统测量的姿态信息控制无人机100的运动。应理解，控制器可以按照预先编好的程序指令对无人机100进行控制。传感系统用于测量无人机100的姿态信息，即无人机100在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。
传感系统例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit，IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如，全球导航卫星系统可以是全球定位系统(Global Positioning System，GPS)。
控制器可以包括一个或多个处理器和存储器。处理器例如可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。存储器可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
在本申请的实施例中，控制装置设置在无人机100的机身110内，用于在无人机100沿目标方向运动的过程中，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组，其中，以第一速度值运动时选择的双目视觉模组，不同于以第二速度值运动时选择的双目视觉模组；根据不同的速度值选择的双目视觉模组采集的图像数据确定环境观测信息；以提高基于环境观测信息控制无人机100运动的安全性。
具体地，控制装置用于在无人机100沿目标方向运动的过程中，根据无人机100的姿态信息，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组，而无人机100的姿态信息随可移动平台在目标方向的速度值不同而不同，因此实现了根据无人机100以不同的速度值在目标方向运动时，选择不同的双目视觉模组来采集图像数据，并根据选择的双目视觉模组采集的图 像数据确定环境观测信息，进而基于确定的环境观测信息控制无人机100运动，保证了无人机100在以不同速度值运动时的安全性。
在一些实施例中，控制装置在实现在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组时，用于实现：根据无人机100的运动状态信息，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组。其中，运动状态信息包括姿态信息和运动信息中的至少一种。姿态信息包括俯仰角或偏航角。
具体地，姿态信息与无人机100在目标方向上运动的速度值相关，当无人机100以不同的速度值在目标方向上运动时，其对应的姿态信息会发生相应的变化。例如无人机在以不同的速度值飞行时，由无人机的飞行特性可知，无人机会有不同角度的倾斜，对应的俯仰角不同。
例如，无人机在低速向前飞行时，会向前倾斜，此时对应的俯仰角通常小于0，且在一定的范围内，例如小于或等于-22度；而无人机在高速向前飞行时，对应向前倾斜的角度会变大，此时对应的俯仰角通常小于-20度，例如小于-20度并大于或等于-29度。
对应地，控制装置在实现根据运动状态信息，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组时，用于实现：根据无人机100的俯仰角或偏航角，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组。具体地，无人机100的俯仰角发生变化，且俯仰角满足预设视觉模组选择条件，则在第一双目视觉模组130和第二双目视觉模组140中选择的双目视觉模组。
在一些实施例中，控制装置在实现若无人机100的俯仰角发生变化，且俯仰角满足预设视觉模组变化条件，则从第一双目视觉模组130和第二双目视觉模组140中选择的双目视觉模组时，用于实现：若无人机100的俯仰角变化为小于或等于第一俯仰角，则无人机100所选的双目视觉模组为第二双目视觉模组140；若无人机100的俯仰角变化为大于第一俯仰角，且小于或等于第二俯仰角，则无人机100所选的双目视觉模组为第一双目视觉模组130和第二双目视觉模组140；若无人机100的俯仰角变化为大于第二俯仰角，且小于或等于第三俯仰角，则无人机100所选的双目视觉模组为第一双目视觉模组130。
其中，第一俯仰角、第二俯仰角以及第三俯仰角为根据无人机100的运动特征预先设置的值，具体不做限定。示例性地，第一俯仰角可以为-29度，第二俯仰角可以为-22度，第三俯仰角可以为29度。
在一些实施例中，当无人机100处于水平悬停或者是垂直上升下降时，无人机100在水平方向上的速度值为0，在垂直方向上的速度值小于或等于预设的第一速度值。其中，预设的第一速度值为无人机100准备飞行或准备降落时的速度值，通常比较小，例如为20m/s。而当无人机100在水平方向上的速度值为0，在垂直方向上的速度值小于或等于第一速度值时，可以选择不采集水平方向上的图像数据，仅采集垂直方向上较近距离的图像数据，例如25m以内的图像数据；此时，可以选择第二双目视觉模组140采集垂直方向的图像数据，以保证得到垂直方向上所需观测范围内的环境观测信息，进而保证无人机100在垂直方向上升或下降的安全性。
此外，在保证能够获取环境观测信息的同时为了降低无人机100的系统消耗，还可以选择对第二双目视觉模组140采集的图像数据，进行降采样处理。
当无人机100开始起飞时，首先需要低速向前飞行，此时无人机100会有较小角度的倾斜。例如，无人机100以较低速度值(小于或等于第一速度值)水平向前飞行，或者以较低速度值倾斜向上飞行时，随着飞行速度值的不同，无人机100会发生不同程度的小角度倾斜；通常无人机100在第一速度值以内向前飞行时，对应的俯仰角大于第二俯仰角且小于第三俯仰角，例如第二俯仰角为-22度，第三俯仰角为29度；此时，选择第一双目视觉模组130采集水平方向和倾斜向下的图像数据。无人机100在第一速度值以内倾斜向上飞行时，对应的俯仰角大于第一俯仰角且小于第二俯仰角；此时，选择第一双目视觉模组130采集水平方向的图像数据，选择第二双目视觉模组140采集斜上方的图像数据。
当无人机100快速向前飞行时，会发生较大程度的倾斜，此时对应的俯仰角为较大的负值，例如，小于第一俯仰角(-29度)。此时，可以选择第二双目视觉模组140观测斜上方的环境观测信息。需要说明的是，无人机100在快速向前飞行的过程中，俯仰角的变化不会超过最大变化阈值，例如50度，这是因为如果超过最大变化阈值，则会发生翻转。
在本申请的实施例中，为了保证无人机100在目标方向上以不同速度值运动时的安全性，预设了第一俯仰角、第二俯仰角以及第三俯仰角，并根据无人机的俯仰角变化与第一俯仰角、第二俯仰角以及第三俯仰角之间的关系，来选择用于观测环境观测信息的双目视觉模组，提高了无人机运动的安全性。
在一些实施例中，运动信息包括无人机的速度信息、位置信息和加速度信息中的至少一种，控制装置在实现根据无人机的速度信息、位置信息和加速度信息，在至少两组双目视觉模组中选择双目视觉模组时，用于实现：根据无人机101的姿态信息和运动信息，预测无人机100经过预设时间后在双目视觉模组采集到的图像中的目标位置信息；根据目标位置信息、第一双目视觉模组130和第二双目视觉模组140各自对应的视场角，变换无人机100所选的双目视觉模组。
其中，所述姿态信息包括俯仰角，控制装置在实现根据姿态信息和运动信息，预测经过预设时间后可移动平台在双目视觉模组采集到的图像中的目标位置信息时，用于实现：获取第一双目视觉模组130的第一视场角范围和第二双目视觉模组140的第二视场角范围；根据所述第一视场角范围、俯仰角和运动信息，预测经过预设时间后无人机100在第一双目视觉模组130采集到的图像中的第一目标位置信息；根据所述第二视场角范围、俯仰角和运动信息，预测经过预设时间后无人机100在第二双目视觉模组140采集到的图像中的第二目标位置信息。
其中，第一视场角包括第一双目视觉模组130在水平方向的第一水平视场角和在垂直方向的第一垂直视场角；当第一双目视觉模组130用于观测无人机100前侧的环境观测信息时，第一水平视场角为前视图像的水平方向视场角，第一垂直视场角为前视图像的垂直方向视场角；运动信息包括无人机100沿水平方向的第一速度值、沿垂直方向的第二速度值、沿左方向或沿右方向的第三速度值。
在一实施例中，所述根据所述第一视场角范围、俯仰角和速度值，预测经过预设时间后无人机100在第一双目视觉模组130采集到的图像中的第一目标位置信息，包括：根据第一水平视场角、第一速度值和第三速度值，计算经过预设时间后无人机100的质心点在第一双目视觉模组130采集到的图像中的第 一水平坐标；根据第一垂直视场角、俯仰角、第一速度值和第二速度值，预测经过预设时间后无人机100的质心点在第一双目视觉模组130采集到的图像中的第一垂直坐标；根据第一水平坐标、第一垂直坐标和无人机100的尺寸大小，预测第一目标位置信息。
具体地，假设第一水平坐标为u 前，第一垂直坐标为v 前，则
Figure PCTCN2021080582-appb-000001
Figure PCTCN2021080582-appb-000002
其中，α表示第一水平视场角，vel_x表示无人机沿垂直方向的第二速度值，vel_y表示无人机沿水平方向的第一速度值，β表示第一垂直视场角，atti_pitch表示俯仰角，W 前表示第一双目视觉模组的视场宽度，H 前表示第一双目视觉模组的视场长度。
例如，α等于73度，β等于58度，W 前等于640，H 前等于480。
其中，第二视场角包括第二双目视觉模组140在水平方向的第二水平视场角和在垂直方向的第二垂直视场角；当第二双目视觉模组140用于观测无人机100上侧的环境观测信息时，第二水平视场角为上视图像的水平视场角，第二垂直视场角为上视图像的垂直视场角。
示例性的，所述根据所述第二视场角范围、俯仰角和速度值，预测经过预设时间后无人机100在第二双目视觉模组140采集到的图像中的第二目标位置信息，包括：根据第二水平视场角、第一速度值和第三速度值，计算经过预设时间后无人机100的质心点在第二双目视觉模组140采集到的图像中的第二水平坐标；根据第二垂直视场角、第一速度值和第二速度值，预测经过预设时间后无人机100的质心点在第二双目视觉模组140采集到的图像中的第二垂直坐标；根据第二水平坐标、第二垂直坐标和无人机100的尺寸大小，预测第二目标位置信息。
具体地，假设第二水平坐标为u 上，第一垂直坐标为v 上，则
Figure PCTCN2021080582-appb-000003
Figure PCTCN2021080582-appb-000004
其中，δ表示第二水平视场角，η表示第二垂直视场角，W 上表示第二双目视觉模组的视场宽度，H 上表示第二双目视觉模组的视场长度。
例如，δ等于63度，η等于78.8度，W 上等于960，H 上等于480。
在一些实施例中，预设时间可以是预先设置的任意时长，例如可以是1秒，2秒，3秒等等。
举例说明，假设无人机100的尺寸大小是30cm×40cm，则需要在计算出的无人机100在第一双目视觉模组130采集的图像中的质心点位置后，在计算得到的质心点位置处预留大于30cm×40cm(例如，预留40cm×50cm的位置，在宽和长方向分别预留了10cm的裕量)的尺寸作为预测的无人机100经过预设时间1s后的位置信息，将预测的该位置信息也可以称为运动通道，在本实施例中，可移动平台为无人机，则预测的位置信息还可以称为飞行通道。
依次类推，当预设时间为2s，3s，...，n秒时，可以分别预测出无人机100在第一双目视觉模组130采集的图像中的位置信息和无人机100在第二双目视觉模组140采集的图像中的位置信息。需要说明的是，无人机100的质心点为预测的位置信息的中心点，也可以称为运动通道的中心点。
在预测经过预设时间后无人机100的位置信息之后，可以通过通过对应所选的双目视觉模组来观测在预测的位置信息处，是否存在目标对象，若在预测的位置信息处，存在目标对象，则需要根据当前无人机的运动信息，确定变换无人机的速度，采取刹车，或者绕道飞行等避障措施，以保证无人机在预设时间内的飞行安全。
此外，还可以根据无人机100的质心点在当前时刻的位置坐标，无人机100的速度值和预设时间，计算出经过预设时间后的质心点的位置坐标，进一步根据相机投影关系，将计算出的质心点的位置坐标分别投影在第一双目视觉 模组130采集的图像和第二双目视觉模组140采集的图像中。具体地，根据相机投影关系可以分别由第一双目视觉模组130和第二双目视觉模组140所采用的相机确定，通常相机确定之后对应的相机投影关系也为确定的，具体可以参见现有相机的投影关系，在此不做具体限定及解释。
在一些实施例中，控制装置在实现根据目标位置信息、第一双目视觉模组130和第二双目视觉模组140各自对应的视场角，变换无人机100所选的双目视觉模组时，用于实现：若第一目标位置信息位于第一视场角范围，而第二目标位置信息不位于第二视场角范围，则变换无人机100所选的双目视觉模组为第一双目视觉模组130；若第一目标位置信息不位于第一视场角范围，而第二目标位置信息位于第二视场角范围，则变换无人机100所选的双目视觉模组为第二双目视觉模组140；若第一目标位置信息位于第一视场角范围，且第二目标位置信息位于第二视场角范围，则变换无人机100所选的双目视觉模组为第一双目视觉模组130和第二双目视觉模组140。
示例性地，请参阅图8，图8是无人机的位置信息与双目视觉模组的视场角范围之间的关系示意图。由图8可知，在本实施例中，无人机100的第一目标位置信息801和第二目标位置信息802重合，且位于第一视场角范围401和第二视场角范围402的重合范围内，此时，选择的双目视觉模组包括第一双目视觉模组130和第二双目视觉模组140。
可以理解地，图8仅是示例性地说明，无人机100的第一目标位置信息801还可以位于第一视场角范围与第二视场角范围不重合的区域，也可以不位于第一视场角范围内；无人机100的第二目标位置信息802也可以位于第二视场角范围内与第一视场角范围不重合的区域，或者可以不位于第二视场角范围内。具体地，在本申请的实施例中，通过无人机100的第一目标位置和第二目标位置分别与第一视场角范围和第二视场角范围的关系，来变换无人机100所选的双目视觉模组，以保证无人机100所选的双目视觉模组能够采集到无人机100所在位置处的图像信息，进而根据采集到的无人机100所在位置处的图像信息确定无人机100周围的环境观测信息，实现根据无人机100周围的环境观测信息控制无人机100运动，提高无人机100安全运动的同时，降低无人机100的功耗。
在一些实施例中，控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：若选择的双目视觉模组为第一双目视觉模组130，则使能第一双目视觉模组130，且不使能第二双目视觉模组140；根据使能第一双目视觉模组130采集到的第一图像数据，确定环境观测数据。
其中，当选择的双目视觉模组为第一双目视觉模组130，在无人机100的一些运动场景下，可以仅通过第一双目视觉模组130来观测无人机100在目标方向上的环境观测信息，以降低无人机100的系统消耗。示例性地，当无人机100低速水平飞行时，主要需要观测前方和斜下方的环境观测信息，且只需观测较近距离的环境观测信息，仅通过第一双目视觉模组130可以完全保证无人机100的飞行安全。
在一些实施例中，控制装置在实现根据选择的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：若所选的双目视觉模组为第一双目视觉模组130，则同时使能第一双目视觉模组130和第二双目视觉模组140；获取第一双目视觉模组130采集到的第一图像数据和第二双目视觉模组140采集到的第二图像数据，并对第二图像数据进行下采样，得到第三图像数据；根据第一图像数据和第三图像数据，确定环境观测数据。
其中，当选择的双目视觉模组为第一双目视觉模组130，在无人机100的一些运动场景下，可以同时使能第一双目视觉模组130和第二双目视觉模组140，以保证无人机100运动的安全性。示例性地，当无人机100斜向上飞行时，在预设时间内，无人机100可能一直处于第一双目视觉模组130的第一视场角范围内，对应选择的双目视觉模组为第一双目视觉模组130，但是在下一秒，无人机100可能进入第二双目视觉模组140的第二视场角范围内，因此，需要同时使能第二双目视觉模组140采集无人机100斜上方的图像数据。
可以理解地，在无人机100低速斜向上飞行过程中，由于无人机100的速度较小，因此，可以对第二双目视觉模组140采集到的第二图像数据进行下采样，以在实现无人机100安全飞行的同时，降低系统消耗。
在一些实施例中，控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：若所选的双目标视觉模组为第一双目视觉模组130和第二双目视觉模组140，则同时使能第一双目视觉模组130和第 二双目视觉模组140；获取第一双目视觉模组130采集到的第一图像数据和第二双目视觉模组140采集到的第二图像数据；根据第一图像数据和第二图像数据，确定环境观测数据。
其中，当无人机100进入正常运动状态时，其会相对产生较大的倾斜，对应处于第一双目视觉模组130的第一视场角范围和第二双目视觉模组140的第二视场角范围的重合区域；对应地，需要同时使能第一双目视觉模组130和第二双目视觉模组140，来保证无人机100运动的安全性。示例性地，当无人机100高速向前飞行时，需要使能第一双目视觉模组130采集前方及斜下方的图像数据，同时需要使能第二双目视觉模组140采集斜上方的图像数据。
在一些实施例中，控制装置在实现根据所选的双目视觉模组采集到的图像数据控制无人机100运动时，用于实现：若所选的双目视觉模组为第二双目视觉模组140，则使能第一双目视觉模组140的部分功能，并使能第二双目视觉模组140的全部功能；根据第二双目视觉模组140采集到的第二图像数据，确定无人机100周围的目标对象的位置信息；根据无人机100周围的目标对象的位置信息，控制无人机100运动。
例如，在无人机100以较大速度飞行时，需要对第二双目视觉模组140采集的图像数据进行全采样，以便得到更远距离的观测，进而保证无人机100在斜向上飞行的安全性。而第一双目视觉模组130主要用于采集斜下方的图像数据，可以选择不用跑天空检测、自标定等部分功能，也即关闭第一双目视觉模组130对上方图像数据的采集功能，以降低无人机的系统消耗；甚至当无人机在斜向上飞行时，可以选择降低后视的计算频率，或者关闭后视的天空水面检测等功能，因为此时向前速度很快，前向动能很大，无人机不可能在短时间内变成向后飞行，可以不用关心后方的环境观测数据。
通过上述分析可知，本申请实施例提供的可移动平台，通过设置在平台本体不同位置的具有不同朝向的至少两组双目视觉模组，其中，每组双目视觉模组的朝向不同，每组双目视觉模组的朝向与可移动平台目标方向之间的相对方向关系，随可移动平台在目标方向运动的速度值变化而变化，在可移动平台沿目标方向运动过程中，在至少两组双目视觉模组中选择双目视觉模组，以实现根据选择的双目视觉模组采集的图像数据确定环境观测信息，进而根据确定的 环境观测信息控制可移动平台运动，来提高可以平台运动的安全性。
示例性地，环境观测数据包括所述可移动平台周围的目标对象的位置信息；在一些实施例中，控制装置在实现根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据时，用于实现：根据第一图像数据计算得到第一深度图，并根据第二图像数据计算得到第二深度图；对第一深度图和第二深度图进行融合，得到目标深度图；根据目标深度图，确定可移动平台周围的目标对象的位置信息。由于第一深度图和第二深度图是有具有不同分辨率或者观测范围的两组不同的双目视觉模组分别得到，对第一深度图和第二深度图进行图像融合，可以实现将低分辨率的双目视觉模组采集的深度图进行缩放，以提高低分辨率的双目视觉模组的观测精度。
其中，第一图像数据包括第一双目视觉模组130的两个第一摄像头在同一时刻，不同角度下拍摄的第一图像和第二图像；根据所述第一图像数据计算得到第一深度图，可以包括：根据第一图像和第二图像之间的像素差异、两个第一摄像头之间的位置关系以及角度关系，基于三角定位原理计算得到第一深度图。
第二图像数据包括第二双目视觉模组140的两个第二摄像头在同一时刻，不同角度下拍摄的第三图像和第四图像；根据第二图像数据计算得到第二深度图，可以包括：根据第三图像和第四图像之间的像素差异、两个第二摄像头之间的位置关系以及角度关系，基于三角定位原理计算得到第二深度图。
其中，由于第一双目视觉模组130的视场角范围与第二双目视觉模组140的视场角范围至少部分重合，因此，第一深度图和第二深度度有一定的重合区域。在本申请的实施例中，可以利用第一深度图和第二深度图的重合区域进行融合，得到目标深度图。
示例性地，控制装置在实现对所述第一深度图和所述第二深度图进行融合，得到目标深度图时，用于实现：确定第一深度图与第二深度图之间的重叠区域；根据重叠区域，确定第一深度图的缩放比例；根据缩放比例对第一深度图进行缩放，得到第三深度图；对第二深度图和第三深度图进行融合，得到目标深度图。
如图9所示，图9是本申请实施例提供的第一深度图与第二深度图的重叠 示意图。由图9可知，重叠区域包括位于所述第一深度图中的第一重叠区域901和位于所述第二深度图中的第二重叠区域902，由于第一双目视觉模组130和第二双目视觉模组140的分辨率不同，例如，假设第二双目视觉模组140的分辨率高于第一双目视觉模组130的分辨率，相对而言，第一双目视觉模组130的计算精准度低于第二双目视觉模组140的计算精准度。因此，可以通过特征点跟踪匹配算法将不同计算精准度下的深度图进行特征点匹配，以得到深度图的重叠区域。
在一些实施例中，控制装置在实现确定所述第一深度图与所述第二深度图之间的重叠区域时，用于实现：从所述第一深度图中提取多个第一特征点；将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
所述控制装置在实现根据所述重叠区域，确定所述第一深度图的缩放比例时，用于实现：确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
例如，所述第一重叠区域中的目标对象是一颗树，该树在第一重叠区域的第一尺寸为9.8m，而在第二重叠区域中该树的第二尺寸是10.5m；根据所述第一尺寸9.8与所述第二尺寸10.5可以确定所述第一深度图的缩放比例为10.5/9.8＝1.07，也即需要将第一深度图放大1.07倍得到第三深度图，进而对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
其中，所述第二深度图与所述第三深度图中的相同目标对象的尺寸相同。
在一些实施例中，也可以选择只根据近景进行调整，近景指的是精准观测范围内的景物。其中，近景的观测距离小于极限观测距离，例如，假设第二双目视觉模组302的极限观测距离是45m，那么对应的精准观测距离可能只有30m左右，对应的近景指的是在30m观测距离以内的图像。通过选择根据近景进行图像调整，可以保证双目视觉模组的观测精度。
通过上述分析可知，本申请实施例提供的可移动平台，在根据设置在平台本体上不同位置的具有不同朝向的至少两组双目视觉模组采集的图像数据确 定可移动平台周围的目标对象的位置信息时，采用图像融合方法将至少两组双目视觉模组的视场角范围重合区域的图像数据进行融合，进而根据融合之后的图像数据确定可移动平台周围的环境观测信息，提高可移动平台对周围环境观测信息的检测精度，进而提高可移动平台运动的安全性。
需要说明的是，图3仅以可移动平台为无人机示例性地说明了设置在无人机上的两组双目视觉模组，在实际应用中，随着应用场景的不同，可移动平台还可以是其它可移动对象，示例性地，可移动平台包括无人机、无人驾驶车辆和可移动机器人中的至少一项。在可移动平台的平台本体上也可以对应设置有多于两组的双目视觉模组。即可移动平台可以包括至少两组双目视觉模组，且每组双目视觉模组的朝向不同，随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化。
如图10所示，图10是本申请实施例提供的一种车辆的示意图。由图10可知，该车辆10包括车辆平台1010，车辆平台1010包括车身的各种设备、部件等。在车辆平台10的不同位置上设置有两组双目视觉模组，分别为第三双目视觉模组1020和第四双目视觉模组930，第三双目视觉模组920和第四双目视觉模组1030的朝向不同，随车辆10在目标方向运动的速度值变化，第三双目视觉模组1020和第四双目视觉模组1030的朝向与目标方向之间的相对方向关系变化。
在本申请的实施例中，车辆10可以是具有自动驾驶系统的车辆，也可以是不具有自动驾驶系统的车辆，比如为L0级的车辆。其中，自动驾驶系统是指由硬件和软件组成的能够持续执行全部动态驾驶任务的系统，不考虑是否有运行工况的限制。比如，自动驾驶系统是指由硬件和软件组成的能够持续执行部分或者全部动态驾驶任务(Dynamic Driving Task)的系统。
其中，动态驾驶任务(Dynamic Driving Task)为：完成车辆驾驶所需的感知、决策和执行。即包括驾驶道路车辆时所有实时的操作类和战术类功能，不包括规划类功能，如行程计划，目的地和路径的选择等。
示例性的，动态驾驶任务包括但不限于如下任务：控制车辆横向运动、控制车辆纵向运动、通过对目标和事件进行探测、识别、分类来监视驾驶环境并准备响应、控制车辆照明及信号装置。
一般来说，当超出运行设计域(Operational Design Domain，简称ODD)或动态驾驶任务相关系统失效时，需要由自动驾驶状态切换到人工驾驶状态，即由驾驶员来继续接管驾驶任务。其中，运行设计域在自动驾驶中扮演着重要角色，一般包括：地理位置、道路类型、速度范围、天气和时间等。
在本申请的实施例中，第三双目视觉模组1020和第四双目视觉模组1030可以分别设置在车辆10的同一侧的不同位置，第三双目视觉模组1020能够观测车辆10的前侧方向上的目标对象，第四双目视觉模组1030能够观测与车辆10的前侧方向呈预设夹角对应方向上的目标对象，如车辆10左前方或右前方的目标对象。
其中，第三双目视觉模组1020和第四双目视觉模组1030的参数关系以及功能，对应与上述第一双目视觉模组130和第二双目视觉模组140之间的参数关系以及对应功能相同。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的车辆由自动驾驶系统控制自动驾驶的具体过程，可以参数与上述以无人机为例的可移动平台的对应过程，在此不再赘述。
例如，车辆相对于无人机，在运动过程中，对应的姿态信息包括偏航角，具体地，随着偏航角的变化，车辆在第三双目视觉模组1020和第四双目视觉模组1030中选择双目视觉模组的过程，可以参考上述无人机随着俯仰角的变化，在第一双目视觉模组130和第二双目视觉模组140中选择双目视觉模组的过程。其中，车辆在需要转弯时，运动状态信息会发生变化，对应车辆的偏航角会随着车辆运动状态信息的变化发生变化等。
请参阅图11，图11是本申请实施例提供的一种可移动平台控制方法的示意流程图。该可移动平台控制方法可以应用于控制装置，该控制装置用于控制可移动平台，以提高可移动平台运动的安全性。其中，可移动平台可以是如图3所示的无人机，也可以是无人驾驶车辆和可移动机器人中的至少一项。在本实施例中，可移动平台包括平台本体以及设置在平台本体上的不同位置的至少两组双目视觉模组；每组双目视觉模组的朝向不同，随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化。
如图11所示，该可移动平台控制方法包括步骤S1101至步骤S1103。
S1101，在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度运动时选择的所述双目视觉模组。
在一些实施例中，至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组，其中，第一双目视觉模组的朝向与第二双目视觉模组的朝向呈预设夹角。
在一些实施例中，所述至少两组双目视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上的目标对象。例如，第一双目视觉模组设置在平台本体的前侧，能够观测可移动平台前侧方向上的目标对象；第二双目视觉模组设置在平台本体的上侧，能够观测与可移动平台前侧方向呈预设夹角的对应方向上的目标对象。示例性地，第二双目视觉模组能够观测与可移动平台前侧方向呈90度方向上的目标对象，或者能够观测与可移动平台前侧方向呈锐角方向上的目标对象，如可移动平台左前方或右前方的目标对象。
在一些实施例中，第一双目视觉模组和第二双目视觉模组的参数不同；例如，第一双目视觉模组和第二双目视觉模组的视场角不同，或者，第一双目视觉模组和第二双目视觉模组的分辨率不同。在可移动平台运动的过程中，通过在具有不同视场角或者分辨率的至少两组双目视觉模组中选择双目视觉模组，来达到有效地平衡可移动平台的观测范围和观测速度。
在一些实施例中，第一双目视觉模组的视场角范围与第二双目视觉模组的视场角范围至少部分重叠。
在一些实施例中，第一双目视觉模组的视场角小于第二双目视觉模组的视场角，和/或，第一双目视觉模组的分辨率小于第二视觉模组的分辨率。
在一些实施例中，所述在所述至少两组双目视觉模组中选择双目视觉模组，包括：根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，所述运动状态信息包括姿态信息和运动信息中的至少一种。
在一些实施例中，所述姿态信息包括俯仰角或偏航角，所述根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组， 包括：根据可移动平台的俯仰角或偏航角，在至少两组双目视觉模组中选择双目视觉模组。
在一些实施例中，所述根据可移动平台的俯仰角或偏航角，在至少两组双目视觉模组中选择双目视觉模组，包括：若可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组变化条件，则从第一视觉模组和第二视觉模组中选择的双目视觉模组。
在一些实施例中，若可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组变化条件，则从第一视觉模组和第二视觉模组中选择的双目视觉模组，包括：若可移动平台的俯仰角变化为小于或等于第一俯仰角，则选择的双目视觉模组为第二双目视觉模组；若可移动平台的俯仰角变化为大于第一俯仰角，且小于或等于第二俯仰角，则选择的双目视觉模组为第一双目视觉模组3和第二双目视觉模组；若可移动平台的俯仰角变化为大于第二俯仰角，且小于或等于第三俯仰角，则选择的双目视觉模组为第一双目视觉模组。
在一些实施例中，所述运动信息包括所述可移动平台的速度信息、位置信息和加速度信息中的至少一种，所述在至少两组双目视觉模组中选择双目视觉模组，包括：根据可移动平台的姿态信息和所述运动信息，预测可移动平台经过预设时间后在双目视觉模组采集到的图像中的目标位置信息；根据所述目标位置信息、第一双目视觉模组和第二双目视觉模组各自对应的视场角，在第一双目视觉模组和第二双目视觉模组中选择双目视觉模组。
其中，所述姿态信息包括俯仰角，所述根据所述姿态信息和所述运动信息，预测经过预设时间后可移动平台在双目视觉模组采集到的图像中的目标位置信息，包括：获取第一双目视觉模组的第一视场角范围和第二双目视觉模组的第二视场角范围；根据所述第一视场角范围、俯仰角和速度值，预测经过预设时间后可移动平台在第一双目视觉模组采集到的图像中的第一目标位置信息；根据所述第二视场角范围、俯仰角和速度值，预测经过预设时间后可移动平台在第二双目视觉模组采集到的图像中的第二目标位置信息。
在一些实施例中，所述根据所述目标位置信息和两组所述双目视觉模组各自对应的视场角，选择双目视觉模组时，包括：若第一目标位置信息位于第一视场角范围，而第二目标位置信息不位于第二视场角范围，则选择的双目视觉 模组为第一双目视觉模组；若第一目标位置信息不位于第一视场角范围，而第二目标位置信息位于第二视场角范围，则选择的双目视觉模组为第二双目视觉模组；若第一目标位置信息位于第一视场角范围，且第二目标位置信息位于第二视场角范围，则选择的双目视觉模组为第一双目视觉模组和第二双目视觉模组。
S1102，根据选择的所述双目视觉模组采集的图像数据确定环境观测信息。
在一些实施例中，所述根据选择的双目视觉模组采集到的图像数据确定环境观测数据，包括：若所选的双目视觉模组为第一双目视觉模组，则使能第一双目视觉模组，且不使能第二双目视觉模组；根据使能所述第一双目视觉模组采集到的第一图像数据，确定所述环境观测数据。
在一些实施例中，根据选择的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：若所选的双目视觉模组为第一双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据，并对所述第二图像数据进行下采样，得到第三图像数据；根据所述第一图像数据和所述第三图像数据，确定所述环境观测数据。
在一些实施例中，所述根据所选的双目视觉模组采集到的图像数据确定环境观测数据，包括：若所选的双目标视觉模组为第一双目视觉模组和第二双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据；根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据。
在一些实施例中，所述环境观测数据包括所述可移动平台周围的目标对象的位置信息；所述根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据，包括：根据所述第一图像数据计算得到第一深度图，并根据所述第二图像数据计算得到第二深度图；对所述第一深度图和所述第二深度图进行融合，得到目标深度图；根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
在一些实施例中，所述对所述第一深度图和所述第二深度图进行融合，得 到目标深度图，包括：确定所述第一深度图与所述第二深度图之间的重叠区域；根据所述重叠区域，确定所述第一深度图的缩放比例；根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
在一些实施例中，所述第二深度图与所述第三深度图中的相同目标对象的尺寸相同。
在一些实施例中，所述确定所述第一深度图与所述第二深度图之间的重叠区域，包括：从所述第一深度图中提取多个第一特征点；将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
在一些实施例中，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述根据所述重叠区域，确定所述第一深度图的缩放比例，包括：确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
在一些实施例中，所述根据所选的双目视觉模组采集到的图像数据确定所述环境观测数据，包括：若所选的双目视觉模组为第二双目视觉模组，则使能所述第一双目视觉模组的部分功能，并使能所述第二双目视觉模组的全部功能；
根据所述第二双目视觉模组采集到的第二图像数据，确定所述环境观测数据。
S1103，基于所述环境观测信息控制所述可移动平台运动。
示例性地，该环境观测信息包括目标对象的位置信息；基于环境观测信息控制可移动平台运动，包括：基于目标对象的位置信息控制可移动平台运动。
在一实施例中，若目标对象的位置信息在预测的可移动平台经过预设时间后(例如1s)的运动通道中，则需要控制可移动平台进行避障。例如，根据当前无人机的运动信息，确定变换无人机的速度，采取刹车，或者绕道飞行等避障措施，以保证无人机在预设时间内的飞行安全。
具体地，预测可移动平台经过预设时间后的运动通道的具体过程以及控制 可移动平台运动的具体过程可以参考前述可移动平台实施例中的对应过程，在此不再赘述。
通过上述分析可知，本申请实施例提供的可移动平台控制方法，通过设置在平台本体不同位置的具有不同朝向的至少两组双目视觉模组，其中，每组双目视觉模组的朝向不同，每组双目视觉模组的朝向与可移动平台目标方向之间的相对方向关系，随可移动平台在目标方向运动的速度值变化而变化，在可移动平台沿目标方向运动过程中，在至少两组双目视觉模组中选择双目视觉模组，以实现根据选择的双目视觉模组采集的图像数据确定环境观测信息，进而根据确定的环境观测信息控制可移动平台运动，来提高可以平台运动的安全性。
请参阅图12，图12是本申请实施例提供的另一种可移动平台控制方法的示意流程图。该可移动平台控制方法可以应用于控制装置，该控制装置用于控制可移动平台，以提高可移动平台运动的安全性。其中，可移动平台可以是如图3所示的可移动平台，在本实施例中，可移动平台包括平台本体以及设置在平台本体上的不同位置的至少两组双目视觉模组；所述至少两组双目视觉模组的视场角范围至少部分重叠。
如图12所示，该可移动平台控制方法包括步骤S1201至步骤S1202。
S1101，根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息。
在一些实施例中，每组所述双目视觉模组的朝向不同，每组所述双目视觉模组的朝向与所述可移动平台的速度方向对应的夹角会随着所述可移动平台运动而发生变化。
在一些实施例中，所述至少两组双目视觉模组的参数不同。
在一些实施例中，所述至少两组双目视觉模组的视场角不同。
在一些实施例中，所述至少两组双目视觉模组的分辨率不同。
在一些实施例中，所述至少两组视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上目标对象。
在一些实施例中，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
在一些实施例中，所述第一双目视觉模组能够观测所述可移动平台的前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述前侧方向呈预设夹角对应方向上的目标对象。
在一些实施例中，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
在一些实施例中，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
在一些实施例中，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二双目视觉模组的分辨率。
在一些实施例中，所述根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息，包括：根据第一双目视觉模组采集到的第一图像数据计算得到第一深度图；根据第二双目视觉模组采集到的第二图像数据计算得到第二深度图；对所述第一深度图和所述第二深度图进行融合，得到目标深度图；根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
在一些实施例中，所述对所述第一深度图和所述第二深度图进行融合，得到目标深度图，包括：确定所述第一深度图与所述第二深度图之间的重叠区域；根据所述重叠区域，确定所述第一深度图的缩放比例；根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
在一些实施例中，所述第二深度图与所述第三深度图中相同目标对象的尺寸相同。
在一些实施例中，所述确定所述第一深度图与所述第二深度图之间的重叠区域，包括：从所述第一深度图中提取多个第一特征点；将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
在一些实施例中，所述重叠区域包括位于所述第一深度图中的第一重叠区 域和位于所述第二深度图中的第二重叠区域，所述根据所述重叠区域，确定所述第一深度图的缩放比例时，用于实现：确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
S1202，基于所述目标对象的位置信息控制所述可移动平台运动。
示例性地，该环境观测信息包括目标对象的位置信息；基于环境观测信息控制可移动平台运动，包括：基于目标对象的位置信息控制可移动平台运动。
在一实施例中，若目标对象的位置信息在预测的可移动平台经过预设时间后(例如1s)的运动通道中，则需要控制可移动平台进行避障。例如，根据当前无人机的运动信息，确定变换无人机的速度，采取刹车，或者绕道飞行等避障措施，以保证无人机在预设时间内的飞行安全。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的可移动平台控制方法的具体工作过程，可以参考前述可移动平台实施例中的对应过程，在此不再赘述。
请参阅图13，图13是本申请实施例提供的一种控制装置的结构示意性框图。需要说明的是，该控制装置130安装于如图3所示的可移动平台上，该可移动平台包括平台本体和至少两组双目视觉模组，该至少两组双目视觉模组设置在平台本体上的不同位置，每组双目视觉模组的朝向不同，随可移动平台在目标方向运动的速度值变化，每组双目视觉模组的朝向与目标方向之间的相对方向关系变化。
如图13所示，该控制装置130包括处理器1301和存储器1302，处理器1301和存储器1302通过总线1303连接，该总线1303比如为I3C(Inter-integrated Circuit)总线。该控制装置130用于控制可移动平台。
具体地，处理器1301可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器1302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行所述计算机程序时实现如下步骤：
在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度值运动时选择的所述双目视觉模组；
根据选择的所述双目视觉模组采集的图像数据确定环境观测信息；
基于所述环境观测信息控制所述可移动平台运动。
在一实施例中，所述至少两组双目视觉模组的参数不同。
在一实施例中，所述至少两组双目视觉模组的视场角不同。
在一实施例中，所述至少两组双目视觉模组的分辨率不同。
在一实施例中，所述至少两组双目视觉模组的视场角范围至少部分重叠。
在一实施例中，所述至少两组双目视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上的目标对象。
在一实施例中，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
在一实施例中，所述第一双目视觉模组能够观测所述可移动平台前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述可移动平台前侧方向呈预设夹角的对应方向上的目标对象。
在一实施例中，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
在一实施例中，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
在一实施例中，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二视觉模组的分辨率。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行在所述至少两组双目视觉模组中选择双目视觉模组时，实现如下步骤：
根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，所述运动状态信息包括姿态信息和运动信息中的至少一种。
在一实施例中，所述姿态信息包括俯仰角或偏航角，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行在实现根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组时，实现如下步骤：
根据所述可移动平台的俯仰角或偏航角，在所述至少两组双目视觉模组中选择双目视觉模组。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所述可移动平台的俯仰角，在所述至少两组双目视觉模组中选择双目视觉模组时，实现如下步骤：
若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选择条件，则从所述至少两组视觉模组中选择选择双目视觉模组。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选择条件，则从所述至少两组双目视觉模组中选择双目视觉模组时，实现如下步骤：
若所述可移动平台的俯仰角变化为小于或等于第一俯仰角，则选择的双目视觉模组为第二双目视觉模组；
若所述可移动平台的俯仰角变化为大于第一俯仰角，且小于或等于第二俯仰角，则选择的双目视觉模组为第一双目视觉模组和第二双目视觉模组；
若所述可移动平台的俯仰角变化为大于第二俯仰角，且小于或等于第三俯仰角，则选择的双目视觉模组为第一双目视觉模组。
在一实施例中，所述运动状态信息包括所述可移动平台的速度信息、位置信息和加速度信息中的至少一种，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组时，实现如下步骤：
根据所述可移动平台的姿态信息和运动状态信息，预测所述可移动平台经过预设时间后在双目视觉模组采集到的图像中的目标位置信息；
根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，在所述至少两组视觉模组中选择双目视觉模组。
在一实施例中，所述姿态信息包括俯仰角，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行在实现根据所述姿态信息和所述运动状态信息，预测经过预设时间后所述可移动平台在双目视觉模组采集到的图像中的目标位置信息时，实现如下步骤：
获取第一双目视觉模组的第一视场角范围和第二双目视觉模组的第二视场角范围；
根据所述第一视场角范围、俯仰角和速度信息，预测经过预设时间后所述可移动平台在所述第一双目视觉模组采集到的图像中的第一目标位置信息；
根据所述第二视场角范围、俯仰角和速度信息，预测经过预设时间后所述可移动平台在所述第二双目视觉模组采集到的图像中的第二目标位置信息。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行在实现根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，选择双目视觉模组时，实现如下步骤：
若所述第一目标位置信息位于所述第一视场角范围，而所述第二目标位置信息不位于所述第二视场角范围，则选择的双目视觉模组为所述第一双目视觉模组；
若所述第一目标位置信息不位于所述第一视场角范围，而所述第二目标位置信息位于所述第二视场角范围，则选择的双目视觉模组为所述第二双目视觉模组；
若所述第一目标位置信息位于所述第一视场角范围，且所述第二目标位置信息位于所述第二视场角范围，则选择的双目视觉模组为所述第一双目视觉模组和所述第二双目视觉模组。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据选择的双目视觉模组采集到的图像数据确定环境观测数据时，实现如下步骤：
若所选的双目视觉模组为第一双目视觉模组，则使能第一双目视觉模组，且不使能第二双目视觉模组；
根据使能所述第一双目视觉模组采集到的第一图像数据，确定所述环境观测数据。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据选择的双目视觉模组采集到的图像数据确定环境观测数据时，实现如下步骤：
若所选的双目视觉模组为第一双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据，并对所述第二图像数据进行下采样，得到第三图像数据；
根据所述第一图像数据和所述第三图像数据，确定所述环境观测数据。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，实现如下步骤：
若所选的双目标视觉模组为第一双目视觉模组和第二双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据；
根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据。
在一实施例中，所述环境观测数据包括所述可移动平台周围的目标对象的位置信息；所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据时，实现如下步骤：
根据所述第一图像数据计算得到第一深度图，并根据所述第二图像数据计算得到第二深度图；
对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行对所述第一深度图和所述第二深度图进行融合，得到目标深度图时，实现如下步骤：
确定所述第一深度图与所述第二深度图之间的重叠区域；
根据所述重叠区域，确定所述第一深度图的缩放比例；
根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
在一实施例中，所述第二深度图与所述第三深度图中的相同目标对象的尺寸相同。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行确定所述第一深度图与所述第二深度图之间的重叠区域时，实现如下步骤：
从所述第一深度图中提取多个第一特征点；
将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
在一实施例中，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所述重叠区域，确定所述第一深度图的缩放比例时，实现如下步骤：
确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
在一实施例中，所述处理器1301用于运行存储在存储器1302中的计算机程序，并在执行根据所选的双目视觉模组采集到的图像数据确定所述环境观测数据时，实现如下步骤：
若所选的双目视觉模组为第二双目视觉模组，则使能所述第一双目视觉模组的部分功能，并使能所述第二双目视觉模组的全部功能；
根据所述第二双目视觉模组采集到的第二图像数据，确定所述环境观测数据。
在一实施例中，所述可移动平台包括无人飞行器、载人飞行器、机器人和无人驾驶车辆中的至少一项。
在另一实施例中，处理器1301用于运行存储在存储器1302中的计算机程序，并在执行所述计算机程序时实现如下步骤：
根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息；
基于所述目标对象的位置信息控制所述可移动平台运动。
在一实施例中，每组所述双目视觉模组的朝向不同，每组所述双目视觉模组的朝向与所述可移动平台的速度方向对应的夹角会随着所述可移动平台运动而发生变化。
在一实施例中，所述至少两组双目视觉模组的参数不同。
在一实施例中，所述至少两组双目视觉模组的视场角不同。
在一实施例中，所述至少两组双目视觉模组的分辨率不同。
在一实施例中，所述至少两组视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上目标对象。
在一实施例中，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
在一实施例中，所述第一双目视觉模组能够观测所述可移动平台的前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述前侧方向呈预设夹角对应方向上的目标对象。
在一实施例中，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
在一实施例中，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
在一实施例中，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二双目视觉模组的分辨率。
在一实施例中，所述根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息，包括：
根据第一双目视觉模组采集到的第一图像数据计算得到第一深度图；
根据第二双目视觉模组采集到的第二图像数据计算得到第二深度图；
对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
在一实施例中，所述对所述第一深度图和所述第二深度图进行融合，得到目标深度图，包括：
确定所述第一深度图与所述第二深度图之间的重叠区域；
根据所述重叠区域，确定所述第一深度图的缩放比例；
根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
在一实施例中，所述第二深度图与所述第三深度图中相同目标对象的尺寸相同。
在一实施例中，所述确定所述第一深度图与所述第二深度图之间的重叠区域，包括：
从所述第一深度图中提取多个第一特征点；
将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
在一实施例中，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述根据所述重叠区域，确定所述第一深度图的缩放比例，包括：
确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的控制装置的具体工作过程，可以参考前述可移动平台控制方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程 序指令，实现上述实施例提供的可移动平台控制方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的控制装置的内部存储单元，例如所述控制装置的硬盘或内存。所述计算机可读存储介质也可以是所述控制装置的外部存储设备，例如所述控制装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (89)

  1. 一种可移动平台，其特征在于，所述可移动平台包括：
    平台本体；
    至少两组双目视觉模组，设置在所述平台本体上的不同位置，每组所述双目视觉模组的朝向不同，随所述可移动平台在目标方向运动的速度值变化，每组所述双目视觉模组的朝向与所述目标方向之间的相对方向关系变化；
    控制装置，设置在所述平台本体内，所述控制装置用于实现以下步骤：
    在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度值运动时选择的所述双目视觉模组；
    根据选择的所述双目视觉模组采集的图像数据确定环境观测信息；
    基于所述环境观测信息控制所述可移动平台运动。
  2. 根据权利要求1所述的可移动平台，其特征在于，所述至少两组双目视觉模组的参数不同。
  3. 根据权利要求2所述的可移动平台，其特征在于，所述至少两组双目视觉模组的视场角不同。
  4. 根据权利要求2所述的可移动平台，其特征在于，所述至少两组双目视觉模组的分辨率不同。
  5. 根据权利要求1所述的可移动平台，其特征在于，所述至少两组双目视觉模组的视场角范围至少部分重叠。
  6. 根据权利要求1所述的可移动平台，其特征在于，所述至少两组双目视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上的目标对象。
  7. 根据权利要求1所述的可移动平台，其特征在于，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
  8. 根据权利要求7所述的可移动平台，其特征在于，所述第一双目视觉模组能够观测所述可移动平台前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述可移动平台前侧方向呈预设夹角的对应方向上的目标对象。
  9. 根据权利要求8所述的可移动平台，其特征在于，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
  10. 根据权利要求8所述的可移动平台，其特征在于，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
  11. 根据权利要求7所述的可移动平台，其特征在于，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二视觉模组的分辨率。
  12. 根据权利要求1-11中任一项所述的可移动平台，其特征在于，所述控制装置在实现在所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，所述运动状态信息包括姿态信息和运动信息中的至少一种。
  13. 根据权利要求12所述的可移动平台，其特征在于，所述姿态信息包括俯仰角或偏航角，所述控制装置在实现根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    根据所述可移动平台的俯仰角或偏航角，在所述至少两组双目视觉模组中选择双目视觉模组。
  14. 根据权利要求13所述的可移动平台，其特征在于，所述控制装置在实现根据所述可移动平台的俯仰角，在所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选择条件，则从所述至少两组双目视觉模组中选择双目视觉模组。
  15. 根据权利要求14所述的可移动平台，其特征在于，所述控制装置在实现若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选择条件，则从所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    若所述可移动平台的俯仰角变化为小于或等于第一俯仰角，则所选的双目视觉模组为第二双目视觉模组；
    若所述可移动平台的俯仰角变化为大于第一俯仰角，且小于或等于第二俯仰角，则所选的双目视觉模组为第一双目视觉模组和第二双目视觉模组；
    若所述可移动平台的俯仰角变化为大于第二俯仰角，且小于或等于第三俯仰角，则所选的双目视觉模组为第一双目视觉模组。
  16. 根据权利要求12所述的可移动平台，其特征在于，所述运动信息包括所述可移动平台的速度信息、位置信息和加速度信息中的至少一种，所述控制装置在实现根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    根据所述姿态信息和所述运动信息，预测所述可移动平台经过预设时间后在双目视觉模组采集到的图像中的目标位置信息；
    根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，在所述至少两组双目视觉模组中选择双目视觉模组。
  17. 根据权利要求16所述的可移动平台，其特征在于，所述姿态信息包括俯仰角，所述控制装置在实现根据所述姿态信息和所述运动信息，预测经过预设时间后所述可移动平台在双目视觉模组采集到的图像中的目标位置信息时，用于实现：
    获取第一双目视觉模组的第一视场角范围和第二双目视觉模组的第二视场角范围；
    根据所述第一视场角范围、俯仰角和速度信息，预测经过预设时间后所述可移动平台在所述第一双目视觉模组采集到的图像中的第一目标位置信息；
    根据所述第二视场角范围、俯仰角和速度信息，预测经过预设时间后所述可移动平台在所述第二双目视觉模组采集到的图像中的第二目标位置信息。
  18. 根据权利要求17所述的可移动平台，其特征在于，所述控制装置在实现根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，在所述至少两组双目视觉模组中选择双目视觉模组时，用于实现：
    若所述第一目标位置信息位于所述第一视场角范围，而所述第二目标位置信息不位于所述第二视场角范围，则所选的双目视觉模组为所述第一双目视觉模组；
    若所述第一目标位置信息不位于所述第一视场角范围，而所述第二目标位置信息位于所述第二视场角范围，则所选的双目视觉模组为所述第二双目视觉模组；
    若所述第一目标位置信息位于所述第一视场角范围，且所述第二目标位置信息位于所述第二视场角范围，则所选的双目视觉模组为所述第一双目视觉模组和所述第二双目视觉模组。
  19. 根据权利要求1-11中任一项所述的可移动平台，其特征在于，所述控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：
    若所选的双目视觉模组为第一双目视觉模组，则使能第一双目视觉模组，且不使能第二双目视觉模组；
    根据使能所述第一双目视觉模组采集到的第一图像数据，确定所述环境观测数据。
  20. 根据权利要求1-11中任一项所述的可移动平台，其特征在于，所述控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：
    若所选的双目视觉模组为第一双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
    获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据，并对所述第二图像数据进行下采样，得到第三图像数据；
    根据所述第一图像数据和所述第三图像数据，确定所述环境观测数据。
  21. 根据权利要求1-11中任一项所述的可移动平台，其特征在于，所述控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：
    若所选的双目标视觉模组为第一双目视觉模组和第二双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
    获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据；
    根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据。
  22. 根据权利要求21所述的可移动平台，其特征在于，所述环境观测数据包括所述可移动平台周围的目标对象的位置信息；所述控制装置在实现根据 所述第一图像数据和所述第二图像数据，确定所述环境观测数据时，用于实现：
    根据所述第一图像数据计算得到第一深度图，并根据所述第二图像数据计算得到第二深度图；
    对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
    根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
  23. 根据权利要求22所述的的可移动平台，其特征在于，所述控制装置在实现对所述第一深度图和所述第二深度图进行融合，得到目标深度图时，用于实现：
    确定所述第一深度图与所述第二深度图之间的重叠区域；
    根据所述重叠区域，确定所述第一深度图的缩放比例；
    根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
    对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
  24. 根据权利要求23所述的的可移动平台，其特征在于，所述第二深度图与所述第三深度图中的相同目标对象的尺寸相同。
  25. 根据权利要求24所述的的可移动平台，其特征在于，所述控制装置在实现确定所述第一深度图与所述第二深度图之间的重叠区域时，用于实现：
    从所述第一深度图中提取多个第一特征点；
    将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
    根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
  26. 根据权利要求23所述的的可移动平台，其特征在于，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述控制装置在实现根据所述重叠区域，确定所述第一深度图的缩放比例时，用于实现：
    确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
    根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
  27. 根据权利要求1-11中任一项所述的可移动平台，其特征在于，所述 控制装置在实现根据所选的双目视觉模组采集到的图像数据确定所述环境观测数据时，用于实现：
    若所选的双目视觉模组为第二双目视觉模组，则使能所述第一双目视觉模组的部分功能，并使能所述第二双目视觉模组的全部功能；
    根据所述第二双目视觉模组采集到的第二图像数据，确定所述环境观测数据。
  28. 一种可移动平台，其特征在于，所述可移动平台包括：
    平台本体；
    至少两组双目视觉模组，设置在所述平台本体上的不同位置，所述至少两组双目视觉模组的视场角范围至少部分重叠；
    控制装置，设置在所述平台本体内，所述控制装置用于：
    根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息；
    基于所述目标对象的位置信息控制所述可移动平台运动。
  29. 根据权利要求28所述的可移动平台，其特征在于，每组所述双目视觉模组的朝向不同，每组所述双目视觉模组的朝向与所述可移动平台的速度方向对应的夹角会随着所述可移动平台运动而发生变化。
  30. 根据权利要求29所述的可移动平台，其特征在于，所述至少两组双目视觉模组的参数不同。
  31. 根据权利要求29所述的可移动平台，其特征在于，所述至少两组双目视觉模组的视场角不同。
  32. 根据权利要求29所述的可移动平台，其特征在于，所述至少两组双目视觉模组的分辨率不同。
  33. 根据权利要求29所述的可移动平台，其特征在于，所述至少两组视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上目标对象。
  34. 根据权利要求29所述的可移动平台，其特征在于，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
  35. 根据权利要求34所述的可移动平台，其特征在于，所述第一双目视 觉模组能够观测所述可移动平台的前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述前侧方向呈预设夹角对应方向上的目标对象。
  36. 根据权利要求35所述的可移动平台，其特征在于，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
  37. 根据权利要求35所述的可移动平台，其特征在于，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
  38. 根据权利要求34所述的可移动平台，其特征在于，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二双目视觉模组的分辨率。
  39. 根据权利要求28-38中任一项所述的可移动平台，其特征在于，所述控制装置在实现根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息时，用于实现：
    根据第一双目视觉模组采集到的第一图像数据计算得到第一深度图；
    根据第二双目视觉模组采集到的第二图像数据计算得到第二深度图；
    对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
    根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
  40. 根据权利要求39所述的可移动平台，其特征在于，所述对所述第一深度图和所述第二深度图进行融合，得到目标深度图，包括：
    确定所述第一深度图与所述第二深度图之间的重叠区域；
    根据所述重叠区域，确定所述第一深度图的缩放比例；
    根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
    对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
  41. 根据权利要求40所述的可移动平台，其特征在于，所述第二深度图与所述第三深度图中相同目标对象的尺寸相同。
  42. 根据权利要求40所述的可移动平台，其特征在于，所述控制装置在实现确定所述第一深度图与所述第二深度图之间的重叠区域时，用于实现：
    从所述第一深度图中提取多个第一特征点；
    将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
    根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
  43. 根据权利要求40所述的可移动平台，其特征在于，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述控制装置在实现根据所述重叠区域，确定所述第一深度图的缩放比例时，用于实现：
    确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
    根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
  44. 根据权利要求28所述的可移动平台，其特征在于，所述可移动平台包括无人飞行器、载人飞行器、机器人和无人驾驶车辆中的至少一项。
  45. 一种可移动平台的控制方法，其特征在于，所述可移动平台包括平台本体以及设置在所述平台本体上的不同位置的至少两组双目视觉模组；每组所述双目视觉模组的朝向不同，随所述可移动平台在目标方向运动的速度值变化，每组所述双目视觉模组的朝向与所述目标方向之间的相对方向关系变化；所述方法包括：
    在所述可移动平台沿所述目标方向运动的过程中，在所述至少两组双目视觉模组中选择双目视觉模组，其中，以第一速度值运动时选择的所述双目视觉模组，不同于以第二速度运动时选择的所述双目视觉模组；
    根据选择的所述双目视觉模组采集的图像数据确定环境观测信息；
    基于所述环境观测信息控制所述可移动平台运动。
  46. 根据权利要求45所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的参数不同。
  47. 根据权利要求46所述的可移动平台的控制方法，其特征在于，所述所述至少两组双目视觉模组的视场角不同。
  48. 根据权利要求46所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的分辨率不同。
  49. 根据权利要求45所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的视场角范围至少部分重叠。
  50. 根据权利要求45所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本体的同一侧面的不同位置，能够观测不同方向上的目标对象。
  51. 根据权利要求45所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
  52. 根据权利要求45所述的可移动平台的控制方法，其特征在于，所述第一双目视觉模组能够观测所述可移动平台前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述可移动平台前侧方向呈预设夹角的对应方向上的目标对象。
  53. 根据权利要求52所述的可移动平台的控制方法，其特征在于，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
  54. 根据权要求52所述的可移动平台的控制方法，其特征在于，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
  55. 根据权利要求51所述的可移动平台的控制方法，其特征在于，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二视觉模组的分辨率。
  56. 根据权利要求45-55中任一项所述的可移动平台的控制方法，其特征在于，所述在所述至少两组双目视觉模组中选择双目视觉模组，包括：
    根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，所述运动状态信息包括姿态信息和运动信息中的至少一种。
  57. 根据权利要求56所述的可移动平台的控制方法，其特征在于，所述姿态信息包括俯仰角或偏航角，所述根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，包括：
    根据所述可移动平台的俯仰角或偏航角，在所述至少两组双目视觉模组中选择双目视觉模组。
  58. 根据权利要求57所述的可移动平台的控制方法，其特征在于，所述根据所述可移动平台的俯仰角，在所述至少两组双目视觉模组中选择双目视觉模组，包括：
    若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选 择条件，则从所述至少两组双目视觉模组中选择双目视觉模组。
  59. 根据权利要求58所述的可移动平台的控制方法，其特征在于，所述若所述可移动平台的俯仰角发生变化，且所述俯仰角满足预设视觉模组选择条件，则从所述至少两组双目视觉模组中选择双目视觉模组，包括：
    若所述可移动平台的俯仰角变化为小于或等于第一俯仰角，则所选的双目视觉模组为第二双目视觉模组；
    若所述可移动平台的俯仰角变化为大于第一俯仰角，且小于或等于第二俯仰角，则所选的双目视觉模组为第一双目视觉模组和第二双目视觉模组；
    若所述可移动平台的俯仰角变化为大于第二俯仰角，且小于或等于第三俯仰角，则所选的双目视觉模组为第一双目视觉模组。
  60. 根据权利要求56所述的可移动平台的控制方法，其特征在于，所述运动信息包括所述可移动平台的速度信息、位置信息和加速度信息中的至少一种，所述根据所述可移动平台的运动状态信息，在所述至少两组双目视觉模组中选择双目视觉模组，包括：
    根据所述姿态信息和所述运动信息，预测所述可移动平台经过预设时间后在双目视觉模组采集到的图像中的目标位置信息；
    根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，在所述至少两组双目视觉模组中选择双目视觉模组。
  61. 根据权利要求60所述的可移动平台的控制方法，其特征在于，所述姿态信息包括俯仰角，所述根据所述速度值和所述姿态信息，预测经过预设时间后所述可移动平台在双目视觉模组采集到的图像中的目标位置信息，包括：
    获取第一双目视觉模组的第一视场角范围和第二双目视觉模组的第二视场角范围；
    根据所述第一视场角范围、俯仰角和速度信息，预测经过预设时间后所述可移动平台在所述第一双目视觉模组采集到的图像中的第一目标位置信息；
    根据所述第二视场角范围、俯仰角和当前速度信息，预测经过预设时间后所述可移动平台在所述第二双目视觉模组采集到的图像中的第二目标位置信息。
  62. 根据权利要求61所述的可移动平台的控制方法，其特征在于，所述 在实现根据所述目标位置信息和至少两组所述双目视觉模组各自对应的视场角，在所述至少两组双目视觉模组中选择双目视觉模组，包括：
    若所述第一目标位置信息位于所述第一视场角范围，而所述第二目标位置信息不位于所述第二视场角范围，则所选的双目视觉模组为所述第一双目视觉模组；
    若所述第一目标位置信息不位于所述第一视场角范围，而所述第二目标位置信息位于所述第二视场角范围，则所选的双目视觉模组为所述第二双目视觉模组；
    若所述第一目标位置信息位于所述第一视场角范围，且所述第二目标位置信息位于所述第二视场角范围，则所选的双目视觉模组为所述第一双目视觉模组和所述第二双目视觉模组。
  63. 根据权利要求45-55中任一项所述的可移动平台的控制方法，其特征在于，所述控制装置在实现根据所选的双目视觉模组采集到的图像数据确定环境观测数据时，用于实现：
    若所选的双目视觉模组为第一双目视觉模组，则使能第一双目视觉模组，且不使能第二双目视觉模组；
    根据使能所述第一双目视觉模组采集到的第一图像数据，确定所述环境观测数据。
  64. 根据权利要求45-55中任一项所述的可移动平台的控制方法，其特征在于，所述根据所选的双目视觉模组采集到的图像数据确定环境观测数据，包括：
    若所选的双目视觉模组为第一双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
    获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据，并对所述第二图像数据进行下采样，得到第三图像数据；
    根据所述第一图像数据和所述第三图像数据，确定所述环境观测数据。
  65. 根据权利要求45-55中任一项所述的可移动平台的控制方法，其特征在于，所述根据所选的双目视觉模组采集到的图像数据确定环境观测数据，包 括：
    若所选的双目标视觉模组为第一双目视觉模组和第二双目视觉模组，则同时使能所述第一双目视觉模组和所述第二双目视觉模组；
    获取所述第一双目视觉模组采集到的第一图像数据和所述第二双目视觉模组采集到的第二图像数据；
    根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据。
  66. 根据权利要求65所述的可移动平台的控制方法，其特征在于，所述环境观测数据包括所述可移动平台周围的目标对象的位置信息；所述根据所述第一图像数据和所述第二图像数据，确定所述环境观测数据，包括：
    根据所述第一图像数据计算得到第一深度图，并根据所述第二图像数据计算得到第二深度图；
    对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
    根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
  67. 根据权利要求66所述的的可移动平台的控制方法，其特征在于，所述对所述第一深度图和所述第二深度图进行融合，得到目标深度图，包括：
    确定所述第一深度图与所述第二深度图之间的重叠区域；
    根据所述重叠区域，确定所述第一深度图的缩放比例；
    根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
    对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
  68. 根据权利要求67所述的的可移动平台的控制方法，其特征在于，所述第二深度图与所述第三深度图中的相同目标对象的尺寸相同。
  69. 根据权利要求68所述的的可移动平台，其特征在于，所述确定所述第一深度图与所述第二深度图之间的重叠区域，包括：
    从所述第一深度图中提取多个第一特征点；
    将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
    根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
  70. 根据权利要求67所述的的可移动平台的控制方法，其特征在于，所 述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述根据所述重叠区域，确定所述第一深度图的缩放比例，包括：
    确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
    根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
  71. 根据权利要求45-55中任一项所述的可移动平台，其特征在于，所述根据所选的双目视觉模组采集到的图像数据确定所述环境观测数据，包括：
    若所选的双目视觉模组为第二双目视觉模组，则使能所述第一双目视觉模组的部分功能，并使能所述第二双目视觉模组的全部功能；
    根据所述第二双目视觉模组采集到的第二图像数据，确定所述环境观测数据。
  72. 一种可移动平台的控制方法，其特征在于，所述可移动平台包括平台本体以及设置在所述平台本体上的不同位置的至少两组双目视觉模组，所述至少两组双目视觉模组的视场角范围至少部分重叠；所述方法包括：
    根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息；
    基于所述目标对象的位置信息控制所述可移动平台运动。
  73. 根据权利要求72所述的可移动平台的控制方法，其特征在于，每组所述双目视觉模组的朝向不同，每组所述双目视觉模组的朝向与所述可移动平台的速度方向对应的夹角会随着所述可移动平台运动而发生变化。
  74. 根据权利要求73所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的参数不同。
  75. 根据权利要求73所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的视场角不同。
  76. 根据权利要求73所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组的分辨率不同。
  77. 根据权利要求73所述的可移动平台的控制方法，其特征在于，所述至少两组视觉模组设置在所述平台本体的不同侧面上，或者设置在所述平台本 体的同一侧面的不同位置，能够观测不同方向上目标对象。
  78. 根据权利要求73所述的可移动平台的控制方法，其特征在于，所述至少两组双目视觉模组包括第一双目视觉模组和第二双目视觉模组。
  79. 根据权利要求78所述的可移动平台的控制方法，其特征在于，所述第一双目视觉模组能够观测所述可移动平台的前侧方向上的目标对象，所述第二双目视觉模组能够观测与所述前侧方向呈预设夹角对应方向上的目标对象。
  80. 根据权利要求79所述的可移动平台的控制方法，其特征在于，所述第二双目视觉模组能够观测所述可移动平台上方的目标对象。
  81. 根据权利要求79所述的可移动平台的控制方法，其特征在于，所述第二双目视觉模组能够观测所述可移动平台左前方或右前方的目标对象。
  82. 根据权利要求78所述的可移动平台的控制方法，其特征在于，所述第一双目视觉模组的视场角小于所述第二双目视觉模组的视场角，和/或，所述第一双目视觉模组的分辨率小于所述第二双目视觉模组的分辨率。
  83. 根据权利要求72-82中任一项所述的可移动平台的控制方法，其特征在于，所述根据所述至少两组双目视觉模组采集到的图像数据，确定所述可移动平台周围的目标对象的位置信息，包括：
    根据第一双目视觉模组采集到的第一图像数据计算得到第一深度图；
    根据第二双目视觉模组采集到的第二图像数据计算得到第二深度图；
    对所述第一深度图和所述第二深度图进行融合，得到目标深度图；
    根据所述目标深度图，确定所述可移动平台周围的目标对象的位置信息。
  84. 根据权利要求83所述的可移动平台的控制方法，其特征在于，所述对所述第一深度图和所述第二深度图进行融合，得到目标深度图，包括：
    确定所述第一深度图与所述第二深度图之间的重叠区域；
    根据所述重叠区域，确定所述第一深度图的缩放比例；
    根据所述缩放比例对所述第一深度图进行缩放，得到第三深度图；
    对所述第二深度图和所述第三深度图进行融合，得到目标深度图。
  85. 根据权利要求84所述的可移动平台的控制方法，其特征在于，所述第二深度图与所述第三深度图中相同目标对象的尺寸相同。
  86. 根据权利要求84所述的可移动平台的控制方法，其特征在于，所述 确定所述第一深度图与所述第二深度图之间的重叠区域，包括：
    从所述第一深度图中提取多个第一特征点；
    将每个所述第一特征点与所述第二深度图中的第二特征点进行匹配，得到多个特征点匹配对；
    根据所述多个特征点匹配对，确定所述第一深度图与所述第二深度图之间的重叠区域。
  87. 根据权利要求84所述的可移动平台的控制方法，其特征在于，所述重叠区域包括位于所述第一深度图中的第一重叠区域和位于所述第二深度图中的第二重叠区域，所述根据所述重叠区域，确定所述第一深度图的缩放比例，包括：
    确定所述第一重叠区域中的目标对象的第一尺寸，并确定所述第二重叠区域中的所述目标对象的第二尺寸；
    根据所述第一尺寸和所述第二尺寸，确定所述第一深度图的缩放比例。
  88. 根据权利要求72所述的可移动平台的控制方法，其特征在于，所述可移动平台包括无人飞行器、载人飞行器、机器人和无人驾驶车辆中的至少一项。
  89. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求45-88中任一项所述的可移动平台的控制方法。
PCT/CN2021/080582 2021-03-12 2021-03-12 可移动平台、可移动平台的控制方法及存储介质 Ceased WO2022188174A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180087701.1A CN116724279A (zh) 2021-03-12 2021-03-12 可移动平台、可移动平台的控制方法及存储介质
PCT/CN2021/080582 WO2022188174A1 (zh) 2021-03-12 2021-03-12 可移动平台、可移动平台的控制方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/080582 WO2022188174A1 (zh) 2021-03-12 2021-03-12 可移动平台、可移动平台的控制方法及存储介质

Publications (1)

Publication Number Publication Date
WO2022188174A1 true WO2022188174A1 (zh) 2022-09-15

Family

ID=83226266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/080582 Ceased WO2022188174A1 (zh) 2021-03-12 2021-03-12 可移动平台、可移动平台的控制方法及存储介质

Country Status (2)

Country Link
CN (1) CN116724279A (zh)
WO (1) WO2022188174A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977445A (zh) * 2023-07-31 2023-10-31 天津大学 一种基于动态双目视觉的海洋柱桩姿态检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485736A (zh) * 2016-10-27 2017-03-08 深圳市道通智能航空技术有限公司 一种无人机全景视觉跟踪方法、无人机以及控制终端
CN109360150A (zh) * 2018-09-27 2019-02-19 轻客小觅智能科技（北京）有限公司 一种基于深度相机的全景深度图的拼接方法及装置
CN109688400A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 电子设备和移动平台
US20190213895A1 (en) * 2018-01-05 2019-07-11 Gopro, Inc. Adaptive Object Detection
CN110442145A (zh) * 2019-08-22 2019-11-12 台州学院 基于双目视觉的多旋翼无人机云台避障系统及方法
CN110770668A (zh) * 2018-08-22 2020-02-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台及可读存储介质
CN110799853A (zh) * 2018-10-26 2020-02-14 深圳市大疆创新科技有限公司 一种环境感知系统及移动平台
CN112052788A (zh) * 2020-09-03 2020-12-08 深圳市道通智能航空技术有限公司 基于双目视觉的环境感知方法、装置及无人飞行器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
US10067513B2 (en) * 2017-01-23 2018-09-04 Hangzhou Zero Zero Technology Co., Ltd Multi-camera system and method of use
CN210452823U (zh) * 2019-06-10 2020-05-05 沈阳吕尚科技有限公司 一种带有两个双目视觉系统智能移动机器人
CN111243021A (zh) * 2020-01-06 2020-06-05 武汉理工大学 基于多组合相机的车载视觉定位方法、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485736A (zh) * 2016-10-27 2017-03-08 深圳市道通智能航空技术有限公司 一种无人机全景视觉跟踪方法、无人机以及控制终端
US20190213895A1 (en) * 2018-01-05 2019-07-11 Gopro, Inc. Adaptive Object Detection
CN110770668A (zh) * 2018-08-22 2020-02-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台及可读存储介质
CN109360150A (zh) * 2018-09-27 2019-02-19 轻客小觅智能科技（北京）有限公司 一种基于深度相机的全景深度图的拼接方法及装置
CN110799853A (zh) * 2018-10-26 2020-02-14 深圳市大疆创新科技有限公司 一种环境感知系统及移动平台
CN109688400A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 电子设备和移动平台
CN110442145A (zh) * 2019-08-22 2019-11-12 台州学院 基于双目视觉的多旋翼无人机云台避障系统及方法
CN112052788A (zh) * 2020-09-03 2020-12-08 深圳市道通智能航空技术有限公司 基于双目视觉的环境感知方法、装置及无人飞行器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977445A (zh) * 2023-07-31 2023-10-31 天津大学 一种基于动态双目视觉的海洋柱桩姿态检测方法
CN116977445B (zh) * 2023-07-31 2026-04-14 天津大学 一种基于动态双目视觉的海洋柱桩姿态检测方法

Also Published As

Publication number Publication date
CN116724279A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
US12222218B2 (en) Techniques for collaborative map construction between an unmanned aerial vehicle and a ground vehicle
US20230274653A1 (en) Techniques for sharing mapping data between an unmanned aerial vehicle and a ground vehicle
US11237572B2 (en) Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
Shen et al. Vision-based state estimation for autonomous rotorcraft MAVs in complex environments
CN111615677B (zh) 一种无人机的安全降落方法、装置、无人机及介质
WO2018086133A1 (en) Methods and systems for selective sensor fusion
CN106249755A (zh) 一种无人机自主导航系统及导航方法
JP6821220B2 (ja) 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム
CN108450032B (zh) 飞行控制方法和装置
CN112461249A (zh) 根据外部源数据进行的传感器定位
WO2021025568A2 (en) A lidar device, system and a control method of the same
WO2021238743A1 (zh) 一种无人机飞行控制方法、装置及无人机
WO2020107487A1 (zh) 图像处理方法和无人机
JP7278740B2 (ja) 移動体制御装置
CN116724279A (zh) 可移动平台、可移动平台的控制方法及存储介质
WO2020062356A1 (zh) 控制方法、控制装置、无人飞行器的控制终端
US20240280999A1 (en) Movable platform control method and apparatus, movable platform, and storage medium
CN118567383A (zh) 车辆脱困方法、电子设备及存储介质
WO2020223868A1 (zh) 地面信息处理方法、装置和无人驾驶车辆
CN115903860A (zh) 一种无人机视觉导航下的无人艇航路控制方法及装置
JP7820022B2 (ja) 無人航空機の飛行経路を計画するシステム、無人航空機及び橋梁点検方法
WO2024087024A1 (zh) 信息处理方法、信息处理设备、飞行器系统及存储介质
CN121646740A (zh) 控制方法、控制系统、飞行器及存储介质
JP2024118227A (ja) 運転支援システム及び車両
CN120973042A (zh) 一种无人机的视觉避障方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21929647

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180087701.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21929647

Country of ref document: EP

Kind code of ref document: A1