WO2021102914A1 - 轨迹复演方法、系统、可移动平台和存储介质 - Google Patents

轨迹复演方法、系统、可移动平台和存储介质 Download PDF

Info

Publication number
WO2021102914A1
WO2021102914A1 PCT/CN2019/121989 CN2019121989W WO2021102914A1 WO 2021102914 A1 WO2021102914 A1 WO 2021102914A1 CN 2019121989 W CN2019121989 W CN 2019121989W WO 2021102914 A1 WO2021102914 A1 WO 2021102914A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
movable platform
pose
image
marked
Prior art date
Application number
PCT/CN2019/121989
Other languages
English (en)
French (fr)
Inventor
周游
蔡剑钊
刘洁
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2019/121989 priority Critical patent/WO2021102914A1/zh
Priority to CN201980051940.4A priority patent/CN112585956B/zh
Publication of WO2021102914A1 publication Critical patent/WO2021102914A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • the embodiment of the present invention relates to the field of control technology, in particular to a trajectory replay method, system, movable platform and storage medium.
  • drones have a wide range of applications.
  • the photographer's shooting is often a reason for the shutdown of the filming.
  • the route is more complicated, the shooting operation is more repetitive, and the application scenarios of route inspection work are mostly in the field. Operators also need to concentrate on performing tasks in harsh environments. This is a great challenge for the operators.
  • the embodiment of the present invention provides a trajectory replay method, system, movable platform, and storage medium.
  • the trajectory of multiple runs can be close to the same, so that the course of the route replay Smoother and faster.
  • the first aspect of the embodiments of the present invention is to provide a trajectory replay method, including:
  • the marker image includes an image acquired by the movable platform according to the marker position;
  • the current display image corresponding to the marked position and the current pose information of the movable platform are acquired, wherein the current display image includes The image currently acquired by the movable platform according to the marked position;
  • the pose of the movable platform is adjusted according to the currently displayed image, the marked image, and the current pose information, so that the movable platform replays according to the preset trajectory.
  • the second aspect of the embodiments of the present invention is to provide a trajectory replay system, including:
  • Memory used to store computer programs
  • the processor is configured to run a computer program stored in the memory to realize:
  • the marker image includes an image acquired by the movable platform according to the marker position;
  • the current display image corresponding to the marked position and the current pose information of the movable platform are acquired, wherein the current display image includes The image currently acquired by the movable platform according to the marked position;
  • the pose of the movable platform is adjusted according to the currently displayed image, the marked image, and the current pose information, so that the movable platform replays according to the preset trajectory.
  • the third aspect of the embodiments of the present invention is to provide a movable platform, including:
  • the trajectory replay system is arranged on the fuselage.
  • the fourth aspect of the embodiments of the present invention is to provide a computer-readable storage medium, the storage medium is a computer-readable storage medium, the computer-readable storage medium stores program instructions, and the program instructions are used to implement the above The trajectory replay method described in the first aspect.
  • a preset trajectory for the movable platform to move is generated by marking a position.
  • the current corresponding to the marked position can be obtained.
  • the preset trajectory changes the pose of the movable platform can be adjusted through the current displayed image, the marked image, and the current pose information, so that the entire replay process is smoother and faster. Allows the operator to focus more on the lens itself of the shooting device, thereby improving the accuracy and reliability of the trajectory replay, ensuring the practicability of the method, and conducive to market promotion and application.
  • FIG. 1 is a schematic diagram of a movable platform provided by an embodiment of the present invention replaying according to the preset trajectory;
  • FIG. 2 is a schematic flowchart of a trajectory replay method provided by an embodiment of the present invention
  • FIG. 3 is a schematic diagram 1 of the process of determining the pose offset information corresponding to the marked position according to the currently displayed image, the marked image, and the current pose information according to an embodiment of the present invention
  • FIG. 4 is a second schematic diagram of the process of determining the pose offset information corresponding to the marked position according to the currently displayed image, the marked image, and the current pose information according to an embodiment of the present invention
  • FIG. 5 is a schematic flowchart of determining the pose offset information of the movable platform according to the estimated pose information and current pose information according to an embodiment of the present invention
  • FIG. 6 is a schematic flowchart of another trajectory replay method provided by an embodiment of the present invention.
  • FIG. 7 is a schematic flowchart of another trajectory replay method provided by an embodiment of the present invention.
  • FIG. 8 is a schematic flowchart of adjusting the pose of the movable platform according to the target image and the mark image according to an embodiment of the present invention.
  • FIG. 9 is a schematic flowchart of determining rotation offset information according to the target image and the mark image according to an embodiment of the present invention.
  • FIG. 10 is a schematic diagram of a process of determining the rotation offset information according to the feature point relationship information according to an embodiment of the present invention
  • FIG. 11 is a schematic diagram 1 of the process of acquiring multiple marked positions passed by the movable platform when moving according to an embodiment of the present invention
  • FIG. 12 is a second schematic diagram of a process for acquiring multiple marked positions passed by a movable platform when moving according to an embodiment of the present invention
  • FIG. 13 is a third schematic diagram of a process for acquiring multiple marked positions passed by a movable platform when moving according to an embodiment of the present invention
  • FIG. 14 is a fourth schematic diagram of a process for acquiring multiple marked positions passed by a movable platform when moving according to an embodiment of the present invention.
  • 15 is a schematic flowchart of a trajectory replay method provided by an application embodiment of the present invention.
  • FIG. 16 is a schematic structural diagram of a trajectory replay system provided by an embodiment of the present invention.
  • FIG. 17 is a schematic structural diagram of a movable platform provided by an embodiment of the present invention.
  • this embodiment provides a trajectory replay method, which can be applied to a scenario where a movable platform performs multiple operations on the same trajectory.
  • a UAV performs route inspection work
  • the mobile platform performs the above-mentioned trajectory replay method, it can automatically detect and match the shooting trajectory.
  • the shooting trajectory changes slightly, as shown in Figure 1, taking the UAV as the movable platform as an example, the historical operation of the UAV The trajectory is the anchor point trajectory, and the current operating trajectory of the UAV is the flight trajectory.
  • the method in this implementation can perform image matching through the samples taken before, find the target to align the camera position, and support lens adjustment on this basis, so that the entire re-shooting /The inspection process is smoother and faster, allowing the operator to focus more on the lens itself.
  • this embodiment provides a trajectory replay method, which may include:
  • S101 Acquire a mark position and a mark image that the movable platform passes when it moves, where the mark image includes an image obtained by the movable platform according to the mark position.
  • the movable platform may include at least one of the following: unmanned aerial vehicles, unmanned ships, unmanned vehicles, and handheld PTZ.
  • unmanned aerial vehicles unmanned ships
  • unmanned vehicles unmanned vehicles
  • handheld PTZ handheld Precision Time Warner Inc.
  • those skilled in the art can also set the movable platform according to specific application requirements and design requirements. For other devices, I won’t repeat them here.
  • the movable platform can be moved according to work requirements or usage requirements.
  • the marked position can be preset position information, real-time passing position information, position information when the pose of the movable platform changes, position information of the marked image that needs to be acquired, etc., and can be generated from the acquired marked position Preset trajectories for the movable platform to move; and the marked image may include at least one image acquired by the movable platform according to each marked position.
  • the marked image may include: an image acquired by the movable platform at the marked position , And/or, the image obtained by shooting the marked position.
  • S102 Generate a preset trajectory for the movable platform to move according to the marked position.
  • a preset trajectory can be generated according to the marked position, and the preset trajectory can be used for the movable platform to move, and the generated preset trajectory can be convenient for the movable platform to perform replay.
  • the movable platform can replay the preset estimate according to the operation requirements and application requirements.
  • the position relative to the mark can be obtained.
  • the corresponding current display image and current pose information of the movable platform where the current pose information of the movable platform may include the current position information and current attitude information of the movable platform.
  • the currently displayed image corresponding to the marked position can be acquired through the photographing device on the movable platform, and the current displayed image includes the image currently acquired by the movable platform according to the marked position.
  • the image may include: the movable platform An image obtained at the marked position, and/or an image obtained by photographing the marked position.
  • S104 Adjust the pose of the movable platform according to the currently displayed image, the marked image, and the current pose information, so that the movable platform replays according to the preset trajectory.
  • the current display image, marked image, and current pose information can be analyzed and processed, and the pose of the movable platform can be adjusted based on the analysis and processing results, so that Make the movable platform replay according to the preset trajectory.
  • this embodiment does not limit the specific implementation manner of adjusting the pose of the movable platform according to the currently displayed image, the marked image, and the current pose information.
  • adjusting the pose of the movable platform according to the currently displayed image, the marked image, and the current pose information so that the movable platform can replay according to the preset trajectory may include:
  • S1041 Determine the pose offset information corresponding to the marked position according to the currently displayed image, the marked image, and the current pose information.
  • the pose offset information may include position offset information corresponding to the marked position and pose offset information corresponding to the movable platform.
  • S1042 Adjust the pose of the movable platform according to the pose offset information, so that the movable platform replays according to the preset trajectory.
  • the pose of the movable platform can be adjusted according to the pose offset information, so that the difference between the current trajectory executed by the movable platform and the determined preset trajectory is less than or equal to the preset trajectory.
  • the threshold is set so that the movable platform can perform replay operations according to the preset trajectory, as shown in Figure 1, which effectively ensures that the entire replay process is smoother and faster.
  • a preset trajectory for the movable platform to move is generated through a plurality of marked positions.
  • the position corresponding to the marked position can be obtained.
  • the current pose information of the currently displayed image and the movable platform, and the pose offset information corresponding to the mark position is determined according to the currently displayed image, the marked image and the current pose information, and then the pose offset information can be paired according to the pose offset information.
  • the pose of the platform is adjusted to effectively realize the automatic detection and matching of the preset trajectory during the replay of the trajectory on the movable platform.
  • the preset trajectory changes, the current display image, the marked image and the current position can be displayed.
  • the pose information adjusts the pose of the movable platform, so that the entire replay process is smoother and faster, allowing the operator to focus more on the lens itself of the shooting device, thereby improving the accuracy and reliability of the trajectory replay and ensuring the method’s performance Practicability is conducive to market promotion and application.
  • the method in this embodiment may further include:
  • S200 Acquire marker information corresponding to the marker position, where the marker information includes at least one of the following: 3D information of preset feature points, global 3D information (depth map, depth information, etc.), pan/tilt rotation information, and pose of the camera information.
  • the mark information corresponding to the mark position can be obtained, and the mark information may include the 3D information of the preset feature points and the global 3D Information, PTZ rotation information, and pose information of the camera.
  • the mark position in the middle may include point A1, point A2, point A3 and point A4, where there is a preset feature point at a certain marked position
  • there is a characteristic building at point A1 For example, there is a characteristic building at point A1, and the characteristic building is a preset characteristic point.
  • the 3D information of the preset characteristic point can be obtained through the camera; or, the movable platform is located at A2
  • the global 3D information of the movable platform at point A2 can be obtained through the camera;
  • the movable platform is at point A3 and the pan/tilt of the movable platform rotates, the time and mark can be obtained through the inertial measurement unit
  • PTZ rotation information corresponding to the position the PTZ rotation information may include PTZ rotation axis information and PTZ rotation angle information; the position and posture of the camera on the movable platform at point A4 changes
  • the posture information of the camera corresponding to the mark position can be obtained through the inertial measurement unit.
  • tag information is not limited to the content described in the above examples, and those skilled in the art can set the content of the tag information according to specific application requirements and design requirements, which will not be repeated here.
  • the movable platform after acquiring one or more mark positions that the movable platform passes through when moving, by acquiring mark information corresponding to the mark position, and then by determining the correspondence between the mark information and the mark position, it can effectively ensure The quality and efficiency of the replay of the movable platform according to the preset trajectory further improves the flow field degree of the trajectory replay.
  • FIG. 3 is a schematic diagram of the first process of determining the pose offset information corresponding to the marked position according to the currently displayed image, the marked image, and the current pose information according to an embodiment of the present invention; on the basis of the above-mentioned embodiment, continue to refer to the accompanying drawings 3, where the pose offset information corresponding to the mark position includes the position offset information corresponding to the mark position and the pose offset information of the movable platform; the pose offset information corresponding to the mark position
  • determining the pose offset information corresponding to the marked position according to the currently displayed image, the marked image, and the current pose information in this embodiment may include:
  • S10411 Obtain the marked feature point located in the marked image and the current feature point corresponding to the marked feature point located in the currently displayed image.
  • the marked image can be analyzed and identified, so that the marked feature point located in the marked image can be obtained.
  • the marked feature point may be a preset feature point, for example: the marked feature point may include a preset building Objects, preset markers, etc.
  • the currently displayed image can be analyzed and identified, so that the current feature point corresponding to the marked feature point in the currently displayed image can be identified.
  • the marked image can be obtained.
  • the movable platform replays according to the preset trajectory, it needs to move to the marked position again and obtain the current display corresponding to the marked image. image. Therefore, after the marker image and the current display image are acquired, the marker feature points located in the marker image and the current feature points corresponding to the marker feature points in the current display image can be obtained. For example, the marker feature points located in the marker image can be obtained. The marked feature point of a certain building in, and then the current feature point corresponding to the same building map is obtained in the current display image.
  • S10412 Determine the position offset information corresponding to the marked position according to the marked characteristic point and the current characteristic point.
  • the mark feature point and the current feature point can be analyzed and matched, so that the position offset information corresponding to the marked position can be determined, and the position offset information is in the movable platform
  • the position deviation between the current mark position and the mark position of the movable platform When performing a replay according to a preset trajectory, the position deviation between the current mark position and the mark position of the movable platform.
  • the marked position is point A
  • the movable platform replays according to the marked position A in the preset trajectory
  • the current marked position where the movable platform is located is point A ⁇
  • the point A ⁇ at this time is There is a certain distance between points A, and this distance is the position offset information corresponding to the marked position determined above.
  • the pose of the movable platform can be adjusted according to the position offset information, that is, the movable platform is adjusted from the current marked position to the marked position, so that the movable platform can recover according to the preset trajectory. play.
  • the marker feature point located in the marker image and the current feature point corresponding to the marker feature point in the currently displayed image are acquired, and then the position corresponding to the marker position is determined according to the marker feature point and the current feature point Offset information.
  • the pose of the movable platform can be adjusted according to the position offset information, that is, the movable platform is adjusted from the current marked position to the marked position, so that the movable platform can be adjusted according to the preset position.
  • Set trajectory replay which effectively guarantees the accuracy and reliability of replay on the movable platform.
  • FIG. 4 is a schematic diagram of the second process of determining the pose offset information corresponding to the marked position according to the currently displayed image, the marked image, and the current pose information according to the embodiment of the present invention; on the basis of the above-mentioned embodiment, continue to refer to the accompanying drawings
  • the pose offset information corresponding to the mark position includes the pose offset information of the movable platform, in this embodiment, it is determined according to the currently displayed image, the mark image, and the current pose information to correspond to the mark position.
  • the corresponding pose offset information may include:
  • S10413 Determine estimated pose information corresponding to the currently displayed image according to the currently displayed image and the marked image.
  • the current display image and the marked image After acquiring the current display image and the marked image, the current display image and the marked image can be analyzed and processed, so that the estimated pose information corresponding to the current display image can be obtained.
  • the image and the marked image determine the estimated pose information corresponding to the currently displayed image may include:
  • S104131 Use the perspective point PnP algorithm to analyze and process the currently displayed image and the marked image, and obtain estimated pose information corresponding to the currently displayed image.
  • the perspective-N-point (PnP) algorithm refers to an algorithm that uses multiple pairs of 3D and 2D matching points to solve the external camera parameters by minimizing the reprojection error when the internal camera parameters are known or unknown. .
  • the PnP algorithm can be used to analyze and process the current display image and the marked image, so that the estimated pose information corresponding to the currently displayed image can be obtained.
  • the estimated pose information includes the predicted pose information. Estimated position information and estimated attitude information.
  • S10414 Determine the pose offset information of the movable platform according to the estimated pose information and the current pose information.
  • the position offset information of the movable platform can be determined according to the estimated pose information and the current pose information.
  • the estimated pose information and the current pose information to determine the pose offset information of the movable platform may include:
  • S104141 Obtain inverse matrix information corresponding to the estimated pose information.
  • S104142 Determine the sum of the inverse matrix information and the current pose information as the pose offset information of the movable platform.
  • the inverse matrix information corresponding to the estimated pose information can be determined, namely After obtaining the inverse matrix information, the sum of the inverse matrix information and the current pose information can be determined as the pose offset information offset translation of the movable platform, that is
  • the estimated pose information corresponding to the currently displayed image is determined by the currently displayed image and the marked image, and the pose offset information of the movable platform is determined according to the estimated pose information and the current pose information, which not only guarantees The accuracy and reliability of the acquisition of the pose offset information of the movable platform is improved, and after the pose offset information is obtained, the pose of the movable platform can be adjusted according to the pose offset information, thereby effectively ensuring the The quality and accuracy of the replay performed by the mobile platform according to the preset trajectory further improve the stability and reliability of the method.
  • Fig. 6 is a schematic flow chart of another trajectory replay method provided by an embodiment of the present invention.
  • the movable platform in this embodiment may include a photographing device, which The photographing device may be used to obtain the marked image; in this case, the method in this embodiment may include:
  • S302 Determine the pose offset information corresponding to the photographing device according to the 3D information and/or global 3D information of the preset feature points and the current 3D information.
  • the preset feature point corresponds to the mark position.
  • the 3D information and/or global 3D information of the preset feature point is the mark information recorded when the movable platform passes the preset feature point for the first time.
  • the current 3D information of the camera at the marked position can be obtained.
  • the 3D information of the preset feature points can be obtained.
  • the information and/or global 3D information analyzes and processes the current 3D information, and can determine the pose offset information corresponding to the photographing device according to the analysis and processing result.
  • one achievable way is: using the iterative closest point
  • the (Iterative Closest Point, ICP for short) algorithm analyzes and matches the 3D information of the preset feature points and the current 3D information, so as to determine the pose offset information corresponding to the camera.
  • the pose offset information includes the position offset Information and attitude offset information.
  • Another achievable way is to use the ICP algorithm to analyze and match the current 3D information to the global 3D information, so that the pose offset information corresponding to the camera can be determined.
  • Another achievable way is to analyze and match the current 3D information using the ICP algorithm, the 3D information of the preset feature points, and the global 3D information, so that the pose offset information corresponding to the camera can be determined.
  • the posture of the camera can be adjusted according to the posture offset information.
  • the camera can be used for shooting operations, thereby effectively ensuring the The stable and reliable performance of the mobile platform according to the preset trajectory.
  • the current 3D information of the camera at the marked position can be acquired, and the 3D information of the preset feature point and / Or global 3D information and current 3D information, determine the pose offset information corresponding to the camera, and then adjust the camera's pose according to the pose offset information, thus realizing the trajectory replay of the movable platform
  • the marking information corresponding to the marking position can be accurately executed at the marking position, thereby ensuring the accuracy and reliability of the replay according to the preset trajectory.
  • Figure 7 is a schematic flow chart of another trajectory replay method provided by an embodiment of the present invention.
  • the movable platform in this embodiment may include The PTZ of the device; at this time, the method in this embodiment may include:
  • the pan/tilt rotation information is the mark information corresponding to the mark position obtained in advance when the movable platform is at the mark position. After the pan/tilt rotation information is obtained, the pan/tilt can be adjusted according to the pan/tilt rotation information to achieve The pose of the pan/tilt is adjusted from the current pose to the adjusted pose, and the adjusted pose is the pan/tilt pose corresponding to the pan/tilt rotation information.
  • the target image corresponding to the marked position can be acquired by the shooting device, where the marked position corresponds to the marked image in advance, and the target image corresponds to the marked image, that is, the target image and
  • the mark images are two pieces of image information corresponding to the same mark position respectively.
  • the target image and the marked image can be analyzed and processed to adjust the pose of the movable platform according to the analysis and processing results, so that the movable platform can perform replay according to the preset trajectory.
  • the adjustment of the pose of the movable platform according to the target image and the mark image in this embodiment may include:
  • S4031 Determine the rotation offset information according to the target image and the mark image.
  • the target image and the marker image can be analyzed and processed, so that the rotation offset information can be determined, and the rotation offset information may include rotation angle offset information and rotation axis offset information.
  • the specific method for determining the rotation offset information is not limited in this embodiment, and those skilled in the art can set it according to specific application requirements and design requirements.
  • this embodiment The determination of the rotation offset information according to the target image and the mark image in may include:
  • S40311 Obtain feature point relationship information according to the marked image and the target image.
  • S40312 Determine the rotation offset information according to the feature point relationship information.
  • the characteristic points in the marked image and the target image can be analyzed and matched, so that the characteristic point relationship information can be obtained.
  • the rotation can be determined according to the characteristic point relationship information
  • the offset information specifically, referring to FIG. 10, the determination of the rotation offset information according to the feature point relationship information in this embodiment may include:
  • S403121 Acquire camera internal parameters corresponding to the shooting device.
  • S403122 Determine the rotation offset information according to the camera internal parameters and the feature point relationship information.
  • the camera internal parameter K corresponding to the camera can be obtained.
  • the camera internal parameter K and the feature point relationship information H can be obtained.
  • the rotation matrix R can be used to determine the rotation offset information R offset through the rotation matrix R.
  • the pose of the movable platform can be adjusted according to the rotation offset information, which effectively ensures the stable and reliable performance of the movable platform according to the preset trajectory.
  • FIG. 11 is a schematic diagram 1 of the process of acquiring multiple marked positions passed by the movable platform when moving according to an embodiment of the present invention; on the basis of any one of the above embodiments, and continuing to refer to FIG. 11, this embodiment is for multiple
  • the specific method for acquiring the marked position is not limited, and those skilled in the art can set it according to specific application requirements and design requirements.
  • the acquisition of the marked position passed by the movable platform in this embodiment may include :
  • S1012 Acquire the marked position passed by the movable platform when moving according to the position interval information.
  • the position interval information can be preset, and different application scenarios and job requirements can correspond to different position interval information.
  • the interval and pose information can be used to determine the one that the movable platform passes when moving. Or multiple marker locations. For example: when the movable platform moves from point A to point B, the distance information between point A and point B is 200 meters, and the position interval information is 50 meters. At this time, the movable platform moves from point A to point B.
  • the mark positions can be recorded as follows: point A, point A1, point A2, point A3 and point B, where the distance between two adjacent mark positions is the position interval information.
  • this not only effectively ensures the accuracy and reliability of the acquisition of one or more marked positions, but also It can also ensure the stability and reliability of the preset trajectory formation.
  • another way to obtain the marker position passed by the movable platform when moving may include:
  • the camera on the movable platform can be used to obtain the mark image.
  • the current pose information of the camera on the movable platform can be obtained through the inertial measurement unit, and the current pose information can include current position information.
  • the current posture information by comparing the current posture information with the posture information of the previous moment, the posture offset information of the shooting device can be determined.
  • the posture offset information can be compared with the preset posture information. Set a threshold value for analysis and comparison.
  • the pose offset information is greater than or equal to the preset threshold, it means that the pose of the camera has a large offset at this time. At this time, you can obtain the offset from the preset trajectory. Shift the marked position corresponding to the information, so as to ensure the accuracy and reliability of the acquisition of the marked position.
  • the pose offset information is used to identify whether the pose of the camera has a large offset, and the pose of the camera is greatly offset.
  • the mark position corresponding to the pose offset information is recorded, which not only ensures the accuracy and reliability of the mark position acquisition, and facilitates the realization of the replay operation of the trajectory.
  • another way to obtain the marker position passed by the movable platform when moving may include:
  • S1016 Acquire multiple mark positions passed by the movable platform when moving according to the preset number of feature points.
  • the number of preset feature points can be preset, and different application scenarios and job requirements can correspond to different preset number of feature points. After the preset number of feature points is obtained, it can be based on the preset feature points.
  • the number acquires multiple marked positions passed by the movable platform when it moves. For example: when the movable platform moves from point A to point B, the preset number of feature points between point A and point B is 5, at this time, the process of moving the movable platform from point A to point B
  • multiple marker positions can be determined according to the preset number of feature points.
  • the multiple marker positions can include points A1, A2, and A3 located between points A and B.
  • the total number of marked positions obtained at this time is 5 pcs.
  • the number of mark positions is 6 or 7, which is more preferable. It is sufficient that the number of marked positions is greater than or equal to the number of preset feature points, which can effectively ensure the accuracy and reliability of the preset trajectory determination.
  • this not only effectively ensures the accuracy and reliability of the acquisition of multiple mark positions , And can also ensure the stability and reliability of the preset trajectory formation.
  • another way to obtain the marker position passed by the movable platform when moving may include:
  • the action information of the photographing device may include the photographing action and the action to be photographed.
  • the action information of the photographing device is a photographing action, it means that the photographing device is performing the photographing operation at this time; when the action information of the photographing device is the action to be photographed, It means that the camera is not performing the shooting operation at this time.
  • the motion information of the camera can be analyzed and identified.
  • the motion information of the camera is a shooting motion, multiple marker positions passed by the movable platform can be acquired when the movable platform moves.
  • this application embodiment provides a trajectory replay method, which can automatically detect and match the shooting trajectory, and when the shooting trajectory changes slightly, the image can be imaged through the samples taken before. Match, find the target to align the camera position, and support lens adjustment on this basis, so that the entire re-shooting/inspection process is smoother and faster, allowing the operator to focus more on the lens itself.
  • the method includes:
  • step1 Record anchor point information.
  • the anchor point information is the mark position in the above embodiment.
  • the anchor point information can be recorded.
  • the shooting track of the movable platform can be realized according to the anchor point information; or
  • the mobile platform moves according to the shooting trajectory, it records the anchor point information on the shooting trajectory.
  • the anchor point information can be marked with a preset identifier. As shown in Figure 2, the anchor point information on the shooting track is marked with a triangle; while recording the anchor point information, you can also record the anchor point information. The execution action corresponding to the point information.
  • the anchor point information when recording the anchor point information located on the shooting track, the anchor point information may be determined by at least one of the following methods:
  • step2 Record the execution action information corresponding to the anchor point.
  • the execution action information corresponding to the anchor point can be recorded to realize the replay operation.
  • the recorded execution action information can include at least one of the following:
  • the depth map can be obtained by using a laser point cloud, or it can be obtained by a visual binocular camera device.
  • the binocular camera device includes a first camera on the left and a second camera on the right. A camera, there is a difference in shooting angle between the image taken by the first camera and the image taken by the second camera, so that a depth map can be obtained, and the depth map can be used to obtain three-dimensional information of each point.
  • step3 Replay navigation according to the shooting trajectory and revise the global positioning system GPS.
  • the current image is the image that the camera can shoot when the drone is operating according to the shooting trajectory.
  • the image can be processed by the feature point extraction algorithm to obtain the feature point.
  • the PnP algorithm can be used to calculate the feature points and preset feature points in the current image to obtain the current theoretical pose corresponding to the current image
  • the current theoretical pose includes position information and pose information.
  • offset translation is offset information, Is the current pose, Is the current theoretical pose.
  • step4 Shoot at the anchor point, refine the pose, and rotate the gimbal.
  • the shooting trajectory is taken at the anchor point position, when the trajectory is replayed on the movable platform, in order to ensure the accuracy of the replay action, it is necessary to refine the posture processing of the shooting device and rotate the cloud. It can realize the shooting operation through the shooting device.
  • the ICP algorithm uses the ICP algorithm to match the pre-recorded depth information of the preset feature point with the current feature point. According to the matching result, it can be known that when the depth map of the preset feature point is recorded, the pose information of the current camera corresponds to the pose information
  • the offset information is used to adjust the pose of the shooting device through the pose offset information, so as to achieve the effect of accurately adjusting the pose of the shooting device, thereby ensuring the accuracy of the image obtained by the shooting device.
  • X′ is a feature point located on image B
  • X is a feature point located on image A
  • H is a relation matrix.
  • the relation matrix H can be obtained by the above formula. Then use the following formula to obtain the rotation matrix:
  • K is the camera internal parameters
  • R is the rotation matrix
  • H is the relationship matrix
  • the eigenvalue of R can be obtained by the above formula as ⁇ , ⁇ e i ⁇ , ⁇ e -i ⁇ ⁇
  • ⁇ is the rotation angle
  • the vector is the axis of rotation.
  • This application embodiment provides a method that can automatically repeat the composition according to the shooting trajectory, and can remember to adjust the camera position, which can make the re-shooting process smoother and faster, ensure the quality and efficiency of the trajectory replay, and reduce operations.
  • the operator’s operation steps allow the operator to focus more on the lens itself, thereby effectively reducing the difficulty of trajectory replay, ensuring the practicability of the method, and conducive to market promotion and application.
  • FIG. 16 is a schematic structural diagram of a trajectory replay system provided by an embodiment of the present invention. referring to FIG. 16, as shown in FIG. 16, this embodiment provides a trajectory replay system that can perform the above-mentioned trajectory replay Method, specifically, the trajectory replay system includes:
  • the memory 12 is used to store computer programs
  • the processor 11 is configured to run a computer program stored in the memory 12 to realize:
  • the marked image includes the image acquired by the movable platform according to the marked position;
  • the current display image corresponding to the marked position and the current pose information of the movable platform are acquired, wherein the current display image includes the image currently acquired by the movable platform according to the marked position ;
  • the pose of the movable platform is adjusted according to the currently displayed image, the marked image, and the current pose information, so that the movable platform replays according to the preset trajectory.
  • the trajectory replay system may also include a communication interface 13 for the electronic device to communicate with other devices or a communication network.
  • the processor 11 adjusts the pose of the movable platform according to the currently displayed image, the marked image, and the current pose information, so that the movable platform is adjusted according to the current pose information.
  • the processor 11 is also used to: determine the pose offset information corresponding to the marked position according to the currently displayed image, the marked image, and the current pose information; The position and posture of is adjusted to make the movable platform replay according to the preset trajectory.
  • the processor 11 is further configured to:
  • mark information corresponding to the mark position where the mark information includes at least one of the following: 3D information of preset feature points, global 3D information, pan/tilt rotation information, and pose information of the camera.
  • the processor 11 when the processor 11 determines the pose offset information corresponding to the marker position according to the currently displayed image, the marker image, and the current pose information, the processor 11 is further configured to: obtain the marker located in the marker image The feature point and the current feature point corresponding to the marked feature point in the currently displayed image; according to the marked feature point and the current feature point, the position offset information corresponding to the marked position is determined.
  • the processor 11 when the processor 11 determines the pose offset information corresponding to the marked position according to the currently displayed image, the marked image, and the current pose information, the processor 11 is further configured to: according to the currently displayed image and the marked image Determine the estimated pose information corresponding to the currently displayed image; determine the pose offset information of the movable platform according to the estimated pose information and the current pose information.
  • the processor 11 determines the estimated pose information corresponding to the currently displayed image according to the currently displayed image and the marked image
  • the processor 11 is further configured to: use the perspective point PnP algorithm to compare the currently displayed image and the marked image.
  • the image is analyzed and processed to obtain the estimated pose information corresponding to the currently displayed image.
  • the processor 11 when the processor 11 determines the pose offset information of the movable platform according to the estimated pose information and the current pose information, the processor 11 is further configured to: obtain the information corresponding to the estimated pose information Inverse matrix information: The sum of the inverse matrix information and the current pose information is determined as the pose offset information of the movable platform.
  • the movable platform includes a photographing device, and the photographing device is used to obtain the marked image; the processor 11 is further used for: when the movable platform is located at the marked position during the movement of the movable platform according to a preset trajectory, Acquire the current 3D information of the camera at the marked position; determine the pose offset information corresponding to the camera according to the 3D information and/or global 3D information of the preset feature points and the current 3D information; according to the pose offset The information adjusts the pose of the camera.
  • the movable platform further includes a pan/tilt for carrying the camera; the processor 11 is also used for: adjust the pose of the pan/tilt to the adjusted pose according to the rotation information of the pan/tilt; When the posture is in the adjusted posture, the target image corresponding to the mark position is acquired through the camera, and the target image corresponds to the mark image; according to the target image and the mark image, the pose of the movable platform is adjusted to make it possible to The mobile platform replays according to the preset trajectory.
  • the processor 11 when the processor 11 adjusts the pose of the movable platform according to the target image and the mark image, the processor 11 is further configured to: determine the rotation offset information according to the target image and the mark image; The movement information adjusts the pose of the movable platform so that the movable platform replays according to the preset trajectory.
  • the processor 11 when the processor 11 determines the rotation offset information according to the target image and the mark image, the processor 11 is further configured to: obtain the feature point relationship information according to the mark image and the target image; determine the rotation according to the feature point relationship information Offset information.
  • the processor 11 when the processor 11 determines the rotation offset information according to the feature point relationship information, the processor 11 is further configured to: obtain the camera internal parameters corresponding to the shooting device; determine the rotation offset according to the camera internal parameters and the feature point relationship information. Shift information.
  • the rotation offset information includes rotation angle offset information and rotation axis offset information.
  • the processor 11 when the processor 11 obtains the marker position passed by the movable platform when it moves, the processor 11 is further configured to: obtain position interval information; and obtain the marker position passed by the movable platform when the movable platform moves according to the position interval information.
  • the processor 11 when the processor 11 acquires the marker position passed by the movable platform when it moves, the processor 11 is also used to: acquire the pose offset information of the camera provided on the movable platform; When the information is greater than or equal to the preset threshold, the marker position corresponding to the pose offset information is obtained on the preset trajectory.
  • the processor 11 when the processor 11 obtains the marker position passed by the movable platform when it moves, the processor 11 is further configured to: obtain the preset number of feature points; and obtain the time when the movable platform moves according to the preset number of feature points. The position of the marker passed.
  • the processor 11 when the processor 11 obtains the marker position passed by the movable platform when it moves, the processor 11 is further configured to: obtain the action information of the shooting device provided on the movable platform; when the action information is a shooting action, Get the mark position passed by the movable platform when it moves.
  • the marking position is at least one.
  • the marking image includes at least one image acquired by the movable platform according to each marking position.
  • the movable platform includes at least one of the following: unmanned aerial vehicle, unmanned ship, unmanned vehicle, and handheld pan/tilt.
  • the trajectory replay system shown in FIG. 16 can execute the methods of the embodiments shown in FIG. 1 to FIG. 15. For parts that are not described in detail in this embodiment, please refer to the related descriptions of the embodiments shown in FIG. 1 to FIG. 15. For the implementation process and technical effects of this technical solution, please refer to the description in the embodiment shown in FIG. 1 to FIG. 15, and will not be repeated here.
  • an embodiment of the present invention provides a computer-readable storage medium, the storage medium is a computer-readable storage medium, the computer-readable storage medium stores program instructions, and the program instructions are used to implement the above-mentioned trajectories in FIGS. 1 to 15 Rehearsal method.
  • FIG. 17 is a schematic structural diagram of a movable platform provided by an embodiment of the present invention. referring to FIG. 17, as shown in FIG. 17, this embodiment provides a movable platform, wherein the movable platform includes at least one of the following: , Unmanned ships, unmanned vehicles, handheld PTZ; specifically, the movable platform includes:
  • trajectory replay system 22 In the above-mentioned trajectory replay system 22 in FIG. 16, the trajectory replay system 22 is installed on the fuselage 21.
  • the disclosed related remote control device and method can be implemented in other ways.
  • the embodiments of the remote control device described above are only illustrative.
  • the division of the modules or units is only a logical function division, and there may be other divisions in actual implementation, such as multiple units or components. It can be combined or integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, remote control devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present invention may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or software functional unit.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • the technical solution of the present invention essentially or the part that contributes to the prior art or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium.
  • the aforementioned storage media include: U disk, mobile hard disk, Read-Only Memory (ROM), Random Access Memory (RAM, Random Access Memory), magnetic disks or optical disks and other media that can store program codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种轨迹复演方法、系统、可移动平台和存储介质。方法包括：获取可移动平台移动时经过的多个标记位置和标记图像，标记图像包括可移动平台根据标记位置获取的图像(S101)；根据多个标记位置生成用于供可移动平台进行移动的预设轨迹(S102)；在可移动平台根据预设轨迹移动时，获取与标记位置相对应的当前显示图像和可移动平台的当前位姿信息，当前显示图像包括可移动平台当前根据标记位置获取的图像(S103)；根据所述当前显示图像、所述标记图像和所述当前位姿信息，对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演(S104)。上述方法能够根据轨迹自动复拍构图，使复拍过程更加流畅、快速。

Description

轨迹复演方法、系统、可移动平台和存储介质 技术领域
本发明实施例涉及控制技术领域，尤其涉及一种轨迹复演方法、系统、可移动平台和存储介质。
背景技术
随着科学技术的飞速发展,可移动平台可以协助进行专业航拍、农业灌溉、电力巡线、治安监控等，例如，以无人机为代表的飞行器有比较广泛的应用。在利用无人机进行飞行作业时，可能会需要沿同一个轨迹进行多次重复作业，例如：在电影的制作拍摄过程中，为了拍摄一个场景，经常需要多次反复尝试，除了演员的表现可以影响到一段成片的好坏之外，摄影师的拍摄也经常是停机复拍的一个原因。或者，在利用无人机进行路线巡检工作时，通常需要针对同一条线路不停的进行拍摄检测，然而，由于路线较为复杂、拍摄操作较为重复，并且路线巡检工作的应用场景多为野外作业，操控员在恶劣环境下还需要聚精会神执行任务，这对于操控员来说，是一项很大的挑战。
因此，在需要针对同一轨迹进行多次重复作业时，如何实现每次运行的轨迹趋近一致是一个亟需解决的一个问题。
发明内容
本发明实施例提供了一种轨迹复演方法、系统、可移动平台和存储介质，在针对同一轨迹进行多次重复作业时，能够实现多次运行的轨迹趋近一致，使得航线复演的过程更加流畅、快速。
本发明实施例的第一方面是为了提供一种轨迹复演方法，包括：
获取可移动平台移动时经过的标记位置和标记图像，所述标记图像包括所述可移动平台根据所述标记位置获取的图像；
根据所述标记位置生成用于供可移动平台进行移动的预设轨迹；
在所述可移动平台根据所述预设轨迹移动的过程中，获取与所述标记位置相对应的当前显示图像，和所述可移动平台的当前位姿信息，其中，所述 当前显示图像包括所述可移动平台当前根据所述标记位置获取的图像；
根据所述当前显示图像、所述标记图像和所述当前位姿信息，对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演。
本发明实施例的第二方面是为了提供一种轨迹复演系统，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
获取可移动平台移动时经过的标记位置和标记图像，所述标记图像包括所述可移动平台根据所述标记位置获取的图像；
根据所述标记位置生成用于供可移动平台进行移动的预设轨迹；
在所述可移动平台根据所述预设轨迹移动的过程中，获取与所述标记位置相对应的当前显示图像，和所述可移动平台的当前位姿信息，其中，所述当前显示图像包括所述可移动平台当前根据所述标记位置获取的图像；
根据所述当前显示图像、所述标记图像和所述当前位姿信息，对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演。
本发明实施例的第三方面是为了提供一种可移动平台，包括：
机身；
上述第二方面所述的轨迹复演系统，所述轨迹复演系统设置于所述机身上。
本发明实施例的第四方面是为了提供一种计算机可读存储介质，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于实现上述第一方面所述的轨迹复演方法。
本发明实施例提供的轨迹复演方法，通过标记位置生成用于供可移动平台进行移动的预设轨迹，在可移动平台根据预设轨迹移动的过程中，可以获取与标记位置相对应的当前显示图像和可移动平台的当前位姿信息，并根据当前显示图像、标记图像和当前位姿信息对可移动平台的位姿进行调整，有效地实现了在可移动平台进行轨迹复演的过程中，可以自动检测匹配预设轨迹，在预设轨迹发生变化时，能够通过当前显示图像、标记图像和当前位姿信息对可移动平台的位姿进行调整，从而使得整个复演过程更加流畅快捷，让操作者更加专注于拍摄装置的镜头本身，进而提高了轨迹复演的准确可靠性，保证了该方法的实用性，有利于市场的推广与应用。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例提供的可移动平台根据所述预设轨迹复演的示意图；
图2为本发明实施例提供的一种轨迹复演方法的流程示意图；
图3为本发明实施例提供的根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息的流程示意图一；
图4为本发明实施例提供的根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息的流程示意图二；
图5为本发明实施例提供的根据所述预估位姿信息和当前位姿信息确定所述可移动平台的位姿偏移信息的流程示意图；
图6为本发明实施例提供的另一种轨迹复演方法的流程示意图；
图7为本发明实施例提供的又一种轨迹复演方法的流程示意图；
图8为本发明实施例提供的根据所述目标图像与所述标记图像，对所述可移动平台的位姿进行调整的流程示意图；
图9为本发明实施例提供的根据所述目标图像和标记图像确定旋转偏移信息的流程示意图；
图10为本发明实施例提供的根据所述特征点关系信息确定所述旋转偏移信息的流程示意图；
图11为本发明实施例提供的获取可移动平台移动时经过的多个标记位置的流程示意图一；
图12为本发明实施例提供的获取可移动平台移动时经过的多个标记位置的流程示意图二；
图13为本发明实施例提供的获取可移动平台移动时经过的多个标记位置的流程示意图三；
图14为本发明实施例提供的获取可移动平台移动时经过的多个标记位置的流程示意图四；
图15为本发明应用实施例提供的一种轨迹复演方法的流程示意图；
图16为本发明实施例提供的一种轨迹复演系统的结构示意图；
图17为本发明实施例提供的一种可移动平台的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
为了便于理解本申请的技术方案，下面对现有技术进行简要说明：
在利用无人机进行飞行作业时，可能会需要沿着同一个轨迹进行多次作业，例如：在电影制作拍摄过程中，为了拍摄一个场景，经常需要多次反复尝试，除了演员的表现会影响到一段成片的好坏，摄影师的拍摄也经常是停机复拍的一个原因；或者，在进行路线巡检工作时，通常需要针对同一条线路不停的拍摄检测。然而，由于拍摄任务或者巡检任务的重复度很高，同时对机位构图的要求比较高，以往都需要经过专业训练的操作员来执行，不仅作业方式枯燥，并且对操作员也具有很高的要求。此外，路线巡检工作的应用场景多为野外作业，操控员在恶劣环境下还需要聚精会神执行任务，极大地增加了作业难度。
下面结合附图，对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
为了解决上述技术问题，本实施例提供了一种轨迹复演方法，该方法可以应用于可移动平台针对同一个轨迹进行多次作业的场景，例如：无人机进行路线巡检工作时，需要针对同一条线路不停的拍摄检测的应用场景，或者，利用可移动平台针对同一个场景进行多次拍摄的情况。在可移动平台执行上述轨迹复演方法时，能够自动检测匹配拍摄轨迹，在拍摄轨迹发生微小变化时，如图1所示，以无人机作为可移动平台为例，无人机的历史运行轨迹为锚点轨迹，无人机的当前运行轨迹为飞行轨迹，在飞行轨迹与锚点轨迹之间不重合时，则可以确定此时的可移动平台的拍摄轨迹发生了微小变化。为了能 够保证无人机的轨迹复演效果，本实施中的方法能够通过之前拍摄的样片来进行图像匹配，寻找目标对齐机位朝向，并支持在此基础上的镜头调整，从而让整个复拍/巡检过程更加流畅快捷，让操作者更加专注于镜头本身。
具体的，参考附图2所示，本实施例提供了一种轨迹复演方法，该方法可以包括：
S101：获取可移动平台移动时经过的标记位置和标记图像，标记图像包括可移动平台根据标记位置获取的图像。
其中，可移动平台可以包括以下至少之一：无人机、无人船、无人车、手持云台，当然的，本领域技术人员也可以根据具体的应用需求和设计需求将可移动平台设置为其他的设备，在此不再赘述。
另外，标记位置可以为至少一个，可移动平台可以根据作业需求或者使用需求进行移动，在可移动平台进行移动的过程中，可以获取可移动平台移动时经过的多个标记位置和标记图像，其中，标记位置可以是预设的位置信息、实时经过的位置信息、可移动平台的位姿发生变化时的位置信息、需要获取标记图像的位置信息等等，并且，通过所获取的标记位置可以生成预设轨迹，以供可移动平台进行移动；而标记图像可以包括可移动平台根据每一个标记位置获取的至少一个图像，具体的，该标记图像可以包括：可移动平台在标记位置处获取的图像，和/或，对标记位置进行拍摄获得的图像。
S102：根据标记位置生成用于供可移动平台进行移动的预设轨迹。
在获取到标记位置之后，可以根据标记位置生成预设轨迹，该预设轨迹可以用于供可移动平台进行移动，所生成的预设轨迹可以便于可移动平台进行复演。
S103：在可移动平台根据预设轨迹移动的过程中，获取与标记位置相对应的当前显示图像，和可移动平台的当前位姿信息，其中，当前显示图像包括可移动平台当前根据标记位置获取的图像。
在获取到预设轨迹之后，可移动平台可以根据作业需求和应用需求对预设估计进行复演，在可移动平台根据预设轨迹进行移动(复演)的过程中，可以获取与标记位置相对应的当前显示图像和可移动平台的当前位姿信息，其中，可移动平台的当前位姿信息可以包括可移动平台的当前位置信息和当前姿态信息。另外，可以通过可移动平台上的拍摄装置获取与标记位置相对应的当前显示图像，该当前显示图像包括可移动平台当前根据标记位置获取 的图像，同理的，该图像可以包括：可移动平台在标记位置处获取的图像，和/或，对标记位置进行拍摄获得的图像。
S104：根据当前显示图像、标记图像和当前位姿信息，对可移动平台的位姿进行调整，以使可移动平台根据预设轨迹复演。
在获得当前显示图像、标记图像和当前位姿信息之后，可以对当前显示图像、标记图像和当前位姿信息进行分析处理，并可以基于分析处理结果对可移动平台的位姿进行调整，从而可以使得可移动平台根据预设轨迹进行复演。具体的，本实施例对于根据当前显示图像、标记图像和当前位姿信息，对可移动平台的位姿进行调整的具体实现方式不做限定，本领域技术人员可以根据具体的应用需求和设计需求进行设置，较为优选的，本实施例中的根据当前显示图像、标记图像和当前位姿信息，对可移动平台的位姿进行调整，以使可移动平台根据预设轨迹复演可以包括：
S1041：根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息。
在获取到当前显示图像、标记图像和当前位姿信息之后，可以对当前显示图像、标记图像和当前位姿信息进行分析处理，从而可以确定与标记位置相对应的位姿偏移信息，该位姿偏移信息可以包括与标记位置相对应的位置偏移信息和与可移动平台相对应的位姿偏移信息。
S1042：根据位姿偏移信息对可移动平台的位姿进行调整，以使可移动平台根据预设轨迹复演。
在获取到位姿偏移信息之后，可以根据位姿偏移信息对可移动平台的位姿进行调整，使得可移动平台所执行的当前轨迹与所确定的预设轨迹之间的差异小于或等于预设阈值，从而使得可移动平台可以根据预设轨迹进行复演操作，如图1所示，这样有效地保证了整个复演过程更加流畅快捷。
本实施例提供的轨迹复演方法，通过多个标记位置生成用于供可移动平台进行移动的预设轨迹，在可移动平台根据预设轨迹移动的过程中，可以获取与标记位置相对应的当前显示图像和可移动平台的当前位姿信息，并根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息，而后可以根据位姿偏移信息对可移动平台的位姿进行调整，有效地实现了在可移动平台进行轨迹复演的过程中，可以自动检测匹配预设轨迹，在预设轨迹发生变化时，能够通过当前显示图像、标记图像和当前位姿信息对 可移动平台的位姿进行调整，从而使得整个复演过程更加流畅快捷，让操作者更加专注于拍摄装置的镜头本身，进而提高了轨迹复演的准确可靠性，保证了该方法的实用性，有利于市场的推广与应用。
进一步的，在获取可移动平台移动时经过的标记位置之后，本实施例中的方法还可以包括：
S200：获取与标记位置相对应的标记信息，标记信息包括以下至少一种：预设特征点的3D信息、全局3D信息(深度图、深度信息等)、云台旋转信息、拍摄装置的位姿信息。
其中，在获取到可移动平台移动时经过的标记位置之后，为了便于实现轨迹复演操作，可以获取与标记位置相对应的标记信息，该标记信息可以包括预设特征点的3D信息、全局3D信息、云台旋转信息、拍摄装置的位姿信息。举例来说：在可移动平台从A点移动到B点的过程中，中间的标记位置可以包括A1点、A2点、A3点和A4点，其中，当某一标记位置处存在预设特征点时，例如：在A1点处存在某一特征建筑物，特征建筑物为预设特征点，此时，则可以通过拍摄装置获取到预设特征点的3D信息；或者，在可移动平台位于A2点时，可以通过拍摄装置获取可移动平台位于A2点处的全局3D信息；在可移动平台位于A3点、且可移动平台的云台发生旋转时，则可以通过惯性测量单元获取此时与标记位置相对应的云台旋转信息，该云台旋转信息可以包括云台旋转轴信息和云台旋转角信息；在可移动平台位于A4点、且位于可移动平台上的拍摄装置的位姿发生变化时，则可以通过惯性测量单元获取与该标记位置相对应的拍摄装置的位姿信息。
可以理解的是，标记信息并不限于上述举例说明的内容，本领域技术人员可以根据具体的应用需求和设计需求对标记信息的内容进行设置，在此不再赘述。
本实施例中，在获取可移动平台移动时经过的一个或多个标记位置之后，通过获取与标记位置相对应的标记信息，而后通过确定标记信息与标记位置的对应关系，可以有效地保证了可移动平台根据预设轨迹进行复演的质量和效率，进一步提高了轨迹复演的流场程度。
图3为本发明实施例提供的根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息的流程示意图一；在上述实施例的基础上，继续参考附图3所示，其中，与标记位置相对应的位姿偏移信息包括与 标记位置相对应的位置偏移信息和可移动平台的位姿偏移信息；在与标记位置相对应的位姿偏移信息包括与标记位置相对应的位置偏移信息时，本实施例中的根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息可以包括：
S10411：获取位于标记图像中的标记特征点和位于当前显示图像中与标记特征点相对应的当前特征点。
其中，在获得标记图像之后，可以对标记图像进行分析识别，从而可以获取位于标记图像中的标记特征点，该标记特征点可以是预设的特征点，例如：标记特征点可以包括预设建筑物、预设标识物等等。在获取到当前显示图像之后，可以对当前显示图像进行分析识别，从而可以识别出位于当前显示图像中与标记特征点相对应的当前特征点。
具体的，在可移动平台首次移动到标记位置时，可以获取到标记图像，当可移动平台根据预设轨迹进行复演时，需要再次移动至标记位置，并获得与标记图像相对应的当前显示图像。因此，在获取到标记图像和当前显示图像之后，可以获取到位于标记图像中的标记特征点和位于当前显示图像中与标记特征点相对应的当前特征点，例如：可以获取到位于标记图像中的某一建筑物的标记特征点，而后在当前显示图像中获取到针对同一建筑图相对应的当前特征点。
S10412：根据标记特征点与当前特征点，确定与标记位置相对应的位置偏移信息。
在获取到标记特征点和当前特征点之后，可以对标记特征点和当前特征点进行分析匹配，从而可以确定与标记位置相对应的位置偏移信息，该位置偏移信息即为在可移动平台根据预设轨迹进行复演时，可移动平台的当前标记位置与标记位置之间存在的位置偏差。
举例来说：在标记位置为A点时，在可移动平台根据预设轨迹中的标记位置A进行复演时，可移动平台所在的当前标记位置为A`点，此时的A`点与A点之间存在一定的距离，该距离即为上述确定的与标记位置相对应的位置偏移信息。在获取到该位置偏移信息之后，可以根据位置偏移信息对可移动平台的位姿进行调整，即将可移动平台由当前标记位置调整至标记位置处，以使可移动平台根据预设轨迹复演。
本实施例中，通过获取位于标记图像中的标记特征点和位于当前显示图 像中与标记特征点相对应的当前特征点，而后根据标记特征点与当前特征点，确定与标记位置相对应的位置偏移信息，在获取到位置偏移信息之后，可以根据位置偏移信息对可移动平台的位姿进行调整，即将可移动平台由当前标记位置调整至标记位置处，以使可移动平台根据预设轨迹复演，这样有效地保证了可移动平台进行复演的准确可靠性。
图4为本发明实施例提供的根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息的流程示意图二；在上述实施例的基础上，继续参考附图4所示，在与标记位置相对应的位姿偏移信息包括可移动平台的位姿偏移信息时，本实施例中的根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息可以包括：
S10413：根据当前显示图像和标记图像确定与当前显示图像相对应的预估位姿信息。
在获取到当前显示图像和标记图像之后，可以对当前显示图像和标记图像进行分析处理，从而可以获得与当前显示图像相对应的预估位姿信息，具体的，本实施例中的根据当前显示图像和标记图像确定与当前显示图像相对应的预估位姿信息可以包括：
S104131：利用透视点PnP算法对当前显示图像和标记图像进行分析处理，获得与当前显示图像相对应的预估位姿信息。
其中，透视点(perspective-N-point，简称PnP)算法是指通过多对3D与2D匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来求解相机外参的算法。在获取到当前显示图像和标记图像之后，可以利用PnP算法对当前显示图像和标记图像进行分析处理，从而可以获得与当前显示图像相对应的预估位姿信息，该预估位姿信息包括预估位置信息和预估姿态信息。
S10414：根据预估位姿信息和当前位姿信息确定可移动平台的位姿偏移信息。
在获取到预估位姿信息之后，可以根据预估位姿信息和当前位姿信息来确定可移动平台的位置偏移信息，具体的，参考附图5所示，本实施例中的根据预估位姿信息和当前位姿信息确定可移动平台的位姿偏移信息可以包括：
S104141：获取与预估位姿信息相对应的逆矩阵信息。
S104142：将逆矩阵信息与当前位姿信息的和值确定为可移动平台的位姿 偏移信息。
具体的，假设预估位姿信息表示为
Figure PCTCN2019121989-appb-000001
当前位姿信息表示为
Figure PCTCN2019121989-appb-000002
此时，在获取都预估位姿信息之后，可以确定与预估位姿信息相对应的逆矩阵信息，即
Figure PCTCN2019121989-appb-000003
在获取到逆矩阵信息之后，可以将逆矩阵信息与当前位姿信息的和值确定为可移动平台的位姿偏移信息offset translation，即
Figure PCTCN2019121989-appb-000004
本实施例中，通过当前显示图像和标记图像确定与当前显示图像相对应的预估位姿信息，根据预估位姿信息和当前位姿信息确定可移动平台的位姿偏移信息，不仅保证了可移动平台的位姿偏移信息获取的准确可靠性，并且，在获取到位姿偏移信息之后，可以根据位姿偏移信息对可移动平台的位姿进行调整，从而有效地保证了可移动平台根据预设轨迹进行复演的质量和准确率，进一步提高了该方法使用的稳定可靠性。
图6为本发明实施例提供的另一种轨迹复演方法的流程示意图；在上述实施例的基础上，继续参考附图6所示，本实施例中的可移动平台可以包括拍摄装置，该拍摄装置可以用于获取标记图像；此时，本实施例中的方法可以包括：
S301：在可移动平台根据预设轨迹移动的过程中，当可移动平台位于标记位置时，获取拍摄装置在标记位置处的当前3D信息。
S302：根据预设特征点的3D信息和/或全局3D信息，和当前3D信息，确定与拍摄装置相对应的位姿偏移信息。
S303：根据位姿偏移信息对拍摄装置的位姿进行调整。
其中，预设特征点与标记位置之间相对应，一般情况下，预设特征点的3D信息和/或全局3D信息是在可移动平台首次经过预设特征点时所记录的标记信息。当可移动平台根据预设轨迹进行移动，且可移动平台位于标记位置时，则可以获取拍摄装置在标记位置处的当前3D信息，在获取到当前3D信息之后，可以根据预设特征点的3D信息和/或全局3D信息对当前3D信息进行分析处理，并可以根据分析处理结果确定与拍摄装置相对应的位姿偏移信息。
具体的，在根据预设特征点的3D信息和/或全局3D信息，和当前3D信息，确定与拍摄装置相对应的位姿偏移信息时，一种可实现的方式为：利用迭代最近点(Iterative Closest Point，简称ICP)算法对预设特征点的3D信息和当前3D信息进行分析匹配，从而可以确定与拍摄装置相对应的位姿偏移信息， 该位姿偏移信息包括位置偏移信息和姿态偏移信息。另一种可实现的方式为：利用ICP算法对全局3D信息对当前3D信息进行分析匹配，从而可以确定与拍摄装置相对应的位姿偏移信息。又一种可实现的方式为：利用ICP算法、预设特征点的3D信息和全局3D信息对当前3D信息进行分析匹配，从而可以确定与拍摄装置相对应的位姿偏移信息。在获取到位姿偏移信息之后，可以根据位姿偏移信息对拍摄装置的位姿进行调整，在对拍摄装置的位姿进行调整之后，可以通过拍摄装置进行拍摄操作，从而有效地保证了可移动平台根据预设轨迹进行复演的稳定可靠性。
本实施例中，在可移动平台根据预设轨迹进行移动时，且当可移动平台位于标记位置时，可以获取拍摄装置在标记位置处的当前3D信息，并根据预设特征点的3D信息和/或全局3D信息和当前3D信息，确定与拍摄装置相对应的位姿偏移信息，而后可以根据位姿偏移信息对拍摄装置的位姿进行调整，从而实现了可移动平台进行轨迹复演时，在标记位置处可以准确地执行与标记位置相对应的标记信息，进而保证了根据预设轨迹进行复演的准确可靠性。
图7为本发明实施例提供的又一种轨迹复演方法的流程示意图；在上述实施例的基础上，继续参考附图7所示，本实施例中的可移动平台可以包括用于承载拍摄装置的云台；此时，本实施例中的方法可以包括：
S401：根据云台旋转信息，将云台的位姿调整至调整后位姿。
其中，云台旋转信息是可移动平台在标记位置时，预先获取的与标记位置相对应的标记信息，在获取到云台旋转信息之后，可以根据云台旋转信息对云台进行调整，实现了将云台的位姿由当前姿态调整至调整后姿态，该调整后姿态即为与云台旋转信息相对应的云台姿态。
S402：当云台的位姿处于调整后位姿时，通过拍摄装置获取与标记位置相对应的目标图像，目标图像与标记图像相对应。
在云台的位姿处于调整后位姿时，可以通过拍摄装置获取与标记位置相对应的目标图像，其中，标记位置预先对应有标记图像，该目标图像与标记图像相对应，即目标图像和标记图像分别是与同一个标记位置相对应的两个图像信息。
S403：根据目标图像与标记图像，对可移动平台的位姿进行调整，以使可移动平台根据预设轨迹复演。
在获取到目标图像和标记图像之后，可以对目标图像和标记图像进行分 析处理，以根据分析处理结果对可移动平台的位姿进行调整，从而实现可移动平台可以根据预设轨迹进行复演。具体的，参考附图8所示，本实施例中的根据目标图像与标记图像，对可移动平台的位姿进行调整可以包括：
S4031：根据目标图像和标记图像确定旋转偏移信息。
其中，在获取到目标图像和标记图像之后，可以对目标图像和标记图像进行分析处理，从而可以确定旋转偏移信息，该旋转偏移信息可以包括旋转角偏移信息和旋转轴偏移信息。具体的，本实施例中对于旋转偏移信息的具体确定方式不做限定，本领域技术人员可以根据具体的应用需求和设计需求进行设置，较为优选的，参考附图9所示，本实施例中的根据目标图像和标记图像确定旋转偏移信息可以包括：
S40311：根据标记图像和目标图像，获得特征点关系信息。
S40312：根据特征点关系信息确定旋转偏移信息。
在获取到标记图像和目标图像之后，可以将标记图像和目标图像中的特征点进行分析匹配，从而可以获取特征点关系信息，在获取到特征点关系信息之后，可以根据特征点关系信息确定旋转偏移信息，具体的，参考附图10所示，本实施例中的根据特征点关系信息确定旋转偏移信息可以包括：
S403121：获取与拍摄装置相对应的相机内参。
S403122：根据相机内参和特征点关系信息确定旋转偏移信息。
在确定拍摄装置的型号和结构之后，即可以获取到与拍摄装置相对应的相机内参K，在获取到相机内参K和特征点关系信息H之后，则可以根据相机内参K和特征点关系信息H来确定旋转偏移信息R。具体的，假设特征点关系信息为H，特征点关系信息H、相机内参K与旋转矩阵R之间的对应关系为H＝KRK -1，通过上述对应关系、相机内参和特征点关系信息可以确定旋转矩阵R，通过旋转矩阵R即可确定旋转偏移信息R offset。
S4032：根据旋转偏移信息对可移动平台的位姿进行调整，以使可移动平台根据预设轨迹复演。
在获取到旋转偏移信息之后，可以根据旋转偏移信息对可移动平台的位姿进行调整，有效地保证了可移动平台根据预设轨迹进行复演的稳定可靠性。
图11为本发明实施例提供的获取可移动平台移动时经过的多个标记位置的流程示意图一；在上述任意一个实施例的基础上，继续参考附图11所示，本实施例对于多个标记位置的具体获取方式不做限定，本领域技术人员可以 根据具体的应用需求和设计需求进行设置，一种可实现的方式，本实施例中的获取可移动平台移动时经过的标记位置可以包括：
S1011：获取位置间隔信息。
S1012：根据位置间隔信息获取可移动平台移动时经过的标记位置。
其中，位置间隔信息可以是预先设置的，不同的应用场景和作业需求可以对应有不同的位置间隔信息，在获取到位置间隔信息之后，可以根据间隔位姿信息确定可移动平台移动时经过的一个或多个标记位置。举例来说：可移动平台由A点移动到B点时，A点与B点之间的距离信息为200米，而位置间隔信息为50米，此时，在可移动平台由A点移动到B点时，可以记录标记位置如下：A点、A1点、A2点、A3点和B点，其中，相邻的两个标记位置之间的间隔距离即为位置间隔信息。
本实施例中，通过获取位置间隔信息，而后根据位置间隔信息获取可移动平台移动时经过的一个或多个标记位置，这样不仅有效地保证了一个或多个标记位置获取的准确可靠性，并且也能够保证预设轨迹形成的稳定可靠性。
另外，参考附图12所示，另一种可实现获取可移动平台移动时经过的标记位置的方式可以包括：
S1013：获取设于可移动平台的拍摄装置的位姿偏移信息。
S1014：在位姿偏移信息大于或等于预设阈值时，在预设轨迹上获取与位姿偏移信息相对应的标记位置。
其中，可移动平台上的拍摄装置可以用于获取标记图像，针对拍摄装置，可以通过惯性测量单元获取位于可移动平台上的拍摄装置的当前位姿信息，该当前位姿信息可以包括当前位置信息和当前姿态信息；通过当前位姿信息与前一时刻的位姿信息进行比较，可以确定拍摄装置的位姿偏移信息，在获取到位姿偏移信息之后，可以将位姿偏移信息与预设阈值进行分析比较，在位姿偏移信息大于或等于预设阈值时，说明此时的拍摄装置的位姿发生了大的偏移，此时，可以在预设轨迹上获取与位姿偏移信息相对应的标记位置，从而可以保证标记位置获取的准确可靠性。
本实施例中，通过获取位于可移动平台上的拍摄装置的位姿偏移信息，通过位姿偏移信息识别拍摄装置的位姿是否发生大的偏移，在拍摄装置的位姿发生了大的偏移，则记录该位姿偏移信息相对应的标记位置，这样不仅保证了标记位置获取的准确可靠性，从而便于实现对轨迹进行复演操作。
此外，参考附图13所示，又一种可实现获取可移动平台移动时经过的标记位置的方式可以包括：
S1015：获取预设特征点个数。
S1016：根据预设特征点个数获取可移动平台移动时经过的多个标记位置。
其中，预设特征点个数可以是预先设置的，不同的应用场景和作业需求可以对应有不同的预设特征点个数，在获取到预设特征点个数之后，可以根据预设特征点个数获取可移动平台移动时经过的多个标记位置。举例来说：可移动平台由A点移动到B点时，A点与B点之间的预设特征点个数为5个，此时，在可移动平台由A点移动到B点的过程中，可以根据预设特征点个数来确定多个标记位置，多个标记位置可以包括位于A点和B点之间的A1点、A2点、A3点，此时所获取的标记位置总数为5个。当然的，本领域技术人员也可以根据预设特征点个数获取可移动平台移动时经过的其他个数的标记位置，例如，标记位置的个数为6个或者7个等等，较为优选的，标记位置的个数大于或等于预设特征点个数即可，这样可以有效地保证预设轨迹确定的准确可靠性。
本实施例中，通过获取预设特征点个数，而后根据预设特征点个数获取可移动平台移动时经过的多个标记位置，这样不仅有效地保证了多个标记位置获取的准确可靠性，并且也能够保证预设轨迹形成的稳定可靠性。
另外，参考附图14所示，另一种可实现获取可移动平台移动时经过的标记位置的方式可以包括：
S1017：获取设于可移动平台的拍摄装置的动作信息。
S1018：在动作信息为拍摄动作时，获取可移动平台移动时经过的标记位置。
其中，拍摄装置的动作信息可以包括拍摄动作和待拍摄动作，在拍摄装置的动作信息为拍摄动作时，说明此时的拍摄装置正在进行拍摄操作；在拍摄装置的动作信息为待拍摄动作时，说明此时的拍摄装置未进行拍摄操作。在获取到拍摄装置的动作信息之后，可以对拍摄装置的动作信息进行分析识别，在拍摄装置的动作信息为拍摄动作时，可以获取可移动平台移动时经过的多个标记位置。当然的，本领域技术人员也可以根据具体的应用需求来设置其他相类似的实现方式，例如：获取位于可移动平台的拍摄装置的拍摄时长信息，在拍摄时长超过预设时间阈值时，可以获取可移动钢平台移动时经过的标记位置等等，在此不再赘述。
本实施例中，通过获取设于可移动平台的拍摄装置的动作信息，在动作信息为拍摄动作时，获取可移动平台移动时经过的多个标记位置；这样不仅保证了标记位置获取的准确可靠性，并且通过所记录的标记位置也便于实现对轨迹进行复演操作，进一步提高了轨迹复演的稳定可靠性。
具体应用时，参考附图15所示，本应用实施例提供了一种轨迹复演方法，该方法能够自动检测匹配拍摄轨迹，在拍摄轨迹发生微小变化时，能够通过之前拍摄的样片来进行图像匹配，寻找目标对齐机位朝向，并支持在此基础上的镜头调整，从而让整个复拍/巡检过程更加流畅快捷，让操作者更加专注于镜头本身。具体的，该方法包括：
step1：记录锚点信息。
其中，锚点信息即为上述实施例中的标记位置，在可移动平台进行移动时，可以记录锚点信息，此时，可移动平台的拍摄轨迹可以根据锚点信息来实现；或者，在可移动平台根据拍摄轨迹进行移动时，并记录拍摄轨迹上的锚点信息。在拍摄轨迹上，可以以预设标识符标记出锚点信息，如图2所示，以三角形来标记出位于拍摄轨迹上的锚点信息；在记录锚点信息的同时，也可以记录与锚点信息相对应的执行动作。
具体的，在记录位于拍摄轨迹上的锚点信息时，可以通过以下至少之一的方式来确定锚点信息：
(a)每隔一段固定位移，确定一锚点信息；
(b)位于可移动平台上的拍摄装置发生大的偏移时，例如：拍摄装置的位置和姿态发生大的移动，在记录拍摄轨迹上的锚点信息；
(c)针对拍摄轨迹的预设特征点的数量小于阈值，则可以增加位于拍摄轨迹上的锚点位置。
(d)位于可移动平台上的拍摄装置拍摄图像时，则记录拍摄轨迹上的锚点信息。
step2：记录与锚点相对应的执行动作信息。
在锚点执行动作时，可以记录与锚点相对应的执行动作信息，以便实现复演操作，具体的，记录执行动作信息可以包括以下至少之一：
(a)记录锚点的GPS位置。
(b)利用现有技术中的三角化算法来计算预设特征点的3D位置。
(c)计算深度图，具体的，可以利用激光点云获得，或者，也可以通过 视觉双目摄像装置获取，例如，双目摄像装置包括位于左侧的第一摄像头和位于右侧的第二摄像头，第一摄像头拍摄的图像与第二摄像头拍摄的图像之间有拍摄角度的差异，从而可以获得深度图，该深度图可以用于获取每个点的三维信息。
(d)如果该锚点执行了拍摄，则记录云台旋转角以及拍摄的图像A。
step3：根据拍摄轨迹进行复演航行，修正全球定位系统GPS。
复演航行时，朝锚点的GPS位置飞行，但是由于GPS有偏差。这时可以利用计算机视觉算法来修正拍摄轨迹的偏差，具体包括以下步骤：
(a)将当前的图像提取特征点；
其中，当前的图像即为在无人机根据拍摄轨迹进行作业时，拍摄装置所能拍摄到的图像，在获取到当前的图像之后，可以利用特征点提取算法对图像进行处理，从而可以获得特征点。
(b)和锚点中已知3D位置的预设特征点进行分析匹配；
(c)利用带RANSAC的PnP算法计算当前理论位姿
Figure PCTCN2019121989-appb-000005
实现了视觉重定位的过程。
具体的，可以利用PnP算法对当前图像中的特征点和预设特征点进行计算，获得当前图像所对应的当前理论位姿
Figure PCTCN2019121989-appb-000006
当前理论位姿包括位置信息和姿态信息。
(d)根据视觉重定位的位置和锚点的位置计算位置偏移信息，具体的，在进行复演航行的过程中，可以直接观测得到的当前位姿为
Figure PCTCN2019121989-appb-000007
利用以下公式可以获取到偏移信息：
Figure PCTCN2019121989-appb-000008
其中，offset translation为偏移信息，
Figure PCTCN2019121989-appb-000009
为当前位姿，
Figure PCTCN2019121989-appb-000010
为当前理论位姿。
(e)根据偏移信息对可移动平台的姿态进行调整，以将可移动平台控回预设的拍摄拍摄轨迹，如图2所示。
step4：在锚点进行拍摄，精修位姿，并旋转云台。
具体的，若拍摄轨迹在锚点位置处进行了拍摄操作，在可移动平台进行轨迹复演时，为了保证复演动作的准确程度，则需要对拍摄装置进行精修位姿处理，并旋转云台以实现通过拍摄装置进行拍摄操作。
(a)精修位姿。
使用ICP算法，将预先记录的预设特征点的深度信息和当前特征点进行匹配，根据匹配结果可知，在记录预设特征点的深度图时，当前拍摄装置的位姿信息所对应的位姿偏移信息，通过位姿偏移信息对拍摄装置的位姿进行调整，以实现对拍摄装置的位姿进行精确调整的效果，进而保证了拍摄装置所获得的图像的准确程度。
(b)旋转云台
先根据锚点记录的云台旋转角旋转云台,拍摄并得到图像B，将预先记录的图像A与图像B的特征点进行匹配，并建立方程如下：
X`＝HX；
其中，X`为位于图像B上的特征点，X为位于图像A上的特征点，H为关系矩阵，通过上述公式可以获得关系矩阵H。而后利用以下公式可以获得旋转矩阵：
H＝KRK -1
其中，K为相机内参，R为旋转矩阵，H为关系矩阵，通过上述公式可以获得R的特征根为{μ，μe iθ，μe -iθ}，θ为旋转角度，实数的特征值对应的特征向量是旋转轴。通过上述的旋转角和旋转轴，即可得到旋转偏移信息R offset，而后可以根据旋转偏移信息旋转云台，在对云台进行调整完毕之后，可以利用云台上的拍摄装置进行拍摄操作，即可获得拍摄图像A’，从而实现了对拍摄轨迹进行复演航行的操作。
本应用实施例提供了一种能够根据拍摄轨迹自动复拍构图、并能记忆调整机位的方法，可以使得复拍过程更加流畅快速，保证了轨迹复演的质量和效率；并且，减少了操作者的操作步骤，让操作者可以更加专注于镜头本身，进而有效地降低了轨迹复演的困难程度，保证了该方法的实用性，有利于市场的推广与应用。
图16为本发明实施例提供的一种轨迹复演系统的结构示意图；参考附图16所示，本实施例提供了一种轨迹复演系统，该轨迹复演系统可以执行上述的轨迹复演方法，具体的，该轨迹复演系统包括：
存储器12，用于存储计算机程序；
处理器11，用于运行存储器12中存储的计算机程序以实现：
获取可移动平台移动时经过的标记位置和标记图像，标记图像包括可移 动平台根据标记位置获取的图像；
根据标记位置生成用于供可移动平台进行移动的预设轨迹；
在可移动平台根据预设轨迹移动的过程中，获取与标记位置相对应的当前显示图像，和可移动平台的当前位姿信息，其中，当前显示图像包括可移动平台当前根据标记位置获取的图像；
根据所述当前显示图像、所述标记图像和所述当前位姿信息，对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演。
其中，该轨迹复演系统还可以包括通信接口13，用于电子设备与其他设备或通信网络通信。
在一个实施例中，在处理器11根据所述当前显示图像、所述标记图像和所述当前位姿信息，对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演时，处理器11还用于：根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息；根据位姿偏移信息对可移动平台的位姿进行调整，以使可移动平台根据预设轨迹复演。
在一个实施例中，在获取可移动平台移动时经过的标记位置之后，处理器11还用于：
获取与标记位置相对应的标记信息，标记信息包括以下至少一种：预设特征点的3D信息、全局3D信息、云台旋转信息、拍摄装置的位姿信息。
在一个实施例中，在处理器11根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息时，处理器11还用于：获取位于标记图像中的标记特征点和位于当前显示图像中与标记特征点相对应的当前特征点；根据标记特征点与当前特征点，确定与标记位置相对应的位置偏移信息。
在一个实施例中，在处理器11根据当前显示图像、标记图像和当前位姿信息确定与标记位置相对应的位姿偏移信息时，处理器11还用于：根据当前显示图像和标记图像确定与当前显示图像相对应的预估位姿信息；根据预估位姿信息和当前位姿信息确定可移动平台的位姿偏移信息。
在一个实施例中，在处理器11根据当前显示图像和标记图像确定与当前显示图像相对应的预估位姿信息时，处理器11还用于：利用透视点PnP算法对当前显示图像和标记图像进行分析处理，获得与当前显示图像相对应的预估位姿信息。
在一个实施例中，在处理器11根据预估位姿信息和当前位姿信息确定可移动平台的位姿偏移信息时，处理器11还用于：获取与预估位姿信息相对应的逆矩阵信息；将逆矩阵信息与当前位姿信息的和值确定为可移动平台的位姿偏移信息。
在一个实施例中，可移动平台包括拍摄装置，拍摄装置用于获取标记图像；处理器11还用于：在可移动平台根据预设轨迹移动的过程中，当可移动平台位于标记位置时，获取拍摄装置在标记位置处的当前3D信息；根据预设特征点的3D信息和/或全局3D信息，和当前3D信息，确定与拍摄装置相对应的位姿偏移信息；根据位姿偏移信息对拍摄装置的位姿进行调整。
在一个实施例中，可移动平台还包括用于承载拍摄装置的云台；处理器11还用于：根据云台旋转信息，将云台的位姿调整至调整后位姿；当云台的位姿处于调整后位姿时，通过拍摄装置获取与标记位置相对应的目标图像，目标图像与标记图像相对应；根据目标图像与标记图像，对可移动平台的位姿进行调整，以使可移动平台根据预设轨迹复演。
在一个实施例中，在处理器11根据目标图像与标记图像，对可移动平台的位姿进行调整时，处理器11还用于：根据目标图像和标记图像确定旋转偏移信息；根据旋转偏移信息对可移动平台的位姿进行调整，以使可移动平台根据预设轨迹复演。
在一个实施例中，在处理器11根据目标图像和标记图像确定旋转偏移信息时，处理器11还用于：根据标记图像和目标图像，获得特征点关系信息；根据特征点关系信息确定旋转偏移信息。
在一个实施例中，在处理器11根据特征点关系信息确定旋转偏移信息时，处理器11还用于：获取与拍摄装置相对应的相机内参；根据相机内参和特征点关系信息确定旋转偏移信息。
在一个实施例中，旋转偏移信息包括旋转角偏移信息和旋转轴偏移信息。
在一个实施例中，在处理器11获取可移动平台移动时经过的标记位置时，处理器11还用于：获取位置间隔信息；根据位置间隔信息获取可移动平台移动时经过的标记位置。
在一个实施例中，在处理器11获取可移动平台移动时经过的标记位置时，处理器11还用于：获取设于可移动平台的拍摄装置的位姿偏移信息；在位姿偏移信息大于或等于预设阈值时，在预设轨迹上获取与位姿偏移信息相对应 的标记位置。
在一个实施例中，在处理器11获取可移动平台移动时经过的标记位置时，处理器11还用于：获取预设特征点个数；根据预设特征点个数获取可移动平台移动时经过的标记位置。
在一个实施例中，在处理器11获取可移动平台移动时经过的标记位置时，处理器11还用于：获取设于可移动平台的拍摄装置的动作信息；在动作信息为拍摄动作时，获取可移动平台移动时经过的标记位置。
在一个实施例中，标记位置为至少一个。
在一个实施例中，标记图像包括可移动平台根据每一标记位置获取的至少一个图像。
在一个实施例中，可移动平台包括以下至少之一：无人机、无人船、无人车、手持云台。
图16所示的轨迹复演系统可以执行图1-图15所示实施例的方法，本实施例未详细描述的部分，可参考对图1-图15所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1-图15所示实施例中的描述，在此不再赘述。
另外，本发明实施例提供了一种计算机可读存储介质，存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，程序指令用于实现上述图1-图15的轨迹复演方法。
图17为本发明实施例提供的一种可移动平台的结构示意图；参考附图17所示，本实施例提供了一种可移动平台，其中，可移动平台包括以下至少之一：无人机、无人船、无人车、手持云台；具体的，该可移动平台包括：
机身21；
上述图16中的轨迹复演系统22，轨迹复演系统22设置于机身21上。
图17所示的可移动平台的具体实现原理、实现方式和实现效果与上述图16中轨迹复演系统的具体实现原理、实现方式和实现效果相类似，具体可参考上述陈述内容，在此不再赘述。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独，或者进行组合，只要未超出本领域技术人员的认知范围，均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的相关遥控装置 和方法，可以通过其它的方式实现。例如，以上所描述的遥控装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，遥控装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (42)

  1. 一种轨迹复演方法，其特征在于，包括：
    获取可移动平台移动时经过的标记位置和标记图像，所述标记图像包括所述可移动平台根据所述标记位置获取的图像；
    根据所述标记位置生成用于供可移动平台进行移动的预设轨迹；
    在所述可移动平台根据所述预设轨迹移动的过程中，获取与所述标记位置相对应的当前显示图像，和所述可移动平台的当前位姿信息，其中，所述当前显示图像包括所述可移动平台当前根据所述标记位置获取的图像；
    根据所述当前显示图像、所述标记图像和所述当前位姿信息，对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述当前显示图像、所述标记图像和所述当前位姿信息，对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演，包括：
    根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息；
    根据所述位姿偏移信息对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演。
  3. 根据权利要求2所述的方法，其特征在于，所述根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息，包括：
    获取位于所述标记图像中的标记特征点和位于所述当前显示图像中与标记特征点相对应的当前特征点；
    根据所述标记特征点与所述当前特征点，确定与所述标记位置相对应的位置偏移信息。
  4. 根据权利要求2所述的方法，其特征在于，所述根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息，包括：
    根据所述当前显示图像和标记图像确定与所述当前显示图像相对应的预估位姿信息；
    根据所述预估位姿信息和当前位姿信息确定所述可移动平台的位姿偏移信息。
  5. 根据权利要求4所述的方法，其特征在于，所述根据所述当前显示图像和标记图像确定与所述当前显示图像相对应的预估位姿信息，包括：
    利用透视点PnP算法对所述当前显示图像和标记图像进行分析处理，获得与所述当前显示图像相对应的预估位姿信息。
  6. 根据权利要求4所述的方法，其特征在于，所述根据所述预估位姿信息和当前位姿信息确定所述可移动平台的位姿偏移信息，包括：
    获取与所述预估位姿信息相对应的逆矩阵信息；
    将所述逆矩阵信息与所述当前位姿信息的和值确定为所述可移动平台的位姿偏移信息。
  7. 根据权利要求2所述的方法，其特征在于，所述可移动平台包括拍摄装置，所述拍摄装置用于获取标记图像；所述方法包括：
    在所述可移动平台根据所述预设轨迹移动的过程中，当所述可移动平台位于所述标记位置时，获取所述拍摄装置在标记位置处的当前3D信息；
    根据所述预设特征点的3D信息和/或全局3D信息，和所述当前3D信息，确定与所述拍摄装置相对应的位姿偏移信息；
    根据所述位姿偏移信息对所述拍摄装置的位姿进行调整。
  8. 根据权利要求2所述的方法，其特征在于，所述可移动平台还包括用于承载拍摄装置的云台；所述方法还包括：
    根据所述云台旋转信息，将所述云台的位姿调整至调整后位姿；
    当所述云台的位姿处于所述调整后位姿时，通过所述拍摄装置获取与所述标记位置相对应的目标图像，所述目标图像与标记图像相对应；
    根据所述目标图像与所述标记图像，对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演。
  9. 根据权利要求8所述的方法，其特征在于，所述根据所述目标图像与所述标记图像，对所述可移动平台的位姿进行调整，包括：
    根据所述目标图像和标记图像确定旋转偏移信息；
    根据所述旋转偏移信息对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演。
  10. 根据权利要求9所述的方法，其特征在于，所述根据所述目标图像和标记图像确定旋转偏移信息，包括：
    根据所述标记图像和所述目标图像，获得特征点关系信息；
    根据所述特征点关系信息确定所述旋转偏移信息。
  11. 根据权利要求10所述的方法，其特征在于，根据所述特征点关系信息确定所述旋转偏移信息，包括：
    获取与所述拍摄装置相对应的相机内参；
    根据所述相机内参和特征点关系信息确定所述旋转偏移信息。
  12. 根据权利要求9所述的方法，其特征在于，所述旋转偏移信息包括旋转角偏移信息和旋转轴偏移信息。
  13. 根据权利要求1-12中任意一项所述的方法，其特征在于，获取可移动平台移动时经过的标记位置，包括：
    获取位置间隔信息；
    根据所述位置间隔信息获取可移动平台移动时经过的标记位置。
  14. 根据权利要求1-12中任意一项所述的方法，其特征在于，获取可移动平台移动时经过的标记位置，包括：
    获取设于可移动平台的拍摄装置的位姿偏移信息；
    在所述位姿偏移信息大于或等于预设阈值时，在所述预设轨迹上获取与所述位姿偏移信息相对应的标记位置。
  15. 根据权利要求1-12中任意一项所述的方法，其特征在于，获取可移动平台移动时经过的标记位置，包括：
    获取预设特征点个数；
    根据所述预设特征点个数获取可移动平台移动时经过的标记位置。
  16. 根据权利要求1-12中任意一项所述的方法，其特征在于，获取可移动平台移动时经过的标记位置，包括：
    获取设于可移动平台的拍摄装置的动作信息；
    在所述动作信息为拍摄动作时，获取可移动平台移动时经过的标记位置。
  17. 根据权利要求1-12中任意一项所述的方法，其特征在于，
    所述可移动平台包括以下至少之一：无人机、无人船、无人车、手持云台。
  18. 根据权利要求1-12中任意一项所述的方法，其特征在于，
    所述标记位置为至少一个。
  19. 根据权利要求1-12中任意一项所述的方法，其特征在于，
    所述标记图像包括所述可移动平台根据每一所述标记位置获取的至少一 个图像。
  20. 根据权利要求1-12中任意一项所述的方法，其特征在于，在获取可移动平台移动时经过的标记位置之后，所述方法还包括：获取与所述标记位置相对应的标记信息，所述标记信息包括以下至少一种：预设特征点的3D信息、全局3D信息、云台旋转信息、拍摄装置的位姿信息。
  21. 一种轨迹复演系统，其特征在于，包括：
    存储器，用于存储计算机程序；
    处理器，用于运行所述存储器中存储的计算机程序以实现：
    获取可移动平台移动时经过的标记位置和标记图像，所述标记图像包括所述可移动平台根据所述标记位置获取的图像；
    根据所述标记位置生成用于供可移动平台进行移动的预设轨迹；
    在所述可移动平台根据所述预设轨迹移动的过程中，获取与所述标记位置相对应的当前显示图像，和所述可移动平台的当前位姿信息，其中，所述当前显示图像包括所述可移动平台当前根据所述标记位置获取的图像；
    根据所述当前显示图像、所述标记图像和所述当前位姿信息，对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演。
  22. 根据权利要求21所述的系统，其特征在于，在所述处理器根据所述当前显示图像、所述标记图像和所述当前位姿信息，对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演时，所述处理器还用于：
    根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息；
    根据所述位姿偏移信息对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演。
  23. 根据权利要求22所述的系统，其特征在于，在所述处理器根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息时，所述处理器还用于：
    获取位于所述标记图像中的标记特征点和位于所述当前显示图像中与标记特征点相对应的当前特征点；
    根据所述标记特征点与所述当前特征点，确定与所述标记位置相对应的位置偏移信息。
  24. 根据权利要求22所述的系统，其特征在于，在所述处理器根据所述当前显示图像、标记图像和当前位姿信息确定与所述标记位置相对应的位姿偏移信息时，所述处理器还用于：
    根据所述当前显示图像和标记图像确定与所述当前显示图像相对应的预估位姿信息；
    根据所述预估位姿信息和当前位姿信息确定所述可移动平台的位姿偏移信息。
  25. 根据权利要求24所述的系统，其特征在于，在所述处理器根据所述当前显示图像和标记图像确定与所述当前显示图像相对应的预估位姿信息时，所述处理器还用于：
    利用透视点PnP算法对所述当前显示图像和标记图像进行分析处理，获得与所述当前显示图像相对应的预估位姿信息。
  26. 根据权利要求24所述的系统，其特征在于，在所述处理器根据所述预估位姿信息和当前位姿信息确定所述可移动平台的位姿偏移信息时，所述处理器还用于：
    获取与所述预估位姿信息相对应的逆矩阵信息；
    将所述逆矩阵信息与所述当前位姿信息的和值确定为所述可移动平台的位姿偏移信息。
  27. 根据权利要求22所述的系统，其特征在于，所述可移动平台包括拍摄装置，所述拍摄装置用于获取标记图像；所述处理器还用于：
    在所述可移动平台根据所述预设轨迹移动的过程中，当所述可移动平台位于所述标记位置时，获取拍摄装置在所述标记位置处的当前3D信息；
    根据所述预设特征点的3D信息和/或全局3D信息，和所述当前3D信息，确定与所述拍摄装置相对应的位姿偏移信息；
    根据所述位姿偏移信息对所述拍摄装置的位姿进行调整。
  28. 根据权利要求22所述的系统，其特征在于，所述可移动平台还包括用于承载拍摄装置的云台；所述处理器还用于：
    根据所述云台旋转信息，将所述云台的位姿调整至调整后位姿；
    当所述云台的位姿处于所述调整后位姿时，通过所述拍摄装置获取与所述标记位置相对应的目标图像，所述目标图像与标记图像相对应；
    根据所述目标图像与所述标记图像，对所述可移动平台的位姿进行调整， 以使所述可移动平台根据所述预设轨迹复演。
  29. 根据权利要求28所述的系统，其特征在于，在所述处理器根据所述目标图像与所述标记图像，对所述可移动平台的位姿进行调整时，所述处理器还用于：
    根据所述目标图像和标记图像确定旋转偏移信息；
    根据所述旋转偏移信息对所述可移动平台的位姿进行调整，以使所述可移动平台根据所述预设轨迹复演。
  30. 根据权利要求29所述的系统，其特征在于，在所述处理器根据所述目标图像和标记图像确定旋转偏移信息时，所述处理器还用于：
    根据所述标记图像和所述目标图像，获得特征点关系信息；
    根据所述特征点关系信息确定所述旋转偏移信息。
  31. 根据权利要求30所述的系统，其特征在于，在所述处理器根据所述特征点关系信息确定所述旋转偏移信息时，所述处理器还用于：
    获取与所述拍摄装置相对应的相机内参；
    根据所述相机内参和特征点关系信息确定所述旋转偏移信息。
  32. 根据权利要求29所述的系统，其特征在于，所述旋转偏移信息包括旋转角偏移信息和旋转轴偏移信息。
  33. 根据权利要求21-29中任意一项所述的系统，其特征在于，在所述处理器获取可移动平台移动时经过的标记位置时，所述处理器还用于：
    获取位置间隔信息；
    根据所述位置间隔信息获取可移动平台移动时经过的标记位置。
  34. 根据权利要求21-29中任意一项所述的系统，其特征在于，在所述处理器获取可移动平台移动时经过的标记位置时，所述处理器还用于：
    获取设于可移动平台的拍摄装置的位姿偏移信息；
    在所述位姿偏移信息大于或等于预设阈值时，在所述预设轨迹上获取与所述位姿偏移信息相对应的标记位置。
  35. 根据权利要求21-29中任意一项所述的系统，其特征在于，在所述处理器获取可移动平台移动时经过的标记位置时，所述处理器还用于：
    获取预设特征点个数；
    根据所述预设特征点个数获取可移动平台移动时经过的标记位置。
  36. 根据权利要求21-29中任意一项所述的系统，其特征在于，在所述处 理器获取可移动平台移动时经过的标记位置时，所述处理器还用于：
    获取设于可移动平台的拍摄装置的动作信息；
    在所述动作信息为拍摄动作时，获取可移动平台移动时经过的标记位置。
  37. 根据权利要求21-29中任意一项所述的系统，其特征在于，所述可移动平台包括以下至少之一：
    无人机、无人船、无人车、手持云台。
  38. 根据权利要求21-29中任意一项所述的系统，其特征在于，
    所述标记位置为至少一个。
  39. 根据权利要求21-29中任意一项所述的系统，其特征在于，
    所述标记图像包括所述可移动平台根据每一所述标记位置获取的至少一个图像。
  40. 根据权利要求21-29中任意一项所述的系统，其特征在于，在获取可移动平台移动时经过的标记位置之后，所述处理器还用于：
    获取与所述标记位置相对应的标记信息，所述标记信息包括以下至少一种：预设特征点的3D信息、全局3D信息、云台旋转信息、拍摄装置的位姿信息。
  41. 一种可移动平台，其特征在于，包括：
    机身；
    权利要求21-40中任意一项所述的轨迹复演系统，所述轨迹复演系统设置于所述机身上。
  42. 一种计算机可读存储介质，其特征在于，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于实现权利要求1-20中任意一项所述的轨迹复演方法。
PCT/CN2019/121989 2019-11-29 2019-11-29 轨迹复演方法、系统、可移动平台和存储介质 WO2021102914A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/121989 WO2021102914A1 (zh) 2019-11-29 2019-11-29 轨迹复演方法、系统、可移动平台和存储介质
CN201980051940.4A CN112585956B (zh) 2019-11-29 2019-11-29 轨迹复演方法、系统、可移动平台和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/121989 WO2021102914A1 (zh) 2019-11-29 2019-11-29 轨迹复演方法、系统、可移动平台和存储介质

Publications (1)

Publication Number Publication Date
WO2021102914A1 true WO2021102914A1 (zh) 2021-06-03

Family

ID=75117153

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/121989 WO2021102914A1 (zh) 2019-11-29 2019-11-29 轨迹复演方法、系统、可移动平台和存储介质

Country Status (2)

Country Link
CN (1) CN112585956B (zh)
WO (1) WO2021102914A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744317A (zh) * 2021-09-13 2021-12-03 浙江大学湖州研究院 一种非结构路面下只依赖点云的阿克曼底盘轨迹生成方法
CN117896621A (zh) * 2024-03-14 2024-04-16 深圳市浩瀚卓越科技有限公司 云台的拍摄轨迹记录方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329179B (zh) * 2021-05-31 2023-04-07 维沃移动通信有限公司 拍摄对位方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940568A (zh) * 2017-05-22 2017-07-11 四川宝天智控系统有限公司 飞行控制系统及方法
CN107466385A (zh) * 2016-08-03 2017-12-12 深圳市大疆灵眸科技有限公司 一种云台控制方法及系统
CN108335329A (zh) * 2017-12-06 2018-07-27 腾讯科技（深圳）有限公司 应用于飞行器中的位置检测方法和装置、飞行器
CN109074095A (zh) * 2017-12-26 2018-12-21 深圳市大疆创新科技有限公司 一种飞行轨迹原路复演方法及飞行器
US20190079541A1 (en) * 2014-05-30 2019-03-14 SZ DJI Technology Co., Ltd. Generation method and system of unmanned aerial vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019023914A1 (zh) * 2017-07-31 2019-02-07 深圳市大疆创新科技有限公司 一种图像处理方法、无人机、地面控制台及其图像处理系统
CN110555883B (zh) * 2018-04-27 2022-07-22 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190079541A1 (en) * 2014-05-30 2019-03-14 SZ DJI Technology Co., Ltd. Generation method and system of unmanned aerial vehicle
CN107466385A (zh) * 2016-08-03 2017-12-12 深圳市大疆灵眸科技有限公司 一种云台控制方法及系统
CN106940568A (zh) * 2017-05-22 2017-07-11 四川宝天智控系统有限公司 飞行控制系统及方法
CN108335329A (zh) * 2017-12-06 2018-07-27 腾讯科技（深圳）有限公司 应用于飞行器中的位置检测方法和装置、飞行器
CN109074095A (zh) * 2017-12-26 2018-12-21 深圳市大疆创新科技有限公司 一种飞行轨迹原路复演方法及飞行器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744317A (zh) * 2021-09-13 2021-12-03 浙江大学湖州研究院 一种非结构路面下只依赖点云的阿克曼底盘轨迹生成方法
CN113744317B (zh) * 2021-09-13 2024-03-15 浙江大学湖州研究院 一种非结构路面下只依赖点云的阿克曼底盘轨迹生成方法
CN117896621A (zh) * 2024-03-14 2024-04-16 深圳市浩瀚卓越科技有限公司 云台的拍摄轨迹记录方法、装置、设备及存储介质
CN117896621B (zh) * 2024-03-14 2024-05-14 深圳市浩瀚卓越科技有限公司 云台的拍摄轨迹记录方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112585956B (zh) 2023-05-19
CN112585956A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN107329490B (zh) 无人机避障方法及无人机
WO2020014909A1 (zh) 拍摄方法、装置和无人机
WO2021102914A1 (zh) 轨迹复演方法、系统、可移动平台和存储介质
CN113038016B (zh) 无人机图像采集方法及无人机
JP6124384B2 (ja) 無人機の進行方向の作成方法、システム、及びプログラム
CN108955718B (zh) 一种视觉里程计及其定位方法、机器人以及存储介质
WO2019113966A1 (zh) 一种避障方法、装置和无人机
US20170305546A1 (en) Autonomous navigation method and system, and map modeling method and system
Karakostas et al. Shot type constraints in UAV cinematography for autonomous target tracking
US10003722B2 (en) Method and system for mimicking human camera operation
CN110622091A (zh) 云台的控制方法、装置、系统、计算机存储介质及无人机
JP2017134617A (ja) 位置推定装置、プログラム、位置推定方法
US20220084415A1 (en) Flight planning method and related apparatus
Karakostas et al. UAV cinematography constraints imposed by visual target tracking
WO2019205087A1 (zh) 图像增稳方法和装置
WO2020024134A1 (zh) 轨迹切换的方法和装置
WO2019189381A1 (ja) 移動体、制御装置、および制御プログラム
WO2022052409A1 (zh) 用于多机位摄像的自动控制方法和系统
WO2022193081A1 (zh) 无人机的控制方法、装置及无人机
TWI726536B (zh) 影像擷取方法及影像擷取設備
WO2021056411A1 (zh) 航线调整方法、地面端设备、无人机、系统和存储介质
CN110036411A (zh) 生成电子三维漫游环境的装置和方法
JP6515423B2 (ja) 制御装置、移動体、制御方法、及びプログラム
CN110785792A (zh) 3d建模方法、电子设备、存储介质及程序产品
JP6705738B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19954408

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19954408

Country of ref document: EP

Kind code of ref document: A1