WO2022126436A1 - 延时检测方法、装置、系统、可移动平台和存储介质 - Google Patents

延时检测方法、装置、系统、可移动平台和存储介质 Download PDF

Info

Publication number
WO2022126436A1
WO2022126436A1 PCT/CN2020/136869 CN2020136869W WO2022126436A1 WO 2022126436 A1 WO2022126436 A1 WO 2022126436A1 CN 2020136869 W CN2020136869 W CN 2020136869W WO 2022126436 A1 WO2022126436 A1 WO 2022126436A1
Authority
WO
WIPO (PCT)
Prior art keywords
delay time
communication link
pan
tilt
delay
Prior art date
Application number
PCT/CN2020/136869
Other languages
English (en)
French (fr)
Inventor
王振动
楼致远
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN202080067358.XA priority Critical patent/CN114556879A/zh
Priority to PCT/CN2020/136869 priority patent/WO2022126436A1/zh
Publication of WO2022126436A1 publication Critical patent/WO2022126436A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • Embodiments of the present invention relate to the technical field of PTZs, and in particular, to a method, device, system, movable platform, and storage medium for delay detection.
  • the intelligent follow function is a commonly used shooting function of the gimbal.
  • the photographer can select the intelligent follow subject and make relevant composition.
  • the gimbal posture always intelligently follows the pre-set following subject while maintaining the composition, which is convenient for photographers, especially novice users, to perform video shooting operations.
  • many gimbals can support the mounting of third-party shooting devices.
  • cameras and mobile phones of different brands and models can be mounted on the gimbals.
  • the parameter settings may be different.
  • the above-mentioned different shooting devices or different setting parameters corresponding to the same shooting device will greatly affect the delay time of video output, and the delay time will have a great impact on the control operation of intelligent follow-up, which is easy to cause cloud
  • the automatic follow-up effect of the station is not ideal.
  • the embodiments of the present invention provide a delay detection method, device, system, movable platform and storage medium, which can accurately estimate the delay time corresponding to the communication link, so as to facilitate the detection of the PTZ based on the above delay time.
  • the intelligent follow-up operation is used for compensation control, which is beneficial to ensure the quality and effect of the intelligent follow-up.
  • a first aspect of the present invention is to provide a time-delay detection method, which is applied to a pan-tilt system, where the pan-tilt system includes: an image acquisition device, an image processing device communicatively connected to the image acquisition device, and an image acquisition device connected to the image acquisition device.
  • the pan/tilt is controlled to move, the attitude change information of the image acquisition device is obtained, and the position change information of the target object in the acquisition screen is acquired through the pan/tilt controller.
  • the base of the head is in a static state;
  • a delay time corresponding to the communication link is determined, and the delay time is used to indicate that the target object is determined during the acquisition via the communication link.
  • the length of time required for location information on the screen is determined.
  • the second aspect of the present invention is to provide a delay detection device, which is applied to a pan-tilt system, and the pan-tilt system includes: an image acquisition device, an image processing device communicatively connected to the image acquisition device, and an image acquisition device.
  • a processor for running a computer program stored in the memory to achieve:
  • the pan/tilt is controlled to move, the attitude change information of the image acquisition device is obtained, and the position change information of the target object in the acquisition screen is acquired through the pan/tilt controller.
  • the base of the head is in a static state;
  • a delay time corresponding to the communication link is determined, and the delay time is used to indicate that the target object is determined during the acquisition via the communication link.
  • the length of time required for location information on the screen is determined.
  • a third aspect of the present invention is to provide a time delay detection system, comprising:
  • an image processing device connected in communication with the image acquisition device for collecting and generating images, for processing the generated images
  • the image acquisition device and the image processing device are arranged on the PTZ, and the image acquisition device, the image processing device and the PTZ form a communication link;
  • the delay detection device is in communication connection with the communication link, and is used for determining the delay time corresponding to the communication link.
  • a fourth aspect of the present invention is to provide a movable platform comprising:
  • the pan-tilt controller is communicatively connected with an image processing device, and the image processing device is communicatively connected with the image acquisition device to generate a communication link, wherein the image acquisition device is fixedly connected to the pan-tilt;
  • the delay detection device is in communication connection with the communication link, and is used for determining the delay time corresponding to the communication link.
  • a fifth aspect of the present invention is to provide a computer-readable storage medium, the storage medium is a computer-readable storage medium, and program instructions are stored in the computer-readable storage medium, and the program instructions are used in the first aspect.
  • the sixth aspect of the present invention is to provide a time delay detection method, which is applied to a pan-tilt system
  • the pan-tilt system includes: an image acquisition device, an image processing device communicatively connected to the image acquisition device, and an image acquisition device connected to the image acquisition device.
  • the pan/tilt moves for a preset duration, information related to the delay time corresponding to the communication link is prompted, and the delay time is used to indicate that the target object is determined to be in the The length of time required to collect location information in the screen.
  • a seventh aspect of the present invention is to provide a delay detection device, which is applied to a pan-tilt system, and the pan-tilt system includes: an image acquisition device, an image processing device communicatively connected to the image acquisition device, and an image acquisition device connected to the image acquisition device.
  • a processor for running a computer program stored in the memory to achieve:
  • the pan/tilt moves for a preset duration, information related to the delay time corresponding to the communication link is prompted, and the delay time is used to indicate that the target object is determined to be in the The length of time required to collect location information in the screen.
  • the eighth aspect of the present invention is to provide a time delay detection system, comprising:
  • an image processing device connected in communication with the image acquisition device for collecting and generating images, for processing the generated images
  • the image acquisition device and the image processing device are arranged on the PTZ, and the image acquisition device, the image processing device and the PTZ form a communication link;
  • the delay detection device is in communication connection with the communication link, and is used for determining the delay time corresponding to the communication link.
  • a ninth aspect of the present invention is to provide a movable platform, comprising:
  • the pan-tilt controller is communicatively connected with an image processing device, and the image processing device is communicatively connected with the image acquisition device to generate a communication link, wherein the image acquisition device is fixedly connected to the pan-tilt;
  • the delay detection device is in communication connection with the communication link, and is used for determining the delay time corresponding to the communication link.
  • a tenth aspect of the present invention is to provide a computer-readable storage medium, the storage medium is a computer-readable storage medium, and program instructions are stored in the computer-readable storage medium, and the program instructions are used in the sixth aspect.
  • the delay detection method, device, system, movable platform, and storage medium provided by the embodiments of the present invention effectively realize the accurate estimation of the delay time corresponding to the entire communication link, thereby helping to ensure intelligent follow-up.
  • the quality and effect of the method effectively improve the stability and reliability of the method.
  • FIG. 1 is a schematic structural diagram 1 of a pan-tilt system provided by an embodiment of the present invention.
  • FIG. 2 is a second schematic structural diagram of a pan-tilt system provided by an embodiment of the present invention.
  • FIG. 3 is a schematic flowchart of a delay detection method provided by an embodiment of the present invention.
  • FIG. 4 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention.
  • FIG. 5 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention.
  • FIG. 6 is a schematic flowchart of obtaining position change information of a target object in a collection screen through the pan-tilt controller according to an embodiment of the present invention
  • FIG. 7 is a schematic flowchart of determining a delay time corresponding to the communication link according to the attitude change information and the position change information according to an embodiment of the present invention
  • FIG. 8 is a schematic diagram of attitude change information and the position change information provided by an embodiment of the present invention.
  • FIG. 9 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention.
  • FIG. 10 is a schematic flowchart of determining a machine learning model for analyzing and processing the captured image according to the updated delay time according to an embodiment of the present invention
  • FIG. 11 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention.
  • FIG. 12 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention.
  • FIG. 13 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention.
  • FIG. 14 is a schematic flowchart of a delay detection method provided by an application embodiment of the present invention.
  • 15 is a schematic diagram of the principle of detecting delay time provided by an application embodiment of the present invention.
  • 16 is a schematic diagram of the principle of an intelligent follow-up operation provided by an application embodiment of the present invention.
  • FIG. 17 is a schematic structural diagram of a delay detection apparatus provided by an embodiment of the present invention.
  • FIG. 18 is a schematic structural diagram of a delay detection system provided by an embodiment of the present invention.
  • FIG. 19 is a schematic structural diagram of a movable platform according to an embodiment of the present invention.
  • FIG. 20 is a schematic flowchart of a delay detection method provided by an embodiment of the present invention.
  • 21 is a schematic structural diagram of another delay detection apparatus provided by an embodiment of the present invention.
  • 22 is a schematic structural diagram of another time delay detection system provided by an embodiment of the present invention.
  • FIG. 23 is a schematic structural diagram of another movable platform according to an embodiment of the present invention.
  • the intelligent follow function is a commonly used shooting function of the gimbal.
  • the photographer can select the intelligent follow subject and make relevant composition.
  • the gimbal posture always intelligently follows the pre-set following subject while maintaining the composition, which is convenient for photographers, especially novice users, to perform video shooting operations.
  • many gimbals can support the mounting of third-party shooting devices.
  • cameras and mobile phones of different brands and models can be mounted on the gimbals.
  • the parameter settings may be different (for example, the camera's high-definition multimedia interface hdmi output format and frame rate) , exposure time of the film, etc.).
  • the above-mentioned different shooting devices or different setting parameters of the same shooting device will greatly affect the delay time of the video output, and the delay time will have a great impact on the control effect of intelligent follow-up, which is easy to cause the gimbal's delay time.
  • the auto-following effect is not ideal.
  • the PTZ system includes: an image acquisition device 100 for acquiring images, an image processing device 101 in communication with the image acquisition device 100, and a pan-tilt controller 102 in communication with the image processing device 101, the image acquisition device 100, the image processing device 101 and the pan-tilt
  • the controller 102 forms a communication link, and the image acquisition device 100, the image processing device 101 and the pan-tilt controller 102 can be arranged on the pan-tilt;
  • the image processing device 101 is used for analyzing and processing the acquired images, and
  • the analyzed and processed image is sent to the pan-tilt controller 102, and the pan-tilt controller 102 is configured to receive the analyzed and processed image, and perform corresponding pan-tilt control operations based on the analyzed and processed image.
  • the camera 100 as the image acquisition device 100 as an example, the working principle of the PTZ system will be described.
  • the camera 100 as a third-party load, can be connected to an Image Signal Processing (ISP) module through an HDMI interface.
  • the ISP module 1011 can analyze and process the received image, and transmit the processed image data to the buffer 1012 for buffering, and the image data after buffering by the buffer 1012 can not only be output in real time through the real-time video output device 1013, and
  • the format converter 1014 can also be used to perform a format conversion operation on the cached image data, so that the image data after the format conversion operation can be input into the machine learning model 1015 for machine learning operation to identify the to-be-followed subject set by the user.
  • the policy processor 1016 can determine the control parameters of the gimbal according to the strategy, and then the gimbal controller 102 can control the gimbal based on the control parameters of the gimbal, so that the gimbal can be followed
  • the main body performs an intelligent follow-up operation.
  • the transmission delay t1 is mainly related to the hardware device resources and software data processing capabilities of the camera 100.
  • the transmission delay t1 is smaller.
  • the ISP module 1011 sends the image after the analysis and processing to the machine learning model 1015 for machine learning through the buffering operation of the buffer 1012 and the image after the format conversion operation, there is a transmission delay t2, the above-mentioned transmission
  • the delay t2 is related to the data volume of the image, HDMI output format and frame rate. The larger the image data volume, the greater the transmission delay t2; the smaller the image data volume, the smaller the transmission delay t2.
  • the transmission delay t2 is smaller; when the frame rate of the image is lower, the transmission delay t2 is larger.
  • the communication link formed above includes not only the following transmission delays that are difficult to estimate, but also other transmission delays that can be accurately estimated.
  • the machine learning model 1015 performs machine learning on images. After the operation, the machine learning result can be transmitted to the pan-tilt controller 102 through the policy processor 1016, and in the above data transmission process, there is a data transmission delay that can be accurately estimated.
  • this embodiment provides a method, device, system, removable platform and storage medium for delay detection.
  • the method can accurately estimate the delay time corresponding to the communication link formed by the pan-tilt system. Specifically, by acquiring control parameters for controlling the pan-tilt to move, and controlling the pan-tilt to move based on the control parameters, images are obtained. Collect the attitude change information of the device, and obtain the position change information of the target object in the acquisition screen through the gimbal controller. In order to accurately obtain the position change information, the above-mentioned target object can be relatively stationary relative to the base of the gimbal. state, and then the delay time corresponding to the communication link can be determined according to the attitude change information and the position change information.
  • the delay time corresponding to the entire communication link may include: A transmission delay and a second transmission delay, wherein the first transmission delay may be the transmission delay existing in the process of transmitting the captured image by the camera to the ISP module, and the second transmission delay may be the transmission delay in the ISP module
  • the module sends the image after analysis and processing to the machine learning model through the cache operation of the buffer and the image after the format conversion operation.
  • the intelligent following operations in different application scenarios perform different compensation control operations, thereby helping to ensure the quality and effect of the intelligent following, and effectively improving the stability and reliability of the method.
  • FIG. 3 is a schematic flowchart of a delay detection method provided by an embodiment of the present invention; on the basis of the above embodiment, with continued reference to FIGS. 1 to 3 , the present embodiment provides a delay detection method,
  • the time delay detection method can be applied to a pan-tilt system.
  • the pan-tilt system includes: an image acquisition device 100, an image processing device 101 connected in communication with the image acquisition device 100, and a pan-tilt controller 102 in communication with the image processing device 101.
  • the acquisition device 100 , the image processing device 101 and the pan-tilt controller 102 form a communication link, as shown in FIG. 2 .
  • the image acquisition device 100 , the image processing device 101 and the PTZ controller 102 may be arranged on the PTZ.
  • the delay detection method may include:
  • Step S301 Acquire control parameters for controlling the movement of the pan/tilt head.
  • Step S302 Control the PTZ to move based on the control parameters, obtain the attitude change information of the image acquisition device, and obtain the position change information of the target object in the acquisition screen through the PTZ controller, and the target object is stationary relative to the base of the PTZ. state.
  • Step S303 According to the attitude change information and the position change information, determine the delay time corresponding to the communication link, and the delay time is used to indicate the time required to determine the position information of the target object in the acquisition screen via the communication link .
  • Step S301 Acquire control parameters for controlling the movement of the pan/tilt head.
  • the pre-configured control parameters, or the control parameters directly input by the user or the automatically generated control parameters can be used to control the gimbal, so that the gimbal can move based on the control parameters to meet the application requirements. .
  • control parameters used to control the movement of the PTZ have many different types of parameters.
  • the control parameters include at least one of the following: a target pose set, where the target pose set includes multiple target poses, And, the transformation frequency between multiple target attitudes is less than or equal to the frequency threshold; angular velocity set, the angular velocity set includes multiple angular velocities, and the change frequency between multiple angular velocities is less than or equal to the frequency threshold; position set, in the position set It includes multiple positions, the position change between the multiple positions is less than or equal to the change threshold, and the change frequency between the multiple positions is less than or equal to the frequency threshold.
  • the gimbal may correspond to different following modes (following the photographic object), and different following modes may correspond to different control parameters.
  • the three-axis gimbal may specifically include the yaw motor of the yaw axis, the pitch motor of the pitch axis, and the roll motor of the roll axis, which are connected in sequence.
  • follow mode and three-axis follow mode When the follow mode of the gimbal is single-axis follow mode, the control parameters can correspond to a single axis of the gimbal, for example, the yaw axis can be controlled to move based on the target attitude.
  • the control parameters can correspond to the two axes of the gimbal, for example, the yaw axis and the pitch axis can be controlled to move based on the target attitude.
  • the control parameters can correspond to the three axes of the gimbal, for example, the yaw axis, the pitch axis and the roll axis can be controlled to move based on the target attitude.
  • the pan/tilt may be directly controlled by using the control parameters regardless of the follow mode of the pan/tilt.
  • the follow mode of the gimbal is single-axis follow mode
  • the yaw axis, pitch axis and roll axis of the gimbal are controlled to move and so on.
  • control parameters correspond to two or more axes of the pan/tilt head
  • the following attitude change information and position change information obtained from the control parameters corresponding to any one of the axes can be used to determine whether the control parameters are related to the communication link. corresponding delay time.
  • control parameter may be a parameter that only controls the rotation of the gimbal around the yaw axis as an example for description.
  • the multiple target postures included in the target posture set are theoretical posture information that needs to be achieved or nearly achieved after the control gimbal performs motion.
  • the transformation frequency between multiple target poses to be less than or equal to the frequency threshold, it can be achieved that the target object is always in the acquisition screen during the process of controlling the PTZ to move, which not only The position change information of the target object in the captured picture can be accurately acquired, and it is beneficial to realize the accurate estimation of the delay time of the communication link.
  • the plurality of angular velocities included in the angular velocity set are parameters used to control the movement of the pan/tilt head.
  • the frequency threshold used for analyzing and processing the angular velocity in this implementation manner may be the same as or different from the frequency threshold value used for analyzing and processing the target posture in the foregoing implementation manner.
  • the multiple positions included in the position set are the target position information that needs to be reached or approached after controlling the pan/tilt to move.
  • the gimbal can mainly be moved on the preset plane.
  • the gimbal can be a handheld gimbal, an airborne gimbal, etc.; when the gimbal is controlled to move on a preset plane, the gimbal can perform translational motion on the preset plane, for example: controlling the gimbal The base moves in translation on a preset plane.
  • the gimbal can perform rotary motion on the preset plane, for example: control the roll axis and pitch axis of the gimbal to move, so that the gimbal can move on the preset plane Perform a rotary motion.
  • the gimbal can perform translation + rotation movement on the preset plane, for example: control the base of the gimbal to translate and rotate around the roll axis and pitch axis, so as to It enables the pan/tilt to perform translational motion + rotational motion on the preset plane.
  • the distance between the position of the target object in the captured image and the center position of the image is less than or equal to the distance threshold, that is, the target object is located in the middle area of the captured image.
  • the frequency threshold used for analyzing and processing the position the frequency threshold used for analyzing and processing the angular velocity, and the frequency threshold used for analyzing and processing the target posture in the above-mentioned implementation manner may be the same or different. .
  • the target object is located in the middle area of the captured screen, it is possible to In the process of controlling the movement of the PTZ, the target object is always in the acquisition screen, so that the position change information of the target object in the acquisition screen can be accurately obtained, which is further conducive to the realization of accurate delay time of the communication link. 's estimate.
  • Step S302 Control the PTZ to move based on the control parameters, obtain the attitude change information of the image acquisition device, and obtain the position change information of the target object in the acquisition screen through the PTZ controller, and the target object is stationary relative to the base of the PTZ. state.
  • the gimbal can be controlled to move based on the control parameters.
  • the attitude change of the image acquisition device on the gimbal can be obtained through the Inertial Measurement Unit (IMU).
  • the control parameters may include multiple different parameter values.
  • the control parameters include parameter a and parameter b.
  • an attitude of the image acquisition device on the gimbal can be obtained through the IMU.
  • Information A the attitude information A is the actual attitude corresponding to the parameter a; when the parameter b is used to control the gimbal, an attitude information B of the image acquisition device on the gimbal can be obtained through the IMU.
  • the attitude information B That is, the actual posture corresponding to the parameter b, and the above-mentioned posture information B is different from the posture information A, so the posture change information between the posture information B and the posture information A can be determined.
  • the posture change information is related to the parameter a and the parameter b corresponds to.
  • the position change information of the target object in the acquisition screen transmitted through the communication link can be obtained through the PTZ controller.
  • the above-mentioned target object is in a static state relative to the base of the gimbal, that is, when the base of the gimbal is in a static state, the target object can be a static object;
  • the target object may be a moving object, but the moving speed of the moving object is the same as the moving speed of the gimbal.
  • the control parameter may include a plurality of different parameter values.
  • the control parameter includes parameter a and parameter b.
  • the image acquisition device on the gimbal corresponds to attitude information A, and can Determine the position information 1 of the target object through the image acquisition device;
  • the image acquisition device on the PTZ corresponds to a piece of attitude information B, and the attitude information B is different from the attitude information A, and then the displayed
  • the screen determines the position information 2 of the target object, and the position information 2 is different from the position information 1. Therefore, the position change information between the position information 1 and the position information 2 can be determined.
  • one attitude change information can correspond to one position change. information; in some cases, certain pieces of attitude change information can correspond to one position change information, that is, there is a one-to-one correspondence or a many-to-one correspondence between the attitude change information and the position change information, and the correspondence can be It changes according to application requirements or application scenarios.
  • a collection frequency for collecting attitude change information is preset, and attitude change information can be collected based on the configured collection frequency, and then the collected attitude change information is analyzed. Process to determine position change information corresponding to the collected attitude change information.
  • Step S303 According to the attitude change information and the position change information, determine the delay time corresponding to the communication link, and the delay time is used to indicate the time required to determine the position information of the target object in the acquisition screen via the communication link .
  • the attitude change information and the position change information can be analyzed and processed to determine the delay time corresponding to the communication link, which effectively realizes the acquisition of the information by the image acquisition device,
  • the communication delay time of the entire communication link formed by the image processing device and the PTZ controller (that is, the time required to determine the position information of the target object in the captured picture via the communication link) is accurately estimated, so as to facilitate Based on the above-mentioned delay time, the PTZ can be accurately and effectively controlled.
  • the delay detection method provided in this embodiment obtains the attitude change information of the image acquisition device by acquiring the control parameters used to control the motion of the pan-tilt, and controls the motion of the pan-tilt based on the control parameters to obtain the attitude change information of the image acquisition device, and obtains the position of the target object through the pan-tilt controller.
  • the position change information in the screen is collected, and then the delay time corresponding to the communication link is determined according to the attitude change information and position change information, which effectively realizes the accurate estimation of the delay time corresponding to the entire communication link.
  • the delay time corresponding to the above-mentioned entire communication link may include: a first transmission delay and a second transmission delay, wherein the first transmission delay may be the time when the camera transmits the collected image to the ISP module.
  • the transmission delay existing in the process, the second transmission delay can be the process in which the ISP module sends the image after analysis and processing to the machine learning model through the buffering operation of the buffer and the image after the format conversion operation for machine learning. Therefore, it is convenient to perform different compensation control operations on the intelligent follow-up operation of the gimbal in different application scenarios based on the delay time, which is beneficial to ensure the quality and effect of the intelligent follow-up, and effectively improves the method. Stable reliability of use.
  • FIG. 4 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention. on the basis of the foregoing embodiment, with continued reference to FIG. 4 , the method in this embodiment may further include:
  • Step S401 Obtain the response bandwidth of the communication link.
  • Step S402 Determine a frequency threshold corresponding to the communication link according to the response bandwidth.
  • the response bandwidth is the width of the signal spectrum corresponding to the communication link, that is, the difference between the highest frequency component and the lowest frequency component of the signal, and the response bandwidth is used to identify the response speed of the communication link. It means that the response speed of the communication link is fast; when the response bandwidth is small, it means that the response speed of the communication link is slow.
  • the response bandwidth is related to the hardware device resources and software data processing capability of the communication link. After the hardware structure of the communication link is determined, the response bandwidth of the communication link can be determined.
  • the response bandwidth can be analyzed and processed to determine the frequency threshold corresponding to the communication link according to the response bandwidth.
  • the frequency threshold corresponding to the link In some instances, there may be a positive correlation between the response bandwidth and the frequency threshold; that is, when the response bandwidth increases, the frequency threshold increases accordingly; when the response bandwidth decreases, the frequency threshold decreases accordingly. It can be understood that the frequency thresholds corresponding to different communication links are the same or different, wherein different communication links correspond to different communication link components.
  • the communication link 1 includes: an image acquisition device a, an image processing device a, and a pan-tilt controller a
  • the communication link 2 includes: an image acquisition device b, an image processing device a, and a pan-tilt controller a, wherein, Since the image acquisition device b is different from the image acquisition device a, the communication link 1 and the communication link 2 are different communication links, and the above-mentioned different communication links may correspond to different frequency thresholds.
  • the response bandwidth of the communication link is obtained, and then the frequency threshold corresponding to the communication link is determined according to the response bandwidth, which effectively realizes that when the delay time detection is performed for different communication links, the Different frequency thresholds are analyzed and processed, which not only satisfies the estimation operation of delay time for different communication links in different application scenarios, but also ensures the accuracy and reliability of delay time estimation.
  • FIG. 5 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention. on the basis of the above-mentioned embodiment, referring to FIG.
  • the methods in can also include:
  • Step S501 Acquire the current image captured by the image capturing device.
  • Step S502 In the current screen, determine at least one display object that is in a stationary state relative to the base of the PTZ.
  • Step S503 Based on the at least one display object, determine the target object in the captured picture.
  • the target object located in the acquisition screen can be determined first, so as to obtain the position change information of the target object in the acquisition screen. Make sure. Specifically, the current image captured by the image capture device can be acquired. It can be understood that when acquiring the current image captured by the image capture device, the pan/tilt can be in a static state to facilitate selection and determination of the target object.
  • determining the target object in the captured screen based on the at least one display object may include: acquiring the execution operation input by the user on the at least one display object; and determining the display object corresponding to the execution operation as the target object.
  • the user can input an execution operation for the above-mentioned at least one display object, and after detecting the execution operation input by the user for a certain display object, the user can execute the operation.
  • the corresponding display object is determined as the target object.
  • the display object corresponding to the last execution operation can be determined as the target object, thereby effectively ensuring the accuracy and reliability of the determination of the target object.
  • those skilled in the art can also use other ways to determine the target object, as long as the accuracy and reliability of the determination of the target object can be ensured.
  • FIG. 6 is a schematic flowchart of obtaining position change information of a target object in a captured screen through a pan-tilt controller according to an embodiment of the present invention; on the basis of the foregoing embodiment, referring to FIG. 6 , this embodiment provides another An implementation method for obtaining the position change information of the target object in the collection screen.
  • the acquisition of the position change information of the target object in the collection screen through the pan-tilt controller may include:
  • Step S601 In the process of controlling the pan/tilt to move based on the control parameters, acquire a plurality of captured images corresponding to the control parameters through the pan/tilt controller, and each captured image includes a target object.
  • Step S602 Analyzing and processing a plurality of captured images to obtain position change information of the target object in the captured images.
  • the acquisition screen of the image acquisition device always includes the target object, and when the pan-tilt is controlled by different control parameters, the position of the target object in the acquisition screen is different. , at this time, the position change information of the target object in the acquisition screen can be counted.
  • the pan/tilt controller can acquire multiple capture images corresponding to the control parameters.
  • the communication link where the device is located is transmitted to the PTZ controller, wherein each acquired captured picture may include a target object.
  • the target object is in different positions in the multiple captured images. Therefore, after acquiring the multiple captured images, the multiple captured images can be analyzed and processed to obtain the location of the target object in the captured images. change information.
  • a pre-trained machine learning model or an image recognition algorithm may be used to analyze and process the captured image, so as to obtain position change information of the target object in the captured image.
  • the pan/tilt controller acquires multiple captured images corresponding to the control parameters, and then analyzes and processes the multiple captured images, so as to accurately obtain the
  • the position change information of the target object in the collected picture is convenient for estimating the delay time of the entire communication link based on the position change information, which improves the accuracy and reliability of the delay time estimation.
  • FIG. 7 is a schematic flowchart of determining a delay time corresponding to a communication link according to attitude change information and position change information according to an embodiment of the present invention.
  • the embodiment provides an implementation manner of determining the delay time corresponding to the communication link.
  • the delay time corresponding to the communication link is determined according to the attitude change information and the position change information.
  • Step S701 Acquire multiple phase differences between the attitude change information and the position change information.
  • Step S702 Determine the delay time corresponding to the communication link according to the plurality of phase differences.
  • the attitude change information and the position change information since there is a certain delay between the attitude change information and the position change information, after the attitude change information and the position change information are obtained, multiple phase differences between the attitude change information and the position change information can be obtained.
  • the number of phase differences may be at least two.
  • the attitude change information when the attitude change information is a regular sinusoid, the position change information may be a regular sinusoid.
  • the attitude change information when the attitude change information is a regular sinusoid, the position change information may be a regular sinusoid.
  • the The time correspondence is associated with the phase difference between the attitude change information and the position change information. Therefore, after the attitude change information and the position change information are acquired, a plurality of phase differences between the attitude change information and the position change information can be determined.
  • the position change information when the attitude change information is in a regular sinusoidal relationship, the position change information may also be in an irregular sinusoidal relationship. At this time, there may also be a delay correspondence between the attitude change information and the position change information.
  • the plurality of phase differences between the attitude change information and the position change information may be the same; when the attitude change information and the position change information do not satisfy the rule preset relationship When , the plurality of phase differences between the attitude change information and the position change information may be different.
  • determining the delay time corresponding to the communication link according to the plurality of phase differences may include: obtaining an average value of the phase differences corresponding to the plurality of phase differences; determining a transform frequency corresponding to the plurality of phase differences; The average phase difference and the transform frequency determine the delay time corresponding to the communication link.
  • the method in this embodiment may further include: generating first prompt information corresponding to the delay time, so as to reduce the delay time corresponding to the communication link. corresponding delay time.
  • a first delay time corresponding to the delay time may be generated, and the first prompt information may include at least one of the following: increasing the output frame of the image acquisition device rate, adjust the output format of the image acquisition device.
  • the first prompt information may include other information, as long as the delay time corresponding to the communication link can be reduced, which will not be repeated here.
  • the generated first prompt information corresponding to the delay time may be information A; when the obtained delay time is relatively small, the generated first prompt information corresponding to the delay time may be information A;
  • the first prompt information corresponding to the time may be information B, and the information A and the information B may be the same or different.
  • the information A may include a prompt with a higher degree of urgency corresponding to the delay time.
  • the information B may include prompt information with a lower urgency corresponding to the delay time.
  • FIG. 9 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention. on the basis of the above embodiment, with continued reference to FIG. 9 , after generating the first prompt information corresponding to the delay time , the method in this embodiment may also include:
  • Step S901 Obtain the post-update delay time.
  • Step S902 When the post-update delay time is greater than the time threshold, generate second prompt information corresponding to the post-update delay time, where the second prompt information is used to identify that the pan/tilt does not meet the following operation conditions.
  • Step S903 When the delay time after the update is less than or equal to the time threshold, determine a machine learning model for analyzing and processing the captured picture according to the delay time after the update, and the machine learning model is trained to identify the data included in the captured picture. target object.
  • a corresponding operation can be performed based on the first prompt information. For example, the user can reconfigure the parameters of the PTZ system through the first prompt information to reduce the The delay time corresponding to the communication link. After the execution operation corresponding to the first prompt information is acquired, the adjustment/update operation of the delay time corresponding to the communication link is completed.
  • the post-update delay time can be acquired, and the specific acquisition method is similar to the specific implementation method of acquiring the delay time in the above-mentioned embodiment, which is not repeated here.
  • the post-update delay time can be analyzed and compared with the time threshold.
  • the post-update delay time is greater than the time threshold, it means that the PTZ system has a large delay time at this time.
  • the quality and effect of the intelligent following cannot be satisfied. Therefore, when the post-update delay time is greater than the time threshold, second prompt information corresponding to the post-update delay time may be generated, and the second prompt information is used to identify that the pan/tilt does not meet the following operation conditions.
  • the delay time after the update is less than or equal to the time threshold, it means that the delay time of the PTZ system is small at this time.
  • the delay time after the update can be determined for A machine learning model that captures images for analysis and processing to improve the quality and efficiency of intelligent follow-up operations on target objects.
  • determining the machine learning model for analyzing and processing the captured images according to the post-update delay time may include:
  • Step S1001 Acquire multiple candidate machine learning models for analyzing and processing the captured image, and different candidate machine learning models correspond to different object recognition speeds.
  • Step S1002 Among the multiple candidate machine learning models, determine a machine learning model for analyzing and processing the captured images according to the post-update delay time, so as to reduce the post-update delay time corresponding to the communication link.
  • multiple alternative machine learning models for analyzing and processing the captured images are pre-configured, and the above-mentioned alternative machine learning models can be obtained by training any one of the following networks: Convolutional neural network CNN, recurrent neural network RNN, artificial neural network ANN, deep neural network DNN, etc., and different alternative machine learning models can correspond to different object recognition speeds.
  • multiple candidate machine learning models can be stored in a preset area or other devices, and by accessing the preset area or other devices, multiple candidate machine learning models for analyzing and processing captured images can be obtained.
  • those skilled in the art may also acquire multiple candidate machine learning models in other ways, as long as the accuracy and reliability of acquiring the multiple candidate machine learning models can be ensured, which is not repeated here.
  • the multiple candidate machine learning models can be analyzed and processed to determine a machine learning model for analyzing and processing the captured images.
  • the post-update delay time corresponding to the communication link can be reduced.
  • determining a machine learning model for analyzing and processing captured images according to the post-update delay time may include: determining a delay corresponding to the post-update delay time mean value and delay variance; according to at least one of the updated delay time, the delay mean value, and the delay variance, determine a machine learning model from among the multiple candidate machine learning models for analyzing and processing the captured images, wherein , the object recognition speed of the machine learning model is negatively correlated with at least one of the post-update delay time, the delay mean, and the delay variance.
  • the delay mean value and the delay variance corresponding to the post-update delay time can be determined, and after the post-update delay time, the delay mean value, and the delay variance are obtained, Then, according to at least one of the updated delay time, the delay mean value, and the delay variance, a machine learning model for analyzing and processing the captured images may be determined among the multiple candidate machine learning models, and the determined machine learning model The object recognition speed of the model is negatively correlated with at least one of the post-update latency time, latency mean, and latency variance.
  • multiple candidate machine learning models include model A, model B, model C and model D
  • the object recognition speed of model A is Va
  • the object recognition speed of model B is Vb
  • the object recognition speed of model C is Vc
  • the object recognition speed of Model D is Vd, where Va, Vb, Vc, and Vd are different, eg, Vb ⁇ Vc ⁇ Vd ⁇ Va.
  • a target machine learning model for analyzing and processing the captured images can be determined from the above-mentioned multiple candidate machine learning models according to the post-update delay time.
  • the target machine learning model The object recognition speed is negatively correlated with the delay time after the update, that is, when the delay time after the update is large, the model A with the faster object recognition speed can be determined as the target machine learning model.
  • the target machine learning model The data processing overhead of the model is relatively small, and the accuracy of the operation is low.
  • the model B with the slow object recognition speed can be determined as the target machine learning model. At this time, the data processing cost of the target machine learning model is relatively large, and the accuracy of the operation is relatively high.
  • multiple candidate machine learning models include model A, model B, model C and model D
  • the object recognition speed of model A is Va
  • the object recognition speed of model B is Vb
  • the object recognition speed of model C is Vc
  • the object recognition speed of Model D is Vd, where Va, Vb, Vc, and Vd are different, eg, Vb ⁇ Vc ⁇ Vd ⁇ Va.
  • the mean value of the delay corresponding to the post-update delay time can be determined, and according to the post-update delay time and the mean value of delay, a function of the above-mentioned multiple alternative machine learning models is determined.
  • the object recognition speed of the target machine learning model is negatively correlated with the post-update delay time and the mean delay, that is, the delay time is large and the delay is delayed after the update is acquired.
  • the model A with a faster object recognition speed can be determined as the target machine learning model. At this time, the data processing overhead of the target machine learning model is relatively small, and the accuracy of the operation is low.
  • the model B with the slow object recognition speed can be determined as the target machine learning model.
  • the data processing overhead of the target machine learning model is relatively large.
  • the precision of the operation is high.
  • multiple candidate machine learning models include model A, model B, model C and model D
  • the object recognition speed of model A is Va
  • the object recognition speed of model B is Vb
  • the object recognition speed of model C is Vc
  • the object recognition speed of Model D is Vd, where Va, Vb, Vc, and Vd are different, eg, Vb ⁇ Vc ⁇ Vd ⁇ Va.
  • the delay mean value and the delay variance corresponding to the post-update delay time can be determined.
  • a target machine learning model for analyzing and processing the captured images is determined.
  • the object recognition speed of the target machine learning model is negatively correlated with the updated delay time, delay mean and delay variance.
  • the model A with the faster object recognition speed can be determined as the target machine learning model, and the data of the target machine learning model at this time can be determined.
  • the processing overhead is relatively small, and the precision of the operation is relatively low.
  • the model B with the slow object recognition speed can be determined as the target machine learning model.
  • the data processing overhead is relatively large, and the accuracy of the operation is relatively high.
  • a plurality of candidate machine learning models for analyzing and processing the captured picture are acquired, and then, among the plurality of candidate machine learning models, a parameter for analyzing the captured picture is determined according to the delay time after the update.
  • the processed machine learning model can effectively reduce the post-update delay time corresponding to the communication link, so that when the PTZ is controlled based on the post-update delay time, the control efficiency of the PTZ is effectively improved. Accurate and reliable.
  • FIG. 11 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention. on the basis of the above embodiment, with continued reference to FIG. After analyzing the processed machine learning model, the method in this embodiment may further include:
  • Step S1101 Obtain the actual delay time of the communication link corresponding to the machine learning model.
  • Step S1102 Display the actual delay time through the display interface.
  • a communication link can be formed based on the determined machine learning model, the pan-tilt controller, and the image acquisition device, and the actual delay time corresponding to the communication link is the same as the previously determined one.
  • the delay time after the update is different. Therefore, in order to enable the user to obtain the actual delay time in time, the above-mentioned actual delay time can be displayed through the display interface.
  • the display interface can be set on the PTZ, or the display interface may not be Set on the PTZ.
  • the gimbal can be controlled based on the actual delay time. For example, the intelligent follow operation of the gimbal can be controlled, which can effectively ensure the quality and efficiency of the intelligent follow operation, and further improves the practicability of the method.
  • FIG. 12 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention; on the basis of the above embodiment, with continued reference to FIG. 12, after determining the delay time corresponding to the communication link,
  • the method in this embodiment may also include:
  • Step S1201 Obtain a time threshold for analyzing and processing the delay time.
  • Step S1202 When the delay time is greater than the time threshold, generate third prompt information corresponding to the delay time, so as to reduce the delay time corresponding to the communication link.
  • Step S1203 when the delay time is less than or equal to the time threshold, determine a machine learning model for analyzing and processing the captured image according to the delay time, and the machine learning model is trained to identify the target object included in the captured image. .
  • a time threshold for analyzing and processing the delay time can be obtained, and then the time threshold and the delay time are analyzed and compared, and when the delay time is greater than the time When the threshold value is reached, it means that the delay time of the gimbal system is relatively large at this time. At this time, if the above-mentioned gimbal system is used to perform the intelligent following operation, the quality and effect of the intelligent following cannot be satisfied. Therefore, when the delay time is greater than the time threshold, the third prompt information corresponding to the delay time can be generated, and the third prompt information can be used to prompt the user to perform a related configuration or adjustment operation to reduce the communication link with the communication link. corresponding delay time.
  • the delay time is less than or equal to the time threshold, it means that the delay time of the PTZ system is small at this time.
  • it is determined according to the delay time for analyzing and processing the captured images.
  • the machine learning model is trained to recognize the target object included in the captured picture, which can improve the quality and efficiency of the intelligent following operation on the target object.
  • the third prompt information corresponding to the delay time is generated, so as to reduce the delay time with the communication link.
  • the machine learning model for analyzing and processing the captured images is determined according to the delay time, and the machine learning model is trained to identify the images included in the captured images. Therefore, different processing operations can be performed based on different delay times, which further improves the flexibility and reliability of the method.
  • FIG. 13 is a schematic flowchart of another delay detection method provided by an embodiment of the present invention; on the basis of any one of the above-mentioned embodiments, with continued reference to FIG. 13 , when determining the delay time corresponding to the communication link Afterwards, the method in this embodiment may further include:
  • Step S1301 Generate compensation parameters corresponding to the communication link according to the delay time.
  • Step S1302 Control the pan/tilt to perform a follow-up operation according to the compensation parameter.
  • a compensation parameter corresponding to the communication link can be generated according to the delay time, and the compensation parameter can be: Time parameter, this parameter can reduce the influence of the delay time of the communication link on the follow operation of the gimbal.
  • the gimbal can be controlled to perform intelligent follow operation according to the compensation parameters.
  • the above-mentioned delay time T can be analyzed and processed according to a preset algorithm to generate compensation parameters corresponding to the communication link
  • the compensation parameter may be a compensation time corresponding to the delay time, for example, the compensation time may be 5s, 4s, or 3s, and so on.
  • the PTZ can be controlled according to the compensation parameters to perform the following operation, which can effectively reduce the influence of the delay time on the communication capability of the communication link, and further ensure the quality of the PTZ to follow the operation. and effects.
  • the historical motion curve of the target object can be determined based on the historical motion data of the target object (the historical motion curve is used to identify the position information passed by the target object in the preset time period), and the historical motion curve of the target object can be determined based on the historical motion curve of the target object.
  • the movement position of the target object after the delay time T can be estimated based on the movement speed of the target object and the delay time T to obtain the estimated movement position, and then
  • the PTZ can follow the target object based on the estimated motion position, which can effectively reduce the influence of the delay time on the communication capability of the communication link, and further ensure the quality and effect of controlling the PTZ to follow the operation.
  • this application embodiment provides a pan-tilt control method, which can accurately estimate the delay time of the intelligent follow-up link. After the delay time is determined, not only can different machine learning methods be selected according to the delay time
  • the model performs different data processing operations, and can also perform control compensation operations according to different delay times, which is conducive to improving the accuracy and reliability of intelligent follow-up operations with different delay times.
  • the user may be prompted to set through a UI interface.
  • the method in this embodiment includes:
  • Step 1 Use a delay estimation algorithm to determine the delay time T of the communication link.
  • the communication link may include: a camera, an image processor communicatively connected to the camera, and a pan-tilt controller communicatively connected to the image processor.
  • Step 1.1 Set up the rigid connection between the gimbal and the camera.
  • Step 1.2 Set a stationary object as the follower of the gimbal.
  • the captured image of the camera is acquired, and among the multiple objects displayed in the captured image, a stationary object is determined as the following subject of the gimbal, and the stationary object refers to an object in a stationary state relative to the base of the gimbal.
  • Step 1.3 Set a target pose set for controlling the pan/tilt head, and the multiple target poses included in the target pose set satisfy a low frequency curve (for example: 0.1Hz-2Hz, etc.).
  • a low frequency curve for example: 0.1Hz-2Hz, etc.
  • pan-tilt systems may correspond to different low-frequency curves, and the low-frequency curves are used to limit the relatively slow changes between the multiple target attitudes of the control pan-tilt.
  • Step 1.4 Control the gimbal to move by using multiple target poses included in the target pose set, and the movement of the gimbal itself drives the camera located on the gimbal to move, so that the following subject moves in the camera screen.
  • Step 1.5 Record the actual attitude curve of the actual motion of the gimbal, and determine the position change curve of the following subject in the camera screen based on the actual attitude curve.
  • Step 1.6 Analyze and process the actual attitude curve and the position change curve, calculate the phase difference between the two curves, and determine the delay time T of the communication link based on the phase difference.
  • multiple phase differences corresponding to the two curves may be acquired, and then the average value of the phase differences corresponding to the multiple phase differences is determined, and the delay time T of the communication link is determined based on the average value of the phase differences.
  • Step 2 Analyze and compare the delay time T with the threshold, and when the delay time T is greater than the threshold, prompt the user to set relevant parameters through the UI interface.
  • prompting the user to set relevant parameters through the UI interface may include: prompting the user through the UI interface to increase the output frame rate of the image capture device, or adjust the output format of the image capture device.
  • the delay time T of the PTZ system will change. Therefore, the delay time estimation algorithm can be used again to determine the delay time T' of the communication link.
  • one or more new delay times T corresponding to the communication link can be acquired ⁇ , when the new delay time T ⁇ is obtained, the new delay time T ⁇ can be compared with the threshold value, and when the new delay time T ⁇ is still greater than the threshold value, the UI The interface displays prompt information to remind the user that the gimbal at this time cannot well realize the intelligent follow-up operation.
  • Step 3 When the delay time T (or T ⁇ , or T ⁇ ) is less than or equal to the threshold, determine the machine learning model for analyzing and processing the captured images according to the delay time, so as to reduce the communication link. corresponding delay time.
  • Step 4 After the machine learning model is determined, the actual delay time of the communication link corresponding to the machine learning model determined above can be determined, and then the actual delay time is prompted to the user through the UI interface.
  • Step 5 For the actual delay time, control the compensation algorithm to set parameters to reduce the actual delay time.
  • this application embodiment provides a principle block diagram of a to-be-compensator.
  • the image acquisition device can obtain an image of a composition target, transmit the image to the image processing module, and determine the components included in the image. After determining the composition target, the composition target can be sent to the gimbal controller, so that the gimbal controller can control the gimbal to move based on the position information of the composition target.
  • the position information generates control parameters corresponding to the three-axis gimbal, and controls the gimbal to move based on the control parameters, so that the gimbal can intelligently follow the composition target.
  • the measurement attitude of the image acquisition device (or pan/tilt) can be obtained through the inertial measurement unit, and the delay time T corresponding to the above communication link is determined at the same time, then the filter and the delay time T can be determined.
  • Determine a delay estimation error so that after obtaining the measured image position deviation, the new motion position corresponding to the composition target can be estimated by combining the delay estimation error and the image position deviation, and then the estimated new motion
  • the position is sent to the gimbal controller, so that the gimbal can perform intelligent follow-up operation based on the new movement position, which can effectively reduce the influence of delay time on the intelligent follow-up operation of the composition target.
  • the delay time corresponding to the communication link is 1s.
  • the pure delay estimation error can be determined to be 1s through the filter and the delay time, and then , after the position deviation of the measured image is obtained, the position of the composition target on the display screen after 1s can be estimated based on the above pure delay estimation error of 1s, and the estimated position of the composition target in the display screen is output. Effectively reduce the influence of the delay time on the intelligent follow-up operation of the composition target.
  • Step 6 Control the gimbal to perform intelligent follow-up operation.
  • the pan-tilt control method provided in this application embodiment effectively realizes the accurate estimation of the delay time corresponding to the entire communication link.
  • the delay time corresponding to the entire communication link may include: : the first transmission delay t1 and the second transmission delay t2, where the first transmission delay may be the transmission delay existing in the process of the camera transmitting the captured image to the ISP module, and the second transmission delay It can be the transmission delay in the process that the ISP module sends the image after analysis and processing to the machine learning model through the buffer operation and format conversion operation for machine learning, so as to facilitate the basis of delay time.
  • Different compensation control operations are performed for the intelligent follow operation of the gimbal in different application scenarios, which is beneficial to ensure the quality and effect of the intelligent follow.
  • the pan-tilt control method in this embodiment can also determine different machine learning models for data processing operations based on different delay times, thereby helping to reduce the degree of influence of the delay time on the communication link; It can interact with the user through the UI interface and prompt the user to set relevant parameters, which can effectively reduce the delay time, help to improve the stability and reliability of the intelligent follow-up operation based on different delay times, and further improve the use of this method. stable reliability.
  • FIG. 17 is a schematic structural diagram of a delay detection device provided by an embodiment of the present invention; with reference to FIG. 17 , this embodiment provides a delay detection device, which can be applied to a pan-tilt system
  • the above-mentioned PTZ system may include: an image acquisition device 100 , an image processing device 101 communicatively connected to the image acquisition device 100 , and a PTZ controller 102 communicatively connected to the image processing device 101 .
  • the image acquisition device 100 , The image processing device 101 and the pan-tilt controller 102 form a communication link, wherein the image acquisition device 100 is arranged on the pan-tilt; the delay detection device may include:
  • the first processor 1701 is configured to run the computer program stored in the first memory 1702 to realize:
  • the PTZ is controlled to move, and the attitude change information of the image acquisition device is obtained, and the position change information of the target object in the acquisition screen is obtained through the PTZ controller, and the target object is in a static state relative to the base of the PTZ;
  • the structure of the delay detection apparatus may further include a first communication interface 1703, which is used for the electronic device to communicate with other devices or a communication network.
  • control parameters include at least one of the following: a target pose set, the target pose set includes multiple target poses, and the transformation frequency between the multiple target poses is less than or equal to a frequency threshold; an angular velocity set, in the angular velocity set Including multiple angular velocities, and the change frequency between multiple angular velocities is less than or equal to the frequency threshold; position set, the position set includes multiple positions, the position change between multiple positions is less than or equal to the change threshold, multiple The frequency of change between positions is less than or equal to the frequency threshold.
  • the distance between the position of the target object in the captured frame and the position of the center of the frame is less than or equal to a distance threshold.
  • the first processor 1701 is further configured to: obtain a response bandwidth of the communication link; and determine a frequency threshold corresponding to the communication link according to the response bandwidth.
  • the frequency thresholds corresponding to different communication links are the same or different.
  • the first processor 1701 before controlling the pan/tilt to move based on the control parameters, is further configured to: acquire a current image captured by the image capture device; in the current image, determine that the base of the relative pan/tilt is stationary at least one display object of the state; based on the at least one display object, a target object in the acquisition screen is determined.
  • the first processor 1701 determines the target object in the captured screen based on the at least one display object
  • the first processor 1701 is configured to: obtain the execution operation input by the user with respect to the at least one display object; The display object corresponding to the operation is determined as the target object.
  • the first processor 1701 when the first processor 1701 obtains the position change information of the target object in the captured picture through the pan-tilt controller, the first processor 1701 is configured to: in the process of controlling the pan-tilt to move based on the control parameters, A plurality of acquisition images corresponding to the control parameters are acquired through the PTZ controller, and each acquisition image includes a target object; the multiple acquisition images are analyzed and processed to obtain the position change information of the target object in the acquisition image.
  • the first processor 1701 determines the delay time corresponding to the communication link according to the attitude change information and the position change information
  • the first processor 1701 is configured to: obtain the difference between the attitude change information and the position change information multiple phase differences between; determine the delay time corresponding to the communication link according to the multiple phase differences.
  • the first processor 1701 determines the delay time corresponding to the communication link according to the plurality of phase differences
  • the first processor 1701 is configured to: obtain the average value of the phase differences corresponding to the plurality of phase differences; Transforming frequencies corresponding to the plurality of phase differences are determined; based on the mean value of the phase differences and the transforming frequencies, a delay time corresponding to the communication link is determined.
  • the first processor 1701 is configured to: generate first prompt information corresponding to the delay time, so as to reduce the delay time corresponding to the communication link time time.
  • the first prompt information includes at least one of the following: increasing the output frame rate of the image capturing device; adjusting the output format of the image capturing device.
  • the first processor 1701 is configured to: obtain the post-update delay time; when the post-update delay time is greater than the time threshold, generate and update the post-update delay time
  • the second prompt information corresponding to the delay time the second prompt information is used to identify that the pan/tilt does not meet the following operation conditions; when the delay time after the update is less than or equal to the time threshold, it is determined according to the delay time after the update to be used for collecting A machine learning model that analyzes and processes the picture, and the machine learning model is trained to recognize the target object included in the captured picture.
  • the first processor 1701 determines a machine learning model for analyzing and processing the captured picture according to the post-update delay time
  • the first processor 1701 is configured to: acquire the data for analyzing and processing the captured picture.
  • Multiple alternative machine learning models different alternative machine learning models correspond to different object recognition speeds; among multiple alternative machine learning models, a parameter for analyzing and processing the captured images is determined according to the delay time after the update.
  • Machine learning models to reduce post-update latency corresponding to communication links.
  • the first processor 1701 determines a machine learning model for analyzing and processing the captured picture according to the post-update delay time among the multiple candidate machine learning models
  • the first processor 1701 is configured to: : Determine the delay mean and delay variance corresponding to the delay time after update; determine one of the multiple candidate machine learning models according to at least one of the delay time after update, delay mean and delay variance
  • the object recognition speed of the machine learning model is negatively correlated with at least one of the updated delay time, the delay mean and the delay variance.
  • the first processor 1701 is configured to: obtain the actual delay of the communication link corresponding to the machine learning model time; display the actual delay time through the display interface.
  • the first processor 1701 is configured to: obtain a time threshold for analyzing and processing the delay time; when the delay time is greater than the time threshold, Generate third prompt information corresponding to the delay time to reduce the delay time corresponding to the communication link; when the delay time is less than or equal to the time threshold, it is determined according to the delay time for analyzing and processing the captured images
  • the machine learning model of the machine learning model is trained to recognize the target object included in the captured picture.
  • the first processor 1701 is configured to: generate compensation parameters corresponding to the communication link according to the delay time; control the pan/tilt according to the compensation parameters to perform Follow the action.
  • the apparatus shown in FIG. 17 may execute the method of the embodiment shown in FIG. 1 to FIG. 16 .
  • the apparatus shown in FIG. 17 may execute the method of the embodiment shown in FIG. 1 to FIG. 16 .
  • FIG. 18 is a schematic structural diagram of a delay detection system provided by an embodiment of the present invention.
  • the present embodiment provides a delay detection system, and the delay detection system may include:
  • An image processing device 1801 connected in communication with an image capturing device for capturing and generating images, for processing the generated images;
  • the PTZ 1802, the image acquisition device and the image processing device 1801 are arranged on the PTZ 1802, and the image acquisition device, the image processing device 1801 and the PTZ 1802 form a communication link;
  • the delay detection device 1803 in the above-mentioned embodiment of FIG. 17 is communicatively connected to the communication link, and is used for determining the delay time corresponding to the communication link.
  • FIG. 19 is a schematic structural diagram of a movable platform provided by an embodiment of the present invention. Referring to FIG. 19, this embodiment provides a movable platform, and the movable platform may include:
  • the PTZ controller 1901 is communicatively connected with an image processing device, and the image processing device is communicatively connected with the image acquisition device to generate a communication link, wherein the image acquisition device is fixedly connected to the PTZ;
  • a support mechanism 1902 used to connect the head
  • the delay detection device 1903 in the above-mentioned embodiment of FIG. 17 is communicatively connected to the communication link, and is used for determining the delay time corresponding to the communication link.
  • the support mechanism 1902 varies with the type of the movable platform.
  • the support mechanism 1902 can be a handle, and when the movable platform is an unmanned aerial vehicle, the support mechanism 1902 can be unmanned. body of the machine.
  • movable platforms include, but are not limited to, the types described above.
  • an embodiment of the present invention provides a computer-readable storage medium, where the storage medium is a computer-readable storage medium, and program instructions are stored in the computer-readable storage medium, and the program instructions are used to implement the extension of FIG. 1 to FIG. 16 above. time detection method.
  • FIG. 20 is a schematic flowchart of a delay detection method provided by an embodiment of the present invention.
  • the pan-tilt system includes: an image acquisition device 100, an image processing device 101 connected in communication with the image acquisition device 100, and a pan-tilt controller 102 in communication with the image processing device 101.
  • the image acquisition device 100, the image processing device 101 and the pan-tilt The controller 102 forms a communication link, as shown in FIG. 2 .
  • the image acquisition device 100 , the image processing device 101 and the PTZ controller 102 may be arranged on the PTZ.
  • the delay detection method may include:
  • Step S2001 controlling the pan/tilt to move according to the control parameters, wherein, during the motion of the pan/tilt, the target object in a stationary state relative to the base of the pan/tilt remains in the acquisition screen of the image acquisition device.
  • Step S2002 After the preset duration of the motion of the PTZ, prompt information related to the delay time corresponding to the communication link, and the delay time is used to indicate the information required to determine the position information of the target object in the acquisition screen via the communication link. duration.
  • the control parameters used to control the PTZ to move have various types of parameters.
  • the control parameters include: At least one of the following: a target pose set, the target pose set includes multiple target poses, and the transformation frequency between the multiple target poses is less than or equal to a frequency threshold; an angular velocity set, the angular velocity set includes multiple angular velocities, and multiple The change frequency between the angular velocities is less than or equal to the frequency threshold; the position set, the position set includes multiple positions, the position change between multiple positions is less than or equal to the change threshold, and the change frequency between multiple positions is less than or equal to the frequency threshold.
  • the target object in a stationary state relative to the base of the pan/tilt can be kept in the acquisition screen of the image acquisition device.
  • the information related to the delay time corresponding to the communication link can be prompted, and the delay time is used to indicate the information required to determine the position information of the target object in the acquisition screen via the communication link. length of time.
  • the above-mentioned preset duration may be pre-configured by the user based on application requirements and design requirements, for example, the preset duration may be 1 min, 5 min, 10 min, and so on.
  • the prompted information may include first prompt information for reducing the delay time corresponding to the communication link, for example, the first prompt information may include at least one of the following: increasing the output frame of the image capture device rate, adjust the output format of the image acquisition device, etc.
  • the prompted information may include second prompt information for identifying that the pan/tilt does not meet the following operation conditions.
  • the specific implementation process, implementation principle, and implementation effect of the delay detection method in this embodiment may be similar to the specific implementation process, implementation principle, and implementation effect of the method in the embodiment shown in FIG. 1 to FIG. 16 .
  • the parts that are not described in detail in this embodiment reference may be made to the related descriptions of the embodiments shown in FIG. 1 to FIG. 16 .
  • FIG. 21 is a schematic structural diagram of another delay detection device provided by an embodiment of the present invention. with reference to FIG. 21 , this embodiment provides another delay detection device, and the delay detection device can be applied to a pan/tilt head System, as shown in FIG. 1, the above-mentioned pan-tilt system may include: an image acquisition device 100, an image processing device 101 connected in communication with the image acquisition device 100, and a pan-tilt controller 102 in communication with the image processing device 101.
  • the device 100, the image processing device 101 and the pan-tilt controller 102 form a communication link, wherein the image acquisition device 100 is arranged on the pan-tilt;
  • the delay detection device may include:
  • the second memory 2102 is used to store computer programs
  • the second processor 2101 is configured to run the computer program stored in the second memory 2102 to realize:
  • the pan/tilt moves for a preset duration, information related to the delay time corresponding to the communication link is prompted, and the delay time is used to indicate the duration required to determine the position information of the target object in the captured image via the communication link.
  • the structure of the delay detection apparatus may further include a second communication interface 2103, which is used for the electronic device to communicate with other devices or a communication network.
  • the apparatus shown in FIG. 21 may execute the method of the embodiment shown in FIG. 20 .
  • the apparatus shown in FIG. 21 may execute the method of the embodiment shown in FIG. 20 .
  • the parts not described in detail in this embodiment reference may be made to the relevant description of the embodiment shown in FIG. 20 .
  • FIG. 22 is a schematic structural diagram of another time delay detection system provided by an embodiment of the present invention. with reference to FIG. 22 , the present embodiment provides another time delay detection system, and the time delay detection system may include:
  • An image processing device 2201 connected in communication with an image acquisition device for acquiring and generating images, for processing the generated images;
  • the PTZ 2202, the image acquisition device and the image processing device 2201 are arranged on the PTZ 2202, and the image acquisition device, the image processing device 2201 and the PTZ 2202 form a communication link;
  • the delay detection device 2203 in the above-mentioned embodiment of FIG. 21 is communicatively connected to the communication link, and is used for determining the delay time corresponding to the communication link.
  • FIG. 23 is a schematic structural diagram of another movable platform provided by an embodiment of the present invention. Referring to FIG. 23, this embodiment provides another movable platform.
  • the movable platform may include:
  • the PTZ controller 2301 is communicatively connected with an image processing device, and the image processing device is communicatively connected with the image acquisition device to generate a communication link, wherein the image acquisition device is fixedly connected to the PTZ;
  • the delay detection device 2303 in the above-mentioned embodiment of FIG. 21 is communicatively connected to the communication link, and is used for determining the delay time corresponding to the communication link.
  • the support mechanism 2302 varies with the type of the movable platform.
  • the support mechanism 2302 can be a handle, and when the movable platform is a drone, the support mechanism 2302 can be unmanned body of the machine.
  • movable platforms include, but are not limited to, the types described above.
  • an embodiment of the present invention provides a computer-readable storage medium, where the storage medium is a computer-readable storage medium, and program instructions are stored in the computer-readable storage medium, and the program instructions are used to implement the above-mentioned delay detection method in FIG. 20 . .
  • the disclosed related detection apparatus and method may be implemented in other manners.
  • the embodiments of the detection apparatus described above are only illustrative.
  • the division of the modules or units is only a logical function division.
  • Another point, the mutual coupling or direct coupling or communication connection shown or discussed may be through some interfaces, and the indirect coupling or communication connection of detection devices or units may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and components shown as units may or may not be physical units, that is, may be located in one place, or may be distributed to multiple network units. Some or all of the units may be selected according to actual needs to achieve the purpose of the solution in this embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically alone, or two or more units may be integrated into one unit.
  • the above-mentioned integrated units may be implemented in the form of hardware, or may be implemented in the form of software functional units.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as an independent product, may be stored in a computer-readable storage medium.
  • the technical solution of the present invention is essentially or the part that contributes to the prior art, or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium , including several instructions for causing a computer processor (processor) to perform all or part of the steps of the methods described in the various embodiments of the present invention.
  • the aforementioned storage medium includes: U disk, mobile hard disk, Read-Only Memory (ROM, Read-Only Memory), Random Access Memory (RAM, Random Access Memory), magnetic disk or optical disk and other media that can store program codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)

Abstract

一种延时检测方法、装置、系统、可移动平台和存储介质。检测方法应用于云台系统，云台系统包括：图像采集装置（100）、与图像采集装置（100）通信连接的图像处理装置（101）以及与图像处理装置（101）通信连接的云台控制器（102），图像采集装置（100）、图像处理装置（101）与云台控制器（102）形成一通信链路，图像采集装置（100）设置于云台上；方法包括：获取用于控制云台进行运动的控制参数（S301）；基于控制参数控制云台进行运动，获得图像采集装置的姿态变化信息，并通过云台控制器获取目标对象在采集画面中的位置变化信息，目标对象相对于云台的基座处于静止状态（S302）；根据姿态变化信息和位置变化信息，确定与通信链路相对应的延时时间，延时时间用于指示经由通信链路确定目标对象在采集画面中的位置信息所需要的时长（S303）。

Description

延时检测方法、装置、系统、可移动平台和存储介质 技术领域
本发明实施例涉及云台技术领域，尤其涉及一种延时检测方法、装置、系统、可移动平台和存储介质。
背景技术
随着科学技术的飞速发展，云台的应用领域越来越广泛，尤其广泛应用于拍摄领域。其中，智能跟随功能是云台的一种常用的拍摄功能，摄影师通过智能跟随功能可以选定智能跟随主体，并进行相关的构图。在拍摄过程中，无论摄影师如何移动自身的位置和方向，云台姿态始终智能跟随于预先设定的跟随主体，同时保持构图，从而便于摄影师特别是新手用户进行视频拍摄操作。
目前，许多云台可以支持挂载第三方的拍摄装置，例如：云台上可以挂载不同品牌与型号的相机、手机。然而，由于不同品牌与型号的相机、手机具有不同的数据处理能力，或者，对于相同品牌的相机或者手机而言，其参数的设置可以不同。具体的，上述不同的拍摄装置或者相同拍摄装置所对应的不同设置参数会极大地影响着视频输出的延时时间，而延时时间对智能跟随的控制操作会产生极大地影响，这样容易造成云台的自动跟随效果不理想。
发明内容
本发明实施例提供了一种延时检测方法、装置、系统、可移动平台和存储介质，可以对通信链路所对应的延时时间进行准确估计，从而便于基于上述的延时时间对云台的智能跟随操作进行补偿控制，进而有利于保证智能跟随的质量和效果。
本发明的第一方面是为了提供一种延时检测方法，应用于云台系统，所述云台系统包括：图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器，所述图像采集装置、 图像处理装置与所述云台控制器形成一通信链路，其中，所述图像采集装置设置于云台上；所述方法包括：
获取用于控制所述云台进行运动的控制参数；
基于所述控制参数控制所述云台进行运动，获得所述图像采集装置的姿态变化信息，并通过所述云台控制器获取目标对象在采集画面中的位置变化信息，所述目标对象相对于所述云台的基座处于静止状态；
根据所述姿态变化信息和所述位置变化信息，确定与所述通信链路相对应的延时时间，所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
本发明的第二方面是为了提供一种延时检测装置，应用于云台系统，所述云台系统包括：图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器，所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路，其中，所述图像采集装置设置于云台上；所述装置包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
获取用于控制所述云台进行运动的控制参数；
基于所述控制参数控制所述云台进行运动，获得所述图像采集装置的姿态变化信息，并通过所述云台控制器获取目标对象在采集画面中的位置变化信息，所述目标对象相对于所述云台的基座处于静止状态；
根据所述姿态变化信息和所述位置变化信息，确定与所述通信链路相对应的延时时间，所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
本发明的第三方面是为了提供一种延时检测系统，包括：
图像处理装置，与用于采集并生成图像的图像采集装置通信连接，用于对所生成的图像进行处理；
云台，所述图像采集装置和所述图像处理装置设置于所述云台上，且所述图像采集装置、所述图像处理装置与所述云台构成一通信链路；
上述第二方面所述的延时检测装置，与所述通信链路通信连接，用于确定与所述通信链路相对应的延时时间。
本发明的第四方面是为了提供一种可移动平台，包括：
云台控制器，通信连接有图像处理装置，所述图像处理装置与图像采集装置通信连接，以生成一通信链路，其中，所述图像采集装置固定连接在云台上；
支撑机构，用于连接所述云台；
上述第二方面所述的延时检测装置，与所述通信链路通信连接，用于确定与所述通信链路相对应的延时时间。
本发明的第五方面是为了提供一种计算机可读存储介质，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于第一方面所述的延时检测方法。
本发明的第六方面是为了提供一种延时检测方法，应用于云台系统，所述云台系统包括：图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器，所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路，其中，所述图像采集装置设置于云台上；所述方法包括：
控制所述云台按照控制参数运动，其中，在所述云台的运动过程中，相对于所述云台的基座处于静止状态的目标对象保持在所述图像采集装置的采集画面中；
在所述云台运动预设时长后，提示与所述通信链路相对应的延时时间相关的信息，所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
本发明的第七方面是为了提供一种延时检测装置，应用于云台系统，所述云台系统包括：图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器，所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路，其中，所述图像采集装置设置于云台上；所述装置包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现：
控制所述云台按照控制参数运动，其中，在所述云台的运动过程中，相对于所述云台的基座处于静止状态的目标对象保持在所述图像采集装置的采集画面中；
在所述云台运动预设时长后，提示与所述通信链路相对应的延时时间相 关的信息，所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
本发明的第八方面是为了提供一种延时检测系统，包括：
图像处理装置，与用于采集并生成图像的图像采集装置通信连接，用于对所生成的图像进行处理；
云台，所述图像采集装置和所述图像处理装置设置于所述云台上，且所述图像采集装置、所述图像处理装置与所述云台构成一通信链路；
上述第七方面所述的延时检测装置，与所述通信链路通信连接，用于确定与所述通信链路相对应的延时时间。
本发明的第九方面是为了提供一种可移动平台，包括：
云台控制器，通信连接有图像处理装置，所述图像处理装置与图像采集装置通信连接，以生成一通信链路，其中，所述图像采集装置固定连接在云台上；
支撑机构，用于连接所述云台；
上述第七方面所述的延时检测装置，与所述通信链路通信连接，用于确定与所述通信链路相对应的延时时间。
本发明的第十方面是为了提供一种计算机可读存储介质，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于第六方面所述的延时检测方法。
本发明实施例提供的延时检测方法、装置、系统、可移动平台和存储介质，有效地实现了对整个通信链路所对应的延时时间进行准确的估计操作，进而有利于保证智能跟随的质量和效果，有效地提高了该方法使用的稳定可靠性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例提供的云台系统的结构示意图一；
图2为本发明实施例提供的云台系统的结构示意图二；
图3为本发明实施例提供的一种延时检测方法的流程示意图；
图4为本发明实施例提供的另一种延时检测方法的流程示意图；
图5为本发明实施例提供的又一种延时检测方法的流程示意图；
图6为本发明实施例提供的通过所述云台控制器获取目标对象在采集画面中的位置变化信息的流程示意图；
图7为本发明实施例提供的根据所述姿态变化信息和所述位置变化信息，确定与所述通信链路相对应的延时时间的流程示意图；
图8为本发明实施例提供的姿态变化信息与所述位置变化信息的示意图；
图9为本发明实施例提供的又一种延时检测方法的流程示意图；
图10为本发明实施例提供的根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型的流程示意图；
图11为本发明实施例提供的另一种延时检测方法的流程示意图；
图12为本发明实施例提供的又一种延时检测方法的流程示意图；
图13为本发明实施例提供的另一种延时检测方法的流程示意图；
图14为本发明应用实施例提供的一种延时检测方法的流程示意图；
图15为本发明应用实施例提供的对延时时间进行检测的原理示意图；
图16为本发明应用实施例提供的智能跟随操作的原理示意图；
图17为本发明实施例提供的一种延时检测装置的结构示意图；
图18为本发明实施例提供的一种延时检测系统的结构示意图；
图19为本发明实施例提供的一种可移动平台的结构示意图；
图20为本发明实施例提供的一种延时检测方法的流程示意图；
图21为本发明实施例提供的另一种延时检测装置的结构示意图；
图22为本发明实施例提供的另一种延时检测系统的结构示意图；
图23为本发明实施例提供的另一种可移动平台的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技 术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
为了便于理解本申请的技术方案，下面对现有技术进行简要说明：
随着科学技术的飞速发展，云台的应用领域越来越广泛，尤其广泛应用于拍摄领域。其中，智能跟随功能是云台的一种常用的拍摄功能，摄影师通过智能跟随功能可以选定智能跟随主体，并进行相关的构图。在拍摄过程中，无论摄影师如何移动自身的位置和方向，云台姿态始终智能跟随于预先设定的跟随主体，同时保持构图，从而便于摄影师特别是新手用户进行视频拍摄操作。
目前，许多云台可以支持挂载第三方的拍摄装置，例如：云台上可以挂载不同品牌与型号的相机、手机。然而，由于不同品牌与型号的相机、手机具有不同的数据处理能力，或者，对于相同品牌的相机或者手机而言，其参数的设置可以不同(例如：相机的高清多媒体接口hdmi输出格式和帧率、成片的曝光时间等)。具体的，上述不同的拍摄装置或者相同拍摄装置的不同设置参数会极大地影响着视频输出的延时时间，而延时时间对智能跟随的控制效果会产生极大地影响，这样容易造成云台的自动跟随效果不理想。
具体的，为了能够实现对云台系统所形成的通信链路所对应的延时时间进行准确估计，可以对云台系统的工作原理进行说明，如图1-图2所示，云台系统包括：用于采集图像的图像采集装置100、与图像采集装置100通信连接的图像处理装置101以及与图像处理装置101通信连接的云台控制器102，图像采集装置100、图像处理装置101与云台控制器102形成一通信链路，并且，图像采集装置100、图像处理装置101和云台控制器102可以设置于云台上；图像处理装置101用于对所采集的图像进行分析处理，并将分析处理后的图像发送至云台控制器102，云台控制器102用于接收分析处理后的图像，并基于分析处理后的图像进行相应的云台控制操作。
以相机100作为图像采集装置100为例，对云台系统的工作原理进行说明，相机100作为第三方负载，其可以通过HDMI接口连接到图像信号处理(Image Signal Processing，简称ISP)模块，ISP模块1011可以对所接收到的图像进行分析处理，并将处理后的图像数据传输至缓存器1012进行缓存，经过缓存器1012进行缓存后的图像数据不仅可以通过实时视频输出器1013进行实时输出，并且还可以利用格式转换器1014对缓存后的图像数据进行格式转换操作， 以使得格式转换操作之后的图像数据可以输入到机器学习模型1015中进行机器学习操作，以识别用户设定的待跟随主体。在识别出待跟随主体之后，可以通过策略处理器1016按照策略确定云台的控制参数，而后云台控制器102可以基于云台的控制参数对云台进行控制操作，以实现云台可以对待跟随主体进行智能跟随操作。
针对上述所形成的通信链路而言，至少存在以下难以估计的传输延时：
(1)在相机100将所采集的图像传输至ISP模块1011时，存在一传输延时t1，该传输延时t1主要与相机100的硬件设备资源和软件数据处理能力相关，在硬件设备资源和软件数据处理能力较强时，传输延时t1越小。
(2)在ISP模块1011将进行分析处理后的图像通过缓存器1012的缓存操作、格式转换操作之后的图像发送至机器学习模型1015中进行机器学习时，存在一传输延时t2，上述的传输延时t2与图像的数据量、HDMI输出格式和帧率相关，在图像的数据量越大时，传输延时t2越大；在图像的数据量越小时，传输延时t2越小。图像的帧率越高时，传输延时t2越小；图像的帧率越低时，传输延时t2越大。
需要注意的是，针对上述所形成的通信链路而言，不仅包括上述以下难以估计的传输延时，还包括其他可以进行准确估计的传输延时，例如：机器学习模型1015对图像进行机器学习操作之后，可以将机器学习结果通过策略处理器1016传输至云台控制器102，而在上述数据传输过程中，存在可以准确估计的数据传输延时。
基于上述陈述内容可知，由于不能针对经不同负载所形成的不同通信链路所对应的传输延时进行准确估计，此时，若采用统一的智能跟随控制算法策略和控制参数对由不同的负载所构成的不同通信链路进行控制时，则会产生如下后果：
(1)在实际延时小于或等于估计延时时，带有不同负载的云台系统所对应的智能跟随性能良好。
(2)在实际延时大于估计延时时，云台系统上所设置的负载容易出现震荡情况。
为了解决上述技术问题，本实施例提供了一种延时检测方法、装置、系统、可移动平台和存储介质。该方法可以针对云台系统所形成的通信链路所对应的延时时间进行准确估计，具体的，通过获取用于控制云台进行运动的 控制参数，基于控制参数控制云台进行运动，获得图像采集装置的姿态变化信息，并通过云台控制器获取目标对象在采集画面中的位置变化信息，为了能够准确地获取到位置变化信息，上述的目标对象相对于云台的基座可以处于相对静止状态，而后可以根据姿态变化信息和位置变化信息来确定与通信链路相对应的延时时间。
本实施例提供的上述技术方案，有效地实现了对整个通信链路所对应的延时时间进行准确的估计操作，可以理解的是，上述整个通信链路所对应的延时时间可以包括：第一传输延时和第二传输延时，其中，第一传输延时可以为在相机将所采集的图像传输至ISP模块的过程中所存在的传输延时，第二传输延时可以为在ISP模块将进行分析处理后的图像通过缓存器的缓存操作、格式转换操作之后的图像发送至机器学习模型中进行机器学习的过程中所存在的传输延时；从而便于基于延时时间对云台在不同应用场景中的智能跟随操作进行不同的补偿控制操作，进而有利于保证智能跟随的质量和效果，有效地提高了该方法使用的稳定可靠性。
下面结合附图，对本发明中的一种延时检测方法、装置、系统、可移动平台和存储介质的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图3为本发明实施例提供的一种延时检测方法的流程示意图；在上述实施例的基础上，继续参考附图1-图3所示，本实施例提供了一种延时检测方法，该延时检测方法可以应用于云台系统，云台系统包括：图像采集装置100、与图像采集装置100通信连接的图像处理装置101以及与图像处理装置101通信连接的云台控制器102，图像采集装置100、图像处理装置101与云台控制器102形成一通信链路，如图2所示。其中，图像采集装置100、图像处理装置101和云台控制器102可以设置于云台上。具体的，该延时检测方法可以包括：
步骤S301：获取用于控制云台进行运动的控制参数。
步骤S302：基于控制参数控制云台进行运动，获得图像采集装置的姿态变化信息，并通过云台控制器获取目标对象在采集画面中的位置变化信息，目标对象相对于云台的基座处于静止状态。
步骤S303：根据姿态变化信息和位置变化信息，确定与通信链路相对应的延时时间，延时时间用于指示经由通信链路确定所述目标对象在采集画面中的位置信息所需要的时长。
下面针对上述各个步骤的实现过程进行详细阐述：
步骤S301：获取用于控制云台进行运动的控制参数。
其中,在对云台进行控制时,可以利用预先配置的控制参数、或者用户直接输入的控制参数或者自动生成的控制参数对云台进行控制,以使得云台基于控制参数进行运动,满足应用需求。
可以理解的是，用于控制云台进行运动的控制参数具有多种不同类型的参数，在一些实例中，控制参数包括以下至少之一：目标姿态集合，目标姿态集合中包括多个目标姿态，并且，多个目标姿态之间的变换频率小于或等于频率阈值；角速度集合，角速度集合中包括多个角速度，并且，多个角速度之间的变化频率小于或等于频率阈值；位置集合，位置集合中包括多个位置，多个位置之间的位置变化量小于或等于变化量阈值，多个位置之间的变化频率小于或等于频率阈值。
在一些实例中，云台可以对应有不同的跟随模式(跟随拍摄对象)，而不同的跟随模式可以对应有不同的控制参数。以三轴云台为例，其具体可以包括依次连接的偏航轴yaw电机、俯仰轴pitch电机和横滚轴roll电机，此时，云台的跟随模式可以包括有单轴跟随模式、双轴跟随模式和三轴跟随模式。当云台的跟随模式为单轴跟随模式时，控制参数可以与云台的单个轴相对应，例如：可以基于目标姿态控制yaw轴进行运动。当云台的跟随模式为双轴跟随模式时，控制参数可以与云台的两个轴相对应，例如：可以基于目标姿态控制yaw轴和pitch轴进行运动。当云台的跟随模式为三轴跟随模式时，控制参数可以与云台的三个轴相对应，例如：可以基于目标姿态控制yaw轴、pitch轴和roll轴进行运动。
在另一些实例中，虽然云台对应有不同的跟随模式，但是，在获取到控制参数之后，也可以不考虑云台的跟随模式，直接利用控制参数对云台进行控制。例如：在云台的跟随模式为单轴跟随模式时，可以基于控制参数控制云台的yaw轴进行运动，或者，可以基于控制参数控制云台的yaw轴和pitch轴进行运动，或者，也可以基于控制参数控制云台的yaw轴、pitch轴和roll轴进行运动等等。
其中，在控制参数与云台的两个或两个以上的轴对应时，可以根据其中任意一个轴对应的控制参数所得到的下述的姿态变化信息和位置变化信息，确定与通信链路相对应的延时时间。
在本申请实施例中，该控制参数可以是仅控制云台绕yaw轴旋转时的参数为例进行说明。
可以理解的是，本领域技术人员可以基于不同的应用场景和应用需求对云台的控制模式进行调整，在此不再赘述。
具体的，在控制参数包括目标姿态集合时，目标姿态集合中所包括的多个目标姿态即为在控制云台在进行运动之后所需要达到或者接近达到的理论姿态信息。在上述控制云台进行运动的过程中，通过限定多个目标姿态之间的变换频率小于或等于频率阈值，能够实现在控制云台进行运动的过程中，目标对象始终在采集画面中，这样不仅可以准确地获取到目标对象在采集画面中的位置变化信息，并且有利于实现对通信链路的延时时间进行准确的估计。
在控制参数包括角速度集合时，角速度集合中所包括的多个角速度即为用于控制云台进行运动的参数。在上述控制云台进行运动的过程中，通过限定多个角速度之间的变化频率小于或等于频率阈值，能够实现在控制云台进行运动的过程中，目标对象始终在采集画面中，这样不仅可以准确地获取到目标对象在采集画面中的位置变化信息，并且有利于实现对通信链路的延时时间进行准确的估计。可以理解的是，本实现方式中用于对角速度进行分析处理的频率阈值与上述实现方式中用于对目标姿态进行分析处理的频率阈值可以相同或者不同。
在控制参数包括位置集合时，位置集合中所包括的多个位置即为用于控制云台进行运动之后所需要达到或者接近的目标位置信息，可以理解的是，在基于位置集合控制云台进行运动时，主要可以使得云台在预设平面上进行运动。具体的，云台可以为手持云台、机载云台等等；当控制云台在预设平面上进行运动时，云台可以在预设平面上进行平移式运动，例如：控制云台的基座在预设平面上进行平移运动。当控制云台在预设平面上进行运动时，云台可以在预设平面上进行旋转式运动，例如：控制云台的roll轴和pitch轴进行运动，以使得云台可以在预设平面上进行旋转式运动。当控制云台在预设平面上进行运动时，云台可以在预设平面上进行平移式+旋转式运动，例如：控制云台的基座平移、且绕roll轴和pitch轴进行旋转，从而使得云台可以在预设平面上进行平移式运动+旋转式运动。
另外，在控制参数包括位置集合时，目标对象在采集画面中的位置与画 面中心位置之间的距离小于或等于距离阈值，即使得目标对象位于采集画面的中间区域的位置。可以理解的是，本实现方式中用于对位置进行分析处理的频率阈值、用于对角速度进行分析处理的频率阈值以及上述实现方式中用于对目标姿态进行分析处理的频率阈值可以相同或者不同。
针对上述实现方式，通过限定多个位置之间的位置变化量小于或等于变化量阈值、多个位置之间的变化频率小于或等于频率阈值，且目标对象位于采集画面的中间区域的位置，能够实现在控制云台进行运动的过程中，目标对象始终在采集画面中，这样可以准确地获取到目标对象在采集画面中的位置变化信息，进一步有利于实现对通信链路的延时时间进行准确的估计。
步骤S302：基于控制参数控制云台进行运动，获得图像采集装置的姿态变化信息，并通过云台控制器获取目标对象在采集画面中的位置变化信息，目标对象相对于云台的基座处于静止状态。
在获取到控制参数之后，可以基于控制参数控制云台进行运动，在云台进行运动的过程中，可以通过惯性测量单元(Inertial Measurement Unit，简称IMU)获取位于云台上图像采集装置的姿态变化信息。具体的，控制参数可以包括多个不同的参数值，例如，控制参数包括参数a和参数b，在利用参数a对云台进行控制时，可以通过IMU获取到云台上图像采集装置的一姿态信息A，该姿态信息A即为与参数a相对应的实际姿态；在利用参数b对云台进行控制时，可以通过IMU获取到云台上图像采集装置的一姿态信息B，该姿态信息B即为与参数b相对应的实际姿态，并且，上述的姿态信息B与姿态信息A不同，因此可以确定姿态信息B与姿态信息A之间的姿态变化信息，该姿态变化信息与参数a和参数b相对应。
在云台进行运动的过程中，可以通过云台控制器获得经通信链路(由图像采集器、图像处理器和云台控制器所构成)传输的目标对象在采集画面中的位置变化信息，为了方便对目标对象在采集画面中的位置变化信息进行统计，上述的目标对象相对于云台的基座处于静止状态，即在云台的基座处于静止状态时，目标对象可以为静止对象；在云台的基座处于移动状态时，目标对象可以为移动对象，只是上述移动对象的移动速度与云台的移动速度相同。
具体的，控制参数可以包括多个不同的参数值，例如，控制参数包括参数a和参数b，在利用参数a对云台进行控制时，云台上图像采集装置对应一姿 态信息A，并可以通过图像采集装置确定目标对象的位置信息1；在利用参数b对云台进行控制时，云台上图像采集装置对应一姿态信息B，姿态信息B与姿态信息A不同，而后可以通过所显示的画面确定目标对象的位置信息2，该位置信息2与位置信息1不同，因此，可以确定位置信息1与位置信息2之间的位置变化信息。
由上述内容可知，在云台上图像采集装置的姿态信息发生变化时，则会使得云台控制器上所获得的目标对象的位置发生变化，一般情况下，一个姿态变化信息可以对应一个位置变化信息；在某些情况下，某几个姿态变化信息可以对应一个位置变化信息，即姿态变化信息与位置变化信息之间存在一对一的对应关系或者多对一的对应关系，该对应关系可以根据应用需求或者应用场景的不同而发生变化，例如：预先设置有用于对姿态变化信息进行采集的采集频率，基于所配置的采集频率可以采集姿态变化信息，而后对所采集的姿态变化信息进行分析处理，确定与所采集的姿态变化信息相对应的位置变化信息。
步骤S303：根据姿态变化信息和位置变化信息，确定与通信链路相对应的延时时间，延时时间用于指示经由通信链路确定所述目标对象在采集画面中的位置信息所需要的时长。
其中，由于位置变化信息与姿态变化信息之间存在对应关系，且位置变化信息是在姿态变化信息之后所生成的，姿态变化信息与位置变化信息之间存在延时对应关系。因此，在获取到姿态变化信息和位置变化信息之后，可以对姿态变化信息和位置变化信息进行分析处理，以确定与通信链路相对应的延时时间，有效地实现了对由图像采集装置、图像处理装置和云台控制器所构成的整个通信链路的通信延时时间(也即，经由通信链路确定目标对象在采集画面中的位置信息所需要的时长)进行了准确估计，从而便于基于上述的延时时间来对云台进行准确有效地控制。
本实施例提供的延时检测方法，通过获取用于控制云台进行运动的控制参数，基于控制参数控制云台进行运动获得图像采集装置的姿态变化信息，并通过云台控制器获取目标对象在采集画面中的位置变化信息，而后根据姿态变化信息和位置变化信息，确定与通信链路相对应的延时时间，有效地实现了对整个通信链路所对应的延时时间进行准确的估计操作，另外，上述整个通信链路所对应的延时时间可以包括：第一传输延时和第二传输延时，其 中，第一传输延时可以为在相机将所采集的图像传输至ISP模块的过程中所存在的传输延时，第二传输延时可以为在ISP模块将进行分析处理后的图像通过缓存器的缓存操作、格式转换操作之后的图像发送至机器学习模型中进行机器学习的过程中所存在的传输延时；从而便于基于延时时间对云台在不同应用场景中的智能跟随操作进行不同的补偿控制操作，进而有利于保证智能跟随的质量和效果，有效地提高了该方法使用的稳定可靠性。
图4为本发明实施例提供的另一种延时检测方法的流程示意图；在上述实施例的基础上，继续参考附图4所示，本实施例中的方法还可以包括：
步骤S401：获取通信链路的响应带宽。
步骤S402：根据响应带宽确定与通信链路相对应的频率阈值。
其中，响应带宽是通信链路所对应的信号频谱的宽度，也就是信号的最高频率分量与最低频率分量之差，该响应带宽用于标识通信链路的响应速度，在响应带宽越大时，则表示该通信链路的响应速度较快；在响应带宽较小时，则表示该通信链路的响应速度较慢。另外，响应带宽与通信链路的硬件设备资源和软件数据处理能力相关，在通信链路的硬件结构确定之后，即可确定该通信链路的响应带宽。
在获取到响应带宽之后，则可以对响应带宽进行分析处理，以根据响应带宽确定与通信链路相对应的频率阈值，具体的，可以基于响应带宽与频率阈值之间的对应关系来确定与通信链路相对应的频率阈值。在一些实例中，响应带宽与频率阈值之间可以呈正相关关系；即在响应带宽增大时，频率阈值则相应增加；在响应带宽减小时，频率阈值则相应减小。可以理解的是，与不同的通信链路相对应的频率阈值相同或者不同，其中，不同的通信链路对应有不同的通信链路部件。
举例来说，通信链路1包括：图像采集装置a、图像处理装置a和云台控制器a，通信链路2包括：图像采集装置b、图像处理装置a和云台控制器a，其中，由于图像采集装置b与图像采集装置a不同，因此通信链路1与通信链路2是不同的通信链路，而上述不同的通信链路可以对应有不同的频率阈值。
本实施例中，通过获取通信链路的响应带宽，而后根据响应带宽确定与通信链路相对应的频率阈值，这样有效地实现了在针对不同的通信链路进行延时时间检测时，可以利用不同的频率阈值进行分析处理，这样不仅满足了对不同应用场景中不同通信链路进行延时时间的估计操作，并且还保证了对 延时时间进行估计的准确可靠性。
图5为本发明实施例提供的又一种延时检测方法的流程示意图；在上述实施例的基础上，继续参考附图5所示，在基于控制参数控制云台进行运动之前，本实施例中的方法还可以包括：
步骤S501：获取图像采集装置中所采集的当前画面。
步骤S502：在当前画面中，确定相对云台的基座处于静止状态的至少一个显示对象。
步骤S503：基于至少一个显示对象，确定在采集画面中的目标对象。
在基于控制参数控制云台进行运动之前，为了能够实现对整个通信链路的延时时间进行准确估计，可以先确定位于采集画面中的目标对象，以便对目标对象在采集画面中的位置变化信息进行确定。具体的，可以获取图像采集装置中所采集的当前画面，可以理解的是，在获取图像采集装置中所采集的当前画面时，云台可以处于静止状态，以便于对目标对象进行选择和确定。
在通过图像采集装置获得当前画面时，则可以在当前画面中确定相对云台的基座处于静止状态的至少一个显示对象，之后则可以基于至少一个显示对象确定在采集画面中的目标对象。在一些实例中，基于至少一个显示对象，确定在采集画面中的目标对象可以包括：获取用户针对至少一个显示对象所输入的执行操作；将执行操作所对应的显示对象，确定为目标对象。
具体的，在获取到采集画面中的至少一个显示对象之后，用户可以针对上述的至少一个显示对象输入执行操作，在检测到用户针对某一个显示对象所输入的执行操作之后，则可以将执行操作所对应的显示对象确定为目标对象。在检测到用户针对多个显示对象所输入的执行操作之后，则可以将最后一次执行操作所对应的显示对象确定为目标对象，从而有效地保证了对目标对象进行确定的准确可靠性。当然的，本领域技术人员也可以采用其他的方式来确定目标对象，只要能够保证对目标对象进行确定的准确可靠性。
图6为本发明实施例提供的通过云台控制器获取目标对象在采集画面中的位置变化信息的流程示意图；在上述实施例的基础上，参考附图6所示，本实施例提供另一种获取目标对象在采集画面中的位置变化信息的实现方式，具体的，本实施例中的通过云台控制器获取目标对象在采集画面中的位置变化信息可以包括：
步骤S601：在基于控制参数控制云台进行运动的过程中，通过云台控制 器获取与控制参数相对应的多个采集画面，每个采集画面中均包括目标对象。
步骤S602：对多个采集画面进行分析处理，获得目标对象在采集画面中的位置变化信息。
由于在基于控制参数控制云台进行运动的过程中，图像采集装置的采集画面中始终包括目标对象，并且，在利用不同的控制参数对云台进行控制时，目标对象在采集画面中的位置不同，此时则可以统计目标对象在采集画面中的位置变化信息。
具体的，在基于控制参数控制云台进行运动的过程中，通过云台控制器可以获取与控制参数相对应的多个采集画面，可以理解的是，上述的多个采集画面可以是通过图像采集装置所在的通信链路传输至云台控制器的，其中，所获得的每个采集画面中均可以包括目标对象。对于目标对象而言，目标对象在多个采集画面中的不同位置，因此，在获取到多个采集画面之后，则可以对多个采集画面进行分析处理，以获得目标对象在采集画面中的位置变化信息。具体实现时，可以利用预先训练好的机器学习模型或者图像识别算法对采集画面进行分析处理，从而获得目标对象在采集画面中的位置变化信息。
本实施例中，在基于控制参数控制云台进行运动的过程中，通过云台控制器获取与控制参数相对应的多个采集画面，而后对多个采集画面进行分析处理，从而可以准确地获得目标对象在采集画面中的位置变化信息，进而便于基于位置变化信息对整个通信链路的延时时间进行估计，提高了对延时时间进行估计的准确可靠性。
图7为本发明实施例提供的根据姿态变化信息和位置变化信息，确定与通信链路相对应的延时时间的流程示意图；在上述实施例的基础上，继续参考附图7所示，本实施例提供了一种确定与通信链路相对应的延时时间的实现方式，具体的，本实施例中的根据姿态变化信息和位置变化信息，确定与通信链路相对应的延时时间可以包括：
步骤S701：获取姿态变化信息与位置变化信息之间的多个相位差。
步骤S702：根据多个相位差确定与通信链路相对应的延时时间。
其中，由于姿态变化信息和位置变化信息之间存在一定的延时，因此，在获取到姿态变化信息和位置变化信息之后，可以获取姿态变化信息与位置变化信息之间的多个相位差，该相位差的数量可以为至少两个。举例来说，如图8所示，在姿态变化信息呈规则的正弦曲线时，位置变化信息可以呈规则 的正弦曲线，此时，姿态变化信息与位置变化信息之间存在延时对应关系，延时对应关系与姿态变化信息和位置变化信息之间的相位差存在关联。因此，在获取到姿态变化信息和位置变化信息之后，则可以对确定姿态变化信息与位置变化信息之间的多个相位差。
可以理解的是，在姿态变化信息呈规则的正弦关系时，位置变化信息也可以呈不规则的正弦关系，此时，姿态变化信息与位置变化信息之间也可以存在延时对应关系。
在姿态变化信息与位置变化信息均满足规则的正弦关系时，姿态变化信息与位置变化信息之间的多个相位差可以是相同的；在姿态变化信息与位置变化信息不满足规则的预设关系时，姿态变化信息与位置变化信息之间的多个相位差可以是不相同的。
在获取到多个相位差之后，可以对多个相位差进行分析处理，以确定与通信链路相对应的延时时间。在一些实例中，根据多个相位差确定与通信链路相对应的延时时间可以包括：获取与多个相位差相对应的相位差均值；确定与多个相位差相对应的变换频率；基于相位差均值与变换频率，确定与通信链路相对应的延迟时间。
举例来说，多个相位差分别为P1、P2、P3和P4之后，可以确定与多个相位差相对应的相位差均值P_＝(P1+P2+P3+P4)/4，并且可以确定与多个相位差相对应的变化频率f，而后则可以基于相位差均值和变化频率，按照以下公式来确定与通信链路相对应的延时时间：t＝(P_/360°)*(1/f),从而有效地保证了对与通信链路相对应的延时时间进行确定的准确可靠性。
在另一些实例中，在确定与通信链路相对应的延时时间之后，本实施例中的方法还可以包括：生成与延时时间相对应的第一提示信息，以降低与通信链路相对应的延时时间。
其中，在获取到与通信链路的延时时间之后，则可以生成与延时时间相对应的第一延时时间，该第一提示信息可以包括以下至少之一：提高图像采集装置的输出帧率，调整图像采集装置的输出格式。当然的，本领域技术人员也可以将第一提示信息设置为包括其他信息，只要能够降低与通信链路相对应的延时时间即可，在此不再赘述。
在又一些实例中，在所获得的延时时间较大时，所生成与延时时间相对应的第一提示信息可以为信息A；在所获得的延时时间较小时，所生成与延时 时间相对应的第一提示信息可以为信息B，信息A与信息B可以相同或者不同，在信息A与信息B不同时，信息A中可以包括与延时时间相对应的紧急程度较高的提示信息，信息B中可以包括与延时时间相对应的紧急程度较低的提示信息。
图9为本发明实施例提供的又一种延时检测方法的流程示意图；在上述实施例的基础上，继续参考附图9所示，在生成与延时时间相对应的第一提示信息之后，本实施例中的方法还可以包括：
步骤S901：获取更新后延时时间。
步骤S902：在更新后延时时间大于时间阈值时，生成与更新后延时时间相对应的第二提示信息，第二提示信息用于标识云台不满足跟随操作条件。
步骤S903：在更新后延时时间小于或等于时间阈值时，根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型，机器学习模型被训练为用于识别采集画面中所包括的目标对象。
其中，在生成与延时时间相对应的第一提示信息之后，可以基于第一提示信息执行相对应的操作，例如：用户可以通过第一提示信息对云台系统的参数进行重新配置，以降低与通信链路相对应的延时时间。在获取到与第一提示信息相对应的执行操作之后，即完成了对通信链路所对应的延时时间进行调整/更新操作。
为了能够保证云台系统工作的稳定可靠性，则可以获取更新后延时时间，具体的获取方式与上述实施例中获取延时时间的具体实现方式相类似，在此不再赘述。在获取到更新后延时时间之后，则可以将更新后延时时间与时间阈值进行分析比较，在更新后延时时间大于时间阈值时，则说明此时云台系统的延时时间较大，此时，若利用上述的云台系统进行智能跟随操作时，则无法满足智能跟随的质量和效果。因此，在更新后延时时间大于时间阈值时，则可以生成与更新后延时时间相对应的第二提示信息，第二提示信息用于标识云台不满足跟随操作条件。
在更新后延时时间小于或等于时间阈值时，则说明此时云台系统的延时时间较小，为了进一步降低云台系统的延时时间，则可以根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型，以提高对目标对象进行智能跟随操作的质量和效率。
在一些实例中，参考附图10所示，根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型可以包括：
步骤S1001：获取用于对采集画面进行分析处理的多个备选机器学习模型，不同的备选机器学习模型对应有不同的对象识别速度。
步骤S1002：在多个备选机器学习模型中，根据更新后延时时间确定一用于对采集画面进行分析处理的机器学习模型，以降低与通信链路相对应的更新后延时时间。
其中，在利用云台系统进行智能跟随操作时，预先配置有用于对采集画面进行分析处理的多个备选机器学习模型，上述的备选机器学习模型可以通过以下任意一个网络进行训练而获得：卷积神经网络CNN、循环神经网络RNN、人工神经网络ANN、深度神经网络DNN等等，而不同的备选机器学习模型可以对应有不同的对象识别速度。具体的，多个备选机器学习模型可以存储在预设区域或者其他设备中，通过访问预设区域或者其他设备可以获取用于对采集画面进行分析处理的多个备选机器学习模型，当然的，本领域技术人员也可以采用其他的方式来获取多个备选机器学习模型，只要能够保证对多个备选机器学习模型进行获取的准确可靠性即可，在此不再赘述。
在获取到多个备选机器学习模型之后，可以对多个备选机器学习模型进行分析处理，以确定一用于对采集画面进行分析处理的机器学习模型，在利用上述的机器学习模型进行图像处理时，可以降低与通信链路相对应的更新后延时时间。在一些实例中，在多个备选机器学习模型中，根据更新后延时时间确定一用于对采集画面进行分析处理的机器学习模型可以包括：确定与更新后延时时间相对应的延时均值和延时方差；根据更新后延时时间、延时均值和延时方差中的至少一个，在多个备选机器学习模型中确定一用于对采集画面进行分析处理的机器学习模型，其中，机器学习模型的对象识别速度与更新后延时时间、延时均值和延时方差中的至少一个呈负相关。
具体的，在获取到更新后延时时间之后，可以确定与更新后延时时间相对应的延时均值和延时方差，在获取到更新后延时时间、延时均值和延时方差之后，则可以根据更新后延时时间、延时均值和延时方差中的至少一个，在多个备选机器学习模型中确定一用于对采集画面进行分析处理的机器学习模型，所确定的机器学习模型的对象识别速度与更新后延时时间、延时均值和延时方差中的至少一个呈负相关。
举例1，多个备选机器学习模型包括模型A、模型B、模型C和模型D，模型A的对象识别速度为Va，模型B的对象识别速度为Vb，模型C的对象识别速度为 Vc，模型D的对象识别速度为Vd，其中，Va、Vb、Vc和Vd各不相同，例如，Vb<Vc<Vd<Va。
在获取到更新后延时时间之后，则可以根据更新后延时时间、在上述多个备选机器学习模型中确定一用于对采集画面进行分析处理的目标机器学习模型，该目标机器学习模型的对象识别速度与更新后延时时间呈负相关，即在获取到更新后延时时间较大时，可以将对象识别速度较快的模型A确定为目标机器学习模型，此时的目标机器学习模型的数据处理开销比较小，运算的精确度较低。在获取到更新后延时时间较小时，则可以将对象识别速度较慢的模型B确定为目标机器学习模型，此时的目标机器学习模型的数据处理开销比较大，运算的精确度较高。
举例2，多个备选机器学习模型包括模型A、模型B、模型C和模型D，模型A的对象识别速度为Va，模型B的对象识别速度为Vb，模型C的对象识别速度为Vc，模型D的对象识别速度为Vd，其中，Va、Vb、Vc和Vd各不相同，例如，Vb<Vc<Vd<Va。
在获取到更新后延时时间之后，则可以确定与更新后延时时间相对应的延时均值，根据更新后延时时间和延时均值、在上述多个备选机器学习模型中确定一用于对采集画面进行分析处理的目标机器学习模型，该目标机器学习模型的对象识别速度与更新后延时时间和延时均值呈负相关，即在获取到更新后延时时间较大、且延时均值较大时，可以将对象识别速度较快的模型A确定为目标机器学习模型，此时的目标机器学习模型的数据处理开销比较小，运算的精确度较低。在获取到更新后延时时间较小、且延时均值较小时，则可以将对象识别速度较慢的模型B确定为目标机器学习模型，此时的目标机器学习模型的数据处理开销比较大，运算的精确度较高。
举例3，多个备选机器学习模型包括模型A、模型B、模型C和模型D，模型A的对象识别速度为Va，模型B的对象识别速度为Vb，模型C的对象识别速度为Vc，模型D的对象识别速度为Vd，其中，Va、Vb、Vc和Vd各不相同，例如，Vb<Vc<Vd<Va。
在获取到更新后延时时间之后，则可以确定与更新后延时时间相对应的延时均值和延时方差，根据更新后延时时间、延时均值和延时方差、在上述多个备选机器学习模型中确定一用于对采集画面进行分析处理的目标机器学习模型，该目标机器学习模型的对象识别速度与更新后延时时间、延时均值 和延时方差呈负相关，即在获取到更新后延时时间较大、延时均值较大、且延时方差较大时，可以将对象识别速度较快的模型A确定为目标机器学习模型，此时的目标机器学习模型的数据处理开销比较小，运算的精确度较低。在获取到更新后延时时间较小、延时均值较小、且延时方差较小时，则可以将对象识别速度较慢的模型B确定为目标机器学习模型，此时的目标机器学习模型的数据处理开销比较大，运算的精确度较高。
本实施例中，通过获取用于对采集画面进行分析处理的多个备选机器学习模型，而后在多个备选机器学习模型中，根据更新后延时时间确定一用于对采集画面进行分析处理的机器学习模型，有效地实现了可以降低与通信链路相对应的更新后延时时间，这样在基于更新后延时时间对云台进行控制时，有效地提高了对云台进行控制的准确可靠性。
图11为本发明实施例提供的另一种延时检测方法的流程示意图；在上述实施例的基础上，继续参考附图11所示，在根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型之后，本实施例中的方法还可以包括：
步骤S1101：获取由机器学习模型所对应的通信链路的实际延时时间。
步骤S1102：通过显示界面显示实际延时时间。
其中，在确定机器学习模型之后，则可以基于所确定的机器学习模型、云台控制器、图像采集装置形成一通信链路，而该通信链路所对应的实际延时时间与之前所确定的更新后延时时间不同。因此，为了能够使得用户可以及时得获取到实际延时时间，则可以通过显示界面显示上述的实际延时时间，可以理解的是，显示界面可以设置于云台上，或者，显示界面也可以不设置于云台上。在获取到实际延时时间之后，可以基于实际延时时间对云台进行控制，例如：可以对云台的智能跟随操作进行控制，这样能够有效地保证智能跟随操作的质量和效率，进一步提高了该方法的实用性。
图12为本发明实施例提供的又一种延时检测方法的流程示意图；在上述实施例的基础上，继续参考附图12所示，在确定与通信链路相对应的延时时间之后，本实施例中的方法还可以包括：
步骤S1201：获取用于对延时时间进行分析处理的时间阈值。
步骤S1202：在延时时间大于时间阈值时，则生成与延时时间相对应的第三提示信息，以降低与通信链路相对应的延时时间。
步骤S1203：在延时时间小于或等于时间阈值时，则根据延时时间确定用 于对采集画面进行分析处理的机器学习模型，机器学习模型被训练为用于识别采集画面中所包括的目标对象。
其中，在确定与通信链路相对应的延时时间之后，则可以获取用于对延时时间进行分析处理的时间阈值，而后将时间阈值与延时时间进行分析比较，在延时时间大于时间阈值时，则说明此时云台系统的延时时间较大，此时，若利用上述的云台系统进行智能跟随操作时，则无法满足智能跟随的质量和效果。因此，在延时时间大于时间阈值时，则可以生成与延时时间相对应的第三提示信息，该第三提示信息可以用于提示用户进行相关的配置或者调整操作，以降低与通信链路相对应的延时时间。
在延时时间小于或等于时间阈值时，则说明此时云台系统的延时时间较小，为了进一步降低云台系统的延时时间，则根据延时时间确定用于对采集画面进行分析处理的机器学习模型，机器学习模型被训练为用于识别采集画面中所包括的目标对象，这样可以提高对目标对象进行智能跟随操作的质量和效率。
本实施例中，通过获取用于对延时时间进行分析处理的时间阈值，在延时时间大于时间阈值时，则生成与延时时间相对应的第三提示信息，以降低与通信链路相对应的延时时间；在延时时间小于或等于时间阈值时，则根据延时时间确定用于对采集画面进行分析处理的机器学习模型，机器学习模型被训练为用于识别采集画面中所包括的目标对象，从而有效地实现了可以基于不同的延时时间进行不同的处理操作，进一步提高了该方法使用的灵活可靠性。
图13为本发明实施例提供的另一种延时检测方法的流程示意图；在上述任意一个实施例的基础上，继续参考附图13所示，在确定与通信链路相对应的延时时间之后，本实施例中的方法还可以包括：
步骤S1301：根据延时时间，生成与通信链路相对应的补偿参数。
步骤S1302：根据补偿参数控制云台进行跟随操作。
具体的，在获取到与通信链路相对应的延时时间之后，为了能够提高云台工作的质量和效率，则可以根据延时时间生成与通信链路相对应的补偿参数，补偿参数可以为时间参数，该参数可以降低通信链路的延时时间对云台进行跟随操作的影响程度，在获取到补偿参数之后，则可以根据补偿参数控制云台进行智能跟随操作。
举例来说，在确定与通信链路相对应的延时时间T为5s时，则可以按照预设算法对上述的延时时间T进行分析处理，以生成与通信链路相对应的补偿参数，该补偿参数可以为与延时时间相对应的补偿时间，例如，补偿时间可以为5s、4s或者3s等等。在获取到补偿参数之后，则可以根据补偿参数控制云台进行跟随操作，这样可以有效地降低延时时间对通信链路的通信能力所产生的影响，进一步保证了控制云台进行跟随操作的质量和效果。
再或者，可以基于目标对象的历史运动数据确定目标对象的历史运动曲线(该历史运动曲线用于标识在预设时间段内目标对象所经过的位置信息)，基于目标对象的历史运动曲线可以确定目标对象的运动速度。在确定与通信链路相对应的延时时间T之后，可以基于目标对象的运动速度和延时时间T对目标对象经过延时时间T之后的运动位置进行预估，获得预估运动位置，而后使得云台可以基于预估运动位置对目标对象进行跟随操作，这样可以有效地降低延时时间对通信链路的通信能力所产生的影响，进一步保证了控制云台进行跟随操作的质量和效果。
具体应用时，本应用实施例提供了一种云台控制方法，该控制方法可以准确估计智能跟随链路的延时时间，在确定延时时间之后，不仅可以根据延时时间选择不同的机器学习模型进行不同的数据处理操作，而且还可以根据不同的延时时间进行控制补偿操作，这样有利于提升不同延时时间进行智能跟随操作的准确可靠性。此外，为了使得用户可以及时获知到云台的工作状态以及与用户进行交互操作，则可以通过UI界面提示用户设置。具体的，参考附图14所示，本实施例中的方法包括：
步骤1：利用延时估计算法确定通信链路的延时时间T。
其中，通信链路可以包括：相机、与相机通信连接的图像处理器和与图像处理器通信连接的云台控制器，为了能够确定通信链路的延时时间T，参考附图15所示，可以按照以下步骤进行操作：
步骤1.1：设置云台与相机之间刚性连接。
步骤1.2：设置一个静止物体作为云台的跟随主体。
获取相机的采集画面，在采集画面中所显示的多个物体中，确定一静止物体作为云台的跟随主体，静止物体是指相对于云台的基座处于静止状态的物体。
步骤1.3：设置用于控制云台的目标姿态集合，目标姿态集合中所包括的 多个目标姿态满足一低频曲线(例如：0.1Hz-2Hz等等)。
可以理解的是，不同的云台系统可以对应有不同的低频曲线，该低频曲线用于限定控制云台的多个目标姿态之间的变化比较缓慢。
步骤1.4：利用目标姿态集合中所包括的多个目标姿态控制云台进行运动，云台自身的运动带动位于云台上的相机进行运动，从而使得跟随主体在相机画面中进行移动。
步骤1.5：记录云台实际运动的实际姿态曲线，并确定跟随主体基于实际姿态曲线在相机画面中的位置变化曲线。
步骤1.6：对实际姿态曲线和位置变化曲线进行分析处理，计算出两条曲线的相位差，基于相位差确定通信链路的延时时间T。
具体的，可以获取两条曲线所对应的多个相位差，而后确定多个相位差所对应的相位差均值，基于相位差均值确定通信链路的延时时间T。
步骤2：将延时时间T与阈值进行分析比较，在延时时间T大于阈值时，则通过UI界面提示用户进行相关参数设置。
具体的，通过UI界面提示用户进行相关参数设置可以包括：通过UI界面提示用户提高图像采集装置的输出帧率，或者，调整图像采集装置的输出格式。在用户进行相关参数进行设置之后，云台系统的延时时间T会发生变化，因此，可以再次利用延时估计算法来确定通信链路的延时时间T`。
在另一些实例中，在用户对相关参数进行一次或者多次配置(例如：3次、4次等等)之后，可以获取到与通信链路相对应的一个或多个新的延时时间T``，当获取到新的延时时间T``之后，则可以将新的延时时间T``与阈值进行比较，在新的延时时间T``仍大于阈值时，则可以通过UI界面显示提示信息，以提示用户此时的云台无法较好地实现智能跟随操作。
步骤3：在延时时间T(或者T`、或者T``)小于或者等于阈值时，则根据延时时间确定用于对采集画面进行分析处理的机器学习模型，以降低与通信链路相对应的延时时间。
步骤4：在确定机器学习模型之后，可以确定由上述所确定的机器学习模型所对应的通信链路的实际延时时间，而后通过UI界面将实际延时时间提示给用户。
步骤5：针对实际延时时间，控制补偿算法进行参数设置，以降低实际延时时间。
具体的，参考附图16所示，本应用实施例提供了一种待补偿器的原理框图，图像采集装置可以获得针对构图目标的图像，将图像传输至图像处理模块，可以确定图像中所包括的构图目标，在确定构图目标之后，则可以将构图目标发送至云台控制器，以使得云台控制器可以基于构图目标的位置信息来控制云台进行运动，具体的，可以基于构图目标的位置信息生成与三轴云台所对应的控制参数，基于控制参数来控制云台进行运动，以实现云台可以对构图目标进行智能跟随操作。
在云台进行运动之后，可以通过惯性测量单元获取到图像采集装置(或者云台)的测量姿态，同时确定上述通信链路所对应的延时时间T，则可以通过滤波器和延时时间T确定一延时估计误差，这样在获取到测量图像位置偏差之后，则可以结合延时估计误差和图像位置偏差预估构图目标所对应的新的运动位置，而后可以将所预估的新的运动位置发送至云台控制器，以实现云台可以基于新的运动位置进行智能跟随操作，这样可以有效地降低延时时间对构图目标进行智能跟随操作的影响程度。
举例来说，通信链路所对应的延时时间为1s，在获取到云台或者图像采集装置的实际测量姿态时，则可以通过滤波器和延时时间确定纯延时估计误差为1s，进而，在获取到测量图像位置偏差之后，则可以基于上述的纯延时估计误差1s，对构图目标在1s之后位于显示画面的位置进行估计，并输出构图目标在显示画面中的估计位置，这样可以有效地降低延时时间对构图目标进行智能跟随操作的影响程度。
步骤6：控制云台进行智能跟随操作。
本应用实施例提供的云台控制方法，有效地实现了对整个通信链路所对应的延时时间进行准确的估计操作，可以理解的是，上述整个通信链路所对应的延时时间可以包括：第一传输延时t1和第二传输延时t2，其中，第一传输延时可以为在相机将所采集的图像传输至ISP模块的过程中所存在的传输延时，第二传输延时可以为在ISP模块将进行分析处理后的图像通过缓存器的缓存操作、格式转换操作之后的图像发送至机器学习模型中进行机器学习的过程中所存在的传输延时，从而便于基于延时时间对云台在不同应用场景中的智能跟随操作进行不同的补偿控制操作，进而有利于保证智能跟随的质量和效果。此外，本实施例中的云台控制方法还可以基于不同的延时时间来确定进行数据处理操作的不同的机器学习模型，进而有利于降低延时时间对通 信链路的影响程度；另外，还可以通过UI界面与用户进行交互，提示用户进行相关参数的设置，可以有效地降低延时时间，有利于提升基于不同延时时间所进行的智能跟随操作的稳定可靠性，进一步提高了该方法使用的稳定可靠性。
图17为本发明实施例提供的一种延时检测装置的结构示意图；参考附图17所示，本实施例提供了一种延时检测装置，该延时检测装置可以应用于云台系统，如图1所示，上述的云台系统可以包括：图像采集装置100、与图像采集装置100通信连接的图像处理装置101以及与图像处理装置101通信连接的云台控制器102，图像采集装置100、图像处理装置101与云台控制器102形成一通信链路，其中，图像采集装置100设置于云台上；延时检测装置可以包括：
第一存储器1702，用于存储计算机程序；
第一处理器1701，用于运行第一存储器1702中存储的计算机程序以实现：
获取用于控制云台进行运动的控制参数；
基于控制参数控制云台进行运动，获得图像采集装置的姿态变化信息，并通过云台控制器获取目标对象在采集画面中的位置变化信息，目标对象相对于云台的基座处于静止状态；
根据姿态变化信息和位置变化信息，确定与通信链路相对应的延时时间，所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
其中，延时检测装置的结构中还可以包括第一通信接口1703，用于电子设备与其他设备或通信网络通信。
在一些实例中，控制参数包括以下至少之一：目标姿态集合，目标姿态集合中包括多个目标姿态，并且，多个目标姿态之间的变换频率小于或等于频率阈值；角速度集合，角速度集合中包括多个角速度，并且，多个角速度之间的变化频率小于或等于频率阈值；位置集合，位置集合中包括多个位置，多个位置之间的位置变化量小于或等于变化量阈值，多个位置之间的变化频率小于或等于频率阈值。
在一些实例中，在控制参数包括位置集合时，目标对象在采集画面中的位置与画面中心位置之间的距离小于或等于距离阈值。
在一些实例中，第一处理器1701还用于：获取通信链路的响应带宽；根 据响应带宽确定与通信链路相对应的频率阈值。
在一些实例中，与不同的通信链路相对应的频率阈值相同或者不同。
在一些实例中，在基于控制参数控制云台进行运动之前，第一处理器1701还用于：获取图像采集装置中所采集的当前画面；在当前画面中，确定相对云台的基座处于静止状态的至少一个显示对象；基于至少一个显示对象，确定在采集画面中的目标对象。
在一些实例中，在第一处理器1701基于至少一个显示对象，确定在采集画面中的目标对象时，第一处理器1701用于：获取用户针对至少一个显示对象所输入的执行操作；将执行操作所对应的显示对象，确定为目标对象。
在一些实例中，在第一处理器1701通过云台控制器获取目标对象在采集画面中的位置变化信息时，第一处理器1701用于：在基于控制参数控制云台进行运动的过程中，通过云台控制器获取与控制参数相对应的多个采集画面，每个采集画面中均包括目标对象；对多个采集画面进行分析处理，获得目标对象在采集画面中的位置变化信息。
在一些实例中，在第一处理器1701根据姿态变化信息和位置变化信息，确定与通信链路相对应的延时时间时，第一处理器1701用于：获取姿态变化信息与位置变化信息之间的多个相位差；根据多个相位差确定与通信链路相对应的延时时间。
在一些实例中，在第一处理器1701根据多个相位差确定与通信链路相对应的延时时间时，第一处理器1701用于：获取与多个相位差相对应的相位差均值；确定与多个相位差相对应的变换频率；基于相位差均值与变换频率，确定与通信链路相对应的延迟时间。
在一些实例中，在确定与通信链路相对应的延时时间之后，第一处理器1701用于：生成与延时时间相对应的第一提示信息，以降低与通信链路相对应的延时时间。
在一些实例中，第一提示信息包括以下至少之一：提高图像采集装置的输出帧率；调整图像采集装置的输出格式。
在一些实例中，在生成与延时时间相对应的第一提示信息之后，第一处理器1701用于：获取更新后延时时间；在更新后延时时间大于时间阈值时，生成与更新后延时时间相对应的第二提示信息，第二提示信息用于标识云台不满足跟随操作条件；在更新后延时时间小于或等于时间阈值时，根据更新 后延时时间确定用于对采集画面进行分析处理的机器学习模型，机器学习模型被训练为用于识别采集画面中所包括的目标对象。
在一些实例中，在第一处理器1701根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型时，第一处理器1701用于：获取用于对采集画面进行分析处理的多个备选机器学习模型，不同的备选机器学习模型对应有不同的对象识别速度；在多个备选机器学习模型中，根据更新后延时时间确定一用于对采集画面进行分析处理的机器学习模型，以降低与通信链路相对应的更新后延时时间。
在一些实例中，在第一处理器1701在多个备选机器学习模型中，根据更新后延时时间确定一用于对采集画面进行分析处理的机器学习模型时，第一处理器1701用于：确定与更新后延时时间相对应的延时均值和延时方差；根据更新后延时时间、延时均值和延时方差中的至少一个，在多个备选机器学习模型中确定一用于对采集画面进行分析处理的机器学习模型，其中，机器学习模型的对象识别速度与更新后延时时间、延时均值和延时方差中的至少一个呈负相关。
在一些实例中，在根据更新后延时时间确定用于对采集画面进行分析处理的机器学习模型之后，第一处理器1701用于：获取由机器学习模型所对应的通信链路的实际延时时间；通过显示界面显示实际延时时间。
在一些实例中，在确定与通信链路相对应的延时时间之后，第一处理器1701用于：获取用于对延时时间进行分析处理的时间阈值；在延时时间大于时间阈值时，生成与延时时间相对应的第三提示信息，以降低与通信链路相对应的延时时间；在延时时间小于或等于时间阈值时，根据延时时间确定用于对采集画面进行分析处理的机器学习模型，机器学习模型被训练为用于识别采集画面中所包括的目标对象。
在一些实例中，在确定与通信链路相对应的延时时间之后，第一处理器1701用于：根据延时时间，生成与通信链路相对应的补偿参数；根据补偿参数控制云台进行跟随操作。
图17所示装置可以执行图1至图16所示中的实施例的方法，本实施例未详细描述的部分，可参考对图1至图16所示中的实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图16所示实施例中的描述，在此不再赘述。
图18为本发明实施例提供的一种延时检测系统的结构示意图，参考附图 18所示，本实施例提供了一种延时检测系统，该延时检测系统可以包括：
图像处理装置1801，与用于采集并生成图像的图像采集装置通信连接，用于对所生成的图像进行处理；
云台1802，图像采集装置和图像处理装置1801设置于云台1802上，且图像采集装置、图像处理装置1801与云台1802构成一通信链路；
上述图17实施例中的延时检测装置1803，与通信链路通信连接，用于确定与通信链路相对应的延时时间。
图18所示延时检测系统的具体实现过程、实现原理和实现效果与上述图17实施例中延时检测装置的具体实现过程、实现原理和实现效果相类似，本实施例未详细描述的部分，可参考对图17所示中的实施例的相关说明，在此不再赘述。
图19为本发明实施例提供的一种可移动平台的结构示意图，参考附图19所示，本实施例提供了一种可移动平台，该可移动平台可以包括：
云台控制器1901，通信连接有图像处理装置，图像处理装置与图像采集装置通信连接，以生成一通信链路，其中，图像采集装置固定连接在云台上；
支撑机构1902，用于连接云台；
上述图17实施例中的延时检测装置1903，与通信链路通信连接，用于确定与通信链路相对应的延时时间。
其中，支撑机构1902随可移动平台的类型而不同，例如，当可移动平台为手持云台时，支撑机构1902可以为手柄，当可移动平台为无人机时，支撑机构1902可以为无人机的机身。可以理解，可移动平台包括但不限于上述说明的类型。
图19所示实施例提供的可移动平台的具体实现原理和实现效果与图17所对应的延时检测装置的具体实现原理和实现效果相一致，具体可参考上述陈述内容，在这里不再赘述。
另外，本发明实施例提供了一种计算机可读存储介质，存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，程序指令用于实现上述图1-图16的延时检测方法。
图20为本发明实施例提供的一种延时检测方法的流程示意图，参考附图20所示，本实施例提供了另一种延时检测方法，该延时检测方法可以应用于云台系统，云台系统包括：图像采集装置100、与图像采集装置100通信连接 的图像处理装置101以及与图像处理装置101通信连接的云台控制器102，图像采集装置100、图像处理装置101与云台控制器102形成一通信链路，如图2所示。其中，图像采集装置100、图像处理装置101和云台控制器102可以设置于云台上。具体的，该延时检测方法可以包括：
步骤S2001：控制云台按照控制参数运动，其中，在云台的运动过程中，相对于云台的基座处于静止状态的目标对象保持在图像采集装置的采集画面中。
步骤S2002：在云台运动预设时长后，提示与通信链路相对应的延时时间相关的信息，延时时间用于指示经由通信链路确定目标对象在采集画面中的位置信息所需要的时长。
其中，在用户需要操作云台时，则可以按照控制参数控制云台进行运动，具体的，用于控制云台进行运动的控制参数具有多种不同类型的参数，在一些实例中，控制参数包括以下至少之一：目标姿态集合，目标姿态集合中包括多个目标姿态，并且，多个目标姿态之间的变换频率小于或等于频率阈值；角速度集合，角速度集合中包括多个角速度，并且，多个角速度之间的变化频率小于或等于频率阈值；位置集合，位置集合中包括多个位置，多个位置之间的位置变化量小于或等于变化量阈值，多个位置之间的变化频率小于或等于频率阈值。在控制云台进行运动的过程中，相对于云台的基座处于静止状态的目标对象可以保持在图像采集装置的采集画面中。
在控制云台运动经过预设时长之后，则可以提示与通信链路相对应的延时时间相关的信息，延时时间用于指示经由通信链路确定目标对象在采集画面中的位置信息所需要的时长。可以理解的是，上述的预设时长可以是用户基于应用需求和设计需求预先进行配置的，例如：预设时长可以为1min、5min、10min等等。在云台运动经过预设时长之后，则可以通过显示装置或者其他装置提示与通信链路相对应的延时时间相关的信息。
在一些实例中，所提示的信息可以包括用于降低与通信链路相对应的延时时间的第一提示信息，例如：第一提示信息可以包括以下至少之一：提高图像采集装置的输出帧率、调整图像采集装置的输出格式等等。或者，所提示的信息可以包括用于标识云台不满足跟随操作条件的第二提示信息。
具体的，本实施例中的延时检测方法的具体实现过程、实现原理、实现效果可以与上述图1-图16所示中的实施例的方法的具体实现过程、实现原理、 实现效果相类似，本实施例未详细描述的部分，可参考对图1至图16所示中的实施例的相关说明。
图21为本发明实施例提供的另一种延时检测装置的结构示意图；参考附图21所示，本实施例提供了另一种延时检测装置，该延时检测装置可以应用于云台系统，如图1所示，上述的云台系统可以包括：图像采集装置100、与图像采集装置100通信连接的图像处理装置101以及与图像处理装置101通信连接的云台控制器102，图像采集装置100、图像处理装置101与云台控制器102形成一通信链路，其中，图像采集装置100设置于云台上；延时检测装置可以包括：
第二存储器2102，用于存储计算机程序；
第二处理器2101，用于运行第二存储器2102中存储的计算机程序以实现：
控制云台按照控制参数运动，其中，在云台的运动过程中，相对于云台的基座处于静止状态的目标对象保持在图像采集装置的采集画面中；
在云台运动预设时长后，提示与通信链路相对应的延时时间相关的信息，延时时间用于指示经由通信链路确定目标对象在采集画面中的位置信息所需要的时长。
其中，延时检测装置的结构中还可以包括第二通信接口2103，用于电子设备与其他设备或通信网络通信。
图21所示装置可以执行图20所示中的实施例的方法，本实施例未详细描述的部分，可参考对图20所示中的实施例的相关说明。该技术方案的执行过程和技术效果参见图20所示实施例中的描述，在此不再赘述。
图22为本发明实施例提供的另一种延时检测系统的结构示意图；参考附图22所示，本实施例提供了另一种延时检测系统，该延时检测系统可以包括：
图像处理装置2201，与用于采集并生成图像的图像采集装置通信连接，用于对所生成的图像进行处理；
云台2202，图像采集装置和图像处理装置2201设置于云台2202上，且图像采集装置、图像处理装置2201与云台2202构成一通信链路；
上述图21实施例中的延时检测装置2203，与通信链路通信连接，用于确定与通信链路相对应的延时时间。
图22所示延时检测系统的具体实现过程、实现原理和实现效果与上述图21实施例中延时检测装置的具体实现过程、实现原理和实现效果相类似，本 实施例未详细描述的部分，可参考对图21所示中的实施例的相关说明，在此不再赘述。
图23为本发明实施例提供的另一种可移动平台的结构示意图，参考附图23所示，本实施例提供了另一种可移动平台，该可移动平台可以包括：
云台控制器2301，通信连接有图像处理装置，图像处理装置与图像采集装置通信连接，以生成一通信链路，其中，图像采集装置固定连接在云台上；
支撑机构2302，用于连接云台；
上述图21实施例中的延时检测装置2303，与通信链路通信连接，用于确定与通信链路相对应的延时时间。
其中，支撑机构2302随可移动平台的类型而不同，例如，当可移动平台为手持云台时，支撑机构2302可以为手柄，当可移动平台为无人机时，支撑机构2302可以为无人机的机身。可以理解，可移动平台包括但不限于上述说明的类型。
图23所示实施例提供的可移动平台的具体实现原理和实现效果与图21所对应的延时检测装置的具体实现原理和实现效果相一致，具体可参考上述陈述内容，在这里不再赘述。
另外，本发明实施例提供了一种计算机可读存储介质，存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，程序指令用于实现上述图20的延时检测方法。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独，或者进行组合，只要未超出本领域技术人员的认知范围，均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的相关检测装置和方法，可以通过其它的方式实现。例如，以上所描述的检测装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，检测装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (44)

  1. 一种延时检测方法，其特征在于，应用于云台系统，所述云台系统包括：图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器，所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路，其中，所述图像采集装置设置于云台上；所述方法包括：
    获取用于控制所述云台进行运动的控制参数；
    基于所述控制参数控制所述云台进行运动，获得所述图像采集装置的姿态变化信息，并通过所述云台控制器获取目标对象在采集画面中的位置变化信息，所述目标对象相对于所述云台的基座处于静止状态；
    根据所述姿态变化信息和所述位置变化信息，确定与所述通信链路相对应的延时时间，所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
  2. 根据权利要求1所述的方法，其特征在于，所述控制参数包括以下至少之一：
    目标姿态集合，所述目标姿态集合中包括多个目标姿态，并且，所述多个目标姿态之间的变换频率小于或等于频率阈值；
    角速度集合，所述角速度集合中包括多个角速度，并且，所述多个角速度之间的变化频率小于或等于频率阈值；
    位置集合，所述位置集合中包括多个位置，所述多个位置之间的位置变化量小于或等于变化量阈值，所述多个位置之间的变化频率小于或等于频率阈值。
  3. 根据权利要求2所述的方法，其特征在于，在所述控制参数包括位置集合时，所述目标对象在采集画面中的位置与画面中心位置之间的距离小于或等于距离阈值。
  4. 根据权利要求2所述的方法，其特征在于，所述方法还包括：
    获取所述通信链路的响应带宽；
    根据所述响应带宽确定与所述通信链路相对应的频率阈值。
  5. 根据权利要求4所述的方法，其特征在于，与不同的通信链路相对应的频率阈值相同或者不同。
  6. 根据权利要求1所述的方法，其特征在于，在基于所述控制参数控制 所述云台进行运动之前，所述方法还包括：
    获取所述图像采集装置中所采集的当前画面；
    在所述当前画面中，确定相对所述云台的基座处于静止状态的至少一个显示对象；
    基于所述至少一个显示对象，确定在采集画面中的所述目标对象。
  7. 根据权利要求6所述的方法，其特征在于，基于所述至少一个显示对象，确定在采集画面中的所述目标对象，包括：
    获取用户针对所述至少一个显示对象所输入的执行操作；
    将所述执行操作所对应的显示对象，确定为所述目标对象。
  8. 根据权利要求1所述的方法，其特征在于，通过所述云台控制器获取目标对象在采集画面中的位置变化信息，包括：
    在基于所述控制参数控制所述云台进行运动的过程中，通过所述云台控制器获取与所述控制参数相对应的多个采集画面，每个采集画面中均包括目标对象；
    对所述多个采集画面进行分析处理，获得所述目标对象在采集画面中的位置变化信息。
  9. 根据权利要求1所述的方法，其特征在于，根据所述姿态变化信息和所述位置变化信息，确定与所述通信链路相对应的延时时间，包括：
    获取所述姿态变化信息与所述位置变化信息之间的多个相位差；
    根据所述多个相位差确定与所述通信链路相对应的延时时间。
  10. 根据权利要求9所述的方法，其特征在于，根据所述多个相位差确定与所述通信链路相对应的延时时间，包括：
    获取与所述多个相位差相对应的相位差均值；
    确定与所述多个相位差相对应的变换频率；
    基于所述相位差均值与所述变换频率，确定与所述通信链路相对应的延迟时间。
  11. 根据权利要求1所述的方法，其特征在于，在确定与所述通信链路相对应的延时时间之后，所述方法还包括：
    生成与所述延时时间相对应的第一提示信息，以降低与所述通信链路相对应的延时时间。
  12. 根据权利要求11所述的方法，其特征在于，所述第一提示信息包括 以下至少之一：
    提高所述图像采集装置的输出帧率；
    调整所述图像采集装置的输出格式。
  13. 根据权利要求11所述的方法，其特征在于，在生成与所述延时时间相对应的第一提示信息之后，所述方法还包括：
    获取更新后延时时间；
    在所述更新后延时时间大于所述时间阈值时，生成与所述更新后延时时间相对应的第二提示信息，所述第二提示信息用于标识所述云台不满足跟随操作条件；
    在所述更新后延时时间小于或等于所述时间阈值时，根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型，所述机器学习模型被训练为用于识别所述采集画面中所包括的目标对象。
  14. 根据权利要求13所述的方法，其特征在于，根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型，包括：
    获取用于对所述采集画面进行分析处理的多个备选机器学习模型，不同的备选机器学习模型对应有不同的对象识别速度；
    在多个备选机器学习模型中，根据所述更新后延时时间确定一用于对所述采集画面进行分析处理的机器学习模型，以降低与所述通信链路相对应的更新后延时时间。
  15. 根据权利要求14所述的方法，其特征在于，在多个备选机器学习模型中，根据所述更新后延时时间确定一用于对所述采集画面进行分析处理的机器学习模型，包括：
    确定与所述更新后延时时间相对应的延时均值和延时方差；
    根据所述更新后延时时间、延时均值和延时方差中的至少一个，在多个备选机器学习模型中确定一用于对所述采集画面进行分析处理的机器学习模型，其中，所述机器学习模型的对象识别速度与所述更新后延时时间、延时均值和延时方差中的至少一个呈负相关。
  16. 根据权利要求13所述的方法，其特征在于，在根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型之后，所述方法还包括：
    获取由所述机器学习模型所对应的通信链路的实际延时时间；
    通过显示界面显示所述实际延时时间。
  17. 根据权利要求1所述的方法，其特征在于，在确定与所述通信链路相对应的延时时间之后，所述方法还包括：
    获取用于对所述延时时间进行分析处理的时间阈值；
    在所述延时时间大于所述时间阈值时，生成与所述延时时间相对应的第三提示信息，以降低与所述通信链路相对应的延时时间；
    在所述延时时间小于或等于所述时间阈值时，根据所述延时时间确定用于对所述采集画面进行分析处理的机器学习模型，所述机器学习模型被训练为用于识别所述采集画面中所包括的目标对象。
  18. 根据权利要求1-17中任意一项所述的方法，其特征在于，在确定与所述通信链路相对应的延时时间之后，所述方法还包括：
    根据所述延时时间，生成与所述通信链路相对应的补偿参数；
    根据所述补偿参数控制所述云台进行跟随操作。
  19. 一种延时检测方法，其特征在于，应用于云台系统，所述云台系统包括：图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器，所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路，其中，所述图像采集装置设置于云台上；所述方法包括：
    控制所述云台按照控制参数运动，其中，在所述云台的运动过程中，相对于所述云台的基座处于静止状态的目标对象保持在所述图像采集装置的采集画面中；
    在所述云台运动预设时长后，提示与所述通信链路相对应的延时时间相关的信息，所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
  20. 一种延时检测装置，其特征在于，应用于云台系统，所述云台系统包括：图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器，所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路，其中，所述图像采集装置设置于云台上；所述装置包括：
    存储器，用于存储计算机程序；
    处理器，用于运行所述存储器中存储的计算机程序以实现：
    获取用于控制所述云台进行运动的控制参数；
    基于所述控制参数控制所述云台进行运动，获得所述图像采集装置的姿态变化信息，并通过所述云台控制器获取目标对象在采集画面中的位置变化信息，所述目标对象相对于所述云台的基座处于静止状态；
    根据所述姿态变化信息和所述位置变化信息，确定与所述通信链路相对应的延时时间，所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
  21. 根据权利要求20所述的装置，其特征在于，所述控制参数包括以下至少之一：
    目标姿态集合，所述目标姿态集合中包括多个目标姿态，并且，所述多个目标姿态之间的变换频率小于或等于频率阈值；
    角速度集合，所述角速度集合中包括多个角速度，并且，所述多个角速度之间的变化频率小于或等于频率阈值；
    位置集合，所述位置集合中包括多个位置，所述多个位置之间的位置变化量小于或等于变化量阈值，所述多个位置之间的变化频率小于或等于频率阈值。
  22. 根据权利要求21所述的装置，其特征在于，在所述控制参数包括位置集合时，所述目标对象在采集画面中的位置与画面中心位置之间的距离小于或等于距离阈值。
  23. 根据权利要求21所述的装置，其特征在于，所述处理器还用于：
    获取所述通信链路的响应带宽；
    根据所述响应带宽确定与所述通信链路相对应的频率阈值。
  24. 根据权利要求23所述的装置，其特征在于，与不同的通信链路相对应的频率阈值相同或者不同。
  25. 根据权利要求20所述的装置，其特征在于，在基于所述控制参数控制所述云台进行运动之前，所述处理器还用于：
    获取所述图像采集装置中所采集的当前画面；
    在所述当前画面中，确定相对所述云台的基座处于静止状态的至少一个显示对象；
    基于所述至少一个显示对象，确定在采集画面中的所述目标对象。
  26. 根据权利要求25所述的装置，其特征在于，在所述处理器基于所述 至少一个显示对象，确定在采集画面中的所述目标对象时，所述处理器用于：
    获取用户针对所述至少一个显示对象所输入的执行操作；
    将所述执行操作所对应的显示对象，确定为所述目标对象。
  27. 根据权利要求20所述的装置，其特征在于，在所述处理器通过所述云台控制器获取目标对象在采集画面中的位置变化信息时，所述处理器用于：
    在基于所述控制参数控制所述云台进行运动的过程中，通过所述云台控制器获取与所述控制参数相对应的多个采集画面，每个采集画面中均包括目标对象；
    对所述多个采集画面进行分析处理，获得所述目标对象在采集画面中的位置变化信息。
  28. 根据权利要求20所述的装置，其特征在于，在所述处理器根据所述姿态变化信息和所述位置变化信息，确定与所述通信链路相对应的延时时间时，所述处理器用于：
    获取所述姿态变化信息与所述位置变化信息之间的多个相位差；
    根据所述多个相位差确定与所述通信链路相对应的延时时间。
  29. 根据权利要求28所述的装置，其特征在于，在所述处理器根据所述多个相位差确定与所述通信链路相对应的延时时间时，所述处理器用于：
    获取与所述多个相位差相对应的相位差均值；
    确定与所述多个相位差相对应的变换频率；
    基于所述相位差均值与所述变换频率，确定与所述通信链路相对应的延迟时间。
  30. 根据权利要求20所述的装置，其特征在于，在确定与所述通信链路相对应的延时时间之后，所述处理器用于：
    生成与所述延时时间相对应的第一提示信息，以降低与所述通信链路相对应的延时时间。
  31. 根据权利要求30所述的装置，其特征在于，所述第一提示信息包括以下至少之一：
    提高所述图像采集装置的输出帧率；
    调整所述图像采集装置的输出格式。
  32. 根据权利要求30所述的装置，其特征在于，在生成与所述延时时间相对应的第一提示信息之后，所述处理器用于：
    获取更新后延时时间；
    在所述更新后延时时间大于所述时间阈值时，生成与所述更新后延时时间相对应的第二提示信息，所述第二提示信息用于标识所述云台不满足跟随操作条件；
    在所述更新后延时时间小于或等于所述时间阈值时，根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型，所述机器学习模型被训练为用于识别所述采集画面中所包括的目标对象。
  33. 根据权利要求32所述的装置，其特征在于，在所述处理器根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型时，所述处理器用于：
    获取用于对所述采集画面进行分析处理的多个备选机器学习模型，不同的备选机器学习模型对应有不同的对象识别速度；
    在多个备选机器学习模型中，根据所述更新后延时时间确定一用于对所述采集画面进行分析处理的机器学习模型，以降低与所述通信链路相对应的更新后延时时间。
  34. 根据权利要求33所述的装置，其特征在于，在所述处理器在多个备选机器学习模型中，根据所述更新后延时时间确定一用于对所述采集画面进行分析处理的机器学习模型时，所述处理器用于：
    确定与所述更新后延时时间相对应的延时均值和延时方差；
    根据所述更新后延时时间、延时均值和延时方差中的至少一个，在多个备选机器学习模型中确定一用于对所述采集画面进行分析处理的机器学习模型，其中，所述机器学习模型的对象识别速度与所述更新后延时时间、延时均值和延时方差中的至少一个呈负相关。
  35. 根据权利要求32所述的装置，其特征在于，在根据所述更新后延时时间确定用于对所述采集画面进行分析处理的机器学习模型之后，所述处理器用于：
    获取由所述机器学习模型所对应的通信链路的实际延时时间；
    通过显示界面显示所述实际延时时间。
  36. 根据权利要求20所述的装置，其特征在于，在确定与所述通信链路相对应的延时时间之后，所述处理器用于：
    获取用于对所述延时时间进行分析处理的时间阈值；
    在所述延时时间大于所述时间阈值时，生成与所述延时时间相对应的第三提示信息，以降低与所述通信链路相对应的延时时间；
    在所述延时时间小于或等于所述时间阈值时，根据所述延时时间确定用于对所述采集画面进行分析处理的机器学习模型，所述机器学习模型被训练为用于识别所述采集画面中所包括的目标对象。
  37. 根据权利要求20-36中任意一项所述的装置，其特征在于，在确定与所述通信链路相对应的延时时间之后，所述处理器用于：
    根据所述延时时间，生成与所述通信链路相对应的补偿参数；
    根据所述补偿参数控制所述云台进行跟随操作。
  38. 一种延时检测系统，其特征在于，包括：
    图像处理装置，与用于采集并生成图像的图像采集装置通信连接，用于对所生成的图像进行处理；
    云台，所述图像采集装置和所述图像处理装置设置于所述云台上，且所述图像采集装置、所述图像处理装置与所述云台构成一通信链路；
    权利要求20-37中任一项所述的延时检测装置，与所述通信链路通信连接，用于确定与所述通信链路相对应的延时时间。
  39. 一种延时检测装置，其特征在于，应用于云台系统，所述云台系统包括：图像采集装置、与所述图像采集装置通信连接的图像处理装置以及与所述图像处理装置通信连接的云台控制器，所述图像采集装置、图像处理装置与所述云台控制器形成一通信链路，其中，所述图像采集装置设置于云台上；所述装置包括：
    存储器，用于存储计算机程序；
    处理器，用于运行所述存储器中存储的计算机程序以实现：
    控制所述云台按照控制参数运动，其中，在所述云台的运动过程中，相对于所述云台的基座处于静止状态的目标对象保持在所述图像采集装置的采集画面中；
    在所述云台运动预设时长后，提示与所述通信链路相对应的延时时间相关的信息，所述延时时间用于指示经由所述通信链路确定所述目标对象在所述采集画面中的位置信息所需要的时长。
  40. 一种延时检测系统，其特征在于，包括：
    图像处理装置，与用于采集并生成图像的图像采集装置通信连接，用于 对所生成的图像进行处理；
    云台，所述图像采集装置和所述图像处理装置设置于所述云台上，且所述图像采集装置、所述图像处理装置与所述云台构成一通信链路；
    权利要求39所述的延时检测装置，与所述通信链路通信连接，用于确定与所述通信链路相对应的延时时间。
  41. 一种可移动平台，其特征在于，包括：
    云台控制器，通信连接有图像处理装置，所述图像处理装置与图像采集装置通信连接，以生成一通信链路，其中，所述图像采集装置固定连接在云台上；
    支撑机构，用于连接所述云台；
    权利要求20-37中任一项所述的延时检测装置，与所述通信链路通信连接，用于确定与所述通信链路相对应的延时时间。
  42. 一种可移动平台，其特征在于，包括：
    云台控制器，通信连接有图像处理装置，所述图像处理装置与图像采集装置通信连接，以生成一通信链路，其中，所述图像采集装置固定连接在云台上；
    支撑机构，用于连接所述云台；
    权利要求39所述的延时检测装置，与所述通信链路通信连接，用于确定与所述通信链路相对应的延时时间。
  43. 一种计算机可读存储介质，其特征在于，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于实现权利要求1-18中任意一项所述的延时检测方法。
  44. 一种计算机可读存储介质，其特征在于，所述存储介质为计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令用于实现权利要求19所述的延时检测方法。
PCT/CN2020/136869 2020-12-16 2020-12-16 延时检测方法、装置、系统、可移动平台和存储介质 WO2022126436A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080067358.XA CN114556879A (zh) 2020-12-16 2020-12-16 延时检测方法、装置、系统、可移动平台和存储介质
PCT/CN2020/136869 WO2022126436A1 (zh) 2020-12-16 2020-12-16 延时检测方法、装置、系统、可移动平台和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/136869 WO2022126436A1 (zh) 2020-12-16 2020-12-16 延时检测方法、装置、系统、可移动平台和存储介质

Publications (1)

Publication Number Publication Date
WO2022126436A1 true WO2022126436A1 (zh) 2022-06-23

Family

ID=81668221

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/136869 WO2022126436A1 (zh) 2020-12-16 2020-12-16 延时检测方法、装置、系统、可移动平台和存储介质

Country Status (2)

Country Link
CN (1) CN114556879A (zh)
WO (1) WO2022126436A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115291524A (zh) * 2022-09-02 2022-11-04 广东美的智能科技有限公司 运动控制系统、干扰控制方法及干扰观测装置
CN115499899A (zh) * 2022-11-21 2022-12-20 国网天津市电力公司电力科学研究院 边缘物联代理装置的通信时延测试方法、装置及存储介质
CN116155434A (zh) * 2023-04-19 2023-05-23 南京万形电气有限公司 一种基于hplc本地通信模块毫秒级深度授时改进方法
CN117557167A (zh) * 2024-01-03 2024-02-13 微网优联科技(成都)有限公司 一种云台机的生产质量管理方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243027B (zh) * 2020-02-28 2023-06-23 京东方科技集团股份有限公司 延时测量方法、装置及系统
CN117170418B (zh) * 2023-11-02 2024-02-20 杭州华橙软件技术有限公司 云台控制方法、装置、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100171851A1 (en) * 2009-01-06 2010-07-08 Samsung Electronics Co., Ltd. Pan/tilt method and apparatus for camera
CN105849635A (zh) * 2013-12-27 2016-08-10 富士胶片株式会社 摄像装置及延时摄像方法
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN110610465A (zh) * 2019-08-26 2019-12-24 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质
CN110786005A (zh) * 2018-06-29 2020-02-11 深圳市大疆创新科技有限公司 延时摄影的控制方法及控制装置、成像系统及存储介质
CN211606645U (zh) * 2020-05-18 2020-09-29 深圳耐杰电子技术有限公司 一种目标跟踪控制摄像系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100171851A1 (en) * 2009-01-06 2010-07-08 Samsung Electronics Co., Ltd. Pan/tilt method and apparatus for camera
CN105849635A (zh) * 2013-12-27 2016-08-10 富士胶片株式会社 摄像装置及延时摄像方法
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN110786005A (zh) * 2018-06-29 2020-02-11 深圳市大疆创新科技有限公司 延时摄影的控制方法及控制装置、成像系统及存储介质
CN110610465A (zh) * 2019-08-26 2019-12-24 Oppo广东移动通信有限公司 图像校正方法和装置、电子设备、计算机可读存储介质
CN211606645U (zh) * 2020-05-18 2020-09-29 深圳耐杰电子技术有限公司 一种目标跟踪控制摄像系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115291524A (zh) * 2022-09-02 2022-11-04 广东美的智能科技有限公司 运动控制系统、干扰控制方法及干扰观测装置
CN115499899A (zh) * 2022-11-21 2022-12-20 国网天津市电力公司电力科学研究院 边缘物联代理装置的通信时延测试方法、装置及存储介质
CN116155434A (zh) * 2023-04-19 2023-05-23 南京万形电气有限公司 一种基于hplc本地通信模块毫秒级深度授时改进方法
CN117557167A (zh) * 2024-01-03 2024-02-13 微网优联科技(成都)有限公司 一种云台机的生产质量管理方法及系统
CN117557167B (zh) * 2024-01-03 2024-03-19 微网优联科技(成都)有限公司 一种云台机的生产质量管理方法及系统

Also Published As

Publication number Publication date
CN114556879A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
WO2022126436A1 (zh) 延时检测方法、装置、系统、可移动平台和存储介质
US10217021B2 (en) Method for determining the position of a portable device
WO2018214078A1 (zh) 拍摄控制方法及装置
US9025859B2 (en) Inertial sensor aided instant autofocus
US9031393B2 (en) Methods for enhancing camera focusing performance using camera orientation
WO2015125409A1 (en) Wearable device, control apparatus, photographing control method and automatic imaging apparatus
CN105678809A (zh) 手持式自动跟拍装置及其目标跟踪方法
WO2020253207A1 (zh) 一种投影画面防抖方法、装置及投影仪
CN106973221B (zh) 基于美学评价的无人机摄像方法和系统
WO2020233682A1 (zh) 一种自主环绕拍摄方法、装置以及无人机
WO2023041013A1 (zh) 一种无人机拍摄方法、装置、无人机及存储介质
JP7182020B2 (ja) 情報処理方法、装置、電子機器、記憶媒体およびプログラム
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
CN204287973U (zh) 飞行相机
CN104580909A (zh) 获得图像的方法及装置
WO2022151473A1 (zh) 拍摄控制方法、拍摄控制装置及云台组件
CN108419052B (zh) 一种多台无人机全景成像方法
WO2020237478A1 (zh) 一种飞行规划方法及相关设备
WO2018227345A1 (zh) 控制方法和无人机
CN116017158B (zh) 一种光学防抖动的标定方法及设备
WO2022141197A1 (zh) 云台的控制方法、装置、可移动平台和存储介质
WO2022082439A1 (zh) 轨迹延时拍摄方法、装置、云台相机、无人机及手持云台
WO2022000211A1 (zh) 拍摄系统的控制方法、设备、及可移动平台、存储介质
WO2022133732A1 (zh) 云台的检测方法、装置、可移动平台和存储介质
WO2022109860A1 (zh) 跟踪目标对象的方法和云台

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20965454

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20965454

Country of ref document: EP

Kind code of ref document: A1