WO2021056552A1 - 视频的处理方法和装置 - Google Patents

视频的处理方法和装置 Download PDF

Info

Publication number
WO2021056552A1
WO2021056552A1 PCT/CN2019/109128 CN2019109128W WO2021056552A1 WO 2021056552 A1 WO2021056552 A1 WO 2021056552A1 CN 2019109128 W CN2019109128 W CN 2019109128W WO 2021056552 A1 WO2021056552 A1 WO 2021056552A1
Authority
WO
WIPO (PCT)
Prior art keywords
position information
image
video stream
movable target
image frame
Prior art date
Application number
PCT/CN2019/109128
Other languages
English (en)
French (fr)
Inventor
肖旭
侯弘毅
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201980033199.9A priority Critical patent/CN112166594A/zh
Priority to PCT/CN2019/109128 priority patent/WO2021056552A1/zh
Publication of WO2021056552A1 publication Critical patent/WO2021056552A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present invention relates to the field of video processing, in particular to a video processing method and device.
  • the invention provides a video processing method and device.
  • the present invention is implemented through the following technical solutions:
  • a video processing method including:
  • a special effect simulation is performed on the robot in the video stream.
  • a video processing device comprising:
  • Storage device for storing program instructions
  • One or more processors call program instructions stored in the storage device, and when the program instructions are executed, the one or more processors are individually or collectively configured to implement the following operations:
  • a special effect simulation is performed on the robot in the video stream.
  • the present invention adopts the fusion of sensor positioning technology and multi-angle image positioning technology.
  • the sensor positioning information and multi-angle image positioning information are redundant, which can greatly overcome the shooting device that collects multi-angle images.
  • the parameter error and the influence of the change of external light on the positioning, the positioning accuracy is high, the interference is less, and the delay is small. It can locate the front and back position relationship between the movable target and the object on the site and multiple movable targets, thereby effectively solving the site
  • the object’s occlusion of the movable target, the mutual occlusion and overlap between multiple movable targets can be applied to multi-targets and complex scenes, which can lead to missed detection and false detection.
  • the three-dimensional site location information of the movable target Project to the current video stream to be played to obtain the first image position information of the movable target in the video stream, and then perform special effects simulation on the movable target according to the first image position information of the movable target in the video stream. More elements of the movable target are displayed in the video stream, which enriches the presentation and viewing experience of the video stream.
  • FIG. 1 is a schematic diagram of an application scenario of a video processing method in an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a method flow of a video processing method in an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a method flow of a video processing method in another embodiment of the present invention.
  • FIG. 4 is a schematic diagram of a method flow of a video processing method in another embodiment of the present invention.
  • Fig. 5 is a schematic structural diagram of a video processing device in another embodiment of the present invention.
  • 2D visual positioning technology is used to locate movable targets in a video stream, so as to perform some special effects simulations on the movable targets in the video stream according to the positioning results. Since the 2D visual positioning technology cannot locate the front and back positional relationship between the movable target and the field object or multiple movable targets, it is difficult to detect the obstructed, overlapping movable targets with this method, and the miss detection rate is relatively high. When the object is small and the picture is large, the missed detection rate and false detection rate of 2D visual positioning technology will increase accordingly.
  • the embodiment of the present invention adopts the fusion of sensor positioning technology and multi-angle image positioning technology, sensor positioning information and Multi-angle image positioning information redundancy can greatly overcome the parameter error of the shooting device that collects multi-angle images and the influence of external light changes on positioning.
  • the positioning accuracy is high, the interference is small, and the delay is small. It can locate movable targets and The front and back position relationship between the field object and multiple movable targets, so as to effectively solve the problem of missed detection and false detection caused by the occlusion of the movable target by the field object, the mutual occlusion and overlap between multiple movable targets, etc.
  • the three-dimensional location information of the movable target is projected to the current video stream to be played, and the first image position information of the movable target in the video stream is obtained, and then according to the movable target in the video
  • the first image location information in the stream performs special effects simulation on the movable target, which is beneficial to the display of more elements of the movable target in the video stream, and enriches the presentation and viewing experience of the video stream.
  • the video processing method of the embodiment of the present invention can be applied to games in real scenes, such as games with real competitive objects, real competitive players (controllable competitive objects), or games without competitive objects, but including real competitive players.
  • Competition such as boxing
  • the competitive game can also be a virtual competitive game (such as MOBA), the competitive object is a virtual competitive object, and the competitive player is a real competitive player.
  • Movable targets may include various movable targets on the playing field, such as competitive objects (such as robots, drones, mobile cars, etc.) and/or competitive players.
  • the video processing method of the embodiment of the present invention can also be applied to real-time video recording, programs, etc. in a non-competition state.
  • the embodiment of the present invention takes a robot competition in a real scene as an example, where the movable target is a robot, and the video stream to be played is a live video stream; it should be understood that the competition may also be other types of competitions, and the game to be played
  • the video stream can also be a non-live video stream.
  • the robot competition system can include robots, competition servers, broadcast guides, and channel machines. Among them, there can be multiple robots. Each robot communicates with the competition server.
  • the competition server can obtain the real-time status of each robot (such as blood volume status). , Life status or other) and the data of the sensors on each robot.
  • the channel machine may include one or more.
  • the channel machine in this embodiment includes a plurality of channels, and the plurality of channel machines can shoot from different angles to obtain game scenes from different angles.
  • the director station communicates with the game server and the channel machine separately, and the game screen can be switched through the director station, and the game screen at one angle is selected as the current video stream to be played.
  • the client can obtain the video stream currently to be played from the game server for the user to watch.
  • FIG. 2 is a schematic diagram of the method flow of the video processing method in an embodiment of the present invention
  • the execution subject of the video processing method in the embodiment of the present invention may be a game server or other equipment capable of data processing. Take the game server as the main body of execution as an example.
  • the video processing method of the embodiment of the present invention may include S201 to S205.
  • the first position information and the second position information of the robot are acquired, where the first position information is obtained through detection by a position detection sensor on the robot, and the second position information is determined based on the field images of the robot taken from different angles. .
  • the first position information is 3D position information
  • the second position information may be 2D position information or 3D position information.
  • each robot in the competition is equipped with a position detection sensor.
  • the position detection sensor may include a UWB base station.
  • the first position information of the corresponding robot is located through the UWB base station and transmitted to the competition server.
  • the position detection sensor may also include other positioning devices, such as Bluetooth positioning devices and GPS positioning devices.
  • target detection is performed on the field images of the robot taken at the same time and at different angles, so as to obtain the second position information of the robot at that time. Since the imaging position of the robot in different angles of the field image is different, the posture information of the corresponding camera (ie each camera that collects different angles of the field image) can be combined to restore the 3D position information of the robot on the field.
  • the implementation of target detection based on the machine vision technology on the field images of the robot taken at the same time and at different angles is the prior art, which is not specifically described in the present invention.
  • the video stream to be played is collected by the channel machine on the playing field. If the field image also uses the game screen collected by the channel machine, it will burden the channel machine and may affect the smoothness of the video stream to be played. Therefore, in this embodiment, the venue image and the video stream are collected by different image collection devices.
  • the image acquisition equipment for the field image may include: multiple sideline positioning cameras set around the field. Multiple sideline positioning cameras can cover all angles of view in the playing field, thereby ensuring that all robots can be monitored through multiple cameras. Two field-side positioning cameras acquire field images from different angles.
  • the video stream image acquisition equipment may include: a channel machine set in the venue.
  • the channel machine in this embodiment includes multiple channels.
  • the game images of different angles are captured by the multiple channel machines, which can be selected as the to-be-played at the director station.
  • the game image of the video stream is collected by the channel machine on the playing field.
  • the three-dimensional field position information of the robot is determined according to the first position information and the second position information.
  • the first position information and the second position information acquired at the same time are merged to determine the three-dimensional field position information of the robot.
  • the accuracy of the first position information is low and the delay is large. If the first position information is directly located to the video stream to be played, the positioning accuracy is poor.
  • the second position information has high accuracy and low delay, but it cannot reflect the front and back position relationship between the robot and the field objects (such as obstacles in the competition field, game equipment and other fixed objects) and multiple robots, while the first position The information can reflect the front and back positional relationship between the robot and the field objects and multiple robots. Therefore, the first position information and the second position information are merged, and the positioning accuracy is high, the interference is small, and the delay is small.
  • Field objects and the front and back positional relationship between multiple robots can also be accurately positioned for the occlusion of the field objects to the robot, mutual occlusion and overlap between multiple robots, etc.
  • multiple location information fusion methods can be selected as existing fusion methods, which are not described in this embodiment.
  • the shooting device in S203 is the channel machine. Please refer to Figure 1. After confirming the current video stream to be played (the user chooses to collect the identity information of the channel machine corresponding to the video stream to be played on the director station, such as the number), it will obtain the video from the corresponding channel machine Stream and the shooting parameters of the channel machine, and send the obtained video stream and shooting parameters to the game server.
  • the shooting parameters include at least the external parameters of the channel machine and the internal parameters of the channel machine.
  • the external parameters can include the pose, rotation matrix, translation matrix, etc. of the channel machine
  • the internal parameters can include the internal parameter matrix.
  • the shooting parameters may also include distortion parameters or others.
  • the above-mentioned shooting parameters need to be calibrated on the channel machine, and the shooting parameters of the channel machine can be calibrated by online calibration or offline calibration.
  • the shooting parameters are calibrated online by the camera, and the online calibration method is applicable
  • the channel camera is a zoom camera.
  • certain lines and objects in the competition venue can be used as feature points for online calibration.
  • the process of online calibration can be performed by the channel machine or by an external device.
  • the online calibration is performed through the external device to reduce the working pressure of the channel machine.
  • the channel machine is mounted on a pan-tilt, and the shooting parameters can be detected by the pan-tilt.
  • the virtual tracking pan/tilt can be used to carry the channel machine.
  • the virtual tracking pan/tilt can adapt to many types of channel machines and has strong applicability.
  • the virtual tracking pan/tilt can quickly obtain the shooting parameters and channels of the channel machine.
  • the video stream captured by the camera, etc., and the acquired data are transmitted to the broadcast director in time to achieve the effect of real-time data output.
  • the transmission delay of shooting parameters and video stream is small, which can meet the real-time requirements of live broadcast.
  • the shooting parameters are determined by offline calibration, and the offline calibration method is suitable for situations where the internal parameters of the channel machine and the shooting angle of view are fixed.
  • the first image location information of the robot in the video stream is determined according to the three-dimensional site location information and the shooting parameters.
  • the realization process of determining the first image position information of the robot in the video stream may include but is not limited to the following steps:
  • the three-dimensional field position information is the position information in the world coordinate system. According to the rotation matrix and the translation matrix, the three-dimensional field position information of the robot in the world coordinate system can be converted into the robot in the body coordinate system.
  • the specific conversion process of the third location information is based on the prior art, which is not specifically described in this embodiment.
  • the three-dimensional site location information is the location information in a custom coordinate system, and the three-dimensional site location information in the custom coordinate system needs to be converted into world coordinates according to the conversion relationship between the custom coordinate system and the world coordinate system. Based on the external parameters of the channel machine, the three-dimensional site location information under the system converts the three-dimensional site location information in the world coordinate system into the third location information in the body coordinate system.
  • Q (X, Y, Z) is a point in the body coordinate system, which is projected by light onto the q (x, y, f) point on the video stream plane (that is, the image plane), the image plane and the channel machine
  • the optical axis of is vertical, and the distance from the center of the projection is f (f is the focal length of the channel machine).
  • M is the internal parameter matrix of the channel machine
  • the coordinates in the body coordinate system can be converted to the image coordinate system, namely (X, Y, Z) -> (x, y).
  • the first position information of each frame of the robot in the video stream can be determined according to the three-dimensional field position information and shooting parameters, that is, the first image position of the robot in the video stream is detected frame by frame according to the three-dimensional field position information and shooting parameters Information, but this method requires a large amount of calculation and will occupy a large amount of hardware resources in the game server.
  • this embodiment please refer to Fig. 3 again.
  • the position information and shooting parameters determine the first image position information of the robot in some image frames in the video stream; then according to the first image position information in some image frames in the video stream, determine the first image position in the other image frames in the video stream.
  • Image location information After the first image position information of the robot in some image frames is determined, the first image position information of the robot in other image frames is determined by interpolation, which not only saves the hardware resources of the game server, but also overcomes the performance of the game server The problem of unstable detection caused by differences.
  • the first image position information of the robot in some image frames in the video stream can be detected every frame according to the three-dimensional field position information and shooting parameters.
  • the video stream includes image frame 1, image frame 2, image frame 3, image frame 4, image frame 5, and image frame 6 that are continuously collected in chronological order.
  • This embodiment is based on three-dimensional site location information and shooting parameters.
  • the first image position information of the robot in image frame 1, image frame 3 and image frame 5 is detected.
  • the non-interleaved frame method can also be used to detect the first image position information of a part of the image frame of the robot in the video stream.
  • the above-mentioned embodiment is used to detect the robot’s position in the image according to the three-dimensional field position information and shooting parameters.
  • the first image position information of the previous image frame and the preset model determine the first image position information of the robot in the current image frame. For example, in an embodiment in which the first image position information of the robot in the video stream is detected every frame according to the three-dimensional field position information and shooting parameters, for image frame 2, the first image position information of the robot in image frame 1 can be used. And the preset model to determine the first image position information of the robot in image frame 2.
  • the preset model can be a speed-invariant model or an acceleration-invariant model.
  • the speed invariant model is used to instruct the robot to move from the position in the previous image frame of the current image frame to the position in the current image frame.
  • the speed corresponding to the position in the current image frame is less than or equal to the preset speed threshold
  • the acceleration invariant model is used to instruct the robot
  • the acceleration corresponding to the movement from the position in the previous image frame of the current image frame to the position in the current image frame is less than or equal to the preset acceleration threshold.
  • the preset speed threshold and the preset acceleration threshold can be set as required.
  • the continuity of the position of the robot in the continuously collected multi-frame image frames can be ensured, and the position of the robot in the continuously collected multi-frame image frames can be avoided from jumping.
  • the preset model may also be other motion trajectory models, and those of ordinary skill in the art can design the preset model according to requirements.
  • the method for determining the first image position information of the robot in other image frames in the video stream according to the first image position information of the robot in some image frames in the video stream is not limited to the above embodiment, and other methods can also be selected. .
  • the first image position information is fused with the 3D position information of the robot, according to the first image position information, when the robot is simulated in the video stream with special effects, more designs, such as 3D characteristics, can be added to the display effect of the special effects simulation. Simulation enriches the display effect of the video stream, especially the AR effect of the video stream.
  • special effects simulation can be performed around the robot to display more elements of the robot and enrich the video stream presentation and viewing Experience.
  • the robot is simulated with special effects in the video stream according to the first image position information, specifically, the real-time state of the robot is obtained; according to the first image position information, The real-time status is displayed around the corresponding robot in the video stream.
  • the real-time status can include the blood volume status and/or the life status, where the blood volume status can be characterized by a blood bar, which is used to indicate the real-time blood volume of the robot.
  • a special effect can be used. Simulate the situation of broken health bars.
  • the blood return effect can refer to the effect of surrounding characters in general online games. In this embodiment, it can be used in the robot’s
  • the surrounding shows the blood recovery effect of the surrounding robot, thus displaying the 3D blood recovery special effect.
  • the life state can be used to indicate whether the robot is currently dead or resurrected. When the robot enters the dead or resurrected state, it can simulate the moment of death or resurrection through special effects. It should be understood that the real-time status may also include other status information of the robot.
  • the real-time status of this embodiment is determined by the external device based on real-time collected data analysis, and the collected data includes collected data of the sensor device of the robot and/or collected data of the field sensor device on the field.
  • the sensor device on the robot can obtain the identity data of the robot, and can also detect the state data of the robot during the game, such as blood volume data, operation information (such as the robot is in an attacking state or a defense state, etc.).
  • Data, field sensing equipment can collect data such as the number of projectiles supplied to the current robot by the projectile replenishment mechanism, the current state information of the visual game mechanism, etc., and send the current collected data to an external device.
  • the external device can communicate with the game server, and send the real-time status of the current robot determined by analysis to the game server.
  • the game server will receive the real-time status of the current robot according to the received real-time status of the current robot, combined with the first image position information of the current robot, in the video stream Perform special effects simulation on the current robot in.
  • the external equipment may include a match referee system, or it may be other.
  • some other information of the robot can also be displayed around the corresponding robot through special effects simulation, such as the identity information of the robot.
  • the real-time status can be displayed around the corresponding robot in the video stream in a 2D or 3D manner according to the first image location information.
  • the 3D characteristic simulation of the robot can be performed well.
  • the screen of the 3D special effect simulation can adopt U3D (Universal 3D) format or other formats.
  • the video processing may further include the following steps:
  • the AR image detection algorithm adopts the existing AR image recognition algorithm to identify the robot in the video stream, and obtain the second image position information of the robot in the video stream.
  • This embodiment does not specifically describe the AR image detection algorithm.
  • the position correction method avoids the position jump of the robot in the front and back two image frames, and ensures the real-time detection accuracy of the robot in the high frame rate video stream.
  • the video stream of this embodiment includes a plurality of image frames. For example, when correcting the first image position information according to the second image position information, according to the first image frame in the previous image frame of the current image frame by the robot. Determine the first position offset based on the position information and the first position information of the robot in the current image frame; according to the first position information of the robot in the previous image frame of the current image frame and the robot’s first position in the current image frame 2. Position information, determining the second position offset; if the first position offset is greater than the second position offset, replace the first position information in the current image frame with the second position information in the current image frame.
  • the first position information of the robot in the image frame before the current image frame is A1
  • the first position information in the current image frame is A2
  • the second position information in the current image frame is A3, and the first position information in the current image frame is A3.
  • the position offset is:
  • the second position offset is:
  • an embodiment of the present invention also provides a video processing device.
  • the video processing device includes a storage device and a processor,
  • the storage device is used to store program instructions.
  • the processor includes one or more, one or more processors, calling program instructions stored in the storage device, and when the program instructions are executed, the one or more processors are individually or collectively configured It is used to implement the following operations: acquiring first position information and second position information of the robot, where the first position information is obtained through detection by a position detection sensor on the robot, and the second position information is based on shooting from different angles
  • the robot’s field image is determined; the robot’s three-dimensional field position information is determined according to the first position information and the second position information; the current video stream to be played is acquired and the camera that captures the video stream is Shooting parameters; according to the three-dimensional field position information and the shooting parameters, determine the first image position information of the robot in the video stream; according to the first image position information, in the video stream
  • the robot performs special effects simulation.
  • the processor in this embodiment may be a central processing unit (CPU).
  • the processor may further include a hardware chip.
  • the aforementioned hardware chip may be an application-specific integrated circuit (ASIC), a programmable logic device (PLD), or a combination thereof.
  • ASIC application-specific integrated circuit
  • PLD programmable logic device
  • the above-mentioned PLD may be a complex programmable logic device (CPLD), a field-programmable gate array (FPGA), a generic array logic (GAL), or any combination thereof.
  • CPLD complex programmable logic device
  • FPGA field-programmable gate array
  • GAL generic array logic
  • an embodiment of the present invention also provides a computer-readable storage medium on which a computer program is stored, and when the program is executed by a processor, the steps of the video processing method of the foregoing embodiment are implemented.
  • the computer-readable storage medium may be an internal storage unit of the video processing device described in any of the foregoing embodiments, such as a hard disk or a memory.
  • the computer-readable storage medium may also be an external storage device of the video processing device, such as a plug-in hard disk, a smart media card (SMC), an SD card, and a flash card (Flash Card) equipped on the device. )Wait.
  • the computer-readable storage medium may also include both an internal storage unit of the video processing apparatus and an external storage device.
  • the computer-readable storage medium is used to store the computer program and other programs and data required by the video processing device, and can also be used to temporarily store data that has been output or will be output.
  • the program can be stored in a computer readable storage medium, and the program can be stored in a computer readable storage medium. During execution, it may include the procedures of the above-mentioned method embodiments.
  • the storage medium may be a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM).

Abstract

一种视频的处理方法和装置，所述方法包括：获取可移动目标的第一位置信息和第二位置信息，其中第一位置信息为通过可移动目标上的位置检测传感器检测获得，第二位置信息为基于不同角度拍摄的可移动目标的场地图像确定；根据第一位置信息和第二位置信息，确定可移动目标的三维场地位置信息；获取当前待播放的视频流以及采集视频流的拍摄装置的拍摄参数；根据三维场地位置信息和拍摄参数，确定可移动目标在视频流中的第一图像位置信息；根据第一图像位置信息，在视频流中对可移动目标进行特效模拟。本发明采用传感器定位技术和多角度图像定位技术的融合，定位精度高、干扰少、延迟，有利于在视频流中对可移动目标进行更多元素的展示。

Description

视频的处理方法和装置 技术领域
本发明涉及视频处理领域，尤其涉及一种视频的处理方法和装置。
背景技术
比赛视频、录制视频、节目等视频流，为提高观赏性，会在视频流上为可移动目标如机器人增加一些动态特效，这就需要准确定位视频流中的可移动目标。目前，由于视频流局限于2D信息，故大都使用2D视觉定位技术来定位视频流中的可移动目标，导致很多遮挡、重叠的可移动目标较难检测到，漏检率较大。当物体很小、而画面很大时，2D视觉定位技术漏检率和误检率也相应增大。
另外，可以固定拍摄装置的位姿、角度和焦距，对所拍的画面进行场景建模，然后按一定的比例与场地的地图进行匹配，但镜头画面单一且计算资源消耗大，无法达到实时输出和精准定位。
发明内容
本发明提供一种视频的处理方法和装置。
具体地，本发明是通过如下技术方案实现的：
根据本发明的第一方面，提供一种视频的处理方法，所述方法包括：
获取机器人的第一位置信息和第二位置信息，其中所述第一位置信息为通过机器人上的位置检测传感器检测获得，所述第二位置信息为基于不同角度拍摄的所述机器人的场地图像确定；
根据所述第一位置信息和所述第二位置信息，确定所述机器人的三维场地位置信息；
获取当前待播放的视频流以及采集所述视频流的拍摄装置的拍摄参数；
根据所述三维场地位置信息和所述拍摄参数，确定所述机器人在所述视频流中的第一图像位置信息；
根据所述第一图像位置信息，在所述视频流中对所述机器人进行特效模拟。
根据本发明的第二方面，提供一种视频的处理装置，所述装置包括：
存储装置，用于存储程序指令；
一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置成用于实施如下操作：
获取机器人的第一位置信息和第二位置信息，其中所述第一位置信息为通过机器人上的位置检测传感器检测获得，所述第二位置信息为基于不同角度拍摄的所述机器人的场地图像确定；
根据所述第一位置信息和所述第二位置信息，确定所述机器人的三维场地位置信息；
获取当前待播放的视频流以及采集所述视频流的拍摄装置的拍摄参数；
根据所述三维场地位置信息和所述拍摄参数，确定所述机器人在所述视频流中的第一图像位置信息；
根据所述第一图像位置信息，在所述视频流中对所述机器人进行特效模拟。
由以上本发明实施例提供的技术方案可见，本发明采用传感器定位技术和多角度图像定位技术的融合，传感器定位信息和多角度图像定位信息冗余，能够极大克服采集多角度图像的拍摄装置的参数误差与外界光线变化对定位带来的影响，定位精度高、干扰少、延迟小，可以定位出可移动目标与场地物体和多个可移动目标之间的前后位置关系，从而有效解决场地物体对可移动目标的遮挡、多个可移动目标之间的相互遮挡和重叠等导致的漏检和误检问题，能够适用于多目标和复杂场景；同时，将可移动目标的三维场地位置信息投射到当前待播放的视频流，得到可移动目标在视频流中的第一图像位置信息，再根据可移动目标在视频流中的第一图像位置信息对可移动目标进行特效模拟，有利于在视频流中对可移动目标进行更多元素的展示，丰富视频流呈现和观看体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中的视频的处理方法的应用场景示意图；
图2是本发明一实施例中的视频的处理方法的方法流程示意图；
图3是本发明另一实施例中的视频的处理方法的方法流程示意图；
图4是本发明另一实施例中的视频的处理方法的方法流程示意图；
图5是本发明另一实施例中的视频的处理装置的结构示意图。
具体实施方式
目前，使用2D视觉定位技术来定位视频流中的可移动目标，以根据定位结果在视频流中对可移动目标进行一些特效模拟。由于2D视觉定位技术不能够定位出可移 动目标与场地物体或多个可移动目标之间的前后位置关系，因此该方式难以检测到遮挡、重叠的可移动目标，漏检率较大。当物体很小、而画面很大时，2D视觉定位技术漏检率和误检率也相应增大。
为了克服现有2D视觉定位技术定位视频流中的可移动目标存在的误检率和漏检率大的问题，本发明实施例采用传感器定位技术和多角度图像定位技术的融合，传感器定位信息和多角度图像定位信息冗余，能够极大克服采集多角度图像的拍摄装置的参数误差与外界光线变化对定位带来的影响，定位精度高、干扰少、延迟小，可以定位出可移动目标与场地物体和多个可移动目标之间的前后位置关系，从而有效解决场地物体对可移动目标的遮挡、多个可移动目标之间的相互遮挡和重叠等导致的漏检和误检问题，能够适用于多目标和复杂场景；同时，将可移动目标的三维场地位置信息投射到当前待播放的视频流，得到可移动目标在视频流中的第一图像位置信息，再根据可移动目标在视频流中的第一图像位置信息对可移动目标进行特效模拟，有利于在视频流中对可移动目标进行更多元素的展示，丰富视频流呈现和观看体验。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
本发明实施例的视频的处理方法可以应用在现实场景中的比赛，如具有真实的竞技对象、真实的竞技选手(可控制竞技对象)的比赛，或者无竞技对象，但包括真实的竞技选手的比赛(如拳击)。竞技比赛还可为虚拟竞技比赛(如MOBA)，竞技对象为虚拟的竞技对象，竞技选手为真实的竞技选手。可移动目标可以包括比赛场地上各种可移动目标，如竞技对象(如机器人、无人机、移动小车等)和/或竞技选手。
本发明实施例的视频的处理方法还可以应用在非比赛状态下的实时视频录制、节目等。
本发明实施例以现实场景中的机器人比赛为例进行说明，其中，可移动目标为机器人，待播放的视频流为直播视频流；应当理解，该比赛也可以为其他类型的比赛，待播放的视频流也可以为非直播视频流。
请参见图1，机器人比赛系统可以包括机器人、比赛服务器、导播台和讯道机，其中，机器人可以包括多个，各机器人与比赛服务器通信，比赛服务器能够获取各机器人的实时状态(如血量状态、生命状态或其他)以及各机器人上的传感器的数据。讯道机可以包括一个或多个，本实施例的讯道机包括多个，多个讯道机可以从不同的角度进行拍摄，以获得不同角度的比赛画面。导播台与比赛服务器、讯道机分别通信， 可以通过导播台进行比赛画面的切换，选择其中一个角度的比赛画面作为当前待播放的视频流。客户端可以从比赛服务器获取到当前待播放的视频流，以供用户观看。
图2是本发明一实施例中的视频的处理方法的方法流程示意图；本发明实施例的视频的处理方法的执行主体可以为比赛服务器，也可以为其他能够进行数据处理的设备，本发明以比赛服务器作为执行主体为例。请参见图2，本发明实施例的视频的处理方法可以包括S201～S205。
其中，在S201中，获取机器人的第一位置信息和第二位置信息，其中第一位置信息为通过机器人上的位置检测传感器检测获得，第二位置信息为基于不同角度拍摄的机器人的场地图像确定。
本实施例的第一位置信息为3D位置信息，第二位置信息可以为2D位置信息，也可以为3D位置信息。
在本实施例中，比赛中的每个机器人上设有位置检测传感器，请参见图3，该位置检测传感器可以包括UWB基站，通过UWB基站定位对应机器人的第一位置信息，并传输给比赛服务器。可以理解地，位置检测传感器还可以包括其他定位装置，如蓝牙定位装置、GPS定位装置。
本实施例基于机器视觉技术对同一时刻、不同角度拍摄的机器人的场地图像进行目标检测，从而获得机器人在该时刻的第二位置信息。由于机器人在不同角度的场地图像中的成像位置不同，可以结合对应拍摄装置(即采集不同角度的场地图像的各拍摄装置)的姿态信息，还原出机器人在场地上的3D位置信息。其中，基于机器视觉技术对同一时刻、不同角度拍摄的机器人的场地图像进行目标检测的实现方式为现有技术，本发明对此不作具体说明。
通常，对待播放的视频流的质量要求较高，而对进行定位的场地图像的质量要求较低。待播放的视频流由比赛场地上的讯道机采集，若场地图像也使用讯道机采集的比赛画面，则会对讯道机造成负担，并可能影响待播放的视频流的流畅度。因此，本实施例中，场地图像和视频流视频流通过不同的图像采集设备采集。请参见图1，场地图像的图像采集设备可以包括：设于场地四周的多个场边定位相机，多个场边定位相机能够覆盖比赛场地内的所有视角，从而确保监控到所有机器人，通过多个场边定位相机获取不同角度的场地图像。视频流的图像采集设备可以包括：设于场地的讯道机，本实施例的讯道机包括多个，通过多个讯道机拍摄不同角度的比赛图像，可以在导播台选择作为待播放的视频流的比赛图像。
在S202中，根据第一位置信息和第二位置信息，确定机器人的三维场地位置信息。
本实施例中，对同一时刻获取的第一位置信息和第二位置信息进行融合，确定机器人的三维场地位置信息。第一位置信息精度低、延时较大，若直接将第一位置信息定位到待播放的视频流，定位的精度较差。第二位置信息精度高、延时小，但不能反 映出机器人与场地物体(如比赛场地中的障碍物、游戏设备等一些固定物)以及多个机器人之间的前后位置关系，而第一位置信息能够反映出机器人与场地物体以及多个机器人之间的前后位置关系，故而，将第一位置信息和第二位置信息进行融合，定位精度高、干扰少、延迟小，且能够定位出机器人与场地物体以及多个机器人之间的前后位置关系，对于场地物体对机器人的遮挡、多个机器人之间的相互遮挡和重叠等情况也能精确定位。其中，多个位置信息融合的方式可以选择现有融合方式，本实施例对此不作说明。
在S203中，获取当前待播放的视频流以及采集视频流的拍摄装置的拍摄参数。
S203中的拍摄装置即为讯道机。请参见图1，导播台确认当前待播放的视频流(用户在导播台上选择采集待播放的视频流对应的讯道机的身份信息，如编号)后，会从对应的讯道机获取视频流以及该讯道机的拍摄参数，并将获取到的视频流和拍摄参数发送至比赛服务器。
其中，拍摄参数至少包括讯道机的外参和讯道机的内参。其中，外参可以包括讯道机的位姿、旋转矩阵、平移矩阵等，内参可以包括内参矩阵。另外，拍摄参数还可以包括畸变参数或其他。
上述拍摄参数需要对讯道机进行标定得到，可以利用在线标定方式或离线标定方式来标定讯道机的拍摄参数，例如，在一些实施例中，拍摄参数通过拍摄装置在线标定，在线标定方式适用于讯道机为变焦相机的情形。其中，在线标定讯道机的拍摄参数时，可以使用比赛场地内的某些线条、物体作为特征点进行在线标定。在线标定的过程可以由讯道机执行，也可以由外部设备执行，通过外部设备执行在线标定，减小讯道机的工作压力。例如，可选地，讯道机搭载在云台上，拍摄参数可以由云台检测。可以采用虚拟跟踪云台来搭载讯道机，虚拟跟踪云台能够适配多种类型的讯道机，适用性强；同时，虚拟跟踪云台可以快速地获取讯道机的拍摄参数、讯道机拍摄的视频流等，并将获取到的数据及时传输给导播台，达到了实时数据输出的效果，拍摄参数、视频流的传输延时小，能达到直播的实时要求。
在另外一些实施例中，拍摄参数通过离线标定确定，离线标定方式适用于讯道机的内参和拍摄视角固定的情形。
在S204中，根据三维场地位置信息和拍摄参数，确定机器人在视频流中的第一图像位置信息。
根据三维场地位置信息和拍摄参数，确定机器人在视频流中的第一图像位置信息的实现过程可以包括但不限于如下步骤：
(1)、根据三维场地位置信息和讯道机的外参，确定机器人在讯道机的机体坐标系下的第三位置信息；
在一些实施例中，三维场地位置信息为世界坐标系下的位置信息，根据旋转矩阵和平移矩阵，即可将机器人在世界坐标系下的三维场地位置信息转成成机器人在机体坐标系下的第三位置信息，具体转换过程为现有技术，本实施例对此不作具体说明。
在另外一些实施例中，三维场地位置信息为自定义坐标系下的位置信息，需要根据自定义坐标系与世界坐标系的转换关系，将自定义坐标系下的三维场地位置信息转换成世界坐标系下的三维场地位置信息，再基于讯道机的外参，将世界坐标系下的三维场地位置信息转换成机体坐标系下的第三位置信息。
(2)、根据第三位置信息和讯道机的内参，确定机器人在视频流中的第一图像位置信息。
其中，Q(X,Y,Z)为机体坐标系中的一点，该点被光线投影到视频流平面(即图像平面)上的q(x,y,f)点，图像平面与讯道机的光轴垂直，和投影中心的距离为f(f是讯道机的焦距)。按照三角比例关系可以得出：
Figure PCTCN2019109128-appb-000001
即
Figure PCTCN2019109128-appb-000002
将Q点投影至q点的变换公式如下：
q＝MQ     (2)
其中，
Figure PCTCN2019109128-appb-000003
M为讯道机的内参矩阵，
Figure PCTCN2019109128-appb-000004
代入公式(2)，得到：
Figure PCTCN2019109128-appb-000005
通过公式(3)，即可将机体坐标系下的坐标转换到图像坐标系，即(X,Y,Z)->(x,y)。
可以根据三维场地位置信息和拍摄参数，确定机器人在视频流中每一帧图像中的第一位置信息，即根据三维场地位置信息和拍摄参数，逐帧检测机器人在视频流中的第一图像位置信息，但该方式的计算量较大，会占用比赛服务器中大量的硬件资源。为了节约比赛服务器的硬件资源，本实施例中，请再次参见图3，在根据三维场地位置信息和拍摄参数，确定机器人在视频流中的第一图像位置信息时，具体地，先根据三维场地位置信息和拍摄参数，确定机器人在视频流中部分图像帧中的第一图像位置信息；再根据视频流中部分图像帧中的第一图像位置信息，确定视频流中其他图像帧中的第一图像位置信息。在确定出机器人在部分图像帧的第一图像位置信息后，通过 插补方式确定机器人在其他图像帧中的第一图像位置信息，不仅能够节约比赛服务器的硬件资源，还能够克服比赛服务器的性能差异导致的检测不稳定的问题。
可以利用不同的策略来确定机器人在视频流中部分图像帧中的第一图像位置信息，例如，可以根据三维场地位置信息和拍摄参数，隔帧检测机器人在视频流中的第一图像位置信息，示例性的，视频流包括按照时间先后连续采集的图像帧1、图像帧2、图像帧3、图像帧4、图像帧5和图像帧6，本实施例是根据三维场地位置信息和拍摄参数，检测机器人在图像帧1、图像帧3和图像帧5中的第一图像位置信息。应当理解的是，也可以采用非隔帧方式检测机器人在视频流中部分图像帧的第一图像位置信息，示例性的，沿用上述实施例，根据三维场地位置信息和拍摄参数，检测机器人在图像帧1、图像帧2和图像帧5、图像帧6中的第一图像位置信息。
进一步地，在根据机器人在视频流中部分图像帧中的第一图像位置信息，确定机器人在视频流中其他图像帧中的第一图像位置信息时，可选地，根据机器人在当前图像帧的前一帧图像帧的第一图像位置信息和预设模型，确定机器人在当前图像帧的第一图像位置信息。例如，在根据三维场地位置信息和拍摄参数，隔帧检测机器人在视频流中的第一图像位置信息的实施例中，对于图像帧2，可以根据机器人在图像帧1中的第一图像位置信息和预设模型，确定机器人在图像帧2中的第一图像位置信息。预设模型可以为速度不变模型，也可以为加速度不变模型。其中，速度不变模型用于指示机器人由当前图像帧的前一帧图像帧中的位置移动至当前图像帧中的位置对应的速度小于或等于预设速度阈值，加速度不变模型用于指示机器人由当前图像帧的前一帧图像帧中的位置移动至当前图像帧中的位置对应的加速度小于或等于预设加速度阈值，预设速度阈值、预设加速度阈值的大小可以根据需要设定。基于速度不变模型或加速度不变模型，可以确保机器人在连续采集的多帧图像帧中的位置的连贯性，避免了机器人在连续采集的多帧图像帧中的位置出现跳跃。应当理解的是，预设模型还可以为其他运动轨迹模型，本领域普通技术人员可以根据需求来设计预设模型。
当然，根据机器人在视频流中部分图像帧中的第一图像位置信息，确定机器人在视频流中其他图像帧中的第一图像位置信息的实现方式不限于上述实施例，也可以选择其他方式实现。
在S205中，根据第一图像位置信息，在视频流中对机器人进行特效模拟。
由于第一图像位置信息融合了机器人的3D位置信息，因此，根据第一图像位置信息，在视频流中对机器人进行特效模拟时，特效模拟的显示效果上可以增加更多的设计，如3D特性模拟，丰富了视频流的显示效果，尤其丰富了视频流的AR效果。
本实施例中，在确定了机器人在视频流各图像帧中的第一图像位置信息后，即可以在机器人的周围进行特效模拟，以对机器人进行更多元素的展示，丰富视频流呈现和观看体验。例如，在其中一些实施例中，请再次参见图3，在根据第一图像位置信 息，在视频流中对机器人进行特效模拟时，具体地，获取机器人的实时状态；根据第一图像位置信息，在视频流中将实时状态显示在对应机器人的周围。该实时状态可以包括血量状态和/或生命状态，其中，血量状态可以采用血条来表征，用于指示机器人的实时血量大小，当机器人的血量降到0时，可以通过特效方式模拟血条破碎的情形，再例如，在机器人的血量减少时，当满足回血条件后，显示回血效果，回血效果可参考一般网游中环绕人物四周的效果，在本实施例中可以在机器人的周围显示环绕机器人的回血效果，从而展示3D回血特效。生命状态可以用于指示机器人当前是处于死亡状态，还是复活状态，当机器人进入死亡状态或进入复活状态时，可以通过特效方式模拟死亡或复活瞬间。应当理解地，实时状态也可以包括机器人的其他状态信息。
本实施例的实时状态为外部设备根据实时的采集数据分析确定，采集数据包括机器人的传感设备的采集数据和/或场地上的场地传感设备的采集数据。其中，机器人上的传感设备可获取该机器人的身份数据，还可检测该机器人在比赛过程中的状态数据，如血量数据、操作信息(如该机器人处于攻击状态或防守状态等)等采集数据，场地传感设备可采集到如弹丸补给机构的补给给当前机器人的弹丸数量数据，视觉游戏机构的当前状态信息等采集数据，并将当前采集数据发送至外部设备。外部设备可以与比赛服务器通信，并将分析确定的当前机器人的实时状态发送给比赛服务器，由比赛服务器根据接收到的当前机器人的实时状态，并结合当前机器人的第一图像位置信息，在视频流中对当前机器人进行特效模拟。外部设备可以包括比赛裁判系统，也可以为其他。
可以理解地，除机器人的实时状态之外，也可以将机器人的一些其他信息通过特效模拟显示在对应机器人的周围，如机器人的身份信息等。
本实施例中，可以根据第一图像位置信息，通过2D或3D方式在视频流中将实时状态显示在对应机器人的周围。本实施例中，由于第一图像位置信息融合了机器人的3D位置信息，因此，能够很好地对机器人进行3D特性模拟。其中，3D特效模拟的画面可以采用U3D(Universal 3D)格式，也可以采用其他格式。
此外，在一些实施例中，结合图3和图4，在根据第一图像位置信息，在视频流中对机器人进行特效模拟之前，所述视频的处理还可以包括如下步骤：
S401：基于AR图像检测算法检测机器人在视频流中的第二图像位置信息；
其中，AR图像检测算法采用现有的AR图像识别算法，对视频流中的机器人进行识别，得到机器人在视频流中的第二图像位置信息，本实施例对AR图像检测算法不作具体说明。
S402：根据第二图像位置信息，对第一图像位置信息进行矫正。
采用位置矫正方式，避免了机器人在前后两帧图像帧中的位置产生跳跃，保证了高帧率视频流中机器人的实时检测准确率。
本实施例的视频流包括多个图像帧，示例性的，在根据第二图像位置信息，对第一图像位置信息进行矫正时，根据机器人在当前图像帧的前一帧图像帧中的第一位置信息和机器人在当前图像帧中的第一位置信息，确定第一位置偏移量；根据机器人在当前图像帧的前一帧图像帧中的第一位置信息和机器人在当前图像帧中的第二位置信息，确定第二位置偏移量；若第一位置偏移量大于第二位置偏移量，则将当前图像帧中的第一位置信息替换成当前图像帧中的第二位置信息。例如，机器人在当前图像帧的前一帧图像帧中的第一位置信息为A1，在当前图像帧中的第一位置信息为A2，在当前图像帧中的第二位置信息为A3，第一位置偏移量为：|A1-A2|，第二位置偏移量为：|A1-A3|，若|A1-A2|>|A1-A3|，则机器人在当前图像帧中的图像位置信息为A3；否则，机器人在当前图像帧中的图像位置信息为A1。
当然，也可以采用其他方式来实现根据第二图像位置信息，对第一图像位置信息进行矫正，例如，根据机器人在当前图像帧中的第一位置信息和机器人在当前图像帧中的第二位置信息，确定平均位置信息；将平均位置信息作为机器人在当前图像帧中的图像位置信息。
对应于上述实施例的视频的处理方法，本发明实施例还提供一种视频的处理装置，请参见图5，所述视频的处理装置包括存储装置和处理器，
其中，存储装置用于存储程序指令。
处理器包括一个或多个，一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置成用于实施如下操作：获取机器人的第一位置信息和第二位置信息，其中所述第一位置信息为通过机器人上的位置检测传感器检测获得，所述第二位置信息为基于不同角度拍摄的所述机器人的场地图像确定；根据所述第一位置信息和所述第二位置信息，确定所述机器人的三维场地位置信息；获取当前待播放的视频流以及采集所述视频流的拍摄装置的拍摄参数；根据所述三维场地位置信息和所述拍摄参数，确定所述机器人在所述视频流中的第一图像位置信息；根据所述第一图像位置信息，在所述视频流中对所述机器人进行特效模拟。
处理器的实现过程和工作原理可参见上述实施例的视频的处理方法的描述，此处不再赘述。
本实施例的处理器可以是中央处理器(central processing unit，CPU)。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
此外，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例的视频的处理方法的步骤。
所述计算机可读存储介质可以是前述任一实施例所述的视频的处理装置的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是视频的处理装置的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介质还可以既包括视频的处理装置的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述视频的处理装置所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (40)

  1. 一种视频的处理方法，其特征在于，所述方法包括：
    获取可移动目标的第一位置信息和第二位置信息，其中所述第一位置信息为通过可移动目标上的位置检测传感器检测获得，所述第二位置信息为基于不同角度拍摄的所述可移动目标的场地图像确定；
    根据所述第一位置信息和所述第二位置信息，确定所述可移动目标的三维场地位置信息；
    获取当前待播放的视频流以及采集所述视频流的拍摄装置的拍摄参数；
    根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息；
    根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟。
  2. 根据权利要求1所述的方法，其特征在于，所述位置检测传感器包括：UWB基站。
  3. 根据权利要求1所述的方法，其特征在于，所述场地图像和所述视频流视频流通过不同的图像采集设备采集。
  4. 根据权利要求3所述的方法，其特征在于，所述场地图像的图像采集设备包括：设于场地四周的多个场边定位相机。
  5. 根据权利要求3所述的方法，其特征在于，所述视频流的图像采集设备包括：设于场地的讯道机，所述讯道机与导播台通信。
  6. 根据权利要求1所述的方法，其特征在于，所述拍摄参数至少包括：拍摄装置的外参和拍摄装置的内参。
  7. 根据权利要求6所述的方法，其特征在于，所述拍摄参数通过所述拍摄装置在线标定；或者，
    所述拍摄参数通过离线标定确定。
  8. 根据权利要求7所述的方法，其特征在于，所述拍摄装置搭载在云台上，所述拍摄参数由所述云台检测。
  9. 根据权利要求6所述的方法，其特征在于，所述拍摄参数还包括：畸变参数。
  10. 根据权利要求6所述的方法，其特征在于，所述根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息，包括：
    根据所述三维场地位置信息和所述拍摄装置的外参，确定所述可移动目标在所述拍摄装置的机体坐标系下的第三位置信息；
    根据所述第三位置信息和所述拍摄装置的内参，确定所述可移动目标在所述待播放的画面中的第一图像位置信息。
  11. 根据权利要求1所述的方法，其特征在于，所述根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息，包括：
    根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流 中部分图像帧中的第一图像位置信息；
    根据所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息，确定所述可移动目标在所述视频流中其他图像帧中的第一图像位置信息。
  12. 根据权利要求11所述的方法，其特征在于，所述根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息，包括：
    根据所述三维场地位置信息和所述拍摄参数，隔帧检测所述可移动目标在所述视频流中的第一图像位置信息。
  13. 根据权利要求11所述的方法，其特征在于，所述根据所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息，确定所述可移动目标在所述视频流中其他图像帧中的第一图像位置信息，包括：
    根据所述可移动目标在当前图像帧的前一帧图像帧中的第一图像位置信息和预设模型，确定所述可移动目标在所述当前图像帧中的第一图像位置信息。
  14. 根据权利要求13所述的方法，其特征在于，所述预设模型为速度不变模型或加速度不变模型；
    其中，所述速度不变模型用于指示所述可移动目标由所述当前图像帧的前一帧图像帧中的位置移动至所述当前图像帧中的位置对应的速度小于或等于预设速度阈值；
    所述加速度不变模型用于指示所述可移动目标由所述当前图像帧的前一帧图像帧中的位置移动至所述当前图像帧中的位置对应的加速度小于或等于预设加速度阈值。
  15. 根据权利要求1所述的方法，其特征在于，所述根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟之前，还包括：
    基于AR图像检测算法检测所述可移动目标在所述视频流中的第二图像位置信息；
    根据所述第二图像位置信息，对所述第一图像位置信息进行矫正。
  16. 根据权利要求15所述的方法，其特征在于，所述视频流包括多个图像帧；
    所述根据所述第二图像位置信息，对所述第一图像位置信息进行矫正，包括：
    根据所述可移动目标在当前图像帧的前一帧图像帧中的第一位置信息和所述可移动目标在当前图像帧中的第一位置信息，确定第一位置偏移量；
    根据所述可移动目标在当前图像帧的前一帧图像帧中的第一位置信息和所述可移动目标在当前图像帧中的第二位置信息，确定第二位置偏移量；
    若所述第一位置偏移量大于所述第二位置偏移量，则将所述当前图像帧中的第一位置信息替换成所述当前图像帧中的第二位置信息。
  17. 根据权利要求1所述的方法，其特征在于，所述根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟，包括：
    获取所述可移动目标的实时状态；
    根据所述第一图像位置信息，在所述视频流中将所述实时状态显示在对应可移动 目标的周围。
  18. 根据权利要求17所述的方法，其特征在于，所述根据所述第一图像位置信息，在所述视频流中将所述实时状态显示在对应可移动目标的周围，包括：
    根据所述第一图像位置信息，通过3D方式在所述视频流中将所述实时状态显示在对应可移动目标的周围。
  19. 根据权利要求17所述的方法，其特征在于，所述实时状态包括：血量状态、生命状态。
  20. 根据权利要求17所述的方法，其特征在于，所述实时状态为：外部设备根据实时的采集数据分析确定，所述采集数据包括所述可移动目标的传感设备的采集数据和/或场地上的场地传感设备的采集数据。
  21. 一种视频的处理装置，其特征在于，所述装置包括：
    存储装置，用于存储程序指令；
    一个或多个处理器，调用所述存储装置中存储的程序指令，当所述程序指令被执行时，所述一个或多个处理器单独地或共同地被配置成用于实施如下操作：
    获取可移动目标的第一位置信息和第二位置信息，其中所述第一位置信息为通过可移动目标上的位置检测传感器检测获得，所述第二位置信息为基于不同角度拍摄的所述可移动目标的场地图像确定；
    根据所述第一位置信息和所述第二位置信息，确定所述可移动目标的三维场地位置信息；
    获取当前待播放的视频流以及采集所述视频流的拍摄装置的拍摄参数；
    根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息；
    根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟。
  22. 根据权利要求21所述的装置，其特征在于，所述位置检测传感器包括：UWB基站。
  23. 根据权利要求21所述的装置，其特征在于，所述场地图像和所述视频流视频流通过不同的图像采集设备采集。
  24. 根据权利要求23所述的装置，其特征在于，所述场地图像的图像采集设备包括：设于场地四周的多个场边定位相机。
  25. 根据权利要求23所述的装置，其特征在于，所述视频流的图像采集设备包括：设于场地的讯道机，所述讯道机与导播台通信。
  26. 根据权利要求21所述的装置，其特征在于，所述拍摄参数至少包括：拍摄装置的外参和拍摄装置的内参。
  27. 根据权利要求26所述的装置，其特征在于，所述拍摄参数通过所述拍摄装置在线标定；或者，
    所述拍摄参数通过离线标定确定。
  28. 根据权利要求27所述的装置，其特征在于，所述拍摄装置搭载在云台上，所述拍摄参数由所述云台检测。
  29. 根据权利要求26所述的装置，其特征在于，所述拍摄参数还包括：畸变参数。
  30. 根据权利要求26所述的装置，其特征在于，所述一个或多个处理器在根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息时，单独地或共同地被进一步配置成用于实施如下操作：
    根据所述三维场地位置信息和所述拍摄装置的外参，确定所述可移动目标在所述拍摄装置的机体坐标系下的第三位置信息；
    根据所述第三位置信息和所述拍摄装置的内参，确定所述可移动目标在所述视频流中的第一图像位置信息。
  31. 根据权利要求21所述的装置，其特征在于，所述一个或多个处理器在根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中的第一图像位置信息时，单独地或共同地被进一步配置成用于实施如下操作：
    根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息；
    根据所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息，确定所述可移动目标在所述视频流中其他图像帧中的第一图像位置信息。
  32. 根据权利要求31所述的装置，其特征在于，所述一个或多个处理器在根据所述三维场地位置信息和所述拍摄参数，确定所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息时，单独地或共同地被进一步配置成用于实施如下操作：
    根据所述三维场地位置信息和所述拍摄参数，隔帧检测所述可移动目标在所述视频流中的第一图像位置信息。
  33. 根据权利要求31所述的装置，其特征在于，所述一个或多个处理器在根据所述可移动目标在所述视频流中部分图像帧中的第一图像位置信息，确定所述可移动目标在所述视频流中其他图像帧中的第一图像位置信息时，单独地或共同地被进一步配置成用于实施如下操作：
    根据当前图像帧的前一帧图像帧的第一图像位置信息和预设模型，确定所述当前图像帧的第一图像位置信息。
  34. 根据权利要求33所述的装置，其特征在于，所述预设模型为速度不变模型或加速度不变模型；
    其中，所述速度不变模型用于指示所述可移动目标由所述当前图像帧的前一帧图像帧中的位置移动至所述当前图像帧中的位置对应的速度小于或等于预设速度阈值；
    所述加速度不变模型用于指示所述可移动目标由所述当前图像帧的前一帧图像帧中的位置移动至所述当前图像帧中的位置对应的加速度小于或等于预设加速度阈值。
  35. 根据权利要求21所述的装置，其特征在于，所述一个或多个处理器在根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟之前，单独地 或共同地被进一步配置成用于实施如下操作：
    基于AR图像检测算法检测所述可移动目标在所述视频流中的第二图像位置信息；
    根据所述第二图像位置信息，对所述第一图像位置信息进行矫正。
  36. 根据权利要求35所述的装置，其特征在于，所述视频流包括多个图像帧；
    所述一个或多个处理器在根据所述第二图像位置信息，对所述第一图像位置信息进行矫正时，单独地或共同地被进一步配置成用于实施如下操作：
    根据所述可移动目标在当前图像帧的前一帧图像帧中的第一位置信息和所述可移动目标在当前图像帧中的第一位置信息，确定第一位置偏移量；
    根据所述可移动目标在当前图像帧的前一帧图像帧中的第一位置信息和所述可移动目标在当前图像帧中的第二位置信息，确定第二位置偏移量；
    若所述第一位置偏移量大于所述第二位置偏移量，则将所述当前图像帧中的第一位置信息替换成所述当前图像帧中的第二位置信息。
  37. 根据权利要求21所述的装置，其特征在于，所述一个或多个处理器在根据所述第一图像位置信息，在所述视频流中对所述可移动目标进行特效模拟时，单独地或共同地被进一步配置成用于实施如下操作：
    获取所述可移动目标的实时状态；
    根据所述第一图像位置信息，在所述视频流中将所述实时状态显示在对应可移动目标的周围。
  38. 根据权利要求37所述的装置，其特征在于，所述一个或多个处理器子啊根据所述第一图像位置信息，在所述视频流中将所述实时状态显示在对应可移动目标的周围时，单独地或共同地被进一步配置成用于实施如下操作：
    根据所述第一图像位置信息，通过3D方式在所述视频流中将所述实时状态显示在对应可移动目标的周围。
  39. 根据权利要求37所述的装置，其特征在于，所述实时状态包括：血量状态、生命状态。
  40. 根据权利要求37所述的装置，其特征在于，所述实时状态为：外部设备根据实时的采集数据分析确定，所述采集数据包括所述可移动目标的传感设备的采集数据和/或场地上的场地传感设备的采集数据。
PCT/CN2019/109128 2019-09-29 2019-09-29 视频的处理方法和装置 WO2021056552A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980033199.9A CN112166594A (zh) 2019-09-29 2019-09-29 视频的处理方法和装置
PCT/CN2019/109128 WO2021056552A1 (zh) 2019-09-29 2019-09-29 视频的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/109128 WO2021056552A1 (zh) 2019-09-29 2019-09-29 视频的处理方法和装置

Publications (1)

Publication Number Publication Date
WO2021056552A1 true WO2021056552A1 (zh) 2021-04-01

Family

ID=73859378

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/109128 WO2021056552A1 (zh) 2019-09-29 2019-09-29 视频的处理方法和装置

Country Status (2)

Country Link
CN (1) CN112166594A (zh)
WO (1) WO2021056552A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096225B (zh) * 2021-03-19 2023-11-21 北京达佳互联信息技术有限公司 一种图像特效的生成方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8957969B2 (en) * 2010-11-03 2015-02-17 Trace Optics Pty Ltd Method and apparatus for camera control and picture composition using at least two biasing means
CN105069795A (zh) * 2015-08-12 2015-11-18 深圳锐取信息技术股份有限公司 运动对象跟踪方法及装置
KR101856488B1 (ko) * 2017-09-06 2018-05-10 윤재민 3차원 맵핑을 이용하는 객체 추적 방법, 이를 이용한 장치 및 컴퓨터-판독가능 매체
CN109462776A (zh) * 2018-11-29 2019-03-12 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
KR20190051924A (ko) * 2019-05-07 2019-05-15 에스케이텔레콤 주식회사 관심객체의 선택에 의한 영상 탐색장치 및 방법
CN109920035A (zh) * 2019-01-21 2019-06-21 东南大学 一种基于移动设备增强现实的动态特效合成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840947B (zh) * 2017-11-28 2023-05-09 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN110198487B (zh) * 2019-05-30 2021-05-25 上海思岚科技有限公司 一种视频播放方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8957969B2 (en) * 2010-11-03 2015-02-17 Trace Optics Pty Ltd Method and apparatus for camera control and picture composition using at least two biasing means
CN105069795A (zh) * 2015-08-12 2015-11-18 深圳锐取信息技术股份有限公司 运动对象跟踪方法及装置
KR101856488B1 (ko) * 2017-09-06 2018-05-10 윤재민 3차원 맵핑을 이용하는 객체 추적 방법, 이를 이용한 장치 및 컴퓨터-판독가능 매체
CN109462776A (zh) * 2018-11-29 2019-03-12 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN109920035A (zh) * 2019-01-21 2019-06-21 东南大学 一种基于移动设备增强现实的动态特效合成方法
KR20190051924A (ko) * 2019-05-07 2019-05-15 에스케이텔레콤 주식회사 관심객체의 선택에 의한 영상 탐색장치 및 방법

Also Published As

Publication number Publication date
CN112166594A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
US11151787B2 (en) Generation device, generation method and storage medium for three-dimensional model from object images and structure images
WO2019119328A1 (zh) 一种基于视觉的定位方法及飞行器
US20170171570A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
AU2021326016B2 (en) Motion based pre-processing of two-dimensional image data prior to three-dimensional object tracking with virtual time synchronization
US11798233B2 (en) Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model
JP6484321B2 (ja) 高速ビデオカメラを用いた飛行物体の飛行データ測定装置及び方法、及びこれを遂行するためのプログラムを記録したコンピュータで読取可能な記録媒体
US10922871B2 (en) Casting a ray projection from a perspective view
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
JP2018207252A (ja) 画像処理システム、画像処理システムの制御方法、及び、プログラム
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
JP2019003428A (ja) 画像処理装置、画像処理方法及びプログラム
WO2021056552A1 (zh) 视频的处理方法和装置
CN114037923A (zh) 一种目标活动热点图绘制方法、系统、设备及存储介质
US11468258B2 (en) Information processing apparatus, information processing method, and storage medium
CN110910489B (zh) 一种基于单目视觉的智能球场运动信息采集系统与方法
CN113538550A (zh) 高尔夫球感测方法、系统及存储介质
JP2004248725A (ja) 打球の解析装置及び方法
JP2019106145A (ja) ３次元モデルの生成装置、生成方法及びプログラム
CN111279352B (zh) 通过投球练习的三维信息获取系统及摄像头参数算出方法
KR101905848B1 (ko) 골프클럽 및 골프공 측정장치 및 측정방법 및 이를 수행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
CN107537149B (zh) 确定用于拍摄球图像的关心区域的方法、系统及非暂时性计算机可读记录介质
KR101845612B1 (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
WO2022120533A1 (zh) 运动轨迹的展示系统、方法及存储介质
EP3836012A1 (en) A device, computer program and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947181

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19947181

Country of ref document: EP

Kind code of ref document: A1