WO2021043295A1 - 一种全景视频的目标追踪方法、装置及便携式终端 - Google Patents

一种全景视频的目标追踪方法、装置及便携式终端 Download PDF

Info

Publication number
WO2021043295A1
WO2021043295A1 PCT/CN2020/113643 CN2020113643W WO2021043295A1 WO 2021043295 A1 WO2021043295 A1 WO 2021043295A1 CN 2020113643 W CN2020113643 W CN 2020113643W WO 2021043295 A1 WO2021043295 A1 WO 2021043295A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
target
video
frame
panoramic video
Prior art date
Application number
PCT/CN2020/113643
Other languages
English (en)
French (fr)
Inventor
姜文杰
Original Assignee
影石创新科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 影石创新科技股份有限公司 filed Critical 影石创新科技股份有限公司
Publication of WO2021043295A1 publication Critical patent/WO2021043295A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention belongs to the field of video, and in particular relates to a method, device and portable terminal for tracking a target in panoramic video.
  • Target tracking is an important research direction in computer vision, which has been widely used in the fields of video surveillance and human-computer interaction; target tracking is to generate the motion trajectory of the target by locating the target in each frame of the video. A method for continuous inference of the target state in the.
  • Panoramic video converts static panoramic pictures into dynamic panoramic video images. Users can freely watch dynamic videos within the shooting angle of the panoramic camera; when watching panoramic videos, the flat-panel display can only display one of the panoramic videos at a certain moment.
  • a viewing angle when the user wants to continuously watch a specific target object, it may be necessary to continuously control the rotation angle of the display because the target disappears in the current viewing angle, so the operation is more troublesome.
  • the position of an object that the audience is interested in is constantly changing in the panoramic video, the audience needs to adjust the viewing angle continuously following the rotation of the object. In this case, the audience will feel dizzy; when the audience is concerned about multiple targets in the same panoramic video When you are interested, you need to watch the panoramic video multiple times to find different targets. Therefore, viewing the panoramic video is troublesome and inefficient in this case.
  • the present invention proposes a target tracking method, device and portable terminal for panoramic video, aiming to detect and track objects in panoramic video, realize the acquisition of the video segment corresponding to each tracked object, and enable the target object to always be in The effect of the center of the panoramic video or the center of the flat video.
  • the present invention provides a target tracking method for panoramic video, the method includes:
  • the present invention provides a panoramic video target tracking device, which includes:
  • the acquisition module is used to acquire the panoramic video frame of the panoramic video
  • the edge expansion module is used to expand the panoramic video to one side to obtain the expanded edge video frame
  • the target detection module is used to perform target detection on the current extended edge video frame and select the target tracking category;
  • Target tracking module used for target detection and tracking for each subsequent extended edge video frame
  • Get the video segment module used to obtain the video segments corresponding to all tracking targets.
  • the present invention provides a computer-readable storage medium, which, when the computer program is executed by a processor, implements the steps of the above-mentioned panoramic video target tracking method.
  • the present invention provides a portable terminal, including:
  • One or more processors are One or more processors;
  • One or more computer programs wherein the one or more computer programs are stored in the memory and configured to be executed by the one or more processors, and the processor implements The steps of a target tracking method for panoramic video are as described above.
  • the present invention performs target detection and tracking on the expanded edge video frame to obtain the video segment corresponding to each tracked object, and the tracked target object can always be in the middle of the panoramic video or With the effect of the center of the flat video, the present invention can also quickly select the object of interest, and realize the effect of browsing the corresponding video picture.
  • FIG. 1 is a flowchart of a method for tracking a target in a panoramic video according to Embodiment 1 of the present invention.
  • Fig. 2 is a schematic diagram of a target tracking module for panoramic video according to the second embodiment of the present invention.
  • FIG. 3 is a schematic structural diagram of a portable terminal provided in Embodiment 3 of the present invention.
  • a method for tracking a target in panoramic video provided by Embodiment 1 of the present invention includes the following steps:
  • the panoramic video is a panoramic flat video.
  • the panoramic video is a panoramic spherical video
  • the panoramic spherical video should first be projected onto the panoramic flat video;
  • the one side is the left or right side of the video frame
  • the said panoramic video frame is expanded to one side, one of the embodiments is: when the left side of the panoramic video frame is expanded, the 1/n part of the video frame to the right is copied and pasted in parallel to On the left, splicing to generate extended edge video frames, where n is not equal to 0, n>0;
  • the said panoramic video frame is expanded to one side
  • another embodiment is: when the right side of the panoramic video frame is expanded, the 1/n part of the video frame to the left is copied and pasted in parallel To the right, splicing to generate extended edge video frames, where n is not equal to 0, n>0;
  • the extended edge video frame makes the panoramic video frame image after the panoramic video expansion has image redundancy, so as to solve the problem that the boundary of the panoramic video frame image expanded by the projection method has the target object divided into two halves, resulting in the object detection method that cannot be detected problem.
  • the preset target detection threshold is k. According to this threshold, the target category of the current extended video frame target tracking is selected as one, where i is greater than 1. Integer, which is an integer greater than 0;
  • the tracked target objects include but are not limited to objects such as people, animals, and vehicles;
  • the target detection method may be a pre-trained target detection method, and the pre-trained target detection method specifically includes: pre-defining the target detection category, making a category data set, and then training a target detection algorithm based on a neural network;
  • the target detection method may also be a face detection method, a deep learning target detection algorithm based on Region Proposal, a biometric recognition method, etc., which are not specifically limited in this application.
  • the target detection and tracking for each subsequent extended edge video frame specifically includes:
  • the target tracking algorithm is specifically:
  • the tracking target selected from the i-th frame image is used as all the tracking targets in the i-th frame image;
  • the tracking target selected from the i-th frame panoramic image and the tracking target obtained from the i-th frame tracking are used as all the tracking targets in the i-th frame image;
  • the target tracking method may be an iou-track tracking algorithm or a sort tracking algorithm
  • the target tracking method may also be an active contour-based tracking method, a feature-based tracking method, an area-based tracking method, a model-based tracking method, etc.;
  • the target category may be detected by a target detection method, may be tracked by a target tracking method, or may be obtained by using the above two methods;
  • One embodiment of the target tracking algorithm is to use the iou-track tracking algorithm; set a threshold ⁇ l for target detection, filter the results whose target detection score is less than the threshold, and leave the detection frame with a score higher than the threshold; for each Frame, find the detection frame with the largest iou in the tracking frame of the current tracking queue in the detection frame of the current frame, and then determine whether the iou is greater than the threshold, if so, add the detection frame as the matching tracking frame in The position in the current frame; otherwise, determine whether the maximum detection score of the tracking frame in the previous frame is greater than the threshold ⁇ h, and whether the number of frames that the target appears before the frame is greater than the threshold tmin; if it is, it means that it is a normal tracking object , And has left the screen in the current frame, so the tracking object is removed from the tracking queue; for the detection frame that does not match, it is considered a new object, and the detection frame is added to the tracking queue as the object to be tracked.
  • All the tracking targets are the number of targets that appear in the tracking queue from the first frame of the video detection to the end of the detection, set to X, where X is an integer not less than 1;
  • the returning the video segments corresponding to all the tracking targets is specifically: obtaining the video frames of each tracking target successfully tracking respectively, and editing the corresponding video frames into corresponding video segments.
  • step S105 the video segment can be displayed on the plane at all times with the target as the center;
  • the video segment is always displayed on the plane centered on the target.
  • the method in the Chinese patent "A target tracking method, device and panoramic camera for panoramic video, application number: 2018105415536" is used to make the video always display on the plane centered on the target. Recommend to users;
  • the video segment recommended to the user is displayed in all tracking target categories for the user to choose.
  • the effect of browsing the video segment corresponding to the object can be achieved.
  • the present invention by expanding the edge of the panoramic video frame, target detection and tracking are performed on the expanded edge video frame, and the video segment corresponding to each tracked object is obtained, so that the target object can always be in the middle or plane of the panoramic video.
  • the effect of the center of the video; the present invention can also quickly select objects of interest to achieve the effect of browsing the corresponding video pictures.
  • a panoramic video target tracking device provided by Embodiment 2 of the present invention includes:
  • the acquisition module is used to acquire the panoramic video frame of the panoramic video
  • the edge expansion module is used to expand the panoramic video to one side to obtain the expanded edge video frame
  • the target detection module is used to perform target detection on the current extended edge video frame and select the target tracking category;
  • Target tracking module used for target detection and tracking for each subsequent extended edge video frame
  • Get the video segment module used to obtain the video segments corresponding to all tracking targets.
  • the device for tracking a target in panoramic video provided in the second embodiment of the present invention and the method for tracking a target in panoramic video provided in the first embodiment of the present invention belong to the same concept.
  • the specific implementation process is detailed in the full text of the specification, and will not be repeated here. .
  • the second embodiment of the present invention provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, it implements a panoramic video view as provided in the first embodiment of the present invention.
  • the computer-readable storage medium may be a non-transitory computer-readable storage medium.
  • FIG. 3 shows a specific structural block diagram of a portable terminal provided in the third embodiment of the present invention.
  • a portable terminal 100 includes: one or more processors 101, a memory 102, and one or more computer programs, wherein the processing The device 101 and the memory 102 are connected by a bus, and the one or more computer programs are stored in the memory 102 and are configured to be executed by the one or more processors 101, and the processor 101 executes The computer program implements the steps of a panoramic video target tracking method provided in the first embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种全景视频的目标追踪方法、装置及便携式终端。所述方法包括：获取全景视频的全景视频帧；将全景视频向一边作扩边处理，得到扩边视频帧；对当前扩边视频帧进行目标检测，选取目标跟踪的类别；对后续每个扩边视频帧进行目标检测与跟踪；获取所有跟踪目标对应的视频段。本发明技术方案通过在扩边视频帧上进行目标检测与追踪，实现了获取每个追踪物体对应的视频段，且实现使目标物体始终处在全景视频的中间或者平面视频的中心的效果。

Description

一种全景视频的目标追踪方法、装置及便携式终端 技术领域
本发明属于视频领域，尤其涉及一种全景视频的目标追踪方法、装置及便携式终端。
背景技术
目标追踪是计算机视觉中的一个重要研究方向，已广泛应用于视频监控和人机交互等领域；目标追踪是通过在视频的每一帧中定位目标，来生成目标的运动轨迹，是对视频序列中的目标状态进行持续推断的一种方法。
全景视频是将静态的全景图片转化为动态的全景视频图像，用户能够任意观看在全景摄像机拍摄角度范围内的动态视频；在观看全景视频时，由于平面显示器某一时刻只能显示全景视频的其中一个视角，当用户想要持续观看特定目标对象时，可能由于目标消失在当前视角而需要不断控制显示器转动视角，因此操作比较麻烦。当观众感兴趣的一个物体在全景视频中位置不断变化时，观众需要跟随物体的转动不断地调整观看视角，这种情况下观众会有眩晕感；当观众对同一个全景视频中多个目标物体感兴趣时，则需要重复多次观看全景视频找寻不同的目标，因此这种情况下观看全景比较麻烦且效率低。
技术问题
本发明提出一种全景视频的目标追踪方法、装置及便携式终端，旨在对全景视频中的物体进行目标检测与追踪，实现获取每个追踪物体对应的视频段，且能使目标物体始终处在全景视频的中间或者平面视频的中心的效果。
技术解决方案
第一方面，本发明提供了一种全景视频的目标追踪方法，所述方法包括：
获取全景视频的全景视频帧；
将全景视频向一边作扩边处理，得到扩边视频帧；
对当前扩边视频帧进行目标检测，选取目标跟踪的类别；
对后续每个扩边视频帧进行目标检测与跟踪；
获取所有跟踪目标对应的视频段。
第二方面，本发明提供了一种全景视频的目标追踪装置，所述装置包括：
获取模块，用于获取全景视频的全景视频帧；
扩边模块，用于将全景视频向一边作扩边处理，得到扩边视频帧；
目标检测模块，用于对当前扩边视频帧进行目标检测，选取目标跟踪的类别；
目标跟踪模块，用于对后续每个扩边视频帧进行目标检测与跟踪；
获取视频段模块，用于获取所有跟踪目标对应的视频段。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述的一种全景视频的目标追踪方法的步骤。
第四方面，本发明提供了一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的一种全景视频的目标追踪方法的步骤。
有益效果
本发明通过对全景视频帧进行扩边，在扩边视频帧上进行目标检测与追踪，实现获取每个追踪物体对应的视频段，且能使跟踪到的目标物体始终处在全景视频的中间或者平面视频的中心的效果，本发明还可以对感兴趣物体快速选择，实现浏览对应视频画面的效果。
附图说明
图1是本发明实施例一提供的一种全景视频的目标追踪方法流程图。
图2是本发明实施例二提供的一种全景视频的目标追踪模块示意图。
图3是本发明实施例三提供的便携式终端的结构示意图。
本发明的实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的一种全景视频的目标追踪方法包括以下步骤：
S101.获取全景视频的全景视频帧；
所述全景视频为全景的平面视频，当全景视频为全景的球面视频时，应先将全景的球面视频投射到全景的平面视频；
获取全景视频帧的总数S个，S为大于1的整数。
S102.将全景视频向一边作扩边处理，得到扩边视频帧；
所述一边为视频帧的左边或者右边；
所述将所述全景视频帧向一边作扩边处理，其中一个实施例为：对所述全景视频帧的左边进行扩边处理时，将视频画面靠右边的1/n的部分平行复制粘贴到左边，拼接生成扩边视频帧，其中n不等于0，n>0；
所述将所述全景视频帧向一边作扩边处理，另一个实施例为：当对所述全景视频帧的右边进行扩边处理时，将视频画面靠左边的1/n的部分平行复制粘贴到右边，拼接生成扩边视频帧，其中n不等于0，n>0；
所述扩边视频帧使全景视频展开后的全景视频帧画面有图像冗余，以解决投射法展开的全景视频帧画面的边界有目标物体被分成两半，导致用目标检测方法检测不出来的问题。
S103.对当前扩边视频帧进行目标检测，选取目标跟踪的类别；
以当前扩边视频帧为第i帧；对第i帧进行目标检测，预设目标检测的阈值为k，根据该阈值选取当前扩展视频帧目标跟踪的目标类别为个，其中i为大于1的整数，为大于0的整数；
所述跟踪的目标对象，包括但不限于人、动物和车辆等物体；
所述目标检测的方法可以是预训练的目标检测方法，所述预训练的目标检测方法具体为：通过预定义目标检测的类别，制作类别数据集，然后基于神经网络训练的目标检测算法；
进一步的，所述目标检测方法还可以是人脸检测方法、基于Region Proposal的深度学习目标检测算法和生物识别方法等，本申请不作具体限制。
S104.对后续每个扩边视频帧进行目标检测与跟踪；
令所述当前视频帧之后依次第j个扩边视频帧为第i+j帧，j为大于1的整数：
所述对后续每个扩边视频帧进行目标检测与跟踪具体包括：
S1041.依次对第i+j帧用所述目标检测方法进行目标检测，选取目标跟踪的类别个；
S1042.采用目标跟踪算法进行跟踪，若跟踪目标连续a帧出现，则将该目标加入追踪队列，若该目标连续b帧没有检测到，则结束该目标的跟踪，其中a和b为大于0的整数；
所述目标跟踪算法具体为：
若i＝1，则根据从第i帧图像中选取的跟踪目标作为第i帧图像中的所有跟踪目标；
若1＜i＜S，则根据从第i帧全景图像中中选取的跟踪目标和从第i帧跟踪得到的跟踪目标，作为第i帧图像中所有跟踪目标；
若i＝S，则将从第i帧中跟踪得到的所有跟踪目标作为第i帧图像中的所 有跟踪目标；
所述目标跟踪方法可以为iou-track跟踪算法或者sort跟踪算法；
进一步地，所述目标跟踪方法还可以为基于主动轮廓的跟踪方法、基于特征的跟踪方法、基于区域的跟踪方法和基于模型的跟踪方法等；
本发明实施例中，所述目标类别可以是通过目标检测方法检测到的，可以是通过目标跟踪方法跟踪到的，还可以是采用上述两种方法得到的；
所述目标跟踪算法一个实施例为采用iou-track跟踪算法；设定目标检测的阈值σl，对目标检测得分小于该阈值的结果进行过滤，剩下得分高于该阈值的检测框；对于每一帧，在当前帧的检测框中找到和当前追踪队列的追踪框中iou最大的检测框，然后判断该iou是否大于阈值，如果是，则将该检测框加入，作为与之匹配的追踪框在当前帧中的位置；否则，判断该追踪框在之前帧中的最大检测得分是否大于阈值σh，且在该帧之前目标出现的帧数是否大于阈值tmin；如果是，说明是一个正常的追踪物体，且在当前帧已经离开了屏幕，因此将该追踪物体移出追踪队列；对于没有匹配上的检测框，认为是一个新出现的物体，作为待追踪的物体将检测框加入到追踪队列中。
S105.获取所有跟踪目标对应的视频段；
所述所有跟踪目标为从视频开始检测的第一帧到直到结束检测为止，在追踪队列中出现的目标个数，设为X个，其中X为不小于1的整数；
所述回去所有跟踪目标对应的视频段具体为：分别获取每个追踪目标追踪成功的视频帧，将对应视频帧剪辑成对应视频段。
在S105步骤之后还可以使所述视频段始终以目标为中心进行平面显示；
使所述视频段始终以目标为中心进行平面显示具体采用中国专利“一种全景视频的目标跟踪方法、装置和全景相机，申请号：2018105415536”中的方法使视频始终以目标为中心进行平面显示推荐给用户；
所述推荐给用户的视频段以所有跟踪目标类别进行显示，供用户选择，当用户选择感兴趣物体时，可以实现浏览该物体对应视频段画面的效果。
在本发明中，通过对全景视频帧进行扩边，在扩边视频帧上进行目标检测与追踪，获取每个追踪物体对应的视频段，能实现使目标物体始终处在全景视频的中间或者平面视频的中心的效果；本发明还可以对感兴趣物体快速选择，实现浏览对应视频画面的效果。
实施例二：
请参阅图2，本发明实施例二提供的一种全景视频的目标追踪装置包括：
获取模块，用于获取全景视频的全景视频帧；
扩边模块，用于将全景视频向一边作扩边处理，得到扩边视频帧；
目标检测模块，用于对当前扩边视频帧进行目标检测，选取目标跟踪的类别；
目标跟踪模块，用于对后续每个扩边视频帧进行目标检测与跟踪；
获取视频段模块，用于获取所有跟踪目标对应的视频段。
本发明实施例二提供的一种全景视频的目标追踪的装置及本发明实施例一提供的一种全景视频的目标追踪方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
本发明实施例二提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的一种全景视频的目标追踪方法的步骤，所述计算机可读存储介质可以是非暂态计算机可读存储介质。
实施例四：
图3示出示出了本发明实施例三提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或 多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的一种全景视频的目标追踪方法的步骤。
在本发明实施例中，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

  1. 一种全景视频的目标追踪方法，其特征在于，包括以下步骤：
    获取全景视频的全景视频帧；
    将全景视频帧向一边作扩边处理，得到扩边视频帧；
    对当前扩边视频帧进行目标检测，选取目标跟踪的类别；
    对后续每个扩边视频帧进行目标检测与跟踪；
    获取所有跟踪目标对应的视频段。
  2. 如权利要求1所述的方法，其特征在于：所述获取所有跟踪目标对应的视频段之后还包括步骤：使所述视频段始终以目标为中心进行平面显示。
  3. 如权利要求1所述的方法，其特征在于：所述将全景视频向一边作扩边处理，得到扩边视频帧具体为：
    所述全景视频帧的总数为S个，S为大于1的整数；
    将全景视频帧的左边或右边的内容向右边或左边做扩边处理。
  4. 如权利要求3所述的方法，其特征在于，所述将全景视频帧的左边或右边的内容向右边或左边做扩边处理，具体为：
    当对所述全景视频帧的左边进行扩边处理时，将视频画面靠右边的1/n的部分平行复制粘贴到左边，拼接生成扩边视频帧，其中n不等于0，n>0；
    当对所述全景视频帧的右边进行扩边处理时，将视频画面靠左边的1/n的部分平行复制粘贴到右边，拼接生成扩边视频帧，其中n不等于0，n>0。
  5. 如权利要求1所述的方法，其特征在于：所述对当前扩边视频帧进行目标检测，选取目标跟踪的类别具体为：
    以当前扩边视频帧为第i帧；对第i帧进行目标检测，预设目标检测的阈值为k，选取当前扩展视频帧目标跟踪的目标类别为m i个，其中i为大于1的整数，m为大于0的整数。
  6. 如权利要求1所述的方法，其特征在于：所述的对后续每个扩边视频帧进行目标检测与跟踪具体包括：
    依次对第i+j帧用进行目标检测，选取目标跟踪的类别m i+j个；
    采用目标跟踪算法进行跟踪，若该目标连续a帧出现，则将该目标加入追踪队列；若该目标连续b帧没有检测到，则结束该目标的跟踪，a和b分别为大于1的整数；
    所述目标跟踪算法具体为：
    若i＝1，则根据从第i帧图像中选取的跟踪目标作为第i帧图像中的所有跟踪目标；
    若1＜i＜S，则根据从第i帧全景图像中中选取的跟踪目标和从第i帧跟踪得到的跟踪目标，作为第i帧图像中所有跟踪目标；
    若i＝S，则将从第i帧中跟踪得到的所有跟踪目标作为第i帧图像中的所有跟踪目标。
  7. 如权利要求1所述的方法，其特征在于：所述获取所有跟踪目标对应的视频段具体为；
    从全景视频帧开始检测的第一帧到最后一帧，总计检测X个目标类别，X为不小于1的整数；
    对全景视频帧采用上述方法检测追踪，获取每个追踪目标追踪成功的视频段。
  8. 一种全景视频的目标追踪的装置，其特征在于，包括：
    获取模块，用于获取全景视频的全景视频帧；
    扩边模块，用于将全景视频向一边作扩边处理，得到扩边视频帧；
    目标检测模块，用于对当前扩边视频帧进行目标检测，选取目标跟踪的类别；
    目标跟踪模块，用于对后续每个扩边视频帧进行目标检测与跟踪；
    获取视频段模块，用于获取所有跟踪目标对应的视频段。
  9. 一种全景视频的目标追踪的装置，其特征在于所述获取所有跟踪目标对应的视频段之后还包括步骤：使所述视频段始终以目标为中心进行平面显示。
  10. 一种计算机可读存储介质，其特征在于，所述计算机程序被处理器执行 时实现如权利要求1至7任一项所述的一种全景视频的目标追踪方法的步骤。
  11. 一种便携式终端，包括：
    一个或多个处理器；
    存储器；以及
    一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的一种全景视频的目标追踪方法的步骤。
PCT/CN2020/113643 2019-09-07 2020-09-05 一种全景视频的目标追踪方法、装置及便携式终端 WO2021043295A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910844750.XA CN110570448A (zh) 2019-09-07 2019-09-07 一种全景视频的目标追踪方法、装置及便携式终端
CN201910844750.X 2019-09-07

Publications (1)

Publication Number Publication Date
WO2021043295A1 true WO2021043295A1 (zh) 2021-03-11

Family

ID=68778347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/113643 WO2021043295A1 (zh) 2019-09-07 2020-09-05 一种全景视频的目标追踪方法、装置及便携式终端

Country Status (2)

Country Link
CN (1) CN110570448A (zh)
WO (1) WO2021043295A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158794A (zh) * 2021-03-16 2021-07-23 西安天和防务技术股份有限公司 目标检测方法、边缘设备及计算机可读存储介质
CN114650453A (zh) * 2022-04-02 2022-06-21 北京中庆现代技术股份有限公司 应用于课堂录播中的目标追踪方法、装置、设备以及介质
CN114764897A (zh) * 2022-03-29 2022-07-19 深圳市移卡科技有限公司 行为识别方法、装置、终端设备以及存储介质
CN117649537A (zh) * 2024-01-30 2024-03-05 浙江省公众信息产业有限公司 监控视频对象识别跟踪方法、系统、电子设备及存储介质
CN117939277A (zh) * 2022-10-24 2024-04-26 磁化电子株式会社 相机用致动器

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570448A (zh) * 2019-09-07 2019-12-13 深圳岚锋创视网络科技有限公司 一种全景视频的目标追踪方法、装置及便携式终端
CN111182218A (zh) * 2020-01-07 2020-05-19 影石创新科技股份有限公司 全景视频处理方法、装置、设备及存储介质
CN111242977B (zh) * 2020-01-09 2023-04-25 影石创新科技股份有限公司 全景视频的目标跟踪方法、可读存储介质及计算机设备
CN112884811A (zh) * 2021-03-18 2021-06-01 中国人民解放军国防科技大学 一种针对无人机集群的光电探测跟踪方法及系统
CN114598810A (zh) * 2022-01-18 2022-06-07 影石创新科技股份有限公司 全景视频的自动剪辑方法、全景相机、计算机程序产品及可读存储介质
CN115115969A (zh) * 2022-05-19 2022-09-27 腾讯科技（深圳）有限公司 视频检测方法、装置、设备、存储介质和程序产品
CN118587608B (zh) * 2024-07-31 2024-10-15 国网山东省电力公司微山县供电公司 基于时空特征的分布式光伏电站辐照度预测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1837952A (zh) * 2004-12-30 2006-09-27 微软公司 全景图像中死区的最小化
US9418546B1 (en) * 2015-11-16 2016-08-16 Iteris, Inc. Traffic detection with multiple outputs depending on type of object detected
CN106056531A (zh) * 2016-05-13 2016-10-26 杭州当虹科技有限公司 一种360度全景视频球面展开到平面的显示方法
CN106254874A (zh) * 2016-09-19 2016-12-21 上海国茂数字技术有限公司 一种全景视频编码方法及装置
CN108055500A (zh) * 2017-11-21 2018-05-18 北京隐身工程技术研究院有限公司 一种红外全景监控中两个全景显示区的连续显示方法
CN108848304A (zh) * 2018-05-30 2018-11-20 深圳岚锋创视网络科技有限公司 一种全景视频的目标跟踪方法、装置和全景相机
CN110570448A (zh) * 2019-09-07 2019-12-13 深圳岚锋创视网络科技有限公司 一种全景视频的目标追踪方法、装置及便携式终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4437530B2 (ja) * 2004-01-21 2010-03-24 ソニー株式会社 映像配信装置、映像配信方法、映像配信プログラム、自動追尾表示装置、自動追尾表示方法、自動追尾表示プログラム及び映像配信システム
CN101577006B (zh) * 2009-06-15 2015-03-04 北京中星微电子有限公司 视频监控中的徘徊检测方法和系统
CN102147859B (zh) * 2011-04-06 2012-11-21 浙江浙大华是科技有限公司 一种船舶监控方法
JP5896781B2 (ja) * 2012-02-29 2016-03-30 キヤノン株式会社 画像処理装置および画像処理方法
JP6224465B2 (ja) * 2014-01-17 2017-11-01 日本電信電話株式会社 映像配信システム、映像配信方法及び映像配信プログラム
CN104539890A (zh) * 2014-12-18 2015-04-22 苏州阔地网络科技有限公司 一种目标跟踪方法及系统
CN107564039A (zh) * 2017-08-31 2018-01-09 成都观界创宇科技有限公司 应用于全景视频的多目标跟踪方法及全景相机
CN109521419B (zh) * 2017-09-20 2021-07-20 比亚迪股份有限公司 基于车辆雷达的目标跟踪方法和装置
CN110197126A (zh) * 2019-05-06 2019-09-03 深圳岚锋创视网络科技有限公司 一种目标追踪方法、装置及便携式终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1837952A (zh) * 2004-12-30 2006-09-27 微软公司 全景图像中死区的最小化
US9418546B1 (en) * 2015-11-16 2016-08-16 Iteris, Inc. Traffic detection with multiple outputs depending on type of object detected
CN106056531A (zh) * 2016-05-13 2016-10-26 杭州当虹科技有限公司 一种360度全景视频球面展开到平面的显示方法
CN106254874A (zh) * 2016-09-19 2016-12-21 上海国茂数字技术有限公司 一种全景视频编码方法及装置
CN108055500A (zh) * 2017-11-21 2018-05-18 北京隐身工程技术研究院有限公司 一种红外全景监控中两个全景显示区的连续显示方法
CN108848304A (zh) * 2018-05-30 2018-11-20 深圳岚锋创视网络科技有限公司 一种全景视频的目标跟踪方法、装置和全景相机
CN110570448A (zh) * 2019-09-07 2019-12-13 深圳岚锋创视网络科技有限公司 一种全景视频的目标追踪方法、装置及便携式终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158794A (zh) * 2021-03-16 2021-07-23 西安天和防务技术股份有限公司 目标检测方法、边缘设备及计算机可读存储介质
CN113158794B (zh) * 2021-03-16 2024-05-28 西安天和防务技术股份有限公司 目标检测方法、边缘设备及计算机可读存储介质
CN114764897A (zh) * 2022-03-29 2022-07-19 深圳市移卡科技有限公司 行为识别方法、装置、终端设备以及存储介质
CN114650453A (zh) * 2022-04-02 2022-06-21 北京中庆现代技术股份有限公司 应用于课堂录播中的目标追踪方法、装置、设备以及介质
CN114650453B (zh) * 2022-04-02 2023-08-15 北京中庆现代技术股份有限公司 应用于课堂录播中的目标追踪方法、装置、设备以及介质
CN117939277A (zh) * 2022-10-24 2024-04-26 磁化电子株式会社 相机用致动器
CN117649537A (zh) * 2024-01-30 2024-03-05 浙江省公众信息产业有限公司 监控视频对象识别跟踪方法、系统、电子设备及存储介质
CN117649537B (zh) * 2024-01-30 2024-04-26 浙江省公众信息产业有限公司 监控视频对象识别跟踪方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN110570448A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
WO2021043295A1 (zh) 一种全景视频的目标追踪方法、装置及便携式终端
US11170210B2 (en) Gesture identification, control, and neural network training methods and apparatuses, and electronic devices
Fan et al. Inferring shared attention in social scene videos
Ling et al. A saliency prediction model on 360 degree images using color dictionary based sparse representation
WO2022156640A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
US9141875B2 (en) Method and system for correcting gaze offset
Alameda-Pineda et al. Analyzing free-standing conversational groups: A multimodal approach
US8390667B2 (en) Pop-up PIP for people not in picture
US20200193577A1 (en) Method and apparatus for implementing image enhancement, and electronic device
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
WO2022156622A1 (zh) 脸部图像的视线矫正方法、装置、设备、计算机可读存储介质及计算机程序产品
WO2020037881A1 (zh) 运动轨迹绘制方法、装置、设备和存储介质
CN110866563B (zh) 相似视频检测、推荐方法、电子设备和存储介质
CN111723707A (zh) 一种基于视觉显著性的注视点估计方法及装置
CN111325107B (zh) 检测模型训练方法、装置、电子设备和可读存储介质
WO2022267653A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
WO2020135394A1 (zh) 视频拼接方法及装置
WO2022148248A1 (zh) 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品
Gao et al. Non-goal scene analysis for soccer video
Xiong et al. Snap angle prediction for 360 panoramas
CN112668487B (zh) 一种基于身体重合度与人体相似性相融合的老师跟踪方法
Thomas et al. Perceptual synoptic view of pixel, object and semantic based attributes of video
Sato et al. Sensing and controlling human gaze in daily living space for human-harmonized information environments
CN114222065A (zh) 图像处理方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20859847

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20859847

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 30.08.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20859847

Country of ref document: EP

Kind code of ref document: A1