WO2019228196A1 - 一种全景视频的目标跟踪方法和全景相机 - Google Patents

一种全景视频的目标跟踪方法和全景相机 Download PDF

Info

Publication number
WO2019228196A1
WO2019228196A1 PCT/CN2019/087274 CN2019087274W WO2019228196A1 WO 2019228196 A1 WO2019228196 A1 WO 2019228196A1 CN 2019087274 W CN2019087274 W CN 2019087274W WO 2019228196 A1 WO2019228196 A1 WO 2019228196A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking target
tracking
scale
target
virtual camera
Prior art date
Application number
PCT/CN2019/087274
Other languages
English (en)
French (fr)
Inventor
蔡锦霖
姜文杰
陈聪
Original Assignee
深圳岚锋创视网络科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳岚锋创视网络科技有限公司 filed Critical 深圳岚锋创视网络科技有限公司
Priority to US15/733,866 priority Critical patent/US11509824B2/en
Priority to JP2020565936A priority patent/JP7048764B6/ja
Priority to EP19810200.6A priority patent/EP3817360A4/en
Publication of WO2019228196A1 publication Critical patent/WO2019228196A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the invention belongs to the field of panoramic cameras, and in particular relates to a method for tracking a target of a panoramic video and a panoramic camera.
  • Target tracking is a classic problem in computer vision research, which means that computers, cameras, etc. track and locate targets based on some algorithm, and adopt corresponding strategies according to the position and movement of the target.
  • target tracking has been widely used in various fields such as video surveillance, video coding, and military engineering.
  • the prior art panoramic camera can capture surrounding 360 ° video information, and there are also some technical solutions that can implement target tracking in panoramic video, such as "an electronic gimbal-based tracking method and device" disclosed in application publication number CN107315992A. .
  • this method is based on the tracking of feature points, and cannot track scenes with a single color in the texture area and rich feature points.
  • the object of the present invention is to provide a method for tracking a target of a panoramic video, a computer-readable storage medium, and a panoramic camera. problem.
  • the present invention provides a method for tracking a target of a panoramic video, the method including:
  • the present invention provides a computer-readable storage medium that stores a computer program that, when executed by a processor, implements the steps of a method for tracking a target of a panoramic video as described above.
  • the present invention provides a panoramic camera, including:
  • One or more processors are One or more processors;
  • One or more computer programs wherein the one or more computer programs are stored in the memory and are configured to be executed by the one or more processors, wherein the processors execute the A computer program implements the steps of a method for tracking an object of a panoramic video as described above.
  • the tracking is more robust, it can cope with more tracking scenes, and the processing speed is faster; in addition, due to the automatic electronic cloud Technology, so that the tracking target is always in the center of the picture.
  • FIG. 1 is a flowchart of a method for tracking a target of a panoramic video provided by Embodiment 1 of the present invention.
  • FIG. 2 is a specific structural block diagram of a panoramic camera provided by Embodiment 3 of the present invention.
  • the target tracking method for a panoramic video provided by the first embodiment of the present invention includes the following steps: It should be noted that if the result is substantially the same, the target tracking method for a panoramic video according to the present invention is not based on The sequence shown is limited.
  • the method may further include the following steps:
  • the Kalman filter is used to smooth the coordinate points of the center of the video frame, so that the output panoramic video is more stable.
  • S201 may specifically include the following steps:
  • Electronic PTZ technology refers to the technology that controls the angle of view and zoom of the lens inside the camera through program settings.
  • the electronic PTZ technology can simulate a PTZ camera to achieve left-right movement, tilt-up and zoom of the camera.
  • the electronic gimbal technology includes smoothing and prediction of camera movements that track the position.
  • S2013 Re-project the panoramic image to the current electronic PTZ view angle image according to the initial electronic PTZ parameters.
  • S2013 may specifically be:
  • Formula (1) reprojects the panoramic image to the current electronic gimbal perspective image, where: Yes Map to the coordinate position in the electronic gimbal perspective image, The coordinates of the panoramic image are converted into three-dimensional coordinates on the unit circle.
  • Formula (2) K k is the virtual camera perspective matrix, and R k is the coordinate system from the world coordinate system to the virtual camera.
  • ⁇
  • Normalize spherical coordinates for the world coordinate system
  • c x , c y are the projection centers of the virtual camera
  • u and v are the two-dimensional coordinates of the panoramic image, which are normalized to [0,2 ⁇ ], [0, ⁇ ], P u, v Represents the point where this two-dimensional coordinate is mapped to three-dimensional coordinate
  • ⁇ is just a parameter expression.
  • ⁇
  • has no specific meaning. Instead of q in ⁇ (q), we can get the calculation and derivation method of the camera rotation amount R k here.
  • S2014 Receive the position of the tracking target manually selected by the user in the current PTZ perspective image.
  • the position of the tracking target may specifically be a rectangular frame of the tracking target. among them, Represents the center of the rectangular frame of the initial tracking target, w 0 and h 0 represent the width and height of the rectangular frame of the tracking target, and x 0 and y 0 are the center coordinates of the rectangular frame of the tracking target;
  • S2015 may specifically be:
  • s 0 is the size of the currently detected tracking target, which can be expressed by the width of the tracking target
  • f 0 is the focal length of the virtual camera
  • h 0 is the height of the rectangular frame.
  • Used to control the tilt of the virtual camera Used to control the virtual camera to move left and right, Used to control virtual camera zoom. with They are the initial calculation of the tilt angle and left-right movement amount of the virtual camera.
  • ⁇ k Is the spherical coordinate position of the calculated tracking target, Is the viewpoint coordinate position smoothed by the Kalman filter.
  • ⁇ 0 Is the initial position, That is, initially, the virtual camera is centered on the tracking target.
  • S202 may specifically include the following steps:
  • S2021 specifically includes the following steps:
  • Cost function of the location tracking model (cost function refers to the function used to measure the difference between the predicted value and the true value) Equation (3) is transformed into the Fourier domain: Equation (4) can be solved by using the gradient descent method.
  • D represents the number of samples
  • ⁇ ( ⁇ 0) represents the regular term coefficient
  • Represents the complex conjugate of G k Express Complex conjugate.
  • S2022 specifically includes the following steps:
  • Parameters representing the position tracking model at frame 0 Parameters representing the position tracking model at time k-1, Represents the parameters of the position tracking model at time k, ⁇ represents the learning rate, and the speed of the model update,
  • S2023 specifically includes the following steps:
  • the e-PTZ parameters of the next frame are predicted from the position of the tracking target at k-1, and the plane position of the tracking target at the current electronic PTZ parameters is calculated by S2014. And size
  • S2024 Obtain a training sample of the scale tracking model according to the size of the rectangular frame that increases or decreases the tracking target by the scale change, and repeat S2021 to S2023 to obtain the correlated filtered scale sk .
  • S2024 specifically includes the following steps:
  • the obtaining method is to obtain a training sample of the scale tracking model by increasing or decreasing the size of the rectangular frame of the tracking target by changing the scale, and repeating S2021 to S2023 to obtain the correlated filtered scale sk .
  • the scale change refers to keeping the translation position p k of the tracking target unchanged, and multiplying the width and height of the rectangular frame of the tracking target by a coefficient to obtain a new rectangular area as a new sample.
  • the scale change is given by:
  • w refers to the width of the rectangular frame of the tracking target
  • h refers to the height of the rectangular frame of the tracking target
  • S indicates the number of scales, here is 33.
  • a 1.01 represents the scale factor. At each scale, a maximum similarity can be calculated, and the scale with the largest similarity is compared as the scale sk of the current tracking target.
  • the rectangle of the new tracking target is represented as Where w k-1 and h k-1 represent the width and height of the rectangular frame of the tracking target at the k-1 frame.
  • the second embodiment of the present invention provides a computer-readable storage medium.
  • the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the object tracking of the panoramic video provided by the first embodiment of the present invention is performed. Method steps.
  • FIG. 2 shows a specific structural block diagram of a panoramic camera according to a third embodiment of the present invention.
  • a panoramic camera 100 includes: one or more processors 101, a memory 102, and one or more computer programs. 101 and the memory 102 are connected by a bus, the one or more computer programs are stored in the memory 102, and are configured to be executed by the one or more processors 101, the processors 101 executing all When describing the computer program, the steps of the method for implementing the target tracking method of the panoramic video provided by the first embodiment of the present invention are described.
  • the tracking is more robust, it can cope with more tracking scenes, and the processing speed is faster; in addition, because of the automatic electronic cloud, Technology, so that the tracking target is always in the center of the picture.
  • the program may be stored in a computer-readable storage medium.
  • the storage medium may include: Read-only memory (ROM, Read Only Memory), random access memory (RAM, Random Access Memory), magnetic disks or optical disks, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明适用于全景相机领域，提供了一种全景视频的目标跟踪方法和全景相机。所述方法基于多尺度相关滤波器对全景视频的目标进行跟踪，并采用自动电子云台技术。本发明跟踪的鲁棒性更高，可以应对更多的跟踪场景，而且处理速度更快，且可以使跟踪目标始终处于画面中心。

Description

一种全景视频的目标跟踪方法和全景相机 技术领域
本发明属于全景相机领域，尤其涉及一种全景视频的目标跟踪方法和全景相机。
背景技术
目标跟踪是计算机视觉研究中的经典问题，是指计算机、摄像机等根据某种算法对目标进行跟踪和定位，并根据目标的位置和动向采取相应的策略。近些年来，目标跟踪被广泛应用于视频监控、视频编码以及军事工程等各种领域。现有技术的全景相机可以捕获到周围360°视频信息，也有一些技术方案能实现在全景视频中进行目标跟踪，例如申请公布号为CN107315992A公开的“一种基于电子云台的跟踪方法及装置”。然而，该方法是基于特征点的跟踪，无法对一些纹理区域色彩单一，特征点不丰富的场景进行跟踪。
技术问题
本发明的目的在于提供一种全景视频的目标跟踪方法、计算机可读存储介质和全景相机，旨在解决现有技术的全景相机无法对一些纹理区域色彩单一，特征点不丰富的场景进行跟踪的问题。
技术解决方案
第一方面，本发明提供了一种全景视频的目标跟踪方法，所述方法包括：
S201、初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
S202、在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
S203、将新的跟踪目标的位置映射回全景球面方位坐标；
S204、根据全景球面方位坐标和尺度计算电子云台的参数，映射到 当前的电子云台视角图像，得到新的视频帧，然后返回S201，直至全景视频结束。
第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的全景视频的目标跟踪方法的步骤。
第三方面，本发明提供了一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如上述的全景视频的目标跟踪方法的步骤。
有益效果
在本发明中，由于是基于多尺度相关滤波器对全景视频的目标进行跟踪，跟踪的鲁棒性更高，可以应对更多的跟踪场景，而且处理速度更快；另外，由于通过自动电子云台技术，因此可以使跟踪目标始终处于画面中心。
附图说明
图1是本发明实施例一提供的全景视频的目标跟踪方法的流程图。
图2是本发明实施例三提供的全景相机的具体结构框图。
本发明的实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的全景视频的目标跟踪方法包括以下步骤：需注意的是，若有实质上相同的结果，本发明的全景视频的目标跟踪方法并不以图1所示的流程顺序为限。
S201、初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像，即当前局部的透视视图；
S202、在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
S203、将新的跟踪目标的位置映射回全景球面方位坐标；
S204、根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回S201，直至全景视频结束。
在本发明实施例一中，得到新的视频帧之后，所述方法还可以包括以下步骤：
S205、用卡尔曼滤波器对视频帧的中心的坐标点进行平滑，使得输出的全景视频更平稳。
在本发明实施例一中，S201具体可以包括以下步骤：
S2011、初始化跟踪目标在球面坐标系的位置及尺度。
S2012、通过电子云台(ePTZ)旋转虚拟相机到跟踪目标所在视角，调整虚拟相机的焦距，得到初始的电子云台参数
Figure PCTCN2019087274-appb-000001
初始的电子云台参数使虚拟相机中心对准初始化的跟踪目标的位置，其中，
Figure PCTCN2019087274-appb-000002
用于控制虚拟相机上下倾斜，
Figure PCTCN2019087274-appb-000003
用于控制虚拟相机左右移动，
Figure PCTCN2019087274-appb-000004
用于控制虚拟相机缩放。
电子云台技术是指通过程序设置，在摄像机内部控制镜头的视角和 变焦的技术。电子云台技术可以模拟PTZ相机，实现相机的左右移动、上下倾斜以及缩放。电子云台技术包括对跟踪位置的相机运动的平滑和预测。
S2013、根据初始的电子云台参数对全景图像进行重投影变换到当前电子云台视角图像。
在本发明实施例一中，S2013具体可以为：
由
Figure PCTCN2019087274-appb-000005
公式(1)对全景图像进行重投影变换到当前电子云台视角图像，其中，
Figure PCTCN2019087274-appb-000006
是
Figure PCTCN2019087274-appb-000007
映射到电子云台视角图像中的坐标位置，
Figure PCTCN2019087274-appb-000008
是全景图像坐标转化为单位圆上三维坐标，
Figure PCTCN2019087274-appb-000009
公式(2)，K k是虚拟相机透视矩阵，R k是世界坐标系到虚拟相机的坐标系，
Figure PCTCN2019087274-appb-000010
Figure PCTCN2019087274-appb-000011
θ＝||q||，
Figure PCTCN2019087274-appb-000012
Figure PCTCN2019087274-appb-000013
为世界坐标系归一化球面坐标，
Figure PCTCN2019087274-appb-000014
为P u,v在虚拟相机成像面坐标，
Figure PCTCN2019087274-appb-000015
用于控制虚拟相机缩放，c x，c y为虚拟相机投影中心，u和v是全景图像的二维坐标，分别归一化到[0,2π],[0,π]，P u,v代表这个二维坐标映射到三维坐标上的点，q x、q y和q z是q的三个分量；这里只是为了简化公式R k，用
Figure PCTCN2019087274-appb-000016
和
Figure PCTCN2019087274-appb-000017
替代q，可以推导其公式。θ只是参 数表示，此处，θ＝||q||，没有具体含义，用
Figure PCTCN2019087274-appb-000018
替代Φ(q)中的q可以得到此处相机旋转量R k计算推导方法。
S2014、在当前电子云台视角图像中，接收用户手动选择的跟踪目标的位置。
在本发明实施例一中，所述跟踪目标的位置具体可以是跟踪目标的矩形框
Figure PCTCN2019087274-appb-000019
其中，
Figure PCTCN2019087274-appb-000020
表示初始化的跟踪目标的矩形框中心，w 0,h 0分别表示跟踪目标的矩形框的宽和高，x 0和y 0是跟踪目标的矩形框的中心坐标；
S2015、根据在当前电子云台视角图像中的跟踪目标的位置计算跟踪目标在球面坐标系的位置及尺度。
在本发明实施例一中，S2015具体可以为：
由
Figure PCTCN2019087274-appb-000021
计算跟踪目标在球面坐标系的位置及尺度
Figure PCTCN2019087274-appb-000022
其中，
Figure PCTCN2019087274-appb-000023
其中，s 0是当前检测的跟踪目标的尺度，可以用跟踪目标的宽度表示，f 0是虚拟相机的焦距，h 0是矩形框的高，
Figure PCTCN2019087274-appb-000024
用于控制虚拟相机上下倾斜，
Figure PCTCN2019087274-appb-000025
用于控制虚拟相机左右移动，
Figure PCTCN2019087274-appb-000026
用于控制虚拟相机缩放。
Figure PCTCN2019087274-appb-000027
和
Figure PCTCN2019087274-appb-000028
分别是初始计算的虚拟相机上下倾角和左右移动量。θ k、
Figure PCTCN2019087274-appb-000029
是计算的跟踪目标所在的球面坐标位置，
Figure PCTCN2019087274-appb-000030
是卡尔曼滤波器平滑的视点坐标位置。θ 0、
Figure PCTCN2019087274-appb-000031
为初始位置，
Figure PCTCN2019087274-appb-000032
即初始时虚拟相机以跟踪目标为中心。
在本发明实施例一中，S202具体可以包括以下步骤：
S2021、选取跟踪目标邻域范围内平移跟踪目标的矩形框得到预定数量训练样本来训练位置跟踪模型。
在本发明实施例一中，S2021具体包括以下步骤：
将位置跟踪模型的代价函数(代价函数是指用于衡量预测值和真实值之前的差异的函数)
Figure PCTCN2019087274-appb-000033
公式(3)转换到傅里叶域：
Figure PCTCN2019087274-appb-000034
公式(4)采用梯度下降法可以求解公式(4)的解为
Figure PCTCN2019087274-appb-000035
其中，
Figure PCTCN2019087274-appb-000036
分别表示k时刻跟踪目标第l个训练样本的Hog(Histogram of Oriented Gradient)特征和相应的傅里叶域的特征，g k、G k分别表示高斯回归矩阵特征和相应的傅里叶域的特征，d表示样本的个数，
Figure PCTCN2019087274-appb-000037
表示卷积，
Figure PCTCN2019087274-appb-000038
分别表示k时刻的相关滤波系数和相应的傅里叶域的特征，λ(λ≥0)表示正则项系数，
Figure PCTCN2019087274-appb-000039
表示G k的复数共轭，
Figure PCTCN2019087274-appb-000040
表示
Figure PCTCN2019087274-appb-000041
的复数共轭。
S2022、根据位置跟踪模型的解
Figure PCTCN2019087274-appb-000042
来迭代更新位置跟踪模型的参数。
在本发明实施例一中，S2022具体包括以下步骤：
根据位置跟踪模型的解
Figure PCTCN2019087274-appb-000043
来更新位置跟踪模型的参数如下：
Figure PCTCN2019087274-appb-000044
Figure PCTCN2019087274-appb-000045
其中，
Figure PCTCN2019087274-appb-000046
表示第0帧位置跟踪模型的参数，
Figure PCTCN2019087274-appb-000047
表示k-1时刻的位置跟踪模型的参数，
Figure PCTCN2019087274-appb-000048
表示k时刻的位置跟踪模型的参数，η表示学习率，表示模型更新快慢，
S2023、根据当前电子云台输出位置和尺寸以及位置跟踪模型的参数预测跟踪目标的平移位置。
在本发明实施例一中，S2023具体包括以下步骤：
由k-1的跟踪目标的位置预测后一帧的电子云台参数，并由S2014计算跟踪目标在当前电子云台参数下的跟踪目标的平面位置
Figure PCTCN2019087274-appb-000049
以及尺寸
Figure PCTCN2019087274-appb-000050
Figure PCTCN2019087274-appb-000051
公式(10)，其中，λ表示正则化参数(一般取值0.01)，B k、
Figure PCTCN2019087274-appb-000052
都表示跟踪模型在k时刻的模型参数(在S2022计算)，d表示样本数量，F -1表示逆傅里叶变换，
Figure PCTCN2019087274-appb-000053
表示在k时刻电子云台输出位置和尺寸所确定的跟踪目标区域Hog特征的傅里叶变换，response k表示K时刻跟踪目标的响应图，即该响应图中每个点的值等于样本与跟踪目标的相似度，找到响应图中像素值最大位置就是找到跟跟踪目标最相似的位置。即：跟踪目标的平移位置p k＝findMax(response k)。
S2024、根据由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度s k。
在本发明实施例一中，S2024具体包括以下步骤：
通过公式
Figure PCTCN2019087274-appb-000054
中
Figure PCTCN2019087274-appb-000055
获得方式，即由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度s k。
尺度变化是指在保持跟踪目标的平移位置p k不变，跟踪目标的矩形框的宽和高都乘以一个系数，得到一个新的矩形区域，作为新的样本。尺 度变化由下面公式给出：
s i＝a iw+a ih 
Figure PCTCN2019087274-appb-000056
其中，w是指跟踪目标的矩形框的宽，h指跟踪目标的矩形框的高，S表示尺度的个数，这里取33。a＝1.01表示尺度因子。在每个尺度上都可以计算出一个最大相似度，比较找到最大相似度的尺度作为当前跟踪目标的尺度s k。
S2025、根据由跟踪目标的平移位置p k和尺度s k，得到新的跟踪目标的矩形框。
新的跟踪目标的矩形框表示为
Figure PCTCN2019087274-appb-000057
其中w k-1,h k-1表示第k-1帧的跟踪目标的矩形框的宽和高。
S2026、计算新的跟踪目标的矩形框rect k在球面坐标系的位置及尺度。
实施例二：
本发明实施例二提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的全景视频的目标跟踪方法的步骤。
实施例三：
图2示出了本发明实施例三提供的全景相机的具体结构框图，一种全景相机100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现 如本发明实施例一提供的全景视频的目标跟踪方法的步骤。
在本发明中，由于是基于多尺度相关滤波器对全景视频的目标进行跟踪，跟踪的鲁棒性更高，可以应对更多的跟踪场景，而且处理速度更快；另外，由于通过自动电子云台技术，因此可以使跟踪目标始终处于画面中心。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

  1. 一种全景视频的目标跟踪方法，其特征在于，所述方法包括：
    S201、初始化跟踪目标在球面坐标系的位置及尺度，计算电子云台参数，将全景图像映射到当前电子云台视角图像；
    S202、在当前电子云台视角图像上基于多尺度相关滤波器进行目标跟踪，并得到新的跟踪目标的位置以及尺度；
    S203、将新的跟踪目标的位置映射回全景球面方位坐标；
    S204、根据全景球面方位坐标和尺度计算电子云台的参数，映射到当前的电子云台视角图像，得到新的视频帧，然后返回S201，直至全景视频结束。
  2. 如权利要求1所述的方法，其特征在于，所述得到新的视频帧之后，所述方法还包括以下步骤：
    S205、用卡尔曼滤波器对视频帧的中心的坐标点进行平滑，使得输出的全景视频更平稳。
  3. 如权利要求1或2所述的方法，其特征在于，S201具体包括：
    S2011、初始化跟踪目标在球面坐标系的位置及尺度；
    S2012、通过电子云台旋转虚拟相机到跟踪目标所在视角，调整虚拟相机的焦距，得到初始的电子云台参数
    Figure PCTCN2019087274-appb-100001
    初始的电子云台参数使虚拟相机中心对准初始化的跟踪目标的位置，其中，
    Figure PCTCN2019087274-appb-100002
    用于控制虚拟相机上下倾斜，
    Figure PCTCN2019087274-appb-100003
    用于控制虚拟相机左右移动，
    Figure PCTCN2019087274-appb-100004
    用于控制虚拟相机缩放；
    S2013、根据初始的电子云台参数对全景图像进行重投影变换到当前电子云台视角图像；
    S2014、在当前电子云台视角图像中，接收用户手动选择的跟踪目标的位置；
    S2015、根据在当前电子云台视角图像中的跟踪目标的位置计算跟踪目标在球面坐标系的位置及尺度。
  4. 如权利要求3所述的方法，其特征在于，S202具体包括：
    S2021、选取跟踪目标邻域范围内平移跟踪目标的矩形框得到预定数量训练样本来训练位置跟踪模型；
    S2022、根据位置跟踪模型的解来迭代更新位置跟踪模型的参数；
    S2023、根据当前电子云台输出位置和尺寸以及位置跟踪模型的参数预测跟踪目标的平移位置；
    S2024、根据由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度；
    S2025、根据由跟踪目标的平移位置和尺度，得到新的跟踪目标的矩形框；
    S2026、计算新的跟踪目标的矩形框在球面坐标系的位置及尺度。
  5. 如权利要求4所述的方法，其特征在于，所述S2013具体为：
    由
    Figure PCTCN2019087274-appb-100005
    公式(1)对全景图像进行重投影变换到当前电子云台视角图像，其中，
    Figure PCTCN2019087274-appb-100006
    是
    Figure PCTCN2019087274-appb-100007
    映射到电子云台视角图像中的坐标位置，
    Figure PCTCN2019087274-appb-100008
    是全景图像坐标转化为单位圆上三维坐标，
    Figure PCTCN2019087274-appb-100009
    公式(2)，K k是虚拟相机透视矩阵，R k是世界坐标系到虚拟相机的坐标系，
    Figure PCTCN2019087274-appb-100010
    Figure PCTCN2019087274-appb-100011
    θ＝||q||，
    Figure PCTCN2019087274-appb-100012
    Figure PCTCN2019087274-appb-100013
    为世界坐标系归一化球面坐标，
    Figure PCTCN2019087274-appb-100014
    为P u,v在虚拟相机成像面坐标，
    Figure PCTCN2019087274-appb-100015
    用于控制虚拟相机缩放，c x，c y为虚拟相机投影中心，u和v 是全景图像的二维坐标，分别归一化到[0,2π],[0,π]，P u,v代表这个二维坐标映射到三维坐标上的点，q x、q y和q z是q的三个分量；为了简化公式R k，用
    Figure PCTCN2019087274-appb-100016
    和
    Figure PCTCN2019087274-appb-100017
    替代q，θ是参数表示，θ＝||q||，没有具体含义，用
    Figure PCTCN2019087274-appb-100018
    替代Φ(q)中的q得到相机旋转量R k计算推导方法；
    所述跟踪目标的位置具体是跟踪目标的矩形框
    Figure PCTCN2019087274-appb-100019
    其中，
    Figure PCTCN2019087274-appb-100020
    表示初始化的跟踪目标的矩形框中心，w 0,h 0分别表示跟踪目标的矩形框的宽和高，x 0和y 0是跟踪目标的矩形框的中心坐标；
    所述S2015具体为：
    由
    Figure PCTCN2019087274-appb-100021
    计算跟踪目标在球面坐标系的位置及尺度
    Figure PCTCN2019087274-appb-100022
    其中，
    Figure PCTCN2019087274-appb-100023
    其中，s 0是当前检测的跟踪目标的尺度，用跟踪目标的宽度表示，f 0是虚拟相机的焦距，h 0是矩形框的高，
    Figure PCTCN2019087274-appb-100024
    用于控制虚拟相机上下倾斜，
    Figure PCTCN2019087274-appb-100025
    用于控制虚拟相机左右移动，
    Figure PCTCN2019087274-appb-100026
    用于控制虚拟相机缩放，
    Figure PCTCN2019087274-appb-100027
    和
    Figure PCTCN2019087274-appb-100028
    分别是初始计算的虚拟相机上下倾角和左右移动量，θ k、
    Figure PCTCN2019087274-appb-100029
    是计算的跟踪目标所在的球面坐标位置，
    Figure PCTCN2019087274-appb-100030
    是卡尔曼滤波器平滑的视点坐标位置，θ 0、
    Figure PCTCN2019087274-appb-100031
    为初始位置，
    Figure PCTCN2019087274-appb-100032
    即初始时虚拟相机以跟踪目标为中心。
  6. 如权利要求5所述的方法，其特征在于，所述S2021具体包括：
    将位置跟踪模型的代价函数
    Figure PCTCN2019087274-appb-100033
    公式(3)转换到傅里叶域：
    Figure PCTCN2019087274-appb-100034
    公式(4)采用梯度下降法求解公式(4)的解为
    Figure PCTCN2019087274-appb-100035
    其中，
    Figure PCTCN2019087274-appb-100036
    分别表示k时刻跟踪目标第l个训练样本的Hog特征和相应的傅里叶域的特征，g k、G k分别表示高斯回归矩阵特征和相应的傅里叶域的特征，d表示样本的个数，
    Figure PCTCN2019087274-appb-100037
    表示卷积，
    Figure PCTCN2019087274-appb-100038
    分别表示k时刻的相关滤波系数和相应的傅里叶域的特征，λ(λ≥0)表示正则项系数，
    Figure PCTCN2019087274-appb-100039
    表示G k的复数共轭，
    Figure PCTCN2019087274-appb-100040
    表示
    Figure PCTCN2019087274-appb-100041
    的复数共轭。
  7. 如权利要求6所述的方法，其特征在于，所述S2022具体包括：
    根据位置跟踪模型的解
    Figure PCTCN2019087274-appb-100042
    来更新位置跟踪模型的参数如下：
    Figure PCTCN2019087274-appb-100043
    Figure PCTCN2019087274-appb-100044
    其中，
    Figure PCTCN2019087274-appb-100045
    表示第0帧位置跟踪模型的参数，
    Figure PCTCN2019087274-appb-100046
    表示k-1时刻的位置跟踪模型的参数，
    Figure PCTCN2019087274-appb-100047
    表示k时刻的位置跟踪模型的参数，η表示学习率，表示模型更新快慢。
  8. 如权利要求7所述的方法，其特征在于，所述S2023具体包括：
    由k-1的跟踪目标的位置预测后一帧的电子云台参数，并由S1013计算跟踪目标在当前电子云台参数下的跟踪目标的平面位置
    Figure PCTCN2019087274-appb-100048
    以及尺寸
    Figure PCTCN2019087274-appb-100049
    Figure PCTCN2019087274-appb-100050
    公式(10)，其中，λ表示正则化参数，B k、
    Figure PCTCN2019087274-appb-100051
    都表示跟踪模型在k时刻的模型参数，d表示样本数量，F -1表示逆傅里叶变换，
    Figure PCTCN2019087274-appb-100052
    表示在k时刻电子云台输出位置和尺寸所确定的跟踪目标区域Hog特征的傅里叶变换，response k表示K时刻跟踪目标的响应图，即该响应图中每个点 的值等于样本与跟踪目标的相似度，找到响应图中像素值最大位置就是找到跟跟踪目标最相似的位置，即：跟踪目标的平移位置p k＝findMax(response k)。
  9. 如权利要求8所述的方法，其特征在于，所述S2024具体包括：
    通过公式
    Figure PCTCN2019087274-appb-100053
    中
    Figure PCTCN2019087274-appb-100054
    获得方式，即由尺度变化增大或缩小跟踪目标的矩形框大小获得尺度跟踪模型的训练样本，重复S2021至S2023得到相关滤波的尺度s k；
    尺度变化是指在保持跟踪目标的平移位置p k不变，跟踪目标的矩形框的宽和高都乘以一个系数，得到一个新的矩形区域，作为新的样本；尺度变化由下面公式给出：s i＝a iw+a ih
    Figure PCTCN2019087274-appb-100055
    其中，w是指跟踪目标的矩形框的宽，h指跟踪目标的矩形框的高，S表示尺度的个数，a＝1.01表示尺度因子，在每个尺度上都可以计算出一个最大相似度，比较找到最大相似度的尺度作为当前跟踪目标的尺度s k。
  10. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的全景视频的目标跟踪方法的步骤。
  11. 一种全景相机，包括：
    一个或多个处理器；
    存储器；以及
    一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的全景视频的目标跟踪方法的步骤。
PCT/CN2019/087274 2018-05-30 2019-05-16 一种全景视频的目标跟踪方法和全景相机 WO2019228196A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/733,866 US11509824B2 (en) 2018-05-30 2019-05-16 Method for tracking target in panoramic video, and panoramic camera
JP2020565936A JP7048764B6 (ja) 2018-05-30 2019-05-16 パノラマビデオのターゲット追跡方法及びパノラマカメラ
EP19810200.6A EP3817360A4 (en) 2018-05-30 2019-05-16 METHOD OF TRACKING A TARGET IN A PANORAMIC VIDEO AND PANORAMIC CAMERA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810541553.6A CN108848304B (zh) 2018-05-30 2018-05-30 一种全景视频的目标跟踪方法、装置和全景相机
CN201810541553.6 2018-05-30

Publications (1)

Publication Number Publication Date
WO2019228196A1 true WO2019228196A1 (zh) 2019-12-05

Family

ID=64211035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/087274 WO2019228196A1 (zh) 2018-05-30 2019-05-16 一种全景视频的目标跟踪方法和全景相机

Country Status (5)

Country Link
US (1) US11509824B2 (zh)
EP (1) EP3817360A4 (zh)
JP (1) JP7048764B6 (zh)
CN (1) CN108848304B (zh)
WO (1) WO2019228196A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369684A (zh) * 2019-12-10 2020-07-03 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111612809A (zh) * 2020-05-28 2020-09-01 华侨大学 一种结合时空正则化约束的视觉跟踪定位方法
CN112468828A (zh) * 2020-11-25 2021-03-09 深圳大学 全景视频的码率分配方法、装置、移动终端及存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848304B (zh) 2018-05-30 2020-08-11 影石创新科技股份有限公司 一种全景视频的目标跟踪方法、装置和全景相机
CN111325077B (zh) * 2018-12-17 2024-04-12 同方威视技术股份有限公司 一种图像显示方法、装置、设备及计算机存储介质
CN110197126A (zh) * 2019-05-06 2019-09-03 深圳岚锋创视网络科技有限公司 一种目标追踪方法、装置及便携式终端
CN112073748B (zh) * 2019-06-10 2022-03-18 北京字节跳动网络技术有限公司 全景视频的处理方法、装置及存储介质
CN110570448A (zh) * 2019-09-07 2019-12-13 深圳岚锋创视网络科技有限公司 一种全景视频的目标追踪方法、装置及便携式终端
CN111091117B (zh) * 2019-12-31 2021-01-29 北京城市网邻信息技术有限公司 用于二维全景图像的目标检测方法、装置、设备、介质
CN111163267B (zh) 2020-01-07 2021-12-21 影石创新科技股份有限公司 一种全景视频剪辑方法、装置、设备及存储介质
CN111182218A (zh) * 2020-01-07 2020-05-19 影石创新科技股份有限公司 全景视频处理方法、装置、设备及存储介质
CN111355887A (zh) * 2020-02-26 2020-06-30 深圳英飞拓科技股份有限公司 一种高速球型摄像机目标跟踪聚焦的优化方法
CN115082516A (zh) * 2021-03-15 2022-09-20 北京字跳网络技术有限公司 一种目标跟踪方法、装置、设备及介质
JP2022175287A (ja) * 2021-05-13 2022-11-25 キヤノン株式会社 撮像装置、その制御方法及びプログラム
CN113743380B (zh) * 2021-11-03 2022-02-15 江苏博子岛智能产业技术研究院有限公司 一种基于视频图像动态监测的主动跟踪方法
CN116630412A (zh) * 2022-02-10 2023-08-22 腾讯科技（深圳）有限公司 位姿处理方法、装置、电子设备、存储介质及程序产品
CN114882078A (zh) * 2022-05-11 2022-08-09 合肥中科深谷科技发展有限公司 一种基于位置预测的视觉跟踪方法
CN116055898A (zh) * 2023-01-04 2023-05-02 深圳闪新软件技术服务有限公司 一种回收终端摄像头控制系统
CN116228817B (zh) * 2023-03-10 2023-10-03 东南大学 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法
CN116596958B (zh) * 2023-07-18 2023-10-10 四川迪晟新达类脑智能技术有限公司 一种基于在线样本增广的目标跟踪方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
US20150139532A1 (en) * 2013-11-20 2015-05-21 Electronics And Telecommunications Research Institute Camara tracking apparatus and method using reconstruction segments and volumetric surface
CN104751486A (zh) * 2015-03-20 2015-07-01 安徽大学 一种多ptz相机的运动目标接力跟踪算法
CN107093188A (zh) * 2017-04-12 2017-08-25 湖南源信光电科技股份有限公司 一种基于全景摄像机和高速球机的智能联动与跟踪方法
CN107315992A (zh) 2017-05-05 2017-11-03 深圳电航空技术有限公司 一种基于电子云台的跟踪方法及装置
CN108848304A (zh) * 2018-05-30 2018-11-20 深圳岚锋创视网络科技有限公司 一种全景视频的目标跟踪方法、装置和全景相机

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332580B2 (ja) 1997-04-21 2009-09-16 ソニー株式会社 制御装置および制御方法、並びに監視システム
US8335345B2 (en) * 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
MY168810A (en) * 2014-05-05 2018-12-04 Mimos Berhad Method for providing multiple perspective views and multiple pan-tilt-zoom tracking using a single camera
US10839601B2 (en) 2016-03-31 2020-11-17 Sony Corporation Information processing device, information processing method, and program
CN106991704A (zh) 2017-03-24 2017-07-28 深圳市圆周率软件科技有限责任公司 一种全景相机的多场景标定方法及系统
CN107025659B (zh) * 2017-04-11 2020-03-31 西安理工大学 基于单位球面坐标映射的全景目标跟踪方法
CN107452022A (zh) * 2017-07-20 2017-12-08 西安电子科技大学 一种视频目标跟踪方法
CN107507230A (zh) * 2017-08-31 2017-12-22 成都观界创宇科技有限公司 应用于全景图像的目标跟踪方法及全景相机
CN107862704B (zh) * 2017-11-06 2021-05-11 广东工业大学 一种目标跟踪方法、系统及其使用的云台相机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150139532A1 (en) * 2013-11-20 2015-05-21 Electronics And Telecommunications Research Institute Camara tracking apparatus and method using reconstruction segments and volumetric surface
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN104751486A (zh) * 2015-03-20 2015-07-01 安徽大学 一种多ptz相机的运动目标接力跟踪算法
CN107093188A (zh) * 2017-04-12 2017-08-25 湖南源信光电科技股份有限公司 一种基于全景摄像机和高速球机的智能联动与跟踪方法
CN107315992A (zh) 2017-05-05 2017-11-03 深圳电航空技术有限公司 一种基于电子云台的跟踪方法及装置
CN108848304A (zh) * 2018-05-30 2018-11-20 深圳岚锋创视网络科技有限公司 一种全景视频的目标跟踪方法、装置和全景相机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3817360A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369684A (zh) * 2019-12-10 2020-07-03 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111369684B (zh) * 2019-12-10 2023-09-01 杭州海康威视系统技术有限公司 目标跟踪方法、装置、设备及存储介质
CN111612809A (zh) * 2020-05-28 2020-09-01 华侨大学 一种结合时空正则化约束的视觉跟踪定位方法
CN111612809B (zh) * 2020-05-28 2023-04-07 华侨大学 一种结合时空正则化约束的视觉跟踪定位方法
CN112468828A (zh) * 2020-11-25 2021-03-09 深圳大学 全景视频的码率分配方法、装置、移动终端及存储介质
CN112468828B (zh) * 2020-11-25 2022-06-17 深圳大学 全景视频的码率分配方法、装置、移动终端及存储介质

Also Published As

Publication number Publication date
JP2021527865A (ja) 2021-10-14
US20210227132A1 (en) 2021-07-22
US11509824B2 (en) 2022-11-22
CN108848304A (zh) 2018-11-20
JP7048764B2 (ja) 2022-04-05
EP3817360A1 (en) 2021-05-05
JP7048764B6 (ja) 2022-05-16
EP3817360A4 (en) 2022-03-16
CN108848304B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
WO2019228196A1 (zh) 一种全景视频的目标跟踪方法和全景相机
CN111857329B (zh) 注视点计算方法、装置及设备
US20200320726A1 (en) Method, device and non-transitory computer storage medium for processing image
CN105678809A (zh) 手持式自动跟拍装置及其目标跟踪方法
US9742994B2 (en) Content-aware wide-angle images
JP6798183B2 (ja) 画像解析装置、画像解析方法およびプログラム
US9924104B2 (en) Background-differential extraction device and background-differential extraction method
JP7078139B2 (ja) ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体
WO2022179581A1 (zh) 一种图像处理方法及相关设备
WO2020248395A1 (zh) 跟拍方法、装置、设备及存储介质
CN110807833B (zh) 一种网状拓扑获得方法、装置、电子设备及存储介质
CN112602319B (zh) 一种对焦装置、方法及相关设备
CN110072064B (zh) 一种图像拍摄方法、装置、设备以及存储介质
US11049313B2 (en) Rendering an object
CN115294275A (zh) 三维模型的重建方法、装置及计算机可读存储介质
JP2020053774A (ja) 撮像装置および画像記録方法
WO2019144296A1 (zh) 可移动平台的控制方法、装置和可移动平台
CN111563490A (zh) 一种人脸关键点跟踪方法、装置及电子设备
WO2022198508A1 (zh) 镜头异常提示方法、装置、可移动平台及可读存储介质
CN110221626B (zh) 一种跟拍控制方法、装置、计算机设备及存储介质
Rothlübbers et al. MICCAI CLUST 2014-Bayesian Real-Time Liver Feature Ultrasound Tracking
JP7341712B2 (ja) 画像処理装置、画像処理方法、撮像装置、およびプログラム
KR102619701B1 (ko) 동적 객체에 대한 3차원 자세 추정 데이터 생성 방법 및 그를 위한 컴퓨팅 장치
CN113538477B (zh) 平面位姿的获取方法、装置、电子设备及存储介质
JP7255709B2 (ja) 推定方法、推定装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810200

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020565936

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019810200

Country of ref document: EP

Effective date: 20210111