WO2018184423A1 - 一种全景视频防抖的方法、系统及便携式终端 - Google Patents

一种全景视频防抖的方法、系统及便携式终端 Download PDF

Info

Publication number
WO2018184423A1
WO2018184423A1 PCT/CN2018/075265 CN2018075265W WO2018184423A1 WO 2018184423 A1 WO2018184423 A1 WO 2018184423A1 CN 2018075265 W CN2018075265 W CN 2018075265W WO 2018184423 A1 WO2018184423 A1 WO 2018184423A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
time
state
current
rotation
Prior art date
Application number
PCT/CN2018/075265
Other languages
English (en)
French (fr)
Inventor
蔡锦霖
姜文杰
刘靖康
Original Assignee
深圳岚锋创视网络科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳岚锋创视网络科技有限公司 filed Critical 深圳岚锋创视网络科技有限公司
Priority to US16/481,454 priority Critical patent/US10812718B2/en
Priority to EP18781767.1A priority patent/EP3528489B1/en
Priority to JP2019553531A priority patent/JP6941687B2/ja
Publication of WO2018184423A1 publication Critical patent/WO2018184423A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the invention belongs to the field of video, and in particular relates to a method, a system and a portable terminal for panoramic video anti-shake.
  • the panoramic video provided by the prior art when worn with VR glasses, can cause nausea and dizziness, and VR motion sickness is a problem that has not been solved well, except for hardware failure to make a breakthrough, the software part It is also a reason, especially for VR panoramic video. If you use a handheld panoramic camera to shoot, the jitter of the picture will further accelerate the occurrence of VR motion sickness.
  • the present invention provides a method for panoramic video anti-shake, the method comprising:
  • a panoramic video image is rotated according to the current rotation matrix to generate a stable video frame.
  • the present invention provides a system for panoramic video anti-shake, the system comprising:
  • An acquiring module configured to acquire, in real time, a current state time stamp, an acceleration count value, and an angular velocity value of the portable terminal;
  • An estimation module for estimating a rotation vector of a current state by using an extended Kalman filter in combination with an acceleration count value and an angular velocity value
  • a calculation module for calculating a current rotation matrix by a Rodrigue rotation formula according to a rotation vector of the current state
  • the video frame generating module is configured to rotate the panoramic image according to the current rotation matrix to generate a stable video frame.
  • the present invention provides a portable terminal comprising a memory and a processor, the processor and the memory being connected by a bus; the memory for storing a set of program codes, the processor for calling the The program code stored in the memory performs the following operations:
  • a panoramic video image is rotated according to the current rotation matrix to generate a stable video frame.
  • the estimated value of the acceleration count value is susceptible to interference (such as walking, walking, running, etc.)
  • the accumulated error of angular velocity will become larger and larger as time passes.
  • the extended Kalman filter is combined with the acceleration count value and the angular velocity value, the rotation vector of the current state is estimated, and the current rotation matrix is calculated by the Rodrigue rotation formula according to the rotation vector of the current state, and then the panoramic image is rotated. Therefore, the video frame that can stably stabilize the jitter can reduce VR motion sickness.
  • FIG. 1 is a flowchart of a method for panoramic video anti-shake provided by Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart of S102 in a method for panoramic video anti-shake according to Embodiment 1 of the present invention.
  • Embodiment 3 is a schematic diagram of a system for panoramic video anti-shake provided by Embodiment 2 of the present invention.
  • FIG. 4 is a schematic structural diagram of a portable terminal according to Embodiment 3 of the present invention.
  • Embodiment 1 is a diagrammatic representation of Embodiment 1:
  • a method for panoramic video anti-shake provided by Embodiment 1 of the present invention includes the following steps:
  • the acceleration count value of the portable terminal can be obtained in real time by using a gravity sensor to read the three-axis acceleration count value.
  • the real-time acquisition of the angular velocity value of the portable terminal may specifically be: reading the triaxial angular velocity value by using the angular velocity sensor.
  • the acceleration count value and the angular velocity value are denoised by low-pass filtering. Specifically, the following steps may be included:
  • Extended Kalman filtering linearizes the nonlinear system and then performs Kalman filtering.
  • Kalman filtering is a highly efficient recursive filter that estimates the state of a dynamic system from a series of measurements that do not completely contain noise. .
  • S102 may specifically include the following steps:
  • S1021 may specifically include the following steps:
  • x k-1 represents a state estimation of the portable terminal at time k-1
  • x k represents a state estimation of the portable terminal at time k
  • f denotes a state equation function
  • x denotes the state of the portable terminal, that is, a rotation angle in three axial directions
  • h denotes an observation equation function
  • x k-2 represents the state of the portable terminal at time k-2
  • u k-1 represents the angular velocity value at the k-1th hour
  • w k-1 represents the process noise at time k-1
  • the k-2 time is used to predict the estimated state of the portable terminal at the k-1th hour
  • x k-1 represents the state of the portable terminal at the k-1th time
  • u k represents the angular velocity value at the kth time
  • w k represents the kth Process noise at the moment
  • z k is the acceleration count value after noise reduction processing using low-pass filtering at time k
  • g represents the vertical downward gravity vector in the reference coordinate system
  • g [0, 0, -9.81] T
  • v k is expressed as a measurement error.
  • S1022 may specifically use a formula.
  • the calculated state prediction estimates a covariance matrix P k
  • S1023 may specifically include the following steps:
  • R represents the noise covariance matrix
  • ⁇ 2 represents the noise variance
  • H k represents the observational information Jacobian matrix at time k. Indicates the transpose of H k .
  • S1024 may specifically include the following steps:
  • the update state estimate obtains the rotation vector of the current state obtained by merging the acceleration count value and the angular velocity value at time k.
  • k (IK k ⁇ H k )P k
  • the Rodrigue rotation formula is a calculation formula for calculating a new vector obtained by rotating a given angle around a rotation axis in a three-dimensional space. This formula uses the original vector, the rotation axis and their cross product as the frame to represent the vector after the rotation.
  • S104 may specifically include the following steps:
  • Embodiment 2 is a diagrammatic representation of Embodiment 1:
  • the system for panoramic video anti-shake provided by the second embodiment of the present invention includes:
  • the obtaining module 11 is configured to acquire, in real time, a current state time stamp, an acceleration count value, and an angular velocity value of the portable terminal;
  • An estimation module 12 configured to estimate a rotation vector of a current state by using an extended Kalman filter in combination with an acceleration count value and an angular velocity value;
  • a calculation module 13 for calculating a current rotation matrix by a Rodrigue rotation formula according to a rotation vector of a current state
  • the video frame generating module 14 is configured to rotate the panoramic image according to the current rotation matrix to generate a stable video frame.
  • system may further include:
  • the noise reduction module is configured to perform noise reduction processing on the acceleration count value and the angular velocity value by using low-pass filtering.
  • the estimating module may specifically include:
  • the prediction margin calculation module is configured to calculate the state transition matrix Fk at time k by using the angular velocity value; and calculate the current moment prediction margin by using the acceleration counter value combined with the gravity vector g in the reference coordinate system and the rotation matrix of the previous state.
  • Error covariance matrix estimation module for estimating error covariance matrix using a state of the P k-1
  • An optimal Kalman gain matrix calculation module is configured to calculate an optimal Kalman gain matrix K k of the current state by using the estimated current covariance matrix P k
  • Update module for optimal Kalman gain matrix K k and current time prediction margin based on current state Update current state estimate rotation vector
  • the video frame generating module may specifically include:
  • mapping module configured to map a point on the warp and weft image to a point of the spherical image
  • a rotation module for traversing all points on the unit sphere, using the current rotation matrix to rotate all points on the unit sphere to generate a stable video frame.
  • Embodiment 3 is a diagrammatic representation of Embodiment 3
  • FIG. 4 is a block diagram showing a specific structure of a portable terminal according to Embodiment 3 of the present invention.
  • the portable terminal 100 can be used to implement the method and system for panoramic video anti-shake provided in the above embodiments.
  • the portable terminal 100 provided in Embodiment 3 of the present invention may include one or more memory 101 including one or more (only one shown) computer readable storage medium, including one or more (only shown in the figure)
  • the core processor 102, the display module 103, and the power source 104 are processed. It will be understood by those skilled in the art that the portable terminal shown in FIG. 4 does not constitute a limitation of the portable terminal, and may include more or less components than those illustrated, or a combination of certain components, or different component arrangements.
  • the processor 102 and the memory 101 are connected by a bus; the memory 101 can be used for storing software programs and modules, such as the method and system corresponding to the panoramic video anti-shake method in the above embodiment, and the processor 102 is used to call the memory 101.
  • the program code stored in do the following:
  • a panoramic video image is rotated according to the current rotation matrix to generate a stable video frame.
  • the estimated value of the acceleration count value is susceptible to interference (such as walking, walking, running, etc.)
  • the accumulated error of angular velocity will become larger and larger as time passes.
  • the extended Kalman filter is combined with the acceleration count value and the angular velocity value, the rotation vector of the current state is estimated, and the current rotation matrix is calculated by the Rodrigue rotation formula according to the rotation vector of the current state, and then the panoramic image is rotated. Therefore, the video frame that can stably stabilize the jitter can reduce VR motion sickness.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本发明适用于视频领域，提供了一种全景视频防抖的方法、系统及便携式终端。所述方法包括：实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。本发明能稳定抖动的视频帧，能减轻VR晕动症。

Description

一种全景视频防抖的方法、系统及便携式终端 技术领域
本发明属于视频领域，尤其涉及一种全景视频防抖的方法、系统及便携式终端。
背景技术
现有技术提供的全景视频，当戴上VR眼镜看时，会让人感觉恶心、眩晕，VR晕动症是一个一直未能很好解决的问题，除了硬件方面未能取得突破外，软件部分也是一个原因，特别是VR全景视频，如果使用手持式的全景相机拍摄，画面的抖动会进一步加速VR晕动症的产生。
技术问题
本发明的目的在于提供一种全景视频防抖的方法、系统及便携式终端，旨在解决画面的抖动会进一步加速VR晕动症的产生的问题。
技术解决方案
第一方面，本发明提供了一种全景视频防抖的方法，所述方法包括：
实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
第二方面，本发明提供了一种全景视频防抖的系统，所述系统包括：
获取模块，用于实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
估计模块，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
计算模块，用于根据当前状态的旋转向量通过罗德里格旋转公式计算到当 前的旋转矩阵；和
视频帧生成模块，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
第三方面，本发明提供了一种便携式终端，包括存储器和处理器，所述处理器和所述存储器通过总线连接；所述存储器用于存储一组程序代码，所述处理器用于调用所述存储器中存储的程序代码，执行如下操作：
实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
有益效果
因为加速度计数值估计出的角度，容易受到干扰(如行走，徒步，奔跑等)，随着时间的累积，角速度的累积误差会越来越大。在本发明中，由于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量，并根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵，然后旋转全景图像，因此最终能稳定抖动的视频帧，能减轻VR晕动症。
附图说明
图1是本发明实施例一提供的全景视频防抖的方法的流程图。
图2是本发明实施例一提供的全景视频防抖的方法中的S102的流程图。
图3是本发明实施例二提供的全景视频防抖的系统的示意图。
图4是本发明实施例三提供的便携式终端的结构示意图。
本发明的实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的全景视频防抖的方法包括以下步骤：
S101、实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值。
在本发明实施例一中，
实时获取便携式终端的加速度计数值具体可以是：利用重力感应器读取三轴加速度计数值。
实时获取便携式终端的角速度数值具体可以是：利用角速度感应器读取三轴角速度数值。
在本发明实施例一中，S101之后还可以包括以下步骤：
利用低通滤波对加速度计数值和角速度数值进行降噪处理。具体可以包括以下步骤：
通过公式d′ i＝α·d i+(1-α)·d′ i-1分别对加速度计数值和角速度数值进行低通滤波降噪处理，其中，d i表示第i时刻的加速度计数值或角速度数值；d′ i表示第i时刻经过低通滤波后的加速度计数值或角速度数值；d′ i-1表示第i-1时刻时滤波后的加速度计数值或角速度数值；α表示平滑因子，
Figure PCTCN2018075265-appb-000001
其中f c表示低通滤波的截止频率，Rc表示时间常数，Δt表示采样时间间隔。
S102、利用扩展卡尔曼滤波(Extended Kalman Filtering)结合加速度计数值和角速度数值，估计当前状态的旋转向量。
扩展卡尔曼滤波是将非线性系统线性化，然后进行卡尔曼滤波，卡尔曼滤波是一种高效率的递归滤波器，它能够从一系列的不完全包含噪声的测量中，估计动态系统的状态。
请参阅图2，在本发明实施例一中，S102具体可以包括以下步骤：
S1021、利用角速度数值计算k时刻的状态转移矩阵F k；利用加速度计数 值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量
Figure PCTCN2018075265-appb-000002
在本发明实施例一中，S1021具体可以包括以下步骤：
对初始状态转移矩阵、初始预测协方差矩阵和初始观测矩阵进行初始化，其中，初始状态转移矩阵
Figure PCTCN2018075265-appb-000003
初始预测协方差矩阵
Figure PCTCN2018075265-appb-000004
，初始观测矩阵
Figure PCTCN2018075265-appb-000005
计算k时刻的状态转移矩阵
Figure PCTCN2018075265-appb-000006
计算观测信息矩阵
Figure PCTCN2018075265-appb-000007
其中，x k-1表示k-1时刻的便携式终端的状态估计，x k表示k时刻的便携式终端的状态估计，
Figure PCTCN2018075265-appb-000008
表示偏微分符号，f表示状态方程函数，x表示便携式终端的状态，即三个轴方向上的旋转角度，h表示观测方程函数，
Figure PCTCN2018075265-appb-000009
x k-2表示第k-2时刻的便携式终端的状态，u k-1表示第k-1时刻的角速度数值，w k-1表示k-1时刻的过程噪声，
Figure PCTCN2018075265-appb-000010
表示利用k-2时刻来预测第k-1时刻便携式终端的估计状态，x k-1表示第k-1时刻的便携式终端的状态，u k表示第k时刻的角速度数值，w k表示第k时刻的过程噪声，
Figure PCTCN2018075265-appb-000011
表示利用k-1时刻来预测第k时刻便携式终端的估计状态，x k-2＝[X k-2，Y k-2，Z k-2] T，其中，X k-2，Y k-2，Z k-2表示第k-2时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，x k-1＝[X k-1，Y k-1，Z k-1] T，其中，X k-1，Y k-1，Z k-1表示第k-1时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，T表示转置；
把参考系坐标系下的垂直向下的重力加速度投影到刚体坐标系下，通过公 式
Figure PCTCN2018075265-appb-000012
计算观测余量
Figure PCTCN2018075265-appb-000013
其中，z k为k时刻利用低通滤波进行降噪处理后的加速度计数值，H k是观测信息矩阵，表示观测方程z k＝h(x k，g，v k)使用当前估计状态计算的雅可比(Jacobian)矩阵，其中，g表示参考坐标系下的垂直向下的重力矢量，g＝[0，0，-9.81] T，v k表示为测量误差。
S1022、利用上一状态的估计误差协方差矩阵P k-1|k-1、当前状态的状态转移矩阵F k和过程噪声Q估计当前状态的误差协方差矩阵P k|k-1；
在本发明实施例一中，S1022具体可以利用公式
Figure PCTCN2018075265-appb-000014
计算出的状态预测估计协方差矩阵P k|k-1，其中，P k-1|k-1表示k-1时刻状态的估计协方差矩阵，Q k表示过程噪声的协方差矩阵，
Figure PCTCN2018075265-appb-000015
dt表示陀螺仪数据的采样间隔时间，F k表示k时刻的状态转移矩阵，
Figure PCTCN2018075265-appb-000016
表示F k的转置。
S1023、利用估计的当前状态的误差协方差矩阵P k|k-1、观测矩阵H k和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵K k；
在本发明实施例一中，S1023具体可以包括以下步骤：
利用状态预测估计协方差矩阵P k|k-1来计算k时刻的最优卡尔曼增益矩阵K k，
Figure PCTCN2018075265-appb-000017
R表示噪声协方差矩阵，
Figure PCTCN2018075265-appb-000018
σ 2表示噪声方差，一般地σ＝0.75，H k表示k时刻的观测信息雅克比矩阵，
Figure PCTCN2018075265-appb-000019
表示H k的转置。
S1024、根据当前状态的最优卡尔曼增益矩阵K k和当前时刻预测余量
Figure PCTCN2018075265-appb-000020
更新当前状态估计旋转向量
Figure PCTCN2018075265-appb-000021
在本发明实施例一中，S1024具体可以包括以下步骤：
更新状态估计得到k时刻通过融合加速度计数值和角速度数值得到的当前 状态的旋转向量
Figure PCTCN2018075265-appb-000022
Figure PCTCN2018075265-appb-000023
更新估计协方差矩阵P k|k，P k|k＝(I-K k·H k)P k|k-1，其中I是单位矩阵，P k|k就是下一时刻需要的估计误差协方差矩阵P k-1|k-1。
S103、根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵。
罗德里格旋转公式是计算三维空间中，一个向量绕旋转轴旋转给定角度以后得到的新向量的计算公式。这个公式使用原向量，旋转轴及它们叉积作为标架表示出旋转以后的向量。
S104、根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
在本发明实施例一中，S104具体可以包括以下步骤：
把经纬图像上的点映射到球型图像的点；
遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧。
其中，利用当前的旋转矩阵对单位球上的所有点进行旋转具体可以采用以下的公式：
Figure PCTCN2018075265-appb-000024
其中，x，y，z表示单位圆旋转之前的球面坐标，x new，y new，z new表示旋转后的球面坐标，M k表示当前的旋转矩阵，t表示位移向量，t＝[0，0，0] T。
实施例二：
请参阅图3，本发明实施例二提供的全景视频防抖的系统包括：
获取模块11，用于实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
估计模块12，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
计算模块13，用于根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；和
视频帧生成模块14，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
在本发明实施例二中，所述系统还可以包括：
降噪模块，用于利用低通滤波对加速度计数值和角速度数值进行降噪处理。
所述估计模块具体可以包括：
预测余量计算模块，用于利用角速度数值计算k时刻的状态转移矩阵Fk；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量
Figure PCTCN2018075265-appb-000025
误差协方差矩阵估计模块，用于利用上一状态的估计误差协方差矩阵P k-1|k-1、当前状态的状态转移矩阵F k和过程噪声Q估计当前状态的误差协方差矩阵P k|k-1；
最优卡尔曼增益矩阵计算模块，用于利用估计的当前状态的误差协方差矩阵P k|k-1、观测矩阵H k和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵K k；
更新模块，用于根据当前状态的最优卡尔曼增益矩阵K k和当前时刻预测余量
Figure PCTCN2018075265-appb-000026
更新当前状态估计旋转向量
Figure PCTCN2018075265-appb-000027
所述视频帧生成模块具体可以包括：
映射模块，用于把经纬图像上的点映射到球型图像的点；
旋转模块，用于遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧。
实施例三：
图4示出了本发明实施例三提供的便携式终端的具体结构框图，该便携式 终端100可以用于实施上述实施例中提供的全景视频防抖的方法和系统。
请参阅图4，本发明实施例三提供的便携式终端100可以包括有一个或一个以上(图中仅示出一个)计算机可读存储介质的存储器101、包括有一个或者一个以上(图中仅示出一个)处理核心的处理器102、显示模块103以及电源104等部件。本领域技术人员可以理解，图4中示出的便携式终端并不构成对便携式终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：处理器102和存储器101通过总线连接；存储器101可用于存储软件程序以及模块，如上述实施例中全景视频防抖的方法和系统对应的程序指令/模块，处理器102用于调用存储器101中存储的程序代码，执行如下操作：
实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
因为加速度计数值估计出的角度，容易受到干扰(如行走，徒步，奔跑等)，随着时间的累积，角速度的累积误差会越来越大。在本发明中，由于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量，并根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵，然后旋转全景图像，因此最终能稳定抖动的视频帧，能减轻VR晕动症。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

  1. 一种全景视频防抖的方法，其特征在于，所述方法包括：
    实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
    利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
    根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；
    根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
  2. 如权利要求1所述的方法，其特征在于：
    所述实时获取便携式终端的加速度计数值具体是：利用重力感应器读取三轴加速度计数值；
    所述实时获取便携式终端的角速度数值具体是：利用角速度感应器读取三轴角速度数值。
  3. 如权利要求1所述的方法，其特征在于，所述实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值之后，所述方法还包括：
    利用低通滤波对加速度计数值和角速度数值进行降噪处理。
  4. 如权利要求3所述的方法，其特征在于，所述利用低通滤波对加速度计数值和角速度数值进行降噪处理具体包括：
    通过公式d′ i＝α·d i+(1-α)·d′ i-1分别对加速度计数值和角速度数值进行低通滤波降噪处理，其中，d i表示第i时刻的加速度计数值或角速度数值；d′ i表示第i时刻经过低通滤波后的加速度计数值或角速度数值；d′ i-1表示第i-1时刻时滤波后的加速度计数值或角速度数值；α表示平滑因子，
    Figure PCTCN2018075265-appb-100001
    其中f c表示低通滤波的截止频率，Rc表示时间常数，Δt表示采样时间间隔。
  5. 如权利要求1或3所述的方法，其特征在于，所述利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量具体包括：
    利用角速度数值计算k时刻的状态转移矩阵F k；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量
    Figure PCTCN2018075265-appb-100002
    利用上一状态的估计误差协方差矩阵P k-1|k-1、当前状态的状态转移矩阵F k和过程噪声Q估计当前状态的误差协方差矩阵P k|k-1；
    利用估计的当前状态的误差协方差矩阵P k|k-1、观测矩阵H k和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵K k；
    根据当前状态的最优卡尔曼增益矩阵K k和当前时刻预测余量
    Figure PCTCN2018075265-appb-100003
    更新当前状态估计旋转向量
    Figure PCTCN2018075265-appb-100004
  6. 如权利要求5所述的方法，其特征在于，
    所述利用角速度数值计算k时刻的状态转移矩阵F k；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量
    Figure PCTCN2018075265-appb-100005
    具体包括以下步骤：
    对初始状态转移矩阵、初始预测协方差矩阵和初始观测矩阵进行初始化，其中，初始状态转移矩阵
    Figure PCTCN2018075265-appb-100006
    初始预测协方差矩阵
    Figure PCTCN2018075265-appb-100007
    ，初始观测矩阵
    Figure PCTCN2018075265-appb-100008
    计算k时刻的状态转移矩阵
    Figure PCTCN2018075265-appb-100009
    计算观测信息矩阵
    Figure PCTCN2018075265-appb-100010
    其中，x k-1表示k-1时刻的便携式终端的状态估计，x k表示k时刻的便携式终端的状态估计，
    Figure PCTCN2018075265-appb-100011
    表示偏微分符号，f表示状态方程函数，x表示便携式终端的状态，即三个轴方向上的旋转角度，h表示观测方程函数，
    Figure PCTCN2018075265-appb-100012
    x k-2表示第k-2时刻的便携式终端的状态，u k-1表示第k-1时刻的角速度数值，w k-1表示k-1时刻的过程噪声，
    Figure PCTCN2018075265-appb-100013
    表示利用k-2时刻来预测第k-1时刻便携式终端的估计状态，x k-1表示第k-1时刻的便携式终端的状态，u k表示第k时刻的角速度数值，w k表示第k时刻的过程噪声，
    Figure PCTCN2018075265-appb-100014
    表示利用k-1时刻来预测第k时刻便携式终端的估计状态，x k-2＝[X k-2，Y k-2，Z k-2] T，其中，X k-2，Y k-2，Z k-2表示第k-2时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，x k-1＝[X k-1，Y k-1，Z k-1]T，其中，X k-1，Y k-1，Z k-1表示第k-1时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，T表示转置；
    把参考系坐标系下的垂直向下的重力加速度投影到刚体坐标系下，通过公式
    Figure PCTCN2018075265-appb-100015
    计算观测余量
    Figure PCTCN2018075265-appb-100016
    其中，z k为k时刻利用低通滤波进行降噪处理后的加速度计数值，H k是观测信息矩阵，表示观测方程z k＝h(x k，g，v k)使用当前估计状态计算的雅可比矩阵，其中，g表示参考坐标系下的垂直向下的重力矢量，g＝[0，0，-9.81] T，v k表示为测量误差；
    所述利用上一状态的估计误差协方差矩阵P k-1|k-1、当前状态的状态转移矩阵F k和过程噪声Q估计当前状态的误差协方差矩阵P k|k-1具体为：
    利用公式
    Figure PCTCN2018075265-appb-100017
    计算出的状态预测估计协方差矩阵P k|k-1其中，P k-1|k-1表示k-1时刻状态的估计协方差矩阵，Q k表示过程噪声的协方差矩阵，
    Figure PCTCN2018075265-appb-100018
    dt表示陀螺仪数据的采样间隔时间，F k表示k时刻的状态转移矩阵，
    Figure PCTCN2018075265-appb-100019
    表示F k的转置；
    所述利用估计的当前状态的误差协方差矩阵P k|k-1、观测矩阵H k和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵K k具体包括以下步骤：
    利用状态预测估计协方差矩阵P k|k-1来计算k时刻的最优卡尔曼增益矩阵K k，
    Figure PCTCN2018075265-appb-100020
    R表示噪声协方差矩阵，
    Figure PCTCN2018075265-appb-100021
    σ 2表示噪声方差，一般地σ＝0.75，H k表示k时刻的观测信息雅克比矩阵，
    Figure PCTCN2018075265-appb-100022
    表示H k的转置；
    所述根据当前状态的最优卡尔曼增益矩阵K k和当前时刻预测余量
    Figure PCTCN2018075265-appb-100023
    更新当前状态估计旋转向量
    Figure PCTCN2018075265-appb-100024
    具体包括以下步骤：
    更新状态估计得到k时刻通过融合加速度计数值和角速度数值得到的当前状态的旋转向量
    Figure PCTCN2018075265-appb-100025
    更新估计协方差矩阵P k|k，P k|k＝(I-K k·H k)P k|k-1，其中I是单位矩阵，P k|k就是下一时刻需要的估计误差协方差矩阵P k-1|k-1。
  7. 如权利要求1所述的方法，其特征在于，所述根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧具体包括：
    把经纬图像上的点映射到球型图像的点；
    遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧。
  8. 如权利要求7所述的方法，其特征在于，所述利用当前的旋转矩阵对单位球上的所有点进行旋转具体采用以下的公式：
    Figure PCTCN2018075265-appb-100026
    其中，x，y，z表示单位圆旋转之前的球面坐标，x new，y new，z new表示旋转后的球面坐标，M k表示当前的旋转矩阵，t表示位移向量，t＝[0，0，0] T。
  9. 一种全景视频防抖的系统，其特征在于，所述系统包括：
    获取模块，用于实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
    估计模块，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
    计算模块，用于根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；和
    视频帧生成模块，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
  10. 如权利要求9所述的系统，其特征在于，所述系统还包括：
    降噪模块，用于利用低通滤波对加速度计数值和角速度数值进行降噪处理。
  11. 如权利要求9或10所述的系统，其特征在于，所述估计模块具体包括：
    预测余量计算模块，用于利用角速度数值计算k时刻的状态转移矩阵F k；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量
    Figure PCTCN2018075265-appb-100027
    误差协方差矩阵估计模块，用于利用上一状态的估计误差协方差矩阵P k-1|k-1、当前状态的状态转移矩阵F k和过程噪声Q估计当前状态的误差协方差矩阵P k|k-1；
    最优卡尔曼增益矩阵计算模块，用于利用估计的当前状态的误差协方差矩阵P k|k-1、观测矩阵H k和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵K k；
    更新模块，用于根据当前状态的最优卡尔曼增益矩阵K k和当前时刻预测余量
    Figure PCTCN2018075265-appb-100028
    更新当前状态估计旋转向量
    Figure PCTCN2018075265-appb-100029
  12. 如权利要求9所述的系统，其特征在于，所述视频帧生成模块具体包括：
    映射模块，用于把经纬图像上的点映射到球型图像的点；
    旋转模块，用于遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧。
  13. 一种便携式终端，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线连接；所述存储器用于存储一组程序代码，所述处理器用于调用所述存储器中存储的程序代码，执行如下操作：
    实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
    利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
    根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；
    根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
PCT/CN2018/075265 2017-04-07 2018-02-05 一种全景视频防抖的方法、系统及便携式终端 WO2018184423A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/481,454 US10812718B2 (en) 2017-04-07 2018-02-05 Method and system for panoramic video stabilization, and portable terminal
EP18781767.1A EP3528489B1 (en) 2017-04-07 2018-02-05 Method and system for panoramic video stabilization, and portable terminal
JP2019553531A JP6941687B2 (ja) 2017-04-07 2018-02-05 パノラマビデオジッター補正の方法、システム及び携帯端末

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710225056.0A CN107040694B (zh) 2017-04-07 2017-04-07 一种全景视频防抖的方法、系统及便携式终端
CN201710225056.0 2017-04-07

Publications (1)

Publication Number Publication Date
WO2018184423A1 true WO2018184423A1 (zh) 2018-10-11

Family

ID=59534803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/075265 WO2018184423A1 (zh) 2017-04-07 2018-02-05 一种全景视频防抖的方法、系统及便携式终端

Country Status (5)

Country Link
US (1) US10812718B2 (zh)
EP (1) EP3528489B1 (zh)
JP (1) JP6941687B2 (zh)
CN (1) CN107040694B (zh)
WO (1) WO2018184423A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044054A (zh) * 2020-01-06 2020-04-21 哈尔滨工业大学 一种基于单目slam算法利用卡尔曼滤波进行位姿优化的方法
EP3886425A4 (en) * 2018-12-18 2022-08-24 Arashi Vision Inc. ANTI-QUAKE PROCESS FOR PANORAMIC VIDEO AND PORTABLE TERMINAL
EP3886424A4 (en) * 2018-12-18 2022-08-24 Arashi Vision Inc. ANTI-QUAKE PROCESS FOR PANORAMIC VIDEO AND PORTABLE TERMINAL

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040694B (zh) 2017-04-07 2019-10-25 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端
CN107801014B (zh) * 2017-10-25 2019-11-08 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN108337411B (zh) * 2018-01-15 2020-11-17 影石创新科技股份有限公司 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件
WO2019119597A1 (zh) * 2017-12-22 2019-06-27 深圳岚锋创视网络科技有限公司 移动终端与镜头组件配合实现平面拍摄、全景拍摄的方法和镜头组件
CN108366243B (zh) * 2018-01-23 2019-10-29 微幻科技(北京)有限公司 一种视频去抖方法及装置
CN108366201B (zh) * 2018-02-12 2020-11-06 天津天地伟业信息系统集成有限公司 一种基于陀螺仪的电子防抖方法
CN108462838B (zh) * 2018-03-16 2020-10-02 影石创新科技股份有限公司 一种全景视频防抖方法、装置及便携式终端
CN108600616A (zh) * 2018-04-04 2018-09-28 深圳市极酷威视科技有限公司 一种基于rtp帧同步的视频防抖系统和视频获取器材
CN109688327B (zh) * 2018-12-18 2020-08-07 影石创新科技股份有限公司 一种全景视频防抖的方法、装置及便携式终端
TWI700000B (zh) * 2019-01-29 2020-07-21 威盛電子股份有限公司 全景影片影像穩定方法及裝置與影像穩定演算法評估方法
CN118200726B (zh) * 2024-03-01 2024-10-01 圆周率科技(常州)有限公司 图像处理方法、装置及拍摄设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046623A (zh) * 2006-03-29 2007-10-03 三星电子株式会社 拍摄全景照片的设备和方法
CN101231456A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置
CN107040694A (zh) * 2017-04-07 2017-08-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313252B2 (en) * 2005-03-25 2007-12-25 Sarnoff Corporation Method and system for improving video metadata through the use of frame-to-frame correspondences
CN101969533B (zh) * 2010-09-08 2015-05-27 中兴通讯股份有限公司 一种移动终端摄像头的防抖方法及装置
US9516223B2 (en) * 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
US9013617B2 (en) * 2012-10-12 2015-04-21 Qualcomm Incorporated Gyroscope conditioning and gyro-camera alignment
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
CN104811588B (zh) * 2015-04-10 2018-04-20 浙江工业大学 一种基于陀螺仪的船载稳像控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046623A (zh) * 2006-03-29 2007-10-03 三星电子株式会社 拍摄全景照片的设备和方法
CN101231456A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置
CN107040694A (zh) * 2017-04-07 2017-08-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3528489A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3886425A4 (en) * 2018-12-18 2022-08-24 Arashi Vision Inc. ANTI-QUAKE PROCESS FOR PANORAMIC VIDEO AND PORTABLE TERMINAL
EP3886424A4 (en) * 2018-12-18 2022-08-24 Arashi Vision Inc. ANTI-QUAKE PROCESS FOR PANORAMIC VIDEO AND PORTABLE TERMINAL
US11483478B2 (en) 2018-12-18 2022-10-25 Arashi Vision Inc. Panoramic video anti-shake method and portable terminal
US11490010B2 (en) 2018-12-18 2022-11-01 Arashi Vision Inc. Panoramic video anti-shake method and portable terminal
CN111044054A (zh) * 2020-01-06 2020-04-21 哈尔滨工业大学 一种基于单目slam算法利用卡尔曼滤波进行位姿优化的方法

Also Published As

Publication number Publication date
EP3528489B1 (en) 2022-05-18
US20190349526A1 (en) 2019-11-14
CN107040694B (zh) 2019-10-25
CN107040694A (zh) 2017-08-11
EP3528489A4 (en) 2020-04-29
EP3528489A1 (en) 2019-08-21
JP2020516177A (ja) 2020-05-28
JP6941687B2 (ja) 2021-09-29
US10812718B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
WO2018184423A1 (zh) 一种全景视频防抖的方法、系统及便携式终端
EP3703006B1 (en) Anti-shake method and apparatus for panoramic video, and portable terminal
CN107888828B (zh) 空间定位方法及装置、电子设备、以及存储介质
CN108627153B (zh) 一种基于惯性传感器的刚体运动追踪系统及其工作方法
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
CN110211151B (zh) 一种运动物体的追踪方法和装置
CN108827341B (zh) 用于确定图像采集装置的惯性测量单元中的偏差的方法
JP2023021994A (ja) 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両
CN109211277A (zh) 视觉惯性里程计的状态确定方法、装置和电子设备
WO2019119597A1 (zh) 移动终端与镜头组件配合实现平面拍摄、全景拍摄的方法和镜头组件
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN109688327B (zh) 一种全景视频防抖的方法、装置及便携式终端
CN106370178A (zh) 移动终端设备的姿态测量方法及装置
CN116170689A (zh) 视频生成方法、装置、计算机设备和存储介质
CN109561253A (zh) 一种全景视频防抖的方法、装置及便携式终端
CN109040525A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN112188037B (zh) 生成陀螺仪旋转方向的方法及计算机设备
CN117221725A (zh) 一种视频运动平滑处理方法、装置、设备和存储介质
CN115727871A (zh) 一种轨迹质量检测方法、装置、电子设备和存储介质
CN108337411B (zh) 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件
CN117419725A (zh) 先验地图数据生成方法、装置、设备及存储介质
CN114176576A (zh) 基于加速度识别人体运动状态的方法
CN118570250A (zh) 一种用于惯性人体动作捕捉的imu数据合成方法及装置
CN116777967A (zh) 一种数据处理方法、装置、设备及存储介质
CN115868967A (zh) 一种基于imu的人体动作捕捉方法、系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18781767

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018781767

Country of ref document: EP

Effective date: 20190514

ENP Entry into the national phase

Ref document number: 2019553531

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE