WO2019120012A1 - 一种视频解码的方法及相机 - Google Patents

一种视频解码的方法及相机 Download PDF

Info

Publication number
WO2019120012A1
WO2019120012A1 PCT/CN2018/115852 CN2018115852W WO2019120012A1 WO 2019120012 A1 WO2019120012 A1 WO 2019120012A1 CN 2018115852 W CN2018115852 W CN 2018115852W WO 2019120012 A1 WO2019120012 A1 WO 2019120012A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical flow
flow field
frame image
frame
image
Prior art date
Application number
PCT/CN2018/115852
Other languages
English (en)
French (fr)
Inventor
谢亮
刘靖康
Original Assignee
深圳岚锋创视网络科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳岚锋创视网络科技有限公司 filed Critical 深圳岚锋创视网络科技有限公司
Priority to US16/770,945 priority Critical patent/US11509859B2/en
Priority to JP2020530657A priority patent/JP7159320B2/ja
Priority to EP18891343.8A priority patent/EP3731518A4/en
Publication of WO2019120012A1 publication Critical patent/WO2019120012A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Definitions

  • the invention belongs to the field of video processing, and in particular relates to a video decoding method and a camera.
  • the motion discontinuity may occur due to insufficient video frame rate. This phenomenon is particularly noticeable when the playback speed is lowered to view the slow motion.
  • the present invention provides a method of video decoding, the method comprising:
  • the inserted frame image is placed together with the decoded original frame image in chronological order to reconstitute the high frame rate video.
  • the present invention provides a computer readable storage medium storing a computer program, the computer program being executed by a processor to implement the steps of the method of video decoding as described above.
  • the present invention provides a camera comprising: one or more processors, a memory, and one or more computer programs, wherein the processor and the memory are connected by a bus, the one or more A computer program is stored in the memory and configured to be executed by the one or more processors, the steps of the method of implementing video decoding as described above when the processor executes the computer program.
  • the first optical flow field is calculated for any two adjacent frames of images; the second optical flow field of the position of the frame image to be inserted is calculated according to the first optical flow field; and the second optical flow field is calculated.
  • Each pixel of the frame image to be inserted is in a corresponding pixel position in the image of the previous frame of the adjacent two frames, and the pixel value in the image of the previous frame is filled in the pixel of the frame image to be inserted;
  • the frame image is placed together with the decoded original frame image in chronological order. Therefore, the high frame rate video is reconstituted, thereby eliminating or slowing down the motion discontinuity and achieving a smoother visual viewing effect.
  • FIG. 1 is a flowchart of a method for video decoding according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a specific structure of a camera according to Embodiment 3 of the present invention.
  • Embodiment 1 is a diagrammatic representation of Embodiment 1:
  • a method for video decoding according to Embodiment 1 of the present invention includes the following steps: It should be noted that, if substantially the same result is obtained, the video decoding method of the present invention does not follow the sequence of processes shown in FIG. Limited.
  • S102 may specifically include:
  • the first optical flow field is upsampled to the resolution of the original image to obtain a first optical flow field of the resolution of the original image.
  • the method may further include the following steps:
  • S103 may specifically be:
  • the method may further include the following steps:
  • the second optical flow field M For the invalid coordinates existing in the second optical flow field, take a minimum area (such as a square, a rectangle, etc.) around the invalid coordinates, so that the area contains the effective coordinates, and then fill the average of the optical flow of the effective coordinates to the invalid coordinates to fill The optical flow is hollow, and finally the second optical flow field M is smoothed.
  • a minimum area such as a square, a rectangle, etc.
  • S104 Calculate, by using the second optical flow field, a pixel position of each pixel of the frame image to be inserted in a previous frame image of the adjacent two frames, and fill the pixel value in the image of the previous frame to be inserted.
  • the frame image is on the pixel.
  • S104 may specifically be:
  • the inserted frame image is I
  • the second optical flow field is M
  • I(x, y) I 1 (x + dx, y + dy).
  • S105 may specifically be:
  • the frame image sequence decoded from the video is I i , I i+1 ...
  • the frame image inserted in the frame images I i and I i+1 by the optical stream is I i ' , and these frames are pressed by I 1 , I 1 ' , I 2 , I 2 ' ... are sequentially encoded into a video stream to form a high frame rate video.
  • Embodiment 2 is a diagrammatic representation of Embodiment 1:
  • the second embodiment of the present invention provides a computer readable storage medium, where the computer readable storage medium stores a computer program, and when the computer program is executed by the processor, the method for video decoding according to the first embodiment of the present invention is implemented. step.
  • Embodiment 3 is a diagrammatic representation of Embodiment 3
  • FIG. 2 is a block diagram showing a specific structure of a camera according to Embodiment 3 of the present invention.
  • a camera 100 includes: one or more processors 101, a memory 102, and one or more computer programs, wherein the processor 101 and The memory 102 is connected by a bus, the one or more computer programs are stored in the memory 102, and are configured to be executed by the one or more processors 101, the processor 101 executing the computer
  • the steps of the method for video decoding provided in the first embodiment of the present invention are implemented in the program.
  • the first optical flow field is calculated for any two adjacent frames of images; the second optical flow field of the position of the frame image to be inserted is calculated according to the first optical flow field; and the second optical flow field is calculated.
  • Each pixel of the frame image to be inserted is in a corresponding pixel position in the image of the previous frame of the adjacent two frames, and the pixel value in the image of the previous frame is filled in the pixel of the frame image to be inserted;
  • the frame image is placed together with the decoded original frame image in chronological order. Therefore, the high frame rate video is reconstituted, thereby eliminating or slowing down the motion discontinuity and achieving a smoother visual viewing effect.
  • the program may be stored in a computer readable storage medium, and the storage medium may include: Read Only Memory (ROM), Random Access Memory (RAM), disk or optical disk.
  • ROM Read Only Memory
  • RAM Random Access Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频解码的方法及相机。所述方法包括：加载视频，并从视频中解码出每一帧图像；对任意相邻的两帧图像，计算第一光流场；根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间；利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。本发明消除或减缓了运动不连续的现象，达到了更流畅的视觉观看效果。

Description

一种视频解码的方法及相机 技术领域
本发明属于视频处理领域，尤其涉及一种视频解码的方法及相机。
 背景技术
相机拍摄运动物体，尤其是高速运动物体的视频中，由于视频帧率不足，物体可能会出现运动不连续现象，当降低播放速度查看慢动作时，这种运动不连续的现象尤为明显。
 技术问题
本发明的目的在于提供一种视频解码的方法、计算机可读存储介质及相机，旨在解决视频中运动物体因帧率不足引起的运动不连续现象的问题。
 技术解决方案
第一方面，本发明提供了一种视频解码的方法，所述方法包括：
加载视频，并从视频中解码出每一帧图像；
对任意相邻的两帧图像，计算第一光流场；
根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间；
利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；
将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。
第二方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的视频解码的方法的步骤。
第三方面，本发明提供了一种相机，包括：一个或多个处理器、存储器、以及一个或多个计算机程序，其中所述处理器和所述存储器通过总线连接，所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的视频解码的方法的步骤。
 有益效果
在本发明中，由于对任意相邻的两帧图像，计算第一光流场；根据第一光流场，计算待插入帧图像的位置的第二光流场；利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起。因此重新组成高帧率视频，从而消除或减缓了运动不连续的现象，达到了更流畅的视觉观看效果。
 附图说明
图1是本发明实施例一提供的视频解码的方法的流程图。
图2是本发明实施例三提供的相机的具体结构框图。
 本发明的最佳实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的视频解码的方法包括以下步骤：需注意的是，若有实质上相同的结果，本发明的视频解码的方法并不以图1所示的流程顺序为限。
S101、加载视频，并从视频中解码出每一帧图像。
S102、对任意相邻的两帧图像，计算第一光流场。
在本发明实施例一中，S102具体可以包括：
对任意相邻的两帧图像进行降采样，降到合适的分辨率；
对降采样后的相邻的两帧图像计算光流，得到降分辨率的第一光流场；
对第一光流场升采样到原始图像的分辨率，得到原始图像的分辨率的第一光流场。
在本发明实施例一中，所述对第一光流场升采样到原始图像的分辨率，得到原始图像的分辨率的第一光流场之后，所述方法还可以包括以下步骤：
对原始图像的分辨率的第一光流场做平滑处理以保证连续性，具体可以是将原始图像的分辨率的第一光流场的光流值乘以采样系数以保证光流在原始图像的分辨率下正确。
S103、根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间。
在本发明实施例一中，S103具体可以为：
记相邻的两帧图像中的第一帧图像I 1到相邻的两帧图像中的第二帧图像I 2的第一光流场为M 1，当在第一帧图像I 1和第二帧图像I 2中间插入一帧图像时，记插入的帧图像到第一帧图像I 1的第二光流场为M，则：M(x+dx,y+dy)=－M 1(x,y)/2，其中(dx,dy)=M 1(x,y)，为第一帧图像I 1中(x,y)坐标到第二帧图像I 2的运动向量。
由于第二光流场M可能存在空洞，即存在无效坐标。因此在本发明实施例一中，计算待插入位置的第二光流场后，所述方法还可以包括以下步骤：
针对第二光流场中存在的无效坐标，在无效坐标周围取一最小区域（例如正方形、长方形等），使该区域包含有效坐标，然后将有效坐标的光流均值填到无效坐标上以填补光流空洞，最后对第二光流场M做平滑处理。
S104、利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上。
本发明实施例一中，S104具体可以为：
记插入的帧图像为I，第二光流场为M，计算插入的帧图像I中每个坐标(x,y)在相邻的两帧图像中的第一帧图像I 1中的位置(x+dx, y+dy),其中(dx, dy)=M(x,y)为从插入的帧图像I到第一帧图像I 1在坐标(x,y)处的运动向量；
对插入的帧图像I的每个像素赋值，具体公式为：I(x,y)= I 1(x+dx,y+dy)。
S105、将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。
本发明实施例一中，S105具体可以为：
记从视频中解码出来的帧图像序列为I i、I i+1……，利用光流在帧图像I i和I i+1中插入的帧图像为I i ’，将这些帧按I 1、I 1 ’、I 2、I 2 ’……顺序编码成视频流，形成高帧率视频。
实施例二：
本发明实施例二提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例一提供的视频解码的方法的步骤。
实施例三：
图2示出了本发明实施例三提供的相机的具体结构框图，一种相机100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的视频解码的方法的步骤。
在本发明中，由于对任意相邻的两帧图像，计算第一光流场；根据第一光流场，计算待插入帧图像的位置的第二光流场；利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起。因此重新组成高帧率视频，从而消除或减缓了运动不连续的现象，达到了更流畅的视觉观看效果。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种视频解码的方法，其特征在于，所述方法包括：
    加载视频，并从视频中解码出每一帧图像；
    对任意相邻的两帧图像，计算第一光流场；
    根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间；
    利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上；
    将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频。
  2. 如权利要求1所述的方法，其特征在于，所述对任意相邻的两帧图像，计算第一光流场具体包括：
    对任意相邻的两帧图像进行降采样，降到合适的分辨率；
    对降采样后的相邻的两帧图像计算光流，得到降分辨率的第一光流场；
    对第一光流场升采样到原始图像的分辨率，得到原始图像的分辨率的第一光流场。
  3. 如权利要求2所述的方法，其特征在于，所述对第一光流场升采样到原始图像的分辨率，得到原始图像的分辨率的第一光流场之后，所述方法还包括：
    对原始图像的分辨率的第一光流场做平滑处理以保证连续性。
  4. 如权利要求3所述的方法，其特征在于，所述对原始图像的分辨率的第一光流场做平滑处理以保证连续性具体是：
    将原始图像的分辨率的第一光流场的光流值乘以采样系数以保证光流在原始图像的分辨率下正确。
  5. 如权利要求1至4任一项所述的方法，其特征在于，所述根据第一光流场，计算待插入帧图像的位置的第二光流场，所述位置是相邻的两帧图像的中间具体为：
    记相邻的两帧图像中的第一帧图像I 1到相邻的两帧图像中的第二帧图像I 2的第一光流场为M 1，当在第一帧图像I 1和第二帧图像I 2中间插入一帧图像时，记插入的帧图像到第一帧图像I 1的第二光流场为M，则：M(x+dx,y+dy)=－M 1(x,y)/2，其中(dx,dy)=M 1(x,y)，为第一帧图像I 1中(x,y)坐标到第二帧图像I 2的运动向量。
  6. 如权利要求5所述的方法，其特征在于，所述计算待插入位置的第二光流场后，所述方法还包括：
    针对第二光流场中存在的无效坐标，在无效坐标周围取一最小区域，使该区域包含有效坐标，然后将有效坐标的光流均值填到无效坐标上以填补光流空洞，最后对第二光流场M做平滑处理。
  7. 如权利要求1至4任一项所述的方法，其特征在于，所述利用第二光流场计算待插入的帧图像的每个像素在相邻的两帧图像的前一帧图像中对应的像素位置，并取前一帧图像中的像素值填到待插入的帧图像的像素上具体为：
    记插入的帧图像为I，第二光流场为M，计算插入的帧图像I中每个坐标(x,y)在相邻的两帧图像中的第一帧图像I 1中的位置(x+dx,y+dy),其中(dx,dy)=M(x,y)为从插入的帧图像I到第一帧图像I 1在坐标(x,y)处的运动向量；
    对插入的帧图像 I的每个像素赋值，具体公式为：I(x,y)= I 1 (x+dx,y+dy)。
  8. 如权利要求1至4任一项所述的方法，其特征在于，所述将插入的帧图像与解码出来的原始帧图像按时间顺序放在一起，重新组成高帧率视频具体为：
    记从视频中解码出来的帧图像序列为I i、I i+1……，利用光流在帧图像I i和 I i+1中插入的帧图像为I i ’，将这些帧按I 1、I 1 ’、I 2、I 2 ’……顺序编码成视频流，形成高帧率视频。
  9. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的视频解码的方法的步骤。
  10. 一种相机，包括：一个或多个处理器、存储器、以及一个或多个计算机程序，其中所述处理器和所述存储器通过总线连接，所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的视频解码的方法的步骤。
PCT/CN2018/115852 2017-12-20 2018-11-16 一种视频解码的方法及相机 WO2019120012A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/770,945 US11509859B2 (en) 2017-12-20 2018-11-16 Video decoding method and camera
JP2020530657A JP7159320B2 (ja) 2017-12-20 2018-11-16 ビデオ復号化方法及びカメラ
EP18891343.8A EP3731518A4 (en) 2017-12-20 2018-11-16 VIDEO AND CAMERA DECODING PROCESS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711385671.4 2017-12-20
CN201711385671.4A CN108040217B (zh) 2017-12-20 2017-12-20 一种视频解码的方法、装置及相机

Publications (1)

Publication Number Publication Date
WO2019120012A1 true WO2019120012A1 (zh) 2019-06-27

Family

ID=62100190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/115852 WO2019120012A1 (zh) 2017-12-20 2018-11-16 一种视频解码的方法及相机

Country Status (5)

Country Link
US (1) US11509859B2 (zh)
EP (1) EP3731518A4 (zh)
JP (1) JP7159320B2 (zh)
CN (1) CN108040217B (zh)
WO (1) WO2019120012A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327908A (zh) * 2020-03-05 2020-06-23 Oppo广东移动通信有限公司 一种视频处理方法及相关装置
CN113660443A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 一种视频插帧方法、终端以及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108040217B (zh) 2017-12-20 2020-01-24 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机
CN109922372B (zh) * 2019-02-26 2021-10-12 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质
CN109803175B (zh) * 2019-03-12 2021-03-26 京东方科技集团股份有限公司 视频处理方法及装置、设备、存储介质
CN110267098B (zh) * 2019-06-28 2022-05-20 连尚（新昌）网络科技有限公司 一种视频处理方法及终端
CN111586321B (zh) * 2020-05-08 2023-05-12 Oppo广东移动通信有限公司 视频生成方法、装置、电子设备和计算机可读存储介质
CN111372087B (zh) * 2020-05-26 2020-08-28 深圳看到科技有限公司 全景视频插帧方法、装置及对应的存储介质
CN111901598B (zh) * 2020-06-28 2023-10-13 华南理工大学 视频解码与编码的方法、装置、介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541667A (en) * 1992-02-28 1996-07-30 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for lost block substitution in a moving picture receiving system
CN101325044A (zh) * 2007-06-12 2008-12-17 奇景光电股份有限公司 用于帧升频转换的帧内插方法
CN101399950A (zh) * 2007-09-30 2009-04-01 上海携昌电子科技有限公司 一种基于图像轮廓匹配的帧频加倍的方法
CN102509071A (zh) * 2011-10-14 2012-06-20 江南大学 光流计算系统和方法
CN103139524A (zh) * 2011-12-05 2013-06-05 联想(北京)有限公司 视频优化方法以及信息处理设备
CN103888767A (zh) * 2014-03-31 2014-06-25 山东大学 Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法
CN108040217A (zh) * 2017-12-20 2018-05-15 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498532B1 (ko) 2008-10-15 2015-03-04 스피넬라 아이피 홀딩스, 인코포레이티드 광학 흐름의 결정을 위한 디지털 처리 방법 및 시스템
JP4692913B2 (ja) 2009-10-08 2011-06-01 日本ビクター株式会社 フレームレート変換装置及び方法
ES2907510T3 (es) * 2012-05-14 2022-04-25 V Nova Int Ltd Descomposición de datos residuales durante la codificación, decodificación y reconstrucción de señales en una jerarquía escalonada
US9300906B2 (en) 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
WO2015183194A1 (en) * 2014-05-30 2015-12-03 Paofit Technology Pte Ltd Systems and methods for motion-vector-aided video interpolation using real-time smooth video playback speed variation
US9626770B2 (en) * 2015-04-10 2017-04-18 Apple Inc. Generating synthetic video frames using optical flow
CN104933416B (zh) * 2015-06-26 2018-11-02 复旦大学 基于光流场的微表情序列特征提取方法
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
CN105847804B (zh) * 2016-05-18 2017-12-15 信阳师范学院 一种基于稀疏冗余表示模型的视频帧率上转换方法
US10977809B2 (en) * 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541667A (en) * 1992-02-28 1996-07-30 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for lost block substitution in a moving picture receiving system
CN101325044A (zh) * 2007-06-12 2008-12-17 奇景光电股份有限公司 用于帧升频转换的帧内插方法
CN101399950A (zh) * 2007-09-30 2009-04-01 上海携昌电子科技有限公司 一种基于图像轮廓匹配的帧频加倍的方法
CN102509071A (zh) * 2011-10-14 2012-06-20 江南大学 光流计算系统和方法
CN103139524A (zh) * 2011-12-05 2013-06-05 联想(北京)有限公司 视频优化方法以及信息处理设备
CN103888767A (zh) * 2014-03-31 2014-06-25 山东大学 Umh块匹配运动估计与光流场运动估计相结合的一种帧率提升方法
CN108040217A (zh) * 2017-12-20 2018-05-15 深圳岚锋创视网络科技有限公司 一种视频解码的方法、装置及相机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327908A (zh) * 2020-03-05 2020-06-23 Oppo广东移动通信有限公司 一种视频处理方法及相关装置
CN113660443A (zh) * 2020-05-12 2021-11-16 武汉Tcl集团工业研究院有限公司 一种视频插帧方法、终端以及存储介质

Also Published As

Publication number Publication date
CN108040217B (zh) 2020-01-24
US20210185274A1 (en) 2021-06-17
CN108040217A (zh) 2018-05-15
JP2021506160A (ja) 2021-02-18
EP3731518A4 (en) 2021-09-15
US11509859B2 (en) 2022-11-22
JP7159320B2 (ja) 2022-10-24
EP3731518A1 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
WO2019120012A1 (zh) 一种视频解码的方法及相机
TWI803590B (zh) 藉由所關注區域之制定的異步時間及空間翹曲
TWI690196B (zh) 360度虛擬現實視訊的環路濾波方法和裝置
US10580184B2 (en) Methods for rendering effects in 360 video
US8983175B2 (en) Video processing method and device for depth extraction
AU2005277136B2 (en) Real-time image stabilization
TWI361398B (en) Method, apparatus, and computer program product for reducing mosquito noise in an image frame of a video signal.
US9177359B2 (en) Information processor, cloud platform, information processing method, and computer program product thereof
TWI691199B (zh) 用於產生遊戲的運動向量的系統及方法
TWI342162B (en) Video processing method and computer-readable storage medium therefor
WO2010034202A1 (zh) 图像缩放方法及装置
CN108965847A (zh) 一种全景视频数据的处理方法及装置
US20200145695A1 (en) Apparatus and method for decoding a panoramic video
JP2012513719A (ja) 画像スケーリング曲線の生成
US9652886B2 (en) Rendering processing device and rendering processing method using interpolation rendering result
Lee et al. Fast 3D video stabilization using ROI-based warping
CN108765582B (zh) 一种全景图片显示方法及设备
CN113411660B (zh) 视频数据的处理方法、装置和电子设备
US8879826B2 (en) Method, system and computer program product for switching between 2D and 3D coding of a video sequence of images
JP6766203B2 (ja) ビデオ最適化処理システム及び方法
MX2022007742A (es) Metodos y aparato de codificacion y decodificacion.
US9761007B2 (en) Method and system for approximating fully calculated image sequence from a subset of calculated image data
US20180084236A1 (en) Systems and methods for reducing horizontal misalignment in 360-degree video
WO2023078052A1 (zh) 三维物体检测方法、装置和计算机可读存储介质
US10685213B2 (en) Systems and methods for tracking facial features

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18891343

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020530657

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018891343

Country of ref document: EP

Effective date: 20200720