WO2021115136A1 - 视频图像的防抖方法、装置、电子设备和存储介质 - Google Patents

视频图像的防抖方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
WO2021115136A1
WO2021115136A1 PCT/CN2020/132049 CN2020132049W WO2021115136A1 WO 2021115136 A1 WO2021115136 A1 WO 2021115136A1 CN 2020132049 W CN2020132049 W CN 2020132049W WO 2021115136 A1 WO2021115136 A1 WO 2021115136A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sub
images
frame
offset
Prior art date
Application number
PCT/CN2020/132049
Other languages
English (en)
French (fr)
Inventor
蒋焘
Original Assignee
闻泰科技(深圳)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 闻泰科技(深圳)有限公司 filed Critical 闻泰科技(深圳)有限公司
Priority to EP20898182.9A priority Critical patent/EP4006827A4/en
Publication of WO2021115136A1 publication Critical patent/WO2021115136A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

一种视频图像的防抖方法、装置、电子设备和存储介质。该视频图像的防抖方法包括：将第一帧图像划分为多个第一子图像（S110）；将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应（S120）；确定每个所述第二子图像与对应的所述第一子图像的偏移量（S130）；根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿（S140）。

Description

视频图像的防抖方法、装置、电子设备和存储介质
本申请要求在2019年12月10日提交中国专利局、申请号为201911258805.5的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本申请涉及视频图像处理技术领域，例如涉及一种视频图像的防抖方法、装置、电子设备和存储介质。
背景技术
视频图像算法中，多帧合成技术的应用越来越广泛，多帧合成技术是指将多帧图片合成为一张图片，比如多帧降噪、HDR多帧合成、多帧去模糊等。而多帧合成一个重要的难点问题是如何去除因拍摄时的人为抖动而造成的相邻帧之间的位移偏差，并且该位移偏差要求精确到一个像素。
有一些视频图像的防抖方法用来解决位移偏差的问题。主流的防抖方法是在相邻帧图像中找出包含重叠区域的区域作为特征区域，计算该相邻帧图像的特征区域内每个像素点的相似度，选取相似度最大的像素点，并基于该像素点计算相邻两帧图像在水平方向(hoffset)和垂直方向(voffset)的偏移量，从而根据计算得到的偏移量调整两帧图像，以使两帧图像的位移偏差尽量低，从而合成的效果更佳。
然而，在上述提到的防抖方法中，在调整相邻帧图像时，每个像素点采用的偏移量都是一样的，由此导致合成后的区域有些合成效果好，图片质量高，而有的区域合成效果不好，存在重影的问题，从而使得多帧图片合成的质量不佳。
发明内容
根据本申请的各种实施例，提供一种视频图像的防抖方法、装置、电子设备和存储介质。
在一个实施例中，本申请实施例提供了一种视频图像的防抖方法，包括：
将第一帧图像划分为多个第一子图像；
将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第 一子图像对应；
确定每个所述第二子图像与对应的所述第一子图像的偏移量；
根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿。
可选的，所述将第一帧图像划分为多个第一子图像，包括：
获取第一帧图像的边缘参数；
根据所述边缘参数确定所述第一帧图像的目标图像区域；
将所述目标图像区域划分为多个第一子图像。
可选的，所述边缘参数包括所述第一帧图像沿高度方向的第一边缘参数和沿宽度方向的第二边缘参数；
所述第一子图像的高度与所述第一边缘参数负相关；
所述第一子图像的宽度与所述第二边缘参数负相关。
可选的，所述确定每个所述第二子图像与对应的所述第一子图像的偏移量，包括：
对所述第一子图像进行特征提取，得到所述第一子图像对应的多个特征点；
根据所述多个特征点确定所述第一子图像的第一特征区域；
在所述第二子图像中，计算出与所述第一特征区域相似的第二特征区域；
根据所述第一特征区域和第二特征区域确定所述第二子图像相对于所述第一子图像的偏移量。
可选的，所述根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿，包括：
计算所述第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；
当所述偏移差值小于或等于预设阈值时，则根据每个所述第二子图像对应的偏移量调整对应的第二子图像，以对所述第二帧图像进行补偿；
可选的，还包括：
当所述偏移差值大于预设阈值时，则将多个所述第二子图像分别划分为多个图像子区域；
在所述多个图像子区域中确定一个或多个目标图像子区域；
对所述目标图像子区域的偏移量进行平滑处理，得到所述目标图像子区域对应的修正偏移量；
根据所述修正偏移量调整对应的第二子图像，对所述第二帧图像进行补偿。
可选的，所述将多个所述第二子图像分别划分为多个图像子区域，包括：
将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；
确定所述目标第二子图像在所述第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；
将每个所述相邻第二子图像划分为多个图像子区域。
可选的，所述对所述目标图像子区域的偏移量进行平滑处理，得到所述目标图像子区域对应的修正偏移量，包括：
计算目标图像子区域与对应所述目标图像子区域的多个相邻图像子区域的偏移量的平均值；
将所述偏移量的平均值作为所述目标图像子区域的修正偏移量。
在一个实施例中，本申请实施例提供了一种视频图像的防抖装置，包括：
第一划分模块，用于将第一帧图像划分为多个第一子图像；
第二划分模块，用于将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；
偏移量确定模块，用于确定每个所述第二子图像与对应的所述第一子图像的偏移量；
补偿模块，用于根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿。
在一个实施例中，本申请实施例提供了一种电子设备，包括存储器和一个或多个处理器，所述存储器中储存有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述一个或多个处理器执行以下步骤：
将第一帧图像划分为多个第一子图像；
将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；
确定每个所述第二子图像与对应的所述第一子图像的偏移量；
根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿。
所述处理器执行所述计算机可读指令时还执行以下步骤：
获取第一帧图像的边缘参数；
根据所述边缘参数确定所述第一帧图像的目标图像区域；
将所述目标图像区域划分为多个第一子图像。
所述处理器执行所述计算机可读指令时还执行以下步骤：
对所述第一子图像进行特征提取，得到所述第一子图像对应的多个特征点；
根据所述多个特征点确定所述第一子图像的第一特征区域；
在所述第二子图像中，计算出与所述第一特征区域相似的第二特征区域；
根据所述第一特征区域和第二特征区域确定所述第二子图像相对于所述第一子图像的偏移量。
所述处理器执行所述计算机可读指令时还执行以下步骤：
计算所述第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；
当所述偏移差值小于或等于预设阈值时，则根据每个所述第二子图像对应的偏移量调整对应的第二子图像，以对所述第二帧图像进行补偿；
当所述偏移差值大于预设阈值时，则将多个所述第二子图像分别划分为多个图像子区域；
在所述多个图像子区域中确定一个或多个目标图像子区域；
对所述目标图像子区域的偏移量进行平滑处理，得到所述目标图像子区域对应的修正偏移量；
根据所述修正偏移量调整对应的第二子图像，对所述第二帧图像进行补偿。
所述处理器执行所述计算机可读指令时还执行以下步骤：
将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；
确定所述目标第二子图像在所述第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；
将每个所述相邻第二子图像划分为多个图像子区域。
在一个实施例中，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请任意实施例所述的视频图像的防抖方法。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种视频图像的防抖方法的应用场景图；
图2是本申请实施例提供的一种视频图像的防抖方法的流程示意图；
图3是本申请实施例提供的一种视频图像的防抖方法的流程示意图；
图4是本实施例提供的一种多个第二子图像的结构示意图；
图5是本申请实施例提供的一种多个图像子区域的示意图；
图6是本申请实施例提供的一种视频图像的防抖装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请进行说明。此处所描述的实施例仅仅用于解释本申请，而非对本申请的限定。为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一帧图像为第二帧图像，且类似地，可将第二帧图像称为第一帧图像。第一帧图像和第二帧图像两者都是帧图像，但其不是同一帧图像。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除 非另有限定。
本申请提供的一种视频图像的防抖方法，可以应用于如图1所示的应用环境中。该视频图像的防抖方法应用于视频图像防抖系统。该视频图像防抖系统包括视频采集设备102、防抖服务器104和终端106。视频采集设备102是具有采集并存储视频图像功能的装置，比如摄像机、摄像头、具有拍摄组件的终端设备等。其中，视频采集设备102可以和终端106通过网络进行通信；视频采集设备102也可以和防抖服务器104通过网络进行通信；视频采集设备102与防抖服务器104也可以通过终端106进行中转通信。上述视频图像的防抖方法可以在视频采集设备102实现，也可以在终端106实现，也可以在防抖服务器104实现。其中，防抖服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现；终端106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在其中一个实施例中，如图2所示，提供了一种视频图像的防抖方法，该方法可适用于对多帧图片的合成进行补偿优化的场景，该方法可以由视频图像的防抖装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备上。以该方法应用于图1中的视频采集设备102、防抖服务器104和终端106中任意一者为例进行说明，该方法包括以下步骤：
S110、将第一帧图像划分为多个第一子图像。
其中，第一帧图像是指多帧图像中的其中一帧图像。多帧图像是指图像或视频中，需要对某一个画面进行合成的多个帧图像。在其中一实施例中，多帧图像可以是图像中的多个帧图像，还可以是视频中某一个画面的多个帧图像，此处不作限制。第一帧图像可以看作是一个参考图像。在其中一实施例中，在多帧合成中，例如HDR(高动态范围图像，High-Dynamic Range)多帧合成中，会在一定时间内拍摄多帧图像进行合成，而第一帧图像为多帧图像的其中一帧图像。在本实施例中，第一帧图像不限定为具体的某一帧图像。第一子图像是指第一帧图像中的图像区域，一个第一子图像代表一个第一帧图像中的图像区域，所有第一子图像构成完整的第一帧图像。在本实施例中，对于第一子图像的划分的个数不作限制，例如可以按照2X3划分为6个第一子图像，还可以按照3X3划分为9个第一子图像。可选的，多个第一子图像可以均匀划分，也可以是非均匀划分，此处不作限制。在其中一个实施例中，可以将多个第一子图像均匀划分。
S120、将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应。
其中，第二帧图像是指多帧图像中的其中一帧图像。需要说明的是，第二 帧图像与第一帧图像不是同一帧图像。在其中一个实施例中，第二帧图像是指需要进行补偿，即调整偏移量的帧图像。第二子图像是指第二帧图像中的图像区域。在其中一个实施例中，每个第二子图像都有一个第一子图像对应。即第二帧图像和第一帧图像划分的方式一致，每个第二子图像都有对应的第一子图像，即每一个第二子图像都有一个对应该第二子图像的面积大小和区域一致的第一子图像。可选的，第二帧图像可以是与第一帧图像相邻的图像，例如第一帧图像的上一帧图像或下一帧图像；还可以是与第一帧图像不相邻的帧图像，此处不作限制。需要注意的是，第一帧图像可以是固定的帧图像，也可以是非固定的帧图像，此处不作限制。当第一帧图像为固定的帧图像时，其他的帧图像都以该第一帧图像作为参考图像进行补偿；当第一帧图像是非固定的帧图像时，第一帧图像还可以是补偿完成的第二帧图像，例如上一帧图像补偿完成后，下一帧图像以上一帧图像为参考图像进行补偿，则此时补偿完成的上一帧图像作为第一帧图像，下一帧图像作为第二帧图像。
S130、确定每个第二子图像与对应的第一子图像的偏移量。
其中，偏移量是指由于拍摄多帧图像时的抖动，导致不同帧图像之间产生的位移偏差。在其中一个实施例中，偏移量是指第二子图像相对于第一子图像的偏移量。在其中一个实施例中，每个第二子图像都对应一个第一子图像，则每个第二子图像都有一个偏移量，各个第二子图像之间的偏移量不一定相同。示例性的，有A1和A2两个第二子图像，B1和B2两个第一子图像，A1和B1对应，A2和B2对应，则A1相对于B1有一个偏移量C1，A2相对于B2有一个偏移量C2，C1和C2有可能相同也有可能不同。在本实施例中，可选的，偏移量包括垂直方向的偏移量和水平方向的偏移量。
在其中一个实施例中，对于两帧图像确定偏移量的技术方案，可以通过在第一帧图像上选取一块特征明显的特征区域，在该特征区域范围内对第一帧图像的每个像素点按逐个像素移动，计算第一帧图像的特征区域和第二帧图像的相似度，找到相似度最大的像素点，从而通过相似度最大的像素点确定所移动的像素值，以此得到第二帧图像相对第一帧图像的偏移量，此处对于如何确定偏移量的方式不作限制。
S140、根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿。
在其中一个实施例中，每个第二子图像都有一个偏移量，则通过各个第二子图像的偏移量对对应的第二子图像进行调整，使得第一子图像与对应的第二子图像尽量重合，则多帧合成的效果较佳。例如，通过偏移量C1调整第二子图像A1相对于第一子图像B1的位移偏差，通过偏移量C2调整第二子图像A2相对于第一子图像B2的位移偏差，从而对第二帧图像进行补偿。补偿是指使得第 二帧图像和第一帧图像的每个像素尽可能重合的处理方式。在其中一个实施例中，对每一个第二子图像根据位移量进行调整，则调整后的多个第二子图像与对应的第一子图像几乎重合，则第二帧图像与第一帧图像也相应重合。示例性的，以偏移量为水平方向的偏移量为例，以向右方向为正方向，如果偏移量为-5，则将第二子图像向左移动5个像素点，以使得第二子图像与对应的第一子图像重合。
本实施例通过对第一帧图像和第二帧图像划分为多个子图像，对每个子图像进行相应的调整，解决了不同区域的偏移量不同，但采用一个偏移量对整个帧图像补偿由此导致部分区域合成效果不佳的问题，从而对第二帧图像进行补偿，以使多帧合成的效果更好。在其中一个实施例中，部分区域合成效果不佳的原因可以是用户在手持移动终端进行拍摄时，围绕与移动终端的屏幕相平行的轴旋转，或围绕与移动终端的屏幕垂直的轴旋转而导致不同区域的偏移量不同。
本申请实施例的技术方案，通过将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿，将第二帧图像的多个第二子图像的偏移量进行独立调整，不再是采用一个偏移量对整个第二帧图像进行补偿，而是通过每个第二子图像对应的偏移量进行独立调整，达到优化多帧图像合成的质量的技术效果。
在其中一个实施例中，图3是本申请实施例提供的一种视频图像的防抖方法的流程示意图。本实施例是在上述技术方案的基础上进行说明，适用于对多帧图像的合成进行补偿优化的场景。该方法可以由视频图像的防抖装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备上。以该方法应用于图1中的视频采集设备102、防抖服务器104和终端106中任意一者为例进行说明，该方法包括以下步骤：
S210、将第一帧图像划分为多个第一子图像。
其中，第一帧图像是指多帧图像中的其中一帧图像。第一帧图像可以看作是一个参考图像。在其中一个实施例中，在多帧合成中，例如HDR多帧合成中，会在一定时间内拍摄多帧图像进行合成，而第一帧图像为多帧图像的其中一帧图像。在本实施例中，第一帧图像不限定为具体的某一帧图像。第一子图像是指第一帧图像中的图像区域，一个第一子图像代表一个第一帧图像中的图像区域，所有第一子图像构成完整的第一帧图像。
在一个可选的实施方式中，将第一帧图像划分为多个第一子图像，可以包括：获取第一帧图像的边缘参数；根据边缘参数确定第一帧图像的目标图像区域；
将目标图像区域划分为多个第一子图像。
其中，边缘参数是指不参与划分的图像像素值大小，边缘参数可以预先设定。目标图像区域是指在第一帧图像中，根据边缘参数剔除不参与划分的图像区域后，得到需要进行划分的图像区域。可选的，边缘参数包括第一帧图像沿高度方向的第一边缘参数和沿宽度方向的第二边缘参数；第一子图像的高度与第一边缘参数负相关；第一子图像的宽度与第二边缘参数负相关。负相关是指第一边缘参数的数值越大，对应的第一子图像的高度越小。在其中一个实施例中，为了提高补偿第二帧图像的质量，在划分多个第一子图像时，不是对整个第一帧图像进行划分，而是对第一帧图像中间的部分进行划分。在其中一个实施例中，可选的，对目标图像区域进行均匀的划分。在其中一个实施例中，对目标图像进行均匀的划分通过以下公式进行划分：
每个第一子图像的高hh＝(h-pad1*2)/m，每个第一子图像的宽ww＝(w-pad2*2)/n。
其中，hh是指每个子图像的高度，ww是指每个子图像的宽度，h是指第一帧图像的高度，w是指第一帧图像的宽度，pad1是指沿高度方向的第一边缘参数，pad2是指沿宽度方向的第二边缘参数，m是指第一划分参数，n是指第二划分参数。
第一边缘参数和第二边缘参数可以是大于1的任意数值，此处不作限制。可选的，高度方向的第一边缘参数和宽度方向的第二边缘参数均为25。示例性的，第一帧图像的图像像素为100X100个点，第一边缘参数和第二边缘参数均为25，则第一帧图像的上下左右的边缘处的25个图像像素不参与划分，即实际划分的区域为中间部分的50X50个像素点。n和m与均匀划分的个数相关。在其中一个实施例中，n为宫格的列数，m为宫格的行数。例如，当将第一帧图像均匀地划分为3X3的9宫格图像时，m为3，n为3；当第一帧图像均匀地划分为2X3(两行三列)的六宫格时，m为2，n为3。
S220、将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应。
其中，第二帧图像是指多帧图像中的其中一帧图像。需要说明的是，第二帧图像与第一帧图像不是同一帧图像。在其中一个实施例中，第二帧图像是指需要进行补偿，即调整偏移量的帧图像。第二子图像是指第二帧图像中的图像 区域。在其中一个实施例中，每个第二子图像都有一个第一子图像对应。即第二帧图像和第一帧图像划分的方式一致，每个第二子图像都有对应的第一子图像，即在第一帧图像中有对应每个第二子图像的区域和大小的第一子图像。
S230、确定每个第二子图像与对应的第一子图像的偏移量。
其中，偏移量是指由于拍摄多帧图像时的人为的抖动，导致不同帧图像之间产生的位移偏差。在本实施例中，偏移量是指第二子图像相对于第一子图像的偏移量。在其中一个实施例中，每个第二子图像都对应一个第一子图像，则每个第二子图像都有一个偏移量，不同第二子图像之间的偏移量不一定相同。
在一个可选的实施方式中，确定每个第二子图像与对应的第一子图像的偏移量，可以包括：对第一子图像进行特征提取，得到第一子图像对应的多个特征点；根据多个特征点确定第一子图像的第一特征区域；在第二子图像中，计算出与第一特征区域相似的第二特征区域；根据第一特征区域和第二特征区域确定第二子图像相对于第一子图像的偏移量。
其中，第一特征区域是指按照预设规则抽取的特征点的集合。特征点是指在第一子图像中，具有代表性的像素点。例如，在一张包括了人像的第一帧图像中，对第一帧图像划分成第一子图像后，其中一个第一子图像包括了人脸，则该第一子图像中包含人脸的像素点即为特征点，包含人脸的区域即为第一特征区域。在其中一个实施例中，将多个特征点首尾连接所得到的区域作为第一特征区域。在其中一个实施例中，按照预设规则抽取特征点，是指在第一帧图像中全图范围内按照预设规则抽取特征点，比如一幅宽高比为3000*4000图像，可以在第40行抽取50个点，第60行抽取50个点，第100行提取50个点，第120行提取50个点，第160行提取50个点……。按上述方法抽取特征点，相当于将特征点分散到整幅图像，避免了在第一帧图像中固定选取一块作为特征区域导致的特征区域丢失的问题，提高了特征选取的精度。另外，按预设规则抽取特征点，有效控制了特征区域中特征点的数量，能够提高系统的效率和实时性。在其中一个实施例中，第二特征区域是指第二帧图像中与第一特征区域最相似的特征区域。第二特征区域是按照预设规则抽取的特征点的集合，且第二特征区域提取的预设规则和第一特征区域提取的预设规则相同。在其中一个实施例中，在预设误差范围内，从对应第一子图像的第二子图像中提取与第一特征区域相对应的多个候选特征区域，分别计算出多个候选特征区域与第一特征区域的相似度；将相似度最大的候选特征区域作为与第一特征区域相似的第二特征区域。其中，候选特征区域是指在第二子图像中，与第一特征区域的像素面积相同的图像区域。在本实施方式中，偏移量为第一特征区域与第二特征区域中相同位置的像素点的坐标差值。
S240、计算第二帧图像中相邻的两个第二子图像的偏移量的偏移差值。
其中，偏移差值是指相邻两个第二子图像对应的偏移量的差值的绝对值。示例性的，第二子图像A1和第二子图像A2相邻，第二子图像A1的偏移量为C1，第二子图像A2的偏移量为C2，则偏移差值为(C1-C2)的绝对值。
S250、当偏移差值小于或等于预设阈值时，则根据每个第二子图像对应的偏移量调整对应的第二子图像，以对第二帧图像进行补偿。
其中，预设阈值是指判断偏移量是否满足对第二帧图像进行补偿的条件。在本实施例中，可选的，预设阈值可以是大于1的任一数值，此处不作限制。可选的，预设阈值为2。在其中一个实施例中，每个第二子图像都有一个偏移量，则通过每个第二子图像对应的偏移量对该第二子图像进行调整，使得第二子图像与对应的第一子图像尽量重合，则多帧合成的效果较佳。例如，通过偏移量C1调整第二子图像A1相对于第一子图像B1的位移偏差，通过偏移量C2调整第二子图像A2相对于第一子图像B2的位移偏差，从而对第二帧图像进行补偿。在其中一个实施例中，调整过程可以是以偏移量对第二子图像进行移动，此处不作限制。以为水平方向的偏移量为例，以向右方向为正，如果第二子图像A2相对于第一子图像B2的位移量为-5，则将第二子图像A2相对于第一子图像B2往左移动5个像素点。
S260、当偏移差值大于预设阈值时，则将多个第二子图像分别划分为多个图像子区域。
其中，图像子区域是指对第二子图像进行裂变得到的图像区域。在其中一个实施例中，当偏移差值大于预设阈值时，则对多个第二子图像进行划分，以得到多个图像子区域。示例性的，第二子图像A1和第二子图像A2之间的偏移差值大于预设阈值，则可以对第二帧图中所有第二子图像进行划分，也可以对第二帧图像中的部分第二子图像进行划分，得到多个图像子区域，此处不作限制。
在一个可选的实施方式中，将多个第二子图像分别划分为多个图像子区域，可以包括：将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；确定目标第二子图像在第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；将每个相邻第二子图像划分为多个图像子区域。
示例性的，当第二子图像A和第二子图像B的偏移差值大于预设阈值时，则将第二子图像A或第二子图像B作为目标第二子图像。相邻第二子图像是指与目标第二子图像相邻的第二子图像，包括左右相邻、上下相邻和对角相邻。可以参考图4，图4是本实施例提供的一种多个第二子图像的结构示意图。以f0 为目标第二子图像为例，则相邻第二子图像为f1、f3和f4。
S270、在多个图像子区域中确定一个或多个目标图像子区域。
其中，目标图像子区域是指需要进行平滑的图像子区域。在其中一个实施例中，当对第二帧图像中所有第二子图像进行划分得到多个图像子区域时，则每个图像子区域都可以作为目标图像子区域；当对第二帧图像中的部分第二子图像进行划分得到的多个图像子区域时，目标图像子区域可以是相邻两个第二子图像中处于交界位置的图像子区域。可以参考图5，图5是本实施例提供的一种多个图像子区域的示意图。例如f0和f1的偏移差值大于预设阈值，则可以将f03、f06、f09、f11、f14和f17作为目标图像子区域进行平滑。
S280、对目标图像子区域的偏移量进行平滑处理，得到目标图像子区域对应的修正偏移量。
其中，平滑是指减少相邻的两个第二子图像之间的偏移差值的处理方法。可选的，平滑可以是以目标图像子区域为中心，获取与目标图像子区域距离预设位置的的多个相邻图像子区域，将目标图像子区域与多个相邻图像子区域的偏移量的平均值作为修正偏移量，代替原来的偏移量。在其中一个实施例中，每个图像子区域都是由第二子图像裂变得到的。因此，如果将图像子区域作为子图像，第二子图像作为母图像，那么图像子区域继承了对应的母图像的偏移量。例如，图像子区域A1由第二子图像A裂变得到，则图像子区域A1的偏移量数值与第二子图像A的偏移量数值一致。
在其中一个可选的实施方式中，对目标图像子区域的偏移量进行平滑处理，得到目标图像子区域对应的修正偏移量，可以包括：计算目标图像子区域与对应目标图像子区域的多个相邻图像子区域的偏移量的平均值；将偏移量的平均值作为目标图像子区域的修正偏移量。
其中，目标图像子区域是指需要进行平滑的图像子区域。相邻图像子区域是指与目标图像子区域距离预设位置的图像子区域，包括左右相邻、上下相邻以及对角相邻的图像子区域。
可以同时参考图4和图5，图4是本实施例提供的一种多个第二子图像的结构示意图。图5是本实施例提供的一种多个图像子区域的示意图。
在其中一个实施例中，若第二子图像f0和第二子图像f1的偏移差值大于预设阈值，则可以将第二子图像f0裂变为f01、f02、f03、f04、f05、f06、f07、f08和f09等9个图像子区域，并且对相邻第二子图像f1、f3和f4也划分为多个图像子区域。其中图像子区域f01、f02、f03、f04、f05、f06、f07、f08和f09的偏移量与第二子图像f0的偏移量一致。当f03为目标图像子区域时，则相邻 图像子区域为f02、f05、f06、f14和f11。当f09为目标图像子区域时，则相邻图像子区域为f05、f06、f14、f17、f41、f33、f32和f08。即修正偏移量为目标图像子区域与所有相邻图像子区域的偏移量的平均值。例如，f09的修正偏移量为(f09+f05+f06+f14+f17+f41+f33+f32+f08)/9。
S290、根据修正偏移量调整对应的第二子图像，对第二帧图像进行补偿。
在其中一个实施例中，调整是指根据修正偏移量对第二子图像进行移动。补偿是指通过根据修正偏移量的移动，以使得第二子图像与对应的第一子图像尽可能重合。
在本实施例中，通过对偏移差值大于预设阈值的相邻第二子图像划分为多个图像子区域，再进行平滑，避免了相邻的第二子图像的偏移差值较大导致相邻的地方存在明显分界的问题，影响图像质量，提高了多帧合成的质量。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请实施例的技术方案，通过将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿，将第二帧图像的多个第二子图像的偏移量进行独立调整，不再是采用一个偏移量对整个帧图像进行补偿，而是通过每个第二子图像对应的偏移量进行独立调整，达到优化多帧图像合成的质量的技术效果。
在其中一个实施例中，如图6所示，提供了一种视频图像的防抖装置，包括第一划分模块310、第二划分模块320、偏移量确定模块330和补偿模块340，其中：
第一划分模块310，用于将第一帧图像划分为多个第一子图像。
第二划分模块320，用于将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应。
偏移量确定模块330，用于确定每个第二子图像与对应的第一子图像的偏移量。
补偿模块340，用于根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿。
可选的，第一划分模块310包括：边缘参数获取单元，用于获取第一帧图像的边缘参数，边缘参数包括第一帧图像沿高度方向的第一边缘参数和沿宽度方向的第二边缘参数，第一子图像的高度与第一边缘参数负相关，第一子图像的宽度与第二边缘参数负相关；目标图像区域确定单元，用于根据边缘参数确定第一帧图像的目标图像区域；第一子图像划分单元，用于将目标图像区域划分为多个第一子图像。
可选的，偏移量确定模块330包括：特征提取单元，用于对第一子图像进行特征提取，得到第一子图像对应的多个特征点；第一特征区域确定单元，用于根据多个特征点确定第一子图像的第一特征区域；第二特征区域计算单元，用于在第二子图像中，计算出与第一特征区域相似的第二特征区域；偏移量确定单元，用于根据第一特征区域和第二特征区域确定第二子图像相对于第一子图像的偏移量。
可选的，补偿模块340包括：偏移差值计算单元，用于计算第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；第一补偿单元，用于当偏移差值小于或等于预设阈值时，则根据每个第二子图像对应的偏移量调整对应的第二子图像，以对第二帧图像进行补偿；图像子区域划分单元，用于当偏移差值大于预设阈值时，则将多个第二子图像分别划分为多个图像子区域；目标图像子区域确定单元，用于在多个图像子区域中确定一个或多个目标图像子区域；平滑处理单元，用于对目标图像子区域的偏移量进行平滑处理，得到目标图像子区域对应的修正偏移量；第二补偿单元，用于根据修正偏移量调整对应的第二子图像，对第二帧图像进行补偿。
可选的，图像子区域划分单元包括：目标第二子图像确定子单元，用于将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；相邻第二子图像确定子单元，用于确定目标第二子图像在第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；图像子区域划分子单元，用于将每个相邻第二子图像划分为多个图像子区域。
可选的，平滑处理单元包括：偏移量的平均值计算单元，用于计算目标图像子区域与对应目标图像子区域的多个相邻图像子区域的偏移量的平均值；修正偏移量确定单元，用于将偏移量的平均值作为目标图像子区域的修正偏移量。
本申请实施例所提供的视频图像的防抖装置可执行本申请任意实施例所提供的视频图像的防抖方法，具备执行方法相应的功能模块和有益效果。本申请实施例中未描述的内容可以参考本申请任意方法实施例中的描述。上述视频图 像的防抖装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，图7是本申请实施例提供的一种电子设备的结构示意图。图7示出了适于用来实现本申请实施方式的示例性电子设备612的框图。图7显示的电子设备612仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，电子设备612以通用电子设备的形式表现。电子设备612的组件可以包括：一个或者多个处理器616，存储器628，连接不同系统组件(包括存储器628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括工业标准体系结构(Industry Subversive Alliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备612包括多种计算机可读存储介质。这些介质可以是任何能够被电子设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器628可以包括易失性存储器形式的计算机可读存储介质，例如随机存取存储器(Random Access Memory，RAM)630和/或高速缓存存储器632。终端612可以包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储器628可以包括至少一个计算机可读指令产品，该计算机可读指令产品具有一组(例如至少一个)计算机可读指令模块，这些计算机可读指令模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)计算机可读指令模块642的计算机可读指令/实用工 具640，可以存储在例如存储器628中，这样的计算机可读指令模块642包括操作系统、一个或者多个应用计算机可读指令、其它计算机可读指令模块以及计算机可读指令数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。计算机可读指令模块642通常执行本申请所描述的实施例中的功能和/或方法。
电子设备612也可以与一个或多个外部设备614(例如键盘、指向终端、显示器624等)通信，还可与一个或者多个使得用户能与该电子设备612交互的终端通信，和/或与使得该电子设备612能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，电子设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图7所示，网络适配器620通过总线618与电子设备612的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备612使用其它硬件和/或软件模块，包括：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
一种计算机设备，包括存储器和一个或多个处理器，存储器中储存有计算机可读指令，计算机可读指令被处理器执行时，使得一个或多个处理器执行以下步骤：
将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿。
在一个实施例中，处理器执行计算机可读指令时还实现以下步骤：获取第一帧图像的边缘参数；根据边缘参数确定第一帧图像的目标图像区域；将目标图像区域划分为多个第一子图像。
在一个实施例中，处理器执行计算机可读指令时还实现以下步骤：
第一子图像的高度与第一边缘参数负相关；第一子图像的宽度与第二边缘参数负相关。
在一个实施例中，处理器执行计算机可读指令时还实现以下步骤：对第一子图像进行特征提取，得到第一子图像对应的多个特征点；根据多个特征点确定第一子图像的第一特征区域；在第二子图像中，计算出与第一特征区域相似的第二特征区域；根据第一特征区域和第二特征区域确定第二子图像相对于第一子图像的偏移量。
在一个实施例中，处理器执行计算机可读指令时还实现以下步骤：计算第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；当偏移差值小于或等于预设阈值时，则根据每个第二子图像对应的偏移量调整对应的第二子图像，以对第二帧图像进行补偿；当偏移差值大于预设阈值时，则将多个第二子图像分别划分为多个图像子区域；在多个图像子区域中确定一个或多个目标图像子区域；对目标图像子区域的偏移量进行平滑处理，得到目标图像子区域对应的修正偏移量；根据修正偏移量调整对应的第二子图像，对第二帧图像进行补偿。
在一个实施例中，处理器执行计算机可读指令时还实现以下步骤：将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；确定目标第二子图像在第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；将每个相邻第二子图像划分为多个图像子区域。
在一个实施例中，处理器执行计算机可读指令时还实现以下步骤：计算目标图像子区域与对应目标图像子区域的多个相邻图像子区域的偏移量的平均值；将偏移量的平均值作为目标图像子区域的修正偏移量。
本申请实施例的技术方案，通过将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿，将第二帧图像的多个第二子图像的偏移量进行独立调整，不再是采用一个偏移量对整个帧图像进行补偿，而是通过每个第二子图像对应的偏移量进行独立调整，达到优化多帧图像合成的质量的技术效果。
在一个实施例中，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机计算机程序，该计算机程序被处理器执行时实现如本申请任意实施例所提供的一种视频图像的防抖方法，该方法可以包括：
将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行 补偿。
在一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：获取第一帧图像的边缘参数；根据边缘参数确定第一帧图像的目标图像区域；将目标图像区域划分为多个第一子图像。
在一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：
第一子图像的高度与第一边缘参数负相关；第一子图像的宽度与第二边缘参数负相关。
在一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：对第一子图像进行特征提取，得到第一子图像对应的多个特征点；根据多个特征点确定第一子图像的第一特征区域；在第二子图像中，计算出与第一特征区域相似的第二特征区域；根据第一特征区域和第二特征区域确定第二子图像相对于第一子图像的偏移量。
在一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：计算第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；当偏移差值小于或等于预设阈值时，则根据每个第二子图像对应的偏移量调整对应的第二子图像，以对第二帧图像进行补偿；当偏移差值大于预设阈值时，则将多个第二子图像分别划分为多个图像子区域；在多个图像子区域中确定一个或多个目标图像子区域；对目标图像子区域的偏移量进行平滑处理，得到目标图像子区域对应的修正偏移量；根据修正偏移量调整对应的第二子图像，对第二帧图像进行补偿。
在一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；确定目标第二子图像在第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；将每个相邻第二子图像划分为多个图像子区域。
在一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：计算目标图像子区域与对应目标图像子区域的多个相邻图像子区域的偏移量的平均值；将偏移量的平均值作为目标图像子区域的修正偏移量。
本申请实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上 述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储计算机可读指令的有形介质，该计算机可读指令可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机可读指令代码。这种传播的数据信号可以采用多种形式，包括电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的计算机可读指令。存储介质上包含的计算机可读指令代码可以用任何适当的介质传输，包括无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种计算机可读指令设计语言或其组合来编写用于执行本申请操作的计算机计算机可读指令代码，计算机可读指令设计语言包括面向对象的计算机可读指令设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式计算机可读指令设计语言—诸如“C”语言或类似的计算机可读指令设计语言。计算机可读指令代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本申请实施例的技术方案，通过将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿，将第二帧图像的多个第二子图像的偏移量进行独立调整，不再是采用一个偏移量对整个帧图像进行补偿，而是通过每个第二子图像对应的偏移量进行独立调整，达到优化多帧图像合成的质量的技术效果。

Claims (15)

  1. 一种视频图像的防抖方法，所述视频图像包括多帧图像；所述多帧图像包括第一帧图像和第二帧图像；所述方法包括：
    将第一帧图像划分为多个第一子图像；
    将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；
    确定每个所述第二子图像与对应的所述第一子图像的偏移量；
    根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿。
  2. 如权利要求1所述的视频图像的防抖方法，其中，所述将第一帧图像划分为多个第一子图像，包括：
    获取第一帧图像的边缘参数；
    根据所述边缘参数确定所述第一帧图像的目标图像区域；
    将所述目标图像区域划分为多个第一子图像。
  3. 如权利要求2所述的视频图像的防抖方法，其中，所述边缘参数包括所述第一帧图像沿高度方向的第一边缘参数和沿宽度方向的第二边缘参数；
    所述第一子图像的高度与所述第一边缘参数负相关；
    所述第一子图像的宽度与所述第二边缘参数负相关。
  4. 如权利要求1所述的视频图像的防抖方法，其中，所述确定每个所述第二子图像与对应的所述第一子图像的偏移量，包括：
    对所述第一子图像进行特征提取，得到所述第一子图像对应的多个特征点；
    根据所述多个特征点确定所述第一子图像的第一特征区域；
    在所述第二子图像中，计算出与所述第一特征区域相似的第二特征区域；
    根据所述第一特征区域和第二特征区域确定所述第二子图像相对于所述第一子图像的偏移量。
  5. 如权利要求1所述的视频图像的防抖方法，其中，所述根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿，包括：
    计算所述第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；
    当所述偏移差值小于或等于预设阈值时，则根据每个所述第二子图像对应的偏移量调整对应的第二子图像，以对所述第二帧图像进行补偿。
  6. 如权利要求5所述的视频图像的防抖方法，还包括：
    当所述偏移差值大于预设阈值时，则将多个所述第二子图像分别划分为多个图像子区域；
    在所述多个图像子区域中确定一个或多个目标图像子区域；
    对所述目标图像子区域的偏移量进行平滑处理，得到所述目标图像子区域对应的修正偏移量；
    根据所述修正偏移量调整对应的第二子图像，对所述第二帧图像进行补偿。
  7. 如权利要求5或6所述的视频图像的防抖方法，其中，所述将多个所述第二子图像分别划分为多个图像子区域，包括：
    将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；
    确定所述目标第二子图像在所述第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；
    将每个所述相邻第二子图像划分为多个图像子区域。
  8. 如权利要求5或6所述的视频图像的防抖方法，其中，所述对所述目标图像子区域的偏移量进行平滑处理，得到所述目标图像子区域对应的修正偏移量，包括：
    计算目标图像子区域与对应所述目标图像子区域的多个相邻图像子区域的偏移量的平均值；
    将所述偏移量的平均值作为所述目标图像子区域的修正偏移量。
  9. 一种视频图像的防抖装置，包括：
    第一划分模块，用于将第一帧图像划分为多个第一子图像；
    第二划分模块，用于将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；
    偏移量确定模块，用于确定每个所述第二子图像与对应的所述第一子图像的偏移量；
    补偿模块，用于根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿。
  10. 一种电子设备，包括存储器及一个或多个处理器，所述存储器中储存有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：
    将第一帧图像划分为多个第一子图像；
    将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；
    确定每个所述第二子图像与对应的所述第一子图像的偏移量；
    根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿。
  11. 根据权利要求10所述的电子设备，其中，所述处理器执行所述计算机可读指令时还执行以下步骤：
    获取第一帧图像的边缘参数；
    根据所述边缘参数确定所述第一帧图像的目标图像区域；
    将所述目标图像区域划分为多个第一子图像。
  12. 根据权利要求10所述的电子设备，其中，所述处理器执行所述计算机可读指令时还执行以下步骤：
    对所述第一子图像进行特征提取，得到所述第一子图像对应的多个特征点；
    根据所述多个特征点确定所述第一子图像的第一特征区域；
    在所述第二子图像中，计算出与所述第一特征区域相似的第二特征区域；
    根据所述第一特征区域和第二特征区域确定所述第二子图像相对于所述第一子图像的偏移量。
  13. 根据权利要求10所述的电子设备，其中，所述处理器执行所述计算机可读指令时还执行以下步骤：
    计算所述第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；
    当所述偏移差值小于或等于预设阈值时，则根据每个所述第二子图像对应的偏移量调整对应的第二子图像，以对所述第二帧图像进行补偿；
    当所述偏移差值大于预设阈值时，则将多个所述第二子图像分别划分为多个图像子区域；
    在所述多个图像子区域中确定一个或多个目标图像子区域；
    对所述目标图像子区域的偏移量进行平滑处理，得到所述目标图像子区域对应的修正偏移量；
    根据所述修正偏移量调整对应的第二子图像，对所述第二帧图像进行补偿。
  14. 根据权利要求13所述的电子设备，其中，所述处理器执行所述计算机可读指令时还执行以下步骤：
    将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；
    确定所述目标第二子图像在所述第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；
    将每个所述相邻第二子图像划分为多个图像子区域。
  15. 一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的视频图像的防抖方法。
PCT/CN2020/132049 2019-12-10 2020-11-27 视频图像的防抖方法、装置、电子设备和存储介质 WO2021115136A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20898182.9A EP4006827A4 (en) 2019-12-10 2020-11-27 ANTI-BLUR METHOD AND DEVICE FOR VIDEO IMAGES, ELECTRONIC DEVICE AND STORAGE MEDIA

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911258805.5 2019-12-10
CN201911258805.5A CN111028191B (zh) 2019-12-10 2019-12-10 视频图像的防抖方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
WO2021115136A1 true WO2021115136A1 (zh) 2021-06-17

Family

ID=70208531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/132049 WO2021115136A1 (zh) 2019-12-10 2020-11-27 视频图像的防抖方法、装置、电子设备和存储介质

Country Status (3)

Country Link
EP (1) EP4006827A4 (zh)
CN (1) CN111028191B (zh)
WO (1) WO2021115136A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596440A (zh) * 2021-07-20 2021-11-02 杭州海康威视数字技术股份有限公司 一种用于计算摄像机防抖性能的系统及方法
CN114173058A (zh) * 2021-11-30 2022-03-11 云控智行科技有限公司 视频图像稳定处理方法、装置及设备
CN114339395A (zh) * 2021-12-14 2022-04-12 浙江大华技术股份有限公司 视频抖动检测方法、检测装置、电子设备和可读存储介质
CN115050129A (zh) * 2022-06-27 2022-09-13 北京睿家科技有限公司 一种智能门禁的数据处理方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028191B (zh) * 2019-12-10 2023-07-04 上海闻泰电子科技有限公司 视频图像的防抖方法、装置、电子设备和存储介质
CN112565605B (zh) * 2020-12-02 2022-11-25 维沃移动通信有限公司 图像显示方法、装置和电子设备
CN113421275A (zh) * 2021-05-13 2021-09-21 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN113627306B (zh) * 2021-08-03 2023-04-07 展讯通信（上海）有限公司 关键点处理方法及装置、可读存储介质、终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134329A1 (en) * 2009-12-04 2011-06-09 Chao-Ho Chen Stabilization method for vibrating video frames
CN108234859A (zh) * 2017-08-30 2018-06-29 珠海市魅族科技有限公司 视频防抖控制方法、装置、计算机装置及可读存储介质
CN109194877A (zh) * 2018-10-31 2019-01-11 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN109194878A (zh) * 2018-11-08 2019-01-11 深圳市闻耀电子科技有限公司 视频图像防抖方法、装置、设备和存储介质
CN111028191A (zh) * 2019-12-10 2020-04-17 上海闻泰电子科技有限公司 视频图像的防抖方法、装置、电子设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19909622A1 (de) * 1999-03-05 2000-09-07 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bestimmung einer Verschiebung von Bildern einer Bildsequenz
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data
CN110049246A (zh) * 2019-04-22 2019-07-23 联想(北京)有限公司 电子设备的视频防抖方法、装置和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134329A1 (en) * 2009-12-04 2011-06-09 Chao-Ho Chen Stabilization method for vibrating video frames
CN108234859A (zh) * 2017-08-30 2018-06-29 珠海市魅族科技有限公司 视频防抖控制方法、装置、计算机装置及可读存储介质
CN109194877A (zh) * 2018-10-31 2019-01-11 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN109194878A (zh) * 2018-11-08 2019-01-11 深圳市闻耀电子科技有限公司 视频图像防抖方法、装置、设备和存储介质
CN111028191A (zh) * 2019-12-10 2020-04-17 上海闻泰电子科技有限公司 视频图像的防抖方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4006827A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596440A (zh) * 2021-07-20 2021-11-02 杭州海康威视数字技术股份有限公司 一种用于计算摄像机防抖性能的系统及方法
CN113596440B (zh) * 2021-07-20 2023-09-29 杭州海康威视数字技术股份有限公司 一种用于计算摄像机防抖性能的系统及方法
CN114173058A (zh) * 2021-11-30 2022-03-11 云控智行科技有限公司 视频图像稳定处理方法、装置及设备
CN114173058B (zh) * 2021-11-30 2023-12-26 云控智行科技有限公司 视频图像稳定处理方法、装置及设备
CN114339395A (zh) * 2021-12-14 2022-04-12 浙江大华技术股份有限公司 视频抖动检测方法、检测装置、电子设备和可读存储介质
CN115050129A (zh) * 2022-06-27 2022-09-13 北京睿家科技有限公司 一种智能门禁的数据处理方法及系统

Also Published As

Publication number Publication date
EP4006827A4 (en) 2022-09-14
EP4006827A1 (en) 2022-06-01
CN111028191B (zh) 2023-07-04
CN111028191A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
WO2021115136A1 (zh) 视频图像的防抖方法、装置、电子设备和存储介质
US11373275B2 (en) Method for generating high-resolution picture, computer device, and storage medium
CN108335279B (zh) 图像融合和hdr成像
US7634143B2 (en) Image processing apparatus and method, recording medium, and program
US9479709B2 (en) Method and apparatus for long term image exposure with image stabilization on a mobile device
US10395341B2 (en) Panoramic image generation method and apparatus for user terminal
US9396523B2 (en) Image restoration cascade
WO2020253618A1 (zh) 一种视频抖动的检测方法及装置
CN109194878B (zh) 视频图像防抖方法、装置、设备和存储介质
JP2008511258A (ja) リアルタイム画像安定化
WO2021253186A1 (zh) 信息处理方法、装置和成像系统
EP3466050A1 (en) Improved video stabilization for mobile devices
CN107564063B (zh) 一种基于卷积神经网络的虚拟物显示方法及装置
WO2019222911A1 (zh) 一种光流计算方法及计算设备
WO2018058476A1 (zh) 一种图像校正方法及装置
WO2022146023A1 (en) System and method for synthetic depth-of-field effect rendering for videos
WO2022247630A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN110958363B (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN115375536A (zh) 图像处理方法及设备
CN113014817B (zh) 高清高帧视频的获取方法、装置及电子设备
WO2023103684A1 (zh) 人像头发流动特效处理方法、装置、介质和电子设备
WO2023025085A1 (zh) 视频处理方法、装置、设备、介质及程序产品
WO2023151214A1 (zh) 图像生成方法、系统、电子设备、存储介质和产品
WO2022242568A1 (zh) 防抖效果评估方法、装置、计算机设备和存储介质
CN113436247B (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20898182

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020898182

Country of ref document: EP

Effective date: 20220223

NENP Non-entry into the national phase

Ref country code: DE