WO2021223127A1 - 基于全局运动估计的时域滤波方法、装置及存储介质 - Google Patents

基于全局运动估计的时域滤波方法、装置及存储介质 Download PDF

Info

Publication number
WO2021223127A1
WO2021223127A1 PCT/CN2020/088846 CN2020088846W WO2021223127A1 WO 2021223127 A1 WO2021223127 A1 WO 2021223127A1 CN 2020088846 W CN2020088846 W CN 2020088846W WO 2021223127 A1 WO2021223127 A1 WO 2021223127A1
Authority
WO
WIPO (PCT)
Prior art keywords
row
image
frame image
global
column direction
Prior art date
Application number
PCT/CN2020/088846
Other languages
English (en)
French (fr)
Inventor
杨磊
张青涛
赵新涛
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN202080005224.5A priority Critical patent/CN112805989A/zh
Priority to PCT/CN2020/088846 priority patent/WO2021223127A1/zh
Publication of WO2021223127A1 publication Critical patent/WO2021223127A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种基于全局运动估计的时域滤波方法、装置及存储介质，该方法包括：获取摄像装置拍摄的当前帧图像（S101）；基于行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用参考帧图像对当前帧图像进行全局运动估计得到行列方向的全局运动矢量（S102）；利用行列方向的全局运动矢量对参考帧图像进行偏移得到偏移后的参考帧图像，并确定时域滤波系数（S103）；根据偏移后的参考帧图像和时域滤波系数对当前帧图像进行滤波，得到滤波后的当前帧图像（S104）。

Description

基于全局运动估计的时域滤波方法、装置及存储介质 技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于全局运动估计的时域滤波方法、装置及存储介质。
背景技术
近些年来，消费类无人机及工业型无人机得到广泛应用，对无人机上携带的光电设备诸如摄像装置、红外摄像装置的成像质量的要求也越来越高，其中噪声级别是视频质量的关键因素之一。
对于视频噪声滤波，时域噪声滤波比空间噪声滤波更有效，其利用多帧信息，可以显著去除视频图像时域上的噪声，且不损失图像空间细节。但为了滤除时域上的噪声，传统的非运动补偿的时域滤波都存在一定意义上的拖影问题，且摄像装置发生全局运动时时域滤波将失效；而有运动补偿的时域滤波则一方面运算量大难以实时实现，另一方面若图像存在运动模糊或场景目标边缘不清晰时运动估计不准确，造成额外缺陷。
发明内容
基于此，本申请提供一种基于全局运动估计的时域滤波方法、装置及存储介质。
第一方面，本申请提供了一种基于全局运动估计的时域滤波方法，应用于包括摄像装置的可移动平台，所述方法包括：
获取所述摄像装置拍摄的当前帧图像；
基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量；
利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，并基于所述全局运动估计确定时域滤波系数；
根据所述偏移后的参考帧图像和所述时域滤波系数对所述当前帧图像进行滤波，得到滤波后的当前帧图像。
第二方面，本申请提供了一种基于全局运动估计的时域滤波装置，应用于包括摄像装置的可移动平台，所述装置包括：存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取所述摄像装置拍摄的当前帧图像；
基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量；
利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，并基于所述全局运动估计确定时域滤波系数；
根据所述偏移后的参考帧图像和所述时域滤波系数对所述当前帧图像进行滤波，得到滤波后的当前帧图像。
第三方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的基于全局运动估计的时域滤波方法。
本申请实施例提供了一种基于全局运动估计的时域滤波方法、装置及存储介质，获取所述摄像装置拍摄的当前帧图像；基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量；利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，并基于所述全局运动估计确定时域滤波系数；根据所述偏移后的参考帧图像和所述时域滤波系数对所述当前帧图像进行滤波，得到滤波后的当前帧图像。相对现有技术无论是基于特征点的匹配还是基于宏块的匹配需要大量计算，本申请实施例由于进行全局运动估计是基于当前帧图像和参考帧图像 的行列方向的全局图像均值直方图进行计算的，计算量小，实时性强，可实现大分辨率视频的实时处理；相对于传统的非运动补偿的时域滤波存在拖影问题，相对于现有的运动补偿的时域滤波当图像存在运动模糊或场景目标边缘不清晰时运动估计不准确、造成额外缺陷，本申请实施例由于通过局部图像最优匹配算法进行全局运动估计，能够克服相对全景运动时存在较小目标的局部运动时全局运动估计不准确的影响；由于利用行列方向的全局运动矢量对参考帧图像进行偏移，时域滤波时能够尽可能避免拖影问题；由于基于所述全局运动估计确定时域滤波系数，为滤波时及时调整时域滤波系数进一步提供技术支持，为保证时域滤波的准确可靠进一步提供技术支持，为进一步增强时域滤波的适应性提供技术支持。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请基于全局运动估计的时域滤波方法一实施例的流程示意图；
图2是本申请基于全局运动估计的时域滤波方法中帧图像的大小示意图；
图3是图2的帧图像的行方向的全局图像均值直方图的示意图；
图4是图2的帧图像的列方向的全局图像均值直方图的示意图；
图5是本申请基于全局运动估计的时域滤波方法另一实施例的流程示意图；
图6是本申请基于全局运动估计的时域滤波方法又一实施例的流程示意图；
图7是本申请基于全局运动估计的时域滤波方法中参考帧图像的匹配计算长度划分为多个区域段一实施例的示意图；
图8是本申请基于全局运动估计的时域滤波方法中参考帧图像的滑动操 作一实施例的示意图；
图9是本申请基于全局运动估计的时域滤波方法又一实施例的流程示意图；
图10是本申请基于全局运动估计的时域滤波方法又一实施例的流程示意图；
图11是本申请基于全局运动估计的时域滤波方法又一实施例的流程示意图；
图12是本申请基于全局运动估计的时域滤波方法中对参考帧图像进行偏移一实施例的示意图；
图13是本申请基于全局运动估计的时域滤波装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
消费类无人机及工业型无人机得到广泛应用，对无人机上携带的摄像装置的成像质量的要求越来越高，其中噪声级别是视频质量的关键因素之一。对于视频噪声滤波，时域噪声滤波比空间噪声滤波更有效。但传统的非运动补偿的时域滤波都存在一定意义上的拖影问题，且摄像装置发生全局运动时时域滤波将失效；而有运动补偿的时域滤波则运算量大难以实时实现，若图像存在运动模糊或场景目标边缘不清晰时运动估计不准确，造成额外缺陷。
本申请实施例获取所述摄像装置拍摄的当前帧图像；基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全 局运动矢量；利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，并基于所述全局运动估计确定时域滤波系数；根据所述偏移后的参考帧图像和所述时域滤波系数对所述当前帧图像进行滤波，得到滤波后的当前帧图像。相对现有技术基于特征点的匹配或基于宏块的匹配需要大量计算，本申请实施例由于进行全局运动估计是基于当前帧图像和参考帧图像的行列方向的全局图像均值直方图进行计算的，计算量小，实时性强，可实现大分辨率视频的实时处理；相对于传统的非运动补偿的时域滤波存在拖影问题，相对于现有的运动补偿的时域滤波当图像存在运动模糊或场景目标边缘不清晰时运动估计不准确、造成额外缺陷，本申请实施例由于通过局部图像最优匹配算法进行全局运动估计，能够克服相对全景运动存在较小目标的局部运动时全局运动估计不准确的影响；由于利用行列方向的全局运动矢量对参考帧图像进行偏移，时域滤波时能够尽可能避免拖影问题；由于基于所述全局运动估计确定时域滤波系数，为滤波时及时调整时域滤波系数进一步提供技术支持，为保证时域滤波的准确可靠进一步提供技术支持，为进一步增强时域滤波的适应性提供技术支持。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
参见图1，图1是本申请基于全局运动估计的时域滤波方法一实施例的流程示意图，本实施例的方法应用于包括摄像装置的可移动平台，可移动平台可以是指可以自动移动或者在受控条件下移动的各种平台，例如：无人机、车辆、无人车辆、地面机器人、无人船等等。
所述方法包括：步骤S101、步骤S102、步骤S103以及步骤S104。
步骤S101：获取所述摄像装置拍摄的当前帧图像。
步骤S102：基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量。
本实施例中参考帧图像可以是对当前帧进行时域滤波时需要参考的帧图像；具体来说，参考帧图像可以是前一帧图像，也可以是前几帧图像；应用较多的场景下，参考帧图像可以是前一帧图像。
行列方向的全局图像均值直方图包括行方向的全局图像均值直方图和列方向的全局图像均值直方图。行方向的全局图像均值直方图可以是每个点的值为每行的像素的灰度均值所形成的直方图；如果采用横坐标代表图像的行的位置，那么纵坐标代表的是每行的像素的灰度均值；如果采用纵坐标代表图像的行的位置，那么横坐标代表的是每行的像素的灰度均值；图像的行的每个位置代表行方向的全局图像均值直方图的每个点，位置的坐标最大的点可以代表图像帧的宽度。列方向的全局图像均值直方图可以是每个点的值为每列的像素的灰度均值所形成的直方图；如果采用横坐标代表图像的列的位置，那么纵坐标代表的是每列的像素的灰度均值；如果采用纵坐标代表图像的列的位置，那么横坐标代表的是每列的像素的灰度均值；图像的列的每个位置代表列方向的全局图像均值直方图的每个点，位置的坐标最大的点可以代表图像帧的长度。
例如，参见图2，帧图像的大小为m*n，m为帧图像的长度(即列方向的全局图像均值直方图的长度)，n为帧图像的宽度(即行方向的全局图像均值直方图的长度)。(1)采用横坐标代表图像的行的位置，纵坐标代表的是每行的像素的灰度均值，得到一个长度为n的行方向的全局图像均值直方图，如图3所示；横坐标的点(即行的位置)包括1、2、3、……、n，纵坐标对应的值包括：第1行的点的像素的灰度均值等于：(第1行第1列的像素的灰度值+第1行第2列的像素的灰度值+第1行第3列的像素的灰度值+……+第1行第m列的像素的灰度值)除以m；第2行的点的像素的灰度均值等于：(第2行第1列的像素的灰度值+第2行第2列的像素的灰度值+第2行第3列的像素的灰度值+……+第2行第m列的像素的灰度值)除以m；……；第n行的点的像素的灰度均值等于：(第n行第1列的像素的灰度值+第n行第2列的像素的灰度值+第n行第3列的像素的灰度值+……+第n行第m列的像素的灰度值)除以m。(2)采用横坐标代表图像的列的位置，纵坐标代表的是每列的像素的灰度均值，得到一个长度为m的列方向的全局图像均值直方图，如图4所示；横坐标的点(即列的位置)包括1、2、3、……、m，纵坐标对应的值包括：第1列的点的像素的灰度均值等于：(第1列第1行的像素的灰度值+第1列第2行的像素的灰度值+第1列第3行的像素的灰度值+……+第1列第n行的像素的灰度值)除以n；第2列的点的像素的灰度均 值等于：(第2列第1行的像素的灰度值+第2列第2行的像素的灰度值+第2列第3行的像素的灰度值+……+第2列第n行的像素的灰度值)除以n；……；第m列的点的像素的灰度均值等于：(第m列第1行的像素的灰度值+第m列第2行的像素的灰度值+第m列第3行的像素的灰度值+……+第m列第n行的像素的灰度值)除以n。
本实施例中，运动矢量包括速度、位移、加速度，等等。
本实施例中，通过局部图像最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量(包括行方向的全局运动矢量和列方向的全局运动矢量)，可以是确定所述当前帧图像和参考帧图像的行列方向的多个局部图像均值直方图的多个最优匹配度对应的多个行列方向的局部运动矢量(包括行方向的局部运动矢量和列方向的局部运动矢量)，统计计算这多个行列方向的局部运动矢量得到最终的行列方向的全局运动矢量，例如：可以将这多个行列方向的局部运动矢量求和之后取平均值，得到行列方向的平均运动矢量，将该行列方向的平均运动矢量作为最终的行列方向的全局运动矢量；或者，去掉这多个行列方向的局部运动矢量的最大值和最小值，然后将剩下的行列方向的局部运动矢量取平均值，得到行列方向的平均运动矢量，将该行列方向的平均运动矢量作为最终的行列方向的全局运动矢量；或者，将这多个行列方向的局部运动矢量中统计次数最多的行列方向的局部运动矢量作为最终的行列方向的全局运动矢量；等等。
其中，具体匹配算法包括但不限于：对应像素差的绝对值(SAD，Sum of Absolute Differences)，对应像素差的平方和(SSD，Sum of Squared Differences)，图像的相关性(NCC，Normalized Cross Correlation)等。
步骤S103：利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，并基于所述全局运动估计确定时域滤波系数。
在可移动平台的摄像装置(例如无人机的摄像装置)应用上，静止的场景相对较少，摄像装置相对于目标进行大量的全局运动，利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，可以对可移动平台的摄像装置的全局运动进行补偿，可以保证良好的时域降噪效果。
由于上述步骤S102中进行全局运动估计的具体实现方式有很多种，这多 种具体实现方式的全局运动估计的结果也会有很多种，基于所述全局运动估计确定时域滤波系数可以使时域滤波系数灵活地随全局运动估计的具体实现方式的不同而进行调整，可以使时域滤波系数灵活地随具体实现方式的全局运动估计的结果的不同而进行调整，从而可以保证时域滤波的准确可靠，适应性强。
步骤S104：根据所述偏移后的参考帧图像和所述时域滤波系数对所述当前帧图像进行滤波，得到滤波后的当前帧图像。
本申请实施例获取所述摄像装置拍摄的当前帧图像；基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量；利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，并基于所述全局运动估计确定时域滤波系数；根据所述偏移后的参考帧图像和所述时域滤波系数对所述当前帧图像进行滤波，得到滤波后的当前帧图像。相对现有技术基于特征点的匹配或基于宏块的匹配需要大量计算，本申请实施例由于进行全局运动估计是基于当前帧图像和参考帧图像的行列方向的全局图像均值直方图进行计算的，计算量小，实时性强，可实现大分辨率视频的实时处理；相对于传统的非运动补偿的时域滤波存在拖影问题，相对于现有的运动补偿的时域滤波当图像存在运动模糊或场景目标边缘不清晰时运动估计不准确、造成额外缺陷，本申请实施例由于通过局部图像最优匹配算法进行全局运动估计，能够克服相对全景运动存在较小目标的局部运动时全局运动估计不准确的影响；由于利用行列方向的全局运动矢量对参考帧图像进行偏移，时域滤波时能够尽可能避免拖影问题；由于基于所述全局运动估计确定时域滤波系数，为滤波时及时调整时域滤波系数进一步提供技术支持，为保证时域滤波的准确可靠进一步提供技术支持，为进一步增强时域滤波的适应性提供技术支持。
其中，如果预先没有获取所述当前帧图像和所述参考帧图像的行列方向的全局图像均值直方图，那么步骤S102之前，可以包括：步骤S105。
步骤S105：确定所述当前帧图像和所述参考帧图像的行列方向的全局图像均值直方图，所述全局图像均值直方图的每个点的值为每列或每行的像素的灰度均值。
参见图5，在一实施例中，步骤S102具体可以包括：子步骤S1021和子步骤S1022。
子步骤S1021：基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部最优匹配算法确定所述当前帧图像和参考帧图像的行列方向的多个局部图像均值直方图的多个最优匹配度对应的多个位移偏置。
在本实施例中，运动矢量采用比较常见的位移偏置。匹配时可以是确定所述当前帧图像的行列方向的多个局部图像均值直方图，在所述参考帧图像上搜索对应的最优匹配度的多个位移偏置；也可以是确定所述参考帧图像的行列方向的多个局部图像均值直方图，在所述当前帧图像上搜索对应的最优匹配度的多个位移偏置。
子步骤S1022：将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量。
通常来说，如果存在局部运动，局部运动区域对应的位移偏置与其他没有局部运动区域对应的位移偏置不一致，但是局部运动区域对应的位移偏置的统计次数少于其他没有局部运动区域对应的位移偏置的统计次数；将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量，能够显著消除局部运动的影响，实现全局运动位移的正确估计。
其中，为了进一步简化操作，简化计算量，多个局部图像均值直方图可以是相邻的多个局部图像均值直方图，参见图6，子步骤S1021具体可以包括：子步骤S10211、子步骤S10212以及子步骤S10213。
子步骤S10211：根据所述行列方向的全局图像均值直方图的统计长度和最大可计算位移偏置，确定匹配计算长度。
统计长度小于或等于帧图像的长度或宽度，为了计算的方便，可以使所述行列方向的全局图像均值直方图的统计长度一样，匹配计算长度小于统计长度。具体地，统计长度值z和最大可计算位移偏置dz，匹配计算长度t，t＝z-2*dz。通常统计长度越大，全局运动估计的估计精度越高，所需要的时间越多；最大可计算位移偏置越大，全局运动估计的估计精度越高，所需要的时间越多。统计长度值z和最大可计算位移偏置dz根据具体实际应用来确定。
子步骤S10212：将所述参考帧图像的行列方向的全局图像均值直方图上 的匹配计算长度划分为多个区域段，使所述当前帧图像的行列方向的全局图像均值直方图在对应位置的统计长度上从左至右滑动截取匹配计算长度参与匹配计算，获得多次滑动对应的多个位移偏置。
匹配计算长度划分为多个区域段(可以是等分的多个区域段，也可以是不等分的多个区域段)，多个区域段对应多个相邻的局部图像均值直方图。具体地，将所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度t划分为r个区域段，使所述当前帧图像的行列方向的全局图像均值直方图在对应位置的z长度上从左至右滑动截取t长度参与匹配计算，获得k次滑动对应的k个位移偏置，k＝2*dz+1。参见图7，所述参考帧图像的行(或列)方向的全局图像均值直方图上(图中示意性的是中间位置)的匹配计算长度t划分为r个区域段(图中示意性划分了3个区域段)，参见图8，所述当前帧图像的行(或列)方向的全局图像均值直方图在对应位置(图中示意性的是中间位置)的z长度上从左至右滑动(图中示意性的从A位置滑动到B位置)截取t长度参与匹配计算，可以获得k次滑动对应的k个位移偏置，k＝2*dz+1。
子步骤S10213：根据所述参考帧图像的多个区域段在多次滑动时每个区域段与所述当前帧图像多个对应段之间的最优匹配度对应的位移偏置，得到行列方向的多个位移偏置。
根据所述参考帧图像的r个区域段在k次滑动时每个区域段与所述当前帧图像对应段之间的最优匹配度对应的位移偏置，得到行列方向的r个位移偏置。参见图7和图8，所述参考帧图像的多个区域段包括区域段1、区域段2以及区域段3，在k次滑动时，区域段1与所述当前帧图像有k个对应段，区域段2与所述当前帧图像有k个对应段，区域段3与所述当前帧图像有k个对应段；其中，区域段1与所述当前帧图像的k个对应段之间有k个匹配度，k个匹配度中最优匹配度的对应段为对应段ab，区域段1与所述当前帧图像的k个对应段之间的最优匹配度对应的位移偏置即为区域段1与对应段ab之间的位移偏置1；区域段2与所述当前帧图像的k个对应段之间有k个匹配度，k个匹配度中最优匹配度的对应段为对应段bc，区域段2与所述当前帧图像的k个对应段之间的最优匹配度对应的位移偏置即为区域段2与对应段bc之间的位移偏置2；区域段3与所述当前帧图像的k个对应段之间有k个匹配度，k个 匹配度中最优匹配度的对应段为对应段cd，区域段3与所述当前帧图像的k个对应段之间的最优匹配度对应的位移偏置即为区域段3与对应段cd之间的位移偏置3；行(或列)方向的多个位移偏置包括：位移偏置1、位移偏置2以及位移偏置3。
其中，为了避免参考帧图像与当前帧图像匹配的区域在后续偏移时缺失，选取最中间的匹配计算长度，即子步骤S10212中，所述将所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度划分为多个区域段，可以包括：将所述参考帧图像的行列方向的全局图像均值直方图上最中间的匹配计算长度划分为多个区域段。具体地，将所述参考帧图像的行列方向的全局图像均值直方图上最中间的匹配计算长度t划分为r个区域段。
其中，最优匹配度可以通过最小像素差的绝对值SAD或最小像素差的平方和SSD值来衡量，即子步骤S10213，所述根据所述参考帧图像的多个区域段在多次滑动时每个区域段与所述当前帧图像多个对应段之间的最优匹配度对应的位移偏置，得到行列方向的多个位移偏置，具体可以包括：
根据所述参考帧图像的多个区域段在多次滑动时每个区域段与所述当前帧图像多个对应段之间的最小像素差的绝对值SAD或最小像素差的平方和SSD值对应的位移偏置，得到所述行列方向的多个位移偏置。
具体地，根据所述参考帧图像的r个区域段在k次滑动时每个区域段与所述当前帧图像多个对应段之间的最小像素差的绝对值SAD或最小像素差的平方和SSD值对应的位移偏置，得到所述行列方向的r个位移偏置。
例如：计算时，匹配计算长度为t，该匹配计算长度划分成r个区域段，每个区域段的长度为t/r。在滑动窗口时，每个区域段将进行多个对应段SAD的计算，即：
Figure PCTCN2020088846-appb-000001
r个区域段在k次滑动时每个区域段的局部图像均值直方图(例如：图7中区域段1、2、3的局部图像均值直方图)都获得k个SAD系数及对应的位移偏置，k个SAD系数最小值对应的位移偏置则为对应区域段计算的最优匹 配度的位移偏置，由此将获得r个位移偏置。这r个位移偏置将进行统计直方图处理，得到统计次数最多的位移偏置，该统计次数最多的位移偏置将作为局部SAD法位移偏置计算的结果。例如：位移偏置1的统计次数是10次，位移偏置2的统计次数是14次，位移偏置3的统计次数是12次，统计次数是14次的位移偏置2将作为局部SAD法位移偏置计算的结果。通过这种方式，能够显著消除局部运动的影响，实现全局运动位移的正确估计。
其中，为了保证估计得到的所述行列方向的全局运动矢量尽可能是比较接近实际情况，保证后续时域滤波的准确可靠，当采用上述局部图像最优匹配算法得到的所述最多统计次数超过某个阈值时，可以认为局部图像最优匹配算法是可信的，否则不可信；当最终判定最多统计次数对应的位移偏置(即行列方向的全局运动矢量)至少有一个等于最大可计算位移偏置时，可以认为图像运动可能超过可计算的最大偏移，此时的偏移计算结果是不可信的。
即子步骤S1022所述将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量，具体可以包括：
若所述最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置小于所述最大可计算位移偏置，则将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量。
其中，所述方法还包括：若所述统计次数最多的位移偏置等于所述最大可计算位移偏置，则确定所述行列方向的全局运动矢量为零。
进一步，若所述最多统计次数小于所述统计次数阈值，局部图像最优匹配算法不可信时，可以采用其他算法。在一实施例中，步骤S103之前，还可以包括：步骤S106。
步骤S106：若所述最多统计次数小于所述统计次数阈值，则基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
本实施例中，通过全局图像匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量，可以是确定所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图的最优匹配度对应的 行列方向的全局运动矢量(包括行方向的全局运动矢量和列方向的全局运动矢量)。
其中，具体匹配算法包括但不限于：对应像素差的绝对值(SAD，Sum of Absolute Differences)，对应像素差的平方和(SSD，Sum of Squared Differences)，图像的相关性(NCC，Normalized Cross Correlation)等。
在一实施例中，通过全局图像相关法估计得到所述行列方向的全局运动矢量，即步骤S106具体可以包括：基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像相关法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
当不存在局部运动时，采用全局图像相关法计算得到的所述行列方向的全局运动矢量准确，且基于全局图像均值直方图的全局图像相关法对均匀场景及存在运动模糊场景的适应性强，能够保证全局运动估计准确。
其中，步骤S106具体还可以包括：子步骤S1061和子步骤S1062。
子步骤S1061：确定所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度，使所述当前帧图像的行列方向的全局图像均值直方图在对应位置的统计长度上从左至右滑动截取匹配计算长度参与相关计算，获得多次滑动对应的多个相关系数和多个位移偏置。
具体地，确定所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度t，使所述当前帧图像的行列方向的全局图像均值直方图在对应位置的z长度上从左至右滑动截取t长度参与相关计算，获得k次滑动对应的k个相关系数和k个位移偏置，k＝2*dz+1。参见图7，所述参考帧图像的行(或列)方向的全局图像均值直方图上(图中示意性的是中间位置)的匹配计算长度t，参见图8，所述当前帧图像的行(或列)方向的全局图像均值直方图在对应位置(图中示意性的是中间位置)的z长度上从左至右滑动(图中示意性的从A位置滑动到B位置)截取t长度参与相关计算，可以获得k次滑动对应的k个相关系数和k个位移偏置，k＝2*dz+1。
互相关系数的计算公式为：
Figure PCTCN2020088846-appb-000002
其中，x i为当前帧图像参与相关计算(第i行或第i列)的全局图像均值直方图的值，
Figure PCTCN2020088846-appb-000003
为当前帧图像参与计算的相关全局图像均值直方图的均值，y i为参考帧图像参与相关计算(第i行或第i列)的全局图像均值直方图的值，
Figure PCTCN2020088846-appb-000004
为参考帧图像参与计算的相关全局图像均值直方图的均值，r xy为相关系数。
在滑动窗口计算最大相关系数时，
Figure PCTCN2020088846-appb-000005
是一个固定值，因此计算最大相关系数时只要计算：
Figure PCTCN2020088846-appb-000006
通过上述方式，能够进一步减小计算量。而且全局运动估计的计算量及迭代次数固定，适合现场可编程逻辑门阵列(FPGA，Field Programmable Gate Array)等逻辑或其他硬件处理器实现。
子步骤S1062：若所述当前帧图像和所述参考帧图像在统计长度的行列方向的全局图像均值直方图上的匹配度大于或等于匹配阈值、所述多个相关系数中最大相关系数对应的位移偏置小于所述最大可计算位移偏置，则将所述多个相关系数中最大相关系数对应的位移偏置作为所述行列方向的全局运动矢量。
具体地，若所述当前帧图像和所述参考帧图像在z长度的行列方向的全局图像均值直方图上的匹配度大于或等于匹配阈值、所述多个相关系数中最大相关系数对应的位移偏置小于所述最大可计算位移偏置dz，则将所述多个相关系数中最大相关系数对应的位移偏置作为所述行列方向的全局运动矢量。
其中，所述方法还包括：若所述多个相关系数中最大相关系数对应的位移偏置等于所述最大可计算位移偏置，则确定所述行列方向的全局运动矢量为零。
当局部图像最优匹配法不可信，采用基于直方图的全局图像相关法计算所述行列方向的全局运动矢量时，也需要对所述当前帧图像和所述参考帧图像等长度的行列方向的全局图像均值直方图上的匹配度进行判断来确定其计算的所述行列方向的全局运动矢量是否有效。
例如：当摄像装置出现旋转、摄像装置运动过快、位移偏置超出最大可计算位移偏移，摄像装置观测目标前景及后景出现不同运动，或者运动时出现目标模糊时，基于直方图的全局图像相关法的全局运动估计都可能出现位移偏置计算错误，从而带来图像显示上的异常问题。
若所述当前帧图像和所述参考帧图像在等长度的行列方向的全局图像均值直方图上的匹配度大于或等于匹配阈值，可以认为两个直方图是匹配的，基于直方图的全局图像相关法的计算结果是可信的。当最终判定的所述多个相关系数中最大相关系数对应的位移偏置等于所述最大可计算位移偏置，可以认为图像运动可能超过可计算的最大偏移，此时的计算结果也是不可信的。
其中，为了避免参考帧图像与当前帧图像匹配的区域在后续偏移时缺失，选取最中间的匹配计算长度，即子步骤S1061中，所述确定所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度，具体可以包括：确定所述参考帧图像的行列方向的全局图像均值直方图上最中间的匹配计算长度。具体地，确定所述参考帧图像的行列方向的全局图像均值直方图上最中间的匹配计算长度t。
在其他实施例中，还可以通过全局图像最小像素差的绝对值SAD法或最小像素差的平方和SSD值法估计得到所述行列方向的全局运动矢量，即步骤S106具体还可以包括：基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像最小像素差的绝对值SAD法或最小像素差的平方和SSD值法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
具体地，在滑动时滑窗的两个等长的全局图像均值直方图进行SAD或SSD的操作，最小SAD/SSD值对应的位移偏置即为最优匹配度对应的位移偏置。
下面详细说明步骤S103中基于所述全局运动估计确定时域滤波系数的细节内容。
在本申请实施例中，时域滤波系数将由第一时域滤波系数和第二时域滤波系数确定。第一时域滤波系数与所述行列方向的全局运动矢量对应的匹配度(即当前帧图像与参考帧图像对应区域的匹配度)相关，匹配度越大，第一时 域滤波系数越大，匹配度越小，第一时域滤波系数越小。第二时域滤波系数与基于全局运动估计得出的行列方向的全局运动矢量的可信程度相关，可信程度越高，第二时域滤波系数越大，可信程度越低，第二时域滤波系数越小。
如果采用局部图像最优匹配算法，步骤S103中，所述基于所述全局运动估计确定时域滤波系数，可以包括：子步骤S11、子步骤S12以及子步骤S13，如图9所示。
子步骤S11：根据所述局部图像最优匹配算法得到的所述行列方向的全局运动矢量的可信程度、预设可信程度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数。
子步骤S12：根据所述行列方向的全局运动矢量对应的匹配度、预设匹配度的范围与预设第一时域滤波系数之间的对应关系，得到第一时域滤波系数。
子步骤S13：根据所述第一时域滤波系数和所述第二时域滤波系数，确定所述时域滤波系数。
需要说明的是，上述子步骤S11和子步骤S12没有明确的先后顺序关系，可以同时操作。
具体地，子步骤S11，可以包括：若所述局部图像最优匹配算法得到的行列方向的全局运动矢量对应的最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置小于最大可计算位移偏置，则所述第二时域滤波系数为1；若所述局部图像最优匹配算法得到的行列方向的全局运动矢量对应的最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置等于最大可计算位移偏置，则所述第二时域滤波系数为0。
若所述局部图像最优匹配算法得到的行列方向的全局运动矢量对应的最多统计次数小于统计次数阈值，所述局部图像最优匹配算法得到的所述行列方向的全局运动矢量不可信，可以采用其他算法，例如采用全局图像匹配算法，等等。
如果采用全局图像匹配算法，步骤S103中，所述基于所述全局运动估计确定时域滤波系数，可以包括：子步骤S21、子步骤S22以及子步骤S23，如图10所示。
子步骤S21：根据所述全局图像匹配算法得到的所述行列方向的全局运动 矢量的可信程度、预设可信程度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数。
子步骤S22：根据所述行列方向的全局运动矢量对应的匹配度、预设匹配度的范围与预设第一时域滤波系数之间的对应关系，得到第一时域滤波系数。
子步骤S23：根据所述第一时域滤波系数和所述第二时域滤波系数，确定所述时域滤波系数。
需要说明的是，上述子步骤S21和子步骤S22没有明确的先后顺序关系，可以同时操作。
具体地，子步骤S21，可以包括：若所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的匹配度大于或等于匹配阈值、所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的最大相关系数对应的位移偏置小于所述最大可计算位移偏置，则根据所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的匹配度，预设匹配度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数。
在本实施例中，所述全局图像匹配算法得到的所述行列方向的全局运动矢量的可信程度，可以通过所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的匹配度划分为不同的可信等级，匹配度越大，第二时域滤波系数(此时与第一时域滤波系数比较相似)越大，匹配度越小，第二时域滤波系数越小。
例如，在采用基于直方图的全局图像相关法进行滑窗相关计算时，两个等长度的直方图还需进行全局SAD操作，当计算位移偏置对应的直方图SAD偏差小于某个阈值时，可以认为两个直方图是匹配的，采用基于直方图的全局图像相关法的计算结果是可信的。
其中，所述时域滤波系数为所述第一时域滤波系数和所述第二时域滤波系数的乘积。
例如，第一时域滤波系数为s1，假设匹配度值为H，则s1有：
Figure PCTCN2020088846-appb-000007
低匹配阈值Lowthres及高匹配阈值highthres是与图像噪声水平相关的阈值，且highthres>lowthres，ratio为最大时域滤波系数，0<ratio<1。
第二时域滤波系数为s2，s2根据不同匹配算法得到的所述行列方向的全局运动矢量的可信程度的等级来定，且0≤s2≤1。
最终的时域滤波系数可以定义为两者的乘积，s＝s1*s2。
下面详细说明步骤S103中对所述参考帧图像进行偏移的细节内容。
在一实施例中，步骤S103中，所述利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，可以包括：子步骤S31和子步骤S32，如图11所示。
子步骤S31：根据所述行列方向的全局运动矢量，对所述参考帧图像进行全局偏移处理，得到缺失部分图像的偏移图像。如图12所示。
子步骤S32：对缺失的部分图像进行扩展，将扩展后的部分图像与偏移图像组合为所述偏移后的参考帧图像。
对缺失的部分图像进行扩展，能够降低缺失的部分图像和正常图像之间的界限偏差，能够保证成像效果。
具体地，子步骤S32，所述对缺失的部分图像进行扩展之前，还可以包括：对所述偏移图像的外边界进行模糊处理；此时子步骤S32，所述对缺失的部分图像进行扩展，将扩展后的部分图像与偏移图像组合为所述偏移后的参考帧图像，可以包括：将模糊处理后的外边界图像复制到缺失部分图像的位置，得到扩展后的部分图像，将所述扩展后的部分图像与所述偏移图像组合为所述偏移后的参考帧图像。
对所述偏移图像的外边界进行模糊处理，将模糊处理后的外边界图像复制到缺失部分图像的位置，通过这种方式，能够使扩展后的部分图像较为自然真实。例如：模糊处理时，一个可参考的3*3滤波矩阵如下所示：
Figure PCTCN2020088846-appb-000008
当然，对所述参考帧图像进行全局偏移处理时，也可以对缺失的部分图像不进行边界扩展，此时缺失的部分图像的滤波系数定义为0，不进行时域滤波。
下面详细说明步骤S104的细节内容。
时域滤波可采用递归滤波器IIR进行滤波，也可以采用卡尔曼滤波、多帧平均滤波等多种方法。在一应用中，当前帧图像像素点V(p，q)，参考帧图像像素点W(p+dp，q+dq)，时域滤波输出结果V 0(p，q)为：
V o(p,q)＝(1-s(p,q))V(p,q)+s(p,q)W(p+dp,q+dq)
其中，s(p,q)为时域滤波系数，dp、dq为行列方向的全局运动矢量，例如位移偏置。
参见图13，图13是本申请基于全局运动估计的时域滤波装置一实施例的结构示意图，本实施例的装置应用于包括摄像装置的可移动平台，需要说明的是，该装置能够执行上述基于全局运动估计的时域滤波方法中的步骤，相关内容的详细说明，请参见上述基于全局运动估计的时域滤波方法的相关内容，在此不再赘叙。
所述装置100包括：存储器1和处理器2，存储器1和处理器2通过总线连接。
其中，处理器2可以是微控制单元、中央处理单元或数字信号处理器，等等。
其中，存储器1可以是Flash芯片、只读存储器、磁盘、光盘、U盘或者移动硬盘等等。
所述存储器1用于存储计算机程序；所述处理器2用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取所述摄像装置拍摄的当前帧图像；基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量；利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，并基于所述全局运动估计确定时域滤波系数；根据所述偏移后的参考帧图像和所述时域滤波系数对所述当前帧图像进行滤波，得到滤波后的当前 帧图像。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：确定所述当前帧图像和所述参考帧图像的行列方向的全局图像均值直方图，所述全局图像均值直方图的每个点的值为每列或每行的像素的灰度均值。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部最优匹配算法确定所述当前帧图像和参考帧图像的行列方向的多个局部图像均值直方图的多个最优匹配度对应的多个位移偏置；将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：根据所述行列方向的全局图像均值直方图的统计长度和最大可计算位移偏置，确定匹配计算长度；将所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度划分为多个区域段，使所述当前帧图像的行列方向的全局图像均值直方图在对应位置的统计长度上从左至右滑动截取匹配计算长度参与匹配计算，获得多次滑动对应的多个位移偏置；根据所述参考帧图像的多个区域段在多次滑动时每个区域段与所述当前帧图像多个对应段之间的最优匹配度对应的位移偏置，得到行列方向的多个位移偏置。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：将所述参考帧图像的行列方向的全局图像均值直方图上最中间的匹配计算长度划分为多个区域段。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：根据所述参考帧图像的多个区域段在多次滑动时每个区域段与所述当前帧图像多个对应段之间的最小像素差的绝对值SAD或最小像素差的平方和SSD值对应的位移偏置，得到所述行列方向的多个位移偏置。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：若所述最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置小于所述最大可计算位移偏置，则将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：若所述最多 统计次数小于所述统计次数阈值，则基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像相关法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：确定所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度，使所述当前帧图像的行列方向的全局图像均值直方图在对应位置的统计长度上从左至右滑动截取匹配计算长度参与相关计算，获得多次滑动对应的多个相关系数和多个位移偏置；若所述当前帧图像和所述参考帧图像在统计长度的行列方向的全局图像均值直方图上的匹配度大于或等于匹配阈值、所述多个相关系数中最大相关系数对应的位移偏置小于所述最大可计算位移偏置，则将所述多个相关系数中最大相关系数对应的位移偏置作为所述行列方向的全局运动矢量。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：确定所述参考帧图像的行列方向的全局图像均值直方图上最中间的匹配计算长度。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像最小像素差的绝对值SAD法或最小像素差的平方和SSD值法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：根据所述局部图像最优匹配算法得到的所述行列方向的全局运动矢量的可信程度、预设可信程度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数；根据所述行列方向的全局运动矢量对应的匹配度、预设匹配度的范围与预设第一时域滤波系数之间的对应关系，得到第一时域滤波系数；根据所述第一时域滤波系数和所述第二时域滤波系数，确定所述时域滤波系数。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：若所述局部图像最优匹配算法得到的行列方向的全局运动矢量对应的最多统计次数大于 等于统计次数阈值、所述最多统计次数对应的位移偏置小于最大可计算位移偏置，则所述第二时域滤波系数为1；若所述局部图像最优匹配算法得到的行列方向的全局运动矢量对应的最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置等于最大可计算位移偏置，则所述第二时域滤波系数为0。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：根据所述全局图像匹配算法得到的所述行列方向的全局运动矢量的可信程度、预设可信程度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数；根据所述行列方向的全局运动矢量对应的匹配度、预设匹配度的范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数；根据所述第一时域滤波系数和所述第二时域滤波系数，确定所述时域滤波系数。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：若所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的匹配度大于或等于匹配阈值、所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的最大相关系数对应的位移偏置小于所述最大可计算位移偏置，则根据所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的匹配度，预设匹配度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数。
其中，所述时域滤波系数为所述第一时域滤波系数和所述第二时域滤波系数的乘积。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：若所述统计次数最多的位移偏置等于所述最大可计算位移偏置，则确定所述行列方向的全局运动矢量为零。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：若所述多个相关系数中最大相关系数对应的位移偏置等于所述最大可计算位移偏置，则确定所述行列方向的全局运动矢量为零。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：根据所述行列方向的全局运动矢量，对所述参考帧图像进行全局偏移处理，得到缺失部分图像的偏移图像；对缺失的部分图像进行扩展，将扩展后的部分图像与偏移图像组合为所述偏移后的参考帧图像。
其中，所述处理器在执行所述计算机程序时，实现如下步骤：对所述偏移图像的外边界进行模糊处理；将模糊处理后的外边界图像复制到缺失部分图像的位置，得到扩展后的部分图像，将所述扩展后的部分图像与所述偏移图像组合为所述偏移后的参考帧图像。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上任一项所述的基于全局运动估计的时域滤波方法。相关内容的详细说明请参见上述相关内容部分，在此不再赘叙。
其中，该计算机可读存储介质可以是上述装置的内部存储单元，例如硬盘或内存。该计算机可读存储介质也可以是外部存储设备，例如配备的插接式硬盘、智能存储卡、安全数字卡、闪存卡，等等。
应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施例，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (43)

  1. 一种基于全局运动估计的时域滤波方法，其特征在于，应用于包括摄像装置的可移动平台，所述方法包括：
    获取所述摄像装置拍摄的当前帧图像；
    基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量；
    利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，并基于所述全局运动估计确定时域滤波系数；
    根据所述偏移后的参考帧图像和所述时域滤波系数对所述当前帧图像进行滤波，得到滤波后的当前帧图像。
  2. 根据权利要求1所述的方法，其特征在于，所述基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量之前，包括：
    确定所述当前帧图像和所述参考帧图像的行列方向的全局图像均值直方图，所述全局图像均值直方图的每个点的值为每列或每行的像素的灰度均值。
  3. 根据权利要求1所述的方法，其特征在于，所述基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量，包括：
    基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部最优匹配算法确定所述当前帧图像和参考帧图像的行列方向的多个局部图像均值直方图的多个最优匹配度对应的多个位移偏置；
    将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量。
  4. 根据权利要求3所述的方法，其特征在于，所述基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部最优匹配算法确定 所述当前帧图像和参考帧图像的行列方向的多个局部图像均值直方图的最优匹配度对应的多个位移偏置，包括：
    根据所述行列方向的全局图像均值直方图的统计长度和最大可计算位移偏置，确定匹配计算长度；
    将所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度划分为多个区域段，使所述当前帧图像的行列方向的全局图像均值直方图在对应位置的统计长度上从左至右滑动截取匹配计算长度参与匹配计算，获得多次滑动对应的多个位移偏置；
    根据所述参考帧图像的多个区域段在多次滑动时每个区域段与所述当前帧图像多个对应段之间的最优匹配度对应的位移偏置，得到行列方向的多个位移偏置。
  5. 根据权利要求4所述的方法，其特征在于，所述将所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度划分为多个区域段，包括：
    将所述参考帧图像的行列方向的全局图像均值直方图上最中间的匹配计算长度划分为多个区域段。
  6. 根据权利要求4所述的方法，其特征在于，所述根据所述参考帧图像的多个区域段在多次滑动时每个区域段与所述当前帧图像多个对应段之间的最优匹配度对应的位移偏置，得到行列方向的多个位移偏置，包括：
    根据所述参考帧图像的多个区域段在多次滑动时每个区域段与所述当前帧图像多个对应段之间的最小像素差的绝对值SAD或最小像素差的平方和SSD值对应的位移偏置，得到所述行列方向的多个位移偏置。
  7. 根据权利要求4所述的方法，其特征在于，所述将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量，包括：
    若所述最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置小于所述最大可计算位移偏置，则将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量。
  8. 根据权利要求7所述的方法，其特征在于，所述利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，并基于所 述全局运动估计确定时域滤波系数之前，还包括：
    若所述最多统计次数小于所述统计次数阈值，则基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
  9. 根据权利要求8所述的方法，其特征在于，所述基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量，包括：
    基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像相关法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
  10. 根据权利要求9所述的方法，其特征在于，所述基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像相关法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量，包括：
    确定所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度，使所述当前帧图像的行列方向的全局图像均值直方图在对应位置的统计长度上从左至右滑动截取匹配计算长度参与相关计算，获得多次滑动对应的多个相关系数和多个位移偏置；
    若所述当前帧图像和所述参考帧图像在统计长度的行列方向的全局图像均值直方图上的匹配度大于或等于匹配阈值、所述多个相关系数中最大相关系数对应的位移偏置小于所述最大可计算位移偏置，则将所述多个相关系数中最大相关系数对应的位移偏置作为所述行列方向的全局运动矢量。
  11. 根据权利要求10所述的方法，其特征在于，所述确定所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度，包括：
    确定所述参考帧图像的行列方向的全局图像均值直方图上最中间的匹配计算长度。
  12. 根据权利要求8所述的方法，其特征在于，所述基于所述当前帧图像 和参考帧图像的行列方向的全局图像均值直方图，通过全局图像匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量，包括：
    基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像最小像素差的绝对值SAD法或最小像素差的平方和SSD值法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
  13. 根据权利要求3所述的方法，其特征在于，所述基于所述全局运动估计确定时域滤波系数，包括：
    根据所述局部图像最优匹配算法得到的所述行列方向的全局运动矢量的可信程度、预设可信程度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数；
    根据所述行列方向的全局运动矢量对应的匹配度、预设匹配度的范围与预设第一时域滤波系数之间的对应关系，得到第一时域滤波系数；
    根据所述第一时域滤波系数和所述第二时域滤波系数，确定所述时域滤波系数。
  14. 根据权利要求13所述的方法，其特征在于，所述根据所述局部图像最优匹配算法得到的所述行列方向的全局运动矢量的可信程度、预设可信程度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数，包括：
    若所述局部图像最优匹配算法得到的行列方向的全局运动矢量对应的最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置小于最大可计算位移偏置，则所述第二时域滤波系数为1；
    若所述局部图像最优匹配算法得到的行列方向的全局运动矢量对应的最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置等于最大可计算位移偏置，则所述第二时域滤波系数为0。
  15. 根据权利要求10所述的方法，其特征在于，所述基于所述全局运动估计确定时域滤波系数，包括：
    根据所述全局图像匹配算法得到的所述行列方向的全局运动矢量的可信程度、预设可信程度范围与预设第二时域滤波系数之间的对应关系，得到第二 时域滤波系数；
    根据所述行列方向的全局运动矢量对应的匹配度、预设匹配度的范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数；
    根据所述第一时域滤波系数和所述第二时域滤波系数，确定所述时域滤波系数。
  16. 根据权利要求15所述的方法，其特征在于，所述根据所述全局图像匹配算法得到的所述行列方向的全局运动矢量的可信程度、预设可信程度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数，包括：
    若所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的匹配度大于或等于匹配阈值、所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的最大相关系数对应的位移偏置小于所述最大可计算位移偏置，则根据所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的匹配度，预设匹配度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数。
  17. 根据权利要求13或14所述的方法，其特征在于，所述时域滤波系数为所述第一时域滤波系数和所述第二时域滤波系数的乘积。
  18. 根据权利要求7所述的方法，其特征在于，所述方法还包括：
    若所述统计次数最多的位移偏置等于所述最大可计算位移偏置，则确定所述行列方向的全局运动矢量为零。
  19. 根据权利要求10所述的方法，其特征在于，所述方法还包括：
    若所述多个相关系数中最大相关系数对应的位移偏置等于所述最大可计算位移偏置，则确定所述行列方向的全局运动矢量为零。
  20. 根据权利要求1所述的方法，其特征在于，所述利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，包括：
    根据所述行列方向的全局运动矢量，对所述参考帧图像进行全局偏移处理，得到缺失部分图像的偏移图像；
    对缺失的部分图像进行扩展，将扩展后的部分图像与偏移图像组合为所述偏移后的参考帧图像。
  21. 根据权利要求20所述的方法，其特征在于，所述对缺失的部分图像 进行扩展之前，包括：
    对所述偏移图像的外边界进行模糊处理；
    所述对缺失的部分图像进行扩展，将扩展后的部分图像与偏移图像组合为所述偏移后的参考帧图像，包括：
    将模糊处理后的外边界图像复制到缺失部分图像的位置，得到扩展后的部分图像，将所述扩展后的部分图像与所述偏移图像组合为所述偏移后的参考帧图像。
  22. 一种基于全局运动估计的时域滤波装置，其特征在于，应用于包括摄像装置的可移动平台，所述装置包括：存储器和处理器；
    所述存储器用于存储计算机程序；
    所述处理器用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    获取所述摄像装置拍摄的当前帧图像；
    基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部图像最优匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到行列方向的全局运动矢量；
    利用所述行列方向的全局运动矢量对所述参考帧图像进行偏移得到偏移后的参考帧图像，并基于所述全局运动估计确定时域滤波系数；
    根据所述偏移后的参考帧图像和所述时域滤波系数对所述当前帧图像进行滤波，得到滤波后的当前帧图像。
  23. 根据权利要求22所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    确定所述当前帧图像和所述参考帧图像的行列方向的全局图像均值直方图，所述全局图像均值直方图的每个点的值为每列或每行的像素的灰度均值。
  24. 根据权利要求22所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过局部最优匹配算法确定所述当前帧图像和参考帧图像的行列方向的多个局部图像均值直方图的多个最优匹配度对应的多个位移偏置；
    将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量。
  25. 根据权利要求24所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    根据所述行列方向的全局图像均值直方图的统计长度和最大可计算位移偏置，确定匹配计算长度；
    将所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度划分为多个区域段，使所述当前帧图像的行列方向的全局图像均值直方图在对应位置的统计长度上从左至右滑动截取匹配计算长度参与匹配计算，获得多次滑动对应的多个位移偏置；
    根据所述参考帧图像的多个区域段在多次滑动时每个区域段与所述当前帧图像多个对应段之间的最优匹配度对应的位移偏置，得到行列方向的多个位移偏置。
  26. 根据权利要求25所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    将所述参考帧图像的行列方向的全局图像均值直方图上最中间的匹配计算长度划分为多个区域段。
  27. 根据权利要求25所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    根据所述参考帧图像的多个区域段在多次滑动时每个区域段与所述当前帧图像多个对应段之间的最小像素差的绝对值SAD或最小像素差的平方和SSD值对应的位移偏置，得到所述行列方向的多个位移偏置。
  28. 根据权利要求25所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    若所述最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置小于所述最大可计算位移偏置，则将所述行列方向的多个位移偏置中最多统计次数对应的位移偏置作为所述行列方向的全局运动矢量。
  29. 根据权利要求28所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    若所述最多统计次数小于所述统计次数阈值，则基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像匹配算法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
  30. 根据权利要求29所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像相关法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
  31. 根据权利要求30所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    确定所述参考帧图像的行列方向的全局图像均值直方图上的匹配计算长度，使所述当前帧图像的行列方向的全局图像均值直方图在对应位置的统计长度上从左至右滑动截取匹配计算长度参与相关计算，获得多次滑动对应的多个相关系数和多个位移偏置；
    若所述当前帧图像和所述参考帧图像在统计长度的行列方向的全局图像均值直方图上的匹配度大于或等于匹配阈值、所述多个相关系数中最大相关系数对应的位移偏置小于所述最大可计算位移偏置，则将所述多个相关系数中最大相关系数对应的位移偏置作为所述行列方向的全局运动矢量。
  32. 根据权利要求31所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    确定所述参考帧图像的行列方向的全局图像均值直方图上最中间的匹配计算长度。
  33. 根据权利要求29所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    基于所述当前帧图像和参考帧图像的行列方向的全局图像均值直方图，通过全局图像最小像素差的绝对值SAD法或最小像素差的平方和SSD值法利用所述参考帧图像对所述当前帧图像进行全局运动估计得到所述行列方向的全局运动矢量。
  34. 根据权利要求24所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    根据所述局部图像最优匹配算法得到的所述行列方向的全局运动矢量的可信程度、预设可信程度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数；
    根据所述行列方向的全局运动矢量对应的匹配度、预设匹配度的范围与预设第一时域滤波系数之间的对应关系，得到第一时域滤波系数；
    根据所述第一时域滤波系数和所述第二时域滤波系数，确定所述时域滤波系数。
  35. 根据权利要求34所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    若所述局部图像最优匹配算法得到的行列方向的全局运动矢量对应的最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置小于最大可计算位移偏置，则所述第二时域滤波系数为1；
    若所述局部图像最优匹配算法得到的行列方向的全局运动矢量对应的最多统计次数大于等于统计次数阈值、所述最多统计次数对应的位移偏置等于最大可计算位移偏置，则所述第二时域滤波系数为0。
  36. 根据权利要求31所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    根据所述全局图像匹配算法得到的所述行列方向的全局运动矢量的可信程度、预设可信程度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数；
    根据所述行列方向的全局运动矢量对应的匹配度、预设匹配度的范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数；
    根据所述第一时域滤波系数和所述第二时域滤波系数，确定所述时域滤波系数。
  37. 根据权利要求36所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    若所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的匹 配度大于或等于匹配阈值、所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的最大相关系数对应的位移偏置小于所述最大可计算位移偏置，则根据所述全局图像匹配算法得到的所述行列方向的全局运动矢量对应的匹配度，预设匹配度范围与预设第二时域滤波系数之间的对应关系，得到第二时域滤波系数。
  38. 根据权利要求34或35所述的装置，其特征在于，所述时域滤波系数为所述第一时域滤波系数和所述第二时域滤波系数的乘积。
  39. 根据权利要求28所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    若所述统计次数最多的位移偏置等于所述最大可计算位移偏置，则确定所述行列方向的全局运动矢量为零。
  40. 根据权利要求31所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    若所述多个相关系数中最大相关系数对应的位移偏置等于所述最大可计算位移偏置，则确定所述行列方向的全局运动矢量为零。
  41. 根据权利要求22所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    根据所述行列方向的全局运动矢量，对所述参考帧图像进行全局偏移处理，得到缺失部分图像的偏移图像；
    对缺失的部分图像进行扩展，将扩展后的部分图像与偏移图像组合为所述偏移后的参考帧图像。
  42. 根据权利要求41所述的装置，其特征在于，所述处理器在执行所述计算机程序时，实现如下步骤：
    对所述偏移图像的外边界进行模糊处理；
    将模糊处理后的外边界图像复制到缺失部分图像的位置，得到扩展后的部分图像，将所述扩展后的部分图像与所述偏移图像组合为所述偏移后的参考帧图像。
  43. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要 求1-21任一项所述的基于全局运动估计的时域滤波方法。
PCT/CN2020/088846 2020-05-06 2020-05-06 基于全局运动估计的时域滤波方法、装置及存储介质 WO2021223127A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080005224.5A CN112805989A (zh) 2020-05-06 2020-05-06 基于全局运动估计的时域滤波方法、装置及存储介质
PCT/CN2020/088846 WO2021223127A1 (zh) 2020-05-06 2020-05-06 基于全局运动估计的时域滤波方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/088846 WO2021223127A1 (zh) 2020-05-06 2020-05-06 基于全局运动估计的时域滤波方法、装置及存储介质

Publications (1)

Publication Number Publication Date
WO2021223127A1 true WO2021223127A1 (zh) 2021-11-11

Family

ID=75809274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/088846 WO2021223127A1 (zh) 2020-05-06 2020-05-06 基于全局运动估计的时域滤波方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN112805989A (zh)
WO (1) WO2021223127A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503743A (zh) * 2023-06-28 2023-07-28 自然资源部第二海洋研究所 一种地理矢量数据和高分遥感图像的最优匹配方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442522B (zh) * 2022-08-10 2023-11-21 深圳市贝嘉技术有限公司 基于显微镜的成像调整方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070070250A1 (en) * 2005-09-27 2007-03-29 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
CN104202504A (zh) * 2014-08-19 2014-12-10 昆明理工大学 一种基于fpga的实时电子稳像电路系统的处理方法
CN104717402A (zh) * 2015-04-01 2015-06-17 中国科学院自动化研究所 一种空时域联合噪声估计系统
CN104735301A (zh) * 2015-04-01 2015-06-24 中国科学院自动化研究所 视频时域去噪装置及方法
CN109743495A (zh) * 2018-11-28 2019-05-10 深圳市中科视讯智能系统技术有限公司 视频图像电子增稳方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070070250A1 (en) * 2005-09-27 2007-03-29 Samsung Electronics Co., Ltd. Methods for adaptive noise reduction based on global motion estimation
CN104202504A (zh) * 2014-08-19 2014-12-10 昆明理工大学 一种基于fpga的实时电子稳像电路系统的处理方法
CN104717402A (zh) * 2015-04-01 2015-06-17 中国科学院自动化研究所 一种空时域联合噪声估计系统
CN104735301A (zh) * 2015-04-01 2015-06-24 中国科学院自动化研究所 视频时域去噪装置及方法
CN109743495A (zh) * 2018-11-28 2019-05-10 深圳市中科视讯智能系统技术有限公司 视频图像电子增稳方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503743A (zh) * 2023-06-28 2023-07-28 自然资源部第二海洋研究所 一种地理矢量数据和高分遥感图像的最优匹配方法
CN116503743B (zh) * 2023-06-28 2023-09-08 自然资源部第二海洋研究所 一种地理矢量数据和高分遥感图像的最优匹配方法

Also Published As

Publication number Publication date
CN112805989A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
US11790481B2 (en) Systems and methods for fusing images
CN110189285B (zh) 一种多帧图像融合方法及装置
CN110796010B (zh) 一种结合光流法和卡尔曼滤波的视频稳像方法
US8508605B2 (en) Method and apparatus for image stabilization
US9947077B2 (en) Video object tracking in traffic monitoring
WO2020253618A1 (zh) 一种视频抖动的检测方法及装置
US11282216B2 (en) Image noise reduction
KR100985805B1 (ko) 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법
KR101811718B1 (ko) 영상 처리 방법 및 장치
JP7078139B2 (ja) ビデオ安定化方法及び装置、並びに非一時的コンピュータ可読媒体
CN106331723B (zh) 一种基于运动区域分割的视频帧率上变换方法及系统
WO2017100971A1 (zh) 一种失焦模糊图像的去模糊方法和装置
EP3798975B1 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
US9971418B2 (en) Tracker for cursor navigation
CN106210448B (zh) 一种视频图像抖动消除处理方法
CN111161172B (zh) 一种红外图像列向条纹消除方法、系统及计算机存储介质
WO2021223127A1 (zh) 基于全局运动估计的时域滤波方法、装置及存储介质
TWI542201B (zh) 降低視訊畫面抖動的方法與裝置
GB2536430B (en) Image noise reduction
WO2014069103A1 (ja) 画像処理装置
CN109035287B (zh) 前景图像提取方法和装置、运动车辆识别方法和装置
US20110085026A1 (en) Detection method and detection system of moving object
CN113409353B (zh) 运动前景检测方法、装置、终端设备及存储介质
US20230169674A1 (en) Information processing device, information processing method, and information processing program
US11373277B2 (en) Motion detection method and image processing device for motion detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20934488

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20934488

Country of ref document: EP

Kind code of ref document: A1