WO2019237286A1 - 一种筛选局部特征点的方法及装置 - Google Patents

Abstract

本申请实施例提供一种筛选局部特征点的方法及装置，涉及图像处理领域，用于解决现有技术中筛选出的局部特征点在图像中分布比较集中且误差较大的问题。该方法包括：确定第一帧图像中每个网格所包含的局部特征点；利用第二帧图像中每个网格的局部特征点的信息分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到第一帧图像中每个网格保留的局部特征点，其中，第二帧图像为第一帧图像的上一帧图像，第一帧图像和第二帧图像的尺寸相同，第一帧图像和第二帧图像中处于相同位置的网格一一对应；根据第一帧图像中每个网格中保留的局部特征点的信息确定待输出的局部特征点。

Description

一种筛选局部特征点的方法及装置 技术领域

本申请实施例涉及图像处理领域，尤其涉及一种筛选局部特征点的方法及装置。

背景技术

在图像处理领域中，图像特征点提取是进行图像分析与图像识别的前提。通过图像特征点提取，可以将图像中的高维度信息转化为低维度的特征点识别信息，以便于后续快速完成两幅或多幅图像之间的比较与匹配，在图像识别、图像分析、机器视觉、导航等领域均有广泛应用。局部特征点是图像特征点中常用的一种类型，局部特征点可用于记录图像中的局部特征，如线条交叉、明暗变化的结构等。

在图像局部特征点的提取过程中，对于一幅图像而言，使用常见的提取方法通常会获得数千个符合要求的局部特征点，但很大一部分局部特征点的信息是冗余的、没有必要记录的。因此，在完成提取局部特征点之后进行合理的筛选是后续应用的必备步骤之一，需要选用恰当方法筛选出最稳健的点、减少其总数至预期的数值。通常情况下，在提取过程中会使用响应分数值(response score)来标记局部特征点的稳健程度，分数值越大的点意味着更符合甄选条件，在筛选中会优先保留。通过相应的筛选方法，数千个局部特征点中仅响应分数值较大的得到保留，从而控制局部特征点总数在预期的数量范围内。

目前，一种基于全图统计响应分数值的局部特征点筛选方案中，采用响应分数值作为局部特征点筛选的唯一条件，即在局部特征点提取完成后，按响应分数值作为排序字段对所有局部特征点进行重排序，从中选取响应分数值最高的预期数量的点作为最终输出。在比较过程中若存在多个局部特征点的响应分数值相同，则这部分局部特征点全部选取或者不选取，以使输出点数大于等于预期数量。

但是，仅使用局部特征点的响应分数值作为唯一筛选条件，最终筛选出的局部特征点仅分布于图像中特征较为明显的区域，即线条密集、明暗变化丰富的区域，图像中纹理较弱区域的局部特征点由于响应分值不高，通常会在筛选中被过滤，使得最终的局部特征点在图像中分布比较集中且误差较大，过于集中的局部特征点无法理想地表达图像的整体特征信息，进而使用该局部特征点进行后续图像之间的匹配和分析时容易出现错误。

发明内容

本申请实施例提供一种筛选局部特征点的方法及装置，用于解决现有技术中因为筛选出的局部特征点在图像中分布比较集中且误差较大的问题。

第一方面，提供一种筛选局部特征点的方法，该方法包括：确定第一帧图像中每个网格所包含的局部特征点；利用第二帧图像中每个网格的局部特征点的信息分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到第一帧图像中每个网格保留的局部特征点，其中，第二帧图像为第一帧图像的上一帧图像，第一 帧图像和第二帧图像的尺寸相同，第一帧图像和第二帧图像中处于相同位置的网格一一对应；根据第一帧图像中每个网格中保留的局部特征点的信息确定待输出的局部特征点。上述技术方案中，通过对第一帧图像中每个网格所包含的局部特征点进行筛选，可以保证筛选的局部特征点在第一帧图像中的分布是分散的；另外，由于相邻两帧图像的像素变化轻微，所以利用第二帧图像中每个网格的局部特征点的信息分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，可以保证每个网格中保留的局部特征点的误差较小，进而根据第一帧图像中每个网格中保留的局部特征点的信息确定的待输出的局部特征点可以是分散的，且误差较小。

在第一方面的一种可能的实现方式中，确定第一帧图像中每个网格所包含的局部特征点，包括：提取第一帧图像的多个局部特征点；确定所述多个局部特征点中每个局部特征点所属的网格，以得到第一帧图像中每个网格所包含的局部特征点。上述可能的实现方式中，可以实现特征信息明显和不明显区域的分组处理，不会导致特征信息弱的区域因为局部特征点的响应分数值低而后续被过滤掉的问题。

在第一方面的一种可能的实现方式中，利用第二帧图像中每个网格的局部特征点的信息分别对第一帧图像中处于相同位置的网格的局部特征点进行筛选，以得到第一帧图像中每个网格保留的局部特征点，包括：利用第二帧图像中每个网格的局部特征点的最大响应分数值，分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到第一帧图像中每个网格保留的局部特征点。上述可能的实现方式中，由于相邻两帧图像的像素变化轻微，利用第二帧图像每个网格的局部特征点的信息对第一帧图像中相同位置的网格的局部特征点进行筛选，可以保证筛选的局部特征点的误差较小。

在第一方面的一种可能的实现方式中，利用第二帧图像中每个网格的局部特征点的最大响应分数值，分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，包括：将第一帧图像中每个网格的局部特征点的响应分数值与第二帧图像中处于相同位置的网格中局部特征点的最大响应分数值进行比较，保留大于或等于所述最大响应分数值的局部特征点，删除小于所述最大响应分数值的局部特征点。上述可能的实现方式中，通过保留大于或等于所述最大响应分数值的局部特征点，删除小于所述最大响应分数值的局部特征点，可以提高局部特征点的筛选速度和准确性。

在第一方面的一种可能的实现方式中，根据第一帧图像中每个网格保留的局部特征点的信息确定待输出的局部特征点，包括：根据第一帧图像中每个网格保留的局部特征点的数量和响应分数值之和，对第一帧图像包括的多个网格进行排序，将排序靠前的K个网格中保留的局部特征点确定为待输出的局部特征点。上述可能的实现方式中，通过对第一帧图像包括的多个网格进行排序，并将排序靠前的K个网格中保留的局部特征点确定为待输出的局部特征点，可以保证待输出的局部特征点是在第一帧图像中是分散的，且不会打乱局部特征点的顺序，从而在输出待输出的局部特征点时，无需对待输出的局部特征点进行排序，提高了局部特征点筛选的效率，并节省了处理过程中所需的存储空间。

在第一方面的一种可能的实现方式中，该方法还包括：删除第一帧图像中包括的多个网格中除所述K个网格之外的其他网格的局部特征点的信息。上述可能的实现方 式中，通过删除所述K个网格之外的其他网格的局部特征点的信息，可以保证所述其他网格的局部特征点的信息的实时有效性，从而在利用上一帧图像的局部特征点的信息对下一帧图像的局部特征点进行筛选时，可以使所述其他网格的局部特征点的信息为零，进而保证局部特征点筛选的准确性。

第二方面，提供一种局部特征点筛选装置，该装置包括：运算器，用于确定第一帧图像中每个网格所包含的局部特征点；运算器，还用于利用第二帧图像中每个网格的局部特征点的信息分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到第一帧图像中每个网格保留的局部特征点，其中，第二帧图像为第一帧图像的上一帧图像，第一帧图像和第二帧图像的尺寸相同，第一帧图像和第二帧图像中处于相同位置的网格一一对应；运算器，还用于根据第一帧图像中每个网格中保留的局部特征点的信息确定待输出的局部特征点；第一缓存器，用于存储第二帧图像中每个网格的局部特征点的信息、第一帧图像中每个网格中保留的局部特征点的信息；第二缓存器，用于存储第一帧图像中每个网格保留的局部特征点。可选地，第一缓存器可以是快速、短暂存储的设备，比如，第一缓存器可以为寄存器；第二缓存器可以是实时性要求不高、调用频次较低的存储设备，比如，第二缓存器可以是静态随机存储器SRAM。

在第二方面的一种可能的实现方式中，运算器还用于：提取第一帧图像的多个局部特征点；确定多个局部特征点中每个局部特征点所属的网格，以得到第一帧图像中每个网格所包含的局部特征点。

在第二方面的一种可能的实现方式中，运算器还用于：利用第二帧图像中每个网格的局部特征点的最大响应分数值，分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到第一帧图像中每个网格保留的局部特征点。

在第二方面的一种可能的实现方式中，运算器还用于：将第一帧图像中每个网格的局部特征点的响应分数值与第二帧图像中处于相同位置的网格中局部特征点的最大响应分数值进行比较，保留大于或等于所述最大响应分数值的局部特征点，删除小于所述最大响应分数值的局部特征点。

在第二方面的一种可能的实现方式中，运算器还用于：根据所述第一帧图像中每个网格保留的局部特征点的数量和响应分数值之和，对第一帧图像包括的多个网格进行排序，将排序靠前的K个网格中保留的局部特征点确定为待输出的局部特征点。

在第二方面的一种可能的实现方式中，运算器还用于：从第一缓存器中删除第一帧图像中包括的多个网格中除所述K个网格之外的其他网格中保留的局部特征点的信息。

第三方面，提供一种可读存储介质，所述可读存储介质中存储有指令，当所述可读存储介质在设备上运行时，使得所述设备执行第一方面或者第一方面的任一项可能的实现方式所提供的筛选局部特征点的方法。

第四方面，提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面或者第一方面的任一项可能的实现方式所提供的筛选局部特征点的方法。

可以理解地，上述提供的任一种筛选局部特征点的方法的装置、计算机存储介质 或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的一种图像处理设备的结构示意图；

图2为本申请实施例提供的一种筛选局部特征点的方法的流程示意图；

图3为本申请实施例提供的一种第一帧图像中网格的分布示意图；

图4为本申请实施例提供的一种第一帧图像中K个网格的分布示意图；

图5为本申请实施例提供的一种筛选图像序列中局部特征点的示意图；

图6为本申请实施例提供的一种筛选局部特征点的装置的结构示意图；

图7为本申请实施例提供的另一种筛选局部特征点的装置的结构示意图。

具体实施方式

图1为本申请实施例提供的一种图像处理设备的结构示意图，该图像处理设备可以为手机、平板电脑、计算机、笔记本电脑、摄像机、照相机、可穿戴设备、车载设备、或终端设备等等。为方便描述，本申请中将上面提到的设备统称为图像处理设备。本申请实施例以该图像处理设备为手机为例进行说明，该手机包括：存储器101、处理器102、传感器组件103、多媒体组件104、电源组件105以及输入\输出接口106。

下面结合图1对图像处理设备的各个构成部件进行具体的介绍：

存储器101可用于存储数据、软件程序以及模块；主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序，比如声音播放功能、图像播放功能等；存储数据区可存储根据图像处理设备的使用所创建的数据，比如音频数据、图像数据、电话本等。此外，图像处理设备可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器102是图像处理设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器101内的软件程序和/或模块，以及调用存储在存储器101内的数据，执行图像处理设备的各种功能和处理数据，从而对图像处理设备进行整体监控。可选地，处理器102可包括一个或多个处理单元，比如，处理器102可集成应用处理器(Application Processor，AP)和专用集成电路(Application Specific integrated Circuit，ASIC)，其中，AP主要处理操作系统、用户界面和应用程序等，ASIC是专门为某一项功能开发的专用集成芯片，比如，ASIC可用于处理特征提取的相关过程等。可以理解的是，上述，ASIC也可以不集成到处理器102中。

传感器组件103包括一个或多个传感器，用于为图像处理设备提供各个方面的状态评估。其中，传感器组件103可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器，通过传感器组件103可以检测到图像处理设备的加速/减速、方位、打开/关闭状态，组件的相对定位，或图像处理设备的温度变化等。此外，传感器组件103还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。

多媒体组件104在图像处理设备和用户之间的提供一个输出接口的屏幕，该屏幕可以为触摸面板，且当该屏幕为触摸面板时，屏幕可以被实现为触摸屏，以接收来自 用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。此外，多媒体组件104还包括至少一个摄像头，比如，多媒体组件104包括一个前置摄像头和/或后置摄像头。当图像处理设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

电源组件105用于为图像处理设备的各个组件提供电源，电源组件105可以包括电源管理系统，一个或多个电源，及其他与图像处理设备生成、管理和分配电力相关联的组件。输入\输出接口106为处理器102和外围接口模块之间提供接口，比如，外围接口模块可以键盘、鼠标等。

尽管未示出，图像处理设备还可以包括音频组件和通信组件等，比如，音频组件包括麦克风，通信组件包括无线保真(Wireless Fidelity，WiFi)模块、蓝牙模块等，本申请实施例在此不再赘述。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

图2为本申请实施例提供的一种筛选局部特征点的方法的流程示意图，参见图2，该方法包括以下几个步骤。

S201：确定第一帧图像中每个网格所包含的局部特征点。

其中，本申请提供的方法可以由图像处理设备执行，具体可以由图像处理设备中的处理器执行，该处理器可以是应用处理器、专用集成电路ASIC、或者图像处理单元(Graphics Processing Unit，GPU)等，本申请实施例对此不做具体限定。

另外，第一帧图像可以是视频图形阵列(Video Graphics Array，VGA)中采集的图像序列中的一帧图像，该图像序列可以包括连续的多帧图像，多帧图像的帧数可以由采集的时长和帧率等确定。图像序列中每帧图像的尺寸大小相等，比如，每帧图像的尺寸可以为640×480。

在确定第一帧图像中每个网格所包含的局部特征点之前，图像处理设备可以先获取第一帧图像，根据第一帧图像的尺寸，确定第一帧图像中多个网格的网格信息，该网格信息可以用于确定第一帧图像中的每个网格，即根据第一帧图像的尺寸，将第一帧图像划分为多个网格。

其中，当执行该方法的处理器为内存较大、处理速度较快的处理器(比如，应用处理器和图像处理单元)时，该处理器可以一次性读取整个第一帧图像；当执行该方法的处理器为内存较小、处理速度较慢的处理器(比如，ASIC)时，该处理器可以每次读取第一帧图像的一部分，分多次读取，以遍历整个第一帧图像。

另外，由于第一帧图像的四周边界在后续处理时是不需要的，因此，在对第一帧图像进行网格划分时，可以先对第一帧图像的四周边界进行裁剪，通过四叉树索引对裁剪后得到的中心图像区域进行网格划分，并记录网格信息，该网格信息可以通过寄存器记录。比如，将该中心图像区域划分为M×N个网格(比如，8×8、或者8×12等)，划分得到的网格信息可以包括网格的长度和宽度信息，将该长度和宽度信息存 储在寄存器中。可选地，图像处理设备还可以按照从左至右、从上至下的顺序，为划分得到的多个网格进行编号，并为每个网格分配一组寄存器，为每个网格分配的寄存器可用于存储后续确定的该网格中的局部特征点的信息。

需要说明的是，第一帧图像包括的多个网格中的每个网格的尺寸可以相等或不相等，每个网格可以是规则的多边形，也可以是不规则形状，本申请实施例对此不作具体限定。

比如，如图3所示，第一帧图像的尺寸为640×480，若四周边界各18个像素是无效区域，则可以裁剪掉第一帧图像的无效区域，得到604×454的中心图像区域，通过四叉树索引对该中心图像区域进行8×8个网格划分，则得到的网格信息中的长度可以为76(604/8＝75.5，向上取整为76)，宽度可以为57(454/8≈＝56.75，向上取整为57)。按照从左至右、从上至下的顺序，为划分得到的网格进行编号，共64个网格，编号依次为0至63。

进一步地，确定第一帧图像中每个网格所包含的局部特征点，具体可以包括：提取第一帧图像的多个局部特征点，确定该多个局部特征点中每个局部特征点所属的网格，以得到第一帧图像中每个网格所包含的局部特征点。

其中，每个局部特征点可以通过坐标和响应分数值所表征，一个局部特征点的坐标用于表示该局部特征点在图像中的位置，一个局部特征点的响应分数值用于表示该局部特征点的稳健程度，局部特征点的坐标和响应分数值是在特征提取过程中获得的。

具体地，图像处理设备可以逐像素对第一帧图像进行处理，以获取第一帧图像中的多个局部特征点，即对于第一帧图像中的每个像素点，判断该像素点是否为局部特征点，若为局部特征点，则获取该局部特征点的坐标和响应分数值。当获取该多个局部特征点之后，可以根据每个局部特征点的坐标和网格划分时得到的网格信息，确定每个局部特征点所属的网格，从而得到第一帧图像中每个网格所包含的局部特征点。

比如，假设第一帧图像中的一个局部特征点的坐标为(327，178)，划分为8×8个网格时得到的每个网格的长度为76、宽度为57，则通过解以下不等式(1)和(2)，可以得到该局部特征点对应网格的水平方向的索引号m和竖直方向的索引号n，解出(m，n)值为(4，2)，通过公式(3)可以得到该局部特征点所属网格的网格编号index为20。

18+76*m<＝x<18+76*(m+1)      (1)

18+57*n<＝y<18+57*(n+1)       (2)

index＝m+n*8                 (3)

需要说明的是，图像处理设备可以先一次性提取出第一帧图像中的多个局部特征点，再分别判断该多个局部特征点中的每个局部特征点所属的网格，以确定第一帧图像中每个网格所包括的局部特征点；或者，图像处理设备可以每次提取出第一帧图像中的一个局部特征点后，即判断该局部特征点所属的网格，之后再按照同样的方式提取第一帧图像中的下一个局部特征点，直到确定第一帧图像中每个网格所包括的局部特征点。

S202：利用第二帧图像中每个网格的局部特征点的信息分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到第一帧图像中每个网格保留的 局部特征点，第二帧图像为第一帧图像的上一帧图像，第一帧图像和第二帧图像的尺寸相同，第一帧图像和第二帧图像中处于相同位置的网格一一对应。

其中，第二帧图像和第一帧图像都是图像序列中的图像，且第二帧图像为第一帧图像的上一帧图像。第二帧图像中每个网格的局部特征点的信息可以为每个网格的局部特征点的最大响应分数值，第二帧图像中每个网格的局部特征点的最大响应分数值可以是在对第二帧图像进行局部特征点筛选过程中得到的。比如，第二帧图像中某一网格包括两个局部特征点，且分别对应的响应分数值为25和30，两个局部特征点的响应分数值中的最大响应分数值为30，则第二帧图像中该网格的局部特征点的信息为30。

具体地，利用第二帧图像中每个网格的局部特征点的最大响应分数值，分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到第一帧图像中每个网格保留的局部特征点，可以包括：将第一帧图像中每个网格的局部特征点的响应分数值与第二帧图像中处于相同位置的网格中局部特征点的最大响应分数值进行比较，保留大于该最大响应分数值的局部特征点，删除小于该最大响应分数值的局部特征点。

比如，以第二帧图像中某一网格的局部特征点的最大响应分数值为30，第一帧图像中出于相同位置的网格所包含的局部特征点包括：Q1、Q2和Q3，Q1至Q3对应的坐标分别为(x1，y1)、(x2，y2)和(x3，y3)，对应的响应分数值分别为27、35和30，则将该最大响应分数值30分别与第一帧图像中该网格的局部特征点的响应分数值27、35和30进行比较，则保留的大于该最大响应分数值30的局部特征点为Q2和Q3，删除小于该最大响应分数值的局部特征点Q1，从而得到第一帧图像中该网格保留的局部特征点为Q2和Q3。

需要说明的是，第二帧图像中每个网格的局部特征点的信息也可以为每个网格的局部特征点的亮度信息或者分辨率信息等，相应地，第一帧图像中每个网格所包含的局部特征点的信息也可以为亮度信息或者分辨信息，本申请实施例仅以该信息为响应分数值为例进行说明，但不限于仅使用响应分数值对局部特征点进行筛选。

S203：根据第一帧图像中每个网格中保留的局部特征点的信息确定待输出的局部特征点。

在得到第一帧图像中每个网格保留的局部特征点之后，可以确定第一帧图像中每个网格中保留的局部特征点的信息。其中，该信息可以为每个网格所保留的局部特征点的数量、以及该网格所包含的局部特征点的响应分数值之和。可选地，第一帧图像中每个网格中保留的局部特征点的信息可以通过分配的一组寄存器进行存储。

比如，第一帧图像中某一网格中保留的局部特征点为Q2和Q3，Q2和Q3对应的响应分数值分别为35和30，则该网格的局部特征点的信息中局部特征点的数量为2、响应分数值之和为65(即35+30)。

具体地，根据第一帧图像中每个网格中保留的局部特征点的信息确定待输出的局部特征点，可以包括：根据第一帧图像中每个网格保留的局部特征点的数量和响应分数值之和，对第一帧图像包括的多个网格进行排序，将排序靠前的K个网格中保留的局部特征点确定为待输出的局部特征点，K为正整数。

示例性的，假设第一帧图像包括M×N个网格，则按照第一帧图像中M×N个网格保留的局部特征点的响应分数值之和，对该M×N个网格进行排序，比如，按照每个网格的响应分数值之和从大到小的顺序，对该M×N个网格进行排序，并当排序靠前的K个网格中局部特征点的数量之和(即K个网格所包含的保留的局部特征点的总数量)满足预期数量时，则可以确定排序靠前的K个网格，K个网格中保留的局部特征点即为待输出的局部特征点。

需要说明的是，排序靠前的K个网格中包括的局部特征点的总数量满足预期数量，可以是指排序靠前的K个网格中包括的局部特征点的总数量大于或等于预期数量，且排序靠前的(K-1)个网格中包括的局部特征点的总数量小于预期数量。

进一步地，在确定排序靠前的K个网格之后，还可以删除第一帧图像中包括的多个网格中除所述K个网格之外的其他网格的局部特征点的信息，比如，将分配的寄存器中所述K个网格之外的其他网格的局部特征点的信息清零。

例如，结合图3，假设第一帧图像中平均每个网格中均保留有3个局部特征点，图3中的网格为64个，若实际所需的局部特征点的预期数量为100，则在根据所述局部特征点的数量和所述响应分数值之和，对64个网格进行排序后，排序靠前的33个网格中包括的局部特征点的总数量为3×33＝99，排序靠前的34个网格中包括的局部特征点的总数量为3×34＝102，因为99＜100＜102，所以K的取值为34。之后，剩余的30个网格中保留的局部特征点的信息被清零。假设排序靠前的34个网格的分布如图4所示，图4中未写出网格编号的网格表示其保留的局部特征点的信息被清零，写出网格编号的网格表示其保留的局部特征点的信息被保留。

此外，为了利用第一帧图像中每个网格所保留的局部特征点的信息，对第一帧图像的下一帧图像进行处理，图像处理设备还可以确定第一帧图像中每个网格所保留的局部特征点的最大响应分数值，通过第一帧图像中每个网格对应的最大响应分数值，对第一帧图像的下一帧图像进行处理，具体处理过程与上述S201至S203类似，具体参见上述描述，本申请实施例在此不再赘述。

进一步地，当图像处理设备确定待输出的局部特征点之后，图像处理还可以输出该K个网格中保留的局部特征点，该输出的局部特征点可以用于后续相关的图像识别或者图像分析等。之后，图像处理设备可以根据上述S201至S203的步骤对图像序列中第一帧图像的下一帧图像进行处理。

需要说明的是，第二帧图像可以是图像序列中的第一张图像，也可以不是图像序列中的第一个张图像。当第二帧图像是图像序列中的第一张图像时，图像处理设备可以按照以下方法确定第二帧图像中待输出的局部特征点：确定第二帧图像中每个网格所包含的局部特征点(具体过程可以与上述S201类似)，确定每个网格所包含的局部特征点的数量和响应分数值之和，并根据每个网格所包含的局部特征点的数量和响应分数值之和，确定待输出的局部特征点(具体过程可以与上述S203类似)。当第二帧图像不是第一张图像时，则可以按照上述S201至S203的步骤确定第二帧图像中待输出的局部特征点。

示例性地，如图5所示，假设图像序列包括W帧图像，则图像处理设备可以按照以下处理流程，依次对W帧图像进行处理。具体地，对图像1进行处理，处理过程中 可以根据图像1中每个网格中局部特征点的数量和响应分数值之和对图像1包括的多个网格进行排序，以获取排序靠前的K1个网格(假设K1个网格中保留的局部的特征点满足预期数量)，可选地，获取所述K1个网格中局部特征点的最大响应分数值；之后，按照上述S201至S203对图像2进行处理，处理过程中可以使用图像1中每个网格的最大响应分数值对图像2中相同位置的网格内的局部特征点进行筛选，并根据图像2中每个网格中局部特征点的数量和响应分数值之和对图像2包括的多个网格进行排序，以获取排序靠前的K2个网格(假设K2个网格中保留的局部的特征点满足预期数量)；以此类推，直到处理完图像序列中的最后一帧图像(即图像W)。

值得注意的是，在对图像2至图像W处理的过程中，图像处理设备都可以使用上一帧图像中每个网格的局部特征点的最大响应分数值，对下一帧图像中相同位置的网格内的局部特征点进行筛选，由于图像采集中相邻两帧图像的像素变化轻微，因此利用上一帧图像中局部特征点的信息对后一帧图像中的局部特征点进行筛选，可以减小局部特征点筛选的误差。

本申请实施例中，确定第一帧图像中每个网格所包含的局部特征点，可以实现特征信息明显和不明显区域的分组处理，不会导致特征信息弱的区域因为局部特征点的响应分数值低而后续被过滤掉的问题。另外，利用第二帧图像中每个网格的局部特征点的信息分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到第一帧图像中每个网格保留的局部特征点，并根据第一帧图像中每个网格中保留的局部特征点的信息确定待输出的局部特征点，可以减小局部特征点筛选的误差，保证待输出的局部特征点在第一帧图像中均匀分布，同时在筛选局部特征点时，是对网格进行排序，而不会打乱局部特征点的顺序，在后续处理输出时则无需重新进行排序，从而在整体的运算量和运算速度上也有所提高。

此外，当由ASIC执行本申请的方法时，ASIC可以无需存储第一帧图像和第一帧图像中的全部局部特征点，仅需保存网格信息，并利用第二帧图像中每个网格内局部特征点的最大响应分数值，分别对第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，从而可以有效地节省ASIC中的存储资源，进而保证ASIC在对第一帧图像进行处理时，可以按照流水式操作进行处理。

上述主要从图像处理设备的角度对本申请实施例提供的筛选局部特征点的方法进行了介绍。可以理解的是，该图像处理设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的网元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对筛选局部特征点的装置(例如，图像处理设备)进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图6示出了上述实施例中所涉及的筛选局部特征点的装置的一种可能的结构示意图，该筛选局部特征点的装置包括：输入单元601、处理单元602。

其中，输入单元601用于支持该装置获取第一帧图像，输入单元601也可以为输入接口。在一些可行的实施例中，该输入接口可通过分时复用的方式获取上述第一帧图像，该输入接口可以只有一个输入接口，也可以有多个输入接口。

处理单元602用于支持该装置执行方法实施例中的S201至S203的功能，和/或用于本文所描述的技术的其他过程。在一些可行的实施例中，该处理单元602可以为处理器，该处理器可以是单处理器结构、多处理器结构、单线程处理器以及多线程处理器等。在一些可行的实施例中，该处理单元602可以是中央处理器单元，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理单元602也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理器和微处理器的组合等等。

可选地，该装置还包括：输出单元603和存储单元604。

输出单元603用于输出待输出的局部特征点，输出单元603也可以为输出接口。在一些可行的实施例中，待输出的局部特征点可以由处理单元602直接输出，也可以先被存储于存储器中，然后经存储器输出。在一些可行的实施例中，该装置可以只有一个输出接口，也可以有多个输出接口。在一些可行的实施例中，该输出单元603输出的待输出的局部特征点可以送到存储器中存储，也可以送到另外的处理流程中继续进行处理等。

存储单元604用于存储上述第一帧图像、以及配置处理单元602的相关指令等，存储单元604也可以称为存储器。在一些可行的实施例中，可以有一个存储器，也可以有多个存储器；该存储器可以是软盘，硬盘如内置硬盘和移动硬盘，磁盘，光盘，磁光盘如CD_ROM、DCD_ROM，非易失性存储设备如RAM、ROM、PROM、EPROM、EEPROM、闪存、或者技术领域内所公知的任意其他形式的存储介质。在实际应用中，存储单元604可以优先采用非易失性存储设备来实现，尤其是以RAM为主的存储设备，同时本申请也不限于只使用非易失性存储设备。

上面从模块化功能实体的角度对本申请实施例中的一种筛选局部特征点的装置进行描述，下面从硬件处理的角度对本申请实施例中的一种筛选局部特征点的装置进行描述。

图7示出了上述实施例中所涉及的筛选局部特征点的装置的一种可能的结构示意图，该筛选局部特征点的装置包括：运算器701、第一缓存器702和第二缓存器703。其中，第一缓存器702与第二缓存器703区别在于，第一缓存器702的访问速率和频率高于第二缓存器703。

可选地，第一缓存器702可以是快速、短暂存储的设备，比如，第一缓存器702可以为寄存器；第二缓存器703可以是实时性要求不高、调用频次较低的存储设备，比如，第二缓存器703可以是静态随机存储器SRAM。

另外，运算器701也可以称为逻辑电路，比如，在该装置通过专用集成电路ASIC 设计时，运算器701即为逻辑电路。

在本申请实施例中，运算器701用于支持该装置执行方法实施例中的S201至S203，和/或用于本文所描述的技术的其他过程；第一缓存器702，用于存储第二帧图像中每个网格的局部特征点的信息、第一帧图像中每个网格中保留的局部特征点的信息；第二缓存器703，用于存储第一帧图像中每个网格保留的局部特征点。

本申请实施例提供的上述筛选局部特征点的装置的各组成部分分别用于实现相对应的前述方法的各步骤的功能，由于在前述的图像特征提取方法实施例中，已经对各步骤进行了详细说明，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在一个设备(比如，该设备可以是单片机，芯片、计算机等)上运行时，使得该设备执行上述图像特征提取方法的S301-S305中的一个或多个步骤。上述图像特征提取装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在所述计算机可读取存储介质中。

基于这样的理解，本申请实施例还提供一种包含指令的计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或其中的处理器执行本申请各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1. 一种筛选局部特征点的方法，其特征在于，包括：

   确定第一帧图像中每个网格所包含的局部特征点；

   利用第二帧图像中每个网格的局部特征点的信息分别对所述第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到所述第一帧图像中每个网格保留的局部特征点，其中，所述第二帧图像为所述第一帧图像的上一帧图像，所述第一帧图像和所述第二帧图像的尺寸相同，所述第一帧图像和所述第二帧图像中处于相同位置的网格一一对应；

   根据所述第一帧图像中每个网格中保留的局部特征点的信息确定待输出的局部特征点。
2. 根据权利要求1所述的筛选局部特征点的方法，其特征在于，所述确定第一帧图像中每个网格所包含的局部特征点，包括：

   提取所述第一帧图像的多个局部特征点；

   确定所述多个局部特征点中每个局部特征点所属的网格，以得到所述第一帧图像中每个网格所包含的局部特征点。
3. 根据权利要求1或2所述的筛选局部特征点的方法，其特征在于，所述利用第二帧图像中每个网格的局部特征点的信息分别对所述第一帧图像中处于相同位置的网格的局部特征点进行筛选，以得到所述第一帧图像中每个网格保留的局部特征点，包括：

   利用所述第二帧图像中每个网格的局部特征点的最大响应分数值，分别对所述第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到所述第一帧图像中每个网格保留的局部特征点。
4. 根据权利要求3所述的筛选局部特征点的方法，其特征在于，所述利用所述第二帧图像中每个网格的局部特征点的最大响应分数值，分别对所述第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，包括：

   将所述第一帧图像中每个网格的局部特征点的响应分数值与所述第二帧图像中处于相同位置的网格中局部特征点的最大响应分数值进行比较，保留大于或等于所述最大响应分数值的局部特征点，删除小于所述最大响应分数值的局部特征点。
5. 根据权利要求1-4任一项所述的筛选局部特征点的方法，其特征在于，所述根据所述第一帧图像中每个网格保留的局部特征点的信息确定待输出的局部特征点，包括：

   根据所述第一帧图像中每个网格保留的局部特征点的数量和响应分数值之和，对所述第一帧图像包括的多个网格进行排序，将排序靠前的K个网格中保留的局部特征点确定为待输出的局部特征点。
6. 根据权利要求5所述的筛选局部特征点的方法，其特征在于，所述方法还包括：

   删除所述第一帧图像中包括的多个网格中除所述K个网格之外的其他网格的局部特征点的信息。
7. 一种筛选局部特征点的装置，其特征在于，所述装置包括：

   运算器，用于确定第一帧图像中每个网格所包含的局部特征点；

   所述运算器，还用于利用第二帧图像中每个网格的局部特征点的信息分别对所述第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到所述第一帧图像中每个网格保留的局部特征点，其中，所述第二帧图像为所述第一帧图像的上一帧图像，所述第一帧图像和所述第二帧图像的尺寸相同，所述第一帧图像和所述第二帧图像中处于相同位置的网格一一对应；

   所述运算器，还用于根据所述第一帧图像中每个网格中保留的局部特征点的信息确定待输出的局部特征点；

   第一缓存器，用于存储所述第二帧图像中每个网格的局部特征点的信息、所述第一帧图像中每个网格中保留的局部特征点的信息；

   第二缓存器，用于存储所述第一帧图像中每个网格保留的局部特征点。
8. 根据权利要求7所述的筛选局部特征点的装置，其特征在于，所述运算器，还用于：

   提取所述第一帧图像的多个局部特征点；

   确定所述多个局部特征点中每个局部特征点所属的网格，以得到所述第一帧图像中每个网格所包含的局部特征点。
9. 根据权利要求7或8所述的筛选局部特征点的装置，其特征在于，所述运算器，还用于：

   利用所述第二帧图像中每个网格的局部特征点的最大响应分数值，分别对所述第一帧图像中处于相同位置的网格所包含的局部特征点进行筛选，以得到所述第一帧图像中每个网格保留的局部特征点。
10. 根据权利要求9所述的筛选局部特征点的装置，其特征在于，所述运算器，还用于：

    将所述第一帧图像中每个网格的局部特征点的响应分数值与所述第二帧图像中处于相同位置的网格中局部特征点的最大响应分数值进行比较，保留大于或等于所述最大响应分数值的局部特征点，删除小于所述最大响应分数值的局部特征点。
11. 根据权利要求7-10任一项所述的筛选局部特征点的装置，其特征在于，所述运算器，还用于：

    根据所述第一帧图像中每个网格保留的局部特征点的数量和响应分数值之和，对所述第一帧图像包括的多个网格进行排序，将排序靠前的K个网格中保留的局部特征点确定为待输出的局部特征点。
12. 根据权利要求11所述的筛选局部特征点的装置，其特征在于，所述运算器，还用于：

    从所述第一缓存器中删除所述第一帧图像中包括的多个网格中除所述K个网格之外的其他网格中保留的局部特征点的信息。

Images