WO2020143499A1 - 一种基于动态视觉传感器的角点检测方法 - Google Patents

一种基于动态视觉传感器的角点检测方法 Download PDF

Info

Publication number
WO2020143499A1
WO2020143499A1 PCT/CN2019/130225 CN2019130225W WO2020143499A1 WO 2020143499 A1 WO2020143499 A1 WO 2020143499A1 CN 2019130225 W CN2019130225 W CN 2019130225W WO 2020143499 A1 WO2020143499 A1 WO 2020143499A1
Authority
WO
WIPO (PCT)
Prior art keywords
corner
center
circle
events
event
Prior art date
Application number
PCT/CN2019/130225
Other languages
English (en)
French (fr)
Inventor
陈广
刘佩根
沈律宇
宁翔宇
唐笠轩
Original Assignee
同济大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 同济大学 filed Critical 同济大学
Publication of WO2020143499A1 publication Critical patent/WO2020143499A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity

Definitions

  • the invention relates to the technical field of image feature detection, in particular to a corner detection method based on a dynamic vision sensor.
  • the dynamic vision sensor outputs a stream of events by detecting changes in the logarithmic intensity of the image, where each event has position, polarity, and time stamp information. Compared with traditional cameras, it has the advantages of low latency, high time resolution and large dynamic range.
  • corner points In the field of traditional image processing technology, corner points have been widely used in functions such as visual distance measurement and object tracking because of their advantages of good localization, high information volume, and freedom from the influence of aperture problems. As a practical feature, the corner point has attracted much attention for its application in dynamic vision sensors. Different from the frame image output by the traditional camera, the dynamic vision sensor outputs a discrete event stream, and the traditional corner detection method cannot be directly applied.
  • the purpose of the present invention is to provide a corner detection method based on a dynamic vision sensor in order to overcome the above-mentioned defects in the prior art.
  • a corner detection method based on dynamic vision sensor includes the following steps:
  • the corner detection template is:
  • the number of corresponding events in the statistical template is specifically:
  • l 0 is the newly-introduced event, located at the center of the detection template
  • l is the incoming event at the rest of the template
  • p(l) is the polarity of the event
  • T(l 0 ) is the time stamp of the event
  • b is the time stamp threshold
  • D(l 0 ) is the corner detection template with the event l 0 as the center.
  • the conditions for determining the initial corner point are:
  • step 22 When the number of events counted in step 22) is within a preset range, it is determined that the center of the circle is the initial corner point; otherwise, it is determined that the center of the circle is not the initial corner point.
  • the specific expression is:
  • r 1 and r 2 are the range values of the number of statistical events.
  • the suppression of the initial corner point non-maximum value includes the following steps:
  • the corner point is used as the final corner point. If there are multiple initial corner points in the neighborhood of the square, the score values of each initial corner point are calculated separately and retained The corner with the highest score is the final corner.
  • the present invention has the following advantages:
  • the present invention directly processes the event, a template is established by detecting the existence condition of the corner point for detection. Compared with traditional methods, it greatly reduces the amount of data that needs to be processed, and can quickly and accurately detect corners while ensuring the use of lower computing resources.
  • FIG. 1 is a flowchart of a corner detection algorithm of the present invention.
  • Figure 2 is a schematic diagram of the detection template.
  • Figure 3 is a schematic diagram of event timestamp comparison.
  • the present invention provides a corner detection algorithm based on a dynamic vision sensor, which can perform corner detection on the incoming event stream in real time, and can ensure the accuracy and efficiency of its detection. With less computing resources, it has widened its application.
  • the corner detection algorithm based on dynamic vision sensor includes the following steps:
  • step (3) According to the number of events counted in step (2), determine whether the center of the circle is the initial corner point;
  • the template is composed of 57 pixels in a circle constructed with the newly-introduced event as the center and 4 pixels as the radius.
  • step (2) the step of counting the number of corresponding events in the template is as follows:
  • step (1) In the template constructed in step (1), look for events with the same polarity as the events at the center of the circle. If multiple events have been introduced at the same location, the latest event will prevail.
  • p(l), p(l 0 ) indicates the polarity of the event
  • T(l 0 ), T(l) represents the time stamp of the event
  • b represents the timestamp threshold
  • D(l 0 ) represents the corner detection template with the event l 0 as the center
  • step (3) the judgment condition of the initial corner point is that when the number of events counted in step (2) is within a preset range, the center of the circle is regarded as the initial corner point, otherwise the corner is excluded Point possible.
  • r 1 and r 2 are the range values of the number of statistical events.
  • the value of r 1 is set to 11 and the value of r 2 is 22.
  • step (4) the initial corner point non-maximum suppression step is as follows:
  • the initial corner point in the center of the neighborhood is set as the final corner point. If there are other initial corner points in the neighborhood, the score value of each initial corner point is calculated, and the initial corner point with the largest score value is reserved as the final corner point.
  • the formula for calculating the score value is as follows:
  • the extracted corner points are important features of the image and can be used for image understanding and analysis, and are used in the fields of 3D scene reconstruction, motion estimation, target tracking, target recognition, and image registration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

一种基于动态视觉传感器的角点检测方法，包括以下步骤：1)针对动态视觉传感器数据中每一个新传入的事件，以其为圆心，构建角点检测模板；2)根据圆心处事件的极性与时间戳，统计模板内相应事件的个数；3)根据所统计相应事件的个数，判定圆心处是否为初始角点；4)对所确定的初始角点进行非极大值抑制，获得最终角点。与现有技术相比，所述方法具有快速准确等优点。

Description

一种基于动态视觉传感器的角点检测方法 技术领域
本发明涉及图像特征检测技术领域，尤其是涉及一种基于动态视觉传感器的角点检测方法。
背景技术
动态视觉传感器通过检测图像的对数强度的变化来输出事件流，其中每个事件都具有位置、极性和时间戳信息。与传统相机相比，其具有延迟低，时间分辨率高，动态范围大等优势。
在传统图像处理技术领域中，角点因为其具有良好的定位性、信息量高，并且不受孔径问题影响等优势，一直被广泛应用于视觉测距、物体追踪等功能。角点作为一种实用特征，其在动态视觉传感器上的应用也备受关注。不同于传统相机输出的帧图像，动态视觉传感器输出的是离散事件流，传统的角点检测方法并不能进行直接的应用。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于动态视觉传感器的角点检测方法。
本发明的目的可以通过以下技术方案来实现：
一种基于动态视觉传感器的角点检测方法，包括以下步骤：
1)针对动态视觉传感器数据中每一个新传入的事件，以其为圆心，构建角点检测模板；
2)根据圆心处事件的极性与时间戳，统计模板内相应事件的个数；
3)根据所统计相应事件的个数，判定圆心处是否为初始角点；
4)对所确定的初始角点进行非极大值抑制，获得最终角点。
所述的步骤1)中，角点检测模板为：
以新传入的事件为圆心，以4像素长度为半径，由构建出圆形内的57个像素所组成。
所述的步骤2)中，统计模板内相应事件的个数具体为：
21)在角点检测模板内，搜寻与圆心处事件极性相同的事件，若在同一位置处传入过多次事件，则以最新的事件为准；
22)将搜寻到的与圆心处事件极性相同的事件与圆心处事件进行时间戳比较，并统计时间戳差值小于设定阈值的事件的个数。
所述的步骤22)中，统计时间戳差值小于设定阈值的事件的个数N(l 0)的计算式为：
Figure PCTCN2019130225-appb-000001
Figure PCTCN2019130225-appb-000002
其中，l 0为新传入的事件，位于检测模板的圆心，l为模板内其余位置处传入的事件，p(l)，p(l 0)为事件的极性，T(l 0)，T(l)为事件的时间戳，b为时间戳阈值，D(l 0)为以事件l 0为圆心的角点检测模板。
所述的初始角点的判定条件为：
当步骤22)中统计出的事件个数在预设范围内时，则判定该圆心处为初始角点，否则，判定该圆心处不为初始角点，具体表达式为：
Figure PCTCN2019130225-appb-000003
其中，r 1、r 2为统计事件个数的范围值。
所述的步骤(4)中，对初始角点非极大值抑制包括以下步骤：
41)以每一个初始角点为中心，建立一个正方形邻域；
42)若该正方形邻域内仅有一个初始角点，则将该角点作为最终角点，若在该正方形邻域内存在多个初始角点，则分别计算各初始角点的得分值，保留得分值最大的角点为最终角点。
所述的步骤42)中，各初始角点的得分值S(l 0)的计算式为：
Figure PCTCN2019130225-appb-000004
与现有技术相比，本发明具有以下优点：
由于本发明直接对事件进行处理，通过把握角点的存在条件建立模板进行检测。与传统方法相比，大大减少了需要处理的数据量，能够在保证运用较低计算资源的同时对角点进行快速准确的检测。
附图说明
图1为本发明的角点检测算法流程图。
图2为检测模板示意图。
图3为事件时间戳比较示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，本发明提供了一种基于动态视觉传感器的角点检测算法，该算法能够对实时传入的事件流进行角点检测，并可确保其检测的准确性、高效性，所用计算资源少，提升了其应用的广泛性。该基于动态视觉传感器的角点检测算法包括以下步骤：
1)针对动态视觉传感器数据每一个新传入的事件，以其为圆心，构建角点检测模板，如图2所示；
(2)根据圆心处事件的极性与时间戳，统计模板内相应事件的个数；
(3)根据步骤(2)中所统计的事件个数，判定圆心处是否为初始角点；
(4)对所确定的初始角点进行非极大值抑制，获得最终角点。
在步骤(1)中，所述模板是以新传入的事件为圆心，以4像素长度为半径，构建的圆形内的57个像素所组成。
在步骤(2)中，统计模板内相应事件的个数步骤如下：
(3-1)在步骤(1)中所构建模板内，寻找与圆心处事件极性相同的事件，若在同一位置处传入过多次事件，则以最新的事件为准。
(3-2)将(3-1)中寻找到的事件与圆心处事件进行时间戳的比较，统计时间戳差值小于设定阈值的事件的个数。
Figure PCTCN2019130225-appb-000005
Figure PCTCN2019130225-appb-000006
其中，
l 0表示新传入的事件，位于检测模板的圆心；
l表示模板内其余位置处传入的事件；
p(l)，p(l 0)表示事件的极性；
T(l 0)，T(l)表示事件的时间戳；
b表示时间戳阈值；
D(l 0)表示以事件l 0为圆心的角点检测模板；
在步骤(3)中，所述初始角点的判定条件为，在步骤(2)中所统计的事件个数在预设范围内时，则圆心处被认为是初始角点，否则排除是角点的可能。
Figure PCTCN2019130225-appb-000007
其中，r 1、r 2是统计事件个数的范围值，本实施例中，设定r 1的值为11，r 2的值为22。
在步骤(4)中，初始角点非极大值抑制步骤如下：
(5-1)以每一个初始角点为中心，建立一个N e×N e的正方形邻域，本实施例中，N e取值为3。
(5-2)若该邻域内没有其他初始角点，则将该邻域中心的初始角点设为最终角点。如果邻域内存在其他初始角点，计算各初始角点的得分值，保留得分值最大的初始角点为最终角点。得分值计算公式如下：
Figure PCTCN2019130225-appb-000008
提取出的角点作为图像的重要特征，能够进行图像的理解与分析，并应用于三维场景重建、运动估计、目标跟踪、目标识别和图像配准等领域。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (7)

  1. 一种基于动态视觉传感器的角点检测方法，其特征在于，包括以下步骤：
    1)针对动态视觉传感器数据中每一个新传入的事件，以其为圆心，构建角点检测模板；
    2)根据圆心处事件的极性与时间戳，统计模板内相应事件的个数；
    3)根据所统计相应事件的个数，判定圆心处是否为初始角点；
    4)对所确定的初始角点进行非极大值抑制，获得最终角点。
  2. 根据权利要求1所述的一种基于动态视觉传感器的角点检测方法，其特征在于，所述的步骤1)中，角点检测模板为：
    以新传入的事件为圆心，以4像素长度为半径，由构建出圆形内的57个像素所组成。
  3. 根据权利要求1所述的一种基于动态视觉传感器的角点检测方法，其特征在于，所述的步骤2)中，统计模板内相应事件的个数具体为：
    21)在角点检测模板内，搜寻与圆心处事件极性相同的事件，若在同一位置处传入过多次事件，则以最新的事件为准；
    22)将搜寻到的与圆心处事件极性相同的事件与圆心处事件进行时间戳比较，并统计时间戳差值小于设定阈值的事件的个数。
  4. 根据权利要求3所述的一种基于动态视觉传感器的角点检测方法，其特征在于，所述的步骤22)中，统计时间戳差值小于设定阈值的事件的个数N(l 0)的计算式为：
    Figure PCTCN2019130225-appb-100001
    Figure PCTCN2019130225-appb-100002
    其中，l 0为新传入的事件，位于检测模板的圆心，l为模板内其余位置处传入的事件，p(l)，p(l 0)为事件的极性，T(l 0)，T(l)为事件的时间戳，b为时间戳阈值，D(l 0)为以事件l 0为圆心的角点检测模板。
  5. 根据权利要求4所述的一种基于动态视觉传感器的角点检测方法，其特征在于，所述的初始角点的判定条件为：
    当步骤22)中统计出的事件个数在预设范围内时，则判定该圆心处为初始角点，否则，判定该圆心处不为初始角点，具体表达式为：
    Figure PCTCN2019130225-appb-100003
    其中，r 1、r 2为统计事件个数的范围值。
  6. 根据权利要求3所述的一种基于动态视觉传感器的角点检测方法，其特征在于，所述的步骤(4)中，对初始角点非极大值抑制包括以下步骤：
    41)以每一个初始角点为中心，建立一个正方形邻域；
    42)若该正方形邻域内仅有一个初始角点，则将该角点作为最终角点，若在该正方形邻域内存在多个初始角点，则分别计算各初始角点的得分值，保留得分值最大的角点为最终角点。
  7. 根据权利要求6所述的一种基于动态视觉传感器的角点检测方法，其特征在于，所述的步骤42)中，各初始角点的得分值S(l 0)的计算式为：
    Figure PCTCN2019130225-appb-100004
PCT/CN2019/130225 2019-01-08 2019-12-31 一种基于动态视觉传感器的角点检测方法 WO2020143499A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910017402.5A CN109919957B (zh) 2019-01-08 2019-01-08 一种基于动态视觉传感器的角点检测方法
CN201910017402.5 2019-01-08

Publications (1)

Publication Number Publication Date
WO2020143499A1 true WO2020143499A1 (zh) 2020-07-16

Family

ID=66960086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/130225 WO2020143499A1 (zh) 2019-01-08 2019-12-31 一种基于动态视觉传感器的角点检测方法

Country Status (2)

Country Link
CN (1) CN109919957B (zh)
WO (1) WO2020143499A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066104A (zh) * 2021-03-25 2021-07-02 三星（中国）半导体有限公司 角点检测方法和角点检测装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919957B (zh) * 2019-01-08 2020-11-27 同济大学 一种基于动态视觉传感器的角点检测方法
CN113516676B (zh) * 2021-09-14 2021-12-28 成都时识科技有限公司 角点检测方法、脉冲神经网络处理器、芯片及电子产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919957A (zh) * 2019-01-08 2019-06-21 同济大学 一种基于动态视觉传感器的角点检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767571B2 (en) * 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
US9883122B2 (en) * 2014-09-16 2018-01-30 Qualcomm Incorporated Event-based down sampling
CN104463896B (zh) * 2014-12-26 2017-04-12 武汉大学 基于核相似区分布特性的图像角点检测方法及系统
CN107292899B (zh) * 2017-05-05 2020-12-29 浙江大学 一种针对二维激光扫描仪的角点特征提取方法
CN107808524B (zh) * 2017-11-30 2021-09-24 中山大学 一种基于无人机的道路交叉口车辆检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919957A (zh) * 2019-01-08 2019-06-21 同济大学 一种基于动态视觉传感器的角点检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALZUGARAY IGNACIO; CHLI MARGARITA: "Asynchronous Corner Detection and Tracking for Event Cameras in Real Time", IEEE ROBOTICS AND AUTOMATION LETTERS, vol. 3, no. 4, 31 October 2018 (2018-10-31), pages 3177 - 3184, XP011687102 *
MÜGGLER, ELIAS ; BARTOLOZZI, CHIARA ; SCARAMUZZA, DAVIDE: "Fast event-based corner detection", BRITISH MACHINE VISION CONFERENCE (BMVC), 7 September 2017 (2017-09-07), pages 1 - 12, XP055718940, DOI: 10.5167/uzh-138925 *
VASCO VALENTINA; GLOVER ARREN; BARTOLOZZI CHIARA: "Fast Event-based Harris Corner Detection Exploiting the Advantages of Event-driven Cameras", 2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), 14 October 2016 (2016-10-14), pages 4144 - 4149, XP033011960, DOI: 10.1109/IROS.2016.7759610 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066104A (zh) * 2021-03-25 2021-07-02 三星（中国）半导体有限公司 角点检测方法和角点检测装置
CN113066104B (zh) * 2021-03-25 2024-04-19 三星（中国）半导体有限公司 角点检测方法和角点检测装置

Also Published As

Publication number Publication date
CN109919957A (zh) 2019-06-21
CN109919957B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN110332887B (zh) 一种基于特征光标点的单目视觉位姿测量系统及方法
WO2020143499A1 (zh) 一种基于动态视觉传感器的角点检测方法
JP6336117B2 (ja) 建物高さの計算方法、装置及び記憶媒体
CN102982537B (zh) 一种检测场景变换的方法和系统
CN109657607B (zh) 一种基于人脸识别的人脸目标测距方法、装置及存储介质
US20210174092A1 (en) Image processing apparatus and method for feature extraction
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN103325112A (zh) 动态场景中运动目标快速检测方法
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
JPWO2014156733A1 (ja) 人数計数装置および人数計数方法
CN110287907B (zh) 一种对象检测方法和装置
WO2020147574A1 (zh) 一种基于深度学习的双目动态视觉传感器立体匹配方法
JP6261266B2 (ja) 移動体検知装置
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN111723801B (zh) 鱼眼相机图片中目标检测矫正的方法与系统
WO2019080743A1 (zh) 一种目标检测方法、装置及计算机设备
CN109656033A (zh) 一种区分液晶显示屏灰尘和缺陷的方法及装置
WO2022048617A1 (zh) 一种识别投影位置的方法、装置、系统和存储介质
JP2016500890A (ja) 並列化可能なアーキテクチャ内の画像を使用して、サーフェルの局所的なジオメトリまたは面法線を初期化し、解くための方法
WO2022252501A1 (zh) 异常像素的滤除方法及设备
JP2004109009A (ja) 目標角速度計測装置および目標角速度計測方法
CN115880643B (zh) 一种基于目标检测算法的社交距离监测方法和装置
WO2018179119A1 (ja) 映像解析装置、映像解析方法および記録媒体
JP6558831B2 (ja) オブジェクト追跡装置、方法およびプログラム
CN108010076B (zh) 一种面向密集工业棒材图像检测的端面外观建模方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908767

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19908767

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19908767

Country of ref document: EP

Kind code of ref document: A1