WO2015042772A1 - 一种遥感图像显著目标变化检测方法 - Google Patents

一种遥感图像显著目标变化检测方法 Download PDF

Info

Publication number
WO2015042772A1
WO2015042772A1 PCT/CN2013/084074 CN2013084074W WO2015042772A1 WO 2015042772 A1 WO2015042772 A1 WO 2015042772A1 CN 2013084074 W CN2013084074 W CN 2013084074W WO 2015042772 A1 WO2015042772 A1 WO 2015042772A1
Authority
WO
WIPO (PCT)
Prior art keywords
sampling
image
target area
salient
sampling point
Prior art date
Application number
PCT/CN2013/084074
Other languages
English (en)
French (fr)
Inventor
霍春雷
潘春洪
周志鑫
Original Assignee
中国科学院自动化研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院自动化研究所 filed Critical 中国科学院自动化研究所
Priority to PCT/CN2013/084074 priority Critical patent/WO2015042772A1/zh
Publication of WO2015042772A1 publication Critical patent/WO2015042772A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to the technical fields of remote sensing image processing, change detection, target monitoring, and the like, and in particular to a method for detecting a significant target change of a remote sensing image.
  • Remote sensing image change detection automatically detects a changed target area by analyzing remotely sensed images of different phases of the same scene (the historical image is a reference image, and the current image is an input image), and can be widely applied to information processing. Military and civilian areas such as disaster monitoring. Remote sensing image change detection is not only driven by strong application requirements, but also has important strategic significance. Due to the importance of target monitoring technology, remote sensing image change detection technology has been highly valued by countries all over the world.
  • the actual application is concerned with the change of the target area, but most of the existing change detection methods compare all areas. Since the background, vegetation and other areas are easily affected by factors such as seasons and noise, considering all areas will reduce the inter-class separability between the variable and non-variant categories, resulting in many false alarms and missed alarms, which cannot meet the needs of practical applications. How to effectively compare the significant target regions and have good robustness to image distortion, viewing angle variation, registration error and other factors. There is no effective algorithm at present. SUMMARY OF THE INVENTION
  • the object of the present invention is to provide an effective detection method for significant target change of remote sensing images, aiming at the difficulty of remote sensing image change detection and the needs of target monitoring practical applications.
  • the remote sensing image change detecting method based on the salient target region of the present invention includes the following steps:
  • Step S1 extracting a significant target area on the reference image
  • Step S2 performing multi-scale uniform mesh sampling on the reference image and the input image respectively, and approximating the salient target area of the reference image by using dense multi-scale uniform grid sampling points;
  • Step S3 extracting corresponding DAISY features respectively from the multi-scale uniform grid sampling points of the reference image and the input image obtained by sampling the multi-scale uniform grid;
  • Step S4 using the DAISY feature of the multi-scale uniform mesh sampling point of the reference image and the input image, according to the nearest neighbor matching principle, each multi-scale uniform mesh sampling point of the reference image is in the input image Finding multiple candidate matching points in each of the multi-scale uniform grid sampling point sets;
  • Step S5 searching for the optimal matching point and composing the optimal matching point set in the candidate matching point set formed by the corresponding candidate matching points for the multi-scale uniform mesh sampling point set in the reference target significant target area, Using the distance between the set of optimal matching points as a variation feature corresponding to the salient target area;
  • Step S6 Determine whether an area corresponding to the salient target area in the input image changes based on the change characteristic of the salient target area.
  • the method of the invention has important significance for improving the accuracy, robustness and automation of the change detection, and its main advantages are as follows:
  • the invention extracts a significant target region from the remote sensing image, performs change detection based on the target salient region, filters a large amount of redundant information, and improves the practicability of the remote sensing image change detection; the present invention improves the use of the dense sampling point and the DAISY feature to characterize the region. Area description capability;
  • the invention utilizes the appearance features and geometric topological features of the dense sampling points in the significant target region to search the input image for the set of sampling points, thereby improving the robustness to the viewing angle transformation and the registration error.
  • Sexuality improves the inter-class separability between change and non-change classes.
  • the invention makes it possible to detect fast and effective remote target image significant target change, greatly improving the accuracy, speed, robustness and automation of the existing target monitoring system, and can be widely applied to disaster monitoring and target. Reconnaissance and other systems.
  • FIG. 1 is a flow chart of a method for detecting a significant target change of a remote sensing image according to the present invention.
  • Fig. 2 is a diagram showing the result of extracting a salient target region of a remote sensing image according to an embodiment of the present invention.
  • 3 is a schematic diagram of multi-scale uniform grid sampling results in accordance with an embodiment of the present invention.
  • 4 is a schematic diagram of DAISY feature extraction in accordance with an embodiment of the present invention.
  • FIG. 5 is a schematic diagram of matching results of sampling point sets according to an embodiment of the invention.
  • FIG. 6 is a schematic diagram of a significant target change detection result in accordance with an embodiment of the present invention.
  • FIG. 1 is a flowchart of a method for detecting a significant target change of a remote sensing image according to the present invention. As shown in FIG. 1, the method includes the following steps:
  • Step S1 extracting a significant target area on the reference image
  • step extracting the salient target region by using a symbol function of a discrete cosine transform of the image gray scale as a target region significance metric
  • the step S1 further includes the following steps:
  • Step S13 Extract a salient target area of the reference image based on the salient feature map image.
  • the histogram statistics are first performed on the salient feature map image ⁇ , and the gray level of the histogram can be set to 3;
  • the part with the more frequent frequency of the histogram is regarded as the background, and the area composed of the pixels with less frequency is the significant target area.
  • FIG. Step S2 A schematic diagram of the result of the salient target region extraction of the remote sensing image according to an embodiment of the present invention is shown in FIG. Step S2, performing multi-scale uniform mesh sampling on the reference image and the input image respectively, and approximating the salient target area of the reference image by using dense multi-scale uniform grid sampling points;
  • the step S2 further includes the following steps:
  • the point sets are arranged in the manner of "previous row after column” and "first column after row”, so that each significant target region of the reference image can be used with two sampling point sequences.
  • FIG. Step S3 A schematic diagram of multi-scale uniform grid sampling results according to an embodiment of the present invention is shown in FIG. Step S3, extracting corresponding DAISY features respectively from the multi-scale uniform grid sampling points of the reference image and the input image obtained by sampling the multi-scale uniform grid;
  • DAISY feature The original meaning of DAISY is daisy flower. Because the central symmetry structure extracted from the features of the present invention is similar to the petal structure of daisy flower, it is called DAISY feature. 4 is a schematic diagram of DAISY feature extraction according to an embodiment of the present invention. As shown in FIG. 4, the DAISY feature is constructed on an image block centered on each multi-scale uniform grid sampling point and having a sampling scale as a radius. (For example, 3) Concentric circular structures with different radii, and extract multiple (such as 8) sampling points at equal angles (for example, 45°) on each concentric circle, with each sampling point as the center of the circle. The circular structure is called the sampling circle.
  • step S3 further includes the following steps:
  • Step S31 calculating a local gradient direction histogram corresponding to each sampling circle in the image block with the sampling scale as the center centered on each multi-scale uniform grid sampling point;
  • the step S31 further includes the following steps:
  • Step S312 using a Gaussian kernel convolution to obtain a direction gradient vector corresponding to each image pixel point in the sampling circle:
  • gf ( M , V ) represents the i-th direction gradient
  • ⁇ represents the Gaussian scale value of the sampling circle where the pixel is located.
  • the pixels on the sampling circle of the same radius have the same Gaussian scale value, and the Gaussian scale values of the pixels on the sampling circle of different radii are different.
  • the Gaussian scale value refers to the standard deviation of the Gaussian kernel convolution.
  • Step S313 the vector corresponding to each pixel point is obtained by uniformly quantizing the gradient direction from 0 degrees to 360 degrees to q equal-angle range sections to obtain the sampling circle pair. a local gradient direction histogram;
  • Step S32 based on the local gradient direction histogram corresponding to each sampling circle obtained in the step S31, obtaining a DAISY feature corresponding to each multi-scale uniform mesh sampling point, where the DAISY feature is used to describe the local support of the sampling point.
  • the weighting of a series of correlation vectors for each image pixel in the region is expressed as follows:
  • Step S4 using the DAISY feature of the multi-scale uniform grid sampling point of the reference image and the input image, according to the nearest neighbor matching principle, each of the reference images
  • a multi-scale uniform grid sampling point finds a plurality of candidate matching points in each of the multi-scale uniform grid sampling point sets of the input image
  • the step S4 is specifically:
  • a kd tree Constructing a kd tree using a set of DAISY features of the multi-scale uniform grid sampling points of the input image, and matching each multi-scale uniform grid sampling point of the reference image with the kd tree, that is, calculating the Multi-scale uniform grid sampling of multiple (eg three) input images with minimum distances between the DAISY features of each multi-scale uniform grid sampling point of the reference image and the Euclidean distance between each node in the kd tree
  • a point is a candidate matching point of the multi-scale uniform grid sampling point in the reference image.
  • the kd tree is a data structure that divides high-dimensional data space. The kd tree speeds up the matching by hierarchically dividing and indexing the DAISY feature set of the input image.
  • Step S5 a multi-scale uniform mesh sampling point set in the salient target area of the reference image is composed of corresponding candidate matching points. Searching for an optimal matching point in the set of candidate matching points, and obtaining a variation feature of the significant target area according to the matching result;
  • the search for the optimal matching point in the step S5 is specifically:
  • the matching is mainly performed according to appearance similarity and geometric topological similarity between the sets, and the geometric topological similarity mainly includes geometric shape, positional deviation and positional consistency.
  • the present invention uses
  • the geometric topological similarity refers to the straight line segments p k m k and p k+l m k+l , p k p k+l and m k m k
  • the length of +l is close to and tends to be parallel, and the present invention uses
  • G(p k , P k+l , m k , m k+l ) - p k+l ) - (m k - m k+l )
  • 2 - m k ) - (p k+l - m k+l )
  • C (PM) ⁇ w g G(p k , p k+l , m k , m k+l ) w a A(p k w o O(p k , p k+l , m k , m k+ l )
  • the above objective function can be solved by a dynamic programming strategy, wherein the difference between the geometrical shapes of the adjacent pairs (A , ⁇ ) and (n , ) is represented; ( ⁇ , 3 ⁇ 4 ) represents the appearance similarity of the matching points to P k ; A+1 , , +1 ) represents the positional relationship consistency of two matching point pairs and (P k+ , m k+l ); represents the positional deviation of the optimal matching point pair; , w a , ⁇ and ⁇ are the above regions
  • the above objective function is required to be optimal for the feature set i arranged in rows and the feature set i arranged in columns.
  • the change characteristics of the salient target region obtained according to the matching result in the step S5 are:
  • Step S6 determining, according to the changing feature of the significant target area, whether an area corresponding to the salient target area in the input image has changed.
  • the step S6 is specifically: determining, according to a significant target area in the reference image, a region corresponding to the salient target region in the input image by using a threshold method based on a change feature of the salient target region Has it changed?
  • the histogram statistics of the change features of the salient target region are first performed, and the change feature value of the significant target region that changes is large, and the change feature value of the salient target region that does not change is changed. Small; then, according to the value of the change feature, the regions corresponding to the salient target region in the input image can be divided into two categories: a change class and a non-change class.
  • the variation feature corresponding to the trough of the histogram is taken as the determination threshold, and the region whose variation characteristic is greater than the determination threshold is determined as the significant target change region.
  • FIG. 6 A schematic diagram of a significant target change detection result according to an embodiment of the present invention is shown in FIG. 6.
  • the specific embodiments of the present invention have been described in detail with reference to the preferred embodiments of the present invention. Any modifications, equivalent substitutions, improvements, etc., made within the spirit and scope of the present invention are intended to be included within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像显著目标变化检测方法，包括：在参考图像上提取显著目标区域；对参考图像和输入图像进行采样，并用采样点近似表示显著目标区域；对采样点提取 DAISY特征；为参考图像的采样点在输入图像采样点集合中寻找多个候选匹配点；为显著目标区域内的采样点集合在对应的候选匹配点集合中搜索最优匹配点，利用最优匹配点集合间的距离作为对应显著目标区域的变化特征；确定输入图像中与显著目标区域对应的区域是否发生了变化。本发明过滤了大量冗余信息，提高了遥感图像变化检测的实用性、提高了区域的描述能力、对视角变换、配准误差的鲁棒性，以及变化类和非变化类的类间可分性。本发明可以广泛应用于灾害监测、目标侦察等诸多领域中。

Description

一种遥感图像显著目标变化检测方法
技术领域 本发明涉及遥感图像处理、 变化检测、 目标监测等技术领域， 特别 是一种遥感图像显著目标变化检测方法。
背景技术 遥感图像变化检测通过分析已配准的、 同一场景的不同时相的遥感 图像 (历史图像为参考图像， 当前图像为输入图像）自动检测出发生变化 的目标区域， 可以广泛应用在情报处理、 灾害监测等军事和民用领域。 遥感图像变化检测不仅有着很强的应用需求驱动， 而且还具有重要的战 略意义。 由于目标监测技术的重要性， 遥感图像变化检测技术已经受到 世界各国的高度重视。
由于多时相遥感图像的复杂性， 变化类与非变化类的类间可分性低。 现有的变化检测方法无法满足遥感图像变化检测的需求。 目前， 遥感图 像的变化检测方法的研究还很不成熟， 远远不能满足实际应用的需要， 主要表现在目前的目标监测大都靠手工标定， 费时费力， 通用性和自动 化程度差， 实际上， 只有 5-10%的数据得到了有效利用， 目标监测技术 极大的限制了遥感图像的广泛应用。 在这样的背景下， 遥感图像的目标 监测仍然是一个亟待解决的难题。
实际应用关心的是目标区域的变化， 但现有变化检测方法大都将所 有区域进行比较。由于背景、植被等区域容易受季节、噪声等因素影响， 考虑所有区域会降低变化类和非变化类的类间可分性， 导致很多虚警和 漏警， 不能满足实际应用的需要。 如何对显著目标区域进行有效的比较 并对图像畸变、 视角变化、 配准误差等因素具有较好的鲁棒性， 目前还 没有有效的算法。 发明内容 本发明的目的是针对遥感图像变化检测的难点和目标监测实际应 用的需求， 提供一种有效的遥感图像显著目标变化检测方法。
为了实现上述目的， 本发明基于显著目标区域的遥感图像变化检测 方法包括如下歩骤：
歩骤 Sl， 在参考图像上提取显著目标区域；
歩骤 S2, 对参考图像和输入图像分别进行多尺度均匀网格采样， 并 用稠密的多尺度均匀网格采样点近似表示所述参考图像的显著目标区 域；
歩骤 S3 ,对经过所述多尺度均匀网格采样得到的所述参考图像和输 入图像的多尺度均匀网格采样点分别提取对应的 DAISY特征；
歩骤 S4,利用所述参考图像和输入图像的多尺度均匀网格采样点的 DAISY特征，根据最近邻匹配原则为所述参考图像的每一个多尺度均匀 网格采样点在所述输入图像的多尺度均匀网格采样点集合中各寻找多 个候选匹配点；
歩骤 S5,为所述参考图像显著目标区域内的多尺度均匀网格采样点 集合在对应的所述候选匹配点组成的候选匹配点集合中搜索最优匹配 点并组成最优匹配点集合， 利用最优匹配点集合之间的距离作为对应显 著目标区域的变化特征；
歩骤 S6,基于所述显著目标区域的变化特征确定所述输入图像中与 显著目标区域对应的区域是否发生了变化。
本发明方法对于提高变化检测的精度、 鲁棒性和自动化程度具有重 要的意义， 其主要优点如下：
本发明从遥感图像上提取显著目标区域， 基于目标显著区域进行变 化检测， 过滤了大量冗余信息， 提高了遥感图像变化检测的实用性； 本发明利用稠密采样点及 DAISY特征表征区域， 提高了区域的描 述能力；
本发明利用显著目标区域内的稠密采样点的外观特征、 几何拓扑特 征在输入图像中搜索采样点集合， 提高了对视角变换、 配准误差的鲁棒 性， 提高了变化类和非变化类的类间可分性。
得益于上述优点， 本发明使快速有效的遥感图像显著目标变化检测 成为可能， 极大地提高了现有目标监测系统的精度、 速度、 鲁棒性和自 动化程度， 可广泛应用于灾害监测、 目标侦察等系统中。
附图说明 图 1是本发明遥感图像显著目标变化检测方法的流程图。
图 2 是根据本发明一实施例的遥感图像显著目标区域提取结果示 意图。
图 3 是根据本发明一实施例的多尺度均匀网格采样结果示意图。 图 4 是根据本发明一实施例的 DAISY特征提取示意图。
图 5 是根据本发明一实施例的采样点集合匹配结果示意图。
图 6是根据本发明一实施例的显著目标变化检测结果示意图。
具体实施方式 为使本发明的目的、 技术方案和优点更加清楚明白， 以下结合具体 实施例， 并参照附图， 对本发明进一歩详细说明。
图 1是本发明遥感图像显著目标变化检测方法的流程图， 如图 1所 示， 所述方法包括以下歩骤：
歩骤 Sl， 在参考图像上提取显著目标区域；
该歩骤中， 以图像灰度的离散余弦变换的符号函数为目标区域显著 性度量标准来提取所述显著目标区域；
所述歩骤 S1进一歩包括以下歩骤：
歩骤 S11 , 对于所述参考图像 X， 计算其显著特征图像 X = IDCT{sign{DCT{X)))， 其中， /Χ (·)和 //Χ (·)分别表示离散余弦变换 和离散余弦逆变换， g x)表示符号函数， 取值为变量 X的符号；
歩骤 S12 , 基于所述显著特征图像计算显著特征映射图像 = g * 。 ，其中， 。表示 Hadamard点乘运算符， g表示高斯核函数，
*表示卷积运算；
歩骤 S13 , 基于所述显著特征映射图像提取所述参考图像的显著目 标区域。
该歩骤中， 首先对所述显著特征映射图像 ^进行直方图统计， 直方 图的灰度级数可设为 3 ;
然后将直方图的频数较多的部分认为是背景， 频数较少的像素组成 的区域为显著目标区域。
根据本发明一实施例的遥感图像显著目标区域提取结果的示意图 如图 2所示。 歩骤 S2, 对参考图像和输入图像分别进行多尺度均匀网格采样， 并 用稠密的多尺度均匀网格采样点近似表示所述参考图像的显著目标区 域；
所述歩骤 S2进一歩包括以下歩骤：
多尺度均匀网格采样是本领域的常用技术， 在此不作赘述， 需要说 明的是， 所述多尺度均匀网格采样的参数 （即尺度个数和采样间隔） 根 据图像大小、图像空间分辨率及目标的最小尺寸确定，与图像内容无关。 在本发明一实施例中， 尺度个数设为 5， 采样间隔设为 5， 也就是说， 图像的行数、 列数为 10、 15、 20、 25、 30 的倍数的交点为采样点。 经 过稠密采样后， 假设落在某显著目标区域的采样点集为 ^ =
其中， 表示第 z个显著目标区域中采样点的个数。
为刻画这些采样点的空间关系， 将点集 分别按照 "先行后列"和 "先列后行" 的方式进行排列， 这样， 所述参考图像的每个显著目标区 域均可用两个采样点序列 i 、 i 来表示， 并用 ；) 表示 i 或 i 中 相邻的点，其中， i 表示按照"先行后列"进行排列得到的采样点序列， i 表示按照 "先列后行"进行排列得到的采样点序列。
根据本发明一实施例的多尺度均匀网格采样结果示意图如图 3所示。 歩骤 S3 ,对经过所述多尺度均匀网格采样得到的所述参考图像和输 入图像的多尺度均匀网格采样点分别提取对应的 DAISY特征；
DAISY的英文原意为雏菊花，因本发明中特征提取的中央一周围对 称结构与雏菊花的花瓣结构很相似， 故称之为 DAISY特征。 图 4为根 据本发明一实施例的 DAISY特征提取示意图， 如图 4所示， DAISY特 征为在以每个多尺度均匀网格采样点为中心、 以采样尺度为半径的图像 块上构造多个 （比如 3个） 不同半径的同心圆形结构， 并在每个同心圆 上按一定角度 （比如 45° ) 等角度间隔提取多个 （比如 8个） 取样点， 以每个取样点为圆心构造圆形结构， 称之为取样圆。 圆心位于同一个同 心圆的取样圆半径相同， 圆心位于不同同心圆的取样圆半径由里向外半 径依次增大。 对落在每一个取样圆内的图像像素点构造梯度方向直方图， 然后将不同取样圆的梯度方向直方图连接起来组成 DAISY特征。 具体地， 所述歩骤 S3进一歩包括以下歩骤：
歩骤 S31 , 计算以每个多尺度均匀网格采样点为中心、 以采样尺度 为半径的图像块中每个取样圆对应的局部梯度方向直方图；
所述歩骤 S31进一歩包括以下歩骤：
歩骤 S311 , 计算以每个多尺度均匀网格采样点为中心、 以采样尺度 为半径的图像块中每个取样圆的每个图像像素点（u， V)的 q个 （在本发 明一实施例中， q=8 ) 方向梯度；
歩骤 S312,利用高斯核卷积得到所述取样圆中每个图像像素点对应 的方向梯度向量：
0, V) = [(gf (u, v), g2 ∑ 0, V), · · · , gq ∑ (u, v))f，
其中， gf (M, V)表示第 i个方向梯度， 上标∑表示该像素点所在取样圆的 高斯尺度值。 这样， 相同半径的取样圆上的像素点具有相同的高斯尺度 值， 不同半径的取样圆上的像素点高斯尺度值不同。 本发明中， 高斯尺 度值指高斯核卷积的标准差。
歩骤 S313 ,对每个像素点对应的上述向量按照将梯度方向从 0度到 360度均匀量化到 q个等角度范围区间进行统计的方式得到该取样圆对 应的局部梯度方向直方图；
歩骤 S32, 基于所述歩骤 S31得到的每个取样圆对应的局部梯度方 向直方图， 得到每个多尺度均匀网格采样点对应的 DAISY特征， 所述 DAISY特征用于描述采样点 局部支撑区域中每个图像像素点的一 系列相关向量的加权， 表示如下：
^(lN(u,v,R,))
¾( (w,v,R2)), hl2{lN{u,v,R2))
(/ , R3)) 其中， /„ ,V,R„)表示以采样点 为中心的中央一周围对称计算结构中 第 W个同心圆上的第 m个取样圆， (/ ,v,R„))表示以采样点 (M, 为中心 的中央一周围对称计算结构中第 W个同心圆上的第 m个取样圆的局部梯 度方向直方图， 在本发明一实施例中， ∞ = 1,2,— ,8， 《 = 1,2,3。 歩骤 S4,利用所述参考图像和输入图像的多尺度均匀网格采样点的 DAISY特征，根据最近邻匹配原则为所述参考图像的每一个多尺度均匀 网格采样点在所述输入图像的多尺度均匀网格采样点集合中各寻找多 个候选匹配点；
所述歩骤 S4具体为：
利用所述输入图像的多尺度均匀网格采样点的 DAISY特征组成的 集合构造 k-d树， 将所述参考图像的每一个多尺度均匀网格采样点与所 述 k-d树进行匹配， 即计算所述参考图像的每一个多尺度均匀网格采样 点的 DAISY特征与所述 k-d树中每个结点之间的欧式距离，将距离最小 的多个 （比如三个） 输入图像多尺度均匀网格采样点作为所述参考图像 中该多尺度均匀网格采样点的候选匹配点。 k-d树是一种分割高维数据 空间的数据结构， k-d树通过对输入图像的 DAISY特征集合进行层次划 分并建立索引来加快匹配速度。 对所述参考图像某显著目标区域的采样 点集 中的每一个采样点 Pk， 若令 Ck表示采样点 Pk在输入图像上的候选 匹配点组成的集合， 则与采样点集 对应的候选匹配点集合记为 ς = {{ς},···{φ}。 根据本发明一实施例的采样点集合匹配结果示意图如图 5所; 歩骤 S5 ,为所述参考图像显著目标区域内的多尺度均匀网格采样点 集合在对应的所述候选匹配点组成的候选匹配点集合中搜索最优匹配 点， 并根据匹配结果得到所述显著目标区域的变化特征；
所述歩骤 S5中搜索最优匹配点具体为：
利用候选匹配点集合之间的相似性进行所述参考图像显著目标区 域的采样点集合与所述候选匹配点集合的匹配， 继而为所述参考图像的 每个显著目标区域对应的多尺度均匀网格采样点集合找到对应的最优 匹配点集合；
在本发明一实施例中， 所述匹配主要是依据集合之间的外观相似性 和几何拓扑相似性来进行， 所述几何拓扑相似性主要包括几何形状、 位 置偏差和位置一致性。
具体地， 对于匹配点对 (Λ, )， 本发明使用
Figure imgf000009_0001
其中， m,'
l + exp(—。( ||/ft _/mt 小 考图像上某采样点 Pk的对应的在输入图像上的候选匹配点， f 和 /¾表示 Λ和 对应的 DAISY特征， 。和 是调整外观相似性的参数， 在本发明一实施例中， 。= 1.5， /fl = 0.05 ο
对于正确的或者说是最优的两个匹配点对 和 ， 其几 何拓扑相似性是指直线段 pkmk与 pk+lmk+l、 pkpk+l与 mkmk+l的长度接近且趋 于平行， 本发明使用
G(pk , Pk+l , mk , mk+l ) =
Figure imgf000009_0002
- pk+l ) - (mk - mk+l )||2 = - mk) - (pk+l - mk+l )|2来表示相 邻点对 和 几何形状的差异。
因为参 ）的位置偏 差不会太大， 来描述两水
Figure imgf000009_0003
点的位置偏差， 其中， t为一阈值， 在本发明一实施例中， Z = 20。 对于正确的两个匹配点对 和 ， p^pk+、的位置关系 与 与^ +1的位置关系应一致， 即若 ^在/^的左上方， 则 应在^ +1的
1 S((pk,pk+ll(mk,mk+l)) = \ 左上方。 本发明使用 Od/ H^ 来描
0 S((pk,pk+ll(mk,mk+l)) = 0 述位置一致性， 其中， ^(Α,Λ+1Μ^,^+1》表示位置一致关系，
W(A,A+1), , +1)) = 1表示位置一致， S^pk,pk+Mmk,m = 0表示位置不 一致。
设某区域按行或按列得到的采样点集 ^与候选匹配点集合 的最优 匹配为 = {∞1 · · · }， 则 可以通过优化如下目标函数求得:
C (PM) =∑ wgG(pk， pk+l， mk， mk+l ) waA(pk woO(pk， pk+l， mk， mk+l )
Figure imgf000010_0001
上述目标函数可以利用动态规划策略求解， 其中， 表示 相邻点对 ( A , ρ )和 (n , )几何形状的差异； (Λ , ¾ )表示匹配点对 Pk 的外观相似性； O ,A+1, , +1)表示两个匹配点对 和 (Pk+,mk+l)的位置关系一致性； 表示最优匹配点对 的位置 偏差； 、 wa, ^和^是上述区域相似性特征的权重， 在本发明一实施 例中， =1.0， =1.25， w0 =\.5 , Wrf =4.0。 为了得到全局最优解， 要 求上述目标函数对按行排列的特征集 i 和按列排列的特征集 i 都是最 优的。
所述歩骤 S5 中根据匹配结果得到所述显著目标区域的变化特征具 体为：
对于所述参考图像中的某显著目标区域， 若某显著目标区域按行或 按列得到的多尺度均匀网格采样点集 与候选匹配点集 的最优匹配采 样点集合 存在， 则用多尺度均匀网格采样点集与最优匹配 采样点集合之间的距离 C ,M ^来表征该显著目标区域的变化特征， 其 中， ^为该显著目标区域按行或按列得到的多尺度均匀网格采样点集， 在本发明一实施例中， 所述距离为基于外观、 几何拓扑特征的距离； 若 所述最优匹配采样点集合不存在， 则将该显著目标区域的变化特征设置 为一个很大的数值。 歩骤 S6 ,基于所述显著目标区域的变化特征确定所述输入图像中与 所述显著目标区域对应的区域是否发生了变化。
所述歩骤 S6具体为： 以所述参考图像中的显著目标区域为参考， 基于所述显著目标区域的变化特征， 通过阈值方法来确定所述输入图像 中与所述显著目标区域对应的区域是否发生了变化。
更具体地， 在所述歩骤 S6 中， 首先对所述显著目标区域的变化特 征进行直方图统计， 发生变化的显著目标区域的变化特征数值大， 没有 发生变化的显著目标区域的变化特征数值小； 然后根据变化特征的数值 就可将所述输入图像中与所述显著目标区域对应的区域分为两类： 变化 类和非变化类。 在本发明的一实施例中， 取所述直方图的波谷所对应的 变化特征作为判断阈值， 变化特征大于所述判断阈值的区域判断为显著 目标变化区域。
根据本发明一实施例的显著目标变化检测结果示意图如图 6所示。 以上所述的具体实施例， 对本发明的目的、 技术方案和有益效果进 行了进一歩详细说明， 所应理解的是， 以上所述仅为本发明的具体实施 例而已， 并不用于限制本发明， 凡在本发明的精神和原则之内， 所做的 任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。

Claims

权 利 要 求
1、 一种遥感图像显著目标变化检测方法， 其特征在于， 该方法包 括以下歩骤：
歩骤 Sl， 在参考图像上提取显著目标区域；
歩骤 S2, 对参考图像和输入图像分别进行多尺度均匀网格采样， 并 用稠密的多尺度均匀网格采样点近似表示所述参考图像的显著目标区 域；
歩骤 S3 ,对经过所述多尺度均匀网格采样得到的所述参考图像和输 入图像的多尺度均匀网格采样点分别提取对应的 DAISY特征；
歩骤 S4,利用所述参考图像和输入图像的多尺度均匀网格采样点的 DAISY特征，根据最近邻匹配原则为所述参考图像的每一个多尺度均匀 网格采样点在所述输入图像的多尺度均匀网格采样点集合中各寻找多 个候选匹配点；
歩骤 S5,为所述参考图像显著目标区域内的多尺度均匀网格采样点 集合在对应的所述候选匹配点组成的候选匹配点集合中搜索最优匹配 点并组成最优匹配点集合， 利用最优匹配点集合之间的距离作为对应显 著目标区域的变化特征；
歩骤 S6,基于所述显著目标区域的变化特征确定所述输入图像中与 显著目标区域对应的区域是否发生了变化。
2、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S1中， 以 图像灰度的离散余弦变换的符号函数为目标区域显著性度量标准来提 取所述显著目标区域。
3、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S1进一歩 包括以下歩骤：
歩骤 S11 , 对于所述参考图像 X， 计算其显著特征图像 X = IDCT{sign{DCT{X)))， 其中， /Χ (·)和 //Χ (·)分别表示离散余弦变换 和离散余弦逆变换， g x)表示符号函数；
歩骤 S12 , 基于所述显著特征图像计算显著特征映射图像 = g * 。 ，其中， 。表示 Hadamard点乘运算符， g表示高斯核函数，
*表示卷积运算；
歩骤 S13 , 基于所述显著特征映射图像提取所述参考图像的显著目 标区域。
4、根据权利要求 3所述的方法，其特征在于，所述歩骤 13具体为： 对所述显著特征映射图像 进行直方图统计， 将直方图的频数较多的部 分认为是背景， 频数较少的像素组成的区域为显著目标区域。
5、 根据权利要求 1所述的方法， 其特征在于， 所述参考图像的第 z 个显著目标区域由两个采样点序列 i 、 i 来表示， 其中， i 表示对落 在该显著目标区域的采样点集 ^按照 "先行后列"进行排列得到的采样 点序列， i 表示对落在该显著目标区域的采样点集 ^按照 "先列后行" 进行排列得到的采样点序列。
6、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S3进一歩 包括以下歩骤：
歩骤 S31 , 计算以每个多尺度均匀网格采样点为中心、 以采样尺度 为半径的图像块中每个取样圆对应的局部梯度方向直方图；
歩骤 S32, 基于所述歩骤 S31得到的每个取样圆对应的局部梯度方 向直方图， 得到每个多尺度均匀网格采样点对应的 DAISY特征。
7、 根据权利要求 6所述的方法， 其特征在于， 所述歩骤 S31进一 歩包括以下歩骤：
歩骤 S311 , 计算以每个多尺度均匀网格采样点为中心、 以采样尺度 为半径的图像块中每个取样圆的每个图像像素点（ u， V)的 q个方向梯度; 歩骤 S312,利用高斯核卷积得到所述取样圆中每个图像像素点对应 的方向梯度向量：
0, V) = [(gf (u, v), g2 ∑ 0, V), · · · , gq ∑ (u, v))f， 其中， gf (M, V)表示第 i个方向梯度， 上标∑表示该像素点所在取样圆的 高斯尺度值。
歩骤 S313 ,对每个像素点对应的上述向量按照将梯度方向从 0度到 360度均匀量化到 q个等角度范围区间进行统计的方式得到该取样圆对 应的局部梯度方向直方图；
8、根据权利要求 1所述的方法，其特征在于，所述歩骤 S4具体为： 利用所述输入图像的多尺度均匀网格采样点的 DAISY特征组成的集合 构造 k-d树，将所述参考图像的每一个多尺度均匀网格采样点与所述 k-d 树进行欧式距离匹配， 将距离最小的多个输入图像多尺度均匀网格采样 点作为所述参考图像中该多尺度均匀网格采样点的候选匹配点。
9、根据权利要求 1所述的方法，其特征在于，所述歩骤 S5具体为： 利用候选匹配点集合之间的相似性进行所述参考图像显著目标区 域的采样点集合与所述候选匹配点集合的匹配， 继而为所述参考图像的 每个显著目标区域对应的采样点集合找到对应的最优匹配点集合；
对于所述参考图像中的某显著目标区域， 若某显著目标区域按行或 按列得到的多尺度均匀网格采样点集 与候选匹配点集 的最优匹配采 样点集合存在， 则用多尺度均匀网格采样点集与最优匹配采样点集合之 间的距离来表征该显著目标区域的变化特征； 若所述最优匹配采样点集 合不存在， 则将该显著目标区域的变化特征设置为一个很大的数值。
10、 根据权利要求 1所述的方法， 其特征在于， 所述歩骤 S6具体 为：
对所述显著目标区域的变化特征进行直方图统计， 发生变化的显著 目标区域的变化特征数值大， 没有发生变化的显著目标区域的变化特征 数值小；
根据变化特征的数值将所述输入图像中与所述显著目标区域对应 的区域分为两类： 变化类和非变化类。
PCT/CN2013/084074 2013-09-24 2013-09-24 一种遥感图像显著目标变化检测方法 WO2015042772A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/084074 WO2015042772A1 (zh) 2013-09-24 2013-09-24 一种遥感图像显著目标变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/084074 WO2015042772A1 (zh) 2013-09-24 2013-09-24 一种遥感图像显著目标变化检测方法

Publications (1)

Publication Number Publication Date
WO2015042772A1 true WO2015042772A1 (zh) 2015-04-02

Family

ID=52741728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/084074 WO2015042772A1 (zh) 2013-09-24 2013-09-24 一种遥感图像显著目标变化检测方法

Country Status (1)

Country Link
WO (1) WO2015042772A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869168A (zh) * 2016-04-01 2016-08-17 南京理工大学 基于多项式拟合的多源遥感图像形状配准方法
CN105894513A (zh) * 2016-04-01 2016-08-24 武汉大学 顾及影像对象时空变化的遥感影像变化检测方法及系统
CN106934784A (zh) * 2017-03-16 2017-07-07 中国科学院遥感与数字地球研究所 一种基于遥感影像融合的冰川面积变化监测方法
CN108121949A (zh) * 2017-12-04 2018-06-05 交通运输部规划研究院 一种基于遥感场景分类的港口矿石堆场识别方法
CN108446588A (zh) * 2018-02-05 2018-08-24 中国测绘科学研究院 一种双时相遥感影像变化检测方法及系统
CN109191503A (zh) * 2018-08-23 2019-01-11 河海大学 基于条件随机场的遥感影像变化检测方法及系统
CN109242832A (zh) * 2018-08-23 2019-01-18 河海大学 一种多时相多光谱遥感影像变化检测方法及系统
CN110136170A (zh) * 2019-05-13 2019-08-16 武汉大学 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110826454A (zh) * 2019-10-30 2020-02-21 北京科技大学 一种遥感影像变化检测方法及装置
CN111242050A (zh) * 2020-01-15 2020-06-05 同济大学 一种面向大尺度复杂场景下遥感影像的自动变化检测方法
CN111275616A (zh) * 2020-01-08 2020-06-12 北京林业大学 低空航拍图像拼接方法和装置
CN111461032A (zh) * 2020-04-03 2020-07-28 西南交通大学 局部结构与拓扑几何约束的倾斜影像直线特征匹配方法
CN112419266A (zh) * 2020-11-23 2021-02-26 山东建筑大学 一种地表覆盖类别约束的遥感影像变化检测方法
CN113222028A (zh) * 2021-05-19 2021-08-06 中国电子科技集团公司第二十八研究所 一种基于多尺度邻域梯度模型的图像特征点实时匹配方法
CN116522781A (zh) * 2023-05-04 2023-08-01 北京百度网讯科技有限公司 样本数据生成方法、模型的训练方法和装置
CN117437537A (zh) * 2023-09-26 2024-01-23 中国人民解放军战略支援部队信息工程大学 基于机载LiDAR点云数据的建筑物目标级变化检测方法及系统
CN117765361A (zh) * 2023-12-26 2024-03-26 西安电子科技大学 一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法
CN117994506A (zh) * 2024-04-07 2024-05-07 厦门大学 一种动态知识集成的遥感图像显著性目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764819A (en) * 1991-10-18 1998-06-09 Dekalb Genetics Corporation Methods for classifying plants for evaluation and breeding programs by use of remote sensing and image analysis technology
CN102169545A (zh) * 2011-04-25 2011-08-31 中国科学院自动化研究所 一种高分辨率遥感图像的变化检测方法
CN103218787A (zh) * 2013-04-23 2013-07-24 国家测绘地理信息局卫星测绘应用中心 多源异构遥感影像控制点自动采集方法
CN103489191A (zh) * 2013-09-24 2014-01-01 中国科学院自动化研究所 一种遥感图像显著目标变化检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764819A (en) * 1991-10-18 1998-06-09 Dekalb Genetics Corporation Methods for classifying plants for evaluation and breeding programs by use of remote sensing and image analysis technology
CN102169545A (zh) * 2011-04-25 2011-08-31 中国科学院自动化研究所 一种高分辨率遥感图像的变化检测方法
CN103218787A (zh) * 2013-04-23 2013-07-24 国家测绘地理信息局卫星测绘应用中心 多源异构遥感影像控制点自动采集方法
CN103489191A (zh) * 2013-09-24 2014-01-01 中国科学院自动化研究所 一种遥感图像显著目标变化检测方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894513A (zh) * 2016-04-01 2016-08-24 武汉大学 顾及影像对象时空变化的遥感影像变化检测方法及系统
CN105869168A (zh) * 2016-04-01 2016-08-17 南京理工大学 基于多项式拟合的多源遥感图像形状配准方法
CN106934784A (zh) * 2017-03-16 2017-07-07 中国科学院遥感与数字地球研究所 一种基于遥感影像融合的冰川面积变化监测方法
CN108121949A (zh) * 2017-12-04 2018-06-05 交通运输部规划研究院 一种基于遥感场景分类的港口矿石堆场识别方法
CN108121949B (zh) * 2017-12-04 2018-11-23 交通运输部规划研究院 一种基于遥感场景分类的港口矿石堆场识别方法
CN108446588B (zh) * 2018-02-05 2020-09-15 中国测绘科学研究院 一种双时相遥感影像变化检测方法及系统
CN108446588A (zh) * 2018-02-05 2018-08-24 中国测绘科学研究院 一种双时相遥感影像变化检测方法及系统
CN109191503A (zh) * 2018-08-23 2019-01-11 河海大学 基于条件随机场的遥感影像变化检测方法及系统
CN109242832A (zh) * 2018-08-23 2019-01-18 河海大学 一种多时相多光谱遥感影像变化检测方法及系统
CN110136170A (zh) * 2019-05-13 2019-08-16 武汉大学 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110826454A (zh) * 2019-10-30 2020-02-21 北京科技大学 一种遥感影像变化检测方法及装置
CN110826454B (zh) * 2019-10-30 2022-06-28 北京科技大学 一种遥感影像变化检测方法及装置
CN111275616B (zh) * 2020-01-08 2023-11-03 北京林业大学 低空航拍图像拼接方法和装置
CN111275616A (zh) * 2020-01-08 2020-06-12 北京林业大学 低空航拍图像拼接方法和装置
CN111242050A (zh) * 2020-01-15 2020-06-05 同济大学 一种面向大尺度复杂场景下遥感影像的自动变化检测方法
CN111461032B (zh) * 2020-04-03 2022-09-09 西南交通大学 局部结构与拓扑几何约束的倾斜影像直线特征匹配方法
CN111461032A (zh) * 2020-04-03 2020-07-28 西南交通大学 局部结构与拓扑几何约束的倾斜影像直线特征匹配方法
CN112419266B (zh) * 2020-11-23 2022-09-30 山东建筑大学 一种地表覆盖类别约束的遥感影像变化检测方法
CN112419266A (zh) * 2020-11-23 2021-02-26 山东建筑大学 一种地表覆盖类别约束的遥感影像变化检测方法
CN113222028B (zh) * 2021-05-19 2022-09-06 中国电子科技集团公司第二十八研究所 一种基于多尺度邻域梯度模型的图像特征点实时匹配方法
CN113222028A (zh) * 2021-05-19 2021-08-06 中国电子科技集团公司第二十八研究所 一种基于多尺度邻域梯度模型的图像特征点实时匹配方法
CN116522781A (zh) * 2023-05-04 2023-08-01 北京百度网讯科技有限公司 样本数据生成方法、模型的训练方法和装置
CN116522781B (zh) * 2023-05-04 2024-04-05 北京百度网讯科技有限公司 样本数据生成方法、模型的训练方法和装置
CN117437537A (zh) * 2023-09-26 2024-01-23 中国人民解放军战略支援部队信息工程大学 基于机载LiDAR点云数据的建筑物目标级变化检测方法及系统
CN117437537B (zh) * 2023-09-26 2024-07-12 中国人民解放军战略支援部队信息工程大学 基于机载LiDAR点云数据的建筑物目标级变化检测方法及系统
CN117765361A (zh) * 2023-12-26 2024-03-26 西安电子科技大学 一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法
CN117765361B (zh) * 2023-12-26 2024-06-11 西安电子科技大学 一种基于残差神经网络检测双时相遥感影像中建筑物变化区域的方法
CN117994506A (zh) * 2024-04-07 2024-05-07 厦门大学 一种动态知识集成的遥感图像显著性目标检测方法

Similar Documents

Publication Publication Date Title
WO2015042772A1 (zh) 一种遥感图像显著目标变化检测方法
CN103489191B (zh) 一种遥感图像显著目标变化检测方法
CN111028277B (zh) 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
Huang et al. WiFi and vision-integrated fingerprint for smartphone-based self-localization in public indoor scenes
WO2019042232A1 (zh) 一种快速鲁棒的多模态遥感影像匹配方法和系统
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
JP5385105B2 (ja) 画像検索方法およびシステム
CN103456022B (zh) 一种高分辨率遥感图像特征匹配方法
US9064171B2 (en) Detection device and method for transition area in space
Patel et al. Image registration of satellite images with varying illumination level using HOG descriptor based SURF
CN105813194B (zh) 基于指纹数据库二次校正的室内定位方法
US8531519B1 (en) Automatic multi-device localization and collaboration using cameras
CN102722887A (zh) 一种图像配准方法及装置
US20200005078A1 (en) Content aware forensic detection of image manipulations
JP6662382B2 (ja) 情報処理装置および方法、並びにプログラム
Ruiz-Ruiz et al. A multisensor LBS using SIFT-based 3D models
CN105447869B (zh) 基于粒子群优化算法的摄像机自标定方法及装置
Xue et al. A fast visual map building method using video stream for visual-based indoor localization
CN104992431B (zh) 多光谱图像配准的方法及装置
CN113095385A (zh) 一种基于全局和局部特征描述的多模图像匹配方法
Fan et al. A robust oriented filter-based matching method for multisource, multitemporal remote sensing images
CN105719272B (zh) 保持空间结构的图像特征点匹配方法
Li et al. A genetic-optimized multi-angle normalized cross correlation SIFT for automatic remote sensing registration
Zhang et al. Smart phone camera image localization method for narrow corridors based on epipolar geometry
Huang et al. Image-based localization for indoor environment using mobile phone

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13894817

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13894817

Country of ref document: EP

Kind code of ref document: A1