WO2019140609A1 - 目标检测方法及无人机 - Google Patents

目标检测方法及无人机 Download PDF

Info

Publication number
WO2019140609A1
WO2019140609A1 PCT/CN2018/073272 CN2018073272W WO2019140609A1 WO 2019140609 A1 WO2019140609 A1 WO 2019140609A1 CN 2018073272 W CN2018073272 W CN 2018073272W WO 2019140609 A1 WO2019140609 A1 WO 2019140609A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
frame image
image
feature
feature model
Prior art date
Application number
PCT/CN2018/073272
Other languages
English (en)
French (fr)
Inventor
王旭
崔希鹏
宋宇
Original Assignee
深圳市道通智能航空技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市道通智能航空技术有限公司 filed Critical 深圳市道通智能航空技术有限公司
Priority to PCT/CN2018/073272 priority Critical patent/WO2019140609A1/zh
Priority to EP18725381.0A priority patent/EP3534250B1/en
Priority to US15/986,250 priority patent/US10839555B2/en
Publication of WO2019140609A1 publication Critical patent/WO2019140609A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/20—Comparing separate sets of record carriers arranged in the same sequence to determine whether at least some of the data in one set is identical with that in the other set or sets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention provides a target detection method for a drone, the method comprising:
  • the global feature information includes a Histogram of Oriented Gradient (HOG) of the target.
  • HOG Histogram of Oriented Gradient
  • the global feature information includes an HOG of the target.
  • the global feature information includes an HOG of the target.
  • the processor is configured to: acquire a current frame captured image; determine, according to the feature model of the target, whether there is an area in the current frame captured image that matches the feature model; if not, determine Lost the target.
  • the drone receives the target selection command.
  • the feature model of the target may include global feature information of the target and color feature information.
  • each region shown in FIG. 3 corresponds to a 9-dimensional vector, so that a 36-dimensional HOG feature vector can be obtained by combining.
  • the area occupied by the target can be divided into n 4 by 4 regions, and n HOG features, that is, n 36-dimensional HOG feature vectors, can be obtained, which can be used as the global feature information of the target.
  • the drone can determine the region corresponding to the maximum value of the first correlation value, that is, the region most similar to the target. region.
  • the color name map can represent images in a specific 11 colors: black, blue, brown, grey, and green. Orange, pink, purple, red, white, and yellow.
  • the pixels can be mapped to red among the 11 preset colors.
  • a similar process can be performed for the image of the Nth frame to obtain a second feature image.
  • the drone can make a frame difference, that is, subtract the mark at the corresponding position of the first feature image and the second feature image, for example, at the same position, the mark in the first feature image is 2, and the The mark in the two feature images is also 2, then at this time, the difference of the mark at the corresponding position is 0, which reflects that the two images at the position are the same, and if there is another position, the first feature The mark in the image is 2, and the mark in the second feature image is also 8. At this time, the difference of the mark at the corresponding position is 6, so that the difference 6 can be used to follow the preset first preset threshold. In comparison, the first preset threshold here may be preset.
  • the UAV determines whether the Nth frame image includes the target according to the feature model of the target and the candidate region.
  • the drone may acquire a feature model of the candidate region; determine whether the feature model of the target is consistent with the feature model of the candidate region; if yes, determine that the Nth frame image includes the target.
  • the unmanned aerial vehicle can obtain the HOG feature and the color histogram of the candidate region.
  • the HOG feature and the color histogram of the candidate region can be the same as the HOG feature and the color histogram of the target in step S203, and details are not described herein. . If there are multiple candidate regions, the HOG features and color histograms for each candidate region are obtained separately.
  • the drone can compare the HOG feature and the color histogram of the candidate region with the HOG feature and the color histogram of the target. If they match, it is determined that the Nth frame image contains the target.
  • FIG. 7 is a schematic structural diagram of an embodiment of an object detecting apparatus according to the present invention.
  • the target detecting device 40 is used in a drone, and includes an acquiring module 400 and a determining module 410.
  • the determining module 410 is specifically configured to: acquire a current frame captured image; determine, according to the feature model of the target, whether an area matching the feature model exists in the current frame captured image; Then, it is determined that the target is lost.
  • the acquiring module 400 is specifically configured to: acquire a color feature map of the first frame image; acquire a color feature map of the Nth frame image; and compare a color feature map of the first frame image And a color feature map of the image of the Nth frame, if a difference between the color feature map of the first frame image and the color feature map of the Nth frame image meets a preset condition, the difference is met
  • the area of the preset condition is referred to as the candidate area.
  • control module 520 is further configured to control the Nth frame image captured after the UAV rotates along the Z axis or moves along the Z axis to acquire the first frame image.
  • the processor 610 is configured to control the drone to hover.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Astronomy & Astrophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种目标检测方法和无人机，所述方法包括：获取目标图像，并根据所述目标图像获取所述目标的特征模型；确定是否丢失所述目标；若确定丢失所述目标，则：获取当前拍摄的第一帧图像；获取第一帧图像之后拍摄的第N帧图像；根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域；根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。采用该目标检测方法，检测效率高。

Description

目标检测方法及无人机 技术领域
本发明涉及无人机技术领域，尤其涉及一种目标检测方法及无人机。
背景技术
无人驾驶飞机简称“无人机”(unmanned aerial vehicle，UAV)，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器。无人机在跟踪目标时，由于遮挡等情况，可能会出现目标丢失的情况，这时就需要进行重新检测以找回目标，这个过程也可称为对目标的再检测过程。
现有的目标检测方法是基于视觉的方法，利用相关性等找回目标，这种检测方式速度较慢，准确度较低。
发明内容
本发明提供一种目标检测方法及无人机，以解决现有技术中丢失目标之后找回目标效率低的问题。
第一方面，本发明提供一种目标检测方法，用于无人机，所述方法包括：
获取目标图像，并根据所述目标图像获取所述目标的特征模型；
确定是否丢失所述目标；
若确定丢失所述目标，则：
获取当前拍摄的第一帧图像；
获取第一帧图像之后拍摄的第N帧图像，其中N为大于0的整数；
根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域；
根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。
在一些实施例中，所述目标的特征模型包括：所述目标的全局特征信息以及颜色特征信息。
在一些实施例中，所述全局特征信息包括所述目标的方向梯度直方图(Histogram of Oriented Gradient，HOG)。
在一些实施例中，所述颜色特征信息包括所述目标的颜色直方图。
在一些实施例中，所述确定是否丢失目标，包括：
获取当前帧拍摄图像；
根据所述目标的特征模型判断所述当前帧拍摄图像中是否存在与所述特征模型相匹配的区域；
若否，则确定丢失所述目标。
在一些实施例中，所述根据所述目标的特征模型判断所述拍摄图像中是否存在与所述特征模型相匹配的区域，包括：
确定所述当前帧拍摄图像中各区域对应的第一相关值；
将所述第一相关值中的最大值对应的区域确定为相关区域；
获取所述相关区域的特征模型；
判断所述目标的特征模型与所述相关区域的特征模型是否一致；
若不一致，则确定丢失所述目标。
在一些实施例中，所述根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域，包括：
获取所述第一帧图像的颜色特征图；
获取所述第N帧图像的颜色特征图；
比较所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图，若所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图之间存在差异符合预设条件的区域，则将差异符合所述预设条件的区域作为所述候选区域。
在一些实施例中，所述根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标，包括：
获取所述候选区域的特征模型；
判断所述目标的特征模型与所述候选区域的特征模型是否一致；
若是，则确定所述第N帧图像包含所述目标。
在一些实施例中，该方法还包括：
所述获取当前拍摄的第一帧图像之前控制所述无人机悬停。
在一些实施例中，所述获取第一帧图像之后拍摄的第N帧图像包括：
控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
第二方面，本发明提供一种目标检测装置，用于无人机，该装置包括：
获取模块，用于获取目标图像，并根据所述目标图像获取所述目标的特征模型；
确定模块，用于确定是否丢失所述目标；
所述获取模块还用于：
若确定丢失所述目标，则获取当前拍摄的第一帧图像；
获取第一帧图像之后拍摄的第N帧图像，其中N为大于0的整数；以及
根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域；
所述确定模块还用于根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。
在一些实施例中，所述目标的特征模型包括：所述目标的全局特征信息以及颜色特征信息。
在一些实施例中，所述全局特征信息包括所述目标的HOG。
在一些实施例中，所述颜色特征信息包括所述目标的颜色直方图。
在一些实施例中，所述确定模块具体用于：获取当前帧拍摄图像；根据所述目标的特征模型判断所述当前帧拍摄图像中是否存在与所述特征模型相匹配的区域；若否，则确定丢失所述目标。
在一些实施例中，所述确定模块具体用于：确定所述当前帧拍摄图像中各区域对应的第一相关值；将所述第一相关值中的最大值对应的区域确定为相关区域；获取所述相关区域的特征模型；判断所述目标的特征模型与所述相关区域的特征模型是否一致；若不一致，则确定丢失所述目标。
在一些实施例中，所述获取模块具体用于：获取所述第一帧图像的颜色特征图；获取所述第N帧图像的颜色特征图；比较所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图，若所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图之间存在差异符合预设条件的区域，则将差异符合所述预设条件的区域作为所述候选区域。
在一些实施例中，所述确定模块具体用于：获取所述候选区域的特征模型；判断所述目标的特征模型与所述候选区域的特征模型是否一致；若是，则确定所述第N帧图像包含所述目标。
在一些实施例中，该装置还包括控制模块，所述控制模块用于控制所述无人机悬停。
在一些实施例中，所述控制模块还用于控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
在一些实施例中，该装置还包括控制模块，所述控制模块用于控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
第三方面，本发明提供一种无人机，包括：
机身以及处理器；
所述处理器用于：
获取目标图像，并根据所述目标图像获取所述目标的特征模型；确定是否丢失所述目标；若确定丢失所述目标，则：获取当前拍摄的第一帧图像；获取第一帧图像之后拍摄的第N帧图像，其中N为大于0的整数；根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域；根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。
在一些实施例中，所述目标的特征模型包括：所述目标的全局特征信息以及颜色特征信息。
在一些实施例中，所述全局特征信息包括所述目标的HOG。
在一些实施例中，所述颜色特征信息包括所述目标的颜色直方图。
在一些实施例中，所述处理器用于：获取当前帧拍摄图像；根据所述目标的特征模型判断所述当前帧拍摄图像中是否存在与所述特征模型相匹配的区域；若否，则确定丢失所述目标。
在一些实施例中，所述处理器用于：确定所述当前帧拍摄图像中各区域对应的第一相关值；将所述第一相关值中的最大值对应的区域确定为相关区域；获取所述相关区域的特征模型；判断所述目标的特征模型与所述相关区域的特征模型是否一致；若不一致，则确定丢失所述目标。
在一些实施例中，所述处理器用于：获取所述第一帧图像的颜色特征图；获取所述第N帧图像的颜色特征图；比较所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图，若所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图之间存在差异符合预设条件的区域，则将差异符合所述预设条件的区域作为所述候选区域。
在一些实施例中，所述处理器用于：获取所述候选区域的特征模型；判断所述目标的特征模型与所述候选区域的特征模型是否一致；若是，则确定所述第N帧图像包含所述目标。
在一些实施例中，所述处理器用于：控制所述无人机悬停。
在一些实施例中，所述处理器用于：控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
本发明实施例提供的目标检测方法检测速度快、准确度高，可实现实时检测。
附图说明
为了更清楚地说明本发明一些实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种目标检测方法其中一实施例的流程图；
图2为本发明一种目标检测方法另一实施例的流程图；
图3为本发明实施例提供的四个像素点组成的区域示意图；
图4为本发明实施例提供的第一特征图像；
图5为本发明实施例提供的第二特征图像；
图6为本发明实施例提供的第一特征图像和第二特征图像的比较结果；
图7为本发明一种目标检测装置其中一实施例的结构示意图；
图8为本发明一种目标检测装置其中一实施例的结构示意图；
图9为本发明一种无人机其中一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。
下面，通过具体实施例对本发明所示的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
本发明提供的一种目标检测方法，在确定目标丢失时，综合分析当前拍摄的第一帧图像以及第一帧图像之后拍摄的第N帧图像，查找出候选区域，并从候选区域中确定出目标，从而提高目标再检测的效率。下面将通过详细的实施例来说明本发明的方案及其有益效果。
图1为本发明一种目标检测方法其中一实施例的流程图。该方法的执行主体可以为无人机。如图1所示，该方法可以包括以下步骤：
S100、获取目标图像，并根据所述目标图像获取所述目标的特征模型。
为了对目标进行追中，无人机首先需要获取目标图像并对该目标进行建模，即获取该目标的特征模型，以便对目标进行追踪以及在目标丢失之后对其进行重新检测。目标的特征模型可以包括目标的全局特征信息以及颜色特征信息。其中，全局特征信息包括所述目标的方向梯度直方图(Histogram of Oriented Gradient，HOG)。所述颜色特征信息包括所述目标的颜色直方图。
S101、确定是否丢失目标。
无人机在进行目标追踪时，可能有比如目标被遮挡等情况发生，此时无人机可能就会丢失其追踪的目标。作为一种可行的实施方式，在判断是否丢失目标时，无人机可以记录当前拍摄的图像，然后用相关滤波等算法对当前拍摄的图像进行分析，查找当前拍摄的图像中最大响应的位置，并与步骤S100中建立的目标特征模型进行比对，若差距较小则可以确定已经找到目标。而当目标被遮挡时，响应值也较低，并且与目标特征模型的差距较大，据此可以确定目标已经丢失。
在本发明的一实施例中，无人机可以获取当前帧拍摄图像；确定所述当前帧拍摄图像中各区域对应的第一相关值，该第一相关值用来反映所述各区域与目标的相似程度；将所述第一相关值中的最大值对应的区域确定为相关区域；获取所述相关区域的特征模型，该特征模型的获取方法可以与步骤S100中获取目标的特征模型的方式类似；判断所述目标的特征模型与所述相关区域的特征模型是否一致；若不一致，则确定丢失所述目标。
S102、若确定丢失所述目标，则获取当前拍摄的第一帧图像。
举例来说，若根据步骤S101所述，在将当前拍摄的图像与目标特征模型相比对之后，得出的响应值较低，并且与目标特征模型的差距较大，则可以将当前拍摄的图像作为该第一帧图像。
此外，作为一种可行的实施方式，在获取当前拍摄的第一帧图像之前，还可以控制所述无人机悬停。无人机在确定目标丢失后，可以处于悬停状态，这样可以保证背景的一致性，从而能够更快速地将前景提取出来。
S103、获取第一帧图像之后拍摄的第N帧图像，其中N为大于0的整数。
可以以与获取第一帧图像相同的方式，比如拍摄，获取N帧过后的第N帧图像。这里的N为大于零的整数，其可以是预设正整数，比如在实际中，可以取值为6或9。这里N的取值仅为举例，而并不以此为限定。
S104、根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区 域。
在获取了第一帧图像和第N帧图像之后，可以获取可能包含所述目标的候选区域。
作为一种可行的实施方式，为了查找可能包含所述目标的候选区域时，无人机可以执行下述循环处理操作：
比如，无人机可以分别获取上述第一帧图像的颜色特征图和第N帧图像的颜色特征图，该颜色特征图可以通过特定种类的颜色来表示获取的图像，以第一帧图像的颜色特征图为例，其可以用特定种类的颜色来反映第一帧图像的颜色特征。
在分别获取了上述第一帧图像的颜色特征图和第N帧图像的颜色特征图后，可以比较所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图，若所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图之间存在差异符合预设条件的区域，则将差异符合所述预设条件的区域作为所述候选区域。比如，可以将两个颜色特征图的对应区域进行比对，若颜色差异较大，则可以认为是该区域为所述候选区域。
这样对第一帧图像以及第N帧图像进行比较，差异明显的区域就有可能包含目标，因此可以作为所述候选区域。对两张图像的比较方法，这里并不限制，此处可以应用任何能够确定两张图像之间差异区域的方法。类似地，所述获取第一帧图像之后拍摄的第N帧图像可以包括控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
S105、根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。
当无人机确定候选区域后，就可以根据所述目标的特征模型从中确定出所述目标。由于在实际中，因为拍摄角度、实际的地形环境等因素的影响，候选区域只是有可能包含所述目标，但是不一定就是目标，因此，在确定了候选区域之后，无人机还需要从候选区域中筛选出目标。
作为一种可行的实施方式，无人机可以获取候选区域的特征模型，该特征模型的获取方法可以与步骤S100中获取目标的特征模型的方法类似；在获取了候选区域的特征模型之后，可以判断所述目标的特征模型与所述候选区域的特征模型是否一致，若是，则确定所述第N帧图像包含所述目标。比如可以根据先前确定的目标的特征模型(比如目标的全局特征信息和颜色特征信息)，将候选区域的特征模型与所述目标的特征模型相匹配的候选区域作为所述目标，从而找到目标。
本发明实施例提供的再检测方法，获取目标图像，并根据所述目标图像获取所述目标的特征模型；确定是否丢失所述目标；若确定丢失所述目标，则：获取当前拍摄 的第一帧图像；获取第一帧图像之后拍摄的第N帧图像；根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域；根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。采用本发明实施例提供的方法，可以在目标丢失时，通过不断地综合分析第一帧图像以及第N帧图像，确定出目标。由于是对第一帧图像以及第N帧图像的综合分析，因此，相比于现有技术中对每帧图像进行分析的方法来说，本发明提供的再检测方法效率更高。
为了进一步更加详细的描述本方案，下面结合无人机与控制设备之间的互动，以及无人机对于图像的具体处理，来阐述本发明的技术方案。图2为本发明一种目标检测方法另一实施例的流程图。该方法包括以下步骤：
S200、控制设备接收用户输入的目标选定指令。
本发明实施例中提及的控制设备，可以用来供用户操作，以控制无人机。该控制设备可以为个人电脑(personal computer，PC)，平板电脑或者终端设备，此处的终端设备可以是蜂窝电话、无绳电话、SIP(Session Initiation Protocol，会话启动协议)电话、无线本地环路(Wireless Local Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)、具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备。比如，用户可以在控制设备上呈现的画面中选取目标，如当控制设备为带有触摸屏的电子设备时，用户可以通过触摸屏，框出其意图让无人机追踪的目标。此时，控制设备就会收到与用户输入操作相对应的指令，该指令用于向所述控制设备指示用户所选择的目标。
S201、控制设备向无人机发送目标选定命令。
控制设备在确定了目标之后，可以向无人机发送指示命令。该指示命令可以用于指示所述无人机跟踪所述目标。
S202、无人机接收所述目标选定命令。
S203、无人机获取目标图像，并根据所述目标图像获取所述目标的特征模型。
在本发明的一实施例中，目标的特征模型可以包括目标的全局特征信息以及颜色特征信息。
无人机在接收了目标选定命令之后，就可以获知待追踪的目标。为了便于在目标丢失之后重新再检测到目标，无人机可以对目标进行建模，比如根据目标图像获取目标的特征模型。
此时，无人机可以按照预设算法分析所述目标，获取目标的全局特征信息以及颜 色特征信息，这里的全局特征信息比如可以是反映目标的形状、大小等全局特征的相关信息，而颜色特征信息则可以是反映目标的颜色特征的相关信息。在一些实施例中，该全局特征信息可以包括目标的方向梯度直方图(Histogram of Oriented Gradient，HOG)，而该颜色特征信息则可以包括目标的颜色直方图。后文将以此为例进行说明，但是，应理解，全局特征信息和颜色特征信息也可以是其他可以反映目标的相关特征的信息，此处并不限定。
由于目标在图像中也是占据了一定区域的，因此，可以根据目标所占据的区域中的各像素点的像素值，来计算上述HOG特征和颜色直方图。
对于HOG特征，以图3所示的区域中的A像素点为例，通过下面两个步骤来计算其角度方向：
1)计算x和y方向的梯度，其中x方向的梯度为：dx＝PB-PA；y方向：dy＝PA-PC。其中，PA、PB和PC分别表示相应像素点A、B、C的像素值。
2)计算角度方向：theta＝artan(dy/dx)和幅度fA＝sqrt(dx*dx+dy*dy)；
然后，按照上述方法分别再求B，C，D的角度方向。
之后可以把360度分为9个组(bin)，每个bin大小为40度，即0度到40度为第一个bin，41到80度为第二个bin，依此类推。然后可以根据A，B，C，D的角度方向，找到其各自对应的bin，累加落在各个bin中的像素点的个数，从而得到一个9维的向量。比如，若A，B，C，D四个像素点对应的角度方向为30度、35度、60度、110度，那么A和B像素点落在第一个bin，而C则落在第二个bin，D落在第三个bin，此时得到的9维向量即为[2,1,1,0,0,0,0,0,0]。
再把相邻的4个如图3所示的区域连接，每个区域对应一个9维向量，因此组合起来就可以得到一个36维的HOG特征向量。
接着可以把目标所占据的区域划分成n个4乘4的区域，并得到n个HOG特征，也就是n个36维HOG特征向量，这个就可以作为所述目标的全局特征信息。
而对于颜色直方图，由于一个像素点的像素值可以由三个分量，分别用R(Red)分量、G(Green)分量、B(Blue)分量表示，也就是说，对于任意一个像素点，其像素值可以用这三个分量表示，而每个分量都是灰度图像，均用0-255之间的值来表示。
可以将该0-255量化为32个bin，其中，每个bin包括8个像素值，比如0-7为第一个bin；8-15为第二个bin，以此类推，因此，对于目标所占据区域的每个像素点，都可以按照上面的这个分组来表示它的三个分量，然后以R分量为例，可以统计各bin 中各像素点的R分量的个数，从而得到一个32维的向量，对于G分量和B分量也是类似，从而得到32维乘3的矩阵，即为该目标的颜色直方图，作为其颜色特征信息。
当然，这里只是以一种计算方法为例进行说明，其中比如将区域划分为4乘4、将角度划分为9组、将0-255量化为32个区间，这些都仅为示例，在实际中可以根据需求灵活变动。也可以采用现有的HOG和颜色直方图计算方法得到所述目标的全局特征信息和颜色特征信息，此处不再赘述。
此外，还需要说明的是，在本实施例中，控制设备确定了目标并向所述无人机发送目标选定命令，由无人机对目标进行建模，也就是获得目标的全局特征信息以及颜色特征信息。当然，控制设备也可以在步骤S200之后，获取目标的特征模型，其获取方法可以与无人机的相同，从而将获得的目标的全局特征信息以及颜色特征信息发送给无人机，这样就省去了无人机自己对目标进行建模的过程。
S204、所述无人机确定是否丢失目标。
无人机可以获取当前帧拍摄图像，随后根据所述目标的特征模型判断所述当前帧拍摄图像中是否存在与所述特征模型相匹配的区域；若否，则确定丢失所述目标。
举例来说，所述无人机可以确定所述当前帧拍摄图像中各区域对应的第一相关值，该第一相关值反应出了各区域与目标的相关程度，其值比如可以是0-1之间的一个实数。比如，无人机可以通过相关滤波算法确定当前拍摄图像中各区域对应的第一相关值。在这里，通过相关滤波算法来计算相关值的过程与现有技术相同，此处不再赘述。
之后，由于上述第一相关值反应出了各区域与目标的相关程度，因此，无人机可以将第一相关值中的最大值所对应的区域，也就是与目标最为相似的区域确定为相关区域。
然而，正如前文，由于拍摄角度、实际的地形环境等因素的影响，此时确定的相关区域并不一定就是目标，因此还需要获取所述相关区域的特征模型；判断所述目标的特征模型与所述相关区域的特征模型是否一致；若不一致，则确定丢失所述目标。
举例来说，无人机可以提取相关区域的HOG和颜色直方图，分析获得的相关区域的HOG特征该相关区域是否与目标的HOG特征一致，但仅分析HOG特征有可能会造成误判，因此，无人机可以进一步分析相关区域的颜色直方图。例如，无人机可以判断相关区域的颜色直方图与目标的颜色直方图是否一致，若一致，则无人机可以确定未丢失目标并相关区域作为目标；若不一致，则无人机确定丢失目标。这里，通过对进一步用目标的颜色直方图来验证候选目标，从而更准确地确定目标是否丢失。
若确定目标丢失，则该方法继续进入下一个步骤；若确定目标没有丢失，那么该 方法流程结束，无人机继续追踪目标。
S205、无人机获取第一帧图像。
上述步骤S205与上一实施例中描述的步骤S102类似，此处不再赘述。
在本发明的其他实施例中，在步骤S205之前，还可以包括控制所述无人机悬停的步骤。这样可以保证背景的一致性，从而能够更快速地将前景提取出来。
S206、无人机获取第N帧图像，其中N为大于0的整数。
上述步骤S206与上一实施例中描述的步骤S103类似，此处不再赘述。
S207、无人机根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域。
在本发明的一实施例中，无人机可以通过下面的三个步骤来确定是否存在候选区域：
1)无人机获取所述第一帧图像的颜色特征图。
无人机可以记录第一帧图像，并用预设种类的颜色所对应的预设像素区间，量化第一帧图像中各像素点的像素值，以获取第一特征图像，该第一特征图像表示第一帧图像的颜色特征图，其通过预设种类的颜色表示第一帧图像。
2)无人机获取所述第N帧图像的颜色特征图。
无人机可以记录第N帧图像，并用预设种类的颜色所对应的预设像素区间，量化第N帧图像中各像素点的像素值，以获取第二特征图像，该第二特征图像表示第N帧图像的颜色特征图，其通过预设种类的颜色表示第N帧图像。
以彩色图像(color name)为例，上述两个步骤旨在用特征图像来表示无人机记录的图像。比如，color name图可以将图像用特定的11种颜色来表示，这11种颜色分别为：黑色(black)，蓝色(blue)，褐色(brown)，灰色(grey)，绿色(green)，橙色(orange)，粉色(pink)，紫色(purple)，红色(red)，白色(white)以及黄色(yellow)。其中，每个颜色都有其对应的R、G、B分量表示，比如，以红色为例，其对应的R、G、B为R＝255，G＝0，B＝0；对于绿色，其对应的R、G、B为R＝0，G＝255，B＝0。由于此处需要用这11种颜色来量化第一帧图像，因此，可以为每种预设颜色设定像素区间，比如，虽然红色对应的R＝255，G＝0，B＝0，但是，可以预设像素区间为，R＝[240-255]，G＝[0-10]，B＝[0-10]，也就是说，凡是R、G、B分量落在上述预设像素区间内的像素点，都可以被对应成11种预设颜色中的红色。
由于所述第一帧图像中各像素点的像素值都可以用R、G、B三个分量来表示，因此，可以根据第一帧图像中各像素点的像素值，将其各像素点对应到上述11种预设颜 色中的相应颜色。这样，就可以得到第一特征图像，也就是通过这11种颜色表示的第一帧图像。从直观的角度来看，原本的第一帧图像可能是一张包含了各种色彩的图像，而经过了量化之后，其最多只包括上述11种颜色。
对于第N帧图像可以做类似处理，得到第二特征图像。
3)比较所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图，若所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图之间存在差异符合预设条件的区域，则将差异符合所述预设条件的区域作为所述候选区域。
比如，无人机可以对比第一特征图像和第二特征图像，若第一特征图像和第二特征图像之间不存在差异符合预设条件的区域，则无人机确定不存在候选区域；否则，无人机确定将差异符合预设条件的区域作为候选区域。
对于此步骤，仍以上述color name图为例，无人机可以为这11种颜色分别编号，比如分别编号为1-11，黑色对应为1，蓝色为2，以前述的11种颜色的顺序依次累加编号。当然，这里并不限制具体的编号值，只需要能够将编号与颜色一一对应即可。
之后，无人机可以按照编号，对第一特征图像和第二特征图像进行标记。由于第一特征图像和第二特征图像都是已经用上述11种颜色表示了的图像，因此，这里根据这11种颜色对应的编号，在对应的颜色处记录编号作为标记。
然后，无人机可以做帧差，也就是将第一特征图像和第二特征图像对应位置处的标记相减，比如，在相同的位置处，第一特征图像中的标记为2，而第二特征图像中的标记也为2，那么此时，该对应位置处的标记的差值为0，则反映出该位置处两张图像是相同的，而如果有另一位置处，第一特征图像中的标记为2，而第二特征图像中的标记也为8，此时该对应位置处的标记的差值为6，于是可以用差值6去跟预设的第一预设阈值做比较，这里的第一预设阈值可以是预先设定，比如若该值为3，那么表明该位置在当前帧和第N帧之间具有明显差异，这有可能就是因为目标重新处于未被遮挡状态造成的，故此时可以将该位置记录下来。如此操作，直到把两张特征图像上所有对应位置处的标记全部都做了差值，若差值全部都小于第一预设阈值，则无人机确定不存在候选区域，即两张图不存在差异符合预期的区域；否则，无人机可以将差值不小于第一预设阈值的对应位置所组成的区域作为候选区域。也就是说，无人机可以将差值不小于第一预设阈值的对应位置，也就是变化明显的位置，连通起来组成候选区域。
图4和图5分别示出了第一特征图像和第二特征图像的示例，图6则为对图4和图5所示的特征图像进行差分之后的图像，可以看出，其中白色方框标识出来的即为 目标。
S208、无人机根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。
无人机可以获取所述候选区域的特征模型；判断所述目标的特征模型与所述候选区域的特征模型是否一致；若是，则确定所述第N帧图像包含所述目标。
比如，无人机可以获取候选区域的HOG特征和颜色直方图，此处获取候选区域的HOG特征和颜色直方图可以与步骤S203中获取目标的HOG特征和颜色直方图一样，在此不再赘述。如果有多个候选区域，则分别获取每个候选区域的HOG特征和颜色直方图。
然后，无人机可以比较候选区域的HOG特征和颜色直方图与目标的HOG特征和颜色直方图，若一致，则确定所述第N帧图像包含所述目标。
在一些实施例中，由于这里进行了目标的再检测，该再检测得到的目标可能发生了一些变化，因此，无人机可以以再检测得到的目标作为新的目标进行追踪，并如步骤S203所述重新获得目标的特征模型，以便更好的追踪目标。
采用本发明实施例提供的方法，可以在目标丢失时，通过不断地综合分析第一帧图像以及第N帧图像，确定出目标。由于是对第一帧图像以及第N帧图像的综合分析，并将其分别量化成了第一特征图像和第二特征图像，从而在比对时仅需简单相减即可得到图像之间的差异，因此，相比于现有技术中对每帧图像进行分析的方法来说，本发明提供的再检测方法效率更高。
图7为本发明一种目标检测装置其中一实施例的结构示意图。如图7所示，该目标检测装置40用于无人机，其包括：获取模块400以及确定模块410。
获取模块400，用于获取目标图像，并根据所述目标图像获取所述目标的特征模型；
确定模块410，用于确定是否丢失所述目标；
所述获取模块400还用于若确定丢失所述目标，则获取当前拍摄的第一帧图像；获取第一帧图像之后拍摄的第N帧图像，其中N为大于0的整数；根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域；
所述确定模块410还用于根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。
在一些实施例中，所述目标的特征模型包括：所述目标的全局特征信息以及颜色 特征信息。
在一些实施例中，所述全局特征信息包括所述目标的HOG。
在一些实施例中，所述颜色特征信息包括所述目标的颜色直方图。
在一些实施例中，所述确定模块410具体用于：获取当前帧拍摄图像；根据所述目标的特征模型判断所述当前帧拍摄图像中是否存在与所述特征模型相匹配的区域；若否，则确定丢失所述目标。
在一些实施例中，所述确定模块410具体用于：确定所述当前帧拍摄图像中各区域对应的第一相关值；将所述第一相关值中的最大值对应的区域确定为相关区域；获取所述相关区域的特征模型；判断所述目标的特征模型与所述相关区域的特征模型是否一致；若不一致，则确定丢失所述目标。
在一些实施例中，所述获取模块400具体用于：获取所述第一帧图像的颜色特征图；获取所述第N帧图像的颜色特征图；比较所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图，若所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图之间存在差异符合预设条件的区域，则将差异符合所述预设条件的区域作为所述候选区域。
在一些实施例中，所述确定模块410具体用于：获取所述候选区域的特征模型；判断所述目标的特征模型与所述候选区域的特征模型是否一致；若是，则确定所述第N帧图像包含所述目标。
采用本发明实施例提供的方法，可以在目标丢失时，通过不断地综合分析第一帧图像以及第N帧图像，确定出目标。由于是对第一帧图像以及第N帧图像的综合分析，并将其分别量化成了第一特征图像和第二特征图像，从而在比对时仅需简单相减即可得到图像之间的差异，因此，相比于现有技术中对每帧图像进行分析的方法来说，本发明提供的再检测方法效率更高。
图8为本发明一种目标检测装置其中一实施例的结构示意图。如图8所示，该目标检测装置50用于无人机，其包括：获取模块500、确定模块510以及控制模块520。其中，获取模块500与确定模块510分别与图7中示出的获取模块400与确定模块410类似，此处不再赘述。
控制模块520用于：控制所述无人机悬停。
在一些实施例中，所述控制模块520还用于控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
采用本发明实施例提供的方法，可以在目标丢失时，通过不断地综合分析第一帧图像以及第N帧图像，确定出目标。由于是对第一帧图像以及第N帧图像的综合分析，并将其分别量化成了第一特征图像和第二特征图像，从而在比对时仅需简单相减即可得到图像之间的差异，因此，相比于现有技术中对每帧图像进行分析的方法来说，本发明提供的再检测方法效率更高。
图9为本发明一种无人机其中一实施例的结构示意图。如图9所示，该无人机60包括：机身600以及处理器610。
所述处理器610被配置为：获取目标图像，并根据所述目标图像获取所述目标的特征模型；确定是否丢失所述目标；若确定丢失所述目标，则：获取当前拍摄的第一帧图像；获取第一帧图像之后拍摄的第N帧图像，其中N为大于0的整数；根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域；根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。
在一些实施例中，所述目标的特征模型包括：所述目标的全局特征信息以及颜色特征信息。
在一些实施例中，所述全局特征信息包括所述目标的HOG。
在一些实施例中，所述颜色特征信息包括所述目标的颜色直方图。
在一些实施例中，所述处理器610被配置为：获取当前帧拍摄图像；根据所述目标的特征模型判断所述当前帧拍摄图像中是否存在与所述特征模型相匹配的区域；若否，则确定丢失所述目标。
在一些实施例中，所述处理器610被配置为：确定所述当前帧拍摄图像中各区域对应的第一相关值；将所述第一相关值中的最大值对应的区域确定为相关区域；获取所述相关区域的特征模型；判断所述目标的特征模型与所述相关区域的特征模型是否一致；若不一致，则确定丢失所述目标。
在一些实施例中，所述处理器610被配置为：获取所述第一帧图像的颜色特征图；获取所述第N帧图像的颜色特征图；比较所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图，若所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图之间存在差异符合预设条件的区域，则将差异符合所述预设条件的区域作为所述候选区域。
在一些实施例中，所述处理器610被配置为：获取所述候选区域的特征模型；判断所述目标的特征模型与所述候选区域的特征模型是否一致；若是，则确定所述第N 帧图像包含所述目标。
在一些实施例中，所述处理器610被配置为：控制所述无人机悬停。
在一些实施例中，所述处理器610被配置为：控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
采用本发明实施例提供的无人机，可以在目标丢失时，通过不断地综合分析第一帧图像以及第N帧图像，确定出目标。由于是对第一帧图像以及第N帧图像的综合分析，并将其分别量化成了第一特征图像和第二特征图像，从而在比对时仅需简单相减即可得到图像之间的差异，因此，相比于现有技术中对每帧图像进行分析的方法来说，本发明提供的再检测方法效率更高。
以上具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (31)

  1. 一种目标检测方法，用于无人机，其特征在于，所述方法包括：
    获取目标图像，并根据所述目标图像获取所述目标的特征模型；
    确定是否丢失所述目标；
    若确定丢失所述目标，则：
    获取当前拍摄的第一帧图像；
    获取第一帧图像之后拍摄的第N帧图像，其中N为大于0的整数；
    根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域；
    根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。
  2. 根据权利要求1所述的方法，其特征在于，所述目标的特征模型包括：所述目标的全局特征信息以及颜色特征信息。
  3. 根据权利要求2所述的方法，其特征在于，所述全局特征信息包括所述目标的方向梯度直方图HOG。
  4. 根据权利要求2或3所述的方法，其特征在于，所述颜色特征信息包括所述目标的颜色直方图。
  5. 根据权利要求1-4中任一项所述的方法，其特征在于，所述确定是否丢失目标，包括：
    获取当前帧拍摄图像；
    根据所述目标的特征模型判断所述当前帧拍摄图像中是否存在与所述特征模型相匹配的区域；
    若否，则确定丢失所述目标。
  6. 根据权利要求5所述的方法，其特征在于，所述根据所述目标的特征模型判断所述拍摄图像中是否存在与所述特征模型相匹配的区域，包括：
    确定所述当前帧拍摄图像中各区域对应的第一相关值；
    将所述第一相关值中的最大值对应的区域确定为相关区域；
    获取所述相关区域的特征模型；
    判断所述目标的特征模型与所述相关区域的特征模型是否一致；
    若不一致，则确定丢失所述目标。
  7. 根据权利要求1-6中任一项所述的方法，其特征在于，所述根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域，包括：
    获取所述第一帧图像的颜色特征图；
    获取所述第N帧图像的颜色特征图；
    比较所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图，若所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图之间存在差异符合预设条件的区域，则将差异符合所述预设条件的区域作为所述候选区域。
  8. 根据权利要求1-7中任一项所述的方法，其特征在于，所述根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标，包括：
    获取所述候选区域的特征模型；
    判断所述目标的特征模型与所述候选区域的特征模型是否一致；
    若是，则确定所述第N帧图像包含所述目标。
  9. 根据权利要求1-8中任一项所述的方法，其特征在于，该方法还包括：
    所述获取当前拍摄的第一帧图像之前控制所述无人机悬停。
  10. 根据权利要求1-9中任一项所述的方法，其特征在于，所述获取第一帧图像之后拍摄的第N帧图像包括：
    控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
  11. 一种目标检测装置，用于无人机，其特征在于，该装置包括：
    获取模块，用于获取目标图像，并根据所述目标图像获取所述目标的特征模型；
    确定模块，用于确定是否丢失所述目标；
    所述获取模块还用于：
    若确定丢失所述目标，则获取当前拍摄的第一帧图像；
    获取第一帧图像之后拍摄的第N帧图像，其中N为大于0的整数；以及
    根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域；
    所述确定模块还用于根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。
  12. 根据权利要求11所述的装置，其特征在于，所述目标的特征模型包括：所述目标的全局特征信息以及颜色特征信息。
  13. 根据权利要求12所述的装置，其特征在于，所述全局特征信息包括所述目标的方向梯度直方图HOG。
  14. 根据权利要求12或13所述的装置，其特征在于，所述颜色特征信息包括所述目标的颜色直方图。
  15. 根据权利要求11-14中任一项所述的装置，其特征在于，所述确定模块具体用于：
    获取当前帧拍摄图像；
    根据所述目标的特征模型判断所述当前帧拍摄图像中是否存在与所述特征模型相匹配的区域；
    若否，则确定丢失所述目标。
  16. 根据权利要求15所述的装置，其特征在于，所述确定模块具体用于：
    确定所述当前帧拍摄图像中各区域对应的第一相关值；
    将所述第一相关值中的最大值对应的区域确定为相关区域；
    获取所述相关区域的特征模型；
    判断所述目标的特征模型与所述相关区域的特征模型是否一致；
    若不一致，则确定丢失所述目标。
  17. 根据权利要求11-16中任一项所述的装置，其特征在于，所述获取模块具体用于：
    获取所述第一帧图像的颜色特征图；
    获取所述第N帧图像的颜色特征图；
    比较所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图，若所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图之间存在差异符合预设条件的区域，则将差异符合所述预设条件的区域作为所述候选区域。
  18. 根据权利要求11-17中任一项所述的装置，其特征在于，所述确定模块具体用于：
    获取所述候选区域的特征模型；
    判断所述目标的特征模型与所述候选区域的特征模型是否一致；
    若是，则确定所述第N帧图像包含所述目标。
  19. 根据权利要求11-18中任一项所述的装置，其特征在于，该装置还包括控制模块，所述控制模块用于：
    控制所述无人机悬停。
  20. 根据权利要求19所述的装置，其特征在于，所述控制模块还用于控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
  21. 根据权利要求11-18中任一项所述的装置，其特征在于，该装置还包括控制模块，所述控制模块用于：
    控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
  22. 一种无人机，其特征在于，包括：
    机身以及处理器；
    所述处理器用于：
    获取目标图像，并根据所述目标图像获取所述目标的特征模型；
    确定是否丢失所述目标；
    若确定丢失所述目标，则：
    获取当前拍摄的第一帧图像；
    获取第一帧图像之后拍摄的第N帧图像，其中N为大于0的整数；
    根据所述第一帧图像和所述第N帧图像获取可能包含所述目标的候选区域；
    根据所述目标的特征模型和所述候选区域确定所述第N帧图像是否包含所述目标。
  23. 根据权利要求22所述的无人机，其特征在于，所述目标的特征模型包括：所述目标的全局特征信息以及颜色特征信息。
  24. 根据权利要求23所述的无人机，其特征在于，所述全局特征信息包括所述目标的方向梯度直方图HOG。
  25. 根据权利要求23或24所述的无人机，其特征在于，所述颜色特征信息包括所述目标的颜色直方图。
  26. 根据权利要求22-25中任一项所述的无人机，其特征在于，所述处理器用于：
    获取当前帧拍摄图像；
    根据所述目标的特征模型判断所述当前帧拍摄图像中是否存在与所述特征模型相匹配的区域；
    若否，则确定丢失所述目标。
  27. 根据权利要求26所述的无人机，其特征在于，所述处理器用于：
    确定所述当前帧拍摄图像中各区域对应的第一相关值；
    将所述第一相关值中的最大值对应的区域确定为相关区域；
    获取所述相关区域的特征模型；
    判断所述目标的特征模型与所述相关区域的特征模型是否一致；
    若不一致，则确定丢失所述目标。
  28. 根据权利要求22-27中任一项所述的无人机，其特征在于，所述处理器用于：
    获取所述第一帧图像的颜色特征图；
    获取所述第N帧图像的颜色特征图；
    比较所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图，若所述第一帧图像的颜色特征图和所述第N帧图像的颜色特征图之间存在差异符合预设条件的区域，则将差异符合所述预设条件的区域作为所述候选区域。
  29. 根据权利要求22-28中任一项所述的无人机，其特征在于，所述处理器用于：
    获取所述候选区域的特征模型；
    判断所述目标的特征模型与所述候选区域的特征模型是否一致；
    若是，则确定所述第N帧图像包含所述目标。
  30. 根据权利要求22-29中任一项所述的无人机，其特征在于，所述处理器用于：
    控制所述无人机悬停。
  31. 根据权利要求22-30中任一项所述的无人机，其特征在于，所述处理器用于：
    控制所述无人机沿Z轴旋转或沿Z轴移动以获取所述第一帧图像之后拍摄的所述第N帧图像。
PCT/CN2018/073272 2018-01-18 2018-01-18 目标检测方法及无人机 WO2019140609A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2018/073272 WO2019140609A1 (zh) 2018-01-18 2018-01-18 目标检测方法及无人机
EP18725381.0A EP3534250B1 (en) 2018-01-18 2018-01-18 Target detection method and unmanned aerial vehicle
US15/986,250 US10839555B2 (en) 2018-01-18 2018-05-22 Target detection method and unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/073272 WO2019140609A1 (zh) 2018-01-18 2018-01-18 目标检测方法及无人机

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/986,250 Continuation US10839555B2 (en) 2018-01-18 2018-05-22 Target detection method and unmanned aerial vehicle

Publications (1)

Publication Number Publication Date
WO2019140609A1 true WO2019140609A1 (zh) 2019-07-25

Family

ID=67214034

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/073272 WO2019140609A1 (zh) 2018-01-18 2018-01-18 目标检测方法及无人机

Country Status (3)

Country Link
US (1) US10839555B2 (zh)
EP (1) EP3534250B1 (zh)
WO (1) WO2019140609A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781794A (zh) * 2019-10-21 2020-02-11 兰剑智能科技股份有限公司 一种智能识别的方法及系统
CN111105444B (zh) * 2019-12-31 2023-07-25 哈尔滨工程大学 一种适用于水下机器人目标抓取的连续跟踪方法
CN111339961A (zh) * 2020-02-28 2020-06-26 苏州科瓴精密机械科技有限公司 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
CN112784815B (zh) * 2021-02-19 2024-05-03 苏州科知律信息科技有限公司 一种无人机巡航目标识别方法、装置及云服务器
CN113642423B (zh) * 2021-07-28 2022-03-18 南京石知韵智能科技有限公司 一种无人机的航拍目标精准定位方法及系统
CN114937231B (zh) * 2022-07-21 2022-09-30 成都西物信安智能系统有限公司 一种目标识别跟踪的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574384A (zh) * 2014-12-26 2015-04-29 北京航天控制仪器研究所 一种基于mser和surf特征点匹配的目标丢失再捕获方法
KR20160097873A (ko) * 2015-02-10 2016-08-18 한화테크윈 주식회사 감시 및 추적 시스템
CN105957107A (zh) * 2016-04-27 2016-09-21 北京博瑞空间科技发展有限公司 行人检测与跟踪方法及装置
CN105957109A (zh) * 2016-04-29 2016-09-21 北京博瑞爱飞科技发展有限公司 目标跟踪方法和装置
CN106875419A (zh) * 2016-12-29 2017-06-20 北京理工雷科电子信息技术有限公司 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法
CN106875415A (zh) * 2016-12-29 2017-06-20 北京理工雷科电子信息技术有限公司 一种动态背景中弱小动目标的连续稳定跟踪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7999849B2 (en) * 2006-05-17 2011-08-16 The Boeing Company Moving object detection
US9869724B2 (en) 2013-07-24 2018-01-16 Rohm Co., Ltd. Power management system
JP6312508B2 (ja) 2014-04-11 2018-04-18 日立オートモティブシステムズ株式会社 電池監視装置、電池システムおよび電動車両駆動装置
WO2015192042A1 (en) * 2014-06-13 2015-12-17 Twitter, Inc. Messaging-enabled unmanned aerial vehicle
CN106651913A (zh) * 2016-11-29 2017-05-10 开易（北京）科技有限公司 基于相关滤波和颜色直方图统计的目标跟踪方法及adas系统
JP6336693B1 (ja) * 2016-12-09 2018-06-06 株式会社日立国際電気 水上侵入検知システムおよびその方法
TWI631516B (zh) * 2017-10-16 2018-08-01 緯創資通股份有限公司 可適用多重追蹤的目標追蹤方法與系統

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574384A (zh) * 2014-12-26 2015-04-29 北京航天控制仪器研究所 一种基于mser和surf特征点匹配的目标丢失再捕获方法
KR20160097873A (ko) * 2015-02-10 2016-08-18 한화테크윈 주식회사 감시 및 추적 시스템
CN105957107A (zh) * 2016-04-27 2016-09-21 北京博瑞空间科技发展有限公司 行人检测与跟踪方法及装置
CN105957109A (zh) * 2016-04-29 2016-09-21 北京博瑞爱飞科技发展有限公司 目标跟踪方法和装置
CN106875419A (zh) * 2016-12-29 2017-06-20 北京理工雷科电子信息技术有限公司 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法
CN106875415A (zh) * 2016-12-29 2017-06-20 北京理工雷科电子信息技术有限公司 一种动态背景中弱小动目标的连续稳定跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3534250A4 *

Also Published As

Publication number Publication date
EP3534250A1 (en) 2019-09-04
EP3534250B1 (en) 2021-09-15
EP3534250A4 (en) 2019-09-11
US20190221002A1 (en) 2019-07-18
US10839555B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
WO2019140609A1 (zh) 目标检测方法及无人机
TWI709109B (zh) 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法
US20220262039A1 (en) Positioning method, electronic device, and storage medium
US10217221B2 (en) Place recognition algorithm
Neves et al. An efficient omnidirectional vision system for soccer robots: From calibration to object detection
WO2016034059A1 (zh) 基于颜色-结构特征的目标对象跟踪方法
EP3427186A1 (en) Systems and methods for normalizing an image
CN112258567B (zh) 物体抓取点的视觉定位方法、装置、存储介质及电子设备
KR101491461B1 (ko) 공분산 기술자를 이용하는 물체 인식 방법 및 장치
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
US20190228209A1 (en) Lip movement capturing method and device, and storage medium
CN112052186A (zh) 目标检测方法、装置、设备以及存储介质
KR102595787B1 (ko) 전자 장치 및 그 제어 방법
CN110245641A (zh) 一种目标追踪拍摄方法、装置、电子设备
WO2015048046A1 (en) Multiview pruning of feature database for object recognition system
Pei et al. Improved Camshift object tracking algorithm in occluded scenes based on AKAZE and Kalman
Li et al. Real-time top-view people counting based on a kinect and nvidia jetson tk1 integrated platform
KR101517538B1 (ko) 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체
US11741151B1 (en) Indexing key frames for localization
WO2019223763A1 (zh) 图像检测方法、装置、设备及介质，图案化控制系统及方法
US20220366651A1 (en) Method for generating a three dimensional, 3d, model
CN110348333A (zh) 物体检测方法、装置、存储介质及电子设备
WO2022205841A1 (zh) 机器人导航方法、装置、终端设备及计算机可读存储介质
WO2019165626A1 (en) Methods and apparatus to match images using semantic features
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE