WO2018232837A1 - 移动目标的跟踪拍摄方法和跟踪设备 - Google Patents

移动目标的跟踪拍摄方法和跟踪设备 Download PDF

Info

Publication number
WO2018232837A1
WO2018232837A1 PCT/CN2017/095247 CN2017095247W WO2018232837A1 WO 2018232837 A1 WO2018232837 A1 WO 2018232837A1 CN 2017095247 W CN2017095247 W CN 2017095247W WO 2018232837 A1 WO2018232837 A1 WO 2018232837A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
target image
feature points
pixels
shooting
Prior art date
Application number
PCT/CN2017/095247
Other languages
English (en)
French (fr)
Inventor
曹维雨
陈翔
赵大川
Original Assignee
歌尔股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 歌尔股份有限公司 filed Critical 歌尔股份有限公司
Priority to US15/756,545 priority Critical patent/US10645299B2/en
Publication of WO2018232837A1 publication Critical patent/WO2018232837A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本申请实施例提供一种移动目标的跟踪拍摄方法和跟踪设备，首先预先提取每一个拍摄视角对应的模板图像的特征点，之后在匹配时只需要计算当前拍摄的目标图像的特征点，然后将目标图像的特征点与每一个拍摄视角对应的模板图像的特征点进行匹配，将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角；若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致，则移动跟踪设备对目标进行跟踪拍摄，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致，大大减少了特征点检测与匹配的计算量，提高跟踪拍摄的实时性。

Description

移动目标的跟踪拍摄方法和跟踪设备
交叉引用
本申请引用于2017年6月23日递交的名称为“移动目标的跟踪拍摄方法和跟踪设备”的第2017104882283号中国专利申请，其通过引用被全部并入本申请。
技术领域
本申请涉及视觉跟踪技术领域，尤其涉及一种移动目标的跟踪拍摄方法和跟踪设备。
背景技术
移动目标检测与跟踪在计算机视觉、模式识别等领域一直都是研究的核心技术问题。移动目标检测与跟踪的关键就在于利用计算机视觉技术、模式识别分类方法检测出视频序列图像中的运动目标，并对目标区域进行有效、稳定跟踪。例如，在智能交通系统中，可以通过对移动目标跟踪来对肇事车辆进行自动跟踪监控；在家庭智能娱乐设备中，可以控制对运动人体的自动跟踪；在军事领域中，可以对武器进行精确制导等。
现有的计算机视觉技术对移动目标对象的识别、目标对象的定位和目标对象的运动分析时，首先需要感知周围环境，获取深度信息，建立2D或3D地图，随后通过算法规划搜索出最优路线。然而对于已知目标的图像跟拍情况，要同时利用摄像机进行目标识别和环境识别并规划路径，数据计算量太大，会使处理器的资源分配不足。对于实时性要求很高的自动跟拍模式，这种路径规划方法会很有可能造成设备跟踪延迟。
发明内容
本申请实施例提供一种移动目标的跟踪拍摄方法和跟踪设备，可以提高对移动目标跟踪拍摄的实时性。
本申请实施例提供一种移动目标的跟踪拍摄方法，包括：
提取当前拍摄的目标图像的特征点；
将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配，将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像；
将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角；
若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致，则移动跟踪设备对目标进行跟踪拍摄，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
可选地，将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配之前，包括：
预先从多个拍摄视角对目标进行拍摄，得到每一个拍摄视角对应的模板图像，提取每一个拍摄视角对应的模板图像的特征点。
可选地，所述的方法还包括：
根据跟踪设备的各项拍摄参数预先设置目标图像在跟踪设备屏幕上的第一位置区域，使得目标图像位于第一位置区域中时，目标图像的拍摄效果达到最佳
将目标图像的特征点与匹配的模板图像的特征点进行比较，确定位于左上角的匹配特征点和位于右下角的匹配特征点；
将位于左上角的匹配特征点和位于右下角的匹配特征点之间的直线作为第二位置区域的对角线，确定第二位置区域，第二位置区域的形状包括四边形，将对角线的中心点作为第二位置区域的中心点，第二位置区域为目标图像在跟踪设备屏幕上的当前位置区域。
可选地，所述的方法还包括：
将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较，在确定目标图像的像素数大于像素数最大阈值时，向后移动跟踪设备，在确定目标图像的像素数小于像素数最小阈值时，向前移动跟踪设备，使得目标图像的像素数小于像素数最大阈值大于像素数最小阈值；和/或
当第二位置区域的中心点不在第一位置区域内时，移动跟踪设备，使得第二位置区域的中心点位于第一位置区域内。
本申请还提供一种跟踪设备，用于对移动目标进行跟踪拍摄，包括拍 摄目标图像的摄像头，还包括：处理器和存储器；
所述存储器用于存储支持跟踪设备执行对移动目标的跟踪拍摄方法的程序，所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行；
当所述处理器被配置为用于执行所述存储器中存储的程序时，可以执行如下步骤：
提取摄像头当前拍摄的目标图像的特征点，将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配，将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像，并将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角，若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致则给移动装置发送移动指令；以使移动装置根据移动指令移动跟踪设备对目标进行跟踪拍摄，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
本申请实施例中，为了减少图像匹配的计算量，首先预先提取每一个拍摄视角对应的模板图像的特征点，之后在匹配时只需要计算当前拍摄的目标图像的特征点，然后将目标图像的特征点与每一个拍摄视角对应的模板图像的特征点进行匹配，将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角；若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致，则移动跟踪设备对目标进行跟踪拍摄，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致，大大减少了特征点检测与匹配的计算量，提高跟踪拍摄的实时性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的移动目标的跟踪拍摄方法的流程示意图；
图2本申请之以待测点P为圆心，半径为3的圆形区域示意图；
图3本申请之以特征点为圆心，半径为3的圆形区域示意图；
图4本申请之x方向(a)和y方向(b)的Haar小波响应滤波器；
图5本申请之第一位置区域和第二位置区域示意图；
图6为图1所示实施例中步骤105的具体实现方法流程示意图；
图7为本申请一实施例提供的跟踪设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请一实施例提供的移动目标的跟踪拍摄方法流程示意图，如图1所示，包括：
100、预先从多个拍摄视角对目标进行拍摄，得到每一个拍摄视角对应的模板图像；
在现有技术中，为了确定当前拍摄的目标的拍摄视角，通常是根据时间先后顺序，对连续拍摄的图像进行特征点提取和匹配，从而确定针对移动目标的拍摄视角，这样，需要对每一张实时拍摄的图像进行特征点提取，计算量会非常大，因此会造成跟踪拍摄的滞后，实时性差。
因此，本申请实施例中，为了提高跟踪拍摄的实时性，减少图像匹配的计算量，可以预先从多个拍摄视角对目标进行拍摄，得到每一个拍摄视角对应的模板图像，例如，目标在跟踪设备的右边的拍摄视角、左边的拍摄视角和中间的拍摄视角。
表1为一种模板图像与拍摄视角之间的对应关系：
模板图像1 右边的拍摄视角
模板图像2 左边的拍摄视角
模板图像3 中间的拍摄视角
101、提取每一个拍摄视角对应的模板图像的特征点。
具体实现时，将每一个拍摄视角对应的模板图像转换成灰度图，计算灰度图上每个点的灰度值，例如采用改进的FAST算法检测特征点；如图2 所示，以待测点P为圆心，选取半径为3的圆，将圆周上的16个像素点分别用1、2、、、15、16进行标记；设待测点P的灰度值为Ip、圆上每个像素点的灰度值为Ix、灰度阈值为t、圆周上连续N个像素点组成的集合为S，其中x＝1、2、、、15、16，N＝9；
若圆周上任意一个像素点x满足条件:
Figure PCTCN2017095247-appb-000001
，或者Vx∈S，Ix＜Ip-t,则以待测点P为对称中心，将圆内的点分成对称的点对di-di’，若点对di-di’满足条件|Ip-di|＜t，|Ip-di’|＜t，则待测点P为角点，即特征点，否则不是；
若圆周上任意一个像素点x不满足条件：
Figure PCTCN2017095247-appb-000002
或者Vx∈S，Ix＜Ip-t,则选取下一个待测点。
最后将每一个拍摄视角对应的模板图像中检测到的特征点保存到对应的特征点库中。
表2为一种模板图像与特征点库之间的对应关系：
模板图像1 特征点库1
模板图像2 特征点库2
模板图像3 特征点库3
102、实时提取当前拍摄的目标图像的特征点；
在预先设置每一个拍摄视角对应的模板图像以及对应的特征点库之后，跟踪设备可以对移动目标进行跟踪拍摄，当目标移动时，为了确定当前针对目标的拍摄视角，需要对当前拍摄的目标图像进行特征点的提取，具体实现可以参考图2所示的算法检测特征点，在此不再赘述。
103、将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配，将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像；
在一种可选的实施方式中，步骤103具体实现时包括：
通过快速鲁棒特征SURF算法计算出每一个拍摄视角对应的模板图像的特征点描述子；
通过快速鲁棒特征SURF算法计算出目标图像的特征点描述子；
通过随机抽样一致RANSAC算法对目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配，剔除错误匹配的特征点描述子，确定正确匹配的特征点描述子；
将正确匹配的特征点描述子数量最多的模板图像确定为匹配特征点最多的模板图像。
需要说明的是，本申请实施例中，可以采用SURF算法计算当前拍摄的目标图像的特征点描述子和每一个拍摄视角对应的模板图像的特征点描述子，然后将目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配，因为采用SURF算法可以实现特征点提取所需时间大大缩短，从而提高特征点检测的实时性。
本实施例中，采用SURF算法建立特征点描述子的具体过程包括：
首先，计算特征点的方向，以特征点为圆心，半径为3的圆计算特征点的方向，例如以特征点为圆心，选取半径为3的圆形区域，将圆心角为
Figure PCTCN2017095247-appb-000003
的扇形绕圆心旋转，每次旋转15°，得到24个扇形区域，如图3所示；采用边长为2的滤波器，计算每个扇形区域内的每个点在x轴方向的Haar小波响应和y轴方向的Haar小波响应，如图4所示，并以特征点为中心的二阶高斯函数值对x轴方向的Haar小波响应和y轴方向的Haar小波响应分别进行加权，加权后的x轴方向的Haar小波响应和y轴方向的Haar小波响应分别作为扇形区域内的点在扇形区域内沿横坐标x轴方向的水平响应和沿纵坐标y轴方向的垂直响应；将每个扇形区域内所有点的水平响应和垂直响应分别相加，得到一个局部向量，在24个扇形区域中，长度最长的局部向量作为特征点的方向，记特征点的拍方向角为θ。
其次，建立描述子，以特征点为中心，选取9×9的区域，并分成9个3×3的子域，每个子域计算得到4个数据，产生一个36维的向量作为特征点的描述子，具体为：
1、以特征点为中心，选取9×9的区域，并分成9个3×3的子域；
2、采用边长为2的滤波器，分别计算每个子域的水平方向Haar小波响应hxi,j和垂直方向Haar小波响应hyi,j，其中i＝1,2,、、、,4，j＝1,2,、、、,9，并以特征点为中心的二阶高斯函数值分别对水平方向Haar小波响应hxi,j和垂直方向Haar小波响应hyi,j进行加权，得到加权后的水平方向Haar小波响应hXi,j和垂直方向Haar小波响应hYi,j，分别对水 平方向Haar小波响应hxi,j和垂直方向Haar小波响应hyi,j进行旋转变换，得到在特征点方向上的分量
Figure PCTCN2017095247-appb-000004
旋转变换公式分别为旋转变换公式分别为：
Figure PCTCN2017095247-appb-000005
Figure PCTCN2017095247-appb-000006
其中,w为以特征点为中心的二阶高斯权值，θ为特征点的方向角；
3、对于每个子域，分别计算出：
Figure PCTCN2017095247-appb-000007
则每个子域就产生一个4维描述向量：
Figure PCTCN2017095247-appb-000008
将9个子域产生的描述向量连接起来，得到长度为36的描述向量，即36维的描述子。
需要说明的是，本申请实施例中，采用的RANSAC算法可以通过赋予特征点匹配质量，将匹配质量组合从高到低排列，优先质量高的特征点组合计算模型的样本，而不是随机的选取，由于质量高的特征点得到正确模型的概率大，这样能够大大减少RANSAC算法的迭代次数，从而可以大大提高剔除错误特征点的速度，提高RANSAC算法的运算速度，使得特征点匹配所需时间进一步得到缩减，更加进一步提高特征点匹配的实时性。
104、将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角；
也就是说，当前拍摄的目标图像与预先设置的其中一个模板图像最匹配，则该最匹配的模板图像对应的拍摄视角为当前拍摄的目标图像的拍摄视角。
105、若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致，则移动跟踪设备对目标进行跟踪拍摄，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
需要说明的是，本申请实施例中，为了实现移动跟踪设备对目标进行跟踪拍摄，需要预先设置目标图像的拍摄效果达到最佳时在跟踪设备屏幕中的位置区域(如图5的实线框所示位置区域即为第一位置区域)以及确定当前拍摄的目标图像在跟踪设备屏幕上的当前位置区域(如图5的虚线框所示位置区域即为第二位置区域)。
其中，第一位置区域的设置包括：根据跟踪设备的各项拍摄参数预先设置目标图像在跟踪设备屏幕上的第一位置区域，使得目标图像位于第一位置区域中时，目标图像的拍摄效果达到最佳。
其中，第二位置区域的确定包括：将目标图像的特征点与匹配的模板图像的特征点进行比较，确定位于左上角的匹配特征点和位于右下角的匹配特 征点；将位于左上角的匹配特征点和位于右下角的匹配特征点之间的直线作为第二位置区域的对角线，确定第二位置区域，该第二位置区域为当前拍摄的目标图像在跟踪设备屏幕上的当前位置区域，其中，第二位置区域的形状包括但不限于四边形，并将对角线的中心点作为第二位置区域的中心点。通过上述设置的使得目标图像的拍摄效果达到最佳的第一位置区域，即可通过简单快捷的判断第二位置区域的中心是否在第一位置区域中，如果不是则简单方便的通过移动跟踪设备使得第二位置区域的中心移动到第一位置区域中，大大提高定位跟踪拍摄效率。
图6为图1所示实施例中步骤105的具体实现方法流程示意图，在实际应用中，为了达到最佳拍摄效果，所述方法还包括：
201、将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较；
可选地，步骤201之后包括步骤202或203。
202、若确定目标图像的像素数大于像素数最大阈值，则向后移动跟踪设备，使得目标图像的像素数小于像素数最大阈值；或者
203若确定目标图像的像素数小于像素数最小阈值，则向前移动跟踪设备，使得目标图像的像素数大于像素数最小阈值；
可选地，步骤202或203之后包括：
204、当第二位置区域的中心点不在第一位置区域内时，移动跟踪设备，使得第二位置区域的中心点位于第一位置区域内；
若第二位置中心点位于第一位置区域内右侧，则向右移动跟踪设备，若第二位置中心点位于第一位置区域内左侧，则向左移动跟踪设备。
205、若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致，则移动跟踪设备对目标进行跟踪拍摄，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
例如，若预设拍摄视角为针对目标的中间拍摄视角(正拍摄视角)，检测到目标右侧朝向摄像机，即当前拍摄的目标图像的拍摄视角为右边的拍摄视角，则可以对摄像头进行原地逆时针转动，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
本申请实施例中，首先采用SURF算法预先计算每一个拍摄视角对应的模板图像的特征点描述子，之后在匹配时只需要计算当前拍摄的目标图像的特 征点描述子，大大减少了实时特征点检测的计算时间，然后采用RANSAC算法将目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配，大大减少RANSAC算法的迭代次数，之后将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角；最后当判断当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致时，则移动跟踪设备对目标进行跟踪拍摄，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致，因此可以大大减少实时跟踪拍摄时图像特征点检测和匹配的计算量，可以实现特征点检测与匹配所需时间更短，提高跟踪拍摄的实时性。
图7为本申请一实施例提供的跟踪设备的结构示意图，该跟踪设备用于对移动目标进行跟踪拍摄，如图7所示，该跟踪设备具体包括拍摄目标图像的摄像头，还包括：处理器和存储器；
所述存储器用于存储支持跟踪设备执行对移动目标的跟踪拍摄方法的程序，所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行；
当所述处理器被配置为用于执行所述存储器中存储的程序时，可以执行如下步骤：
提取摄像头当前拍摄的目标图像的特征点，将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配，将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像，并将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角，若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致则给移动装置发送移动指令；以使移动装置根据移动指令移动跟踪设备对目标进行跟踪拍摄，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
可选地，本实施例中，摄像头预先从多个拍摄视角对目标进行拍摄得到对应拍摄视角的模板图像；
处理器对每一个拍摄视角对应的模板图像进行特征点的提取；
存储器中保存有每一个拍摄视角对应的模板图像以及对应的特征点。
可选地，本实施例中，当所述处理器被配置为用于执行所述存储器中存储的程序时，还可以执行如下步骤：
通过快速鲁棒特征SURF算法计算出每一个拍摄视角对应的模板图像的特征点描述子；通过快速鲁棒特征SURF算法计算出目标图像的特征点描述子； 通过随机抽样一致RANSAC算法对目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配，剔除错误匹配的特征点描述子，确定正确匹配的特征点描述子；将正确匹配的特征点描述子数量最多的模板图像确定为匹配特征点最多的模板图像。
可选地，本实施例中，所述存储器中还保存有根据跟踪设备的各项拍摄参数预先设置的目标图像在跟踪设备屏幕上的第一位置区域，其中，第一位置区域为目标图像的拍摄效果达到最佳状态的位置区域；
所述处理器将目标图像的特征点与匹配的模板图像的特征点进行比较，确定位于左上角的匹配特征点和位于右下角的匹配特征点；将位于左上角的匹配特征点和位于右下角的匹配特征点之间的直线作为第二位置区域的对角线，确定第二位置区域，第二位置区域的形状包括四边形，将对角线的中心点作为第二位置区域的中心点；第二位置区域为目标图像在跟踪设备屏幕上的当前位置区域。
可选地，本实施例中，当所述处理器被配置为用于执行所述存储器中存储的程序时，还可以执行如下步骤：
将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较，在确定目标图像的像素数大于像素数最大阈值时，给移动装置发送移动指令；以使移动装置根据移动指令向后移动跟踪设备，使得目标图像的像素数小于像素数最大阈值；和/或
将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较，在确定目标图像的像素数小于像素数最小阈值时，给移动装置发送移动指令；以使移动装置根据移动指令向前移动跟踪设备，使得目标图像的像素数大于像素数最小阈值；和/或
当第二位置区域的中心点不在第一位置区域内时，给移动装置发送移动指令；以使移动装置根据移动指令移动跟踪设备，使得第二位置区域的中心点位于第一位置区域内。
本申请实施例所述的装置可以执行图1所示的方法，其实现原理和技术效果不再赘述。
本申请实施例还提供了一种计算机存储介质，用于储存图7所示跟踪设备实现对移动目标进行跟踪拍摄所用的计算机软件指令。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明 的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

  1. 一种移动目标的跟踪拍摄方法，其特征在于，包括：
    提取当前拍摄的目标图像的特征点；
    将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配，将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像；
    将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角；
    若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致，则移动跟踪设备对目标进行跟踪拍摄，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
  2. 根据权利要求1所述的方法，其特征在于，将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配之前，包括：
    预先从多个拍摄视角对目标进行拍摄，得到每一个拍摄视角对应的模板图像，提取每一个拍摄视角对应的模板图像的特征点。
  3. 根据权利要求1或2所述的方法，其特征在于，将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配，包括：
    通过快速鲁棒特征SURF算法计算出每一个拍摄视角对应的模板图像的特征点描述子；
    通过快速鲁棒特征SURF算法计算出目标图像的特征点描述子；
    通过随机抽样一致RANSAC算法对目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配，剔除错误匹配的特征点描述子，确定正确匹配的特征点描述子；
    将正确匹配的特征点描述子数量最多的模板图像确定为匹配特征点最多的模板图像。
  4. 根据权利要求1所述的方法，其特征在于，还包括：
    根据跟踪设备的各项拍摄参数预先设置目标图像在跟踪设备屏幕上的第一位置区域，使得目标图像位于第一位置区域中时，目标图像的拍摄效果达到最佳。
  5. 根据权利要求1所述的方法，其特征在于，还包括：
    将目标图像的特征点与匹配的模板图像的特征点进行比较，确定位于左 上角的匹配特征点和位于右下角的匹配特征点；
    将位于左上角的匹配特征点和位于右下角的匹配特征点之间的直线作为第二位置区域的对角线，确定第二位置区域，第二位置区域的形状包括四边形，将对角线的中心点作为第二位置区域的中心点，第二位置区域为目标图像在跟踪设备屏幕上的当前位置区域。
  6. 根据权利要1所述的方法，其特征在于，还包括：
    将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较，在确定目标图像的像素数大于像素数最大阈值时，向后移动跟踪设备，在确定目标图像的像素数小于像素数最小阈值时，向前移动跟踪设备，使得目标图像的像素数小于像素数最大阈值大于像素数最小阈值。
  7. 根据权利要6所述的方法，其特征在于，向后或向前移动跟踪设备之后，还包括
    当第二位置区域的中心点不在第一位置区域内时，移动跟踪设备，使得第二位置区域的中心点位于第一位置区域内，若第二位置中心点位于第一位置区域内右侧，则向右移动跟踪设备，若第二位置中心点位于第一位置区域内左侧，则向左移动跟踪设备。
  8. 一种跟踪设备，用于对移动目标进行跟踪拍摄，包括拍摄目标图像的摄像头，其特征在于，还包括：处理器和存储器；
    所述存储器用于存储支持跟踪设备执行对移动目标的跟踪拍摄方法的程序，所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行；
    当所述处理器被配置为用于执行所述存储器中存储的程序时，可以执行如下步骤：
    提取摄像头当前拍摄的目标图像的特征点，将目标图像的特征点与预先提取的每一个拍摄视角对应的模板图像的特征点进行匹配，将匹配的特征点最多的模板图像确定为与目标图像匹配的模板图像，并将匹配的模板图像对应的拍摄视角确定为当前拍摄的目标图像的拍摄视角，若当前拍摄的目标图像的拍摄视角与预设的针对目标的拍摄视角不一致则给移动装置发送移动指令；以使移动装置根据移动指令移动跟踪设备对目标进行跟踪拍摄，使得针对目标的拍摄视角与预设的针对目标的拍摄视角一致。
  9. 根据权利要求8所述的设备，其特征在于：
    摄像头预先从多个拍摄视角对目标进行拍摄得到对应拍摄视角的模板图像；
    处理器对每一个拍摄视角对应的模板图像进行特征点的提取；
    存储器中保存有每一个拍摄视角对应的模板图像以及对应的特征点。
  10. 根据权利要求8或9所述的设备，其特征在于，当所述处理器被配置为用于执行所述存储器中存储的程序时，还可以执行如下步骤：
    通过快速鲁棒特征SURF算法计算出每一个拍摄视角对应的模板图像的特征点描述子；通过快速鲁棒特征SURF算法计算出目标图像的特征点描述子；通过随机抽样一致RANSAC算法对目标图像的特征点描述子与每一个拍摄视角对应的模板图像的特征点描述子进行匹配，剔除错误匹配的特征点描述子，确定正确匹配的特征点描述子；将正确匹配的特征点描述子数量最多的模板图像确定为匹配特征点最多的模板图像。
  11. 根据权利要求8所述的设备，其特征在于：
    所述存储器中还保存有根据跟踪设备的各项拍摄参数预先设置的目标图像在跟踪设备屏幕上的第一位置区域，其中，第一位置区域为目标图像的拍摄效果达到最佳状态的位置区域。
  12. 根据权利要求8所述的设备，其特征在于：
    所述处理器将目标图像的特征点与匹配的模板图像的特征点进行比较，确定位于左上角的匹配特征点和位于右下角的匹配特征点；将位于左上角的匹配特征点和位于右下角的匹配特征点之间的直线作为第二位置区域的对角线，确定第二位置区域，第二位置区域的形状包括四边形，将对角线的中心点作为第二位置区域的中心点；第二位置区域为目标图像在跟踪设备屏幕上的当前位置区域。
  13. 根据权利要求8所述的设备，其特征在于，当所述处理器被配置为用于执行所述存储器中存储的程序时，还可以执行如下步骤：
    将目标图像的像素数与预设的像素数最大阈值和像素数最小阈值进行比较，在确定目标图像的像素数大于像素数最大阈值时，给移动装置发送移动指令；以使移动装置根据移动指令向后移动跟踪设备，使得目标图像的像素数小于像素数最大阈值，在确定目标图像的像素数小于像素数最小阈值时，给移动装置发送移动指令；以使移动装置根据移动指令向前移动跟踪设备，使得目标图像的像素数小于像素数最大阈值大于像素数最小阈值。
  14. 根据权利要求13所述的设备，其特征在于，当所述处理器被配置为用于执行所述存储器中存储的程序时，还可以执行如下步骤：
    当第二位置区域的中心点不在第一位置区域内时，给移动装置发送移动指令；以使移动装置根据移动指令移动跟踪设备，使得第二位置区域的中心点位于第一位置区域内，若第二位置中心点位于第一位置区域内右侧，则向右移动跟踪设备，若第二位置中心点位于第一位置区域内左侧，则向左移动跟踪设备。
PCT/CN2017/095247 2017-06-23 2017-07-31 移动目标的跟踪拍摄方法和跟踪设备 WO2018232837A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/756,545 US10645299B2 (en) 2017-06-23 2017-07-31 Method for tracking and shooting moving target and tracking device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710488228.3 2017-06-23
CN201710488228.3A CN107330917B (zh) 2017-06-23 2017-06-23 移动目标的跟踪拍摄方法和跟踪设备

Publications (1)

Publication Number Publication Date
WO2018232837A1 true WO2018232837A1 (zh) 2018-12-27

Family

ID=60195593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/095247 WO2018232837A1 (zh) 2017-06-23 2017-07-31 移动目标的跟踪拍摄方法和跟踪设备

Country Status (3)

Country Link
US (1) US10645299B2 (zh)
CN (1) CN107330917B (zh)
WO (1) WO2018232837A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111917989A (zh) * 2020-09-15 2020-11-10 苏州臻迪智能科技有限公司 一种视频拍摄方法及装置
CN112749722A (zh) * 2019-10-31 2021-05-04 深圳云天励飞技术有限公司 一种模型分发管理方法及其相关产品
CN113985830A (zh) * 2021-11-08 2022-01-28 武汉逸飞激光股份有限公司 密封钉的上料控制方法、装置、电子设备及存储介质
EP3972238A4 (en) * 2019-05-16 2023-10-25 Canon Kabushiki Kaisha ARRANGEMENT DETERMINATION APPARATUS, SYSTEM, ARRANGEMENT DETERMINATION METHOD AND PROGRAM

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074657B (zh) * 2018-07-18 2022-04-08 达闼机器人有限公司 一种目标跟踪方法、装置、电子设备和可读存储介质
CN110881117A (zh) * 2018-09-06 2020-03-13 杭州海康威视数字技术股份有限公司 一种画面间区域映射方法、装置及多相机观测系统
CN109788191A (zh) * 2018-12-21 2019-05-21 中国科学院自动化研究所南京人工智能芯片创新研究院 拍照方法、装置、计算机设备和存储介质
CN110097586B (zh) * 2019-04-30 2023-05-30 青岛海信网络科技股份有限公司 一种人脸检测追踪方法及装置
CN110213566B (zh) * 2019-05-20 2021-06-01 歌尔光学科技有限公司 图像匹配方法、装置、设备及计算机可读存储介质
CN110633612B (zh) * 2019-11-20 2020-09-11 中通服创立信息科技有限责任公司 一种巡检机器人的监控方法及系统
CN111626978B (zh) * 2019-12-24 2023-05-09 西安元智系统技术有限责任公司 一种基于特征点的文物裂隙监测方法
CN111275739B (zh) * 2020-01-19 2023-05-05 广东工业大学 一种自动追踪装置和方法
CN112487946A (zh) * 2020-11-26 2021-03-12 努比亚技术有限公司 一种人体运动目标移除方法及装置、移动终端及存储介质
CN112929567B (zh) * 2021-01-27 2023-04-28 咪咕音乐有限公司 拍摄位置的确定方法、电子设备和存储介质
CN112926593A (zh) * 2021-02-20 2021-06-08 温州大学 一种用于动态图像增强呈现中的图像特征处理方法及装置
CN113079320B (zh) * 2021-04-13 2022-03-11 浙江科技学院 一种基于全身镜的分段式多功能摄像方法
CN113190455A (zh) * 2021-05-13 2021-07-30 统信软件技术有限公司 一种元素定位方法及计算设备
CN113408465B (zh) * 2021-06-30 2022-08-26 平安国际智慧城市科技股份有限公司 身份识别方法、装置及相关设备
CN113610134B (zh) * 2021-07-29 2024-02-23 Oppo广东移动通信有限公司 一种图像特征点匹配方法、装置、芯片、终端和存储介质
CN113837246B (zh) * 2021-09-06 2022-12-27 广州极飞科技股份有限公司 图像的匹配方法及其匹配装置、无人设备
CN113807224B (zh) * 2021-09-07 2023-11-21 金华市浙工大创新联合研究院 一种工厂违规行为检测跟踪方法
CN114173060A (zh) * 2021-12-10 2022-03-11 北京瞰瞰智能科技有限公司 智能移动拍摄方法、装置以及控制器
CN114689030A (zh) * 2022-06-01 2022-07-01 中国兵器装备集团自动化研究所有限公司 一种基于机载视觉的无人机辅助定位方法及系统
CN115100144B (zh) * 2022-06-23 2023-04-07 常州市新创智能科技有限公司 一种玻纤布生产过程中的碎屑检测方法及装置
CN116723402A (zh) * 2023-05-26 2023-09-08 江西省宏旺科技有限公司 视频监控方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
CN1477599A (zh) * 2002-08-23 2004-02-25 英业达股份有限公司 移动物体的聚焦方法
CN102663777A (zh) * 2012-04-26 2012-09-12 安科智慧城市技术（中国）有限公司 基于多视点视频的目标跟踪方法及系统
CN102929288A (zh) * 2012-08-23 2013-02-13 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829384B2 (en) * 2001-02-28 2004-12-07 Carnegie Mellon University Object finder for photographic images
US8238612B2 (en) * 2008-05-06 2012-08-07 Honeywell International Inc. Method and apparatus for vision based motion determination
WO2013071981A1 (en) * 2011-11-18 2013-05-23 Metaio Gmbh Method of matching image features with reference features and integrated circuit therefor
WO2013086475A1 (en) * 2011-12-08 2013-06-13 Cornell University System and methods for world-scale camera pose estimation
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
US9317921B2 (en) * 2014-07-10 2016-04-19 Qualcomm Incorporated Speed-up template matching using peripheral information
US10237477B2 (en) * 2017-05-22 2019-03-19 Fyusion, Inc. Loop closure

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
CN1477599A (zh) * 2002-08-23 2004-02-25 英业达股份有限公司 移动物体的聚焦方法
CN102663777A (zh) * 2012-04-26 2012-09-12 安科智慧城市技术（中国）有限公司 基于多视点视频的目标跟踪方法及系统
CN102929288A (zh) * 2012-08-23 2013-02-13 山东电力集团公司电力科学研究院 基于视觉伺服的输电线路无人机巡检云台控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TONG, RUQIANG ET AL.: "SURF Algorithm and Its Detection Effect on Object Tracking", JOURNAL OF SOUTHWEST UNIVERSITY OF SCIENCE AND TECHNOLOGY, vol. 26, no. 3, 30 September 2011 (2011-09-30) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3972238A4 (en) * 2019-05-16 2023-10-25 Canon Kabushiki Kaisha ARRANGEMENT DETERMINATION APPARATUS, SYSTEM, ARRANGEMENT DETERMINATION METHOD AND PROGRAM
CN112749722A (zh) * 2019-10-31 2021-05-04 深圳云天励飞技术有限公司 一种模型分发管理方法及其相关产品
CN112749722B (zh) * 2019-10-31 2023-11-17 深圳云天励飞技术有限公司 一种模型分发管理方法及其相关产品
CN111917989A (zh) * 2020-09-15 2020-11-10 苏州臻迪智能科技有限公司 一种视频拍摄方法及装置
CN113985830A (zh) * 2021-11-08 2022-01-28 武汉逸飞激光股份有限公司 密封钉的上料控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US10645299B2 (en) 2020-05-05
CN107330917B (zh) 2019-06-25
US20190281224A1 (en) 2019-09-12
CN107330917A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
WO2018232837A1 (zh) 移动目标的跟踪拍摄方法和跟踪设备
US20240064391A1 (en) Methods for refining rgbd camera poses
US11164323B2 (en) Method for obtaining image tracking points and device and storage medium thereof
WO2019119328A1 (zh) 一种基于视觉的定位方法及飞行器
WO2020151750A1 (zh) 图像处理方法及装置
CN106570913B (zh) 基于特征的单目slam快速初始化方法
CN110675426B (zh) 人体跟踪方法、装置、设备及存储介质
CN109981972B (zh) 一种机器人的目标跟踪方法、机器人及存储介质
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
WO2019041660A1 (zh) 人脸去模糊方法及装置
WO2019033575A1 (zh) 电子装置、人脸追踪的方法、系统及存储介质
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
US11062521B2 (en) Virtuality-reality overlapping method and system
JP2016500890A (ja) 並列化可能なアーキテクチャ内の画像を使用して、サーフェルの局所的なジオメトリまたは面法線を初期化し、解くための方法
US10242453B2 (en) Simultaneous localization and mapping initialization
CN103617631A (zh) 一种基于中心检测的跟踪方法
Sokolova et al. Human identification by gait from event-based camera
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
CN110120090B (zh) 三维全景模型构建方法、装置及可读存储介质
CN109741370B (zh) 一种目标跟踪方法和装置
CN113610967B (zh) 三维点检测的方法、装置、电子设备及存储介质
CN115953471A (zh) 室内场景多尺度矢量图像检索与定位方法、系统及介质
US20230419605A1 (en) Map generation apparatus, map generation method, and non-transitory computer-readable medium storing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17914410

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17914410

Country of ref document: EP

Kind code of ref document: A1