WO2019205103A1 - 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机 - Google Patents

云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机 Download PDF

Info

Publication number
WO2019205103A1
WO2019205103A1 PCT/CN2018/084912 CN2018084912W WO2019205103A1 WO 2019205103 A1 WO2019205103 A1 WO 2019205103A1 CN 2018084912 W CN2018084912 W CN 2018084912W WO 2019205103 A1 WO2019205103 A1 WO 2019205103A1
Authority
WO
WIPO (PCT)
Prior art keywords
pan
tilt
posture
image data
gimbal
Prior art date
Application number
PCT/CN2018/084912
Other languages
English (en)
French (fr)
Inventor
伊星星
许文
李兵
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201880013975.4A priority Critical patent/CN110382358A/zh
Priority to PCT/CN2018/084912 priority patent/WO2019205103A1/zh
Publication of WO2019205103A1 publication Critical patent/WO2019205103A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the embodiment of the invention provides a PTZ attitude correction method, a PTZ attitude correction device, a PTZ, a PTZ system and a UAV, which can correct the attitude error caused by the drift of the PTZ attitude sensor, and can improve the user experience.
  • a PTZ attitude correction method which corrects a posture of a PTZ according to image data acquired by a photographing device mounted on the PTZ, and includes: acquiring the image data a line sub-set of straight lines parallel to each other; calculating an observation posture of the pan/tilt according to the line sub-set; and correcting a current posture of the gimbal according to the observation posture.
  • the pan/tilt head 101 and the photographing device 102 may not be mounted on the drone 100, but may be used separately, such as a handheld pan/tilt or a pan/tilt head (not shown).
  • the present invention does not limit the specific application scenarios of the pan/tilt head 101 and the photographing device 102.
  • straight line subset of straight lines that are parallel to each other is extracted from the set of straight lines, and any algorithm existing or capable of performing similar functions may be used.
  • a line sub-set of vertical lines parallel to each other is extracted from the set of straight lines according to a vertical line feature.
  • step S4001 a linear subset of straight lines parallel to each other in the image data is acquired.
  • it can be implemented in the same manner as step S3001 of the first embodiment, and details are not described herein again.
  • the method for obtaining the vertical line set in the line subset is the same as that in the previous embodiment, and details are not described herein again.
  • the roll direction is calculated only by calculating the angle between the vertical lines in the image.
  • the roll angle allows the current observation pose to be calculated with a low amount of calculation.
  • the third embodiment is different from the second embodiment in that step S5002 is used instead of step S4002 in the second embodiment.
  • step S50021 it is determined that the pan/tilt is in a horizontal state in the pitch direction. In the case where the pan/tilt is in the horizontal state in the pitch direction, the process proceeds to step S50023, and otherwise proceeds to step S50022.
  • the photographing device 102 by introducing the information of the main camera (the photographing device 102), by first prejudge the current pitch direction posture of the gimbal, only the image is calculated by determining that the pan tilt is in the horizontal state in the pitch direction.
  • the angle of the vertical line is calculated as the roll angle in the roll direction.
  • the observation attitude of the pan/tilt is calculated according to the position of the shadow point, so that the current calculation can be calculated with good calculation and calculation accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种云台姿态修正装置及其修正方法，根据云台(101)搭载的拍摄设备(102)获取的图像数据对云台(101)的姿态进行修正，修正装置包括存储器和处理器，修正方法包括：获取所述图像数据中的相互平行的直线的直线子集合(S3001)；根据所述直线子集合计算出所述云台(101)的观测姿态(S3002)；根据所述观测姿态对所述云台(101)的当前姿态进行修正(S3003)，所述修正装置和修正方法用于无人机(100)及其云台系统。

Description

云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机 技术领域
本发明实施例涉及云台领域，尤其涉及一种云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机。
背景技术
目前，云台常被用作在移动设备如无人机、手持杆上稳定相机等拍摄设备。以常见的三轴云台为例，其可以通过在Yaw轴(偏航轴)、Pitch轴(俯仰轴)和Roll轴(横滚轴)三个轴上所设置的电机来实现三个方向的主动增稳，并且在负载设备(如云台搭载的相机)上设置有姿态传感器以实时获取负载设备的在Yaw、Pitch、Roll方向上的姿态。云台在追求小型化且应用于价格敏感的消费级产品时，往往使用的姿态传感器为MEMS惯性器件。MEMS惯性器件一般由于其本身实现方式，存在着较大的漂移率，会导致感测结果出现漂移量，且该漂移量会随着时间的增加而累积。因此当时间稍长时，姿态传感系统的测量都将会产生漂移量，尤其是roll轴的漂移量，因roll方向上发生偏转将会导致用户感觉画面整体发生旋转，而体现更为明显，影响用户体验。
发明内容
本发明实施例提供一种云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机，能够修正云台姿态传感器的漂移造成的姿态误差，可以提高用户体验。
本发明的第一方面，提供一种云台姿态修正方法，根据所述云台搭载的拍摄设备获取的图像数据对云台的姿态进行修正，其特征在于，包括：获取所述图像数据中的相互平行的直线的直线子集合；根据所述直线子集合计算出所述云台的观测姿态；根据所述观测姿态对所述云台的当前姿态 进行修正。
本发明的第二方面，提供一种云台姿态修正装置，根据所述云台搭载的拍摄设备获取的图像数据对云台的姿态进行修正，其特征在于，包括：存储器，存储用于控制云台姿态修正装置的指令集；和一个或多个处理器，其被配置成根据所述存储器存储的指令集执行如下处理：获取所述图像数据中的相互平行的直线的直线子集合；根据所述直线子集合计算出所述云台的观测姿态；根据所述观测姿态对所述云台的当前姿态进行修正。
本发明的第三方面，提供一种云台，具备上述的云台姿态修正装置。
本发明的第四方面，提供一种云台系统，具有上述的云台和搭载于所述云台的所述拍摄设备。
本发明的第五方面，提供一种无人机，搭载有上述的云台系统。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图进行简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是表示本发明实施例提供的云台的应用场景的示例的图。
图2是用于对消影点的概念进行说明的图。
图3是表示本发明实施例的云台姿态修正方法的第一实施例的流程图。
图4是表示本发明实施例的云台姿态修正方法的第二实施例的流程图。
图5是用于对步骤S4002进行说明的流程图。
图6是用于说明步骤S4002中的计算的示意图。
图7是表示本发明实施例的云台姿态修正方法的第三实施例中的步骤S5002的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
为了便于理解本发明，首先对本发明的主要思路以及方案中涉及的一些背景技术进行说明。
本发明的主要技术思路即是在于利用空间中的平行直线在相机图像(例如云台上设置的主相机所获取的图像)中所成的像来对云台的姿态进行修正。具体来说，通过引入主相机(搭载于云台的拍摄设备，也可以是集成于云台的拍摄设备)信息，使用图像消影点特征获取云台的roll轴和pitch轴角度、或者使用竖直线特征获取云台的roll轴角度，从而引入新的观测姿态信息，与云台本身目前姿态信息(可以是通过云台上设置的IMU数据计算得到的姿态信息)进行融合，以减小云台roll轴和pitch轴的漂移，从而提高云台姿态控制的准确性，提高用户使用体验。在一些实施例中，本发明将利用空间中平行直线在图像画面中所成的像对应的消影点来对云台姿态进行修正；在另一些实施例中，本发明将直接利用空间中平行直线所成的像来对云台姿态进行修正而不经过消影点计算过程；在再另外的一些实施例中，本发明将上述两种修正方式组合使用。
首先，对本发明实施例提供的云台的应用场景进行说明。
图1是表示本发明一些实施例提供的云台的应用场景的示例的图。无 人机100例如可以是多轴无人机、固定翼无人机或者垂直起降式的无人机的任何一种，图中以多轴无人机为例进行说明，包括云台101和拍摄设备102。无人机100自主或在未图示的控制终端的控制下飞行，并由无人机100上搭载的拍摄设备102对目标110进行拍摄。云台101与无人机100相连，用于搭载拍摄设备102。这里，为了便于理解，目标110在该图中描绘成例如公路等包含平行的直线的对象，但本发明并非限定于此。
在本发明另一些实施例中，云台101和拍摄设备102也可以不搭载于无人机100上，而单独进行使用，例如手持云台或摄影云台(图未示)。本发明对云台101和拍摄设备102的具体应用场景并不作限制。
可以理解的是，云台101搭载拍摄设备102，可以包括拍摄设备102集成于或可拆卸地连接于云台101上(例如可更换镜头的云台相机)的情况，也可以包括拍摄设备102承载于云台101上并与云台101通信连接(例如手机云台)的情况，此处并不做限制。云台具有多个能够转动的轴，可以在各个方向上转动，从而调整拍摄设备102的拍摄方向。本发明实施例中，云台至少包括俯仰轴和横滚轴，可以使云台在俯仰方向和横滚方向上运动，云台101的观测姿态至少包括云台101的俯仰角度和横滚角度。
拍摄设备102搭载于云台101，用于对目标进行拍摄。拍摄设备102可以是各种类型的拍摄设备，例如可以拍摄高清图像的相机、拍摄连续视频的摄像机、拍摄红外图像的夜视仪等。
以下，以三个实施例为例对本发明的实施例具体进行说明。
第一实施例
以下，对使用图像消影点特征获取云台的roll轴和pitch轴角度的第一实施例进行说明。
图2是用于对消影点的概念进行说明的图。在相机成像的透视投影过程中，三维空间中平行的直线(如相互平行的铁轨、道路边缘、或者建筑物边缘线等)在相机的成像画面中相交于一点，此点即为消影点。图2中标出了2个作为示例的消影点v 1和v 2。在透视投影中，消影点的位置取决于三维空间中平行直线方向与成像平面，因此根据相机与三维空间中平行线的相对位置关系的变化，消影点在成像平面中的位置也会随之改变。
图3是表示本发明实施例的云台姿态修正方法的第一实施例的流程图。第一实施例的云台姿态修正方法，可以通过由云台101中搭载的控制器、拍摄设备102搭载的控制器、无人机100搭载的控制器、或者未图示的控制终端等中的控制器执行其能访问的存储器中存储的描述该方法的程序来实现，从而对云台的姿态进行修正。本发明实施例的云台姿态修正方法，根据所述云台101搭载的拍摄设备102获取的图像数据对云台的姿态进行修正，包括如下步骤：
在步骤S3001，获取所述图像数据中的相互平行的直线的直线子集合；
在步骤S3002，根据所述直线子集合计算出所述云台的观测姿态；
在步骤S3003，根据所述观测姿态对所述云台的当前姿态进行修正。
这里，在步骤S3001中，相互平行的直线指的是在三维空间，或者说被拍摄物体中的相互平行的直线，例如相互平行的铁轨、道路边缘或者建筑物边缘线等。而所述相互平行的直线的直线子集合，这里的直线子集合指的是所述相互平行的直线在成像画面中所对应的直线，即直线子集合是图像数据中的一组直线。获取所述图像数据中的相互平行的直线的直线子集合，可以使用现有或者可以实现类似功能的任何算法。具体地，可以首先获取所述图像数据中的直线集合，之后从所述直线集合中提取出所述相互平行的直线的直线子集合；在从所述直线集合中提取出所述相互平行的直线的直线子集合时，如前所述，由于相互平行的直线在图像中会相交于消影点，因此可以据此特征进行相互平行的直线的筛选，即相交于同一个点的一组直线可以认为是相互平行的直线，具体的计算过程将在后述消影点计算过程中做出进一步阐述。
其中，取所述图像数据中的直线集合，可以使用现有或者可以实现类似功能的任何算法。作为一个具体例，通过对所述图像数据进行边缘算子运算来检测被拍摄体的边缘，并对所述边缘进行直线拟合以获取所述图像数据中直线集合，这里的在图像数据处理中的边缘算子，包括且不限于Sobel算子、Roberts算子、Prewitt算子。
而作为对所述边缘进行直线拟合的一个具体例，可以通过霍夫变换对所述边缘进行直线拟合。
另外，所述从所述直线集合中提取出相互平行的直线的直线子集合， 可以使用现有或者可以实现类似功能的任何算法。作为一个具体例，根据竖直线特征从所述直线集合中提取出相互平行的竖直直线的直线子集合。
这里，作为竖直线特征，可以使用任何能够表明直线为竖直线的几何特征或数学特征。作为一例，所述竖直线特征包括对应于三维空间中的竖直线(如建筑物的竖直边缘等)在图像数据中对应的直线的斜率和方向；具体地，当对图像数据进行处理，拟合出边缘直线，并计算得到该边缘直线的斜率、方向且与预设斜率、方向相差在一定阈值或预设阈值内的时候，认为该边缘直线是竖直线；也即竖直线特征包括一定的或预设的直线斜率、方向的范围。需要说明的是，这里认为该边缘直线是竖直线，并不代表该边缘直线对应的三维空间中的边缘是竖直的。例如，可以将阈值设定在图像数据上偏离竖直方向20°，从而计算过程中认为与竖直方向偏离20°的直线都对应的是竖直线。这里的阈值也可以是其他数值，此处并不作限定，用于排除掉在图像数据中那些认为明显不属于竖直线的直线。
在步骤S3002中根据所述直线子集合计算出所述云台的观测姿态，可以使用现有或者可以实现类似功能的任何算法。这里，作为一个具体例，本发明实施例采取的方案是，根据所述直线子集合计算出所述图像数据的消影点的位置，并根据所述消影点的位置计算云台的观测姿态。这里，所述云台的观测姿态，是指云台通过前述的步骤所计算得到的姿态，即通过对主相机拍摄图像进行处理所计算得到的云台的姿态，与云台的当前姿态可以相同，也可以不同。这里的云台的当前姿态，指的是云台通过其本身的IMU等姿态测量传感器所获取数据计算得到的姿态。
在步骤S3003中根据所述观测姿态对所述云台的当前姿态进行修正，可以使用现有或者可以实现类似功能的任何修正算法。本发明实施例采取的方案是，根据观测姿态与当前姿态进行姿态融合来对云台的姿态进行修正，具体的姿态融合可以采用卡尔曼滤波算法，但并不作限制。这里，所述云台的当前姿态，是指云台当前通过自身所设有的传感器(如IMU、磁编码计等)所获取的数据进行计算处理得到的姿态，与云台的观测姿态可以相同，也可以不同。
本发明实施例中，通过随机抽样一致算法(Random Sample Concensus， RANSAC算法)计算出所述图像数据的消影点的位置。
具体地计算过程可表述如下。
首先，平面坐标系上任意一条直线可以用直线方程来表示，在本实施例中，对于前述在主相机所拍摄图像中已经拟合出的直线，并通过竖直线特征进行筛选认为是竖直线的一群直线，可以认为其方程为：
a i*x+b i*y+c i＝0，(i＝1，2...)              (式1)
其中，i表示所拟合出来的不同的直线，且a i，b i，c i在前述步骤直线拟合后，可认为已知。
本发明实施例中的消影点计算模型，为：
a i*x 0+b i*y 0+c i＝0              (式2)
在图像数据已经拟合出的直线中，提取一群竖直直线的直线子集合。该直线子集合包括一系列竖直线，对应一系列a i，b i，c i。此时则可根据这一系列a i，b i，c i，通过RANSAC算法计算得出x 0，y 0。
具体的，可以通过消影点反向带入公式，评估误差大小，当误差方差小于一定阈值时，确定(x 0，y 0)为该组平行直线的消影点，并使用式(3)、式(4)、式(5)对云台的观测姿态进行计算，具体来说，对云台在roll方向上的角度即横滚角和pitch方向上的角度即俯仰角进行计算。
在摄影几何中，通常用齐次坐标来表示图像平面上的点，因此此处将消影点向量设为v＝(x 0，y 0，1) T，其中(x 0，y 0)为消影点的坐标。
这里，通过式3计算出中间向量R d。
Figure PCTCN2018084912-appb-000001
其中，v为前述的消影点向量，K为相机矩阵，可认为是与主相机本身相关的参数，R d为指向消影点的直线方向的单位矢量，是计算的中间向量，以方便后续计算。
将计算出的R d代入到如下的式4、式5中，分别计算出在roll方向上的角度即横滚角θ roll和在pitch方向上的角度即俯仰角θ pitch。
Figure PCTCN2018084912-appb-000002
θ pitch＝arcsin(-R d3)             (式5)
其中，R d＝(R d1，R d2，R d3，1) T，此处R d也是通过齐次坐标表示，R d1、R d2、R d3表示R d在图像坐标系三个方向上的分量。
至此，本实施例即完成了通过主相机图像计算云台俯仰角度和横滚角度的姿态信息的过程。需要注意的是，由于在此过程中，通过竖直线特征对初步边缘拟合的直线进行筛选时，有一个预设阈值；因此由于预设阈值的设定，会导致可能出现筛选出一些在三维空间中并不属于竖直线，但在图像数据中认为其是竖直线的情况，这种情况下通过这些筛选出认为的竖直线进行计算所得到的观测姿态可能出现较大的误差。
因此，在本实施例中，计算得到观测姿态后，会将其与当前姿态进行对比，并计算观测姿态与当前姿态的差值大小，如果二者之间相差在允许的范围内，认为此次观测姿态的计算是有效的，进而将观测姿态与当前姿态进行融合，以对云台的当前姿态进行修正；如果二者之间相差超过了允许的范围，认为此次观测姿态的计算是无效的，进而返回步骤S3001，重新执行一遍本实施例的计算方案。可以理解的是，这里允许的范围是预先设定的，例如二者相差5％以内或其他数值，此处并不作限制。
根据本实施例的方案，通过引入主相机(拍摄设备102)的信息，使用图像消影点特征计算出观测姿态并对云台姿态进行修正，相当于在云台本身姿态测量传感器获取的姿态之外又获取了一个观测姿态，从而能够减小云台roll方向和pitch方向的漂移，提高用户体验。
第二实施例
以下，对使用竖直线获取云台的roll轴角度的观测姿态信息的第二实施例进行说明。
图4是表示本发明实施例的云台姿态修正方法的第二实施例的流程图。第二实施例的云台姿态修正方法与第一实施例同样，可以由云台101中搭载的控制器、拍摄设备102搭载的控制器、无人机100搭载的控制器、或者未图示的控制终端等中的控制器执行其能访问的存储器中存储的描述该方法的程序来实现，从而对云台的姿态进行修正。本发明实施例的云台姿态修正方法，根据所述云台101搭载的拍摄设备102获取的图像数据 对云台的姿态进行修正，包括如下步骤：
在步骤S4001，获取所述图像数据中的相互平行的直线的直线子集合。这里，可以采取与第一实施例的步骤S3001同样的方式实现，在此不再赘述。
在步骤S4002，根据所述直线子集合计算出所述云台的观测姿态。具体来说，根据所述竖直直线的直线子集合和所述图像数据的垂直方向计算出所述横滚角。
在步骤S4003，根据所述观测姿态对所述云台的当前姿态进行修正。这里，可以采取与第一实施例的步骤S3003同样的方式实现，在此不再赘述。
即，第二实施例的云台姿态修正方法与第一实施例的区别在于，使用与第一实施例的步骤S3002不同的步骤S4002来计算出所述云台的观测姿态。
具体地，在本实施例中，步骤S4002可以分为三个子步骤S40021～S40023。图5是用于对步骤S4002进行说明的流程图。
步骤S40021：确定当前云台在俯仰方向处于水平状态。
本步骤中，通过云台的当前姿态来确定云台在俯仰方向处于水平状态。作为一个具体例，可以使用现有或者可以实现类似功能的任何方式，通过云台的当前姿态中的俯仰角度(pitch角度)信息来进行判断。例如，可以从云台101中搭载的控制器、拍摄设备102搭载的控制器、无人机100搭载的控制器、或者未图示的控制终端处获取俯仰方向的伺服角度，当至少满足所述俯仰方向的伺服角度与预定角度的差值小于预定阈值、以及之前规定时间内计算出的俯仰角与预定角度的差值小于预定阈值中的至少一个时，确定云台在俯仰方向处于水平状态。
具体来说，当云台的当前姿态的pitch角度偏离0°在一定范围内(例如以pitch角度小于等于2°作为预定阈值)时，确定当前云台在俯仰方向处于水平状态。需要理解的是，这里云台在俯仰方向处于水平状态，指的是在pitch俯仰方向上的姿态信息处于水平，从而可以执行下述的计算步骤，并不是实际上水平，例如云台仍有1°的俯仰角度，但仍然认为云台在俯仰方向处于水平状态；同时，这里云台在俯仰方向处于水平状态与 云台横滚(roll)方向上的角度无关，例如云台以1°的俯仰角度，但是以20°的横滚角度(即“歪脖子”)拍摄时，也认为云台在俯仰方向处于水平状态。另外，预定阈值可以是根据使用者的需求自主设定的值，或者结合控制精度等预先设定的值。
步骤S40022：获取所述直线子集合中的竖直线集合。
本步骤中，获取所述直线子集合中的竖直线集合的方法与前一实施例中相同，此处不再赘述。
步骤S40023：根据所述竖直线集合计算出所述云台的观测姿态。
本步骤中，可以参考图6，是用于说明步骤S40023中的计算的示意图。其中，实线框表示当前姿态下观测到的图像数据，表示其中存在能提供竖直直线的若干楼宇的情形。这里，设所述图像数据的坐标系中的水平方向为x轴，垂直方向对应y轴。虚线框表示水平姿态下的图像数据的范围。a、b、c分别表示从图像中提取出的各条竖直直线，θ roll表示云台在roll方向上的横滚角。这里，设所述竖直直线的直线子集合在上述的x轴、y轴的平均方向向量分别为
Figure PCTCN2018084912-appb-000003
由于竖直直线实际上是与水平方向垂直的关系，因此竖直直线的直线子集合的方向应当等同于水平姿态下的图像数据的范围(虚线框)的垂直方向。
在步骤S4002中，通过直线斜率为无穷附近的斜率进行快速综合，利用以下的式6算出roll方向的横滚角θ roll。即，roll方向上的横滚角θ roll为：
Figure PCTCN2018084912-appb-000004
在本实施例中，由于确定云台在俯仰方向处于水平状态，因此图像数据中的竖直线的斜率即代表了云台的roll方向姿态信息，从图6中也可直观地显示出来。本实施例通过对云台pitch角度处于0°附近这一特殊情况，进行不同的计算过程，可以简化观测姿态信息的处理，从而提高云台姿态修正的效率。
根据本实施例的方案，通过引入主相机(拍摄设备102)的信息，在云台俯仰角度处于0°附近这一特定条件时，仅通过计算图像中竖直线的夹角计算出roll方向的横滚角，能够以较低的计算量计算出当前的观测姿态。
第三实施例
以下，对组合使用例如图像消影点特征获取云台的roll轴和pitch轴角度、和使用竖直线特征获取云台的roll轴角度的第三实施例进行说明。
第三实施例与第二实施例的区别点在于，使用步骤S5002来替代第二实施例中的步骤S4002。
图7是表示用来对步骤S5002进行具体说明的流程图。步骤S5002，包括如下步骤：
在步骤S50021，确定云台在俯仰方向处于水平状态。在云台在俯仰方向处于水平状态的情况下，进入步骤S50023，否则进入步骤S50022。
在步骤S50022，根据消影点的位置计算云台的观测姿态。这里，可以采取与第一实施例中的步骤S3002中同样的方法，即根据直线子集合计算出所述图像数据的消影点的位置，并根据所述消影点的位置计算云台的观测姿态，在此不再赘述。
在步骤S50023，根据所述竖直直线的直线子集合和所述图像数据的垂直方向计算出所述横滚方向的横滚角。这里，可以采取与第二实施例中的步骤S4002中同样的方法，即根据所述竖直直线的直线子集合和所述图像数据的垂直方向计算出所述横滚方向的横滚角，在此不再赘述。
这里，在步骤S50021中，可以通过使用与上述的步骤S40021同样的方式确定当前云台在俯仰方向处于水平状态。
另外，虽然以在步骤S50022采取与第一实施例中的步骤S3002中同样的方法为例进行了说明，但本实施例也并不限定于此。也可使用其他能够得到云台的包括roll方向的横滚角和pitch方向的俯仰角的观测姿态的方法来替代。
根据本实施例的方案，通过引入主相机(拍摄设备102)的信息，通过首先对云台当前的俯仰方向姿态进行预判，在确定云台在俯仰方向处于水平状态的情况下仅通过计算图像中竖直线的夹角计算出roll方向的横滚角，否则例如根据所述消影点的位置计算云台的观测姿态，从而能够在良好地兼顾计算量与计算精度的情况下计算出当前的观测姿态。
上述例举的云台姿态修正方法中虽然近提到了俯仰方向和横滚方向， 但并不限定于此，云台也可以是能让搭载的所述拍摄设备在俯仰方向、横滚方向和偏航方向上自由转动。
另外，上述的各个实施例的方案中，在获取所述图像数据中的相互平行的直线的直线子集合时，也可以是在所述直线子集合中的直线少于规定数量时，获取新的图像数据并重新进行直线子集合的提取。
再有，上述的各个实施例的方案中，可以按照时间序列不断地获取图像数据，从而持续计算云台的观测姿态。
另外，虽然以无人机为例对本发明进行了说明，但搭载云台的装置并不限定于此，也可以是手持载具、汽车、可穿戴设备等任何能够搭载云台的装置。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (39)

  1. 一种云台姿态修正方法，根据所述云台搭载的拍摄设备获取的图像数据对云台的姿态进行修正，其特征在于，包括：
    获取所述图像数据中的相互平行的直线的直线子集合；
    根据所述直线子集合计算出所述云台的观测姿态；
    根据所述观测姿态对所述云台的当前姿态进行修正。
  2. 根据权利要求1所述的云台姿态修正方法，其特征在于，所述获取所述图像数据中的相互平行的直线的直线子集合，包括：
    获取所述图像数据中的直线集合；
    从所述直线集合中提取出所述相互平行的直线的直线子集合。
  3. 根据权利要求2所述的云台姿态修正方法，其特征在于，所述获取图像数据中的直线集合，包括：
    通过对所述图像数据进行边缘算子运算来检测被拍摄体的边缘，并对所述边缘进行直线拟合以获取所述图像数据中直线集合。
  4. 根据权利要求3所述的云台姿态修正方法，其特征在于，对所述边缘进行直线拟合，包括：
    通过霍夫变换对所述边缘进行直线拟合。
  5. 根据权利要求2所述的云台姿态修正方法，其特征在于，所述从所述直线集合中提取出相互平行的直线的直线子集合，包括：
    根据竖直线特征从所述直线集合中提取出相互平行的竖直线的直线子集合。
  6. 根据权利要求1所述的云台姿态修正方法，其特征在于，所述从所述直线集合中提取出相互平行的直线的直线子集合，包括：
    根据竖直线特征从所述直线集合中提取出相互平行的竖直线的直线子集合。
  7. 根据权利要求5或6所述的云台姿态修正方法，其特征在于，
    所述竖直线特征包括斜率和方向。
  8. 根据权利要求7所述的云台姿态修正方法，其特征在于，
    所述云台包括俯仰轴和横滚轴，使所述云台在俯仰方向和横滚方向上 运动，
    所述云台的观测姿态包括所述俯仰方向的俯仰角和所述横滚方向的横滚角。
  9. 根据权利要求8所述的云台姿态修正方法，其特征在于，所述计算云台的观测姿态，包括：
    确定云台在俯仰方向处于水平状态；
    根据所述竖直线的直线子集合和所述图像数据的垂直方向计算出所述横滚角。
  10. 根据权利要求9所述的云台姿态修正方法，其特征在于，所述确定云台在俯仰方向处于水平状态，包括：
    获取所述当前姿态的俯仰角，
    当所述当前姿态的俯仰角偏离0°在预定阈值内时，确定当前云台在俯仰方向处于水平状态。
  11. 根据权利要求1所述的云台姿态修正方法，其特征在于，所述根据所述直线子集合计算出所述云台的观测姿态，包括：
    根据所述直线子集合计算出所述图像数据的消影点的位置；
    根据所述消影点的位置计算所述观测姿态。
  12. 根据权利要求11所述的云台姿态修正方法，其特征在于，根据所述直线子集合计算出所述图像数据的消影点的位置，包括：
    通过RANSAC算法计算出所述图像数据的消影点的向量。
  13. 根据权利要求1所述的云台姿态修正方法，其特征在于，
    按照时间序列获取图像数据，持续计算所述观测姿态。
  14. 根据权利要求1所述的云台姿态修正方法，其特征在于，
    在所述直线子集合中的直线少于规定数量时，获取新的图像数据并重新进行直线子集合的提取。
  15. 根据权利要求1所述的云台姿态修正方法，其特征在于，所述根据所述观测姿态对所述云台的当前姿态进行修正，包括：
    对所述观测姿态与所述当前姿态进行姿态融合来对云台的姿态进行修正。
  16. 根据权利要求15所述的云台姿态修正方法，其特征在于，
    计算出的所述观测姿态与所述当前姿态的差值，
    若所述观测姿态与所述当前姿态的差值不超过允许的范围，对所述观测姿态与所述当前姿态进行姿态融合来对云台的姿态进行修正；或
    若所述观测姿态与所述当前姿态的差值超过允许的范围，重新获取所述图像数据中的相互平行的直线的直线子集合，并根据所述直线子集合计算出所述云台的观测姿态。
  17. 根据权利要求1所述的云台姿态修正方法，其特征在于，
    所述云台能让搭载的所述拍摄设备在俯仰方向、横滚方向和偏航方向上自由转动。
  18. 根据权利要求1所述的云台姿态修正方法，其特征在于，
    所述云台的当前姿态，是由云台的姿态测量传感器所获取数据计算得到的姿态。
  19. 一种云台姿态修正装置，根据所述云台搭载的拍摄设备获取的图像数据对云台的姿态进行修正，其特征在于，包括：
    存储器，存储用于控制云台姿态修正装置的指令集；和
    一个或多个处理器，其被配置成根据所述存储器存储的指令集执行如下处理：
    获取所述图像数据中的相互平行的直线的直线子集合；
    根据所述直线子集合计算出所述云台的观测姿态；
    根据所述观测姿态对所述云台的当前姿态进行修正。
  20. 根据权利要求19所述的云台姿态修正装置，其特征在于，所述获取所述图像数据中的相互平行的直线的直线子集合，包括：
    获取所述图像数据中的直线集合；
    从所述直线集合中提取出所述相互平行的直线的直线子集合。
  21. 根据权利要求20所述的云台姿态修正装置，其特征在于，所述获取图像数据中的直线集合，包括：
    通过对所述图像数据进行边缘算子运算来检测被拍摄体的边缘，并对所述边缘进行直线拟合以获取所述图像数据中直线集合。
  22. 根据权利要求21所述的云台姿态修正装置，其特征在于，对所述边缘进行直线拟合，包括：
    通过霍夫变换对所述边缘进行直线拟合。
  23. 根据权利要求20所述的云台姿态修正装置，其特征在于，所述从所述直线集合中提取出相互平行的直线的直线子集合，包括：
    根据竖直线特征从所述直线集合中提取出相互平行的竖直线的直线子集合。
  24. 根据权利要求20所述的云台姿态修正装置，其特征在于，所述从所述直线集合中提取出相互平行的直线的直线子集合，包括：
    根据竖直线特征从所述直线集合中提取出相互平行的竖直线的直线子集合。
  25. 根据权利要求23或24所述的云台姿态修正装置，其特征在于，
    所述竖直线特征包括斜率和方向。
  26. 根据权利要求25所述的云台姿态修正装置，其特征在于，
    所述云台包括俯仰轴和横滚轴，使所述云台在俯仰方向和横滚方向上运动，
    所述云台的观测姿态包括所述俯仰方向的俯仰角和所述横滚方向的横滚角。
  27. 根据权利要求22所述的云台姿态修正装置，其特征在于，所述计算云台的观测姿态，包括：
    确定云台在俯仰方向处于水平状态；
    根据所述竖直线的直线子集合和所述图像数据的垂直方向计算出所述横滚角。
  28. 根据权利要求27所述的云台姿态修正装置，其特征在于，所述确定云台在俯仰方向处于水平状态，包括：
    获取所述当前姿态的俯仰角，
    当所述当前姿态的俯仰角偏离0°在预定阈值内时，确定当前云台在俯仰方向处于水平状态。
  29. 根据权利要求19所述的云台姿态修正装置，其特征在于，所述根据所述直线子集合计算出所述云台的观测姿态，包括：
    根据所述直线子集合计算出所述图像数据的消影点的位置；
    根据所述消影点的位置计算云台的观测姿态。
  30. 根据权利要求29所述的云台姿态修正装置，其特征在于，根据所述直线子集合计算出所述图像数据的消影点的位置，包括：
    通过RANSAC算法计算出所述图像数据的消影点的向量。
  31. 根据权利要求19所述的云台姿态修正装置，其特征在于，
    按照时间序列获取图像数据，持续计算云台的观测姿态。
  32. 根据权利要求19所述的云台姿态修正装置，其特征在于，
    在所述直线子集合中的直线少于规定数量时，获取新的图像数据并重新进行直线子集合的提取。
  33. 根据权利要求19所述的云台姿态修正装置，其特征在于，所述根据所述观测姿态对所述云台的当前姿态进行修正，包括：
    根据观测姿态与当前姿态进行姿态融合来对云台的姿态进行修正。
  34. 根据权利要求33所述的云台姿态修正装置，其特征在于，
    计算出的所述观测姿态与所述当前姿态的差值，
    若所述观测姿态与所述当前姿态的差值不超过允许的范围，对所述观测姿态与所述当前姿态进行姿态融合来对云台的姿态进行修正；或
    若所述观测姿态与所述当前姿态的差值超过允许的范围，重新获取所述图像数据中的相互平行的直线的直线子集合，并根据所述直线子集合计算出所述云台的观测姿态。
  35. 根据权利要求19所述的云台姿态修正装置，其特征在于，
    所述云台能让搭载的所述拍摄设备在俯仰轴、横滚轴和偏航轴上自由转动。
  36. 根据权利要求19所述的云台姿态修正装置，其特征在于，
    所述云台的当前姿态，是由云台的姿态测量传感器所获取数据计算得到的姿态。
  37. 一种云台，其特征在于，所述云台包括权利要求19-36任一项所述的云台姿态修正装置，所述云台还至少包括俯仰轴和横滚轴。
  38. 一种云台系统，其特征在于，所述云台系统包括权利要求37所述的云台，以及搭载于所述云台的所述拍摄设备。
  39. 一种无人机，其特征在于，所述无人机搭载有权利要求38所述的云台系统。
PCT/CN2018/084912 2018-04-27 2018-04-27 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机 WO2019205103A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880013975.4A CN110382358A (zh) 2018-04-27 2018-04-27 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机
PCT/CN2018/084912 WO2019205103A1 (zh) 2018-04-27 2018-04-27 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/084912 WO2019205103A1 (zh) 2018-04-27 2018-04-27 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机

Publications (1)

Publication Number Publication Date
WO2019205103A1 true WO2019205103A1 (zh) 2019-10-31

Family

ID=68248560

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/084912 WO2019205103A1 (zh) 2018-04-27 2018-04-27 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机

Country Status (2)

Country Link
CN (1) CN110382358A (zh)
WO (1) WO2019205103A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111272148B (zh) * 2020-01-20 2021-08-31 江苏方天电力技术有限公司 输电线路无人机自主巡检自适应成像质量优化方法
CN112067253A (zh) * 2020-06-03 2020-12-11 翔升（上海）电子技术有限公司 基于机器视觉的相机校准方法
CN113838097B (zh) * 2021-09-29 2024-01-09 成都新潮传媒集团有限公司 摄像机镜头角度偏离检测方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038163A (zh) * 2007-02-07 2007-09-19 北京航空航天大学 可变焦摄像机空间三维位姿的单视测量方法
JP2008276436A (ja) * 2007-04-27 2008-11-13 Univ Of Miyazaki 画像処理による稜線・尾根線の判定方法とその装置
CN102914294A (zh) * 2012-09-10 2013-02-06 中国南方电网有限责任公司超高压输电公司天生桥局 一种基于图像的无人机电力巡线测量系统及方法
CN106384382A (zh) * 2016-09-05 2017-02-08 山东省科学院海洋仪器仪表研究所 一种基于双目立体视觉的三维重建系统及其方法
CN106683097A (zh) * 2017-03-03 2017-05-17 广东工业大学 一种无人机定位的方法以及系统
CN107192375A (zh) * 2017-04-28 2017-09-22 北京航空航天大学 一种基于航拍姿态的无人机多帧图像自适应定位校正方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2514779B2 (ja) * 1993-09-08 1996-07-10 住友電気工業株式会社 カメラ姿勢パラメ―タ算出方法
JP3005682B1 (ja) * 1999-01-11 2000-01-31 科学技術庁航空宇宙技術研究所長 滑走路画像を用いた位置・姿勢の割出し方法およびその装置
FR2874300B1 (fr) * 2004-08-11 2006-11-24 Renault Sas Procede de calibration automatique d'un systeme de stereovision
JP4986883B2 (ja) * 2008-02-27 2012-07-25 三菱電機株式会社 標定装置、標定方法および標定プログラム
JP6354425B2 (ja) * 2014-07-30 2018-07-11 株式会社デンソー 車載カメラの取り付け姿勢検出方法およびその装置
WO2018023492A1 (zh) * 2016-08-03 2018-02-08 深圳市大疆灵眸科技有限公司 一种云台控制方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038163A (zh) * 2007-02-07 2007-09-19 北京航空航天大学 可变焦摄像机空间三维位姿的单视测量方法
JP2008276436A (ja) * 2007-04-27 2008-11-13 Univ Of Miyazaki 画像処理による稜線・尾根線の判定方法とその装置
CN102914294A (zh) * 2012-09-10 2013-02-06 中国南方电网有限责任公司超高压输电公司天生桥局 一种基于图像的无人机电力巡线测量系统及方法
CN106384382A (zh) * 2016-09-05 2017-02-08 山东省科学院海洋仪器仪表研究所 一种基于双目立体视觉的三维重建系统及其方法
CN106683097A (zh) * 2017-03-03 2017-05-17 广东工业大学 一种无人机定位的方法以及系统
CN107192375A (zh) * 2017-04-28 2017-09-22 北京航空航天大学 一种基于航拍姿态的无人机多帧图像自适应定位校正方法

Also Published As

Publication number Publication date
CN110382358A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
US10871258B2 (en) Method and system for controlling gimbal
WO2020233683A1 (zh) 云台控制方法、装置、控制终端及飞行器系统
CN108323190B (zh) 一种避障方法、装置和无人机
US10157477B2 (en) Robust head pose estimation with a depth camera
WO2020014909A1 (zh) 拍摄方法、装置和无人机
WO2019183845A1 (zh) 云台的控制方法、装置、系统、计算机存储介质及无人机
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
US20200105013A1 (en) Robust Head Pose Estimation with a Depth Camera
CN108574825B (zh) 一种云台摄像机的调整方法和装置
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
WO2019205103A1 (zh) 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机
CN111213002A (zh) 一种云台控制方法、设备、云台、系统及存储介质
CN110337668B (zh) 图像增稳方法和装置
WO2021212445A1 (zh) 拍摄方法、可移动平台、控制设备和存储介质
WO2021081707A1 (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
CN108038417A (zh) 云台控制方法、装置及系统
CN108780324A (zh) 无人机、无人机控制方法和装置
WO2020198963A1 (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
WO2019183789A1 (zh) 无人机的控制方法、装置和无人机
WO2020038720A1 (en) Apparatus, method and computer program for detecting the form of a deformable object
CN112514366A (zh) 图像处理方法、图像处理装置和图像处理系统
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
WO2020257999A1 (zh) 图像处理方法、装置、云台和存储介质
CN109949381B (zh) 图像处理方法、装置、图像处理芯片、摄像组件及飞行器
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18917026

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18917026

Country of ref document: EP

Kind code of ref document: A1