WO2021217311A1 - 可移动平台及其控制方法、存储介质 - Google Patents

可移动平台及其控制方法、存储介质 Download PDF

Info

Publication number
WO2021217311A1
WO2021217311A1 PCT/CN2020/087083 CN2020087083W WO2021217311A1 WO 2021217311 A1 WO2021217311 A1 WO 2021217311A1 CN 2020087083 W CN2020087083 W CN 2020087083W WO 2021217311 A1 WO2021217311 A1 WO 2021217311A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
movable platform
distance
target object
distances
Prior art date
Application number
PCT/CN2020/087083
Other languages
English (en)
French (fr)
Inventor
许中研
钱杰
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN202080005304.0A priority Critical patent/CN112753210A/zh
Priority to PCT/CN2020/087083 priority patent/WO2021217311A1/zh
Publication of WO2021217311A1 publication Critical patent/WO2021217311A1/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

一种可移动平台的控制方法,步骤包括:获取目标对象的图像(S110);确定图像中目标对象的关节点对应的目标像素点(S120);根据目标像素点的像素坐标值,以及目标对象的关节点间的先验距离确定与目标对象之间的目标距离(S130);根据目标距离控制可移动平台相对于目标对象移动(S140)。能够准确确定目标距离,还提供了可移动平台和存储介质。

Description

可移动平台及其控制方法、存储介质 技术领域
本申请涉及可移动平台技术领域,尤其涉及一种可移动平台及其控制方法、存储介质。
背景技术
在可移动平台相对于目标运动时,可以通过可移动平台上的摄像头采集目标的图像,以确定可移动平台和目标之间的距离。例如,可以根据小孔成像原理,可移动平台与目标之间的距离变近时目标在图像中变大,可移动平台与目标之间的距离变远时目标在画面中变小,因此可以根据图像中目标的大小确定可移动平台与目标之间的距离。例如检测图像中目标所在的目标框,根据目标框的大小和目标的先验大小确定可移动平台和目标之间的距离。
但是,当目标的姿态发生变化、或者目标的一部分受到周围环境的遮挡时,目标框缩小。如此,根据图像中目标框的大小确定的距离相比于真实距离偏远,在可移动平台跟随目标运动的场景下,可移动平台会不恰当地向目标靠近,不仅影响用户体验,还存在安全问题。
发明内容
基于此,本申请实施例提供了一种可移动平台及其控制方法、存储介质,能够解决目标的姿态发生变化或者部分被遮挡时,不能准确确定与目标之间的距离等技术问题。
第一方面,本申请实施例提供了一种可移动平台的控制方法,所述可移动平台搭载拍摄装置;所述方法包括:
获取所述拍摄装置拍摄目标对象获得的图像;
确定所述图像中所述目标对象的关节点对应的目标像素点;
根据所述图像中所述目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离;
根据所述目标距离控制所述可移动平台相对于所述目标对象移动。
第二方面,本申请实施例提供了一种可移动平台,所述可移动平台能够搭载拍摄装置,所述可移动平台包括一个或多个处理器,单独地或共同地工作,用于执行如下步骤:
获取所述拍摄装置拍摄目标对象获得的图像;
确定所述图像中所述目标对象的关节点对应的目标像素点;
根据所述图像中所述目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离;
根据所述目标距离控制所述可移动平台相对于所述目标对象移动。
第三方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现上述的方法。
本申请实施例提供了一种可移动平台及其控制方法、存储介质,通过确定图像中目标对象的关节点对应的目标像素点,根据图像中所述目标像素点的像素坐标值以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离,可以避免目标对象的姿态变化、受到周围环境的遮挡对目标距离测量的影响,从而提高可移动平台控制的准确性和安全性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请的公开内容。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种控制方法的流程示意图;
图2是本申请实施例提供的场景示意图;
图3是本申请实施例提供的目标对象的关节点的示意图;
图4是本申请实施例提供的利用三角测量原理确定可移动平台与目标对象之间的目标距离的示意图;
图5是本申请实施例提供的第一低通滤波器的滤波结果的示意图;
图6是本申请实施例提供的第二低通滤波器的滤波结果的示意图;
图7是本申请实施例提供的一种可移动平台的示意性框图;
图8是本申请实施例提供的一种无人飞行器的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请实施例提供的一种控制方法的流程示意图。所述控制方法可以应用在可移动平台中,当然也可以应用在能够与可移动平台通信连接终端设备中,或者所述控制方法可以由可移动平台和终端设备共同完成。所述控制方法用于确定可移动平台与目标对象之间的距离,并根据该距离控制可移动平台进行移动等过程。
其中终端设备可以包括手机、平板电脑、笔记本电脑、台式电脑、个人数字助理、穿戴式设备、遥控器等中的至少一项;可移动平台可以包括以下至少一种:云台、无人飞行器、无人驾驶车辆或无人驾驶船艇。进一步而言,无人飞行器可以为旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机。
本申请主要以应用在可移动平台中的控制方法为例进行说明。
如图2所示,可移动平台100搭载拍摄装置200,拍摄装置200可以获取拍摄视野内的物体的图像,例如人、动物、车辆、船舶等的图像。
具体的,可以在拍摄装置200拍摄的图像中确定一个或多个目标对象101,可选的,目标对象101例如可以为人、动物、车辆、船舶等。
如图1所示,本申请实施例的控制方法包括步骤S110至步骤S130。
S110、获取所述拍摄装置拍摄目标对象获得的图像。
示例性的,可移动平台100能够确定图像中的目标对象101,例如当在图像中检测到一个人体时,将该人体确定为目标对象101;或者当在图像中检测到多个人体时,可以确定其中一个或多个人体为目标对象101。
示例性的,可移动平台100能够将图像发送给与可移动平台100通信连接的终端设备300,终端设备300可以显示可移动平台100发送的图像以及根据用户对图像中物体的选取操作确定选取操作对应的物体为目标对象101,终端设备300可以将目标对象101的信息发送给可移动平台100。
示例性的,终端设备300由用户携带,可移动平台100能够通过检测终端设备300的方位确定该方位的用户为目标对象101。
S120、确定所述图像中所述目标对象的关节点对应的目标像素点。
具体的,目标对象的关节点表示目标对象上较易被识别的位置,且关节点之间的距离是特定的,或者距离的范围是特定的。示例性的,不同关节点之间的特定距离或特定的距离范围可以称为先验距离。
在一些实施方式中,所述目标对象为目标人物。所述目标对象的关节点包括右肩,右肘,右腕,左肩,左肘,左腕,右髋,右膝,右踝,左髋,左膝,左踝,头顶,脖子对应的人体骨骼关节点中的至少一种。
示例性的,所述目标对象的关节点之间的先验距离包括肩肘之间、肘腕之间,左右肩,肩髋之间,髋膝之间,膝踝之间的先验距离中的至少一种。
示例的,如图3所示,所述目标对象的关节点之间的先验距离还可以包括头脖之间和脖肩之间。
肩肘之间的先验距离为手臂上侧的先验长度,肘腕之间的先验距离为手臂下侧的先验长度,左右肩的先验距离为肩部的先验宽度,肩髋之间的先验距离为人体上身的先验高度,髋膝之间的先验距离为大腿的先验长度,膝踝之间的先验距离为小腿的先验长度。
可选的,目标对象的关节点之间的先验距离包括目标对象横向上的不同关节点之间的先验距离和/或目标对象纵向上的不同关节点之间的先验距离。
示例性的,肩肘之间的先验距离可以为30厘米,肘腕之间的先验距离为40厘米,髋膝之间的先验距离可以为50厘米,膝踝之间的先验距离可以为40厘米;示例性的,左右肩之间的先验距离可以为50厘米,左右髋之间的先验距离可以为50厘米。
在其他一些实施方式中,目标对象可以为车辆,目标对象的关节点可以包括车窗的窗角、轮毂的中心、车灯中的至少一种。
示例性的,目标对象为车辆时,所述目标对象的关节点之间的先验距离包括前后轮毂中心之间的先验距离、车头两侧车灯之间的先验距离、车尾两侧车灯之间的先验距离等的至少一种。
在一些实施方式中,可以通过人体骨骼关节点检测算法确定图像中人体骨骼关节点对应的目标像素点。示例性的,可以通过基于图像模型的算法和/或基于深度学习的算法确定图像中所述目标对象的关节点对应的目标像素点。例如通过机器学习方法回归确定图像中所述目标对象的关节点对应的目标像素点。
示例性的,可以确定预设的多个人体骨骼关节点对应的目标像素点在图像中的位置。例如确定右肩,左肩,右髋,右膝,右踝,左髋,左膝,左踝人体骨骼关节点对应的目标像素点的像素坐标值。
S130、根据所述图像中目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离。
在一些实施方式中,可以利用小孔成像原理,根据所述图像中目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离。示例的,可以根据所述图像中目标像素点的像素坐标值确定所述目标像素点之间的距离,进而根据所述目标像素点之间的距离和所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离。
在一些实施方式中,所述目标对象为目标人物。所述目标像素点之间的距离包括一组或多组目标像素点之间的距离,例如所述目标像素点之间的距离包括左肩和左肘,右肩和右肘,左肘和左腕,右肘和右腕,左肩和右肩,左肩和左髋,右肩和右髋,左髋和左膝,右髋和右膝,左膝和左踝,右膝和右踝对应 的目标像素点之间的距离中的至少一种。
可选的,左肩和左肘对应的目标像素可以视为一组目标像素,右肩和右肘对应的目标像素可以视为另一组目标像素。
示例性的,可以根据两个目标像素点的像素坐标值之间的差值确定这两个目标像素点之间的距离。例如,可以根据右肩对应的目标像素点的像素坐标值和左肩对应的目标像素点的像素坐标值之间的差值确定左肩和右肩对应的目标像素点之间的距离。
由于可移动平台与目标对象之间的目标距离越近时目标对象在图像中变大,图像中目标像素点之间的距离也越长,可移动平台与目标对象之间的目标距离越远时目标对象在图像中变小,图像中目标像素点之间的距离也越短,因此可以根据图像中目标像素点之间的距离确定可移动平台与目标对象之间的目标距离。具体的,可以根据拍摄装置的焦距,图像中目标像素点之间的距离,以及目标对象的关节点之间的先验距离确定可移动平台与目标对象之间的目标距离。
在一些实施方式中,可以利用三角测量原理,根据图像中目标像素点的像素坐标值,以及目标对象的关节点之间的先验距离确定可移动平台与目标对象之间的目标距离。以头顶和脖子对应的关节点为例,请参考图4,可移动平台所在的位置为O点,脖子对应的关节点为A点,头顶对应的关节点为B点,AB之间的距离可以是人体头脖之间的先验距离,A点和可移动平台之间的连线AO与B点和可移动平台之间的连线BO之间的夹角∠AOB为α,α可根据拍摄装置的内参以及A点、B点对应的目标像素点的像素坐标值得到,B点和可移动平台之间的连线BO与AB之间的夹角∠ABO为θ+90°,θ可根据拍摄装置的内参以及B点对应的目标像素点的像素坐标值得到。如此可以根据三角关系得到AO之间的距离,并将AO之间的距离作为所述可移动平台与所述目标对象之间的目标距离。
根据其他关节点对应的目标像素点的像素坐标值,以及目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离与上述过程类似,在此不一一赘述。
在一些实施方式中,可以根据一组或多组目标像素的像素坐标值,以及各组目标像素点对应的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离。
在一些实施方式中,所述方法还包括:确定所述目标对象的属性;根据所述属性确定所述目标对象的不同关节点之间的先验距离。
通过根据目标对象的属性对应的先验距离确定可移动平台与所述目标对象之间的目标距离,由于先验距离和目标对象的实际情况更接近,可以使得目标距离更准确。
示例性的,目标对象为目标人物时,所述目标对象的属性包括以下至少一种:所述目标对象的性别、是否为成年人。
示例性的,目标对象的属性不同时,对应的不同关节点之间的先验距离也可以不同。例如目标对象的性别为男时的髋膝之间,膝踝之间的先验距离比性别为女时的先验距离大;目标对象是成年人时的髋膝之间,膝踝之间的先验距离比不是成年人时的先验距离大。
可选的,至少有一个关节点不在所述目标对象的端部。例如,当目标对象为目标人物时,至少有一个关节点不在目标对象的头部或脚部。在目标对象的腿部或头部受到周围环境的遮挡时,仍可以确定该关节点对应的目标像素点,以及目标像素点的像素坐标值,从而可以确定所述可移动平台与所述目标对象之间的目标距离。
具体的,如图3所示,虽然目标对象的姿态为坐姿,但是仍可准确地检测到图像中的人体骨骼关节点对应的目标像素点;即使目标对象的一部分受到周围环境的遮挡,仍可以确定未被遮挡部分的人体骨骼关节点对应的目标像素点。
通过确定图像中目标对象的关节点对应的目标像素点,以及根据图像中目标像素点的像素坐标值确定可移动平台与目标对象之间的目标距离,可以避免目标对象的姿态变化、受到周围环境的遮挡对目标距离测量的影响,从而提高可移动平台控制的准确性和安全性。
S140、根据所述目标距离控制所述可移动平台相对于所述目标对象移动。
在一些实施方式中,所述控制所述可移动平台相对于所述目标对象移动,包括:根据所述目标距离规划所述可移动平台的移动路线和/或所述拍摄装置的拍摄方向。
示例性的,可以根据所述目标距离控制所述可移动平台对所述目标对象进行绕行或跟随。例如,若当前的目标距离小于等于预设的距离阈值,控制可移动平台向左、向右或向上运动进行绕行,防止可移动平台冲撞目标对象;同时 可以调整拍摄装置的拍摄方向,以使拍摄装置保持对目标对象的拍摄。例如若当前的目标距离大于特定的距离,控制可移动平台朝向目标对象移动或加速向目标对象移动,以对目标对象进行跟随。
示例性的,可以根据所述目标距离确定目标对象的运动状态,并根据目标对象的运动状态控制所述可移动平台相对于所述目标对象移动,例如当目标距离变大时,可以确定目标对象在远离可移动平台,则可以控制可移动平台朝向目标对象移动或加速向目标对象移动;当目标距离变大时,且变大的幅度越来越大时,可以确定目标对象在加速远离可移动平台,则可以控制可移动平台加速向目标对象移动。
在一些实施方式中,所述根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:根据所述拍摄装置拍摄目标对象的拍摄角度以及所述目标距离确定所述目标对象的位置;根据所述目标对象的位置控制所述可移动平台相对于所述目标对象移动。
示例性的,拍摄装置搭载于云台,云台搭载于可移动平台,可以根据云台的姿态确定拍摄装置拍摄目标对象的拍摄角度。根据拍摄角度和目标对象在该拍摄角度方向上的目标距离可以确定目标对象的位置。
示例性的,可以根据所述目标对象的位置规划所述可移动平台的移动路线和/或所述拍摄装置的拍摄方向。例如,可以根据所述目标对象的位置控制所述可移动平台对所述目标对象进行绕行或跟随。
示例性的,可以根据不同时刻所述目标对象的位置确定目标对象的运动状态,并根据目标对象的运动状态控制所述可移动平台相对于所述目标对象移动。
在一些实施方式中,根据关节点之间的先验距离确定的目标距离为第一目标距离。还可以根据目标对象所在的目标框确定所述可移动平台与所述目标对象之间的第二目标距离。
示例性的,所述方法还包括:确定所述图像中所述目标对象所在的目标框;根据所述目标框确定所述可移动平台与所述目标对象之间的第二目标距离。
如图3所示,确定两个目标对象各自的目标框。具体的,目标框包围图像中的目标对象的外围。如图3中左侧的目标框,该目标框的顶端与目标人物的头顶邻接,底端与目标人物的脚底邻接,左端与目标人物的右脚尖邻接,右端与目标人物的左肘邻接。
示例性的,可以通过经过训练的神经网络模型确定图像中目标对象所在的目标框。
示例性的,所述根据所述目标框确定所述可移动平台与所述目标对象之间的第二目标距离,包括:根据所述目标框在预设方向上的长度、所述目标对象在所述预设方向上的先验长度确定所述可移动平台与所述目标对象之间的第二目标距离。
例如,所述目标框在预设方向上的长度为目标框的高度,目标对象在所述预设方向上的先验长度为目标对象的身高。示例性的,目标对象在所述预设方向上的先验长度可以预先存储于可移动平台和/或与可移动平台通信连接的终端设备;或者终端设备可以根据用户的身高设置操作确定目标对象在所述预设方向上的先验长度。
示例性的,可以根据所述目标框在垂直方向上的高度,以及所述目标对象的先验身高确定所述可移动平台与所述目标对象之间的第二目标距离。
由于可移动平台与目标对象之间的目标距离越近时目标对象在图像中变大,目标框在预设方向上的长度也越大,可移动平台与目标对象之间的目标距离越远时目标对象在图像中变小,目标框在预设方向上的长度也越小,因此可以根据目标框在预设方向上的长度确定可移动平台与目标对象之间的目标距离。同样的,也可以利用小孔成像原理或三角测量原理,在此并不赘述。
在一些实施方式中,所述方法还可以包括:根据所述目标对象的属性确定所述目标对象在所述预设方向上的先验长度。
通过根据目标对象的属性对应的先验长度确定可移动平台与所述目标对象之间的目标距离,由于先验长度和目标对象的实际情况更接近,可以使得目标距离更准确。
示例性的,目标对象为目标人物时,所述目标对象的属性包括以下至少一种:所述目标对象的性别、是否为成年人。
当目标对象的姿态不同时,在图像中确定的目标框也不同。如图3所示,目标对象为坐姿,确定的目标框和目标对象为站姿时的目标框差别较大,例如坐姿时目标框的高度明显较小,则根据该目标框的高度和目标对象的身高确定的目标距离相比于真实距离偏远,在可移动平台跟随目标运动的场景下,可移动平台会不恰当地向目标靠近。当目标图像的一部分受到周围环境的遮挡时, 目标框的高度明显较小,则根据该目标框的高度和目标对象的身高确定的目标距离相比于真实距离也是偏远的。
在一些实施方式中,步骤S140根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:根据所述第一目标距离和所述第二目标距离控制所述可移动平台相对于所述目标对象移动。
示例性的,可以根据第一目标距离对第二目标距离进行检验,可以防止在目标对象的姿态发生变化或者目标对象的一部分受到周围环境的遮挡时确定的第二目标距离偏差较大,根据该第二目标距离对可移动平台进行控制时可移动平台会不恰当地向目标靠近的情况出现。
示例性的,如果第一目标距离和第二目标距离的差值较大,则可以确定第二目标距离是不可靠的,可以不根据该第二目标距离对可移动平台进行控制。
在一些实施方式中,所述第一目标距离的数量为多个,多个所述第一目标距离是根据不同的先验距离确定的。具体的,可以根据多组目标像素之间的距离和对应的关节点之间的先验距离确定多个第一目标距离。
示例性的,所述根据所述第一目标距离和所述第二目标距离控制所述可移动平台相对于所述目标对象移动,包括:确定多个所述第一目标距离与所述第二目标距离的差值;当所述差值满足预设条件时,根据所述第二目标距离控制所述可移动平台相对于所述目标对象移动。
示例性的,当多个所述第一目标距离与所述第二目标距离的差值小于第一差值阈值时,可以确定所述差值满足所述预设条件,以及据所述第二目标距离控制所述可移动平台相对于所述目标对象移动。
通过根据多个第一目标距离对第二目标距离进行检验,可以更准确的确定第二目标距离是否可靠。
示例性的,所述确定多个所述第一目标距离与所述第二目标距离的差值,包括:剔除多个所述第一目标距离中的异常值,确定剔除异常值后的所述第一目标距离与所述第二目标距离的差值。其中,所述异常值与除所述异常值以外的所述第一目标距离之间的差值大于第二差值阈值。
具体的,在某些场景下,例如由于拍摄方向或目标对象的姿态的影响,根据某些目标像素的像素坐标值不能准确的确定第一目标距离,例如异常的第一目标距离与其他的第一目标距离之间的偏差较大。通过将异常值剔除,可以根 据准确的第一目标距离对第二目标距离进行检验,可以更准确的确定第二目标距离是否可靠。
在一些实施方式中,当所述差值不满足预设条件时,可以根据多个所述第一目标距离控制所述可移动平台相对于所述目标对象移动。
示例性的,所述根据多个所述第一目标距离控制所述可移动平台相对于所述目标对象移动,包括:根据多个所述第一目标距离,确定多个所述第一目标距离的平均值;根据所述平均值控制所述可移动平台相对于所述目标对象移动。
具体的,当多个所述第一目标距离与所述第二目标距离的差值均大于第一差值阈值时,可以确定根据目标框确定的第二目标距离不可靠,则根据多个所述第一目标距离的平均值控制所述可移动平台相对于所述目标对象移动。
示例性的,可以剔除多个所述第一目标距离中的异常值,以及根据剔除异常值后的所述第一目标距离,确定多个所述第一目标距离的平均值。具体的,所述异常值可以为与除所述异常值以外的所述第一目标距离之间的差值大于预设阈值。
通过将异常值剔除,可以根据准确的第一目标距离对可移动平台进行控制。
在一些实施方式中,将第二目标距离和多个第一目标距离做一致性检验,例如比较第二目标距离和第一目标距离。如果大部分第一目标距离与第二目标距离的差值不大于第一差值阈值,可以确定第二目标距离正常;如果大部分第一目标距离之间的差值小于第二差值阈值且这些第一目标距离与第二目标距离的差值大于第一差值阈值,可以确定第二目标距离异常。在第二目标距离正常时可以根据第二目标距离对可移动平台进行控制,在第二目标距离异常时可以根据相互之间的差值小于第二差值阈值的第一目标距离的平均值或其中一个第一目标距离对可移动平台进行控制。
在一些实施方式中,也可以不执行根据所述目标框确定所述可移动平台与所述目标对象之间的第二目标距离的步骤,可以直接根据多个所述第一目标距离控制所述可移动平台相对于所述目标对象移动。例如,步骤S140根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:根据多个所述目标距离,即根据不同的先验距离确定的多个第一目标距离,确定多个所述目标距离的平均值;根据所述平均值控制所述可移动平台相对于所述目标对象移动。
示例性的,所述根据多个所述目标距离,确定多个所述目标距离的平均值, 包括:剔除多个所述目标距离中的异常值,所述异常值与除所述异常值以外的所述目标距离之间的差值大于第三差值阈值;根据剔除异常值后的所述目标距离,确定多个所述目标距离的平均值。
可选的,第一差值阈值、第二差值阈值、第三差值阈值可以相等也可以不相等。
在一些实施方式中,所述方法还包括:对所述目标距离进行滤波处理。
示例性的,所述根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:根据滤波处理后的目标距离确定所述目标对象的位置。
示例性的,进行滤波处理的目标距离可以为第一目标距离、第二目标距离、或第一目标距离的平均值,或剔除异常值后的第一目标距离的平均值。例如,当多个所述第一目标距离与所述第二目标距离的差值满足预设条件时,对该第二目标距离进行滤波处理;当差值不满足预设条件时,对多个所述第一目标距离的平均值进行滤波处理。
在某些场景中,由于拍摄目标对象时的光线、拍摄角度等因素会造成确定的第一目标距离、第二目标距离不够准确,可以通过滤波使得确定的目标距离更加平滑,便于提高可移动平台控制的准确性和平滑性。
示例性的,所述对所述目标距离进行滤波处理,包括:通过第一低通滤波器检测所述目标距离中的异常值;通过第二低通滤波器对所述目标距离进行滤波处理,以平滑所述目标距离;其中,所述第一低通滤波器的截止频率低于所述第二低通滤波器的截止频率。
如图5所示为通过第一低通滤波器检测所述目标距离中的异常值的示意图,图5中深色的曲线表示第一低通滤波器对历史的和当前的目标距离进行滤波后的目标距离,沿深色的曲线分布的浅色曲线是滤波前的历史的和当前的目标距离,方框中的浅色曲线是通过第一低通滤波器检测的异常值。
如图6所示为通过第二低通滤波器对历史的和当前的目标距离进行滤波处理后的目标距离的示意图,图6中沿深色的曲线分布的浅色曲线表示第二低通滤波器滤波处理后的目标距离。
具体的,参见图5和图6,第一低通滤波器的滤波结果更平滑,但会丢失原始数据的细节信息;因此首先利用第一低通滤波器,检测异常观测的位置。第二低通滤波器可以对剔除第一低通滤波器确定的异常值的原始数据进行滤波, 第二低通滤波器的滤波结果的平滑性介于原始数据和第一低通滤波器滤波后的数据之间,可以保留大部分的原始数据的细节信息,以及去除高频噪声。
在一些实施方式中,可以通过多个第一低通滤波器检测所述目标距离中的异常值,所述多个第一低通滤波器的截止频率顺序增加。可以更准确的检测目标距离中的异常值,提高滤波处理后的目标距离的准确性和平滑性。
示例性的,所述通过第二低通滤波器对所述目标距离进行滤波处理,包括:通过所述第二低通滤波器对所述异常值进行更新。以及根据更新后的目标距离对可移动平台进行控制,防止异常的目标距离造成安全隐患。
具体的,所述通过所述第二低通滤波器对所述异常值进行更新,包括:通过所述第二低通滤波器对除所述异常值外的其他目标距离进行滤波处理,以得到所述异常值处更新的目标距离,可实现根据历史的目标距离确定异常值对应的更新的目标距离,以根据准确的、更新后的目标距离对可移动平台进行控制。
通过滤波作用较强的第一低通滤波器可以准确的定位异常值,而根据滤波作用较弱的第二低通滤波器对目标距离进行滤波,则不仅可以更新异常值,还可以保留更多的细节信息,提高可移动平台控制的准确性。
具体的,由于第一低通滤波器、第二低通滤波器的时间滞后不同,可以根据各低通滤波器的滞后特性对滤波后的目标距离进行时间同步。
本申请实施例提供的可移动平台的控制方法,通过确定图像中目标对象的关节点对应的目标像素点,以及根据图像中目标像素点的像素坐标值确定可移动平台与目标对象之间的目标距离,可以避免目标对象的姿态变化、受到周围环境的遮挡对目标距离测量的影响,从而提高可移动平台控制的准确性和安全性。
请参阅图7,图7是本申请一实施例提供的可移动平台700的示意性框图。示例性的,可移动平台700例如可以包括云台、无人飞行器、无人驾驶车辆或无人驾驶船艇中的至少一种。其中,无人飞行器例如可以为旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机;云台例如包括手持云台,或包括能够搭载于无人飞行器、无人驾驶车辆或无人驾驶船艇上的云台。
具体的,可移动平台700能够搭载拍摄装置。示例性的,拍摄装置搭载于云台,云台搭载于无人飞行器等可移动平台700。示例性的,云台包括至少一 个转轴结构,其中转轴结构可以包括对应偏航(yaw)轴的转轴结构、对应横滚(roll)轴的转轴结构和对应俯仰(pitch)轴的转轴结构中的至少一个。通过转轴结构的动作,可以稳定拍摄装置的姿态,例如维持拍摄装置的拍摄方向保持不变。
具体的,可移动平台700包括一个或多个处理器701。
在一些实施方式中,可移动平台700还包括存储器702。
示例性的,处理器701和存储器702通过总线703连接,该总线703比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器701可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器702可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
具体的,一个或多个处理器701单独地或共同地工作,用于执行前述的用于可移动平台的控制方法的步骤。
示例性的,所述处理器701用于运行存储在存储器702中的计算机程序,并在执行所述计算机程序时实现前述的用于可移动平台的控制方法。
示例性的,所述处理器701用于运行存储在存储器702中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获取所述拍摄装置拍摄目标对象获得的图像;
确定所述图像中所述目标对象的关节点对应的目标像素点;
根据所述图像中目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离;
根据所述目标距离控制所述可移动平台相对于所述目标对象移动。
本申请实施例提供的可移动平台的具体原理和实现方式均与前述实施例的可移动平台的控制方法类似,此处不再赘述。
请参阅图8,图8是本申请一实施例提供的一种无人飞行器800的示意性框图。
具体的,无人飞行器800能够搭载拍摄装置。示例性的,拍摄装置搭载于云台,云台搭载于无人飞行器800。
具体的,无人飞行器800包括一个或多个处理器801。
在一些实施方式中,无人飞行器800还包括存储器802。
示例性的,处理器801和存储器802通过总线803连接,该总线803比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器801可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central Processing Unit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器802可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
该无人飞行器800还包括飞行组件804,飞行组件804用于飞行。
具体的,一个或多个处理器801单独地或共同地工作,用于执行前述的用于可移动平台的控制方法的步骤。
示例性的,所述处理器801用于运行存储在存储器802中的计算机程序,并在执行所述计算机程序时实现前述的用于可移动平台的控制方法。
示例性的,所述处理器801用于运行存储在存储器802中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获取所述拍摄装置拍摄目标对象获得的图像;
确定所述图像中所述目标对象的关节点对应的目标像素点;
根据所述图像中目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离;
根据所述目标距离控制所述可移动平台相对于所述目标对象移动。
本申请实施例提供的飞行器的具体原理和实现方式均与前述实施例的可移动平台的控制方法类似,此处不再赘述。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的用于可移动平台的控制方法的步骤。
其中,所述计算机可读存储介质可以是前述任一实施例所述的可移动平台,如飞行器的内部存储单元,例如所述可移动平台的硬盘或内存。所述计算机可读存储介质也可以是所述可移动平台的外部存储设备,例如所述可移动平台上 配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
本申请上述实施例提供的可移动平台、飞行器、计算机可读存储介质,通过确定图像中目标对象的关节点对应的目标像素点,以及根据图像中目标像素点的像素坐标值确定可移动平台与目标对象之间的目标距离,可以避免目标对象的姿态变化、受到周围环境的遮挡对目标距离测量的影响,从而提高可移动平台控制的准确性和安全性。
应当理解,在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解,在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (52)

  1. 一种可移动平台的控制方法,其特征在于,所述可移动平台搭载拍摄装置;所述方法包括:
    获取所述拍摄装置拍摄目标对象获得的图像;
    确定所述图像中所述目标对象的关节点对应的目标像素点;
    根据所述图像中目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离;
    根据所述目标距离控制所述可移动平台相对于所述目标对象移动。
  2. 根据权利要求1所述的方法,其特征在于,所述目标对象为目标人物,所述关节点包括右肩,右肘,右腕,左肩,左肘,左腕,右髋,右膝,右踝,左髋,左膝,左踝,头顶,脖子对应的人体骨骼关节点中的至少一种;
    所述目标对象的关节点之间的先验距离包括肩肘之间、肘腕之间,左右肩,肩髋之间,髋膝之间,膝踝之间的先验距离中的至少一种。
  3. 根据权利要求1所述的方法,其特征在于,所述根据所述图像中目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离,包括:
    利用小孔成像原理或三角测量原理,根据所述图像中目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离。
  4. 根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
    确定所述目标对象的属性;
    根据所述属性确定所述目标对象的不同关节点之间的先验距离。
  5. 根据权利要求4所述的方法,其特征在于,所述目标对象的属性包括以下至少一种:所述目标对象的性别、是否为成年人。
  6. 根据权利要求1-5中任一项所述的方法,其特征在于,所述目标距离为第一目标距离,所述方法还包括:
    确定所述图像中所述目标对象所在的目标框;
    根据所述目标框确定所述可移动平台与所述目标对象之间的第二目标距离;
    所述根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    根据所述第一目标距离和所述第二目标距离控制所述可移动平台相对于所述目标对象移动。
  7. 根据权利要求6所述的方法,其特征在于,所述第一目标距离的数量为多个,多个所述第一目标距离是根据不同的先验距离确定的,所述根据所述第一目标距离和所述第二目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    确定多个所述第一目标距离与所述第二目标距离的差值;
    当所述差值满足预设条件时,根据所述第二目标距离控制所述可移动平台相对于所述目标对象移动;
    当所述差值不满足预设条件时,根据多个所述第一目标距离控制所述可移动平台相对于所述目标对象移动。
  8. 根据权利要求7所述的方法,其特征在于,所述方法还包括:
    当多个所述第一目标距离与所述第二目标距离的差值小于第一差值阈值时,确定所述差值满足所述预设条件。
  9. 根据权利要求7所述的方法,其特征在于,所述根据多个所述第一目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    根据多个所述第一目标距离,确定多个所述第一目标距离的平均值;
    根据所述平均值控制所述可移动平台相对于所述目标对象移动。
  10. 根据权利要求9所述的方法,其特征在于,所述根据多个所述第一目标距离,确定多个所述第一目标距离的平均值,包括:
    剔除多个所述第一目标距离中的异常值,所述异常值与除所述异常值以外的所述第一目标距离之间的差值大于预设阈值;
    根据剔除异常值后的所述第一目标距离,确定多个所述第一目标距离的平均值。
  11. 根据权利要求7所述的方法,其特征在于,所述确定多个所述第一目标距离与所述第二目标距离的差值,包括:
    剔除多个所述第一目标距离中的异常值,所述异常值与除所述异常值以外的所述第一目标距离之间的差值大于第二差值阈值;
    确定剔除异常值后的所述第一目标距离与所述第二目标距离的差值。
  12. 根据权利要求6所述的方法,其特征在于,所述根据所述目标框确定所述可移动平台与所述目标对象之间的第二目标距离,包括:
    根据所述目标框在预设方向上的长度、所述目标对象在所述预设方向上的先验长度确定所述可移动平台与所述目标对象之间的第二目标距离。
  13. 根据权利要求12所述的方法,其特征在于,所述根据所述目标框在预设方向上的长度,以及所述目标对象在所述预设方向上的先验长度确定所述可移动平台与所述目标对象之间的第二目标距离,包括:
    根据所述目标框在垂直方向上的高度,以及所述目标对象的先验身高确定所述可移动平台与所述目标对象之间的第二目标距离。
  14. 根据权利要求12所述的方法,其特征在于,所述方法还包括:
    根据所述目标对象的属性确定所述目标对象在所述预设方向上的先验长度。
  15. 根据权利要求1-5中任一项所述的方法,其特征在于,所述目标距离的数量为多个,多个所述目标距离是根据不同的先验距离确定的,所述根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    根据多个所述目标距离,确定多个所述目标距离的平均值;
    根据所述平均值控制所述可移动平台相对于所述目标对象移动。
  16. 根据权利要求15所述的方法,其特征在于,所述根据多个所述目标距离,确定多个所述目标距离的平均值,包括:
    剔除多个所述目标距离中的异常值,所述异常值与除所述异常值以外的所述目标距离之间的差值大于第三差值阈值;
    根据剔除异常值后的所述目标距离,确定多个所述目标距离的平均值。
  17. 根据权利要求1-16中任一项所述的方法,其特征在于,所述方法还包括:
    对所述目标距离进行滤波处理;
    所述根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    根据滤波处理后的目标距离确定所述目标对象的位置。
  18. 根据权利要求17所述的方法,其特征在于,所述对所述目标距离进行滤波处理,包括:
    通过第一低通滤波器检测所述目标距离中的异常值;
    通过第二低通滤波器对所述目标距离进行滤波处理,以平滑所述目标距离;
    其中,所述第一低通滤波器的截止频率低于所述第二低通滤波器的截止频率。
  19. 根据权利要求18所述的方法,其特征在于,通过多个第一低通滤波器检测所述目标距离中的异常值,所述多个第一低通滤波器的截止频率顺序增加。
  20. 根据权利要求18或19所述的方法,其特征在于,所述通过第二低通滤波器对所述目标距离进行滤波处理,包括:
    通过所述第二低通滤波器对所述异常值进行更新。
  21. 根据权利要求20所述的方法,其特征在于,所述通过所述第二低通滤波器对所述异常值进行更新,包括:
    通过所述第二低通滤波器对除所述异常值外的其他目标距离进行滤波处理,以得到所述异常值处更新的目标距离。
  22. 根据权利要求1-21中任一项所述的方法,其特征在于,至少有一个关节点不在所述目标对象的端部。
  23. 根据权利要求1-21中任一项所述的方法,其特征在于,所述根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    根据所述拍摄装置拍摄目标对象的拍摄角度以及所述目标距离确定所述目标对象的位置;
    根据所述目标对象的位置控制所述可移动平台相对于所述目标对象移动。
  24. 根据权利要求1-23中任一项所述的方法,其特征在于,所述控制所述可移动平台相对于所述目标对象移动,包括:
    规划所述可移动平台的移动路线和/或所述拍摄装置的拍摄方向。
  25. 根据权利要求1-23中任一项所述的方法,其特征在于,所述控制所述可移动平台相对于所述目标对象移动,包括:
    控制所述可移动平台对所述目标对象进行绕行或跟随。
  26. 一种可移动平台,其特征在于,所述可移动平台能够搭载拍摄装置,所述可移动平台包括一个或多个处理器,单独地或共同地工作,用于执行如下步骤:
    获取所述拍摄装置拍摄目标对象获得的图像;
    确定所述图像中所述目标对象的关节点对应的目标像素点;
    根据所述图像中目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离;
    根据所述目标距离控制所述可移动平台相对于所述目标对象移动。
  27. 根据权利要求26所述的可移动平台,其特征在于,所述目标对象为目标人物,所述关节点包括右肩,右肘,右腕,左肩,左肘,左腕,右髋,右膝,右踝,左髋,左膝,左踝,头顶,脖子对应的人体骨骼关节点中的至少一种;
    所述目标对象的关节点之间的先验距离包括肩肘之间、肘腕之间,左右肩,肩髋之间,髋膝之间,膝踝之间的先验距离中的至少一种。
  28. 根据权利要求26所述的可移动平台,其特征在于,所述处理器还用于实现:
    利用小孔成像原理或三角测量原理,根据所述图像中目标像素点的像素坐标值,以及所述目标对象的关节点之间的先验距离确定所述可移动平台与所述目标对象之间的目标距离。
  29. 根据权利要求26-28中任一项所述的可移动平台,其特征在于,所述处理器还用于实现:
    确定所述目标对象的属性;
    根据所述属性确定所述目标对象的不同关节点之间的先验距离。
  30. 根据权利要求29所述的可移动平台,其特征在于,所述目标对象的属性包括以下至少一种:所述目标对象的性别、是否为成年人。
  31. 根据权利要求26-30中任一项所述的可移动平台,其特征在于,所述目标距离为第一目标距离,所述处理器还用于实现:
    确定所述图像中所述目标对象所在的目标框;
    根据所述目标框确定所述可移动平台与所述目标对象之间的第二目标距离;
    所述根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    根据所述第一目标距离和所述第二目标距离控制所述可移动平台相对于所述目标对象移动。
  32. 根据权利要求31所述的可移动平台,其特征在于,所述第一目标距离的数量为多个,多个所述第一目标距离是根据不同的先验距离确定的,所述根 据所述第一目标距离和所述第二目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    确定多个所述第一目标距离与所述第二目标距离的差值;
    当所述差值满足预设条件时,根据所述第二目标距离控制所述可移动平台相对于所述目标对象移动;
    当所述差值不满足预设条件时,根据多个所述第一目标距离控制所述可移动平台相对于所述目标对象移动。
  33. 根据权利要求32所述的可移动平台,其特征在于,所述处理器还用于实现:
    当多个所述第一目标距离与所述第二目标距离的差值小于第一差值阈值时,确定所述差值满足所述预设条件。
  34. 根据权利要求32所述的可移动平台,其特征在于,所述根据多个所述第一目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    根据多个所述第一目标距离,确定多个所述第一目标距离的平均值;
    根据所述平均值控制所述可移动平台相对于所述目标对象移动。
  35. 根据权利要求34所述的可移动平台,其特征在于,所述根据多个所述第一目标距离,确定多个所述第一目标距离的平均值,包括:
    剔除多个所述第一目标距离中的异常值,所述异常值与除所述异常值以外的所述第一目标距离之间的差值大于预设阈值;
    根据剔除异常值后的所述第一目标距离,确定多个所述第一目标距离的平均值。
  36. 根据权利要求32所述的可移动平台,其特征在于,所述确定多个所述第一目标距离与所述第二目标距离的差值,包括:
    剔除多个所述第一目标距离中的异常值,所述异常值与除所述异常值以外的所述第一目标距离之间的差值大于第二差值阈值;
    确定剔除异常值后的所述第一目标距离与所述第二目标距离的差值。
  37. 根据权利要求31所述的可移动平台,其特征在于,所述根据所述目标框确定所述可移动平台与所述目标对象之间的第二目标距离,包括:
    根据所述目标框在预设方向上的长度、所述目标对象在所述预设方向上的先验长度确定所述可移动平台与所述目标对象之间的第二目标距离。
  38. 根据权利要求37所述的可移动平台,其特征在于,所述根据所述目标框在预设方向上的长度,以及所述目标对象在所述预设方向上的先验长度确定所述可移动平台与所述目标对象之间的第二目标距离,包括:
    根据所述目标框在垂直方向上的高度,以及所述目标对象的先验身高确定所述可移动平台与所述目标对象之间的第二目标距离。
  39. 根据权利要求37所述的可移动平台,其特征在于,所述处理器还用于实现:
    根据所述目标对象的属性确定所述目标对象在所述预设方向上的先验长度。
  40. 根据权利要求26-30中任一项所述的可移动平台,其特征在于,所述目标距离的数量为多个,多个所述目标距离是根据不同的先验距离确定的,所述根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    根据多个所述目标距离,确定多个所述目标距离的平均值;
    根据所述平均值控制所述可移动平台相对于所述目标对象移动。
  41. 根据权利要求40所述的可移动平台,其特征在于,所述根据多个所述目标距离,确定多个所述目标距离的平均值,包括:
    剔除多个所述目标距离中的异常值,所述异常值与除所述异常值以外的所述目标距离之间的差值大于第三差值阈值;
    根据剔除异常值后的所述目标距离,确定多个所述目标距离的平均值。
  42. 根据权利要求26-41中任一项所述的可移动平台,其特征在于,所述处理器还用于实现:
    对所述目标距离进行滤波处理;
    所述根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    根据滤波处理后的目标距离确定所述目标对象的位置。
  43. 根据权利要求42所述的可移动平台,其特征在于,所述对所述目标距离进行滤波处理,包括:
    通过第一低通滤波器检测所述目标距离中的异常值;
    通过第二低通滤波器对所述目标距离进行滤波处理,以平滑所述目标距离;
    其中,所述第一低通滤波器的截止频率低于所述第二低通滤波器的截止频率。
  44. 根据权利要求43所述的可移动平台,其特征在于,通过多个第一低通滤波器检测所述目标距离中的异常值,所述多个第一低通滤波器的截止频率顺序增加。
  45. 根据权利要求43或44所述的可移动平台,其特征在于,所述通过第二低通滤波器对所述目标距离进行滤波处理,包括:
    通过所述第二低通滤波器对所述异常值进行更新。
  46. 根据权利要求45所述的可移动平台,其特征在于,所述通过所述第二低通滤波器对所述异常值进行更新,包括:
    通过所述第二低通滤波器对除所述异常值外的其他目标距离进行滤波处理,以得到所述异常值处更新的目标距离。
  47. 根据权利要求26-46中任一项所述的可移动平台,其特征在于,至少有一个关节点不在所述目标对象的端部。
  48. 根据权利要求26-46中任一项所述的可移动平台,其特征在于,所述根据所述目标距离控制所述可移动平台相对于所述目标对象移动,包括:
    根据所述拍摄装置拍摄目标对象的拍摄角度以及所述目标距离确定所述目标对象的位置;
    根据所述目标对象的位置控制所述可移动平台相对于所述目标对象移动。
  49. 根据权利要求26-48中任一项所述的可移动平台,其特征在于,所述控制所述可移动平台相对于所述目标对象移动,包括:
    规划所述可移动平台的移动路线和/或所述拍摄装置的拍摄方向。
  50. 根据权利要求26-48中任一项所述的可移动平台,其特征在于,所述控制所述可移动平台相对于所述目标对象移动,包括:
    控制所述可移动平台对所述目标对象进行绕行或跟随。
  51. 根据权利要求26-50中任一项所述的可移动平台,其特征在于,所述可移动平台包括以下至少一种:云台、无人飞行器、无人驾驶车辆或无人驾驶船艇。
  52. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1-25中任一项所述的方法。
PCT/CN2020/087083 2020-04-26 2020-04-26 可移动平台及其控制方法、存储介质 WO2021217311A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080005304.0A CN112753210A (zh) 2020-04-26 2020-04-26 可移动平台及其控制方法、存储介质
PCT/CN2020/087083 WO2021217311A1 (zh) 2020-04-26 2020-04-26 可移动平台及其控制方法、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/087083 WO2021217311A1 (zh) 2020-04-26 2020-04-26 可移动平台及其控制方法、存储介质

Publications (1)

Publication Number Publication Date
WO2021217311A1 true WO2021217311A1 (zh) 2021-11-04

Family

ID=75651303

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/087083 WO2021217311A1 (zh) 2020-04-26 2020-04-26 可移动平台及其控制方法、存储介质

Country Status (2)

Country Link
CN (1) CN112753210A (zh)
WO (1) WO2021217311A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506773A (zh) * 2014-12-22 2015-04-08 天津市亚安科技股份有限公司 基于人眼间距的摄像机自动变倍控制方法
CN106354156A (zh) * 2016-09-29 2017-01-25 腾讯科技(深圳)有限公司 一种跟踪目标对象的方法、装置及飞行器
CN107458308A (zh) * 2016-06-02 2017-12-12 王明伟 一种辅助驾驶方法及系统
CN107908195A (zh) * 2017-11-06 2018-04-13 深圳市道通智能航空技术有限公司 目标追踪方法、装置、追踪器及计算机可读存储介质
CN109887040A (zh) * 2019-02-18 2019-06-14 北京航空航天大学 面向视频监控的运动目标主动感知方法及系统
CN110770668A (zh) * 2018-08-22 2020-02-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台及可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847684A (zh) * 2016-03-31 2016-08-10 深圳奥比中光科技有限公司 无人机
CN108022255A (zh) * 2017-12-07 2018-05-11 深圳慧源创新科技有限公司 无人机自动跟踪方法、无人机自动跟踪装置和无人机
CN109960962B (zh) * 2017-12-14 2022-10-21 腾讯科技(深圳)有限公司 图像识别方法、装置、电子设备以及可读存储介质
WO2019144296A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 可移动平台的控制方法、装置和可移动平台
CN108628306B (zh) * 2018-04-10 2021-06-25 平安科技(深圳)有限公司 机器人行走障碍检测方法、装置、计算机设备和存储介质
CN109271845A (zh) * 2018-07-31 2019-01-25 浙江理工大学 基于计算机视觉的人体动作分析与评价方法
CN108960211B (zh) * 2018-08-10 2020-12-01 罗普特(厦门)科技集团有限公司 一种多目标人体姿态检测方法以及系统
CN109782812B (zh) * 2019-03-06 2022-04-19 深圳慧源创新科技有限公司 无人机飞行方法、装置、pid控制器及存储介质
CN110225400B (zh) * 2019-07-08 2022-03-04 北京字节跳动网络技术有限公司 一种动作捕捉方法、装置、移动终端及存储介质
CN110807391A (zh) * 2019-10-25 2020-02-18 中国人民解放军国防科技大学 基于视觉的人-无人机交互用人体姿态指令识别方法
CN110991268B (zh) * 2019-11-13 2022-05-20 华中科技大学 一种基于深度图像的帕金森手部运动量化分析方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506773A (zh) * 2014-12-22 2015-04-08 天津市亚安科技股份有限公司 基于人眼间距的摄像机自动变倍控制方法
CN107458308A (zh) * 2016-06-02 2017-12-12 王明伟 一种辅助驾驶方法及系统
CN106354156A (zh) * 2016-09-29 2017-01-25 腾讯科技(深圳)有限公司 一种跟踪目标对象的方法、装置及飞行器
CN107908195A (zh) * 2017-11-06 2018-04-13 深圳市道通智能航空技术有限公司 目标追踪方法、装置、追踪器及计算机可读存储介质
CN110770668A (zh) * 2018-08-22 2020-02-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台及可读存储介质
CN109887040A (zh) * 2019-02-18 2019-06-14 北京航空航天大学 面向视频监控的运动目标主动感知方法及系统

Also Published As

Publication number Publication date
CN112753210A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
US10169880B2 (en) Information processing apparatus, information processing method, and program
TWI693959B (zh) 控制裝置、飛行體以及記錄媒體
CN106778669A (zh) 基于无人机进行目标对象进行识别的方法及装置
US11644841B2 (en) Robot climbing control method and robot
WO2005088244A1 (ja) 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置
JP2019185557A (ja) 画像解析装置、方法およびプログラム
WO2022021027A1 (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
US20160184998A1 (en) Robot identification system
JP2018004420A (ja) 装置、移動体装置、位置ずれ検出方法及び測距方法
WO2019021569A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN110570463A (zh) 一种目标状态估计方法、装置和无人机
CN108700885B (zh) 一种飞行控制方法、遥控装置、遥控系统
WO2020135447A1 (zh) 一种目标距离估计方法、装置及无人机
CN116578035A (zh) 基于数字孪生技术的旋翼无人机自主降落控制系统
WO2021217450A1 (zh) 目标跟踪方法、设备及存储介质
JP2018009918A (ja) 自己位置検出装置、移動体装置及び自己位置検出方法
WO2021217311A1 (zh) 可移动平台及其控制方法、存储介质
Li et al. Metric sensing and control of a quadrotor using a homography-based visual inertial fusion method
US10577101B2 (en) Water surface detection method and apparatus, unmanned aerial vehicle landing method and apparatus and unmanned aerial vehicle
WO2020019130A1 (zh) 运动估计方法及可移动设备
WO2020149149A1 (en) Information processing apparatus, information processing method, and program
WO2021016875A1 (zh) 飞行器的降落方法、无人飞行器及计算机可读存储介质
WO2022021028A1 (zh) 目标检测方法、装置、无人机及计算机可读存储介质
CN109754412B (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质
JP6559987B2 (ja) 人物認証装置及び人物認証方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20933549

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20933549

Country of ref document: EP

Kind code of ref document: A1