WO2022141956A1 - 飞行控制方法、视频编辑方法、装置、无人机及存储介质 - Google Patents

飞行控制方法、视频编辑方法、装置、无人机及存储介质 Download PDF

Info

Publication number
WO2022141956A1
WO2022141956A1 PCT/CN2021/087612 CN2021087612W WO2022141956A1 WO 2022141956 A1 WO2022141956 A1 WO 2022141956A1 CN 2021087612 W CN2021087612 W CN 2021087612W WO 2022141956 A1 WO2022141956 A1 WO 2022141956A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
sub
flight
drone
trajectory
Prior art date
Application number
PCT/CN2021/087612
Other languages
English (en)
French (fr)
Inventor
秦罗霄
张伟
刘雨奇
商俊蓓
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN202180005825.0A priority Critical patent/CN114556256A/zh
Publication of WO2022141956A1 publication Critical patent/WO2022141956A1/zh
Priority to US18/215,729 priority patent/US20230359204A1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Abstract

一种飞行控制方法、视频编辑方法、装置、无人机及存储介质,所述方法包括:获取无人机的目标飞行轨迹,所述目标飞行轨迹包括多种子轨迹,所述多种子轨迹包括环绕子轨迹、渐远子轨迹和/或渐近子轨迹;控制所述无人机按照所述目标飞行轨迹飞行,并利用所述无人机的拍摄装置对目标拍摄对象进行拍摄。本实施例实现仅需一次飞行过程即可获取对应于多种子轨迹的多段视频画面。

Description

飞行控制方法、视频编辑方法、装置、无人机及存储介质 技术领域
本申请涉及无人机技术领域,具体而言,涉及一种飞行控制方法、视频编辑方法、装置、无人机及存储介质。
背景技术
可移动平台可用于执行军事和民用应用的导航、监视,侦察和探索任务。无人机(UAV)是可移动平台的示例。可移动平台可以携带有效载荷(例如拍摄装置),以执行特定功能,例如捕获可移动平台周围环境的图像和视频;例如可以跟踪在地面或空中移动的目标物体。其中,用于控制可移动平台的信息通常由可移动平台从终端设备(例如遥控器)中接收和/或由可移动平台确定。
无人机(UAV)上通常设置有拍摄装置,用户使用无人机进行视频拍摄时,需要用户操控遥控器来手动控制无人机和拍摄装置,以调整好拍摄位置和拍摄角度逐镜头拍摄。这样,新手用户难以拍摄到比较好的视频素材。拍摄完成后,用户通常还需要利用视频编辑软件进行后期编辑。如此,需要用户进行繁复的操作,耗费大量的时间。
发明内容
有鉴于此,本申请的目的之一是提供一种飞行控制方法、视频编辑方法、装置、无人机及存储介质。
相关技术中,用户使用无人机进行视频拍摄时,需要用户操控遥控器来手动控制无人机和拍摄装置,以调整好拍摄位置和拍摄角度逐镜头拍摄,在这个过程中需要通过遥控器对无人机、拍摄装置等部件进行参数设置以及实时调整,控制过程相对复杂,对于不熟悉航拍的新手用户来说,在短时间内难以确定令人满意的参数,从而难以拍摄到比较好的视频素材。
因此,在第一方面,本申请实施例提供了一种无人机的飞行控制方法,所述无人机设置有拍摄装置,所述方法包括:
获取所述拍摄装置的目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离;
根据所述目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离,在多种飞行轨迹中确定目标飞行轨迹;
控制所述无人机按照所述目标飞行轨迹飞行,并利用所述拍摄装置对所述目标拍摄对象进行拍摄。
本申请实施例提供的无人机的飞行控制方法,能够针对于目标拍摄对象的不同类型和/或所述目标拍摄对象与所述无人机之间的不同距离预先设置有多种飞行轨迹,从而在实际航拍场景下,能够基于对目标拍摄对象的类型和/或目标拍摄对象与无人机之间的距离的识别,从多种飞行轨迹中确定一种合适的飞行轨迹作为目标飞行轨迹;实现针对于不同类型和不同距离的目标拍摄对象能够采用不同的飞行轨迹策略;进一步的,无人机可以按照适配的目标飞行轨迹自动飞行,无需用户频繁的手动操控过程,减少了用户的操作步骤,有利于提高用户使用体验。
进一步地,考虑到相关技术中无人机按照预设轨迹飞行的方式,通常只能够控制无人机自动按照单一预设轨迹运动,这种方式拍摄得到的视频画面较为单调;如果用户想要组合不同的轨迹,需要在上一次拍摄结束后手动调整航拍飞行器到合适拍摄的位置重新开始,如此需要进行复杂的手动操作,而且需要无人机在被调整之后飞行多次,耗费较长时间。
因此,在第二方面,本申请实施例提供了一种无人机的飞行控制方法,所述无人机设置有拍摄装置,所述方法包括:
获取所述无人机的目标飞行轨迹,所述目标飞行轨迹包括多种子轨迹,所述多种子轨迹包括环绕子轨迹、渐远子轨迹和/或渐近子轨迹;
控制所述无人机按照所述目标飞行轨迹飞行,并利用所述拍摄装置对目标拍摄对象进行拍摄。
本申请实施例提供的无人机的飞行控制方法,获取的所述无人机的目标飞行轨迹包括有多种子轨迹,所述多种子轨迹包括环绕子轨迹、渐远子轨迹和/或渐近子轨迹,无人机在按照所述目标飞行轨迹飞行的同时利用所述拍摄装置对目标拍摄对象进行拍摄,实现仅需一次飞行过程即可获取对应于多种子轨迹的多段视频画面,从而获得组合多种轨迹的视频画面;进一步的,无人机可以按照目标飞行轨迹中的各个子轨迹自动飞行,无需用户频繁的自动调整过程,减少了用户的操作步骤,有利于提高用户使 用体验。
进一步地,考虑到无人机在按照飞行轨迹飞行中,相关技术中通过以无人机当前所在位置作为飞行轨迹的起点开始控制所述无人机的拍摄装置进行拍摄,但是在进行人像拍摄时,无人机以当前所在位置为起始点对目标拍摄对象开始进行拍摄,可能有成像效果不佳的问题。
因此,在第三方面中,本申请实施例提供了一种无人机的飞行控制方法,所述无人机设置有拍摄装置,所述方法包括:
获取所述拍摄装置的目标拍摄对象的类型;
若所述拍摄装置的目标拍摄对象的类型为人物类型,控制所述无人机飞行至目标起点,以使得所述无人机以所述目标起点为起始点对所述目标拍摄对象进行拍摄;
其中,所述目标起点与所述目标拍摄对象的相对位置关系满足预设条件。
本申请实施例提供的无人机的飞行控制方法,能够在进行人像拍摄的场景下,考虑无人机与所述目标拍摄对象的相对位置关系,在无人机的起始点与所述目标拍摄对象的相对位置关系不满足预设条件的情况下,控制无人机飞行至满足所述预设条件的目标起点,以使得所述无人机以所述目标起点为起始点对所述目标拍摄对象进行拍摄;本实施例基于无人机与所述目标对象的相对位置关系调整所述无人机在拍摄人像时的起始点,使得人像在视频画面中有较好的成像效果。
进一步地,相关技术中在无人机中通常会在其机头和/或机尾设置有环境感知装置,无人机可以根据环境感知装置检测到的环境信息实现避障,在环绕飞行场景下,由于环境感知装置的感知视场有限,无法感知到有关于无人机飞行轨迹上的环境信息,从而无法进行避障。
因此,在第四方面,本申请实施例提供了一种无人机的飞行控制方法,所述无人机设置有拍摄装置,所述方法包括:
获取目标拍摄对象与所述无人机之间的距离;
若所述目标拍摄对象与所述无人机之间的距离大于预设阈值,在所述无人机环绕所述目标拍摄对象时,控制所述无人机基于内螺旋航线环绕所述目标拍摄对象,所述拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向呈预设夹角。
本申请实施例提供的无人机的飞行控制方法,到所述无人机环绕所述目标拍摄对象飞行的场景下,发明人发现,在所述拍摄装置朝向所述目标拍摄对象,且与所述无 人机的机头方向呈预设夹角的情况下,按照所述无人机基于内螺旋航线环绕所述目标拍摄对象,能够让环境感知装置在其感知视场内检测到有关于无人机飞行轨迹上的环境信息,从而实现避障。
考虑到如果用户想要获得组合多个镜头的视频,则用户仍需要手动组合和编辑各个视频片段,操作繁琐。因此,在第五方面,本申请实施例提供了一种编辑方法,所述方法包括:
获取无人机按照目标飞行轨迹飞行时,利用拍摄装置拍摄得到的至少部分视频,所述目标飞行轨迹包括多种子轨迹;
根据目标视频编辑模板对所述至少部分视频进行自动编辑以得到目标视频,所述目标视频包括多个子片段,所述多个子片段中的至少两个子片段对应于所述多种子轨迹中不同的子轨迹。
本申请实施例提供的编辑方法,针对于无人机在按照包括多种子轨迹的目标飞行轨迹飞行,并利用所述拍摄装置对目标拍摄对象进行拍摄的场景,能够获取对应于所述多种子轨迹的多个子片段(即至少部分视频),并使用目标视频编辑模板对所述至少部分视频进行自动编辑以得到目标视频,实现获取组合多个镜头的视频,无需用户手动组合与编辑,减少了用户的操作步骤,有利于提高用户使用体验。
第六方面,本申请实施例提供了一种飞行控制装置,所述装置包括:
用于存储可执行指令的存储器;
一个或多个处理器;
其中,所述一个或多个处理器执行所述可执行指令时,被单独地或共同地配置成执行第一方面、第二方面、第三方面或者第四方面所述的方法。
第七方面,本申请实施例提供了一种视频编辑装置,所述装置包括:
用于存储可执行指令的存储器;
一个或多个处理器;
其中,所述一个或多个处理器执行所述可执行指令时,被单独地或共同地配置成执行第五方面所述的方法。
第八方面,本申请实施例提供了一种无人机,包括:
机体;
动力系统,设置于所述机体,用于为所述无人机提供动力;
以及,如第六方面所述的飞行控制装置。
第九方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储 介质存储有可执行指令,所述可执行指令被处理器执行时实现第一方面、第二方面、第三方面、第四方面或者第五方面所述的方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种飞行控制系统的示意图;
图2是本申请实施例提供的一种应用场景示意图;
图3是本申请实施例提供的一种框选目标拍摄对象的示意图;
图4、图7、图10、图16和图24是本申请实施例提供的无人机的飞行控制方法的不同流程示意图;
图5、图6是本申请实施例提供的飞行轨迹的不同示意图;
图8是本申请实施例提供的目标拍摄对象的示意图;
图9是本申请实施例提供的选择目标飞行轨迹的流程示意图;
图11是本申请实施例提供的无人机、拍摄装置的平移或者旋转的示意图;
图12A和图12B是本申请实施例提供的第一子轨迹的不同示意图;
图13A、图14A和图15A是本申请实施例提供的无人机飞行方向、环境感知装置视场和拍摄装置视场的示意图;
图13B、图14B、图14C、图14D和图15B是本申请实施例提供的无人机的实际飞行轨迹与环境感知装置的视场的示意图;
图17A和图17B是本申请实施例提供的无人机的环境感知装置的视场的示意图;
图18、图19和图20是本申请实施例提供的飞行轨迹的不同示意图;
图21是本申请实施例提供的飞行区域的显示示意图;
图22是本申请实施例提供的无人机实时位置和飞行方向在地图上的显示示意图;
图23是本申请实施例提供的无人机当前进行的子轨迹和进度的示意图;
图25是本申请实施例提供的子轨迹对应的视频、目标视频片段、视频编辑模板所需的子片段的示意图;
图26是本申请实施例提供的预览视频的示意图;
图27是本申请实施例提供的选择目标视频编辑模板的示意图;
图28是本申请实施例提供的目标视频编辑模板的编辑过程的示意图;
图29是本申请实施例提供的终端设备与无人机的交互示意图;
图30是本申请实施例提供的飞行控制装置的结构示意图;
图31是本申请实施例提供的无人机的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对于相关技术中提到的问题,本申请实施例提供了一种无人机的飞行控制方法以及视频编辑方法,实现无人机在按照包括多种子轨迹的目标轨迹飞行过程中,无人机上的拍摄装置可以在不同子轨迹中进行拍摄,并由终端设备将其编辑为组合不同镜头的视频。其中,所述无人机的飞行控制方法可以应用于飞行控制装置;所述视频编辑方法可以应用在视频编辑装置。
所述飞行控制装置可以是具有数据处理功能的芯片或者集成电路,所述飞行控制装置包括但不限于例如中央处理单元(Central Processing Unit,CPU)、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)或者现成可编程门阵列(Field-Programmable Gate Array,FPGA)等。其中,所述飞行控制装置可以安装于终端设备或者无人机。示例性的,所述飞行控制装置安装于终端设备时,所述终端设备可以与无人机通信连接以实现对所述无人机的控制。示例性的,所述飞行控制装置安装于无人机时,所述飞行控制装置通过执行上述方法以控制所述无人机。所述飞行控制装置可以是具有数据处理功能的电子设备,所述电子设备包括但不限于无人机、终端设备或者服务器等。示例性的,所述飞行控制装置为具有数据处理功能的终端设备时,所述终端设备可以与无人机通信连接以实现对所述无人机的控制。示例性的,所述飞行控制装置为具有数据处理功能的无人机时,所述无人机通过执行上述控制方法实现对自身的控制。
所述视频编辑装置可以安装于终端设备或者服务器,所述终端设备可以与无人机通信连接,以接收所述无人机的拍摄装置所拍摄的视频,并将所述视频传输给所述视频编辑装置。例如,所述视频编辑装置可以是安装于所述终端设备或者服务器中的软 件产品,该软件产品可以包括执行本申请实施例提供的视频编辑方法的应用程序。例如,所述视频编辑装置可以是具有数据处理能力的终端设备或者服务器。
其中,所述终端设备与无人机通信的类型的示例可以包括但不限于经由以下方式的通信:因特网,局域网(LAN),广域网(WAN),蓝牙,近场通信(NFC)技术,基于诸如通用分组无线电服务(GPRS)、GSM、增强型数据GSM环境(EDGE)、3G、4G或长期演进(LTE)协议的移动数据协议的网络,红外线(IR)通信技术,和/或WiFi,并且可以是无线式、有线式、或其组合。
对于本领域技术人员将会显而易见的是,可以不受限制地使用其他类型的无人机,本申请的实施例可以应用于各种类型的无人机。例如,无人机可以是小型或大型的无人机。在某些实施例中,无人机可以是旋翼无人机(rotorcraft),例如,由多个推动装置通过空气推动的多旋翼无人机,本申请的实施例并不限于此,无人机也可以是其它类型的无人机,例如固定翼无人机。
图1是根据本申请的实施例的无人飞行系统的示意性架构图。本实施例以旋翼无人机为例进行说明。
无人飞行系统100可以包括无人机110、显示设备130和终端设备140。其中,无人机110可以包括动力系统150、飞行控制系统160、机架和承载在机架上的云台120。无人机110可以与终端设备140和显示设备130进行无线通信。无人机110可以是农业无人机或行业应用无人机,有循环作业的需求。
机架可以包括机身和脚架(也称为起落架)。机身可以包括中心架以及与中心架连接的一个或多个机臂,一个或多个机臂呈辐射状从中心架延伸出。脚架与机身连接,用于在无人机110着陆时起支撑作用。
动力系统150可以包括一个或多个电子调速器(简称为电调)151、一个或多个螺旋桨153以及与一个或多个螺旋桨153相对应的一个或多个电机152,其中电机152连接在电子调速器151与螺旋桨153之间,电机152和螺旋桨153设置在无人机110的机臂上;电子调速器151用于接收飞行控制系统160产生的驱动信号,并根据驱动信号提供驱动电流给电机152,以控制电机152的转速。电机152用于驱动螺旋桨旋转,从而为无人机110的飞行提供动力,该动力使得无人机110能够实现一个或多个自由度的运动。在某些实施例中,无人机110可以围绕一个或多个旋转轴旋转。例如,上述旋转轴可以包括横滚轴(Roll)、偏航轴(Yaw)和俯仰轴(pitch)。应理解,电机152可以是直流电机,也可以交流电机。另外,电机152可以是无刷电机,也可以是有刷电机。
飞行控制系统160可以包括飞行控制器161(可以指上述的飞行控制装置)和传感系统162。传感系统162用于测量无人机的姿态信息,即无人机110在空间的位置信息和状态信息,例如,三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统162例如可以包括陀螺仪、超声传感器、电子罗盘、惯性测量单元(Inertial Measurement Unit,IMU)、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如,全球导航卫星系统可以是全球定位系统(Global Positioning System,GPS)。飞行控制器161用于控制无人机110的飞行,例如,可以根据传感系统162测量的姿态信息控制无人机110的飞行。应理解,飞行控制器161可以按照预先编好的程序指令对无人机110进行控制,也可以通过响应来自终端设备140的一个或多个遥控信号对无人机110进行控制。
云台120可以包括电机122。云台用于携带拍摄装置123。飞行控制器161可以通过电机122控制云台120的运动。可选的,作为另一实施例,云台120还可以包括控制器,用于通过控制电机122来控制云台120的运动。应理解,云台120可以独立于无人机110,也可以为无人机110的一部分。应理解,电机122可以是直流电机,也可以是交流电机。另外,电机122可以是无刷电机,也可以是有刷电机。还应理解,云台可以位于无人机的顶部,也可以位于无人机的底部。
拍摄装置123例如可以是照相机或摄像机等用于捕获图像的设备,拍摄装置123可以与飞行控制器通信,并在飞行控制器的控制下进行拍摄。本实施例的拍摄装置123至少包括感光元件,该感光元件例如为互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)传感器或电荷耦合元件(Charge-coupled Device,CCD)传感器。示例性的,所述拍摄装置可以用特定图像分辨率来捕捉图像或一系列图像。示例性的,所述拍摄装置可以用特定捕捉速率捕捉一系列图像。示例性的,拍摄装置可以具有多个可调参数。拍摄装置可以用不同的参数在经受相同的外部条件(例如,位置、光照)时捕捉不同的图像。可以理解,拍摄装置123也可直接固定于无人机110上,从而云台120可以省略。
显示设备130位于无人飞行系统100的地面端,可以通过无线方式与无人机110进行通信,并且可以用于显示无人机110的姿态信息。另外,还可以在显示设备130上显示拍摄装置123拍摄的图像。应理解,显示设备130可以是独立的设备,也可以集成在终端设备140中。
终端设备140位于无人飞行系统100的地面端,可以通过无线方式与无人机110进行通信,用于对无人机110进行远程操纵。
应理解,上述对于无人飞行系统各组成部分的命名仅是出于标识的目的,并不应理解为对本申请的实施例的限制。
在一些示例性的实施例中,本申请实施例提供的无人机的飞行控制方法可以应用于如图2所示的场景中,所述无人机110在按照目标飞行轨迹飞行的过程中,无人机110上的拍摄装置123对目标拍摄对象30进行拍摄;以及所述无人机110可以与终端设备140通信连接,以便将有关于目标飞行轨迹的信息发送给终端设备140,由终端设备140中的显示装置将有关于目标飞行轨迹的信息进行显示。示例性地,所述拍摄装置123可以通过云台搭载于无人机110。示例性地,所述目标飞行轨迹可以基于目标拍摄对象30的类型和/或所述目标拍摄对象30与所述无人机110之间的距离从多种飞行轨迹中确定;示例性地,所述目标飞行轨迹包括多种子轨迹,包括环绕子轨迹、渐远子轨迹和/或渐近子轨迹。
可以理解的是,本申请实施例对于所述目标拍摄对象不做任何限制,可依据实际应用场景进行具体设置。所述目标拍摄对象可以由用户选择。在一个例子中,所述目标拍摄对象可以携带卫星定位装置(如GPS装置、北斗卫星定位装置等),所述卫星定位装置可以向安装有所述飞行控制装置的无人机或者终端设备发送所述目标拍摄对象的位置信息。在一个例子中,所述目标拍摄对象由用户从所述拍摄装置拍摄的画面中选择;例如所述无人机的拍摄装置将实时拍摄的画面传输给所述终端设备,由所述终端设备的显示装置(如图1中的显示设备130)显示所述画面,请参阅图3,用户可以直接在画面中框选想要拍摄的目标拍摄对象30,图3示出了框选画面中的雕塑建筑作为目标拍摄对象的示意图;或者,所述终端设备可以对画面进行目标检测(比如检测目标的类型等),并显示出已检测的目标,用户可以通过点击其中一个目标以便从多个已检测的目标中选择想要拍摄的目标拍摄对象。在一个例子中,所述飞行控制装置可以获取预先记录的目标拍摄对象的信息,比如目标拍摄对象为人像,目标拍摄对象的信息可以是人脸信息,所述飞行控制装置可以根据所述目标拍摄对象的信息从所述拍摄装置拍摄的画面中确定所述目标拍摄对象。
在一些实施例中,所述目标拍摄对象可以为静止的物体或者移动的物体。
静止的目标可以在环境内保持实质上静止。静止的目标的示例可以包括但不限于:景观特征(例如,树、植物、山脉、山丘、河流、小溪、小河、山谷、大圆石、岩石等等)或人造特征(例如,结构、建筑物、道路、桥梁、杆柱、栅栏、不动的载运工具、标志、灯,等等)。静止的目标可以包括大目标或小目标。用户可以选择静止的目标。可以识别出静止的目标。可选地,可以对静止的目标进行测绘。在一些情形下, 所述静止的目标可以对应于结构或物体的一个选定部分。例如,静止的目标可以对应于摩天大楼的具体区段(例如,顶层)。
移动的目标可能能够在环境内移动。移动的目标可以一直在运动,或者可以在一段时间的多个部分是运动的。移动的目标可以沿相对稳定的方向移动或者可以改变方向。移动的目标可以在空气中、陆地上、地下、水上或水中、和/或太空中移动。移动的目标可以是有生命的移动的目标(例如,人、动物)或没有生命的移动的目标(例如,移动的载运工具、移动的机械、随风飞舞的或被水承载的物体、被有生命的目标携带的物体)。移动的目标可以包括单一移动的目标或一群移动的目标。例如,移动的目标可以包括单个人或一群移动的人。移动的目标可以是大目标或小目标。用户可以选择移动的目标。可以识别出移动的目标。可以随着所述移动的物体的移动来改变或更新所述路径。
接下来对本申请实施例中的无人机的飞行控制方法进行说明:请参阅图4,为本申请实施例提供的第一种飞行控制方法的流程示意图,所述方法可以由飞行控制装置来执行,以下以所述飞行控制装置安装于无人机为例进行说明;所述方法包括:
在步骤S101中,获取所述无人机的目标飞行轨迹,所述目标飞行轨迹包括多种子轨迹,所述多种子轨迹包括环绕子轨迹、渐远子轨迹和/或渐近子轨迹。
在步骤S102中,控制所述无人机按照所述目标飞行轨迹飞行,并利用所述拍摄装置对目标拍摄对象进行拍摄。
其中,所述目标飞行轨迹所包括的多种子轨迹用于:让所述无人机以多种不同的飞行方式飞行,实现以不同方式对所述目标拍摄对象进行拍摄。
在一些实施例中,所述目标飞行轨迹包括多种子轨迹,所述多种子轨迹包括环绕子轨迹、渐远子轨迹和/或渐近子轨迹等轨迹类型。其中,环绕子轨迹即无人机环绕所述目标拍摄对象飞行,渐远子轨迹即无人机朝远离所述目标拍摄对象的方向飞行,渐进式轨迹即无人机朝靠近所述目标拍摄对象的方向飞行。
其中,多种子轨迹中的每种子轨迹包括以下至少一种轨迹参数:无人机的飞行参数、所述拍摄装置的拍摄参数;所述多种子轨迹之间的轨迹参数互不相同。示例性的,所述无人机的飞行参数包括但不限于无人机的位置、速度、加速度、高度、飞行距离或者飞行方向等。所述拍摄装置的拍摄参数包括但不限于焦距、变焦倍数或者曝光参数等;在所述拍摄装置通过云台搭载于所述无人机的情况下,所述拍摄装置的拍摄参数还可以包括所述云台的转动参数(其影响所述拍摄装置的视场方向),例如云台朝向、转动速度、转动加速度或者转动方向等。由于每种子轨迹均包括有轨迹参数,使得无 人机和/或所述拍摄装置可以按照所述轨迹参数自动执行任务,无需用户操作,有利于节省用户的操作步骤,提高用户使用体验。
示例性的,在具体的实现过程中,可以参数化每种子轨迹,以获取每种子轨迹的轨迹参数,如:斜飞式的子轨迹主要关注轨迹和水平面的夹角以及该子轨迹和起始点的距离;弧形环绕的子轨迹则关注环绕的角度和半径等。利用所设定的生成参数,采用高阶贝塞尔曲线来生成各种子轨迹多项式,即用一个和时间相关的多项式来描述每种子轨迹,再利用轨迹采样工具对轨迹进行采样,获得该种子轨迹的若干轨迹点,每个轨迹点对应有轨迹参数;所述无人机在按照所述子轨迹进行飞行的过程中,例如可以利用预先获得的轨迹点的位置,根据无人机当前的状态(位置、速度、加速度),实时解算出无人机此时靠近轨迹点时应该具有的速度和加速度,将此时的速度和加速度传递给无人机的飞行控制装置即可完成对飞机飞行过程的自动控制。
示例性的,考虑在所述无人机在按照目标飞行轨迹飞行的过程中,存在速度控制的需求,如此阶段加速、此阶段减速等。上述提到可以用一个和时间相关的多项式来描述每种子轨迹,再利用轨迹采样工具对轨迹进行采样,则可以利用轨迹多项式按时间采样的特点,为所述轨迹点设置速度属性,利用所设定的速度控制需求,实时解算出每个轨迹点所对应的速度,并在无人机飞行过程中实时判断出当前所跟随的轨迹点位置,并获得该轨迹点对应的速度,从而实现了对每段子轨迹的飞行速度的控制。
示例性的,针对于所述拍摄装置的朝向的控制,在无人机飞行过程中可以实时计算目标拍摄物体和无人机之间的位置关系,根据所述位置关系来控制所述拍摄装置的朝向(或者说控制所述云台的朝向)。
在一些实施例中,针对于同一轨迹类型的至少两种子轨迹,可以通过设置不同的轨迹参数(比如飞行参数或者拍摄参数不同)来获取不同的至少两种子轨迹,例如同属于环绕子轨迹的至少两种子轨迹中无人机的飞行方向或者拍摄装置的朝向不同。
示例性地,所述目标飞行轨迹中包括的多种子轨迹可以是属于同一类型的子轨迹或者也可以是属于不同类型的子轨迹,其中,所述多种子轨迹的轨迹参数并不相同。
在一个例子中,请参阅图5,所述目标飞行轨迹包括有2种子轨迹,属于同一类型,分别为渐远子轨迹11和渐远子轨迹12,其中,箭头方向表示所述无人机的飞行方向,从图5可以看出,虽然都是属于渐远子轨迹类型,但是在渐远子轨迹11和渐远子轨迹12的轨迹参数不相同,比如图5中两者的无人机的飞行方向不同,另外,在渐远子轨迹11和渐远子轨迹12中拍摄装置的拍摄参数也可以不同,比如焦段不同、拍摄装置的朝向不同等。
在另一个例子中,请参阅图6,所述目标飞行轨迹包括有4种子轨迹,属于不同类型,分别为渐远子轨迹13、环绕子轨迹14、渐近子轨迹15和环绕子轨迹16;其中,箭头方向表示所述无人机的飞行方向,虽然环绕子轨迹14和环绕子轨迹16均属于环绕子轨迹类型,但两者的轨迹参数不相同,比如图6中两者的无人机的飞行方向不同,另外,环绕子轨迹14和环绕子轨迹15中拍摄装置的拍摄参数也可以不同,比如焦段不同。
在获取包括多种子轨迹的目标飞行轨迹之后,所述飞行控制装置能够控制所述无人机按照所述目标飞行轨迹飞行,并利用所述拍摄装置对目标拍摄对象进行拍摄,实现仅需一次飞行过程即可获取对应于多种子轨迹的多段视频画面,从而获得组合多种轨迹的视频画面;进一步的,无人机可以按照目标飞行轨迹中的各个子轨迹自动飞行,无需用户频繁的自动调整过程,减少了用户的操作步骤,有利于提高用户使用体验。
在一些实施例中,所述目标飞行轨迹可以从预先设置好的多种飞行轨迹中选择,比如所述目标飞行轨迹可以由用户从多种飞行轨迹中选择;或者也可以是所述飞行控制装置基于所述目标拍摄装置的有关信息来选择,示例性的,请参阅图7,图7示出了飞行控制方法的第二种流程示意图,所述方法包括:
在步骤S201中,获取所述拍摄装置的目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离。
在步骤S202中,根据所述目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离,在多种飞行轨迹中确定目标飞行轨迹。
在步骤S203中,控制所述无人机按照所述目标飞行轨迹飞行,并利用所述拍摄装置对所述目标拍摄对象进行拍摄。
本实施例中,考虑到了目标拍摄对象的实际特性,能够基于对目标拍摄对象的类型和/或目标拍摄对象与无人机之间的距离的识别,从多种飞行轨迹中确定一种适合所述目标拍摄对象的飞行轨迹作为目标飞行轨迹,从而保证所述无人机在按照所述目标飞行轨迹飞行的过程中,针对于所述目标拍摄对象有较好的拍摄效果。
在一些实施例中,考虑到所述目标拍摄对象与所述无人机之间的距离与所述目标拍摄对象在拍摄画面中的成像尺寸相关;在拍摄装置焦距不变的情况下,所述目标拍摄对象与所述无人机之间的距离越大,所述目标拍摄对象在拍摄画面中的成像尺寸越小,反之,所述目标拍摄对象与所述无人机之间的距离越小,所述目标拍摄对象在拍摄画面中的成像尺寸越大。则可替换地,可以根据所述目标拍摄对象的类型和所述目标拍摄对象在拍摄画面中的成像尺寸中的至少一种,从多种飞行轨迹中确定一种适合 所述目标拍摄对象的飞行轨迹作为目标飞行轨迹,从而保证针对于所述目标拍摄对象有较好的拍摄效果。
在一些实施例中,所述目标拍摄对象的类型至少可以包括属性类型和/或场景类型。所述目标拍摄对象的属性类型用于描述所述目标拍摄对象自身的特性,比如所述目标拍摄对象的属性类型为人物类型、建筑类型、景观类型或动物类型等。所述场景类型用于描述所述目标拍摄对象所处场景的特性,比如所述目标拍摄对象的场景类型为城市类型、海边类型或者山区类型等。在一个例子中,请参阅图8,所述目标拍摄对象30的属性类型为人物类型,场景类型为海边类型。示例性的,所述飞行控制装置可以根据所述目标拍摄对象的属性类型和场景类型中的至少一种,从多种飞行轨迹中确定一种适合所述目标拍摄对象的飞行轨迹作为目标飞行轨迹,从而保证针对于所述目标拍摄对象有较好的拍摄效果。当然,所述目标拍摄对象的类型还可以包括其他类型,不限于所述属性类型或者所述场景类型中的至少一种。
针对于所述目标拍摄对象的类型的识别:示例性的,可以由用户选择所述目标拍摄对象的类型(比如属性类型或者场景类型中的至少一种)。示例性的,在所述目标拍摄对象携带有卫星定位装置的情况下,可以根据所述卫星定位装置获得的位置信息确定所述目标拍摄对象的类型;比如结合所述位置信息和所述位置信息所在的地图识别所述目标拍摄对象的类型;比如结合所述位置信息以及包含所述目标拍摄对象的画面来识别所述目标拍摄对象的类型(如识别所述目标拍摄对象的场景类型)。示例性的,在包含所述目标拍摄对象的画面,可以通过预设的目标识别方法来确定所述目标拍摄对象的类型;比如通过人脸识别方式确定所述目标拍摄对象是否为人像类型,在检测到人脸的情况下确定所述目标拍摄对象为人像类型。
针对于所述目标拍摄对象与所述无人机之间的距离,首先需要确定所述目标拍摄对象的位置,进而基于所述目标拍摄对象的位置和所述无人机的位置确定所述目标拍摄对象与所述无人机之间的距离。示例性的,所述目标拍摄对象可以携带有卫星定位装置,所述卫星定位装置可以向安装有所述飞行控制装置的无人机或者终端设备发送所述目标拍摄对象的位置信息;当然,所述目标拍摄对象也可以携带其他可以定位装置,如使用UWB技术定位的装置,本实施例对此不做任何限制。示例性的,也可以由用户在所述终端设备中输入所述目标拍摄对象的坐标,或者根据用户在包含所述目标拍摄对象的画面中选定的位置来确定所述目标拍摄对象的坐标。示例性的,还可以控制所述无人机飞行到所述目标拍摄对象所在位置处(比如飞行到所述目标拍摄对象上方),则当前所述无人机所在位置即为所述目标拍摄对象的位置。
进一步地,考虑到传统的目标识别通过目标拍摄对象在图像中的位置预估所述目标对象的实际空间坐标,这样虽然可以获得一个大概的所述目标拍摄对象与所述无人机之间的距离,但是使用这个距离来计算目标的坐标存在以下问题:对于没有能够识别出类型的目标拍摄对象不能够获得准确的距离,因为通过上述方式虽然能够获得目标拍摄对象的坐标,然而这个坐标的精度是不可靠的。而针对于无人机飞行轨迹的控制都是依赖于目标拍摄对象的坐标,所以不可靠的坐标并没有办法完成准确的飞行轨迹。因此无人机在确定所述目标拍摄对象的位置时,可以通过相对于目标运动的过程计算目标拍摄对象的坐标,比如通过相对于目标运动的过程获取多张从不同方位拍摄的图像,进而基于多张从不同方位拍摄的图像来计算目标拍摄对象的坐标,来获得更加可靠的坐标,并通过此坐标计算目标拍摄对象和无人机之间的距离。
另外,在后续所述无人机在按照目标飞行轨迹飞行的过程中,考虑到在所述目标飞行轨迹所包括的多种子轨迹中,可能存在所述拍摄装置不朝向所述目标拍摄对象的情况,此时所述拍摄装置跟随的目标拍摄对象在画面中丢失,无法通过图像识别来定位所述目标拍摄对象,因此当目标拍摄对象在画面中丢失的时候可以使用上述相对运动过程得到的所述目标拍摄对象可靠的坐标作为跟踪点继续执行后续控制,从而保证无人机或者拍摄装置可靠地运行。
在一些实施例中,在获取所述拍摄装置的目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离之后,所述飞行控制装置可以根据所述目标拍摄对象的类型是否为指定类型和/或所述目标拍摄对象与所述无人机之间的距离与预设距离阈值比较的结果,在多种飞行轨迹中确定目标飞行轨迹;其中,所述指定类型可依据实际应用场景进行具体设置,例如所述指定类型包括属性类型(比如人物类型、动物类型、自然景观类型、建筑类型或者载运工具类型等)和场景类型(比如城市类型、海边类型或者山区类型)中的至少一种。示例性的,以人物类型为例,所述飞行控制装置可以根据所述目标拍摄对象的类型是否为人物类型和/或所述目标拍摄对象与所述无人机之间的距离与预设距离阈值之间的差异,从多种飞行轨迹中确定一种适合进行人物拍摄的飞行轨迹作为目标飞行轨迹。
其中,本实施例能够针对于目标拍摄对象的不同类型和/或所述目标拍摄对象与所述无人机之间的不同距离预先设置有多种飞行轨迹,不同类型和/或不同距离的目标拍摄对象能够采用不同的飞行轨迹策略。所述多种飞行轨迹中的每种飞行轨迹均包括多种子轨迹。每种飞行轨迹所包括的多种子轨迹的轨迹参数不同。
示例性的,每种飞行轨迹所包括的多种子轨迹可以从轨迹集合中选取,所述轨迹 集合中包括若干子轨迹,所述若干子轨迹可分为3种轨迹类型,分别为环绕子轨迹、渐远子轨迹和/或渐近子轨迹;所述若干子轨迹的轨迹参数互不相同。所述多种飞行轨迹中的每种飞行轨迹对应的子轨迹的组合方式不同。比如有轨迹集合中有{渐远子轨迹11、渐远子轨迹12、环绕子轨迹21、环绕子轨迹22、渐近子轨迹31,渐近子轨迹32},预先设置有2种飞行轨迹,第一种飞行轨迹中的子轨迹的组合方式为:渐远子轨迹11→渐近子轨迹32→环绕子轨迹22,第二种飞行轨迹中的子轨迹的组合方式为:渐远子轨迹12→环绕子轨迹21→渐近子轨迹31→环绕子轨迹22。
其中,所述多种飞行轨迹或者所述轨迹集合可以存储在所述飞行控制装置中,或者也可以存储在服务器中,由所述飞行控制装置从所述服务器中获取。
可以理解的是,所述飞行轨迹可以是在出厂之前已预先设置好的;也可以是用户在实际应用过程中,根据自身的需要从轨迹集合选取至少两种子轨迹进行自由组合而得到的飞行轨迹,进一步的,还可以编辑该飞行轨迹中的至少两种子轨迹的顺序、距离、角度等参数,从而能够设计出一套新的飞行轨迹,可以上传到服务器以分享给其他用户使用。
所述轨迹集合中的若干子轨迹可以是在出厂之前已预先设置好的;也可以是用户在实际应用过程中,根据自身的需要手动控制无人机飞行一段轨迹,所述飞行控制装置可以记录该在飞行过程中无人机的飞行参数(如速度、与目标拍摄对象之间的距离、运动方式等)和拍摄装置的拍摄参数(如拍摄装置的焦段、方位等)等轨迹信息,并根据记录的轨迹信息生成一个可以存入所述轨迹集合中的子轨迹,以便用户后续可以使用或者上传至服务器以分享给其他用户使用。
在一示例性的实施例中,针对于目标拍摄对象的不同类型和/或所述目标拍摄对象与所述无人机之间的不同距离,以所述目标拍摄对象为人像类型或非人物类型为例,所述飞行控制装置可以根据所述目标拍摄对象的类型是否为人物类型和/或所述目标拍摄对象与所述无人机之间的距离与预设距离阈值之间的差异,从多种飞行轨迹中确定一种适合进行人物拍摄的飞行轨迹作为目标飞行轨迹;其中,所述多种飞行轨迹包括人像模式对应的第一飞行轨迹、普通模式对应的第二飞行轨迹和远距离模式对应的第三飞行轨迹中的至少一种。
本领域技术人员可以理解的是,还可以包括其他种飞行轨迹,比如针对于所述目标拍摄对象除所述人像类型之外的其他属性类型或者场景类型中的至少一种设置相应的飞行模式,比如针对于自然景观类型(属性类型)的飞行轨迹、针对于城市类型(场景类型)的飞行轨迹或者针对于海边类型(场景类型)的飞行轨迹等,本实施例对此 不做任何限制。示例性的,比如针对于城市类型的飞行轨迹,在设置所述飞行轨迹时需要考虑城市中的障碍物以确定准确的可飞行的范围,如结合城市地图来确定可飞行的范围,以降低撞击障碍物的风险。示例性的,针对于海边类型(场景类型)的飞行轨迹,可以考虑到海的一侧飞行时采用较低的高度飞行(比如与海平面的距离低于预设值)。但不限于此。
示例性地,如果所述目标拍摄对象的类型为人物类型,则从多种飞行轨迹中选择所述第一飞行轨迹作为所述目标飞行轨迹;如果所述目标拍摄对象的类型为非人物类型,则从多种飞行轨迹中选择所述第二飞行轨迹作为所述目标飞行轨迹;本实施例实现确定适合所述目标拍摄对象的目标飞行轨迹,从而保证针对于所述目标拍摄对象有较好的拍摄效果。
示例性地,若所述目标拍摄对象与所述无人机之间的距离大于所述预设距离阈值,则从多种飞行轨迹中选择所述第三飞行轨迹作为所述目标飞行轨迹;如果所述目标拍摄对象与所述无人机之间的距离不大于所述预设距离阈值,则从多种飞行轨迹中选择所述第二飞行轨迹作为所述目标飞行轨迹。本实施例实现确定适合所述目标拍摄对象的目标飞行轨迹,从而保证针对于所述目标拍摄对象有较好的拍摄效果。
示例性地,请参阅图9,所述飞行控制装置在选择目标轨迹时,若所述目标拍摄对象的类型为人物类型,且所述目标拍摄对象与所述无人机之间的距离小于所述预设距离阈值,则所述目标飞行轨迹为所述第一飞行轨迹;若所述目标拍摄对象的类型为人物类型,且所述目标拍摄对象与所述无人机之间的距离大于或等于所述预设距离阈值,则所述目标飞行轨迹为所述第二飞行轨迹;若所述目标拍摄对象的类型并非人物类型,且所述目标拍摄对象与所述无人机之间的距离小于所述预设距离阈值,则所述目标飞行轨迹为所述第二飞行轨迹;若所述目标拍摄对象的类型并非人物类型,且所述目标拍摄对象与所述无人机之间的距离大于或等于所述预设距离阈值,则所述目标飞行轨迹为所述第三飞行轨迹。本实施例基于目标拍摄对象的类型和距离(目标拍摄对象与无人机之间的距离)实现确定适合所述目标拍摄对象的目标飞行轨迹,从而保证针对于所述目标拍摄对象有较好的拍摄效果。
在一些实施例中,所述多种飞行轨迹中每种飞行轨迹对应的飞行区域的大小不同,比如飞行高度、最远飞行距离或者环绕飞行的扇面角度中的至少一种不同。示例性的,例如所述第一飞行轨迹的飞行范围指示:子轨迹相对起始点最远距离50m、高度40m以及扇面角度60°;所述第二飞行轨迹的飞行范围指示:子轨迹相对起始点最远距离100m、高度80m以及扇面角度60°;所述第三飞行轨迹的飞行范围指示:轨迹相对 起点最远距离100m、高度100m以及扇面角度60°。示例性的,以长度*宽度*高度的矩形区域为例,所述多种飞行轨迹中每种飞行轨迹对应的飞行矩形区域的尺寸不同,例如所述第一飞行轨迹的飞行区域为50m*50m*40m的区域,所述第二飞行区域为100m*80m*80m的区域,所述第三飞行区域为100m*80m*100m的区域。
其中,所述多种飞行轨迹中每种飞行轨迹对应的飞行区域的大小不同,则所述每种飞行轨迹的飞行距离也有所不同,使得所述多种飞行轨迹中每种飞行轨迹对应的飞行时间不同。
示例性的,可以根据所述目标拍摄对象在画面中的尺寸,来自主匹配最远飞行距离,从而让无人机将不同大小的目标拍摄对象都能以相同的比例呈现在相机画面中。
示例性的,可以在录制视频的同时或在子轨迹之间拍照,在预设的位置拍摄目标的多张不同景别、视角的照片。
示例性的,可以根据目标拍摄对象在画面中的大小来控制所述目标飞行轨迹的飞行区域和速度。或者,可以根据目标拍摄对象与无人机之间的距离来控制所述目标飞行轨迹的飞行区域和速度。
在一些实施例中,为了减少无意义的飞行过程,所述无人机在按照所述目标飞行轨迹飞行过程中,整个飞行过程所述拍摄装置均在执行有关于拍摄所述目标拍摄对象的任务,从而有利于提高无人机的飞行效率,避免空飞情况(即无人机在飞行过程中不执行任何任务)所带来的功耗问题。
考虑到无人机在按照飞行轨迹飞行中,相关技术中通过以无人机当前所在位置作为飞行轨迹的起点开始控制所述无人机的拍摄装置进行拍摄,但是在人像模式对应的第一飞行轨迹作为目标飞行轨迹的情况下,所述无人机当前所在位置与所述目标拍摄对象的距离过远,可能会造成成像效果不佳的问题,比如所述目标拍摄对象在画面中的位置不当或者尺寸太小的问题。基于此,请参阅图10,本申请实施例提供了飞行控制方法的第三种流程示意图,所述方法包括:
在步骤S301中,获取所述拍摄装置的目标拍摄对象的类型。
在步骤S302中,若所述拍摄装置的目标拍摄对象的类型为人物类型,控制所述无人机飞行至目标起点,以使得所述无人机以所述目标起点为起始点对所述目标拍摄对象进行拍摄;其中,所述目标起点与所述目标拍摄对象的相对位置关系满足预设条件。
本实施例中,能够在进行人像拍摄的场景下,考虑无人机与所述目标拍摄对象的相对位置关系,在无人机的起始点与所述目标拍摄对象的相对位置关系不满足预设条件的情况下,控制无人机飞行至满足所述预设条件的目标起点,以使得所述无人机以 所述目标起点为起始点对所述目标拍摄对象进行拍摄;本实施例基于无人机与所述目标对象的相对位置关系调整所述无人机在拍摄人像时的起始点,使得人像在视频画面中有较好的成像效果。
其中,所述预设条件用于:所述拍摄装置在所述目标起点对所述目标拍摄对象进行拍摄时,所述目标拍摄对象处于拍摄画面中的预设位置或者占据预设尺寸中的至少一种;所述预设位置以及所述预设尺寸可以依据实际应用场景进行具体设置,本实施例对此不做任何限制,比如所述预设位置为画面中部位置,所述预设尺寸大于或等于画面尺寸的20%。本实施例中,通过改变所述无人机的起始点以保证所述目标拍摄对象在画面中有适当的位置或者合适的尺寸,从而能够在画面中明显显示所述目标拍摄对象,使得人像在视频画面中有较好的成像效果。
其中,所述预设条件包括以下至少之一:所述目标起点与所述目标对象的高度差为预设高度;或者,所述目标起点与所述目标对象的水平距离为预设水平距离。其中,可以根据用户预想的人像在画面中的位置或者尺寸来确定所述预设高度和所述预设水平距离,使得获得的人像满足用户的实际需求。
在一些实施例中,若所述拍摄装置的目标拍摄对象的类型为人物类型,无人机当前的起始点与所述目标拍摄对象的相对位置关系不满足预设条件,则所述飞行控制装置可以控制所述无人机飞行至符合所述预设条件的目标起点,以保证人像在视频画面中有较好的成像效果。
在一些实施例中,所述无人机在飞行至所述目标起点之后,所述控制装置可以控制所述无人机自所述目标起点按照所述目标飞行轨迹飞行,并利用所述拍摄装置对所述目标拍摄对象进行拍摄。本领域技术人员可以理解的是,将所述无人机的起始点调整为符合所述预设条件的目标起点过程,并不限于应用在本申请实施例的人像模式对应的第一飞行轨迹中,也可以适用于无人机进行人像拍摄的其他场景中。
在一些实施例中,所述无人机能够在环境中相对于六个自由度(例如,三个平移自由度和三个旋转自由度)来自由运动。示例性地,所述无人机的飞行过程可以是相对于一个或多个自由度受约束的,例如受到预设的路径、轨道、或朝向的约束。
其中,所述拍摄装置可以通过云台搭载于所述无人机上,可以通过所述云台的运动和所述无人机的运动中的至少一种带动所述拍摄装置相对于六个自由度(例如,三个平移自由度和三个旋转自由度)自由运动。示例性的,在所述拍摄装置固定于所述无人机的情况下,则可以通过所述无人机的运动带动所述拍摄装置相对于六个自由度(例如,三个平移自由度和三个旋转自由度)自由运动。
在本申请实施例提供的多种飞行轨迹中,每种飞行轨迹均包括多种子轨迹,在所述多种子轨迹中所述无人机和/或所述拍摄装置相对于不同的自由度进行运动。
在一个例子中,请参阅图11,本实施例使用图11说明对无人机110、云台120和/或拍摄装置123的方向,位置,姿势和/或一个或多个移动特性进行示例性调整的过程。其中,无人机110可以绕多达三个正交轴旋转,例如,X1(俯仰)轴,Y1(偏航)轴和Z1(横滚)轴。围绕三个轴的旋转在本文中分别被称为俯仰旋转,偏航旋转和横滚旋转。围绕三个轴的旋转旋转的角度可分别为称为俯仰角、偏航角和横滚角。示例性的,如图11所示,无人机110可以分别沿X1,Y1和Z1轴进行平移运动或者绕X1,Y1和Z1轴进行旋转运动。
如图11所示,拍摄装置123可以围绕和/或沿着三个正交轴移动,例如,X2(俯仰)轴,Y2(偏航)轴和Z2(横滚)轴。X2,Y2和Z2轴分别平行于X1,Y1和Z1轴。在一些实施方式中,例如,可以通过云台120和/或无人机110的转动带动所述拍摄装置123绕多达三个正交轴X2,Y2和Z2旋转。围绕三个轴的旋转在本文中分别被称为俯仰旋转,偏航旋转和横滚旋转。围绕三个轴的旋转旋转的角度可分别为称为俯仰角、偏航角和横滚角。在一些实施方式中,可以通过云台120和/或无人机110的运动使拍摄装置123分别机可以分别沿X2,Y2和Z2轴进行平移运动或者绕X2,Y2和Z2轴进行旋转运动。
在一些实施方式中,拍摄装置123的运动可以被限制为围绕和/或沿着三个轴线X2,Y2和Z2相对于无人机110的运动。例如,拍摄装置123是可旋转的(比如可由云台120带动拍摄装置123相对于无人机110旋转)。在一些实施方式中,拍摄装置123被限制为绕X2,Y2和Z2轴之一旋转。例如,拍摄装置123仅可绕Y2轴旋转,或者拍摄装置123被限制为仅绕X2,Y2和Z2轴中的两个旋转,或者拍摄装置123可绕X2,Y2和Z2轴的全部三个旋转。在一些实施方式中,拍摄装置123被限制为仅沿着X2,Y2和Z2轴之一移动。例如,拍摄装置123的运动被限制为沿着X2轴的运动。例如,拍摄装置123被限制为仅沿着X2,Y2和Z2轴中的两个运动。例如,拍摄装置123可沿X2,Y2和Z2轴的全部三个移动。在一些实施方式中,拍摄装置123能够相对于无人机110执行旋转和平移运动。例如,拍摄装置123能够沿着或者围绕X2,Y2和Z2轴中的一个、两个或三个轴旋转和/或平移。
在一些实施方式中,拍摄装置123的姿态,朝向和/或位置的调节是通过对无人机110和/或云台120来进行的。例如,拍摄装置123绕给定轴线(例如,偏航轴线)旋转60°可通过以下方式实现:单独地,由云台120相对于无人机110绕给定轴线进行 60°旋转以带动拍摄装置123旋转60°,或无人机110自身绕给定轴线进行40°旋转和云台120自身绕给定轴线进行20°旋转的组合来带动拍照装置旋转60°。在一些实施方式中,可以通过调节拍摄装置123的拍摄参数来实现的,例如调节拍摄装置123的变焦倍数、焦距或者曝光参数等。
接下来对本申请实施例的多种子轨迹进行说明,所述多种子轨迹的轨迹参数不同,例如所述多种子轨迹中无人机的飞行方向不同,或者飞行速度不同,或者拍摄装置的朝向不同等等。
在一些实施例中,所述多种子轨迹中可以包括有第一子轨迹,所述第一子轨迹为渐近子轨迹,所述第一子轨迹指示所述无人机在朝向目标拍摄对象飞行的过程中,控制所述拍摄装置的视场从拍摄不到所述目标拍摄对象的方向转动至朝向所述目标拍摄对象的方向,以实现目标拍摄对象在拍摄画面中从无到有的显示效果。在所述无人机按照所述第一子轨迹飞行的过程中,调整所述拍摄装置的视场朝向,例如控制所述拍摄装置的俯仰角由第一俯仰角转动至第二俯仰角;其中,所述拍摄装置的俯仰角处于第一俯仰角时,所述目标拍摄对象处于所述拍摄装置的拍摄画面之外,所述拍摄装置的俯仰角处于第二俯仰角时,所述目标拍摄对象处于所述拍摄装置的拍摄画面之内,从而实现目标拍摄对象在拍摄画面中从无到有的显示效果。
示例性地,请参阅图12A以及图12B,图12A以及图12B示出了两种第一子轨迹的示意图,其中粗箭头方向为所述第一子轨迹的移动方向,可以看出,所述两种第一子轨迹中无人机的移动方向不同。其中,等腰三角形的底边表示所述拍摄装置的视场方向,指向两个等腰三角形的弧线表示所述拍摄装置的方向的旋转过程。
图12A中,所述拍摄装置的第一俯仰角为向下相对于水平面成一定角度(比如90°),比如可以通过云台转动以带动所述拍摄装置转动,此时所述拍摄装置的视场方向朝下,在所述拍摄装置的视场中无法拍摄到所述目标拍摄对象,在所述无人机按照所述第一子轨迹朝向所述目标拍摄对象飞行的过程中,所述飞行控制装置按照预设速度控制所述拍摄装置抬起,从第一俯仰角转动至第二俯仰角,以使得所述拍摄装置的视场方向从朝下方向逐渐转为朝向所述目标拍摄对象,从而实现目标拍摄对象在拍摄画面中从无到有的显示效果。
图12B中,所述拍摄装置的第一俯仰角向上转动到相对水平面成一定角度(比如0°),比如可以通过云台转动以带动所述拍摄装置转动,图12B示出了所述拍摄装置的视场方向,此时在所述拍摄装置的视场中无法拍摄到所述目标拍摄对象,在所述无人机按照所述第一子轨迹朝向所述目标拍摄对象飞行的过程中,所述飞行控制装置按 照预设速度控制所述拍摄装置向下转动,从第一俯仰角转动至第二俯仰角,以使得所述拍摄装置的视场逐渐朝向所述目标拍摄对象,从而实现目标拍摄对象在拍摄画面中从无到有的显示效果。
其中,所述拍摄装置的转动速度与无人机在所述第一子轨迹中的飞行距离呈比例正相关关系。在所述拍摄装置的转动角度固定的情况下,无人机在所述第一子轨迹中的飞行距离越长,所述拍摄装置的转动速度越大。
示例性的,所述多种子轨迹中可以包括有其他的渐近子轨迹,比如有子轨迹指示所述无人机在朝向目标拍摄对象飞行的过程中,所述拍摄装置的视场也一直朝向所述目标拍摄对象的方向,以实现由远到近对目标拍摄对象进行拍摄。
在一些实施例,所述多种子轨迹中可以包括有第二子轨迹,所述第二子轨迹为渐远子轨迹或渐进子轨迹。以渐远子轨迹为例,所述第二子轨迹指示在无人机竖直向上远离所述目标拍摄对象飞行的过程中,所述拍摄装置垂直朝下以保持所述拍摄目标对象始终在拍摄画面中。在所述无人机按照所述第二子轨迹飞行的过程中,例如可以控制所述拍摄装置垂直朝下,保持所述拍摄目标对象始终在拍摄画面中;进一步地,还可以在控制所述拍摄装置垂直朝下的同时控制所述无人机转动偏航角,以保持所述拍摄目标对象始终在拍摄画面的中心。
示例性的,为了实现所述拍摄目标对象始终在拍摄画面的中心,虽然无人机和拍摄装置能够在飞行控制装置的控制下朝向所述目标拍摄对象,但是在控制无人机按照第二子轨迹飞行时,即按照一定速度上升并转动偏航角(yaw)的过程中拍摄装置(比如通过云台转动偏航角)可能会存在需要转动俯仰角(pitch)超过90°才能拍摄到所述目标拍摄对象,而大部分云台的俯仰角转动范围都无法超过90°,存在限位问题,因此飞行器必须转动偏航角(yaw)才能使云台在俯仰角的可控转动范围内保证目标拍摄对象在画面中心,此时针对于拍摄装置(或者说云台)的控制和飞行器控制就会发生耦合。针对于这种情况,本实施例实现无人机按照第二子轨迹飞行的过程中,所述拍摄装置不再跟随所述目标拍摄对象,而是垂直朝下,即固定向下转动到相对水平面呈一定角度(比如90°),而无人机则在上升过程中转动偏航角,在所述拍摄装置垂直朝下之后,无需在对拍摄装置(或者云台)进行控制,只需控制所述无人机转动偏航角即可,实现拍摄装置(或者说云台)和无人机的解耦控制。
示例性的,所述多种子轨迹中可以包括有其他的渐远子轨迹,比如有子轨迹指示所述无人机在远离目标拍摄对象飞行的过程中,以倾斜上升方式飞离所述目标拍摄对象,而所述拍摄装置的视场始终朝向所述目标拍摄对象。
在一些实施例中,所述多种子轨迹中可以包括有第三子轨迹,所述第三子轨迹指示所述无人机朝向靠近所述目标拍摄对象的方向飞行或者朝向远离所述目标拍摄对象的方向飞行,所述拍摄装置从不同角度拍摄所述目标拍摄对象。例如在所述无人机按照所述第三子轨迹飞行的过程中,控制所述无人机朝向靠近所述目标拍摄对象的方向飞行或者朝向远离所述目标拍摄对象的方向飞行,并且控制所述拍摄装置转动横滚角以使得所述拍摄装置从不同角度对所述目标拍摄对象进行拍摄。
在一个例子中,以所述无人机朝向靠近所述目标拍摄对象的方向飞行为例,所述拍摄装置(或者说云台)的横滚角(roll)先固定顺时针方向转动到最大可控横滚轴限位处,在所述无人机按照所述第三子轨迹飞行的过程中,同时控制拍摄装置的横滚角逆时针方向转动到最大可控横滚轴限位处,实现从不同角度拍摄所述目标拍摄对象。
其中,所述拍摄装置的横滚角转动的速度与所述第三子轨迹的飞行距离呈正相关关系;在所述拍摄装置的横滚角可转动的角度范围固定的情况下,所述第三子轨迹的飞行距离越长,所述拍摄装置的横滚角转动的速度越快。
在一些实施例中,所述多种子轨迹中可以包括有第四子轨迹,所述第四子轨迹指示所述无人机朝向靠近所述目标拍摄对象的方向飞行或者朝向远离所述目标拍摄对象的方向飞行,并在无人机飞行过程中改变所述拍摄装置的焦段,以体现不同焦段带来的景别变化效果。例如在所述无人机按照所述第四子轨迹飞行的过程中,控制所述无人机朝向靠近所述目标拍摄对象的方向飞行,且所述拍摄装置的焦段由最长焦段变化至最广焦段,实现更大范围的景别变化;或者在所述无人机按照所述第四子轨迹飞行的过程中,控制所述无人机朝向远离所述目标拍摄对象的方向飞行,且所述拍摄装置的焦段由最广焦段变化至最长焦段,比如可以控制拍摄装置的光学变焦和数码变焦都到最长焦段处,实现从大范围景观中准确定位所述目标拍摄对象。其中,所述拍摄装置变焦过程中的变焦行程完成比例与所述第四子轨迹的飞行距离呈正相关关系。
在一些实施例中,所述多种子轨迹还包括有环绕子轨迹,通常无人机会在其机头和/或机尾设置有环境感知装置,无人机可以根据环境感知装置检测到的环境信息实现避障,但是在无人机基于环绕子轨迹环绕所述目标拍摄对象飞行的场景下,由于环境感知装置的感知视场有限,所述无人机的飞行方向可能处于机身侧面,使得安装于机头的环境感知装置无法感知到有关于无人机飞行轨迹上的环境信息,从而无法进行避障。在一个例子中,比如请参阅13A,以环境感知装置安装于无人机的机头为例进行说明,所述环境感知装置的视场朝向与无人机的机头方向一致,图13A中环境感知装置的视场方向和拍摄装置的视场方向均指向目标拍摄对象,如图13B所示,所述子轨 迹为圆形轨迹,如图13A所示,所述无人机的飞行方向与所述环境感知装置的视场不相交,如果所述无人机如果以圆形轨迹环绕所述目标拍摄对象飞行,如图13B,所述无人机的实际飞行轨迹没有在环境感知装置的感知视场内,此时在环境感知装置无法感知到沿无人机飞行方向上的环境信息,无法实现避障。
而发明人发现,在环绕半径小于一定阈值的情况下,可以通过调整环境感知装置的视场和拍摄装置的视场的相对朝向,使得所述无人机的实际飞行轨迹部分处于环境感知装置的感知视场内。请参阅图14A所示,在所述拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向(所述环境感知装置的视场朝向与无人机的机头方向一致)呈预设夹角时,当所述无人机以圆形轨迹环绕所述目标拍摄对象飞行时,所述无人机的实际飞行轨迹在环境感知装置的感知视场内。如图14B和14C所示,此时所述环境感知装置可以感知到沿无人机飞行方向上的环境信息,因此可以实现避障。
然而,在环绕半径大于一定阈值的情况下,如图14D所示,即使调整环境感知装置的视场和拍摄装置的视场的相对朝向,也无法使得所述无人机的实际飞行轨迹处于环境感知装置的感知视场内。其原因是,由于拍摄装置通常挂载于云台,云台设置有限位以使得拍摄装置拍摄的画面中不会出现机身,例如无人机脚架或桨叶。如此,拍摄装置的朝向的调整是有限的。在一些情况下,无法通过调整环境感知装置的视场和拍摄装置的视场的相对朝向,使得所述无人机的实际飞行轨迹处于环境感知装置的感知视场内。
请参阅图15A所示,在所述拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向(所述环境感知装置的视场朝向与无人机的机头方向一致)呈预设夹角时,当所述无人机以内螺旋航线(如图15B所示)环绕所述目标拍摄对象飞行时,由于内螺旋航线的环绕半径逐渐收缩,所述无人机的实际飞行轨迹在环境感知装置的感知视场内,此时所述环境感知装置可以感知到沿无人机飞行方向上的环境信息,因此可以实现避障。
因此,在一些实施例中,所述多种子轨迹包括第五子轨迹,所述第五子轨迹为环绕子轨迹,所述第五子轨迹指示所述无人机基于内螺旋航线环绕所述目标拍摄对象飞行,且所述拍摄装置朝向所述目标拍摄对象进行拍摄;例如,在所述无人机按照所述第五子轨迹飞行的过程中,控制所述无人机基于内螺旋航线环绕所述目标拍摄对象,所述拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向(所述环境感知装置的视场朝向与无人机的机头方向一致)呈预设夹角。
因此,在一些实施例方式中,所述多种子轨迹包括第五子轨迹,所述第五子轨迹 为环绕子轨迹,所述第五子轨迹指示在所述目标拍摄对象与所述无人机之间的距离大于预设阈值的情况下,所述无人机基于内螺旋航线环绕所述目标拍摄对象飞行,且所述拍摄装置朝向所述目标拍摄对象进行拍摄。以及,所述多种子轨迹还包括第六子轨迹,所述第六子轨迹也为环绕子轨迹,所述第六子轨迹指示在所述目标拍摄对象与所述无人机之间的距离小于或等于所述预设阈值的情况下,所述无人机基于圆形航线环绕所述目标拍摄对象飞行,且所述拍摄装置朝向所述目标拍摄对象进行拍摄。
针对于所述环绕子轨迹,请参阅图16,本申请提供了飞行控制方法的第四种流程示意图,在所述无人机环绕目标拍摄对象飞行的过程中,可以以螺旋式航线飞行以实现避障,所述方法包括:
在步骤S401中,获取目标拍摄对象与所述无人机之间的距离。
在步骤S402中,若所述目标拍摄对象与所述无人机之间的距离大于预设阈值,在所述无人机环绕所述目标拍摄对象时,控制所述无人机基于内螺旋航线环绕所述目标拍摄对象,所述拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向呈预设夹角。
其中,所述拍摄装置通过云台设置于所述无人机,所述云台具有转动限位,所述预设阈值的设置与所述转动限位有关。在一个例子中,环境感知装置安装于无人机的机头为例,所述环境感知装置的视场朝向与无人机的机头方向一致,所述拍摄装置与所述无人机的机头方向的夹角根据所述拍摄装置的视场角所确定,比如请参阅图17A以及图17B,设所述拍摄装置的视场角(FOV)为70°*55°,如图17A,脚架与机头夹角为80°(以云台横滚轴为中心),为了不看脚架,且留1°的余量,则所述拍摄装置与机头的最大夹角为80°-1°-70°/2==44°。基于几何计算可以得出所述预设距离约为63米~65米之间,比如为64.8米。
在一些实施例中,在所述目标拍摄对象与所述无人机之间的距离不大于预设阈值,在所述无人机环绕所述目标拍摄对象时,可以控制所述无人机基于圆形航线环绕所述目标拍摄对象。
示例性的,所述环境感知装置包括但不限于双目视觉传感器或者单目视觉传感器等。
作为示例,假设从无人机到目标拍摄对象的距离的半径为100米,无人机的环境感知装置位于无人机的固定位置(例如,在前面)。所述拍摄装置朝向所述目标拍摄对象,该目标拍摄对象位于与环境感知装置成角度偏移(例如44°)的位置,比如所述拍摄装置与所述环境感知装置成角度偏移(例如44°)。使用内螺旋航线来确保在视 场内(例如,环境感知装置的视场内)避开障碍物,但是周围的半径会逐渐缩小(例如,通过每旋转30°约损失8%的半径,例如每相对目标拍摄对象环绕30度圆弧,半径损失为100m*(1-0.9182)=8.18m),当无人机和目标拍摄对象的不大于预设阈值(比如当无人机和目标拍摄对象的半径小于或等于64.8m时),使用圆形航线就可以根据环境感知装置历史获取的环境信息来避开障碍物,而无需使用内螺旋飞行轨迹。本实施例中,利用无人机机头的环境感知装置进行侧向避障,达到了只具有前视方向环境感知装置的无人机在进行侧向轨迹飞行时的避障的效果,提升了飞行的安全性、降低了对飞行器硬件的要求。
示例性的,所述内螺旋航线包括但不限于阿基米德(等速)螺线、笛卡尔(等角)螺线或者斐波那契(黄金)螺线等。
在一示例性的实施例中,上述提到的人像模式对应的第一飞行轨迹、普通模式对应的第二飞行轨迹和远距离模式对应的第三飞行轨迹可以组合上述提到的子轨迹。
在一个例子中,图18、图19以及图20分别示出了人像模式对应的第一飞行轨迹、普通模式对应的第二飞行轨迹和远距离模式对应的第三飞行轨迹的示意图,其中,所述第一飞行轨迹、第二飞行轨迹和第三飞行轨迹均包括有渐远子轨迹、环绕子轨迹和渐近子轨迹。其中,(0),(1),(2),…:表示各种子轨迹的飞行顺序;箭头方向表示无人机的飞行方向;三角形的底边表示拍摄装置的视场方向,旋转箭头表示改变拍摄装置的视场方向。
如图18、图19以及图20,所述第一飞行轨迹中的子轨迹(6)和子轨迹(9)、所述第二飞行轨迹中的子轨迹(3)和子轨迹(8),第三飞行轨迹中的子轨迹(1)和子轨迹(8)为所述第一子轨迹;所述第一飞行轨迹中的子轨迹(8)、所述第二飞行轨迹中的子轨迹(7),第三飞行轨迹中的子轨迹(9)为所述第二子轨迹;所述第三飞行轨迹中的子轨迹(2)为所述第三子轨迹;所述第三飞行轨迹中的子轨迹(3)为所述第四子轨迹;所述第一飞行轨迹中的子轨迹(2)、子轨迹(3)和子轨迹(5),所述第二飞行轨迹中的子轨迹(2)、子轨迹(4)和子轨迹(5),第三飞行轨迹中的子轨迹(4)和子轨迹(5)为所述第五子轨迹,在一些情况下也可以为圆弧轨迹。其中,所述第一飞行轨迹、第二飞行轨迹和第三飞行轨迹对应的飞行区域的大小不同。示例性的,针对于所述第五子轨迹,可以改变所述拍摄装置的焦段,如针对于所述第一飞行轨迹中的子轨迹(5),可以将所述拍摄装置的焦段调整为最广焦段的2倍。示例性的,针对于所述第五子轨迹,如果在所述第五轨迹飞行时无人机与目标拍摄对象的距离超过预设距离,可以增大所述拍摄装置的变焦倍数。
在一个例子中,比如针对于第二飞行轨迹:包括有(1)从起点渐远的子轨迹;(2)远距离环绕的子轨迹;(3)发现式接近接近的子轨迹;(4)逆时针螺旋渐近(中)的子轨迹;(5)顺时针螺旋渐近(中近或近)的子轨迹;(6)低高度冲天的子轨迹;(7)扣拍旋转的子轨迹;(8)平拍下降的子轨迹;(9)扣拍降落的子轨迹。
在一些实施例中,在获取所述目标飞行轨迹之后,所述飞行控制装置可以将所述目标飞行轨迹发送给所述终端设备,以使得所述终端设备的显示装置对所述目标飞行轨迹、所述目标飞行轨迹对应的飞行区域以及所述目标飞行轨迹对应的地图进行叠加显示。其中,所述显示装置也可以对所述目标飞行轨迹所包括的多种子轨迹的轨迹参数进行显示。其中,显示在所述显示装置中的飞行区域可以是2D区域或3D区域,例如图21示出了飞行区域以2D形式显示的示意图,且所述飞行区域与地图叠加显示。
在将所述目标飞行轨迹显示于所述显示装置之后,用户可以根据自身的实际需要在终端设备上对所述目标飞行轨迹进行操作,所述终端设备基于用户对所述终端设备的操作生成轨迹调整信息并发送给所述飞行控制装置,进而所述飞行控制装置可以根据轨迹调整信息对所述目标飞行轨迹进行调整。例如所述飞行轨迹调整信息包括飞行区域调整信息,所述操作包括调整所述显示装置显示的所述飞行区域的大小。例如所述飞行轨迹信息调整信息包括飞行速度调整信息,所述操作包括调整所述目标飞行轨迹中的至少一种子轨迹对应的无人机飞行速度。
在所述无人机按照所述目标飞行轨迹飞行的过程中,所述飞行控制装置可以将所述无人机的实时位置和飞行方向发送给所述终端设备,如图22所示,则所述终端设备的显示装置在所述目标飞行轨迹对应的地图上叠加显示所述实时位置和飞行方向,以便让用户了解当前无人机的飞行情况。
在一些实施方式中,考虑到所述目标飞行轨迹包括多种子轨迹,为了让用户实时了解当前无人机的飞行情况,所述终端设备的显示装置可以显示所述多种轨迹中所述实时位置对应的子轨迹,比如图23所示,所述显示装置显示了所述无人机当前进行的子轨迹的样式(螺旋下降的示意图)以及所述无人机当前的飞行进度,所述无人机一共需要飞行9个子轨迹,当前在按照第5个子轨迹(螺旋下降)飞行。在一些实施例中,所述目标飞行轨迹包括多种子轨迹,所述终端设备的显示装置还用于显示所述多种轨迹中所述实时位置对应的子轨迹。
在一些实施方式中,为了让用户实时了解当前无人机的飞行情况,所述终端设备的显示装置还可以显示所述无人机按照目标飞行轨迹飞行的剩余飞行时间。
在一些实施例中,在所述无人机按照所述目标飞行轨迹飞行的过程中,如果用户 在中途选择暂停或因无人机避障停止飞行,所述无人机可以在原地悬停,等待用户后续操作。示例性的,如果超过预设时间用户依然没有任何操作,则所述飞行控制装置控制所述无人机自动返航。示例性的,如果用户选择继续拍摄,无人机可以跳过当前子轨迹未完成的部分,直接飞到下一段子轨迹的开始处执行拍摄。
在一些实施例中,在所述无人机按照目标飞行轨迹飞行的过程中,若检测到障碍物,则控制所述无人机通过第一绕行轨迹或第二绕行轨迹避开所述障碍物;其中,所述第一绕行轨迹的起始点和结束点均处于所述无人机当前所在的子轨迹,所述第二绕行轨迹的起始点处于所述无人机当前所在的子轨迹,所述第二绕行轨迹的结束点处于所述无人机当前所在的子轨迹的下一条子轨迹。本实施例考虑到如果所述无人机在当前子轨迹的前半部分遇到障碍物时,在绕行之后有极大可能还在当前子轨迹的指示的飞行范围,因此还可以继续进行有关于当前子轨迹的任务,在所述无人机在子轨迹的前半部分遇到障碍物的情况下,可以选用第一绕行轨迹来避开所述障碍物;如果所述无人机在当前子轨迹的后半部分遇到障碍物时,在绕行之后可能已经飞出了当前子轨迹的指示的飞行范围,难以继续进行有关于当前子轨迹的任务,因此在所述无人机在子轨迹的后半部分遇到障碍物的情况下,可以选用第二绕行轨迹来避开所述障碍物。
在一些实施例中,可以检测所述无人机在各中子轨迹中飞行的过程中,可以确定所述无人机与所述目标拍摄对象之间的距离,在所述距离大于预设距离阈值的情况下,可以调整所述拍摄装置的焦段,比如控制拍摄装置的光学或数码变焦为最广焦段的2倍,这样可以拍摄到距离所述目标拍摄装置更近景别的画面。
在所述无人机按照所述目标飞行轨迹飞行过程中,所述拍摄装置执行有关于所述目标拍摄对象的拍摄任务,从而拍摄得到对应于所述目标飞行轨迹中的多种子轨迹的多段视频,针对于该多段视频,请参阅图24,本申请实施例提供了一种视频编辑方法,所述视频编辑方法可以由视频编辑装置来执行,所述是视频编辑装置可以安装于所述终端设备上,所述终端设备与所述无人机通信连接,所述方法包括:
在步骤S501中,获取无人机按照至少一个目标飞行轨迹飞行时,利用拍摄装置拍摄得到的至少部分视频,所述目标飞行轨迹包括多种子轨迹。
在步骤S502中,根据目标视频编辑模板对所述至少部分视频进行自动编辑以得到目标视频,所述目标视频包括多个子片段,所述多个子片段中的至少两个子片段对应于所述多种子轨迹中不同的子轨迹。
本实施例中,针对于无人机在按照包括多种子轨迹的目标飞行轨迹飞行,并利用所述拍摄装置对目标拍摄对象进行拍摄的场景,能够获取对应于所述多种子轨迹的多 个子片段(即至少部分视频),并使用目标视频编辑模板对所述至少部分视频进行自动编辑以得到目标视频,实现获取组合多个镜头的视频,无需用户手动组合与编辑,减少了用户的操作步骤,有利于提高用户使用体验。
其中,所述视频编辑装置可以获取无人机在按照一个目标飞行轨迹飞行时,利用拍摄装置拍摄得到的至少部分视频;也可以获取无人机按照多个目标飞行轨迹飞行之后,针对于每个目标飞行轨迹获取所述拍摄装置拍摄得到的至少部分视频。示例性的,所述多个目标飞行轨迹分别对应的目标拍摄对象可以相同,也可以不同,本实施例对戏不做任何限制。
在一个例子中,所述无人机可以基于多个目标拍摄对象,针对于每个目标拍摄对象获取对应的目标飞行轨迹,在所述无人机按照所述目标飞行轨迹飞行过程中利用所述拍摄装置对所述目标飞行轨迹对应的目标拍摄对象进行拍摄。在针对所述多个目标拍摄对象进行拍摄之后,所述视频编辑装置可以获取无人机在按照每个目标飞行轨迹飞行时,利用拍摄装置拍摄得到的至少部分视频,每个目标飞行轨迹对应的目标拍摄对象互不相同,所述视频编辑装置根据目标视频编辑模板对所述至少部分视频进行自动编辑以得到目标视频,得到的目标视频中可以包括有多个目标拍摄对象,实现多目标成片的效果。
在一些实施例中,所述无人机按照所述目标飞行轨迹飞行的过程中,所述拍摄装置对目标拍摄对象进行拍摄,在无人机可以在所述拍摄装置拍摄视频的过程,可以将每段子轨迹对应的视频以及关联的标识信息实时传输给所述视频编辑装置,所述标识信息用于指示所述视频所对应的子轨迹。
考虑到所述无人机在按照多种子轨迹中的每种子轨迹进行飞行时,在所述子轨迹的开头处需要对拍摄装置或者无人机进行调整以适应于当前子轨迹,或者在所述子轨迹的结尾处需要对拍摄装置或者无人机进行调整以适应于下一子轨迹,在这种情况下,在所述子轨迹的开头或者结尾所述拍摄装置拍摄的视频可能因为调整过程使得画面观感不佳,导致子轨迹与子轨迹之间的画面衔接不流畅;因此,所述视频编辑装置在接收所述无人机按照所述目标飞行轨迹飞行时发送的实时图传数据之后,可以去除所述多种子轨迹中至少一种子轨迹的开头或结尾对应的视频片段以得到所述至少部分视频,从而保证最终获取的目标视频清晰流畅。作为例子,所述视频编辑装置可以将所述多种子轨迹中每种子轨迹的开头或者结尾对应的视频片段去除,得到每种子轨迹对应的目标视频片段,并基于所述多种子轨迹分别对应的目标视频片段得到所述至少部分视频。
其中,由于实时图传过程可能会受到诸多因素的干扰,导致所述视频编辑装置接收的实时图传数据的质量欠佳,即所述视频编辑装置接收的是低清原始视频。
在一些实施方式中,为了让所获得的目标视频中每个子片段的景别、视角、运动轨迹等有足够差异,在编辑过程中无论是运用到任意一个视频编辑模板都不会用到每个子轨迹对应的整个视频,因此针对于每个子轨迹对应的视频,可以将不同视频编辑模板所需的子片段进行求和,获取每个子轨迹对应的目标视频片段,所述视频编辑装置在接收所述无人机按照所述目标飞行轨迹飞行时发送的实时图传数据之后,将除所述每个子轨迹对应的目标视频片段之外的视频片段去除以得到所述至少部分视频。在一个例子中,请参阅图25,示出了每个子轨迹对应的视频、每个子轨迹对应的目标视频片段、视频编辑模板所需的子片段的示意图。
在一些实施例中,无人机可以在所述拍摄装置拍摄视频的过程,可以将每段子轨迹对应的视频以及关联的标识信息存储起来,所述标识信息用于指示所述视频所对应的子轨迹,所述标识信息与所述视频关联存储。在一些实施方式中,无人机可以将视频以及标识信息本地存储在无人机上。附加地和/或可替代地,无人机也可以将捕获的视频和标识信息存储在位于无人机上的外部存储介质(例如,SD卡)上。其中,存储在无人机上的每段子轨迹对应的视频的分辨率,比实时图传给所述视频编辑装置的每段子轨迹对应的视频的分辨率更高,即存储在无人机上的每段子轨迹对应的视频为高清视频。
因此,在所述无人机按照所述目标飞行轨迹飞行完成之后,所述视频编辑装置可以接收所述无人机按照所述目标飞行轨迹飞行之后发送的高清图传数据,以得到所述至少部分视频;作为例子,可以使用已从视频传输中释放的额外带宽来下载高清图传数据,用于后期处理和视频编辑。
其中,由于所述高清图传数据无需实时传输,因此有足够的时间将所述拍摄装置拍摄得到的每个子轨迹对应的视频中的无用或者无效片段去除,即所述视频编辑装置接收的所述至少部分视频(或者说所述高清图传数据)中已经去除了所述多种子轨迹中至少一种子轨迹的开头或结尾对应的视频片段;或者,所述至少部分视频中已经去除了除所述每个子轨迹对应的目标视频片段之外的视频片段,所述每个子轨迹对应的目标视频片段为不同视频编辑模板所需的子片段的总和;本实施例中,所述视频编辑装置只接收有用的至少部分视频,减少了需要接收的视频数据量,从而提高接收效率,同时也可以减少对存储空间的占用。在一些实施方式中,所述视频编辑装置可以先使用所述目标编辑模板对所述低清原始视频对应的至少部分视频进行编辑以得到低清目 标视频;在获取所述高清图传数据对应的至少部分视频之后,可以使用所述目标编辑模板自动对所述高清图传数据对应的至少部分视频进行编辑以得到高清目标视频。
在一个例子中,比如请参阅图25,示出了每个子轨迹对应的视频、每个子轨迹对应的目标视频片段、视频编辑模板所需的子片段的示意图,所述视频编辑装置在下载高清图传数据时,只需下载所述每个子轨迹对应的目标视频片段即可,无需下载所述子轨迹对应的整个视频;更进一步的,考虑到在针对于上述的低清原始视频已确定了目标视频编辑模板,则在下载与所述低清原始视频对应的高清图传数据时,可以只下载所述目标视频编辑模板所需的子片段,从而进一步减少需要下载的数据量。
在一些实施例中,请参阅图26,在获得所述低清原始视频对应的至少部分视频之后,在确定所述目标视频编辑模板之前,所述视频编辑装置可以使用预设的视频编辑模板分别对所述低清原始视频对应的至少部分视频进行编辑以得到一个或多个预览视频,如图26所示,用户可以在画面选择不同的预览视频进行播放,以确定是否满足个人需求,供用户选择更为合适的目标视频模板。
在一些实施例中,所述视频编辑装置中预置有多种视频编辑模板,所述目标视频编辑模板可以从所述多种视频编辑模板中确定。其中,所述多种视频编辑模板可以是不同风格的视频编辑模板,所述风格如欢快风格、运动风格、风光风格、艺术风格等。示例性的,所述视频编辑装置可以基于用户选择操作在多个视频编辑模板中确定目标视频编辑模板。
在一些实施方式中,所述视频编辑装置中预置到视频编辑模板与目标飞行轨迹的对应关系,所述视频编辑装置可以根据所述目标飞行轨迹以及所述对应关系,从多个视频编辑模板中确定与所述目标飞行轨迹对应的目标视频编辑模板。在一个例子中,所述多个视频编辑模板与所述目标飞行轨迹对应的飞行模式相匹配,所述飞行模式包括人像模式、普通模式和远距离模式中的至少一种,比如请参阅图27,所述视频编辑装置中预置有视频编辑模板A和视频编辑模板B,在选择目标视频模板的过程中,如果所述目标飞行轨迹为人像模式或者普通模式,则所述目标视频编辑模板为视频编辑模板A,在所述目标飞行轨迹为远距离模式的情况下,所述目标视频编辑模板为视频编辑模板B;进一步地,所述视频编辑模板A和视频编辑模板B均可以包括不同风格的编辑模板。
在一些实施例中,考虑到针对于至少一种飞行轨迹预置对应的视频编辑模板的方案,在飞行轨迹数量众多的情况下,针对于飞行轨迹预置对应的视频编辑模板的操作较为繁琐。基于此,考虑到无人机的多种飞行轨迹中的每种飞行轨迹均包括有多种子 轨迹,所述多种子轨迹可以大致分为渐远子轨迹、渐近子轨迹和环绕子轨迹3种轨迹类型,或者可以通过其他方式进行归类,则无需针对于飞行轨迹预置对应的视频编辑模板,而可以针对于子轨迹统一设置相应的视频编辑模板,其中,所述视频编辑模板中所需子片段对应的子轨迹与所述飞行轨迹的子轨迹存在映射关系。
在一个例子中,比如如表1所示,表1示出子轨迹集合中各种子轨迹对应的映射数字以及3种子轨迹类型,表2示出了一种飞行轨迹的各种子轨迹对应的映射数字,其中渐近子轨迹11、渐近子轨迹12以及渐近子轨迹13为属于同一类型的不同种子轨迹;其中,可以通过映射数字将表1和表2中的子轨迹对应起来,所述视频编辑模板所需子片段对应的子轨迹可以从表1中选取及组合,进而通过表1和表2中的映射数字从飞行轨迹的各种子轨迹对应的视频中获取所述视频编辑模板所需子片段;比如所述视频编辑模板所需子片段对应的子轨迹为2种不同的渐近子轨迹和1种环绕子轨迹;则可以根据映射数字从表2中获取如渐近子轨迹11、渐近子轨迹13和环绕子轨迹31对应的视频。
表1
映射数字 子轨迹类型
1 渐近子轨迹
2 渐远子轨迹
3 环绕子轨迹
表2
映射数字 子轨迹类型
1 渐近子轨迹11
2 渐远子轨迹21
3 环绕子轨迹31
1 渐近子轨迹12
1 渐近子轨迹13
在一些实施例中,所述目标视频编辑模板包括每个子片段对应的时间抽取区间和子片段拼接顺序,所述子片段关联存储有所述标识信息,所述标识信息用于指示所述子片段对应的子轨迹,上述提到,所述至少部分视频包括所述多种子轨迹分别对应的目标视频片段,所述视频编辑装置可以根据所述目标视频编辑模板指示的每个子片段关联的标识信息获取对应的子轨迹的目标视频片段,并根据所述每个子片段对应的时间抽取区间从所述目标视频片段中抽取相应的子片段,进而按照所述目标视频编辑模 板指示的子片段拼接顺序将抽取的子片段拼接起来,获取所述目标视频。
示例性的,所述子片段拼接顺序可以是按照所述子片段的采集时间的顺序;示例性的,所述子片段拼接顺序可以是按照预定视频类型顺序进行组合的顺序。
其中,考虑到所述子轨迹中的环绕子轨迹通常是相对目标拍摄对象环绕一个固定的角度,因此当起始点与目标拍摄对象所在位置距离不同时会导致实际拍摄的视频时长也发生变化,如果视频编辑模板中对原始视频的抽取是以固定时间值进行的就会发生错位甚至是抽取到错误的子轨迹的现象。因此,所述时间抽取区间为时间比例抽取区间,以所述子轨迹对应的视频的预设比例点作为基准进行抽取,例如从前1/3比例点处开始向后抽取3秒,或从后3/4比例点开始向前抽取5秒。通过这种基于时间比例点抽取的方式就可以实现对所述目标飞行轨迹中不同子轨迹对应的不同时长的视频的动态灵活抽取。
在一些实施例中,可以定义所述子轨迹对应的视频的类型,例如所述类型包括开篇类、成组类和结尾类等总分总类型;或者所述类型包括总结类和分段类等总分类型;或者还可以包括分总类型、并列式类型、对照式类型、递进式类型等组合方式;再通过随机选取每个类型中的一个或多个视频并按类型的顺序组合之后,就可以得到一个多个镜头组成的目标视频。其中,同一个子轨迹对应的视频可以属于多个类型。
示例性的,所述视频编辑装置中预置有多种视频编辑模板,所述多个视频编辑模板中的每个视频编辑模板对应不同的开篇类子片段、成组类子片段或结尾类子片段,比如所述子片段拼接顺序可以是开篇类子片段→成组类子片段→结尾类子片段的视频类型顺序。
例如在根据所述目标视频编辑模板指示的每个子片段对应的时间抽取区间从所述目标视频片段中抽取相应的子片段之后,所述视频编辑装置可以根据所述子轨迹与视频类型的对应关系,确定所述子轨迹对应的子片段所属类型(即开篇类、成组类和/或结尾类),进而按照所述子片段拼接顺序指示的类型顺序进行拼接,所述目标视频所包括的多个子片段的类型包括开篇类、成组类和结尾类,即所述子轨迹对应的子片段可以属于不同开篇类子片段、成组类子片段和结尾类子片段中的至少一种。
在一个例子中,请参与图28,每个视频编辑模板指示有开篇类子片段、成组类子片段和结尾类子片段;所述子轨迹对应的子片段可以属于开篇类子片段、成组类子片段和结尾类子片段中的至少一种,即所述子轨迹对应的子片段可以属于多种类型,将所述第二飞行轨迹按照所述开篇类-成组类-结尾类进行分类,则有开篇类:(2)远距离环绕、(3)发现式接近、(8)平拍下降。成组类:组合1:(5.1)顺时针螺旋渐近(中 近)、(5.2)顺时针螺旋渐近(近);组合2:(2)逆时针螺旋渐近(远)、(4)逆时针螺旋渐近(中);组合3:(6)低高度冲天、(7)扣拍旋转;组合4:(8)平拍下降、(9)扣拍降落。结尾类:(1)从起点渐远、(6)低高度冲天。示例性的,请参阅图28,所述视频编辑模板还可以包括音乐,在编辑每个子片段时,可以按照音乐节拍划分好时长的片段格子进行填充,在第一个格子中抽取一个开篇类的子片段填充,在最后一个格子中抽取一个结尾类的子片段填充,在中间剩余的格子中抽取一个或多个成组类子片段填充,得到所述目标视频。
另外,所述视频编辑模板还可以包括滤镜、特效(转场效果)等,从而生成具有观赏性和逻辑性的目标视频。不同的风格和视频编辑模板对应的音乐、滤镜、转场不同,每次按照视频类型随机抽取的片段不同,每次拍摄的目标拍摄对象也不同,因此通过这种编辑方案获得的目标视频每次都是不同的,在保证成片效果的同时满足用户的个性化需求。
此外,上述视频类型(开篇类、成组类和结尾类)的划分对于无人机的飞行路线中各个子轨迹的飞行顺序没有任何影响;例如,图18至图20所示的飞行路线由以该顺序执行的子轨迹0~子轨迹9组成。
当然用户也可以进行二次编辑直接选择某个类型中的指定子片段,或者点击某个子片段手动调整使用原始片段的具体区间。在自动飞行拍摄的过程中,用户可以将某个子轨迹标记为喜欢,或者直接标记喜欢的区间,使其在后期编辑中被实际应用。
在后期编辑过程中,用户可以按照选择使用一条目标飞行轨迹拍摄的视频自动成片,也可以选择此功能使用多条目标飞行轨迹拍摄的多个视频自动成片,所述多条目标飞行轨迹对应的目标拍摄对象可以不同,具有很强的扩展性。在一些实施例中,如果所述无人机按照目标飞行轨迹飞行的过程中发生中断(比如可能是用户操作或者避障导致的终端)且并未按照所述目标飞行轨迹继续飞行的情况下,所述视频编辑装置可以获取所述拍摄装置已拍摄的对应于各个子轨迹的至少部分视频,然后使用目标编辑模板对所述至少部分视频进行编辑以得到目标视频。示例性的,所述视频编辑装置可以对所述目标飞行轨迹中的第一个子轨迹对应的视频进行抽帧处理,以得到所述目标视频。示例性的,所述视频编辑装置可以确定所述目标移动路线中中断的路径,然后根据中断的路径从多个候选的视频模板中选择目标视频模板。
在一些实施例中,所述视频装置还可以获取手持拍摄装置拍摄得到的视频,例如所述手持拍摄装置搭载于云台,所述视频拍摄装置可以根据所述目标视频编辑模板对所述至少部分视频和手持拍摄装置拍摄的视频进行自动编辑以得到目标视频;实现不 同设备拍摄的视频可以整合编辑,获取良好的成片效果。
在一些实施例中,所述目标视频可以由终端设备的显示装置进行显示,用户还可以选择将所述目标视频分享到社交平台或本地保存。
本实施例提供的飞行控制方法以及视频编辑方法,实现了让无人机自动识别目标拍摄对象的类型,通过一次飞行就可以拍摄包含多段以不同方式拍摄的视频和/或多张照片,并按照预置的视频编辑模板进行自动剪辑,最终得到由多个镜头画面组合并可以搭配音乐、滤镜、转场效果等的具有观赏性和逻辑性的视频。大幅提升飞行、拍摄、编辑全流程的效率和质量,为用户带来全新的交互使用体验。
在一示例性的实施例中,请参阅图29,以飞行控制装置安装于无人机,以及所述视频编辑装置安装于终端设备为例,图29示出了用户、终端设备与无人机之间的交互过程,采用了一种自动飞行、自动编辑的全流程交互方案,仅关键流程人在回路,所以达到了一键拍摄、一键成片的效果,降低了使用门槛。
相应地,请参阅图30,本申请实施例还提供了一种飞行控制装置200,所述装置包括:
用于存储可执行指令的存储器201;
一个或多个处理器202;
其中,所述一个或多个处理器202执行所述可执行指令时,被单独地或共同地配置成执行:
获取拍摄装置的目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离;
根据所述目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离,在多种飞行轨迹中确定目标飞行轨迹;
控制所述无人机按照所述目标飞行轨迹飞行,并利用所述拍摄装置对所述目标拍摄对象进行拍摄。
在一些实施例中,所述处理器202还用于:根据所述目标拍摄对象的类型是否为人物类型和/或所述目标拍摄对象与所述无人机之间的距离与预设距离阈值比较的结果,在多种飞行轨迹中确定目标飞行轨迹。
在一些实施例中,所述多种飞行轨迹包括人像模式对应的第一飞行轨迹、普通模式对应的第二飞行轨迹和远距离模式对应的第三飞行轨迹中的至少一种。
在一些实施例中,所述处理器202还用于:若所述目标拍摄对象的类型为人物类 型,则所述目标飞行轨迹为所述第一飞行轨迹。
在一些实施例中,所述处理器202还用于:若所述目标拍摄对象与所述无人机之间的距离大于所述预设距离阈值,则所述目标飞行轨迹为所述第三飞行轨迹。
在一些实施例中,所述处理器202还用于:
若所述目标拍摄对象的类型为人物类型,且所述目标拍摄对象与所述无人机之间的距离小于所述预设距离阈值,则所述目标飞行轨迹为所述第一飞行轨迹;
若所述目标拍摄对象的类型为人物类型,且所述目标拍摄对象与所述无人机之间的距离大于或等于所述预设距离阈值,则所述目标飞行轨迹为所述第二飞行轨迹;
若所述目标拍摄对象的类型并非人物类型,且所述目标拍摄对象与所述无人机之间的距离小于所述预设距离阈值,则所述目标飞行轨迹为所述第二飞行轨迹;
若所述目标拍摄对象的类型并非人物类型,且所述目标拍摄对象与所述无人机之间的距离大于或等于所述预设距离阈值,则所述目标飞行轨迹为所述第三飞行轨迹。
在一些实施例中,所述人像模式对应的第一飞行轨迹的目标起点与所述目标拍摄对象的相对位置关系满足预设条件。
在一些实施例中,所述拍摄装置在所述目标起点对所述目标拍摄对象进行拍摄时,所述目标拍摄对象处于拍摄画面中的预设位置,和/或占据预设尺寸。
在一些实施例中,所述预设条件包括以下至少之一:所述目标起点与所述目标对象的高度差为预设高度;所述目标起点与所述目标对象的水平距离为预设水平距离。
在一些实施例中,所述多种飞行轨迹中的每种飞行轨迹均包括多种子轨迹。
在一些实施例中,所述多种飞行轨迹中的每种飞行轨迹对应的子轨迹的组合方式不同。
在一些实施例中,所述多种子轨迹包括第一子轨迹,所述处理器202还用于:在所述无人机按照所述第一子轨迹飞行的过程中,控制所述拍摄装置的俯仰角由第一俯仰角转动至第二俯仰角;其中,所述拍摄装置的俯仰角处于第一俯仰角时,所述目标拍摄对象处于所述拍摄装置的拍摄画面之外,所述拍摄装置的俯仰角处于第二俯仰角时,所述目标拍摄对象处于所述拍摄装置的拍摄画面之内。
在一些实施例中,所述多种子轨迹包括第二子轨迹,所述处理器202还用于:在所述无人机按照所述第二子轨迹飞行的过程中,控制所述无人机转动偏航角且所述拍摄装置垂直朝下。
在一些实施例中,所述多种子轨迹包括第三子轨迹,所述处理器202还用于:在所述无人机按照所述第三子轨迹飞行的过程中,控制所述无人机朝向靠近所述目标拍 摄对象的方向飞行或者朝向远离所述目标拍摄对象的方向飞行,并且所述拍摄装置转动横滚角。
在一些实施例中,所述多种子轨迹包括第四子轨迹,所述处理器202还用于:
在所述无人机按照所述第四子轨迹飞行的过程中,控制所述无人机朝向靠近所述目标拍摄对象的方向飞行,且所述拍摄装置的焦段由最长焦段变化至最广焦段;或者
在所述无人机按照所述第四子轨迹飞行的过程中,控制所述无人机朝向远离所述目标拍摄对象的方向飞行,且所述拍摄装置的焦段由最广焦段变化至最长焦段。
在一些实施例中,所述多种子轨迹包括第五子轨迹,所述处理器202还用于:在所述无人机按照所述第五子轨迹飞行的过程中,控制所述无人机基于内螺旋航线环绕所述目标拍摄对象,所述拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向呈预设夹角。
在一些实施例中,所述处理器202还用于:在所述无人机按照目标飞行轨迹飞行的过程中,若检测到障碍物,则控制所述无人机通过第一绕行轨迹或第二绕行轨迹避开所述障碍物;其中,所述第一绕行轨迹的起始点和结束点均处于所述无人机当前所在的子轨迹,所述第二绕行轨迹的起始点处于所述无人机当前所在的子轨迹,所述第二绕行轨迹的结束点处于所述无人机当前所在的子轨迹的下一条子轨迹。
在一些实施例中,所述多种飞行轨迹中每种飞行轨迹对应的飞行区域的大小不同。
在一些实施例中,所述多种飞行轨迹中每种飞行轨迹对应的飞行时间不同。
在一些实施例中,所述无人机与终端设备建立有通信连接,所述处理器202还用于:将所述目标飞行轨迹发送给所述终端设备,以使得所述终端设备的显示装置对所述目标飞行轨迹、所述目标飞行轨迹对应的飞行区域以及所述目标飞行轨迹对应的地图进行叠加显示。
在一些实施例中,所述处理器202还用于:根据轨迹调整信息对所述目标飞行轨迹进行调整,所述轨迹信息是基于用户对所述终端设备的操作生成的。
在一些实施例中,所述飞行轨迹调整信息包括飞行区域调整信息,所述操作包括调整所述显示装置显示的所述飞行区域的大小,所述飞行区域为2D区域或3D区域。
在一些实施例中,所述处理器202还用于:在所述无人机按照所述目标飞行轨迹飞行的过程中,将所述无人机的实时位置和飞行方向发送给所述终端设备,以使得所述终端设备的显示装置在所述目标飞行轨迹对应的地图上叠加显示所述实时位置和飞行方向。
在一些实施例中,所述目标飞行轨迹包括多种子轨迹,所述终端设备的显示装置 还用于显示所述多种轨迹中所述实时位置对应的子轨迹。
在一些实施例中,所述终端设备的显示装置还用于显示所述无人机按照目标飞行轨迹飞行的剩余飞行时间。
相应地,本申请实施例还提供了一种飞行控制装置,所述装置包括:
用于存储可执行指令的存储器;
一个或多个处理器;
其中,所述一个或多个处理器执行所述可执行指令时,被单独地或共同地配置成:
获取所述无人机的目标飞行轨迹,所述目标飞行轨迹包括多种子轨迹,所述多种子轨迹包括环绕子轨迹、渐远子轨迹和/或渐近子轨迹;
控制所述无人机按照所述目标飞行轨迹飞行,并利用无人机的拍摄装置对目标拍摄对象进行拍摄。
在一实施例中,所述处理器还用于:获取所述拍摄装置的目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离;根据所述目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离,在多种飞行轨迹中确定所述目标飞行轨迹。
在一实施例中,所述多种子轨迹还包括第一子轨迹,所述处理器还用于:在所述无人机按照所述第一子轨迹飞行的过程中,控制所述拍摄装置的俯仰角由第一俯仰角转动至第二俯仰角;其中,所述拍摄装置的俯仰角处于第一俯仰角时,所述目标拍摄对象处于所述拍摄装置的拍摄画面之外,所述拍摄装置的俯仰角处于第二俯仰角时,所述目标拍摄对象处于所述拍摄装置的拍摄画面之内。
在一实施例中,所述多种子轨迹还包括第二子轨迹,所述处理器还用于:在所述无人机按照所述第二子轨迹飞行的过程中,控制所述无人机转动偏航角且所述拍摄装置垂直朝下。
在一实施例中,所述多种子轨迹还包括第三子轨迹,所述处理器还用于:在所述无人机按照所述第三子轨迹飞行的过程中,控制所述无人机朝向靠近所述目标拍摄对象的方向飞行或者朝向远离所述目标拍摄对象的方向飞行,并且所述拍摄装置转动横滚角。
在一实施例中,所述多种子轨迹还包括第四子轨迹,所述处理器还用于:在所述无人机按照所述第四子轨迹飞行的过程中,控制所述无人机朝向靠近所述目标拍摄对象的方向飞行,且所述拍摄装置的焦段由最长焦段变化至最广焦段;或者在所述无人机按照所述第四子轨迹飞行的过程中,控制所述无人机朝向远离所述目标拍摄对象的 方向飞行,且所述拍摄装置的焦段由最广焦段变化至最长焦段。
在一实施例中,所述多种子轨迹还包括第五子轨迹,所述处理器还用于:在所述无人机按照所述第五子轨迹飞行的过程中,控制所述无人机基于内螺旋航线环绕所述目标拍摄对象,所述拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向呈预设夹角。
在一实施例中,所述处理器还用于:在所述无人机按照目标飞行轨迹飞行的过程中,若检测到障碍物,则控制所述无人机通过第一绕行轨迹或第二绕行轨迹避开所述障碍物;其中,所述第一绕行轨迹的起始点和结束点均处于所述无人机当前所在的子轨迹,所述第二绕行轨迹的起始点处于所述无人机当前所在的子轨迹,所述第二绕行轨迹的结束点处于所述无人机当前所在的子轨迹的下一条子轨迹。
相应地,本申请实施例还提供了一种飞行控制装置,所述装置包括:
用于存储可执行指令的存储器;
一个或多个处理器;
其中,所述一个或多个处理器执行所述可执行指令时,被单独地或共同地配置成:获取所述拍摄装置的目标拍摄对象的类型;
若无人机的拍摄装置的目标拍摄对象的类型为人物类型,控制所述无人机飞行至目标起点,以使得所述无人机以所述目标起点为起始点对所述目标拍摄对象进行拍摄;
其中,所述目标起点与所述目标拍摄对象的相对位置关系满足预设条件。
在一实施例中,所述拍摄装置在所述目标起点对所述目标拍摄对象进行拍摄时,所述目标拍摄对象处于拍摄画面中的预设位置,和/或占据预设尺寸。
在一实施例中,所述预设条件包括以下至少之一:所述目标起点与所述目标对象的高度差为预设高度;所述目标起点与所述目标对象的水平距离为预设水平距离。
在一实施例中,若所述拍摄装置的目标拍摄对象的类型为人物类型,且所述目标拍摄对象与所述无人机之间的距离小于预设距离阈值,则控制所述无人机飞行至目标起点。
在一实施例中,所述处理器还用于:控制所述无人机自所述目标起点按照目标飞行轨迹飞行,并利用所述拍摄装置对所述目标拍摄对象进行拍摄。
相应地,本申请实施例还提供了一种飞行控制装置,所述装置包括:
用于存储可执行指令的存储器;
一个或多个处理器;
其中,所述一个或多个处理器执行所述可执行指令时,被单独地或共同地配置成:
获取目标拍摄对象与无人机之间的距离;
若所述目标拍摄对象与无人机之间的距离大于预设阈值,在所述无人机环绕所述目标拍摄对象时,控制所述无人机基于内螺旋航线环绕所述目标拍摄对象;
其中,所述无人机的拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向呈预设夹角。
在一实施例中,所述拍摄装置通过云台设置于所述无人机,所述云台具有转动限位,所述预设阈值的设置与所述转动限位有关。
在一实施例中,所述无人机的机头设置有环境感知装置,所述环境感知装置的朝向与所述机头方向一致。
在一实施例中,所述处理器还用于:若所述目标拍摄对象与所述无人机之间的距离小于所述预设阈值,在所述无人机环绕所述目标拍摄对象时,控制所述无人机基于圆形航线环绕所述目标拍摄对象。
相应地,请参阅图31,在叔叔飞行控制装置为芯片或者集成电路的情况下,本申请实施例还提供了一种无人机110,包括:
机体101;
动力系统150,设置于所述机体101,用于为所述无人机提供动力;
以及,如上述的飞行控制装置200。
相应地,本申请实施例还提供了一种视频编辑装置,所述装置包括:
用于存储可执行指令的存储器;
一个或多个处理器;
其中,所述一个或多个处理器执行所述可执行指令时,被单独地或共同地配置:
获取无人机按照至少一个目标飞行轨迹飞行时,利用拍摄装置拍摄得到的至少部分视频,所述目标飞行轨迹包括多种子轨迹;
根据目标视频编辑模板对所述至少部分视频进行自动编辑以得到目标视频,所述目标视频包括多个子片段,所述多个子片段中的至少两个子片段对应于所述多种子轨迹中不同的子轨迹。
在一实施例中,所述多个子片段中的每个子片段关联存储有标识信息,所述标识信息用于指示所述子片段对应的子轨迹。
在一实施例中,所述目标视频编辑模板包括每个子片段对应的时间抽取区间和子片段拼接顺序。
在一实施例中,所述时间抽取区间为时间比例抽取区间。
在一实施例中,所述处理器还用于:基于用户选择操作,在多个视频编辑模板中确定目标视频编辑模板。
在一实施例中,所述多个子片段的类型包括开篇类、成组类和结尾类。
所述多个视频编辑模板中的每个视频编辑模板对应不同的开篇类子片段、成组类子片段或结尾类子片段。
在一实施例中,所述多个视频编辑模板与所述目标飞行轨迹对应的飞行模式相匹配,所述飞行模式包括人像模式、普通模式和远距离模式中的至少一种。
在一实施例中,所述处理器还用于:接收所述无人机按照所述目标飞行轨迹飞行时发送的实时图传数据,以得到低清原始视频;去除所述多种子轨迹中至少一种子轨迹的开头或结尾对应的视频片段以得到所述至少部分视频。
在一实施例中,所述处理器还用于:接收所述无人机按照所述目标飞行轨迹飞行之后发送的高清图传数据,以得到所述至少部分视频;其中,所述至少部分视频中已经去除了所述多种子轨迹中至少一种子轨迹的开头或结尾对应的视频片段。
在一实施例中,所述处理器还用于:若所述无人机按照目标飞行轨迹飞行的过程中发生中断,则对所述目标飞行轨迹中的第一个子轨迹对应的视频进行抽帧处理,以得到目标视频。
在一实施例中,所述处理器还用于:获取手持拍摄装置拍摄得到的视频;根据所述目标视频编辑模板对所述至少部分视频和手持拍摄装置拍摄的视频进行自动编辑以得到目标视频。
在一实施例中,所述视频编辑装置包括终端设备、服务器等。对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。这里描述的各种实施方式可以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施。对于软件实施,诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在 存储器中并且由控制器执行。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由装置的处理器执行以完成上述方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当存储介质中的指令由终端的处理器执行时,使得终端能够执行上述方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
以上对本申请实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (58)

  1. 一种无人机的飞行控制方法,所述无人机设置有拍摄装置,其特征在于,所述方法包括:
    获取所述拍摄装置的目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离;
    根据所述目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离,在多种飞行轨迹中确定目标飞行轨迹;
    控制所述无人机按照所述目标飞行轨迹飞行,并利用所述拍摄装置对所述目标拍摄对象进行拍摄。
  2. 根据权利要求1所述的方法,其特征在于,所述根据所述目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离,在多种飞行轨迹中确定目标飞行轨迹,包括:
    根据所述目标拍摄对象的类型是否为人物类型和/或所述目标拍摄对象与所述无人机之间的距离与预设距离阈值比较的结果,在多种飞行轨迹中确定目标飞行轨迹。
  3. 根据权利要求2所述的方法,其特征在于,所述多种飞行轨迹包括人像模式对应的第一飞行轨迹、普通模式对应的第二飞行轨迹和远距离模式对应的第三飞行轨迹中的至少一种。
  4. 根据权利要求3所述的方法,其特征在于,所述根据所述目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离,在多种飞行轨迹中确定目标飞行轨迹,包括:
    若所述目标拍摄对象的类型为人物类型,则所述目标飞行轨迹为所述第一飞行轨迹。
  5. 根据权利要求3所述的方法,其特征在于,所述根据所述目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离,在多种飞行轨迹中确定目标飞行轨迹,包括:
    若所述目标拍摄对象与所述无人机之间的距离大于所述预设距离阈值,则所述目标飞行轨迹为所述第三飞行轨迹。
  6. 根据权利要求3所述的方法,其特征在于,所述根据所述目标拍摄对象的类型是否为人物类型,以及所述目标拍摄对象与所述无人机之间的距离与预设距离阈值比较的结果,在多种飞行轨迹中确定目标飞行轨迹,包括:
    若所述目标拍摄对象的类型为人物类型,且所述目标拍摄对象与所述无人机之间的距离小于所述预设距离阈值,则所述目标飞行轨迹为所述第一飞行轨迹;
    若所述目标拍摄对象的类型为人物类型,且所述目标拍摄对象与所述无人机之间的距离大于或等于所述预设距离阈值,则所述目标飞行轨迹为所述第二飞行轨迹;
    若所述目标拍摄对象的类型并非人物类型,且所述目标拍摄对象与所述无人机之间的距离小于所述预设距离阈值,则所述目标飞行轨迹为所述第二飞行轨迹;
    若所述目标拍摄对象的类型并非人物类型,且所述目标拍摄对象与所述无人机之间的距离大于或等于所述预设距离阈值,则所述目标飞行轨迹为所述第三飞行轨迹。
  7. 根据权利要求3所述的方法,其特征在于,所述人像模式对应的第一飞行轨迹的目标起点与所述目标拍摄对象的相对位置关系满足预设条件。
  8. 根据权利要求7所述的方法,其特征在于,所述拍摄装置在所述目标起点对所述目标拍摄对象进行拍摄时,所述目标拍摄对象处于拍摄画面中的预设位置,和/或占据预设尺寸。
  9. 根据权利要求7所述的方法,其特征在于,所述预设条件包括以下至少之一:
    所述目标起点与所述目标对象的高度差为预设高度;
    所述目标起点与所述目标对象的水平距离为预设水平距离。
  10. 根据权利要求1所述的方法,其特征在于,所述多种飞行轨迹中的每种飞行轨迹均包括多种子轨迹。
  11. 根据权利要求10所述的方法,其特征在于,所述多种飞行轨迹中的每种飞行轨迹对应的子轨迹的组合方式不同。
  12. 根据权利要求10所述的方法,其特征在于,所述多种子轨迹包括第一子轨迹,所述方法还包括:
    在所述无人机按照所述第一子轨迹飞行的过程中,控制所述拍摄装置的俯仰角由第一俯仰角转动至第二俯仰角;
    其中,所述拍摄装置的俯仰角处于第一俯仰角时,所述目标拍摄对象处于所述拍摄装置的拍摄画面之外,所述拍摄装置的俯仰角处于第二俯仰角时,所述目标拍摄对象处于所述拍摄装置的拍摄画面之内。
  13. 根据权利要求10所述的方法,其特征在于,所述多种子轨迹包括第二子轨迹,所述方法还包括:
    在所述无人机按照所述第二子轨迹飞行的过程中,控制所述无人机转动偏航角且所述拍摄装置垂直朝下。
  14. 根据权利要求10所述的方法,其特征在于,所述多种子轨迹包括第三子轨迹,所述方法还包括:
    在所述无人机按照所述第三子轨迹飞行的过程中,控制所述无人机朝向靠近所述目标拍摄对象的方向飞行或者朝向远离所述目标拍摄对象的方向飞行,并且所述拍摄装置转动横滚角。
  15. 根据权利要求10所述的方法,其特征在于,所述多种子轨迹包括第四子轨迹,所述方法还包括:
    在所述无人机按照所述第四子轨迹飞行的过程中,控制所述无人机朝向靠近所述目标拍摄对象的方向飞行,且所述拍摄装置的焦段由最长焦段变化至最广焦段;或者
    在所述无人机按照所述第四子轨迹飞行的过程中,控制所述无人机朝向远离所述目标拍摄对象的方向飞行,且所述拍摄装置的焦段由最广焦段变化至最长焦段。
  16. 根据权利要求10所述的方法,其特征在于,所述多种子轨迹包括第五子轨迹,所述方法包括:
    在所述无人机按照所述第五子轨迹飞行的过程中,控制所述无人机基于内螺旋航线环绕所述目标拍摄对象,所述拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向呈预设夹角。
  17. 根据权利要求10所述的方法,其特征在于,所述方法还包括:
    在所述无人机按照目标飞行轨迹飞行的过程中,若检测到障碍物,则控制所述无 人机通过第一绕行轨迹或第二绕行轨迹避开所述障碍物;
    其中,所述第一绕行轨迹的起始点和结束点均处于所述无人机当前所在的子轨迹,所述第二绕行轨迹的起始点处于所述无人机当前所在的子轨迹,所述第二绕行轨迹的结束点处于所述无人机当前所在的子轨迹的下一条子轨迹。
  18. 根据权利要求1所述的方法,其特征在于,所述多种飞行轨迹中每种飞行轨迹对应的飞行区域的大小不同。
  19. 根据权利要求1所述的方法,其特征在于,所述多种飞行轨迹中每种飞行轨迹对应的飞行时间不同。
  20. 根据权利要求1所述的方法,其特征在于,所述无人机与终端设备建立有通信连接,所述方法还包括:
    将所述目标飞行轨迹发送给所述终端设备,以使得所述终端设备的显示装置对所述目标飞行轨迹、所述目标飞行轨迹对应的飞行区域以及所述目标飞行轨迹对应的地图进行叠加显示。
  21. 根据权利要求20所述的方法,其特征在于,所述方法还包括:
    根据轨迹调整信息对所述目标飞行轨迹进行调整,所述轨迹信息是基于用户对所述终端设备的操作生成的。
  22. 根据权利要求21所述的方法,其特征在于,所述轨迹调整信息包括飞行区域调整信息,所述操作包括调整所述显示装置显示的所述飞行区域的大小,所述飞行区域为2D区域或3D区域。
  23. 根据权利要求20所述的方法,其特征在于,所述方法还包括:
    在所述无人机按照所述目标飞行轨迹飞行的过程中,将所述无人机的实时位置和飞行方向发送给所述终端设备,以使得所述终端设备的显示装置在所述目标飞行轨迹对应的地图上叠加显示所述实时位置和飞行方向。
  24. 根据权利要求23所述的方法,其特征在于,所述目标飞行轨迹包括多种子轨迹,所述终端设备的显示装置还用于显示所述多种轨迹中所述实时位置对应的子轨迹。
  25. 根据权利要求20所述的方法,其特征在于,所述终端设备的显示装置还用于显示所述无人机按照目标飞行轨迹飞行的剩余飞行时间。
  26. 一种无人机的飞行控制方法,所述无人机设置有拍摄装置,其特征在于,所述方法包括:
    获取所述无人机的目标飞行轨迹,所述目标飞行轨迹包括多种子轨迹,所述多种子轨迹包括环绕子轨迹、渐远子轨迹和/或渐近子轨迹;
    控制所述无人机按照所述目标飞行轨迹飞行,并利用所述拍摄装置对目标拍摄对象进行拍摄。
  27. 根据权利要求26所述的方法,其特征在于,所述获取所述无人机的目标飞行轨迹,包括:
    获取所述拍摄装置的目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离;
    根据所述目标拍摄对象的类型和/或所述目标拍摄对象与所述无人机之间的距离,在多种飞行轨迹中确定所述目标飞行轨迹。
  28. 根据权利要求26或27所述的方法,其特征在于,所述多种子轨迹还包括第一子轨迹,所述方法还包括:
    在所述无人机按照所述第一子轨迹飞行的过程中,控制所述拍摄装置的俯仰角由第一俯仰角转动至第二俯仰角;
    其中,所述拍摄装置的俯仰角处于第一俯仰角时,所述目标拍摄对象处于所述拍摄装置的拍摄画面之外,所述拍摄装置的俯仰角处于第二俯仰角时,所述目标拍摄对象处于所述拍摄装置的拍摄画面之内。
  29. 根据权利要求26或27所述的方法,其特征在于,所述多种子轨迹还包括第二子轨迹,所述方法还包括:
    在所述无人机按照所述第二子轨迹飞行的过程中,控制所述无人机转动偏航角且所述拍摄装置垂直朝下。
  30. 根据权利要求26或27所述的方法,其特征在于,所述多种子轨迹还包括第 三子轨迹,所述方法还包括:
    在所述无人机按照所述第三子轨迹飞行的过程中,控制所述无人机朝向靠近所述目标拍摄对象的方向飞行或者朝向远离所述目标拍摄对象的方向飞行,并且所述拍摄装置转动横滚角。
  31. 根据权利要求26或27所述的方法,其特征在于,所述多种子轨迹还包括第四子轨迹,所述方法还包括:
    在所述无人机按照所述第四子轨迹飞行的过程中,控制所述无人机朝向靠近所述目标拍摄对象的方向飞行,且所述拍摄装置的焦段由最长焦段变化至最广焦段;或者
    在所述无人机按照所述第四子轨迹飞行的过程中,控制所述无人机朝向远离所述目标拍摄对象的方向飞行,且所述拍摄装置的焦段由最广焦段变化至最长焦段。
  32. 根据权利要求26或27所述的方法,其特征在于,所述多种子轨迹还包括第五子轨迹,所述方法包括:
    在所述无人机按照所述第五子轨迹飞行的过程中,控制所述无人机基于内螺旋航线环绕所述目标拍摄对象,所述拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向呈预设夹角。
  33. 根据权利要求26或27所述的方法,其特征在于,所述方法还包括:
    在所述无人机按照目标飞行轨迹飞行的过程中,若检测到障碍物,则控制所述无人机通过第一绕行轨迹或第二绕行轨迹避开所述障碍物;
    其中,所述第一绕行轨迹的起始点和结束点均处于所述无人机当前所在的子轨迹,所述第二绕行轨迹的起始点处于所述无人机当前所在的子轨迹,所述第二绕行轨迹的结束点处于所述无人机当前所在的子轨迹的下一条子轨迹。
  34. 一种无人机的飞行控制方法,所述无人机设置有拍摄装置,其特征在于,所述方法包括:
    获取所述拍摄装置的目标拍摄对象的类型;
    若所述拍摄装置的目标拍摄对象的类型为人物类型,控制所述无人机飞行至目标起点,以使得所述无人机以所述目标起点为起始点对所述目标拍摄对象进行拍摄;
    其中,所述目标起点与所述目标拍摄对象的相对位置关系满足预设条件。
  35. 根据权利要求34所述的方法,其特征在于,所述拍摄装置在所述目标起点对所述目标拍摄对象进行拍摄时,所述目标拍摄对象处于拍摄画面中的预设位置,和/或占据预设尺寸。
  36. 根据权利要求34或35所述的方法,其特征在于,所述预设条件包括以下至少之一:
    所述目标起点与所述目标对象的高度差为预设高度;
    所述目标起点与所述目标对象的水平距离为预设水平距离。
  37. 根据权利要求34所述的方法,其特征在于,若所述拍摄装置的目标拍摄对象的类型为人物类型,且所述目标拍摄对象与所述无人机之间的距离小于预设距离阈值,则控制所述无人机飞行至目标起点。
  38. 根据权利要求34所述的方法,其特征在于,所述方法还包括:
    控制所述无人机自所述目标起点按照目标飞行轨迹飞行,并利用所述拍摄装置对所述目标拍摄对象进行拍摄。
  39. 一种无人机的飞行控制方法,所述无人机设置有拍摄装置,其特征在于,所述方法包括:
    获取目标拍摄对象与所述无人机之间的距离;
    若所述目标拍摄对象与所述无人机之间的距离大于预设阈值,在所述无人机环绕所述目标拍摄对象时,控制所述无人机基于内螺旋航线环绕所述目标拍摄对象;
    其中,所述拍摄装置朝向所述目标拍摄对象,且与所述无人机的机头方向呈预设夹角。
  40. 根据权利要求39所述的方法,其特征在于,所述拍摄装置通过云台设置于所述无人机,所述云台具有转动限位,所述预设阈值的设置与所述转动限位有关。
  41. 根据权利要求39或40所述的方法,其特征在于,所述无人机的机头设置有环境感知装置,所述环境感知装置的朝向与所述机头方向一致。
  42. 根据权利要求39所述的方法,其特征在于,所述方法还包括:
    若所述目标拍摄对象与所述无人机之间的距离小于所述预设阈值,在所述无人机环绕所述目标拍摄对象时,控制所述无人机基于圆形航线环绕所述目标拍摄对象。
  43. 一种视频编辑方法,其特征在于,所述方法包括:
    获取无人机按照至少一个目标飞行轨迹飞行时,利用拍摄装置拍摄得到的至少部分视频,所述目标飞行轨迹包括多种子轨迹;
    根据目标视频编辑模板对所述至少部分视频进行自动编辑以得到目标视频,所述目标视频包括多个子片段,所述多个子片段中的至少两个子片段对应于所述多种子轨迹中不同的子轨迹。
  44. 根据权利要求43所述的方法,其特征在于,所述多个子片段中的每个子片段关联存储有标识信息,所述标识信息用于指示所述子片段对应的子轨迹。
  45. 根据权利要求43所述的方法,其特征在于,所述目标视频编辑模板包括每个子片段对应的时间抽取区间和子片段拼接顺序。
  46. 根据权利要求45所述的方法,其特征在于,所述时间抽取区间为时间比例抽取区间。
  47. 根据权利要求43所述的方法,其特征在于,所述方法还包括:
    基于用户选择操作,在多个视频编辑模板中确定目标视频编辑模板。
  48. 根据权利要求47所述的方法,其特征在于,所述多个子片段的类型包括开篇类、成组类和结尾类;
    所述多个视频编辑模板中的每个视频编辑模板对应不同的开篇类子片段、成组类子片段或结尾类子片段。
  49. 根据权利要求47所述的方法,其特征在于,所述多个视频编辑模板与所述目标飞行轨迹对应的飞行模式相匹配,所述飞行模式包括人像模式、普通模式和远距离模式中的至少一种。
  50. 根据权利要求43所述的方法,其特征在于,所述方法还包括:
    接收所述无人机按照所述目标飞行轨迹飞行时发送的实时图传数据,以得到低清原始视频;
    去除所述多种子轨迹中至少一种子轨迹的开头或结尾对应的视频片段以得到所述至少部分视频。
  51. 根据权利要求43所述的方法,其特征在于,所述方法还包括:
    接收所述无人机按照所述目标飞行轨迹飞行之后发送的高清图传数据,以得到所述至少部分视频;
    其中,所述至少部分视频中已经去除了所述多种子轨迹中至少一种子轨迹的开头或结尾对应的视频片段。
  52. 根据权利要求43所述的方法,其特征在于,所述方法还包括:
    若所述无人机按照目标飞行轨迹飞行的过程中发生中断,则对所述目标飞行轨迹中的第一个子轨迹对应的视频进行抽帧处理,以得到目标视频。
  53. 根据权利要求43所述的方法,其特征在于,所述方法还包括:
    获取手持拍摄装置拍摄得到的视频;
    所述根据目标视频编辑模板对所述至少部分视频进行自动编辑以得到目标视频,包括:
    根据所述目标视频编辑模板对所述至少部分视频和手持拍摄装置拍摄的视频进行自动编辑以得到目标视频。
  54. 一种飞行控制装置,其特征在于,所述装置包括:
    用于存储可执行指令的存储器;
    一个或多个处理器;
    其中,所述一个或多个处理器执行所述可执行指令时,被单独地或共同地配置成执行权利要求1至42任意一项所述的方法。
  55. 一种视频编辑装置,其特征在于,所述装置包括:
    用于存储可执行指令的存储器;
    一个或多个处理器;
    其中,所述一个或多个处理器执行所述可执行指令时,被单独地或共同地配置成 执行权利要求42至53任意一项所述的方法。
  56. 根据权利要求55所述的装置,其特征在于,所述视频编辑装置包括终端设备。
  57. 一种无人机,其特征在于,包括:
    机体;
    动力系统,设置于所述机体,用于为所述无人机提供动力;
    以及,如权利要求54所述的飞行控制装置。
  58. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有可执行指令,所述可执行指令被处理器执行时实现如权利要求1至53任意一项所述的方法。
PCT/CN2021/087612 2020-12-31 2021-04-15 飞行控制方法、视频编辑方法、装置、无人机及存储介质 WO2022141956A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180005825.0A CN114556256A (zh) 2020-12-31 2021-04-15 飞行控制方法、视频编辑方法、装置、无人机及存储介质
US18/215,729 US20230359204A1 (en) 2020-12-31 2023-06-28 Flight control method, video editing method, device, uav and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CNPCT/CN2020/142023 2020-12-31
PCT/CN2020/142023 WO2022141369A1 (en) 2020-12-31 2020-12-31 Systems and methods for supporting automatic video capture and video editing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/142023 Continuation WO2022141369A1 (en) 2020-12-31 2020-12-31 Systems and methods for supporting automatic video capture and video editing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/215,729 Continuation US20230359204A1 (en) 2020-12-31 2023-06-28 Flight control method, video editing method, device, uav and storage medium

Publications (1)

Publication Number Publication Date
WO2022141956A1 true WO2022141956A1 (zh) 2022-07-07

Family

ID=82258868

Family Applications (3)

Application Number Title Priority Date Filing Date
PCT/CN2020/142023 WO2022141369A1 (en) 2020-12-31 2020-12-31 Systems and methods for supporting automatic video capture and video editing
PCT/CN2021/087612 WO2022141956A1 (zh) 2020-12-31 2021-04-15 飞行控制方法、视频编辑方法、装置、无人机及存储介质
PCT/CN2021/087611 WO2022141955A1 (zh) 2020-12-31 2021-04-15 无人机控制方法、装置及计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/142023 WO2022141369A1 (en) 2020-12-31 2020-12-31 Systems and methods for supporting automatic video capture and video editing

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/087611 WO2022141955A1 (zh) 2020-12-31 2021-04-15 无人机控制方法、装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114981746A (zh)
WO (3) WO2022141369A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023211616A1 (en) * 2022-04-27 2023-11-02 Snap Inc. Editing video captured by electronic devices using associated flight path information
CN115435776B (zh) * 2022-11-03 2023-03-14 成都沃飞天驭科技有限公司 立体航路航线显示方法、装置、飞行器及存储介质
CN115499596B (zh) * 2022-11-18 2023-05-30 北京中科觅境智慧生态科技有限公司 一种处理图像的方法和装置
CN116109956A (zh) * 2023-04-12 2023-05-12 安徽省空安信息技术有限公司 一种无人机自适应变焦高精度目标检测智能巡检方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657779A (zh) * 2016-12-13 2017-05-10 重庆零度智控智能科技有限公司 环绕拍摄方法、装置及无人机
US20180241931A1 (en) * 2015-11-04 2018-08-23 Tencent Technology (Shenzhen) Company Limited Control method for photographing using unmanned aerial vehicle, photographing method using unmanned aerial vehicle, mobile terminal, and unmanned aerial vehicle
CN108513641A (zh) * 2017-05-08 2018-09-07 深圳市大疆创新科技有限公司 无人机拍摄控制方法、无人机拍摄方法、控制终端、无人机控制装置和无人机
CN108566513A (zh) * 2018-03-28 2018-09-21 深圳臻迪信息技术有限公司 一种无人机对运动目标的拍摄方法
US20180288303A1 (en) * 2017-03-31 2018-10-04 Hangzhou Zero Zero Technology Co., Ltd. System and method for providing autonomous photography and videography

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456174B2 (en) * 2014-01-20 2016-09-27 H4 Engineering, Inc. Neural network for video editing
US20170244937A1 (en) * 2014-06-03 2017-08-24 Gopro, Inc. Apparatus and methods for aerial video acquisition
CN105120146B (zh) * 2015-08-05 2018-06-26 普宙飞行器科技(深圳)有限公司 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法
US10339387B2 (en) * 2016-03-03 2019-07-02 Brigham Young University Automated multiple target detection and tracking system
EP3499897B1 (en) * 2016-08-10 2021-05-19 Panasonic Intellectual Property Corporation of America Camerawork generating method and video processing device
US20180103197A1 (en) * 2016-10-06 2018-04-12 Gopro, Inc. Automatic Generation of Video Using Location-Based Metadata Generated from Wireless Beacons
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US10168704B2 (en) * 2017-06-05 2019-01-01 Hanzhou Zero Zero Technology Co., Ltd. System and method for providing easy-to-use release and auto-positioning for drone applications
CN107990877B (zh) * 2017-12-06 2020-07-10 华中师范大学 一种基于互联网的无人机遥感解译外业调查系统及方法
CN110362098B (zh) * 2018-03-26 2022-07-05 北京京东尚科信息技术有限公司 无人机视觉伺服控制方法、装置以及无人机
CN110139149B (zh) * 2019-06-21 2020-11-24 上海摩象网络科技有限公司 一种视频优化的方法、装置、电子设备
WO2021035731A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 无人飞行器的控制方法、装置及计算机可读存储介质
CN110853032B (zh) * 2019-11-21 2022-11-01 北京航空航天大学 基于多模态深度学习的无人机视频标签获取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180241931A1 (en) * 2015-11-04 2018-08-23 Tencent Technology (Shenzhen) Company Limited Control method for photographing using unmanned aerial vehicle, photographing method using unmanned aerial vehicle, mobile terminal, and unmanned aerial vehicle
CN106657779A (zh) * 2016-12-13 2017-05-10 重庆零度智控智能科技有限公司 环绕拍摄方法、装置及无人机
US20180288303A1 (en) * 2017-03-31 2018-10-04 Hangzhou Zero Zero Technology Co., Ltd. System and method for providing autonomous photography and videography
CN108513641A (zh) * 2017-05-08 2018-09-07 深圳市大疆创新科技有限公司 无人机拍摄控制方法、无人机拍摄方法、控制终端、无人机控制装置和无人机
CN108566513A (zh) * 2018-03-28 2018-09-21 深圳臻迪信息技术有限公司 一种无人机对运动目标的拍摄方法

Also Published As

Publication number Publication date
WO2022141955A1 (zh) 2022-07-07
WO2022141369A1 (en) 2022-07-07
CN114981746A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
WO2022141956A1 (zh) 飞行控制方法、视频编辑方法、装置、无人机及存储介质
US11635775B2 (en) Systems and methods for UAV interactive instructions and control
US10650235B2 (en) Systems and methods for detecting and tracking movable objects
US20210072745A1 (en) Systems and methods for uav flight control
US11797009B2 (en) Unmanned aerial image capture platform
WO2017075964A1 (zh) 无人机拍摄控制方法、无人机拍摄方法、移动终端和无人机
CN109074168B (zh) 无人机的控制方法、设备和无人机
CN205353774U (zh) 一种伴随拍摄飞行器的无人机航拍系统
WO2015180133A1 (zh) 无人机的航向生成方法和系统
CN109871027B (zh) 一种倾斜摄影方法及系统
CN110651466A (zh) 可移动平台的拍摄控制方法和设备
US20230359204A1 (en) Flight control method, video editing method, device, uav and storage medium
US20200221056A1 (en) Systems and methods for processing and displaying image data based on attitude information
WO2020244648A1 (zh) 一种飞行器控制方法、装置及飞行器
JP6949930B2 (ja) 制御装置、移動体および制御方法
KR101876829B1 (ko) 소형 드론의 실내 비행제어를 위한 유도 제어 시스템
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
CN115046531A (zh) 一种基于无人机的杆塔测量方法、电子平台和存储介质
WO2021014752A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
WO2023189455A1 (ja) データ処理方法、データ処理装置、プログラム、および移動体制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21912721

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21912721

Country of ref document: EP

Kind code of ref document: A1