WO2019006760A1 - 一种姿态的识别方法、设备及可移动平台 - Google Patents

一种姿态的识别方法、设备及可移动平台 Download PDF

Info

Publication number
WO2019006760A1
WO2019006760A1 PCT/CN2017/092276 CN2017092276W WO2019006760A1 WO 2019006760 A1 WO2019006760 A1 WO 2019006760A1 CN 2017092276 W CN2017092276 W CN 2017092276W WO 2019006760 A1 WO2019006760 A1 WO 2019006760A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
depth image
target
point cloud
scene depth
Prior art date
Application number
PCT/CN2017/092276
Other languages
English (en)
French (fr)
Inventor
唐克坦
周游
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2017/092276 priority Critical patent/WO2019006760A1/zh
Publication of WO2019006760A1 publication Critical patent/WO2019006760A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C2201/00Unmanned aerial vehicles; Equipment therefor
    • B64C2201/12Unmanned aerial vehicles; Equipment therefor adapted for particular use
    • B64C2201/127Unmanned aerial vehicles; Equipment therefor adapted for particular use for photography, or video recording, e.g. by using cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Abstract

一种姿态的识别方法、设备及可移动平台。该方法包括:采集场景深度图像,根据所述场景深度图像得到操作者点云;将手臂点云从所述操作者点云中分离,获取所述手臂点云上的特征点;确定所述特征点和所述操作者的位置关系,根据所述位置关系确定所述操作者的姿态点云。本发明提供了新的姿态识别的方法,通过姿态可以有对应的控制指令,进而简化了对移动平台的控制指令,丰富了移动平台的控制方式,并且提高了姿态识别的成功率。

Description

一种姿态的识别方法、设备及可移动平台 技术领域
本发明涉及航拍领域,尤其涉及姿态的识别方面。
背景技术
目前控制无人机的方式主要采用手机或者专业的遥控器等外部设备同机器连接,然后通过指令来操作机器,操作比较复杂,还需要一定的学习过程,这样的交互方式并不直观,体验也不自然。
另一种方式是通过手势控制无人机,但是,目前的手势识别准确度不高,手势控制无人机容易跟丢目标,操作者体验不好。
发明内容
本发明实施例提供了一种姿态的识别方法、设备及可移动平台。
第一方面,提供了一种姿态的识别方法,所述方法包括:
采集场景深度图像,根据所述场景深度图像得到操作者点云;
将手臂点云从所述操作者点云中分离,获取所述手臂点云上的特征点;
确定所述特征点和所述操作者的位置关系,根据所述位置关系确定所述操作者的姿态。
第二方面,提供了一种姿态的识别设备,所述设备包括:采集装置,处理器;其中,
所述采集装置,用于采集场景深度图像;
所述处理器,用于根据所述场景深度图像得到操作者点云,将手臂点云从所述操作者点云中分离,获取所述手臂点云上的特征点,确定所述特征点和所述操作者的位置关系,根据所述位置关系确定所述操作者的姿态。
第三方面,提供了一种可移动平台:所述可移动平台包括:
上述的第二方面姿态的识别设备,用于识别操作者姿态;
处理器,用于根据所述识别的操作者姿态生成相应的控制指令,并根据 所述控制指令控制可移动平台;
动力系统,用于提供动力来驱动可移动平台移动。
由以上实施例提供的姿态的识别方法、设备及可移动平台可见,通过寻找操作者的手臂并且寻找手臂上的特征点,根据特征点和操作者的位置关系,确定操作者的姿态;本发明提供了新的姿态识别的方法,并通过姿态对应的控制指令对可移动平台的进行控制,进而简化了对可移动平台的控制指令,丰富了可移动平台的控制方式,并且提高了姿态识别的成功率。
本发明实施例还提供了一种可移动平台的控制识别方法、设备及可移动平台。
第四方面,提供了一种可移动平台的控制方法,所述方法包括:
采集至少两张场景深度图像;
根据所述至少两张场景深度图像,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像;
分别从所述采集的深度图像和所述模拟的深度图像中识别出目标物体;
计算出所述目标物体在深度图像中的位置变化,根据所述位置变化控制移动平台移动。
第五方面,提供了一种可移动平台的控制设备,所述设备包括:采集装置、处理器;其中,
所述采集装置,用于采集场景深度图像;
所述处理器,用于根据所述至少两张场景深度图像,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像,分别从所述采集的深度图像和所述模拟的深度图像中识别出目标物体,计算出所述目标物体在深度图像中的位置变化,根据所述位置变化控制移动平台移动。
第六方面,提供了一种可移动平台,所述可移动平台包括:
上述的第五方面控制设备,用于控制可移动平台的移动;
动力装置,用于提供动力来驱动可移动平台移动。
由以上实施例提供的可移动平台的控制识别方法、设备及可移动平台可见,通过已知的深度图像,模拟其他时刻的深度图像,通过从深度图像 提取的目标物体的位置来控制无人机的移动;本发明解决了部分传感器的采集频率较低的问题,降低了在控制的过程中存在的高频抖动,通过生成了更高帧数的图像,使提取操作者的特征部运动轨迹更加准确,在跟踪特征部的过程中可移动平台的移动更加平滑,降低了跟丢目标物体的风险。
本发明实施例还提供了一种动作的识别方法、设备及可移动平台。
第七方面,提供了一种动作的识别方法,所述方法包括:
采集至少两张场景深度图像,检测其中每一张所述场景深度图像中的目标物体位置;
根据采集的所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动距离和移动方向,其中所述移动方向包括:第一移动方向和第二移动方向;
在预设时间内,检测到向所述第一方向的移动次数不小于第一阈值次数和向所述第二方向的移动次数不小于第二阈值次数,并且存在所述移动距离不小于第二阈值距离时,确定为目标物体的摆动动作。
第八方面,提供了一种动作的识别设备,所述设备包括:采集装置,处理器;其中,
所述采集装置,用于采集场景深度图像;
所述处理器,用于检测其中每一张所述场景深度图像中的目标物体位置,根据采集所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动距离和移动方向;在预设时间内,检测到向第一方向的移动次数不小于第一阈值次数和向第二方向的移动次数不小于第二阈值次数,并且存在所述移动距离不小于第二阈值距离的时,确定为目标物体的摆动动作。
第九方面,提供了一种可移动平台,其特征在于,所述可移动平台包括:
上述的第八方面动作识别设备,用于识别目标物体的摆动动作;
处理器,用于根据所述确定目标物体的摆动动作生成相应的控制指令,并根据所述控制指令控制可移动平台;
动力系统,用于提供动力来驱动可移动平台移动。
由以上实施例提供的动作的识别方法、设备及可移动平台可见,通过深度图像得到了目标物体的移动距离和移动方向,在预设时间内,检测到向第一方向的移动次数不小于第一阈值次数和向第二方向的移动次数不小于第二阈值次数,并且存在所述移动距离不小于第二阈值距离的时,确定为目标物体的摆动动作;可见,本发明优化了目标物体的摆动动作的识别,在在摆动动作不标准的情况下,通过移动距离的判定,也可以准确的识别摆动动作,提高了摆动动作识别的成功率。
本发明实施例还提供了一种无人机的控制方法、设备及可移动平台。
第十方面,提供了一种无人机的控制方法,所述方法包括:
采集至少两张场景深度图像,检测所述场景深度图像中的目标物体位置;
根据采集所述场景深度图像的时刻和所述目标物体在场景深度图像位置,计算所述目标物体的移动速度;
当所述移动速度大于预设速度时,控制无人机为悬停状态。
第十一方面,提供了一种无人机的控制设备,所述控制设备包括:采集装置,处理器;其中,
所述采集装置,用于采集场景深度图像;
所述处理器,用于检测所述场景深度图像中的目标物体位置;根据采集所述场景深度图像的时刻和所述目标物体在场景深度图像位置,计算所述目标物体的移动速度;当所述移动速度大于预设速度时,控制无人机为悬停状态。
第十二方面,提供了一种可移动平台,所述可移动平台包括:
上述的第十一方面的控制设备,用于控制无人机为悬停状态;
动力装置,用于提供动力来驱动可移动平台移动
由以上实施例提供的无人机的控制方法、设备及可移动平台可见,通过计算目标物体的移动速度,并且当目标物体的移动速度大于预设速度时,控制无人机为悬停状态;本发明可以在操作者进行多个容易混淆的操作时,通过预设速度的设定,避免了动作被误识别,提高了识别的准确率,尤其在退出姿态控制状态时,目标物体放下的时候会触发无人机的悬停,保护 了操作者的安全,提高了操作者的使用体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种姿态的识别系统的示意图
图2是本发明一实施例提供的一种姿态的识别方法的流程示意图;
图3是本发明一实施例提供的一种姿态的识别方法的流程示意图;
图4是本发明深度图像中标识框体的示意图;
图5是本发明一实施例提供的一种姿态的识别方法的流程示意图;
图6是本发明一实施例提供的一种姿态的识别方法的流程示意图;
图7是本发明一实施例提供的一种可移动平台的控制方法的流程示意图;
图8是本发明模拟其它时刻深度图像的示意图;
图9是本发明一实施例提供的一种可移动平台的控制方法的流程示意图;
图10是本发明一实施例提供的一种动作的识别方法的流程示意图;
图11是本发明一实施例提供的一种无人机的控制方法的流程示意图;
图12是本发明一实施例提供的一种姿态的识别设备的结构示意图;
图13是本发明一实施例提供的一种可移动平台的控制设备的结构示意图;
图14是本发明一实施例提供的一种动作的识别设备的结构示意图;
图15是本发明一实施例提供的一种无人机的控制设备的结构示意图;
图16是本发明一实施例提供的一种可移动平台的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
图1为本发明一种实施例姿态的识别系统的示意图,如图1所述,所述系统中包括:可移动平台1、采集设备2、第一处理器4和第二处理器5。
可移动平台可以包括:无人机、无人车、或机器人等无人设备,以下以无人机为例。具体的,可移动平台1上可以包括:采集设备2、第一处理器4和第二处理器5,第一处理器4和第二处理器5也可以为同一个处理器,也可以是不同的处理器,例如这里第一处理器4可以是图像处理器,第二处理器5可以是飞行控制器;采集设备2可以包括控制部、发射部、接收部,其中控制部用于控制发射部发射信号,可以调整信号的频率、占空比等状态信息;发射部,用于发射电磁波信号,可以是发光二极管、激光二极管等等。电磁波信号经过操作者的反射,接收部接收反射的电磁波信号,接收部可以包括:光电二极管、电耦合元件等等。接收部还可以进行信号处理,例如放大、滤波等等,并将信号传输至第一处理器4,第一处理器4用于将信号转换成深度图像,这里包括将信号直接转换成深度图像,也包括由两张以上的照片经过计算得出的深度图像。深度图像中包含操作者的位置信息和深度信息,然后第一处理器4可以根据深度信息和操作者的位置信息来识别操作者的姿态,这里的采集设备2可以包括飞行时间(Time of flight,TOF)相机、激光扫描等设备,也可以是利用单目相机多次拍摄的立体视觉、双目相机等设备,以下以TOF相机来说明。所述可移动平台1还可以包括云台3,以减少采集设备2的震动。这里可以将识别的操作者姿态发送给第二处理器5,第二处理器5按照接收的操作者姿态生成对可移动平台1的控制指令,从而控制可移动平台1移动,具体的,可以控制可移动平台1上的动力装置6,从而控制控制可移动平台1 移动。
TOF相机标定是将深度图像中的图像坐标系下的坐标与相机坐标系下的坐标对应起来,图像坐标系为二维坐标系,相机坐标系为三维坐标系,结合TOF相机获取的深度信息,则可以将每一个图像坐标系下的二维图像坐标对应到相机坐标系下的三维坐标,即得到相机坐标系下的三维点云,简称点云。TOF相机标定的目的在于保证点云中各部分之间的相对位置关系与真实世界保持一致,即相机坐标系和世界坐标系的转换,这里的世界坐标系是在环境中选择一个参考坐标系来描述相机和物体的位置,这个参考坐标系就是世界标系。TOF相机的成像原理与一般的针孔型相机相同,只是TOF相机的接收器只能接收到由目标对象反射的调制红外光,TOF相机得到的幅值图像与一般相机得到的灰度图像相同,标定方式也可以借鉴。令图像坐标系下的二维图像中的坐标为(u,v),世界坐标系的坐标为(X,Y,Z),则有:
Figure PCTCN2017092276-appb-000001
Figure PCTCN2017092276-appb-000002
为相机的内参矩阵,R是世界坐标系相对于相机坐标系的旋转矩阵,T是世界坐标系相对于相机坐标系的平移向量,α为比例系数。
根据张正友相机标定算法用黑白棋盘格作为标定的图案,对于每一帧标定图像,利用角点检测获得两组对应点,一组是棋盘格坐标系(世界坐标系)上每个角点的坐标
Figure PCTCN2017092276-appb-000003
在标定前测量并记录,另一组是角点检测出的对应点的图像坐标系下的二维图像坐标
Figure PCTCN2017092276-appb-000004
理论上两组点应该符合公式(1),实际上图像噪声和测量误差使得我们只能求出一个最小二乘解:
在棋盘格坐标系中Z值为0,由公式(1)可得:
Figure PCTCN2017092276-appb-000005
对于每一帧标定图像,设
Figure PCTCN2017092276-appb-000006
Figure PCTCN2017092276-appb-000007
利用两组对应点可以优化出单应性矩阵H。优化方法如下:
Figure PCTCN2017092276-appb-000008
其中i代指了图像中每一组对应点,则优化的目标函数为:
Figure PCTCN2017092276-appb-000009
Figure PCTCN2017092276-appb-000010
则公式(1)可以转化为如下的形式:
Figure PCTCN2017092276-appb-000011
这是一个2*9的矩阵,对应一个线性方程组,对于图像中的所有i组对应点则能写出一个2i*9矩阵,对应了9个未知数和2i个等式的方程组,对于这样的方程组,其最小二乘解就是目标函数(2)的最优解。
该最优解对应了一帧图像中的单应性矩阵H,而H=K[r1 r2 T],要想通过每一个H求解出相机的内参矩阵K,还需要下述约束:
Figure PCTCN2017092276-appb-000012
Figure PCTCN2017092276-appb-000013
由于r1,r2正交且都为单位向量。
设B=K-TK-1,可以将
Figure PCTCN2017092276-appb-000014
表示成
Figure PCTCN2017092276-appb-000015
的形式,其中b为B中各个元素拉成的一列6维的向量(由于B为实对称阵,只有6个元素是待定的),则约束可以表示为一个方程的形式:
Figure PCTCN2017092276-appb-000016
对于每一帧图像都有上述方程成立,则n幅图像对应了一个2n个等式6个未知数的线性方程组,也可以对其求最小二乘解,获取最优的B,从而解出相机内参矩阵K。
利用内参矩阵K,我们可以通过TOF相机获取的某一点深度z与该点在二维图像中的坐标
Figure PCTCN2017092276-appb-000017
求得某一在相机坐标系中的实际坐标,利用公式
Figure PCTCN2017092276-appb-000018
可以求出相机坐标系下的三维坐标
Figure PCTCN2017092276-appb-000019
其中,每一点的相机坐标系下的三维坐标与每一个图像坐标系下的二维图像坐标是一一对应的,并且在完成TOF相机标定后,存储器会始终存储所关注的点的这两种坐标。
图2示出了本发明实施例中一种姿态的识别方法的流程示意图。如图1所述,该识别方法包括:
步骤101,采集场景深度图像,根据所述场景深度图像得到操作者点云;
步骤102,将手臂点云从所述操作者点云中分离,获取所述手臂点云上的特征点;
步骤103,确定所述特征点和所述操作者的位置关系,根据所述位置关系确定所述操作者的姿态。
本发明实施例中,这里先采集了待测场景的深度图像,对所述场景深度图像进行处理,根据算法得出操作者部分的点云,将操作者的点云进行分割,确定出手臂的点云,然后再手臂上的点云中确定特征点,根据该特征点和所述操作者的位置关系,确定操作者的姿态。根据姿态可以控制移动平台。
在步骤101中,本发明实施的主体是移动平台,具体可以包括:无人 机、车、船、机器人等等,这里不做限定。以下以无人机为例,无人机通过无人机上的采集设备采集场景深度图像,所述采集设备为可测深度成像设备,具体包括:主动的可测深度成像设备和被动的可测深度成像设备;其中,主动的可测深度成像设备又包括;飞行时间(Time of flight,TOF)相机、激光扫描等设备;被动的可测深度成像设备包括:利用单目拍摄多次计算出的立体视觉、双目立体视觉等设备,这里不对深度图像采集设备做限定,只要可以采集深度图像或者通过采集图像获取深度图像的设备都可以,以下以TOF相机为例来进行说明。TOF相机通过发射电磁波信号射向操作者,并接受从操作者反射回的电磁波信号,输出操作者和背景的深度图像。
在某些实施例中,根据所述场景深度图像得到操作者点云,其中,通过检测算法可以从操作者点云中得到操作者,例如,通过点云中不同深度的点得到不同操作者,因为对于操作者来说,操作者的各个部位对于TOF相机的距离不同,即深度图像中的深度不同,因此可以针对不同深度信息来确定得到深度差值在一定阈值内的操作者的躯干,或者操作者的其它部分,例如通过深度差异很容易将操作者的头部点云找出,因为头部的大部分部位和周围的点的深度差异比较大,然后找和头部连通的部分,如躯干、四肢;当然也可以先找出躯干,因为躯干的两侧和周围的点的深度差异比较大,然后再找其他部分。
在某些实施例中,也可以通过设置一个捕捉中心,在捕捉中心附近的预设范围内以规则或者不规则图像来获取需要的点云,这里捕捉中心可以设置在TOF相机的正前方,例如,捕捉中心设置在TOF相机正前方0.1m至20m内,根据本领域技术人员的需求进行选取;
在某些实施例中,还可以是外界输入一个信号,该信号确定了深度图像上的一个点,通过检测与该点连通的作为操作者,例如,当所述场景深度图像中具有多个目标时,可以根据输入的信号确定哪个目标为操作者;
在某些实施例中,外界输入的信号可以是由终端上的APP输入,当用户在终端上的界面上点击使,产生一个携带了位置信息的信号,该信号输 入至可移动平台。
在某些实施例中,这里也可以是模板匹配,根据一个或者多个合适的模板进行匹配,所述匹配的过程可以分割图像分块匹配也可以在全部深度图像中进行模板匹配。
在某些实施例中,这里还可以是DTW(Dynamic Time Warping,动态事件规整)等算法提取出需要的操作者。
在某些实施例中,当然也可以是使用机器学习或深度学习的方法,通过神经网络进行对现有的图像进行多次训练得到的训练集,然后对采集到的深度图像进行识别,从中检测操作者等等。
在某些实施例中,也可以通过聚类的方法进行检测,先在深度图像中分合适的类数,对每一类进行合适的匹配,检测出操作者等等,检测操作者的方法这里不做限定。
在某些实施例中,获取操作者点云可以为操作者上一部分的点云,包括:躯干,头部,四肢等等。
具体的,可以是先检测到躯干再检测头部、四肢,可以先检测四肢,也可以先检测头部,这里检测的方法可以使用上述的方法,这里不做限定。
这里的操作者可以是人,也可以是机器人等等,这里以人为例进行说明。深度图像的每个像素点以坐标的方式存储,则操作者的位置和大小以点云的方式存储,这里在计算时可以以深度图像所在的图像坐标系下的坐标来进行计算,也可以以相机坐标系下的坐标来进行计算,转换方法如TOF相机标定所示。
在步骤102中,将手臂点云从所述操作者点云中分离,通过深度检测算法在深度图像中找到操作者的手臂,可以有多种方法,包括:先找到操作者的躯干,然后通过躯干的连通域检测得到操作者的两个手臂,也可以得到操作者的点云,使用框体标定出操作者的躯干,将超出框体的操作者部分认为是手臂,也可以通过给出确认是手臂的信号,还可以是通过分类方式确定哪一类点云的聚类是手臂。
在某些实施例中,手臂可以检测两个,也可以检测一个,在图像坐标 系中,将两个手臂可以分成左臂和右臂,具体可以沿U或者V轴的正方向和反方向分别是左臂和右臂,或者右臂和左臂。
得到了手臂的位置即就是手臂的点云,根据预设的规则在手臂点云中获取需要的特征点,这里特征点的位置和获取的方法很多,特征点的位置包括:获取距离操作者最远的点、获取距离操作者深度差值最大的点等等;特征点的获取方法包括:通过计算街区距离得到的特征点、通过模板匹配算法得到的特征点等等,这里不做限定。
在步骤103中,在确定了特征点的位置后,确定其和所述操作者的位置关系,与操作者的位置关系可以是和操作者的标定点的位置关系,操作者的标定点可以是操作者所有坐标的中值点,也可以是像素纵坐标最高或最低的点,还可以是深度值最高或最低的点等等。判断特征点和操作者的位置关系,可以判断操作者的姿态。例如,可以根据肘点或者手判断操作者是否有肘部在躯干两侧弯曲、是否手臂斜向上举起等动作和它们的组合。可以根据目标姿态的不同,触发不同的控制,以控制无人机执行不同的操作,操作可以包括:拍照、远离目标、靠近目标、开始/停止录像、原地转圈、播放音乐等等。
通过上述方案提供的新的姿态识别的方法,可以根据姿态控制移动平台,进而简化了对移动平台的控制指令,丰富了移动平台的控制方式,并且因为使用了上述姿态的识别方法提高了姿态识别的成功率。
更优的,步骤101可以为按照图3所示的一种姿态的识别方法,包括:
步骤1011,采集场景深度图像;
步骤1012,通过检测算法确定所述场景深度图像中是否包括所述目标物体;
具体的,这里可以根据上述的方法来判断所述场景深度图像中是否包括目标物体,例如,通过不同深度的计算判断是否存在目标物体,或者也可以通过设置一个捕捉中心,捕捉所述捕捉中心范围内的点云图像,或者通过模板匹配确定是否存在目标物体,或者通过机器学习、深度学习后对深度图像进行判定;当经过上述方法判断后,通过深度计算判断存在目标 物体,发现部分的图像深度和周围差异较大,或者捕捉中心范围内具有连通的点云图像,或者通过学习后认为深度图像中含有目标物体者,或者通过和模板匹配发现存在目标物体,则进入步骤1013,否则进入步骤1014,这里目标物体可以和操作者相同,也可以是操作者的一部分,也可以与操作者不同。
步骤1013,通过所述检测算法得到操作者点云;
具体的,通过上述方法从所述场景深度图像中提取出操作者的点云。
在某些实施例中,所述步骤1013还可以包括:通过检测算法确定所述场景深度图像中的所述操作者的躯干点云。
具体的,通过上述的方法寻找操作者或者操作者躯干点云。如图4所示,在获取操作者或者操作者躯干点云后可以由一个规则或者不规则的框体99进行标识,这里以矩形框体为例,可以由一个矩形(xb,yb,wb,hb)来描述,其中(xb,yb)为矩形左上顶点的坐标,wb、hb分别表示矩形的宽度和高度,身体的深度为db;矩形的位置根据操作者的位置确定,框体99的大小根据躯干的大小确定,使框体99可以将操作者躯干框住或者部分框住,当深度图像中包含了多个目标时,所述框体99标定目标可以是根据预设的位置设置,也可以根据外界的输入设置。
在某些实施例中,将所述躯干点云和与所述躯干点云相连通的点云的集合确定为所述操作者点云。
具体的,通过连通域检测算法可以得到在预设的深度内与躯干点云相连通的像素点部分,预设深度可以为预设值,例如-1~1m,也可以有外界输入,也可以根据其它的信息进行调整;将所有与躯干点云有像素相邻并且在预设深度内的点云的集合确定为操作者的点云,这里可以以躯干上某个点的深度为标定深度,也可以以躯干全部或者部分的点的平均值的深度为标定深度,也可以以每个通过连通域找到的点的深度为标定深度,根据在标定深度点周围在预设深度范围内的点确定为操作者点云,从而得到所述操作者在深度图像的位置。
通过本实施例提供的识别方法,可以通过识别出操作者的躯干从而找 到操作者整体,从而更加精准的识别操作者,进一步提高识别率,减少误判的可能性。
在某些实施例中,所述步骤1013还可以包括:接收信号;
具体的,接收的信号中包含了位置信息,该位置信息具体为所述场景深度图像上的点的位置信息。
在某些实施例中,根据所述位置确定与所述位置连通的点云的集合为所述操作者点云。
具体的,通过连通域检测算法寻找与上述位置在预设深度内连通的像素点的集合,预设深度可以为-1~1m,将所有与上述位置信息有像素相邻并且在预设深度内的点云的集合确定为操作者的点云,从而找到所述操作者在深度图像的位置。
通过使用上述的识别方法,可以确定深度图像中操作者的点云的集合,可以根据需要有效的确定操作者,尤其是在多个目标中有效的获取需要的操作者,进一步提高了识别的成功率。
步骤1014,结束进程。
具体的,当发现获取的深度图像中并未包含操作者时,结束识别。
通过使用上述的识别方法,可以确定深度图像中是否包含操作者,若图像中部包含操作者时,进行后续操作;这样可以有效减少系统资源的占用,提高识别率,减少误识别的可能。
在某些实施例中,步骤102可以为按照图5所示的一种姿态的识别方法,包括:
步骤1021,将手臂点云从所述操作者点云中分离;
具体的,将手臂点云从所述操作者点云中分离的方法有多种。
在某些实施例中,在通过所述躯干的深度点云寻找连通域得到操作者点云的情况下,因为开始已经找到了躯干的点云,那在操作者点云中把躯干点云分离,余下的部分即就是手臂点云。
在某些实施例中,这里手臂点云内可能会包含腿部的点云,将和躯干点云的纵坐标相同的点排除,即可以得到手臂的点云,或者部分手臂的点 云。
在某些实施例中,还可以通过分类的方法获得手臂,因为待测对象目标点云中可能包括了操作者身体多个部分的点云,例如手部,手臂,头部,躯干,腿部等等,为了将操作者的手臂提取出来,可以对操作者点云进行分类,分类后会得到至少一个点云的聚类,从分类得到的聚类中确定操作者的手臂点云。
具体的,利用聚类算法来对点云分类,可以选用聚类算法中的K-均值分类(k-means)来进行分类,K-均值聚类是一种非监督的分类算法,必须事先指定分类的聚类类数,如果可以确定TOF探测范围内中只有操作者的躯干部分和手臂部,那分类类数可以定为2类,但在实际情况中TOF相机的探测范围内除了包含操作者,还可能包含了除操作者以外的其他的物体,或者在TOF的探测范围内只有操作者的手臂部而并没有操作者的躯干部分,因此聚类类数是不确定的。如果分类类数大于实际类数,则会将本来应分为一类的点云分裂,反之会将本不属于一类的点归为一类。因此,在本发明的实施例中,在使用聚类算法对点云分类的过程中,聚类算法的聚类类数是可调整的,下面将对聚类算法的聚类类数的调整进行详细地说明。
具体的,可以根据聚类之间的分散程度来调整聚类类数,其中所述分散程度可以用各个聚类的聚类中心之间的距离来表示。在进行聚类算法之前,初始聚类类数设置为n,例如可以将n设置为3,n是一个在聚类运算过程中可以调整的参数,进行一次K-均值聚类,并获取每个聚类中心,然后计算各个聚类中心的分散程度,如果其中有两个聚类中心之间的距离小于或等于在分类算法中设置的距离阈值时,则将n减小1,并重新进行聚类,阈值也是可以调节的参数,例如阈值可以设置在10-60cm范围内,具体地可以为10cm、15cm、20cm、25cm、30cm等。如果聚类算法的分类效果较差,则将n增加1,并重新聚类。当发现所有聚类中心之间的距离都大于或者等于所述阈值时,停止执行聚类算法,此时对指示操作者的点云分类完毕,返回当前的聚类类数和聚类中心。
在某些实施例中,根据深度信息从多个聚类中确定指示手臂的点云的 聚类,从所述指示手臂的点云的聚类中确定指示手掌的点云。具体的,对操作者的点云进行分类,可以得到至少一个聚类。根据先验信息,操作者在面对TOF相机做手势时,手臂部是离TOF相机比较接近的,即操作者的手臂部的深度是最小的,因此,获取分类后得到的聚类中每一个的平均深度,将平均深度最小的聚类确定为指示操作者手臂部的聚类,这样从操作者的点云中确定出操作者手臂且包含手臂的点云,在获得了指示操作者手臂部的点云,可以进一步从指示操作者手臂部的点云确定指示操作者手臂的点云。
在某些实施例中,还可以通过寻找深度的方法确定手臂,可以先找到手掌,因为当手臂在身前,手臂距离TOF相机的距离会是图像中最近的,即深度值时最小的,可取出深度最小的若干个点,然后通过漫水算法(flood fill)等方法来实现连通的所有点的获取,深度范围可以根据需要来选取。
在某些实施例中,步骤1021可以包括:根据躯干点云的位置计算框体位置,根据所述躯干点云的范围计算所述框体大小;
具体的,这里可以使用上述方式寻找到操作者或者躯干点云,框体位置根据寻找到的操作者或者躯干点云来确定,比如框体的中心可以设置在寻找到操作者或者躯干点云的中心附近范围内,所述范围可以根据本领域技术人员根据需要设定。
在某些实施例中,可以将两个中心重合放置;当然,也可以将框体以其他的标准进行放置,例如,将框体的某个边和寻找到操作者或者躯干点云的边缘像素重合等方法;也可以根据输入的信息确定框体的位置,例如可以从外部输入信息,该信息可以是操作者输入的,并且携带位置信息,以该位置信息或者经过该位置信息计算得到的坐标点作为框体位置;还可以是通过聚类方法得到的躯干点云,将所述点云用框体标识等方法。
在某些实施例中,框体的大小根据寻找到的操作者或者躯干点云来确定,可以是根据所述操作者或者躯干点云的边缘像素来确定框体的大小,例如所述框体可以将所述操作者或者躯干点云完全包括,或者刚好包括全部点云,也可以根据需要选定指定的大小使框体可以只包括指定的操作者 或者躯干点云范围。
在某些实施例中,所述框体恰好包含躯干点云,这里框体的大小可以是根据预设算法选取的,也可以是根据需要输入的。
在某些实施例中,这里可以是先确定了框体的大小在确定框体的位置,也可以是先确定了框体的位置然后再确定框体的大小,特别指出,这里的框体可以使用规则或者不规则的形状来表示,例如:矩形、圆形、三角形、契合躯干的形状等等。
在某些实施例中,通过所述框体位置和所述框体大小确定框体标识;
具体的,通过所述框体的位置和大小确定了框体的位置,这里可以有多种框体的标识方式,例如,可以由一个矩形(xb,yb,wb,hb)来描述,其中(xb,yb)为矩形左上顶点的坐标,wb、hb分别表示矩形的宽度和高度,矩形的位置根据操作者的位置决定,这里矩形的大小根据躯干的大小而定,使矩形可以将操作者躯干框体住。当深度图像中包含了多个目标时,所述矩形框体标定目标可以是根据预设的位置设置,也可以根据外界的输入设置。
在某些实施例中,确定位于所述框体外的操作者点云为所述手臂点云。
具体的,将位于框体之外的操作者点云作为所述手臂点云,例如,遍历操作者点云,将位于矩形框左边的点的集合确定为左臂点云,矩形框左边可以为图像坐标系U的正方向或者反方向,也可以是相对于重力垂直的在图像平面上的左右方向,这里左和右可以根据需要互换,例如,左臂的横坐标x小于矩形框的边缘点横坐标xb,记做Sl;将位于矩形框右边的点的集合确定为右臂点云,例如,左臂的横坐标x大于矩形框的边缘点横坐标xb+wb,记做Sr
通过使用上述的识别方法,可以准确的确定深度图像中操作者的手臂点云的集合,可以进一步确定是否存在预设姿态,进一步提高识别的成功率。
步骤1022,判断所述场景深度图像上的所述手臂点云是否在预设数目内;
具体的,手臂点云的获取方法可以由上述方法得到。根据上述的手臂点云的算法,可以得到多种手臂的大小,比如:整个手臂的大小,或者除躯干覆盖的位置外手臂的大小,也可以是框体外手臂的大小。确定了手臂的大小后,可以区分出来手臂是在身体前方还是身体后方、还可以区分手臂自己的遮挡,比如上臂下臂的相互遮挡,还可以计算出手臂在躯干部分的大小。这里的大小可以理解为手臂点云的面积,也可以理解为手臂点云个数,这是因为当姿势不同的时,手臂在深度图像中的面积时不一样的,例如,斜向上单举一只手和弯曲大小臂的时候,其面积则不同,这里所述的面积在所述场景深度图像中具体为点的个数,因此在归一化后,可以使用面积代替手臂点云数目。
通过统计手臂点云的个数,从而得到手臂的大小Sl+Sr,或者分别统计左臂和右臂点云的个数,从而得到左臂大小Sl和右臂的大小Sr。这个大小是在深度图像上的手臂或者左、右臂点云的面积;也可以是经过了归一化后手臂在深度图像平面上真实的面积
Figure PCTCN2017092276-appb-000020
或者
Figure PCTCN2017092276-appb-000021
即手臂真实的面积为手臂点云的个数乘以身体的深度值的平方。根据不同的姿势,手臂在深度图像中的面积不同,例如,手臂在躯干前方和在躯干后方,手臂折叠等遮挡,使得手臂的面积不一样,根据面积的不同,可以设置不同的第一阈值,比如当其在深度图像的深度在一定范围内时,根据手臂的面积范围确定是姿态,或者通过设置实际的第一阈值,确定手臂围什么动作,这个第一阈值可以根据本领域技术人员的需求而定,例如,实际的大小为系数乘上焦距的平方,当手折叠放置的时候,一个手臂的大小设置在
Figure PCTCN2017092276-appb-000022
即认为正常操作者在弯曲手臂的时候,在获取到的深度图像的平面上的面积应该是在0.01~0.05平方米之间,也可以当手伸展放置的时候,一个手臂的大小设置在
Figure PCTCN2017092276-appb-000023
当然也可以是别的范围,这里仅给出示例;当手臂的范围在第一阈值内,可以继续下述步骤1023,当手臂不在第一阈值内,则进入步骤1024,结束判断过程。
在某种实施例中,还可以检测大臂小臂之间的夹角,当所述大臂小臂之间的夹角在第二阈值内,例如角度在[10°,75°],识别所述手臂为内弯曲状 态,当手臂在第三阈值内,例如角度在[170°,190°],识别手臂为伸展状态。这里先用上述方法寻找到手臂点云,这里可以检查手臂点云是否沿直线排列,若沿直线排列则认为手臂是伸展的,若不沿直线排列即可以得出手臂是弯曲的;对连续手臂(左臂、右臂或手臂整体)进行处理,可以得到大臂和小臂之间的夹角,处理的方法包括不限于:点云的拟合、模板的套用等等。根据所述大小臂之间的夹角,确定手臂的状态,当大臂和小臂的夹角在第二阈值内,则继续步骤1023,否则进入步骤1024,结束判断过程。
在某种实施例中,还可以通过检测大臂和身体之间的夹角判断上臂的位置,这里在大臂和身体的夹角位于第四阈值内,例如角度在[0°,100°],则识别大臂在身体外侧并且在肩膀下,否则认为大臂在外侧且在肩膀上,识别手臂在身体外,最优的在角度为[80°,100°],则认为是某一种识别的动作。这里先用上述方法寻找到上臂点云,这里可以对上臂像素点进行处理,可以得到大臂和躯干之间的夹角,处理的方法包括不限于:点云的拟合、模板的套用等等。根据所述大臂和躯干之间的夹角,确定手臂的状态,当大臂和躯干的夹角在第四阈值内,则继续步骤1023,否则进入步骤1024,结束判断过程。
通过使用了上述方法判断手臂的状态,可以进一步提高识别率,并且增加了动作的区分度。
步骤1023,获取所述手臂点云上的特征点;
具体的,这里特征点包括并不限制于:肘上特征点、手掌上特征点、臂上特征点,这里手掌像素点又包括了手心点,臂上特征点又包括了大臂中心点、小臂中心点等等位置,这里的特征点可以通过不同的方法进行获取,以肘点为例:假设以手臂弯曲的动作识别为例,这里通过检测离身体最远的点为肘点,获取肘点的方法可以是遍历手臂上所有的点云,对所述点云和操作者的标定点的距离进行比较,这里标定点可以是上述确定操作者标定点中的一个或者多个,包括,操作者点云的中心点、平均点、边缘点等等,其中平均点的坐标为所有躯干或者操作者点云的坐标的平均值、平均点的深度为所有躯干或者操作者点云取值的平均值,或者二者的结合; 这里所述的边缘点,可以是在躯干或者操作者点云中沿重力方向最低的像素点,也可以是最高的像素点,或者沿水平方向的像素点等等。
在某些实施例中,这里的距离可以选择几何距离,如果手臂上的点坐标为(xi,yi),标定点的坐标为(X,Y),所述几何距离为
Figure PCTCN2017092276-appb-000024
遍历所有手臂像素点坐标后,取距离最远的点为肘点;这里的距离还可以选择街区距离,如果手臂上的点坐标为(xi,yi),标定点的坐标为(X,Y),所述街区距离为z=|X-xi|+|Y-yi|,取距离最远的点为肘点,优选的,可以选择经过加权的街区距离,所述加权后的街区距离为z=a|X-xi|+b|Y-yi|,一种优选的加权系数可以选,a=3,b=1,这样选出的点更加接近手肘;取其它特征点的方法也可以选用上述方法,可以找极值,也可以找中间值,或指定的值。
步骤1024,结束进程。
通过上述方法,可以更好的分离手臂,判断手臂的位置,并且可以选取手臂上需要的特征点,进一步提高识别率。
在某些实施例中,步骤103可以为按照图6所示的一种识别方法,包括:
步骤1031,判断所述特征点与和所述标定点的深度差值处于第一区间内;
具体的,使用上述的方法可以求出特征点,特征点以手肘点为例,通过上述方法可以求出标定点,这里以操作者的中值点为例,这里检测手肘点同中值点的深度差,当手臂在操作者前和手臂在操作者后的时候这个差值会在不同的范围内,这里当深度差在第一区间内时,认为手臂在身前,优选的,深度差在0m到0.4m之间,更加符合手臂在身前的姿态,这里还可以分别检测左右臂相对于操作者不同的深度差。根据深度差在不同的范围内可以判定操作者的姿态,当检测深度差在第一区间内时,此时识别为手肘弯曲在身体两侧且在身体平面之前,则确定操作者的姿态为预设姿态,预设姿态包括:拍照姿态、摄像姿态等等。
在某些实施例中,特征点以手掌中心的像素点为例,通过上述方法可 以求出标定点,这里以操作者的中值点为例,这里检测手掌中心点同中值点的深度差,当手臂在操作者前和手臂与操作者平齐的时候这个差值会在不同的范围内,这里当深度差在第一区间内时,认为手臂同操作者平齐在,优选的,深度差在-0.1m到0.1m之间,更加符合手臂同操作者平齐,这里还可以分别检测左右臂相对于操作者不同的深度差。根据深度差在不同的范围内可以判定操作者的姿态,当检测深度差在第一区间内时,此时识别为手和身体平齐,则确定操作者的姿态为预设姿态,预设姿态包括:拍照姿态、摄像姿态等等。
步骤1032,判断所所述特征点与和所述标定点沿重力方向的差值处于第二区间内;
具体的,使用上述的方法可以求出特征点,特征点以手肘点为例,通过上述方法可以求出标定点,这里以操作者的上边缘像素(即头的上部)为表定点为例,这里检测手肘点同操作者的上边缘像素在重力方向的高度差,这里重力方向是指,在图像坐标系中,沿V轴的反方向,根据手臂的高度不同,这个高度会为不同的值,这里当高度差在第二区间内时,认为手臂跟胸平齐,优选的,高度差在0m到0.5m之间,这里是指手肘和操作者头上部沿重力的距离,具体可以表示为:
0<h<0.5f/db
h=yb-y
这里h为高度差,f为相机焦距,db为标定点的深度值,y为手肘点的纵坐标,yb为标定点的纵坐标。这里还可以分别检测左右臂相对于操作者不同的高度差。根据高度差在不同的范围内可以判定操作者的姿态,当检测高度差在第二区间内时,此时识别为肘点和胸部平齐,则确定操作者的姿态为预设姿态,预设姿态包括:拍照姿态、摄像姿态等等。
在某些实施例中,特征点以手掌中心的像素点为例,通过上述方法可以求出标定点,这里以操作者的上边缘像素(即头的上部)作为标定点为例,这里检测手掌中心的像素点同操作者的上边缘像素在重力方向的高度差,根据手臂的高度不同,这个高度差会为不同的值,这里当高度差在第 二区间内时,认为跟手掌高于头部,优选的,高度差在0m到0.5m之间,这里是指手掌中心的像素点和操作者头上部沿重力的距离,具体可以表示为:
0<h<0.5f/db
h=y-yb
这里h为高度差,f为相机焦距,db为标定点的深度值,y为手掌中心的像素点的纵坐标,yb为标定点的纵坐标。这里还可以分别检测左右臂相对于操作者不同的高度差。根据高度差在不同的范围内可以判定操作者的姿态,当检测高度差在第二区间内时,此时识别为手掌中心的像素点高于最上边缘像素点,即认为手臂斜向上举起,则确定操作者的姿态为预设姿态,预设姿态包括:拍照姿态、摄像姿态等等。
步骤1033,判断所述特征点与和所述标定点的距离处于第三区间内;
具体的,使用上述的方法可以求出特征点,特征点以手肘点为例,通过上述方法可以求出标定点,这里以操作者的中值点为例,这里检测手肘点同中值点在深度图像平面的距离差,这里当几何距离差在第四区间内时,认为手臂在身前指定位置,优选的,几何距离差在0.1m到0.3m之间,使姿态的确定更加准确,这里距离包括:欧氏距离或马氏距离等等,这里还可以分别检测左右臂相对于操作者不同的几何距离差。根据几何距离差在不同的范围内可以判定操作者的姿态,当检测几何距离差在第四区间内时,此时识别肘点在位于操作者左右预计的位置,则确定操作者的姿态为预设姿态,预设姿态包括:拍照姿态、摄像姿态等等。
在某些实施例中,特征点以手掌中心的像素点为例,通过上述方法可以求出标定点,这里以操作者的中值点为例,这里检测手肘点同中值点在深度图像平面的几何距离差,这里当几何距离差在第四区间内时,认为手臂在身体旁边指定位置,优选的,几何距离差在0.1m到0.3m之间,使姿态的确定更加准确,这里还可以分别检测左右臂相对于操作者不同的几何距离差。根据几何距离差在不同的范围内可以判定操作者的姿态,当检测几何距离差在第四区间内时,此时识别为手掌中心的像素点位于操作者左 右预计的位置,即认为手臂斜向上举起,则确定操作者的姿态为预设姿态,预设姿态包括:拍照姿态、摄像姿态等等。
步骤1034,确定操作者的姿态为预设姿态;
具体的,经过上述步骤1031、步骤1032、步骤1033后,可以确定操作者的姿态是否为拍照姿态,优选的,可以根据上述步骤的两个进行判定是否为拍照姿态,更优的,根据上面三个步骤共同判定操作者是否是为拍照姿态。上述步骤1031、步骤1032、步骤1033先后顺序不做限定,可以任意组合或者同时进行。
在某些实施例中,确定操作者的姿态为预设姿态,预设姿态包括:拍照姿态、摄像姿态等等。
步骤104,进行与预设姿态对应的动作;
具体的,当确定操作者的姿态为拍照姿态时,触发拍照动作,拍照动作可以在触发拍照后的指定时间内,所述指定时间可以预先设置好,也可以通过app(Application,应用)等输入更改,通过相机对操作者或者指定的位置进行拍照。这里在拍照之前,无人机上可以装有提示灯,提示灯可以以颜色或者闪烁来提示操作者拍照的过程,例如在触发拍照动作之后,5秒后进行拍照,前3秒提示灯慢闪,后两秒提示灯快闪,也可以前3秒绿提示灯闪,后两秒红提示灯闪,当然也可以是其组合。如果此时无人机连接到app上,还可以进行语音提示等等。
在某些实施例中,当确定操作者的姿态为摄像姿态,触发摄像动作。摄像动作可以在触发摄像后的指定时间内,所述指定时间可以预先设置好,也可以通过app(Application,应用)等输入更改,通过相机对操作者或者指定的位置进行摄像。这里在摄像之前,无人机上可以装有提示灯,提示灯可以以颜色或者闪烁来提示操作者摄像的过程,例如在触发摄像动作之后,5秒后进行摄像,前3秒提示灯慢闪,后两秒提示灯快闪,也可以前3秒绿提示灯闪,后两秒红提示灯闪,当然也可以是其组合。如果此时无人机连接到app上,还可以进行语音提示等等。
步骤105,结束进程。
由以上本发明实施例提供的技术方案可见,通过寻找操作者的手臂并且寻找手臂上的特征点,根据特征点和操作者的位置关系,确定操作者的姿态;本发明提供了新的姿态识别的方法,通过姿态可以有对应的控制指令,进而简化了对移动平台的控制指令,丰富了移动平台的控制方式,并且提高了姿态识别的成功率。
图7示出了本发明实施例中一种可移动平台的控制方法的流程示意图,如图所示,所述方法具体包括:
步骤201,采集至少两张场景深度图像;
具体的,本发明实施的主体包括可移动平台,具体可以包括:无人机、车、船、机器人等等,这里不做限定。以下以无人机为例,无人机通过无人机上的采集设备采集场景深度图像,所述采集设备为可测深度成像设备,具体包括:主动的可测深度成像设备和被动的可测深度成像设备;其中,主动的可测深度成像设备又包括;TOF相机、激光扫描等设备;被动的可测深度成像设备包括:利用单目多次的立体视觉、双目立体视觉等设备,这里以TOF相机为例来进行说明。TOF相机通过发射电磁波信号射向操作者,并接受操作者反射回的电磁波信号,输出操作者的深度图像。
在某些实施例中,可以按照上述方法获得场景的深度图像,这里以无人机上安装TOF相机为例,获取一连串的深度图像,例如,以10HZ的频率获取待测场景的一连串深度图像,这里可以包括这一连串深度图像的采集时间。这里按照上述方法判定场景内是否含有目标物体,若不包含目标物体则不进行后续动作,或者退出控制保持悬停,或者在预设时间之后再一次检测场景内是否含有目标物体,获取操作者可以使用上述的方法。
在某些实施例中,目标物体包括以下至少一项:操作者或所述操作者的特征部。
步骤202,根据所述至少两张场景深度图像,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像;
具体的,当得到了一连串的具有采集时间的深度图像之后,可以根据其中的若干张获取操作者的深度图像,模拟出得到图像中每个像素变化的 模型,根据模型可以估计出在采集若干张图像时间点之外的其他时刻的深度图像,其它时刻可以在采集若干张图像时间点之前,也可以是之后。模拟其它时刻深度图像的过程如图8所示,例如,TOF相机采集频率为10HZ,按照T1、T2、T3……的顺序采集深度图像,这里先采集到了T1时刻采集的P1和T2时刻采集的P2深度图像,根据这两张图像做出图像的变化模型,优选的,需要根据无人机和相机的状态变化做出图像的变化模型,这里建模的方法很多,包括高斯混合模型、背景建模等等方法,这里不做限定,预估出图像中所有像素点的变化模型,然后模拟出t11时刻的p11、t12时刻的p12、t21时刻的p21、t22时刻的p22、T3时刻的p3等深度图像,模拟的深度图像可以如t11和t12一样在时刻T1和T2中均匀分布,也可以如t21和t22一样在时刻T2和T3中非均匀分布,这里模拟的深度图像的个数仅为示例,实际可以根据需要进行任意数量的选取。
在某些实施例中,步骤202可以为按照图9所示的一种控制方法,包括:
步骤2021,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像;
步骤2022,通过所述采集的场景深度图像矫正所述模拟的深度图像;
步骤2023,通过所述模拟的深度图像来矫正所述采集的深度图像。
优选的,如图8所示,这里可以根据2个采集到的深度图像创建图像的变化模型,也可以根据多个采集到的深度图像创建变化模型。当通过模拟的方法预估出T3时刻的图像p3后,如果又采集到了T3时刻的深度图像P3后,这里可以用P3直接代替p3;也可以通过卡尔曼滤波的方法得到更加准确的P3`,即就是,因为模拟估计的p3和通过TOF相机采集的P3都具有一定的不确定度,根据其两者不同的可信度给其两者不同的权重比,计算出每个像素的最接近真实的像素,从而计算出最接近实际值的深度图像p3`,并可以通过该深度图像去并且修正之前通过T1时刻采集的P1和T2时刻采集的P2深度图像得到的图像变化模型,以修正后续模拟的深度图像,并且可以修正之前模拟出的p11、p12、p21、p22等其它时刻的深度 图像,或者还可以生成更准确的p31、p32等等图像用于后续步骤的计算。这里模拟出的深度图像频率可以是一个预设值,如50HZ,也可以根据实际需要进行调整,例如可用资源较多时可以模拟较多的深度图像,当可用资源较少时,可以减少模拟深度图像,甚至可以停止模拟深度图像。这里步骤2022和步骤2023的顺序可以根据需要进行调整,并且可以只选取其中一个步骤进行。
由以上本发明实施例提供的技术方案可见,通过预估模型得到了预估的深度图像,通过采集的深度图像去矫正模拟的深度图像,又通过模拟的深度图像去矫正采集的深度图像;从而使采集到的深度图像、模拟的深度图像更加准确,更加接近于真实值。从而提高了分析目标特征部的准确度。
步骤203,分别从所述采集的场景深度图像和所述模拟的场景深度图像中识别出目标物体;
具体的,目标物体包括操作者和所述操作者的特征部。
在某些实施例中,根据所述场景深度图像和其它时刻深度图像得到操作者点云,其中,通过检测算法可以从操作者点云中得到操作者,例如,通过不同深度的计算得到不同操作者,因为对于操作者来说,操作者的各个部位对于TOF相机的距离不同,即深度不同,因此可以针对不同深度信息来确定深度差值在一定阈值内的操作者的躯干,或者操作者的其他部分,例如手掌等。
在某些实施例中,也可以通过设置一个捕捉中心,在捕捉中心附近的预设范围内以规则或者不规则图像来获取需要的点云,这里捕捉中心可以设置在TOF相机的正前方,例如,捕捉中心设置在TOF相机正前方0.1m至20m内,根据本领域技术人员的需求进行选取;
在某些实施例中,还可以是外界输入一个信号,该信号确定了深度图像上的一个像素点,通过检测与该点连通的像素作为操作者,例如,当所述场景深度图像中具有多个目标时,可以根据输入的信号确定哪个目标为操作者;
在某些实施例中,这里也可以是模板匹配,根据一个或者多个合适的 模板进行匹配,所述匹配的过程可以分割图像分块匹配也可以在全部深度图像中进行模板匹配;
在某些实施例中,这里还可以是动态事件规整(Dynamic Time Warping,DTW)等算法提取出需要的操作者;
在某些实施例中,当然也可以是使用机器学习或深度学习的方法,通过神经网络进行对现有的图像进行多次训练得到的训练集,然后对采集到的深度图像进行识别,从中检测操作者等等;
在某些实施例中,也可以通过聚类的方法进行检测,先在深度图像中分合适的类数,对每一类进行合适的匹配,检测出操作者等等,检测操作者的方法这里不做限定。
这里的操作者可以是人,也可以是机器人等等,这里以人为例进行说明。深度图像的每个像素点以坐标的方式存储,则操作者的位置和大小以点云的方式存储,这里在计算时可以以深度图像所在的图像坐标系下的坐标来进行计算,也可以以相机坐标系下的坐标来进行计算,转换方法如TOF相机标定所示。
其中,根据深度图像得到操作者和得到操作者的特征部的顺序不限,可以先得到操作者在得到操作者后得到操作者的特征部也可以先得到操作者的特征部在得到操作者。
在某些实施例中,通过上述等方法寻找操作者或者操作者躯干又或者操作者特征部。如图4所示,在获取操作者或者操作者躯干像可以由一个规则或者不规则的框体进行标识,这里以矩形框体为例,可以由一个矩形(xb,yb,wb,hb)来描述,其中(xb,yb)为矩形左上顶点的坐标,wb、hb分别表示矩形的宽度和高度,身体的深度为db,矩形框体99的位置根据操作者的位置决定,这里矩形框体99的大小根据躯干的大小而定,使矩形框体99可以将操作者躯干框住或者部分框住。当深度图像中包含了多个目标时,所述矩形框体99标定目标可以是根据预设的位置设置,也可以根据外界的输入设置。
在某些实施例中,通过连通域检测算法可以得到在预设的深度内与躯 干点云相连通的像素点部分,预设深度可以为预设值,例如-1~1m,将所有点云的集合确定为操作者的点云,从而找到所述操作者在深度图像的位置。
在某些实施例中,接收的信号中包含了位置信息,该位置信息具体为所述场景深度图像上的点的位置信息。寻找与上述位置在一定深度内连通的像素点的集合,将全部集合作为操作者点云。这里的特征部可以是手、头、腿、脚或者其他操作者上的特征物体,也可以是一根手指,两根手指,握拳等特征部,这里不做限定。
在某些实施例中,在获取每一张深度图像中的操作者和操作者特征部时,同时获取该深度图像的采集时间。
步骤204,计算出所述目标物体在深度图像中的位置变化,根据所述位置变化控制可移动平台移动。
具体的,这里具体分为两种情况,一种是特征部的变化,例如,从伸出了一根手指变成了伸出了多跟手指;还有一种是特征部的移动,例如,伸直手臂的手从身体的正前方移动到身体的正右方。
在某些实施例中,对于第一种情况,可以根据上述方法进行计算,包括:聚类,模板匹配等等;根据指示操作者手掌的点云获取手掌的二维图像的点集,根据所述点云的分布特征确定手势。这里识别的是操作者的手势,例如握拳、伸掌、伸出一根手指、伸出两根手指等。其中,获取一帧深度图像,确定这一帧深度图像,根据上述方法可以确定出这一帧深度图像中的操作者手掌。由于每一个像素点的三维坐标与二维图像上的点的二维坐标是一一对应的,并且在手势识别的过程中会始终存储这两种坐标,在确定了指示操作者手掌的点后,可以确定出操作者手掌的二维图像的点集。由于操作者手势的不同,即不同的手势对应不同的手型,手掌的二维图像点云的分布特征会不一样,例如握拳手势的分布特征和伸掌手势的分布特征差别很大,因此可以确定手掌的二维图像点云的分布特征,根据分布特征来具体判断操作者在这一帧图像中所做的手势。
在某些实施例中,确定指示手掌的二维图像点云的分布区域,根据分 布区域确定点云的分布特征。可以将操作者的手掌确定为多边形,可以根据多边形的每条边对应的最远距离小于等于预设的阈值时,确定为握拳,当部分边对应的最远距离大于预设的阈值时,确定动作为伸出了部分手指;也可以根据某一行或列上像素的深度的变化来确定,例如,在同一行或者一列像素的深度变化超过阈值的次数超过3次,就认为其是五指伸开的状态等等。
在某些实施例中,获取的多帧的深度图像,包括采集的深度图像和模拟的深度图像,确定多帧深度图像中的每一帧深度图像对应的操作者的特征部;根据所述每一帧图像对应的指示操作者的特征部的点云确定每一帧深度图像对应的特征部的位置信息,根据所述位置信息组成的序列确定手掌的运动状态。
在某些实施例中,根据时间信息和位置信息获取特征部在对应位置对应的速率,这里可以根据两个相邻的深度图像中的特征部信息来获取,也可以根据不相邻的深度图像中的特征部信息来获取对应的速率,更可以通过多个深度图像来获取对应的速率。这里可以按照最简单的通过距离和时间的比值计算出在对应位置的速率,也可以按照其他的方式来进行计算,例如通过上一时刻的速率和现在的特征部信息来计算等等。
在某些实施例中,通过计算得到的所述操作者和所述特征部的位置,来控制可移动平台的移动,这里可移动平台包括:无人机,车,船等等,这里以无人机为例,例如根据操作者或者操作者特征部在不同的深度图像中位置的变化,让无人机跟随移动。优选的,根据操作者或者操作者特征部的移动速率来控制无人机的移动速率,无人机的移动速率与操作者或者操作者特征部移动速率可以成比例变化。
在某些实施例中,当操作者或者操作者特征部的位置变化或者速度超过一定阈值时,或操作者或者操作者特征部的位置变化或者速度小于一定阈值时,可移动平台保持悬停不动。
在某些实施例中,步骤204还可以为包括:根据所述位置变化控制所述可移动平台移动,并且所述可移动平台与所述目标物体保持第一阈值距离;
具体的,在可移动平台移动的过程中,根据上述方法得到的目标物体的位置变化及速率,控制可移动平台的移动,以保持目标物体与TOF相机之间的距离为固定值,优选的,所述距离为操作者手臂距离加上0.7m。
在某些实施例中,根据所述位置变化控制所述可移动平台移动,保持所述目标物体位于所述场景深度图像的中心区域。
具体的,在可移动平台移动的过程中,根据上述方法得到的目标物体的位置变化及速率,控制可移动平台的移动,以保持目标物体在TOF相机的视野中心附近区域,该中心区域可以是预先设置好的,也可以是用户输入的。
由以上本发明实施例提供的技术方案可见,通过采集到的深度图像来模拟深度图像,并从中提取目标物体,用于控制可移动平台移动;本发明提供了更准确的控制可移动平台的方法,解决了部分传感器的采集频率较低,降低了在控制的过程中存在的高频抖动,通过对更高帧数的图像进行处理使移动平台跟踪目标时更加平滑,更加准确的提取操作者的特征部运动轨迹,降低了跟丢目标的风险。
图10示出了本发明一实施例提供的一种动作的识别方法的流程示意图,如图所示,所述方法具体包括:
步骤301,采集至少两张场景深度图像,检测其中每一张所述场景深度图像中的目标物体位置;
具体的,目标物体包括操作者和位于所述操作者的特征部。这里操作者可以是人体,也可以是机器,特征部可以是手掌,也可以是头或者脚等。这里以手掌为例进行说明,通过多张深度图像来判断操作者的手势,这里的手势是指操作者通过移动手掌而形成的手势。为了识别手势,首先要将每一张深度图像中的手掌提取出来,按照本文前述部分的方法,可以根据每一张深度图像来获取每一张图像对应的操作者手掌的点云,根据每一张图像对应的操作者手掌的点云可以计算出手掌的位置信息,其中可以将指示手掌的点云的几何中心的位置作为手掌的位置信息,另外也可以将指示手掌的点云中深度信息最小的点的位置作为手掌的位置信息。其中,本领 域技术人员可以采用不同的方式来根据指示操作者手掌的点云来确定手掌的位置,在这里不做具体的限定,采集深度图像和检测目标物体位置的具体方法可以入上述方法所述。
在某些实施例中,这里可以采用上述的方法在两张采集的深度图像时间之间或之后,模拟出其它时刻的深度图像,用于本实施例的计算。
步骤302,根据采集的所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动距离和移动方向,其中所述移动方向包括:第一移动方向和第二移动方向;
具体的,这里通过多张场景深度图像的采集到的手掌位置和采集到时刻,可以计算出手掌在该时间内的移动距离和移动方向,移动方向可以规定出特定的方向用于动作的识别。
在某些实施例中,将连续采集到的多张深度图像计算得到的手掌位置存储在序列P中,其中序列P的长度为L,L可以用采集的深度图像的张数来确定,也可以用时间来确定,这里可以采用先进先出的存储方式,使用最近获取的手掌的位置信息替换到最旧的手掌的位置信息。这个序列P反应了在固定时间内手掌运动的轨迹,即每张图片间手掌的移动方向,所述轨迹即表示操作者的手势,因此可以根据序列P即手掌的位置信息的序列来识别操作者的手势。另外,在获得一帧深度图像对应的手掌的位置信息后,可以将该位置信息指示的位置点作为捕捉中心,在确定下一帧深度图像对应的手掌的位置信息时,可以在以捕捉中心为球心,以预设的距离阈值为半径的球形空间内获取操作者的点云,即只在该球形空间内提取操作者的手部,这样可以提高手部的识别速度。另外,可以使用卡尔曼滤波算法对手掌的运动模型进行估算,预测下一帧深度图像指示的手掌的位置,同时可以在预测的手掌的位置附近来提取操作者的手掌。另外该滤波算法可以随时开启或者关闭。
在某些实施例中,具体的方法如上述方法,可以在采集到的两张深度图像外模拟出其他时刻的深度图像,从中提取手掌信息,根据手掌信息进行位置的识别。
在某些实施例中,根据指示手掌的位置信息的序列,确定所述序列中的位置信息对应的手掌运动的移动方向,根据所述移动方向组成的序列确定手势。具体的,根据序列P中L长度内的位置信息,可以计算出位置信息对应的移动方向,其中,可以确定L长度内的位置信息中每一个对应的移动方向,也可以确定L长度内的位置信息中多个位置信息中每一个对应的移动方向,得到的多个移动方向组成的移动方向序列可表示手掌在空中的运动轨迹以及运动变化情况,因此,根据移动方向组成的序列可以确定操作者的手势。值得注意的是,序列P中的位置信息对应移动方向可以是该位置信息对应的速度方向,也可以是根据所述速度方向以某种方式确定的方向。
在某些实施例中,确定所述移动方向中每一个移动方向所占的比例,根据所述比例的组合确定所述手掌运动的动作。具体地,统计所述移动方向中每一个移动方向在移动方向的序列中所占的比例,这样可以得到比例组成的比例序列,利用所述比例的序列来识别操作者的手势。这样在操作者做手势时,无论手掌运动的起点和终点在哪里,都可以得到相同形式的比例的序列,这样便于处理。在进行手势识别时,将所述比例的序列输入预设的运算模型中,所述预设的运算模型就会根据比例的序列识别操作者的手势。其中,所述预设的运算模型可以为神经网络、分类器、DTW等,在进行手势识别之前,需要对预设的运算模型进行训练,即需要在离线采集大量的手势对应的比例的序列,以所述比例的序列作为输入,比例序列对应的手势作为输出,对预设的运算模型进行训练,训练完成后,所述预设的运算模型就可以用来进行手势识别。
在某些实施例中,确定所述序列中的位置信息对应的速度方向,确定所述速度方向与多个预设方向中每一个的夹角,根据所述夹角确定所述移动方向。为了简洁,本文只对速度方向序列中的一个速度方向是如何确定对应的移动方向来进行示意性说明,速度方向的序列中的其他速度方向确定对应的移动方向的方法是相同的。具体的,确定所述速度方向与多个预设方向中每一个的夹角,根据所述夹角确定所述移动方向,由于通过前述 部分计算出的位置信息对应的速度方向十分离散,为了便于后期统计处理,非常有必要对速度方向进行归类,将相差不大的速度方向归类为同一个方向。设定多个预设的方向,例如Vu、Vp、Vl、Vr、Vf、Vd,分别表示上、下、左、右、前和后六个预设方向,根据前述部分的方向计算得到位置点对应的速度方向Vi,将该速度方向对应的单位向量分别于六个预设方向中每一个对应的单相向量进行点乘,可以计算出a1-a6,可以根据a1-a6来确定该位置信息的移动方向,具体的可以从a1-a6确定角度最小的ai,将与ai对应的第一预设方向确定为该位置信息对应的移动方向。其中设置上、下、左、右、前和后六个预设方向只是为了示意性说明,在硬件条件允许的情况下,本领域技术人员可以设置更多的预设方向,这样可以使速度方向的归类更加精准,使得位置信息对应的移动方向误差更小,总之,预设方向个数的选取,本领域技术人员可以根据设计需求和/或硬件条件选取,在这里不做具体的限定。
在某些实施例中,根据所述位置信息的序列确定位置信息对应的速率,当所述速率小于预设的速率阈值时,确定手掌在该位置信息指示的位置点时为静止状态。可以根据位置信息序列P来确定序列P中位置信息对应的速率,即手掌在位置信息指示的位置点时的速率,其中速率可以根据手掌的位移来计算,其中位移可以根据位置序列中的位置信息计算,由于位置信息序列P中的相邻两个位置信息之间的间隔时间相同,在这里可以不用引入时间信息,直接使用位移来表示位置信息对应的速率,例如P2对应的速率为P1指向P2的位移,其中所述位移可以根据P1、P2的位置信息获取得到,同理可以获取P3、P4、P5、P6、P7对应的速率,当速率小于或等于速率阈值时,则认为手掌此时处于静止状态,没有移动方向。另外,位置信息对应的速率也可以采用其他方式计算,例如,隔一张或者多张图对手掌的移动方向进行计算,在这里不做具体的限定。
在某些实施例中,除了上述方法根据分类的方法或者位置轨迹的方法进行判断,还可以根据手掌的移动距离进行判断,比如在指定的采集照片的次数或者指定时间内,从刚开始向右移动到刚开始向左移动间,或者刚 开始向左移动到刚开始向右移动间,手掌经过的所有轨迹的距离来判断是否为预定动作。当所述轨迹中的一个大于阈值时,确定有手的摆动动作。或者在预设时间内,任意两点之间的距离中有任何一个大于第二阈值距离时,确定有手的摆动动作。优选的,这里第二阈值距离为0.4m。
在某些实施例中,确定上述从左向右或者从右向左的期间,使用手掌经过的轨迹在水平方向的投影距离来与第二阈值距离进行判断,或者在预设时间内,任意两点之间的距离在水平方向的投影距离来与第二阈值距离进行判断,判断是否为预定动作,这样可以避免大角度的斜向上或者斜向下运动的误判。
步骤303,在预设时间内,检测到向所述第一移动方向的移动次数不小于第一阈值次数和向所述第二移动方向的移动次数不小于第二阈值次数,并且所述移动距离不小于第二阈值距离时,确定为目标物体的摆动动作。
具体的,如上述的分类的方法或者位置轨迹的方法判断手掌的移动轨迹,当在第一时间阈值内,检测到第一次数阈值及以上的向左移动和第二次数阈值及以上的向右移动,并且所述移动距离大于第一距离阈值的情形,确定所述动作为挥动目标物体的动作,这里第一时间阈值可以根据需要设定,可以设为1秒,但是可以根据不同的操作者设定的不同的阈值。检测的第一次数阈值和第二次数阈值也可以根据需要设定,一般设置在3次以内,优选的设置为一次,第一距离阈值可以根据需要设定,一般设定为0-1米之间,优选的设置为0.4米以上。移动距离可以是手掌移动轨迹的距离,也可以是移动轨迹沿水平方向的移动距离。当满足上述条件,则认定所述动作为挥动目标物体的动作。其中,向左运动可以是正左方向运动、左上方向运动、左下方向运动、左前方向运动、左后方向运动;向右运动可以是正右方向运动、右上方向运动、右下方向运动、右前方向运动、右后方向运动。
在某些实施例中,当识别动作为挥动目标物体的动作时,进行与其相对应的后续操作,包括:照相、远离,飞近,停止等动作,其中一个优选实施例,可以先远离斜向上移动,然后进行拍照,优选的,在拍照之后可 以返回出发点,这里不做限定。
由以上实施例可见,通过图像得到了特征部的移动距离和移动方向,在预设时间内,检测到向所述第一方向的移动次数不小于第一阈值次数和向所述第二方向的移动次数不小于第二阈值次数,并且存在所述移动距离不小于第二阈值距离时,确定为目标物体的摆动动作;可见,本发明优化了目标物体的摆动动作的识别,在在摆动动作不标准的情况下,通过移动距离的判定,也可以准确的识别摆动动作,提高了摆动动作识别的成功率。
图11示出了本发明实施例中一种无人机的控制方法的流程示意图,如图所示,所述方法具体包括:
步骤401,采集至少两张场景深度图像,检测所述场景深度图像中的目标物体位置;
具体的,目标物体包括操作者和所述操作者的特征部。这里操作者可以是人体,也可以是机器,特征部可以是手掌,也可以是头或者脚等。这里以手掌为例,可以通过多张深度图像来判断操作者的手势,这里的手势是指操作者通过移动手掌而形成的手势。为了识别手势,首先要将每一张深度图像中的手掌提取出来,按照本文前述部分的方法,可以根据每一张深度图像来获取每一张图像对应的操作者手掌的点云,根据每一张图像对应的操作者手掌的点云可以计算出手掌的位置信息,其中可以将指示手掌的点云的几何中心的位置作为手掌的位置信息,另外也可以将指示手掌的点云中深度信息最小的点的位置作为手掌的位置信息。其中,本领域技术人员可以采用不同的方式来根据指示操作者手掌的点云来确定手掌的位置信息,在这里不做具体的限定。采集深度图像和检测目标物体位置的具体方法可以入上述方法所述。
在某些实施例中这里可以采用上述的方法在两张采集的深度图像时间之间或之后,模拟出其它时刻的深度图像,用于本实施例的计算。
步骤402,根据采集所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动速度;
具体的,这里最少需要两张场景深度图像中手掌的位置和深度图像采 集的时间,确定手掌的移动速度,当图像超过两张的时候,既可以根据连续的两张图像来计算,也可以根据不连续的两张来计算,也可以根据多张来计算出最接近的手掌移动速度,移动速度的计算也可以如上述方法所述。
在某些实施例中所述场景深度图像采集的频率为固定的,这样在计算速度时,可以忽略时间因素,或者说将固定频率的时间作为单位时间,只考虑手掌位置的变化来确定手掌移动的速度。
步骤403,当所述移动速度大于预设速度时,控制无人机为悬停状态。
具体的,当移动速度大于预设速度时,控制无人机为悬停状态,优选的,当移动速度沿重力方向上的分量大于预设速度时,控制无人机为悬停状态,优选的,预设速度选择大于0.5m/s。
由以上实施例可见,通过计算特征部移动速度,并且当特征部移动速度大于预设速度时,控制无人机状态为悬停状态,具体的,当移动速度沿重力方向上的分量大于预设速度时,控制无人机为悬停状态;可见,本发明可以在操作者进行某些操作时,容易和其他被识别成其它操作,通过最大阈值速度的设定,避免了动作被误识别,提高了识别的准确率,尤其在退出姿态控制状态时,特征部放下的时候会触发无人机的悬停,保护了操作者的安全,提高了操作者的使用体验。
本发明的实施例提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,该计算机存储介质中存储有程序指令,所述程序执行上述识别方法。
如图12所示,本发明实施例提供一种姿态的识别设备,所述设备12包括:采集装置121,处理器122;其中,
所述采集装置121,用于采集场景深度图像;
所述处理器122,用于根据所述场景深度图像得到操作者点云;将手臂点云从所述操作者点云中分离,获取所述手臂点云上的特征点;确定所述特征点和所述操作者的位置关系,根据所述位置关系确定所述操作者的姿态。
优选的,所述处理器122,还用于通过检测算法确定所述场景深度图像中是否包括目标物体,如果所述场景深度图像中包括所述目标物体,则通过所 述检测算法得到所述操作者点云。
优选的,所述处理器122,还用于通过检测算法确定所述场景深度图像中的所述操作者的躯干点云;将所述躯干点云和与所述躯干点云相连通的点云的集合确定为所述操作者点云。
优选的,所述处理器122,还用于通过将所述操作者点云中所述躯干点云分离,余下部分为所述手臂点云。
优选的,所述处理器122,还用于将所述躯干点云用框标识;确定位于所述框外的所述操作者点云为所述手臂点云。
优选的,所述处理器122,还用于根据所述躯干点云的位置计算所述框的位置,根据所述躯干点云的范围计算所述框的大小;通过所述框的位置和所述框的大小确定所述框。
优选的,所述处理器122,还用于接收信号,所述信号包括位置信息,根据所述位置信息确定与所述位置连通的点云的集合为所述操作者点云。
优选的,所述处理器122,还用于当在所述场景深度图像上的所述手臂点云在预设数目内,获取所述手臂点云上的特征点。
优选的,所述处理器122,还用于根据所述操作者点云确定标定点,所述标定点包括:所述操作者点云的边缘像素、所述操作者点云的平均值中的至少一个;
所述处理器122,还用于通过计算所述手臂点云中每个像素点和所述标定点的街区距离确定特征点,所述特征点包括:肘上特征点、手腕上特征点、手掌上特征点、臂上特征点中的至少一个。
优选的,所述处理器122,还用于当所述特征点与和所述标定点的深度差值处于第一区间内,则确定操作者的姿态为预设姿态。
优选的,所述处理器122,还用于当所述特征点与和所述标定点沿重力方向的差值处于第二区间内,则确定操作者的姿态为预设姿态。
优选的,所述处理器122,还用于当所述特征点与和所述标定点的距离处于第三区间内,则确定操作者的姿态为预设姿态,其中所述距离包括以下一种:欧氏距离或马氏距离。
优选的,所述设备还包括:相机123;
所述相机123,用于当所述预设姿态为拍照姿态时,进行拍照。
优选的,所述相机123,还用于当所述预设姿态为摄像姿态时,进行摄像。
在某些实施例中,处理器122包括图像处理模块,可以用于对得到的深度图像进行处理,还可以用于对姿态的判定等等;
本发明的一种姿态的识别设备12使用为使用上述方法的设备,在此不再赘述。
如图13所示,本发明实施例提供一种可移动平台的控制设备13,所述设备13包括:采集装置131、处理器132;其中,
所述采集装置131,用于采集场景深度图像;
所述处理器132,包括:图像处理器132和飞行控制器232,其中,
图像控制器1321,用于根据所述至少两张场景深度图像,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像;分别从所述采集的场景深度图像和所述模拟的场景深度图像中识别出目标物体;计算出所述目标物体在深度图像中的位置变化;
飞行控制器1322,同于根据所述位置变化控制可移动平台移动。
优选的,所述目标物体包括以下至少一项:操作者或所述操作者的特征部。
优选的,所述处理器132,还用于通过检测算法分别从所述采集的深度图像和所述模拟的深度图像中识别出所述操作者;
所述处理器132,还用于根据所述操作者确定位于所述操作者的特征部,其中,所述特征部包括以下至少一种:手掌、手腕、手肘、腿、脚或头。
优选的,所述处理器132,还用于通过检测算法分别从所述采集的深度图像和所述模拟的深度图像中识别出所述特征部;
所述处理器132,还用于通过检测与所述特征部连通的部分得到所述操作者,其中,所述特征部包括以下至少一种:手掌、手腕、手肘、腿、脚或头。
优选的,所述处理器132,还用于通过检测算法确定所述场景深度图像中是否包括所述目标物体,当所述场景深度图像中包括所述目标物体时,根据 所述至少两张场景深度图像,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像。
优选的,所述处理器132,还用于分别从所述采集的场景深度图像和所述模拟的场景深度图像中识别出所述目标物体,同时得到所述目标物体的时间信息;
所述处理器132,还用于通过检测至少两组所述目标物体和所述时间信息,计算出所述目标物体在深度图像中的位置变化和移动速度,根据所述位置变化和所述移动速度控制所述可移动平台移动。
优选的,所述处理器132,还用于根据所述位置变化控制所述可移动平台移动,并且所述可移动平台与所述目标物体保持第一阈值距离。
优选的,所述处理器132,还用于根据所述位置变化控制所述可移动平台移动,保持所述目标物体位于所述场景深度图像的中心区域。
优选的,所述处理器132,还用于通过所述采集的场景深度图像矫正所述模拟的深度图像。
优选的,所述处理器132,还用于通过所述模拟的深度图像来矫正所述采集的深度图像。
本发明的一种姿态的识别设备13使用为使用上述方法的设备,在此不再赘述。
如图14所示,本发明实施例提供一种动作的识别设备,所述设备14包括:采集装置141,处理器142;其中,
所述采集装置141,用于采集场景深度图像;
所述处理器33,用于检测其中每一张所述场景深度图像中的目标物体位置;根据采集的所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动距离和移动方向,其中所述移动方向包括:第一移动方向和第二移动方向;在预设时间内,检测到向所述第一移动方向的移动次数不小于第一阈值次数和向所述第二移动方向的移动次数不小于第二阈值次数,并且所述移动距离不小于第二阈值距离时,确定为目标物体的摆动动作。
其中,所述处理器142还可以包括图像处理器1421,用于检测其中每一张所述场景深度图像中的目标物体位置;根据采集的所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动距离和移动方向,其中所述移动方向包括:第一移动方向和第二移动方向。
优选的,所述处理器142,对任意两张场景深度图像中的所述目标物体位置求差得到目标物体距离,根据所述采集深度图像的时刻和所述目标物体位置得到所述目标物体的移动方向。
优选的,所述处理器142,还用于确定多个在所述深度图像中的所述目标物体位置间的水平距离为所述移动距离。
优选的,所述第一移动方向包括:与所述场景深度图像的图像坐标系U轴方向的夹角在第一预设角度范围内的所述移动方向;
所述第二移动方向包括:与所述场景深度图像的图像坐标系U轴反方向的夹角在第二预设角度范围内的所述移动方向为第二移动方向。
优选的,所述处理器142,还用于执行与目标物体的摆动动作相对应的操作。
优选的,所述目标物体包括:操作者或位于所述操作者的特征部。
本发明的一种姿态的识别设备14使用为使用上述方法的设备,在此不再赘述。
如图15所示,本发明实施例提供一种无人机的控制设备,所述设备15包括:采集装置151,处理器152;其中,
所述采集装置151,用于采集场景深度图像;
所述处理器152,用于检测所述场景深度图像中的目标物体位置;根据采集所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动速度;当所述移动速度大于预设速度时,控制无人机为悬停状态。
优选的,所述处理器152,还用于根据任意两张场景深度图像的位置差和时间差的比值,得到所述目标物体的移动速度。
优选的,所述处理器152,还用于当所述移动速度沿重力方向的分量大于 预设速度时,控制无人机为悬停状态。
优选的,其特征在于:所述目标物体包括:操作者或位于所述操作者的特征部。
在某些实施例中,处理器152可以包括:图像处理器或飞行控制器,图像处理器可以用于对得到的深度图像进行处理,还可以用于对姿态的判定等等,飞行控制器用于根据图像处理器传递的指令控制无人机移动;
在某些实施例中,本发明的一种姿态的识别设备15使用为使用上述方法的设备,在此不再赘述。
如图16所示,本发明实施例还提供一种可移动平台16,所述可移动平台包括:第一设备161、处理器162、云台163、成像设备164、动力装置165;
动力装置165,用于提供动力来驱动可移动平台16移动。
优选的,处理器162,用于根据所述识别的操作者姿态生成相应的控制指令,并根据所述控制指令控制可移动平台。
优选的,第一设备包括,设备12,用于识别操作者姿态。
优选的,第一设备包括,设备13,用于控制可移动平台的移动。
优选的,第一设备包括,设备14,用于确定目标物体的摆动动作。
优选的,第一设备包括,设备15,用于控制无人机为悬停状态。
具体的,其中可移动平台16可以包括无人飞行器、地面机器人、遥控车等,如图16所示,可移动平台16以无人飞行器作为示例来进行说明,其中下述部分中提到的无人飞行器均可以使用可移动平台16替代。所述第一设备161安装无人飞行器的合适位置上,其中,所述第一设备161可以是如图12所示的设备12,可以是如图13所示的设备13,可以是如图14所示的设备14也可以是如图15所示的设备15,第一设备161可以挂载在无人飞行器的机体外,也可以内置在无人飞行器的机体内,在这里不做具体限定,例如安装在无人飞行器的机头部分,第一设备161对探测范围内的物体进行探测,捕获操作者的手掌,识别操作者的手势,每一种手势都对应不同的控制指令,处理器162为飞行控制器,处理器162可以根据生成的控制指令来控制无人飞行器,控制无人飞行器移动的方法可以为控制无人飞行器上的动力装置165, 动力装置165,可以为任意数量,包括不限定于:包括了电动机的螺旋桨、燃气机的螺旋桨等等,这里处理器162可以有也可以没有,而又第一设备161完成相应的功能。其中,无人飞行器还可以包括云台163以及成像设备164,成像设备164通过云台163搭载于无人飞行器的主体上上。成像设备164用于在无人飞行器的飞行过程中进行图像或视频拍摄,包括但不限于多光谱成像仪、高光谱成像仪、可光相机及红外相机等,云台163为多轴传动及增稳系统,云台电机通过调整转动轴的转动角度来对成像设备164的拍摄角度进行补偿,并通过设置适当的缓冲机构来防止或减小成像设备164的抖动。为了便于说明,将能生成所述控制指令的手势称为命令手势。
本发明实施例提供的可移动平台能够识别操作者的手势,并根据操作者的手势来生成相应的控制指令,实现对可移动平台的控制。操作者可以通过手势控制可移动平台,进一步丰富了可移动平台的控制方式,降低了对操作者的专业性要求,提高了操作可移动平台的趣味性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
其中,本说明书中的存储器可以包括易失性存储器(volatilememory),例如随机存取存储器(random-access memory,RAM);所述存储器也可以包括非易失性存储器(non-volatile memory),例如快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)等。
所述处理器可以是中央处理器(central processing unit,CPU)。所述 处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA)等。本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的设备而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CDROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明实施例所提供的方法进行了详细介绍,本发明中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (72)

  1. 一种姿态的识别方法,所述方法包括:
    采集场景深度图像,根据所述场景深度图像得到操作者点云;
    将手臂点云从所述操作者点云中分离,获取所述手臂点云上的特征点;
    确定所述特征点和所述操作者的位置关系,根据所述位置关系确定所述操作者的姿态。
  2. 根据权利要求1所述的方法,其特征在于,所述采集场景深度图像,根据所述场景深度图像得到操作者点云具体包括:
    采集所述场景深度图像,通过检测算法确定所述场景深度图像中是否包括目标物体,如果所述场景深度图像中包括所述目标物体,则通过所述检测算法得到所述操作者点云。
  3. 根据权利要求1所述的方法,其特征在于,所述根据所述场景深度图像得到操作者点云具体包括:
    通过检测算法确定所述场景深度图像中的所述操作者的躯干点云;
    将所述躯干点云和与所述躯干点云相连通的点云的集合确定为所述操作者点云。
  4. 根据权利要求3所述的方法,其特征在于,所述将手臂点云从所述操作者点云中分离具体包括:
    通过将所述操作者点云中所述躯干点云分离,余下部分为所述手臂点云。
  5. 根据权利要求3所述的方法,其特征在于,所述将手臂点云从所述操作者点云中分离具体包括:
    将所述躯干点云用框标识;
    确定位于所述框外的所述操作者点云为所述手臂点云。
  6. 根据权利要求5所述的方法,其特征在于,在将所述躯干点云用框标识前,所述方法包括:
    根据所述躯干点云的位置计算所述框的位置,根据所述躯干点云的范围计算所述框的大小;
    通过所述框的位置和所述框的大小确定所述框。
  7. 根据权利要求1所述的方法,其特征在于,所述根据所述场景深度图像得到操作者点云具体包括:
    接收信号,所述信号包括位置信息;
    根据所述位置信息确定与所述位置连通的点云的集合为所述操作者点云。
  8. 根据权利要求1所述的方法,其特征在于,在将手臂点云从所述操作者点云中分离点云后,所述方法还包括:
    当在所述场景深度图像上的所述手臂点云在预设数目内,获取所述手臂点云上的特征点。
  9. 根据权利要求1所述的方法,其特征在于,所述获取所述手臂点云上的特征点具体包括:
    根据所述操作者点云确定标定点,所述标定点包括:所述操作者点云的边缘像素、或所述操作者点云的平均值中的至少一个;
    通过计算所述手臂点云中每个点和所述标定点的街区距离确定特征点,所述特征点包括:肘上特征点、手腕上特征点、手掌上特征点、或臂上特征点中的至少一个。
  10. 根据权利要求9所述的方法,其特征在于,所述确定所述特征点和所述操作者的位置关系,根据所述位置关系确定所述操作者的姿态具体包括:
    当所述特征点与和所述标定点的深度差值处于第一区间内,则确定操作者的姿态为预设姿态。
  11. 根据权利要求9所述的方法,其特征在于,所述确定所述特征点和所述操作者的位置关系,根据所述位置关系确定所述操作者的姿态具体包括:
    当所述特征点与和所述标定点沿重力方向的差值处于第二区间内,则确定操作者的姿态为预设姿态。
  12. 根据权利要求9所述的方法,其特征在于,所述确定所述特征点和所述操作者的位置关系,根据所述位置关系确定所述操作者的姿态具体包括:
    当所述特征点与和所述标定点的距离处于第三区间内,则确定操作者的姿态为预设姿态,其中所述距离包括以下一种:欧氏距离或马氏距离。
  13. 根据权利要求10-12中任一项所述的方法,其特征在于,在确定操作者的姿态为预设姿态后,所述方法还包括:当所述预设姿态为拍照姿态时,进行拍照。
  14. 根据权利要求10-12中任一项所述的方法,其特征在于,在确定操作者的姿态为预设姿态后,所述方法还包括:当所述预设姿态为摄像姿态时,进行摄像。
  15. 一种姿态的识别设备,所述设备包括:采集装置,处理器;其中,
    所述采集装置,用于采集场景深度图像;
    所述处理器,用于根据所述场景深度图像得到操作者点云;将手臂点云从所述操作者点云中分离,获取所述手臂点云上的特征点;确定所述特征点和所述操作者的位置关系,根据所述位置关系确定所述操作者的姿态。
  16. 根据权利要求15所述的设备,其特征在于:
    所述处理器,还用于通过检测算法确定所述场景深度图像中是否包括目标物体,如果所述场景深度图像中包括所述目标物体,则通过所述检测算法得到所述操作者点云。
  17. 根据权利要求15所述的设备,其特征在于:
    所述处理器,还用于通过检测算法确定所述场景深度图像中的所述操作者的躯干点云;将所述躯干点云和与所述躯干点云相连通的点云的集合确定为所述操作者点云。
  18. 根据权利要求17所述的设备,其特征在于:
    所述处理器,还用于通过将所述操作者点云中所述躯干点云分离,余下部分为所述手臂点云。
  19. 根据权利要求17所述的设备,其特征在于:
    所述处理器,还用于将所述躯干点云用框标识;确定位于所述框外的所述操作者点云为所述手臂点云。
  20. 根据权利要求19所述的设备,其特征在于:
    所述处理器,还用于根据所述躯干点云的位置计算所述框的位置,根据所述躯干点云的范围计算所述框的大小;通过所述框的位置和所述框的大小 确定所述框。
  21. 根据权利要求15所述的设备,其特征在于:
    所述处理器,还用于接收信号,所述信号包括位置信息,根据所述位置信息确定与所述位置连通的点云的集合为所述操作者点云。
  22. 根据权利要求15所述的设备,其特征在于:
    所述处理器,还用于当在所述场景深度图像上的所述手臂点云在预设数目内,获取所述手臂点云上的特征点。
  23. 根据权利要求15所述的设备,其特征在于:
    所述处理器,还用于根据所述操作者点云确定标定点,所述标定点包括:所述操作者点云的边缘像素、或所述操作者点云的平均值中的至少一个;
    所述处理器,还用于通过计算所述手臂点云中每个点和所述标定点的街区距离确定特征点,所述特征点包括:肘上特征点、手腕上特征点、手掌上特征点、或臂上特征点中的至少一个。
  24. 根据权利要求23所述的设备,其特征在于:
    所述处理器,还用于当所述特征点与和所述标定点的深度差值处于第一区间内,则确定操作者的姿态为预设姿态。
  25. 根据权利要求23所述的设备,其特征在于:
    所述处理器,还用于当所述特征点与和所述标定点沿重力方向的差值处于第二区间内,则确定操作者的姿态为预设姿态。
  26. 根据权利要求23所述的设备,其特征在于:
    所述处理器,还用于当所述特征点与和所述标定点的距离处于第三区间内,则确定操作者的姿态为预设姿态,其中所述距离包括以下一种:欧氏距离或马氏距离。
  27. 根据权利要求24-26中任一项所述的设备,其特征在于:所述设备还包括:相机;所述相机,用于当所述预设姿态为拍照姿态时,进行拍照。
  28. 根据权利要求24-26中任一项所述的设备,其特征在于:所述设备还包括:相机;所述相机,用于当所述预设姿态为摄像姿态时,进行摄像。
  29. 一种可移动平台,其特征在于,所述可移动平台包括:
    如权利要求15-28中任一项所述的设备,用于识别操作者姿态;
    处理器,用于根据所述识别的操作者姿态生成相应的控制指令,并根据所述控制指令控制可移动平台;
    动力系统,用于提供动力来驱动可移动平台移动。
  30. 一种可移动平台的控制方法,其特征在于,所述方法包括:
    采集至少两张场景深度图像;
    根据所述至少两张场景深度图像,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像;
    分别从所述采集的场景深度图像和所述模拟的场景深度图像中识别出目标物体;
    计算出所述目标物体在深度图像中的位置变化,根据所述位置变化控制可移动平台移动。
  31. 根据权利要求30所述的方法,其特征在于,所述目标物体包括以下至少一项:操作者或所述操作者的特征部。
  32. 根据权利要求31所述的方法,其特征在于,所述分别从所述采集的场景深度图像和所述模拟的场景深度图像中识别出所述操作者或位于所述操作者的特征部具体包括:
    通过检测算法分别从所述采集的深度图像和所述模拟的深度图像中识别出所述操作者;
    根据所述操作者确定位于所述操作者的特征部,其中,所述特征部包括以下至少一种:手掌、手腕、手肘、腿、脚或头。
  33. 根据权利要求31所述的方法,其特征在于,所述分别从所述采集的场景深度图像和所述模拟的场景深度图像中识别出所述操作者或位于所述操作者的特征部具体包括:
    通过检测算法分别从所述采集的深度图像和所述模拟的深度图像中识别出所述特征部;
    通过检测与所述特征部连通的部分得到所述操作者,其中,所述特征部包括以下至少一种:手掌、手腕、手肘、腿、脚或头。
  34. 根据权利要求30所述的方法,其特征在于,所述根据所述至少两张场景深度图像,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像具体包括:
    通过检测算法确定所述场景深度图像中是否包括所述目标物体,当所述场景深度图像中包括所述目标物体时,根据所述至少两张场景深度图像,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像。
  35. 根据权利要求30所述的方法,其特征在于,所述分别从所述采集的场景深度图像和所述模拟的场景深度图像中识别出目标物体;
    计算出所述目标物体在深度图像中的位置变化,根据所述位置变化控制可移动平台移动具体包括:
    分别从所述采集的场景深度图像和所述模拟的场景深度图像中识别出所述目标物体,同时得到所述目标物体的时间信息;
    通过检测至少两组所述目标物体和所述时间信息,计算出所述目标物体在深度图像中的位置变化和移动速度,根据所述位置变化和所述移动速度控制所述可移动平台移动。
  36. 根据权利要求30所述的方法,其特征在于,所述根据所述位置变化控制可移动平台移动具体包括:
    根据所述位置变化控制所述可移动平台移动,并且所述可移动平台与所述目标物体保持第一阈值距离。
  37. 根据权利要求30所述的方法,其特征在于,所述根据所述位置变化控制可移动平台移动具体包括:
    根据所述位置变化控制所述可移动平台移动,保持所述目标物体位于所述场景深度图像的中心区域。
  38. 根据权利要求30所述的方法,其特征在于,在模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像后,所述方法还包括:
    通过所述采集的场景深度图像矫正所述模拟的深度图像。
  39. 根据权利要求30所述的方法,其特征在于,在模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像后,所述方法还包括:
    通过所述模拟的深度图像来矫正所述采集的深度图像。
  40. 一种可移动平台的控制设备,其特征在于,所述设备包括:采集装置、处理器;其中,
    所述采集装置,用于采集场景深度图像;
    所述处理器,用于根据所述至少两张场景深度图像,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像;分别从所述采集的场景深度图像和所述模拟的场景深度图像中识别出目标物体;计算出所述目标物体在深度图像中的位置变化,根据所述位置变化控制可移动平台移动。
  41. 根据权利要求40所述的设备,其特征在于:所述目标物体包括以下至少一项:操作者或所述操作者的特征部。
  42. 根据权利要求41所述的设备,其特征在于:
    所述处理器,还用于通过检测算法分别从所述采集的深度图像和所述模拟的深度图像中识别出所述操作者;
    所述处理器,还用于根据所述操作者确定位于所述操作者的特征部,其中,所述特征部包括以下至少一种:手掌、手腕、手肘、腿、脚或头。
  43. 根据权利要求41所述的设备,其特征在于:
    所述处理器,还用于通过检测算法分别从所述采集的深度图像和所述模拟的深度图像中识别出所述特征部;
    所述处理器,还用于通过检测与所述特征部连通的部分得到所述操作者,其中,所述特征部包括以下至少一种:手掌、手腕、手肘、腿、脚或头。
  44. 根据权利要求40所述的设备,其特征在于:
    所述处理器,还用于通过检测算法确定所述场景深度图像中是否包括所述目标物体,当所述场景深度图像中包括所述目标物体时,根据所述至少两张场景深度图像,模拟除采集所述至少两张场景深度图像时刻之外的其它时刻场景深度图像。
  45. 根据权利要求40所述的设备,其特征在于:
    所述处理器,还用于分别从所述采集的场景深度图像和所述模拟的场景深度图像中识别出所述目标物体,同时得到所述目标物体的时间信息;
    所述处理器,还用于通过检测至少两组所述目标物体和所述时间信息,计算出所述目标物体在深度图像中的位置变化和移动速度,根据所述位置变化和所述移动速度控制所述可移动平台移动。
  46. 根据权利要求40所述的设备,其特征在于:
    所述处理器,还用于根据所述位置变化控制所述可移动平台移动,并且所述可移动平台与所述目标物体保持第一阈值距离。
  47. 根据权利要求40所述的设备,其特征在于:
    所述处理器,还用于根据所述位置变化控制所述可移动平台移动,保持所述目标物体位于所述场景深度图像的中心区域。
  48. 根据权利要求40所述的设备,其特征在于:
    所述处理器,还用于通过所述采集的场景深度图像矫正所述模拟的深度图像。
  49. 根据权利要求40所述的设备,其特征在于:
    所述处理器,还用于通过所述模拟的深度图像来矫正所述采集的深度图像。
  50. 一种可移动平台,其特征在于,所述可移动平台包括:
    如权利要求40-49中任一项所述的设备,用于控制可移动平台的移动;
    动力装置,用于提供动力来驱动可移动平台移动。
  51. 一种动作的识别方法,其特征在于,所述方法包括:
    采集至少两张场景深度图像,检测其中每一张所述场景深度图像中的目标物体位置;
    根据采集的所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动距离和移动方向,其中所述移动方向包括:第一移动方向和第二移动方向;
    在预设时间内,检测到向所述第一移动方向的移动次数不小于第一阈值次数和向所述第二移动方向的移动次数不小于第二阈值次数,并且所述移动距离不小于第二阈值距离时,确定为目标物体的摆动动作。
  52. 根据权利要求51所述的方法,其特征在于,所述计算所述目标物体 的移动距离和移动方向具体包括:
    对任意两张场景深度图像中的所述目标物体位置求差得到目标物体距离,根据所述采集深度图像的时刻和所述目标物体位置得到所述目标物体的移动方向。
  53. 根据权利要求51所述的方法,其特征在于,所述移动距离具体包括:
    确定在所述深度图像中的任意两个所述目标物体位置间的水平距离为所述移动距离。
  54. 根据权利要求51所述的方法,其特征在于,所述第一移动方向包括:与所述场景深度图像的图像坐标系U轴方向的夹角在第一预设角度范围内的所述移动方向;
    所述第二移动方向包括:与所述场景深度图像的图像坐标系U轴反方向的夹角在第二预设角度范围内的所述移动方向为第二移动方向。
  55. 根据权利要求51所述的方法,其特征在于,在确定为目标物体的摆动动作后,所述方法还包括:
    执行与目标物体的摆动动作相对应的操作。
  56. 根据权利要求51-55中任一项所述的方法,其特征在于,所述目标物体包括:操作者或所述操作者的特征部。
  57. 一种动作的识别设备,其特征在于,所述设备包括:采集装置,处理器;其中,
    所述采集装置,用于采集场景深度图像;
    所述处理器,用于检测其中每一张所述场景深度图像中的目标物体位置;根据采集的所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动距离和移动方向,其中所述移动方向包括:第一移动方向和第二移动方向;在预设时间内,检测到向所述第一移动方向的移动次数不小于第一阈值次数和向所述第二移动方向的移动次数不小于第二阈值次数,并且所述移动距离不小于第二阈值距离时,确定为目标物体的摆动动作。
  58. 根据权利要求57所述的设备,其特征在于:
    所述处理器,还用于对任意两张场景深度图像中的所述目标物体位置求差得到目标物体距离,根据所述采集深度图像的时刻和所述目标物体位置得到所述目标物体的移动方向。
  59. 根据权利要求57所述的设备,其特征在于:
    所述处理器,还用于确定在所述深度图像中的任意两个所述目标物体位置间的水平距离为所述移动距离。
  60. 根据权利要求57所述的设备,其特征在于,所述第一移动方向包括:与所述场景深度图像的图像坐标系U轴方向的夹角在第一预设角度范围内的所述移动方向;
    所述第二移动方向包括:与所述场景深度图像的图像坐标系U轴反方向的夹角在第二预设角度范围内的所述移动方向为第二移动方向。
  61. 根据权利要求57所述的设备,其特征在于:
    所述处理器,还用于执行与目标物体的摆动动作相对应的操作。
  62. 根据权利要求57所述的设备,其特征在于:所述目标物体包括:操作者或所述操作者的特征部。
  63. 一种可移动平台,其特征在于,所述可移动平台包括:
    如权利要求57-62中任一项所述的设备,用于确定目标物体的摆动动作;
    处理器,用于根据所述确定目标物体的摆动动作生成相应的控制指令,并根据所述控制指令控制所述可移动平台;
    动力系统,用于提供动力来驱动可移动平台移动。
  64. 一种无人机的控制方法,其特征在于,所述方法包括:
    采集至少两张场景深度图像,检测所述场景深度图像中的目标物体位置;
    根据采集所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动速度;
    当所述移动速度大于预设速度时,控制无人机为悬停状态。
  65. 根据权利要求64所述的方法,其特征在于,所述计算所述目标物体的移动速度具体包括:
    根据任意两张场景深度图像的位置差和时间差的比值,得到所述目标物 体的移动速度。
  66. 根据权利要求64所述的方法,其特征在于,所述当所述移动速度大于预设速度时,控制无人机为悬停状态具体包括:
    当所述移动速度沿重力方向的分量大于预设速度时,控制无人机为悬停状态。
  67. 根据权利要求64-66中任一项所述的方法,其特征在于,所述目标物体包括:操作者或所述操作者的特征部。
  68. 一种无人机的控制设备,其特征在于,所述设备包括:采集装置,处理器;其中,
    所述采集装置,用于采集场景深度图像;
    所述处理器,用于检测所述场景深度图像中的目标物体位置;根据采集所述场景深度图像的时刻和所述目标物体在场景深度图像中的位置,计算所述目标物体的移动速度;当所述移动速度大于预设速度时,控制无人机为悬停状态。
  69. 根据权利要求68所述的设备,其特征在于:
    所述处理器,还用于根据任意两张场景深度图像的位置差和时间差的比值,得到所述目标物体的移动速度。
  70. 根据权利要求68所述的设备,其特征在于:
    所述处理器,还用于当所述移动速度沿重力方向的分量大于预设速度时,控制无人机为悬停状态。
  71. 根据权利要求68-70中任一项所述的设备,其特征在于:所述目标物体包括:操作者或所述操作者的特征部。
  72. 一种可以动平台,其特征在于,所述可移动平台包括:
    如权利要求68-71中任一项所述的设备,用于控制无人机为悬停状态;
    动力系统,用于提供动力来驱动可移动平台移动。
PCT/CN2017/092276 2017-07-07 2017-07-07 一种姿态的识别方法、设备及可移动平台 WO2019006760A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/092276 WO2019006760A1 (zh) 2017-07-07 2017-07-07 一种姿态的识别方法、设备及可移动平台

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2017/092276 WO2019006760A1 (zh) 2017-07-07 2017-07-07 一种姿态的识别方法、设备及可移动平台
CN201780069071.9A CN109923583A (zh) 2017-07-07 2017-07-07 一种姿态的识别方法、设备及可移动平台
US16/719,324 US20200126249A1 (en) 2017-07-07 2019-12-18 Attitude recognition method and device, and movable platform

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/719,324 Continuation US20200126249A1 (en) 2017-07-07 2019-12-18 Attitude recognition method and device, and movable platform

Publications (1)

Publication Number Publication Date
WO2019006760A1 true WO2019006760A1 (zh) 2019-01-10

Family

ID=64949633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/092276 WO2019006760A1 (zh) 2017-07-07 2017-07-07 一种姿态的识别方法、设备及可移动平台

Country Status (3)

Country Link
US (1) US20200126249A1 (zh)
CN (1) CN109923583A (zh)
WO (1) WO2019006760A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197596B (zh) * 2018-01-24 2021-04-06 京东方科技集团股份有限公司 一种手势识别方法和装置
CN109145803A (zh) * 2018-08-14 2019-01-04 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
CN111684382A (zh) * 2019-06-28 2020-09-18 深圳市大疆创新科技有限公司 可移动平台状态估计方法、系统、可移动平台及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0587138A2 (en) * 1992-09-08 1994-03-16 Kabushiki Kaisha Toshiba 3D Human interface apparatus using motion recognition based on dynamic image processing
US20030156756A1 (en) * 2002-02-15 2003-08-21 Gokturk Salih Burak Gesture recognition system using depth perceptive sensors
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN103038727A (zh) * 2010-06-29 2013-04-10 微软公司 骨架关节识别和跟踪系统
CN104115192A (zh) * 2012-06-25 2014-10-22 索夫特克尼特科软件公司 三维近距离交互的改进或与其有关的改进
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN106843489A (zh) * 2017-01-24 2017-06-13 腾讯科技(深圳)有限公司 一种飞行器的飞行路线控制方法及飞行器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0587138A2 (en) * 1992-09-08 1994-03-16 Kabushiki Kaisha Toshiba 3D Human interface apparatus using motion recognition based on dynamic image processing
US20030156756A1 (en) * 2002-02-15 2003-08-21 Gokturk Salih Burak Gesture recognition system using depth perceptive sensors
CN103038727A (zh) * 2010-06-29 2013-04-10 微软公司 骨架关节识别和跟踪系统
CN104115192A (zh) * 2012-06-25 2014-10-22 索夫特克尼特科软件公司 三维近距离交互的改进或与其有关的改进
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN106843489A (zh) * 2017-01-24 2017-06-13 腾讯科技(深圳)有限公司 一种飞行器的飞行路线控制方法及飞行器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI, MEIHUA ET AL.: "3D Human Motion Tracking", DALIAN UNIVERSITY OF TECHNOLOGY MASTER'S THESES, 1 March 2004 (2004-03-01), pages 36 - 47 *

Also Published As

Publication number Publication date
US20200126249A1 (en) 2020-04-23
CN109923583A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
WO2019006760A1 (zh) 一种姿态的识别方法、设备及可移动平台
CN105652891B (zh) 一种旋翼无人机移动目标自主跟踪装置及其控制方法
KR101645722B1 (ko) 자동추적 기능을 갖는 무인항공기 및 그 제어방법
CN105786016B (zh) 无人机以及rgbd图像的处理方法
CN105847684A (zh) 无人机
US9058661B2 (en) Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
JP6305171B2 (ja) シーン内の物体を検出する方法
US20210173396A1 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
KR101769601B1 (ko) 자동추적 기능을 갖는 무인항공기
US20190392205A1 (en) Recognition method and apparatus and mobile platform
CN110494360B (zh) 用于提供自主摄影及摄像的系统和方法
US20150206003A1 (en) Method for the Real-Time-Capable, Computer-Assisted Analysis of an Image Sequence Containing a Variable Pose
CN109145864A (zh) 确定视线区域的方法、装置、存储介质和终端设备
WO2020135446A1 (zh) 一种目标定位方法和装置、无人机
KR101035055B1 (ko) 이종 카메라를 이용한 객체 추적 시스템 및 방법
WO2019126930A1 (zh) 测距方法、装置以及无人机
WO2018209702A1 (zh) 无人机的控制方法、无人机以及机器可读存储介质
US20200126239A1 (en) Methods and system for multi-target tracking
TW201925033A (zh) 無人機、無人機控制系統及控制方法
US20210133996A1 (en) Techniques for motion-based automatic image capture
CN105930766A (zh) 无人机
KR101980095B1 (ko) 카메라를 통해 구형 목표물의 궤적을 예측하여 무인비행기의 움직임을 제어하는 방법 및 시스템
Le Saux et al. Rapid semantic mapping: Learn environment classifiers on the fly
JP6847424B2 (ja) 検出装置、検出方法、コンピュータプログラム及び学習モデル
KR101656519B1 (ko) 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17916891

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17916891

Country of ref document: EP

Kind code of ref document: A1