WO2018040906A1 - 一种云台控制方法和装置、计算机存储介质 - Google Patents
一种云台控制方法和装置、计算机存储介质 Download PDFInfo
- Publication number
- WO2018040906A1 WO2018040906A1 PCT/CN2017/097420 CN2017097420W WO2018040906A1 WO 2018040906 A1 WO2018040906 A1 WO 2018040906A1 CN 2017097420 W CN2017097420 W CN 2017097420W WO 2018040906 A1 WO2018040906 A1 WO 2018040906A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- gesture
- pan
- tilt
- angle
- control
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Abstract
本发明实施例提供了一种云台控制方法和装置、计算机存储介质,所述方法包括:通过云台上搭载的图像采集单元采集图像,对采集到的图像进行识别,获得识别结果;所述识别结果表示所述采集到的图像中存在预定手势,以及所述预定手势为第一预定手势;基于所述识别结果,启动所述第一预定手势对应的第一控制策略;按照所述第一控制策略,从所述采集到的图像中获取所述第一预定手势的姿态参数;根据所述姿态参数,调用与所述姿态参数对应的控制指令,并执行所述控制指令,以控制所述云台。
Description
相关申请的交叉引用
本申请基于申请号为201610798151.5、申请日为2016年08月31日的中国专利申请提出,并要求该中国专利申请的优先权,该中国专利申请的全部内容在此引入本申请作为参考。
本发明涉及电子技术领域,尤其涉及一种云台控制方法和装置、计算机存储介质。
现有控制云台的方式,是通过点击按键、点击虚拟按键或操纵遥控杆等来控制云台运动方向、速度,以及控制云台拍摄等。以通过鼠标点击图形交互界面中虚拟按键为例来进行具体说明。用户视角首先集中于虚拟按键区域,点击虚拟按键控制云台。然后视角移动到云台区域,观察云台是否达到目标,例如是否偏航转动30度。如果没有达到目标,则根据云台的具体情况,再次点击虚拟按键。
可见,现有技术中控制云台的方法,可能要经历多次调整、观察、再调整,才能使云台达到目标。并且,在控制过程中,用户的视角不得不在控制区域和云台区域之间来回移动。因此,现有技术中的方法存在迟滞时间长,交互体验差,操控繁琐的技术问题。
发明内容
本发明实施例提供了一种云台控制方法和装置、计算机存储介质,用
于解决现有技术控制云台迟滞时间长,交互体验差的技术问题。
第一方面,本发明实施例提供了一种云台控制方法,包括:
通过云台上搭载的图像采集单元采集图像,对采集到的图像进行识别,获得识别结果;所述识别结果表示所述采集到的图像中存在预定手势,以及所述预定手势为第一预定手势;
基于所述识别结果,启动所述第一预定手势对应的第一控制策略;
按照所述第一控制策略,从所述采集到的图像中获取所述第一预定手势的姿态参数;
根据所述姿态参数,调用与所述姿态参数对应的控制指令,并执行所述控制指令,以控制所述云台。
在本发明一实施方式中,所述姿态参数为所述第一预定手势的质点运动轨迹,根据所述姿态参数,调用与所述姿态参数对应的控制指令,包括:
根据所述质点运动轨迹所表示的所述第一预定手势的运动方向,确定处于手势控制状态的所述云台需要旋转的目标偏航角和/或目标俯仰角,并基于所述目标偏航角和/或所述目标俯仰角,调用第一控制指令,以使所述云台转动所述目标偏航角和/或所述目标俯仰角。
在本发明一实施方式中,确定处于手势控制状态的所述云台需要旋转的目标偏航角和/或目标俯仰角,包括:
根据所述质点运动轨迹所表示的所述第一预定手势的运动距离,获得所述运动距离对应于俯仰轴的第一距离和/或对应于偏航轴的第二距离;
确定与所述第一距离对应的角度为所述目标偏航角和/或与所述第二距离对应的角度为所述目标俯仰角。
在本发明一实施方式中,所述姿态参数为所述第一预定手势的刚体运动轨迹,根据所述姿态参数,调用与所述姿态参数对应的控制指令,包括:
根据所述刚体运动轨迹所表示的所述第一预定手势在偏航轴和俯仰轴
所在平面内的转动方向,确定处于手势控制状态的所述云台需要旋转的目标滚转角,并基于所述目标滚转角,调用第二控制指令,以使所述云台转动所述目标滚转角。
在本发明一实施方式中,确定处于手势控制状态的所述云台需要旋转的目标滚转角,包括:
根据所述刚体运动轨迹所表示的所述第一预定手势的在所述偏航轴和所述俯仰轴所在平面内的转动角度,确定所述转动角度为所述目标滚转角。
在本发明一实施方式中,所述姿态参数为所述第一预定手势的手指相对运动方向,根据所述姿态参数,调用与所述姿态参数对应的控制指令,包括:
当所述手指相对运动方向为相互聚拢时,调用缩小特定显示对象的第三控制指令;或
当所述手指相对运动方向为相互分离时,调用扩大特定显示对象的第四控制指令。
在本发明一实施方式中,所述姿态参数为所述第一预定手势的指示方向,根据所述姿态参数,调用与所述姿态参数对应的控制指令,包括:
根据所述指示方向,确定处于手势控制状态的所述云台需要调整偏航角和/或俯仰角,并调用用于调整偏航角和/或俯仰角的第五控制指令。
在本发明一实施方式中,所述方法还包括
判断所述云台是否处于所述手势控制状态;
当所述云台未处于所述手势控制状态,且所述云台检测到触发手势时,控制所述云台进入所述手势控制状态。
第二方面,本发明实施例提供了一种云台控制装置,包括:
识别模块,配置为通过云台上搭载的图像采集单元采集图像,对采集到的图像进行识别,获得识别结果;所述识别结果表示所述采集到的图像
中存在预定手势,以及所述预定手势为第一预定手势;
启动模块,配置为基于所述识别结果,启动所述第一预定手势对应的第一控制策略;
获取模块,配置为按照所述第一控制策略,从所述采集到的图像中获取所述第一预定手势的姿态参数;
调用模块,配置为根据所述姿态参数,调用与所述姿态参数对应的控制指令,并执行所述控制指令,以控制所述云台。
在本发明一实施方式中,所述姿态参数为所述第一预定手势的质点运动轨迹,所述调用模块配置为根据所述质点运动轨迹所表示的所述第一预定手势的运动方向,确定处于手势控制状态的所述云台需要旋转的目标偏航角和/或目标俯仰角,并基于所述目标偏航角和/或所述目标俯仰角,调用第一控制指令,以使所述云台转动所述目标偏航角和/或所述目标俯仰角。
在本发明一实施方式中,所述调用模块配置为根据所述质点运动轨迹所表示的所述第一预定手势的运动距离,获得所述运动距离对应于俯仰轴的第一距离和/或对应于偏航轴的第二距离;确定与所述第一距离对应的角度为所述目标偏航角和/或与所述第二距离对应的角度为所述目标俯仰角。
在本发明一实施方式中,所述姿态参数为所述第一预定手势的刚体运动轨迹,所述调用模块配置为根据所述刚体运动轨迹所表示的所述第一预定手势在偏航轴和俯仰轴所在平面内的转动方向,确定处于手势控制状态的所述云台需要旋转的目标滚转角,并基于所述目标滚转角,调用第二控制指令,以使所述云台转动所述目标滚转角。
在本发明一实施方式中,所述调用模块配置为根据所述刚体运动轨迹所表示的所述第一预定手势的在所述偏航轴和所述俯仰轴所在平面内的转动角度,确定所述转动角度为所述目标滚转角。
在本发明一实施方式中,所述姿态参数为所述第一预定手势的手指相
对运动方向,所述调用模块配置为当所述手指相对运动方向为相互聚拢时,调用缩小特定显示对象的第三控制指令;或当所述手指相对运动方向为相互分离时,调用扩大特定显示对象的第四控制指令。
在本发明一实施方式中,所述姿态参数为所述第一预定手势的指示方向,所述调用模块配置为根据所述指示方向,确定处于手势控制状态的所述云台需要调整偏航角和/或俯仰角,并调用用于调整偏航角和/或俯仰角的第五控制指令。
在本发明一实施方式中,所述装置还包括:
判断模块,配置为判断所述云台是否处于所述手势控制状态;
触发模块,配置为当所述云台未处于所述手势控制状态,且所述云台检测到触发手势时,控制所述云台进入所述手势控制状态。
第三方面,本发明实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,该计算机程序配置为执行上述云台控制方法。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
在本发明实施例中,首先通过云台上搭载的图像采集单元采集图像,并对采集到的图像进行识别,获得表示采集到的图像中存在预定手势,以及预定手势为第一预定手势的识别结果;然后,基于识别结果,启动第一预定手势对应的第一控制策略;进一步,按照第一控制策略,从采集到的图像中获取第一预定手势的姿态参数;更进一步,根据姿态参数,调用与姿态参数对应的控制指令,并执行控制指令,以控制云台。由此可见,基于用户的第一预定手势以及第一预定手势的姿态调用对应指令控制云台,所以本发明中的云台能够根据预定手势实时作出相应响应。进而,用户简单地通过手势就可以控制云台。并且,由于通过手势控制不需要视角切换,所以用户可同时观察到云台的实时状态,从而及时调整手势以使云台相应
调整。所以,本发明解决了云台控制迟滞时间长的技术问题,实现了实时控制云台的技术效果。
图1为本发明实施例中的云台控制方法流程图;
图2为本发明实施例中第一种预定手势示意图;
图3a-3b为本发明实施例中第二种预定手势示意图;
图4为本发明实施例中第三种预定手势示意图;
图5a-5d为本发明实施例中第四种预定手势示意图;
图6为本发明实施例中用户与平衡车示意图;
图7为本发明实施例中的云台控制装置示意图。
本发明实施例提供了一种云台控制方法和装置、计算机存储介质,用于解决现有技术控制云台迟滞时间长,交互体验差的技术问题。
为了解决上述技术问题,本发明提供的解决思路如下:
在本发明实施例中,首先通过云台上搭载的图像采集单元采集图像,并对采集到的图像进行识别,获得表示采集到的图像中存在预定手势,以及预定手势为第一预定手势的识别结果;然后,基于识别结果,启动第一预定手势对应的第一控制策略;进一步,按照第一控制策略,从采集到的图像中获取第一预定手势的姿态参数;更进一步,根据姿态参数,调用与姿态参数对应的控制指令,并执行控制指令,以控制云台。由此可见,基于用户的第一预定手势以及第一预定手势的姿态调用对应指令控制云台,所以本发明中的云台能够根据预定手势实时作出相应响应。进而,用户简单地通过手势就可以控制云台。并且,由于通过手势控制不需要视角切换,所以用户可同时观察到云台的实时状态,从而及时调整手势以使云台相应
调整。所以,本发明解决了云台控制迟滞时间长的技术问题,实现了实时控制云台的技术效果。
下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本发明实施例第一方面提供了一种云台控制方法。请参考图1,为本发明实施例中云台控制方法流程图,该方法包括:
S101:通过云台上搭载的图像采集单元采集图像,对采集到的图像进行识别,获得识别结果;
S102:基于所述识别结果,启动所述第一预定手势对应的第一控制策略;
S103:按照所述第一控制策略,从所述采集到的图像中获取所述第一预定手势的姿态参数;
S104:根据所述姿态参数,调用与所述姿态参数对应的控制指令,并执行所述控制指令,以控制所述云台。
具体来讲,在S101之前,启动云台上搭载的图像采集单元,使图像采集单元处于图像采集状态。然后,在S101中,通过图像采集单元进行连续多帧的图像采集,并且,在采集的同时对采集到的图像进行识别,获得识别结果。在具体实现过程中,从采集到的图像中可能识别到预定手势,也可能识别不到预定手势。为了方便介绍本发明实施例中的方法,将假设S101
中的识别结果具体表示采集到的图像中存在预定手势。并且,本发明实施例中的预定手势可以有一种或多种,如图2、图3a、图3b、图4、图5a、图5b、图5c和图5d所示,当前采集到的预定手势为其中任意一种。为了方便描述,本发明实施例将当前采集到的预定手势称为第一预定手势。
在本发明实施例中,为了方便用户通过不同的预定手势对云台进行不同的控制,本发明为不同的预定手势设置了不同的控制策略。控制策略定义了达到预定手势对应的控制效果,需获得哪些参数,执行哪些控制指令以及如何执行控制指令等。举例来说,为如图2所示的预定手势设置控制云台偏航角和/或俯仰角的控制策略,为图3a和图3b所示的预定手势设置控制云台滚转角的控制策略等,本发明所属领域的普通技术人员可以根据实际进行设置,本发明不做具体限制。
在S102中,根据识别结果表示的预定手势为第一预定手势,启动第一预定手势对应第一控制策略。在本发明实施例中,根据不同预定手势启动不同的控制策略,为根据不同预定手势调用对应的指令集合。例如,第一预定手势如图2所示,则调用包括控制偏航角和/或俯仰角的控制指令的指令集合;第一预定手势如图3所示,则调用包括控制滚转角的控制指令的指令集合。
然后,在S103中,按照第一控制策略指示所需的姿态参数,从采集到的图像中获取第一预定手势的姿态参数。进而,在S104中,根据姿态参数,调用与姿态参数对应的控制指令。换言之,从调用的指令集合中,确定出与姿态参数对应的控制指令,然后调用并执行该控制指令,从而实现用户做出的当前姿态的第一预定手势对云台的控制。
由上述描述可以看出,基于用户的第一预定手势以及第一预定手势的姿态调用对应指令控制云台,所以本发明中的云台能够根据预定手势实时作出相应响应。进而,用户简单地通过手势就可以控制云台。并且,由于
通过手势控制不需要视角切换,所以用户可同时观察到云台的实时状态,从而及时调整手势以使云台相应调整。所以,本发明解决了云台控制迟滞时间长的技术问题,实现了实时控制云台的技术效果。
具体来讲,在S101中,为了确定采集到的图像中是否存在预定手势,需要先在采集到的图像中进行手部识别,换言之,需要先识别出采集到的图像中是否有手部。根据通用手部特征,在采集到的图像中进行特征匹配。如果从采集到的图像中匹配到符合通用手部特征的元素,则确定采集到的图像中具有手部,且该元素就是手部。当然,如果识别到了手部,将进一步识别该手部的手势是否为预定手势;而如果在采集到的图像中未识别出手部,则不需要再进一步确认采集到的图像中是否有预定手势了。
在本发明实施例中,预先存储有所有预定手势特征。预定手势可以为任意手势,例如图2-图5d示出的其中四种,本发明对此不做具体限制。而预定手势特征,可以为缺省设置;用户也可以根据需要和喜好,自己设置预定手势,并控制图像采集单元采集自己设置的预定手势,进而使云台控制装置获得并存储该手势的特征。在具体实现过程中,本发明所属领域的普通技术人员可以根据实际进行设置,本发明不做具体限制。
在采集到的图像中存在手部时,按照预定手势特征,在采集到的图像中进行匹配。具体为对手部元素匹配,获得与每一种预定手势的匹配度。如果与每种预定手势的匹配度均低于阈值,表明该手部的手势不为预定手势,则获得表示采集到的图像中不存在预定手势的匹配结果。而如果与其中一种预定手势的匹配度达到阈值,与其他预定手势的匹配度均未达到阈值,表明该手部的手势为预定手势,并且,该手势具体为匹配度达到阈值的预定手势,即第一预定手势。进而,获得表示采集到的图像中存在第一预定手势的识别结果。阈值例如为80%、90%或95%等。
在本发明实施例中,预定手势包括静态手势和动态手势。静态手势是
指控制云台时保持手势姿态且静止不动。动态手势是指控制云台时保持手势姿态且不静止。不同的预定手势能够达到不同的控制效果,进而每种预定手势的控制策略也会指示获得不同的姿态参数,以及指示执行不同的控制指令。在具体实现过程中,本发明所属领域的普通技术人员可以根据实际对预定手势和具体控制策略进行设置,本发明不做具体限制。
下面将列举其中几种预定手势来说明控制云台的实现方式,在具体实现过程中包括但不限于以下几种。
第一种:
第一种预定手势为动态手势。具体的手势姿态可以为任意姿态,例如握拳姿态、食指伸出其余四指弯曲的姿态,或如图2所示的五指张开手掌向上的姿态等,只要在运动时能够被视为质点即可。为了方便说明,下面将以图2所示的姿态为例进行后续介绍。图2中的黑色手势表示当前时刻手势所在,灰色手势表示当前时刻之前的手势所在。
在第一种实现方式中,第一控制策略需要获得的姿态参数为第一预定手势的质点运动轨迹。因此,按照第一控制策略,从采集到的图像中提取出第一预定手势的运动轨迹。本发明实施例中的运动轨迹包括运动方向,进一步还可以包括运动距离。
然后,根据质点运动轨迹表示的运动方向,确定处于手势控制状态的云台需要旋转的目标偏航角和/或目标俯仰角。
具体来讲,在本发明实施例中,预先设置运动方向与旋转方向和旋转角度的映射关系。旋转方向包括围绕偏航轴方向的旋转和/或围绕俯仰轴方向的旋转。进一步,在本发明实施例中,旋转角度,也就是目标偏航角和目标俯仰角的角度值可以为缺省,也可以根据第一预定手势的具体运动状态确定,本发明不做具体限制。然后,根据质点运动轨迹表示的运动方向和映射关系,确定运动方向对应的目标偏航角和/或目标俯仰角。
举例来说,假设旋转角度缺省设置20度。运动方向与旋转方向和旋转角度的映射关系具体为:水平向左的运动方向对应目标偏航角-20°,水平向右的运动方向对应目标偏航角20°,竖直向上的运动方向对应目标俯仰角20°,竖直向下的运动方向对应目标俯仰角-20°,向左上方的运动方向对应目标偏航角-20°和目标俯仰角20°,向右上方的运动方向对应目标偏航角20°和目标俯仰角20°,向左下方的运动方向对应目标偏航角-20°和目标俯仰角-20°,向右下方的运动方向对应目标偏航角20°和目标俯仰角-20°。其中,偏航角为负表示向左旋转,偏航角为正表示向右旋转,俯仰角为负表示向下旋转,俯仰角为正表示向上旋转。
那么,假设从采集到的图像中识别出水平向左的运动方向,则确定需旋转目标偏航角-20°;假设从采集到的图像中识别出竖直向上的运动方向,则确定需旋转目标俯仰角20°;假设从采集到的图像中识别出向右下方的运动方向,则确定需旋转目标偏航角20°和目标俯仰角-20°。
如果旋转角度不为缺省设置,而是根据第一预定手势的运动状态动态设置,那么,确定云台需要旋转的目标偏航角和/或目标俯仰角,具体为通过以下过程实现:
根据所述质点运动轨迹所表示的所述第一预定手势的运动距离,获得所述运动距离对应于俯仰轴的第一距离和/或对应于偏航轴的第二距离;
确定与所述第一距离对应的角度为所述目标偏航角和/或与所述第二距离对应的角度为所述目标俯仰角。
首先,获得运动轨迹表示的运动距离。然后,在平行于俯仰轴和偏航轴的方向上将运动距离分解,进而得到平行于俯仰轴的第一距离和平行于偏航轴的第二距离。当然,在具体实现过程中,如果运动方向水平,即平行于俯仰轴,则可以不分解运动距离,直接确定运动距离为第一距离;或者运动方向垂直地面,即平行于偏航轴,也可以不分解运动距离,直接确
定运动距离为第二距离。
然后,根据预先设置的俯仰轴方向的距离所对应的角度,以及偏航轴方向的距离所对应的角度确定目标偏航角和/或目标俯仰角。
举例来说,以图像采集单元的成像平面坐标系为参考系,则俯仰轴对应成像平面坐标系的横轴,偏航轴对应成像平面坐标系的纵轴。预先设置横轴方向上的一个单位长度对应1°偏航角,纵轴方向上的一个单位长度对应1°俯仰角。假设识别出第一预定手势运动方向为左上方,分解后得到第一距离10个单位长度,第二距离9个单位长度,因此,确定目标偏航角为10°,目标俯仰角为9°。
最后,基于确定的目标偏航角和/或目标俯仰角,调用用于控制云台旋转相应角度的第一控制指令,使云台旋转目标偏航角和/或目标俯仰角。
由上述描述可以看出,通过第一预定手势的质点运动,用户通过保持第一预定手势并按照在自己需要在方向上运动,就可以实时调整云台的偏航角和/或俯仰角。
第二种:
第二种预定手势为动态手势。具体的手势姿态可以为任意姿态,例如五指张开的姿态,或如图3a和图3b所示的食指伸出其余四指弯曲的姿态等,只要在运动时以钢体形式运动即可。为了方便说明,下面将以图3a和图3b所示的姿态为例进行后续介绍。
在第二种实现方式中,第一控制策略需要获得的姿态参数为第一预定手势的刚体运动轨迹。因此,按照第一控制策略,从采集到的图像中提取出第一预定手势的刚体运动轨迹。本发明实施例中的刚体运动轨迹包括转动方向,进一步还可以包括转动角度。
当然,在具体实现过程中,为了方便获取刚体运动轨迹,可以通过获取第二预定手势的一个参考点的运动轨迹来获得刚体运动轨迹。举例来说,
第二预定手势如图3a和图3b所示,参考点为食指指尖;或者第二预定手势为五指张开的手势,参考点为拇指指尖。本发明所属领域的普通技术人员可以根据实际进行设置,本发明不做具体限制。
然后,根据刚体运动轨迹表示的转动方向,确定处于手势控制状态的云台需要旋转的目标滚转角。在本发明实施例中,第一预定手势的转动平行于偏航轴和俯仰轴所在平面。为了方便描述,将第一预定手势的转动视为在偏航轴和俯仰轴所在平面发生的转动。
在本发明实施例中,预先设置转动方向与旋转方向与和旋转角度的映射关系。旋转方向具体为围绕滚转轴旋转的方向。进一步,在本发明实施例中,旋转角度,也就是目标滚转角的角度值可以为缺省,也可以根据第一预定手势的具体运动状态确定,本发明不做具体限制。然后,根据刚体运动轨迹表示的转动方向和映射关系,确定需要旋转的目标滚转角。
举例来说,假设旋转角度缺省设置20度。转动方向与旋转方向和旋转角度的映射关系具体为:如图3a所示,顺时针转动方向对应目标滚转角20°;如图3b,逆时针转动方向对应目标滚转角-20°。其中,滚转角为负表示云台逆时针旋转,滚转角为正表示云台顺时针旋转。并且,本发明实施例中的逆时针方向和顺时针方向为从滚转轴上正无穷大的位置看到俯仰轴和偏航轴所在平面上的方向。
如果旋转角度不为缺省设置,而是能够根据第一预定手势的运动状态动态设置,那么,确定云台需要旋转的目标滚转角,具体为通过以下过程实现:
根据所述刚体运动轨迹所表示的所述第一预定手势的在所述偏航轴和所述俯仰轴所在平面内的转动角度,确定所述转动角度为所述目标滚转角。
首先,从采集到的图像中识别出第一预定手势的在偏航轴和俯仰轴所在平面内的转动角度。然后,将转动角度确定为目标滚转角的角度。换言
之,第二预定手势转动多少度,将相应控制云台在滚转方向上旋转多少度滚转角。
举例来说,对采集到的图像进行识别,获得图3a示出的第一预定手势的刚体运动轨迹为顺时针转动100°。根据对应关系,确定顺时针转动方向对应云台顺时针旋转;转动角度为100°,因此目标偏航角为100°。
最后,基于确定的目标偏航角和/或目标俯仰角,调用用于控制云台旋转相应角度的第一控制指令,使云台旋转目标偏航角和/或目标俯仰角。
由上述描述可以看出,通过第一预定手势的刚体运动,用户通过保持第一预定手势并按照需要转动,即可实时调整云台的滚转角。
第三种:
第三种预定手势也为动态手势。具体的手势姿态可以为任意姿态,例如食指和中指伸出其余三值弯曲的姿态,或如图4所示的拇指和食指伸出其余三指弯曲的姿态,或者五指张开的姿态,只要在运动时至少两根手指能够运动即可。为了方便说明,下面将以图4所示的姿态为例进行后续介绍。
在第三种实现方式中,第一控制策略需要获得的姿态参数为第一预定手势的手指相对运动方向。因此,按照第一控制策略,从采集到的图像中提取出第一预定手势的手指相对运动方向。
本发明实施例中的手指运动方向可以为任意两根手指的相对运动方向,也可以为三根、四根甚至五根手指的相对运动方向。并且,在本发明实施例中,相对运动方向至少包括相互聚拢和相互分离两种。
在本发明实施例中,当手指相对运动方向为相互聚拢时,按照第一控制策略,调用缩小显示单元上特定显示对象的第三控制指令。反之,当手指相对运动方向为相互分离时,则调用扩大特定显示对象的第四控制指令。
具体来讲,显示单元上显示有一个或多个显示对象,特定显示对象可
以为所有显示对象中的任意一个或多个,进而用户通过不同的手指相对运动调整任意显示对象的显示尺寸。特定显示对象也可以为所有显示对象中的一个或多个预设显示对象,例如图片、地图、列表等,进而用户可以通过不同手指相对运动调整这些预设显示对象的显示尺寸。例如特定显示对象为图片,当用户想放大图片时,则通过相互分离的手指运动实现。特定显示对象还可以为所有显示对象,那么用户可以通过不同方向的手指相对运动实现调整所以显示对象的显示尺寸。在具体实现过程中,本发明所属领域的普通技术人员可以根据实际进行设置,本发明不做具体限制。
由上述描述可以看出,通过不同方向的手指相对运动,用户可以实时控制云台的显示单元上显示对象的显示尺寸。
第四种:
第四种预定手势为静态手势。具体的手势姿态可以为任意姿态,例如食指和中指伸出其余三值弯曲的姿态,或如图5a-图5d所示的食指伸出其余四指弯曲的姿态,或者五指张开的姿态,只要能够指示方向即可。为了方便说明,下面将以图5a-图5d所示的姿态为例进行后续介绍。
在第四种实现方式中,第一控制策略需要获得的姿态参数为第一预定手势的指示方向。因此,按照第一控制策略,从采集到的图像中提取出第一预定手势的指示方向。
本发明实施例中的指示方向为第一预定手势的参考向量的当前方向。举例来说,第一预定手势如图5a-图5d所示,设置参考向量为食指。那么,当第一预定手势如图5a所示时,食指向上指,即参考向量当前方向向上,则指示方向为上;当第一预定手势如图5b所示时,食指向下指,即参考向量当前方向向下,则指示方向为下;当第一预定手势如图5c所示时,食指向左指,即参考向量当前方向向左,则指示方向为左;当第一预定手势如图5d所示时,食指向右指,即参考向量当前方向向右,则指示方向为右。
或者,再举例来说,第一预定手势为五指张开,设置参考向量为拇指,则拇指的当前方向就是指示方向。或者再举例来说,第一预定手势为拇指伸出其余四指弯曲,设置参考向量为拇指,则拇指的当前方向就是指示方向。更多的例子这里就不一一赘述了,本发明所属领域的普通技术人员可以根据实际进行设置,本发明不做具体限制。
进一步,根据指示方向,确定处于手势控制状态的云台需要旋转的目标偏航角和/或目标俯仰角。
具体来讲,在本发明实施例中,预先设置指示方向与旋转方向和旋转角度的映射关系。旋转方向包括围绕偏航轴方向的旋转和/或围绕俯仰轴方向的旋转。进一步,由于预定手势为静态手势,所以本发明实施例中的旋转角度,也就是目标偏航角和目标俯仰角的角度值为缺省。然后,根据指示方向和映射关系,确定指示方向对应的目标偏航角和/或目标俯仰角。
举例来说,假设旋转角度缺省设置20度。指示方向与旋转方向和旋转角度的映射关系具体为:水平向左的指示方向对应目标偏航角-20°,水平向右的指示方向对应目标偏航角20°,竖直向上的指示方向对应目标俯仰角20°,竖直向下的指示方向对应目标俯仰角-20°,向左上方的指示方向对应目标偏航角-20°和目标俯仰角20°,向右上方的指示方向对应目标偏航角20°和目标俯仰角20°,向左下方的指示方向对应目标偏航角-20°和目标俯仰角-20°,向右下方的指示方向对应目标偏航角20°和目标俯仰角-20°。
那么,假设从如图5a所示的采集图像中识别出指示方向向上,则确定需旋转目标俯仰角20°;假设从如图5b所示的采集图像中识别出指示方向向下,则确定需旋转目标俯仰角-20°;假设从如图5c所示的采集图像中识别出指示方向向左,则确定需旋转目标偏航角-20°;假设从如图5d所示的采集图像中识别出指示方向向右,则确定需旋转目标偏航角20°。
由上述描述可知,通过静态指示不同的方向,用户就可以实时控制云台的偏航角和/或俯仰角。
在具体实现过程中,本发明所属领域的普通技术人员可以选择上述四种实现方式中的任意一种控制云台。并且,上述四种实现方式中的任意多种还可以结合应用于云台控制,进而用户可以通过不同的预定手势实现对云台的不同控制。
进一步,结合上述实现方式中的任意一种,还包括:
判断所述云台是否处于所述手势控制状态;
当所述云台未处于所述手势控制状态,且所述云台检测到触发手势时,控制所述云台进入所述手势控制状态。
具体来讲,本发明实施例中的手势控制状态是指根据对预定手势以及预定手势姿态的识别结果控制云台的状态。因此,要通过预定手势对云台进行控制,需要云台进入手势控制状态。如果云台未处于手势控制状态,则即使在采集到的图像中存在预定手势,也不会响应。因此,在本发明实施例中需要判断云台是否处于手势控制状态。
判断云台是否处于手势控制状态,可以通过查询云台状态来确定。如果查询到的状态为手势控制状态,则判断云台处于手势控制状态;反之,如果查询到的状态不是手势控制状态,则判断云台未处手势控制状态。
当云台未处于手势控制状态时,本发明实施例中通过检测触发手势来控制云台进入手势控制状态。具体来讲,通过检测触发手势控制云台进入手势控制状态可以通过如下过程实现:
当从采集到的图像中识别到触发手势时,判断所述触发手势的保持时间是否达到预设时间;
当所述触发手势的保持时间达到所述预设时间时,控制所述云台进入手势控制状态。
在本发明实施例中,触发手势可以为与任一种预定手势相同的手势,也可以为与所有预定手势均不同的手势,本发明不做具体限制。从采集到的图像中识别出触发手势的方式与识别预定手势的方式类似,上文中详细介绍了如何识别预定手势,因此这里就不再详细介绍识别触发手势的过程了。
由于在具体实现过程中,用户可能由于误操作做出了触发手势,并不需要云台进入手势控制状态,因此,为了提高控制的准确率,需要判断触发手势的保持时间是否达到预设时间。其中,预设时间例如为2S,3S等,本发明所属领域的普通技术人员可以根据实际进行设置,本发明不做具体限制。
对于保持时间,由于图像采集单元按照相等时间间隔采集图像,因此通过连续识别到触发手势的图像的帧数就可以计算得到保持时间。举例来说,假设图像采集单元每隔1mS采集一帧图像,在连续1200帧图像中均识别到了触发手势,则计算出触发手势的保持时间为1.2S。
由于触发手势的保持时间达到预设时间时,用户误操作做出触发手势的可能性较小,因此确定用户需要对云台进行控制,进而控制云台进入手势控制状态。
举例来说,假设触发手势为五指张开轻微晃动,预设时间为2S。当在采集到的图像中识别出五指张开轻微晃动的触发手势时,计算触发手势的保持时间。在触发手势的保持时间达到2S时,控制云台进入手势控制状态。
由上述描述可知,在判断出触发手势的保持时间达到预设时间时控制云台进入手势控制状态,可以避免由于误操作导致云台进入手势控制状态,提高了控制的准确率。
进一步,进入云台手势控制状态后,用户根据自己的控制需要做出相应的预定手势控制云台。当然,为了进一步提高控制的准确率,还可以为
设置预定手势保持时间,从而避免用户误操作而做出预定手势引起不必要的控制。
下面通过几个具体实施例来说明如何通过预定手势对云台进行控制。在具体实现过程中,包括但不限于下面几个实施例。
实施例一:
如图6所示,用户站在平衡车的前方,举起左手,使左手保持在图像采集单元的采集范围中。云台控制装置从采集到的图像中识别出五指张开轻微晃动的触发手势。云台此时未处于手势控制状态。进一步,计算得到触发手势的保持时间达到预设时间2S,因此控制云台进入手势控制状态。
然后,用户放下左手,举起右手,保持右手以图2所示的姿态在图像采集范围中做出水平向右的滑动动作。通过对采集到的图像进行识别,确定采集到的图像中存在预定手势,且预定手势具体为如图2所示的第一预定手势,进而调用对应的第一控制策略。
根据第一控制策略,获得第一预定手势的质点运动轨迹。质点运动轨迹表示第一预定手势运动方向向左,因此确定需要旋转缺省的目标偏航角20°。进而,调用并执行第一控制指令,云台向右旋转20°偏航角。
实施例二:
如图6所示,用户站在平衡车的前方,举起左手,使左手保持在图像采集单元的采集范围中。云台控制装置从采集到的图像中识别出五指张开轻微晃动的触发手势。云台此时未处于手势控制状态。进一步,计算得到触发手势的保持时间达到预设时间2S,因此控制云台进入手势控制状态。
然后,用户放下左手,举起右手,保持右手以图3a所示的姿态在图像采集范围中做出顺时针的转动动作。通过对采集到的图像进行识别,确定采集到的图像中存在预定手势,且预定手势具体为如图3a所示的第一预定手势,进而调用对应的第一控制策略。
根据第一控制策略,获得第一预定手势的刚体运动轨迹。刚体运动轨迹表示第一预定手势转动方向为顺时针,转动角度为40°,因此确定需要顺时针旋云台目标滚转角20°。进而,调用并执行第二控制指令,云台围绕滚转轴顺时针旋转20°。
实施例三:
如图6所示,用户站在平衡车的前方,举起左手,使左手保持在图像采集单元的采集范围中。云台控制装置从采集到的图像中识别出五指张开轻微晃动的触发手势。云台此时未处于手势控制状态。进一步,计算得到触发手势的保持时间达到预设时间2S,因此控制云台进入手势控制状态。
然后,用户放下左手,举起右手,保持右手以图4所示的姿态在图像采集范围中做食指和拇指的相向运动。通过对采集到的图像进行识别,确定采集到的图像中存在预定手势,且预定手势具体为如图4所示的第一预定手势,进而调用对应的第一控制策略。
根据第一控制策略,获得第一预定手势的手指相对运动方向为相互聚拢,因此调用并执行第三控制指令,缩小当前云台的显示单元上显示的图片。
实施例四:
如图6所示,用户站在平衡车的前方,举起左手,使左手保持在图像采集单元的采集范围中。云台控制装置从采集到的图像中识别出五指张开轻微晃动的触发手势。云台此时未处于手势控制状态。进一步,计算得到触发手势的保持时间达到预设时间2S,因此控制云台进入手势控制状态。
然后,用户放下左手,举起右手,保持右手以图5b所示的姿态在图像采集范围中保持不动。通过对采集到的图像进行识别,确定采集到的图像中存在预定手势,且预定手势具体为如图5b所示的第一预定手势,进而调用对应的第一控制策略。
根据第一控制策略,获得第一预定手势的指示方向向下,因此确定需要旋转缺省的目标俯仰角-20°。进而,调用并执行第五控制指令,云台向下旋转20°俯仰角。
进一步,如果用户不再需要控制云台,则云台可以退出手势控制状态。在本发明实施例中,有多种方式可以控制云台退出手势控制状态。下面将列举其中几种,在具体实现过程中,包括但不限于以下几种。
第一种:
在云台处于手势控制状态时,判断触发手势的静止时间是否达到退出时间;当静止时间达到退出时间时,控制云台退出手势控制状态。
具体来讲,当用户需要云台进入手势控制状态时,可以保持触发手势达到预设时间,而当用户需要云台从手势控制状态退出时,同样也可以通过保持触发手势静止达到退出时间来实现。其中,获得静止时间的方式与获得保持时间的方式类似,因此就不重复赘述了。退出时间例如2S、3S等,本发明不做具体限制。当判断静止时间达到退出时间时,确定用户需要云台退出手势控制状态,进而控制云台退出手势控制状态。
举例来说,假设退出时间和预设时间都为1S。在T1时刻,用户遥控平衡车移动到自己的面前,希望控制平衡车的云台。故用户举起自己的右手做出触发手势并保持。根据图像采集单元采集到的图像,云台控制装置识别出触发手势,并计算出触发手势的保持时间达到了1S,因此控制云台进入手势控制状态。用户确认云台进入手势控制状态后,开始通过预定手势控制云台转动。在T1时刻之后的T2时刻,云台转动到用户期望的姿态,用户再次保持右手静止。云台控制装置判断出触发手势静止的时间达到1S,控制云台退出手势控制状态。
第二种:
在云台处于手势控制状态时,判断预定手势是否转换为退出手势;当
预定手势转换为退出手势时,控制云台退出手势控制状态。
具体来讲,在本发明实施例中,退出手势为与触发手势不同的手势。在云台处于手势控制状态时,对采集到的图像进行识别,若识别出退出手势,则确定预定手势转换为退出手势。其中,对退出手势的识别与对预定手势的识别类似。当预定手势转换为退出手势,确定用户需要云台退出手势控制状态,进而使云台退出手势控制状态。
举例来说,假设预设时间为1S。在T3时刻,用户遥控平衡车移动到自己的面前,希望控制平衡车的云台。故用户举起自己的右手做出五指张开手势并保持。根据图像采集单元采集到的图像,云台控制装置识别出触发手势,并计算出触发手势的保持时间达到了1S,因此控制云台进入手势控制状态。用户确认云台进入手势控制状态后,开始控制云台。在T3之后的T4时刻,云台转动到用户期望的姿态后,用户用右手做出握拳手势。云台控制装置识别到退出手势,控制云台退出手势控制状态。
第三种:
判断所述采集到的图像中是否存在所述预定手势;
当所述采集到的图像中不存在所述预定手势时,控制所述云台退出所述手势控制状态。
具体来讲,在云台处于手势控制状态时,云台控制装置将持续对预定手势进行识别。当用户的手移动出图像采集单元的采集范围,采集到的图像中将不再识别到预定手势。当从采集到的图像识别不到预定手势时,判断采集到的图像中不存在预定手势,确定用户需要云台退出手势控制状态,进而使云台退出手势控制状态。
举例来说,假设预设时间为1S。在T5时刻,用户遥控平衡车移动到自己的面前,希望控制平衡车的云台。故用户举起自己的右手做出五指张开的手势并保持。根据图像采集单元采集到的图像,云台控制装置识别出
触发手势,并计算出触发手势的保持时间达到了1S,因此控制云台进入手势控制状态。用户确认云台进入手势控制状态后,开始控制云台。在T5之后的T6时刻,云台的图片调整到用户期望的显示尺寸后,用户放下手,使手移动出采集范围。云台控制装置在T6时刻,识别不到预定手势,进而判断不存在预定手势,控制云台退出手势控制状态。
基于与前述实施例中云台控制方法同样的发明构思,本发明实施例第二方面还提供一种云台控制装置,如图7所示,包括:
识别模块101,配置为通过云台上搭载的图像采集单元采集图像,对采集到的图像进行识别,获得识别结果;所述识别结果表示所述采集到的图像中存在预定手势,以及所述预定手势为第一预定手势;
启动模块102,配置为基于所述识别结果,启动所述第一预定手势对应的第一控制策略;
获取模块103,配置为按照所述第一控制策略,从所述采集到的图像中获取所述第一预定手势的姿态参数;
调用模块104,配置为根据所述姿态参数,调用与所述姿态参数对应的控制指令,并执行所述控制指令,以控制所述云台。
具体来讲,姿态参数为所述第一预定手势的质点运动轨迹,调用模块104配置为根据所述质点运动轨迹所表示的所述第一预定手势的运动方向,确定处于手势控制状态的所述云台需要旋转的目标偏航角和/或目标俯仰角,并基于所述目标偏航角和/或所述目标俯仰角,调用第一控制指令,以使所述云台转动所述目标偏航角和/或所述目标俯仰角。
进一步,调用模块104配置为根据所述质点运动轨迹所表示的所述第一预定手势的运动距离,获得所述运动距离对应于俯仰轴的第一距离和/或对应于偏航轴的第二距离;确定与所述第一距离对应的角度为所述目标偏航角和/或与所述第二距离对应的角度为所述目标俯仰角。
或者,姿态参数为所述第一预定手势的刚体运动轨迹,调用模块104配置为根据所述刚体运动轨迹所表示的所述第一预定手势在偏航轴和俯仰轴所在平面内的转动方向,确定处于手势控制状态的所述云台需要旋转的目标滚转角,并基于所述目标滚转角,调用第二控制指令,以使所述云台转动所述目标滚转角。
进一步,调用模块104配置为根据所述刚体运动轨迹所表示的所述第一预定手势的在所述偏航轴和所述俯仰轴所在平面内的转动角度,确定所述转动角度为所述目标滚转角。
或者,姿态参数为所述第一预定手势的手指相对运动方向,调用模块104配置为当所述手指相对运动方向为相互聚拢时,调用缩小特定显示对象的第三控制指令;或当所述手指相对运动方向为相互分离时,调用扩大特定显示对象的第四控制指令。
或者,姿态参数为所述第一预定手势的指示方向,调用模块104配置为根据所述指示方向,确定处于手势控制状态的所述云台需要调整偏航角和/或俯仰角,并调用用于调整偏航角和/或俯仰角的第五控制指令。
更进一步,所述装置还包括:
判断模块,配置为判断所述云台是否处于所述手势控制状态;
触发模块,配置为当所述云台未处于所述手势控制状态,且所述云台检测到触发手势时,控制所述云台进入所述手势控制状态。
前述图1-图6实施例中的云台控制方法的各种变化方式和具体实例同样适用于本实施例的云台控制装置,通过前述对云台控制方法的详细描述,本领域技术人员可以清楚的知道本实施例中云台控制装置的实施方法,所以为了说明书的简洁,在此不再详述。
在实际应用中,所述云台控制装置中的各个单元所实现的功能,均可由位于云台控制装置中的中央处理器(CPU,Central Processing Unit)、或
微处理器(MPU,Micro Processor Unit)、或数字信号处理器(DSP,Digital Signal Processor)、或现场可编程门阵列(FPGA,Field Programmable Gate Array)等实现。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
在本发明实施例中,首先通过云台上搭载的图像采集单元采集图像,并对采集到的图像进行识别,获得表示采集到的图像中存在预定手势,以及预定手势为第一预定手势的识别结果;然后,基于识别结果,启动第一预定手势对应的第一控制策略;进一步,按照第一控制策略,从采集到的图像中获取第一预定手势的姿态参数;更进一步,根据姿态参数,调用与姿态参数对应的控制指令,并执行控制指令,以控制云台。由此可见,基于用户的第一预定手势以及第一预定手势的姿态调用对应指令控制云台,所以本发明中的云台能够根据预定手势实时作出相应响应。进而,用户简单地通过手势就可以控制云台。并且,由于通过手势控制不需要视角切换,所以用户可同时观察到云台的实时状态,从而及时调整手势以使云台相应调整。所以,本发明解决了云台控制迟滞时间长的技术问题,实现了实时控制云台的技术效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流
程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
相应地,本发明实施例还提供一种计算机存储介质,其中存储有计算机程序,该计算机程序配置为执行本发明实施例的云台控制方法。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
在本发明实施例中,首先通过云台上搭载的图像采集单元采集图像,并对采集到的图像进行识别,获得表示采集到的图像中存在预定手势,以及预定手势为第一预定手势的识别结果;然后,基于识别结果,启动第一
预定手势对应的第一控制策略;进一步,按照第一控制策略,从采集到的图像中获取第一预定手势的姿态参数;更进一步,根据姿态参数,调用与姿态参数对应的控制指令,并执行控制指令,以控制云台。由此可见,基于用户的第一预定手势以及第一预定手势的姿态调用对应指令控制云台,所以本发明中的云台能够根据预定手势实时作出相应响应。进而,用户简单地通过手势就可以控制云台。并且,由于通过手势控制不需要视角切换,所以用户可同时观察到云台的实时状态,从而及时调整手势以使云台相应调整。所以,本发明解决了云台控制迟滞时间长的技术问题,实现了实时控制云台的技术效果。
Claims (17)
- 一种云台控制方法,包括:通过云台上搭载的图像采集单元采集图像,对采集到的图像进行识别,获得识别结果;所述识别结果表示所述采集到的图像中存在预定手势,以及所述预定手势为第一预定手势;基于所述识别结果,启动所述第一预定手势对应的第一控制策略;按照所述第一控制策略,从所述采集到的图像中获取所述第一预定手势的姿态参数;根据所述姿态参数,调用与所述姿态参数对应的控制指令,并执行所述控制指令,以控制所述云台。
- 如权利要求1所述的方法,其中,所述姿态参数为所述第一预定手势的质点运动轨迹,根据所述姿态参数,调用与所述姿态参数对应的控制指令,包括:根据所述质点运动轨迹所表示的所述第一预定手势的运动方向,确定处于手势控制状态的所述云台需要旋转的目标偏航角和/或目标俯仰角,并基于所述目标偏航角和/或所述目标俯仰角,调用第一控制指令,以使所述云台转动所述目标偏航角和/或所述目标俯仰角。
- 如权利要求2所述的方法,其中,确定处于手势控制状态的所述云台需要旋转的目标偏航角和/或目标俯仰角,包括:根据所述质点运动轨迹所表示的所述第一预定手势的运动距离,获得所述运动距离对应于俯仰轴的第一距离和/或对应于偏航轴的第二距离;确定与所述第一距离对应的角度为所述目标偏航角和/或与所述第二距离对应的角度为所述目标俯仰角。
- 如权利要求1所述的方法,其中,所述姿态参数为所述第一预定 手势的刚体运动轨迹,根据所述姿态参数,调用与所述姿态参数对应的控制指令,包括:根据所述刚体运动轨迹所表示的所述第一预定手势在偏航轴和俯仰轴所在平面内的转动方向,确定处于手势控制状态的所述云台需要旋转的目标滚转角,并基于所述目标滚转角,调用第二控制指令,以使所述云台转动所述目标滚转角。
- 如权利要求4所述的方法,其中,确定处于手势控制状态的所述云台需要旋转的目标滚转角,包括:根据所述刚体运动轨迹所表示的所述第一预定手势的在所述偏航轴和所述俯仰轴所在平面内的转动角度,确定所述转动角度为所述目标滚转角。
- 如权利要求1所述的方法,其中,所述姿态参数为所述第一预定手势的手指相对运动方向,根据所述姿态参数,调用与所述姿态参数对应的控制指令,包括:当所述手指相对运动方向为相互聚拢时,调用缩小特定显示对象的第三控制指令;或当所述手指相对运动方向为相互分离时,调用扩大特定显示对象的第四控制指令。
- 如权利要求1所述的方法,其中,所述姿态参数为所述第一预定手势的指示方向,根据所述姿态参数,调用与所述姿态参数对应的控制指令,包括:根据所述指示方向,确定处于手势控制状态的所述云台需要调整偏航角和/或俯仰角,并调用用于调整偏航角和/或俯仰角的第五控制指令。
- 如权利要求2-7任一项所述的方法,其中,所述方法还包括判断所述云台是否处于所述手势控制状态;当所述云台未处于所述手势控制状态,且所述云台检测到触发手势时,控制所述云台进入所述手势控制状态。
- 一种云台控制装置,包括:识别模块,配置为通过云台上搭载的图像采集单元采集图像,对采集到的图像进行识别,获得识别结果;所述识别结果表示所述采集到的图像中存在预定手势,以及所述预定手势为第一预定手势;启动模块,配置为基于所述识别结果,启动所述第一预定手势对应的第一控制策略;获取模块,配置为按照所述第一控制策略,从所述采集到的图像中获取所述第一预定手势的姿态参数;调用模块,配置为根据所述姿态参数,调用与所述姿态参数对应的控制指令,并执行所述控制指令,以控制所述云台。
- 如权利要求9所述的装置,其中,所述姿态参数为所述第一预定手势的质点运动轨迹,所述调用模块配置为根据所述质点运动轨迹所表示的所述第一预定手势的运动方向,确定处于手势控制状态的所述云台需要旋转的目标偏航角和/或目标俯仰角,并基于所述目标偏航角和/或所述目标俯仰角,调用第一控制指令,以使所述云台转动所述目标偏航角和/或所述目标俯仰角。
- 如权利要求10所述的装置,其中,所述调用模块配置为根据所述质点运动轨迹所表示的所述第一预定手势的运动距离,获得所述运动距离对应于俯仰轴的第一距离和/或对应于偏航轴的第二距离;确定与所述第一距离对应的角度为所述目标偏航角和/或与所述第二距离对应的角度为所述目标俯仰角。
- 如权利要求9所述的装置,其中,所述姿态参数为所述第一预定手势的刚体运动轨迹,所述调用模块配置为根据所述刚体运动轨迹所 表示的所述第一预定手势在偏航轴和俯仰轴所在平面内的转动方向,确定处于手势控制状态的所述云台需要旋转的目标滚转角,并基于所述目标滚转角,调用第二控制指令,以使所述云台转动所述目标滚转角。
- 如权利要求12所述的装置,其中,所述调用模块配置为根据所述刚体运动轨迹所表示的所述第一预定手势的在所述偏航轴和所述俯仰轴所在平面内的转动角度,确定所述转动角度为所述目标滚转角。
- 如权利要求9所述的装置,其中,所述姿态参数为所述第一预定手势的手指相对运动方向,所述调用模块配置为当所述手指相对运动方向为相互聚拢时,调用缩小特定显示对象的第三控制指令;或当所述手指相对运动方向为相互分离时,调用扩大特定显示对象的第四控制指令。
- 如权利要求9所述的装置,其中,所述姿态参数为所述第一预定手势的指示方向,所述调用模块配置为根据所述指示方向,确定处于手势控制状态的所述云台需要调整偏航角和/或俯仰角,并调用用于调整偏航角和/或俯仰角的第五控制指令。
- 如权利要求10-15任一项所述的装置,其中,所述装置还包括:判断模块,配置为判断所述云台是否处于所述手势控制状态;触发模块,配置为当所述云台未处于所述手势控制状态,且所述云台检测到触发手势时,控制所述云台进入所述手势控制状态。
- 一种计算机存储介质,所述计算机存储介质中存储有计算机可执行指令,该计算机可执行指令配置为执行权利要求1-8任一项所述的云台控制方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610798151.5A CN106339093B (zh) | 2016-08-31 | 2016-08-31 | 一种云台控制方法和装置 |
CN201610798151.5 | 2016-08-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018040906A1 true WO2018040906A1 (zh) | 2018-03-08 |
Family
ID=57822542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2017/097420 WO2018040906A1 (zh) | 2016-08-31 | 2017-08-14 | 一种云台控制方法和装置、计算机存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106339093B (zh) |
WO (1) | WO2018040906A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110337622A (zh) * | 2018-08-31 | 2019-10-15 | 深圳市大疆创新科技有限公司 | 竖向增稳装置控制方法、竖向增稳装置及图像获取设备 |
CN110337624A (zh) * | 2018-05-31 | 2019-10-15 | 深圳市大疆创新科技有限公司 | 姿态转换方法、姿态显示方法及云台系统 |
CN110337625A (zh) * | 2018-03-29 | 2019-10-15 | 深圳市大疆创新科技有限公司 | 云台轨迹规划方法和装置 |
CN110873563A (zh) * | 2018-08-30 | 2020-03-10 | 杭州海康机器人技术有限公司 | 一种云台姿态估计方法及装置 |
CN111596693A (zh) * | 2020-06-17 | 2020-08-28 | 中国人民解放军国防科技大学 | 基于云台相机的无人机对地面目标跟踪控制方法及系统 |
CN111638730A (zh) * | 2020-05-25 | 2020-09-08 | 浙江大华技术股份有限公司 | 一种双云台控制方法、装置、电子设备及存储介质 |
CN112274920A (zh) * | 2020-11-24 | 2021-01-29 | 智博云信息科技(广州)有限公司 | 一种虚拟现实手势控制方法、平台、服务器及可读储存介质 |
CN114845056A (zh) * | 2022-04-29 | 2022-08-02 | 清华大学 | 一种辅助摄影机器人 |
WO2023040080A1 (zh) * | 2021-09-15 | 2023-03-23 | 湖南星邦智能装备股份有限公司 | 一种剪叉式高空作业平台及其控制系统及方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106339093B (zh) * | 2016-08-31 | 2019-12-13 | 纳恩博(北京)科技有限公司 | 一种云台控制方法和装置 |
WO2020037617A1 (zh) * | 2018-08-23 | 2020-02-27 | 深圳市大疆创新科技有限公司 | 云台控制方法、云台和云台控制系统 |
CN110832423A (zh) * | 2018-11-28 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 云台的控制方法、云台、移动平台和计算机可读存储介质 |
CN112154652A (zh) * | 2019-08-13 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 手持云台的控制方法、控制装置、手持云台及存储介质 |
CN111123986A (zh) * | 2019-12-25 | 2020-05-08 | 四川云盾光电科技有限公司 | 一种基于手势进行二自由度转台控制的控制装置 |
CN113227931A (zh) * | 2020-07-28 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 云台控制方法、装置、设备及计算机可读存储介质 |
CN114157806A (zh) * | 2021-11-23 | 2022-03-08 | 深圳市商汤科技有限公司 | 云台控制方法、装置、云台及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
CN105892668A (zh) * | 2016-04-01 | 2016-08-24 | 纳恩博(北京)科技有限公司 | 设备控制方法和装置 |
CN106339093A (zh) * | 2016-08-31 | 2017-01-18 | 纳恩博(北京)科技有限公司 | 一种云台控制方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092437B (zh) * | 2012-12-13 | 2016-07-13 | 同济大学 | 一种基于图像处理技术的便捷式触控交互系统 |
CN103442177A (zh) * | 2013-08-30 | 2013-12-11 | 程治永 | 一种基于手势识别的ptz摄像机控制系统及方法 |
US20150193069A1 (en) * | 2014-01-03 | 2015-07-09 | Harman International Industries, Incorporated | Seamless content transfer |
CN106249888A (zh) * | 2016-07-28 | 2016-12-21 | 纳恩博(北京)科技有限公司 | 一种云台控制方法和装置 |
-
2016
- 2016-08-31 CN CN201610798151.5A patent/CN106339093B/zh active Active
-
2017
- 2017-08-14 WO PCT/CN2017/097420 patent/WO2018040906A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
CN105892668A (zh) * | 2016-04-01 | 2016-08-24 | 纳恩博(北京)科技有限公司 | 设备控制方法和装置 |
CN106339093A (zh) * | 2016-08-31 | 2017-01-18 | 纳恩博(北京)科技有限公司 | 一种云台控制方法和装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110337625A (zh) * | 2018-03-29 | 2019-10-15 | 深圳市大疆创新科技有限公司 | 云台轨迹规划方法和装置 |
CN110337624A (zh) * | 2018-05-31 | 2019-10-15 | 深圳市大疆创新科技有限公司 | 姿态转换方法、姿态显示方法及云台系统 |
CN110873563A (zh) * | 2018-08-30 | 2020-03-10 | 杭州海康机器人技术有限公司 | 一种云台姿态估计方法及装置 |
CN110873563B (zh) * | 2018-08-30 | 2022-03-08 | 杭州海康机器人技术有限公司 | 一种云台姿态估计方法及装置 |
CN110337622A (zh) * | 2018-08-31 | 2019-10-15 | 深圳市大疆创新科技有限公司 | 竖向增稳装置控制方法、竖向增稳装置及图像获取设备 |
CN111638730A (zh) * | 2020-05-25 | 2020-09-08 | 浙江大华技术股份有限公司 | 一种双云台控制方法、装置、电子设备及存储介质 |
CN111638730B (zh) * | 2020-05-25 | 2023-07-25 | 浙江大华技术股份有限公司 | 一种双云台控制方法、装置、电子设备及存储介质 |
CN111596693B (zh) * | 2020-06-17 | 2023-05-26 | 中国人民解放军国防科技大学 | 基于云台相机的无人机对地面目标跟踪控制方法及系统 |
CN111596693A (zh) * | 2020-06-17 | 2020-08-28 | 中国人民解放军国防科技大学 | 基于云台相机的无人机对地面目标跟踪控制方法及系统 |
CN112274920A (zh) * | 2020-11-24 | 2021-01-29 | 智博云信息科技(广州)有限公司 | 一种虚拟现实手势控制方法、平台、服务器及可读储存介质 |
CN112274920B (zh) * | 2020-11-24 | 2022-05-31 | 亓乐(北京)文化科技有限公司 | 一种虚拟现实手势控制方法、平台、服务器及可读储存介质 |
WO2023040080A1 (zh) * | 2021-09-15 | 2023-03-23 | 湖南星邦智能装备股份有限公司 | 一种剪叉式高空作业平台及其控制系统及方法 |
CN114845056A (zh) * | 2022-04-29 | 2022-08-02 | 清华大学 | 一种辅助摄影机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN106339093A (zh) | 2017-01-18 |
CN106339093B (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018040906A1 (zh) | 一种云台控制方法和装置、计算机存储介质 | |
US20220300071A1 (en) | Discrete and continuous gestures for enabling hand rays | |
JP6306236B2 (ja) | 奥行きセンサーの使用による装置のタッチフリー操作 | |
CN104486543B (zh) | 智能终端触控方式控制云台摄像头的系统 | |
US8933882B2 (en) | User centric interface for interaction with visual display that recognizes user intentions | |
TWI489317B (zh) | 電子裝置的操作方法及系統 | |
US8860678B2 (en) | Computer system with touch screen and gesture processing method thereof | |
US10482677B1 (en) | Distributed simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications | |
WO2018019290A1 (zh) | 一种云台控制方法和装置、存储介质 | |
US10740918B2 (en) | Adaptive simultaneous localization and mapping (SLAM) using world-facing cameras in virtual, augmented, and mixed reality (xR) applications | |
JP5264844B2 (ja) | ジェスチャ認識装置及び方法 | |
US20120030637A1 (en) | Qualified command | |
US20130307765A1 (en) | Contactless Gesture-Based Control Method and Apparatus | |
CN105930775B (zh) | 基于灵敏度参数的人脸朝向识别方法 | |
KR20160048062A (ko) | 디지털 디바이스와 상호작용을 위한 다이렉트 포인팅 검출 시스템 및 방법 | |
US20130293460A1 (en) | Computer vision based control of an icon on a display | |
KR20130105725A (ko) | 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전 | |
Ito et al. | Tracking and recognition of a human hand in dynamic motion for Janken (rock-paper-scissors) robot | |
WO2021000686A1 (zh) | 手势控制方法、手势控制装置以及存储介质 | |
US10444831B2 (en) | User-input apparatus, method and program for user-input | |
CN110780743A (zh) | 一种vr交互方法及vr设备 | |
US11921931B2 (en) | Methods and systems for multi-precision discrete control of a user interface control element of a gesture-controlled device | |
US9761009B2 (en) | Motion tracking device control systems and methods | |
TW202018486A (zh) | 多螢幕操作方法與使用此方法的電子系統 | |
US20220415094A1 (en) | Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17845208 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17845208 Country of ref document: EP Kind code of ref document: A1 |