WO2019165613A1 - 移动设备的控制方法、设备和存储装置 - Google Patents

移动设备的控制方法、设备和存储装置 Download PDF

Info

Publication number
WO2019165613A1
WO2019165613A1 PCT/CN2018/077661 CN2018077661W WO2019165613A1 WO 2019165613 A1 WO2019165613 A1 WO 2019165613A1 CN 2018077661 W CN2018077661 W CN 2018077661W WO 2019165613 A1 WO2019165613 A1 WO 2019165613A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
calibration
image
control
objects
Prior art date
Application number
PCT/CN2018/077661
Other languages
English (en)
French (fr)
Inventor
田原原
朱成伟
唐克坦
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2018/077661 priority Critical patent/WO2019165613A1/zh
Priority to CN201880030092.4A priority patent/CN110603503A/zh
Publication of WO2019165613A1 publication Critical patent/WO2019165613A1/zh
Priority to US16/997,315 priority patent/US20200380727A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本申请公开了移动设备的控制方法、设备和存储装置。其中，所述方法包括：获取对设有若干标定对象的标定装置拍摄得到的测量图像，利用所述测量图像获得所述移动设备的位姿信息；利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态；以及当所述预测的移动状态不满足设定移动条件时，约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件。通过上述方式，能够提高移动设备的移动控制的准确性。

Description

移动设备的控制方法、设备和存储装置 【技术领域】
本申请涉及控制技术领域，特别是涉及移动设备的控制方法、设备和存储装置。
【背景技术】
随着科技的进步，人们采用越来越多的移动设备来参与到自身的生活、工作中。特别是无人机作为一种利用遥控设备和自备的程序控制装置操纵的无人驾驶航天器，是近年来极受追棒的其中一种移动设备。
传统的移动设备的控制是依赖用户操控实现移动的。移动设备在接收到控制指令后直接执行该控制指令以进行相应移动。然而，在实际场景中，移动设备接收到的控制指令可能会导致其移动不符合要求的，例如用户误操作将原本向右移动指令错发为向左移动指令，此时若移动设备仍直接执行该控制指令则可能会出现问题，特别是移动设备在有限空间内移动，直接执行该不符要求的控制指令极容易出现损毁自身或周围环境的情况。因此，如何实现移动设备的准确控制是当前非常值得研究的问题。
【发明内容】
本申请主要解决的技术问题是提供移动设备的控制方法、设备和存储装置，能够提高移动设备的移动控制的准确性。
为解决上述技术问题，本申请第一方面提供一种移动设备的控制方法，包括：获取对设有若干标定对象的标定装置拍摄得到的测量图像，利用所述测量图像获得所述移动设备的位姿信息；利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态；以及当所述预测的移动状态不满足设定移动条件时，约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件。
为了解决上述技术问题，本申请第二方面提供一种移动设备的控制方法，包括：控制设备根据用户在输入部件上输入的操作信息，生成并向所 述移动设备发送待执行的控制指令；接收所述移动设备发送的反馈指令，其中，所述反馈指令为所述移动设备根据其位姿信息和所述待执行的控制指令预测其移动状态并在所述预测的移动状态不满足设定移动条件时发送的；响应所述反馈指令来约束所述控制设备的操控，以使所述控制设备产生的控制指令使所述移动设备满足设定移动条件。
为了解决上述技术问题，本申请第三方面提供一种移动设备，包括本体以及设置在所述本体上的拍摄装置、存储器和处理器，其中，所述本体用于响应所述处理器的控制实现移动；所述拍摄装置用于对设有若干标定对象的标定装置拍摄，得到测量图像；所述处理器运行程序指令，用于获取对设有若干标定对象的标定装置拍摄得到的测量图像，利用所述测量图像获得所述移动设备的位姿信息；利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态；以及当所述预测的移动状态不满足设定移动条件时，约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件。
为了解决上述技术问题，本申请第四方面提供一种控制设备，包括输入部件、存储器和处理器，其中，所述输入部件用于输入用户的操作信息；所述处理器运行程序指令，用于根据用户在输入部件上输入的操作信息，生成并向所述移动设备发送待执行的控制指令；接收所述移动设备发送的反馈指令，其中，所述反馈指令为所述移动设备根据其位姿信息和所述待执行的控制指令预测其移动状态并在所述预测的移动状态不满足设定移动条件时发送的；响应所述反馈指令来约束所述控制设备的操控，以使所述控制设备产生的控制指令使所述移动设备满足设定移动条件。
为了解决上述技术问题，本申请第五方面提供一种存储装置，存储有程序指令，当所述程序指令在处理器上运行时，执行上述方法。
上述方案，移动设备根据对标定装置进行拍摄得到测量图像，并由测量图像得到其位姿信息，实现了简单且低成本的定位；而且，移动设备还根据位姿信息和控制指令预测其移动状态，并在移动状态不满足设定移动条件时，约束移动设备的移动，以使约束后的移动状态满足设定移动条件，故实现了移动设备自主约束其移动，且避免出现移动状态不符预设条件的情况，进而提高了移动设备的移动控制的准确性。
【附图说明】
图1是本申请移动设备的控制方法一实施例的流程示意图；
图2是本申请一应用场景中移动设备对标定装置进行拍摄的示意图；
图3是本申请一应用场景中设定移动条件中的设定范围的示意图；
图4是本申请移动设备的控制方法另一实施例的流程示意图；
图5是本申请移动设备的控制方法再一实施例中的流程示意图；
图6A是本申请标定装置一实施例的结构示意图；
图6B是本申请一应用场景中标定装置所包含的基板分离时的结构示意图；
图7A是本申请一应用场景中标定装置的俯视局部示意图；
图7B是本申请另一应用场景中标定装置的俯视局部示意图；
图8是本申请移动设备确定位姿信息一实施例的流程示意图；
图9是本申请移动设备确定位姿信息另一实施例中步骤S81的流程示意图；
图10是本申请移动设备确定位姿信息再一实施例的流程示意图；
图11是本申请移动设备一实施例的结构示意图；
图12是本申请控制设备一实施例的结构示意图；
图13是本申请存储装置一实施例的结构示意图。
【具体实施方式】
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中的“多”表示的是至少为2。需要说明的是，在不冲突的情况下，本实施例和实施内 容的技术特征可以相互组合。
请参阅图1，图1是本申请移动设备的控制方法一实施例的流程示意图。本实施例中，该控制方法由移动设备执行，该移动设备可以为无人机、无人车、移动机器人等可在外力的作用下移动或者依靠自身配置的动力系统移动的任意设备。具体地，该控制方法包括以下步骤：
S11：获取对设有若干标定对象的标定装置拍摄得到的测量图像，利用所述测量图像获得所述移动设备的位姿信息。
例如，标定装置可以设置在地面上，例如平铺在地面上，或者标定装置可以垂直于地面设置，移动设备在设置有标定装置的地面上运动或者飞行时，可以通过设置在该平台上的拍摄装置观测到标定装置。如图2所示，移动设备210在移动过程中，利用设置在移动设备210的承载装置212上的拍摄装置211，对预先放置好的标定装置220进行拍摄得到测量图像。所述标定装置220可以是具有图像标定作用的任何标定装置，其中，标定装置配置有若干个标定对象221和222。故对应地，该测量图像中包含表示该标定对象的图像区域，该图像区域也称为该标定对象的图像对象。
其中，该标定装置可以为一个，或者为多个且多个标定装置之间的相对位置固定不变，而该多个标定装置之间的相对位置无须预先获得，可以在后续计算位姿信息时结合现有的标定方法得到。本实施例中，标定对象具体可以为在标定装置上随机分布的点状区域(简称为随机点)，或者为二维码等。具体地，该图像标定装置可为标定板。随机点为圆形或者其他形状，而且标定装置上的随机点可以为相同尺寸，也可以为多种尺寸的。如图2所示，标定装置220上设置有两种尺寸类型的随机点221和222。其中，该二维码可以为QR code码、Data Matrix码等。进一步地，该标定装置也可如下述标定装置实施例所述。
在获得该测量图像之后，移动设备利用所述测量图像获得所述移动设备的位姿信息。例如，移动设备检测出测量图像中的标定对象的图像对象，并可根据所述检测的图像对象确定移动设备的位姿信息。该移动设备的位姿信息为移动设备相对于标定装置的位姿信息。由于标定装置上的标定对象是特征明显的对象，故移动设备可以根据标定对象的特征，利用圆点提取(blob detector)算法或其他检测算法从测量图像中检测出标定对象的图 像对象。移动设备在检测出图像对象后，可先从测量图像中提取每个图像对象的特征参数，并与预存的标定装置的标定对象的特征参数进行匹配，确定每个图像对象的标定对象，再根据所述确定的标定对象，利用透视n点(perspective n points，PnP)算法等相关位姿求解算法计算得到移动设备的位姿信息。进一步地，本步骤中该位姿信息的获得可执行下述如图8-图10所示的确定位姿信息方法实施例中步骤实现。
S12：利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态。
移动设备在获得位姿信息后即可得到当前自身位姿，其中，位姿信息包括位置信息和/或姿态信息，故可根据该位姿信息和待执行的控制指令，预测得到自身的移动状态，也即预估得到移动设备在接下来的时间的移动状态。进一步地，移动设备可利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动轨迹；进而获取所述预测的移动轨迹上的所述移动设备的移动状态。例如，移动设备获得其姿态信息和位置信息时，通过其设置的传感器获得其当前速度，并根据该待执行控制指令中对速度的要求和当前速度预测其在接下来的一段时间内的移动速度，并根据预测的移动速度以及待执行控制指令中对方向的要求，预测得到其在接下来一段时间内的移动位置，由该移动位置和移动速度可得到在接下来一段时间内的移动轨迹及该移动轨迹对应的移动速度。然后，移动设备利用该移动轨迹及该移动轨迹对应的移动速度得到在移动轨迹上的移动状态。其中，移动设备可采用预测模型或者其他算法进行上述预测。
所述待执行的控制指令用于控制移动设备的移动状态，具体可为移动设备自身生成的，或者由控制设备发送给移动设备的。本申请所述的控制设备可以为遥控设备、体感操控设备等任何操控设备。
所述移动设备的移动状态可以包括移动速度、移动设备与目标之间的相对位置、移动加速度、移动方向中的一个或多个。该目标例如为设定范围的边缘位置。在某些实施例中，该目标可以为预先设定好的，移动设备预存有该目标的位置信息，故可根据该位姿信息和待执行控制指令预测移动设备的位置信息，进而对比移动设备的位置信息和目标的位置信息得到移动设备与目标之间的相对位置。
在一实施例中，该移动设备为一无人机，则该移动状态即为无人机的飞行状态，该飞行状态可包括飞行速度、移动设备与目标之间的相对位置、飞行加速度、飞行方向中的一个或多个。
可以理解的是，对于上述S11，移动设备可在移动过程中持续获取其位姿信息。例如，移动设备在多个时间点重复对设有该标定装置拍摄得到，以得到多个测量图像，并如上面描述分别利用每个测量图像获得所述移动设备位姿信息，进而得到该移动设备在该多个时间点上的位姿信息。本S12可具体包括：移动设备利用所述多个时间点的位姿信息和待执行的控制指令，预测所述移动设备的移动状态。
S13：当所述预测的移动状态不满足设定移动条件时，约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件。
本实施例中，移动设备预存有设定移动条件，在预测得到自身的移动状态后，移动设备判断预测的移动状态是否满足该设定移动条件，若满足，则可依据所述待执行的控制指令进行移动；若不满足，则不直接依据所述待执行的控制指令移动，根据预测的移动状态约束移动设备的移动，以使约束后的移动状态能够满足设定移动条件。具体地，移动设备可通过直接产生新控制指令实现约束移动设备的移动，或者通过控制该控制设备的操控，以由控制设备的受限操控实现约束移动设备的移动，又或者移动设备可同时执行上述两种控制方式以约束移动设备的移动。
所述设定移动条件可包括对移动设备的移动状态的限定，例如对移动设备的速度、位置、姿态的限定。在一实施例中，该设定移动条件为移动设备保持在设定范围内移动。故对应地，移动设备获得的上述移动状态可以包括移动设备的速度和移动设备与所述设定范围的边缘位置间的相对位置。移动设备根据所述预测的速度和相对位置判断移动设备是否依然在设定范围内，若是则满足该设定移动条件，否则不满足设定移动条件。可以理解的是，上述设定范围可以为二维的或者为三维的，该二维的设定范围为在水平面上的范围，该三维的设定范围为在水平面和竖直面上的范围，即比二维的范围多了高度方向的范围，如图3所示的设定范围31。该三维的设定范围的形式包括但不限于立方体、圆柱体、圆柱环。
在某一些实施例中，所述设定范围可以由根据在地图上规划的数据确 定的或者根据标定装置的设置位置确定的。例如，在上述S11之前，移动设备接收用户设备发送的设定范围的信息，并根据该设定范围的信息确定所述设定移动条件中的设定范围。其中，所述设定范围的信息为所述用户设备根据用户对其显示的全局地图进行选择得到的，所述全局地图为所述用户设备利用所述图案工具的位置信息或全球定位系统GPS构造形成的。进一步地，用户可通过在显示的全局地图上指点、画线、或者输入几何属性值等方式，在全局地图上形成设定范围图形。其中，该几何属性值包括立方体的顶点坐标、圆柱体的中心轴线位置及半径等。用户设备将利用地图数据获得该设定范围图形的位置数据，将该位置数据作为设定范围的信息发送给移动设备。移动设备获得该设定范围的信息后，可结合地图显示该设定范围的位置，并可判断当前位置与该设定范围之间的相对位置，手动或自动飞到设定范围的起点，进而开始在设定范围内的移动。又或者，所述设定范围的信息为根据标定装置的设置位置确定标定装置的覆盖范围，将该覆盖范围的位置数据直接作为该设定范围的信息，或者将每个标定装置的覆盖范围提供给用户选择或拼接，并将用户最后选择或拼接得到的覆盖范围的位置数据直接作为该设定范围的信息。可以理解的是，上述设定范围的信息也可由移动设备直接执行上述用户设备执行步骤得到，在此不做限定。
可以理解的是，所述设定移动条件可以由用户预先设定并发送给移动设备的，或者移动设备根据自身环境信息和用户要求自行生成的，在此不做限定。
本实施例中，移动设备根据对标定装置进行拍摄得到测量图像，并由测量图像得到其位姿信息，故实现了简单且低成本的定位；而且，移动设备还根据位姿信息和控制指令预测其移动状态，并在移动状态不满足设定移动条件时，不执行该控制指令，并约束移动设备的移动，以使约束后的移动状态满足设定移动条件，故实现了移动设备自主约束其移动，且避免出现移动状态不符要求的情况，提高了移动设备的移动的安全性。进一步地，当该控制指令为控制设备发送时，即移动设备受控制设备的控制以实现移动，此时，移动设备还可自主约束移动(例如自生成新控制指令实现约束或者反向控制控制设备的操控实现约束)，可实现移动设备的共享控制， 也即控制设备为主控制，自身为辅助控制的双重控制方式，保证了移动设备的准确移动。
请参阅图4，图4是本申请移动设备的控制方法另一实施例的流程示意图。本实施例中，该控制方法由本实施例所述的移动设备执行，包括以下步骤：
S41：对设有若干标定对象的标定装置拍摄得到测量图像，利用所述测量图像获得所述移动设备的位姿信息。
其中，本S41的具体说明请参阅上述S11的描述。
S42：获取所述移动设备的至少一个传感器提供的位姿信息。
其中，所述至少一个传感器包括摄像头、红外传感器、超声波传感器、激光传感器中的至少一种。
S43：利用所述至少一个传感器提供的位姿信息，校正所述移动设备的位姿信息。
为了提高位姿信息的准确性，移动设备在根据测量图像得到位姿信息后，结合上述传感器输出的位姿信息，对根据测量图像得到位姿信息进行校正，以采用校正后的位姿信息执行后续步骤。例如，当测量图像得到位姿信息与传感器输出的位姿信息之间存在的超过设定程度的差异时，将两种位姿信息进行加权平均后作为最终的移动设备的位姿信息。
S44：利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态。
其中，上述S44的具体说明请参阅上述S12的描述。
S45：当所述预测的移动状态不满足设定移动条件时，生成使所述移动设备满足设定移动条件的新控制指令，并依据所述新控制指令进行移动。
具体地，移动设备可采用设定控制律，并根据所述预测的移动状态和设定移动条件形成该新控制指令，例如，移动设备预先采用虚拟力场法、人工势场法等方法设计得到该设定控制律，在利用上述测量图像预测得到其移动状态时，将预设的移动状态和设定移动条件映射得到新控制指令。由此，可使得移动设备实际执行的移动依然满足该设定移动条件。
在一应用场景中，该移动设备为一无人机，该移动设备以飞行范围作为飞行赛道。该设定移动条件为移动设备保持在飞行范围内移动。移动设 备工作在外部操控模式中，例如该移动设备处于响应控制设备发送的控制指令进行移动。在工作过程中，移动设备对地面上的标定装置进行拍摄得到测量图像，并根据该测量图像得到移动设备的当前位姿信息，根据控制设备发送的待执行控制指令和获得的位姿信息，建立模型预测得到移动设备的飞行轨迹，获取该预测的飞行轨迹与飞行范围边缘的相对位置及速度。在确定上述相对位置及速度不满足设定移动条件时，移动设备利用设定控制律，将上述相对位置及速度信息以及设定移动条件内容映射得到新控制指令，移动设备不执行控制设备发送的待执行控制指令进行移动，而执行该新控制指令进行移动，以避免移动设备飞出该飞行范围。而且，本应用场景中，移动设备可以由控制设备主控制，自身进行辅助控制，实现无人机的共享控制，且避免了移动设备不符设定要求，其安全性可使控制设备的用户在有限空间(如上述设定范围)中获得深度移动操作体验。该应用场景实现在控制设备和自主移动控制的分享控制模式下的虚拟赛道(如设定范围)穿越。
本实施例中，上述约束移动设备的移动是通过直接控制移动设备实现的。但在其他实施例中，上述约束移动设备的移动可以通过控制该控制设备的操控，以由控制设备的受限操控实现约束移动设备的移动。例如，上述约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件可具体包括：向所述控制设备发送反馈指令，以约束所述控制设备的操控。其中，所述反馈指令可以包括移动设备预测的移动状态。所述约束后的操控形成的控制指令使所述移动设备实现满足设定移动条件的移动。由于控制设备的操控形成的控制指令仅可使所述移动设备对应执行的移动满足设定移动条件，故使得移动设备再接收到控制设备发送的控制指令并执行该控制指令产生的移动依然满足该设定移动条件。
具体地，上述对控制设备的操控约束可以包括控制设备响应所述反馈指令来控制用于指令输入的输入部件，以使用户通过所述输入部件输入的操作能实现使所述移动设备满足设定移动条件。进一步地，在所述输入部件通过用户对其移动实现所述操作信息的输入的实施例中，控制设备在检测到用户对所述输入部件进行使所述移动设备不满足设定移动条件的操作时，对所述输入部件产生与用户当前操作方向相反的阻力；或者根据所述 反馈指令确定所述输入部件的允许操作范围，以限制用户在所述允许操作范围内操作；或者不限制整体的操作范围，但是减小单位操作对应的移动设备的移动位移，由此实现控制设备的操控约束，而且也可提醒用户当前操作不当。
在另一应用场景中，该移动设备为一无人机，该移动设备以飞行范围作为飞行赛道。控制设备的输入部件为操作杆。该设定移动条件为移动设备保持在飞行范围内移动。移动设备工作在外部操控模式中，如上面列举的应用场景，移动设备获得预测的飞行轨迹与飞行范围边缘的相对位置及速度。在确定上述相对位置及速度不满足设定移动条件时，移动设备利用设定控制律，将上述相对位置及速度信息映射得到反馈指令，并将反馈指令发送给控制设备。控制设备根据该反馈指令，确定操作杆可使移动设备满足设定移动条件的操作(即移动设备执行操作杆进行该操作而形成的控制指令时，其对应进行的移动状态满足设定移动条件)，当检测到用户对操作杆进行的操作不属于上述确定的操作时，则控制该操作杆产生阻碍用户当前操作的阻力，以使用户无法执行当前操作，由此可保证移动设备根据后续接收到的控制指令执行的移动均满足设定移动条件。避免移动设备飞出该飞行范围。而且，本应用场景中，移动设备反向控制该控制设备，以约束控制设备仅可进行符合设定要求的操作，实现无人机的共享控制，且避免了移动设备不符设定要求，提高用户控制的移动设备移动安全性的同时，增强移动操作体验。
进一步地，在设定移动条件为移动设备保持在设定范围内移动的一实施例中，当所述预测的移动状态不满足设定移动条件时，即此时移动设备若执行待执行控制指令则会超出设定范围，此时，移动设备还可模拟移动设备与设定范围边缘的碰撞反弹数据，并在自身显示的地图或其他画面上按照该碰撞反弹数据显示所述移动设备与设定范围边缘的碰撞反弹场景，或者移动设备将碰撞反弹数据发送给控制设备，以在所述控制设备在自身显示的地图或其他画面上按照该碰撞反弹数据显示所述移动设备与与设定范围边缘的碰撞反弹场景。
请参阅图5，图5是本申请移动设备的控制方法再一实施例的流程示意图。本实施例中，该控制方法由控制设备执行，该控制设备可以为遥控设 备、体感操控设备等任何操控设备。该遥控设备例如为设置操作杆的手持遥控器，该体感操控设备为通过感应用户动作或语音实现对应操控的设备，例如为控制无人机飞行或拍摄的飞行眼镜。具体地，该控制方法包括以下步骤：
S51：控制设备根据用户在输入部件上输入的操作信息，生成并向所述移动设备发送待执行的控制指令。
例如，该控制设备为遥控设备，该输入部件为遥控设备上的操作杆。用户对操作杆进行操作，操作杆产生相应的操作信号，遥控设备根据该操作信号生成对应的待执行的控制指令，并将该控制指令发送给移动设备。
移动设备在接收到该待执行的控制指令时，执行上述实施例方法，以实现遥控设备与自身之间的共享控制，保证自身的移动符合要求。
S52：接收所述移动设备发送的反馈指令。
其中，所述反馈指令为所述移动设备根据其位姿信息和所述待执行的控制指令预测其移动状态并在所述预测的移动状态不满足设定移动条件时发送的。关于该反馈指令的描述可参阅上述实施例的相关说明。
S53：响应所述反馈指令来约束所述控制设备的操控，以使所述控制设备产生的控制指令使所述移动设备满足设定移动条件。
其中，控制设备可采用任意的约束方式，只需保证发送给移动设备的控制指令可使移动设备产生的移动状态满足设定移动条件即可。
在某些实施例中，可通过控制输入部件的操作来约束控制设备的操控。例如，所述响应所述反馈指令约束所述控制设备的操控包括：响应所述反馈指令来控制所述输入部件，以使用户通过所述输入部件输入的操作能实现使所述移动设备满足设定移动条件。
进一步地，在输入部件通过用户对其移动实现所述操作信息的输入的实施例中，如该输入部件为操作杆。所述响应所述反馈指令来控制所述输入部件包括：当检测到用户对所述输入部件进行使所述移动设备不满足设定移动条件的操作时，控制设备对所述输入部件产生与用户当前操作方向相反的阻力；或者，控制设备根据所述反馈指令确定所述输入部件的允许操作范围，以限制用户在所述允许操作范围内操作。其中，该允许操作范围为能移动设备执行对应控制指令产生的移动状态满足设定移动条件的操 作集合。
请参阅图6A，图6A是本申请标定装置一实施例的结构示意图。该标定装置600为本申请移动设备控制方法中使用的标定装置。本实施例中，该标定装置600包括载体装置610和设置在载体装置610上的至少两种尺寸类型的标定对象621和622，这里以至少两种尺寸类型的标定对象包括两种尺寸类型的标定对象来进行示意性说明，即至少两种尺寸类型的标定对象包括第一尺寸类型的标定对象和第二尺寸类型的标定对象。
具体地，载体装置610为一个或多个基板。其中，该基板例如为金属板，或者为纸板、塑料板等非金属板。标定对象621和622可采用刻蚀、涂覆、打印、显示等方式设置于基板上。载体装置610可以为重叠放置的多个基板，每个基板上分别设置一种或多种尺寸类型的标定对象621和622，如图6B所示，基板611设置第一尺寸类型的标定对象621，基板612设置第二尺寸类型的标定对象622；每个基板上的标定对象的位置不同，且除最底一个基板外的其余基板均设置为透明，由此使得该多个基板重叠放置形成载体装置610后，从载体装置610的前面可观察得到每个基板的标定对象621和622，如图6A所示。当然，在其他实施例中，该载体装置610也可以为显示屏或投影屏幕等任意可用于显示的设备，标定对象621和622可以显示在载体装置610上，例如通过控制设备或投影仪将标定对象621和622显示于该载体装置610上。故，本申请对载体装置610以及标定对象621和622设置在载体装置610上的方式不做具体限定。
另外，该标定装置还包括设在载体装置610上的图像，该图像作为标定对象621和622的背景图。其中，该图像为具有纹理的图像，如图7A所示；该图像也可为颜色不同于与标定对象621和622的纯色图，如图7B所示。对应地，当载体装置610为重叠放置的多个基板时，则该图像设置在最底一个基板上，以形成所有基板的标定对象621和622的背景图。
本实施例中，标定对象可以为随机分布的点状区域，简称为随机点，该标定对象可设置为圆形、正方形或椭圆形等任意形状。标定对象的尺寸类型至少有两种，每种尺寸类型的标定对象的数量均为多个。相比于现有标定装置的标定对象尺寸单一，本实施例标定装置配置有不同尺寸类型的标定对象，故即使当移动设备与标定装置之间的距离较大时，大尺寸的标 定对象仍能保证被检测到，当移动设备与标定装置之间的距离较小时，小尺寸的标定对象仍能保证一定数量的被检测到，进而可以在不同的场景下选中不同尺寸的标定对象确定移动设备的位姿信息，以保证定位的可靠性和鲁棒性。
为进一步避免移动设备的距离对确定其位姿信息的影响，载体装置610上的不同尺寸类型的标定对象621和622的密度也不同，例如，尺寸小的标定对象的密度大于尺寸大的标定对象的密度，如此，当移动设备与标定装置之间的距离较小时，由于小尺寸的标定对象的密度大，故可保证足够数量的小尺寸标定对象被检测到，进而实现对移动设备的位姿信息的确定。
进一步地，为提高在确定移动设备的位姿信息时对标定对象的准确检测，载体装置610上的至少一种尺寸类型的标定对象621和622设置有外环，且该外环与外环内部的颜色不同，例如外环为黑色，外环内部为白色；或者外环为白色，外环内部为黑色。由于外环与其内部的颜色不同，对比度较高，通过外环和其内部的颜色差异即可以在从图像中检测出该标定对象，故无论标定对象的背景图设置有何种内容，均不会影响对标定对象的检测，故降低了对标定对象的背景图的要求，提高检测的准确性和可靠性。其中，在标定对象的背景图的干扰较大的实施例中，可将外环与其内部颜色之间的灰度差值可设置为大于预设阈值，以提高外环与其内部之间的对比度。
另外，在载体装置610上，至少有一种尺寸类型的标定对象621和622中心部分的颜色不同于另一种尺寸类型的标定对象621和622中心部分的颜色，这样，可以通过标定对象中心部分的颜色就可以区分不同尺寸类型的标定对象。例如，参阅图7A，该载体装置610上设置两种尺寸类型的标定对象621和622，标定对象621和622均设有圆形外环，其中，标定对象621的中心部分也即外环内部为白色，其外环为黑色；标定对象622的中心部分也即外环内部为黑色，其外环为白色。又例如，参阅图7B，载体装置610上设置两种尺寸类型的标定对象621和622，标定对象621设有圆形外环且标定对象622不设外环，其中，标定对象621的中心部分也即外环内部为白色，其外环为黑色；标定对象622的中心部分也即外环内部为黑色。
请参阅图8，图8是本申请移动设备确定位姿信息的方法一实施例的流 程示意图。本实施例中，该方法由移动设备执行，该方法具体包括如下步骤：
S81：检测图像中的每一种尺寸类型的标定对象的图像对象。
具体地，在获取到对图像标定装置拍摄得到的图像之后，移动设备从图像中检测出标定对象的图像对象，并进一步确定每一个图像对象与尺寸类型的对应关系，以确定每一个图像对象具体为哪一种尺寸类型的标定对象的图像对象。其中，所述图像对象是被拍摄到的标定对象在图像中的图像区域。移动设备可以根据标定对象的特征从图像中检测出不同尺寸类型的标定对象的图像对象。
S82：从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象。
在从图像中检测出上述图像对象后，移动设备按照预设策略从检测到的图像对象中选中一种或者多种尺寸类型的标定对象的图像对象。该预设策略也可以为根据不同实际情况动态选择不同的一种或多种尺寸类型的标定对象的图像对象。
S83：根据所述选中的图像对象确定移动设备的位姿信息。
例如，移动设备在选中图像对象后，移动设备先从图像当中提取每个选中的图像对象的特征参数，并与预存的标定装置的标定对象的特征参数进行匹配，确定每个选中的图像对象的标定对象，再根据确定的标定对象，利用透视n点(perspective n points，PnP)算法等相关位姿求解算法确定得到移动设备的位姿信息。
可以理解的是，在实际应用中，可能存在上述S82中选中的图像对象无法实现上述信息确定的情况，此时，可重新执行S82以重新选择一种或者多种尺寸类型的标定对象的图像对象，且重新选择的图像对象至少部分尺寸类型不同于之前选择的图像对象的尺寸类型，移动设备可利用重新选择的图像对象再次确定移动设备的位姿信息，依次类推，直至能够确定得到移动设备的位姿信息。
请参阅图9，图9是本申请移动设备确定位姿信息的方法另一实施例中步骤S81的流程示意图。本实施例中，移动设备执行的图8所示步骤S81具体可包括以下子步骤：
S811：对所述图像进行二值化处理以获取二值化处理后的图像。
具体地，为了消除图像中的可能存在的干扰源(例如标定装置中具有纹理的图像)干扰对标定对象的检测，可对图像二值化处理进而利用处理后的图像检测得到标定对象的图像对象。其中，可以采用固定阈值将图像进行二值化，也可以采用动态阈值来对图像进行二值化。
S812：获取二值化处理后的图像中的轮廓图像对象。
例如，经上述S811处理后，二值化处理后的图像中会包括多个轮廓图像对象，其中，所述轮廓图像对象中包括标定装置中标定对象对应的轮廓对象图像，即标定对象的图像对象，在某些情况中，所述轮廓图像对象中包括干扰源对应的轮廓对象图像，即干扰源的图像对象。
S813：从所述轮廓图像对象中确定每一种尺寸类型的标定对象的图像对象。
移动设备需要从获取得到的轮廓图像对象中确定哪些轮廓对象是标定对象的图像对象。由于标定装置的标定对象均具有明确的特征，故其标定对象的图像对象理论上应满足对应标定对象的特征的要求。故移动设备可通过判断所述每一个轮廓图像对象对应的特征参数是否符合预设要求；并从特征参数符合预设要求的轮廓图像对象中确定每一种尺寸类型的标定对象的图像对象。
在某些实施例中，标定对象具有的明确的形状特征，故可根据轮廓图像对象的形状特征参数确定该轮廓图像对象是否为标定对象的图像对象。例如，移动设备确定每一个轮廓图像对象的形状特征参数，确定所述每一个轮廓图像对象对应的形状特征参数是否符合预设要求，从所述形状特征参数符合预设要求的轮廓图像对象中确定每一种尺寸类型的标定对象的图像对象。其中，形状特征参数可以包括圆度、面积、凸度等形状特征中的一种或多种，所述圆度是指轮廓图像对象的面积与其近似的圆的面积的比例。凸度是指轮廓图像对象的面积与其近似的多边形凸包的面积的比例。该预设要求可以包括轮廓图像对象的形状特征参数是否在预设阈值之内，若轮廓图像对象的形状特征参数在预设阈值之内则被确定为标定对象的图像对象。例如，预设要求为轮廓图像对象的圆度、面积、凸度中的至少两个均在规定阈值之内，移动设备将圆度、面积、凸度中的至少两个均在规 定阈值之内的轮廓图像对象确定为标定对象的图像对象，进而从确定为标定对象的图像对象中确定每一种尺寸类型的标定对象的图像对象。
具体地，移动设备可根据标定对象的图像对象的尺寸特征确定每个标定对象的图像对象对应的尺寸类型。例如，移动设备在将符合预设要求的轮廓图像对象确定为标定对象的图像对象后，将每个确定的图像对象的尺寸特征和预存的每种尺寸类型的标定对象的尺寸特征进行比对，将每个图像对象进一步确定为与其尺寸特征相同或相近的标定对象的图像对象。其中，尺寸特征可以为图像对象或标定对象的面积、周长、半径、边长等。
当标定装置中一种尺寸类型的标定对象中心部分的颜色不同于另一种尺寸类型的标定对象中心部分的颜色时，移动设备也可根据标定对象的图像对象内部的像素值确定每个标定对象的图像对象对应的尺寸类型。例如，移动设备在将符合预设要求的轮廓图像对象确定为标定对象的图像对象后，确定所述符合预设要求的轮廓图像对象内部的像素值；根据所述像素值和每一种尺寸类型的所述标定对象内部的像素值特征确定每一种尺寸类型的标定对象的图像对象。其中，移动设备可预存每一种尺寸类型的所述标定对象内部的像素值特征。例如，移动设备预存有标定装置中的第一种尺寸类型的标定对象内部的像素值特征为255，第二种尺寸类型的标定对象内部的像素值特征为0。对于符合预设要求的轮廓图像对象，移动设备进一步检测该轮廓图像对象内部像素值为0还是255，如果是0，则该轮廓图像对象为第二种尺寸类型的标定对象的图像对象；如果是255，则该轮廓图像对象为第一种尺寸类型的标定对象的图像对象。
请参阅图10，图10是本申请移动设备确定位姿信息的方法再一实施例的流程示意图。本实施例中，该方法由上述移动设备执行。该方法具体包括如下步骤：
S101：检测图像中的每一种尺寸类型的标定对象的图像对象。
其中，步骤S101的具体说明请对应参阅上述S81的相关描述。
S102：从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象。
具体地，如前所述，可以按照预设策略从检测到的图像对象中选中一种或者多种尺寸类型的标定对象的图像对象，在实际应用中可以通过如下 几种可行方式进行选择：
一种可行的方式：根据历史匹配的标定对象的尺寸类型从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象。
其中，所述历史匹配的标定对象的尺寸类型为对标定装置进行拍摄得到的历史图像中被选中的且能确定移动设备的位姿信息的标定对象的尺寸类型。本申请所述的历史图像为当前帧图像的前一帧或前几帧图像。所述能确定移动设备的位姿信息是指成功地确定得到移动设备的位姿信息。例如，移动设备对标定装置拍摄得到的前一帧图像进行如本申请定位方法的处理后，最终是根据前一帧图像中的第一尺寸类型的标定对象的图像对象成功地确定得到移动设备的位姿信息，即历史匹配的标定对象的尺寸类型为第一尺寸类型，则对于从当前帧图像检测到的图像对象，选中第一尺寸类型的标定对象的图像对象来确定移动设备的位姿信息。
另一种可行的方式：根据每一种尺寸类型的标定对象的图像对象的数目从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象。下面以标定装置包括第一尺寸类型的标定对象和第二尺寸类型的标定对象为例，其中，第一尺寸类型大于第二尺寸类型。移动设备确定所述检测到的第一尺寸类型的标定对象的图像对象的数目占检测到的图像对象总数的比例，当所述确定的比例大于或等于第一设定比值时，选中第一尺寸类型的标定对象的图像对象；当所述确定的比例小于第一设定比值且大于或等于第二设定比值时，选中第一尺寸类型和第二尺寸类型的标定对象的图像对象；当所述确定的比例小于第二设定比值时，选中第二尺寸类型的标定对象的图像对象。或者，移动设备分别获取第一尺寸类型的标定对象的图像对象的数目和第二尺寸类型的标定对象的图像对象的数目，并从中选择数目多的一种尺寸类型的标定对象的图像对象。
另一种可行的方式：根据历史距离信息从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象，其中，所述历史距离信息为根据对标定装置进行拍摄得到的历史图像确定的移动设备相对于所述标定装置的距离信息。下面继续标定装置包括第一尺寸类型的标定对象和第二尺寸类型的标定对象为例，其中，第一尺寸类型大于第二尺寸类型。移动设备获取根据标定装置拍摄得到的前一帧图像确定的移动设备相对于所 述标定装置的距离信息，当所述确定的距离信息大于或等于第一预设距离时，选中第一尺寸类型的标定对象的图像对象；当所述确定的距离信息小于第一预设距离且大于或等于第二预设距离时，选中第一尺寸类型和第二尺寸类型的标定对象的图像对象；当所述确定的距离信息小于第二预设距离时，选中第二尺寸类型的标定对象的图像对象。
可以理解的是，移动设备也综合根据上述两种以上的因素从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象，在此不做限定。
进一步地，在一些实施例中可能存在选中的图像对象无法确定移动设备的位姿信息的情况。针对这种情况，移动设备可重新选择一种或多种尺寸类型的标定对象的图像对象，以根据重新选择的图像对象重新尝试确定移动设备的位姿信息的情况，依次类推，直至最终根据选择的对象能够确定移动设备的位姿信息位置。其中，每次重新选择的图像对象的尺寸类型与之前每次选择的图像对象的尺寸类型应至少存有部分不同。另外，针对这种情况，移动设备可以获取拍摄装置对标定装置的下一帧图像，然后按照如前所述的方式从图像中选中一种或多种尺寸类型的标定对象的图像对象。
另一种可行的方式：确定所述检测到的图像对象的选中顺序，再按照所述选中顺序，从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象。具体地，为了减低选择次数，该选中顺序可根据上述历史匹配的标定对象的尺寸类型、每一种尺寸类型的标定对象的图像对象的数目、上述历史距离信息中的一种或多种确定。下面列举标定装置包括第一尺寸类型的标定对象和第二尺寸类型的标定对象的几个例子进行说明该可行方式：
第一例：移动设备在前一帧图像中若最终选中的第一尺寸类型的标定对象的图像对象，即历史匹配的标定对象的尺寸类型为第一尺寸类型，则选中顺序依序为：第一尺寸类型的标定对象的图像对象、第一尺寸类型和第二尺寸类型的标定对象的图像对象、第二尺寸类型的标定对象的图像对象。移动设备可以选中第一尺寸类型的标定对象的图像对象来确定所述移动设备的位姿信息。若根据第一尺寸类型的标定对象的图像对象成功地确 定所述移动设备的位姿信息，则可以根据位姿信息控制移动设备的移动。若不能成功地确定所述位置信息，则选中第一尺寸类型和第二尺寸类型的标定对象的图像对象来确定所述移动设备的位姿信息，依次类推，直至成功地所述移动设备的位姿信息。移动设备在前一帧图像中若最终选中的是第二尺寸类型的标定对象的图像对象，则选中顺序依序为：第二尺寸类型的标定对象的图像对象、第一尺寸类型和第二尺寸类型的标定对象的图像对象、第一尺寸类型的标定对象的图像对象。
移动设备在前一帧图像中若最终选中的是第一尺寸类型和第二尺寸类型的标定对象的图像对象，且检测到的对应第一尺寸类型的图像对象的比例大于预存的第一尺寸类型的标定对象在标定装置中的比例，则选中顺序依序为：第一尺寸类型和第二尺寸类型的标定对象的图像对象、第一尺寸类型的标定对象的图像对象、第二尺寸类型的标定对象的图像对象；移动设备在前一帧图像中若最终选中的是第一尺寸类型和第二尺寸类型的标定对象的图像对象，且检测到的对应第二尺寸类型的图像对象的比例大于预存的第二尺寸类型的标定对象在标定装置中的比例，则选中顺序依序为：第一尺寸类型和第二尺寸类型的标定对象的图像对象、第二尺寸类型的标定对象的图像对象、第一尺寸类型的标定对象的图像对象。
第二例：若第一尺寸类型的标定对象的图像对象的数目多于第二尺寸类型的标定对象的图像对象的数目，则移动设备确定选中顺序依序为：第一尺寸类型的标定对象的图像对象、第一尺寸类型和第二尺寸类型的标定对象的图像对象、第二尺寸类型的标定对象的图像对象。在确定选择顺序之后，移动设备如第一例所述按照该选择顺序选择图像对象以确定移动设备的位姿信息。
第三例：第一尺寸类型大于第二尺寸类型。移动设备获取根据标定装置拍摄得到的前一帧图像确定的移动设备相对于所述标定装置的距离信息，若该距离信息大于或等于第一预设距离，则移动设备确定选中顺序依序为：第一尺寸类型的标定对象的图像对象、第一尺寸类型和第二尺寸类型的标定对象的图像对象、第二尺寸类型的标定对象的图像对象。在确定选择顺序之后，移动设备如第一例所述按照该选择顺序选择图像对象以确定移动设备的位姿信息。
S103：确定与所述选中的图像对象中每一个图像对象对应的标定装置上的标定对象。
本实施例中，上述根据选中的图像对象确定移动设备的位姿信息具体包括S103和S104两个步骤。
具体地，移动设备可以将所述选中的图像对象与标定装置上的标定对象匹配起来，即确定被选中的每一个图像与标定装置上的标定对象之间的对应关系。
进一步地，移动设备可确定每一个选中的图像对象的位置特征参数，获取标定装置上的标定对象的位置特征参数，根据所述每一个选中的图像对象的位置特征参数和所述标定装置上的标定对象的位置特征参数来确定与所述选中的图像对象中每一个图像对象对应的标定装置上的标定对象。
其中，移动设备可以预存标定装置中标定对象的位置特征参数，所述位置特征参数可以表示某一个图像对象或者标定对象分别相对于其他一个或多个图像对象和标定对象的位置关系，具体地，该位置特征参数可以为特征向量，移动设备可根据所述确定的图像对象的特征参数与所述预存的标定对象在标定装置中的特征参数将选中的图像对象与标定装置中的标定对象进行匹配，得到与选中的图像对象匹配的标定对象。可选地，当图像对象的位置特征参数与预存的某一个标定对象在标定装置中的位置特征参数相同或者相近时，可以确定该图像对象与该标定对象是匹配的。
在某些实施例中，所述标定装置上的标定对象的位置特征参数可预存在移动设备的存储装置中。
在某些实施例中，上述标定装置上的标定对象的位置特征参数可通过哈希运算得到对应哈希值保存。对应地，移动设备在获得选中的图像对象的位置特征参数时，对该选中的图像对象的位置特征参数进行同样的哈希运算得到哈希值，当所述运算得到的哈希值和所述预存的哈希值相同时，可以确定对应的图像对象与对应的标定对象匹配。
S104：根据所述每一个图像对象在所述图像中的位置信息和所述与每一个图像对象对应的所述标定对象在所述标定装置上的位置信息，确定所述移动设备的位姿信息。
具体地，移动设备可利用PnP算法，实现上述根据图像对象在所述图 像中的位置信息和所述与图像对象对应的标定对象在标定装置上的位置信息确定移动设备的位姿信息。
在某些实施例中，其采用的标定装置为多个时，移动设备将所述选中的图像对象的位置特征参数与所述预存的每个标定装置中的标定对象的位置特征参数进行匹配，以确定所述选中的图像对象对应的标定对象所在的标定装置，进而在所述确定的标定装置上确定与所述选中的图像对象对应的标定对象。另外，移动设备先获取所述确定的标定装置的位置信息。具体如，以预存有其位置信息的一个标定装置作为参考标定装置，根据所述预存的参考标定装置的位置信息以及所述确定的标定装置与所述参考标定装置之间的相对位置，得到所述确定的标定装置的位置信息。在获取所述确定的标定装置的位置信息之后，移动设备可根据所述确定的标定装置的位置信息、图像对象在所述图像中的位置信息和所述与图像对象对应的标定对象在标定装置上的位置信息确定移动设备的位姿信息。
请参阅图11，图11是本申请移动设备一实施例的结构示意图。本实施例中，移动设备可以为无人机、无人车、移动机器人等可在外力的作用下移动或者依靠自身配置的动力系统移动的任意设备。
具体地，该移动设备110包括本体113以及设置在本体113上的处理器111、存储器112和拍摄装置114。存储器112和拍摄装置114分别与处理器111连接。
本体113用于响应所述处理器111的控制实现移动。具体地，该本体113上设置有移动装置，以带动本体实现移动。
拍摄装置114用于对设有若干标定对象的标定装置拍摄，得到测量图像。
存储器112可以包括只读存储器和随机存取存储器，并向处理器111提供指令和数据。存储器112的一部分还可以包括非易失性随机存取存储器。
上述处理器111可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者 其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器112用于存储程序指令。
处理器111，调用所述程序指令，当程序指令被执行时，用于：
获取对设有若干标定对象的标定装置拍摄得到的测量图像，利用所述测量图像获得所述移动设备的位姿信息；
利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态；以及
当所述预测的移动状态不满足设定移动条件时，约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件。
在一些实施例中，处理器111在约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件时，具体用于：生成使所述移动设备满足设定移动条件的新控制指令，并依据所述新控制指令进行移动。
进一步地，处理器111在生成使所述移动设备满足设定移动条件的新控制指令时，可具体用于：采用设定控制律，根据所述预测的移动状态和设定移动条件形成新控制指令。
在一些实施例中，处理器111在约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件时，具体用于：向所述控制设备发送反馈指令，以约束所述控制设备的操控，其中，所述约束后的操控形成的控制指令使所述移动设备实现满足设定移动条件的移动。
进一步地，所述控制设备可根据用户对输入部件的操作形成所述移动设备的控制指令；所述约束所述控制设备的操控可具体包括：当检测到用户对所述输入部件进行使所述移动设备不满足设定移动条件的操作时，对所述输入部件产生与用户当前操作方向相反的阻力；或者根据所述反馈指令确定所述输入部件的允许操作范围，以限制用户在所述允许操作范围内操作。
在一些实施例中，处理器111具体用于在多个时间点重复执行所述获取对设有若干标定对象的标定装置拍摄得到的测量图像，利用所述测量图像获得所述移动设备的位姿信息的步骤，以得到所述移动设备在所述多个时间点上的位姿信息；处理器111在利用所述位姿信息和待执行的控制指 令，预测所述移动设备的移动状态时，具体用于：利用所述多个时间点的位姿信息和待执行的控制指令，预测所述移动设备的移动状态。
在一些实施例中，处理器111在利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态时，具体用于：利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动轨迹；获取所述预测的移动轨迹上的所述移动设备的移动状态。
在一些实施例中，所述待执行的控制指令为控制设备发送的或所述移动设备自身生成的。
在一些实施例中，所述设定移动条件为所述移动设备保持在设定范围内移动。
进一步地，所述移动状态可包括所述移动设备的速度以及所述移动设备与所述设定范围的边缘位置间的相对位置。
进一步地，处理器111还可用于：接收用户设备发送的设定范围的信息；其中，所述设定范围的信息为所述用户设备根据用户对其显示的全局地图进行选择得到的，所述全局地图为所述用户设备利用所述图案工具的位置信息或全球定位系统GPS构造形成的。
进一步地，所述设定范围可以是由所述标定装置的设置位置确定的。
在一些实施例中，处理器111还用于：获取所述移动设备的至少一个传感器提供的位姿信息；利用所述至少一个传感器提供的位姿信息，校正所述移动设备的位姿信息。
进一步地，所述至少一个传感器包括摄像头、红外传感器、超声波传感器、激光传感器中的至少一种。
在一些实施例中，处理器111还用于：当所述预测的移动状态满足设定移动条件时，依据所述待执行的控制指令进行移动。
在一些实施例中，处理器111还用于：当所述预测的移动状态不满足设定移动条件时，模拟移动设备与设定范围边缘的碰撞反弹数据，并按照所述碰撞反弹数据显示所述移动设备与设定范围边缘的碰撞反弹场景，或者将所述碰撞反弹数据发送给控制设备，以在所述控制设备显示所述移动设备与设定范围边缘的碰撞反弹场景。
在一些实施例中，所述移动设备为无人机，所述移动状态为所述无人 机的飞行状态。
在一些实施例中，处理器111在利用所述测量图像获得所述移动设备的位姿信息时，具体用于：获取对标定装置进行拍摄得到的图像，其中，所述标定装置上配置有至少两种不同的尺寸类型的标定对象；检测图像中的每一种尺寸类型的标定对象的图像对象；从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象；根据所述选中的图像对象确定所述移动设备的位姿信息。
在一些实施例中，处理器111在检测图像中的中每一种尺寸类型的标定对象的图像对象时，具体用于：对所述图像进行二值化处理以获取二值化处理后的图像；获取二值化处理后的图像中的轮廓图像对象；从所述轮廓图像对象中确定每一种尺寸类型的标定对象的图像对象。
进一步地，处理器111从所述轮廓图像对象中确定每一种尺寸类型的标定对象的图像对象时，可具体用于：确定每一个轮廓图像对象的形状特征参数；确定所述每一个轮廓图像对象对应的形状特征参数是否符合预设要求；从所述形状特征参数符合预设要求的轮廓图像对象中确定为每一种尺寸类型的标定对象的图像对象。
进一步地，处理器111在从所述形状特征参数符合预设要求的轮廓图像对象中确定为每一种尺寸类型的标定对象的图像对象时，可具体用于：确定所述符合预设要求的轮廓图像对象内部的像素值；根据所述像素值和每一种尺寸类型的所述标定对象内部的像素值特征确定每一种尺寸类型的标定对象的图像对象。
在一些实施例中，处理器111在根据所述选中的图像对象确定所述移动设备的位姿信息时，具体用于：确定与所述选中的图像对象中每一个图像对象对应的标定装置上的标定对象；根据所述每一个图像对象在所述图像中的位置信息和所述与每一个图像对象对应的所述标定对象在所述标定装置上的位置信息，确定所述移动设备的位姿信息。
进一步地，处理器111在确定与所述选中的图像对象中每一个图像对象对应的标定装置上的标定对象时，可具体用于：确定每一个选中的图像对象的位置特征参数；根据所述每一个选中的图像对象的位置特征参数和预置的所述标定装置上的标定对象的位置特征参数来确定与所述选中的图 像对象中每一个图像对象对应的标定装置上的标定对象。
其中，所述标定装置上的标定对象的位置特征参数可预存在上述存储器112中或预存在移动设备的其他存储装置中。
在一些实施例中，处理器111在从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象时，具体用于：根据历史匹配的标定对象的尺寸类型从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象，其中，所述历史匹配的标定对象的尺寸类型为对标定装置进行拍摄得到的历史图像中被选中的且能确定移动设备的位姿信息的标定对象的尺寸类型。
在一些实施例中，处理器111在从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象时，具体用于：根据每一种尺寸类型的标定对象的图像对象的数目从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象。
在一些实施例中，处理器111在从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象时，具体用于：根据历史距离信息从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象，其中，所述历史距离信息为根据对标定装置进行拍摄得到的历史图像确定的移动设备与所述标定装置之间的距离信息。
在一些实施例中，处理器111在从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象时，具体用于：确定所述检测到的图像对象的选中顺序；按照所述选中顺序，从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象。
进一步地，处理器111在确定所述检测到的图像对象的选中顺序时，可具体用于：根据历史匹配的标定对象的尺寸类型、每一种尺寸类型的标定对象的图像对象的数目、历史距离信息中的一种或多种，确定所述检测到的图像对象的选中顺序；其中，所述历史匹配的标定对象的尺寸类型为对标定装置进行拍摄得到的历史图像中被选中的且能确定移动设备的位姿信息的标定对象的尺寸类型，所述历史距离信息为根据对标定装置进行拍摄得到的历史图像确定的移动设备与所述标定装置之间的距离信息。
在一些实施例中，所述移动设备还包括通信电路，所述通信电路用于 接收控制设备发送的控制指令。该通信电路具体可以为WIFI、蓝牙等可实现无线通信的电路，也可以为有线通信电路。
在一些实施例中，该移动设备具体为如图2所示的移动设备210。移动设备210还可包括承载装置212，其中，承载装置212用于承载拍摄装置211。在一些实施例中，所述移动设备210为无人机，拍摄装置211可以为无人机的主摄像头。承载装置212可以为两轴或三轴的云台。可选地，移动设备210还根据实际需求设置有视觉传感器、惯性测量装置等功能电路。
本实施例设备，可以用于执行本申请上述移动设备执行的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
请参阅图12，图12是本申请控制设备一实施例的结构示意图。本实施例中，控制设备可以为可以为遥控设备、体感操控设备等任何操控设备。具体地，该控制设备120包括输入部件123、处理器121和存储器122。存储器122和输入部件123分别与处理器121连接。
输入部件123用于输入用户的操作信息。具体如操作杆、键盘、显示屏等。
存储器122和处理器121的硬件结构可参阅上述存储器112和处理器111。
存储器112用于存储程序指令。
处理器121调用所述程序指令，当程序指令被执行时，用于：
根据用户在输入部件123上输入的操作信息，生成并向所述移动设备发送待执行的控制指令；
接收所述移动设备发送的反馈指令，其中，所述反馈指令为所述移动设备根据其位姿信息和所述待执行的控制指令预测其移动状态并在所述预测的移动状态不满足设定移动条件时发送的；
响应所述反馈指令来约束所述控制设备120的操控，以使所述控制设备产生的控制指令使所述移动设备满足设定移动条件。
在一些实施例中，处理器121在响应所述反馈指令约束所述控制设备的操控时，具体用于：响应所述反馈指令来控制所述输入部件123，以使用户通过所述输入部件123输入的操作能实现使所述移动设备满足设定移动条件。
进一步地，所述输入部件通过用户对其移动实现所述操作信息的输入；处理器121在响应所述反馈指令来控制所述输入部件时，具体用于：当检测到用户对所述输入部件123进行使所述移动设备不满足设定移动条件的操作时，对所述输入部件123产生与用户当前操作方向相反的阻力；或者根据所述反馈指令确定所述输入部件123的允许操作范围，以限制用户在所述允许操作范围内操作。
本实施例设备，可以用于执行本申请上述控制设备执行的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
请参阅图13，图13是本申请存储装置一实施例的结构示意图。本实施例中，该存储装置130存储有程序指令131，当所述程序指令131在处理器上运行时，执行本申请上述方法实施例的技术方案。
该存储装置130具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机指令的介质，或者也可以为存储有该程序机指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。
上述方案，通过检测对图像标定装置拍摄得到的图像，以得到标定对象的图像对象，并将检测得到的图像对象与图像标定装置中的标定对象进行匹配，由于图像存在水波纹或不存在水波纹，其图像中的图像对象与对应匹配的标定对象之间的位置关系存在差别，故可根据图像对象在图像中的位置以及对应匹配的标定对象在图像标定装置的位置确定图像中是否存在水波纹，实现了对图像水波纹的智能检测，无需手工检测，进而可提高其检测效率，而且相比于手工检测，智能检测方式可减少出现误检或漏检的情况，故可提高检测准确性，且降低耗时。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的 间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序指令的介质。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (64)

  1. 一种移动设备的控制方法，其特征在于，包括：
    获取对设有若干标定对象的标定装置拍摄得到的测量图像，利用所述测量图像获得所述移动设备的位姿信息；
    利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态；以及
    当所述预测的移动状态不满足设定移动条件时，约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件。
  2. 根据权利要求1所述的方法，其特征在于，所述约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件，包括：
    生成使所述移动设备满足设定移动条件的新控制指令，并依据所述新控制指令进行移动。
  3. 根据权利要求2所述的方法，其特征在于，所述生成使所述移动设备满足设定移动条件的新控制指令，包括：
    采用设定控制律，根据所述预测的移动状态和设定移动条件形成新控制指令。
  4. 根据权利要求1所述的方法，其特征在于，所述约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件，包括：
    向所述控制设备发送反馈指令，以约束所述控制设备的操控，其中，所述约束后的操控形成的控制指令使所述移动设备实现满足设定移动条件的移动。
  5. 根据权利要求4所述的方法，其特征在于，所述控制设备根据用户对输入部件的操作形成所述移动设备的控制指令；
    所述约束所述控制设备的操控具体包括：当检测到用户对所述输入部件进行使所述移动设备不满足设定移动条件的操作时，对所述输入部件产生与用户当前操作方向相反的阻力；或者根据所述反馈指令确定所述输入部件的允许操作范围，以限制用户在所述允许操作范围内操作。
  6. 根据权利要求1所述的方法，其特征在于，所述移动设备在多个时间点重复执行所述获取对设有若干标定对象的标定装置拍摄得到的测量图 像，利用所述测量图像获得所述移动设备的位姿信息的步骤，以得到所述移动设备在所述多个时间点上的位姿信息；
    所述利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态，包括：
    利用所述多个时间点的位姿信息和待执行的控制指令，预测所述移动设备的移动状态。
  7. 根据权利要求1所述的方法，其特征在于，所述利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态，包括：
    利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动轨迹；
    获取所述预测的移动轨迹上的所述移动设备的移动状态。
  8. 根据权利要求1所述的方法，其特征在于，所述待执行的控制指令为控制设备发送的或所述移动设备自身生成的。
  9. 根据权利要求1所述的方法，其特征在于，所述设定移动条件为所述移动设备保持在设定范围内移动。
  10. 根据权利要求9所述的方法，其特征在于，所述移动状态包括所述移动设备的速度以及所述移动设备与所述设定范围的边缘位置间的相对位置。
  11. 根据权利要求9所述的方法，其特征在于，在所述对设有若干随机点的图案工具拍摄得到测量图像之前，所述方法还包括：
    接收用户设备发送的所述设定范围的信息；其中，所述设定范围的信息为所述用户设备根据用户对其显示的全局地图进行选择得到的，所述全局地图为所述用户设备利用所述图案工具的位置信息或全球定位系统GPS构造形成的。
  12. 根据权利要求9所述的方法，其特征在于，所述设定范围是由所述标定装置的设置位置确定的。
  13. 根据权利要求9所述的方法，其特征在于，所述方法还包括：
    当所述预测的移动状态不满足设定移动条件时，模拟移动设备与设定范围边缘的碰撞反弹数据，并按照所述碰撞反弹数据显示所述移动设备与所述设定范围边缘的碰撞反弹场景，或者将所述碰撞反弹数据发送给控制 设备，以在所述控制设备显示所述移动设备与设定范围边缘的碰撞反弹场景。
  14. 根据权利要求1所述的方法，其特征在于，在所述利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态之前，所述方法还包括：
    获取所述移动设备的至少一个传感器提供的位姿信息；
    利用所述至少一个传感器提供的位姿信息，校正所述移动设备的位姿信息。
  15. 根据权利要求1所述的方法，其特征在于，所述至少一个传感器包括摄像头、红外传感器、超声波传感器、激光传感器中的至少一种。
  16. 根据权利要求1所述的方法，其特征在于，还包括：
    当所述预测的移动状态满足设定移动条件时，依据所述待执行的控制指令进行移动。
  17. 根据权利要求1所述的方法，其特征在于，所述移动设备为无人机，所述移动状态为所述无人机的飞行状态。
  18. 根据权利要求1所述的方法，其特征在于，所述标定装置上配置有至少两种不同的尺寸类型的标定对象；
    所述利用所述测量图像获得所述移动设备的位姿信息包括：
    获取对标定装置进行拍摄得到的图像；
    检测图像中的每一种尺寸类型的标定对象的图像对象；
    从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象；
    根据所述选中的图像对象确定所述移动设备的位姿信息。
  19. 根据权利要求18所述的方法，其特征在于，
    所述从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象包括：
    根据历史匹配的标定对象的尺寸类型从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象，其中，所述历史匹配的标定对象的尺寸类型为对标定装置进行拍摄得到的历史图像中被选中的且能确定移动设备的位姿信息的标定对象的尺寸类型。
  20. 根据权利要求19所述的方法，其特征在于，
    所述确定与所述选中的图像对象中每一个图像对象对应的标定装置上的标定对象包括：
    确定每一个选中的图像对象的位置特征参数；
    根据所述每一个选中的图像对象的位置特征参数和所述标定装置上的标定对象的位置特征参数来确定与所述选中的图像对象中每一个图像对象对应的标定装置上的标定对象。
  21. 根据权利要求20所述的方法，其特征在于，
    所述标定装置上的标定对象的位置特征参数预存在移动设备的存储装置中。
  22. 根据权利要求18所述的方法，其特征在于，
    所述从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象包括：
    根据每一种尺寸类型的标定对象的图像对象的数目从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象。
  23. 根据权利要求18所述的方法，其特征在于，
    所述从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象包括：
    根据历史距离信息从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象，其中，所述历史距离信息为根据对标定装置进行拍摄得到的历史图像确定的移动设备与所述标定装置之间的距离信息。
  24. 根据权利要求18所述的方法，其特征在于，
    所述从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象包括：
    确定所述检测到的图像对象的选中顺序；
    按照所述选中顺序，从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象。
  25. 根据权利要求24所述的方法，其特征在于，
    所述确定所述检测到的图像对象的选中顺序包括：
    根据历史匹配的标定对象的尺寸类型、每一种尺寸类型的标定对象的 图像对象的数目、历史距离信息中的一种或多种，确定所述检测到的图像对象的选中顺序；其中，所述历史匹配的标定对象的尺寸类型为对标定装置进行拍摄得到的历史图像中被选中的且能确定移动设备的位姿信息的标定对象的尺寸类型，所述历史距离信息为根据对标定装置进行拍摄得到的历史图像确定的移动设备与所述标定装置之间的距离信息。
  26. 一种移动设备的控制方法，其特征在于，包括：
    控制设备根据用户在输入部件上输入的操作信息，生成并向所述移动设备发送待执行的控制指令；
    接收所述移动设备发送的反馈指令，其中，所述反馈指令为所述移动设备根据其位姿信息和所述待执行的控制指令预测其移动状态并在所述预测的移动状态不满足设定移动条件时发送的；
    响应所述反馈指令来约束所述控制设备的操控，以使所述控制设备产生的控制指令使所述移动设备满足设定移动条件。
  27. 根据权利要求26所述的方法，其特征在于，所述响应所述反馈指令约束所述控制设备的操控，包括：
    响应所述反馈指令来控制所述输入部件，以使用户通过所述输入部件输入的操作能实现使所述移动设备满足设定移动条件。
  28. 根据权利要求27所述的方法，其特征在于，所述输入部件通过用户对其移动实现所述操作信息的输入；
    所述响应所述反馈指令来控制所述输入部件，包括：
    当检测到用户对所述输入部件进行使所述移动设备不满足设定移动条件的操作时，对所述输入部件产生与用户当前操作方向相反的阻力。
  29. 根据权利要求27所述的方法，其特征在于，所述输入部件通过用户对其移动实现所述操作信息的输入；
    所述响应所述反馈指令来控制所述输入部件，包括：
    根据所述反馈指令确定所述输入部件的允许操作范围，以限制用户在所述允许操作范围内操作。
  30. 一种移动设备，其特征在于，包括本体以及设置在所述本体上的拍摄装置、存储器和处理器，其中，
    所述本体用于响应所述处理器的控制实现移动；
    所述拍摄装置用于对设有若干标定对象的标定装置拍摄，得到测量图像；
    所述处理器运行程序指令，用于：
    获取对设有若干标定对象的标定装置拍摄得到的测量图像，利用所述测量图像获得所述移动设备的位姿信息；
    利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态；以及
    当所述预测的移动状态不满足设定移动条件时，约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件。
  31. 根据权利要求30所述的设备，其特征在于，所述处理器在约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件时，具体用于：
    生成使所述移动设备满足设定移动条件的新控制指令，并依据所述新控制指令进行移动。
  32. 根据权利要求31所述的设备，其特征在于，所述处理器在生成使所述移动设备满足设定移动条件的新控制指令时，具体用于：采用设定控制律，根据所述预测的移动状态和设定移动条件形成新控制指令。
  33. 根据权利要求30所述的设备，其特征在于，所述处理器在约束所述移动设备的移动，以使约束后的移动状态满足设定移动条件时，具体用于：
    向所述控制设备发送反馈指令，以约束所述控制设备的操控，其中，所述约束后的操控形成的控制指令使所述移动设备实现满足设定移动条件的移动。
  34. 根据权利要求33所述的设备，其特征在于，所述控制设备根据用户对输入部件的操作形成所述移动设备的控制指令；所述约束所述控制设备的操控具体包括：当检测到用户对所述输入部件进行使所述移动设备不满足设定移动条件的操作时，对所述输入部件产生与用户当前操作方向相反的阻力；或者根据所述反馈指令确定所述输入部件的允许操作范围，以限制用户在所述允许操作范围内操作。
  35. 根据权利要求30所述的设备，其特征在于，所述处理器具体用于 在多个时间点重复执行所述获取对设有若干标定对象的标定装置拍摄得到的测量图像，利用所述测量图像获得所述移动设备的位姿信息的步骤，以得到所述移动设备在所述多个时间点上的位姿信息；
    所述处理器在利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态时，具体用于：利用所述多个时间点的位姿信息和待执行的控制指令，预测所述移动设备的移动状态。
  36. 根据权利要求30所述的设备，其特征在于，所述处理器在利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动状态时，具体用于：
    利用所述位姿信息和待执行的控制指令，预测所述移动设备的移动轨迹；
    获取所述预测的移动轨迹上的所述移动设备的移动状态。
  37. 根据权利要求30所述的设备，其特征在于，所述待执行的控制指令为控制设备发送的或所述移动设备自身生成的。
  38. 根据权利要求30所述的设备，其特征在于，所述设定移动条件为所述移动设备保持在设定范围内移动。
  39. 根据权利要求38所述的设备，其特征在于，所述移动状态包括所述移动设备的速度以及所述移动设备与所述设定范围的边缘位置间的相对位置。
  40. 根据权利要求38所述的设备，其特征在于，所述处理器还用于：
    接收用户设备发送的设定范围的信息；其中，所述设定范围的信息为所述用户设备根据用户对其显示的全局地图进行选择得到的，所述全局地图为所述用户设备利用所述图案工具的位置信息或全球定位系统GPS构造形成的。
  41. 根据权利要求38所述的设备，其特征在于，所述设定范围是由所述标定装置的设置位置确定的。
  42. 根据权利要求38所述的设备，其特征在于，所述处理器还用于：
    当所述预测的移动状态不满足设定移动条件时，模拟移动设备与设定范围边缘的碰撞反弹数据，并按照所述碰撞反弹数据显示所述移动设备与设定范围边缘的碰撞反弹场景，或者将所述碰撞反弹数据发送给控制设备， 以在所述控制设备显示所述移动设备与设定范围边缘的碰撞反弹场景。
  43. 根据权利要求30所述的设备，其特征在于，所述处理器还用于：
    获取所述移动设备的至少一个传感器提供的位姿信息；
    利用所述至少一个传感器提供的位姿信息，校正所述移动设备的位姿信息。
  44. 根据权利要求43所述的设备，其特征在于，所述至少一个传感器包括摄像头、红外传感器、超声波传感器、激光传感器中的至少一种。
  45. 根据权利要求30所述的设备，其特征在于，所述处理器还用于：当所述预测的移动状态满足设定移动条件时，依据所述待执行的控制指令进行移动。
  46. 根据权利要求30所述的设备，其特征在于，所述移动设备为无人机，所述移动状态为所述无人机的飞行状态。
  47. 根据权利要求30所述的设备，其特征在于，所述处理器在利用所述测量图像获得所述移动设备的位姿信息时，具体用于：
    获取对标定装置进行拍摄得到的图像，其中，所述标定装置上配置有至少两种不同的尺寸类型的标定对象；
    检测图像中的每一种尺寸类型的标定对象的图像对象；
    从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象；
    根据所述选中的图像对象确定所述移动设备的位姿信息。
  48. 根据权利要求47所述的设备，其特征在于，所述处理器在根据所述选中的图像对象确定所述移动设备的位姿信息时，具体用于：
    确定与所述选中的图像对象中每一个图像对象对应的标定装置上的标定对象；
    根据所述每一个图像对象在所述图像中的位置信息和所述与每一个图像对象对应的所述标定对象在所述标定装置上的位置信息，确定所述移动设备的位姿信息。
  49. 根据权利要求47所述的设备，其特征在于，所述处理器在确定与所述选中的图像对象中每一个图像对象对应的标定装置上的标定对象时，具体用于：
    确定每一个选中的图像对象的位置特征参数；
    根据所述每一个选中的图像对象的位置特征参数和所述标定装置上的标定对象的位置特征参数来确定与所述选中的图像对象中每一个图像对象对应的标定装置上的标定对象。
  50. 根据权利要求49所述的设备，其特征在于，
    所述标定装置上的标定对象的位置特征参数预存在移动设备的存储装置中。
  51. 根据权利要求47所述的设备，其特征在于，所述处理器在从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象时，具体用于：
    根据历史匹配的标定对象的尺寸类型从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象，其中，所述历史匹配的标定对象的尺寸类型为对标定装置进行拍摄得到的历史图像中被选中的且能确定移动设备的位姿信息的标定对象的尺寸类型。
  52. 根据权利要求47所述的设备，其特征在于，所述处理器在从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象时，具体用于：
    根据每一种尺寸类型的标定对象的图像对象的数目从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象。
  53. 根据权利要求47所述的设备，其特征在于，所述处理器在从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象时，具体用于：
    根据历史距离信息从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象，其中，所述历史距离信息为根据对标定装置进行拍摄得到的历史图像确定的移动设备与所述标定装置之间的距离信息。
  54. 根据权利要求47所述的设备，其特征在于，所述处理器在从所述检测到的图像对象中选中一种或多种尺寸类型的标定对象的图像对象时，具体用于：
    确定所述检测到的图像对象的选中顺序；
    按照所述选中顺序，从所述检测到的图像对象中选中一种或多种尺寸 类型的标定对象的图像对象。
  55. 根据权利要求54所述的设备，其特征在于，所述处理器在确定所述检测到的图像对象的选中顺序时，可具体用于：
    根据历史匹配的标定对象的尺寸类型、每一种尺寸类型的标定对象的图像对象的数目、历史距离信息中的一种或多种，确定所述检测到的图像对象的选中顺序；其中，所述历史匹配的标定对象的尺寸类型为对标定装置进行拍摄得到的历史图像中被选中的且能确定移动设备的位姿信息的标定对象的尺寸类型，所述历史距离信息为根据对标定装置进行拍摄得到的历史图像确定的移动设备与所述标定装置之间的距离信息。
  56. 根据权利要求30所述的移动设备，其特征在于，所述移动设备还包括通信电路，所述通信电路用于接收控制设备发送的控制指令。
  57. 一种控制设备，其特征在于，包括输入部件、存储器和处理器，其中，
    所述输入部件用于输入用户的操作信息；
    所述处理器运行程序指令，用于：
    控制设备根据用户在输入部件上输入的操作信息，生成并向所述移动设备发送待执行的控制指令；
    接收所述移动设备发送的反馈指令，其中，所述反馈指令为所述移动设备根据其位姿信息和所述待执行的控制指令预测其移动状态并在所述预测的移动状态不满足设定移动条件时发送的；
    响应所述反馈指令来约束所述控制设备的操控，以使所述控制设备产生的控制指令使所述移动设备满足设定移动条件。
  58. 根据权利要求57所述的控制设备，其特征在于，所述处理器在响应所述反馈指令约束所述控制设备的操控时，具体用于：
    响应所述反馈指令来控制所述输入部件，以使用户通过所述输入部件输入的操作能实现使所述移动设备满足设定移动条件。
  59. 根据权利要求58所述的控制设备，其特征在于，所述输入部件通过用户对其移动实现所述操作信息的输入；
    所述处理器在响应所述反馈指令来控制所述输入部件时，具体用于：
    当检测到用户对所述输入部件进行使所述移动设备不满足设定移动条 件的操作时，对所述输入部件产生与用户当前操作方向相反的阻力。
  60. 根据权利要求58所述的控制设备，其特征在于，所述输入部件通过用户对其移动实现所述操作信息的输入；
    所述处理器在响应所述反馈指令来控制所述输入部件时，具体用于：
    根据所述反馈指令确定所述输入部件的允许操作范围，以限制用户在所述允许操作范围内操作。
  61. 根据权利要求57所述的控制设备，其特征在于，所述控制设备还包括通信电路，所述通信电路用于向移动设备发送控制指令。
  62. 根据权利要求57所述的设备，其特征在于，所述控制设备为遥控设备或体感操控设备。
  63. 一种存储装置，其特征在于，所述存储装置存储有程序指令，当所述程序指令在处理器上运行时，执行如权利要求1至25任一项所述的控制方法。
  64. 一种存储装置，其特征在于，所述存储装置存储有程序指令，当所述程序指令在处理器上运行时，执行如权利要求26至29任一项所述的控制方法。
PCT/CN2018/077661 2018-02-28 2018-02-28 移动设备的控制方法、设备和存储装置 WO2019165613A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/CN2018/077661 WO2019165613A1 (zh) 2018-02-28 2018-02-28 移动设备的控制方法、设备和存储装置
CN201880030092.4A CN110603503A (zh) 2018-02-28 2018-02-28 移动设备的控制方法、设备和存储装置
US16/997,315 US20200380727A1 (en) 2018-02-28 2020-08-19 Control method and device for mobile device, and storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/077661 WO2019165613A1 (zh) 2018-02-28 2018-02-28 移动设备的控制方法、设备和存储装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/997,315 Continuation US20200380727A1 (en) 2018-02-28 2020-08-19 Control method and device for mobile device, and storage device

Publications (1)

Publication Number Publication Date
WO2019165613A1 true WO2019165613A1 (zh) 2019-09-06

Family

ID=67804802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/077661 WO2019165613A1 (zh) 2018-02-28 2018-02-28 移动设备的控制方法、设备和存储装置

Country Status (3)

Country Link
US (1) US20200380727A1 (zh)
CN (1) CN110603503A (zh)
WO (1) WO2019165613A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111971529A (zh) * 2018-09-03 2020-11-20 Abb瑞士股份有限公司 用于管理机器人系统的方法和装置
US11543819B2 (en) * 2019-02-25 2023-01-03 Textron Innovations Inc. Remote control unit having active feedback
CN115862391B (zh) * 2022-11-22 2023-08-29 东南大学 一种面向智能网联环境的机场场道车机跟驰安全评判方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105575188A (zh) * 2016-03-07 2016-05-11 丁元沅 无人机安全运营的机载自主监视及报警系统和方法
US20160275801A1 (en) * 2013-12-19 2016-09-22 USA as Represented by the Administrator of the National Aeronautics & Space Administration (NASA) Unmanned Aerial Systems Traffic Management
CN106406189A (zh) * 2016-11-28 2017-02-15 中国农业大学 一种无人机植保作业的电子围栏监控方法
CN106444846A (zh) * 2016-08-19 2017-02-22 杭州零智科技有限公司 移动终端的定位和控制方法、装置及无人机
CN107305374A (zh) * 2016-04-22 2017-10-31 优利科技有限公司 无人机航拍系统
CN206968999U (zh) * 2017-07-14 2018-02-06 广东工业大学 一种无人机及视觉定标的系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107314771B (zh) * 2017-07-04 2020-04-21 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法
CN107516437A (zh) * 2017-07-12 2017-12-26 哈尔滨理工大学 无人机空中运行安全管控系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160275801A1 (en) * 2013-12-19 2016-09-22 USA as Represented by the Administrator of the National Aeronautics & Space Administration (NASA) Unmanned Aerial Systems Traffic Management
CN105575188A (zh) * 2016-03-07 2016-05-11 丁元沅 无人机安全运营的机载自主监视及报警系统和方法
CN107305374A (zh) * 2016-04-22 2017-10-31 优利科技有限公司 无人机航拍系统
CN106444846A (zh) * 2016-08-19 2017-02-22 杭州零智科技有限公司 移动终端的定位和控制方法、装置及无人机
CN106406189A (zh) * 2016-11-28 2017-02-15 中国农业大学 一种无人机植保作业的电子围栏监控方法
CN206968999U (zh) * 2017-07-14 2018-02-06 广东工业大学 一种无人机及视觉定标的系统

Also Published As

Publication number Publication date
CN110603503A (zh) 2019-12-20
US20200380727A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
US11289192B2 (en) Interfacing with a mobile telepresence robot
CN107836012B (zh) 投影图像生成方法及其装置、图像像素与深度值之间的映射方法
CN108885459B (zh) 导航方法、导航系统、移动控制系统及移动机器人
TWI558525B (zh) 機器人及其控制方法
US20200380727A1 (en) Control method and device for mobile device, and storage device
EP3813014B1 (en) Camera localization method, terminal and storage medium
JP2021522564A (ja) 非制約環境において人間の視線及びジェスチャを検出するシステムと方法
CN109668545B (zh) 用于头戴式显示装置的定位方法、定位器以及定位系统
WO2019001237A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
WO2019051832A1 (zh) 可移动物体控制方法、设备及系统
WO2023173950A1 (zh) 障碍物检测方法、移动机器人及机器可读存储介质
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
US10509513B2 (en) Systems and methods for user input device tracking in a spatial operating environment
US20220237875A1 (en) Methods and apparatus for adaptive augmented reality anchor generation
JP2020013242A (ja) ロボット制御システム、ロボット装置およびプログラム
US20230224576A1 (en) System for generating a three-dimensional scene of a physical environment
JP2021035002A (ja) 画像特定システムおよび画像特定方法
KR102565444B1 (ko) 객체를 식별하기 위한 장치 및 방법
US20150153715A1 (en) Rapidly programmable locations in space
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质
EP4163675A1 (en) Illuminating an environment for localisation
TWI768724B (zh) 立體空間中定位方法與定位系統
KR102483388B1 (ko) 전방위 이미지 처리 방법 및 이를 수행하는 서버
KR102453834B1 (ko) 다수의 열화상 및 영상 카메라의 출력 정보를 심층신경망 모델의 입력데이터로 구조화하기 위한 방법
EP3904995A1 (en) Localization device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18907784

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18907784

Country of ref document: EP

Kind code of ref document: A1