WO2019015385A1 - 一种异常恢复方法及电子设备、存储介质 - Google Patents
一种异常恢复方法及电子设备、存储介质 Download PDFInfo
- Publication number
- WO2019015385A1 WO2019015385A1 PCT/CN2018/087489 CN2018087489W WO2019015385A1 WO 2019015385 A1 WO2019015385 A1 WO 2019015385A1 CN 2018087489 W CN2018087489 W CN 2018087489W WO 2019015385 A1 WO2019015385 A1 WO 2019015385A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- electronic device
- motion
- obstacle
- information
- sensor
- Prior art date
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000005856 abnormality Effects 0.000 title claims abstract description 24
- 230000007613 environmental effect Effects 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 239000000306 component Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000238876 Acari Species 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000008358 core component Substances 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
- Manipulator (AREA)
Abstract
一种异常恢复方法及电子设备，该电子设备上设置有第一类传感器（401）和第二类传感器（402）；该第一类传感器（401）用于检测该电子设备在运动过程中的运动数据，该第二类传感器（402）用于检测该电子设备在运动过程中的环境数据；当检测到该电子设备发生碰撞时，根据该运动数据对该电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息和障碍物的特征信息；控制该电子设备移动至第一位置处；根据该环境数据对该第一位置处的该电子设备在该目标时刻的实际位置进行第二次定位，得到第二位置信息；控制该电子设备移动至第二位置处，而后基于该障碍物的特征信息控制该电子设备的运动。
Description
相关申请的交叉引用
本公开基于申请号为201710580689.3、申请日为2017年07月17日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
本公开涉及机器人领域中的异常恢复技术，尤其涉及一种异常恢复方法及电子设备、存储介质。
在运动机器人的跟踪/导航中，当环境不是静态环境的时候(如室外环境包含行人，室内环境包含人和宠物等)，机器人会遭遇不可预知的意外碰撞，如人/宠物从后/侧面推/绊了一下机器人。此外，尽管视觉避障已经相对成熟，但是在实际应用过程中，会因为一些视觉避障固有缺陷(视野盲区，以及小概率的障碍物漏检)导致机器人遭遇障碍，从而丢失跟踪目标或者导航线路。
绝大多数的机器人都是尽量防止碰撞，是因为碰撞之后很难恢复之前的运动状态或者功能状态。但是在真实的应用中，障碍物碰撞是在所难免的，对于一个智能的机器人来说，自动从碰撞之后的异常状态中恢复出来并且继续跟踪/导航是亟待解决的问题。
发明内容
为解决上述技术问题，本公开实施例提供了一种异常恢复方法及电子 设备、存储介质。
本公开实施例提供的异常恢复方法应用于电子设备，所述电子设备上设置有第一类传感器和第二类传感器；其中，所述第一类传感器用于检测所述电子设备在运动过程中的运动数据，所述第二类传感器用于检测所述电子设备在运动过程中的环境数据；所述方法包括：
当检测到所述电子设备发生碰撞时，根据所述运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息和障碍物的特征信息；
控制所述电子设备移动至所述第一位置信息对应的第一位置处；
根据所述环境数据对所述第一位置处的所述电子设备在所述目标时刻的实际位置进行第二次定位，得到第二位置信息；
控制所述电子设备移动至所述第二位置信息对应的第二位置处，而后基于所述障碍物的特征信息控制所述电子设备的运动。
本公开实施例中，所述电子设备上设置有一个所述第一类传感器，或者所述电子设备在不同的部位上设置有多个所述第一类传感器，其中，所述第一类传感器包括以下至少之一：惯性测量单元(IMU，Inertial Measurement Unit)、角度传感器、车轮转速传感器；
所述方法还包括：
通过设置在所述电子设备上的各个第一类传感器分别检测所述电子设备在运动过程中的运动数据。
本公开实施例中，所述根据所述运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息，包括：
根据各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述电子设备的立体运动轨迹；
基于所述电子设备的立体运动轨迹，对所述电子设备在发生碰撞前的 目标时刻的实际位置进行第一次定位，以获取第一位置信息。
本公开实施例中，所述根据各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述电子设备的立体运动轨迹，包括：
针对各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述第一类传感器对应的运动轨迹，其中，多个第一类传感器的运动轨迹形成一组运动轨迹；
对所述一组运动轨迹进行滤波处理，得到所述电子设备的立体运动轨迹。
本公开实施例中，所述障碍物的特征信息包括以下至少之一：位置信息、属性信息；
所述根据所述运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取障碍物的特征信息，包括：
根据所述电子设备的立体运动轨迹，确定出所述障碍物的位置信息；
根据所述运动数据获取所述电子设备的动量信息，并根据所述立体运动轨迹和所述动量信息确定所述障碍物的属性信息。
本公开实施例中，所述根据所述立体运动轨迹和所述动量信息确定所述障碍物的属性信息，包括：
对具有不同属性信息的障碍物样本进行碰撞训练，得到各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息；
根据所述各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息，以及当前电子设备的立体运动轨迹以及所述电子设备在运动过程中的动量信息，确定障碍物的属性信息。
本公开实施例中，所述电子设备上设置有一个或多个所述第二类传感器，其中，所述第二类传感器包括以下至少之一：红外传感器、雷达传感 器、视觉传感器。
本公开实施例中，所述电子设备具有避障系统；
所述基于所述障碍物的特征信息控制所述电子设备的运动，包括：
基于所述障碍物的特征信息，判断是否将所述障碍物的特征信息添加至所述避障系统中；
如果将所述障碍物的特征信息添加至所述避障系统中，则利用所述避障系统修正运动路径，并基于修正后的运动路径控制所述电子设备运动。
本公开实施例提供的电子设备包括：
第一类传感器，配置为检测所述电子设备在运动过程中的运动数据；
第二类传感器，配置为检测所述电子设备在运动过程中的环境数据；
处理器，配置为当检测到所述电子设备发生碰撞时，根据所述运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息和障碍物的特征信息；
控制器，配置为控制所述电子设备移动至所述第一位置信息对应的第一位置处；
所述处理器，还配置为根据所述环境数据对所述第一位置处的所述电子设备在所述目标时刻的实际位置进行第二次定位，得到第二位置信息；
所述控制器，还配置为控制所述电子设备移动至所述第二位置信息对应的第二位置处，而后基于所述障碍物的特征信息控制所述电子设备的运动。
本公开实施例中，所述电子设备上设置有一个所述第一类传感器，或者所述电子设备在不同的部位上设置有多个所述第一类传感器，其中，所述第一类传感器包括以下至少之一：IMU、角度传感器、车轮转速传感器。
本公开实施例中，所述处理器，配置为根据各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述电子设备的立 体运动轨迹；基于所述电子设备的立体运动轨迹，对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息。
本公开实施例中，所述处理器，配置为针对各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述第一类传感器对应的运动轨迹，其中，多个第一类传感器的运动轨迹形成一组运动轨迹；对所述一组运动轨迹进行滤波处理，得到所述电子设备的立体运动轨迹。
本公开实施例中，所述障碍物的特征信息包括以下至少之一：位置信息、属性信息；
所述处理器，配置为根据所述电子设备的立体运动轨迹，确定出所述障碍物的位置信息；根据所述运动数据获取所述电子设备的动量信息，并根据所述立体运动轨迹和所述动量信息确定所述障碍物的属性信息。
本公开实施例中，所述处理器，配置为对具有不同属性信息的障碍物样本进行碰撞训练，得到各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息；根据所述各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息，以及当前电子设备的立体运动轨迹以及所述电子设备在运动过程中的动量信息，确定障碍物的属性信息。
本公开实施例中，所述电子设备上设置有一个或多个所述第二类传感器，其中，所述第二类传感器包括以下至少之一：红外传感器、雷达传感器、视觉传感器。
本公开实施例中，所述电子设备具有避障系统；
所述控制器，配置为基于所述障碍物的特征信息，判断是否将所述障碍物的特征信息添加至所述避障系统中；如果将所述障碍物的特征信息添加至所述避障系统中，则利用所述避障系统修正运动路径，并基于修正后的运动路径控制所述电子设备运动。
本发明实施例提供的存储介质存储有计算机可执行指令，该计算机可 执行指令被处理器执行时能够实现上述的异常恢复方法。
本公开实施例的技术方案中，电子设备上设置有第一类传感器和第二类传感器；其中，所述第一类传感器用于检测所述电子设备在运动过程中的运动数据，所述第二类传感器用于检测所述电子设备在运动过程中的环境数据；当检测到所述电子设备发生碰撞时，根据所述运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息和障碍物的特征信息；控制所述电子设备移动至所述第一位置信息对应的第一位置处；根据所述环境数据对所述第一位置处的所述电子设备在所述目标时刻的实际位置进行第二次定位，得到第二位置信息；控制所述电子设备移动至所述第二位置信息对应的第二位置处，而后基于所述障碍物的特征信息控制所述电子设备的运动。采用本公开实施例的技术方案，电子设备能够自动从碰撞之后的异常状态中恢复出来，此外，由于基于两种类型的传感器的数据对电子设备发生碰撞前的位置进行定位，因此定位更加精确，定位速度也更加快，使得电子设备可以迅速精确地恢复到发生碰撞前的某个时刻的状态，从而继续进行跟踪/导航。
图1为异常碰撞场景图；
图2为本公开实施例的异常恢复方法的流程示意图一；
图3为本公开实施例的异常恢复方法的流程示意图二；
图4为本公开实施例的电子设备的结构组成示意图。
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。
以下为本公开实施例涉及到的关键术语的解释说明：
IMU：惯性测量单元，是测量物体三轴姿态角(或角速率)以及加速度的装置。一般，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，其中，加速度计用于检测物体在载体坐标系统独立三轴的加速度信号，而陀螺用于检测载体相对于导航坐标系的角速度信号。IMU能够测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。
SLAM：即时定位与地图构建，机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。
意外碰撞：碰撞到避障算法无法检测到的障碍物导致的碰撞，或者外来主动撞击导致的碰撞。意外碰撞会使得机器人发生不可预期的运动状态。
尽管视觉避障已经相对成熟，但是在实际应用过程中，会因为一些视觉避障固有缺陷(视野盲区，以及小概率的障碍物漏检)导致机器人遭遇障碍，从而丢失跟踪目标或者导航线路。如图1所示，机器人碰撞到门框之后，头部很可能就朝向墙面从而失去目标，而且无法通过视觉定位系统对当前位置进行定位。
绝大多数的机器人都是尽量的防止碰撞，是因为碰撞之后很难恢复之前的运动状态或者功能状态。但是在真实的应用中，障碍物碰撞是在所难免的，对于一个智能的机器人来说，自动从碰撞之后的异常状态中恢复出来并且继续跟踪/导航是一个基本需求。
在机器人发生碰撞并影响运动状态的情况下，单独的IMU尽管能计算出机器人相对准确的姿态变化，但是无法准确的计算出机器人从发生碰撞前的某一时刻到当前时刻的相对精确的位置关系。
在机器人发生碰撞并影响运动状态的情况下，单独的视觉系统由于碰撞的震动导致图像质量很差，而且由于视野位置发生改变(比较极端的情 况，比如，机器人碰撞墙转角的位置，然后机器人姿态变为面朝墙面)，要么无法提供有效的恢复到碰撞前位置的信息，要么即使能提供一部分信息(碰撞之后的转向等)，也需要很慢的检测模型进行位置检测，计算相对复杂，耗时较长。
此外，如果机器人的避障算法没有能够成功检测出来该障碍物，那么机器人恢复了位置和姿态，并继续之前的跟踪/导航的话，依然会再次遭遇该障碍物。
图2为本公开实施例的异常恢复方法的流程示意图一，本示例中的异常恢复方法应用于电子设备，所述电子设备上设置有第一类传感器和第二类传感器；其中，所述第一类传感器用于检测所述电子设备在运动过程中的运动数据，所述第二类传感器用于检测所述电子设备在运动过程中的环境数据；如图2所示，所述异常恢复方法包括以下步骤：
步骤201：当检测到所述电子设备发生碰撞时，根据所述运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息和障碍物的特征信息。
本公开实施例中，电子设备尤指机器人。随着移动计算能力的快速提升，以及基于视觉算法，小型雷达的SLAM技术以及其他感知/避障/导航/跟踪类的技术的发展，逐渐赋予了机器人对周围环境越来越强的感知能力，使得机器人可以在更为复杂的环境中成功运行。上述很多技术已经成熟并且运用于汽车的自动驾驶，但是由于汽车的运行环境(公路)和空间状态(汽车本身的尺寸和空间占用)是相对稳定的，并不存在“肢体”类的不定空间状态的因素，所以无论是避障还是特殊的控制行为都是可以把自身当作一个固定模型来看待。而机器人则不太一样，存在肢体，例如：头部会碰撞到桌边；伸出去的手会碰到障碍物，但是如果手是放下的状态，那么可能又不会碰到障碍物。因此，机器人是一个动态的空间模型，该模型 在避障和导航中是需要不断修正的，因此机器人身上需要更多的传感器分布在立体的空间中。
此外，机器人所在的空间环境更为复杂，障碍物的属性也千奇百怪，以室内家庭机器人为例，绝大多数的避障方式都可能无法检测出黄色地面上的香蕉皮，或者光滑石面上的一些水迹，如果机器人因此发生了打滑并且继而发生了碰撞，或者在转弯的过程中突然遭遇视觉/雷达盲区的障碍物卡住轮子之后，失去原有的运动状态(摔倒/快速转向)，常规的避障导航系统就会无法准确定位。
因此，为了保证机器人能够稳定的运行原有的导航或者跟踪任务，机器人需要一套稳定可靠的从这类避障功能无法避免的问题中恢复出来的系统，本公开实施例称之为异常恢复系统。异常恢复系统的功能可以分为两部分：
第一部分是姿态的恢复：大多数的机器人的异常恢复系统都可以进行姿态的恢复，例如通过IMU采集到的数据进行姿态恢复，然而，非平地状态的姿态恢复具有挑战难度。
第二部分是位置的恢复：在空旷的环境中位置的恢复相对简单，但是如果在空间相对狭窄的地方，位置的恢复就相对困难。例如：基于单独的IMU数据恢复机器人的位置，这里，因为在碰撞中IMU数据变化很大，而IMU是通过加速度积分得到速度，速度积分得到路程，可见，路程是经历过2次积分得到，所以通过数据积分出来的位置信息偏差很大。为此，引入了各种新的传感器，比如视觉/雷达传感器等，但是由于不同的传感器数据都存在先天的缺陷，比如雷达传感器在狭小复杂的空间环境中无法准确定位，视觉传感器中如果摄像头对在了不确定的位置(如白墙)则无法准确定位。
为此，本公开实施例提出综合两类传感器的数据进行异常恢复，能够 使机器人从各种意外性的碰撞中恢复到碰撞前相对较近的某一个时刻机器人所在的位置。
本公开实施例中，第一类传感器是指内部传感器，这里，电子设备上设置有一个所述第一类传感器，或者所述电子设备在不同的部位上设置有多个所述第一类传感器，其中，所述第一类传感器包括以下至少之一：IMU、角度传感器、车轮转速传感器。
对于IMU和车轮转速传感器而言，均能够采集电子设备的运动数据(如加速度、角速度、转速度)，这种传感器的实时性好，但是由于需要对运动数据进行积分，因此利用运动数据计算得到的方向信息和位置信息不准确。
对于角度传感器而言，设置在机器人的各个关节上，通过测量得到的角度数据能够对机器人空间姿态进行感知。
本公开实施例中，当检测到所述电子设备发生碰撞时，根据所述第一类传感器的运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息和障碍物的特征信息。
这里，由于第一类传感器的定位精度较差，因此，通过第一类传感检测到的运动数据能够定位出电子设备在发生碰撞前的目标时刻的大致位置信息，这里，大致位置信息也即是第一位置信息。
本公开实施例中，目标时刻是电子设备发生碰撞前的任意一个时刻，一般，选取目标时刻为距离发生碰撞时刻较近的时刻，例如：在t0时刻发生了碰撞，则目标时刻为t1，t1早于t0，且t1距离t0小于等于预设阈值。
步骤202：控制所述电子设备移动至所述第一位置信息对应的第一位置处。
步骤203：根据所述环境数据对所述第一位置处的所述电子设备在所述目标时刻的实际位置进行第二次定位，得到第二位置信息。
本公开实施例中，第二类传感器是指外部传感器，这里，电子设备上 设置有一个或多个所述第二类传感器，其中，所述第二类传感器包括以下至少之一：红外传感器、雷达传感器、视觉传感器。对第二类传感器的数据采用相应的定位算法，可以精确地计算电子设备的位置信息以及方向信息，但是这种算法运算速度较慢，实时性较差。
为此，本公开实施例首先基于步骤201获得一个大致的位置信息，也即第一位置信息，然后，基于这个第一位置信息，利用环境数据对电子设备在发生碰撞前的目标时刻的位置进行进一步精确定位，这样，即满足了实时性的需求，又满足了精确定位的需求。
以第二类传感器为视觉传感器为例，视觉传感器的核心部件为摄像头，在电子设备移动的过程中，摄像头实时采集环境的图像信息，电子设备位于不同的位置时，环境的图像信息不同，基于此，可以根据环境的图像信息来定位电子设备的位置。
当电子设备位于第一位置处时，由于第一位置是电子设备在目标时刻的大致位置，因此，第一位置距离目标时刻的精确位置较近，此时，通过视觉定位算法就能够快速获取到目标时刻的精确位置。
步骤204：控制所述电子设备移动至所述第二位置信息对应的第二位置处，而后基于所述障碍物的特征信息控制所述电子设备的运动。
本公开实施例中，如果电子设备处于狭窄的空间，则由于环境的复杂性，需要得知障碍物的位置信息和属性信息，否则，即使电子设备恢复到之前的位置，还是不可避免的再次遭遇该障碍物的影响，陷入“遭遇障碍物＝>恢复＝>再遭遇＝>再恢复”的死循环中，无法继续之前的导航/跟踪任务。为此，需要能够在发生碰撞后识别出障碍物的位置信息和属性信息，以免再次发生同样的碰撞。
本公开实施例中，障碍物的特征信息包括：位置信息和属性信息，其中，位置信息表明了障碍物所处的位置，属性信息表明了障碍物的物理属 性，也即障碍物属于哪种物品。将障碍物的位置信息和属性信息反馈给运动控制系统，运动控制系统基于障碍物的位置信息和属性信息控制所述电子设备的运动，例如控制电子设备的导航/跟踪。
图3为本公开实施例的异常恢复方法的流程示意图二，本示例中的异常恢复方法应用于电子设备，所述电子设备上设置有第一类传感器和第二类传感器；其中，所述第一类传感器用于检测所述电子设备在运动过程中的运动数据，所述第二类传感器用于检测所述电子设备在运动过程中的环境数据；如图3所示，所述异常恢复方法包括以下步骤：
步骤301：当检测到所述电子设备发生碰撞时，根据各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述电子设备的立体运动轨迹。
本公开实施例中，第一类传感器是指内部传感器，这里，电子设备上设置有一个所述第一类传感器，或者所述电子设备在不同的部位上设置有多个所述第一类传感器，其中，所述第一类传感器包括以下至少之一：IMU、角度传感器、车轮转速传感器。
对于IMU和车轮转速传感器而言，均能够采集电子设备的运动数据(如加速度、角速度、转速度)，这种传感器的实时性好，但是由于需要对运动数据进行积分，因此利用运动数据计算得到的方向信息和位置信息不准确。
对于角度传感器而言，设置在机器人的各个关节上，通过测量得到的角度数据能够对机器人空间姿态进行感知。
本公开实施例中，通过设置在所述电子设备上的各个第一类传感器分别检测所述电子设备在运动过程中的运动数据。然后，根据各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述电子设备的立体运动轨迹。
这里，针对各个所述第一类传感器检测到的所述电子设备在运动过程 中的运动数据，拟合出所述第一类传感器对应的运动轨迹，其中，多个第一类传感器的运动轨迹形成一组运动轨迹；对所述一组运动轨迹进行滤波处理，得到所述电子设备的立体运动轨迹。
以电子设备为机器人为例，机器人的头部设置有IMU1，左胳膊设置有IMU2，右胳膊设置有IMU3，左腿设置有IMU4，右腿设置有IMU5。其中，IMU1检测的是头部的运动数据，IMU2检测的是左胳膊的运动数据，IMU3检测的是右胳膊的运动数据，IMU4检测的是左腿的运动数据，IMU5检测的是右腿的运动数据。由于IMU检测的数据为加速度和角速度，因此，基于IMU数据进行两次积分才能得到位置数据，位置数据按照时间顺序连线便形成了运动轨迹。头部对应运动轨迹1，左胳膊对应运动轨迹2，右胳膊对应运动轨迹3，左腿对应运动轨迹4，右腿对应运动轨迹5。在机器人发生碰撞失去原来的运动轨迹的情况下，机器人的这5条运动轨迹一般不相同，例如机器人左腿滑到，机器人右胳膊绊住。通过多个传感器得到的多条运动轨迹形成一组运动轨迹，当然，这一组运动轨迹中，有些运动轨迹可能是无效数据，需要通过滤波处理过滤掉，或者通过去其他传感器的数据对无效数据进行修正，最终得到有效数据。最终，5条运动轨迹形成了机器人的立体运动轨迹，能够代表机器人不同身体部位分别的运动情况。
本公开实施例中，基于机器人身上的各传感器(包括内部传感器和外部传感器)的位置建立了一套多坐标系协同转换系统，该系统会记录多种传感器输入的一段历史数据。
步骤302：基于所述电子设备的立体运动轨迹，对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息。
本公开实施例中，目标时刻是电子设备发生碰撞前的任意一个时刻，一般，选取目标时刻为距离发生碰撞时刻较近的时刻，例如：在t0时刻发生了碰撞，则目标时刻为t1，t1早于t0，且t1距离t0小于等于预设阈值。 当检测到所述电子设备发生碰撞时，基于所述电子设备的立体运动轨迹，对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息。由于立体运动轨迹能够较为详细地描述出电子设备的运动情况，因此，基于立体运动轨迹可以确定出电子设备在发生碰撞前的目标时刻的第一位置信息。
这里，由于第一类传感器的定位精度较差，因此，通过第一类传感检测到的运动数据能够定位出电子设备在发生碰撞前的目标时刻的大致位置信息，这里，大致位置信息也即是第一位置信息。
步骤303：根据所述电子设备的立体运动轨迹，确定出所述障碍物的位置信息；根据所述运动数据获取所述电子设备的动量信息，并根据所述立体运动轨迹和所述动量信息确定所述障碍物的属性信息。
本公开实施例中，电子设备的立体运动轨迹能够表明电子设备身体不同部位的运动轨迹，因此，根据电子设备的立体运动轨迹，确定出的障碍物的位置信息更为精确。例如：机器人的左脚被绊倒，身体前倾翻转，这种情况下，以机器人的左脚位置的轨迹为准来确定障碍物的位置，具体地，例如：机器人的左脚按照原来导航/跟踪路径运动，碰到障碍物的时刻记为t0，t0以前的轨迹为S1，t0以后的轨迹为S2，S1和S2的交界点即为障碍物的位置。
本公开实施例中，如果电子设备处于狭窄的空间，则由于环境的复杂性，需要得知障碍物的位置信息和属性信息，否则，即使电子设备恢复到之前的位置，还是不可避免的再次遭遇该障碍物的影响，陷入“遭遇障碍物＝>恢复＝>再遭遇＝>再恢复”的死循环中，无法继续之前的导航/跟踪任务。为此，需要能够在发生碰撞后识别出障碍物的位置信息和属性信息，以免再次发生同样的碰撞。
本公开实施例中，障碍物的特征信息包括：位置信息和属性信息，其 中，位置信息表明了障碍物所处的位置，属性信息表明了障碍物的物理属性，也即障碍物属于哪种物品。
本公开实施例中，根据电子设备的立体运动轨迹以及电子设备在运动过程中的运动数据，能够确定出障碍物的属性信息。具体地，电子设备在运动过程中的运动数据是指加速度、角速度，通过对运动数据进行一次积分运算后可以确定出电子设备的动量等信息，当电子设备与障碍物发生碰撞时，电子设备的动量会发生改变，不同属性信息的障碍物导致电子设备动量变化量不同，基于此，可以基于电子设备的立体运动轨迹结合电子设备的动量变化量，确定出障碍物的属性信息，例如障碍物是桌子、还是沙发。例如：在位置s1对应的动量为P1，在位置s2对应的动量为P2，在位置s3对应的动量为P3，其中，s2发生碰撞的位置，也即障碍物的位置，通过s2处的动量变化情况，可以确定出碰撞的障碍物的属性。
在实际应用中，可以预先对具有不同属性信息的障碍物样本进行碰撞训练，得到各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息；根据所述各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息，以及当前电子设备的立体运动轨迹以及所述电子设备在运动过程中的动量信息，确定障碍物的属性信息。
步骤304：控制所述电子设备移动至所述第一位置信息对应的第一位置处。
步骤305：根据所述环境数据对所述第一位置处的所述电子设备在所述目标时刻的实际位置进行第二次定位，得到第二位置信息。
本公开实施例中，第二类传感器是指外部传感器，这里，电子设备上设置有一个或多个所述第二类传感器，其中，所述第二类传感器包括以下至少之一：红外传感器、雷达传感器、视觉传感器。对第二类传感器的数据采用相应的定位算法，可以精确地计算电子设备的位置信息以及方向信 息，但是这种算法运算速度较慢，实时性较差。
为此，本公开实施例首先基于上述步骤获得一个大致的位置信息，也即第一位置信息，然后，基于这个第一位置信息，利用环境数据对电子设备在发生碰撞前的目标时刻的位置进行进一步精确定位，这样，即满足了实时性的需求，又满足了精确定位的需求。
以第二类传感器为视觉传感器为例，视觉传感器的核心部件为摄像头，在电子设备移动的过程中，摄像头实时采集环境的图像信息，电子设备位于不同的位置时，环境的图像信息不同，基于此，可以根据环境的图像信息来定位电子设备的位置。
当电子设备位于第一位置处时，由于第一位置是电子设备在目标时刻的大致位置，因此，第一位置距离目标时刻的精确位置较近，此时，通过视觉定位算法就能够快速获取到目标时刻的精确位置。
步骤306：控制所述电子设备移动至所述第二位置信息对应的第二位置处，而后基于所述障碍物的特征信息，判断是否将所述障碍物的特征信息添加至所述避障系统中；如果将所述障碍物的特征信息添加至所述避障系统中，则利用所述避障系统修正运动路径，并基于修正后的运动路径控制所述电子设备运动。
本公开实施例中，电子设备具有避障系统，通过避障系统能够检测电子设备周围的障碍物，从而避免电子设备碰撞到障碍物。当由于蔽障漏洞或意外障碍物出现导致碰撞发生时，通过本公开实施例的技术方案能够使得电子设备恢复到碰撞之前的某个时刻对应的位置处，并且将障碍物的位置信息和属性信息反馈给避障系统，避障系统基于障碍物的位置信息和属性信息控制电子设备的运动，例如控制电子设备的导航/跟踪，这样，可以避免电子设备因先前的障碍物重复发生碰撞。
在一实施方式中，避障系统的属性信息表明了障碍物为活动的对象， 例如小动物，有可能该障碍物会发生移动，这种情况下，可以不用将障碍物位置信息和属性信息添加至避障系统中。
在另一实施方式中，避障系统的属性信息表明了障碍物的质量较小，有可能该障碍物在碰撞时被碰撞到了其他位置，这种情况下，可以不用将障碍物位置信息和属性信息添加至避障系统中。
本公开实施例中，在电子设备碰撞到障碍物并且失去当前姿态位置信息后，利用多个内部传感器协作配合外部传感器，可以快速得知电子设备在空间中的位置，并且快速返回碰撞障碍物之前的位置，此外，对障碍物进行了特征信息判断，从而可以绕行/避开障碍物，以保证跟踪/导航的功能健壮性。
本公开实施例的技术方案，融合多种传感器的数据，兼有恢复速度快、恢复位置精度高、恢复适用场景广泛，可以适应绝大部分的不利空间环境的特点。此外，可以对障碍物的三维空间位置，质量属性等做出判断，保证了跟踪/导航的功能健壮性。本公开实施例的传感器的类型可以多样化，实现了开放性的系统框架。
以下结合具体应用场景对本公开实施例的技术方案作进一步描述。
实施例一
a)硬件需求：
车身搭载一个IMU，通过视觉传感器进行导航/跟随。
b)异常恢复流程
1，控制系统检测到碰撞。
2，启动异常恢复系统，异常恢复使用IMU的历史数据，或者结合IMU和轮子的tick的历史数据，回退到碰撞前的大致位置。这里，轮子的tick的数据可以通过车轮转速传感器检测得到。
3，通过视觉传感器的历史数据进行重新定位(例如利用SLAM算法的 重定位，或者单纯的图像方式来进行重定位)，从2中的大致位置恢复到原有的导向/跟踪线路的精确的方向和位置上。
4，通过3中恢复过程中的IMU数据或IMU结合轮子ticks的数据计算障碍物的大致位置。
5，将障碍物加入导航/跟随的地图/策略中。
6，继续导航/跟随功能。
实施例2
a)硬件要求：
1.内部传感器：不同位置的多组IMU，各个关节处的角度传感器。
2.外部传感器：以下外部传感器中的一种或多种：红外传感器、雷达传感器、视觉传感器。
b)软件要求：
1.系统内部有一套坐标转换系统(CTS，Coordinate Transform System)，并且该系统持续工作，记录一段时间的各种传感器的历史数据。此外，通过计算维护机器人的运动姿态信息、运动轨迹信息和空间位置信息。
2.系统中是有常见的避障算法，能避开明显的障碍物。
c)异常恢复流程：
1控制系统检测到碰撞异常。
2开启异常恢复系统。
3拟合碰撞后的立体运动轨迹。
4根据立体运动轨迹结合运动数据估计推测障碍物的位置信息和属性信息。
5根据立体运动轨迹快速恢复到碰撞前的大致位置。
6根据外部传感器的数据精确恢复位置和朝向。
7采纳障碍物的位置信息和属性信息，重新规划运动路线。
d)实现细节
对于上述流程2：开启异常恢复系统的时候，暂停并暂存导航/跟随功能，同时从CTS缓存中读取各类传感器的数据。
对于上述流程3，4：系统从CTS中得知不同位置IMU的历史数据以及轮子ticks的历史数据，基于这些数据计算不同传感器(这里主要是内部传感器，但也可以有外部传感器)的位置信息和运动轨迹，通过卡尔曼滤波器进行轨迹融合，拟合出机器人的整体最为准确的运动估计轨迹L。
这里，多个内部传感器(如IMU、角度传感器)检测的优势在：
首先，在机器人的头上、各种附加的肢体上和底盘上各至少有一个内部传感器，这样可以相对精确的判断出碰撞之后的侧翻，旋转(各个关节的自转/公转信息)，这样是把机器人当作一个立体的模型来计算运动轨迹，对比单IMU来说，所得到的轨迹的准确度更高。
其次，在碰撞后，对于内部传感器(如IMU)的微分数据扰动非常大，而且距离碰撞点越近，这种扰动对于计算的影响越大，而多个内部传感器的拟合，通过相互反馈补偿的方式将这类扰动对计算的影响降到最低，使得转角和运动距离的计算更为准确。转角配合运动距离就是机器人的运动轨迹，那么运动轨迹的准确度就更高。
最后，在上述的相互反馈补偿的过程中，需要计算一个扰动在所有不同位置内部传感器的影响，通过影响的大小可以推断碰撞点处距离各个IMU的远近和一定的方位信息，也就是可以计算出比单个IMU更为准确的碰撞位置信息。
本实施例中，通过训练一些常见的障碍物样本，可以对各种碰撞导致的障碍物模型进行分类，然后通过计算就可以推测出碰撞的障碍物的可能属性。
本实施例中，对于障碍物的属性信息，只需要对于碰撞的位置信息配 合一些动力驱动的反馈(电机的输出数据和IMU中的运动模型的预估状态之间的比较)再次尝试进行尝试性碰撞，就可以试探出这次意外碰撞的障碍物的可能属性(例如：固定的障碍物，或是非固定障碍物；再例如：人或者宠物的临时撞击)。例如：控制机器人轻轻的再去撞一下，确定能不能撞到障碍物，如果撞到障碍物，轻微加油门确定障碍物能不能被推动。
本实施例中，如果此时机器人被障碍物卡住，可以根据之前多个IMU的数据，套用姿态恢复算法从被卡住的状态中逆推之前的运动轨迹，改变姿态脱离卡住的状态。
对于上述流程5：由于在上述流程4中得到了准确度很高的障碍物信息，碰撞后的运动轨迹，因此可以根据这一轨迹逆行，并且配合之前暂存的导航/跟随的信息，返回到最近的导航线路或者跟踪路线上的相对准确但是精度较差的位置上。
对于上述流程6：此时通过外部传感器配合导航/跟随系统的历史数据精确地恢复机器人的朝向和位置，这里，外部传感器的算法可以是：SLAM重定位外部传感器、图像匹配外部传感器、标志物识别外部传感器等。
对于上述流程7：导航/跟踪控制系统根据障碍物属性，判断是否采纳障碍物的位置信息，如果采纳则纳入避障系统，配置为修正之前的导航/跟踪路线，从而继续导航/跟踪。
图4为本公开实施例的电子设备的结构组成示意图，如图4所示，所述电子设备包括：
第一类传感器401，配置为检测所述电子设备在运动过程中的运动数据；
第二类传感器402，配置为检测所述电子设备在运动过程中的环境数据；
处理器403，配置为当检测到所述电子设备发生碰撞时，根据所述运动 数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息和障碍物的特征信息；
控制器404，配置为控制所述电子设备移动至所述第一位置信息对应的第一位置处；
所述处理器403，还配置为根据所述环境数据对所述第一位置处的所述电子设备在所述目标时刻的实际位置进行第二次定位，得到第二位置信息；
所述控制器404，还配置为控制所述电子设备移动至所述第二位置信息对应的第二位置处，而后基于所述障碍物的特征信息控制所述电子设备的运动。
本公开实施例中，所述电子设备上设置有一个所述第一类传感器401，或者所述电子设备在不同的部位上设置有多个所述第一类传感器401，其中，所述第一类传感器401包括以下至少之一：IMU、角度传感器、车轮转速传感器。
本公开实施例中，所述处理器403，配置为根据各个所述第一类传感器401检测到的所述电子设备在运动过程中的运动数据，拟合出所述电子设备的立体运动轨迹；基于所述电子设备的立体运动轨迹，对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息。
本公开实施例中，所述处理器403，配置为针对各个所述第一类传感器401检测到的所述电子设备在运动过程中的运动数据，拟合出所述第一类传感器401对应的运动轨迹，其中，多个第一类传感器401的运动轨迹形成一组运动轨迹；对所述一组运动轨迹进行滤波处理，得到所述电子设备的立体运动轨迹。
本公开实施例中，所述障碍物的特征信息包括以下至少之一：位置信息、属性信息；
所述处理器403，配置为根据所述电子设备的立体运动轨迹，确定出所 述障碍物的位置信息；根据所述运动数据获取所述电子设备的动量信息，并根据所述立体运动轨迹和所述动量信息确定所述障碍物的属性信息。
本公开实施例中，所述处理器403，配置为对具有不同属性信息的障碍物样本进行碰撞训练，得到各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息；根据所述各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息，以及当前电子设备的立体运动轨迹以及所述电子设备在运动过程中的动量信息，确定障碍物的属性信息。
本公开实施例中，所述电子设备上设置有一个或多个所述第二类传感器402，其中，所述第二类传感器402包括以下至少之一：红外传感器、雷达传感器、视觉传感器。
本公开实施例中，所述电子设备具有避障系统405；
所述控制器404，配置为基于所述障碍物的特征信息，判断是否将所述障碍物的特征信息添加至所述避障系统405中；如果将所述障碍物的特征信息添加至所述避障系统405中，则利用所述避障系统修正运动路径，并基于修正后的运动路径控制所述电子设备运动。
本领域技术人员应当理解，图4所示的电子设备中的各单元的实现功能可参照前述异常恢复方法的相关描述而理解。
本公开实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本公开所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备 或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本发明实施例还提供一种存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时能够实现本发明实施例的异常恢复方法。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。
本公开实施例的技术方案，电子设备能够自动从碰撞之后的异常状态中恢复出来，此外，由于基于两种类型的传感器的数据对电子设备发生碰撞前的位置进行定位，因此定位更加精确，定位速度也更加快，使得电子设备可以迅速精确地恢复到发生碰撞前的某个时刻的状态，从而继续进行跟踪/导航。
Claims (17)
- 一种异常恢复方法，应用于电子设备，所述电子设备上设置有第一类传感器和第二类传感器；其中，所述第一类传感器用于检测所述电子设备在运动过程中的运动数据，所述第二类传感器用于检测所述电子设备在运动过程中的环境数据；所述方法包括：当检测到所述电子设备发生碰撞时，根据所述运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息和障碍物的特征信息；控制所述电子设备移动至所述第一位置信息对应的第一位置处；根据所述环境数据对所述第一位置处的所述电子设备在所述目标时刻的实际位置进行第二次定位，得到第二位置信息；控制所述电子设备移动至所述第二位置信息对应的第二位置处，而后基于所述障碍物的特征信息控制所述电子设备的运动。
- 根据权利要求1所述的异常恢复方法，其中，所述电子设备上设置有一个所述第一类传感器，或者所述电子设备在不同的部位上设置有多个所述第一类传感器，其中，所述第一类传感器包括以下至少之一：惯性测量单元IMU、角度传感器、车轮转速传感器；所述方法还包括：通过设置在所述电子设备上的各个第一类传感器分别检测所述电子设备在运动过程中的运动数据。
- 根据权利要求2所述的异常恢复方法，其中，所述根据所述运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息，包括：根据各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述电子设备的立体运动轨迹；基于所述电子设备的立体运动轨迹，对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息。
- 根据权利要求3所述的异常恢复方法，其中，所述根据各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述电子设备的立体运动轨迹，包括：针对各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述第一类传感器对应的运动轨迹，其中，多个第一类传感器的运动轨迹形成一组运动轨迹；对所述一组运动轨迹进行滤波处理，得到所述电子设备的立体运动轨迹。
- 根据权利要求3所述的异常恢复方法，其中，所述障碍物的特征信息包括以下至少之一：位置信息、属性信息；所述根据所述运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取障碍物的特征信息，包括：根据所述电子设备的立体运动轨迹，确定出所述障碍物的位置信息；根据所述运动数据获取所述电子设备的动量信息，并根据所述立体运动轨迹和所述动量信息确定所述障碍物的属性信息。
- 根据权利要求5所述的异常恢复方法，其中，所述根据所述立体运动轨迹和所述动量信息确定所述障碍物的属性信息，包括：对具有不同属性信息的障碍物样本进行碰撞训练，得到各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息；根据所述各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息，以及当前电子设备的立体运动轨迹以及所述电子设备在运动过程中的动量信息，确定障碍物的属性信息。
- 根据权利要求1所述的异常恢复方法，其中，所述电子设备上设 置有一个或多个所述第二类传感器，其中，所述第二类传感器包括以下至少之一：红外传感器、雷达传感器、视觉传感器。
- 根据权利要求1所述的异常恢复方法，其中，所述电子设备具有避障系统；所述基于所述障碍物的特征信息控制所述电子设备的运动，包括：基于所述障碍物的特征信息，判断是否将所述障碍物的特征信息添加至所述避障系统中；如果将所述障碍物的特征信息添加至所述避障系统中，则利用所述避障系统修正运动路径，并基于修正后的运动路径控制所述电子设备运动。
- 一种电子设备，所述电子设备包括：第一类传感器，配置为检测所述电子设备在运动过程中的运动数据；第二类传感器，配置为检测所述电子设备在运动过程中的环境数据；处理器，配置为当检测到所述电子设备发生碰撞时，根据所述运动数据对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息和障碍物的特征信息；控制器，配置为控制所述电子设备移动至所述第一位置信息对应的第一位置处；所述处理器，还配置为根据所述环境数据对所述第一位置处的所述电子设备在所述目标时刻的实际位置进行第二次定位，得到第二位置信息；所述控制器，还配置为控制所述电子设备移动至所述第二位置信息对应的第二位置处，而后基于所述障碍物的特征信息控制所述电子设备的运动。
- 根据权利要求9所述的电子设备，其中，所述电子设备上设置 有一个所述第一类传感器，或者所述电子设备在不同的部位上设置有多个所述第一类传感器，其中，所述第一类传感器包括以下至少之一：IMU、角度传感器、车轮转速传感器。
- 根据权利要求10所述的电子设备，其中，所述处理器，配置为根据各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述电子设备的立体运动轨迹；基于所述电子设备的立体运动轨迹，对所述电子设备在发生碰撞前的目标时刻的实际位置进行第一次定位，以获取第一位置信息。
- 根据权利要求11所述的电子设备，其中，所述处理器，配置为针对各个所述第一类传感器检测到的所述电子设备在运动过程中的运动数据，拟合出所述第一类传感器对应的运动轨迹，其中，多个第一类传感器的运动轨迹形成一组运动轨迹；对所述一组运动轨迹进行滤波处理，得到所述电子设备的立体运动轨迹。
- 根据权利要求11所述的电子设备，其中，所述障碍物的特征信息包括以下至少之一：位置信息、属性信息；所述处理器，配置为根据所述电子设备的立体运动轨迹，确定出所述障碍物的位置信息；根据所述运动数据获取所述电子设备的动量信息，并根据所述立体运动轨迹和所述动量信息确定所述障碍物的属性信息。
- 根据权利要求13所述的电子设备，其中，所述处理器，配置为对具有不同属性信息的障碍物样本进行碰撞训练，得到各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息；根据所述各个属性信息分别对应的立体运动轨迹以及运动过程中的动量信息，以及当前电子设备的立体运动轨迹以及所述电子设备在运动过程中的动量信息，确定障碍物的属性信息。
- 根据权利要求9所述的电子设备，其中，所述电子设备上设置 有一个或多个所述第二类传感器，其中，所述第二类传感器包括以下至少之一：红外传感器、雷达传感器、视觉传感器。
- 根据权利要求9所述的电子设备，其中，所述电子设备具有避障系统；所述控制器，配置为基于所述障碍物的特征信息，判断是否将所述障碍物的特征信息添加至所述避障系统中；如果将所述障碍物的特征信息添加至所述避障系统中，则利用所述避障系统修正运动路径，并基于修正后的运动路径控制所述电子设备运动。
- 一种存储介质，所述存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时能够实现执行权利要求1-8任一项所述的异常恢复方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710580689.3 | 2017-07-17 | ||
| CN201710580689.3A CN107368071B (zh) | 2017-07-17 | 2017-07-17 | 一种异常恢复方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019015385A1 true WO2019015385A1 (zh) | 2019-01-24 |
Family
ID=60307512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2018/087489 WO2019015385A1 (zh) | 2017-07-17 | 2018-05-18 | 一种异常恢复方法及电子设备、存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107368071B (zh) |
| WO (1) | WO2019015385A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112346446A (zh) * | 2019-08-08 | 2021-02-09 | 阿里巴巴集团控股有限公司 | 自动导引运输车脱码恢复方法、装置及电子设备 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368071B (zh) * | 2017-07-17 | 2020-11-06 | 纳恩博（北京）科技有限公司 | 一种异常恢复方法及电子设备 |
| EP3531223B1 (en) * | 2017-12-26 | 2020-05-27 | Autel Robotics Co., Ltd. | Obstacle avoidance method and aircraft |
| WO2019148467A1 (zh) * | 2018-02-02 | 2019-08-08 | 深圳前海达闼云端智能科技有限公司 | 定位方法、装置、机器人及计算机可读存储介质 |
| CN108445878B (zh) * | 2018-02-28 | 2022-04-01 | 北京奇虎科技有限公司 | 一种用于扫地机器人的障碍物处理方法和扫地机器人 |
| CN108508891B (zh) | 2018-03-19 | 2019-08-09 | 珠海市一微半导体有限公司 | 一种机器人重定位的方法 |
| GB2576494B (en) * | 2018-08-06 | 2022-03-23 | Dyson Technology Ltd | A mobile robot and method of controlling thereof |
| CN109358620A (zh) * | 2018-09-30 | 2019-02-19 | 北京金山安全软件有限公司 | 一种使用机器人赛车的方法、装置、电子设备及存储介质 |
| CN109542215B (zh) * | 2018-10-09 | 2022-03-08 | 中国矿业大学 | 安全帽佩戴监测方法 |
| CN111090282B (zh) * | 2019-12-19 | 2023-10-31 | 安克创新科技股份有限公司 | 机器人的避障方法、机器人以及装置 |
| CN111475573B (zh) * | 2020-04-08 | 2023-02-28 | 腾讯科技（深圳）有限公司 | 数据同步方法、装置、电子设备及存储介质 |
| CN114413903A (zh) * | 2021-12-08 | 2022-04-29 | 上海擎朗智能科技有限公司 | 用于多机器人的定位方法、机器人配送系统及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005224265A (ja) * | 2004-02-10 | 2005-08-25 | Funai Electric Co Ltd | 自走式掃除機 |
| CN105353771A (zh) * | 2015-12-11 | 2016-02-24 | 谭圆圆 | 无人飞行器控制方法及控制装置 |
| CN105928514A (zh) * | 2016-04-14 | 2016-09-07 | 广州智能装备研究院有限公司 | 基于图像与惯性技术的agv复合导引系统 |
| CN106123890A (zh) * | 2016-06-14 | 2016-11-16 | 中国科学院合肥物质科学研究院 | 一种多传感器数据融合的机器人定位方法 |
| CN106873602A (zh) * | 2017-04-14 | 2017-06-20 | 广西师范大学 | 一种自主实时定位的移动机器人 |
| CN107368071A (zh) * | 2017-07-17 | 2017-11-21 | 纳恩博（北京）科技有限公司 | 一种异常恢复方法及电子设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102866706B (zh) * | 2012-09-13 | 2015-03-25 | 深圳市银星智能科技股份有限公司 | 一种采用智能手机导航的清扫机器人及其导航清扫方法 |
| CN104503449A (zh) * | 2014-11-24 | 2015-04-08 | 杭州申昊科技股份有限公司 | 一种基于环境直线特征的定位方法 |
| CN105652871A (zh) * | 2016-02-19 | 2016-06-08 | 深圳杉川科技有限公司 | 移动机器人的重定位方法 |
-
2017
- 2017-07-17 CN CN201710580689.3A patent/CN107368071B/zh active Active
-
2018
- 2018-05-18 WO PCT/CN2018/087489 patent/WO2019015385A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005224265A (ja) * | 2004-02-10 | 2005-08-25 | Funai Electric Co Ltd | 自走式掃除機 |
| CN105353771A (zh) * | 2015-12-11 | 2016-02-24 | 谭圆圆 | 无人飞行器控制方法及控制装置 |
| CN105928514A (zh) * | 2016-04-14 | 2016-09-07 | 广州智能装备研究院有限公司 | 基于图像与惯性技术的agv复合导引系统 |
| CN106123890A (zh) * | 2016-06-14 | 2016-11-16 | 中国科学院合肥物质科学研究院 | 一种多传感器数据融合的机器人定位方法 |
| CN106873602A (zh) * | 2017-04-14 | 2017-06-20 | 广西师范大学 | 一种自主实时定位的移动机器人 |
| CN107368071A (zh) * | 2017-07-17 | 2017-11-21 | 纳恩博（北京）科技有限公司 | 一种异常恢复方法及电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112346446A (zh) * | 2019-08-08 | 2021-02-09 | 阿里巴巴集团控股有限公司 | 自动导引运输车脱码恢复方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107368071A (zh) | 2017-11-21 |
| CN107368071B (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019015385A1 (zh) | 一种异常恢复方法及电子设备、存储介质 | |
| CN108051002B (zh) | 基于惯性测量辅助视觉的运输车空间定位方法及系统 | |
| CA2950978C (en) | Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot | |
| CN107907131B (zh) | 定位系统、方法及所适用的机器人 | |
| Lingemann et al. | High-speed laser localization for mobile robots | |
| WO2018068771A1 (zh) | 目标跟踪方法、系统、电子设备和计算机存储介质 | |
| EP2952301A1 (en) | Humanoid robot with collision avoidance and trajectory recovery capabilities | |
| CN105629970A (zh) | 一种基于超声波的机器人定位避障方法 | |
| EP2590042A1 (en) | Mobile apparatus performing position recognition using several local filters and a fusion filter | |
| JP5276931B2 (ja) | 移動体および移動体の位置推定誤り状態からの復帰方法 | |
| WO2018077307A1 (zh) | 一种运动控制方法、装置和计算机存储介质 | |
| JP7034264B2 (ja) | 自己位置推定方法 | |
| WO2015167411A1 (en) | Smart navigation system for brainwave controlled wheelchairs | |
| US20180275663A1 (en) | Autonomous movement apparatus and movement control system | |
| Chung et al. | An intelligent service robot for transporting object | |
| CN112652001A (zh) | 基于扩展卡尔曼滤波的水下机器人多传感器融合定位系统 | |
| Jia et al. | Recent developments in vision based target tracking for autonomous vehicles navigation | |
| JP5439552B2 (ja) | ロボットシステム | |
| Hesch et al. | A 3d pose estimator for the visually impaired | |
| CN115836262A (zh) | 基于图像的轨迹规划方法和运动控制方法以及使用该些方法的移动机器 | |
| Zhang et al. | A visual slam system with laser assisted optimization | |
| Sanchez et al. | Autonomous navigation with deadlock detection and avoidance | |
| Mason et al. | The golem group/university of california at los angeles autonomous ground vehicle in the darpa grand challenge | |
| WO2023067892A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| TWI747195B (zh) | 載具即時精準位置校正系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18834481 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18834481 Country of ref document: EP Kind code of ref document: A1 |