WO2019114219A1

WO2019114219A1 - 移动机器人及其控制方法和控制系统

Info

Publication number: WO2019114219A1
Application number: PCT/CN2018/090655
Authority: WO
Inventors: 章云辉; 王国文; 候喜茹
Original assignee: 珊口（上海）智能科技有限公司
Priority date: 2017-12-15
Filing date: 2018-06-11
Publication date: 2019-06-20
Also published as: CN112506181A; CN108170137A

Abstract

一种移动机器人及其控制方法和控制系统(23)，其中，移动机器人包括：存储装置(11,230)，存储有同时定位与地图构建应用及行为控制应用；摄像装置(13,21)，用于获取操作环境的图像；处理装置(15,232)，用于控制摄像装置(13,21)进行拍摄以获取包含地面的图像，并在识别出图像中存在柔性缠绕物时自存储装置(11,230)中调用同时定位与地图构建应用及行为控制应用以对移动机器人的行为进行控制；移动系统(17,25)，用于基于处理装置(15,232)发出的控制指令而驱动移动机器人移动。实现针对柔性缠绕物进行有效地检测，并可根据检测结果对清洁机器人的行为进行相应的控制。

Description

移动机器人及其控制方法和控制系统

技术领域

本申请涉及移动机器人技术领域，特别是涉及一种移动机器人、移动机器人的控制方法和控制系统。

背景技术

移动机器人是自动执行特定工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外，可用于工业、商业或家庭，可用于取代保安巡视、取代迎宾员或点餐员、或取代人们清洁地面，还可用于家庭陪伴、辅助办公等。

诸如清洁机器人、陪护机器人、迎宾机器人等移动机器人在工作模式下移动时，由于工作场景环境的复杂性，移动机器人在工作过程中由于避障性能不佳，经常磕碰障碍物，损坏家具和自身，影响移动机器人的正常工作。特别是针对一些柔性缠绕物(例如线缆、绳索、丝带、布头等)，它们往往会缠住移动机器人的轮子而使得移动机器人无法移动并在严重时可能会使得移动机器人倒地而引发安全事故。对于清洁机器人而言，柔性缠绕物更可能缠绕住清洁机器人的清洁系统，例如缠绕住清洁刷、缠绕或堵塞住吸尘部件等。

一般地，为能及时检测地面的障碍物，在现有的移动机器人上通常采用的障碍物检测技术主要有：

机械碰撞检测：在移动机器人的底部前方安装了一块连接电子开关的机械挡板，当碰到障碍物时电子开关从断开状态转换成连通状态，从而检测到前方的障碍物。采用此种检测方式，必须要碰撞才能检测到，用户体验较差，而且，对于柔性缠绕物，易被移动机器人推移，因撞击力度太小而无法触发电子开关，导致漏检。

红外测距检测：在移动机器人上安装了一个或多个红外测距传感器，当检测的距离小于设定的阈值之后就判断前方存在障碍物。红外线检测受环境光照影响很大，也存在近距离盲区较大的问题。玻璃、吸光或全黑材质的障碍物容易被漏检，精度一致性差。受壳体结构的影响，红外线传感器不能安装得太低，从而会漏检一些高度比红外线更低的低矮障碍物，例如柔性缠绕物。

超声波测距检测：在移动机器人上安装了一个或多个超声波测距传感器，当检测的距离小于设定的阈值之后就判断前方存在障碍物。一方面，超声波容易受环境温度、反射物材质、声波多径传播等因素的影响。另一方面，受壳体结构的限制，超声波传感器无法安装得太低，从而会漏检一些高度比超声波更低的低矮障碍物，例如柔性缠绕物。

由此可见，针对柔性缠绕物的检测，是现有移动机器人亟待需要解决的一个问题。

发明内容

本申请的目的在于公开一种移动机器人及其控制方法和控制系统，用于改善移动机器人对柔性缠绕物的检测精度。

为实现上述目的及其他目的，本申请在第一方面公开一种移动机器人的控制方法，所述移动机器人具有摄像装置，所述控制方法包括以下步骤：在移动机器人的工作模式下，控制所述摄像装置进行拍摄以获取包含地面的图像；对所述摄像装置所拍摄的至少一幅包含地面的图像进行识别，在识别出所述图像中存在柔性缠绕物时对所述移动机器人的行为进行控制。

本申请在第二方面公开一种移动机器人，包括：存储装置，存储有同时定位与地图构建应用及行为控制应用；摄像装置，用于在移动机器人的工作模式下获取操作环境的图像；处理装置，与所述存储装置和所述摄像装置相连，用于在移动机器人的工作模式下，控制所述摄像装置进行拍摄以获取包含地面的图像，并在识别出所述图像中存在柔性缠绕物时自所述存储装置中调用同时定位与地图构建应用及行为控制应用以对所述移动机器人的行为进行控制；移动系统，与所述处理装置相连，用于基于所述处理装置所发出的控制指令而驱动移动机器人移动。

本申请在第三方面公开一种移动机器人的控制系统，所述移动机器人配置有摄像装置，所述控制系统包括：存储装置，存储有同时定位与地图构建应用及行为控制应用；处理装置，与所述存储装置和所述摄像装置相连，用于在移动机器人的工作模式下，控制所述摄像装置进行拍摄以获取包含地面的图像，并在识别出所述图像中存在柔性缠绕物时自所述存储装置中调用同时定位与地图构建应用及行为控制应用以对所述移动机器人的行为进行控制。

本申请在第四方面公开一种清洁机器人，包括：摄像装置；如前所述的控制系统；移动系统，与所述控制系统相连，用于基于所述控制系统所发出的控制指令而驱动移动机器人移动；清洁系统，与所述控制系统相连，用以在所述移动机器人移动时对地面执行清洁作业。

本申请在第五方面公开一种计算机可读存储介质，存储有至少一个程序，所述程序被处理器执行时，实现如前所述移动机器人的控制方法中的各个步骤。

本申请公开的移动机器人及其控制方法和控制系统，可控制摄像装置进行拍摄以获取包含地面的图像，对所拍摄的至少一幅包含地面的图像进行识别，在识别出图像中存在柔性缠绕物时对移动机器人的行为进行控制。利用本申请，可针对柔性缠绕物进行有效地检测，并可根据检测结果对移动机器人的行为进行相应的控制。

附图说明

图1显示为本申请移动机器人在一实施例中的结构示意图。

图2显示为前后时刻所获取的两幅图像中相匹配特征的位置变化关系示意图。

图3显示为本申请清洁机器人在一实施例中的结构示意图。

图4显示为本申请移动机器人的控制方法在一实施例中的流程示意图。

图5显示为图4的细化流程示意图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变.下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。

虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一预设阈值可以被称作第二预设阈值，并且类似地，第二预设阈值可以被称作第一预设阈值，而不脱离各种所描述的实施例的范围。第一预设阈值和预设阈值均是在描述一个阈值，但是除非上下文以其他方式明确指出，否则它们不是同一个预设阈值。相似的情况还包括第一音量与第二音量。

再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示.应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加.此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合.因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

本申请涉及移动机器人领域，移动机器人是自动执行特定工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外，可用于工业、商业或家庭，可用于取代保安巡视、取代迎宾员或点餐员、或取代人们清洁地面，还可用于家庭陪伴、辅助办公等。以最为常见的清洁机器人为例，清洁机器人，又名自动扫地机、智能吸尘器等，是智能家用电器的一种，能完成清扫、吸尘、擦地等清洁工作。具体地，清洁机器人可受人控制(操作人员手持遥控器)或按照一定的设定规则自行在房间内完成地面清洁工作。

由于工作场景环境的复杂性，移动机器人在工作模式下移动时很可能会遭遇到各类的障碍物，因此，需要及时检测到障碍物并以作出相应的行为调整是移动机器人的一项必要技能。然后，现有技术中的移动机器人在工作过程中由于对于某些障碍物的检测仍存在缺失，特别是针对一些柔性缠绕物的检测存在盲点。以清洁机器人为例，例如，清洁机器人在室内进行清洁作业时，通过常规的红外测距检测或超声波测距检测无法轻易地检测到地面上的柔性缠绕物(例如线缆、绳索、丝带等)，若清洁机器人不作相应的行为控制，那么这些柔性缠绕物不仅可能会缠住清洁机器人的轮子而使得移动机器人无法移动并在严重时可能会使得清洁机器人倒地而引发安全事故还可能缠绕住清洁机器人的清洁系统，例如缠绕住清洁刷、缠绕或堵塞住吸尘部件等使得清洁机器人无法进行清洁工作。

基于上述清洁机器人的示例而推及至其他应用场景下所使用的移动机器人，为了提高移动机器人针对柔性缠绕物的检测及相应的行为控制，本申请提供一种移动机器人的控制系统。请参见图1，显示为本申请移动机器人在一实施例中的结构示意图。如图1所示，所述移动机器人包含存储装置11、摄像装置13、处理装置15、以及移动系统17。

存储装置11存储有同时定位与地图构建应用及行为控制应用。

所述同时定位与地图构建应用即SLAM(Simultaneous Localization And Mapping)应用，SLAM应用是智能机器人领域中的基础应用。移动机器人的定位技术可以包括允许移动机器人相对于其周边确定其位置和导向(或“姿态”)的过程，可以构件其周边地图的移动机器人可以在地图中定位其本身，以展示自主程度。问题可以描述为当移动机器人在未知环境中时，是否有办法让移动机器人一边逐步描绘出此环境完全的地图，同时一边决定移动机器人应该往哪个方向行进，也就是说，要实现智能化需要完成三个任务，第一个是定位(Localization)，第二个是建图(Mapping)，第三个则是随后的路径规划(Navigation)。本申请中的行为控制应用是指根据所设定的信息或指令控制移动机器人导航、进行导向(或“姿态”)调整等。“姿态”在本文中包括移动机器人在移动空间内的位置(例如，x、y坐标地点)，以及相对于例如在移动空间内的基本物(例如墙壁)或基本方向的所述移动机器人的角度导向。需说明的是，为了补偿基于SLAM技术所构建的地图的误差，一种基于视觉同时定位与地图构建的技术(Visual Simultaneous Localization and Mapping，简称VSLAM)可利用基于图像传感器中的图像数据对传感器所提供的移动信息的误差进行补偿，可为清洁机器人提供更精准的导航能力。

所述行为控制应用是智能机器人领域中的基础应用，其与处理装置15和移动系统17相关联。利用所述行为控制应用，可使得处理装置15能对移动系统17进行控制。在实际应用中，所述行为控制应用可与前述的SLAM应用相结合，那么，处理装置15可根据SLAM应用所获得定位信息和地图信息来向移动系统17发出控制指令以令移动系统执行相应的行为。“行为”在本文中包括移动机器人的移动和姿态。

此外，存储装置11还预存有至少一个标准件的标准物理特征。其中，所述标准件可包括基于行业标准、国家标准、国际标准、和自定义标准中的至少一种标准而设计的标准件。例如，行业标准如机械行业标准JB、建筑材料行业标准JC等；国家标准如中国GB标准、德国DIN标准、英国BS标准等；国际标准如国际ISO标准；自定义标准稍后详述。所述标准物理特征可包括轮廓尺寸、标准结构关系等，例如，标准件的标准物理特征包括标准件实际物理上的长、宽、高，标准件中对应标准的实际物理上的其他尺寸数据等。例如，电源插座上两孔间距。又如电源插座的长宽值。再如底板的长宽值或地砖的长宽值。还比如地毯的长宽值及厚度。

在此，存储装置11包括但不限于：只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、非易失性存储器(Nonvolatile RAM，简称NVRAM)，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储装置11还可以包括远离一个或多个处理器的存储器，例如，经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。存储器控制器可控制移动机器人的诸如中央处理器(CPU)和外设接口之类的其他组件对存储装置的访问。

摄像装置13用于在移动机器人的工作模式下获取操作环境的图像。摄像装置13包括但不限于：照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等。摄像装置13的供电系统可受移动机器人的供电系统控制，当移动机器人上电移动期间，摄像装置13即开始拍摄图像，并提供给处理装置15。例如，清洁机器人中的摄像装置将所拍摄的室内图像以预设视频格式缓存在存储装置11中，并由处理装置15获取。摄像装置13用于在移动机器人移动期间拍摄图像。在此，在某些实施方式中，摄像装置13可设置于移动机器人的顶面。例如，清洁机器人中的摄像装置设置于其壳体的顶面的中部、或边缘上。摄像装置的视野光学轴相对于垂线为±30°。例如，清洁机器人的摄像装置的光学轴相对于垂线的夹角为-30°、-29°、-28°、-27°、……、-1°、0°、1°、2°、……、29°、或30°。在某些实施方式中，摄像装置13可设置于移动机器人的顶面与侧面的交接处。例如，在清洁机器人壳体的顶面与侧面的交接处设置至少一个凹陷结构(所述凹陷结构可设于壳体的前端、后端或者侧端)，将摄像装置设置于所述凹陷结构内。摄像装置中的镜头光学轴与所述壳体的顶部表面所定义的平面(所述壳体的顶部表面所定义的平面可与水平面相一致，即当将所述移动机器人平稳放置于一水平面时，所述壳体的顶部表面所定义的平面与所述水平面相平行)的夹角α为61°至85°，即摄像装置中的镜头光学轴与所述壳体的顶部表面所定义的平面的夹角α为61°、62°、63°、64°、65°、66°、67°、68°、69°、70°、71°、72°、73°、74°、75°、76°、77°、78°、79°、80°、81°、82°、83°、84°、85°。摄像装置中的镜头为前倾设计，可捕捉到更多的环境信息。例如，前倾设计的摄像装置相比于镜头竖直朝上的摄像装置能更多地捕捉到清洁机器人前方的环境图像，比如，清洁机器人前方的部分地面区域。需要说明的是，本领域技术人员应该理解，上述光学轴与垂线或壳体的顶部表面的夹角的取值为整数但并非限制其夹角精度为1°的范围内，根据实际移动机器人的设计需求，所述夹角的精度可更高，如达到0.1°、0.01°以上等，在此不做无穷尽的举例。

处理装置15包括一个或多个处理器。处理装置15可操作地与存储装置11中的只读存储器、随机存取存储器和/或非易失性存储器耦接。处理装置15可执行在只读存储器、随机存取存储器和/或非易失性存储器中存储的指令以在机器人中执行操作，诸如提取图像中的特征并基于特征在地图中进行定位、或者获取图像并对图像进行识别等。如此，处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(Digital Signal Processor，简称DSP)、一个或多个现场可编程逻辑阵列(Field Programmable Gate Array，简称FPGA)、或它们的任何组合。处理装置15还与I/O端口和输入结构可操作地耦接，该I/O端口可使得移动机器人能够与各种其他电子设备进行交互，该输入结构可使得用户能够与计算设备进行交互。因此，输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备可以是所述移动机器人中移动装置中的移动电机，或移动机器人中专用于控制移动装置和清扫装置的从处理器，如微控制单元(Microcontroller Unit，简称MCU)。

在一种示例中，处理装置15通过数据线分别连接存储装置11和摄像装置13。处理装置15通过数据读写技术与存储装置11进行交互，处理装置15通过接口协议与摄像装置13进行交互。其中，所述数据读写技术包括但不限于：高速/低速数据接口协议、数据库读写操作等。所述接口协议包括但不限于：HDMI接口协议、串行接口协议等。

处理装置15用于在移动机器人的工作模式下，控制所述摄像装置进行拍摄以获取包含地面的图像，并在识别出所述图像中存在柔性缠绕物时自所述存储装置中调用同时定位与地图构建应用及行为控制应用以对所述移动机器人的行为进行控制。

处理装置15用以从摄像装置13所拍摄的图像中获取至少一幅图像，并对所述至少一幅图像进行识别以检测所述至少一幅图像中是否存在柔性缠绕物。

如前所述，一般地，移动机器人在工作模式下在工作面(例如地面)上移动时，对地面上的柔性缠绕物的检测存在缺失。因此，在本申请中，在移动机器人的工作模式下，可控制摄像装置13进行拍摄以获取包含地面的图像，这里的“地面”更可具体为移动机器人对照行走路径而在后续会移动到的地面。以清洁机器人为例，在某些实施例中，可利用摄像装置13进行拍摄以获取位于清洁机器人移动方向前方的地面的图像。

对所述至少一幅图像进行柔性缠绕物的识别是利用一柔性缠绕物图像分类器实现的，即，在识别时，将待识别的图像作为一输入输入到柔性缠绕物图像分类器中即可输出识别结果。在本实施例中，所述柔性缠绕物图像分类器是经卷积神经网络训练得到的。卷积神经网络(Convolutional Neural Network，CNN)是深度神经网络的一种体系结构，其与图像处理有着密切的关系。卷积神经网络的权值共享网络结构使之更类似于生物神经网络，这样的结构不但降低了网络模型的复杂度，而且减少了权值的数量，这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。卷积神经网络可以将图像直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。基于这些优点，使它在图像识别中有着得天独厚的优势。

所述柔性缠绕物图像分类器是经卷积神经网络训练得到的。

在某些实施例中，所述训练可包括：首先，制作训练样本集，采集含有符合预设规则的柔性缠绕物的图像作为训练样本。之后，根据制作的所述训练样本集进行训练，得到柔性缠绕物图像分类器。其中，在制作训练样本集时，在一种实施方式中，可自行采集符合预设规则的柔性缠绕物的图像，例如，从网络中搜索相关的柔性缠绕物的图像或自行拍摄相关的柔性缠绕物的图像，并从中选取符合预设规则的典型的柔性缠绕物的图像并将其作为训练样本。而在其他实施方式中，也可从已有的各类柔性缠绕物的标准库中选取部分或全部的柔性缠绕物的图像作为训练样本，例如，分别从不同的柔性缠绕物的标准库中选取部分或全部的柔性缠绕物的图像，将它们组合后形成训练样本集，或者，从不同的柔性缠绕物的标准库选择至少一个标准库，将选中的至少一个标准库中的部分或全部的图像确定为训练样本集。在这里，作为训练样本的包含柔性缠绕物的图像可以是背景单一(例如，背景为单一纯色)的简单图像也可以是在实物背景下的图像。由于在本申请中，移动机器人控制摄像装置13进行拍摄所获取的是包含地面的图像，因此，作为训练样本的图像可以是包含有柔性缠绕物的地面图像。落实到具体的柔性缠绕物，在本申请中，所述柔性缠绕物包括但不限于以下几类：线缆、绳索、丝带、鞋带、毛巾、布头、棉絮、植物藤蔓等。至于地面，根据实际应用环境，所述地面包括但不限于以下几类：水泥地面、涂漆的地面、铺设复合地板的地面、铺设实木地板的地面、铺设地毯的地面等。因此，针对特定的柔性缠绕物，可制作对应的训练样本集，即，可制作对应线缆的线缆训练样本集(例如，各类线缆在不同地面上以不同型态呈现的图像)、对应绳索的绳索训练样本集(例如，各类绳索在不同地面上以不同型态呈现的图像)、对应丝带的丝带训练样本集(例如，各类丝带在不同地面上以不同型态呈现的图像)、对应布头的布头训练样本集(例如，各类布头在不同地面上以不同型态呈现的图像)、对应棉絮的棉絮训练样本集(例如，各类棉絮在不同地面上以不同型态呈现的图像)、对应植物藤蔓的植物藤蔓训练样本集(例如，各类植物藤蔓在不同地面上以不同型态呈现的图像)等。另外，可补充说明的是，在将制作的训练样本集进行训练之前，还可对训练样本集中的图像进行相应的图像预处理。在某些实施例中，所述图像预处理包括但不限于：将训练样本集中的图像进行裁剪、压缩、灰度处理、图像滤波和/或噪声过滤处理等。

在某些实施例中，所述训练可包括：首先，制作训练样本集，采集含有符合预设规则的柔性缠绕物的图像作为正样本以及采集不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像作为负样本。之后，根据制作的训练样本集进行训练，得到柔性缠绕物图像分类器。其中，针对采集含有符合预设规则的柔性缠绕物的图像作为正样本，在一种实施方式中，可自行采集符合预设规则的柔性缠绕物的图像，例如，从网络中搜索相关的柔性缠绕物的图像或自行拍摄相关的柔性缠绕物的图像，并从中选取符合预设规则的典型的柔性缠绕物的图像并将其作为正样本。而在其他实施方式中，也可从已有的各类柔性缠绕物的标准库中选取部分或全部的柔性缠绕物的图像作为正样本，例如，分别从不同的柔性缠绕物的标准库中选取部分或全部的柔性缠绕物的图像，将它们组合后形成正样本集，或者，从不同的柔性缠绕物的标准库选择至少一个标准库，将选中的至少一个标准库中的部分或全部的图像确定为正样本。在这里，作为正样本的包含柔性缠绕物的图像可以是背景单一(例如，背景为单一纯色)的简单图像也可以是在实物背景下的图像。由于在本申请中，移动机器人控制摄像装置13进行拍摄所获取的是包含地面的图像，因此，作为正样本的图像可以是包含有柔性缠绕物的地面图像。落实到具体的柔性缠绕物，在本申请中，所述柔性缠绕物包括但不限于以下几类：线缆、绳索、丝带、鞋带、毛巾、布头、棉絮、植物藤蔓等。至于地面，根据实际应用环境，所述地面包括但不限于以下几类：水泥地面、涂漆的地面、铺设复合地板的地面、铺设实木地板的地面、铺设地毯的地面等。因此，针对特定的柔性缠绕物，可制作对应的正样本，即，可制作对应线缆的线缆正样本集(例如，各类线缆在不同地面上以不同型态呈现的图像)、对应绳索的绳索正样本集(例如，各类绳索在不同地面上以不同型态呈现的图像)、对应丝带的丝带正样本集(例如，各类丝带在不同地面上以不同型态呈现的图像)、对应布头的布头正样本集(例如，各类布头在不同地面上以不同型态呈现的图像)、对应棉絮的棉絮正样本集(例如，各类棉絮在不同地面上以不同型态呈现的图像)、对应植物藤蔓的植物藤蔓正样本集(例如，各类植物藤蔓在不同地面上以不同型态呈现的图像)等。针对采集不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像作为负样本，在一种实施方式中，可自行采集不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像，例如，从网络中搜索相关的不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像或自行拍摄不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像，并从中选取不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像并将其作为负样本。而在其他实施方式中，也可从已有的各类不含有柔性缠绕物的标准库中选取部分或全部的图像作为负样本，例如，分别从不同的不含有柔性缠绕物的标准库中选取部分或全部的图像，将它们组合后形成负样本集，或者，从不同的不含有柔性缠绕物的标准库选择至少一个标准库，将选中的至少一个标准库中的部分或全部的图像确定为负样本。落实到具体的柔性缠绕物，在本申请中，所述柔性缠绕物包括但不限于以下几类：线缆、绳索、丝带、鞋带、毛巾、布头、棉絮、植物藤蔓等。至于地面，根据实际应用环境，所述地面包括但不限于以下几类：水泥地面、涂漆的地面、铺设复合地板的地面、铺设实木地板的地面、铺设地毯的地面等。因此，针对特定的柔性缠绕物，可制作对应的负样本集，即，可制作对应线缆的线缆负样本集(例如，不含有线缆或含有不符合预设规则的线缆在不同地面上的图像)、对应绳索的绳索负样本集(例如，不含有绳索或含有不符合预设规则的绳索在不同地面上的图像)、对应丝带的丝带负样本集(例如，不含有丝带或含有不符合预设规则的丝带在不同地面上的图像)、对应布头的布头负样本集(例如，不含有布头或含有不符合预设规则的布头在不同地面上的图像)、对应棉絮的棉絮负样本集(例如，不含有棉絮或含有不符合预设规则的棉絮在不同地面上的图像)、对应植物藤蔓的植物藤蔓负样本集(例如，不含有植物藤蔓或含有不符合预设规则的植物藤蔓在不同地面上的图像)等。另外，可补充说明的是，在将制作的训练样本集进行训练之前，还可对训练样本集中的图像进行相应的图像预处理。在某些实施例中，所述图像预处理包括但不限于：将训练样本集中的图像进行截取、压缩、灰度处理、图像滤波和/或噪声过滤处理等。

后续，即可利用训练得到的柔性缠绕物图像分类器对图像进行识别。在本申请中，在进行图像识别时，将待识别的图像作为一输入输入到柔性缠绕物图像分类器中，即可由柔性缠绕物图像分类器输出相应的识别结果。在某些实施例中，利用柔性缠绕物图像分类器对图像进行识别可至少包括如下步骤：对待识别的图像进行图像预处理；对图像预处理后的所述图像进行特征提取；将待识别的图像的特征输入到柔性缠绕物图像分类器，得到识别结果。

其中，对待识别的图像进行图像预处理包括但不限于：对待识别的图像进行裁剪、压缩、灰度处理、阈值化处理等，当然，所述预处理还可包括图像滤波、噪声滤波处理等。以灰度处理和阈、值化处理为例，对待识别的图像进行灰度处理以得到灰度图像，对灰度处理后的灰度图像进行阈值化处理(例如，所述灰度图像经二值化处理后可变成能反映图像整体和局部特征的二值化图像，即黑白图像)。对图像预处理后的所述图像进行特征提取包括但不限于：提取待识别的图像的轮廓特征、纹理特征等。

值得注意的是：在某些实施例中，前述用于进行柔性缠绕物识别的柔性缠绕物图像分类器可预存于存储装置11中。在一种实现方式中，在移动机器人在出售给终端用户之前(例如，在移动机器人被制造出厂之前，或，移动机器人被下发到各个销售点之前，或移动机器人在销售点被贩售给终端用户之前)，柔性缠绕物图像分类器被写入到存储装置11中，一般地，可对柔性缠绕物图像分类器设置权限，禁止终端用户对其进行改动。当然，并不以此为限，例如，所述柔性缠绕物图像分类器也可开放部分权限或全部权限，可允许终端用户对其进行改动(例如，修改或增减操作等)。或者，所述柔性缠绕物图像分类器也可在移动机器人联网并与相应的厂商服务器或应用服务商服务器建立通信连接后进行更新操作。在其他实施方式中，所述柔性缠绕物图像可存储于与移动机器人远程通信的云端系统中，如此，在进行图像识别时，处理装置15可从摄像装置13所拍摄的图像中获取至少一幅图像并将所述至少一幅图像发送至与移动机器人远程通信的云端系统中，由云端系统中的柔性缠绕物图像分类器对所述至少一幅图像进行识别并将识别结果再远程发送给移动机器人。

因此，利用处理装置15可从摄像装置13所拍摄的图像中获取至少一幅图像并利用柔性缠绕物图像分类器对所述至少一幅图像进行识别，由此可检测出所述至少一幅图像中是否存在柔性缠绕物且获得所存在的柔性缠绕物的具体类别。

处理装置15还可用于在识别出图像中存在柔性缠绕物时自存储装置11中调用同时定位与地图构建应用及行为控制应用以对移动机器人的行为进行控制。

处理装置15用于调用所述定位与地图构建应用以执行：获取前、后时刻的至少两幅图像中相匹配特征的位置，并依据图像坐标系与物理空间坐标系的对应关系和所述相匹配特征的位置确定移动机器人的位置及姿态。

在本申请中，存储装置11还存储有图像坐标系与物理空间坐标系的对应关系。其中，所述图像坐标系是基于图像像素点而构建的图像坐标系，摄像装置13所拍摄的图像中各个图像像素点的二维坐标参数可由所述图像坐标系描述。所述图像坐标系可为直角坐标系或极坐标系等。所述物理空间坐标系及基于实际二维或三维物理空间中各位置而构建的坐标系，其物理空间位置可依据预设的图像像素单位与单位长度(或单位角度)的对应关系而被描述在所述物理空间坐标系中。所述物理空间坐标系可为二维直角坐标系、极坐标系、球坐标系、三维直角坐标系等。

对于所使用场景的地面复杂度不高的移动机器人来说，该对应关系可在出厂前预存在所述存储装置中。然而，对于使用场景的地面复杂度较高的移动机器人，例如清洁机器人来说，可利用在所使用的场地进行现场测试的方式得到所述对应关系并保存在存储装置11中。在某些实施方式中，所述移动机器人还包括移动传感装置(未予图示)，用于获取机器人的移动信息。其中，所述移动传感装置包括但不限于：位移传感器、陀螺仪、速度传感器、测距传感器、悬崖传感器等。在机器人移动期间，移动传感装置不断侦测移动信息并提供给处理装置。所述位移传感器、陀螺仪、速度传感器等可被集成在一个或多个芯片中。所述测距传感器和悬崖传感器可设置在机器人的体侧。例如，清洁机器人中的测距传感器被设置在壳体的边缘；清洁机器人中的悬崖传感器被设置在机器人底部。根据机器人所布置的传感器的类型和数量，处理装置所能获取的移动信息包括但不限于：位移信息、角度信息、与障碍物之间的距离信息、速度信息、行进方向信息等。

为了构建所述对应关系，在某些实施方式中，所述移动机器人还包括初始化装置(未予图示)，所述初始化装置可基于前后时刻的至少两幅图像中相匹配特征的位置和自所述前一时刻至所述当前时刻所获取的移动信息，构建所述对应关系。在此，所述初始化装置可以是一种程序模块，其程序部分存储在存储装置中，并经由处理装置的调用而被执行。当所述存储装置中未存储所述对应关系时，所述处理装置调用初始化装置以构建所述对应关系。

在此，初始化装置在机器人移动期间获取所述移动传感装置所提供的移动信息以及获取摄像装置13所拍摄的各个图像。为了减少移动传感装置的累积误差，所述初始化装置可在机器人移动的一小段时间内获取所述移动信息和至少两幅图像。例如，所述初始化装置在监测到机器人处于直线移动时，获取所述移动信息和至少两幅图像。又如，所述初始化装置在监测到机器人处于转弯移动时，获取所述移动信息和至少两幅图像。其中，在转弯移动时获取至少两幅图像的间隔时间可比在直线移动时获取至少两幅图像的间隔时间要短。

接着，所述初始化装置对各个图像中的特征进行识别和匹配并得到相匹配特征在各个图像中的图像位置。其中特征包括但不限于角点特征、边缘特征、直线特征、曲线特征等。例如，所述初始化装置可依据一跟踪装置(未予图示)来获取相匹配特征的图像位置。所述跟踪装置用于跟踪前后时刻至少两幅图像中包含相同特征的位置。

所述初始化装置再根据所述图像位置和移动信息所提供的物理空间位置来构建所述对应关系。在此，所述初始化装置可通过构建物理空间坐标系和图像坐标系的特征坐标参数来建立所述对应关系。例如，所述初始化装置可依据所拍摄前一时刻图像所在物理空间位置为物理空间坐标系的坐标原点，并将该坐标原点与图像中相匹配的特征在图像坐标系中的位置进行对应，从而构建两个坐标系的对应关系。

需要说明的是，所述初始化装置的工作过程可以基于用户的指令来执行，或对用户透明。例如，所述初始化装置的执行过程是基于存储装置11中未存储所述对应关系、或所述对应关系需要被更新时而启动的。在此不做限制。

所述对应关系可由对应算法的程序、数据库等方式保存在所述存储装置中。为此，存储在存储器中的软件组件包括操作系统、通信模块(或指令集)、接触/运动模块(或指令集)、图形模块(或指令集)、以及应用(或指令集)。此外，存储装置还保存有包含摄像装置所拍摄的图像、处理装置在进行定位运算时所得到的位置及姿态在内的临时数据或持久数据。

在构建了所述对应关系后，所述处理装置获取当前时刻图像和前一时刻图像中相匹配的特征，并依据所述对应关系和所述特征确定机器人的位置及姿态。

在此，处理装置15可按照预设的时间间隔或图像数量间隔获取前一时刻t1和当前时刻t2的两幅图像，识别并匹配两幅图像中的特征。其中，根据所使用的硬件和软件处理能力的设计，所述时间间隔可在几毫秒至几百毫秒之间选择，所述图像数量间隔可在0帧至几十帧之间选择。所述特征包括但不限于：形状特征、和灰度特征等。所述形状特征包括但不限于：角点特征、直线特征、边缘特征、曲线特征等。所述灰度色特征包括但不限于：灰度跳变特征、高于或低于灰度阈值的灰度值、图像中包含预设灰度范围的区域尺寸等。

为了能够准确定位，所匹配特征的数量通常为多个，例如在10个以上。为此，处理装置15根据所识别的特征在各自图像中位置，从所识别出的特征中寻找能够匹配的特征。例如，请参阅图2，显示为在t1时刻和t2时刻所获取的两幅图像中相匹配特征的位置变化关系示意图。处理装置15在识别出各个图像中的特征后，确定图像P1中包含特征a1和a2，图像P2中包含特征b1、b2和 b3，且特征a1与b1和b2均属于同一特征，特征a2与b3属于同一特征，处理装置15可先确定在图像P1中的特征a1位于特征a2的左侧且间距为d1像素点；同时还确定在图像P2中的特征b1位于特征b3的左侧且间距为d1’像素点，以及特征b2位于特征b3右侧且间距为d2’像素点。处理装置15根据特征b1与b3的位置关系、特征b2与b3的位置关系分别与特征a1与a2的位置关系，以及特征b1与b3的像素间距、特征b2与b3的像素间距分别与特征a1与a2的像素间距进行匹配，从而得到图像P1中特征a1与图像P2中特征b1相匹配，特征a2与特征b3相匹配。以此类推，处理装置15将所匹配的各特征，以便于依据各所述特征所对应的图像像素的位置变化来定位机器人的位置及姿态。其中，所述机器人的位置可依据在二维平面内的位移变化而得到，所述姿态可依据在二维平面内的角度变化而得到。

在此，处理装置15可以根据所述对应关系，确定两幅图像中多个特征的图像位置偏移信息、或确定多个特征在物理空间中的物理位置偏移信息，并综合所得到的任一种位置偏移信息来计算机器人自t1时刻至t2时刻的相对位置及姿态。例如，通过坐标变换，处理装置15得到机器人从拍摄图像P1时刻t1至拍摄图像P2时刻t2的位置和姿态为：在地面上移动了m长度以及向左旋转了n度角。以清洁机器人为例，当清洁机器人已建立地图时，依据处理装置15得到的位置及姿态可帮助清洁机器人确定是否在导航的路线上。当清洁机器人未建立地图时，依据处理装置15得到的位置及姿态可帮助清洁机器人确定相对位移和相对转角，并借此数据进行地图绘制。

处理装置15还用于调用所述定位与地图构建应用以执行：获取至少一幅图像，依据所述至少一幅图像中特征的位置确定所述至少一幅图像中柔性缠绕物的位置以及依据所述至少一幅图像中的标准量度确定所述柔性缠绕物的尺寸信息。

处理装置15可采用基于卷积神经网络的图像识别方法、基于小波矩的图像识别方法等图像识别方法对摄像装置13所拍摄的图像进行处理、分析和理解，以识别各种不同模式的目标和对象。此外，所述处理装置还可通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析来寻求相似图像目标。

在一实施例中，以清洁机器人为例，由于清洁机器人通常进行室内清洁工作，因而通过摄像装置所拍摄的图像中的实物一般会包括例如墙、桌、沙发、衣柜、电视机、电源插座、网线插座等。在本示例中，首先，摄像装置13在清洁机器人的导航操作环境下拍摄图像之后将所述图像提供给处理装置15，处理装置15通过图像识别来识别所拍摄的图像中实物的图形。其中，所述实物的图形可以由实物的灰度、实物的轮廓等特征表征。同时，所述实物的图形并不限于实物的外部几何图形，还可包括实物上呈现出的其他图形，例如电源插座上的二孔插口、五孔插口，网线插座上的方形插口等。鉴于此，例如，对于外部几何图形相近的电源插座和网线插座，则可利用电源插座的五孔插口与网线插座的方形插口来辨别。此外，在清洁机器人的摄像装置在室内可拍摄的图像中的实物包括电源插座、网线插座的情况下，由于电源插座、网线插座是根据GB标准设计的，因而不会因其所处的环境不同而有所变化，因此，可以作为标准件。标准件的标准物理特征可包括电源插座的长、宽、高，电源插座上五孔插口的结构关系等。在某些实施方式中，标准件的图形和标准件的标准物理特征可以是预设的，并且利用机器人的存储装置预先存储。因此，获取标准件的标准物理特征的方式包括自机器人的存储装置中读取预设的标准物理特征。其中，所述标准件可包括基于行业标准、国家标准、国际标准、和自定义标准中的至少一种标准而设计的标准件。例如，行业标准如机械行业标准JB、建筑材料行业标准JC等；国家标准如中国GB标准、德国DIN标准、英国BS标准等；国际标准如国际ISO标准；自定义标准稍后详述。所述标准物理特征可包括轮廓尺寸、标准结构关系等，例如，标准件的标准物理特征包括标准件实际物理上的长、宽、高，标准件中对应标准的实际物理上的其他尺寸数据等。例如，电源插座上两孔间距。又如电源插座的长宽值。再如底板的长宽值或地砖的长宽值。还比如地毯的长宽值及厚度。

此外，针对所识别的图像中实物的图形和所存储的标准件的图形，处理装置15通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析来确定所识别的至少一个图形与所存储的标准件的图形是否对应，当所识别的至少一个图形与所存储的标准件的图形对应时，获取标准件的标准物理特征。其中，与所存储的标准件的图形对应的所述至少一个图形被称为标准图形。以电源插座为例，存储装置11存储有标准电源插座图形，处理装置15通过对图像容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析来确定所识别的至少一个图形与所存储的电源插座的图形是否对应，当所识别的至少一个图形与所存储的电源插座的图形对应时，获取电源插座的标准物理特征。

因此，基于预设的单位像素间隔与实际物理空间中单位长度的对应关系以及所识别的标准图形的尺寸和所对应的标准物理特征中的实物尺寸，处理装置15即可计算出图像中存在的柔性缠绕物在当前物理空间内的位置及其尺寸信息。以设置在墙上的插座为例，当处理装置识别出插座以及墙与底面的交界线、或识别出插座并默认插座被安装在墙上时，按照上述对应关系，处理装置15不仅可得到柔性缠绕物在当前物理空间内的位置(例如，所述柔性缠绕物与插座的距离和偏角，所述移动机器人相距插座的距离和偏角，所述移动机器人相距柔性缠绕物的距离和偏角等)，处理装置15还可以利用插座的标准量度(例如插座的边框的长宽值或插座中插孔的间距等)的空间位置关系得到柔性缠绕物的尺寸(例如柔性缠绕物的长度和粗细)以及柔性缠绕物所覆盖的区域。

处理装置15调用同时定位与地图构建应用及行为控制应用以对所述移动机器人的行为进行控制。在本申请中，所述行为控制应用是指根据所设定的信息或指令控制移动机器人导航、进行姿态调整等。利用所述行为控制应用，可使得处理装置15能对移动机器人的移动系统17进行控制。

移动系统17与处理装置15相连，用于基于处理装置15所发出的控制指令而驱动移动机器人移动。于实际的实施方式中，移动系统17可包括行走机构和驱动机构，其中，所述行走机构可设置于移动机器人的底部，所述驱动机构内置于所述移动机器人的壳体内。进一步地，所述行走机构可采用行走轮方式，在一种实现方式中，所述行走机构可例如包括至少两个万向行走轮，由所述至少两个万向行走轮实现前进、后退、转向、以及旋转等移动。在其他实现方式中，所述行走机构可例如包括两个直行行走轮和至少一个辅助转向轮的组合，其中，在所述至少一个辅助转向轮未参与的情形下，所述两个直行行走轮主要用于前进和后退，而在所述至少一个辅助转向轮参与并与所述两个直行行走轮配合的情形下，就可实现转向和旋转等移动。所述驱动机构可例如为驱动电机，利用所述驱动电机可驱动所述行走机构中的行走轮实现移动。在具体实现上，所述驱动电机可例如为可逆驱动电机，且所述驱动电机与所述行走轮的轮轴之间还可设置有变速机构。

如前所述，当处理装置15在摄像装置13所拍摄的至少一幅图像中识别出柔性缠绕物时，自存储装置11中调用同时定位与地图构建应用及行为控制应用以对移动机器人的行为进行控制。鉴于柔性缠绕物的类别、尺寸、以及位置等信息，处理装置15对移动机器人可采用不同的行为控制方式，其中，所述移动机器人的行为可至少包括但不限于：移动机器人的移动和移动机器人的姿态。

在某些实施例中，处理装置15调用同时定位与地图构建应用及行为控制应用以对移动机器人的行为进行控制的方式可包括：基于柔性缠绕物的信息，向移动系统17发出控制指令以控制移动机器人按照原导航路线移动并越过所述柔性缠绕物。具体地，若处理装置15识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物不会干扰到移动机器人的正常运作的情形下，处理装置15向移动系统17发出控制指令以控制移动机器人按照原导航路线移动并越过所述柔性缠绕物。以清洁机器人为例，在一示例中，若判断图像中的柔性缠绕物为线缆或绳索，所述线缆或绳索的直径较小且规则摆放，或者，判断图像中的柔性缠绕物为尺寸较大的布头且所述布头平铺于地面，处理装置15则可控制清洁机器人按照原导航路线移动并越过所述柔性缠绕物。其中，在控制清洁机器人按照原导航路线移动的过程中，可采用多种实施方式。在一实施方式中，控制清洁机器人按照原导航路线移动为控制清洁机器人以原移动速度及原姿态按照原导航路线进行移动。在另一实施方式中，控制清洁机器人按照原导航路线移动为控制清洁机器人改变原移动速度并以原姿态按照原导航路线进行移动，在这里，改变原移动速度可包括增加移动速度和减小移动速度。在又一实施方式中，控制清洁机器人按照原导航路线移动为控制清洁机器人改变移动速度和改变姿态并以原姿态按照原导航路线进行移动，在这里，改变原移动速度可包括增加移动速度和减小移动速度。

在某些实施例中，处理装置15调用同时定位与地图构建应用及行为控制应用以对移动机器人的行为进行控制的方式可包括：基于柔性缠绕物的信息，向移动系统17发出控制指令以控制移动机器人修改原导航路线并越过所述柔性柔性缠绕物。具体地，若处理装置15识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物在原导航路线下很可能会干扰到移动机器人的正常运作但通过改变原导航路线则可避免的情形下，处理装置15向移动系统17发出控制指令以控制移动机器人修改原导航路线移动并越过所述柔性缠绕物。以清洁机器人为例，在一示例中，若判断图像中的柔性缠绕物的摆放可能干扰到移动机器人的正常运作(例如线缆、绳索或线头在长度方向上的摆放与原导航路线基本一致，或者线缆、绳索、线头、丝带等恰好位于按照原导航路线下清洁机器人的行走轮或吸尘进气口下方位置)，处理装置15则可控制清洁机器人修改原导航路线移动并越过所述柔性缠绕物，例如，修改原导航路线，使得修改后的导航路线与柔性缠绕物的摆放方向相垂直，可使得清洁机器人越过柔性缠绕物，或者，修改原导航路线，使得清洁机器人越过柔性缠绕物时，柔性缠绕物不会处于新的导航轮线中清洁机器人的管轮或或吸尘进气口下方位置。其中，在控制清洁机器人修改原导航路线并安装修改后的导航路线移动的过程中，清洁机器人的移动速度可有不同的实施方式，其移动速度既可以保持不变，也可以增加移动速度或减小移动速度。

在某些实施例中，处理装置15调用同时定位与地图构建应用及行为控制应用以对移动机器人的行为进行控制的方式可包括：基于柔性缠绕物的信息，向移动系统17发出控制指令以控制移动机器人修改原导航路线以避开所述柔性缠绕物。具体地，若处理装置15识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物很可能会干扰到移动机器人的正常运作的情形下，处理装置15向移动系统17发出控制指令以控制移动机器人修改原导航路线以避开所述柔性缠绕物。以清洁机器人为例，在一示例中，若判断图像中的柔性缠绕物为线缆、绳索、或布头且所述线缆或绳索不规则摆放，或者，判断图像中的柔性缠绕物为线缆或绳索且所述尺寸较大，或者，判断图像中的柔性缠绕物为线头或丝带，处理装置15则可控制清洁机器人修改原导航路线移动，避开所述柔性缠绕物。

在某些实施例中，处理装置15调用同时定位与地图构建应用及行为控制应用以对移动机器人的行为进行控制的方式可包括：基于柔性缠绕物的信息，向移动系统17发出控制指令以控制移动机器人停止移动。具体地，若处理装置15识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物很可能会干扰到移动机器人的正常运作的情形下或者无法有效判断所述柔性缠绕物对移动机器人的正常运作的干扰程度的情形下，处理装置15向移动系统17发出控制指令以控制移动机器人停止移动。在实际应用中，也可作这样的设置：即，一旦识别出图像中存在有柔性缠绕物，则可省去对所述柔性缠绕物的尺寸、摆放等信息进行计算及判断等操作，可直接向移动系统17发出控制指令以控制移动机器人停止移动。

另外，在某些实施例中，处理装置15调用同时定位与地图构建应用及行为控制应用以对移动机器人的行为进行控制的方式可包括：基于柔性缠绕物的信息，忽略所述柔性缠绕物，向移动系统17发出控制指令以控制移动机器人按照原导航路线进行移动。具体地，若处理装置15识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物不在原导航路线上的情形下，处理装置15向移动系统17发出控制指令以控制移动机器人按照原导航路线进行移动。以清洁机器人为例，在一示例中，若判断图像中的柔性缠绕物为线缆或绳索，所述线缆或绳索贴着墙角设置，或者，若判断图像中的柔性缠绕物为线头、丝巾或布头，但所述线头、丝巾或布头在茶几或沙发下而在清洁机器人的导航路线中并不包含对茶几或沙发的清洁，处理装置15则可控制清洁机器人按照原导航路线移动，忽略所述柔性缠绕物。

本申请移动机器人还可包括报警装置(未予图示)，所述报警装置与处理装置15相连，用于在处理装置15识别出所述图像中存在柔性缠绕物时发出报警信息。具体地，若处理装置15识别出所述图像中存在柔性缠绕物，处理装置15即向所述报警装置发出控制指令以控制所述报价装置发出报警信息。所述报警装置及其所发出的报警信息可采用多种实施方式或其结合。在一实施方式中，所述报警装置可例如为蜂蜜器，所述蜂鸣器在处理装置15识别出所述图像中存在柔性缠绕物时发出报警声。在另一实施方式中，所述报警装置可例如为报警灯，所述报警灯在处理装置15识别出所述图像中存在柔性缠绕物时发出报警灯光，所述报警灯光可为常亮光或闪烁光。在又一实施方式中，所述报警装置可例如信息发送装置，所述信息发送装置在处理装置15识别出所述图像中存在柔性缠绕物时向网络连接的用户终端(例如智能手机)或室内智能终端(例如智能音箱、智能灯泡、智能显示屏等)发送报警信息。利用所述报警装置，可即时发出发现柔性缠绕物的信息，以供后续由操作人员移除柔性缠绕物以排除障碍。

本申请移动机器人，在移动机器人的工作模式下，通过拍摄以获取包含地面的图像，对所述图像进行识别，在识别出所述图像中存在柔性缠绕物时调用同时定位与地图构建应用及行为控制应用以对所述移动机器人的行为进行控制。利用本申请移动机器人，可针对柔性缠绕物进行有效地检测，并可根据检测结果对移动机器人的行为进行相应的控制。

请参见图3，显示为本申请清洁机器人在一实施例中的结构示意图。如图3所示，所述清洁机器人包括：摄像装置21、控制系统23、移动系统25、以及清洁系统27，其中，控制系统23更包括存储装置230和处理装置232。

摄像装置21用于在清洁机器人的工作模式下获取操作环境的图像。摄像装置21包括但不限于：照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等。摄像装置21的供电系统可受清洁机器人的供电系统控制，当清洁机器人上电移动期间，摄像装置21即开始拍摄图像，并提供给处理装置232。例如，清洁机器人中的摄像装置将所拍摄的室内图像以预设视频格式缓存在存储装置230中，并由处理装置232获取。摄像装置21用于在清洁机器人移动期间拍摄图像。在此，在某些实施方式中，摄像装置21可设置于清洁机器人的顶面。例如，清洁机器人中的摄像装置设置于其壳体的顶面的中部、或边缘上。摄像装置的视野光学轴相对于垂线为±30°。例如，清洁机器人的摄像装置的光学轴相对于垂线的夹角为-30°、-29°、-28°、 -27°、……、-1°、0°、1°、2°、……、29°、或30°。在某些实施方式中，摄像装置21可设置于清洁机器人的顶面与侧面的交接处。例如，在清洁机器人壳体的顶面与侧面的交接处设置至少一个凹陷结构(所述凹陷结构可设于壳体的前端、后端或者侧端)，将摄像装置设置于所述凹陷结构内。摄像装置中的镜头光学轴与所述壳体的顶部表面所定义的平面(所述壳体的顶部表面所定义的平面可与水平面相一致，即当将所述清洁机器人平稳放置于一水平面时，所述壳体的顶部表面所定义的平面与所述水平面相平行)的夹角α为61°至85°，即摄像装置中的镜头光学轴与所述壳体的顶部表面所定义的平面的夹角α为61°、62°、63°、64°、65°、66°、67°、68°、69°、70°、71°、72°、73°、74°、75°、76°、77°、78°、79°、80°、81°、82°、83°、84°、85°。摄像装置中的镜头为前倾设计，可捕捉到更多的环境信息。例如，前倾设计的摄像装置相比于镜头竖直朝上的摄像装置能更多地捕捉到清洁机器人前方的环境图像，比如，清洁机器人前方的部分地面区域。需要说明的是，本领域技术人员应该理解，上述光学轴与垂线或壳体的顶部表面的夹角的取值为整数但并非限制其夹角精度为1°的范围内，根据实际清洁机器人的设计需求，所述夹角的精度可更高，如达到0.1°、0.01°以上等，在此不做无穷尽的举例。

存储装置230存储有同时定位与地图构建应用及行为控制应用。

所述同时定位与地图构建应用即SLAM(Simultaneous Localization And Mapping)应用，SLAM应用是智能机器人领域中的基础应用。清洁机器人的定位技术可以包括允许清洁机器人相对于其周边确定其位置和导向(或“姿态”)的过程，可以构件其周边地图的清洁机器人可以在地图中定位其本身，以展示自主程度。问题可以描述为当清洁机器人在未知环境中时，是否有办法让清洁机器人一边逐步描绘出此环境完全的地图，同时一边决定清洁机器人应该往哪个方向行进，也就是说，要实现智能化需要完成三个任务，第一个是定位(Localization)，第二个是建图(Mapping)，第三个则是随后的路径规划(Navigation)。本申请中的行为控制应用是指根据所设定的信息或指令控制清洁机器人导航、进行导向(或“姿态”)调整等。“姿态”在本文中包括清洁机器人在移动空间内的位置(例如，x、y坐标地点)，以及相对于例如在移动空间内的基本物(例如墙壁)或基本方向的所述清洁机器人的角度导向。需说明的是，为了补偿基于SLAM技术所构建的地图的误差，一种基于视觉同时定位与地图构建的技术(Visual Simultaneous Localization and Mapping，简称VSLAM)可利用基于图像传感器中的图像数据对传感器所提供的移动信息的误差进行补偿，可为清洁机器人提供更精准的导航能力。

所述行为控制应用是智能机器人领域中的基础应用，其与处理装置232和移动系统25相关联。利用所述行为控制应用，可使得处理装置232能对移动系统25进行控制。在实际应用中，所述行为控制应用可与前述的SLAM应用相结合，那么，处理装置232可根据SLAM应用所获得定位信息和地图信息来向移动系统25发出控制指令以令移动系统25执行相应的行为。“行为”在本文中包括清洁机器人的移动和姿态。

此外，存储装置230还预存有至少一个标准件的标准物理特征。其中，所述标准件可包括基于行业标准、国家标准、国际标准、和自定义标准中的至少一种标准而设计的标准件。例如，行业标准如机械行业标准JB、建筑材料行业标准JC等；国家标准如中国GB标准、德国DIN标准、英国BS标准等；国际标准如国际ISO标准；自定义标准稍后详述。所述标准物理特征可包括轮廓尺寸、标准结构关系等，例如，标准件的标准物理特征包括标准件实际物理上的长、宽、高，标准件中对应标准的实际物理上的其他尺寸数据等。例如，电源插座上两孔间距。又如电源插座的长宽值。再如底板的长宽值或地砖的长宽值。还比如地毯的长宽值及厚度。

在此，存储装置230包括但不限于：只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、非易失性存储器(Nonvolatile RAM，简称NVRAM)。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中，存储装置230还可以包括远离一个或多个处理器的存储器，例如，经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等，或其适当组合。存储器控制器可控制清洁机器人的诸如中央处理器(CPU)和外设接口之类的其他组件对存储装置的访问。

处理装置232包括一个或多个处理器。处理装置232可操作地与存储装置230中的只读存储器、随机存取存储器和/或非易失性存储器耦接。处理装置232可执行在只读存储器、随机存取存储器和/或非易失性存储器中存储的指令以在机器人中执行操作，诸如提取图像中的特征并基于特征在地图中进行定位、或者获取图像并对图像进行识别等。如此，处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(Digital Signal Processor，简称DSP)、一个或多个现场可编程逻辑阵列(Field Programmable Gate Array，简称FPGA)、或它们的任何组合。处理装置232还与I/O端口和输入结构可操作地耦接，该I/O端口可使得清洁机器人能够与各种其他电子设备进行交互，该输入结构可使得用户能够与计算设备进行交互。因此，输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备可以是所述清洁机器人中移动装置中的移动电机，或清洁机器人中专用于控制移动装置和清扫装置的从处理器，如微控制单元(Microcontroller Unit，简称MCU)。

在一种示例中，处理装置232通过数据线分别连接存储装置230和摄像装置21。处理装置232通过数据读写技术与存储装置230进行交互，处理装置232通过接口协议与摄像装置21进行交互。其中，所述数据读写技术包括但不限于：高速/低速数据接口协议、数据库读写操作等。所述接口协议包括但不限于：HDMI接口协议、串行接口协议等。

处理装置232用于在清洁机器人的工作模式下，控制所述摄像装置进行拍摄以获取包含地面的图像，并在识别出所述图像中存在柔性缠绕物时自所述存储装置中调用同时定位与地图构建应用及行为控制应用以对所述清洁机器人的行为进行控制。

处理装置232用以从摄像装置21所拍摄的图像中获取至少一幅图像，并对所述至少一幅图像进行识别以检测所述至少一幅图像中是否存在柔性缠绕物。

如前所述，一般地，清洁机器人在工作模式下在工作面(例如地面)上移动时，对地面上的柔性缠绕物的检测存在缺失。因此，在本申请中，在清洁机器人的工作模式下，可控制摄像装置21进行拍摄以获取包含地面的图像，这里的“地面”更可具体为清洁机器人对照行走路径而在后续会移动到的地面。

对所述至少一幅图像进行柔性缠绕物的识别是利用一柔性缠绕物图像分类器实现的，即，在识别时，将待识别的图像作为一输入输入到柔性缠绕物图像分类器中即可输出识别结果。在本实施例中，所述柔性缠绕物图像分类器是经卷积神经网络训练得到的。

在某些实施例中，所述训练可包括：首先，制作训练样本集，采集含有符合预设规则的柔性缠绕物的图像作为训练样本。之后，根据制作的所述训练样本集进行训练，得到柔性缠绕物图像分类器。其中，在制作训练样本集时，在一种实施方式中，可自行采集符合预设规则的柔性缠绕物的图像，例如，从网络中搜索相关的柔性缠绕物的图像或自行拍摄相关的柔性缠绕物的图像，并从中选取符合预设规则的典型的柔性缠绕物的图像并将其作为训练样本。而在其他实施方式中，也可从已有的各类柔性缠绕物的标准库中选取部分或全部的柔性缠绕物的图像作为训练样本，例如，分别从不同的柔性缠绕物的标准库中选取部分或全部的柔性缠绕物的图像，将它们组合后形成训练样本集，或者，从不同的柔性缠绕物的标准库选择至少一个标准库，将选中的至少一个标准库中的部分或全部的图像确定为训练样本集。在这里，作为训练样本的包含柔性缠绕物的图像可以是背景单一(例如，背景为单一纯色)的简单图像也可以是在实物背景下的图像。由于在本申请中，清洁机器人控制摄像装置21进行拍摄所获取的是包含地面的图像，因此，作为训练样本的图像可以是包含有柔性缠绕物的地面图像。落实到具体的柔性缠绕物，在本申请中，所述柔性缠绕物包括但不限于以下几类：线缆、绳索、丝带、鞋带、毛巾、布头、棉絮、植物藤蔓等。至于地面，根据实际应用环境，所述地面包括但不限于以下几类：水泥地面、涂漆的地面、铺设复合地板的地面、铺设实木地板的地面、铺设地毯的地面等。因此，针对特定的柔性缠绕物，可制作对应的训练样本集，即，可制作对应线缆的线缆训练样本集(例如，各类线缆在不同地面上以不同型态呈现的图像)、对应绳索的绳索训练样本集(例如，各类绳索在不同地面上以不同型态呈现的图像)、对应丝带的丝带训练样本集(例如，各类丝带在不同地面上以不同型态呈现的图像)、对应布头的布头训练样本集(例如，各类布头在不同地面上以不同型态呈现的图像)、对应棉絮的棉絮训练样本集(例如，各类棉絮在不同地面上以不同型态呈现的图像)、对应植物藤蔓的植物藤蔓训练样本集(例如，各类植物藤蔓在不同地面上以不同型态呈现的图像)等。另外，可补充说明的是，在将制作的训练样本集进行训练之前，还可对训练样本集中的图像进行相应的图像预处理。在某些实施例中，所述图像预处理包括但不限于：将训练样本集中的图像进行裁剪、压缩、灰度处理、图像滤波和/或噪声过滤处理等。

在某些实施例中，所述训练可包括：首先，制作训练样本集，采集含有符合预设规则的柔性缠绕物的图像作为正样本以及采集不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像作为负样本。之后，根据制作的训练样本集进行训练，得到柔性缠绕物图像分类器。其中，针对采集含有符合预设规则的柔性缠绕物的图像作为正样本，在一种实施方式中，可自行采集符合预设规则的柔性缠绕物的图像，例如，从网络中搜索相关的柔性缠绕物的图像或自行拍摄相关的柔性缠绕物的图像，并从中选取符合预设规则的典型的柔性缠绕物的图像并将其作为正样本。而在其他实施方式中，也可从已有的各类柔性缠绕物的标准库中选取部分或全部的柔性缠绕物的图像作为正样本，例如，分别从不同的柔性缠绕物的标准库中选取部分或全部的柔性缠绕物的图像，将它们组合后形成正样本集，或者，从不同的柔性缠绕物的标准库选择至少一个标准库，将选中的至少一个标准库中的部分或全部的图像确定为正样本。在这里，作为正样本的包含柔性缠绕物的图像可以是背景单一(例如，背景为单一纯色)的简单图像也可以是在实物背景下的图像。由于在本申请中，清洁机器人控制摄像装置21进行拍摄所获取的是包含地面的图像，因此，作为正样本的图像可以是包含有柔性缠绕物的地面图像。落实到具体的柔性缠绕物，在本申请中，所述柔性缠绕物包括但不限于以下几类：线缆、绳索、丝带、鞋带、毛巾、布头、棉絮、植物藤蔓等。至于地面，根据实际应用环境，所述地面包括但不限于以下几类：水泥地面、涂漆的地面、铺设复合地板的地面、铺设实木地板的地面、铺设地毯的地面等。因此，针对特定的柔性缠绕物，可制作对应的正样本，即，可制作对应线缆的线缆正样本集(例如，各类线缆在不同地面上以不同型态呈现的图像)、对应绳索的绳索正样本集(例如，各类绳索在不同地面上以不同型态呈现的图像)、对应丝带的丝带正样本集(例如，各类丝带在不同地面上以不同型态呈现的图像)、对应布头的布头正样本集(例如，各类布头在不同地面上以不同型态呈现的图像)、对应棉絮的棉絮正样本集(例如，各类棉絮在不同地面上以不同型态呈现的图像)、对应植物藤蔓的植物藤蔓正样本集(例如，各类植物藤蔓在不同地面上以不同型态呈现的图像)等。针对采集不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像作为负样本，在一种实施方式中，可自行采集不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像，例如，从网络中搜索相关的不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像或自行拍摄不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像，并从中选取不含有柔性缠绕物或含有不符合预设规则的柔性缠绕物的图像并将其作为负样本。而在其他实施方式中，也可从已有的各类不含有柔性缠绕物的标准库中选取部分或全部的图像作为负样本，例如，分别从不同的不含有柔性缠绕物的标准库中选取部分或全部的图像，将它们组合后形成负样本集，或者，从不同的不含有柔性缠绕物的标准库选择至少一个标准库，将选中的至少一个标准库中的部分或全部的图像确定为负样本。落实到具体的柔性缠绕物，在本申请中，所述柔性缠绕物包括但不限于以下几类：线缆、绳索、丝带、鞋带、毛巾、布头、棉絮、植物藤蔓等。至于地面，根据实际应用环境，所述地面包括但不限于以下几类：水泥地面、涂漆的地面、铺设复合地板的地面、铺设实木地板的地面、铺设地毯的地面等。因此，针对特定的柔性缠绕物，可制作对应的负样本集，即，可制作对应线缆的线缆负样本集(例如，不含有线缆或含有不符合预设规则的线缆在不同地面上的图像)、对应绳索的绳索负样本集(例如，不含有绳索或含有不符合预设规则的绳索在不同地面上的图像)、对应丝带的丝带负样本集(例如，不含有丝带或含有不符合预设规则的丝带在不同地面上的图像)、对应布头的布头负样本集(例如，不含有布头或含有不符合预设规则的布头在不同地面上的图像)、对应棉絮的棉絮负样本集(例如，不含有棉絮或含有不符合预设规则的棉絮在不同地面上的图像)、对应植物藤蔓的植物藤蔓负样本集(例如，不含有植物藤蔓或含有不符合预设规则的植物藤蔓在不同地面上的图像)等。另外，可补充说明的是，在将制作的训练样本集进行训练之前，还可对训练样本集中的图像进行相应的图像预处理。在某些实施例中，所述图像预处理包括但不限于：将训练样本集中的图像进行截取、压缩、灰度处理、图像滤波和/或噪声过滤处理等。

值得注意的是：在某些实施例中，前述用于进行柔性缠绕物识别的柔性缠绕物图像分类器可预存于存储装置230中。在一种实现方式中，在清洁机器人在出售给终端用户之前(例如，在清洁机器人被制造出厂之前，或，清洁机器人被下发到各个销售点之前，或清洁机器人在销售点被贩售给终端用户之前)，柔性缠绕物图像分类器被写入到存储装置230中，一般地，可对柔性缠绕物图像分类器设置权限，禁止终端用户对其进行改动。当然，并不以此为限，例如，所述柔性缠绕物图像分类器也可开放部分权限或全部权限，可允许终端用户对其进行改动(例如，修改或增减操作等)。或者，所述柔性缠绕物图像分类器也可在清洁机器人联网并与相应的厂商服务器或应用服务商服务器建立通信连接后进行更新操作。在其他实施方式中，所述柔性缠绕物图像可存储于与清洁机器人远程通信的云端系统中，如此，在进行图像识别时，处理装置232可从摄像装置21所拍摄的图像中获取至少一幅图像并将所述至少一幅图像发送至与清洁机器人远程通信的云端系统中，由云端系统中的柔性缠绕物图像分类器对所述至少一幅图像进行识别并将识别结果再远程发送给清洁机器人。

因此，利用处理装置232可从摄像装置21所拍摄的图像中获取至少一幅图像并利用柔性缠绕物图像分类器对所述至少一幅图像进行识别，由此可检测出所述至少一幅图像中是否存在柔性缠绕物且获得所存在的柔性缠绕物的具体类别。

处理装置232还可用于在识别出图像中存在柔性缠绕物时自存储装置230中调用同时定位与地图构建应用及行为控制应用以对清洁机器人的行为进行控制。

处理装置232用于调用所述定位与地图构建应用以执行：获取前、后时刻的至少两幅图像中相匹配特征的位置，并依据图像坐标系与物理空间坐标系的对应关系和所述相匹配特征的位置确定清洁机器人的位置及姿态。

在本申请中，存储装置230还存储有图像坐标系与物理空间坐标系的对应关系。其中，所述图像坐标系是基于图像像素点而构建的图像坐标系，摄像装置21所拍摄的图像中各个图像像素点的二维坐标参数可由所述图像坐标系描述。所述图像坐标系可为直角坐标系或极坐标系等。所述物理空间坐标系及基于实际二维或三维物理空间中各位置而构建的坐标系，其物理空间位置可依据预设的图像像素单位与单位长度(或单位角度)的对应关系而被描述在所述物理空间坐标系中。所述物理空间坐标系可为二维直角坐标系、极坐标系、球坐标系、三维直角坐标系等。

对于所使用场景的地面复杂度不高的清洁机器人来说，该对应关系可在出厂前预存在所述存储装置中。然而，对于使用场景的地面复杂度较高的清洁机器人，例如清洁机器人来说，可利用在所使用的场地进行现场测试的方式得到所述对应关系并保存在存储装置230中。在某些实施方式中，所述清洁机器人还包括移动传感装置(未予图示)，用于获取机器人的移动信息。其中，所述移动传感装置包括但不限于：位移传感器、陀螺仪、速度传感器、测距传感器、悬崖传感器等。在机器人移动期间，移动传感装置不断侦测移动信息并提供给处理装置。所述位移传感器、陀螺仪、速度传感器等可被集成在一个或多个芯片中。所述测距传感器和悬崖传感器可设置在机器人的体侧。例如，清洁机器人中的测距传感器被设置在壳体的边缘；清洁机器人中的悬崖传感器被设置在机器人底部。根据机器人所布置的传感器的类型和数量，处理装置所能获取的移动信息包括但不限于：位移信息、角度信息、与障碍物之间的距离信息、速度信息、行进方向信息等。

为了构建所述对应关系，在某些实施方式中，所述清洁机器人还包括初始化装置(未予图示)，所述初始化装置可基于前后时刻的至少两幅图像中相匹配特征的位置和自所述前一时刻至所述当前时刻所获取的移动信息，构建所述对应关系。在此，所述初始化装置可以是一种程序模块，其程序部分存储在存储装置中，并经由处理装置的调用而被执行。当所述存储装置中未存储所述对应关系时，所述处理装置调用初始化装置以构建所述对应关系。

在此，初始化装置在机器人移动期间获取所述移动传感装置所提供的移动信息以及获取摄像装置21所拍摄的各个图像。为了减少移动传感装置的累积误差，所述初始化装置可在机器人移动的一小段时间内获取所述移动信息和至少两幅图像。例如，所述初始化装置在监测到机器人处于直线移动时，获取所述移动信息和至少两幅图像。又如，所述初始化装置在监测到机器人处于转弯移动时，获取所述移动信息和至少两幅图像。其中，在转弯移动时获取至少两幅图像的间隔时间可比在直线移动时获取至少两幅图像的间隔时间要短。

需要说明的是，所述初始化装置的工作过程可以基于用户的指令来执行，或对用户透明。例如，所述初始化装置的执行过程是基于存储装置230中未存储所述对应关系、或所述对应关系需要被更新时而启动的。在此不做限制。

在此，处理装置232可按照预设的时间间隔或图像数量间隔获取前一时刻t1和当前时刻t2的两幅图像，识别并匹配两幅图像中的特征。其中，根据所使用的硬件和软件处理能力的设计，所述时间间隔可在几毫秒至几百毫秒之间选择，所述图像数量间隔可在0帧至几十帧之间选择。所述特征包括但不限于：形状特征、和灰度特征等。所述形状特征包括但不限于：角点特征、直线特征、边缘特征、曲线特征等。所述灰度色特征包括但不限于：灰度跳变特征、高于或低于灰度阈值的灰度值、图像中包含预设灰度范围的区域尺寸等。

为了能够准确定位，所匹配特征的数量通常为多个，例如在10个以上。为此，处理装置232根据所识别的特征在各自图像中位置，从所识别出的特征中寻找能够匹配的特征。例如，请参阅图2，显示为在t1时刻和t2时刻所获取的两幅图像中相匹配特征的位置变化关系示意图。处理装置232在识别出各个图像中的特征后，确定图像P1中包含特征a1和a2，图像P2中包含特征b1、b2和b3，且特征a1与b1和b2均属于同一特征，特征a2与b3属于同一特征，处理装置232可先确定在图像P1中的特征a1位于特征a2的左侧且间距为d1像素点；同时还确定在图像P2中的特征b1位于特征b3的左侧且间距为d1’像素点，以及特征b2位于特征b3右侧且间距为d2’像素点。处理装置232根据特征b1与b3的位置关系、特征b2与b3的位置关系分别与特征a1与a2的位置关系，以及特征b1与b3的像素间距、特征b2与b3的像素间距分别与特征a1与a2的像素间距进行匹配，从而得到图像P1中特征a1与图像P2中特征b1相匹配，特征a2与特征b3相匹配。以此类推，处理装置232将所匹配的各特征，以便于依据各所述特征所对应的图像像素的位置变化来定位机器人的位置及姿态。其中，所述机器人的位置可依据在二维平面内的位移变化而得到，所述姿态可依据在二维平面内的角度变化而得到。

在此，处理装置232可以根据所述对应关系，确定两幅图像中多个特征的图像位置偏移信息、或确定多个特征在物理空间中的物理位置偏移信息，并综合所得到的任一种位置偏移信息来计算机器人自t1时刻至t2时刻的相对位置及姿态。例如，通过坐标变换，处理装置232得到机器人从拍摄图像P1时刻t1至拍摄图像P2时刻t2的位置和姿态为：在地面上移动了m长度以及向左旋转了n度角。

如此，当清洁机器人已建立地图时，依据处理装置232得到的位置及姿态可帮助清洁机器人确定是否在导航的路线上。当清洁机器人未建立地图时，依据处理装置232得到的位置及姿态可帮助清洁机器人确定相对位移和相对转角，并借此数据进行地图绘制。

处理装置232还用于调用所述定位与地图构建应用以执行：获取至少一幅图像，依据所述至少一幅图像中特征的位置确定所述至少一幅图像中柔性缠绕物的位置以及依据所述至少一幅图像中的标准量度确定所述柔性缠绕物的尺寸信息。

处理装置232可采用基于卷积神经网络的图像识别方法、基于小波矩的图像识别方法等图像识别方法对摄像装置21所拍摄的图像进行处理、分析和理解，以识别各种不同模式的目标和对象。此外，所述处理装置还可通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析来寻求相似图像目标。

在一实施例中，由于清洁机器人通常进行室内清洁工作，因而通过摄像装置所拍摄的图像中的实物一般会包括例如墙、桌、沙发、衣柜、电视机、电源插座、网线插座等。在本示例中，首先，摄像装置21在清洁机器人的导航操作环境下拍摄图像之后将所述图像提供给处理装置232，处理装置232通过图像识别来识别所拍摄的图像中实物的图形。其中，所述实物的图形可以由实物的灰度、实物的轮廓等特征表征。同时，所述实物的图形并不限于实物的外部几何图形，还可包括实物上呈现出的其他图形，例如电源插座上的二孔插口、五孔插口，网线插座上的方形插口等。鉴于此，例如，对于外部几何图形相近的电源插座和网线插座，则可利用电源插座的五孔插口与网线插座的方形插口来辨别。此外，在清洁机器人的摄像装置在室内可拍摄的图像中的实物包括电源插座、网线插座的情况下，由于电源插座、网线插座是根据GB标准设计的，因而不会因其所处的环境不同而有所变化，因此，可以作为标准件。标准件的标准物理特征可包括电源插座的长、宽、高，电源插座上五孔插口的结构关系等。在某些实施方式中，标准件的图形和标准件的标准物理特征可以是预设的，并且利用机器人的存储装置预先存储。因此，获取标准件的标准物理特征的方式包括自机器人的存储装置中读取预设的标准物理特征。其中，所述标准件可包括基于行业标准、国家标准、国际标准、和自定义标准中的至少一种标准而设计的标准件。例如，行业标准如机械行业标准JB、建筑材料行业标准JC等；国家标准如中国GB标准、德国DIN标准、英国BS标准等；国际标准如国际ISO标准；自定义标准稍后详述。所述标准物理特征可包括轮廓尺寸、标准结构关系等，例如，标准件的标准物理特征包括标准件实际物理上的长、宽、高，标准件中对应标准的实际物理上的其他尺寸数据等。例如，电源插座上两孔间距。又如电源插座的长宽值。再如底板的长宽值或地砖的长宽值。还比如地毯的长宽值及厚度。

此外，针对所识别的图像中实物的图形和所存储的标准件的图形，处理装置232通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析来确定所识别的至少一个图形与所存储的标准件的图形是否对应，当所识别的至少一个图形与所存储的标准件的图形对应时，获取标准件的标准物理特征。其中，与所存储的标准件的图形对应的所述至少一个图形被称为标准图形。以电源插座为例，存储装置230存储有标准电源插座图形，处理装置232通过对图像容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析来确定所识别的至少一个图形与所存储的电源插座的图形是否对应，当所识别的至少一个图形与所存储的电源插座的图形对应时，获取电源插座的标准物理特征。

因此，基于预设的单位像素间隔与实际物理空间中单位长度的对应关系以及所识别的标准图形的尺寸和所对应的标准物理特征中的实物尺寸，处理装置232即可计算出图像中存在的柔性缠绕物在当前物理空间内的位置及其尺寸信息。以设置在墙上的插座为例，当处理装置识别出插座以及墙与底面的交界线、或识别出插座并默认插座被安装在墙上时，按照上述对应关系，处理装置232不仅可得到柔性缠绕物在当前物理空间内的位置(例如，所述柔性缠绕物与插座的距离和偏角，所述清洁机器人相距插座的距离和偏角，所述清洁机器人相距柔性缠绕物的距离和偏角等)，处理装置232还可以利用插座的标准量度(例如插座的边框的长宽值或插座中插孔的间距等)的空间位置关系得到柔性缠绕物的尺寸(例如柔性缠绕物的长度和粗细)以及柔性缠绕物所覆盖的区域。

处理装置232调用同时定位与地图构建应用及行为控制应用以对所述清洁机器人的行为进行控制。在本申请中，所述行为控制应用是指根据所设定的信息或指令控制清洁机器人导航、进行姿态调整等。利用所述行为控制应用，可使得处理装置232能对清洁机器人的移动系统25进行控制。

移动系统25与控制系统23相连，用于基于控制系统23所发出的控制指令而驱动清洁机器人移动。在本实施例中，移动系统25与控制系统23中的处理装置232相连，用于基于处理装置232所发出的控制指令而驱动清洁机器人移动。于实际的实施方式中，移动系统25可包括行走机构和驱动机构，其中，所述行走机构可设置于清洁机器人的底部，所述驱动机构内置于所述清洁机器人的壳体内。进一步地，所述行走机构可采用行走轮方式，在一种实现方式中，所述行走机构可例如包括至少两个万向行走轮，由所述至少两个万向行走轮实现前进、后退、转向、以及旋转等移动。在其他实现方式中，所述行走机构可例如包括两个直行行走轮和至少一个辅助转向轮的组合，其中，在所述至少一个辅助转向轮未参与的情形下，所述两个直行行走轮主要用于前进和后退，而在所述至少一个辅助转向轮参与并与所述两个直行行走轮配合的情形下，就可实现转向和旋转等移动。所述驱动机构可例如为驱动电机，利用所述驱动电机可驱动所述行走机构中的行走轮实现移动。在具体实现上，所述驱动电机可例如为可逆驱动电机，且所述驱动电机与所述行走轮的轮轴之间还可设置有变速机构。

清洁系统27与所述控制系统相连，清洁系统27与控制系统23相连，用以在所述移动机器人移动时基于控制系统23所发出的控制指令而对地面执行清洁作业。在本实施例中，清洁系统27与控制系统23中的处理装置232相连，用以在所述移动机器人移动时基于处理装置232所发出的控制指令而对地面执行清洁作业。于实际的实施方式中，所述清洁系统可至少包括清扫组件和吸尘组件。所述清扫组件可包括位于壳体底部的清洁边刷以及与用于控制所述清洁边刷的边刷电机，其中，所述清洁边刷的数量可为至少两个，分别对称设置于壳体前端的相对两侧，所述清洁边刷可采用旋转式清洁边刷，可在所述边刷电机的控制下作旋转。所述吸尘组件可包括集尘室和吸尘器，其中，所述集尘室内置于壳体，所述吸尘器的出气口与所述集尘室连通，所述吸尘器的进气口设于壳体的底部。当然，清洁系统27并不以此为限，在其他实施方式中，清洁系统27还可包括例如拖地装置、喷雾装置等。

如前所述，当处理装置232在摄像装置21所拍摄的至少一幅图像中识别出柔性缠绕物时，自存储装置230中调用同时定位与地图构建应用及行为控制应用以对清洁机器人的行为进行控制。鉴于柔性缠绕物的类别、尺寸、以及位置等信息，处理装置232对清洁机器人可采用不同的行为控制方式，其中，所述清洁机器人的行为可至少包括但不限于：清洁机器人的移动和清洁机器人的姿态。

在某些实施例中，处理装置232调用同时定位与地图构建应用及行为控制应用以对清洁机器人的行为进行控制的方式可包括：基于柔性缠绕物的信息，向移动系统25发出控制指令以控制清洁机器人按照原导航路线移动并越过所述柔性缠绕物。具体地，若处理装置232识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物不会干扰到清洁机器人的正常运作的情形下，处理装置232向移动系统25发出控制指令以控制清洁机器人按照原导航路线移动并越过所述柔性缠绕物。在一示例中，若判断图像中的柔性缠绕物为线缆或绳索，所述线缆或绳索的直径较小且规则摆放，或者，判断图像中的柔性缠绕物为尺寸较大的布头且所述布头平铺于地面，处理装置232则可控制清洁机器人按照原导航路线移动并越过所述柔性缠绕物。其中，在控制清洁机器人按照原导航路线移动的过程中，可采用多种实施方式。在一实施方式中，控制清洁机器人按照原导航路线移动为控制清洁机器人以原移动速度及原姿态按照原导航路线进行移动。在另一实施方式中，控制清洁机器人按照原导航路线移动为控制清洁机器人改变原移动速度并以原姿态按照原导航路线进行移动，在这里，改变原移动速度可包括增加移动速度和减小移动速度。在又一实施方式中，控制清洁机器人按照原导航路线移动为控制清洁机器人改变移动速度和改变姿态并以原姿态按照原导航路线进行移动，在这里，改变原移动速度可包括增加移动速度和减小移动速度。

在某些实施例中，处理装置232调用同时定位与地图构建应用及行为控制应用以对清洁机器人的行为进行控制的方式可包括：基于柔性缠绕物的信息，向移动系统25发出控制指令以控制清洁机器人修改原导航路线并越过所述柔性柔性缠绕物。具体地，若处理装置232识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物在原导航路线下很可能会干扰到清洁机器人的正常运作但通过改变原导航路线则可避免的情形下，处理装置232向移动系统25发出控制指令以控制清洁机器人修改原导航路线移动并越过所述柔性缠绕物。在一示例中，若判断图像中的柔性缠绕物的摆放可能干扰到清洁机器人的正常运作(例如线缆、绳索或线头在长度方向上的摆放与原导航路线基本一致，或者线缆、绳索、线头、丝带等恰好位于按照原导航路线下清洁机器人的行走轮或吸尘进气口下方位置)，处理装置232则可控制清洁机器人修改原导航路线移动并越过所述柔性缠绕物，例如，修改原导航路线，使得修改后的导航路线与柔性缠绕物的摆放方向相垂直，可使得清洁机器人越过柔性缠绕物，或者，修改原导航路线，使得清洁机器人越过柔性缠绕物时，柔性缠绕物不会处于新的导航轮线中清洁机器人的管轮或或吸尘进气口下方位置。其中，在控制清洁机器人修改原导航路线并安装修改后的导航路线移动的过程中，清洁机器人的移动速度可有不同的实施方式，其移动速度既可以保持不变，也可以增加移动速度或减小移动速度。

在某些实施例中，处理装置232调用同时定位与地图构建应用及行为控制应用以对清洁机器人的行为进行控制的方式可包括：基于柔性缠绕物的信息，向移动系统25发出控制指令以控制清洁机器人修改原导航路线以避开所述柔性缠绕物。具体地，若处理装置232识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物很可能会干扰到清洁机器人的正常运作的情形下，处理装置232向移动系统25发出控制指令以控制清洁机器人修改原导航路线以避开所述柔性缠绕物。在一示例中，若判断图像中的柔性缠绕物为线缆、绳索、或布头且所述线缆或绳索不规则摆放，或者，判断图像中的柔性缠绕物为线缆或绳索且所述尺寸较大，或者，判断图像中的柔性缠绕物为线头或丝带，处理装置232则可控制清洁机器人修改原导航路线移动，避开所述柔性缠绕物。

在某些实施例中，处理装置232调用同时定位与地图构建应用及行为控制应用以对清洁机器人的行为进行控制的方式可包括：基于柔性缠绕物的信息，向移动系统25发出控制指令以控制清洁机器人停止移动。具体地，若处理装置232识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物很可能会干扰到清洁机器人的正常运作的情形下或者无法有效判断所述柔性缠绕物对清洁机器人的正常运作的干扰程度的情形下，处理装置232向移动系统25发出控制指令以控制清洁机器人停止移动。在实际应用中，也可作这样的设置：即，一旦识别出图像中存在有柔性缠绕物，则可省去对所述柔性缠绕物的尺寸、摆放等信息进行计算及判断等操作，可直接向移动系统25发出控制指令以控制清洁机器人停止移动。

另外，在某些实施例中，处理装置232调用同时定位与地图构建应用及行为控制应用以对清洁机器人的行为进行控制的方式可包括：基于柔性缠绕物的信息，忽略所述柔性缠绕物，向移动系统25发出控制指令以控制清洁机器人按照原导航路线进行移动。具体地，若处理装置232识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物不在原导航路线上的情形下，处理装置232向移动系统25发出控制指令以控制清洁机器人按照原导航路线进行移动。在一示例中，若判断图像中的柔性缠绕物为线缆或绳索，所述线缆或绳索贴着墙角设置，或者，若判断图像中的柔性缠绕物为线头、丝巾或布头，但所述线头、丝巾或布头在茶几或沙发下而在清洁机器人的导航路线中并不包含对茶几或沙发的清洁，处理装置232则可控制清洁机器人按照原导航路线移动，忽略所述柔性缠绕物。

本申请清洁机器人还可包括报警装置(未予图示)，所述报警装置与处理装置232相连，用于在处理装置232识别出所述图像中存在柔性缠绕物时发出报警信息。具体地，若处理装置232识别出所述图像中存在柔性缠绕物，处理装置232即向所述报警装置发出控制指令以控制所述报价装置发出报警信息。所述报警装置及其所发出的报警信息可采用多种实施方式或其结合。在一实施方式中，所述报警装置可例如为蜂蜜器，所述蜂鸣器在处理装置232识别出所述图像中存在柔性缠绕物时发出报警声。在另一实施方式中，所述报警装置可例如为报警灯，所述报警灯在处理装置232识别出所述图像中存在柔性缠绕物时发出报警灯光，所述报警灯光可为常亮光或闪烁光。在又一实施方式中，所述报警装置可例如信息发送装置，所述信息发送装置在处理装置232识别出所述图像中存在柔性缠绕物时向网络连接的用户终端(例如智能手机)或室内智能终端(例如智能音箱、智能灯泡、智能显示屏等)发送报警信息。利用所述报警装置，可即时发出发现柔性缠绕物的信息，以供后续由操作人员移除柔性缠绕物以排除障碍。

本申请清洁机器人，在清洁机器人的工作模式下，通过拍摄以获取包含地面的图像，对所述图像进行识别，在识别出所述图像中存在柔性缠绕物时调用同时定位与地图构建应用及行为控制应用以对所述清洁机器人的行为进行控制。利用本申请清洁机器人，可针对柔性缠绕物进行有效地检测，并可根据检测结果对清洁机器人的行为进行相应的控制。

请参见图4，显示为本申请移动机器人的控制方法在一实施例中的流程示意图。本申请移动机器人的控制方法应用于移动机器人中，所述移动机器人具有摄像装置和移动系统。如图4所示，本申请移动机器人的控制方法如下步骤：

步骤41，在移动机器人的工作模式下，控制摄像装置进行拍摄以获取包含地面的图像。

在此，可利用摄像装置在移动机器人的导航操作环境下摄取图像。其中，所述摄像装置包括但不限于：照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等。所述摄像装置的供电系统可受移动机器人的供电系统控制，当移动机器人上电移动期间，所述摄像装置即开始摄取图像。

在本申请中，在移动机器人的工作模式下，可控制摄像装置进行拍摄以获取包含地面的图像，这里的“地面”更可具体为移动机器人对照行走路径而在后续会移动到的地面。以清洁机器人为例，在某些实施例中，可利用摄像装置进行拍摄以获取位于清洁机器人移动方向前方的地面的图像。

此外，所述摄像装置可以设于机器人的主体上。以扫地机器人为例，在某些实施方式中，所述摄像装置可设置于移动机器人的顶面。例如，清洁机器人中的摄像装置设置于其壳体的顶面的中部、或边缘上。摄像装置的视野光学轴相对于垂线为±30°。在某些实施方式中，所述摄像装置可设置于移动机器人的顶面与侧面的交接处。例如，在清洁机器人壳体的顶面与侧面的交接处设置至少一个凹陷结构(所述凹陷结构可设于壳体的前端、后端或者侧端)，将摄像装置设置于所述凹陷结构内。摄像装置中的镜头光学轴与所述壳体的顶部表面所定义的平面(所述壳体的顶部表面所定义的平面可与水平面相一致，即当将所述移动机器人平稳放置于一水平面时，所述壳体的顶部表面所定义的平面与所述水平面相平行)的夹角α为61°至85°。摄像装置中的镜头为前倾设计，可捕捉到更多的环境信息。例如，前倾设计的摄像装置相比于镜头竖直朝上的摄像装置能更多地捕捉到清洁机器人前方的环境图像，比如，清洁机器人前方的部分地面区域。

所述导航操作环境是指移动机器人依据利用已构建的地图数据而设计的导航路线、或基于随机设计的导航路线移动并进行相应操作的环境。以扫地机器人为例，导航操作环境指扫地机器人依据导航路线移动并进行清洁操作的环境。

步骤S43，对摄像装置所拍摄的至少一幅包含地面的图像进行识别，在识别出图像中存在柔性缠绕物时对移动机器人的行为进行控制。

在步骤S43中，通过对至少一幅包含地面的图像进行识别，并在识别出所述图像中存在柔性缠绕物时，根据所述柔性缠绕物的信息及移动机器人的位置信息，对移动机器人的行为进行相应的控制。

请参见图5，显示为图4的细化流程示意图。

请参阅图5，步骤S43更包括如下细化步骤：

步骤S431，从摄像装置所拍摄的图像中获取至少一幅包含地面的图像。

步骤S433，利用柔性缠绕物图像分类器对所述至少一幅包含地面的图像进行识别以得到识别结果。

对所述至少一幅图像进行柔性缠绕物的识别是利用一柔性缠绕物图像分类器实现的，即，在识别时，将待识别的图像作为一输入输入到柔性缠绕物图像分类器中即可输出识别结果。在本实施例中，所述柔性缠绕物图像分类器是经卷积神经网络训练得到的。针对特定的柔性缠绕物，可制作对应的训练样本集，即，可制作对应线缆的线缆训练样本集(例如，各类线缆在不同地面上以不同型态呈现的图像)、对应绳索的绳索训练样本集(例如，各类绳索在不同地面上以不同型态呈现的图像)、对应丝带的丝带训练样本集(例如，各类丝带在不同地面上以不同型态呈现的图像)、对应布头的布头训练样本集(例如，各类布头在不同地面上以不同型态呈现的图像)、对应棉絮的棉絮训练样本集(例如，各类棉絮在不同地面上以不同型态呈现的图像)、对应植物藤蔓的植物藤蔓训练样本集(例如，各类植物藤蔓在不同地面上以不同型态呈现的图像)等。至于具体的训练过程，可参见前文在针对移动机器人和清洁机器人的技术方案中有提及，在此不再赘述。

在本申请中，在进行图像识别时，将待识别的图像作为一输入输入到柔性缠绕物图像分类器中，即可由柔性缠绕物图像分类器输出相应的识别结果。在某些实施例中，利用柔性缠绕物图像分类器对图像进行识别可至少包括如下步骤：对待识别的图像进行图像预处理；对图像预处理后的所述图像进行特征提取；将待识别的图像的特征输入到柔性缠绕物图像分类器，得到识别结果。

步骤S435，确定柔性缠绕物的信息及移动机器人的位置信息。

在步骤S435中，在识别出图像中存在柔性缠绕物且所述柔性缠绕物的类别之后，还包括确定移动机器人的位置信息和所述柔性缠绕物的其他信息(例如，柔性缠绕物在当前物理空间内的位置及其尺寸信息)。

一方面，确定移动机器人的位置信息可包括：获取前、后时刻的至少两幅图像中相匹配特征的位置，并依据图像坐标系与物理空间坐标系的对应关系和所述相匹配特征的位置确定移动机器人的位置及姿态。

于实际的实施方式中，预先构建图像坐标系与物理空间坐标系的对应关系。其中，所述图像坐标系是基于图像像素点而构建的图像坐标系，摄像装置13所拍摄的图像中各个图像像素点的二维坐标参数可由所述图像坐标系描述。所述图像坐标系可为直角坐标系或极坐标系等。所述物理空间坐标系及基于实际二维或三维物理空间中各位置而构建的坐标系，其物理空间位置可依据预设的图像像素单位与单位长度(或单位角度)的对应关系而被描述在所述物理空间坐标系中。所述物理空间坐标系可为二维直角坐标系、极坐标系、球坐标系、三维直角坐标系等。

为了构建所述对应关系，在某些实施方式中，移动机器人可基于前后时刻的至少两幅图像中相匹配特征的位置和自所述前一时刻至所述当前时刻所获取的移动信息，构建所述对应关系。

在移动机器人移动期间获取移动机器人的移动信息以及获取摄像装置所拍摄的各个图像。

获取移动机器人的移动信息可通过配置的移动传感装置来实现。所述移动传感装置包括但不限于：位移传感器、陀螺仪、速度传感器、测距传感器、悬崖传感器等，所能获取的移动信息包括但不限于：位移信息、角度信息、与障碍物之间的距离信息、速度信息、行进方向信息等。

对获取的各个图像中的特征进行识别和匹配并得到相匹配特征在各个图像中的图像位置。移动机器人可按照预设的时间间隔或图像数量间隔获取前一时刻和当前时刻的两幅图像，识别并匹配两幅图像中的特征。其中，根据所使用的硬件和软件处理能力的设计，所述时间间隔可在几毫秒至几百毫秒之间选择，所述图像数量间隔可在0帧至几十帧之间选择。所述特征包括但不限于：形状特征、和灰度特征等。所述形状特征包括但不限于：角点特征、直线特征、边缘特征、曲线特征等。所述灰度色特征包括但不限于：灰度跳变特征、高于或低于灰度阈值的灰度值、图像中包含预设灰度范围的区域尺寸等。

再根据所述图像中相匹配特征的位置和移动信息所提供的物理空间位置来构建所述对应关系。在此，所述初始化装置可通过构建物理空间坐标系和图像坐标系的特征坐标参数来建立所述对应关系。例如，所述初始化装置可依据所拍摄前一时刻图像所在物理空间位置为物理空间坐标系的坐标原点，并将该坐标原点与图像中相匹配的特征在图像坐标系中的位置进行对应，从而构建两个坐标系的对应关系。

为了能够准确定位，所匹配特征的数量通常为多个，例如在10个以上。为此，移动机器人根据所识别的特征在各自图像中位置，从所识别出的特征中寻找能够匹配的特征，从而可依据各个所述特征所对应的图像像素的位置变化来定位机器人的位置及姿态。其中，所述机器人的位置可依据在二维平面内的位移变化而得到，所述姿态可依据在二维平面内的角度变化而得到。

另一方面，确定柔性缠绕物的信息可包括：获取至少一幅图像，依据所述至少一幅图像中特征的位置确定所述至少一幅图像中柔性缠绕物的位置以及依据所述至少一幅图像中的标准量度确定所述柔性缠绕物的尺寸信息。

以清洁机器人为例，由于清洁机器人通常进行室内清洁工作，因而通过摄像装置所拍摄的图像中的实物一般会包括例如墙、桌、沙发、衣柜、电视机、电源插座、网线插座等。在本示例中，控制摄像装置在清洁机器人的导航操作环境下拍摄图像，之后，通过图像识别来识别所拍摄的图像中实物的图形。其中，所述实物的图形可以由实物的灰度、实物的轮廓等特征表征。同时，所述实物的图形并不限于实物的外部几何图形，还可包括实物上呈现出的其他图形，例如电源插座上的二孔插口、五孔插口，网线插座上的方形插口等。鉴于此，例如，对于外部几何图形相近的电源插座和网线插座，则可利用电源插座的五孔插口与网线插座的方形插口来辨别。此外，在清洁机器人的摄像装置在室内可拍摄的图像中的实物包括电源插座、网线插座的情况下，由于电源插座、网线插座是根据GB标准设计的，因而不会因其所处的环境不同而有所变化，因此，可以作为标准件。标准件的标准物理特征可包括电源插座的长、宽、高，电源插座上五孔插口的结构关系等。在某些实施方式中，标准件的图形和标准件的标准物理特征可以是预设的，并且利用机器人的存储装置预先存储。因此，获取标准件的标准物理特征的方式包括自机器人的存储装置中读取预设的标准物理特征。其中，所述标准件可包括基于行业标准、国家标准、国际标准、和自定义标准中的至少一种标准而设计的标准件。例如，行业标准如机械行业标准JB、建筑材料行业标准JC等；国家标准如中国GB标准、德国DIN标准、英国BS标准等；国际标准如国际ISO标准；自定义标准稍后详述。所述标准物理特征可包括轮廓尺寸、标准结构关系等，例如，标准件的标准物理特征包括标准件实际物理上的长、宽、高，标准件中对应标准的实际物理上的其他尺寸数据等。例如，电源插座上两孔间距。又如电源插座的长宽值。再如底板的长宽值或地砖的长宽值。还比如地毯的长宽值及厚度。

此外，针对所识别的图像中实物的图形和所存储的标准件的图形，通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析来确定所识别的至少一个图形与所存储的标准件的图形是否对应，当所识别的至少一个图形与所存储的标准件的图形对应时，获取标准件的标准物理特征。其中，与所存储的标准件的图形对应的所述至少一个图形被称为标准图形。以电源插座为例，存储有标准电源插座图形，因此，通过对图像容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析来确定所识别的至少一个图形与所存储的电源插座的图形是否对应，当所识别的至少一个图形与所存储的电源插座的图形对应时，获取电源插座的标准物理特征。

因此，基于预设的单位像素间隔与实际物理空间中单位长度的对应关系以及所识别的标准图形的尺寸和所对应的标准物理特征中的实物尺寸，移动机器人即可计算出图像中存在的柔性缠绕物在当前物理空间内的位置及其尺寸信息。以设置在墙上的插座为例，当处理装置识别出插座以及墙与底面的交界线、或识别出插座并默认插座被安装在墙上时，按照上述对应关系，不仅可得到柔性缠绕物在当前物理空间内的位置(例如，所述柔性缠绕物与插座的距离和偏角，所述移动机器人相距插座的距离和偏角，所述移动机器人相距柔性缠绕物的距离和偏角等)，还可以利用插座的标准量度(例如插座的边框的长宽值或插座中插孔的间距等)的空间位置关系得到柔性缠绕物的尺寸(例如柔性缠绕物的长度和粗细)以及柔性缠绕物所覆盖的区域。

步骤437，根据确定的柔性缠绕物的信息及移动机器人的位置信息，对移动机器人的行为进行相应的控制。在本实施例中，其中，所述移动机器人的行为可至少包括但不限于：移动机器人的移动和移动机器人的姿态。

在某些实施例中，对移动机器人的行为进行相应的控制可包括：基于柔性缠绕物的信息，控制移动机器人按照原导航路线移动并越过所述柔性缠绕物。即，若识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物不会干扰到移动机器人的正常运作的情形下，则控制移动机器人按照原导航路线移动并越过所述柔性缠绕物。在一示例中，若判断图像中的柔性缠绕物为线缆或绳索，所述线缆或绳索的直径较小且规则摆放，或者，判断图像中的柔性缠绕物为尺寸较大的布头且所述布头平铺于地面，则可控制移动机器人按照原导航路线移动并越过所述柔性缠绕物。其中，在控制移动机器人按照原导航路线移动的过程中，可采用多种实施方式。在一实施方式中，控制移动机器人按照原导航路线移动为控制移动机器人以原移动速度及原姿态按照原导航路线进行移动。在另一实施方式中，控制移动机器人按照原导航路线移动为控制移动机器人改变原移动速度并以原姿态按照原导航路线进行移动，在这里，改变原移动速度可包括增加移动速度和减小移动速度。在又一实施方式中，控制移动机器人按照原导航路线移动为控制移动机器人改变移动速度和改变姿态并以原姿态按照原导航路线进行移动，在这里，改变原移动速度可包括增加移动速度和减小移动速度。

在某些实施例中，对移动机器人的行为进行相应的控制可包括：基于柔性缠绕物的信息，控制移动机器人修改原导航路线并越过所述柔性柔性缠绕物。具体地，若识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物在原导航路线下很可能会干扰到移动机器人的正常运作但通过改变原导航路线则可避免的情形下，控制移动机器人修改原导航路线移动并越过所述柔性缠绕物。在一示例中，若判断图像中的柔性缠绕物的摆放可能干扰到移动机器人的正常运作(例如线缆、绳索或线头在长度方向上的摆放与原导航路线基本一致，或者线缆、绳索、线头、丝带等恰好位于按照原导航路线下移动机器人的行走轮或吸尘进气口下方位置)，则可控制移动机器人修改原导航路线移动并越过所述柔性缠绕物，例如，修改原导航路线，使得修改后的导航路线与柔性缠绕物的摆放方向相垂直，可使得移动机器人越过柔性缠绕物，或者，修改原导航路线，使得移动机器人越过柔性缠绕物时，柔性缠绕物不会处于新的导航轮线中移动机器人的管轮或或吸尘进气口下方位置。其中，在控制移动机器人修改原导航路线并安装修改后的导航路线移动的过程中，移动机器人移动速度可有不同的实施方式，其移动速度既可以保持不变，也可以增加移动速度或减小移动速度。

在某些实施例中，对移动机器人的行为进行相应的控制可包括：基于柔性缠绕物的信息，控制移动机器人修改原导航路线以避开所述柔性缠绕物。具体地，若识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物很可能会干扰到移动机器人的正常运作的情形下，则控制移动机器人修改原导航路线以避开所述柔性缠绕物。在一示例中，若判断图像中的柔性缠绕物为线缆、绳索、或布头且所述线缆或绳索不规则摆放，或者，判断图像中的柔性缠绕物为线缆或绳索且所述尺寸较大，或者，判断图像中的柔性缠绕物为线头或丝带，则可控制移动机器人修改原导航路线移动，避开所述柔性缠绕物。

在某些实施例中，对移动机器人的行为进行相应的控制可包括：基于柔性缠绕物的信息，控制移动机器人停止移动。具体地，若识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物很可能会干扰到移动机器人的正常运作的情形下或者无法有效判断所述柔性缠绕物对移动机器人的正常运作的干扰程度的情形下，则控制移动机器人停止移动。

在某些实施例中，对移动机器人的行为进行相应的控制可包括：基于柔性缠绕物的信息，忽略所述柔性缠绕物，则控制移动机器人按照原导航路线进行移动。具体地，若识别出柔性缠绕物，结合其类别、尺寸、和/或位置等信息，判断所述柔性缠绕物不在原导航路线上的情形下，则控制移动机器人按照原导航路线进行移动。在一示例中，若判断图像中的柔性缠绕物为线缆或绳索，所述线缆或绳索贴着墙角设置，或者，若判断图像中的柔性缠绕物为线头、丝巾或布头，但所述线头、丝巾或布头在茶几或沙发下而在移动机器人的导航路线中并不包含对茶几或沙发的清洁，则可控制移动机器人按照原导航路线移动，忽略所述柔性缠绕物。

另外，还可包括控制移动机器人发出报警信息。即，若识别出柔性缠绕物，则可即时发出发现柔性缠绕物的信息，以供后续由操作人员移除柔性缠绕物以排除障碍。

如上所述，本申请移动机器人的控制方法，可控制摄像装置进行拍摄以获取包含地面的图像，对所拍摄的至少一幅包含地面的图像进行识别，在识别出图像中存在柔性缠绕物时对移动机器人的行为进行控制。利用本申请移动机器人，可针对柔性缠绕物进行有效地检测，并可根据检测结果对移动机器人的行为进行相应的控制。

还需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解，本申请还提供一种电子设备的存储介质，所述存储介质存储有一个或多个程序，当所述一个或多个计算机程序被一个或多个处理器执行时，使得所述一个或多个处理器实现前述的任一项所述的控制方法。

基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质，这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如执行移动机器人的控制方法中的各步骤等。机器可读介质可包括，但不限于，软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中，所述存储介质可位于移动机器人也可位于第三方服务器中，如位于提供某应用商城的服务器中。在此对具体应用商城不做限制，如小米应用商城、华为应用商城、苹果应用商城等。

本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims

一种移动机器人的控制方法，其中，所述移动机器人具有摄像装置，其特征在于，所述控制方法包括以下步骤：

在移动机器人的工作模式下，控制所述摄像装置进行拍摄以获取包含地面的图像；以及

对所述摄像装置所拍摄的至少一幅包含地面的图像进行识别，在识别出所述图像中存在柔性缠绕物时对所述移动机器人的行为进行控制。
根据权利要求1所述的移动机器人的控制方法，其特征在于，对所述摄像装置所拍摄的至少一幅图像进行识别的步骤包括：

从所述摄像装置所拍摄的图像中获取至少一幅包含地面的图像；以及

利用柔性缠绕物图像分类器对所述至少一幅包含地面的图像进行识别以得到识别结果。
根据权利要求2所述的移动机器人的控制方法，其特征在于，所述柔性缠绕物图像分类器是经卷积神经网络训练得到的。
根据权利要求1所述的移动机器人的控制方法，其特征在于，还包括如下步骤：

获取前、后时刻的至少两幅图像中相匹配特征的位置，依据图像坐标系与物理空间坐标系的对应关系和所述相匹配特征的位置确定机器人的位置及姿态；以及

获取至少一幅图像，依据所述至少一幅图像中特征的位置确定所述至少一幅图像中柔性缠绕物的位置以及依据所述至少一幅图像中的标准量度确定所述柔性缠绕物的尺寸信息。
根据权利要求4所述的移动机器人的控制方法，其特征在于，所述获取前后时刻的至少两幅图像中相匹配特征的位置的方式包括跟踪至少两幅图像中包含相同特征的位置。
根据权利要求4所述的移动机器人的控制方法，其特征在于，所述依据所述至少一幅图像中的标准量度确定所述柔性缠绕物的尺寸信息的方式包括：

在所述至少一幅图像中识别出一具有已知尺寸的参照物；以及

依据所述参照物的尺寸，推算出所述至少一幅图像中柔性缠绕物的尺寸信息。
根据权利要求4所述的移动机器人的控制方法，其特征在于，还包括获取移动机器人的移动信息的步骤。
根据权利要求7所述的移动机器人的控制方法，其特征在于，还包括基于两幅图像中相匹配特征的位置和自前后时刻所获取的移动信息，构建图像坐标系与物理空间坐标系的对应关系的步骤。
根据权利要求4所述的移动机器人的控制方法，其特征在于，对所述移动机器人的行为进行控制的步骤包括以下任一种：

基于柔性缠绕物的位置和尺寸信息，控制所述移动机器人按照原导航路线移动并越过所述柔性缠绕物；

基于柔性缠绕物的位置和尺寸信息，控制所述移动机器人修改原导航路线以越过所述柔性柔性缠绕物；以及

基于柔性缠绕物的位置和尺寸信息，控制所述移动机器人修改原导航路线以避开所述柔性缠绕物。
根据权利要求4所述的移动机器人的控制方法，其特征在于，对所述移动机器人的行为进行控制的步骤包括：基于柔性缠绕物的位置和尺寸信息，控制所述移动机器人停止移动。
根据权利要求9或10所述的移动机器人的控制方法，其特征在于，控制所述移动机器人发出报警信息。
一种移动机器人，其特征在于，包括：

存储装置，存储有同时定位与地图构建应用及行为控制应用；

摄像装置，用于在移动机器人的工作模式下获取操作环境的图像；

处理装置，与所述存储装置和所述摄像装置相连，用于在移动机器人的工作模式下，控制所述摄像装置进行拍摄以获取包含地面的图像，并在识别出所述图像中存在柔性缠绕物时自所述存储装置中调用同时定位与地图构建应用及行为控制应用以对所述移动机器人的行为进行控制；以及

移动系统，与所述处理装置相连，用于基于所述处理装置所发出的控制指令而驱动移动机器人移动。
根据权利要求12所述的移动机器人，其特征在于，所述摄像装置设于所述移动机器人的顶面或者顶面与侧面的交接处。
根据权利要求12所述的移动机器人，其特征在于，所述处理装置用以从所述摄像装置所拍摄的图像中获取至少一幅图像，并利用一柔性缠绕物图像分类器对所述至少一幅图像进行识别以获得识别结果。
根据权利要求14所述的移动机器人，其特征在于，所述柔性缠绕物图像分类器存储于所述存储装置中，或者存储于与所述移动机器人远程通信的云端系统中。
根据权利要求12所述的移动机器人，其特征在于，所述处理装置用以自所述存储装置中调用同时定位与地图构建应用及行为控制应用：

获取前、后时刻的至少两幅图像中相匹配特征的位置，并依据图像坐标系与物理空间坐标系的对应关系和所述相匹配特征的位置确定移动机器人的位置及姿态；以及

获取至少一幅图像，依据所述至少一幅图像中特征的位置确定所述至少一幅图像中柔性缠绕物的位置以及依据所述至少一幅图像中的标准量度确定所述柔性缠绕物的尺寸信息。
根据权利要求16所述的移动机器人，其特征在于，还包括跟踪装置，与所述摄像装置相连，用于跟踪前后时刻的至少两幅图像中包含相同特征的位置以获取前后时刻的至少两幅图像中相匹配特征的位置。
根据权利要求17所述的移动机器人，其特征在于，还包括移动传感装置，与所述处理装置相连，用于获取移动机器人的移动信息。
根据权利要求18所述的移动机器人，其特征在于，还包括初始化装置，用于基于前后时刻的至少两幅图像中相匹配特征的位置和前后时刻所获取的移动机器人的移动信息，构建图像坐标系与物理空间坐标系的对应关系。
根据权利要求16所述的移动机器人，其特征在于，所述处理装置调用同时定位与地图构建应用及行为控制应用以对所述移动机器人的行为进行控制的方式包括以下任一种：

基于柔性缠绕物的位置和尺寸信息，向所述移动系统发出控制指令以控制所述移动机器人按照原导航路线移动并越过所述柔性缠绕物；

基于柔性缠绕物的位置和尺寸信息，向所述移动系统发出控制指令以控制所述移动机器人修改原导航路线并越过所述柔性柔性缠绕物；以及

基于柔性缠绕物的位置和尺寸信息，向所述移动系统发出控制指令以控制所述移动机器人修改原导航路线以避开所述柔性缠绕物。
根据权利要求16所述的移动机器人，其特征在于，所述处理装置调用同时定位与地图构建应用及行为控制应用以对所述移动机器人的行为进行控制为：基于柔性缠绕物的位置和尺寸信息，向所述移动系统发出控制指令以控制所述移动机器人停止移动。
根据权利要求12所述的移动机器人，其特征在于，还包括报警装置，与所述处理装置相连，用于在所述处理装置识别出所述图像中存在柔性缠绕物时发出报警信息。
一种移动机器人的控制系统，所述移动机器人配置有摄像装置，其特征在于，所述控制系统包括：

存储装置，存储有同时定位与地图构建应用及行为控制应用；以及

处理装置，与所述存储装置和所述摄像装置相连，用于在移动机器人的工作模式下，控制所述摄像装置进行拍摄以获取包含地面的图像，并在识别出所述图像中存在柔性缠绕物时自所述存储装置中调用同时定位与地图构建应用及行为控制应用以对所述移动机器人的行为进行控制。
根据权利要求23所述的移动机器人的控制系统，其特征在于，所述处理装置用以从所述摄像装置所拍摄的图像中获取至少一幅图像，并利用一柔性缠绕物图像分类器对所述至少一幅图像进行识别以获得识别结果。
根据权利要求24所述的移动机器人的控制系统，其特征在于，所述柔性缠绕物图像分类器存储于所述存储装置中，或者存储于与所述移动机器人远程通信的云端系统中。
根据权利要求23所述的移动机器人的控制系统，其特征在于，所述处理装置用以自所述存储装置中调用同时定位与地图构建应用及行为控制应用：

获取前、后时刻的至少两幅图像中相匹配特征的位置，并依据图像坐标系与物理空间坐标系的对应关系和所述相匹配特征的位置确定移动机器人的位置及姿态；以及

获取至少一幅图像，依据所述至少一幅图像中特征的位置确定所述至少一幅图像中柔性缠绕物的位置以及依据所述至少一幅图像中的标准量度确定所述柔性缠绕物的尺寸信息。
根据权利要求26所述的移动机器人的控制系统，其特征在于，还包括跟踪装置，与所述摄像装置相连，用于跟踪前后时刻的至少两幅图像中包含相同特征的位置以获取前后时刻的至少两幅图像中相匹配特征的位置。
根据权利要求27所述的移动机器人的控制系统，其特征在于，还包括移动传感装置，与所述处理装置相连，用于获取移动机器人的移动信息。
根据权利要求28所述的移动机器人的控制系统，其特征在于，还包括初始化装置，用于基于前后时刻的至少两幅图像中相匹配特征的位置和前后时刻所获取的移动机器人的移动信息，构建图像坐标系与物理空间坐标系的对应关系。
根据权利要求26所述的移动机器人的控制系统，其特征在于，所述处理装置同时定位与地图构建应用及行为控制应用以对所述移动机器人的行为进行控制的方式包括以下任一种：

基于柔性缠绕物的位置和尺寸信息，控制所述移动机器人按照原导航路线移动并越过所述柔性缠绕物；

基于柔性缠绕物的位置和尺寸信息，控制所述移动机器人修改原导航路线以越过所述柔性柔性缠绕物；以及

基于柔性缠绕物的位置和尺寸信息，控制所述移动机器人修改原导航路线以避开所述柔性缠绕物。
根据权利要求26所述的移动机器人的控制系统，其特征在于，所述处理装置调用同时定位与地图构建应用及行为控制应用对所述移动机器人的行为进行控制为基于柔性缠绕物的位置和尺寸信息，控制所述移动机器人停止移动。
根据权利要求23所述的移动机器人的控制系统，其特征在于，还包括报警装置，与所述处理装置相连，用于在所述处理装置调取所述程序并识别出所述图像中存在柔性缠绕物时发出报警信息。
一种清洁机器人，其特征在于，包括：

摄像装置；

如权利要求23-32中任一所述的控制系统；

移动系统，与所述控制系统相连，用于基于所述控制系统所发出的控制指令而驱动移动机器人移动；

清洁系统，与所述控制系统相连，用以在所述移动机器人移动时对地面执行清洁作业。
一种计算机可读存储介质，其特征在于，存储有至少一个程序，所述程序被处理器执行时，实现如权利要求1至11中任一项所述移动机器人的控制方法中的各个步骤。