WO2019232803A1 - 移动控制方法、移动机器人及计算机存储介质 - Google Patents

移动控制方法、移动机器人及计算机存储介质 Download PDF

Info

Publication number
WO2019232803A1
WO2019232803A1 PCT/CN2018/090501 CN2018090501W WO2019232803A1 WO 2019232803 A1 WO2019232803 A1 WO 2019232803A1 CN 2018090501 W CN2018090501 W CN 2018090501W WO 2019232803 A1 WO2019232803 A1 WO 2019232803A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mobile robot
ground
obstacle
navigation
Prior art date
Application number
PCT/CN2018/090501
Other languages
English (en)
French (fr)
Inventor
崔彧玮
李重兴
温任华
王子敬
Original Assignee
珊口(深圳)智能科技有限公司
珊口(上海)智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 珊口(深圳)智能科技有限公司, 珊口(上海)智能科技有限公司 filed Critical 珊口(深圳)智能科技有限公司
Priority to PCT/CN2018/090501 priority Critical patent/WO2019232803A1/zh
Publication of WO2019232803A1 publication Critical patent/WO2019232803A1/zh
Priority claimed from US17/114,677 external-priority patent/US11130238B2/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/0085Cleaning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2201/00Application
    • G05D2201/02Control of position of land vehicles
    • G05D2201/0203Cleaning or polishing vehicle

Abstract

一种移动控制方法、移动机器人及计算机存储介质,所述移动控制方法用于带有摄像装置的移动机器人,所述移动控制方法包括:自所述摄像装置所摄取的图像中识别第一障碍物与地面的交界线(S110);基于预设的物理参考信息,确定所述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置(S120);基于所述第一相对空间位置控制所述移动机器人移动(S130)。通过识别自摄像装置所摄取的图像中的障碍物与地面的交界线来检测障碍物,基于预设的物理参考信息确定移动机器人与障碍物之间的相对空间位置来获得障碍物与移动机器人之间的距离,并依据上述结果对机器人进行定位,提高了移动机器人的定位精度。

Description

移动控制方法、移动机器人及计算机存储介质 技术领域
本申请涉及智能机器人领域,特别是涉及一种移动控制方法、移动机器人及计算机存储介质。
背景技术
移动机器人是自动执行工作的机器装置。它既可以接受人类指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外,可用于工业或家庭,可用于取代保安巡视、取代人们清洁地面,还可用于家庭陪伴、辅助办公等。受不同移动机器人所应用的领域差别,各领域所使用的移动机器人的移动方式有所差异,例如,移动机器人可采用轮式移动、行走式移动、链条式移动等。
移动机器人基于导航控制技术执行移动操作。其中,受移动机器人所应用的场景影响,当移动机器人处于未知环境的未知位置时,利用SLAM(Simultaneous Localization and Mapping,即时定位与地图构建,简称SLAM)技术可以帮助移动机器人构建地图并执行导航操作。具体地,移动机器人通过移动传感器所提供的移动信息构建地图,并根据所构建的地图为移动机器人提供导航能力,使得移动机器人能自主移动。然而,移动机器人所使用的移动机构,如滚轮,在不同材质的地面上移动单位圈数所能行进的距离并不相同,使得所构建的地图与实际物理空间的地图可能出现较大差异。机器人在环境移动过程中,需要实时检测运行方向上是否有障碍物以调整运动方式。现有的障碍物传感器,如超声波传感器,红外传感器,激光传感器,仅能检测到部分类型的障碍物。对于低矮,贴近地面的障碍物有检测失效的情况。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种移动控制方法、移动机器人及计算机存储介质,用于解决现有技术中利用传感器所提供的数据对机器人的定位不准确及机器人对环境中障碍物检测及距离判断的问题。
为实现上述目的及其他相关目的,本申请的第一方面提供一种移动控制方法,用于带有摄像装置的移动机器人,所述移动控制方法包括:自所述摄像装置所摄取的图像中识别第一障碍物与地面的交界线;基于预设的物理参考信息,确定所述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置;基于所述第一相对空间位置控制所述移动机器人移 动。
在本申请的第一方面的某些实施方式中,所述自摄像装置所摄取的图像中识别第一障碍物与地面的交界线的方式包括:自所述摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域,以及从所述图像中确定地面图像区域;将所述地面图像区域与物体图像区域的相交线作为第一障碍物与地面的交界线。
在本申请的第一方面的某些实施方式中,所述自摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域的方式包括:利用第一神经网络从所摄取的图像中识别与预设物体标签相符的物体图像区域。
在本申请的第一方面的某些实施方式中,所述从图像中确定地面图像区域的方式包括:提取所述图像在预设的图像边界区域的地面特征信息,并基于所述地面特征信息确定所述图像中地面图像区域。
在本申请的第一方面的某些实施方式中,所述从图像中确定地面图像区域的方式包括:基于所识别出的物体图像区域对应的物体标签及所识别出的物体图像区域在所述图像中的位置,确定所识别出的物体图像区域是否属于地面图像区域,并将所确定的属于地面图像区域的物体图像区域划分为所述图像中的地面图像区域。
在本申请的第一方面的某些实施方式中,所述从图像中确定地面图像区域的方式包括:基于预设的尺寸条件确定所识别出的物体图像区域是否属于地面图像区域。
在本申请的第一方面的某些实施方式中,所述物理参考信息包括:所述摄像装置相距地面的物理高度、所述摄像装置的物理参数、和所述摄像装置的主光轴相对于水平或垂直面的夹角。
在本申请的第一方面的某些实施方式中,所述自摄像装置所摄取的图像中识别第一障碍物与地面的交界线的方式包括:利用第二神经网络识别所述图像中第一障碍物与地面的交界线。
在本申请的第一方面的某些实施方式中,所述基于预设的物理参考信息,确定所述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置的方式包括:基于预设的物理参考信息,确定所述交界线上至少一像素点所对应的物理位置与所述移动机器人之间的第一相对空间位置。
在本申请的第一方面的某些实施方式中,所述基于第一相对空间位置控制所述移动机器人移动的方式包括:按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息;基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的路线,并按照所规划的路线控制所述移动机器人进行移动。
在本申请的第一方面的某些实施方式中,所述移动控制方法还包括:自所述移动机器人中的传感装置获取第二障碍物与所述移动机器人之间的第二相对空间位置,所述第二障碍物是未被识别出与地面的交界线的障碍物;基于所述第一相对空间位置和第二相对空间位置控制所述移动机器人移动。
在本申请的第一方面的某些实施方式中,所述基于第一相对空间位置和第二相对空间位置控制所述移动机器人移动的方式包括:按照所得到的第一相对空间位置和第二相对空间位置,更新预设地图中的第一障碍物信息和第二障碍物信息;基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的路线,并按照所规划的路线控制所述移动机器人进行移动。
在本申请的第一方面的某些实施方式中,所述移动控制方法还包括:依据所述摄像装置所摄取的包括第二障碍物的图像以及所述第二障碍物与所述移动机器人之间的第二相对空间位置,生成样本信息;将所述样本信息发送至一服务端,以供所述服务端进行交界线识别算法的优化。
在本申请的第一方面的某些实施方式中,所述移动控制方法还包括:基于所述服务端的反馈信息更新预设的交界线识别算法,以利用更新后的交界线识别算法在后续摄取的包含相应第二障碍物的图像中识别第二障碍物与地面的交界线。
在本申请的第一方面的某些实施方式中,所述移动机器人为具有单目摄像装置的移动机器人。
本申请的第二方面还提供一种移动机器人,包括:摄像装置,用于在所述移动机器人移动期间摄取图像;移动装置,用于受控地带动所述移动机器人整机移动;存储装置,用于存储所摄取的图像、预设的物理参考信息、预先标记的物体标签以及至少一个程序;处理装置,用于调用所述至少一个程序并执行前述中任一所述的移动控制方法。
在本申请的第二方面的某些实施方式中,所述摄像装置基于所述物理参考信息而设置在所述移动机器人的外壳上。
在本申请的第二方面的某些实施方式中,所述移动机器人为具有单目摄像装置的移动机器人。
在本申请的第二方面的某些实施方式中,所述移动机器人为扫地机器人。
本申请的第三方面还提供一种导航方法,用于带有摄像装置的移动机器人,所述导航方法包括:自所述摄像装置所摄取的图像中识别第一障碍物与地面的交界线;基于预设的物理参考信息,确定所述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置;基于移动机器人的当前位置和所述第一相对空间位置生成导航路线。
在本申请的第三方面的某些实施方式中,所述自摄像装置所摄取的图像中识别第一障碍物与地面的交界线的方式包括:自所述摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域,以及从所述图像中确定地面图像区域;将所述地面图像区域与物体图像区域的相交线作为第一障碍物与地面的交界线。
在本申请的第三方面的某些实施方式中,所述自摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域的方式包括:利用第一神经网络从所摄取的图像中识别与预设物体标签相符的物体图像区域。
在本申请的第三方面的某些实施方式中,所述从图像中确定地面图像区域的方式包括:提取所述图像在预设的图像边界区域的地面特征信息,并基于所述地面特征信息确定所述图像中地面图像区域。
在本申请的第三方面的某些实施方式中,所述从图像中确定地面图像区域的方式包括:基于所识别出的物体图像区域对应的物体标签及所识别出的物体图像区域在所述图像中的位置,确定所识别出的物体图像区域是否属于地面图像区域,并将所确定的属于地面图像区域的物体图像区域划分为所述图像中的地面图像区域。
在本申请的第三方面的某些实施方式中,所述从图像中确定地面图像区域的方式包括:基于预设的尺寸条件确定所识别出的物体图像区域是否属于地面图像区域。
在本申请的第三方面的某些实施方式中,所述物理参考信息包括:所述摄像装置相距地面的物理高度、所述摄像装置的物理参数、和所述摄像装置的主光轴相对于水平或垂直面的夹角。
在本申请的第三方面的某些实施方式中,所述自摄像装置所摄取的图像中识别第一障碍物与地面的交界线的方式包括:利用第二神经网络识别所述图像中第一障碍物与地面的交界线。
在本申请的第三方面的某些实施方式中,所述基于预设的物理参考信息,确定所述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置的方式包括:基于预设的物理参考信息,确定所述交界线上至少一像素点所对应的物理位置与所述移动机器人之间的第一相对空间位置。
在本申请的第三方面的某些实施方式中,所述基于移动机器人的当前位置和所述第一相对空间位置生成导航路线的方式包括:按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息;基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的导航路线。
在本申请的第三方面的某些实施方式中,所述导航方法还包括:自所述移动机器人中的 传感装置获取第二障碍物与所述移动机器人之间的第二相对空间位置,所述第二障碍物是未被识别出与地面的交界线的障碍物;基于移动机器人的当前位置、所述第一相对空间位置以及第二相对空间位置生成导航路线。
在本申请的第三方面的某些实施方式中,所述基于移动机器人的当前位置、所述第一相对空间位置以及第二相对空间位置生成导航路线的方式包括:按照所得到的第一相对空间位置和第二相对空间位置,更新预设地图中的第一障碍物信息和第二障碍物信息;基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的导航路线。
在本申请的第三方面的某些实施方式中,所述导航方法还包括:依据所述摄像装置所摄取的包括第二障碍物的图像以及所述第二障碍物与所述移动机器人之间的第二相对空间位置,生成样本信息;将所述样本信息发送至一服务端,以供所述服务端进行交界线识别算法的优化。
在本申请的第三方面的某些实施方式中,所述导航方法还包括:基于所述服务端的反馈信息更新预设的交界线识别算法,以利用更新后的交界线识别算法在后续摄取的包含相应第二障碍物的图像中识别第二障碍物与地面的交界线。
在本申请的第三方面的某些实施方式中,所述导航方法还包括显示所述导航路线和/或显示移动机器人按照所述导航路线移动的移动路线的步骤。
本申请的第四方面还提供一种导航系统,用于带有摄像装置的移动机器人,所述导航系统包括:识别单元,用于自所述摄像装置所摄取的图像中识别第一障碍物与地面的交界线;确定单元,用于基于预设的物理参考信息,确定所述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置;导航单元,用于基于移动机器人的当前位置和所述第一相对空间位置生成导航路线。
在本申请的第四方面的某些实施方式中,所述识别单元包括:第一识别模块,用于自所述摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域;第二识别模块,用于从所述图像中确定地面图像区域;第三识别模块,用于将所述地面图像区域与物体图像区域的相交线作为第一障碍物与地面的交界线。
在本申请的第四方面的某些实施方式中,所述第一识别模块用于利用第一神经网络从所摄取的图像中识别与预设物体标签相符的物体图像区域。
在本申请的第四方面的某些实施方式中,所述第二识别模块用于提取所述图像在预设的图像边界区域的地面特征信息,并基于所述地面特征信息确定所述图像中地面图像区域。
在本申请的第四方面的某些实施方式中,所述第二识别模块用于基于所识别出的物体图像区域对应的物体标签及所识别出的物体图像区域在所述图像中的位置,确定所识别出的物 体图像区域是否属于地面图像区域,并将所确定的属于地面图像区域的物体图像区域划分为所述图像中的地面图像区域。
在本申请的第四方面的某些实施方式中,所述第二识别模块用于基于预设的尺寸条件确定所识别出的物体图像区域是否属于地面图像区域。
在本申请的第四方面的某些实施方式中,所述物理参考信息包括:所述摄像装置相距地面的物理高度、所述摄像装置的物理参数、和所述摄像装置的主光轴相对于水平或垂直面的夹角。
在本申请的第四方面的某些实施方式中,所述识别单元用于利用第二神经网络识别所述图像中第一障碍物与地面的交界线。
在本申请的第四方面的某些实施方式中,所述确定单元用于基于预设的物理参考信息,确定所述交界线上至少一像素点所对应的物理位置与所述移动机器人之间的第一相对空间位置。
在本申请的第四方面的某些实施方式中,所述导航单元包括:第一更新模块,用于按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息;第一规划模块,用于基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的导航路线。
在本申请的第四方面的某些实施方式中,所述识别单元还用于自所述移动机器人中的传感装置获取第二障碍物与所述移动机器人之间的第二相对空间位置,所述第二障碍物是未被识别出与地面的交界线的障碍物;所述导航单元还用于基于移动机器人的当前位置、所述第一相对空间位置以及第二相对空间位置生成导航路线。
在本申请的第四方面的某些实施方式中,所述导航单元还包括:第二更新模块,用于按照所得到的第一相对空间位置和第二相对空间位置,更新预设地图中的第一障碍物信息和第二障碍物信息;第二规划模块,用于基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的路线。
在本申请的第四方面的某些实施方式中,所述导航系统还包括:生成模块,用于依据所述摄像装置所摄取的包括第二障碍物的图像以及所述第二障碍物与所述移动机器人之间的第二相对空间位置,生成样本信息;通信模块,用于将所述样本信息发送至一服务端,以供所述服务端进行交界线识别算法的优化。
在本申请的第四方面的某些实施方式中,所述识别单元还用于基于所述服务端的反馈信息更新预设的交界线识别算法,以利用更新后的交界线识别算法在后续摄取的包含相应第二障碍物的图像中识别第二障碍物与地面的交界线。
本申请的第五方面还提供一种处理系统,用于带有摄像装置的移动机器人,所述处理系 统包括:输入单元,用于接收自所述摄像装置所摄取的图像;存储单元,用于存储所摄取的图像、预设的物理参考信息、预先标记的物体标签以及至少一个程序;处理单元,用于调用所述至少一个程序并执行前述中任一所述的导航方法;控制单元,用于基于所述处理单元生成的导航路线控制所述移动机器人移动。
在本申请的第五方面的某些实施方式中,所述处理系统还包括:输出单元,用于将所述导航路线和/或移动机器人按照所述导航路线移动的移动路线予以输出以供用户查看。
本申请的第六方面还提供一种计算机存储介质,存储至少一种程序,所述至少一种程序在被调用时执行前述中任一所述的移动控制方法。
本申请的第七方面还提供一种计算机存储介质,存储至少一种程序,所述至少一种程序在被调用时执行前述中任一所述的导航方法。
如上所述,本申请的移动控制方法、移动机器人及计算机存储介质,具有以下有益效果:通过识别自摄像装置所摄取的图像中的障碍物与地面的交界线来检测障碍物,基于预设的物理参考信息确定移动机器人与障碍物之间的相对空间位置来获得障碍物与移动机器人之间的距离,并依据上述结果对机器人进行定位,提高了移动机器人的定位精度。
附图说明
图1显示为本申请移动控制方法在一种实施方式中的流程图。
图2显示为本申请移动控制方法中的步骤S110在一种实施方式中的流程图。
图3显示为图像中的物体与地面之间的位置关系与在实际物理空间中对应物体与地面之间的位置关系的成像示意图。
图4显示为基于成像原理确定物体与移动机器人之间的空间位置的原理示意图。
图5显示为基于空间位置的变化来修正地图数据中位置A1和A2的定位误差的示意图。
图6显示为本申请移动控制方法在另一种实施方式中的流程图。
图7显示为本申请移动机器人在一种实施方式中的结构示意图。
图8显示为本申请导航方法在一种实施方式中的流程图。
图9显示为本申请导航方法在另一种实施方式中的流程图。
图10显示为本申请导航系统在一种实施方式中的结构示意图。
图11显示为本申请处理系统在一种实施方式中的结构示意图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭 露的内容轻易地了解本申请的其他优点及功效。
在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
由于SLAM在一些应用领域中存在所构建的地图与真实场景差异较大的问题,在SLAM基础上还发展出一种VSLAM(Visual Simultaneous Localization and Mapping,基于视觉的即时定位与地图构建)技术,其增加了单目或双目摄像装置,藉由通过图像中特征的位置变化来补偿传感器所提供移动信息的误差。然而,在使用单目摄像装置时,仍需要如激光传感器等测距传感器配合以获取移动机器人与障碍物在真实的物理空间中的距离信息。或者利用更高成本的双目摄像装置所拍摄的图像来重构所拍摄场景的三维模型,由此获得移动机器人与障碍物在真实的物理空间中的距离信息。在上述各方案中为了提高定位精度,移动机器人都增加了硬件成本。
为此,本申请提供一种移动控制方法,所述移动控制方法由带有摄像装置的移动机器人执行。在移动机器人移动期间,移动机器人基于本申请的移动控制方法利用单一摄像装置(或称为单目摄像装置)所摄取的包含地面的图像、和该摄像装置拍摄所述图像时所对应的物理参考信息,确定地面物体相对于移动机器人之间的距离,进而及时调整导航路线和移动控制,使其能够精准导航和避障。其中,在一些实施例中,所述移动机器人包括一个摄像装置,移动机器人依据该摄像装置所摄取的图像执行定位和移动控制操作。
当然,在另一些实施例中,所述移动机器人也可以配置有多个摄像装置,移动机器人仅 依据所述多个摄像装置中的一个摄像装置所摄取的图像执行定位和移动控制操作,在该种情况下,也被视为是单目摄像装置的移动机器人。移动机器人可基于本申请所提供的移动控制方式并结合SLAM技术构建地图。另外,移动机器人还可以基于预先所构建的地图自主移动。其中,所述预先构建的地图包括但不限于:基于SLAM技术而构建的地图,或基于场地规划而构建的地图等。所述移动机器人包括但不限于:家庭陪伴式移动机器人、清洁机器人、巡逻式移动机器人等可基于预先构建的地图自主移动的机器人。
请参阅图1,图1显示为本申请移动控制方法在一种实施方式中的流程图。其中,所述移动控制方法可由移动机器人包括的处理装置来执行。在一实施例中,处理装置可以预先设定摄像装置拍摄图像的时间间隔,然后处理装置获取经摄像装置以预设时间间隔拍摄的不同时刻下的静态图像,并执行下述步骤S110-S130。在另一实施例中,摄像装置可以拍摄视频,由于视频是由图像帧构成的,因此处理装置首先可以连续或不连续地采集所获取的视频中的图像帧,然后处理装置选用一帧图像作为一幅图像并执行步骤S110-S130。
在步骤S110中,自摄像装置所摄取的图像中识别第一障碍物与地面的交界线。
其中,第一障碍物是指放置在地面上的物体,例如桌子、椅子、平铺物体、水瓶、花盆等物体。第一障碍物与地面的交界线包括但不限于:物体的支撑部分与地面之间形成的交线,物体贴近地面所形成的交线等。例如,桌子的桌腿与地面的交线、花盆与地面的交线。又如,矮脚下边沿与地面所形成的阴影线。所述交界线经拍摄映射在图像中。在移动期间,处理装置控制移动机器人的移动装置沿导航路线移动的同时,还控制移动机器人的摄像装置沿途摄取图像。
针对第一障碍物与地面之间的交界线的识别方式,在一种实施例中,请参阅图2,图2显示为本申请移动控制方法中的步骤S110在一种实施方式中的流程图,如图所示,步骤S110包括步骤S210和步骤S220。
在步骤S210中,自摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域,以及从图像中确定地面图像区域。
在此,一方面,处理装置从所摄取的图像中识别与预先标记的物体标签相符的物体图像区域。其中,所识别出的物体图像区域可由所识别出的物体的轮廓图像区域表示,或由外接矩形表示。其中,所述物体图像区域由物体轮廓图像区域表示的方式包括通过轮廓线提取方法获得所识别物体的物体图像区域。所述轮廓线提取方法包括但不限于:二值、灰度、canny算子等方法。所述外接矩形可基于所识别出的轮廓图像区域而确定。
在一种实施例中,当由图像特征来表征物体标签时,可以预先将对应物体的图像特征存储在存储装置中,在摄像装置摄取到图像并输出给处理装置后,处理装置基于预先存储的各 物体的图像特征对所摄取的图像进行识别处理以在所述图像中确定物体图像区域。
在另一种实施例中,当由物体分类来表征物体标签时,可以预先通过第一神经网络例如CNN(Convolutional Neural Network,卷积神经网络,CNN)进行训练,以使得对于输入的图片能够标识出分别表示桌子、椅子、平铺物体、未知物体等的物体标签以及物体在图像中的位置。在摄像装置摄取到图像并输出给处理装置后,处理装置基于第一神经网络所提供的物体标签从所摄取的图像中识别与所述物体标签相符的物体图像区域。例如,处理装置从所摄取的图像中识别出桌子、椅子,并确定桌子、椅子的区域属于物体图像区域。
另一方面,处理装置还自所摄取的图像中确定地面图像区域。
在一种实施例中,在基于已构建的地图上控制移动装置移动期间,或者为利用SLAM技术构建地图时控制移动装置移动期间,所述处理装置根据如移动传感器所提供的移动信息确定移动机器人在地图中的当前位置。为防止当前路线上被摆放如椅子、玩具等随机障碍物,所述处理装置获取所述摄像装置所摄取的图像,并按照预设的地面图像区域在图像中区域划分,确定所述图形中的地面图像区域,以及确定物体图像区域。其中,预设的地面图像区域在图像中区域划分的方式包括:处理装置基于拍摄装置的成像方位与物体在实际物理空间中的方位之间的对应关系,将图像中一部分区域划分为地面图像区域。例如,请参阅图3,图3显示为图像中的物体与地面之间的位置关系与在实际物理空间中对应物体与地面之间的位置关系的成像示意图,如图所示,假设摄像装置的镜头中心点O相距地面的物理高度为H,摄像装置的主光轴OP与地面平行,实际物理空间中的物体AB放置在地面上,其中,点A为物体与地面的交点,基于摄像装置的视场角α拍摄到的地面边界点为M,则OM与OP之间的夹角β=α/2,地面M在图像中成像位置为M 1,物体AB在图像中的成像为A 1B 1,则处理装置基于预设的像素行数将图像的上边界区域划分为地面图像区域,即处理装置在图像中将M 1至A 1的区域中基于预设像素行数的部分区域划分为地面图像区域。由于位于该地面图像区域内的物体图像区域描述了实际物理空间中距离移动机器人最近的物体的位置关系,因此,处理装置可通过执行后续步骤来确定与移动机器人最近的、且放置在地面的物体的距离和方位。在构建地图期间,所述处理装置可基于所确定的距离和方位在相应栅格标记障碍物信息。
在另一种实施例中,为了提高识别地面图像区域的准确率,处理装置采用下述方法来确定地面图像区域:处理装置提取图像在预设的图像边界区域的地面特征信息,其中预设的图像边界区域根据相机的高度,光轴方向等物理参数和视场角预先设定,并基于所述地面特征信息来确定图像中的地面图像区域。其中,图像边界区域可以基于拍摄装置的成像方位与物体在实际物理空间中的方位之间的对应关系而划分出的边界区域。例如,处理装置基于图3所示的成像示意图,从图像上边界划分一图像边界区域,处理装置在所述图像边界区域内提 取地面特征信息。为了减少在图像边界区域内所识别出的物体图像区域对识别地面特征信息的影响,所述处理装置可在抠除物体图像区域的基础上在所述图像边界区域内提取地面特征信息。
在此,地面特征信息可由地面纹理特征来表征。其中,纹理特征是一种全局特征,用来描述图像区域所对应物体的表面性质。因此,可采用统计方法、模型法、信号处理法、或结构方法等来提取图像边界区域的纹理特征。其中,所述统计方法举例为灰度共生矩阵的纹理特征分析算法。所述模型法举例为马尔科夫随机场模型算法、自回归模型算法等。所述信号处理法举例为Tamura纹理特征等。处理装置通过执行上述任一种算法提取地面特征信息,并将所提取的地面特征信息遍历整幅图像,将符合地面纹理特征的图像部分使用基于纹理相似性的图像分割算法标出,其中图像分割算法包括但不限于,图像阈值处理,区域生长,区域聚合等方法,由此确定整幅图像中的地面图像区域。
在又一种实施例中,当识别出图像中包含物体标签为平铺物体的物体图像区域时,由于平铺物体包括可以平铺在地板上的地垫,以及可以挂在墙壁上的挂毯,因而利用特征提取而确定的地面图像区域并不完整。需要对图像中的地面图像区域进行补充,即基于所识别出的物体图像区域对应的物体标签及所识别出的物体图像区域在所述图像中的位置,确定所识别出的物体图像区域是否属于地面图像区域,并将所确定的属于地面图像区域的物体图像区域划分为所述图像中的地面图像区域。
在一示例中,处理装置首先基于第一神经网络识别出物体图像区域的物体标签,当所述物体标签为平铺物体时,处理装置还确定所识别出的平铺物体在图像中的位置。例如,当处理装置确定所识别出的平铺物体图像区域至少部分地落入预设的地面图像区域时,则表明所述平铺物体区域属于地面图像区域,例如所述平铺物体为地垫。当处理装置确定所识别出的平铺物体与预设的地面图像区域无重叠时,则表明所述平铺物体区域属于物体图像区域,例如所述平铺物体为挂毯。
在另一示例中,所述位置还可以通过平铺物体图像区域与经由地面特征信息确定的地面图像区域的位置关系来表征。例如,所述关系包括平铺物体与地面图像区域相交或不相交。当处理装置确定平铺物体的图像区域与地面图像区域相交时,则表明在物理空间中相应的平铺物体为平铺在地面上的物体(如地垫等),即处理装置将所述平铺物体的图像区域补充到地面图像区域中。当处理装置确定平铺物体的图像区域与地面图像区域不相交时,则表明在物理空间中相应的平铺物体并非平铺在地面上的物体(如挂毯等),即处理装置不予将所述平铺物体的图像区域补充到地面图像区域中。
需要说明的是,所述平铺物体的物体标签仅为举例而非对本申请的限制,根据移动机器 人的工作环境、移动机器人的其他功能,所述物体标签将有所不同。例如,室外的移动机器人将标有石子标签的石子图像区域补充到地面图像区域中。又如,清洁机器人不予将所识别出的与地面图像区域相交的物体标签(如纸、卷线等)补充到地面图像区域中。
此外,利用第一神经网络所训练的物体标签还可以包含未知物体,处理装置利用经训练的第一神经网络将图像中无法识别的且明确为物体的图像区域归类于未知物体标签,则所述处理装置还基于预设的尺寸条件确定所识别出的物体图像区域是否属于地面图像区域。其中,所述尺寸条件根据移动机器人的应用场景可在出厂前设置或者由用户根据移动机器人的应用场景来设置。例如,尺寸条件包含物体图像区域所限定的面积小于预设面积阈值、物体图像区域与地面图像区域相交线长度小于预设长度阈值中的至少一种。
在此,当所识别出的物体图像区域与地面图像区域相交时,处理装置基于所述物体标签和预设的尺寸条件确定所识别出的物体图像区域是否属于地面图像区域。例如,处理装置将所识别的对应未知物体标签的物体图像区域的面积与预设的尺寸条件中的面积阈值进行比较,若所述面积小于所述面积阈值,则可认定在实际物理空间中与所识别的未知物体标签相对应的物体不影响移动机器人的移动,故而将所识别的对应未知物体标签的物体图像区域补充到地面图像区域中;反之,若所述面积大于等于所述面积阈值,则可认定在实际物理空间中与所识别的未知物体标签相对应的物体影响移动机器人的移动,故而不予将所识别的对应未知物体标签的物体图像区域补充到地面图像区域中,并认定其为障碍物。
需要说明的是,所述处理装置针对未知物体标签所对应的物体图像区域是否属于地面图像区域的处理方式仅为举例,而非对本申请的限制。事实上,根据移动机器人所使用的场景及其装配的移动装置的硬件结构,所述处理装置所需处理的物体标签、尺寸条件等都各有不同。
在步骤S220中,将地面图像区域与物体图像区域的相交线作为第一障碍物与地面的交界线。例如,在所识别出的物体图像区域或地面图像区域由所识别出的物体或地面的轮廓线表示的情况下,物体即第一障碍物与地面之间的交界线即为物体轮廓线与地面轮廓线的相交线。
针对第一障碍物与地面之间的交界线的识别方式,在另一种实施例中,利用第二神经网络识别图像中第一障碍物与地面的交界线。在实际应用中,可以预先通过第二神经网络例如CNN进行训练,以使得对于输入的图片能够识别出第一障碍物与地面的交界线。这类神经网络的输入层为机器人视角获取的图片,输出层大小为预设的图像中可能为地面的区域,输出层上每个像素点为障碍物出现的概率,输入层和输出层中间包括若干卷积层。在训练过程中,可使用预先人工标注好的图片,利用反向传播算法调整神经网络的权重,以使得网络输出的障碍物位置接近人工标注的障碍物的位置。在摄像装置摄取到图像并输出给处理装置后,处 理装置基于第二神经网络识别出第一障碍物与地面的交界线。
接着,处理装置执行步骤S120。在步骤S120中,基于预设的物理参考信息,确定交界线所对应的物理装置与移动机器人之间的第一相对空间位置。
其中,所述物理参考信息包括但不限于:摄像装置相距移动机器人底面的物理高度、摄像装置的物理参数、和摄像装置的主光轴相对于水平或垂直面的夹角。在此,技术人员预先测量摄像装置的成像中心与地面的距离,并将所距离作为所述物理高度或物理高度的初始值保存在存储装置中。所述物理高度也可以预先通过对移动机器人设计参数进行计算而得到的。依据移动机器人的设计参数还可以得到摄像装置的主光轴相对于水平或垂直面的夹角,或夹角的初始值。对于摄像装置可调节的移动机器人来说,所保存的夹角可在夹角初始值的基础上增/减被调节的偏转角后而确定的,所保存的物理高度是在物理高度初始值的基础上增/减被调节的高度后而确定的。所述摄像装置的物理参数包含镜头组的视角和焦距等。
在此,处理装置从所获取的图像中确定了第一障碍物与地面的交界线后,基于所述物理参考信息和成像原理计算,确定所述图像中拍摄到的摆放在地面上的物体即第一障碍物相距移动机器人的距离,以及确定相应物体与移动机器人的方位角度。
请参阅图4,图4显示为基于成像原理确定物体与移动机器人之间的空间位置的原理示意图,如图所示,图中包括三个坐标系:图像坐标系UO 1V、世界坐标系XO 3Y、以O 2为圆点的相机坐标系,假设物体放置在地面的位置包含点P,已知摄像装置相距地面的物体高度为H、图像坐标中心对应世界坐标点与摄像装置在Y轴上的距离O 3M、镜头中心点的图像坐标O 1、测量像素点的图像坐标P 1、实际像素的长度和宽度、摄像装置的焦距,则通过推导计算可以得到O 3P的长度,由此,根据所述长度可得到移动机器人与物体的P点之间的物理距离。
为了确定该物体P点在移动机器人之间的方位角度,处理装置根据预先存储在所述存储装置中的图像各像素点与实际物理方位角度之间的对应关系,计算得到移动机器人当前与物体P点之间的方位角度。其中,每个像素点对应一个方位角,所述方位角可以是基于像素数量、摄像装置焦距以及视角等参数计算得到的。
基于上述方式,处理装置基于预设的物理参考信息和交界线上各像素点在图像中像素位置,确定所述交界线上至少一像素点对应的物理位置与所述移动机器人之间的第一相对空间位置,其中,第一相对空间位置包括物理距离和方位角度。其中所述处理装置可按照上述方式遍历交界线的每个像素点或特征点,以确定所识别的交界线的多个位置点的相对空间位置,即物理距离和方位角度。其中,所述特征点包括交界线的角点、端点、拐点等。例如,基于交界线的角点、拐点等,确定交界线上各特征点所对应的物体局部位置分别与移动机器人的 相对空间位置。处理装置还可以按照上述方式仅确定所识别的物体与移动机器人的最近空间位置。例如,处理装置通过所述交界线在图像中的图像位置,确定所识别的物体与移动机器人距离最近的空间位置,由此便于及时调整导航路线。
处理装置可按照上述方式确定图像所拍摄到的一个或多个第一障碍物相对于移动机器人的第一相对空间位置。
然后,在步骤S130中,基于第一相对空间位置控制移动机器人移动。
在一实施例中,步骤S130包括:按照第一相对空间位置更新预设地图中的第一障碍物信息;基于已更新的地图,规划移动机器人在至少一个单位空间范围内的路线,并按照所规划的路线控制移动机器人进行移动。
其中,针对按照第一相对空间位置更新预设地图中的第一障碍物信息的步骤,在一示例中,处理装置可以按照所得到的第一相对空间位置确定在预设地图中移动机器人与交界线所对应的物理位置之间的位置关系。在已构建有地图的移动机器人中,采用上述定位方式可用于更新地图中未标记的障碍物。
在另一示例中,处理装置可以根据所得到的第一相对空间位置和物体标签确定在预设地图中移动机器人与所识别的物体之间的位置关系。在已构建有地图的移动机器人中,采用上述定位方式可用于更新地图中未标记的临时摆放的物体,如球、椅子、临时警示牌等。
在一实施例中,处理装置可以仅依据所确定的第一相对空间位置确定在地图中移动机器人与交界线所对应的物理位置之间的位置关系。以所述地图为基于场地规划而预先构建的地图为例,所述地图是基于单位矢量构建的且为与实际场地的物理尺寸按比例缩小的地图;处理装置根据图像中所识别出的交界线分别与移动机器人之间的位置关系,以及单位矢量的长度和方向,在地图中的对应位置标记障碍物信息,并更新地图。以所述地图为基于栅格构建的地图为例,所述地图是基于单位栅格构建的;处理装置根据图像中所识别出的交界线分别与移动机器人之间的位置关系,以及单位栅格的长度和方向,在地图中的对应位置标记障碍物信息,并更新地图。
在另一实施例中,处理装置可以依据所确定的第一相对空间位置和物体标签,以及移动传感器所提供的移动信息共同测量的空间位置确定在地图中移动机器人与所识别的物体之间的位置关系。处理装置按照随机设置的导航路线或按照已知导航路线,控制移动装置移动至少一个单位空间范围,并在移动期间确定同一物体标签的物体与移动机器人之间的空间位置的变化,以及通过移动传感器获取所移动的移动信息,基于所述空间位置变化和移动信息修正所述移动信息中的误差。其中,所述单位空间范围包括但不限于单位栅格和单位矢量。其中,所述移动传感器包括但不限于速度传感器、里程计传感器、压力传感器、悬崖传感器等。 例如,请参阅图5,图5显示为基于空间位置的变化来修正地图数据中位置A1和A2的定位误差的示意图,如图所示,位置A1为基于移动信息在栅格地图中所定位的移动机器人的当前位置,处理装置控制移动装置自A1移动至A2;在此期间,处理装置多次基于上述步骤确定同一物体标签的物体与移动机器人之间的空间位置,并由此确定当移动机器人从位置A1移动至A2的移动距离和方位角度,结合移动信息所提供的位置A1与A2之间的空间位置变化,以及藉由所摄取的图像确定的位置A1与A2之间的空间位置变化,补偿移动信息中的误差,根据补偿后的A1的位置在栅格地图中将位置A1修正为A1′,将位置A2修正为A2′;处理装置在已修正的栅格地图中标记相应物体的位置以及相应的物体标签,获得更新后的地图。
然后,处理装置基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的路线,并按照所规划的路线控制所述移动机器人进行移动。以清洁机器人为例,其保存的地图为预先构建的栅格地图;处理装置根据已构建的整套房间的栅格地图,将栅格地图分隔多个清洁区域,处理装置根据在已更新的地图中移动机器人的当前位置确定移动机器人所处的清洁区域,并规划在所述清洁区域内移动一个或两个栅格单位的导航路线,按照所规划的导航路线控制移动机器人移动,由此实现移动机器人自主移动。在一示例中,处理装置可根据更新后的地图中移动机器人与交界线所对应的物理位置之间的空间位置关系,确定交界线所表示的第一障碍物是否位于预设的导航路线上,若是,则根据交界线所表示的第一障碍物在地图中所占范围,调整所述导航路线以绕过所标记的物体,反之,则继续按照预设的导航路线控制移动装置,以使移动机器人沿导航路线移动。
需要说明的是,根据更新后的栅格地图规划一个或两个栅格单位的导航路线的方式仅为举例。事实上,所述栅格地图可替换为矢量地图,所规划的栅格单位的数量可根据移动机器人所处移动场景而定。
本申请的移动控制方法,通过识别自摄像装置所摄取的图像中的第一障碍物与地面的交界线,并基于预设的物理参考信息确定移动机器人与障碍物之间的空间位置进而对机器人进行定位,提高了移动机器人的定位精度。本申请还根据所确定的移动机器人与交界线之间的相对空间位置控制移动机器人移动,使机器人在移动期间能够准确避开交界线所表示的障碍物,提高移动机器人的避障能力。
此外,在实际应用中,还存在未被识别出的交界线的情况。鉴于此,请参阅图6,图6显示为本申请移动控制方法在另一种实施方式中的流程图,如图所示,本申请的移动控制方法包括步骤S610、步骤S620、步骤S630、步骤S640以及步骤S650。
在步骤S610中,自摄像装置所摄取的图像中识别第一障碍物与地面的交界线。其中,步 骤S610与上述步骤S110类似,在此不再赘述。
在步骤S620中,基于预设的物理参考信息,确定交界线所对应的物理位置与移动机器人之间的第一相对空间位置。其中,步骤S620与上述步骤S120类似,在此不再赘述。
在步骤S630中,基于第一相对空间位置控制移动机器人移动。
在一实施例中,步骤S630包括:按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息;基于已更新的地图,规划移动机器人在至少一个单位空间范围内的路线,并按照所规划的路线控制移动机器人进行移动。其中,步骤S630的实现方式与上述步骤S130的实现方式类似,在此不再赘述。
为防止漏识别交界线的情况,在移动机器人按照基于第一相对空间位置而规划的导航路线移动期间,处理装置还执行步骤S640。
在步骤S640中,自移动机器人中的传感装置获取第二障碍物与移动机器人之间的第二相对空间位置。
其中,第二障碍物是指未被识别出与地面的交界线的障碍物。例如,第二障碍物可以是所摄取的图像中未被识别出与地面的交界线的障碍物。又如,第二障碍物是由于新添加而未被拍摄在图像中的障碍物。另外,所述传感装置可以包括激光测距传感器、红外传感器、碰撞传感器等。在一示例中,在移动机器人移动期间,通过激光测距传感器获取第二障碍物与移动机器人之间的第二相对空间位置。在另一示例中,在移动机器人移动期间,移动机器人的碰撞传感器通过碰撞获得第二障碍物的位置信息,然后,移动机器人的处理装置控制移动机器人退回到拍摄装置上一次拍摄图像的位置,并基于处理装置所提供的移动距离获取所碰撞到的第二障碍物与移动机器人之间的第二相对空间位置,或者基于移动机器人的激光测距传感器获取所碰撞到的第二障碍物与移动机器人之间的第二相对空间位置。
在步骤S650中,基于第一相对空间位置和第二空间相对位置控制移动机器人移动。
在一实施例中,步骤S650包括:按照所得到的第一相对空间位置和第二相对空间位置,更新预设地图中的第一障碍物信息和第二障碍物信息;基于已更新的地图,规划移动机器人在至少一个单位空间范围内的路线,并按照所规划的路线控制移动机器人进行移动。其中,步骤S650的实现方式与上述步骤S130的实现方式类似,在此不再赘述。
此外,在实际应用中,由于利用图像识别交界线的方式中存在漏识别的情况,进而导致因移动机器人定位不准确而无法避开障碍物的问题,为此,可以对识别交界线所采用的交界线识别算法进行更新,以获得更为准确的识别结果。其中,所述交界线识别算法包括上述任一识别图像中交界线的算法,或其他能识别障碍物与地面交界线的识别算法。
鉴于此,本申请移动控制方法还包括:依据摄像装置所摄取的包括第二障碍物的图像以 及第二障碍物与移动机器人之间的第二相对空间位置来生成样本信息;以及,将样本信息发送至服务端,以供服务端进行交界线识别算法的优化。
其中,所述样本信息包括优化交界线识别算法所需的输入信息和可供判断优化性能的输出信息。在一实施例中,所述样本信息包括摄像装置所摄取的包括第二障碍物的图像(即输入信息)。所述图像可以是原始拍摄的图像,或者,所述图像还可以是经处理的图像,以防止用户信息泄露。例如,经处理的图像可以是对原始图像进行马赛克处理或者对原始图像提取轮廓后获得的图像,只需所述图像能够包含第二障碍物与地面的交界线的特征即可。其次,所述样本信息还包括第二障碍物与移动机器人之间的第二相对空间位置(即输出信息)。所述第二相对空间位置可以以数据形式发送至服务端,或者,所述第二相对空间位置还可以以图像(即输出信息)形式发送至服务端。例如,所述第二相对空间位置可以是在上述的在移动机器人移动期间,移动机器人的碰撞传感器碰撞到第二障碍物的情况下,移动机器人的处理装置控制移动机器人退回到拍摄装置上一次拍摄图像的位置所拍摄的图像,该图像包括第二障碍物与地面交界位置。然后将该图像以原始形式或经处理的形式发送至服务端。
服务端在接收到所述样本信息后对交界线识别算法进行优化。在一示例中,服务端可以针对每个移动机器人发送的样本信息对该机器人中预设的交界线识别算法进行优化以对该机器人进行升级更新。在另一示例中,服务装置可以在接收到多个移动机器人发送的样本信息后,经过数据的对比筛选,对当前版本的所有移动机器人中预设的交界线识别算法进行统一优化以对当前版本的移动机器人进行统一升级更新。
在一示例中,在采用物体图像区域和地面图像区域来识别交界线的情况下,可以通过对物体图像区域识别的方式和地面图像区域识别的方式进行优化来优化交界线识别算法。其中,在采用第一神经网络识别物体图像区域的情况下,将摄像装置所摄取的包括第二障碍物的图像作为第一神经网络的输入,人工标注出第二障碍物作为第一神经网络的输出来训练第一神经神经网络模型的参数,以提高第一神经网络识别物体图像区域的准确度,获得更新的第一神经网络参数,得到优化后的交界线识别算法。
在另一示例中,在采用第二神经网络识别交界线的情况下,可以通过对第二神经网络模型的参数进行优化来优化交界线识别算法。在这种情况下,将摄像装置所摄取的包括第二障碍物的图像作为第二神经网络的输入,将上述获得的第二障碍物与移动机器人之间的第二相对空间位置作为第二神经网络的输出来训练第二神经网络模型,以提高第二神经网络识别交界线的准确度,获得更新的第二神经网络参数,得到优化后的交界线识别算法。
在服务端进行交界线识别算法的优化之后,移动机器人的处理装置基于服务端的反馈信息更新预设的交界线识别算法,以利用更新后的交界线识别算法在后续摄取的包含相应第二 障碍物的图像中识别第二障碍物与地面的交界线。在一示例中,移动机器人的处理装置基于服务端反馈的第一神经网络模型的参数来更新移动机器人中预设的第一神经网络模型的参数,然后基于更新后的第一神经网络模型进行识别。在另一示例中,移动机器人的处理装置基于服务端反馈的第二神经网络模型的参数来更新移动机器人中预设的第二神经网络模型的参数,然后基于更新后的第二神经网络模型进行识别。
本申请的移动控制方法,通过将样本信息发送至服务端并在服务端优化交界线识别算法,然后基于经优化的交界线识别算法更新移动机器人中预设的交界线识别算法,以提高移动机器人的定位及避障能力。
本申请还提供一种包含摄像装置的移动机器人。所述移动机器人包括但不限于扫地机器人、巡逻机器人、家庭陪伴机器人等。所述移动机器人执行上述移动控制方法。请参阅图7,图7显示为本申请移动机器人在一种实施方式中的结构示意图,如图所示,所述移动机器人包括摄像装置11、移动装置12、存储装置13以及处理装置14。摄像装置11、移动装置12以及存储装置13均与处理装置14相连。
摄像装置11用于在移动机器人移动期间摄取图像。在一些实施例中,所述移动机器人包括一个摄像装置,移动机器人依据该摄像装置所摄取的图像执行定位和移动控制操作。在另一些实施例中,所述移动机器人包括一个或多个摄像装置,移动机器人仅依据其中一个摄像装置所摄取的图像执行定位和移动控制操作。所述摄像装置包括但不限于:照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等。所述摄像装置的供电系统可受移动机器人的供电系统控制,所述摄像装置摄取移动机器人移动期间所途经路线的图像。其中,为确保所摄取的图像包含地面及位于地面的物体,所述摄像装置可设置在移动机器人的外壳上,被装配在移动机器人的侧面位置、或顶面边缘位置。例如,所述摄像装置装配在清洁机器人的顶面且位于体侧的位置处。
需要说明的是,所述摄像装置的装配位置还与摄像装置的视场角(又叫视角)范围、摄像装置相对于地面的高度以及摄像装置主光轴相对于水平或垂直面的夹角相关,故在此并不限定所述摄像装置在移动机器人的位置。例如,移动机器人所装配的摄像装置具有可调节所述夹角的调节部件,在所述移动机器人移动期间,通过调节所述调节部件以令摄像装置摄取包含地面的图像。其中,所述调节部件可例如专利申请号2017218611808中所描述的偏转机构和伸缩机构,以调节摄像装置主光轴与水平面的夹角和/或高度,在此不予详述。例如,所述摄像装置装配于清洁机器人的顶面边缘且视角为60°,摄像装置的主光轴相对于水平面的夹角为15°。
需要说明的是,摄像装置的主光轴相对于水平面的夹角可以为其他值,只要能够确保摄 像装置在摄取图像时能够拍摄到地面图像区域即可。此外,本领域技术人员应该理解,上述光学轴与垂线或水平线的夹角仅为举例,而非限制其夹角精度为1°的范围内,根据实际机器人的设计需求,所述夹角的精度可更高,如达到0.1°、0.01°以上等,在此不做无穷尽的举例。
移动装置12用于受控地带动移动机器人整机移动。其中,所述移动装置12在处理装置14的控制下调整移动距离、移动方向和移动速度、移动加速度等。
在某些实施例中,所述移动装置12包括驱动单元和至少两个滚轮组。其中,所述至少两个滚轮组中的至少一个滚轮组为受控滚轮组。所述驱动单元与所述处理装置相连,所述驱动单元用于基于所述处理装置输出的移动控制指令驱动所述受控滚轮组滚动。
所述驱动单元包含驱动电机,所述驱动电机与所述滚轮组相连用于直接驱动滚轮组滚动。所述驱动单元可以包含专用于控制驱动电机的一个或多个处理器(CPU)或微处理单元(MCU)。例如,所述微处理单元用于将所述处理装置所提供的信息或数据转化为对驱动电机进行控制的电信号,并根据所述电信号控制所述驱动电机的转速、转向等以调整移动机器人的移动速度和移动方向。所述信息或数据如所述处理装置所确定的偏角。所述驱动单元中的处理器可以和所述处理装置中的处理器共用或可独立设置。例如,所述驱动单元作为从处理设备,所述处理装置作为主设备,驱动单元基于处理装置的控制进行移动控制。或者所述驱动单元与所述处理装置中的处理器相共用。驱动单元通过程序接口接收处理装置所提供的数据。所述驱动单元用于基于所述处理装置所提供的移动控制指令控制所述受控滚轮组滚动。
存储装置13用于存储摄像装置12所摄取的图像、预设的物理参考信息、预先标记的物体标签以及至少一个程序。其中,所述图像是经由摄像装置摄取而被保存在存储装置13中的。
其中,所述物理参考信息包括但不限于:摄像装置相距移动机器人底面的物理高度、摄像装置的物理参数、和摄像装置的主光轴相对于水平或垂直面的夹角。在此,技术人员预先测量摄像装置的成像中心与地面的距离,并将所距离作为所述物理高度或物理高度的初始值保存在存储装置13中。所述物理高度也可以预先通过对移动机器人设计参数进行计算而得到的。依据移动机器人的设计参数还可以得到摄像装置的主光轴相对于水平或垂直面的夹角,或夹角的初始值。对于摄像装置可调节的移动机器人来说,所保存的夹角可在夹角初始值的基础上增/减被调节的偏转角后而确定的,所保存的物理高度是在物理高度初始值的基础上增/减被调节的高度后而确定的。所述摄像装置的物理参数包含镜头组的视角和焦距等。
其中,所述物体标签是基于移动机器人所移动的环境情况预先筛选并存储在存储装置13 中的。所述物体标签用于描述可能被摄取的、且摆放在所述环境中的物体分类或物体在图像中的图像特征。
在一些示例中,所述物体标签可以由物体的图像特征来表征,所述图像特征能够标识图像中的目标物体。例如,移动机器人应用于室内环境中,所述物体标签包括但不限于:桌子、椅子、沙发、花盆、鞋、袜、平铺物体等图像特征。其中,平铺物体包括但不限于平铺在地板上的地垫、地砖贴图,以及挂在墙壁上的挂毯、挂画等。
在又一些示例中,所述物体标签可以由物体分类来表征。在此,所述存储装置所存储的程序包含经训练的神经网络算法的程序,及藉由执行所述神经网络算法从图像中能够识别出的各物体分类。仍以室内环境为例,物体标签包括但不限于:桌子、椅子、沙发、花盆、鞋、袜、平铺物体、未知物体等。其中,平铺物体包括但不限于平铺在地板上的地垫、地砖贴图,以及挂在墙壁上的挂毯、挂画等。另外,所述未知物体是指所训练的神经网络算法无法识别的且确认为物体的一种分类,通常包括在室内随机出现的物体,例如碎屑、玩具等。
所述存储装置13中所保存的程序还包括稍后描述的由处理装置调用以执行的基于单一摄像装置(单目摄像装置)所摄取的图像进行定位处理的相关程序。
所述存储装置13包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中,所述存储装置13还可以包括远离一个或多个处理器的存储器,例如,经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等,或其适当组合。存储器控制器可控制机器人的诸如CPU和外设接口之类的其他组件对存储装置的访问。
处理装置14与存储装置13、摄像装置11和移动装置12进行数据通信。处理装置14可包括一个或多个处理器。处理装置14可操作地与存储装置13中的易失性存储器和/或非易失性存储器耦接。处理装置14可执行在存储器和/或非易失性存储设备中存储的指令以在机器人中执行操作,诸如基于物体标签识别物体图像区域和地面图像区域并确定物体与移动机器人之间的空间位置等。如此,处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(DSP)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。所述处理装置还与I/O端口和输入结构可操作地耦接,该I/O端口可使得机器人能够与各种其他电子设备进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备可以是所述机器人中移动装置中的移动电机,或机器人中专用于控制移动装置的从处理器,如MCU(Microcontroller Unit,微控制单元,简称MCU)。
在一种示例中,所述处理装置通过数据线分别连接存储装置、摄像装置以及移动装置。所述处理装置通过数据读写技术与存储装置进行交互,所述处理装置通过接口协议与摄像装置、移动装置进行交互。其中,所述数据读写技术包括但不限于:高速/低速数据接口协议、数据库读写操作等。所述接口协议包括但不限于:HDMI接口协议、串行接口协议等。
处理装置14首先自摄像装置11所摄取的图像中识别第一障碍物与地面的交界线,接着,基于预设的物理参考信息确定交界线所对应的物理位置与移动机器人之间的第一相对空间位置,然后,基于第一相对空间位置控制移动机器人移动。其中,可以通过识别物体图像区域和地面图像区域来确定第一障碍物与地面的交界线,或者可以通过神经网络来确定第一障碍物与地面的交界线。另外,针对存在未被识别出与地面的交界线的第二障碍物的情况,根据机器人中的传感装置获取的第二障碍物与移动机器人之间的第二相对空间位置,处理装置基于上述第一相对空间位置和所获取的第二相对空间位置来控制移动机器人移动。此外,处理装置还可以依据摄像装置所摄取的包括第二障碍物的图像以及通过传感装置获取的第二障碍物与移动机器人之间的第二相对空间位置来生成样本信息并将其发送至服务端,以在服务端对交界线识别算法进行优化后更新移动机器人中预设的交界线识别算法,进而提高移动机器人的定位精度。处理装置执行移动控制方法的具体实现方式如图1至图6及其相应描述所示,在此不再赘述。
本申请的移动机器人,通过采用处理装置识别自摄像装置所摄取的图像中的第一障碍物与地面的交界线,并基于预设的物理参考信息确定移动机器人与障碍物之间的空间位置进而对机器人进行定位,提高了移动机器人的定位精度。另外,本申请的移动机器人还根据所确定的移动机器人与交界线之间的相对空间位置控制移动机器人移动,使机器人在移动期间能够准确避开交界线所表示的障碍物,提高移动机器人的避障能力。此外,本申请的移动机器人还能基于样本信息在服务端对交界线识别算法进行优化并更新移动机器人中预设的交界线识别算法,以提高移动机器人定位及避障能力。
本申请还提供一种导航方法,用于带有摄像装置的移动机器人。请参阅图8,图8显示为本申请导航方法在一种实施方式中的流程图。其中,所述导航方法可由处理系统来执行。如图所示,所述导航方法包括步骤S810-S830。
在步骤S810中,自摄像装置所摄取的图像中识别第一障碍物与地面的交界线。其中,步骤S810与上述步骤S110类似,在此不再赘述。
在步骤S820中,基于预设的物理参考信息,确定交界线所对应的物理装置与移动机器人之间的第一相对空间位置。其中,步骤S820与上述步骤S120类似,在此不再赘述。
在步骤S830中,基于移动机器人的当前位置和第一相对空间位置生成导航路线。
在某些实施例中,可通过移动机器人的移动传感器例如里程计传感器等获得移动机器人的当前位置,然后,处理系统基于移动机器人的当前位置以及第一相对空间位置生成避开第一障碍物的导航路线。
在一实施例中,步骤S830包括:按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息;基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的导航路线。
其中,步骤S830中按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息的步骤与步骤S130中对应的步骤类似,在此不再赘述。
然后,基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的路线。以清洁机器人为例,其保存的地图为预先构建的栅格地图;处理系统根据已构建的整套房间的栅格地图,将栅格地图分隔多个清洁区域,处理系统根据在已更新的地图中移动机器人的当前位置确定移动机器人所处的清洁区域,并规划在所述清洁区域内移动一个或两个栅格单位的导航路线,并以及导航路线进行移动。在一示例中,处理系统可根据更新后的地图中移动机器人与交界线所对应的物理位置之间的空间位置关系,确定交界线所表示的第一障碍物是否位于预设的导航路线上,若是,则根据交界线所表示的第一障碍物在地图中所占范围,调整所述导航路线以绕过所标记的物体,反之,则继续按照预设的导航路线控制移动装置,以使移动机器人沿导航路线移动。
需要说明的是,根据更新后的栅格地图规划一个或两个栅格单位的导航路线的方式仅为举例。事实上,所述栅格地图可替换为矢量地图,所规划的栅格单位的数量可根据移动机器人所处移动场景而定。
本申请的导航方法,通过识别自摄像装置所摄取的图像中的第一障碍物与地面的交界线,并基于预设的物理参考信息确定移动机器人与障碍物之间的空间位置进而对机器人进行定位,提高了移动机器人的定位精度。本申请还根据所确定的移动机器人与交界线之间的相对空间位置以及移动机器人的当前位置生成导航路线,使机器人沿导航路线移动期间能够准确避开交界线所表示的障碍物,提高移动机器人的避障能力。
此外,在实际应用中,还存在未被识别出的交界线的情况。鉴于此,请参阅图9,图9显示为本申请导航方法在另一种实施方式中的流程图,如图所示,本申请的导航方法包括步骤S910、步骤S920、步骤S930、步骤S940以及步骤S950。
在步骤S910中,自摄像装置所摄取的图像中识别第一障碍物与地面的交界线。其中,步骤S910与上述步骤S110类似,在此不再赘述。
在步骤S920中,基于预设的物理参考信息,确定交界线所对应的物理位置与移动机器人 之间的第一相对空间位置。其中,步骤S920与上述步骤S120类似,在此不再赘述。
在步骤S930中,基于移动机器人的当前位置和第一相对空间位置生成导航路线。
在一实施例中,步骤S930包括:按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息;基于已更新的地图,规划移动机器人在至少一个单位空间范围内的路线。其中,步骤S930的实现方式与上述步骤S830的实现方式类似,在此不再赘述。
为防止漏识别交界线的情况,在移动机器人按照基于第一相对空间位置而规划的导航路线移动期间,处理装置还执行步骤S940。
在步骤S940中,自移动机器人中的传感装置获取第二障碍物与移动机器人之间的第二相对空间位置。
其中,第二障碍物是指未被识别出与地面的交界线的障碍物。例如,第二障碍物可以是所摄取的图像中未被识别出与地面的交界线的障碍物。又如,第二障碍物是由于新添加而未被拍摄在图像中的障碍物。另外,所述传感装置可以包括激光测距传感器、红外传感器、碰撞传感器等。在一示例中,在移动机器人移动期间,通过激光测距传感器获取第二障碍物与移动机器人之间的第二相对空间位置。在另一示例中,在移动机器人移动期间,移动机器人的碰撞传感器通过碰撞获得第二障碍物的位置信息,然后,移动机器人的处理装置控制移动机器人退回到拍摄装置上一次拍摄图像的位置,并基于处理装置所提供的移动距离获取所碰撞到的第二障碍物与移动机器人之间的第二相对空间位置,或者基于移动机器人的激光测距传感器获取所碰撞到的第二障碍物与移动机器人之间的第二相对空间位置。
在步骤S950中,基于移动机器人的当前位置、第一相对空间位置以及第二相对空间位置生成导航路线。
在一实施例中,步骤S950包括:按照所得到的第一相对空间位置和第二相对空间位置,更新预设地图中的第一障碍物信息和第二障碍物信息;基于已更新的地图,规划移动机器人在至少一个单位空间范围内的路线。其中,步骤S950的实现方式与上述步骤S830的实现方式类似,在此不再赘述。
此外,在实际应用中,由于利用图像识别交界线的方式中存在漏识别的情况,进而导致因移动机器人定位不准确而无法避开障碍物的问题,为此,可以对识别交界线所采用的交界线识别算法进行更新,以获得更为准确的识别结果。其中,所述交界线识别算法包括上述任一识别图像中交界线的算法,或其他能识别障碍物与地面交界线的识别算法。
鉴于此,本申请导航方法还包括:依据摄像装置所摄取的包括第二障碍物的图像以及第二障碍物与移动机器人之间的第二相对空间位置来生成样本信息;以及,将样本信息发送至服务端,以供服务端进行交界线识别算法的优化。
其中,所述样本信息包括优化交界线识别算法所需的输入信息和可供判断优化性能的输出信息。在一实施例中,所述样本信息包括摄像装置所摄取的包括第二障碍物的图像(即输入信息)。所述图像可以是原始拍摄的图像,或者,所述图像还可以是经处理的图像,以防止用户信息泄露。例如,经处理的图像可以是对原始图像进行马赛克处理或者对原始图像提取轮廓后获得的图像,只需所述图像能够包含第二障碍物与地面的交界线的特征即可。其次,所述样本信息还包括第二障碍物与移动机器人之间的第二相对空间位置(即输出信息)。所述第二相对空间位置可以以数据形式发送至服务端,或者,所述第二相对空间位置还可以以图像(即输出信息)形式发送至服务端。例如,所述第二相对空间位置可以是在上述的在移动机器人移动期间,移动机器人的碰撞传感器碰撞到第二障碍物的情况下,移动机器人的处理装置控制移动机器人退回到拍摄装置上一次拍摄图像的位置所拍摄的图像,该图像包括第二障碍物与地面交界位置。然后将该图像以原始形式或经处理的形式发送至服务端。
服务端在接收到所述样本信息后对交界线识别算法进行优化。在一示例中,服务端可以针对每个移动机器人发送的样本信息对该机器人中预设的交界线识别算法进行优化以对该机器人进行升级更新。在另一示例中,服务装置可以在接收到多个移动机器人发送的样本信息后,经过数据的对比筛选,对当前版本的所有移动机器人中预设的交界线识别算法进行统一优化以对当前版本的移动机器人进行统一升级更新。
在一示例中,在采用物体图像区域和地面图像区域来识别交界线的情况下,可以通过对物体图像区域识别的方式和地面图像区域识别的方式进行优化来优化交界线识别算法。其中,在采用第一神经网络识别物体图像区域的情况下,将摄像装置所摄取的包括第二障碍物的图像作为第一神经网络的输入,人工标注出第二障碍物作为第一神经网络的输出来训练第一神经神经网络模型的参数,以提高第一神经网络识别物体图像区域的准确度,获得更新的第一神经网络参数,得到优化后的交界线识别算法。
在另一示例中,在采用第二神经网络识别交界线的情况下,可以通过对第二神经网络模型的参数进行优化来优化交界线识别算法。在这种情况下,将摄像装置所摄取的包括第二障碍物的图像作为第二神经网络的输入,将上述获得的第二障碍物与移动机器人之间的第二相对空间位置作为第二神经网络的输出来训练第二神经网络模型,以提高第二神经网络识别交界线的准确度,获得更新的第二神经网络参数,得到优化后的交界线识别算法。
在服务端进行交界线识别算法的优化之后,移动机器人的处理装置基于服务端的反馈信息更新预设的交界线识别算法,以利用更新后的交界线识别算法在后续摄取的包含相应第二障碍物的图像中识别第二障碍物与地面的交界线。在一示例中,移动机器人的处理装置基于服务端反馈的第一神经网络模型的参数来更新移动机器人中预设的第一神经网络模型的参 数,然后基于更新后的第一神经网络模型进行识别。在另一示例中,移动机器人的处理装置基于服务端反馈的第二神经网络模型的参数来更新移动机器人中预设的第二神经网络模型的参数,然后基于更新后的第二神经网络模型进行识别。
本申请的导航方法,通过将样本信息发送至服务端并在服务端优化交界线识别算法,然后基于经优化的交界线识别算法更新移动机器人中预设的交界线识别算法,以提高移动机器人的定位及避障能力。
此外,本申请的导航方法还包括显示导航路线、显示移动机器人按照所述导航路线移动的移动路线、或者显示上述两者的步骤,从而便于用户查看。例如,在某些情况下,可以基于所述导航方法在终端设备所显示的地图上实时显示机器人当前位置,基于当前位置和所获得的第一相对空间位置、第二相对空间位置生成的导航路线,以及在地图上显示从移动机器人当前位置移动的移动路线。
本申请还提供一种导航系统,用于带有摄像装置的移动机器人。请参阅图10,图10显示为本申请导航系统在一种实施方式中的结构示意图,如图所示,导航系统包括识别单元21、确定单元22以及导航单元23。
其中,识别单元21用于自摄像装置所摄取的图像中识别第一障碍物与地面的交界线。
在某些实施例中,识别单元21包括第一识别模块、第二识别模块以及第三识别模块。其中,第一识别模块用于自摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域。在一示例中,第一识别模块用于利用第一神经网络从所摄取的图像中识别与预设物体标签相符的物体图像区域。第二识别模块用于从图像中确定地面图像区域。在一示例中,第二识别模块用于提取图像在预设的图像边界区域的地面特征信息,并基于所述地面特征信息确定所述图像中地面图像区域。在另一示例中,第二识别模块用于基于所识别出的物体图像区域对应的物体标签及所识别出的物体图像区域在所述图像中的位置,确定所识别出的物体图像区域是否属于地面图像区域,并将所确定的属于地面图像区域的物体图像区域划分为所述图像中的地面图像区域。在又一示例中,第二识别模块用于基于预设的尺寸条件确定所识别出的物体图像区域是否属于地面图像区域。第三识别模块用于将地面图像区域与物体图像区域的相交线作为第一障碍物与地面的交界线。
在另一些实施例中,识别单元用于利用第二神经网络识别图像中第一障碍物与地面的交界线。
确定单元22用于基于预设的物理参考信息,确定所述交界线所对应的物理位置与移动机器人之间的第一相对空间位置。其中,所述物理参考信息包括:摄像装置相距地面的物理高度、摄像装置的物理参数、和摄像装置的主光轴相对于水平或垂直面的夹角。在一示例 中,确定单元用于基于预设的物理参考信息,确定所述交界线上至少一像素点所对应的物理位置与所述移动机器人之间的第一相对空间位置。
导航单元23用于基于移动机器人的当前位置和第一相对空间位置生成导航路线。
在某些实施例中,导航单元包括第一更新模块和第一规划路线。第一更新模块用于按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息。第一规划模块用于基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的导航路线。
在实际应用中,还存在未被识别出的交界线的情况。鉴于此,识别单元21还用于自移动机器人中的传感装置获取第二障碍物与移动机器人之间的第二相对空间位置,所述第二障碍物是未被识别出与地面的交界线的障碍物。导航单元23还用于基于移动机器人的当前位置、第一相对空间位置以及第二相对空间位置生成导航路线。
此外,在实际应用中,由于利用图像识别交界线的方式中存在漏识别的情况,进而导致因移动机器人定位不准确而无法避开障碍物的问题,为此,可以对识别交界线所采用的交界线识别算法进行更新,以获得更为准确的识别结果。其中,所述交界线识别算法包括上述任一识别图像中交界线的算法,或其他能识别障碍物与地面交界线的识别算法。
鉴于此,导航单元23还包括第二更新模块和第二规划模块。第二更新模块用于按照所得到的第一相对空间位置和第二相对空间位置,更新预设地图中的第一障碍物信息和第二障碍物信息。第二规划模块用于基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的路线。
相应地,导航系统还包括生成模块和通信模块。生成模块用于依据摄像装置所摄取的包括第二障碍物的图像以及所述第二障碍物与所述移动机器人之间的第二相对空间位置,生成样本信息。通信模块用于将所述样本信息发送至一服务端,以供所述服务端进行交界线识别算法的优化。然后,识别单元21还用于基于所述服务端的反馈信息更新预设的交界线识别算法,以利用更新后的交界线识别算法在后续摄取的包含相应第二障碍物的图像中识别第二障碍物与地面的交界线。
在此,本申请导航系统中各模块的工作方式与上述导航方法中对应步骤相同或相似,在此不再赘述。
本申请还提供一种处理系统,用于带有摄像装置的移动机器人。所述处理系统例如控制主板,其装配在带有摄像装置的移动机器人上以控制移动机器人移动。请参阅11,图11显示为本申请处理系统在一种实施方式中的结构示意图,如图所示,处理系统包括输入单元31、存储单元32、处理单元33以及控制单元34。
输入单元31用于接收自摄像装置所摄取的图像。在某些实施例中,输入单元31与移动 机器人的摄像装置连接,以将所摄取的图像输入至处理系统。在此,所述输入单元31可包含用于与摄像装置数据连接的硬件和软件,其中,所述硬件包括但不限于USB接口、HDMI接口等,所述软件包括但不限于基于相应接口协议而读取摄像装置中的图像等。
存储单元32用于存储所摄取的图像、预设的物理参考信息、预先标记的物体标签以及至少一个程序。
其中,所述存储单元32可包括高速随机存取存储器,并且还可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。所述存储单元32还包括存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。
其中,所述物理参考信息包括但不限于:摄像装置相距移动机器人底面的物理高度、摄像装置的物理参数、和摄像装置的主光轴相对于水平或垂直面的夹角。在此,技术人员预先测量摄像装置的成像中心与地面的距离,并将所距离作为所述物理高度或物理高度的初始值保存在存储单元32中。所述物理高度也可以预先通过对移动机器人设计参数进行计算而得到的。依据移动机器人的设计参数还可以得到摄像装置的主光轴相对于水平或垂直面的夹角,或夹角的初始值。对于摄像装置可调节的移动机器人来说,所保存的夹角可在夹角初始值的基础上增/减被调节的偏转角后而确定的,所保存的物理高度是在物理高度初始值的基础上增/减被调节的高度后而确定的。所述摄像装置的物理参数包含镜头组的视角和焦距等。
其中,所述物体标签是基于移动机器人所移动的环境情况预先筛选并存储在存储单元32中的。所述物体标签用于描述可能被摄取的、且摆放在所述环境中的物体分类或物体在图像中的图像特征。
在一些示例中,所述物体标签可以由物体的图像特征来表征,所述图像特征能够标识图像中的目标物体。例如,移动机器人应用于室内环境中,所述物体标签包括但不限于:桌子、椅子、沙发、花盆、鞋、袜、平铺物体等图像特征。其中,平铺物体包括但不限于平铺在地板上的地垫、地砖贴图,以及挂在墙壁上的挂毯、挂画等。
在又一些示例中,所述物体标签可以由物体分类来表征。在此,所述存储单元所存储的程序包含经训练的神经网络算法的程序,及藉由执行所述神经网络算法从图像中能够识别出的各物体分类。仍以室内环境为例,物体标签包括但不限于:桌子、椅子、沙发、花盆、鞋、袜、平铺物体、未知物体等。其中,平铺物体包括但不限于平铺在地板上的地垫、地砖贴图,以及挂在墙壁上的挂毯、挂画等。另外,所述未知物体是指所训练的神经网络算法无法识别的且确认为物体的一种分类,通常包括在室内随机出现的物体,例如碎屑、玩具等。
所述存储单元32中所保存的程序还包括稍后描述的由处理单元调用以执行导航方法的相关程序。
其中,所述处理单元33可操作地与输入单元、存储单元等耦接。此外,处理器还可操作地耦接至电源,该电源可向控制主板中的各种部件提供电力。如此,电源可包括任何合适的能源,诸如可再充电的锂聚合物(Li-poly)电池和/或交流电(AC)电源转换器。
处理单元33用于调用所述至少一个程序并执行如上任一所述的导航方法。其中,处理单元33与输入单元31、存储单元32进行数据通信。处理单元33可执行在存储单元中存储的指令以在机器人中执行操作。处理单元执行导航方法的具体实现方式如图8至图9及其相应描述所示,在此不再赘述。
控制单元34用于基于处理单元33生成的导航路线控制移动机器人移动。在某些实施例中,控制单元控制移动机器人沿处理单元生成的导航路线避开障碍物移动。
其中,所述控制单元34可以为用于将导航路线转换成对移动机器人中的电机进行控制的专用处理器。例如控制单元34包括MCU、CPU等。或者所述控制单元34与处理单元33的至少部分硬件集成在一起。例如,所述控制单元34的处理器与处理单元33中的处理器共用,所述处理器与移动机器人的驱动电机相连。
例如,所述控制单元34按照导航路线中多个首尾相连的矢量,逐个地控制移动驱动电机,以使移动驱动电机按照每个矢量所指示的角度和长度进行移动。又如,所述控制单元34按照导航路线中多个栅格之间的位置关系,逐个地控制移动驱动电机,以使移动驱动电机按照每个栅格位置进行移动。
在某些实施例中,处理系统还包括输出单元,输出单元用于将导航路线和/或移动机器人按照所述导航路线移动的移动路线予以输出以供用户查看。
其中,所述输出单元可包含用于与处理单元33数据连接的硬件和软件,其中,所述硬件包括但不限于USB接口、HDMI接口、网络接口等,所述软件包括但不限于基于相应接口协议而输出地图,以及在地图上描绘的导航路线、移动机器人按照所述导航路线移动的移动路线、和所述导航路线和移动路线等。所述输出单元将处理单元所提供的地图、以及在地图上描绘的导航路线和/或移动路线输出至显示屏、终端设备等以供用户查看。例如,在某些情况下,可以通过输出单元在地图上实时显示机器人当前位置,基于当前位置和所获得的第一相对空间位置、第二相对空间位置生成的导航路线,以及在地图上显示从移动机器人当前位置移动的移动路线。
另外需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解,本申请还提供一种计算机存储介质,所述存储介质存储有至少一个程序,所述程序在被调用时执行前述的任一所述的移动控制方法。此外,本申请还提供一种计算机存储介质,所述存储介 质存储有至少一个程序,所述程序在被调用时执行前述的任一所述的导航方法。
基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质,这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如执行机器人的定位方法中的各步骤等。机器可读介质可包括,但不限于,软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中,所述存储介质可位于机器人也可位于第三方服务器中,如位于提供某应用商城的服务器中。在此对具体应用商城不做限制,如小米应用商城、华为应用商城、苹果应用商城等。
本申请可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

Claims (52)

  1. 一种移动控制方法,用于带有摄像装置的移动机器人,其特征在于,包括以下步骤:
    自所述摄像装置所摄取的图像中识别第一障碍物与地面的交界线;
    基于预设的物理参考信息,确定所述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置;
    基于所述第一相对空间位置控制所述移动机器人移动。
  2. 根据权利要求1所述的移动控制方法,其特征在于,所述自摄像装置所摄取的图像中识别第一障碍物与地面的交界线的步骤包括:
    自所述摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域,以及从所述图像中确定地面图像区域;
    将所述地面图像区域与物体图像区域的相交线作为第一障碍物与地面的交界线。
  3. 根据权利要求2所述的移动控制方法,其特征在于,所述自摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域的步骤包括:利用第一神经网络从所摄取的图像中识别与预设物体标签相符的物体图像区域。
  4. 根据权利要求2所述的移动控制方法,其特征在于,所述从图像中确定地面图像区域的步骤包括:提取所述图像在预设的图像边界区域的地面特征信息,并基于所述地面特征信息确定所述图像中地面图像区域。
  5. 根据权利要求2或4所述的移动控制方法,其特征在于,所述从图像中确定地面图像区域的步骤包括:基于所识别出的物体图像区域对应的物体标签及所识别出的物体图像区域在所述图像中的位置,确定所识别出的物体图像区域是否属于地面图像区域,并将所确定的属于地面图像区域的物体图像区域划分为所述图像中的地面图像区域。
  6. 根据权利要求5所述的移动控制方法,其特征在于,所述从图像中确定地面图像区域的步骤包括:基于预设的尺寸条件确定所识别出的物体图像区域是否属于地面图像区域。
  7. 根据权利要求1所述的移动控制方法,其特征在于,所述物理参考信息包括:所述摄像装置相距地面的物理高度、所述摄像装置的物理参数、和所述摄像装置的主光轴相对于水平或垂直面的夹角。
  8. 根据权利要求1所述的移动控制方法,其特征在于,所述自摄像装置所摄取的图像中识别第一障碍物与地面的交界线的步骤包括:利用第二神经网络识别所述图像中第一障碍物与地面的交界线。
  9. 根据权利要求1所述的移动控制方法,其特征在于,所述基于预设的物理参考信息,确定所述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置的步骤包括:基于预设的物理参考信息,确定所述交界线上至少一像素点所对应的物理位置与所述移动机器人之间的第一相对空间位置。
  10. 根据权利要求1所述的移动控制方法,其特征在于,所述基于第一相对空间位置控制所述移动机器人移动的步骤包括:
    按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息;
    基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的路线,并按照所规划的路线控制所述移动机器人进行移动。
  11. 根据权利要求1、2或8所述的移动控制方法,其特征在于,还包括以下步骤:
    自所述移动机器人中的传感装置获取第二障碍物与所述移动机器人之间的第二相对空间位置,所述第二障碍物是未被识别出与地面的交界线的障碍物;
    基于所述第一相对空间位置和第二相对空间位置控制所述移动机器人移动。
  12. 根据权利要求11所述的移动控制方法,其特征在于,所述基于第一相对空间位置和第二相对空间位置控制所述移动机器人移动的步骤包括:
    按照所得到的第一相对空间位置和第二相对空间位置,更新预设地图中的第一障碍物信息和第二障碍物信息;
    基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的路线,并按照所规划的路线控制所述移动机器人进行移动。
  13. 根据权利要求11所述的移动控制方法,其特征在于,还包括以下步骤:
    依据所述摄像装置所摄取的包括第二障碍物的图像以及所述第二障碍物与所述移动机器人之间的第二相对空间位置,生成样本信息;
    将所述样本信息发送至一服务端,以供所述服务端进行交界线识别算法的优化。
  14. 根据权利要求13所述的移动控制方法,其特征在于,还包括:基于所述服务端的反馈信息更新预设的交界线识别算法的步骤,以利用更新后的交界线识别算法在后续摄取的包含相应第二障碍物的图像中识别第二障碍物与地面的交界线。
  15. 根据权利要求1所述的移动控制方法,其特征在于,所述移动机器人为具有单目摄像装置的移动机器人。
  16. 一种移动机器人,其特征在于,包括:
    摄像装置,用于在所述移动机器人移动期间摄取图像;
    移动装置,用于受控地带动所述移动机器人整机移动;
    存储装置,用于存储所摄取的图像、预设的物理参考信息、预先标记的物体标签以及至少一个程序;
    处理装置,用于调用所述至少一个程序并执行如权利要求1-15中任一所述的移动控制方法。
  17. 根据权利要求16所述的移动机器人,其特征在于,所述摄像装置基于所述物理参考信息而设置在所述移动机器人的外壳上。
  18. 根据权利要求16所述的移动机器人,其特征在于,所述移动机器人为具有单目摄像装置的移动机器人。
  19. 根据权利要求16或18所述的移动机器人,其特征在于,所述移动机器人为扫地机器人。
  20. 一种导航方法,用于带有摄像装置的移动机器人,其特征在于,包括以下步骤:
    自所述摄像装置所摄取的图像中识别第一障碍物与地面的交界线;
    基于预设的物理参考信息,确定所述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置;
    基于移动机器人的当前位置和所述第一相对空间位置生成导航路线。
  21. 根据权利要求20所述的导航方法,其特征在于,所述自摄像装置所摄取的图像中识别第一障碍物与地面的交界线的步骤包括:
    自所述摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域,以及从所述图像中确定地面图像区域;
    将所述地面图像区域与物体图像区域的相交线作为第一障碍物与地面的交界线。
  22. 根据权利要求21所述的导航方法,其特征在于,所述自摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域的步骤包括:利用第一神经网络从所摄取的图像中识别与预设物体标签相符的物体图像区域。
  23. 根据权利要求21所述的导航方法,其特征在于,所述从图像中确定地面图像区域的步骤包括:提取所述图像在预设的图像边界区域的地面特征信息,并基于所述地面特征信息确定所述图像中地面图像区域。
  24. 根据权利要求21或23所述的导航方法,其特征在于,所述从图像中确定地面图像区域的步骤包括:基于所识别出的物体图像区域对应的物体标签及所识别出的物体图像区域在所述图像中的位置,确定所识别出的物体图像区域是否属于地面图像区域,并将所确定的属于地面图像区域的物体图像区域划分为所述图像中的地面图像区域。
  25. 根据权利要求24所述的导航方法,其特征在于,所述从图像中确定地面图像区域的步骤包括:基于预设的尺寸条件确定所识别出的物体图像区域是否属于地面图像区域。
  26. 根据权利要求20所述的导航方法,其特征在于,所述物理参考信息包括:所述摄像装置相距地面的物理高度、所述摄像装置的物理参数、和所述摄像装置的主光轴相对于水平或垂直面的夹角。
  27. 根据权利要求20所述的导航方法,其特征在于,所述自摄像装置所摄取的图像中识别第一障碍物与地面的交界线的步骤包括:利用第二神经网络识别所述图像中第一障碍物与地面的交界线。
  28. 根据权利要求20所述的导航方法,其特征在于,所述基于预设的物理参考信息,确定所 述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置的步骤包括:基于预设的物理参考信息,确定所述交界线上至少一像素点所对应的物理位置与所述移动机器人之间的第一相对空间位置。
  29. 根据权利要求20所述的导航方法,其特征在于,所述基于移动机器人的当前位置和所述第一相对空间位置生成导航路线的步骤包括:
    按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息;
    基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的导航路线。
  30. 根据权利要求20、21或27所述的导航方法,其特征在于,还包括以下步骤:
    自所述移动机器人中的传感装置获取第二障碍物与所述移动机器人之间的第二相对空间位置,所述第二障碍物是未被识别出与地面的交界线的障碍物;
    基于移动机器人的当前位置、所述第一相对空间位置以及第二相对空间位置生成导航路线。
  31. 根据权利要求30所述的导航方法,其特征在于,所述基于移动机器人的当前位置、所述第一相对空间位置以及第二相对空间位置生成导航路线的步骤包括:
    按照所得到的第一相对空间位置和第二相对空间位置,更新预设地图中的第一障碍物信息和第二障碍物信息;
    基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的导航路线。
  32. 根据权利要求30所述的导航方法,其特征在于,还包括以下步骤:
    依据所述摄像装置所摄取的包括第二障碍物的图像以及所述第二障碍物与所述移动机器人之间的第二相对空间位置,生成样本信息;
    将所述样本信息发送至一服务端,以供所述服务端进行交界线识别算法的优化。
  33. 根据权利要求32所述的导航方法,其特征在于,还包括:基于所述服务端的反馈信息更新预设的交界线识别算法的步骤,以利用更新后的交界线识别算法在后续摄取的包含相应第二障碍物的图像中识别第二障碍物与地面的交界线。
  34. 根据权利要求20所述的导航方法,其特征在于,还包括显示所述导航路线和/或显示移动 机器人按照所述导航路线移动的移动路线的步骤。
  35. 一种导航系统,用于带有摄像装置的移动机器人,其特征在于,包括:
    识别单元,用于自所述摄像装置所摄取的图像中识别第一障碍物与地面的交界线;
    确定单元,用于基于预设的物理参考信息,确定所述交界线所对应的物理位置与所述移动机器人之间的第一相对空间位置;
    导航单元,用于基于移动机器人的当前位置和所述第一相对空间位置生成导航路线。
  36. 根据权利要求35所述的导航系统,其特征在于,所述识别单元包括:
    第一识别模块,用于自所述摄像装置所摄取的图像中识别与预先标记的物体标签相符的物体图像区域;
    第二识别模块,用于从所述图像中确定地面图像区域;
    第三识别模块,用于将所述地面图像区域与物体图像区域的相交线作为第一障碍物与地面的交界线。
  37. 根据权利要求36所述的导航系统,其特征在于,所述第一识别模块用于利用第一神经网络从所摄取的图像中识别与预设物体标签相符的物体图像区域。
  38. 根据权利要求36所述的导航系统,其特征在于,所述第二识别模块用于提取所述图像在预设的图像边界区域的地面特征信息,并基于所述地面特征信息确定所述图像中地面图像区域。
  39. 根据权利要求36或38所述的导航系统,其特征在于,所述第二识别模块用于基于所识别出的物体图像区域对应的物体标签及所识别出的物体图像区域在所述图像中的位置,确定所识别出的物体图像区域是否属于地面图像区域,并将所确定的属于地面图像区域的物体图像区域划分为所述图像中的地面图像区域。
  40. 根据权利要求39所述的导航系统,其特征在于,所述第二识别模块用于基于预设的尺寸条件确定所识别出的物体图像区域是否属于地面图像区域。
  41. 根据权利要求35所述的导航系统,其特征在于,所述物理参考信息包括:所述摄像装置 相距地面的物理高度、所述摄像装置的物理参数、和所述摄像装置的主光轴相对于水平或垂直面的夹角。
  42. 根据权利要求35所述的导航系统,其特征在于,所述识别单元用于利用第二神经网络识别所述图像中第一障碍物与地面的交界线。
  43. 根据权利要求35所述的导航系统,其特征在于,所述确定单元用于基于预设的物理参考信息,确定所述交界线上至少一像素点所对应的物理位置与所述移动机器人之间的第一相对空间位置。
  44. 根据权利要求35所述的导航系统,其特征在于,所述导航单元包括:
    第一更新模块,用于按照所得到的第一相对空间位置,更新预设地图中的第一障碍物信息;
    第一规划模块,用于基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的导航路线。
  45. 根据权利要求35、36或42所述的导航系统,其特征在于,
    所述识别单元还用于自所述移动机器人中的传感装置获取第二障碍物与所述移动机器人之间的第二相对空间位置,所述第二障碍物是未被识别出与地面的交界线的障碍物;
    所述导航单元还用于基于移动机器人的当前位置、所述第一相对空间位置以及第二相对空间位置生成导航路线。
  46. 根据权利要求45所述的导航系统,其特征在于,所述导航单元还包括:
    第二更新模块,用于按照所得到的第一相对空间位置和第二相对空间位置,更新预设地图中的第一障碍物信息和第二障碍物信息;
    第二规划模块,用于基于已更新的地图,规划所述移动机器人在至少一个单位空间范围内的路线。
  47. 根据权利要求45所述的导航系统,其特征在于,还包括:
    生成模块,用于依据所述摄像装置所摄取的包括第二障碍物的图像以及所述第二障碍物与所述移动机器人之间的第二相对空间位置,生成样本信息;
    通信模块,用于将所述样本信息发送至一服务端,以供所述服务端进行交界线识别算法的优化。
  48. 根据权利要求47所述的导航系统,其特征在于,所述识别单元还用于基于所述服务端的反馈信息更新预设的交界线识别算法,以利用更新后的交界线识别算法在后续摄取的包含相应第二障碍物的图像中识别第二障碍物与地面的交界线。
  49. 一种处理系统,用于带有摄像装置的移动机器人,其特征在于,包括:
    输入单元,用于接收自所述摄像装置所摄取的图像;
    存储单元,用于存储所摄取的图像、预设的物理参考信息、预先标记的物体标签以及至少一个程序;
    处理单元,用于调用所述至少一个程序并执行如权利要求20-33所述的导航方法;
    控制单元,用于基于所述处理单元生成的导航路线控制所述移动机器人移动。
  50. 根据权利要求49所述的处理系统,其特征在于,还包括:输出单元,用于将所述导航路线和/或移动机器人按照所述导航路线移动的移动路线予以输出以供用户查看。
  51. 一种计算机存储介质,其特征在于,存储至少一种程序,所述至少一种程序在被调用时执行如权利要求1-15中任一所述的移动控制方法。
  52. 一种计算机存储介质,其特征在于,存储至少一种程序,所述至少一种程序在被调用时执行如权利要求20-34中任一所述的导航方法。
PCT/CN2018/090501 2018-06-08 2018-06-08 移动控制方法、移动机器人及计算机存储介质 WO2019232803A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/090501 WO2019232803A1 (zh) 2018-06-08 2018-06-08 移动控制方法、移动机器人及计算机存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201880000818.XA CN109074083A (zh) 2018-06-08 2018-06-08 移动控制方法、移动机器人及计算机存储介质
PCT/CN2018/090501 WO2019232803A1 (zh) 2018-06-08 2018-06-08 移动控制方法、移动机器人及计算机存储介质
US17/114,677 US11130238B2 (en) 2020-12-08 Mobile control method, mobile robot and computer storage medium

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/114,677 Continuation US11130238B2 (en) 2018-06-08 2020-12-08 Mobile control method, mobile robot and computer storage medium

Publications (1)

Publication Number Publication Date
WO2019232803A1 true WO2019232803A1 (zh) 2019-12-12

Family

ID=64789379

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/090501 WO2019232803A1 (zh) 2018-06-08 2018-06-08 移动控制方法、移动机器人及计算机存储介质

Country Status (2)

Country Link
CN (1) CN109074083A (zh)
WO (1) WO2019232803A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976340A (zh) * 2019-03-19 2019-07-05 中国人民解放军国防科技大学 一种基于深度增强学习的人机协同动态避障方法及系统
CN111813103B (zh) * 2020-06-08 2021-07-16 珊口(深圳)智能科技有限公司 移动机器人的控制方法、控制系统及存储介质
CN113156933A (zh) * 2020-12-30 2021-07-23 徐宁 一种机器人行进控制系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338289A (zh) * 2016-08-11 2017-01-18 张满仓 基于机器人的室内定位导航系统及其方法
CN106647742A (zh) * 2016-10-31 2017-05-10 纳恩博(北京)科技有限公司 移动路径规划方法及装置
CN107291080A (zh) * 2017-06-27 2017-10-24 深圳普思英察科技有限公司 一种扫地机器人及避障方法、可读存储介质
CN107885206A (zh) * 2017-11-07 2018-04-06 中国科学院福建物质结构研究所 一种机器人避障方法及应用其的机器人

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101555589B1 (ko) * 2014-05-15 2015-09-24 엘지전자 주식회사 청소기의 제어방법
FR3021914B1 (fr) * 2014-06-05 2018-02-23 Aldebaran Robotics Base de rechargement d'une batterie et procede de recharge mettant en oeuvre une telle base
KR101620428B1 (ko) * 2014-10-10 2016-05-12 엘지전자 주식회사 로봇 청소기 및 로봇 청소기의 제어방법
US9704043B2 (en) * 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
CN106527424A (zh) * 2016-09-20 2017-03-22 深圳市银星智能科技股份有限公司 移动机器人及移动机器人的导航方法
CN107833236B (zh) * 2017-10-31 2020-06-26 中国科学院电子学研究所 一种动态环境下结合语义的视觉定位系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338289A (zh) * 2016-08-11 2017-01-18 张满仓 基于机器人的室内定位导航系统及其方法
CN106647742A (zh) * 2016-10-31 2017-05-10 纳恩博(北京)科技有限公司 移动路径规划方法及装置
CN107291080A (zh) * 2017-06-27 2017-10-24 深圳普思英察科技有限公司 一种扫地机器人及避障方法、可读存储介质
CN107885206A (zh) * 2017-11-07 2018-04-06 中国科学院福建物质结构研究所 一种机器人避障方法及应用其的机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI, QIANG: "Research on Monocular Vision-based Realtime Distance Measurement Algorithm", INFORMATION & TECHNOLOGY, CHINA MASTER-'S THESES FULL-TEXT DATABASE, 15 March 2017 (2017-03-15) *

Also Published As

Publication number Publication date
CN109074083A (zh) 2018-12-21
US20210138657A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
WO2019232806A1 (zh) 导航方法、导航系统、移动控制系统及移动机器人
WO2019232803A1 (zh) 移动控制方法、移动机器人及计算机存储介质
US9329598B2 (en) Simultaneous localization and mapping for a mobile robot
US10740920B1 (en) Method and apparatus for combining data to construct a floor plan
Fallon et al. Continuous humanoid locomotion over uneven terrain using stereo fusion
WO2019114219A1 (zh) 移动机器人及其控制方法和控制系统
Munaro et al. Tracking people within groups with RGB-D data
WO2021026831A1 (zh) 移动机器人及其控制方法和控制系统
WO2019232804A1 (zh) 软件更新方法、系统、移动机器人及服务器
WO2019090833A1 (zh) 定位系统、方法及所适用的机器人
WO2019095681A1 (zh) 定位方法、系统及所适用的机器人
Momeni-k et al. Height Estimation from a Single Camera View.
CN106813672B (zh) 移动机器人的导航方法及移动机器人
WO2020102946A1 (zh) 构建地图、定位、导航、控制方法及系统、移动机器人
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
WO2018228256A1 (zh) 一种通过图像识别方式达成室内任务目标位置确定的系统和方法
WO2020113452A1 (zh) 移动目标的监控方法、装置、监控系统及移动机器人
CN110874100A (zh) 用于使用视觉稀疏地图进行自主导航的系统和方法
WO2019113859A1 (zh) 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
US10513037B2 (en) Control method and system, and mobile robot using the same
US11130238B2 (en) Mobile control method, mobile robot and computer storage medium
Zang et al. Camera localization by CAD model matching
Zhou et al. Attitude acquisition using stereo-vision methodology
Wang et al. Geometric constraints for robot navigation using omnidirectional camera
Taylor Mapping of indoor environments by robots using low-cost vision sensors

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18921735

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 12/05/2021)