WO2019001237A1 - 一种移动电子设备以及该移动电子设备中的方法 - Google Patents

一种移动电子设备以及该移动电子设备中的方法 Download PDF

Info

Publication number
WO2019001237A1
WO2019001237A1 PCT/CN2018/090180 CN2018090180W WO2019001237A1 WO 2019001237 A1 WO2019001237 A1 WO 2019001237A1 CN 2018090180 W CN2018090180 W CN 2018090180W WO 2019001237 A1 WO2019001237 A1 WO 2019001237A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile electronic
module
map
information
image processor
Prior art date
Application number
PCT/CN2018/090180
Other languages
English (en)
French (fr)
Inventor
潘景良
陈灼
李腾
陈嘉宏
高鲁
Original Assignee
炬大科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201710529986.5A priority Critical patent/CN108459596A/zh
Priority to CN201710529986.5 priority
Application filed by 炬大科技有限公司 filed Critical 炬大科技有限公司
Publication of WO2019001237A1 publication Critical patent/WO2019001237A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2201/00Application
    • G05D2201/02Control of position of land vehicles
    • G05D2201/0212Driverless passenger transport vehicle

Abstract

一种移动电子设备,包括至少一个深度摄像头(108)、无线信号收发器(102)、图像处理器(1040)、地图模块(1042)、定位模块(1044)以及运动模块(106),其中无线信号收发器(102)配置为获取由至少一个深度摄像头(108)在移动电子设备运动的同时所采集的平面图形信息和图形中的物体的距离信息,并将包括平面图形信息和距离信息的多个三维信息发送给图像处理器(1040);图像处理器(1040)配置为处理所接收的多个三维信息;地图模块(1042)配置为根据图像处理器(1040)处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区地图;定位模块(1044)配置为记录移动电子设备的当前所在位置与任务区地图中的坐标原点之间的距离;以及运动模块(106)配置为根据任务区地图,规划路径,并根据路径进行运动。

Description

一种移动电子设备以及该移动电子设备中的方法 技术领域
本发明涉及电子设备领域。具体而言,本发明涉及智能机器人系统领域。
背景技术
传统的扫地机器人按扫描的地图自主定位和移动或者碰撞反弹变向随机行走,同时清扫地面。因此,传统的扫地机器人因为制图和定位技术不成熟或不精确,在工作过程中无法完全判断地面复杂状况,容易出现失去位置与方向的情况。此外,某些机型由于不具备定位能力,只能通过碰撞反弹的物理原理来变向,甚至会造成家居用品或者机器人自身损坏甚至人身伤害,对用户造成干扰等问题。
发明内容
本发明的实施例所述的移动电子设备系统,例如机器人系统利用深度摄像头,例如RGB-D摄像头,进行室内地图绘制,实现最优路径规划和更精确的定位,解决传统的扫地机器人制图和定位不精确的问题。实施例中所述的机器人系统具有准确的定位和地图绘制,可以提高机器人的工作效率,同时减轻用户的工作负荷。
本发明的一个实施例公开了一种移动电子设备,包括至少一个深度摄像头、无线信号收发器、图像处理器、地图模块、定位模块以及运动模块,其中:所述无线信号收发器可通信地连接到所述至少一个深度摄像头,配置为获取由所述至少一个深度摄像头在所述移动电子设备运动的同时所采集的平面图形信息和所述图形中的物体的距离信息,并将包括所述平面 图形信息和所述距离信息的多个三维信息发送给图像处理器;所述图像处理器可通信地连接至所述无线信号收发器,配置为处理所接收的多个三维信息;所述地图模块可通信地连接至所述图像处理器,配置为根据所述图像处理器处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区地图;所述定位模块可通信地连接至所述地图模块,配置为记录所述移动电子设备的当前所在位置与所述任务区地图中的坐标原点之间的距离;以及所述运动模块可通信地连接至所述定位模块,配置为根据所述任务区地图,规划路径,并根据所述路径进行运动。
本发明的另一个实施例公开了一种移动电子设备中的方法,所述移动电子设备包括至少一个深度摄像头、无线信号收发器、图像处理器、地图模块、定位模块以及运动模块,其中所述方法包括:通过可通信地连接到所述至少一个深度摄像头的所述无线信号收发器,获取由所述至少一个深度摄像头所采集的平面图形信息和所述图形中的物体的距离信息,并将包括所述平面图形信息和所述距离信息的三维信息发送给图像处理器;通过可通信地连接至所述无线信号收发器的所述图像处理器,处理所接收的多个三维信息;通过可通信地连接至所述图像处理器的所述地图模块,根据所述图像处理器处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区地图;通过可通信地连接至所述地图模块的所述定位模块,记录所述移动电子设备的当前所在位置与所述任务区地图中的坐标原点之间的距离;以及通过可通信地连接至所述定位模块所述运动模块,根据所述任务区地图,规划路径,并根据所述路径进行运动。
附图说明
本发明的更完整的理解通过参照关联附图描述的详细的说明书所获得,在附图中相似的附图标记指代相似的部分。
图1示出根据本发明的一个实施例的移动电子设备所在系统的示意图。
图2示出了根据本发明的一个实施例的移动电子设备中的处理器的框图。
图3A-3D示出了根据本发明的一个实施例的移动电子设备的示意图。
图4示出了根据本发明的一个实施例的在移动电子设备中的方法流程图。
具体实施方式
实施例一
图1示出根据本发明的一个实施例的移动电子设备100的示意图。
参照图1,移动电子设备100包括但不限于扫地机器人、工业自动化机器人、服务型机器人、排险救灾机器人、水下机器人、空间机器人、无人机、自动驾驶汽车上等。
移动电子设备100与充电桩160之间的信号传输方式包括但不限于:蓝牙、WIFI、ZigBee、红外、超声波、UWB等,在本实施例中以信号传输方式是WIFI为例进行描述。
可选地,实施例的系统还包括第二移动电子设备,例如,手机APP,与第一移动电子设备100的无线信号收发器102相通信,该第二移动电子设备能直观地显示3D建模信息,以及方便用户操作等。
任务区表示移动电子设备100执行任务的场地。例如,当移动电子设备100为扫地机器人时,任务区表示扫地机器人需要清扫的区域。又例如,当移动电子设备100为排险救灾机器人时,任务区表示该排险救灾机器人需要抢险的场所。
如图1所示,在一个实施例中,移动电子设备100包括深度摄像头108、无线信号收发器102、图像处理器1040、地图模块1042、定位模块1044以及运动模块106。图2示出了根据本发明的一个实施例的移动电子设备中的处理器104的框图。处理器104包括图像处理器1040,地图 模块1042,定位模块1044,数据处理器1046和避障模块1048。此外,移动电子设备100还包括编码器和惯性测量单元(Inertial Measurement Unit,IMU),这两部分由移动电子设备100,也即机器人100自身携带。此外,移动电子设备100还可以包括存储器110、数据处理器1046,该两个实体可以在机器人100身上,也可以在充电桩160内部,可选地在充电桩160内部。存储器110、数据处理器1046这两部功能是存储和处理图像信息、数据信息等。存储器110可通信地连接至处理器104。数据处理器1046位于处理器104中。如在图2中所示,数据处理器1046连接至定位模块1044。充电桩160可以是云端设备的一个例子,具有存储和处理数据的功能。
如图1所示,无线信号收发器102可通信地连接到至少一个深度摄像头108,配置为获取由至少一个深度摄像头108在移动电子设备100运动的同时所采集的平面图形信息和该图形中的物体的距离信息,并将包括平面图形信息和距离信息的多个三维信息发送给图像处理器1040。深度摄像头108,例如为Red Green Blue-Depth(RGB-D)摄像头,在移动设备100移动的过程中,持续采集视野范围内的平面图形信息和图形中的物体的距离信息。距离信息,也即深度信息指的是图像中每一个像素点到镜头的直线距离,这个飞行距离通过光的飞行时间来计算。RGB-D摄像头108获取的深度信息,相对于拍摄位置,既可以勾画出图中的3D模型。RGB-D摄像头108是3D摄像头,检测平面图像(普通的2D图像)和深度信息向无线信号收发器102传回3D信息,用于对任务区进行3D建模。
图像处理器1040可通信地连接至无线信号收发器102,配置为处理所接收的多个三维信息。例如,图像处理器1040可以为平面图像建立二维坐标系,对室内每一个点赋予相应的坐标值。图像处理器1040可以将充电桩160作为坐标原点,为室内的每一个点赋予坐标值(X,Y),此外,图像处理器1040还为每个点关联其对应的深度。图像处理器1040将RGB-D摄像头108拍摄到的图像以及图像中的每个像素的深度信息整合, 提取图像特征,以及提取图像中的深度信息,结合拍摄图像的位置,建立3D室内模型。
例如,深度摄像头108中拍摄下的平面图形信息和该图形中的物体的距离信息传至图像处理器1040进行处理分析。图像处理器1040的功能是识别图像中的物体的特征。可选地,图形处理器1040可以采用基于尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法或加速稳健特征(Speeded Up Robust Features,SURF)算法识别上述特征。采用SIFT算法,需要在存储器110中存储参考图像。图像处理器1040首先识别存储在存储器110中的参考图像的对象的关键点,提取SIFT特征,然后通过比较存储器110中的各个关键点SIFT特征与新采集的图像的SIFT特征,再基于K最邻近算法(K-Nearest Neighbor KNN)的匹配特征,来识别新图像中的对象。SURF算法是基于近似的2D哈尔小波(Haar wavelet)响应,并利用积分图像(integral images)进行图像卷积,使用了基于Hessian矩阵的测度去构造检测子(Hessian matrix-based measure for the detector),并使用了基于分布的描述子(a distribution-based descriptor)。本领域技术人员可以理解,图像处理器1040、地图模块1042和定位模块1044可以都包含在处理器104中。以下将结合图2对处理器104进行进一步的描述。
地图模块1042可通信地连接至图像处理器1040,配置为根据图像处理器1040处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区地图。地图模块1042结合图像处理模块建立室内3D模型,该3D模型就是一张3D地图。
定位模块1044可通信地连接至地图模块1042,配置为记录移动电子设备100的当前所在位置与任务区地图中的坐标原点之间的距离。例如,定位模块1044对处理过后的平面图像建立平面直角坐标系,将充电桩160所在处设为坐标原点,图像中的每一个点对应一个坐标值(X,Y),标记出移动电子设备100的位置与轮廓,实现对室内地图制定。定位模块1044 和编码器使得机器人100知道自己目前的位置,3D建模需要机器人100的位置信息和图像深度信息。定位模块1044是计算机器人100在室内位置的模块,3D建模需要有机器人100拍摄时的室内位置信息,以及机器人100在工作时都都要时刻知道自己的室内位置,都通过定位模块1044来实现。
然后,运动模块106可通信地连接至定位模块1044,配置为根据任务区地图,规划路径,并根据该路径进行运动。例如,运动模块106将从出发点以S型路径行走扫描室内建模。
此外,移动电子设备100,例如,机器人100还包括机器人编码器和惯性测量模块(IMU),以辅助摄像头108获取移动电子设备100,例如机器人的位置和姿态。例如当机器人被遮蔽,不在摄像头视线中时,编码器和IMU都还能提供机器人的位置和姿态。例如,编码器可以作为里程计,通过记录机器人轮子的转动信息,来计算机器人走过的轨迹。
可选地或者附加地,任务区的图像还包括至少一个第一障碍物。图像处理器1040还配置为识别任务区的图像中的该至少一个第一障碍物的特征信息。根据RGB-D摄像头108建立的室内3D模型包含室内任何实体,其中包含障碍物。如上所讨论的,图像处理器1040可以使用SIFT或者SURF算法进行图像识别。定位模块1044还配置为比较至少一个第一障碍物的特征信息与坐标原点,识别至少一个障碍物的位置与轮廓。避障模块1048和运动模块106还配置为根据所定位的移动电子设备100的位置和所识别的至少一个第一障碍物的位置与轮廓,规划路径,并根据路径进行运动。例如,当清扫位置信息和机器人位置信息都确认之后,移动电子设备100中的路径规划模块1044将规划出能避开障碍物的最优路径,将路径信息通过无线网络传至机器人100的运动模块106,则机器人100按照此路径出发至清扫地点开始任务。基于RGB-D摄像头108的3D建模能绘制出任何实体的外形和位置,比如勾画出一张桌子、椅子,机器人100在路径规划时需要绕过这些实体,例如障碍物。
可选地或者附加地,运动模块106正在运动,且深度摄像头108实时地采集任务区的图像,图像处理器1040和定位模块1044还用于动态地确定移动电子设备100的特征信息、位置和轮廓。
可选地或者附加地,移动电子设备100还可包含传感器112,传感器112将移动电子设备100周围的第二障碍物信息发送至运动模块106。运动模块106还配置为调整移动电子设备100的运动方位以避开第二障碍物。可以理解,因为安装的高度不同,安装在移动电子设备100上的深度摄像头108与安装在移动电子设备100上的传感器112的高度不同,因此深度摄像头108所拍摄的障碍物信息与传感器所拍摄的障碍物可能不同,因为可能存在遮蔽。深度摄像头108可以通过旋转,俯仰等方式改变视觉方向,以获取更广的视觉范围。运动模块106综合深度摄像头108所拍摄的第一障碍物信息和传感器112所感知的第二障碍物信息,进行避障规划路径。这些传感器112辅助深度摄像头108,例如,这些传感器112可以安装在比较低的水平位置,而这个位置有可能是摄像头108的盲区,物体不出现在摄像头108视角中,那么就得依靠这些传统传感器112来避障。
可选地或者可替代地,传感器112包括超声波传感器和/或激光传感器。可以理解,第一障碍物和第二障碍物可以是相同的,也可以是不同的。因此,深度摄像头108和传感器112可以相互辅助。例如,如有遮蔽时,在被遮蔽的局部,机器人100需要靠自身的激光传感器、超声波传感器112等来进行避障。
例如,在移动电子设备100,例如机器人100移动过程中,移动电子设备100中的图像处理器1040与定位模块1044利用深度摄像头108对移动电子设备100周围的环境进行3D建模,以确保机器人100位置信息准确,同时,机器人100搭载的激光传感器、超声波传感器也对机器人周围静态、动态环境进行检测,辅助避开静态、动态障碍物以及调整最优路径。
可选地或者可替代地,如果单个深度摄像头108的镜头视角有限,可同时使用安装在移动电子设备100上的多个深度摄像头108,以覆盖更广的区域。
可选地或者可替代地,移动电子设备100还包括充电桩160,其中充电桩160包括处理器104。例如,充电桩160包括图像处理器1040和定位模块1042。
可选地或者可替代地,地图模块1042采用可视同时定位和绘制地图技术(Visual-Simultaneous localization and mapping,VSLAM)根据图像处理器1040处理后的多个三维信息。机器人100在某一已知位置(定位模块1044),通过深度摄像头108拍摄周围,即可获得周围的图像信息以及图像中每个像素的深度信息(距离信息),根据这些信息,建立局部3D模型,当机器人100走过整个室内时,那么所有的局部模型结合起来,即是室内整体的3D模型,这个3D模型即为地图,是个3D室内地图。
实施例二
图3A-3D示出了根据本发明的一个实施例的移动电子设备100的示意图。以下以移动电子设备100为机器人300为例进行说明。
参照图3A-3D,机器人300主要由主机体310,无线收发器320,微处理器330,传感器340,和充电桩350五部分组成。用户可通过无线收发器320、微处理器330和充电桩350实现某区域内的定点功能,通过传感器340辅助主机体310完成指定的功能操作。
参照图3A和图3B,主机体310为微处理器330和传感器340的载体,微处理器330可以协助主机体310的控制单元执行移动等功能。
参照图3C和图3D,无线收发器320可通过手机、电脑等移动电子设备,发送蓝牙、WIFI、ZigBee、红外、超声波等通信信号,也可以与微处理器330和充电桩350进行位置信息交互功能,并将位置信息以指令的方式发送至微处理器330。
参照图3B,微处理器330设在主机体310上,可以接收无线收发器320发送的指令并对接收到的指令进行程序处理,将处理后的结果传输至主机体310控制单元,执行相应的任务。微处理器330也可以发射蓝牙、WIFI、ZigBee、红外、超声波等通信信号至充电桩350,实现自动回桩充电功能。
参照图3A,传感器340可以实时检测周围环境,实现智能避障、通信信号检测与发射的功能。
参照图3D,充电桩350可以接收无线收发器320发射的信号,同时也可以接收微处理器330发出的通信信号,实现位置信息交互功能,从而引导微处理器330控制主机体310实现回桩充电的功能。
实施例三
图4示出了一种在移动电子设备中的方法400,移动电子设备100包括至少一个深度摄像头108、无线信号收发器102、图像处理器1040、地图模块1042、定位模块1044以及运动模块106,其中方法400包括:在块410中,通过可通信地连接到至少一个深度摄像头108的无线信号收发器102,获取由至少一个深度摄像头108所采集的平面图形信息和图形中的物体的距离信息,并将包括平面图形信息和距离信息的三维信息发送给图像处理器1040;在块420中,通过可通信地连接至无线信号收发器102的图像处理器1040,处理所接收的多个三维信息;在块430中,通过可通信地连接至图像处理器1040的地图模块1042,根据图像处理器1040处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区地图;在块440中,通过可通信地连接至地图模块1042的1044定位模块,记录移动电子设备100的当前所在位置与任务区地图中的坐标原点之间的距离;以及在块450中,通过可通信地连接至定位模块1044的运动模块106,根据任务区地图,规划路径,并根据路径进行运动。
可选地或者可替代地,其中任务区的图像还包括至少一个第一第一障碍物,方法400还包括(图中未示出)通过图像处理器1040,识别任务区的图像中的至少一个第一障碍物的特征信息;通过定位模块1044,比较至少一个第一障碍物的特征信息与坐标原点,识别至少一个第一障碍物的位置与轮廓;通过运动模块106,根据任务区地图、由定位模块1044所定位的移动电子设备100的位置和所识别的至少一个第一障碍物的位置与轮廓,规划路径,并根据路径进行运动。
可选地或者可替代地,方法400还包括通过运动模块106进行运动;通过至少一个深度摄像头108实时地采集任务区的图像;以及通过图像处理器1040和定位模块1044,动态地确定移动电子设备100的特征信息、位置和轮廓。
可选地或者可替代地,方法400还包括(图中未示出):通过可通信地连接到处理器104的编码器和惯性测量模块,辅助至少一个深度摄像头108获取移动电子设备100的位置和姿态。
可选地或者可替代地,在方法400中,移动电子设备100还包括充电桩160,其中充电桩160包括图像处理器1040和定位模块1044。
可选地或者可替代地,移动电子设备100还可包含传感器112,方法400还包括通过传感器112将移动电子设备100周围的第二障碍物信息发送至运动模块106;以及通过运动模块106调整移动电子设备100的运动方位以避开第二障碍物。
可选地或者可替代地,其中传感器112包括超声波传感器和/或激光传感器。
可选地或者可替代地,其中地图模块1042采用可视同时定位和绘制地图技术(Visual-Simultaneous localization and mapping,VSLAM)根据图像处理器处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区地图。
在前面的描述中,已经参考具体示例性实施例描述了本发明;然而,应当理解,在不脱离本文所阐述的本发明的范围的情况下,可以进行各种修改和变化。说明书和附图应以示例性的方式来看待,而不是限制性的,并且所有这些修改旨在被包括在本发明的范围内。因此,本发明的范围应由本文的一般实施例及其合法等效物、而不是仅由上述具体实施例来确定。例如,任何方法或过程实施例中的步骤可以任何顺序执行,并且不限于在具体实施例中呈现的明确顺序。另外,在任何装置实施例中的部件和/或元件可以各种排列组装或以其他方式操作地配置,以产生与本发明基本相同的结果,因此不限于具体实施例中的具体配置。
以上已经关于具体实施例描述了益处、其他优点和问题的解决方案;然而,任何益处、优点或问题的解决方案,或可引起任何特定益处、优点或方案发生或变得更明显的任何元件不应被解释为关键的、必需的或基本的特征或部件。
如本文所使用的,术语“包括”、“包含”或其任何变型旨在引用非排他性的包含,使得包括元件列表的过程、方法、物品、组合物或装置不仅包括所述的那些元件,而且也可以包括未明确列出的或固有的主要的过程、方法、物品、组合物或装置。除了未具体叙述的那些之外,在本发明的实践中使用的上述结构、布局、应用、比例、元件、材料或部件的其它组合和/或修改可以被改变,或者以其他方式特别适用于特定的环境、制造规格、设计参数或其他操作要求,而不脱离其大体原则。
虽然本文已经参考某些优选实施例描述了本发明,但是本领域技术人员将容易理解,在不脱离本发明的精神和范围的情况下,其他应用可以替代本文所阐述的那些。因此,本发明仅由下述权利要求书限定。

Claims (16)

  1. 一种移动电子设备,包括至少一个深度摄像头、无线信号收发器、图像处理器、地图模块、定位模块以及运动模块,其中:
    所述无线信号收发器可通信地连接到所述至少一个深度摄像头,配置为获取由所述至少一个深度摄像头在所述移动电子设备运动的同时所采集的平面图形信息和所述图形中的物体的距离信息,并将包括所述平面图形信息和所述距离信息的多个三维信息发送给图像处理器;
    所述图像处理器可通信地连接至所述无线信号收发器,配置为处理所接收的多个三维信息;
    所述地图模块可通信地连接至所述图像处理器,配置为根据所述图像处理器处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区地图;
    所述定位模块可通信地连接至所述地图模块,配置为记录所述移动电子设备的当前所在位置与所述任务区地图中的坐标原点之间的距离;以及
    所述运动模块可通信地连接至所述定位模块,配置为根据所述任务区地图,规划路径,并根据所述路径进行运动。
  2. 根据权利要求1所述的移动电子设备,其中所述任务区的图像还包括至少一个第一障碍物,
    所述图像处理器还配置为识别所述任务区的图像中的所述至少一个第一障碍物的特征信息;
    所述定位模块还配置为比较所述至少一个第一障碍物的特征信息与所述坐标原点,识别所述至少一个第一障碍物的位置与轮廓;
    所述运动模块还配置为根据所述任务区地图、由所述定位模块所定位的所述移动电子设备的位置和所识别的至少一个第一障碍物的位置与轮廓,规划路径,并根据所述路径进行运动。
  3. 根据权利要求1所述的移动电子设备,其中所述运动模块正在运动,且所述至少一个深度摄像头实时地采集所述任务区的图像;
    所述图像处理器和所述定位模块还用于动态地确定所述移动电子设备的所述特征信息、位置和轮廓。
  4. 根据权利要求1所述的移动电子设备,还包括
    可通信地连接到所述处理器的编码器和惯性测量模块,配置为辅助所述至少一个深度摄像头获取所述移动电子设备的位置和姿态。
  5. 根据权利要求1-4中任一项所述的移动电子设备,还包括充电桩,其中所述充电桩包括所述图像处理器、所述地图模块和所述定位模块。
  6. 根据权利要求1-4中任一项所述的移动电子设备,还可包含传感器,所述传感器将所述移动电子设备周围的第二障碍物信息发送至所述运动模块,所述运动模块还配置为调整所述移动电子设备的运动方位以避开所述第二障碍物。
  7. 根据权利要求6所述的移动电子设备,所述传感器包括超声波传感器和/或激光传感器。
  8. 根据权利要求1所述的移动电子设备,其中所述地图模块采用可视同时定位和绘制地图技术(Visual-Simultaneous localization and mapping,VSLAM)根据所述图像处理器所述处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区地图。
  9. 一种移动电子设备中的方法,所述移动电子设备包括至少一个深度摄像头、无线信号收发器、图像处理器、地图模块、定位模块以及运动模块,其中所述方法包括:
    通过可通信地连接到所述至少一个深度摄像头的所述无线信号收发器,获取由所述至少一个深度摄像头所采集的平面图形信息和所述图形中的物体的距离信息,并将包括所述平面图形信息和所述距离信息的三维信息发送给图像处理器;
    通过可通信地连接至所述无线信号收发器的所述图像处理器,处理所接收的多个三维信息;
    通过可通信地连接至所述图像处理器的所述地图模块,根据所述图像处理器处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区地图;
    通过可通信地连接至所述地图模块的所述定位模块,记录所述移动电子设备的当前所在位置与所述任务区地图中的坐标原点之间的距离;以及
    通过可通信地连接至所述定位模块所述运动模块,根据所述任务区地图,规划路径,并根据所述路径进行运动。
  10. 根据权利要求9所述的方法,其中所述任务区的图像还包括至少一个第一第一障碍物,所述方法还包括:
    通过所述图像处理器,识别所述任务区的图像中的所述至少一个第一障碍物的特征信息;
    通过所述定位模块,比较所述至少一个第一障碍物的特征信息与坐标原点,识别所述至少一个第一障碍物的位置与轮廓;
    通过所述运动模块,根据所述任务区地图、由所述定位模块所定位的所述移动电子设备的位置和所识别的至少一个第一障碍物的位置与轮廓,规划路径,并根据所述路径进行运动。
  11. 根据权利要求9所述的方法,还包括:
    通过所述运动模块进行运动;
    通过所述至少一个深度摄像头实时地采集所述任务区的图像;
    通过所述图像处理器和所述定位模块,动态地确定所述移动电子设备的所述特征信息、位置和轮廓。
  12. 根据权利要求11所述的方法,还包括:
    通过可通信地连接到所述处理器的编码器和惯性测量模块,辅助所述至少一个深度摄像头获取所述移动电子设备的位置和姿态。
  13. 根据权利要求8-12中任一项所述的方法,其中所述移动电子设备还包括充电桩,其中所述充电桩包括所述图像处理器、所述地图模块和和所述定位模块。
  14. 根据权利要求8-12中任一项所述的方法,其中所述移动电子设备还可包含传感器,所述方法还包括
    通过所述传感器将所述移动电子设备周围的第二障碍物信息发送至所述运动模块;以及
    通过所述运动模块调整所述移动电子设备的运动方位以避开所述第二障碍物。
  15. 根据权利要求14所述的方法,其中所述传感器包括超声波传感器和/或激光传感器。
  16. 根据权利要求9所述的方法,其中所述地图模块采用可视同时定位和绘制地图技术(Visual-Simultaneous localization and mapping,VSLAM)根据所述图像处理器所述处理后的多个三维信息,通过绘制三维的任务区的图像,获取任务区地图。
PCT/CN2018/090180 2017-06-30 2018-06-07 一种移动电子设备以及该移动电子设备中的方法 WO2019001237A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710529986.5A CN108459596A (zh) 2017-06-30 2017-06-30 一种移动电子设备以及该移动电子设备中的方法
CN201710529986.5 2017-06-30

Publications (1)

Publication Number Publication Date
WO2019001237A1 true WO2019001237A1 (zh) 2019-01-03

Family

ID=63220992

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/090180 WO2019001237A1 (zh) 2017-06-30 2018-06-07 一种移动电子设备以及该移动电子设备中的方法

Country Status (2)

Country Link
CN (1) CN108459596A (zh)
WO (1) WO2019001237A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109900266A (zh) * 2019-03-27 2019-06-18 小驴机器人(武汉)有限公司 一种基于rgb-d和惯导的快速识别定位方式及系统
CN110245567A (zh) * 2019-05-16 2019-09-17 深圳前海达闼云端智能科技有限公司 避障方法、装置、存储介质及电子设备
CN112318496A (zh) * 2019-08-05 2021-02-05 乐歆机器人(东莞)有限公司 一种基于深度摄像机的视觉运动通道的构建系统及方法
CN111145392B (zh) * 2019-11-20 2020-12-18 重庆特斯联智慧科技股份有限公司 一种用于智慧安防的移动式综合布控一体机及系统
CN110850885A (zh) * 2019-12-20 2020-02-28 深圳市杉川机器人有限公司 自主机器人

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155699A (ja) * 2005-12-08 2007-06-21 Korea Electronics Telecommun カメラ及び標識を用いた移動ロボットの測位システム及び方法
CN106227059A (zh) * 2016-10-08 2016-12-14 三星电子(中国)研发中心 基于室内三维模型的智能家居控制方法和设备
CN106647766A (zh) * 2017-01-13 2017-05-10 广东工业大学 一种基于复杂环境的uwb‑视觉交互的机器人巡航方法及系统
CN106855411A (zh) * 2017-01-10 2017-06-16 深圳市极思维智能科技有限公司 一种机器人及其以深度摄像头和避障系统构建地图的方法
CN206833252U (zh) * 2017-06-16 2018-01-02 炬大科技有限公司 一种移动电子设备
CN207051738U (zh) * 2017-06-12 2018-02-27 炬大科技有限公司 一种移动电子设备
CN207067803U (zh) * 2017-08-24 2018-03-02 炬大科技有限公司 一种用于处理任务区域的任务的移动电子设备
CN207115193U (zh) * 2017-07-26 2018-03-16 炬大科技有限公司 一种用于处理任务区域的任务的移动电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155699A (ja) * 2005-12-08 2007-06-21 Korea Electronics Telecommun カメラ及び標識を用いた移動ロボットの測位システム及び方法
CN106227059A (zh) * 2016-10-08 2016-12-14 三星电子(中国)研发中心 基于室内三维模型的智能家居控制方法和设备
CN106855411A (zh) * 2017-01-10 2017-06-16 深圳市极思维智能科技有限公司 一种机器人及其以深度摄像头和避障系统构建地图的方法
CN106647766A (zh) * 2017-01-13 2017-05-10 广东工业大学 一种基于复杂环境的uwb‑视觉交互的机器人巡航方法及系统
CN207051738U (zh) * 2017-06-12 2018-02-27 炬大科技有限公司 一种移动电子设备
CN206833252U (zh) * 2017-06-16 2018-01-02 炬大科技有限公司 一种移动电子设备
CN207115193U (zh) * 2017-07-26 2018-03-16 炬大科技有限公司 一种用于处理任务区域的任务的移动电子设备
CN207067803U (zh) * 2017-08-24 2018-03-02 炬大科技有限公司 一种用于处理任务区域的任务的移动电子设备

Also Published As

Publication number Publication date
CN108459596A (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
WO2019001237A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
US10809071B2 (en) Method for constructing a map while performing work
US9460517B2 (en) Photogrammetric methods and devices related thereto
US10060730B2 (en) System and method for measuring by laser sweeps
KR20190030197A (ko) 훈련된 경로를 자율주행하도록 로봇을 초기화하기 위한 시스템 및 방법
Murray et al. Stereo vision based mapping and navigation for mobile robots
US20180190014A1 (en) Collaborative multi sensor system for site exploitation
US9849591B2 (en) Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment
CN108885459B (zh) 导航方法、导航系统、移动控制系统及移动机器人
CN207115193U (zh) 一种用于处理任务区域的任务的移动电子设备
WO2019019819A1 (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
CN112506181A (zh) 移动机器人及其控制方法和控制系统
US9183638B2 (en) Image based position determination
WO2008091714A1 (en) Method and apparatus for localizing and mapping the position of a set of points on a digital model
CN206833252U (zh) 一种移动电子设备
US9020301B2 (en) Method and system for three dimensional mapping of an environment
CN207067803U (zh) 一种用于处理任务区域的任务的移动电子设备
WO2018228258A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
Ye et al. 6-DOF pose estimation of a robotic navigation aid by tracking visual and geometric features
WO2018228256A1 (zh) 一种通过图像识别方式达成室内任务目标位置确定的系统和方法
WO2018228254A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
KR20200020295A (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
KR100784125B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
CN111383263A (zh) 机器人抓取物体系统、方法及装置
Wang et al. Three-Dimensional Reconstruction Based on Visual SLAM of Mobile Robot in Search and Rescue Disaster Scenarios

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18824373

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18824373

Country of ref document: EP

Kind code of ref document: A1