WO2020248458A1 - 一种信息处理方法、装置及存储介质 - Google Patents

一种信息处理方法、装置及存储介质 Download PDF

Info

Publication number
WO2020248458A1
WO2020248458A1 PCT/CN2019/111733 CN2019111733W WO2020248458A1 WO 2020248458 A1 WO2020248458 A1 WO 2020248458A1 CN 2019111733 W CN2019111733 W CN 2019111733W WO 2020248458 A1 WO2020248458 A1 WO 2020248458A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
information
type
image
map
Prior art date
Application number
PCT/CN2019/111733
Other languages
English (en)
French (fr)
Inventor
范泽宣
陈远
林周雄
沈大明
Original Assignee
江苏美的清洁电器股份有限公司
美的集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 江苏美的清洁电器股份有限公司, 美的集团股份有限公司 filed Critical 江苏美的清洁电器股份有限公司
Publication of WO2020248458A1 publication Critical patent/WO2020248458A1/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24Floor-sweeping machines, motor-driven
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection

Definitions

  • the position information of the at least one obstacle contained in the image is determined.
  • the method further includes:
  • the method further includes:
  • the target area is located in any one of the at least one sub-area;
  • the acquisition unit is configured to perform image acquisition in the process of moving along a preset path to obtain images collected at each of at least one position in the preset path;
  • the determining unit is configured to determine the relevant information of at least one obstacle contained in the image based on the image collected at each of the at least one position; wherein the relevant information of the obstacle includes at least: position Information, attribute information;
  • the determining unit further includes: an attribute determining subunit;
  • An embodiment of the present application also provides an information processing device, including: a processor and a memory for storing a computer program that can run on the processor, wherein the processor is configured to execute any of the above when the computer program is running. The steps of the method described in item.
  • Figure 2 shows two ways to determine the location information of obstacles
  • FIG. 4 is a functional schematic diagram of an information processing apparatus provided by an embodiment of the application.
  • FIG. 5 is a schematic diagram of a hardware structure of an information processing device provided by an embodiment of the application.
  • S101 Perform image collection during the movement along a preset path, and obtain images collected at each of at least one position in the preset path;
  • S102 Determine related information of at least one obstacle contained in the image based on the image collected at each of the at least one location; wherein the related information of the obstacle includes at least location information and attribute information;
  • the electronic device is any device that can perform tasks intelligently in daily life, such as a sweeping robot, a delivery robot, a monitoring robot, etc.
  • the above electronic device may have an image acquisition unit for image acquisition during the movement of the electronic device.
  • the image collection is performed at each of at least one position in the preset path, and specifically may be image collection at a part of the preset path; or at each position in the preset path Image collection is performed on the above; the location and frequency of collection are not limited here.
  • the obstacle is an object detected by the electronic device in the process of performing a task that prevents the electronic device from advancing, and the obstacle may be a door, a refrigerator, or the like.
  • the position information of the obstacle refers to the distribution position information of the obstacle in the space where the electronic device is located, which can be represented by coordinates.
  • the attribute information of the obstacle refers to the category of the obstacle, and the category of the obstacle may be: the obstacle is a bed, a refrigerator, a person, a dog, and the like.
  • the sweeping robot is set to perform full-coverage cleaning when sweeping for the first time.
  • the full-coverage cleaning refers to that the sweeping robot cleans in the space according to a preset path until the sweeping robot traverses All the positions that can be reached in the space.
  • a clear button can be set on the sweeping robot to clear the recorded spatial map, and the clear button can be activated to clear the recorded map.
  • the purpose of this setting is to selectively delete the existing maps in order to save the memory space of the vacuum cleaner when the vacuum cleaner has already stored a large number of spatial maps, and some spatial maps are no longer useful.
  • the charging post of the sweeping robot can be set as the origin of the coordinate to establish a coordinate system.
  • the setting of the coordinate origin is not limited here.
  • the method for determining the location information of the obstacle may be determined by acquiring the image and the parameters of the acquisition unit.
  • the parameter of the collection unit refers to the focal length of the collection device
  • the collection device includes at least a monocular camera, a binocular camera, a camera and other tools that can realize image data collection.
  • the collection device may be a camera.
  • the target to be detected in the image is identified, and the two-dimensional position information of the target to be detected in the image is obtained; based on the two-dimensional position information of the target in the image and the parameters of the acquisition unit, calculation The position information of the target to be detected in the image.
  • the target to be detected is an obstacle included in the image, and the position information is coordinate information.
  • the obtained two-dimensional position information of the object to be detected in the image and the parameters of the acquisition unit can be used to calculate the object to be detected based on the principle of camera imaging.
  • the coordinate information of the target can be used to calculate the object to be detected based on the principle of camera imaging.
  • a 2-D frame of the target to be detected is set, and the center position of the 2-D frame is the center position of the target to be detected.
  • the two-dimensional position information of the target to be detected in the image is the center position of the 2-D frame of the target to be detected, the height of the 2-D frame, and other information;
  • the parameter of the acquisition unit is the focal length of the camera on the sweeping robot , The height of the camera from the ground and other parameters.
  • the calculation of the position information of the object to be detected in the image based on the two-dimensional position information of the object to be detected in the image and the parameters of the acquisition unit includes:
  • the position of the target to be detected in the image location information Based on the center position of the 2-D frame of the target to be detected in the image, the height of the 2-D frame, the focal length of the acquisition unit, the center position of the image, and the height of the sweeping robot, calculate the position of the target to be detected in the image location information.
  • the calculation of the position information may be based on the camera imaging principle, and the specific calculation process is not described here.
  • the obstacle detection in this embodiment can be performed based on the current detection system through a classifier.
  • a classifier can be based on neural network algorithms such as r-cnn, faster-rcnn, yolo, ssd, etc., to identify the objects in the image. Detect the target, and set the 2-D box to mark the target to be detected.
  • these detection systems use classifiers in different positions of the image and use different scales to run evenly on the entire image to achieve detection.
  • the r-cnn algorithm first generates potential bounding boxes in the image, and then runs a classifier on these boxes; after classification, it executes the processing for refining the bounding boxes to eliminate repeated detections, and according to the scene
  • the other targets in the image are re-scoring the bounding box to get the specific location of the object and what the object is.
  • the target obstacle can be determined. After the distance to the target obstacle is measured, the position of the target obstacle can be determined according to the position coordinates of the sweeping robot and the measured distance to the target obstacle Information, or coordinate information.
  • the measurement of the distance to the target obstacle can be achieved by installing a distance measuring device on the sweeping robot, or by installing a sensor in the sweeping robot.
  • the distance measuring device determines the distance between the two by measuring the time required for the round-trip between the sweeping robot and the obstacle.
  • the distance measuring device may be a distance meter, lidar or the like.
  • recording the coordinates of the obstacle through the sensor can be calculated by calculating the size and position coordinates of the obstacle through the process of the sweeping robot sweeping around the obstacle.
  • the training method of the neural network model includes: obtaining a plurality of sample pictures and label data of each sample picture, wherein the sample pictures contain obstacles of the same type, and the label data is used to label corresponding Characteristic information of obstacles in sample pictures of
  • Learning and training are performed based on the multiple sample pictures and the label data of each sample picture to obtain a neural network model.
  • the sample images may come from different application scenarios.
  • the sample pictures may include: door pictures, bed pictures, refrigerator pictures, TV pictures, table pictures, wall pictures, etc.
  • the fixed obstacles include walls, etc.
  • the obstacles that can be moved by a third person include beds, refrigerators, etc.
  • the obstacles that can move by themselves include people, animals, and the like.
  • the neural network model may be any convolutional neural network model.
  • the method further includes:
  • the map is divided into at least one sub-areas.
  • the room can be divided into multiple sub-areas according to the location of obstacles.
  • the principle of division can be to use obstacles as the boundary of multiple sub-areas, or to make each sub-region have as few obstacles as possible. Things.
  • the spatial map can also be divided according to whether the obstacle is fixed, specifically:
  • the wall is the wall structure; refrigerators, sofas, beds, etc. can be determined as objects with a size larger than a preset size, trash cans, flower pots, etc. can be determined as objects with a size less than or equal to the preset size.
  • Figure 3 is a space map obtained by dividing the space map according to whether the obstacles are fixed or not.
  • Figure 3 since the location of the wall structure and large furniture usually does not change, it can be based on the wall structure , The position coordinates of the wall structure and the position coordinates of objects larger than the preset size generate a space map, and the space map is divided by the position coordinates of the wall structure.
  • the map may be divided according to the position information of the walls, and the map may be divided into multiple sub-areas.
  • setting obstacles as walls can be based on room division, that is, by collecting images of the surrounding environment, positioning and identifying doors in the house, and dividing the originally constructed map into different rooms.
  • the cleaning robot will continuously search for items that can determine the attributes of the room through the camera in the room.
  • the method further includes:
  • the at least one obstacle includes a second-type obstacle, and acquiring attribute information of the second-type obstacle;
  • the attribute information of the second-type obstacle Based on the attribute information of the second-type obstacle, determine the attribute information of the sub-region where the second-type obstacle is located; the attribute information of the sub-region is used to characterize the use of the sub-region.
  • the second type of obstacle may be a bed, and when the obstacle is determined to be a bed, the sub-region where the bed is located may be considered as a bedroom for rest.
  • the second type of obstacle can also be a toilet. When the obstacle is determined to be a toilet, the sub-region where the toilet is located can be considered as a toilet.
  • the second type of obstacle can also be a sofa. When the obstacle is determined to be a sofa, the sub-area where the sofa is located can be considered as the living room.
  • the room attribute can be manually set later. For example, artificially set the current room as a lounge.
  • the collection unit further includes:
  • the at least one obstacle includes a third-type obstacle
  • the position information of the third-type obstacle is acquired, and the position information of the third-type obstacle is marked on the three-dimensional map;
  • the first The three types of obstacles are obstacles that can move.
  • the specific implementation may be to determine whether the at least one obstacle includes a third-type obstacle; when the result of the determination is that the at least one obstacle includes a third-type obstacle, check the first obstacle on the map. The location information of the three types of obstacles is marked.
  • the camera on the sweeping robot when the camera on the sweeping robot recognizes that the stationary obstacle is a person or a pet, it can mark the specific location of the person or pet on the map.
  • the purpose of marking is to show that this position is not a fixed obstacle position. There may or may not be an obstacle at this position.
  • marking the specific location of the person or pet on the map may also include:
  • the treatment of the third type of obstacles can also be:
  • the at least one obstacle includes a third-type obstacle, and the position information of the third-type obstacle on the three-dimensional map is cleared.
  • the purpose of removing the position information of the third type of obstacle is to obtain a more accurate map, that is, to obtain an updated map.
  • the cleaning path planning can be performed based on the updated map, that is, the starting point and the ending point are determined in any of the at least one sub-region; based on the starting point and ending point The location and the map corresponding to the space determine the path of movement.
  • the moving path is the cleaning path.
  • the sweeping robot can clean according to the planned path. Because some objects, people or pets in the room may move, the position coordinates of the third obstacle will change. It is necessary to detect the obstacle and update the position coordinates of the obstacle at any time during the cleaning process, according to the position coordinates of the obstacle Rebuild the room map and re-plan the cleaning path.
  • the method further includes:
  • the work instruction may be a voice command or a command issued by the APP of the terminal device.
  • the work instruction includes location information of the target area; it may also include specific content of the work instruction. For the sweeping robot, the specific content of the work instruction is cleaning.
  • the target location sent by the terminal device is received, and the cleaning is performed according to the adjusted room map information.
  • the position of the obstacle is also automatically detected, and then the cleaning route is planned according to the updated obstacle position, so as to improve the working efficiency of the sweeping robot.
  • the space map needs to be updated mainly due to the following situations: the original obstacles become no obstacles; the original obstacles have no obstacles.
  • the rule can be set as follows: if no obstacle is detected at the coordinate position of the original obstacle, the coordinate of the position in the space map is updated as an obstacle-free object, and the update is an obstacle-free object and is a planned This position in the cleaning path is cleaned.
  • the position coordinates of the currently detected obstacle are recorded, and the currently detected obstacle is recorded in the room map.
  • the obstacle coordinates are marked as obstacles. Therefore, when the position coordinates belong to the planned cleaning path, the position coordinates are bypassed to continue cleaning.
  • the method further includes: storing the location information of the third type of obstacle; detecting whether there is currently a third type of obstacle at the location information, determining that there is no third type of obstacle, and moving to the location information working.
  • the information processing method provided by the embodiments of the present application collects images during the movement along a preset path, determines the position coordinates and attribute information of the obstacles during the movement based on the collected images, and determines the position coordinates of the obstacles
  • the spatial map can be divided into multiple sub-regions according to the location coordinates of the obstacles in the map, and an attribute is determined for each sub-region.
  • a cleaning path can be planned for each sub-area, cleaning according to the planned cleaning path, and updating the position coordinates of the obstacle, the room map, and the cleaning path, thereby improving the working efficiency of the cleaning robot.
  • an embodiment of the present application further provides an information processing device 400.
  • the device 400 includes: an acquisition unit 401, a determination unit 402, and a modeling unit 403; wherein,
  • the collection unit 401 is configured to perform image collection while moving along a preset path, to obtain images collected at each of at least one position in the preset path;
  • the determining unit 402 is configured to determine the relevant information of at least one obstacle contained in the image based on the image collected at each of the at least one position; wherein the relevant information of the obstacle includes at least: Location information of obstacles, attribute information of obstacles;
  • the modeling unit 403 is configured to establish a map corresponding to the space where the electronic device is located based on the relevant information of the at least one obstacle; wherein the map can at least display the location information of the at least one obstacle.
  • the information processing device is to solve the problem of inaccurate room map drawn due to some temporary obstacles in the room. It collects images based on the acquisition unit during the movement, according to the location The collected images determine the location information and attribute information of the obstacle.
  • the determining unit includes: a position determining subunit; the position determining subunit is configured to acquire the parameters of the image and the acquisition unit and the distance from the obstacle based on each position in the at least one position At least one of determining the location information of at least one obstacle contained in the image.
  • the determining unit further includes: an attribute determining sub-unit; the attribute determining sub-unit is configured to acquire an image based on each position in the at least one position, and a neural network model obtained through pre-training to determine what is contained in the image Attribute information of at least one obstacle.
  • the device further includes: a dividing unit;
  • the dividing unit is configured to determine that the at least one obstacle includes a first-type obstacle, and obtain the position information of the first-type obstacle; according to the position information of the first-type obstacle, the map Divide into at least one sub-region.
  • the device further includes: an area attribute determining unit; the area attribute determining unit is configured to determine that the at least one obstacle includes a second-type obstacle, and obtain the second-type obstacle attribute information; Based on the attribute information of the second-type obstacle, determine the attribute information of the sub-region where the second-type obstacle is located; the attribute information of the sub-region is used to characterize the use of the sub-region.
  • the device further includes a marking unit; the marking module is configured to determine that the at least one obstacle includes a third-type obstacle, obtain the position information of the third-type obstacle, and display it on the map
  • the position information of the third type of obstacle is marked in the above; the third type of obstacle is an obstacle that will cause movement.
  • the device further includes: a first processing unit; the first processing unit is configured to receive a work instruction; determine a target area of work based on the work instruction; the target area is located in the at least one sub-area In any sub-area of;
  • the device further includes: a second processing unit; the second processing unit is configured to store position information of a third type of obstacle; detect whether there is currently a third type of obstacle at the position information, and determine that there is no third type of obstacle. Type obstacles, move to the location information to work.
  • the information processing device collects images during movement along a preset path, determines the position coordinates and attribute information of obstacles during the movement based on the collected images, and determines the position coordinates and attributes of the obstacles.
  • the spatial map can be divided into multiple sub-regions according to the location coordinates of the obstacle in the map, and an attribute can be determined for each sub-region.
  • a cleaning path can be planned for each sub-area, cleaning according to the planned cleaning path, and updating the position coordinates of the obstacles, the room map, and the cleaning path, thereby improving the working efficiency of the sweeping robot.
  • the embodiment of the present application also provides a computer storage medium on which a computer program is stored, wherein the computer program is executed by a processor to implement the steps of the method described in the embodiment.
  • the computer program is executed by the processor, each step of the method provided in the embodiment is implemented, which is not repeated here.
  • An embodiment of the present application further provides an information processing device, including: a processor and a memory for storing a computer program that can run on the processor, wherein when the processor is used to run the computer program, the computer program is stored in the memory. The steps in the above method embodiment.
  • FIG. 5 is a schematic diagram of a hardware structure of an information processing device according to an embodiment of the present application.
  • the information processing device 500 includes: at least one processor 501 and a memory 502.
  • the components of the information processing device 500 are coupled together through a bus system, which is understandable ,
  • the bus system is used to realize the connection and communication between these components.
  • the bus system also includes a power bus, a control bus, and a status signal bus.
  • various buses are marked as bus systems in FIG. 5.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are merely illustrative.
  • the division of the units is only a logical function division, and there may be other divisions in actual implementation, such as: multiple units or components can be combined, or It can be integrated into another system, or some features can be ignored or not implemented.
  • the coupling, or direct coupling, or communication connection between the components shown or discussed may be indirect coupling or communication connection through some interfaces, devices or units, and may be electrical, mechanical or other forms of.
  • the units described above as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, that is, they may be located in one place or distributed on multiple network units; Some or all of the units can be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • the functional units in the embodiments of the present application can all be integrated into one processing module, or each unit can be individually used as a unit, or two or more units can be integrated into one unit;
  • the unit can be implemented in the form of hardware, or in the form of hardware plus software functional units.
  • a person of ordinary skill in the art can understand that all or part of the steps in the above method embodiments can be implemented by a program instructing relevant hardware.
  • the foregoing program can be stored in a computer readable storage medium. When the program is executed, it is executed. Including the steps of the foregoing method embodiment; and the foregoing storage medium includes: removable storage devices, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), magnetic disks or optical disks, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种信息处理方法,应用于电子设备,方法包括:在沿着预设路径移动的过程中进行图像采集,得到在预设路径中至少一个位置中每一个位置采集得到的图像(S101);基于至少一个位置中每一个位置采集得到的图像,确定图像中包含的至少一个障碍物的相关信息;其中,障碍物的相关信息至少包括:位置信息、属性信息(S102);基于至少一个障碍物的相关信息,建立电子设备所处空间对应的地图;其中,地图至少能够展示至少一个障碍物的位置信息(S103)。

Description

一种信息处理方法、装置及存储介质
相关申请的交叉引用
本申请基于申请号为201910518047.X,申请日为2019年06月14日的中国专利申请提出,并要求该中国专利申请的优先权,该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本申请涉及智能机器人技术领域,尤其涉及一种信息处理方法、装置及存储介质。
背景技术
随着科学技术的不断发展,智能机器人逐步走入平常百姓家,并被越来越多的人所接受。智能机器人可以执行清扫任务、送货任务、监控任务等,但是执行这些任务时,都需要进行路径规划,即选择一条安全可行的路径,避免与工作空间的障碍物碰撞是每个智能机器人都要实现的。
目前的智能机器人大多是通过陀螺仪或者激光雷达实现定位导航。这种导航定位方式不能判断障碍物的具体类别,无法给出正确的应对方式,例如,将静止状态下的人或者动物认为是障碍物,由此会构建出错误的地图,不利于智能机器人正确执行任务。
发明内容
有鉴于此,本申请实施例期望提供一种信息处理方法、装置及存储介质,能够在清扫过程中判断出障碍物的具体类别,由此可以基于障碍物的具体类别构建正确的空间地图。
为达到上述目的,本申请的技术方案是这样实现的:
本申请实施例提供一种信息处理方法,应用于电子设备,所述方法包括:
在沿着预设路径移动的过程中进行图像采集,得到在所述预设路径中至少一个位置中每一个位置采集得到的图像;
基于所述至少一个位置中每一个位置采集得到的图像,确定所述图像中包含的至少一个障碍物的相关信息;其中,所述障碍物的相关信息至少包括:位置信息、属性信息;
基于所述至少一个障碍物的相关信息,建立所述电子设备所处空间对应的地图;其中,所述地图至少能够展示所述至少一个障碍物的位置信息。
在上述方案中,所述基于所述至少一个位置中每一个位置采集得到的图像,确定所述图像中包含的至少一个障碍物的位置信息,包括:
基于所述至少一个位置中每一个位置采集得到图像与采集单元的参数、与障碍物之间的距离至少之一,确定所述图像中包含的至少一个障碍物的位置信息。
在上述方案中,所述基于所述至少一个位置中每一个位置采集得到的图像,确定所述图像中包含的至少一个障碍物的属性信息,包括:
基于所述至少一个位置中每一个位置采集得到图像、预先训练获得的神经网络模型,确定所述图像中包含的至少一个障碍物的属性信息。
在上述方案中,所述方法还包括:
确定所述至少一个障碍物中包含第一类障碍物,获取所述第一类障碍物的位置信息;
依据所述第一类障碍物的位置信息,将所述地图划分为至少一个子区域。
在上述方案中,所述方法还包括:
确定所述至少一个障碍物中包含第二类障碍物,获取所述第二类障碍物属性信息;
基于所述第二类障碍物的属性信息,确定第二类障碍物所处的子区域的属性信息;所述子区域的属性信息用于表征子区域的用途。
在上述方案中,所述方法还包括:
确定所述至少一个障碍物中包含第三类障碍物,获取所述第三类障碍物的位置信息,在所述地图上对所述第三类障碍物的位置信息进行标记;所述第三类障碍物为会产生移动的障碍物。
在上述方案中,所述方法还包括:
接收工作指令;
基于接收的所述工作指令,确定工作的目标区域;所述目标区域位于所述至少一个子区域中的任一子区域内;
基于自身的位置信息、目标区域以及所处空间所对应的地图,确定前往目标区域的路线。
在上述方案中,所述方法还包括:
存储第三类障碍物的位置信息;
检测所述位置信息处当前是否存在第三类障碍物,确定未存在第三类障碍物,移动至所述位置信息处进行工作。
本申请实施例提供一种信息处理装置,所述装置包括:采集单元、确定单元、建模单元;其中,
所述采集单元,用于在沿着预设路径移动的过程中进行图像采集,得到在所述预设路径中至少一个位置中每一个位置采集得到的图像;
所述确定单元,用于基于所述至少一个位置中每一个位置采集得到的图像,确定所述 图像中包含的至少一个障碍物的相关信息;其中,所述障碍物的相关信息至少包括:位置信息、属性信息;
所述建模单元,用于基于所述至少一个障碍物的相关信息,建立所述电子设备所处空间对应的地图;其中,所述地图至少能够展示所述至少一个障碍物的位置信息。
在上述方案中,所述确定单元包括:位置确定子单元;
所述位置确定子单元,用于基于所述至少一个位置中每一个位置采集得到图像与采集单元的参数、与障碍物之间的距离至少之一,确定所述图像中包含的至少一个障碍物的位置信息。
在上述方案中,所述确定单元还包括:属性确定子单元;
所述属性确定子单元,用于基于所述至少一个位置中每一个位置采集得到图像、预先训练获得的神经网络模型,确定所述图像中包含的至少一个障碍物的属性信息。
在上述方案中,所述装置还包括:划分单元;
所述划分单元,用于确定所述至少一个障碍物中包含第一类障碍物,获取所述第一类障碍物的位置信息;依据所述第一类障碍物的位置信息,将所述地图划分为至少一个子区域。
在上述方案中,所述装置还包括:区域属性确定单元;
所述区域属性确定单元,用于确定所述至少一个障碍物中包含第二类障碍物,获取所述第二类障碍物属性信息;基于所述第二类障碍物的属性信息,确定第二类障碍物所处的子区域的属性信息;所述子区域的属性信息用于表征子区域的用途。
在上述方案中,所述装置还包括标记单元;
所述标记模块,用于确定所述至少一个障碍物中包含第三类障碍物,获取所述第三类障碍物的位置信息,在所述地图上对所述第三类障碍物的位置信息进行标记;所述第三类障碍物为会产生移动的障碍物。
在上述方案中,所述装置还包括:第一处理单元;
所述第一处理单元,用于接收工作指令;基于所述工作指令,确定工作的目标区域;所述目标区域位于所述至少一个子区域中的任一子区域内;
基于自身的位置信息、目标区域以及所处空间所对应的地图,确定前往目标区域的路线。
在上述方案中,所述装置还包括:第二处理单元;
所述第二处理单元,用于存储第三类障碍物的位置信息;检测所述位置信息处当前是否存在第三类障碍物,确定未存在第三类障碍物,移动至所述位置信息处进行工作。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机 程序被处理器执行时实现上述任一项所述方法的步骤。
本申请实施例还提供一种信息处理装置,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器用于运行所述计算机程序时,执行上述任一项所述方法的步骤。
本申请实施例所提供的信息处理方法以及装置,在移动的过程中不断进行图像采集,基于采集得到的图像,去确定图像中包含的障碍物的位置信息以及属性信息,如此可以基于获取的障碍物的位置信息及属性信息,建立出所处空间对应的地图。由于在移动的过程中采集了多个位置的图像,可以通过对图像的分析确定出障碍物的具体类别,识别出哪些是真实的障碍物,哪些是可以会产生移动的伪障碍物。基于此,就可以通过识别结果创建出正确的空间地图,为后续的导航提供保障。
附图说明
图1为本申请实施例提供的信息处理方法的流程图;
图2为确定障碍物的位置信息的两种实现方式;
图3为根据障碍物是否固定情况对空间地图进行划分得到的空间地图;
图4为本申请实施例提供的信息处理装置的功能示意图;
图5为本申请实施例提供的信息处理装置的一种硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种信息处理方法,应用于电子设备,图1为本申请实施例提供的信息处理方法的流程图,如图1所示,所述方法包括:
S101,在沿着预设路径移动的过程中进行图像采集,得到在所述预设路径中至少一个位置中每一个位置采集得到的图像;
S102,基于所述至少一个位置中每一个位置采集得到的图像,确定所述图像中包含的至少一个障碍物的相关信息;其中,所述障碍物的相关信息至少包括:位置信息、属性信息;
S103,基于所述至少一个障碍物的相关信息,建立所述电子设备所处空间对应的地图; 其中,所述地图至少能够展示所述至少一个障碍物的位置信息。
需要说明的是,所述电子设备为日常生活中可以智能化执行任务的任何设备,例如扫地机器人、送货机器人、监控机器人等。
为了解决由于房间内会临时存在的一些障碍物而造成绘制的房间地图不准确的问题,上述电子设备可以具备图像采集单元,用于在电子设备的移动中进行图像采集。
这里,所述图像采集是在所述预设路径中至少一个位置中每一个位置上进行,具体可以是在预设路径中部分位置上进行图像采集;还可以是在预设路径中每一个位置上都进行图像采集;采集的位置、频次在此不做限定。
所述至少一个位置可以是所述预设路径中的任意位置,即在任意的一个位置,或者任意的多个位置上进行图像采集。
所述至少一个位置还可以是通过一定的规则进行设置,例如可以根据预设的间隔值来选取采集图像的位置,所述间隔值可以是距离间隔,还可以是时间间隔。
作为一种示例,当间隔值为距离间隔时,可以设置电子设备的移动距离每满足20cm,则进行一次图像采集。当间隔值为时间间隔时,可以设置电子设备的移动时长每满足5S,则进行一次图像采集。
这里,所述障碍物为电子设备在执行任务的过程中检测到的阻止所述电子设备前进的物体,所述障碍物可以是房门、冰箱等。
所述障碍物的位置信息是指障碍物在电子设备所处空间中的分布位置信息,可以用坐标进行表示。所述障碍物的属性信息是指障碍物的类别,所述障碍物的类别可以是:所述障碍物为床、冰箱、人、狗等。
这里,为了更好地描述本申请的信息处理方法的实现原理,下面以电子设备为扫地机器人为例进行具体说明。
在本申请实施例中,设置扫地机器人在第一次进行扫地的时候可以进行全覆盖清扫,所述全覆盖清扫是指扫地机器人在所处空间内按照预设的路径进行清扫,直到扫地机器人遍历所处空间中可以达到的所有位置。
可选的,可以在扫地机器人上设置清除按键,用于清除已经记录的空间地图,启动清除按键可以实现对已经记录的地图进行清除。在清除后,可以开始新一轮的全覆盖清扫。如此设置,是为了在扫地机器人已经存储了大量空间地图,而有些空间地图已经没有作用的情况下,为了节省扫地机器人的内存空间,可以选择性的对已有的地图进行删除。当然,在不选择清除按键的同时,也是可以开启新一轮的全覆盖清扫。
在实际应用中,为了测出障碍物的具体位置,可以将扫地机器人的充电桩设置为坐标原点,以此建立坐标系。当然也可以选择其他位置作为坐标原点,例如,选择大门、主卧 门作为坐标原点。在此对坐标原点的设置不作限定。
这里,建立坐标系的目的在于更直观的表示所处空间中的障碍物的位置信息。当然也可以通过其他方式去表示障碍物的位置信息,例如,可以通过相对位置的方式去表示,测量每一个障碍物与扫地机器人的相对距离,通过相对距离实现路径导航。
这里,在通过采集的图像确定出障碍物的位置信息、属性信息后,就可以基于测得的这些信息去建立地图。
下面,对障碍物的属性信息、位置信息的判断过程进行详细描述:
这里,确定障碍的相关信息就是确定障碍物的位置信息、属性信息。
对于障碍物的位置信息的确定:
图2为确定障碍物的位置信息的两种实现方式,如图2所示,为了确定所述障碍物的位置信息,可以基于所述至少一个位置中每一个位置采集得到图像与采集单元的参数、与障碍物之间的距离至少之一,确定所述图像中包含的至少一个障碍物的位置信息。这里,所述位置信息可以是坐标信息。
具体而言,所述障碍物的位置信息的确定方法,可以是通过采集得到图像与采集单元的参数来进行确定。
这里,采集单元的参数是指采集设备的焦距,所述采集设备至少包括单目相机、双目相机、摄像头等能实现图像数据采集的工具。在本实施例中,采集设备可以是摄像头。
在采集得到图像后,识别所述图像中的待检测目标,获取待检测目标在所述图像中的二维位置信息;基于待检测目标在图像中的二维位置信息以及采集单元的参数,计算所述图像中的待检测目标的位置信息。这里,待检测目标即为图像中包含的障碍物,所述位置信息即为坐标信息。
由于是要计算待检测目标实际的坐标信息,那么需要得到待检测目标XYZ轴的3个参数,或者是得到XY轴的2个参数。
在本申请实施例中,在获取待检测目标在图像中的二维位置信息后,通过得到的待检测目标在图像中的二维位置信息及采集单元的参数,可以基于相机成像原理计算待检测目标的坐标信息。
上述在采集得到图像后,所述识别所述图像中的待检测目标,获取待检测目标在所述图像中的二维位置信息,可以是:
基于神经网络算法检测待检测目标在图像中的位置;
基于待检测目标在图像中的位置,设置待检测目标的2-D框,所述2-D框的中心位置为待检测目标的中心位置。
这里,所述待检测目标在图像中的二维位置信息为待检测目标的2-D框的中心位置, 2-D框的高度等信息;所述采集单元的参数为扫地机器人上相机的焦距,相机距离地面的高度等参数。
那么,所述基于待检测目标在图像中的二维位置信息以及采集单元的参数,计算所述图像中的待检测目标的位置信息,包括:
基于所述图像中的待检测目标的2-D框的中心位置、2-D框的高度、采集单元的焦距、图像的中心位置以及扫地机器人的高度,计算所述图像中的待检测目标的位置信息。这里,位置信息的计算可以基于相机成像原理,具体计算过程在此不作赘述。
需要说明的是,本实施例的障碍物检测可以基于目前的检测系统通过分类器来执行检测,例如可以是基于r-cnn、faster-rcnn、yolo、ssd等神经网络算法来识别图像中的待检测目标,并设置2-D框去标记待检测目标。
为了实现对障碍物的检测,这些检测系统通过分类器在图像的不同的位置、采用不同的尺度在整个图像上均匀间隔的运行,实现检测。例如r-cnn算法首先在图像中生成潜在的边界框(bounding box),然后在这些框上运行分类器;在分类之后,执行用于细化边界框的处理,消除重复的检测,并根据场景中的其它目标为边界框重新打分得到图像上的物体的具体位置以及物体是什么。
所述障碍物的位置信息的确定方法,还可以是通过采集得到图像与障碍物之间的距离来确定,具体地:
基于采集得到图像可以确定目标障碍物,在测得与目标障碍物之间的距离后,根据扫地机器人的位置坐标、测得的与目标障碍物之间的距离,就可以确定目标障碍物的位置信息,或者是坐标信息。
这里,与目标障碍物之间的距离的测量可以是通过在扫地机器人上安装测距装置实现,也可以在扫地机器人会设置感应器实现。
对于测距装置:所述测距装置通过测定电波从扫地机器人到障碍物之间往返所需时间来确定两者之间距离。所述测距装置可以是测距仪、激光雷达等。
对于感应装置:所述感应器用于检测障碍物,若检测到障碍物时,扫地机器人可以记录障碍物的坐标,并且通过摄像头拍摄障碍物。
这里,通过感应器记录障碍物的坐标可以是通过扫地机器人绕障碍物清扫的过程计算得出障碍物的大小以及位置坐标。
对于障碍物的属性信息的确定:
实际应用中,为了确定障碍物的属性信息,可以基于所述至少一个位置中每一个位置采集得到图像、预先训练获得的神经网络模型,确定图像中包含的至少一个障碍物的属性信息。
这里,所述神经网络模型的训练方法包括:获得多个样本图片以及每个样本图片的标记数据,其中,所述样本图片中包含相同类型的障碍物,其中,所述标记数据用于标记对应的样本图片中的障碍物的特征信息;
基于所述多个样本图片以及每个样本图片的标记数据进行学习训练,获得神经网络模型。
需要说明的是,为了增加预先训练的神经网络模型的普适性,所述样本图像可来自不同的应用场景。以室内清洁这一场景为例,所述样本图片可以包括:房门图片、床图片、冰箱图片、电视图片、桌子图片,墙体图片等。
作为一种示例,可以按照障碍物的类型对样本图片进行分类,针对同一类的样本图片按照神经网络模型进行学习训练,获得该类型的障碍物对应的神经网络模型;其中,障碍物的类型可以基于障碍物的属性确定,也可以是分为固定障碍物、可被第三者移动的障碍物以及能够自行移动的障碍物等;还可以分为墙体结构,大于预设尺寸的物体,小于或者等于预设尺寸的物体。
作为一种分类的示例,所述固定障碍物包括墙等,所述可被第三者移动的障碍物包括床、冰箱等;所述能够自行移动的障碍物为人、动物等。
在按照障碍物的类型对样本图片进行分类后,针对同一类的样本图片按照神经网络模型进行学习训练,获得该类型的障碍物对应的神经网络模型。
作为一种实施方式,所述神经网络模型可以是任一种卷积神经网络模型。
进一步地,所述方法还包括:
确定所述至少一个障碍物中包含第一类障碍物,获取所述第一类障碍物的位置信息;
依据所述第一类障碍物的位置信息,将所述地图划分为至少一个子区域。
在本申请实施例中,可以根据障碍物的位置将房间分为多个子区域,划分的原则可以是将障碍物作为多个子区域的分界,还可以是使得每个子区域内尽量存在较少的障碍物。
所述第一类障碍物可以是房门,在确定了所述房门的位置信息后,可以根据房门的位置信息对所述地图进行划分,将所述地图划分为多个子区域。这里,所述第一类障碍物为房门实现的区域划分原则就是将障碍物作为多个子区域的分界。
在本申请实施例中,还可以根据障碍物是否固定的情况对空间地图进行划分,具体地:
可以通过对摄像头拍摄的障碍物的照片进行识别,以及结合检测到的障碍物的大小,对障碍物进行分类,将障碍物分为墙体结构,大于预设尺寸的物体,小于或者等于预设尺寸的物体。
这里,墙面即为墙体结构;冰箱、沙发、床等可以确定为尺寸大于预设尺寸的物体,垃圾桶、花盆等可以确定为尺寸小于或者等于预设尺寸的物体。
基于上述划分原则,图3为根据障碍物是否固定情况对空间地图进行划分得到的空间地图,如图3所示,由于墙体结构和大型家具的位置通常不会变动,所以可以根据墙体结构,墙体结构的位置坐标、大于预设尺寸的物体的位置坐标生成空间地图,并通过墙体结构的位置坐标对空间地图进行划分。
具体地,在通过拍摄的位置获取不同的墙的位置后,可以根据墙的位置信息对所述地图进行划分,将所述地图划分为多个子区域。这里,将障碍物设置为墙可以是基于房间实现的划分,即通过对周围环境进行图像的采集,对房子中的门进行定位与识别,将原本构建的地图划分成不同的房间。
为了进一步确定各个房间的用途,扫地机器人会在房间中通过摄像头不断的搜寻能够确定该房间属性的物品。基于此目的,所述方法还包括:
确定所述至少一个障碍物中包含第二类障碍物,获取所述第二类障碍物属性信息;
基于所述第二类障碍物的属性信息,确定第二类障碍物所处的子区域的属性信息;所述子区域的属性信息用于表征子区域的用途。
这里,作为一种示例,所述第二类障碍物可以是床,当确定障碍物为床后,所述床所处的子区域的可认为是卧室,用于休息。所述第二类障碍物还可以马桶,当确定障碍物为马桶后,所述马桶所处的子区域的可认为是厕所。所述第二类障碍物还可以沙发,当确定障碍物为沙发后,所述沙发所处的子区域的可认为是客厅。
这里,若未找到能够确定房间属性的物品,可以后续人为设定房间属性。例如,人为设定当前房间为休息室。
在本申请中,采集单元的另一个重要作用是用于识别出房间内的人、宠物或者是可能会产生移动的物品。所述可能会产生移动的物品可以是花盆、椅子等。当人、宠物静止并占据房间某块位置,多数情况下会被判定为障碍物并影响地图的构建。同样的,花盆、椅子等可能会产生移动的物品在没被移动时,会并占据房间某块位置,当被移开时,之前所述的位置就不再是障碍位置。基于此情况,所述方法还包括:
确定所述至少一个障碍物中包含第三类障碍物,获取所述第三类障碍物的位置信息,在所述三维地图上对所述第三类障碍物的位置信息进行标记;所述第三类障碍物为会产生移动的障碍物。
这里,具体实现可以是,判断所述至少一个障碍物中是否包含第三类障碍物;当判断结果为所述至少一个障碍物中包含第三类障碍物时,对所述地图上所述第三类障碍物的位置信息进行标记。
在实际应用中,当扫地机器人上的摄像头识别出静止的障碍物为人或者宠物时,可以对地图上所述人或宠物的具体位置进行标记。这里,标记的目的是为了说明这个位置并不 属于固定的障碍位置,在这个位置上可能存在障碍物,也可能不存在障碍物。
进一步地,所述对地图上所述人或宠物的具体位置进行标记,还可以包括:
在地图上所述人或宠物的具体位置上设置颜色标记或符号标记。
这里,对于第三类障碍物的处理,还可以是:
确定所述至少一个障碍物中包含第三类障碍物,清除所述三维地图上所述第三类障碍物的位置信息。
这里,去除第三类障碍物的位置信息是为了得到更为准确的地图,即得到更新后的地图。
在得到更新后的地图后,可以基于更新后的地图进行清扫的路径规划,即:在所述至少一个子区域中的任一子区域内确定起点位置、终点位置;基于所述起点位置、终点位置以及所处空间所对应的地图,确定移动路径。
对于扫地机器人而言,所述移动路径即为清扫路径。
在规划好清扫路径后,扫地机器人既可以按照规划好的路径进行清扫。由于室内的一些物品、人或者宠物可能会移动地方,所以第三障碍物的位置坐标会变化,就要在清扫的过程中随时检测障碍物并更新障碍物的位置坐标,根据障碍物的位置坐标重新构建房间地图,重新规划清扫路径。
由此,在重新构建房间地图后,所述方法还包括:
接收工作指令;
基于接收的所述工作指令,确定工作的目标区域;所述目标区域位于所述至少一个子区域中的任一子区域内;
基于自身的位置信息、目标区域以及所处空间所对应的地图,确定前往目标区域的路线。这里,所述工作指令可以是语音命令或者终端设备的APP发出的命令。所述工作指令包括目标区域的位置信息;还可以包括工作指令的具体内容。对于扫地机器人而言,所述工作指令的具体内容就是清扫。
与终端设备建立连接,将空间地图信息和规划的清扫路径发送至终端设备,以便于用户在终端设备上可以对空间地图信息和规划的清扫路径进行相应的调整。
在用户在终端设备上设置了清扫的位置后,接收终端设备发送的目标位置,根据调整后的房间地图信息进行清扫。
在本申请实施例中,当按照规划好的路线进行清扫时,也会自动检测障碍物的位置,然后根据更新后的障碍物位置规划清扫路线,提高扫地机器人的工作效率。
当在清扫过程中,检测到障碍物,可以先从现有的空间地图中识别该位置坐标点是否标注有障碍物,若标注了障碍物,那么,可以从现有的空间地图中识别出标注的障碍物的 属性信息。
这里,对空间地图需要更新的情况进行说明,空间地图需要更新主要是由于会这几种情况:原来有障碍物的地方变得没有障碍物;原来没有障碍物的地方出现障碍物。
由此,可以设定规则为:若在原有的障碍物的坐标位置未检测到障碍物,则将空间地图中该位置坐标更新为无障碍物,并对更新为无障碍物、且属于规划的清扫路径中的这一位置进行清扫。
若当前检测到的某一位置坐标处存在障碍物,而在原有的空间地图中显示的是无障碍物,则记录当前检测到的障碍物的位置坐标,并在房间地图中将当前检测到的障碍物坐标标记为障碍物。由此,在所述位置坐标属于规划的清扫路径中时,绕过所述位置坐标继续进行清扫。
在实际应用中,可以设置扫地机器人在扫地过程中被人有意或无意的阻止时,记住该地点,当后续发现人离开后,继续去清理此位置。
由此,所述方法还包括:存储第三类障碍物的位置信息;检测所述位置信息处当前是否存在第三类障碍物,确定未存在第三类障碍物,移动至所述位置信息处进行工作。
本申请实施例所提供的信息处理方法,在沿着预设路径移动过程中进行图像采集,基于采集的图像确定移动过程中的障碍物的位置坐标以及属性信息,在确定出障碍物的位置坐标以及属性信息后,可以根据障碍物在地图中的位置坐标将所处空间地图划分为多个子区域,并对每个子区域确定一个属性。如此,可以在划分了子区域后,为每个子区域规划清扫路径,根据规划好的清扫路径进行清扫并更新障碍物的位置坐标、房间地图以及清扫路径,从而可以提高扫地机器人的工作效率。
基于前述实施例相同的技术构思,本申请实施例还提供一种信息处理装置400,如图4所示,所述装置400包括:采集单元401、确定单元402、建模单元403;其中,
所述采集单元401,用于在沿着预设路径移动的过程中进行图像采集,得到在所述预设路径中至少一个位置中每一个位置采集得到的图像;
所述确定单元402,用于基于所述至少一个位置中每一个位置采集得到的图像,确定所述图像中包含的至少一个障碍物的相关信息;其中,所述障碍物的相关信息至少包括:障碍物的位置信息、障碍物的属性信息;
所述建模单元403,用于基于所述至少一个障碍物的相关信息,建立所述电子设备所处空间对应的地图;其中,所述地图至少能够展示所述至少一个障碍物的位置信息。
需要说明的是,所述信息处理装置是为了解决由于房间内会临时存在的一些障碍物而造成绘制的房间地图不准确的问题,通过在移动中基于采集单元进行图像采集,根据在每一个位置采集得到的图像,确定出障碍物的位置信息、属性信息。
可选的,所述确定单元包括:位置确定子单元;所述位置确定子单元,用于基于所述至少一个位置中每一个位置采集得到图像与采集单元的参数、与障碍物之间的距离至少之一,确定所述图像中包含的至少一个障碍物的位置信息。
所述确定单元还包括:属性确定子单元;所述属性确定子单元,用于基于所述至少一个位置中每一个位置采集得到图像、预先训练获得的神经网络模型,确定所述图像中包含的至少一个障碍物的属性信息。
可选的,所述装置还包括:划分单元;
所述划分单元,用于确定所述至少一个障碍物中包含第一类障碍物,获取所述第一类障碍物的位置信息;依据所述第一类障碍物的位置信息,将所述地图划分为至少一个子区域。
可选的,所述装置还包括:区域属性确定单元;所述区域属性确定单元,用于确定所述至少一个障碍物中包含第二类障碍物,获取所述第二类障碍物属性信息;基于所述第二类障碍物的属性信息,确定第二类障碍物所处的子区域的属性信息;所述子区域的属性信息用于表征子区域的用途。
可选的,所述装置还包括标记单元;所述标记模块,用于确定所述至少一个障碍物中包含第三类障碍物,获取所述第三类障碍物的位置信息,在所述地图上对所述第三类障碍物的位置信息进行标记;所述第三类障碍物为会产生移动的障碍物。
这里,所述装置还包括:第一处理单元;所述第一处理单元,用于接收工作指令;基于所述工作指令,确定工作的目标区域;所述目标区域位于所述至少一个子区域中的任一子区域内;
基于自身的位置信息、目标区域以及所处空间所对应的地图,确定前往目标区域的路线。
所述装置还包括:第二处理单元;所述第二处理单元,用于存储第三类障碍物的位置信息;检测所述位置信息处当前是否存在第三类障碍物,确定未存在第三类障碍物,移动至所述位置信息处进行工作。
需要说明的是,由于所述信息处理装置400解决问题的原理与前述应用于所述电子设备的信息处理方法相似,因此,所述信息处理装置400的具体实施过程及实施原理均可以参见前述方法和实施过程,以及实施原理的描述,重复之处不再赘述。
本实施例提供的信息处理装置,在沿着预设路径移动过程中进行图像采集,基于采集的图像确定移动过程中的障碍物的位置坐标以及属性信息,在确定出障碍物的位置坐标以及属性信息后,可以根据障碍物在地图中的位置坐标将所处空间地图划分为多个子区域,并可以对每个子区域确定一个属性。如此,可以在划分了子区域后,为每个子区域规划清 扫路径,根据规划好的清扫路径进行清扫并更新障碍物的位置坐标、房间地图以及清扫路径,从而可提高扫地机器人的工作效率。
本申请实施例还提供一种计算机存储介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现实施例中所述方法的步骤。并且该计算机程序被处理器执行时实现执行实施例中所提供的方法的各个步骤,在这里不再赘述。
本申请实施例还提供一种信息处理装置,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器用于运行所述计算机程序时,执行存储在存储器中的上述方法实施例的步骤。
图5是本申请实施例信息处理装置的一种硬件结构示意图,该信息处理装置500包括:至少一个处理器501、存储器502,信息处理装置500中的各个组件通过总线系统耦合在一起,可理解,总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

  1. 一种信息处理方法,应用于电子设备,所述方法包括:
    在沿着预设路径移动的过程中进行图像采集,得到在所述预设路径中至少一个位置中每一个位置采集得到的图像;
    基于所述至少一个位置中每一个位置采集得到的图像,确定所述图像中包含的至少一个障碍物的相关信息;其中,所述障碍物的相关信息至少包括:位置信息、属性信息;
    基于所述至少一个障碍物的相关信息,建立所述电子设备所处空间对应的地图;其中,所述地图至少能够展示所述至少一个障碍物的位置信息。
  2. 根据权1所述的方法,其特征在于,所述基于所述至少一个位置中每一个位置采集得到的图像,确定所述图像中包含的至少一个障碍物的位置信息,包括:
    基于所述至少一个位置中每一个位置采集得到图像与采集单元的参数、与障碍物之间的距离至少之一,确定所述图像中包含的至少一个障碍物的位置信息。
  3. 根据权1或2所述的方法,其特征在于,所述基于所述至少一个位置中每一个位置采集得到的图像,确定所述图像中包含的至少一个障碍物的属性信息,包括:
    基于所述至少一个位置中每一个位置采集得到图像、预先训练获得的神经网络模型,确定所述图像中包含的至少一个障碍物的属性信息。
  4. 根据权1至3任一项所述的方法,其特征在于,所述方法还包括:
    确定所述至少一个障碍物中包含第一类障碍物,获取所述第一类障碍物的位置信息;
    依据所述第一类障碍物的位置信息,将所述地图划分为至少一个子区域。
  5. 根据权1至4任一项所述的方法,其特征在于,所述方法还包括:
    确定所述至少一个障碍物中包含第二类障碍物,获取所述第二类障碍物属性信息;
    基于所述第二类障碍物的属性信息,确定第二类障碍物所处的子区域的属性信息;所述子区域的属性信息用于表征子区域的用途。
  6. 根据权1至5任一项所述的方法,其特征在于,所述方法还包括:
    确定所述至少一个障碍物中包含第三类障碍物,获取所述第三类障碍物的位置信息,在所述地图上对所述第三类障碍物的位置信息进行标记;所述第三类障碍物为会产生移动的障碍物。
  7. 根据权4所述的方法,其特征在于,所述方法还包括:
    接收工作指令;
    基于接收的所述工作指令,确定工作的目标区域;所述目标区域位于所述至少一个子区域中的任一子区域内;
    基于自身的位置信息、目标区域以及所处空间所对应的地图,确定前往目标区域的路线。
  8. 根据权1至7任一项所述的方法,其特征在于,所述方法还包括:
    存储第三类障碍物的位置信息;
    检测所述位置信息处当前是否存在第三类障碍物,确定未存在第三类障碍物,移动至所述位置信息处进行工作。
  9. 一种信息处理装置,所述装置包括:采集单元、确定单元、建模单元;其中,
    所述采集单元,用于在沿着预设路径移动的过程中进行图像采集,得到在所述预设路径中至少一个位置中每一个位置采集得到的图像;
    所述确定单元,用于基于所述至少一个位置中每一个位置采集得到的图像,确定所述图像中包含的至少一个障碍物的相关信息;其中,所述障碍物的相关信息至少包括:位置信息、属性信息;
    所述建模单元,用于基于所述至少一个障碍物的相关信息,建立所述电子设备所处空间对应的地图;其中,所述地图至少能够展示所述至少一个障碍物的位置信息。
  10. 根据权9所述的装置,其特征在于,所述确定单元包括:位置确定子单元;
    所述位置确定子单元,用于基于所述至少一个位置中每一个位置采集得到图像与采集单元的参数、与障碍物之间的距离至少之一,确定所述图像中包含的至少一个障碍物的位置信息。
  11. 根据权9或10所述的装置,其特征在于,所述确定单元还包括:属性确定子单元;
    所述属性确定子单元,用于基于所述至少一个位置中每一个位置采集得到图像、预先训练获得的神经网络模型,确定所述图像中包含的至少一个障碍物的属性信息。
  12. 根据权9至11任一项所述的装置,其特征在于,所述装置还包括:划分单元;
    所述划分单元,用于确定所述至少一个障碍物中包含第一类障碍物,获取所述第一类障碍物的位置信息;依据所述第一类障碍物的位置信息,将所述地图划分为至少一个子区域。
  13. 根据权9至12任一项所述的装置,其特征在于,所述装置还包括:区域属性确定单元;
    所述区域属性确定单元,用于确定所述至少一个障碍物中包含第二类障碍物,获取所述第二类障碍物属性信息;基于所述第二类障碍物的属性信息,确定第二类障碍物所处的子区域的属性信息;所述子区域的属性信息用于表征子区域的用途。
  14. 根据权9至13任一项所述的装置,其特征在于,所述装置还包括标记单元;
    所述标记模块,用于确定所述至少一个障碍物中包含第三类障碍物,获取所述第三类 障碍物的位置信息,在所述地图上对所述第三类障碍物的位置信息进行标记;所述第三类障碍物为会产生移动的障碍物。
  15. 根据权12所述的装置,其特征在于,所述装置还包括:第一处理单元;
    所述第一处理单元,用于接收工作指令;基于所述工作指令,确定工作的目标区域;所述目标区域位于所述至少一个子区域中的任一子区域内;
    基于自身的位置信息、目标区域以及所处空间所对应的地图,确定前往目标区域的路线。
  16. 根据权9至15任一项所述的装置,其特征在于,所述装置还包括:第二处理单元;
    所述第二处理单元,用于存储第三类障碍物的位置信息;检测所述位置信息处当前是否存在第三类障碍物,确定未存在第三类障碍物,移动至所述位置信息处进行工作。
  17. 一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
  18. 一种信息处理装置,其特征在于,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器用于运行所述计算机程序时,执行权利要求1至8任一项所述方法的步骤。
PCT/CN2019/111733 2019-06-14 2019-10-17 一种信息处理方法、装置及存储介质 WO2020248458A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910518047.XA CN112075879A (zh) 2019-06-14 2019-06-14 一种信息处理方法、装置及存储介质
CN201910518047.X 2019-06-14

Publications (1)

Publication Number Publication Date
WO2020248458A1 true WO2020248458A1 (zh) 2020-12-17

Family

ID=73734394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/111733 WO2020248458A1 (zh) 2019-06-14 2019-10-17 一种信息处理方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN112075879A (zh)
WO (1) WO2020248458A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113565299A (zh) * 2021-08-11 2021-10-29 马涛 一种具有自修补能力的自动抹光机及其控制方法
CN113776516A (zh) * 2021-09-03 2021-12-10 上海擎朗智能科技有限公司 一种添加障碍的方法、装置、电子设备及存储介质
CN113907663A (zh) * 2021-09-22 2022-01-11 追觅创新科技(苏州)有限公司 障碍物地图构建方法、清洁机器人及存储介质
CN114468857A (zh) * 2022-02-17 2022-05-13 美智纵横科技有限责任公司 清洁设备的控制方法、装置、清洁设备和可读存储介质
WO2022135317A1 (en) * 2020-12-22 2022-06-30 Globe (jiangsu) Co., Ltd. Robotic tool system and control method thereof
CN115040038A (zh) * 2022-06-22 2022-09-13 杭州萤石软件有限公司 一种机器人控制方法、装置及一种机器人
CN115209032A (zh) * 2021-04-09 2022-10-18 美智纵横科技有限责任公司 基于清洁机器人的图像采集方法、装置、电子设备及介质
WO2023016188A1 (zh) * 2021-08-10 2023-02-16 追觅创新科技(苏州)有限公司 地图的绘制方法和装置、扫地机、存储介质、电子装置
WO2023124085A1 (zh) * 2021-12-31 2023-07-06 北京石头创新科技有限公司 三维地图显示的优化方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116548870A (zh) * 2022-01-27 2023-08-08 追觅创新科技(苏州)有限公司 机器人移动路径规划方法、系统及清洁机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110264305A1 (en) * 2010-04-26 2011-10-27 Suuk Choe Robot cleaner and remote monitoring system using the same
US8463436B2 (en) * 2007-06-28 2013-06-11 Samsung Electronics Co., Ltd. Apparatus, method and medium for simultaneously performing cleaning and creation of map for mobile robot
CN106863305A (zh) * 2017-03-29 2017-06-20 赵博皓 一种扫地机器人房间地图创建方法及装置
CN107145578A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN107305125A (zh) * 2016-04-21 2017-10-31 中国移动通信有限公司研究院 一种地图构建方法及终端
CN107625489A (zh) * 2017-08-25 2018-01-26 珠海格力电器股份有限公司 阻挡物信息的处理方法、装置、处理器及扫地机器人

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102158695B1 (ko) * 2014-02-12 2020-10-23 엘지전자 주식회사 로봇 청소기 및 이의 제어방법
CN106067191A (zh) * 2016-05-25 2016-11-02 深圳市寒武纪智能科技有限公司 一种家用机器人建立语义地图的方法及系统
WO2019232803A1 (zh) * 2018-06-08 2019-12-12 珊口(深圳)智能科技有限公司 移动控制方法、移动机器人及计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463436B2 (en) * 2007-06-28 2013-06-11 Samsung Electronics Co., Ltd. Apparatus, method and medium for simultaneously performing cleaning and creation of map for mobile robot
US20110264305A1 (en) * 2010-04-26 2011-10-27 Suuk Choe Robot cleaner and remote monitoring system using the same
CN107305125A (zh) * 2016-04-21 2017-10-31 中国移动通信有限公司研究院 一种地图构建方法及终端
CN106863305A (zh) * 2017-03-29 2017-06-20 赵博皓 一种扫地机器人房间地图创建方法及装置
CN107145578A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN107625489A (zh) * 2017-08-25 2018-01-26 珠海格力电器股份有限公司 阻挡物信息的处理方法、装置、处理器及扫地机器人

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022135317A1 (en) * 2020-12-22 2022-06-30 Globe (jiangsu) Co., Ltd. Robotic tool system and control method thereof
CN115209032A (zh) * 2021-04-09 2022-10-18 美智纵横科技有限责任公司 基于清洁机器人的图像采集方法、装置、电子设备及介质
CN115209032B (zh) * 2021-04-09 2024-04-16 美智纵横科技有限责任公司 基于清洁机器人的图像采集方法、装置、电子设备及介质
WO2023016188A1 (zh) * 2021-08-10 2023-02-16 追觅创新科技(苏州)有限公司 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN113565299A (zh) * 2021-08-11 2021-10-29 马涛 一种具有自修补能力的自动抹光机及其控制方法
CN113776516A (zh) * 2021-09-03 2021-12-10 上海擎朗智能科技有限公司 一种添加障碍的方法、装置、电子设备及存储介质
CN113776516B (zh) * 2021-09-03 2024-05-14 上海擎朗智能科技有限公司 一种添加障碍的方法、装置、电子设备及存储介质
CN113907663A (zh) * 2021-09-22 2022-01-11 追觅创新科技(苏州)有限公司 障碍物地图构建方法、清洁机器人及存储介质
WO2023124085A1 (zh) * 2021-12-31 2023-07-06 北京石头创新科技有限公司 三维地图显示的优化方法及装置
CN114468857A (zh) * 2022-02-17 2022-05-13 美智纵横科技有限责任公司 清洁设备的控制方法、装置、清洁设备和可读存储介质
CN115040038A (zh) * 2022-06-22 2022-09-13 杭州萤石软件有限公司 一种机器人控制方法、装置及一种机器人

Also Published As

Publication number Publication date
CN112075879A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
WO2020248458A1 (zh) 一种信息处理方法、装置及存储介质
EP3814067B1 (de) Exploration eines robotereinsatzgebietes durch einen autonomen mobilen roboter
CN106863305B (zh) 一种扫地机器人房间地图创建方法及装置
CN109003303B (zh) 基于语音和空间物体识别及定位的设备控制方法及装置
KR102577785B1 (ko) 청소 로봇 및 그의 태스크 수행 방법
CN111657798B (zh) 基于场景信息的清扫机器人控制方法、装置和清扫机器人
AU2016228125B2 (en) Structure modelling
KR20240063820A (ko) 청소 로봇 및 그의 태스크 수행 방법
CN109871420B (zh) 地图生成和分区方法、装置及终端设备
CN113670292B (zh) 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN113116224B (zh) 机器人及其控制方法
CN111105495A (zh) 一种融合视觉语义信息的激光雷达建图方法及系统
CN106584472A (zh) 用于控制自主移动式设备的方法及装置
WO2020244121A1 (zh) 一种地图信息处理方法、装置及移动设备
Kumar et al. A unified grid-based wandering pattern detection algorithm
CN110315538B (zh) 一种在电子地图上显示障碍物的方法、装置及机器人
CN113503877A (zh) 机器人分区地图建立方法、装置及机器人
WO2023115658A1 (zh) 智能避开障碍的方法及装置
JP2005056213A (ja) 情報提供システム、情報提供サーバ、情報提供方法
CN114489058A (zh) 扫地机器人及其路径规划方法、装置和存储介质
WO2022028110A1 (zh) 自移动设备的地图创建方法、装置、设备及存储介质
KR20230134109A (ko) 청소 로봇 및 그의 태스크 수행 방법
CN112396997A (zh) 一种光影沙盘智能交互系统
CN114983279B (zh) 扫地机器人的控制方法、装置、扫地机器人和存储介质
US20230091536A1 (en) Camera Placement Guidance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19932760

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19932760

Country of ref document: EP

Kind code of ref document: A1