WO2022077945A1 - 障碍物识别信息反馈方法、装置、机器人和存储介质 - Google Patents

障碍物识别信息反馈方法、装置、机器人和存储介质 Download PDF

Info

Publication number
WO2022077945A1
WO2022077945A1 PCT/CN2021/100732 CN2021100732W WO2022077945A1 WO 2022077945 A1 WO2022077945 A1 WO 2022077945A1 CN 2021100732 W CN2021100732 W CN 2021100732W WO 2022077945 A1 WO2022077945 A1 WO 2022077945A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
obstacle
information
type
user
Prior art date
Application number
PCT/CN2021/100732
Other languages
English (en)
French (fr)
Inventor
张磊
刘建文
乌尔奇
Original Assignee
北京石头世纪科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京石头世纪科技股份有限公司 filed Critical 北京石头世纪科技股份有限公司
Priority to US18/249,069 priority Critical patent/US20230393583A1/en
Priority to EP21878995.6A priority patent/EP4231110A1/en
Publication of WO2022077945A1 publication Critical patent/WO2022077945A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0016—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Definitions

  • the process of de-identifying the picture file identification includes: acquiring the picture file identification, where the picture file identification includes a file name, file attribute or device identification; deleting all or part of the picture file. logo.
  • the obstacle type identifier includes: an icon and/or a text description matching the type of the pre-marked obstacle.
  • An embodiment of the present disclosure provides an obstacle identification information feedback device, which is applied to a self-propelled robot, and includes: a receiving unit, configured to receive a feedback information instruction sent by a terminal; a sending unit, configured to send the feedback information to a server; wherein, The feedback information includes: related pictures and type information of obstacles included in the pictures.
  • the marking method includes but is not limited to intelligent discrimination of objects/scene through the sweeper's own camera, and determination based on a deep neural network model trained on a large amount of marked data.
  • icon 001 represents shoes
  • icon 002 represents socks, and so on.
  • the de-identified preview image of the captured picture is displayed; when the user's confirmation instruction is received again, the de-identified image and the images contained in the image are displayed.
  • the type information of the obstacle is sent to the server through the terminal or sent to the server by notifying the bound self-propelled robot.
  • the captured picture and the type information of the obstacles contained in the picture are sent to the server through the terminal or notified to the bound self-propelled Sending the robot to the server includes: when receiving the confirmation instruction from the user, displaying the de-identified preview image of the captured picture; when receiving the confirmation instruction from the user again, displaying the de-identified image.
  • the picture and the type information of the obstacle contained in the picture are sent to the server through the terminal or sent to the server by notifying the bound self-propelled robot.
  • the receiving unit 902 is further configured to receive a user viewing touch control instruction, where the viewing touch control instruction includes a request to view the obstacle type and picture marked under the current obstacle icon; responding to the viewing touch control instructions, and send the marked obstacle type and picture to the client.
  • the robot may include a processing device (eg, a central processing unit, a graphics processor, etc.) 1001, which may be loaded into a random access memory (ROM) according to a program stored in a read only memory (ROM) 1002 or from a storage device 1008 ( The program in RAM) 1003 executes various appropriate actions and processes. In the RAM 1003, various programs and data necessary for the operation of the electronic robot 1000 are also stored.
  • the processing device 1001, the ROM 1002, and the RAM 1003 are connected to each other through a bus 1004.
  • An input/output (I/O) interface 1005 is also connected to the bus 1004 .
  • the following devices can be connected to the I/O interface 1005: input devices 1006 including, for example, a touch screen, touchpad, keyboard, mouse, camera, microphone, accelerometer, gyroscope, etc.; including, for example, a liquid crystal display (LCD), speakers, vibration An output device 1007 such as a computer; a storage device 1008 including, for example, a hard disk; and a communication device 1009 .
  • Communication means 1009 may allow the electronic robot to communicate wirelessly or by wire with other robots to exchange data. While FIG. 10 shows an electronic robot having various devices, it should be understood that not all of the illustrated devices are required to be implemented or equipped. More or fewer devices may alternatively be implemented or provided.
  • each block in the flowchart or block diagrams may represent a module, segment, or portion of code that contains one or more logical functions for implementing the specified functions executable instructions.
  • the functions noted in the blocks may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

一种障碍物探测方法、装置、自行走机器人（100）和存储介质。障碍物探测方法，包括：在接收到被触发的反馈指令后，提供交互界面供用户提交反馈信息，反馈信息包括：相关图片及图片中所包含的障碍物的类型信息（502）；在获知用户提交完成后，将反馈信息发送至服务器或者通知绑定的自行走机器人（100）将反馈信息发送至服务器（504）。通过终端APP和自行走机器人（100）的实时通讯，用户可以对扫地机视角下的障碍物识别状况进行二次判断，当判断障碍物类型与所拍摄的图片不准确时，启动更正操作，以提升自行走机器人（100）的障碍物识别能力。

Description

障碍物识别信息反馈方法、装置、机器人和存储介质
相关申请的交叉引用
本申请要求2020年10月14日提交的中国专利申请号202011098286.3的优先权，该中国专利申请以其整体通过引用并入本文。
技术领域
本公开涉及自行走机器人技术领域，尤其涉及一种障碍物识别信息反馈方法、装置、机器人和存储介质。
背景技术
随着人工智能技术的发展，出现了各种各样的智能化的机器人，比如扫地机器人、拖地机器人、吸尘器、除草机等。这些清洁机器人在工作过程中能够自动识别周围的障碍物，并对障碍物执行避障操作，这些清洁机器人不仅解放了劳动力、节约了人力成本，而且提升了清洁效率。
现有的含有摄像头的扫地机器人拥有物体识别或场景识别等基于摄像头拍摄图片的智能识别功能，物体或场景智能判别功能是基于使用大量标注数据训练的深度神经网络模型实现的。由于扫地机所在视角比较特殊，较难使用其它已有的图片库帮助提升扫地机视角下的智能判别能力，只能使用扫地机视角下的图片训练扫地机的障碍物识别能力，但仍然存在识别不准确、误识别、漏识别物体/场景的情况。
发明内容
本公开实施例提供一种障碍物识别信息反馈方法，应用于终端，包括：在接收到被触发的反馈指令后，提供交互界面供用户提交反馈信息，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息；在获知用户提交完成后，将所述反馈信息发送至服务器或者通知绑定的自行走机器人将所述反馈信息发送至服务器。
可选的，所述在接收到被触发的反馈指令之前还包括：基于应用程序界面中显示的障碍物类型标识，接收用户查看触控指令；其中，所述障碍物类型标识用于表示预标记障碍物所 属类型。
可选的，所述障碍物类型标识包括：与所述预标记障碍物的类型相匹配的图标和/或文字描述。
可选的，所述将所述反馈信息发送至服务器或者通知绑定的自行走机器人将所述反馈信息发送至服务器，包括：显示所述自行走机器人发来的经过去标识化处理的预览图片；当接收到被触发的上传指令时，将所述预览图片及该图片中所包含的障碍物的类型信息发送至服务器，或者通知绑定的自行走机器人将所述预览图片及该图片中所包含的障碍物的类型信息发送至服务器。
可选的，还包括：基于所述用户发出的拍照指令，控制所述自行走机器人从一个以上的角度对所述障碍物进行拍摄；显示通过本次拍摄得到的图片；所述提供交互界面供用户提交反馈信息，所述反馈信息包括相关图片及该图片中所包含的障碍物的类型信息，具体包括：所述提供交互界面供用户提交反馈信息，所述反馈信息包括本次拍摄的图片中的至少一张及所述障碍物的类型信息。
可选的，所述将所述反馈信息发送至服务器，具体包括：将所述反馈信息
以匿名的方式发送至服务器。
本公开实施例提供一种障碍物识别信息反馈方法，应用于自行走机器人，包括：接收终端发送的反馈信息指令；将反馈信息发送至服务器端；其中，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息。
可选的，所述在接收终端发送的反馈信息指令，之前还包括：接收用户查看触控指令，所述查看触控指令包括请求查看当前障碍物类型标识下标记的障碍物类型和图片；响应所述查看触控指令，将所述标记的障碍物类型和图片发送至客户端。
可选的，所述将所述标记的障碍物类型和图片发送至客户端，包括：将所述图片进行去标识化处理；将所述标记的障碍物类型和去标识化处理的图片发送至客户端。
可选的，还包括：接收所述用户的拍照指令，控制所述自行走机器人从一个以上的角度对所述障碍物进行拍摄；将本次拍摄所得到的所述障碍物图片发送至客户端；当接收到用户的确认指令时，将所述本次拍摄所得到的所述障碍物图片发送至服务器。
可选的，所述当接收到用户的确认指令时，将所述本次拍摄所得到的所述障碍物图片发送至服务器，包括：当接收到用户的确认指令时，对所述拍摄的图片进行去标识化处理；将 所述去标识化处理的图片发送至服务器。
可选的，所述去标识化处理包括：将所述图片文件标识去标识化处理和/或将所述图片内容去标识化处理。
可选的，所述将所述图片文件标识去标识化处理，包括：获取所述图片文件标识，所述图片文件标识包括文件名、文件属性或设备标识；全部删除或部分删除所述图片文件标识。
可选的，所述将所述图片内容去标识化处理，包括：识别所述图片内容信息，所述图片内容信息包括人体特征信息或地理位置信息；全部删除或部分删除所述图片内容信息或对所述图片内容信息进行模糊化处理。
可选的，所述在接收终端发送的反馈信息指令，之前还包括：对障碍物进行类型识别并标记所述障碍物所属类型的概率；当所述概率低于预设阈值时，向客户端发送提交反馈信息的提示信息。
本公开实施例提供一种障碍物识别信息反馈装置，包括：显示单元，用于在接收到被触发的反馈指令后，提供交互界面供用户提交反馈信息，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息；发送单元，用于在获知用户提交完成后，将所述反馈信息发送至服务器或者通知绑定的自行走机器人将所述反馈信息发送至服务器。
可选的，所述显示单元还用于：基于应用程序界面中显示的障碍物类型标识，接收用户查看触控指令；其中，所述障碍物类型标识用于表示预标记障碍物所属类型。
可选的，所述障碍物类型标识包括：与所述预标记障碍物的类型相匹配的图标和/或文字描述。
可选的，所述发送单元还用于：显示所述自行走机器人发来的经过去标识化处理的预览图片；当接收到被触发的上传指令时，将所述预览图片及该图片中所包含的障碍物的类型信息发送至服务器，或者通知绑定的自行走机器人将所述预览图片及该图片中所包含的障碍物的类型信息发送至服务器。
可选的，所述发送单元还用于：基于所述用户发出的拍照指令，控制所述自行走机器人从一个以上的角度对所述障碍物进行拍摄；显示通过本次拍摄得到的图片；所述提供交互界面供用户提交反馈信息，所述反馈信息包括本次拍摄的图片中的至少一张及所述障碍物的类型信息。
可选的，所述发送单元还用于：将所述反馈信息以匿名的方式发送至服务器。
本公开实施例提供一种障碍物识别信息反馈装置，应用于自行走机器人，包括：接收单元，用于接收终端发送的反馈信息指令；发送单元，用于将反馈信息发送至服务器端；其中，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息。
可选的，所述接收单元还用于：接收用户查看触控指令，所述查看触控指令包括请求查看当前障碍物类型标识下标记的障碍物类型和图片；响应所述查看触控指令，将所述标记的障碍物类型和图片发送至客户端。
可选的，所述发送单元还用于：将所述图片进行去标识化处理；将所述标记的障碍物类型和去标识化处理的图片发送至客户端。
可选的，所述接收单元还用于：接收所述用户的拍照指令，控制所述自行走机器人从一个以上的角度对所述障碍物进行拍摄；将本次拍摄所得到的所述障碍物图片发送至客户端；当接收到用户的确认指令时，将所述本次拍摄所得到的所述障碍物图片发送至服务器。
可选的，所述接收单元还用于：当接收到用户的确认指令时，对所述拍摄的图片进行去标识化处理；将所述去标识化处理的图片发送至服务器。
可选的，所述去标识化处理包括：将所述图片文件标识去标识化处理和/或将所述图片内容去标识化处理。
可选的，所述将所述图片文件标识去标识化处理，包括：获取所述图片文件标识，所述图片文件标识包括文件名、文件属性或设备标识；全部删除或部分删除所述图片文件标识。
可选的，所述将所述图片内容去标识化处理，包括：识别所述图片内容信息，所述图片内容信息包括人体特征信息或地理位置信息；全部删除或部分删除所述图片内容信息或对所述图片内容信息进行模糊化处理。
可选的，所述接收单元还用于：对障碍物进行类型识别并标记所述障碍物所属类型的概率；当所述概率低于预设阈值时，向客户端发送提交反馈信息的提示信息。
本公开实施例提供一种自行走机器人，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序指令，所述处理器执行所述计算机程序指令时，实现如上任一所述的方法步骤。
本公开实施例提供一种非瞬时性计算机可读存储介质，存储有计算机程序指令，所述计算机程序指令在被处理器调用和执行时实现如上任一所述的方法步骤。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的APP控制示意图；
图2为本公开实施例提供的自行走机器人结构立体图；
图3为本公开实施例提供的自行走机器人结构俯视图；
图4为本公开实施例提供的自行走机器人结构仰视图；
图5为本公开实施例提供的反馈方法的流程示意图；
图6为本公开实施例提供的APP控制示意图；
图7为本公开另一实施例提供的反馈方法的流程示意图；
图8为本公开实施例提供的反馈装置的结构框图；
图9为本公开另实施例提供的反馈装置的结构框图；
图10为本公开实施例提供的机器人的电子结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开实施例提供一种可能的应用场景，该应用场景包括自动清洁设备对障碍物的识别，例如自行走机器人、拖地机器人、吸尘器、除草机等在工作过程中对障碍物进行识别、存储、显示等。在本实施例中，如图1所示，以家用式自行走机器人为例进行说明，在自行走机器人工作过程中，实时的通过自行走机器人前端的图像采集装置获取前方的视场图像，并根据对视场图像的分析判断是否存在障碍物，当存在障碍物时对其类别进行判断，并标记于手机终端APP当中。用户可以通过APP中点击查看该障碍物类型。在本实施例中，机器人可以设置单个或多个图像采集装置，以获得进行路线过程中的图像，机器人还可以设置有触敏显示器或者通过移动终端控制，以接收用户输入的操作指令。自行走机器人还可以设置各种传感器，例如缓冲器、悬崖传感器、超声传感器、红外传感器、磁力计、加速度计、陀螺仪、里 程计等传感装置，机器人还可以设置有WI FI模块、Bl uetooth模块等无线通讯模块，以与智能终端或服务器连接，并通过无线通讯模块接收智能终端或服务器传输的操作指令。
如图2所示，自动清洁设备100可通过相对于由主体110界定的如下三个相互垂直轴的移动的各种组合在地面上行进：前后轴X、横向轴Y及中心垂直轴Z。沿着前后轴X的前向驱动方向标示为“前向”，且沿着前后轴X的向后驱动方向标示为“后向”。横向轴Y的方向实质上是沿着由驱动轮模块141的中心点界定的轴心在机器人的右轮与左轮之间延伸的方向。
自动清洁设备100可以绕Y轴转动。当自动清洁设备100的前向部分向上倾斜，后向部分向下倾斜时为“上仰”，且当自动清洁设备100的前向部分向下倾斜，后向部分向上倾斜时为“下俯”。另外，机器人100可以绕Z轴转动。在自动清洁设备100的前向方向上，当自动清洁设备100向X轴的右侧倾斜为“右转”，当自动清洁设备100向X轴的左侧倾斜为“左转”。
如图3所示，自动清洁设备100包含机器主体110、感知系统120、控制系统、驱动系统140、清洁系统、能源系统和人机交互系统180。
机器主体110包括前向部分111和后向部分112，具有近似圆形形状(前后都为圆形)，也可具有其他形状，包括但不限于前方后圆的近似D形形状及前方后方的矩形或正方形形状。
如图3所示，感知系统120包括位于机器主体110上的位置确定装置121、设置于机器主体110的前向部分111的缓冲器122上的碰撞传感器、近距离传感器，设置于机器主体下部的悬崖传感器，以及设置于机器主体内部的磁力计、加速度计、陀螺仪(Gyro)、里程计(ODO，全称odograph)等传感装置，用于向控制系统130提供机器的各种位置信息和运动状态信息。位置确定装置121包括但不限于摄像头、激光测距装置(LDS，全称Laser Direct Structuring)。
如图3所示，机器主体110的前向部分111可承载缓冲器122，在清洁过程中驱动轮模块141推进机器人在地面行走时，缓冲器122经由设置在其上的传感器系统，例如红外传感器，检测自动清洁设备100的行驶路径中的一或多个事件，自动清洁设备100可通过由缓冲器122检测到的事件，例如障碍物、墙壁，而控制驱动轮模块141使自动清洁设备100来对所述事件做出响应，例如远离障碍物。
控制系统130设置在机器主体110内的电路主板上，包括与非暂时性存储器，例如硬盘、快闪存储器、随机存取存储器，通信的计算处理器，例如中央处理单元、应用处理器，应用处理器根据激光测距装置反馈的障碍物信息利用定位算法，例如即时定位与地图构建(SLAM，全称Simultaneous Localization And Mapping)，绘制机器人所在环境中的即时地图。并且结 合缓冲器122上所设置传感器、悬崖传感器、磁力计、加速度计、陀螺仪、里程计等传感装置反馈的距离信息、速度信息综合判断自行走机当前处于何种工作状态、位于何位置，以及自行走机当前位姿等，如过门槛，上地毯，位于悬崖处，上方或者下方被卡住，尘盒满，被拿起等等，还会针对不同情况给出具体的下一步动作策略，使得机器人的工作更加符合主人的要求，有更好的用户体验。
如图4所示，驱动系统140可基于具有距离和角度信息(例如x、y及θ分量)的驱动命令而操纵机器人100跨越地面行驶。驱动系统140包含驱动轮模块141，驱动轮模块141可以同时控制左轮和右轮，为了更为精确地控制机器的运动，优选驱动轮模块141分别包括左驱动轮模块和右驱动轮模块。左、右驱动轮模块沿着由主体110界定的横向轴对置。为了机器人能够在地面上更为稳定地运动或者更强的运动能力，机器人可以包括一个或者多个从动轮142，从动轮包括但不限于万向轮。驱动轮模块包括行走轮和驱动马达以及控制驱动马达的控制电路，驱动轮模块还可以连接测量驱动电流的电路和里程计。驱动轮模块141可以可拆卸地连接到主体110上，方便拆装和维修。驱动轮可具有偏置下落式悬挂系统，以可移动方式紧固，例如以可旋转方式附接，到机器人主体110，且接收向下及远离机器人主体110偏置的弹簧偏置。弹簧偏置允许驱动轮以一定的着地力维持与地面的接触及牵引，同时自动清洁设备100的清洁元件也以一定的压力接触地面10。
清洁系统可为干式清洁系统和/或湿式清洁系统。作为干式清洁系统，主要的清洁功能源于滚刷、尘盒、风机、出风口以及四者之间的连接部件所构成的清扫系统151。与地面具有一定干涉的滚刷将地面上的垃圾扫起并卷带到滚刷与尘盒之间的吸尘口前方，然后被风机产生并经过尘盒的有吸力的气体吸入尘盒。干式清洁系统还可包含具有旋转轴的边刷152，旋转轴相对于地面成一定角度，以用于将碎屑移动到清洁系统的滚刷区域中。
能源系统包括充电电池，例如镍氢电池和锂电池。充电电池可以连接有充电控制电路、电池组充电温度检测电路和电池欠压监测电路，充电控制电路、电池组充电温度检测电路、电池欠压监测电路再与单片机控制电路相连。主机通过设置在机身侧方或者下方的充电电极与充电桩连接进行充电。如果裸露的充电电极上沾附有灰尘，会在充电过程中由于电荷的累积效应，导致电极周边的塑料机体融化变形，甚至导致电极本身发生变形，无法继续正常充电。
人机交互系统180包括主机面板上的按键，按键供用户进行功能选择；还可以包括显示屏和/或指示灯和/或喇叭，显示屏、指示灯和喇叭向用户展示当前机器所处状态或者功能选择项；还可以包括手机客户端程序。对于路径导航型自动清洁设备，在手机客户端可以向用户展示设备所在环境的地图，以及机器所处位置，可以向用户提供更为丰富和人性化的功能项。
本公开实施例提供一种障碍物识别信息反馈方法，该方法应用于上述描述的自行走机器人或终端，通过自行走机器人本体上设置的图像采集装置获取正前方图像，根据该图像识别相关障碍物的类型，并通过手机终端进行类型修正。
如图5所示的方法步骤，应用于终端设备，终端设备包括但不限于手机、PAD、电脑等智能设备，具体包括如下方法步骤，方法步骤序号并不必然具有先后顺序：
步骤S502：在接收到被触发的反馈指令后，提供交互界面供用户提交反馈信息，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息。
如图6所示，APP交互界面收到用户发送的反馈指令后，提供交互界面供用户提交反馈信息，其中，区域003表示包括障碍物图像的图片，区域004表示对应上述区域003中图片所识别的障碍物的类型信息，类型信息包括识别为某类障碍物的百分比，例如从区域003的照片里识别出的障碍物类型为鞋子，且为鞋子的概率为90％。区域005表示确认或取消的操作控件，当用户经过人工查看确认机器人识别的类型是准确的，则可以点击确认按钮，否则，可以点击反馈按钮进行类型不准确反馈。
作为一种可选的实施方式，在所述步骤S502之前还可以包括如下步骤：基于应用程序界面中显示的障碍物类型标识，接收用户查看触控指令；其中，所述障碍物类型标识用于表示预标记障碍物所属类型。所述障碍物类型标识包括：与所述预标记障碍物的类型相匹配的图标和/或文字描述。
具体的，例如参考图1进行理解，当用户打开机器人控制应用程序后，在APP界面会显示当前地图以及地图上标记的障碍物位置和障碍物类型，该障碍物位置和障碍物类型是机器人在之前工作过程中预先标记的，标记的方法包括但不限于通过扫地机自身摄像头进行物体/场景智能判别，并基于大量标注数据训练的深度神经网络模型进行确定。标注后，例如图标001表示鞋子、图标002表示袜子等。用户点击每一个图标，会弹出显示该图标表示的障碍物类型和识别百分比，并显示对应障碍物的图片。
具体标注过程包括但不限于如下方法实现，机器人经过该障碍物时，从角度一识别为鞋子的可能性为80％，图标001下标识识别类型为鞋子，百分比为80％，并存储该角度一下的照片；下次经过该障碍物时，从角度二识别为鞋子的可能性为90％，则更新图标001下标识识别类型为鞋子，百分比为90％，并存储该角度二下的照片；再次经过该障碍物时，从角度三识别为鞋子的可能性为85％，则不更新图标001下标识识别类型、百分比和照片；假如再次经过该障碍物时，从角度四识别为袜子的可能性为95％，则更新图标001下标识识别类型为 袜子，百分比为95％，并存储该角度四下的照片，同时鞋子图标001更新为袜子图标002。
步骤S504：在获知用户提交完成后，通过所述终端将所述反馈信息发送至服务器或者通知绑定的自行走机器人将所述反馈信息发送至服务器。
终端APP接收到用户提交的需要反馈的指令后，将反馈信息直接发送至服务器或者通知绑定的自行走机器人将所述反馈信息发送至服务器。反馈信息发送至服务器后，会被服务器收集到图片训练集当中，增加后续机器识别判断的准确性。具体包括如下方法步骤：
步骤S504-1：显示所述图片经去标识化处理后的预览图片；所述去标识化处理包括：将所述图片文件标识去标识化处理和/或将所述图片内容去标识化处理。
用户在发送反馈指令之前，需要将当前需要反馈的图片进行去标识化处理，去标识化处理可以在机器人端执行也可以在终端执行，对此不做限定。
具体的，执行去标识化处理的设备执行如下方法：
获取所述图片文件标识，所述图片文件标识包括文件名、文件属性或设备标识；全部删除或部分删除所述图片文件标识。和/或，
识别所述图片内容信息，所述图片内容信息包括人体特征信息或地理位置信息；全部删除或部分删除所述图片内容信息。
将去标识化处理后的图片发送至客户端供用户查看确认，例如隐私信息是否删除或马赛克处理等。
步骤S504-3：当接收到所述用户的上传认指令时，将所述去标识化处理的图片及该图片中所包含的障碍物的类型信息通过所述终端发送至服务器或者通知绑定的自行走机器人发送至服务器。
该步骤用户通过点击界面确认上传指令，将去标识化处理的图片及该图片中所包含的障碍物的类型信息通过所述终端发送至服务器或者通知绑定的自行走机器人发送至服务器，该步骤并不改变当前机器人对该障碍物的识别结果，仅仅提供一个人工识别反馈渠道，丰富服务器训练集数据，供后续识别判断过程的比对判断。
作为可选的实施方式，该方法还包括如下方法步骤S506(未图示)，步骤S506用于对障碍物从不同角度拍摄并上传多个角度图片，丰富服务器训练集，具体包括：
步骤S506-1：基于所述用户发出的拍照指令，控制所述自行走机器人从一个以上的角度对所述障碍物进行拍摄；
步骤S506-2：显示通过本次拍摄得到的图片；
步骤S506-3：所述提供交互界面供用户提交反馈信息，所述反馈信息包括相关图片及该图片中所包含的障碍物的类型信息，具体包括：所述提供交互界面供用户提交反馈信息，所述反馈信息包括本次拍摄的图片中的至少一张及所述障碍物的类型信息。
具体的，用户在终端设备的APP页面中选择“提供扫地机视角图片”功能按钮，进入提交图片页面,进入此页面后APP通过IoT网络通知设备端打开摄像头并启用实时监控功能,在该页面中用户可以实时显示扫地机上摄像头正在拍摄的视频流。用户可以将扫地机手动摆放或遥控到需要拍摄场景的合适位置进行拍摄，在APP页面中实时进行预览，当用户观察到想要提交的图片时，通过该页面的保存按钮进行拍摄。拍摄完成后可以通过“提交照片”功能进行提交上传至服务器。
作为可选的实施方式，所述当接收到用户的确认指令时，将所述拍摄的图片及该图片中所包含的障碍物的类型信息通过所述终端发送至服务器或者通知绑定的自行走机器人发送至服务器，包括：
当接收到用户的确认指令时，显示所述拍摄的图片经去标识化处理后的预览图片；当再次收到用户的确认指令时，将所述去标识化处理的图片及该图片中所包含的障碍物的类型信息通过所述终端发送至服务器或者通知绑定的自行走机器人发送至服务器。
用户在发送反馈指令之前，需要将当前需要反馈的图片进行去标识化处理，去标识化处理在机器人端执行。将去标识化处理后的图片发送至客户端供用户查看确认，例如隐私信息是否删除或马赛克处理等。具体的，执行去标识化处理的设备执行如下方法：
获取所述图片文件标识，所述图片文件标识包括文件名、文件属性或设备标识；全部删除或部分删除所述图片文件标识。和/或，识别所述图片内容信息，所述图片内容信息包括人体特征信息或地理位置信息；全部删除或部分删除所述图片内容信息。
本公开实施例提供一种障碍物识别信息反馈方法，通过终端APP和扫地机器人的实时通讯，用户可以对扫地机视角下的障碍物识别状况进行二次判断，当判断障碍物类型与所拍摄的图片不准确时，启动更正操作，以提升扫地机器人的障碍物识别能力。此外，通过将扫地机器人拍摄到的图片进行去标识处理后，上传至图像识别训练集，能够进一步提升扫地机器人的障碍物识别能力。
本公开实施例提供一种障碍物识别信息反馈方法，该方法应用于上述描述的自行走机器人，该实施例所述的方法步骤可以配合上述实施例实施，也可以单独实施，如图7所示，具 体包括如下方法步骤，方法步骤序号并不必然具有先后顺序：
步骤S702：接收终端发送的反馈信息指令。
步骤S704：将反馈信息发送至服务器端；其中，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息。
用户的查看、识别、反馈界面如上实施例所述，在此不做赘述，当用户在APP交互界面点击反馈指令后，自行走机器人会接收到同步的反馈信息指令，根据该指令，将相关图片及该图片中所包含的障碍物的类型信息发送至服务器端。
作为一种可选的实施方式，在所述步骤S702之前还可以包括如下步骤：
接收用户查看触控指令，所述查看触控指令包括请求查看当前障碍物图标下标记的障碍物类型和图片；响应所述查看触控指令，将所述标记的障碍物类型和图片发送至客户端。
具体的，例如参考图1进行理解，当用户打开机器人控制应用程序后，在APP界面会显示当前地图以及地图上标记的障碍物位置和障碍物类型，该障碍物位置和障碍物类型是机器人在之前工作过程中预先标记的，标记的方法如上实施例所述，在此不做赘述。标注后，用户点击每一个图标，会向机器人请求显示该图标表示的障碍物类型和识别百分比，机器人接收到请求指令后，将所述标记的障碍物类型和图片发送至客户端。
作为一种可选的实施方式，所述将所述标记的障碍物类型和图片发送至客户端，包括：将所述图片进行去标识化处理；将所述标记的障碍物类型和去标识化处理的图片发送至客户端。
由于扫地机器人在自行走的拍摄过程中，拍摄障碍物的同时会拍摄到用户的隐私信息，隐私信息包括用户肖像、家庭地址等等，这些信息是不易上传至服务器的，因此，在上传相关信息过程中，需要进行去标识化处理。所述去标识化处理包括：将所述图片文件标识去标识化处理和/或将所述图片内容去标识化处理。通过去标识化处理，例如删除隐私信息或进行马赛克处理等。具体的，执行去标识化处理的设备执行如下方法：
获取所述图片文件标识，所述图片文件标识包括文件名、文件属性或设备标识；全部删除或部分删除所述图片文件标识。和/或，识别所述图片内容信息，所述图片内容信息包括人体特征信息或地理位置信息；全部删除或部分删除所述图片内容信息。
行走机器人收到用户提交的去标识化处理请求后，调用去标识化图片处理流程：去标识化流程包括图片文件标识去标识化、图片内容去标识化两个方面。文件标识去标识化指将文 件名、文件属性中有关用户及其设备的标识消除；内容去标识化指利用AI算法识别出图片中的人体信息等隐私敏感信息，利用不可逆算法将其从图片中消除。行走机器人可以将去标识化图片加密传输到终端APP中，供用户查看、确认、提交。用户在APP端确认后，将提交消息发送到机器人端，机器人设备端执行提交服务器操作。
作为一种可选的实施方式，行走机器人还可以执行如下方法步骤：接收所述用户的重拍指令，控制所述自行走机器人从不同角度对所述障碍物进行拍摄；将拍摄的所述障碍物发送至客户端；当接收到用户的确认指令时，将所述拍摄的图片发送至服务器。
自行走机器人可以绕障碍物行走，将障碍物以视频流的形式发送至客户端，供客户端用户选择，当接收到用户的拍摄指令后，在当前角度下对障碍物进行拍摄，并将拍摄的照片发送至用户APP一端，拍摄的照片可以是连续的拍摄，供用户选择，将各角度拍摄的照片发送至服务器训练集，供后续识别应用。
所述当接收到用户的确认指令时，将所述拍摄的图片发送至服务器需要对所述拍摄的图片进行去标识化处理；去标识化处理的方法步骤如上所述，在此不做赘述。
作为一种可选的实施方式，所述在接收终端发送的反馈信息指令，之前还包括：对障碍物进行类型识别并标记所述障碍物所属类型的概率；当所述概率低于预设阈值时，向客户端发送提交反馈信息的提示信息。
机器人在自行走过程中，不断的对障碍物进行类型识别，并根据识别模型给出当前障碍物所属类型的概率，例如识别为鞋子的概率80％，识别为球的概率为90％等，但是有些障碍物不易被识别，例如纸团、袜子等不定型障碍物，被准确识别出的概率比较低，例如识别为袜子的概率为20％，识别为纸团的概率为15％等，当低于预设阈值时，例如50％，机器人可以选择向终端发送识别概率低的提示信息，请求用户进行主动识别、判断、上传照片等操作。用户接收到该提示信息后，可以进行如上所述的反馈信息操作，在此不做赘述。
本公开实施例提供一种障碍物识别信息反馈方法，通过终端APP和扫地机器人的实时通讯，用户可以对扫地机视角下的障碍物识别状况进行二次判断，当判断障碍物类型与所拍摄的图片不准确时，启动更正操作，以提升扫地机器人的障碍物识别能力。此外，通过将扫地机器人拍摄到的图片进行去标识处理后，上传至图像识别训练集，能够进一步提升扫地机器人的障碍物识别能力。
本公开实施例提供一种障碍物识别信息反馈装置，该装置应用于终端，执行上述实施例所述的方法步骤，相同的方法步骤具有相同的技术效果，在此不做赘述。如图8所示，障碍 物识别信息反馈装置包括：
显示单元802，用于在接收到被触发的反馈指令后，提供交互界面供用户提交反馈信息，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息。
作为一种可选的实施方式，还包括接收单元(未图示)，用于基于应用程序界面中障碍物图标，接收用户查看触控指令，其中，所述障碍物图标与预标记障碍物类型匹配。
发送单元804，用于在获知用户提交完成后，将所述反馈信息发送至服务器或者通知绑定的自行走机器人将所述反馈信息发送至服务器。
障碍物识别信息反馈装置还包括如下去标识化处理子单元(未图示)，用于显示所述图片经去标识化处理后的预览图片；所述去标识化处理包括：将所述图片文件标识去标识化处理和/或将所述图片内容去标识化处理。
具体的，执行去标识化处理的设备执行如下程序：获取所述图片文件标识，所述图片文件标识包括文件名、文件属性或设备标识；全部删除或部分删除所述图片文件标识。和/或，识别所述图片内容信息，所述图片内容信息包括人体特征信息或地理位置信息；全部删除或部分删除所述图片内容信息。
作为可选的实施方式，障碍物识别信息反馈装置还包括如下重拍摄子单元(未图示)，用于对障碍物从不同角度拍摄并上传多个角度图片，丰富服务器训练集，具体包括：基于所述用户发出的拍照指令，控制所述自行走机器人从一个以上的角度对所述障碍物进行拍摄；显示通过本次拍摄得到的图片；所述提供交互界面供用户提交反馈信息，所述反馈信息包括相关图片及该图片中所包含的障碍物的类型信息，具体包括：所述提供交互界面供用户提交反馈信息，所述反馈信息包括本次拍摄的图片中的至少一张及所述障碍物的类型信息。
作为可选的实施方式，所述当接收到用户的确认指令时，将所述拍摄的图片及该图片中所包含的障碍物的类型信息通过所述终端发送至服务器或者通知绑定的自行走机器人发送至服务器，包括：当接收到用户的确认指令时，显示所述拍摄的图片经去标识化处理后的预览图片；当再次收到用户的确认指令时，将所述去标识化处理的图片及该图片中所包含的障碍物的类型信息通过所述终端发送至服务器或者通知绑定的自行走机器人发送至服务器。
用户在发送反馈指令之前，需要将当前需要反馈的图片进行去标识化处理，去标识化处理在机器人端执行。将去标识化处理后的图片发送至客户端供用户查看确认，例如隐私信息是否删除或马赛克处理等。具体的，执行去标识化处理的设备执行如下程序：
获取所述图片文件标识，所述图片文件标识包括文件名、文件属性或设备标识；全部删除或部分删除所述图片文件标识。和/或，识别所述图片内容信息，所述图片内容信息包括人体特征信息或地理位置信息；全部删除或部分删除所述图片内容信息或对图片内容信息进行模糊处理。
本公开实施例提供一种障碍物识别信息反馈装置，通过终端APP和扫地机器人的实时通讯，用户可以对扫地机视角下的障碍物识别状况进行二次判断，当判断障碍物类型与所拍摄的图片不准确时，启动更正操作，以提升扫地机器人的障碍物识别能力。此外，通过将扫地机器人拍摄到的图片进行去标识处理后，上传至图像识别训练集，能够进一步提升扫地机器人的障碍物识别能力。
本公开实施例提供一种障碍物识别信息反馈装置，该装置应用于上述描述的自行走机器人，执行上述实施例所述的方法步骤，相同的方法步骤具有相同的技术效果，在此不做赘述。如图9所述，障碍物识别信息反馈装置包括：
接收单元902，用于接收终端发送的反馈信息指令。
作为一种可选的实施方式，接收单元902，还用于接收用户查看触控指令，所述查看触控指令包括请求查看当前障碍物图标下标记的障碍物类型和图片；响应所述查看触控指令，将所述标记的障碍物类型和图片发送至客户端。
发送单元904，用于将反馈信息发送至服务器端；其中，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息。
作为一种可选的实施方式，所述将所述标记的障碍物类型和图片发送至客户端，包括：将所述图片进行去标识化处理；将所述标记的障碍物类型和去标识化处理的图片发送至客户端。
具体的，执行去标识化处理的设备执行如下程序：获取所述图片文件标识，所述图片文件标识包括文件名、文件属性或设备标识；全部删除或部分删除所述图片文件标识。和/或，识别所述图片内容信息，所述图片内容信息包括人体特征信息或地理位置信息；全部删除或部分删除所述图片内容信息。
作为一种可选的实施方式，障碍物识别信息反馈装置还包括重拍单元，用于接收所述用户的重拍指令，控制所述自行走机器人从不同角度对所述障碍物进行拍摄；将拍摄的所述障碍物发送至客户端；当接收到用户的确认指令时，将所述拍摄的图片发送至服务器。
作为一种可选的实施方式，所述在接收终端发送的反馈信息指令，之前还包括：对障碍 物进行类型识别并标记所述障碍物所属类型的概率；当所述概率低于预设阈值时，向客户端发送提交反馈信息的提示信息。
本公开实施例提供一种障碍物识别信息反馈装置，通过终端APP和扫地机器人的实时通讯，用户可以对扫地机视角下的障碍物识别状况进行二次判断，当判断障碍物类型与所拍摄的图片不准确时，启动更正操作，以提升扫地机器人的障碍物识别能力。此外，通过将扫地机器人拍摄到的图片进行去标识处理后，上传至图像识别训练集，能够进一步提升扫地机器人的障碍物识别能力。
本公开实施例提供一种非瞬时性计算机可读存储介质，存储有计算机程序指令，所述计算机程序指令在被处理器调用和执行时实现如上任一所述的方法步骤。
本公开实施例提供一种机器人，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序指令，所述处理器执行所述计算机程序指令时，实现前述任一实施例的方法步骤。
如图10所示，机器人可以包括处理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储装置1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有电子机器人1000操作所需的各种程序和数据。处理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
通常，以下装置可以连接至I/O接口1005：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1007；包括例如硬盘等的存储装置1008；以及通信装置1009。通信装置1009可以允许电子机器人与其他机器人进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子机器人，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储 程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述机器人中所包含的；也可以是单独存在，而未装配入该机器人中。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (32)

  1. 一种障碍物识别信息反馈方法，应用于终端，包括：
    在接收到被触发的反馈指令后，提供交互界面供用户提交反馈信息，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息；
    在获知用户提交完成后，将所述反馈信息发送至服务器或者通知绑定的自行走机器人将所述反馈信息发送至服务器。
  2. 根据权利要求1所述的方法，还包括：在接收到被触发的反馈指令之前，
    基于应用程序界面中显示的障碍物类型标识，接收用户查看触控指令；其中，所述障碍物类型标识用于表示预标记障碍物所属类型。
  3. 根据权利要求2所述的方法，其中，
    所述障碍物类型标识包括：与所述预标记障碍物的类型相匹配的图标和/或文字描述。
  4. 根据权利要求1所述的方法，其中，所述将所述反馈信息发送至服务器或者通知绑定的自行走机器人将所述反馈信息发送至服务器，包括：
    显示所述自行走机器人发来的经过去标识化处理的预览图片；
    当接收到被触发的上传指令时，将所述预览图片及该图片中所包含的障碍物的类型信息发送至服务器，或者通知绑定的自行走机器人将所述预览图片及该图片中所包含的障碍物的类型信息发送至服务器。
  5. 根据权利要求1所述的方法，还包括：
    基于所述用户发出的拍照指令，控制所述自行走机器人从一个以上的角度对所述障碍物进行拍摄；
    显示通过本次拍摄得到的图片；
    所述提供交互界面供用户提交反馈信息，所述反馈信息包括相关图片及该图片中所包含的障碍物的类型信息，具体包括：所述提供交互界面供用户提交反馈信息，所述反馈信息包括本次拍摄的图片中的至少一张及所述障碍物的类型信息。
  6. 根据权利要求1所述的方法，其中，所述将所述反馈信息发送至服务器，包括：将所述反馈信息以匿名的方式发送至服务器。
  7. 一种障碍物识别信息反馈方法，应用于自行走机器人，包括：
    接收终端发送的反馈信息指令；
    将反馈信息发送至服务器端；其中，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息。
  8. 根据权利要求7所述的方法，还包括：在接收终端发送的反馈信息指令之前，
    接收用户查看触控指令，所述查看触控指令包括请求查看当前障碍物类型标识下标记的障碍物类型和图片；
    响应所述查看触控指令，将所述标记的障碍物类型和图片发送至客户端。
  9. 根据权利要求8所述的方法，其中，所述将所述标记的障碍物类型和图片发送至客户端，包括：
    将所述图片进行去标识化处理；
    将所述标记的障碍物类型和去标识化处理的图片发送至客户端。
  10. 根据权利要求7所述的方法，还包括：
    接收所述用户的拍照指令，控制所述自行走机器人从一个以上的角度对所述障碍物进行拍摄；
    将本次拍摄所得到的所述障碍物图片发送至客户端；
    当接收到用户的确认指令时，将所述本次拍摄所得到的所述障碍物图片发送至服务器。
  11. 根据权利要求10所述的方法，其中，所述当接收到用户的确认指令时，将所述本次拍摄所得到的所述障碍物图片发送至服务器，包括：
    当接收到用户的确认指令时，对所述拍摄的图片进行去标识化处理；
    将所述去标识化处理的图片发送至服务器。
  12. 根据权利要求8或11所述的方法，其中，所述去标识化处理包括：
    将所述图片文件标识去标识化处理和/或将所述图片内容去标识化处理。
  13. 根据权利要求12所述的方法，其中，所述将所述图片文件标识去标识化处理，包括：
    获取所述图片文件标识，所述图片文件标识包括文件名、文件属性或设备标识；
    全部删除或部分删除所述图片文件标识。
  14. 根据权利要求12所述的方法，其中，所述将所述图片内容去标识化处理，包括：
    识别所述图片内容信息，所述图片内容信息包括人体特征信息或地理位置信息；
    全部删除或部分删除所述图片内容信息或对所述图片内容信息进行模糊化处理。
  15. 根据权利要求7所述的方法，还包括：在接收终端发送的反馈信息指令之前，
    对障碍物进行类型识别并标记所述障碍物所属类型的概率；
    当所述概率低于预设阈值时，向客户端发送提交反馈信息的提示信息。
  16. 一种障碍物识别信息反馈装置，应用于终端，包括：
    显示单元，用于在接收到被触发的反馈指令后，提供交互界面供用户提交反馈信息，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息；
    发送单元，用于在获知用户提交完成后，将所述反馈信息发送至服务器或者通知绑定的自行走机器人将所述反馈信息发送至服务器。
  17. 根据权利要求16所述的装置，其中，所述显示单元还用于：
    基于应用程序界面中显示的障碍物类型标识，接收用户查看触控指令；其中，所述障碍物类型标识用于表示预标记障碍物所属类型。
  18. 根据权利要求17所述的装置，其中，所述障碍物类型标识包括：与所述预标记障碍物的类型相匹配的图标和/或文字描述。
  19. 根据权利要求16所述的装置，其中，所述发送单元还用于：显示所述自行走机器人发来的经过去标识化处理的预览图片；当接收到被触发的上传指令时，将所述预览图片及该图片中所包含的障碍物的类型信息发送至服务器，或者通知绑定的自行走机器人将所述预览图片及该图片中所包含的障碍物的类型信息发送至服务器。
  20. 根据权利要求16所述的装置，其中，所述发送单元还用于：基于所述用户发出的拍照指令，控制所述自行走机器人从一个以上的角度对所述障碍物进行拍摄；显示通过本次拍摄得到的图片；所述提供交互界面供用户提交反馈信息，所述反馈信息包括本次拍摄的图片中的至少一张及所述障碍物的类型信息。
  21. 根据权利要求16所述的装置，其中，所述发送单元还用于：将所述反馈信息以匿名的方式发送至服务器。
  22. 一种障碍物识别信息反馈装置，应用于自行走机器人，包括：
    接收单元，用于接收终端发送的反馈信息指令；
    发送单元，用于将反馈信息发送至服务器端；其中，所述反馈信息包括：相关图片及该图片中所包含的障碍物的类型信息。
  23. 根据权利要求22所述的装置，其中，所述接收单元还用于：
    接收用户查看触控指令，所述查看触控指令包括请求查看当前障碍物类型标识下标记的障碍物类型和图片；响应所述查看触控指令，将所述标记的障碍物类型和图片发送至客户端。
  24. 根据权利要求23所述的装置，其中，所述发送单元还用于：
    将所述图片进行去标识化处理；将所述标记的障碍物类型和去标识化处理的图片发送至客户端。
  25. 根据权利要求22所述的装置，其中，所述接收单元还用于：
    接收所述用户的拍照指令，控制所述自行走机器人从一个以上的角度对所述障碍物进行拍摄；将本次拍摄所得到的所述障碍物图片发送至客户端；当接收到用户的确认指令时，将所述本次拍摄所得到的所述障碍物图片发送至服务器。
  26. 根据权利要求25所述的装置，其中，所述接收单元还用于：当接收到用户的确认指令时，对所述拍摄的图片进行去标识化处理；将所述去标识化处理的图片发送至服务器。
  27. 根据权利要求23或26所述的装置，其中，所述去标识化处理包括：将所述图片文件标识去标识化处理和/或将所述图片内容去标识化处理。
  28. 根据权利要求27所述的装置，其中，所述将所述图片文件标识去标识化处理，包括：获取所述图片文件标识，所述图片文件标识包括文件名、文件属性或设备标识；全部删除或部分删除所述图片文件标识。
  29. 根据权利要求27所述的装置，其中，所述将所述图片内容去标识化处理，包括：识别所述图片内容信息，所述图片内容信息包括人体特征信息或地理位置信息；全部删除或部分删除所述图片内容信息或对所述图片内容信息进行模糊化处理。
  30. 根据权利要求22所述的装置，其中，所述接收单元还用于：对障碍物进行类型识别并标记所述障碍物所属类型的概率；当所述概率低于预设阈值时，向客户端发送提交反馈信息的提示信息。
  31. 一种自行走机器人，包括处理器和存储器，其中，所述存储器存储有能够被所述处理器执行的计算机程序指令，所述处理器执行所述计算机程序指令时，实现如权利要求1-15任一所述的方法步骤。
  32. 一种非瞬时性计算机可读存储介质，存储有计算机程序指令，所述计算机程序指令在被处理器调用和执行时实现如权利要求1-15任一所述的方法步骤。
PCT/CN2021/100732 2020-10-14 2021-06-17 障碍物识别信息反馈方法、装置、机器人和存储介质 WO2022077945A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/249,069 US20230393583A1 (en) 2020-10-14 2021-06-17 Obstacle recognition information feedback method and apparatus, robot, and storage medium
EP21878995.6A EP4231110A1 (en) 2020-10-14 2021-06-17 Obstacle recognition information feedback method and apparatus, robot, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011098286.3A CN112269379B (zh) 2020-10-14 2020-10-14 障碍物识别信息反馈方法
CN202011098286.3 2020-10-14

Publications (1)

Publication Number Publication Date
WO2022077945A1 true WO2022077945A1 (zh) 2022-04-21

Family

ID=74337154

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/100732 WO2022077945A1 (zh) 2020-10-14 2021-06-17 障碍物识别信息反馈方法、装置、机器人和存储介质

Country Status (4)

Country Link
US (1) US20230393583A1 (zh)
EP (1) EP4231110A1 (zh)
CN (1) CN112269379B (zh)
WO (1) WO2022077945A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269379B (zh) * 2020-10-14 2024-02-27 北京石头创新科技有限公司 障碍物识别信息反馈方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106200645A (zh) * 2016-08-24 2016-12-07 北京小米移动软件有限公司 自主机器人、控制装置和控制方法
CN109583384A (zh) * 2018-11-30 2019-04-05 百度在线网络技术（北京）有限公司 用于无人驾驶车的避障方法和装置
CN110210521A (zh) * 2019-05-10 2019-09-06 深圳灵图慧视科技有限公司 图像识别方法、装置、服务器、终端及存储介质
US20190332119A1 (en) * 2016-12-26 2019-10-31 Lg Electronics Inc. Mobile robot and method of controlling the same
WO2019212174A1 (ko) * 2018-04-30 2019-11-07 엘지전자 주식회사 인공지능 청소기 및 그 제어방법
CN110936370A (zh) * 2018-09-25 2020-03-31 格力电器（武汉）有限公司 清扫机器人控制方法及装置
CN110974088A (zh) * 2019-11-29 2020-04-10 深圳市杉川机器人有限公司 扫地机器人控制方法、扫地机器人及存储介质
CN111481105A (zh) * 2020-04-20 2020-08-04 北京石头世纪科技股份有限公司 一种自行走机器人避障方法、装置、机器人和存储介质
CN112269379A (zh) * 2020-10-14 2021-01-26 北京石头世纪科技股份有限公司 障碍物识别信息反馈方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001260885A (ja) * 2000-03-17 2001-09-26 Toshiba Corp 障害物検知システム及び障害物検知方法
CN101986673A (zh) * 2010-09-03 2011-03-16 浙江大学 一种智能手机导盲器及导盲方法
CN103324937B (zh) * 2012-03-21 2016-08-03 日电（中国）有限公司 标注目标的方法和装置
CN103605928B (zh) * 2013-11-18 2016-03-30 清华大学 一种图像隐私保护方法和系统
CN103869833B (zh) * 2014-04-01 2016-08-03 哈尔滨工业大学 基于非正交结构的三轴气浮台质心调节方法
CN105300597B (zh) * 2015-08-04 2018-01-02 上海卫星工程研究所 三轴气浮台质心调平衡方法及装置
CN105957145A (zh) * 2016-04-29 2016-09-21 百度在线网络技术（北京）有限公司 道路障碍物识别方法和装置
CN106708084B (zh) * 2016-11-24 2019-08-02 中国科学院自动化研究所 复杂环境下无人机自动障碍物检测和避障方法
CN106707293B (zh) * 2016-12-01 2019-10-29 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN108227738B (zh) * 2017-12-28 2019-07-19 湖北电鹰科技有限公司 一种无人机避障方法及系统
CN108416257A (zh) * 2018-01-19 2018-08-17 北京交通大学 融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法
WO2019232804A1 (zh) * 2018-06-08 2019-12-12 珊口（深圳）智能科技有限公司 软件更新方法、系统、移动机器人及服务器
CN110667474B (zh) * 2018-07-02 2021-02-26 北京四维图新科技股份有限公司 通用障碍物检测方法、装置与自动驾驶系统
CN110738303A (zh) * 2018-07-18 2020-01-31 科沃斯机器人股份有限公司 机器模型更新方法、设备、系统及存储介质
CN109785298B (zh) * 2018-12-25 2021-03-05 中国科学院计算技术研究所 一种多角度物体检测方法和系统
CN110096059B (zh) * 2019-04-25 2022-03-01 杭州飞步科技有限公司 自动驾驶方法、装置、设备及存储介质
CN110647152A (zh) * 2019-10-17 2020-01-03 苏州谦合诚智能科技有限公司 智能化扫地机器人及控制方法
CN111079586B (zh) * 2019-12-03 2023-05-23 西安电子科技大学 基于深度学习与双目摄像的自动驾驶目标检测系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106200645A (zh) * 2016-08-24 2016-12-07 北京小米移动软件有限公司 自主机器人、控制装置和控制方法
US20190332119A1 (en) * 2016-12-26 2019-10-31 Lg Electronics Inc. Mobile robot and method of controlling the same
WO2019212174A1 (ko) * 2018-04-30 2019-11-07 엘지전자 주식회사 인공지능 청소기 및 그 제어방법
CN110936370A (zh) * 2018-09-25 2020-03-31 格力电器（武汉）有限公司 清扫机器人控制方法及装置
CN109583384A (zh) * 2018-11-30 2019-04-05 百度在线网络技术（北京）有限公司 用于无人驾驶车的避障方法和装置
CN110210521A (zh) * 2019-05-10 2019-09-06 深圳灵图慧视科技有限公司 图像识别方法、装置、服务器、终端及存储介质
CN110974088A (zh) * 2019-11-29 2020-04-10 深圳市杉川机器人有限公司 扫地机器人控制方法、扫地机器人及存储介质
CN111481105A (zh) * 2020-04-20 2020-08-04 北京石头世纪科技股份有限公司 一种自行走机器人避障方法、装置、机器人和存储介质
CN112269379A (zh) * 2020-10-14 2021-01-26 北京石头世纪科技股份有限公司 障碍物识别信息反馈方法

Also Published As

Publication number Publication date
CN112269379A (zh) 2021-01-26
US20230393583A1 (en) 2023-12-07
EP4231110A1 (en) 2023-08-23
CN112269379B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111990929B (zh) 一种障碍物探测方法、装置、自行走机器人和存储介质
CN114847803B (zh) 机器人的定位方法及装置、电子设备、存储介质
WO2021212926A1 (zh) 自行走机器人避障方法、装置、机器人和存储介质
CN110338708B (zh) 一种扫地机器人的清扫控制方法及设备
WO2021208530A1 (zh) 一种机器人避障方法、装置和存储介质
US20220167820A1 (en) Method and Apparatus for Constructing Map of Working Region for Robot, Robot, and Medium
JP5898022B2 (ja) 自走式機器
WO2022041737A1 (zh) 一种测距方法、装置、机器人和存储介质
KR102224157B1 (ko) 이동 로봇 및 충전 스테이션을 포함하는 이동 로봇 시스템
CN109920424A (zh) 机器人语音控制方法、装置、机器人和介质
CN110136704A (zh) 机器人语音控制方法、装置、机器人和介质
WO2022077945A1 (zh) 障碍物识别信息反馈方法、装置、机器人和存储介质
US20240029298A1 (en) Locating method and apparatus for robot, and storage medium
WO2023130704A1 (zh) 机器人的建图方法、装置、机器人和存储介质
WO2023103515A1 (zh) 自行走设备的控制方法、自行走设备和存储介质
KR102089063B1 (ko) Hmd를 이용한 로봇청소 시스템 및 그 제어 방법
JP7484015B2 (ja) 障害物検出方法および装置、自走式ロボット並びに記憶媒体
WO2022227876A1 (zh) 一种测距方法、装置、机器人和存储介质
CN210525104U (zh) 控制装置及所应用的清洁机器人
JP2022163754A (ja) 掃除機管理装置およびプログラム
JP2022146887A (ja) 表示システム、通信システム、表示制御方法およびプログラム
JP2022146888A (ja) 表示システム、通信システム、表示制御方法およびプログラム
JP2023549026A (ja) 自律移動ロボットにより検出された潜在的障害物およびエラー条件に関するユーザフィードバック

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21878995

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021878995

Country of ref document: EP

Effective date: 20230515