WO2022033484A1 - 一种智能清扫车垃圾识别方法及系统 - Google Patents

一种智能清扫车垃圾识别方法及系统 Download PDF

Info

Publication number
WO2022033484A1
WO2022033484A1 PCT/CN2021/111840 CN2021111840W WO2022033484A1 WO 2022033484 A1 WO2022033484 A1 WO 2022033484A1 CN 2021111840 W CN2021111840 W CN 2021111840W WO 2022033484 A1 WO2022033484 A1 WO 2022033484A1
Authority
WO
WIPO (PCT)
Prior art keywords
garbage
coordinate system
image information
intelligent sweeper
intelligent
Prior art date
Application number
PCT/CN2021/111840
Other languages
English (en)
French (fr)
Inventor
李慧慧
李波
张放
李晓飞
张德兆
王肖
霍舒豪
Original Assignee
北京智行者科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京智行者科技有限公司 filed Critical 北京智行者科技有限公司
Publication of WO2022033484A1 publication Critical patent/WO2022033484A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • the invention relates to the technical field of data processing, in particular to a method and system for identifying garbage of an intelligent sweeper.
  • Robotic intelligent assistance systems and autonomous driving technology have been hot topics in recent years. Intelligent sweepers have been completely unattended in the cleaning of the park, liberating a large number of manual labor and bringing subversive changes to people's lives.
  • the intelligent sweeper can clean the small garbage such as leaves and paper scraps on the road, but for slightly larger garbage such as mineral water bottles and disposable paper cups, it may be affected by the height of the chassis vacuum system and cannot be sucked into the garbage bin in the car. ; And some dangerous garbage, such as unextinguished cigarette butts, will cause inestimable damage to the smart sweeper.
  • intelligent sweepers With the gradual popularization of garbage classification, intelligent sweepers are not only responsible for cleaning, but also need to identify and classify garbage. Therefore, the garbage identification function has gradually become one of the key technologies in the research of intelligent sweepers. However, the existing technology of intelligent sweepers has not been carried out in a targeted manner, and the research on garbage identification and classified storage is still relatively weak.
  • the purpose of the present invention is to provide a method and system for identifying garbage in an intelligent sweeper in view of the defects in the prior art.
  • a camera is installed on the head of the intelligent sweeper to collect garbage picture information, and then through a series of processing and conversion, to achieve The purpose of waste identification and classification.
  • the present invention provides a garbage identification method for an intelligent sweeper, including:
  • the position information of the garbage in the second coordinate system is determined according to the position information of the garbage in the first coordinate system and the fitted position conversion polynomial from the first coordinate system to the second coordinate system.
  • the obtaining the first junk image information to be identified specifically includes:
  • the first garbage image information to be identified is obtained through a camera at a preset angle to the horizontal line where the camera installation point of the head of the intelligent cleaning vehicle is located.
  • the processing of the first junk image information to be identified to obtain the second junk image information specifically includes:
  • the second garbage image information is obtained through the internal parameter matrix and the distortion parameter.
  • the trained garbage identification model is specifically a deep learning network model.
  • the position information of the garbage in the second coordinate system is determined according to the position information of the garbage in the first coordinate system and the fitted position transformation polynomial from the first coordinate system to the second coordinate system , including:
  • each of the lane lines has a set of markers, and the two sets of markers are symmetrical about the center line of the two lane lines;
  • the method further includes:
  • the garbage is classified and put into the garbage disposal device in the intelligent sweeper corresponding to the garbage category.
  • the present invention provides an intelligent sweeper garbage identification system for performing any of the methods described in the first aspect and the first aspect.
  • the intelligent sweeper garbage identification system includes:
  • an acquisition unit which is used for the first garbage image information to be identified
  • a processing unit which is configured to process the first junk image information to be identified to obtain second junk image information
  • the determining unit is configured to determine the location information of the garbage in the first coordinate system according to the second garbage image information and the trained garbage identification model;
  • the conversion unit determines the position information of the garbage in the second coordinate system according to the position information of the garbage in the first coordinate system and the fitted position conversion polynomial from the first coordinate system to the second coordinate system.
  • the determining unit is further configured to determine the type of garbage according to the second garbage image information and the trained garbage identification model.
  • the intelligent sweeper garbage identification system further includes a control unit; the control unit is configured to generate a control signal corresponding to the garbage category according to the garbage category.
  • the intelligent sweeper garbage identification system further includes an execution unit; the execution unit is configured to classify and put the garbage into the garbage in the intelligent sweeper corresponding to the garbage category according to the control signal in the processing device.
  • the embodiment of the present invention provides a garbage identification method for an intelligent sweeper, which collects garbage image information to be identified, then processes the garbage image information to be identified to obtain a distortion-corrected image, and then inputs the trained garbage identification model. Determine the location information of the garbage in the first coordinate system, and finally determine the location information of the garbage in the second coordinate system according to the location conversion polynomial of the garbage in the first coordinate system and the fitted first coordinate system to the second coordinate system, The purpose of garbage identification and classification is achieved, and the ability of the intelligent sweeper to detect and identify non-obstacle targets on the road is improved.
  • FIG. 1 is a schematic flowchart of a method for identifying garbage for an intelligent sweeper according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of the installation of a camera provided in an embodiment of the present invention in an intelligent garbage cleaning vehicle;
  • FIG. 3 is a schematic diagram of the positional relationship between a marker and a first target point in a second coordinate system provided by an embodiment of the present invention
  • FIG. 4 is a schematic diagram of a positional relationship between a marker and a second target point in a first coordinate system provided by an embodiment of the present invention
  • FIG. 5 is a schematic structural diagram of a garbage identification system for an intelligent sweeper according to an embodiment of the present invention.
  • FIG. 1 is a schematic flowchart of a method for identifying garbage in an intelligent sweeper provided by an embodiment of the present invention.
  • the method is applied to a device equipped with an intelligent sweeping system, such as an intelligent sweeper equipped with an intelligent sweeping device.
  • the execution subject of the present application is A terminal, server or processor with computing functions in a device.
  • This application takes the application of the method to an intelligent sweeper as an example to illustrate.
  • the execution body of the method is the central processing unit of the intelligent sweeper, which is equivalent to the "brain" of the intelligent sweeper. .
  • this application includes the following steps
  • Step 110 Acquire first junk image information to be identified.
  • a camera is installed at a preset angle on the horizontal line where the camera installation point of the head of the intelligent sweeper is located, and the camera will acquire the information of the first garbage image to be identified in real time, and transmit it back to the intelligent sweeper of the central processing unit.
  • the first garbage image information is the original image acquired by the camera, and is non-obstructive image information, such as mineral water bottles, disposable paper cups, cigarette butts, disposable lunch boxes, plastic bags, and others.
  • Step 120 Process the first junk image information to be identified to obtain second junk image information.
  • the second garbage image information is obtained by the internal parameter matrix and the distortion parameter. That is, the second garbage image information is image information after distortion correction. Since the degree of distortion of each lens is different, this lens distortion can be corrected by camera intrinsic calibration.
  • Step 130 Determine the location information of the garbage in the first coordinate system according to the second garbage image information and the trained garbage identification model.
  • the trained garbage identification model is specifically a deep learning network model.
  • the first coordinate system is an image coordinate system
  • the position information is a pixel position.
  • the garbage training set image library is obtained through batch garbage image data collection, screening, preprocessing, and labeling, and then the deep learning network model is trained to obtain the trained deep learning network model.
  • preprocessing refers to the processing of various data enhancements such as cropping, scaling, rotation, and exposure of the image.
  • each point in the bounding rectangle has a pixel location.
  • the center point of the lower edge of the outer rectangular frame of the garbage is selected to be the position information of the garbage in the first coordinate system.
  • Step 140 Determine the location information of the garbage in the second coordinate system according to the location information of the garbage in the first coordinate system and the fitted position transformation polynomial from the first coordinate system to the second coordinate system.
  • the second coordinate system is specifically the coordinate system of the intelligent sweeper, that is, the self-vehicle coordinate system.
  • the external parameter calibration obtains a polynomial, which is the image coordinate.
  • the external parameter relationship with the coordinates of the smart sweeper by inputting the pixel position of the image coordinate system, a physical position of the self-vehicle coordinate system corresponding to the pixel position can be output.
  • the location information of the garbage in the second coordinate system can be determined according to the following steps. As shown in FIG. 3 and FIG. 4 , the two lane lines in the actual road are in a parallel state, see L1L2 in FIG. 3 .
  • a road picture is obtained through the camera, and the road picture includes two lane lines, see L1'L2' in Figure 4.
  • each lane line has a set of markers A, and the two sets of markers A are symmetrical about the center lines of the two lane lines.
  • the center lines of the two lane lines here are virtual, and are not visually displayed in the road picture. The distance between any point on this center line and the two lane lines is equal, which is convenient for calculation.
  • intersection point B of the two lane lines L1'L2' mark the intersection point as the vanishing point
  • the position of the marker A in the first coordinate system is obtained, that is, the pixel position of the marker A in the first coordinate system is obtained.
  • it can be obtained through image processing software (photoshop) software or other drawing tools.
  • the position of the vanishing point B in the first coordinate system is determined; according to the similar triangle principle, the pixel position of the vanishing point B can be calculated.
  • the pixel position of the vanishing point B can be calculated according to the two triangles formed by the four markers A and the vanishing point B through the principle of similar triangles. The specific calculation process is a common technical means in the field, and will not be repeated here .
  • the position of the second target point E in the first coordinate system corresponding to the first target point D is determined.
  • a straight line can be determined with the vanishing point B.
  • the second target point E in the coordinate system has respective pixel positions.
  • the position of the second target point E, the position of the vanishing point B, and the position of the first target point D are fitted using a random sampling algorithm (Random Sample Consensus, RANSAC) or other polynomial fitting methods to obtain the fitted first
  • RANSAC Random Sample Consensus
  • the position conversion polynomial of the coordinate system to the second coordinate system is obtained, that is, the polynomial relationship for calculating the physical position of the pixel position is obtained.
  • the polynomial can be used to calculate the position of the garbage in the coordinate system of the vehicle, and the intelligent sweeper can obtain the specific position of the garbage from itself.
  • FIG. 5 is a schematic structural diagram of a garbage identification system for an intelligent sweeper according to an embodiment of the present invention, which is used to execute the method shown in FIG. 1 .
  • the intelligent sweeper garbage identification system includes: an acquisition unit 201, A processing unit 202 , a determination unit 203 , a conversion unit 204 , a control unit 205 and an execution unit 206 .
  • the obtaining unit 201 is used for the first garbage image information to be identified;
  • the processing unit 202 is used to process the first garbage image information to be identified to obtain the second garbage image information;
  • Determining unit 203 determining unit 203 is used to determine the location information of garbage in the first coordinate system according to the second garbage image information and the trained garbage identification model;
  • the conversion unit 204 is configured to determine the position information of the garbage in the second coordinate system according to the position information of the garbage in the first coordinate system and the fitted position conversion polynomial from the first coordinate system to the second coordinate system.
  • the determining unit 203 is further configured to determine the type of garbage according to the second garbage image information and the trained garbage identification model.
  • the control unit 205 the control unit 205 is configured to generate a control signal corresponding to the garbage category according to the garbage category.
  • the execution unit 206 is used for classifying the garbage into the garbage processing device in the intelligent sweeper corresponding to the garbage category according to the control signal.
  • the embodiment of the present invention provides a garbage identification method for an intelligent sweeper.
  • the intelligent sweeper can perform short-range detection, so that the distance estimation error is extremely small. Accuracy is high.
  • the position conversion polynomial between the first coordinate system and the fitted first coordinate system to the second coordinate system is used to determine the location information of the garbage in the second coordinate system, so as to achieve the purpose of garbage identification and classification, and improve the ability of the intelligent sweeper to understand the road surface.
  • the steps of a method or algorithm described in connection with the embodiments disclosed herein may be implemented in hardware, a software module executed by a processor, or a combination of the two.
  • the software module can be placed in random access memory (RA intelligent sweeper garbage identification method), memory, read-only memory (RO intelligent sweeper garbage identification method), electrically programmable RO intelligent sweeper garbage identification method, electrically erasable programmable RO A method for identifying garbage in an intelligent sweeper, a register, a hard disk, a removable disk, a method for identifying garbage in a CD-RO intelligent sweeper, a method for controlling a power system, or any other form of storage medium known in the technical field.
  • RA intelligent sweeper garbage identification method random access memory
  • RO intelligent sweeper garbage identification method read-only memory
  • electrically programmable RO intelligent sweeper garbage identification method electrically erasable programmable RO
  • a method for identifying garbage in an intelligent sweeper a register, a hard disk, a removable disk, a method for identifying garbage in a

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种智能清扫车垃圾识别方法，包括：获取待识别的第一垃圾图像信息（110）；对待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息（120）；根据第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾在第一坐标系的位置信息（130）；根据垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定垃圾在第二坐标系的位置信息（140）。由此提高了智能清扫车对路面非障碍物目标进行检测识别的能力。

Description

一种智能清扫车垃圾识别方法及系统 技术领域
本发明涉及数据处理技术领域，尤其涉及一种智能清扫车垃圾识别方法及系统。
背景技术
机器人智能辅助系统及自动驾驶技术是近几年的热点话题，智能清扫车在园区清扫已完全实现了无人值守，解放了大量的人工劳动力，给人们的生活带来了颠覆性的改变。
智能清扫车可以将路面的树叶、纸屑等小型垃圾清扫干净，但对于矿泉水瓶、一次性纸杯等略大型的垃圾，可能受到底盘吸尘系统高度的影响而不能被吸入车内的垃圾箱中；而且一些危险垃圾，如未熄灭的烟头，会对智能清扫车造成不可估计的损伤。随着垃圾分类的逐渐普及，智能清扫车不仅负责清扫，还需要进行垃圾识别、分类存放。因此垃圾识别功能也逐渐成为智能清扫车研究的关键技术之一，而智能清扫车现有的技术并未对此有针对性的展开，对垃圾识别及分类存放等的研究环节还比较薄弱。
发明内容
本发明的目的是针对现有技术所存在的缺陷，提供一种智能清扫车垃圾识别方法及系统，在智能清扫车头部安装摄像头，采集垃圾图片信息，然后通过一系列的处理和转换，达到垃圾识别和分类的目的。
为实现上述目的，第一方面，本发明提供了一种智能清扫车垃圾识别方法，包括：
获取待识别的第一垃圾图像信息；
对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；
根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定所述垃圾在第一坐标系的位置信息；
根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息。
优选的，所述获取待识别的第一垃圾图像信息，具体包括：
通过与所述智能清扫车头部的摄像头安装点所在的水平线呈预设的角度的摄像头获取待识别的第一垃圾图像信息。
优选的，所述对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息，具体包括：
通过对摄像头内参进行标定，得到内参矩阵和畸变参数；
通过所述内参矩阵和畸变参数，得到所述第二垃圾图像信息。
优选的，所述已训练的垃圾识别模型具体为深度学习网络模型。
优选的，所述根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息，具体包括：
通过所述摄像头获取道路图片，所述道路图片包括两条车道线；
提取道路图片中所述两条车道线上的标志物；每一条所述车道线上具有一组标志物，两组所述标志物关于所述两条车道线的中心线对称；
获取所述两条车道线的交点；其中，所述交点为消失点；
获取所述标志物在所述第一坐标系的位置；
根据所述标志物在所述第一坐标系的位置，确定所述消失点在所述第一坐标系的位置；
获取所述第二坐标系中的多个第一目标点的位置，所述多个第一目标点位于同一直线上；
在所述道路图片中，根据所述第一目标点的位置，确定所述第一目标点 对应的第一坐标系中的第二目标点的位置；
对所述第二目标点的位置、所述消失点的位置、所述第一目标点的位置进行拟合，得到拟合后的所述第一坐标系至所述第二坐标系的位置转换多项式。
优选的，所述方法还包括：
根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别；
根据所述垃圾类别，生成与所述垃圾类别相对应的控制信号；
根据所述控制信号，将所述垃圾分类投放至所述垃圾类别对应的所述智能清扫车中的垃圾处理装置中。
第二方面，本发明提供了一种用于执行第一方面和第一方面任一所述方法的智能清扫车垃圾识别系统，所述智能清扫车垃圾识别系统，包括：
获取单元，所述获取单元用于待识别的第一垃圾图像信息；
处理单元，所述处理单元用于对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；
确定单元，所述确定单元用于根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定所述垃圾在第一坐标系的位置信息；
转换单元，根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息。
优选的，所述确定单元还用于根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别。
进一步优选的，所述智能清扫车垃圾识别系统，还包括控制单元；所述控制单元用于根据所述垃圾类别，生成与所述垃圾类别相对应的控制信号。
优选的，所述智能清扫车垃圾识别系统，还包括执行单元；所述执行单元用于根据所述控制信号，将所述垃圾分类投放至所述垃圾类别对应的所述智能清扫车中的垃圾处理装置中。
本发明实施例提供的一种智能清扫车垃圾识别方法，通过采集待识别的垃圾图片信息，然后将待识别的垃圾图片信息进行处理得到畸变校正后的图片，再输入已训练好的垃圾识别模型中确定垃圾在第一坐标系的位置信息，最后根据垃圾在第一坐标系和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定垃圾在第二坐标系的位置信息，达到垃圾识别和分类的目的，提高了智能清扫车对路面非障碍物目标进行检测识别的能力。
附图说明
图1为本发明实施例提供的一种智能清扫车垃圾识别方法流程示意图；
图2为本发明实施例提供的摄像头在智能清扫垃圾车中的安装示意图；
图3为本发明实施例提供的标志物以及第一目标点在第二坐标系的位置关系示意图；
图4为本发明实施例提供的标志物以及第二目标点在第一坐标系的位置关系示意图；
图5为本发明实施例提供的一种智能清扫车垃圾识别系统结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明实施例提供的一种智能清扫车垃圾识别方法流程示意图，该方法应用在安装有智能清扫系统的设备上，比如安装有智能清扫设备的智能清扫车，本申请的执行主体为设备中具有计算功能的终端、服务器或者处理器。本申请以将该方法应用在智能清扫车为例进行说明，当将该方法应用 在智能清扫车时，该方法的执行主体为智能清扫车的中央处理器，相当于智能清扫车的“大脑”。如图1所示，本申请包括以下步骤
步骤110，获取待识别的第一垃圾图像信息。
具体的，结合图2所示，在智能清扫车头部的摄像头安装点所在的水平线呈预设的角度安装摄像头，摄像头会实时获取待识别的第一垃圾图像信息，并传回至智能清扫车的中央处理器。其中，第一垃圾图像信息为摄像头获取的原始图像，并且为非障碍物图像信息，比如可以为矿泉水瓶、一次性纸杯、烟头、一次性饭盒、塑料袋和其他。
在一个具体的例子中，该方法用于检测近距离，比如S＝3m左右范围内的路面，不能同行人、车辆、自行车等障碍物检测使用同一个摄像头，因此该摄像头具体安装在智能清扫车的车前下方，优选小型广角摄像头，为了更好对地面进行检测，优选预设角度d＝10°。如图2中所示摄像头的安装预设角度d＝10°，可检测的距离为3m的情况。由此，相比于现有技术中的远距离检测，本申请可以实现近距离检测垃圾的目的，减小了垃圾检测的距离误差。进一步的，为了保证摄像头采集图像的实时性，采集频率优选h＝10Hz。
步骤120，对待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息。
具体的，通过对摄像头内参进行标定，得到内参矩阵和畸变参数；通过内参矩阵和畸变参数，得到第二垃圾图像信息。即第二垃圾图像信息是经过畸变校正之后的图像信息。由于每个镜头的畸变程度各不相同，通过相机内参标定可以校正这种镜头畸变。
步骤130，根据第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾在第一坐标系的位置信息。
具体的，已训练的垃圾识别模型具体为深度学习网络模型。第一坐标系为图像坐标系，位置信息为像素位置。
在一个具体的例子中，首先通过批量垃圾图片数据采集、筛选、预处理 以及标注，获得垃圾训练集图片库，然后通过深度学习网络模型进行训练，获取训练好的深度学习网络模型。将畸变校正后的图像信息输入至训练好的深度学习网络模型中，得到垃圾在图片中的像素位置，从而确定垃圾在第一坐标系的位置信息。其中，预处理是指对图片进行裁剪、缩放、旋转、曝光等多种数据增强的处理。
由于垃圾通常在地面上，并且在第一坐标系中呈现的图片中的垃圾具有外接矩形框，外接矩形框中的每个点都具有像素位置。在一个优选的例子中，选取垃圾外接矩形框下边缘的中心点确定为垃圾在第一坐标系的位置信息。
步骤140，根据垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定垃圾在第二坐标系的位置信息。
具体的，第二坐标系具体为智能清扫车坐标系即自车坐标系。要获得垃圾相对于智能清扫车的实际物理距离，需要进行外参标定，即需要获得第一坐标系和第二坐标系的转换关系，外参标定得到的是一个多项式，该多项式即为图像坐标与智能清扫车坐标的外参关系，通过输入图像坐标系的像素位置，即可输出该像素位置对应的自车坐标系的一个物理位置。
进一步的，可以根据以下步骤，确定该垃圾在第二坐标系的位置信息。结合图3和图4所示，实际道路中的两条车道线为平行的状态，参见图3中的L1L2。
首先，通过摄像头获取道路图片，道路图片包括两条车道线，参见图4中的L1’L2’。
然后，提取道路图片中两条车道线上的标志物A，优选小型标志物。为方便计算，每一条车道线上具有一组标志物A，两组标志物A关于两条车道线的中心线对称。需要说明的是，此处的两条车道线的中心线是虚拟的，在道路图片中并非直观显示。此条中心线上任意一点到两条车道线之间的距离相等，方便计算。
获取两条车道线L1’L2’的交点B；其中，将交点标记为消失点；
获取标志物A在第一坐标系的位置，即获取标志物A在第一坐标系的像素位置。在一个具体的例子中，可以通过图像处理软件(photoshop)软件或其他画图工具获得。
根据标志物A在第一坐标系的位置，确定消失点B在第一坐标系的位置；根据相似三角形原理，即可计算消失点B的像素位置。其中，可以根据四个标志物A和消失点B所组成的两个三角形，通过相似三角形原理，计算得到消失点B的像素位置，具体计算过程为本领域的常用技术手段，此处不再赘述。
获取第二坐标系中的多个第一目标点D的位置，多个第一目标点D位于同一直线上；具体的，通过相应的测量手段，比如自车上的传感器等获取多个第一目标点D的自车坐标系的位置。
在道路图片中，根据第一目标点D的位置，确定第一目标点D对应的第一坐标系中的第二目标点E的位置。
具体的，在得到消失点B的像素位置之后，取任意点C，与消失点B可确定一条直线，如图3中所示，取该条直线上的与第一目标点D对应的第一坐标系中的第二目标点E，第二目标点E分别具有各自的像素位置。
对第二目标点E的位置、消失点B的位置、第一目标点D的位置利用随机采样算法(Random Sample Consensus，RANSAC)或其他多项式拟合方法进行拟合，得到拟合后的第一坐标系至第二坐标系的位置转换多项式，即得到像素位置计算物理位置的多项式关系。当在图像中找到垃圾目标的像素位置后，就可以利用该多项式，计算得到该垃圾在自车坐标系中的位置，智能清扫车就可以得到该垃圾距离自身的具体位置。
更进一步的，该方法还根据可以第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别；智能清扫车就可以得到该垃圾距离自身的具体位置，连通垃圾的类别一起输出。根据垃圾类别，生成与垃圾类别相对应的控制信号发送给底层执行单元，底层执行单元根据控制信号，将垃圾分类投放至垃 圾类别对应的智能清扫车中的垃圾处理装置中，从而达到垃圾识别和分类的目的，提高了智能清扫车对路面非障碍物目标进行检测识别的能力。图5为本发明实施例提供的一种智能清扫车垃圾识别系统结构示意图，用以执行图1所示的方法，如图5所示，该智能清扫车垃圾识别系统，包括：获取单元201、处理单元202、确定单元203、转换单元204、控制单元205和执行单元206。
获取单元201，获取单元201用于待识别的第一垃圾图像信息；
处理单元202，处理单元202用于对待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；
确定单元203，确定单元203用于根据第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾在第一坐标系的位置信息；
转换单元204，转换单元204用于根据垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定垃圾在第二坐标系的位置信息。
确定单元203，确定单元203还用于根据第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别。
控制单元205，控制单元205用于根据垃圾类别，生成与垃圾类别相对应的控制信号。
执行单元206，执行单元206用于根据控制信号，将垃圾分类投放至垃圾类别对应的智能清扫车中的垃圾处理装置中。
本发明实施例提供的一种智能清扫车垃圾识别方法，通过在智能清扫车头部的安装点呈预设的角度安装摄像头，使得智能清扫车可以进行近距离检测，使得距离估计误差极小，精度很高。通过采集待识别的垃圾图片信息，然后将待识别的垃圾图片信息进行处理得到畸变校正后的图片，再输入已训练好的垃圾识别模型中确定垃圾在第一坐标系的位置信息，最后根据垃圾在第一坐标系和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定垃圾在第二坐标系的位置信息，达到垃圾识别和分类的目的，提高了智能清扫 车对路面非障碍物目标进行检测识别的能力。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RA智能清扫车垃圾识别方法)、内存、只读存储器(RO智能清扫车垃圾识别方法)、电可编程RO智能清扫车垃圾识别方法、电可擦除可编程RO智能清扫车垃圾识别方法、寄存器、硬盘、可移动磁盘、CD-RO智能清扫车垃圾识别方法动力系统控制方法、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

  1. 一种智能清扫车垃圾识别方法，其特征在于，所述智能清扫车垃圾识别方法包括：
    获取待识别的第一垃圾图像信息；
    对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；
    根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定所述垃圾在第一坐标系的位置信息；
    根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至所述第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息。
  2. 根据权利要求1所述的智能清扫车垃圾识别方法，其特征在于，所述获取待识别的第一垃圾图像信息，具体包括：
    通过与所述智能清扫车头部的摄像头安装点所在的水平线呈预设的角度的摄像头获取待识别的第一垃圾图像信息。
  3. 根据权利要求1所述的智能清扫车垃圾识别方法，其特征在于，所述对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息，具体包括：
    通过对摄像头内参进行标定，得到内参矩阵和畸变参数；
    通过所述内参矩阵和畸变参数，得到所述第二垃圾图像信息。
  4. 根据权利要求1所述的智能清扫车垃圾识别方法，其特征在于，所述已训练的垃圾识别模型具体为深度学习网络模型。
  5. 根据权利要求1所述的智能清扫车垃圾识别方法，其特征在于，所述根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置信息，具体包括：
    通过所述摄像头获取道路图片，所述道路图片包括两条车道线；
    提取道路图片中所述两条车道线上的标志物；每一条所述车道线上具有一组标志物，两组所述标志物关于所述两条车道线的中心线对称；
    获取所述两条车道线的交点；其中，所述交点为消失点；
    获取所述标志物在所述第一坐标系的位置；
    根据所述标志物在所述第一坐标系的位置，确定所述消失点在所述第一坐标系的位置；
    获取所述第二坐标系中的多个第一目标点的位置，所述多个第一目标点位于同一直线上；
    在所述道路图片中，根据所述第一目标点的位置，确定所述第一目标点对应的第一坐标系中的第二目标点的位置；
    对所述第二目标点的位置、所述消失点的位置、所述第一目标点的位置进行拟合，得到拟合后的所述第一坐标系至所述第二坐标系的位置转换多项式。
  6. 根据权利要求1所述的智能清扫车垃圾识别方法，其特征在于，所述方法还包括：
    根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别；
    根据所述垃圾类别，生成与所述垃圾类别相对应的控制信号；
    根据所述控制信号，将所述垃圾分类投放至所述垃圾类别对应的所述智能清扫车中的垃圾处理装置中。
  7. 一种用于执行根据权利要求1-6中任一项所述方法的智能清扫车垃圾识别系统，所述智能清扫车垃圾识别系统，包括：
    获取单元，所述获取单元用于待识别的第一垃圾图像信息；
    处理单元，所述处理单元用于对所述待识别的第一垃圾图像信息进行处理，得到第二垃圾图像信息；
    确定单元，所述确定单元用于根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定所述垃圾在第一坐标系的位置信息；
    转换单元，根据所述垃圾在第一坐标系的位置信息和拟合后的第一坐标系至第二坐标系的位置转换多项式，确定所述垃圾在所述第二坐标系的位置 信息。
  8. 根据权利要求7所述的智能清扫车垃圾识别系统，其特征在于，所述确定单元还用于根据所述第二垃圾图像信息和已训练的垃圾识别模型，确定垃圾的类别。
  9. 根据权利要求8所述的智能清扫车垃圾识别系统，其特征在于，所述智能清扫车垃圾识别系统，还包括控制单元；
    所述控制单元用于根据所述垃圾类别，生成与所述垃圾类别相对应的控制信号。
  10. 根据权利要求7所述的智能清扫车垃圾识别系统，其特征在于，所述智能清扫车垃圾识别系统，还包括执行单元；
    所述执行单元用于根据所述控制信号，将所述垃圾分类投放至所述垃圾类别对应的所述智能清扫车中的垃圾处理装置中。
PCT/CN2021/111840 2020-08-10 2021-08-10 一种智能清扫车垃圾识别方法及系统 WO2022033484A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010796332.0 2020-08-10
CN202010796332.0A CN112115968B (zh) 2020-08-10 2020-08-10 一种智能清扫车垃圾识别方法及系统

Publications (1)

Publication Number Publication Date
WO2022033484A1 true WO2022033484A1 (zh) 2022-02-17

Family

ID=73804033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/111840 WO2022033484A1 (zh) 2020-08-10 2021-08-10 一种智能清扫车垃圾识别方法及系统

Country Status (2)

Country Link
CN (1) CN112115968B (zh)
WO (1) WO2022033484A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565635A (zh) * 2022-03-08 2022-05-31 安徽新宇环保科技股份有限公司 一种智能识别河道垃圾并进行分类收集的无人船系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115968B (zh) * 2020-08-10 2024-04-19 北京智行者科技股份有限公司 一种智能清扫车垃圾识别方法及系统
CN117975400B (zh) * 2024-03-29 2024-06-28 广东先知大数据股份有限公司 一种垃圾整改情况检测方法、电子设备和存储介质
CN118072110B (zh) * 2024-04-18 2024-07-16 泸州市兴泸环保发展有限公司 一种基于图像信息的自动化垃圾处理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100901150B1 (ko) * 2008-12-08 2009-06-04 이텍산업 주식회사 다기능 저상형 도로청소차
CN102866706A (zh) * 2012-09-13 2013-01-09 深圳市银星智能科技股份有限公司 一种采用智能手机导航的清扫机器人及其导航清扫方法
CN106444786A (zh) * 2016-11-29 2017-02-22 北京小米移动软件有限公司 扫地机器人的控制方法及装置和电子设备
CN109288455A (zh) * 2018-09-21 2019-02-01 北京智行者科技有限公司 垃圾清扫方法及装置
CN109753890A (zh) * 2018-12-18 2019-05-14 吉林大学 一种路面垃圾物智能识别与感知方法及其实现装置
CN111458721A (zh) * 2020-03-31 2020-07-28 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及系统
CN112115968A (zh) * 2020-08-10 2020-12-22 北京智行者科技有限公司 一种智能清扫车垃圾识别方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9283967B2 (en) * 2014-07-16 2016-03-15 GM Global Technology Operations LLC Accurate curvature estimation algorithm for path planning of autonomous driving vehicle
CN110570475A (zh) * 2018-06-05 2019-12-13 上海商汤智能科技有限公司 车载摄像头自标定方法及装置和车辆驾驶方法及装置
CN111414926A (zh) * 2019-01-04 2020-07-14 卓望数码技术（深圳）有限公司 一种智能垃圾分类方法、装置、存储介质和机器人
CN109859278B (zh) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110263675B (zh) * 2019-06-03 2024-02-20 武汉联一合立技术有限公司 一种社区安保机器人的垃圾目标识别系统及其识别方法
CN111008571B (zh) * 2019-11-15 2023-04-18 万翼科技有限公司 室内垃圾处理方法及相关产品
CN111360780A (zh) * 2020-03-20 2020-07-03 北京工业大学 一种基于视觉语义slam的垃圾捡拾机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100901150B1 (ko) * 2008-12-08 2009-06-04 이텍산업 주식회사 다기능 저상형 도로청소차
CN102866706A (zh) * 2012-09-13 2013-01-09 深圳市银星智能科技股份有限公司 一种采用智能手机导航的清扫机器人及其导航清扫方法
CN106444786A (zh) * 2016-11-29 2017-02-22 北京小米移动软件有限公司 扫地机器人的控制方法及装置和电子设备
CN109288455A (zh) * 2018-09-21 2019-02-01 北京智行者科技有限公司 垃圾清扫方法及装置
CN109753890A (zh) * 2018-12-18 2019-05-14 吉林大学 一种路面垃圾物智能识别与感知方法及其实现装置
CN111458721A (zh) * 2020-03-31 2020-07-28 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及系统
CN112115968A (zh) * 2020-08-10 2020-12-22 北京智行者科技有限公司 一种智能清扫车垃圾识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114565635A (zh) * 2022-03-08 2022-05-31 安徽新宇环保科技股份有限公司 一种智能识别河道垃圾并进行分类收集的无人船系统
CN114565635B (zh) * 2022-03-08 2022-11-11 安徽新宇环保科技股份有限公司 一种智能识别河道垃圾并进行分类收集的无人船系统

Also Published As

Publication number Publication date
CN112115968B (zh) 2024-04-19
CN112115968A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
WO2022033484A1 (zh) 一种智能清扫车垃圾识别方法及系统
CN109435942B (zh) 一种基于信息融合的车位线车位识别方法及装置
JP7395301B2 (ja) 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN106096525B (zh) 一种复合型车道识别系统及方法
CN103176185B (zh) 用于检测道路障碍物的方法及系统
CN106997688B (zh) 基于多传感器信息融合的停车场停车位检测方法
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
CN111563469A (zh) 一种不规范停车行为识别方法及装置
WO2020253010A1 (zh) 一种泊车定位中的停车场入口定位方法、装置及车载终端
CN111797741A (zh) 车辆检测方法、装置、车辆和存储介质
WO2018177026A1 (zh) 确定道路边沿的装置和方法
US9037403B2 (en) Intensity map-based localization with adaptive thresholding
CN106485233A (zh) 可行驶区域检测方法、装置和电子设备
Yan et al. A low-cost video-based pavement distress screening system for low-volume roads
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN112927303B (zh) 一种基于车道线的自动驾驶车载相机位姿估计方法及系统
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN115327572A (zh) 一种车辆前方障碍物检测方法
Zhang et al. An improved parking space recognition algorithm based on panoramic vision
JP5773334B2 (ja) オプティカルフロー処理装置及び表示半径マップ生成装置
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备
CN114283400A (zh) 一种智能沿边清扫与路面清洁度判定集成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21855536

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21855536

Country of ref document: EP

Kind code of ref document: A1