WO2021022475A1 - 一种垃圾处理方法、装置及终端设备 - Google Patents

一种垃圾处理方法、装置及终端设备 Download PDF

Info

Publication number
WO2021022475A1
WO2021022475A1 PCT/CN2019/099436 CN2019099436W WO2021022475A1 WO 2021022475 A1 WO2021022475 A1 WO 2021022475A1 CN 2019099436 W CN2019099436 W CN 2019099436W WO 2021022475 A1 WO2021022475 A1 WO 2021022475A1
Authority
WO
WIPO (PCT)
Prior art keywords
garbage
image data
data
category
size information
Prior art date
Application number
PCT/CN2019/099436
Other languages
English (en)
French (fr)
Inventor
涂宏斌
周庚申
杨辉
段军
齐兵
Original Assignee
中国长城科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国长城科技集团股份有限公司 filed Critical 中国长城科技集团股份有限公司
Priority to PCT/CN2019/099436 priority Critical patent/WO2021022475A1/zh
Publication of WO2021022475A1 publication Critical patent/WO2021022475A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Definitions

  • This application belongs to the field of software application technology, and in particular relates to a garbage processing method, device and terminal equipment.
  • the garbage When the garbage enters the garbage disposal station, it needs to be stored in the garbage storage bin, and then subsequent processing, such as incineration, landfill, etc.
  • subsequent processing such as incineration, landfill, etc.
  • the garbage treatment station the garbage is mainly collected and processed by manual sorting. The processing efficiency is slow, and the working environment is bad, which easily causes adverse effects on the health of the staff.
  • the embodiments of the present application provide a garbage processing method, device, and terminal equipment to solve the problem that the garbage in the garbage treatment station is stored and processed by manual sorting in the prior art.
  • the processing efficiency is slow and the work is easy.
  • the first aspect of the embodiments of the present application provides a garbage processing method, including:
  • the second aspect of the embodiments of the present application provides a garbage disposal device, including:
  • the data collection module is used to obtain the image data obtained by the camera collecting garbage and the odor data obtained by the odor sensor collecting garbage;
  • a data processing module used to process the image data and the smell data to obtain size information, garbage category, and corruption type of each garbage;
  • the garbage processing module is used to determine the sorting scheme of the garbage according to the size information, the garbage category and the corruption information of the respective garbage, and control the robotic arm to process the garbage according to the sorting scheme.
  • the third aspect of the embodiments of the present application provides a terminal device, including a memory, a processor, and a computer program stored in the memory and running on the processor.
  • a terminal device including a memory, a processor, and a computer program stored in the memory and running on the processor.
  • the processor executes the computer program, Implement the steps as described above.
  • the fourth aspect of the embodiments of the present application provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the steps of the foregoing method are implemented.
  • the fifth aspect of the embodiments of the present application provides a computer program product that, when the computer program product runs on a terminal device, causes the terminal device to execute the steps of the above method.
  • the image data and odor data of garbage are collected through cameras and odor sensors, and the image data and odor data are processed.
  • the size information, garbage category, and corruption type of each garbage can be obtained.
  • the size information of the garbage, the type of garbage and the type of corruption can determine the sorting plan of the garbage.
  • the robot arm is controlled to process the garbage, so as to realize the automatic sorting and storage of the garbage, without manual participation, and improve the garbage.
  • the processing efficiency solves the problem that the garbage in the garbage treatment station is stored and processed by manual sorting in the prior art, and the processing efficiency is slow, and the problem that the body of the staff is easily adversely affected.
  • Figure 1 is a system schematic diagram of a garbage disposal system provided by an embodiment of the present application.
  • FIG. 2 is a schematic flowchart of a garbage processing method provided by an embodiment of the present application.
  • Figure 3 is a schematic diagram of a garbage disposal device provided by an embodiment of the present application.
  • Fig. 4 is a schematic diagram of a terminal device provided by an embodiment of the present application.
  • the term “if” can be interpreted as “when” or “once” or “in response to determination” or “in response to detection” depending on the context .
  • the phrase “if determined” or “if detected [described condition or event]” can be interpreted as meaning “once determined” or “response to determination” or “once detected [described condition or event]” depending on the context ]” or “in response to detection of [condition or event described]”.
  • FIG. 1 is a schematic diagram of a system to which an embodiment of the present application is applicable.
  • the system includes a camera 101, a robotic arm 102, an odor sensor, and a garbage disposal device 103.
  • the camera 101, the robotic arm 102, and the odor sensor communicate with the garbage disposal device 103 via a wired and/or wireless network.
  • the system may be provided with one or more cameras 101, the camera 101 may be a digital camera and/or an analog camera, the appearance of the camera 101 may be a box camera, a dome camera, a dome camera, etc., and the specific settings The plan can be selected according to the actual situation.
  • One or more odor sensors may be provided in the system.
  • the odor sensors are used to collect odor data of garbage.
  • the odor sensors may be fixedly installed (for example, they may be installed at regular intervals on the bottom of the garbage dumping platform. Setting an odor sensor), it can also be a movable setting (for example, a probe integrated with an odor sensor can be installed on the robotic arm), and the specific setting plan can be selected according to the actual situation.
  • the robot arm 102 may be a multi-joint robot arm, a rectangular coordinate system robot arm, a spherical coordinate system robot arm, a polar coordinate robot arm, a cylindrical coordinate robot arm, and the like.
  • the garbage processing device 103 is used to formulate a garbage sorting plan based on the image data and odor data obtained by collecting garbage from the camera 101 and the odor sensor, and control the robotic arm 102 to sort the garbage according to the garbage sorting plan. ⁇ Material processing.
  • the following embodiments of the present application mainly take the system scenario shown in FIG. 1 as an example to describe the garbage processing method, the garbage processing device, and the terminal equipment provided in the embodiments of the present application.
  • Embodiment 1 of the present application includes:
  • Step S201 Obtain image data obtained by collecting garbage by a camera and odor data obtained by collecting garbage by an odor sensor;
  • garbage trucks In daily life scenes, after garbage trucks collect garbage from various garbage collection points in the city, they need to be transported to garbage disposal stations for treatment.
  • the garbage disposal stations need to store the garbage in the garbage storage bin, and then collect the garbage.
  • the waste in the bin is subjected to subsequent treatment, such as landfilling, incineration and power generation.
  • the garbage truck transports the garbage to the garbage recycling station, the garbage is currently stored in the garbage storage bin mainly by manual sorting, which has low processing efficiency and poor working environment, which easily causes adverse effects on the health of the staff.
  • a camera may be used to collect image data of garbage
  • an odor sensor may be used to collect odor data of garbage
  • denoising processing can be performed on the image data to obtain denoised image data to improve the quality of the image data.
  • the specific denoising processing method is as follows:
  • the image data collected by the camera can be expressed as:
  • H(x) F(x)e -rd(x) +A(1-e -rd(x) )
  • x is the spatial coordinates of each pixel in the image data
  • H(x) is the image data collected by the camera
  • F(x) is the image data after denoising
  • r is the atmospheric scattering coefficient
  • d is the depth of the scene
  • F(x)e -rd(x) represents the image data collected by the camera after the reflected light on the surface of the scene propagates in the medium due to scattering and other effects
  • A(1-e -rd(x ) ) Means ambient light or atmospheric light curtain, which will cause the image color and brightness shift in the image data.
  • the image data collected by the camera can be expressed as:
  • the image data collected by the camera is denoised to reduce the interference of noise, obtain denoised image data, and improve the quality of the image data.
  • Step S202 Process the image data and the smell data to obtain size information, garbage category, and corruption type of each garbage;
  • the image data and odor data can be processed to obtain the size information, garbage category and corruption type of each garbage, which can be used as the basis for formulating the garbage sorting plan.
  • the Harris corner detection algorithm can be used to perform corner detection on the image data to obtain the corner detection result, and then calculate the size of each garbage in the image data according to the corner detection result information.
  • the gray scale changes in different directions are small.
  • the edge of the homogenous area there is only larger gray scale in the vertical and edge ridge directions.
  • the corners of the homogenous region there are large gray changes in multiple directions. Therefore, the corner detection of the image data can be performed accordingly.
  • the method of corner detection is as follows:
  • I is the input image.
  • I represents the image data for corner detection
  • I x and I y are the first-order partial derivatives of I.
  • G is the isotropic Gaussian kernel function
  • Is the first-order partial derivative of I after smoothing by the isotropic Gaussian kernel function
  • ⁇ is the Gaussian smoothing scale
  • M is the autocorrelation matrix
  • ⁇ and ⁇ are the eigenvalues of the autocorrelation matrix M, k is the error corner response suppression constant, and usually the value of k is (0,0.1].
  • the corner of the image data center can be determined, and the corner detection result can be obtained.
  • the side length and the included angle of the garbage can be calculated, and the geometric size information of the garbage can be obtained.
  • the coordinates of corner 1 of garbage 1 are (x1, y1)
  • the corner The coordinates of 2 are (x2, y2)
  • the length L between corner point 1 and corner point 2 is:
  • the shape of the garbage can be determined according to the angle between the adjacent sides of the garbage. For example, the angles of the adjacent sides of the garbage are equal. Less than or equal to 90 degrees, it means that the garbage may have a regular shape.
  • the garbage can be fitted to a rectangular cuboid, and the length, width and height of the garbage can be calculated by interpolation fitting; if the angle between adjacent sides of the garbage is mostly More than 90 degrees, it means that the shape of the garbage may be a curved shape, for example, it may be a plastic bag full of garbage.
  • the garbage can be interpolated to fit into a spherical shape, and the radius of the garbage can be calculated, or the garbage can be simulated Ellipse, calculate the long and short diameters of garbage.
  • the image data can be input into a trained garbage recognition neural network model to obtain the garbage category of each garbage object.
  • the aforementioned garbage recognition neural network model can be a convolutional neural network model, and the training process of the garbage recognition neural network model can be:
  • sample images are images of solid waste (such as construction waste) (denoted as category C0), and images of bagged waste (such as garbage in plastic bags) (denoted as Category C1), images of bulk garbage (such as scattered cans, plastic bottles, etc.) (denoted as Category C2), which are marked with category labels for various sample images;
  • the loss function can use the categorical_crossentropy loss function
  • the optimization function can use the adadelta function
  • the iteration round of training can be set according to the actual situation, for example, Set to 45 rounds
  • GPU parallel operation can be used to speed up the convergence speed of convolution calculation and network model during training;
  • the convolutional neural network model may include: first convolutional layer, first activation layer, second convolutional layer, second activation layer, first pooling layer, third convolutional layer, The third active layer, the second pooling layer, the flat (Flatten) layer, the first fully connected layer, the fourth active layer, the dropout layer, the second fully connected layer, and the fifth active layer are connected in sequence.
  • the first convolution layer can contain 4 convolution kernels, and the size of each convolution kernel is 5*5; the activation function of the first activation layer is the Relu function; the second convolution layer can contain 8 convolutions Layer, the size of each convolution kernel is 3*3; the activation function of the second activation layer is the Relu function; the first pooling layer is the maximum pooling layer, and the downsampling factors in the vertical and horizontal directions are respectively (2 , 2);
  • the third convolution layer can contain 16 convolution kernels, each of which has a size of 3*3; the activation function of the third activation layer is the Relu function; the second pooling layer is the maximum pooling layer , The downsampling factors in the vertical and horizontal directions are respectively (2, 2); the flat layer is used to convert the multi-dimensional input into a one-dimensional feature vector; the output nodes of the first fully connected layer are 128, and the initialization method is the normal method ;
  • the activation function of the fourth activation layer is the Relu
  • the odor data can be input into a preset odor model to obtain the corruption information of each garbage. For example, a variety of corrupt odor odor data can be set in the preset odor model. If the odor sensor If the collected odor data matches the odor data of any corrupt odor, it is determined that the corruption information of the garbage is corrupted. If the odor data collected by the odor sensor does not match the odor data of any corrupt odor, then the corruption of the garbage is determined The information is not corrupt.
  • Step S203 Determine the sorting scheme of the rubbish according to the size information, rubbish category and corruption information of the respective rubbish, and control the robotic arm to process the rubbish according to the sorting scheme.
  • the garbage sorting plan After obtaining the size information, garbage category, and corruption information of each garbage, the garbage sorting plan can be determined, and the robot arm can be controlled to process the garbage according to the sorting plan.
  • the priority of each garbage can be determined according to a preset priority strategy, and the robotic arm can be controlled to sort the garbage to the garbage storage bin in the order of priority from high to low.
  • the preset priority strategy may be: prioritize processing of corrupt information as corrupted garbage, avoid corrupted garbage, and accelerate corruption of uncorrupted garbage.
  • the priority can be determined according to the garbage category.
  • the priority of each garbage category is bulk garbage>bag garbage>solid garbage, and bulk garbage.
  • the compression space is the largest, and the compression space of solid garbage is the smallest. Sorting garbage according to the above priority can ensure that the space of the garbage storage box can accommodate as much garbage as possible.
  • the priority can be determined according to the size information, and the small-size trash can be treated first, and the storage capacity of the trash storage bin can be improved.
  • the priority of each garbage can be determined according to the preset priority strategy, so as to determine the sorting scheme of garbage, for example, there are five garbage, garbage
  • garbage The corruption information of 1 and garbage 3 is corrupted, and the corrupted information of garbage 2, 4, and 5 is uncorrupted, so garbage 1 and 3 have higher priority than garbage 2, 4, and 5; garbage of garbage 1
  • the garbage category is bagged garbage, and the garbage category of garbage 3 is bulk garbage, and the priority of garbage 3 is higher than garbage 1; the garbage category of garbage 2 is solid garbage, and the garbage categories of garbage 4 and 5 are bagged.
  • the priority of garbage 4 and 5 is higher than garbage 2; the volume of garbage 4 is larger than garbage 5, then the priority of garbage 5 is higher than garbage 4; according to the above content, the priority of each garbage
  • the order of high and low is garbage 3> garbage 1> garbage 5> garbage 4> garbage 2, then the sorting scheme is to control the robotic arm to sort garbage to garbage storage bins in the order of priority from high to low Inside.
  • the preset garbage disposal strategy requires different types of garbage to be placed in different garbage storage bins, which can be based on the size information, garbage category and corruption information of each garbage, and the preset garbage disposal
  • the strategy determines the garbage sorting plan, and controls the robotic arm to process the garbage according to the garbage sorting plan.
  • a camera can be used to capture the image data of the garbage storage bin, process the image data of the garbage storage bin, and calculate the remaining storage space of the garbage storage bin. If the remaining storage space of the garbage storage bin is less than the following If the volume of garbage to be accommodated, stop the movement of the robotic arm, replace the garbage storage box, and then start the robotic arm to continue garbage storage processing.
  • the above-mentioned system also includes a garbage compression device.
  • the garbage compression device is used to compress the volume of garbage in the garbage storage bin. It can be set every preset time (for example, every 30 seconds) or every storage preset Control the garbage compression device to compress the garbage in the garbage storage box to make the garbage storage box free up more remaining storage space and accommodate more garbage .
  • the image data and odor data of garbage are collected through a camera and an odor sensor, and the image data and odor data are processed to obtain the size information, garbage category, and corruption type of each garbage.
  • the sorting plan of the garbage can be determined.
  • the robot arm is controlled to process the garbage, so as to realize the automatic sorting and storage of the garbage, without manual participation, and improve the garbage.
  • the priority of each garbage can be determined according to the preset priority strategy, and the robotic arm can be controlled to sort the garbage to garbage in the order of priority from high to low. In the storage box, automatic storage of garbage is realized.
  • the garbage processing device includes: a processor, wherein the processor is used to execute The following program modules of the memory:
  • the data collection module 301 is used to obtain image data obtained by the camera collecting garbage and odor data obtained by the odor sensor collecting garbage;
  • the data processing module 302 is configured to process the image data and the smell data to obtain size information, garbage category, and corruption type of each garbage;
  • the garbage processing module 303 is configured to determine the sorting scheme of the garbage according to the size information, the garbage category and the corruption information of the respective garbage, and control the robotic arm to process the garbage according to the sorting scheme.
  • the data processing module 302 includes:
  • the corner detection sub-module is used to perform corner detection on the image data using the Harris corner detection algorithm to obtain a corner detection result
  • the size information sub-module is used to calculate the size information of each garbage in the image data according to the corner detection result.
  • the data processing module 302 includes:
  • the garbage category sub-module is used to input the image data into the trained garbage recognition neural network model to obtain the garbage category of each garbage object.
  • the data processing module 302 includes:
  • the corruption type sub-module is used to input the odor data into the preset odor model to obtain the corruption type of each garbage.
  • the device further includes:
  • the image denoising module is used to perform denoising processing on the image data to obtain denoised image data.
  • the garbage processing module 303 includes:
  • the priority sub-module is used to determine the priority of each rubbish according to its size information, rubbish category, corruption information and preset priority strategy;
  • the sequence sorting sub-module is used to control the robotic arm to sort garbage to the garbage storage bin in the order of priority from high to low.
  • the garbage recognition neural network model is specifically a convolutional neural network model.
  • FIG. 4 is a schematic diagram of a terminal device provided in Embodiment 3 of the present application.
  • the terminal device 4 of this embodiment includes a processor 40, a memory 41, and a computer program 42 stored in the memory 41 and running on the processor 40.
  • the processor 40 executes the computer program 42, the steps in the embodiment of the garbage processing method described above are implemented, for example, steps S201 to S203 shown in FIG. 2.
  • the processor 40 executes the computer program 42, the functions of the modules/units in the foregoing device embodiments, such as the functions of the modules 301 to 303 shown in FIG. 3, are realized.
  • the computer program 42 may be divided into one or more modules/units, and the one or more modules/units are stored in the memory 41 and executed by the processor 40 to complete This application.
  • the one or more modules/units may be a series of computer program instruction segments capable of completing specific functions, and the instruction segments are used to describe the execution process of the computer program 42 in the terminal device 4.
  • the computer program 42 can be divided into a data collection module, a data processing module, and a garbage processing module.
  • the specific functions of each module are as follows:
  • the data collection module is used to obtain the image data obtained by the camera collecting garbage and the odor data obtained by the odor sensor collecting garbage;
  • a data processing module used to process the image data and the smell data to obtain size information, garbage category, and corruption type of each garbage;
  • the garbage processing module is used to determine the sorting scheme of the garbage according to the size information, the garbage category and the corruption information of the respective garbage, and control the robotic arm to process the garbage according to the sorting scheme.
  • the terminal device 4 may be a computing device such as a desktop computer, a notebook, a palmtop computer, and a cloud server.
  • the terminal device may include, but is not limited to, a processor 40 and a memory 41.
  • FIG. 4 is only an example of the terminal device 4, and does not constitute a limitation on the terminal device 4. It may include more or less components than shown in the figure, or a combination of certain components, or different components.
  • the terminal device may also include input and output devices, network access devices, buses, etc.
  • the so-called processor 40 may be a central processing unit (Central Processing Unit, CPU), other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the memory 41 may be an internal storage unit of the terminal device 4, such as a hard disk or a memory of the terminal device 4.
  • the memory 41 may also be an external storage device of the terminal device 4, such as a plug-in hard disk equipped on the terminal device 4, a smart memory card (Smart Media Card, SMC), and a Secure Digital (SD) Card, Flash Card, etc. Further, the memory 41 may also include both an internal storage unit of the terminal device 4 and an external storage device.
  • the memory 41 is used to store the computer program and other programs and data required by the terminal device.
  • the memory 41 can also be used to temporarily store data that has been output or will be output.
  • the disclosed apparatus/terminal device and method may be implemented in other ways.
  • the device/terminal device embodiments described above are only illustrative.
  • the division of the modules or units is only a logical function division, and there may be other divisions in actual implementation, such as multiple units.
  • components can be combined or integrated into another system, or some features can be omitted or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • each unit in each embodiment of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit can be implemented in the form of hardware or software functional unit.
  • the integrated module/unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium.
  • this application implements all or part of the processes in the above-mentioned embodiments and methods, and can also be completed by instructing relevant hardware through a computer program.
  • the computer program can be stored in a computer-readable storage medium. When the program is executed by the processor, the steps of the foregoing method embodiments can be implemented.
  • the computer program includes computer program code, and the computer program code may be in the form of source code, object code, executable file, or some intermediate forms.
  • the computer-readable medium may include: any entity or device capable of carrying the computer program code, recording medium, U disk, mobile hard disk, magnetic disk, optical disk, computer memory, read-only memory (ROM, Read-Only Memory) , Random Access Memory (RAM, Random Access Memory), electrical carrier signal, telecommunications signal, and software distribution media, etc.
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • electrical carrier signal telecommunications signal
  • software distribution media etc.
  • the content contained in the computer-readable medium can be appropriately added or deleted in accordance with the requirements of the legislation and patent practice in the jurisdiction.
  • the computer-readable medium Does not include electrical carrier signals and telecommunication signals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

一种垃圾处理方法，包括：获取摄像头采集垃圾物得到的图像数据和气味传感器采集垃圾物得到的气味数据；对图像数据和气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型；根据各个垃圾物的尺寸信息、垃圾类别和腐败信息确定垃圾物的分拣方案，根据分拣方案控制机械臂对垃圾物进行处理。还公开了一种垃圾处理装置及终端设备。该方法可以解决现有技术中通过人工分拣方式对垃圾处理站内垃圾进行收纳处理，处理效率慢，易对工作人员身体造成不利影响的问题。

Description

一种垃圾处理方法、装置及终端设备 技术领域
本申请属于软件应用技术领域，尤其涉及一种垃圾处理方法、装置及终端设备。
背景技术
随着科技的发展，人们的生产和生活过程中，产生的垃圾越来越多，垃圾处理站的处理压力越来越大。
当垃圾进入到垃圾处理站后，需要将垃圾收纳至垃圾收纳箱内，然后再进行后续处理，例如焚烧、填埋等。当前在垃圾处理站内，主要通过人工分拣的方式对垃圾进行收纳处理，处理效率慢，并且工作环境恶劣，易对工作人员的身体造成不利影响。
技术问题
有鉴于此，本申请实施例提供了一种垃圾处理方法、装置及终端设备，以解决现有技术中通过人工分拣的方式对垃圾处理站内的垃圾进行收纳处理，处理效率慢，易对工作人员的身体造成不利影响的问题。
技术解决方案
本申请实施例的第一方面提供了一种垃圾处理方法，包括：
获取摄像头采集垃圾物得到的图像数据和气味传感器采集垃圾物得到的气味数据；
对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型；
根据所述各个垃圾物的尺寸信息、垃圾类别和腐败信息确定所述垃圾物的分拣方案，根据所述分拣方案控制机械臂对所述垃圾物进行处理。
本申请实施例的第二方面提供了一种垃圾处理装置，包括：
数据采集模块，用于获取摄像头采集垃圾物得到的图像数据和气味传感器采集垃圾物得到的气味数据；
数据处理模块，用于对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型；
垃圾处理模块，用于根据所述各个垃圾物的尺寸信息、垃圾类别和腐败信息确定所述垃圾物的分拣方案，根据所述分拣方案控制机械臂对所述垃圾物进行处理。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得终端设备执行如上述方法的步骤。
有益效果
在本申请的垃圾处理方案中，通过摄像头和气味传感器采集垃圾物的图像数据和气味数据，对图像数据和气味数据进行处理，可以得到各个垃圾物的尺寸信息、垃圾类别和腐败类型，根据各个垃圾物的尺寸信息、垃圾类别和腐败类型可以确定垃圾物的分拣方案，根据分拣方案控制机械臂对垃圾物进行处理，实现垃圾物的自动分拣收纳，无需人工参与，提高垃圾物的处理效率，解决了现有技术中通过人工分拣的方式对垃圾处理站内的垃圾进行收纳处理，处理效率慢，易对工作人员的身体造成不利影响的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种垃圾处理系统的系统示意图；
图2是本申请实施例提供的一种垃圾处理方法的流程示意图；
图3是本申请实施例提供的一种垃圾处理装置的示意图；
图4是本申请实施例提供的终端设备的示意图。
本发明的实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，图1是本申请实施例适用的一种系统示意图。该系统包括：摄像头101、机械臂102、气味传感器、垃圾处理装置103。所述摄像头101、机械臂102以及气味传感器与垃圾处理装置103通过有线和/或无线网络进行通信。
其中，所述系统中可以设置有一个或多个摄像头101，所述摄像头101可以为数字摄像头和/或模拟摄像头，所述摄像头101的外观可以为枪机、半球机、球机等，具体设置方案可以根据实际情况进行选择。
所述系统中可以设置有一个或多个气味传感器，所述气味传感器用于采集垃圾物的气味数据，所述气味传感器可以为固定式设置(例如，可以在垃圾堆放平台的底部每隔固定距离设置一个气味传感器)，也可以为活动式设置(例如，可以在机械臂上安装集成了气味传感器的探头)，具体设置方案可以根据实际情况进行选择。
所述机械臂102可以为多关节机械臂、直角坐标系机械臂、球坐标系机械臂、极坐标机械臂、柱坐标机械臂等。
所述垃圾处理装置103用于根据所述摄像头101和所述气味传感器采集垃圾物得到图像数据和气味数据制定垃圾物的分拣方案，控制机械臂102根据所述垃圾物的分拣方案对垃圾物进行处理。
本申请以下实施例主要以图1所示的系统场景为例，对本申请实施例提供的垃圾处理方法、垃圾处理装置及终端设备进行阐述。
实施例一：
下面对本申请实施例一提供的一种垃圾处理方法进行描述，请参阅附图2，本申请实施例一中的垃圾处理方法包括：
步骤S201、获取摄像头采集垃圾物得到的图像数据和气味传感器采集垃圾物得到的气味数据；
在日常生活的场景中，垃圾车从城市中的各个垃圾回收点收集了垃圾后，需要运输到垃圾处理站进行处理，垃圾处理站需要将这些垃圾收纳至垃圾收纳箱中，然后再对一箱箱 的垃圾进行后续处理，例如填埋、焚烧发电等。
当垃圾车将垃圾运输至垃圾回收站后，当前主要是通过人工分拣的方式将垃圾收纳至垃圾收纳箱，处理效率低，且工作环境恶劣，易对工作人员的身体造成不利影响。
在本申请的垃圾处理方法中，可以先使用摄像头采集垃圾物的图像数据，使用气味传感器采集垃圾物的气味数据。
其中，使用摄像头采集到垃圾物的图像数据后，由于光照、成像角度等因素的影响，摄像头采集到的图像数据可能会有逆光、边缘模糊和相机抖动等问题。因此，在一些可能的实现方式中，可以对图像数据进行去噪处理，得到去噪后的图像数据，提高图像数据的质量，具体的去噪处理方法如下：
摄像头采集到的图像数据可以表示为：
H(x)＝F(x)e -rd(x)+A(1-e -rd(x))
其中，x为图像数据中各个像素点的空间坐标，H(x)为摄像头采集到的图像数据，F(x)为去噪后的图像数据，r表示大气散射系数，d表示景物深度，A是全局大气光常量，F(x)e -rd(x)表示景物表面的反射光在介质中传播时因散射等作用而衰减后摄像头采集到的图像数据，A(1-e -rd(x))表示环境光或大气光幕，环境光或大气光幕会导致图像数据中图像色彩和亮度的偏移。
将环境光表示为L(x)：
L(x)＝A(1-e -rd(x))
则摄像头采集到的图像数据可以表示为：
Figure PCTCN2019099436-appb-000001
对上式进行变换，可得去噪处理的表达式为：
Figure PCTCN2019099436-appb-000002
根据上式对摄像头采集到的图像数据进行去噪处理，降低噪声的干扰，得到去噪后的图像数据，提高图像数据的质量。
步骤S202、对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型；
得到图像数据和气味数据后，可以对图像数据和气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型，以此作为垃圾物的分拣方案的制定依据。
在一些可能的实现方式中，可以使用harris角点检测算法对所述图像数据进行角点检测，得到角点检测结果，然后根据所述角点检测结果计算所述图像数据中各个垃圾物的尺寸信息。
在图像数据中，在同质区域(同一个物体对应的图像区域)的内部，不同方向的灰度变化较小，在同质区域的边缘处，仅在垂直与边缘脊方向存在较大的灰度变化，但是在同质区域的角点处，存在多个方向呈现较大的灰度变化，因此，可以依此对图像数据进行角点检测。
角点检测的方法如下：
检测输入图像在x轴方向和y轴方向的一阶偏导：
Figure PCTCN2019099436-appb-000003
Figure PCTCN2019099436-appb-000004
其中，I为输入图像，在本实施例中，I表示进行角点检测的图像数据，I x和I y为I的一阶偏导。
使用各向同性高斯核对输入图像的一阶偏导进行平滑处理，并构建自相关矩阵M：
Figure PCTCN2019099436-appb-000005
Figure PCTCN2019099436-appb-000006
Figure PCTCN2019099436-appb-000007
Figure PCTCN2019099436-appb-000008
其中，G为各向同性高斯核函数，
Figure PCTCN2019099436-appb-000009
和
Figure PCTCN2019099436-appb-000010
为I经过各向同性高斯核函数平滑处理后 的一阶偏导，б为高斯平滑尺度，
Figure PCTCN2019099436-appb-000011
为卷积算子，M为自相关矩阵。
计算自相关矩阵M的特征值，根据自相关矩阵M的特征值计算角点响应值R：
R＝αβ-k(α+β) 2
α和β为自相关矩阵M的特征值，k为错误角点响应抑制常数，通常k的取值为(0,0.1]。
根据R的数值以及预设的角点阈值可以确定图像数据中心的角点，得到角点检测结果。
得到角点检测结果之后，可以计算出垃圾物的各边边长和夹角，得出垃圾物的几何尺寸信息，例如，垃圾物1的角点1的坐标为(x1，y1)，角点2的坐标为(x2，y2)，则角点1和角点2之间的边长L为：
Figure PCTCN2019099436-appb-000012
由于垃圾物不一定是规则形状，也可能是曲线外形，因此，可以根据垃圾物各相邻的边之间的夹角确定垃圾物的外形，例如，垃圾物各相邻的边的夹角均小于或等于90度，则表示垃圾物可能是规则形状，可以将垃圾物拟合成长方体，通过插值拟合计算垃圾物的长宽高；如果垃圾物各相邻的边的夹角大部分是大于90度，则表示垃圾物的外形可能是曲线外形，例如可能是装满垃圾的塑料袋，此时可以将垃圾物插值拟合成球形，计算垃圾物的半径，或将垃圾物拟合成椭球形，计算垃圾物的长径和短径。
在一些可能的实现方式中，可以将图像数据输入经过训练的垃圾识别神经网络模型中，得到各个垃圾物的垃圾类别。
上述垃圾识别神经网络模型可以为卷积神经网络模型，垃圾识别神经网络模型的训练过程可以为：
1.1、使用摄像头拍摄常见垃圾物的图像，构建样本集；
1.2、从样本集中选取预设数量的样本图像，这些样本图像分别为固体垃圾(例如建筑垃圾)的图像(记为C0类)，袋装垃圾(例如塑料袋装的垃圾)的图像(记为C1类)，散装垃圾(例如零散的易拉罐、塑料瓶等)的图像(记为C2类)，分别为各类样本图像标注类别标签；
1.3、将选取的样本图像中的一部分(例如90％)作为训练样本图像，将剩余部分(例如10％)作为验证样本图像；
1.4、将训练样本图像随机打乱后输入未训练的垃圾识别神经网络模型中进行训练，其中，可以选用Keras作为垃圾识别神经网络模型的框架搭建平台，以卷积神经网络模型(CNN)作为垃圾识别神经网络模型，创建用于垃圾识别的顺序模型，训练时，损失函数可以使用交叉熵(categorical_crossentropy)损失函数，优化函数可以采用adadelta函数， 训练的迭代轮次可以根据实际情况进行设置，例如可以设置为45轮，训练时可以使用GPU并行运算加快卷积计算和网络模型的收敛速度；
1.5、训练完成后，使用验证集对经过训练的垃圾识别神经网络模型进行验证，若正确率高于预设正确率阈值，则完成训练，保存经过训练的垃圾识别神经网络模型。
在一些可能的实现方式中，卷积神经网络模型可以包含：第一卷积层、第一激活层、第二卷积层、第二激活层、第一池化层、第三卷积层、第三激活层、第二池化层、扁平(Flatten)层、第一全连接层、第四激活层、Dropout层、第二全连接层、第五激活层，各层依次连接。
其中，第一卷积层可以包含4个卷积核，每个卷积核的尺寸为5*5；第一激活层的激活函数为Relu函数；第二卷积层可以为包含8个卷积层，每个卷积核的尺寸为3*3；第二激活层的激活函数为Relu函数；第一池化层为最大池化层，竖直和水平方向上的下采样因子分别取(2,2)；第三卷积层可以包含16个卷积核，每个卷积核的尺寸为3*3；第三激活层的激活函数为Relu函数；第二池化层为最大池化层，竖直和水平方向上的下采样因子分别取(2,2)；扁平层用于将多维输入转换为一维特征向量；第一全连接层的输出节点为128个，初始化方法为normal方法；第四激活层的激活函数为Relu函数；Dropout层用于随机断开输入神经元，以防止过拟合，随即断开的输入神经元的连接比例可以设置为0.3；第二全连接层的输出节点为3；第五激活层的激活函数为softmax函数，输出三种类别标签的概率。
在一些可能的实现方式中，可以将气味数据输入预设气味模型中，得到各个垃圾物的腐败信息，例如，可以在预设的气味模型中设置有多种腐败气味的气味数据，如果气味传感器采集的气味数据与任一腐败气味的气味数据匹配，则判定垃圾物的腐败信息为已腐败，如果气味传感器采集的气味数据与任一腐败气味的气味数据均不匹配，则判定垃圾物的腐败信息为未腐败。
步骤S203、根据所述各个垃圾物的尺寸信息、垃圾类别和腐败信息确定所述垃圾物的分拣方案，根据所述分拣方案控制机械臂对所述垃圾物进行处理。
获取到各个垃圾物的尺寸信息、垃圾类别和腐败信息后，可以确定垃圾物的分拣方案，根据分拣方案控制机械臂对所述垃圾物进行处理。
在一些可能的实现方案中，可以根据预设优先级策略确定各个垃圾物的优先级，控制机械臂按照优先级从高到低的顺序将垃圾物分拣至垃圾收纳箱。
预设优先级策略可以为：优先处理腐败信息为已腐败的垃圾物，避免已腐败的垃圾物让未腐败的垃圾物加速腐败。
在相同腐败信息的垃圾物中，可以根据垃圾类别确定优先级，为了确保垃圾收纳箱可以容纳更多的垃圾，各个垃圾物类别的优先级为散装垃圾>袋装垃圾>固体垃圾，散装垃圾 的压缩空间最大，固体垃圾的压缩空间最小，按照上述优先级分拣垃圾，可以确保垃圾收纳箱的空间容纳尽可能多的垃圾。
在相同腐败信息且相同类别的垃圾物中，可以根据尺寸信息确定优先级，优先处理体积小的垃圾，提高垃圾收纳箱的收纳能力。
获取到各个垃圾物的尺寸信息、垃圾类别和腐败信息后，可以根据预设优先级策略确定各个垃圾物的优先级，从而确定垃圾物的分拣方案，例如，有五个垃圾物，垃圾物1和垃圾物3的腐败信息为已腐败，垃圾物2、4和5的腐败信息为未腐败，则垃圾物1和3的优先级高于垃圾物2、4和5；垃圾物1的垃圾类别为袋装垃圾，垃圾物3的垃圾类别为散装垃圾，则垃圾物3的优先级高于垃圾物1；垃圾物2的垃圾类别为固体垃圾，垃圾物4和5的垃圾类别为袋装垃圾，则垃圾物4和5的优先级高于垃圾物2；垃圾物4的体积大于垃圾物5，则垃圾物5的优先级高于垃圾物4；根据上述内容可知各个垃圾物的优先级高低顺序依次为垃圾物3>垃圾物1>垃圾物5>垃圾物4>垃圾物2，则分拣方案为控制机械臂按照优先级从高到低的顺序将垃圾物分拣至垃圾收纳箱内。
在另一些可能的实现方式中，预设的垃圾投放策略要求不同垃圾类型的垃圾放置在不同的垃圾收纳箱中，则可以根据各个垃圾物的尺寸信息、垃圾类别和腐败信息以及预设垃圾投放策略确定垃圾物的分拣方案，根据垃圾物的分拣方案控制机械臂对垃圾物进行处理。
在一些可能的实现方式中，可以使用摄像头拍摄垃圾收纳箱的图像数据，对垃圾收纳箱的图像数据进行处理，计算垃圾收纳箱的剩余可收纳空间，如果垃圾收纳箱的剩余可收纳空间小于下一个待收纳的垃圾物的体积，则停止机械臂的运动，更换垃圾收纳箱，然后启动机械臂继续进行垃圾收纳处理。
在一些可能的实现方式，上述系统还包括垃圾压缩装置，垃圾压缩装置用于压缩垃圾收纳箱内的垃圾物的体积，可以设置每隔预设时间(例如每隔30秒)或每收纳预设数量的垃圾物(例如每收纳10个垃圾物)就控制垃圾压缩装置对垃圾收纳箱内的垃圾进行垃圾压缩处理，使垃圾收纳箱腾出更多的剩余可收纳空间，容纳更多的垃圾物。
本实施例一提供的垃圾处理方法中，通过摄像头和气味传感器采集垃圾物的图像数据和气味数据，对图像数据和气味数据进行处理，可以得到各个垃圾物的尺寸信息、垃圾类别和腐败类型，根据各个垃圾物的尺寸信息、垃圾类别和腐败类型可以确定垃圾物的分拣方案，根据分拣方案控制机械臂对垃圾物进行处理，实现垃圾物的自动分拣收纳，无需人工参与，提高垃圾物的处理效率，解决了现有技术中通过人工分拣的方式对垃圾处理站内的垃圾进行收纳处理，处理效率慢，易对工作人员的身体造成不利影响的问题。
对图像数据和气味数据进行处理时，可以使用harris角点检测算法检测图像数据中各个垃圾物的角点检测结果，根据角点检测结果计算垃圾物的尺寸信息；可以使用经过训练的 垃圾识别神经网络模型对图像数据进行识别，得到各个垃圾物的垃圾类别；可以使用预设气味模型识别各个垃圾物的腐败信息。
获取到各个垃圾物的尺寸信息、垃圾类别和腐败类型之后，可以根据预设优先级策略确定各个垃圾物的优先级，控制机械臂按照优先级从高到低的顺序将垃圾物分拣至垃圾收纳箱内，实现垃圾物的自动收纳。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例二：
本申请实施例二提供了一种垃圾处理装置，为便于说明，仅示出与本申请相关的部分，如图3所示，垃圾处理装置包括：处理器，其中，所述处理器用于执行存在存储器的以下程序模块：
数据采集模块301，用于获取摄像头采集垃圾物得到的图像数据和气味传感器采集垃圾物得到的气味数据；
数据处理模块302，用于对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型；
垃圾处理模块303，用于根据所述各个垃圾物的尺寸信息、垃圾类别和腐败信息确定所述垃圾物的分拣方案，根据所述分拣方案控制机械臂对所述垃圾物进行处理。
进一步地，所述数据处理模块302包括：
角点检测子模块，用于使用harris角点检测算法对所述图像数据进行角点检测，得到角点检测结果；
尺寸信息子模块，用于根据所述角点检测结果计算所述图像数据中各个垃圾物的尺寸信息。
进一步地，所述数据处理模块302包括：
垃圾类别子模块，用于将所述图像数据输入经过训练的垃圾识别神经网络模型中，得到各个垃圾物的垃圾类别。
进一步地，所述数据处理模块302包括：
腐败类型子模块，用于将所述气味数据输入预设气味模型中，得到各个垃圾物的腐败类型。
进一步地，所述装置还包括：
图像去噪模块，用于对所述图像数据进行去噪处理，得到去噪后的图像数据。
进一步地，所述垃圾处理模块303包括：
优先级子模块，用于根据各个垃圾物的尺寸信息、垃圾类别、腐败信息以及预设优先级策略确定各个垃圾物的优先级；
顺序分拣子模块，用于控制机械臂按照优先级从高到低的顺序将垃圾物分拣至垃圾收纳箱。
进一步地，所述垃圾识别神经网络模型具体为卷积神经网络模型。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例三：
图4是本申请实施例三提供的终端设备的示意图。如图4所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述垃圾处理方法实施例中的步骤，例如图2所示的步骤S201至S203。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块301至303的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。例如，所述计算机程序42可以被分割成数据采集模块、数据处理模块以及垃圾处理模块，各模块具体功能如下：
数据采集模块，用于获取摄像头采集垃圾物得到的图像数据和气味传感器采集垃圾物得到的气味数据；
数据处理模块，用于对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型；
垃圾处理模块，用于根据所述各个垃圾物的尺寸信息、垃圾类别和腐败信息确定所述垃圾物的分拣方案，根据所述分拣方案控制机械臂对所述垃圾物进行处理。
所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用 处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装 置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (13)

  1. 一种垃圾处理方法，其特征在于，包括：
    获取摄像头采集垃圾物得到的图像数据和气味传感器采集垃圾物得到的气味数据；
    对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型；
    根据所述各个垃圾物的尺寸信息、垃圾类别和腐败信息确定所述垃圾物的分拣方案，根据所述分拣方案控制机械臂对所述垃圾物进行处理。
  2. 如权利要求1所述的垃圾处理方法，其特征在于，所述对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型包括：
    使用harris角点检测算法对所述图像数据进行角点检测，得到角点检测结果；
    根据所述角点检测结果计算所述图像数据中各个垃圾物的尺寸信息。
  3. 如权利要求1所述的垃圾处理方法，其特征在于，所述对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型包括：
    将所述图像数据输入经过训练的垃圾识别神经网络模型中，得到各个垃圾物的垃圾类别。
  4. 如权利要求1所述的垃圾处理方法，其特征在于，所述对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型包括：
    将所述气味数据输入预设气味模型中，得到各个垃圾物的腐败类型。
  5. 如权利要求1所述的垃圾处理方法，其特征在于，在所述对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型之前，还包括：
    对所述图像数据进行去噪处理，得到去噪后的图像数据。
  6. 如权利要求1所述的垃圾处理方法，其特征在于，所述根据所述各个垃圾物的尺寸信息、垃圾类别和腐败信息确定所述垃圾物的分拣方案，根据所述分拣方案控制机械臂对所述垃圾物进行处理包括：
    根据各个垃圾物的尺寸信息、垃圾类别、腐败信息以及预设优先级策略确定各个垃圾物的优先级；
    控制机械臂按照优先级从高到低的顺序将垃圾物分拣至垃圾收纳箱。
  7. 如权利要求3所述的垃圾处理方法，其特征在于，所述垃圾识别神经网络模型具体为卷积神经网络模型。
  8. 一种垃圾处理装置，其特征在于，包括：
    数据采集模块，用于获取摄像头采集垃圾物得到的图像数据和气味传感器采集垃圾物得到的气味数据；
    数据处理模块，用于对所述图像数据和所述气味数据进行处理，得到各个垃圾物的尺寸信息、垃圾类别和腐败类型；
    垃圾处理模块，用于根据所述各个垃圾物的尺寸信息、垃圾类别和腐败信息确定所述垃圾物的分拣方案，根据所述分拣方案控制机械臂对所述垃圾物进行处理。
  9. 如权利要求8所述的垃圾处理装置，其特征在于，所述数据处理模块包括：
    角点检测子模块，用于使用harris角点检测算法对所述图像数据进行角点检测，得到角点检测结果；
    尺寸信息子模块，用于根据所述角点检测结果计算所述图像数据中各个垃圾物的尺寸信息。
  10. 如权利要求8所述的垃圾处理装置，其特征在于，所述数据处理模块包括：
    垃圾类别子模块，用于将所述图像数据输入经过训练的垃圾识别神经网络模型中，得到各个垃圾物的垃圾类别。
  11. 如权利要求8所述的垃圾处理装置，其特征在于，所述数据处理模块包括：
    腐败类型子模块，用于将所述气味数据输入预设气味模型中，得到各个垃圾物的腐败类型。
  12. 一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
  13. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
PCT/CN2019/099436 2019-08-06 2019-08-06 一种垃圾处理方法、装置及终端设备 WO2021022475A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/099436 WO2021022475A1 (zh) 2019-08-06 2019-08-06 一种垃圾处理方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/099436 WO2021022475A1 (zh) 2019-08-06 2019-08-06 一种垃圾处理方法、装置及终端设备

Publications (1)

Publication Number Publication Date
WO2021022475A1 true WO2021022475A1 (zh) 2021-02-11

Family

ID=74502535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/099436 WO2021022475A1 (zh) 2019-08-06 2019-08-06 一种垃圾处理方法、装置及终端设备

Country Status (1)

Country Link
WO (1) WO2021022475A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220873A (zh) * 2021-03-12 2021-08-06 安庆职业技术学院 一种基于Keras的卷积神经网络的垃圾短信分类方法
CN113391564A (zh) * 2021-06-07 2021-09-14 软联(海南)科技有限公司 一种基于互联网的小区垃圾场管理的系统和方法
CN113657708A (zh) * 2021-07-05 2021-11-16 江汉大学 一种服务器的处理方法、装置以及服务器
CN113682675A (zh) * 2021-07-31 2021-11-23 北京五指术健康科技有限公司 一种基于驱动装置的垃圾自动分拣系统与方法
CN113998338A (zh) * 2021-11-23 2022-02-01 浙江理工大学 智能垃圾分类系统
CN115178498A (zh) * 2022-07-11 2022-10-14 广东鸿山环境集团有限公司 一种智能垃圾处理和分类系统
CN116189099A (zh) * 2023-04-25 2023-05-30 南京华苏科技有限公司 基于改进yolov8的暴露垃圾检测及堆放监控的方法
CN116342895A (zh) * 2023-05-31 2023-06-27 浙江联运知慧科技有限公司 基于ai处理的提升再生资源分拣效率的方法及系统
CN117900166A (zh) * 2024-03-19 2024-04-19 浙江联运知慧科技有限公司 一种智能ai分拣装备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4414112A1 (de) * 1994-04-22 1995-10-26 Johannes Bauer Maschinen Und A Verfahren und Vorrichtung zum Trennen unterschiedlicher Wertstoffe
DE19959198A1 (de) * 1999-12-08 2001-06-13 Abb Patent Gmbh Vorrichtung und Verfahren zur Erfassung der Oberflächenbeschaffenheit eines Transportgutes
CN204649719U (zh) * 2015-05-11 2015-09-16 武汉优斯特传感器科技有限公司 一种食品腐烂传感器
CN106874954A (zh) * 2017-02-20 2017-06-20 佛山市络思讯科技有限公司 一种信息获取的方法以及相关装置
CN106882511A (zh) * 2017-04-27 2017-06-23 北京伽亚泰科技有限公司 一种具有腐烂预警功能的垃圾桶装置及其方法
CN108861183A (zh) * 2018-03-26 2018-11-23 厦门快商通信息技术有限公司 一种基于机器学习的垃圾智能分类方法
CN109165811A (zh) * 2018-07-23 2019-01-08 星络科技有限公司 社区垃圾处理方法、系统、终端和计算机可读存储介质
CN110059767A (zh) * 2019-04-28 2019-07-26 宿迁海沁节能科技有限公司 一种基于次卷积超相关的垃圾识别分类处理深度学习方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4414112A1 (de) * 1994-04-22 1995-10-26 Johannes Bauer Maschinen Und A Verfahren und Vorrichtung zum Trennen unterschiedlicher Wertstoffe
DE19959198A1 (de) * 1999-12-08 2001-06-13 Abb Patent Gmbh Vorrichtung und Verfahren zur Erfassung der Oberflächenbeschaffenheit eines Transportgutes
CN204649719U (zh) * 2015-05-11 2015-09-16 武汉优斯特传感器科技有限公司 一种食品腐烂传感器
CN106874954A (zh) * 2017-02-20 2017-06-20 佛山市络思讯科技有限公司 一种信息获取的方法以及相关装置
CN106882511A (zh) * 2017-04-27 2017-06-23 北京伽亚泰科技有限公司 一种具有腐烂预警功能的垃圾桶装置及其方法
CN108861183A (zh) * 2018-03-26 2018-11-23 厦门快商通信息技术有限公司 一种基于机器学习的垃圾智能分类方法
CN109165811A (zh) * 2018-07-23 2019-01-08 星络科技有限公司 社区垃圾处理方法、系统、终端和计算机可读存储介质
CN110059767A (zh) * 2019-04-28 2019-07-26 宿迁海沁节能科技有限公司 一种基于次卷积超相关的垃圾识别分类处理深度学习方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220873A (zh) * 2021-03-12 2021-08-06 安庆职业技术学院 一种基于Keras的卷积神经网络的垃圾短信分类方法
CN113391564A (zh) * 2021-06-07 2021-09-14 软联(海南)科技有限公司 一种基于互联网的小区垃圾场管理的系统和方法
CN113657708A (zh) * 2021-07-05 2021-11-16 江汉大学 一种服务器的处理方法、装置以及服务器
CN113682675A (zh) * 2021-07-31 2021-11-23 北京五指术健康科技有限公司 一种基于驱动装置的垃圾自动分拣系统与方法
CN113682675B (zh) * 2021-07-31 2022-08-02 北京五指术健康科技有限公司 一种基于驱动装置的垃圾自动分拣系统与方法
CN113998338A (zh) * 2021-11-23 2022-02-01 浙江理工大学 智能垃圾分类系统
CN115178498A (zh) * 2022-07-11 2022-10-14 广东鸿山环境集团有限公司 一种智能垃圾处理和分类系统
CN116189099A (zh) * 2023-04-25 2023-05-30 南京华苏科技有限公司 基于改进yolov8的暴露垃圾检测及堆放监控的方法
CN116189099B (zh) * 2023-04-25 2023-10-10 南京华苏科技有限公司 基于改进yolov8的暴露垃圾检测及堆放监控的方法
CN116342895A (zh) * 2023-05-31 2023-06-27 浙江联运知慧科技有限公司 基于ai处理的提升再生资源分拣效率的方法及系统
CN116342895B (zh) * 2023-05-31 2023-08-11 浙江联运知慧科技有限公司 基于ai处理的提升再生资源分拣效率的方法及系统
CN117900166A (zh) * 2024-03-19 2024-04-19 浙江联运知慧科技有限公司 一种智能ai分拣装备
CN117900166B (zh) * 2024-03-19 2024-05-31 浙江联运知慧科技有限公司 一种智能ai分拣装备

Similar Documents

Publication Publication Date Title
WO2021022475A1 (zh) 一种垃圾处理方法、装置及终端设备
CN110653169B (zh) 一种垃圾处理方法、装置及终端设备
CN109740534B (zh) 图像处理方法、装置及处理设备
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
WO2020177432A1 (zh) 基于目标检测网络的多标签物体检测方法、系统、装置
CN110135341B (zh) 杂草识别方法、装置及终端设备
CN110008806B (zh) 信息处理装置、学习处理方法、学习装置及物体识别装置
CN107292886B (zh) 基于网格划分及神经网络的目标物入侵检测方法及装置
KR20190099914A (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US11074716B2 (en) Image processing for object detection
CN111860060A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
CN108428224B (zh) 基于卷积神经网的动物体表温度检测方法及装置
CN109444146A (zh) 一种工业加工产品的缺陷检测方法、装置及设备
CN113837316B (zh) 一种基于农产品的异常区域检测方法、装置、设备及介质
WO2022062238A1 (zh) 一种足球检测方法、装置、计算机可读存储介质及机器人
CN110852233A (zh) 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统
CN103955682A (zh) 基于surf兴趣点的行为识别方法及装置
CN113869211A (zh) 图像自动标注和标注质量自动评价方法及系统
CN109343701A (zh) 一种基于动态手势识别的智能人机交互方法
CN111080665B (zh) 图像边框识别方法、装置、设备和计算机存储介质
CN113313070A (zh) 架空输电线路缺陷检测方法、装置及电子设备
CN113591936B (zh) 一种车辆姿态估计方法、终端设备及存储介质
JP7294454B2 (ja) オブジェクト検出方法及びオブジェクト検出装置
CN115187800A (zh) 基于深度学习的人工智能商品检验方法、装置及介质
CN113573137A (zh) 视频画布边界检测方法、系统、终端设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19940802

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19940802

Country of ref document: EP

Kind code of ref document: A1