WO2021174759A1 - 垃圾分类处理方法、装置、终端及存储介质 - Google Patents

垃圾分类处理方法、装置、终端及存储介质 Download PDF

Info

Publication number
WO2021174759A1
WO2021174759A1 PCT/CN2020/105943 CN2020105943W WO2021174759A1 WO 2021174759 A1 WO2021174759 A1 WO 2021174759A1 CN 2020105943 W CN2020105943 W CN 2020105943W WO 2021174759 A1 WO2021174759 A1 WO 2021174759A1
Authority
WO
WIPO (PCT)
Prior art keywords
item
garbage
category
target
type
Prior art date
Application number
PCT/CN2020/105943
Other languages
English (en)
French (fr)
Inventor
田金戈
徐国强
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2021174759A1 publication Critical patent/WO2021174759A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B65F2001/008—Means for automatically selecting the receptacle in which refuse should be placed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/138—Identification means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/168—Sensing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/176—Sorting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/178—Steps
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Definitions

  • This application relates to the technical field of smart cities, and in particular to a method, device, terminal, and storage medium for sorting and processing garbage.
  • the first aspect of the present application provides a garbage sorting and processing method, which is applied to a smart trash can, and the garbage sorting and processing method includes:
  • the detection result is that the first voice information satisfies the preset activation condition, collecting an image of the target item, and identifying the first item type of the target item in the image through an item classification model;
  • the garbage classification model is used to obtain the garbage category corresponding to the first item category, and the smart trash can is controlled to open the garbage disposal corresponding to the garbage category Entrance for users to place;
  • control the smart trash can When there is no known item category corresponding to the second item category, control the smart trash can to open all garbage input inlets, and detect whether the garbage input inlet induces an item input signal;
  • the garbage disposal entrance When it is detected that the garbage disposal entrance generates an article disposal signal, mark the garbage disposal entrance as a target disposal entrance and obtain the type of garbage corresponding to the target disposal entrance;
  • the garbage type and the second item type of the target item are stored in association with the garbage classification database, and the garbage classification model is updated according to the updated garbage classification database.
  • a second aspect of the present application provides a terminal, the terminal includes a memory and a processor, the memory is configured to store at least one computer-readable instruction, and the processor is configured to execute the at least one computer-readable instruction to implement the following step:
  • the detection result is that the first voice information satisfies the preset activation condition, collecting an image of the target item, and identifying the first item type of the target item in the image through an item classification model;
  • the garbage classification model is used to obtain the garbage category corresponding to the first item category, and the smart trash can is controlled to open the garbage disposal corresponding to the garbage category Entrance for users to place;
  • control the smart trash can When there is no known item category corresponding to the second item category, control the smart trash can to open all garbage input inlets, and detect whether the garbage input inlet induces an item input signal;
  • the garbage disposal entrance When it is detected that the garbage disposal entrance generates an article disposal signal, mark the garbage disposal entrance as a target disposal entrance and obtain the type of garbage corresponding to the target disposal entrance;
  • the garbage type and the second item type of the target item are stored in association with the garbage classification database, and the garbage classification model is updated according to the updated garbage classification database.
  • a third aspect of the present application provides a computer-readable storage medium that stores computer-readable instructions, and when the at least one computer-readable instruction is executed by a processor, the following steps are implemented:
  • the detection result is that the first voice information satisfies the preset activation condition, collecting an image of the target item, and identifying the first item type of the target item in the image through an item classification model;
  • the garbage classification model is used to obtain the garbage category corresponding to the first item category, and the smart trash can is controlled to open the garbage disposal corresponding to the garbage category Entrance for users to place;
  • control the smart trash can When there is no known item category corresponding to the second item category, control the smart trash can to open all garbage input inlets, and detect whether the garbage input inlet induces an item input signal;
  • the garbage disposal entrance When it is detected that the garbage disposal entrance generates an article disposal signal, mark the garbage disposal entrance as a target disposal entrance and obtain the type of garbage corresponding to the target disposal entrance;
  • the garbage type and the second item type of the target item are stored in association with the garbage classification database, and the garbage classification model is updated according to the updated garbage classification database.
  • a fourth aspect of the present application provides a garbage sorting and processing device, which is applied to a smart trash can, and the garbage sorting and processing device includes:
  • the condition detection module is used to obtain the first voice information of the user, and detect whether the first voice information meets the preset activation condition through the voice detection model;
  • a category determination module configured to collect an image of a target item when the detection result is that the first voice information meets the preset activation condition, and identify the first item category of the target item in the image through an item classification model;
  • the information confirmation module is configured to output the first item category to the user in a voice prompt manner, and receive second voice information input by the user, wherein the second voice information is used to indicate whether the first item category is correct;
  • the garbage dumping module is used to obtain the garbage type corresponding to the first item type through the garbage classification model when the second voice information indicates that the first item type is correct, and control the smart trash can to open and the The garbage disposal entrance corresponding to the type of garbage for users to put in;
  • a category receiving module configured to receive the second article category of the target article input by the user when the second voice information indicates that the first article category is wrong;
  • the category detection module is configured to traverse the garbage classification database according to the second article category, and query whether there is a known article category corresponding to the second article category;
  • the entrance opening module is used to control the smart trash can to open all the garbage disposal entrances when there is no known item type corresponding to the second item type, and detect whether the garbage disposal entrance senses and generates an item delivery signal;
  • a category determination module which is used to mark the garbage disposal entrance as a target disposal entrance and obtain the type of garbage corresponding to the target disposal entrance when it is detected that the garbage disposal entrance generates an article disposal signal
  • the model updating module is used for storing the garbage classification and the second object classification of the target item in the garbage classification database, and updating the garbage classification model according to the updated garbage classification database.
  • the garbage sorting and processing method, garbage sorting and processing device, terminal, and computer-readable storage medium described in this application can promote the construction of smart cities and be applied to smart buildings, smart furniture, smart communities, and smart environmental protection. , Smart life and other fields.
  • This application uses camera units and voice units to complete human-computer interaction and improve the accuracy of garbage classification; a secondary classification method is adopted to classify the types of items first, and then determine the types of garbage based on the types of items to improve the accuracy of garbage classification
  • the control unit opens the corresponding entrance of the garbage dropping box, so as to avoid the situation of random dropping of garbage caused by the user not following the rules;
  • the infrared scanning unit detects the type of garbage corresponding to the target object to obtain the type of garbage corresponding to the unknown object type, thereby performing real-time automatic update of the garbage classification model.
  • Fig. 1 is a flowchart of a garbage sorting and processing method provided by the first embodiment of the present application.
  • Fig. 2 is a schematic structural diagram of a terminal provided by an embodiment of the present application.
  • Fig. 3 is an exemplary functional block diagram of the terminal shown in Fig. 2.
  • Fig. 1 is a flowchart of a garbage sorting and processing method provided by the first embodiment of the present application.
  • the garbage classification method is applied to a smart garbage can, and the smart garbage can includes a camera unit, a voice unit, an infrared scanning unit, a control unit, and a garbage dumping box.
  • the camera unit is used to collect images of the target item;
  • the voice unit is used to receive voice information output by the user, or the voice unit is used to output voice information to the user;
  • the infrared scanning unit is used to detect the target Whether the item is put into the garbage disposal box;
  • the garbage disposal box includes a garbage disposal entrance, and the garbage disposal entrance is used to put garbage into the garbage disposal box.
  • the preset types of garbage disposal bins may include dry garbage disposal bins, wet garbage disposal bins, hazardous garbage disposal bins, and recyclable garbage disposal bins, which are not specifically limited here.
  • an embodiment of the present application provides a garbage sorting and processing method, and the garbage sorting and processing method may include the following steps:
  • step S11 Acquire first voice information of the user, and detect whether the first voice information meets a preset activation condition through a voice detection model, and when the detection result is that the first voice information meets the preset activation condition, step S12 is executed.
  • the first voice information input by the user is collected through a voice unit.
  • a voice detection model is used to detect whether the first voice information meets a preset activation condition.
  • the voice detection model is a model for voice detection obtained by training using a deep learning network.
  • the preset activation condition is a voice command preset by a system user, and may include preset keywords, such as keywords such as garbage classification, garbage identification, and garbage placement.
  • the voice information input by the user may be unclear due to various reasons (for example, when the user is inputting the voice information, the volume is low, the surrounding environment is noisy, etc.), the voice information input by the user is not clear.
  • the user re-enters the voice information (for example, outputting a voice prompt of "I did not hear clearly, please re-enter") to avoid the inability to correctly recognize the voice detection model due to unclear voice information.
  • the method further includes: calculating the intelligibility of the first voice information; judging the first voice information Whether the intelligibility of the user exceeds the preset intelligibility threshold; when the intelligibility of the first voice information does not exceed the preset intelligibility threshold, reacquire the user's first voice information.
  • the intelligibility of speech describes the intelligibility of speech in a noisy environment.
  • the preset clarity threshold is a threshold preset by a system user, for example, the preset clarity threshold may be 95%.
  • the step of calculating the intelligibility of the first voice information may include: performing voice activity detection on the first voice information to obtain environmental noise information carried by the first voice information; and calculating the environment The ratio of noise information to the first voice information; and the intelligibility of the first voice information is obtained according to the ratio.
  • the environmental noise information may be embodied by physical changes such as the amplitude or energy of the noise information.
  • the step of collecting an image of the target item and identifying the item type of the target item in the image through the item classification model is performed.
  • the method before the step of collecting the image of the target article, the method further includes: turning on the camera unit and initializing the trained article classification model.
  • the voice unit does not receive a voice instruction meeting a preset activation condition, the camera unit is in a closed state, so as to achieve the purpose of saving power.
  • the training method of the trained item classification model may include: constructing an original data set; dividing the original data set into a training set and a verification set; inputting the training set Train to a preset deep learning model to obtain an item classification model, and use the verification set to verify the generated item classification model; if the verification pass rate is greater than the preset pass rate threshold, the training is completed, otherwise the The number of images of the target item in the verification set for re-training and verification.
  • the preset passing rate threshold is preset by the user, for example, the preset passing rate threshold is 99%.
  • the method for constructing the original data set includes: using web crawler technology to crawl multiple images of related items; labeling the multiple images of related items by item type; constructing based on multiple images of related items and corresponding item types The original data set.
  • the mainstream image search engine may be, for example, Baidu, Google, etc.
  • the image sharing website may be, for example, Flickr, Instagram, etc.
  • the method further includes: calculating the number of images of the target item of each item type ; Determine whether the number is less than a preset number threshold; when the result of the determination is that the number is less than the preset number threshold, increase the number of target items of the item type corresponding to the number by a perturbation method.
  • the perturbation method is used to perturb the image of the target item of the item type, thereby increasing the number of images of the target item of the item type, and avoiding the insufficient number of samples of the target item image of a certain item type, resulting in the training of the item
  • the classification model has poor generalization ability for the image of the target item of the item category. Regarding the disturbance method as the prior art, this application will not repeat it here.
  • S12. Collect an image of the target item, and identify the first item category of the target item in the image through an item classification model.
  • an image of a target article is collected, and the first article category of the target article in the image is identified through an article classification model.
  • the item classification model is a model preset by the user and used to classify target items.
  • the method further includes: calculating a quality evaluation value of the image; and detecting Whether the quality evaluation value meets the preset quality threshold; when the detection result is that the quality evaluation value does not meet the preset quality threshold, the image of the target item is reacquired until the quality evaluation value of the reacquired image satisfies all
  • the preset quality threshold the target area in the image meeting the preset quality threshold is segmented to obtain the target image; the target image is post-processed, and the post-processing includes one or more of the following: White balance processing, equalization processing.
  • the step of calculating the quality evaluation value of the image includes: obtaining the average brightness, noise intensity, and feature value clarity of the image; respectively according to the average brightness, noise intensity, and feature value clarity
  • the image brightness evaluation value, the image noise evaluation value and the image clarity evaluation value are calculated; the image brightness evaluation value, the image noise evaluation value and the image clarity evaluation value are weighted and calculated to obtain the image quality evaluation value.
  • the average brightness, noise intensity, and feature value definition of the image can be respectively calculated by a preset neural network, which will not be repeated here.
  • the average brightness, noise intensity, and characteristic sharpness respectively have a corresponding relationship with the image brightness evaluation value, image noise evaluation value, and image sharpness evaluation value.
  • the boundary thresholds a, b, c, and d are set. When the average brightness L of the image is within different boundary ranges, there is a corresponding image brightness evaluation value.
  • the image quality of the target item may be calculated by, for example, variance, mean, etc., and the target item's image with the variance less than a preset variance threshold can be eliminated, or the target item's image with the mean less than the preset average threshold can be eliminated .
  • the proportion of characteristic areas in an image may be relatively small. For example, in the image of the target item, only the item features are located in the middle of the entire image, and the remaining positions may be blank. Therefore, selecting useful areas containing item features and segmenting the useful areas in the image of the target item as the target area is beneficial to speeding up the feature extraction of the item classification model in the training process.
  • the YOKO target detection algorithm may be used to detect the target area in the image of the target item, and then the target area is segmented from the image of the target item.
  • the post-processing may be white balance processing, equalization processing, and the like.
  • An open source white balance tool can be used to perform white balance processing on the target image, and an open source equalization tool can also be used to perform equalization processing on the target image.
  • step S13 Output the first item category to the user through voice prompts, and receive second voice information input by the user, where the second voice information is used to indicate whether the first item category is correct, and when When the second voice information indicates that the first item type is correct, step S14 is executed, and when the second voice information indicates that the first item type is wrong, step S15 is executed.
  • the first item category is output to the user through voice prompts through the voice unit, and the user is prompted to confirm whether the first item category is correct, and the second voice information input by the user can be received through the voice unit to confirm the first item Is the type correct?
  • the second voice information can be "correct” or "error", which is not limited here.
  • the method further includes: detecting whether the garbage disposal entrance induces the disposal of the target item Signal; when the garbage disposal entrance senses and generates the disposal signal of the target item, the smart trash can is controlled to close the garbage disposal entrance.
  • the garbage classification model is a model trained in advance using a large amount of training data and used to classify garbage of a certain type of article.
  • the item type is input into the garbage classification model to obtain the garbage type corresponding to the target item.
  • the corresponding garbage type is recyclable garbage.
  • the garbage disposal entrance corresponding to the smart trash bin may include: a dry garbage disposal entrance, a wet garbage disposal entrance, a hazardous garbage disposal entrance, and a recyclable garbage disposal entrance.
  • an infrared scanning unit can be provided; preferably, for multiple types of garbage disposal entrances, an infrared scanning unit can be provided to save costs.
  • the smart trash can is controlled by the control unit to open the corresponding garbage disposal entrance, and the infrared scanning unit is turned on, and the infrared scanning unit senses whether there is a target item in the garbage disposal entrance. , And when the target item is sensed, it generates the corresponding item release signal.
  • the method further includes: outputting a voice prompt through a voice unit to prompt the user to put the target item into the smart trash can Corresponding to the opened garbage into the entrance.
  • the garbage type corresponding to the first item type is identified according to the garbage classification model, and the garbage disposal entrance corresponding to the smart trash can is opened through the control unit, and the user drops the target item to the corresponding garbage. Put it into the entrance, so as to avoid users' non-obedience to the rules and the situation of random dumping of garbage.
  • the step of detecting whether the garbage placement inlet induces an item placement signal further includes: detecting whether the garbage placement inlet induces an item placement signal for items other than the target item
  • the garbage disposal entrance senses and generates the disposal signal of the other items, obtain the user's identity information according to the first voice information; update the label corresponding to the identity information, wherein the label includes the garbage disposal error Times label.
  • the user identity information including the tag can also be periodically output to the relevant garbage disposal department, and the related garbage disposal department will criticize and educate users who have made too many mistakes in garbage disposal, thereby improving the user’s response to garbage at the root cause. The awareness of correct placement.
  • the voice unit when the second voice information indicates that the first item type is wrong, the voice unit prompts the user to output the second item type of the target item.
  • the content of the prompt may be: "Please tell me the type of the item”.
  • Step S16 Traverse the garbage classification database according to the second item type to query whether there is a known item type corresponding to the second item type, and when there is no known item type corresponding to the second item type, execute Step S17.
  • the garbage classification database is traversed according to the second item type to query whether there is a known item type corresponding to the second item type.
  • the garbage classification database includes data such as the name of the related item, the image of the related item, the item type name of the related item, and the name of the garbage type corresponding to the related item, which are stored in association with each other.
  • the step of traversing the garbage classification database according to the second item type to query whether there is a known item type corresponding to the second item type includes: inputting the second item type into a pre-trained In the name similarity acquisition model, a set of synonyms for the second item category is obtained; it is detected whether there is a target synonym in the set of synonyms that is consistent with the item category name of the known item category in the garbage classification database; when the detection result is all
  • the target synonym in the set of synonymous words is consistent with the item type name of the known item type in the garbage classification database, it is determined that there is a known item type corresponding to the second item type.
  • the synonym set of "mineral water bottle” obtained by the name similarity acquisition model includes: “plastic bottle”, “drinking water bottle”, “drink Bottle” and so on.
  • the synonym set contains "beverage bottle” and the article category of the known article category. If the name "beverage bottle” is the same, it is determined that the "mineral water bottle” is a known type of item.
  • the method further includes: when the detection result is that there is a known item type corresponding to the second item type, inputting the known item type into a garbage classification model, Obtain the type of garbage corresponding to the target item; control the smart trash can to open the garbage disposal entrance corresponding to the garbage type; detect whether the garbage disposal entrance induces an item disposal signal; when the garbage disposal entrance is detected, it generates When the item is put signal, the smart trash can is controlled to close the trash input entrance.
  • the method further includes: when the second voice information indicates that the first item type is wrong, storing the image of the first item type identification error and the corresponding second item type To the garbage classification database; calculate the number of images stored in a preset time period; determine whether the number exceeds a preset number threshold; when the result of the determination is that the number exceeds the preset number threshold, store The image and the corresponding second item category are used as a new training data set, and the item classification model is updated based on the new training data set.
  • the preset number threshold is set in advance, for example, the preset number threshold is 10.
  • step S17 Control the smart trash can to open all garbage disposal entrances, and detect whether the garbage disposal entrance generates an article disposal signal by sensing whether the garbage disposal entrance generates an article disposal signal.
  • step S18 is executed.
  • the garbage classification corresponding to the target item cannot be accurately identified according to the garbage classification model, and the garbage classification corresponding to the target item cannot be passed.
  • the control unit controls the smart trash can to open the corresponding garbage disposal inlet. Therefore, the user controls the smart trash can to open all garbage disposal portals, and the user manually completes the garbage classification and placement.
  • the infrared scanning unit senses and generates the disposal signal of the target item.
  • the garbage disposal inlet is closed within a predetermined time interval.
  • the predetermined time interval is preset, for example, the predetermined time interval is 10 seconds.
  • the control unit when it is detected that the garbage disposal entrance generates an article disposal signal, closes the infrared scanning unit and closes all garbage disposal entrances corresponding to the smart trash can. After the step of controlling the smart trash can to close all the garbage disposal entrances, the method further includes: marking the garbage disposal entrance as a target disposal entrance and obtaining the type of garbage corresponding to the target disposal entrance.
  • the garbage type and the second item type of the target item are associated and stored in the garbage classification database, and the garbage classification model is updated according to the updated garbage classification database.
  • the method further includes: determining the type of garbage stored in the garbage classification database according to a preset time period Detect whether the quantity of the garbage type exceeds the preset quantity threshold; when the detection result is that the quantity of the garbage type exceeds the preset quantity threshold, add the new type of garbage and the second item type of the target item As a newly-added training set, the newly-added training set is input into the garbage classification model for retraining to obtain the updated garbage classification model.
  • the preset time period and the preset number threshold are both preset by the system user, for example, the preset time period is 5 days, and the preset number threshold is 10.
  • the embodiment of the application provides a garbage classification and processing method, which uses a camera unit and a voice unit to complete human-computer interaction and improve the accuracy of garbage classification; a secondary classification method is adopted to classify items first, and then determine according to the item types Types of trash to improve the accuracy of trash classification; according to the trash types corresponding to the types of all target items identified by the trash classification model, the control unit opens the trash input entrance corresponding to the smart trash can, thereby preventing users from disabling The situation of random dumping of garbage caused by compliance with the rules; and when the item type of the target item is an unknown item type, the infrared scanning unit detects the type of garbage corresponding to the target item to obtain the type of garbage corresponding to the unknown item type, thereby performing Real-time automatic update of the garbage classification model.
  • FIG. 2 is a schematic structural diagram of a terminal provided by an embodiment of the present application.
  • the terminal 1 includes a memory 10 in which the garbage sorting and processing device 100 is stored.
  • the garbage classification processing device 100 can obtain the user's first voice information, and use a voice detection model to detect whether the first voice information meets a preset activation condition; when the detection result is that the first voice information meets the preset activation condition
  • the activation condition is set, the image of the target item is collected, and the first item type of the target item in the image is recognized through the item classification model; the first item type is output to the user through voice prompts, and user input is received ,
  • the second voice information is used to indicate whether the type of the first item is correct; when the second voice information indicates that the type of the first item is correct, the garbage classification model is used to obtain the The type of garbage corresponding to the first item type, and the smart trash can is controlled to open the garbage disposal entrance corresponding to the type of garbage for the user to put; when the second voice message indicates that the
  • the smart trash can When the known item type corresponding to the item type is controlled, the smart trash can is controlled to open all garbage disposal entrances, and detect whether the garbage disposal entrance induces an item disposal signal; when it is detected that the garbage disposal entrance generates an item disposal signal, it will
  • the garbage discharge entrance is marked as a target discharge entrance, and the garbage type corresponding to the target discharge entrance is obtained; the garbage type and the second item type of the target item are associated and stored in the garbage classification database, and the garbage classification database is based on the updated garbage
  • the classification database updates the garbage classification model.
  • the camera unit and the voice unit are used to complete the human-computer interaction and improve the accuracy of garbage classification;
  • the secondary classification method is adopted to first classify the types of items, and then determine the types of garbage according to the types of items to improve the classification of garbage Accuracy;
  • the control unit opens the garbage input entrance corresponding to the smart trash can, thereby avoiding the garbage caused by the user not following the rules In the case of random dropping; and when the object type of the target item is an unknown item type, the infrared scanning unit detects the type of garbage corresponding to the target item to obtain the type of garbage corresponding to the unknown item type, thereby real-time automatic garbage classification model
  • the update can promote the construction of smart cities and be applied to smart buildings, smart furniture, smart communities, smart environmental protection, smart life and other fields.
  • the terminal 1 may further include a display screen 20 and a processor 30.
  • the memory 10 and the display screen 20 may be electrically connected to the processor 30 respectively.
  • the memory 10 may be different types of storage devices for storing various types of data.
  • it can be the memory or internal memory of the terminal 1, or a memory card that can be externally connected to the terminal 1, such as flash memory, SM card (Smart Media Card), SD card (Secure Digital Card, secure digital card) Wait.
  • the memory 10 may include a hard disk, a memory, a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a Secure Digital (SD) card, a flash memory card (Flash Card), at least one disk storage device, a flash memory Device, or other computer-readable storage device.
  • the memory 10 is used to store various types of data, for example, various types of applications (Applications) installed in the terminal 1, and information such as data set and obtained by applying the above-mentioned garbage sorting and processing method.
  • the display screen 20 is installed in the terminal 1 for displaying information.
  • the processor 30 is configured to execute the garbage sorting and processing method and various software installed in the terminal 1, such as an operating system and application display software.
  • the processor 30 includes, but is not limited to, a processor (Central Processing Unit, CPU), a Micro Controller Unit (MCU), and other devices for interpreting computer instructions and processing data in computer software.
  • a processor Central Processing Unit, CPU
  • MCU Micro Controller Unit
  • the garbage sorting and processing device 100 may include one or more modules, and the one or more modules are stored in the memory 10 of the terminal 1 and configured to be operated by one or more processors (in this embodiment, one The processor 30) executes to complete the embodiment of the present application.
  • the garbage sorting and processing device 100 may include a condition detection module 101, a category determination module 102, an information confirmation module 103, a garbage disposal module 104, a category receiving module 105, a category detection module 106, and an entrance opening module 107.
  • the category determination module 108 and the model update module 109 may be a program segment that completes a specific function, and is more suitable for describing the execution process of software in the processor 30 than a program.
  • the garbage sorting and processing device 100 may include some or all of the functional modules shown in FIG. 3, and the functions of each module will be described in detail below. It should be noted that the same nouns, related nouns, and specific explanations in the various implementations of the above garbage classification and treatment method can also be applied to the following functional introduction of each module. To save space and avoid repetition, I won’t repeat them here.
  • the condition detection module 101 may be used to obtain the user's first voice information, and use a voice detection model to detect whether the first voice information meets a preset activation condition.
  • the category determination module 102 may be used to collect an image of the target item when the detection result is that the first voice information satisfies the preset activation condition, and identify the first item category of the target item in the image through an item classification model .
  • the information confirmation module 103 may be used to output the first item category to the user by means of voice prompts, and receive second voice information input by the user, where the second voice information is used to indicate the first item category is it right or not.
  • the garbage placing module 104 may be used to obtain the garbage type corresponding to the first item type through a garbage classification model when the second voice information indicates that the first item type is correct, and to control the opening of the smart trash can and all the items.
  • the garbage disposal entrance corresponding to the garbage type is provided for users to put in.
  • the category receiving module 105 may be configured to receive the second article category of the target article input by the user when the second voice information indicates that the first article category is wrong.
  • the category detection module 106 may be configured to traverse the garbage classification database according to the second item category, and query whether there is a known item category corresponding to the second item category.
  • the entrance opening module 107 may be used to control the smart trash can to open all the waste input entrances when there is no known product type corresponding to the second product type, and detect whether the waste input entrance senses and generates a product input signal.
  • the category determining module 108 may be used to mark the garbage disposal portal as a target disposal portal and obtain the type of garbage corresponding to the target disposal portal when it is detected that the garbage disposal portal generates an article disposal signal.
  • the model updating module 109 may be configured to store the garbage classification and the second object classification of the target item in the garbage classification database in association with each other, and update the garbage classification model according to the updated garbage classification database.
  • the embodiments of the present application also provide a computer-readable storage medium on which computer-readable instructions are stored, and when the computer-readable instructions are executed by the processor 30, the steps of the garbage sorting and processing method in any of the foregoing embodiments are implemented.
  • the garbage sorting and processing device 100 is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a computer readable storage medium. Based on this understanding, this application implements all or part of the processes in the above-mentioned implementation methods, and can also be completed by instructing relevant hardware through a computer program.
  • the computer program can be stored in a computer-readable storage medium. When the program is executed by the processor 30, the steps of the foregoing method embodiments can be implemented.
  • the computer program includes computer-readable instruction code, and the computer-readable instruction code may be in the form of source code, object code, executable file, or some intermediate form.
  • the computer-readable storage medium may include: any entity or device capable of carrying the computer-readable instruction code, recording medium, U disk, mobile hard disk, magnetic disk, optical disk, computer memory, read-only memory (ROM, Read- Only Memory, Random Access Memory (RAM), etc., the computer-readable storage medium may be non-volatile or volatile.
  • the so-called processor 30 may be a central processing unit (Central Processing Unit, CPU), other general processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit, ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor can be a microprocessor or the processor can also be any conventional processor, etc.
  • the processor 30 is the control center of the garbage sorting and processing device 100/terminal 1, which connects the entire garbage sorting and processing device 100/terminal 1 through various interfaces and lines. Various parts of the garbage sorting and processing device 100/terminal 1.
  • the memory 10 is used to store the computer program and/or module, and the processor 30 runs or executes the computer program and/or module stored in the memory 10 and calls the data stored in the memory 10,
  • the various functions of the garbage sorting and processing device 100/terminal 1 are realized.
  • the memory 10 may mainly include a program storage area and a data storage area, where the program storage area may store an operating system, an application program required by at least one function (such as a sound playback function, an image playback function, etc.), etc.; the storage data area may Data and the like created in accordance with the use of the terminal 1 are stored.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种垃圾分类处理方法、装置、终端及计算机可读存储介质，涉及智慧城市技术领域，通过物品分类模型识别图像中目标物品的第一物品种类；接收第二语音信息；当第二语音信息表示第一物品种类错误时，接收用户输入的第二物品种类；查询是否存在与第二物品种类对应的已知物品种类；当不存在时，控制智能垃圾桶打开所有垃圾投放入口，并检测是否感应生成物品投放信号；当检测到信号时，将垃圾投放入口标记为目标投放入口并获取目标投放入口对应的垃圾种类；将垃圾种类和目标物品的第二物品种类关联存储至垃圾分类数据库，并更新垃圾分类模型。能够提高垃圾分类准确性，并对垃圾分类模型进行实时自动更新。

Description

垃圾分类处理方法、装置、终端及存储介质
本申请要求于2020年03月03日提交中国专利局，申请号为202010140615.X发明名称为“垃圾分类处理方法、装置、终端及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及智慧城市技术领域，尤其涉及一种垃圾分类处理方法、装置、终端及存储介质。
背景技术
近年来，随着人们生活质量的提高，发明人发现人们越来越关注垃圾的分类处理。垃圾的分类处理已经在国内大中型城市逐步推广。由于考虑到垃圾的分类教育普及不够等问题，在实际的垃圾分类处理过程中，通过在智能垃圾桶产品中集成物体检测算法来进行垃圾的简单分类。
然而，由于垃圾的物品种类繁多，传统的物体检测算法难以有效对垃圾进行准确分类，且传统的物体检测算法较固化，无法根据实际情况自动改进判断策略。
因此，有必要提出一种能够对垃圾进行精确分类且能够根据实际情况自动改进判断策略的方法。
发明内容
鉴于以上内容，有必要提出一种垃圾分类处理方法、垃圾分类处理装置、终端及计算机可读存储介质，能够解决实际垃圾物品种类繁多时，传统的物体检测算法难以有效对垃圾进行准确分类，且传统的物体检测算法较固化，无法根据实际情况自动改进判断策略的问题。
本申请的第一方面提供一种垃圾分类处理方法，应用于智能垃圾桶，所述垃圾分类处理方法包括：
获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；
当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；
将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；
当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；
当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；
根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；
当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；
当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；
将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。
本申请的第二方面提供一种终端，所述终端包括存储器及处理器，所述存储器用于存储至少一个计算机可读指令，所述处理器用于执行所述至少一个计算机可读指令以实现以下步骤：
获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；
当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；
将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；
当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；
当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；
根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；
当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；
当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；
将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。
本申请的第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述至少一个计算机可读指令被处理器执行时实现以下步骤：
获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；
当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；
将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；
当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；
当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；
根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；
当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；
当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；
将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。
本申请的第四方面提供一种垃圾分类处理装置，应用于智能垃圾桶，所述垃圾分类处理装置包括：
条件检测模块，用于获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；
种类确定模块，用于当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；
信息确认模块，用于将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；
垃圾投放模块，用于当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；
种类接收模块，用于当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；
种类检测模块，用于根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；
入口打开模块，用于当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；
类别确定模块，用于当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；
模型更新模块，用于将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。
综上所述，本申请所述的一种垃圾分类处理方法、垃圾分类处理装置、终端及计算机可读存储介质，能够推动智慧城市的建设，应用于智慧建筑、智慧家具、智慧社区、智慧环保、智慧生活等领域。本申请通过使用摄像单元和语音单元来完成人机交互，提高垃圾分类的准确性；采用二级分类方法，先进行物品种类分类，再根据所述物品种类确定垃圾种类，提高垃圾分类的准确性；根据所述垃圾分类模型识别出的所有目标物品的种类对应的垃圾种类，通过所述控制单元开启所述垃圾投放箱的对应入口，从而避免用户不遵守规则而导致的垃圾乱投放的情况；且在所述目标物品的物品种类为未知物品种类时，通过红外扫描单元检测目标物品投放对应的垃圾种类从而获得未知物品种类对应的垃圾种类，从而进行垃圾分类模型的实时自动更新。
附图说明
图1是本申请第一实施方式提供的垃圾分类处理方法的流程图。
图2是本申请实施例提供的终端的结构示意图。
图3是图2所示的终端的示例性的功能模块图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
图1是本申请第一实施方式提供的垃圾分类处理方法的流程图。所述垃圾分类方法 应用于智能垃圾桶，所述智能垃圾桶包括：摄像单元、语音单元、红外扫描单元、控制单元以及垃圾投放箱。其中，所述摄像单元用于采集目标物品的图像；所述语音单元用于接收用户输出的语音信息，或者，所述语音单元用于向用户输出语音信息；所述红外扫描单元用于检测目标物品是否被投放入垃圾投放箱；所述垃圾投放箱包含垃圾投放入口，所述垃圾投放入口用于投放垃圾至垃圾投放箱，对应于预设类别的垃圾，存在与之对应的预设类别的垃圾投放箱。在一实施例中，所述预设类别的垃圾投放箱可以包括干垃圾投放箱、湿垃圾投放箱、有害垃圾投放箱以及可回收垃圾投放箱，在此不作具体限制。
如图1所示，本申请实施例提供一种垃圾分类处理方法，所述垃圾分类处理方法可以包括如下步骤：
S11、获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件，当检测结果为所述第一语音信息满足预设激活条件时，执行步骤S12。
在本申请的至少一实施例中，通过语音单元采集用户输入的第一语音信息。通过语音检测模型检测所述第一语音信息是否满足预设激活条件。其中，所述语音检测模型为利用深度学习网络进行训练得到的针对语音检测的模型。所述预设激活条件为系统用户预先设置的语音指令，可以包括预设关键词，例如：垃圾分类、垃圾识别、垃圾投放等关键词。
在实际输入所述第一语音信息的过程中，可能由于各种原因(例如，用户输入语音信息时音量较小、周围环境嘈杂等问题)导致用户输入的语音信息不清晰，此时，可以提示用户重新输入语音信息(例如，输出“我没听清，请重新输入”的语音提示)，避免因语音信息不清晰而导致无法正确进行语音检测模型的识别。因而，在所述通过语音检测模型检测所述第一语音信息是否满足预设激活条件的步骤之前，所述方法还包括：计算所述第一语音信息的清晰度；判断所述第一语音信息的清晰度是否超出预设清晰度阈值；当所述第一语音信息的清晰度没有超出所述预设清晰度阈值时，重新获取用户的第一语音信息。其中，语音的清晰度描述的是噪声环境下说话的可懂程度。所述预设清晰度阈值为系统用户预先设置的阈值，例如，所述预设清晰度阈值可以为95％。在一实施例中，计算所述第一语音信息的清晰度的步骤可以包括：对所述第一语音信息进行语音活动检测，得到所述第一语音信息携带的环境噪声信息；计算所述环境噪声信息与所述第一语音信息的比值；根据所述比值得到所述第一语音信息的清晰度。其中，所述环境噪声信息可以通过噪声信息的振幅或能量等物理性的变化量体现。
当判断结果为所述第一语音信息满足预设激活条件时，则执行采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的物品种类的步骤。在本申请的至少一实施例中，在所述采集目标物品的图像的步骤之前，所述方法还包括：开启摄像单元，并初始化已训练好的物品分类模型。优选地，在所述语音单元未接收到满足预设激活条件的语音指令时，所述摄像单元处于关闭状态，从而达到节省电能的目的。
在本申请的至少一实施例中，所述已训练好的物品分类模型的训练方法可以包括：构建原始数据集；将所述原始数据集分为训练集和验证集；将所述训练集输入至预设深度学习模型进行训练，得到物品分类模型，并利用所述验证集对生成的所述物品分类模型进行验证；若验证通过率大于预设通过率阈值，则训练完成，否则增加所述验证集中目标物品的图像数量，以重新进行训练及验证。
其中，所述预设通过率阈值为用户预先设置的，例如，所述预设通过率阈值为99％。所述构建原始数据集的方法包括：使用网络爬虫技术爬取多张有关物品的图像；对所述多张有关物品的图像进行物品种类标注；基于多张有关物品的图像及对应的物品种类构建原始数据集。使用网络爬虫技术从主流图像搜索引擎和图像分享网站中随机或任意获取多张有关物品的图像。其中，所述主流图像搜索引擎可以是，例如百度、谷歌等，所述图像分享网站可以是，例如Flickr、Instagram等。
在一可选的实施例中，在所述基于多张有关物品的图像及对应的物品种类构建原始数据集的步骤之后，所述方法还包括：计算每一物品种类的目标物品的图像的数量；判断所述数量是否小于预设数量阈值；当判断结果为所述数量小于预设数量阈值时，通过扰动法增加与所述数量对应的物品种类的目标物品的数量。采用扰动法对该物品种类的目标物品的图像进行扰动，以此来增加该物品种类的目标物品的图像数量，避免由于某一物品种类的目标物品的图像的样本数量不足，导致训练得到的物品分类模型对该物品种类的目标物品的图像的泛化能力较差。关于扰动法为现有技术，本申请在此不再赘述。
S12、采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类。
在本申请的至少一实施例中，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类。其中，所述物品分类模型为用户预先设置的，用于对目标物品进行分类的模型。
为了提高所述物品分类模型的识别准确率，在所述通过物品分类模型识别所述图像中的目标物品的物品种类的步骤之前，所述方法还包括：计算所述图像的质量评价值；检测所述质量评价值是否满足预设质量阈值；当检测结果为所述质量评价值不满足所述预设质量阈值时，重新采集所述目标物品的图像直到重新采集的图像的质量评价值满足所述预设质量阈值；将满足所述预设质量阈值的图像中的目标区域分割出来，得到目标图像；对所述目标图像进行后处理，所述后处理包括以下中的一种或多种：白平衡处理、均衡化处理。
在一实施例中，所述计算所述图像的质量评价值的步骤包括：获取所述图像的平均亮度、噪声强度及特征值清晰度；分别根据所述平均亮度、噪声强度及特征值清晰度计算得到图像亮度评价值、图像噪声评价值以及图像清晰度评价值；对所述图像亮度评价值、图像噪声评价值以及图像清晰度评价值进行加权计算得到图像的质量评价值。其中，所述图像的平均亮度、噪声强度及特征值清晰度可以分别通过预设的神经网络进行计算，在此不再赘述。所述平均亮度、噪声强度及特征清晰度分别与所述图像亮度评价值、图像噪声评价值以及图像清晰度评价值存在对应关系。示例性地，对于图像的平均亮度L，设定分界阈值a、b、c及d，当图像的平均亮度L在不同分界范围内时，存在对应的图像亮度评价值。
具体地，可以通过例如，方差、均值等方式计算所述目标物品的图像质量，将方差小于预设方差阈值的目标物品的图像剔除，或者，将均值小于预设均值阈值的目标物品的图像剔除。在实际场景中，具有特征的区域在一张图像中占据的比例可能比较小，例如，在所述目标物品的图像中，仅位于整幅图像中间位置有物品特征，其余位置可能都是空白，因而，选取包含物品特征的有用区域，并将所述目标物品的图像中的有用区域作为目标区域分割出来，有利于加速所述物品分类模型在训练过程中的特征提取。在一实施例中，可以使用YOKO目标检测算法检测出所述目标物品的图像中的目标区域，再将所述目标区域从所述目标物品的图像中分割出来。在一实施例中，所述后处理可以为白平衡处理和均衡化处理等。可以使用开源的白平衡工具对所述目标图像进行白平衡处理，还可以使用开源的均衡化工具对所述目标图像进行均衡化处理。
S13、将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确，当所述第二语音信息表示所述第一物品种类正确时，执行步骤S14，当所述第二语音信息表示所述第一物品种类错误时，执行步骤S15。
通过语音单元将所述第一物品种类通过语音提示的方式输出至用户，并提示用户确认所述第一物品种类是否正确，可以通过语音单元接收用户输入的第二语音信息确认所述第一物品种类是否正确。其中，所述第二语音信息可以为“正确”或“错误”，在此不 作限制。
S14、通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放。
在本申请的至少一实施例中，当所述第二语音信息表示所述第一物品种类正确时，将所述第一物品种类输入至垃圾分类模型中，得到所述目标物品对应的垃圾种类；控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户投放。可以理解的是，在所述控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口的步骤之后，所述方法还包括：检测所述垃圾投放入口是否感应生成所述目标物品的投放信号；当所述垃圾投放入口感应生成所述目标物品的投放信号时，控制所述智能垃圾桶关闭所述垃圾投放入口。
其中，所述垃圾分类模型为预先采用大量的训练数据训练好的，用于对确定物品种类的垃圾进行垃圾分类的模型。将所述物品种类输入至所述垃圾分类模型中，得到所述目标物品对应的垃圾种类。例如，当所述目标物品的物品种类为饮料瓶时，对应的垃圾种类为可回收垃圾。所述智能垃圾桶对应的垃圾投放入口可以包括：干垃圾投放入口、湿垃圾投放入口、有害垃圾投放入口以及可回收垃圾投放入口。对于每一个类型的垃圾投放入口，都可以设置有一红外扫描单元；优选地，对于多个类型的垃圾投放入口，可以设置一个红外扫描单元，从而节省成本。
在本申请的至少一实施例中，通过控制单元控制所述智能垃圾桶打开对应的垃圾投放入口，并开启红外扫描单元，通过所述红外扫描单元感应所述垃圾投放入口是否存在目标物品的投放，并在感应到目标物品投放时，生成相应的物品投放信号。优选地，在所述根据所述垃圾种类控制智能垃圾桶打开对应的垃圾投放入口的步骤之后，所述方法还包括：通过语音单元输出语音提示，提示用户将所述目标物品投放至智能垃圾桶对应打开的垃圾投放入口中。
可以理解的是，根据所述垃圾分类模型识别出所述第一物品种类对应的垃圾种类，通过所述控制单元开启所述智能垃圾桶对应的垃圾投放入口，由用户将目标物品投放至对应垃圾投放入口中，从而避免用户不遵守规则而导致的垃圾乱投的情况。
在本申请的至少一实施例中，所述检测所述垃圾投放入口是否感应生成物品投放信号的步骤还包括：检测所述垃圾投放入口是否感应生成除所述目标物品外的其他物品的投放信号；当所述垃圾投放入口感应生成所述其他物品的投放信号时，根据所述第一语音信息获取用户的身份信息；更新与所述身份信息对应的标签，其中，所述标签包括垃圾投放错误次数标签。在其他实施例中，还可以定期将包含标签的用户身份信息输出至相关垃圾处理部门，由相关垃圾处理部门对垃圾投放错误次数过多的用户进行批评教育，从而在根源上提高用户对垃圾进行正确投放的意识。
S15、接收用户输入的所述目标物品的第二物品种类。
在本申请的至少一实施例中，当所述第二语音信息表示所述第一物品种类错误时，通过语音单元提示用户输出所述目标物品的第二物品种类。例如，提示的内容可以为：“请您说出物品的种类”。
S16、根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类，当不存在与所述第二物品种类对应的已知物品种类时，执行步骤S17。
在本申请的至少一实施例中，根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类。其中，所述垃圾分类数据库中包括有关物品的名称、有关物品的图像、有关物品的物品种类名称以及有关物品对应的垃圾种类名称等数据，彼此之间关联存储。
具体地，所述根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第 二物品种类对应的已知物品种类的步骤包括：将所述第二物品种类输入至预先训练好的名称相似度获取模型中，得到关于所述第二物品种类的近义词集；检测所述近义词集中是否存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致；当检测结果为所述近义词集中存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致时，确定存在与所述第二物品种类对应的已知物品种类。例如，当输入的第二物品种类的物品种类名称为“矿泉水瓶”，通过所述名称相似度获取模型得到“矿泉水瓶”的近义词集包含：“塑料瓶”、“饮用水瓶”、“饮料瓶”等。假设所述垃圾分类数据库中存在已知物品种类的物品种类名称为“饮料瓶”。通过所述检测所述近义词集中是否存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致的步骤可得到，所述近义词集中存在“饮料瓶”与已知物品种类的物品种类名称“饮料瓶”一致，则确定“矿泉水瓶”为已知物品种类。
在本申请的至少一实施例中，所述方法还包括：当检测结果为存在与所述第二物品种类对应的已知物品种类时，将所述已知物品种类输入至垃圾分类模型中，得到所述目标物品对应的垃圾种类；控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口；检测所述垃圾投放入口是否感应生成物品投放信号；当检测到所述垃圾投放入口生成物品投放信号时，控制所述智能垃圾桶关闭所述垃圾投放入口。
在本申请的至少一实施例中，所述方法还包括：当所述第二语音信息表示所述第一物品种类错误时，将第一物品种类识别错误的图像及对应的第二物品种类存储至所述垃圾分类数据库中；计算预设时间段内存储的图像的数量；判断所述数量是否超出预设数量阈值；当判断结果为所述数量超出所述预设数量阈值时，将存储的图像及对应的第二物品种类作为新的训练数据集，并基于所述新的训练数据集更新所述物品分类模型。其中，所述预设数量阈值为预先设置的，例如，所述预设数量阈值为10个。
S17、控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号，当检测到所述垃圾投放入口生成物品投放信号时，执行步骤S18。
在本申请的至少一实施例中，当不存在与所述第二物品种类对应的已知物品种类时，根据所述垃圾分类模型无法准确识别出所述目标物品对应的垃圾分类，无法通过所述控制单元控制所述智能垃圾桶打开对应的垃圾投放入口，因而，采用通过控制单元控制所述智能垃圾桶打开所有垃圾投放入口的方式，由用户手动完成垃圾分类投放。在控制智能垃圾桶打开所有垃圾投放入口的同时，检测所述红外扫描单元是否感应生成所述目标物品的投放信号，当检测结果为所述红外扫描单元未生成所述目标物品的投放信号时，在预定时间间隔内关闭所述垃圾投放入口。其中，所述预定时间间隔为预先设置的，例如，所述预定时间间隔为10秒。当检测结果为所述红外扫描单元生成所述目标物品的投放信号时，执行步骤S18。
S18、将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类。
在本申请的至少一实施例中，当检测到所述垃圾投放入口生成物品投放信号时，通过所述控制单元关闭所述红外扫描单元以及关闭智能垃圾桶对应的所有垃圾投放入口。在控制智能垃圾桶关闭所有垃圾投放入口的步骤之后，所述方法还包括：将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类。
S19、将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。
在本申请的至少一实施例中，将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。在将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库的步骤之后，所述方法还包括：按照预设时间段确定所述垃圾分类数据库中存储的所述垃圾种类的数 量；检测所述垃圾种类的数量是否超出预设数量阈值；当检测结果为所述垃圾种类的数量超出预设数量阈值时，将新增的所述垃圾种类和目标物品的第二物品种类作为新增训练集合，并将所述新增训练集合输入至所述垃圾分类模型中进行重训练，得到更新后的所述垃圾分类模型。其中，所述预设时间段与预设数量阈值均为系统用户预先设置的，例如，所述预设时间段为5天，所述预设数量阈值为10个。
本申请实施例提供一种垃圾分类处理方法，使用摄像单元和语音单元来完成人机交互，提高垃圾分类的准确性；采用二级分类方法，先进行物品种类分类，再根据所述物品种类确定垃圾种类，提高垃圾分类的准确性；根据所述垃圾分类模型识别出的所有目标物品的种类对应的垃圾种类，通过所述控制单元开启所述智能垃圾桶对应的垃圾投放入口，从而避免用户不遵守规则而导致的垃圾乱投放的情况；且在所述目标物品的物品种类为未知物品种类时，通过红外扫描单元检测目标物品投放对应的垃圾种类从而获得未知物品种类对应的垃圾种类，从而进行垃圾分类模型的实时自动更新。
以上是对本申请实施例所提供的方法进行的详细描述。根据不同的需求，所示流程图中方块的执行顺序可以改变，某些方块可以省略。
图2是本申请实施例提供的终端的结构示意图，如图2所示，终端1包括存储器10，存储器10中存储有所述垃圾分类处理装置100。当所述垃圾分类处理装置100可以获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。通过本申请实施例，使用摄像单元和语音单元来完成人机交互，提高垃圾分类的准确性；采用二级分类方法，先进行物品种类分类，再根据所述物品种类确定垃圾种类，提高垃圾分类的准确性；根据所述垃圾分类模型识别出的所有目标物品的种类对应的垃圾种类，通过所述控制单元开启所述智能垃圾桶对应的垃圾投放入口，从而避免用户不遵守规则而导致的垃圾乱投放的情况；且在所述目标物品的物品种类为未知物品种类时，通过红外扫描单元检测目标物品投放对应的垃圾种类从而获得未知物品种类对应的垃圾种类，从而进行垃圾分类模型的实时自动更新，能够推动智慧城市的建设，应用于智慧建筑、智慧家具、智慧社区、智慧环保、智慧生活等领域。
本实施方式中，终端1还可以包括显示屏20及处理器30。存储器10、显示屏20可以分别与处理器30电连接。
所述的存储器10可以是不同类型存储设备，用于存储各类数据。例如，可以是终端1的存储器、内存，还可以是可外接于该终端1的存储卡，如闪存、SM卡(Smart Media Card，智能媒体卡)、SD卡(Secure Digital Card，安全数字卡)等。此外，存储器10可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他计算 机可读的存储器件。存储器10用于存储各类数据，例如，所述终端1中安装的各类应用程序(Applications)、应用上述垃圾分类处理方法而设置、获取的数据等信息。
显示屏20安装于终端1，用于显示信息。
处理器30用于执行所述垃圾分类处理方法以及所述终端1内安装的各类软件，例如操作系统及应用显示软件等。处理器30包含但不限于处理器(Central Processing Unit，CPU)、微控制单元(Micro Controller Unit，MCU)等用于解释计算机指令以及处理计算机软件中的数据的装置。
所述的垃圾分类处理装置100可以包括一个或多个的模块，所述一个或多个模块被存储在终端1的存储器10中并被配置成由一个或多个处理器(本实施方式为一个处理器30)执行，以完成本申请实施例。例如，参阅图3所示，所述垃圾分类处理装置100可以包括条件检测模块101、种类确定模块102、信息确认模块103、垃圾投放模块104、种类接收模块105、种类检测模块106、入口打开模块107、类别确定模块108以及模型更新模块109。本申请实施例所称的模块可以是完成一特定功能的程序段，比程序更适合于描述软件在处理器30中的执行过程。
可以理解的是，对应上述垃圾分类处理方法中的各实施方式，垃圾分类处理装置100可以包括图3中所示的各功能模块中的一部分或全部，各模块的功能将在以下具体介绍。需要说明的是，以上垃圾分类处理方法的各实施方式中相同的名词、相关名词及其具体的解释说明也可以适用于以下对各模块的功能介绍。为节省篇幅及避免重复起见，在此就不再赘述。
条件检测模块101可以用于获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件。
种类确定模块102可以用于当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类。
信息确认模块103可以用于将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确。
垃圾投放模块104可以用于当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放。
种类接收模块105可以用于当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类。
种类检测模块106可以用于根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类。
入口打开模块107可以用于当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号。
类别确定模块108可以用于当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类。
模型更新模块109可以用于将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器30执行时实现上述任一实施方式中的垃圾分类处理方法的步骤。
所述垃圾分类处理装置100如果以软件功能单元的形式实现并作为独立的产品销售 或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施方式方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器30执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机可读指令代码，所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(Random Access Memory，RAM)等，该计算机可读存储介质可以是非易失性，也可以是易失性。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器30是所述垃圾分类处理装置100/终端1的控制中心，利用各种接口和线路连接整个垃圾分类处理装置100/终端1的各个部分。
所述存储器10用于存储所述计算机程序和/或模块，所述处理器30通过运行或执行存储在所述存储器10内的计算机程序和/或模块，以及调用存储在存储器10内的数据，实现所述垃圾分类处理装置100/终端1的各种功能。所述存储器10可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端1的使用所创建的数据等。
在本申请所提供的几个具体实施方式中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的系统实施方式仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
对于本领域技术人员而言，显然本申请实施例不限于上述示范性实施例的细节，而且在不背离本申请实施例的精神或基本特征的情况下，能够以其他的具体形式实现本申请实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。系统、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。
以上实施方式仅用以说明本申请实施例的技术方案而非限制，尽管参照以上较佳实施方式对本申请实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本申请实施例的技术方案进行修改或等同替换都不应脱离本申请实施例的技术方案的精神和范围。

Claims (20)

  1. 一种垃圾分类处理方法，应用于智能垃圾桶，其中，所述垃圾分类处理方法包括：
    获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；
    当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；
    将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；
    当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；
    当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；
    根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；
    当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；
    当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；
    将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。
  2. 如权利要求1所述的垃圾分类处理方法，其中，在所述通过物品分类模型识别所述图像中的目标物品的第一物品种类的步骤之前，所述方法还包括：
    计算所述图像的质量评价值；
    检测所述质量评价值是否满足预设质量阈值；
    当检测结果为所述质量评价值不满足所述预设质量阈值时，重新采集所述目标物品的图像直到重新采集的图像的质量评价值满足所述预设质量阈值；
    将满足所述预设质量阈值的图像中的目标区域分割出来，得到目标图像；
    对所述目标图像进行后处理，所述后处理包括以下中的一种或多种：白平衡处理、均衡化处理。
  3. 如权利要求1所述的垃圾分类处理方法，其中，所述根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类的步骤包括：
    将所述第二物品种类输入至预先训练好的名称相似度获取模型中，得到关于所述第二物品种类的近义词集；
    检测所述近义词集中是否存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致；
    当检测结果为所述近义词集中存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致时，确定存在与所述第二物品种类对应的已知物品种类。
  4. 如权利要求1所述的垃圾分类处理方法，其中，所述方法还包括：
    当存在与所述第二物品种类对应的已知物品种类时，将所述已知物品种类输入至垃圾分类模型中，得到所述目标物品对应的垃圾种类；
    控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放。
  5. 如权利要求1所述的垃圾分类处理方法，其中，所述方法还包括：
    当所述第二语音信息表示所述第一物品种类错误时，将第一物品种类识别错误的图像及 对应的第二物品种类存储至所述垃圾分类数据库中；
    计算预设时间段内存储的图像的数量；
    判断所述数量是否超出预设数量阈值；
    当判断结果为所述数量超出所述预设数量阈值时，将存储的图像及对应的第二物品种类作为新的训练数据集，并基于所述新的训练数据集更新所述物品分类模型。
  6. 如权利要求1所述的垃圾分类处理方法，其中，在所述通过语音检测模型检测所述第一语音信息是否满足预设激活条件的步骤之前，所述方法还包括：
    计算所述第一语音信息的清晰度；
    判断所述第一语音信息的清晰度是否超出预设清晰度阈值；
    当所述第一语音信息的清晰度没有超出所述预设清晰度阈值时，重新获取用户的第一语音信息。
  7. 如权利要求6所述的垃圾分类处理方法，其中，所述物品分类模型的训练方法包括：
    爬取不同物品种类的多张物品图像得到原始数据集；
    将所述原始数据集分为训练集与验证集；
    将所述训练集输入至预设深度学习模型中进行训练，得到物品分类模型；
    将所述验证集输入至物品分类模型中进行验证，得到验证通过率；
    检测所述验证通过率是否超过预设通过率阈值；
    当检测结果为所述验证通过率超过预设通过率阈值时，确定物品分类模型训练完成。
  8. 一种终端，其中，所述终端包括存储器及处理器，所述存储器用于存储至少一个计算机可读指令，所述处理器用于执行所述至少一个计算机可读指令以实现以下步骤：
    获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；
    当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；
    将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；
    当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；
    当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；
    根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；
    当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；
    当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；
    将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。
  9. 如权利要求8所述的终端，其中，在所述通过物品分类模型识别所述图像中的目标物品的第一物品种类的步骤之前，所述处理器执行所述至少一个计算机可读指令还用以实现以下步骤：
    计算所述图像的质量评价值；
    检测所述质量评价值是否满足预设质量阈值；
    当检测结果为所述质量评价值不满足所述预设质量阈值时，重新采集所述目标物品 的图像直到重新采集的图像的质量评价值满足所述预设质量阈值；
    将满足所述预设质量阈值的图像中的目标区域分割出来，得到目标图像；
    对所述目标图像进行后处理，所述后处理包括以下中的一种或多种：白平衡处理、均衡化处理。
  10. 如权利要求8所述的终端，其中，所述处理器执行所述至少一个计算机可读指令以实现所述根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类的步骤时，具体包括：
    将所述第二物品种类输入至预先训练好的名称相似度获取模型中，得到关于所述第二物品种类的近义词集；
    检测所述近义词集中是否存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致；
    当检测结果为所述近义词集中存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致时，确定存在与所述第二物品种类对应的已知物品种类。
  11. 如权利要求8所述的终端，其中，所述处理器执行所述至少一个计算机可读指令还用以实现以下步骤：
    当所述第二语音信息表示所述第一物品种类错误时，将第一物品种类识别错误的图像及对应的第二物品种类存储至所述垃圾分类数据库中；
    计算预设时间段内存储的图像的数量；
    判断所述数量是否超出预设数量阈值；
    当判断结果为所述数量超出所述预设数量阈值时，将存储的图像及对应的第二物品种类作为新的训练数据集，并基于所述新的训练数据集更新所述物品分类模型。
  12. 如权利要求8所述的终端，其中，在所述通过语音检测模型检测所述第一语音信息是否满足预设激活条件的步骤之前，所述处理器执行所述至少一个计算机可读指令还用以实现以下步骤：
    计算所述第一语音信息的清晰度；
    判断所述第一语音信息的清晰度是否超出预设清晰度阈值；
    当所述第一语音信息的清晰度没有超出所述预设清晰度阈值时，重新获取用户的第一语音信息。
  13. 如权利要求8所述的终端，其中，所述处理器执行所述至少一个计算机可读指令以实现所述物品分类模型的训练方法时，具体包括：
    爬取不同物品种类的多张物品图像得到原始数据集；
    将所述原始数据集分为训练集与验证集；
    将所述训练集输入至预设深度学习模型中进行训练，得到物品分类模型；
    将所述验证集输入至物品分类模型中进行验证，得到验证通过率；
    检测所述验证通过率是否超过预设通过率阈值；
    当检测结果为所述验证通过率超过预设通过率阈值时，确定物品分类模型训练完成。
  14. 一种计算机可读存储介质，其上存储有至少一个计算机可读指令，其中，所述至少一个计算机可读指令被处理器执行时实现以下步骤：
    获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；
    当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；
    将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；
    当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第 一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；
    当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；
    根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；
    当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；
    当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；
    将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。
  15. 如权利要求14所述的存储介质，其中，在所述通过物品分类模型识别所述图像中的目标物品的第一物品种类的步骤之前，所述至少一个计算机可读指令被所述处理器执行还用以实现以下步骤：
    计算所述图像的质量评价值；
    检测所述质量评价值是否满足预设质量阈值；
    当检测结果为所述质量评价值不满足所述预设质量阈值时，重新采集所述目标物品的图像直到重新采集的图像的质量评价值满足所述预设质量阈值；
    将满足所述预设质量阈值的图像中的目标区域分割出来，得到目标图像；
    对所述目标图像进行后处理，所述后处理包括以下中的一种或多种：白平衡处理、均衡化处理。
  16. 如权利要求14所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类的步骤时，具体包括：
    将所述第二物品种类输入至预先训练好的名称相似度获取模型中，得到关于所述第二物品种类的近义词集；
    检测所述近义词集中是否存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致；
    当检测结果为所述近义词集中存在目标近义词与所述垃圾分类数据库中已知物品种类的物品种类名称一致时，确定存在与所述第二物品种类对应的已知物品种类。
  17. 如权利要求14所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行还用以实现以下步骤：
    当所述第二语音信息表示所述第一物品种类错误时，将第一物品种类识别错误的图像及对应的第二物品种类存储至所述垃圾分类数据库中；
    计算预设时间段内存储的图像的数量；
    判断所述数量是否超出预设数量阈值；
    当判断结果为所述数量超出所述预设数量阈值时，将存储的图像及对应的第二物品种类作为新的训练数据集，并基于所述新的训练数据集更新所述物品分类模型。
  18. 如权利要求14所述的存储介质，其中，在所述通过语音检测模型检测所述第一语音信息是否满足预设激活条件的步骤之前，所述至少一个计算机可读指令被所述处理器执行还用以实现以下步骤：
    计算所述第一语音信息的清晰度；
    判断所述第一语音信息的清晰度是否超出预设清晰度阈值；
    当所述第一语音信息的清晰度没有超出所述预设清晰度阈值时，重新获取用户的第 一语音信息。
  19. 如权利要求14所述的存储介质，其中，所述至少一个计算机可读指令被所述处理器执行以实现所述物品分类模型的训练方法时，具体包括：
    爬取不同物品种类的多张物品图像得到原始数据集；
    将所述原始数据集分为训练集与验证集；
    将所述训练集输入至预设深度学习模型中进行训练，得到物品分类模型；
    将所述验证集输入至物品分类模型中进行验证，得到验证通过率；
    检测所述验证通过率是否超过预设通过率阈值；
    当检测结果为所述验证通过率超过预设通过率阈值时，确定物品分类模型训练完成。
  20. 一种垃圾分类处理装置，应用于智能垃圾桶，其中，所述垃圾分类处理装置包括：
    条件检测模块，用于获取用户的第一语音信息，并通过语音检测模型检测所述第一语音信息是否满足预设激活条件；
    种类确定模块，用于当检测结果为所述第一语音信息满足所述预设激活条件时，采集目标物品的图像，并通过物品分类模型识别所述图像中的目标物品的第一物品种类；
    信息确认模块，用于将所述第一物品种类通过语音提示的方式输出至用户，并接收用户输入的第二语音信息，其中，所述第二语音信息用于表示所述第一物品种类是否正确；
    垃圾投放模块，用于当所述第二语音信息表示所述第一物品种类正确时，通过垃圾分类模型得到所述第一物品种类对应的垃圾种类，并控制所述智能垃圾桶打开与所述垃圾种类对应的垃圾投放入口以供用户进行投放；
    种类接收模块，用于当所述第二语音信息表示所述第一物品种类错误时，接收用户输入的所述目标物品的第二物品种类；
    种类检测模块，用于根据所述第二物品种类遍历垃圾分类数据库，查询是否存在与所述第二物品种类对应的已知物品种类；
    入口打开模块，用于当不存在与所述第二物品种类对应的已知物品种类时，控制智能垃圾桶打开所有垃圾投放入口，并检测所述垃圾投放入口是否感应生成物品投放信号；
    类别确定模块，用于当检测到所述垃圾投放入口生成物品投放信号时，将所述垃圾投放入口标记为目标投放入口并获取所述目标投放入口对应的垃圾种类；
    模型更新模块，用于将所述垃圾种类和目标物品的第二物品种类关联存储至所述垃圾分类数据库，并根据更新后的垃圾分类数据库更新所述垃圾分类模型。
PCT/CN2020/105943 2020-03-03 2020-07-30 垃圾分类处理方法、装置、终端及存储介质 WO2021174759A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010140615.XA CN111268317B (zh) 2020-03-03 2020-03-03 垃圾分类处理方法、装置、终端及存储介质
CN202010140615.X 2020-03-03

Publications (1)

Publication Number Publication Date
WO2021174759A1 true WO2021174759A1 (zh) 2021-09-10

Family

ID=70995562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/105943 WO2021174759A1 (zh) 2020-03-03 2020-07-30 垃圾分类处理方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN111268317B (zh)
WO (1) WO2021174759A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113816038A (zh) * 2021-09-29 2021-12-21 夏日阳光智能科技(苏州)有限公司 一种智能语音垃圾桶声音拾取和低功耗控制方法
CN113859813A (zh) * 2021-10-12 2021-12-31 朱雨昕 人工智能垃圾分类系统
CN114399104A (zh) * 2022-01-11 2022-04-26 北京林业大学 垃圾回收调度方法
CN114493351A (zh) * 2022-02-16 2022-05-13 平安国际智慧城市科技股份有限公司 基于人工智能的投放点抽样方法、装置、终端设备及介质
CN114529021A (zh) * 2022-02-16 2022-05-24 浙江联运知慧科技有限公司 可溯源的垃圾投递方法
CN114772104A (zh) * 2022-04-25 2022-07-22 武汉绿净缘环境科技工程有限公司 一种智慧城市垃圾分类系统
CN115147920A (zh) * 2022-05-18 2022-10-04 福州大学 垃圾投放点的信息处理方法、装置、设备、介质及产品
CN115830545A (zh) * 2022-12-13 2023-03-21 苏州市伏泰信息科技股份有限公司 面向垃圾分类的智能督导方法及系统
CN115890699A (zh) * 2022-11-04 2023-04-04 爱凤环环保科技有限公司 交互式垃圾分类督导机器人
CN116342895A (zh) * 2023-05-31 2023-06-27 浙江联运知慧科技有限公司 基于ai处理的提升再生资源分拣效率的方法及系统
CN117315541A (zh) * 2023-10-12 2023-12-29 浙江净禾智慧科技有限公司 一种地面垃圾识别方法及系统
CN117923025A (zh) * 2024-03-25 2024-04-26 江西众加利高科技股份有限公司 智能垃圾分类收集箱的智能控制方法及相关装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111268317B (zh) * 2020-03-03 2023-02-03 深圳壹账通智能科技有限公司 垃圾分类处理方法、装置、终端及存储介质
CN111709866B (zh) * 2020-06-22 2024-02-20 上海陇宇电子科技有限公司 一种基于移动设备的智能垃圾分类方法
CN112364758B (zh) * 2020-11-10 2024-06-25 北京呈创科技股份有限公司 基于多目标图像识别的垃圾分类回收方法及系统
CN112861615B (zh) * 2020-12-30 2024-04-09 江苏大学 一种基于深度目标检测的垃圾乱投放行为识别方法
CN112758567A (zh) * 2021-01-11 2021-05-07 江苏地风环卫有限公司 一种垃圾投放行为分析与控制方法及系统
CN113625646B (zh) * 2021-08-20 2022-12-13 北京云迹科技股份有限公司 一种智能垃圾机器人的调度系统
CN113919870A (zh) * 2021-09-29 2022-01-11 杭州越歌科技有限公司 一种垃圾处理计费方法、系统、存储介质及智能终端
CN117671497B (zh) * 2023-12-04 2024-05-28 广东筠诚建筑科技有限公司 一种基于数字图像的工程建筑废料分类方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109051405A (zh) * 2018-08-31 2018-12-21 深圳市研本品牌设计有限公司 一种智能垃圾箱及存储介质
CN110482072A (zh) * 2019-07-02 2019-11-22 上海净收智能科技有限公司 垃圾分类方法、系统、介质、垃圾收纳装置、及云端平台
CN110598034A (zh) * 2019-08-24 2019-12-20 深圳市奥芯博电子科技有限公司 垃圾分类识别方法及系统
JP2020024623A (ja) * 2018-08-08 2020-02-13 Kddi株式会社 ゴミ分別支援システム、ゴミ分別支援装置、ゴミ分別支援方法、及びプログラム
JP2020027407A (ja) * 2018-08-10 2020-02-20 Kddi株式会社 ゴミ分別支援システム、端末装置、ゴミ分別支援方法、及びプログラム
CN111268317A (zh) * 2020-03-03 2020-06-12 深圳壹账通智能科技有限公司 垃圾分类处理方法、装置、终端及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8266215B2 (en) * 2003-02-20 2012-09-11 Sonicwall, Inc. Using distinguishing properties to classify messages
CN103778226A (zh) * 2014-01-23 2014-05-07 北京奇虎科技有限公司 构建语言信息识别模型的方法及语言信息识别装置
CN204660534U (zh) * 2015-05-07 2015-09-23 广西壮族自治区环境保护科学研究院 一种生活垃圾智能分类系统
US20190166024A1 (en) * 2017-11-24 2019-05-30 Institute For Information Industry Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof
CN109389161B (zh) * 2018-09-28 2021-08-31 广州大学 基于深度学习的垃圾识别进化学习方法、装置、系统及介质
CN110427896A (zh) * 2019-08-07 2019-11-08 成都理工大学 一种基于卷积神经网络的垃圾分类智能系统
CN110498152B (zh) * 2019-09-18 2023-10-20 福州大学 一种基于ai的智能分类垃圾桶及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020024623A (ja) * 2018-08-08 2020-02-13 Kddi株式会社 ゴミ分別支援システム、ゴミ分別支援装置、ゴミ分別支援方法、及びプログラム
JP2020027407A (ja) * 2018-08-10 2020-02-20 Kddi株式会社 ゴミ分別支援システム、端末装置、ゴミ分別支援方法、及びプログラム
CN109051405A (zh) * 2018-08-31 2018-12-21 深圳市研本品牌设计有限公司 一种智能垃圾箱及存储介质
CN110482072A (zh) * 2019-07-02 2019-11-22 上海净收智能科技有限公司 垃圾分类方法、系统、介质、垃圾收纳装置、及云端平台
CN110598034A (zh) * 2019-08-24 2019-12-20 深圳市奥芯博电子科技有限公司 垃圾分类识别方法及系统
CN111268317A (zh) * 2020-03-03 2020-06-12 深圳壹账通智能科技有限公司 垃圾分类处理方法、装置、终端及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113816038A (zh) * 2021-09-29 2021-12-21 夏日阳光智能科技(苏州)有限公司 一种智能语音垃圾桶声音拾取和低功耗控制方法
CN113859813A (zh) * 2021-10-12 2021-12-31 朱雨昕 人工智能垃圾分类系统
CN114399104A (zh) * 2022-01-11 2022-04-26 北京林业大学 垃圾回收调度方法
CN114529021B (zh) * 2022-02-16 2022-09-23 浙江联运环境工程股份有限公司 可溯源的垃圾投递方法
CN114529021A (zh) * 2022-02-16 2022-05-24 浙江联运知慧科技有限公司 可溯源的垃圾投递方法
CN114493351A (zh) * 2022-02-16 2022-05-13 平安国际智慧城市科技股份有限公司 基于人工智能的投放点抽样方法、装置、终端设备及介质
CN114772104A (zh) * 2022-04-25 2022-07-22 武汉绿净缘环境科技工程有限公司 一种智慧城市垃圾分类系统
CN115147920A (zh) * 2022-05-18 2022-10-04 福州大学 垃圾投放点的信息处理方法、装置、设备、介质及产品
CN115890699A (zh) * 2022-11-04 2023-04-04 爱凤环环保科技有限公司 交互式垃圾分类督导机器人
CN115830545A (zh) * 2022-12-13 2023-03-21 苏州市伏泰信息科技股份有限公司 面向垃圾分类的智能督导方法及系统
CN115830545B (zh) * 2022-12-13 2023-10-03 苏州市伏泰信息科技股份有限公司 面向垃圾分类的智能督导方法及系统
CN116342895A (zh) * 2023-05-31 2023-06-27 浙江联运知慧科技有限公司 基于ai处理的提升再生资源分拣效率的方法及系统
CN116342895B (zh) * 2023-05-31 2023-08-11 浙江联运知慧科技有限公司 基于ai处理的提升再生资源分拣效率的方法及系统
CN117315541A (zh) * 2023-10-12 2023-12-29 浙江净禾智慧科技有限公司 一种地面垃圾识别方法及系统
CN117923025A (zh) * 2024-03-25 2024-04-26 江西众加利高科技股份有限公司 智能垃圾分类收集箱的智能控制方法及相关装置

Also Published As

Publication number Publication date
CN111268317A (zh) 2020-06-12
CN111268317B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
WO2021174759A1 (zh) 垃圾分类处理方法、装置、终端及存储介质
WO2021169400A1 (zh) 基于人工智能的命名实体识别方法、装置及电子设备
EP3819828A1 (en) Machine learning process implementation method and apparatus, device, and storage medium
CN106156799B (zh) 智能机器人的物体识别方法及装置
CN109308319B (zh) 文本分类方法、文本分类装置和计算机可读存储介质
CN109559742B (zh) 语音控制方法、系统、存储介质及计算机设备
US11335086B2 (en) Methods and electronic devices for automated waste management
CN104881675A (zh) 一种视频场景的识别方法和装置
CN110458082A (zh) 一种城市管理案件分类识别方法
CN112707058B (zh) 一种厨余垃圾规范动作的检测方法、系统、装置及介质
WO2021232670A1 (zh) 一种pcb元件识别方法及装置
CN111353491A (zh) 一种文字方向确定方法、装置、设备及存储介质
CN116975299B (zh) 文本数据的判别方法、装置、设备及介质
CN109830240A (zh) 基于语音操作指令识别用户特定身份的方法、装置及系统
CN110377692B (zh) 一种训练机器人模仿学习人工客服方法及装置
CN115221864A (zh) 一种多模态假新闻检测方法及系统
CN113779227B (zh) 案情事实抽取方法及系统及装置及介质
CN106970907A (zh) 一种语义识别方法
CN111192121A (zh) 一种基于ann的风险纳税人自动预警方法及系统
CN110750626A (zh) 一种基于场景的任务驱动的多轮对话方法及系统
CN110458383B (zh) 需求处理服务化的实现方法、装置及计算机设备、存储介质
CN111476121A (zh) 在线教育的智能教学监督方法、系统、设备及存储介质
CN116304038A (zh) 一种基于深度学习的教育资源场景化综合纠错方法
CN108664943B (zh) 一种多居住者场景下的室内日常活动识别方法
US20230237816A1 (en) Adaptive text recognition

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20922855

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17/01/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20922855

Country of ref document: EP

Kind code of ref document: A1