WO2017113232A1 - 一种基于深度学习的产品分类方法及装置 - Google Patents

一种基于深度学习的产品分类方法及装置 Download PDF

Info

Publication number
WO2017113232A1
WO2017113232A1 PCT/CN2015/099965 CN2015099965W WO2017113232A1 WO 2017113232 A1 WO2017113232 A1 WO 2017113232A1 CN 2015099965 W CN2015099965 W CN 2015099965W WO 2017113232 A1 WO2017113232 A1 WO 2017113232A1
Authority
WO
WIPO (PCT)
Prior art keywords
product
feature
image
word
text
Prior art date
Application number
PCT/CN2015/099965
Other languages
English (en)
French (fr)
Inventor
樊春玲
张巍
姜青山
Original Assignee
中国科学院深圳先进技术研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国科学院深圳先进技术研究院 filed Critical 中国科学院深圳先进技术研究院
Priority to PCT/CN2015/099965 priority Critical patent/WO2017113232A1/zh
Priority to CN201580001265.6A priority patent/CN107683469A/zh
Publication of WO2017113232A1 publication Critical patent/WO2017113232A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis

Definitions

  • the present invention relates to the field of pattern recognition technology, and in particular, to a product classification method and apparatus based on deep learning.
  • the product classification problem is the primary problem of item management.
  • the current product classification mainly relies on manual calibration of product categories.
  • most of the existing intelligent classification methods use the text information of the product for classification, since the text does not completely describe all the contents of the picture, if the text information describes the deviation, the product will be misclassified, which requires a lot of labor costs. To correct the product category, the existing product classification method is less accurate.
  • the embodiment of the invention provides a product classification method based on deep learning, which solves the technical problem that the product classification accuracy is poor according to the text information of the product in the prior art.
  • the product classification method includes:
  • the product classification model based on the pre-training processes the feature information of the product to obtain the classification result of the product.
  • the embodiment of the invention further provides a product classification device based on deep learning, which solves the technical problem that the product classification accuracy is poor according to the text information of the product in the prior art.
  • the product classification device includes:
  • a text feature extraction module configured to extract a text feature of the product from the description text of the product
  • An image feature extraction module configured to extract an image feature of the product from the image of the product based on the pre-trained convolutional neural network model
  • a feature information obtaining module configured to fuse the text feature of the product with the image feature of the product to obtain feature information of the product
  • the classification module is configured to process the feature information of the product based on the pre-trained product classification model to obtain the classification result of the product.
  • the feature information of the product is obtained, thereby classifying the feature information of the product to obtain the classification result, Considering the text features and image features of the products to be classified, the classification accuracy is improved compared with the product classification based only on the text information of the products.
  • FIG. 1 is a flowchart of a product classification method based on deep learning according to an embodiment of the present invention
  • FIG. 2 is a flowchart of a text feature extraction method according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram of a pre-training network according to an embodiment of the present invention.
  • FIG. 4 is a schematic flowchart of an image feature extraction method according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of a training model and a prediction product according to an embodiment of the present invention.
  • FIG. 6 is a schematic structural diagram of a device for classifying products based on deep learning according to an embodiment of the present invention.
  • FIG. 7 is a schematic structural diagram of a text feature extraction module according to an embodiment of the present invention.
  • the existing method of classifying products is simply to use the text information of the product to classify. If the description of the text information is biased, the product will be misclassified, and it takes a lot of labor cost to correct the product category, and the classification accuracy is poor. . If the text information and image information of the product are used in combination, the problem that the classification accuracy of the existing classification method is poor can be solved. Based on this, the present invention proposes a product classification method and apparatus based on deep learning.
  • FIG. 1 is a flowchart of a product classification method based on deep learning according to an embodiment of the present invention. As shown in FIG. 1 , the method includes:
  • This embodiment classifies Class C products in Internet products, such as sweaters, T-shirts, jackets, pants, and linings. Shirts, dresses, shoulder bags, single shoes, business bags, boots, etc., each of which has 500 products.
  • the description text of the product refers to the text used to describe the product to be classified, including words, symbols, numbers, and the like.
  • the description text of the product can be correspondingly stored in the product text document, such that a product text corresponds to a product text document.
  • Step 101 Extract the text feature of the product from the description text of the product, and the specific process is as shown in FIG. 2, including:
  • the product p j is input, and according to the given text Text, the text feature extraction method is used to extract the corresponding text feature to obtain T j .
  • Step 1 segment the description text of the product to obtain candidate words
  • Each product information is treated as a document, which is first segmented and divided into a series of word sequences.
  • the Chinese word segmentation system ICTCLAS Institute of Computing Technology, Chinese Lexical Analysis System
  • the word segmentation accuracy is 98.45%.
  • Step 2 screening product feature words from the candidate words according to a preset evaluation function
  • the evaluation functions used in the feature extraction of the present invention include: a characteristic frequency function, a document frequency function, an information gain function, a mutual information function, and a square fitting test function. These five evaluation functions can be either one of them or a combination of several. The best is to use five evaluation functions to obtain five product feature words, and then combine the five product feature words.
  • the number of occurrences of the candidate words in the sample document is calculated, and the candidate words whose number of occurrences is greater than or equal to the number of times threshold are used as product feature words.
  • a certain threshold such as 10
  • each candidate word (useful word) t is calculated according to formula (1):
  • n t is the number of sample documents containing each candidate word (useful word) t
  • n is the total number of sample documents.
  • the feature word frequency threshold (such as (0.005, 0.08)) is set, and candidate words (useful words) t within the threshold range are selected as product feature words.
  • each candidate word (useful word) t is calculated according to formula (2):
  • t represents a candidate word (with words)
  • C represents a document category
  • m represents a number of categories
  • P (C i) denotes the probability of the class C i occurs in the document concentrated training samples
  • P (t) represents the training sample set comprising entries
  • t) indicates the conditional probability that the document belongs to class C when the document contains the term t. Represents the probability that a document in the training sample set does not contain the term t, Indicates the conditional probability of belonging to class C when the document does not contain the term t.
  • a threshold for example, 0.006
  • a useful word whose weight is greater than the threshold is selected as a product feature word.
  • MI Mutual Information
  • the mutual information value of the candidate words is calculated, and the candidate words whose mutual information value is greater than the mutual information value threshold are used as product feature words.
  • each candidate word (useful word) t k and each class C i is calculated according to formula (3) or (4):
  • MI(t k ,C i ) logP(t k
  • the probability P (t k, C i) for the category C i wherein P (t k) concentration occurring in the training samples, P (t k) probability t k concentrated appearances of the training samples, P (C i
  • C i ) is the conditional probability that t k appears in the C i class sample document.
  • a useful word larger than the threshold value of 1.54 is selected as the feature word among the calculated mutual information values.
  • the degree of correlation between the candidate word and the preset category is calculated, and the candidate word whose correlation is greater than the relevance threshold is used as the product feature word.
  • each useful word candidate word (useful word) t k and each class C i is calculated according to formula (5), and the value is defined as
  • n is the number of sample documents of the training sample set
  • P(t k , C i ) is the probability of occurrence of the sample document in which the feature t k appears in the training sample set and belongs to the category C i .
  • the probability of occurrence of a sample document in which the feature t k does not appear and does not belong to the category C i in the training sample set The probability of occurrence of a sample document in which a feature t k appears in the training sample set and does not belong to the category C i , The probability that the feature document t k does not appear and the sample document belonging to the category C i appears.
  • a correlation threshold (such as 10) is set, and a useful word larger than the threshold is selected as the feature word.
  • the above 1) to 5) can generate five sets of product feature words, corresponding to five product feature texts, which can significantly improve the product text feature description of the product to be classified, thereby improving the classification accuracy.
  • the method before step 2, the method further includes: filtering out the candidate words included in the preset stop word table.
  • stop words There may be words or words (stop words) in the candidate words that will cause classification interference and have no value to the classification, such as modal particles and auxiliary words. Therefore, the stop word list is set in advance, and the words or words that cause the classification interference are added to the stop word list, thereby filtering out the candidate words included in the preset stop word table, thereby avoiding unnecessary calculation and saving products. The time required for classification.
  • Step 3 Determine the product feature word weight according to the frequency of the product feature words appearing in the sample document, the total number of sample documents, and the number of sample documents including the product feature words.
  • the weights of each product feature word are calculated according to formula (6) for each group of product feature words:
  • W i is the weight of the i-th product feature word
  • TF i (t, d) is the frequency at which the product feature word t appears in the document d
  • n represents the number of documents
  • DF(t) is the product feature word t The number of documents.
  • Step 4 Generate product text features of the product to be classified according to the product feature word weight.
  • the description text of each product can be converted into a vector with product feature words as dimensions, and each The attribute values of the dimensions are the weights of the product feature words.
  • Each method yields a vector, a product text feature.
  • five kinds of vectors that is, five product text features, can be obtained, so that the product text features of the products to be classified are obtained.
  • Five product text features are used to improve the accuracy of product classification.
  • Step 102 Extract image features of the product from the image of the product based on the pre-trained convolutional neural network model.
  • the embodiment of the invention collects picture information of ten types of products in the Internet product for classification, such as a sweater, a T-shirt, a jacket, a pants, a shirt, a dress, a shoulder bag, a single shoe, a business bag, a boots, etc., each of which has 300 product.
  • Each product will contain a text descriptive text and a picture.
  • This embodiment will automatically learn the image features of the product using a pre-trained convolutional neural network.
  • a product image refers to an image that includes an image of a product to be classified.
  • Color features such as color histograms
  • texture features such as texture features
  • shape features of the product image may be extracted as product image features.
  • the embodiment of the present invention adopts a convolutional neural network model. Since the network parameters are large and a large amount of training data is required, it is necessary to perform data enhancement (image enhancement).
  • the data enhancement (image enhancement) method adopted by the embodiment of the present invention includes first scaling each product image, scaling the short side to 256 pixels, and then flipping the image; finally, randomly adding illumination noise to randomly change the contrast of the image. , brightness, etc.
  • Each convolution layer parameter used in the embodiment of the present invention is C 1 ⁇ 48, 5*5 ⁇ , C2 ⁇ 128, 3*3 ⁇ , C3 ⁇ 192, 3*3 ⁇ , C4 ⁇ 128, 3*3 ⁇ , respectively.
  • the first four convolutional layers are respectively connected to a maximum pooling (max pooling) layer, that is, the element that selects the maximum value from the local range, and the fifth convolutional layer is followed by one more
  • the pooling scale used in this embodiment is (6*6, 3*3, 2*2), which is used to map different sizes of images obtained by convolving images of different sizes.
  • SPP Spatial Pooling Pooling
  • the pooling scale used in this embodiment is (6*6, 3*3, 2*2), which is used to map different sizes of images obtained by convolving images of different sizes.
  • Performing pooling to obtain feature vectors of the same length Specifically, for each image of different size, it is divided into 6*6, 3*3, 2*2 sub-blocks by average, and the sub-block features are extracted by max pooling, and finally 6*6+3*3+ will be obtained.
  • the feature vector of 2*2 49*Feature dimension
  • Feature is the feature map size of the fifth layer convolutional layer output.
  • the first two layers FC1 and FC2 are respectively 2048 nodes, and the last layer is a soft output classifier of 1000 outputs.
  • the training network adopts the stochastic gradient descent method. In order to avoid over-fitting, a dropout strategy with a random discard ratio of 0.5 is adopted in the first two layers of the all-connected layer.
  • the trained convolutional neural network loses The 1000-way is out, and in this embodiment, there are a total of Class C for the Internet product classification, so the last layer of the full connection layer is changed to C nodes, and then the Internet layer product is used to fine tune the last layer of the network.
  • the fine adjustment adopts the stochastic gradient descent method, the momentum is set to 0.9, the weight attenuation is set to 0.0005, and the initial value of the learning rate is set to 0.01, and the learning rate is gradually decreased as the number of iterations increases.
  • the image features of the product are extracted from the product image.
  • the embodiment of the invention inputs the test image into the pre-trained convolutional neural network, and the convolutional neural network is used to abstract the features of the image, and the five-layer convolutional neural network can extract the image features of the higher level through the fully connected layer.
  • the image feature is drawn into a one-dimensional vector.
  • the second fully connected layer output is selected as the image feature t j , as shown in FIG. 4 .
  • Step 103 merging the text feature of the product with the image feature of the product to obtain feature information of the product;
  • the text feature of the product and the image feature of the product are both one-dimensional vectors.
  • Step 104 Processing the feature information of the product based on the product classification model obtained by the pre-training, and obtaining the classification result of the product.
  • the support vector machine (SVM) classification and training speed is fast, and the model generalization ability is strong, which has become a hotspot and focus of the machine learning related field.
  • SVM support vector machine
  • the embodiment uses SVM technology. The basic idea is to create a hyperplane of one or a series of high-dimensional spaces, so that the distance between the hyperplane and the nearest neighbor training sample is the largest. An important job in SVM technology is the choice of kernel functions.
  • the sample size is large, the irregularity of the multi-dimensional data or the uneven distribution of the data in the high-level feature space, it is unreasonable to use a single-core mapping method to process all the samples, that is, it needs to be more A combination of kernel functions and a multi-core learning method.
  • K j is the basic kernel function
  • M is the total number of basic sums
  • ⁇ j is the weight coefficient
  • the embodiment of the present invention adopts a multi-core learning method based on sparse coding proposed by Francesco, and the improvement of sparsity can reduce redundancy and improve computational efficiency in some cases.
  • the present invention pre-trains the product classification model by the multi-core learning algorithm as follows:
  • the training sample set includes a plurality of product samples of a preset category, and the product samples include description texts and images of the product samples.
  • multiple product feature information is input into the product classification model Model for processing, and the product classification label label j can be obtained, and the flowchart is shown in FIG. 5.
  • the embodiment of the present invention automatically learns the product image features by using a convolutional neural network that is not limited to the input image size, and the image features and texts are Feature fusion, and finally, the different image sample prediction results of each product are maximized pooled max pooling, and the prediction result with the strongest response to each category in each product is selected as the prediction category of each product for automatic rejection.
  • Noise information can improve the accuracy of automatic classification in Internet product classification.
  • This method has been tested on the AMAX server platform, and it is possible to obtain higher accuracy in the product classification than the combination of image features and text information that are manually formulated.
  • an embodiment of the present invention further provides a product learning device based on deep learning, as described in the following embodiments. Since the principle of problem solving by the product learning device based on deep learning is similar to the product classification method based on deep learning, the implementation of the product classification device based on deep learning can be referred to the implementation of the product classification method based on deep learning, and the repetition is not repeated. .
  • the term "unit” or “module” may implement a combination of software and/or hardware of a predetermined function.
  • the apparatus described in the following embodiments is preferably implemented in software, hardware, or a combination of software and hardware, is also possible and contemplated.
  • the product classification apparatus includes:
  • a text feature extraction module 601 configured to extract a text feature of the product from the description text of the product
  • the image feature extraction module 602 is configured to extract image features of the product from the image of the product based on the pre-trained convolutional neural network model;
  • the feature information obtaining module 603 is configured to fuse the text feature of the product with the image feature of the product to obtain feature information of the product;
  • the classification module 604 is configured to process the feature information of the product based on the pre-trained product classification model to obtain a classification result of the product.
  • the text feature extraction module 601 shown in FIG. 7 specifically includes:
  • a word segmentation module 701 configured to segment the description text of the product to obtain candidate words
  • the feature word screening module 702 is configured to filter product feature words from the candidate words according to a preset evaluation function
  • the feature word weight determining module 703 is configured to determine a product feature word weight according to a frequency of the product feature word appearing in the sample document, a total number of sample documents, and a number of sample documents including the product feature word;
  • a text feature generating module 704 configured to generate a product text feature of the product to be classified according to the product feature word weight
  • the description text of the product is stored in the sample document.
  • the text feature extraction module 601 further includes:
  • a candidate word filtering module configured to filter out the candidate words included in the preset stop word table.
  • the feature word screening module 702 is specifically configured to:
  • the feature word screening module 702 specifically determines the relevance of the candidate word to the preset category as follows:
  • the classification module 604 is specifically configured to obtain a product classification model as follows:
  • the training sample set includes a plurality of product samples of a preset category, and the product samples include description texts and images of the product samples.
  • the product classification device further includes:
  • An image enhancement module configured to perform image enhancement on a product image of the product to be classified
  • the image feature extraction module 602 is further configured to extract image features of the product from the image of the image enhanced product based on the pre-trained convolutional neural network model.
  • the image enhancement module 605 is specifically configured to:
  • the present invention provides a method and apparatus for classifying (multi-feature) products based on deep learning, which breaks the traditional method of extracting image features by artificially defined image descriptors, and directly inputs raw image data into convolutional nerves.
  • the network automatically learns image features, and finally combines image features and text features, and then predicts product categories through SVM classifiers to achieve automatic product classification and improve the accuracy of intelligent classification.
  • embodiments of the present invention can be provided as a method, system, or computer program product. Accordingly, the present invention may take the form of an entirely hardware embodiment, an entirely software embodiment, or a combination of software and hardware. Moreover, the invention can take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) including computer usable program code.
  • computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the apparatus implements the functions specified in one or more blocks of a flow or a flow and/or block diagram of the flowchart.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device such that a series of operational steps are performed on a computer or other programmable device to produce computer-implemented processing for execution on a computer or other programmable device.
  • the instructions provide steps for implementing the functions specified in one or more of the flow or in a block or blocks of a flow diagram.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的产品分类方法及装置，其中，该方法包括以下步骤：从产品的描述文本中提取产品的文本特征；基于预训练得到的卷积神经网络模型，从产品的图像中提取产品的图像特征；将产品的文本特征与产品的图像特征融合，得到产品的特征信息；基于预训练得到的产品分类模型对产品的特征信息进行处理，得到产品的分类结果。由于该方案综合考虑了待分类产品的产品文本特征和产品图像特征，与只根据产品的文本信息进行产品分类相比，提高了分类准确率。

Description

一种基于深度学习的产品分类方法及装置 技术领域
本发明涉及模式识别技术领域，特别涉及一种基于深度学习的产品分类方法及装置。
背景技术
随着电子商务的迅猛发展，网上购物已逐渐成为网民的日常行为。网络产品种类繁杂，数量庞大，电商网站在物品管理方面需要花费很大精力，才能为用户提供良好的购物体验。产品分类问题是物品管理的首要问题，然而目前产品分类主要靠人工标定产品类别。虽然目前已有的智能分类方法大多使用产品的文本信息进行分类，然而由于文字并非能完全描述图片的所有内容，如果文字信息描述偏差的情况下，会导致产品被错误分类，需要花费很多人力成本来修正产品类别，因此现有的产品分类方法分类准确性较差。
发明内容
本发明实施例提供了一种基于深度学习的产品分类方法，解决了现有技术中根据产品的文本信息进行产品分类准确性较差的技术问题。该产品分类方法包括：
从产品的描述文本中提取产品的文本特征；
基于预训练得到的卷积神经网络模型，从产品的图像中提取产品的图像特征；
将产品的文本特征与产品的图像特征融合，得到产品的特征信息；
基于预训练得到的产品分类模型对产品的特征信息进行处理，得到产品的分类结果。
本发明实施例还提供了一种基于深度学习的产品分类装置，解决了现有技术中根据产品的文本信息进行产品分类准确性较差的技术问题。该产品分类装置包括：
文本特征提取模块，用于从产品的描述文本中提取产品的文本特征；
图像特征提取模块，用于基于预训练得到的卷积神经网络模型，从产品的图像中提取产品的图像特征；
特征信息获得模块，用于将产品的文本特征与产品的图像特征融合，得到产品的特征信息；
分类模块，用于基于预训练得到的产品分类模型对产品的特征信息进行处理，得到产品的分类结果。
在本发明实施例中，通过提取产品的文本特征和图像特征，再将产品的文本特征与产品的图像特征融合，得到产品的特征信息，从而利用该产品的特征信息进行分类获得分类结果，由于综合考虑了待分类产品的文本特征和图像特征，与只根据产品的文本信息进行产品分类相比，提高了分类准确率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1是本发明实施例提供的一种基于深度学习的产品分类方法流程图；
图2是本发明实施例提供的一种文本特征提取方法流程图；
图3是本发明实施例提供的一种预训练网络示意图；
图4是本发明实施例提供的一种图像特征提取方法流程示意图；
图5是本发明实施例提供的一种训练模型和预测产品流程图；
图6是本发明实施例提供的一种基于深度学习的产品分类装置结构示意图；
图7是本发明实施例提供的文本特征提取模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
现有的对产品进行分类的方法，只是单纯的使用产品的文本信息进行分类，如果文字信息描述出现偏差，会导致产品被错误分类，需要花费很多人力成本来修正产品类别，分类准确性较差。如果结合使用产品的文本信息和图像信息，就可以解决现有的分类方法分类准确性较差这一问题。基于此，本发明提出一种基于深度学习的产品分类方法及装置。
图1是本发明实施例提供的一种基于深度学习的产品分类方法流程图，如图1所示，该方法包括：
本实施例对互联网产品中C类产品进行分类，如针织衫、T恤、外套、裤子、衬 衫、连衣裙、单肩包、单鞋、产务包、靴子等，其中每类有500个产品。
产品的描述文本是指用于描述待分类产品的文本，包括文字、符号、数字等。产品的描述文本可对应存储于产品文本文档中，这样一个产品文本对应一个产品文本文档。
步骤101：从产品的描述文本中提取产品的文本特征，具体的流程如图2所示，包括：
输入产品pj，根据给定的文本Text，利用文本特征提取的方法，提取相应的文本特征，得到Tj。
步骤一：将产品的描述文本进行分词，获得候选词；
每个产品信息被作为一个文档，首先对其进行分词，将文档分割为一系列的词序列。本发明中采用中国科学院计算技术研究所基于多层隐马尔科夫模型的汉语词法分析系统ICTCLAS(Institute of Computing Technology，Chinese Lexical Analysis System)进行中文分词，分词精度达98.45％。
步骤二：根据预设评估函数从所述候选词中筛选出产品特征词；
本发明用于特征提取的评估函数有：特征频率函数、文档频率函数、信息增益函数、互信息函数、开方拟和检验函数五种。这五种评估函数可以任选其中一种，也可以是几种的组合，最优的是采用五种评估函数来得到五种产品特征词，然后将五种产品特征词综合使用。
1)特征频率函数(Term Frequency，TF)：
计算候选词在样本文档中出现的次数，将出现次数大于或等于次数阈值的候选词作为产品特征词。
具体的，首先遍历所有候选词(有用词)，求出每个候选词(有用词)在样本文档中出现的次数，设定一定的阈值(如10)，删除那些出现次数小于阈值对分类贡献很小的词，选取大于该阈值的分词作为产品特征词。
2)文档频率函数(Document Frequency，DF)：
计算包含候选词的样本文档占样本文档总数的比重，将比重在预设范围内的候选词作为产品特征词。
具体的，根据公式(1)计算每个候选词(有用词)t的文档频次Pt：
Figure PCTCN2015099965-appb-000001
其中，nt为包含每个候选词(有用词)t的样本文档数，n为样本文档总数。
设定特征词频次阈值(如(0.005，0.08))，筛选出在阈值范围内的候选词(有用词)t作为产品特征词。
3)信息增益函数(Information Gain，IG)：
计算所述候选词的信息增益权值，将信息增益权值大于信息增益权值阈值的候选词作为产品特征词。
具体的，根据公式(2)计算每个候选词(有用词)t的信息增益权值：
Figure PCTCN2015099965-appb-000002
其中，t表示候选词(有用词)，C表示文档类别，m表示类别数，P(Ci)表示Ci类文档在训练样本集中出现的概率，P(t)表示训练样本集中包含词条t的文档的概率，P(Ci|t)表示文档包含词条t时属于C类的条件概率，
Figure PCTCN2015099965-appb-000003
表示训练样本集中不包含词条t的文档的概率，
Figure PCTCN2015099965-appb-000004
表示文档中不包含词条t时属于C类的条件概率。
求出权值后，设定阈值(如0.006)，选取权值大于该阈值的有用词作为产品特征词。
4)互信息函数(Mutual Information，MI)：
计算候选词的互信息值，将互信息值大于互信息值阈值的候选词作为产品特征词。
具体的，按照公式(3)或(4)计算每个候选词(有用词)tk与每个类别Ci的互信息值：
Figure PCTCN2015099965-appb-000005
也可表示为
MI(tk，Ci)＝logP(tk|Ci)-logP(tk)      (4)
其中，P(tk，Ci)为类别Ci、特征P(tk)在训练样本集中出现的概率，P(tk)为tk在整个训练样本集中出现的概率，P(Ci)为Ci类样本文档在整个训练样本集中出现的概率，P(tk|Ci)为tk在Ci类样本文档中出现的条件概率。
在计算出的互信息值中选取大于阈值1.54的有用词作为特征词。
5)开方拟和检验函数(Chi-square，CHI)：
计算候选词与预设类别的相关度，将相关度大于相关度阈值的候选词作为产品特征词。
具体的，按照公式(5)计算每个有用词候选词(有用词)tk与每个类别Ci之间的相关性，其值定义为
Figure PCTCN2015099965-appb-000006
其中，n为训练样本集的样本文档数，P(tk，Ci)为训练样本集中出现特征tk并且属于类别Ci的样本文档出现的概率，
Figure PCTCN2015099965-appb-000007
为训练样本集中不出现特征tk并且不属于类别Ci的样本文档出现的概率，
Figure PCTCN2015099965-appb-000008
为训练样本集中出现特征tk并且不属于类别Ci的样本文档出现的概率，
Figure PCTCN2015099965-appb-000009
不出现特征tk并且属于类别Ci的样本文档出现的概率。
设定相关性阈值(如10)，筛选出大于该阈值的有用词作为特征词。
上述1)至5)能够生成五组产品特征词，对应五种产品特征文本，可显著提高产品文本特征描述待分类产品的能力，从而提高分类的准确性。
具体实施时，在步骤二之前还包括：过滤掉包含在预设停用词表中的所述候选词。
候选词中可能会存在一些会造成分类干扰、对分类没有价值的字或词(停用词)，比如语气词、助词等。因此预先设置停用词表，将这些会造成分类干扰的字或词加入停用词表中，从而过滤掉包含在预设停用词表中的候选词，可以避免不必要的计算，节省产品分类所需时间。
步骤三：根据所述产品特征词在样本文档中出现的频率、样本文档总数和包含所述产品特征词的样本文档的个数确定产品特征词权值。
具体的，通过上述五种方法选取的产品特征词后，分别对每组产品特征词根据公式(6)计算每个产品特征词的权值：
Wi＝TFi(t，d)×n/DF(t)           (6)
其中，Wi为第i个产品特征词的权重，TFi(t，d)为产品特征词t在文档d中出现的频率，n表示文档数，DF(t)为包含产品特征词t的文档数。
步骤四：根据所述产品特征词权值生成待分类产品的产品文本特征。
具体的，根据式(6)分别计算出每种方法中求出的每个产品特征词的权值之后，即可将每个产品的描述文本转换为一个以产品特征词为维度的向量，每个维度的属性值为产品特征词的权值。每种方法会得出一个向量，即一个产品文本特征。则对于一个产品文本，根据1)至5)可以得出五种向量，即五种产品文本特征，这样就得到待分类产品的产品文本特征。采用五种产品文本特征，可提高产品分类的准确率。
步骤102：基于预训练得到的卷积神经网络模型，从产品的图像中提取产品的图像特征。
具体实施时，近年来，深度学习在图像分类方面表现突出，尤其是卷积神经网络能够自动学习图像特征，并且提取的特征稳定可靠。本发明实施例采集互联网产品中十类产品的图片信息进行分类，针织衫、T恤、外套、裤子、衬衫、连衣裙、单肩包、单鞋、商务包、靴子等，其中每类有300个产品。每个产品将会包含一条文字描述性文字和一张图片，本实施例将利用预训练好的卷积神经网络自动学习产品的图像特征。
产品图像是指包括待分类产品的影像的图像。可提取产品图像的颜色特征(比如颜色直方图)、纹理特征或形状特征等作为产品图像特征。
具体的，首先，本发明实施例采用卷积神经网络模型，由于网络参数庞大，需要大量的训练数据，因此很有必要做数据增强(图像增强)。本发明实施例采用的数据增强(图像增强)方式包括，首先对每幅产品图像按比例缩放，将短边缩放到256pixel；再对图像进行翻转；最后，随机加入光照噪声，随机改变图像的对比度、亮度等。
然后，预训练卷积神经网络：
本发明实施例采用ImageNet 2012数据集预训练卷积神经网络，网络示意图见图3，具体为五层卷积层Ci{N，S}i＝1，...，5，其中，N表示卷积核个数，S表示卷积核大小，每个卷积层都采用矫正的线性单元(Rectified linear units，ReLU)激活函数。本发明实施例采用的每个卷积层参数分别为C1{48，5*5}，C2{128，3*3}，C3{192，3*3}，C4{128，3*3}，C5{128，3*3}，前四个卷积层后面分别连接一个最大池化(max pooling)层，即从局部范围中选取最大值的元素，第五个卷积层后接一个多尺度空间池化(Spatial Pooling Pooling，SPP)层，本实施例采用的pooling尺度为(6*6，3*3，2*2)，用于对不同大小图像卷积得到的不同大小的特征图进行pooling得到相同长度的特征向量。具体为对每幅大小不同的图像都将其平均划分为6*6、3*3、2*2个子块，用max pooling的方式提取子块特征，最终将得到6*6+3*3+2*2＝49*Feature维的特征向量，Feature是第五层卷积层输出的特征图大小。
卷积层之后连接三层全连接层，前两层FC1、FC2分别为2048个节点，最后一层为一个1000个输出的softmax分类器。训练网络采用随机梯度下降法，为了避免过拟合，在前两层全连接层采用随机丢弃比例为0.5的丢弃(dropout)策略。
再者，对预训练好的卷积神经网络进行微调：
由于训练使用的ImageNet 2012数据集是1000个类别，所以训练的卷积神经网络输 出时1000-way，而本实施例对互联网产品分类总共有C类，因此将最后一层全连接层改为C个节点，再用互联网产品对网络最后一层全连接层进行微调。微调采用随机梯度下降法，动量设置为0.9，权重衰减设置为0.0005，学习率初始值设为0.01，随着迭代次数增加逐渐减小学习率。
最后，基于微调后的预训练好的卷积神经网络，从产品图像中提取产品的图像特征。
本发明实施例将测试图像输入到预训练好的卷积神经网络，卷积神经网络用来抽象图像的特征，经过五层卷积神经网络可以提取到较高层级的图像特征，通过全连接层将图像特征拉成一维向量，本发明实施例选取第二个全连接层输出作为图像特征tj，见图4。
步骤103：将产品的文本特征与产品的图像特征融合，得到产品的特征信息；
产品的文本特征与产品的图像特征均为一个一维向量，本发明实施例将产品的文本特征与产品的图像特征拼接起来，作为第j个产品的特征Pj＝{xj，tj}。
步骤104：基于预训练得到的产品分类模型对产品的特征信息进行处理，得到产品的分类结果。
具体实施时，在目前众多的智能分类方法中，支持向量机技术(Support vector machine，SVM)分类和训练速度较快，模型泛化能力较强，成为机器学习相关领域的热点和重点，本发明实施例采用SVM技术。其基本思想是建立一个或一系列高维空间的超平面，使得超平面到最相邻的训练样本之间的距离最大。SVM技术中一个重要的工作就是核函数的选择。当样本特征还有异构信息，样本规模很大，多维数据的不规则或数据在高位特征空间分布的不平坦，采用单核进行映射的方式对所有样本进行处理并不合理，即需要将多个核函数进行组合及多核学习方法。
构造多核学习最常见也最常用的一种方法就是考虑多个核函数的凸组合，形如式：
Figure PCTCN2015099965-appb-000010
式中Kj是基本核函数，M是基本和的总个数，βj是权系数
合成核的方法有很多，本发明实施例采用Francesco提出的基于稀疏编码的多核学习方法，稀疏性的提高在一些情况下可以减少冗余，提高运算效率。
具体的，本发明通过多核学习算法按如下方式预训练得到了产品分类模型：
从训练样本集中产品样本的描述文本中提取产品样本的文本特征；
基于预训练得到的卷积神经网络模型，从训练样本集中产品样本的图像中提取产品样本的图像特征；
将产品样本的文本特征和产品样本的图像特征融合，得到产品样本的特征信息；
对产品样本的特征信息进行训练，获得基于支持向量机的产品分类模型；
其中，训练样本集包括预设类别的多个产品样本，所述产品样本包括产品样本的描述文本和图像。
根据多核学习算法，将多个产品特征信息输入到产品分类模型Model中进行处理，就能获得产品的分类标记labelj，流程图如图5。
具体实施时，由于互联网产品中每个产品会有一个文字描述和多个产品图像，因此本发明实施例利用不限输入图像大小的卷积神经网络自动学习产品图像特征，并且将图像特征与文本特征融合，最后再将每个产品的不同图像样本预测结果进行跨样本的最大化池化max pooling，选取每个产品中对类别响应最强的预测结果作为每个产品的预测类别，以便自动剔除掉噪声信息，在互联网产品分类中能提高自动分类的准确性。
本方法在AMAX服务器平台上已经做实验，在产品分类中能够获得比使用人工制定的图像特征与文本信息结合分类更高的准确率。
基于同一发明构思，本发明实施例中还提供了一种基于深度学习的产品分类装置，如下面的实施例所述。由于基于深度学习的产品分类装置解决问题的原理与基于深度学习的产品分类方法相似，因此基于深度学习的产品分类装置的实施可以参见基于深度学习的产品分类方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是本发明实施例的基于深度学习的产品分类装置的一种结构框图，如图6所示，该产品分类装置包括：
文本特征提取模块601，用于从产品的描述文本中提取产品的文本特征；
图像特征提取模块602，用于基于预训练得到的卷积神经网络模型，从产品的图像中提取产品的图像特征；
特征信息获得模块603，用于将产品的文本特征与产品的图像特征融合，得到产品的特征信息；
分类模块604，用于基于预训练得到的产品分类模型对产品的特征信息进行处理，得到产品的分类结果。
下面对该结构进行说明。
具体实施时，如图7所示所述文本特征提取模块601具体包括，：
分词模块701，用于将产品的描述文本进行分词，获得候选词；
特征词筛选模块702，用于根据预设评估函数从所述候选词中筛选出产品特征词；
特征词权值确定模块703，用于根据所述产品特征词在样本文档中出现的频率、样本文档总数和包含所述产品特征词的样本文档的个数确定产品特征词权值；
文本特征生成模块704，用于根据所述产品特征词权值生成待分类产品的产品文本特征；
其中，所述产品的描述文本存储于样本文档中。
具体实施时，所述文本特征提取模块601还包括：
候选词过滤模块，用于过滤掉包含在预设停用词表中的所述候选词。
具体实施时，所述特征词筛选模块702具体用于：
确定所述候选词在所述样本文档中出现的次数，将出现次数大于或等于次数阈值的候选词作为产品特征词；和/或，
确定包含所述候选词的样本文档占样本文档总数的比重，将比重在预设范围内的候选词作为产品特征词；和/或，
确定所述候选词的信息增益权值，将信息增益权值大于信息增益权值阈值的候选词作为产品特征词；和/或，
确定所述候选词的互信息值，将互信息值大于互信息值阈值的候选词作为产品特征词；和/或，
确定所述候选词与所述预设类别的相关度，将相关度大于相关度阈值的候选词作为产品特征词。
具体实施时，所述特征词筛选模块702具体按如下方式确定所述候选词与所述预设类别的相关度：
根据所述训练样本集中是否出现所述候选词和所述候选词是否属于所述预设类别的概率，确定所述候选词与所述预设类别的相关度。
具体实施时，所述分类模块604具体用于按如下方式获得产品分类模型：
从训练样本集中产品样本的描述文本中提取产品样本的文本特征；
基于预训练得到的卷积神经网络模型，从训练样本集中产品样本的图像中提取产品样本的图像特征；
将产品样本的文本特征和产品样本的图像特征融合，得到产品样本的特征信息；
对产品样本的特征信息进行训练，获得基于支持向量机的产品分类模型；
其中，训练样本集包括预设类别的多个产品样本，所述产品样本包括产品样本的描述文本和图像。
具体实施时，该产品分类装置还包括：
图像增强模块，用于对所述待分类产品的产品图像进行图像增强；
所述图像特征提取模块602，还用于基于预训练得到的卷积神经网络模型，从图像增强后的产品的图像中提取产品的图像特征。
具体实施时，所述图像增强模块605具体用于：
将产品的图像按预设比例缩放；
将比例缩放后的产品的图像进行翻转；
在翻转后的产品的图像中加入光照噪声；
改变加入光照噪声的产品的图像的对比度和/或亮度。
综上所述，本发明提出一种基于深度学习的(多特征)产品分类方法及装置，打破传统的以人工制定的图像描述子提取图像特征的方法，将产品图像原始数据直接输入卷积神经网络自动学习图像特征，最后将图像特征和文本特征融合，再通过SVM分类器预测产品类别，以实现产品自动分类，提高智能分类的准确性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

  1. 一种基于深度学习的产品分类方法，其特征在于，包括：
    从产品的描述文本中提取产品的文本特征；
    基于预训练得到的卷积神经网络模型，从产品的图像中提取产品的图像特征；
    将产品的文本特征与产品的图像特征融合，得到产品的特征信息；
    基于预训练得到的产品分类模型对产品的特征信息进行处理，得到产品的分类结果。
  2. 如权利要求1所述的基于深度学习的产品分类方法，其特征在于，还包括：按如下方式预训练得到产品分类模型：
    从训练样本集中产品样本的描述文本中提取产品样本的文本特征；
    基于预训练得到的卷积神经网络模型，从训练样本集中产品样本的图像中提取产品样本的图像特征；
    将产品样本的文本特征和产品样本的图像特征融合，得到产品样本的特征信息；
    对产品样本的特征信息进行训练，获得基于支持向量机的产品分类模型；
    其中，训练样本集包括预设类别的多个产品样本，所述产品样本包括产品样本的描述文本和图像。
  3. 如权利要求1所述的基于深度学习的产品分类方法，其特征在于，所述从产品的描述文本中提取产品的文本特征，包括：
    将产品的描述文本进行分词，获得候选词；
    根据预设评估函数从所述候选词中筛选出产品特征词；
    根据所述产品特征词在样本文档中出现的频率、样本文档总数和包含所述产品特征词的样本文档的个数确定产品特征词权值；
    根据所述产品特征词权值生成待分类产品的产品文本特征；
    其中，所述产品的描述文本存储于样本文档中。
  4. 如权利要求3所述的基于深度学习的产品分类方法，其特征在于，在根据预设评估函数从所述候选词中筛选出产品特征词之前，还包括：
    过滤掉包含在预设停用词表中的所述候选词。
  5. 如权利要求3所述的基于深度学习的产品分类方法，其特征在于，所述根据预设评估函数从所述候选词中筛选出产品特征词，包括：
    确定所述候选词在所述样本文档中出现的次数，将出现次数大于或等于次数阈值的候选词作为产品特征词；和/或，
    确定包含所述候选词的样本文档占样本文档总数的比重，将比重在预设范围内的候选词作为产品特征词；和/或，
    确定所述候选词的信息增益权值，将信息增益权值大于信息增益权值阈值的候选词作为产品特征词；和/或，
    确定所述候选词的互信息值，将互信息值大于互信息值阈值的候选词作为产品特征词；和/或，
    确定所述候选词与所述预设类别的相关度，将相关度大于相关度阈值的候选词作为产品特征词。
  6. 如权利要求5所述的基于深度学习的产品分类方法，其特征在于，所述确定候选词与所述预设类别的相关度，包括：
    根据所述训练样本集中是否出现所述候选词和所述候选词是否属于所述预设类别的概率，确定所述候选词与所述预设类别的相关度。
  7. 如权利要求1所述的基于深度学习的产品分类方法，其特征在于，还包括：
    对产品的图像进行图像增强；
    基于预训练得到的卷积神经网络模型，从产品的图像中提取产品的图像特征，还包括：
    基于预训练的卷积神经网络模型，从图像增强后的产品的图像中提取产品的图像特征。
  8. 如权利要求7所述的基于深度学习的产品分类方法，其特征在于，所述对产品的图像进行图像增强包括：
    将产品的图像按预设比例缩放；
    将比例缩放后的产品的图像进行翻转；
    在翻转后的产品的图像中加入光照噪声；
    改变加入光照噪声的产品的图像的对比度和/或亮度。
  9. 如权利要求1所述的基于深度学习的产品分类方法，其特征在于，所述基于预训练得到的卷积神经网络模型，从产品的图像中提取产品的图像特征，具体包括：
    通过五层卷积神经网络从产品的图像中提取产品特征图；
    将所述产品特征图分割成不同大小的产品特征图子块；
    采用最大化池化法从所述产品特征图子块中提取出产品图像特征。
  10. 一种基于深度学习的产品分类装置，其特征在于，包括：
    文本特征提取模块，用于从产品的描述文本中提取产品的文本特征；
    图像特征提取模块，用于基于预训练得到的卷积神经网络模型，从产品的图像中提取产品的图像特征；
    特征信息获得模块，用于将产品的文本特征与产品的图像特征融合，得到产品的特征信息；
    分类模块，用于基于预训练得到的产品分类模型对产品的特征信息进行处理，得到产品的分类结果。
  11. 如权利要求10所述的基于深度学习的产品分类装置，其特征在于，所述分类模块具体用于按如下方式获得产品分类模型：
    从训练样本集中产品样本的描述文本中提取产品样本的文本特征；
    基于预训练得到的卷积神经网络模型，从训练样本集中产品样本的图像中提取产品样本的图像特征；
    将产品样本的文本特征和产品样本的图像特征融合，得到产品样本的特征信息；
    对产品样本的特征信息进行训练，获得基于支持向量机的产品分类模型；
    其中，训练样本集包括预设类别的多个产品样本，所述产品样本包括产品样本的描述文本和图像。
  12. 如权利要求10所述的基于深度学习的产品分类装置，其特征在于，所述文本特征提取模块具体包括：
    分词模块，用于将产品的描述文本进行分词，获得候选词；
    特征词筛选模块，用于根据预设评估函数从所述候选词中筛选出产品特征词；
    特征词权值确定模块，用于根据所述产品特征词在样本文档中出现的频率、样本文档总数和包含所述产品特征词的样本文档的个数确定产品特征词权值；
    文本特征生成模块，用于根据所述产品特征词权值生成待分类产品的产品文本特征；
    其中，所述产品的描述文本存储于样本文档中。
  13. 如权利要求12所述的基于深度学习的产品分类装置，其特征在于，所述文本特征提取模块还包括：
    候选词过滤模块，用于过滤掉包含在预设停用词表中的所述候选词。
  14. 如权利要求12所述的基于深度学习的产品分类装置，其特征在于，所述特征词筛选模块具体用于：
    确定所述候选词在所述样本文档中出现的次数，将出现次数大于或等于次数阈值的候选词作为产品特征词；和/或，
    确定包含所述候选词的样本文档占样本文档总数的比重，将比重在预设范围内的候选词作为产品特征词；和/或，
    确定所述候选词的信息增益权值，将信息增益权值大于信息增益权值阈值的候选词作为产品特征词；和/或，
    确定所述候选词的互信息值，将互信息值大于互信息值阈值的候选词作为产品特征词；和/或，
    确定所述候选词与所述预设类别的相关度，将相关度大于相关度阈值的候选词作为产品特征词。
  15. 如权利要求14所述的基于深度学习的产品分类装置，其特征在于，所述特征词筛选模块具体按如下方式确定所述候选词与所述预设类别的相关度：
    根据所述训练样本集中是否出现所述候选词和所述候选词是否属于所述预设类别的概率，确定所述候选词与所述预设类别的相关度。
  16. 如权利要求10所述的基于深度学习的产品分类装置，其特征在于，还包括：
    图像增强模块，用于对所述待分类产品的产品图像进行图像增强；
    所述图像特征提取模块，还用于基于预训练得到的卷积神经网络模型，从图像增强后的产品的图像中提取产品的图像特征。
  17. 如权利要求16所述的基于深度学习的产品分类装置，其特征在于，所述图像增强模块具体用于：
    将产品的图像按预设比例缩放；
    将比例缩放后的产品的图像进行翻转；
    在翻转后的产品的图像中加入光照噪声；
    改变加入光照噪声的产品的图像的对比度和/或亮度。
  18. 如权利要求16所述的基于深度学习的产品分类装置，其特征在于，所述图像特征提取模块具体用于：
    通过五层卷积神经网络从产品的图像中提取产品特征图；
    将所述产品特征图分割成不同大小的产品特征图子块；
    采用最大化池化法从所述产品特征图子块中提取出产品图像特征。
PCT/CN2015/099965 2015-12-30 2015-12-30 一种基于深度学习的产品分类方法及装置 WO2017113232A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2015/099965 WO2017113232A1 (zh) 2015-12-30 2015-12-30 一种基于深度学习的产品分类方法及装置
CN201580001265.6A CN107683469A (zh) 2015-12-30 2015-12-30 一种基于深度学习的产品分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/099965 WO2017113232A1 (zh) 2015-12-30 2015-12-30 一种基于深度学习的产品分类方法及装置

Publications (1)

Publication Number Publication Date
WO2017113232A1 true WO2017113232A1 (zh) 2017-07-06

Family

ID=59224011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/099965 WO2017113232A1 (zh) 2015-12-30 2015-12-30 一种基于深度学习的产品分类方法及装置

Country Status (2)

Country Link
CN (1) CN107683469A (zh)
WO (1) WO2017113232A1 (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844257A (zh) * 2017-11-06 2018-03-27 广东欧珀移动通信有限公司 信息显示方法、装置、终端及存储介质
CN108470184A (zh) * 2018-02-11 2018-08-31 青岛海尔智能技术研发有限公司 食材识别方法、识别装置及家电设备
CN108491867A (zh) * 2018-03-12 2018-09-04 苏州卓融新能源科技有限公司 基于人工智能的影像匹配及识别方法
CN109271523A (zh) * 2018-11-23 2019-01-25 中电科大数据研究院有限公司 一种基于信息检索的政府公文主题分类方法
CN109598275A (zh) * 2017-09-30 2019-04-09 富士通株式会社 特征选择装置、方法及电子设备
CN109598517A (zh) * 2017-09-29 2019-04-09 阿里巴巴集团控股有限公司 商品通关处理、对象的处理及其类别预测方法和装置
CN109858027A (zh) * 2019-01-22 2019-06-07 北京万诚信用评价有限公司 互联网电商商品信息四品一械识别分类方法
CN110288085A (zh) * 2019-06-20 2019-09-27 厦门市美亚柏科信息股份有限公司 一种数据处理方法、装置、系统及存储介质
CN110472002A (zh) * 2019-08-14 2019-11-19 腾讯科技（深圳）有限公司 一种文本相似度获取方法和装置
CN110502969A (zh) * 2019-07-03 2019-11-26 国网江西省电力有限公司检修分公司 一种纸质材料关键信息自动提取方法
CN110532571A (zh) * 2017-09-12 2019-12-03 腾讯科技（深圳）有限公司 文本处理方法及相关装置
CN110704880A (zh) * 2018-06-19 2020-01-17 中国石化工程建设有限公司 一种工程图纸的关联方法
CN111125366A (zh) * 2019-12-25 2020-05-08 三角兽（北京）科技有限公司 文本分类方法及装置
CN111159200A (zh) * 2019-12-31 2020-05-15 华中科技大学鄂州工业技术研究院 一种基于深度学习的数据存储方法和装置
CN111401428A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 一种图像分类方法、装置、电子设备和存储介质
CN111581368A (zh) * 2019-02-19 2020-08-25 中国科学院信息工程研究所 一种基于卷积神经网络的面向智能专家推荐的用户画像方法
TWI705414B (zh) * 2018-05-29 2020-09-21 長庚醫療財團法人林口長庚紀念醫院 自體免疫抗體免疫螢光影像分類系統及其分類方法
CN111768214A (zh) * 2019-03-14 2020-10-13 北京京东尚科信息技术有限公司 产品属性的预测方法、系统、设备和存储介质
CN111931664A (zh) * 2020-08-12 2020-11-13 腾讯科技（深圳）有限公司 混贴票据图像的处理方法、装置、计算机设备及存储介质
CN112000807A (zh) * 2020-09-07 2020-11-27 辽宁国诺科技有限公司 一种建议提案精确分类方法
CN112348043A (zh) * 2019-08-09 2021-02-09 杭州海康机器人技术有限公司 机器学习中的特征筛选方法和装置
CN112396111A (zh) * 2020-11-20 2021-02-23 平安普惠企业管理有限公司 文本意图分类方法、装置、计算机设备及存储介质
CN112489769A (zh) * 2019-08-22 2021-03-12 浙江远图互联科技股份有限公司 基于深度神经网络的慢性病智慧中医诊断与药物推荐系统
CN112733549A (zh) * 2020-12-31 2021-04-30 厦门智融合科技有限公司 一种基于多重语义融合的专利价值信息分析方法、装置
CN113032581A (zh) * 2021-04-09 2021-06-25 北京百度网讯科技有限公司 更新产品列表的方法和装置
US11055557B2 (en) 2018-04-05 2021-07-06 Walmart Apollo, Llc Automated extraction of product attributes from images
CN114324361A (zh) * 2021-12-31 2022-04-12 大连理工大学 一种金相组织劣化评级方法及装置
CN115409549A (zh) * 2022-08-23 2022-11-29 中国民航信息网络股份有限公司 一种数据处理方法、系统、电子设备及计算机存储介质
CN111307805B (zh) * 2020-03-20 2023-07-18 湖南烟叶复烤有限公司郴州复烤厂 一种基于视觉特征融合的打叶质量检测装置及检测方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413769A (zh) * 2018-04-25 2019-11-05 北京京东尚科信息技术有限公司 场景分类方法、装置、存储介质及其电子设备
CN110533018B (zh) * 2018-05-23 2022-02-25 北京国双科技有限公司 一种图像的分类方法及装置
CN108960412B (zh) * 2018-06-29 2022-09-30 北京京东尚科信息技术有限公司 图像识别方法、装置及计算机可读存储介质
CN109002852B (zh) * 2018-07-11 2023-05-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111191025B (zh) * 2018-11-15 2023-12-12 深圳市雅阅科技有限公司 文章相关性的确定方法、装置、可读介质及电子设备
CN109830271A (zh) * 2019-01-15 2019-05-31 安徽理工大学 一种基于边缘计算和云计算的健康数据管理系统及分析方法
CN109947526B (zh) * 2019-03-29 2023-04-11 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110020435B (zh) * 2019-04-03 2023-04-07 湖北工业大学 一种采用并行二进制蝙蝠算法优化文本特征选择的方法
CN110033008B (zh) * 2019-04-29 2023-08-04 同济大学 一种基于模态变换与文本归纳的图像描述生成方法
CN110413997B (zh) * 2019-07-16 2023-04-07 深圳供电局有限公司 针对电力行业的新词发现方法及其系统、可读存储介质
CN112580329B (zh) * 2019-09-30 2024-02-20 北京国双科技有限公司 文本噪声数据识别方法、装置、计算机设备和存储介质
CN112329835A (zh) * 2020-10-30 2021-02-05 天河超级计算淮海分中心 图像处理方法、电子设备和存储介质
CN113344121B (zh) * 2021-06-29 2023-10-27 北京百度网讯科技有限公司 训练招牌分类模型和招牌分类的方法
CN114677526A (zh) * 2022-03-25 2022-06-28 平安科技（深圳）有限公司 图像分类方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1912161A2 (en) * 2006-10-11 2008-04-16 Seiko Epson Corporation Method and apparatus for automatic image categorization
CN101937445A (zh) * 2010-05-24 2011-01-05 中国科学技术信息研究所 一种文件自动分类系统
CN103699523A (zh) * 2013-12-16 2014-04-02 深圳先进技术研究院 产品分类方法和装置
CN104376105A (zh) * 2014-11-26 2015-02-25 北京航空航天大学 一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法
CN104866524A (zh) * 2015-04-10 2015-08-26 大连交通大学 一种商品图像精细分类方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3373008B2 (ja) * 1993-10-20 2003-02-04 オリンパス光学工業株式会社 画像像域分離装置
CN103366180B (zh) * 2013-06-14 2016-06-01 山东大学 一种基于自动特征学习的细胞图像分割方法
CN104778464B (zh) * 2015-05-04 2018-06-05 中国科学院重庆绿色智能技术研究院 一种基于深度卷积神经网络的服装定位检测方法
CN104992191B (zh) * 2015-07-23 2018-01-26 厦门大学 基于深度学习的特征和最大置信路径的图像分类方法
CN105117739A (zh) * 2015-07-29 2015-12-02 南京信息工程大学 一种基于卷积神经网络的服装分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1912161A2 (en) * 2006-10-11 2008-04-16 Seiko Epson Corporation Method and apparatus for automatic image categorization
CN101937445A (zh) * 2010-05-24 2011-01-05 中国科学技术信息研究所 一种文件自动分类系统
CN103699523A (zh) * 2013-12-16 2014-04-02 深圳先进技术研究院 产品分类方法和装置
CN104376105A (zh) * 2014-11-26 2015-02-25 北京航空航天大学 一种社会媒体中图像低层视觉特征与文本描述信息的特征融合系统及方法
CN104866524A (zh) * 2015-04-10 2015-08-26 大连交通大学 一种商品图像精细分类方法

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532571A (zh) * 2017-09-12 2019-12-03 腾讯科技（深圳）有限公司 文本处理方法及相关装置
CN110532571B (zh) * 2017-09-12 2022-11-18 腾讯科技（深圳）有限公司 文本处理方法及相关装置
CN109598517A (zh) * 2017-09-29 2019-04-09 阿里巴巴集团控股有限公司 商品通关处理、对象的处理及其类别预测方法和装置
CN109598517B (zh) * 2017-09-29 2023-09-12 阿里巴巴集团控股有限公司 商品通关处理、对象的处理及其类别预测方法和装置
CN109598275A (zh) * 2017-09-30 2019-04-09 富士通株式会社 特征选择装置、方法及电子设备
CN107844257A (zh) * 2017-11-06 2018-03-27 广东欧珀移动通信有限公司 信息显示方法、装置、终端及存储介质
CN107844257B (zh) * 2017-11-06 2020-04-21 Oppo广东移动通信有限公司 信息显示方法、装置、终端及存储介质
CN108470184A (zh) * 2018-02-11 2018-08-31 青岛海尔智能技术研发有限公司 食材识别方法、识别装置及家电设备
CN108491867A (zh) * 2018-03-12 2018-09-04 苏州卓融新能源科技有限公司 基于人工智能的影像匹配及识别方法
US11055557B2 (en) 2018-04-05 2021-07-06 Walmart Apollo, Llc Automated extraction of product attributes from images
TWI705414B (zh) * 2018-05-29 2020-09-21 長庚醫療財團法人林口長庚紀念醫院 自體免疫抗體免疫螢光影像分類系統及其分類方法
CN110704880A (zh) * 2018-06-19 2020-01-17 中国石化工程建设有限公司 一种工程图纸的关联方法
CN110704880B (zh) * 2018-06-19 2022-12-02 中国石化工程建设有限公司 一种工程图纸的关联方法
CN109271523A (zh) * 2018-11-23 2019-01-25 中电科大数据研究院有限公司 一种基于信息检索的政府公文主题分类方法
CN109858027A (zh) * 2019-01-22 2019-06-07 北京万诚信用评价有限公司 互联网电商商品信息四品一械识别分类方法
CN111581368A (zh) * 2019-02-19 2020-08-25 中国科学院信息工程研究所 一种基于卷积神经网络的面向智能专家推荐的用户画像方法
CN111768214A (zh) * 2019-03-14 2020-10-13 北京京东尚科信息技术有限公司 产品属性的预测方法、系统、设备和存储介质
CN110288085A (zh) * 2019-06-20 2019-09-27 厦门市美亚柏科信息股份有限公司 一种数据处理方法、装置、系统及存储介质
CN110288085B (zh) * 2019-06-20 2022-06-03 厦门市美亚柏科信息股份有限公司 一种数据处理方法、装置、系统及存储介质
CN110502969A (zh) * 2019-07-03 2019-11-26 国网江西省电力有限公司检修分公司 一种纸质材料关键信息自动提取方法
CN112348043B (zh) * 2019-08-09 2024-04-02 杭州海康机器人股份有限公司 机器学习中的特征筛选方法和装置
CN112348043A (zh) * 2019-08-09 2021-02-09 杭州海康机器人技术有限公司 机器学习中的特征筛选方法和装置
CN110472002A (zh) * 2019-08-14 2019-11-19 腾讯科技（深圳）有限公司 一种文本相似度获取方法和装置
CN112489769B (zh) * 2019-08-22 2024-05-17 浙江远图技术股份有限公司 基于深度神经网络的慢性病智慧中医诊断与药物推荐系统
CN112489769A (zh) * 2019-08-22 2021-03-12 浙江远图互联科技股份有限公司 基于深度神经网络的慢性病智慧中医诊断与药物推荐系统
CN111125366A (zh) * 2019-12-25 2020-05-08 三角兽（北京）科技有限公司 文本分类方法及装置
CN111125366B (zh) * 2019-12-25 2023-05-23 腾讯科技（深圳）有限公司 文本分类方法及装置
CN111159200B (zh) * 2019-12-31 2023-10-17 华中科技大学鄂州工业技术研究院 一种基于深度学习的数据存储方法和装置
CN111159200A (zh) * 2019-12-31 2020-05-15 华中科技大学鄂州工业技术研究院 一种基于深度学习的数据存储方法和装置
CN111401428A (zh) * 2020-03-12 2020-07-10 Oppo广东移动通信有限公司 一种图像分类方法、装置、电子设备和存储介质
CN111307805B (zh) * 2020-03-20 2023-07-18 湖南烟叶复烤有限公司郴州复烤厂 一种基于视觉特征融合的打叶质量检测装置及检测方法
CN111931664B (zh) * 2020-08-12 2024-01-12 腾讯科技（深圳）有限公司 混贴票据图像的处理方法、装置、计算机设备及存储介质
CN111931664A (zh) * 2020-08-12 2020-11-13 腾讯科技（深圳）有限公司 混贴票据图像的处理方法、装置、计算机设备及存储介质
CN112000807A (zh) * 2020-09-07 2020-11-27 辽宁国诺科技有限公司 一种建议提案精确分类方法
CN112396111A (zh) * 2020-11-20 2021-02-23 平安普惠企业管理有限公司 文本意图分类方法、装置、计算机设备及存储介质
CN112733549B (zh) * 2020-12-31 2024-03-01 厦门智融合科技有限公司 一种基于多重语义融合的专利价值信息分析方法、装置
CN112733549A (zh) * 2020-12-31 2021-04-30 厦门智融合科技有限公司 一种基于多重语义融合的专利价值信息分析方法、装置
CN113032581A (zh) * 2021-04-09 2021-06-25 北京百度网讯科技有限公司 更新产品列表的方法和装置
CN113032581B (zh) * 2021-04-09 2024-02-06 北京百度网讯科技有限公司 更新产品列表的方法和装置
CN114324361A (zh) * 2021-12-31 2022-04-12 大连理工大学 一种金相组织劣化评级方法及装置
CN114324361B (zh) * 2021-12-31 2024-03-15 大连理工大学 一种金相组织劣化评级方法及装置
CN115409549A (zh) * 2022-08-23 2022-11-29 中国民航信息网络股份有限公司 一种数据处理方法、系统、电子设备及计算机存储介质
CN115409549B (zh) * 2022-08-23 2024-05-14 中国民航信息网络股份有限公司 一种数据处理方法、系统、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN107683469A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
WO2017113232A1 (zh) 一种基于深度学习的产品分类方法及装置
Yang et al. Visual sentiment prediction based on automatic discovery of affective regions
Han et al. A unified metric learning-based framework for co-saliency detection
CN108132968B (zh) 网络文本与图像中关联语义基元的弱监督学习方法
CN109670528B (zh) 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN111178208B (zh) 基于深度学习的行人检测方法、装置及介质
CN108647736B (zh) 一种基于感知损失和匹配注意力机制的图像分类方法
CN113572742B (zh) 基于深度学习的网络入侵检测方法
US20210248181A1 (en) Electronic device and control method thereof
Tao et al. Learning discriminative feature representation with pixel-level supervision for forest smoke recognition
Wang et al. Multifocus image fusion using convolutional neural networks in the discrete wavelet transform domain
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
CN110321805B (zh) 一种基于时序关系推理的动态表情识别方法
CN112381030B (zh) 一种基于特征融合的卫星光学遥感图像目标检测方法
Islam et al. A CNN based approach for garments texture design classification
CN112597324A (zh) 一种基于相关滤波的图像哈希索引构建方法、系统及设备
Zhang et al. Explainable artificial intelligence to detect image spam using convolutional neural network
Zhang et al. Crowd counting based on attention-guided multi-scale fusion networks
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
CN114782979A (zh) 一种行人重识别模型的训练方法、装置、存储介质及终端
Meena et al. Sentiment analysis on images using different transfer learning models
Wu et al. A new multiple‐distribution GAN model to solve complexity in end‐to‐end chromosome karyotyping
CN106529601B (zh) 基于稀疏子空间多任务学习的图像分类预测方法
Li A deep learning-based text detection and recognition approach for natural scenes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15911861

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 05/09/2018)

122 Ep: pct application non-entry in european phase

Ref document number: 15911861

Country of ref document: EP

Kind code of ref document: A1